画像処理装置及び画像処理方法
【課題】画像中に急峻な画素値の変化をもつ画像を拡大する際に、斜め補間処理によるフレーム内補間のジャギーの軽減という改善効果を残しつつ、かつ、原画像の急峻な変化を拡大後も保持することができ、原画像の品質を保持したままより高品位な表示を可能にする画素補間処理を実現する画像処理装置及び画像処理方法を提供する。
【解決手段】入力画像の拡大処理を実行する際に、フレーム内補間処理部は前記入力画像のフレーム毎に前記入力画像の補間画素を作成して出力し、エッジ検出部は前記入力画像のフレーム内で検出対象領域毎に画素間の変化を検出し、前記画素間の変化によりエッジの有無を判定してエッジ判定結果を出力し、混合処理部は前記エッジ検出部による前記エッジ判定結果に基づいて、前記フレーム内補間処理部から出力される補間画素に対して前記入力画像に含まれる原画素を選択的に混合して前記フレーム内補間処理を実行する。
【解決手段】入力画像の拡大処理を実行する際に、フレーム内補間処理部は前記入力画像のフレーム毎に前記入力画像の補間画素を作成して出力し、エッジ検出部は前記入力画像のフレーム内で検出対象領域毎に画素間の変化を検出し、前記画素間の変化によりエッジの有無を判定してエッジ判定結果を出力し、混合処理部は前記エッジ検出部による前記エッジ判定結果に基づいて、前記フレーム内補間処理部から出力される補間画素に対して前記入力画像に含まれる原画素を選択的に混合して前記フレーム内補間処理を実行する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、入力された画像を拡大処理し、液晶、ＰＤＰ、有機ＥＬなどのパネルに表示する画像処理装置及び画像処理方法に関する。
【背景技術】
【０００２】
近年、画像の高解像化に伴い、表示装置（液晶、ＰＤＰ、有機ＥＬなど）の表示解像度も高くなっている。但し、ハイビジョン放送などにより放送されるテレビ信号（インターレース信号）等の入力画像は、表示装置の表示解像度に合っていない場合があり、表示装置内で入力画像の解像度を表示解像度まで拡大する必要がある。
【０００３】
しかし、単純に線形補間等の手法で拡大処理してしまうと、輪郭にぼやけが生じたり、斜め線でジャギーが発生したりしてしまう。そこで、入力画像を縦横に拡大する際に、インターレース・プログレッシブ変換（ＩＰ変換）時に用いるフレーム内補間処理を、縦方向及び横方向に適用することにより、斜め方向のエッジが滑らかな補間画素を生成することが可能となる。
【０００４】
Ｉ／Ｐ変換とは、インターレース信号において間引かれている走査線を、各フィールドの情報をそれぞれ用いて補間信号を生成し、プログレッシブ信号に変換するものである。一般に、インターレース方式の画像をプログレッシブ方式の画像に変換する場合、インターレース画像が静止画像である場合には、一方のフィールド走査線を隣接する他方のフィールド走査線の間にはめ込むことにより補間走査線（以下、補間ラインという）を生成するフィールド間補間が行われ、またインターレース画像が動画像である場合には、同一フィールド内の隣接走査線上の画素を用いて補間ラインを生成するフィールド内補間が行われる。
【０００５】
フィールド内の補間処理でインターレースｎラインとインターレースｎ＋１ライン間に補間ラインを生成するにあたっては、補間ライン上の画素Ａとして、その上下の走査線ｎ，ｎ＋１上の画素Ｕ，Ｄを加算して平均値（＝（Ｕ＋Ｄ）/２）を得る方法が簡単である。しかしながら、この上下方向の補間方法を適用した場合、絵柄によっては斜め線がギザギザして見える、いわゆるジャギーが目立つ画像となる場合がある。
【０００６】
また、インターレース画像をプログレッシブ画像に変換する技術として、動き適応型プログレッシブ変換がある。この技術は、画素単位もしくは画素ブロック単位で動き検出を行い、フィールド内補間処理結果とフィールド間補間処理結果を、動き検出結果に応じた混合比で混合処理する、という技術である。動き検出としては、１フレーム間の同一位置の画素同士の信号レベルの差分等から推定する。
【０００７】
しかし、動き適応型プログレッシブ変換処理では、フィールド内補間処理として上下画素平均値を使用すると、垂直方向の解像感が低くなり、斜め線がギザギザに見える問題がある。一方、このような問題を解決する方法として、斜め補間という方法が知られている。斜め補間処理は、補間画素Ａを生成するにあたり、その上下の走査線ｎ，ｎ＋１から、補間ライン上の画素Ａを中心として点対称となる画素のペアを一組選択し、そのペアの画素値の平均値を補間画素値として用いる方法である。
【０００８】
補間方向の選択の方法の例として、ペアの画素間の絶対差分値が最小のものを使用する方法がある。例えば、補間しようとしている画素を中心とする上下及び斜め方向の一対の画素間の差分をとり、多数の斜め差分信号を用いて、斜め相関の高い方向を判定し、補間画素を作成するものである。斜め補間に関する従来技術としては、例えば、特許文献１、特許文献２に記載のものがある。
【０００９】
以上を踏まえて、拡大処理を行なうと、例えば、縦方向に２倍にする場合、まず、補間画素位置を挟むようにした上下の複数ラインから、補間画素位置を中心とした周辺画素を用い相関値を計算する。次に、その相関値から最適な補間方向を選択し、その補間方向から補間画素値を生成する。これによって、斜め方向に関してはジャギーがなくなる。
【先行技術文献】
【特許文献】
【００１０】
【特許文献１】特開２００３−２３０１０９号公報
【特許文献２】特開２００９−７７２９３号公報
【発明の概要】
【発明が解決しようとする課題】
【００１１】
しかし、縦方向に急峻に変化する水平ライン（このような画像の代表例としては、文字などが挙げられる。）のような画像の場合、相関がどの方向も同じとなるため、対象画素の上下方向に線形補間を行うことになる。その結果、補間値は上下画素値の平均値となってしまう。そのため、元々はっきりしていた文字などは、ぼやけた表示になってしまい、見づらい低品質な表示になるという問題が発生する。このような縦方向に急峻に変化する水平ラインのような画像に対しては、上記従来の画素補間処理では対応できないという課題があった。このような課題を有する従来の画素補間処理の具体例について、以下に説明する。
【００１２】
図１は、上記補間画素を中心として点対称となる画素のペアを選択して行なう斜め補間処理の一例を示す図である。この場合、図中の右斜め方向に相関が高い画素が存在するため、その中央位置に配置された補間画素は滑らかに補間されている。一方、図２も同様に斜め補間処理の一例を示す図である。しかし、このように各オリジナルラインの水平方向にのみ相関が強く、補間画素を中心とした点対称となる画素間の相関がいずれの方向でも同じとなる場合には、結局上下画素値の平均値を補間画素値として生成してしまう。図３は、この図２の場合に斜め補間処理を行なった補間結果を示した図である。よって、このような場合に従来の斜め補間をそのまま行なうと、元々はっきりとしていたものがぼやけた表示となってしまい、見づらい低品質な表示になってしまう。
【００１３】
本発明は、上記の問題に鑑み、画像中に急峻な画素値の変化をもつ画像を拡大する際に、斜め補間処理によるフィールド内補間のジャギーの軽減という改善効果を残しつつ、かつ、原画像の急峻な変化を拡大後も保持することができ、原画像の品質を保持したままより高品位な表示を可能にする画素補間処理を実現する画像処理装置及び画像処理方法を提供することを目的とする。
【課題を解決するための手段】
【００１４】
本願発明の一実施形態に係る画像処理装置は、入力画像の拡大処理を実行する画像処理装置において、前記入力画像のフレーム毎に前記入力画像の補間画素を作成して出力するフレーム内補間処理部と、前記入力画像のフレーム内で検出対象領域毎に画素間の変化を検出し、前記画素間の変化によりエッジの有無を判定してエッジ判定結果を出力するエッジ検出部と、前記エッジ検出部による前記エッジ判定結果に基づいて、前記フレーム内補間処理部から出力される補間画素に対して前記入力画像に含まれる原画素を選択的に混合して前記フレーム内補間処理を実行する混合処理部と、を備えることを特徴とする。この画像処理装置によれば、画像中に急峻な画素値の変化をもつ画像を拡大する際に、斜め補間処理によるフレーム内補間時のジャギーを軽減しながら、原画像の急峻な変化を拡大後も保持することができ、原画像の品質を保持したままより高品位な表示が可能となる。
【００１５】
また、前記エッジ検出部は、前記入力画像のフレーム内で検出対象画素毎に複数の方向の周辺画素との間で方向別の差分を各々求め、各方向別の差分を第１の閾値及び第２の閾値と比較し、前記第１の閾値以下の差分を累積して第１の累積結果を出力し、前記第２の閾値以上の差分を累積して第２の累積結果を出力し、前記第１の累積結果と第３の閾値との比較結果が第１の条件を満たすか否か、且つ、前記第２の累積結果と第４の閾値との比較結果が第２の条件を満たすか否かにより前記エッジの有無を判定してもよい。この画像処理装置によれば、入力画像の特徴に応じたエッジ検出が可能となる。
【００１６】
また、前記エッジ検出部は、前記第１の累積結果と第３の閾値との比較結果及び前記第２の累積結果と第４の閾値との比較結果が前記第１の条件及び前記第２の条件の一方または双方を満たさない場合は、前記フレーム内に同一の隣接画素が存在することを示す第１の情報を出力し、前記第１の累積結果と第３の閾値との比較結果及び前記第２の累積結果と第４の閾値との比較結果が前記第１の条件及び前記第２の条件の双方を満たす場合は、前記入力画像のフレーム内で検出対象領域にエッジが存在することを示す第２の情報を出力してもよい。この画像処理装置によれば、入力画像の特徴に応じたエッジの検出が可能となり、かつ、エッジの有無に応じて出力すべき補間画素を選択することが可能となるので、入力画像の特徴に応じた最良の補間画素を出力することが可能となる。
【００１７】
また、前記フレーム内補間処理部は、前記入力画像のフレーム内で補間対象画素毎に複数の方向の周辺画素との間で相関値を求め、該相関値により生成した前記補間画素を出力するとともに前記補間画素の補間方向を出力し、前記混合処理部は、前記フレーム内補間処理部から出力される前記補間方向が垂直方向であり、前記エッジ検出部から出力される前記エッジ判定結果がエッジ有りである場合は、前記補間画素と当該補間画素に対応する原画素とを混合して前記フレーム内補間処理を実行し、前記フレーム内補間処理部から出力される前記補間方向が垂直方向ではなく、前記エッジ検出部から出力される前記エッジ判定結果がエッジ無しである場合は、前記補間画素により前記フレーム内補間処理を実行してもよい。フレーム内補間処理部が斜め方向の補間をしている場合に上記混合画素を出力してしまうと、拡大後にはジャギーの多い斜線となってしまうところ、この画像処理装置によれば、上記混合画素を出力すべき場合のみを判別しうるので、上記フレーム内補間処理部の補間処理によるフレーム内補間時のジャギーを軽減しながら、原画像の急峻なエッジ部分を拡大後も保持することができ、原画像の品質を保持したままより高品位な表示が可能になる。
【００１８】
また、前記混合処理部は、前記補間画素と前記原画素を混合する割合を示す係数を設定し、前記係数を用いて前記補間画素と前記原画素の混合処理を実行してもよい。この画像処理装置によれば、混合割合を調節することが可能となるので、原画像のエッジを保持したより高品位な画像を出力することが可能となる。
【００１９】
本発明の一実施の形態に係る画像処理方法は、入力画像の拡大処理を実行する画像処理方法において、前記入力画像のフレーム毎に前記入力画像の補間画素を作成して出力するフレーム内補間処理を実行し、前記入力画像のフレーム内で検出対象領域毎に画素間の変化を検出し、前記画素間の変化によりエッジの有無を判定してエッジ判定結果を出力し、前記エッジ判定結果に基づいて、前記フレーム内補間処理により出力される補間画素に対して前記入力画像に含まれる原画素を選択的に混合してフレーム内補間処理を実行すること、を含むことを特徴とする。この画像処理方法によれば、画像中に急峻な画素値の変化をもつ画像を拡大する際に、斜め補間処理によるフレーム内補間時のジャギーを軽減しながら、原画像の急峻な変化を拡大後も保持することができ、原画像の品質を保持したままより高品位な表示が可能となる。
【００２０】
また、前記エッジの有無の判定において、前記入力画像のフレーム内で検出対象画素毎に複数の方向の周辺画素との間で方向別の差分を各々求め、各方向別の差分を第１の閾値及び第２の閾値と比較し、前記第１の閾値以下の差分を累積して第１の累積結果を出力し、前記第２の閾値以上の差分を累積して第２の累積結果を出力し、前記第１の累積結果と前記第３の閾値との比較結果が第１の条件を満たすか否か、且つ、前記第２の累積結果と前記第４の閾値との比較結果が第２の条件を満たすか否かにより前記エッジの有無を判定してもよい。この画像処理方法によれば、入力画像の特徴に応じたエッジ検出が可能となる。
【００２１】
また、前記エッジの有無の判定において、前記第１の累積結果と前記第３の閾値との比較結果及び前記第２の累積結果と前記第４の閾値との比較結果が前記第１の条件及び前記第２の条件の一方または双方を満たさない場合は、前記フレーム内に同一の隣接画素が存在することを示す第１の情報を出力し、前記第１の累積結果と前記第３の閾値との比較結果及び前記第２の累積結果と前記第４の閾値との比較結果が前記第１の条件及び前記第２の条件の双方を満たす場合は、前記入力画像のフレーム内で検出対象領域にエッジが存在することを示す第２の情報を出力してもよい。この画像処理装置によれば、入力画像の特徴に応じたエッジの検出が可能となり、かつ、エッジの有無に応じて出力すべき補間画素を選択することが可能となるので、入力画像の特徴に応じた最良の補間画素を出力することが可能となる。
【００２２】
また、前記フレーム内補間処理において、前記入力画像のフレーム内で補間対象画素毎に複数の方向の周辺画素との間で相関値を求め、該相関値により生成した前記補間画素を出力するとともに前記補間画素の補間方向を出力し、前記フレーム内補間処理において、前記フレーム内補間処理により出力される前記補間方向が垂直方向であり、前記エッジ判定結果がエッジ有りである場合は、前記補間画素と当該補間画素に対応する原画素とを混合して前記フレーム内補間処理を実行し、前記フレーム内補間処理により出力される前記補間方向が垂直方向ではなく、前記エッジ判定結果がエッジ無しである場合は、前記補間画素により前記フレーム内補間処理を実行することを含んでもよい。ここで、前記フレーム内補間処理が斜め方向の補間をしている場合に前記補間画素と当該補間画素に対応する原画素とを混合した画素を出力してしまうと、拡大後にはジャギーの多い斜線となってしまう。しかし、この画像処理方法によれば、上記混合画素を出力すべき場合のみを判別しうるので、上記フレーム内補間処理の補間処理によるフレーム内補間時のジャギーを軽減しながら、原画像の急峻なエッジ部分を拡大後も保持することができ、原画像の品質を保持したままより高品位な表示が可能になる。
【００２３】
また、前記フレーム内補間処理において、前記補間画素と前記現画素を混合する割合を示す係数を設定し、前記係数を用いて前記補間画素と前記現画素の混合処理を実行してもよい。この画像処理方法によれば、混合割合を調節することが可能となるので、原画像のエッジを保持したより高品位な画像を出力することが可能となる。
【発明の効果】
【００２４】
本発明によれば、画像中に急峻な画素値の変化をもつ画像を拡大する際に、斜め補間によるフレーム内補間時のジャギーを軽減しながら、原画像の急峻な変化を拡大後も保持することができ、原画像の品質を保持したままより高品位な表示を可能にする画素補間処理を実現する画像処理装置及び画像処理方法を提供することができる。
【図面の簡単な説明】
【００２５】
【図１】従来の斜め補間処理の一例を示す図である。
【図２】従来の斜め補間処理の図１とは異なる一例を示す図である。
【図３】図２の画像に斜め補間処理を行なった場合の補間結果を示す図である。
【図４】本発明の一実施の形態に係る画像処理装置の構成を示すブロック図である。
【図５】本発明の一実施の形態に係るフレーム内補間処理部の補間処理の詳細を説明するためのフローチャートである。
【図６】原画素を、その位置における座標と、その座標における画素値とを定義する例を示す図である。
【図７】本発明の一実施の形態に係る水平及び垂直方向のエッジ検出処理の一例を示す図である。
【図８】本発明の一実施の形態に係る左右斜め方向のエッジ検出処理の一例を示す図である。
【図９】本発明の一実施の形態に係るエッジ検出処理の具体例を説明するための画像を例示した図である。
【図１０】本発明の一実施の形態に係るエッジ検出処理の具体例を説明するための画像を例示した図である。
【図１１】本発明の一実施の形態に係るエッジ検出部の検出処理の詳細を説明するフローチャートである。
【図１２】本発明の一実施の形態に係る混合処理部の混合処理の詳細を説明するフローチャートである。
【図１３】（ａ）に示すベタの背景に横線がある原画像を垂直方向に拡大処理する際に、（ｂ）〜（ｄ）に示す３通りの補間処理を行った場合の画像処理結果を示す図である。
【図１４】（ａ）は画素値の高低を縦軸とし、走査線に垂直な方向に沿った画素の位置を横軸として、図１３において行った３通りの画像処理の結果を示したグラフ、（ｂ）は（ａ）のグラフの横軸と画像中の画素との対応関係を示した図である。
【図１５】（ａ）に示すベタの背景に斜線がある画像を垂直方向に拡大する際に、（ｂ）に示す補間画素として原画素を出力する補間処理と、（ｃ）に示す本実施形態における混合処理を行った場合の各画像処理結果を示す図である。
【図１６】本発明の一実施の形態に係る液晶表示装置の構成例を示す図である。
【発明を実施するための形態】
【００２６】
（発明に至る経緯）
２０１１年７月、現行の地上アナログ放送がデジタル放送に完全移行されることに伴い、放送画質も現行のスタンダード画質からハイビジョン画質への高画質化が本格化する。そのハイビジョンの更なる高画質化を目指して、ＮＨＫ放送技術研究所（以下、ＮＨＫ技研）では、スーパーハイビジョン（以下、ＳＨＶ）放送の実用化へ向けた研究開発が進められている。ＳＨＶとは、次世代テレビ向けフォーマットであり、７６８０×４３２０画素の解像度を持つ超高精細映像のことである。これは、縦横共に現行のフルハイビジョンの４倍で、計１６倍の解像度となる。そこで、ＳＨＶ放送の実用化を想定し、ＳＨＶに対応した表示装置が必要となる。また、これに伴って地上デジタル放送でＳＨＶを放送ないし受信するための技術も開発中である。
【００２７】
しかし、伝送容量を拡大するための技術の向上の必要性や、電波の送受信のためのアンテナも専用のものが必要になるなど、すぐに地上波放送で導入することは難しい。このため、全ての放送が完全にＳＨＶ放送へ移行することは未だ困難であり、過渡期にはフルハイビジョン放送である状況が続くことが予想される。したがって、表示装置が放送フォーマットより高解像度の場合は、表示装置に合わせた映像の拡大処理が必要になる。
【００２８】
このような背景のもと、拡大処理を行なっても原画像の品質を保持した状態で高品位な表示が可能となるような画像の補間処理技術が求められる。
【００２９】
そこで、本発明は、Ｉ／Ｐ変換時に用いるフィールド内補間処理を、解像度を２倍にするフレーム内補間処理として利用し、急峻なエッジ検出処理と混合処理とを組み合わせることにより、上記の課題を克服する画像補間処理装置を提供するものである。以下の実施の形態では、画像の微小な変化と大きな変化の両方を検出するエッジ検出処理、及び垂直方向の補間かつ急峻なエッジである場合のみ補間画素に原画素を混合する混合処理とを組み合わせて、画像拡大処理時のぼやけ等を低減する画像処理装置について説明する。なお、本発明において「エッジ」とは、隣接する原画素間の画素値の絶対差分値が設定された閾値以上の場合、その隣接画素間の変化の大きい部分を示すものである。
【００３０】
以下、図面を参照して本発明に係る拡大処理時にぼやけを低減する画像処理装置について説明する。ただし、本発明の装置は多くの異なる態様で実施することが可能であり、以下に示す多数の実施の形態の記載内容に限定して解釈されるものではない。
【００３１】
図４は、本発明の実施の形態に係る画像処理装置の構成を示すブロック図である。図４に示すように、本発明の一実施形態に係る画像処理装置１００は、補間画素を生成するＩ／Ｐ変換処理のフレーム内補間処理部１０１（以下、フレーム内補間処理部１０１という）と、原画像が急峻なエッジを持つ画像か否かを判断するエッジ検出部１０２と、混合処理部１０３と、を有する。
【００３２】
フレーム内補間処理部１０１は、原画像のフレーム毎にフレーム内補間処理を実行して原画像の補間画素を作成して、原画像の拡大に伴う補間処理を行なう。従来の補間処理は、補間画素Ｐｉｎｔ＿ｉｐを生成する際に、その上下の走査線ｎ，ｎ＋１から、補間ライン上の画素Ｐｉｎｔ＿ｉｐを中心として点対称となる画素のペアを一組選択し、その平均値を補間画素値として用いる補間処理方法である。
【００３３】
再度、図１から図２を参照して、従来の補間処理方法を説明する。図１は、上記補間画素を中心として点対称となる画素のペアを選択して行なう補間処理の一例を示す図である。補間しようとしている画素を中心とする垂直及び左右斜め方向の一対の画素間の画素値の絶対差分値を取り、各方向の絶対差分値の中で最も小さいものを相関の高い方向と判定し、その方向のペアの各原画素値をもとに線形補間を行い、補間画素Ｐｉｎｔ＿ｉｐを作成する。図１を参照すると、図中の補間画素を中心とした右斜め方向に相関が高い画素が存在するため、その中央位置に配置された補間画素はその方向に隣接する原画素の画素値をもとに線形補間される。
【００３４】
図２も同様に補間処理の一例を示す図である。図２に示す原画像は、各オリジナルラインの水平方向にのみ相関が強く、補間画素を中心とした点対称となる画素間の相関がいずれの方向でも同じとなる。この場合には、垂直方向を相関の強いペアとして選択し、そのペアの各画素値をもとに線形補間して、補間画素を生成する。
【００３５】
以上の従来の補間処理に対して、フレーム内補間処理部１０１は、補間方向が斜めの場合には、補間方向結果ｃｏｒｒｅｌａｔｉｏｎ＿ｖとして「０」を、上下方向の場合には補間方向結果ｃｏｒｒｅｌａｔｉｏｎ＿ｖとして「１」を混合処理部１０３に出力する。
【００３６】
次に、上記補間処理の詳細について、図５に示すフローチャートを参照して説明する。図５を参照すると、ステップＳ５００１において、フレーム内補間処理部１０１は補間画素を中心として点対称となる画素のペアの画素間の絶対差分値が最小のものを検出して相関の強さを判定して、相関の強いペアの存在する方向を決定する。次いで、ステップＳ５００２において、フレーム内補間処理部１０１は、決定した方向で線形補間を行い、補間画素Ｐｉｎｔ＿ｉｐを生成する。次いで、Ｓ５００３において、フレーム内補間処理部１０１は、生成した補間画素Ｐｉｎｔ＿ｉｐを混合処理部１０３に出力する。
【００３７】
また、ステップＳ５００４において、フレーム内補間処理部１０１は、補間方向が斜めか否かを判断する。補間方向が斜めであれば、ステップＳ５００５においてｃｏｒｒｅｌａｔｉｏｎ＿ｖ＝０とする。補間方向が斜めでなければ、ステップＳ５００６においてｃｏｒｒｅｌａｔｉｏｎ＿ｖ＝１とする。次いで、ステップＳ５００７において、フレーム内補間処理部１０１は、ｃｏｒｒｅｌａｔｉｏｎ＿ｖを混合処理部１０３へ出力する。なお、ステップＳ５００４〜ステップＳ５００７の処理は、ステップＳ５００２〜ステップＳ５００３の処理と並行して行ってもよいし、順次行ってもよい。
【００３８】
エッジ検出部１０２は、垂直水平及び左右斜め方向に隣接する原画素間の画素値の差などから原画像が急峻なエッジを持つ画像か否かを判断する。この判断は、例えば、ベタの背景上に文字があるような場合のみを検出するために行なわれるものである。この検出においては、このような画像が通常二つの特徴を有することに着目する。一つは、（１）背景上の文字が認識しやすいように、背景と文字の間の画素値に大きな差を持っていることが多い（画素間の相関が比較的低い）という特徴である。この大きな画素値の差を「エッジ」と呼ぶ。もう一つは、（２）文字内は単一色の場合が多い（画素間の相関が比較的高い）という特徴である。この（２）の特徴を、本実施の形態では「同一性」と呼ぶことにする。エッジ検出部１０２は、これらの特徴を抽出し、急峻なエッジを持つ画像か否かを判断する。具体的には、垂直水平及び左右斜め方向に隣接する画素値の絶対差分値Δｐを用いて、次のように計算する。
【００３９】
まず、（１）の特徴を抽出するため、隣接画素間のエッジを検出する閾値ｐｘ＿ｔｈｒｅｓｈｏｌｄ＿ｍａｘを設定し、隣接画素間の画素値の絶対差分値Δｐが閾値ｐｘ＿ｔｈｒｅｓｈｏｌｄ＿ｍａｘ（第２の閾値）以上となる隣接画素の組の数をカウントする。そのカウント値をエッジ部分のカウント値ｅｄｇｅ＿ｃｏｕｎｔ＿ｍａｘ（第２の累積結果）とする。同様にして、（２）の特徴を抽出するため、隣接画素間の同一性を検出する閾値ｐｘ＿ｔｈｒｅｓｈｏｌｄ＿ｍｉｎ（第１の閾値）を設定し、絶対差分値Δｐが閾値ｐｘ＿ｔｈｒｅｓｈｏｌｄ＿ｍｉｎ以下となる隣接画素の組の数をカウントする。そのカウント値を同一な部分のカウント値ｅｄｇｅ＿ｃｏｕｎｔ＿ｍｉｎ（第１の累積結果）とする。
【００４０】
そして、（１）及び（２）の特徴を備えた急峻なエッジを含む画像であることを検出する条件として、エッジ部分のカウント値に対応する閾値ｃｏｕｎｔ＿ｔｈｒｅｓｈｏｌｄ＿ｍａｘ（第４の閾値）と、同一な部分のカウント値に対応する閾値ｃｏｕｎｔ＿ｔｈｒｅｓｈｏｌｄ＿ｍｉｎ（第３の閾値）を用いて、「ｅｄｇｅ＿ｃｏｕｎｔ＿ｍａｘ≧ｃｏｕｎｔ＿ｔｈｒｅｓｈｏｌｄ＿ｍａｘ（第２の条件）かつｐｘ＿ｔｈｒｅｓｈｏｌｄ＿ｍｉｎ≧ｃｏｕｎｔ＿ｔｈｒｅｓｈｏｌｄ＿ｍｉｎ（第１の条件）」を設定する。この条件を、本実施の形態では「エッジ条件」と呼ぶことにする。
【００４１】
エッジ検出部１０２は、エッジ条件を満たす場合は、エッジ検出結果ｅｄｇｅ＿ｄｅｔｅｃｔｉｏｎとして「１」を、エッジ条件を満たさない場合は、エッジ検出結果ｅｄｇｅ＿ｄｅｔｅｃｔｉｏｎとして「０」を混合処理部１０３に出力する。
【００４２】
次に、図６から図１０を用いて、上記エッジ検出処理をより詳細に説明する。図６は、円で表される原画素を、その位置する座標（ｘ，ｙ）と、その座標における画素値ｐ（ｘ，ｙ）と、により定義する例を示す図である。図７の（ａ）は、水平方向のエッジ検出処理を例示した図である。図６に従って、図７の（ａ）のように水平方向に隣接する画素値の絶対差分値Δｐを定義すると、Δｐ(ｘ,ｙ)＝|ｐ(ｘ,ｙ)−ｐ(ｘ＋１,ｙ)|（ｘ＝１〜２，ｙ＝０〜２）となる。エッジ検出部１０２は、水平方向に隣接する画素間に急峻なエッジが存在するか否かを判断するため、水平方向の絶対差分値Δｐ(ｘ,ｙ)と予め外部より設定する閾値ｐｘ＿ｔｈｒｅｓｈｏｌｄ＿ｍａｘを比較し、Δｐ(ｘ,ｙ)≧ｐｘ＿ｔｈｒｅｓｈｏｌｄ＿ｍａｘの条件を満たすか否かを判断する。また、エッジ検出部１０２は、水平方向の隣接画素間に同一な部分が存在するか否かを判断するため、絶対差分値Δｐと予め外部より設定する閾値ｐｘ＿ｔｈｒｅｓｈｏｌｄ＿ｍｉｎを比較し、Δｐ(ｘ,ｙ)≦ｐｘ＿ｔｈｒｅｓｈｏｌｄ＿ｍｉｎの条件を満たすか否かを判断する。エッジ検出部１０２は、水平方向の絶対差分値Δｐ(ｘ,ｙ)がΔｐ(ｘ,ｙ)≧ｐｘ＿ｔｈｒｅｓｈｏｌｄ＿ｍａｘの条件を満たす場合は、その隣接画素の組をカウントするため、水平方向のエッジ部分のカウント値ｅｄｇｅ_ｈ_ｍａｘを出力する。また、エッジ検出部１０２は、水平方向の絶対差分値Δｐ(ｘ,ｙ)がΔｐ(ｘ,ｙ)≦ｐｘ＿ｔｈｒｅｓｈｏｌｄ＿ｍｉｎの条件を満たす場合は、その隣接画素の組をカウントするため、水平方向の同一な部分のカウント値ｅｄｇｅ_ｈ_ｍｉｎを出力する。
【００４３】
図７の（ｂ）は垂直方向のエッジ検出処理の一例を示す図、図８の（ａ）は右斜め方向のエッジ検出処理の一例を示す図、図８の（ｂ）は左斜め方向のエッジ検出処理の一例を示す図である。図７の（ａ）における水平方向のエッジ検出と同様に、垂直方向、右斜め方向、左斜め方向に隣接する原画素間の絶対差分値Δｐを求め、設定した閾値（ｐｘ＿ｔｈｒｅｓｈｏｌｄ＿ｍａｘ，ｐｘ＿ｔｈｒｅｓｈｏｌｄ＿ｍｉｎ）と比較することで、エッジ部分及び同一な部分を検出する。
【００４４】
すなわち、垂直方向のエッジ検出処理では、エッジ検出部１０２は、垂直方向に隣接する画素間に急峻なエッジが存在するか否かを判断するため、垂直方向の絶対差分値Δｐ(ｘ,ｙ)と予め外部より設定する閾値ｐｘ＿ｔｈｒｅｓｈｏｌｄ＿ｍａｘを比較し、Δｐ(ｘ,ｙ)≧ｐｘ＿ｔｈｒｅｓｈｏｌｄ＿ｍａｘの条件を満たすか否かを判断する。また、エッジ検出部１０２は、垂直方向の隣接画素間に同一な部分が存在するか否かを判断するため、絶対差分値Δｐと予め外部より設定する閾値ｐｘ＿ｔｈｒｅｓｈｏｌｄ＿ｍｉｎを比較し、Δｐ(ｘ,ｙ)≦ｐｘ＿ｔｈｒｅｓｈｏｌｄ＿ｍｉｎの条件を満たすか否かを判断する。エッジ検出部１０２は、垂直方向の絶対差分値Δｐ(ｘ,ｙ)がΔｐ(ｘ,ｙ)≧ｐｘ＿ｔｈｒｅｓｈｏｌｄ＿ｍａｘの条件を満たす場合は、その隣接画素の組をカウントするため、ｅｄｇｅ_ｖ_ｍａｘを出力する。また、エッジ検出部１０２は、垂直方向の絶対差分値Δｐ(ｘ,ｙ)がΔｐ(ｘ,ｙ)≦ｐｘ＿ｔｈｒｅｓｈｏｌｄ＿ｍｉｎの条件を満たす場合は、その隣接画素の組をカウントするため、ｅｄｇｅ_ｖ_ｍｉｎを出力する。
【００４５】
また、左右斜め方向のエッジ検出処理では、エッジ検出部１０２は、左右斜め方向に隣接する画素間に急峻なエッジが存在するか否かを判断するため、左右斜め方向の各絶対差分値Δｐ(ｘ,ｙ)と予め外部より設定する閾値ｐｘ＿ｔｈｒｅｓｈｏｌｄ＿ｍａｘを比較し、Δｐ(ｘ,ｙ)≧ｐｘ＿ｔｈｒｅｓｈｏｌｄ＿ｍａｘの条件を満たすか否かを判断する。また、エッジ検出部１０２は、左右斜め方向の隣接画素間に同一な部分が存在するか否かを判断するため、左右斜め方向の各絶対差分値Δｐと予め外部より設定する閾値ｐｘ＿ｔｈｒｅｓｈｏｌｄ＿ｍｉｎを比較し、Δｐ(ｘ,ｙ)≦ｐｘ＿ｔｈｒｅｓｈｏｌｄ＿ｍｉｎの条件を満たすか否かを判断する。エッジ検出部１０２は、左右斜め方向の一方又は双方の絶対差分値Δｐ(ｘ,ｙ)がΔｐ(ｘ,ｙ)≧ｐｘ＿ｔｈｒｅｓｈｏｌｄ＿ｍａｘの条件を満たす場合は、その隣接画素の組をカウントするため、ｅｄｇｅ_ｒ_ｍａｘ及び／又はｅｄｇｅ_ｌ_ｍａｘを出力する。また、エッジ検出部１０２は、左右斜め方向の一方又は双方の絶対差分値Δｐ(ｘ,ｙ)がΔｐ(ｘ,ｙ)≦ｐｘ＿ｔｈｒｅｓｈｏｌｄ＿ｍｉｎの条件を満たす場合は、その隣接画素の組をカウントするため、ｅｄｇｅ_ｒ_ｍｉｎ及び／又はｅｄｇｅ_ｌ_ｍｉｎを出力する。
【００４６】
次に、エッジ検出部１０２は、上述の各方向で検出した隣接画素間のエッジ部分の各カウント数（ｅｄｇｅ_ｈ_ｍａｘ，ｅｄｇｅ_ｖ_ｍａｘ，ｅｄｇｅ_ｒ_ｍａｘ，ｅｄｇｅ_ｌ_ｍａｘ）を加算し、その加算結果をｅｄｇｅ＿ｃｏｕｎｔ＿ｍａｘとして出力する。すなわち、ｅｄｇｅ＿ｃｏｕｎｔ＿ｍａｘ＝ｅｄｇｅ_ｈ_ｍａｘ＋ｅｄｇｅ_ｖ_ｍａｘ＋ｅｄｇｅ_ｒ_ｍａｘ＋ｅｄｇｅ_ｌ_ｍａｘである。また、エッジ検出部１０２は、上述の各方向で検出した隣接画素間の同一な部分の各カウント数（ｅｄｇｅ_ｈ_ｍｉｎ，ｅｄｇｅ_ｖ_ｍｉｎ，ｅｄｇｅ_ｒ_ｍｉｎ，ｅｄｇｅ_ｌ_ｍｉｎ）を加算し、その結果をｅｄｇｅ＿ｃｏｕｎｔ＿ｍｉｎとして出力する。すなわち、ｅｄｇｅ＿ｃｏｕｎｔ＿ｍｉｎ＝ｅｄｇｅ_ｈ_ｍｉｎ＋ｅｄｇｅ_ｖ_ｍｉｎ＋ｅｄｇｅ_ｒ_ｍｉｎ＋ｅｄｇｅ_ｌ_ｍｉｎである。そして、エッジ検出部１０２は、ｅｄｇｅ＿ｃｏｕｎｔ＿ｍａｘとエッジ部分のカウント数の閾値ｃｏｕｎｔ＿ｔｈｒｅｓｈｏｌｄ＿ｍａｘを比較し、ｅｄｇｅ＿ｃｏｕｎｔ＿ｍｉｎと同一な部分のカウント数の閾値ｃｏｕｎｔ＿ｔｈｒｅｓｈｏｌｄ＿ｍｉｎを比較して、エッジ条件を満たすか否かを判断する。この場合、エッジ条件は、ｅｄｇｅ＿ｃｏｕｎｔ＿ｍａｘ≧ｃｏｕｎｔ＿ｔｈｒｅｓｈｏｌｄ＿ｍａｘ、及びｅｄｇｅ＿ｃｏｕｎｔ＿ｍｉｎ≧ｃｏｕｎｔ＿ｔｈｒｅｓｈｏｌｄ＿ｍｉｎである。
【００４７】
次に、上記エッジ検出処理の具体例について図９を参照して説明する。図９は、上記エッジ検出処理の具体例を説明するための画像を例示した図である。なお、図９に示す各画像において、高い相関を示す方向は破線矢印で示し、低い相関を示す方向は太線矢印で示す。ここで、高い相関を示す方向は、上述の隣接画素間に同一な部分が存在する方向を示し、低い相関を示す方向は、上述の隣接画素間にエッジが存在する方向を示す。なお、以下の具体例では、仮に、上記エッジのカウント数の閾値ｃｏｕｎｔ＿ｔｈｒｅｓｈｏｌｄ＿ｍａｘを８、同一な部分のカウント数の閾値ｃｏｕｎｔ＿ｔｈｒｅｓｈｏｌｄ＿ｍｉｎを６と設定する。
【００４８】
図９において、(ａ１)〜（ａ４）はベタの背景にある横線の画像を示している。この横線の画像は、水平方向の相関が高い画像である。しかし、他の方向（垂直方向、左右斜め方向）は相関が低くなる。エッジ検出部１０２は、この横線の画像の(ａ１)〜（ａ４）に示す各方向に対して、高い相関に対応する上記ｅｄｇｅ_ｈ_ｍｉｎ，ｅｄｇｅ_ｖ_ｍｉｎ，ｅｄｇｅ_ｒ_ｍｉｎ，ｅｄｇｅ_ｌ_ｍｉｎを各々カウントし、これらの加算結果としてｅｄｇｅ＿ｃｏｕｎｔ＿ｍｉｎを出力する。また、エッジ検出部１０２は、この横線の画像の(ａ１)〜（ａ４）に示す各方向に対して、低い相関に対応する上記ｅｄｇｅ_ｈ_ｍａｘ，ｅｄｇｅ_ｖ_ｍａｘ，ｅｄｇｅ_ｒ_ｍａｘ，ｅｄｇｅ_ｌ_ｍａｘの数を各々カウントし、これらの加算結果としてｅｄｇｅ＿ｃｏｕｎｔ＿ｍａｘを出力する。この場合、ｅｄｇｅ＿ｃｏｕｎｔ＿ｍｉｎ＝６、ｅｄｇｅ＿ｃｏｕｎｔ＿ｍａｘ＝１８である。
【００４９】
次いで、エッジ検出部１０２は、ｅｄｇｅ＿ｃｏｕｎｔ＿ｍｉｎ＝６と、予め外部より設定した閾値ｃｏｕｎｔ＿ｔｈｒｅｓｈｏｌｄ＿ｍｉｎ＝６とを比較し、上記エッジ条件の一つであるｅｄｇｅ＿ｃｏｕｎｔ＿ｍｉｎ≧ｃｏｕｎｔ＿ｔｈｒｅｓｈｏｌｄ＿ｍｉｎを満たすか否かを判別する。この場合、ｅｄｇｅ＿ｃｏｕｎｔ＿ｍｉｎ＝６はエッジ条件の一方を満たしている。また、エッジ検出部１０２は、ｅｄｇｅ＿ｃｏｕｎｔ＿ｍａｘ＝１８と、予め外部より設定した閾値ｃｏｕｎｔ＿ｔｈｒｅｓｈｏｌｄ＿ｍａｘ＝８とを比較し、上記エッジ条件の一つであるｅｄｇｅ＿ｃｏｕｎｔ＿ｍａｘ≧ｃｏｕｎｔ＿ｔｈｒｅｓｈｏｌｄ＿ｍａｘを満たすか否かを判別する。この場合、ｅｄｇｅ＿ｃｏｕｎｔ＿ｍａｘ＝１８はエッジ条件の他方を満たしている。したがって、この横線の画像は急峻なエッジを持つ画像と判定される。
【００５０】
図９において、（ｂ１）〜（ｂ４）はベタの背景にある縦線の画像を示している。この縦線の画像は、垂直方向の相関が高い画像である。しかし、他の方向（水平方向、左右斜め方向）は相関が低くなる。エッジ検出部１０２は、この縦線の画像の(ｂ１)〜（ｂ４）に示す各方向に対して、高い相関に対応する上記ｅｄｇｅ_ｈ_ｍｉｎ，ｅｄｇｅ_ｖ_ｍｉｎ，ｅｄｇｅ_ｒ_ｍｉｎ，ｅｄｇｅ_ｌ_ｍｉｎを各々カウントし、これらの加算結果としてｅｄｇｅ＿ｃｏｕｎｔ＿ｍｉｎを出力する。また、エッジ検出部１０２は、この縦線の画像の(ｂ１)〜（ｂ４）に示す各方向に対して、低い相関に対応する上記ｅｄｇｅ_ｈ_ｍａｘ，ｅｄｇｅ_ｖ_ｍａｘ，ｅｄｇｅ_ｒ_ｍａｘ，ｅｄｇｅ_ｌ_ｍａｘの数を各々カウントし、これらの加算結果としてｅｄｇｅ＿ｃｏｕｎｔ＿ｍａｘを出力する。この場合、ｅｄｇｅ＿ｃｏｕｎｔ＿ｍｉｎ＝１０、ｅｄｇｅ＿ｃｏｕｎｔ＿ｍａｘ＝１４である。よって、ｅｄｇｅ＿ｃｏｕｎｔ＿ｍｉｎ≧６、及びｅｄｇｅ＿ｃｏｕｎｔ＿ｍａｘ≧８であり、上記のエッジ条件を満たすため、この縦線の画像は急峻なエッジを持つ画像と判定される。
【００５１】
図９において、（ｃ１）〜（ｃ４）は、ベタの背景にある点を示している。この画像は、点を示す画素とその周辺の画素との間の相関が低く、点を示す画素以外の他の画素の間の相関が高い画像である。エッジ検出部１０２は、この画像の(ｃ１)〜（ｃ４）に示す各方向に対して、高い相関に対応する上記ｅｄｇｅ_ｈ_ｍｉｎ，ｅｄｇｅ_ｖ_ｍｉｎ，ｅｄｇｅ_ｒ_ｍｉｎ，ｅｄｇｅ_ｌ_ｍｉｎを各々カウントし、これらの加算結果としてｅｄｇｅ＿ｃｏｕｎｔ＿ｍｉｎを出力する。また、エッジ検出部１０２は、この画像の(ｃ１)〜（ｃ４）に示す各方向に対して、低い相関に対応する上記ｅｄｇｅ_ｈ_ｍａｘ，ｅｄｇｅ_ｖ_ｍａｘ，ｅｄｇｅ_ｒ_ｍａｘ，ｅｄｇｅ_ｌ_ｍａｘの数を各々カウントし、これらの加算結果としてｅｄｇｅ＿ｃｏｕｎｔ＿ｍａｘを出力する。この場合、ｅｄｇｅ＿ｃｏｕｎｔ＿ｍｉｎ＝１６、ｅｄｇｅ＿ｃｏｕｎｔ＿ｍａｘ＝８である。よって、ｅｄｇｅ＿ｃｏｕｎｔ＿ｍｉｎ≧６、及びｅｄｇｅ＿ｃｏｕｎｔ＿ｍａｘ≧８であり、上記のエッジ条件を満たすため、この画像は急峻なエッジを持つ画像と判定される。
【００５２】
図９において、（ｄ１）〜（ｄ４）は、ベタの背景にある斜線の画像を示している。この画像は、斜線の向きである右斜め方向の相関が高い画像である。しかし、他の方向（水平方向、垂直方向、左斜め方向）は相関が低くなる。エッジ検出部１０２は、この斜線の画像の(ｄ１)〜（ｄ４）に示す各方向に対して、高い相関に対応する上記ｅｄｇｅ_ｈ_ｍｉｎ，ｅｄｇｅ_ｖ_ｍｉｎ，ｅｄｇｅ_ｒ_ｍｉｎ，ｅｄｇｅ_ｌ_ｍｉｎを各々カウントし、これらの加算結果としてｅｄｇｅ＿ｃｏｕｎｔ＿ｍｉｎを出力する。また、エッジ検出部１０２は、この斜線の画像の(ｄ１)〜（ｄ４）に示す各方向に対して、低い相関に対応する上記ｅｄｇｅ_ｈ_ｍａｘ，ｅｄｇｅ_ｖ_ｍａｘ，ｅｄｇｅ_ｒ_ｍａｘ，ｅｄｇｅ_ｌ_ｍａｘの数を各々カウントし、これらの加算結果としてｅｄｇｅ＿ｃｏｕｎｔ＿ｍａｘを出力する。この場合、ｅｄｇｅ＿ｃｏｕｎｔ＿ｍｉｎ＝１４、ｅｄｇｅ＿ｃｏｕｎｔ＿ｍａｘ＝１０である。ｅｄｇｅ＿ｃｏｕｎｔ＿ｍｉｎ≧６、及びｅｄｇｅ＿ｃｏｕｎｔ＿ｍａｘ≧８であり、上記のエッジ条件を満たすため、この画像は急峻なエッジを持つ画像と判定される。
【００５３】
次に、上記エッジ検出処理の具体例について図１０を参照して説明する。図１０は、上記エッジ検出処理を説明するための一例を示したものである。なお、図１０に示す各画像において、高い相関を示す方向は破線矢印で示し、低い相関を示す方向は太線矢印で示し、中程度の相関は実線矢印で示す。ここで、高い相関を示す方向は、上述の隣接画素間に同一な部分が存在する方向を示す。低い相関を示す方向は、上述の隣接画素間にエッジが存在する方向を示す。中程度の相関を示す方向は、上述の隣接画素間の画素値の絶対差分値Δｐがエッジの閾値ｐｘ＿ｔｈｒｅｓｈｏｌｄ＿ｍａｘ及び同一性の閾値ｐｘ＿ｔｈｒｅｓｈｏｌｄ＿ｍｉｎの間にある方向を示す。なお、以下の具体例では、仮に、隣接画素間のエッジのカウント数の閾値ｃｏｕｎｔ＿ｔｈｒｅｓｈｏｌｄ＿ｍａｘを８、隣接画素間の同一な部分の数の閾値ｃｏｕｎｔ＿ｔｈｒｅｓｈｏｌｄ＿ｍｉｎを６と設定する。なお、図１０において、円の中の縦線の疎密は画素値の高低を示し、縦線が密であるほど画素値が低く、縦線が疎であるほど画素値が高いことを示す。
【００５４】
図１０において、(ａ１)〜（ａ４）はグラデーションの背景に横線がある画像を示している。この画像は、背景が垂直方向に緩やかに変化しており、ベタの背景を示す画素の垂直方向の相関に対して、グラデーションの背景を示す画素の垂直方向の相関の方が比較的低くなっている。エッジ検出部１０２は、この画像の(ａ１)〜（ａ４）に示す各方向に対して、高い相関に対応する上記ｅｄｇｅ_ｈ_ｍｉｎ，ｅｄｇｅ_ｖ_ｍｉｎ，ｅｄｇｅ_ｒ_ｍｉｎ，ｅｄｇｅ_ｌ_ｍｉｎを各々カウントし、これらの加算結果としてｅｄｇｅ＿ｃｏｕｎｔ＿ｍｉｎを出力する。また、エッジ検出部１０２は、この画像の(ａ１)〜（ａ４）に示す各方向に対して、低い相関に対応する上記ｅｄｇｅ_ｈ_ｍａｘ，ｅｄｇｅ_ｖ_ｍａｘ，ｅｄｇｅ_ｒ_ｍａｘ，ｅｄｇｅ_ｌ_ｍａｘの数を各々カウントし、これらの加算結果としてｅｄｇｅ＿ｃｏｕｎｔ＿ｍａｘを出力する。この場合、ｅｄｇｅ＿ｃｏｕｎｔ＿ｍｉｎ＝６、ｅｄｇｅ＿ｃｏｕｎｔ＿ｍａｘ＝１８である。ｅｄｇｅ＿ｃｏｕｎｔ＿ｍｉｎ≧６、及びｅｄｇｅ＿ｃｏｕｎｔ＿ｍａｘ≧８であり、上記のエッジ条件を満たすため、この画像は急峻なエッジを持つ画像と判定される。
【００５５】
図１０において、(ｂ１)〜（ｂ４）はグラデーションの背景に縦線がある画像を表している。エッジ検出部１０２は、この画像の(ｂ１)〜（ｂ４）に示す各方向に対して、高い相関に対応する上記ｅｄｇｅ_ｈ_ｍｉｎ，ｅｄｇｅ_ｖ_ｍｉｎ，ｅｄｇｅ_ｒ_ｍｉｎ，ｅｄｇｅ_ｌ_ｍｉｎを各々カウントし、これらの加算結果としてｅｄｇｅ＿ｃｏｕｎｔ＿ｍｉｎを出力する。また、エッジ検出部１０２は、この画像の(ｂ１)〜（ｂ４）に示す各方向に対して、低い相関に対応する上記ｅｄｇｅ_ｈ_ｍａｘ，ｅｄｇｅ_ｖ_ｍａｘ，ｅｄｇｅ_ｒ_ｍａｘ，ｅｄｇｅ_ｌ_ｍａｘの数を各々カウントし、これらの加算結果としてｅｄｇｅ＿ｃｏｕｎｔ＿ｍａｘを出力する。この場合、ｅｄｇｅ＿ｃｏｕｎｔ＿ｍｉｎ＝１０、ｅｄｇｅ＿ｃｏｕｎｔ＿ｍａｘ＝１４である。ｅｄｇｅ＿ｃｏｕｎｔ＿ｍｉｎ≧６、及びｅｄｇｅ＿ｃｏｕｎｔ＿ｍａｘ≧８であり、上記のエッジ条件を満たすため、この画像は急峻なエッジを持つ画像と判定される。
【００５６】
図１０の(ａ１)〜（ａ４）及び(ｂ１)〜（ｂ４）のように、背景にグラデーションなどの小さな変化があっても、その小さな変化を同一とみなせることによって、急峻なエッジのある画像と判断できる。これは、同一性の閾値ｐｘ＿ｔｈｒｅｓｈｏｌｄ＿ｍｉｎを比較的大きめに取ることにより、グラデーションなどの小さな変化も同一とみなせるので、ベタの背景に縦線または横線がある画像と認識でき、急峻なエッジを持つ画像であると判定がすることが可能となっているからである。
【００５７】
図１０において、(ｃ１)から（ｃ４）は葉の間から光がさしているような画像を示している。この画像は、差し込む光を示す画素とその周辺の画素との間の相関が低い。しかし、差し込む光を示す画素以外のその周辺の画素の間の相関は比較的高い。エッジ検出部１０２は、この画像の(ｃ１)〜（ｃ４）に示す各方向に対して、高い相関に対応する上記ｅｄｇｅ_ｈ_ｍｉｎ，ｅｄｇｅ_ｖ_ｍｉｎ，ｅｄｇｅ_ｒ_ｍｉｎ，ｅｄｇｅ_ｌ_ｍｉｎを各々カウントし、これらの加算結果としてｅｄｇｅ＿ｃｏｕｎｔ＿ｍｉｎを出力する。また、エッジ検出部１０２は、この画像の(ｃ１)〜（ｃ４）に示す各方向に対して、低い相関に対応する上記ｅｄｇｅ_ｈ_ｍａｘ，ｅｄｇｅ_ｖ_ｍａｘ，ｅｄｇｅ_ｒ_ｍａｘ，ｅｄｇｅ_ｌ_ｍａｘの数を各々カウントし、これらの加算結果としてｅｄｇｅ＿ｃｏｕｎｔ＿ｍａｘを出力する。この場合、ｅｄｇｅ＿ｃｏｕｎｔ＿ｍｉｎ＝４、ｅｄｇｅ＿ｃｏｕｎｔ＿ｍａｘ＝１２である。ｅｄｇｅ＿ｃｏｕｎｔ＿ｍｉｎ＜６、及びｅｄｇｅ＿ｃｏｕｎｔ＿ｍａｘ≧８であり、上記のエッジ条件を満たさないため、この画像は急峻なエッジを持つ画像ではないと判定される。
【００５８】
図１０において、(ｄ１)から（ｄ４）は明るい空の背景に電線があるような場合を表している。この画像は、電線を示す画素とその周辺の明るい空を示す画素との間の相関が低い。しかし、それ以外の画素の組（例えば、明るい空を示す画素どうし、または電線を示す画素どうし）の相関は比較的高い。エッジ検出部１０２は、この画像の(ｄ１)〜（ｄ４）に示す各方向に対して、高い相関に対応する上記ｅｄｇｅ_ｈ_ｍｉｎ，ｅｄｇｅ_ｖ_ｍｉｎ，ｅｄｇｅ_ｒ_ｍｉｎ，ｅｄｇｅ_ｌ_ｍｉｎを各々カウントし、これらの加算結果としてｅｄｇｅ＿ｃｏｕｎｔ＿ｍｉｎを出力する。また、エッジ検出部１０２は、この画像の(ｄ１)〜（ｄ４）に示す各方向に対して、低い相関に対応する上記ｅｄｇｅ_ｈ_ｍａｘ，ｅｄｇｅ_ｖ_ｍａｘ，ｅｄｇｅ_ｒ_ｍａｘ，ｅｄｇｅ_ｌ_ｍａｘの数を各々カウントし、これらの加算結果としてｅｄｇｅ＿ｃｏｕｎｔ＿ｍａｘを出力する。この場合、ｅｄｇｅ＿ｃｏｕｎｔ＿ｍｉｎ＝２、ｅｄｇｅ＿ｃｏｕｎｔ＿ｍａｘ＝１６である。ｅｄｇｅ＿ｃｏｕｎｔ＿ｍｉｎ＜６、及びｅｄｇｅ＿ｃｏｕｎｔ＿ｍａｘ≧８であり、上記のエッジ条件を満たさないため、この画像は急峻なエッジを持つ画像ではないと判定される。
【００５９】
図１０の(ｃ１)〜（ｃ４）及び(ｄ１)〜（ｄ４）のように、自然画を示す画像においては、その画像中にエッジと判定される部分があっても、中程度の相関が増加した結果同一と判定される部分が減少するため、上記エッジ条件を満たさない。よって、混合検出部１０３によって急峻なエッジと判定されない。
【００６０】
次に、上記エッジ検出処理の詳細について、図１１の示すフローチャートを参照して説明する。図１１を参照すると、まず、エッジ検出部１０２は、Ｓ１１００１において垂直方向に、Ｓ１１００２において水平方向に、Ｓ１２００３において右斜め方向に、Ｓ１１００４において左斜め方向に、それぞれエッジ検出処理を行う。なお、ステップＳ１１００１〜ステップＳ１１００４の各処理は、並行して行ってもよいし、順次行ってもよい。
【００６１】
次に、ステップＳ１１００５において、エッジ検出部１０２は、ステップＳ１１００１〜ステップＳ１１００４の各処理において検出した隣接画素間の同一な部分の組のカウント数を、垂直方向、水平方向、左右斜め方向の各方向に対して、高い相関に対応する上記ｅｄｇｅ_ｈ_ｍｉｎ，ｅｄｇｅ_ｖ_ｍｉｎ，ｅｄｇｅ_ｒ_ｍｉｎ，ｅｄｇｅ_ｌ_ｍｉｎとして各々出力し、これらの加算結果として同一な部分のカウント数ｅｄｇｅ＿ｃｏｕｎｔ＿ｍｉｎを出力する。また、ステップＳ１１００６において、エッジ検出部１０２は、ステップＳ１１００１〜ステップＳ１１００４の各処理において検出した隣接画素間のエッジ部分の組のカウント数を、垂直方向、水平方向、左右斜め方向の各方向に対して、低い相関に対応する上記ｅｄｇｅ_ｈ_ｍａｘ，ｅｄｇｅ_ｖ_ｍａｘ，ｅｄｇｅ_ｒ_ｍａｘ，ｅｄｇｅ_ｌ_ｍａｘとして各々出力し、これらの加算結果としてエッジ部分のカウント数ｅｄｇｅ＿ｃｏｕｎｔ＿ｍａｘを出力する。なお、ステップＳ１１００５とステップＳ１１００６の各処理は、並行して行ってもよいし、順次行ってもよい。
【００６２】
次いで、ステップＳ１１００７において、エッジ検出部１０２は、上記エッジ条件について判定する。上記エッジ条件を満たした場合は、Ｓ１１００８において、エッジ検出部１０２はエッジ検出結果ｅｄｇｅ＿ｄｅｔｅｃｔｉｏｎとして「１」を出力する。上記エッジ条件を満たさない場合には、エッジ検出部１０２は、Ｓ１１００９において、エッジ検出結果ｅｄｇｅ＿ｄｅｔｅｃｔｉｏｎとして「０」を出力する。
【００６３】
次いで、Ｓ１１０１０において、エッジ検出部１０２は、エッジ検出結果ｅｄｇｅ＿ｄｅｔｅｃｔｉｏｎの値を混合処理部１０３へ出力する。
【００６４】
混合処理部１０３は、混合処理として、エッジ検出部１０２のエッジ検出結果ｅｄｇｅ＿ｄｅｔｅｃｔｉｏｎおよびフレーム内補間処理部１０１で行なわれた補間の補間方向結果ｃｏｒｒｅｌａｔｉｏｎ＿ｖに応じて、いかなる補間画素を混合画素Ｐｉｎｔ＿ｍｉｘとして最終的に出力するかを判断する。
【００６５】
具体的には、入力された原画像が、例えばベタの背景上に文字があるような場合、すなわち急峻なエッジが存在し（ｅｄｇｅ＿ｄｅｔｅｃｔｉｏｎ＝１）かつ補間方向が垂直に選択される場合（ｃｏｒｒｅｌａｔｉｏｎ＿ｖ＝１）、混合画素Ｐｉｎｔ＿ｍｉｘとして、原画像に対応した原画素Ｐｏｒｇと補間画素Ｐｉｎｔ＿ｉｐとを混合したｔｅｍｐｏｒａｒｙ混合画素Ｐｉｎｔ＿ｔｍｐを出力する。上記の条件にあてはまらない場合は、混合画素Ｐｉｎｔ＿ｍｉｘとして補間画素Ｐｉｎｔ＿ｉｐを出力する。ここで、ｔｅｍｐｏｒａｒｙ混合画素は、Ｐｉｎｔ＿ｔｍｐ＝α×Ｐｏｒｇ＋（１−α）×Ｐｉｎｔ＿ｉｐであり、「α」は予め外部から設定される混合の割合を決定するＢｌｅｎｄｉｎｇ係数（０≦α≦１）である。
【００６６】
次に、上記混合処理の詳細について、図１２の示すフローチャートを参照して説明する。図１２を参照すると、ステップＳ１２００１において、混合処理部１０３は、原画素Ｐｏｒｇとフレーム内補間処理部１０１から出力された補間画素Ｐｉｎｔ＿ｉｐとを用いて、ｔｅｍｐｏｒａｒｙ混合画素Ｐｉｎｔ＿ｔｍｐを生成する。また、ステップＳ１２００２において、混合処理部１０３は、フレーム内補間処理部１０１から出力された補間方向結果ｃｏｒｒｅｌａｔｉｏｎ＿ｖと、エッジ検出部から出力されたエッジ検出結果ｅｄｇｅ＿ｄｅｔｅｃｔｉｏｎとを合わせて、混合信号ｆｌａｇ＿ｍｉｘを次のように生成する。すなわち、エッジ検出結果ｅｄｇｅ＿ｄｅｔｅｃｔｉｏｎ＝１、かつ、補間方向結果ｃｏｒｒｅｌａｔｉｏｎ＿ｖ＝１ならば、混合信号ｆｌａｇ＿ｍｉｘとして「１」を、そうでなければ混合信号ｆｌａｇ＿ｍｉｘとして「０」を出力する。なお、ステップＳ１２００２はステップＳ１２００１と並行して行ってもよいし、順次に行ってもよい。
【００６７】
次いで、ステップＳ１２００３において、混合処理部１０３は、この混合信号ｆｌａｇ＿ｍｉｘの値を判断し、混合画素Ｐｉｎｔ＿ｍｉｘとして出力する画素を決定する。すなわち、混合信号ｆｌａｇ＿ｍｉｘ＝１ならば、ステップＳ１２００４において混合画素Ｐｉｎｔ＿ｍｉｘ＝ｔｅｍｐｏｒａｒｙ混合画素Ｐｉｎｔ＿ｔｍｐとする。また、混合信号ｆｌａｇ＿ｍｉｘ＝０ならば、ステップＳ１２００５において混合画素Ｐｉｎｔ＿ｍｉｘ＝ｔｅｍｐｏｒａｒｙ混合画素Ｐｉｎｔ＿ｉｐとする。
【００６８】
次いで、ステップＳ１２００６において、混合処理部１０３は、決定された混合画素Ｐｉｎｔ＿ｍｉｘを最終的な補間画素として出力する。
【００６９】
次に、上記画像処理を経て補間された結果について図１３及び図１４を参照して説明する。
【００７０】
図１３はベタの背景に横線がある画像を垂直方向に拡大する場合の上記画像処理結果について説明するための図である。図１３において、（ａ）はベタの背景に横線がある原画像を示している。（ａ）中のａ１は画素値の高い画素を示し、ａ２は画素値の低い画素を示している。ベタの背景を示す画素がａ１に対応し、横線を示す画素がａ２に対応する。この画像は、垂直方向及び左右斜め方向に相関が低く、水平方向に相関が高い。垂直方向及び左右斜め方向の相関の低さは著しく、急峻な変化が生じており、この画像は上記の急峻なエッジを持つ画像に当たる。
【００７１】
図１３において、（ｂ）は、画像処理として、垂直方向に線形補間処理を行った結果を示している。（ｃ）は、画像処理として、上記Ｂｌｅｎｄｉｎｇ係数αを０．５に設定して上記混合処理を行った結果を示している。（ｄ）は、画像処理として、単に補間画素に原画素を出力する処理を行った結果を示している。この（ｄ）は、画像を単に垂直方向に引き伸ばしたことに対応する。
【００７２】
図１４において（ａ）は、画素値の高低を縦軸として、走査線に垂直な方向に沿った画素の位置を横軸として、図１３において行った画像処理の結果をグラフに示している。このグラフにおいて、画素値の高低を示す縦軸に並行で等間隔に並べられた実線及び点線は、それぞれ走査線及び補間画素のある補間ラインを示す。また、図１４において（ｂ）は、（ａ）のグラフの横軸と、画像中の画素との対応関係を示す。
【００７３】
図１４において、（ａ）のａ１は画素値の高い原画素を示し、ａ２は画素値の低い原画素を示している。これらの円で示された画素は、図１３の（ａ）における、画素値の高い画素ａ１と低い画素ａ２にそれぞれ対応する。図１４において、（ａ）のａ３は、垂直方向に線形補間した補間画素を示している。これは、図１３の（ｂ）における、補間画素に対応する。図１４において、（ａ）のａ４は、補間処理として上記混合処理を行った補間画素を示している。これは、図１３の（ｃ）における補間画素に対応する。図１４において、（ａ）のａ５は、補間処理として原画素を出力する処理を行った補間画素を示している。これは、図１３の（ｄ）における補間画素に対応する。
【００７４】
図１４の（ａ）において、画素位置ｎ−１にある原画素と画素位置ｎにある原画素を結ぶ線分の傾きは、画素間の画素値の差に対応する。すなわち、傾きが急であれば画素値の差は大きいことを示す。また、これはその隣接する画素間には上記エッジが存在することを示す。他方、傾きが緩やかであれば画素間の画素値の差は小さいことを示す。
【００７５】
図１４の（ａ）を参照すると、原画像を拡大する際に原画素間の平均値による補間処理を行った結果、原画素中に存在していた画素位置ｎ−１にある原画素と画素位置ｎの間の急峻なエッジは緩やかなものとなる。同様に、画素位置ｎにある原画素と画素位置ｎ＋１の間にあった急峻なエッジも緩やかなものとなる。これは、ベタの背景にある横線の画像を拡大する際に平均値による補間を行うと、横線の輪郭がぼやけてしまうことを示す。
【００７６】
これに対して、図１４の（ａ）を参照すると、原画像を拡大する際に補間画素として上記混合画素を出力する補間処理を行った結果、原画素中に存在していた画素位置ｎ−１にある原画素と画素位置ｎの間のエッジは、平均値による補間処理を行った場合よりも急になっていることがわかる。このことは、単に平均値による補間処理を行った場合よりも、原画像の急峻なエッジを保持できていることを示す。同様に、画素位置ｎにある原画素と画素位置ｎ＋１の間にあったエッジも、平均値による補間処理を行った場合より急になっている。このことは、単に平均値による補間処理を行った場合よりも、原画像の急峻なエッジを保持できていることを示す。
【００７７】
また、図１４の（ａ）を参照すると、原画像を拡大する際に補間位置に原画素を出力する補間処理を行うと、原画素中に存在していた画素位置ｎ−１にある原画素と画素位置ｎの間の急峻なエッジは維持されていることがわかる。同様に、画素位置ｎにある原画素と画素位置ｎ＋１の間にあった急峻なエッジも維持されていることがわかる。図１４の（ａ）を参照すると、上記混合画素による補間処理を行った場合よりも、上記原画素を出力する補間を行った場合の方が、より原画素間の急峻なエッジが保持されていることがわかる。しかし、以下で詳細に説明するように、両者にはその補間方法の違いから、斜線の画像の拡大処理においてがたつき（ジャギー）が生じてしまう。そのため、急峻なエッジを持つ画像を拡大する際には、上記混合画素による補間処理を行う方が課題の解決という点において優れている。
【００７８】
次に、上記混合画素による補間処理と、上記原画素を出力する補間処理との違いを、図１５を参照して詳細に説明する。
【００７９】
図１５はベタの背景に右斜め方向の斜線がある画像を垂直方向に拡大する場合の上記画像処理結果について説明するためのものである。図１５において、（ａ）はベタの背景に右斜め方向の斜線がある原画像を示している。（ａ）中の黒く塗りつぶされた円は画素値の低い画素を示し、白抜きの円は画素値の高い画素を示している。ベタの背景を示す画素が白抜きの円に対応し、横線を示す画素が黒く塗りつぶされた円に対応する。この画像は、右斜め方向に相関が高く、その他の方向（垂直、水平、左斜め方向）に相関が低い。また、垂直及び水平及び左斜め方向の相関の低さは著しく、急峻な変化が生じており、この部分は上記のエッジ部分に当たる。
【００８０】
また、図１５において、（ｂ）は、補間画素として原画素を出力する補間処理を行った結果を示している。（ｃ）は、画像処理として上記Ｂｌｅｎｄｉｎｇ係数αを０．５に設定して上記混合処理を行った結果を示している。
【００８１】
図１５の（ｂ）を参照すると、右斜め方向の斜線を垂直方向に拡大する際に補間画素として原画素を出力する補間処理を行った場合、がたつき（ジャギー）の多い斜線となってしまうことがわかる。これに対し、図１５の（ｃ）を参照すると、右斜め方向の斜線を垂直方向に拡大する際に補間画素として上記混合画素を出力する上記混合処理を行った場合には、図１５の（ｂ）の場合に比べ、ジャギーが軽減されていることがわかる。
【００８２】
以上より、補間画素として原画素を出力する補間処理及び上記混合画素を出力する上記混合処理のいずれも、ベタの背景に横線がある画像を垂直方向に拡大する場合には原画像の急峻なエッジを保持しうる。しかし、ベタの背景に斜線がある画像を垂直方向に拡大する場合には、補間画素として原画素を出力する補間処理は斜め方向にジャギーを生じてしまう。したがって、本発明にかかる上記混合画素を出力する上記混合処理は、原画像の垂直方向の急峻なエッジを保持しつつ、斜め方向にジャギーを生じさせない補間処理として優れている。なお、本実施の形態においては垂直方向の拡大のみを扱ったが、水平方向の拡大においても反時計回りに90度回転させることで垂直方向の拡大と同等に扱える。それゆえ、垂直及び水平方向の拡大において、本発明にかかる上記混合画素を出力する上記混合処理は、原画像の急峻なエッジを保持しつつ、斜め方向にジャギーを生じさせない補間処理として優れている。
【００８３】
次に、上記画像処理装置１００を利用した液晶表示装置の一例について図１６を参照して説明する。図１６において、液晶表示装置２００は、画像処理装置１００と液晶パネル２０１により構成される。画像処理装置１００は、上述の図４に示したものと同一である。液晶パネル２０１は、薄膜トランジスタ（以下、ＴＦＴという）基板、ＴＦＴ基板に対向して結合されるカラーフィルタ基板及び両基板の間に介在されて液晶等を含む。液晶パネル２０１は、画像処理装置１００からフレーム毎に入力される補間画素により画像を表示する。液晶パネル２０１の解像度が、入力されるフルハイビジョン画像の縦横２倍である場合、画像処理装置１００は、入力されるフルハイビジョン画像を縦横２倍に拡大するように上記画像補間処理を実行する。これにより、拡大後も原画像の急峻なエッジを保持しつつ、斜め方向にジャギーを生じさせない高品位な画像表示が可能になる。なお、本実施の形態では、画像処理装置を液晶表示装置に用いた場合を示したが、液晶表示装置に限定するものではなく、例えば、ＰＤＰ、有機ＥＬなどの表示装置にも適用可能である。
【符号の説明】
【００８４】
１００…画像処理装置
１０１…フレーム内補間処理部
１０２…エッジ検出部
１０３…混合処理部
２００…液晶表示装置
２０１…液晶パネル
【技術分野】
【０００１】
本発明は、入力された画像を拡大処理し、液晶、ＰＤＰ、有機ＥＬなどのパネルに表示する画像処理装置及び画像処理方法に関する。
【背景技術】
【０００２】
近年、画像の高解像化に伴い、表示装置（液晶、ＰＤＰ、有機ＥＬなど）の表示解像度も高くなっている。但し、ハイビジョン放送などにより放送されるテレビ信号（インターレース信号）等の入力画像は、表示装置の表示解像度に合っていない場合があり、表示装置内で入力画像の解像度を表示解像度まで拡大する必要がある。
【０００３】
しかし、単純に線形補間等の手法で拡大処理してしまうと、輪郭にぼやけが生じたり、斜め線でジャギーが発生したりしてしまう。そこで、入力画像を縦横に拡大する際に、インターレース・プログレッシブ変換（ＩＰ変換）時に用いるフレーム内補間処理を、縦方向及び横方向に適用することにより、斜め方向のエッジが滑らかな補間画素を生成することが可能となる。
【０００４】
Ｉ／Ｐ変換とは、インターレース信号において間引かれている走査線を、各フィールドの情報をそれぞれ用いて補間信号を生成し、プログレッシブ信号に変換するものである。一般に、インターレース方式の画像をプログレッシブ方式の画像に変換する場合、インターレース画像が静止画像である場合には、一方のフィールド走査線を隣接する他方のフィールド走査線の間にはめ込むことにより補間走査線（以下、補間ラインという）を生成するフィールド間補間が行われ、またインターレース画像が動画像である場合には、同一フィールド内の隣接走査線上の画素を用いて補間ラインを生成するフィールド内補間が行われる。
【０００５】
フィールド内の補間処理でインターレースｎラインとインターレースｎ＋１ライン間に補間ラインを生成するにあたっては、補間ライン上の画素Ａとして、その上下の走査線ｎ，ｎ＋１上の画素Ｕ，Ｄを加算して平均値（＝（Ｕ＋Ｄ）/２）を得る方法が簡単である。しかしながら、この上下方向の補間方法を適用した場合、絵柄によっては斜め線がギザギザして見える、いわゆるジャギーが目立つ画像となる場合がある。
【０００６】
また、インターレース画像をプログレッシブ画像に変換する技術として、動き適応型プログレッシブ変換がある。この技術は、画素単位もしくは画素ブロック単位で動き検出を行い、フィールド内補間処理結果とフィールド間補間処理結果を、動き検出結果に応じた混合比で混合処理する、という技術である。動き検出としては、１フレーム間の同一位置の画素同士の信号レベルの差分等から推定する。
【０００７】
しかし、動き適応型プログレッシブ変換処理では、フィールド内補間処理として上下画素平均値を使用すると、垂直方向の解像感が低くなり、斜め線がギザギザに見える問題がある。一方、このような問題を解決する方法として、斜め補間という方法が知られている。斜め補間処理は、補間画素Ａを生成するにあたり、その上下の走査線ｎ，ｎ＋１から、補間ライン上の画素Ａを中心として点対称となる画素のペアを一組選択し、そのペアの画素値の平均値を補間画素値として用いる方法である。
【０００８】
補間方向の選択の方法の例として、ペアの画素間の絶対差分値が最小のものを使用する方法がある。例えば、補間しようとしている画素を中心とする上下及び斜め方向の一対の画素間の差分をとり、多数の斜め差分信号を用いて、斜め相関の高い方向を判定し、補間画素を作成するものである。斜め補間に関する従来技術としては、例えば、特許文献１、特許文献２に記載のものがある。
【０００９】
以上を踏まえて、拡大処理を行なうと、例えば、縦方向に２倍にする場合、まず、補間画素位置を挟むようにした上下の複数ラインから、補間画素位置を中心とした周辺画素を用い相関値を計算する。次に、その相関値から最適な補間方向を選択し、その補間方向から補間画素値を生成する。これによって、斜め方向に関してはジャギーがなくなる。
【先行技術文献】
【特許文献】
【００１０】
【特許文献１】特開２００３−２３０１０９号公報
【特許文献２】特開２００９−７７２９３号公報
【発明の概要】
【発明が解決しようとする課題】
【００１１】
しかし、縦方向に急峻に変化する水平ライン（このような画像の代表例としては、文字などが挙げられる。）のような画像の場合、相関がどの方向も同じとなるため、対象画素の上下方向に線形補間を行うことになる。その結果、補間値は上下画素値の平均値となってしまう。そのため、元々はっきりしていた文字などは、ぼやけた表示になってしまい、見づらい低品質な表示になるという問題が発生する。このような縦方向に急峻に変化する水平ラインのような画像に対しては、上記従来の画素補間処理では対応できないという課題があった。このような課題を有する従来の画素補間処理の具体例について、以下に説明する。
【００１２】
図１は、上記補間画素を中心として点対称となる画素のペアを選択して行なう斜め補間処理の一例を示す図である。この場合、図中の右斜め方向に相関が高い画素が存在するため、その中央位置に配置された補間画素は滑らかに補間されている。一方、図２も同様に斜め補間処理の一例を示す図である。しかし、このように各オリジナルラインの水平方向にのみ相関が強く、補間画素を中心とした点対称となる画素間の相関がいずれの方向でも同じとなる場合には、結局上下画素値の平均値を補間画素値として生成してしまう。図３は、この図２の場合に斜め補間処理を行なった補間結果を示した図である。よって、このような場合に従来の斜め補間をそのまま行なうと、元々はっきりとしていたものがぼやけた表示となってしまい、見づらい低品質な表示になってしまう。
【００１３】
本発明は、上記の問題に鑑み、画像中に急峻な画素値の変化をもつ画像を拡大する際に、斜め補間処理によるフィールド内補間のジャギーの軽減という改善効果を残しつつ、かつ、原画像の急峻な変化を拡大後も保持することができ、原画像の品質を保持したままより高品位な表示を可能にする画素補間処理を実現する画像処理装置及び画像処理方法を提供することを目的とする。
【課題を解決するための手段】
【００１４】
本願発明の一実施形態に係る画像処理装置は、入力画像の拡大処理を実行する画像処理装置において、前記入力画像のフレーム毎に前記入力画像の補間画素を作成して出力するフレーム内補間処理部と、前記入力画像のフレーム内で検出対象領域毎に画素間の変化を検出し、前記画素間の変化によりエッジの有無を判定してエッジ判定結果を出力するエッジ検出部と、前記エッジ検出部による前記エッジ判定結果に基づいて、前記フレーム内補間処理部から出力される補間画素に対して前記入力画像に含まれる原画素を選択的に混合して前記フレーム内補間処理を実行する混合処理部と、を備えることを特徴とする。この画像処理装置によれば、画像中に急峻な画素値の変化をもつ画像を拡大する際に、斜め補間処理によるフレーム内補間時のジャギーを軽減しながら、原画像の急峻な変化を拡大後も保持することができ、原画像の品質を保持したままより高品位な表示が可能となる。
【００１５】
また、前記エッジ検出部は、前記入力画像のフレーム内で検出対象画素毎に複数の方向の周辺画素との間で方向別の差分を各々求め、各方向別の差分を第１の閾値及び第２の閾値と比較し、前記第１の閾値以下の差分を累積して第１の累積結果を出力し、前記第２の閾値以上の差分を累積して第２の累積結果を出力し、前記第１の累積結果と第３の閾値との比較結果が第１の条件を満たすか否か、且つ、前記第２の累積結果と第４の閾値との比較結果が第２の条件を満たすか否かにより前記エッジの有無を判定してもよい。この画像処理装置によれば、入力画像の特徴に応じたエッジ検出が可能となる。
【００１６】
また、前記エッジ検出部は、前記第１の累積結果と第３の閾値との比較結果及び前記第２の累積結果と第４の閾値との比較結果が前記第１の条件及び前記第２の条件の一方または双方を満たさない場合は、前記フレーム内に同一の隣接画素が存在することを示す第１の情報を出力し、前記第１の累積結果と第３の閾値との比較結果及び前記第２の累積結果と第４の閾値との比較結果が前記第１の条件及び前記第２の条件の双方を満たす場合は、前記入力画像のフレーム内で検出対象領域にエッジが存在することを示す第２の情報を出力してもよい。この画像処理装置によれば、入力画像の特徴に応じたエッジの検出が可能となり、かつ、エッジの有無に応じて出力すべき補間画素を選択することが可能となるので、入力画像の特徴に応じた最良の補間画素を出力することが可能となる。
【００１７】
また、前記フレーム内補間処理部は、前記入力画像のフレーム内で補間対象画素毎に複数の方向の周辺画素との間で相関値を求め、該相関値により生成した前記補間画素を出力するとともに前記補間画素の補間方向を出力し、前記混合処理部は、前記フレーム内補間処理部から出力される前記補間方向が垂直方向であり、前記エッジ検出部から出力される前記エッジ判定結果がエッジ有りである場合は、前記補間画素と当該補間画素に対応する原画素とを混合して前記フレーム内補間処理を実行し、前記フレーム内補間処理部から出力される前記補間方向が垂直方向ではなく、前記エッジ検出部から出力される前記エッジ判定結果がエッジ無しである場合は、前記補間画素により前記フレーム内補間処理を実行してもよい。フレーム内補間処理部が斜め方向の補間をしている場合に上記混合画素を出力してしまうと、拡大後にはジャギーの多い斜線となってしまうところ、この画像処理装置によれば、上記混合画素を出力すべき場合のみを判別しうるので、上記フレーム内補間処理部の補間処理によるフレーム内補間時のジャギーを軽減しながら、原画像の急峻なエッジ部分を拡大後も保持することができ、原画像の品質を保持したままより高品位な表示が可能になる。
【００１８】
また、前記混合処理部は、前記補間画素と前記原画素を混合する割合を示す係数を設定し、前記係数を用いて前記補間画素と前記原画素の混合処理を実行してもよい。この画像処理装置によれば、混合割合を調節することが可能となるので、原画像のエッジを保持したより高品位な画像を出力することが可能となる。
【００１９】
本発明の一実施の形態に係る画像処理方法は、入力画像の拡大処理を実行する画像処理方法において、前記入力画像のフレーム毎に前記入力画像の補間画素を作成して出力するフレーム内補間処理を実行し、前記入力画像のフレーム内で検出対象領域毎に画素間の変化を検出し、前記画素間の変化によりエッジの有無を判定してエッジ判定結果を出力し、前記エッジ判定結果に基づいて、前記フレーム内補間処理により出力される補間画素に対して前記入力画像に含まれる原画素を選択的に混合してフレーム内補間処理を実行すること、を含むことを特徴とする。この画像処理方法によれば、画像中に急峻な画素値の変化をもつ画像を拡大する際に、斜め補間処理によるフレーム内補間時のジャギーを軽減しながら、原画像の急峻な変化を拡大後も保持することができ、原画像の品質を保持したままより高品位な表示が可能となる。
【００２０】
また、前記エッジの有無の判定において、前記入力画像のフレーム内で検出対象画素毎に複数の方向の周辺画素との間で方向別の差分を各々求め、各方向別の差分を第１の閾値及び第２の閾値と比較し、前記第１の閾値以下の差分を累積して第１の累積結果を出力し、前記第２の閾値以上の差分を累積して第２の累積結果を出力し、前記第１の累積結果と前記第３の閾値との比較結果が第１の条件を満たすか否か、且つ、前記第２の累積結果と前記第４の閾値との比較結果が第２の条件を満たすか否かにより前記エッジの有無を判定してもよい。この画像処理方法によれば、入力画像の特徴に応じたエッジ検出が可能となる。
【００２１】
また、前記エッジの有無の判定において、前記第１の累積結果と前記第３の閾値との比較結果及び前記第２の累積結果と前記第４の閾値との比較結果が前記第１の条件及び前記第２の条件の一方または双方を満たさない場合は、前記フレーム内に同一の隣接画素が存在することを示す第１の情報を出力し、前記第１の累積結果と前記第３の閾値との比較結果及び前記第２の累積結果と前記第４の閾値との比較結果が前記第１の条件及び前記第２の条件の双方を満たす場合は、前記入力画像のフレーム内で検出対象領域にエッジが存在することを示す第２の情報を出力してもよい。この画像処理装置によれば、入力画像の特徴に応じたエッジの検出が可能となり、かつ、エッジの有無に応じて出力すべき補間画素を選択することが可能となるので、入力画像の特徴に応じた最良の補間画素を出力することが可能となる。
【００２２】
また、前記フレーム内補間処理において、前記入力画像のフレーム内で補間対象画素毎に複数の方向の周辺画素との間で相関値を求め、該相関値により生成した前記補間画素を出力するとともに前記補間画素の補間方向を出力し、前記フレーム内補間処理において、前記フレーム内補間処理により出力される前記補間方向が垂直方向であり、前記エッジ判定結果がエッジ有りである場合は、前記補間画素と当該補間画素に対応する原画素とを混合して前記フレーム内補間処理を実行し、前記フレーム内補間処理により出力される前記補間方向が垂直方向ではなく、前記エッジ判定結果がエッジ無しである場合は、前記補間画素により前記フレーム内補間処理を実行することを含んでもよい。ここで、前記フレーム内補間処理が斜め方向の補間をしている場合に前記補間画素と当該補間画素に対応する原画素とを混合した画素を出力してしまうと、拡大後にはジャギーの多い斜線となってしまう。しかし、この画像処理方法によれば、上記混合画素を出力すべき場合のみを判別しうるので、上記フレーム内補間処理の補間処理によるフレーム内補間時のジャギーを軽減しながら、原画像の急峻なエッジ部分を拡大後も保持することができ、原画像の品質を保持したままより高品位な表示が可能になる。
【００２３】
また、前記フレーム内補間処理において、前記補間画素と前記現画素を混合する割合を示す係数を設定し、前記係数を用いて前記補間画素と前記現画素の混合処理を実行してもよい。この画像処理方法によれば、混合割合を調節することが可能となるので、原画像のエッジを保持したより高品位な画像を出力することが可能となる。
【発明の効果】
【００２４】
本発明によれば、画像中に急峻な画素値の変化をもつ画像を拡大する際に、斜め補間によるフレーム内補間時のジャギーを軽減しながら、原画像の急峻な変化を拡大後も保持することができ、原画像の品質を保持したままより高品位な表示を可能にする画素補間処理を実現する画像処理装置及び画像処理方法を提供することができる。
【図面の簡単な説明】
【００２５】
【図１】従来の斜め補間処理の一例を示す図である。
【図２】従来の斜め補間処理の図１とは異なる一例を示す図である。
【図３】図２の画像に斜め補間処理を行なった場合の補間結果を示す図である。
【図４】本発明の一実施の形態に係る画像処理装置の構成を示すブロック図である。
【図５】本発明の一実施の形態に係るフレーム内補間処理部の補間処理の詳細を説明するためのフローチャートである。
【図６】原画素を、その位置における座標と、その座標における画素値とを定義する例を示す図である。
【図７】本発明の一実施の形態に係る水平及び垂直方向のエッジ検出処理の一例を示す図である。
【図８】本発明の一実施の形態に係る左右斜め方向のエッジ検出処理の一例を示す図である。
【図９】本発明の一実施の形態に係るエッジ検出処理の具体例を説明するための画像を例示した図である。
【図１０】本発明の一実施の形態に係るエッジ検出処理の具体例を説明するための画像を例示した図である。
【図１１】本発明の一実施の形態に係るエッジ検出部の検出処理の詳細を説明するフローチャートである。
【図１２】本発明の一実施の形態に係る混合処理部の混合処理の詳細を説明するフローチャートである。
【図１３】（ａ）に示すベタの背景に横線がある原画像を垂直方向に拡大処理する際に、（ｂ）〜（ｄ）に示す３通りの補間処理を行った場合の画像処理結果を示す図である。
【図１４】（ａ）は画素値の高低を縦軸とし、走査線に垂直な方向に沿った画素の位置を横軸として、図１３において行った３通りの画像処理の結果を示したグラフ、（ｂ）は（ａ）のグラフの横軸と画像中の画素との対応関係を示した図である。
【図１５】（ａ）に示すベタの背景に斜線がある画像を垂直方向に拡大する際に、（ｂ）に示す補間画素として原画素を出力する補間処理と、（ｃ）に示す本実施形態における混合処理を行った場合の各画像処理結果を示す図である。
【図１６】本発明の一実施の形態に係る液晶表示装置の構成例を示す図である。
【発明を実施するための形態】
【００２６】
（発明に至る経緯）
２０１１年７月、現行の地上アナログ放送がデジタル放送に完全移行されることに伴い、放送画質も現行のスタンダード画質からハイビジョン画質への高画質化が本格化する。そのハイビジョンの更なる高画質化を目指して、ＮＨＫ放送技術研究所（以下、ＮＨＫ技研）では、スーパーハイビジョン（以下、ＳＨＶ）放送の実用化へ向けた研究開発が進められている。ＳＨＶとは、次世代テレビ向けフォーマットであり、７６８０×４３２０画素の解像度を持つ超高精細映像のことである。これは、縦横共に現行のフルハイビジョンの４倍で、計１６倍の解像度となる。そこで、ＳＨＶ放送の実用化を想定し、ＳＨＶに対応した表示装置が必要となる。また、これに伴って地上デジタル放送でＳＨＶを放送ないし受信するための技術も開発中である。
【００２７】
しかし、伝送容量を拡大するための技術の向上の必要性や、電波の送受信のためのアンテナも専用のものが必要になるなど、すぐに地上波放送で導入することは難しい。このため、全ての放送が完全にＳＨＶ放送へ移行することは未だ困難であり、過渡期にはフルハイビジョン放送である状況が続くことが予想される。したがって、表示装置が放送フォーマットより高解像度の場合は、表示装置に合わせた映像の拡大処理が必要になる。
【００２８】
このような背景のもと、拡大処理を行なっても原画像の品質を保持した状態で高品位な表示が可能となるような画像の補間処理技術が求められる。
【００２９】
そこで、本発明は、Ｉ／Ｐ変換時に用いるフィールド内補間処理を、解像度を２倍にするフレーム内補間処理として利用し、急峻なエッジ検出処理と混合処理とを組み合わせることにより、上記の課題を克服する画像補間処理装置を提供するものである。以下の実施の形態では、画像の微小な変化と大きな変化の両方を検出するエッジ検出処理、及び垂直方向の補間かつ急峻なエッジである場合のみ補間画素に原画素を混合する混合処理とを組み合わせて、画像拡大処理時のぼやけ等を低減する画像処理装置について説明する。なお、本発明において「エッジ」とは、隣接する原画素間の画素値の絶対差分値が設定された閾値以上の場合、その隣接画素間の変化の大きい部分を示すものである。
【００３０】
以下、図面を参照して本発明に係る拡大処理時にぼやけを低減する画像処理装置について説明する。ただし、本発明の装置は多くの異なる態様で実施することが可能であり、以下に示す多数の実施の形態の記載内容に限定して解釈されるものではない。
【００３１】
図４は、本発明の実施の形態に係る画像処理装置の構成を示すブロック図である。図４に示すように、本発明の一実施形態に係る画像処理装置１００は、補間画素を生成するＩ／Ｐ変換処理のフレーム内補間処理部１０１（以下、フレーム内補間処理部１０１という）と、原画像が急峻なエッジを持つ画像か否かを判断するエッジ検出部１０２と、混合処理部１０３と、を有する。
【００３２】
フレーム内補間処理部１０１は、原画像のフレーム毎にフレーム内補間処理を実行して原画像の補間画素を作成して、原画像の拡大に伴う補間処理を行なう。従来の補間処理は、補間画素Ｐｉｎｔ＿ｉｐを生成する際に、その上下の走査線ｎ，ｎ＋１から、補間ライン上の画素Ｐｉｎｔ＿ｉｐを中心として点対称となる画素のペアを一組選択し、その平均値を補間画素値として用いる補間処理方法である。
【００３３】
再度、図１から図２を参照して、従来の補間処理方法を説明する。図１は、上記補間画素を中心として点対称となる画素のペアを選択して行なう補間処理の一例を示す図である。補間しようとしている画素を中心とする垂直及び左右斜め方向の一対の画素間の画素値の絶対差分値を取り、各方向の絶対差分値の中で最も小さいものを相関の高い方向と判定し、その方向のペアの各原画素値をもとに線形補間を行い、補間画素Ｐｉｎｔ＿ｉｐを作成する。図１を参照すると、図中の補間画素を中心とした右斜め方向に相関が高い画素が存在するため、その中央位置に配置された補間画素はその方向に隣接する原画素の画素値をもとに線形補間される。
【００３４】
図２も同様に補間処理の一例を示す図である。図２に示す原画像は、各オリジナルラインの水平方向にのみ相関が強く、補間画素を中心とした点対称となる画素間の相関がいずれの方向でも同じとなる。この場合には、垂直方向を相関の強いペアとして選択し、そのペアの各画素値をもとに線形補間して、補間画素を生成する。
【００３５】
以上の従来の補間処理に対して、フレーム内補間処理部１０１は、補間方向が斜めの場合には、補間方向結果ｃｏｒｒｅｌａｔｉｏｎ＿ｖとして「０」を、上下方向の場合には補間方向結果ｃｏｒｒｅｌａｔｉｏｎ＿ｖとして「１」を混合処理部１０３に出力する。
【００３６】
次に、上記補間処理の詳細について、図５に示すフローチャートを参照して説明する。図５を参照すると、ステップＳ５００１において、フレーム内補間処理部１０１は補間画素を中心として点対称となる画素のペアの画素間の絶対差分値が最小のものを検出して相関の強さを判定して、相関の強いペアの存在する方向を決定する。次いで、ステップＳ５００２において、フレーム内補間処理部１０１は、決定した方向で線形補間を行い、補間画素Ｐｉｎｔ＿ｉｐを生成する。次いで、Ｓ５００３において、フレーム内補間処理部１０１は、生成した補間画素Ｐｉｎｔ＿ｉｐを混合処理部１０３に出力する。
【００３７】
また、ステップＳ５００４において、フレーム内補間処理部１０１は、補間方向が斜めか否かを判断する。補間方向が斜めであれば、ステップＳ５００５においてｃｏｒｒｅｌａｔｉｏｎ＿ｖ＝０とする。補間方向が斜めでなければ、ステップＳ５００６においてｃｏｒｒｅｌａｔｉｏｎ＿ｖ＝１とする。次いで、ステップＳ５００７において、フレーム内補間処理部１０１は、ｃｏｒｒｅｌａｔｉｏｎ＿ｖを混合処理部１０３へ出力する。なお、ステップＳ５００４〜ステップＳ５００７の処理は、ステップＳ５００２〜ステップＳ５００３の処理と並行して行ってもよいし、順次行ってもよい。
【００３８】
エッジ検出部１０２は、垂直水平及び左右斜め方向に隣接する原画素間の画素値の差などから原画像が急峻なエッジを持つ画像か否かを判断する。この判断は、例えば、ベタの背景上に文字があるような場合のみを検出するために行なわれるものである。この検出においては、このような画像が通常二つの特徴を有することに着目する。一つは、（１）背景上の文字が認識しやすいように、背景と文字の間の画素値に大きな差を持っていることが多い（画素間の相関が比較的低い）という特徴である。この大きな画素値の差を「エッジ」と呼ぶ。もう一つは、（２）文字内は単一色の場合が多い（画素間の相関が比較的高い）という特徴である。この（２）の特徴を、本実施の形態では「同一性」と呼ぶことにする。エッジ検出部１０２は、これらの特徴を抽出し、急峻なエッジを持つ画像か否かを判断する。具体的には、垂直水平及び左右斜め方向に隣接する画素値の絶対差分値Δｐを用いて、次のように計算する。
【００３９】
まず、（１）の特徴を抽出するため、隣接画素間のエッジを検出する閾値ｐｘ＿ｔｈｒｅｓｈｏｌｄ＿ｍａｘを設定し、隣接画素間の画素値の絶対差分値Δｐが閾値ｐｘ＿ｔｈｒｅｓｈｏｌｄ＿ｍａｘ（第２の閾値）以上となる隣接画素の組の数をカウントする。そのカウント値をエッジ部分のカウント値ｅｄｇｅ＿ｃｏｕｎｔ＿ｍａｘ（第２の累積結果）とする。同様にして、（２）の特徴を抽出するため、隣接画素間の同一性を検出する閾値ｐｘ＿ｔｈｒｅｓｈｏｌｄ＿ｍｉｎ（第１の閾値）を設定し、絶対差分値Δｐが閾値ｐｘ＿ｔｈｒｅｓｈｏｌｄ＿ｍｉｎ以下となる隣接画素の組の数をカウントする。そのカウント値を同一な部分のカウント値ｅｄｇｅ＿ｃｏｕｎｔ＿ｍｉｎ（第１の累積結果）とする。
【００４０】
そして、（１）及び（２）の特徴を備えた急峻なエッジを含む画像であることを検出する条件として、エッジ部分のカウント値に対応する閾値ｃｏｕｎｔ＿ｔｈｒｅｓｈｏｌｄ＿ｍａｘ（第４の閾値）と、同一な部分のカウント値に対応する閾値ｃｏｕｎｔ＿ｔｈｒｅｓｈｏｌｄ＿ｍｉｎ（第３の閾値）を用いて、「ｅｄｇｅ＿ｃｏｕｎｔ＿ｍａｘ≧ｃｏｕｎｔ＿ｔｈｒｅｓｈｏｌｄ＿ｍａｘ（第２の条件）かつｐｘ＿ｔｈｒｅｓｈｏｌｄ＿ｍｉｎ≧ｃｏｕｎｔ＿ｔｈｒｅｓｈｏｌｄ＿ｍｉｎ（第１の条件）」を設定する。この条件を、本実施の形態では「エッジ条件」と呼ぶことにする。
【００４１】
エッジ検出部１０２は、エッジ条件を満たす場合は、エッジ検出結果ｅｄｇｅ＿ｄｅｔｅｃｔｉｏｎとして「１」を、エッジ条件を満たさない場合は、エッジ検出結果ｅｄｇｅ＿ｄｅｔｅｃｔｉｏｎとして「０」を混合処理部１０３に出力する。
【００４２】
次に、図６から図１０を用いて、上記エッジ検出処理をより詳細に説明する。図６は、円で表される原画素を、その位置する座標（ｘ，ｙ）と、その座標における画素値ｐ（ｘ，ｙ）と、により定義する例を示す図である。図７の（ａ）は、水平方向のエッジ検出処理を例示した図である。図６に従って、図７の（ａ）のように水平方向に隣接する画素値の絶対差分値Δｐを定義すると、Δｐ(ｘ,ｙ)＝|ｐ(ｘ,ｙ)−ｐ(ｘ＋１,ｙ)|（ｘ＝１〜２，ｙ＝０〜２）となる。エッジ検出部１０２は、水平方向に隣接する画素間に急峻なエッジが存在するか否かを判断するため、水平方向の絶対差分値Δｐ(ｘ,ｙ)と予め外部より設定する閾値ｐｘ＿ｔｈｒｅｓｈｏｌｄ＿ｍａｘを比較し、Δｐ(ｘ,ｙ)≧ｐｘ＿ｔｈｒｅｓｈｏｌｄ＿ｍａｘの条件を満たすか否かを判断する。また、エッジ検出部１０２は、水平方向の隣接画素間に同一な部分が存在するか否かを判断するため、絶対差分値Δｐと予め外部より設定する閾値ｐｘ＿ｔｈｒｅｓｈｏｌｄ＿ｍｉｎを比較し、Δｐ(ｘ,ｙ)≦ｐｘ＿ｔｈｒｅｓｈｏｌｄ＿ｍｉｎの条件を満たすか否かを判断する。エッジ検出部１０２は、水平方向の絶対差分値Δｐ(ｘ,ｙ)がΔｐ(ｘ,ｙ)≧ｐｘ＿ｔｈｒｅｓｈｏｌｄ＿ｍａｘの条件を満たす場合は、その隣接画素の組をカウントするため、水平方向のエッジ部分のカウント値ｅｄｇｅ_ｈ_ｍａｘを出力する。また、エッジ検出部１０２は、水平方向の絶対差分値Δｐ(ｘ,ｙ)がΔｐ(ｘ,ｙ)≦ｐｘ＿ｔｈｒｅｓｈｏｌｄ＿ｍｉｎの条件を満たす場合は、その隣接画素の組をカウントするため、水平方向の同一な部分のカウント値ｅｄｇｅ_ｈ_ｍｉｎを出力する。
【００４３】
図７の（ｂ）は垂直方向のエッジ検出処理の一例を示す図、図８の（ａ）は右斜め方向のエッジ検出処理の一例を示す図、図８の（ｂ）は左斜め方向のエッジ検出処理の一例を示す図である。図７の（ａ）における水平方向のエッジ検出と同様に、垂直方向、右斜め方向、左斜め方向に隣接する原画素間の絶対差分値Δｐを求め、設定した閾値（ｐｘ＿ｔｈｒｅｓｈｏｌｄ＿ｍａｘ，ｐｘ＿ｔｈｒｅｓｈｏｌｄ＿ｍｉｎ）と比較することで、エッジ部分及び同一な部分を検出する。
【００４４】
すなわち、垂直方向のエッジ検出処理では、エッジ検出部１０２は、垂直方向に隣接する画素間に急峻なエッジが存在するか否かを判断するため、垂直方向の絶対差分値Δｐ(ｘ,ｙ)と予め外部より設定する閾値ｐｘ＿ｔｈｒｅｓｈｏｌｄ＿ｍａｘを比較し、Δｐ(ｘ,ｙ)≧ｐｘ＿ｔｈｒｅｓｈｏｌｄ＿ｍａｘの条件を満たすか否かを判断する。また、エッジ検出部１０２は、垂直方向の隣接画素間に同一な部分が存在するか否かを判断するため、絶対差分値Δｐと予め外部より設定する閾値ｐｘ＿ｔｈｒｅｓｈｏｌｄ＿ｍｉｎを比較し、Δｐ(ｘ,ｙ)≦ｐｘ＿ｔｈｒｅｓｈｏｌｄ＿ｍｉｎの条件を満たすか否かを判断する。エッジ検出部１０２は、垂直方向の絶対差分値Δｐ(ｘ,ｙ)がΔｐ(ｘ,ｙ)≧ｐｘ＿ｔｈｒｅｓｈｏｌｄ＿ｍａｘの条件を満たす場合は、その隣接画素の組をカウントするため、ｅｄｇｅ_ｖ_ｍａｘを出力する。また、エッジ検出部１０２は、垂直方向の絶対差分値Δｐ(ｘ,ｙ)がΔｐ(ｘ,ｙ)≦ｐｘ＿ｔｈｒｅｓｈｏｌｄ＿ｍｉｎの条件を満たす場合は、その隣接画素の組をカウントするため、ｅｄｇｅ_ｖ_ｍｉｎを出力する。
【００４５】
また、左右斜め方向のエッジ検出処理では、エッジ検出部１０２は、左右斜め方向に隣接する画素間に急峻なエッジが存在するか否かを判断するため、左右斜め方向の各絶対差分値Δｐ(ｘ,ｙ)と予め外部より設定する閾値ｐｘ＿ｔｈｒｅｓｈｏｌｄ＿ｍａｘを比較し、Δｐ(ｘ,ｙ)≧ｐｘ＿ｔｈｒｅｓｈｏｌｄ＿ｍａｘの条件を満たすか否かを判断する。また、エッジ検出部１０２は、左右斜め方向の隣接画素間に同一な部分が存在するか否かを判断するため、左右斜め方向の各絶対差分値Δｐと予め外部より設定する閾値ｐｘ＿ｔｈｒｅｓｈｏｌｄ＿ｍｉｎを比較し、Δｐ(ｘ,ｙ)≦ｐｘ＿ｔｈｒｅｓｈｏｌｄ＿ｍｉｎの条件を満たすか否かを判断する。エッジ検出部１０２は、左右斜め方向の一方又は双方の絶対差分値Δｐ(ｘ,ｙ)がΔｐ(ｘ,ｙ)≧ｐｘ＿ｔｈｒｅｓｈｏｌｄ＿ｍａｘの条件を満たす場合は、その隣接画素の組をカウントするため、ｅｄｇｅ_ｒ_ｍａｘ及び／又はｅｄｇｅ_ｌ_ｍａｘを出力する。また、エッジ検出部１０２は、左右斜め方向の一方又は双方の絶対差分値Δｐ(ｘ,ｙ)がΔｐ(ｘ,ｙ)≦ｐｘ＿ｔｈｒｅｓｈｏｌｄ＿ｍｉｎの条件を満たす場合は、その隣接画素の組をカウントするため、ｅｄｇｅ_ｒ_ｍｉｎ及び／又はｅｄｇｅ_ｌ_ｍｉｎを出力する。
【００４６】
次に、エッジ検出部１０２は、上述の各方向で検出した隣接画素間のエッジ部分の各カウント数（ｅｄｇｅ_ｈ_ｍａｘ，ｅｄｇｅ_ｖ_ｍａｘ，ｅｄｇｅ_ｒ_ｍａｘ，ｅｄｇｅ_ｌ_ｍａｘ）を加算し、その加算結果をｅｄｇｅ＿ｃｏｕｎｔ＿ｍａｘとして出力する。すなわち、ｅｄｇｅ＿ｃｏｕｎｔ＿ｍａｘ＝ｅｄｇｅ_ｈ_ｍａｘ＋ｅｄｇｅ_ｖ_ｍａｘ＋ｅｄｇｅ_ｒ_ｍａｘ＋ｅｄｇｅ_ｌ_ｍａｘである。また、エッジ検出部１０２は、上述の各方向で検出した隣接画素間の同一な部分の各カウント数（ｅｄｇｅ_ｈ_ｍｉｎ，ｅｄｇｅ_ｖ_ｍｉｎ，ｅｄｇｅ_ｒ_ｍｉｎ，ｅｄｇｅ_ｌ_ｍｉｎ）を加算し、その結果をｅｄｇｅ＿ｃｏｕｎｔ＿ｍｉｎとして出力する。すなわち、ｅｄｇｅ＿ｃｏｕｎｔ＿ｍｉｎ＝ｅｄｇｅ_ｈ_ｍｉｎ＋ｅｄｇｅ_ｖ_ｍｉｎ＋ｅｄｇｅ_ｒ_ｍｉｎ＋ｅｄｇｅ_ｌ_ｍｉｎである。そして、エッジ検出部１０２は、ｅｄｇｅ＿ｃｏｕｎｔ＿ｍａｘとエッジ部分のカウント数の閾値ｃｏｕｎｔ＿ｔｈｒｅｓｈｏｌｄ＿ｍａｘを比較し、ｅｄｇｅ＿ｃｏｕｎｔ＿ｍｉｎと同一な部分のカウント数の閾値ｃｏｕｎｔ＿ｔｈｒｅｓｈｏｌｄ＿ｍｉｎを比較して、エッジ条件を満たすか否かを判断する。この場合、エッジ条件は、ｅｄｇｅ＿ｃｏｕｎｔ＿ｍａｘ≧ｃｏｕｎｔ＿ｔｈｒｅｓｈｏｌｄ＿ｍａｘ、及びｅｄｇｅ＿ｃｏｕｎｔ＿ｍｉｎ≧ｃｏｕｎｔ＿ｔｈｒｅｓｈｏｌｄ＿ｍｉｎである。
【００４７】
次に、上記エッジ検出処理の具体例について図９を参照して説明する。図９は、上記エッジ検出処理の具体例を説明するための画像を例示した図である。なお、図９に示す各画像において、高い相関を示す方向は破線矢印で示し、低い相関を示す方向は太線矢印で示す。ここで、高い相関を示す方向は、上述の隣接画素間に同一な部分が存在する方向を示し、低い相関を示す方向は、上述の隣接画素間にエッジが存在する方向を示す。なお、以下の具体例では、仮に、上記エッジのカウント数の閾値ｃｏｕｎｔ＿ｔｈｒｅｓｈｏｌｄ＿ｍａｘを８、同一な部分のカウント数の閾値ｃｏｕｎｔ＿ｔｈｒｅｓｈｏｌｄ＿ｍｉｎを６と設定する。
【００４８】
図９において、(ａ１)〜（ａ４）はベタの背景にある横線の画像を示している。この横線の画像は、水平方向の相関が高い画像である。しかし、他の方向（垂直方向、左右斜め方向）は相関が低くなる。エッジ検出部１０２は、この横線の画像の(ａ１)〜（ａ４）に示す各方向に対して、高い相関に対応する上記ｅｄｇｅ_ｈ_ｍｉｎ，ｅｄｇｅ_ｖ_ｍｉｎ，ｅｄｇｅ_ｒ_ｍｉｎ，ｅｄｇｅ_ｌ_ｍｉｎを各々カウントし、これらの加算結果としてｅｄｇｅ＿ｃｏｕｎｔ＿ｍｉｎを出力する。また、エッジ検出部１０２は、この横線の画像の(ａ１)〜（ａ４）に示す各方向に対して、低い相関に対応する上記ｅｄｇｅ_ｈ_ｍａｘ，ｅｄｇｅ_ｖ_ｍａｘ，ｅｄｇｅ_ｒ_ｍａｘ，ｅｄｇｅ_ｌ_ｍａｘの数を各々カウントし、これらの加算結果としてｅｄｇｅ＿ｃｏｕｎｔ＿ｍａｘを出力する。この場合、ｅｄｇｅ＿ｃｏｕｎｔ＿ｍｉｎ＝６、ｅｄｇｅ＿ｃｏｕｎｔ＿ｍａｘ＝１８である。
【００４９】
次いで、エッジ検出部１０２は、ｅｄｇｅ＿ｃｏｕｎｔ＿ｍｉｎ＝６と、予め外部より設定した閾値ｃｏｕｎｔ＿ｔｈｒｅｓｈｏｌｄ＿ｍｉｎ＝６とを比較し、上記エッジ条件の一つであるｅｄｇｅ＿ｃｏｕｎｔ＿ｍｉｎ≧ｃｏｕｎｔ＿ｔｈｒｅｓｈｏｌｄ＿ｍｉｎを満たすか否かを判別する。この場合、ｅｄｇｅ＿ｃｏｕｎｔ＿ｍｉｎ＝６はエッジ条件の一方を満たしている。また、エッジ検出部１０２は、ｅｄｇｅ＿ｃｏｕｎｔ＿ｍａｘ＝１８と、予め外部より設定した閾値ｃｏｕｎｔ＿ｔｈｒｅｓｈｏｌｄ＿ｍａｘ＝８とを比較し、上記エッジ条件の一つであるｅｄｇｅ＿ｃｏｕｎｔ＿ｍａｘ≧ｃｏｕｎｔ＿ｔｈｒｅｓｈｏｌｄ＿ｍａｘを満たすか否かを判別する。この場合、ｅｄｇｅ＿ｃｏｕｎｔ＿ｍａｘ＝１８はエッジ条件の他方を満たしている。したがって、この横線の画像は急峻なエッジを持つ画像と判定される。
【００５０】
図９において、（ｂ１）〜（ｂ４）はベタの背景にある縦線の画像を示している。この縦線の画像は、垂直方向の相関が高い画像である。しかし、他の方向（水平方向、左右斜め方向）は相関が低くなる。エッジ検出部１０２は、この縦線の画像の(ｂ１)〜（ｂ４）に示す各方向に対して、高い相関に対応する上記ｅｄｇｅ_ｈ_ｍｉｎ，ｅｄｇｅ_ｖ_ｍｉｎ，ｅｄｇｅ_ｒ_ｍｉｎ，ｅｄｇｅ_ｌ_ｍｉｎを各々カウントし、これらの加算結果としてｅｄｇｅ＿ｃｏｕｎｔ＿ｍｉｎを出力する。また、エッジ検出部１０２は、この縦線の画像の(ｂ１)〜（ｂ４）に示す各方向に対して、低い相関に対応する上記ｅｄｇｅ_ｈ_ｍａｘ，ｅｄｇｅ_ｖ_ｍａｘ，ｅｄｇｅ_ｒ_ｍａｘ，ｅｄｇｅ_ｌ_ｍａｘの数を各々カウントし、これらの加算結果としてｅｄｇｅ＿ｃｏｕｎｔ＿ｍａｘを出力する。この場合、ｅｄｇｅ＿ｃｏｕｎｔ＿ｍｉｎ＝１０、ｅｄｇｅ＿ｃｏｕｎｔ＿ｍａｘ＝１４である。よって、ｅｄｇｅ＿ｃｏｕｎｔ＿ｍｉｎ≧６、及びｅｄｇｅ＿ｃｏｕｎｔ＿ｍａｘ≧８であり、上記のエッジ条件を満たすため、この縦線の画像は急峻なエッジを持つ画像と判定される。
【００５１】
図９において、（ｃ１）〜（ｃ４）は、ベタの背景にある点を示している。この画像は、点を示す画素とその周辺の画素との間の相関が低く、点を示す画素以外の他の画素の間の相関が高い画像である。エッジ検出部１０２は、この画像の(ｃ１)〜（ｃ４）に示す各方向に対して、高い相関に対応する上記ｅｄｇｅ_ｈ_ｍｉｎ，ｅｄｇｅ_ｖ_ｍｉｎ，ｅｄｇｅ_ｒ_ｍｉｎ，ｅｄｇｅ_ｌ_ｍｉｎを各々カウントし、これらの加算結果としてｅｄｇｅ＿ｃｏｕｎｔ＿ｍｉｎを出力する。また、エッジ検出部１０２は、この画像の(ｃ１)〜（ｃ４）に示す各方向に対して、低い相関に対応する上記ｅｄｇｅ_ｈ_ｍａｘ，ｅｄｇｅ_ｖ_ｍａｘ，ｅｄｇｅ_ｒ_ｍａｘ，ｅｄｇｅ_ｌ_ｍａｘの数を各々カウントし、これらの加算結果としてｅｄｇｅ＿ｃｏｕｎｔ＿ｍａｘを出力する。この場合、ｅｄｇｅ＿ｃｏｕｎｔ＿ｍｉｎ＝１６、ｅｄｇｅ＿ｃｏｕｎｔ＿ｍａｘ＝８である。よって、ｅｄｇｅ＿ｃｏｕｎｔ＿ｍｉｎ≧６、及びｅｄｇｅ＿ｃｏｕｎｔ＿ｍａｘ≧８であり、上記のエッジ条件を満たすため、この画像は急峻なエッジを持つ画像と判定される。
【００５２】
図９において、（ｄ１）〜（ｄ４）は、ベタの背景にある斜線の画像を示している。この画像は、斜線の向きである右斜め方向の相関が高い画像である。しかし、他の方向（水平方向、垂直方向、左斜め方向）は相関が低くなる。エッジ検出部１０２は、この斜線の画像の(ｄ１)〜（ｄ４）に示す各方向に対して、高い相関に対応する上記ｅｄｇｅ_ｈ_ｍｉｎ，ｅｄｇｅ_ｖ_ｍｉｎ，ｅｄｇｅ_ｒ_ｍｉｎ，ｅｄｇｅ_ｌ_ｍｉｎを各々カウントし、これらの加算結果としてｅｄｇｅ＿ｃｏｕｎｔ＿ｍｉｎを出力する。また、エッジ検出部１０２は、この斜線の画像の(ｄ１)〜（ｄ４）に示す各方向に対して、低い相関に対応する上記ｅｄｇｅ_ｈ_ｍａｘ，ｅｄｇｅ_ｖ_ｍａｘ，ｅｄｇｅ_ｒ_ｍａｘ，ｅｄｇｅ_ｌ_ｍａｘの数を各々カウントし、これらの加算結果としてｅｄｇｅ＿ｃｏｕｎｔ＿ｍａｘを出力する。この場合、ｅｄｇｅ＿ｃｏｕｎｔ＿ｍｉｎ＝１４、ｅｄｇｅ＿ｃｏｕｎｔ＿ｍａｘ＝１０である。ｅｄｇｅ＿ｃｏｕｎｔ＿ｍｉｎ≧６、及びｅｄｇｅ＿ｃｏｕｎｔ＿ｍａｘ≧８であり、上記のエッジ条件を満たすため、この画像は急峻なエッジを持つ画像と判定される。
【００５３】
次に、上記エッジ検出処理の具体例について図１０を参照して説明する。図１０は、上記エッジ検出処理を説明するための一例を示したものである。なお、図１０に示す各画像において、高い相関を示す方向は破線矢印で示し、低い相関を示す方向は太線矢印で示し、中程度の相関は実線矢印で示す。ここで、高い相関を示す方向は、上述の隣接画素間に同一な部分が存在する方向を示す。低い相関を示す方向は、上述の隣接画素間にエッジが存在する方向を示す。中程度の相関を示す方向は、上述の隣接画素間の画素値の絶対差分値Δｐがエッジの閾値ｐｘ＿ｔｈｒｅｓｈｏｌｄ＿ｍａｘ及び同一性の閾値ｐｘ＿ｔｈｒｅｓｈｏｌｄ＿ｍｉｎの間にある方向を示す。なお、以下の具体例では、仮に、隣接画素間のエッジのカウント数の閾値ｃｏｕｎｔ＿ｔｈｒｅｓｈｏｌｄ＿ｍａｘを８、隣接画素間の同一な部分の数の閾値ｃｏｕｎｔ＿ｔｈｒｅｓｈｏｌｄ＿ｍｉｎを６と設定する。なお、図１０において、円の中の縦線の疎密は画素値の高低を示し、縦線が密であるほど画素値が低く、縦線が疎であるほど画素値が高いことを示す。
【００５４】
図１０において、(ａ１)〜（ａ４）はグラデーションの背景に横線がある画像を示している。この画像は、背景が垂直方向に緩やかに変化しており、ベタの背景を示す画素の垂直方向の相関に対して、グラデーションの背景を示す画素の垂直方向の相関の方が比較的低くなっている。エッジ検出部１０２は、この画像の(ａ１)〜（ａ４）に示す各方向に対して、高い相関に対応する上記ｅｄｇｅ_ｈ_ｍｉｎ，ｅｄｇｅ_ｖ_ｍｉｎ，ｅｄｇｅ_ｒ_ｍｉｎ，ｅｄｇｅ_ｌ_ｍｉｎを各々カウントし、これらの加算結果としてｅｄｇｅ＿ｃｏｕｎｔ＿ｍｉｎを出力する。また、エッジ検出部１０２は、この画像の(ａ１)〜（ａ４）に示す各方向に対して、低い相関に対応する上記ｅｄｇｅ_ｈ_ｍａｘ，ｅｄｇｅ_ｖ_ｍａｘ，ｅｄｇｅ_ｒ_ｍａｘ，ｅｄｇｅ_ｌ_ｍａｘの数を各々カウントし、これらの加算結果としてｅｄｇｅ＿ｃｏｕｎｔ＿ｍａｘを出力する。この場合、ｅｄｇｅ＿ｃｏｕｎｔ＿ｍｉｎ＝６、ｅｄｇｅ＿ｃｏｕｎｔ＿ｍａｘ＝１８である。ｅｄｇｅ＿ｃｏｕｎｔ＿ｍｉｎ≧６、及びｅｄｇｅ＿ｃｏｕｎｔ＿ｍａｘ≧８であり、上記のエッジ条件を満たすため、この画像は急峻なエッジを持つ画像と判定される。
【００５５】
図１０において、(ｂ１)〜（ｂ４）はグラデーションの背景に縦線がある画像を表している。エッジ検出部１０２は、この画像の(ｂ１)〜（ｂ４）に示す各方向に対して、高い相関に対応する上記ｅｄｇｅ_ｈ_ｍｉｎ，ｅｄｇｅ_ｖ_ｍｉｎ，ｅｄｇｅ_ｒ_ｍｉｎ，ｅｄｇｅ_ｌ_ｍｉｎを各々カウントし、これらの加算結果としてｅｄｇｅ＿ｃｏｕｎｔ＿ｍｉｎを出力する。また、エッジ検出部１０２は、この画像の(ｂ１)〜（ｂ４）に示す各方向に対して、低い相関に対応する上記ｅｄｇｅ_ｈ_ｍａｘ，ｅｄｇｅ_ｖ_ｍａｘ，ｅｄｇｅ_ｒ_ｍａｘ，ｅｄｇｅ_ｌ_ｍａｘの数を各々カウントし、これらの加算結果としてｅｄｇｅ＿ｃｏｕｎｔ＿ｍａｘを出力する。この場合、ｅｄｇｅ＿ｃｏｕｎｔ＿ｍｉｎ＝１０、ｅｄｇｅ＿ｃｏｕｎｔ＿ｍａｘ＝１４である。ｅｄｇｅ＿ｃｏｕｎｔ＿ｍｉｎ≧６、及びｅｄｇｅ＿ｃｏｕｎｔ＿ｍａｘ≧８であり、上記のエッジ条件を満たすため、この画像は急峻なエッジを持つ画像と判定される。
【００５６】
図１０の(ａ１)〜（ａ４）及び(ｂ１)〜（ｂ４）のように、背景にグラデーションなどの小さな変化があっても、その小さな変化を同一とみなせることによって、急峻なエッジのある画像と判断できる。これは、同一性の閾値ｐｘ＿ｔｈｒｅｓｈｏｌｄ＿ｍｉｎを比較的大きめに取ることにより、グラデーションなどの小さな変化も同一とみなせるので、ベタの背景に縦線または横線がある画像と認識でき、急峻なエッジを持つ画像であると判定がすることが可能となっているからである。
【００５７】
図１０において、(ｃ１)から（ｃ４）は葉の間から光がさしているような画像を示している。この画像は、差し込む光を示す画素とその周辺の画素との間の相関が低い。しかし、差し込む光を示す画素以外のその周辺の画素の間の相関は比較的高い。エッジ検出部１０２は、この画像の(ｃ１)〜（ｃ４）に示す各方向に対して、高い相関に対応する上記ｅｄｇｅ_ｈ_ｍｉｎ，ｅｄｇｅ_ｖ_ｍｉｎ，ｅｄｇｅ_ｒ_ｍｉｎ，ｅｄｇｅ_ｌ_ｍｉｎを各々カウントし、これらの加算結果としてｅｄｇｅ＿ｃｏｕｎｔ＿ｍｉｎを出力する。また、エッジ検出部１０２は、この画像の(ｃ１)〜（ｃ４）に示す各方向に対して、低い相関に対応する上記ｅｄｇｅ_ｈ_ｍａｘ，ｅｄｇｅ_ｖ_ｍａｘ，ｅｄｇｅ_ｒ_ｍａｘ，ｅｄｇｅ_ｌ_ｍａｘの数を各々カウントし、これらの加算結果としてｅｄｇｅ＿ｃｏｕｎｔ＿ｍａｘを出力する。この場合、ｅｄｇｅ＿ｃｏｕｎｔ＿ｍｉｎ＝４、ｅｄｇｅ＿ｃｏｕｎｔ＿ｍａｘ＝１２である。ｅｄｇｅ＿ｃｏｕｎｔ＿ｍｉｎ＜６、及びｅｄｇｅ＿ｃｏｕｎｔ＿ｍａｘ≧８であり、上記のエッジ条件を満たさないため、この画像は急峻なエッジを持つ画像ではないと判定される。
【００５８】
図１０において、(ｄ１)から（ｄ４）は明るい空の背景に電線があるような場合を表している。この画像は、電線を示す画素とその周辺の明るい空を示す画素との間の相関が低い。しかし、それ以外の画素の組（例えば、明るい空を示す画素どうし、または電線を示す画素どうし）の相関は比較的高い。エッジ検出部１０２は、この画像の(ｄ１)〜（ｄ４）に示す各方向に対して、高い相関に対応する上記ｅｄｇｅ_ｈ_ｍｉｎ，ｅｄｇｅ_ｖ_ｍｉｎ，ｅｄｇｅ_ｒ_ｍｉｎ，ｅｄｇｅ_ｌ_ｍｉｎを各々カウントし、これらの加算結果としてｅｄｇｅ＿ｃｏｕｎｔ＿ｍｉｎを出力する。また、エッジ検出部１０２は、この画像の(ｄ１)〜（ｄ４）に示す各方向に対して、低い相関に対応する上記ｅｄｇｅ_ｈ_ｍａｘ，ｅｄｇｅ_ｖ_ｍａｘ，ｅｄｇｅ_ｒ_ｍａｘ，ｅｄｇｅ_ｌ_ｍａｘの数を各々カウントし、これらの加算結果としてｅｄｇｅ＿ｃｏｕｎｔ＿ｍａｘを出力する。この場合、ｅｄｇｅ＿ｃｏｕｎｔ＿ｍｉｎ＝２、ｅｄｇｅ＿ｃｏｕｎｔ＿ｍａｘ＝１６である。ｅｄｇｅ＿ｃｏｕｎｔ＿ｍｉｎ＜６、及びｅｄｇｅ＿ｃｏｕｎｔ＿ｍａｘ≧８であり、上記のエッジ条件を満たさないため、この画像は急峻なエッジを持つ画像ではないと判定される。
【００５９】
図１０の(ｃ１)〜（ｃ４）及び(ｄ１)〜（ｄ４）のように、自然画を示す画像においては、その画像中にエッジと判定される部分があっても、中程度の相関が増加した結果同一と判定される部分が減少するため、上記エッジ条件を満たさない。よって、混合検出部１０３によって急峻なエッジと判定されない。
【００６０】
次に、上記エッジ検出処理の詳細について、図１１の示すフローチャートを参照して説明する。図１１を参照すると、まず、エッジ検出部１０２は、Ｓ１１００１において垂直方向に、Ｓ１１００２において水平方向に、Ｓ１２００３において右斜め方向に、Ｓ１１００４において左斜め方向に、それぞれエッジ検出処理を行う。なお、ステップＳ１１００１〜ステップＳ１１００４の各処理は、並行して行ってもよいし、順次行ってもよい。
【００６１】
次に、ステップＳ１１００５において、エッジ検出部１０２は、ステップＳ１１００１〜ステップＳ１１００４の各処理において検出した隣接画素間の同一な部分の組のカウント数を、垂直方向、水平方向、左右斜め方向の各方向に対して、高い相関に対応する上記ｅｄｇｅ_ｈ_ｍｉｎ，ｅｄｇｅ_ｖ_ｍｉｎ，ｅｄｇｅ_ｒ_ｍｉｎ，ｅｄｇｅ_ｌ_ｍｉｎとして各々出力し、これらの加算結果として同一な部分のカウント数ｅｄｇｅ＿ｃｏｕｎｔ＿ｍｉｎを出力する。また、ステップＳ１１００６において、エッジ検出部１０２は、ステップＳ１１００１〜ステップＳ１１００４の各処理において検出した隣接画素間のエッジ部分の組のカウント数を、垂直方向、水平方向、左右斜め方向の各方向に対して、低い相関に対応する上記ｅｄｇｅ_ｈ_ｍａｘ，ｅｄｇｅ_ｖ_ｍａｘ，ｅｄｇｅ_ｒ_ｍａｘ，ｅｄｇｅ_ｌ_ｍａｘとして各々出力し、これらの加算結果としてエッジ部分のカウント数ｅｄｇｅ＿ｃｏｕｎｔ＿ｍａｘを出力する。なお、ステップＳ１１００５とステップＳ１１００６の各処理は、並行して行ってもよいし、順次行ってもよい。
【００６２】
次いで、ステップＳ１１００７において、エッジ検出部１０２は、上記エッジ条件について判定する。上記エッジ条件を満たした場合は、Ｓ１１００８において、エッジ検出部１０２はエッジ検出結果ｅｄｇｅ＿ｄｅｔｅｃｔｉｏｎとして「１」を出力する。上記エッジ条件を満たさない場合には、エッジ検出部１０２は、Ｓ１１００９において、エッジ検出結果ｅｄｇｅ＿ｄｅｔｅｃｔｉｏｎとして「０」を出力する。
【００６３】
次いで、Ｓ１１０１０において、エッジ検出部１０２は、エッジ検出結果ｅｄｇｅ＿ｄｅｔｅｃｔｉｏｎの値を混合処理部１０３へ出力する。
【００６４】
混合処理部１０３は、混合処理として、エッジ検出部１０２のエッジ検出結果ｅｄｇｅ＿ｄｅｔｅｃｔｉｏｎおよびフレーム内補間処理部１０１で行なわれた補間の補間方向結果ｃｏｒｒｅｌａｔｉｏｎ＿ｖに応じて、いかなる補間画素を混合画素Ｐｉｎｔ＿ｍｉｘとして最終的に出力するかを判断する。
【００６５】
具体的には、入力された原画像が、例えばベタの背景上に文字があるような場合、すなわち急峻なエッジが存在し（ｅｄｇｅ＿ｄｅｔｅｃｔｉｏｎ＝１）かつ補間方向が垂直に選択される場合（ｃｏｒｒｅｌａｔｉｏｎ＿ｖ＝１）、混合画素Ｐｉｎｔ＿ｍｉｘとして、原画像に対応した原画素Ｐｏｒｇと補間画素Ｐｉｎｔ＿ｉｐとを混合したｔｅｍｐｏｒａｒｙ混合画素Ｐｉｎｔ＿ｔｍｐを出力する。上記の条件にあてはまらない場合は、混合画素Ｐｉｎｔ＿ｍｉｘとして補間画素Ｐｉｎｔ＿ｉｐを出力する。ここで、ｔｅｍｐｏｒａｒｙ混合画素は、Ｐｉｎｔ＿ｔｍｐ＝α×Ｐｏｒｇ＋（１−α）×Ｐｉｎｔ＿ｉｐであり、「α」は予め外部から設定される混合の割合を決定するＢｌｅｎｄｉｎｇ係数（０≦α≦１）である。
【００６６】
次に、上記混合処理の詳細について、図１２の示すフローチャートを参照して説明する。図１２を参照すると、ステップＳ１２００１において、混合処理部１０３は、原画素Ｐｏｒｇとフレーム内補間処理部１０１から出力された補間画素Ｐｉｎｔ＿ｉｐとを用いて、ｔｅｍｐｏｒａｒｙ混合画素Ｐｉｎｔ＿ｔｍｐを生成する。また、ステップＳ１２００２において、混合処理部１０３は、フレーム内補間処理部１０１から出力された補間方向結果ｃｏｒｒｅｌａｔｉｏｎ＿ｖと、エッジ検出部から出力されたエッジ検出結果ｅｄｇｅ＿ｄｅｔｅｃｔｉｏｎとを合わせて、混合信号ｆｌａｇ＿ｍｉｘを次のように生成する。すなわち、エッジ検出結果ｅｄｇｅ＿ｄｅｔｅｃｔｉｏｎ＝１、かつ、補間方向結果ｃｏｒｒｅｌａｔｉｏｎ＿ｖ＝１ならば、混合信号ｆｌａｇ＿ｍｉｘとして「１」を、そうでなければ混合信号ｆｌａｇ＿ｍｉｘとして「０」を出力する。なお、ステップＳ１２００２はステップＳ１２００１と並行して行ってもよいし、順次に行ってもよい。
【００６７】
次いで、ステップＳ１２００３において、混合処理部１０３は、この混合信号ｆｌａｇ＿ｍｉｘの値を判断し、混合画素Ｐｉｎｔ＿ｍｉｘとして出力する画素を決定する。すなわち、混合信号ｆｌａｇ＿ｍｉｘ＝１ならば、ステップＳ１２００４において混合画素Ｐｉｎｔ＿ｍｉｘ＝ｔｅｍｐｏｒａｒｙ混合画素Ｐｉｎｔ＿ｔｍｐとする。また、混合信号ｆｌａｇ＿ｍｉｘ＝０ならば、ステップＳ１２００５において混合画素Ｐｉｎｔ＿ｍｉｘ＝ｔｅｍｐｏｒａｒｙ混合画素Ｐｉｎｔ＿ｉｐとする。
【００６８】
次いで、ステップＳ１２００６において、混合処理部１０３は、決定された混合画素Ｐｉｎｔ＿ｍｉｘを最終的な補間画素として出力する。
【００６９】
次に、上記画像処理を経て補間された結果について図１３及び図１４を参照して説明する。
【００７０】
図１３はベタの背景に横線がある画像を垂直方向に拡大する場合の上記画像処理結果について説明するための図である。図１３において、（ａ）はベタの背景に横線がある原画像を示している。（ａ）中のａ１は画素値の高い画素を示し、ａ２は画素値の低い画素を示している。ベタの背景を示す画素がａ１に対応し、横線を示す画素がａ２に対応する。この画像は、垂直方向及び左右斜め方向に相関が低く、水平方向に相関が高い。垂直方向及び左右斜め方向の相関の低さは著しく、急峻な変化が生じており、この画像は上記の急峻なエッジを持つ画像に当たる。
【００７１】
図１３において、（ｂ）は、画像処理として、垂直方向に線形補間処理を行った結果を示している。（ｃ）は、画像処理として、上記Ｂｌｅｎｄｉｎｇ係数αを０．５に設定して上記混合処理を行った結果を示している。（ｄ）は、画像処理として、単に補間画素に原画素を出力する処理を行った結果を示している。この（ｄ）は、画像を単に垂直方向に引き伸ばしたことに対応する。
【００７２】
図１４において（ａ）は、画素値の高低を縦軸として、走査線に垂直な方向に沿った画素の位置を横軸として、図１３において行った画像処理の結果をグラフに示している。このグラフにおいて、画素値の高低を示す縦軸に並行で等間隔に並べられた実線及び点線は、それぞれ走査線及び補間画素のある補間ラインを示す。また、図１４において（ｂ）は、（ａ）のグラフの横軸と、画像中の画素との対応関係を示す。
【００７３】
図１４において、（ａ）のａ１は画素値の高い原画素を示し、ａ２は画素値の低い原画素を示している。これらの円で示された画素は、図１３の（ａ）における、画素値の高い画素ａ１と低い画素ａ２にそれぞれ対応する。図１４において、（ａ）のａ３は、垂直方向に線形補間した補間画素を示している。これは、図１３の（ｂ）における、補間画素に対応する。図１４において、（ａ）のａ４は、補間処理として上記混合処理を行った補間画素を示している。これは、図１３の（ｃ）における補間画素に対応する。図１４において、（ａ）のａ５は、補間処理として原画素を出力する処理を行った補間画素を示している。これは、図１３の（ｄ）における補間画素に対応する。
【００７４】
図１４の（ａ）において、画素位置ｎ−１にある原画素と画素位置ｎにある原画素を結ぶ線分の傾きは、画素間の画素値の差に対応する。すなわち、傾きが急であれば画素値の差は大きいことを示す。また、これはその隣接する画素間には上記エッジが存在することを示す。他方、傾きが緩やかであれば画素間の画素値の差は小さいことを示す。
【００７５】
図１４の（ａ）を参照すると、原画像を拡大する際に原画素間の平均値による補間処理を行った結果、原画素中に存在していた画素位置ｎ−１にある原画素と画素位置ｎの間の急峻なエッジは緩やかなものとなる。同様に、画素位置ｎにある原画素と画素位置ｎ＋１の間にあった急峻なエッジも緩やかなものとなる。これは、ベタの背景にある横線の画像を拡大する際に平均値による補間を行うと、横線の輪郭がぼやけてしまうことを示す。
【００７６】
これに対して、図１４の（ａ）を参照すると、原画像を拡大する際に補間画素として上記混合画素を出力する補間処理を行った結果、原画素中に存在していた画素位置ｎ−１にある原画素と画素位置ｎの間のエッジは、平均値による補間処理を行った場合よりも急になっていることがわかる。このことは、単に平均値による補間処理を行った場合よりも、原画像の急峻なエッジを保持できていることを示す。同様に、画素位置ｎにある原画素と画素位置ｎ＋１の間にあったエッジも、平均値による補間処理を行った場合より急になっている。このことは、単に平均値による補間処理を行った場合よりも、原画像の急峻なエッジを保持できていることを示す。
【００７７】
また、図１４の（ａ）を参照すると、原画像を拡大する際に補間位置に原画素を出力する補間処理を行うと、原画素中に存在していた画素位置ｎ−１にある原画素と画素位置ｎの間の急峻なエッジは維持されていることがわかる。同様に、画素位置ｎにある原画素と画素位置ｎ＋１の間にあった急峻なエッジも維持されていることがわかる。図１４の（ａ）を参照すると、上記混合画素による補間処理を行った場合よりも、上記原画素を出力する補間を行った場合の方が、より原画素間の急峻なエッジが保持されていることがわかる。しかし、以下で詳細に説明するように、両者にはその補間方法の違いから、斜線の画像の拡大処理においてがたつき（ジャギー）が生じてしまう。そのため、急峻なエッジを持つ画像を拡大する際には、上記混合画素による補間処理を行う方が課題の解決という点において優れている。
【００７８】
次に、上記混合画素による補間処理と、上記原画素を出力する補間処理との違いを、図１５を参照して詳細に説明する。
【００７９】
図１５はベタの背景に右斜め方向の斜線がある画像を垂直方向に拡大する場合の上記画像処理結果について説明するためのものである。図１５において、（ａ）はベタの背景に右斜め方向の斜線がある原画像を示している。（ａ）中の黒く塗りつぶされた円は画素値の低い画素を示し、白抜きの円は画素値の高い画素を示している。ベタの背景を示す画素が白抜きの円に対応し、横線を示す画素が黒く塗りつぶされた円に対応する。この画像は、右斜め方向に相関が高く、その他の方向（垂直、水平、左斜め方向）に相関が低い。また、垂直及び水平及び左斜め方向の相関の低さは著しく、急峻な変化が生じており、この部分は上記のエッジ部分に当たる。
【００８０】
また、図１５において、（ｂ）は、補間画素として原画素を出力する補間処理を行った結果を示している。（ｃ）は、画像処理として上記Ｂｌｅｎｄｉｎｇ係数αを０．５に設定して上記混合処理を行った結果を示している。
【００８１】
図１５の（ｂ）を参照すると、右斜め方向の斜線を垂直方向に拡大する際に補間画素として原画素を出力する補間処理を行った場合、がたつき（ジャギー）の多い斜線となってしまうことがわかる。これに対し、図１５の（ｃ）を参照すると、右斜め方向の斜線を垂直方向に拡大する際に補間画素として上記混合画素を出力する上記混合処理を行った場合には、図１５の（ｂ）の場合に比べ、ジャギーが軽減されていることがわかる。
【００８２】
以上より、補間画素として原画素を出力する補間処理及び上記混合画素を出力する上記混合処理のいずれも、ベタの背景に横線がある画像を垂直方向に拡大する場合には原画像の急峻なエッジを保持しうる。しかし、ベタの背景に斜線がある画像を垂直方向に拡大する場合には、補間画素として原画素を出力する補間処理は斜め方向にジャギーを生じてしまう。したがって、本発明にかかる上記混合画素を出力する上記混合処理は、原画像の垂直方向の急峻なエッジを保持しつつ、斜め方向にジャギーを生じさせない補間処理として優れている。なお、本実施の形態においては垂直方向の拡大のみを扱ったが、水平方向の拡大においても反時計回りに90度回転させることで垂直方向の拡大と同等に扱える。それゆえ、垂直及び水平方向の拡大において、本発明にかかる上記混合画素を出力する上記混合処理は、原画像の急峻なエッジを保持しつつ、斜め方向にジャギーを生じさせない補間処理として優れている。
【００８３】
次に、上記画像処理装置１００を利用した液晶表示装置の一例について図１６を参照して説明する。図１６において、液晶表示装置２００は、画像処理装置１００と液晶パネル２０１により構成される。画像処理装置１００は、上述の図４に示したものと同一である。液晶パネル２０１は、薄膜トランジスタ（以下、ＴＦＴという）基板、ＴＦＴ基板に対向して結合されるカラーフィルタ基板及び両基板の間に介在されて液晶等を含む。液晶パネル２０１は、画像処理装置１００からフレーム毎に入力される補間画素により画像を表示する。液晶パネル２０１の解像度が、入力されるフルハイビジョン画像の縦横２倍である場合、画像処理装置１００は、入力されるフルハイビジョン画像を縦横２倍に拡大するように上記画像補間処理を実行する。これにより、拡大後も原画像の急峻なエッジを保持しつつ、斜め方向にジャギーを生じさせない高品位な画像表示が可能になる。なお、本実施の形態では、画像処理装置を液晶表示装置に用いた場合を示したが、液晶表示装置に限定するものではなく、例えば、ＰＤＰ、有機ＥＬなどの表示装置にも適用可能である。
【符号の説明】
【００８４】
１００…画像処理装置
１０１…フレーム内補間処理部
１０２…エッジ検出部
１０３…混合処理部
２００…液晶表示装置
２０１…液晶パネル
【特許請求の範囲】
【請求項１】
入力画像の拡大処理を実行する画像処理装置において、
前記入力画像のフレーム毎に前記入力画像の補間画素を作成して出力するフレーム内補間処理部と、
前記入力画像のフレーム内で検出対象領域毎に画素間の変化を検出し、前記画素間の変化によりエッジの有無を判定してエッジ判定結果を出力するエッジ検出部と、
前記エッジ検出部による前記エッジ判定結果に基づいて、前記フレーム内補間処理部から出力される補間画素に対して前記入力画像に含まれる原画素を選択的に混合してフレーム内補間処理を実行する混合処理部と、
を備えることを特徴とする画像処理装置。
【請求項２】
前記エッジ検出部は、前記入力画像のフレーム内で検出対象画素毎に複数の方向の周辺画素との間で方向別の差分を各々求め、各方向別の差分を第１の閾値及び第２の閾値と比較し、前記第１の閾値以下の差分を累積して第１の累積結果を出力し、前記第２の閾値以上の差分を累積して第２の累積結果を出力し、前記第１の累積結果と第３の閾値との比較結果が第１の条件を満たすか否か、且つ、前記第２の累積結果と第４の閾値との比較結果が第２の条件を満たすか否かにより前記エッジの有無を判定することを特徴とする請求項１記載の画像処理装置。
【請求項３】
前記エッジ検出部は、前記第１の累積結果と前記第３の閾値との比較結果及び前記第２の累積結果と前記第４の閾値との比較結果が前記第１の条件及び前記第２の条件の一方または双方を満たさない場合は、前記フレーム内に同一の隣接画素が存在することを示す第１の情報を出力し、前記第１の累積結果と前記第３の閾値との比較結果及び前記第２の累積結果と前記第４の閾値との比較結果が前記第１の条件及び前記第２の条件の双方を満たす場合は、前記入力画像のフレーム内で検出対象領域にエッジが存在することを示す第２の情報を出力することを特徴とする請求項２記載の画像処理装置。
【請求項４】
前記フレーム内補間処理部は、前記入力画像のフレーム内で補間対象画素毎に複数の方向の周辺画素との間で相関値を求め、該相関値により生成した前記補間画素を出力するとともに前記補間画素の補間方向を出力し、
前記混合処理部は、前記フレーム内補間処理部から出力される前記補間方向が垂直方向であり、前記エッジ検出部から出力される前記エッジ判定結果がエッジ有りである場合は、前記補間画素と当該補間画素に対応する原画素とを混合して前記フレーム内補間処理を実行し、前記フレーム内補間処理部から出力される前記補間方向が垂直方向ではなく、前記エッジ検出部から出力される前記エッジ判定結果がエッジ無しである場合は、前記補間画素により前記フレーム内補間処理を実行することを特徴とする請求項１乃至３の何れか一項に記載の画像処理装置。
【請求項５】
前記混合処理部は、前記補間画素と前記現画素を混合する割合を示す係数を設定し、前記係数を用いて前記補間画素と前記現画素の混合処理を実行することを特徴とする請求項４記載の画像処理装置。
【請求項６】
入力画像の拡大処理を実行する画像処理方法において、
前記入力画像のフレーム毎に前記入力画像の補間画素を作成して出力するフレーム内補間処理を実行し、
前記入力画像のフレーム内で検出対象領域毎に画素間の変化を検出し、前記画素間の変化によりエッジの有無を判定してエッジ判定結果を出力し、
前記エッジ判定結果に基づいて、前記フレーム内補間処理により出力される補間画素に対して前記入力画像に含まれる原画素を選択的に混合してフレーム内補間処理を実行すること、を含むことを特徴とする画像処理方法。
【請求項７】
前記エッジの有無の判定において、
前記入力画像のフレーム内で検出対象画素毎に複数の方向の周辺画素との間で方向別の差分を各々求め、
各方向別の差分を第１の閾値及び第２の閾値と比較し、
前記第１の閾値以下の差分を累積して第１の累積結果を出力し、
前記第２の閾値以上の差分を累積して第２の累積結果を出力し、
前記第１の累積結果と第３の閾値との比較結果が第１の条件を満たすか否か、且つ、前記第２の累積結果と第４の閾値との比較結果が第２の条件を満たすか否かにより前記エッジの有無を判定すること、を含むことを特徴とする請求項６記載の画像処理方法。
【請求項８】
前記エッジの有無の判定において、
前記第１の累積結果と前記第３の閾値との比較結果及び前記第２の累積結果と前記第４の閾値との比較結果が前記第１の条件及び前記第２の条件の一方または双方を満たさない場合は、前記フレーム内に同一の隣接画素が存在することを示す第１の情報を出力し、
前記第１の累積結果と前記第３の閾値との比較結果及び前記第２の累積結果と前記第４の閾値との比較結果が前記第１の条件及び前記第２の条件の双方を満たす場合は、前記入力画像のフレーム内で検出対象領域にエッジが存在することを示す第２の情報を出力すること、を含むことを特徴とする請求項７記載の画像処理方法。
【請求項９】
前記フレーム内補間処理において、
前記入力画像のフレーム内で補間対象画素毎に複数の方向の周辺画素との間で相関値を求め、該相関値により生成した前記補間画素を出力するとともに前記補間画素の補間方向を出力すること、を含み、
前記フレーム内補間処理において、
前記フレーム内補間処理により出力される前記補間方向が垂直方向であり、前記エッジ判定結果がエッジ有りである場合は、前記補間画素と当該補間画素に対応する原画素とを混合して前記フレーム内補間処理を実行し、
前記フレーム内補間処理により出力される前記補間方向が垂直方向ではなく、前記エッジ判定結果がエッジ無しである場合は、前記補間画素により前記フレーム内補間処理を実行すること、を含むことを特徴とする請求項６乃至８の何れか一項に記載の画像処理方法。
【請求項１０】
前記フレーム内補間処理において、
前記補間画素と前記現画素を混合する割合を示す係数を設定し、前記係数を用いて前記補間画素と前記現画素の混合処理を実行すること、を含むことを特徴とする請求項９記載の画像処理方法。
【請求項１１】
請求項１乃至請求項５記載の何れか一項に記載の画像処理装置を備えることを特徴とする表示装置。
【請求項１】
入力画像の拡大処理を実行する画像処理装置において、
前記入力画像のフレーム毎に前記入力画像の補間画素を作成して出力するフレーム内補間処理部と、
前記入力画像のフレーム内で検出対象領域毎に画素間の変化を検出し、前記画素間の変化によりエッジの有無を判定してエッジ判定結果を出力するエッジ検出部と、
前記エッジ検出部による前記エッジ判定結果に基づいて、前記フレーム内補間処理部から出力される補間画素に対して前記入力画像に含まれる原画素を選択的に混合してフレーム内補間処理を実行する混合処理部と、
を備えることを特徴とする画像処理装置。
【請求項２】
前記エッジ検出部は、前記入力画像のフレーム内で検出対象画素毎に複数の方向の周辺画素との間で方向別の差分を各々求め、各方向別の差分を第１の閾値及び第２の閾値と比較し、前記第１の閾値以下の差分を累積して第１の累積結果を出力し、前記第２の閾値以上の差分を累積して第２の累積結果を出力し、前記第１の累積結果と第３の閾値との比較結果が第１の条件を満たすか否か、且つ、前記第２の累積結果と第４の閾値との比較結果が第２の条件を満たすか否かにより前記エッジの有無を判定することを特徴とする請求項１記載の画像処理装置。
【請求項３】
前記エッジ検出部は、前記第１の累積結果と前記第３の閾値との比較結果及び前記第２の累積結果と前記第４の閾値との比較結果が前記第１の条件及び前記第２の条件の一方または双方を満たさない場合は、前記フレーム内に同一の隣接画素が存在することを示す第１の情報を出力し、前記第１の累積結果と前記第３の閾値との比較結果及び前記第２の累積結果と前記第４の閾値との比較結果が前記第１の条件及び前記第２の条件の双方を満たす場合は、前記入力画像のフレーム内で検出対象領域にエッジが存在することを示す第２の情報を出力することを特徴とする請求項２記載の画像処理装置。
【請求項４】
前記フレーム内補間処理部は、前記入力画像のフレーム内で補間対象画素毎に複数の方向の周辺画素との間で相関値を求め、該相関値により生成した前記補間画素を出力するとともに前記補間画素の補間方向を出力し、
前記混合処理部は、前記フレーム内補間処理部から出力される前記補間方向が垂直方向であり、前記エッジ検出部から出力される前記エッジ判定結果がエッジ有りである場合は、前記補間画素と当該補間画素に対応する原画素とを混合して前記フレーム内補間処理を実行し、前記フレーム内補間処理部から出力される前記補間方向が垂直方向ではなく、前記エッジ検出部から出力される前記エッジ判定結果がエッジ無しである場合は、前記補間画素により前記フレーム内補間処理を実行することを特徴とする請求項１乃至３の何れか一項に記載の画像処理装置。
【請求項５】
前記混合処理部は、前記補間画素と前記現画素を混合する割合を示す係数を設定し、前記係数を用いて前記補間画素と前記現画素の混合処理を実行することを特徴とする請求項４記載の画像処理装置。
【請求項６】
入力画像の拡大処理を実行する画像処理方法において、
前記入力画像のフレーム毎に前記入力画像の補間画素を作成して出力するフレーム内補間処理を実行し、
前記入力画像のフレーム内で検出対象領域毎に画素間の変化を検出し、前記画素間の変化によりエッジの有無を判定してエッジ判定結果を出力し、
前記エッジ判定結果に基づいて、前記フレーム内補間処理により出力される補間画素に対して前記入力画像に含まれる原画素を選択的に混合してフレーム内補間処理を実行すること、を含むことを特徴とする画像処理方法。
【請求項７】
前記エッジの有無の判定において、
前記入力画像のフレーム内で検出対象画素毎に複数の方向の周辺画素との間で方向別の差分を各々求め、
各方向別の差分を第１の閾値及び第２の閾値と比較し、
前記第１の閾値以下の差分を累積して第１の累積結果を出力し、
前記第２の閾値以上の差分を累積して第２の累積結果を出力し、
前記第１の累積結果と第３の閾値との比較結果が第１の条件を満たすか否か、且つ、前記第２の累積結果と第４の閾値との比較結果が第２の条件を満たすか否かにより前記エッジの有無を判定すること、を含むことを特徴とする請求項６記載の画像処理方法。
【請求項８】
前記エッジの有無の判定において、
前記第１の累積結果と前記第３の閾値との比較結果及び前記第２の累積結果と前記第４の閾値との比較結果が前記第１の条件及び前記第２の条件の一方または双方を満たさない場合は、前記フレーム内に同一の隣接画素が存在することを示す第１の情報を出力し、
前記第１の累積結果と前記第３の閾値との比較結果及び前記第２の累積結果と前記第４の閾値との比較結果が前記第１の条件及び前記第２の条件の双方を満たす場合は、前記入力画像のフレーム内で検出対象領域にエッジが存在することを示す第２の情報を出力すること、を含むことを特徴とする請求項７記載の画像処理方法。
【請求項９】
前記フレーム内補間処理において、
前記入力画像のフレーム内で補間対象画素毎に複数の方向の周辺画素との間で相関値を求め、該相関値により生成した前記補間画素を出力するとともに前記補間画素の補間方向を出力すること、を含み、
前記フレーム内補間処理において、
前記フレーム内補間処理により出力される前記補間方向が垂直方向であり、前記エッジ判定結果がエッジ有りである場合は、前記補間画素と当該補間画素に対応する原画素とを混合して前記フレーム内補間処理を実行し、
前記フレーム内補間処理により出力される前記補間方向が垂直方向ではなく、前記エッジ判定結果がエッジ無しである場合は、前記補間画素により前記フレーム内補間処理を実行すること、を含むことを特徴とする請求項６乃至８の何れか一項に記載の画像処理方法。
【請求項１０】
前記フレーム内補間処理において、
前記補間画素と前記現画素を混合する割合を示す係数を設定し、前記係数を用いて前記補間画素と前記現画素の混合処理を実行すること、を含むことを特徴とする請求項９記載の画像処理方法。
【請求項１１】
請求項１乃至請求項５記載の何れか一項に記載の画像処理装置を備えることを特徴とする表示装置。
【図４】
【図５】
【図１１】
【図１２】
【図１６】
【図１】
【図２】
【図３】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１３】
【図１４】
【図１５】
【図５】
【図１１】
【図１２】
【図１６】
【図１】
【図２】
【図３】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１３】
【図１４】
【図１５】
【公開番号】特開２０１２−１１４６８７（Ｐ２０１２−１１４６８７Ａ）
【公開日】平成２４年６月１４日（２０１２．６．１４）
【国際特許分類】
【出願番号】特願２０１０−２６２１５０（Ｐ２０１０−２６２１５０）
【出願日】平成２２年１１月２５日（２０１０．１１．２５）
【出願人】（５９８０４５０５８）株式会社サムスン横浜研究所 (294)
【Ｆターム（参考）】
【公開日】平成２４年６月１４日（２０１２．６．１４）
【国際特許分類】
【出願日】平成２２年１１月２５日（２０１０．１１．２５）
【出願人】（５９８０４５０５８）株式会社サムスン横浜研究所 (294)
【Ｆターム（参考）】
[ Back to top ]