画像処理装置及び画像処理方法
【課題】斜め線の画素補間性能と十字線の画素補間性能を両立する画像処理装置及び画像処理方法を提供する。
【解決手段】画像処理装置は、入力画素に対する上下画素間の補間値及び垂直方向相関値を算出する垂直相関処理部と、前記入力画素に対する右斜め方向の最終相関値を算出する右斜め方向相関処理部と、前記入力画素に対する左斜め方向の最終相関値を算出する左斜め方向相関処理部と、前記右斜め方向の最終相関値及び前記左斜め方向の最終相関値から斜め方向の最終相関値を選択し、前記垂直方向相関値及び前記斜め方向の最終相関値から最終補間方向を選択し、前記最終補間方向に基づき前記上下画素間の補間値及び前記斜め方向の最終補間値から出力補間値を決定する補間値算出処理部と、を備える。
【解決手段】画像処理装置は、入力画素に対する上下画素間の補間値及び垂直方向相関値を算出する垂直相関処理部と、前記入力画素に対する右斜め方向の最終相関値を算出する右斜め方向相関処理部と、前記入力画素に対する左斜め方向の最終相関値を算出する左斜め方向相関処理部と、前記右斜め方向の最終相関値及び前記左斜め方向の最終相関値から斜め方向の最終相関値を選択し、前記垂直方向相関値及び前記斜め方向の最終相関値から最終補間方向を選択し、前記最終補間方向に基づき前記上下画素間の補間値及び前記斜め方向の最終補間値から出力補間値を決定する補間値算出処理部と、を備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、入力された画像を拡大処理し、液晶、ＰＤＰ、有機ＥＬなどのパネルに表示する画像処理装置及び画像処理方法に関する。
【背景技術】
【０００２】
近年、画像の高解像化に伴い、表示装置（液晶、ＰＤＰ、有機ＥＬなど）の表示解像度も高くなっている。但し、ハイビジョン放送などにより放送されるテレビ信号（インターレース信号）等の入力画像は、表示装置の表示解像度に合っていない場合があり、表示装置内で入力画像の解像度を表示解像度まで拡大する必要がある。
【０００３】
しかし、単純に線形補間等の手法で拡大処理してしまうと、輪郭にぼやけが生じたり、斜め線でジャギーが発生したりしてしまう。そこで、入力画像を縦横に拡大する際に、インターレース・プログレッシブ変換（ＩＰ変換）時に用いるフレーム内補間処理を、縦方向及び横方向に適用することにより、斜め方向のエッジが滑らかな補間画素を生成することが可能となる。
【０００４】
Ｉ／Ｐ変換とは、インターレース信号において間引かれている走査線を、各フィールドの情報をそれぞれ用いて補間信号を生成し、プログレッシブ信号に変換するものである。一般に、インターレース方式の画像をプログレッシブ方式の画像に変換する場合、インターレース画像が静止画像である場合には、一方のフィールド走査線を隣接する他方のフィールド走査線の間にはめ込むことにより補間走査線（以下、補間ラインという）を生成するフィールド間補間が行われ、またインターレース画像が動画像である場合には、同一フィールド内の隣接走査線上の画素を用いて補間ラインを生成するフィールド内補間が行われる。
【０００５】
フィールド内の補間処理でインターレースｎラインとインターレースｎ＋１ライン間に補間ラインを生成するにあたっては、補間ライン上の画素Ａとして、その上下の走査線ｎ，ｎ＋１上の画素Ｕ，Ｄを加算して平均値（＝（Ｕ＋Ｄ）／２）を得る方法が簡単である。しかしながら、この上下方向の補間方法を適用した場合、絵柄によっては斜め線がギザギザして見える、いわゆるジャギーが目立つ画像となる場合がある。
【０００６】
また、インターレース画像をプログレッシブ画像に変換する技術として、動き適応型プログレッシブ変換がある。この技術は、画素単位もしくは画素ブロック単位で動き検出を行い、フィールド内補間処理結果とフィールド間補間処理結果を、動き検出結果に応じた混合比で混合処理する、という技術である。動き検出としては、１フレーム間の同一位置の画素同士の信号レベルの差分等から推定する。
【０００７】
しかし、動き適応型プログレッシブ変換処理では、フィールド内補間処理として上下画素平均値を使用すると、垂直方向の解像感が低くなり、斜め線がギザギザに見える問題がある。一方、このような問題を解決する方法として、斜め補間という方法が知られている。斜め補間処理は、補間画素Ａを生成するにあたり、その上下の走査線ｎ，ｎ＋１から、補間ライン上の画素Ａを中心として点対称となる画素のペアを一組選択し、そのペアの画素値の平均値を補間画素値として用いる方法である。
【０００８】
補間方向の選択の方法の例として、ペアの画素間の絶対差分値が最小のものを使用する方法がある。例えば、補間しようとしている画素を中心とする上下及び斜め方向の一対の画素間の差分をとり、多数の斜め差分信号を用いて、斜め相関の高い方向を判定し、補間画素を作成するものである。斜め補間に関する従来技術としては、例えば、特許文献１、特許文献２に記載のものがある。
【０００９】
以上を踏まえて、拡大処理を行なうと、例えば、縦方向に２倍にする場合、まず、補間画素位置を挟むようにした上下の複数ラインから、補間画素位置を中心とした周辺画素を用いて相関値を計算する。次に、その相関値から最適な補間方向を選択し、その補間方向から補間画素値を生成する。これによって、斜め方向に関してはジャギーがなくなる。
【００１０】
また、Ｉ／Ｐ変換で用いられるフィールド内補間処理（縦方向を２倍にする処理）する従来技術として、例えば、特許文献３、特許文献４に記載のものがある。特許文献３に記載された順次走査変換装置では、垂直、斜め方向の相関を算出し、最も相関が高い方向で画素を補間することが提案されている。この順次走査変換装置において実行される補間画素生成処理について図３１〜図３３を参照して説明する。
【００１１】
図３１において、補間画素ｐは、原ライン（ｙライン）及び原ライン（ｙ＋１ライン）の画素間ａ−ｎ、ｂ−ｍ、ｃ−ｌ、ｄ−ｋ、ｅ−ｊ、ｆ−ｉ、ｇ−ｈの差分を求め、これらの画素間の差分のうち最小値の画素の組に基づいて補間画素を生成している。但し、最小値の画素の組が複数存在した場合には、相関する画素の方向を特定できないため、既に処理が終了している隣接画素の補間画素の方向を参照して補間画素の方向を決定している。例えば、図３２に示すような斜め線の入力の場合、図中の画素ｐ３の補間値は、画素の組ｃ−ｌ、ｅ−ｊなどから算出するが、これらの相関値は同じ値（＝０）になり、この情報だけでは画素の組を決定できないため、隣接画素ｐ２の補間方向の結果（ｄ−ｉ）を参照し、相関画素としてｅ−ｊを選択するようにしている。
【００１２】
しかし、この順次走査変換装置では、図３３に示すような十字線の画像が入力された場合、補間画素のｐ０〜ｐ６には誤補間が生じてしまう。すなわち、十字線のように直線が直交している場合には、図中に矢印で示す斜め方向の画素に対する相関が高くなるため、本来、垂直方向に対する補間が望ましい場合にも、斜め方向に画素を補間してしまうという問題がある。
【００１３】
一方、特許文献４に記載された走査線変換装置では、十字線に強い補間方式が提案されている。この走査線変換装置において実行される補間画素生成処理について図３４及び図３５を参照して説明する。例えば、図３４に示すような十字線の入力画像に対して、図３５に示すような理想的な補間が行われている。
【先行技術文献】
【特許文献】
【００１４】
【特許文献１】特開２００３−２３０１０９号公報
【特許文献２】特開２００９−７７２９３号公報
【特許文献３】特開８−１６３５１１号公報
【特許文献４】特開２００３−２３０１０９号公報
【発明の概要】
【発明が解決しようとする課題】
【００１５】
しかし、上記特許文献４に記載された走査線変換装置では、図３６に示すような斜め線の画像が入力された場合、補間画素ｘには画素Ｎ、Ｅ、ｃ、ｈと同じ色の補間値が期待されることに対して、垂直方向（画素Ｄ−ｄ方向）が最も高いと判定し、（Ｄ＋ｄ）／２＝１００の値が出力されて、斜め線がギザギザに見える問題が発生する。すなわち、特許文献４に記載された走査線変換装置では、十字線に対する補間性能と斜め線に対する補間性能を両立することは困難であった。このことは、上記特許文献３に記載された順次走査変換装置においても同様である。
【００１６】
本発明は、上記の問題に鑑み、斜め線の画素補間性能と十字線の画素補間性能を両立する画像処理装置及び画像処理方法提供することを目的とする。
【課題を解決するための手段】
【００１７】
本願発明の一実施形態に係る画像処理装置は、入力画像の拡大処理を実行する画像処理装置であって、前記入力画像のフィールド毎に入力画素に対する上下画素間の相関値、前記入力画素に対する垂直周波数を考慮した上下相関値、及び、前記入力画素に対する上下画素間の補間値を各々算出し、前記上下画素間の相関値及び前記上下相関値に基づいて垂直方向相関値を算出し、前記上下画素間の補間値及び前記垂直方向相関値を出力する垂直相関処理部と、前記入力画素に対する右斜め方向画素間の相関値、前記入力画素に対する水平・垂直周波数を考慮した右斜め方向の相関値、及び、前記入力画素に対する右斜め方向の補間値を各々算出し、前記垂直方向相関値、前記右斜め方向画素間の相関値及び前記水平・垂直周波数を考慮した右斜め方向の相関値に基づいて、右斜め方向に探索する画素数分の複数の右斜め方向相関値を算出し、前記複数の右斜め方向相関値から最小の右斜め方向相関値を選択し、前記最小の右斜め方向相関値に基づいて選択された右斜め方向の最終補間値を出力する右斜め方向相関処理部と、前記入力画素に対する左斜め方向画素間の相関値、前記入力画素に対する水平・垂直周波数を考慮した左斜め方向の相関値、及び、前記入力画素に対する左斜め方向の補間値を各々算出し、前記垂直方向相関値、前記左斜め方向画素間の相関値及び前記水平・垂直周波数を考慮した左斜め方向の相関値に基づいて、左斜め方向に探索する画素数分の複数の左斜め方向相関値を算出し、前記複数の左斜め方向相関値から最小の左斜め方向相関値を選択し、前記最小の左斜め方向相関値に基づいて選択された左斜め方向の最終補間値を出力する左斜め方向相関処理部と、前記最小の右斜め方向相関値及び前記最小の左斜め方向相関値のうち値が小さい方を第１の最小値として選択し、前記第１の最小値に基づいて斜め方向の最終補間値を選択し、前記垂直方向相関値及び前記第１の最小値のうち値が小さい方を最終補間方向とし、前記最終補間方向基づいて前記入力画素に対する補間値を選択する補間値算出処理部と、を備えることを特徴とする。この画像処理装置によれば、斜め線の画素補間性能と十字線の画素補間性能を両立することができ、画像拡大後も原画像の品質を保持しつつ、斜め線や十字線にジャギーを生じさせない高品位な画像表示が可能になる。
【００１８】
また、前記垂直相関処理部は、前記上下画素間の相関値から前記上下相関値を減算して前記垂直方向相関値を算出してもよい。この画像処理装置によれば、原画像に対する垂直方向相関値の精度よく算出することができる。
【００１９】
また、前記右斜め方向相関処理部は、前記右斜め方向画素間の相関値は、前記入力画素に対する補間画素を中心とした点対称の右斜め方向の位置にある原画素間から算出し、前記右斜め方向の相関値は、前記右斜め方向画素間の相関値を算出する右斜め方向の角度に対して平行な位置にある原画素の水平・垂直周波数を考慮して算出し、前記右斜め方向相関値は、前記右斜め方向画素間の相関値に対して当該右斜めの角度に応じた定数を乗算し、当該乗算結果に前記垂直方向相関値を加算し、当該加算結果から前記右斜め方向の相関値を減算して算出してもよい。この画像処理装置によれば、原画像に対する右斜め方向の補間値を精度良く算出することができる。
【００２０】
また、前記左斜め方向相関処理部は、前記左斜め方向画素間の相関値は、前記入力画素に対する補間画素を中心とした点対称の左斜め方向の位置にある原画素間から算出し、前記左斜め方向の相関値は、前記左斜め方向画素間の相関値を算出する左斜め方向の角度に対して平行な位置にある原画素の水平・垂直周波数を考慮して算出し、前記左斜め方向相関値は、前記左斜め方向画素間の相関値に対して当該左斜めの角度に応じた定数を乗算し、当該乗算結果に前記垂直方向相関値を加算し、当該加算結果から前記左斜め方向の相関値を減算して算出してもよい。この画像処理装置によれば、原画像に対する左斜め方向の補間値を精度良く算出することができる。
【００２１】
また、前記右斜め方向相関処理部は、同一の値の前記最小の右斜め方向相関値が複数存在する場合は、垂直方向に近い方の前記最小の右斜め方向相関値に基づき、前記右斜め方向の最終補間値を選択してもよい。
【００２２】
また、前記左斜め方向相関処理部は、同一の値の前記最小の左斜め方向相関値が複数存在する場合は、垂直方向に近い方の前記最小の左斜め方向相関値に基づき、前記右斜め方向の最終補間値を選択してもよい。
【００２３】
また、前記補間値算出処理部は、前記最小の右斜め方向相関値及び前記最小の左斜め方向相関値が同一の値である場合、垂直方向に近い斜め方向の補間値を選択してもよい。前記最小の右斜め方向相関値及び前記最小の左斜め方向相関値が同一の値であり、かつ同一の傾き角度である場合、前記最小の右斜め方向相関値及び前記最小の左斜め方向相関値と相関する複数の画素間の平均値を補間値としてもよい。前記垂直相関値と、前記最小の右斜め方向相関値、もしくは前記最小の左斜め方向相関値が同一の場合、垂直方向の補間値を選択してもよい。
【００２４】
本発明の一実施の形態に係る画像処理方法は、入力画像の拡大処理を実行する画像処理方法において、前記入力画像のフィールド毎に入力画素に対する上下画素間の相関値、前記入力画素に対する垂直周波数を考慮した上下相関値、及び、前記入力画素に対する上下画素間の補間値を各々算出し、前記上下画素間の相関値及び前記上下相関値に基づいて垂直方向相関値を算出し、前記上下画素間の補間値及び前記垂直方向相関値を出力し、前記入力画素に対する右斜め方向画素間の相関値、前記入力画素に対する水平・垂直周波数を考慮した右斜め方向の相関値、及び、前記入力画素に対する右斜め方向の補間値を各々算出し、前記垂直方向相関値、前記右斜め方向画素間の相関値及び前記水平・垂直周波数を考慮した右斜め方向の相関値に基づいて、右斜め方向に探索する画素数分の複数の右斜め方向相関値を算出し、前記複数の右斜め方向相関値から最小の右斜め方向相関値を選択し、前記最小の右斜め方向相関値に基づき右斜め方向の最終補間値を出力し、前記入力画素に対する左斜め方向画素間の相関値、前記入力画素に対する水平・垂直周波数を考慮した左斜め方向の相関値、及び、前記入力画素に対する左斜め方向の補間値を各々算出し、前記垂直方向相関値、前記左斜め方向画素間の相関値及び前記水平・垂直周波数を考慮した左斜め方向の相関値に基づいて、左斜め方向に探索する画素数分の複数の左斜め方向相関値を算出し、前記複数の左斜め方向相関値から最小の左斜め方向相関値を選択し、前記最小の左斜め方向相関値に基づき左斜め方向の最終補間値を出力し、前記最小の右斜め方向相関値及び前記最小の左斜め方向相関値のうち値が小さい方を第１の最小値として選択し、前記垂直方向相関値及び前記第１の最小値のうち値が小さい方を最終補間方向とし、前記最終補間方向に基づいて補間値を出力すること、を含むことを特徴とする。この画像処理方法によれば、斜め線の画素補間性能と十字線の画素補間性能を両立することができ、画像拡大後も原画像の品質を保持しつつ、斜め線や十字線にジャギーを生じさせない高品位な画像表示が可能になる。
【００２５】
また、前記垂直方向相関値は、前記上下画素間の相関値から前記上下相関値を減算して算出してもよい。この画像処理方法によれば、原画像に対する垂直方向相関値の精度よく算出することができる。
【００２６】
また、前記右斜め方向画素間の相関値は、前記入力画素に対する補間画素を中心とした点対称の右斜め方向の位置にある原画素間から算出し、前記右斜め方向の相関値は、前記右斜め方向画素間の相関値を算出する右斜め方向の角度に対して平行な位置にある原画素の水平・垂直周波数を考慮して算出し、前記右斜め方向相関値は、前記右斜め方向画素間の相関値に対して当該右斜めの角度に応じた定数を乗算し、当該乗算結果に前記垂直方向相関値を加算し、当該加算結果から前記右斜め方向の相関値を減算して算出してもよい。この画像処理方法によれば、原画像に対する右斜め方向の補間値を精度良く算出することができる。
【００２７】
また、前記左斜め方向画素間の相関値は、前記入力画素に対する補間画素を中心とした点対称の左斜め方向の位置にある原画素間から算出し、前記左斜め方向の相関値は、前記左斜め方向画素間の相関値を算出する左斜め方向の角度に対して平行な位置にある原画素の水平・垂直周波数を考慮して算出し、前記左斜め方向相関値は、前記左斜め方向画素間の相関値に対して当該左斜めの角度に応じた定数を乗算し、当該乗算結果に前記垂直方向相関値を加算し、当該加算結果から前記左斜め方向の相関値を減算して算出してもよい。この画像処理方法によれば、原画像に対する左斜め方向の補間値を精度良く算出することができる。
【００２８】
また、同一の値の前記最小の右斜め方向相関値が複数存在する場合は、垂直方向に近い方の前記最小の右斜め方向相関値に基づき最終補間値を選択してもよい。
【００２９】
また、同一の値の前記最小の左斜め方向相関値が複数存在する場合は、垂直方向に近い方の前記最小の左斜め方向相関値に基づき最終補間値を選択してもよい。
【００３０】
また、前記最小の右斜め方向相関値及び前記最小の左斜め方向相関値が同一の値である場合、垂直方向に近い斜め方向の補間値を選択してもよい。前記最小の右斜め方向相関値及び前記最小の左斜め方向相関値が同一の値であり、かつ同一の傾き角度である場合、前記最小の右斜め方向相関値及び前記最小の左斜め方向相関値と相関する複数の画素間の平均値を補間値としてもよい。前記垂直相関値と、前記最小の右斜め方向相関値、もしくは前記最小の左斜め方向相関値が同一の場合、垂直方向の補間値を選択してもよい。
【発明の効果】
【００３１】
本発明によれば、斜め線の画素補間性能と十字線の画素補間性能を両立することができ、画像拡大後も原画像の品質を保持しつつ、斜め線や十字線にジャギーを生じさせない高品位な画像表示を可能にする画素補間処理を実現する画像処理装置及び画像処理方法を提供することができる。
【図面の簡単な説明】
【００３２】
【図１】本発明の一実施形態に係る画像処理装置の構成を示すブロック図である。
【図２】図１の垂直相関処理部において実行される垂直方向相関値算出処理の一例を示すフローチャートである。
【図３】入力される原画素の一例を示す図である。
【図４】垂直方向相関値算出処理の対象となる画素の一例を示す図である。
【図５】図１の右斜め相関処理部において実行される右斜め方向相関値算出処理の一例を示すフローチャートである。
【図６】図１の左斜め相関処理部において実行される左斜め方向相関値算出処理の一例を示すフローチャートである。
【図７】図１のマルチプレクサにおいて実行される補間値算出処理の一例を示すフローチャートである。
【図８】具体例１に係る右斜め方向相関値算出処理を適用する斜め線の傾き右１の画素配置の一例を示す図である。
【図９】具体例１に係る左斜め方向相関値算出処理を適用する斜め線の傾き右１の画素配置の一例を示す図である。
【図１０】具体例１に係る右斜め方向相関値算出処理を適用する斜め線の傾き右１の画素配置の一例を示す図である。
【図１１】具体例１に係る左斜め方向相関値算出処理を適用する斜め線の傾き右１の画素配置の一例を示す図である。
【図１２】具体例２に係る右斜め方向相関値算出処理を適用する斜め線の角度が浅い傾き右２の画素配置の一例を示す図である。
【図１３】具体例２に係る左斜め方向相関値算出処理を適用する斜め線の角度が浅い傾き右２の画素配置の一例を示す図である。
【図１４】具体例２に係る右斜め方向相関値算出処理を適用する斜め線の角度が浅い傾き右２の画素配置の一例を示す図である。
【図１５】具体例２に係る左斜め方向相関値算出処理を適用する斜め線の角度が浅い傾き右２の画素配置の一例を示す図である。
【図１６】具体例３に係る右斜め方向相関値算出処理を適用する十字線の画素配置の一例を示す図である。
【図１７】具体例３に係る左斜め方向相関値算出処理を適用する十字線の画素配置の一例を示す図である。
【図１８】具体例３に係る右斜め方向相関値算出処理を適用する十字線の画素配置の一例を示す図である。
【図１９】具体例３に係る左斜め方向相関値算出処理を適用する十字線の画素配置の一例を示す図である。
【図２０】具体例４に係る右斜め方向相関値算出処理を適用する座標を水平方向に＋１移動した十字線の画素配置の一例を示す図である。
【図２１】具体例４に係る左斜め方向相関値算出処理を適用する座標を水平方向に＋１移動した十字線の画素配置の一例を示す図である。
【図２２】具体例４に係る右斜め方向相関値算出処理を適用する座標を水平方向に＋１移動した十字線の画素配置の一例を示す図である。
【図２３】具体例４に係る左斜め方向相関値算出処理を適用する座標を水平方向に＋１移動した十字線の画素配置の一例を示す図である。
【図２４】具体例５に係る右斜め方向相関値算出処理を適用する座標を水平方向に＋２移動した十字線の画素配置の一例を示す図である。
【図２５】具体例５に係る左斜め方向相関値算出処理を適用する座標を水平方向に＋２移動した十字線の画素配置の一例を示す図である。
【図２６】具体例５に係る右斜め方向相関値算出処理を適用する座標を水平方向に＋２移動した十字線の画素配置の一例を示す図である。
【図２７】具体例５に係る左斜め方向相関値算出処理を適用する座標を水平方向に＋２移動した十字線の画素配置の一例を示す図である。
【図２８】具体例１により斜め線（傾き右１）を補間した結果を示す図である。
【図２９】具体例３により十字線を補間した結果を示す図である。
【図３０】図１の画像処理装置を利用した液晶表示装置の概略構成を示すブロック図である。
【図３１】従来のフィールド内補間処理の一例を示す図である。
【図３２】従来の斜め線の入力に対する画素補間処理の一例を示す図である。
【図３３】従来の十字線の入力に対する画素補間処理の一例を示す図である。
【図３４】従来の十字線の入力に対する画素補間処理の一例を示す図である。
【図３５】図３４の十字線の入力に対する画素補間処理の結果を示す図である。
【図３６】従来の斜め線の入力に対する画素補間処理の一例を示す図である。
【発明を実施するための形態】
【００３３】
（発明に至る経緯）
２０１１年７月、現行の地上アナログ放送がデジタル放送に完全移行されることに伴い、放送画質も現行のスタンダード画質からハイビジョン画質への高画質化が本格化する。そのハイビジョンの更なる高画質化を目指して、ＮＨＫ放送技術研究所（以下、ＮＨＫ技研）では、スーパーハイビジョン（以下、ＳＨＶ）放送の実用化へ向けた研究開発が進められている。ＳＨＶとは、次世代テレビ向けフォーマットであり、７６８０×４３２０画素の解像度を持つ超高精細映像のことである。これは、縦横共に現行のフルハイビジョンの４倍で、計１６倍の解像度となる。そこで、ＳＨＶ放送の実用化を想定し、ＳＨＶに対応した表示装置が必要となる。また、これに伴って地上デジタル放送でＳＨＶを放送ないし受信するための技術も開発中である。
【００３４】
しかし、伝送容量を拡大するための技術の向上の必要性や、電波の送受信のためのアンテナも専用のものが必要になるなど、すぐに地上波放送で導入することは難しい。このため、全ての放送が完全にＳＨＶ放送へ移行することは未だ困難であり、過渡期にはフルハイビジョン放送である状況が続くことが予想される。したがって、表示装置が放送フォーマットより高解像度の場合は、表示装置に合わせた映像の拡大処理が必要になる。
【００３５】
このような背景のもと、拡大処理を行なっても原画像の品質を保持した状態で高品位な表示が可能となるような画像の補間処理技術が求められる。
【００３６】
以下、図面を参照して本発明に係る画像処理装置について説明する。ただし、本発明の装置は多くの異なる態様で実施することが可能であり、以下に示す多数の実施の形態の記載内容に限定して解釈されるものではない。
【００３７】
図１は、本発明の一実施形態に係る画像処理装置の構成を示すブロック図である。図１において、画像処理装置１００は、垂直相関処理部１０１と、右斜め相関処理部１０２と、左斜め相関処理部１０３と、マルチプレクサ(補間値算出処理部)１０４と、を有する。画像処理装置１００は、ＲＧＢ画素をＹＵＶ画素に変換し、Ｙ画素を入力画素として補間画素を生成する処理を実行してもよい。この時、ＵとＶの補間値は、以下に示す実施形態の処理結果に関係なく、ＵとＶの入力画素の上下方向（垂直方向）を用い、それぞれ平均値を算出するのでもよい。この場合、画像処理装置１００は、垂直相関処理部１０１、右斜め相関処理部１０２、左斜め相関処理部１０３及びマルチプレクサ１０４をＹ画素に対する１系統分だけ備えればよく、回路規模を縮小することができるとともに、製造コストを低減できる。
【００３８】
垂直相関処理部１０１は、入力画像のフィールド毎に入力画素に対する上下画素間の相関値（ｒｅｌ＿ｖ）、入力画素に対する垂直周波数を考慮した上下相関値（ｒｅｌ＿ｖｖ）、及び、入力画素に対する上下画素間の補間値（ｉｎｔ＿ｖ）を各々算出し、上下画素間の相関値（ｒｅｌ＿ｖ）及び上下相関値（ｒｅｌ＿ｖｖ）に基づいて垂直方向相関値（ｃｏｒ＿ｖ）を算出し、上下画素間の補間値（ｉｎｔ＿ｖ）はマルチプレクサ１０４に出力し、垂直方向相関値（ｃｏｒ＿ｖ）は右斜め相関処理部１０２、左斜め相関処理部１０３及びセマルチプレクサ１０４に出力する。
【００３９】
右斜め相関処理部１０２は、入力画素に対する右斜め方向画素間の相関値（ｒｅｌ＿ｒ［ｎ］、ｎは算出する相関値の位置情報を表しており、例えば、図３を例に説明すると、ｎ＝１の場合は、補間位置に対して右に１傾いたｍ１［１］とｐ１［−１］と、補間位置に対して左に１傾いたｍ１［−１］とｐ１［１］の位置を表し、ｎ＝２の場合は、補間位置に対して右に２傾いたｍ１［２］とｐ１［−２］と、補間位置に対して左に２傾いたｍ１［−２］とｐ１［２］の位置を表す）、入力画素に対する水平・垂直周波数を考慮した右斜め方向の相関値（ｒｅｌ＿ｒｖ［ｎ］）、及び、入力画素に対する右斜め方向の補間値（ｉｎｔ＿ｒ［ｎ］）を各々算出する。続いて、右斜め相関処理部１０２は、上記垂直方向相関値（ｃｏｒ＿ｖ）、右斜め方向画素間の相関値（ｒｅｌ＿ｒ［ｎ］）及び水平・垂直周波数を考慮した右斜め方向の相関値（ｒｅｌ＿ｒｖ［ｎ］）に基づいて、右斜め方向に探索する画素数分の複数の右斜め方向相関値（ｃｏｒ＿ｒ［ｎ］）を算出する。続いて、右斜め相関処理部１０２は、複数の右斜め方向相関値（ｃｏｒ＿ｒ［ｎ］）から最小の右斜め方向相関値（ｍｉｎ＿ｃｏｒ＿ｒ）を選択し、最小の右斜め方向相関値（ｍｉｎ＿ｃｏｒ＿ｒ）に基づき右斜め方向の最終補間値（ｉｎｔ＿ｒ）を選択し、最小の右斜め方向相関値（ｍｉｎ＿ｃｏｒ＿ｒ）及び右斜め方向の最終補間値（ｉｎｔ＿ｒ）及び相関位置情報（ｌｅｎ＿ｒ）をマルチプレクサ１０４に出力する。また、右斜め相関処理部１０２は、同一の値の右斜め方向相関値（ｃｏｒ＿ｒ［ｎ］）が複数存在する場合は、垂直方向に近い方の右斜め方向の最終補間値（ｉｎｔ＿ｒ）及び相関位置情報（ｌｅｎ＿ｒ）を選択する。
【００４０】
左斜め相関処理部１０３は、入力画素に対する左斜め方向画素間の相関値（ｒｅｌ＿ｌ［ｎ］、ｎは中心画素に対して相関する画素を探索する方向の画素数を表す）、入力画素に対する水平・垂直周波数を考慮した左斜め方向の相関値（ｒｅｌ＿ｌｖ［ｎ］）、及び、入力画素に対する右斜め方向の補間値（ｉｎｔ＿ｌ［ｎ］）を各々算出する。続いて、左斜め相関処理部１０３は、上記垂直方向相関値（ｃｏｒ＿ｖ）、左斜め方向画素間の相関値（ｒｅｌ＿ｌ［ｎ］）及び水平・垂直周波数を考慮した左斜め方向の相関値（ｒｅｌ＿ｌｖ［ｎ］）に基づいて、左斜め方向に探索する画素数分の複数の左斜め方向相関値（ｃｏｒ＿ｌ［ｎ］）を算出する。続いて、左斜め相関処理部１０３は、複数の左斜め方向相関値（ｃｏｒ＿ｌ［ｎ］）から最小の左斜め方向相関値（ｍｉｎ＿ｃｏｒ＿ｌ）を選択し、最小の左斜め方向相関値（ｍｉｎ＿ｃｏｒ＿ｌ）に基づき左斜め方向の最終補間値（ｉｎｔ＿ｌ）を選択し、最小の左斜め方向相関値（ｍｉｎ＿ｃｏｒ＿ｌ）及び左斜め方向の最終補間値（ｉｎｔ＿ｌ）及び相関位置情報（ｌｅｎ＿ｌ）をマルチプレクサ１０４に出力する。また、左斜め相関処理部１０３は、同一の値の左斜め方向相関値（ｃｏｒ＿ｌ［ｎ］）が複数存在する場合は、垂直方向に近い方の左斜め方向の最終補間値（ｉｎｔ＿ｌ）及び相関位置情報（ｌｅｎ＿ｌ）を選択する。
【００４１】
マルチプレクサ１０４は、最小の右斜め方向相関値（ｍｉｎ＿ｃｏｒ＿ｒ）及び最小の左斜め方向相関値（ｍｉｎ＿ｃｏｒ＿ｌ）のうち値が小さい方を第１の最小値（ｄｉａ＿ｍｉｎ＿ｃｏｒ）として選択し、第１の最小値（ｄｉａ＿ｍｉｎ＿ｃｏｒ）に基づき最終補間値（ｉｎｔ＿ｄ）を選択する。続いて、マルチプレクサ１０４は、上記垂直方向相関値（ｃｏｒ＿ｖ）及び第１の最小値（ｄｉａ＿ｍｉｎ＿ｃｏｒ）のうち値が小さい方を最終補間方向とし、前記最終補間方向に基づき補間値を出力する。
【００４２】
次に、垂直相関処理部１０１において実行される垂直方向相関値算出処理について図２に示すフローチャートを参照して説明する。また、垂直方向相関値算出処理の具体例について図３及び図４を参照して説明する。
【００４３】
図２において、垂直相関処理部１０１は、画素が入力されると（ステップＳ１０１）、その入力画素に対する上下画素間の相関値（ｒｅｌ＿ｖ）を算出する（ステップＳ１０２）。
【００４４】
ここで、図３及び図４を参照して、上下画素間の相関値（ｒｅｌ＿ｖ）の具体例について説明する。図３は、入力される原画素の一例を示す図であり、中心画素ｍ１［０］，ｍ２［０］，ｐ１［０］，ｐ２［０］に加えて左方向に２ｎ＋１、右方向に２ｎ＋１の原画素をそれぞれ５画素分配置している。ここでは、ｎの最大値が２である場合を示す。左方向の各行に配置された画素は、ｍ１［−１］〜ｍ１［−５］，ｍ２［−１］〜ｍ２［−５］，ｐ１［−１］〜ｐ１［−５］，ｐ２［−１］〜ｐ２［−５］であり、右方向の各行に配置された画素は、ｍ１［１］〜ｍ１［５］，ｍ２［１］〜ｍ２［５］，ｐ１［１］〜ｐ１［５］，ｐ２［１］〜ｐ２［５］である。この場合、左方向の各行に配置された画素には便宜上（−）を付している。また、中心画素ｍ１［０］及びｐ１［０］の間に補間画素が配置されるものとする。また、図４の画素値は、ｍ２［３］，ｍ１［１］，ｐ１［−１］，ｐ２［−３］が０、その他の画素値は１００であるものとする。
【００４５】
上下画素間の相関値（ｒｅｌ＿ｖ）は、以下の数式（１）により算出される。
ｒｅｌ＿ｖ＝｜ｍ１［０］−ｐ１［０］｜・・・・・（１）
この数式（１）により上下画素間の相関値（ｒｅｌ＿ｖ）は０になる。
【００４６】
図２に戻り、次いで、垂直相関処理部１０１は、垂直周波数を考慮した上下相関値（ｒｅｌ＿ｖｖ）として、上下相関値（ｒｅｌ＿ｖｖ１）と上下相関値（ｒｅｌ＿ｖｖ２）を算出する（ステップＳ１０３）。ここで、図４において、上下相関値（ｒｅｌ＿ｖｖ１）は、中心画素ｍ１［０］，ｍ２［０］，ｐ１［０］の各画素値を用いて以下に示す数式（２）により算出され、上下相関値（ｒｅｌ＿ｖｖ２）は中心画素ｍ１［０］，ｐ１［０］，ｐ２［０］の各画素値を用いて以下に示す数式（３）により算出される。
【００４７】
ｒｅｌ＿ｖｖ１＝ｌｐｆ＿ｍ１［０］＊２−（ｌｐｆ＿ｍ２［０］＋ｌｐｆ＿ｐ１［０］）・・・・・（２）
ｒｅｌ＿ｖｖ２＝ｌｐｆ＿ｐ１［０］＊２−（ｌｐｆ＿ｍ１［０］＋ｌｐｆ＿ｐ２［０］）・・・・・（３）
但し、ｌｐｆ＿＊は、水平方向に加重平均した値であり、例えば、図４のｍ１ラインの場合、ｌｐｆ＿ｍ１［Ｘ］＝（ｍ１［Ｘ−１］＋ｍ１［Ｘ］＊２＋ｍ１［Ｘ＋１］）／４となる。
【００４８】
ｒｅｌ＿ｖｖ１＝１５０−１７５＝−２５となり、ｒｅｌ＿ｖｖ２＝１５０−１７５＝−２５となる。ここで、ｍｉｎ（｜Ａ｜，｜Ｂ｜）処理を定義する。前記ｍｉｎ（｜Ａ｜，｜Ｂ｜）処理は、ＡとＢの符号（±）が同じ時、ＡとＢの絶対値が小さい方を選択し、符号（±）が異なる時、０を出力するものとする。・・・・・（定義１）
本実施形態では、すなわち、ｒｅｌ＿ｖｖ＝ｍｉｎ（｜ｒｅｌ＿ｖｖ１｜，｜ｒｅｌ＿ｖｖ２｜）となり、ｒｅｌ＿ｖｖ１とｒｅｌ＿ｖｖ２の符号（±）が同じ時、絶対値の小さい方が選択され、符号（±）が異なる時、ｒｅｌ＿ｖｖ＝０となる。図４の場合、ｒｅｌ＿ｖｖ＝ｍｉｎ（｜ｒｅｌ＿ｖｖ１｜，｜ｒｅｌ＿ｖｖ２｜）＝２５となる。
【００４９】
図２に戻り、次いで、垂直相関処理部１０１は、上下画素間の補間値（ｉｎｔ＿ｖ）を算出する（ステップＳ１０４）。この場合、ｉｎｔ＿ｖ＝（ｍ１［０］＋ｐ１［０］）／２＝１００となる。
【００５０】
次いで、垂直相関処理部１０１は、上下画素間の相関値（ｒｅｌ＿ｖ）と上下相関値（ｒｅｌ＿ｖｖ）を用いて、以下の数式（４）により垂直方向相関値（ｃｏｒ＿ｖ）を算出する（ステップＳ１０５）。
【００５１】
ｃｏｒ＿ｖ＝ｒｅｌ＿ｖ−ｒｅｌ＿ｖｖ＊ｇａｉｎ＿ｖ・・・・・（４）
但し、ｇａｉｎ＿ｖは、外部から設定可能なパラメータであり、以下では１として計算する。
この場合、ｃｏｒ＿ｖ＝０−２５＝−２５となる。
【００５２】
次いで、垂直相関処理部１０１は、算出した垂直方向相関値（ｃｏｒ＿ｖ）及び上下画素間の補間値（ｉｎｔ＿ｖ）をマルチプレクサ１０４に出力して、本処理を終了する。
【００５３】
次に、右斜め相関処理部１０２において実行される右斜め方向相関値算出処理について図５に示すフローチャートを参照して説明する。なお、右斜め方向相関値算出処理の具体例については後述する。
【００５４】
図５において、右斜め相関処理部１０２は、画素が入力されると（ステップＳ２０１）、その入力画素に対する右斜め方向画素間の相関値（ｒｅｌ＿ｒ［ｎ］）を算出する（ステップＳ２０２）。次いで、右斜め相関処理部１０２は、水平・垂直周波数を考慮した右斜め方向の相関値（ｒｅｌ＿ｒｖ［ｎ］）を算出する（ステップＳ２０３）。次いで、右斜め相関処理部１０２は、右斜め方向の補間値（ｉｎｔ＿ｒ［ｎ］）を算出する（ステップＳ２０４）。
【００５５】
次いで、右斜め相関処理部１０２は、右斜め方向画素間の相関値（ｒｅｌ＿ｒ［ｎ］）、右斜め方向の相関値（ｒｅｌ＿ｒｖ［ｎ］）及び垂直方向相関値（ｃｏｒ＿ｖ）を用いて、以下の数式（５）により、右斜め方向に探索する位置情報数［ｎ］分のｎ個の右斜め方向相関値（ｃｏｒ＿ｒ［ｎ］）を算出する（ステップＳ２０５）。
【００５６】
ｃｏｒ＿ｒ［ｎ］＝ｒｅｌ＿ｒ［ｎ］＊（２ｎ＋１）＋ｃｏｒ＿ｖ−ｒｅｌ＿ｒｖ［ｎ］＊ｇａｉｎ＿ｄ・・・・・（５）
但し、ｇａｉｎ＿ｄは、外部から設定可能なパラメータであり、以下では１として計算する。
【００５７】
次いで、右斜め相関処理部１０２は、ｎ個の右斜め方向相関値（ｃｏｒ＿ｒ［ｎ］）の算出結果から最小の右斜め方向相関値（ｍｉｎ＿ｃｏｒ＿ｒ）を選択するが（ステップＳ２０６）、もし、複数の最小値が存在する場合（ステップＳ２０７：ＹＥＳ）、垂直方向に近い相関値の方を選択し、相関位置情報（ｌｅｎ＿ｒ）と最小の右斜め方向相関値（ｍｉｎ＿ｃｏｒ＿ｒ）と最終補間値（ｉｎｔ＿ｒ）をマルチプレクサ１０４に出力する（ステップＳ２０８）。
【００５８】
次いで、右斜め相関処理部１０２は、複数の最小値が存在しない場合（ステップＳ２０７：ＮＯ）、最小の右斜め方向相関値（ｍｉｎ＿ｃｏｒ＿ｒ）に基づき、相関位置情報（ｌｅｎ＿ｒ）と最小の右斜め方向相関値（ｍｉｎ＿ｃｏｒ＿ｒ）と最終補間値（ｉｎｔ＿ｒ）をマルチプレクサ１０４に出力する（ステップＳ２０９）。
【００５９】
次に、左斜め相関処理部１０３において実行される左斜め方向相関値算出処理について図６に示すフローチャートを参照して説明する。なお、左斜め方向相関値算出処理の具体例については後述する。
【００６０】
図６において、左斜め相関処理部１０３は、画素が入力されると（ステップＳ３０１）、その入力画素に対する左斜め方向画素間の相関値（ｒｅｌ＿ｌ［ｎ］）を算出する（ステップＳ３０２）。次いで、左斜め相関処理部１０３は、水平・垂直周波数を考慮した左斜め方向の相関値（ｒｅｌ＿ｌｖ［ｎ］）を算出する（ステップＳ３０３）。次いで、左斜め相関処理部１０３は、左斜め方向の補間値（ｉｎｔ＿ｌ［ｎ］）を算出する（ステップＳ３０４）。
【００６１】
次いで、左斜め相関処理部１０３は、左斜め方向画素間の相関値（ｒｅｌ＿ｌ［ｎ］）、左斜め方向の相関値（ｒｅｌ＿ｌｖ［ｎ］）及び垂直方向相関値（ｃｏｒ＿ｖ）を用いて、以下の数式（６）により、左斜め方向に探索する位置情報数［ｎ］分のｎ個の左斜め方向相関値（ｃｏｒ＿ｌ［ｎ］）を算出する（ステップＳ３０５）。
【００６２】
ｃｏｒ＿ｌ［ｎ］＝ｒｅｌ＿ｌ［ｎ］＊（２ｎ＋１）＋ｃｏｒ＿ｖ−ｒｅｌ＿ｌｖ［ｎ］＊ｇａｉｎ＿ｄ・・・・・（６）
但し、ｇａｉｎ＿ｄは、外部から設定可能なパラメータであり、以下では１として計算する。
【００６３】
次いで、左斜め相関処理部１０３は、ｎ個の左斜め方向相関値（ｃｏｒ＿ｌ［ｎ］）の算出結果から最小の左斜め方向相関値（ｍｉｎ＿ｃｏｒ＿ｌ）を選択するが（ステップＳ３０６）、もし、複数の最小値が存在する場合（ステップＳ３０７：ＹＥＳ）、垂直方向に近い相関値の方を選択し、相関位置情報（ｌｅｎ＿ｌ）と最小の左斜め方向相関値（ｍｉｎ＿ｃｏｒ＿ｌ）と最終補間値（ｉｎｔ＿ｌ）をマルチプレクサ１０４に出力する（ステップＳ３０８）。
【００６４】
次いで、左斜め相関処理部１０３は、複数の最小値が存在しない場合（ステップＳ３０７：ＮＯ）、最小の右斜め方向相関値（ｍｉｎ＿ｃｏｒ＿ｌ）に基づき、相関位置情報（ｌｅｎ＿ｌ）と最小の右斜め方向相関値（ｍｉｎ＿ｃｏｒ＿ｌ）と最終補間値（ｉｎｔ＿ｌ）をマルチプレクサ１０４に出力する（ステップＳ３０９）
【００６５】
次に、マルチプレクサ１０４において実行される補間値算出処理について図７に示すフローチャートを参照して説明する。なお、補間値算出処理の具体例については後述する。
【００６６】
図７において、マルチプレクサ１０４は、右斜め相関処理部１０２及び左斜め相関処理部１０３から入力された最小の右斜め方向相関値（ｍｉｎ＿ｃｏｒ＿ｒ）及び最小の左斜め方向相関値（ｍｉｎ＿ｃｏｒ＿ｌ）から最小値（ｄｉａ＿ｍｉｎ＿ｃｏｒ）を選択するが（ステップＳ４０１）、もし、最小の右斜め方向相関値（ｍｉｎ＿ｃｏｒ＿ｒ）及び最小の左斜め方向相関値（ｍｉｎ＿ｃｏｒ＿ｌ）が同一の場合（ステップＳ４０２：ＹＥＳ）、さらに、右斜め相関処理部１０２及び左斜め相関処理部１０３から入力された相関位置情報（ｌｅｎ＿ｒとｌｅｎ＿ｌ）が同一か確認する（ステップＳ４０５）。この結果、同一でない場合（ステップＳ４０５：ＮＯ）、垂直方向に近い傾きの方を斜め方向の最終補間値（ｉｎｔ＿ｄ）とする（ステップＳ４０６）。
【００６７】
相関位置情報（ｌｅｎ＿ｒとｌｅｎ＿ｌ）も同一の場合（ステップＳ４０５：ＹＥＳ）、右斜め方向の最終補間値（ｉｎｔ＿ｒ）及び左斜め方向の最終補間値（ｉｎｔ＿ｌ）の平均値を斜め方向の最終補間値（ｉｎｔ＿ｄ）とする（ステップＳ４０７）。
【００６８】
最小の右斜め方向相関値（ｍｉｎ＿ｃｏｒ＿ｒ）及び最小の左斜め方向相関値（ｍｉｎ＿ｃｏｒ＿ｌ）の各値が同一でない場合（ステップＳ４０２：ＮＯ）、マルチプレクサ１０４は、最小の右斜め方向相関値（ｍｉｎ＿ｃｏｒ＿ｒ）及び最小の左斜め方向相関値（ｍｉｎ＿ｃｏｒ＿ｌ）のうち値が小さい方を第１の最小値（ｄｉａ＿ｍｉｎ＿ｃｏｒ）として選択する（ステップＳ４０２）。
【００６９】
次いで、マルチプレクサ１０４は、垂直相関処理部１０１から入力された垂直相関値（ｃｏｒ＿ｖ）及び第１の最小値（ｄｉａ＿ｍｉｎ＿ｃｏｒ）のうち値が小さい方を最終補間方向として選択する（ステップＳ４０３）。ただし、ｃｏｒ＿ｖとｄｉａ＿ｍｉｎ＿ｃｏｒが同一の値の場合には、最終補間方向として垂直方向を選択する。
【００７０】
次いで、マルチプレクサ１０４は、ステップＳ４０３の結果に基づき、垂直相関処理部１０１から入力された上下画素間の補間値（ｉｎｔ＿ｖ）、斜め方向の最終補間値（ｉｎｔ＿ｄ）から選択して出力する（ステップＳ４０４）。
【００７１】
（具体例１）
次に、右斜め方向相関値算出処理及び左斜め方向相関値算出処理の具体例１について図８、図９、図１０、図１１を参照して説明する。図８は、右斜め方向相関値算出処理を適用する斜め線の傾き右１の画素配置の一例を示す図である。図９は、左斜め方向相関値算出処理を適用する斜め線の傾き右１の画素配置の一例を示す図である。図１０は、右斜め方向相関値算出処理を適用する斜め線の傾き右１の画素配置の一例を示す図である。図１１は、左斜め方向相関値算出処理を適用する斜め線の傾き右１の画素配置の一例を示す図である。なお、図８、図９、図１０、図１１において、四角は相関画素を探索する範囲を示している。
【００７２】
まず、図８、図９、図１０、図１１を参照して斜め線の傾き右１の画素配置に対して右斜め方向相関値算出処理及び左斜め方向相関値算出処理を実行する具体例を説明する。図８及び図９では、傾き右１の斜め線（原画素ｍ１[１]，ｍ２[３]，ｐ１[−１]，ｐ２[−３]）に対する右斜め方向相関値をｃｏｒ＿ｒ［ｎ］とし、左斜め方向相関値をｃｏｒ＿ｌ［ｎ］とした時、補間画素を中心とした点対称の位置にある原画素間から算出する右斜め方向画素間の相関値をｒｅｌ＿ｒ［ｎ］とし、左斜め方向画素間の相関値をｒｅｌ＿ｌ［ｎ］とする。これらの右斜め方向画素間の相関値及び左斜め方向画素間の相関値を求めている斜めの角度と平行な位置にある画素の水平・垂直周波数を考慮した右斜め方向の相関値をｒｅｌ＿ｒｖ［ｎ］とし、左斜め方向の相関値をｒｅｌ＿ｌｖ［ｎ］とする。この場合、右斜め方向相関値ｃｏｒ＿ｒ［ｎ］及び左斜め方向相関値ｃｏｒ＿ｌ［ｎ］は、補間画素を中心とした点対称の位置にある原画素から算出する右斜め方向画素間の相関値（ｒｅｌ＿ｒ［ｎ］）及び左斜め方向画素間の相関値（ｒｅｌ＿ｌ［ｎ］）に斜めの角度に応じた定数を乗算し、垂直方向相関値（ｃｏｒ＿ｖ）を加算し、右斜め方向相関値及び左斜め方向相関値を求めている斜めの角度と平行な位置の水平・垂直周波数を考慮した右斜め方向の相関値（ｒｅｌ＿ｒｖ［ｎ］）及び左斜め方向の相関値（ｒｅｌ＿ｌｖ［ｎ］）を減算することにより算出する。すなわち、上記数式（５）及び（６）を用いる。
【００７３】
右斜め方向画素間の相関値ｒｅｌ＿ｒ［ｎ］，左斜め方向画素間の相関値ｒｅｌ＿ｒ［ｎ］は以下に示す数式（７）及び（８）により算出される。
【００７４】
ｒｅｌ＿ｒ［ｎ］＝｜ｍ１[ｎ]−ｐ１[−ｎ]｜・・・・・（７）
ｒｅｌ＿ｌ［ｎ］＝｜ｍ１[−ｎ]−ｐ１[ｎ]｜・・・・・（８）
図８及び図９の場合、ｎ＝１のため、ｒｅｌ＿ｒ［１］＝０、ｒｅｌ＿ｌ［１］＝０となる。
【００７５】
また、水平・垂直周波数を考慮した右斜め方向の相関値ｒｅｌ＿ｒｖ［１］，ｒｅｌ＿ｒｖ［２］は以下に示す数式（９）及び（１０）により算出される。また、水平・垂直周波数を考慮した左斜め方向の相関値ｒｅｌ＿ｌｖ［１］，ｒｅｌ＿ｌｖ［２］は以下に示す数式（１１）及び（１２）により算出される。ここで、ｘは水平方向の画素位置を表す変数で、ｘ＝０からｘ＝２ｎまで算出する。例えば、ｎ＝１であればｘ＝０、１、２となり、ｘ＝２であれば、ｘ＝０、１、２、３、４となる。
【００７６】
ｒｅｌ＿ｒｖ１［ｘ］＝ｌｐｆ＿ｍ１［ｘ］＊２−（ｌｐｆ＿ｍ２［ｘ］＋ｌｐｆ＿ｐ１［ｘ］）・・・・・（９）
ｒｅｌ＿ｒｖ２［ｘ］＝ｌｐｆ＿ｐ１［ｘ−２ｎ］＊２−（ｌｐｆ＿ｍ１［ｘ−２ｎ］＋ｌｐｆ＿ｐ２［ｘ−２ｎ］）・・・・・（１０）
ｒｅｌ＿ｌｖ１［ｘ］＝ｌｐｆ＿ｍ１［−ｘ］＊２−（ｌｐｆ＿ｍ２［−ｘ］＋ｌｐｆ＿ｐ１［−ｘ］）・・・・・（１１）
ｒｅｌ＿ｌｖ２［ｘ］＝ｌｐｆ＿ｐ１［−ｘ＋２ｎ］＊２−（ｌｐｆ＿ｍ１［−ｘ＋２ｎ］＋ｌｐｆ＿ｐ２［−ｘ＋２ｎ］）・・・・・（１２）
【００７７】
図８は、本実施形態のｎ＝１（ｃｏｒ＿ｒ［１］）の場合で、（定義１）に基づき、以下に示す数式（１３）によりｒｅｌ＿ｒｖ［１］を算出する。
【数１】
【００７８】
図９は、本実施形態のｎ＝１（ｃｏｒ＿ｌ［１］）の場合で、（定義１）に基づき、以下に示す数式（１４）によりｒｅｌ＿ｌｖ［１］を算出する。
【数２】
【００７９】
上記数式（７）〜（１４）を上記数式（５）及び（６）に適用してｃｏｒ＿ｒ［１］及びｃｏｒ＿ｌ［１］を算出すると、以下の結果になる。
ｃｏｒ＿ｒ［１］＝０＊３＋（−２５）−（２５＋１００＋２５）＝−１７５
ｃｏｒ＿ｌ［１］＝０＊３＋（−２５）−（０＋５０＋０）＝−７５
【００８０】
したがって、図８及び図９に示した傾き右１の斜め線に対する右斜め方向相関値ｃｏｒ＿ｒ［１］は−１７５となり、左斜め方向相関値ｃｏｒ＿ｌ［１］は−７５となる。
【００８１】
図１０は、本実施形態のｎ＝２（ｃｏｒ＿ｒ［２］）の場合で、（定義１）に基づき、以下に示す数式（１５）によりｒｅｌ＿ｒｖ［２］を算出する。
【数３】
【００８２】
図１１は、本実施形態のｎ＝２（ｃｏｒ＿ｌ［２］）の場合で、（定義１）に基づき、以下に示す数式（１６）によりｒｅｌ＿ｌｖ［２］を算出する。
【数４】
【００８３】
上記数式（７）〜（１２）、（１５）、（１６）を上記数式（５）及び（６）に適用してｃｏｒ＿ｒ［２］及びｃｏｒ＿ｌ［２］を算出すると、以下の結果になる。
ｃｏｒ＿ｒ［２］＝０＊５＋（−２５）−（０＋０＋２５＋０＋０）＝−５０
ｃｏｒ＿ｌ［２］＝０＊５＋（−２５）−（０＋０＋２５＋０＋０）＝−５０
【００８４】
したがって、図１０及び図１１に示した傾き右１の斜め線に対する右斜め方向相関値ｃｏｒ＿ｒ［２］は−５０となり、左斜め方向相関値ｃｏｒ＿ｌ［２］は−５０となる。したがって、ｃｏｒ＿ｖ＝−２５、ｃｏｒ＿ｒ［１］＝−１７５、ｃｏｒ＿ｌ［１］＝−７５、ｃｏｒ＿ｒ［２］＝−５０、ｃｏｒ＿ｌ［２］＝−５０となり、最終相関値はｃｏｒ＿ｒ［１］の−１７５となり、補間値はｃｏｒ＿ｒ［１］で求めた方向の画素の組の平均値（ｍ１［１］＋ｐ１［−１］）／２＝０となり、ジャギーレスの補間値が得られる。
【００８５】
（具体例２）
次に、右斜め方向相関値算出処理及び左斜め方向相関値算出処理の具体例２について図１２〜図１５を参照して説明する。図１２は、右斜め方向相関値算出処理を適用する斜め線の角度が浅い傾き右２の画素配置の一例を示す図である。図１３は、左斜め方向相関値算出処理を適用する斜め線の角度が浅い傾き右２の画素配置の一例を示す図である。図１４は、右斜め方向相関値算出処理を適用する斜め線の角度が浅い傾き右２の画素配置の一例を示す図である。図１５は、左斜め方向相関値算出処理を適用する斜め線の角度が浅い傾き右２の画素配置の一例を示す図である。なお、図１２〜図１５において、四角は相関画素を探索する範囲を示している。
【００８６】
本具体例２では、上記具体例１で説明した数式（１）〜（１６）を用いて同様に垂直方向相関値（ｃｏｒ＿ｖ）、右斜め方向相関値ｃｏｒ＿ｒ［１］，ｃｏｒ＿ｒ［２］及び左斜め方向相関値ｃｏｒ＿ｌ［１］，ｃｏｒ＿ｌ［２］を算出すると、以下の結果になる。
ｃｏｒ＿ｖ＝０−０＝０
ｃｏｒ＿ｒ［１］＝０＊３＋０−（０＋５０＋０）＝−５０
ｃｏｒ＿ｌ［１］＝０＊３＋０−（０＋２５＋０）＝−２５
ｃｏｒ＿ｒ［２］＝０＊３＋０−（０＋５０＋１００＋５０＋０）＝−２００
ｃｏｒ＿ｌ［２］＝０＊３＋０−（０＋２５＋５０＋２５＋０）＝−１００
【００８７】
以上の結果により、ｃｏｒ＿ｖ＝０、ｃｏｒ＿ｒ［１］＝−５０、ｃｏｒ＿ｌ［１］＝−２５、ｃｏｒ＿ｒ［２］＝−２００、ｃｏｒ＿ｌ［２］＝−１００となり、最終相関値はｃｏｒ＿ｒ［２］の−２００となり、補間値はｃｏｒ＿ｒ［２］で求めた方向の画素の組の平均値（ｍ１［２］＋ｐ１［−２］）／２＝０となり、ジャギーレスの補間値が得られる。
【００８８】
（具体例３）
次に、右斜め方向相関値算出処理及び左斜め方向相関値算出処理の具体例３について図１６〜図１９を参照して説明する。図１６は、右斜め方向相関値算出処理を適用する十字線の画素配置の一例を示す図である。図１７は、左斜め方向相関値算出処理を適用する十字線の画素配置の一例を示す図である。図１８は、右斜め方向相関値算出処理を適用する十字線の画素配置の一例を示す図である。図１９は、左斜め方向相関値算出処理を適用する十字線の画素配置の一例を示す図である。なお、図１６〜図１９において、四角は相関画素を探索する範囲を示している。
【００８９】
本具体例３では、上記具体例１で説明した数式（１）〜（１６）を用いて同様に垂直方向相関値（ｃｏｒ＿ｖ）、右斜め方向相関値ｃｏｒ＿ｒ［１］，ｃｏｒ＿ｒ［２］及び左斜め方向相関値ｃｏｒ＿ｌ［１］，ｃｏｒ＿ｌ［２］を算出すると、以下の結果になる。
ｃｏｒ＿ｖ＝１００−０＝１００
ｃｏｒ＿ｒ［１］＝０＊３＋１００−（０＋０＋０）＝１００
ｃｏｒ＿ｌ［１］＝１００＊３＋１００−（０＋０＋０）＝４００
ｃｏｒ＿ｒ［２］＝１００＊３＋１００−（０＋０＋０＋０＋０）＝４００
ｃｏｒ＿ｌ［２］＝１００＊３＋１００−（０＋０＋０＋０＋０）＝４００
【００９０】
以上の結果により、ｃｏｒ＿ｖ＝１００と斜め方向の最小相関値ｃｏｒ＿ｒ［１］＝１００が同一である場合は、垂直方向相関値（ｃｏｒ＿ｖ）を優先して選択し、最終相関値は垂直方向相関値（ｃｏｒ＿ｖ）となる。補間値はｃｏｒ＿ｖで求めた方向の画素の組の平均値（ｍ１［０］＋ｐ１［０］）／２＝５０となり、理想的な補間値が得られる。
【００９１】
（具体例４）
次に、右斜め方向相関値算出処理及び左斜め方向相関値算出処理の具体例４について図２０〜図２３を参照して説明する。図２０は、右斜め方向相関値算出処理を適用する座標を水平方向に＋１移動した十字線の画素配置の一例を示す図である。図２１は、左斜め方向相関値算出処理を適用する座標を水平方向に＋１移動した十字線の画素配置の一例を示す図である。図２２は、右斜め方向相関値算出処理を適用する座標を水平方向に＋１移動した十字線の画素配置の一例を示す図である。図２３は、左斜め方向相関値算出処理を適用する座標を水平方向に＋１移動した十字線の画素配置の一例を示す図である。なお、図２０〜図２３において、四角は相関画素を探索する範囲を示している。
【００９２】
本具体例４では、上記具体例１で説明した数式（１）〜（１６）を用いて同様に垂直方向相関値（ｃｏｒ＿ｖ）、右斜め方向相関値ｃｏｒ＿ｒ［１］，ｃｏｒ＿ｒ［２］及び左斜め方向相関値ｃｏｒ＿ｌ［１］，ｃｏｒ＿ｌ［２］を算出すると、以下の結果になる。
ｃｏｒ＿ｖ＝１００−０＝１００
ｃｏｒ＿ｒ［１］＝０＊３＋１００−（０＋０＋０）＝１００
ｃｏｒ＿ｌ［１］＝１００＊３＋１００−（０＋０＋０）＝４００
ｃｏｒ＿ｒ［２］＝０＊３＋１００−（０＋０＋０＋０＋０）＝１００
ｃｏｒ＿ｌ［２］＝１００＊３＋１００−（０＋０＋０＋０＋０）＝４００
【００９３】
以上の結果により、ｃｏｒ＿ｖ＝１００と斜め方向の最小相関値ｃｏｒ＿ｒ［１］＝１００及びｃｏｒ＿ｒ［２］＝１００が同一であるため、垂直方向相関値（ｃｏｒ＿ｖ）を優先して選択し、最終相関値は垂直方向相関値（ｃｏｒ＿ｖ）となる。補間値はｃｏｒ＿ｖで求めた方向の画素の組の平均値（ｍ１［０］＋ｐ１［０］）／２＝５０となり、理想的な補間値が得られる。
【００９４】
（具体例５）
次に、右斜め方向相関値算出処理及び左斜め方向相関値算出処理の具体例５について図２４〜図２７を参照して説明する。図２４は、右斜め方向相関値算出処理を適用する座標を水平方向に＋２移動した十字線の画素配置の一例を示す図である。図２５は、左斜め方向相関値算出処理を適用する座標を水平方向に＋２移動した十字線の画素配置の一例を示す図である。図２６は、右斜め方向相関値算出処理を適用する座標を水平方向に＋２移動した十字線の画素配置の一例を示す図である。図２７は、左斜め方向相関値算出処理を適用する座標を水平方向に＋２移動した十字線の画素配置の一例を示す図である。なお、図２４〜図２７において、四角は相関画素を探索する範囲を示している。
【００９５】
本具体例５では、上記具体例１で説明した数式（５）〜（２０）を用いて同様に垂直方向相関値（ｃｏｒ＿ｖ）、右斜め方向相関値ｃｏｒ＿ｒ［１］，ｃｏｒ＿ｒ［２］及び左斜め方向相関値ｃｏｒ＿ｌ［１］，ｃｏｒ＿ｌ［２］を算出すると、以下の結果になる。
ｃｏｒ＿ｖ＝０−０＝０
ｃｏｒ＿ｒ［１］＝１００＊３＋０−（０＋０＋０）＝３００
ｃｏｒ＿ｌ［１］＝１００＊３＋０−（０＋０＋０）＝３００
ｃｏｒ＿ｒ［２］＝１００＊３＋０−（０＋０＋０＋０＋０）＝３００
ｃｏｒ＿ｌ［２］＝１００＊３＋０−（０＋０＋０＋０＋０）＝３００
【００９６】
以上の結果により、最終相関値は垂直方向相関値ｃｏｒ＿ｖ＝０となる。補間値はｃｏｒ＿ｖで求めた方向の画素の組の平均値（ｍ１［０］＋ｐ１［０］）／２＝５０となり、ジャギーレスの補間値が得られる。
【００９７】
上記具体例１と具体例２、及び同様の処理結果により斜め線（傾き右１）を補間した結果を図２８に示す。本実施形態の右斜め方向相関値算出処理及び左斜め方向相関値算出処理を斜め線（傾き右１）に適用して補間画素を生成することにより、ジャギーレスの斜め線補間が可能になる。また、上記具体例３、具体例４、具体例５、及び同様の処理結果により十字線を補間した結果を図２９に示す。本実施形態の右斜め方向相関値算出処理及び左斜め方向相関値算出処理を十字線に適用して補間画素を生成することにより、十字線に対しても理想的な補間が可能になる。したがって、本実施形態の画像処理装置１００によれば、斜め線の画素補間性能と十字線の画素補間性能を両立することができる。
【００９８】
ここまでは、ｎ＝１、ｎ＝２までを例に説明してきたが、ｎ＝３以上に拡張する場合は、（１）〜（１２）、（１７）、（１８）を使用すればよい。
【数５】
【数６】
【００９９】
次に、上記画像処理装置１００を利用した液晶表示装置の一例について図３０を参照して説明する。図３０において、液晶表示装置２００は、画像処理装置１００と液晶パネル２０１により構成される。画像処理装置１００は、上述の図１に示したものと同一である。液晶パネル２０１は、薄膜トランジスタ（以下、ＴＦＴという）基板、ＴＦＴ基板に対向して結合されるカラーフィルタ基板及び両基板の間に介在されて液晶等を含む。液晶パネル２０１は、画像処理装置１００からフレーム毎に入力される補間画素により画像を表示する。液晶パネル２０１の解像度が、入力されるフルハイビジョン画像の縦横２倍である場合、画像処理装置１００は、入力されるフルハイビジョン画像を縦横２倍に拡大するように上記画像補間処理を実行する。これにより、拡大後も原画像の品質を保持しつつ、斜め線や十字線にジャギーを生じさせない高品位な画像表示が可能になる。なお、本実施の形態では、画像処理装置を液晶表示装置に用いた場合を示したが、液晶表示装置に限定するものではなく、例えば、ＰＤＰ、有機ＥＬなどの表示装置にも適用可能である。
【０１００】
なお、上記実施形態では、画像処理装置１００は、垂直相関処理部１０１、右斜め相関処理部１０２、左斜め相関処理部１０３及びマルチプレクサ１０４を、Ｙ画素など１系統分だけ備える構成例を示したが、この構成に限定するものではなく、ＲＧＢの画素毎に補間画素を生成するように、垂直相関処理部１０１、右斜め相関処理部１０２、左斜め相関処理部１０３及びマルチプレクサ１０４を３系統備えるようにしてもよい。
【符号の説明】
【０１０１】
１００…画像処理装置
１０１…垂直方向相関処理部
１０２…右斜め相関処理部
１０３…左斜め相関処理部
１０４…マルチプレクサ
２００…液晶表示装置
２０１…液晶パネル
【技術分野】
【０００１】
本発明は、入力された画像を拡大処理し、液晶、ＰＤＰ、有機ＥＬなどのパネルに表示する画像処理装置及び画像処理方法に関する。
【背景技術】
【０００２】
近年、画像の高解像化に伴い、表示装置（液晶、ＰＤＰ、有機ＥＬなど）の表示解像度も高くなっている。但し、ハイビジョン放送などにより放送されるテレビ信号（インターレース信号）等の入力画像は、表示装置の表示解像度に合っていない場合があり、表示装置内で入力画像の解像度を表示解像度まで拡大する必要がある。
【０００３】
しかし、単純に線形補間等の手法で拡大処理してしまうと、輪郭にぼやけが生じたり、斜め線でジャギーが発生したりしてしまう。そこで、入力画像を縦横に拡大する際に、インターレース・プログレッシブ変換（ＩＰ変換）時に用いるフレーム内補間処理を、縦方向及び横方向に適用することにより、斜め方向のエッジが滑らかな補間画素を生成することが可能となる。
【０００４】
Ｉ／Ｐ変換とは、インターレース信号において間引かれている走査線を、各フィールドの情報をそれぞれ用いて補間信号を生成し、プログレッシブ信号に変換するものである。一般に、インターレース方式の画像をプログレッシブ方式の画像に変換する場合、インターレース画像が静止画像である場合には、一方のフィールド走査線を隣接する他方のフィールド走査線の間にはめ込むことにより補間走査線（以下、補間ラインという）を生成するフィールド間補間が行われ、またインターレース画像が動画像である場合には、同一フィールド内の隣接走査線上の画素を用いて補間ラインを生成するフィールド内補間が行われる。
【０００５】
フィールド内の補間処理でインターレースｎラインとインターレースｎ＋１ライン間に補間ラインを生成するにあたっては、補間ライン上の画素Ａとして、その上下の走査線ｎ，ｎ＋１上の画素Ｕ，Ｄを加算して平均値（＝（Ｕ＋Ｄ）／２）を得る方法が簡単である。しかしながら、この上下方向の補間方法を適用した場合、絵柄によっては斜め線がギザギザして見える、いわゆるジャギーが目立つ画像となる場合がある。
【０００６】
また、インターレース画像をプログレッシブ画像に変換する技術として、動き適応型プログレッシブ変換がある。この技術は、画素単位もしくは画素ブロック単位で動き検出を行い、フィールド内補間処理結果とフィールド間補間処理結果を、動き検出結果に応じた混合比で混合処理する、という技術である。動き検出としては、１フレーム間の同一位置の画素同士の信号レベルの差分等から推定する。
【０００７】
しかし、動き適応型プログレッシブ変換処理では、フィールド内補間処理として上下画素平均値を使用すると、垂直方向の解像感が低くなり、斜め線がギザギザに見える問題がある。一方、このような問題を解決する方法として、斜め補間という方法が知られている。斜め補間処理は、補間画素Ａを生成するにあたり、その上下の走査線ｎ，ｎ＋１から、補間ライン上の画素Ａを中心として点対称となる画素のペアを一組選択し、そのペアの画素値の平均値を補間画素値として用いる方法である。
【０００８】
補間方向の選択の方法の例として、ペアの画素間の絶対差分値が最小のものを使用する方法がある。例えば、補間しようとしている画素を中心とする上下及び斜め方向の一対の画素間の差分をとり、多数の斜め差分信号を用いて、斜め相関の高い方向を判定し、補間画素を作成するものである。斜め補間に関する従来技術としては、例えば、特許文献１、特許文献２に記載のものがある。
【０００９】
以上を踏まえて、拡大処理を行なうと、例えば、縦方向に２倍にする場合、まず、補間画素位置を挟むようにした上下の複数ラインから、補間画素位置を中心とした周辺画素を用いて相関値を計算する。次に、その相関値から最適な補間方向を選択し、その補間方向から補間画素値を生成する。これによって、斜め方向に関してはジャギーがなくなる。
【００１０】
また、Ｉ／Ｐ変換で用いられるフィールド内補間処理（縦方向を２倍にする処理）する従来技術として、例えば、特許文献３、特許文献４に記載のものがある。特許文献３に記載された順次走査変換装置では、垂直、斜め方向の相関を算出し、最も相関が高い方向で画素を補間することが提案されている。この順次走査変換装置において実行される補間画素生成処理について図３１〜図３３を参照して説明する。
【００１１】
図３１において、補間画素ｐは、原ライン（ｙライン）及び原ライン（ｙ＋１ライン）の画素間ａ−ｎ、ｂ−ｍ、ｃ−ｌ、ｄ−ｋ、ｅ−ｊ、ｆ−ｉ、ｇ−ｈの差分を求め、これらの画素間の差分のうち最小値の画素の組に基づいて補間画素を生成している。但し、最小値の画素の組が複数存在した場合には、相関する画素の方向を特定できないため、既に処理が終了している隣接画素の補間画素の方向を参照して補間画素の方向を決定している。例えば、図３２に示すような斜め線の入力の場合、図中の画素ｐ３の補間値は、画素の組ｃ−ｌ、ｅ−ｊなどから算出するが、これらの相関値は同じ値（＝０）になり、この情報だけでは画素の組を決定できないため、隣接画素ｐ２の補間方向の結果（ｄ−ｉ）を参照し、相関画素としてｅ−ｊを選択するようにしている。
【００１２】
しかし、この順次走査変換装置では、図３３に示すような十字線の画像が入力された場合、補間画素のｐ０〜ｐ６には誤補間が生じてしまう。すなわち、十字線のように直線が直交している場合には、図中に矢印で示す斜め方向の画素に対する相関が高くなるため、本来、垂直方向に対する補間が望ましい場合にも、斜め方向に画素を補間してしまうという問題がある。
【００１３】
一方、特許文献４に記載された走査線変換装置では、十字線に強い補間方式が提案されている。この走査線変換装置において実行される補間画素生成処理について図３４及び図３５を参照して説明する。例えば、図３４に示すような十字線の入力画像に対して、図３５に示すような理想的な補間が行われている。
【先行技術文献】
【特許文献】
【００１４】
【特許文献１】特開２００３−２３０１０９号公報
【特許文献２】特開２００９−７７２９３号公報
【特許文献３】特開８−１６３５１１号公報
【特許文献４】特開２００３−２３０１０９号公報
【発明の概要】
【発明が解決しようとする課題】
【００１５】
しかし、上記特許文献４に記載された走査線変換装置では、図３６に示すような斜め線の画像が入力された場合、補間画素ｘには画素Ｎ、Ｅ、ｃ、ｈと同じ色の補間値が期待されることに対して、垂直方向（画素Ｄ−ｄ方向）が最も高いと判定し、（Ｄ＋ｄ）／２＝１００の値が出力されて、斜め線がギザギザに見える問題が発生する。すなわち、特許文献４に記載された走査線変換装置では、十字線に対する補間性能と斜め線に対する補間性能を両立することは困難であった。このことは、上記特許文献３に記載された順次走査変換装置においても同様である。
【００１６】
本発明は、上記の問題に鑑み、斜め線の画素補間性能と十字線の画素補間性能を両立する画像処理装置及び画像処理方法提供することを目的とする。
【課題を解決するための手段】
【００１７】
本願発明の一実施形態に係る画像処理装置は、入力画像の拡大処理を実行する画像処理装置であって、前記入力画像のフィールド毎に入力画素に対する上下画素間の相関値、前記入力画素に対する垂直周波数を考慮した上下相関値、及び、前記入力画素に対する上下画素間の補間値を各々算出し、前記上下画素間の相関値及び前記上下相関値に基づいて垂直方向相関値を算出し、前記上下画素間の補間値及び前記垂直方向相関値を出力する垂直相関処理部と、前記入力画素に対する右斜め方向画素間の相関値、前記入力画素に対する水平・垂直周波数を考慮した右斜め方向の相関値、及び、前記入力画素に対する右斜め方向の補間値を各々算出し、前記垂直方向相関値、前記右斜め方向画素間の相関値及び前記水平・垂直周波数を考慮した右斜め方向の相関値に基づいて、右斜め方向に探索する画素数分の複数の右斜め方向相関値を算出し、前記複数の右斜め方向相関値から最小の右斜め方向相関値を選択し、前記最小の右斜め方向相関値に基づいて選択された右斜め方向の最終補間値を出力する右斜め方向相関処理部と、前記入力画素に対する左斜め方向画素間の相関値、前記入力画素に対する水平・垂直周波数を考慮した左斜め方向の相関値、及び、前記入力画素に対する左斜め方向の補間値を各々算出し、前記垂直方向相関値、前記左斜め方向画素間の相関値及び前記水平・垂直周波数を考慮した左斜め方向の相関値に基づいて、左斜め方向に探索する画素数分の複数の左斜め方向相関値を算出し、前記複数の左斜め方向相関値から最小の左斜め方向相関値を選択し、前記最小の左斜め方向相関値に基づいて選択された左斜め方向の最終補間値を出力する左斜め方向相関処理部と、前記最小の右斜め方向相関値及び前記最小の左斜め方向相関値のうち値が小さい方を第１の最小値として選択し、前記第１の最小値に基づいて斜め方向の最終補間値を選択し、前記垂直方向相関値及び前記第１の最小値のうち値が小さい方を最終補間方向とし、前記最終補間方向基づいて前記入力画素に対する補間値を選択する補間値算出処理部と、を備えることを特徴とする。この画像処理装置によれば、斜め線の画素補間性能と十字線の画素補間性能を両立することができ、画像拡大後も原画像の品質を保持しつつ、斜め線や十字線にジャギーを生じさせない高品位な画像表示が可能になる。
【００１８】
また、前記垂直相関処理部は、前記上下画素間の相関値から前記上下相関値を減算して前記垂直方向相関値を算出してもよい。この画像処理装置によれば、原画像に対する垂直方向相関値の精度よく算出することができる。
【００１９】
また、前記右斜め方向相関処理部は、前記右斜め方向画素間の相関値は、前記入力画素に対する補間画素を中心とした点対称の右斜め方向の位置にある原画素間から算出し、前記右斜め方向の相関値は、前記右斜め方向画素間の相関値を算出する右斜め方向の角度に対して平行な位置にある原画素の水平・垂直周波数を考慮して算出し、前記右斜め方向相関値は、前記右斜め方向画素間の相関値に対して当該右斜めの角度に応じた定数を乗算し、当該乗算結果に前記垂直方向相関値を加算し、当該加算結果から前記右斜め方向の相関値を減算して算出してもよい。この画像処理装置によれば、原画像に対する右斜め方向の補間値を精度良く算出することができる。
【００２０】
また、前記左斜め方向相関処理部は、前記左斜め方向画素間の相関値は、前記入力画素に対する補間画素を中心とした点対称の左斜め方向の位置にある原画素間から算出し、前記左斜め方向の相関値は、前記左斜め方向画素間の相関値を算出する左斜め方向の角度に対して平行な位置にある原画素の水平・垂直周波数を考慮して算出し、前記左斜め方向相関値は、前記左斜め方向画素間の相関値に対して当該左斜めの角度に応じた定数を乗算し、当該乗算結果に前記垂直方向相関値を加算し、当該加算結果から前記左斜め方向の相関値を減算して算出してもよい。この画像処理装置によれば、原画像に対する左斜め方向の補間値を精度良く算出することができる。
【００２１】
また、前記右斜め方向相関処理部は、同一の値の前記最小の右斜め方向相関値が複数存在する場合は、垂直方向に近い方の前記最小の右斜め方向相関値に基づき、前記右斜め方向の最終補間値を選択してもよい。
【００２２】
また、前記左斜め方向相関処理部は、同一の値の前記最小の左斜め方向相関値が複数存在する場合は、垂直方向に近い方の前記最小の左斜め方向相関値に基づき、前記右斜め方向の最終補間値を選択してもよい。
【００２３】
また、前記補間値算出処理部は、前記最小の右斜め方向相関値及び前記最小の左斜め方向相関値が同一の値である場合、垂直方向に近い斜め方向の補間値を選択してもよい。前記最小の右斜め方向相関値及び前記最小の左斜め方向相関値が同一の値であり、かつ同一の傾き角度である場合、前記最小の右斜め方向相関値及び前記最小の左斜め方向相関値と相関する複数の画素間の平均値を補間値としてもよい。前記垂直相関値と、前記最小の右斜め方向相関値、もしくは前記最小の左斜め方向相関値が同一の場合、垂直方向の補間値を選択してもよい。
【００２４】
本発明の一実施の形態に係る画像処理方法は、入力画像の拡大処理を実行する画像処理方法において、前記入力画像のフィールド毎に入力画素に対する上下画素間の相関値、前記入力画素に対する垂直周波数を考慮した上下相関値、及び、前記入力画素に対する上下画素間の補間値を各々算出し、前記上下画素間の相関値及び前記上下相関値に基づいて垂直方向相関値を算出し、前記上下画素間の補間値及び前記垂直方向相関値を出力し、前記入力画素に対する右斜め方向画素間の相関値、前記入力画素に対する水平・垂直周波数を考慮した右斜め方向の相関値、及び、前記入力画素に対する右斜め方向の補間値を各々算出し、前記垂直方向相関値、前記右斜め方向画素間の相関値及び前記水平・垂直周波数を考慮した右斜め方向の相関値に基づいて、右斜め方向に探索する画素数分の複数の右斜め方向相関値を算出し、前記複数の右斜め方向相関値から最小の右斜め方向相関値を選択し、前記最小の右斜め方向相関値に基づき右斜め方向の最終補間値を出力し、前記入力画素に対する左斜め方向画素間の相関値、前記入力画素に対する水平・垂直周波数を考慮した左斜め方向の相関値、及び、前記入力画素に対する左斜め方向の補間値を各々算出し、前記垂直方向相関値、前記左斜め方向画素間の相関値及び前記水平・垂直周波数を考慮した左斜め方向の相関値に基づいて、左斜め方向に探索する画素数分の複数の左斜め方向相関値を算出し、前記複数の左斜め方向相関値から最小の左斜め方向相関値を選択し、前記最小の左斜め方向相関値に基づき左斜め方向の最終補間値を出力し、前記最小の右斜め方向相関値及び前記最小の左斜め方向相関値のうち値が小さい方を第１の最小値として選択し、前記垂直方向相関値及び前記第１の最小値のうち値が小さい方を最終補間方向とし、前記最終補間方向に基づいて補間値を出力すること、を含むことを特徴とする。この画像処理方法によれば、斜め線の画素補間性能と十字線の画素補間性能を両立することができ、画像拡大後も原画像の品質を保持しつつ、斜め線や十字線にジャギーを生じさせない高品位な画像表示が可能になる。
【００２５】
また、前記垂直方向相関値は、前記上下画素間の相関値から前記上下相関値を減算して算出してもよい。この画像処理方法によれば、原画像に対する垂直方向相関値の精度よく算出することができる。
【００２６】
また、前記右斜め方向画素間の相関値は、前記入力画素に対する補間画素を中心とした点対称の右斜め方向の位置にある原画素間から算出し、前記右斜め方向の相関値は、前記右斜め方向画素間の相関値を算出する右斜め方向の角度に対して平行な位置にある原画素の水平・垂直周波数を考慮して算出し、前記右斜め方向相関値は、前記右斜め方向画素間の相関値に対して当該右斜めの角度に応じた定数を乗算し、当該乗算結果に前記垂直方向相関値を加算し、当該加算結果から前記右斜め方向の相関値を減算して算出してもよい。この画像処理方法によれば、原画像に対する右斜め方向の補間値を精度良く算出することができる。
【００２７】
また、前記左斜め方向画素間の相関値は、前記入力画素に対する補間画素を中心とした点対称の左斜め方向の位置にある原画素間から算出し、前記左斜め方向の相関値は、前記左斜め方向画素間の相関値を算出する左斜め方向の角度に対して平行な位置にある原画素の水平・垂直周波数を考慮して算出し、前記左斜め方向相関値は、前記左斜め方向画素間の相関値に対して当該左斜めの角度に応じた定数を乗算し、当該乗算結果に前記垂直方向相関値を加算し、当該加算結果から前記左斜め方向の相関値を減算して算出してもよい。この画像処理方法によれば、原画像に対する左斜め方向の補間値を精度良く算出することができる。
【００２８】
また、同一の値の前記最小の右斜め方向相関値が複数存在する場合は、垂直方向に近い方の前記最小の右斜め方向相関値に基づき最終補間値を選択してもよい。
【００２９】
また、同一の値の前記最小の左斜め方向相関値が複数存在する場合は、垂直方向に近い方の前記最小の左斜め方向相関値に基づき最終補間値を選択してもよい。
【００３０】
また、前記最小の右斜め方向相関値及び前記最小の左斜め方向相関値が同一の値である場合、垂直方向に近い斜め方向の補間値を選択してもよい。前記最小の右斜め方向相関値及び前記最小の左斜め方向相関値が同一の値であり、かつ同一の傾き角度である場合、前記最小の右斜め方向相関値及び前記最小の左斜め方向相関値と相関する複数の画素間の平均値を補間値としてもよい。前記垂直相関値と、前記最小の右斜め方向相関値、もしくは前記最小の左斜め方向相関値が同一の場合、垂直方向の補間値を選択してもよい。
【発明の効果】
【００３１】
本発明によれば、斜め線の画素補間性能と十字線の画素補間性能を両立することができ、画像拡大後も原画像の品質を保持しつつ、斜め線や十字線にジャギーを生じさせない高品位な画像表示を可能にする画素補間処理を実現する画像処理装置及び画像処理方法を提供することができる。
【図面の簡単な説明】
【００３２】
【図１】本発明の一実施形態に係る画像処理装置の構成を示すブロック図である。
【図２】図１の垂直相関処理部において実行される垂直方向相関値算出処理の一例を示すフローチャートである。
【図３】入力される原画素の一例を示す図である。
【図４】垂直方向相関値算出処理の対象となる画素の一例を示す図である。
【図５】図１の右斜め相関処理部において実行される右斜め方向相関値算出処理の一例を示すフローチャートである。
【図６】図１の左斜め相関処理部において実行される左斜め方向相関値算出処理の一例を示すフローチャートである。
【図７】図１のマルチプレクサにおいて実行される補間値算出処理の一例を示すフローチャートである。
【図８】具体例１に係る右斜め方向相関値算出処理を適用する斜め線の傾き右１の画素配置の一例を示す図である。
【図９】具体例１に係る左斜め方向相関値算出処理を適用する斜め線の傾き右１の画素配置の一例を示す図である。
【図１０】具体例１に係る右斜め方向相関値算出処理を適用する斜め線の傾き右１の画素配置の一例を示す図である。
【図１１】具体例１に係る左斜め方向相関値算出処理を適用する斜め線の傾き右１の画素配置の一例を示す図である。
【図１２】具体例２に係る右斜め方向相関値算出処理を適用する斜め線の角度が浅い傾き右２の画素配置の一例を示す図である。
【図１３】具体例２に係る左斜め方向相関値算出処理を適用する斜め線の角度が浅い傾き右２の画素配置の一例を示す図である。
【図１４】具体例２に係る右斜め方向相関値算出処理を適用する斜め線の角度が浅い傾き右２の画素配置の一例を示す図である。
【図１５】具体例２に係る左斜め方向相関値算出処理を適用する斜め線の角度が浅い傾き右２の画素配置の一例を示す図である。
【図１６】具体例３に係る右斜め方向相関値算出処理を適用する十字線の画素配置の一例を示す図である。
【図１７】具体例３に係る左斜め方向相関値算出処理を適用する十字線の画素配置の一例を示す図である。
【図１８】具体例３に係る右斜め方向相関値算出処理を適用する十字線の画素配置の一例を示す図である。
【図１９】具体例３に係る左斜め方向相関値算出処理を適用する十字線の画素配置の一例を示す図である。
【図２０】具体例４に係る右斜め方向相関値算出処理を適用する座標を水平方向に＋１移動した十字線の画素配置の一例を示す図である。
【図２１】具体例４に係る左斜め方向相関値算出処理を適用する座標を水平方向に＋１移動した十字線の画素配置の一例を示す図である。
【図２２】具体例４に係る右斜め方向相関値算出処理を適用する座標を水平方向に＋１移動した十字線の画素配置の一例を示す図である。
【図２３】具体例４に係る左斜め方向相関値算出処理を適用する座標を水平方向に＋１移動した十字線の画素配置の一例を示す図である。
【図２４】具体例５に係る右斜め方向相関値算出処理を適用する座標を水平方向に＋２移動した十字線の画素配置の一例を示す図である。
【図２５】具体例５に係る左斜め方向相関値算出処理を適用する座標を水平方向に＋２移動した十字線の画素配置の一例を示す図である。
【図２６】具体例５に係る右斜め方向相関値算出処理を適用する座標を水平方向に＋２移動した十字線の画素配置の一例を示す図である。
【図２７】具体例５に係る左斜め方向相関値算出処理を適用する座標を水平方向に＋２移動した十字線の画素配置の一例を示す図である。
【図２８】具体例１により斜め線（傾き右１）を補間した結果を示す図である。
【図２９】具体例３により十字線を補間した結果を示す図である。
【図３０】図１の画像処理装置を利用した液晶表示装置の概略構成を示すブロック図である。
【図３１】従来のフィールド内補間処理の一例を示す図である。
【図３２】従来の斜め線の入力に対する画素補間処理の一例を示す図である。
【図３３】従来の十字線の入力に対する画素補間処理の一例を示す図である。
【図３４】従来の十字線の入力に対する画素補間処理の一例を示す図である。
【図３５】図３４の十字線の入力に対する画素補間処理の結果を示す図である。
【図３６】従来の斜め線の入力に対する画素補間処理の一例を示す図である。
【発明を実施するための形態】
【００３３】
（発明に至る経緯）
２０１１年７月、現行の地上アナログ放送がデジタル放送に完全移行されることに伴い、放送画質も現行のスタンダード画質からハイビジョン画質への高画質化が本格化する。そのハイビジョンの更なる高画質化を目指して、ＮＨＫ放送技術研究所（以下、ＮＨＫ技研）では、スーパーハイビジョン（以下、ＳＨＶ）放送の実用化へ向けた研究開発が進められている。ＳＨＶとは、次世代テレビ向けフォーマットであり、７６８０×４３２０画素の解像度を持つ超高精細映像のことである。これは、縦横共に現行のフルハイビジョンの４倍で、計１６倍の解像度となる。そこで、ＳＨＶ放送の実用化を想定し、ＳＨＶに対応した表示装置が必要となる。また、これに伴って地上デジタル放送でＳＨＶを放送ないし受信するための技術も開発中である。
【００３４】
しかし、伝送容量を拡大するための技術の向上の必要性や、電波の送受信のためのアンテナも専用のものが必要になるなど、すぐに地上波放送で導入することは難しい。このため、全ての放送が完全にＳＨＶ放送へ移行することは未だ困難であり、過渡期にはフルハイビジョン放送である状況が続くことが予想される。したがって、表示装置が放送フォーマットより高解像度の場合は、表示装置に合わせた映像の拡大処理が必要になる。
【００３５】
このような背景のもと、拡大処理を行なっても原画像の品質を保持した状態で高品位な表示が可能となるような画像の補間処理技術が求められる。
【００３６】
以下、図面を参照して本発明に係る画像処理装置について説明する。ただし、本発明の装置は多くの異なる態様で実施することが可能であり、以下に示す多数の実施の形態の記載内容に限定して解釈されるものではない。
【００３７】
図１は、本発明の一実施形態に係る画像処理装置の構成を示すブロック図である。図１において、画像処理装置１００は、垂直相関処理部１０１と、右斜め相関処理部１０２と、左斜め相関処理部１０３と、マルチプレクサ(補間値算出処理部)１０４と、を有する。画像処理装置１００は、ＲＧＢ画素をＹＵＶ画素に変換し、Ｙ画素を入力画素として補間画素を生成する処理を実行してもよい。この時、ＵとＶの補間値は、以下に示す実施形態の処理結果に関係なく、ＵとＶの入力画素の上下方向（垂直方向）を用い、それぞれ平均値を算出するのでもよい。この場合、画像処理装置１００は、垂直相関処理部１０１、右斜め相関処理部１０２、左斜め相関処理部１０３及びマルチプレクサ１０４をＹ画素に対する１系統分だけ備えればよく、回路規模を縮小することができるとともに、製造コストを低減できる。
【００３８】
垂直相関処理部１０１は、入力画像のフィールド毎に入力画素に対する上下画素間の相関値（ｒｅｌ＿ｖ）、入力画素に対する垂直周波数を考慮した上下相関値（ｒｅｌ＿ｖｖ）、及び、入力画素に対する上下画素間の補間値（ｉｎｔ＿ｖ）を各々算出し、上下画素間の相関値（ｒｅｌ＿ｖ）及び上下相関値（ｒｅｌ＿ｖｖ）に基づいて垂直方向相関値（ｃｏｒ＿ｖ）を算出し、上下画素間の補間値（ｉｎｔ＿ｖ）はマルチプレクサ１０４に出力し、垂直方向相関値（ｃｏｒ＿ｖ）は右斜め相関処理部１０２、左斜め相関処理部１０３及びセマルチプレクサ１０４に出力する。
【００３９】
右斜め相関処理部１０２は、入力画素に対する右斜め方向画素間の相関値（ｒｅｌ＿ｒ［ｎ］、ｎは算出する相関値の位置情報を表しており、例えば、図３を例に説明すると、ｎ＝１の場合は、補間位置に対して右に１傾いたｍ１［１］とｐ１［−１］と、補間位置に対して左に１傾いたｍ１［−１］とｐ１［１］の位置を表し、ｎ＝２の場合は、補間位置に対して右に２傾いたｍ１［２］とｐ１［−２］と、補間位置に対して左に２傾いたｍ１［−２］とｐ１［２］の位置を表す）、入力画素に対する水平・垂直周波数を考慮した右斜め方向の相関値（ｒｅｌ＿ｒｖ［ｎ］）、及び、入力画素に対する右斜め方向の補間値（ｉｎｔ＿ｒ［ｎ］）を各々算出する。続いて、右斜め相関処理部１０２は、上記垂直方向相関値（ｃｏｒ＿ｖ）、右斜め方向画素間の相関値（ｒｅｌ＿ｒ［ｎ］）及び水平・垂直周波数を考慮した右斜め方向の相関値（ｒｅｌ＿ｒｖ［ｎ］）に基づいて、右斜め方向に探索する画素数分の複数の右斜め方向相関値（ｃｏｒ＿ｒ［ｎ］）を算出する。続いて、右斜め相関処理部１０２は、複数の右斜め方向相関値（ｃｏｒ＿ｒ［ｎ］）から最小の右斜め方向相関値（ｍｉｎ＿ｃｏｒ＿ｒ）を選択し、最小の右斜め方向相関値（ｍｉｎ＿ｃｏｒ＿ｒ）に基づき右斜め方向の最終補間値（ｉｎｔ＿ｒ）を選択し、最小の右斜め方向相関値（ｍｉｎ＿ｃｏｒ＿ｒ）及び右斜め方向の最終補間値（ｉｎｔ＿ｒ）及び相関位置情報（ｌｅｎ＿ｒ）をマルチプレクサ１０４に出力する。また、右斜め相関処理部１０２は、同一の値の右斜め方向相関値（ｃｏｒ＿ｒ［ｎ］）が複数存在する場合は、垂直方向に近い方の右斜め方向の最終補間値（ｉｎｔ＿ｒ）及び相関位置情報（ｌｅｎ＿ｒ）を選択する。
【００４０】
左斜め相関処理部１０３は、入力画素に対する左斜め方向画素間の相関値（ｒｅｌ＿ｌ［ｎ］、ｎは中心画素に対して相関する画素を探索する方向の画素数を表す）、入力画素に対する水平・垂直周波数を考慮した左斜め方向の相関値（ｒｅｌ＿ｌｖ［ｎ］）、及び、入力画素に対する右斜め方向の補間値（ｉｎｔ＿ｌ［ｎ］）を各々算出する。続いて、左斜め相関処理部１０３は、上記垂直方向相関値（ｃｏｒ＿ｖ）、左斜め方向画素間の相関値（ｒｅｌ＿ｌ［ｎ］）及び水平・垂直周波数を考慮した左斜め方向の相関値（ｒｅｌ＿ｌｖ［ｎ］）に基づいて、左斜め方向に探索する画素数分の複数の左斜め方向相関値（ｃｏｒ＿ｌ［ｎ］）を算出する。続いて、左斜め相関処理部１０３は、複数の左斜め方向相関値（ｃｏｒ＿ｌ［ｎ］）から最小の左斜め方向相関値（ｍｉｎ＿ｃｏｒ＿ｌ）を選択し、最小の左斜め方向相関値（ｍｉｎ＿ｃｏｒ＿ｌ）に基づき左斜め方向の最終補間値（ｉｎｔ＿ｌ）を選択し、最小の左斜め方向相関値（ｍｉｎ＿ｃｏｒ＿ｌ）及び左斜め方向の最終補間値（ｉｎｔ＿ｌ）及び相関位置情報（ｌｅｎ＿ｌ）をマルチプレクサ１０４に出力する。また、左斜め相関処理部１０３は、同一の値の左斜め方向相関値（ｃｏｒ＿ｌ［ｎ］）が複数存在する場合は、垂直方向に近い方の左斜め方向の最終補間値（ｉｎｔ＿ｌ）及び相関位置情報（ｌｅｎ＿ｌ）を選択する。
【００４１】
マルチプレクサ１０４は、最小の右斜め方向相関値（ｍｉｎ＿ｃｏｒ＿ｒ）及び最小の左斜め方向相関値（ｍｉｎ＿ｃｏｒ＿ｌ）のうち値が小さい方を第１の最小値（ｄｉａ＿ｍｉｎ＿ｃｏｒ）として選択し、第１の最小値（ｄｉａ＿ｍｉｎ＿ｃｏｒ）に基づき最終補間値（ｉｎｔ＿ｄ）を選択する。続いて、マルチプレクサ１０４は、上記垂直方向相関値（ｃｏｒ＿ｖ）及び第１の最小値（ｄｉａ＿ｍｉｎ＿ｃｏｒ）のうち値が小さい方を最終補間方向とし、前記最終補間方向に基づき補間値を出力する。
【００４２】
次に、垂直相関処理部１０１において実行される垂直方向相関値算出処理について図２に示すフローチャートを参照して説明する。また、垂直方向相関値算出処理の具体例について図３及び図４を参照して説明する。
【００４３】
図２において、垂直相関処理部１０１は、画素が入力されると（ステップＳ１０１）、その入力画素に対する上下画素間の相関値（ｒｅｌ＿ｖ）を算出する（ステップＳ１０２）。
【００４４】
ここで、図３及び図４を参照して、上下画素間の相関値（ｒｅｌ＿ｖ）の具体例について説明する。図３は、入力される原画素の一例を示す図であり、中心画素ｍ１［０］，ｍ２［０］，ｐ１［０］，ｐ２［０］に加えて左方向に２ｎ＋１、右方向に２ｎ＋１の原画素をそれぞれ５画素分配置している。ここでは、ｎの最大値が２である場合を示す。左方向の各行に配置された画素は、ｍ１［−１］〜ｍ１［−５］，ｍ２［−１］〜ｍ２［−５］，ｐ１［−１］〜ｐ１［−５］，ｐ２［−１］〜ｐ２［−５］であり、右方向の各行に配置された画素は、ｍ１［１］〜ｍ１［５］，ｍ２［１］〜ｍ２［５］，ｐ１［１］〜ｐ１［５］，ｐ２［１］〜ｐ２［５］である。この場合、左方向の各行に配置された画素には便宜上（−）を付している。また、中心画素ｍ１［０］及びｐ１［０］の間に補間画素が配置されるものとする。また、図４の画素値は、ｍ２［３］，ｍ１［１］，ｐ１［−１］，ｐ２［−３］が０、その他の画素値は１００であるものとする。
【００４５】
上下画素間の相関値（ｒｅｌ＿ｖ）は、以下の数式（１）により算出される。
ｒｅｌ＿ｖ＝｜ｍ１［０］−ｐ１［０］｜・・・・・（１）
この数式（１）により上下画素間の相関値（ｒｅｌ＿ｖ）は０になる。
【００４６】
図２に戻り、次いで、垂直相関処理部１０１は、垂直周波数を考慮した上下相関値（ｒｅｌ＿ｖｖ）として、上下相関値（ｒｅｌ＿ｖｖ１）と上下相関値（ｒｅｌ＿ｖｖ２）を算出する（ステップＳ１０３）。ここで、図４において、上下相関値（ｒｅｌ＿ｖｖ１）は、中心画素ｍ１［０］，ｍ２［０］，ｐ１［０］の各画素値を用いて以下に示す数式（２）により算出され、上下相関値（ｒｅｌ＿ｖｖ２）は中心画素ｍ１［０］，ｐ１［０］，ｐ２［０］の各画素値を用いて以下に示す数式（３）により算出される。
【００４７】
ｒｅｌ＿ｖｖ１＝ｌｐｆ＿ｍ１［０］＊２−（ｌｐｆ＿ｍ２［０］＋ｌｐｆ＿ｐ１［０］）・・・・・（２）
ｒｅｌ＿ｖｖ２＝ｌｐｆ＿ｐ１［０］＊２−（ｌｐｆ＿ｍ１［０］＋ｌｐｆ＿ｐ２［０］）・・・・・（３）
但し、ｌｐｆ＿＊は、水平方向に加重平均した値であり、例えば、図４のｍ１ラインの場合、ｌｐｆ＿ｍ１［Ｘ］＝（ｍ１［Ｘ−１］＋ｍ１［Ｘ］＊２＋ｍ１［Ｘ＋１］）／４となる。
【００４８】
ｒｅｌ＿ｖｖ１＝１５０−１７５＝−２５となり、ｒｅｌ＿ｖｖ２＝１５０−１７５＝−２５となる。ここで、ｍｉｎ（｜Ａ｜，｜Ｂ｜）処理を定義する。前記ｍｉｎ（｜Ａ｜，｜Ｂ｜）処理は、ＡとＢの符号（±）が同じ時、ＡとＢの絶対値が小さい方を選択し、符号（±）が異なる時、０を出力するものとする。・・・・・（定義１）
本実施形態では、すなわち、ｒｅｌ＿ｖｖ＝ｍｉｎ（｜ｒｅｌ＿ｖｖ１｜，｜ｒｅｌ＿ｖｖ２｜）となり、ｒｅｌ＿ｖｖ１とｒｅｌ＿ｖｖ２の符号（±）が同じ時、絶対値の小さい方が選択され、符号（±）が異なる時、ｒｅｌ＿ｖｖ＝０となる。図４の場合、ｒｅｌ＿ｖｖ＝ｍｉｎ（｜ｒｅｌ＿ｖｖ１｜，｜ｒｅｌ＿ｖｖ２｜）＝２５となる。
【００４９】
図２に戻り、次いで、垂直相関処理部１０１は、上下画素間の補間値（ｉｎｔ＿ｖ）を算出する（ステップＳ１０４）。この場合、ｉｎｔ＿ｖ＝（ｍ１［０］＋ｐ１［０］）／２＝１００となる。
【００５０】
次いで、垂直相関処理部１０１は、上下画素間の相関値（ｒｅｌ＿ｖ）と上下相関値（ｒｅｌ＿ｖｖ）を用いて、以下の数式（４）により垂直方向相関値（ｃｏｒ＿ｖ）を算出する（ステップＳ１０５）。
【００５１】
ｃｏｒ＿ｖ＝ｒｅｌ＿ｖ−ｒｅｌ＿ｖｖ＊ｇａｉｎ＿ｖ・・・・・（４）
但し、ｇａｉｎ＿ｖは、外部から設定可能なパラメータであり、以下では１として計算する。
この場合、ｃｏｒ＿ｖ＝０−２５＝−２５となる。
【００５２】
次いで、垂直相関処理部１０１は、算出した垂直方向相関値（ｃｏｒ＿ｖ）及び上下画素間の補間値（ｉｎｔ＿ｖ）をマルチプレクサ１０４に出力して、本処理を終了する。
【００５３】
次に、右斜め相関処理部１０２において実行される右斜め方向相関値算出処理について図５に示すフローチャートを参照して説明する。なお、右斜め方向相関値算出処理の具体例については後述する。
【００５４】
図５において、右斜め相関処理部１０２は、画素が入力されると（ステップＳ２０１）、その入力画素に対する右斜め方向画素間の相関値（ｒｅｌ＿ｒ［ｎ］）を算出する（ステップＳ２０２）。次いで、右斜め相関処理部１０２は、水平・垂直周波数を考慮した右斜め方向の相関値（ｒｅｌ＿ｒｖ［ｎ］）を算出する（ステップＳ２０３）。次いで、右斜め相関処理部１０２は、右斜め方向の補間値（ｉｎｔ＿ｒ［ｎ］）を算出する（ステップＳ２０４）。
【００５５】
次いで、右斜め相関処理部１０２は、右斜め方向画素間の相関値（ｒｅｌ＿ｒ［ｎ］）、右斜め方向の相関値（ｒｅｌ＿ｒｖ［ｎ］）及び垂直方向相関値（ｃｏｒ＿ｖ）を用いて、以下の数式（５）により、右斜め方向に探索する位置情報数［ｎ］分のｎ個の右斜め方向相関値（ｃｏｒ＿ｒ［ｎ］）を算出する（ステップＳ２０５）。
【００５６】
ｃｏｒ＿ｒ［ｎ］＝ｒｅｌ＿ｒ［ｎ］＊（２ｎ＋１）＋ｃｏｒ＿ｖ−ｒｅｌ＿ｒｖ［ｎ］＊ｇａｉｎ＿ｄ・・・・・（５）
但し、ｇａｉｎ＿ｄは、外部から設定可能なパラメータであり、以下では１として計算する。
【００５７】
次いで、右斜め相関処理部１０２は、ｎ個の右斜め方向相関値（ｃｏｒ＿ｒ［ｎ］）の算出結果から最小の右斜め方向相関値（ｍｉｎ＿ｃｏｒ＿ｒ）を選択するが（ステップＳ２０６）、もし、複数の最小値が存在する場合（ステップＳ２０７：ＹＥＳ）、垂直方向に近い相関値の方を選択し、相関位置情報（ｌｅｎ＿ｒ）と最小の右斜め方向相関値（ｍｉｎ＿ｃｏｒ＿ｒ）と最終補間値（ｉｎｔ＿ｒ）をマルチプレクサ１０４に出力する（ステップＳ２０８）。
【００５８】
次いで、右斜め相関処理部１０２は、複数の最小値が存在しない場合（ステップＳ２０７：ＮＯ）、最小の右斜め方向相関値（ｍｉｎ＿ｃｏｒ＿ｒ）に基づき、相関位置情報（ｌｅｎ＿ｒ）と最小の右斜め方向相関値（ｍｉｎ＿ｃｏｒ＿ｒ）と最終補間値（ｉｎｔ＿ｒ）をマルチプレクサ１０４に出力する（ステップＳ２０９）。
【００５９】
次に、左斜め相関処理部１０３において実行される左斜め方向相関値算出処理について図６に示すフローチャートを参照して説明する。なお、左斜め方向相関値算出処理の具体例については後述する。
【００６０】
図６において、左斜め相関処理部１０３は、画素が入力されると（ステップＳ３０１）、その入力画素に対する左斜め方向画素間の相関値（ｒｅｌ＿ｌ［ｎ］）を算出する（ステップＳ３０２）。次いで、左斜め相関処理部１０３は、水平・垂直周波数を考慮した左斜め方向の相関値（ｒｅｌ＿ｌｖ［ｎ］）を算出する（ステップＳ３０３）。次いで、左斜め相関処理部１０３は、左斜め方向の補間値（ｉｎｔ＿ｌ［ｎ］）を算出する（ステップＳ３０４）。
【００６１】
次いで、左斜め相関処理部１０３は、左斜め方向画素間の相関値（ｒｅｌ＿ｌ［ｎ］）、左斜め方向の相関値（ｒｅｌ＿ｌｖ［ｎ］）及び垂直方向相関値（ｃｏｒ＿ｖ）を用いて、以下の数式（６）により、左斜め方向に探索する位置情報数［ｎ］分のｎ個の左斜め方向相関値（ｃｏｒ＿ｌ［ｎ］）を算出する（ステップＳ３０５）。
【００６２】
ｃｏｒ＿ｌ［ｎ］＝ｒｅｌ＿ｌ［ｎ］＊（２ｎ＋１）＋ｃｏｒ＿ｖ−ｒｅｌ＿ｌｖ［ｎ］＊ｇａｉｎ＿ｄ・・・・・（６）
但し、ｇａｉｎ＿ｄは、外部から設定可能なパラメータであり、以下では１として計算する。
【００６３】
次いで、左斜め相関処理部１０３は、ｎ個の左斜め方向相関値（ｃｏｒ＿ｌ［ｎ］）の算出結果から最小の左斜め方向相関値（ｍｉｎ＿ｃｏｒ＿ｌ）を選択するが（ステップＳ３０６）、もし、複数の最小値が存在する場合（ステップＳ３０７：ＹＥＳ）、垂直方向に近い相関値の方を選択し、相関位置情報（ｌｅｎ＿ｌ）と最小の左斜め方向相関値（ｍｉｎ＿ｃｏｒ＿ｌ）と最終補間値（ｉｎｔ＿ｌ）をマルチプレクサ１０４に出力する（ステップＳ３０８）。
【００６４】
次いで、左斜め相関処理部１０３は、複数の最小値が存在しない場合（ステップＳ３０７：ＮＯ）、最小の右斜め方向相関値（ｍｉｎ＿ｃｏｒ＿ｌ）に基づき、相関位置情報（ｌｅｎ＿ｌ）と最小の右斜め方向相関値（ｍｉｎ＿ｃｏｒ＿ｌ）と最終補間値（ｉｎｔ＿ｌ）をマルチプレクサ１０４に出力する（ステップＳ３０９）
【００６５】
次に、マルチプレクサ１０４において実行される補間値算出処理について図７に示すフローチャートを参照して説明する。なお、補間値算出処理の具体例については後述する。
【００６６】
図７において、マルチプレクサ１０４は、右斜め相関処理部１０２及び左斜め相関処理部１０３から入力された最小の右斜め方向相関値（ｍｉｎ＿ｃｏｒ＿ｒ）及び最小の左斜め方向相関値（ｍｉｎ＿ｃｏｒ＿ｌ）から最小値（ｄｉａ＿ｍｉｎ＿ｃｏｒ）を選択するが（ステップＳ４０１）、もし、最小の右斜め方向相関値（ｍｉｎ＿ｃｏｒ＿ｒ）及び最小の左斜め方向相関値（ｍｉｎ＿ｃｏｒ＿ｌ）が同一の場合（ステップＳ４０２：ＹＥＳ）、さらに、右斜め相関処理部１０２及び左斜め相関処理部１０３から入力された相関位置情報（ｌｅｎ＿ｒとｌｅｎ＿ｌ）が同一か確認する（ステップＳ４０５）。この結果、同一でない場合（ステップＳ４０５：ＮＯ）、垂直方向に近い傾きの方を斜め方向の最終補間値（ｉｎｔ＿ｄ）とする（ステップＳ４０６）。
【００６７】
相関位置情報（ｌｅｎ＿ｒとｌｅｎ＿ｌ）も同一の場合（ステップＳ４０５：ＹＥＳ）、右斜め方向の最終補間値（ｉｎｔ＿ｒ）及び左斜め方向の最終補間値（ｉｎｔ＿ｌ）の平均値を斜め方向の最終補間値（ｉｎｔ＿ｄ）とする（ステップＳ４０７）。
【００６８】
最小の右斜め方向相関値（ｍｉｎ＿ｃｏｒ＿ｒ）及び最小の左斜め方向相関値（ｍｉｎ＿ｃｏｒ＿ｌ）の各値が同一でない場合（ステップＳ４０２：ＮＯ）、マルチプレクサ１０４は、最小の右斜め方向相関値（ｍｉｎ＿ｃｏｒ＿ｒ）及び最小の左斜め方向相関値（ｍｉｎ＿ｃｏｒ＿ｌ）のうち値が小さい方を第１の最小値（ｄｉａ＿ｍｉｎ＿ｃｏｒ）として選択する（ステップＳ４０２）。
【００６９】
次いで、マルチプレクサ１０４は、垂直相関処理部１０１から入力された垂直相関値（ｃｏｒ＿ｖ）及び第１の最小値（ｄｉａ＿ｍｉｎ＿ｃｏｒ）のうち値が小さい方を最終補間方向として選択する（ステップＳ４０３）。ただし、ｃｏｒ＿ｖとｄｉａ＿ｍｉｎ＿ｃｏｒが同一の値の場合には、最終補間方向として垂直方向を選択する。
【００７０】
次いで、マルチプレクサ１０４は、ステップＳ４０３の結果に基づき、垂直相関処理部１０１から入力された上下画素間の補間値（ｉｎｔ＿ｖ）、斜め方向の最終補間値（ｉｎｔ＿ｄ）から選択して出力する（ステップＳ４０４）。
【００７１】
（具体例１）
次に、右斜め方向相関値算出処理及び左斜め方向相関値算出処理の具体例１について図８、図９、図１０、図１１を参照して説明する。図８は、右斜め方向相関値算出処理を適用する斜め線の傾き右１の画素配置の一例を示す図である。図９は、左斜め方向相関値算出処理を適用する斜め線の傾き右１の画素配置の一例を示す図である。図１０は、右斜め方向相関値算出処理を適用する斜め線の傾き右１の画素配置の一例を示す図である。図１１は、左斜め方向相関値算出処理を適用する斜め線の傾き右１の画素配置の一例を示す図である。なお、図８、図９、図１０、図１１において、四角は相関画素を探索する範囲を示している。
【００７２】
まず、図８、図９、図１０、図１１を参照して斜め線の傾き右１の画素配置に対して右斜め方向相関値算出処理及び左斜め方向相関値算出処理を実行する具体例を説明する。図８及び図９では、傾き右１の斜め線（原画素ｍ１[１]，ｍ２[３]，ｐ１[−１]，ｐ２[−３]）に対する右斜め方向相関値をｃｏｒ＿ｒ［ｎ］とし、左斜め方向相関値をｃｏｒ＿ｌ［ｎ］とした時、補間画素を中心とした点対称の位置にある原画素間から算出する右斜め方向画素間の相関値をｒｅｌ＿ｒ［ｎ］とし、左斜め方向画素間の相関値をｒｅｌ＿ｌ［ｎ］とする。これらの右斜め方向画素間の相関値及び左斜め方向画素間の相関値を求めている斜めの角度と平行な位置にある画素の水平・垂直周波数を考慮した右斜め方向の相関値をｒｅｌ＿ｒｖ［ｎ］とし、左斜め方向の相関値をｒｅｌ＿ｌｖ［ｎ］とする。この場合、右斜め方向相関値ｃｏｒ＿ｒ［ｎ］及び左斜め方向相関値ｃｏｒ＿ｌ［ｎ］は、補間画素を中心とした点対称の位置にある原画素から算出する右斜め方向画素間の相関値（ｒｅｌ＿ｒ［ｎ］）及び左斜め方向画素間の相関値（ｒｅｌ＿ｌ［ｎ］）に斜めの角度に応じた定数を乗算し、垂直方向相関値（ｃｏｒ＿ｖ）を加算し、右斜め方向相関値及び左斜め方向相関値を求めている斜めの角度と平行な位置の水平・垂直周波数を考慮した右斜め方向の相関値（ｒｅｌ＿ｒｖ［ｎ］）及び左斜め方向の相関値（ｒｅｌ＿ｌｖ［ｎ］）を減算することにより算出する。すなわち、上記数式（５）及び（６）を用いる。
【００７３】
右斜め方向画素間の相関値ｒｅｌ＿ｒ［ｎ］，左斜め方向画素間の相関値ｒｅｌ＿ｒ［ｎ］は以下に示す数式（７）及び（８）により算出される。
【００７４】
ｒｅｌ＿ｒ［ｎ］＝｜ｍ１[ｎ]−ｐ１[−ｎ]｜・・・・・（７）
ｒｅｌ＿ｌ［ｎ］＝｜ｍ１[−ｎ]−ｐ１[ｎ]｜・・・・・（８）
図８及び図９の場合、ｎ＝１のため、ｒｅｌ＿ｒ［１］＝０、ｒｅｌ＿ｌ［１］＝０となる。
【００７５】
また、水平・垂直周波数を考慮した右斜め方向の相関値ｒｅｌ＿ｒｖ［１］，ｒｅｌ＿ｒｖ［２］は以下に示す数式（９）及び（１０）により算出される。また、水平・垂直周波数を考慮した左斜め方向の相関値ｒｅｌ＿ｌｖ［１］，ｒｅｌ＿ｌｖ［２］は以下に示す数式（１１）及び（１２）により算出される。ここで、ｘは水平方向の画素位置を表す変数で、ｘ＝０からｘ＝２ｎまで算出する。例えば、ｎ＝１であればｘ＝０、１、２となり、ｘ＝２であれば、ｘ＝０、１、２、３、４となる。
【００７６】
ｒｅｌ＿ｒｖ１［ｘ］＝ｌｐｆ＿ｍ１［ｘ］＊２−（ｌｐｆ＿ｍ２［ｘ］＋ｌｐｆ＿ｐ１［ｘ］）・・・・・（９）
ｒｅｌ＿ｒｖ２［ｘ］＝ｌｐｆ＿ｐ１［ｘ−２ｎ］＊２−（ｌｐｆ＿ｍ１［ｘ−２ｎ］＋ｌｐｆ＿ｐ２［ｘ−２ｎ］）・・・・・（１０）
ｒｅｌ＿ｌｖ１［ｘ］＝ｌｐｆ＿ｍ１［−ｘ］＊２−（ｌｐｆ＿ｍ２［−ｘ］＋ｌｐｆ＿ｐ１［−ｘ］）・・・・・（１１）
ｒｅｌ＿ｌｖ２［ｘ］＝ｌｐｆ＿ｐ１［−ｘ＋２ｎ］＊２−（ｌｐｆ＿ｍ１［−ｘ＋２ｎ］＋ｌｐｆ＿ｐ２［−ｘ＋２ｎ］）・・・・・（１２）
【００７７】
図８は、本実施形態のｎ＝１（ｃｏｒ＿ｒ［１］）の場合で、（定義１）に基づき、以下に示す数式（１３）によりｒｅｌ＿ｒｖ［１］を算出する。
【数１】
【００７８】
図９は、本実施形態のｎ＝１（ｃｏｒ＿ｌ［１］）の場合で、（定義１）に基づき、以下に示す数式（１４）によりｒｅｌ＿ｌｖ［１］を算出する。
【数２】
【００７９】
上記数式（７）〜（１４）を上記数式（５）及び（６）に適用してｃｏｒ＿ｒ［１］及びｃｏｒ＿ｌ［１］を算出すると、以下の結果になる。
ｃｏｒ＿ｒ［１］＝０＊３＋（−２５）−（２５＋１００＋２５）＝−１７５
ｃｏｒ＿ｌ［１］＝０＊３＋（−２５）−（０＋５０＋０）＝−７５
【００８０】
したがって、図８及び図９に示した傾き右１の斜め線に対する右斜め方向相関値ｃｏｒ＿ｒ［１］は−１７５となり、左斜め方向相関値ｃｏｒ＿ｌ［１］は−７５となる。
【００８１】
図１０は、本実施形態のｎ＝２（ｃｏｒ＿ｒ［２］）の場合で、（定義１）に基づき、以下に示す数式（１５）によりｒｅｌ＿ｒｖ［２］を算出する。
【数３】
【００８２】
図１１は、本実施形態のｎ＝２（ｃｏｒ＿ｌ［２］）の場合で、（定義１）に基づき、以下に示す数式（１６）によりｒｅｌ＿ｌｖ［２］を算出する。
【数４】
【００８３】
上記数式（７）〜（１２）、（１５）、（１６）を上記数式（５）及び（６）に適用してｃｏｒ＿ｒ［２］及びｃｏｒ＿ｌ［２］を算出すると、以下の結果になる。
ｃｏｒ＿ｒ［２］＝０＊５＋（−２５）−（０＋０＋２５＋０＋０）＝−５０
ｃｏｒ＿ｌ［２］＝０＊５＋（−２５）−（０＋０＋２５＋０＋０）＝−５０
【００８４】
したがって、図１０及び図１１に示した傾き右１の斜め線に対する右斜め方向相関値ｃｏｒ＿ｒ［２］は−５０となり、左斜め方向相関値ｃｏｒ＿ｌ［２］は−５０となる。したがって、ｃｏｒ＿ｖ＝−２５、ｃｏｒ＿ｒ［１］＝−１７５、ｃｏｒ＿ｌ［１］＝−７５、ｃｏｒ＿ｒ［２］＝−５０、ｃｏｒ＿ｌ［２］＝−５０となり、最終相関値はｃｏｒ＿ｒ［１］の−１７５となり、補間値はｃｏｒ＿ｒ［１］で求めた方向の画素の組の平均値（ｍ１［１］＋ｐ１［−１］）／２＝０となり、ジャギーレスの補間値が得られる。
【００８５】
（具体例２）
次に、右斜め方向相関値算出処理及び左斜め方向相関値算出処理の具体例２について図１２〜図１５を参照して説明する。図１２は、右斜め方向相関値算出処理を適用する斜め線の角度が浅い傾き右２の画素配置の一例を示す図である。図１３は、左斜め方向相関値算出処理を適用する斜め線の角度が浅い傾き右２の画素配置の一例を示す図である。図１４は、右斜め方向相関値算出処理を適用する斜め線の角度が浅い傾き右２の画素配置の一例を示す図である。図１５は、左斜め方向相関値算出処理を適用する斜め線の角度が浅い傾き右２の画素配置の一例を示す図である。なお、図１２〜図１５において、四角は相関画素を探索する範囲を示している。
【００８６】
本具体例２では、上記具体例１で説明した数式（１）〜（１６）を用いて同様に垂直方向相関値（ｃｏｒ＿ｖ）、右斜め方向相関値ｃｏｒ＿ｒ［１］，ｃｏｒ＿ｒ［２］及び左斜め方向相関値ｃｏｒ＿ｌ［１］，ｃｏｒ＿ｌ［２］を算出すると、以下の結果になる。
ｃｏｒ＿ｖ＝０−０＝０
ｃｏｒ＿ｒ［１］＝０＊３＋０−（０＋５０＋０）＝−５０
ｃｏｒ＿ｌ［１］＝０＊３＋０−（０＋２５＋０）＝−２５
ｃｏｒ＿ｒ［２］＝０＊３＋０−（０＋５０＋１００＋５０＋０）＝−２００
ｃｏｒ＿ｌ［２］＝０＊３＋０−（０＋２５＋５０＋２５＋０）＝−１００
【００８７】
以上の結果により、ｃｏｒ＿ｖ＝０、ｃｏｒ＿ｒ［１］＝−５０、ｃｏｒ＿ｌ［１］＝−２５、ｃｏｒ＿ｒ［２］＝−２００、ｃｏｒ＿ｌ［２］＝−１００となり、最終相関値はｃｏｒ＿ｒ［２］の−２００となり、補間値はｃｏｒ＿ｒ［２］で求めた方向の画素の組の平均値（ｍ１［２］＋ｐ１［−２］）／２＝０となり、ジャギーレスの補間値が得られる。
【００８８】
（具体例３）
次に、右斜め方向相関値算出処理及び左斜め方向相関値算出処理の具体例３について図１６〜図１９を参照して説明する。図１６は、右斜め方向相関値算出処理を適用する十字線の画素配置の一例を示す図である。図１７は、左斜め方向相関値算出処理を適用する十字線の画素配置の一例を示す図である。図１８は、右斜め方向相関値算出処理を適用する十字線の画素配置の一例を示す図である。図１９は、左斜め方向相関値算出処理を適用する十字線の画素配置の一例を示す図である。なお、図１６〜図１９において、四角は相関画素を探索する範囲を示している。
【００８９】
本具体例３では、上記具体例１で説明した数式（１）〜（１６）を用いて同様に垂直方向相関値（ｃｏｒ＿ｖ）、右斜め方向相関値ｃｏｒ＿ｒ［１］，ｃｏｒ＿ｒ［２］及び左斜め方向相関値ｃｏｒ＿ｌ［１］，ｃｏｒ＿ｌ［２］を算出すると、以下の結果になる。
ｃｏｒ＿ｖ＝１００−０＝１００
ｃｏｒ＿ｒ［１］＝０＊３＋１００−（０＋０＋０）＝１００
ｃｏｒ＿ｌ［１］＝１００＊３＋１００−（０＋０＋０）＝４００
ｃｏｒ＿ｒ［２］＝１００＊３＋１００−（０＋０＋０＋０＋０）＝４００
ｃｏｒ＿ｌ［２］＝１００＊３＋１００−（０＋０＋０＋０＋０）＝４００
【００９０】
以上の結果により、ｃｏｒ＿ｖ＝１００と斜め方向の最小相関値ｃｏｒ＿ｒ［１］＝１００が同一である場合は、垂直方向相関値（ｃｏｒ＿ｖ）を優先して選択し、最終相関値は垂直方向相関値（ｃｏｒ＿ｖ）となる。補間値はｃｏｒ＿ｖで求めた方向の画素の組の平均値（ｍ１［０］＋ｐ１［０］）／２＝５０となり、理想的な補間値が得られる。
【００９１】
（具体例４）
次に、右斜め方向相関値算出処理及び左斜め方向相関値算出処理の具体例４について図２０〜図２３を参照して説明する。図２０は、右斜め方向相関値算出処理を適用する座標を水平方向に＋１移動した十字線の画素配置の一例を示す図である。図２１は、左斜め方向相関値算出処理を適用する座標を水平方向に＋１移動した十字線の画素配置の一例を示す図である。図２２は、右斜め方向相関値算出処理を適用する座標を水平方向に＋１移動した十字線の画素配置の一例を示す図である。図２３は、左斜め方向相関値算出処理を適用する座標を水平方向に＋１移動した十字線の画素配置の一例を示す図である。なお、図２０〜図２３において、四角は相関画素を探索する範囲を示している。
【００９２】
本具体例４では、上記具体例１で説明した数式（１）〜（１６）を用いて同様に垂直方向相関値（ｃｏｒ＿ｖ）、右斜め方向相関値ｃｏｒ＿ｒ［１］，ｃｏｒ＿ｒ［２］及び左斜め方向相関値ｃｏｒ＿ｌ［１］，ｃｏｒ＿ｌ［２］を算出すると、以下の結果になる。
ｃｏｒ＿ｖ＝１００−０＝１００
ｃｏｒ＿ｒ［１］＝０＊３＋１００−（０＋０＋０）＝１００
ｃｏｒ＿ｌ［１］＝１００＊３＋１００−（０＋０＋０）＝４００
ｃｏｒ＿ｒ［２］＝０＊３＋１００−（０＋０＋０＋０＋０）＝１００
ｃｏｒ＿ｌ［２］＝１００＊３＋１００−（０＋０＋０＋０＋０）＝４００
【００９３】
以上の結果により、ｃｏｒ＿ｖ＝１００と斜め方向の最小相関値ｃｏｒ＿ｒ［１］＝１００及びｃｏｒ＿ｒ［２］＝１００が同一であるため、垂直方向相関値（ｃｏｒ＿ｖ）を優先して選択し、最終相関値は垂直方向相関値（ｃｏｒ＿ｖ）となる。補間値はｃｏｒ＿ｖで求めた方向の画素の組の平均値（ｍ１［０］＋ｐ１［０］）／２＝５０となり、理想的な補間値が得られる。
【００９４】
（具体例５）
次に、右斜め方向相関値算出処理及び左斜め方向相関値算出処理の具体例５について図２４〜図２７を参照して説明する。図２４は、右斜め方向相関値算出処理を適用する座標を水平方向に＋２移動した十字線の画素配置の一例を示す図である。図２５は、左斜め方向相関値算出処理を適用する座標を水平方向に＋２移動した十字線の画素配置の一例を示す図である。図２６は、右斜め方向相関値算出処理を適用する座標を水平方向に＋２移動した十字線の画素配置の一例を示す図である。図２７は、左斜め方向相関値算出処理を適用する座標を水平方向に＋２移動した十字線の画素配置の一例を示す図である。なお、図２４〜図２７において、四角は相関画素を探索する範囲を示している。
【００９５】
本具体例５では、上記具体例１で説明した数式（５）〜（２０）を用いて同様に垂直方向相関値（ｃｏｒ＿ｖ）、右斜め方向相関値ｃｏｒ＿ｒ［１］，ｃｏｒ＿ｒ［２］及び左斜め方向相関値ｃｏｒ＿ｌ［１］，ｃｏｒ＿ｌ［２］を算出すると、以下の結果になる。
ｃｏｒ＿ｖ＝０−０＝０
ｃｏｒ＿ｒ［１］＝１００＊３＋０−（０＋０＋０）＝３００
ｃｏｒ＿ｌ［１］＝１００＊３＋０−（０＋０＋０）＝３００
ｃｏｒ＿ｒ［２］＝１００＊３＋０−（０＋０＋０＋０＋０）＝３００
ｃｏｒ＿ｌ［２］＝１００＊３＋０−（０＋０＋０＋０＋０）＝３００
【００９６】
以上の結果により、最終相関値は垂直方向相関値ｃｏｒ＿ｖ＝０となる。補間値はｃｏｒ＿ｖで求めた方向の画素の組の平均値（ｍ１［０］＋ｐ１［０］）／２＝５０となり、ジャギーレスの補間値が得られる。
【００９７】
上記具体例１と具体例２、及び同様の処理結果により斜め線（傾き右１）を補間した結果を図２８に示す。本実施形態の右斜め方向相関値算出処理及び左斜め方向相関値算出処理を斜め線（傾き右１）に適用して補間画素を生成することにより、ジャギーレスの斜め線補間が可能になる。また、上記具体例３、具体例４、具体例５、及び同様の処理結果により十字線を補間した結果を図２９に示す。本実施形態の右斜め方向相関値算出処理及び左斜め方向相関値算出処理を十字線に適用して補間画素を生成することにより、十字線に対しても理想的な補間が可能になる。したがって、本実施形態の画像処理装置１００によれば、斜め線の画素補間性能と十字線の画素補間性能を両立することができる。
【００９８】
ここまでは、ｎ＝１、ｎ＝２までを例に説明してきたが、ｎ＝３以上に拡張する場合は、（１）〜（１２）、（１７）、（１８）を使用すればよい。
【数５】
【数６】
【００９９】
次に、上記画像処理装置１００を利用した液晶表示装置の一例について図３０を参照して説明する。図３０において、液晶表示装置２００は、画像処理装置１００と液晶パネル２０１により構成される。画像処理装置１００は、上述の図１に示したものと同一である。液晶パネル２０１は、薄膜トランジスタ（以下、ＴＦＴという）基板、ＴＦＴ基板に対向して結合されるカラーフィルタ基板及び両基板の間に介在されて液晶等を含む。液晶パネル２０１は、画像処理装置１００からフレーム毎に入力される補間画素により画像を表示する。液晶パネル２０１の解像度が、入力されるフルハイビジョン画像の縦横２倍である場合、画像処理装置１００は、入力されるフルハイビジョン画像を縦横２倍に拡大するように上記画像補間処理を実行する。これにより、拡大後も原画像の品質を保持しつつ、斜め線や十字線にジャギーを生じさせない高品位な画像表示が可能になる。なお、本実施の形態では、画像処理装置を液晶表示装置に用いた場合を示したが、液晶表示装置に限定するものではなく、例えば、ＰＤＰ、有機ＥＬなどの表示装置にも適用可能である。
【０１００】
なお、上記実施形態では、画像処理装置１００は、垂直相関処理部１０１、右斜め相関処理部１０２、左斜め相関処理部１０３及びマルチプレクサ１０４を、Ｙ画素など１系統分だけ備える構成例を示したが、この構成に限定するものではなく、ＲＧＢの画素毎に補間画素を生成するように、垂直相関処理部１０１、右斜め相関処理部１０２、左斜め相関処理部１０３及びマルチプレクサ１０４を３系統備えるようにしてもよい。
【符号の説明】
【０１０１】
１００…画像処理装置
１０１…垂直方向相関処理部
１０２…右斜め相関処理部
１０３…左斜め相関処理部
１０４…マルチプレクサ
２００…液晶表示装置
２０１…液晶パネル
【特許請求の範囲】
【請求項１】
入力画像の拡大処理を画像処理装置であって、
前記入力画像のフィールド毎に入力画素に対する上下画素間の相関値、前記入力画素に対する垂直周波数を考慮した上下相関値、及び、前記入力画素に対する上下画素間の補間値を各々算出し、前記上下画素間の相関値及び前記上下相関値に基づいて垂直方向相関値を算出し、前記上下画素間の補間値及び前記垂直方向相関値を出力する垂直相関処理部と、
前記入力画素に対する右斜め方向画素間の相関値、前記入力画素に対する水平・垂直周波数を考慮した右斜め方向の相関値、及び、前記入力画素に対する右斜め方向の補間値を各々算出し、前記垂直方向相関値、前記右斜め方向画素間の相関値及び前記水平・垂直周波数を考慮した右斜め方向の相関値に基づいて、右斜め方向に探索する画素数分の複数の右斜め方向相関値を算出し、前記複数の右斜め方向相関値から最小の右斜め方向相関値を選択し、前記最小の右斜め方向相関値に基づき右斜め方向の最終補間値を出力する右斜め方向相関処理部と、
前記入力画素に対する左斜め方向画素間の相関値、前記入力画素に対する水平・垂直周波数を考慮した左斜め方向の相関値、及び、前記入力画素に対する左斜め方向の補間値を各々算出し、前記垂直方向相関値、前記左斜め方向画素間の相関値及び前記水平・垂直周波数を考慮した左斜め方向の相関値に基づいて、左斜め方向に探索する画素数分の複数の左斜め方向相関値を算出し、前記複数の左斜め方向相関値から最小の左斜め方向相関値を選択し、前記最小の左斜め方向相関値に基づき左斜め方向の最終補間値を出力する左斜め方向相関処理部と、
前記最小の右斜め方向相関値及び前記最小の左斜め方向相関値のうち値が小さい方を第１の最小値として選択し、前記垂直方向相関値及び前記第１の最小値のうち値が小さい方を最終補間方向とし、前記最終補間方向結果に基づき、前記上下画素間の補間値及び前記斜め方向の最終補間値から選択し、補間値を出力する補間値算出処理部と、
を備えることを特徴とする画像処理装置。
【請求項２】
前記垂直相関処理部は、前記上下画素間の相関値から前記上下相関値を減算して前記垂直方向相関値を算出することを特徴とする請求項１記載の画像処理装置。
【請求項３】
前記右斜め方向相関処理部は、
前記右斜め方向画素間の相関値は、前記入力画素に対する補間画素を中心とした点対称の右斜め方向の位置にある原画素間から算出し、
前記右斜め方向の相関値は、前記右斜め方向画素間の相関値を算出する右斜め方向の角度に対して平行な位置にある原画素の水平・垂直周波数を考慮して算出し、
前記右斜め方向相関値は、前記右斜め方向画素間の相関値に対して当該右斜めの角度に応じた定数を乗算し、当該乗算結果に前記垂直方向相関値を加算し、当該加算結果から前記右斜め方向の相関値を減算して算出する、ことを特徴とする請求項１記載の画像処理装置。
【請求項４】
前記左斜め方向相関処理部は、
前記左斜め方向画素間の相関値は、前記入力画素に対する補間画素を中心とした点対称の左斜め方向の位置にある原画素間から算出し、
前記左斜め方向の相関値は、前記左斜め方向画素間の相関値を算出する左斜め方向の角度に対して平行な位置にある原画素の水平・垂直周波数を考慮して算出し、
前記左斜め方向相関値は、前記左斜め方向画素間の相関値に対して当該左斜めの角度に応じた定数を乗算し、当該乗算結果に前記垂直方向相関値を加算し、当該加算結果から前記左斜め方向の相関値を減算して算出する、ことを特徴とする請求項１記載の画像処理装置。
【請求項５】
前記右斜め方向相関処理部は、同一の値の前記最小の右斜め方向相関値が複数存在する場合は、垂直方向に近い方の前記最小の右斜め方向相関値に基づき右斜め方向の最終補間値として選択することを特徴とする請求項１又は３記載の画像処理装置。
【請求項６】
前記左斜め方向相関処理部は、同一の値の前記最小の左斜め方向相関値が複数存在する場合は、垂直方向に近い方の前記最小の左斜め方向相関値に基づき左斜め方向の最終補間値として選択することを特徴とする請求項１又は４記載の画像処理装置。
【請求項７】
前記補間値算出処理部は、前記最小の右斜め方向相関値及び前記最小の左斜め方向相関値が同一の値である場合、前記最小の右斜め方向相関値及び前記最小の左斜め方向相関値から垂直方向に近い傾きの斜め方向相関値を選択し、前記斜め方向相関値に基づき最終補間値を選択することを特徴とする請求項１記載の画像処理装置。
【請求項８】
前記補間値算出処理部は、前記最小の右斜め方向相関値及び前記最小の左斜め方向相関値が同一の値であり、かつ同一の傾き角度である場合、前記最小の右斜め方向相関値及び前記最小の左斜め方向相関値と相関する複数の画素間の平均値を算出し、当該平均値を前記第１の最小値とすることを特徴とする請求項１記載の画像処理装置。
【請求項９】
入力画像の拡大処理を実行する画像処理方法において、
前記入力画像のフィールド毎に入力画素に対する上下画素間の相関値、前記入力画素に対する垂直周波数を考慮した上下相関値、及び、前記入力画素に対する上下画素間の補間値を各々算出し、前記上下画素間の相関値及び前記上下相関値に基づいて垂直方向相関値を算出し、前記上下画素間の補間値及び前記垂直方向相関値を出力し、
前記入力画素に対する右斜め方向画素間の相関値、前記入力画素に対する水平・垂直周波数を考慮した右斜め方向の相関値、及び、前記入力画素に対する右斜め方向の補間値を各々算出し、前記垂直方向相関値、前記右斜め方向画素間の相関値及び前記水平・垂直周波数を考慮した右斜め方向の相関値に基づいて、右斜め方向に探索する画素数分の複数の右斜め方向相関値を算出し、前記複数の右斜め方向相関値から最小の右斜め方向相関値を選択し、前記最小の右斜め方向相関値に基づき右斜め方向の最終補間値を出力し、
前記入力画素に対する左斜め方向画素間の相関値、前記入力画素に対する水平・垂直周波数を考慮した左斜め方向の相関値、及び、前記入力画素に対する左斜め方向の補間値を各々算出し、前記垂直方向相関値、前記左斜め方向画素間の相関値及び前記水平・垂直周波数を考慮した左斜め方向の相関値に基づいて、左斜め方向に探索する画素数分の複数の左斜め方向相関値を算出し、前記複数の左斜め方向相関値から最小の左斜め方向相関値を選択し、前記最小の左斜め方向相関値に基づき左斜め方向の最終補間値を出力し、
前記最小の右斜め方向相関値及び前記最小の左斜め方向相関値のうち値が小さい方を第１の最小値として選択し、前記垂直方向相関値及び前記第１の最小値のうち値が小さい方を最終補間方向とし、前記最終補間方向に基づき、前記上下画素間の補間値及び前記斜め方向の最終補間値から出力補間値を選択すること、を含むことを特徴とする画像処理方法。
【請求項１０】
前記垂直方向相関値は、前記上下画素間の相関値から前記上下相関値を減算して算出すること、を含むことを特徴とする請求項９記載の画像処理方法。
【請求項１１】
前記右斜め方向画素間の相関値は、前記入力画素に対する補間画素を中心とした点対称の右斜め方向の位置にある原画素間から算出し、
前記右斜め方向の相関値は、前記右斜め方向画素間の相関値を算出する右斜め方向の角度に対して平行な位置にある原画素の水平・垂直周波数を考慮して算出し、
前記右斜め方向相関値は、前記右斜め方向画素間の相関値に対して当該右斜めの角度に応じた定数を乗算し、当該乗算結果に前記垂直方向相関値を加算し、当該加算結果から前記右斜め方向の相関値を減算して算出すること、を含むことを特徴とする請求項９記載の画像処理方法。
【請求項１２】
前記左斜め方向画素間の相関値は、前記入力画素に対する補間画素を中心とした点対称の左斜め方向の位置にある原画素間から算出し、
前記左斜め方向の相関値は、前記左斜め方向画素間の相関値を算出する左斜め方向の角度に対して平行な位置にある原画素の水平・垂直周波数を考慮して算出し、
前記左斜め方向相関値は、前記左斜め方向画素間の相関値に対して当該左斜めの角度に応じた定数を乗算し、当該乗算結果に前記垂直方向相関値を加算し、当該加算結果から前記左斜め方向の相関値を減算して算出すること、を含むことを特徴とする請求項９記載の画像処理方法。
【請求項１３】
前記最小の右斜め方向相関値が同一である値が複数存在する場合は、垂直方向に近い方の前記最小の右斜め方向相関値に基づき右斜め方向の最終補間値を選択すること、を含むことを特徴とする請求項９又は１１記載の画像処理方法。
【請求項１４】
前記最小の左斜め方向相関値が同一である値が複数存在する場合は、垂直方向に近い方の前記最小の左斜め方向相関値に基づき右斜め方向の最終補間値を選択すること、を含むことを特徴とする請求項９又は１２記載の画像処理方法。
【請求項１５】
前記最小の右斜め方向相関値及び前記最小の左斜め方向相関値が同一の値である場合、前記最小の右斜め方向相関値及び前記最小の左斜め方向相関値から、垂直方向に近い角度の斜め方向相関値に基づき最終補間値を選択すること、を含むことを特徴とする請求項９記載の画像処理方法。
【請求項１６】
前記最小の右斜め方向相関値及び前記最小の左斜め方向相関値が同一の値であり、かつ同一の傾き角度である場合、前記最小の右斜め方向相関値及び前記最小の左斜め方向相関値と相関する複数の画素間の平均値を算出し、当該平均値を斜め方向の最終補間値とすること、を含むことを特徴とする請求項９記載の画像処理方法。
【請求項１７】
請求項１乃至請求項８記載の何れか一項に記載の画像処理装置を備えることを特徴とする表示装置。
【請求項１】
入力画像の拡大処理を画像処理装置であって、
前記入力画像のフィールド毎に入力画素に対する上下画素間の相関値、前記入力画素に対する垂直周波数を考慮した上下相関値、及び、前記入力画素に対する上下画素間の補間値を各々算出し、前記上下画素間の相関値及び前記上下相関値に基づいて垂直方向相関値を算出し、前記上下画素間の補間値及び前記垂直方向相関値を出力する垂直相関処理部と、
前記入力画素に対する右斜め方向画素間の相関値、前記入力画素に対する水平・垂直周波数を考慮した右斜め方向の相関値、及び、前記入力画素に対する右斜め方向の補間値を各々算出し、前記垂直方向相関値、前記右斜め方向画素間の相関値及び前記水平・垂直周波数を考慮した右斜め方向の相関値に基づいて、右斜め方向に探索する画素数分の複数の右斜め方向相関値を算出し、前記複数の右斜め方向相関値から最小の右斜め方向相関値を選択し、前記最小の右斜め方向相関値に基づき右斜め方向の最終補間値を出力する右斜め方向相関処理部と、
前記入力画素に対する左斜め方向画素間の相関値、前記入力画素に対する水平・垂直周波数を考慮した左斜め方向の相関値、及び、前記入力画素に対する左斜め方向の補間値を各々算出し、前記垂直方向相関値、前記左斜め方向画素間の相関値及び前記水平・垂直周波数を考慮した左斜め方向の相関値に基づいて、左斜め方向に探索する画素数分の複数の左斜め方向相関値を算出し、前記複数の左斜め方向相関値から最小の左斜め方向相関値を選択し、前記最小の左斜め方向相関値に基づき左斜め方向の最終補間値を出力する左斜め方向相関処理部と、
前記最小の右斜め方向相関値及び前記最小の左斜め方向相関値のうち値が小さい方を第１の最小値として選択し、前記垂直方向相関値及び前記第１の最小値のうち値が小さい方を最終補間方向とし、前記最終補間方向結果に基づき、前記上下画素間の補間値及び前記斜め方向の最終補間値から選択し、補間値を出力する補間値算出処理部と、
を備えることを特徴とする画像処理装置。
【請求項２】
前記垂直相関処理部は、前記上下画素間の相関値から前記上下相関値を減算して前記垂直方向相関値を算出することを特徴とする請求項１記載の画像処理装置。
【請求項３】
前記右斜め方向相関処理部は、
前記右斜め方向画素間の相関値は、前記入力画素に対する補間画素を中心とした点対称の右斜め方向の位置にある原画素間から算出し、
前記右斜め方向の相関値は、前記右斜め方向画素間の相関値を算出する右斜め方向の角度に対して平行な位置にある原画素の水平・垂直周波数を考慮して算出し、
前記右斜め方向相関値は、前記右斜め方向画素間の相関値に対して当該右斜めの角度に応じた定数を乗算し、当該乗算結果に前記垂直方向相関値を加算し、当該加算結果から前記右斜め方向の相関値を減算して算出する、ことを特徴とする請求項１記載の画像処理装置。
【請求項４】
前記左斜め方向相関処理部は、
前記左斜め方向画素間の相関値は、前記入力画素に対する補間画素を中心とした点対称の左斜め方向の位置にある原画素間から算出し、
前記左斜め方向の相関値は、前記左斜め方向画素間の相関値を算出する左斜め方向の角度に対して平行な位置にある原画素の水平・垂直周波数を考慮して算出し、
前記左斜め方向相関値は、前記左斜め方向画素間の相関値に対して当該左斜めの角度に応じた定数を乗算し、当該乗算結果に前記垂直方向相関値を加算し、当該加算結果から前記左斜め方向の相関値を減算して算出する、ことを特徴とする請求項１記載の画像処理装置。
【請求項５】
前記右斜め方向相関処理部は、同一の値の前記最小の右斜め方向相関値が複数存在する場合は、垂直方向に近い方の前記最小の右斜め方向相関値に基づき右斜め方向の最終補間値として選択することを特徴とする請求項１又は３記載の画像処理装置。
【請求項６】
前記左斜め方向相関処理部は、同一の値の前記最小の左斜め方向相関値が複数存在する場合は、垂直方向に近い方の前記最小の左斜め方向相関値に基づき左斜め方向の最終補間値として選択することを特徴とする請求項１又は４記載の画像処理装置。
【請求項７】
前記補間値算出処理部は、前記最小の右斜め方向相関値及び前記最小の左斜め方向相関値が同一の値である場合、前記最小の右斜め方向相関値及び前記最小の左斜め方向相関値から垂直方向に近い傾きの斜め方向相関値を選択し、前記斜め方向相関値に基づき最終補間値を選択することを特徴とする請求項１記載の画像処理装置。
【請求項８】
前記補間値算出処理部は、前記最小の右斜め方向相関値及び前記最小の左斜め方向相関値が同一の値であり、かつ同一の傾き角度である場合、前記最小の右斜め方向相関値及び前記最小の左斜め方向相関値と相関する複数の画素間の平均値を算出し、当該平均値を前記第１の最小値とすることを特徴とする請求項１記載の画像処理装置。
【請求項９】
入力画像の拡大処理を実行する画像処理方法において、
前記入力画像のフィールド毎に入力画素に対する上下画素間の相関値、前記入力画素に対する垂直周波数を考慮した上下相関値、及び、前記入力画素に対する上下画素間の補間値を各々算出し、前記上下画素間の相関値及び前記上下相関値に基づいて垂直方向相関値を算出し、前記上下画素間の補間値及び前記垂直方向相関値を出力し、
前記入力画素に対する右斜め方向画素間の相関値、前記入力画素に対する水平・垂直周波数を考慮した右斜め方向の相関値、及び、前記入力画素に対する右斜め方向の補間値を各々算出し、前記垂直方向相関値、前記右斜め方向画素間の相関値及び前記水平・垂直周波数を考慮した右斜め方向の相関値に基づいて、右斜め方向に探索する画素数分の複数の右斜め方向相関値を算出し、前記複数の右斜め方向相関値から最小の右斜め方向相関値を選択し、前記最小の右斜め方向相関値に基づき右斜め方向の最終補間値を出力し、
前記入力画素に対する左斜め方向画素間の相関値、前記入力画素に対する水平・垂直周波数を考慮した左斜め方向の相関値、及び、前記入力画素に対する左斜め方向の補間値を各々算出し、前記垂直方向相関値、前記左斜め方向画素間の相関値及び前記水平・垂直周波数を考慮した左斜め方向の相関値に基づいて、左斜め方向に探索する画素数分の複数の左斜め方向相関値を算出し、前記複数の左斜め方向相関値から最小の左斜め方向相関値を選択し、前記最小の左斜め方向相関値に基づき左斜め方向の最終補間値を出力し、
前記最小の右斜め方向相関値及び前記最小の左斜め方向相関値のうち値が小さい方を第１の最小値として選択し、前記垂直方向相関値及び前記第１の最小値のうち値が小さい方を最終補間方向とし、前記最終補間方向に基づき、前記上下画素間の補間値及び前記斜め方向の最終補間値から出力補間値を選択すること、を含むことを特徴とする画像処理方法。
【請求項１０】
前記垂直方向相関値は、前記上下画素間の相関値から前記上下相関値を減算して算出すること、を含むことを特徴とする請求項９記載の画像処理方法。
【請求項１１】
前記右斜め方向画素間の相関値は、前記入力画素に対する補間画素を中心とした点対称の右斜め方向の位置にある原画素間から算出し、
前記右斜め方向の相関値は、前記右斜め方向画素間の相関値を算出する右斜め方向の角度に対して平行な位置にある原画素の水平・垂直周波数を考慮して算出し、
前記右斜め方向相関値は、前記右斜め方向画素間の相関値に対して当該右斜めの角度に応じた定数を乗算し、当該乗算結果に前記垂直方向相関値を加算し、当該加算結果から前記右斜め方向の相関値を減算して算出すること、を含むことを特徴とする請求項９記載の画像処理方法。
【請求項１２】
前記左斜め方向画素間の相関値は、前記入力画素に対する補間画素を中心とした点対称の左斜め方向の位置にある原画素間から算出し、
前記左斜め方向の相関値は、前記左斜め方向画素間の相関値を算出する左斜め方向の角度に対して平行な位置にある原画素の水平・垂直周波数を考慮して算出し、
前記左斜め方向相関値は、前記左斜め方向画素間の相関値に対して当該左斜めの角度に応じた定数を乗算し、当該乗算結果に前記垂直方向相関値を加算し、当該加算結果から前記左斜め方向の相関値を減算して算出すること、を含むことを特徴とする請求項９記載の画像処理方法。
【請求項１３】
前記最小の右斜め方向相関値が同一である値が複数存在する場合は、垂直方向に近い方の前記最小の右斜め方向相関値に基づき右斜め方向の最終補間値を選択すること、を含むことを特徴とする請求項９又は１１記載の画像処理方法。
【請求項１４】
前記最小の左斜め方向相関値が同一である値が複数存在する場合は、垂直方向に近い方の前記最小の左斜め方向相関値に基づき右斜め方向の最終補間値を選択すること、を含むことを特徴とする請求項９又は１２記載の画像処理方法。
【請求項１５】
前記最小の右斜め方向相関値及び前記最小の左斜め方向相関値が同一の値である場合、前記最小の右斜め方向相関値及び前記最小の左斜め方向相関値から、垂直方向に近い角度の斜め方向相関値に基づき最終補間値を選択すること、を含むことを特徴とする請求項９記載の画像処理方法。
【請求項１６】
前記最小の右斜め方向相関値及び前記最小の左斜め方向相関値が同一の値であり、かつ同一の傾き角度である場合、前記最小の右斜め方向相関値及び前記最小の左斜め方向相関値と相関する複数の画素間の平均値を算出し、当該平均値を斜め方向の最終補間値とすること、を含むことを特徴とする請求項９記載の画像処理方法。
【請求項１７】
請求項１乃至請求項８記載の何れか一項に記載の画像処理装置を備えることを特徴とする表示装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【図２８】
【図２９】
【図３０】
【図３１】
【図３２】
【図３３】
【図３４】
【図３５】
【図３６】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【図２８】
【図２９】
【図３０】
【図３１】
【図３２】
【図３３】
【図３４】
【図３５】
【図３６】
【公開番号】特開２０１２−１３４６１０（Ｐ２０１２−１３４６１０Ａ）
【公開日】平成２４年７月１２日（２０１２．７．１２）
【国際特許分類】
【出願番号】特願２０１０−２８２８６０（Ｐ２０１０−２８２８６０）
【出願日】平成２２年１２月２０日（２０１０．１２．２０）
【出願人】（３９００１９８３９）三星電子株式会社 (8,520)
【氏名又は名称原語表記】Ｓａｍｓｕｎｇ Ｅｌｅｃｔｒｏｎｉｃｓ Ｃｏ．，Ｌｔｄ．
【住所又は居所原語表記】４１６，Ｍａｅｔａｎ−ｄｏｎｇ，Ｙｅｏｎｇｔｏｎｇ−ｇｕ，Ｓｕｗｏｎ−ｓｉ，Ｇｙｅｏｎｇｇｉ−ｄｏ，Ｒｅｐｕｂｌｉｃ ｏｆ Ｋｏｒｅａ
【Ｆターム（参考）】
【公開日】平成２４年７月１２日（２０１２．７．１２）
【国際特許分類】
【出願日】平成２２年１２月２０日（２０１０．１２．２０）
【出願人】（３９００１９８３９）三星電子株式会社 (8,520)
【氏名又は名称原語表記】Ｓａｍｓｕｎｇ Ｅｌｅｃｔｒｏｎｉｃｓ Ｃｏ．，Ｌｔｄ．
【住所又は居所原語表記】４１６，Ｍａｅｔａｎ−ｄｏｎｇ，Ｙｅｏｎｇｔｏｎｇ−ｇｕ，Ｓｕｗｏｎ−ｓｉ，Ｇｙｅｏｎｇｇｉ−ｄｏ，Ｒｅｐｕｂｌｉｃ ｏｆ Ｋｏｒｅａ
【Ｆターム（参考）】
[ Back to top ]