画像処理装置および画像処理方法
【課題】横筋を発生させる低品質アップコンバート素材の検出を精度よく行って画質改善を良好に行う。
【解決手段】アップコンバート素材検出部１３０は、フィールド間画素値差分の総和ΣＶcnとフィールド内画素値差分の総和ΣＶｎとの比に基づいて、入力画像データＶinの低品質アップコンバート素材らしさを検出する。差分Ｖcnは、第１のフィールドの注目画素およびこの注目画素に対して垂直方向に隣接した第２のフィールドの画素の画素データにより求める。差分Ｖｎは、第１のフィールドの注目画素およびこの注目画素に対して垂直方向に隣接したこの第１のフィールドの画素の画素データにより求める。入力画像データＶinが横筋を発生する低品質アップコンバート素材であるとき、ΣＶcnはΣＶｎより大きくなる。画像処理部１２０は、Ｉ／Ｐ変換後の画像データＶo1に対して、アップコンバート素材検出部１３０の検出信号Ｓdetに応じた横筋抑制処理等を行う。
【解決手段】アップコンバート素材検出部１３０は、フィールド間画素値差分の総和ΣＶcnとフィールド内画素値差分の総和ΣＶｎとの比に基づいて、入力画像データＶinの低品質アップコンバート素材らしさを検出する。差分Ｖcnは、第１のフィールドの注目画素およびこの注目画素に対して垂直方向に隣接した第２のフィールドの画素の画素データにより求める。差分Ｖｎは、第１のフィールドの注目画素およびこの注目画素に対して垂直方向に隣接したこの第１のフィールドの画素の画素データにより求める。入力画像データＶinが横筋を発生する低品質アップコンバート素材であるとき、ΣＶcnはΣＶｎより大きくなる。画像処理部１２０は、Ｉ／Ｐ変換後の画像データＶo1に対して、アップコンバート素材検出部１３０の検出信号Ｓdetに応じた横筋抑制処理等を行う。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、画像処理装置および画像処理方法に関し、特に、横筋を発生させる低品質アップコンバート素材に対して画質改善を良好に行い得る画像処理装置等に関する。
【背景技術】
【０００２】
近年、デジタル放送の開始に伴い、ＨＤ（High Definition）解像度の画像データが、放送局などから送信されている。しかし、放送局などから送信される画像データは、全てがＨＤ解像度の画像データではなく、従来のアナログ放送で用いられてきたＳＤ（Standard Definition）解像度の画像データをＨＤ解像度へとアップコンバートさせた擬似的なＨＤ解像度の画像データが含まれる場合がある。
【０００３】
疑似的なＨＤ解像度の画像データとして、インターレース方式のＳＤ解像度の画像データを、インターレース方式のまま、フィールド内線形補間によってアップコンバートされて作成された素材（以下、「低品質アップコンバート素材」という）が含まれる。例えば、４８０ｉの画像データをアップコンバートして得られた１０８０ｉの画像データ、あるいは５７６ｉの画像データをアップコンバートして得られた１０８０ｉの画像データ等がある。
【０００４】
なお、アップコンバート前のインターレース方式のＳＤ解像度の画像データには、１秒間が２４フレームまたは３０フレームのプログレッシブ方式の画像データ（フィルム素材）から２−３プルダウン方式または２−２プルダウン方式によって変換されて作成された画像データも含まれる。
【０００５】
上述の低品質アップコンバート素材の場合、画像表示のためにフィールド間補間によりインターレース方式からプログレッシブ方式に変換すると、垂直方向に輝度差がある部分に横筋が発生するという不都合があった。インターレース方式のＳＤ解像度の画像データを、インターレース方式のまま、フィールド内線形補間によってアップコンバートした場合、あるフィールドとそれに隣接するフィールドとの間で、垂直方向における画素の近さと画素値の近さとが一致しなくなる状態が発生するためである。
【０００６】
例えば、特許文献１には、画像データから複数の周波数帯域の信号を検出し、各周波数帯域の信号振幅に基づいて、アップコンバート素材か否か等の画像判定を行うことが記載されている。また、例えば、特許文献２には、ＨＤ解像度の画像データのサイドパネルの有無によってアップコンバート素材か否かの判定を行うことが記載されている。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２００８− ８５９９３号公報
【特許文献２】特開２００４−２８９７５３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
特許文献１に記載の技術では、低品質アップコンバート素材をインターレース方式からプログレッシブ方式に変換したときに発生する横筋部分を高周波数成分とみなし、低品質アップコンバート素材を通常のＨＤ解像度の画像データであると誤検出するおそれがある。また、特許文献２に記載の技術では、アップコンバート素材の全てにサイドパネルが付加されているわけではなく、サイドパネルのないアップコンバート素材を検出できない。また、この特許文献２に記載の技術では、横筋を発生させる低品質アップコンバート素材とそうではないアップコンバート素材を区別できない。
【０００９】
この発明の目的は、低品質アップコンバート素材の検出を精度よく行って画質改善を良好に行うことにある。
【課題を解決するための手段】
【００１０】
この発明の概念は、
インターレース方式の入力画像データをプログレッシブ方式の画像データに変換するインターレース／プログレッシブ変換部と、
上記インターレース方式の画像データの低品質アップコンバート素材らしさを検出するアップコンバート素材検出部と、
上記インターレース／プログレッシブ変換部で変換されて得られたプログレッシブ方式の画像データに対して上記アップコンバート部材検出部の検出信号に基づいた処理を行って出力画像データを得る画像処理部を備え、
上記アップコンバート素材検出部は、フィールド毎に、連続する第１のフィールドおよび第２のフィールドの画像データを用い、所定領域内の画素を順次注目画素として得られる、上記第１のフィールドの注目画素および該注目画素に対して垂直方向に隣接した上記第２のフィールドの画素の画素データによるフィールド間画素値差分の総和と、上記第１のフィールドの注目画素および該注目画素に対して垂直方向に隣接した該第１のフィールドの画素の画素データによるフィールド内画素値差分の総和との比に基づいて、上記低品質アップコンバート素材らしさを検出する
画像処理装置にある。
【００１１】
この発明において、インターレース／プログレッシブ変換部により、インターレース方式の入力画像データがプログレッシブ方式の画像データに変換される。このインターレース／プログレッシブ変換部で変換されて得られたプログレッシブ方式の画像データは、インターレース方式の入力画像データが上述の低品質アップコンバート素材である場合、垂直方向に輝度差がある部分で横筋を発生させるものとなる。
【００１２】
アップコンバート素材検出部により、インターレース方式の画像データの低品質アップコンバート素材らしさが検出される。上述したように低品質アップコンバート素材の場合、あるフィールドとそれに隣接するフィールドとの間で、垂直方向における画素の近さと画素値の近さとが一致しなくなる状態（以下、適宜、「横筋発生状態」という）が存在する。このアップコンバート素材検出部では、この状態が存在しているか否かを検出する。
【００１３】
このアップコンバート素材検出部では、フィールド毎に、連続する第１のフィールドおよび第２のフィールドの画像データを用いて検出が行われる。まず、所定領域内の画素が順次注目画素とされて、フィールド間画素値差分の総和と、フィールド内画素値差分の総和とが得られる。ここで、フィールド間画素値差分は、第１のフィールドの注目画素およびこの注目画素に対して垂直方向に隣接した第２のフィールドの画素の画素データにより求められる。また、フィールド内画素値差分は、第１のフィールドの注目画素およびこの注目画素に対して垂直方向に隣接したこの第１のフィールドの画素の画素データにより求められる。
【００１４】
インターレース方式の入力画像データが低品質アップコンバート素材であって横筋発生状態が存在しているとき、フィールド間画素値差分の総和はフィールド内画素値差分の総和より大きくなる。アップコンバート素材検出部では、フィールド間画素値差分の総和とフィールド内画素値差分の総和との比に基づいて、低品質アップコンバート素材らしさが検出される。例えば、その比が１より大きな所定の閾値を越えるときは、低品質アップコンバート素材らしさが高いとされる。
【００１５】
画像処理部により、インターレース／プログレッシブ変換部で変換されて得られたプログレッシブ方式の画像データが、アップコンバート部材検出部の検出信号に基づいて処理されて出力画像データが得られる。例えば、インターレース／プログレッシブ変換部で変換されて得られたプログレッシブ方式の画像データおよびこの画像データに垂直方向のローパスフィルタ処理を施して得られた画像データが、アップコンバート素材検出部の検出信号に応じた比率で混合されて出力画像データとされる。
【００１６】
低品質アップコンバート素材らしさが高い場合、ローパスフィルタ処理を施して得られた画像データの混合割合が高くされる。そのため、横筋の表示が抑制される。また、低品質アップコンバート素材らしさが低い場合には、ローパスフィルタ処理を施して得られた画像データの混合割合が低くされる。そのため、ローパスフィルタ処理を施して得られた画像データが必要なく使用されて垂直解像度が低下することが防止される。
【００１７】
このように、この発明においては、横筋発生状態の存在を示すフィールド間画素値差分の総和とフィールド内画素値差分の総和との比に基づいてインターレース方式の入力画像データの低品質アップコンバート素材らしさが検出され、その検出信号に基づいてインターレース／プログレッシブ変換部で変換されて得られたプログレッシブ方式の画像データが処理される。そのため、低品質アップコンバート素材の検出が高精度に行われ、画質改善が良好に行われる。
【００１８】
この発明において、例えば、アップコンバート素材検出部は、フィールド間画素値差分の総和を第１の総和とし、フィールド内画素値差分の総和を第２の総和として、第１の総和と第２の総和との比が所定の閾値を越えるとき第１の判定出力を出力し、この比が所定の閾値以下のとき第２の判定出力を出力するアップコンバート素材判定部と、低品質アップコンバート素材らしさを示す検出信号を出力する検出信号出力部と、フィールド毎に、アップコンバート素材判定部の最新の所定数のフィールドにおける判定出力に、第１の判定出力が所定個数以上含まれているか判断し、所定個数以上含まれているとき検出信号の値を上げ、所定個数以上含まれていないとき検出信号の値を下げるように検出信号出力部を制御する判定安定化部を有する、ようにしてもよい。
【００１９】
この場合、アップコンバート素材判定部の判定出力が第１の判定出力から第２の判定出力に、あるいは第２の判定出力から第１の判定出力に変化したとしても、検出信号出力部から出力される低品質コンバート素材らしさを示す検出信号は急激に変化しない。そのため、例えば、画像処理部において、ローパスフィルタ処理を施して得られた画像データの混合割合が急激に変化することが防止され、画像処理の切り替わりが目立つことを回避できる。
【００２０】
また、この発明において、例えば、フィールド毎に、アップコンバート素材判定部の判定出力の有効性を判定する有効性判定部をさらに有し、判定安定化部は、有効性判定部で有効であると判定されるフィールドに関してはアップコンバート素材判定部から出力される判定出力を使用し、有効性判定部で有効でないと判定されるフィールドに関しては第２の判定出力を使用する、ようにしてもよい。このように、アップコンバート素材判定部の判定出力が有効でないと判定されるとき、その判定出力を使用しないことで、検出信号出力部から出力される低品質アップコンバート素材らしさを示す検出信号の精度を高めることができる。
【００２１】
例えば、インターレース方式の入力画像データが、１秒間が２４フレームまたは３０フレームのプログレッシブ方式の画像データを２−３プルダウン方式または２−２プルダウン方式によって変換して作成されたインターレース方式の画像データであり、第１のフィールドおよび第２のフィールドが同一のフレームの画像データから作成されていない場合、インターレース方式の入力画像データが低品質アップコンバート素材でなくても、フィールド間画素値差分の総和がフィールド内画素値差分の総和より大きくなることがある。
【００２２】
そのため、インターレース方式の入力画像データが、１秒間が２４フレームまたは３０フレームのプログレッシブ方式の画像データを２−３プルダウン方式または２−２プルダウン方式によって変換して作成されたインターレース方式の画像データであるとき、有効性判定部では、第１のフィールドおよび第２のフィールドが同一のフレームの画像データから作成されているフィールドにおいて有効であると判定される。
【００２３】
また、例えば、動画の場合、インターレース方式の入力画像データが低品質アップコンバート素材でなくても、フィールド間画素値差分の総和がフィールド内画素値差分の総和より大きくなることがある。そのため、例えば、インターレース方式の入力画像データが、１秒間が２４フレームまたは３０フレームのプログレッシブ方式の画像データを２−３プルダウン方式または２−２プルダウン方式によって変換して作成されたインターレース方式の画像データでないとき、有効性判定部では、フィールド毎に静止時のフィールドであるか判断され、静止時のフィールドにおいては有効であると判定される。
【００２４】
また、この発明において、例えば、インターレース方式の入力画像データに基づいてシーンチェンジか否かを判定するシーンチェンジ判定部をさらに備え、検出信号出力部は、シーンチェンジ判定部でシーンチェンジであると判定されたとき、検出信号を最小値にリセットする、ようにしてもよい。シーンチェンジがあった場合、素材の切り替わりがある可能性がある。シーンチェンジと判定されたとき検出信号を最小値にリセットすることで、低品質アップコンバート素材でない素材に切り替わった場合に、例えば、画像処理部において、ローパスフィルタ処理を施して得られた画像データの混合を直ちに停止でき、無駄に垂直解像度が劣化されることを回避できる。
【発明の効果】
【００２５】
この発明によれば、横筋発生状態の存在を示すフィールド間画素値差分の総和とフィールド内画素値差分の総和との比に基づいてインターレース方式の入力画像データの低品質アップコンバート素材らしさを検出し、その検出信号に基づいてインターレース／プログレッシブ変換部で変換されて得られたプログレッシブ方式の画像データを処理するものであり、低品質アップコンバート素材の検出を高精度に行って、画質改善を良好に行うことができる。
【図面の簡単な説明】
【００２６】
【図１】実施の形態としての画像処理装置の構成例を示すブロック図である。
【図２】Ｉ／Ｐ変換処理が現在（Next）、１フィールド前（Current）および２フィールド前（Past）の３フィールド分の画像データを用いて行われることを説明する図である。
【図３】Ｉ／Ｐ変換部におけるフィルム素材（２−３プルダウン方式による変換）の検出方法を説明するための図である。
【図４】インターレース方式の入力画像データがフィルム素材である場合のＩ／Ｐ変換方法を説明するための図である。
【図５】インターレース方式の入力画像データがビデオ素材である場合のＩ／Ｐ変換方法を説明するための図である。
【図６】Ｉ／Ｐ変換部における静止画素判定の一例における条件１を説明するための図である。
【図７】Ｉ／Ｐ変換部における静止画素判定の一例における条件２を説明するための図である。
【図８】フィールド間画素値差分Ｖcnおよびフィールド内画素値差分Ｖｎを求める際に使用する画素を示す図である。
【図９】各フィールドにおける画面全体で静止と判定された画素の数（静止画素数）の変化例を示す図である。
【図１０】判定安定化部が出力する制御信号ＳＣの一例（Ｍ＝４、Ｎ＝２）を示す図である。
【図１１】画像処理強度決定部から出力される検出信号Ｓdetの変化例を示す図である。
【図１２】この発明の検出信号Ｓdetの変化例に対する比較例を示す図である。
【図１３】画像処理装置における１フィールド分の処理手順を概略的に示すフローチャートである。
【発明を実施するための形態】
【００２７】
以下、発明を実施するための形態（以下、「実施の形態」とする）について説明する。なお、説明は以下の順序で行う。
１．実施の形態
２．変形例
【００２８】
＜１．実施の形態＞
［画像処理装置の構成］
図１は、画像処理装置１００の構成例を示している。この画像処理装置１００は、Ｉ／Ｐ変換部１１０と、画像処理部１２０と、アップコンバート素材検出部１３０を有している。Ｉ／Ｐ変換部１１０は、インターレース方式の入力画像データＶinを、プログレッシブ方式の画像データＶo1に変換する。ここで、入力画像データＶinは１０８０ｉフォーマットの画像データであり、変換後の画像データは１０８０ｐフォーマットの画像データとなる。
【００２９】
Ｉ／Ｐ変換部１１０は、図２に示すように、現在（Next）、１フィールド前（Current）および２フィールド前（Past）の３フィールド分の画像データを用いて行う。Ｉ／Ｐ変換部１１０に入力される現在（Next）フィールドの画像データは、図示しないフィールドメモリに保存され、過去フィールドの画像データとして使用される。
【００３０】
Ｉ／Ｐ変換部１１０は、入力画像データＶinがビデオ（Video）素材であるかフィルム（Film）素材であるかにより、Ｉ／Ｐ変換の方法を変える。ビデオ素材は元画となるプログレッシブ画像が存在しない。しかし、フィルム素材は元画となるプログレッシブ画像が存在する。Ｉ／Ｐ変換部１１０は、入力画像データＶinがフィルム素材か否かを検出し、フィルム素材であるときはフィルム素材に対するＩＰ変換処理を施し、フィルム素材でないときはビデオ素材に対するＩＰ変換処理を施す。
【００３１】
Ｉ／Ｐ変換部１１０におけるフィルム素材の検出方法を、図３を参照して説明する。この図３は、元画が１秒間に２４枚の画像を持つプログレッシブ画像（２４Ｐ）であり、この元画を２−３プルダウン方式で１秒間に６０枚の画像を持つインターレース画像（６０ｉ）に変換したフィルム素材の検出方法を説明している。
【００３２】
１秒間に２４枚の画像を１秒間に６０枚の画像に変換するため、元画であるプログレッシブ画像の奇数ライン(o)のみと偶数ラインのみ(e)が、２回または３回交互に取り出されている。例えば、プログレッシブ画像（２４Ｐ）のＡフレームから、インターレース画像（６０ｉ）の奇数フィールドＡｏおよび偶数フィールドＡeが生成される。また、プログレッシブ画像（２４Ｐ）のＡフレームに続くＢフレームから、インターレース画像（６０ｉ）の奇数フィールドＢｏ、偶数フィールドＢeおよび奇数フィールドＢｏが生成される。
【００３３】
このようなフィルム素材は、フィールド内補間をするよりも、元画のプログレッシブ画像の同じフレームから取り出された奇数ラインと偶数ラインを組み合わせたほうが、画質が良くなる。そのため、フィルム素材であるということを検出する必要がある。入力画像データＶinがフィルム素材か否かを検出する方法としては、現在（Next）フィールドおよび２フィールド前（Past）のフィールドの間の輝度差分絶対値の和（フレーム差分）の周期をカウントする方法がある。
【００３４】
図３に示すフィルム素材においては、図示のように５フィールド毎にフレーム差分が小さくなり、フィルム素材であることが検出される。すなわち、５フィールド毎に、フレーム差分を得るための現在（Next）フィールドおよび２フィールド前（Past）のフィールドが元画のプログレッシブ画像の同じフレームから生成されたものとなり、フレーム差分が小さくなる。
【００３５】
図４は、フィルム（Film）素材（プログレッシブ画像（２４Ｐ）から変換されたインターレース画像（６０ｉ）のＩ／Ｐ変換の方法を示している。入力画像データＶinが、上述したフィルム素材である場合、１フィールド前（Current）を基準として、現在（Next）および２フィールド前（Past）のどちらかはペアを構成する。つまり、１フィールド前（Current）のフィールドの画像データと、現在（Next）および２フィールド前（Past）のどちらかのフィールドの画像データとは、元画のプログレッシブ画像の同一のフレームから取り出されたものとなっている。
【００３６】
Ｉ／Ｐ変換部１１０は、フィルム素材のＩ／Ｐ変換においては、各Current時制のフィールドで、ペアを構成する２つのフィールドの奇数ラインおよび偶数ラインを組み合わせるプルダウン逆変換を行って、フレーム画像データを生成する。Ｉ／Ｐ変換部１１０は、例えば、１フィールド前（Current）および現在（Next）のフィールドの間の輝度差分絶対値の和（フィールド差分）を用いて、現在（Next）および２フィールド前（Past）のどちらがペアを構成しているか判定する。
【００３７】
この場合、Ｉ／Ｐ変換部１１０は、フィールド差分が大きいときは２フィールド前（Past）のフィールドがペアであると判定し、一方フィールド差分が小さいときは現在（Next）のフィールドがペアであると判定する。Ｉ／Ｐ変換部１１０は、入力画像データＶinがフィルム素材である場合、各フィールドにおいて、ペア判定情報ＰＩを、アップコンバート素材検出部１３０に送る。
【００３８】
例えば、図４において、Current時制がＡｅフィールドであるとき、このＡｅフィールドと１フィールド前（Current）のＡｏフィールドはペアを構成している。この場合、ＡｏフィールドおよびＡｅフィールドの各ラインの組み合わせにより、プログレッシブ画像（６０Ｐ）を構成するＡフレームの画像データが生成される。また、例えば、図４において、Current時制がＦｏフィールドであるとき、このＦｏフィールドと現在（Next）フィールドのＦｅフィールドはペアを構成している。この場合、ＦｏフィールドおよびＦｅフィールドの各ラインの組み合わせにより、プログレッシブ画像（６０Ｐ）を構成するＦフレームの画像データが生成される。
【００３９】
ビデオ（Video）素材のＩＰ変換の方法を説明する。Ｉ／Ｐ変換部１１０は、フィールド間補間もしくはフィールド内補間により、Current時制の補間画素データを作成する。フィールド間補間では、現在（Next）および２フィールド前（Past）のフィールドの実画素データを用いる。フィールド内補間では、１フィールド前（Current）の実画素データを用いる。Ｉ／Ｐ変換部１１０は、Current時制の補間画素データラインを、Current時制の実画素データラインと組み合わせることで、プログレッシブ方式の画像データを生成する。
【００４０】
Ｉ／Ｐ変換部１１０は、１フィールド前（Current）のフィールドの補間位置に対応する、画像の動きを検出する。この場合、現在（Next）フィールドおよび２フィールド前（Past）のフィールドの実画素データ、あるいはさらにその周辺の実画素データを用い、フレーム間での輝度差分絶対値あるいはその総和を閾値と比較して、画像の動きを検出する。
【００４１】
Ｉ／Ｐ変換部１１０は、差分絶対値あるいはその総和が閾値より小さく、画像が静止していると判定する場合、線形演算でフィールド間補間をする。この場合、図５（ａ）のように、補間位置に対応する現在（Next）および２フィールド前（Past）のフィールドの実画素データを用いる。一方、Ｉ／Ｐ変換部１１０は、差分絶対値あるいはその総和が閾値より大きく、画像が動いていると判定する場合、図５（b-1）のように、補間位置の上下もしくはその周囲の画素の線形演算でフィールド内補間をする。
【００４２】
なお、Ｉ／Ｐ変換部１１０は、図５（b-2）のように、現在（Next）および２フィールド前（Past）のフィールド間の動き（動きベクトル）が正確に求められるとき、動いている場合でも動きの方向と大きさから推定してフィールド間補間を行うこともある。図５（b-1）のような方法を動き適応型Ｉ／Ｐ変換、図５（b-2）のような方法を動き補償型Ｉ／Ｐ変換等と呼ぶ。低品質アップコンバート素材が問題となるのは、図５（ａ）の静止時のＩ／Ｐ変換である。
【００４３】
ここで、図６、図７を参照して、Ｉ／Ｐ変換部１１０における静止画素判定の一例を説明する。この静止画素判定は、補間方法を決定するための１つの材料で、この結果のみを用いてフィールド間補間を行うよう決定するものではない。静止画素判定は２つの条件によって行われる。
【００４４】
第１の条件を説明する。図６に示すように、１フィールド前（Current）のフィールドの静止画素判定の画素位置と、その上下２ラインまでの画素位置に対応する５か所における輝度差分絶対値abs(N-P)を計算する。この輝度差分絶対値abs(N-P)は、現在（Next）および２フィールド前（Past）のフィールドの間の輝度差分絶対値である。その５つの値が全て閾値Ｔｈ１より小さい場合、条件１が成立しているとする。どれか１つの値でも閾値Ｔｈ１に達した場合、条件１は不成立とする。
【００４５】
第２の条件を説明する。図７に示すように、１フィールド前（Current）のフィールドの静止画素判定の画素位置より左側と右側の５×５画素について、それぞれ現在（Next）および２フィールド前（Past）のフィールドの間の輝度差分絶対値の総和を計算する。図において、左側の輝度差分絶対値の総和はΣ(abs(Nl-Pl))であり、右側の輝度差分絶対値の総和はΣ(abs(Nr-Pr))である。２つの差分絶対値和がいずれも閾値Ｔｈ２（条件１に用いる閾値Ｔｈ１とは別に設定可能）より小さかった場合、条件２が成立しているとする。
【００４６】
Ｉ／Ｐ変換部１１０は、条件１および条件２がどちらも成立している場合、１フィールド前（Current）のフィールドの静止画素判定の画素は静止と判定する。Ｉ／Ｐ変換部１１０は、同様の処理を１フィールド前（Current）のフィールドのすべての補間画素位置で繰り返し行う。Ｉ／Ｐ変換部１１０は、入力画像データＶinがビデオ素材である場合、各フィールドにおいて、画面全体で静止と判定された画素の数を取得し、その数情報ＭＩを、アップコンバート素材検出部１３０に送る。
【００４７】
図１に戻って、アップコンバート素材検出部１３０は、インターレース方式の入力画像データＶinの低品質アップコンバート素材らしさを検出する。このアップコンバート素材検出部１３０は、アップコンバート素材判定部（アップコン判定部）１３１と、有効性判定部１３２と、アンド回路１３３と、判定安定化部１３４と、画像処理強度決定部１３５を有している。
【００４８】
アップコンバート素材判定部１３１は、フィールド毎に、インターレース方式の入力画像データＶinが低品質アップコンバート素材であるか否かを判定する。アップコンバート素材判定部１３１は、現在（Next）および１フィールド前（Current）の２フィールドの画像データを用いて判定する。
【００４９】
アップコンバート素材判定部１３１は、画面内の所定領域内の画素を順次注目画素として得られるフィールド間画素値差分の総和とフィールド内画素値差分の総和との比に基づいて、入力画像データＶinが低品質アップコンバート素材であるか否かを判定する。画面内の所定領域としては、例えば、文字情報がオーバーレイされている可能性がある下側領域等が除かれるように設定される。文字情報は、アップコンバート後にオーバーレイされる場合もある。この場合、文字情報の重畳領域には元々ＨＤ解像度の画像データが重畳されるため、文字情報の重畳領域を除かないと、インターレース方式の入力画像データＶinの低品質アップコンバート素材であるか否かの判定を誤るおそれがある。
【００５０】
フィールド間画素値差分Ｖcnは、図８に示すように、現在（Next）のフィールドの注目画素Ｃおよびこの注目画素Ｃに対して垂直方向に隣接した１フィールド前（Current）のフィールドの画素Ｂ，Ｄのデータにより、以下の（１）式により求められる。なお、この（１）式において、Ｂ，Ｃ，Ｄは、それぞれ、画素Ｂ，Ｃ，Ｄの画素値（画素データ）を表している。
Ｖcn＝abs（Ｂ＋Ｄ−２Ｃ） ・・・（１）
【００５１】
また、フィールド内画素値差分Ｖｎは、図８に示すように、現在（Next）のフィールドの注目画素Ｃおよびこの注目画素Ｃに対して垂直方向に隣接した現在（Next）のフィールドの画素Ａ，Ｅのデータにより、以下の（２）式により求められる。なお、この（２）式において、Ａ，Ｃ，Ｅは、それぞれ、画素Ａ，Ｃ，Ｅの画素値を表している。
Ｖｎ＝abs（Ａ＋Ｅ−２Ｃ） ・・・（２）
【００５２】
アップコンバート素材判定部１３１は、フィールド間画素値差分の総和ΣＶcnとフィールド内画素値差分の総和ΣＶｎとの比ΣＶcn／ΣＶｎを閾値Ｔｈａと比較する。そして、アップコンバート素材判定部１３１は、その比較結果に基づいて、インターレース方式の入力画像データＶinが低品質アップコンバート素材であるか否かを判定する。低品質アップコンバート素材の場合、あるフィールドとそれに隣接するフィールドとの間で、垂直方向における画素の近さと画素値の近さとが一致しなくなる、横筋発生状態が存在する。
【００５３】
このように横筋発生状態が存在しているとき、フィールド間画素値差分の総和ΣＶcnはフィールド内画素値差分の総和ΣＶｎより大きくなる。そのため、比ΣＶcn／ΣＶｎは、１より大きくなる。閾値Ｔｈａは、１より大きな所定の値に設定される。アップコンバート素材判定部１３１は、比ΣＶcn／ΣＶｎが閾値Ｔｈａを越えるとき、インターレース方式の入力画像データＶinが低品質アップコンバート素材であると判定し、高レベルの信号「１」を出力する。また、アップコンバート素材判定部１３１は、比ΣＶcn／ΣＶｎが閾値Ｔｈａ以下のとき、インターレース方式の入力画像データＶinが低品質アップコンバート素材でないと判定し、低レベルの信号「１」を出力する。
【００５４】
アップコンバート素材判定部１３１は、フィールド間画素値差分の総和ΣＶcnの演算と、フィールド内画素値差分の総和ΣＶｎの演算を自身で行うこともできる。しかし、この実施の形態において、フィールド間画素値差分の総和ΣＶcnの演算と、フィールド内画素値差分の総和ΣＶｎの演算は、上述したＩ／Ｐ変換部１１０で行われる。アップコンバート素材判定部１３１は、Ｉ／Ｐ変換部１１０から、総和ΣＶcn，ΣＶｎを受け取り、比ΣＶcn／ΣＶｎを計算し、上述したように閾値Ｔｈａと比較して判定を行う。
【００５５】
有効性判定部１３２は、フィールド毎に、上述のアップコンバート素材判定部１３１の判定出力の有効性を判定する。例えば、入力画像データＶinが上述のフィルム（Film）素材である場合、この入力画像データＶinが低品質アップコンバート素材でなくても、フィールド間画素値差分の総和ΣＶcnがフィールド内画素値差分の総和ΣＶｎより大きくなることがある。
【００５６】
上述したように、総和ΣＶcn，ΣＶｎは、現在（Next）および１フィールド前（Current）の２フィールドの画像データを用いて算出される。この２フィールドがペアを構成していない場合（図４のCurrent時制がＡｅフィールドの場合参照）、入力画像データＶinが低品質アップコンバート素材でなくても、ΣＶcn＞ΣＶｎとなることがある。
【００５７】
入力画像データＶinがフィルム（Film）素材である場合、有効性判定部１３２には、上述したように、Ｉ／Ｐ変換部１１０から、各フィールドにおいて、ペア判定情報ＰＩが送られてくる。このペア情報ＰＩは、現在（Next）および２フィールド前（Past）のどちらのフィールドが、１フィールド前（Current）のフィールドとペアを構成するかを示している。
【００５８】
そのため、有効性判定部１３２は、入力画像データＶinがフィルム（Film）素材である場合、フィールド毎に、ペア判定情報ＰＩに基づいて、上述のアップコンバート素材判定部１３１の判定出力の有効性を判定する。この場合、有効性判定部１３２は、現在（Next）のフィールドがペアを構成するとき、有効と判定し、判定出力として高レベルの信号「１」を出力する。また、有効性判定部１３２は、２フィールド前（Past）のフィールドがペアを構成するとき、判定出力を行わない。
【００５９】
また、例えば、入力画像データＶinが上述のビデオ（Video）素材である場合、この入力画像データＶinが低品質アップコンバート素材でなくても、フィールド間画素値差分の総和ΣＶcnがフィールド内画素値差分の総和ΣＶｎより大きくなることがある。上述したように、総和ΣＶcn，ΣＶｎは、現在（Next）および１フィールド前（Current）の２フィールドの画像データを用いて算出される。各フィールドの画像に動きがある動き時の場合、入力画像データＶinが低品質アップコンバート素材でなくても、ΣＶcn＞ΣＶｎとなることがある。
【００６０】
入力画像データＶinがビデオ（Video）素材である場合、有効性判定部１３２には、上述したように、Ｉ／Ｐ変換部１１０から、各フィールドにおいて、画面全体で静止と判定された画素の数を示す数情報ＭＩが送られてくる。そのため、有効性判定部１３２は、入力画像データＶinがビデオ（Video）素材である場合、フィールド毎に、数情報ＭＩに基づいて、上述のアップコンバート素材判定部１３１の判定出力の有効性を判定する。この場合、有効性判定部１３２は、画面全体で静止と判定された画素の数が所定の閾値Ｔｈｂを越えるとき、有効と判定し、判定出力として高レベルの信号「１」を出力する。また、有効性判定部１３２は、画面全体で静止と判定された画素の数が所定の閾値Ｔｈｂ以下のとき、無効と判定し、判定出力として低レベルの信号「０」を出力する。
【００６１】
なお、閾値Ｔｈｂは、例えば、画面全体の画素の数の８０％程度に設定される。図９は、各フィールドにおける画面全体で静止と判定された画素の数（静止画素数）の変化例を示している。また、この図９において、Ｔｈｂ＝５２６５０であり、静止画素数が５２６５０を越えるフィールドでは、有効と判定される。
【００６２】
アンド回路１３３は、上述のアップコンバート素材判定部１３１の判定出力と、上述の有効性判定部１３２の判定出力の、論理積をとる。すなわち、このアンド回路１３３には、アップコンバート素材判定部１３１および有効性判定部１３２の判定出力が入力される。このアンド回路１３３は、有効性判定部１３２で有効と判定されるフィールドでは、その判定出力が高レベルの信号「１」となることから、アップコンバート素材判定部１３１の判定出力をそのまま出力する。また、このアンド回路１３３は、有効性判定部１３２で無効と判定されるフィールドでは、その判定出力が低レベルの信号「０」となることから、アップコンバート素材判定部１３１の判定出力によらず、低レベルの信号「０」を出力する。
【００６３】
画像処理強度決定部１３５は、インターレース方式の入力画像データＶinの低品質アップコンバート素材らしさを示す検出信号Ｓdetを出力する。この実施の形態において、検出信号Ｓdetは、０〜１６の範囲で変化し、値が大きいほど低品質アップコンバート素材らしさが高いことを示す。この画像処理強度決定部１３５は、検出信号出力部を構成している。
【００６４】
画像処理強度決定部１３５は、判定安定化部１３４からフィールド毎に供給される制御信号ＳＣに応じて、検出信号Ｓdetの値を変化させる。すなわち、画像処理強度決定部１３５は、判定安定化部１３４から検出信号Ｓdetの値を上げるように制御する制御信号ＳＣが供給されるとき、検出信号Ｓdetの値を、１ステップだけ大きくする。この場合、検出信号Ｓdetの値が最大値である「１６」にあるときは、その値を保持する。また、画像処理強度決定部１３５は、判定安定化部１３４から検出信号Ｓdetの値を下げるように制御する制御信号ＳＣが供給されるとき、検出信号Ｓdetの値を、１ステップだけ小さくする。この場合、検出信号Ｓdetの値が最小値である「０」にあるときは、その値を保持する。
【００６５】
判定安定化部１３４は、アンド回路１３３の出力に基づいて、アンド回路１３３の出力が確定する毎、すなわち入力画像データＶinがフィルム（Film）素材である場合は現在（Next）のフィールドがペアを構成することとなるフィールド毎、入力画像データＶinがビデオ（Video）素材である場合はフィールド毎に、画像処理強度決定部１３５における検出信号Ｓdetの値を制御する制御信号ＳＣを出力する。
【００６６】
判定安定化部１３４は、フィールド毎に、アンド回路１３３の最新の所定数Ｍのフィールドにおける出力に、高レベルの信号「１」が所定個数Ｎ以上含まれているか判断する。そして、判定安定化部１３４は、高レベルの信号「１」が所定個数Ｎ以上含まれているときは、検出信号Ｓdetの値を上げるように制御する制御信号ＳＣを出力する。また、判定安定化部１３４は、高レベルの信号「１」が所定個数Ｎ以上含まれていないときは、検出信号Ｓdetの値を下げるように制御する制御信号ＳＣを出力する。
【００６７】
図１０は、例えば、入力画像データＶinがビデオ（Video）素材であり、Ｍ＝４、Ｎ＝２に設定された場合において、判定安定化部１３４が出力する制御信号ＳＣの一例を示している。例えば、フィールド（ｉ−４）では、最新の４フィールド内に高レベルの信号「１」が３個含まれている。そのため、判定安定化部１３４は、検出信号Ｓdetの値を上げるように制御する制御信号ＳＣを出力する。また、例えば、フィールドｉでは、最新の４フィールド内に高レベルの信号「１」が１個含まれている。そのため、判定安定化部１３４は、検出信号Ｓdetの値を下げるように制御する制御信号ＳＣを出力する。
【００６８】
図１１は、画像処理強度決定部１３５から出力される検出信号Ｓdetの変化例を示している。上述したように検出信号Ｓdetの値は、判定安定化部１３４からの制御信号ＳＣにより制御されるので、その値は急激には変化しない。なお、図１２は、図１１の例の場合とアンド回路１３３の出力が同じ場合における比較例を示している。この例は、アンド回路１３３の出力が高レベルの信号「１」のとき検出信号Ｓdetを最大値「１６」とし、その出力が低レベルの信号「０」のとき検出信号Ｓdetを最小値「０」とする例である。この例の場合検出信号Ｓdetの値は、「０」から「１６」に、あるいは「１６」から「０」に急激に変化する。
【００６９】
上述していないが、Ｉ／Ｐ変換部１１０は、シーチェンジ判定部１１１を有している。このシーンチェンジ判定部１１１は、フィールド毎に、インターレース方式の入力画像データＶinに基づいて、シーンチェンジか否かを判定する。シーチェンジ判定部１１１は、例えば、現在（Next）および２フィールド前（Past）２フィールドの画像データを用いて判定する。このシーチェンジ判定部１１１は、例えば、現在（Next）フィールドおよび２フィールド前（Past）のフィールドの間の輝度差分絶対値の和が所定の閾値を越えるとき、シーンチェンジであると判定する。
【００７０】
このシーチェンジ判定部１１１の判定出力ＣＩは、アップコンバート素材検出部１３０の画像処理強度決定部１３５に送られる。画像処理強度決定部１３５は、判定出力ＣＩに基づいて、シーンチェンジであるとき、検出信号Ｓdetの値を「０」にリセットする。シーンチェンジがあった場合、素材の切り替わり、すなわち、低品質アップコンバート素材からそうでない素材への切り替わりの可能性があるからである。
【００７１】
画像処理部１２０は、Ｉ／Ｐ変換部１１０で変換されて得られたプログレッシブ方式の画像データＶo1（１０８０ｐ）に対して、アップコンバート素材検出部１３０の検出信号Ｓdetに基づいた処理を行って、出力画像データＶout（１０８０ｐ）を得る。この画像処理部１２０は、ローバスフィルタ１２１と、αブレンド部１２２と、エンハンス部１２３を有している。
【００７２】
ローパスフィルタ１２１は、Ｉ／Ｐ変換部１１０で変換されて得られたプログレッシブ方式の画像データＶo1に、垂直方向のローパスフィルタ処理を施す。αブレンド部１２２は、Ｉ／Ｐ変換部１１０で変換されて得られたプログレッシブ方式の画像データＶo1およびローパスフィルタ１２１でフィルタ処理されたプログレッシブ方式の画像データＶo2を、検出信号Ｓdetに応じた比率で混合する。すなわち、αブレンド部１２２は、出力画像データをＶo3とするとき、以下の（３）式に基づいて、αブレンド処理を行う。この（３）式において、α＝Ｓdet／１６である。
Ｖo3＝（１−α）＊Ｖo1＋α＊Ｖo2 ・・・（３）
【００７３】
この場合、インターレース方式の入力画像データＶinの低品質アップコンバート素材らしさが高い場合には、検出信号Ｓdetの値が大きくなる。そのため、出力画像データＶo3における、垂直方向のローパスフィルタ処理が施された画像データＶo2の混合割合が高くなり、横筋の表示が抑制される。一方、インターレース方式の入力画像データＶinの低品質アップコンバート素材らしさが低い場合には、検出信号Ｓdetの値が小さくなる。そのため、出力画像データＶo3における、垂直方向のローパスフィルタ処理が施された画像データＶo2の混合割合が低くなり、垂直解像度の低下が抑制される。
【００７４】
エンハンス部１２３は、αブレンド部１２２から出力されるプログレッシブ方式の画像データＶo3に対して、高域成分の強調処理を施して、プログレッシブ方式の出力画像データＶout（１０８０ｐ）を出力する。エンハンス部１２３は、アップコンバート素材検出部１３０の検出信号Ｓdetの値が大きくなるほど強調量を小さくする。インターレース方式の入力画像データＶinの低品質アップコンバート素材らしさが高い場合には、画像データに強調すべき高域の成分がなく、横筋表示成分等のノイズ成分だけを強調するおそれがあるからである。
【００７５】
［画像処理装置の動作］
図１に示す画像処理装置１００の動作を説明する。インターレース方式の入力画像データＶin（１０８０ｉ）は、Ｉ／Ｐ変換部１１０に入力される。このＩ／Ｐ変換部１１０では、インターレース方式の入力画像データＶin（１０８０ｉ）が、プログレッシブ方式の画像データＶo1（１０８０ｐ）に変換される。このＩ／Ｐ変換部１１０では、入力画像データＶinがフィルム（Film）素材であるか否かの検出が行われ、入力画像データＶinがフィルム（Film）素材であるかビデオ（Video）素材であるかによって、異なる方法でＩ／Ｐ変換が行われる。
【００７６】
入力画像データＶinがフィルム素材である場合、Ｉ／Ｐ変換部１１０では、各Current時制のフィールドで、ペアを構成する２フィールドの奇数ラインおよび偶数ラインを組み合わせるプルダウン逆変換が行われ、フレーム画像データが得られる。Ｉ／Ｐ変換部１１０では、例えば、１フィールド前（Current）および現在（Next）のフィールドの間の輝度差分絶対値の和（フィールド差分）が用いられ、現在（Next）および２フィールド前（Past）のどちらがペアを構成しているか判定される。
【００７７】
この場合、Ｉ／Ｐ変換部１１０では、フィールド差分が大きいときは２フィールド前（Past）のフィールドがペアであると判定され、一方フィールド差分が小さいときは現在（Next）のフィールドがペアであると判定される。インターレース方式の入力画像データＶinがフィルム素材である場合、各フィールドにおいて、Ｉ／Ｐ変換部１１０からアップコンバート素材検出部１３０に、ペア判定情報ＰＩが送られる。
【００７８】
また、インターレース方式の入力画像データＶin（１０８０ｉ）がビデオ（Video）素材である場合、Ｉ／Ｐ変換部１１０では、フィールド間補間もしくはフィールド内補間により、Current時制の補間画素データが作成される。Ｉ／Ｐ変換部１１０では、Current時制の補間画素データラインが、Current時制の実画素データラインと組み合わせられることで、フレーム画像データが生成される。
【００７９】
Ｉ／Ｐ変換部１１０では、１フィールド前（Current）のフィールドの補間位置に対応する、画像の動きが検出される。そして、画像が静止していると判定される場合、フィールド間補間によりCurrent時制の補間画素データが作成される。一方、画像が動いていると判定される場合、例えば、フィールド内補間により、Current時制の補間画素データが作成される。
【００８０】
入力画像データＶinがビデオ素材である場合、各フィールドにおいて、Ｉ／Ｐ変換部１１０からアップコンバート素材検出部１３０に、画面全体で静止と判定された画素の数（静止画素数）を示す数情報ＭＩが送られる。
【００８１】
アップコンバート素材検出部１３０のアップコンバート素材判定部１３１では、フィールド毎に、インターレース方式の入力画像データＶinが低品質アップコンバート素材であるか否かが判定される。このアップコンバート素材検出部１３０には、Ｉ／Ｐ変換部１１０から、フィールド間画素値差分の総和ΣＶcnと、フィールド内画素値差分の総和ΣＶｎが供給される。アップコンバート素材判定部１３１では、総和ΣＶcn，ΣＶｎの比ΣＶcn／ΣＶｎが閾値Ｔｈａと比較され、その比較結果に基づいて、インターレース方式の入力画像データＶinが低品質アップコンバート素材であるか否かが判定される。
【００８２】
インターレース方式の入力画像データＶinが低品質アップコンバート素材であって横筋表示状態が発生しているとき、フィールド間画素値差分の総和ΣＶcnはフィールド内画素値差分の総和ΣＶｎより大きくなる。アップコンバート素材判定部１３１では、比ΣＶcn／ΣＶｎが閾値Ｔｈａ（＞１）を越えるとき、インターレース方式の入力画像データＶinが低品質アップコンバート素材であると判定され、高レベルの信号「１」が出力される。また、アップコンバート素材判定部１３１では、比ΣＶcn／ΣＶｎが閾値Ｔｈａ以下のとき、インターレース方式の入力画像データＶinが低品質アップコンバート素材でないと判定され、低レベルの信号「１」が出力される。
【００８３】
有効性判定部１３２では、フィールド毎に、上述のアップコンバート素材判定部１３１の判定出力の有効性が判定される。上述の総和ΣＶcn，ΣＶｎは、現在（Next）および１フィールド前（Current）の２フィールドの画像データを用いて算出される。入力画像データＶinが上述のフィルム（Film）素材である場合、この２フィールドがペアを構成していない場合、入力画像データＶinが低品質アップコンバート素材でなくても、ΣＶcn＞ΣＶｎとなることがある。
【００８４】
入力画像データＶinが上述のフィルム（Film）素材である場合、Ｉ／Ｐ変換部１１０から有効性判定部１３２に、各フィールドにおいて、ペア判定情報ＰＩが送られてくる。有効性判定部１３２では、ペア判定情報ＰＩに基づいて、上述のアップコンバート素材判定部１３１の判定出力の有効性が判定される。そして、有効性判定部１３２では、現在（Next）のフィールドがペアを構成するとき、有効と判定され、判定出力として高レベルの信号「１」が出力される。また、有効性判定部１３２では、２フィールド前（Past）のフィールドがペアを構成するとき、判定出力を行わない。
【００８５】
また、上述したように、総和ΣＶcn，ΣＶｎは、現在（Next）および１フィールド前（Current）の２フィールドの画像データを用いて算出される。入力画像データＶinが上述のビデオ（Video）素材である場合、各フィールドの画像に動きがある動き時の場合、入力画像データＶinが低品質アップコンバート素材でなくても、ΣＶcn＞ΣＶｎとなることがある。
【００８６】
入力画像データＶinがビデオ素材である場合、Ｉ／Ｐ変換部１１０から有効性判定部１３２に、有効性判定部１３２には、上述したように、Ｉ／Ｐ変換部１１０から、各フィールドにおいて、画面全体で静止と判定された画素の数を示す数情報ＭＩが送られてくる。有効性判定部１３２では、数情報ＭＩに基づいて、上述のアップコンバート素材判定部１３１の判定出力の有効性を判定する。そして、有効性判定部１３２では、画面全体で静止と判定された画素の数が所定の閾値Ｔｈｂを越えるとき、有効と判定され、判定出力として高レベルの信号「１」が出力される。また、有効性判定部１３２では、画面全体で静止と判定された画素の数が所定の閾値Ｔｈｂ以下のとき、無効と判定され、判定出力として低レベルの信号「０」が出力される。
【００８７】
アップコンバート素材判定部１３１の判定出力および有効性判定部１３２の判定出力は、アンド回路１３３に供給される。このアンド回路１３３では、双方の判定出力の論理積をとられる。このアンド回路１３３では、有効性判定部１３２で有効と判定されるフィールドでは、その判定出力が高レベルの信号「１」となることから、アップコンバート素材判定部１３１の判定出力がそのまま出力される。また、このアンド回路１３３では、有効性判定部１３２で無効と判定されるフィールドでは、その判定出力が低レベルの信号「０」となることから、アップコンバート素材判定部１３１の判定出力によらず、低レベルの信号「０」が出力される。このアンド回路１３３の出力は、判定安定化部１３４に供給される。
【００８８】
判定安定化部１３４では、アンド回路１３３の出力に基づいて、アンド回路１３３の出力が確定する毎、すなわち入力画像データＶinがフィルム（Film）素材である場合は現在（Next）のフィールドがペアを構成することとなるフィールド毎、入力画像データＶinがビデオ（Video）素材である場合はフィールド毎に、画像処理強度決定部１３５における検出信号Ｓdetの値を制御する制御信号ＳＣが得られる。
【００８９】
この判定安定化部１３４では、フィールド毎に、アンド回路１３３の最新の所定数Ｍのフィールドにおける出力に、高レベルの信号「１」が所定個数Ｎ以上含まれているか判断される。そして、この判定安定化部１３４では、高レベルの信号「１」が所定個数Ｎ以上含まれているときは、検出信号Ｓdetの値を上げるように制御する制御信号ＳＣが出力される。また、判定安定化部１３４では、高レベルの信号「１」が所定個数Ｎ以上含まれていないときは、検出信号Ｓdetの値を下げるように制御する制御信号ＳＣが出力される。
【００９０】
上述したように判定安定化部１３４から出力される制御信号ＳＣは、画像処理強度決定部１３５に供給される。この画像処理強度決定部１３５では、制御信号ＳＣに応じて、検出信号Ｓdetの値が調整される。すなわち、画像処理強度決定部１３５では、検出信号Ｓdetの値を上げるように制御する制御信号ＳＣが供給されるとき、検出信号Ｓdetの値が１ステップだけ大きくされる。また、画像処理強度決定部１３５では、検出信号Ｓdetの値を下げるように制御する制御信号ＳＣが供給されるとき、検出信号Ｓdetの値が１ステップだけ小さくされる。このように、アンド回路１３３と画像強度信号決定部１３５との間に判定安定化部１３４が介在されることで、アンド回路１３３の出力が「１」，「０」の変化が頻繁であっても、検出信号Ｓdetは急激には変化しない。
【００９１】
また、Ｉ／Ｐ変換部１１０のシーチェンジ判定部１１１では、フィールド毎に、インターレース方式の入力画像データＶinに基づいて、シーンチェンジか否かの判定が行われる。このシーチェンジ判定部１１１の判定出力ＣＩは、画像処理強度決定部１３５に送られる。画像処理強度決定部１３５では、判定出力ＣＩに基づいて、シーンチェンジであるとき、検出信号Ｓdetの値が「０」にリセットされる。シーンチェンジがあった場合、素材の切り替わり、すなわち、低品質アップコンバート素材からそうでない素材への切り替わりの可能性があるからである。
【００９２】
画像処理部１２０では、Ｉ／Ｐ変換部１１０で変換されたプログレッシブ方式の画像データＶo1（１０８０ｐ）に対して、アップコンバート素材検出部１３０の検出信号Ｓdetに基づいた処理が行われて、出力画像データＶout（１０８０ｐ）が得られる。すなわち、Ｉ／Ｐ変換部１１０から出力される出力画像データＶo1は直接αブレンド部１２２に供給される。また、Ｉ／Ｐ変換部１１０から出力される出力画像データＶo1は、ローパスフィルタ１２１に供給される。そして、このローパスフィルタ１２１で垂直ローパスフィルタ処理が施されて得られた画像データＶo2はαブレンド部１２２に供給される。
【００９３】
このαブレンド部１２２には、アップコンバート素材検出部１３０の検出信号Ｓdetが供給される。このαブレンド部１２２では、画像データＶo1および画像データＶoが検出信号Ｓdetに応じた比率で混合されて、出力画像データＶo3が得られる（（３）式参照）。この場合、インターレース方式の入力画像データＶinの低品質アップコンバート素材らしさが高い場合には、検出信号Ｓdetの値が大きくなる。そのため、出力画像データＶo3における、垂直方向のローパスフィルタ処理が施された画像データＶo2の混合割合が高くされ、横筋の表示が抑制される。一方、インターレース方式の入力画像データＶinの低品質アップコンバート素材らしさが低い場合には、検出信号Ｓdetの値が小さくなる。そのため、出力画像データＶo3における、垂直方向のローパスフィルタ処理が施された画像データＶo2の混合割合が低くされ、垂直解像度の低下が抑制される。
【００９４】
αブレンド部１２２の出力データＶo3は、エンハンス部１２３に供給される。このエンハンス部１２３には、アップコンバート素材検出部１３０の検出信号Ｓdetが供給される。エンハンス部１２３では、αブレンド部１２２から出力されるプログレッシブ方式の画像データＶo3に対して、高域成分の強調処理が施されて、プログレッシブ方式の出力画像データＶoutが得られる。このエンハンス部１２３では、検出信号Ｓdetの値が大きくなるほど強調量が小さくされる。インターレース方式の入力画像データＶinの低品質アップコンバート素材らしさが高い場合には、画像データに強調すべき高域の成分がなく、横筋表示成分などのノイズ成分だけを強調するおそれがあるからである。
【００９５】
図１３のフローチャートは、図１に示す画像処理装置１００における１フィールド分の処理手順を概略的に示している。
画像処理装置１００は、ステップＳＴ１において、処理を開始し、その後に、ステップＳＴ２の処理に移る。このステップＳＴ２において、画像処理装置１００は、Ｉ／Ｐ変換部１１０により、インターレース方式の入力画像データＶin（１０８０ｉ）を、プログレッシブ方式の画像データＶo1（１０８０ｐ）に変換する。
【００９６】
次に、画像処理装置１００は、ステップＳＴ３において、アップコンバート素材判定部１３１により、インターレース方式の入力画像データＶinが低品質アップコンバート素材であるか否かの判定を行う。そして、画像処理装置１００は、ステップＳＴ４において、有効性判定部１３２により、ステップＳＴ３における判定の有効性を判定する。
【００９７】
次に、画像処理装置１００は、ステップＳＴ５において、ステップＳＴ４の有効性判定の結果が有効か否かを判断する。有効性判定結果が有効であるとき、画像処理装置１００は、ステップＳＴ６において、判定安定化部１３４により、ステップＳＴ３の判定結果をそのまま使用して、判定安定化処理を行う。一方、有効性判定結果が有効でないとき、画像処理装置１００は、ステップＳＴ７において、判定結果を「０」とし、その後に、ステップＳＴ６において、判定安定化部１３４により、判定安定化処理を行う。
【００９８】
次に、画像処理装置１００は、ステップＳＴ８において、シーンチェンジか否かを判断する。シーンチェンジでないとき、画像処理装置１００は、ステップＳＴ９において、画像処理強度決定部１３５により、判定安定化処理の結果を用いて、画像処理強度、つまり低品質アップコンバート素材らしさを示す検出信号Ｓdetを決定する。一方、シーンチェンジであるとき、画像処理装置１００は、ステップＳＴ１０において、画像処理強度を０（Ｓdet＝０）にする。
【００９９】
次に、画像処理装置１００は、ステップＳＴ１１において、画像処理部１２０により、画像処理強度（検出信号Ｓdet）に応じた横筋抑制処理、エンハンス処理などの処理を行う。そして、画像処理装置１００は、ステップＳＴ１１の処理の後、ステップＳＴ１２において、処理を終了する。
【０１００】
図１に示す画像処理装置１００において、アップコンバート素材検出部１３０では、フィールド間画素値差分の総和ΣＶcnとフィールド内画素値差分の総和ΣＶｎとの比に基づいて入力画像データＶinの低品質アップコンバート素材らしさが検出される。そして、画像処理部１２０では、アップコンバート素材検出部１３０で得られる検出信号Ｓdetに基づいて、Ｉ／Ｐ変換部１１０で変換されて得られたプログレッシブ方式の画像データＶo1が処理されて、出力画像データＶoutが得られる。したがって、低品質アップコンバート素材の検出を高精度に行うことができ、画質改善を良好に行うことができる。
【０１０１】
また、図１に示す画像処理装置１００において、アップコンバート素材検出部１３０では、アンド回路１３３と画像処理強度決定部１３５との間に、判定安定化部１３４が介在されている。そのため、アンド回路１３３の出力が、「１」から「０」に、あるいは「０」から「１」に変化したとしても、画像処理強度決定部１３５から出力される低品質アップコンバート素材らしさを示す検出信号Ｓdetが急激に変化することはない。したがって、例えば、画像処理部１２０において、ローパスフィルタ処理を施して得られた画像データＶo2の混合割合が急激に変化することが防止され、画像処理の切り替わりが目立つことを回避できる。
【０１０２】
また、図１に示す画像処理装置１００において、アップコンバート素材検出部１３０では、有効性判定部１３２によりアップコンバート素材判定部１３１の判定出力の有効性が判定される。そして、判定安定化部１３４では、有効性判定部１３２で有効でないと判定されるフィールドに関しては、アップコンバート素材判定部１３１の判定出力が「１」であるか「０」であるかによらず、「０」が使用される。したがって、画像処理強度決定部１３５から出力される低品質アップコンバート素材らしさを示す検出信号Ｓdetの精度を高めることができる。
【０１０３】
また、図１に示す画像信号処理装置１００において、アップコンバート素材検出部１３０の画像処理強度決定部１３５では、シーンチェンジであると判定されたとき、検出信号Ｓdetが最小値にリセットされる。したがって、低品質アップコンバート素材でない素材に切り替わった場合に、例えば、画像処理部１２０において、ローパスフィルタ処理を施して得られた画像データＶo2の混合を直ちに停止でき、無駄に垂直解像度が劣化されることを回避できる。
【０１０４】
また、図１に示す画像信号処理装置１００において、画像処理部１２０では、Ｉ／Ｐ変換部１１０の出力画像データＶo1およびフィルタ処理が施された画像データＶo2が、アップコンバート素材検出部１３０の検出信号Ｓdetに応じた比率で混合される。そのため、低品質アップコンバート素材らしさが高い場合、画像データＶo2の混合割合が高くされ、横筋の表示を良好に抑制できる。また、低品質アップコンバート素材らしさが低い場合には、画像データＶo2の混合割合が低くされ、垂直解像度の低下を回避できる。
【０１０５】
＜２．変形例＞
なお、上述実施の形態においては、図８に示す各画素のデータを用いて、フィールド間画素値差分Ｖcnおよびフィールド内画素値差分Ｖｎが求められている。すなわち、フィールド間画素値差分Ｖcnは、現在（Next）のフィールドの注目画素Ｃおよびこの注目画素Ｃに対して垂直方向に隣接した１フィールド前（Current）のフィールドの画素Ｂ，Ｄのデータにより求められる。また、フィールド内画素値差分Ｖｎを、現在（Next）のフィールドの注目画素Ｃおよびこの注目画素Ｃに対して垂直方向に隣接した現在（Next）のフィールドの画素Ａ，Ｅのデータにより求められる。しかし、フィールド間画素値差分Ｖcnおよびフィールド内画素値差分Ｖｎを、現在（Next）および１フィールド前（Current）のフィールドの各画素を逆にして求めてもよい。
【０１０６】
また、上述実施の形態においては、フィルム（Film）素材として、１秒間が２４フレームのプログレッシブ方式の画像データを２−３プルダウン方式によって変換して作成されたものを示した。しかし、１秒間が３０フレームのプログレッシブ方式の画像データを２−２プルダウン方式によって変換して作成されたフィルム（Film）素材についても、この発明を同様に適用できることは勿論である。
【０１０７】
また、上述実施の形態において、画像処理装置１２０では、αブレンドによる横筋抑制処理およびエンハンス処理が行われる。しかし、アップコンバート素材検出部１３０からの低品質アップコンバート素材らしさの検出信号Ｓdetに基づいて行われる処理は、これに限定されない。
【産業上の利用可能性】
【０１０８】
この発明は、横筋を発生させるような低品質アップコンバート素材の検出を精度よく行って画質改善を良好に行うことができるものであり、例えばテレビ受信機において受信画像データを処理する画像処理装置等に適用できる。
【符号の説明】
【０１０９】
１００・・・画像処理装置、１１０・・・Ｉ／Ｐ変換部、１１１・・・シーンチェンジ判定部、１２０・・・画像処理部、１２１・・・ローパスフィルタ、１２２・・・αブレンド部、１２３・・・エンハンス部、１３０・・・アップコンバート素材検出部、１３１・・・アップコンバート素材判定部、１３２・・・有効性判定部、１３３・・・アンド回路、１３４・・・判定安定化部、１３５・・・画像処理強度決定部
【技術分野】
【０００１】
この発明は、画像処理装置および画像処理方法に関し、特に、横筋を発生させる低品質アップコンバート素材に対して画質改善を良好に行い得る画像処理装置等に関する。
【背景技術】
【０００２】
近年、デジタル放送の開始に伴い、ＨＤ（High Definition）解像度の画像データが、放送局などから送信されている。しかし、放送局などから送信される画像データは、全てがＨＤ解像度の画像データではなく、従来のアナログ放送で用いられてきたＳＤ（Standard Definition）解像度の画像データをＨＤ解像度へとアップコンバートさせた擬似的なＨＤ解像度の画像データが含まれる場合がある。
【０００３】
疑似的なＨＤ解像度の画像データとして、インターレース方式のＳＤ解像度の画像データを、インターレース方式のまま、フィールド内線形補間によってアップコンバートされて作成された素材（以下、「低品質アップコンバート素材」という）が含まれる。例えば、４８０ｉの画像データをアップコンバートして得られた１０８０ｉの画像データ、あるいは５７６ｉの画像データをアップコンバートして得られた１０８０ｉの画像データ等がある。
【０００４】
なお、アップコンバート前のインターレース方式のＳＤ解像度の画像データには、１秒間が２４フレームまたは３０フレームのプログレッシブ方式の画像データ（フィルム素材）から２−３プルダウン方式または２−２プルダウン方式によって変換されて作成された画像データも含まれる。
【０００５】
上述の低品質アップコンバート素材の場合、画像表示のためにフィールド間補間によりインターレース方式からプログレッシブ方式に変換すると、垂直方向に輝度差がある部分に横筋が発生するという不都合があった。インターレース方式のＳＤ解像度の画像データを、インターレース方式のまま、フィールド内線形補間によってアップコンバートした場合、あるフィールドとそれに隣接するフィールドとの間で、垂直方向における画素の近さと画素値の近さとが一致しなくなる状態が発生するためである。
【０００６】
例えば、特許文献１には、画像データから複数の周波数帯域の信号を検出し、各周波数帯域の信号振幅に基づいて、アップコンバート素材か否か等の画像判定を行うことが記載されている。また、例えば、特許文献２には、ＨＤ解像度の画像データのサイドパネルの有無によってアップコンバート素材か否かの判定を行うことが記載されている。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２００８− ８５９９３号公報
【特許文献２】特開２００４−２８９７５３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
特許文献１に記載の技術では、低品質アップコンバート素材をインターレース方式からプログレッシブ方式に変換したときに発生する横筋部分を高周波数成分とみなし、低品質アップコンバート素材を通常のＨＤ解像度の画像データであると誤検出するおそれがある。また、特許文献２に記載の技術では、アップコンバート素材の全てにサイドパネルが付加されているわけではなく、サイドパネルのないアップコンバート素材を検出できない。また、この特許文献２に記載の技術では、横筋を発生させる低品質アップコンバート素材とそうではないアップコンバート素材を区別できない。
【０００９】
この発明の目的は、低品質アップコンバート素材の検出を精度よく行って画質改善を良好に行うことにある。
【課題を解決するための手段】
【００１０】
この発明の概念は、
インターレース方式の入力画像データをプログレッシブ方式の画像データに変換するインターレース／プログレッシブ変換部と、
上記インターレース方式の画像データの低品質アップコンバート素材らしさを検出するアップコンバート素材検出部と、
上記インターレース／プログレッシブ変換部で変換されて得られたプログレッシブ方式の画像データに対して上記アップコンバート部材検出部の検出信号に基づいた処理を行って出力画像データを得る画像処理部を備え、
上記アップコンバート素材検出部は、フィールド毎に、連続する第１のフィールドおよび第２のフィールドの画像データを用い、所定領域内の画素を順次注目画素として得られる、上記第１のフィールドの注目画素および該注目画素に対して垂直方向に隣接した上記第２のフィールドの画素の画素データによるフィールド間画素値差分の総和と、上記第１のフィールドの注目画素および該注目画素に対して垂直方向に隣接した該第１のフィールドの画素の画素データによるフィールド内画素値差分の総和との比に基づいて、上記低品質アップコンバート素材らしさを検出する
画像処理装置にある。
【００１１】
この発明において、インターレース／プログレッシブ変換部により、インターレース方式の入力画像データがプログレッシブ方式の画像データに変換される。このインターレース／プログレッシブ変換部で変換されて得られたプログレッシブ方式の画像データは、インターレース方式の入力画像データが上述の低品質アップコンバート素材である場合、垂直方向に輝度差がある部分で横筋を発生させるものとなる。
【００１２】
アップコンバート素材検出部により、インターレース方式の画像データの低品質アップコンバート素材らしさが検出される。上述したように低品質アップコンバート素材の場合、あるフィールドとそれに隣接するフィールドとの間で、垂直方向における画素の近さと画素値の近さとが一致しなくなる状態（以下、適宜、「横筋発生状態」という）が存在する。このアップコンバート素材検出部では、この状態が存在しているか否かを検出する。
【００１３】
このアップコンバート素材検出部では、フィールド毎に、連続する第１のフィールドおよび第２のフィールドの画像データを用いて検出が行われる。まず、所定領域内の画素が順次注目画素とされて、フィールド間画素値差分の総和と、フィールド内画素値差分の総和とが得られる。ここで、フィールド間画素値差分は、第１のフィールドの注目画素およびこの注目画素に対して垂直方向に隣接した第２のフィールドの画素の画素データにより求められる。また、フィールド内画素値差分は、第１のフィールドの注目画素およびこの注目画素に対して垂直方向に隣接したこの第１のフィールドの画素の画素データにより求められる。
【００１４】
インターレース方式の入力画像データが低品質アップコンバート素材であって横筋発生状態が存在しているとき、フィールド間画素値差分の総和はフィールド内画素値差分の総和より大きくなる。アップコンバート素材検出部では、フィールド間画素値差分の総和とフィールド内画素値差分の総和との比に基づいて、低品質アップコンバート素材らしさが検出される。例えば、その比が１より大きな所定の閾値を越えるときは、低品質アップコンバート素材らしさが高いとされる。
【００１５】
画像処理部により、インターレース／プログレッシブ変換部で変換されて得られたプログレッシブ方式の画像データが、アップコンバート部材検出部の検出信号に基づいて処理されて出力画像データが得られる。例えば、インターレース／プログレッシブ変換部で変換されて得られたプログレッシブ方式の画像データおよびこの画像データに垂直方向のローパスフィルタ処理を施して得られた画像データが、アップコンバート素材検出部の検出信号に応じた比率で混合されて出力画像データとされる。
【００１６】
低品質アップコンバート素材らしさが高い場合、ローパスフィルタ処理を施して得られた画像データの混合割合が高くされる。そのため、横筋の表示が抑制される。また、低品質アップコンバート素材らしさが低い場合には、ローパスフィルタ処理を施して得られた画像データの混合割合が低くされる。そのため、ローパスフィルタ処理を施して得られた画像データが必要なく使用されて垂直解像度が低下することが防止される。
【００１７】
このように、この発明においては、横筋発生状態の存在を示すフィールド間画素値差分の総和とフィールド内画素値差分の総和との比に基づいてインターレース方式の入力画像データの低品質アップコンバート素材らしさが検出され、その検出信号に基づいてインターレース／プログレッシブ変換部で変換されて得られたプログレッシブ方式の画像データが処理される。そのため、低品質アップコンバート素材の検出が高精度に行われ、画質改善が良好に行われる。
【００１８】
この発明において、例えば、アップコンバート素材検出部は、フィールド間画素値差分の総和を第１の総和とし、フィールド内画素値差分の総和を第２の総和として、第１の総和と第２の総和との比が所定の閾値を越えるとき第１の判定出力を出力し、この比が所定の閾値以下のとき第２の判定出力を出力するアップコンバート素材判定部と、低品質アップコンバート素材らしさを示す検出信号を出力する検出信号出力部と、フィールド毎に、アップコンバート素材判定部の最新の所定数のフィールドにおける判定出力に、第１の判定出力が所定個数以上含まれているか判断し、所定個数以上含まれているとき検出信号の値を上げ、所定個数以上含まれていないとき検出信号の値を下げるように検出信号出力部を制御する判定安定化部を有する、ようにしてもよい。
【００１９】
この場合、アップコンバート素材判定部の判定出力が第１の判定出力から第２の判定出力に、あるいは第２の判定出力から第１の判定出力に変化したとしても、検出信号出力部から出力される低品質コンバート素材らしさを示す検出信号は急激に変化しない。そのため、例えば、画像処理部において、ローパスフィルタ処理を施して得られた画像データの混合割合が急激に変化することが防止され、画像処理の切り替わりが目立つことを回避できる。
【００２０】
また、この発明において、例えば、フィールド毎に、アップコンバート素材判定部の判定出力の有効性を判定する有効性判定部をさらに有し、判定安定化部は、有効性判定部で有効であると判定されるフィールドに関してはアップコンバート素材判定部から出力される判定出力を使用し、有効性判定部で有効でないと判定されるフィールドに関しては第２の判定出力を使用する、ようにしてもよい。このように、アップコンバート素材判定部の判定出力が有効でないと判定されるとき、その判定出力を使用しないことで、検出信号出力部から出力される低品質アップコンバート素材らしさを示す検出信号の精度を高めることができる。
【００２１】
例えば、インターレース方式の入力画像データが、１秒間が２４フレームまたは３０フレームのプログレッシブ方式の画像データを２−３プルダウン方式または２−２プルダウン方式によって変換して作成されたインターレース方式の画像データであり、第１のフィールドおよび第２のフィールドが同一のフレームの画像データから作成されていない場合、インターレース方式の入力画像データが低品質アップコンバート素材でなくても、フィールド間画素値差分の総和がフィールド内画素値差分の総和より大きくなることがある。
【００２２】
そのため、インターレース方式の入力画像データが、１秒間が２４フレームまたは３０フレームのプログレッシブ方式の画像データを２−３プルダウン方式または２−２プルダウン方式によって変換して作成されたインターレース方式の画像データであるとき、有効性判定部では、第１のフィールドおよび第２のフィールドが同一のフレームの画像データから作成されているフィールドにおいて有効であると判定される。
【００２３】
また、例えば、動画の場合、インターレース方式の入力画像データが低品質アップコンバート素材でなくても、フィールド間画素値差分の総和がフィールド内画素値差分の総和より大きくなることがある。そのため、例えば、インターレース方式の入力画像データが、１秒間が２４フレームまたは３０フレームのプログレッシブ方式の画像データを２−３プルダウン方式または２−２プルダウン方式によって変換して作成されたインターレース方式の画像データでないとき、有効性判定部では、フィールド毎に静止時のフィールドであるか判断され、静止時のフィールドにおいては有効であると判定される。
【００２４】
また、この発明において、例えば、インターレース方式の入力画像データに基づいてシーンチェンジか否かを判定するシーンチェンジ判定部をさらに備え、検出信号出力部は、シーンチェンジ判定部でシーンチェンジであると判定されたとき、検出信号を最小値にリセットする、ようにしてもよい。シーンチェンジがあった場合、素材の切り替わりがある可能性がある。シーンチェンジと判定されたとき検出信号を最小値にリセットすることで、低品質アップコンバート素材でない素材に切り替わった場合に、例えば、画像処理部において、ローパスフィルタ処理を施して得られた画像データの混合を直ちに停止でき、無駄に垂直解像度が劣化されることを回避できる。
【発明の効果】
【００２５】
この発明によれば、横筋発生状態の存在を示すフィールド間画素値差分の総和とフィールド内画素値差分の総和との比に基づいてインターレース方式の入力画像データの低品質アップコンバート素材らしさを検出し、その検出信号に基づいてインターレース／プログレッシブ変換部で変換されて得られたプログレッシブ方式の画像データを処理するものであり、低品質アップコンバート素材の検出を高精度に行って、画質改善を良好に行うことができる。
【図面の簡単な説明】
【００２６】
【図１】実施の形態としての画像処理装置の構成例を示すブロック図である。
【図２】Ｉ／Ｐ変換処理が現在（Next）、１フィールド前（Current）および２フィールド前（Past）の３フィールド分の画像データを用いて行われることを説明する図である。
【図３】Ｉ／Ｐ変換部におけるフィルム素材（２−３プルダウン方式による変換）の検出方法を説明するための図である。
【図４】インターレース方式の入力画像データがフィルム素材である場合のＩ／Ｐ変換方法を説明するための図である。
【図５】インターレース方式の入力画像データがビデオ素材である場合のＩ／Ｐ変換方法を説明するための図である。
【図６】Ｉ／Ｐ変換部における静止画素判定の一例における条件１を説明するための図である。
【図７】Ｉ／Ｐ変換部における静止画素判定の一例における条件２を説明するための図である。
【図８】フィールド間画素値差分Ｖcnおよびフィールド内画素値差分Ｖｎを求める際に使用する画素を示す図である。
【図９】各フィールドにおける画面全体で静止と判定された画素の数（静止画素数）の変化例を示す図である。
【図１０】判定安定化部が出力する制御信号ＳＣの一例（Ｍ＝４、Ｎ＝２）を示す図である。
【図１１】画像処理強度決定部から出力される検出信号Ｓdetの変化例を示す図である。
【図１２】この発明の検出信号Ｓdetの変化例に対する比較例を示す図である。
【図１３】画像処理装置における１フィールド分の処理手順を概略的に示すフローチャートである。
【発明を実施するための形態】
【００２７】
以下、発明を実施するための形態（以下、「実施の形態」とする）について説明する。なお、説明は以下の順序で行う。
１．実施の形態
２．変形例
【００２８】
＜１．実施の形態＞
［画像処理装置の構成］
図１は、画像処理装置１００の構成例を示している。この画像処理装置１００は、Ｉ／Ｐ変換部１１０と、画像処理部１２０と、アップコンバート素材検出部１３０を有している。Ｉ／Ｐ変換部１１０は、インターレース方式の入力画像データＶinを、プログレッシブ方式の画像データＶo1に変換する。ここで、入力画像データＶinは１０８０ｉフォーマットの画像データであり、変換後の画像データは１０８０ｐフォーマットの画像データとなる。
【００２９】
Ｉ／Ｐ変換部１１０は、図２に示すように、現在（Next）、１フィールド前（Current）および２フィールド前（Past）の３フィールド分の画像データを用いて行う。Ｉ／Ｐ変換部１１０に入力される現在（Next）フィールドの画像データは、図示しないフィールドメモリに保存され、過去フィールドの画像データとして使用される。
【００３０】
Ｉ／Ｐ変換部１１０は、入力画像データＶinがビデオ（Video）素材であるかフィルム（Film）素材であるかにより、Ｉ／Ｐ変換の方法を変える。ビデオ素材は元画となるプログレッシブ画像が存在しない。しかし、フィルム素材は元画となるプログレッシブ画像が存在する。Ｉ／Ｐ変換部１１０は、入力画像データＶinがフィルム素材か否かを検出し、フィルム素材であるときはフィルム素材に対するＩＰ変換処理を施し、フィルム素材でないときはビデオ素材に対するＩＰ変換処理を施す。
【００３１】
Ｉ／Ｐ変換部１１０におけるフィルム素材の検出方法を、図３を参照して説明する。この図３は、元画が１秒間に２４枚の画像を持つプログレッシブ画像（２４Ｐ）であり、この元画を２−３プルダウン方式で１秒間に６０枚の画像を持つインターレース画像（６０ｉ）に変換したフィルム素材の検出方法を説明している。
【００３２】
１秒間に２４枚の画像を１秒間に６０枚の画像に変換するため、元画であるプログレッシブ画像の奇数ライン(o)のみと偶数ラインのみ(e)が、２回または３回交互に取り出されている。例えば、プログレッシブ画像（２４Ｐ）のＡフレームから、インターレース画像（６０ｉ）の奇数フィールドＡｏおよび偶数フィールドＡeが生成される。また、プログレッシブ画像（２４Ｐ）のＡフレームに続くＢフレームから、インターレース画像（６０ｉ）の奇数フィールドＢｏ、偶数フィールドＢeおよび奇数フィールドＢｏが生成される。
【００３３】
このようなフィルム素材は、フィールド内補間をするよりも、元画のプログレッシブ画像の同じフレームから取り出された奇数ラインと偶数ラインを組み合わせたほうが、画質が良くなる。そのため、フィルム素材であるということを検出する必要がある。入力画像データＶinがフィルム素材か否かを検出する方法としては、現在（Next）フィールドおよび２フィールド前（Past）のフィールドの間の輝度差分絶対値の和（フレーム差分）の周期をカウントする方法がある。
【００３４】
図３に示すフィルム素材においては、図示のように５フィールド毎にフレーム差分が小さくなり、フィルム素材であることが検出される。すなわち、５フィールド毎に、フレーム差分を得るための現在（Next）フィールドおよび２フィールド前（Past）のフィールドが元画のプログレッシブ画像の同じフレームから生成されたものとなり、フレーム差分が小さくなる。
【００３５】
図４は、フィルム（Film）素材（プログレッシブ画像（２４Ｐ）から変換されたインターレース画像（６０ｉ）のＩ／Ｐ変換の方法を示している。入力画像データＶinが、上述したフィルム素材である場合、１フィールド前（Current）を基準として、現在（Next）および２フィールド前（Past）のどちらかはペアを構成する。つまり、１フィールド前（Current）のフィールドの画像データと、現在（Next）および２フィールド前（Past）のどちらかのフィールドの画像データとは、元画のプログレッシブ画像の同一のフレームから取り出されたものとなっている。
【００３６】
Ｉ／Ｐ変換部１１０は、フィルム素材のＩ／Ｐ変換においては、各Current時制のフィールドで、ペアを構成する２つのフィールドの奇数ラインおよび偶数ラインを組み合わせるプルダウン逆変換を行って、フレーム画像データを生成する。Ｉ／Ｐ変換部１１０は、例えば、１フィールド前（Current）および現在（Next）のフィールドの間の輝度差分絶対値の和（フィールド差分）を用いて、現在（Next）および２フィールド前（Past）のどちらがペアを構成しているか判定する。
【００３７】
この場合、Ｉ／Ｐ変換部１１０は、フィールド差分が大きいときは２フィールド前（Past）のフィールドがペアであると判定し、一方フィールド差分が小さいときは現在（Next）のフィールドがペアであると判定する。Ｉ／Ｐ変換部１１０は、入力画像データＶinがフィルム素材である場合、各フィールドにおいて、ペア判定情報ＰＩを、アップコンバート素材検出部１３０に送る。
【００３８】
例えば、図４において、Current時制がＡｅフィールドであるとき、このＡｅフィールドと１フィールド前（Current）のＡｏフィールドはペアを構成している。この場合、ＡｏフィールドおよびＡｅフィールドの各ラインの組み合わせにより、プログレッシブ画像（６０Ｐ）を構成するＡフレームの画像データが生成される。また、例えば、図４において、Current時制がＦｏフィールドであるとき、このＦｏフィールドと現在（Next）フィールドのＦｅフィールドはペアを構成している。この場合、ＦｏフィールドおよびＦｅフィールドの各ラインの組み合わせにより、プログレッシブ画像（６０Ｐ）を構成するＦフレームの画像データが生成される。
【００３９】
ビデオ（Video）素材のＩＰ変換の方法を説明する。Ｉ／Ｐ変換部１１０は、フィールド間補間もしくはフィールド内補間により、Current時制の補間画素データを作成する。フィールド間補間では、現在（Next）および２フィールド前（Past）のフィールドの実画素データを用いる。フィールド内補間では、１フィールド前（Current）の実画素データを用いる。Ｉ／Ｐ変換部１１０は、Current時制の補間画素データラインを、Current時制の実画素データラインと組み合わせることで、プログレッシブ方式の画像データを生成する。
【００４０】
Ｉ／Ｐ変換部１１０は、１フィールド前（Current）のフィールドの補間位置に対応する、画像の動きを検出する。この場合、現在（Next）フィールドおよび２フィールド前（Past）のフィールドの実画素データ、あるいはさらにその周辺の実画素データを用い、フレーム間での輝度差分絶対値あるいはその総和を閾値と比較して、画像の動きを検出する。
【００４１】
Ｉ／Ｐ変換部１１０は、差分絶対値あるいはその総和が閾値より小さく、画像が静止していると判定する場合、線形演算でフィールド間補間をする。この場合、図５（ａ）のように、補間位置に対応する現在（Next）および２フィールド前（Past）のフィールドの実画素データを用いる。一方、Ｉ／Ｐ変換部１１０は、差分絶対値あるいはその総和が閾値より大きく、画像が動いていると判定する場合、図５（b-1）のように、補間位置の上下もしくはその周囲の画素の線形演算でフィールド内補間をする。
【００４２】
なお、Ｉ／Ｐ変換部１１０は、図５（b-2）のように、現在（Next）および２フィールド前（Past）のフィールド間の動き（動きベクトル）が正確に求められるとき、動いている場合でも動きの方向と大きさから推定してフィールド間補間を行うこともある。図５（b-1）のような方法を動き適応型Ｉ／Ｐ変換、図５（b-2）のような方法を動き補償型Ｉ／Ｐ変換等と呼ぶ。低品質アップコンバート素材が問題となるのは、図５（ａ）の静止時のＩ／Ｐ変換である。
【００４３】
ここで、図６、図７を参照して、Ｉ／Ｐ変換部１１０における静止画素判定の一例を説明する。この静止画素判定は、補間方法を決定するための１つの材料で、この結果のみを用いてフィールド間補間を行うよう決定するものではない。静止画素判定は２つの条件によって行われる。
【００４４】
第１の条件を説明する。図６に示すように、１フィールド前（Current）のフィールドの静止画素判定の画素位置と、その上下２ラインまでの画素位置に対応する５か所における輝度差分絶対値abs(N-P)を計算する。この輝度差分絶対値abs(N-P)は、現在（Next）および２フィールド前（Past）のフィールドの間の輝度差分絶対値である。その５つの値が全て閾値Ｔｈ１より小さい場合、条件１が成立しているとする。どれか１つの値でも閾値Ｔｈ１に達した場合、条件１は不成立とする。
【００４５】
第２の条件を説明する。図７に示すように、１フィールド前（Current）のフィールドの静止画素判定の画素位置より左側と右側の５×５画素について、それぞれ現在（Next）および２フィールド前（Past）のフィールドの間の輝度差分絶対値の総和を計算する。図において、左側の輝度差分絶対値の総和はΣ(abs(Nl-Pl))であり、右側の輝度差分絶対値の総和はΣ(abs(Nr-Pr))である。２つの差分絶対値和がいずれも閾値Ｔｈ２（条件１に用いる閾値Ｔｈ１とは別に設定可能）より小さかった場合、条件２が成立しているとする。
【００４６】
Ｉ／Ｐ変換部１１０は、条件１および条件２がどちらも成立している場合、１フィールド前（Current）のフィールドの静止画素判定の画素は静止と判定する。Ｉ／Ｐ変換部１１０は、同様の処理を１フィールド前（Current）のフィールドのすべての補間画素位置で繰り返し行う。Ｉ／Ｐ変換部１１０は、入力画像データＶinがビデオ素材である場合、各フィールドにおいて、画面全体で静止と判定された画素の数を取得し、その数情報ＭＩを、アップコンバート素材検出部１３０に送る。
【００４７】
図１に戻って、アップコンバート素材検出部１３０は、インターレース方式の入力画像データＶinの低品質アップコンバート素材らしさを検出する。このアップコンバート素材検出部１３０は、アップコンバート素材判定部（アップコン判定部）１３１と、有効性判定部１３２と、アンド回路１３３と、判定安定化部１３４と、画像処理強度決定部１３５を有している。
【００４８】
アップコンバート素材判定部１３１は、フィールド毎に、インターレース方式の入力画像データＶinが低品質アップコンバート素材であるか否かを判定する。アップコンバート素材判定部１３１は、現在（Next）および１フィールド前（Current）の２フィールドの画像データを用いて判定する。
【００４９】
アップコンバート素材判定部１３１は、画面内の所定領域内の画素を順次注目画素として得られるフィールド間画素値差分の総和とフィールド内画素値差分の総和との比に基づいて、入力画像データＶinが低品質アップコンバート素材であるか否かを判定する。画面内の所定領域としては、例えば、文字情報がオーバーレイされている可能性がある下側領域等が除かれるように設定される。文字情報は、アップコンバート後にオーバーレイされる場合もある。この場合、文字情報の重畳領域には元々ＨＤ解像度の画像データが重畳されるため、文字情報の重畳領域を除かないと、インターレース方式の入力画像データＶinの低品質アップコンバート素材であるか否かの判定を誤るおそれがある。
【００５０】
フィールド間画素値差分Ｖcnは、図８に示すように、現在（Next）のフィールドの注目画素Ｃおよびこの注目画素Ｃに対して垂直方向に隣接した１フィールド前（Current）のフィールドの画素Ｂ，Ｄのデータにより、以下の（１）式により求められる。なお、この（１）式において、Ｂ，Ｃ，Ｄは、それぞれ、画素Ｂ，Ｃ，Ｄの画素値（画素データ）を表している。
Ｖcn＝abs（Ｂ＋Ｄ−２Ｃ） ・・・（１）
【００５１】
また、フィールド内画素値差分Ｖｎは、図８に示すように、現在（Next）のフィールドの注目画素Ｃおよびこの注目画素Ｃに対して垂直方向に隣接した現在（Next）のフィールドの画素Ａ，Ｅのデータにより、以下の（２）式により求められる。なお、この（２）式において、Ａ，Ｃ，Ｅは、それぞれ、画素Ａ，Ｃ，Ｅの画素値を表している。
Ｖｎ＝abs（Ａ＋Ｅ−２Ｃ） ・・・（２）
【００５２】
アップコンバート素材判定部１３１は、フィールド間画素値差分の総和ΣＶcnとフィールド内画素値差分の総和ΣＶｎとの比ΣＶcn／ΣＶｎを閾値Ｔｈａと比較する。そして、アップコンバート素材判定部１３１は、その比較結果に基づいて、インターレース方式の入力画像データＶinが低品質アップコンバート素材であるか否かを判定する。低品質アップコンバート素材の場合、あるフィールドとそれに隣接するフィールドとの間で、垂直方向における画素の近さと画素値の近さとが一致しなくなる、横筋発生状態が存在する。
【００５３】
このように横筋発生状態が存在しているとき、フィールド間画素値差分の総和ΣＶcnはフィールド内画素値差分の総和ΣＶｎより大きくなる。そのため、比ΣＶcn／ΣＶｎは、１より大きくなる。閾値Ｔｈａは、１より大きな所定の値に設定される。アップコンバート素材判定部１３１は、比ΣＶcn／ΣＶｎが閾値Ｔｈａを越えるとき、インターレース方式の入力画像データＶinが低品質アップコンバート素材であると判定し、高レベルの信号「１」を出力する。また、アップコンバート素材判定部１３１は、比ΣＶcn／ΣＶｎが閾値Ｔｈａ以下のとき、インターレース方式の入力画像データＶinが低品質アップコンバート素材でないと判定し、低レベルの信号「１」を出力する。
【００５４】
アップコンバート素材判定部１３１は、フィールド間画素値差分の総和ΣＶcnの演算と、フィールド内画素値差分の総和ΣＶｎの演算を自身で行うこともできる。しかし、この実施の形態において、フィールド間画素値差分の総和ΣＶcnの演算と、フィールド内画素値差分の総和ΣＶｎの演算は、上述したＩ／Ｐ変換部１１０で行われる。アップコンバート素材判定部１３１は、Ｉ／Ｐ変換部１１０から、総和ΣＶcn，ΣＶｎを受け取り、比ΣＶcn／ΣＶｎを計算し、上述したように閾値Ｔｈａと比較して判定を行う。
【００５５】
有効性判定部１３２は、フィールド毎に、上述のアップコンバート素材判定部１３１の判定出力の有効性を判定する。例えば、入力画像データＶinが上述のフィルム（Film）素材である場合、この入力画像データＶinが低品質アップコンバート素材でなくても、フィールド間画素値差分の総和ΣＶcnがフィールド内画素値差分の総和ΣＶｎより大きくなることがある。
【００５６】
上述したように、総和ΣＶcn，ΣＶｎは、現在（Next）および１フィールド前（Current）の２フィールドの画像データを用いて算出される。この２フィールドがペアを構成していない場合（図４のCurrent時制がＡｅフィールドの場合参照）、入力画像データＶinが低品質アップコンバート素材でなくても、ΣＶcn＞ΣＶｎとなることがある。
【００５７】
入力画像データＶinがフィルム（Film）素材である場合、有効性判定部１３２には、上述したように、Ｉ／Ｐ変換部１１０から、各フィールドにおいて、ペア判定情報ＰＩが送られてくる。このペア情報ＰＩは、現在（Next）および２フィールド前（Past）のどちらのフィールドが、１フィールド前（Current）のフィールドとペアを構成するかを示している。
【００５８】
そのため、有効性判定部１３２は、入力画像データＶinがフィルム（Film）素材である場合、フィールド毎に、ペア判定情報ＰＩに基づいて、上述のアップコンバート素材判定部１３１の判定出力の有効性を判定する。この場合、有効性判定部１３２は、現在（Next）のフィールドがペアを構成するとき、有効と判定し、判定出力として高レベルの信号「１」を出力する。また、有効性判定部１３２は、２フィールド前（Past）のフィールドがペアを構成するとき、判定出力を行わない。
【００５９】
また、例えば、入力画像データＶinが上述のビデオ（Video）素材である場合、この入力画像データＶinが低品質アップコンバート素材でなくても、フィールド間画素値差分の総和ΣＶcnがフィールド内画素値差分の総和ΣＶｎより大きくなることがある。上述したように、総和ΣＶcn，ΣＶｎは、現在（Next）および１フィールド前（Current）の２フィールドの画像データを用いて算出される。各フィールドの画像に動きがある動き時の場合、入力画像データＶinが低品質アップコンバート素材でなくても、ΣＶcn＞ΣＶｎとなることがある。
【００６０】
入力画像データＶinがビデオ（Video）素材である場合、有効性判定部１３２には、上述したように、Ｉ／Ｐ変換部１１０から、各フィールドにおいて、画面全体で静止と判定された画素の数を示す数情報ＭＩが送られてくる。そのため、有効性判定部１３２は、入力画像データＶinがビデオ（Video）素材である場合、フィールド毎に、数情報ＭＩに基づいて、上述のアップコンバート素材判定部１３１の判定出力の有効性を判定する。この場合、有効性判定部１３２は、画面全体で静止と判定された画素の数が所定の閾値Ｔｈｂを越えるとき、有効と判定し、判定出力として高レベルの信号「１」を出力する。また、有効性判定部１３２は、画面全体で静止と判定された画素の数が所定の閾値Ｔｈｂ以下のとき、無効と判定し、判定出力として低レベルの信号「０」を出力する。
【００６１】
なお、閾値Ｔｈｂは、例えば、画面全体の画素の数の８０％程度に設定される。図９は、各フィールドにおける画面全体で静止と判定された画素の数（静止画素数）の変化例を示している。また、この図９において、Ｔｈｂ＝５２６５０であり、静止画素数が５２６５０を越えるフィールドでは、有効と判定される。
【００６２】
アンド回路１３３は、上述のアップコンバート素材判定部１３１の判定出力と、上述の有効性判定部１３２の判定出力の、論理積をとる。すなわち、このアンド回路１３３には、アップコンバート素材判定部１３１および有効性判定部１３２の判定出力が入力される。このアンド回路１３３は、有効性判定部１３２で有効と判定されるフィールドでは、その判定出力が高レベルの信号「１」となることから、アップコンバート素材判定部１３１の判定出力をそのまま出力する。また、このアンド回路１３３は、有効性判定部１３２で無効と判定されるフィールドでは、その判定出力が低レベルの信号「０」となることから、アップコンバート素材判定部１３１の判定出力によらず、低レベルの信号「０」を出力する。
【００６３】
画像処理強度決定部１３５は、インターレース方式の入力画像データＶinの低品質アップコンバート素材らしさを示す検出信号Ｓdetを出力する。この実施の形態において、検出信号Ｓdetは、０〜１６の範囲で変化し、値が大きいほど低品質アップコンバート素材らしさが高いことを示す。この画像処理強度決定部１３５は、検出信号出力部を構成している。
【００６４】
画像処理強度決定部１３５は、判定安定化部１３４からフィールド毎に供給される制御信号ＳＣに応じて、検出信号Ｓdetの値を変化させる。すなわち、画像処理強度決定部１３５は、判定安定化部１３４から検出信号Ｓdetの値を上げるように制御する制御信号ＳＣが供給されるとき、検出信号Ｓdetの値を、１ステップだけ大きくする。この場合、検出信号Ｓdetの値が最大値である「１６」にあるときは、その値を保持する。また、画像処理強度決定部１３５は、判定安定化部１３４から検出信号Ｓdetの値を下げるように制御する制御信号ＳＣが供給されるとき、検出信号Ｓdetの値を、１ステップだけ小さくする。この場合、検出信号Ｓdetの値が最小値である「０」にあるときは、その値を保持する。
【００６５】
判定安定化部１３４は、アンド回路１３３の出力に基づいて、アンド回路１３３の出力が確定する毎、すなわち入力画像データＶinがフィルム（Film）素材である場合は現在（Next）のフィールドがペアを構成することとなるフィールド毎、入力画像データＶinがビデオ（Video）素材である場合はフィールド毎に、画像処理強度決定部１３５における検出信号Ｓdetの値を制御する制御信号ＳＣを出力する。
【００６６】
判定安定化部１３４は、フィールド毎に、アンド回路１３３の最新の所定数Ｍのフィールドにおける出力に、高レベルの信号「１」が所定個数Ｎ以上含まれているか判断する。そして、判定安定化部１３４は、高レベルの信号「１」が所定個数Ｎ以上含まれているときは、検出信号Ｓdetの値を上げるように制御する制御信号ＳＣを出力する。また、判定安定化部１３４は、高レベルの信号「１」が所定個数Ｎ以上含まれていないときは、検出信号Ｓdetの値を下げるように制御する制御信号ＳＣを出力する。
【００６７】
図１０は、例えば、入力画像データＶinがビデオ（Video）素材であり、Ｍ＝４、Ｎ＝２に設定された場合において、判定安定化部１３４が出力する制御信号ＳＣの一例を示している。例えば、フィールド（ｉ−４）では、最新の４フィールド内に高レベルの信号「１」が３個含まれている。そのため、判定安定化部１３４は、検出信号Ｓdetの値を上げるように制御する制御信号ＳＣを出力する。また、例えば、フィールドｉでは、最新の４フィールド内に高レベルの信号「１」が１個含まれている。そのため、判定安定化部１３４は、検出信号Ｓdetの値を下げるように制御する制御信号ＳＣを出力する。
【００６８】
図１１は、画像処理強度決定部１３５から出力される検出信号Ｓdetの変化例を示している。上述したように検出信号Ｓdetの値は、判定安定化部１３４からの制御信号ＳＣにより制御されるので、その値は急激には変化しない。なお、図１２は、図１１の例の場合とアンド回路１３３の出力が同じ場合における比較例を示している。この例は、アンド回路１３３の出力が高レベルの信号「１」のとき検出信号Ｓdetを最大値「１６」とし、その出力が低レベルの信号「０」のとき検出信号Ｓdetを最小値「０」とする例である。この例の場合検出信号Ｓdetの値は、「０」から「１６」に、あるいは「１６」から「０」に急激に変化する。
【００６９】
上述していないが、Ｉ／Ｐ変換部１１０は、シーチェンジ判定部１１１を有している。このシーンチェンジ判定部１１１は、フィールド毎に、インターレース方式の入力画像データＶinに基づいて、シーンチェンジか否かを判定する。シーチェンジ判定部１１１は、例えば、現在（Next）および２フィールド前（Past）２フィールドの画像データを用いて判定する。このシーチェンジ判定部１１１は、例えば、現在（Next）フィールドおよび２フィールド前（Past）のフィールドの間の輝度差分絶対値の和が所定の閾値を越えるとき、シーンチェンジであると判定する。
【００７０】
このシーチェンジ判定部１１１の判定出力ＣＩは、アップコンバート素材検出部１３０の画像処理強度決定部１３５に送られる。画像処理強度決定部１３５は、判定出力ＣＩに基づいて、シーンチェンジであるとき、検出信号Ｓdetの値を「０」にリセットする。シーンチェンジがあった場合、素材の切り替わり、すなわち、低品質アップコンバート素材からそうでない素材への切り替わりの可能性があるからである。
【００７１】
画像処理部１２０は、Ｉ／Ｐ変換部１１０で変換されて得られたプログレッシブ方式の画像データＶo1（１０８０ｐ）に対して、アップコンバート素材検出部１３０の検出信号Ｓdetに基づいた処理を行って、出力画像データＶout（１０８０ｐ）を得る。この画像処理部１２０は、ローバスフィルタ１２１と、αブレンド部１２２と、エンハンス部１２３を有している。
【００７２】
ローパスフィルタ１２１は、Ｉ／Ｐ変換部１１０で変換されて得られたプログレッシブ方式の画像データＶo1に、垂直方向のローパスフィルタ処理を施す。αブレンド部１２２は、Ｉ／Ｐ変換部１１０で変換されて得られたプログレッシブ方式の画像データＶo1およびローパスフィルタ１２１でフィルタ処理されたプログレッシブ方式の画像データＶo2を、検出信号Ｓdetに応じた比率で混合する。すなわち、αブレンド部１２２は、出力画像データをＶo3とするとき、以下の（３）式に基づいて、αブレンド処理を行う。この（３）式において、α＝Ｓdet／１６である。
Ｖo3＝（１−α）＊Ｖo1＋α＊Ｖo2 ・・・（３）
【００７３】
この場合、インターレース方式の入力画像データＶinの低品質アップコンバート素材らしさが高い場合には、検出信号Ｓdetの値が大きくなる。そのため、出力画像データＶo3における、垂直方向のローパスフィルタ処理が施された画像データＶo2の混合割合が高くなり、横筋の表示が抑制される。一方、インターレース方式の入力画像データＶinの低品質アップコンバート素材らしさが低い場合には、検出信号Ｓdetの値が小さくなる。そのため、出力画像データＶo3における、垂直方向のローパスフィルタ処理が施された画像データＶo2の混合割合が低くなり、垂直解像度の低下が抑制される。
【００７４】
エンハンス部１２３は、αブレンド部１２２から出力されるプログレッシブ方式の画像データＶo3に対して、高域成分の強調処理を施して、プログレッシブ方式の出力画像データＶout（１０８０ｐ）を出力する。エンハンス部１２３は、アップコンバート素材検出部１３０の検出信号Ｓdetの値が大きくなるほど強調量を小さくする。インターレース方式の入力画像データＶinの低品質アップコンバート素材らしさが高い場合には、画像データに強調すべき高域の成分がなく、横筋表示成分等のノイズ成分だけを強調するおそれがあるからである。
【００７５】
［画像処理装置の動作］
図１に示す画像処理装置１００の動作を説明する。インターレース方式の入力画像データＶin（１０８０ｉ）は、Ｉ／Ｐ変換部１１０に入力される。このＩ／Ｐ変換部１１０では、インターレース方式の入力画像データＶin（１０８０ｉ）が、プログレッシブ方式の画像データＶo1（１０８０ｐ）に変換される。このＩ／Ｐ変換部１１０では、入力画像データＶinがフィルム（Film）素材であるか否かの検出が行われ、入力画像データＶinがフィルム（Film）素材であるかビデオ（Video）素材であるかによって、異なる方法でＩ／Ｐ変換が行われる。
【００７６】
入力画像データＶinがフィルム素材である場合、Ｉ／Ｐ変換部１１０では、各Current時制のフィールドで、ペアを構成する２フィールドの奇数ラインおよび偶数ラインを組み合わせるプルダウン逆変換が行われ、フレーム画像データが得られる。Ｉ／Ｐ変換部１１０では、例えば、１フィールド前（Current）および現在（Next）のフィールドの間の輝度差分絶対値の和（フィールド差分）が用いられ、現在（Next）および２フィールド前（Past）のどちらがペアを構成しているか判定される。
【００７７】
この場合、Ｉ／Ｐ変換部１１０では、フィールド差分が大きいときは２フィールド前（Past）のフィールドがペアであると判定され、一方フィールド差分が小さいときは現在（Next）のフィールドがペアであると判定される。インターレース方式の入力画像データＶinがフィルム素材である場合、各フィールドにおいて、Ｉ／Ｐ変換部１１０からアップコンバート素材検出部１３０に、ペア判定情報ＰＩが送られる。
【００７８】
また、インターレース方式の入力画像データＶin（１０８０ｉ）がビデオ（Video）素材である場合、Ｉ／Ｐ変換部１１０では、フィールド間補間もしくはフィールド内補間により、Current時制の補間画素データが作成される。Ｉ／Ｐ変換部１１０では、Current時制の補間画素データラインが、Current時制の実画素データラインと組み合わせられることで、フレーム画像データが生成される。
【００７９】
Ｉ／Ｐ変換部１１０では、１フィールド前（Current）のフィールドの補間位置に対応する、画像の動きが検出される。そして、画像が静止していると判定される場合、フィールド間補間によりCurrent時制の補間画素データが作成される。一方、画像が動いていると判定される場合、例えば、フィールド内補間により、Current時制の補間画素データが作成される。
【００８０】
入力画像データＶinがビデオ素材である場合、各フィールドにおいて、Ｉ／Ｐ変換部１１０からアップコンバート素材検出部１３０に、画面全体で静止と判定された画素の数（静止画素数）を示す数情報ＭＩが送られる。
【００８１】
アップコンバート素材検出部１３０のアップコンバート素材判定部１３１では、フィールド毎に、インターレース方式の入力画像データＶinが低品質アップコンバート素材であるか否かが判定される。このアップコンバート素材検出部１３０には、Ｉ／Ｐ変換部１１０から、フィールド間画素値差分の総和ΣＶcnと、フィールド内画素値差分の総和ΣＶｎが供給される。アップコンバート素材判定部１３１では、総和ΣＶcn，ΣＶｎの比ΣＶcn／ΣＶｎが閾値Ｔｈａと比較され、その比較結果に基づいて、インターレース方式の入力画像データＶinが低品質アップコンバート素材であるか否かが判定される。
【００８２】
インターレース方式の入力画像データＶinが低品質アップコンバート素材であって横筋表示状態が発生しているとき、フィールド間画素値差分の総和ΣＶcnはフィールド内画素値差分の総和ΣＶｎより大きくなる。アップコンバート素材判定部１３１では、比ΣＶcn／ΣＶｎが閾値Ｔｈａ（＞１）を越えるとき、インターレース方式の入力画像データＶinが低品質アップコンバート素材であると判定され、高レベルの信号「１」が出力される。また、アップコンバート素材判定部１３１では、比ΣＶcn／ΣＶｎが閾値Ｔｈａ以下のとき、インターレース方式の入力画像データＶinが低品質アップコンバート素材でないと判定され、低レベルの信号「１」が出力される。
【００８３】
有効性判定部１３２では、フィールド毎に、上述のアップコンバート素材判定部１３１の判定出力の有効性が判定される。上述の総和ΣＶcn，ΣＶｎは、現在（Next）および１フィールド前（Current）の２フィールドの画像データを用いて算出される。入力画像データＶinが上述のフィルム（Film）素材である場合、この２フィールドがペアを構成していない場合、入力画像データＶinが低品質アップコンバート素材でなくても、ΣＶcn＞ΣＶｎとなることがある。
【００８４】
入力画像データＶinが上述のフィルム（Film）素材である場合、Ｉ／Ｐ変換部１１０から有効性判定部１３２に、各フィールドにおいて、ペア判定情報ＰＩが送られてくる。有効性判定部１３２では、ペア判定情報ＰＩに基づいて、上述のアップコンバート素材判定部１３１の判定出力の有効性が判定される。そして、有効性判定部１３２では、現在（Next）のフィールドがペアを構成するとき、有効と判定され、判定出力として高レベルの信号「１」が出力される。また、有効性判定部１３２では、２フィールド前（Past）のフィールドがペアを構成するとき、判定出力を行わない。
【００８５】
また、上述したように、総和ΣＶcn，ΣＶｎは、現在（Next）および１フィールド前（Current）の２フィールドの画像データを用いて算出される。入力画像データＶinが上述のビデオ（Video）素材である場合、各フィールドの画像に動きがある動き時の場合、入力画像データＶinが低品質アップコンバート素材でなくても、ΣＶcn＞ΣＶｎとなることがある。
【００８６】
入力画像データＶinがビデオ素材である場合、Ｉ／Ｐ変換部１１０から有効性判定部１３２に、有効性判定部１３２には、上述したように、Ｉ／Ｐ変換部１１０から、各フィールドにおいて、画面全体で静止と判定された画素の数を示す数情報ＭＩが送られてくる。有効性判定部１３２では、数情報ＭＩに基づいて、上述のアップコンバート素材判定部１３１の判定出力の有効性を判定する。そして、有効性判定部１３２では、画面全体で静止と判定された画素の数が所定の閾値Ｔｈｂを越えるとき、有効と判定され、判定出力として高レベルの信号「１」が出力される。また、有効性判定部１３２では、画面全体で静止と判定された画素の数が所定の閾値Ｔｈｂ以下のとき、無効と判定され、判定出力として低レベルの信号「０」が出力される。
【００８７】
アップコンバート素材判定部１３１の判定出力および有効性判定部１３２の判定出力は、アンド回路１３３に供給される。このアンド回路１３３では、双方の判定出力の論理積をとられる。このアンド回路１３３では、有効性判定部１３２で有効と判定されるフィールドでは、その判定出力が高レベルの信号「１」となることから、アップコンバート素材判定部１３１の判定出力がそのまま出力される。また、このアンド回路１３３では、有効性判定部１３２で無効と判定されるフィールドでは、その判定出力が低レベルの信号「０」となることから、アップコンバート素材判定部１３１の判定出力によらず、低レベルの信号「０」が出力される。このアンド回路１３３の出力は、判定安定化部１３４に供給される。
【００８８】
判定安定化部１３４では、アンド回路１３３の出力に基づいて、アンド回路１３３の出力が確定する毎、すなわち入力画像データＶinがフィルム（Film）素材である場合は現在（Next）のフィールドがペアを構成することとなるフィールド毎、入力画像データＶinがビデオ（Video）素材である場合はフィールド毎に、画像処理強度決定部１３５における検出信号Ｓdetの値を制御する制御信号ＳＣが得られる。
【００８９】
この判定安定化部１３４では、フィールド毎に、アンド回路１３３の最新の所定数Ｍのフィールドにおける出力に、高レベルの信号「１」が所定個数Ｎ以上含まれているか判断される。そして、この判定安定化部１３４では、高レベルの信号「１」が所定個数Ｎ以上含まれているときは、検出信号Ｓdetの値を上げるように制御する制御信号ＳＣが出力される。また、判定安定化部１３４では、高レベルの信号「１」が所定個数Ｎ以上含まれていないときは、検出信号Ｓdetの値を下げるように制御する制御信号ＳＣが出力される。
【００９０】
上述したように判定安定化部１３４から出力される制御信号ＳＣは、画像処理強度決定部１３５に供給される。この画像処理強度決定部１３５では、制御信号ＳＣに応じて、検出信号Ｓdetの値が調整される。すなわち、画像処理強度決定部１３５では、検出信号Ｓdetの値を上げるように制御する制御信号ＳＣが供給されるとき、検出信号Ｓdetの値が１ステップだけ大きくされる。また、画像処理強度決定部１３５では、検出信号Ｓdetの値を下げるように制御する制御信号ＳＣが供給されるとき、検出信号Ｓdetの値が１ステップだけ小さくされる。このように、アンド回路１３３と画像強度信号決定部１３５との間に判定安定化部１３４が介在されることで、アンド回路１３３の出力が「１」，「０」の変化が頻繁であっても、検出信号Ｓdetは急激には変化しない。
【００９１】
また、Ｉ／Ｐ変換部１１０のシーチェンジ判定部１１１では、フィールド毎に、インターレース方式の入力画像データＶinに基づいて、シーンチェンジか否かの判定が行われる。このシーチェンジ判定部１１１の判定出力ＣＩは、画像処理強度決定部１３５に送られる。画像処理強度決定部１３５では、判定出力ＣＩに基づいて、シーンチェンジであるとき、検出信号Ｓdetの値が「０」にリセットされる。シーンチェンジがあった場合、素材の切り替わり、すなわち、低品質アップコンバート素材からそうでない素材への切り替わりの可能性があるからである。
【００９２】
画像処理部１２０では、Ｉ／Ｐ変換部１１０で変換されたプログレッシブ方式の画像データＶo1（１０８０ｐ）に対して、アップコンバート素材検出部１３０の検出信号Ｓdetに基づいた処理が行われて、出力画像データＶout（１０８０ｐ）が得られる。すなわち、Ｉ／Ｐ変換部１１０から出力される出力画像データＶo1は直接αブレンド部１２２に供給される。また、Ｉ／Ｐ変換部１１０から出力される出力画像データＶo1は、ローパスフィルタ１２１に供給される。そして、このローパスフィルタ１２１で垂直ローパスフィルタ処理が施されて得られた画像データＶo2はαブレンド部１２２に供給される。
【００９３】
このαブレンド部１２２には、アップコンバート素材検出部１３０の検出信号Ｓdetが供給される。このαブレンド部１２２では、画像データＶo1および画像データＶoが検出信号Ｓdetに応じた比率で混合されて、出力画像データＶo3が得られる（（３）式参照）。この場合、インターレース方式の入力画像データＶinの低品質アップコンバート素材らしさが高い場合には、検出信号Ｓdetの値が大きくなる。そのため、出力画像データＶo3における、垂直方向のローパスフィルタ処理が施された画像データＶo2の混合割合が高くされ、横筋の表示が抑制される。一方、インターレース方式の入力画像データＶinの低品質アップコンバート素材らしさが低い場合には、検出信号Ｓdetの値が小さくなる。そのため、出力画像データＶo3における、垂直方向のローパスフィルタ処理が施された画像データＶo2の混合割合が低くされ、垂直解像度の低下が抑制される。
【００９４】
αブレンド部１２２の出力データＶo3は、エンハンス部１２３に供給される。このエンハンス部１２３には、アップコンバート素材検出部１３０の検出信号Ｓdetが供給される。エンハンス部１２３では、αブレンド部１２２から出力されるプログレッシブ方式の画像データＶo3に対して、高域成分の強調処理が施されて、プログレッシブ方式の出力画像データＶoutが得られる。このエンハンス部１２３では、検出信号Ｓdetの値が大きくなるほど強調量が小さくされる。インターレース方式の入力画像データＶinの低品質アップコンバート素材らしさが高い場合には、画像データに強調すべき高域の成分がなく、横筋表示成分などのノイズ成分だけを強調するおそれがあるからである。
【００９５】
図１３のフローチャートは、図１に示す画像処理装置１００における１フィールド分の処理手順を概略的に示している。
画像処理装置１００は、ステップＳＴ１において、処理を開始し、その後に、ステップＳＴ２の処理に移る。このステップＳＴ２において、画像処理装置１００は、Ｉ／Ｐ変換部１１０により、インターレース方式の入力画像データＶin（１０８０ｉ）を、プログレッシブ方式の画像データＶo1（１０８０ｐ）に変換する。
【００９６】
次に、画像処理装置１００は、ステップＳＴ３において、アップコンバート素材判定部１３１により、インターレース方式の入力画像データＶinが低品質アップコンバート素材であるか否かの判定を行う。そして、画像処理装置１００は、ステップＳＴ４において、有効性判定部１３２により、ステップＳＴ３における判定の有効性を判定する。
【００９７】
次に、画像処理装置１００は、ステップＳＴ５において、ステップＳＴ４の有効性判定の結果が有効か否かを判断する。有効性判定結果が有効であるとき、画像処理装置１００は、ステップＳＴ６において、判定安定化部１３４により、ステップＳＴ３の判定結果をそのまま使用して、判定安定化処理を行う。一方、有効性判定結果が有効でないとき、画像処理装置１００は、ステップＳＴ７において、判定結果を「０」とし、その後に、ステップＳＴ６において、判定安定化部１３４により、判定安定化処理を行う。
【００９８】
次に、画像処理装置１００は、ステップＳＴ８において、シーンチェンジか否かを判断する。シーンチェンジでないとき、画像処理装置１００は、ステップＳＴ９において、画像処理強度決定部１３５により、判定安定化処理の結果を用いて、画像処理強度、つまり低品質アップコンバート素材らしさを示す検出信号Ｓdetを決定する。一方、シーンチェンジであるとき、画像処理装置１００は、ステップＳＴ１０において、画像処理強度を０（Ｓdet＝０）にする。
【００９９】
次に、画像処理装置１００は、ステップＳＴ１１において、画像処理部１２０により、画像処理強度（検出信号Ｓdet）に応じた横筋抑制処理、エンハンス処理などの処理を行う。そして、画像処理装置１００は、ステップＳＴ１１の処理の後、ステップＳＴ１２において、処理を終了する。
【０１００】
図１に示す画像処理装置１００において、アップコンバート素材検出部１３０では、フィールド間画素値差分の総和ΣＶcnとフィールド内画素値差分の総和ΣＶｎとの比に基づいて入力画像データＶinの低品質アップコンバート素材らしさが検出される。そして、画像処理部１２０では、アップコンバート素材検出部１３０で得られる検出信号Ｓdetに基づいて、Ｉ／Ｐ変換部１１０で変換されて得られたプログレッシブ方式の画像データＶo1が処理されて、出力画像データＶoutが得られる。したがって、低品質アップコンバート素材の検出を高精度に行うことができ、画質改善を良好に行うことができる。
【０１０１】
また、図１に示す画像処理装置１００において、アップコンバート素材検出部１３０では、アンド回路１３３と画像処理強度決定部１３５との間に、判定安定化部１３４が介在されている。そのため、アンド回路１３３の出力が、「１」から「０」に、あるいは「０」から「１」に変化したとしても、画像処理強度決定部１３５から出力される低品質アップコンバート素材らしさを示す検出信号Ｓdetが急激に変化することはない。したがって、例えば、画像処理部１２０において、ローパスフィルタ処理を施して得られた画像データＶo2の混合割合が急激に変化することが防止され、画像処理の切り替わりが目立つことを回避できる。
【０１０２】
また、図１に示す画像処理装置１００において、アップコンバート素材検出部１３０では、有効性判定部１３２によりアップコンバート素材判定部１３１の判定出力の有効性が判定される。そして、判定安定化部１３４では、有効性判定部１３２で有効でないと判定されるフィールドに関しては、アップコンバート素材判定部１３１の判定出力が「１」であるか「０」であるかによらず、「０」が使用される。したがって、画像処理強度決定部１３５から出力される低品質アップコンバート素材らしさを示す検出信号Ｓdetの精度を高めることができる。
【０１０３】
また、図１に示す画像信号処理装置１００において、アップコンバート素材検出部１３０の画像処理強度決定部１３５では、シーンチェンジであると判定されたとき、検出信号Ｓdetが最小値にリセットされる。したがって、低品質アップコンバート素材でない素材に切り替わった場合に、例えば、画像処理部１２０において、ローパスフィルタ処理を施して得られた画像データＶo2の混合を直ちに停止でき、無駄に垂直解像度が劣化されることを回避できる。
【０１０４】
また、図１に示す画像信号処理装置１００において、画像処理部１２０では、Ｉ／Ｐ変換部１１０の出力画像データＶo1およびフィルタ処理が施された画像データＶo2が、アップコンバート素材検出部１３０の検出信号Ｓdetに応じた比率で混合される。そのため、低品質アップコンバート素材らしさが高い場合、画像データＶo2の混合割合が高くされ、横筋の表示を良好に抑制できる。また、低品質アップコンバート素材らしさが低い場合には、画像データＶo2の混合割合が低くされ、垂直解像度の低下を回避できる。
【０１０５】
＜２．変形例＞
なお、上述実施の形態においては、図８に示す各画素のデータを用いて、フィールド間画素値差分Ｖcnおよびフィールド内画素値差分Ｖｎが求められている。すなわち、フィールド間画素値差分Ｖcnは、現在（Next）のフィールドの注目画素Ｃおよびこの注目画素Ｃに対して垂直方向に隣接した１フィールド前（Current）のフィールドの画素Ｂ，Ｄのデータにより求められる。また、フィールド内画素値差分Ｖｎを、現在（Next）のフィールドの注目画素Ｃおよびこの注目画素Ｃに対して垂直方向に隣接した現在（Next）のフィールドの画素Ａ，Ｅのデータにより求められる。しかし、フィールド間画素値差分Ｖcnおよびフィールド内画素値差分Ｖｎを、現在（Next）および１フィールド前（Current）のフィールドの各画素を逆にして求めてもよい。
【０１０６】
また、上述実施の形態においては、フィルム（Film）素材として、１秒間が２４フレームのプログレッシブ方式の画像データを２−３プルダウン方式によって変換して作成されたものを示した。しかし、１秒間が３０フレームのプログレッシブ方式の画像データを２−２プルダウン方式によって変換して作成されたフィルム（Film）素材についても、この発明を同様に適用できることは勿論である。
【０１０７】
また、上述実施の形態において、画像処理装置１２０では、αブレンドによる横筋抑制処理およびエンハンス処理が行われる。しかし、アップコンバート素材検出部１３０からの低品質アップコンバート素材らしさの検出信号Ｓdetに基づいて行われる処理は、これに限定されない。
【産業上の利用可能性】
【０１０８】
この発明は、横筋を発生させるような低品質アップコンバート素材の検出を精度よく行って画質改善を良好に行うことができるものであり、例えばテレビ受信機において受信画像データを処理する画像処理装置等に適用できる。
【符号の説明】
【０１０９】
１００・・・画像処理装置、１１０・・・Ｉ／Ｐ変換部、１１１・・・シーンチェンジ判定部、１２０・・・画像処理部、１２１・・・ローパスフィルタ、１２２・・・αブレンド部、１２３・・・エンハンス部、１３０・・・アップコンバート素材検出部、１３１・・・アップコンバート素材判定部、１３２・・・有効性判定部、１３３・・・アンド回路、１３４・・・判定安定化部、１３５・・・画像処理強度決定部
【特許請求の範囲】
【請求項１】
インターレース方式の入力画像データをプログレッシブ方式の画像データに変換するインターレース／プログレッシブ変換部と、
上記インターレース方式の入力画像データの低品質アップコンバート素材らしさを検出するアップコンバート素材検出部と、
上記インターレース／プログレッシブ変換部で変換されて得られたプログレッシブ方式の画像データに対して上記アップコンバート素材検出部の検出信号に基づいた処理を行って出力画像データを得る画像処理部を備え、
上記アップコンバート素材検出部は、フィールド毎に、連続する第１のフィールドおよび第２のフィールドの画像データを用い、所定領域内の画素を順次注目画素として得られる、上記第１のフィールドの注目画素および該注目画素に対して垂直方向に隣接した上記第２のフィールドの画素の画素データによるフィールド間画素値差分の総和と、上記第１のフィールドの注目画素および該注目画素に対して垂直方向に隣接した該第１のフィールドの画素の画素データによるフィールド内画素値差分の総和との比に基づいて、上記低品質アップコンバート素材らしさを検出する
画像処理装置。
【請求項２】
上記アップコンバート素材検出部は、
上記フィールド間画素値差分の総和を第１の総和とし、上記フィールド内画素値差分の総和を第２の総和として、上記第１の総和と上記第２の総和との比が所定の閾値を越えるとき第１の判定出力を出力し、該比が上記所定の閾値以下のとき第２の判定出力を出力するアップコンバート素材判定部と、
上記低品質アップコンバート素材らしさを示す検出信号を出力する検出信号出力部と、
フィールド毎に、上記アップコンバート素材判定部の最新の所定数のフィールドにおける判定出力に、上記第１の判定出力が所定個数以上含まれているか判断し、所定個数以上含まれているとき上記検出信号の値を上げ、所定個数以上含まれていないとき上記検出信号の値を下げるように上記検出信号出力部を制御する判定安定化部を有する
請求項１に記載の画像処理装置。
【請求項３】
上記アップコンバート素材検出部は、フィールド毎に、上記アップコンバート素材判定部の判定出力の有効性を判定する有効性判定部をさらに有し、
上記判定安定化部は、上記有効性判定部で有効であると判定されるフィールドに関しては上記アップコンバート素材判定部から出力される判定出力を使用し、上記有効性判定部で有効でないと判定されるフィールドに関しては上記第２の判定出力を使用する
請求項２に記載の画像処理装置。
【請求項４】
上記有効性判定部は、
上記インターレース方式の入力画像データが、１秒間が２４フレームまたは３０フレームのプログレッシブ方式の画像データを２−３プルダウン方式または２−２プルダウン方式によって変換して作成されたインターレース方式の画像データであるとき、
上記第１のフィールドおよび上記第２のフィールドが同一のフレームの画像データから作成されているフィールドにおいて有効であると判定する
請求項３に記載の画像処理装置。
【請求項５】
上記有効性判定部は、
上記インターレース方式の入力画像データが、１秒間が２４フレームまたは３０フレームのプログレッシブ方式の画像データを２−３プルダウン方式または２−２プルダウン方式によって変換して作成されたインターレース方式の画像データでないとき、
フィールド毎に静止時のフィールドであるか判断し、静止時のフィールドにおいては有効であると判定する
請求項３に記載の画像処理装置。
【請求項６】
上記インターレース方式の入力画像データに基づいてシーンチェンジか否かを判定するシーンチェンジ判定部をさらに備え、
上記検出信号出力部は、上記シーンチェンジ判定部でシーンチェンジであると判定されたとき、上記検出信号を最小値にリセットする
請求項２に記載の画像処理装置。
【請求項７】
上記画像処理部は、
上記インターレース／プログレッシブ変換部で変換されて得られたプログレッシブ方式の画像データおよび該画像データに垂直方向のローパスフィルタ処理を施して得られた画像データを、上記アップコンバート素材検出部の検出信号に応じた比率で混合して、出力画像データを得る
請求項１に記載の画像処理装置。
【請求項８】
インターレース方式の入力画像データをプログレッシブ方式の画像データに変換するインターレース／プログレッシブ変換ステップと、
上記インターレース方式の画像データの低品質アップコンバート素材らしさを検出するアップコンバート素材検出ステップと、
上記インターレース／プログレッシブ変換ステップで変換されて得られたプログレッシブ方式の画像データを、上記アップコンバート部材検出ステップの検出信号に基づいて処理を行って出力画像データを得る画像処理ステップを備え、
上記アップコンバート素材検出ステップでは、フィールド毎に、連続する第１のフィールドおよび第２のフィールドの画像データを用い、所定領域内の画素を順次注目画素として得られる、上記第１のフィールドの注目画素および該注目画素に対して垂直方向に隣接した上記第２のフィールドの画素の画素データによるフィールド間画素差分値の総和と、上記第１のフィールドの注目画素および該注目画素に対して垂直方向に隣接した該第１のフィールドの画素の画素データによるフィールド内画素差分値の総和との比に基づいて、上記低品質アップコンバート素材らしさを検出する
画像処理方法。
【請求項１】
インターレース方式の入力画像データをプログレッシブ方式の画像データに変換するインターレース／プログレッシブ変換部と、
上記インターレース方式の入力画像データの低品質アップコンバート素材らしさを検出するアップコンバート素材検出部と、
上記インターレース／プログレッシブ変換部で変換されて得られたプログレッシブ方式の画像データに対して上記アップコンバート素材検出部の検出信号に基づいた処理を行って出力画像データを得る画像処理部を備え、
上記アップコンバート素材検出部は、フィールド毎に、連続する第１のフィールドおよび第２のフィールドの画像データを用い、所定領域内の画素を順次注目画素として得られる、上記第１のフィールドの注目画素および該注目画素に対して垂直方向に隣接した上記第２のフィールドの画素の画素データによるフィールド間画素値差分の総和と、上記第１のフィールドの注目画素および該注目画素に対して垂直方向に隣接した該第１のフィールドの画素の画素データによるフィールド内画素値差分の総和との比に基づいて、上記低品質アップコンバート素材らしさを検出する
画像処理装置。
【請求項２】
上記アップコンバート素材検出部は、
上記フィールド間画素値差分の総和を第１の総和とし、上記フィールド内画素値差分の総和を第２の総和として、上記第１の総和と上記第２の総和との比が所定の閾値を越えるとき第１の判定出力を出力し、該比が上記所定の閾値以下のとき第２の判定出力を出力するアップコンバート素材判定部と、
上記低品質アップコンバート素材らしさを示す検出信号を出力する検出信号出力部と、
フィールド毎に、上記アップコンバート素材判定部の最新の所定数のフィールドにおける判定出力に、上記第１の判定出力が所定個数以上含まれているか判断し、所定個数以上含まれているとき上記検出信号の値を上げ、所定個数以上含まれていないとき上記検出信号の値を下げるように上記検出信号出力部を制御する判定安定化部を有する
請求項１に記載の画像処理装置。
【請求項３】
上記アップコンバート素材検出部は、フィールド毎に、上記アップコンバート素材判定部の判定出力の有効性を判定する有効性判定部をさらに有し、
上記判定安定化部は、上記有効性判定部で有効であると判定されるフィールドに関しては上記アップコンバート素材判定部から出力される判定出力を使用し、上記有効性判定部で有効でないと判定されるフィールドに関しては上記第２の判定出力を使用する
請求項２に記載の画像処理装置。
【請求項４】
上記有効性判定部は、
上記インターレース方式の入力画像データが、１秒間が２４フレームまたは３０フレームのプログレッシブ方式の画像データを２−３プルダウン方式または２−２プルダウン方式によって変換して作成されたインターレース方式の画像データであるとき、
上記第１のフィールドおよび上記第２のフィールドが同一のフレームの画像データから作成されているフィールドにおいて有効であると判定する
請求項３に記載の画像処理装置。
【請求項５】
上記有効性判定部は、
上記インターレース方式の入力画像データが、１秒間が２４フレームまたは３０フレームのプログレッシブ方式の画像データを２−３プルダウン方式または２−２プルダウン方式によって変換して作成されたインターレース方式の画像データでないとき、
フィールド毎に静止時のフィールドであるか判断し、静止時のフィールドにおいては有効であると判定する
請求項３に記載の画像処理装置。
【請求項６】
上記インターレース方式の入力画像データに基づいてシーンチェンジか否かを判定するシーンチェンジ判定部をさらに備え、
上記検出信号出力部は、上記シーンチェンジ判定部でシーンチェンジであると判定されたとき、上記検出信号を最小値にリセットする
請求項２に記載の画像処理装置。
【請求項７】
上記画像処理部は、
上記インターレース／プログレッシブ変換部で変換されて得られたプログレッシブ方式の画像データおよび該画像データに垂直方向のローパスフィルタ処理を施して得られた画像データを、上記アップコンバート素材検出部の検出信号に応じた比率で混合して、出力画像データを得る
請求項１に記載の画像処理装置。
【請求項８】
インターレース方式の入力画像データをプログレッシブ方式の画像データに変換するインターレース／プログレッシブ変換ステップと、
上記インターレース方式の画像データの低品質アップコンバート素材らしさを検出するアップコンバート素材検出ステップと、
上記インターレース／プログレッシブ変換ステップで変換されて得られたプログレッシブ方式の画像データを、上記アップコンバート部材検出ステップの検出信号に基づいて処理を行って出力画像データを得る画像処理ステップを備え、
上記アップコンバート素材検出ステップでは、フィールド毎に、連続する第１のフィールドおよび第２のフィールドの画像データを用い、所定領域内の画素を順次注目画素として得られる、上記第１のフィールドの注目画素および該注目画素に対して垂直方向に隣接した上記第２のフィールドの画素の画素データによるフィールド間画素差分値の総和と、上記第１のフィールドの注目画素および該注目画素に対して垂直方向に隣接した該第１のフィールドの画素の画素データによるフィールド内画素差分値の総和との比に基づいて、上記低品質アップコンバート素材らしさを検出する
画像処理方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図１０】
【図１３】
【図９】
【図１１】
【図１２】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図１０】
【図１３】
【図９】
【図１１】
【図１２】
【公開番号】特開２０１１−２３８４３（Ｐ２０１１−２３８４３Ａ）
【公開日】平成２３年２月３日（２０１１．２．３）
【国際特許分類】
【出願番号】特願２００９−１６５１９５（Ｐ２００９−１６５１９５）
【出願日】平成２１年７月１４日（２００９．７．１４）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
【公開日】平成２３年２月３日（２０１１．２．３）
【国際特許分類】
【出願日】平成２１年７月１４日（２００９．７．１４）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
[ Back to top ]