ジャダーマップを利用した画像処理装置及びその方法
【課題】 ジャダーマップを利用した画像処理装置及び方法を提供すること。
【解決手段】 ジャダーマップを利用した画像処理装置は、外部から時間的に連続的な複数のフィールドからなるインターレースフォーマットの画像信号を受け取って格納するフィールド格納部と、フィールド格納部から時間的に連続的な複数のフィールドを受け取って、入力画像がフィルムモードの画像であるか否かを検出するフィルム検出部と、フィールド格納部から受け取った時間的に連続する複数のフィールドのうち、隣接する複数のフィールドから所定ピクセルまたは所定ブロックに存在するジャダーを検出してジャダーマップを生成するジャダーマップ生成部と、入力画像がフィルムモードの画像であると判断された場合、ジャダーマップを利用して画像補間を行なって、プログレッシブフォーマットの画像信号を生成／出力する画像補間部と、を備える。
【解決手段】 ジャダーマップを利用した画像処理装置は、外部から時間的に連続的な複数のフィールドからなるインターレースフォーマットの画像信号を受け取って格納するフィールド格納部と、フィールド格納部から時間的に連続的な複数のフィールドを受け取って、入力画像がフィルムモードの画像であるか否かを検出するフィルム検出部と、フィールド格納部から受け取った時間的に連続する複数のフィールドのうち、隣接する複数のフィールドから所定ピクセルまたは所定ブロックに存在するジャダーを検出してジャダーマップを生成するジャダーマップ生成部と、入力画像がフィルムモードの画像であると判断された場合、ジャダーマップを利用して画像補間を行なって、プログレッシブフォーマットの画像信号を生成／出力する画像補間部と、を備える。
【発明の詳細な説明】
【背景技術】
【０００１】
一般に、画像ディスプレイ装置において、インターレーススキャン方式やプログレッシブスキャン方式のうち、いずれかの方式が用いられる。インターレーススキャン方式とは、通常のＴＶなどに用いられ、１つの画像を表示する時、１つのイメージフレームを２つのフィールドに分けて順次交互に画面に表示する方式のことをいう。この時、２つのフィールドは、トップフィールドとボトムフィールド、上位フィールドと下位フィールド、奇数フィールドと偶数フィールドなどと呼ばれる。これに対して、プログレッシブスキャン（あるいはノン・インターレーススキャン）方式とは、コンピュータモニタ、デジタルＴＶなどに用いられ、フィルムをスクリーンに映写するように、１つのイメージフレームをフレーム単位として、全体フレームを１度に表示する方式のことをいう。
【０００２】
例えば、４８０ラインのＮＴＳＣのインターレーススキャン方式では、１つのフレームは２４０ラインに分けられた２つのフィールドに分けられて表示され、このように分けられた２４０ラインのフィールドは、１/６０秒毎に交互に画面に表示される。これに対し、プログレッシブスキャン方式では、４８０ラインのイメージを１/６０秒毎に１度にフレーム全体のイメージを完全に見せる。したがって、プログレッシブスキャン方式によるプログレッシブフォーマットの画像は、インターレーススキャン方式によるインターレースフォーマットの画像に比べて画質に優れる。
【０００３】
このようなプログレッシブスキャン方式と最も密接な関係があるものがフィルムで製作された映画であり、これは最近発売されている殆どのＤＶＤ映画タイトルのオリジナルソースがまさにフィルムで製作された映画であるからである。映画の場合、ＮＴＳＣ ＴＶの場合とは異なり、秒当たり２４フレームで製作される。もちろん、ＤＶＤの場合、オリジナル映画と同様に２４フレームのオリジナルイメージを直ちにＤＶＤに製作することも可能である。しかし、現在普及されている一般的なＴＶのような画像ディスプレイ装置の多くがインターレーススキャン方式の装置であるゆえに、現実的にＤＶＤはこのような点を考慮し、インターレーススキャン方式で製作されるようになる。
【０００４】
したがって、２４フレームのプログレッシブフォーマットのフィルムを６０フィールドのインターレースフォーマットの画像に転換させる作業が必要となり、これを３：２プルダウンあるいはテレシネという。３：２プルダウン方法とは、２枚の２４Ｈｚフレームを５枚の６０Ｈｚフィールドに変換させる技法である。一方、映画フィルムをＰＡＬ方式またはＳＥＣＡＭ方式のＴＶに伝送する場合には、秒当たり２５画面から５０フィールドを得なければならないので、それぞれのフレームに対して２フィールドを得れば良い。このように、ぞれぞれのフレームに対して２フィールドを走査する方式を２：２プルダウン方式という。
【０００５】
図１は、３：２プルダウン方式を説明するための図である。図１に示すように、秒当たり２４フレームのプログレッシブフォーマットで製作された画像は、６０Ｈｚのインターレースフォーマットの画像に変換される。すなわち、同図に示すように、最初のフレームであるフレーム１から３つのフィールドが生成され、第２のフレームであるフレーム２から２つのフィールドが生成される等、全体的に２つのフレーム当たり５つのフィールドが生成される。
【０００６】
ところで、プログレッシブスキャン方式を用いる画像ディスプレイ装置が増加されると共に、互いに異なるスキャン方式を用いる装置同士の間のデータ交換の必要性が増えるにつれて、インターレーススキャン方式をプログレッシブスキャン方式に変換するＩＰＣ（Interlaced-to-Progressive Conversion）方法が必要となる。このようなＩＰＣ処理過程の中で、補間するフィールドが３：２プルダウンされて生成された３：２プルダウンフォーマットの画像であるということが分かれば、インターレースフォーマットのフィールドを組み合わせて、３：２プルダウンされる前の完全なプログレッシブフォーマットの画像を容易に得ることができる。したがって、ＩＰＣ方法の実行に先立ち、補間するフィールドが３：２プルダウン画像であるか否かを検出する必要が生じる。このような３：２プルダウンフォーマットの画像を検出する方法に対しては、多様な先行技術が存在する。
【０００７】
従来の技術に係る３：２プルダウン画像の検出過程を説明すれば、次の通りである。
【０００８】
３：２プルダウンで検出された１０個のフィールドをそれぞれＦ１、Ｆ２、Ｆ３、Ｆ４、Ｆ５、Ｆ６、Ｆ７、Ｆ８、Ｆ９、Ｆ１０とする場合、ＳＡＤ（Sum of Absolute Difference）の周期が５であるという点を利用して、３：２プルダウンイメージを検出する。すなわち、２フィールドを周期としてＳＡＤを求めれば、Ｆ１−Ｆ３、Ｆ６−Ｆ８のＳＡＤは極めて小さくなる（若し、ノイズがないならば、ＳＡＤは０に近づく。ここで、ＳＡＤが極めて小さくなる理由は、繰り返されたフィールドから本来のフィールドを引き算するからである。このような規則性を利用し３：２プルダウンイメージ検出では、常に１/３０秒間隔だけ離れた２フィールドを画素別に引き算して絶対値を取り、その値を全ての画素に対して合算した結果を中間データにする。例えば、｜Ｆ１−Ｆ３｜＝Ｄ１、｜Ｆ２−Ｆ４｜＝Ｄ２、｜Ｆ３−Ｆ４｜＝Ｄ３．．．などと仮定すれば、ＳＡＤ値であるＤ１とＤ６は極めて小さい値を有するようになり、残りの値は極めて大きい値を有するようになる。また、それぞれのＳＡＤ値は、小、大、大、大、大のような規則性を有するようになる。
【０００９】
しかし、画面の編集などにより、上記のＳＡＤ値の規則性がなくなり得るし、この場合、逆プルダウン変換の際にジャダー（judder）が発生できる。また、プルダウン規則に反するＣＧＩ（Computer Graphic Imagery）や字幕（サブタイトル）などでジャダーが発生するという問題がある。
【発明の開示】
【発明が解決しようとする課題】
【００１０】
本発明は、上述した問題点を解決するためになされたものであって、その目的は、プールダウン規則に反するＣＧＩや字幕などに発生するジャダーを防止できる、ジャダーマップを利用した画像処理装置及びその方法を提供することにある。
【課題を解決するための手段】
【００１１】
前記の目的を達成するための本発明に係るジャダーマップを利用した画像処理装置は、外部から時間的に連続的な複数のフィールドからなるインターレースフォーマットの画像信号を受け取って格納するフィールド格納部と、フィールド格納部から時間的に連続的な複数のフィールドを受け取って、入力画像がフィルムモードの画像であるか否かを検出するフィルム検出部と、フィールド格納部から受け取った時間的に連続する複数のフィールドのうち、隣接する複数のフィールドから所定ピクセルまたは所定ブロックに存在するジャダーを検出してジャダーマップを生成するジャダーマップ生成部と、入力画像がフィルムモードの画像であると判断された場合、ジャダーマップを利用して画像補間を行なって、プログレッシブフォーマットの画像信号を生成／出力する画像補間部と、を備えることが好ましい。
【００１２】
ここで、フィールド格納部が、現在補間するフィールドである現在フィールドを格納するための現在フィールド格納部と、前記現在フィールドに時間的に前後に位置する以前フィールド及び次のフィールドを格納するための以前フィールド格納部及び次のフィールド格納部と、を備えることが好ましい。
【００１３】
ここで、ジャダーマップ生成部が、隣接するフィールドの連続的な３つのラインのピクセル値がジャダー特性を有するか否かを判別し、ピクセル単位でジャダーを検出するピクセル単位ジャダー検出部と、ピクセル単位ジャダー検出部から検出されたジャダー情報に基づいて、ジャダーマップを生成し、生成されたジャダーマップを格納するジャダーマップ格納部と、を備えることが好ましい。
【００１４】
ここで、ピクセル単位ジャダー検出部が、隣接するフィールドの連続的なラインＬi−１、Ｌｉ、Ｌｉ＋１において、水平方向に同じ位置に存在する所定ピクセルに対して中間値を算出する中間値算出部と、i番目のラインＬiの所定ピクセル値と中間値算出部から算出された中間値との差に絶対値を取って、差値を算出する差値算出部と、差値と所定しきい値とを比較した後、差値が所定しきい値より大きければ、i番目のラインＬｉの所定ピクセルにジャダーが存在することと判断し、差値が所定しきい値より小さければ、前記i番目のラインＬｉの所定ピクセルにジャダーが存在しないことと判断する比較部と、を備えることが好ましい。
【００１５】
ここで、ジャダーマップ生成部は、所定大きさのブロックを基準とし、ピクセル単位ジャダー検出部から検出されたジャダーの個数を算出し、算出されたジャダーの個数と所定しきい値とを比較して、前記所定大きさのブロックにジャダーが存在するか否かを判断することにより、ブロック単位でジャダーを検出するブロック単位ジャダー検出部をさらに備えることが好ましい。
【００１６】
ここで、ブロック単位ジャダー検出部は、所定ブロックから算出されたジャダーの個数が所定しきい値より大きい場合、所定ブロックはジャダーが存在することと判断し、所定ブロックから算出されたジャダーの個数が所定しきい値より小さい場合、所定ブロックはジャダーが存在しないことと判断することが好ましい。
【００１７】
ここで、ブロック単位ジャダー検出部は、ピクセル単位ジャダー検出部とジャダーマップ格納部との間に位置することが好ましい。
【００１８】
ここで、ジャダーマップ生成部は、ブロック単位ジャダー検出部により所定ブロックからジャダーが検出されれば、ジャダーが検出されたブロック周りの上下左右４個のブロックをジャダー検出ブロックと見なして、ジャダー検出領域を拡張するジャダー領域拡張部をさらに備えることが好ましい。
【００１９】
ここで、ジャダー領域拡張部は、ブロック単位ジャダー検出部とジャダーマップ格納部との間に位置することが好ましい。
【００２０】
ここで、ジャダー領域拡張部は、ジャダーマップ格納部の後段に位置することが好ましい。
【００２１】
ここで、画像補間部は、入力画像がフィルムモードの画像であり、補間したフィールド内のピクセルまたはブロックからジャダーが検出された場合、ピクセルまたはブロックに対して空間的補間を行なうことが好ましい。
【００２２】
ここで、画像補間部は、入力画像がフィルムモードの画像であり、補間するフィールド内のピクセルまたはブロックからジャダーが検出されない場合、ピクセルまたはブロックに対して時間的補間を行なうことが好ましい。
【００２３】
ここで、画像補間部は、入力画像がフィルムモードの画像でない場合、ジャダー検出されるか否かに関係なく既設定されたＩＰＣによって、時間的補間及び空間的補間を行なうことが好ましい。
【００２４】
また、本発明に係るジャダーマップを利用した画像信号処理方法は、外部から時間的に連続的な複数のフィールドからなるインターレースフォーマットの画像信号を受け取って格納するステップと、入力画像がフィルムモードの画像であるか否かを検出し、隣接する複数のフィールドから所定領域に存在するジャダーを検出してジャダーマップを生成するステップと、入力画像がフィルムモードの画像である場合、ジャダーマップを利用して、補間するフィールド内の所定領域からジャダーが検出されたか否かを判断するステップと、補間するフィールド内の所定領域からジャダーが検出された場合、所定領域に対して空間的補間を行ない、所定領域からジャダーが検出されない場合、所定領域に対して時間的補間を行なって、プログレッシブフォーマットの画像信号を出力するステップと、を含むことが好ましい。
【００２５】
ここで、入力画像がフィルムモードの画像でない場合、既設定されたＩＰＣによって時間的補間及び空間的補間を行なうステップをさらに含むことが好ましい。
【発明の効果】
【００２６】
本発明に係るジャダーマップを利用した画像処理装置によれば、プルダウン規則に反するＣＧＩ（Computer Graphic Imagery）や字幕などにジャダーが発生することを防止できるという効果を奏する。
【発明を実施するための最良の形態】
【００２７】
以下、添付の図面に基づいて本発明の好適な実施形態を詳述する。一方、明細書記述上の便宜のため、同じ構成要素は同じ参照符号を付して説明する。
【００２８】
図２は、本発明に係るジャダーマップを利用した画像処理装置の構成を示すブロック図である。同図に示すように、本発明に係るジャダーマップを利用した画像処理装置２００は、フィールド格納部２１０、ジャダーマップ生成部２３０、フィルム検出部２５０、及び画像補間部２７０を含む。
【００２９】
フィールド格納部２１０は、外部からインターレースフォーマットの画像信号を受け取り、この入力画像は、時間的に連続的な複数のフィールドからなる。この時、現在補間するフィールドを現在フィールドとし、現在フィールドの時間的に前後のフィールドをそれぞれ以前フィールド及び次のフィールドという。以前フィールド及び次のフィールドは、現在フィールドに対する参照フィールドとなる。すなわち、フィールド格納部２１０は、以前フィールドを格納する以前フィールド格納部２１２、現在フィールドを格納する現在フィールド格納部２１４、及び現在フィールド後に順次的に入力された次のフィールドを格納する次のフィールド格納部２１６を備える。
【００３０】
フィルム検出部２５０は、入力画像が３：２または２：２プルダウンにより生成されたフィルム画像であるか否かを検出し、パターン生成部２５５及び決定部２６０を含む。フィルム検出部２５０のパターン生成部２５５は、入力画像のうち、時間的に連続する３つのフィールドに対してフィールド間の画素値の差を計算し、計算された値と所定の第１しきい値Ｔ１とを比較して、パターンを発生させる。
【００３１】
すなわち、パターン生成部２５５は、時間的に連続する第１フィールドと第２フィールドとの間のピクセル値の差を計算し、ピクセル値の差が所定しきい値Ｔ１より大きい場合には、「１」を生成し、所定しきい値Ｔ１より小さい場合には、「０」を生成して、パターンを発生させる。第２フィールドと第３フィールドの場合にも、第１フィールドと第２フィールドの場合と同様に、第２フィールドと第３フィールドとの間のピクセル値の差を計算した後、所定しきい値Ｔ１と比較して、パターンを生成する。
【００３２】
フィルム検出部２５０の決定部２６０は、パターン生成部２５５から生成された入力画像のパターンとフィルムモード画像のパターンとを比較して、入力画像がフィルムモードの画像であるか否かを決定する。フィルム検出部２５０のフィルム検出結果は、画像補間部２７０に提供される。
【００３３】
ジャダーマップ生成部２３０は、フィールド格納部２１０から連続するフィールドを受け取って、隣接する複数のフィールドからピクセル単位またはブロック単位のジャダーマップを生成する。ジャダーマップとは、ジャダーの検出された所定領域が記録された情報のことをいう。
【００３４】
画像補間部２７０は、フィルム検出部２５０から受け取った入力画像がフィルムモードの画像に該当するか否かに関する情報及びジャダーマップ生成部２３０から受け取った入力画像のジャダー情報に基づいて、画像補間を行う。すなわち、画像補間部２７０は、フィルム検出部２５０からフィルムモードの画像が検出されれば、ジャダーマップ生成部２３０から提供されたジャダー情報であるジャダーマップを利用して、ピクセル単位またはブロック単位で画像補間を行う。
【００３５】
画像補間部２７０は、時間補間部２７８、空間補間部２７６、選択部２７２、及びミキサー（ＭＩＸＥＲ）２７４を含む。選択部２７２は、フィルム検出部２５０及びジャダーマップ生成部２３０からそれぞれ提供されたフィルム情報及びジャダー情報に基づいて画像補間を行なうように、ミキサー２７４を制御する。
【００３６】
すなわち、入力画像がフィルムモードの画像でない場合、画像補間部２７０は、通常のＩＰＣ経路によって時間的補間及び空間的補間を行う。
【００３７】
一方、入力画像がフィルムモードの画像である場合、画像補間部２７０はジャダーマップ生成部２３０から提供されたジャダー情報に基づいて、画像補間を行う。すなわち、所定ピクセルまたはブロックからジャダーが検出された場合、ミキサー２７４は、選択部２７２の制御により、空間補間部２７６に格納された現在フィールドに対応するフィールドを持ってきて、画像補間を行なうことにより、最終的にプログレッシブフレームを出力する。
【００３８】
一方、所定ピクセルまたはブロックからジャダーが検出されない場合、ミキサー２７４は、選択部２７２の制御により、時間補間部２７８に格納された以前フィールドや次のフィールドの対応ピクセルまたはブロックを持ってきて、画像補間を行なうことにより、最終的にプログレッシブフレームを出力する。
【００３９】
図３は、本発明の第１実施形態によるジャダーマップ生成部の詳細構成を示すブロック図である。同図に示すように、本発明の第１実施形態によるジャダーマップ生成部２３０は、隣接するフィールドの連続的な３ラインピクセル値がジャダー特性を有するか否かを判別し、所定ピクセルに存在するジャダーを検出するピクセル単位ジャダー検出部２３２、及びピクセル単位ジャダー検出部２３２から検出されたジャダー情報に基づいてジャダーマップを生成した後、これを格納するジャダーマップ格納部２４０を備える。
【００４０】
ピクセル単位ジャダー検出部２３２は、中間値算出部２３４、差値算出部２３６、及び比較部２３８を含む。まず、中間値算出部２３４は、隣接する２フィールドにおいて、連続的な３つのラインに水平方向に同じ位置に存在する所定ピクセルに対して中間値を算出し出力する。３つのラインにおいて、水平方向に同じ位置に存在する所定の各ピクセル値が１０、５、６である場合、中間値算出部２３４は、大きさの順、すなわち、１０、６、５にピクセル値を分類した後、中間値である６を算出するようになる。ここで、連続的な３つのラインとは、隣接する２フィールドが第１フィールドと第２フィールドである場合、第１フィールドのＬｉ−１番目のライン、第２フィールドのＬｉ番目のライン、第１フィールドのＬｉ＋１番目のラインを意味する。
【００４１】
差値算出部２３６は、現在ラインＬｉのピクセル値と中間値算出部２３４から提供された中間値との差を求めて、比較部２３８に出力する。この時、差値は絶対値として、大きさを示すものである。
【００４２】
比較部２３８は、差値算出部２３６から提供された差値と所定第２しきい値Ｔ２とを比較することによって、入力画像に存在するジャダー情報を生成してジャダーマップ格納部２４０に出力する。すなわち、比較部２３８は、差値が所定第２しきい値Ｔ２より大きければ、入力画像にジャダーが存在することと判断し、差値が所定第２しきい値Ｔ２より小さければ、入力画像にジャダーが存在しないことと判断する。比較部２３８で判断されたジャダー情報は、ジャダーマップ格納部２４０に入力され、ジャダーマップ格納部２４０は、ジャダー情報を格納した後、画像補間部２７０に提供する。
【００４３】
図４Ａ〜４Ｃは、本発明の第２実施形態によるジャダーマップ生成部の詳細構成を示すブロック図である。まず、図４Ａに示すように、本発明の第２実施形態によるジャダーマップ生成部２３０は、ピクセル単位ジャダー検出部２３２とジャダーマップ格納部２４０との間にブロック単位ジャダー検出部２４２をさらに含む。
【００４４】
ブロック単位ジャダー検出部２４２は、ハードウェア具現の容易性とジャダー情報の拡張容易性のために、ピクセル単位ジャダー検出部２３２でピクセル単位で判別されたジャダー情報をブロック単位で分析し判別して、その情報をジャダーマップ格納部２４０に出力する。
【００４５】
すなわち、ブロック単位ジャダー検出部２４２は、所定大きさのブロック内から検出されたジャダーの個数を算出し、算出されたジャダーの個数と所定第３しきい値Ｔ３とを比較して、ブロックのジャダー如何を判断する。ここで、所定ブロック内から検出されたジャダーの個数が所定しきい値より大きい場合、そのブロックはジャダーであると判断し、検出されたジャダーの個数が所定しきい値より小さい場合、そのブロックはジャダーでないと判断する。また、ブロックの大きさは製作者が適宜に決めることができる。
【００４６】
次に、図４Ｂと図４Ｃに示すように、本発明の第２実施形態によるジャダー領域拡張部２４５は、ブロック単位ジャダー検出部２４２とジャダーマップ格納部２４０との間に位置したり、ジャダーマップ格納部２４０の後段に位置できる。ジャダー領域拡張部２４５は、ジャダーが分散されずに、エッジ領域に集中的に分布した特性を利用する。
【００４７】
すなわち、ジャダー領域拡張部２４５は、ピクセル単位ジャダー検出部２３２とブロック単位ジャダー検出部２４２とにより所定ブロックからジャダーが検出されれば、ジャダーが検出されたブロック周りの上下左右４個のブロックをジャダー検出ブロックと見なして、ジャダー検出領域を拡張する。
【００４８】
図５は、本発明に係るジャダーマップを利用した画像処理方法の説明に提供されるフローチャートである。同図に示すように、まず、フィールド格納部２１０は、外部の画像ソースからインターレースフォーマットの画像信号を受け取る(Ｓ５１０)。
【００４９】
フィルム検出部２５０は、フィールド格納部２１０から時間的に連続するフィールドを受け取って、入力画像が３：２または２：２プルダウンにより生成されたフィルムモードの画像であるか否かを検出する(Ｓ５２０ａ)。フィルム検出部２５０から検出された入力画像がフィルムモードの画像であるか否かに関する情報は、画像補間部２７０の選択部２７２に提供される。
【００５０】
一方、ジャダーマップ生成部２３０は、フィールド格納部２１０から連続するフィールドを受け取って、隣接する複数のフィールドからピクセル単位またはブロック単位のジャダーマップを生成する（Ｓ５２０ｂ）。ジャダーマップとは、ジャダーの検出された所定領域が記録された情報のことを言う。ジャダーマップ生成部２３０からピクセルまたはブロック単位でジャダーを検出して、ジャダーマップを生成する方法については上述したものと同様であるので、これに対する説明は省略する。このように、ジャダーマップ生成部２３０から生成されたジャダーマップは、画像補間部２７０の選択部２７２に提供される。
【００５１】
ステップＳ５２０ａにおいて、入力画像がフィルムモードの画像でないと判明されれば（Ｓ５３０）、画像補間部２７０は、既設定された通常のＩＰＣ経路によって、時間的補間及び空間的補間を行う（Ｓ５４０）。
【００５２】
一方、ステップＳ５２０ａにおいて、入力画像がフィルムモードの画像であると判明されれば（Ｓ５３０）、画像補間部２７０内の選択部２７２は、ジャダーマップ生成部２３０から提供されたジャダーマップを利用し、現在ピクセルまたはブロックからジャダーが検出されたか否かを確認する（Ｓ５５０）。ここで、ジャダーが検出されたブロックは、図４Ｂ及び図４Ｃに示したジャダー領域拡張部２４５によりジャダーが検出されたものと見なされるブロックも含む。
【００５３】
ステップＳ５５０において、補間したフィールド内のピクセルまたはブロックからジャダーが検出された場合、画像補間部２７０は、ピクセルまたはブロックに対して空間的補間を行なう（Ｓ６６０）。すなわち、ミキサー２７４は、選択部２７２の制御により空間補間部２７６に格納された現在フィールドに対応するフィールドを持ってきて、画像補間を行なうことにより、最終的にプログレッシブフォーマットの画像信号を出力する（Ｓ６８０）。
【００５４】
一方、ステップＳ５５０において、補間するフィールド内のピクセルまたはブロックからジャダーが検出されない場合、画像補間部２７０は、ピクセルまたはブロックに対して時間的補間を行なう（Ｓ６７０）。ミキサー２７４は、選択部２７２の制御により時間補間部２７８に格納された以前フィールドや次のフィールドの対応ピクセルまたはブロックを持ってきて、画像補間を行なうことにより、最終的にプログレッシブフォーマットの画像信号を出力する（Ｓ６８０）。
【００５５】
このような方式により、ＣＧＩや字幕などにジャダーが発生することを防止しながら、インターレースフォーマットの画像信号をプログレッシブフォーマットの画像信号に変換処理することが可能になる。
【００５６】
以上、本発明の原理を例示するために本発明の好適な実施形態について図示し説明したが、本発明は上述した特定の実施形態に限定されるものではなく、特許請求の範囲で請求している本発明の要旨を逸脱することなく、本発明に対する種々の変更及び修正が可能であることは当業者であれば理解できることであろう。よって、そのような変更及び修正は本発明の特許請求の範囲に含まれるものと見なすべきである。
【図面の簡単な説明】
【００５７】
【図１】３：２プルダウンを説明するための図である。
【図２】本発明に係るジャダーマップを利用した画像処理装置の構成を示すブロック図である。
【図３】本発明の第１実施形態によるジャダーマップ生成部の詳細構成を示すブロック図である。
【図４Ａ】本発明の第２実施形態によるジャダーマップ生成部の詳細構成を示すブロック図である。
【図４Ｂ】本発明の第２実施形態によるジャダーマップ生成部の詳細構成を示すブロック図である。
【図４Ｃ】本発明の第２実施形態によるジャダーマップ生成部の詳細構成を示すブロック図である。
【図５】本発明に係るジャダーマップを利用した画像処理方法の説明に提供されるフローチャートである。
【符号の説明】
【００５８】
２００ ジャダーマップを利用した画像処理装置
２１０ フィールド格納部
２１２ 以前フィールド格納部
２１４ 現在フィールド格納部
２１６ 次のフィールド格納部
２３０ ジャダーマップ生成部
２３２ ピクセル単位ジャダー判断部
２３４ 中間値算出部
２３６ 差値算出部
２３８ 比較部
２４０ ジャダーマップ格納部
２４２ ブロック単位ジャダー判断部
２４５ ジャダー領域拡張部
２５０ フィルム検出部
２５５ パターン生成部
２６０ 決定部
２７０ 画像補間部
２７２ 選択部
２７４ ミキサー
２７６ 空間補間部
２７８ 時間補間部
【背景技術】
【０００１】
一般に、画像ディスプレイ装置において、インターレーススキャン方式やプログレッシブスキャン方式のうち、いずれかの方式が用いられる。インターレーススキャン方式とは、通常のＴＶなどに用いられ、１つの画像を表示する時、１つのイメージフレームを２つのフィールドに分けて順次交互に画面に表示する方式のことをいう。この時、２つのフィールドは、トップフィールドとボトムフィールド、上位フィールドと下位フィールド、奇数フィールドと偶数フィールドなどと呼ばれる。これに対して、プログレッシブスキャン（あるいはノン・インターレーススキャン）方式とは、コンピュータモニタ、デジタルＴＶなどに用いられ、フィルムをスクリーンに映写するように、１つのイメージフレームをフレーム単位として、全体フレームを１度に表示する方式のことをいう。
【０００２】
例えば、４８０ラインのＮＴＳＣのインターレーススキャン方式では、１つのフレームは２４０ラインに分けられた２つのフィールドに分けられて表示され、このように分けられた２４０ラインのフィールドは、１/６０秒毎に交互に画面に表示される。これに対し、プログレッシブスキャン方式では、４８０ラインのイメージを１/６０秒毎に１度にフレーム全体のイメージを完全に見せる。したがって、プログレッシブスキャン方式によるプログレッシブフォーマットの画像は、インターレーススキャン方式によるインターレースフォーマットの画像に比べて画質に優れる。
【０００３】
このようなプログレッシブスキャン方式と最も密接な関係があるものがフィルムで製作された映画であり、これは最近発売されている殆どのＤＶＤ映画タイトルのオリジナルソースがまさにフィルムで製作された映画であるからである。映画の場合、ＮＴＳＣ ＴＶの場合とは異なり、秒当たり２４フレームで製作される。もちろん、ＤＶＤの場合、オリジナル映画と同様に２４フレームのオリジナルイメージを直ちにＤＶＤに製作することも可能である。しかし、現在普及されている一般的なＴＶのような画像ディスプレイ装置の多くがインターレーススキャン方式の装置であるゆえに、現実的にＤＶＤはこのような点を考慮し、インターレーススキャン方式で製作されるようになる。
【０００４】
したがって、２４フレームのプログレッシブフォーマットのフィルムを６０フィールドのインターレースフォーマットの画像に転換させる作業が必要となり、これを３：２プルダウンあるいはテレシネという。３：２プルダウン方法とは、２枚の２４Ｈｚフレームを５枚の６０Ｈｚフィールドに変換させる技法である。一方、映画フィルムをＰＡＬ方式またはＳＥＣＡＭ方式のＴＶに伝送する場合には、秒当たり２５画面から５０フィールドを得なければならないので、それぞれのフレームに対して２フィールドを得れば良い。このように、ぞれぞれのフレームに対して２フィールドを走査する方式を２：２プルダウン方式という。
【０００５】
図１は、３：２プルダウン方式を説明するための図である。図１に示すように、秒当たり２４フレームのプログレッシブフォーマットで製作された画像は、６０Ｈｚのインターレースフォーマットの画像に変換される。すなわち、同図に示すように、最初のフレームであるフレーム１から３つのフィールドが生成され、第２のフレームであるフレーム２から２つのフィールドが生成される等、全体的に２つのフレーム当たり５つのフィールドが生成される。
【０００６】
ところで、プログレッシブスキャン方式を用いる画像ディスプレイ装置が増加されると共に、互いに異なるスキャン方式を用いる装置同士の間のデータ交換の必要性が増えるにつれて、インターレーススキャン方式をプログレッシブスキャン方式に変換するＩＰＣ（Interlaced-to-Progressive Conversion）方法が必要となる。このようなＩＰＣ処理過程の中で、補間するフィールドが３：２プルダウンされて生成された３：２プルダウンフォーマットの画像であるということが分かれば、インターレースフォーマットのフィールドを組み合わせて、３：２プルダウンされる前の完全なプログレッシブフォーマットの画像を容易に得ることができる。したがって、ＩＰＣ方法の実行に先立ち、補間するフィールドが３：２プルダウン画像であるか否かを検出する必要が生じる。このような３：２プルダウンフォーマットの画像を検出する方法に対しては、多様な先行技術が存在する。
【０００７】
従来の技術に係る３：２プルダウン画像の検出過程を説明すれば、次の通りである。
【０００８】
３：２プルダウンで検出された１０個のフィールドをそれぞれＦ１、Ｆ２、Ｆ３、Ｆ４、Ｆ５、Ｆ６、Ｆ７、Ｆ８、Ｆ９、Ｆ１０とする場合、ＳＡＤ（Sum of Absolute Difference）の周期が５であるという点を利用して、３：２プルダウンイメージを検出する。すなわち、２フィールドを周期としてＳＡＤを求めれば、Ｆ１−Ｆ３、Ｆ６−Ｆ８のＳＡＤは極めて小さくなる（若し、ノイズがないならば、ＳＡＤは０に近づく。ここで、ＳＡＤが極めて小さくなる理由は、繰り返されたフィールドから本来のフィールドを引き算するからである。このような規則性を利用し３：２プルダウンイメージ検出では、常に１/３０秒間隔だけ離れた２フィールドを画素別に引き算して絶対値を取り、その値を全ての画素に対して合算した結果を中間データにする。例えば、｜Ｆ１−Ｆ３｜＝Ｄ１、｜Ｆ２−Ｆ４｜＝Ｄ２、｜Ｆ３−Ｆ４｜＝Ｄ３．．．などと仮定すれば、ＳＡＤ値であるＤ１とＤ６は極めて小さい値を有するようになり、残りの値は極めて大きい値を有するようになる。また、それぞれのＳＡＤ値は、小、大、大、大、大のような規則性を有するようになる。
【０００９】
しかし、画面の編集などにより、上記のＳＡＤ値の規則性がなくなり得るし、この場合、逆プルダウン変換の際にジャダー（judder）が発生できる。また、プルダウン規則に反するＣＧＩ（Computer Graphic Imagery）や字幕（サブタイトル）などでジャダーが発生するという問題がある。
【発明の開示】
【発明が解決しようとする課題】
【００１０】
本発明は、上述した問題点を解決するためになされたものであって、その目的は、プールダウン規則に反するＣＧＩや字幕などに発生するジャダーを防止できる、ジャダーマップを利用した画像処理装置及びその方法を提供することにある。
【課題を解決するための手段】
【００１１】
前記の目的を達成するための本発明に係るジャダーマップを利用した画像処理装置は、外部から時間的に連続的な複数のフィールドからなるインターレースフォーマットの画像信号を受け取って格納するフィールド格納部と、フィールド格納部から時間的に連続的な複数のフィールドを受け取って、入力画像がフィルムモードの画像であるか否かを検出するフィルム検出部と、フィールド格納部から受け取った時間的に連続する複数のフィールドのうち、隣接する複数のフィールドから所定ピクセルまたは所定ブロックに存在するジャダーを検出してジャダーマップを生成するジャダーマップ生成部と、入力画像がフィルムモードの画像であると判断された場合、ジャダーマップを利用して画像補間を行なって、プログレッシブフォーマットの画像信号を生成／出力する画像補間部と、を備えることが好ましい。
【００１２】
ここで、フィールド格納部が、現在補間するフィールドである現在フィールドを格納するための現在フィールド格納部と、前記現在フィールドに時間的に前後に位置する以前フィールド及び次のフィールドを格納するための以前フィールド格納部及び次のフィールド格納部と、を備えることが好ましい。
【００１３】
ここで、ジャダーマップ生成部が、隣接するフィールドの連続的な３つのラインのピクセル値がジャダー特性を有するか否かを判別し、ピクセル単位でジャダーを検出するピクセル単位ジャダー検出部と、ピクセル単位ジャダー検出部から検出されたジャダー情報に基づいて、ジャダーマップを生成し、生成されたジャダーマップを格納するジャダーマップ格納部と、を備えることが好ましい。
【００１４】
ここで、ピクセル単位ジャダー検出部が、隣接するフィールドの連続的なラインＬi−１、Ｌｉ、Ｌｉ＋１において、水平方向に同じ位置に存在する所定ピクセルに対して中間値を算出する中間値算出部と、i番目のラインＬiの所定ピクセル値と中間値算出部から算出された中間値との差に絶対値を取って、差値を算出する差値算出部と、差値と所定しきい値とを比較した後、差値が所定しきい値より大きければ、i番目のラインＬｉの所定ピクセルにジャダーが存在することと判断し、差値が所定しきい値より小さければ、前記i番目のラインＬｉの所定ピクセルにジャダーが存在しないことと判断する比較部と、を備えることが好ましい。
【００１５】
ここで、ジャダーマップ生成部は、所定大きさのブロックを基準とし、ピクセル単位ジャダー検出部から検出されたジャダーの個数を算出し、算出されたジャダーの個数と所定しきい値とを比較して、前記所定大きさのブロックにジャダーが存在するか否かを判断することにより、ブロック単位でジャダーを検出するブロック単位ジャダー検出部をさらに備えることが好ましい。
【００１６】
ここで、ブロック単位ジャダー検出部は、所定ブロックから算出されたジャダーの個数が所定しきい値より大きい場合、所定ブロックはジャダーが存在することと判断し、所定ブロックから算出されたジャダーの個数が所定しきい値より小さい場合、所定ブロックはジャダーが存在しないことと判断することが好ましい。
【００１７】
ここで、ブロック単位ジャダー検出部は、ピクセル単位ジャダー検出部とジャダーマップ格納部との間に位置することが好ましい。
【００１８】
ここで、ジャダーマップ生成部は、ブロック単位ジャダー検出部により所定ブロックからジャダーが検出されれば、ジャダーが検出されたブロック周りの上下左右４個のブロックをジャダー検出ブロックと見なして、ジャダー検出領域を拡張するジャダー領域拡張部をさらに備えることが好ましい。
【００１９】
ここで、ジャダー領域拡張部は、ブロック単位ジャダー検出部とジャダーマップ格納部との間に位置することが好ましい。
【００２０】
ここで、ジャダー領域拡張部は、ジャダーマップ格納部の後段に位置することが好ましい。
【００２１】
ここで、画像補間部は、入力画像がフィルムモードの画像であり、補間したフィールド内のピクセルまたはブロックからジャダーが検出された場合、ピクセルまたはブロックに対して空間的補間を行なうことが好ましい。
【００２２】
ここで、画像補間部は、入力画像がフィルムモードの画像であり、補間するフィールド内のピクセルまたはブロックからジャダーが検出されない場合、ピクセルまたはブロックに対して時間的補間を行なうことが好ましい。
【００２３】
ここで、画像補間部は、入力画像がフィルムモードの画像でない場合、ジャダー検出されるか否かに関係なく既設定されたＩＰＣによって、時間的補間及び空間的補間を行なうことが好ましい。
【００２４】
また、本発明に係るジャダーマップを利用した画像信号処理方法は、外部から時間的に連続的な複数のフィールドからなるインターレースフォーマットの画像信号を受け取って格納するステップと、入力画像がフィルムモードの画像であるか否かを検出し、隣接する複数のフィールドから所定領域に存在するジャダーを検出してジャダーマップを生成するステップと、入力画像がフィルムモードの画像である場合、ジャダーマップを利用して、補間するフィールド内の所定領域からジャダーが検出されたか否かを判断するステップと、補間するフィールド内の所定領域からジャダーが検出された場合、所定領域に対して空間的補間を行ない、所定領域からジャダーが検出されない場合、所定領域に対して時間的補間を行なって、プログレッシブフォーマットの画像信号を出力するステップと、を含むことが好ましい。
【００２５】
ここで、入力画像がフィルムモードの画像でない場合、既設定されたＩＰＣによって時間的補間及び空間的補間を行なうステップをさらに含むことが好ましい。
【発明の効果】
【００２６】
本発明に係るジャダーマップを利用した画像処理装置によれば、プルダウン規則に反するＣＧＩ（Computer Graphic Imagery）や字幕などにジャダーが発生することを防止できるという効果を奏する。
【発明を実施するための最良の形態】
【００２７】
以下、添付の図面に基づいて本発明の好適な実施形態を詳述する。一方、明細書記述上の便宜のため、同じ構成要素は同じ参照符号を付して説明する。
【００２８】
図２は、本発明に係るジャダーマップを利用した画像処理装置の構成を示すブロック図である。同図に示すように、本発明に係るジャダーマップを利用した画像処理装置２００は、フィールド格納部２１０、ジャダーマップ生成部２３０、フィルム検出部２５０、及び画像補間部２７０を含む。
【００２９】
フィールド格納部２１０は、外部からインターレースフォーマットの画像信号を受け取り、この入力画像は、時間的に連続的な複数のフィールドからなる。この時、現在補間するフィールドを現在フィールドとし、現在フィールドの時間的に前後のフィールドをそれぞれ以前フィールド及び次のフィールドという。以前フィールド及び次のフィールドは、現在フィールドに対する参照フィールドとなる。すなわち、フィールド格納部２１０は、以前フィールドを格納する以前フィールド格納部２１２、現在フィールドを格納する現在フィールド格納部２１４、及び現在フィールド後に順次的に入力された次のフィールドを格納する次のフィールド格納部２１６を備える。
【００３０】
フィルム検出部２５０は、入力画像が３：２または２：２プルダウンにより生成されたフィルム画像であるか否かを検出し、パターン生成部２５５及び決定部２６０を含む。フィルム検出部２５０のパターン生成部２５５は、入力画像のうち、時間的に連続する３つのフィールドに対してフィールド間の画素値の差を計算し、計算された値と所定の第１しきい値Ｔ１とを比較して、パターンを発生させる。
【００３１】
すなわち、パターン生成部２５５は、時間的に連続する第１フィールドと第２フィールドとの間のピクセル値の差を計算し、ピクセル値の差が所定しきい値Ｔ１より大きい場合には、「１」を生成し、所定しきい値Ｔ１より小さい場合には、「０」を生成して、パターンを発生させる。第２フィールドと第３フィールドの場合にも、第１フィールドと第２フィールドの場合と同様に、第２フィールドと第３フィールドとの間のピクセル値の差を計算した後、所定しきい値Ｔ１と比較して、パターンを生成する。
【００３２】
フィルム検出部２５０の決定部２６０は、パターン生成部２５５から生成された入力画像のパターンとフィルムモード画像のパターンとを比較して、入力画像がフィルムモードの画像であるか否かを決定する。フィルム検出部２５０のフィルム検出結果は、画像補間部２７０に提供される。
【００３３】
ジャダーマップ生成部２３０は、フィールド格納部２１０から連続するフィールドを受け取って、隣接する複数のフィールドからピクセル単位またはブロック単位のジャダーマップを生成する。ジャダーマップとは、ジャダーの検出された所定領域が記録された情報のことをいう。
【００３４】
画像補間部２７０は、フィルム検出部２５０から受け取った入力画像がフィルムモードの画像に該当するか否かに関する情報及びジャダーマップ生成部２３０から受け取った入力画像のジャダー情報に基づいて、画像補間を行う。すなわち、画像補間部２７０は、フィルム検出部２５０からフィルムモードの画像が検出されれば、ジャダーマップ生成部２３０から提供されたジャダー情報であるジャダーマップを利用して、ピクセル単位またはブロック単位で画像補間を行う。
【００３５】
画像補間部２７０は、時間補間部２７８、空間補間部２７６、選択部２７２、及びミキサー（ＭＩＸＥＲ）２７４を含む。選択部２７２は、フィルム検出部２５０及びジャダーマップ生成部２３０からそれぞれ提供されたフィルム情報及びジャダー情報に基づいて画像補間を行なうように、ミキサー２７４を制御する。
【００３６】
すなわち、入力画像がフィルムモードの画像でない場合、画像補間部２７０は、通常のＩＰＣ経路によって時間的補間及び空間的補間を行う。
【００３７】
一方、入力画像がフィルムモードの画像である場合、画像補間部２７０はジャダーマップ生成部２３０から提供されたジャダー情報に基づいて、画像補間を行う。すなわち、所定ピクセルまたはブロックからジャダーが検出された場合、ミキサー２７４は、選択部２７２の制御により、空間補間部２７６に格納された現在フィールドに対応するフィールドを持ってきて、画像補間を行なうことにより、最終的にプログレッシブフレームを出力する。
【００３８】
一方、所定ピクセルまたはブロックからジャダーが検出されない場合、ミキサー２７４は、選択部２７２の制御により、時間補間部２７８に格納された以前フィールドや次のフィールドの対応ピクセルまたはブロックを持ってきて、画像補間を行なうことにより、最終的にプログレッシブフレームを出力する。
【００３９】
図３は、本発明の第１実施形態によるジャダーマップ生成部の詳細構成を示すブロック図である。同図に示すように、本発明の第１実施形態によるジャダーマップ生成部２３０は、隣接するフィールドの連続的な３ラインピクセル値がジャダー特性を有するか否かを判別し、所定ピクセルに存在するジャダーを検出するピクセル単位ジャダー検出部２３２、及びピクセル単位ジャダー検出部２３２から検出されたジャダー情報に基づいてジャダーマップを生成した後、これを格納するジャダーマップ格納部２４０を備える。
【００４０】
ピクセル単位ジャダー検出部２３２は、中間値算出部２３４、差値算出部２３６、及び比較部２３８を含む。まず、中間値算出部２３４は、隣接する２フィールドにおいて、連続的な３つのラインに水平方向に同じ位置に存在する所定ピクセルに対して中間値を算出し出力する。３つのラインにおいて、水平方向に同じ位置に存在する所定の各ピクセル値が１０、５、６である場合、中間値算出部２３４は、大きさの順、すなわち、１０、６、５にピクセル値を分類した後、中間値である６を算出するようになる。ここで、連続的な３つのラインとは、隣接する２フィールドが第１フィールドと第２フィールドである場合、第１フィールドのＬｉ−１番目のライン、第２フィールドのＬｉ番目のライン、第１フィールドのＬｉ＋１番目のラインを意味する。
【００４１】
差値算出部２３６は、現在ラインＬｉのピクセル値と中間値算出部２３４から提供された中間値との差を求めて、比較部２３８に出力する。この時、差値は絶対値として、大きさを示すものである。
【００４２】
比較部２３８は、差値算出部２３６から提供された差値と所定第２しきい値Ｔ２とを比較することによって、入力画像に存在するジャダー情報を生成してジャダーマップ格納部２４０に出力する。すなわち、比較部２３８は、差値が所定第２しきい値Ｔ２より大きければ、入力画像にジャダーが存在することと判断し、差値が所定第２しきい値Ｔ２より小さければ、入力画像にジャダーが存在しないことと判断する。比較部２３８で判断されたジャダー情報は、ジャダーマップ格納部２４０に入力され、ジャダーマップ格納部２４０は、ジャダー情報を格納した後、画像補間部２７０に提供する。
【００４３】
図４Ａ〜４Ｃは、本発明の第２実施形態によるジャダーマップ生成部の詳細構成を示すブロック図である。まず、図４Ａに示すように、本発明の第２実施形態によるジャダーマップ生成部２３０は、ピクセル単位ジャダー検出部２３２とジャダーマップ格納部２４０との間にブロック単位ジャダー検出部２４２をさらに含む。
【００４４】
ブロック単位ジャダー検出部２４２は、ハードウェア具現の容易性とジャダー情報の拡張容易性のために、ピクセル単位ジャダー検出部２３２でピクセル単位で判別されたジャダー情報をブロック単位で分析し判別して、その情報をジャダーマップ格納部２４０に出力する。
【００４５】
すなわち、ブロック単位ジャダー検出部２４２は、所定大きさのブロック内から検出されたジャダーの個数を算出し、算出されたジャダーの個数と所定第３しきい値Ｔ３とを比較して、ブロックのジャダー如何を判断する。ここで、所定ブロック内から検出されたジャダーの個数が所定しきい値より大きい場合、そのブロックはジャダーであると判断し、検出されたジャダーの個数が所定しきい値より小さい場合、そのブロックはジャダーでないと判断する。また、ブロックの大きさは製作者が適宜に決めることができる。
【００４６】
次に、図４Ｂと図４Ｃに示すように、本発明の第２実施形態によるジャダー領域拡張部２４５は、ブロック単位ジャダー検出部２４２とジャダーマップ格納部２４０との間に位置したり、ジャダーマップ格納部２４０の後段に位置できる。ジャダー領域拡張部２４５は、ジャダーが分散されずに、エッジ領域に集中的に分布した特性を利用する。
【００４７】
すなわち、ジャダー領域拡張部２４５は、ピクセル単位ジャダー検出部２３２とブロック単位ジャダー検出部２４２とにより所定ブロックからジャダーが検出されれば、ジャダーが検出されたブロック周りの上下左右４個のブロックをジャダー検出ブロックと見なして、ジャダー検出領域を拡張する。
【００４８】
図５は、本発明に係るジャダーマップを利用した画像処理方法の説明に提供されるフローチャートである。同図に示すように、まず、フィールド格納部２１０は、外部の画像ソースからインターレースフォーマットの画像信号を受け取る(Ｓ５１０)。
【００４９】
フィルム検出部２５０は、フィールド格納部２１０から時間的に連続するフィールドを受け取って、入力画像が３：２または２：２プルダウンにより生成されたフィルムモードの画像であるか否かを検出する(Ｓ５２０ａ)。フィルム検出部２５０から検出された入力画像がフィルムモードの画像であるか否かに関する情報は、画像補間部２７０の選択部２７２に提供される。
【００５０】
一方、ジャダーマップ生成部２３０は、フィールド格納部２１０から連続するフィールドを受け取って、隣接する複数のフィールドからピクセル単位またはブロック単位のジャダーマップを生成する（Ｓ５２０ｂ）。ジャダーマップとは、ジャダーの検出された所定領域が記録された情報のことを言う。ジャダーマップ生成部２３０からピクセルまたはブロック単位でジャダーを検出して、ジャダーマップを生成する方法については上述したものと同様であるので、これに対する説明は省略する。このように、ジャダーマップ生成部２３０から生成されたジャダーマップは、画像補間部２７０の選択部２７２に提供される。
【００５１】
ステップＳ５２０ａにおいて、入力画像がフィルムモードの画像でないと判明されれば（Ｓ５３０）、画像補間部２７０は、既設定された通常のＩＰＣ経路によって、時間的補間及び空間的補間を行う（Ｓ５４０）。
【００５２】
一方、ステップＳ５２０ａにおいて、入力画像がフィルムモードの画像であると判明されれば（Ｓ５３０）、画像補間部２７０内の選択部２７２は、ジャダーマップ生成部２３０から提供されたジャダーマップを利用し、現在ピクセルまたはブロックからジャダーが検出されたか否かを確認する（Ｓ５５０）。ここで、ジャダーが検出されたブロックは、図４Ｂ及び図４Ｃに示したジャダー領域拡張部２４５によりジャダーが検出されたものと見なされるブロックも含む。
【００５３】
ステップＳ５５０において、補間したフィールド内のピクセルまたはブロックからジャダーが検出された場合、画像補間部２７０は、ピクセルまたはブロックに対して空間的補間を行なう（Ｓ６６０）。すなわち、ミキサー２７４は、選択部２７２の制御により空間補間部２７６に格納された現在フィールドに対応するフィールドを持ってきて、画像補間を行なうことにより、最終的にプログレッシブフォーマットの画像信号を出力する（Ｓ６８０）。
【００５４】
一方、ステップＳ５５０において、補間するフィールド内のピクセルまたはブロックからジャダーが検出されない場合、画像補間部２７０は、ピクセルまたはブロックに対して時間的補間を行なう（Ｓ６７０）。ミキサー２７４は、選択部２７２の制御により時間補間部２７８に格納された以前フィールドや次のフィールドの対応ピクセルまたはブロックを持ってきて、画像補間を行なうことにより、最終的にプログレッシブフォーマットの画像信号を出力する（Ｓ６８０）。
【００５５】
このような方式により、ＣＧＩや字幕などにジャダーが発生することを防止しながら、インターレースフォーマットの画像信号をプログレッシブフォーマットの画像信号に変換処理することが可能になる。
【００５６】
以上、本発明の原理を例示するために本発明の好適な実施形態について図示し説明したが、本発明は上述した特定の実施形態に限定されるものではなく、特許請求の範囲で請求している本発明の要旨を逸脱することなく、本発明に対する種々の変更及び修正が可能であることは当業者であれば理解できることであろう。よって、そのような変更及び修正は本発明の特許請求の範囲に含まれるものと見なすべきである。
【図面の簡単な説明】
【００５７】
【図１】３：２プルダウンを説明するための図である。
【図２】本発明に係るジャダーマップを利用した画像処理装置の構成を示すブロック図である。
【図３】本発明の第１実施形態によるジャダーマップ生成部の詳細構成を示すブロック図である。
【図４Ａ】本発明の第２実施形態によるジャダーマップ生成部の詳細構成を示すブロック図である。
【図４Ｂ】本発明の第２実施形態によるジャダーマップ生成部の詳細構成を示すブロック図である。
【図４Ｃ】本発明の第２実施形態によるジャダーマップ生成部の詳細構成を示すブロック図である。
【図５】本発明に係るジャダーマップを利用した画像処理方法の説明に提供されるフローチャートである。
【符号の説明】
【００５８】
２００ ジャダーマップを利用した画像処理装置
２１０ フィールド格納部
２１２ 以前フィールド格納部
２１４ 現在フィールド格納部
２１６ 次のフィールド格納部
２３０ ジャダーマップ生成部
２３２ ピクセル単位ジャダー判断部
２３４ 中間値算出部
２３６ 差値算出部
２３８ 比較部
２４０ ジャダーマップ格納部
２４２ ブロック単位ジャダー判断部
２４５ ジャダー領域拡張部
２５０ フィルム検出部
２５５ パターン生成部
２６０ 決定部
２７０ 画像補間部
２７２ 選択部
２７４ ミキサー
２７６ 空間補間部
２７８ 時間補間部
【特許請求の範囲】
【請求項１】
外部から時間的に連続的な複数のフィールドからなるインターレースフォーマットの画像信号を受け取って格納するフィールド格納部と、
該フィールド格納部から時間的に連続的な複数のフィールドを受け取って、入力画像がフィルムモードの画像であるか否かを検出するフィルム検出部と、
該フィールド格納部から受け取った時間的に連続する複数のフィールドのうち、隣接する複数のフィールドから所定ピクセルまたはブロックに存在するジャダーを検出してジャダーマップを生成するジャダーマップ生成部と、
前記入力画像がフィルムモードの画像であると判断された場合、前記ジャダーマップを利用して画像補間を行なって、プログレッシブフォーマットの画像信号を生成／出力する画像補間部と、を備えることを特徴とするジャダーマップを利用した画像処理装置。
【請求項２】
前記フィールド格納部が、
現在補間するフィールドである現在フィールドを格納するための現在フィールド格納部と、
前記現在フィールドに時間的に前後に位置する以前フィールド及び次のフィールドを格納するための以前フィールド格納部及び次のフィールド格納部と、を備えることを特徴とする請求項１に記載のジャダーマップを利用した画像処理装置。
【請求項３】
前記ジャダーマップ生成部が、
隣接するフィールドの連続的な３つのラインのピクセル値がジャダー特性を有するか否かを判別し、ピクセル単位でジャダーを検出するピクセル単位ジャダー検出部と、
前記ピクセル単位ジャダー検出部から検出されたジャダー情報に基づいて、ジャダーマップを生成し、生成された前記ジャダーマップを格納するジャダーマップ格納部と、を備えることを特徴とする請求項１に記載のジャダーマップを利用した画像処理装置。
【請求項４】
前記ピクセル単位ジャダー検出部が、
隣接するフィールドの連続的なラインＬｉ−１、Ｌｉ、Ｌｉ＋１において、水平方向に同じ位置に存在する所定ピクセルに対して中間値を算出する中間値算出部と、
前記i番目のラインＬｉの所定ピクセル値と前記中間値算出部から算出された中間値との差に絶対値を取って、差値を算出する差値算出部と、
前記差値と所定しきい値とを比較した後、前記差値が所定しきい値より大きければ、前記ｉ番目のラインＬｉの所定ピクセルにジャダーが存在することと判断し、差値が所定しきい値より小さければ、前記ｉ番目のラインＬｉの所定ピクセルにジャダーが存在しないことと判断する比較部と、を備えることを特徴とする請求項３に記載のジャダーマップを利用した画像処理装置。
【請求項５】
所定大きさのブロックを基準とし、前記ピクセル単位ジャダー検出部から検出されたジャダーの個数を算出し、算出されたジャダーの個数と所定しきい値とを比較して、前記所定大きさのブロックにジャダーが存在するか否かを判断することにより、ブロック単位でジャダーを検出するブロック単位ジャダー検出部をさらに備えることを特徴とする請求項３に記載のジャダーマップを利用した画像処理装置。
【請求項６】
前記ブロック単位ジャダー検出部は、
前記所定ブロックから算出されたジャダーの個数が所定しきい値より大きい場合、前記所定ブロックはジャダーが存在することと判断し、所定ブロックから算出されたジャダーの個数が所定しきい値より小さい場合、前記所定ブロックはジャダーが存在しないことと判断することを特徴とする請求項５に記載のジャダーマップを利用した画像処理装置。
【請求項７】
前記ブロック単位ジャダー検出部は、
前記ピクセル単位ジャダー検出部と前記ジャダーマップ格納部との間に位置することを特徴とする請求項５に記載のジャダーマップを利用した画像処理装置。
【請求項８】
前記ブロック単位ジャダー検出部により所定ブロックからジャダーが検出されれば、ジャダーが検出されたブロック周りの上下左右４個のブロックをジャダー検出ブロックと見なして、ジャダー検出領域を拡張するジャダー領域拡張部をさらに備えることを特徴とする請求項５に記載のジャダーマップを利用した画像処理装置。
【請求項９】
前記ジャダー領域拡張部は、
前記ブロック単位ジャダー検出部と前記ジャダーマップ格納部との間に位置することを特徴とする請求項８に記載のジャダーマップを利用した画像処理装置。
【請求項１０】
前記ジャダー領域拡張部は、
前記ジャダーマップ格納部の後段に位置することを特徴とする請求項８に記載のジャダーマップを利用した画像処理装置。
【請求項１１】
前記画像補間部は、
前記入力画像がフィルムモードの画像であり、補間したフィールド内のピクセルまたはブロックからジャダーが検出された場合、前記ピクセルまたはブロックに対して空間的補間を行なうことを特徴とする請求項１に記載のジャダーマップを利用した画像処理装置。
【請求項１２】
前記画像補間部は、
前記入力画像がフィルムモードの画像であり、補間するフィールド内のピクセルまたはブロックからジャダーが検出されない場合、前記ピクセルまたはブロックに対して時間的補間を行なうことを特徴とする請求項１に記載のジャダーマップを利用した画像処理装置。
【請求項１３】
前記画像補間部は、
前記入力画像がフィルムモードの画像でない場合、ジャダー検出されるか否かに関係なく既設定されたＩＰＣによって、時間的補間及び空間的補間を行なうことを特徴とする請求項１に記載のジャダーマップを利用した画像処理装置。
【請求項１４】
外部から時間的に連続的な複数のフィールドからなるインターレースフォーマットの画像信号を受け取って格納するステップと、
入力画像がフィルムモードの画像であるか否かを検出し、隣接する複数のフィールドから所定領域に存在するジャダーを検出してジャダーマップを生成するステップと、
前記入力画像がフィルムモードの画像である場合、前記ジャダーマップを利用して、補間するフィールド内の所定領域からジャダーが検出されたか否かを判断するステップと、
補間するフィールド内の前記所定領域からジャダーが検出された場合、前記所定領域に対して空間的補間を行ない、前記所定領域からジャダーが検出されない場合、前記所定領域に対して時間的補間を行なって、プログレッシブフォーマットの画像信号を出力するステップと、を含むことを特徴とするジャダーマップを利用した画像信号処理方法。
【請求項１５】
前記入力画像がフィルムモードの画像でない場合、
既設定されたＩＰＣによって時間的補間及び空間的補間を行なうステップをさらに含むことを特徴とする請求項１４に記載のジャダーマップを利用した画像信号処理方法。
【請求項１】
外部から時間的に連続的な複数のフィールドからなるインターレースフォーマットの画像信号を受け取って格納するフィールド格納部と、
該フィールド格納部から時間的に連続的な複数のフィールドを受け取って、入力画像がフィルムモードの画像であるか否かを検出するフィルム検出部と、
該フィールド格納部から受け取った時間的に連続する複数のフィールドのうち、隣接する複数のフィールドから所定ピクセルまたはブロックに存在するジャダーを検出してジャダーマップを生成するジャダーマップ生成部と、
前記入力画像がフィルムモードの画像であると判断された場合、前記ジャダーマップを利用して画像補間を行なって、プログレッシブフォーマットの画像信号を生成／出力する画像補間部と、を備えることを特徴とするジャダーマップを利用した画像処理装置。
【請求項２】
前記フィールド格納部が、
現在補間するフィールドである現在フィールドを格納するための現在フィールド格納部と、
前記現在フィールドに時間的に前後に位置する以前フィールド及び次のフィールドを格納するための以前フィールド格納部及び次のフィールド格納部と、を備えることを特徴とする請求項１に記載のジャダーマップを利用した画像処理装置。
【請求項３】
前記ジャダーマップ生成部が、
隣接するフィールドの連続的な３つのラインのピクセル値がジャダー特性を有するか否かを判別し、ピクセル単位でジャダーを検出するピクセル単位ジャダー検出部と、
前記ピクセル単位ジャダー検出部から検出されたジャダー情報に基づいて、ジャダーマップを生成し、生成された前記ジャダーマップを格納するジャダーマップ格納部と、を備えることを特徴とする請求項１に記載のジャダーマップを利用した画像処理装置。
【請求項４】
前記ピクセル単位ジャダー検出部が、
隣接するフィールドの連続的なラインＬｉ−１、Ｌｉ、Ｌｉ＋１において、水平方向に同じ位置に存在する所定ピクセルに対して中間値を算出する中間値算出部と、
前記i番目のラインＬｉの所定ピクセル値と前記中間値算出部から算出された中間値との差に絶対値を取って、差値を算出する差値算出部と、
前記差値と所定しきい値とを比較した後、前記差値が所定しきい値より大きければ、前記ｉ番目のラインＬｉの所定ピクセルにジャダーが存在することと判断し、差値が所定しきい値より小さければ、前記ｉ番目のラインＬｉの所定ピクセルにジャダーが存在しないことと判断する比較部と、を備えることを特徴とする請求項３に記載のジャダーマップを利用した画像処理装置。
【請求項５】
所定大きさのブロックを基準とし、前記ピクセル単位ジャダー検出部から検出されたジャダーの個数を算出し、算出されたジャダーの個数と所定しきい値とを比較して、前記所定大きさのブロックにジャダーが存在するか否かを判断することにより、ブロック単位でジャダーを検出するブロック単位ジャダー検出部をさらに備えることを特徴とする請求項３に記載のジャダーマップを利用した画像処理装置。
【請求項６】
前記ブロック単位ジャダー検出部は、
前記所定ブロックから算出されたジャダーの個数が所定しきい値より大きい場合、前記所定ブロックはジャダーが存在することと判断し、所定ブロックから算出されたジャダーの個数が所定しきい値より小さい場合、前記所定ブロックはジャダーが存在しないことと判断することを特徴とする請求項５に記載のジャダーマップを利用した画像処理装置。
【請求項７】
前記ブロック単位ジャダー検出部は、
前記ピクセル単位ジャダー検出部と前記ジャダーマップ格納部との間に位置することを特徴とする請求項５に記載のジャダーマップを利用した画像処理装置。
【請求項８】
前記ブロック単位ジャダー検出部により所定ブロックからジャダーが検出されれば、ジャダーが検出されたブロック周りの上下左右４個のブロックをジャダー検出ブロックと見なして、ジャダー検出領域を拡張するジャダー領域拡張部をさらに備えることを特徴とする請求項５に記載のジャダーマップを利用した画像処理装置。
【請求項９】
前記ジャダー領域拡張部は、
前記ブロック単位ジャダー検出部と前記ジャダーマップ格納部との間に位置することを特徴とする請求項８に記載のジャダーマップを利用した画像処理装置。
【請求項１０】
前記ジャダー領域拡張部は、
前記ジャダーマップ格納部の後段に位置することを特徴とする請求項８に記載のジャダーマップを利用した画像処理装置。
【請求項１１】
前記画像補間部は、
前記入力画像がフィルムモードの画像であり、補間したフィールド内のピクセルまたはブロックからジャダーが検出された場合、前記ピクセルまたはブロックに対して空間的補間を行なうことを特徴とする請求項１に記載のジャダーマップを利用した画像処理装置。
【請求項１２】
前記画像補間部は、
前記入力画像がフィルムモードの画像であり、補間するフィールド内のピクセルまたはブロックからジャダーが検出されない場合、前記ピクセルまたはブロックに対して時間的補間を行なうことを特徴とする請求項１に記載のジャダーマップを利用した画像処理装置。
【請求項１３】
前記画像補間部は、
前記入力画像がフィルムモードの画像でない場合、ジャダー検出されるか否かに関係なく既設定されたＩＰＣによって、時間的補間及び空間的補間を行なうことを特徴とする請求項１に記載のジャダーマップを利用した画像処理装置。
【請求項１４】
外部から時間的に連続的な複数のフィールドからなるインターレースフォーマットの画像信号を受け取って格納するステップと、
入力画像がフィルムモードの画像であるか否かを検出し、隣接する複数のフィールドから所定領域に存在するジャダーを検出してジャダーマップを生成するステップと、
前記入力画像がフィルムモードの画像である場合、前記ジャダーマップを利用して、補間するフィールド内の所定領域からジャダーが検出されたか否かを判断するステップと、
補間するフィールド内の前記所定領域からジャダーが検出された場合、前記所定領域に対して空間的補間を行ない、前記所定領域からジャダーが検出されない場合、前記所定領域に対して時間的補間を行なって、プログレッシブフォーマットの画像信号を出力するステップと、を含むことを特徴とするジャダーマップを利用した画像信号処理方法。
【請求項１５】
前記入力画像がフィルムモードの画像でない場合、
既設定されたＩＰＣによって時間的補間及び空間的補間を行なうステップをさらに含むことを特徴とする請求項１４に記載のジャダーマップを利用した画像信号処理方法。
【図１】
【図２】
【図３】
【図４Ａ】
【図４Ｂ】
【図４Ｃ】
【図５】
【図２】
【図３】
【図４Ａ】
【図４Ｂ】
【図４Ｃ】
【図５】
【公開番号】特開２００６−１０９４９１（Ｐ２００６−１０９４９１Ａ）
【公開日】平成１８年４月２０日（２００６．４．２０）
【国際特許分類】
【出願番号】特願２００５−２９５０８１（Ｐ２００５−２９５０８１）
【出願日】平成１７年１０月７日（２００５．１０．７）
【出願人】（３９００１９８３９）三星電子株式会社 (8,520)
【氏名又は名称原語表記】Ｓａｍｓｕｎｇ Ｅｌｅｃｔｒｏｎｉｃｓ Ｃｏ．，Ｌｔｄ．
【住所又は居所原語表記】４１６，Ｍａｅｔａｎ−ｄｏｎｇ，Ｙｅｏｎｇｔｏｎｇ−ｇｕ，Ｓｕｗｏｎ−ｓｉ Ｇｙｅｏｎｇｇｉ−ｄｏ，Ｒｅｐｕｂｌｉｃ ｏｆ Ｋｏｒｅａ
【Ｆターム（参考）】
【公開日】平成１８年４月２０日（２００６．４．２０）
【国際特許分類】
【出願日】平成１７年１０月７日（２００５．１０．７）
【出願人】（３９００１９８３９）三星電子株式会社 (8,520)
【氏名又は名称原語表記】Ｓａｍｓｕｎｇ Ｅｌｅｃｔｒｏｎｉｃｓ Ｃｏ．，Ｌｔｄ．
【住所又は居所原語表記】４１６，Ｍａｅｔａｎ−ｄｏｎｇ，Ｙｅｏｎｇｔｏｎｇ−ｇｕ，Ｓｕｗｏｎ−ｓｉ Ｇｙｅｏｎｇｇｉ−ｄｏ，Ｒｅｐｕｂｌｉｃ ｏｆ Ｋｏｒｅａ
【Ｆターム（参考）】
[ Back to top ]