画像処理回路および画像処理方法
【課題】フィルムソースの画像データの動きベクトルの検出精度を向上し、ジャダーを緩和して画質を向上させることができる画像処理回路および画像処理方法を提供する。
【解決手段】フィルムソースの各コマの画像データを記憶するフレームメモリと、隣り合うコマの画像間の動きベクトルを検出する動きベクトル検出部と、動きベクトル検出部が検出した動きベクトルに基づいて隣り合うコマの画像間を補間した補間画像を生成しフレームメモリに記憶する補間画像生成部と、フレームメモリから、フィルムソースの各コマの画像のみ、もしくは、該各コマと補間画像を、第２のフレームレートで読み出して出力する出力部とを有し、動きベクトル検出部が、同一の隣り合うコマの画像間の動きベクトルの検出を互いに異なる条件で２回、それぞれ第１のフレームレートの異なるフレームの期間に行うことにより、上記課題を解決する。
【解決手段】フィルムソースの各コマの画像データを記憶するフレームメモリと、隣り合うコマの画像間の動きベクトルを検出する動きベクトル検出部と、動きベクトル検出部が検出した動きベクトルに基づいて隣り合うコマの画像間を補間した補間画像を生成しフレームメモリに記憶する補間画像生成部と、フレームメモリから、フィルムソースの各コマの画像のみ、もしくは、該各コマと補間画像を、第２のフレームレートで読み出して出力する出力部とを有し、動きベクトル検出部が、同一の隣り合うコマの画像間の動きベクトルの検出を互いに異なる条件で２回、それぞれ第１のフレームレートの異なるフレームの期間に行うことにより、上記課題を解決する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、入力フレームレートで各フレームの画像データを受信し、入力フレームレートのｎ倍（ｎは２以上の整数）の出力フレームレートで、ｎ倍に変換処理した画像データを出力する画像処理回路および画像処理方法に関するものである。
【背景技術】
【０００２】
液晶テレビ等の画像表示装置には、画像データとして、通常のテレビ画像のフレーム（フィールド）の画像データと、フィルムソース（映画）の各コマに対応する各フレームの画像データが混在して入力される。画像表示装置では、入力画像データの種別（テレビ画像／フィルムソース）を検出し、検出した種別に応じて変換処理を行うことにより出力画像データを生成して画像を表示する。また、近年では、倍速変換処理を行って画像を倍速表示する画像表示装置が実用化されている。
【０００３】
ここで、テレビ画像は、６０Ｈｚ（６０Ｉ）（ＮＴＳＣ方式）／５０Ｈｚ（５０Ｉ）（ＰＡＬ方式）の入力フレームレートで、フレーム毎に異なる画像データが画像表示装置入力される。テレビ画像の場合には、例えば、輝度信号成分は動き適応型の補間処理により、色差成分はライン間の補間処理で補間走査線の信号を生成することにより、飛び越し走査の画像データ（Ｉ）を順次走査の画像データ（Ｐ）に変換（ＩＰ変換）したものが画像表示装置に入力される。
【０００４】
一方、フィルムソースは、２４コマ（フレーム）／秒（２４Ｐ）の画像である。そのため、ＮＴＳＣ方式のフィルムソースの場合、６０Ｈｚの入力フレームレートで、フィルムソースの各コマを２：３プルダウンして生成された各フレームの画像データが入力される。つまり、入力フレームレートで、フィルムソースの第１のコマの画像データが２回連続し、続く第２のコマの画像データが３回連続して入力されることが、フィルムソースの各コマについて繰り返し行われる。
【０００５】
また、フィルムソースの各コマを２：３プルダウンして生成された各フレームの画像データが入力される場合には、例えば、同一フィルムソースの各コマを２：３プルダウンして生成された各フレームに属する飛び越し走査の信号で補間走査線の信号を生成することにより、飛び越し走査の画像データ（Ｉ：インタレース）を順次走査の画像データ（Ｐ：プログレッシブ）に変換したものが入力される。
【０００６】
また、ＰＡＬ方式のフィルムソースの場合、５０Ｈｚの入力フレームレートで、各フレームの各コマを２：２プルダウンして生成された各フレームの画像データが入力される。つまり、入力フレームレートで、フィルムソースの第１のコマの画像データが２回連続し、続く第２のコマの画像データが２回連続して入力されることが、フィルムソースの各コマについて繰り返し行われる。
【０００７】
上記のように、フィルムソースの各コマに対応する各フレームの画像データが入力された場合、同じフレームの画像が２回ないし３回連続して画像表示装置に表示されることになる。そのため、動きの激しいシーンでは、動きがガクガクするように感じられる場合があるという問題があった。この問題は、フィルムソースのコマ不足に起因するものであり、前述のガクガク感はジャダーと呼ばれている。
【０００８】
これに対し、フィルムソースの各コマに対応する各フレームの画像データが入力された場合に、隣り合う２つのフレーム間の画像データを補間して生成された補間フレーム（補間画像）を、その隣り合うフレーム間に挿入することにより、ジャダーを緩和する技術が提案されている。この補間技術では、隣り合うフレーム間における動きベクトルを検出し、検出した動きベクトルに応じて、隣り合うフレームから補間フレームを生成する。
【０００９】
また、倍速表示を行う場合、出力フレームレートで、入力フレームレートの２倍の１２０Ｈｚ（ＮＴＳＣ方式）／１００Ｈｚ（ＰＡＬ方式）の出力画像データが必要となる。この場合、上記手法では、出力画像のフレーム間に多くの補間フレームが挿入される。
【００１０】
ここで、本発明に関連性のある先行技術文献として、特許文献１，２がある。
【００１１】
特許文献１には、ブロック単位の動きベクトルＢＶを検出する動きベクトル探索部と、内挿フレームの信号を生成する動き補正内挿フレーム生成部とを備える、動き補正フレーム数変換部によって、フレーム周波数２４Ｈｚのテレシネ順次走査のフレーム順の１から２（２フレーム）の信号に対して、動き補正型のフレーム内挿処理で、フレーム順１から５（５フレーム）のフレーム周波数６０Ｈｚの順次走査の信号に変換すること、すなわち、フレーム順１の信号のみが入力信号そのままの画像で、フレーム順２から５は内挿処理により生成された画像となることが開示されている。
【００１２】
つまり、特許文献１の手法では、出力画像に、２４Ｐのフィルムソース本来のコマ数よりも多くの補間フレームが挿入されることになる。前述のように、補間フレームは、隣り合うフレーム間の動きベクトルを検出することによって生成される。そのため、動きベクトルの検出ミスがあれば補間画像は破綻する。また、出力画像のフレーム間に挿入される補間画像が多くなればなるほど破綻が目立つようになる。
また、モーションジャダー妨害が目立ちやすい速度の動き、あるいは特殊な動きの場合のみ、動き補正のフレーム内挿処理を行うことも開示されている。
【００１３】
また、特許文献２には、飛び越し走査の２：３プルダウン映像信号から、各フレームの線順次走査映像信号を生成してメモリに書き込み、それぞれ５回ずつ読み出して、１２０Ｈｚのフレームレートの映像信号を生成することが開示されている。
さらに、特許文献３には、入力映像信号がインターレース映像信号であるか否か、および、フィルムソースの映像信号であるか否かを判別し、プログレッシブ映像信号に変換することが開示されている。
【先行技術文献】
【特許文献】
【００１４】
【特許文献１】特開平１１−１７７９４０号公報
【特許文献２】特開２００４−３０２０４５号公報
【特許文献３】特開２００５−２７０６８号公報
【発明の概要】
【発明が解決しようとする課題】
【００１５】
本発明の目的は、フィルムソースの画像データが入力された場合の動きベクトルの検出精度を向上し、出力画像に生じるジャダーを緩和して画質を向上させることができる画像処理回路および画像処理方法を提供することにある。
【課題を解決するための手段】
【００１６】
上記目的を達成するために、本発明は、フィルムソースの各コマの画像データをそれぞれ２回以上プルダウンすることによって生成された第１のフレームレートの画像データを受信し、該第１のフレームレートのｎ倍（ｎは２以上の整数）の第２のフレームレートの画像データを出力する画像処理回路であって、前記フィルムソースの各コマの画像データを記憶するフレームメモリと、前記フィルムソースの隣り合うコマの画像間の動きベクトルを検出する動きベクトル検出部と、前記動きベクトル検出部が検出した動きベクトルに基づいて前記フィルムソースの隣り合うコマの画像間を補間した補間画像を生成し、前記フレームメモリに記憶する補間画像生成部と、前記フレームメモリから、前記フィルムソースの各コマの画像のみ、もしくは、該各コマの画像に加えて前記補間画像を、前記第２のフレームレートで読み出して出力する出力部とを有し、前記動きベクトル検出部が、同一の隣り合うコマの画像間の動きベクトルの検出を、互いに異なる条件で、２回、それぞれ前記第１のフレームレートの異なるフレームの期間に行うことを特徴とする画像処理回路を提供するものである。
【００１７】
また、前記補間画像生成部が、前記動きベクトル検出部による前記２回の検出のうちの、１回目に検出した動きベクトルに基づいて前記補間画像を生成し、前記動きベクトル検出部が、前記２回の検出のうちの２回目に検出した動きベクトルを前記フレームメモリに記憶し、次の隣り合うコマ間の１回目の動きベクトル検出を行うための条件の設定を、該記憶した２回目に検出した動きベクトルに基づいて行うのが好ましい。
【００１８】
また、前記動きベクトル検出部が検出した動きベクトルに基づいて、ジャダーが発生するか否かを判断するジャダー判断部をさらに有し、前記ジャダー判断部がジャダーが発生しないと判断したときには、前記出力部が、前記フィルムソースの各コマの画像のみを前記第２のフレームレートで読み出して出力し、前記ジャダー判断部がジャダーが発生すると判断したときには、前記出力部が、前記フィルムソースの各コマの画像および前記補間画像を前記第２のフレームレートで読み出して出力するのが好ましい。
【００１９】
また、上記目的を達成するために、本発明は、第１のフレームレートの画像データを受信し、前記受信した画像データを記憶するフレームメモリと、前記受信した画像データの隣り合うフレームの画像間の動きベクトルを検出する動きベクトル検出部と、前記動きベクトル検出部が検出した動きベクトルに基づいて前記隣り合うフレームの画像間を補間した補間画像を生成し、前記フレームメモリに記憶する補間画像生成部と、前記フレームメモリから、前記隣り合うフレームの画像および前記補間画像を、前記第１のフレームレートのｎ倍（ｎは２以上の整数）の第２のフレームレートで読み出して出力する出力部とを有する画像処理回路を用いて、フィルムソースの各コマの画像データをそれぞれ２回以上プルダウンすることによって生成された前記第１のフレームレートの画像データを受信し、前記第２のフレームレートの画像データを出力する画像処理方法であって、前記動きベクトル検出部が、前記フィルムソースの隣り合うコマの画像間の動きベクトルの検出を、互いに異なる条件で、２回、それぞれ前記第１のフレームレートの異なるフレームの期間に行い、前記出力部が、前記フレームメモリから、前記フィルムソースの各コマの画像のみ、もしくは、該各コマの画像に加えて前記補間画像を、前記第２のフレームレートで読み出して出力することを特徴とする画像処理方法を提供するものである。
【００２０】
また、前記補間画像生成部が、前記動きベクトル検出部による前記２回の検出のうちの、１回目に検出した動きベクトルに基づいて前記補間画像を生成し、前記動きベクトル検出部が、前記２回の検出のうちの２回目に検出した動きベクトルを前記フレームメモリに記憶し、次の隣り合うコマ間の１回目の動きベクトル検出を行うための条件の設定を、該記憶した２回目に検出した動きベクトルに基づいて行うのが好ましい。
【００２１】
また、前記画像処理回路が、前記動きベクトル検出部が検出した動きベクトルに基づいて、ジャダーが発生するか否かを判断するジャダー判断部をさらに有し、前記ジャダー判断部がジャダーが発生しないと判断したときには、前記出力部が、前記フィルムソースの各コマの画像のみを前記第２のフレームレートで読み出して出力し、前記ジャダー判断部がジャダーが発生すると判断したときには、前記出力部が、前記フィルムソースの各コマの画像および前記補間画像を前記第２のフレームレートで読み出して出力するのが好ましい。
【発明の効果】
【００２２】
本発明によれば、フィルムソースのフレーム間動きベクトルの検出精度が向上することにより、出力画像の補間フレームの破綻を大幅に低減することができる。また、フィルムソースのコマ不足による出力画像のジャダーを緩和することができる。
さらに、倍速表示用の回路を用いることで、回路規模および消費電力を低減することができる。
【図面の簡単な説明】
【００２３】
【図１】本発明に関わる画像処理回路の構成を表す一実施形態のブロック図である。
【図２】テレビ画像の各フレームの入力画像データとその倍速変換後の各フレームの出力画像データとの関係を表すグラフである。
【図３】ジャダーが発生した場合において、フィルムソースの各コマを２：３プルダウンして生成された各フレームの入力画像データとその倍速変換後の各フレームの出力画像データとの関係を表すグラフである。
【図４】ジャダーが発生しない場合において、フィルムソースの各コマを２：３プルダウンして生成された各フレームの入力画像データとその倍速変換後の各フレームの出力画像データとの関係を表すグラフである。
【図５】ジャダーが発生した場合において、フィルムソースの各コマを２：２プルダウンして生成された各フレームの入力画像データとその倍速変換後の各フレームの出力画像データとの関係を表すグラフである。
【図６】ジャダーが発生しない場合において、フィルムソースの各コマを２：２プルダウンして生成された各フレームの入力画像データとその倍速変換後の各フレームの出力画像データとの関係を表すグラフである。
【図７】１回目と２回目の動きベクトルの検出条件を説明する一例の概念図である。
【図８】１回目と２回目の動きベクトルの検出条件を説明する別の例の概念図である。
【図９】（ａ）および（ｂ）は、それぞれ、ビデオソースおよびテレビ画像の画像データが入力された場合の画像処理回路の動作を表す概念図である。
【発明を実施するための形態】
【００２４】
以下に、添付の図面に示す好適実施形態に基づいて、本発明の画像処理回路および画像処理方法を詳細に説明する。
【００２５】
図１は、本発明に関わる画像処理回路の構成を表す一実施形態のブロック図である。同図に示す画像処理回路１０は、６０Ｈｚ／５０Ｈｚの入力フレームレートで画像データを受信し、これを倍速変換処理した画像データを、１２０Ｈｚ／１００Ｈｚの出力フレームレートで出力するものである。画像処理回路１０は、フレームメモリ１２と、２：３／２：２プルダウン判断部１４と、フェーズ０／１判断部１６と、動きベクトル検出部１８と、補間画像生成部２０と、ジャダー判断部２２と、出力部２４とによって構成されている。
【００２６】
画像処理回路１０には、テレビ画像の各フレームの画像データ（以下、テレビ画像の画像データともいう）と、フィルムソースの各コマを２：３／２：２プルダウンして生成された各フレームの画像データ（以下、２：３／２：２プルダウンの画像データ、ないしは、両者をまとめてフィルムソースの画像データともいう）が混在した状態で入力される。これらの入力画像データはＩＰ変換後の画像データである。
【００２７】
画像処理回路１０は、入力画像データがフィルムソースの画像データである場合に、隣り合う２つのフレーム間で、異なる検出条件を設定して２回の動きベクトル検出を行うことにより動きベクトルの検出精度を向上させる。これにより、動きベクトルの検出ミスにより生じる補間画像の破綻を低減することができ、出力画像に生じるジャダーを緩和して画質を向上させることができる。
【００２８】
まず、フレームメモリ１２は、入力フレームレートで、最新の所定フレーム数の入力画像データを記憶する、ＤＤＲメモリ等の半導体メモリである。また、フレームメモリ１２は、後述するように、動きベクトル検出部１８から入力される動きベクトル、補間画像生成部２０から入力される補間画像データ、ジャダー判断部２２から入力されるジャダー判断信号等を記憶する。
【００２９】
以下順に、２：３／２：２プルダウン判断部１４は、現在のフレームの入力画像データと過去のフレームの入力画像データ（１フレーム前から１以上のフレームの入力画像データ）との比較を行って、例えば、フレーム間差分信号成分がゼロとなるフレームの発生周期等から、現在の入力画像データがテレビ画像の画像データであるのか、フィルムソースの画像データであるのかを判断し、テレビ画像／フィルムソースの判断信号を出力する。
【００３０】
また、２：３／２：２プルダウン判断部１４は、入力画像データがフィルムソースの画像データである場合、さらに、２：３プルダウンの画像データであるのか、２：２プルダウンの画像データであるのかを判断し、２：３／２：２プルダウンの判断信号を出力するとともに、その何番目のフレームの画像データであるのかを判断し、フレーム番号信号を出力する。２：３／２：２プルダウンの判断は、例えば、テレビ画像／フィルムソースの判断と同様にして実現できる。
【００３１】
ここで、フレーム番号について説明する。例えば、２：３プルダウンの画像データは、第１のコマの画像データが２回（入力フレームレートで、２フレーム時間）連続し、第２のコマの画像データが３回連続して入力されることが、フィルムソースの各コマについて繰り返し行われる。第１および第２のコマの画像データが入力される１回目の期間がフレーム番号１であり、２回目の期間がフレーム番号２である。また、第２のコマの画像データが入力される３回目の期間がフレーム番号３である。
【００３２】
続いて、フェーズ０／１判断部１６は、フレームメモリ１２から入力された過去の動きベクトル（１フレーム前から１以上のフレームの動きベクトル）を参照して、２：３／２：２プルダウン判断部１４から入力されたテレビ画像／フィルムソースの判断信号とフレーム番号信号に基づいて、動きベクトル検出部１８で動きベクトルを検出する際の検出条件（探索範囲、探索範囲数、検出ポイント、ポイント数、検出に使用するフレーム数等）を出力する。
【００３３】
ここで、フェーズ０／１判断部１６は、２：３／２：２プルダウンの判断信号から、テレビ画像の画像データが入力されたと判断すると、テレビ画像用の動きベクトル検出時の条件設定を行う。
【００３４】
一方、フィルムソースの入力画像データが入力されたと判断すると、フェーズ０／１判断部１６は、フレーム番号信号に応じて、フィルムソース用の１回目と２回目の動きベクトルの検出時で異なる条件設定を行う。フェーズ０／１判断部１６は、フレームメモリ１２から入力された１フレーム前の２回目の動きベクトルを参照して、現在のフレームの１回目の動きベクトルの検出条件を設定し、フレームメモリ１２から入力された現在のフレームの１回目の動きベクトルを参照して、現在のフレームの２回目の動きベクトルの検出条件を設定する。
【００３５】
続いて、動きベクトル検出部１８は、フェーズ０／１判断部１６によって設定された動きベクトルの検出条件に従って、現在のフレームの入力画像データと過去のフレームの入力画像データとを比較することにより、現在のフレームの動きベクトルを検出する。
【００３６】
ここで、動きベクトル検出部１８は、テレビ画像の画像データが入力された場合、入力フレームレートで、１フレーム毎に１回動きベクトルの検出を行う。検出された動きベクトルはフレームメモリ１２の動きベクトル記憶領域に記憶される。また、動きベクトルが検出される毎（入力フレームレートで１フレーム毎）に、フレームメモリ１２の同一の動きベクトル記憶領域に記憶される（上書きされる）。
【００３７】
一方、フィルムソースの画像データが入力された場合、動きベクトル検出部１８は、入力フレームレートで、１回目の期間で１回目の動きベクトル検出を行い、２回目の期間で２回目の動きベクトル検出を行う。検出された第１のフレームの１回目の動きベクトルはフレームメモリ１２の第１の動きベクトル記憶領域に記憶され、続いて検出された第１のフレームの２回目の動きベクトルはフレームメモリ１２の同一の第１の動きベクトル記憶領域に記憶される（上書きされる）。また、続く第２のフレームの１回目の動きベクトルはフレームメモリ１２の第２の動きベクトル記憶領域に記憶され、続いて第２のフレームの２回目の動きベクトルはフレームメモリ１２の同一の第２の動きベクトル記憶領域に記憶される（上書きされる）。このようにして、１フレーム毎に、動きベクトルが記憶されるフレームメモリ１２の記憶領域が交互に入れ替わる。つまり、フレームメモリ１２には、同時に２フレーム分の動きベクトルの検出結果が記憶される。
【００３８】
なお、フレームメモリ１２に、上記のように同時に２フレーム分の動きベクトルを記憶することは必須ではなく、１フレーム分の動きベクトルのみを記憶することも可能である。
【００３９】
また、補間画像生成部２０は、動きベクトル検出部１８から入力された現在のフレームの動きベクトルに基づいて、現在のフレームの入力画像データと１フレーム前の入力画像データとを用いて補間処理を行い、現在のフレームの補間画像データを生成する。
【００４０】
なお、動きベクトルの検出方法および補間画像の生成方法は何ら限定されない。これらの方法は、既に各種の方法が提案されており、本発明においても、これら公知の各種の方法を採用することができる。
【００４１】
ジャダー判断部２２は、フェーズ０／１判断部１６から入力されたテレビ画像／フィルムソースの判断信号に基づいて、入力画像データがフィルムソースの画像データであると判断すると、動きベクトル検出部１８から入力された現在のフレームの動きベクトルと、もしくはさらに、フレームメモリ１２から入力された過去の動きベクトルに基づいて、現在のフレームにおいて、人間の目で検出可能なジャダーが発生するか否かを判断する。
【００４２】
ここで、ジャダー判断部２２は、現在のフレームにおいてジャダーが発生すると判断した場合、補間画像生成部２０により生成され、フレームメモリ１２に記憶された現在のフレームの補間画像データを出力するように指示するジャダー判断信号を出力する。一方、ジャダー判断部２２は、ジャダーが発生しないと判断した場合、補間画像データを出力せず、入力画像データのみを５：５／４：４プルダウンして出力するように指示するジャダー判断信号を出力する。
【００４３】
上述する５：５／４：４プルダウンは、出力フレームレートで、フィルムソースの第１のコマの画像データを５回／４回連続し、続く第２のコマの画像データを５回／４回連続して出力することを、繰り返し行うものである。５：５／４：４プルダウンのフレーム間に補間フレームが含まれることはなく、フィルムソースの各コマに対応するフレーム数も同数（５フレーム／４フレームずつ）である。そのため、５：５／４：４プルダウンにより、自然な倍速画像を得ることができる。
【００４４】
出力部２４は、フレームメモリ１２から入力されるタイミング判断情報に基づいて、同じくフレームメモリ１２から入力されるオリジナルの入力画像データと補間画像データとを出力のフレームレートで切り替えて出力する。
【００４５】
図１に示す出力部２４は、マルチプレクサ２５および制御部２６によって構成されている。マルチプレクサ２５には、フレームメモリ１２からオリジナルの入力画像データと補間画像データが入力され、その選択入力には、制御部２６から、出力制御信号が入力されている。出力制御信号は、出力のフレームレートで変化する信号であり、この信号に応じて、オリジナルの入力画像データと補間画像データが選択的に出力される。これにより、マルチプレクサ２５から、入力画像データを倍速変換した出力画像データが出力される。
【００４６】
ここで、出力制御信号は、テレビ画像の場合、フィルムソースの場合（２：３プルダウンの場合、２：２プルダウンの場合、５：５／４：４プルダウンの場合）のパターンがあらかじめ制御部２６に記憶されている。これらのパターンの中から、どのパターンをタイミング判断情報として出力するかは、フレームメモリ１２に記憶されている、テレビ画像／フィルムソースの判断信号、２：３／２：２プルダウンの判断信号、およびジャダー判断信号に基づいて、制御部２６により決定される。
【００４７】
次に、入力画像データの種別と出力画像データとの関係について説明する。
まず、テレビ画像の画像データが入力された場合を説明する。
【００４８】
図２は、テレビ画像の入力画像データとその倍速変換後の出力画像データとの関係を表すグラフである。このグラフの縦軸は入力画像における動き（ＭＶ）、横軸は１フレームの期間を単位とする時間（Ｔ）を表し、入力画像が画面内で左下から右上に向かって移動する様子を表す。記号●、◆は入力画像、☆は補間画像、横軸下部の記号は出力画像の配列である。グラフには、出力フレームレートの１フレームの期間を分かりやすくする目的で縦線を示してある。番号１，２，３，…は、入出力フレームの対応関係を表す。
【００４９】
このグラフに示すように、テレビ画像の画像データが入力される場合、例えば、６０Ｈｚの入力フレームレートで、テレビ画像の各フレームの画像データ（●および◆）が１フレームの期間、画像処理回路１０に入力されることが、テレビ画像の各フレームについて繰り返し行われる。グラフに矢印で示したように、画像データが画像処理回路１０に入力されてから出力されるまでの時間は、１２０Ｈｚの出力フレームレートで３フレーム分の時間である。
【００５０】
画像処理回路１０は、テレビ画像の画像データが入力された場合、第１の入力画像データ（●）を１回、第１の補間画像データ（☆）を１回、続く第２の入力画像データ（◆）を１回、第２の補間画像データ（☆）を１回出力することを繰り返し行うことにより、倍速変換後の出力画像データ（●☆◆☆…）を生成する。
【００５１】
続いて、フィルムソースの画像データを２：３プルダウンした画像データが入力され、かつ、ジャダーが発生すると判断された場合を説明する。
【００５２】
図３のグラフに示すように、フィルムソースの画像データを２：３プルダウンした画像データが入力される場合、入力フレームレートで、フィルムソースの第１のフレームの入力画像データ（●）が２回連続して入力され、続く第２の入力画像データ（◆）が３回連続して画像処理回路１０に入力されることが、フィルムソースの各フレームについて繰り返し行われる。
【００５３】
この場合、画像処理回路１０は、第１の入力画像データ（●）を３回連続し、第１の補間画像データ（☆）を２回連続し、続く第２のフレームの入力画像データ（◆）を３回連続し、第２の補間画像データ（☆）を２回連続して出力することを繰り返し行うことにより、倍速変換後の出力画像データ（●○●☆☆◇◆◇☆☆…）を生成する（○と◇は、それぞれ、●と◆をコピーしたフレームの画像データである）。画像データが画像処理回路１０に入力されてから出力されるまでの時間は同じく３フレーム分の時間である。
【００５４】
続いて、フィルムソースの画像データを２：３プルダウンした画像データが入力され、かつ、ジャダーが発生しないと判断された場合を説明する。
【００５５】
図４のグラフに示すように、画像データの入力順序は、フィルムソースの画像データを２：３プルダウンした画像データが入力され、かつ、ジャダーが発生すると判断された場合と同じである。
【００５６】
この場合、画像処理回路１０は、第１の入力画像データ（●）を５回連続し、続く第２のフレームの入力画像データ（◆）を５回連続して出力すること（５：５プルダウン）を繰り返し行うことにより、倍速変換後の出力画像データ（●○●○○◇◆◇◆◇…）を生成する。この場合も、画像データが画像処理回路１０に入力されてから出力されるまでの時間は同じく３フレーム分の時間である。
【００５７】
続いて、フィルムソースの画像データを２：２プルダウンした画像データが入力され、かつ、ジャダーが発生すると判断された場合を説明する。
【００５８】
図５のグラフに示すように、フィルムソースの画像データを２：２プルダウンした画像データが入力される場合、入力フレームレートで、フィルムソースの第１のフレームの入力画像データ（●）が２回連続して入力され、続く第２のフレームの入力画像データ（◆）が２回連続して画像処理回路１０に入力されることが、フィルムソースの各フレームについて繰り返し行われる。
【００５９】
この場合、画像処理回路１０は、第１の入力画像データ（●）を２回連続し、第１の補間画像データ（☆）を２回連続し、続く第２のフレームの入力画像データ（◆）を２回連続し、第２の補間画像データ（☆）を２回連続して出力することを繰り返し行うことにより、倍速変換後の出力画像データ（●○☆☆◆◇☆☆…）を生成する。この場合も、画像データが画像処理回路１０に入力されてから出力されるまでの時間は同じく３フレーム分の時間である。
【００６０】
続いて、フィルムソースの画像データを２：２プルダウンした画像データが入力され、かつ、ジャダーが発生しないと判断された場合を説明する。
【００６１】
図６に示すように、画像データの入力順序は、フィルムソースの画像データを２：２プルダウンした画像データが入力され、かつ、ジャダーが発生すると判断された場合と同じである。
【００６２】
この場合、画像処理回路１０は、第１の入力画像データ（●）を４回連続し、続く第２のフレームの入力画像データ（◆）を４回連続して出力すること（４：４プルダウン）を繰り返し行うことにより、倍速変換後の出力画像データ（●○●○◆◇◆◇…）を生成する。この場合も、画像データが画像処理回路１０に入力されてから出力されるまでの時間は同じく３フレーム分の時間である。
【００６３】
上記のように、本実施形態の画像処理回路１０では、画像データが入力されてから出力されるまでの時間は、いずれの画像データが入力された場合も３フレーム分の時間である。このように、画像データが入力されてから出力されるまでの時間を合わせることにより、既存の倍速駆動技術を用いて、すなわち、６０Ｈｚ／５０Ｈｚの画像データを１２０Ｈｚ／１００Ｈｚの画像データに倍速変換処理を行う既存の回路を利用することができるため、本発明に関わる画像処理回路１０を低コストで簡単に実現することができる。
【００６４】
次に、図７および図８を参照して、１回目と２回目の動きベクトルの検出条件について説明する。
【００６５】
図７は、１回目と２回目の動きベクトル検出時に、検出ポイントの配置を変更した例である。同図に示す例では、入力画像内の所定の中心ポイント（★）の周囲の所定範囲内において、その上下左右に線対象な位置の複数のポイント（□）を１回目の動きベクトルの探索範囲（実線で示す）として設定する。また、中心ポイント（★）の周辺の、１回目の動きベクトルの探索範囲の外側に、同じく上下左右に線対称な位置の複数のポイント（◎）を２回目の動きベクトルの探索範囲として設定する。
【００６６】
通常の動きの範囲内であれば、１回目の探索ポイントのいずれかで精度の高い動きベクトルが検出できる。すなわち、１回目の探索ポイントのそれぞれで検出した動きベクトルの精度を、差分絶対値和等の、従来から利用されているさまざまな評価値のいずれかで評価し、最も精度が高い動きベクトルを、１回目の検出結果として採用する。しかし、１回目の探索ポイントが設定された範囲を超える、極端に大きな動きがある場合には、１回目の探索ポイントのいずれでも、高い精度で動きベクトルを検出することができない。このような場合にも、図７に示されたように、さらに広げた範囲に探索ポイントを設定して２回目の動きベクトル検出を行うことにより、高い精度で動きベクトルを検出することが可能になる。
【００６７】
すなわち、２回目に、１回目に検出した動きベクトルよりも高い精度の動きベクトルが検出できた場合には、１回目に検出した動きベクトルに代えて２回目に検出した動きベクトルを採用する。一方、１回目よりも精度が高い動きベクトルが検出できなかった場合には、１回目に検出した動きベクトルを維持する。
【００６８】
このように、それぞれ異なる探索ポイントを設定して２回の検出を行うことにより、１回の検出のみを行う場合に比較して、より高い精度で動きベクトルの検出を行うことができる。１回目と２回目のそれぞれの探索ポイントは、上記の例に限られず、さまざまに配置することが可能である。また、２回目の探索ポイントを固定せず、１回目の検出結果を参照して、２回目の探索ポイントを設定することも可能である。すなわち、１回目には、広い範囲に疎に探索ポイントを設定しておき、２回目には、１回目の検出において最も高い精度で動きベクトルが検出できた探索ポイントの周辺に、密に探索ポイントを設定して、さらに探索を行うことも可能である。
さらに、後から述べるように、１回目の探索ポイントについても、過去のフレーム間で検出された動きベクトルを参照して、設定することも可能である。
【００６９】
続いて、図８は、１回目と２回目の動きベクトル検出時に、使用するフレーム数を変更した例である。同図に示す例では、フレームｆ３が現在のフレームであるとして、動きベクトルの検出時に、３つのフレームｆ１〜ｆ３の画像データを使用することを１回目の動きベクトルの検出条件として設定する。また、動きベクトルの検出時に、４つのフレームｆ０〜ｆ３の画像データを使用することを２回目の動きベクトルの検出条件として設定する。
【００７０】
例えば、入力画像内に、外形がほぼ同じ２台の自転車Ａ，Ｂが撮影されている場合を考える。図８に示すように、前述の通りフレームｆ３を現在のフレームとして、自転車Ａは、フレームｆ０〜ｆ４で画面内を左から右側へ向かって移動するものとする。一方、自転車Ｂは、フレームｆ０〜ｆ４の間停止しているものとする。
【００７１】
この場合、１回目の動きベクトル検出時には、探索範囲がフレームｆ１〜ｆ３であるため、自転車Ａ，Ｂの外形がほぼ同じ場合に両者を混同して動きベクトルの検出ミスが発生するおそれがある。これに対し、２回目の動きベクトルの検出時には、探索範囲がフレームｆ０〜ｆ３であり、自転車Ａが動き、自転車Ｂは停止していると判断することができるため、自転車Ａ，Ｂを混同することがなくなり、動きベクトルの検出ミスが発生することを防止できる。
【００７２】
このように、１回目の動きベクトル検出時に使用する過去のフレーム数よりも２回目の動きベクトル検出時に使用する過去のフレーム数を多くすることにより、より高い精度で動きベクトルの検出を行うことができる。
なお、２回目の検出で、使用する過去のフレームの数を多くし、かつ、検出処理を所定の時間内に終了するためには、例えば、探索を行うポイントの個数を減らす必要がある。１回の検出で、探索ポイントの個数と使用する過去フレームの数との両方を大きくすることが可能であれば、２回に分けて検索を行う必要は小さくなる。しかし、そのためには、処理能力の大きな演算回路が必要であり、消費電力の増大を招く。
【００７３】
なお、１回目と２回目の動きベクトル検出時の検出条件の設定方法は、上記具体例に限定されず、各種の検出条件を設定することができる。
【００７４】
次に、画像処理回路１０の動作に従って、本発明の画像処理方法を説明する。
【００７５】
画像処理回路１０では、現在のフレームの画像データが入力されると、入力された現在のフレームの入力画像データはフレームメモリ１２の過去画像記憶領域に記憶されるとともに、２：３／２：２プルダウン判断部１４により、現在のフレームの入力画像データとフレームメモリ１２から入力された過去のフレームの入力画像データとの比較が行われ、テレビ画像／フィルムソースの判断信号が出力される。
【００７６】
また、入力画像データがフィルムソースの画像データである場合、２：３／２：２プルダウン判断部１４から、さらに、２：３／２：２プルダウンの判断信号とフレーム番号信号が出力される。
【００７７】
２：３／２：２プルダウン判断部１４から出力されたテレビ画像／フィルムソースの判断信号と２：３／２：２プルダウンの判断信号はフレームメモリ１２に記憶される。また、テレビ画像／フィルムソースの判断信号とフレーム番号信号は、フェーズ０／１判断部１６へ入力される。テレビ画像／フィルムソースの判断信号はジャダー判断部２２へ入力される。
【００７８】
続いて、フェーズ０／１判断部１６により、テレビ画像／フィルムソースの判断信号とフレーム番号信号に従い、フレームメモリ１２から入力された過去の動きベクトルを参照して、動きベクトル検出部１８における動きベクトルの検出条件が設定される。
【００７９】
ここで、フェーズ０／１判断部１６は、テレビ画像／フィルムソースの判断信号から、入力画像データがテレビ画像の画像データであると判断すると、テレビ画像の動きベクトルの検出時の条件設定を行う。一方、入力画像データがフィルムソースの画像データであると判断すると、フレーム番号信号に基づいて、フィルムソースの１回目および２回目の動きベクトルの検出時で異なる条件設定を行う。
【００８０】
フェーズ０／１判断部１６から出力された動きベクトルの検出条件は動きベクトル検出部１８へ入力される。
【００８１】
続いて、動きベクトル検出部１８により、動きベクトルの検出条件に従って、現在のフレームの入力画像データと過去のフレームの入力画像データとを比較することにより、現在のフレームの動きベクトルが検出される。
【００８２】
ここで、動きベクトル検出部１８は、テレビ画像の画像データが入力された場合、入力のフレームレートで、各フレームごとに１回動きベクトルを検出する。一方、フィルムソースの画像データが入力された場合、動きベクトル検出部１８は、入力フレームレートで、１回目のフレームが入力される期間に１回目の動きベクトルを検出し、２回目のフレームが入力される期間に２回目の動きベクトルを検出する。
【００８３】
動きベクトル検出部１８から出力された動きベクトルは、フレームメモリ１２の動きベクトル記憶領域に記憶されるとともに、補間画像生成部２０とジャダー判断部２２へ入力される。
【００８４】
続いて、補間画像生成部２０により、動きベクトル検出部１８から入力された現在のフレームの動きベクトルに基づいて、現在のフレームの入力画像データと１フレーム前の入力画像データとを用いて補間処理が行われ、現在のフレームの補間画像データが生成される。補間画像生成部２０から出力された補間画像データは、フレームメモリ１２の補間画像記憶領域に記憶される。
【００８５】
また、入力画像データがフィルムソースの画像データである場合、補間画像生成部２０により補間画像が生成されるのと同時に、ジャダー判断部２２により、動きベクトル検出部１８から入力された現在のフレームの動きベクトルと、フレームメモリ１２から入力された過去の動きベクトルに基づいて、人間の目で検出可能なジャダーが発生するか否かの判断が行われ、ジャダー判断信号が出力される。
【００８６】
ジャダー判断部２２は、例えば、以下の手順でジャダー発生の有無を判断する。
（１）動きベクトル検出で検出された動きベクトルを、方向（例えば、縦、横、斜め４５°ごとの８つの範囲）に分け、さらに、その大きさごとに分けて、頻度を求める。
（２）方向および大きさごとに、人間の目の感度に応じた係数をかけて、補正済みの頻度を求める。大きさについては、例えば、特開平１１−１７７９４０号公報の００８０段落に記されたように、人間の目が検出しやすい大きさの範囲に大きな、それから離れるにつれて小さくなる係数をかける。方向については、横＞縦＞斜めの順に人間の目の感度が低くなるので、その順に小さくなる係数をかける。
（３）補正済みの頻度と閾値を比較し、例えば、１つでも閾値を超えるものがあれば、ジャダーが発生すると判断する。
（４）さらに、過去の動きベクトルについても判断の対象として、判断の精度を高めることが可能である。
【００８７】
ジャダー判断部２２から出力されたジャダー判断信号はフレームメモリ１２に記憶される。
【００８８】
ここで、制御部２６は、フレームメモリ１２に記憶されたテレビ画像／フィルムソースの判断信号、２：３／２：２プルダウンの判断信号、およびジャダー判断信号を読み出し、これらの信号に基づいて、出力制御信号をマルチプレクサ２５に出力する。そして、マルチプレクサ２５から、出力制御信号に基づいて、同じくフレームメモリ１２から入力されたオリジナルの入力画像データと補間画像データとが出力のフレームレートで切り替えて出力される。これにより、入力画像データは、その種別に応じて倍速変換処理され、出力部２４の出力画像データとして出力される。
【００８９】
続いて、画像処理回路１０の動きベクトル検出時の動作を詳細に説明する。
【００９０】
図９（ａ）は、フィルムソースの各コマを２：３プルダウンして生成された各フレームの画像データが入力される場合、同図（ｂ）は、テレビ画像の各フレームの画像データが入力された場合の画像処理回路１０の動作を表す概念図である。
【００９１】
図９（ａ）に示すように、フィルムソースの各コマを２：３プルダウンして生成された各フレームの画像データは、６０Ｈｚ／５０Ｈｚの入力フレームレートで、フレームｆ０，ｆ０，ｆ１，ｆ１，ｆ１，ｆ２，ｆ２，…の順に画像処理回路１０へ入力される。
【００９２】
１回目のフレームｆ０の画像データは、これが入力される期間にフレームメモリ１２の第１の過去画像記憶領域に記憶され、１回目のフレームｆ２の画像データが入力されるまで保持される。また、１回目のフレームｆ１の画像データは、これが入力される期間にフレームメモリ１２の第２の過去画像記憶領域に記憶され、１回目のフレームｆ３の画像データが入力されるまで保持される。つまり、この例では、最新の２コマ分の画像データがフレームメモリ１２に記憶される。
【００９３】
なお、２回目のフレームｆ０の画像データと、２回目および３回目のフレームｆ１の画像データは、フレームメモリ１２に記憶するように構成してもよいし、記憶しないように構成してもよい。また、フレームｆ２，ｆ３，…についても同じである。
【００９４】
一方、入力フレームレートでフィルムソースの各コマに対応する各フレームの画像データが入力されてから、１２０Ｈｚ／１００Ｈｚの出力フレームレートで３フレーム分の時間の後に、ｆ０＊３（＝ｆ０，ｆ０，ｆ０），ｆ０／ｆ１（＝ｆ０とｆ１との補間画像データ）＊２，ｆ１＊３，ｆ１／ｆ２＊２，…の順に、画像処理回路１０から倍速変換処理後の各フレームの画像データが出力される。
【００９５】
動きベクトル検出部１８は、１回目のフレームｆ１の画像データが入力される期間に、フレームメモリ１２に記憶されたフレームｆ０の画像データと、入力された１回目のフレームｆ１の画像データとを利用して、１回目の検出条件で、フィルムソースの隣り合うコマ間（ｆ０→ｆ１）の、１回目の動きベクトルの検出を行う。１回目の動きベクトルの検出結果はフレームメモリ１２の第１の動きベクトル記憶領域に記憶される。
【００９６】
動きベクトル検出部１８により生成された１回目の動きベクトルを参照して、補間画像生成部２０により、前述の補間画像データｆ０／ｆ１が生成される。
【００９７】
続いて、動きベクトル検出部１８は、２回目のフレームｆ１の画像データが入力される期間に、同様にフレームｆ０，ｆ１の画像データを利用して、２回目の検出条件で、２回目の動きベクトルの検出を行う。２回目の動きベクトルの検出結果は、フレームメモリ１２の第１の動きベクトル記憶領域に記憶される。つまり、１回目の動きベクトルの検出結果に上書きされる。
【００９８】
そして、２回目の動きベクトルの検出結果は、フレームｆ３の画像データが入力され、動きベクトル検出部１８により、フレームｆ２，ｆ３の画像データを利用して、１回目の検出条件で、動きベクトルが生成されるまで保持される。
【００９９】
続いて、動きベクトル検出部１８は、１回目のフレームｆ２の画像データが入力される期間に、フレームメモリ１２に記憶されたフレームｆ１の画像データと、入力された１回目のフレームｆ２の画像データとを利用して、１回目の検出条件で、フィルムソースの隣り合うコマ間（ｆ１→ｆ２）の、１回目の動きベクトルの検出を行う。１回目の動きベクトルの検出結果はフレームメモリ１２の第２の動きベクトル記憶領域に記憶される。
【０１００】
１回目の動きベクトルを参照して、補間画像生成部２０により、前述の補間画像データｆ１／ｆ２が生成される。
【０１０１】
続いて、動きベクトル検出部１８は、２回目のフレームｆ２の画像データが入力される期間に、同様にフレームｆ１，ｆ２の画像データを利用して、２回目の検出条件で、２回目の動きベクトルの検出を行う。２回目の動きベクトルの検出結果は、フレームメモリ１２の第２の動きベクトル記憶領域に記憶される。つまり、同様に１回目の動きベクトルの検出結果に上書きされる。
【０１０２】
そして、２回目の動きベクトルの検出結果は、フレームｆ４の画像データが入力され、動きベクトル検出部１８により、フレームｆ３，ｆ４の画像データを利用して、１回目の検出条件で、動きベクトルが生成されるまで保持される。
【０１０３】
ここで、図９に示す例においては、隣り合うコマ間の動きベクトルの検出を２回にわけて行い、動きベクトルの検出精度を高めているにもかかわらず、補間画像データの生成には、１回目に検出した動きベクトルが利用されている。しかしながら、１回目の動きベクトル検出においても、過去のコマ間で検出した動きベクトルを参照して、探索ポイント等の、動きベクトル検出条件を設定することができる。この、検出条件を設定するために参照する、過去のコマ間の動きベクトルとして、２回の検出を行った、精度の高い動きベクトルを利用することにより、１回目に検出できる動きベクトルの精度を高めることができる。このように精度を高めた動きベクトルを利用することにより、補間画像の破綻の可能性を低くすることができる。
【０１０４】
続いて、図（ｂ）に示すように、テレビ画像の各フレームの画像データは、６０Ｈｚ／５０Ｈｚの入力フレームレートで、フレームｆ０，ｆ１，ｆ２，ｆ３，ｆ４，…の順に画像処理回路１０へ入力される。
【０１０５】
フレームｆ０の画像データは、これが入力される期間にフレームメモリ１２の第１の過去画像記憶領域に記憶され、フレームｆ２の画像データが入力されるまで保持される。また、フレームｆ１の画像データは、これが入力される期間にフレームメモリ１２の第２の過去画像記憶領域に記憶され、フレームｆ３の画像データが入力されるまで保持される。つまり、同様に最新の２フレーム分の画像データがフレームメモリ１２に記憶される。
【０１０６】
一方、入力フレームレートでテレビ画像の各フレームの画像データが入力されてから、１２０Ｈｚ／１００Ｈｚの出力フレームレートで３フレーム分の時間の後に、ｆ０，ｆ０／ｆ１，ｆ１，ｆ１／ｆ２，ｆ２，ｆ２／ｆ３，ｆ３，…の順に、画像処理回路１０から倍速変換処理後の各フレームの画像データが出力される。
【０１０７】
動きベクトル検出部１８は、フレームｆ１の画像データが入力される期間に、フレームメモリ１２に記憶されたフレームｆ０の画像データと、入力されたフレームｆ１の画像データとを利用して、テレビ画像の検出条件で、テレビ画像の隣り合うフレーム間（ｆ０→ｆ１）の動きベクトルの検出を行う。動きベクトルの検出結果はフレームメモリ１２の動きベクトル記憶領域に記憶される。
【０１０８】
動きベクトル検出部１８により生成された動きベクトルを参照して、補間画像生成部２０により、前述の補間画像データｆ０／ｆ１が生成される。
【０１０９】
そして、動きベクトル検出部１８により生成された動きベクトルの検出結果は、フレームｆ３の画像データが入力され、動きベクトル検出部１８により、フレームｆ２，ｆ３の画像データを利用して、テレビ画像の検出条件で、動きベクトルが生成されるまで保持される。
【０１１０】
テレビ画像のフレームの画像データが入力される場合、入力フレームレートで、フレームｆ１の画像データが入力される期間に、フレームｆ０，ｆ１の動きベクトル検出が行われる。そして、入力フレームレートで、フレームｆ１の次のフレーム期間にフレームｆ２の画像データが入力され、フレームｆ１，ｆ２の動きベクトル検出が行われる。このため、同一の隣り合うフレーム間で２回目の動きベクトル検出を行うことはできない。
【０１１１】
フィルムソースの場合とテレビ画像の場合の比較から分かるように、画像処理回路１０では、６０Ｈｚ入力→１２０Ｈｚ出力のための倍速エンジン（動きベクトル検出部１８、補間画像生成部２０）をそのまま利用して、すなわち、動きベクトル検出の対象とする現在のフレームｆ１の画像データが入力される期間に、動きベクトル検出および補間画像データ生成を行って、２：３プルダウンの各フレームの画像データを、１２０Ｈｚの出力フレームレートの画像データに変換することができる。
【０１１２】
同様に、画像処理回路１０では、５０Ｈｚ入力→１００Ｈｚ出力のための倍速エンジン（通常は、同一の回路で、５０Ｈｚ入力→１００Ｈｚ出力と６０Ｈｚ入力→１２０Ｈｚ出力の両方に対応する）をそのまま利用して、２：２プルダウンの各フレームの画像データを、１００Ｈｚの出力フレームレートの画像データに変換することができる。この場合も、２：３プルダウンの場合と同様に、動きベクトル検出を２回行ってその検出精度を向上させることができる。
【０１１３】
なお、フィルムソースの画像データが入力される場合、２：３／２：２プルダウンに限らず、他のプルダウン方式を採用してもよい。また、出力フレームレートは、入力フレームレートの２倍に限らず、ｎ倍（ｎは２以上の整数）であればよい。
【０１１４】
また、画像処理回路１０では、過去フレームとして、フレームメモリ１２に、現在のフレームの１フレーム前から１以上のフレームの画像データを記憶すればよい。同様に、動きベクトルも、過去動きベクトルとして、現在のフレームの１フレーム前から１以上のフレームの動きベクトルを記憶すればよい。
【０１１５】
また、本発明では、２回の動きベクトル検出を行って、動きベクトルの検出精度を向上させることが重要であり、これにより、動きベクトルの検出ミスを低減し、補間画像の破綻を低減することができる。本発明において、ジャダー判断部は必須ではないが、ジャダー判断部によりジャダー発生の有無を判断し、所定のパターンをタイミング判断情報として用いることによって高画質な画像を表示することができる。
【０１１６】
すなわち、ジャダーが発生すると判断した場合には、隣り合うフレーム間に補間画像を挿入することによりジャダーによる画質の低下を低減することができる。一方、ジャダーが発生しないと判断した場合には、５：５／４：４プルダウンしたフレームを出力することにより、動きベクトルの検出ミスに起因する、破綻した補間画像が挿入されることを防ぎ、フィルムソースの原画像に近い高画質な画像を表示することができる。
【０１１７】
本発明は、基本的に以上のようなものである。
以上、本発明について詳細に説明したが、本発明は上記実施形態に限定されず、本発明の主旨を逸脱しない範囲において、種々の改良や変更をしてもよいのはもちろんである。
【符号の説明】
【０１１８】
１０ 画像処理回路
１２ フレームメモリ
１４ ２：３／２：２プルダウン判断部
１６ フェーズ０／１判断部
１８ 動きベクトル検出部
２０ 補間画像生成部
２２ ジャダー判断部
２４ 出力部
２５ マルチプレクサ（ＭＵＸ）
２６ 制御部
【技術分野】
【０００１】
本発明は、入力フレームレートで各フレームの画像データを受信し、入力フレームレートのｎ倍（ｎは２以上の整数）の出力フレームレートで、ｎ倍に変換処理した画像データを出力する画像処理回路および画像処理方法に関するものである。
【背景技術】
【０００２】
液晶テレビ等の画像表示装置には、画像データとして、通常のテレビ画像のフレーム（フィールド）の画像データと、フィルムソース（映画）の各コマに対応する各フレームの画像データが混在して入力される。画像表示装置では、入力画像データの種別（テレビ画像／フィルムソース）を検出し、検出した種別に応じて変換処理を行うことにより出力画像データを生成して画像を表示する。また、近年では、倍速変換処理を行って画像を倍速表示する画像表示装置が実用化されている。
【０００３】
ここで、テレビ画像は、６０Ｈｚ（６０Ｉ）（ＮＴＳＣ方式）／５０Ｈｚ（５０Ｉ）（ＰＡＬ方式）の入力フレームレートで、フレーム毎に異なる画像データが画像表示装置入力される。テレビ画像の場合には、例えば、輝度信号成分は動き適応型の補間処理により、色差成分はライン間の補間処理で補間走査線の信号を生成することにより、飛び越し走査の画像データ（Ｉ）を順次走査の画像データ（Ｐ）に変換（ＩＰ変換）したものが画像表示装置に入力される。
【０００４】
一方、フィルムソースは、２４コマ（フレーム）／秒（２４Ｐ）の画像である。そのため、ＮＴＳＣ方式のフィルムソースの場合、６０Ｈｚの入力フレームレートで、フィルムソースの各コマを２：３プルダウンして生成された各フレームの画像データが入力される。つまり、入力フレームレートで、フィルムソースの第１のコマの画像データが２回連続し、続く第２のコマの画像データが３回連続して入力されることが、フィルムソースの各コマについて繰り返し行われる。
【０００５】
また、フィルムソースの各コマを２：３プルダウンして生成された各フレームの画像データが入力される場合には、例えば、同一フィルムソースの各コマを２：３プルダウンして生成された各フレームに属する飛び越し走査の信号で補間走査線の信号を生成することにより、飛び越し走査の画像データ（Ｉ：インタレース）を順次走査の画像データ（Ｐ：プログレッシブ）に変換したものが入力される。
【０００６】
また、ＰＡＬ方式のフィルムソースの場合、５０Ｈｚの入力フレームレートで、各フレームの各コマを２：２プルダウンして生成された各フレームの画像データが入力される。つまり、入力フレームレートで、フィルムソースの第１のコマの画像データが２回連続し、続く第２のコマの画像データが２回連続して入力されることが、フィルムソースの各コマについて繰り返し行われる。
【０００７】
上記のように、フィルムソースの各コマに対応する各フレームの画像データが入力された場合、同じフレームの画像が２回ないし３回連続して画像表示装置に表示されることになる。そのため、動きの激しいシーンでは、動きがガクガクするように感じられる場合があるという問題があった。この問題は、フィルムソースのコマ不足に起因するものであり、前述のガクガク感はジャダーと呼ばれている。
【０００８】
これに対し、フィルムソースの各コマに対応する各フレームの画像データが入力された場合に、隣り合う２つのフレーム間の画像データを補間して生成された補間フレーム（補間画像）を、その隣り合うフレーム間に挿入することにより、ジャダーを緩和する技術が提案されている。この補間技術では、隣り合うフレーム間における動きベクトルを検出し、検出した動きベクトルに応じて、隣り合うフレームから補間フレームを生成する。
【０００９】
また、倍速表示を行う場合、出力フレームレートで、入力フレームレートの２倍の１２０Ｈｚ（ＮＴＳＣ方式）／１００Ｈｚ（ＰＡＬ方式）の出力画像データが必要となる。この場合、上記手法では、出力画像のフレーム間に多くの補間フレームが挿入される。
【００１０】
ここで、本発明に関連性のある先行技術文献として、特許文献１，２がある。
【００１１】
特許文献１には、ブロック単位の動きベクトルＢＶを検出する動きベクトル探索部と、内挿フレームの信号を生成する動き補正内挿フレーム生成部とを備える、動き補正フレーム数変換部によって、フレーム周波数２４Ｈｚのテレシネ順次走査のフレーム順の１から２（２フレーム）の信号に対して、動き補正型のフレーム内挿処理で、フレーム順１から５（５フレーム）のフレーム周波数６０Ｈｚの順次走査の信号に変換すること、すなわち、フレーム順１の信号のみが入力信号そのままの画像で、フレーム順２から５は内挿処理により生成された画像となることが開示されている。
【００１２】
つまり、特許文献１の手法では、出力画像に、２４Ｐのフィルムソース本来のコマ数よりも多くの補間フレームが挿入されることになる。前述のように、補間フレームは、隣り合うフレーム間の動きベクトルを検出することによって生成される。そのため、動きベクトルの検出ミスがあれば補間画像は破綻する。また、出力画像のフレーム間に挿入される補間画像が多くなればなるほど破綻が目立つようになる。
また、モーションジャダー妨害が目立ちやすい速度の動き、あるいは特殊な動きの場合のみ、動き補正のフレーム内挿処理を行うことも開示されている。
【００１３】
また、特許文献２には、飛び越し走査の２：３プルダウン映像信号から、各フレームの線順次走査映像信号を生成してメモリに書き込み、それぞれ５回ずつ読み出して、１２０Ｈｚのフレームレートの映像信号を生成することが開示されている。
さらに、特許文献３には、入力映像信号がインターレース映像信号であるか否か、および、フィルムソースの映像信号であるか否かを判別し、プログレッシブ映像信号に変換することが開示されている。
【先行技術文献】
【特許文献】
【００１４】
【特許文献１】特開平１１−１７７９４０号公報
【特許文献２】特開２００４−３０２０４５号公報
【特許文献３】特開２００５−２７０６８号公報
【発明の概要】
【発明が解決しようとする課題】
【００１５】
本発明の目的は、フィルムソースの画像データが入力された場合の動きベクトルの検出精度を向上し、出力画像に生じるジャダーを緩和して画質を向上させることができる画像処理回路および画像処理方法を提供することにある。
【課題を解決するための手段】
【００１６】
上記目的を達成するために、本発明は、フィルムソースの各コマの画像データをそれぞれ２回以上プルダウンすることによって生成された第１のフレームレートの画像データを受信し、該第１のフレームレートのｎ倍（ｎは２以上の整数）の第２のフレームレートの画像データを出力する画像処理回路であって、前記フィルムソースの各コマの画像データを記憶するフレームメモリと、前記フィルムソースの隣り合うコマの画像間の動きベクトルを検出する動きベクトル検出部と、前記動きベクトル検出部が検出した動きベクトルに基づいて前記フィルムソースの隣り合うコマの画像間を補間した補間画像を生成し、前記フレームメモリに記憶する補間画像生成部と、前記フレームメモリから、前記フィルムソースの各コマの画像のみ、もしくは、該各コマの画像に加えて前記補間画像を、前記第２のフレームレートで読み出して出力する出力部とを有し、前記動きベクトル検出部が、同一の隣り合うコマの画像間の動きベクトルの検出を、互いに異なる条件で、２回、それぞれ前記第１のフレームレートの異なるフレームの期間に行うことを特徴とする画像処理回路を提供するものである。
【００１７】
また、前記補間画像生成部が、前記動きベクトル検出部による前記２回の検出のうちの、１回目に検出した動きベクトルに基づいて前記補間画像を生成し、前記動きベクトル検出部が、前記２回の検出のうちの２回目に検出した動きベクトルを前記フレームメモリに記憶し、次の隣り合うコマ間の１回目の動きベクトル検出を行うための条件の設定を、該記憶した２回目に検出した動きベクトルに基づいて行うのが好ましい。
【００１８】
また、前記動きベクトル検出部が検出した動きベクトルに基づいて、ジャダーが発生するか否かを判断するジャダー判断部をさらに有し、前記ジャダー判断部がジャダーが発生しないと判断したときには、前記出力部が、前記フィルムソースの各コマの画像のみを前記第２のフレームレートで読み出して出力し、前記ジャダー判断部がジャダーが発生すると判断したときには、前記出力部が、前記フィルムソースの各コマの画像および前記補間画像を前記第２のフレームレートで読み出して出力するのが好ましい。
【００１９】
また、上記目的を達成するために、本発明は、第１のフレームレートの画像データを受信し、前記受信した画像データを記憶するフレームメモリと、前記受信した画像データの隣り合うフレームの画像間の動きベクトルを検出する動きベクトル検出部と、前記動きベクトル検出部が検出した動きベクトルに基づいて前記隣り合うフレームの画像間を補間した補間画像を生成し、前記フレームメモリに記憶する補間画像生成部と、前記フレームメモリから、前記隣り合うフレームの画像および前記補間画像を、前記第１のフレームレートのｎ倍（ｎは２以上の整数）の第２のフレームレートで読み出して出力する出力部とを有する画像処理回路を用いて、フィルムソースの各コマの画像データをそれぞれ２回以上プルダウンすることによって生成された前記第１のフレームレートの画像データを受信し、前記第２のフレームレートの画像データを出力する画像処理方法であって、前記動きベクトル検出部が、前記フィルムソースの隣り合うコマの画像間の動きベクトルの検出を、互いに異なる条件で、２回、それぞれ前記第１のフレームレートの異なるフレームの期間に行い、前記出力部が、前記フレームメモリから、前記フィルムソースの各コマの画像のみ、もしくは、該各コマの画像に加えて前記補間画像を、前記第２のフレームレートで読み出して出力することを特徴とする画像処理方法を提供するものである。
【００２０】
また、前記補間画像生成部が、前記動きベクトル検出部による前記２回の検出のうちの、１回目に検出した動きベクトルに基づいて前記補間画像を生成し、前記動きベクトル検出部が、前記２回の検出のうちの２回目に検出した動きベクトルを前記フレームメモリに記憶し、次の隣り合うコマ間の１回目の動きベクトル検出を行うための条件の設定を、該記憶した２回目に検出した動きベクトルに基づいて行うのが好ましい。
【００２１】
また、前記画像処理回路が、前記動きベクトル検出部が検出した動きベクトルに基づいて、ジャダーが発生するか否かを判断するジャダー判断部をさらに有し、前記ジャダー判断部がジャダーが発生しないと判断したときには、前記出力部が、前記フィルムソースの各コマの画像のみを前記第２のフレームレートで読み出して出力し、前記ジャダー判断部がジャダーが発生すると判断したときには、前記出力部が、前記フィルムソースの各コマの画像および前記補間画像を前記第２のフレームレートで読み出して出力するのが好ましい。
【発明の効果】
【００２２】
本発明によれば、フィルムソースのフレーム間動きベクトルの検出精度が向上することにより、出力画像の補間フレームの破綻を大幅に低減することができる。また、フィルムソースのコマ不足による出力画像のジャダーを緩和することができる。
さらに、倍速表示用の回路を用いることで、回路規模および消費電力を低減することができる。
【図面の簡単な説明】
【００２３】
【図１】本発明に関わる画像処理回路の構成を表す一実施形態のブロック図である。
【図２】テレビ画像の各フレームの入力画像データとその倍速変換後の各フレームの出力画像データとの関係を表すグラフである。
【図３】ジャダーが発生した場合において、フィルムソースの各コマを２：３プルダウンして生成された各フレームの入力画像データとその倍速変換後の各フレームの出力画像データとの関係を表すグラフである。
【図４】ジャダーが発生しない場合において、フィルムソースの各コマを２：３プルダウンして生成された各フレームの入力画像データとその倍速変換後の各フレームの出力画像データとの関係を表すグラフである。
【図５】ジャダーが発生した場合において、フィルムソースの各コマを２：２プルダウンして生成された各フレームの入力画像データとその倍速変換後の各フレームの出力画像データとの関係を表すグラフである。
【図６】ジャダーが発生しない場合において、フィルムソースの各コマを２：２プルダウンして生成された各フレームの入力画像データとその倍速変換後の各フレームの出力画像データとの関係を表すグラフである。
【図７】１回目と２回目の動きベクトルの検出条件を説明する一例の概念図である。
【図８】１回目と２回目の動きベクトルの検出条件を説明する別の例の概念図である。
【図９】（ａ）および（ｂ）は、それぞれ、ビデオソースおよびテレビ画像の画像データが入力された場合の画像処理回路の動作を表す概念図である。
【発明を実施するための形態】
【００２４】
以下に、添付の図面に示す好適実施形態に基づいて、本発明の画像処理回路および画像処理方法を詳細に説明する。
【００２５】
図１は、本発明に関わる画像処理回路の構成を表す一実施形態のブロック図である。同図に示す画像処理回路１０は、６０Ｈｚ／５０Ｈｚの入力フレームレートで画像データを受信し、これを倍速変換処理した画像データを、１２０Ｈｚ／１００Ｈｚの出力フレームレートで出力するものである。画像処理回路１０は、フレームメモリ１２と、２：３／２：２プルダウン判断部１４と、フェーズ０／１判断部１６と、動きベクトル検出部１８と、補間画像生成部２０と、ジャダー判断部２２と、出力部２４とによって構成されている。
【００２６】
画像処理回路１０には、テレビ画像の各フレームの画像データ（以下、テレビ画像の画像データともいう）と、フィルムソースの各コマを２：３／２：２プルダウンして生成された各フレームの画像データ（以下、２：３／２：２プルダウンの画像データ、ないしは、両者をまとめてフィルムソースの画像データともいう）が混在した状態で入力される。これらの入力画像データはＩＰ変換後の画像データである。
【００２７】
画像処理回路１０は、入力画像データがフィルムソースの画像データである場合に、隣り合う２つのフレーム間で、異なる検出条件を設定して２回の動きベクトル検出を行うことにより動きベクトルの検出精度を向上させる。これにより、動きベクトルの検出ミスにより生じる補間画像の破綻を低減することができ、出力画像に生じるジャダーを緩和して画質を向上させることができる。
【００２８】
まず、フレームメモリ１２は、入力フレームレートで、最新の所定フレーム数の入力画像データを記憶する、ＤＤＲメモリ等の半導体メモリである。また、フレームメモリ１２は、後述するように、動きベクトル検出部１８から入力される動きベクトル、補間画像生成部２０から入力される補間画像データ、ジャダー判断部２２から入力されるジャダー判断信号等を記憶する。
【００２９】
以下順に、２：３／２：２プルダウン判断部１４は、現在のフレームの入力画像データと過去のフレームの入力画像データ（１フレーム前から１以上のフレームの入力画像データ）との比較を行って、例えば、フレーム間差分信号成分がゼロとなるフレームの発生周期等から、現在の入力画像データがテレビ画像の画像データであるのか、フィルムソースの画像データであるのかを判断し、テレビ画像／フィルムソースの判断信号を出力する。
【００３０】
また、２：３／２：２プルダウン判断部１４は、入力画像データがフィルムソースの画像データである場合、さらに、２：３プルダウンの画像データであるのか、２：２プルダウンの画像データであるのかを判断し、２：３／２：２プルダウンの判断信号を出力するとともに、その何番目のフレームの画像データであるのかを判断し、フレーム番号信号を出力する。２：３／２：２プルダウンの判断は、例えば、テレビ画像／フィルムソースの判断と同様にして実現できる。
【００３１】
ここで、フレーム番号について説明する。例えば、２：３プルダウンの画像データは、第１のコマの画像データが２回（入力フレームレートで、２フレーム時間）連続し、第２のコマの画像データが３回連続して入力されることが、フィルムソースの各コマについて繰り返し行われる。第１および第２のコマの画像データが入力される１回目の期間がフレーム番号１であり、２回目の期間がフレーム番号２である。また、第２のコマの画像データが入力される３回目の期間がフレーム番号３である。
【００３２】
続いて、フェーズ０／１判断部１６は、フレームメモリ１２から入力された過去の動きベクトル（１フレーム前から１以上のフレームの動きベクトル）を参照して、２：３／２：２プルダウン判断部１４から入力されたテレビ画像／フィルムソースの判断信号とフレーム番号信号に基づいて、動きベクトル検出部１８で動きベクトルを検出する際の検出条件（探索範囲、探索範囲数、検出ポイント、ポイント数、検出に使用するフレーム数等）を出力する。
【００３３】
ここで、フェーズ０／１判断部１６は、２：３／２：２プルダウンの判断信号から、テレビ画像の画像データが入力されたと判断すると、テレビ画像用の動きベクトル検出時の条件設定を行う。
【００３４】
一方、フィルムソースの入力画像データが入力されたと判断すると、フェーズ０／１判断部１６は、フレーム番号信号に応じて、フィルムソース用の１回目と２回目の動きベクトルの検出時で異なる条件設定を行う。フェーズ０／１判断部１６は、フレームメモリ１２から入力された１フレーム前の２回目の動きベクトルを参照して、現在のフレームの１回目の動きベクトルの検出条件を設定し、フレームメモリ１２から入力された現在のフレームの１回目の動きベクトルを参照して、現在のフレームの２回目の動きベクトルの検出条件を設定する。
【００３５】
続いて、動きベクトル検出部１８は、フェーズ０／１判断部１６によって設定された動きベクトルの検出条件に従って、現在のフレームの入力画像データと過去のフレームの入力画像データとを比較することにより、現在のフレームの動きベクトルを検出する。
【００３６】
ここで、動きベクトル検出部１８は、テレビ画像の画像データが入力された場合、入力フレームレートで、１フレーム毎に１回動きベクトルの検出を行う。検出された動きベクトルはフレームメモリ１２の動きベクトル記憶領域に記憶される。また、動きベクトルが検出される毎（入力フレームレートで１フレーム毎）に、フレームメモリ１２の同一の動きベクトル記憶領域に記憶される（上書きされる）。
【００３７】
一方、フィルムソースの画像データが入力された場合、動きベクトル検出部１８は、入力フレームレートで、１回目の期間で１回目の動きベクトル検出を行い、２回目の期間で２回目の動きベクトル検出を行う。検出された第１のフレームの１回目の動きベクトルはフレームメモリ１２の第１の動きベクトル記憶領域に記憶され、続いて検出された第１のフレームの２回目の動きベクトルはフレームメモリ１２の同一の第１の動きベクトル記憶領域に記憶される（上書きされる）。また、続く第２のフレームの１回目の動きベクトルはフレームメモリ１２の第２の動きベクトル記憶領域に記憶され、続いて第２のフレームの２回目の動きベクトルはフレームメモリ１２の同一の第２の動きベクトル記憶領域に記憶される（上書きされる）。このようにして、１フレーム毎に、動きベクトルが記憶されるフレームメモリ１２の記憶領域が交互に入れ替わる。つまり、フレームメモリ１２には、同時に２フレーム分の動きベクトルの検出結果が記憶される。
【００３８】
なお、フレームメモリ１２に、上記のように同時に２フレーム分の動きベクトルを記憶することは必須ではなく、１フレーム分の動きベクトルのみを記憶することも可能である。
【００３９】
また、補間画像生成部２０は、動きベクトル検出部１８から入力された現在のフレームの動きベクトルに基づいて、現在のフレームの入力画像データと１フレーム前の入力画像データとを用いて補間処理を行い、現在のフレームの補間画像データを生成する。
【００４０】
なお、動きベクトルの検出方法および補間画像の生成方法は何ら限定されない。これらの方法は、既に各種の方法が提案されており、本発明においても、これら公知の各種の方法を採用することができる。
【００４１】
ジャダー判断部２２は、フェーズ０／１判断部１６から入力されたテレビ画像／フィルムソースの判断信号に基づいて、入力画像データがフィルムソースの画像データであると判断すると、動きベクトル検出部１８から入力された現在のフレームの動きベクトルと、もしくはさらに、フレームメモリ１２から入力された過去の動きベクトルに基づいて、現在のフレームにおいて、人間の目で検出可能なジャダーが発生するか否かを判断する。
【００４２】
ここで、ジャダー判断部２２は、現在のフレームにおいてジャダーが発生すると判断した場合、補間画像生成部２０により生成され、フレームメモリ１２に記憶された現在のフレームの補間画像データを出力するように指示するジャダー判断信号を出力する。一方、ジャダー判断部２２は、ジャダーが発生しないと判断した場合、補間画像データを出力せず、入力画像データのみを５：５／４：４プルダウンして出力するように指示するジャダー判断信号を出力する。
【００４３】
上述する５：５／４：４プルダウンは、出力フレームレートで、フィルムソースの第１のコマの画像データを５回／４回連続し、続く第２のコマの画像データを５回／４回連続して出力することを、繰り返し行うものである。５：５／４：４プルダウンのフレーム間に補間フレームが含まれることはなく、フィルムソースの各コマに対応するフレーム数も同数（５フレーム／４フレームずつ）である。そのため、５：５／４：４プルダウンにより、自然な倍速画像を得ることができる。
【００４４】
出力部２４は、フレームメモリ１２から入力されるタイミング判断情報に基づいて、同じくフレームメモリ１２から入力されるオリジナルの入力画像データと補間画像データとを出力のフレームレートで切り替えて出力する。
【００４５】
図１に示す出力部２４は、マルチプレクサ２５および制御部２６によって構成されている。マルチプレクサ２５には、フレームメモリ１２からオリジナルの入力画像データと補間画像データが入力され、その選択入力には、制御部２６から、出力制御信号が入力されている。出力制御信号は、出力のフレームレートで変化する信号であり、この信号に応じて、オリジナルの入力画像データと補間画像データが選択的に出力される。これにより、マルチプレクサ２５から、入力画像データを倍速変換した出力画像データが出力される。
【００４６】
ここで、出力制御信号は、テレビ画像の場合、フィルムソースの場合（２：３プルダウンの場合、２：２プルダウンの場合、５：５／４：４プルダウンの場合）のパターンがあらかじめ制御部２６に記憶されている。これらのパターンの中から、どのパターンをタイミング判断情報として出力するかは、フレームメモリ１２に記憶されている、テレビ画像／フィルムソースの判断信号、２：３／２：２プルダウンの判断信号、およびジャダー判断信号に基づいて、制御部２６により決定される。
【００４７】
次に、入力画像データの種別と出力画像データとの関係について説明する。
まず、テレビ画像の画像データが入力された場合を説明する。
【００４８】
図２は、テレビ画像の入力画像データとその倍速変換後の出力画像データとの関係を表すグラフである。このグラフの縦軸は入力画像における動き（ＭＶ）、横軸は１フレームの期間を単位とする時間（Ｔ）を表し、入力画像が画面内で左下から右上に向かって移動する様子を表す。記号●、◆は入力画像、☆は補間画像、横軸下部の記号は出力画像の配列である。グラフには、出力フレームレートの１フレームの期間を分かりやすくする目的で縦線を示してある。番号１，２，３，…は、入出力フレームの対応関係を表す。
【００４９】
このグラフに示すように、テレビ画像の画像データが入力される場合、例えば、６０Ｈｚの入力フレームレートで、テレビ画像の各フレームの画像データ（●および◆）が１フレームの期間、画像処理回路１０に入力されることが、テレビ画像の各フレームについて繰り返し行われる。グラフに矢印で示したように、画像データが画像処理回路１０に入力されてから出力されるまでの時間は、１２０Ｈｚの出力フレームレートで３フレーム分の時間である。
【００５０】
画像処理回路１０は、テレビ画像の画像データが入力された場合、第１の入力画像データ（●）を１回、第１の補間画像データ（☆）を１回、続く第２の入力画像データ（◆）を１回、第２の補間画像データ（☆）を１回出力することを繰り返し行うことにより、倍速変換後の出力画像データ（●☆◆☆…）を生成する。
【００５１】
続いて、フィルムソースの画像データを２：３プルダウンした画像データが入力され、かつ、ジャダーが発生すると判断された場合を説明する。
【００５２】
図３のグラフに示すように、フィルムソースの画像データを２：３プルダウンした画像データが入力される場合、入力フレームレートで、フィルムソースの第１のフレームの入力画像データ（●）が２回連続して入力され、続く第２の入力画像データ（◆）が３回連続して画像処理回路１０に入力されることが、フィルムソースの各フレームについて繰り返し行われる。
【００５３】
この場合、画像処理回路１０は、第１の入力画像データ（●）を３回連続し、第１の補間画像データ（☆）を２回連続し、続く第２のフレームの入力画像データ（◆）を３回連続し、第２の補間画像データ（☆）を２回連続して出力することを繰り返し行うことにより、倍速変換後の出力画像データ（●○●☆☆◇◆◇☆☆…）を生成する（○と◇は、それぞれ、●と◆をコピーしたフレームの画像データである）。画像データが画像処理回路１０に入力されてから出力されるまでの時間は同じく３フレーム分の時間である。
【００５４】
続いて、フィルムソースの画像データを２：３プルダウンした画像データが入力され、かつ、ジャダーが発生しないと判断された場合を説明する。
【００５５】
図４のグラフに示すように、画像データの入力順序は、フィルムソースの画像データを２：３プルダウンした画像データが入力され、かつ、ジャダーが発生すると判断された場合と同じである。
【００５６】
この場合、画像処理回路１０は、第１の入力画像データ（●）を５回連続し、続く第２のフレームの入力画像データ（◆）を５回連続して出力すること（５：５プルダウン）を繰り返し行うことにより、倍速変換後の出力画像データ（●○●○○◇◆◇◆◇…）を生成する。この場合も、画像データが画像処理回路１０に入力されてから出力されるまでの時間は同じく３フレーム分の時間である。
【００５７】
続いて、フィルムソースの画像データを２：２プルダウンした画像データが入力され、かつ、ジャダーが発生すると判断された場合を説明する。
【００５８】
図５のグラフに示すように、フィルムソースの画像データを２：２プルダウンした画像データが入力される場合、入力フレームレートで、フィルムソースの第１のフレームの入力画像データ（●）が２回連続して入力され、続く第２のフレームの入力画像データ（◆）が２回連続して画像処理回路１０に入力されることが、フィルムソースの各フレームについて繰り返し行われる。
【００５９】
この場合、画像処理回路１０は、第１の入力画像データ（●）を２回連続し、第１の補間画像データ（☆）を２回連続し、続く第２のフレームの入力画像データ（◆）を２回連続し、第２の補間画像データ（☆）を２回連続して出力することを繰り返し行うことにより、倍速変換後の出力画像データ（●○☆☆◆◇☆☆…）を生成する。この場合も、画像データが画像処理回路１０に入力されてから出力されるまでの時間は同じく３フレーム分の時間である。
【００６０】
続いて、フィルムソースの画像データを２：２プルダウンした画像データが入力され、かつ、ジャダーが発生しないと判断された場合を説明する。
【００６１】
図６に示すように、画像データの入力順序は、フィルムソースの画像データを２：２プルダウンした画像データが入力され、かつ、ジャダーが発生すると判断された場合と同じである。
【００６２】
この場合、画像処理回路１０は、第１の入力画像データ（●）を４回連続し、続く第２のフレームの入力画像データ（◆）を４回連続して出力すること（４：４プルダウン）を繰り返し行うことにより、倍速変換後の出力画像データ（●○●○◆◇◆◇…）を生成する。この場合も、画像データが画像処理回路１０に入力されてから出力されるまでの時間は同じく３フレーム分の時間である。
【００６３】
上記のように、本実施形態の画像処理回路１０では、画像データが入力されてから出力されるまでの時間は、いずれの画像データが入力された場合も３フレーム分の時間である。このように、画像データが入力されてから出力されるまでの時間を合わせることにより、既存の倍速駆動技術を用いて、すなわち、６０Ｈｚ／５０Ｈｚの画像データを１２０Ｈｚ／１００Ｈｚの画像データに倍速変換処理を行う既存の回路を利用することができるため、本発明に関わる画像処理回路１０を低コストで簡単に実現することができる。
【００６４】
次に、図７および図８を参照して、１回目と２回目の動きベクトルの検出条件について説明する。
【００６５】
図７は、１回目と２回目の動きベクトル検出時に、検出ポイントの配置を変更した例である。同図に示す例では、入力画像内の所定の中心ポイント（★）の周囲の所定範囲内において、その上下左右に線対象な位置の複数のポイント（□）を１回目の動きベクトルの探索範囲（実線で示す）として設定する。また、中心ポイント（★）の周辺の、１回目の動きベクトルの探索範囲の外側に、同じく上下左右に線対称な位置の複数のポイント（◎）を２回目の動きベクトルの探索範囲として設定する。
【００６６】
通常の動きの範囲内であれば、１回目の探索ポイントのいずれかで精度の高い動きベクトルが検出できる。すなわち、１回目の探索ポイントのそれぞれで検出した動きベクトルの精度を、差分絶対値和等の、従来から利用されているさまざまな評価値のいずれかで評価し、最も精度が高い動きベクトルを、１回目の検出結果として採用する。しかし、１回目の探索ポイントが設定された範囲を超える、極端に大きな動きがある場合には、１回目の探索ポイントのいずれでも、高い精度で動きベクトルを検出することができない。このような場合にも、図７に示されたように、さらに広げた範囲に探索ポイントを設定して２回目の動きベクトル検出を行うことにより、高い精度で動きベクトルを検出することが可能になる。
【００６７】
すなわち、２回目に、１回目に検出した動きベクトルよりも高い精度の動きベクトルが検出できた場合には、１回目に検出した動きベクトルに代えて２回目に検出した動きベクトルを採用する。一方、１回目よりも精度が高い動きベクトルが検出できなかった場合には、１回目に検出した動きベクトルを維持する。
【００６８】
このように、それぞれ異なる探索ポイントを設定して２回の検出を行うことにより、１回の検出のみを行う場合に比較して、より高い精度で動きベクトルの検出を行うことができる。１回目と２回目のそれぞれの探索ポイントは、上記の例に限られず、さまざまに配置することが可能である。また、２回目の探索ポイントを固定せず、１回目の検出結果を参照して、２回目の探索ポイントを設定することも可能である。すなわち、１回目には、広い範囲に疎に探索ポイントを設定しておき、２回目には、１回目の検出において最も高い精度で動きベクトルが検出できた探索ポイントの周辺に、密に探索ポイントを設定して、さらに探索を行うことも可能である。
さらに、後から述べるように、１回目の探索ポイントについても、過去のフレーム間で検出された動きベクトルを参照して、設定することも可能である。
【００６９】
続いて、図８は、１回目と２回目の動きベクトル検出時に、使用するフレーム数を変更した例である。同図に示す例では、フレームｆ３が現在のフレームであるとして、動きベクトルの検出時に、３つのフレームｆ１〜ｆ３の画像データを使用することを１回目の動きベクトルの検出条件として設定する。また、動きベクトルの検出時に、４つのフレームｆ０〜ｆ３の画像データを使用することを２回目の動きベクトルの検出条件として設定する。
【００７０】
例えば、入力画像内に、外形がほぼ同じ２台の自転車Ａ，Ｂが撮影されている場合を考える。図８に示すように、前述の通りフレームｆ３を現在のフレームとして、自転車Ａは、フレームｆ０〜ｆ４で画面内を左から右側へ向かって移動するものとする。一方、自転車Ｂは、フレームｆ０〜ｆ４の間停止しているものとする。
【００７１】
この場合、１回目の動きベクトル検出時には、探索範囲がフレームｆ１〜ｆ３であるため、自転車Ａ，Ｂの外形がほぼ同じ場合に両者を混同して動きベクトルの検出ミスが発生するおそれがある。これに対し、２回目の動きベクトルの検出時には、探索範囲がフレームｆ０〜ｆ３であり、自転車Ａが動き、自転車Ｂは停止していると判断することができるため、自転車Ａ，Ｂを混同することがなくなり、動きベクトルの検出ミスが発生することを防止できる。
【００７２】
このように、１回目の動きベクトル検出時に使用する過去のフレーム数よりも２回目の動きベクトル検出時に使用する過去のフレーム数を多くすることにより、より高い精度で動きベクトルの検出を行うことができる。
なお、２回目の検出で、使用する過去のフレームの数を多くし、かつ、検出処理を所定の時間内に終了するためには、例えば、探索を行うポイントの個数を減らす必要がある。１回の検出で、探索ポイントの個数と使用する過去フレームの数との両方を大きくすることが可能であれば、２回に分けて検索を行う必要は小さくなる。しかし、そのためには、処理能力の大きな演算回路が必要であり、消費電力の増大を招く。
【００７３】
なお、１回目と２回目の動きベクトル検出時の検出条件の設定方法は、上記具体例に限定されず、各種の検出条件を設定することができる。
【００７４】
次に、画像処理回路１０の動作に従って、本発明の画像処理方法を説明する。
【００７５】
画像処理回路１０では、現在のフレームの画像データが入力されると、入力された現在のフレームの入力画像データはフレームメモリ１２の過去画像記憶領域に記憶されるとともに、２：３／２：２プルダウン判断部１４により、現在のフレームの入力画像データとフレームメモリ１２から入力された過去のフレームの入力画像データとの比較が行われ、テレビ画像／フィルムソースの判断信号が出力される。
【００７６】
また、入力画像データがフィルムソースの画像データである場合、２：３／２：２プルダウン判断部１４から、さらに、２：３／２：２プルダウンの判断信号とフレーム番号信号が出力される。
【００７７】
２：３／２：２プルダウン判断部１４から出力されたテレビ画像／フィルムソースの判断信号と２：３／２：２プルダウンの判断信号はフレームメモリ１２に記憶される。また、テレビ画像／フィルムソースの判断信号とフレーム番号信号は、フェーズ０／１判断部１６へ入力される。テレビ画像／フィルムソースの判断信号はジャダー判断部２２へ入力される。
【００７８】
続いて、フェーズ０／１判断部１６により、テレビ画像／フィルムソースの判断信号とフレーム番号信号に従い、フレームメモリ１２から入力された過去の動きベクトルを参照して、動きベクトル検出部１８における動きベクトルの検出条件が設定される。
【００７９】
ここで、フェーズ０／１判断部１６は、テレビ画像／フィルムソースの判断信号から、入力画像データがテレビ画像の画像データであると判断すると、テレビ画像の動きベクトルの検出時の条件設定を行う。一方、入力画像データがフィルムソースの画像データであると判断すると、フレーム番号信号に基づいて、フィルムソースの１回目および２回目の動きベクトルの検出時で異なる条件設定を行う。
【００８０】
フェーズ０／１判断部１６から出力された動きベクトルの検出条件は動きベクトル検出部１８へ入力される。
【００８１】
続いて、動きベクトル検出部１８により、動きベクトルの検出条件に従って、現在のフレームの入力画像データと過去のフレームの入力画像データとを比較することにより、現在のフレームの動きベクトルが検出される。
【００８２】
ここで、動きベクトル検出部１８は、テレビ画像の画像データが入力された場合、入力のフレームレートで、各フレームごとに１回動きベクトルを検出する。一方、フィルムソースの画像データが入力された場合、動きベクトル検出部１８は、入力フレームレートで、１回目のフレームが入力される期間に１回目の動きベクトルを検出し、２回目のフレームが入力される期間に２回目の動きベクトルを検出する。
【００８３】
動きベクトル検出部１８から出力された動きベクトルは、フレームメモリ１２の動きベクトル記憶領域に記憶されるとともに、補間画像生成部２０とジャダー判断部２２へ入力される。
【００８４】
続いて、補間画像生成部２０により、動きベクトル検出部１８から入力された現在のフレームの動きベクトルに基づいて、現在のフレームの入力画像データと１フレーム前の入力画像データとを用いて補間処理が行われ、現在のフレームの補間画像データが生成される。補間画像生成部２０から出力された補間画像データは、フレームメモリ１２の補間画像記憶領域に記憶される。
【００８５】
また、入力画像データがフィルムソースの画像データである場合、補間画像生成部２０により補間画像が生成されるのと同時に、ジャダー判断部２２により、動きベクトル検出部１８から入力された現在のフレームの動きベクトルと、フレームメモリ１２から入力された過去の動きベクトルに基づいて、人間の目で検出可能なジャダーが発生するか否かの判断が行われ、ジャダー判断信号が出力される。
【００８６】
ジャダー判断部２２は、例えば、以下の手順でジャダー発生の有無を判断する。
（１）動きベクトル検出で検出された動きベクトルを、方向（例えば、縦、横、斜め４５°ごとの８つの範囲）に分け、さらに、その大きさごとに分けて、頻度を求める。
（２）方向および大きさごとに、人間の目の感度に応じた係数をかけて、補正済みの頻度を求める。大きさについては、例えば、特開平１１−１７７９４０号公報の００８０段落に記されたように、人間の目が検出しやすい大きさの範囲に大きな、それから離れるにつれて小さくなる係数をかける。方向については、横＞縦＞斜めの順に人間の目の感度が低くなるので、その順に小さくなる係数をかける。
（３）補正済みの頻度と閾値を比較し、例えば、１つでも閾値を超えるものがあれば、ジャダーが発生すると判断する。
（４）さらに、過去の動きベクトルについても判断の対象として、判断の精度を高めることが可能である。
【００８７】
ジャダー判断部２２から出力されたジャダー判断信号はフレームメモリ１２に記憶される。
【００８８】
ここで、制御部２６は、フレームメモリ１２に記憶されたテレビ画像／フィルムソースの判断信号、２：３／２：２プルダウンの判断信号、およびジャダー判断信号を読み出し、これらの信号に基づいて、出力制御信号をマルチプレクサ２５に出力する。そして、マルチプレクサ２５から、出力制御信号に基づいて、同じくフレームメモリ１２から入力されたオリジナルの入力画像データと補間画像データとが出力のフレームレートで切り替えて出力される。これにより、入力画像データは、その種別に応じて倍速変換処理され、出力部２４の出力画像データとして出力される。
【００８９】
続いて、画像処理回路１０の動きベクトル検出時の動作を詳細に説明する。
【００９０】
図９（ａ）は、フィルムソースの各コマを２：３プルダウンして生成された各フレームの画像データが入力される場合、同図（ｂ）は、テレビ画像の各フレームの画像データが入力された場合の画像処理回路１０の動作を表す概念図である。
【００９１】
図９（ａ）に示すように、フィルムソースの各コマを２：３プルダウンして生成された各フレームの画像データは、６０Ｈｚ／５０Ｈｚの入力フレームレートで、フレームｆ０，ｆ０，ｆ１，ｆ１，ｆ１，ｆ２，ｆ２，…の順に画像処理回路１０へ入力される。
【００９２】
１回目のフレームｆ０の画像データは、これが入力される期間にフレームメモリ１２の第１の過去画像記憶領域に記憶され、１回目のフレームｆ２の画像データが入力されるまで保持される。また、１回目のフレームｆ１の画像データは、これが入力される期間にフレームメモリ１２の第２の過去画像記憶領域に記憶され、１回目のフレームｆ３の画像データが入力されるまで保持される。つまり、この例では、最新の２コマ分の画像データがフレームメモリ１２に記憶される。
【００９３】
なお、２回目のフレームｆ０の画像データと、２回目および３回目のフレームｆ１の画像データは、フレームメモリ１２に記憶するように構成してもよいし、記憶しないように構成してもよい。また、フレームｆ２，ｆ３，…についても同じである。
【００９４】
一方、入力フレームレートでフィルムソースの各コマに対応する各フレームの画像データが入力されてから、１２０Ｈｚ／１００Ｈｚの出力フレームレートで３フレーム分の時間の後に、ｆ０＊３（＝ｆ０，ｆ０，ｆ０），ｆ０／ｆ１（＝ｆ０とｆ１との補間画像データ）＊２，ｆ１＊３，ｆ１／ｆ２＊２，…の順に、画像処理回路１０から倍速変換処理後の各フレームの画像データが出力される。
【００９５】
動きベクトル検出部１８は、１回目のフレームｆ１の画像データが入力される期間に、フレームメモリ１２に記憶されたフレームｆ０の画像データと、入力された１回目のフレームｆ１の画像データとを利用して、１回目の検出条件で、フィルムソースの隣り合うコマ間（ｆ０→ｆ１）の、１回目の動きベクトルの検出を行う。１回目の動きベクトルの検出結果はフレームメモリ１２の第１の動きベクトル記憶領域に記憶される。
【００９６】
動きベクトル検出部１８により生成された１回目の動きベクトルを参照して、補間画像生成部２０により、前述の補間画像データｆ０／ｆ１が生成される。
【００９７】
続いて、動きベクトル検出部１８は、２回目のフレームｆ１の画像データが入力される期間に、同様にフレームｆ０，ｆ１の画像データを利用して、２回目の検出条件で、２回目の動きベクトルの検出を行う。２回目の動きベクトルの検出結果は、フレームメモリ１２の第１の動きベクトル記憶領域に記憶される。つまり、１回目の動きベクトルの検出結果に上書きされる。
【００９８】
そして、２回目の動きベクトルの検出結果は、フレームｆ３の画像データが入力され、動きベクトル検出部１８により、フレームｆ２，ｆ３の画像データを利用して、１回目の検出条件で、動きベクトルが生成されるまで保持される。
【００９９】
続いて、動きベクトル検出部１８は、１回目のフレームｆ２の画像データが入力される期間に、フレームメモリ１２に記憶されたフレームｆ１の画像データと、入力された１回目のフレームｆ２の画像データとを利用して、１回目の検出条件で、フィルムソースの隣り合うコマ間（ｆ１→ｆ２）の、１回目の動きベクトルの検出を行う。１回目の動きベクトルの検出結果はフレームメモリ１２の第２の動きベクトル記憶領域に記憶される。
【０１００】
１回目の動きベクトルを参照して、補間画像生成部２０により、前述の補間画像データｆ１／ｆ２が生成される。
【０１０１】
続いて、動きベクトル検出部１８は、２回目のフレームｆ２の画像データが入力される期間に、同様にフレームｆ１，ｆ２の画像データを利用して、２回目の検出条件で、２回目の動きベクトルの検出を行う。２回目の動きベクトルの検出結果は、フレームメモリ１２の第２の動きベクトル記憶領域に記憶される。つまり、同様に１回目の動きベクトルの検出結果に上書きされる。
【０１０２】
そして、２回目の動きベクトルの検出結果は、フレームｆ４の画像データが入力され、動きベクトル検出部１８により、フレームｆ３，ｆ４の画像データを利用して、１回目の検出条件で、動きベクトルが生成されるまで保持される。
【０１０３】
ここで、図９に示す例においては、隣り合うコマ間の動きベクトルの検出を２回にわけて行い、動きベクトルの検出精度を高めているにもかかわらず、補間画像データの生成には、１回目に検出した動きベクトルが利用されている。しかしながら、１回目の動きベクトル検出においても、過去のコマ間で検出した動きベクトルを参照して、探索ポイント等の、動きベクトル検出条件を設定することができる。この、検出条件を設定するために参照する、過去のコマ間の動きベクトルとして、２回の検出を行った、精度の高い動きベクトルを利用することにより、１回目に検出できる動きベクトルの精度を高めることができる。このように精度を高めた動きベクトルを利用することにより、補間画像の破綻の可能性を低くすることができる。
【０１０４】
続いて、図（ｂ）に示すように、テレビ画像の各フレームの画像データは、６０Ｈｚ／５０Ｈｚの入力フレームレートで、フレームｆ０，ｆ１，ｆ２，ｆ３，ｆ４，…の順に画像処理回路１０へ入力される。
【０１０５】
フレームｆ０の画像データは、これが入力される期間にフレームメモリ１２の第１の過去画像記憶領域に記憶され、フレームｆ２の画像データが入力されるまで保持される。また、フレームｆ１の画像データは、これが入力される期間にフレームメモリ１２の第２の過去画像記憶領域に記憶され、フレームｆ３の画像データが入力されるまで保持される。つまり、同様に最新の２フレーム分の画像データがフレームメモリ１２に記憶される。
【０１０６】
一方、入力フレームレートでテレビ画像の各フレームの画像データが入力されてから、１２０Ｈｚ／１００Ｈｚの出力フレームレートで３フレーム分の時間の後に、ｆ０，ｆ０／ｆ１，ｆ１，ｆ１／ｆ２，ｆ２，ｆ２／ｆ３，ｆ３，…の順に、画像処理回路１０から倍速変換処理後の各フレームの画像データが出力される。
【０１０７】
動きベクトル検出部１８は、フレームｆ１の画像データが入力される期間に、フレームメモリ１２に記憶されたフレームｆ０の画像データと、入力されたフレームｆ１の画像データとを利用して、テレビ画像の検出条件で、テレビ画像の隣り合うフレーム間（ｆ０→ｆ１）の動きベクトルの検出を行う。動きベクトルの検出結果はフレームメモリ１２の動きベクトル記憶領域に記憶される。
【０１０８】
動きベクトル検出部１８により生成された動きベクトルを参照して、補間画像生成部２０により、前述の補間画像データｆ０／ｆ１が生成される。
【０１０９】
そして、動きベクトル検出部１８により生成された動きベクトルの検出結果は、フレームｆ３の画像データが入力され、動きベクトル検出部１８により、フレームｆ２，ｆ３の画像データを利用して、テレビ画像の検出条件で、動きベクトルが生成されるまで保持される。
【０１１０】
テレビ画像のフレームの画像データが入力される場合、入力フレームレートで、フレームｆ１の画像データが入力される期間に、フレームｆ０，ｆ１の動きベクトル検出が行われる。そして、入力フレームレートで、フレームｆ１の次のフレーム期間にフレームｆ２の画像データが入力され、フレームｆ１，ｆ２の動きベクトル検出が行われる。このため、同一の隣り合うフレーム間で２回目の動きベクトル検出を行うことはできない。
【０１１１】
フィルムソースの場合とテレビ画像の場合の比較から分かるように、画像処理回路１０では、６０Ｈｚ入力→１２０Ｈｚ出力のための倍速エンジン（動きベクトル検出部１８、補間画像生成部２０）をそのまま利用して、すなわち、動きベクトル検出の対象とする現在のフレームｆ１の画像データが入力される期間に、動きベクトル検出および補間画像データ生成を行って、２：３プルダウンの各フレームの画像データを、１２０Ｈｚの出力フレームレートの画像データに変換することができる。
【０１１２】
同様に、画像処理回路１０では、５０Ｈｚ入力→１００Ｈｚ出力のための倍速エンジン（通常は、同一の回路で、５０Ｈｚ入力→１００Ｈｚ出力と６０Ｈｚ入力→１２０Ｈｚ出力の両方に対応する）をそのまま利用して、２：２プルダウンの各フレームの画像データを、１００Ｈｚの出力フレームレートの画像データに変換することができる。この場合も、２：３プルダウンの場合と同様に、動きベクトル検出を２回行ってその検出精度を向上させることができる。
【０１１３】
なお、フィルムソースの画像データが入力される場合、２：３／２：２プルダウンに限らず、他のプルダウン方式を採用してもよい。また、出力フレームレートは、入力フレームレートの２倍に限らず、ｎ倍（ｎは２以上の整数）であればよい。
【０１１４】
また、画像処理回路１０では、過去フレームとして、フレームメモリ１２に、現在のフレームの１フレーム前から１以上のフレームの画像データを記憶すればよい。同様に、動きベクトルも、過去動きベクトルとして、現在のフレームの１フレーム前から１以上のフレームの動きベクトルを記憶すればよい。
【０１１５】
また、本発明では、２回の動きベクトル検出を行って、動きベクトルの検出精度を向上させることが重要であり、これにより、動きベクトルの検出ミスを低減し、補間画像の破綻を低減することができる。本発明において、ジャダー判断部は必須ではないが、ジャダー判断部によりジャダー発生の有無を判断し、所定のパターンをタイミング判断情報として用いることによって高画質な画像を表示することができる。
【０１１６】
すなわち、ジャダーが発生すると判断した場合には、隣り合うフレーム間に補間画像を挿入することによりジャダーによる画質の低下を低減することができる。一方、ジャダーが発生しないと判断した場合には、５：５／４：４プルダウンしたフレームを出力することにより、動きベクトルの検出ミスに起因する、破綻した補間画像が挿入されることを防ぎ、フィルムソースの原画像に近い高画質な画像を表示することができる。
【０１１７】
本発明は、基本的に以上のようなものである。
以上、本発明について詳細に説明したが、本発明は上記実施形態に限定されず、本発明の主旨を逸脱しない範囲において、種々の改良や変更をしてもよいのはもちろんである。
【符号の説明】
【０１１８】
１０ 画像処理回路
１２ フレームメモリ
１４ ２：３／２：２プルダウン判断部
１６ フェーズ０／１判断部
１８ 動きベクトル検出部
２０ 補間画像生成部
２２ ジャダー判断部
２４ 出力部
２５ マルチプレクサ（ＭＵＸ）
２６ 制御部
【特許請求の範囲】
【請求項１】
フィルムソースの各コマの画像データをそれぞれ２回以上プルダウンすることによって生成された第１のフレームレートの画像データを受信し、該第１のフレームレートのｎ倍（ｎは２以上の整数）の第２のフレームレートの画像データを出力する画像処理回路であって、
前記フィルムソースの各コマの画像データを記憶するフレームメモリと、
前記フィルムソースの隣り合うコマの画像間の動きベクトルを検出する動きベクトル検出部と、
前記動きベクトル検出部が検出した動きベクトルに基づいて前記フィルムソースの隣り合うコマの画像間を補間した補間画像を生成し、前記フレームメモリに記憶する補間画像生成部と、
前記フレームメモリから、前記フィルムソースの各コマの画像のみ、もしくは、該各コマの画像に加えて前記補間画像を、前記第２のフレームレートで読み出して出力する出力部とを有し、
前記動きベクトル検出部が、同一の隣り合うコマの画像間の動きベクトルの検出を、互いに異なる条件で、２回、それぞれ前記第１のフレームレートの異なるフレームの期間に行うことを特徴とする画像処理回路。
【請求項２】
前記補間画像生成部が、前記動きベクトル検出部による前記２回の検出のうちの、１回目に検出した動きベクトルに基づいて前記補間画像を生成し、
前記動きベクトル検出部が、前記２回の検出のうちの２回目に検出した動きベクトルを前記フレームメモリに記憶し、次の隣り合うコマ間の１回目の動きベクトル検出を行うための条件の設定を、該記憶した２回目に検出した動きベクトルに基づいて行うことを特徴とする請求項１記載の画像処理回路。
【請求項３】
前記動きベクトル検出部が検出した動きベクトルに基づいて、ジャダーが発生するか否かを判断するジャダー判断部をさらに有し、
前記ジャダー判断部がジャダーが発生しないと判断したときには、前記出力部が、前記フィルムソースの各コマの画像のみを前記第２のフレームレートで読み出して出力し、
前記ジャダー判断部がジャダーが発生すると判断したときには、前記出力部が、前記フィルムソースの各コマの画像および前記補間画像を前記第２のフレームレートで読み出して出力することを特徴とする請求項１または２記載の画像処理回路。
【請求項４】
第１のフレームレートの画像データを受信し、前記受信した画像データを記憶するフレームメモリと、前記受信した画像データの隣り合うフレームの画像間の動きベクトルを検出する動きベクトル検出部と、前記動きベクトル検出部が検出した動きベクトルに基づいて前記隣り合うフレームの画像間を補間した補間画像を生成し、前記フレームメモリに記憶する補間画像生成部と、前記フレームメモリから、前記隣り合うフレームの画像および前記補間画像を、前記第１のフレームレートのｎ倍（ｎは２以上の整数）の第２のフレームレートで読み出して出力する出力部とを有する画像処理回路を用いて、
フィルムソースの各コマの画像データをそれぞれ２回以上プルダウンすることによって生成された前記第１のフレームレートの画像データを受信し、前記第２のフレームレートの画像データを出力する画像処理方法であって、
前記動きベクトル検出部が、前記フィルムソースの隣り合うコマの画像間の動きベクトルの検出を、互いに異なる条件で、２回、それぞれ前記第１のフレームレートの異なるフレームの期間に行い、
前記出力部が、前記フレームメモリから、前記フィルムソースの各コマの画像のみ、もしくは、該各コマの画像に加えて前記補間画像を、前記第２のフレームレートで読み出して出力することを特徴とする画像処理方法。
【請求項５】
前記補間画像生成部が、前記動きベクトル検出部による前記２回の検出のうちの、１回目に検出した動きベクトルに基づいて前記補間画像を生成し、
前記動きベクトル検出部が、前記２回の検出のうちの２回目に検出した動きベクトルを前記フレームメモリに記憶し、次の隣り合うコマ間の１回目の動きベクトル検出を行うための条件の設定を、該記憶した２回目に検出した動きベクトルに基づいて行うことを特徴とする請求項４記載の画像処理方法。
【請求項６】
前記画像処理回路が、前記動きベクトル検出部が検出した動きベクトルに基づいて、ジャダーが発生するか否かを判断するジャダー判断部をさらに有し、
前記ジャダー判断部がジャダーが発生しないと判断したときには、前記出力部が、前記フィルムソースの各コマの画像のみを前記第２のフレームレートで読み出して出力し、
前記ジャダー判断部がジャダーが発生すると判断したときには、前記出力部が、前記フィルムソースの各コマの画像および前記補間画像を前記第２のフレームレートで読み出して出力することを特徴とする請求項４または５記載の画像処理方法。
【請求項１】
フィルムソースの各コマの画像データをそれぞれ２回以上プルダウンすることによって生成された第１のフレームレートの画像データを受信し、該第１のフレームレートのｎ倍（ｎは２以上の整数）の第２のフレームレートの画像データを出力する画像処理回路であって、
前記フィルムソースの各コマの画像データを記憶するフレームメモリと、
前記フィルムソースの隣り合うコマの画像間の動きベクトルを検出する動きベクトル検出部と、
前記動きベクトル検出部が検出した動きベクトルに基づいて前記フィルムソースの隣り合うコマの画像間を補間した補間画像を生成し、前記フレームメモリに記憶する補間画像生成部と、
前記フレームメモリから、前記フィルムソースの各コマの画像のみ、もしくは、該各コマの画像に加えて前記補間画像を、前記第２のフレームレートで読み出して出力する出力部とを有し、
前記動きベクトル検出部が、同一の隣り合うコマの画像間の動きベクトルの検出を、互いに異なる条件で、２回、それぞれ前記第１のフレームレートの異なるフレームの期間に行うことを特徴とする画像処理回路。
【請求項２】
前記補間画像生成部が、前記動きベクトル検出部による前記２回の検出のうちの、１回目に検出した動きベクトルに基づいて前記補間画像を生成し、
前記動きベクトル検出部が、前記２回の検出のうちの２回目に検出した動きベクトルを前記フレームメモリに記憶し、次の隣り合うコマ間の１回目の動きベクトル検出を行うための条件の設定を、該記憶した２回目に検出した動きベクトルに基づいて行うことを特徴とする請求項１記載の画像処理回路。
【請求項３】
前記動きベクトル検出部が検出した動きベクトルに基づいて、ジャダーが発生するか否かを判断するジャダー判断部をさらに有し、
前記ジャダー判断部がジャダーが発生しないと判断したときには、前記出力部が、前記フィルムソースの各コマの画像のみを前記第２のフレームレートで読み出して出力し、
前記ジャダー判断部がジャダーが発生すると判断したときには、前記出力部が、前記フィルムソースの各コマの画像および前記補間画像を前記第２のフレームレートで読み出して出力することを特徴とする請求項１または２記載の画像処理回路。
【請求項４】
第１のフレームレートの画像データを受信し、前記受信した画像データを記憶するフレームメモリと、前記受信した画像データの隣り合うフレームの画像間の動きベクトルを検出する動きベクトル検出部と、前記動きベクトル検出部が検出した動きベクトルに基づいて前記隣り合うフレームの画像間を補間した補間画像を生成し、前記フレームメモリに記憶する補間画像生成部と、前記フレームメモリから、前記隣り合うフレームの画像および前記補間画像を、前記第１のフレームレートのｎ倍（ｎは２以上の整数）の第２のフレームレートで読み出して出力する出力部とを有する画像処理回路を用いて、
フィルムソースの各コマの画像データをそれぞれ２回以上プルダウンすることによって生成された前記第１のフレームレートの画像データを受信し、前記第２のフレームレートの画像データを出力する画像処理方法であって、
前記動きベクトル検出部が、前記フィルムソースの隣り合うコマの画像間の動きベクトルの検出を、互いに異なる条件で、２回、それぞれ前記第１のフレームレートの異なるフレームの期間に行い、
前記出力部が、前記フレームメモリから、前記フィルムソースの各コマの画像のみ、もしくは、該各コマの画像に加えて前記補間画像を、前記第２のフレームレートで読み出して出力することを特徴とする画像処理方法。
【請求項５】
前記補間画像生成部が、前記動きベクトル検出部による前記２回の検出のうちの、１回目に検出した動きベクトルに基づいて前記補間画像を生成し、
前記動きベクトル検出部が、前記２回の検出のうちの２回目に検出した動きベクトルを前記フレームメモリに記憶し、次の隣り合うコマ間の１回目の動きベクトル検出を行うための条件の設定を、該記憶した２回目に検出した動きベクトルに基づいて行うことを特徴とする請求項４記載の画像処理方法。
【請求項６】
前記画像処理回路が、前記動きベクトル検出部が検出した動きベクトルに基づいて、ジャダーが発生するか否かを判断するジャダー判断部をさらに有し、
前記ジャダー判断部がジャダーが発生しないと判断したときには、前記出力部が、前記フィルムソースの各コマの画像のみを前記第２のフレームレートで読み出して出力し、
前記ジャダー判断部がジャダーが発生すると判断したときには、前記出力部が、前記フィルムソースの各コマの画像および前記補間画像を前記第２のフレームレートで読み出して出力することを特徴とする請求項４または５記載の画像処理方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【公開番号】特開２０１１−１９０３７（Ｐ２０１１−１９０３７Ａ）
【公開日】平成２３年１月２７日（２０１１．１．２７）
【国際特許分類】
【出願番号】特願２００９−１６１６０９（Ｐ２００９−１６１６０９）
【出願日】平成２１年７月８日（２００９．７．８）
【出願人】（５０１２８５１３３）川崎マイクロエレクトロニクス株式会社 (449)
【Ｆターム（参考）】
【公開日】平成２３年１月２７日（２０１１．１．２７）
【国際特許分類】
【出願日】平成２１年７月８日（２００９．７．８）
【出願人】（５０１２８５１３３）川崎マイクロエレクトロニクス株式会社 (449)
【Ｆターム（参考）】
[ Back to top ]