画像表示方法及び画像表示装置
【課題】フィルム画像データからインターレス画像データを再生して表示する。
【解決手段】フィールド周期で変化し所定数のフィールド周期で繰り返すパターンカウントが表示用所定値となったフィールドで該フィールドとそれの隣接フィールドを基にフレームを合成し出力し、各フィールド毎に、２フィールド前画像データと現在フィールドの画像データが同一であるかを判断し、２フィールド前画像データと現在フィールドの画像データが同一であれば、更に、パターンカウントが初期化用所定値であれば、パターンカウントを初期値に初期化し、２フィールド前画像データと現在フィールドの画像データが同一でなくても、パターンカウントが初期化用所定値であり且つ現在フィールドがフィルム画像から生成されたフィールドである可能性を示す変数の値が初期化許可用所定値以上であれば、パターンカウントを初期値に初期化する。
【解決手段】フィールド周期で変化し所定数のフィールド周期で繰り返すパターンカウントが表示用所定値となったフィールドで該フィールドとそれの隣接フィールドを基にフレームを合成し出力し、各フィールド毎に、２フィールド前画像データと現在フィールドの画像データが同一であるかを判断し、２フィールド前画像データと現在フィールドの画像データが同一であれば、更に、パターンカウントが初期化用所定値であれば、パターンカウントを初期値に初期化し、２フィールド前画像データと現在フィールドの画像データが同一でなくても、パターンカウントが初期化用所定値であり且つ現在フィールドがフィルム画像から生成されたフィールドである可能性を示す変数の値が初期化許可用所定値以上であれば、パターンカウントを初期値に初期化する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、フィルム画像データからインターレス画像データを再生して表示する画像表示方法及び画像表示装置に関する。
【背景技術】
【０００２】
従来、パーソナルコンピュータで、テレビを視聴する場合、ＮＴＳＣ(National Television Standards Committee)方式、ＰＡＬ(Phase Alternation by Line)方式又はＳＥＣＡＭ(SEquential Couleur A Memoire)方式の映像信号をパーソナルコンピュータのノンインターレス（プログレッシブ）・モニタに表示するために、偶数フィールド及び奇数フィールドをインターリーブ合成して作成したフレームにコーミング(combing)除去処理を施していた。
【特許文献１】特開２００１−３３９６９４号公報
【特許文献２】特開２００２−１８５９３３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００３】
上記処理をした場合、１秒間に表示されるフレーム数は、約３０又は約２５であるため、処理前の画像に比べ、動きの滑らかさが劣る問題があった。また、コーミング除去方法によっては、映像全体がぼやけたり、映像のディテイル(detail)が潰れてしまう問題があった。
【０００４】
このような、問題を改善するための方法として、例えば、ＮＴＳＣ信号の各フィールドをそれぞれ１つのフレームに変換して、１秒間に約６０フレーム表示できるようにするインターレス／プログレッシブ変換方法がある。このインターレス／プログレッシブ変換方法では、インターレス信号の各フィールドについて画素単位で映像の動きを判定し、その画素が動き部分のものであるのか静止部分のものであるかにより補間方法を適応的に切り換える。
【０００５】
特許文献１には、高速スクロールの画面に対しインターレス／プログレッシブ変換を行う際に発生する動き検出の破綻を軽減することを目的とした発明が記載されているが、この発明によれば、動き検出のためのしきい値を可変とするので、１フレーム分余計なバッファ・メモリが必要となる。
【０００６】
特許文献２には、動き補正を伴うインターレス／プログレッシブ変換における動き検出の精度を向上させることを目的とした発明が記載されているが、１フィールド前、２フィールド前、３フィールド前及び６フィールド前のフィールドデータを利用する必要があり、このために、４フィールド分の余分なバッファ・メモリが必要となる。
【０００７】
また、インターレス／プログレッシブ変換方法においては、動きの判定が正しくできないために、動画部分が静止画部分と判断され、これにより、その部分に静止画用の補間処理が適用される場合があった。そして、動画部分に対し静止画用の補間処理が適用されると、映像にゴミ状のノイズが含まれることとなる。このようなノイズは視覚上目立ってしまう。
【０００８】
本発明は、フィルム画像データからインターレス画像データを再生して表示する画像表示方法及び画像表示装置を提供することを目的とする。
【課題を解決するための手段】
【０００９】
本発明の第１の観点によれば、フィルム画像から生成された画像データを再生する場合に、フィールド周期で変化するとともに所定数のフィールド周期で繰り返すパターン・カウントが表示のための所定値となったフィールドでそのフィールドとそれに隣接するフィールドを基にフレームを合成し出力する画像表示方法において、各フィールド毎に、２フィールド前の画像データと現在のフィールドの画像データが同一であるか否かを判断するステップと、２フィールド前の画像データと現在のフィールドの画像データが同一である場合に、更に、前記パターン・カウントが初期化のための所定値であるならば、前記パターン・カウントを初期値に初期化するステップと、２フィールド前の画像データと現在のフィールドの画像データが同一でない場合であっても、前記パターン・カウントが初期化のための所定値であり、且つ、現在のフィールドがフィルム画像から生成されたフィールドである可能性を示す変数の値が初期化許可のための所定値以上であるならば、前記パターン・カウントを初期値に初期化するステップと、を備えることを特徴とする画像表示方法が提供される。
【００１０】
また、本発明の第２の観点によれば、フィルム画像から生成された画像データを再生する場合に、フィールド周期で変化するとともに所定数のフィールド周期で繰り返すパターン・カウントが表示のための所定値となったフィールドでそのフィールドとそれに隣接するフィールドを基にフレームを合成し出力する画像表示装置において、各フィールド毎に、２フィールド前の画像データと現在のフィールドの画像データが同一であるか否かを判断する手段と、２フィールド前の画像データと現在のフィールドの画像データが同一である場合に、更に、前記パターン・カウントが初期化のための所定値であるならば、前記パターン・カウントを初期値に初期化する手段と、２フィールド前の画像データと現在のフィールドの画像データが同一でない場合であっても、前記パターン・カウントが初期化のための所定値であり、且つ、現在のフィールドがフィルム画像から生成されたフィールドである可能性を示す変数の値が初期化許可のための所定値以上であるならば、前記パターン・カウントを初期値に初期化する手段と、を備えることを特徴とする画像表示装置が提供される。
【００１１】
更に、本発明の第３の観点によれば、フィルム画像から生成された画像データを再生する場合に、フィールド周期で変化するとともに所定数のフィールド周期で繰り返すパターン・カウントが表示のための所定値となったフィールドでそのフィールドとそれに隣接するフィールドを基にフレームを合成し出力する画像表示装置としてコンピュータを機能させるためのプログラムにおいて、各フィールド毎に、２フィールド前の画像データと現在のフィールドの画像データが同一であるか否かを判断する手段と、２フィールド前の画像データと現在のフィールドの画像データが同一である場合に、更に、前記パターン・カウントが初期化のための所定値であるならば、前記パターン・カウントを初期値に初期化する手段と、２フィールド前の画像データと現在のフィールドの画像データが同一でない場合であっても、前記パターン・カウントが初期化のための所定値であり、且つ、現在のフィールドがフィルム画像から生成されたフィールドである可能性を示す変数の値が初期化許可のための所定値以上であるならば、前記パターン・カウントを初期値に初期化する手段と、を備えることを特徴とする画像表示装置としてコンピュータを機能させるためのプログラムが提供される。
【発明の効果】
【００１２】
本発明によれば、フィルム画像から生成された画像データを再生する場合に、フィールド周期で変化するとともに所定数のフィールド周期で繰り返すパターン・カウントが表示のための所定値となったフィールドでそのフィールドとそれに隣接するフィールドを基にフレームを合成し出力する画像表示方法において、各フィールド毎に、２フィールド前の画像データと現在のフィールドの画像データが同一であるか否かを判断するステップと、２フィールド前の画像データと現在のフィールドの画像データが同一である場合に、更に、前記パターン・カウントが初期化のための所定値であるならば、前記パターン・カウントを初期値に初期化するステップと、２フィールド前の画像データと現在のフィールドの画像データが同一でない場合であっても、前記パターン・カウントが初期化のための所定値であり、且つ、現在のフィールドがフィルム画像から生成されたフィールドである可能性を示す変数の値が初期化許可のための所定値以上であるならば、前記パターン・カウントを初期値に初期化するステップと、を備えるので、フィルム画像データからインターレス画像データを再生して表示することが可能となる。
【図面の簡単な説明】
【００１３】
【図１】本発明の実施形態１によるインターレス／プログレッシブ変換装置の構成を示すブロック図である。
【図２】本発明の実施形態１の効果を説明するための第１の図である。
【図３】本発明の実施形態１の効果を説明するための第２の図である。
【図４】図１に示すインターレス／プログレッシブ変換装置により行われるインターレス／プログレッシブ変換方法について説明するためのフロー・チャートである。
【図５】本発明の実施形態２によるインターレス／プログレッシブ変換装置の構成を示すブロック図である。
【図６】本発明の実施形態３によるインターレス／プログレッシブ変換装置の動作を説明するためのタイミング図である。
【図７】本発明の実施形態３によるインターレス／プログレッシブ変換装置の構成を示すブロック図である。
【図８】本発明の実施形態４によるノイズ除去フィルタの構成例を示すブロック図である。
【図９】本発明の実施形態５による、レンダラを含んだインターレス／プログレッシブ変換装置の構成を示すブロック図である。
【図１０】図９に示すインターレス／プログレッシブ変換装置の動作を説明するための第１のタイミング図である。
【図１１】図９に示すインターレス／プログレッシブ変換装置の動作を説明するための第２のタイミング図である。
【図１２】本発明の実施形態６による、フィルム画像変換機能を有するインターレス／プログレッシブ変換装置の動作を説明するためのフロー・チャートである。
【図１３】本発明の実施形態６による、フィルム画像変換機能を有するインターレス／プログレッシブ変換装置の動作を説明するための第１のタイミング図である。
【図１４】本発明の実施形態６による、フィルム画像変換機能を有するインターレス／プログレッシブ変換装置の動作を説明するための第２のタイミング図である。
【図１５】本発明の実施形態６による、フィルム画像変換機能を有するインターレス／プログレッシブ変換装置の動作を説明するための第３のタイミング図である。
【図１６】本発明の実施形態６による、フィルム画像変換機能を有するインターレス／プログレッシブ変換装置の動作を説明するための第４のタイミング図である。
【発明を実施するための形態】
【００１４】
以下、図面を参照して本発明を実施するための最良の形態について詳細に説明する。
【００１５】
［実施形態１］
図１は、本発明の実施形態１によるインターレス／プログレッシブ変換装置の構成を示すブロック図である。
【００１６】
第１のフィールド・メモリ１０１−１は、処理対象となっているフィールドの１つ先のフィールドの画像データを格納する。第２のフィールド・メモリ１０１−２は、処理対象となっているフィールドの画像データを格納する。第３のフィールド・メモリ１０１−３は、処理対象となっているフィールドの１つ前のフィールドの画像データを格納する。
【００１７】
画像データ書込部１０３は、第１乃至第３のフィールド・メモリ１０１−１、１０１−２及び１０１−３に画像データを書き込む。なお、第１乃至第３のフィールド・メモリ１０１−１、１０１−２及び１０１−３をリング・バッファ構成とし、循環的に、３つのフィールドの画像データをこれらのフィールド・メモリに格納するようにしても良い。
【００１８】
動画補間画素生成部１０５は、第２のフィールド・メモリ１０１−２に格納されている画像データを基に、動画補間画素を生成する。例えば、現在処理の対象となっているフィールドの番号をｎ、そのフィールドにおいて、補間するべき画素として現在処理の対象となっている画素の垂直方向位置をｉ、そのフィールドにおいて、補間するべき画素として現在処理の対象となっている画素の水平方向位置をｊとした場合、式（１）に従って、動画補間画素Ａ（ｎ，ｉ，ｊ）を生成する。
【００１９】
【数１】
ここで、ｘ（ｎ，ｉ−１，ｊ）は、処理の対象となっているフィールドの処理の対象となっている画素の１つ上の画素の値であり、ｘ（ｎ，ｉ＋１，ｊ）は、処理の対象となっているフィールドの処理の対象となっている画素の１つ下の画素の値である。上記では、これらの２つの画素の値の平均値を処理の対象となっている画素の値としているが、これらの２つの画素のうちの１つの画素の値を処理の対象となっている画素の値としてもよい。また、処理の対象となっているフィールドの画素のうちの処理の対象となっている画素の所定の近傍の画素の値の加重平均を処理の対象となっている画素の値としてもよい。
【００２０】
静止画補間画素生成部１０７は、第１のフィールド・メモリ１０１−１に格納されている画素データ及び第３のフィールド・メモリ１０１−３に格納されている画素データを基に、静止画画素を生成する。例えば、現在処理の対象となっているフィールドの番号をｎ、そのフィールドにおいて、補間するべき画素として現在処理の対象となっている画素の垂直方向位置をｉ、そのフィールドにおいて、補間するべき画素として現在処理の対象となっている画素の水平方向位置をｊとした場合、式（２）に従って、動画補間画素Ｂ（ｎ，ｉ，ｊ）を生成する。
【００２１】
【数２】
ここで、ｘ（ｎ−１，ｉ，ｊ）は、処理の対象となっているフィールドの１つ前のフィールドの画素のうち、処理の対象となっている画素と同一の位置（ｉ，ｊ）にある画素の値であり、ｘ（ｎ＋１，ｉ，ｊ）は、処理の対象となっているフィールドの１つ後のフィールドの画素のうち、処理の対象となっている画素と同一の位置（ｉ，ｊ）にある画素の値である。上記では、これらの２つの画素の値の平均値を処理の対象となっている画素の値としているが、これらの２つの画素のうちの１つの画素の値を処理の対象となっている画素の値としてもよい。また、処理の対象となっているフィールドの近傍のフィールドの画素のうちの処理の対象となっている画素と同一の位置にある画素の値の加重平均を処理の対象となっている画素の値としてもよい。
【００２２】
差分計算部１０９は、処理の対象となっているフィールドの処理の対象となっている画素についての差分Ｃ（ｎ，ｉ，ｊ）を式（３）に従って求める。
【００２３】
【数３】
ここで、ｘ（ｎ−１，ｉ，ｊ）は、処理の対象となっているフィールドの１つ前のフィールドの画素のうち、処理の対象となっている画素と同一の位置（ｉ，ｊ）にある画素の値であり、ｘ（ｎ＋１，ｉ，ｊ）は、処理の対象となっているフィールドの１つ後のフィールドの画素のうち、処理の対象となっている画素と同一の位置（ｉ，ｊ）にある画素の値である。差分Ｃ（ｎ，ｉ，ｊ）は、動き量の基本となる。
【００２４】
差分補正部１１１は、式（４）に従って、補正された差分Ｄ（ｎ，ｉ，ｊ）を求める。
【００２５】
【数４】
ここで、Δｃの値は、ノイズのレベル等により決定され、補正値保持部１１３に格納されている。
【００２６】
差分累積部１１５は、累積動き量メモリ１１７に格納されている累積動き量ｍ（ｉ，ｊ）を式（５）に従って更新する。
【００２７】
【数５】
ここで、ＴＨの値は、視覚特性等により決定され、しきい値保持部１１９に格納されている。ＴＨの値は、例えば、１６である。
【００２８】
上式に従って、累積動き量ｍ（ｉ，ｊ）を計算することにより、あるフィールドである量の動きが検出された場合には、そのフィールドでは、累積動き量ｍ（ｉ，ｊ）は、その前のフィールドでの累積動き量にその動きの量を加算してから１引いた値又は、動き量が大きい場合には、しきい値ＴＨとなり、それから１フィールド経過する度に１ずつ減少する。こうすることにより、動き検出は、尾を引くこととなる。これにより、動きがあった後に動画部が間違って静止画部であると判断される可能性を低くすることができる。動画部が間違って静止画部であると判断された場合には、動画部として正しく処理された時に算出される補間値とは全く異なった補間値が算出され、視覚上問題となる。一方、静止画部が間違って動画部であると判断された場合には、解像度が落ちるだけであり、視覚上問題とはならない。特に、実際に動きが検出された部分の周辺の静止画部は、動画部であると間違って判断されたとしても、その部分の解像度の低下は実際に動きがある部分によるマスキング効果により視覚されない。従って、式（５）を導入して、動画部が間違って静止画部と判断される可能性を低くすることの長所は、静止画部が間違って動画部と判断される可能性が増える欠点を上回るので、式（５）を導入することは、全体として、画質改善に役立つ。また、文字が固定されているテロップ部等の多くの静止画部は、式（５）を導入しても、間違って、動画部であると判断されることはない。
【００２９】
動き量計算部１２１は、式（６）に従って動き量Ｍ（ｉ，ｊ）を算出する。
【００３０】
【数６】
合成補間画素生成部１２３は、式（７）に従って合成補間画素ｘ’（ｎ，ｉ，ｊ）を計算する。
【００３１】
【数７】
選択部１２５は、ライン毎に実在画素ｘ（ｎ，ｉ，ｊ）と補間画素ｘ’（ｎ，ｉ，ｊ）を切り換えて、プログレッシブ走査の画像データを出力する。
【００３２】
なお、図１に示すインターレス／プログレッシブ変換装置は、ハードウェアによって実現することもできるが、コンピュータを図１に示すインターレス／プログレッシブ変換装置として機能させるためのプログラムをコンピュータが読み込んで実行することによっても実現することができる。
【００３３】
次に、式（６）に従って動き量Ｍ（ｉ，ｊ）を計算することの効果について説明する。
【００３４】
図２に示すように、白い平坦な背景上を黒い縦線が右に移動する場合を想定する。また、考察を容易にするために、動き累積量ｍ（ｉ，ｊ）を式（８）に従って計算するものとする。
【００３５】
【数８】
そうすると、式（６）を用いずに、仮に、式（９）に従って、動き量Ｍ（ｉ，ｊ）を計算することとすると、図２に示すように、動きが検出されずに、静止画補間画素により補間が行われることとなり、コーミングが発生する。
【００３６】
【数９】
すなわち、図２において、四角の画素は元々ある画素であり、丸の画素は補完するべき画素である。例えば、画素１３４と画素３３４との差分の絶対値が画素２３４の動き量となるが、この値はゼロであるため、画素２３４は、静止画画素であると間違って判断される。そうすると、画素１３４と画素３３４の平均値が画素２３４の補間値となり、画素２３４は白となってしまう。画素２１４、２５４についても同様である。そうすると、画素２２４、２４４、２６４が正しく黒であるのに対し、画素２１４、２３４、２５４は間違って白となってしまい、コーミングが発生する。
【００３７】
一方、本発明に従って、式（６）に従って、動き量Ｍ（ｉ，ｊ）を計算することとすると、図３に示すように、正しく動きが検出され、動画補間画素により補間が行われることとなり、コーミングが発生しない。
【００３８】
すなわち、図３において、図２の場合と同様に、四角の画素は元々ある画素であり、丸の画素は補完するべき画素である。例えば、画素１３４と画素３３４との差分の絶対値と画素０４４と画素２４４との差分の絶対値の和としきい値ＴＨのうちの小さい方が画素２３４の動き量となるが、この値はしきい値ＴＨであるため、画素２３４は、動画画素であると正しく判断される。そうすると、画素２２４と画素２４４の平均値が画素２３４の補間値となり、画素２３４は黒となる。画素２１４、２５４についても同様である。そうすると、画素２２４、２４４、２６４が正しく黒であり、且つ、画素２１４、２３４、２５４も正しく黒であるため、コーミングは発生しない。
【００３９】
このように、式（６）に従って動き量Ｍ（ｉ，ｊ）を計算することにより、動画画素が間違って静止画画素であると判断されることを回避することができる。
【００４０】
次に、図１に示すインターレス／プログレッシブ変換装置により行われるインターレス／プログレッシブ変換方法について説明する。
【００４１】
図４を参照すると、まず、動画補間画素生成部１０５は、式（１）に従って、動画補間画素を生成する（ステップＳ２０１）。次に、静止画補間画素生成部１０７は、式（２）に従って、静止画補間画素を生成する（ステップＳ２０３）。次に、差分計算部１０９は、式（３）に従って、差分を計算する（ステップＳ２０５）。次に、差分補正部１１１は、式（４）に従って、差分を補正する（ステップＳ２０７）。次に、差分累積部１１５は、式（５）に従って、累積動き量を更新する（ステップＳ２０９）。次に、動き量計算部１２１は、式（６）に従って、動き量を計算する（ステップＳ２１１）。次に、合成補間画素生成部１２３は、式（７）に従って、合成補間画素を生成する（ステップＳ２１３）。
【００４２】
［実施形態２］
実施形態１の構成でインターレス／プログレッシブ変換を行うと、動画像に付随する音声に対して動画像のタイミングが遅れてしまう場合がある。実施形態２は、音声に対して動画像のタイミングが遅れないようにするものである。このために、将来のフィールドの画像データを用いずに処理を行う。
【００４３】
図５は、本発明の実施形態２によるインターレス／プログレッシブ変換装置の構成を示すブロック図である。
【００４４】
第１のフィールド・メモリ１３１−１は、処理対象となっているフィールドの画像データを格納する。第２のフィールド・メモリ１３１−２は、処理対象となっているフィールドの１つ前のフィールドの画像データを格納する。第３のフィールド・メモリ１３１−３は、処理対象となっているフィールドの２つ前のフィールドの画像データを格納する。第４のフィールド・メモリ１３１−４は、処理対象となっているフィールドの３つ前のフィールドの画像データを格納する。
【００４５】
画像データ書込部１３３は、第１乃至第４のフィールド・メモリ１３１−１、１３１−２、１３１−３及び１３１−４に画像データを書き込む。なお、第１乃至第４のフィールド・メモリ１３１−１、１３１−２、１３１−３及び１３１−３をリング・バッファ構成とし、循環的に、４つのフィールドの画像データをこれらのフィールド・メモリに格納するようにしても良い。
【００４６】
動画補間画素生成部１０５は、第１のフィールド・メモリ１３１−１に格納されている画像データを基に、動画補間画素を生成する。例えば、現在処理の対象となっているフィールドの番号をｎ、そのフィールドにおいて、補間するべき画素として現在処理の対象となっている画素の垂直方向位置をｉ、そのフィールドにおいて、補間するべき画素として現在処理の対象となっている画素の水平方向位置をｊとした場合、式（１０）に従って、動画補間画素Ａ（ｎ，ｉ，ｊ）を生成する。
【００４７】
【数１０】
ここで、ｘ（ｎ，ｉ−１，ｊ）は、処理の対象となっているフィールドの処理の対象となっている画素の１つ上の画素の値であり、ｘ（ｎ，ｉ＋１，ｊ）は、処理の対象となっているフィールドの処理の対象となっている画素の１つ下の画素の値である。上記では、これらの２つの画素の値の平均値を処理の対象となっている画素の値としているが、これらの２つの画素のうちの１つの画素の値を処理の対象となっている画素の値としてもよい。また、処理の対象となっているフィールドの画素のうちの処理の対象となっている画素の所定の近傍の画素の値の加重平均を処理の対象となっている画素の値としてもよい。
【００４８】
静止画補間画素生成部１３７は、第２のフィールド・メモリ１３１−２に格納されている画素データを基に、静止画画素を生成する。例えば、現在処理の対象となっているフィールドの番号をｎ、そのフィールドにおいて、補間するべき画素として現在処理の対象となっている画素の垂直方向位置をｉ、そのフィールドにおいて、補間するべき画素として現在処理の対象となっている画素の水平方向位置をｊとした場合、式（１１）に従って、動画補間画素Ｂ（ｎ，ｉ，ｊ）を生成する。
【００４９】
【数１１】
ここで、ｘ（ｎ−１，ｉ，ｊ）は、処理の対象となっているフィールドの１つ前のフィールドの画素のうち、処理の対象となっている画素と同一の位置（ｉ，ｊ）にある画素の値である。但し、処理の対象となっているフィールドの過去の近傍のフィールドの画素のうちの処理の対象となっている画素と同一の位置にある画素の値の加重平均を処理の対象となっている画素の値としてもよい。
【００５０】
差分計算部１３９は、処理の対象となっているフィールドの処理の対象となっている画素についての差分Ｃ（ｎ，ｉ，ｊ）を式（１２）に従って求める。
【００５１】
【数１２】
ここで、ｘ（ｎ−３，ｉ，ｊ）は、処理の対象となっているフィールドの３つ前のフィールドの画素のうち、処理の対象となっている画素と同一の位置（ｉ，ｊ）にある画素の値であり、ｘ（ｎ−１，ｉ，ｊ）は、処理の対象となっているフィールドの１つ前のフィールドの画素のうち、処理の対象となっている画素と同一の位置（ｉ，ｊ）にある画素の値である。差分Ｃ（ｎ，ｉ，ｊ）は、動き量の基本となる。
【００５２】
差分補正部１４１は、式（１３）に従って、補正された差分Ｄ（ｎ，ｉ，ｊ）を求める。
【００５３】
【数１３】
ここで、Δｃの値は、ノイズのレベル等により決定され、補正値保持部１１３に格納されている。
【００５４】
差分累積部１４５は、累積動き量メモリ１４７に格納されている累積動き量ｍ（ｉ，ｊ）を式（１４）に従って更新する。
【００５５】
【数１４】
ここで、ＴＨの値は、視覚特性等により決定され、しきい値保持部１４９に格納されている。ＴＨの値は、例えば、１６である。
【００５６】
上式に従って、累積動き量ｍ（ｉ，ｊ）を計算することにより、あるフィールドである量の動きが検出された場合には、そのフィールドでは、累積動き量ｍ（ｉ，ｊ）は、その前のフィールドでの累積動き量にその動きの量を加算してから１引いた値又は、動き量が大きい場合には、しきい値ＴＨとなり、１フィールド経過する度に１ずつ減少する。こうすることにより、動き検出は、尾を引くこととなる。これにより、動きがあった後に動画部が間違って静止画部であると判断される可能性を低くすることができる。
【００５７】
動き量計算部１５１は、式（１５）に従って動き量Ｍ（ｉ，ｊ）を算出する。
【００５８】
【数１５】
合成補間画素生成部１５３は、式（１６）に従って合成補間画素ｘ’（ｎ，ｉ，ｊ）を計算する。
【００５９】
【数１６】
選択部１５５は、ライン毎に実在画素ｘ（ｎ，ｉ，ｊ）と補間画素ｘ’（ｎ，ｉ，ｊ）を切り換えて、プログレッシブ走査の画像データを出力する。
【００６０】
なお、図５に示すインターレス／プログレッシブ変換装置は、ハードウェアによって実現することもできるが、コンピュータを図５に示すインターレス／プログレッシブ変換装置として機能させるためのプログラムをコンピュータが読み込んで実行することによっても実現することができる。
【００６１】
［実施形態３］
実施形態１の構成に従った場合、図６に示すように、シーンチェンジの境界の前後のフィールド（図６の例では、フィールドＢ２とフィールドＡ３）では、全ての補間画素について動画補間（フィールド内補間）をするべきである。しかし、画像データの内容によっては、一部の補間画素について静止画補間が行われる可能性がある。そこで、実施形態３では、各フィールド毎にシーンチェンジを検出し、シーンチェンジの境界の前後のフィールドでは、全ての補間画素について強制的に動画補間（フィールド内補間）を行う。
【００６２】
図７は、本発明の実施形態３によるインターレス／プログレッシブ変換装置の構成を示すブロック図である。
【００６３】
図７と図１を比較すると明らかなように、実施形態３によるインターレス／プログレッシブ変換装置は、実施形態１によるインターレス／プログレッシブ変換装置と比較すると、シーンチェンジ検出部１６１が追加されている点のみが異なる。従って、シーンチェンジ検出部１６１及びその周辺部のみについて説明する。
【００６４】
図６を参照すると、フィールドＢ２について処理を行っている時には、フィールドＢ２の直前のフィールドであるフィールドＡ２とフィールドＢ２の直後のフィールドであるフィールドＡ３が異なったシーンに属するものであることを検出すればよい。同様に、フィールドＡ３について処理を行っている時には、フィールドＡ３の直前のフィールドであるフィールドＢ２とフィールドＡ３の直後のフィールドであるフィールドＢ３が異なったシーンに属するものであることを検出すればよい。従って、処理しているフィールドの直前のフィールドと直後のフィールドが異なったシーンに属するものであることを検出すればよい。異なったシーンに属するものであるかを検出するためには、例えば、両フィールドの間の相互相関値がしきい値以下であるか否かを判断したり、両フィールドの間の相互相関値が急に変化したか否かを判断すればよい。
【００６５】
このために、シーンチェンジ検出部１６１は、第１のフィールド・メモリ１０１−１から現在のフィールドの１つ後のフィールドの画像データを入力し、第３のフィールド・メモリ１０１−３から現在のフィールドの１つ前のフィールドの画像データを入力し、両画像データの間の相互相関値等を計算することにより、シーンチェンジを検出する。シーンチェンジ検出部１６１は、シーンチェンジを検出した場合には、累積動き量メモリ１１７に格納されている全ての累積動き量をしきい値ＴＨに設定する。こうすることにより、フィールド内の全ての補間画素は、動画補間画素となる。
【００６６】
なお、図７に示すインターレス／プログレッシブ変換装置は、ハードウェアによって実現することもできるが、コンピュータを図７に示すインターレス／プログレッシブ変換装置として機能させるためのプログラムをコンピュータが読み込んで実行することによっても実現することができる。
【００６７】
［実施形態４］
実施形態４では、画像データ書込部１３３の前段にノイズ除去フィルタを配置する。このノイズ除去フィルタにより平坦部のノイズを除去する。
【００６８】
図８にノイズ除去フィルタの構成例を示す。図８を参照すると、このノイズ除去フィルタは、遅延回路１７１−１〜１７１−６、掛算器１７２−１〜１７２−７、加算器１７３、比較器１７４及びセレクタ１７５を備える。
【００６９】
遅延回路１７１−１〜１７１−６は、１画素単位で画素を遅延させる。掛算器１７２−１〜１７２−７と加算器１７３は積和回路を構成する。掛算器１７２−１〜１７２−７の係数を適切に選ぶことにより（例えば、１／８、１／８、１／８、２／８、１／８、１／８、１／８）、遅延回路１７１−１〜１７１−６、掛算器１７２−１〜１７２−７及び加算器１７３を低域通過フィルタにする。比較器１７４は、加算器１７３の出力データの値が、遅延回路１７１−３の出力データの値から所定値を減算した値と遅延回路１７１−３の出力データの値に所定値を加算した値との間にあるか否かを判断する。セレクタ１７５は、加算器１７３の出力データの値が、遅延回路１７１−３の出力データの値から所定値を減算した値と遅延回路１７１−３の出力データの値に所定値を加算した値との間にある場合には、加算器１７３の出力データを選択し、そうでない場合には、遅延回路１７１−３の出力データを選択する。こうすることにより、平坦部のノイズを除去することが可能となる。
【００７０】
なお、図８に示すノイズ除去フィルタは、ハードウェアによって実現することもできるが、コンピュータを図８に示すノイズ除去フィルタとして機能させるためのプログラムをコンピュータが読み込んで実行することによっても実現することができる。
【００７１】
［実施形態５］
実施形態１から実施形態４では、レンダラを考慮していなかったが、図９に示すように、インターレス／プログレッシブ変換装置の最終段にはレンダラ１９１が存在する。レンダラ１９１は、画像データをモニタのクロック周波数、水平同期周波数及びフレーム周波数でモニタに出力する機能を持つ。
【００７２】
図９を参照すると、レンダラ１９１は、書込部１９２、Ａフレーム・メモリ１９３、Ｂフレーム・メモリ１９４及び読出部１９５を備える。Ａフレーム・メモリ１９３及びＢフレーム・メモリ１９４は、交互に、相補的に、書込みフレーム・メモリ及び表示フレーム・メモリとなる。
【００７３】
書込部１９２は、Ａフレーム・メモリ１９３とＢフレーム・メモリ１９４のうち現在書込みフレーム・メモリとなっているものに画像データを書き込む。読出部１９５は、Ａフレーム・メモリ１９３とＢフレーム・メモリ１９４のうち現在表示フレーム・メモリとなっているものから画像データを読み出し、それをモニタに供給する。
【００７４】
図９に示すフィールド・メモリ群１０１（又は１３１）は、例えば、図１の例でいうと、フィールド・メモリ１０１−１〜１０１−３の群である。画像データ読出し／補間部１８２Ａ（又は１８２Ｂ又は１８２Ｃ）は、例えば、図１の例でいうと、図１の符号１８２Ａの枠で囲まれたブロック群を含む。書込み時刻メモリ１８１には、画像データ書込部１０３（又は１３３）が、画像データをフィールド・メモリ群１０１（又は１３１）に書き込む時刻を格納する。タイミング制御部１８３は、画像データ読出し／補間部１８２Ａ（又は１８２Ｂ又は１８２Ｃ）が画像データの読出し及び補間を行い、その結果得られたプログレッシブの画像データを書込部１９２に供給し、書込部１９２がＡフレーム・メモリ１９３とＢフレーム・メモリ１９４のうち現在書込みフレーム・メモリとなっているものに画像データを書き込むためのタイミングを制御する。
【００７５】
次に、図１０を参照して、特に、タイミング制御部１８３により行われるタイミング制御を説明する。
【００７６】
図１０を参照すると、画像データ書込部１０３（又は１３３）が、最初に、画像データをフィールド・メモリ１０１（又は１３１）に書き込む時刻をＴ−Ｉｎ（１）とする。時刻Ｔ−Ｉｎ（１）は、書込み時刻メモリ１８１に書き込まれる。以降、画像データ書込部１０３（又は１３３）が、画像データをフィールド・メモリ１０１（又は１３１）に書き込む度に、書き込み時刻Ｔ−Ｉｎ（２）、Ｔ−Ｉｎ（３）、Ｔ−Ｉｎ（４）、・・・が書込み時刻メモリ１８１に書き込まれる。
【００７７】
時刻Ｔ−Ｉｎ（１）において、タイミング制御部１８３は、書込部１９２に対し、書き込み要求を出力する。図１０では、ＶＲＡＭ取得の短冊の左端が書込み要求を出力する時刻である。この時、書込みフレーム・メモリであるＢフレーム・メモリ１９４に既に画像データが書き込まれている（Ｂフレーム・メモリ１９４の画像データはまだ読み出されていない）ので、読出部１９５によるＡフレーム・メモリ１８３からの画像データの読み出しの処理が完了してＡフレーム・メモリ１９３が空く時刻Ｔ−Ｒ（１）まで待ちが発生し、時刻Ｔ−Ｒ（１）に書込部１９２は、タイミング制御部１８３に肯定応答（ＡＣＫ）を返す。図１０では、ＶＲＡＭ取得の短冊の右端が肯定応答を返す時刻である。従って、ＶＲＡＭ取得の短冊の幅は、タイミング制御部１８３が書き込み要求を書込部１９２に出力してから書込部１９２が肯定応答をタイミング制御部１８３に返すまでの待ち期間を表す。
【００７８】
そして、時刻Ｔ−Ｒ（１）から画像データ読出し／補間部１８２Ａ（又は１８２Ｂ又は１８３Ｃ）は、インターレス／プログレッシブ変換の処理を開始する。インターレス／プログレッシブ変換の処理と並行して、書込部１９２は、変換後の画像データをＡフレーム・メモリ１９３に書き込む。図１０では、処理の短冊で表される部分がインターレス／プログレッシブ変換の処理及び書込みを行っている期間である。
【００７９】
そして、画像データ読出し／補間部１８２Ａ（又は１８２Ｂ又は１８３Ｃ）がインターレス／プログレッシブ変換の処理を終了したならば、タイミング制御部１８３は、次に述べるように、ｄｉｆｆ（２）及びＴ−Ｏｕｔ（２）の計算等を行う。図１０では、計算の短冊の部分がこの計算等を行う期間である。まず、インターレス／プログレッシブ変換の処理及び書込みの終了の時刻を、時刻Ｔ−Ｉｎ（１）から所定のオフセット時間ΔＴだけ遅れた時刻Ｔ−Ｏｕｔ（１）と比較する。この例では、前者が後者よりも遅いので、「遅れ」が発生していると判断する。そして、この例では、その「遅れ」が所定値以上である。この場合、タイミング制御部１８３は、Ｄｉｆｆ（２）＝Ｄｉｆｆ（１）＋α１にする。ここで、Ｄｉｆｆ（１）は、Ｄｉｆｆ（ｉ）の初期値である。ｄｉｆｆ（ｉ）は、Ｔ−Ｏｕｔ（ｉ）からＴ−Ｏｕｔ（ｉ＋１）までの時間差である。従って、Ｔ−Ｏｕｔ（ｉ＋１）＝Ｔ−Ｏｕｔ（ｉ）＋ｄｉｆｆ（ｉ）となる。また、タイミング制御部１８３が、ｉ回目に、書込部１９２に対し、書き込み要求を出力する時刻は、常に、時刻Ｔ−Ｏｕｔ（ｉ）からオフセット時間ΔＴだけ先行した時刻である。従って、タイミング制御部１８３が、（ｉ＋１）回目に、書込部１９２に対し、書き込み要求を出力する時刻は、タイミング制御部１８３が、ｉ回目に、書込部１９２に対し、書き込み要求を出力する時刻からｄｉｆｆ（ｉ）だけ遅れた時刻となる。
【００８０】
タイミング制御部１８３が、１回目に、書込部１９２に対し、書き込み要求を出力する時刻は、Ｔ−Ｉｎ（１）であるので、タイミング制御部１８３が、２回目に、書込部１９２に対し、書き込み要求を出力する時刻は、Ｔ−Ｉｎ（１）＋ｄｉｆｆ（１）である。タイミング制御部１８３が、２回目に、書込部１９２に対し、書き込み要求を出力する時刻でも、書込みフレーム・メモリであるＡフレーム・メモリ１９３に既に画像データが書き込まれている（Ａフレーム・メモリ１８３に書き込まれている画像データはまだ読み出されていない）ので、読出部１９５によるＢフレーム・メモリ１９４からの画像データの読み出しの処理が完了してＢフレーム・メモリ１９４が空く時刻Ｔ−Ｒ（２）まで待ちが発生し、時刻Ｔ−Ｒ（２）に書込部１９２は、タイミング制御部１８３に肯定応答（ＡＣＫ）を返す。そして、時刻Ｔ−Ｒ（２）から画像データ読出し／補間部１８２Ａ（又は１８２Ｂ又は１８３Ｃ）は、インターレス／プログレッシブ変換の処理を開始する。インターレス／プログレッシブ変換の処理と並行して、書込部１９２は、変換後の画像データをＢフレーム・メモリ１９３に書き込む。
【００８１】
そして、画像データ読出し／補間部１８２Ａ（又は１８２Ｂ又は１８３Ｃ）がインターレス／プログレッシブ変換の処理を終了したならば、タイミング制御部１８３は、終了の時刻を、時刻Ｔ−Ｏｕｔ（２）と比較する。但し、上述したようにＴ−Ｏｕｔ（ｉ＋１）＝Ｔ−Ｏｕｔ（ｉ）＋ｄｉｆｆ（ｉ）であるので、時刻Ｔ−Ｏｕｔ（２）＝Ｔ−ｏｕｔ（１）＋ｄｉｆｆ（１）である。この例では、インターレス／プログレッシブ変換の処理の終了の時刻が時刻Ｔ−Ｏｕｔ（２）よりも遅いので、「遅れ」が発生していると判断する。そして、この例では、その「遅れ」が所定値未満である。この場合、タイミング制御部１８３は、Ｄｉｆｆ（３）＝Ｄｉｆｆ（２）にする。
【００８２】
タイミング制御部１８３が、３回目に、書込部１９２に対し、書き込み要求を出力する時刻は、Ｔ−Ｉｎ（１）＋ｄｉｆｆ（１）＋ｄｉｆｆ（２）である。タイミング制御部１８３が、３回目に、書込部１９２に対し、書き込み要求を出力する時刻では、書込みフレーム・メモリであるＢフレーム・メモリ１９４に既に画像データが書き込まれているので、読出部１９５による読み出しの処理が完了してＡフレーム・メモリ１９４が空く時刻Ｔ−Ｒ（３）まで待ちが発生し、時刻Ｔ−Ｒ（３）に書込部１９２は、タイミング制御部１８３に肯定応答（ＡＣＫ）を返す。そして、時刻Ｔ−Ｒ（３）から画像データ読出し／補間部１８２Ａ（又は１８２Ｂ又は１８３Ｃ）は、インターレス／プログレッシブ変換の処理を開始する。インターレス／プログレッシブ変換の処理と並行して、書込部１９２は、変換後の画像データをＡフレーム・メモリ１９３に書き込む。
【００８３】
そして、画像データ読出し／補間部１８２Ａ（又は１８２Ｂ又は１８３Ｃ）がインターレス／プログレッシブ変換の処理を終了したならば、タイミング制御部１８３は、終了の時刻を、時刻Ｔ−Ｏｕｔ（３）と比較する。但し、上述したようにＴ−Ｏｕｔ（ｉ＋１）＝Ｔ−Ｏｕｔ（ｉ）＋ｄｉｆｆ（ｉ）であるので、時刻Ｔ−Ｏｕｔ（３）＝Ｔ−ｏｕｔ（２）＋ｄｉｆｆ（２）である。この例では、インターレス／プログレッシブ変換の処理の終了の時刻が時刻Ｔ−Ｏｕｔ（３）よりも早いので、「進み」が発生していると判断する。そして、この例では、その「進み」が所定値以上である。この場合、タイミング制御部１８３は、Ｄｉｆｆ（４）＝Ｄｉｆｆ（３）−α２にする。
【００８４】
タイミング制御部１８３が、４回目に、書込部１９２に対し、書き込み要求を出力する時刻は、Ｔ−Ｉｎ（１）＋ｄｉｆｆ（１）＋ｄｉｆｆ（２）＋ｄｉｆｆ（３）である。タイミング制御部１８３が、４回目に、書込部１９２に対し、書き込み要求を出力する時刻では、書込みフレーム・メモリであるＢフレーム・メモリ１９４が空いているので、待ちが発生せず、その時刻の直後に書込部１９２は、タイミング制御部１８３に肯定応答（ＡＣＫ）を返す。そして、肯定応答（ＡＣＫ）の返信の直後から画像データ読出し／補間部１８２Ａ（又は１８２Ｂ又は１８３Ｃ）は、インターレス／プログレッシブ変換の処理を開始する。インターレス／プログレッシブ変換の処理と並行して、書込部１９２は、変換後の画像データをＡフレーム・メモリ１９３に書き込む。
【００８５】
そして、画像データ読出し／補間部１８２Ａ（又は１８２Ｂ又は１８３Ｃ）がインターレス／プログレッシブ変換の処理を終了したならば、タイミング制御部１８３は、終了の時刻を、時刻Ｔ−Ｏｕｔ（４）と比較する。但し、上述したようにＴ−Ｏｕｔ（ｉ＋１）＝Ｔ−Ｏｕｔ（ｉ）＋ｄｉｆｆ（ｉ）であるので、時刻Ｔ−Ｏｕｔ（４）＝Ｔ−ｏｕｔ（３）＋ｄｉｆｆ（３）である。この例では、インターレス／プログレッシブ変換の処理の終了の時刻が時刻Ｔ−Ｏｕｔ（４）よりも早いので、「進み」が発生していると判断する。そして、この例では、その「進み」が所定値以上である。この場合、タイミング制御部１８３は、Ｄｉｆｆ（５）＝Ｄｉｆｆ（４）−α２にする。
【００８６】
以下、同様なことが繰り返される。このようにして、ｄｉｆｆの値が進み又は遅れかにより更新されていき、次回の書き込み要求を出力する時刻は、今回の書込み要求を出力する時刻にｄｉｆｆを加算した時刻となり、次回のインターレス／プログレッシブ変換処理を終了した時刻は、今回の時刻Ｔ−ｏｕｔにｄｉｆｆを加算した時刻と比較され、再度、ｄｉｆｆの値が進み又は遅れかにより更新されていく。この結果、Ａフレーム・メモリ１９３又はＢフレーム・メモリの何れかが空いている期間に、インターレス／プログレッシブ変換処理及び空いているフレーム・メモリへの画像データの書込みが行われる。収束状態においては、図１０に示すように、ｄｉｆｆの値は振動する。
【００８７】
また、レンダラの動作周波数が遅い場合には、書込み時刻Ｔ−Ｉｎの周期が読出し時刻Ｔ−Ｏｕｔの周期と比べて短くなることがある。このような場合、タイミング制御部１８３は、書込み時刻メモリ１８１に書き込まれている最後の時刻Ｔ−Ｉｎから今回の時刻Ｔ−Ｏｕｔまでの時間が所定時間以上である場合には、最後の時刻Ｔ−Ｉｎに書き込まれた画像データを破棄する。この様子を図１１に示す。
【００８８】
なお、図９に示すレンダラ１９１及びタイミング制御部１８３は、ハードウェアによって実現することもできるが、コンピュータを図９に示すレンダラ１９１及びタイミング制御部１８３として機能させるためのプログラムをコンピュータが読み込んで実行することによっても実現することができる。
【００８９】
［実施形態６］
実施形態６は、２４ｆｐｓのフィルム画像データから作成された約６０ｆｐｓのインターレス画像データを、元の２４ｆｐｓのフィルム画像データとして表示するものである。
【００９０】
図１２を参照すると、まず、２フィールド前の画像データと現在のフィールドの画像データが同一であるか否かを判断する（ステップＳ２２１）。この判断のためには、例えば、画素毎の差分の絶対値を求め、その絶対値がフィールドの全部又は一部の画素についてしきい値以下であるか否かを判断する。
【００９１】
同一である（変化がない）と判断した場合には（ステップＳ２２１で「変化なし」）、変数である「パターン・カウント」がゼロであるか否かを判断する（ステップＳ２２２）。「パターン・カウント」は、フィルム画像から作成された画像データを表示している期間は、５、４，３、２、１、５、４、３、２、１、５・・・と変化し、フィルム画像から作成されたのでない画像を表示している期間は、ゼロである。
【００９２】
「パターン・カウント」がゼロである場合には（ステップＳ２２２で「＝０」）、「パターン・カウント」を５に初期化し、また、変数である「２４ｆｐｓ可能性」を１増加させる（ステップＳ２２４）。ステップＳ２２４で「パターン・カウント」を５に初期化することにより、「パターン・カウント」の位相が初期化される。「２４ｆｐｓ可能性」は、現在のフィールドがフィルム画像から得られたものである可能性を示すものであり、この値が大きいほど、その可能性が高い。
【００９３】
「パターン・カウント」がゼロでない場合には（ステップＳ２２２で「≠０」）、ステップＳ２２４をスキップする。これは、静止画である場合、又は、変化があるのに間違って変化がないと判断された場合に生じる。
【００９４】
２フィールド前の画像データと現在のフィールドの画像データが同一でない（変化がある）と判断した場合には（ステップＳ２２１で「変化あり」）、「パターン・カウント」がゼロであるか否かを判断する（ステップＳ２２３）。
【００９５】
「パターン・カウント」がゼロでない場合には（ステップＳ２２３で「≠０」）、「２４ｆｐｓ可能性」を１だけ増加させる（ステップＳ２２６）。但し、「２４ｆｐｓ可能性」の上限値を、一例として、１１とする。従って、１だけ増加させて１２になる場合には、１１とする。フィルム画像から得られたフィールドのうち、重複しないフィールドを処理している時には、ステップＳ２２６を実行することとなる。
【００９６】
「パターン・カウント」がゼロである場合には（ステップＳ２２３で「＝０」）、「２４ｆｐｓ可能性」を１だけ減少させ、また、「２４ｆｐｓ可能性」が１０以上である場合には、「パターン・カウント」を５に初期化する（ステップＳ２２５）。但し、「２４ｆｐｓ可能性」を１だけ減少させる場合には、「２４ｆｐｓ可能性」の下限値を、一例として、ゼロとする。従って、１だけ減少させて−１になる場合には、ゼロとする。フィルム画像から得られたフィールドのうち重複しているフィールドを処理しているのに、ステップＳ２２１で、誤って、「変化あり」と判断した場合に、ステップＳ２２５を実行することとなる。また、フィルム画像から得られたのではないフィールドを処理する場合にも、ステップＳ２２５を実行することとなる。
【００９７】
ステップＳ２２４で「≠０」である場合にステップＳ２２７に進む。また、ステップＳ２２４、Ｓ２２５又はＳ２２６からもステップＳ２２７に進む。
【００９８】
ステップＳ２２７では、「パターン・カウント」がゼロであるか否かを判断する。「パターン・カウント」がゼロであるとは、現在のフィールドが、フィルム画像から得られたものではないことを意味するので、このような場合には（ステップＳ２２７で「＝０」）、インターレス／プログレッシブ変換処理を行い、これにより得られた画像を表示する（ステップＳ２３１）。インターレス／プログレッシブ変換処理のためには、実施形態１乃至４を利用する。
【００９９】
「パターン・カウント」がゼロでない場合には（ステップＳ２２７で「≠０」）、「パターン・カウント」を１だけ減少させる（ステップＳ２２８）。これにより、フィルム画像から得られたフィールドが連続している場合に、各フィールド毎に「パターン・カウント」が１だけ減少するようになる。
【０１００】
次に、「２４ｆｐｓ可能性」が５以上であるか否かを判断する（ステップＳ２２９）。
【０１０１】
「２４ｆｐｓ可能性」が５未満である場合には（ステップＳ２２９で「＜５」）、「パターン・カウント」がゼロではなくても、現在のフィールドがフィルム画像から得られたものではない可能性が高いので、インターレス／プログレッシブ変換処理を行い、これにより得られた画像を表示する（ステップＳ２３１）。
【０１０２】
「２４ｆｐｓ可能性」が５以上である場合には（ステップＳ２２９で「＞＝５」）、「パターン・カウント」が２又は０であるか否かを判断する（ステップＳ２３０）。
【０１０３】
「パターン・カウント」が２又は０である場合には、２フィールド前の画像データと現在のフィールドの画像データが同一であると判断されたフィールドから２フィールド後又は４フィールド後のフィールドを現在扱っていることを意味する。このようなフィールドは、重複したフィールドを除いて考えると、フィルム画像から得られた２つのフィールドのうちの後半部のフィールドである。従って、このような場合には（ステップＳ２３０で「＝２または＝０」）、１つ前のフィールドと現在のフィールドを合わせてフレームを作成し、このフレームを表示する（ステップＳ２３２）。１つ前のフィールドと現在のフィールドを合わせてフレームを作成するためには、インターレス／プログレッシブ変換処理装置において、現在のフレームの全ての領域が静止画領域であるとして扱った上で処理を行えばよい。
【０１０４】
「パターン・カウント」が２でも０でもない場合には、最後のフレームの画像データをそのまま再度表示する（ステップＳ２３３）。
【０１０５】
ステップＳ２２７で「＝０」である場合、及びステップＳ２２９で「＜５」である場合には、インターレス／プログレッシブ変換処理を行い、その結果得られるフレームを表示する（ステップＳ２３１）。
【０１０６】
ステップＳ２２１での判断ミスが全くない場合の動作を図１３及び図１４に示す。また、図１３及び図１４に示す処理を行った後にステップＳ２２１での第１種の判断ミスが１回生じた場合の動作を図１５に示す。更に、図１３及び図１４に示す処理を行った後にステップＳ２２１で第２種の判断ミスが３回生じた場合の動作を図１６に示す。図１５及び図１６に示すように、ステップＳ２２１で判断ミスが生じた場合であっても、正しい処理が最終的に選択されることが分かる。
【０１０７】
なお、図１２に示す表示方法は、ハードウェアによって実現することもできるが、コンピュータを図１２に示す表示方法を行わせるためのプログラムをコンピュータが読み込んで実行することによっても実現することができる。
【符号の説明】
【０１０８】
１０１−１〜１０１−３ フィールド・メモリ
１０３ 画像データ書込部
１０５ 動画補間画素生成部
１０７ 静止画補間画素生成部
１０９ 差分計算部
１１１ 差分補正部
１１３ 補正値保持部
１１５ 差分累積部
１１７ 累積動き量メモリ
１１９ しきい値保持部
１２１ 動き量計算部
１２３ 合成補間画素生成部
１２５ 選択部
【技術分野】
【０００１】
本発明は、フィルム画像データからインターレス画像データを再生して表示する画像表示方法及び画像表示装置に関する。
【背景技術】
【０００２】
従来、パーソナルコンピュータで、テレビを視聴する場合、ＮＴＳＣ(National Television Standards Committee)方式、ＰＡＬ(Phase Alternation by Line)方式又はＳＥＣＡＭ(SEquential Couleur A Memoire)方式の映像信号をパーソナルコンピュータのノンインターレス（プログレッシブ）・モニタに表示するために、偶数フィールド及び奇数フィールドをインターリーブ合成して作成したフレームにコーミング(combing)除去処理を施していた。
【特許文献１】特開２００１−３３９６９４号公報
【特許文献２】特開２００２−１８５９３３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００３】
上記処理をした場合、１秒間に表示されるフレーム数は、約３０又は約２５であるため、処理前の画像に比べ、動きの滑らかさが劣る問題があった。また、コーミング除去方法によっては、映像全体がぼやけたり、映像のディテイル(detail)が潰れてしまう問題があった。
【０００４】
このような、問題を改善するための方法として、例えば、ＮＴＳＣ信号の各フィールドをそれぞれ１つのフレームに変換して、１秒間に約６０フレーム表示できるようにするインターレス／プログレッシブ変換方法がある。このインターレス／プログレッシブ変換方法では、インターレス信号の各フィールドについて画素単位で映像の動きを判定し、その画素が動き部分のものであるのか静止部分のものであるかにより補間方法を適応的に切り換える。
【０００５】
特許文献１には、高速スクロールの画面に対しインターレス／プログレッシブ変換を行う際に発生する動き検出の破綻を軽減することを目的とした発明が記載されているが、この発明によれば、動き検出のためのしきい値を可変とするので、１フレーム分余計なバッファ・メモリが必要となる。
【０００６】
特許文献２には、動き補正を伴うインターレス／プログレッシブ変換における動き検出の精度を向上させることを目的とした発明が記載されているが、１フィールド前、２フィールド前、３フィールド前及び６フィールド前のフィールドデータを利用する必要があり、このために、４フィールド分の余分なバッファ・メモリが必要となる。
【０００７】
また、インターレス／プログレッシブ変換方法においては、動きの判定が正しくできないために、動画部分が静止画部分と判断され、これにより、その部分に静止画用の補間処理が適用される場合があった。そして、動画部分に対し静止画用の補間処理が適用されると、映像にゴミ状のノイズが含まれることとなる。このようなノイズは視覚上目立ってしまう。
【０００８】
本発明は、フィルム画像データからインターレス画像データを再生して表示する画像表示方法及び画像表示装置を提供することを目的とする。
【課題を解決するための手段】
【０００９】
本発明の第１の観点によれば、フィルム画像から生成された画像データを再生する場合に、フィールド周期で変化するとともに所定数のフィールド周期で繰り返すパターン・カウントが表示のための所定値となったフィールドでそのフィールドとそれに隣接するフィールドを基にフレームを合成し出力する画像表示方法において、各フィールド毎に、２フィールド前の画像データと現在のフィールドの画像データが同一であるか否かを判断するステップと、２フィールド前の画像データと現在のフィールドの画像データが同一である場合に、更に、前記パターン・カウントが初期化のための所定値であるならば、前記パターン・カウントを初期値に初期化するステップと、２フィールド前の画像データと現在のフィールドの画像データが同一でない場合であっても、前記パターン・カウントが初期化のための所定値であり、且つ、現在のフィールドがフィルム画像から生成されたフィールドである可能性を示す変数の値が初期化許可のための所定値以上であるならば、前記パターン・カウントを初期値に初期化するステップと、を備えることを特徴とする画像表示方法が提供される。
【００１０】
また、本発明の第２の観点によれば、フィルム画像から生成された画像データを再生する場合に、フィールド周期で変化するとともに所定数のフィールド周期で繰り返すパターン・カウントが表示のための所定値となったフィールドでそのフィールドとそれに隣接するフィールドを基にフレームを合成し出力する画像表示装置において、各フィールド毎に、２フィールド前の画像データと現在のフィールドの画像データが同一であるか否かを判断する手段と、２フィールド前の画像データと現在のフィールドの画像データが同一である場合に、更に、前記パターン・カウントが初期化のための所定値であるならば、前記パターン・カウントを初期値に初期化する手段と、２フィールド前の画像データと現在のフィールドの画像データが同一でない場合であっても、前記パターン・カウントが初期化のための所定値であり、且つ、現在のフィールドがフィルム画像から生成されたフィールドである可能性を示す変数の値が初期化許可のための所定値以上であるならば、前記パターン・カウントを初期値に初期化する手段と、を備えることを特徴とする画像表示装置が提供される。
【００１１】
更に、本発明の第３の観点によれば、フィルム画像から生成された画像データを再生する場合に、フィールド周期で変化するとともに所定数のフィールド周期で繰り返すパターン・カウントが表示のための所定値となったフィールドでそのフィールドとそれに隣接するフィールドを基にフレームを合成し出力する画像表示装置としてコンピュータを機能させるためのプログラムにおいて、各フィールド毎に、２フィールド前の画像データと現在のフィールドの画像データが同一であるか否かを判断する手段と、２フィールド前の画像データと現在のフィールドの画像データが同一である場合に、更に、前記パターン・カウントが初期化のための所定値であるならば、前記パターン・カウントを初期値に初期化する手段と、２フィールド前の画像データと現在のフィールドの画像データが同一でない場合であっても、前記パターン・カウントが初期化のための所定値であり、且つ、現在のフィールドがフィルム画像から生成されたフィールドである可能性を示す変数の値が初期化許可のための所定値以上であるならば、前記パターン・カウントを初期値に初期化する手段と、を備えることを特徴とする画像表示装置としてコンピュータを機能させるためのプログラムが提供される。
【発明の効果】
【００１２】
本発明によれば、フィルム画像から生成された画像データを再生する場合に、フィールド周期で変化するとともに所定数のフィールド周期で繰り返すパターン・カウントが表示のための所定値となったフィールドでそのフィールドとそれに隣接するフィールドを基にフレームを合成し出力する画像表示方法において、各フィールド毎に、２フィールド前の画像データと現在のフィールドの画像データが同一であるか否かを判断するステップと、２フィールド前の画像データと現在のフィールドの画像データが同一である場合に、更に、前記パターン・カウントが初期化のための所定値であるならば、前記パターン・カウントを初期値に初期化するステップと、２フィールド前の画像データと現在のフィールドの画像データが同一でない場合であっても、前記パターン・カウントが初期化のための所定値であり、且つ、現在のフィールドがフィルム画像から生成されたフィールドである可能性を示す変数の値が初期化許可のための所定値以上であるならば、前記パターン・カウントを初期値に初期化するステップと、を備えるので、フィルム画像データからインターレス画像データを再生して表示することが可能となる。
【図面の簡単な説明】
【００１３】
【図１】本発明の実施形態１によるインターレス／プログレッシブ変換装置の構成を示すブロック図である。
【図２】本発明の実施形態１の効果を説明するための第１の図である。
【図３】本発明の実施形態１の効果を説明するための第２の図である。
【図４】図１に示すインターレス／プログレッシブ変換装置により行われるインターレス／プログレッシブ変換方法について説明するためのフロー・チャートである。
【図５】本発明の実施形態２によるインターレス／プログレッシブ変換装置の構成を示すブロック図である。
【図６】本発明の実施形態３によるインターレス／プログレッシブ変換装置の動作を説明するためのタイミング図である。
【図７】本発明の実施形態３によるインターレス／プログレッシブ変換装置の構成を示すブロック図である。
【図８】本発明の実施形態４によるノイズ除去フィルタの構成例を示すブロック図である。
【図９】本発明の実施形態５による、レンダラを含んだインターレス／プログレッシブ変換装置の構成を示すブロック図である。
【図１０】図９に示すインターレス／プログレッシブ変換装置の動作を説明するための第１のタイミング図である。
【図１１】図９に示すインターレス／プログレッシブ変換装置の動作を説明するための第２のタイミング図である。
【図１２】本発明の実施形態６による、フィルム画像変換機能を有するインターレス／プログレッシブ変換装置の動作を説明するためのフロー・チャートである。
【図１３】本発明の実施形態６による、フィルム画像変換機能を有するインターレス／プログレッシブ変換装置の動作を説明するための第１のタイミング図である。
【図１４】本発明の実施形態６による、フィルム画像変換機能を有するインターレス／プログレッシブ変換装置の動作を説明するための第２のタイミング図である。
【図１５】本発明の実施形態６による、フィルム画像変換機能を有するインターレス／プログレッシブ変換装置の動作を説明するための第３のタイミング図である。
【図１６】本発明の実施形態６による、フィルム画像変換機能を有するインターレス／プログレッシブ変換装置の動作を説明するための第４のタイミング図である。
【発明を実施するための形態】
【００１４】
以下、図面を参照して本発明を実施するための最良の形態について詳細に説明する。
【００１５】
［実施形態１］
図１は、本発明の実施形態１によるインターレス／プログレッシブ変換装置の構成を示すブロック図である。
【００１６】
第１のフィールド・メモリ１０１−１は、処理対象となっているフィールドの１つ先のフィールドの画像データを格納する。第２のフィールド・メモリ１０１−２は、処理対象となっているフィールドの画像データを格納する。第３のフィールド・メモリ１０１−３は、処理対象となっているフィールドの１つ前のフィールドの画像データを格納する。
【００１７】
画像データ書込部１０３は、第１乃至第３のフィールド・メモリ１０１−１、１０１−２及び１０１−３に画像データを書き込む。なお、第１乃至第３のフィールド・メモリ１０１−１、１０１−２及び１０１−３をリング・バッファ構成とし、循環的に、３つのフィールドの画像データをこれらのフィールド・メモリに格納するようにしても良い。
【００１８】
動画補間画素生成部１０５は、第２のフィールド・メモリ１０１−２に格納されている画像データを基に、動画補間画素を生成する。例えば、現在処理の対象となっているフィールドの番号をｎ、そのフィールドにおいて、補間するべき画素として現在処理の対象となっている画素の垂直方向位置をｉ、そのフィールドにおいて、補間するべき画素として現在処理の対象となっている画素の水平方向位置をｊとした場合、式（１）に従って、動画補間画素Ａ（ｎ，ｉ，ｊ）を生成する。
【００１９】
【数１】
ここで、ｘ（ｎ，ｉ−１，ｊ）は、処理の対象となっているフィールドの処理の対象となっている画素の１つ上の画素の値であり、ｘ（ｎ，ｉ＋１，ｊ）は、処理の対象となっているフィールドの処理の対象となっている画素の１つ下の画素の値である。上記では、これらの２つの画素の値の平均値を処理の対象となっている画素の値としているが、これらの２つの画素のうちの１つの画素の値を処理の対象となっている画素の値としてもよい。また、処理の対象となっているフィールドの画素のうちの処理の対象となっている画素の所定の近傍の画素の値の加重平均を処理の対象となっている画素の値としてもよい。
【００２０】
静止画補間画素生成部１０７は、第１のフィールド・メモリ１０１−１に格納されている画素データ及び第３のフィールド・メモリ１０１−３に格納されている画素データを基に、静止画画素を生成する。例えば、現在処理の対象となっているフィールドの番号をｎ、そのフィールドにおいて、補間するべき画素として現在処理の対象となっている画素の垂直方向位置をｉ、そのフィールドにおいて、補間するべき画素として現在処理の対象となっている画素の水平方向位置をｊとした場合、式（２）に従って、動画補間画素Ｂ（ｎ，ｉ，ｊ）を生成する。
【００２１】
【数２】
ここで、ｘ（ｎ−１，ｉ，ｊ）は、処理の対象となっているフィールドの１つ前のフィールドの画素のうち、処理の対象となっている画素と同一の位置（ｉ，ｊ）にある画素の値であり、ｘ（ｎ＋１，ｉ，ｊ）は、処理の対象となっているフィールドの１つ後のフィールドの画素のうち、処理の対象となっている画素と同一の位置（ｉ，ｊ）にある画素の値である。上記では、これらの２つの画素の値の平均値を処理の対象となっている画素の値としているが、これらの２つの画素のうちの１つの画素の値を処理の対象となっている画素の値としてもよい。また、処理の対象となっているフィールドの近傍のフィールドの画素のうちの処理の対象となっている画素と同一の位置にある画素の値の加重平均を処理の対象となっている画素の値としてもよい。
【００２２】
差分計算部１０９は、処理の対象となっているフィールドの処理の対象となっている画素についての差分Ｃ（ｎ，ｉ，ｊ）を式（３）に従って求める。
【００２３】
【数３】
ここで、ｘ（ｎ−１，ｉ，ｊ）は、処理の対象となっているフィールドの１つ前のフィールドの画素のうち、処理の対象となっている画素と同一の位置（ｉ，ｊ）にある画素の値であり、ｘ（ｎ＋１，ｉ，ｊ）は、処理の対象となっているフィールドの１つ後のフィールドの画素のうち、処理の対象となっている画素と同一の位置（ｉ，ｊ）にある画素の値である。差分Ｃ（ｎ，ｉ，ｊ）は、動き量の基本となる。
【００２４】
差分補正部１１１は、式（４）に従って、補正された差分Ｄ（ｎ，ｉ，ｊ）を求める。
【００２５】
【数４】
ここで、Δｃの値は、ノイズのレベル等により決定され、補正値保持部１１３に格納されている。
【００２６】
差分累積部１１５は、累積動き量メモリ１１７に格納されている累積動き量ｍ（ｉ，ｊ）を式（５）に従って更新する。
【００２７】
【数５】
ここで、ＴＨの値は、視覚特性等により決定され、しきい値保持部１１９に格納されている。ＴＨの値は、例えば、１６である。
【００２８】
上式に従って、累積動き量ｍ（ｉ，ｊ）を計算することにより、あるフィールドである量の動きが検出された場合には、そのフィールドでは、累積動き量ｍ（ｉ，ｊ）は、その前のフィールドでの累積動き量にその動きの量を加算してから１引いた値又は、動き量が大きい場合には、しきい値ＴＨとなり、それから１フィールド経過する度に１ずつ減少する。こうすることにより、動き検出は、尾を引くこととなる。これにより、動きがあった後に動画部が間違って静止画部であると判断される可能性を低くすることができる。動画部が間違って静止画部であると判断された場合には、動画部として正しく処理された時に算出される補間値とは全く異なった補間値が算出され、視覚上問題となる。一方、静止画部が間違って動画部であると判断された場合には、解像度が落ちるだけであり、視覚上問題とはならない。特に、実際に動きが検出された部分の周辺の静止画部は、動画部であると間違って判断されたとしても、その部分の解像度の低下は実際に動きがある部分によるマスキング効果により視覚されない。従って、式（５）を導入して、動画部が間違って静止画部と判断される可能性を低くすることの長所は、静止画部が間違って動画部と判断される可能性が増える欠点を上回るので、式（５）を導入することは、全体として、画質改善に役立つ。また、文字が固定されているテロップ部等の多くの静止画部は、式（５）を導入しても、間違って、動画部であると判断されることはない。
【００２９】
動き量計算部１２１は、式（６）に従って動き量Ｍ（ｉ，ｊ）を算出する。
【００３０】
【数６】
合成補間画素生成部１２３は、式（７）に従って合成補間画素ｘ’（ｎ，ｉ，ｊ）を計算する。
【００３１】
【数７】
選択部１２５は、ライン毎に実在画素ｘ（ｎ，ｉ，ｊ）と補間画素ｘ’（ｎ，ｉ，ｊ）を切り換えて、プログレッシブ走査の画像データを出力する。
【００３２】
なお、図１に示すインターレス／プログレッシブ変換装置は、ハードウェアによって実現することもできるが、コンピュータを図１に示すインターレス／プログレッシブ変換装置として機能させるためのプログラムをコンピュータが読み込んで実行することによっても実現することができる。
【００３３】
次に、式（６）に従って動き量Ｍ（ｉ，ｊ）を計算することの効果について説明する。
【００３４】
図２に示すように、白い平坦な背景上を黒い縦線が右に移動する場合を想定する。また、考察を容易にするために、動き累積量ｍ（ｉ，ｊ）を式（８）に従って計算するものとする。
【００３５】
【数８】
そうすると、式（６）を用いずに、仮に、式（９）に従って、動き量Ｍ（ｉ，ｊ）を計算することとすると、図２に示すように、動きが検出されずに、静止画補間画素により補間が行われることとなり、コーミングが発生する。
【００３６】
【数９】
すなわち、図２において、四角の画素は元々ある画素であり、丸の画素は補完するべき画素である。例えば、画素１３４と画素３３４との差分の絶対値が画素２３４の動き量となるが、この値はゼロであるため、画素２３４は、静止画画素であると間違って判断される。そうすると、画素１３４と画素３３４の平均値が画素２３４の補間値となり、画素２３４は白となってしまう。画素２１４、２５４についても同様である。そうすると、画素２２４、２４４、２６４が正しく黒であるのに対し、画素２１４、２３４、２５４は間違って白となってしまい、コーミングが発生する。
【００３７】
一方、本発明に従って、式（６）に従って、動き量Ｍ（ｉ，ｊ）を計算することとすると、図３に示すように、正しく動きが検出され、動画補間画素により補間が行われることとなり、コーミングが発生しない。
【００３８】
すなわち、図３において、図２の場合と同様に、四角の画素は元々ある画素であり、丸の画素は補完するべき画素である。例えば、画素１３４と画素３３４との差分の絶対値と画素０４４と画素２４４との差分の絶対値の和としきい値ＴＨのうちの小さい方が画素２３４の動き量となるが、この値はしきい値ＴＨであるため、画素２３４は、動画画素であると正しく判断される。そうすると、画素２２４と画素２４４の平均値が画素２３４の補間値となり、画素２３４は黒となる。画素２１４、２５４についても同様である。そうすると、画素２２４、２４４、２６４が正しく黒であり、且つ、画素２１４、２３４、２５４も正しく黒であるため、コーミングは発生しない。
【００３９】
このように、式（６）に従って動き量Ｍ（ｉ，ｊ）を計算することにより、動画画素が間違って静止画画素であると判断されることを回避することができる。
【００４０】
次に、図１に示すインターレス／プログレッシブ変換装置により行われるインターレス／プログレッシブ変換方法について説明する。
【００４１】
図４を参照すると、まず、動画補間画素生成部１０５は、式（１）に従って、動画補間画素を生成する（ステップＳ２０１）。次に、静止画補間画素生成部１０７は、式（２）に従って、静止画補間画素を生成する（ステップＳ２０３）。次に、差分計算部１０９は、式（３）に従って、差分を計算する（ステップＳ２０５）。次に、差分補正部１１１は、式（４）に従って、差分を補正する（ステップＳ２０７）。次に、差分累積部１１５は、式（５）に従って、累積動き量を更新する（ステップＳ２０９）。次に、動き量計算部１２１は、式（６）に従って、動き量を計算する（ステップＳ２１１）。次に、合成補間画素生成部１２３は、式（７）に従って、合成補間画素を生成する（ステップＳ２１３）。
【００４２】
［実施形態２］
実施形態１の構成でインターレス／プログレッシブ変換を行うと、動画像に付随する音声に対して動画像のタイミングが遅れてしまう場合がある。実施形態２は、音声に対して動画像のタイミングが遅れないようにするものである。このために、将来のフィールドの画像データを用いずに処理を行う。
【００４３】
図５は、本発明の実施形態２によるインターレス／プログレッシブ変換装置の構成を示すブロック図である。
【００４４】
第１のフィールド・メモリ１３１−１は、処理対象となっているフィールドの画像データを格納する。第２のフィールド・メモリ１３１−２は、処理対象となっているフィールドの１つ前のフィールドの画像データを格納する。第３のフィールド・メモリ１３１−３は、処理対象となっているフィールドの２つ前のフィールドの画像データを格納する。第４のフィールド・メモリ１３１−４は、処理対象となっているフィールドの３つ前のフィールドの画像データを格納する。
【００４５】
画像データ書込部１３３は、第１乃至第４のフィールド・メモリ１３１−１、１３１−２、１３１−３及び１３１−４に画像データを書き込む。なお、第１乃至第４のフィールド・メモリ１３１−１、１３１−２、１３１−３及び１３１−３をリング・バッファ構成とし、循環的に、４つのフィールドの画像データをこれらのフィールド・メモリに格納するようにしても良い。
【００４６】
動画補間画素生成部１０５は、第１のフィールド・メモリ１３１−１に格納されている画像データを基に、動画補間画素を生成する。例えば、現在処理の対象となっているフィールドの番号をｎ、そのフィールドにおいて、補間するべき画素として現在処理の対象となっている画素の垂直方向位置をｉ、そのフィールドにおいて、補間するべき画素として現在処理の対象となっている画素の水平方向位置をｊとした場合、式（１０）に従って、動画補間画素Ａ（ｎ，ｉ，ｊ）を生成する。
【００４７】
【数１０】
ここで、ｘ（ｎ，ｉ−１，ｊ）は、処理の対象となっているフィールドの処理の対象となっている画素の１つ上の画素の値であり、ｘ（ｎ，ｉ＋１，ｊ）は、処理の対象となっているフィールドの処理の対象となっている画素の１つ下の画素の値である。上記では、これらの２つの画素の値の平均値を処理の対象となっている画素の値としているが、これらの２つの画素のうちの１つの画素の値を処理の対象となっている画素の値としてもよい。また、処理の対象となっているフィールドの画素のうちの処理の対象となっている画素の所定の近傍の画素の値の加重平均を処理の対象となっている画素の値としてもよい。
【００４８】
静止画補間画素生成部１３７は、第２のフィールド・メモリ１３１−２に格納されている画素データを基に、静止画画素を生成する。例えば、現在処理の対象となっているフィールドの番号をｎ、そのフィールドにおいて、補間するべき画素として現在処理の対象となっている画素の垂直方向位置をｉ、そのフィールドにおいて、補間するべき画素として現在処理の対象となっている画素の水平方向位置をｊとした場合、式（１１）に従って、動画補間画素Ｂ（ｎ，ｉ，ｊ）を生成する。
【００４９】
【数１１】
ここで、ｘ（ｎ−１，ｉ，ｊ）は、処理の対象となっているフィールドの１つ前のフィールドの画素のうち、処理の対象となっている画素と同一の位置（ｉ，ｊ）にある画素の値である。但し、処理の対象となっているフィールドの過去の近傍のフィールドの画素のうちの処理の対象となっている画素と同一の位置にある画素の値の加重平均を処理の対象となっている画素の値としてもよい。
【００５０】
差分計算部１３９は、処理の対象となっているフィールドの処理の対象となっている画素についての差分Ｃ（ｎ，ｉ，ｊ）を式（１２）に従って求める。
【００５１】
【数１２】
ここで、ｘ（ｎ−３，ｉ，ｊ）は、処理の対象となっているフィールドの３つ前のフィールドの画素のうち、処理の対象となっている画素と同一の位置（ｉ，ｊ）にある画素の値であり、ｘ（ｎ−１，ｉ，ｊ）は、処理の対象となっているフィールドの１つ前のフィールドの画素のうち、処理の対象となっている画素と同一の位置（ｉ，ｊ）にある画素の値である。差分Ｃ（ｎ，ｉ，ｊ）は、動き量の基本となる。
【００５２】
差分補正部１４１は、式（１３）に従って、補正された差分Ｄ（ｎ，ｉ，ｊ）を求める。
【００５３】
【数１３】
ここで、Δｃの値は、ノイズのレベル等により決定され、補正値保持部１１３に格納されている。
【００５４】
差分累積部１４５は、累積動き量メモリ１４７に格納されている累積動き量ｍ（ｉ，ｊ）を式（１４）に従って更新する。
【００５５】
【数１４】
ここで、ＴＨの値は、視覚特性等により決定され、しきい値保持部１４９に格納されている。ＴＨの値は、例えば、１６である。
【００５６】
上式に従って、累積動き量ｍ（ｉ，ｊ）を計算することにより、あるフィールドである量の動きが検出された場合には、そのフィールドでは、累積動き量ｍ（ｉ，ｊ）は、その前のフィールドでの累積動き量にその動きの量を加算してから１引いた値又は、動き量が大きい場合には、しきい値ＴＨとなり、１フィールド経過する度に１ずつ減少する。こうすることにより、動き検出は、尾を引くこととなる。これにより、動きがあった後に動画部が間違って静止画部であると判断される可能性を低くすることができる。
【００５７】
動き量計算部１５１は、式（１５）に従って動き量Ｍ（ｉ，ｊ）を算出する。
【００５８】
【数１５】
合成補間画素生成部１５３は、式（１６）に従って合成補間画素ｘ’（ｎ，ｉ，ｊ）を計算する。
【００５９】
【数１６】
選択部１５５は、ライン毎に実在画素ｘ（ｎ，ｉ，ｊ）と補間画素ｘ’（ｎ，ｉ，ｊ）を切り換えて、プログレッシブ走査の画像データを出力する。
【００６０】
なお、図５に示すインターレス／プログレッシブ変換装置は、ハードウェアによって実現することもできるが、コンピュータを図５に示すインターレス／プログレッシブ変換装置として機能させるためのプログラムをコンピュータが読み込んで実行することによっても実現することができる。
【００６１】
［実施形態３］
実施形態１の構成に従った場合、図６に示すように、シーンチェンジの境界の前後のフィールド（図６の例では、フィールドＢ２とフィールドＡ３）では、全ての補間画素について動画補間（フィールド内補間）をするべきである。しかし、画像データの内容によっては、一部の補間画素について静止画補間が行われる可能性がある。そこで、実施形態３では、各フィールド毎にシーンチェンジを検出し、シーンチェンジの境界の前後のフィールドでは、全ての補間画素について強制的に動画補間（フィールド内補間）を行う。
【００６２】
図７は、本発明の実施形態３によるインターレス／プログレッシブ変換装置の構成を示すブロック図である。
【００６３】
図７と図１を比較すると明らかなように、実施形態３によるインターレス／プログレッシブ変換装置は、実施形態１によるインターレス／プログレッシブ変換装置と比較すると、シーンチェンジ検出部１６１が追加されている点のみが異なる。従って、シーンチェンジ検出部１６１及びその周辺部のみについて説明する。
【００６４】
図６を参照すると、フィールドＢ２について処理を行っている時には、フィールドＢ２の直前のフィールドであるフィールドＡ２とフィールドＢ２の直後のフィールドであるフィールドＡ３が異なったシーンに属するものであることを検出すればよい。同様に、フィールドＡ３について処理を行っている時には、フィールドＡ３の直前のフィールドであるフィールドＢ２とフィールドＡ３の直後のフィールドであるフィールドＢ３が異なったシーンに属するものであることを検出すればよい。従って、処理しているフィールドの直前のフィールドと直後のフィールドが異なったシーンに属するものであることを検出すればよい。異なったシーンに属するものであるかを検出するためには、例えば、両フィールドの間の相互相関値がしきい値以下であるか否かを判断したり、両フィールドの間の相互相関値が急に変化したか否かを判断すればよい。
【００６５】
このために、シーンチェンジ検出部１６１は、第１のフィールド・メモリ１０１−１から現在のフィールドの１つ後のフィールドの画像データを入力し、第３のフィールド・メモリ１０１−３から現在のフィールドの１つ前のフィールドの画像データを入力し、両画像データの間の相互相関値等を計算することにより、シーンチェンジを検出する。シーンチェンジ検出部１６１は、シーンチェンジを検出した場合には、累積動き量メモリ１１７に格納されている全ての累積動き量をしきい値ＴＨに設定する。こうすることにより、フィールド内の全ての補間画素は、動画補間画素となる。
【００６６】
なお、図７に示すインターレス／プログレッシブ変換装置は、ハードウェアによって実現することもできるが、コンピュータを図７に示すインターレス／プログレッシブ変換装置として機能させるためのプログラムをコンピュータが読み込んで実行することによっても実現することができる。
【００６７】
［実施形態４］
実施形態４では、画像データ書込部１３３の前段にノイズ除去フィルタを配置する。このノイズ除去フィルタにより平坦部のノイズを除去する。
【００６８】
図８にノイズ除去フィルタの構成例を示す。図８を参照すると、このノイズ除去フィルタは、遅延回路１７１−１〜１７１−６、掛算器１７２−１〜１７２−７、加算器１７３、比較器１７４及びセレクタ１７５を備える。
【００６９】
遅延回路１７１−１〜１７１−６は、１画素単位で画素を遅延させる。掛算器１７２−１〜１７２−７と加算器１７３は積和回路を構成する。掛算器１７２−１〜１７２−７の係数を適切に選ぶことにより（例えば、１／８、１／８、１／８、２／８、１／８、１／８、１／８）、遅延回路１７１−１〜１７１−６、掛算器１７２−１〜１７２−７及び加算器１７３を低域通過フィルタにする。比較器１７４は、加算器１７３の出力データの値が、遅延回路１７１−３の出力データの値から所定値を減算した値と遅延回路１７１−３の出力データの値に所定値を加算した値との間にあるか否かを判断する。セレクタ１７５は、加算器１７３の出力データの値が、遅延回路１７１−３の出力データの値から所定値を減算した値と遅延回路１７１−３の出力データの値に所定値を加算した値との間にある場合には、加算器１７３の出力データを選択し、そうでない場合には、遅延回路１７１−３の出力データを選択する。こうすることにより、平坦部のノイズを除去することが可能となる。
【００７０】
なお、図８に示すノイズ除去フィルタは、ハードウェアによって実現することもできるが、コンピュータを図８に示すノイズ除去フィルタとして機能させるためのプログラムをコンピュータが読み込んで実行することによっても実現することができる。
【００７１】
［実施形態５］
実施形態１から実施形態４では、レンダラを考慮していなかったが、図９に示すように、インターレス／プログレッシブ変換装置の最終段にはレンダラ１９１が存在する。レンダラ１９１は、画像データをモニタのクロック周波数、水平同期周波数及びフレーム周波数でモニタに出力する機能を持つ。
【００７２】
図９を参照すると、レンダラ１９１は、書込部１９２、Ａフレーム・メモリ１９３、Ｂフレーム・メモリ１９４及び読出部１９５を備える。Ａフレーム・メモリ１９３及びＢフレーム・メモリ１９４は、交互に、相補的に、書込みフレーム・メモリ及び表示フレーム・メモリとなる。
【００７３】
書込部１９２は、Ａフレーム・メモリ１９３とＢフレーム・メモリ１９４のうち現在書込みフレーム・メモリとなっているものに画像データを書き込む。読出部１９５は、Ａフレーム・メモリ１９３とＢフレーム・メモリ１９４のうち現在表示フレーム・メモリとなっているものから画像データを読み出し、それをモニタに供給する。
【００７４】
図９に示すフィールド・メモリ群１０１（又は１３１）は、例えば、図１の例でいうと、フィールド・メモリ１０１−１〜１０１−３の群である。画像データ読出し／補間部１８２Ａ（又は１８２Ｂ又は１８２Ｃ）は、例えば、図１の例でいうと、図１の符号１８２Ａの枠で囲まれたブロック群を含む。書込み時刻メモリ１８１には、画像データ書込部１０３（又は１３３）が、画像データをフィールド・メモリ群１０１（又は１３１）に書き込む時刻を格納する。タイミング制御部１８３は、画像データ読出し／補間部１８２Ａ（又は１８２Ｂ又は１８２Ｃ）が画像データの読出し及び補間を行い、その結果得られたプログレッシブの画像データを書込部１９２に供給し、書込部１９２がＡフレーム・メモリ１９３とＢフレーム・メモリ１９４のうち現在書込みフレーム・メモリとなっているものに画像データを書き込むためのタイミングを制御する。
【００７５】
次に、図１０を参照して、特に、タイミング制御部１８３により行われるタイミング制御を説明する。
【００７６】
図１０を参照すると、画像データ書込部１０３（又は１３３）が、最初に、画像データをフィールド・メモリ１０１（又は１３１）に書き込む時刻をＴ−Ｉｎ（１）とする。時刻Ｔ−Ｉｎ（１）は、書込み時刻メモリ１８１に書き込まれる。以降、画像データ書込部１０３（又は１３３）が、画像データをフィールド・メモリ１０１（又は１３１）に書き込む度に、書き込み時刻Ｔ−Ｉｎ（２）、Ｔ−Ｉｎ（３）、Ｔ−Ｉｎ（４）、・・・が書込み時刻メモリ１８１に書き込まれる。
【００７７】
時刻Ｔ−Ｉｎ（１）において、タイミング制御部１８３は、書込部１９２に対し、書き込み要求を出力する。図１０では、ＶＲＡＭ取得の短冊の左端が書込み要求を出力する時刻である。この時、書込みフレーム・メモリであるＢフレーム・メモリ１９４に既に画像データが書き込まれている（Ｂフレーム・メモリ１９４の画像データはまだ読み出されていない）ので、読出部１９５によるＡフレーム・メモリ１８３からの画像データの読み出しの処理が完了してＡフレーム・メモリ１９３が空く時刻Ｔ−Ｒ（１）まで待ちが発生し、時刻Ｔ−Ｒ（１）に書込部１９２は、タイミング制御部１８３に肯定応答（ＡＣＫ）を返す。図１０では、ＶＲＡＭ取得の短冊の右端が肯定応答を返す時刻である。従って、ＶＲＡＭ取得の短冊の幅は、タイミング制御部１８３が書き込み要求を書込部１９２に出力してから書込部１９２が肯定応答をタイミング制御部１８３に返すまでの待ち期間を表す。
【００７８】
そして、時刻Ｔ−Ｒ（１）から画像データ読出し／補間部１８２Ａ（又は１８２Ｂ又は１８３Ｃ）は、インターレス／プログレッシブ変換の処理を開始する。インターレス／プログレッシブ変換の処理と並行して、書込部１９２は、変換後の画像データをＡフレーム・メモリ１９３に書き込む。図１０では、処理の短冊で表される部分がインターレス／プログレッシブ変換の処理及び書込みを行っている期間である。
【００７９】
そして、画像データ読出し／補間部１８２Ａ（又は１８２Ｂ又は１８３Ｃ）がインターレス／プログレッシブ変換の処理を終了したならば、タイミング制御部１８３は、次に述べるように、ｄｉｆｆ（２）及びＴ−Ｏｕｔ（２）の計算等を行う。図１０では、計算の短冊の部分がこの計算等を行う期間である。まず、インターレス／プログレッシブ変換の処理及び書込みの終了の時刻を、時刻Ｔ−Ｉｎ（１）から所定のオフセット時間ΔＴだけ遅れた時刻Ｔ−Ｏｕｔ（１）と比較する。この例では、前者が後者よりも遅いので、「遅れ」が発生していると判断する。そして、この例では、その「遅れ」が所定値以上である。この場合、タイミング制御部１８３は、Ｄｉｆｆ（２）＝Ｄｉｆｆ（１）＋α１にする。ここで、Ｄｉｆｆ（１）は、Ｄｉｆｆ（ｉ）の初期値である。ｄｉｆｆ（ｉ）は、Ｔ−Ｏｕｔ（ｉ）からＴ−Ｏｕｔ（ｉ＋１）までの時間差である。従って、Ｔ−Ｏｕｔ（ｉ＋１）＝Ｔ−Ｏｕｔ（ｉ）＋ｄｉｆｆ（ｉ）となる。また、タイミング制御部１８３が、ｉ回目に、書込部１９２に対し、書き込み要求を出力する時刻は、常に、時刻Ｔ−Ｏｕｔ（ｉ）からオフセット時間ΔＴだけ先行した時刻である。従って、タイミング制御部１８３が、（ｉ＋１）回目に、書込部１９２に対し、書き込み要求を出力する時刻は、タイミング制御部１８３が、ｉ回目に、書込部１９２に対し、書き込み要求を出力する時刻からｄｉｆｆ（ｉ）だけ遅れた時刻となる。
【００８０】
タイミング制御部１８３が、１回目に、書込部１９２に対し、書き込み要求を出力する時刻は、Ｔ−Ｉｎ（１）であるので、タイミング制御部１８３が、２回目に、書込部１９２に対し、書き込み要求を出力する時刻は、Ｔ−Ｉｎ（１）＋ｄｉｆｆ（１）である。タイミング制御部１８３が、２回目に、書込部１９２に対し、書き込み要求を出力する時刻でも、書込みフレーム・メモリであるＡフレーム・メモリ１９３に既に画像データが書き込まれている（Ａフレーム・メモリ１８３に書き込まれている画像データはまだ読み出されていない）ので、読出部１９５によるＢフレーム・メモリ１９４からの画像データの読み出しの処理が完了してＢフレーム・メモリ１９４が空く時刻Ｔ−Ｒ（２）まで待ちが発生し、時刻Ｔ−Ｒ（２）に書込部１９２は、タイミング制御部１８３に肯定応答（ＡＣＫ）を返す。そして、時刻Ｔ−Ｒ（２）から画像データ読出し／補間部１８２Ａ（又は１８２Ｂ又は１８３Ｃ）は、インターレス／プログレッシブ変換の処理を開始する。インターレス／プログレッシブ変換の処理と並行して、書込部１９２は、変換後の画像データをＢフレーム・メモリ１９３に書き込む。
【００８１】
そして、画像データ読出し／補間部１８２Ａ（又は１８２Ｂ又は１８３Ｃ）がインターレス／プログレッシブ変換の処理を終了したならば、タイミング制御部１８３は、終了の時刻を、時刻Ｔ−Ｏｕｔ（２）と比較する。但し、上述したようにＴ−Ｏｕｔ（ｉ＋１）＝Ｔ−Ｏｕｔ（ｉ）＋ｄｉｆｆ（ｉ）であるので、時刻Ｔ−Ｏｕｔ（２）＝Ｔ−ｏｕｔ（１）＋ｄｉｆｆ（１）である。この例では、インターレス／プログレッシブ変換の処理の終了の時刻が時刻Ｔ−Ｏｕｔ（２）よりも遅いので、「遅れ」が発生していると判断する。そして、この例では、その「遅れ」が所定値未満である。この場合、タイミング制御部１８３は、Ｄｉｆｆ（３）＝Ｄｉｆｆ（２）にする。
【００８２】
タイミング制御部１８３が、３回目に、書込部１９２に対し、書き込み要求を出力する時刻は、Ｔ−Ｉｎ（１）＋ｄｉｆｆ（１）＋ｄｉｆｆ（２）である。タイミング制御部１８３が、３回目に、書込部１９２に対し、書き込み要求を出力する時刻では、書込みフレーム・メモリであるＢフレーム・メモリ１９４に既に画像データが書き込まれているので、読出部１９５による読み出しの処理が完了してＡフレーム・メモリ１９４が空く時刻Ｔ−Ｒ（３）まで待ちが発生し、時刻Ｔ−Ｒ（３）に書込部１９２は、タイミング制御部１８３に肯定応答（ＡＣＫ）を返す。そして、時刻Ｔ−Ｒ（３）から画像データ読出し／補間部１８２Ａ（又は１８２Ｂ又は１８３Ｃ）は、インターレス／プログレッシブ変換の処理を開始する。インターレス／プログレッシブ変換の処理と並行して、書込部１９２は、変換後の画像データをＡフレーム・メモリ１９３に書き込む。
【００８３】
そして、画像データ読出し／補間部１８２Ａ（又は１８２Ｂ又は１８３Ｃ）がインターレス／プログレッシブ変換の処理を終了したならば、タイミング制御部１８３は、終了の時刻を、時刻Ｔ−Ｏｕｔ（３）と比較する。但し、上述したようにＴ−Ｏｕｔ（ｉ＋１）＝Ｔ−Ｏｕｔ（ｉ）＋ｄｉｆｆ（ｉ）であるので、時刻Ｔ−Ｏｕｔ（３）＝Ｔ−ｏｕｔ（２）＋ｄｉｆｆ（２）である。この例では、インターレス／プログレッシブ変換の処理の終了の時刻が時刻Ｔ−Ｏｕｔ（３）よりも早いので、「進み」が発生していると判断する。そして、この例では、その「進み」が所定値以上である。この場合、タイミング制御部１８３は、Ｄｉｆｆ（４）＝Ｄｉｆｆ（３）−α２にする。
【００８４】
タイミング制御部１８３が、４回目に、書込部１９２に対し、書き込み要求を出力する時刻は、Ｔ−Ｉｎ（１）＋ｄｉｆｆ（１）＋ｄｉｆｆ（２）＋ｄｉｆｆ（３）である。タイミング制御部１８３が、４回目に、書込部１９２に対し、書き込み要求を出力する時刻では、書込みフレーム・メモリであるＢフレーム・メモリ１９４が空いているので、待ちが発生せず、その時刻の直後に書込部１９２は、タイミング制御部１８３に肯定応答（ＡＣＫ）を返す。そして、肯定応答（ＡＣＫ）の返信の直後から画像データ読出し／補間部１８２Ａ（又は１８２Ｂ又は１８３Ｃ）は、インターレス／プログレッシブ変換の処理を開始する。インターレス／プログレッシブ変換の処理と並行して、書込部１９２は、変換後の画像データをＡフレーム・メモリ１９３に書き込む。
【００８５】
そして、画像データ読出し／補間部１８２Ａ（又は１８２Ｂ又は１８３Ｃ）がインターレス／プログレッシブ変換の処理を終了したならば、タイミング制御部１８３は、終了の時刻を、時刻Ｔ−Ｏｕｔ（４）と比較する。但し、上述したようにＴ−Ｏｕｔ（ｉ＋１）＝Ｔ−Ｏｕｔ（ｉ）＋ｄｉｆｆ（ｉ）であるので、時刻Ｔ−Ｏｕｔ（４）＝Ｔ−ｏｕｔ（３）＋ｄｉｆｆ（３）である。この例では、インターレス／プログレッシブ変換の処理の終了の時刻が時刻Ｔ−Ｏｕｔ（４）よりも早いので、「進み」が発生していると判断する。そして、この例では、その「進み」が所定値以上である。この場合、タイミング制御部１８３は、Ｄｉｆｆ（５）＝Ｄｉｆｆ（４）−α２にする。
【００８６】
以下、同様なことが繰り返される。このようにして、ｄｉｆｆの値が進み又は遅れかにより更新されていき、次回の書き込み要求を出力する時刻は、今回の書込み要求を出力する時刻にｄｉｆｆを加算した時刻となり、次回のインターレス／プログレッシブ変換処理を終了した時刻は、今回の時刻Ｔ−ｏｕｔにｄｉｆｆを加算した時刻と比較され、再度、ｄｉｆｆの値が進み又は遅れかにより更新されていく。この結果、Ａフレーム・メモリ１９３又はＢフレーム・メモリの何れかが空いている期間に、インターレス／プログレッシブ変換処理及び空いているフレーム・メモリへの画像データの書込みが行われる。収束状態においては、図１０に示すように、ｄｉｆｆの値は振動する。
【００８７】
また、レンダラの動作周波数が遅い場合には、書込み時刻Ｔ−Ｉｎの周期が読出し時刻Ｔ−Ｏｕｔの周期と比べて短くなることがある。このような場合、タイミング制御部１８３は、書込み時刻メモリ１８１に書き込まれている最後の時刻Ｔ−Ｉｎから今回の時刻Ｔ−Ｏｕｔまでの時間が所定時間以上である場合には、最後の時刻Ｔ−Ｉｎに書き込まれた画像データを破棄する。この様子を図１１に示す。
【００８８】
なお、図９に示すレンダラ１９１及びタイミング制御部１８３は、ハードウェアによって実現することもできるが、コンピュータを図９に示すレンダラ１９１及びタイミング制御部１８３として機能させるためのプログラムをコンピュータが読み込んで実行することによっても実現することができる。
【００８９】
［実施形態６］
実施形態６は、２４ｆｐｓのフィルム画像データから作成された約６０ｆｐｓのインターレス画像データを、元の２４ｆｐｓのフィルム画像データとして表示するものである。
【００９０】
図１２を参照すると、まず、２フィールド前の画像データと現在のフィールドの画像データが同一であるか否かを判断する（ステップＳ２２１）。この判断のためには、例えば、画素毎の差分の絶対値を求め、その絶対値がフィールドの全部又は一部の画素についてしきい値以下であるか否かを判断する。
【００９１】
同一である（変化がない）と判断した場合には（ステップＳ２２１で「変化なし」）、変数である「パターン・カウント」がゼロであるか否かを判断する（ステップＳ２２２）。「パターン・カウント」は、フィルム画像から作成された画像データを表示している期間は、５、４，３、２、１、５、４、３、２、１、５・・・と変化し、フィルム画像から作成されたのでない画像を表示している期間は、ゼロである。
【００９２】
「パターン・カウント」がゼロである場合には（ステップＳ２２２で「＝０」）、「パターン・カウント」を５に初期化し、また、変数である「２４ｆｐｓ可能性」を１増加させる（ステップＳ２２４）。ステップＳ２２４で「パターン・カウント」を５に初期化することにより、「パターン・カウント」の位相が初期化される。「２４ｆｐｓ可能性」は、現在のフィールドがフィルム画像から得られたものである可能性を示すものであり、この値が大きいほど、その可能性が高い。
【００９３】
「パターン・カウント」がゼロでない場合には（ステップＳ２２２で「≠０」）、ステップＳ２２４をスキップする。これは、静止画である場合、又は、変化があるのに間違って変化がないと判断された場合に生じる。
【００９４】
２フィールド前の画像データと現在のフィールドの画像データが同一でない（変化がある）と判断した場合には（ステップＳ２２１で「変化あり」）、「パターン・カウント」がゼロであるか否かを判断する（ステップＳ２２３）。
【００９５】
「パターン・カウント」がゼロでない場合には（ステップＳ２２３で「≠０」）、「２４ｆｐｓ可能性」を１だけ増加させる（ステップＳ２２６）。但し、「２４ｆｐｓ可能性」の上限値を、一例として、１１とする。従って、１だけ増加させて１２になる場合には、１１とする。フィルム画像から得られたフィールドのうち、重複しないフィールドを処理している時には、ステップＳ２２６を実行することとなる。
【００９６】
「パターン・カウント」がゼロである場合には（ステップＳ２２３で「＝０」）、「２４ｆｐｓ可能性」を１だけ減少させ、また、「２４ｆｐｓ可能性」が１０以上である場合には、「パターン・カウント」を５に初期化する（ステップＳ２２５）。但し、「２４ｆｐｓ可能性」を１だけ減少させる場合には、「２４ｆｐｓ可能性」の下限値を、一例として、ゼロとする。従って、１だけ減少させて−１になる場合には、ゼロとする。フィルム画像から得られたフィールドのうち重複しているフィールドを処理しているのに、ステップＳ２２１で、誤って、「変化あり」と判断した場合に、ステップＳ２２５を実行することとなる。また、フィルム画像から得られたのではないフィールドを処理する場合にも、ステップＳ２２５を実行することとなる。
【００９７】
ステップＳ２２４で「≠０」である場合にステップＳ２２７に進む。また、ステップＳ２２４、Ｓ２２５又はＳ２２６からもステップＳ２２７に進む。
【００９８】
ステップＳ２２７では、「パターン・カウント」がゼロであるか否かを判断する。「パターン・カウント」がゼロであるとは、現在のフィールドが、フィルム画像から得られたものではないことを意味するので、このような場合には（ステップＳ２２７で「＝０」）、インターレス／プログレッシブ変換処理を行い、これにより得られた画像を表示する（ステップＳ２３１）。インターレス／プログレッシブ変換処理のためには、実施形態１乃至４を利用する。
【００９９】
「パターン・カウント」がゼロでない場合には（ステップＳ２２７で「≠０」）、「パターン・カウント」を１だけ減少させる（ステップＳ２２８）。これにより、フィルム画像から得られたフィールドが連続している場合に、各フィールド毎に「パターン・カウント」が１だけ減少するようになる。
【０１００】
次に、「２４ｆｐｓ可能性」が５以上であるか否かを判断する（ステップＳ２２９）。
【０１０１】
「２４ｆｐｓ可能性」が５未満である場合には（ステップＳ２２９で「＜５」）、「パターン・カウント」がゼロではなくても、現在のフィールドがフィルム画像から得られたものではない可能性が高いので、インターレス／プログレッシブ変換処理を行い、これにより得られた画像を表示する（ステップＳ２３１）。
【０１０２】
「２４ｆｐｓ可能性」が５以上である場合には（ステップＳ２２９で「＞＝５」）、「パターン・カウント」が２又は０であるか否かを判断する（ステップＳ２３０）。
【０１０３】
「パターン・カウント」が２又は０である場合には、２フィールド前の画像データと現在のフィールドの画像データが同一であると判断されたフィールドから２フィールド後又は４フィールド後のフィールドを現在扱っていることを意味する。このようなフィールドは、重複したフィールドを除いて考えると、フィルム画像から得られた２つのフィールドのうちの後半部のフィールドである。従って、このような場合には（ステップＳ２３０で「＝２または＝０」）、１つ前のフィールドと現在のフィールドを合わせてフレームを作成し、このフレームを表示する（ステップＳ２３２）。１つ前のフィールドと現在のフィールドを合わせてフレームを作成するためには、インターレス／プログレッシブ変換処理装置において、現在のフレームの全ての領域が静止画領域であるとして扱った上で処理を行えばよい。
【０１０４】
「パターン・カウント」が２でも０でもない場合には、最後のフレームの画像データをそのまま再度表示する（ステップＳ２３３）。
【０１０５】
ステップＳ２２７で「＝０」である場合、及びステップＳ２２９で「＜５」である場合には、インターレス／プログレッシブ変換処理を行い、その結果得られるフレームを表示する（ステップＳ２３１）。
【０１０６】
ステップＳ２２１での判断ミスが全くない場合の動作を図１３及び図１４に示す。また、図１３及び図１４に示す処理を行った後にステップＳ２２１での第１種の判断ミスが１回生じた場合の動作を図１５に示す。更に、図１３及び図１４に示す処理を行った後にステップＳ２２１で第２種の判断ミスが３回生じた場合の動作を図１６に示す。図１５及び図１６に示すように、ステップＳ２２１で判断ミスが生じた場合であっても、正しい処理が最終的に選択されることが分かる。
【０１０７】
なお、図１２に示す表示方法は、ハードウェアによって実現することもできるが、コンピュータを図１２に示す表示方法を行わせるためのプログラムをコンピュータが読み込んで実行することによっても実現することができる。
【符号の説明】
【０１０８】
１０１−１〜１０１−３ フィールド・メモリ
１０３ 画像データ書込部
１０５ 動画補間画素生成部
１０７ 静止画補間画素生成部
１０９ 差分計算部
１１１ 差分補正部
１１３ 補正値保持部
１１５ 差分累積部
１１７ 累積動き量メモリ
１１９ しきい値保持部
１２１ 動き量計算部
１２３ 合成補間画素生成部
１２５ 選択部
【特許請求の範囲】
【請求項１】
フィルム画像から生成された画像データを再生する場合に、フィールド周期で変化するとともに所定数のフィールド周期で繰り返すパターン・カウントが表示のための所定値となったフィールドでそのフィールドとそれに隣接するフィールドを基にフレームを合成し出力する画像表示方法において、
各フィールド毎に、２フィールド前の画像データと現在のフィールドの画像データが同一であるか否かを判断するステップと、
２フィールド前の画像データと現在のフィールドの画像データが同一である場合に、更に、前記パターン・カウントが初期化のための所定値であるならば、前記パターン・カウントを初期値に初期化するステップと、
２フィールド前の画像データと現在のフィールドの画像データが同一でない場合であっても、前記パターン・カウントが初期化のための所定値であり、且つ、現在のフィールドがフィルム画像から生成されたフィールドである可能性を示す変数の値が初期化許可のための所定値以上であるならば、前記パターン・カウントを初期値に初期化するステップと、
を備えることを特徴とする画像表示方法。
【請求項２】
請求項１に記載の画像表示方法において、
所定の周期で繰り返す前記パターン・カウントが前記表示のための所定値となるフィールドとは、所定の周期で繰り返す前記パターン・カウントが第１の表示のための所定値となるフィールド及び所定の周期で繰り返す前記パターン・カウントが第２の表示のための所定値となるフィールドであることを特徴とする画像表示方法。
【請求項３】
請求項１に記載の画像表示方法において、
前記パターン・カウントが前記表示のための所定値となったフィールドであっても、現在のフィールドがフィルム画像から生成されたフィールドである可能性を示す変数の値が表示可能のための所定値未満であるならば、他の画像処理をすることによりフレームを合成し出力することを特徴とする画像表示方法。
【請求項４】
請求項３に記載の画像表示方法において、
前記他の画像処理とは、インターレス／プログレッシブ変換処理であることを特徴とする画像表示方法。
【請求項５】
請求項４に記載の画像表示方法において、
前記インターレス／プログレッシブ変換処理は、
インターレス画像データをプログレッシブ画像データに変換する方法において、
対象となっているフィールドの補間をするべき画素について第１の動き量を算出するステップと、
対象となっているフィールドと隣接するフィールドの画素のうちの、前記対象となっているフィールドの補間をするべき画素から垂直方向に離れた画素について第２の動き量を算出するステップと、
前記第１の動き量を基に、第１の累積動き量を算出するステップと、
前記第２の動き量を基に、第２の累積動き量を算出するステップと、
前記第１の累積動き量と前記第２の累積動き量を基に、第３の動き量を算出するステップと、
前記第３の動き量を基に、対象となっているフィールドの補間をするべき画素の値を算出するステップと、
を備えることを特徴とする画像表示方法。
【請求項６】
請求項１に記載の画像表示方法において、
２フィールド前の画像データと現在のフィールドの画像データが同一である場合に、更に、前記パターン・カウントが初期化のための所定値であるならば、現在のフィールドがフィルム画像から生成されたフィールドである可能性を示す変数を増加させるステップと、
２フィールド前の画像データと現在のフィールドの画像データが同一でない場合に、更に、前記パターン・カウントが初期化のための所定値であるならば、現在のフィールドがフィルム画像から生成されたフィールドである可能性を示す変数を減少させるステップと、
２フィールド前の画像データと現在のフィールドの画像データが同一でない場合に、更に、前記パターン・カウントが初期化のための所定値でないならば、現在のフィールドがフィルム画像から生成されたフィールドである可能性を示す変数を増加させるステップと、
を更にそなえることを特徴とする画像表示方法。
【請求項７】
フィルム画像から生成された画像データを再生する場合に、フィールド周期で変化するとともに所定数のフィールド周期で繰り返すパターン・カウントが表示のための所定値となったフィールドでそのフィールドとそれに隣接するフィールドを基にフレームを合成し出力する画像表示装置において、
各フィールド毎に、２フィールド前の画像データと現在のフィールドの画像データが同一であるか否かを判断する手段と、
２フィールド前の画像データと現在のフィールドの画像データが同一である場合に、更に、前記パターン・カウントが初期化のための所定値であるならば、前記パターン・カウントを初期値に初期化する手段と、
２フィールド前の画像データと現在のフィールドの画像データが同一でない場合であっても、前記パターン・カウントが初期化のための所定値であり、且つ、現在のフィールドがフィルム画像から生成されたフィールドである可能性を示す変数の値が初期化許可のための所定値以上であるならば、前記パターン・カウントを初期値に初期化する手段と、
を備えることを特徴とする画像表示装置。
【請求項８】
フィルム画像から生成された画像データを再生する場合に、フィールド周期で変化するとともに所定数のフィールド周期で繰り返すパターン・カウントが表示のための所定値となったフィールドでそのフィールドとそれに隣接するフィールドを基にフレームを合成し出力する画像表示装置としてコンピュータを機能させるためのプログラムにおいて、
各フィールド毎に、２フィールド前の画像データと現在のフィールドの画像データが同一であるか否かを判断する手段と、
２フィールド前の画像データと現在のフィールドの画像データが同一である場合に、更に、前記パターン・カウントが初期化のための所定値であるならば、前記パターン・カウントを初期値に初期化する手段と、
２フィールド前の画像データと現在のフィールドの画像データが同一でない場合であっても、前記パターン・カウントが初期化のための所定値であり、且つ、現在のフィールドがフィルム画像から生成されたフィールドである可能性を示す変数の値が初期化許可のための所定値以上であるならば、前記パターン・カウントを初期値に初期化する手段と、
を備えることを特徴とする画像表示装置としてコンピュータを機能させるためのプログラム。
【請求項１】
フィルム画像から生成された画像データを再生する場合に、フィールド周期で変化するとともに所定数のフィールド周期で繰り返すパターン・カウントが表示のための所定値となったフィールドでそのフィールドとそれに隣接するフィールドを基にフレームを合成し出力する画像表示方法において、
各フィールド毎に、２フィールド前の画像データと現在のフィールドの画像データが同一であるか否かを判断するステップと、
２フィールド前の画像データと現在のフィールドの画像データが同一である場合に、更に、前記パターン・カウントが初期化のための所定値であるならば、前記パターン・カウントを初期値に初期化するステップと、
２フィールド前の画像データと現在のフィールドの画像データが同一でない場合であっても、前記パターン・カウントが初期化のための所定値であり、且つ、現在のフィールドがフィルム画像から生成されたフィールドである可能性を示す変数の値が初期化許可のための所定値以上であるならば、前記パターン・カウントを初期値に初期化するステップと、
を備えることを特徴とする画像表示方法。
【請求項２】
請求項１に記載の画像表示方法において、
所定の周期で繰り返す前記パターン・カウントが前記表示のための所定値となるフィールドとは、所定の周期で繰り返す前記パターン・カウントが第１の表示のための所定値となるフィールド及び所定の周期で繰り返す前記パターン・カウントが第２の表示のための所定値となるフィールドであることを特徴とする画像表示方法。
【請求項３】
請求項１に記載の画像表示方法において、
前記パターン・カウントが前記表示のための所定値となったフィールドであっても、現在のフィールドがフィルム画像から生成されたフィールドである可能性を示す変数の値が表示可能のための所定値未満であるならば、他の画像処理をすることによりフレームを合成し出力することを特徴とする画像表示方法。
【請求項４】
請求項３に記載の画像表示方法において、
前記他の画像処理とは、インターレス／プログレッシブ変換処理であることを特徴とする画像表示方法。
【請求項５】
請求項４に記載の画像表示方法において、
前記インターレス／プログレッシブ変換処理は、
インターレス画像データをプログレッシブ画像データに変換する方法において、
対象となっているフィールドの補間をするべき画素について第１の動き量を算出するステップと、
対象となっているフィールドと隣接するフィールドの画素のうちの、前記対象となっているフィールドの補間をするべき画素から垂直方向に離れた画素について第２の動き量を算出するステップと、
前記第１の動き量を基に、第１の累積動き量を算出するステップと、
前記第２の動き量を基に、第２の累積動き量を算出するステップと、
前記第１の累積動き量と前記第２の累積動き量を基に、第３の動き量を算出するステップと、
前記第３の動き量を基に、対象となっているフィールドの補間をするべき画素の値を算出するステップと、
を備えることを特徴とする画像表示方法。
【請求項６】
請求項１に記載の画像表示方法において、
２フィールド前の画像データと現在のフィールドの画像データが同一である場合に、更に、前記パターン・カウントが初期化のための所定値であるならば、現在のフィールドがフィルム画像から生成されたフィールドである可能性を示す変数を増加させるステップと、
２フィールド前の画像データと現在のフィールドの画像データが同一でない場合に、更に、前記パターン・カウントが初期化のための所定値であるならば、現在のフィールドがフィルム画像から生成されたフィールドである可能性を示す変数を減少させるステップと、
２フィールド前の画像データと現在のフィールドの画像データが同一でない場合に、更に、前記パターン・カウントが初期化のための所定値でないならば、現在のフィールドがフィルム画像から生成されたフィールドである可能性を示す変数を増加させるステップと、
を更にそなえることを特徴とする画像表示方法。
【請求項７】
フィルム画像から生成された画像データを再生する場合に、フィールド周期で変化するとともに所定数のフィールド周期で繰り返すパターン・カウントが表示のための所定値となったフィールドでそのフィールドとそれに隣接するフィールドを基にフレームを合成し出力する画像表示装置において、
各フィールド毎に、２フィールド前の画像データと現在のフィールドの画像データが同一であるか否かを判断する手段と、
２フィールド前の画像データと現在のフィールドの画像データが同一である場合に、更に、前記パターン・カウントが初期化のための所定値であるならば、前記パターン・カウントを初期値に初期化する手段と、
２フィールド前の画像データと現在のフィールドの画像データが同一でない場合であっても、前記パターン・カウントが初期化のための所定値であり、且つ、現在のフィールドがフィルム画像から生成されたフィールドである可能性を示す変数の値が初期化許可のための所定値以上であるならば、前記パターン・カウントを初期値に初期化する手段と、
を備えることを特徴とする画像表示装置。
【請求項８】
フィルム画像から生成された画像データを再生する場合に、フィールド周期で変化するとともに所定数のフィールド周期で繰り返すパターン・カウントが表示のための所定値となったフィールドでそのフィールドとそれに隣接するフィールドを基にフレームを合成し出力する画像表示装置としてコンピュータを機能させるためのプログラムにおいて、
各フィールド毎に、２フィールド前の画像データと現在のフィールドの画像データが同一であるか否かを判断する手段と、
２フィールド前の画像データと現在のフィールドの画像データが同一である場合に、更に、前記パターン・カウントが初期化のための所定値であるならば、前記パターン・カウントを初期値に初期化する手段と、
２フィールド前の画像データと現在のフィールドの画像データが同一でない場合であっても、前記パターン・カウントが初期化のための所定値であり、且つ、現在のフィールドがフィルム画像から生成されたフィールドである可能性を示す変数の値が初期化許可のための所定値以上であるならば、前記パターン・カウントを初期値に初期化する手段と、
を備えることを特徴とする画像表示装置としてコンピュータを機能させるためのプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【公開番号】特開２０１１−４５１４８（Ｐ２０１１−４５１４８Ａ）
【公開日】平成２３年３月３日（２０１１．３．３）
【国際特許分類】
【出願番号】特願２０１０−２６５７３８（Ｐ２０１０−２６５７３８）
【出願日】平成２２年１１月２９日（２０１０．１１．２９）
【分割の表示】特願２００５−４９０２３（Ｐ２００５−４９０２３）の分割
【原出願日】平成１７年２月２４日（２００５．２．２４）
【出願人】（３０２０６９９３０）ＮＥＣパーソナルプロダクツ株式会社 (738)
【Ｆターム（参考）】
【公開日】平成２３年３月３日（２０１１．３．３）
【国際特許分類】
【出願日】平成２２年１１月２９日（２０１０．１１．２９）
【分割の表示】特願２００５−４９０２３（Ｐ２００５−４９０２３）の分割
【原出願日】平成１７年２月２４日（２００５．２．２４）
【出願人】（３０２０６９９３０）ＮＥＣパーソナルプロダクツ株式会社 (738)
【Ｆターム（参考）】
[ Back to top ]