アニメーション・ジャダー補償
信号処理の従来のコンセプトは、グラフィック画像信号およびさらなる画像信号からのフィールドの合成ストリームのための特別に適応されたジャダー補償は有さず、よってアニメーション・ジャダー・アーチファクトを示す。ジャダー補償は現在のところビデオのようなさらなる画像信号についてのみ適応されており、ビデオ画像信号のモーション・ブラーはしばしばジャダー・アーチファクトを隠蔽する。しかし、これはビットマップのようなグラフィック・オブジェクトについてはあてはまらない。引き上げられた基準リフレッシュレート（60fps）において、本発明のコンセプトはさらなる画像信号（３）およびグラフィック画像信号（７Ａ、７Ｂ）、特にアニメーション（３５）を含むもののフィールドの合成ストリーム（１１）を与える。グラフィック画像信号（７Ａ、７Ｂ）の生成の際にすでに該グラフィック画像信号（７Ａ、７Ｂ）の画像フィールドの間を補間すること（１８Ａ、１８Ｂ）によって、合成段階（２３）より前に、グラフィック画像信号（７Ａ、７Ｂ）の入力リフレッシュレート（24fps）は基準リフレッシュレート（60fps）に引き上げられる。かなり単純な補間方法およびその発展した構成は、洗練された現状最新技術のシステムよりも良好な高品質の出力をディスプレイ（２５）上に実現する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、グラフィック画像信号およびさらなる画像信号からの画像フィールドの合成ストリームを提供する画像信号処理方法に関する。本発明はまた、画像信号処理、コンピュータプログラムプロダクトならびにコンピューティングおよび／または記憶装置のためのそれぞれの画像信号処理デバイスおよび装置に関する。
【０００２】
映画のようなフィルムソースでは、画像信号は通常24画像フレーム毎秒のリフレッシュレートで与えられる。一見して、そのようなフィルムまたは映画の画像信号は、同じリフレッシュレートで、さらなる画像信号と称される、ビデオ画像信号または同様もしくは別の種類の画像信号に変換できる。だが、PALビデオ（25フレーム毎秒）またはNTSC（29.97フレーム毎秒）またはSMPTE（30フレーム毎秒）のような一般に知られているビデオ規格の標準的なリフレッシュレートを実現するためには初期フィルムリフレッシュレートを上げることが必要になる。そのような画面の例は、インターレースされた高精細度または標準精細度のテレビ画面である。また、たいていの現代のコンピュータモニタまたはその他の画面は非インターレースであり、24フレーム毎秒よりも高い周波数での更新レートをもつ。したがって、一般に、リフレッシュレート不一致の問題が起こる。すなわち、一般には問題は、フィルムまたはビデオの初期リフレッシュレートより高い更新レートをもつ画面上で高品質で出力を提供することである。
【背景技術】
【０００３】
従来技術においては、フィルムまたは映画の画像信号をビデオ画像信号に変換し、それにより上述したリフレッシュレート不一致の問題を克服するためのいくつかの解決策が知られている。一つのフレームは通常、そのような解決策の一部として二つのフィールドに変換される。フィールドとは、画像信号の、フィルムのオリジナルフレームのオリジナル、複製または補間からなりうるいくつかのピクチャーまたは画像のそれぞれを表す。フィールドのレートは以下ではフィールド毎秒（fps）として表される。
【０００４】
複数の現代の変換方式がフィルムスキャンシステムから知られている。その一例が、US5,260,787で開示されている、フィルムフレーム画像をビデオフィールド画像に変換し、逆にビデオフィールド画像をフィルムフレーム画像に変換するためのフレーム変換器の変換方式である。そのような変換プロセスは本来的に「ジャダー」として知られる時間的アーチファクトを生成する。ジャダーとは、画像が第一のフィールドレートまたはフレームレートでサンプリングされ、第二の異なるフィールドレートまたはフレームレート、たとえばディスプレイの更新レートに変換されるときに、動いている画像に付随するものである。結果として、ディスプレイにおける動きベクトルは常時変動する速度をもつように見えることがある。フレームまたはフィールドのリフレッシュレート変換が選択されたフレームまたはフィールドの単純な削除または反復によってなされる場合には、ジャダー・アーチファクトの主観的な効果は一層明白になる。
【０００５】
GB2249907はジャダー補償の問題に取り組んでいる。開示されている方法は、具体的には、24フレーム毎秒の順次走査フォーマットのデジタルビデオ信号の入力を30フレーム毎秒の順次走査フォーマットのデジタルビデオ信号の出力に変換するものである。出力フレームの入力フレームからの形成が、出力５フレームごとに少なくとも４フレームが入力フレームの一連のペアの間の動き補償された補間によって生成される。開示された種類のフレーム変換器における補間方式またはフレーム変換器におけるその他の予測アルゴリズムは、ジャダー・アーチファクトを以前よりは目に付かなくできるが、ジャダー・アーチファクトを信頼できる形で防止することはできない。
【０００６】
EP1215900は、テレシネ表示法と称される変換方法を開示している。その方法は、２：３（または３：２）のプルダウン処理およびテレシネ・デジタルビデオ信号に適用されるインターレースされた順次走査処理を有する。２：３のプルダウン処理は、もとのピクチャー・リフレッシュレートに基づいた第一のタイミング信号と同期している。さらなる処理は、テレシネ・デジタルビデオ信号に基づいた第二のタイミング信号と同期している。PDP（プラズマ・ディスプレイ・パネル）に呈示されるビデオ信号は、ここでフィルムソースのもとのピクチャー画像のリフレッシュレートを維持するためである。そのような同期プロセスはジャダー・アーチファクトを軽減する助けとなりうるが、いずれにせよジャダー・アーチファクトを防止することはできない。
【０００７】
このことは特に、消費者電子製品および情報電子製品、デジタル消費者装置、オーディオ／ビデオ情報および娯楽製品ならびにあらゆる種類のオーディオおよびビデオフロントエンド、たとえばMP4-net、Softworks、CryptoまたはSTBのような技術分野における現代のマルチメディアアプリケーションおよびマルチメディアシステムに関してあてはまる。これは、通常、画像信号の異なる複数の種類、特にグラフィック画像信号とさらなる画像信号とが合成ストリームにまとめられるからである。好ましくは、単一のリニアな多重化ストリームが、たとえば光記憶デバイス上に、または光再生デバイス上にインストールされる。
【０００８】
グラフィック画像信号はアニメーションを含みうる。アニメーションとは、たいていはピクチャーまたはメニューもしくはサブメニューといった圧縮ビットマップの形の、画面上に動かされる任意の種類の可動グラフィック・オブジェクトとして理解されるべきである。動いているアニメーションのようなグラフィック画像信号をビデオのような前記さらなる画像信号に加えると、グラフィック画像信号とさらなる画像信号との合成ストリームが生じる。この合成ストリームは「アニメーション・ジャダー」と表される新たな問題を受ける。アニメーション・ジャダーは、前記さらなる画像信号がさらなるリフレッシュレートで与えられ、前記グラフィック画像信号がグラフィックリフレッシュレートで与えられ、両信号がより高いリフレッシュレートで画像フィールドのストリームに合成される必要があるときに生じる。
【０００９】
上述した従来技術の施策、たとえば２：３プルダウン処理またはフレーム間の動き補償された補間は（補間はジャダー・アーチファクトを除去するいかなる種類の補間アルゴリズムであってもよい）、異なる種類の画像フィールドのすでに合成されたものの変換処理に適用される。これは、アニメーション・ジャダーの問題を除去するにはあまり効果的ではない。その代わり、ジャダー・アーチファクトはしばしば顕著に大きくなる。というのも、グラフィック処理ラインおよびさらなる処理ラインという、質の異なる少なくとも二つの処理ラインがあるからである。第一に、もとのフィルムまたは初期ビデオ素材におけるモーション・ブラーはしばしば、すでにある程度までジャダー・アーチファクトを隠蔽する。しかしながら、グラフィック画像信号、たとえばビットマップの３：２のプルダウンまたは自然の動き補償されたフレーム補間で処理された画像フィールドでは、ソース素材中にジャダー・アーチファクトを部分的に隠蔽してくれるモーション・ブラーはない。第二に、上記の従来技術では、動き補償されたフレーム補間または３：２のプルダウンまたは等価な処理は、ビデオ画像信号に合わせて調整されており、よってグラフィック画像信号の個別的な要求を無視している。グラフィックおよびさらなる画像信号の並列処理やアニメーション・ジャダーの問題は取り組まれてもいなければ解決されてもいない。
【００１０】
グラフィック画像信号とさらなる画像信号との合成の場合にも信頼できる形でジャダー・アーチファクトが補償され、グラフィックおよび／または画像信号のリフレッシュレートより高い更新レートをもつディスプレイでの高品質出力が達成されるようにするコンセプトが望ましい。
【発明の開示】
【発明が解決しようとする課題】
【００１１】
そこで本発明の出番となる。本発明の目的は、グラフィック画像信号およびさらなる画像信号、たとえばビデオ画像信号からの画像フィールドの合成ストリームを与えるための画像信号処理方法および画像信号処理装置、ならびに、それぞれ装置、コンピュータプログラムプロダクトならびにコンピュータおよび／または記憶装置であって、効率的かつ信頼できる形でジャダー・アーチファクト、特にアニメーション・ジャダー・アーチファクトを防止するものを提供することである。
【課題を解決するための手段】
【００１２】
方法については、前記目的は、グラフィック画像信号およびさらなる画像信号からの画像フィールドの合成ストリームを与えるための画像信号処理方法であって：
・少なくとも一つのグラフィック処理ラインにおいてグラフィックリフレッシュレートで前記グラフィック画像信号の画像フィールドを提供する段階と；
・少なくとも一つのさらなる処理ラインにおいてさらなるリフレッシュレートで前記さらなる画像信号の画像フィールドを提供する段階と；
・前記グラフィック画像信号の画像フィールドどうしの間の補間をすることによって前記グラフィックリフレッシュレートをある基準リフレッシュレートに上げる段階と；
・前記さらなる画像信号と前記グラフィック画像信号を画像フィールドの合成ストリームに合成する段階、
とを有する方法によって達成される。上に定義された処理方法は、アニメーション・ジャダー補償をしたグラフィック画像信号およびさらなる画像信号の処理方法とも称することができる。少なくとも一つのグラフィック処理ラインおよび少なくとも一つのさらなる処理ラインが使用される。さらなる画像信号とは、フィルムまたは映画のようないかなる種類のビデオまたはオーディオ／ビデオ画像信号を含んでいてもよい。グラフィック画像信号はいかなる種類のグラフィック・オブジェクト、アニメーション・グラフィック、メニューまたはサブメニューを含んでいてもよい。両信号は好ましくはデジタル信号、たとえばmpeg-2ビデオデコーダのような、性質上デジタルであるソースからの信号として与えられる。合成する段階は、合成ストリームが、ビデオおよびグラフィック画像信号からの画像フィールドの単一の多重化されたストリームとして与えられる多重化段階であってもよい。補間は一般に、曲線上の二つ以上の既知の点の間の欠けている点を埋めるいかなる種類のものとも見なされうる。原理的には、補間はグラフィック・コンテンツにおいてピクセルごとに実行できるが、今の場合、補間は好ましくはグラフィック画像信号の画像フィールドどうしの間でオブジェクトごとに実行される。グラフィック画像信号に適用される補間方法は好適および／または単純ないかなる方法であってもよい。
【００１３】
本発明の主たるコンセプトによれば、第一に、グラフィックリフレッシュレートは、合成する段階より前にすでに基準リフレッシュレートまで上げられる。基準リフレッシュレートは有利にはディスプレイ手段の所定の更新レートである。これは、合成する段階が、入力画像信号のリフレッシュレートよりも高いある基準リフレッシュレートにあるグラフィックリフレッシュレートをもつグラフィック画像信号に対して実行されるということを意味している。第二に、グラフィックリフレッシュレートの基準リフレッシュレートへの引き上げは、グラフィック画像信号の画像フィールドどうしの間を補間することによって達成される。よって、補間は処理のグラフィック部分においてすでに実行され、その後、グラフィック画像信号の画像フィールドは、合成段階の前に上げられた基準リフレッシュレートに基づいてさらに処理されることができる。
【００１４】
この容易に適用できるコンセプトの重要な、驚くべき利点は、かなり洗練された現状技術に比べて、著しくよりよいジャダー補償、特にアニメーション・ジャダー補償が達成されるということである。前記現状技術においては、ジャダー補償のための施策はビデオ画像信号だけに、または最終的な画像フィールドのストリームだけに適用される（たとえばGB2249907のように）。さまざまなさらなる利点が前記主要なコンセプトによって達成される。それらは本発明の発展した構成から直接的に明らかであり、従属する方法請求項においてさらに述べられる。
【００１５】
本発明の特に好ましい発展した構成では、本画像信号処理方法は、ビデオ画像信号およびグラフィック画像信号からの画像フィールドの合成ストリームを提供するために設計され：
・少なくとも一つのグラフィック処理ラインにおいてグラフィックリフレッシュレートでグラフィック画像信号の画像フィールドを提供する段階と；
・少なくとも一つのビデオ処理ラインにおいてビデオリフレッシュレートでビデオ画像信号の画像フィールドを提供する段階と；
・合成する段階の前に、前記グラフィック画像信号の画像フィールドどうしの間の補間をすることによって前記グラフィックリフレッシュレートを基準リフレッシュレートに上げる段階と；
・前記ビデオ画像信号と前記グラフィック画像信号を、前記グラフィック画像信号および／またはビデオ画像信号の入力リフレッシュレートよりも高いある所定の基準リフレッシュレートでの画像フィールドの合成ストリームに合成する段階、
とを有する。
【００１６】
こうして、本発明の概念はビデオ画像信号およびグラフィック画像信号から画像フィールドの合成ストリームを提供するために有利に適応される。ここで、さらなる画像信号はビデオ画像によって形成され、さらなるリフレッシュレートはビデオリフレッシュレートによって提供され、さらなる処理ラインはビデオ処理ラインによって形成される。
【００１７】
前記処理方法は、具体的に、一つのビデオ処理ラインおよび二つのグラフィック処理ラインを含むいかなる種類のビデオ信号および／またはグラフィック信号にも適用されうる。
【００１８】
前記画像信号処理方法およびその発展した構成は、デジタル回路に付随する利点が得られるようないかなる好ましい種類のデジタル回路を有するデバイスによって実装されてもよい。請求項で述べられる、または詳細な説明で説明されたり図面に示されたりするいくつかの手段の機能を単一のプロセッサまたはその他のユニットもしくはモジュールが満たしてもよい。
【００１９】
デバイスに関しては、本発明は、グラフィック画像信号およびさらなる画像信号からの画像フィールドの合成ストリームを与えるための画像信号処理デバイスであって：
・グラフィックリフレッシュレートでグラフィック画像信号の画像フィールドを提供するための少なくとも一つのグラフィック処理ラインと；
・さらなるリフレッシュレートでさらなる画像信号の画像フィールドを提供する少なくとも一つのさらなる処理ラインと；
・前記さらなる画像信号と前記グラフィック画像信号を画像フィールドの合成ストリームに合成する合成モジュールと；
・前記グラフィック画像信号の画像フィールドどうしの間の補間をすることによって前記合成モジュールより前に前記グラフィックリフレッシュレートをある基準リフレッシュレートに上げるための補間手段を有する、前記少なくとも一つのグラフィック処理ラインの中の描画モジュール、
とを有するデバイスにもつながる。
【００２０】
本発明のコンセプトはまた、従属するデバイス請求項において述べられる画像信号処理デバイスの発展した構成に従って柔軟に適応されてもよい。
【００２１】
本発明はまた、上記のような画像信号処理デバイス、画像記憶デバイスおよび／またはディスプレイ手段を有する画像信号処理のための装置にもつながる。
【００２２】
本発明はまた、コンピューティングデバイスによって可読な媒体上に記憶可能な、前記コンピューティングデバイス上で実行されたときに前記コンピューティングデバイスをして上記のような方法を実行せしめるソフトウェアコード・セクションを有するコンピュータプログラムプロダクトにもつながる。
【００２３】
本発明はまた、前記コンピュータプログラムプロダクトを実行および／または記憶するための、コンピューティングおよび／または記憶デバイス、特に光学式記憶装置または光学式システムにもつながる。
【００２４】
これらのことを含む本発明のさまざまな側面は、以下に記載する好ましい実施形態から明らかとなり、これを参照することで明快にされるであろう。もちろん、本発明の記載において構成要素および方法論について考えられるあらゆる構成を記述することは不可能であるが、通常の当業者は、本発明の数多くのさらなる組み合わせおよび並べ替えが可能であることを認識するであろう。特に、上記の諸技法は次世代のグラフィックおよびさらなる画像信号フォーマットのためのアニメーション・ジャダー補償に適用される。本発明は、ブルーレイ・フォーマットのような次世代の映画およびグラフィック・フォーマットのために格別の用途をもち、これに関連して説明するが、本発明のコンセプトは、映画、グラフィックまたはビデオ・フォーマットの他の形に関しても、グラフィックおよびさらなる画像信号から画像フィールドの合成された、特に多重化されたストリームを出力するために動作可能であることは理解されるべきである。たとえば、本発明のコンセプトは、原理的には、DVD、MHP、DVB-STもしくはDVB字幕のようなアニメーションまたはJava（登録商標）グラフィックもしくはSMILもしくはFlashとして知られるアプリケーションを使用するあらゆる既存のオーディオ／ビデオ再生システムに適用されることができる。
【００２５】
本発明のより完全な理解のために、付属の図面が参照される。
【発明を実施するための最良の形態】
【００２６】
図７を参照して、まず、例示的な次世代の映画グラフィックシステム規格について手短に述べる。このシステムは以下では次世代システムと称する。
【００２７】
例示的な次世代映画グラフィックシステム規格は、DVD（デジタルビデオディスク）、MHPまたはDVB-STグラフィックシステムのような、アニメーションを使う既存の他のオーディオ／ビデオ再生システムより精巧である。これは、次世代システムがグラフィック画像信号、特にアニメーションのための、比較的なめらかな動きをもつよりよいサポートをもつためである。次世代システムは、グラフィック画像信号およびさらなる画像信号（本実施形態ではビデオ画像信号）の画像フィールドの合成ストリームを提供するための具体的な画像信号処理方法１００を規定している。
【００２８】
次世代システムによれば、そのような方法１００は：
・少なくとも一つのグラフィック処理ライン１０９においてグラフィックリフレッシュレートでグラフィック画像信号１０７の画像フィールドを提供する段階と；
・少なくとも一つのビデオ処理ライン１０５においてビデオリフレッシュレートでさらなる画像信号、ここではビデオ画像信号１０３の画像フィールドを提供する段階と；
・前記ビデオ画像信号１０３と前記グラフィック画像信号１０７を、画像フィールドの合成ストリーム１１１に合成する段階、
とを有する。
【００２９】
ビデオ画像信号１０３およびグラフィック画像信号１０７は通常、ソース１１３、たとえば記憶デバイスから取られる。次世代映画グラフィックシステムのある特定の仕様として、一つのビデオ処理ライン１０５が設けられ、二つのグラフィック処理ライン１０９が設けられる。ビデオ画像信号１０３はビデオデコーダ（V-Dec）１１５に与えられ、ビデオデコーダ１１５はビデオ画像信号１０３をさらに処理してビデオ処理ラインを通じてビデオプレーン（V-Pl）１１７にビデオ画像信号を与える。グラフィック画像信号１０７はさらに描画モジュール１１９（Gfx1、Gfx2）によって処理される、描画モジュール１１９はグラフィック画像信号１０７をグラフィック処理ライン１０９を通じてグラフィックプレーン（G-Pl1、G-Pl2）１２１に提供する。
【００３０】
ビデオ画像信号１０３およびグラフィック画像信号１０７を画像フィールドの合成ストリーム１１１に合成するために合成モジュール１２３が使用される。画像フィールドのストリーム１１１は出力として、たとえばディスプレイ手段１２５の形の出力デバイスに与えられる。
【００３１】
次世代映画グラフィックシステム規格そのものはビデオ画像信号１０３、グラフィック画像信号１０７、ストリーム１１１のいずれについても画像フィールドの単一の固定したリフレッシュレートを指定していない。次世代システムはまた、入力信号のリフレッシュレートと処理チェーンが生成する出力信号のリフレッシュレートとの間の関係も指定していない。入力レートは、ソース１１３に保存されているコンテンツの作者が指定できる。出力レートは、接続されている出力デバイスの機能によってあらかじめ決まりうる。有利には、ソース１１３上のビデオ画像信号１０３は24フィールド毎秒（fps）の順次走査ビデオ素材である。さらに、グラフィック画像信号１０７および特にアニメーションも24fpsの最大リフレッシュレートで与えられる。次世代映画グラフィックシステム規格の実装におけるそれぞれのリフレッシュレートが個別の入力および出力とともに図８に示されている。図８は、次世代システムにおける画像信号処理方法または装置２００の実装のフロー図を示している。ここでは、３：２のプルダウン処理（PD）および／または動き補償されたフレーム補間（FI）処理が合成段階の後で合成ストリームに対して適用される。図７と同じ機能および意味をもつ特徴は図８でも同じ参照符号で表されている。順次走査ビデオ画像信号１０３およびグラフィック画像信号１０７の具体例がディスプレイ手段１２５、たとえばインターレース式の高精細度もしくは標準精細度テレビ画面の更新レート60fps（30フレーム毎秒）に対するソース１１３上の24fpsのリフレッシュレートの場合についてアニメーション・ジャダー問題を例解するために与えられている。画像フィールドのストリーム１１１の24fpsのリフレッシュレートをディスプレイ手段１２５の60fpsの更新レートに上げるために、３：２のプルダウン（PD）および／または動き補償されたフレーム補間（FI）処理モジュール１２７が、出力ライン１２９においてディスプレイ手段１２５より前に、合成モジュール１２３の背後で実装される。
【００３２】
３：２のPD処理の例示となる詳細な記述がEP1215900A2の開示からとれる。本応用ならびに特に次世代システムおよび本発明のコンセプトの目的のためには、３：２のPD処理は、３つまたは２つの後続のインターレースされたフィールドとして一連の映画フレームを出力する動作として理解される。これについては図５を参照してさらに述べる。この意味で、１フィールドは１フレームの半分であり、フィールドは奇数番目または偶数番目の走査線のどちらかをもつと理解される。
【００３３】
画像フィールドのすでに合成されたストリーム１１１に作用する補間方式の例示的な詳細な記述はGB2249907からとれる。本応用ならびに特に次世代システムおよび本発明のコンセプトの目的のためには、画像のストリームに適用されるいかなる種類のピクセル補間アルゴリズムも、動き補償されたフレーム補間（FI）処理として理解される必要がある。特に、FI処理は動いているピクチャー要素の動きの軌跡を計算する。高度なノイズ削減、なめらかな動き再生ならびに改良された鮮鋭さおよび細部がFI処理に組み込まれて、高品質のちらつきのないピクチャーを提供してもよい。図８の例示的な次世代の映画グラフィックシステムの実装によれば、ジャダー補償を達成するための第一の試みは、合成モジュールの24fpsの出力を３：２PD&FI処理モジュール１２７に加えることによって提供される。ビデオ画像信号とグラフィック画像信号を合成したもののストリーム１１１のリフレッシュレートはディスプレイ手段１２５の60fpsの更新レートに上げられる。変換されたストリーム１３１は出力ライン１２９上でディスプレイ手段１２５に与えられる。
【００３４】
モジュール１２７におけるデジタル３：２PD&FIまたは等価な処理にもかかわらず、次世代システムの実装２００に基づく、ディスプレイ手段１２５の形の出力に示されるアニメーションはいまだ、根底にあるビデオ画像信号１０３のジャダー・アーチファクトよりも顕著に大きいジャダー・アーチファクトを有している。その理由として、まず、ビデオ画像信号におけるジャダーの一部がしばしばモーション・ブラーによって隠蔽されるのに対し、グラフィック画像信号のアニメーションビットマップにはモーション・ブラーがない。第二に、モジュール１２７のデジタルFIまたは等価な処理アルゴリズムはビデオ画像信号に合わせて調整されており、ビットマップ・アニメーション・コンテンツに合わせてではない。画像フィールドのストリーム１１１はビデオ画像信号１０３およびグラフィック画像信号１０７から合成されるので、次世代システム１００の実装２００は効果的にアニメーション・ジャダーを防止できないのである。
【００３５】
本発明は、アニメーション・ジャダーの問題は次世代の、グラフィック画像信号とさらなる画像信号とが合成されたフォーマットにとって特に重要であることを認識するに至った。アニメーション・ジャダーは、この場合ならびに合成されたグラフィックおよびさらなる画像信号が入力画像信号のリフレッシュレートよりも高い所定の基準リフレッシュレートに変換される同様の場合に起こる。
【００３６】
〈本発明の好ましい実施形態の記載〉
図１は、ビデオ画像およびグラフィック画像信号から画像フィールドの合成ストリームを与えるための画像信号処理方法１０の好ましい実施形態を示している。図１はまた、画像フィールドの合成ストリーム１１を提供するための画像信号処理デバイス１０を例解するためにも使える。これから述べる好ましい実施形態１０は、単一のビデオ処理ライン５および二つのグラフィック処理ライン９Ａ、９Ｂをもつ、図７および図８を参照して記載される例示的な次世代映画グラフィック・フォーマット１００および２００について特に意図されている。ただし、本発明がそれに限定されるものではなく、別の映画・グラフィック・フォーマット内でも、特に図１に示したものと比べてより多くの処理ラインまたは別の処理ラインをもつフォーマット内でも機能するよう容易に適応できることは理解されるであろう。当業者は、本発明のコンセプトの精神から外れることなく、他のいかなる数の処理ラインでも、たとえば二つ、三つまたはそれ以上のビデオ処理ラインおよび／または一つ、二つ、三つ、四つまたはそれ以上のグラフィック処理ラインが利用可能であることを理解するであろう。
【００３７】
したがって、本方法の好ましい実施形態は：
・少なくとも一つのグラフィック処理ライン９Ａ、９Ｂにおいてグラフィックリフレッシュレートでグラフィック画像信号７Ａ、７Ｂの画像フィールドを提供する段階と；
・少なくとも一つのビデオ処理ライン５においてビデオリフレッシュレートでビデオ画像信号３の画像フィールドを提供する段階と；
・前記ビデオ画像信号３と前記グラフィック画像信号７Ａ、７Ｂを画像フィールドの合成ストリームに合成する段階、
とを有する。
【００３８】
グラフィックリフレッシュレートはグラフィック処理ライン９Ａ、９Ｂにおけるグラフィック画像信号７Ａ、７Ｂのリフレッシュレートである。ビデオリフレッシュレートはビデオ処理ライン５におけるビデオ画像信号３のリフレッシュレートである。
【００３９】
図１の具体的な好ましい実施形態では、画像信号３、７Ａ、７Ｂはソース１３から24fpsの入力リフレッシュレートでとられる。ソース１３は光学式記憶デバイス、たとえば光記憶ディスクとして実現される。本発明のコンセプトによれば、図７および図８に示した実例１００および２００とは対照的に、合成段階は、入力画像信号３、７Ａ、７Ｂの24fpsの初期リフレッシュレートよりも高い所定の基準リフレッシュレートにすでになった状態で実行される。図１の例では、所定の基準リフレッシュレートは、出力ライン２９の終わりにあるディスプレイ手段２５の更新レートに対応する60fpsである。合成段階は合成モジュール２３によって実行される。
【００４０】
本発明のコンセプトの鍵となる点として、図７および図８の実例１００および２００とは対照的に、グラフィックリフレッシュレートは合成段階より前に基準リフレッシュレートに上げられる。これはすなわち、グラフィック画像信号７Ａ、７Ｂの画像フィールドの間を補間することによってである。画像信号処理デバイス１０はこの目的のために、24fpsのグラフィックリフレッシュレートを合成モジュール２３より前に60fpsの基準リフレッシュレートに上げるために、描画モジュール１９Ａ、１９Ｂを前記少なくとも一つのグラフィック処理ライン９Ａ、９Ｂに有している。描画モジュール１９Ａ、１９Ｂはそれぞれグラフィック・ペインターGfx1およびGfx2として形成される。描画モジュール１９Ａ、１９Ｂは、グラフィック画像信号９Ａ、９Ｂの画像フィールドの間を補間するための補間手段１８Ａ、１８Ｂを有している。
【００４１】
図１の好ましい実施形態では、リフレッシュレートを上げる段階は、前記少なくとも一つのグラフィック処理ライン９Ａ、９Ｂにおける初期描画段階によって形成されるので、描画モジュール１９Ａ、１９Ｂは処理ライン９Ａ、９Ｂにおいて入力リフレッシュレートの初期入力グラフィック信号７Ａ、７Ｂを受け取る初期モジュールである。描画モジュール１９Ａ、１９Ｂは、グラフィック画像信号７Ａ、７Ｂが60fpsという高められたグラフィックリフレッシュレートで出力されるよう補間を行う。この高められたグラフィックリフレッシュレートはすでに60fpsの基準リフレッシュレートに対応し、またディスプレイ手段２５の60fpsの更新レートにも対応している。
【００４２】
グラフィック画像信号７Ａ、７Ｂはさらに二つのグラフィック処理ライン９Ａ、９Ｂに沿って処理され、それぞれグラフィックプレーン２１Ａ、２１Ｂ（G-Pl1、G-Pl2）に与えられる。これは、グラフィック画像信号７Ａ、７Ｂがすでに60fpsのリフレッシュレートになった状態でグラフィックプレーン２１Ａ、２１Ｂに届けられ、さらに合成モジュール２３にもリフレッシュレート60fpsで与えられることを意味している。
【００４３】
これに対し、ビデオリフレッシュレートは、入力画像信号３の24fpsという初期入力リフレッシュレートである。入力画像信号３は前記少なくとも一つのビデオ処理ライン５における初期ビデオ復号段階によって提供される。この目的のためにビデオデコーダ１５がビデオ処理ライン５に配置されている。その後、ビデオ画像信号３はビデオデコーダ１５によってビデオ処理ライン５を通じて、同じ24fpsのリフレッシュレートでビデオプレーン（V-Pl）１７に与えられる。したがって、ビデオ画像信号３はビデオプレーン１７に24fpsのリフレッシュレートで与えられる。これに対し、グラフィック画像信号７Ａ、７Ｂはグラフィックプレーン２１Ａ、２１Ｂに60fpsのリフレッシュレートで与えられるが、このリフレッシュレートはすでにディスプレイ手段２５の更新レートに対応しており、対応するビデオリフレッシュレートを超えるものである。
【００４４】
ビデオ処理ライン５でビデオ画像信号３を処理する目的のため、ビデオリフレッシュレートはその後、やはり合成段階より前に３：２のプルダウン（PD）処理および／または動き補償されたフレーム補間（FI）処理によって基準リフレッシュレートに上げられる。ビデオ画像信号フィールドの他の種類の自然な動き（NM: natural motion）処理も同様に適用されうる。３：２のPD&FI処理は、ビデオ処理ライン５に配置されたフレーム変換器２７によって実行される。
【００４５】
フレーム変換器２７のあとでは、ビデオ画像信号３のリフレッシュレートはディスプレイ手段２５の更新レートに対応する60fpsに上げられている。こうして、処理のこの段階で、ビデオ画像信号３およびグラフィック画像信号７Ａ、７Ｂは両方とも同じ所定の基準リフレッシュレートの60fpsで合成モジュール２３に与えられる。合成段階は、ディスプレイ手段２５の更新レートに対応する所定の基準リフレッシュレートで、合成モジュール２３において実行される。ビデオ画像信号３およびグラフィック画像信号７Ａ、７Ｂからの画像フィールドのストリーム１１も所定の基準リフレッシュレートで出力される。したがって、ストリーム１１はさらなる処理なく出力ライン２９を通じてディスプレイ２５にそのまま与えるのに好適である。
【００４６】
まとめると、図１を参照して記載した本画像信号処理方法および画像信号処理デバイス１０は、ジャダー、特にアニメーション・ジャダーを、上述した施策のおかげで他のシステムよりずっと効率的に補償できる。描画モジュール１９Ａ、１９Ｂは補間モジュール１８Ａ、１８Ｂをもって拡張され、それによりグラフィック画像、特に動いているオブジェクトなどのようなアニメーションを所定のリフレッシュレートで、特にディスプレイ手段２５の更新レートに対応するリフレッシュレートで描画するようになる。図１の例では、このリフレッシュレートは60fpsである。ビデオ画像信号３およびグラフィック画像信号７Ａ、７Ｂをビデオ３およびグラフィック画像信号７Ａ、７Ｂからの画像フィールドの合成ストリーム１１に合成することは、処理の後の段階で合成モジュール２３において実行される。
【００４７】
図１のグラフィックプレーン２１Ａ、２１Ｂの例が図２に示されている。本発明のコンセプトに基づく例示的な次世代映画グラフィックシステムの好ましい実施形態の基本的側面についてこれから図２を参照しつつ述べる。図２は、図１を参照しつつ述べたグラフィックプレーン２１Ａ、２１Ｂにおけるグラフィックアニメーション３５の図（drawing）３３を示している。画面上のアニメーション３５の動いているオブジェクト３７は当技術分野では「スプライト」とも称される。例示的な次世代映画グラフィックシステムは、合成モジュール２３でビデオ画像信号３のビデオ画像に合成される、二つのグラフィックプレーン２１Ａ、２１Ｂにおけるグラフィック画像、特にアニメーション３５の可能性を予見する。各プレーン２１Ａ、２１Ｂ上のアニメーション３５は、ソース１３から読まれ、プレーヤーのＲＡＭメモリ内に一時的にキャッシュされうるグラフィックデータセグメントによって制御される。グラフィックデータセグメントは通常、ビデオ画像信号３のオーディオ／ビデオデータと合成されて単一のリニアな多重化されたストリーム１１にされる。そのような多重化ストリーム１１は、ディスク上に保存されてもよいし、あるいは図１を参照して説明したように出力ライン２９で出力、たとえばディスプレイ手段２５に与えられてもよい。
【００４８】
一般に、二つの型のセグメントが区別できる。第一に、参照符号３７のもののようなオブジェクト定義セグメントは圧縮されたビットマップ、たとえば自動車のビットマップを含みうる。ビットマップは圧縮解除され、プレーヤーＲＡＭ内でビットマップバッファ内に保存される。第二に、構図（composition）セグメントは、矢印３９によって示される動きのように、図３３を制御するはたらきをする。単一のセグメントは特定の時間コードにおける画面上の単一の静止画像を記述する。その状況が図２に描かれている。静止画像はオブジェクト３７によって表されている。短い間隔の時間コードをもつ一連のセグメントを使って、動いている自動車のようなアニメーション効果を生成できる。たとえば、あるディスクは以下の構図セグメント３９を含むことができる（単純化された表現で）：
・構図セグメント第１：時間コード10にオブジェクト３７を(X,Y)位置(0,100)に示す
・構図セグメント第２：時間コード20にオブジェクト３７を(X,Y)位置(10,100)に示す
・構図セグメント第３：時間コード30にオブジェクト３７を(X,Y)位置(20,100)に示す
・構図セグメント第４：時間コード40にオブジェクト３７を(X,Y)位置(30,100)に示す
この例では、自動車のビットマップの形のオブジェクト３７はアニメーション３５によって動かされ、グラフィックプレーン２１Ａ、２１Ｂまたはディスプレイ手段２５の左から出発して右に移動する。
【００４９】
次世代システムによれば、セグメントの時間コードはビデオフィールドのタイミングに整列している必要がある。各時間コードは、ビデオプレーン１７上の画像フィールドのビデオストリームとして呈示されるビデオ画像信号３中の一つのフィールドの厳密な呈示時間コードと一致しなければならない。構図セグメントはビデオ中の各フィールドにとって必ずしも必須ではない――新たなセグメントがなければ、直近のセグメントが表示され続ける。なめらかなアニメーションを得るためには、一般に、各フィールドのために新たな構図セグメントが指定される。
【００５０】
図３は、グラフィック画像信号７Ａ、７Ｂの画像フィールドどうしの間を補間するための補間手段の例を示している。今の例では、グラフィックリフレッシュレートは、24fpsの入力リフレッシュレートにあるグラフィック画像信号７Ａ、７Ｂの画像フィールドにおける既知のオブジェクト位置の補間によって、ディスプレイ手段２５の更新レートの形の基準リフレッシュレートに上げられる。ビデオ画像信号３の入力形３′が図３の第一行に示されている。補間されたグラフィック画像信号７Ａ、７Ｂの画像フィールド中の補間されたオブジェクトの位置は60fpsの所定の基準リフレッシュレートで与えられている。これがグラフィック処理ライン９Ａ、９Ｂの描画モジュール１９Ａ、１９Ｂの後での状況である。ビデオ画像信号３の補間された形３″が図３の第二行に示されている。図３の最後の行は時間コードを示す。
【００５１】
通常の当業者は、数多くの補間方法、すなわち既知の点を通る曲線上の欠けている点を埋める方法が当技術分野において知られていることを認識するであろう。用途に依存して、線形補間、多項式補間またはスプライン補間などの補間方式が、グラフィック画像信号の画像フィールドの間を補間するために使用されうる。
【００５２】
図１の補間手段１８Ａ、１８Ｂの具体的な好ましい発展した修正が図４を参照して記載されている。図４は描画モジュール１９Ａ、１９Ｂ内の、グラフィックリフレッシュレートを基準リフレッシュレートに引き上げるための補間手段１８Ａ、１８Ｂの実装の図である。引き上げ段階の要素は参照符号４１によって示されている。補間手段１８Ａ、１８Ｂは、補間段階をさらに調整するためのさらなるモジュール４３、４５、４７、４９を有する。描画モジュール１９Ａ、１９Ｂは、矢印の流れの線によって示されるようにグラフィックデータセグメント５１に作用する。グラフィックの上では、データセグメント５１はオブジェクト定義セグメント５３、構図セグメント５５および色探索表セグメント５７を有することが示されている。これらについては以下で述べる。補間段階４１は特に、グラフィック・オブジェクトの位置に影響し、それにより60fpsリフレッシュレートになったグラフィック画像信号をグラフィックプレーン２１Ａ、２１Ｂに提供する。
【００５３】
好ましい実施形態のある発展した修正では、本画像信号処理方法はさらに：
・グラフィック画像信号７Ａ、７Ｂのアニメーション・グラフィックは少なくとも一つもしくは複数のオブジェクト定義セグメント５３および／または一つもしくは複数の構図セグメント５５および／または一つもしくは複数の色探索表制御セグメント５７に基づいており；ここで、
・補間段階は、アニメーション・グラフィック３５のオブジェクト３７のための動き補間を含む、
ことを特徴とする。
【００５４】
オブジェクト３７の動き３９は、適合施策（tailoring measure）４３として特性判定される。ここではたとえば図３のような動き補間を適用するか否かの判断が出力される。換言すれば、補間手段は、そもそも何らかのセグメント間の動き補間が用いられるべきかどうかを判断するための特性判定および／または判断モジュール４３を有する。判断はオブジェクトごとにできる。この特性判定および／または判断モジュール４３の理由は、一般に、図３に示されたように連続する各フィールドについて構図セグメント５５をもつことが必須であるということである。場合によっては、次世代映画グラフィックシステム規格は、普通なら望まれるいくつかのセグメントを、それらを含めれば規格によって指定される基準描画エンジンのリソースを超えるグラフィック描画負荷が発生するので、省略を強制することさえあるであろう。したがって、補間手段は１フィールドまたは１フレームよりも大きな距離にわたって補間する何らかの施策を講じる必要があるであろう。他方、二つの構図セグメントの間の距離が非常に大きい場合には、ディスク作者が意図したのはなめらかな動きではなくむしろオブジェクトの「ジャンプする」動きであることがありうる。後者の状況と前者の状況を弁別するため、判断モジュールは、動きを特性判定、特にオブジェクトごとにいくつかのセグメント間の動き補間がそもそも使われるべきかどうかを判断するためのある種の手段を有している。
【００５５】
好ましい実施形態のあるさらなる発展した修正は、補間段階が次よりなる群から選ばれる施策４５の一つまたは複数を有していることを特徴とする。
・別のオブジェクトとの重なりが防止されるよう、オブジェクト３７の軌跡３９を調節する；
・別のオブジェクトに重なるオブジェクト３７の部分を無効にする；
・オブジェクト３７と別のオブジェクトとの重なりを、透明ピクセル以外については禁止する、
この適合施策は、次世代システムでは、二つ以上のオブジェクト３７が画面上で同時に動くことができることを認識する。にもかかわらず、オブジェクトの重なりは許されない。そのような施策によって計算時間が有利に低く保たれるからである。個別的な例では、すべてのオブジェクトは長方形のビットマップを有しており（長方形でないオブジェクトについては一部のピクセルは透明）、オブジェクトの長方形ビットマップは構図セグメント５５によって指定される描画命令において決して重なってはならない。この規則は、描画処理の実装をより容易にし、以前ほどリソース集約的でなくす。構図セグメント５５の間で補間がなされるときには、それでもいくつかのビットマップが重なることはありえ、それは描画モジュール１９Ａ、１９Ｂにおいて提供される描画プロセスのためには問題となりうる。好ましい実施形態の発展した修正では、上記の施策は重なり禁止モジュール４５において提供され、オブジェクト３７の重なりを検出したりおよび／または正したりするはたらきをする。
【００５６】
好ましい実施形態のあるさらなる発展した修正では、補間段階が次よりなる群から選ばれる施策４７の一つまたは複数を有する。
・連続する構図セグメント５５で、比較的互いに近いオブジェクト位置をもつオブジェクトを検出する、
・大きさが同程度であるおよび／または透明でないピクセルの数が同程度であるオブジェクトを検出する、
・一致順（matching order）の複数のオブジェクトを有する構図セグメント５５を検出する、
そのような施策は、好ましくは、同じ測度であり複数回循環して出現する複数の同じオブジェクトを検出するよう特に適応されている追加的モジュール４７において提供される。このさらなる適合施策の詳細な説明を与えるため、図２のオブジェクト３７は自動車のビットマップを含んでおり、グラフィックプレーン２１Ａ、２１Ｂの上を動く（参照符号３９）。より複雑な例は、たとえば人がグラフィックプレーン２１Ａ、２１Ｂの上を歩く運動を含むアニメーションを作ることである。後者の状況では、人の脚または腕のような複数のオブジェクトが循環的に示され、各オブジェクトは異なる位置における人の脚または腕を示すビットマップをもつ。これは補間のための追加的な困難を含意する。異なるセグメント５３、５５についてはオブジェクト番号が異なることがありうるからである。たとえば：
・構図セグメント第１５１：時間コード110にオブジェクト３を(X,Y)位置(0,100)に示す
・構図セグメント第１５２：時間コード120にオブジェクト３を(X,Y)位置(10,100)に示す
・構図セグメント第１５３：時間コード130にオブジェクト４を(X,Y)位置(20,100)に示す
・構図セグメント第１５４：時間コード140にオブジェクト４を(X,Y)位置(30,100)に示す
・構図セグメント第１５５：時間コード150にオブジェクト５を(X,Y)位置(40,100)に示す
・構図セグメント第１５６：時間コード160にオブジェクト５を(X,Y)位置(50,100)に示す
したがって、循環オブジェクト定義モジュール４７は、上に挙げたような方法段階を処理するためのいくつかの有用なアルゴリズムを含意しており、補間手段１８Ａ、１８Ｂにおいて提供される。循環オブジェクト定義モジュール４７は、たとえば上に示したオブジェクト３およびオブジェクト４は本当に同じメタオブジェクトであり、よってたとえばセグメント第１５２および第１５３の間の補間が可能であると判断する。
【００５７】
あるさらなる適合施策４９は、次世代映画グラフィックシステム規格が色探索表（CLUTs: color look-up tables）をそのグラフィックサブシステムの一部として許容するかもしれないということを考慮に入れている。コンテンツ作者はこの場合、色探索表制御セグメント５７を作成された多重化ストリームに加えることによって、色探索表の内容を高速に（たとえばグラフィックフレームレートで、毎フレームに一回）変えることができることがありうる。この場合、作者は動きの効果を達成するためにいわゆる「色循環（color cycling）」技法を使うことができる。色循環は、CLUTへの高速の変化を画面上の特別に調整されたビットマップグラフィック内容と組み合わせる技法である。色循環は、なめらかな動きの印象を達成するためにオブジェクトの色を高速に変えるプロセスであって、しばしばゲームにおいて滝、溶岩または松明のアニメーションを循環的な仕方で実現するために使用されている。色循環の利点は、単に論理パレットの色を変えることにより動きの印象が実現できるということである。ひとたびオブジェクトそのものが描画されたら、オブジェクトに含まれるピクセルはその色以外については修正されない。色循環を使って、コンテンツ作者は、根底にあるビットマップ・ピクチャーが比較的低いフレームレート（典型的にはグラフィックフレームレートの１／２または１／３）でしか動いていない間にオブジェクト３７が視覚的に比較的高いフレームレート（典型的にはグラフィックフレームレート）で動いている効果を達成できる。色循環は、フォーマットによってビットマップを動かせる速度が制限されている場合には魅力的でありうる。これは特に大きなビットマップについて有利である。色循環の使用は、提案される本発明のコンセプトについての特に好ましい追加的な点を呈示する。というのも、それはビットマップ位置の間を補間することに依存しているからである。色循環を使う場合、グラフィックフレームレートを基準フレームレートに引き上げるために実行されるビットマップ動き補間プロセスは、色循環による追加的な動きの効果を考慮に入れるようしかるべく変更されることができる。
【００５８】
好ましい実施形態のいま一つのさらなる発展した修正では、補間段階が、次よりなる群から選ばれる施策４９の一つまたは複数を有する。
・色探索表操作方針（manipulation strategy）を検出する；具体的にはこれは、好ましくは一つもしくは複数の、特に多数の色探索表（CLUT）制御セグメント５７の存在を検出するか、および／またはそのようなセグメント５７の内容を解析することによって、多重化ストリーム中での作者による色循環技法の使用を検出することを含む。
・色探索表（CLUT）制御セグメント５７および／またはオブジェクト定義セグメント５３を解析する；これは特に、一つもしくは複数の色探索表（CLUT）制御セグメント５７および特に一つもしくは複数のオブジェクト定義セグメント５３におけるビットマップのクロス解析（cross-analysis）を行うことによってなされる。それによりコンテンツ作者がどのオブジェクト３７について色循環技法を使っているかが判別される。
・アニメーション・グラフィック（３５）内の一つまたは複数のオブジェクト３７の動き３９を動き補間するための補間手段１８Ａ、１８Ｂを無効にするか修正するかする。結果として、補間プロセスは色循環が検出されるときには、少なくとも、有利に修正されることができる。
【００５９】
したがって、そのような施策が好ましくは、ある種のCLUT操作方針が検出された場合には補間を抑制するよう特に適応されている追加的なCLUT検出モジュール４９において提供される。モジュール４９は、上に挙げたような方法段階を処理するためのいくつかの有用なアルゴリズムを含意し、補間手段１８Ａ、１８Ｂにおいて提供される。
【００６０】
好ましい実施形態の第一の洗練では、図１に示される画像信号処理方法／装置１０の使用と図８に示される画像信号処理方法／装置２００の使用との間でトグルできるスイッチが追加されうる。そのようなスイッチは好ましくは、予期されるグラフィック描画負荷に従って動的に調節可能である。負荷が図１の方法／装置１０を用いて実現には高すぎる場合には、図８のより低品質の方法／装置２００を使うことができる。グラフィック負荷の予期は好ましくは、将来の構図セグメントの先読みに基づく。この洗練は、図１の方法／装置１０がビデオおよびグラフィック画像信号からの合成画像フィールドのストリームを60fpsのリフレッシュレートで提供し、したがってこの種の処理は、図８の方法／装置２００の実装より多くのシステムリソースを消費するという認識に基づいている。60fpsのリフレッシュレートの処理のためには負荷が厳しい状況では、図８の従来技術の実装が使用されるのが好ましい。
【００６１】
第二の洗練では、図２に示されたオブジェクト３７のようなグラフィック・オブジェクトにモーション・ブラーを加えるために特定の処理アルゴリズムが追加されうる。モーション・ブラーはビデオ画像信号には自然に存在しているが、グラフィック画像信号には存在しない。モーション・ブラーはアニメーション・ジャダーを隠蔽するためにグラフィック画像信号中に徐々に与えられることができる。これはアニメーション・ジャダー補償をより一層効果的なものとするさらなるツールを提供することになる。
【００６２】
図１のフレーム変換器２７のある発展した修正について図５を参照しつつ述べる。図５はフィルム６０およびそれぞれ番号１、２、３を示すいくつかのフィルムのフレーム６１、６２、６３を示している。もとになるフィルムまたは映画のフィールドは通常、フレームと称される。たとえばEP1215900A2から知られる３：２のプルダウン処理が図５の単純化された方式で例証されている。本願の背景の範囲では、３；２のプルダウン処理は、一連の映画のフレーム６１、６２、６３を３枚または２枚の連続するインターレース・フィールド６１′、６２′、６３′として出力し、インターレースされたビデオフィールドのストリーム６４を形成する処理であると理解する必要がある。そのようなストリーム６４は一般に図１のビデオ画像信号３に含まれる。同じフレームを参照するインターレース・ビデオフィールド（たとえばフレーム６１とインターレース・フィールド６１′またはフレーム６２とインターレース・フィールド６２′またはフレーム６３とインターレース・フィールド６３′）は奇数フィールドおよび偶数フィールドとして区別される。上記の単純な３；２のプルダウン処理は、ビデオストリーム６４のリフレッシュレートをフィルム６０のレートに引き上げ、ジャダー・アーチファクトを低減する助けとはなるが、信頼できる形で防止することはできない。特に、ジャダー・アーチファクトの効果は、フレームレート変換が選択されたフレームまたはフィールドの単純な削除または反復によってなされる場合には一層明白になる。補間されるフレームまたはフィールドが予測アルゴリズムの使用によって生成されるときにはそれほど明白ではなくなることがありうる。これらの施策およびその他の種類の施策は図１のフレーム変換器２７において含意されていることができる。
【００６３】
図１の合成モジュール２３の個別的な好ましい発展した諸修正について図６を参照しつつ述べる。図６は、ここでアルファ混合（alpha-blending）と称する、合成段階処理の好ましい種類を例証している。図１を参照して述べた合成モジュール２３は好ましくはアルファ混合モジュールとして形成される。アルファ混合はコンピュータグラフィックスにおいて、透明の効果を出すために使用される。これは、半透明の前景を背景色と合成して中間の混合を生成することによって達成される。アニメーションおよびその他の種類のグラフィック画像信号のためには、そしてまたビデオ画像信号およびグラフィック画像信号を合成するためには、アルファ混合は、半透明なオーバーレイ（たとえば再生中のビデオの上の半透明のボタン）の見え方を生成し、また一つの画像７１を徐々に別の画像７２にフェードさせるために本願の主題に適用される。
【００６４】
従来式には、アルファ混合のあるコンピュータグラフィックスにおいては、画像はその色を定義するのに４つのチャネルを使用する。その３つが三原色のチャネル――赤、緑、青――であり、アルファチャネルとして知られる四番目が画像の透明度についての情報を伝える。それは前景と背景が互いに重ね合わされたときに前景色がどのようにして背景色にマージされるべきかを指定する。単純化された形では、アルファ混合で使われる式は：[r,g,b]混合＝α[r,g,b]前景＋(1−α)[r,g,b]背景；となり、ここで[r,g,b]は赤、緑、青の色チャネルを表し、αは重み付け因子を表す。重み付け因子は0から1のいかなる値をとることもできる。0に設定されると、図６のセクション７３に示されるように前景は完全に透明である。α因子が1に設定されると、前景は不透明になり、背景を完全に覆い隠す。これは図６ではセクション７５に示されている。いかなる中間的な値も、たとえば図６のセクション７４でα因子0.5について示されているような二つの画像の混合を生じる。
【００６５】
まとめると、信号処理の従来のコンセプトは、グラフィック画像信号およびさらなる画像信号からのフィールドの合成ストリームのための特別に適応されたジャダー補償は有さず、よってアニメーション・ジャダー・アーチファクトを示す。ジャダー補償は現在のところビデオのようなさらなる画像信号についてのみ適応されており、ビデオ画像信号のモーション・ブラーはしばしばジャダー・アーチファクトを隠蔽する。しかし、これはビットマップのようなグラフィック・オブジェクトについてはあてはまらない。引き上げられた基準リフレッシュレート（60fps）において、本発明のコンセプトはさらなる画像信号３およびグラフィック画像信号７Ａ、７Ｂ、特にアニメーション３５を含むもののフィールドの合成ストリーム１１を与える。早くもグラフィック画像信号７Ａ、７Ｂの生成の際における該グラフィック画像信号７Ａ、７Ｂの画像フィールドの間の補間１８Ａ、１８Ｂは、合成段階２３より前にすでに、グラフィック画像信号７Ａ、７Ｂの入力リフレッシュレート（24fps）を基準リフレッシュレート（60fps）に引き上げる。かなり単純な補間方法およびその発展した構成は、洗練された現状最新技術のシステムよりも優れた高品質の出力をディスプレイ２５上に実現する。
【図面の簡単な説明】
【００６６】
【図１】一つのビデオ処理ラインおよび二つのグラフィック処理ラインをもつ、画像フィールドの合成ストリームを提供するための画像信号処理方法または装置の好ましい実施形態のフロー図である。
【図２】ある好ましい実施形態の映画グラフィックシステムにおけるアニメーション・グラフィックを例証する図である。
【図３】ある好ましい実施形態における、ディスク上にある24フレーム毎秒の順次走査ビデオの補間段階と出力における60fpsのインターレースされた画面とを示す表である。
【図４】図１の画像信号処理デバイスのある好ましい実施形態における、合成段階より前にグラフィックリフレッシュレートを基準リフレッシュレートに上げるための、描画モジュールおよびその動作原理の概略図である。
【図５】図１の画像信号処理デバイスのある好ましい実施形態における、合成段階より前にビデオリフレッシュレートを基準リフレッシュレートに上げるための、３：２プルダウン処理モジュールの動作原理を例証する概略図である。
【図６】ある好ましい実施形態における合成段階におけるアルファ混合法を例証する一連の画像を示す図である。
【図７】次世代の映画グラフィックシステム規格に基づく画像処理方法または装置の規定のフロー図である。
【図８】図７の次世代の映画グラフィックシステム規格の規定を実装する画像信号処理方法または装置の実装のフロー装置である。
【符号の説明】
【００６７】
３ ビデオ画像信号
５ 単一のビデオ処理ライン
７Ａ、７Ｂ グラフィック画像信号
９Ａ、９Ｂ グラフィック処理ライン
１０ 画像信号処理方法／装置
１３ ソース
１５ ビデオデコーダ
１８Ａ、１８Ｂ 補間手段
１９Ａ、１９Ｂ 描画モジュール
２１Ａ、２１Ｂ グラフィックプレーン
２３ 合成モジュール
２５ ディスプレイ手段
２７ フレーム変換器
３３ 図
３５ アニメーション・グラフィック
３７ オブジェクト
３９ 動き
４１ 引き上げ段階
４３ 特性判定および判断モジュール／手段
４５ 重なり禁止モジュール／手段
４７ 循環オブジェクト定義モジュール／手段
４９ CLUT検出モジュール／手段
５１ データセグメント
５３ オブジェクト定義セグメント
５５ 構図セグメント
５７ CLUT制御セグメント
６０ フィルム
６１、６２、６３ フレーム
６１′、６２′、６３′ インターレースされたフィールド
６４ フィールドのストリーム
７１、７２ 画像
７３、７４、７５ セクション
１００ 次世代映画グラフィックシステム規格
１０３ ビデオ画像信号
１０５ ビデオ処理ライン
１０７ グラフィック画像信号
１０９ グラフィック処理ライン
１１１ ストリーム
１１３ ソース
１１５ ビデオデコーダ
１１７ ビデオプレーン
１１９ 描画モジュール
１２１ グラフィックプレーン
１２３ 合成モジュール
１２５ ディスプレイ手段
１２７ 処理モジュール
１２９ 出力ライン
１３１ 変換されたストリーム
２００ 次世代映画グラフィックシステムの実装
Gfx1、Gfx2 初期グラフィック画像描画段階
FI フレーム補間処理
PD プルダウン処理
【技術分野】
【０００１】
本発明は、グラフィック画像信号およびさらなる画像信号からの画像フィールドの合成ストリームを提供する画像信号処理方法に関する。本発明はまた、画像信号処理、コンピュータプログラムプロダクトならびにコンピューティングおよび／または記憶装置のためのそれぞれの画像信号処理デバイスおよび装置に関する。
【０００２】
映画のようなフィルムソースでは、画像信号は通常24画像フレーム毎秒のリフレッシュレートで与えられる。一見して、そのようなフィルムまたは映画の画像信号は、同じリフレッシュレートで、さらなる画像信号と称される、ビデオ画像信号または同様もしくは別の種類の画像信号に変換できる。だが、PALビデオ（25フレーム毎秒）またはNTSC（29.97フレーム毎秒）またはSMPTE（30フレーム毎秒）のような一般に知られているビデオ規格の標準的なリフレッシュレートを実現するためには初期フィルムリフレッシュレートを上げることが必要になる。そのような画面の例は、インターレースされた高精細度または標準精細度のテレビ画面である。また、たいていの現代のコンピュータモニタまたはその他の画面は非インターレースであり、24フレーム毎秒よりも高い周波数での更新レートをもつ。したがって、一般に、リフレッシュレート不一致の問題が起こる。すなわち、一般には問題は、フィルムまたはビデオの初期リフレッシュレートより高い更新レートをもつ画面上で高品質で出力を提供することである。
【背景技術】
【０００３】
従来技術においては、フィルムまたは映画の画像信号をビデオ画像信号に変換し、それにより上述したリフレッシュレート不一致の問題を克服するためのいくつかの解決策が知られている。一つのフレームは通常、そのような解決策の一部として二つのフィールドに変換される。フィールドとは、画像信号の、フィルムのオリジナルフレームのオリジナル、複製または補間からなりうるいくつかのピクチャーまたは画像のそれぞれを表す。フィールドのレートは以下ではフィールド毎秒（fps）として表される。
【０００４】
複数の現代の変換方式がフィルムスキャンシステムから知られている。その一例が、US5,260,787で開示されている、フィルムフレーム画像をビデオフィールド画像に変換し、逆にビデオフィールド画像をフィルムフレーム画像に変換するためのフレーム変換器の変換方式である。そのような変換プロセスは本来的に「ジャダー」として知られる時間的アーチファクトを生成する。ジャダーとは、画像が第一のフィールドレートまたはフレームレートでサンプリングされ、第二の異なるフィールドレートまたはフレームレート、たとえばディスプレイの更新レートに変換されるときに、動いている画像に付随するものである。結果として、ディスプレイにおける動きベクトルは常時変動する速度をもつように見えることがある。フレームまたはフィールドのリフレッシュレート変換が選択されたフレームまたはフィールドの単純な削除または反復によってなされる場合には、ジャダー・アーチファクトの主観的な効果は一層明白になる。
【０００５】
GB2249907はジャダー補償の問題に取り組んでいる。開示されている方法は、具体的には、24フレーム毎秒の順次走査フォーマットのデジタルビデオ信号の入力を30フレーム毎秒の順次走査フォーマットのデジタルビデオ信号の出力に変換するものである。出力フレームの入力フレームからの形成が、出力５フレームごとに少なくとも４フレームが入力フレームの一連のペアの間の動き補償された補間によって生成される。開示された種類のフレーム変換器における補間方式またはフレーム変換器におけるその他の予測アルゴリズムは、ジャダー・アーチファクトを以前よりは目に付かなくできるが、ジャダー・アーチファクトを信頼できる形で防止することはできない。
【０００６】
EP1215900は、テレシネ表示法と称される変換方法を開示している。その方法は、２：３（または３：２）のプルダウン処理およびテレシネ・デジタルビデオ信号に適用されるインターレースされた順次走査処理を有する。２：３のプルダウン処理は、もとのピクチャー・リフレッシュレートに基づいた第一のタイミング信号と同期している。さらなる処理は、テレシネ・デジタルビデオ信号に基づいた第二のタイミング信号と同期している。PDP（プラズマ・ディスプレイ・パネル）に呈示されるビデオ信号は、ここでフィルムソースのもとのピクチャー画像のリフレッシュレートを維持するためである。そのような同期プロセスはジャダー・アーチファクトを軽減する助けとなりうるが、いずれにせよジャダー・アーチファクトを防止することはできない。
【０００７】
このことは特に、消費者電子製品および情報電子製品、デジタル消費者装置、オーディオ／ビデオ情報および娯楽製品ならびにあらゆる種類のオーディオおよびビデオフロントエンド、たとえばMP4-net、Softworks、CryptoまたはSTBのような技術分野における現代のマルチメディアアプリケーションおよびマルチメディアシステムに関してあてはまる。これは、通常、画像信号の異なる複数の種類、特にグラフィック画像信号とさらなる画像信号とが合成ストリームにまとめられるからである。好ましくは、単一のリニアな多重化ストリームが、たとえば光記憶デバイス上に、または光再生デバイス上にインストールされる。
【０００８】
グラフィック画像信号はアニメーションを含みうる。アニメーションとは、たいていはピクチャーまたはメニューもしくはサブメニューといった圧縮ビットマップの形の、画面上に動かされる任意の種類の可動グラフィック・オブジェクトとして理解されるべきである。動いているアニメーションのようなグラフィック画像信号をビデオのような前記さらなる画像信号に加えると、グラフィック画像信号とさらなる画像信号との合成ストリームが生じる。この合成ストリームは「アニメーション・ジャダー」と表される新たな問題を受ける。アニメーション・ジャダーは、前記さらなる画像信号がさらなるリフレッシュレートで与えられ、前記グラフィック画像信号がグラフィックリフレッシュレートで与えられ、両信号がより高いリフレッシュレートで画像フィールドのストリームに合成される必要があるときに生じる。
【０００９】
上述した従来技術の施策、たとえば２：３プルダウン処理またはフレーム間の動き補償された補間は（補間はジャダー・アーチファクトを除去するいかなる種類の補間アルゴリズムであってもよい）、異なる種類の画像フィールドのすでに合成されたものの変換処理に適用される。これは、アニメーション・ジャダーの問題を除去するにはあまり効果的ではない。その代わり、ジャダー・アーチファクトはしばしば顕著に大きくなる。というのも、グラフィック処理ラインおよびさらなる処理ラインという、質の異なる少なくとも二つの処理ラインがあるからである。第一に、もとのフィルムまたは初期ビデオ素材におけるモーション・ブラーはしばしば、すでにある程度までジャダー・アーチファクトを隠蔽する。しかしながら、グラフィック画像信号、たとえばビットマップの３：２のプルダウンまたは自然の動き補償されたフレーム補間で処理された画像フィールドでは、ソース素材中にジャダー・アーチファクトを部分的に隠蔽してくれるモーション・ブラーはない。第二に、上記の従来技術では、動き補償されたフレーム補間または３：２のプルダウンまたは等価な処理は、ビデオ画像信号に合わせて調整されており、よってグラフィック画像信号の個別的な要求を無視している。グラフィックおよびさらなる画像信号の並列処理やアニメーション・ジャダーの問題は取り組まれてもいなければ解決されてもいない。
【００１０】
グラフィック画像信号とさらなる画像信号との合成の場合にも信頼できる形でジャダー・アーチファクトが補償され、グラフィックおよび／または画像信号のリフレッシュレートより高い更新レートをもつディスプレイでの高品質出力が達成されるようにするコンセプトが望ましい。
【発明の開示】
【発明が解決しようとする課題】
【００１１】
そこで本発明の出番となる。本発明の目的は、グラフィック画像信号およびさらなる画像信号、たとえばビデオ画像信号からの画像フィールドの合成ストリームを与えるための画像信号処理方法および画像信号処理装置、ならびに、それぞれ装置、コンピュータプログラムプロダクトならびにコンピュータおよび／または記憶装置であって、効率的かつ信頼できる形でジャダー・アーチファクト、特にアニメーション・ジャダー・アーチファクトを防止するものを提供することである。
【課題を解決するための手段】
【００１２】
方法については、前記目的は、グラフィック画像信号およびさらなる画像信号からの画像フィールドの合成ストリームを与えるための画像信号処理方法であって：
・少なくとも一つのグラフィック処理ラインにおいてグラフィックリフレッシュレートで前記グラフィック画像信号の画像フィールドを提供する段階と；
・少なくとも一つのさらなる処理ラインにおいてさらなるリフレッシュレートで前記さらなる画像信号の画像フィールドを提供する段階と；
・前記グラフィック画像信号の画像フィールドどうしの間の補間をすることによって前記グラフィックリフレッシュレートをある基準リフレッシュレートに上げる段階と；
・前記さらなる画像信号と前記グラフィック画像信号を画像フィールドの合成ストリームに合成する段階、
とを有する方法によって達成される。上に定義された処理方法は、アニメーション・ジャダー補償をしたグラフィック画像信号およびさらなる画像信号の処理方法とも称することができる。少なくとも一つのグラフィック処理ラインおよび少なくとも一つのさらなる処理ラインが使用される。さらなる画像信号とは、フィルムまたは映画のようないかなる種類のビデオまたはオーディオ／ビデオ画像信号を含んでいてもよい。グラフィック画像信号はいかなる種類のグラフィック・オブジェクト、アニメーション・グラフィック、メニューまたはサブメニューを含んでいてもよい。両信号は好ましくはデジタル信号、たとえばmpeg-2ビデオデコーダのような、性質上デジタルであるソースからの信号として与えられる。合成する段階は、合成ストリームが、ビデオおよびグラフィック画像信号からの画像フィールドの単一の多重化されたストリームとして与えられる多重化段階であってもよい。補間は一般に、曲線上の二つ以上の既知の点の間の欠けている点を埋めるいかなる種類のものとも見なされうる。原理的には、補間はグラフィック・コンテンツにおいてピクセルごとに実行できるが、今の場合、補間は好ましくはグラフィック画像信号の画像フィールドどうしの間でオブジェクトごとに実行される。グラフィック画像信号に適用される補間方法は好適および／または単純ないかなる方法であってもよい。
【００１３】
本発明の主たるコンセプトによれば、第一に、グラフィックリフレッシュレートは、合成する段階より前にすでに基準リフレッシュレートまで上げられる。基準リフレッシュレートは有利にはディスプレイ手段の所定の更新レートである。これは、合成する段階が、入力画像信号のリフレッシュレートよりも高いある基準リフレッシュレートにあるグラフィックリフレッシュレートをもつグラフィック画像信号に対して実行されるということを意味している。第二に、グラフィックリフレッシュレートの基準リフレッシュレートへの引き上げは、グラフィック画像信号の画像フィールドどうしの間を補間することによって達成される。よって、補間は処理のグラフィック部分においてすでに実行され、その後、グラフィック画像信号の画像フィールドは、合成段階の前に上げられた基準リフレッシュレートに基づいてさらに処理されることができる。
【００１４】
この容易に適用できるコンセプトの重要な、驚くべき利点は、かなり洗練された現状技術に比べて、著しくよりよいジャダー補償、特にアニメーション・ジャダー補償が達成されるということである。前記現状技術においては、ジャダー補償のための施策はビデオ画像信号だけに、または最終的な画像フィールドのストリームだけに適用される（たとえばGB2249907のように）。さまざまなさらなる利点が前記主要なコンセプトによって達成される。それらは本発明の発展した構成から直接的に明らかであり、従属する方法請求項においてさらに述べられる。
【００１５】
本発明の特に好ましい発展した構成では、本画像信号処理方法は、ビデオ画像信号およびグラフィック画像信号からの画像フィールドの合成ストリームを提供するために設計され：
・少なくとも一つのグラフィック処理ラインにおいてグラフィックリフレッシュレートでグラフィック画像信号の画像フィールドを提供する段階と；
・少なくとも一つのビデオ処理ラインにおいてビデオリフレッシュレートでビデオ画像信号の画像フィールドを提供する段階と；
・合成する段階の前に、前記グラフィック画像信号の画像フィールドどうしの間の補間をすることによって前記グラフィックリフレッシュレートを基準リフレッシュレートに上げる段階と；
・前記ビデオ画像信号と前記グラフィック画像信号を、前記グラフィック画像信号および／またはビデオ画像信号の入力リフレッシュレートよりも高いある所定の基準リフレッシュレートでの画像フィールドの合成ストリームに合成する段階、
とを有する。
【００１６】
こうして、本発明の概念はビデオ画像信号およびグラフィック画像信号から画像フィールドの合成ストリームを提供するために有利に適応される。ここで、さらなる画像信号はビデオ画像によって形成され、さらなるリフレッシュレートはビデオリフレッシュレートによって提供され、さらなる処理ラインはビデオ処理ラインによって形成される。
【００１７】
前記処理方法は、具体的に、一つのビデオ処理ラインおよび二つのグラフィック処理ラインを含むいかなる種類のビデオ信号および／またはグラフィック信号にも適用されうる。
【００１８】
前記画像信号処理方法およびその発展した構成は、デジタル回路に付随する利点が得られるようないかなる好ましい種類のデジタル回路を有するデバイスによって実装されてもよい。請求項で述べられる、または詳細な説明で説明されたり図面に示されたりするいくつかの手段の機能を単一のプロセッサまたはその他のユニットもしくはモジュールが満たしてもよい。
【００１９】
デバイスに関しては、本発明は、グラフィック画像信号およびさらなる画像信号からの画像フィールドの合成ストリームを与えるための画像信号処理デバイスであって：
・グラフィックリフレッシュレートでグラフィック画像信号の画像フィールドを提供するための少なくとも一つのグラフィック処理ラインと；
・さらなるリフレッシュレートでさらなる画像信号の画像フィールドを提供する少なくとも一つのさらなる処理ラインと；
・前記さらなる画像信号と前記グラフィック画像信号を画像フィールドの合成ストリームに合成する合成モジュールと；
・前記グラフィック画像信号の画像フィールドどうしの間の補間をすることによって前記合成モジュールより前に前記グラフィックリフレッシュレートをある基準リフレッシュレートに上げるための補間手段を有する、前記少なくとも一つのグラフィック処理ラインの中の描画モジュール、
とを有するデバイスにもつながる。
【００２０】
本発明のコンセプトはまた、従属するデバイス請求項において述べられる画像信号処理デバイスの発展した構成に従って柔軟に適応されてもよい。
【００２１】
本発明はまた、上記のような画像信号処理デバイス、画像記憶デバイスおよび／またはディスプレイ手段を有する画像信号処理のための装置にもつながる。
【００２２】
本発明はまた、コンピューティングデバイスによって可読な媒体上に記憶可能な、前記コンピューティングデバイス上で実行されたときに前記コンピューティングデバイスをして上記のような方法を実行せしめるソフトウェアコード・セクションを有するコンピュータプログラムプロダクトにもつながる。
【００２３】
本発明はまた、前記コンピュータプログラムプロダクトを実行および／または記憶するための、コンピューティングおよび／または記憶デバイス、特に光学式記憶装置または光学式システムにもつながる。
【００２４】
これらのことを含む本発明のさまざまな側面は、以下に記載する好ましい実施形態から明らかとなり、これを参照することで明快にされるであろう。もちろん、本発明の記載において構成要素および方法論について考えられるあらゆる構成を記述することは不可能であるが、通常の当業者は、本発明の数多くのさらなる組み合わせおよび並べ替えが可能であることを認識するであろう。特に、上記の諸技法は次世代のグラフィックおよびさらなる画像信号フォーマットのためのアニメーション・ジャダー補償に適用される。本発明は、ブルーレイ・フォーマットのような次世代の映画およびグラフィック・フォーマットのために格別の用途をもち、これに関連して説明するが、本発明のコンセプトは、映画、グラフィックまたはビデオ・フォーマットの他の形に関しても、グラフィックおよびさらなる画像信号から画像フィールドの合成された、特に多重化されたストリームを出力するために動作可能であることは理解されるべきである。たとえば、本発明のコンセプトは、原理的には、DVD、MHP、DVB-STもしくはDVB字幕のようなアニメーションまたはJava（登録商標）グラフィックもしくはSMILもしくはFlashとして知られるアプリケーションを使用するあらゆる既存のオーディオ／ビデオ再生システムに適用されることができる。
【００２５】
本発明のより完全な理解のために、付属の図面が参照される。
【発明を実施するための最良の形態】
【００２６】
図７を参照して、まず、例示的な次世代の映画グラフィックシステム規格について手短に述べる。このシステムは以下では次世代システムと称する。
【００２７】
例示的な次世代映画グラフィックシステム規格は、DVD（デジタルビデオディスク）、MHPまたはDVB-STグラフィックシステムのような、アニメーションを使う既存の他のオーディオ／ビデオ再生システムより精巧である。これは、次世代システムがグラフィック画像信号、特にアニメーションのための、比較的なめらかな動きをもつよりよいサポートをもつためである。次世代システムは、グラフィック画像信号およびさらなる画像信号（本実施形態ではビデオ画像信号）の画像フィールドの合成ストリームを提供するための具体的な画像信号処理方法１００を規定している。
【００２８】
次世代システムによれば、そのような方法１００は：
・少なくとも一つのグラフィック処理ライン１０９においてグラフィックリフレッシュレートでグラフィック画像信号１０７の画像フィールドを提供する段階と；
・少なくとも一つのビデオ処理ライン１０５においてビデオリフレッシュレートでさらなる画像信号、ここではビデオ画像信号１０３の画像フィールドを提供する段階と；
・前記ビデオ画像信号１０３と前記グラフィック画像信号１０７を、画像フィールドの合成ストリーム１１１に合成する段階、
とを有する。
【００２９】
ビデオ画像信号１０３およびグラフィック画像信号１０７は通常、ソース１１３、たとえば記憶デバイスから取られる。次世代映画グラフィックシステムのある特定の仕様として、一つのビデオ処理ライン１０５が設けられ、二つのグラフィック処理ライン１０９が設けられる。ビデオ画像信号１０３はビデオデコーダ（V-Dec）１１５に与えられ、ビデオデコーダ１１５はビデオ画像信号１０３をさらに処理してビデオ処理ラインを通じてビデオプレーン（V-Pl）１１７にビデオ画像信号を与える。グラフィック画像信号１０７はさらに描画モジュール１１９（Gfx1、Gfx2）によって処理される、描画モジュール１１９はグラフィック画像信号１０７をグラフィック処理ライン１０９を通じてグラフィックプレーン（G-Pl1、G-Pl2）１２１に提供する。
【００３０】
ビデオ画像信号１０３およびグラフィック画像信号１０７を画像フィールドの合成ストリーム１１１に合成するために合成モジュール１２３が使用される。画像フィールドのストリーム１１１は出力として、たとえばディスプレイ手段１２５の形の出力デバイスに与えられる。
【００３１】
次世代映画グラフィックシステム規格そのものはビデオ画像信号１０３、グラフィック画像信号１０７、ストリーム１１１のいずれについても画像フィールドの単一の固定したリフレッシュレートを指定していない。次世代システムはまた、入力信号のリフレッシュレートと処理チェーンが生成する出力信号のリフレッシュレートとの間の関係も指定していない。入力レートは、ソース１１３に保存されているコンテンツの作者が指定できる。出力レートは、接続されている出力デバイスの機能によってあらかじめ決まりうる。有利には、ソース１１３上のビデオ画像信号１０３は24フィールド毎秒（fps）の順次走査ビデオ素材である。さらに、グラフィック画像信号１０７および特にアニメーションも24fpsの最大リフレッシュレートで与えられる。次世代映画グラフィックシステム規格の実装におけるそれぞれのリフレッシュレートが個別の入力および出力とともに図８に示されている。図８は、次世代システムにおける画像信号処理方法または装置２００の実装のフロー図を示している。ここでは、３：２のプルダウン処理（PD）および／または動き補償されたフレーム補間（FI）処理が合成段階の後で合成ストリームに対して適用される。図７と同じ機能および意味をもつ特徴は図８でも同じ参照符号で表されている。順次走査ビデオ画像信号１０３およびグラフィック画像信号１０７の具体例がディスプレイ手段１２５、たとえばインターレース式の高精細度もしくは標準精細度テレビ画面の更新レート60fps（30フレーム毎秒）に対するソース１１３上の24fpsのリフレッシュレートの場合についてアニメーション・ジャダー問題を例解するために与えられている。画像フィールドのストリーム１１１の24fpsのリフレッシュレートをディスプレイ手段１２５の60fpsの更新レートに上げるために、３：２のプルダウン（PD）および／または動き補償されたフレーム補間（FI）処理モジュール１２７が、出力ライン１２９においてディスプレイ手段１２５より前に、合成モジュール１２３の背後で実装される。
【００３２】
３：２のPD処理の例示となる詳細な記述がEP1215900A2の開示からとれる。本応用ならびに特に次世代システムおよび本発明のコンセプトの目的のためには、３：２のPD処理は、３つまたは２つの後続のインターレースされたフィールドとして一連の映画フレームを出力する動作として理解される。これについては図５を参照してさらに述べる。この意味で、１フィールドは１フレームの半分であり、フィールドは奇数番目または偶数番目の走査線のどちらかをもつと理解される。
【００３３】
画像フィールドのすでに合成されたストリーム１１１に作用する補間方式の例示的な詳細な記述はGB2249907からとれる。本応用ならびに特に次世代システムおよび本発明のコンセプトの目的のためには、画像のストリームに適用されるいかなる種類のピクセル補間アルゴリズムも、動き補償されたフレーム補間（FI）処理として理解される必要がある。特に、FI処理は動いているピクチャー要素の動きの軌跡を計算する。高度なノイズ削減、なめらかな動き再生ならびに改良された鮮鋭さおよび細部がFI処理に組み込まれて、高品質のちらつきのないピクチャーを提供してもよい。図８の例示的な次世代の映画グラフィックシステムの実装によれば、ジャダー補償を達成するための第一の試みは、合成モジュールの24fpsの出力を３：２PD&FI処理モジュール１２７に加えることによって提供される。ビデオ画像信号とグラフィック画像信号を合成したもののストリーム１１１のリフレッシュレートはディスプレイ手段１２５の60fpsの更新レートに上げられる。変換されたストリーム１３１は出力ライン１２９上でディスプレイ手段１２５に与えられる。
【００３４】
モジュール１２７におけるデジタル３：２PD&FIまたは等価な処理にもかかわらず、次世代システムの実装２００に基づく、ディスプレイ手段１２５の形の出力に示されるアニメーションはいまだ、根底にあるビデオ画像信号１０３のジャダー・アーチファクトよりも顕著に大きいジャダー・アーチファクトを有している。その理由として、まず、ビデオ画像信号におけるジャダーの一部がしばしばモーション・ブラーによって隠蔽されるのに対し、グラフィック画像信号のアニメーションビットマップにはモーション・ブラーがない。第二に、モジュール１２７のデジタルFIまたは等価な処理アルゴリズムはビデオ画像信号に合わせて調整されており、ビットマップ・アニメーション・コンテンツに合わせてではない。画像フィールドのストリーム１１１はビデオ画像信号１０３およびグラフィック画像信号１０７から合成されるので、次世代システム１００の実装２００は効果的にアニメーション・ジャダーを防止できないのである。
【００３５】
本発明は、アニメーション・ジャダーの問題は次世代の、グラフィック画像信号とさらなる画像信号とが合成されたフォーマットにとって特に重要であることを認識するに至った。アニメーション・ジャダーは、この場合ならびに合成されたグラフィックおよびさらなる画像信号が入力画像信号のリフレッシュレートよりも高い所定の基準リフレッシュレートに変換される同様の場合に起こる。
【００３６】
〈本発明の好ましい実施形態の記載〉
図１は、ビデオ画像およびグラフィック画像信号から画像フィールドの合成ストリームを与えるための画像信号処理方法１０の好ましい実施形態を示している。図１はまた、画像フィールドの合成ストリーム１１を提供するための画像信号処理デバイス１０を例解するためにも使える。これから述べる好ましい実施形態１０は、単一のビデオ処理ライン５および二つのグラフィック処理ライン９Ａ、９Ｂをもつ、図７および図８を参照して記載される例示的な次世代映画グラフィック・フォーマット１００および２００について特に意図されている。ただし、本発明がそれに限定されるものではなく、別の映画・グラフィック・フォーマット内でも、特に図１に示したものと比べてより多くの処理ラインまたは別の処理ラインをもつフォーマット内でも機能するよう容易に適応できることは理解されるであろう。当業者は、本発明のコンセプトの精神から外れることなく、他のいかなる数の処理ラインでも、たとえば二つ、三つまたはそれ以上のビデオ処理ラインおよび／または一つ、二つ、三つ、四つまたはそれ以上のグラフィック処理ラインが利用可能であることを理解するであろう。
【００３７】
したがって、本方法の好ましい実施形態は：
・少なくとも一つのグラフィック処理ライン９Ａ、９Ｂにおいてグラフィックリフレッシュレートでグラフィック画像信号７Ａ、７Ｂの画像フィールドを提供する段階と；
・少なくとも一つのビデオ処理ライン５においてビデオリフレッシュレートでビデオ画像信号３の画像フィールドを提供する段階と；
・前記ビデオ画像信号３と前記グラフィック画像信号７Ａ、７Ｂを画像フィールドの合成ストリームに合成する段階、
とを有する。
【００３８】
グラフィックリフレッシュレートはグラフィック処理ライン９Ａ、９Ｂにおけるグラフィック画像信号７Ａ、７Ｂのリフレッシュレートである。ビデオリフレッシュレートはビデオ処理ライン５におけるビデオ画像信号３のリフレッシュレートである。
【００３９】
図１の具体的な好ましい実施形態では、画像信号３、７Ａ、７Ｂはソース１３から24fpsの入力リフレッシュレートでとられる。ソース１３は光学式記憶デバイス、たとえば光記憶ディスクとして実現される。本発明のコンセプトによれば、図７および図８に示した実例１００および２００とは対照的に、合成段階は、入力画像信号３、７Ａ、７Ｂの24fpsの初期リフレッシュレートよりも高い所定の基準リフレッシュレートにすでになった状態で実行される。図１の例では、所定の基準リフレッシュレートは、出力ライン２９の終わりにあるディスプレイ手段２５の更新レートに対応する60fpsである。合成段階は合成モジュール２３によって実行される。
【００４０】
本発明のコンセプトの鍵となる点として、図７および図８の実例１００および２００とは対照的に、グラフィックリフレッシュレートは合成段階より前に基準リフレッシュレートに上げられる。これはすなわち、グラフィック画像信号７Ａ、７Ｂの画像フィールドの間を補間することによってである。画像信号処理デバイス１０はこの目的のために、24fpsのグラフィックリフレッシュレートを合成モジュール２３より前に60fpsの基準リフレッシュレートに上げるために、描画モジュール１９Ａ、１９Ｂを前記少なくとも一つのグラフィック処理ライン９Ａ、９Ｂに有している。描画モジュール１９Ａ、１９Ｂはそれぞれグラフィック・ペインターGfx1およびGfx2として形成される。描画モジュール１９Ａ、１９Ｂは、グラフィック画像信号９Ａ、９Ｂの画像フィールドの間を補間するための補間手段１８Ａ、１８Ｂを有している。
【００４１】
図１の好ましい実施形態では、リフレッシュレートを上げる段階は、前記少なくとも一つのグラフィック処理ライン９Ａ、９Ｂにおける初期描画段階によって形成されるので、描画モジュール１９Ａ、１９Ｂは処理ライン９Ａ、９Ｂにおいて入力リフレッシュレートの初期入力グラフィック信号７Ａ、７Ｂを受け取る初期モジュールである。描画モジュール１９Ａ、１９Ｂは、グラフィック画像信号７Ａ、７Ｂが60fpsという高められたグラフィックリフレッシュレートで出力されるよう補間を行う。この高められたグラフィックリフレッシュレートはすでに60fpsの基準リフレッシュレートに対応し、またディスプレイ手段２５の60fpsの更新レートにも対応している。
【００４２】
グラフィック画像信号７Ａ、７Ｂはさらに二つのグラフィック処理ライン９Ａ、９Ｂに沿って処理され、それぞれグラフィックプレーン２１Ａ、２１Ｂ（G-Pl1、G-Pl2）に与えられる。これは、グラフィック画像信号７Ａ、７Ｂがすでに60fpsのリフレッシュレートになった状態でグラフィックプレーン２１Ａ、２１Ｂに届けられ、さらに合成モジュール２３にもリフレッシュレート60fpsで与えられることを意味している。
【００４３】
これに対し、ビデオリフレッシュレートは、入力画像信号３の24fpsという初期入力リフレッシュレートである。入力画像信号３は前記少なくとも一つのビデオ処理ライン５における初期ビデオ復号段階によって提供される。この目的のためにビデオデコーダ１５がビデオ処理ライン５に配置されている。その後、ビデオ画像信号３はビデオデコーダ１５によってビデオ処理ライン５を通じて、同じ24fpsのリフレッシュレートでビデオプレーン（V-Pl）１７に与えられる。したがって、ビデオ画像信号３はビデオプレーン１７に24fpsのリフレッシュレートで与えられる。これに対し、グラフィック画像信号７Ａ、７Ｂはグラフィックプレーン２１Ａ、２１Ｂに60fpsのリフレッシュレートで与えられるが、このリフレッシュレートはすでにディスプレイ手段２５の更新レートに対応しており、対応するビデオリフレッシュレートを超えるものである。
【００４４】
ビデオ処理ライン５でビデオ画像信号３を処理する目的のため、ビデオリフレッシュレートはその後、やはり合成段階より前に３：２のプルダウン（PD）処理および／または動き補償されたフレーム補間（FI）処理によって基準リフレッシュレートに上げられる。ビデオ画像信号フィールドの他の種類の自然な動き（NM: natural motion）処理も同様に適用されうる。３：２のPD&FI処理は、ビデオ処理ライン５に配置されたフレーム変換器２７によって実行される。
【００４５】
フレーム変換器２７のあとでは、ビデオ画像信号３のリフレッシュレートはディスプレイ手段２５の更新レートに対応する60fpsに上げられている。こうして、処理のこの段階で、ビデオ画像信号３およびグラフィック画像信号７Ａ、７Ｂは両方とも同じ所定の基準リフレッシュレートの60fpsで合成モジュール２３に与えられる。合成段階は、ディスプレイ手段２５の更新レートに対応する所定の基準リフレッシュレートで、合成モジュール２３において実行される。ビデオ画像信号３およびグラフィック画像信号７Ａ、７Ｂからの画像フィールドのストリーム１１も所定の基準リフレッシュレートで出力される。したがって、ストリーム１１はさらなる処理なく出力ライン２９を通じてディスプレイ２５にそのまま与えるのに好適である。
【００４６】
まとめると、図１を参照して記載した本画像信号処理方法および画像信号処理デバイス１０は、ジャダー、特にアニメーション・ジャダーを、上述した施策のおかげで他のシステムよりずっと効率的に補償できる。描画モジュール１９Ａ、１９Ｂは補間モジュール１８Ａ、１８Ｂをもって拡張され、それによりグラフィック画像、特に動いているオブジェクトなどのようなアニメーションを所定のリフレッシュレートで、特にディスプレイ手段２５の更新レートに対応するリフレッシュレートで描画するようになる。図１の例では、このリフレッシュレートは60fpsである。ビデオ画像信号３およびグラフィック画像信号７Ａ、７Ｂをビデオ３およびグラフィック画像信号７Ａ、７Ｂからの画像フィールドの合成ストリーム１１に合成することは、処理の後の段階で合成モジュール２３において実行される。
【００４７】
図１のグラフィックプレーン２１Ａ、２１Ｂの例が図２に示されている。本発明のコンセプトに基づく例示的な次世代映画グラフィックシステムの好ましい実施形態の基本的側面についてこれから図２を参照しつつ述べる。図２は、図１を参照しつつ述べたグラフィックプレーン２１Ａ、２１Ｂにおけるグラフィックアニメーション３５の図（drawing）３３を示している。画面上のアニメーション３５の動いているオブジェクト３７は当技術分野では「スプライト」とも称される。例示的な次世代映画グラフィックシステムは、合成モジュール２３でビデオ画像信号３のビデオ画像に合成される、二つのグラフィックプレーン２１Ａ、２１Ｂにおけるグラフィック画像、特にアニメーション３５の可能性を予見する。各プレーン２１Ａ、２１Ｂ上のアニメーション３５は、ソース１３から読まれ、プレーヤーのＲＡＭメモリ内に一時的にキャッシュされうるグラフィックデータセグメントによって制御される。グラフィックデータセグメントは通常、ビデオ画像信号３のオーディオ／ビデオデータと合成されて単一のリニアな多重化されたストリーム１１にされる。そのような多重化ストリーム１１は、ディスク上に保存されてもよいし、あるいは図１を参照して説明したように出力ライン２９で出力、たとえばディスプレイ手段２５に与えられてもよい。
【００４８】
一般に、二つの型のセグメントが区別できる。第一に、参照符号３７のもののようなオブジェクト定義セグメントは圧縮されたビットマップ、たとえば自動車のビットマップを含みうる。ビットマップは圧縮解除され、プレーヤーＲＡＭ内でビットマップバッファ内に保存される。第二に、構図（composition）セグメントは、矢印３９によって示される動きのように、図３３を制御するはたらきをする。単一のセグメントは特定の時間コードにおける画面上の単一の静止画像を記述する。その状況が図２に描かれている。静止画像はオブジェクト３７によって表されている。短い間隔の時間コードをもつ一連のセグメントを使って、動いている自動車のようなアニメーション効果を生成できる。たとえば、あるディスクは以下の構図セグメント３９を含むことができる（単純化された表現で）：
・構図セグメント第１：時間コード10にオブジェクト３７を(X,Y)位置(0,100)に示す
・構図セグメント第２：時間コード20にオブジェクト３７を(X,Y)位置(10,100)に示す
・構図セグメント第３：時間コード30にオブジェクト３７を(X,Y)位置(20,100)に示す
・構図セグメント第４：時間コード40にオブジェクト３７を(X,Y)位置(30,100)に示す
この例では、自動車のビットマップの形のオブジェクト３７はアニメーション３５によって動かされ、グラフィックプレーン２１Ａ、２１Ｂまたはディスプレイ手段２５の左から出発して右に移動する。
【００４９】
次世代システムによれば、セグメントの時間コードはビデオフィールドのタイミングに整列している必要がある。各時間コードは、ビデオプレーン１７上の画像フィールドのビデオストリームとして呈示されるビデオ画像信号３中の一つのフィールドの厳密な呈示時間コードと一致しなければならない。構図セグメントはビデオ中の各フィールドにとって必ずしも必須ではない――新たなセグメントがなければ、直近のセグメントが表示され続ける。なめらかなアニメーションを得るためには、一般に、各フィールドのために新たな構図セグメントが指定される。
【００５０】
図３は、グラフィック画像信号７Ａ、７Ｂの画像フィールドどうしの間を補間するための補間手段の例を示している。今の例では、グラフィックリフレッシュレートは、24fpsの入力リフレッシュレートにあるグラフィック画像信号７Ａ、７Ｂの画像フィールドにおける既知のオブジェクト位置の補間によって、ディスプレイ手段２５の更新レートの形の基準リフレッシュレートに上げられる。ビデオ画像信号３の入力形３′が図３の第一行に示されている。補間されたグラフィック画像信号７Ａ、７Ｂの画像フィールド中の補間されたオブジェクトの位置は60fpsの所定の基準リフレッシュレートで与えられている。これがグラフィック処理ライン９Ａ、９Ｂの描画モジュール１９Ａ、１９Ｂの後での状況である。ビデオ画像信号３の補間された形３″が図３の第二行に示されている。図３の最後の行は時間コードを示す。
【００５１】
通常の当業者は、数多くの補間方法、すなわち既知の点を通る曲線上の欠けている点を埋める方法が当技術分野において知られていることを認識するであろう。用途に依存して、線形補間、多項式補間またはスプライン補間などの補間方式が、グラフィック画像信号の画像フィールドの間を補間するために使用されうる。
【００５２】
図１の補間手段１８Ａ、１８Ｂの具体的な好ましい発展した修正が図４を参照して記載されている。図４は描画モジュール１９Ａ、１９Ｂ内の、グラフィックリフレッシュレートを基準リフレッシュレートに引き上げるための補間手段１８Ａ、１８Ｂの実装の図である。引き上げ段階の要素は参照符号４１によって示されている。補間手段１８Ａ、１８Ｂは、補間段階をさらに調整するためのさらなるモジュール４３、４５、４７、４９を有する。描画モジュール１９Ａ、１９Ｂは、矢印の流れの線によって示されるようにグラフィックデータセグメント５１に作用する。グラフィックの上では、データセグメント５１はオブジェクト定義セグメント５３、構図セグメント５５および色探索表セグメント５７を有することが示されている。これらについては以下で述べる。補間段階４１は特に、グラフィック・オブジェクトの位置に影響し、それにより60fpsリフレッシュレートになったグラフィック画像信号をグラフィックプレーン２１Ａ、２１Ｂに提供する。
【００５３】
好ましい実施形態のある発展した修正では、本画像信号処理方法はさらに：
・グラフィック画像信号７Ａ、７Ｂのアニメーション・グラフィックは少なくとも一つもしくは複数のオブジェクト定義セグメント５３および／または一つもしくは複数の構図セグメント５５および／または一つもしくは複数の色探索表制御セグメント５７に基づいており；ここで、
・補間段階は、アニメーション・グラフィック３５のオブジェクト３７のための動き補間を含む、
ことを特徴とする。
【００５４】
オブジェクト３７の動き３９は、適合施策（tailoring measure）４３として特性判定される。ここではたとえば図３のような動き補間を適用するか否かの判断が出力される。換言すれば、補間手段は、そもそも何らかのセグメント間の動き補間が用いられるべきかどうかを判断するための特性判定および／または判断モジュール４３を有する。判断はオブジェクトごとにできる。この特性判定および／または判断モジュール４３の理由は、一般に、図３に示されたように連続する各フィールドについて構図セグメント５５をもつことが必須であるということである。場合によっては、次世代映画グラフィックシステム規格は、普通なら望まれるいくつかのセグメントを、それらを含めれば規格によって指定される基準描画エンジンのリソースを超えるグラフィック描画負荷が発生するので、省略を強制することさえあるであろう。したがって、補間手段は１フィールドまたは１フレームよりも大きな距離にわたって補間する何らかの施策を講じる必要があるであろう。他方、二つの構図セグメントの間の距離が非常に大きい場合には、ディスク作者が意図したのはなめらかな動きではなくむしろオブジェクトの「ジャンプする」動きであることがありうる。後者の状況と前者の状況を弁別するため、判断モジュールは、動きを特性判定、特にオブジェクトごとにいくつかのセグメント間の動き補間がそもそも使われるべきかどうかを判断するためのある種の手段を有している。
【００５５】
好ましい実施形態のあるさらなる発展した修正は、補間段階が次よりなる群から選ばれる施策４５の一つまたは複数を有していることを特徴とする。
・別のオブジェクトとの重なりが防止されるよう、オブジェクト３７の軌跡３９を調節する；
・別のオブジェクトに重なるオブジェクト３７の部分を無効にする；
・オブジェクト３７と別のオブジェクトとの重なりを、透明ピクセル以外については禁止する、
この適合施策は、次世代システムでは、二つ以上のオブジェクト３７が画面上で同時に動くことができることを認識する。にもかかわらず、オブジェクトの重なりは許されない。そのような施策によって計算時間が有利に低く保たれるからである。個別的な例では、すべてのオブジェクトは長方形のビットマップを有しており（長方形でないオブジェクトについては一部のピクセルは透明）、オブジェクトの長方形ビットマップは構図セグメント５５によって指定される描画命令において決して重なってはならない。この規則は、描画処理の実装をより容易にし、以前ほどリソース集約的でなくす。構図セグメント５５の間で補間がなされるときには、それでもいくつかのビットマップが重なることはありえ、それは描画モジュール１９Ａ、１９Ｂにおいて提供される描画プロセスのためには問題となりうる。好ましい実施形態の発展した修正では、上記の施策は重なり禁止モジュール４５において提供され、オブジェクト３７の重なりを検出したりおよび／または正したりするはたらきをする。
【００５６】
好ましい実施形態のあるさらなる発展した修正では、補間段階が次よりなる群から選ばれる施策４７の一つまたは複数を有する。
・連続する構図セグメント５５で、比較的互いに近いオブジェクト位置をもつオブジェクトを検出する、
・大きさが同程度であるおよび／または透明でないピクセルの数が同程度であるオブジェクトを検出する、
・一致順（matching order）の複数のオブジェクトを有する構図セグメント５５を検出する、
そのような施策は、好ましくは、同じ測度であり複数回循環して出現する複数の同じオブジェクトを検出するよう特に適応されている追加的モジュール４７において提供される。このさらなる適合施策の詳細な説明を与えるため、図２のオブジェクト３７は自動車のビットマップを含んでおり、グラフィックプレーン２１Ａ、２１Ｂの上を動く（参照符号３９）。より複雑な例は、たとえば人がグラフィックプレーン２１Ａ、２１Ｂの上を歩く運動を含むアニメーションを作ることである。後者の状況では、人の脚または腕のような複数のオブジェクトが循環的に示され、各オブジェクトは異なる位置における人の脚または腕を示すビットマップをもつ。これは補間のための追加的な困難を含意する。異なるセグメント５３、５５についてはオブジェクト番号が異なることがありうるからである。たとえば：
・構図セグメント第１５１：時間コード110にオブジェクト３を(X,Y)位置(0,100)に示す
・構図セグメント第１５２：時間コード120にオブジェクト３を(X,Y)位置(10,100)に示す
・構図セグメント第１５３：時間コード130にオブジェクト４を(X,Y)位置(20,100)に示す
・構図セグメント第１５４：時間コード140にオブジェクト４を(X,Y)位置(30,100)に示す
・構図セグメント第１５５：時間コード150にオブジェクト５を(X,Y)位置(40,100)に示す
・構図セグメント第１５６：時間コード160にオブジェクト５を(X,Y)位置(50,100)に示す
したがって、循環オブジェクト定義モジュール４７は、上に挙げたような方法段階を処理するためのいくつかの有用なアルゴリズムを含意しており、補間手段１８Ａ、１８Ｂにおいて提供される。循環オブジェクト定義モジュール４７は、たとえば上に示したオブジェクト３およびオブジェクト４は本当に同じメタオブジェクトであり、よってたとえばセグメント第１５２および第１５３の間の補間が可能であると判断する。
【００５７】
あるさらなる適合施策４９は、次世代映画グラフィックシステム規格が色探索表（CLUTs: color look-up tables）をそのグラフィックサブシステムの一部として許容するかもしれないということを考慮に入れている。コンテンツ作者はこの場合、色探索表制御セグメント５７を作成された多重化ストリームに加えることによって、色探索表の内容を高速に（たとえばグラフィックフレームレートで、毎フレームに一回）変えることができることがありうる。この場合、作者は動きの効果を達成するためにいわゆる「色循環（color cycling）」技法を使うことができる。色循環は、CLUTへの高速の変化を画面上の特別に調整されたビットマップグラフィック内容と組み合わせる技法である。色循環は、なめらかな動きの印象を達成するためにオブジェクトの色を高速に変えるプロセスであって、しばしばゲームにおいて滝、溶岩または松明のアニメーションを循環的な仕方で実現するために使用されている。色循環の利点は、単に論理パレットの色を変えることにより動きの印象が実現できるということである。ひとたびオブジェクトそのものが描画されたら、オブジェクトに含まれるピクセルはその色以外については修正されない。色循環を使って、コンテンツ作者は、根底にあるビットマップ・ピクチャーが比較的低いフレームレート（典型的にはグラフィックフレームレートの１／２または１／３）でしか動いていない間にオブジェクト３７が視覚的に比較的高いフレームレート（典型的にはグラフィックフレームレート）で動いている効果を達成できる。色循環は、フォーマットによってビットマップを動かせる速度が制限されている場合には魅力的でありうる。これは特に大きなビットマップについて有利である。色循環の使用は、提案される本発明のコンセプトについての特に好ましい追加的な点を呈示する。というのも、それはビットマップ位置の間を補間することに依存しているからである。色循環を使う場合、グラフィックフレームレートを基準フレームレートに引き上げるために実行されるビットマップ動き補間プロセスは、色循環による追加的な動きの効果を考慮に入れるようしかるべく変更されることができる。
【００５８】
好ましい実施形態のいま一つのさらなる発展した修正では、補間段階が、次よりなる群から選ばれる施策４９の一つまたは複数を有する。
・色探索表操作方針（manipulation strategy）を検出する；具体的にはこれは、好ましくは一つもしくは複数の、特に多数の色探索表（CLUT）制御セグメント５７の存在を検出するか、および／またはそのようなセグメント５７の内容を解析することによって、多重化ストリーム中での作者による色循環技法の使用を検出することを含む。
・色探索表（CLUT）制御セグメント５７および／またはオブジェクト定義セグメント５３を解析する；これは特に、一つもしくは複数の色探索表（CLUT）制御セグメント５７および特に一つもしくは複数のオブジェクト定義セグメント５３におけるビットマップのクロス解析（cross-analysis）を行うことによってなされる。それによりコンテンツ作者がどのオブジェクト３７について色循環技法を使っているかが判別される。
・アニメーション・グラフィック（３５）内の一つまたは複数のオブジェクト３７の動き３９を動き補間するための補間手段１８Ａ、１８Ｂを無効にするか修正するかする。結果として、補間プロセスは色循環が検出されるときには、少なくとも、有利に修正されることができる。
【００５９】
したがって、そのような施策が好ましくは、ある種のCLUT操作方針が検出された場合には補間を抑制するよう特に適応されている追加的なCLUT検出モジュール４９において提供される。モジュール４９は、上に挙げたような方法段階を処理するためのいくつかの有用なアルゴリズムを含意し、補間手段１８Ａ、１８Ｂにおいて提供される。
【００６０】
好ましい実施形態の第一の洗練では、図１に示される画像信号処理方法／装置１０の使用と図８に示される画像信号処理方法／装置２００の使用との間でトグルできるスイッチが追加されうる。そのようなスイッチは好ましくは、予期されるグラフィック描画負荷に従って動的に調節可能である。負荷が図１の方法／装置１０を用いて実現には高すぎる場合には、図８のより低品質の方法／装置２００を使うことができる。グラフィック負荷の予期は好ましくは、将来の構図セグメントの先読みに基づく。この洗練は、図１の方法／装置１０がビデオおよびグラフィック画像信号からの合成画像フィールドのストリームを60fpsのリフレッシュレートで提供し、したがってこの種の処理は、図８の方法／装置２００の実装より多くのシステムリソースを消費するという認識に基づいている。60fpsのリフレッシュレートの処理のためには負荷が厳しい状況では、図８の従来技術の実装が使用されるのが好ましい。
【００６１】
第二の洗練では、図２に示されたオブジェクト３７のようなグラフィック・オブジェクトにモーション・ブラーを加えるために特定の処理アルゴリズムが追加されうる。モーション・ブラーはビデオ画像信号には自然に存在しているが、グラフィック画像信号には存在しない。モーション・ブラーはアニメーション・ジャダーを隠蔽するためにグラフィック画像信号中に徐々に与えられることができる。これはアニメーション・ジャダー補償をより一層効果的なものとするさらなるツールを提供することになる。
【００６２】
図１のフレーム変換器２７のある発展した修正について図５を参照しつつ述べる。図５はフィルム６０およびそれぞれ番号１、２、３を示すいくつかのフィルムのフレーム６１、６２、６３を示している。もとになるフィルムまたは映画のフィールドは通常、フレームと称される。たとえばEP1215900A2から知られる３：２のプルダウン処理が図５の単純化された方式で例証されている。本願の背景の範囲では、３；２のプルダウン処理は、一連の映画のフレーム６１、６２、６３を３枚または２枚の連続するインターレース・フィールド６１′、６２′、６３′として出力し、インターレースされたビデオフィールドのストリーム６４を形成する処理であると理解する必要がある。そのようなストリーム６４は一般に図１のビデオ画像信号３に含まれる。同じフレームを参照するインターレース・ビデオフィールド（たとえばフレーム６１とインターレース・フィールド６１′またはフレーム６２とインターレース・フィールド６２′またはフレーム６３とインターレース・フィールド６３′）は奇数フィールドおよび偶数フィールドとして区別される。上記の単純な３；２のプルダウン処理は、ビデオストリーム６４のリフレッシュレートをフィルム６０のレートに引き上げ、ジャダー・アーチファクトを低減する助けとはなるが、信頼できる形で防止することはできない。特に、ジャダー・アーチファクトの効果は、フレームレート変換が選択されたフレームまたはフィールドの単純な削除または反復によってなされる場合には一層明白になる。補間されるフレームまたはフィールドが予測アルゴリズムの使用によって生成されるときにはそれほど明白ではなくなることがありうる。これらの施策およびその他の種類の施策は図１のフレーム変換器２７において含意されていることができる。
【００６３】
図１の合成モジュール２３の個別的な好ましい発展した諸修正について図６を参照しつつ述べる。図６は、ここでアルファ混合（alpha-blending）と称する、合成段階処理の好ましい種類を例証している。図１を参照して述べた合成モジュール２３は好ましくはアルファ混合モジュールとして形成される。アルファ混合はコンピュータグラフィックスにおいて、透明の効果を出すために使用される。これは、半透明の前景を背景色と合成して中間の混合を生成することによって達成される。アニメーションおよびその他の種類のグラフィック画像信号のためには、そしてまたビデオ画像信号およびグラフィック画像信号を合成するためには、アルファ混合は、半透明なオーバーレイ（たとえば再生中のビデオの上の半透明のボタン）の見え方を生成し、また一つの画像７１を徐々に別の画像７２にフェードさせるために本願の主題に適用される。
【００６４】
従来式には、アルファ混合のあるコンピュータグラフィックスにおいては、画像はその色を定義するのに４つのチャネルを使用する。その３つが三原色のチャネル――赤、緑、青――であり、アルファチャネルとして知られる四番目が画像の透明度についての情報を伝える。それは前景と背景が互いに重ね合わされたときに前景色がどのようにして背景色にマージされるべきかを指定する。単純化された形では、アルファ混合で使われる式は：[r,g,b]混合＝α[r,g,b]前景＋(1−α)[r,g,b]背景；となり、ここで[r,g,b]は赤、緑、青の色チャネルを表し、αは重み付け因子を表す。重み付け因子は0から1のいかなる値をとることもできる。0に設定されると、図６のセクション７３に示されるように前景は完全に透明である。α因子が1に設定されると、前景は不透明になり、背景を完全に覆い隠す。これは図６ではセクション７５に示されている。いかなる中間的な値も、たとえば図６のセクション７４でα因子0.5について示されているような二つの画像の混合を生じる。
【００６５】
まとめると、信号処理の従来のコンセプトは、グラフィック画像信号およびさらなる画像信号からのフィールドの合成ストリームのための特別に適応されたジャダー補償は有さず、よってアニメーション・ジャダー・アーチファクトを示す。ジャダー補償は現在のところビデオのようなさらなる画像信号についてのみ適応されており、ビデオ画像信号のモーション・ブラーはしばしばジャダー・アーチファクトを隠蔽する。しかし、これはビットマップのようなグラフィック・オブジェクトについてはあてはまらない。引き上げられた基準リフレッシュレート（60fps）において、本発明のコンセプトはさらなる画像信号３およびグラフィック画像信号７Ａ、７Ｂ、特にアニメーション３５を含むもののフィールドの合成ストリーム１１を与える。早くもグラフィック画像信号７Ａ、７Ｂの生成の際における該グラフィック画像信号７Ａ、７Ｂの画像フィールドの間の補間１８Ａ、１８Ｂは、合成段階２３より前にすでに、グラフィック画像信号７Ａ、７Ｂの入力リフレッシュレート（24fps）を基準リフレッシュレート（60fps）に引き上げる。かなり単純な補間方法およびその発展した構成は、洗練された現状最新技術のシステムよりも優れた高品質の出力をディスプレイ２５上に実現する。
【図面の簡単な説明】
【００６６】
【図１】一つのビデオ処理ラインおよび二つのグラフィック処理ラインをもつ、画像フィールドの合成ストリームを提供するための画像信号処理方法または装置の好ましい実施形態のフロー図である。
【図２】ある好ましい実施形態の映画グラフィックシステムにおけるアニメーション・グラフィックを例証する図である。
【図３】ある好ましい実施形態における、ディスク上にある24フレーム毎秒の順次走査ビデオの補間段階と出力における60fpsのインターレースされた画面とを示す表である。
【図４】図１の画像信号処理デバイスのある好ましい実施形態における、合成段階より前にグラフィックリフレッシュレートを基準リフレッシュレートに上げるための、描画モジュールおよびその動作原理の概略図である。
【図５】図１の画像信号処理デバイスのある好ましい実施形態における、合成段階より前にビデオリフレッシュレートを基準リフレッシュレートに上げるための、３：２プルダウン処理モジュールの動作原理を例証する概略図である。
【図６】ある好ましい実施形態における合成段階におけるアルファ混合法を例証する一連の画像を示す図である。
【図７】次世代の映画グラフィックシステム規格に基づく画像処理方法または装置の規定のフロー図である。
【図８】図７の次世代の映画グラフィックシステム規格の規定を実装する画像信号処理方法または装置の実装のフロー装置である。
【符号の説明】
【００６７】
３ ビデオ画像信号
５ 単一のビデオ処理ライン
７Ａ、７Ｂ グラフィック画像信号
９Ａ、９Ｂ グラフィック処理ライン
１０ 画像信号処理方法／装置
１３ ソース
１５ ビデオデコーダ
１８Ａ、１８Ｂ 補間手段
１９Ａ、１９Ｂ 描画モジュール
２１Ａ、２１Ｂ グラフィックプレーン
２３ 合成モジュール
２５ ディスプレイ手段
２７ フレーム変換器
３３ 図
３５ アニメーション・グラフィック
３７ オブジェクト
３９ 動き
４１ 引き上げ段階
４３ 特性判定および判断モジュール／手段
４５ 重なり禁止モジュール／手段
４７ 循環オブジェクト定義モジュール／手段
４９ CLUT検出モジュール／手段
５１ データセグメント
５３ オブジェクト定義セグメント
５５ 構図セグメント
５７ CLUT制御セグメント
６０ フィルム
６１、６２、６３ フレーム
６１′、６２′、６３′ インターレースされたフィールド
６４ フィールドのストリーム
７１、７２ 画像
７３、７４、７５ セクション
１００ 次世代映画グラフィックシステム規格
１０３ ビデオ画像信号
１０５ ビデオ処理ライン
１０７ グラフィック画像信号
１０９ グラフィック処理ライン
１１１ ストリーム
１１３ ソース
１１５ ビデオデコーダ
１１７ ビデオプレーン
１１９ 描画モジュール
１２１ グラフィックプレーン
１２３ 合成モジュール
１２５ ディスプレイ手段
１２７ 処理モジュール
１２９ 出力ライン
１３１ 変換されたストリーム
２００ 次世代映画グラフィックシステムの実装
Gfx1、Gfx2 初期グラフィック画像描画段階
FI フレーム補間処理
PD プルダウン処理
【特許請求の範囲】
【請求項１】
グラフィック画像信号およびさらなる画像信号からの画像フィールドの合成ストリームを与えるための画像信号処理方法であって：
・少なくとも一つのグラフィック処理ラインにおいてあるグラフィックリフレッシュレートで前記グラフィック画像信号の画像フィールドを提供する段階と；
・少なくとも一つのさらなる処理ラインにおいてあるさらなるリフレッシュレートで前記さらなる画像信号の画像フィールドを提供する段階と；
・前記グラフィック画像信号の画像フィールドの間を補間することによって前記グラフィックリフレッシュレートをある基準リフレッシュレートに引き上げる段階と；
・前記さらなる画像信号と前記グラフィック画像信号を画像フィールドの合成ストリームに合成する段階、
とを有する方法。
【請求項２】
前記合成段階が、前記グラフィック画像信号および／または前記さらなる画像信号の入力リフレッシュレートよりも高いある基準リフレッシュレートで実行されることを特徴とする、請求項１記載の方法。
【請求項３】
前記引き上げ段階が、前記グラフィック画像信号のもとの画像フレームを補間するための初期グラフィック画像描画段階によって実行されることを特徴とする、請求項１記載の方法。
【請求項４】
前記少なくとも一つのグラフィック処理ラインにおけるグラフィックリフレッシュレートが前記少なくとも一つのさらなる処理ラインにおける前記さらなるリフレッシュレートよりも高いことを特徴とする、請求項３記載の方法。
【請求項５】
さらなるリフレッシュレートが、前記少なくとも一つのさらなる処理ラインにおける初期ビデオ復号段階によって提供される前記さらなる画像信号の入力リフレッシュレートに等しいことを特徴とする、請求項４記載の方法。
【請求項６】
前記さらなるリフレッシュレートを前記基準リフレッシュレートに引き上げるのが、前記さらなる画像信号のフィールドの３：２プルダウン処理および／またはフレーム補間処理によって行われることを特徴とする、請求項１記載の方法。
【請求項７】
前記基準リフレッシュレートが、ディスプレイ手段の更新レートによってあらかじめ決められており、該ディスプレイ手段の更新レートに等しいことを特徴とする、請求項１記載の方法。
【請求項８】
前記さらなる画像信号および前記グラフィック画像信号からの画像フィールドのストリームが、光記憶フォーマットに基づいて与えられることを特徴とする、請求項１記載の方法。
【請求項９】
前記さらなる画像信号がビデオ画像信号によって形成され、前記さらなるリフレッシュレートがビデオリフレッシュレートによって形成され、前記さらなる処理ラインがビデオ処理ラインによって形成されることを特徴とする、請求項１記載の方法。
【請求項１０】
・グラフィック画像信号はアニメーション・グラフィックを含んでおり、該アニメーション・グラフィックはオブジェクトおよび動きを有し、少なくとも、一つもしくは複数のオブジェクト定義セグメントおよび／または一つもしくは複数の構図セグメントおよび／または一つもしくは複数の色探索表制御セグメントに基づいており；ここで、
・前記引き上げ段階は前記アニメーション・グラフィックのオブジェクトの動きを動き補間するための補間手段を含む、
ことを特徴とする、請求項１記載の方法。
【請求項１１】
前記補間手段がオブジェクトの動きを含んでおり、そこで前記動き補間を適用するか否かの判断が出力されることを特徴とする、請求項１０記載の方法。
【請求項１２】
前記補間手段が：
・オブジェクトの動きを、別のオブジェクトとの重なりが防止されるよう調節する；
・オブジェクトの、別のオブジェクトに重なる部分を無効にする；
・オブジェクトと別のオブジェクトとの重なりを、透明ピクセル以外については禁止する、
ことよりなる群から選ばれる一つまたは複数の施策を有していることを特徴とする、請求項１０記載の方法。
【請求項１３】
前記補間手段が：
・連続する構図セグメントで、互いに比較的近いオブジェクト位置をもつオブジェクトを検出する、
・大きさが同程度であるおよび／または透明でないピクセルの数が同程度であるオブジェクトを検出する、
・一致順に挙げられている複数のオブジェクトを有する構図セグメントを検出する、
ことよりなる群から選ばれる一つまたは複数の施策を有していることを特徴とする、請求項１０記載の方法。
【請求項１４】
前記補間手段が：
・色探索表操作（manipulation）を検出する；
・色探索表制御セグメントおよび／またはオブジェクト定義セグメントを解析する；
・アニメーション・グラフィック内の一つまたは複数のオブジェクトの動きを動き補間するための補間手段を無効にするか修正するかする、
ことよりなる群から選ばれる一つまたは複数の施策を有していることを特徴とする、請求項１０記載の方法。
【請求項１５】
グラフィック画像信号およびさらなる画像信号からの画像フィールドの合成ストリームを与えるための画像信号処理装置であって：
・あるグラフィックリフレッシュレートでグラフィック画像信号の画像フィールドを提供するための少なくとも一つのグラフィック処理ラインと；
・あるさらなるリフレッシュレートでさらなる画像信号の画像フィールドを提供する少なくとも一つのさらなる処理ラインと；
・前記さらなる画像信号と前記グラフィック画像信号を画像フィールドの合成ストリームに合成する合成モジュールと；
・前記グラフィック画像信号の画像フィールドの間を補間することによって前記合成モジュールより上流で前記グラフィックリフレッシュレートをある基準リフレッシュレートに引き上げるための補間手段を有する、前記少なくとも一つのグラフィック処理ラインの中の描画モジュール、
とを有する装置。
【請求項１６】
前記基準リフレッシュレートが、前記グラフィック画像信号および／または前記さらなる画像信号の入力リフレッシュレートよりも高い、請求項１５記載の装置。
【請求項１７】
・前記さらなる画像信号の入力リフレッシュレートに等しいあるさらなるリフレッシュレートでさらなる画像信号を提供するための、前記少なくとも一つのさらなる処理ライン中のデコーダ、
をさらに有する、請求項１５記載の装置。
【請求項１８】
・前記合成モジュールより上流で前記さらなるリフレッシュレートを前記基準リフレッシュレートに引き上げることを、３：２プルダウン処理モジュールおよび／またはフレーム補間処理モジュールによって行うための、前記少なくとも一つのビデオ処理ライン中のフレーム変換器、
をさらに有する、請求項１５記載の装置。
【請求項１９】
前記合成モジュールがアルファ混合モジュールによって形成される、請求項１５記載の装置。
【請求項２０】
光学式再生装置の形である、請求項１５記載の装置。
【請求項２１】
請求項１５記載の画像信号処理装置、画像記憶デバイスおよび／またはディスプレイ手段を有する、画像信号処理のための装置。
【請求項２２】
前記画像記憶デバイスが光記憶デバイス、特に光記憶ディスクの形の光記憶デバイスによって形成される、請求項２１記載の装置。
【請求項２３】
前記ディスプレイ手段が：陰極線管（ＣＲＴ）、液晶ディスプレイ（ＬＣＤ）およびプラズマディスプレイパネル（ＰＤＰ）よりなる群から選ばれることを特徴とする、請求項２１記載の装置。
【請求項２４】
請求項１記載の方法を実行するよう適応されている前記画像信号処理装置を有する装置。
【請求項２５】
コンピューティングデバイスによって可読な媒体上に記憶可能な、前記コンピューティングデバイス上で実行されたときに前記コンピューティングデバイスをして請求項１記載の方法を実行せしめるソフトウェアコード・セクションを有するコンピュータプログラム。
【請求項２６】
請求項２５記載のコンピュータプログラムを実行および／または記憶するための、コンピューティングおよび／または記憶デバイス。
【請求項１】
グラフィック画像信号およびさらなる画像信号からの画像フィールドの合成ストリームを与えるための画像信号処理方法であって：
・少なくとも一つのグラフィック処理ラインにおいてあるグラフィックリフレッシュレートで前記グラフィック画像信号の画像フィールドを提供する段階と；
・少なくとも一つのさらなる処理ラインにおいてあるさらなるリフレッシュレートで前記さらなる画像信号の画像フィールドを提供する段階と；
・前記グラフィック画像信号の画像フィールドの間を補間することによって前記グラフィックリフレッシュレートをある基準リフレッシュレートに引き上げる段階と；
・前記さらなる画像信号と前記グラフィック画像信号を画像フィールドの合成ストリームに合成する段階、
とを有する方法。
【請求項２】
前記合成段階が、前記グラフィック画像信号および／または前記さらなる画像信号の入力リフレッシュレートよりも高いある基準リフレッシュレートで実行されることを特徴とする、請求項１記載の方法。
【請求項３】
前記引き上げ段階が、前記グラフィック画像信号のもとの画像フレームを補間するための初期グラフィック画像描画段階によって実行されることを特徴とする、請求項１記載の方法。
【請求項４】
前記少なくとも一つのグラフィック処理ラインにおけるグラフィックリフレッシュレートが前記少なくとも一つのさらなる処理ラインにおける前記さらなるリフレッシュレートよりも高いことを特徴とする、請求項３記載の方法。
【請求項５】
さらなるリフレッシュレートが、前記少なくとも一つのさらなる処理ラインにおける初期ビデオ復号段階によって提供される前記さらなる画像信号の入力リフレッシュレートに等しいことを特徴とする、請求項４記載の方法。
【請求項６】
前記さらなるリフレッシュレートを前記基準リフレッシュレートに引き上げるのが、前記さらなる画像信号のフィールドの３：２プルダウン処理および／またはフレーム補間処理によって行われることを特徴とする、請求項１記載の方法。
【請求項７】
前記基準リフレッシュレートが、ディスプレイ手段の更新レートによってあらかじめ決められており、該ディスプレイ手段の更新レートに等しいことを特徴とする、請求項１記載の方法。
【請求項８】
前記さらなる画像信号および前記グラフィック画像信号からの画像フィールドのストリームが、光記憶フォーマットに基づいて与えられることを特徴とする、請求項１記載の方法。
【請求項９】
前記さらなる画像信号がビデオ画像信号によって形成され、前記さらなるリフレッシュレートがビデオリフレッシュレートによって形成され、前記さらなる処理ラインがビデオ処理ラインによって形成されることを特徴とする、請求項１記載の方法。
【請求項１０】
・グラフィック画像信号はアニメーション・グラフィックを含んでおり、該アニメーション・グラフィックはオブジェクトおよび動きを有し、少なくとも、一つもしくは複数のオブジェクト定義セグメントおよび／または一つもしくは複数の構図セグメントおよび／または一つもしくは複数の色探索表制御セグメントに基づいており；ここで、
・前記引き上げ段階は前記アニメーション・グラフィックのオブジェクトの動きを動き補間するための補間手段を含む、
ことを特徴とする、請求項１記載の方法。
【請求項１１】
前記補間手段がオブジェクトの動きを含んでおり、そこで前記動き補間を適用するか否かの判断が出力されることを特徴とする、請求項１０記載の方法。
【請求項１２】
前記補間手段が：
・オブジェクトの動きを、別のオブジェクトとの重なりが防止されるよう調節する；
・オブジェクトの、別のオブジェクトに重なる部分を無効にする；
・オブジェクトと別のオブジェクトとの重なりを、透明ピクセル以外については禁止する、
ことよりなる群から選ばれる一つまたは複数の施策を有していることを特徴とする、請求項１０記載の方法。
【請求項１３】
前記補間手段が：
・連続する構図セグメントで、互いに比較的近いオブジェクト位置をもつオブジェクトを検出する、
・大きさが同程度であるおよび／または透明でないピクセルの数が同程度であるオブジェクトを検出する、
・一致順に挙げられている複数のオブジェクトを有する構図セグメントを検出する、
ことよりなる群から選ばれる一つまたは複数の施策を有していることを特徴とする、請求項１０記載の方法。
【請求項１４】
前記補間手段が：
・色探索表操作（manipulation）を検出する；
・色探索表制御セグメントおよび／またはオブジェクト定義セグメントを解析する；
・アニメーション・グラフィック内の一つまたは複数のオブジェクトの動きを動き補間するための補間手段を無効にするか修正するかする、
ことよりなる群から選ばれる一つまたは複数の施策を有していることを特徴とする、請求項１０記載の方法。
【請求項１５】
グラフィック画像信号およびさらなる画像信号からの画像フィールドの合成ストリームを与えるための画像信号処理装置であって：
・あるグラフィックリフレッシュレートでグラフィック画像信号の画像フィールドを提供するための少なくとも一つのグラフィック処理ラインと；
・あるさらなるリフレッシュレートでさらなる画像信号の画像フィールドを提供する少なくとも一つのさらなる処理ラインと；
・前記さらなる画像信号と前記グラフィック画像信号を画像フィールドの合成ストリームに合成する合成モジュールと；
・前記グラフィック画像信号の画像フィールドの間を補間することによって前記合成モジュールより上流で前記グラフィックリフレッシュレートをある基準リフレッシュレートに引き上げるための補間手段を有する、前記少なくとも一つのグラフィック処理ラインの中の描画モジュール、
とを有する装置。
【請求項１６】
前記基準リフレッシュレートが、前記グラフィック画像信号および／または前記さらなる画像信号の入力リフレッシュレートよりも高い、請求項１５記載の装置。
【請求項１７】
・前記さらなる画像信号の入力リフレッシュレートに等しいあるさらなるリフレッシュレートでさらなる画像信号を提供するための、前記少なくとも一つのさらなる処理ライン中のデコーダ、
をさらに有する、請求項１５記載の装置。
【請求項１８】
・前記合成モジュールより上流で前記さらなるリフレッシュレートを前記基準リフレッシュレートに引き上げることを、３：２プルダウン処理モジュールおよび／またはフレーム補間処理モジュールによって行うための、前記少なくとも一つのビデオ処理ライン中のフレーム変換器、
をさらに有する、請求項１５記載の装置。
【請求項１９】
前記合成モジュールがアルファ混合モジュールによって形成される、請求項１５記載の装置。
【請求項２０】
光学式再生装置の形である、請求項１５記載の装置。
【請求項２１】
請求項１５記載の画像信号処理装置、画像記憶デバイスおよび／またはディスプレイ手段を有する、画像信号処理のための装置。
【請求項２２】
前記画像記憶デバイスが光記憶デバイス、特に光記憶ディスクの形の光記憶デバイスによって形成される、請求項２１記載の装置。
【請求項２３】
前記ディスプレイ手段が：陰極線管（ＣＲＴ）、液晶ディスプレイ（ＬＣＤ）およびプラズマディスプレイパネル（ＰＤＰ）よりなる群から選ばれることを特徴とする、請求項２１記載の装置。
【請求項２４】
請求項１記載の方法を実行するよう適応されている前記画像信号処理装置を有する装置。
【請求項２５】
コンピューティングデバイスによって可読な媒体上に記憶可能な、前記コンピューティングデバイス上で実行されたときに前記コンピューティングデバイスをして請求項１記載の方法を実行せしめるソフトウェアコード・セクションを有するコンピュータプログラム。
【請求項２６】
請求項２５記載のコンピュータプログラムを実行および／または記憶するための、コンピューティングおよび／または記憶デバイス。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【公表番号】特表２００８−５１７３４３（Ｐ２００８−５１７３４３Ａ）
【公表日】平成２０年５月２２日（２００８．５．２２）
【国際特許分類】
【出願番号】特願２００７−５３７４２７（Ｐ２００７−５３７４２７）
【出願日】平成１７年１０月１１日（２００５．１０．１１）
【国際出願番号】ＰＣＴ／ＩＢ２００５／０５３３３７
【国際公開番号】ＷＯ２００６／０４３２０３
【国際公開日】平成１８年４月２７日（２００６．４．２７）
【出願人】（５９００００２４８）コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ (12,071)
【Ｆターム（参考）】
【公表日】平成２０年５月２２日（２００８．５．２２）
【国際特許分類】
【出願日】平成１７年１０月１１日（２００５．１０．１１）
【国際出願番号】ＰＣＴ／ＩＢ２００５／０５３３３７
【国際公開番号】ＷＯ２００６／０４３２０３
【国際公開日】平成１８年４月２７日（２００６．４．２７）
【出願人】（５９００００２４８）コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ (12,071)
【Ｆターム（参考）】
[ Back to top ]