説明

周波数フィルタリングを用いてフィルムグレインをシミュレートする手法

画像におけるフィルムグレインのシミュレーションは、ビデオ画像を圧縮し、次に、元のフィルムグレインを示す少なくとも1つのパラメータを含むメッセージとともに圧縮ビデオを復号器に伝送し、かつ、フィルムグレイン・メッセージの内容に基づいてフィルムグレインを復号器にシミュレートさせることによって画像の元の粒状の外観を復元することによって行うことができる。効率を向上させるため、フィルムグレイン情報の1つ又は複数のパラメータを、画像内の画素ブロックについて目標画素ブロック・サイズによってスケーリングする。そうしたスケーリングによって、フィルムグレイン・シミュレーションに関してブロック・ベースの処理を行う通常の回路を用いることが可能になる。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、復号化後の、符号化画像におけるフィルムグレインをシミュレートする手法に関する。
【背景技術】
【0002】
動画フィルムは、フィルム基材上の薄膜内に被覆された、乳剤内に分散した銀ハライド結晶を備える。こうした結晶の露光及び現像によって、とても小さな、ディスクリートな銀粒子から成る写真画像が形成される。カラーネガには、フィルムストックの現像中の銀の化学的除去に続いて銀結晶が形成される場所上にとても小さなダイブロッブが発生する。こうした少量のダイは通常、カラーフィルムでは「粒子(グレイン)」のラベルを担う。粒子は、元の乳剤上の銀結晶のランダムな形成が理由で、生成される画像上にランダムに分布しているように見える。一様に露光された領域内では、一部の結晶は露光後に現像するが、他のものは現像しない。
【0003】
粒子は、大きさ及び形状において異なる。フィルム速度が高いほど、形成される銀塊や発生するダイブロッブは、大きくなり、ランダムなパターンでお互いにまとまる傾向が強くなる。「粒状性」の語は通常、粒子パターンを表す。裸眼では、0.0002mmから約0.002mmまで及ぶ個々の粒子を区別することができない。そのかわりに、眼によって、ブロッブとして表す粒子群が解像される。観測者はこのブロッブ群をフィルムグレインとして識別する。画像の分解能が大きくなるにつれ、フィルムグレインの認知度は高くなる。フィルムグレインは、映画の画像上や高品位画像上で明らかに目立つようになる一方、SDTV(標準品位テレビジョン)において重要性を徐々に失い、形式が小さくなると感知できないようになる。
【0004】
動画フィルムは通常、写真フィルムの露光及び現像の物理的な処理又は後の画像編集から生じる、画像に依存した雑音を含む。写真フィルムは、写真乳剤の物理的な粒状性から生じる、特徴的な擬似乱数のパターンすなわちテクスチャを持っている。あるいは、同様なパターンをコンピュータ生成画像においてシミュレートしてそれを写真フィルムとブレンディングすることができる。いずれの場合も、この、画像に依存した雑音は、「フィルムグレイン」と呼ぶ。非常に多くの場合、中くらいの粒子テクスチャは、動画において望ましい特徴を表す。一部の場合には、フィルムグレインは、2次元ピクチャの正しい知覚を容易にする視覚キューを備える。多くの場合、フィルムグレードを単一のフィルム内で変えて、時間基準、視点等についての種々の手がかりを備える。映画産業において粒子テクスチャを制御するうえで多くの他の技術的な要求及び芸術系な要求が存在する。したがって、画像処理及び配信の連鎖を通して画像の粒状の外観を維持することは、映画産業における要件となっている。
【0005】
市場で入手可能なプロダクトのいくつかは、多くの場合、コンピュータ生成オブジェクトを自然のシーンにブレンディングする、フィルムグレインをシミュレートする機能を有する。粒子シミュレーションを実施する最初のディジタル・フィルム・アプリケーションのうちの1つである、イーストマン・コダック社(ニューヨーク州ロチェスタ)によるシネオン(登録商標)は、多くの粒子タイプについて非常に現実的な成果をもたらす。しかし、シネオン(登録商標)・アプリケーションは、高粒子サイズ設定の場合にアプリケーションがもたらす、目立つ斜め縞が理由で多くの高速フィルムの場合に良好な性能をもたらさない。更に、シネオン(登録商標)・アプリケーションは、例えば、画像が複製されるかディジタル処理される場合などの、先行処理に画像がかけられる場合に十分な忠実度で粒子をシミュレートできない。
【0006】
フィルムグレインをシミュレートする別の商用プロダクトとして、アドビ(登録商標)アフターエフェクツ(登録商標)のプラグインとして用いられる、ビジュアル・インフィニティ社によるグレインサージェリー(商標)がある。グレインサージェリー(商標)のプロダクトは、乱数群をフィルタリングすることによって合成粒子を生成するように思われる。この手法は計算量が多いことに短所を来している。
【発明の開示】
【発明が解決しようとする課題】
【0007】
フィルムグレイン・シミュレーションは、関心のある話題であり続けている。最近、H.264画像圧縮標準には、フィルムグレイン・シミュレーション・パラメータを規定する、標準的な補足拡張情報(SEI)メッセージを採用する修正が行われた。特定形式のフィルムグレインSEIメッセージの採用によって、フィルムグレインをシミュレートする本願の譲受人によって最近開示された手法を用いてフィルムグレインをシミュレートする復号器の開発が非常に容易になる。出願人の譲受人によって開発された手法は、(1)まず、圧縮前に画像から粒子を除去し、次に、(2)元の粒子についての情報を含むメッセージとともに圧縮ビデオを復号器に伝送し、更に、(3)復号器に、SEIメッセージの内容に基づいてフィルムグレインをシミュレートさせることによって画像の、元の、粒状の外観を復元することによって、フィルムグレインをシミュレートする。この手法によって、フィルムグレインの保護を必要とする高品質アプリケーションの場合には、ビットレートが大きく節減される。しかし、この手法によって復号器の計算量は増大するが、それは、16x16画素のブロックを処理し、フィルムグレイン画像の16x16ブロック・エッジのブロック解除を後に行うことによるフィルムグレイン画像の生成をフィルムグレインが必要とするからである。
【0008】
よって、効率を向上させることによって従来の欠点を解決するフィルムグレイン・シミュレーション手法に対する必要性が存在する。
【課題を解決するための手段】
【0009】
簡潔に言えば、本願の原理の好ましい実施例によって、フィルムグレインをシミュレートする方法を備える。この方法は、画像情報を受け取り、先行して画像にあったフィルムグレインの種々の属性を規定する、考えられるパラメータ群のうちの少なくとも1つのパラメータを含むフィルムグレイン情報を受け取ることから始まる。フィルムグレイン・モデルを用いれば、グレイン・シミュレーションは、画像内の画素ブロックについて目標画素ブロック・サイズによってスケーリングされる少なくとも1つのパラメータによって行われる。シミュレートされたフィルムグレインは更に、画像にマージされる。
【0010】
目標画素ブロック・サイズによってフィルムグレイン情報をスケーリングすることによって、任意のブロック・サイズを用いることが可能になり、それによって、通常のハードウェア構成要素を用いて、フィルムグレイン・シミュレーションに関連したブロック・ベースの処理を行うことが可能になる。
【発明を実施するための最良の形態】
【0011】
〔実施例〕
図1は、画像におけるフィルムグレインをシミュレートするシステム10の構成略図を表す。システム10は、入力画像104からフィルムグレイン情報を生成し、かつ、SEIメッセージ106などのフィルムグレイン・メッセージに実施される少なくとも1つのフィルムグレイン・パラメータからフィルムグレイン情報を生成する第1のブロック12を備える。フィルムグレイン生成器ブロック12は、以下に更に詳細に説明する図2及び図3の方法のうちの1つを用いてそうした入力情報からフィルムグレイン情報を生成する。フィルムグレイン生成器ブロック12によって生成されるフィルムグレイン情報には、ブレンディング・ブロック16で受け取られる前にフィルムグレイン・ブロック解除フィルタ14によるブロック解除が施される。ブレンディング・ブロック16は、フィルタリングされたフィルムグレイン情報を入力画像とブレンディングして、フィルムグレインを含む出力画像を生成する。
【0012】
図2は、フィルムグレインを生成する、本願の原理の第1の局面による方法の工程を示す流れ図を表す。以下に更に詳細に表すように、図2の方法は、周波数フィルタリング前にスケーリングされるガウス雑音からフィルムグレインを生成するよう動作する。図2のフィルムグレイン生成方法は、システム変数が初期化される工程100の実行によって始まる。工程100に続き、入力画像104からの連続したNxM画像ブロックの抽出が行われ、N及びMは各々、ゼロよりも大きな整数である。
【0013】
工程102に続き、工程105が行われ、図1のフィルムグレイン生成器ブロック内の雑音生成器(図示せず)が、以下に記載するようにスケーリングされる、入力画像を伴う、SEIメッセージ106に含まれるフィルムグレイン・パラメータのうちの少なくとも1つによって乱数(ガウス)雑音を生成する。H.264圧縮標準に採用されているように、SEIメッセージ106におけるフィルムグレイン・パラメータは、16x16画素ブロックに基づいている。そうしたブロック・サイズによって、実施効率の点で最大の利便性が常に与えられる訳でない。
【0014】
本願の原理によれば、SEIメッセージにおけるフィルムグレイン・パラメータが工程107中にスケーリングされて、16x16画素以外のブロック・サイズを備えるフィルムグレインのシミュレーションが可能になる。実際には、SEIメッセージは、水平ローカット周波数及び垂直ローカット周波数と、水平ハイカット周波数及び垂直ハイカット周波数との2つのカット周波数群を含む種々のフィルム・パラメータを規定する。SEIパラメータと、特に、水平のハイカット周波数及びローカット周波数と、垂直のハイカット周波数及びローカット周波数がスケーリングされる方法が分かるように、NxMが元のブロック・サイズ(すなわち、16x16画素)を表すものとし、NxMは、スケーリングされた新たなパラメータが処理する目標ブロック・サイズを表すものとする。水平ハイカット周波数及び垂直ハイカット周波数は、
【数1】

【数2】

としてスケーリングされ、関数fceil(x)は、x以上の最小の整数を返し、
【数3】

は新たな水平ハイカット周波数であり、
【数4】

は目標ブロック・サイズに用いる新たな垂直ハイカット周波数である。このスケーリングは、ブロック・サイズの比率によって元の周波数を除算し、最も近い整数に切り上げるということに同等である。同様に、水平ローカット周波数及び垂直ローカット周波数は、
【数5】

【数6】

としてスケーリングされ、そのとき、floor(x)はx以下の最大の整数を返し、
【数7】

は新たな水平ローカット周波数であり、
【数8】

は目標ブロック・サイズに用いる対象の新たな垂直ローカット周波数である。このスケーリングは、ブロック・サイズの比率によって元の周波数を除算し、最も近い整数に切り下げるということに同等である。
【0015】
上記のように丸めることによって、16x16画素のブロック上で規定される元のカット周波数値を用いることによって生じるフィルムグレインと比較して、目標ブロック・サイズ上の最も類似したフィルムグレインが生じる。しかし、何れかの種類の丸め方(倍数に切り下げること、倍数に切り上げること、又は最も近い整数に丸めること)も、水平カット周波数及び垂直カット周波数をスケーリングし得る。
【0016】
例証する実施例では、元のブロックは16x16画素であり、目標ブロックは8x8画素である。そうした状況下では、ハイカット周波数のスケーリングは、
【数9】

として行われ、そのとき、
【数10】

は新たなハイカット周波数を表す。式(5)は、水平ハイカット周波数も垂直ハイカット周波数もスケーリングすることができるが、それは、ソース・ブロックも目標ブロックも四角い形をしているからである。ローカット周波数のスケーリングは、
【数11】

となり、そのとき、
【数12】

は、新たなローカット周波数を表す。同様に、式(6)は、水平ローカット周波数も垂直ローカット周波数もスケーリングすることができる。
【0017】
SEIメッセージのパラメータは何れかの所望のブロック・サイズにスケーリングすることができ、前述のフィルムグレイン・シミュレーション・アルゴリズムの効率的な実施が可能になる。例証した実施例では、フィルムグレイン・パラメータ値を8x8画素ブロックにスケーリングすることによって、ハードウェアアクセラレートされた離散コサイン変換(DCT)、逆離散コサイン変換(IDCT)や他のブロック・ベースの処理を行う多くの既存集積回路を再利用することが可能になる。
【0018】
工程108中に、乱数雑音を、最終のサイズ(例えば、8x8)に既になっているNxM画素ブロックの画素値を変えるようスケーリングして、ブロック解除処理が複雑にならないようにする/ブロック解除処理の複雑度を低減させる。工程108中に行われるスケーリングは、SEIメッセージに規定される、(スケーリングされた)値に対して雑音の分散を修正するかたちをとる。特定のブロックBに対して、工程105中に生成される乱数雑音は、平均μ及び分散σを有するものとする。ブロックBの画素毎に規定されるスケーリング関数Sを前提とすれば、スケーリングされた画素値は、
scaled(i,j)=(B(i,j)−μ)・S(i,j)+μ (7)
の関係を有し、そのとき、B(i,j)は、ブロックBの座標(i,j)での画素を表す。なお、式(7)は、S(i,j)が1でない画素のみにあてはまる。
【0019】
工程108中に行われる雑音スケーリングは、ブロッキング・アーチファクトを削減するためのブロッキング解除フィルタを不要にする。雑音スケーリングを用いてそうしたアーチファクトを削減することは、ブロック・エッジ間の、相関がないブロックの結果としてブロッキング・アーチファクトが生じるという原理を利用する。そうしたアーチファクトを削減するために、ブロック・エッジ間の相関を高めなければならず、このことは、ブロック・エッジ上の雑音の量を削減することに同等である。
【0020】
工程108に続いて、スケーリングされた乱数雑音には、離散コサイン変換を工程110中に施す。その後、SEIメッセージ106における相当するフィルタ・パラメータによって係数が工程112中に周波数フィルタリングされる。逆離散コサイン変換(IDCT)が、工程114中に行われる。工程116中に、更なるNxM画素ブロックが読み取られない状態に留まっているか否かを判定する検査が行われる。ブロックがもう何も残っていない場合、結果として生じる雑音によってフィルムグレイン画像118が形成され、処理は工程120中に終了する。さもなければ、工程102と、それに続く工程は、入力画像104からの、読み取られていないNxMブロックがもう何も残っていない状態になるまで再実行される。
【0021】
図3は、フィルムグレインを生成する、本願の原理の第2の局面による方法の工程を示す流れ図を表す。図3のフィルムグレイン生成方法は、図2の方法と同じ工程の多くを含み、図3では、同じ工程を参照するうえで同じ数字を示す。図3のフィルムグレイン生成方法は、雑音スケーリングを行うことに関して、図2の方法と異なる。前述のように、図2のフィルム生成方法は、工程112中に行う周波数フィルタリングの準備処理として、工程108中に雑音スケーリングを行う。対照的に、図3のフィルム生成方法は、工程112中に行われる周波数フィルタリング後に、工程114中に行う逆離散コサイン変換の後に工程115中に雑音スケーリングを行う。図4の工程115中に、フィルタリングされた乱数雑音の各画素に施されるスケーリング処理が、式(7)によって規定される方法と同様に行われる。
【0022】
スケーリング関数の規定は、SEIメッセージ106のパラメータに基づき、かつ、ブロック・サイズに基づいて、アプリオリに行うことができ、自動的に行うこともできる。スケーリング関数は、SEIメッセージに規定される種々のパラメータ群にも適合させ得る。
【0023】
例証した実施例では、スケーリング関数は、(ブロッキング・アーチファクトがないようにするよう)ブロック・エッジ上の雑音の量を低減させる一方、同時に、同じ全体雑音量を保つためにブロック内の雑音の量を増加させる。スケーリングを8x8画素ブロックに特殊化することによって、スケーリング関数は、画素ブロック200について図4に示す結果を達成することができる。画素ブロック200のエッジ上の最も濃い灰色領域202は雑音の減少(S(i,j)<1)を表す一方、ブロック内の最も淡い灰色領域204は、雑音の増加(S(i,j)>1)を表す。真ん中の灰色領域206は、雑音強度の変化がないことを表す(S(i,j)=1)。
【0024】
スケーリング関数を用いることは、(SEIメッセージのパラメータが変更されるので)フィルムグレインの外観を保つことと、復号器の複雑度を削減する(すなわち、ブロック解除がないようにする)こととのトレードオフを意味する。全てのブロック・エッジが同様に適切である訳でない場合、スケーリング関数は、特定のエッジのみを修正し得る。例えば、CRTディスプレイ上では、アーチファクトは、垂直エッジ上では、水平エッジ上でよりも可視性がずっと高い。そうした状況下では、図5Aに示すように、画素ブロック300の垂直エッジ302上のみで雑音強度が低減されるものである。特定の状況下では、スケーリング関数は、図5Bに示すように、画素ブロック400の水平エッジ402のみを修正し得る。
【0025】
上記は、フィルムグレイン・パラメータをスケーリングして複雑度を低減させることによって、復号化後の、符号化画像におけるフィルムグレインをシミュレートする手法を説明している。
【図面の簡単な説明】
【0026】
【図1】フィルムグレインをシミュレートするシステムを表す構成略図である。
【図2】本願の原理の第1の局面による、図1のシステムがフィルムグレイン情報を生成する方法の工程を示す流れ図である。
【図3】本願の原理の第2の局面による、図1のシステムがフィルムグレイン情報を生成する方法の工程を示す流れ図である。
【図4】本願の原理によってスケーリングされる8x8画素ブロックの例を表す図である。
【図5A】垂直エッジのみがスケーリングされる8x8画素ブロックの例を表す図である。
【図5B】水平エッジのみがスケーリングされる8x8画素ブロックの例を表す図である。

【特許請求の範囲】
【請求項1】
フィルムグレインをシミュレートする方法であって、
画像情報を受け取る工程と、
先行して画像にあった前記フィルムグレインの種々の属性を規定する、考えられるパラメータ群のうちの少なくとも1つのパラメータを含むフィルムグレイン情報を受け取る工程と、
前記画像における画素ブロックについて目標画素ブロック・サイズによってスケーリングされる前記少なくとも1つのパラメータによって前記フィルムグレインをシミュレートする工程と、
前記シミュレートされたフィルムグレインを前記画像にブレンディングする工程とを備えることを特徴とする方法。
【請求項2】
請求項1による方法であって、
前記フィルムグレイン情報を受け取る工程は、所定の圧縮標準によってビットストリームが圧縮された画像を受け取る工程を更に備え、
前記フィルムグレイン情報を受け取る工程は、画像ビットストリームに埋め込まれた更なるデータを受け取る工程を更に備えることを特徴とする方法。
【請求項3】
請求項2による方法であって、
前記フィルムグレイン情報を受け取る工程は、H,264圧縮標準によってビットストリームが圧縮された画像を受け取る工程を更に備え、
前記フィルムグレイン情報を受け取る工程は、SEIメッセージを受け取る工程を更に備えることを特徴とする方法。
【請求項4】
請求項2による方法であって、
xM画素の目標ブロック・サイズによって前記フィルムグレイン情報をスケーリングする工程を更に備え、NもMも16でないことを特徴とする方法。
【請求項5】
請求項2による方法であって、
8x8画素の目標ブロック・サイズによって前記フィルムグレイン情報をスケーリングする工程を更に備えることを特徴とする方法。
【請求項6】
請求項1による方法であって、
前記フィルムグレインをシミュレートする工程は、
前記少なくとも1つのパラメータによって乱数雑音を生成する工程と、
先行して前記目標ブロック・サイズにスケーリングされた前記画素ブロックの画素値を変更するよう前記雑音をスケーリングする工程と、
前記雑音を、スケーリング後に周波数フィルタリングする工程とを含むことを特徴とする方法。
【請求項7】
請求項1による方法であって、
前記フィルムグレインをシミュレートする工程は、
前記少なくとも1つのパラメータによって乱数雑音を生成する工程と、
前記雑音を周波数フィルタリングする工程と、
先行して前記目標ブロック・サイズにスケーリングされた前記画素ブロックの画素値を変更するよう、前記周波数フィルタリングされた雑音をスケーリングする工程とを含むことを特徴とする方法。
【請求項8】
請求項2による方法であって、
前記フィルムグレイン情報は、前記目標画素ブロック・サイズによってスケーリングするよう、水平ハイカット周波数及び水平ローカット周波数と、垂直ハイカット周波数及び垂直ローカット周波数とを備えることを特徴とする方法。
【請求項9】
請求項4による方法であって、
雑音は、主に垂直エッジ上の雑音強度を低減させるようスケーリングされることを特徴とする方法。
【請求項10】
請求項4による方法であって、
雑音は、主に水平エッジ上の雑音強度を低減させるようスケーリングされることを特徴とする方法。
【請求項11】
フィルムグレインをシミュレートする方法であって、
(a)フィルムグレインが少なくとも減衰した画像を表す画像情報を受け取る工程と、
(b)先行して前記画像にあった前記フィルムグレインの種々の属性を規定する、考えられるパラメータ群のうちの少なくとも1つのパラメータを含むフィルムグレイン情報を受け取る工程と、
(c)16x16ブロックとは異なる前記画像における目標画素ブロックについて前記フィルムグレイン情報をスケーリングする工程と、
(d)前記画像の画素ブロックの連続したものを読み取る工程と、
(e)前記連続した画素ブロックについて乱数雑音を、前記少なくとも1つのパラメータによって生成する工程と、
(f)先行して前記目標ブロック・サイズにスケーリングされた前記画素ブロックの画素値を変更するよう前記乱数雑音をスケーリングする工程と、
(g)前記スケーリングされた雑音に対してブロック・ベースの変換を行って係数群を生成する工程と、
(h)前記係数を周波数フィルタリングする工程と、
(i)前記周波数フィルタリングされた係数に対して逆ブロック・ベース変換を行って、フィルムグレイン画像ブロックを生成する工程とを備えることを特徴とする方法。
【請求項12】
請求項11記載の方法であって、
工程(d)乃至(i)は、前記画像における画素ブロック全てが読み取られるまで繰り返されることを特徴とする方法。
【請求項13】
請求項11記載の方法であって、
ブロック・ベースの変換を行う工程は、離散コサイン変換を行う工程を更に備えることを特徴とする方法。
【請求項14】
請求項13記載の方法であって、
ブロック・ベースの逆変換を行う工程は、逆離散コサイン変換を行う工程を更に備えることを特徴とする方法。
【請求項15】
フィルムグレインをシミュレートする方法であって、
(a)フィルムグレインが少なくとも減衰した画像を表す画像情報を受け取る工程と、
(b)先行して前記画像にあった前記フィルムグレインの種々の属性を規定する、考えられるパラメータ群のうちの少なくとも1つのパラメータを含むフィルムグレイン情報を受け取る工程と、
(c)16x16ブロックとは異なる前記画像における目標画素ブロックについて前記フィルムグレイン情報をスケーリングする工程と、
(d)前記画像の画素ブロックの連続したものを読み取る工程と、
(e)前記連続した画素ブロックについて乱数雑音を、前記少なくとも1つのパラメータによって生成する工程と、
(f)前記雑音に対してブロック・ベースの変換を行って係数群を生成する工程と、
(g)前記係数を周波数フィルタリングする工程と、
(h)前記周波数フィルタリングされた係数に対してブロック・ベースの逆変換を行ってフィルムグレイン画像ブロックを生成する工程と、
(i)先行して前記目標ブロック・サイズにスケーリングされた前記画素ブロックの画素値を変更するよう前記雑音をスケーリングする工程とを備えることを特徴とする方法。
【請求項16】
請求項15記載の方法であって、
工程(d)乃至(i)は、前記画像における画素ブロック全てが読み取られるまで繰り返されることを特徴とする方法。
【請求項17】
請求項15記載の方法であって、
ブロック・ベースの変換を行う工程は、離散コサイン変換を行う工程を更に備えることを特徴とする方法。
【請求項18】
請求項15記載の方法であって、
ブロック・ベースの逆変換を行う工程は、逆離散コサイン変換を行う工程を更に備えることを特徴とする方法。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5A】
image rotate

【図5B】
image rotate


【公表番号】特表2007−507172(P2007−507172A)
【公表日】平成19年3月22日(2007.3.22)
【国際特許分類】
【出願番号】特願2006−528114(P2006−528114)
【出願日】平成16年9月22日(2004.9.22)
【国際出願番号】PCT/US2004/030950
【国際公開番号】WO2005/032143
【国際公開日】平成17年4月7日(2005.4.7)
【出願人】(501263810)トムソン ライセンシング (2,848)
【氏名又は名称原語表記】Thomson Licensing 
【住所又は居所原語表記】46 Quai A. Le Gallo, F−92100 Boulogne−Billancourt, France
【Fターム(参考)】