画像のダイナミックレンジの増大
【課題】リアルタイムで画像のダイナミックレンジを増大する。
【解決手段】種々の局面による方法と装置は、低ダイナミックレンジ(LDR)フォーマットで入力された画像データとして取り込み、入力された画像データのダイナミックレンジより大きなダイナミックレンジを有する向上した画像データ(すなわち高ダイナミックレンジ(HDR)画像データ)を出力として生成する。実施の形態によっては、本方法はビデオデータに適用され、リアルタイムで実行される(すなわち、ビデオフレームのダイナミックレンジの増大するビデオフレームの処理を、少なくともビデオ信号のフレームレートの平均で終了する)。
【解決手段】種々の局面による方法と装置は、低ダイナミックレンジ(LDR)フォーマットで入力された画像データとして取り込み、入力された画像データのダイナミックレンジより大きなダイナミックレンジを有する向上した画像データ(すなわち高ダイナミックレンジ(HDR)画像データ)を出力として生成する。実施の形態によっては、本方法はビデオデータに適用され、リアルタイムで実行される(すなわち、ビデオフレームのダイナミックレンジの増大するビデオフレームの処理を、少なくともビデオ信号のフレームレートの平均で終了する)。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、デジタル画像に関する。本発明は特に画像(静止画像および/またはビデオ画像を含む)のダイナミックレンジを増大する装置および方法に関する。本発明は、限定はされないが、電子ディスプレイ、メディアプレーヤー(DVDプレーヤーなど)、電子ディスプレイおよび/またはメディアプレーヤーで使用される画像処理サブシステム、および、データプロセッサで読み込まれその後実行され、媒体上で提供されるコンピュータソフトウェアにおいて実施される。
【背景技術】
【0002】
ヒトの目は、非常に広い範囲の強さの光を感知できる。正確に実際のシーンを再現するには、画像が高いダイナミックレンジを有することが好ましい。高性能CCDアレイのような高性能画像センサは、高いダイナミックレンジを有する画像を取得することができる。新世代のディスプレイ装置は、従来のディスプレイ技術より改善されたダイナミックレンジを間違いなく提供する。
【0003】
現在の映画、ビデオおよび静止画像のほとんどは、これらの新世代のディスプレイ装置が作り出すより遥かに低いダイナミックレンジを提供するフォーマットで記録されている。将来は、進化するカメラ技術とファイルフォーマットにより、これらのディスプレイ装置に高品質の内容が提供されるであろう。近い将来では、低ダイナミックレンジのメディア(例えば、低ダイナミックレンジ(LDR)フォーマットでの画像データ)のダイナミックレンジを増大する方法が提供されるのが望ましい。このことにより観察者は、既存のメディアを用いながら少なくとも多少は高ダイナミックレンジのディスプレイの利益の恩恵を受けられるであろう。
【0004】
映画館の画像システム(プロジェクタ)や家庭シアターシステムの観察者は、とても目が肥えている。これらのおよび他の用途で、目に付くアーティファクトが基本的にない画像を提供することが望まれる。
【0005】
用途によっては、リアルタイムで画像のダイナミックレンジを増大する(たとえば、増大した画像信号を生成する)ことが好ましい。
【発明の概要】
【0006】
本発明は多くの局面を有する。一局面では、入力として低ダイナミックレンジ(LDR)フォーマットの画像データを受け取り、出力として入力画像データのダイナミックレンジより大きなダイナミックレンジを有する増大した画像データを生成する方法を提供する。実施の形態によっては、その方法はビデオデータに用いられ、リアルタイムで実行される(すなわち、ビデオフレームを処理してビデオフレームのダイナミックレンジを増大することは、平均として少なくともビデオ信号のフレームレートで完了する)。
本発明のさらなる局面と本発明の特定の実施の形態の特徴を、以下に説明する。
添付の図面は本発明の、限定的ではない、実施の形態を図解する。
【図面の簡単な説明】
【0007】
【図1】本発明の一実施の形態による画像のダイナミックレンジを増大する方法の流れ図である。
【図1A】例示的な一実施の形態による入力画像データを線形化する方法の流れ図である。
【図2】輝度増大機能を生成し、画像データに輝度増大機能を用いる例示的な方法を図解する流れ図である。
【図2A】エッジストッピング機能を構成するマスクを生成する例示的な方法を図解する流れ図である。
【図2B】ピクセルの近傍と、そのピクセルでの階調度を決定する例示的方法を図解する流れ図である。
【図3A】例示的なLDR入力画像を示す。
【図3B】対応するスムース成分を示す
【図3C】エッジストッピング成分により修正された対応する輝度増大機能を示す。
【図3D】高ダイナミックレンジ(HDR)出力画像を示す。特許図面のメディアは入出力画像のダイナミックレンジを再生しないことが分かるであろう。
【図4A】輝度増大機能のスムース成分を生成する例示的な方法を図解する流れ図である。
【図4B】輝度増大機能のエッジストッピング成分を生成する例示的な方法を図解する流れ図である。
【図4C】例えば、図4Aおよび図4Bの方法で輝度増大機能を生成するのに用いられる画像ピラミッドを図解する。
【図4D】図4Bの概念、エッジストッピング成分を生成するのに関連する概念を特に、図解する。
【図5】図5は、本発明の実施の形態による装置を図解する。
【図6】増大した画像データを映し出すために、画像データのダイナミックレンジを増大し、二重変調型ディスプレイのモジュレータの駆動値を生成する特定の実施の形態による方法を図解する。
【図6A】増大した画像データを映し出すために、画像データのダイナミックレンジを増大し、二重変調型ディスプレイのモジュレータの駆動値を生成する特定の実施の形態による方法を図解する。
【発明を実施するための形態】
【0008】
以下の詳細な説明を通じ、具体的な詳細は、本発明をよりよく理解するために示されている。しかし、本発明は、それらの詳細なしでも実施できる。他の例では、本発明を不要にぼやけさせるのを避けるため、周知の要素は示さず、あるいは、詳細に説明していない。したがって、明細書と図面は、限定的な意味ではなく、説明的な意味とみなされるべきである。
【0009】
図1は、本発明の一実施の形態による、画像データ21により画定されるデジタル画像のダイナミックレンジを増大する方法20を説明するフローチャート(流れ図)である。画像データ21は、低ダイナミックレンジ(LDR)画像データでよい。ブロック22では、入力された画像データ21からのピクセル値を線形化する。ブロック22は、輝度がピクセル値と線形に変化する空間で、入力された画像データ21のピクセル値が既に表されている場合には、不要である。実施の形態によっては、ブロック22の線形化は下流側の余分な処理をするにより、回避される。ブロック22からの出力は、線形化画像データ23である。線形化画像データ23の各ピクセルは、ピクセルの輝度と少なくともほぼ比例する値を有する。
【0010】
ブロック22の線形化でなされる特定のプロセスは、入力された画像データ21の画像のエンコーディングに依存する。たとえば、代表的な画像やテレビのデータは、2.2近傍のガンマ値を有するガンマ曲線でエンコードされる。このガンマ曲線は、ブラウン管(CRT)のような従来のディスプレイ技術での非線形性を補正するようになされている。そのようなデータの線形化は、ガンマ曲線を反転した関数を用いることによりなされる。ガンマ曲線を反転することにより、原シーンの輝度にほぼ比例するピクセル値が提供される。
【0011】
ブロック22の線形化機能は、参照テーブル(LUT)を用いて実行される。たとえば、ブロック22の線形化の手順は、入力された画像データ21のピクセル値を参照し、LUTから対応する線形化されたピクセル値を検索し、対応する線形化されたピクセル値を線形化画像データ23に出力することを含む。他の実施の形態では、ブロック22の線形化機能は、入力された画像データ21からのピクセル値を入力として受け取り、線形化画像データ23用の対応する線形化されたピクセル値を出力として生成する、適切なデータプロセッサ上で実行されるソフトウェアあるいはハードウェアにより実行されてもよい。
【0012】
実施の形態によっては、ブロック22の線形化プロセスは、入力された画像データ21を線形化するのに最も適した複数の線形化機能の1つを選定することを備える。あるデータフォーマットは、ピクセル値と輝度の非線形な関係を明確にまたは暗に特定する情報を含む。そのような情報は、例えば、入力された画像データ21に付随するヘッダーから入手できる。
【0013】
図1Aは、特定の実施の形態に従って、ブロック22の線形化を実行する方法を示し、入力された画像データ21は、入力された画像データ21のピクセル値と所望の輝度との非線形な関係を明確または暗に特定するエンコード情報を含む。図1Aを参照すると、ブロック22の線形化プロセスは:エンコード情報を読み取ること(ブロック20A);エンコード情報に一致する複数の線形化機能25(25A、25B、25C・・・として区別する)の1つを選定すること;選定された線形化機能25を入力された画像データ21に適用し(ブロック20C)線形化画像データ23を生成すること;を含んでもよい。
【0014】
実施の形態によっては、線形化画像データ23のピクセル値は、対応するピクセルに対しディスプレイ上で映し出される絶対的な出力強度を備える。
再度図1を参照すると、ブロック30で線形化画像データ23のコントラストをストレッチ(強調)してストレッチ画像データ31を生成する。ブロック30のコントラストストレッチは、いろいろな方法で実施される。1つの特定の実施の形態では、ブロック30のストレッチは次式で実施される。
【0015】
【数1】
ここで、LDRijは線形化画像データ23からのピクセル値(符号i,jでインデックスを付けた)、HDRijはストレッチ画像データ31からの対応するピクセル値(符号i,jでインデックスを付けた)、αは画像が映し出されるディスプレイの黒レベルに等しく設定されたパラメータ、βは係数である。実施の形態によっては、αは1cd/m2未満である。一例の実施の形態では、αは0.05〜0.6cd/m2の範囲である。特定の実施の形態では、αは0.3cd/m2であり、通常の観測条件で濃い黒を示す。係数βは、結果としての画像が不自然な見え方(例えば、アーティファクト)を有するほどに高くない、所望のコントラスト比を生ずるように選定される。約5000:1までコントラストをストレッチすること(すなわち、βが約5000まで)は、種々の画像で許容できないアーティファクトを含むことなく実施できることが分かっている。この閾値は安全側である。多くの画像について、より大きな係数βを使って目覚ましい成果を収めることができる。しかし、この閾値を超えると、画像によっては見栄えの劣化を生ずることがある。
【0016】
係数βは画像が映し出されるディスプレイ上の白レベルを参照して設定してもよい。例えば、βは、線形化画像データ23の飽和ピクセル値が白色点に対応する強度値にマッピング(写像)されるように選んでもよい。例えば、白色点は1000cd/m2を超えてもよい。プロトタイプの実施の形態では、白色点は約1200cd/m2になるように選ばれた。αとβの値は、目標ディスプレイに適合するように選ばれる。αとβの値は、線形化画像データ23により表される画像の特徴と関係なく設定されてもよい。
【0017】
オプションのブロック40(図1)では、ストレッチ画像データ31に画像フィルタを用いて、フィルタされたストレッチ画像データ41を提供する。オプションのブロック40のフィルタは、ノイズと量子化アーティファクトを低減する。コントラストストレッチ(ブロック30)やピクセル値の非線形マッピング(ブロック22)は、量子化アーティファクトとノイズを増幅する。LDR入力画像は通常256ピクセル値に量子化され、代表的には1000以上の異なった値を用いて最小弁別閾(JND)ステップの精密さでHDRディスプレイのダイナミックレンジをカバーする。Lossyビデオ圧縮は、局所的画像領域で使える強度レベルの数をさらに低減することができる。オプションのブロック40のフィルタプロセスは、使用されていない強度レベルを利用して、そうしなければ量子化アーティファクトのこの増幅により生じるであろうアーティファクトを取り除くことができる。
【0018】
実施の形態によっては、ブロック40は、双方向フィルタをストレッチ画像デー31に適用することを備える。適当な双方向フィルタは、Tomasi、Manduchi「Bilateral filtering for gray and color images」ICCV’98講演集、839に説明されている。一般的に双方向フィルタは次のフォームを有する。
【0019】
【数2】
ここで、h(x)は位置xにおけるピクセル用のフィルタの出力、A(x)は規格化因子、f(x)は位置xのピクセル値、c(ξ−x)は位置ξのピクセルと位置xのピクセルの距離と共に低下する重み関数(cは「近接(closeness)」関数と呼ばれる)、s(f(ξ)−f(x))はf(x)とf(ξ)の差異と共に低下する重み関数(sは「類似(similarity)」関数と呼ばれる)である。式(2)の積分は、位置xの近傍N(x)にわたり計算される。
【0020】
双方向フィルタが式(2)で与えられる場合、規格化因子A(x)は次式で与えられる。
【0021】
【数3】
実施の形態によっては、近接関数(c)と類似関数(s)は、それぞれの独立変数のガウス関数である。例えば、cは次式で与えられる。
【0022】
【数4】
ここで、d(ξ−x)は、ξとx間のユークリッド距離、σdは分散を定義するパラメータ(すなわち、ξとx間の距離の増加と共にどのくらい迅速にcが低下するか)である。類似関数(s)は次式で与えられる。
【0023】
【数5】
ここで、δは位置ξと位置xでのピクセル値間の強度スペースでの距離の適切な大きさ、σrは分散を定義するパラメータ(すなわち、f(ξ)とf(x)間の距離の増加と共にどのくらい迅速にsが低下するか)である。
【0024】
実施の形態によっては、類似関数(s)の分散σrがf(x)の値と共に増加するように、類似関数(s)に修正した関数を用いる。このような実施の形態では、ブロック30の局所ピクセル値の非線形強度マッピングにより導かれるストレッチに比例して分散σrをストレッチし、ブロック30のストレッチ後は、測光分散が量子化レベルの固定値、好ましくは2、に等しいようにする。
【0025】
上述のようにσrをf(x)と共に変化するようにすることの効果は、ブロック30のストレッチの前に固定した分散で双方向フィルタを行うのと似ている。しかし、ブロック30のストレッチ後ブロック40の双方向フィルタを固定小数点演算で行うことができるので、ブロック30のストレッチ後にブロック40の双方向フィルタを行うことは好都合である。双方向フィルタを行うことは計算コストが高いので、コンピュタリソースが限られている場合には、双方向フィルタを各ピクセルの比較的小さな近傍N(x)で行うのが好ましい。例えば、実施の形態によっては、ブロック40の双方向フィルタは、処理中のピクセルの4ピクセル程度のスペース内のピクセルだけを含む近傍で行うことでもよい。
【0026】
画像のLDR表示では、画像の最も明るい領域のピクセルを揃える(例えば、LDR画像のピクセル値は0から255の範囲の整数(8ビット表示に対応する)ならば、画像の最も明るい領域のピクセルはピクセル値を255に揃えさせる)。255は可能な最大のピクセル値なので、LDR画像は原シーンが255のピクセル値を生ずる最小閾値よりどのくらい明るかったかの情報を欠いている。画像のダイナミックレンジを増大するのに、ブロック30でなされるコントラストストレッチを超え、コントラストストレッチより大きく取り出したピクセル値を高めるのが好ましい。
【0027】
さらに、LDR画像に基づいて最良のHDR画像を得るために、最も明るいピクセル値を、それらのピクセル値が取り出されていないとしても、高めるのが好ましい。例えば、LDR画像の白レベルの、あるいは、そのレベルを超える値を有するピクセルのピクセル値を高めることが好ましい。これらの領域では、シーン強度がカメラ、録画手段、あるいは画像データフォーマットの能力を超えるので、情報が失われてしまう。
【0028】
再度図1を参照して、ブロック50は、輝度増大機能を生成し、フィルタされた画像データ41(あるいは、ブロック30とブロック50の間にフィルタがなければ、ストレッチ画像データ31)に適用する。ブロック50の輝度増大機能を適用することの結果として出力画像51が生成される。ブロック50の輝度増大機能は出力画像51の輝度を、少なくとも1つの色チャンネルに対するピクセル値がフィルタされた画像データ41の閾値を超える領域で特に、増大する。そのような領域は、本書では「増大領域(enhancement regions)」と呼ばれる。
【0029】
ブロック50の輝度増大機能はフィルタされた画像データ41を、観察者に原シーンを見ているときに付随するのと似た直感的な反応を与える出力画像51を生ずるように修正しようとする。入力された画像データ21を生成するときに原シーンから失われた情報を正確に置き換えることが不可能であるとしても、このことは可能である。
【0030】
図2は、本発明の特定の実施の形態によるブロック50の輝度増大機能を実行する方法を示す。図2に示すように、ブロック50は、出力画像データ51を生ずるためにフィルタされた画像データ41に適用される輝度増大機能53を、ブロック50Aで計算することを備える。以下に説明するように、輝度増大機能53は、出力画像データ51を著しく劣化させる目に付く空間的または時間的アーティファクトを取り込むのを防止する特徴を有するのがよい。出力画像データ51で必要な忠実度は、用途によって異なる。以下の例では、輝度増大機能53がフィルタされた画像データ41のピクセル値を増加させて出力画像データ51を生ずるのに用いられる値を生成する。他の実施の形態では、輝度増大機能53は、増加以外の方法を用いて、フィルタされた画像データ41に適用してもよい。
【0031】
輝度増大機能53はフィルタされた画像データ41で、主としてスムース(滑らか)に変化し、増大領域のエッジを越えて広がる影響を有する。結果は、閾値を超える色チャンネル(あるいは、増大領域に含まれることの基準を満たす他の輝度測定値)のフィルタされた画像データ41のピクセルに対してだけではなく、そのようなピクセルを囲む領域のピクセルに対しても輝度を増加する。以下に説明するように、輝度増大機能53はフィルタされた画像データ41の強い画像階調度の領域のシャープなエッジを含む。実施の形態によっては、輝度増大機能53はスムースに変化する成分53Aとエッジストップ成分53Bを組み合わせて生成してもよい。以下にさらに詳細に説明するように、エッジストップ成分53Bはフィルタされた画像データ41のシャープな階調度の位置を特定する。
【0032】
輝度増大機能53のスムースに変化する成分53Aは、閾値を超える値を有する(あるいは、他に増大された領域に含まれることの基準を満たす)フィルタされたデータ41のピクセルを特定するマップに基づいて決定されてもよい。少なくとも1つの色チャンネルが強度閾値を超えるピクセル(あるいは、他の輝度測定が増大領域に含まれる基準を満たす値のピクセル)はある値(例えば1)を有し、他のすべてのピクセルは別の値(例えば0)を有する、2値マスク55を作ると便利である。画像データが単一の輝度値または均等なものを示す描写では、2値マスク55は、輝度が閾値を超えるピクセルを1つの値(例えば1)に、他のピクセルを別の値(たとえば0)に設定することで作ってもよい。
【0033】
一般的に、ピクセルを増大領域に含むための閾値を揃えた値(すなわち、入力された画像データ21で許容される最大値)よりいくらか低く設定することが好ましい。典型的にはビデオフォーマットは235の白レベルを用い、反射体の完全な白色が各色チャンネルの235のピクセル値に対応することを表す。典型的なビデオストリームは、鏡面反射のハイライトや光源に相当するより大きな、「超飽和」ピクセル値も含む。Lossyビデオ圧縮では、ピクセル値をいくつかのステップで置き換えてもよい。RGBフォーマットで入力された画像データ21を0から255の範囲のピクセル値を有する色チャンネルで処理するとき、230の閾値を用いると、Lossyビデオ圧縮があるところで、他の領域から増大領域を分離するのに有用であることが分かった。閾値は、問題になっている画像の白色点と同じか、より低いことが好ましい。典型的な写真では、Lossy圧縮により取り込まれたアーティファクトが存在しても254の閾値で充分であることが分かった。
【0034】
本書で説明した方法は、単に明るいまたは飽和したピクセルとHDR画像で高めるべきピクセルとを区別するのに選んだ特定の閾値に対して、あまり敏感ではない。閾値は、出力画像の見え方を顕著に損ねることなくある程度変化してもよい。シャープなまたは固定した閾値を使わなくてもよい。
【0035】
ピクセル値が、輝度情報が複数の色チャンネルに対し別々に規定されるRGBあるいは類似のフォーマットで規定される場合は、各色チャンネルに同じ閾値を用いるのが、必須ではないが便利で実際的である。ある色チャンネルに1つの閾値(例えば、229)を、他の1つ以上の色チャンネルに別の閾値(例えば、231)を用いることによっても許容できる結果が得られる。
【0036】
輝度増大機能53のスムースに変化する成分53Aは、マスク55をガウス形状またはほぼガウス形状の大きなカーネル(中心部)でぼかすことにより2値マスク55から生成される。結果は、各ピクセルに対する値を有するグレースケール画像57である。グレースケール画像57の値は、フィルタされた画像データ41の増大領域の中心部分に対応する領域で最大となり、そのような増大領域の中心部分から離れるにつれスムースに減少する。次にグレースケール画像57の値は、1からaの範囲にマッピングされ、ここで、aはスムースに変化する輝度増大成分53Aを生ずるのに用いられる拡大率である。グレースケール画像57の値の1からaの範囲へのマッピングは、線形でもよい。
【0037】
グレースケール画像57を生成するのに用いるぼかしカーネル(blur kernel)は有利なことに十分に大きく、予想される観察状況で、2値マスク55をぼかすのに用いるぼかしフィルタの空間スペクトルは、人間の視覚システムに対し目立たないように十分に小さな角振動数を主に含む。例えば、角振動数は、1サイクル/度以下、好ましくは0.5サイクル/度以下である。人間の視覚システムは、そのような低空間振動数で生ずる輝度の変化にはあまり敏感ではない。
【0038】
ピクセル間の空間に関してぼかしフィルタの標準偏差は、ディスプレイ寸法と観察距離の予想範囲により変わる。例えば、解像度1920×1080ピクセルの37インチ(対角線)ディスプレイでは、例としての実施の形態は150ピクセルの標準偏差を有するぼかしフィルタを用いる。このことは、3mの観察距離での1.2度に対応する。ぼかしフィルタの標準偏差は少なくとも0.75度、好ましくは1度、より好ましくは1.1度に対応する。結果として、ぼかしフィルタの空間スペクトルは主に低角振動数を含み、視覚的に邪魔となるアーティフェクトとなりうる高角振動数を含まない。
【0039】
コンピュータモニタのほとんどは、おぼ0.5メートルの距離から観察されるようにされている。30cmの幅を有するそのようなモニタは、約30度の観察角度に広がる。ホームシアターシステムでテレビ画面に推奨できる観察角度もまた、代表的には30〜36度の範囲である。意図された観察角度が30度の場合、ディスプレイの水平解像度の0.025に等しい標準偏差は約0.75度に広がり、ディスプレイの水平解像度の0.05に等しい標準偏差は約1.5度に広がる。
【0040】
本書で説明する方法がテレビに映し出される画像を生成するのに用いられる場合には、ぼかしフィルタの標準偏差はディスプレイの水平解像度の少なくとも約0.025、より好都合にはディスプレイの水平解像度の少なくとも約0.033(ここで、「約」は±15%を意味する)であることが好ましい。例えば、水平解像度1920ピクセルのディスプレイでは、ぼかしフィルタの標準偏差は少なくとも約50ピクセルであるのが好都合であり、より好都合には少なくとも約65ピクセルである。上記したように、この水平解像度のディスプレイ上での好結果は、150ピクセルの標準偏差で成し遂げられる。
【0041】
輝度増幅係数aの値は、対象のディスプレイの性能に応じて選択される。輝度増幅係数aは、ディスプレイが許容できる出力より著しく大きな出力値を生成するほどに大きくてはならない。例としての実施の形態では、4×1200=4800cd/m2のピーク強度に対応するa=4の値が、Brightside(登録商標)型DR37ディスプレイで好結果となることが分かった。大きなぼかし半径のために、大きな増大領域でピーク強度に達するだけである。より高い値あるいはより低い値の輝度増幅係数aを用いることもできる。画像によっては、32程度までのaの値を、顕著なアーティフェクトを取り込むこともなく用いることができる。調整なしで広範囲の画像にこの方法を用いる場合、より安全側のaの値、例えば2から9または10の範囲の値が、好ましい。実施の形態によっては、aは3から12の範囲でもよい。
【0042】
輝度増大機能53のスムース成分53Aは、フィルタされた画像データ41に用いられるとそれ自身で全体のコントラストをストレッチし、HDRディスプレイで観察するとストレッチ画像データ31よりも鮮明に見える画像を生ずる。しかし、スムース成分53Aは、シャープなエッジ周りの局所的なコントラストを強調はしない。このような状態でさらに見栄えをよくするために、輝度増大機能53はエッジストッピング成分53Bを備える。輝度増大機能53のエッジストッピング成分53Bは、シャープなエッジで増大領域から分けられた画像領域のスムース成分53Aの影響を制限する。
【0043】
エッジストッピング成分53Bは、スムース成分53Aがピクセルに適用されるか否かを示すピクセル値を有する2値マスクを備えてもよい。スムース成分53Aが適用されるべきではないと示す値を有するエッジストッピング機能53Bのピクセルに対応するスムース成分53Aのピクセルを特定することにより、エッジストッピング成分53Bとスムース成分53Aを組み合わせてもよい。そのように特定されたスムース成分53Aのピクセルの値を1に設定できる(フィルタ画像41の対応する値に影響しないように)。
【0044】
図2Aは、マスク55と階調画像59に基づきエッジストッピング機能53Bを構成するマスクを生成する方法を示す。階調画像59は、フィルタされた画像データ41から生成され、フィルタされた画像データ41の各ピクセルの階調が閾値を超えるか否かを示すピクセル値を有する2値マスクの形式でもよい。
【0045】
それから、2値マスク55をシードとして用いてフラッドフィル(flood fill)アルゴリズムを適用し、フラッドフィルを増大領域だけからフラッドフィルが大きな階調強度(例えば閾値以上)のピクセルに対応する階調画像59のピクセルまたはスムース成分53Aに影響する領域の境界に達するまで外側に展開することによりエッジストッピング機能53Bを生成する。
【0046】
差分商の方法を用いて階調画像59の階調が計算される。例えば、図2Bのピクセル200の階調が垂直方向に近接するピクセル201Aと201Bと水平方向に近接するピクセル202Aと202Bとの間の差分を計算することにより求められる。例示の実施の形態では、階調は次のように計算される。
【0047】
【数6】
ここで、Gは階調、Aはピクセル201Aのピクセル値、Bはピクセル201Bのピクセル値、Cはピクセル202Aのピクセル値、Dはピクセル202Bのピクセル値である。ロバスト性のために、いくつかのピクセル(すなわち、201Aと201Bは離れたいくつかのピクセルであり、202Aと202Bは離れたいくつかのピクセルである)の広い基準線を使うのが好ましい。図2Bに示される実施の形態では、基準線は5ピクセルである。このことが、階調画像59でフラッドフィルアルゴリズムがエッジを越えてリークすることがないようにする厚いエッジを提供するのに役立つことが分かった。
【0048】
実施の形態によっては、モルフォロジカル(形態学的)「オープン」オペレータ(通常「o」記号で示される)でエッジストッピング成分53Bをさらに処理し、結果を僅かにぼかしてエイリアシングを圧縮するのが好ましい。オープンオペレータ(図2Aには示されない)は、輪郭をスムースにし、狭い狭間をなくす。オープンオペレータは、1つのピクセルで全てのエッジを徐々に減らすこと、および、いずれかのエッジに隣接するピクセルを結果としての画像で加えることにより作動する。それから、さらに処理されたエッジストッピング成分53Bは、上記のようにスムース成分53Aと組み合わされて輝度増大機能53を生ずる。結果としての輝度増大機能53は、フィルタされた画像データ41上に乗算され、出力画像データ51を生ずる。
【0049】
図3A、3B、3Cはそれぞれ、例示のLDR入力画像60、対応するスムース成分53B、スムース成分53Aをエッジストッピング成分53Bと組み合わせて修正した対応する輝度増大機能53を示す。
【0050】
スムース成分53Aとエッジストッピング成分53Bを生成するのに1つの計算上効果的な方法は、図4Aと図4Bに示されるように画像データをダウンサンプルし、アップサンプルすることを含み、図4Aと図4Bはそれぞれ、本発明の特定の実施の形態による輝度増大機能53のスムース成分53Aを生成する方法70とエッジストッピング機能53Bを生成する方法71を示す。スムース成分53Aは図4Aの方法70で生成される。方法70は、マスク55から始まる。マスク55は、前述のマスク55(図2)と同様で、上述のプロセスと同様のプロセスにより求められる。ブロック72でマスク55はN回ダウンサンプルされ、ダウンサンプルマスク73が求められる。N回のブロック72のダウンサンプルのそれぞれのステップは、各次元で適当な係数だけピクセル数を減少させる。実施の形態によっては、N回のブロック72のダウンサンプルのそれぞれのステップで各次元のピクセル数が係数2だけ減少する(合計のピクセル数は係数4だけ減少する)ようにダウンサンプルされるのが好都合である。
【0051】
図示の実施の形態では、スムース成分53Aは、その後ダウンサンプルマスク73からループ74を経由して求められる。ループ74はN回の繰り返しからなり、各繰り返しは、ぼかしフィルタをブロック74Aで適用すること(小さなカーネルを有するガウスぼかしの適用、例えば各ピクセルの近傍の3×3ピクセルにガウスぼかしを適用すること、を備える);およびその後の結果をブロック74Bでアップサンプルすること(最も近い近傍の内挿を含む);を含む。この技法は、画像ピラミッド法として説明される。画像ピラミッドの利用については、Burt P. 、Adelson E.の「The Laplacian pyramid as a compact image code」IEEE(1983)、通信に関する議事録31、4、532−540ページに説明されている。方法70の結果が、スムース成分53Aとなる。
【0052】
実施の形態によっては、エッジストッピング成分53Bは、フィルタされた画像41の階調を示す階調画像75から始めて図4Bに示す方法71を用いて生成される。ブロック76では、階調画像75がN回ダウンサンプルされてダウンサンプル階調画像77を生ずる。それからエッジストッピング機能53Bが、ダウンサンプルマスク73からN回のループ79で得られ、ループ79は最も近い近傍の内挿を用いてダウンサンプルマスクをアップサンプルし(ブロック78A)、モルフォロジカル「膨張」オペレーションを結果に適用する(ブロック78B)。膨張オペレーション(通常下記数7の記号で示される)が小さな(例えば3×3ピクセル)ブロックで実行され(すなわち、3×3正方形構造エレメントを用いる)、エッジに対応するピクセルで停止するように修正される(例えば、対応する解像度のエッジ画像に高階調を有するように印付けられる)。
【0053】
【数7】
図4Dはこれらの概念を、特にエッジストッピング成分53Bに関連する概念をさらに説明する。図示のように、方法71はフィルタされた画像41の階調を示す階調画像75で始まる。階調画像データ75の階調は、前述の階調画像データ59のプロセスと同様のプロセス(例えば、差分商)を用いて求めることができる。方法71も、上述の方法と同様の方法で求められるダウンサンプルマスク73(図4A)から始まる。ブロック76で階調画像75はN回ダウンサンプルされてN個のダウンサンプル階調画像77を1組生じ、N個のダウンサンプル階調画像77の各々は対応する解像度を有する。ダウンサンプルマスク73とダウンサンプル階調画像77の1つは、それからモルフォロジカル膨張オペレーション(ブロック78A)に供される。ブロック78Aの膨張オペレーション(通常下記数8の記号で示される)が、ダウンサンプルマスク73の小さな(例えば3×3ピクセル)ブロックで実行される(すなわち、3×3正方形構造エレメントを用いる)。ブロック78Aの膨張オペレーションは、ダウンサンプルマスク73の解像度と同じ、あるいは類似の、解像度を有するダウンサンプル階調画像77の1つを備える。ブロック78Aの膨張オペレーションは、エッジに対応するピクセル(例えば、決められたピクセルまたはダウンサンプル階調画像77の解像度が等しい対応する1つの画像に高階調を有するとして印付けされたピクセル)で停止するように修正されてもよい。
【0054】
【数8】
ブロック78Aの膨張オペレーションの結果はループ79に供され、エッジストッピング機能53Bを求めるのに用いられる。ループ79はN回の繰り返しを備え、各繰り返しには、前のループ79の繰り返しの結果(または最初のループ79の繰り返しの場合はブロック78Aの膨張オペレーションの結果)をアップサンプルすること(ブロック78B);モルフォロジカル「膨張」オペレーションを78Bのアップサンプルされた結果に適用すること(ブロック78C);を含む。ブロック78Bのアップサンプル手順は、最も近い近傍の内挿を備えてもよい。ブロック78Cの膨張オペレーションは上述のブロック78Aのオペレーションと同様であるが、ブロック78Cの膨張オペレーションではブロック78Bのアップサンプルプロセスの出力の解像度と同じ、または類似の、解像度を有するダウンサンプル階調画像77の1つを入力とすることおよびブロック78Cの膨張オペレーションではエッジに対応するピクセル(例えば、決められたピクセルまたはダウンサンプル階調画像77の解像度が等しい対応する1つの画像に高階調を有するとして印付けされたピクセル)で停止するように修正されてもよいことを除く。図示の実施の形態では、ループ79の終わりには、N回のアップサンプルオペレーションとN+1回の膨張オペレーションがあったことになる。別の実施の形態では、最初のブロック78Aの膨張オペレーションは必要ではない−すなわち、N回のアップサンプルオペレーションとN回の膨張オペレーションがある。ループ79の出力は、エッジストッピング成分53Bである。
【0055】
有利なことに、膨張オペレーション(ブロック78A、78C)が作用する半径(ブロックサイズ)は、ブロック74Aのぼかしオペレーション(図4A)が行われる半径と同じである。このことにより、ぼかしオペレーション(ブロック74A)と膨張オペレーション(ブロック78A、78C)により影響を受ける領域の境界が、続くアップサンプルの繰り返しにわたり同じ速さで外側に広がる。
【0056】
図4Cは、図4A、4Bの方法70、71を実行する過程で適用される画像ピラミッドを提供するダウンサンプル画像と階調画像を示す。特に、図4Cのコラム(1)はブロック72のダウンサンプルオペレーションを示し(図4A);図4Cのコラム(2)はループ74のブロック74Aのぼかしとブロック74Bのアップサンプルオペレーションを示し(図4A);図4Cのコラム(3)は1組のダウンサンプル画像77を得るための階調画像75のブロック76のダウンサンプルを示し(図4B);図4Cのコラム(4)はループ79のブロック78A、78Cの膨張とブロック78Bのアップサンプルオペレーションを示す(図4B)。
【0057】
本書で説明する例示的方法は、以下の1つ以上を含む有利な特徴を供するような方法で実装される。
・その方法はグラフィックプロセッサユニット(「GPU」)で実行されるアルゴリズムとして実装される
・その方法はシグナルプロセッサ、特定用途集積回路(ASIC)またはフィールド・プログラマブル・ゲート・アレイ(「FPGA」)で実行できるアルゴリズムとして実装され、それらはディスプレイ、メディアプレーヤー等に置かれる。
・その方法はダイナミックHDTV解像度ビデオストリームで実行されるのに十分なだけ効率的である
・ユーザ入力が必要ではない。全パラメータは画像が映し出されるディスプレイのハードウェアの特徴に基づき、予め選定される。
・その方法は、邪魔なアーティフェクトの生成を回避するという意味で、ロバスト性がある。HDR出力画像の表示品質は、内容の非常に広い範囲で入力画像の品質と少なくとも同程度に優れている。
・出力ビデオストリームは時間的にコヒーレントである(色と強度は、入力画像でそうでない限り、急に変化しないように)。
【0058】
図5は、本発明の例示的実施の形態による装置80を示す。装置80は、入力された画像データ(図1)を受領する入力82を備える。画像データは、リニアライザ84、コントラストストレッチャ86、オプションのフィルタ88を順番に通る。フィルタ88の出力は閾値比較システム90と空間フィルタ92に送られ、スムース成分53Aを画定するデータを生成する。空間フィルタ92は、例えば、方法70の動作(図4A)を実行する。フィルタ88の出力はまた、階調コンピュータ93、フィルタ94、閾値比較システム96を順に通り、エッジストッピング成分53Bを生ずる。スムース成分53Aおよびエッジストッピング成分53Bを画定するデータは、輝度増大機能53を生成する輝度増大生成コンポーネント98に供される。輝度増大機能53とフィルタ88の出力は乗算器99に供され、図示の実施の形態では乗算器99はフィルタ88と輝度増大機能53との出力を乗算(例えば、ピクセルでの乗算)をする。図示の実施の形態では、乗算器99からの出力は出力95に提供される。他の実施の形態では、乗算器99は他の形のマッピングまたは他の機能(すなわち、ピクセルでの乗算以外)を実行し、フィルタ88と輝度増大機能53との出力を入力として結果のデータ95を出力する。実施の形態によっては、出力95での出力データはデータストアに記憶され、または、出力データを映し出すディスプレイのデータパスをたどり続ける。装置80は入力82で受領したデータをリアルタイムで処理してもよい。
【0059】
図5に示されるエレメントは、いかなる適切な方法で実装されてもよい。例えば、これらのエレメントは適切なデータプロセッサ上で稼動するソフトウェア、FPGAのような必要な機能等を実行するようになされた構成可能なハードウェアまたはその一部を備える。
【0060】
あるHDRディスプレイは、二重変調HDRディスプレイと称される2つのモジュレータを有するタイプである。第1のモジュレータは光パターンを生成し、第2モジュレータは第1モジュレータで生成された光パターンを変調し画像を生成する。第1モジュレータは、画像の比較的低解像度の描写を生成するように動かされる。低解像度の描写は第2モジュレータで変調され、観察者に視認される高解像度画像を提供する。第1モジュレータは、発光ダイオード(LED)等のような、積極的に変調された光源のマトリックスまたはアレイを備え、または代替として、機能的にモジュレータから分離された光源から発せられる光を変調するモジュレータを備える。第1モジュレータは発光層または光源層と称される。発光層の位置の関数として発せられる光量はコントロールできる。第2モジュレータは、実施の形態によっては液晶ディスプレイ(LCD)である。このような二重変調HDRディスプレイは、第1モジュレータおよび第2モジュレータ用の別々の駆動信号を生成する。
【0061】
二重変調ディスプレイでの第1モジュレータと第2モジュレータ用駆動信号を生成するいくつかの方法は、2005年5月27日出願、タイトル「デュアル変調器ディスプレイ上での高速画像レンダリング(RAPID IMAGE RENDERING ON DUAL-MODULATOR DISPLAYS)」の国際特許出願PCT/CA2005/000807に説明されている。この出願は、WO2006/010244として公開され、参照して本書に組み込む。
【0062】
ダイナミックレンジを向上させるのに上記に説明した方法と、二重変調ディスプレイでモジュレータ用駆動信号を生成するのに用いられる方法との間には、相乗作用がある。特に、ある中間結果(例えば、ダウンサンプル/アップサンプル画像データの種々のレベル)は両方の方法に使える。実施の形態によっては、ダイナミックレンジを向上するために本書に説明される方法と装置は、二重変調ディスプレイの駆動信号を生成する方法や装置と組み合わされる。有利なことに、そのような実施の形態では、データがそれらの方法間で共有される。このことによりハードウェアおよび/または計算資源を節約する。実施の形態によっては特定の節約となり、あるダウンサンプル画像データが画像のダイナミックレンジを向上する目的と適切な駆動信号(例えば、モジュレータの1つ用の駆動信号)を生成するための両方に用いられて二重変調ディスプレイに向上した画像を映し出させる。実施の形態によっては、本発明による装置は、ディスプレイで使用するビデオプロセッサチップまたはディスプレイで使用されるディスプレイドライバチップに組み込まれる。
【0063】
図6と図6Aは、例示的実施の形態により画像を向上させ映し出す方法100を示す。方法100は、例えば、二重変調ディスプレイの回路で実行される。ブロック102では、最初のLDR画像101Aが強度空間で線形化され、線形化画像101Bを提供する。最初のLDR画像101Aがガンマ曲線でエンコードされている場合には、ブロック102はLDR画像101Aの輝度値を修正するガンマを備えて線形化画像データ101Bを求める。
【0064】
ブロック104では、線形化画像101Bをダウンサンプルし(例えば、画像を映し出すのに用いられる二重変調ディスプレイの光源層(すなわち、第1モジュレータ)のエレメントの解像度と適合する解像度へ)ダウンサンプル画像データ105を生成する。ブロック104のダウンサンプルは1段あるいは多段で実行される。光源層は、たとえば発光ダイオード(LED)のような光源のマトリックス、普通の光源または光源のセットからの光の伝達を変調する反射型または透過型モジュレータの制御可能なピクセルのアレイなどを備える。ダウンサンプル画像105の解像度は典型的にはダウンサンプル階調画像77(図4B参照)の解像度よりあるいはダイナミックレンジ向上の目的で用いられる最低解像度画像107より大きい。
【0065】
ダウンサンプル画像105は保存される(例えば、適切なメモリ等に記憶される)。ブロック106で、ダウンサンプル画像105はさらにダウンサンプルされ、最低解像度画像107を生ずる。最低解像度画像107は輝度増大機能53を生成するのに必要な解像度を有する(例えば、図4A、4Bの方法70、71を実行するため)。ブロック106のダウンサンプルは一連のダウンサンプルステップで行われてもよい。
【0066】
増大領域を特定するマスク109は、ブロック108で用意される。ブロック108は、例えば上述のように、最低解像度画像107のピクセル値を1つ以上の閾値と比較することと、2値化マスク109を生成することとを備える。マスク109(図6)は、上述のダウンサンプルマスク73(図4A、4B)に対応し、上述のプロセスと同様のプロセスを用いてブロック108で生成される。実施の形態によっては、全解像度2値化マスク(図2、4Aのマスク55と類似)は線形化画像データ101Bから直接生成され、その後、全解像度2値化マスク自身をダウンサンプルしマスク109を得る。
【0067】
ブロック110で階調画像111は線形化画像データ101Bから計算される。階調画像111(図6)は階調画像75(図4B)に対応し、上述の方法と同様の方法でブロック110にて計算される。ブロック112で階調画像111は最低解像度画像107やマスク109と同じ解像度にダウンサンプルされる。図示の実施の形態では、ブロック112のダウンサンプルは一連のダウンサンプルステップで実行され1組の異なった解像度のダウンサンプル階調画像113を生ずる。1組のダウンサンプル階調画像113(図6)はダウンサンプル階調画像77(図4B)に対応し、上述の方法と同様の方法でブロック112で生成される。
【0068】
ブロック114で、マスク109は線形化画像101Bの解像度に達するまでの回数アップサンプルされる。ループ74(図4A)で上に説明したように、各ブロック114のアップサンプルステップの前にガウスぼかし(図4Aのブロック74A)を適用する。ブロック114のアップサンプルの結果はグレースケール画像115である。グレースケール画像115はグレースケール画像57(図2)および/または輝度増大機能のスムース成分53A(図2、図4A)に対応する。
【0069】
ブロック116でマスク109は、ダウンサンプル画像105と同じ解像度までアップサンプルされる。ブロック116のアップサンプルオペレーションの結果は、アップサンプル画像117として保存される(例えば、適切なメモリ等に記憶される)。方法71(図4B)で上に説明したように、膨張オペレーション(図4Bのブロック78A、78C)を各ブロック116のアップサンプルステップの間に適用する。ブロック78A、78Cの膨張オペレーションに関して上述したように、各ブロック116のアップストリームステップで対応する解像度の階調画像113をエッジストップとして用いる(例えば、膨張オペレーションの範囲および/または輝度増大機能の対応する範囲を限定する)。例えば、対応する階調画像113の高階調ピクセルに対応するピクセルは、これらのピクセルに少ない程度しか影響せずまたは全く影響しない輝度増大機能となる値に設定される。
【0070】
ブロック118で、アップサンプル画像117は、線形化画像101Bの解像度までさらにアップサンプルされる。ブロック118のアップサンプルの結果は、アップサンプル画像119である。図6では陽に示してはないが、ブロック118のアップサンプル手順もまた、ブロック78A、78C(図4B)の膨張オペレーションと同様の膨張オペレーションを含む。再度、各ブロック118のアップサンプルステップで、対応する解像度の階調画像113をエッジストップとして用いる(例えば、膨張オペレーションの範囲および/または輝度増大機能の対応する範囲を限定する)。アップサンプル画像119は輝度増大機能のエッジストップ成分53B(図4B)に対応する。
【0071】
ブロック120で、グレースケール画像115はアップサンプル画像119で乗算(例えば、ピクセルでの乗算)されて向上画像(enhancement image)121を生ずる。他の実施の形態では、ブロック120は、グレースケール画像115とアップサンプル画像119を入力とし向上画像121を出力する他のマッピングを備えてもよい。ブロック122でアンチエイリアシングフィルタを向上画像121に用いて飽和拡張画像(saturation extension image)123を生ずる。他の実施の形態では、ブロック122はアンチエイリアシングさもなければ拡張画像121からエイリアシングを除去しまたは減じて拡張画像123を生ずるための他の技術を含む。拡張画像123は、上述の輝度増大機能53(図2)に対応する。
【0072】
ブロック124(図6A)で、飽和拡張画像123は線形化画像データ101Bで乗算(例えば、ピクセルでの乗算)されてHRD画像125を生ずる。実施の形態によっては、ブロック124は乗算を行う前にマッピング(例えば、1からaの値への)を含む。他の実施の形態では、ブロック124は飽和拡張画像123と線形化画像データ101Bを入力としHDR画像125を出力する他のマッピングを備えてもよい。
【0073】
方法100の図示した実施の形態では、発光層(例えば、比重変調ディスプレイの第1モジュレータ)用コントロール信号131は、ブロック126から130で生成される。ブロック126でダウンサンプル画像105の輝度は固定され、輝度が閾値(例えば、閾値は、発光層のLEDが発光できる最大輝度に関係する)を超えないようにする。ブロック126は固定された画像127を生ずる。
【0074】
ブロック128にて、固定画像127で輝度収集ステップが行われ、収集LED画像129を生ずる。実施の形態によっては、ブロック128は固定画像127にぼかしフィルタを適用することを備える。ブロック128は、第1モジュレータの発光エレメントが画像処理で用いられるグリッドとは異なるパターンで配置された場合に有用である。例えば、第1モジュレータのLEDまたは他の光源は六角形グリッドに配置されるが、方法100の画像処理ステップは正方形または長方形グリッド上で処理される(画像処理アルゴリズムおよび/またはハードウェアの便利のため)。そのような場合には、長方形グリッドエレメントは第1モジュールのLEDや他の発光エレメントに対応しない。ぼかしフィルタオペレーションはブロック128で行われ、強度を第1モジュレータのLEDや他の発光エレメントに対応に対応する近傍のエレメントまでは広げる。
【0075】
ブロック130で、収集したLED画像129に交換を行い、第1モジュレータ駆動値131を生ずる。ブロック130の交換オペレーションは、増大領域に対応する第2モジュレータの領域まで第1モジュレータにより供給された光の強度を増大する。ブロック130の交換オペレーションとブロック132の光照射野シミュレーションとは一緒に第1オジュレータの複数のLEDの重畳効果を補おうとする。ブロック130の交換オペレーションは、アップサンプル画像117を入力として受け取る。第2モジュレータの位置での光強度は、その位置に対応する光源の周りの第1モジュレータの光源の出力を増加することにより増加する。以下に説明するように、第2モジュレータのピクセル値は光照射野シミュレーションに基づき設定される(ブロック132)。ブロック132の光照射野シミュレーションは第1モジュレータが駆動値131で駆動されたときの第1モジュレータにより生成される光を考慮に入れる。この方法により、ブロック132の光照射野シミュレーションは、第1モジュレータにより生成された光強度パターンの増大した位置を囲む領域が観察者の見る画像で過度に明るくなるのを防止する。
【0076】
図示の実施の形態では、ブロック132の光照射野シミュレーションは、入力として第1モジュレータ駆動値131を用いて実行される。交換オペレーション130で生成された第1モジュレータ駆動値131は収集したLED画像129とアップサンプル画像117を考慮に入れる。他の実施の形態では、ブロック132の光照射野シミュレーションは、オプションとして、収集したLED画像129および/またはアップサンプル画像117を受け取る。アップサンプル画像117は光源層のエレメントに適用されるダイナミックレンジ増大に関する情報を提供する。ブロック132の光照射野シミュレーションは、輝度マップ133を生ずる。輝度マップ133は、アップサンプル画像117で修正された収集したLED画像129に対応する駆動値131を用いて光源層(第1モジュレータ)を駆動するときに結果となる第2モジュレータのピクセルに入射する光の輝度を推定する。
【0077】
ブロック134でHDR画像125は輝度マップ133により除算され第2モジュレータのエレメント用駆動値135を生ずる。実施の形態によっては、ブロック134の除算オペレーションは、ピクセルでの除算を備えてもよい。別の実施の形態では、ブロック134は、HDR 画像データ125と輝度マップ133を入力としてそれらから第2モジュレータ駆動値135を生成する他のフォームのマッピングを備えてもよい。ブロック134はまた第2モジュレータの応答関数(ガンマ)で画像値を調整することを含んでもよい。
【0078】
ディスプレイは、第1モジュレータが駆動値131により駆動され、第2モジュレータが駆動値135により駆動されているときに、HDR画像125のレンダリングを映し出す。
【0079】
実施の形態によっては、第1モジュレータ駆動値131は下流側に送られ、第2モジュレータ駆動値135を含む画像フォーマットの「スペア」走査線に駆動回路を映し出す。駆動回路はスペア走査線から第1モジュレータ駆動値131を抽出し、第1モジュレータ駆動値131を用いて第1モジュレータを駆動する。第1モジュレータは第2モジュレータより遥かに少ないエレメントを有し、データフォーマットは第2モジュレータで必要とされない1本以上の走査線を伝えることができるから、このことは実用的なことが多い。例えば、第1モジュレータは、第2モジュレータの1本の走査線上のピクセル数より少ない数のLEDで構成される。この場合、全てのLED用の第1モジュレータ駆動値131は、第2モジュレータのピクセル用駆動値を伝える必要のないデータフォーマットの単一走査線に含まれる。
【0080】
ディスプレイまたはディスプレイ内の構成品は、入ってくる画像データに図6、6Aの方法100を実行するように構成される。実施の形態によっては、その方法は、入ってくる画像データがダイナミックレンジ増大を必要とするか否かを判断することを含む。ダイナミックレンジ増大が必要でなければ(例えば、入ってくる画像データが適切なHDRデータフォーマットで高ダイナミックレンジ画像を画定する場合)、ディスプレイはダイナミックレンジ増大が消されるモードに切り替える。方法100(図6、6A)のステップは例えばグラフィックプロセッサ、デジタル信号プロセッサあるいはマイクロプロセッサなどの1つ以上のプロセッサ上でおよび/または適切に構成されたASICS、FPGA、論理回路等などのハードウェアサブシステムで実行される。実施の形態によっては、方法100(図6、6A)のステップはリアルタイムで(すなわち、少なくとも平均でビデオ信号のフレームレートで)ビデオフレームのシーケンスのフレーム上で実行される。
【0081】
本発明のある実施では、プロセッサに本発明の方法を実行させるソフトウェア命令を実行するコンピュータプロセッサを備える。例えば、ディスプレイまたはディスプレイコントローラまたはメディアプレーヤーの1つ以上のプロセッサが、プロセッサでアクセス可能なプログラムメモリ中のソフトウェア命令を実行することにより図1、1A、2、2A、4A、6および/または6Aの方法を実行する。本発明はまたプログラムの製品の形としても提供される。プログラムの製品は、データプロセッサで実行されるとデータプロセッサに本発明の方法を実行させる命令を備える1組のコンピュータ可読データを有するメディアを備える。本発明によるプログラムの製品は多種多様な形態であってよい。例えば、プログラムの製品は、フロッピーディスク、ハードディスク装置を含む磁気データ記憶媒体、CD・ROM、DVDを含む光学データ記憶媒体、ROM、フラッシュRAMを含む電子データ記憶媒体等を包含する。プログラムの製品上のコンピュータ可読データは、オプションとして、圧縮され、または、暗号化されてもよい。
【0082】
構成要素(例えばソフトウェアモジュール、プロセッサ、アセンブリ、デバイス、回路、等)が上記で参照される場合に、特に指定されない限り、その構成要素への参照(「手段」への参照を含めて)は、図解の本発明の例示の実施の形態において説明される構成要素の機能を実施する構成要素であって、必ずしも構造的には開示された構成要素と等化ではない構成部品を含め、その機能を実施するいかなる構成要素をも、その構成要素と均等なものとして含むものと解される。
【0083】
これまでの界磁を踏まえで当業者に明らかであるように、本発明の思想と範囲から逸脱することなく、本発明の実施において多くの改変と修正とが可能である。例えば、
・上記に説明した例示の方法では、コントラストをストレッチした(例えば、ブロック30において)後に、輝度増大機能53が適用される(例えばブロック50において)。この順序は必須ではない。代替の実施の形態では、コントラストをストレッチする前に輝度増大機能を適用することができる。
・本書で説明した方法は、描写中のオペレーションにより容易になされ、ピクセル値は輝度に対し線形に変化する。このことは好都合ではあるが、必須ではない。本書で説明した方法は、適当な修正をして、非線形の空間で実施できる。
・用途によっては、所望の見え方を有するHDR画像を得るようにダイナミックレンジの増大に影響する1つ以上のパラメータをユーザが微調整できるようにするオプションを提供するのが実用的である。そのような用途の実施の形態は、そのパラメータへのアクセスを提供するユーザインターフェースを備える。すると、ユーザは、それらのパラメータの所望の値を選定し、それらのパラメータを用いる本書で説明した方法を用いて原画像から作り出された画像を見ることができる。いかなるパラメータもユーザ調整できるようにすることが可能である。ユーザ調整できるパラメータの非限定的例のいくつかは:線形化機能を定義するパラメータ;増大領域を特定する閾値;暗点および白色点を規定するパラメータ;全体的に適用されるコントラストストレッチ量を規定するパラメータ;輝度増大機能に影響される領域の大きさに関連するパラメータ;輝度増大機能の最大値に関連するパラメータ等である。
・本出願と添付の特許請求の範囲は、低ダイナミックレンジ(LDR)画像データおよび高ダイナミックレンジ(HDR)画像データを参照している。これらの参照は、互いに関連するものと理解されるべきである。すなわち、LDRデータはHDRデータのダイナミックレンジより低いダイナミックレンジを有すると解され、その逆の場合も同じである。しかし、特に言及された場合を除き、LDRデータやHDRデータの絶対的なダイナミックレンジに制限はない。
【0084】
したがって、本発明の範囲は、添付の特許請求の範囲に画定された内容に従って解釈されるものである。
【技術分野】
【0001】
本発明は、デジタル画像に関する。本発明は特に画像(静止画像および/またはビデオ画像を含む)のダイナミックレンジを増大する装置および方法に関する。本発明は、限定はされないが、電子ディスプレイ、メディアプレーヤー(DVDプレーヤーなど)、電子ディスプレイおよび/またはメディアプレーヤーで使用される画像処理サブシステム、および、データプロセッサで読み込まれその後実行され、媒体上で提供されるコンピュータソフトウェアにおいて実施される。
【背景技術】
【0002】
ヒトの目は、非常に広い範囲の強さの光を感知できる。正確に実際のシーンを再現するには、画像が高いダイナミックレンジを有することが好ましい。高性能CCDアレイのような高性能画像センサは、高いダイナミックレンジを有する画像を取得することができる。新世代のディスプレイ装置は、従来のディスプレイ技術より改善されたダイナミックレンジを間違いなく提供する。
【0003】
現在の映画、ビデオおよび静止画像のほとんどは、これらの新世代のディスプレイ装置が作り出すより遥かに低いダイナミックレンジを提供するフォーマットで記録されている。将来は、進化するカメラ技術とファイルフォーマットにより、これらのディスプレイ装置に高品質の内容が提供されるであろう。近い将来では、低ダイナミックレンジのメディア(例えば、低ダイナミックレンジ(LDR)フォーマットでの画像データ)のダイナミックレンジを増大する方法が提供されるのが望ましい。このことにより観察者は、既存のメディアを用いながら少なくとも多少は高ダイナミックレンジのディスプレイの利益の恩恵を受けられるであろう。
【0004】
映画館の画像システム(プロジェクタ)や家庭シアターシステムの観察者は、とても目が肥えている。これらのおよび他の用途で、目に付くアーティファクトが基本的にない画像を提供することが望まれる。
【0005】
用途によっては、リアルタイムで画像のダイナミックレンジを増大する(たとえば、増大した画像信号を生成する)ことが好ましい。
【発明の概要】
【0006】
本発明は多くの局面を有する。一局面では、入力として低ダイナミックレンジ(LDR)フォーマットの画像データを受け取り、出力として入力画像データのダイナミックレンジより大きなダイナミックレンジを有する増大した画像データを生成する方法を提供する。実施の形態によっては、その方法はビデオデータに用いられ、リアルタイムで実行される(すなわち、ビデオフレームを処理してビデオフレームのダイナミックレンジを増大することは、平均として少なくともビデオ信号のフレームレートで完了する)。
本発明のさらなる局面と本発明の特定の実施の形態の特徴を、以下に説明する。
添付の図面は本発明の、限定的ではない、実施の形態を図解する。
【図面の簡単な説明】
【0007】
【図1】本発明の一実施の形態による画像のダイナミックレンジを増大する方法の流れ図である。
【図1A】例示的な一実施の形態による入力画像データを線形化する方法の流れ図である。
【図2】輝度増大機能を生成し、画像データに輝度増大機能を用いる例示的な方法を図解する流れ図である。
【図2A】エッジストッピング機能を構成するマスクを生成する例示的な方法を図解する流れ図である。
【図2B】ピクセルの近傍と、そのピクセルでの階調度を決定する例示的方法を図解する流れ図である。
【図3A】例示的なLDR入力画像を示す。
【図3B】対応するスムース成分を示す
【図3C】エッジストッピング成分により修正された対応する輝度増大機能を示す。
【図3D】高ダイナミックレンジ(HDR)出力画像を示す。特許図面のメディアは入出力画像のダイナミックレンジを再生しないことが分かるであろう。
【図4A】輝度増大機能のスムース成分を生成する例示的な方法を図解する流れ図である。
【図4B】輝度増大機能のエッジストッピング成分を生成する例示的な方法を図解する流れ図である。
【図4C】例えば、図4Aおよび図4Bの方法で輝度増大機能を生成するのに用いられる画像ピラミッドを図解する。
【図4D】図4Bの概念、エッジストッピング成分を生成するのに関連する概念を特に、図解する。
【図5】図5は、本発明の実施の形態による装置を図解する。
【図6】増大した画像データを映し出すために、画像データのダイナミックレンジを増大し、二重変調型ディスプレイのモジュレータの駆動値を生成する特定の実施の形態による方法を図解する。
【図6A】増大した画像データを映し出すために、画像データのダイナミックレンジを増大し、二重変調型ディスプレイのモジュレータの駆動値を生成する特定の実施の形態による方法を図解する。
【発明を実施するための形態】
【0008】
以下の詳細な説明を通じ、具体的な詳細は、本発明をよりよく理解するために示されている。しかし、本発明は、それらの詳細なしでも実施できる。他の例では、本発明を不要にぼやけさせるのを避けるため、周知の要素は示さず、あるいは、詳細に説明していない。したがって、明細書と図面は、限定的な意味ではなく、説明的な意味とみなされるべきである。
【0009】
図1は、本発明の一実施の形態による、画像データ21により画定されるデジタル画像のダイナミックレンジを増大する方法20を説明するフローチャート(流れ図)である。画像データ21は、低ダイナミックレンジ(LDR)画像データでよい。ブロック22では、入力された画像データ21からのピクセル値を線形化する。ブロック22は、輝度がピクセル値と線形に変化する空間で、入力された画像データ21のピクセル値が既に表されている場合には、不要である。実施の形態によっては、ブロック22の線形化は下流側の余分な処理をするにより、回避される。ブロック22からの出力は、線形化画像データ23である。線形化画像データ23の各ピクセルは、ピクセルの輝度と少なくともほぼ比例する値を有する。
【0010】
ブロック22の線形化でなされる特定のプロセスは、入力された画像データ21の画像のエンコーディングに依存する。たとえば、代表的な画像やテレビのデータは、2.2近傍のガンマ値を有するガンマ曲線でエンコードされる。このガンマ曲線は、ブラウン管(CRT)のような従来のディスプレイ技術での非線形性を補正するようになされている。そのようなデータの線形化は、ガンマ曲線を反転した関数を用いることによりなされる。ガンマ曲線を反転することにより、原シーンの輝度にほぼ比例するピクセル値が提供される。
【0011】
ブロック22の線形化機能は、参照テーブル(LUT)を用いて実行される。たとえば、ブロック22の線形化の手順は、入力された画像データ21のピクセル値を参照し、LUTから対応する線形化されたピクセル値を検索し、対応する線形化されたピクセル値を線形化画像データ23に出力することを含む。他の実施の形態では、ブロック22の線形化機能は、入力された画像データ21からのピクセル値を入力として受け取り、線形化画像データ23用の対応する線形化されたピクセル値を出力として生成する、適切なデータプロセッサ上で実行されるソフトウェアあるいはハードウェアにより実行されてもよい。
【0012】
実施の形態によっては、ブロック22の線形化プロセスは、入力された画像データ21を線形化するのに最も適した複数の線形化機能の1つを選定することを備える。あるデータフォーマットは、ピクセル値と輝度の非線形な関係を明確にまたは暗に特定する情報を含む。そのような情報は、例えば、入力された画像データ21に付随するヘッダーから入手できる。
【0013】
図1Aは、特定の実施の形態に従って、ブロック22の線形化を実行する方法を示し、入力された画像データ21は、入力された画像データ21のピクセル値と所望の輝度との非線形な関係を明確または暗に特定するエンコード情報を含む。図1Aを参照すると、ブロック22の線形化プロセスは:エンコード情報を読み取ること(ブロック20A);エンコード情報に一致する複数の線形化機能25(25A、25B、25C・・・として区別する)の1つを選定すること;選定された線形化機能25を入力された画像データ21に適用し(ブロック20C)線形化画像データ23を生成すること;を含んでもよい。
【0014】
実施の形態によっては、線形化画像データ23のピクセル値は、対応するピクセルに対しディスプレイ上で映し出される絶対的な出力強度を備える。
再度図1を参照すると、ブロック30で線形化画像データ23のコントラストをストレッチ(強調)してストレッチ画像データ31を生成する。ブロック30のコントラストストレッチは、いろいろな方法で実施される。1つの特定の実施の形態では、ブロック30のストレッチは次式で実施される。
【0015】
【数1】
ここで、LDRijは線形化画像データ23からのピクセル値(符号i,jでインデックスを付けた)、HDRijはストレッチ画像データ31からの対応するピクセル値(符号i,jでインデックスを付けた)、αは画像が映し出されるディスプレイの黒レベルに等しく設定されたパラメータ、βは係数である。実施の形態によっては、αは1cd/m2未満である。一例の実施の形態では、αは0.05〜0.6cd/m2の範囲である。特定の実施の形態では、αは0.3cd/m2であり、通常の観測条件で濃い黒を示す。係数βは、結果としての画像が不自然な見え方(例えば、アーティファクト)を有するほどに高くない、所望のコントラスト比を生ずるように選定される。約5000:1までコントラストをストレッチすること(すなわち、βが約5000まで)は、種々の画像で許容できないアーティファクトを含むことなく実施できることが分かっている。この閾値は安全側である。多くの画像について、より大きな係数βを使って目覚ましい成果を収めることができる。しかし、この閾値を超えると、画像によっては見栄えの劣化を生ずることがある。
【0016】
係数βは画像が映し出されるディスプレイ上の白レベルを参照して設定してもよい。例えば、βは、線形化画像データ23の飽和ピクセル値が白色点に対応する強度値にマッピング(写像)されるように選んでもよい。例えば、白色点は1000cd/m2を超えてもよい。プロトタイプの実施の形態では、白色点は約1200cd/m2になるように選ばれた。αとβの値は、目標ディスプレイに適合するように選ばれる。αとβの値は、線形化画像データ23により表される画像の特徴と関係なく設定されてもよい。
【0017】
オプションのブロック40(図1)では、ストレッチ画像データ31に画像フィルタを用いて、フィルタされたストレッチ画像データ41を提供する。オプションのブロック40のフィルタは、ノイズと量子化アーティファクトを低減する。コントラストストレッチ(ブロック30)やピクセル値の非線形マッピング(ブロック22)は、量子化アーティファクトとノイズを増幅する。LDR入力画像は通常256ピクセル値に量子化され、代表的には1000以上の異なった値を用いて最小弁別閾(JND)ステップの精密さでHDRディスプレイのダイナミックレンジをカバーする。Lossyビデオ圧縮は、局所的画像領域で使える強度レベルの数をさらに低減することができる。オプションのブロック40のフィルタプロセスは、使用されていない強度レベルを利用して、そうしなければ量子化アーティファクトのこの増幅により生じるであろうアーティファクトを取り除くことができる。
【0018】
実施の形態によっては、ブロック40は、双方向フィルタをストレッチ画像デー31に適用することを備える。適当な双方向フィルタは、Tomasi、Manduchi「Bilateral filtering for gray and color images」ICCV’98講演集、839に説明されている。一般的に双方向フィルタは次のフォームを有する。
【0019】
【数2】
ここで、h(x)は位置xにおけるピクセル用のフィルタの出力、A(x)は規格化因子、f(x)は位置xのピクセル値、c(ξ−x)は位置ξのピクセルと位置xのピクセルの距離と共に低下する重み関数(cは「近接(closeness)」関数と呼ばれる)、s(f(ξ)−f(x))はf(x)とf(ξ)の差異と共に低下する重み関数(sは「類似(similarity)」関数と呼ばれる)である。式(2)の積分は、位置xの近傍N(x)にわたり計算される。
【0020】
双方向フィルタが式(2)で与えられる場合、規格化因子A(x)は次式で与えられる。
【0021】
【数3】
実施の形態によっては、近接関数(c)と類似関数(s)は、それぞれの独立変数のガウス関数である。例えば、cは次式で与えられる。
【0022】
【数4】
ここで、d(ξ−x)は、ξとx間のユークリッド距離、σdは分散を定義するパラメータ(すなわち、ξとx間の距離の増加と共にどのくらい迅速にcが低下するか)である。類似関数(s)は次式で与えられる。
【0023】
【数5】
ここで、δは位置ξと位置xでのピクセル値間の強度スペースでの距離の適切な大きさ、σrは分散を定義するパラメータ(すなわち、f(ξ)とf(x)間の距離の増加と共にどのくらい迅速にsが低下するか)である。
【0024】
実施の形態によっては、類似関数(s)の分散σrがf(x)の値と共に増加するように、類似関数(s)に修正した関数を用いる。このような実施の形態では、ブロック30の局所ピクセル値の非線形強度マッピングにより導かれるストレッチに比例して分散σrをストレッチし、ブロック30のストレッチ後は、測光分散が量子化レベルの固定値、好ましくは2、に等しいようにする。
【0025】
上述のようにσrをf(x)と共に変化するようにすることの効果は、ブロック30のストレッチの前に固定した分散で双方向フィルタを行うのと似ている。しかし、ブロック30のストレッチ後ブロック40の双方向フィルタを固定小数点演算で行うことができるので、ブロック30のストレッチ後にブロック40の双方向フィルタを行うことは好都合である。双方向フィルタを行うことは計算コストが高いので、コンピュタリソースが限られている場合には、双方向フィルタを各ピクセルの比較的小さな近傍N(x)で行うのが好ましい。例えば、実施の形態によっては、ブロック40の双方向フィルタは、処理中のピクセルの4ピクセル程度のスペース内のピクセルだけを含む近傍で行うことでもよい。
【0026】
画像のLDR表示では、画像の最も明るい領域のピクセルを揃える(例えば、LDR画像のピクセル値は0から255の範囲の整数(8ビット表示に対応する)ならば、画像の最も明るい領域のピクセルはピクセル値を255に揃えさせる)。255は可能な最大のピクセル値なので、LDR画像は原シーンが255のピクセル値を生ずる最小閾値よりどのくらい明るかったかの情報を欠いている。画像のダイナミックレンジを増大するのに、ブロック30でなされるコントラストストレッチを超え、コントラストストレッチより大きく取り出したピクセル値を高めるのが好ましい。
【0027】
さらに、LDR画像に基づいて最良のHDR画像を得るために、最も明るいピクセル値を、それらのピクセル値が取り出されていないとしても、高めるのが好ましい。例えば、LDR画像の白レベルの、あるいは、そのレベルを超える値を有するピクセルのピクセル値を高めることが好ましい。これらの領域では、シーン強度がカメラ、録画手段、あるいは画像データフォーマットの能力を超えるので、情報が失われてしまう。
【0028】
再度図1を参照して、ブロック50は、輝度増大機能を生成し、フィルタされた画像データ41(あるいは、ブロック30とブロック50の間にフィルタがなければ、ストレッチ画像データ31)に適用する。ブロック50の輝度増大機能を適用することの結果として出力画像51が生成される。ブロック50の輝度増大機能は出力画像51の輝度を、少なくとも1つの色チャンネルに対するピクセル値がフィルタされた画像データ41の閾値を超える領域で特に、増大する。そのような領域は、本書では「増大領域(enhancement regions)」と呼ばれる。
【0029】
ブロック50の輝度増大機能はフィルタされた画像データ41を、観察者に原シーンを見ているときに付随するのと似た直感的な反応を与える出力画像51を生ずるように修正しようとする。入力された画像データ21を生成するときに原シーンから失われた情報を正確に置き換えることが不可能であるとしても、このことは可能である。
【0030】
図2は、本発明の特定の実施の形態によるブロック50の輝度増大機能を実行する方法を示す。図2に示すように、ブロック50は、出力画像データ51を生ずるためにフィルタされた画像データ41に適用される輝度増大機能53を、ブロック50Aで計算することを備える。以下に説明するように、輝度増大機能53は、出力画像データ51を著しく劣化させる目に付く空間的または時間的アーティファクトを取り込むのを防止する特徴を有するのがよい。出力画像データ51で必要な忠実度は、用途によって異なる。以下の例では、輝度増大機能53がフィルタされた画像データ41のピクセル値を増加させて出力画像データ51を生ずるのに用いられる値を生成する。他の実施の形態では、輝度増大機能53は、増加以外の方法を用いて、フィルタされた画像データ41に適用してもよい。
【0031】
輝度増大機能53はフィルタされた画像データ41で、主としてスムース(滑らか)に変化し、増大領域のエッジを越えて広がる影響を有する。結果は、閾値を超える色チャンネル(あるいは、増大領域に含まれることの基準を満たす他の輝度測定値)のフィルタされた画像データ41のピクセルに対してだけではなく、そのようなピクセルを囲む領域のピクセルに対しても輝度を増加する。以下に説明するように、輝度増大機能53はフィルタされた画像データ41の強い画像階調度の領域のシャープなエッジを含む。実施の形態によっては、輝度増大機能53はスムースに変化する成分53Aとエッジストップ成分53Bを組み合わせて生成してもよい。以下にさらに詳細に説明するように、エッジストップ成分53Bはフィルタされた画像データ41のシャープな階調度の位置を特定する。
【0032】
輝度増大機能53のスムースに変化する成分53Aは、閾値を超える値を有する(あるいは、他に増大された領域に含まれることの基準を満たす)フィルタされたデータ41のピクセルを特定するマップに基づいて決定されてもよい。少なくとも1つの色チャンネルが強度閾値を超えるピクセル(あるいは、他の輝度測定が増大領域に含まれる基準を満たす値のピクセル)はある値(例えば1)を有し、他のすべてのピクセルは別の値(例えば0)を有する、2値マスク55を作ると便利である。画像データが単一の輝度値または均等なものを示す描写では、2値マスク55は、輝度が閾値を超えるピクセルを1つの値(例えば1)に、他のピクセルを別の値(たとえば0)に設定することで作ってもよい。
【0033】
一般的に、ピクセルを増大領域に含むための閾値を揃えた値(すなわち、入力された画像データ21で許容される最大値)よりいくらか低く設定することが好ましい。典型的にはビデオフォーマットは235の白レベルを用い、反射体の完全な白色が各色チャンネルの235のピクセル値に対応することを表す。典型的なビデオストリームは、鏡面反射のハイライトや光源に相当するより大きな、「超飽和」ピクセル値も含む。Lossyビデオ圧縮では、ピクセル値をいくつかのステップで置き換えてもよい。RGBフォーマットで入力された画像データ21を0から255の範囲のピクセル値を有する色チャンネルで処理するとき、230の閾値を用いると、Lossyビデオ圧縮があるところで、他の領域から増大領域を分離するのに有用であることが分かった。閾値は、問題になっている画像の白色点と同じか、より低いことが好ましい。典型的な写真では、Lossy圧縮により取り込まれたアーティファクトが存在しても254の閾値で充分であることが分かった。
【0034】
本書で説明した方法は、単に明るいまたは飽和したピクセルとHDR画像で高めるべきピクセルとを区別するのに選んだ特定の閾値に対して、あまり敏感ではない。閾値は、出力画像の見え方を顕著に損ねることなくある程度変化してもよい。シャープなまたは固定した閾値を使わなくてもよい。
【0035】
ピクセル値が、輝度情報が複数の色チャンネルに対し別々に規定されるRGBあるいは類似のフォーマットで規定される場合は、各色チャンネルに同じ閾値を用いるのが、必須ではないが便利で実際的である。ある色チャンネルに1つの閾値(例えば、229)を、他の1つ以上の色チャンネルに別の閾値(例えば、231)を用いることによっても許容できる結果が得られる。
【0036】
輝度増大機能53のスムースに変化する成分53Aは、マスク55をガウス形状またはほぼガウス形状の大きなカーネル(中心部)でぼかすことにより2値マスク55から生成される。結果は、各ピクセルに対する値を有するグレースケール画像57である。グレースケール画像57の値は、フィルタされた画像データ41の増大領域の中心部分に対応する領域で最大となり、そのような増大領域の中心部分から離れるにつれスムースに減少する。次にグレースケール画像57の値は、1からaの範囲にマッピングされ、ここで、aはスムースに変化する輝度増大成分53Aを生ずるのに用いられる拡大率である。グレースケール画像57の値の1からaの範囲へのマッピングは、線形でもよい。
【0037】
グレースケール画像57を生成するのに用いるぼかしカーネル(blur kernel)は有利なことに十分に大きく、予想される観察状況で、2値マスク55をぼかすのに用いるぼかしフィルタの空間スペクトルは、人間の視覚システムに対し目立たないように十分に小さな角振動数を主に含む。例えば、角振動数は、1サイクル/度以下、好ましくは0.5サイクル/度以下である。人間の視覚システムは、そのような低空間振動数で生ずる輝度の変化にはあまり敏感ではない。
【0038】
ピクセル間の空間に関してぼかしフィルタの標準偏差は、ディスプレイ寸法と観察距離の予想範囲により変わる。例えば、解像度1920×1080ピクセルの37インチ(対角線)ディスプレイでは、例としての実施の形態は150ピクセルの標準偏差を有するぼかしフィルタを用いる。このことは、3mの観察距離での1.2度に対応する。ぼかしフィルタの標準偏差は少なくとも0.75度、好ましくは1度、より好ましくは1.1度に対応する。結果として、ぼかしフィルタの空間スペクトルは主に低角振動数を含み、視覚的に邪魔となるアーティフェクトとなりうる高角振動数を含まない。
【0039】
コンピュータモニタのほとんどは、おぼ0.5メートルの距離から観察されるようにされている。30cmの幅を有するそのようなモニタは、約30度の観察角度に広がる。ホームシアターシステムでテレビ画面に推奨できる観察角度もまた、代表的には30〜36度の範囲である。意図された観察角度が30度の場合、ディスプレイの水平解像度の0.025に等しい標準偏差は約0.75度に広がり、ディスプレイの水平解像度の0.05に等しい標準偏差は約1.5度に広がる。
【0040】
本書で説明する方法がテレビに映し出される画像を生成するのに用いられる場合には、ぼかしフィルタの標準偏差はディスプレイの水平解像度の少なくとも約0.025、より好都合にはディスプレイの水平解像度の少なくとも約0.033(ここで、「約」は±15%を意味する)であることが好ましい。例えば、水平解像度1920ピクセルのディスプレイでは、ぼかしフィルタの標準偏差は少なくとも約50ピクセルであるのが好都合であり、より好都合には少なくとも約65ピクセルである。上記したように、この水平解像度のディスプレイ上での好結果は、150ピクセルの標準偏差で成し遂げられる。
【0041】
輝度増幅係数aの値は、対象のディスプレイの性能に応じて選択される。輝度増幅係数aは、ディスプレイが許容できる出力より著しく大きな出力値を生成するほどに大きくてはならない。例としての実施の形態では、4×1200=4800cd/m2のピーク強度に対応するa=4の値が、Brightside(登録商標)型DR37ディスプレイで好結果となることが分かった。大きなぼかし半径のために、大きな増大領域でピーク強度に達するだけである。より高い値あるいはより低い値の輝度増幅係数aを用いることもできる。画像によっては、32程度までのaの値を、顕著なアーティフェクトを取り込むこともなく用いることができる。調整なしで広範囲の画像にこの方法を用いる場合、より安全側のaの値、例えば2から9または10の範囲の値が、好ましい。実施の形態によっては、aは3から12の範囲でもよい。
【0042】
輝度増大機能53のスムース成分53Aは、フィルタされた画像データ41に用いられるとそれ自身で全体のコントラストをストレッチし、HDRディスプレイで観察するとストレッチ画像データ31よりも鮮明に見える画像を生ずる。しかし、スムース成分53Aは、シャープなエッジ周りの局所的なコントラストを強調はしない。このような状態でさらに見栄えをよくするために、輝度増大機能53はエッジストッピング成分53Bを備える。輝度増大機能53のエッジストッピング成分53Bは、シャープなエッジで増大領域から分けられた画像領域のスムース成分53Aの影響を制限する。
【0043】
エッジストッピング成分53Bは、スムース成分53Aがピクセルに適用されるか否かを示すピクセル値を有する2値マスクを備えてもよい。スムース成分53Aが適用されるべきではないと示す値を有するエッジストッピング機能53Bのピクセルに対応するスムース成分53Aのピクセルを特定することにより、エッジストッピング成分53Bとスムース成分53Aを組み合わせてもよい。そのように特定されたスムース成分53Aのピクセルの値を1に設定できる(フィルタ画像41の対応する値に影響しないように)。
【0044】
図2Aは、マスク55と階調画像59に基づきエッジストッピング機能53Bを構成するマスクを生成する方法を示す。階調画像59は、フィルタされた画像データ41から生成され、フィルタされた画像データ41の各ピクセルの階調が閾値を超えるか否かを示すピクセル値を有する2値マスクの形式でもよい。
【0045】
それから、2値マスク55をシードとして用いてフラッドフィル(flood fill)アルゴリズムを適用し、フラッドフィルを増大領域だけからフラッドフィルが大きな階調強度(例えば閾値以上)のピクセルに対応する階調画像59のピクセルまたはスムース成分53Aに影響する領域の境界に達するまで外側に展開することによりエッジストッピング機能53Bを生成する。
【0046】
差分商の方法を用いて階調画像59の階調が計算される。例えば、図2Bのピクセル200の階調が垂直方向に近接するピクセル201Aと201Bと水平方向に近接するピクセル202Aと202Bとの間の差分を計算することにより求められる。例示の実施の形態では、階調は次のように計算される。
【0047】
【数6】
ここで、Gは階調、Aはピクセル201Aのピクセル値、Bはピクセル201Bのピクセル値、Cはピクセル202Aのピクセル値、Dはピクセル202Bのピクセル値である。ロバスト性のために、いくつかのピクセル(すなわち、201Aと201Bは離れたいくつかのピクセルであり、202Aと202Bは離れたいくつかのピクセルである)の広い基準線を使うのが好ましい。図2Bに示される実施の形態では、基準線は5ピクセルである。このことが、階調画像59でフラッドフィルアルゴリズムがエッジを越えてリークすることがないようにする厚いエッジを提供するのに役立つことが分かった。
【0048】
実施の形態によっては、モルフォロジカル(形態学的)「オープン」オペレータ(通常「o」記号で示される)でエッジストッピング成分53Bをさらに処理し、結果を僅かにぼかしてエイリアシングを圧縮するのが好ましい。オープンオペレータ(図2Aには示されない)は、輪郭をスムースにし、狭い狭間をなくす。オープンオペレータは、1つのピクセルで全てのエッジを徐々に減らすこと、および、いずれかのエッジに隣接するピクセルを結果としての画像で加えることにより作動する。それから、さらに処理されたエッジストッピング成分53Bは、上記のようにスムース成分53Aと組み合わされて輝度増大機能53を生ずる。結果としての輝度増大機能53は、フィルタされた画像データ41上に乗算され、出力画像データ51を生ずる。
【0049】
図3A、3B、3Cはそれぞれ、例示のLDR入力画像60、対応するスムース成分53B、スムース成分53Aをエッジストッピング成分53Bと組み合わせて修正した対応する輝度増大機能53を示す。
【0050】
スムース成分53Aとエッジストッピング成分53Bを生成するのに1つの計算上効果的な方法は、図4Aと図4Bに示されるように画像データをダウンサンプルし、アップサンプルすることを含み、図4Aと図4Bはそれぞれ、本発明の特定の実施の形態による輝度増大機能53のスムース成分53Aを生成する方法70とエッジストッピング機能53Bを生成する方法71を示す。スムース成分53Aは図4Aの方法70で生成される。方法70は、マスク55から始まる。マスク55は、前述のマスク55(図2)と同様で、上述のプロセスと同様のプロセスにより求められる。ブロック72でマスク55はN回ダウンサンプルされ、ダウンサンプルマスク73が求められる。N回のブロック72のダウンサンプルのそれぞれのステップは、各次元で適当な係数だけピクセル数を減少させる。実施の形態によっては、N回のブロック72のダウンサンプルのそれぞれのステップで各次元のピクセル数が係数2だけ減少する(合計のピクセル数は係数4だけ減少する)ようにダウンサンプルされるのが好都合である。
【0051】
図示の実施の形態では、スムース成分53Aは、その後ダウンサンプルマスク73からループ74を経由して求められる。ループ74はN回の繰り返しからなり、各繰り返しは、ぼかしフィルタをブロック74Aで適用すること(小さなカーネルを有するガウスぼかしの適用、例えば各ピクセルの近傍の3×3ピクセルにガウスぼかしを適用すること、を備える);およびその後の結果をブロック74Bでアップサンプルすること(最も近い近傍の内挿を含む);を含む。この技法は、画像ピラミッド法として説明される。画像ピラミッドの利用については、Burt P. 、Adelson E.の「The Laplacian pyramid as a compact image code」IEEE(1983)、通信に関する議事録31、4、532−540ページに説明されている。方法70の結果が、スムース成分53Aとなる。
【0052】
実施の形態によっては、エッジストッピング成分53Bは、フィルタされた画像41の階調を示す階調画像75から始めて図4Bに示す方法71を用いて生成される。ブロック76では、階調画像75がN回ダウンサンプルされてダウンサンプル階調画像77を生ずる。それからエッジストッピング機能53Bが、ダウンサンプルマスク73からN回のループ79で得られ、ループ79は最も近い近傍の内挿を用いてダウンサンプルマスクをアップサンプルし(ブロック78A)、モルフォロジカル「膨張」オペレーションを結果に適用する(ブロック78B)。膨張オペレーション(通常下記数7の記号で示される)が小さな(例えば3×3ピクセル)ブロックで実行され(すなわち、3×3正方形構造エレメントを用いる)、エッジに対応するピクセルで停止するように修正される(例えば、対応する解像度のエッジ画像に高階調を有するように印付けられる)。
【0053】
【数7】
図4Dはこれらの概念を、特にエッジストッピング成分53Bに関連する概念をさらに説明する。図示のように、方法71はフィルタされた画像41の階調を示す階調画像75で始まる。階調画像データ75の階調は、前述の階調画像データ59のプロセスと同様のプロセス(例えば、差分商)を用いて求めることができる。方法71も、上述の方法と同様の方法で求められるダウンサンプルマスク73(図4A)から始まる。ブロック76で階調画像75はN回ダウンサンプルされてN個のダウンサンプル階調画像77を1組生じ、N個のダウンサンプル階調画像77の各々は対応する解像度を有する。ダウンサンプルマスク73とダウンサンプル階調画像77の1つは、それからモルフォロジカル膨張オペレーション(ブロック78A)に供される。ブロック78Aの膨張オペレーション(通常下記数8の記号で示される)が、ダウンサンプルマスク73の小さな(例えば3×3ピクセル)ブロックで実行される(すなわち、3×3正方形構造エレメントを用いる)。ブロック78Aの膨張オペレーションは、ダウンサンプルマスク73の解像度と同じ、あるいは類似の、解像度を有するダウンサンプル階調画像77の1つを備える。ブロック78Aの膨張オペレーションは、エッジに対応するピクセル(例えば、決められたピクセルまたはダウンサンプル階調画像77の解像度が等しい対応する1つの画像に高階調を有するとして印付けされたピクセル)で停止するように修正されてもよい。
【0054】
【数8】
ブロック78Aの膨張オペレーションの結果はループ79に供され、エッジストッピング機能53Bを求めるのに用いられる。ループ79はN回の繰り返しを備え、各繰り返しには、前のループ79の繰り返しの結果(または最初のループ79の繰り返しの場合はブロック78Aの膨張オペレーションの結果)をアップサンプルすること(ブロック78B);モルフォロジカル「膨張」オペレーションを78Bのアップサンプルされた結果に適用すること(ブロック78C);を含む。ブロック78Bのアップサンプル手順は、最も近い近傍の内挿を備えてもよい。ブロック78Cの膨張オペレーションは上述のブロック78Aのオペレーションと同様であるが、ブロック78Cの膨張オペレーションではブロック78Bのアップサンプルプロセスの出力の解像度と同じ、または類似の、解像度を有するダウンサンプル階調画像77の1つを入力とすることおよびブロック78Cの膨張オペレーションではエッジに対応するピクセル(例えば、決められたピクセルまたはダウンサンプル階調画像77の解像度が等しい対応する1つの画像に高階調を有するとして印付けされたピクセル)で停止するように修正されてもよいことを除く。図示の実施の形態では、ループ79の終わりには、N回のアップサンプルオペレーションとN+1回の膨張オペレーションがあったことになる。別の実施の形態では、最初のブロック78Aの膨張オペレーションは必要ではない−すなわち、N回のアップサンプルオペレーションとN回の膨張オペレーションがある。ループ79の出力は、エッジストッピング成分53Bである。
【0055】
有利なことに、膨張オペレーション(ブロック78A、78C)が作用する半径(ブロックサイズ)は、ブロック74Aのぼかしオペレーション(図4A)が行われる半径と同じである。このことにより、ぼかしオペレーション(ブロック74A)と膨張オペレーション(ブロック78A、78C)により影響を受ける領域の境界が、続くアップサンプルの繰り返しにわたり同じ速さで外側に広がる。
【0056】
図4Cは、図4A、4Bの方法70、71を実行する過程で適用される画像ピラミッドを提供するダウンサンプル画像と階調画像を示す。特に、図4Cのコラム(1)はブロック72のダウンサンプルオペレーションを示し(図4A);図4Cのコラム(2)はループ74のブロック74Aのぼかしとブロック74Bのアップサンプルオペレーションを示し(図4A);図4Cのコラム(3)は1組のダウンサンプル画像77を得るための階調画像75のブロック76のダウンサンプルを示し(図4B);図4Cのコラム(4)はループ79のブロック78A、78Cの膨張とブロック78Bのアップサンプルオペレーションを示す(図4B)。
【0057】
本書で説明する例示的方法は、以下の1つ以上を含む有利な特徴を供するような方法で実装される。
・その方法はグラフィックプロセッサユニット(「GPU」)で実行されるアルゴリズムとして実装される
・その方法はシグナルプロセッサ、特定用途集積回路(ASIC)またはフィールド・プログラマブル・ゲート・アレイ(「FPGA」)で実行できるアルゴリズムとして実装され、それらはディスプレイ、メディアプレーヤー等に置かれる。
・その方法はダイナミックHDTV解像度ビデオストリームで実行されるのに十分なだけ効率的である
・ユーザ入力が必要ではない。全パラメータは画像が映し出されるディスプレイのハードウェアの特徴に基づき、予め選定される。
・その方法は、邪魔なアーティフェクトの生成を回避するという意味で、ロバスト性がある。HDR出力画像の表示品質は、内容の非常に広い範囲で入力画像の品質と少なくとも同程度に優れている。
・出力ビデオストリームは時間的にコヒーレントである(色と強度は、入力画像でそうでない限り、急に変化しないように)。
【0058】
図5は、本発明の例示的実施の形態による装置80を示す。装置80は、入力された画像データ(図1)を受領する入力82を備える。画像データは、リニアライザ84、コントラストストレッチャ86、オプションのフィルタ88を順番に通る。フィルタ88の出力は閾値比較システム90と空間フィルタ92に送られ、スムース成分53Aを画定するデータを生成する。空間フィルタ92は、例えば、方法70の動作(図4A)を実行する。フィルタ88の出力はまた、階調コンピュータ93、フィルタ94、閾値比較システム96を順に通り、エッジストッピング成分53Bを生ずる。スムース成分53Aおよびエッジストッピング成分53Bを画定するデータは、輝度増大機能53を生成する輝度増大生成コンポーネント98に供される。輝度増大機能53とフィルタ88の出力は乗算器99に供され、図示の実施の形態では乗算器99はフィルタ88と輝度増大機能53との出力を乗算(例えば、ピクセルでの乗算)をする。図示の実施の形態では、乗算器99からの出力は出力95に提供される。他の実施の形態では、乗算器99は他の形のマッピングまたは他の機能(すなわち、ピクセルでの乗算以外)を実行し、フィルタ88と輝度増大機能53との出力を入力として結果のデータ95を出力する。実施の形態によっては、出力95での出力データはデータストアに記憶され、または、出力データを映し出すディスプレイのデータパスをたどり続ける。装置80は入力82で受領したデータをリアルタイムで処理してもよい。
【0059】
図5に示されるエレメントは、いかなる適切な方法で実装されてもよい。例えば、これらのエレメントは適切なデータプロセッサ上で稼動するソフトウェア、FPGAのような必要な機能等を実行するようになされた構成可能なハードウェアまたはその一部を備える。
【0060】
あるHDRディスプレイは、二重変調HDRディスプレイと称される2つのモジュレータを有するタイプである。第1のモジュレータは光パターンを生成し、第2モジュレータは第1モジュレータで生成された光パターンを変調し画像を生成する。第1モジュレータは、画像の比較的低解像度の描写を生成するように動かされる。低解像度の描写は第2モジュレータで変調され、観察者に視認される高解像度画像を提供する。第1モジュレータは、発光ダイオード(LED)等のような、積極的に変調された光源のマトリックスまたはアレイを備え、または代替として、機能的にモジュレータから分離された光源から発せられる光を変調するモジュレータを備える。第1モジュレータは発光層または光源層と称される。発光層の位置の関数として発せられる光量はコントロールできる。第2モジュレータは、実施の形態によっては液晶ディスプレイ(LCD)である。このような二重変調HDRディスプレイは、第1モジュレータおよび第2モジュレータ用の別々の駆動信号を生成する。
【0061】
二重変調ディスプレイでの第1モジュレータと第2モジュレータ用駆動信号を生成するいくつかの方法は、2005年5月27日出願、タイトル「デュアル変調器ディスプレイ上での高速画像レンダリング(RAPID IMAGE RENDERING ON DUAL-MODULATOR DISPLAYS)」の国際特許出願PCT/CA2005/000807に説明されている。この出願は、WO2006/010244として公開され、参照して本書に組み込む。
【0062】
ダイナミックレンジを向上させるのに上記に説明した方法と、二重変調ディスプレイでモジュレータ用駆動信号を生成するのに用いられる方法との間には、相乗作用がある。特に、ある中間結果(例えば、ダウンサンプル/アップサンプル画像データの種々のレベル)は両方の方法に使える。実施の形態によっては、ダイナミックレンジを向上するために本書に説明される方法と装置は、二重変調ディスプレイの駆動信号を生成する方法や装置と組み合わされる。有利なことに、そのような実施の形態では、データがそれらの方法間で共有される。このことによりハードウェアおよび/または計算資源を節約する。実施の形態によっては特定の節約となり、あるダウンサンプル画像データが画像のダイナミックレンジを向上する目的と適切な駆動信号(例えば、モジュレータの1つ用の駆動信号)を生成するための両方に用いられて二重変調ディスプレイに向上した画像を映し出させる。実施の形態によっては、本発明による装置は、ディスプレイで使用するビデオプロセッサチップまたはディスプレイで使用されるディスプレイドライバチップに組み込まれる。
【0063】
図6と図6Aは、例示的実施の形態により画像を向上させ映し出す方法100を示す。方法100は、例えば、二重変調ディスプレイの回路で実行される。ブロック102では、最初のLDR画像101Aが強度空間で線形化され、線形化画像101Bを提供する。最初のLDR画像101Aがガンマ曲線でエンコードされている場合には、ブロック102はLDR画像101Aの輝度値を修正するガンマを備えて線形化画像データ101Bを求める。
【0064】
ブロック104では、線形化画像101Bをダウンサンプルし(例えば、画像を映し出すのに用いられる二重変調ディスプレイの光源層(すなわち、第1モジュレータ)のエレメントの解像度と適合する解像度へ)ダウンサンプル画像データ105を生成する。ブロック104のダウンサンプルは1段あるいは多段で実行される。光源層は、たとえば発光ダイオード(LED)のような光源のマトリックス、普通の光源または光源のセットからの光の伝達を変調する反射型または透過型モジュレータの制御可能なピクセルのアレイなどを備える。ダウンサンプル画像105の解像度は典型的にはダウンサンプル階調画像77(図4B参照)の解像度よりあるいはダイナミックレンジ向上の目的で用いられる最低解像度画像107より大きい。
【0065】
ダウンサンプル画像105は保存される(例えば、適切なメモリ等に記憶される)。ブロック106で、ダウンサンプル画像105はさらにダウンサンプルされ、最低解像度画像107を生ずる。最低解像度画像107は輝度増大機能53を生成するのに必要な解像度を有する(例えば、図4A、4Bの方法70、71を実行するため)。ブロック106のダウンサンプルは一連のダウンサンプルステップで行われてもよい。
【0066】
増大領域を特定するマスク109は、ブロック108で用意される。ブロック108は、例えば上述のように、最低解像度画像107のピクセル値を1つ以上の閾値と比較することと、2値化マスク109を生成することとを備える。マスク109(図6)は、上述のダウンサンプルマスク73(図4A、4B)に対応し、上述のプロセスと同様のプロセスを用いてブロック108で生成される。実施の形態によっては、全解像度2値化マスク(図2、4Aのマスク55と類似)は線形化画像データ101Bから直接生成され、その後、全解像度2値化マスク自身をダウンサンプルしマスク109を得る。
【0067】
ブロック110で階調画像111は線形化画像データ101Bから計算される。階調画像111(図6)は階調画像75(図4B)に対応し、上述の方法と同様の方法でブロック110にて計算される。ブロック112で階調画像111は最低解像度画像107やマスク109と同じ解像度にダウンサンプルされる。図示の実施の形態では、ブロック112のダウンサンプルは一連のダウンサンプルステップで実行され1組の異なった解像度のダウンサンプル階調画像113を生ずる。1組のダウンサンプル階調画像113(図6)はダウンサンプル階調画像77(図4B)に対応し、上述の方法と同様の方法でブロック112で生成される。
【0068】
ブロック114で、マスク109は線形化画像101Bの解像度に達するまでの回数アップサンプルされる。ループ74(図4A)で上に説明したように、各ブロック114のアップサンプルステップの前にガウスぼかし(図4Aのブロック74A)を適用する。ブロック114のアップサンプルの結果はグレースケール画像115である。グレースケール画像115はグレースケール画像57(図2)および/または輝度増大機能のスムース成分53A(図2、図4A)に対応する。
【0069】
ブロック116でマスク109は、ダウンサンプル画像105と同じ解像度までアップサンプルされる。ブロック116のアップサンプルオペレーションの結果は、アップサンプル画像117として保存される(例えば、適切なメモリ等に記憶される)。方法71(図4B)で上に説明したように、膨張オペレーション(図4Bのブロック78A、78C)を各ブロック116のアップサンプルステップの間に適用する。ブロック78A、78Cの膨張オペレーションに関して上述したように、各ブロック116のアップストリームステップで対応する解像度の階調画像113をエッジストップとして用いる(例えば、膨張オペレーションの範囲および/または輝度増大機能の対応する範囲を限定する)。例えば、対応する階調画像113の高階調ピクセルに対応するピクセルは、これらのピクセルに少ない程度しか影響せずまたは全く影響しない輝度増大機能となる値に設定される。
【0070】
ブロック118で、アップサンプル画像117は、線形化画像101Bの解像度までさらにアップサンプルされる。ブロック118のアップサンプルの結果は、アップサンプル画像119である。図6では陽に示してはないが、ブロック118のアップサンプル手順もまた、ブロック78A、78C(図4B)の膨張オペレーションと同様の膨張オペレーションを含む。再度、各ブロック118のアップサンプルステップで、対応する解像度の階調画像113をエッジストップとして用いる(例えば、膨張オペレーションの範囲および/または輝度増大機能の対応する範囲を限定する)。アップサンプル画像119は輝度増大機能のエッジストップ成分53B(図4B)に対応する。
【0071】
ブロック120で、グレースケール画像115はアップサンプル画像119で乗算(例えば、ピクセルでの乗算)されて向上画像(enhancement image)121を生ずる。他の実施の形態では、ブロック120は、グレースケール画像115とアップサンプル画像119を入力とし向上画像121を出力する他のマッピングを備えてもよい。ブロック122でアンチエイリアシングフィルタを向上画像121に用いて飽和拡張画像(saturation extension image)123を生ずる。他の実施の形態では、ブロック122はアンチエイリアシングさもなければ拡張画像121からエイリアシングを除去しまたは減じて拡張画像123を生ずるための他の技術を含む。拡張画像123は、上述の輝度増大機能53(図2)に対応する。
【0072】
ブロック124(図6A)で、飽和拡張画像123は線形化画像データ101Bで乗算(例えば、ピクセルでの乗算)されてHRD画像125を生ずる。実施の形態によっては、ブロック124は乗算を行う前にマッピング(例えば、1からaの値への)を含む。他の実施の形態では、ブロック124は飽和拡張画像123と線形化画像データ101Bを入力としHDR画像125を出力する他のマッピングを備えてもよい。
【0073】
方法100の図示した実施の形態では、発光層(例えば、比重変調ディスプレイの第1モジュレータ)用コントロール信号131は、ブロック126から130で生成される。ブロック126でダウンサンプル画像105の輝度は固定され、輝度が閾値(例えば、閾値は、発光層のLEDが発光できる最大輝度に関係する)を超えないようにする。ブロック126は固定された画像127を生ずる。
【0074】
ブロック128にて、固定画像127で輝度収集ステップが行われ、収集LED画像129を生ずる。実施の形態によっては、ブロック128は固定画像127にぼかしフィルタを適用することを備える。ブロック128は、第1モジュレータの発光エレメントが画像処理で用いられるグリッドとは異なるパターンで配置された場合に有用である。例えば、第1モジュレータのLEDまたは他の光源は六角形グリッドに配置されるが、方法100の画像処理ステップは正方形または長方形グリッド上で処理される(画像処理アルゴリズムおよび/またはハードウェアの便利のため)。そのような場合には、長方形グリッドエレメントは第1モジュールのLEDや他の発光エレメントに対応しない。ぼかしフィルタオペレーションはブロック128で行われ、強度を第1モジュレータのLEDや他の発光エレメントに対応に対応する近傍のエレメントまでは広げる。
【0075】
ブロック130で、収集したLED画像129に交換を行い、第1モジュレータ駆動値131を生ずる。ブロック130の交換オペレーションは、増大領域に対応する第2モジュレータの領域まで第1モジュレータにより供給された光の強度を増大する。ブロック130の交換オペレーションとブロック132の光照射野シミュレーションとは一緒に第1オジュレータの複数のLEDの重畳効果を補おうとする。ブロック130の交換オペレーションは、アップサンプル画像117を入力として受け取る。第2モジュレータの位置での光強度は、その位置に対応する光源の周りの第1モジュレータの光源の出力を増加することにより増加する。以下に説明するように、第2モジュレータのピクセル値は光照射野シミュレーションに基づき設定される(ブロック132)。ブロック132の光照射野シミュレーションは第1モジュレータが駆動値131で駆動されたときの第1モジュレータにより生成される光を考慮に入れる。この方法により、ブロック132の光照射野シミュレーションは、第1モジュレータにより生成された光強度パターンの増大した位置を囲む領域が観察者の見る画像で過度に明るくなるのを防止する。
【0076】
図示の実施の形態では、ブロック132の光照射野シミュレーションは、入力として第1モジュレータ駆動値131を用いて実行される。交換オペレーション130で生成された第1モジュレータ駆動値131は収集したLED画像129とアップサンプル画像117を考慮に入れる。他の実施の形態では、ブロック132の光照射野シミュレーションは、オプションとして、収集したLED画像129および/またはアップサンプル画像117を受け取る。アップサンプル画像117は光源層のエレメントに適用されるダイナミックレンジ増大に関する情報を提供する。ブロック132の光照射野シミュレーションは、輝度マップ133を生ずる。輝度マップ133は、アップサンプル画像117で修正された収集したLED画像129に対応する駆動値131を用いて光源層(第1モジュレータ)を駆動するときに結果となる第2モジュレータのピクセルに入射する光の輝度を推定する。
【0077】
ブロック134でHDR画像125は輝度マップ133により除算され第2モジュレータのエレメント用駆動値135を生ずる。実施の形態によっては、ブロック134の除算オペレーションは、ピクセルでの除算を備えてもよい。別の実施の形態では、ブロック134は、HDR 画像データ125と輝度マップ133を入力としてそれらから第2モジュレータ駆動値135を生成する他のフォームのマッピングを備えてもよい。ブロック134はまた第2モジュレータの応答関数(ガンマ)で画像値を調整することを含んでもよい。
【0078】
ディスプレイは、第1モジュレータが駆動値131により駆動され、第2モジュレータが駆動値135により駆動されているときに、HDR画像125のレンダリングを映し出す。
【0079】
実施の形態によっては、第1モジュレータ駆動値131は下流側に送られ、第2モジュレータ駆動値135を含む画像フォーマットの「スペア」走査線に駆動回路を映し出す。駆動回路はスペア走査線から第1モジュレータ駆動値131を抽出し、第1モジュレータ駆動値131を用いて第1モジュレータを駆動する。第1モジュレータは第2モジュレータより遥かに少ないエレメントを有し、データフォーマットは第2モジュレータで必要とされない1本以上の走査線を伝えることができるから、このことは実用的なことが多い。例えば、第1モジュレータは、第2モジュレータの1本の走査線上のピクセル数より少ない数のLEDで構成される。この場合、全てのLED用の第1モジュレータ駆動値131は、第2モジュレータのピクセル用駆動値を伝える必要のないデータフォーマットの単一走査線に含まれる。
【0080】
ディスプレイまたはディスプレイ内の構成品は、入ってくる画像データに図6、6Aの方法100を実行するように構成される。実施の形態によっては、その方法は、入ってくる画像データがダイナミックレンジ増大を必要とするか否かを判断することを含む。ダイナミックレンジ増大が必要でなければ(例えば、入ってくる画像データが適切なHDRデータフォーマットで高ダイナミックレンジ画像を画定する場合)、ディスプレイはダイナミックレンジ増大が消されるモードに切り替える。方法100(図6、6A)のステップは例えばグラフィックプロセッサ、デジタル信号プロセッサあるいはマイクロプロセッサなどの1つ以上のプロセッサ上でおよび/または適切に構成されたASICS、FPGA、論理回路等などのハードウェアサブシステムで実行される。実施の形態によっては、方法100(図6、6A)のステップはリアルタイムで(すなわち、少なくとも平均でビデオ信号のフレームレートで)ビデオフレームのシーケンスのフレーム上で実行される。
【0081】
本発明のある実施では、プロセッサに本発明の方法を実行させるソフトウェア命令を実行するコンピュータプロセッサを備える。例えば、ディスプレイまたはディスプレイコントローラまたはメディアプレーヤーの1つ以上のプロセッサが、プロセッサでアクセス可能なプログラムメモリ中のソフトウェア命令を実行することにより図1、1A、2、2A、4A、6および/または6Aの方法を実行する。本発明はまたプログラムの製品の形としても提供される。プログラムの製品は、データプロセッサで実行されるとデータプロセッサに本発明の方法を実行させる命令を備える1組のコンピュータ可読データを有するメディアを備える。本発明によるプログラムの製品は多種多様な形態であってよい。例えば、プログラムの製品は、フロッピーディスク、ハードディスク装置を含む磁気データ記憶媒体、CD・ROM、DVDを含む光学データ記憶媒体、ROM、フラッシュRAMを含む電子データ記憶媒体等を包含する。プログラムの製品上のコンピュータ可読データは、オプションとして、圧縮され、または、暗号化されてもよい。
【0082】
構成要素(例えばソフトウェアモジュール、プロセッサ、アセンブリ、デバイス、回路、等)が上記で参照される場合に、特に指定されない限り、その構成要素への参照(「手段」への参照を含めて)は、図解の本発明の例示の実施の形態において説明される構成要素の機能を実施する構成要素であって、必ずしも構造的には開示された構成要素と等化ではない構成部品を含め、その機能を実施するいかなる構成要素をも、その構成要素と均等なものとして含むものと解される。
【0083】
これまでの界磁を踏まえで当業者に明らかであるように、本発明の思想と範囲から逸脱することなく、本発明の実施において多くの改変と修正とが可能である。例えば、
・上記に説明した例示の方法では、コントラストをストレッチした(例えば、ブロック30において)後に、輝度増大機能53が適用される(例えばブロック50において)。この順序は必須ではない。代替の実施の形態では、コントラストをストレッチする前に輝度増大機能を適用することができる。
・本書で説明した方法は、描写中のオペレーションにより容易になされ、ピクセル値は輝度に対し線形に変化する。このことは好都合ではあるが、必須ではない。本書で説明した方法は、適当な修正をして、非線形の空間で実施できる。
・用途によっては、所望の見え方を有するHDR画像を得るようにダイナミックレンジの増大に影響する1つ以上のパラメータをユーザが微調整できるようにするオプションを提供するのが実用的である。そのような用途の実施の形態は、そのパラメータへのアクセスを提供するユーザインターフェースを備える。すると、ユーザは、それらのパラメータの所望の値を選定し、それらのパラメータを用いる本書で説明した方法を用いて原画像から作り出された画像を見ることができる。いかなるパラメータもユーザ調整できるようにすることが可能である。ユーザ調整できるパラメータの非限定的例のいくつかは:線形化機能を定義するパラメータ;増大領域を特定する閾値;暗点および白色点を規定するパラメータ;全体的に適用されるコントラストストレッチ量を規定するパラメータ;輝度増大機能に影響される領域の大きさに関連するパラメータ;輝度増大機能の最大値に関連するパラメータ等である。
・本出願と添付の特許請求の範囲は、低ダイナミックレンジ(LDR)画像データおよび高ダイナミックレンジ(HDR)画像データを参照している。これらの参照は、互いに関連するものと理解されるべきである。すなわち、LDRデータはHDRデータのダイナミックレンジより低いダイナミックレンジを有すると解され、その逆の場合も同じである。しかし、特に言及された場合を除き、LDRデータやHDRデータの絶対的なダイナミックレンジに制限はない。
【0084】
したがって、本発明の範囲は、添付の特許請求の範囲に画定された内容に従って解釈されるものである。
【特許請求の範囲】
【請求項1】
高ダイナミックレンジ(HDR)プロジェクタであって、
画像データに基づく1組の駆動信号に応答して光パターンを発するように構成された第1モジュレーション層と、
前記光パターンを変調して所望の画像を生成するように構成された第2モジュレーション層と、
プロセッサとを備え、該プロセッサは、
前記画像データ内の少なくとも1つの増大領域を特定し、
前記画像データに輝度増大機能を適用して所望の画像データを生成し、ここで、前記画像データと比較して、前記所望の画像データは、前記増大領域におけるピクセルの修正された輝度値と、前記増大領域の外側に1つ以上の境界領域ピクセルの修正された輝度値とを備え、前記境界領域ピクセルの輝度値の修正量は前記増大領域から離れると減少し、
前記画像データに前記輝度増大機能を適用する過程で得られる中間データに少なくとも部分的に基づいて前記第1モジュレーション層用の駆動信号を決定する
ように構成され、
前記輝度増大機能は、画像データの階調度に少なくとも部分的に基づいて前記輝度増大機能の特徴に基づく成分を生成することを含み、前記特徴に基づく成分は前記輝度増大機能により前記画像データのピクセルを修正すべきか否かを示すピクセル値を有し、
前記中間データは前記特徴に基づく成分を低解像度にしたものを含む、HDRプロジェクタ。
【請求項2】
前記特徴に基づく成分は、階調度またはシャープな階調度、エッジまたはシャープなエッジ、ストップ、およびスムース機能が適用されるべきピクセルを示すように構成された2値マスクのうちの少なくとも一つを含む、請求項1に記載のHDRプロジェクタ。
【請求項3】
前記第1モジュレーション層は、スムースに変化し、かつ前記増大領域を超えて広がる、請求項1に記載のHDRプロジェクタ。
【請求項4】
前記第1モジュレーション層は、光源と、個別のモジュレータとを含む、請求項1に記載のHDRプロジェクタ。
【請求項5】
前記第1モジュレーション層は、個々に駆動される光源のマトリックスを含む、請求項1に記載のHDRプロジェクタ。
【請求項6】
前記第1モジュレーション層は、1組の個々に駆動される光源を含む、請求項1に記載のHDRプロジェクタ。
【請求項7】
前記光源は、発光ダイオード(LED)を含む、請求項6に記載のHDRプロジェクタ。
【請求項8】
前記光パターンは、画像データにより表される低解像度の画像を含む、請求項1に記載のHDRプロジェクタ。
【請求項9】
前記輝度増大機能は、プロジェクタの複数の色チャンネルに適用される、請求項1に記載のHDRプロジェクタ。
【請求項10】
前記輝度増大機能の閾値は、プロジェクタの異なる色チャンネルに亘って変化する、請求項1に記載のHDRプロジェクタ。
【請求項11】
前記プロジェクタは、RGB色チャンネルを含む、請求項1乃至10に記載のHDRプロジェクタ。
【請求項12】
前記HDRプロジェクタは、シアター画像システムを含む、請求項11に記載のHDRプロジェクタ。
【請求項13】
前記HDRプロジェクタは、シアター画像システムを含む、請求項1乃至10に記載のHDRプロジェクタ。
【請求項14】
前記プロジェクタは、高詳細テレビジョン(HDTV)およびHDRディスプレイのうちの少なくとも一つを含み、前記第2モジュレーション層は、液晶ディスプレイ(LCD)パネルを含む、請求項1乃至10に記載のHDRプロジェクタ。
【請求項15】
前記プロセッサは、高速画像レンダリング技術に少なくとも部分的に基づいて前記第1モジュレーション層および所望の画像データ用の駆動信号を生成するように構成されている、請求項1乃至14に記載のHDRプロジェクタ。
【請求項16】
前記プロセッサは前記輝度増大機能を生成するように構成され、
前記輝度増大機能を生成することは、画像データの階調度を含む、前記輝度増大機能のエッジに基づく成分を生成することを含み、前記エッジに基づく成分は、前記輝度増大機能により画像データの対応するピクセルの輝度を増加するか否かを示すピクセル値を有し、前記中間データは前記エッジに基づく成分を低解像度にしたものを含む、請求項1乃至10に記載のHDRプロジェクタ。
【請求項1】
高ダイナミックレンジ(HDR)プロジェクタであって、
画像データに基づく1組の駆動信号に応答して光パターンを発するように構成された第1モジュレーション層と、
前記光パターンを変調して所望の画像を生成するように構成された第2モジュレーション層と、
プロセッサとを備え、該プロセッサは、
前記画像データ内の少なくとも1つの増大領域を特定し、
前記画像データに輝度増大機能を適用して所望の画像データを生成し、ここで、前記画像データと比較して、前記所望の画像データは、前記増大領域におけるピクセルの修正された輝度値と、前記増大領域の外側に1つ以上の境界領域ピクセルの修正された輝度値とを備え、前記境界領域ピクセルの輝度値の修正量は前記増大領域から離れると減少し、
前記画像データに前記輝度増大機能を適用する過程で得られる中間データに少なくとも部分的に基づいて前記第1モジュレーション層用の駆動信号を決定する
ように構成され、
前記輝度増大機能は、画像データの階調度に少なくとも部分的に基づいて前記輝度増大機能の特徴に基づく成分を生成することを含み、前記特徴に基づく成分は前記輝度増大機能により前記画像データのピクセルを修正すべきか否かを示すピクセル値を有し、
前記中間データは前記特徴に基づく成分を低解像度にしたものを含む、HDRプロジェクタ。
【請求項2】
前記特徴に基づく成分は、階調度またはシャープな階調度、エッジまたはシャープなエッジ、ストップ、およびスムース機能が適用されるべきピクセルを示すように構成された2値マスクのうちの少なくとも一つを含む、請求項1に記載のHDRプロジェクタ。
【請求項3】
前記第1モジュレーション層は、スムースに変化し、かつ前記増大領域を超えて広がる、請求項1に記載のHDRプロジェクタ。
【請求項4】
前記第1モジュレーション層は、光源と、個別のモジュレータとを含む、請求項1に記載のHDRプロジェクタ。
【請求項5】
前記第1モジュレーション層は、個々に駆動される光源のマトリックスを含む、請求項1に記載のHDRプロジェクタ。
【請求項6】
前記第1モジュレーション層は、1組の個々に駆動される光源を含む、請求項1に記載のHDRプロジェクタ。
【請求項7】
前記光源は、発光ダイオード(LED)を含む、請求項6に記載のHDRプロジェクタ。
【請求項8】
前記光パターンは、画像データにより表される低解像度の画像を含む、請求項1に記載のHDRプロジェクタ。
【請求項9】
前記輝度増大機能は、プロジェクタの複数の色チャンネルに適用される、請求項1に記載のHDRプロジェクタ。
【請求項10】
前記輝度増大機能の閾値は、プロジェクタの異なる色チャンネルに亘って変化する、請求項1に記載のHDRプロジェクタ。
【請求項11】
前記プロジェクタは、RGB色チャンネルを含む、請求項1乃至10に記載のHDRプロジェクタ。
【請求項12】
前記HDRプロジェクタは、シアター画像システムを含む、請求項11に記載のHDRプロジェクタ。
【請求項13】
前記HDRプロジェクタは、シアター画像システムを含む、請求項1乃至10に記載のHDRプロジェクタ。
【請求項14】
前記プロジェクタは、高詳細テレビジョン(HDTV)およびHDRディスプレイのうちの少なくとも一つを含み、前記第2モジュレーション層は、液晶ディスプレイ(LCD)パネルを含む、請求項1乃至10に記載のHDRプロジェクタ。
【請求項15】
前記プロセッサは、高速画像レンダリング技術に少なくとも部分的に基づいて前記第1モジュレーション層および所望の画像データ用の駆動信号を生成するように構成されている、請求項1乃至14に記載のHDRプロジェクタ。
【請求項16】
前記プロセッサは前記輝度増大機能を生成するように構成され、
前記輝度増大機能を生成することは、画像データの階調度を含む、前記輝度増大機能のエッジに基づく成分を生成することを含み、前記エッジに基づく成分は、前記輝度増大機能により画像データの対応するピクセルの輝度を増加するか否かを示すピクセル値を有し、前記中間データは前記エッジに基づく成分を低解像度にしたものを含む、請求項1乃至10に記載のHDRプロジェクタ。
【図1】
【図1A】
【図2】
【図2A】
【図2B】
【図3A】
【図3B】
【図3C】
【図3D】
【図4A】
【図4B】
【図4C】
【図4D】
【図5】
【図6】
【図6A】
【図1A】
【図2】
【図2A】
【図2B】
【図3A】
【図3B】
【図3C】
【図3D】
【図4A】
【図4B】
【図4C】
【図4D】
【図5】
【図6】
【図6A】
【公開番号】特開2013−101344(P2013−101344A)
【公開日】平成25年5月23日(2013.5.23)
【国際特許分類】
【出願番号】特願2012−253387(P2012−253387)
【出願日】平成24年11月19日(2012.11.19)
【分割の表示】特願2010−518469(P2010−518469)の分割
【原出願日】平成20年7月30日(2008.7.30)
【公序良俗違反の表示】
(特許庁注:以下のものは登録商標)
1.フロッピー
【出願人】(507236292)ドルビー ラボラトリーズ ライセンシング コーポレイション (82)
【Fターム(参考)】
【公開日】平成25年5月23日(2013.5.23)
【国際特許分類】
【出願日】平成24年11月19日(2012.11.19)
【分割の表示】特願2010−518469(P2010−518469)の分割
【原出願日】平成20年7月30日(2008.7.30)
【公序良俗違反の表示】
(特許庁注:以下のものは登録商標)
1.フロッピー
【出願人】(507236292)ドルビー ラボラトリーズ ライセンシング コーポレイション (82)
【Fターム(参考)】
[ Back to top ]