説明

電子ディスプレイ用の選択的トーンスケール

本発明は、選択的トーン・マッピングにより元のシーンの視覚的再現をディスプレイ上に表示する方法であって、ディスプレイは、3.5より大きいデケードの値に相当する輝度の範囲によって分離されているような選択されたディスプレイ白色点および選択されたディスプレイ黒色点を有する。さらに、本発明の方法は、元のシーンのパラメータを捕捉するステップと、捕捉されたシーンのパラメータに関して変換を実行するステップと、補足され且つ変換されたシーンのパラメータに基づいて、シーンの視覚的再現をディスプレイ上に表示するステップとを含む。この結果として、元のシーンのパラメータを捕捉するステップおよびシーンの視覚的再現を表示するステップの未変換特性に関連して行われる変換は、特殊なパラメータを有する再現されたトーン・マッピングを生成する。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、電子ディスプレイにおけるトーン再現(tone reproduction)に関する。
【背景技術】
【0002】
付加的なカラーディジタル画像ディスプレイ装置は周知であり、例えば、陰極線管(CRT:cathode ray tube)、液晶変調器、および有機発光ダイオード(OLEDs:Organic Light Emitting Diodes)等の固体発光体のような種々の技術に基づいている。一般的な有機発光ダイオード(OLED)のカラーディスプレイ装置において、1つのピクセルは、赤色、緑色および青色の有機発光ダイオード(OLEDs)を有する。これらの有機発光ダイオード(OLEDs)は原色であり、所定の色域を定義する。これらの3種の有機発光ダイオード(OLEDs)からの照明を、いわゆる人間の視覚システムの統合的能力と付加的に組み合わせることによって、広範囲のカラー(色)が達成され得る。しかしながら、ただ単に、上記のようなカラーの画像を提供するのみでは十分ではない。カラーディスプレイは、視聴者に対して画像の写実的表現を提供するように意図されている。そして、ディスプレイの画像品質を向上させるために、トーン応答(tonal response)を正確に表示することが必要になり得る。トーン応答の改善は、ディスプレイの画像処理チェーンにて実行されなければならない。
【0003】
1つの画像シーン(背景)内の対象物に関して元のシーン(背景)の輝度と、対応する画像シーン内の対象物に関して再現された対象物の輝度との間の関係は、対象物の輝度の再現によって視聴者の満足感を勝ち取るための重要な側面である。このような視聴者の満足感を実現するための理論的に正確な再現の方法は、再現された画像が見られる条件が、元のシーンが見られる条件と同じである場合にのみ、元のシーンの輝度と再現された画像の輝度との間で成立するような一対一の関係である。この点は、先行技術文献である「カラー再現(The Reproduction of Colour)」(ドクター アール.ダブリュー.ジー.ハント(Dr.R.W.G.Hunt)著、ファウンテン・プレス、英国、第4版(Fountain Press,England,Fourth Ed.)、特に、トーン再現の基本が論じられている第6章(specifically in Chapter 6 wherein the fundamentals of tone reproduction are discussed))に記述されている。
【0004】
実際には、元のシーンの再現を示すディスプレイは、実際のシーンが見られる条件から著しく外れた条件の下で見られることになる。このため、実際上の画像再現システムによる実際のトーン再現は、おそらく一対一の関係から大きく外れるであろう。しかしながら、多くの場合において、好ましい視覚的再現は、元のシーンに最も厳密に一致する視覚的再現に対応していない。画像のシーンの再現における課題は、視聴者が再現された画像を見るときに、元のシーンを見ているような印象を視聴者に持たせるような方法で元のシーンを再現することである。換言すれば、視聴者が再現された画像を見ることによって、視聴者の内部で、元のシーンを見ている場合と同様の反応を呼び起こすようにすべきである。このようにすれば、再現された画像が元のシーンに厳密に忠実ではない場合であっても、すなわち、再現の結果が、元のシーンと再現された画像との間で厳密に一対一の輝度マッピングの関係を有していない場合であっても、再現された画像は、元のシーンとそっくりに見えるであろう。このような結果は、上記のような印象を視聴者に持たせない再現よりも好まれるような満足のいく再現の結果になるであろう。
【0005】
当該技術分野にてよく知られているように、元のシーンまたは当該シーンの再現を表示するディスプレイが見られる条件は、上記シーンまたは上記ディスプレイ上の輝度および周囲の照明を含むような多くのパラメータによって特徴付けられることが可能である。代表的に、このような視認条件(viewing conditions)は、上記シーンまたは上記ディスプレイを照明するための主要な供給源のパラメータによって、さらに特徴付けられる。これらのパラメータは、供給源の位置、供給源の色度および輝度、ならびに供給源の発光パターン(例えば、正反射性または乱反射性)を含む。これらのパラメータの幾つかを要約するための1つの有用な方法は、視認フレア(viewing flare)を特徴付けることによって実現される。ここで、視認フレアとは、ユーザがディスプレイを見ている期間において、当該ディスプレイ自身によって生成されない照明の量を指している。この視認フレアは、視認環境において供給源から放出され且つディスプレイ上で反射される光や、ディスプレイの内部で反射される光(すなわち、光学的クロストーク)を含み得る。
【0006】
トーン再現の基準の1つの例が、光の三原色の標準規格であるエスアールジービー(sRGB:standard RGB)である。このsRGBは、1999年に規定されたIEC(国際電気標準会議:International Electrotechnical Commission)61966−2.1、および、先行技術文献である「AI.2003 マルチメディアシステムおよびマルチメディア装置−色測定および色管理−2−1部:色管理−デフォルトRGB色空間(AI.2003 Multimedia systems and equipment−Colour measurement and management−Part 2−1:Colour management−Default RGB colour space)」(エスアールジービー、第1.10版、1996年11月5日(sRGB,Version 1.10,November 5,1996))に記述されている。このようなトーン再現の基準は、代表的なオフィス環境の視認条件を説明することを試みている。トーン再現の基準の1つの例は、図3でシステムのトーンスケール(tone scale)曲線170aとして示されている。このトーンスケール曲線は、3のデケードの値に相当するシーンの輝度の範囲にわたって、3.5のデケードの値に相当する再現輝度のダイナミックレンジを占有する。このようなダイナミックレンジは、CRTディスプレイに対して典型的なものである。
【0007】
CRTディスプレイ等の従来のディスプレイに対して、有機発光ダイオード(OLED)のディスプレイは、sRGB等の従来のトーン・マッピング(tone mapping)法では使用されていなかったような従来よりも広いダイナミックレンジを提供する。それゆえに、視聴者が再現された画像を見るときに、元のシーンとそっくりに見えるシーンの再現であると認識されるような再現された画像であって、且つ、ディスプレイの全てのダイナミックレンジを利用するような再現された画像に関して、この再現された画像の全てを含むトーン・マッピングを提示するための画像再現システムおよび画像再現方法を提供することが望ましい。
【先行技術文献】
【特許文献】
【0008】
【特許文献1】米国特許第5,447,811号
【特許文献2】米国特許第5,528,339号
【非特許文献】
【0009】
【非特許文献1】「カラー再現(The Reproduction of Colour)」(ドクター アール.ダブリュー.ジー.ハント(Dr.R.W.G.Hunt)著、ファウンテン・プレス、英国、第4版(Fountain Press,England,Fourth Ed.)、特に、トーン再現の基本が論じられている第6章(specifically in Chapter 6 wherein the fundamentals of tone reproduction are discussed))
【非特許文献2】「AI.2003 マルチメディアシステムおよびマルチメディア装置−色測定および色管理−2−1部:色管理−デフォルトRGB色空間(AI.2003 Multimedia systems and equipment−Colour measurement and management−Part 2−1:Colour management−Default RGB colour space)」(エスアールジービー、第1.10版、1996年11月5日(sRGB,Version 1.10,November 5,1996))
【発明の概要】
【発明が解決しようとする課題】
【0010】
したがって、本発明の目的は、最近のディスプレイの全てのダイナミックレンジを包含するようなディスプレイのトーンスケールを提供すると共に、様々な視認環境に対して満足のいく画像を提示することが可能なディスプレイのトーンスケールを提供することにある。
【課題を解決するための手段】
【0011】
上記目的は、本発明に従って、選択的(preferential)トーン・マッピングにより元のシーンの視覚的再現をディスプレイ上に表示する方法によって達成される。この方法において、ディスプレイは、3.5より大きいデケードの値に相当する輝度の範囲によって分離されているような選択されたディスプレイ白色点および選択されたディスプレイ黒色点を有する。さらに、本発明の方法は、元のシーンのパラメータを捕捉するステップと、上記のような捕捉されたシーンのパラメータに関して変換を実行するステップと、上記のような補足され且つ変換されたシーンのパラメータに基づいて、シーンの視覚的再現をディスプレイ上に表示するステップとを含む。この結果として、上記のような捕捉するステップおよび上記のような表示するステップの未変換特性に関連して行われる上記変換は、次の(a)〜(e)に示すようなパラメータを有する再現されたトーン・マッピングを生成するようになっている。ここで、(a)〜(e)は、
(a)3.5より大きいデケードの値に相当するダイナミックレンジ、
(b)−0.6のシーンの輝度の対数(常用対数)の値に対して、−1.1と−1.51との間に含まれるような元のシーンの輝度に関して再現された輝度のマイナス対数(マイナス常用対数)の値の一次導関数の値であって、元のシーンでの100%拡散反射面に対して測定された一次導関数の値、
(c)−1.9のシーンの輝度の対数の値に対して、−1.9以下であって且つ−4.0より大きい一次導関数の値、
(d)−2.0のシーンの輝度の対数の値に対して、−1.5と−3.0との間に含まれる一次導関数の値、および
(e)−2.5のシーンの輝度の対数の値に対する一次導関数の値であって、−2.0のシーンの輝度の対数の値に対する上記一次導関数の値より大きい一次導関数の値である。
【発明の効果】
【0012】
本発明は、電子ディスプレイにおいて、満足のいくシステムのトーンスケールの再現を提供し、また一方で、特に有機発光ダイオード(OLED)ディスプレイに適用可能であるような広いダイナミックレンジを提供することが、本発明の利点である。また、本発明は、黒色および暗色において良好なディテール(detail)を提供することが、本発明のさらなる利点である。さらにまた、本発明は、様々な環境の下で上記のような利点を提供することが、本発明のさらなる利点である。さらにまた、本発明は、種々のディスプレイ技術に適用可能であることが、本発明のさらなる利点である。
【図面の簡単な説明】
【0013】
【図1】様々な視認環境を説明するための本発明に係る一連のディスプレイシステムのトーンスケール曲線を示すグラフである。
【図2】図1の曲線の一次導関数を示すグラフである。
【図3】従来のシステムのトーンスケール曲線と比較するための図1のトーンスケール曲線の1つを示すグラフである。
【図4】図3の曲線の一次導関数を示すグラフである。
【図5】修正された従来のシステムのトーンスケール曲線と比較するための図1のトーンスケール曲線の1つを示すグラフである。
【図6】図5の曲線の一次導関数を示すグラフである。
【図7】幾つかの現存するディスプレイの場合と比較するための図1のトーンスケール曲線の1つを示すグラフである。
【図8】図7の曲線の一次導関数を示すグラフである。
【図9】本発明が適用される画像捕捉プロセスおよび画像表示プロセスを概略的に示す図である。
【図10】本発明に従って使用される四象限トーン再現の図である。
【発明を実施するための形態】
【0014】
以下、添付の図面を参照しながら本発明の好ましい実施形態(実施例)を説明する。
図1は、様々な視認環境に対して設計された本発明に係る一連のディスプレイシステムのトーンスケール曲線を示すグラフである。図2は、図1の曲線の一次導関数を示すグラフである。システムのトーンスケール曲線の横軸は、元のシーンでの100%拡散反射面に対するシーンの輝度(図1等では、「相対シーン輝度」と表示されている)の10を基底とする対数(常用対数)である。システムのトーンスケール曲線の縦軸は、ディスプレイ白色点15に対する再現された輝度(図1等では、「相対再現輝度」と表示されている)の負の10を基底とする対数(常用対数)である。
【0015】
図1および図2は、選択されたディスプレイ白色点15および選択されたディスプレイ黒色点10を有するディスプレイ上で元のシーンを再現するための選択的トーン・マッピングを示している。これらの選択されたディスプレイ白色点15および選択されたディスプレイ黒色点10は、3.5より大きいデケードの値(すなわち、3.5桁より大きい値)に相当する再現された輝度(ディスプレイ輝度)の範囲によって分離されている。ディスプレイは、有機発光ダイオード(OLED)ディスプレイ、液晶デバイス(LCD)ディスプレイまたはプラズマディスプレイである。特に、有機発光ダイオード(OLED)ディスプレイは、4のデケードの値(すなわち、4桁)に相当するダイナミックレンジを有することが可能である。図1に示すように、システムのトーンスケールは、ディスプレイ黒色点10からディスプレイ白色点15までの再現された輝度に対して、3.5より大きいデケードの値に相当するダイナミックレンジを有する。この事実は、トーンスケールが、ディスプレイのダイナミックレンジを最大限に利用することを可能にする。図示されているように、システムのトーンスケール曲線110a、120a、130a、140aおよび150aは、本発明に従って再現されたトーン・マッピングの幾つかの代表的な実施例である。これらのトーンスケール曲線は、本発明で述べている様々な条件の下で、ディスプレイに対して想定され得る複数のトーン・マッピングの曲線の範囲を表している。これらの条件は、視認環境における光の量の変化、表面反射率等のディスプレイの特性、および、シーンの輝度の範囲等の表示されるべきシーンの特性を含み得る。これらの様々な曲線は、それぞれ異なるレベルのフレア補正や、それぞれ異なる傾斜特性を含む。そして、ディスプレイに使用するための最適な曲線は、上記の様々な条件に依存する。
【0016】
前述のように、視認フレアは、表示される画像に対して均一に光を付加するようになっている。このことは、相対的に見て、視認フレアが、明色よりもむしろ暗色を明るくすることを意味している。視認フレアによる全体的な効果は、再生された画像のコントラストを減少させることである。システムのトーンスケールは、より強いコントラストまたは付加的なフレア補正を用いることによって、視認フレアの存在下で満足のいく画像を提供することが可能である。図1のシステムのトーンスケール曲線130aは、視認フレアが比較的少ないような暗室に対する選択的トーン・マッピングであり得る。システムのトーンスケール曲線110aは、ある程度の視認フレアの存在下での(例えば、通常の照明を有するリビングルームでの)選択的トーン・マッピングであり得る。システムのトーンスケール曲線140aは、視認フレアが非常に多い場合の(例えば、明るく照明されたショールームでの)選択的トーン・マッピングであり得る。
【0017】
図2は、再現されたトーン・マッピングの一次導関数の曲線および当該一次導関数に関する制限事項を示している。これらの図2の曲線は、それぞれ、図1にて同様の番号が付された曲線の一次導関数である。例えば、一次導関数の曲線110bは、システムのトーンスケール曲線110aの一次導関数である…等である。−0.6のシーンの輝度の対数の値において、元のシーンでの100%拡散反射面に対して測定されたときに、元のシーンの輝度の対数(図2の水平軸)に対して再現されたディスプレイ輝度のマイナス対数(図2の垂直軸)の一次導関数の値は、−1.1と−1.51との間に含まれ(縦方向の制限20の範囲によって示される)、望ましくは、−1.21と−1.27との間に含まれる。この制限20による制限事項は、ディスプレイのダイナミックレンジを犠牲にすることなく、ハイライトおよび明色において良好なディテールを提供することを可能にする。−1.9のシーンの輝度の対数の値に対して、一次導関数の値は、−1.9以下であって且つ−4.0より大きい(縦方向の制限40の範囲によって示される)。−2.0のシーンの輝度の対数の値に対して、一次導関数の値は、−1.5と−3.0との間に含まれる(縦方向の制限50の範囲によって示される)。これらの2つの制限40、50による制限事項は、画像の暗色およびシャドウ領域において十分なコントラストが存在するであろうことを意味している。−2.5のシーンの輝度の対数の値に対して、一次導関数の値は、−2.0のシーンの輝度の対数の値における一次導関数の値より大きい(負の値の絶対値がより小さい)。このような制限事項は、画像の非常に暗い色の部分においてコントラストが過度に強くなるのを防止している。このことは、画像のシャドウ領域のディテールがそのまま維持されることを保証するのを助長している。
【0018】
トーン・マッピングを改善するためのさらに好ましい基準が存在する。一次導関数は、好ましくは、全てのシーンの輝度の対数の値に対して、−4.0より大きくすべきである。−2.0より小さいシーンの輝度の対数の値、および、−1.5より大きいシーンの輝度の対数の値に対して、一次導関数の値は、好ましくは、−3より大きくすべきである。このような基準は、この領域において許容可能な画像のコントラストに制限を付与する。これによって、再現された画像の薄暗い領域のディテールが増大するようになる。例えばダーク・スキン(dark skin)色調のような中程度の色調から暗色にかけての画像もまた、元のシーンに対して満足のいく画像の再現を可能にするような増大されたディテールを有するであろう。さらに好ましくは、図2に示すように、−2.8より小さいシーンの輝度の対数の値に対して、一次導関数の値は、−0.5より大きくすべきである。このことは、良好なシャドウのディテールを保証するであろう。さらに、図2に示すように、再現されたトーン・マッピングの一次導関数は、好ましくは、−3より大きく且つ0より小さいシーンの輝度の対数の値に対して連続しているようにすべきである。このような制限事項は、瞬間的な傾斜の変化によって好ましくない等高線が形成されるのを防止するであろう。例えば多量の視認フレアの原因となるような幾つかの曲線に関していえば、図2の曲線110b、120bおよび140bに示すように、−2.0のシーンの輝度の対数の値に対する一次導関数の値は、−1.9のシーンの輝度の対数の値に対する一次導関数の値より大きいことが、さらに望ましい。このような制限事項は、システムのトーンスケール曲線(図1)を最上部で丸くし、これによって、視覚的に好ましくない余りにも低級のコントラスト(low−end contrast)が生ずるのを防止する。再現されたトーン・マッピングの二次導関数は、−3より大きく且つ0より小さいシーンの輝度の対数の値に対して連続していることが、さらに望ましい。このような制限事項は、極端なケースにおいて好ましくない等高線が形成される可能性を減少させるであろう。この状態は、図2の曲線110b、130bおよび150bの導関数によって実現される。再現されたトーン・マッピングは、0(ゼロ)のシーンの輝度の対数の値に対する一次導関数の値であって、−0.6のシーンの輝度の対数の値に対する一次導関数の値より大きい一次導関数の値を有することが、さらに望ましい。このような制限事項は、シーンのハイライトにおいてディテールの情報を増大させる。
【0019】
所定の一連の条件の下で使用するための再現されたトーン・マッピングは、幾つかの基準に基づいて選択される。これらの基準の1つは、環境の特性であり得る。この環境の特性は、周囲の照明、視認フレア、周囲の照明の色、または照明のタイプ(例えば、正反射性または乱反射性)等の要因を含むことが可能である。
【0020】
他の基準は、ディスプレイの特性であり得る。このディスプレイの特性は、ディスプレイの反射率および偏光等の要因を含むことが可能である。さらに他の基準は、周囲のコントラスト比、すなわち、周囲の環境およびディスプレイの両方の特性であり得る。前述のように、視認フレアは、視認環境における周囲の光、もしくは、ディスプレイの表面から反射される光、またはその両方によって発生し得る。再現されたトーン・マッピングの選択は、視認フレアの存在下で満足のいく画像を提供し得る。かくして、ディスプレイが比較的高い表面反射率を有する場合は、視認フレアを補償するようにトーン・マッピングが選択されるべきである。例えば、図2の曲線140bに示すように、比較的高いシーンの輝度の対数の値(例えば、約−1.5)にて一次導関数の最小値を有するようなシステムのトーンスケール曲線140aを参照されたい。比較的低い表面反射率を有するディスプレイに対しては、視認フレアをさほど補償する必要がないようにトーン・マッピングが選択されるべきである。例えば、システムのトーンスケール曲線110aまたはトーンスケール曲線130aを参照されたい。図2の全ての曲線に対する一次導関数が最小値になるときのシーンの輝度の対数の値が、下記の表1に示されている。図1のトーンスケール曲線110a、130aは、トーンスケール曲線140aと比較して、より低いシーンの輝度にて一次導関数の最小値を有している。例えば、曲線110bに関しては、約−1.7のシーンの輝度の対数の値にて一次導関数が最小値になっており、曲線130bに関しては、約−2.1のシーンの輝度の対数の値にて一次導関数が最小値になっている。
【0021】
同様に、使用されるべく再現されたトーン・マッピングが、視認環境の特性に基づいて選択される場合、ディスプレイの表面に当たる周囲の光の量が比較的多い状態でディスプレイが見られるときに、ユーザ等は、比較的高いシーンの輝度にて一次導関数の最小値を含むような再現されたトーン・マッピングを選択するであろう。例えば、システムのトーンスケール曲線140aを参照されたい。また一方で、ディスプレイの表面に当たる周囲の光の量が比較的少ない状態でディスプレイが見られるときに、ユーザ等は、比較的低いシーンの輝度にて一次導関数の最小値を含むような再現されたトーン・マッピングを選択するであろう。例えば、システムのトーンスケール曲線110aまたはトーンスケール曲線130aを参照されたい。選択されるべき的確且つ好ましい曲線は、視認条件と、表面反射率を含むディスプレイの特性との組み合わせに依存するであろう。そして、このような曲線は、当業者によって決定され得る。ディスプレイの表面反射率は、ディスプレイの構造によって決定される。ディスプレイの表面反射率を低下させるための多くの技術が、当該技術分野にてよく知られている。これらの技術は、円偏光子、ブラック・マトリクス(black matrix)および反射防止膜を含む。
【0022】
ディスプレイに使用するための再現されたトップ・マッピングはまた、表示されるべき元のシーンの特性に基づいて選択され得る。これらの特性は、シーンの輝度の変化、ハイライトのレベル、および、シーンの平均の輝度を含み得る。例えば、濃霧の中のシーンは、当該シーンの輝度の変化が小さく、視聴者にとって平坦に見えるであろう。このようなシーンは、−0.4のシーンの輝度の対数の値に対して、異なる一次導関数を有する曲線を選択することによって、より満足のいく画像を提供するように調整され得る。元のシーンの全域にわたって生ずる輝度の変化が比較的小さい状態で元のシーンの再現を表示するときに、−0.4のシーンの輝度の対数の値に対して絶対値が比較的大きい負の値を有するような一次導関数(すなわち、−0.4のシーンの輝度の対数の値において、図1のシステムのトーンスケール曲線のコントラストがより大きいような一次導関数)により再現されたトーン・マッピングが使用され得る。また一方で、元のシーンの全域にわたって生ずる輝度の変化が比較的大きい状態で元のシーン(例えば、明るい太陽光およびシャドウを含むシーン)の再現を表示するときに、トップ・マッピングにより再現された輝度の一次導関数が、−0.4のシーンの輝度の対数の値に対して絶対値が比較的小さい負の値を有するように、再現されたトーン・マッピングが選択され得る。−0.4のシーンの輝度の対数の値に対応する図2の一次導関数(コントラスト)の曲線上の値が、下記の表1に示されている。ただし、これらの曲線上の値は、−0.4のシーンの輝度の対数の値に対応する一次導関数の曲線上の値に基づいてのみ選択される必要はない。本明細書で述べているような他の制限、例えば、−0.6のシーンの輝度の対数の値に対応する一次導関数の曲線上の値が、考慮されてもよい。
【0023】
視覚的判断による実験によって、我々は、明るく照明された環境(例えば、ディスプレイの表面に当たる光の照度が500ルクス(lx)より大きいオフィス環境またはショールーム環境)において高い反射率を有する(鏡面の)ディスプレイが見られるときに、視聴者を満足させるために比較的強いコントラストを有するトーン・マッピングが要求されることを見出している。このような発見は驚くべきことであり、公知になっている先行技術文献の内容と相反するものである。前述のようなコントラストの調整は、このような状況において使用され得る。ディスプレイの表面に当たる周囲の光の量が比較的多い状態で、高い反射率を有するディスプレイが見られるときに、トップ・マッピングにより再現された輝度の一次導関数が、−0.4のシーンの輝度の対数の値に対して絶対値が比較的大きい負の値を有するように、再現されたトーン・マッピングが選択され得る。また一方で、ディスプレイの表面に当たる周囲の光の量が比較的少ない状態でディスプレイが見られるときに、トップ・マッピングにより再現された輝度の一次導関数が、−0.4のシーンの輝度の対数の値に対して絶対値が比較的小さい負の値を有するように、再現されたトーン・マッピングが選択され得る。
【0024】
【表1】

【0025】
図3は、従来のシステムのトーンスケール曲線と比較するための図1のトーンスケール曲線の1つを示すグラフであり、図4は、図3の曲線の一次導関数を示すグラフである。トーンスケール曲線160aは、本明細書にて引用されているブーア(Buhr)他による米国特許第5,447,811号および米国特許第5,528,339号に記述されたトーンスケール曲線として教示されている。さらに、図4の曲線160bは、トーンスケール曲線160aの一次導関数として教示されている。図3から明らかなように、有機発光ダイオード(OLED)ディスプレイに対して、3.2のデケードの値に相当するダイナミックレンジは不十分である。さらに、図4の曲線160bは、図4におけるいくつかの要求、特に、−1.9および−2.0のシーンの輝度の対数の値に対する一次導関数の値の要求を満たしていない。
【0026】
前述のsRGBの標準ディスプレイ曲線であるトーンスケール曲線170aは、ストークス(Stokes)他によるディスプレイ用のシステムのトーンスケール曲線として教示されている。さらに、図4の曲線170bは、トーンスケール曲線170aの一次導関数として教示されている。さらに、この一次導関数の曲線は、−3のシーンの輝度の対数の値に対して、絶対値が著しく大きい負の値を有している。このような曲線は、余りにも低級のコントラストを有するものとして感知されるトーン再現に通じるおそれがある。
【0027】
図5は、修正された従来のシステムのトーンスケール曲線と比較するための図1のトーンスケール曲線の1つを示すグラフであり、図6は、図5の曲線の一次導関数を示すグラフである。トーンスケール曲線165aは、乗算器を使用することによって4のデケードの値に相当するダイナミックレンジにまで広げた場合に前述のブーア他(図3のトーンスケール曲線160aも参照のこと)により提示されているトーンスケール曲線であり、図6の曲線165bは、トーンスケール曲線165aの一次導関数である。このトーンスケール曲線165aは、要求されているダイナミックレンジを有しているが、図6における多くの要求、特に、−0.6、−1.9および−2.0のシーンの輝度の対数の値に対する一次導関数の値の要求を満たしていない。このトーンスケール曲線165aにより表されるトーンスケールを有する画像は、特に中程度の色調において、トーンスケール曲線110により表されるトーンスケールを有する再現された画像と比較して、より圧縮されたダイナミックレンジ、より暗く再現された色、および、より少ないディテールの情報を有しているであろう。トーンスケール曲線175aは、乗算器を使用することによって4のデケードの値に相当するダイナミックレンジにまで広げた場合のsRGB(図3のトーンスケール曲線170aも参照のこと)の標準ディスプレイ曲線であり、図6の曲線175bは、トーンスケール曲線175aの一次導関数である。このトーンスケール曲線175aは、3.5より大きいデケードの値に相当するダイナミックレンジを有しているが、ほぼ直線として定義されている。このトーンスケール曲線175aは、−1.9および−2.0のシーンの輝度の対数の値に対する図6の要求を満たしていない。さらに、この一次導関数の曲線は、−3のシーンの輝度の対数の値に対して、−0.5より小さい値を有している。トーンスケール曲線175aにより表されるトーンスケールを有する画像は、本発明により定義されるトーンスケールを有する画像と比較して、より平坦に見え、且つ、中程度のトーンから暗いトーンにかけて輝度を高めている(より明るくしている)であろう。
【0028】
図7は、幾つかの商業的に利用可能なディスプレイの場合と比較するための図1のトーンスケール曲線の1つを示すグラフであり、図8は、図7の曲線の一次導関数を示すグラフである。トーンスケール曲線210aは、商業的に利用可能なプラズマディスプレイに関するものであり、トーンスケール曲線220aは、商業的に利用可能な液晶デバイス(LCD)ディスプレイに関するものである。曲線210b、220bは、それぞれ、これらのトーンスケール曲線210a、220aの一次導関数である。どちらのトーンスケール曲線210a、220aも、3.5より大きいデケードの応答範囲であってディスプレイを駆動するために必要なダイナミックレンジを有していない。さらに、図8に示すように、曲線210b、220bのいずれも、多くの一次導関数の制限から外れている。特に、これらの曲線210b、220bのいずれも、−0.6および−2.0のシーンの輝度の対数の値に対して、望ましい一次導関数の範囲から外れている。その上、曲線220bは、−1.9のシーンの輝度の対数の値に対する一次導関数の値の要求を満たしていない。トーンスケール曲線210a、220aにより表されるトーンスケールを有する画像は、本発明により定義されるトーンスケールを有する画像と比較した場合に、白色から黒色までの色調の範囲をより押しつぶしており、特に、黒色およびその他の暗色をより明るくしている。そして、トーンスケール曲線210a、220aにより表されるトーンスケールを有する画像は、本発明により定義されるトーンスケールを有する画像と比較した場合に、明色の画像領域(すなわち、約−0.6のシーンの輝度の対数の値)に関して不快感を与えるほどに低いコントラストを有している。さらに、トーンスケール曲線210aにより表されるトーンスケールを有する画像は、中程度の色調から白色の色調にかけて、トーンスケール曲線110aのようなトーンスケールを有する画像よりも、不快感を与えるほどに暗くなっている。また一方で、トーンスケール曲線220aにより表されるトーンスケールを有する画像は、中程度の色調から白色の色調にかけて、トーンスケール曲線110aのようなトーンスケールを有する画像よりも、不快感を与えるほどに明るくなっている。
【0029】
図9は、本発明が適用される画像捕捉プロセスおよび画像表示プロセスを概略的に示す図である。この図9のシステムにおいて、ディジタルカメラ260は、元のシーン250からの元のシーンのパラメータを捕捉するために使用され得る。このようなディジタルカメラにより捕捉されたシーンのパラメータは、ディジタルのコード値を有している。これらのコード値は、赤の輝度、緑の輝度および青の輝度の各々に対して、0から255までの値のシーンの輝度を表している。捕捉されたシーンのパラメータは、画像信号プロセッサ270を介してディスプレイに送出され得る。この画像信号プロセッサ270は、捕捉されたシーンのパラメータのコード値を修正する段階を含む変換を実行する。さらに、画像信号プロセッサ270は、捕捉されたシーンのパラメータに関する変換を実行するための任意の方法を含むことが可能である。このような方法として、例えば、アルゴリズムまたはルックアップテーブル等が挙げられる。画像表示プロセスにおいて、修正されたコード値は、ディスプレイに適用され、この修正されたコード値に対応する光をディスプレイに放出させる。これによって、元のシーン250の視覚的再現であるシーン再現画像280が、ディスプレイ上に表示される。
【0030】
このようなプロセスは、さらに、図10に示されている。この図10は、画像捕捉プロセス、変換プロセスおよび画像表示プロセスの四象限の図である。カメラ曲線310は、シーンの輝度に対するカメラの応答である。一般的にいって、このカメラ曲線310は、ITU(International Telecommunication Union:国際電気通信連合) HDTV(High−Definition Television:高解像度テレビ)の標準カメラ曲線として定義される(例えば、「ITU−RBT.709−5 2002、「製造および国際プログラム交換用のHDTV標準のパラメータの値(Parameter Values for the HDTV standards for production and international programme exchange)」、1.2項の勧告]を参照のこと)。カメラ曲線310上のカメラ測定値350は、所定のシーンの輝度に対して、対応するディジタルのコード値を提供する。このコード値は、(例えばHDTV標準放送によって)ディスプレイに供給される。γ補正曲線(ディスプレイγ補正曲線)320は、このコード値を修正するための変換360を提供する。かくして、修正されたコード値は、捕捉され且つ変換されたシーンのパラメータである。この実施例において、上記変換により修正されたコード値は線形強度であるが、当該分野にてよく知られているような他の変換も使用可能である。修正されたコード値は、ディスプレイ特性曲線(ディスプレイ応答曲線)330に適用され、ディスプレイ応答(ディスプレイ輝度応答)370が提供される。この結果として、ディスプレイは、修正されたコード値に対応する光を放出するようになる。カメラ曲線310は、公知になっている標準規格によって設定される。さらに、ディスプレイ特性曲線330は、ディスプレイの特性によって決定される。ここで、右上の象限(第1象限)におけるシーンの輝度の対数と再現された輝度のマイナス対数との関係が、望ましいシステムのトーンスケール曲線(例えば、トーンスケール曲線110a)を形成するようにするために、γ補正曲線320が提供される。かくして、カメラ曲線310により表されるような元のシーンのパラメータを捕捉するステップの未変換特性、および、ディスプレイ特性曲線330により表されるようなシーン再現画像を表示するステップの未変換特性に関連して行われる変換であって、γ補正曲線320により提供される変換は、結果的に、システムのトーンスケール曲線110aの再現されたトップ・マッピングを生成する。
【0031】
γ特性曲線320は、カメラ曲線310およびディスプレイ特性曲線330を介して、望ましいシステムのトーンスケール曲線110aの軸を変換することによって提供され得る。ここで、シーンの輝度の対数の軸は、例えば、シーンの輝度の対数の値を元に戻し、この結果として得られるシーンの輝度を、カメラ曲線320を介して電圧にマッピングし、且つ、電圧の極値をコード値の極値(例えば、0および255)にマッピングすることによって、コード値の軸に変換され得る。また一方で、再現された輝度のマイナス対数の軸は、例えば、再現された輝度のマイナス対数の負の符号を取り除いてから当該再現された輝度の対数の値を元に戻し、この結果として得られる再現された輝度の値の範囲を正規化する(例えば、再現された輝度の値の範囲を[0,1]に設定する)ことによって、線形強度の軸に変換され得る。これらの結果として得られる線形強度に対するコード値のマップは、一般にγ補正曲線と呼ばれており、画像信号プロセッサ270の最初の段に使用するために適している。任意の所定のカメラ曲線およびディスプレイ特性曲線に対して、再現されたトーン・マッピングとγ特性曲線との間に一対一の対応関係がある点に注目すべきである。さらに、γ特性曲線は、前述のような手順を逆にすることによって、再現されたトップ・マッピングに容易に変換され得る点にも注目すべきである。
【0032】
sRGB(1999年に規定されたIEC61966−2.1)等の当該技術分野において現存する標準規格は、再現されたトップ・マッピングよりもむしろγ特性曲線を定義している。sRGBの代わりに図1に示されるような再現されたトップ・マッピングは、「ITU−RBT.709−5 2002の勧告」によるカメラ特性を用いて、IEC61966−2の付録(Annex)Bに従って計算される。sRGB(IEC61966−2の式5および式6)によって規定されるγ特性曲線は、単調に増加し、概ね2.2の傾斜を有するべき関数である。このγ特性曲線は、全ての部分で凹形になっているので、数学的に簡単に表示される。しかしながら、既に論じられているように、このγ特性曲線は、ディスプレイに対して、または、標準規格にて規定される条件以外の条件の下で、良好な画像品質を提供しない。
【0033】
本発明の方法は、再現されたトップ・マッピングを開始してからγ補正を計算するので、任意の特殊な特性を有するγ補正曲線を生成するようには保証されていない。例えば、トーンスケール曲線110aは、何度も凹面を変化させるけれども、単調に増加している。それゆえに、例えば多項式関数等によってトーンスケール曲線110aを表現することは難しい。結果的に、画像処理経路は、閉形式解(cloed−form expression)またはγ補正曲線に近似している他の関数を計算することを必要とせずに、簡単な方法でγ補正曲線を提供することを実行するためのルックアップテーブルを有することが可能である。このことは、本発明に従って、視聴者にとって満足のいくシーン再現画像を生成するためのトーンスケールを使用することを可能にする。
【符号の説明】
【0034】
10 黒色点
15 白色点
20 制限
40 制限
50 制限
110a システムのトーンスケール曲線
110b 一次導関数
120a システムのトーンスケール曲線
120b 一次導関数
130a システムのトーンスケール曲線
130b 一次導関数
140a システムのトーンスケール曲線
140b 一次導関数
150a システムのトーンスケール曲線
150b 一次導関数
160a システムのトーンスケール曲線
160b 一次導関数
165a システムのトーンスケール曲線
165b 一次導関数
170a システムのトーンスケール曲線
170b 一次導関数
175a システムのトーンスケール曲線
175b 一次導関数
210a システムのトーンスケール曲線
210b 一次導関数
220a システムのトーンスケール曲線
220b 一次導関数
250 元のシーン
260 カメラ
270 画像信号プロセッサ
280 シーン再現画像
310 カメラ曲線
320 ディスプレイγ補正曲線
330 ディスプレイ応答曲線
350 カメラ測定値
360 変換
370 ディスプレイ輝度応答

【特許請求の範囲】
【請求項1】
選択的トーン・マッピングにより元のシーンの視覚的再現をディスプレイ上に表示する方法であって、前記ディスプレイは、3.5より大きいデケードの値に相当する輝度の範囲によって分離されているような選択されたディスプレイ白色点および選択されたディスプレイ黒色点を有しており、
前記方法は、
元のシーンのパラメータを捕捉するステップと、
捕捉された前記シーンのパラメータに関して変換を実行するステップと、
補足され且つ変換された前記シーンのパラメータに基づいて、前記シーンの視覚的再現を前記ディスプレイ上に表示するステップとを含み、
この結果として、前記捕捉するステップおよび前記表示するステップの未変換特性に関連して行われる前記変換は、次の(a)〜(e)に示すようなパラメータを有する再現されたトーン・マッピングを生成するようになっており、ここで、(a)〜(e)は、
(a)3.5より大きいデケードの値に相当するダイナミックレンジ、
(b)−0.6のシーンの輝度の対数の値に対して、−1.1と−1.51との間に含まれるような元のシーンの輝度に関して再現された輝度のマイナス対数の値の一次導関数の値であって、前記元のシーンでの100%拡散反射面に対して測定された前記一次導関数の値、
(c)−1.9のシーンの輝度の対数の値に対して、−1.9以下であって且つ−4.0より大きい前記一次導関数の値、
(d)−2.0のシーンの輝度の対数の値に対して、−1.5と−3.0との間に含まれる前記一次導関数の値、および
(e)−2.5のシーンの輝度の対数の値に対する前記一次導関数の値であって、−2.0のシーンの輝度の対数の値に対する前記一次導関数の値より大きい一次導関数の値、
であることを特徴とする方法。
【請求項2】
前記再現されたトーン・マッピングは、全てのシーンの輝度の対数の値に対して、−4.0より大きい前記一次導関数の値を有する請求項1記載の方法。
【請求項3】
前記再現されたトーン・マッピングは、−2.0より小さいシーンの輝度の対数の値、および、−1.5より大きいシーンの輝度の対数の値に対して、−3より大きい前記一次導関数の値を有する請求項2記載の方法。
【請求項4】
前記ディスプレイは、OLEDディスプレイ、LCDディスプレイまたはプラズマディスプレイである請求項1記載の方法。
【請求項5】
前記ディスプレイは、OLEDディスプレイである請求項4記載の方法。
【請求項6】
前記再現されたトーン・マッピングは、0のシーンの輝度の対数の値に対する前記一次導関数の値であって、−0.6のシーンの輝度の対数の値に対する前記一次導関数の値より大きい一次導関数の値を有する請求項1記載の方法。
【請求項7】
前記再現されたトーン・マッピングは、−2.8より小さいシーンの輝度の対数の値に対して、−0.5より大きい前記一次導関数の値を有する請求項1記載の方法。
【請求項8】
前記再現されたトーン・マッピングの前記一次導関数は、−3より大きく且つ0より小さいシーンの輝度の対数の値に対して連続している請求項1記載の方法。
【請求項9】
前記再現されたトーン・マッピングの二次導関数は、−3より大きく且つ0より小さいシーンの輝度の対数の値に対して連続している請求項8記載の方法。
【請求項10】
−0.6のシーンの輝度の対数の値に対する前記一次導関数の値は、−1.21と−1.27との間に含まれる請求項1記載の方法。
【請求項11】
−2.0のシーンの輝度の対数の値に対する前記一次導関数の値は、−1.9のシーンの輝度の対数の値に対する前記一次導関数の値より大きい請求項1記載の方法。
【請求項12】
捕捉された前記シーンのパラメータは、前記シーンの輝度を表すディジタルのコード値を有しており、前記変換は、前記コード値を修正する段階を含む請求項1記載の方法。
【請求項13】
前記コード値は、画像処理経路において修正され、前記表示するステップは、修正された前記コード値を前記ディスプレイに適用することによって、修正された前記コード値に対応する光を前記ディスプレイに放出させる段階を含む請求項12記載の方法。
【請求項14】
前記画像処理経路は、ルックアップテーブルを有する請求項13記載の方法。
【請求項15】
前記再現されたトーン・マッピングは、前記ディスプレイの特性に基づいて選択される請求項1記載の方法。
【請求項16】
比較的高い表面反射率を有するディスプレイに対しては、比較的高いシーンの輝度にて一次導関数の最小値を含むような再現されたトーン・マッピングが選択され、
比較的低い表面反射率を有するディスプレイに対しては、比較的低いシーンの輝度にて一次導関数の最小値を含むような再現されたトーン・マッピングが選択される請求項15記載の方法。
【請求項17】
前記再現されたトーン・マッピングは、視認環境の特性に基づいて選択される請求項1記載の方法。
【請求項18】
前記ディスプレイの表面に当たる周囲の光の量が比較的多い状態で見られるディスプレイに対しては、比較的高いシーンの輝度にて一次導関数の最小値を含むような再現されたトーン・マッピングが選択され、
前記ディスプレイの表面に当たる周囲の光の量が比較的少ない状態で見られるディスプレイに対しては、比較的低いシーンの輝度にて一次導関数の最小値を含むような再現されたトーン・マッピングが選択される請求項17記載の方法。
【請求項19】
前記ディスプレイは、高い反射率を有する表面を有しており、
前記ディスプレイの表面に当たる周囲の光の量が比較的多い状態でディスプレイが見られるときに、トップ・マッピングにより再現された輝度の一次導関数が、−0.4のシーンの輝度の対数の値に対して絶対値が比較的大きい負の値を有するように、再現されたトーン・マッピングが選択され、
前記ディスプレイの表面に当たる周囲の光の量が比較的少ない状態でディスプレイが見られるときに、トップ・マッピングにより再現された輝度の一次導関数が、−0.4のシーンの輝度の対数の値に対して絶対値が比較的小さい負の値を有するように、再現されたトーン・マッピングが選択される請求項17記載の方法。
【請求項20】
前記再現されたトーン・マッピングは、前記元のシーンの特性に基づいて選択される請求項1記載の方法。
【請求項21】
元のシーンの全域にわたって生ずる輝度の変化が比較的小さい状態で元のシーンの再現を表示するときに、トップ・マッピングにより再現された輝度の一次導関数が、−0.4のシーンの輝度の対数の値に対して絶対値が比較的大きい負の値を有するように、再現されたトーン・マッピングが選択され、
元のシーンの全域にわたって生ずる輝度の変化が比較的大きい状態で元のシーンの再現を表示するときに、トップ・マッピングにより再現された輝度の一次導関数が、−0.4の元のシーンの輝度の対数の値に対して絶対値が比較的小さい負の値を有するように、再現されたトーン・マッピングが選択される請求項20記載の方法。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate

【図9】
image rotate

【図10】
image rotate


【公表番号】特表2010−540987(P2010−540987A)
【公表日】平成22年12月24日(2010.12.24)
【国際特許分類】
【出願番号】特願2010−525809(P2010−525809)
【出願日】平成20年9月12日(2008.9.12)
【国際出願番号】PCT/US2008/010659
【国際公開番号】WO2009/042036
【国際公開日】平成21年4月2日(2009.4.2)
【出願人】(510059907)グローバル オーエルイーディー テクノロジー リミティド ライアビリティ カンパニー (45)
【Fターム(参考)】