高ダイナミックレンジ画像データを復号化するための装置及び方法、表示用画像を処理可能なビューア、ならびに表示装置
【課題】高ダイナミックレンジ画像を記憶し、変換し、再生するための便利な枠組みを提供すること、
【解決手段】高ダイナミックレンジ画像データを復号化するための装置は、トーンマップ部１６Ａと高ダイナミックレンジ（ＨＤＲ）画像部１６Ｂとを含むデータ構造１６を受信する入力部と、トーンマップ部１６Ａを復号化して第１の画像を生成するためのデコーダと、第１の画像をダウンサンプリングしてダウンサンプリングされた画像を生成し、第１の画像内における画素値とダウンサンプリングされた画像内における対応する画素値との比率を判定して、該比率に基づく補正（１１４）をＨＤＲ画像部１６Ｂにより表現される画像データ内の対応する画素に対して行うように構成された補正システム部とを備える。
【解決手段】高ダイナミックレンジ画像データを復号化するための装置は、トーンマップ部１６Ａと高ダイナミックレンジ（ＨＤＲ）画像部１６Ｂとを含むデータ構造１６を受信する入力部と、トーンマップ部１６Ａを復号化して第１の画像を生成するためのデコーダと、第１の画像をダウンサンプリングしてダウンサンプリングされた画像を生成し、第１の画像内における画素値とダウンサンプリングされた画像内における対応する画素値との比率を判定して、該比率に基づく補正（１１４）をＨＤＲ画像部１６Ｂにより表現される画像データ内の対応する画素に対して行うように構成された補正システム部とを備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、高ダイナミックレンジ画像データを復号化するための装置及び方法、表示用画像を処理可能なビューア、ならびに表示装置に関する。
【背景技術】
【０００２】
人間の視覚は、１：１０，０００までのコントラスト比を認識可能である。即ち、人は、あるシーンの幾つかの部分が、そのシーンの他の部分より１０，０００倍明るいシーンを取り入れ、そのシーンの最も明るい及び最も暗い部分双方の詳細を見ることができる。更に、人間の視覚は、更に６桁の大きさに渡って、その感度をより明るい又はより暗いシーンに順応させることができる。
【０００３】
ほとんどの従来のデジタル画像フォーマット（所謂、２４ビットフォーマット）は、画像の各画素の色及び輝度情報を記憶するために２４ビットまで用いる。例えば、画素の赤、緑及び青（ＲＧＢ）の各々の値は、１バイト（８ビット）で記憶し得る。そのようなフォーマットは、約２桁のオーダに渡る輝度変動しか表現できない（各バイトは、２５６の可能な値のうちの１つを記憶し得る）。デジタル画像（静止画像及び映像画像双方を含む）を表現するための多数の標準フォーマットが存在する。これらのフォーマットは、ＪＰＥＧ（Ｊｏｉｎｔ Ｐｈｏｔｏｇｒａｐｈｉｃ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）、ＭＰＥＧ（Ｍｏｔｉｏｎ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）、ＡＶＩ（Ａｕｄｉｏ Ｖｉｄｅｏ Ｉｎｔｅｒｌｅａｖｅ）、ＴＩＦＦ（Ｔａｇｇｅｄ Ｉｍａｇｅ Ｆｉｌｅ Ｆｏｒｍａｔ）、ＢＭＰ（ＢｉｔＭａｐ）、ＰＮＧ（Ｐｏｒｔａｂｌｅ Ｎｅｔｗｏｒｋ Ｇｒａｐｈｉｃｓ）、ＧＩＦ（Ｇｒａｐｈｉｃａｌ Ｉｎｔｅｒｃｈａｎｇｅ Ｆｏｒｍａｔ）等を含む。そのようなフォーマットは、最も普通に利用可能なタイプの電子表示装置によって再生し得るもの以上の画像情報を保持しようとしないため、“出力指定標準”と呼ばれることがある。最近まで、コンピュータ表示装置、テレビ、デジタル映画映写機等の表示装置は、１：１０００程度より良いコントラスト比を有する画像を正確に再生することが不可能であった。
【０００４】
譲渡人及び他者によって開発される表示装置技術は、高ダイナミックレンジ（ＨＤＲ）を有する画像を再生することが可能である。そのような表示装置は、従来の表示装置より現実の世界のシーンを更に忠実に表現する画像を再生し得る。将来利用可能になるこれらの表示装置及び他のＨＤＲ表示装置上でＨＤＲ画像を記憶し再生するためのフォーマットが必要である。
【０００５】
デジタルデータとしてＨＤＲ画像を記憶するための多数のフォーマットが、提案されている。これらのフォーマットには様々な不利な点がある。多数のこれらのフォーマットは、専用のソフトウェアだけを利用して閲覧し得る膨大な大きさの画像ファイルを生じる。デジタルカメラの製造業者には、自社開発のＲＡＷフォーマットを提供するものもある。これらのフォーマットは、データ記憶要求の点において、カメラ独特であり、また、過剰な傾向がある。
【発明の概要】
【発明が解決しようとする課題】
【０００６】
高ダイナミックレンジ画像を記憶し、交換し、再生するための便利な枠組みが必要である。特に、既存の画像ビューア技術と下位互換性があるような枠組みが必要である。ハードウェアベースの画像デコーダを有するＤＶＤプレーヤ等の従来の装置によって画像を再生する必要がある場合、特に下位互換性に対するニーズがある。
【課題を解決するための手段】
【０００７】
本発明の第１の態様は、高ダイナミックレンジ画像データを復号化するための装置である。当該装置は、トーンマップ部と高ダイナミックレンジ（ＨＤＲ）画像部とを含むデータ構造を受信する入力部と、前記トーンマップ部を復号化して第１の画像を生成するためのデコーダと、前記第１の画像をダウンサンプリングしてダウンサンプリングされた画像を生成し、前記第１の画像内における画素値と前記ダウンサンプリングされた画像内における対応する画素値との比率を判定して、該比率に基づく補正を前記ＨＤＲ画像部により表現される画像データ内の対応する画素に対して行うように構成された補正システム部と、を備える。
【０００８】
本発明の第２の態様は、表示用画像を処理可能なビューアである。当該ビューアは、トーンマップデータを復号化して第１の画像データを提供するためのデコーダと、前記第１の画像データをダウンサンプリングしてダウンサンプリングされた画像データを提供するための手段と、前記ダウンサンプリングされた画像データをアップサンプリングしてアップサンプリングされた画像データを提供するための手段と、前記アップサンプリングされた画像データと前記第１の画像データとの差に基づく比率画像データを補正して、補正された比率画像データを生成するための手段と、前記補正された比率画像データを前記第１の画像データに乗じることにより高ダイナミックレンジデータを提供するための手段と、前記高ダイナミックレンジデータを表示するための表示部と、を備える。
【０００９】
本発明の第３の態様は、表示装置である。当該表示装置は、初期ダイナミックレンジを有する高ダイナミックレンジ画像を表現するとともに、トーンマップ部と高ダイナミックレンジ情報部とを含むデータ構造を格納するデータ格納部であって、前記トーンマップ部が、前記画像を表現するトーンマップ情報を含むとともに、前記初期ダイナミックレンジより小さい低ダイナミックレンジを有し、前記高ダイナミックレンジ情報部が、前記トーンマップ部の値と前記高ダイナミックレンジ画像の対応する値との比率を記述する情報を含む、前記データ構造を格納するデータ格納部と、前記トーンマップ部を復号化して第１の画像データを生成し、該第１の画像データを前記比率を記述する情報に応じて修正して前記データ構造から高ダイナミックレンジ画像を再構築することにより、前記高ダイナミックレンジ画像を表現する画像データを生成するように構成されたプロセッサと、前記高ダイナミックレンジ画像を表示するための表示部と、を備える。
【００１０】
本発明の第４の態様は、トーンマップ部と高ダイナミックレンジ（ＨＤＲ）画像部とを含むデータ構造から高ダイナミックレンジ画像データを復号化するための方法である。当該方法は、前記トーンマップ部を復号化して第１の画像を生成すること、前記第１の画像をダウンサンプリングしてダウンサンプリングされた画像を生成すること、前記第１の画像内における画素値と前記ダウンサンプリングされた画像内における対応する画素値との比率を判定すること、前記比率に基づく補正を前記ＨＤＲ画像部により表現される画像データ内の対応する画素に対して行うこと、を備える。
【図面の簡単な説明】
【００１１】
【図１】本発明の一般的な実施形態によるＨＤＲ画像ファイルを生成するための方法を示すデータフロー図。
【図２】本発明によるＨＤＲ画像の符号化及び復号化方法の全体像を与えるフローチャート。
【図３】本発明の１つの具体的な実施形態によるＨＤＲ画像ファイルを生成するための方法を示すデータフロー図。
【図４】圧縮及び／又はダウンサンプリングに起因するアーティファクトの補正を行う本発明の幾つかの実施形態による方法を示すフローチャート。
【図５】ＨＤＲ画像の再構築時の圧縮及び／又はダウンサンプリングに起因するアーティファクトの補正を行う本発明の一実施形態による方法を示すフローチャート。
【発明を実施するための形態】
【００１２】
以下、本発明の実施形態について説明する。
本発明の一態様は、ＨＤＲ画像を表現するためのデータ構造（ＨＤＲデータ構造）を提供する。好適な実施形態において、ＨＤＲデータ構造によって、標準画像閲覧ソフトウェアを用いて、標準ダイナミックレンジモードで画像を閲覧でき、また、ＨＤＲビューアや適切なＨＤＲ表示装置を用いて、同じ画像の高ダイナミックレンジバージョンを高ダイナミックレンジモードで閲覧し得る。
【００１３】
図１は、ＨＤＲデータ構造１６を生成し、また、ＨＤＲデータ構造１６によって表される画像を閲覧するための本発明によるシステム１０を示す。図２は、ＨＤＲデータ構造を生成するためのシステム１０によって行われる方法３０並びにＨＤＲデータ構造１６におけるデータからの画像を表示するための他の選択肢としての方法３１Ａ及び３１Ｂを示す。
【００１４】
システム１０は、ＨＤＲ原画像データ１２に基づき、ＨＤＲ画像データ構造１６を生成するためのエンコーダ１４を含む。データ構造１６は、標準デコーダ１８によって復号して標準ダイナミックレンジ画像１９を提供し得る。本発明の幾つかの実施形態において、標準デコーダ１８は、“従来の”ハードウェアデコーダ、又は適切な画像ビューアソフトウェア等のソフトウェアベースのデコーダを含む。データ構造１６は、ＨＤＲデコーダ２０によって復号して、再構築されたＨＤＲ画像２１を生成し得る。
【００１５】
方法３０は、ＨＤＲ画像データ１２を取り込むことによって、ブロック３２で始まる。ＨＤＲ画像データ１２は、画像の画素の輝度を直接又は間接的に指定する情報を含む。ＨＤＲ画像データ１２は、任意の適切なフォーマットであってよく、また、適切なＨＤＲカメラを利用して取り込んだり（複数の露出を組み合わせることによって可能）、又は、コンピュータで直接描画したりできる。ＨＤＲ画像データ１２の供給源は、本発明を実施する上で重要ではない。
【００１６】
また、方法３０によって、ＨＤＲ画像データ１２に対応するトーンマップデータ１５が得られる（ブロック３４）。トーンマップデータ１５は、ＨＤＲ画像１２の画像の類似点を表現するが、ＨＤＲ画像データ１２より小さいダイナミックレンジを有する。トーンマップデータ１５は、ライン１３によって示すように、ＨＤＲ画像データ１２から生成し得る。あるいは、いずれか他の方法では、ＨＤＲ画像データ１２と共通の供給源を有するデータから導出し得る。トーンマップデータ１５がＨＤＲ画像データ１２から導出されない場合、トーンマップデータ１５及びＨＤＲ画像データ１２が得られる順番（即ち、ブロック３２及び３４の順番）は、重要ではない。
【００１７】
エンコーダ１４は、データ構造１６を生成する。データ構造１６は、トーンマップデータ１５に基づくトーンマップ部１６Ａと、ＨＤＲ情報部１６Ｂとを含み、ＨＤＲ情報部１６Ｂは、ＨＤＲデコーダ２０によってトーンマップ部１６Ａからのデータと組み合わせて、ＨＤＲ画像データ１２又はそれに極めて近いものを再構築し得る情報を含む。方法３０は、トーンマップデータ１５（即ち、データ構造１６のトーンマップ部１６Ａから再構築されたトーンマップデータ）とＨＤＲ画像データ１２とを比較することによって、ＨＤＲ情報部を生成する（ブロック３６）。ブロック３８において、方法３０は、トーンマップ部１６Ａ及びＨＤＲ情報部１６Ｂをデータ構造１６に記憶する。
【００１８】
本発明の好適な実施形態において、データ構造１６には、標準デコーダによって読み出し低いダイナミックレンジ（ＬＤＲ）画像を生成し得るフォーマットがある。標準デコーダ１８は、復号化方法３１Ａを実現し得る。標準デコーダ１８は、トーンマップ部１６Ａを検索し、トーンマップ部１６Ａによって表現された画像を表示することによって、標準ＬＤＲ画像１９を生成する（ブロック３９）。標準デコーダは、ＨＤＲ情報部１６Ｂを無視し得る。
【００１９】
また、データ構造１６は、ＨＤＲデコーダ２０によって読み出し得る。ＨＤＲデコーダ２０は、復号化方法３１Ｂを実現し、トーンマップ部１６Ａ及びＨＤＲ情報部１６Ｂ双方からの情報に基づき、ＨＤＲ画像２１を生成する。方法３１Ｂは、ブロック４０において、データ構造１６のトーンマップ部１６Ａ及びＨＤＲ情報部１６Ｂからデータを検索する。ブロック４２において、再構築されたＨＤＲ画像は、ＨＤＲ情報部１６ＢからのＨＤＲ情報によりトーンマップ部１６Ａから抽出されるトーンマップを修正することによって生成される。再構築されたＨＤＲ画像は、ブロック４４において表示される。
【００２０】
トーンマップ部１６Ａは、任意の適切なフォーマットであってよい。例えば、トーンマップ部１６Ａは、ＪＰＥＧ、ＭＰＥＧ、ＡＶＩ、ＴＩＦＦ、ＢＭＰ、ＧＩＦ又はいずれか他の適切なフォーマットであってよい。トーンマップ部１６Ａは、ＨＤＲ原画像１２のものより小さいダイナミックレンジの画像における画素の輝度を直接又は間接的に指定する情報を含む。ＨＤＲ画像データ１２が、色画像を指定する場合、トーンマップ部１６Ａは、好適には、画像中の画素の色を指定する情報を含む。
【００２１】
本発明の幾つかの実施形態において、データ構造１６は、ＪＰＥＧファイル交換フォーマット（ＪＦＩＦ）によりフォーマット化されたファイルを含む。そのような実施形態において、トーンマップ部１６Ａは、ＪＦＩＦファイルの画像部に含み得る。また、ＨＤＲ情報部１６Ｂは、ＪＦＩＦファイルの１つ又は複数のアプリケーション拡張子部及び／又はＪＦＩＦファイルの１つ又は複数のコメント部に記憶し得る。そのような実施形態において、任意の標準ＪＰＥＧビューアは、データ構造１６を開くことができ、また、ＨＤＲの原データ１２又は再構築されたＨＤＲ画像２１のものより小さいダイナミックレンジでトーンマップ部１６Ａに供給された画像を表示し得る。
【００２２】
標準ＪＰＥＧビューアは、サポートしないＪＦＩＦファイルのアプリケーション拡張子を無視する。従って、ＨＤＲ情報部１６Ｂの存在は、任意の標準ＪＰＥＧビューアを用いたデータ構造１６からの画像の閲覧に対して、ほとんど影響を及ぼさない。ＨＤＲ情報１６ＢがＪＦＩＦファイルのコメントフィールドにある場合、ＪＦＩＦファイルのコメントフィールドを読もうとするアプリケーションもあることから、ＨＤＲ情報１６Ｂは、ＡＳＣＩＩテキストとして符号化するのが好ましい。そのようなアプリケーションは、コメントフィールドがテキストだけを含むと予想し、予想外のタイプのデータを含むコメントフィールドを開こうとする際に、不適切に動作することがある。バージョン１．２は、ＪＦＩＦの１つのバージョンである。ＪＦＩＦバージョン１．２は、ＩＳＯ＿ＤＩＳ１０９１８−１の付録Ｂに記載されており、本明細書において引用・参照する。
【００２３】
本発明の幾つかの実施形態において、データ構造１６は、ＭＰＥＧフォーマットのファイルを含む。そのような実施形態において、トーンマップ部１６Ａは、ＭＰＥＧファイルの画像部に含み得る。また、ＨＤＲ情報部１６Ｂは、ＭＰＥＧファイルの１つ又は複数のアプリケーション拡張子及び／又はＭＰＥＧファイルの１つ又は複数のコメント部に記憶し得る。そのような実施形態において、任意の標準ＭＰＥＧビューアは、データ構造１６を開くことができ、また、ＨＤＲの原データ１２又は再構築されたＨＤＲ画像２１のものより小さいダイナミックレンジでトーンマップ部１６Ａに供給された画像を表示し得る。１つのＨＤＲ情報部１６Ｂは、ＭＰＥＧ映像ファイルの各フレームに関連付け得る。あるいは、キーフレームを用いるＭＰＥＧのバージョンの場合、ＨＤＲ情報部１６Ｂは、キーフレームだけに関連付け得る。従来のＭＰＥＧキーフレーム補間手法は、キーフレーム間フレーム（即ち、キーフレーム間にあるフレーム）を生成するために用い得る。
【００２４】
標準ＭＰＥＧビューアは、サポートしないＭＰＥＧファイルのチャネルを無視する。従って、ＨＤＲ情報部１６Ｂの存在は、任意の標準ＭＰＥＧビューアを用いたデータ構造１６からの画像の閲覧に対して、ほとんど影響を及ぼさない。ＨＤＲ情報１６Ｂが、ＭＰＥＧファイルのコメントフィールドにある場合、ＭＰＥＧファイルのコメントフィールドを読もうとするアプリケーションもあることから、ＨＤＲ情報１６Ｂは、ＡＳＣＩＩテキストとして符号化するのが好ましい。そのようなアプリケーションは、コメントフィールドがテキストだけを含むと予想し、予想外のタイプのデータを含むコメントフィールドを開こうとする際に、不適切に動作することがある。
【００２５】
トーンマップ部１６Ａは、何らかの適切な方法で、トーンマップデータ１５から生成し得る。例えば、トーンマップ部１６Ａは、適切なトーンマッピング演算子を用いて生成し得る。トーンマッピング演算子は、好適には、以下の特性を有する。即ち、
・ＨＤＲの原入力（即ち、ＨＤＲ原画像データ１２）が、標準の動的な解像度（通常、２４ビット）の出力領域に円滑にマッピングされる。
【００２６】
・トーンマッピング演算子の出力の成分が、０又は２５５の値でクランプされない。
・色相が、各画素に対して維持される。
・トーンマッピング演算子が飽和値を変える場合、可逆的関数によって記述し得る軽度の変更のみを行う。
【００２７】
本発明者らは、デュラン（Ｄｕｒａｎｄ）及びドロシー（Ｄｏｒｓｅｙ）による“高ダイナミックレンジ画像の表示のための高速バイラテラルフィルタ処理”、グラフィックスに関するＡＣＭ議事録、２１、３、２４９−２５６（２００２）に記載されたバイラテラルフィルタが適切なトーンマッピング演算子を提供することを確認している。トーンマップ部１６Ａは、ＪＰＥＧエンコーダ又はＭＰＥＧエンコーダ等の適切なエンコーダを用いて、符号化し得る。
【００２８】
トーンマップ部１６Ａは、何らかの適切な方法で、画素色値を表現し得る。例えば、画素色値は、ＲＧＢ（赤、緑、青）値、ＣＭＹＫ（シアン、マゼンタ、黄、黒）値、ＹＣｂＣｒ（輝度及びクロミナンス）値等として表現し得る。トーンマップ部１６Ａのデータは、任意の適切な圧縮方式を用いて圧縮し得る。例えば、トーンマップ部１６Ａのデータは、ＪＰＥＧ又はＭＰＥＧ標準と互換性がある方式で圧縮し得る。
【００２９】
本発明の幾つかの実施形態において、ＨＤＲ情報部１６Ｂは、個々の画素に対してトーンマップ部１６Ａによって指定された値と、同じ画素に対してＨＤＲ原画像１２によって指定された値との間の比率を含む。そのような実施形態において、ＨＤＲ情報１６Ｂは、ＨＤＲ原画像１２によって指定された値をトーンマップ部１６Ａによって指定された対応する値で除算することによって生成し得る。この演算により生じるデータは、ＨＤＲ情報部１６Ｂとして記憶し得る。ＨＤＲ情報部１６Ｂのデータ値が表現される精度を選択して、許容可能な品質を再構築されたＨＤＲ画像に提供し得る。本発明の幾つかの実施形態において、ＨＤＲ情報部１６Ｂのデータ値の各々は、圧縮に先立って、１バイト（８ビット）によって表現される。
【００３０】
本発明の幾つかの実施形態において、ＨＤＲ情報部１６Ｂは、再構築されたＨＤＲ画像２１の画素の輝度と、対応する画素に対してトーンマップ情報１６Ａによって指定された輝度との間の関係を指定する。そのような実施形態において、ＨＤＲ情報部１６Ｂは、色情報を含む必要がない。
【００３１】
ＨＤＲ情報部１６Ｂには、画像内の領域又は画素に対してＨＤＲ原画像１２によって指定された輝度と、対応する領域又は画素に対してトーンマップ部１６Ａによって指定された輝度との比率を含み得る。そのような実施形態において、色情報は、トーンマップ部１６Ａによって保持される。そのような実施形態において、ＨＤＲ部１６Ｂは、階調画像と同じ構造を有し得る。例えば、ＨＤＲデータ構造１６がＪＦＩＦファイルを含む場合、ＨＤＲ部１６Ｂは、ＪＰＥＧ階調画像として符号化し得る。ＨＤＲデータ構造１６がＭＰＥＧファイルを含む場合、ＨＤＲ部１６Ｂは、ＭＰＥＧ階調画像として符号化し得る。
【００３２】
図３は、本発明の一実施形態によるＨＤＲエンコーダ５０を示す。なお、ここでは、データ構造１６のＨＤＲ部１６Ｂを作るために用いられるＨＤＲ情報は、ＨＤＲ画像１２の画素値と、トーンマップ部１６Ａによって指定された対応する値との比率を含む。エンコーダ５０は、ＨＤＲ画像データ１２を受信する。エンコーダ５０は、破線１３及びトーンマップ生成器１７によって示すように、ＨＤＲ画像データ１２からトーンマップデータ１５を抽出することによって、又は、破線１３Ａによって示すように、他の何らかの供給源からトーンマップデータ１５を受信することによって、トーンマップデータ１５を取得する。トーンマップ生成器１７は、好適には、色又は輝度値をクリッピングせず、トーンマップデータ１５における各画素に対して色及び輝度比率を維持する。
【００３３】
例示した実施形態において、エンコーダ５０は、標準エンコーダ５２を含む。標準エンコーダは、トーンマップデータ１５を符号化して、符号化されたトーンマップデータ１５Ａを生成する。符号化されたトーンマップデータ１５Ａは、標準ビューアで読み出し得る。例えば、標準エンコーダ５２は、ＪＰＥＧ又はＭＰＥＧビューアによって読み出し得るＪＰＥＧ又はＭＰＥＧ符号化トーンマップデータとしてトーンマップデータ１５を符号化するエンコーダを含み得る。符号化されたトーンマップデータは、ＨＤＲデータ構造１６のトーンマップデータ部１６Ａに保存される。
【００３４】
本発明の幾つかの実施形態において、エンコーダ５０は、符号化されたトーンマップデータ１５Ａを外部の何らかの供給源から受信する。そのような実施形態において、エンコーダ５０は、標準エンコーダ５２を組み込む必要がない。
【００３５】
符号化されたトーンマップデータ１５Ａは、デコーダ５４によって復号され、再構築されたトーンマップデータ５５を生成する。ＨＤＲ画像データ１２は、除算器５６によって、再構築されたトーンマップデータ５５で除算され、比率データ５７を生成する。比率データ５７は、オプションとして、データ圧縮器５８によって圧縮され、ＨＤＲ情報１６Ｂを生成する。データ圧縮器５８は、ＪＰＥＧ又はＭＰＥＧエンコーダを便宜的に含み得る。本発明の幾つかの実施形態において、同じＪＰＥＧ又はＭＰＥＧエンコーダを用いて、ＨＤＲデータ構造１６のトーンマップ部１６Ａ及びＨＤＲ情報部１６Ｂ双方を符号化する。
【００３６】
本発明の幾つかの実施形態において、比率データ５７は、ＨＤＲ画像データ１２の値と、トーンマップデータ１５（又はトーンマップ部１６Ａ）によって指定された対応する値との比率の何らかの関数を含む。例えば、比率データ５７には、そのような比率の対数を指定する情報を含み得る。
【００３７】
本発明の幾つかの他の実施形態において、トーンマップデータ１５は、ライン５３によって示すように、除算器５６に直接供給される。そのような実施形態では、デコーダ５４は必要ない。トーンマップ部１６Ａが、ＪＰＥＧ又はＭＰＥＧ符号化等の不可逆（ｌｏｓｓｙ）アルゴリズムを用いて符号化される場合、ＨＤＲ情報部１６Ｂを、トーンマップデータ１５に基づかせる代わりに、再構築されたトーンマップデータ５５に基づかせることが好ましい。再構築されたトーンマップデータ５５にＨＤＲ情報部１６Ｂを基づかせると、トーンマップ情報部１６Ａが、不可逆符号化（ｌｏｓｓｙ ｅｎｃｏｄｉｎｇ）処理によって符号化される場合、ＨＤＲデータ構造１６からＨＤＲ画像データ１２を更に正確に再構築できる。トーンマップデータ１５よりもむしろトーンマップ情報部１６Ａを用いて、ＨＤＲ画像２１（図１）を再構築する。
【００３８】
圧縮器５８は、任意の数の形態をとり得る。本発明の幾つかの実施形態において、圧縮器５８は、１つ又は複数の以下の動作を行う。即ち、
・比率データ５７のダウンサンプリング。
・比率データ５７の圧縮。
【００３９】
圧縮には任意の適切な形態を用い得る。本発明の現在の好適な実施形態において、圧縮器５８は、比率データ５７をダウンサンプリングすると共にダウンサンプリングされた比率データを符号化する。比率データ５７がダウンサンプリングされる場合、ＨＤＲ情報部１６Ｂは、比率データ５７又はトーンマップデータ１５の画像サイズより小さい画像サイズを有する（即ち、ＨＤＲ情報部１６Ｂは、比率データ５７又はトーンマップデータ１５が値を指定する数の画素より少ない数の画素に対する値を指定する）。そのような場合、ＨＤＲ情報部１６Ｂは、トーンマップデータ１５より低い空間解像度を有する。
【００４０】
比率データ５７がダウンサンプリング又は他の不可逆圧縮手順を受ける本発明の実施形態において、ＨＤＲ情報１６Ｂには、ＨＤＲ画像データ１２を正確に再構築するために必要な全ての細目が欠如することがある。比率データ５７の不可逆圧縮に起因する歪は、トーンマップ部１６Ａ及び／又はＨＤＲ情報部１６Ｂに補正を適用することによって少なくとも部分的に補正し得る。
【００４１】
図４は、トーンマップ部１６Ａ又はＨＤＲ情報部１６Ｂのデータに補正を適用して、トーンマップ部１６Ａ及び／又はＨＤＲ情報部１６Ｂの不可逆符号化に起因するアーティファクトを低減する方法６０の作用を示すフローチャートである。方法６０は、ブロック６２及び６４において、ＨＤＲ画像データ９０及びトーンマップデータ９１を取り込む。ＨＤＲ画像データ９０及びトーンマップデータ９１は、上述した方法を含む何らかの適切な方法で得られる。幾つかの実施形態において、トーンマップデータ９１は、矢印６５によって示すように、ＨＤＲ画像データ９０から抽出される。
【００４２】
ブロック６６において、トーンマップデータ９１が、符号化され、符号化されたトーンマップデータ９２を生成する。本発明の幾つかの実施形態において、符号化ブロック６６は、ＪＰＥＧ又はＭＰＥＧ符号化を含む。その後、ブロック６８において、符号化されたトーンマップデータ９２が復号されて、再構築されたトーンマップデータ９４が生成される。再構築ブロック６８は、ブロック６６がＪＰＥＧ又はＭＰＥＧ符号化を含む場合、符号化されたトーンマップデータ９２をＪＰＥＧ又はＭＰＥＧデコーダ等の適切なデコーダに渡す。
【００４３】
ブロック７０は、入力として、ＨＤＲ画像データ９０からの値（第１値）及び再構築されたトーンマップデータ９４からの対応する値（第２値）をとる関数を適用することによって、比率データ９６を生成する。この関数は、第１値を第２値で除算する段階又はその逆の段階を含む。本発明の簡単な実施形態では、比率データ９６は、下式によって与えられる画像中の各画素に対する値ＲＩを含む。
【００４４】
【数１】
上式において、（ｘ，ｙ）は、画素を特定する座標であり、Ｌは、画素のデータから画素の輝度を返す関数であり、ＨＤＲ（ｘ，ｙ）は、座標（ｘ，ｙ）のＨＤＲ画像データ９０の画素データであり、ＴＭ（ｘ，ｙ）は、座標（ｘ，ｙ）の画素に対する再構築されたトーンマップデータ９４（又は、トーンマップデータ９１）の画素データである。幾つかの実施形態において、比率データは、ＲＩの対数、ＲＩの平方根、又はＲＩの他の関数を記憶する。
【００４５】
ブロック７２及び７４は、比率データ９６を符号化する。本例の実施形態において、この符号化は、ブロック７２において比率データ９６をダウンサンプリングして、ダウンサンプリングされた比率データ９８を生成すること、次に、そのダウンサンプリングされた比率データ９８を圧縮して、符号化された比率データ１００を生成すること、を含む。ブロック７２で行われるダウンサンプリングの量は、ＨＤＲ画像部１６Ｂを小さくすること、及びＨＤＲデータ構造１６から再構築されたＨＤＲ画像に最も高い忠実度でＨＤＲ画像データ９０を再生させること、の競合する目標に基づき選択し得る。本発明の幾つかの実施形態において、比率データ９６は、ダウンサンプリングされた比率データ９８が比率データ９６よりも１／４乃至１／１５の範囲だけ少ない画素を有するように、充分にダウンサンプリングされる。
【００４６】
例えば、ダウンサンプリングは、ｅ−（ｘ＾２／Ｒ＾２）の重み付け公式に従うガウスのフィルタカーネル（Ｇａｕｓｓｉａｎ ｆｉｌｔｅｒ ｋｅｒｎｅｌ）を用いて行ない得る。なお、式中、ｘは、入力画像の出力画素の中心からの距離であり、Ｒは、ダウンサンプリング半径である。ダウンサンプリング半径は、寄与する入力画素の重みの合計が出力画素の合計値のかなりの部分になる領域と定義し得る。
【００４７】
任意の適切な形態のデータ圧縮がブロック７４で行われる。本発明の幾つかの実施形態において、ブロック７４では、ＪＰＥＧ符号化を行う。本発明の他の実施形態において、ブロック７４では、ＭＰＥＧ符号化を行う。
【００４８】
ブロック７６において、再構築された比率データ１０２は、符号化された比率データ１００を復号することによって生成される。再構築された比率データ１０２は、ブロック７４及び７６におけるデータ欠落のために、通常、比率データ９６と同じではない。
【００４９】
ブロック７８において、再構築されたＨＤＲ画像データ１０４は、ブロック７０で比率データに適用された関数の逆関数を再構築された比率データ１０２に適用することによって、そして、各画素に対して、再構築されたトーンマップデータ９４の画素の輝度にその結果を乗ずることによって生成される。例えば、比率データ９６が、式（１）において定義される値ＲＩを記憶する場合、再構築されたＨＤＲ画像データ１０４は、再構築されたトーンマップデータ９４の各画素の輝度に再構築された比率データ１０２からの対応するＲＩの値を乗ずることによって得ることができる。例えば、比率データが、自然対数値Ｉｎ（ＲＩ）を記憶する場合、再構築されたＨＤＲ画像データ１０４は、自然対数の底であるｅを再構築された比率データ１０２の値で累乗することによって、そして、その結果に再構築されたトーンマップデータ９４の各画素の輝度を乗ずることによって得ることができる。
【００５０】
再構築された比率データ１０２が元の比率データ９６と同じではないため、さらには、通常あまり重要ではないが、比率データ９６の丸め誤差（ｒｏｕｎｄｉｎｇ ｅｒｒｏｒ）のために、再構築されたＨＤＲ画像データ１０４はＨＤＲ原画像データ９０とは異なる。オプションとして、ブロック８０は、再構築されたＨＤＲ画像データ１０４とＨＤＲ原画像データ９０とを比較して、何らかの補正が必要かどうかを判断し、また、その補正をどのように行うかを決定する。補正は、トーンマップ部１６Ａのデータを補正することによって、及び／又はＨＤＲ情報部１６Ｂのデータを補正することによって行ない得る。幾つかの方法は、単に、これら補正の一方又は他方を行う。
【００５１】
ブロック８２では、補正されたトーンマップデータ１０６を取得する。補正されたトーンマップデータ１０６は、ＨＤＲ原画像データ９０を再構築された比率データ１０２で除算することによって得ることができる。そして、補正されたトーンマップデータ１０６は、必要に応じて、ブロック８３によって符号化され、ブロック８４においてＨＤＲデータ構造１６のトーンマップデータ部１６Ａとして記憶される。この事前補正は、再構築された比率データ１０２が利用可能になった後は、いつでも実行し得る。多くの目的の場合、この事前補正は、従来の画像ビューアでトーンマップデータ部１６Ａを閲覧することによって見ることができる画像を大幅に劣化させることはない。この補正は、この補正が無い状態の場合より、トーンマップ部１６Ａによって表現された画像を若干鮮明にする傾向にある。再構築されたＨＤＲ画像データ１０４は、ブロック８６においてＨＤＲデータ構造１６のＨＤＲ情報部１６Ｂとして記憶し得る。
【００５２】
トーンマップ部１６Ａに記憶されたトーンマップデータを変更することが望ましくない場合がある。例えば、符号化されたトーンマップデータ９２は、例えば、ＤＶＤプレーヤのＭＰＥＧデコーダ等の特定のビューアで閲覧される際、最良の画像品質を提供するために最適化されている。そのような場合には、符号化されたトーンマップデータ９２は、データ構造１６のトーンマップ部１６Ａに記憶し、比率データ９６は、ＨＤＲデータ構造１６のＨＤＲ情報部１６Ｂに記憶される。データ構造１６から生成されたＨＤＲ画像の見た目に対する補正は、ＨＤＲ画像の再構築時、ＨＤＲ情報部１６Ｂを補正することによって成し得る。例えば、ＨＤＲ情報部１６Ｂのデータは、ＨＤＲ画像を処理可能なビューアによって補正する。
【００５３】
図５は、ＨＤＲ情報部１６Ｂのデータに事後補正を適用して、ＨＤＲ情報部１６Ｂの不可逆符号化に起因するアーティファクトを低減する方法１１０の作用を示すフローチャートである。方法１１０は、ＨＤＲ画像を処理可能なプロセッサ上で実行される。トーンマップデータ部１６Ａはブロック１１２において標準デコーダによって復号され、標準画像１９が生成される。復号されたトーンマップ情報は、ブロック１１４においてＨＤＲ情報部１６Ｂを補正するために用いられる。補正されたＨＤＲ情報はブロック１１６においてＨＤＲデコーダによって復号され、再構築されたＨＤＲ画像２１が生成される。
【００５４】
簡単な事例では、トーンマップデータ部１６Ａによって表現されたフル解像度画像の空間周波数の内容が、比率データ９６のものとほとんど同じである場合、補正された比率データは、以下の計算を実施することによって得ることができる。
【００５５】
【数２】
上式において、ＲＩＣＯＲＲＥＣＴＥＤは、補正されたＨＤＲ情報が基づくＲＩの補正された値である。ＲＩは、比率データ９６からの画素の比率であり、Ｌ（ＴＭ）は、トーンマップデータ９１からの画素の輝度であり、Ｌ（ＴＭＲ）は、ブロック７２で行われるのと同じ方法でダウンサンプリングされ、ダウンサンプリングされた比率データ９８を生成するトーンマップデータの対応する画素の輝度である。ＴＭ及びＴＭＲが同じ解像度を有するように、トーンマップデータは、ダウンサンプリングされ、比率画像ＲＩと同じように再度アップサンプリングし得る。
【００５６】
比率データ９６にある空間周波数は、全ての画像に対して、トーンマップデータ９１にある空間周波数と同じではないことから、この単純な補正は、常に適切であるとは限らない。従って、比率データ９６のＲＩの値と、Ｌ（ＴＭＲ）の対応する値との間の比率の分散を考慮する因子を補正関数に含むことが好ましい。この分散を考慮する１つの方法は、下式に基づき、補正された値ＲＩＣＯＲＲＥＣＴＥＤを生成することである。
【００５７】
【数３】
上式において、σは、比率データ９６のＲＩの値と、Ｌ（ＴＭＲ）の対応する値との間の比率の分散の大きさである。本発明の幾つかの実施形態において、σは、下式に基づき演算される。
【００５８】
【数４】
分散関数ｖａｒ（ｘ）は、近傍領域にある画素ｘの最大値と最小値との間の差異を、それら近傍領域にあるｘの平均値で除したもの、又は、近傍領域の中央に位置する画素のｘの値で除したものと定義し得る。例えば、分散は、対象とする画素を中心にした画素のブロック全体で算出し得る。σを計算する対象である近傍領域のサイズは、好適には、ブロック７２のダウンサンプリングのダウンサンプリング半径に等しい。
【００５９】
ブロック１１４によって提供される事後補正は、アーティファクトをもたらし得るため、補正の大きさの選択は、控えめであることが望ましい。例えば、ｖａｒ（Ｌ（ＴＭＲ））が、補正のために求められる誤差より大きい場合、σは、ゼロに設定し得る。誤差の大きさは、ブロック８０の比較によって決定され、データ構造１６に記憶し得る。また、０＜＝σ＜＝１を保証することも望ましい。σが、σ＞１である値を有すると、ＲＩＣＯＲＲＥＣＴＥＤの値が高くて望ましくない値になることがある。
【００６０】
ブロック８２、８３及び８４の事前補正をオプションとして行い、また、ＨＤＲ画像を閲覧する際、ブロック８３の補正を行わせ得る本発明の実施形態において、事前補正が行われたかどうか示すフラグをデータ構造１６に含むことが望ましい。フラグは、好適には、ＨＤＲ画像をサポートしない標準表示装置によってそれを無視し得るコメントフィールド又はアプリケーション拡張子フィールドに供給される。
【００６１】
ＨＤＲ表示装置は、従来の表示装置の全色領域外にある色を描写することも可能である。ＨＤＲ原画像データによって指定された色の高忠実度再生が可能なメカニズムを提供することが望ましい。強化された色を提供する１つの方法は、色情報を調整して、トーンマップ部１６Ａを符号化するために用いられるエンコーダ（例えば、ＪＰＥＧ又はＭＰＥＧエンコーダであってよい）によって効果的に操作し得る範囲外の原色成分を有する任意の色が、そのエンコーダによって操作し得る範囲に調整して戻されるようにすることである。比率データは、調整された色を正確に回復するように調整し得る。
【００６２】
強化された色を提供する１つの方法は、画像に一括不飽和を適用し、その間、トーンマップ部１６Ａを生成することである。画像の全ての色が、トーンマップ部１６Ａを符号化するために用いられるＪＰＥＧエンコーダや他のエンコーダによって効果的に操作し得る範囲内にあることを保証するために、不飽和の量を選択し得る。この方法は、負の原色成分を有する色を操作できることから、上述した方法より好ましい。負の原色成分は、幾つかのＨＤＲフォーマットで許容され、標準の全ＲＧＢ領域外の色を表現するために必要なことがある。不飽和処理は、復号化時、ＨＤＲビューアによって戻すことができる。
【００６３】
入力色飽和レベルは、以下のように定義し得る。
【００６４】
【数５】
上式において、Ｓは、飽和レベルであり、Ｒ、Ｇ及びＢは、それぞれ赤、緑及び青原色成分の値であり、Ｙは、全体輝度である。飽和レベルは、画像が原色成分に対する何らかの負の値を含む場合、１より大きい値を有する。
【００６５】
飽和レベルがゼロである場合、画像の追加処理は、不要である。飽和レベルがゼロでない場合、飽和レベルは、下式により修正し得る。
【００６６】
【数６】
上式において、α及びβは、パラメータであり、Ｓ’は、補正された飽和である。αパラメータは、符号化された色にどれくらいの飽和を維持するか示す。
【００６７】
飽和レベルの変更は、画像の各画素の原色成分に対する新しい値を導出することによって達成し得る。このことは、幾つかの実施形態において、下式に基づき行われる。
【００６８】
【数７】
及び
【００６９】
【数８】
及び
【００７０】
【数９】
上式において、Ｒ’、Ｇ’及びＢ’は、それぞれＲ、Ｇ及びＢの調整された値である。
【００７１】
尚、この変換によって、輝度Ｙは変わらない。変換前に最も小さかった原色成分は、変換後最も小さいままである。元の色値は、式（７）、（８）及び（９）を逆にすることによって回復し得る。例えば、ある画素に対して最も小さい値を有する原色成分が青であった場合、その画素の青チャネルに対する逆変換は、下式によって与えられる。
【００７２】
【数１０】
また、赤及び緑チャネルに対する逆変換は、それぞれ下式によって与えられる。
【００７３】
【数１１】
及び
【００７４】
【数１２】
＜例＞
多数のＨＤＲ画像を、上述したように、ＨＤＲデータ構造１６に記憶する。原画像を、ＨＤＲデータ構造１６から再構築されたＨＤＲ画像と比較する。１９９３年、マサチューセッツ州ケンブリッジ、ＭＩＴ出版部、ワトソン（Ａ．Ｂ．Ｗａｔｓｏｎ）監修のデジタル画像と人間の視覚において、ダリー（Ｓ．Ｄａｌｙ）“視覚差異予測子：画像忠実度の評価のためのアルゴリズム”に記載されているダリーの視覚差異予測子（ＶＤＰ）を用いて、再構築されたＨＤＲ画像の何パーセントの画素が、通常の閲覧条件の下で、ＨＤＲ原画像の対応する画素と異なるものであると人間によって知覚される可能性があるか（例えば、７５％より大きい確率を有するか）を評価した。ＶＤＰは、画像間の差異をいつ知覚し得るかについての良好な予測子であることが分かった。
【００７５】
最初の組の実験は、種々のトーンマッピング演算子を用いてトーンマップ部１６Ａを生成し、また、各トーンマップ演算子に対して、上述した補正方法のうちの１つに基づき、トーンマップ部１６Ａ又はＨＤＲ情報部１６Ｂのいずれかを補正する段階を含む。トーンマップ部１６Ａ及びＨＤＲ情報１６Ｂを、ＪＰＥＧ符号化を用いて、２つの品質レベル９０及び１００で各々符号化する。この組の実験結果を表１に示す。
【００７６】
表１のＶＤＰ値は、多数の画像全体で平均される。トーンマッピング演算子の選択は、ＨＤＲデータ構造１６から再構築し得るＨＤＲ画像の品質にかなりの影響を及ぼすことが分かる。これらの実験に用いられるトーンマッピング演算子のうち、バイラテラルフィルタは、平均的に最良の結果を提供し得る。
【００７７】
本発明の或る実施例は、本発明の方法をプロセッサに行わせるソフトウェア命令を実行するコンピュータプロセッサを含む。例えばコンピュータシステムの１つ又は複数のプロセッサが、プロセッサが利用可能なプログラムメモリ中のソフトウェア命令を実行することによって、図１〜５のいずれかの方法を実現し得る。本発明は、プログラムプロダクトの形態でも提供し得る。このプログラムプロダクトには、コンピュータプロセッサによって実行されると、本発明の方法をデータプロセッサに実行させる命令を含む一組のコンピュータ判読可能信号を保持する任意の媒体を含み得る。本発明によるプログラムプロダクトは、多種多様な形態のいずれかであってよい。プログラムプロダクトには、例えば、フロッピー（Ｒ）ディスク、ハードディスクを含む磁気データ記憶媒体、ＣＤ＿ＲＯＭ、ＤＶＤを含む光学データ記憶媒体、ＲＯＭ、フラッシュＲＡＭを含む電子データ記憶媒体等の物理的な媒体、又は、デジタル又はアナログ通信リンク等の伝送タイプの媒体を含み得る。命令は、オプションとして、圧縮及び／又は暗号化フォーマットのコンピュータ判読可能信号であってよい。
【００７８】
構成要素（例えば、ソフトウェアモジュール、プロセッサ、組立体、装置、回路等）が上記において言及される場合、他に規定されない限り、その構成要素についての言及（“手段”についての言及を含む）は、本発明の例示した代表的な実施形態における機能を実行する開示した構成と構造的には等価でない構成要素等、記載した構成要素の機能を実行する（即ち、機能的に等価な）任意の構成要素をその構成要素の等価物として含むものとして解釈される。
【００７９】
上記実施形態は、当業者には理解し得るように、本発明の思想又は範囲から逸脱することなく、種々の変更及び修正が可能である。本発明の範囲は、添付の特許請求の範囲によって定義される内容に基づき解釈される。
【技術分野】
【０００１】
本発明は、高ダイナミックレンジ画像データを復号化するための装置及び方法、表示用画像を処理可能なビューア、ならびに表示装置に関する。
【背景技術】
【０００２】
人間の視覚は、１：１０，０００までのコントラスト比を認識可能である。即ち、人は、あるシーンの幾つかの部分が、そのシーンの他の部分より１０，０００倍明るいシーンを取り入れ、そのシーンの最も明るい及び最も暗い部分双方の詳細を見ることができる。更に、人間の視覚は、更に６桁の大きさに渡って、その感度をより明るい又はより暗いシーンに順応させることができる。
【０００３】
ほとんどの従来のデジタル画像フォーマット（所謂、２４ビットフォーマット）は、画像の各画素の色及び輝度情報を記憶するために２４ビットまで用いる。例えば、画素の赤、緑及び青（ＲＧＢ）の各々の値は、１バイト（８ビット）で記憶し得る。そのようなフォーマットは、約２桁のオーダに渡る輝度変動しか表現できない（各バイトは、２５６の可能な値のうちの１つを記憶し得る）。デジタル画像（静止画像及び映像画像双方を含む）を表現するための多数の標準フォーマットが存在する。これらのフォーマットは、ＪＰＥＧ（Ｊｏｉｎｔ Ｐｈｏｔｏｇｒａｐｈｉｃ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）、ＭＰＥＧ（Ｍｏｔｉｏｎ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）、ＡＶＩ（Ａｕｄｉｏ Ｖｉｄｅｏ Ｉｎｔｅｒｌｅａｖｅ）、ＴＩＦＦ（Ｔａｇｇｅｄ Ｉｍａｇｅ Ｆｉｌｅ Ｆｏｒｍａｔ）、ＢＭＰ（ＢｉｔＭａｐ）、ＰＮＧ（Ｐｏｒｔａｂｌｅ Ｎｅｔｗｏｒｋ Ｇｒａｐｈｉｃｓ）、ＧＩＦ（Ｇｒａｐｈｉｃａｌ Ｉｎｔｅｒｃｈａｎｇｅ Ｆｏｒｍａｔ）等を含む。そのようなフォーマットは、最も普通に利用可能なタイプの電子表示装置によって再生し得るもの以上の画像情報を保持しようとしないため、“出力指定標準”と呼ばれることがある。最近まで、コンピュータ表示装置、テレビ、デジタル映画映写機等の表示装置は、１：１０００程度より良いコントラスト比を有する画像を正確に再生することが不可能であった。
【０００４】
譲渡人及び他者によって開発される表示装置技術は、高ダイナミックレンジ（ＨＤＲ）を有する画像を再生することが可能である。そのような表示装置は、従来の表示装置より現実の世界のシーンを更に忠実に表現する画像を再生し得る。将来利用可能になるこれらの表示装置及び他のＨＤＲ表示装置上でＨＤＲ画像を記憶し再生するためのフォーマットが必要である。
【０００５】
デジタルデータとしてＨＤＲ画像を記憶するための多数のフォーマットが、提案されている。これらのフォーマットには様々な不利な点がある。多数のこれらのフォーマットは、専用のソフトウェアだけを利用して閲覧し得る膨大な大きさの画像ファイルを生じる。デジタルカメラの製造業者には、自社開発のＲＡＷフォーマットを提供するものもある。これらのフォーマットは、データ記憶要求の点において、カメラ独特であり、また、過剰な傾向がある。
【発明の概要】
【発明が解決しようとする課題】
【０００６】
高ダイナミックレンジ画像を記憶し、交換し、再生するための便利な枠組みが必要である。特に、既存の画像ビューア技術と下位互換性があるような枠組みが必要である。ハードウェアベースの画像デコーダを有するＤＶＤプレーヤ等の従来の装置によって画像を再生する必要がある場合、特に下位互換性に対するニーズがある。
【課題を解決するための手段】
【０００７】
本発明の第１の態様は、高ダイナミックレンジ画像データを復号化するための装置である。当該装置は、トーンマップ部と高ダイナミックレンジ（ＨＤＲ）画像部とを含むデータ構造を受信する入力部と、前記トーンマップ部を復号化して第１の画像を生成するためのデコーダと、前記第１の画像をダウンサンプリングしてダウンサンプリングされた画像を生成し、前記第１の画像内における画素値と前記ダウンサンプリングされた画像内における対応する画素値との比率を判定して、該比率に基づく補正を前記ＨＤＲ画像部により表現される画像データ内の対応する画素に対して行うように構成された補正システム部と、を備える。
【０００８】
本発明の第２の態様は、表示用画像を処理可能なビューアである。当該ビューアは、トーンマップデータを復号化して第１の画像データを提供するためのデコーダと、前記第１の画像データをダウンサンプリングしてダウンサンプリングされた画像データを提供するための手段と、前記ダウンサンプリングされた画像データをアップサンプリングしてアップサンプリングされた画像データを提供するための手段と、前記アップサンプリングされた画像データと前記第１の画像データとの差に基づく比率画像データを補正して、補正された比率画像データを生成するための手段と、前記補正された比率画像データを前記第１の画像データに乗じることにより高ダイナミックレンジデータを提供するための手段と、前記高ダイナミックレンジデータを表示するための表示部と、を備える。
【０００９】
本発明の第３の態様は、表示装置である。当該表示装置は、初期ダイナミックレンジを有する高ダイナミックレンジ画像を表現するとともに、トーンマップ部と高ダイナミックレンジ情報部とを含むデータ構造を格納するデータ格納部であって、前記トーンマップ部が、前記画像を表現するトーンマップ情報を含むとともに、前記初期ダイナミックレンジより小さい低ダイナミックレンジを有し、前記高ダイナミックレンジ情報部が、前記トーンマップ部の値と前記高ダイナミックレンジ画像の対応する値との比率を記述する情報を含む、前記データ構造を格納するデータ格納部と、前記トーンマップ部を復号化して第１の画像データを生成し、該第１の画像データを前記比率を記述する情報に応じて修正して前記データ構造から高ダイナミックレンジ画像を再構築することにより、前記高ダイナミックレンジ画像を表現する画像データを生成するように構成されたプロセッサと、前記高ダイナミックレンジ画像を表示するための表示部と、を備える。
【００１０】
本発明の第４の態様は、トーンマップ部と高ダイナミックレンジ（ＨＤＲ）画像部とを含むデータ構造から高ダイナミックレンジ画像データを復号化するための方法である。当該方法は、前記トーンマップ部を復号化して第１の画像を生成すること、前記第１の画像をダウンサンプリングしてダウンサンプリングされた画像を生成すること、前記第１の画像内における画素値と前記ダウンサンプリングされた画像内における対応する画素値との比率を判定すること、前記比率に基づく補正を前記ＨＤＲ画像部により表現される画像データ内の対応する画素に対して行うこと、を備える。
【図面の簡単な説明】
【００１１】
【図１】本発明の一般的な実施形態によるＨＤＲ画像ファイルを生成するための方法を示すデータフロー図。
【図２】本発明によるＨＤＲ画像の符号化及び復号化方法の全体像を与えるフローチャート。
【図３】本発明の１つの具体的な実施形態によるＨＤＲ画像ファイルを生成するための方法を示すデータフロー図。
【図４】圧縮及び／又はダウンサンプリングに起因するアーティファクトの補正を行う本発明の幾つかの実施形態による方法を示すフローチャート。
【図５】ＨＤＲ画像の再構築時の圧縮及び／又はダウンサンプリングに起因するアーティファクトの補正を行う本発明の一実施形態による方法を示すフローチャート。
【発明を実施するための形態】
【００１２】
以下、本発明の実施形態について説明する。
本発明の一態様は、ＨＤＲ画像を表現するためのデータ構造（ＨＤＲデータ構造）を提供する。好適な実施形態において、ＨＤＲデータ構造によって、標準画像閲覧ソフトウェアを用いて、標準ダイナミックレンジモードで画像を閲覧でき、また、ＨＤＲビューアや適切なＨＤＲ表示装置を用いて、同じ画像の高ダイナミックレンジバージョンを高ダイナミックレンジモードで閲覧し得る。
【００１３】
図１は、ＨＤＲデータ構造１６を生成し、また、ＨＤＲデータ構造１６によって表される画像を閲覧するための本発明によるシステム１０を示す。図２は、ＨＤＲデータ構造を生成するためのシステム１０によって行われる方法３０並びにＨＤＲデータ構造１６におけるデータからの画像を表示するための他の選択肢としての方法３１Ａ及び３１Ｂを示す。
【００１４】
システム１０は、ＨＤＲ原画像データ１２に基づき、ＨＤＲ画像データ構造１６を生成するためのエンコーダ１４を含む。データ構造１６は、標準デコーダ１８によって復号して標準ダイナミックレンジ画像１９を提供し得る。本発明の幾つかの実施形態において、標準デコーダ１８は、“従来の”ハードウェアデコーダ、又は適切な画像ビューアソフトウェア等のソフトウェアベースのデコーダを含む。データ構造１６は、ＨＤＲデコーダ２０によって復号して、再構築されたＨＤＲ画像２１を生成し得る。
【００１５】
方法３０は、ＨＤＲ画像データ１２を取り込むことによって、ブロック３２で始まる。ＨＤＲ画像データ１２は、画像の画素の輝度を直接又は間接的に指定する情報を含む。ＨＤＲ画像データ１２は、任意の適切なフォーマットであってよく、また、適切なＨＤＲカメラを利用して取り込んだり（複数の露出を組み合わせることによって可能）、又は、コンピュータで直接描画したりできる。ＨＤＲ画像データ１２の供給源は、本発明を実施する上で重要ではない。
【００１６】
また、方法３０によって、ＨＤＲ画像データ１２に対応するトーンマップデータ１５が得られる（ブロック３４）。トーンマップデータ１５は、ＨＤＲ画像１２の画像の類似点を表現するが、ＨＤＲ画像データ１２より小さいダイナミックレンジを有する。トーンマップデータ１５は、ライン１３によって示すように、ＨＤＲ画像データ１２から生成し得る。あるいは、いずれか他の方法では、ＨＤＲ画像データ１２と共通の供給源を有するデータから導出し得る。トーンマップデータ１５がＨＤＲ画像データ１２から導出されない場合、トーンマップデータ１５及びＨＤＲ画像データ１２が得られる順番（即ち、ブロック３２及び３４の順番）は、重要ではない。
【００１７】
エンコーダ１４は、データ構造１６を生成する。データ構造１６は、トーンマップデータ１５に基づくトーンマップ部１６Ａと、ＨＤＲ情報部１６Ｂとを含み、ＨＤＲ情報部１６Ｂは、ＨＤＲデコーダ２０によってトーンマップ部１６Ａからのデータと組み合わせて、ＨＤＲ画像データ１２又はそれに極めて近いものを再構築し得る情報を含む。方法３０は、トーンマップデータ１５（即ち、データ構造１６のトーンマップ部１６Ａから再構築されたトーンマップデータ）とＨＤＲ画像データ１２とを比較することによって、ＨＤＲ情報部を生成する（ブロック３６）。ブロック３８において、方法３０は、トーンマップ部１６Ａ及びＨＤＲ情報部１６Ｂをデータ構造１６に記憶する。
【００１８】
本発明の好適な実施形態において、データ構造１６には、標準デコーダによって読み出し低いダイナミックレンジ（ＬＤＲ）画像を生成し得るフォーマットがある。標準デコーダ１８は、復号化方法３１Ａを実現し得る。標準デコーダ１８は、トーンマップ部１６Ａを検索し、トーンマップ部１６Ａによって表現された画像を表示することによって、標準ＬＤＲ画像１９を生成する（ブロック３９）。標準デコーダは、ＨＤＲ情報部１６Ｂを無視し得る。
【００１９】
また、データ構造１６は、ＨＤＲデコーダ２０によって読み出し得る。ＨＤＲデコーダ２０は、復号化方法３１Ｂを実現し、トーンマップ部１６Ａ及びＨＤＲ情報部１６Ｂ双方からの情報に基づき、ＨＤＲ画像２１を生成する。方法３１Ｂは、ブロック４０において、データ構造１６のトーンマップ部１６Ａ及びＨＤＲ情報部１６Ｂからデータを検索する。ブロック４２において、再構築されたＨＤＲ画像は、ＨＤＲ情報部１６ＢからのＨＤＲ情報によりトーンマップ部１６Ａから抽出されるトーンマップを修正することによって生成される。再構築されたＨＤＲ画像は、ブロック４４において表示される。
【００２０】
トーンマップ部１６Ａは、任意の適切なフォーマットであってよい。例えば、トーンマップ部１６Ａは、ＪＰＥＧ、ＭＰＥＧ、ＡＶＩ、ＴＩＦＦ、ＢＭＰ、ＧＩＦ又はいずれか他の適切なフォーマットであってよい。トーンマップ部１６Ａは、ＨＤＲ原画像１２のものより小さいダイナミックレンジの画像における画素の輝度を直接又は間接的に指定する情報を含む。ＨＤＲ画像データ１２が、色画像を指定する場合、トーンマップ部１６Ａは、好適には、画像中の画素の色を指定する情報を含む。
【００２１】
本発明の幾つかの実施形態において、データ構造１６は、ＪＰＥＧファイル交換フォーマット（ＪＦＩＦ）によりフォーマット化されたファイルを含む。そのような実施形態において、トーンマップ部１６Ａは、ＪＦＩＦファイルの画像部に含み得る。また、ＨＤＲ情報部１６Ｂは、ＪＦＩＦファイルの１つ又は複数のアプリケーション拡張子部及び／又はＪＦＩＦファイルの１つ又は複数のコメント部に記憶し得る。そのような実施形態において、任意の標準ＪＰＥＧビューアは、データ構造１６を開くことができ、また、ＨＤＲの原データ１２又は再構築されたＨＤＲ画像２１のものより小さいダイナミックレンジでトーンマップ部１６Ａに供給された画像を表示し得る。
【００２２】
標準ＪＰＥＧビューアは、サポートしないＪＦＩＦファイルのアプリケーション拡張子を無視する。従って、ＨＤＲ情報部１６Ｂの存在は、任意の標準ＪＰＥＧビューアを用いたデータ構造１６からの画像の閲覧に対して、ほとんど影響を及ぼさない。ＨＤＲ情報１６ＢがＪＦＩＦファイルのコメントフィールドにある場合、ＪＦＩＦファイルのコメントフィールドを読もうとするアプリケーションもあることから、ＨＤＲ情報１６Ｂは、ＡＳＣＩＩテキストとして符号化するのが好ましい。そのようなアプリケーションは、コメントフィールドがテキストだけを含むと予想し、予想外のタイプのデータを含むコメントフィールドを開こうとする際に、不適切に動作することがある。バージョン１．２は、ＪＦＩＦの１つのバージョンである。ＪＦＩＦバージョン１．２は、ＩＳＯ＿ＤＩＳ１０９１８−１の付録Ｂに記載されており、本明細書において引用・参照する。
【００２３】
本発明の幾つかの実施形態において、データ構造１６は、ＭＰＥＧフォーマットのファイルを含む。そのような実施形態において、トーンマップ部１６Ａは、ＭＰＥＧファイルの画像部に含み得る。また、ＨＤＲ情報部１６Ｂは、ＭＰＥＧファイルの１つ又は複数のアプリケーション拡張子及び／又はＭＰＥＧファイルの１つ又は複数のコメント部に記憶し得る。そのような実施形態において、任意の標準ＭＰＥＧビューアは、データ構造１６を開くことができ、また、ＨＤＲの原データ１２又は再構築されたＨＤＲ画像２１のものより小さいダイナミックレンジでトーンマップ部１６Ａに供給された画像を表示し得る。１つのＨＤＲ情報部１６Ｂは、ＭＰＥＧ映像ファイルの各フレームに関連付け得る。あるいは、キーフレームを用いるＭＰＥＧのバージョンの場合、ＨＤＲ情報部１６Ｂは、キーフレームだけに関連付け得る。従来のＭＰＥＧキーフレーム補間手法は、キーフレーム間フレーム（即ち、キーフレーム間にあるフレーム）を生成するために用い得る。
【００２４】
標準ＭＰＥＧビューアは、サポートしないＭＰＥＧファイルのチャネルを無視する。従って、ＨＤＲ情報部１６Ｂの存在は、任意の標準ＭＰＥＧビューアを用いたデータ構造１６からの画像の閲覧に対して、ほとんど影響を及ぼさない。ＨＤＲ情報１６Ｂが、ＭＰＥＧファイルのコメントフィールドにある場合、ＭＰＥＧファイルのコメントフィールドを読もうとするアプリケーションもあることから、ＨＤＲ情報１６Ｂは、ＡＳＣＩＩテキストとして符号化するのが好ましい。そのようなアプリケーションは、コメントフィールドがテキストだけを含むと予想し、予想外のタイプのデータを含むコメントフィールドを開こうとする際に、不適切に動作することがある。
【００２５】
トーンマップ部１６Ａは、何らかの適切な方法で、トーンマップデータ１５から生成し得る。例えば、トーンマップ部１６Ａは、適切なトーンマッピング演算子を用いて生成し得る。トーンマッピング演算子は、好適には、以下の特性を有する。即ち、
・ＨＤＲの原入力（即ち、ＨＤＲ原画像データ１２）が、標準の動的な解像度（通常、２４ビット）の出力領域に円滑にマッピングされる。
【００２６】
・トーンマッピング演算子の出力の成分が、０又は２５５の値でクランプされない。
・色相が、各画素に対して維持される。
・トーンマッピング演算子が飽和値を変える場合、可逆的関数によって記述し得る軽度の変更のみを行う。
【００２７】
本発明者らは、デュラン（Ｄｕｒａｎｄ）及びドロシー（Ｄｏｒｓｅｙ）による“高ダイナミックレンジ画像の表示のための高速バイラテラルフィルタ処理”、グラフィックスに関するＡＣＭ議事録、２１、３、２４９−２５６（２００２）に記載されたバイラテラルフィルタが適切なトーンマッピング演算子を提供することを確認している。トーンマップ部１６Ａは、ＪＰＥＧエンコーダ又はＭＰＥＧエンコーダ等の適切なエンコーダを用いて、符号化し得る。
【００２８】
トーンマップ部１６Ａは、何らかの適切な方法で、画素色値を表現し得る。例えば、画素色値は、ＲＧＢ（赤、緑、青）値、ＣＭＹＫ（シアン、マゼンタ、黄、黒）値、ＹＣｂＣｒ（輝度及びクロミナンス）値等として表現し得る。トーンマップ部１６Ａのデータは、任意の適切な圧縮方式を用いて圧縮し得る。例えば、トーンマップ部１６Ａのデータは、ＪＰＥＧ又はＭＰＥＧ標準と互換性がある方式で圧縮し得る。
【００２９】
本発明の幾つかの実施形態において、ＨＤＲ情報部１６Ｂは、個々の画素に対してトーンマップ部１６Ａによって指定された値と、同じ画素に対してＨＤＲ原画像１２によって指定された値との間の比率を含む。そのような実施形態において、ＨＤＲ情報１６Ｂは、ＨＤＲ原画像１２によって指定された値をトーンマップ部１６Ａによって指定された対応する値で除算することによって生成し得る。この演算により生じるデータは、ＨＤＲ情報部１６Ｂとして記憶し得る。ＨＤＲ情報部１６Ｂのデータ値が表現される精度を選択して、許容可能な品質を再構築されたＨＤＲ画像に提供し得る。本発明の幾つかの実施形態において、ＨＤＲ情報部１６Ｂのデータ値の各々は、圧縮に先立って、１バイト（８ビット）によって表現される。
【００３０】
本発明の幾つかの実施形態において、ＨＤＲ情報部１６Ｂは、再構築されたＨＤＲ画像２１の画素の輝度と、対応する画素に対してトーンマップ情報１６Ａによって指定された輝度との間の関係を指定する。そのような実施形態において、ＨＤＲ情報部１６Ｂは、色情報を含む必要がない。
【００３１】
ＨＤＲ情報部１６Ｂには、画像内の領域又は画素に対してＨＤＲ原画像１２によって指定された輝度と、対応する領域又は画素に対してトーンマップ部１６Ａによって指定された輝度との比率を含み得る。そのような実施形態において、色情報は、トーンマップ部１６Ａによって保持される。そのような実施形態において、ＨＤＲ部１６Ｂは、階調画像と同じ構造を有し得る。例えば、ＨＤＲデータ構造１６がＪＦＩＦファイルを含む場合、ＨＤＲ部１６Ｂは、ＪＰＥＧ階調画像として符号化し得る。ＨＤＲデータ構造１６がＭＰＥＧファイルを含む場合、ＨＤＲ部１６Ｂは、ＭＰＥＧ階調画像として符号化し得る。
【００３２】
図３は、本発明の一実施形態によるＨＤＲエンコーダ５０を示す。なお、ここでは、データ構造１６のＨＤＲ部１６Ｂを作るために用いられるＨＤＲ情報は、ＨＤＲ画像１２の画素値と、トーンマップ部１６Ａによって指定された対応する値との比率を含む。エンコーダ５０は、ＨＤＲ画像データ１２を受信する。エンコーダ５０は、破線１３及びトーンマップ生成器１７によって示すように、ＨＤＲ画像データ１２からトーンマップデータ１５を抽出することによって、又は、破線１３Ａによって示すように、他の何らかの供給源からトーンマップデータ１５を受信することによって、トーンマップデータ１５を取得する。トーンマップ生成器１７は、好適には、色又は輝度値をクリッピングせず、トーンマップデータ１５における各画素に対して色及び輝度比率を維持する。
【００３３】
例示した実施形態において、エンコーダ５０は、標準エンコーダ５２を含む。標準エンコーダは、トーンマップデータ１５を符号化して、符号化されたトーンマップデータ１５Ａを生成する。符号化されたトーンマップデータ１５Ａは、標準ビューアで読み出し得る。例えば、標準エンコーダ５２は、ＪＰＥＧ又はＭＰＥＧビューアによって読み出し得るＪＰＥＧ又はＭＰＥＧ符号化トーンマップデータとしてトーンマップデータ１５を符号化するエンコーダを含み得る。符号化されたトーンマップデータは、ＨＤＲデータ構造１６のトーンマップデータ部１６Ａに保存される。
【００３４】
本発明の幾つかの実施形態において、エンコーダ５０は、符号化されたトーンマップデータ１５Ａを外部の何らかの供給源から受信する。そのような実施形態において、エンコーダ５０は、標準エンコーダ５２を組み込む必要がない。
【００３５】
符号化されたトーンマップデータ１５Ａは、デコーダ５４によって復号され、再構築されたトーンマップデータ５５を生成する。ＨＤＲ画像データ１２は、除算器５６によって、再構築されたトーンマップデータ５５で除算され、比率データ５７を生成する。比率データ５７は、オプションとして、データ圧縮器５８によって圧縮され、ＨＤＲ情報１６Ｂを生成する。データ圧縮器５８は、ＪＰＥＧ又はＭＰＥＧエンコーダを便宜的に含み得る。本発明の幾つかの実施形態において、同じＪＰＥＧ又はＭＰＥＧエンコーダを用いて、ＨＤＲデータ構造１６のトーンマップ部１６Ａ及びＨＤＲ情報部１６Ｂ双方を符号化する。
【００３６】
本発明の幾つかの実施形態において、比率データ５７は、ＨＤＲ画像データ１２の値と、トーンマップデータ１５（又はトーンマップ部１６Ａ）によって指定された対応する値との比率の何らかの関数を含む。例えば、比率データ５７には、そのような比率の対数を指定する情報を含み得る。
【００３７】
本発明の幾つかの他の実施形態において、トーンマップデータ１５は、ライン５３によって示すように、除算器５６に直接供給される。そのような実施形態では、デコーダ５４は必要ない。トーンマップ部１６Ａが、ＪＰＥＧ又はＭＰＥＧ符号化等の不可逆（ｌｏｓｓｙ）アルゴリズムを用いて符号化される場合、ＨＤＲ情報部１６Ｂを、トーンマップデータ１５に基づかせる代わりに、再構築されたトーンマップデータ５５に基づかせることが好ましい。再構築されたトーンマップデータ５５にＨＤＲ情報部１６Ｂを基づかせると、トーンマップ情報部１６Ａが、不可逆符号化（ｌｏｓｓｙ ｅｎｃｏｄｉｎｇ）処理によって符号化される場合、ＨＤＲデータ構造１６からＨＤＲ画像データ１２を更に正確に再構築できる。トーンマップデータ１５よりもむしろトーンマップ情報部１６Ａを用いて、ＨＤＲ画像２１（図１）を再構築する。
【００３８】
圧縮器５８は、任意の数の形態をとり得る。本発明の幾つかの実施形態において、圧縮器５８は、１つ又は複数の以下の動作を行う。即ち、
・比率データ５７のダウンサンプリング。
・比率データ５７の圧縮。
【００３９】
圧縮には任意の適切な形態を用い得る。本発明の現在の好適な実施形態において、圧縮器５８は、比率データ５７をダウンサンプリングすると共にダウンサンプリングされた比率データを符号化する。比率データ５７がダウンサンプリングされる場合、ＨＤＲ情報部１６Ｂは、比率データ５７又はトーンマップデータ１５の画像サイズより小さい画像サイズを有する（即ち、ＨＤＲ情報部１６Ｂは、比率データ５７又はトーンマップデータ１５が値を指定する数の画素より少ない数の画素に対する値を指定する）。そのような場合、ＨＤＲ情報部１６Ｂは、トーンマップデータ１５より低い空間解像度を有する。
【００４０】
比率データ５７がダウンサンプリング又は他の不可逆圧縮手順を受ける本発明の実施形態において、ＨＤＲ情報１６Ｂには、ＨＤＲ画像データ１２を正確に再構築するために必要な全ての細目が欠如することがある。比率データ５７の不可逆圧縮に起因する歪は、トーンマップ部１６Ａ及び／又はＨＤＲ情報部１６Ｂに補正を適用することによって少なくとも部分的に補正し得る。
【００４１】
図４は、トーンマップ部１６Ａ又はＨＤＲ情報部１６Ｂのデータに補正を適用して、トーンマップ部１６Ａ及び／又はＨＤＲ情報部１６Ｂの不可逆符号化に起因するアーティファクトを低減する方法６０の作用を示すフローチャートである。方法６０は、ブロック６２及び６４において、ＨＤＲ画像データ９０及びトーンマップデータ９１を取り込む。ＨＤＲ画像データ９０及びトーンマップデータ９１は、上述した方法を含む何らかの適切な方法で得られる。幾つかの実施形態において、トーンマップデータ９１は、矢印６５によって示すように、ＨＤＲ画像データ９０から抽出される。
【００４２】
ブロック６６において、トーンマップデータ９１が、符号化され、符号化されたトーンマップデータ９２を生成する。本発明の幾つかの実施形態において、符号化ブロック６６は、ＪＰＥＧ又はＭＰＥＧ符号化を含む。その後、ブロック６８において、符号化されたトーンマップデータ９２が復号されて、再構築されたトーンマップデータ９４が生成される。再構築ブロック６８は、ブロック６６がＪＰＥＧ又はＭＰＥＧ符号化を含む場合、符号化されたトーンマップデータ９２をＪＰＥＧ又はＭＰＥＧデコーダ等の適切なデコーダに渡す。
【００４３】
ブロック７０は、入力として、ＨＤＲ画像データ９０からの値（第１値）及び再構築されたトーンマップデータ９４からの対応する値（第２値）をとる関数を適用することによって、比率データ９６を生成する。この関数は、第１値を第２値で除算する段階又はその逆の段階を含む。本発明の簡単な実施形態では、比率データ９６は、下式によって与えられる画像中の各画素に対する値ＲＩを含む。
【００４４】
【数１】
上式において、（ｘ，ｙ）は、画素を特定する座標であり、Ｌは、画素のデータから画素の輝度を返す関数であり、ＨＤＲ（ｘ，ｙ）は、座標（ｘ，ｙ）のＨＤＲ画像データ９０の画素データであり、ＴＭ（ｘ，ｙ）は、座標（ｘ，ｙ）の画素に対する再構築されたトーンマップデータ９４（又は、トーンマップデータ９１）の画素データである。幾つかの実施形態において、比率データは、ＲＩの対数、ＲＩの平方根、又はＲＩの他の関数を記憶する。
【００４５】
ブロック７２及び７４は、比率データ９６を符号化する。本例の実施形態において、この符号化は、ブロック７２において比率データ９６をダウンサンプリングして、ダウンサンプリングされた比率データ９８を生成すること、次に、そのダウンサンプリングされた比率データ９８を圧縮して、符号化された比率データ１００を生成すること、を含む。ブロック７２で行われるダウンサンプリングの量は、ＨＤＲ画像部１６Ｂを小さくすること、及びＨＤＲデータ構造１６から再構築されたＨＤＲ画像に最も高い忠実度でＨＤＲ画像データ９０を再生させること、の競合する目標に基づき選択し得る。本発明の幾つかの実施形態において、比率データ９６は、ダウンサンプリングされた比率データ９８が比率データ９６よりも１／４乃至１／１５の範囲だけ少ない画素を有するように、充分にダウンサンプリングされる。
【００４６】
例えば、ダウンサンプリングは、ｅ−（ｘ＾２／Ｒ＾２）の重み付け公式に従うガウスのフィルタカーネル（Ｇａｕｓｓｉａｎ ｆｉｌｔｅｒ ｋｅｒｎｅｌ）を用いて行ない得る。なお、式中、ｘは、入力画像の出力画素の中心からの距離であり、Ｒは、ダウンサンプリング半径である。ダウンサンプリング半径は、寄与する入力画素の重みの合計が出力画素の合計値のかなりの部分になる領域と定義し得る。
【００４７】
任意の適切な形態のデータ圧縮がブロック７４で行われる。本発明の幾つかの実施形態において、ブロック７４では、ＪＰＥＧ符号化を行う。本発明の他の実施形態において、ブロック７４では、ＭＰＥＧ符号化を行う。
【００４８】
ブロック７６において、再構築された比率データ１０２は、符号化された比率データ１００を復号することによって生成される。再構築された比率データ１０２は、ブロック７４及び７６におけるデータ欠落のために、通常、比率データ９６と同じではない。
【００４９】
ブロック７８において、再構築されたＨＤＲ画像データ１０４は、ブロック７０で比率データに適用された関数の逆関数を再構築された比率データ１０２に適用することによって、そして、各画素に対して、再構築されたトーンマップデータ９４の画素の輝度にその結果を乗ずることによって生成される。例えば、比率データ９６が、式（１）において定義される値ＲＩを記憶する場合、再構築されたＨＤＲ画像データ１０４は、再構築されたトーンマップデータ９４の各画素の輝度に再構築された比率データ１０２からの対応するＲＩの値を乗ずることによって得ることができる。例えば、比率データが、自然対数値Ｉｎ（ＲＩ）を記憶する場合、再構築されたＨＤＲ画像データ１０４は、自然対数の底であるｅを再構築された比率データ１０２の値で累乗することによって、そして、その結果に再構築されたトーンマップデータ９４の各画素の輝度を乗ずることによって得ることができる。
【００５０】
再構築された比率データ１０２が元の比率データ９６と同じではないため、さらには、通常あまり重要ではないが、比率データ９６の丸め誤差（ｒｏｕｎｄｉｎｇ ｅｒｒｏｒ）のために、再構築されたＨＤＲ画像データ１０４はＨＤＲ原画像データ９０とは異なる。オプションとして、ブロック８０は、再構築されたＨＤＲ画像データ１０４とＨＤＲ原画像データ９０とを比較して、何らかの補正が必要かどうかを判断し、また、その補正をどのように行うかを決定する。補正は、トーンマップ部１６Ａのデータを補正することによって、及び／又はＨＤＲ情報部１６Ｂのデータを補正することによって行ない得る。幾つかの方法は、単に、これら補正の一方又は他方を行う。
【００５１】
ブロック８２では、補正されたトーンマップデータ１０６を取得する。補正されたトーンマップデータ１０６は、ＨＤＲ原画像データ９０を再構築された比率データ１０２で除算することによって得ることができる。そして、補正されたトーンマップデータ１０６は、必要に応じて、ブロック８３によって符号化され、ブロック８４においてＨＤＲデータ構造１６のトーンマップデータ部１６Ａとして記憶される。この事前補正は、再構築された比率データ１０２が利用可能になった後は、いつでも実行し得る。多くの目的の場合、この事前補正は、従来の画像ビューアでトーンマップデータ部１６Ａを閲覧することによって見ることができる画像を大幅に劣化させることはない。この補正は、この補正が無い状態の場合より、トーンマップ部１６Ａによって表現された画像を若干鮮明にする傾向にある。再構築されたＨＤＲ画像データ１０４は、ブロック８６においてＨＤＲデータ構造１６のＨＤＲ情報部１６Ｂとして記憶し得る。
【００５２】
トーンマップ部１６Ａに記憶されたトーンマップデータを変更することが望ましくない場合がある。例えば、符号化されたトーンマップデータ９２は、例えば、ＤＶＤプレーヤのＭＰＥＧデコーダ等の特定のビューアで閲覧される際、最良の画像品質を提供するために最適化されている。そのような場合には、符号化されたトーンマップデータ９２は、データ構造１６のトーンマップ部１６Ａに記憶し、比率データ９６は、ＨＤＲデータ構造１６のＨＤＲ情報部１６Ｂに記憶される。データ構造１６から生成されたＨＤＲ画像の見た目に対する補正は、ＨＤＲ画像の再構築時、ＨＤＲ情報部１６Ｂを補正することによって成し得る。例えば、ＨＤＲ情報部１６Ｂのデータは、ＨＤＲ画像を処理可能なビューアによって補正する。
【００５３】
図５は、ＨＤＲ情報部１６Ｂのデータに事後補正を適用して、ＨＤＲ情報部１６Ｂの不可逆符号化に起因するアーティファクトを低減する方法１１０の作用を示すフローチャートである。方法１１０は、ＨＤＲ画像を処理可能なプロセッサ上で実行される。トーンマップデータ部１６Ａはブロック１１２において標準デコーダによって復号され、標準画像１９が生成される。復号されたトーンマップ情報は、ブロック１１４においてＨＤＲ情報部１６Ｂを補正するために用いられる。補正されたＨＤＲ情報はブロック１１６においてＨＤＲデコーダによって復号され、再構築されたＨＤＲ画像２１が生成される。
【００５４】
簡単な事例では、トーンマップデータ部１６Ａによって表現されたフル解像度画像の空間周波数の内容が、比率データ９６のものとほとんど同じである場合、補正された比率データは、以下の計算を実施することによって得ることができる。
【００５５】
【数２】
上式において、ＲＩＣＯＲＲＥＣＴＥＤは、補正されたＨＤＲ情報が基づくＲＩの補正された値である。ＲＩは、比率データ９６からの画素の比率であり、Ｌ（ＴＭ）は、トーンマップデータ９１からの画素の輝度であり、Ｌ（ＴＭＲ）は、ブロック７２で行われるのと同じ方法でダウンサンプリングされ、ダウンサンプリングされた比率データ９８を生成するトーンマップデータの対応する画素の輝度である。ＴＭ及びＴＭＲが同じ解像度を有するように、トーンマップデータは、ダウンサンプリングされ、比率画像ＲＩと同じように再度アップサンプリングし得る。
【００５６】
比率データ９６にある空間周波数は、全ての画像に対して、トーンマップデータ９１にある空間周波数と同じではないことから、この単純な補正は、常に適切であるとは限らない。従って、比率データ９６のＲＩの値と、Ｌ（ＴＭＲ）の対応する値との間の比率の分散を考慮する因子を補正関数に含むことが好ましい。この分散を考慮する１つの方法は、下式に基づき、補正された値ＲＩＣＯＲＲＥＣＴＥＤを生成することである。
【００５７】
【数３】
上式において、σは、比率データ９６のＲＩの値と、Ｌ（ＴＭＲ）の対応する値との間の比率の分散の大きさである。本発明の幾つかの実施形態において、σは、下式に基づき演算される。
【００５８】
【数４】
分散関数ｖａｒ（ｘ）は、近傍領域にある画素ｘの最大値と最小値との間の差異を、それら近傍領域にあるｘの平均値で除したもの、又は、近傍領域の中央に位置する画素のｘの値で除したものと定義し得る。例えば、分散は、対象とする画素を中心にした画素のブロック全体で算出し得る。σを計算する対象である近傍領域のサイズは、好適には、ブロック７２のダウンサンプリングのダウンサンプリング半径に等しい。
【００５９】
ブロック１１４によって提供される事後補正は、アーティファクトをもたらし得るため、補正の大きさの選択は、控えめであることが望ましい。例えば、ｖａｒ（Ｌ（ＴＭＲ））が、補正のために求められる誤差より大きい場合、σは、ゼロに設定し得る。誤差の大きさは、ブロック８０の比較によって決定され、データ構造１６に記憶し得る。また、０＜＝σ＜＝１を保証することも望ましい。σが、σ＞１である値を有すると、ＲＩＣＯＲＲＥＣＴＥＤの値が高くて望ましくない値になることがある。
【００６０】
ブロック８２、８３及び８４の事前補正をオプションとして行い、また、ＨＤＲ画像を閲覧する際、ブロック８３の補正を行わせ得る本発明の実施形態において、事前補正が行われたかどうか示すフラグをデータ構造１６に含むことが望ましい。フラグは、好適には、ＨＤＲ画像をサポートしない標準表示装置によってそれを無視し得るコメントフィールド又はアプリケーション拡張子フィールドに供給される。
【００６１】
ＨＤＲ表示装置は、従来の表示装置の全色領域外にある色を描写することも可能である。ＨＤＲ原画像データによって指定された色の高忠実度再生が可能なメカニズムを提供することが望ましい。強化された色を提供する１つの方法は、色情報を調整して、トーンマップ部１６Ａを符号化するために用いられるエンコーダ（例えば、ＪＰＥＧ又はＭＰＥＧエンコーダであってよい）によって効果的に操作し得る範囲外の原色成分を有する任意の色が、そのエンコーダによって操作し得る範囲に調整して戻されるようにすることである。比率データは、調整された色を正確に回復するように調整し得る。
【００６２】
強化された色を提供する１つの方法は、画像に一括不飽和を適用し、その間、トーンマップ部１６Ａを生成することである。画像の全ての色が、トーンマップ部１６Ａを符号化するために用いられるＪＰＥＧエンコーダや他のエンコーダによって効果的に操作し得る範囲内にあることを保証するために、不飽和の量を選択し得る。この方法は、負の原色成分を有する色を操作できることから、上述した方法より好ましい。負の原色成分は、幾つかのＨＤＲフォーマットで許容され、標準の全ＲＧＢ領域外の色を表現するために必要なことがある。不飽和処理は、復号化時、ＨＤＲビューアによって戻すことができる。
【００６３】
入力色飽和レベルは、以下のように定義し得る。
【００６４】
【数５】
上式において、Ｓは、飽和レベルであり、Ｒ、Ｇ及びＢは、それぞれ赤、緑及び青原色成分の値であり、Ｙは、全体輝度である。飽和レベルは、画像が原色成分に対する何らかの負の値を含む場合、１より大きい値を有する。
【００６５】
飽和レベルがゼロである場合、画像の追加処理は、不要である。飽和レベルがゼロでない場合、飽和レベルは、下式により修正し得る。
【００６６】
【数６】
上式において、α及びβは、パラメータであり、Ｓ’は、補正された飽和である。αパラメータは、符号化された色にどれくらいの飽和を維持するか示す。
【００６７】
飽和レベルの変更は、画像の各画素の原色成分に対する新しい値を導出することによって達成し得る。このことは、幾つかの実施形態において、下式に基づき行われる。
【００６８】
【数７】
及び
【００６９】
【数８】
及び
【００７０】
【数９】
上式において、Ｒ’、Ｇ’及びＢ’は、それぞれＲ、Ｇ及びＢの調整された値である。
【００７１】
尚、この変換によって、輝度Ｙは変わらない。変換前に最も小さかった原色成分は、変換後最も小さいままである。元の色値は、式（７）、（８）及び（９）を逆にすることによって回復し得る。例えば、ある画素に対して最も小さい値を有する原色成分が青であった場合、その画素の青チャネルに対する逆変換は、下式によって与えられる。
【００７２】
【数１０】
また、赤及び緑チャネルに対する逆変換は、それぞれ下式によって与えられる。
【００７３】
【数１１】
及び
【００７４】
【数１２】
＜例＞
多数のＨＤＲ画像を、上述したように、ＨＤＲデータ構造１６に記憶する。原画像を、ＨＤＲデータ構造１６から再構築されたＨＤＲ画像と比較する。１９９３年、マサチューセッツ州ケンブリッジ、ＭＩＴ出版部、ワトソン（Ａ．Ｂ．Ｗａｔｓｏｎ）監修のデジタル画像と人間の視覚において、ダリー（Ｓ．Ｄａｌｙ）“視覚差異予測子：画像忠実度の評価のためのアルゴリズム”に記載されているダリーの視覚差異予測子（ＶＤＰ）を用いて、再構築されたＨＤＲ画像の何パーセントの画素が、通常の閲覧条件の下で、ＨＤＲ原画像の対応する画素と異なるものであると人間によって知覚される可能性があるか（例えば、７５％より大きい確率を有するか）を評価した。ＶＤＰは、画像間の差異をいつ知覚し得るかについての良好な予測子であることが分かった。
【００７５】
最初の組の実験は、種々のトーンマッピング演算子を用いてトーンマップ部１６Ａを生成し、また、各トーンマップ演算子に対して、上述した補正方法のうちの１つに基づき、トーンマップ部１６Ａ又はＨＤＲ情報部１６Ｂのいずれかを補正する段階を含む。トーンマップ部１６Ａ及びＨＤＲ情報１６Ｂを、ＪＰＥＧ符号化を用いて、２つの品質レベル９０及び１００で各々符号化する。この組の実験結果を表１に示す。
【００７６】
表１のＶＤＰ値は、多数の画像全体で平均される。トーンマッピング演算子の選択は、ＨＤＲデータ構造１６から再構築し得るＨＤＲ画像の品質にかなりの影響を及ぼすことが分かる。これらの実験に用いられるトーンマッピング演算子のうち、バイラテラルフィルタは、平均的に最良の結果を提供し得る。
【００７７】
本発明の或る実施例は、本発明の方法をプロセッサに行わせるソフトウェア命令を実行するコンピュータプロセッサを含む。例えばコンピュータシステムの１つ又は複数のプロセッサが、プロセッサが利用可能なプログラムメモリ中のソフトウェア命令を実行することによって、図１〜５のいずれかの方法を実現し得る。本発明は、プログラムプロダクトの形態でも提供し得る。このプログラムプロダクトには、コンピュータプロセッサによって実行されると、本発明の方法をデータプロセッサに実行させる命令を含む一組のコンピュータ判読可能信号を保持する任意の媒体を含み得る。本発明によるプログラムプロダクトは、多種多様な形態のいずれかであってよい。プログラムプロダクトには、例えば、フロッピー（Ｒ）ディスク、ハードディスクを含む磁気データ記憶媒体、ＣＤ＿ＲＯＭ、ＤＶＤを含む光学データ記憶媒体、ＲＯＭ、フラッシュＲＡＭを含む電子データ記憶媒体等の物理的な媒体、又は、デジタル又はアナログ通信リンク等の伝送タイプの媒体を含み得る。命令は、オプションとして、圧縮及び／又は暗号化フォーマットのコンピュータ判読可能信号であってよい。
【００７８】
構成要素（例えば、ソフトウェアモジュール、プロセッサ、組立体、装置、回路等）が上記において言及される場合、他に規定されない限り、その構成要素についての言及（“手段”についての言及を含む）は、本発明の例示した代表的な実施形態における機能を実行する開示した構成と構造的には等価でない構成要素等、記載した構成要素の機能を実行する（即ち、機能的に等価な）任意の構成要素をその構成要素の等価物として含むものとして解釈される。
【００７９】
上記実施形態は、当業者には理解し得るように、本発明の思想又は範囲から逸脱することなく、種々の変更及び修正が可能である。本発明の範囲は、添付の特許請求の範囲によって定義される内容に基づき解釈される。
【特許請求の範囲】
【請求項１】
高ダイナミックレンジ画像データを復号化するための装置であって、
トーンマップ部と高ダイナミックレンジ（ＨＤＲ）画像部とを含むデータ構造を受信する入力部と、
前記トーンマップ部を復号化して第１の画像を生成するためのデコーダと、
前記第１の画像をダウンサンプリングしてダウンサンプリングされた画像を生成し、前記第１の画像内における画素値と前記ダウンサンプリングされた画像内における対応する画素値との比率を判定して、該比率に基づく補正を前記ＨＤＲ画像部により表現される画像データ内の対応する画素に対して行うように構成された補正システム部と、
を備える装置。
【請求項２】
請求項１に記載の装置において、
前記デコーダがＪＰＥＧデコーダからなることを特徴とする装置。
【請求項３】
請求項１に記載の装置において、
前記デコーダがＭＰＥＧデコーダからなることを特徴とする装置。
【請求項４】
請求項１に記載の装置において、
前記補正システム部は、前記ダウンサンプリングされた画像をアップサンプリングすることによりアップサンプリングされた画像を生成し、該アップサンプリングされた画像によって前記第１の画像を分割することを含む処理により、前記第１の画像内における画素値と前記ダウンサンプリングされた画像内における対応する画素値との比率を判定するように構成されていることを特徴とする装置。
【請求項５】
請求項４に記載の装置において、
前記補正システム部は、前記比率の指数を演算することを含む処理によって前記比率に基づく補正を行うように構成されていることを特徴とする装置。
【請求項６】
請求項５に記載の装置において、
前記補正システム部は、前記比率の分散指数σを演算するように構成されており、ここで、σは、前記ＨＤＲ画像部内で表現される画像データの分散と前記ダウンサンプリングされた画像内における輝度値の分散との比率であることを特徴とする装置。
【請求項７】
表示用画像を処理可能なビューアであって、
トーンマップデータを復号化して第１の画像データを提供するためのデコーダと、
前記第１の画像データをダウンサンプリングしてダウンサンプリングされた画像データを提供するための手段と、
前記ダウンサンプリングされた画像データをアップサンプリングしてアップサンプリングされた画像データを提供するための手段と、
前記アップサンプリングされた画像データと前記第１の画像データとの差に基づく比率画像データを補正して、補正された比率画像データを生成するための手段と、
前記補正された比率画像データを前記第１の画像データに乗じることにより高ダイナミックレンジデータを提供するための手段と、
前記高ダイナミックレンジデータを表示するための表示部と、
を備えるビューア。
【請求項８】
表示装置であって、
初期ダイナミックレンジを有する高ダイナミックレンジ画像を表現するとともに、トーンマップ部と高ダイナミックレンジ情報部とを含むデータ構造を格納するデータ格納部であって、前記トーンマップ部が、前記画像を表現するトーンマップ情報を含むとともに、前記初期ダイナミックレンジより小さい低ダイナミックレンジを有し、前記高ダイナミックレンジ情報部が、前記トーンマップ部の値と前記高ダイナミックレンジ画像の対応する値との比率を記述する情報を含む、前記データ構造を格納するデータ格納部と、
前記トーンマップ部を復号化して第１の画像データを生成し、該第１の画像データを前記比率を記述する情報に応じて修正して前記データ構造から高ダイナミックレンジ画像を再構築することにより、前記高ダイナミックレンジ画像を表現する画像データを生成するように構成されたプロセッサと、
前記高ダイナミックレンジ画像を表示するための表示部と、
を備える表示装置。
【請求項９】
トーンマップ部と高ダイナミックレンジ（ＨＤＲ）画像部とを含むデータ構造から高ダイナミックレンジ画像データを復号化するための方法であって、
前記トーンマップ部を復号化して第１の画像を生成すること、
前記第１の画像をダウンサンプリングしてダウンサンプリングされた画像を生成すること、
前記第１の画像内における画素値と前記ダウンサンプリングされた画像内における対応する画素値との比率を判定すること、
前記比率に基づく補正を前記ＨＤＲ画像部により表現される画像データ内の対応する画素に対して行うこと、
を備える方法。
【請求項１０】
請求項９に記載の方法が、
前記ダウンサンプリングされた画像をアップサンプリングすることによりアップサンプリングされた画像を生成すること、
前記アップサンプリングされた画像によって前記第１の画像を分割することを含む処理により、前記第１の画像内における画素値と前記ダウンサンプリングされた画像内における対応する画素値との比率を判定すること、
を備える、方法。
【請求項１１】
請求項１０に記載の方法が、
前記比率の指数を演算することを含む処理によって、前記比率に基づく補正を行うことを備える、方法。
【請求項１２】
請求項１１に記載の方法が、
前記比率の分散指数σを演算することを備え、ここで、σは、前記ＨＤＲ画像部内で表現される画像データの分散と前記ダウンサンプリングされた画像内における輝度値の分散との比率であることを特徴とする方法。
【請求項１】
高ダイナミックレンジ画像データを復号化するための装置であって、
トーンマップ部と高ダイナミックレンジ（ＨＤＲ）画像部とを含むデータ構造を受信する入力部と、
前記トーンマップ部を復号化して第１の画像を生成するためのデコーダと、
前記第１の画像をダウンサンプリングしてダウンサンプリングされた画像を生成し、前記第１の画像内における画素値と前記ダウンサンプリングされた画像内における対応する画素値との比率を判定して、該比率に基づく補正を前記ＨＤＲ画像部により表現される画像データ内の対応する画素に対して行うように構成された補正システム部と、
を備える装置。
【請求項２】
請求項１に記載の装置において、
前記デコーダがＪＰＥＧデコーダからなることを特徴とする装置。
【請求項３】
請求項１に記載の装置において、
前記デコーダがＭＰＥＧデコーダからなることを特徴とする装置。
【請求項４】
請求項１に記載の装置において、
前記補正システム部は、前記ダウンサンプリングされた画像をアップサンプリングすることによりアップサンプリングされた画像を生成し、該アップサンプリングされた画像によって前記第１の画像を分割することを含む処理により、前記第１の画像内における画素値と前記ダウンサンプリングされた画像内における対応する画素値との比率を判定するように構成されていることを特徴とする装置。
【請求項５】
請求項４に記載の装置において、
前記補正システム部は、前記比率の指数を演算することを含む処理によって前記比率に基づく補正を行うように構成されていることを特徴とする装置。
【請求項６】
請求項５に記載の装置において、
前記補正システム部は、前記比率の分散指数σを演算するように構成されており、ここで、σは、前記ＨＤＲ画像部内で表現される画像データの分散と前記ダウンサンプリングされた画像内における輝度値の分散との比率であることを特徴とする装置。
【請求項７】
表示用画像を処理可能なビューアであって、
トーンマップデータを復号化して第１の画像データを提供するためのデコーダと、
前記第１の画像データをダウンサンプリングしてダウンサンプリングされた画像データを提供するための手段と、
前記ダウンサンプリングされた画像データをアップサンプリングしてアップサンプリングされた画像データを提供するための手段と、
前記アップサンプリングされた画像データと前記第１の画像データとの差に基づく比率画像データを補正して、補正された比率画像データを生成するための手段と、
前記補正された比率画像データを前記第１の画像データに乗じることにより高ダイナミックレンジデータを提供するための手段と、
前記高ダイナミックレンジデータを表示するための表示部と、
を備えるビューア。
【請求項８】
表示装置であって、
初期ダイナミックレンジを有する高ダイナミックレンジ画像を表現するとともに、トーンマップ部と高ダイナミックレンジ情報部とを含むデータ構造を格納するデータ格納部であって、前記トーンマップ部が、前記画像を表現するトーンマップ情報を含むとともに、前記初期ダイナミックレンジより小さい低ダイナミックレンジを有し、前記高ダイナミックレンジ情報部が、前記トーンマップ部の値と前記高ダイナミックレンジ画像の対応する値との比率を記述する情報を含む、前記データ構造を格納するデータ格納部と、
前記トーンマップ部を復号化して第１の画像データを生成し、該第１の画像データを前記比率を記述する情報に応じて修正して前記データ構造から高ダイナミックレンジ画像を再構築することにより、前記高ダイナミックレンジ画像を表現する画像データを生成するように構成されたプロセッサと、
前記高ダイナミックレンジ画像を表示するための表示部と、
を備える表示装置。
【請求項９】
トーンマップ部と高ダイナミックレンジ（ＨＤＲ）画像部とを含むデータ構造から高ダイナミックレンジ画像データを復号化するための方法であって、
前記トーンマップ部を復号化して第１の画像を生成すること、
前記第１の画像をダウンサンプリングしてダウンサンプリングされた画像を生成すること、
前記第１の画像内における画素値と前記ダウンサンプリングされた画像内における対応する画素値との比率を判定すること、
前記比率に基づく補正を前記ＨＤＲ画像部により表現される画像データ内の対応する画素に対して行うこと、
を備える方法。
【請求項１０】
請求項９に記載の方法が、
前記ダウンサンプリングされた画像をアップサンプリングすることによりアップサンプリングされた画像を生成すること、
前記アップサンプリングされた画像によって前記第１の画像を分割することを含む処理により、前記第１の画像内における画素値と前記ダウンサンプリングされた画像内における対応する画素値との比率を判定すること、
を備える、方法。
【請求項１１】
請求項１０に記載の方法が、
前記比率の指数を演算することを含む処理によって、前記比率に基づく補正を行うことを備える、方法。
【請求項１２】
請求項１１に記載の方法が、
前記比率の分散指数σを演算することを備え、ここで、σは、前記ＨＤＲ画像部内で表現される画像データの分散と前記ダウンサンプリングされた画像内における輝度値の分散との比率であることを特徴とする方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図２】
【図３】
【図４】
【図５】
【公開番号】特開２０１１−１９３５１１（Ｐ２０１１−１９３５１１Ａ）
【公開日】平成２３年９月２９日（２０１１．９．２９）
【国際特許分類】
【出願番号】特願２０１１−１０３７５２（Ｐ２０１１−１０３７５２）
【出願日】平成２３年５月６日（２０１１．５．６）
【分割の表示】特願２００７−５０８６８３（Ｐ２００７−５０８６８３）の分割
【原出願日】平成１６年１２月２４日（２００４．１２．２４）
【出願人】（５０７２３６２９２）ドルビー ラボラトリーズ ライセンシング コーポレイション (82)
【Ｆターム（参考）】
【公開日】平成２３年９月２９日（２０１１．９．２９）
【国際特許分類】
【出願日】平成２３年５月６日（２０１１．５．６）
【分割の表示】特願２００７−５０８６８３（Ｐ２００７−５０８６８３）の分割
【原出願日】平成１６年１２月２４日（２００４．１２．２４）
【出願人】（５０７２３６２９２）ドルビー ラボラトリーズ ライセンシング コーポレイション (82)
【Ｆターム（参考）】
[ Back to top ]