カラーマネージメントモジュール、カラーマネージメント装置、集積回路、表示装置
【課題】入力動画像信号を３次元ＬＵＴ（Ｌｏｏｋ Ｕｐ Ｔａｂｌｅ）によるカラーマネージメント処理する色信号処理システムにおいて、設定されたカラーマネージメントのプロファイルによる弊害や違和感を低減し、表示画像シーンの色彩状態への最適化の実現を図ること。
【解決手段】入力された画像信号の色情報を多次元ルックアップテーブルにより変換する色変換部と、前記色変換部で変換された画像信号と、前記入力された画像信号を任意の比率で合成し、合成画像信号を出力する内挿部と、前記色変換部における多次元ルックアップテーブルのデータを変更するルックアップテーブル書き換え部とを備えることを特徴とするカラーマネージメントモジュール。
【解決手段】入力された画像信号の色情報を多次元ルックアップテーブルにより変換する色変換部と、前記色変換部で変換された画像信号と、前記入力された画像信号を任意の比率で合成し、合成画像信号を出力する内挿部と、前記色変換部における多次元ルックアップテーブルのデータを変更するルックアップテーブル書き換え部とを備えることを特徴とするカラーマネージメントモジュール。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、入力画像信号の色変換、色補正及び色域変換等のカラーマネージメント処理を行う、カラーマネージメントモジュール、カラーマネージメント装置、集積回路、表示装置であって、特に多次元ルックアップテーブルにより、入力画像信号の特徴に応じてリアルタイムにカラーマネージメント処理を行うものに関する。
【背景技術】
【０００２】
従来、カラープリンター装置やカラーコピー機、ディスプレイ装置などにおいて、色信号を異なる色空間に変換したり、異なる色域に変換したり、特定の色に対して個別に色相彩度明度等を調整するといった、自由度の高い各種のカラーマネージメント処理を正確かつ詳細に行う場合、３次元ルックアップテーブル（Ｌｏｏｋ Ｕｐ Ｔａｂｌｅ、以下ＬＵＴ）によるカラーマネージメント処理が行われている。
【０００３】
このような多次元ＬＵＴにおいて、メディアや信号ソース、色変換処理モード等に応じて、各々に最適化させるため多数のＬＵＴを備えておくことは、非常に大きなメモリ容量を必要とするため、簡易的なＬＵＴやマトリックス計算を併用することなどにより、これらの各種モードに応じた色変換処理を実現する技術が開発されている。特に、動画像に対してカラーマネージメント処理をする場合には、上記のように色変換処理モードや信号ソースに応じて複数のＬＵＴをもつことは、３次元ＬＵＴの大きなメモリ容量のデータを書き換えるには、ある程度の書き換え処理時間を必要とするため、そのリアルタイム性が要求されるがゆえの制限を有している。
【０００４】
例えば、特許文献１にはその具体例が示されている。入力映像信号に施されているγ補正を逆補正する逆補正回路と、この入力映像信号の色再現特性または基準白色に応じて、逆補正手段で逆補正された映像信号を線形処理によって色変換するカラーマトリックス回路と、この線形処理による色変換量に対する修正データが格納される３次元ルックアップテーブルを有し、この入力映像信号と逆補正回路で逆補正された映像信号とのうち少なくともいずれか一方が供給されて、その供給された映像信号に対応する修正データを出力する修正データ出力部と、修正データ出力部から出力された修正データをカラーマトリックス回路で色変換された後の映像信号に加算する加算器を備え、入力信号と表示デバイスの特性に応じて、スタティックに設定された、逆γ特性（逆補正）、マトリックス係数、修正データ、γ特性により、動画像に対してリアルタイムでの非線形色変換処理を行うようにしたものである。
【０００５】
特許文献２には、入力画像信号を第１の画像信号変換手段において所定の式を用いて色相、明度、彩度の各変数に変換し、２次元ＬＵＴ格納手段に保持されている予め作成された色相、明度、彩度のうちの２つの変数を組み合わせた２次元ＬＵＴを用いて、色補正手段が入力画像信号から変換された色相、明度、彩度の変数を色補正し、第２の画像信号変換手段により色補正後の色相、明度、彩度に対して第２の所定の式を用いて、出力画像を生成するようにしているものであり、演算処理速度を落とすことなくリアルタイム処理にも適するようにしたものである。
【特許文献１】特開２００６―３２５０３５号公報（第１図）
【特許文献２】特開２００７−１９９７０号公報（第１図）
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかしながら、特許文献１に示した色変換装置は、３次元ＬＵＴを有しているものの、逆γ特性、マトリックス係数、修正データ、γ特性等のカラーマネージメント処理のパラメータは、入力信号と表示デバイスの特性に対してスタティック（固定的）に設定されるもので、入力信号ソースが切換わった場合や、画像表示モードの変更等の場合に設定が変更されることはあっても、その動画像の表示中にカラーマネージメント処理パラメータを可変することはできないものである。
【０００７】
また、特許文献２に示した色変換装置および色変換方法の場合は、リアルタイム処理は可能であるが、使用するルックアップテーブルが２次元であり、またルックアップテーブルの更新が適切に行われないため高精度な色変換処理を行うことが出来ないものである。
【０００８】
本発明の目的は、入力画像信号に対して、より高精度なカラーマネージメント（色変換、色補正、色域変換等）処理を、応答性を高めて制御することを可能とするものである。
【課題を解決するための手段】
【０００９】
本発明のカラーマネージメントモジュールは、入力された画像信号の色情報を多次元ルックアップテーブルにより変換する色変換部と、前記色変換部で変換された画像信号と、前記入力された画像信号を任意の比率で合成し、合成画像信号を出力する内挿部と、前記色変換部における多次元ルックアップテーブルのデータを変更するルックアップテーブル書き換え部とを備えることを特徴とするものである。
【００１０】
これにより、より高精度なカラーマネージメント処理を応答性を高めて行うことが可能となる。
【００１１】
また本発明は、入力された画像信号の色情報を多次元ルックアップテーブルにより変換する色変換部と、入力された画像信号をマトリックス演算により、線形処理する近似計算部と、前記色変換部で変換された画像信号と、前記近似計算部で線形処理された画像信号を任意の比率で合成し、合成画像信号を出力する内挿部と、前記色変換部における多次元ルックアップテーブルのデータを変更するルックアップテーブル書き換え部とを備えることを特徴とするものであってもよい。
【００１２】
これにより、ルックアップテーブル書き換え部が、色変換部のデータを変更中においても、近似計算部で色変換部の処理を近似した処理を代替できるので、データ書き換え時にもより高精度なカラーマネージメント処理を実現することが可能となる。
【００１３】
上記発明において、入力される画像信号から画像特徴を検出する画像特徴検出部と、前記画像特徴に基づいて前記内挿部又は前記ルックアップテーブル書き換え部、近似計算部の少なくとも一つを制御する画像適応連動制御部とを備えることを特徴とするものであってもよい。
【００１４】
これにより、入力画像信号に適応した色変換処理を行うことが可能となる。
【００１５】
上記発明において、前記画像適応連動制御部は、前記内挿部を制御する際に、前記画像特徴に基づいて前記合成画像信号の合成比率の時定数を制御することを特徴とするものであってもよい。
【００１６】
これにより、内挿方法を入力画像信号に好適な方法を用いることができ、より高精度で応答性の高いカラーマネージメント処理を行うことが可能となる。
【００１７】
上記発明において、前記画像特徴検出部は、前記入力された画像信号の所定の色の出現頻度を画像特徴として検出する色頻度検出部を備えることを特徴とするものであってもよい。
【００１８】
これにより入力画像信号の色情報に基づいたより高精度な色変換処理を行うことが可能となる。
【００１９】
上記発明において、前記画像特徴検出部は、前記入力された画像信号から複数の画像間の画像変化の大きさを動きベクトルにより画像特徴として検出するベクトル検出部を備えることを特徴とするものであってもよい。
【００２０】
これにより、入力画像信号の画像変化に適応した色変換処理をおこなうことが可能となる。
【００２１】
上記の発明において、前記画像特徴検出部は、前記入力された画像信号から該画像信号の色域の範囲を画像特徴として検出する色域検出部を備えることを特徴とするものであってもよい。
【００２２】
これにより入力画像信号の色域を検出し、入力画像信号の色域と出力信号に求められる色域とに応じた色変換処理をおこなうことが可能となる。
【００２３】
上記発明において、前記画像特徴検出部は、前記入力された画像信号から画像内に人物の顔が含まれることを画像特徴として検出する顔認識部を備えることを特徴とするものであってもよい。
【００２４】
これにより、人物の画像に適した色変換処理を行うことが可能となる。
【００２５】
上記発明において、前記ルックアップテーブル書き換え部は、前記色変換部の多次元ルックアップテーブルの一部のみを書き換えることを特徴とするものであってもよい。
【００２６】
この場合は、ルックアップテーブルの書き換えに要する時間を比較的短時間で行うことが可能となる。
【００２７】
上記の発明はカラーマネージメントモジュール以外にも、当該モジュールを組み込んだカラーマネージメント装置、当該モジュールを実装した集積回路、また出力信号を表示する表示部を加えた表示装置としても実現可能である。
【発明の効果】
【００２８】
本発明により、入力画像信号に対して、より高精度なカラーマネージメント（色変換、色補正、色域変換等）処理を、応答性を高めて制御することが可能となる。
【発明を実施するための最良の形態】
【００２９】
以下、本発明に係るカラーマネージメントモジュールについて、図面を参照しながら説明する。なお、モジュールとは、ある機能を実現するために集められた要素のまとまりであり、本発明においては目的とするカラーマネージメント処理を実現するための構成要素の集合を意味する。実際には、電子回路や集積回路において、本発明の構成を実現した機能回路部分や、回路ブロック等に該当する。ソフトウェアにおいては、当該機能を実現するプログラムブロック（ライブラリ等）としに該当するものである。
（第１の実施の形態）
図１は本発明の第１の実施の形態によるカラーマネージメントモジュールの構成を示すブロック図である。図１のカラーマネージメントモジュールは、色変換部１１、内挿部１２、画像特徴検出部１３、画像適応連動制御部１４、ルックアップテーブル書き換え部１５を備えており、入力画像信号としてＲＧＢ形式の映像入力信号が入力し、出力信号としてカラーマネージメント処理されたＲＧＢ画像出力信号が出力されるようになっている。
【００３０】
ここでルックアップテーブル（ＬＵＴ）とは、入力値に対して出力値を算出するために利用される参照又は変換のために用いられる対応表で、定義域での入力値に対して算出値が得られるものである。カラーマネージメントモジュールは、この算出値を利用して最終的な出力値を決定する。
【００３１】
また、入力画像信号とは、ここではＴＶやビデオ等の自然画の動画像だけなく、ＣＧによる動画像や、静止画の映像信号も含むものとして考える。
【００３２】
色変換部１１の動作について図２、３、４を用いて説明する。色変換部１１は入力された画像信号の色情報を変換、補正等するものである。本実施の形態では、色変換部１１で３次元ＬＵＴを用いて色変換処理を行う場合を例に説明する。ただ、本発明は、３次元ＬＵＴに限らず他の多次元ＬＵＴを用いた色変換処理でも同様に適用可能である。より高次のＬＵＴを用いた色変換処理を行えば、一般的にはより高精度な色変換処理を行うことも可能である。
【００３３】
３次元ＬＵＴを用いた色変換部１１ではＲＧＢの入力画像信号に対して、図２に示すように所定の３次元色空間を規定し、この色空間の各軸を所定の間隔で等分した単位立方体の各格子点上に変換後の値（プロファイルデータ）がＲＧＢ各々設定されるようになっている。
【００３４】
例えば、ＲＧＢの入力画像信号が、複数ビットからなるデジタルデータで示される場合、入力画像信号の上位ｂｉｔから、各軸をＸ等分したＸの３乗個のうちのどの単位立方体かを選択し、入力画像信号の下位ｂｉｔから３次元内挿（後述）により変換後の値を算出するように動作をするものである。
【００３５】
図２の１単位立方体のＲ信号の一例を拡大したものが図３である。図３に示すようにＲ０００〜Ｒ１１１の８個の格子点データと、入力画像信号の下位ｂｉｔのｌｓｂＲ、ｌｓｂＧ、ｌｓｂＢとから、順に１次元内挿、２次元内挿、３次元内挿と内挿演算を行い最終的にＲａｂｃｄの値を変換後の値として算出する動作を行う。
【００３６】
具体的には、下位ｂｉｔが８ｂｉｔの場合の１次の内挿演算は、
Ｒａ＝（（Ｒ００１−Ｒ０００）×ｌｓｂＲ）／２５６＋Ｒ０００
Ｒｂ＝（（Ｒ０１１−Ｒ０１０）×ｌｓｂＲ）／２５６＋Ｒ０１０
Ｒｃ＝（（Ｒ１０１−Ｒ１００）×ｌｓｂＲ）／２５６＋Ｒ１００
Ｒｄ＝（（Ｒ１１１−Ｒ１１０）×ｌｓｂＲ）／２５６＋Ｒ１１０
の４つの計算を行う。
【００３７】
次に２次の内挿演算は、１次の内挿演算結果を利用して、
Ｒａｂ＝（（Ｒｂ−Ｒａ）×ｌｓｂＧ）／２５６＋Ｒａ
Ｒｃｄ＝（（Ｒｄ−Ｒｃ）×ｌｓｂＧ）／２５６＋Ｒｃ
の計算を行う。
【００３８】
最後に、３次内挿演算として、
Ｒａｂｃｄ＝（（Ｒｃｄ―Ｒａｂ）×ｌｓｂＢ）／２５６＋Ｒａｂ
を計算して、Ｒａｂｃｄを算出する。
【００３９】
図４に上述の内容の演算を行う色変換部１１の基本構成の一例を示す。この例では、入力信号として１４ｂｉｔのＲＧＢ画像信号が入力され、リミッタや正規化処理、Ｂｉｔの分割処理等の前段処理が施され、１６ｂｉｔデータとなったものが、上位５ｂｉｔ、下位１１ｂｉｔに分割される。上位５ｂｉｔをＲＧＢそれぞれの色毎に読み出し制御回路が取り込み、該当する３次元ＬＵＴの読み出しアドレスを決定し、その読み出しアドレスに対応するデータ（プロファイルデータ）が読み込まれる。
【００４０】
一方下位１１ｂｉｔ（ｌｓｂＲ、ｌｓｂＧ、ｌｓｂＢ）は３次元内挿処理に入力され、ｌｓｂＲは１次内挿の内挿係数として、ｌｓｂＧは２次内挿の内挿係数、ｌｓｂＢは３次内挿の内挿係数として、ＲＧＢ各々のＬＵＴから読み出された各格子点データとの間で、上述のような内挿処理が施されて変換処理が行われる。
【００４１】
なお、上記の説明では色変換部１１に３次元ＬＵＴを利用した場合を用いて説明したが、より多次元ＬＵＴを利用して本発明を実現することも可能である。この場合には、より高精度な色変換を行うことが可能となる。
【００４２】
また、上記の説明では色変換部にＬＵＴを利用する場合を用いて説明したが、ＬＵＴから算出される色変換処理が数式等で実現される場合は、ＬＵＴに代えて数式による演算でおこなうことも可能である。この場合には、後述するＬＵＴの書き換えと比較して、数式の変更で色変換処理の内容を変更できるので、より応答性の高いカラーマネージメントモジュールを実現することが可能となる。
【００４３】
一方、ＬＵＴを用いる利点は数式等で表現することが困難な色変換処理を行う場合には、複雑な色変換処理であってもプロファイルデータで表現することができれば、色変換処理の内容を概して特定できることができる利点がある。
【００４４】
また、図２において、ＬＵＴのプロフィルデータの空間を等分に分割することで説明したが、本発明の色変換部１１の多次元ＬＵＴにおいては、不等分割であってもよい。この場合は、一つのＬＵＴで色変換処理を比較的高精度に行う部分と、低精度に行う部分を設けることができる。つまり、一つのＬＵＴにおいて複数の色変換精度を備えたＬＵＴとして実現することも可能である。これにより、色変換処理をより高精度に設定することが可能となる。
【００４５】
内挿部１２は、入力画像信号のＲＧＢ信号と、色変換部１１の３次元ＬＵＴにより変換処理が施されたＲ‘Ｇ‘Ｂ‘出力信号との間で、内挿制御信号によりＲＧＢ信号毎に夫々補間処理を行って重み付け処理を行うものである。また、内挿部１２は、色変換部１１をバイパスした入力画像信号のＲＧＢ信号と、３次元ＬＵＴ処理が施されたＲ‘Ｇ‘Ｂ‘信号との同期を取るため、必要に応じてＲＧＢ信号に対して３次元ＬＵＴ処理に要する時間と同一の遅延を施す処理を必要に応じて行う。
【００４６】
内挿部１２は、後述する画像適応連動制御部１４からの制御信号に基づいてその内挿を行う。入力画像信号ＲＧＢと色変換部１１からのＲ‘Ｇ‘Ｂ‘信号の重ね合わせは図５に示すように様々な方法を用いてよい。図５（ａ）は、ＲＧＢとＲ‘Ｇ‘Ｂ‘の両信号を時刻ｔにおいて、内挿比率を完全に切り替える方法である。これは、切り替え前と後で単純に内挿比率（合成比率）を切り替えることができる方法の一つである。図５（ｂ）は、時間経過とともに線形連続的に内挿比率（内挿係数、合成比率）を変化させる方法である。この場合には、切替を連続的に変化させることができるため、滑らかな内挿（合成）を行うことが可能である。図５（ｃ）は時間の経過とともに多段階的に内挿比率を更新する方法である。この場合には、一定時間間隔毎に内挿比率が変化することとなる。この方法は、入力信号が動画等である場合において、フレーム毎に内挿比率を変化させることができるため、比較的滑らかな内挿を行うことが可能となる。図５（ｄ）は時間とともに非線形連続的に内挿比率を変える方法である。この場合には、内挿比率をより特徴的に制御することとなるため、個々の画像信号により好適な内挿を行うことが可能となる。つまり内挿部１２は、複数の内挿方法をサポートし、それらを切り替えて最適な内挿方法を用いることも可能である。これらいずれの内挿方法を用いるかは画像適応連動制御部１４により制御されるものである。
【００４７】
画像特徴検出部１３は、入力画像信号から当該画像の特徴を抽出するものである。画像の特徴とは種々の観点で抽出することが可能である。図６にその一例を示す。入力画像信号に含まれる特定の色や全ての色の出現頻度を特徴として抽出する色頻度検出部６１、入力される画像信号の色域を特定する色域検出部６２、入力される画像信号に人物の顔を描写されている場合にはそれを検出し画面内での位置等を抽出する顔認識部６３、入力される信号が動画信号である場合は、連続するまたは複数のフレーム（画像）間での変化の大きさを動きベクトル等で検出するベクトル検出部６４、また入力信号から輝度信号のみを抽出する輝度検出部６５等が一例としてある。
【００４８】
色頻度検出部６１について図７を用いて説明する。色頻度検出部６１では、入力されるＲＧＢ色信号を色相、彩度、明度（Ｈｕｅ、Ｓｔａｔｕｒａｔｉｏｎ、Ｖａｌｕｅ）のＨＳＶ色空間に変換したのち、それぞれの色の出現頻度を検出・算出するものである。また、外部から注目すべき色（注目色）として特定の色を指定する、又は、あらかじめ所定の注目すべき色を登録等しておくことで、ＨＳＶ色空間上で指定される注目色として、出現頻度を検出・算出するものであってもよい。ここでは、回路構成等が比較的小さく高精度で指定し易いことから、ＨＳＶ色空間上で検出する構成としているが、これに限るものではなく、その他の色信号や色空間で頻度検出してもよい。
【００４９】
まず、色空間変換部７１は入力されたＲＧＢ色信号の色空間を、ＨＳＶ色空間のＨＳＶの各信号成分に変換する。この色空間変換は例えば下記の演算式によって変換が行われる。
【００５０】
明度信号 Ｖ ＝ ＭＡＸ（Ｒ，Ｇ，Ｂ）
色相信号 Ｈ ＝ ｛ＭＩＤ（Ｒ，Ｇ，Ｂ）−ＭＩＮ（Ｒ，Ｇ，Ｂ）｝
／｛ＭＡＸ（Ｒ，Ｇ，Ｂ）−ＭＩＮ（Ｒ，Ｇ，Ｂ）｝
彩度信号 Ｓ ＝ ｛ＭＡＸ（Ｒ，Ｇ，Ｂ）−ＭＩＮ（Ｒ，Ｇ，Ｂ）｝
／ＭＡＸ（Ｒ，Ｇ，Ｂ）
ここで、ＭＡＸ（Ｒ，Ｇ，Ｂ）はＲＧＢの各信号のうちの最大値、ＭＩＤ（Ｒ，Ｇ，Ｂ）はＲＧＢの各信号のうちの中間値、ＭＩＮ（Ｒ，Ｇ，Ｂ）はＲＧＢの各信号のうちの最小値を表す。
【００５１】
こうして求められたＨＳＶ信号は、明度比較部７２、色相比較部７３、彩度比較部７４に入力され、ＨＳＶの各パラメータ値により外部から任意に設定される複数の注目色の色空間指定の範囲内か否かを判別し、色判定部７５によりそれぞれの色又は指定注目色に該当か否かを判定する。こうして検出したそれぞれの色又は注目色は頻度計数部７６で１画面分の度数が各々算出される。
【００５２】
色域検出部６２は、入力される画像信号の色域を検出するものである。例えば入力画像信号がＢＴ７０９に準拠する信号であるか、ＹＣｒＣｂの拡張規格でありＢＴ７０９よりも色域の広いｘｖＹＣＣ規格形式に準拠する信号であるか等の入力信号の色域又は規格等を識別するものである。この検出により、画像適応連動制御部１４は好適な色変換処理を行うことが可能となる（後述）。
【００５３】
顔認識部６３は、画像に被写体として撮影されている人物の顔を認識し、当該画像内での位置を算出するものである。画像特徴として顔認識を用いることで、人物の顔に適した色変換処理、例えば、肌色を中心とした色域について高精度な色変換処理等を行うことが可能となる。
【００５４】
ベクトル検出部６４は、動画等における連続する各画面（フレーム画面、シーン）間での変化の大きさ等を検出するものである。さらに、各画面上での変化を統計処理等によって特徴を抽出するものであってもよい。各画面間での変化の大きさを検出することで、動画のシーン変化の判定を行うことなどが可能となる。
【００５５】
輝度検出部６５は、入力画像信号の輝度やその平均値、最小値、最大値等、画面全体での輝度レベル等の特徴、またはこれらの時間軸上での変化や統計処理によって得られた特徴等を検出するものである。輝度信号は画像を構成する信号において大きな影響を及ぼす要素のひとつであることから、この特徴をとらえることで画面全体の特徴を検出するのに役立つものである。
【００５６】
以上より、画像特徴検出部１３は、入力された画像信号を様々な観点で分析等することで画像の特徴を抽出し、後段の画像適応連動制御部へ結果を出力するものである。
【００５７】
画像適応連動制御部１４は、画像特徴検出部１３から得られる画像の特徴と予め設定等されている又は外部から入力されるユーザが希望する好みの表示色パターン、出力デバイスのデバイス特性、出力デバイスが設置されている周囲の環境等といった当該カラーマネージメントモジュールの変換特性に影響を及ぼす外部からの要因等である複数の制御情報の入力（図示せず）により、好適な色変換処理及び内挿方法を選択する。この選択に従って、ＬＵＴ書き換え部１５は色変換部１１の多次元ＬＵＴデータを変更する。内挿部１２は、画像適応連動制御部１４により制御された内挿方法により入力される２つの画像信号を合成する。
【００５８】
ＬＵＴ書き換え制御部１５は、色変換部１１の３次元ＬＵＴの任意の一部分または全部のＬＵＴデータを書き換えるものである。色変換部１１の３次元ＬＵＴは、図２のように色空間の各軸をＸ等分したとすると、各色あたりの格子点は（Ｘ＋１）の３乗個のデータをもつこととなる。これがＲＧＢそれぞれにあるため（Ｘ＋１）の３乗の３倍個のデータを有することとなる。モジュール構成にもよるが、例えば各色につき、立方体の８頂点分の８個の空間単位にＲＡＭのメモリ空間を配置させることが考えられる。ＬＵＴ書込み制御部１５はこの合計２４個のメモリ空間の中から、指定された任意の注目色部分等に相当する格子点データのアドレス検索を演算し、メモリ制御を行いＲＡＭへの書込みを制御するものである。
【００５９】
以上のように構成されたカラーマネージメントモジュールにおいて、画像適応連動制御部１４の適応制御を中心にその全体動作を説明する。
【００６０】
（画像適応連動制御の動作例１）
画像特徴検出部１３の色域検出部６２は、入力画像信号の色域又は信号規格を検出する。画像適応連動制御部１４は、色域検出部６２が検出した入力画像信号のもつ色域と当該モジュールの出力側に接続される出力デバイス（図示せず）、例えばディスプレイデバイスの表示色域とに基づいて、ＬＵＴ書き換え部１５を制御し、色変換部１１の３次元ＬＵＴのプロファイルデータを書き換える。
【００６１】
色変換部１１の３次元ＬＵＴのデータ書き換えにより、ＹＣｒＣｂ信号の拡張規格であるｘｖＹＣＣ規格形式の入力画像信号を、当該カラーマネージメントモジュールの出力側に接続されるディスプレイデバイスの表示色域に対応するような色変換処理の例を用いて説明する。ディスプレイデバイスがＢＴ７０９には対応しているが、ＢＴ７０９よりも広い色域を持つｘｖＹＣＣ規格に対応していない場合、ｘｖＹＣＣ規格の入力信号が入力されたディスプレイデバイスは、そのままでは、ｘｖＹＣＣ全体の色域をサポートしていないため、入力信号の一部の範囲の色域しか表示できないこととなる。そのため、色変換部１１では、ｘｖＹＣＣ信号の色域をＢＴ７０９の色域の範囲に変換する色変換処理を行う。
【００６２】
別の例として、ディスプレイデバイスがＢＴ７０９より広い表示色域をもっているデバイスの場合、図４の前段処理において、後段の処理（３次元ＬＵＴ処理等）が持つプロファイルに適合するようにレベル変換等の処理を行う。こうすることで、入力画像信号は、拡張部分であるｘｖＹＣＣの１以上もしくは負の領域値を持つ信号であっても、ディスプレイデバイスの持つ色域に対応させたプロファイルによりカラーマネージメント処理をすることが可能となりＢＴ７０９以外の色域を持つディスプレイデバイスが接続された場合でも、適切な画像（静止画、映像）を表示することができる。
【００６３】
（画像適応連動制御の動作例２）
別の例として、ディスプレイデバイスがＢＴ７０９より広い表示色域をもっているデバイスの場合、ＢＴ７０９色域に対応したｓＲＧＢ規格形式の画像信号が入力されると、ディスプレイデバイスの表示色域を最大限使用せず厳密にＢＴ７０９色域を再現する方法も考えられるが、ディスプレイデバイスの表示色域を最大限有効に利用して仮想的にｓＲＧＢより広い色域を表現する色変換処理を採ることもできる。例えば、ディスプレイデバイスの表示色域の能力にも依るが、ＤＣＩ（Ｄｉｇｉｔａｌ Ｃｉｎｅｍａ Ｉｎｉｔｉａｔｉｖｅｓ)色域に近づけることもできる。そしてこの色変換処理では、このような色変換処理（色域変換）とともにカラーマネージメントの目的に応じた全体の色調の調整、特定の色相の色の強調や抑圧、特定の記憶色の色相、彩度、明度の調整といった、画質調整としての種々の色調整も合わせて行うことが必要となる。
【００６４】
色変換処理が単純に色域変換だけを行う処理内容であるとすると、入力画像信号とディスプレイデバイスの表示色域との兼ね合いを強調しすぎ、色変換処理による弊害も発生してしまうことがある。例えば、上記のｓＲＧＢ規格形式の入力画像信号を、ＢＴ７０９より広い表示色域をもっているデバイスに表示する場合に、仮想的にＤＣＩ色域に近づける色変換処理の例では、表示デバイスの色域のＲやＧをＢＴ７０９より広く広げた色域を用いることで、赤はＢＴ７０９より彩度の高い濃い赤が再現できるようになる。しかしこの場合、全体としての色バランスを考えると、本来の肌色が赤くなり過ぎてしまう等の現象がある。
【００６５】
このような現象は、肌色に限らずその他の色でも同様に生じる可能性がある。特に、桜のピンク、人肌の肌色、草木の緑、青空の青などの記憶色と称される色では、人々が当該対象物に連想する色が実際の色とは異なると違和感が大きいなどの特徴があるため、これらの減少は顕著になる可能性がある。また、ディスプレイデバイスの色域特性との兼ね合いや、設定されるプロファイルがそのカラーマネージメント処理の目的のもとに偏りを持っている場合などにおいて、このような同様の現象が発生してしまうことがある。ここで特に注意すべき点は、この現象はプロファイルだけに要因するものではなく、入力信号形式や表示デバイスの色域特性、更にはカラーマネージメントモジュール以外の映像信号処理の設定なども関連し要因しているもので、映像ディスプレイ装置全体のトータルシステムとして弊害や違和感が発生し得るものであるということである。
【００６６】
そのため、上記のような例では予め設定された色変換処理だけでは十分な最適化ができず、その色変換処理本来の処理目的を優先させると、逆に一方で別の減少をもたらすような場合も発生することとなる。そこで、本発明では表示映像の状態に最適化させて、上記のような現象の発生を低減するようにしたり、より効果的となるように、適宜色変換処理の一部分を変更するものである。
【００６７】
そこで、上記の例の場合の動作を説明する。まず、色変換部１１には、ｓＲＧＢ規格形式の入力画像信号を仮想的にＤＣＩ色域に近づける３次元ＬＵＴがあらかじめ設定されているものとする。カラーマネージメントモジュールにｓＲＧＢ（ＢＴ７０９）形式の画像信号が入力されると、画像特徴検出部１３は入力された画像信号の特徴を検出する。具体的には、色域検出部６２で当該入力画像信号がＢＴ７０９形式であることを検出する。
【００６８】
画像適応連動制御部１４は、色変換部１１にすでにＢＴ７０９の色域をＤＣＩの色域に変換する３次元ＬＵＴが設定されているため、ＬＵＴ書き換え部１５を制御してＬＵＴデータの変更を行う必要はない。
【００６９】
また、画像特徴検出部１３の色頻度検出部は、入力画像信号の肌色の出現頻度を検出する。画像適応連動制御部１４は、肌色の出現頻度が一定の比率以上になった場合、あるいは一定の比率以下になった場合等に色変換部１１の３次元ＬＵＴのデータを更新すべきと判断する。この判断によりＬＵＴ書き換え部１５に色変換部１１の３次元ＬＵＴデータの変更を指示し、ＬＵＴ書き換え部１５はその指示に従って色変換部１１の処理内容（３次元ＬＵＴデータ）を変更する。この場合の変更されるＬＵＴデータは、ＢＴ７０９からＤＣＩへ色域変換するとともに、肌色の赤みを抑制することを目的とするものである。
【００７０】
画像適応連動制御部１４は、ＬＵＴ書き換え部１５へ３次元ＬＵＴデータの変更を指示するとともに、内挿部１２へ色変換部１１からの画像信号と入力画像信号の合成比率を変化させる（弱める）制御を行う。このＬＵＴデータの変更には一定時間の処理時間を要するため、データ変更中に色変換部１１から出力される画像信号の影響を抑制するため等に行うものである。
【００７１】
ＬＵＴ書き換え部１５によるデータ変更が完了すれば、画像適応連動制御部１５は内挿部１２を制御し、再度色変換部１１からの画像信号を出力信号とする。このときには、色変換部１１では、入力画像に好適（この場合は、肌色を含む画像に好適）な色変換処理を行う３次元ＬＵＴが設定されているので肌色が赤みがかる現象が改善される。
【００７２】
上記のような動作により、本カラーマネージメントモジュールは入力画像の画像信号に応じて高精度で応答性の高い色変換制御をおこなうことが可能となる。
【００７３】
なお、上記の例において、色頻度検出６１で肌色の検出を検知するものとしたが、顔認識部６３による人物の顔を検出することで、同様のＬＵＴデータ書き換え制御を画像適応連動制御部１４は行ってもよい。さらに、これら複数の特徴検出の結果を用いて制御をおこなってもよい。この場合にもより高精度な色変換処理を行うことが可能となる。
【００７４】
（画像適応連動制御の動作例３）
画像特徴検出部１３のベクトル検出部６４で、動きベクトル算出により複数の画像（フレーム）間で変化が一定以上であることを検出した場合の画像適応連動制御部１４の動作例を説明する。
【００７５】
ベクトル検出部６４が一定以上の画像間の変化の大きさ（シーン変化）を検出すると、画像適応連動制御部１４は、合わせて色頻度検出部６１からシーン変化後の画像の色情報を取得する。画像適応連動制御部１４は、色頻度検出部６１から取得した色情報によりシーン変化後に好適な色変換処理の内容を判断する。例えば、全般的に暗いシーンから明るいシーンへ変化した場合等には、それに応じた色変換処理を行うものである。
【００７６】
画像適応連動制御部１４は、シーン変化後の色情報にもとづいて好適な３次元ＬＵＴデータを選択し、色変換部１１のデータ更新をＬＵＴ書き換え部１５を介して制御する。この際、上記の例と同様に内挿部１２へも合成比率の制御をおこなうことで、データ変更中又はデータ更新後、色変換部１１からの出力信号の影響度を制御する。
【００７７】
合成比率の制御は、色変換部１１のデータ更新の内容によって適した方法をとることも可能である。例えば、シーン変化で前後の相関関係が低い場合（３次元ＬＵＴのデータを大きく変更する場合等）は、図５（ａ）に示すように時刻ｔを挟んで、その合成比率を大きく変化させることがよい場合もある。一方、色頻度検出部６１で特定の色（例えば、肌色）の出現頻度が時間とともに低減する場合等は、図５（ｂ）又は（ｃ）のように段階的に合成比率をかえることで、肌色が赤みがかる現象を抑える処理をシーン変化とともに適応させることができる。
【００７８】
また、別の例として、色変換部１１による３次元ＬＵＴの処理を適応制御する例を説明する。例えば、画像特徴検出部１３のベクトル検出部６４により、映像シーンが大きく変化したことを検出した場合には、内挿手段１２に対する内挿制御で、例えば図８に示すようにシーン変化後に内挿係数を制御して、色変換部１１による処理の影響度を一時的に弱める（色変換部１１からの信号割合を減らす）。これにより、色変換部１１の３次元ＬＵＴによる色補正が偏りを持っているような場合に、その偏りが大きく影響するような画像にシーン変化する場合などにおいて、処理の効果が見栄えとして大きく影響しすぎるようになることを軽減して、シーン変化時の違和感を軽減することができる。
【００７９】
より詳細には、画像特徴検出部１３の色頻度検出部６１において検出したＲＧＢの各々の色成分の信号レベルや出現頻度により実際に現在設定している３次元ＬＵＴ変換のプロファイルデータにおける影響度合いを判定する。実際にプロファイルが、特定の色成分に対して強く偏りをもったプロファイルが設定されている場合などにおいては、このような方法で、処理効果での影響度合いが判定できるので、影響が大きいシーンに変化した場合には、図８の色変換部１１による３次元ＬＵＴ処理の影響を弱める度合いを強く（より大きく弱める）し、逆に影響が少ない画像シーンへの変化ならば、図８の弱める度合いは少なく（あまり弱めない）するようにすればよい。
【００８０】
次に、画像適応連動制御部１４に入力される制御情報に応じて、制御状態を変える例について説明する。一例として制御情報として本発明のカラーマネージメントモジュールの出力側に接続されるディスプレイデバイス周辺の照度情報をセンサー等（図示せず）で検出するようにしておき、照度に応じて内挿部１２の内挿係数の制御内容を適応制御させることもできる。例えば、照度が低く暗くなった場合には、色変換部１１による３次元ＬＵＴ処理において色を暗く沈んだ方向に制御しているプロファイルであった場合においては、内挿係数を下げ３次元ＬＵＴ効果を弱める。これにより、入力映像をより高精度にカラーマネージメント処理することでディスプレイデバイスでの視認性を高め、色の違いを認識しやすくすることができる。
【００８１】
逆に照度が高い場合には、明るい条件下でも効果が出るように、内挿係数を上げて３次元ＬＵＴ処理効果をより強調させる。
【００８２】
なお、照度情報以外にも、他の光の情報にもとづいて内挿係数の制御内容を適応制御させることもできる。例えば、ディスプレイデバイスが設置されている周辺の光の色（例えば、照明色）をセンサー等で検出し、ディスプレイデバイスで表示された色が照明色によって影響をうけることをも考慮して制御するものである。これにより、よりユーザが実際に視覚する状態を考慮したカラーマネージメント処理をすることが可能となる。また、他にも光の色温度を用いて同様にカラーマネージメント処理をすることも可能である。
【００８３】
尚、以上説明してきた内挿制御は、色変換部１１の３次元ＬＵＴ処理の処理結果と処理なしの信号との間で重み付け補間を行うものであるから、処理効果の強度調整としても使用できる。本カラーマネージメントモジュールを利用したＴＶなどにおいて、使用者が任意に内挿係数を調整できるようにすることで、３次元ＬＵＴ処理の簡易的な強度調整機能として使用することもできる。
【００８４】
以上説明したように、３次元ＬＵＴ処理とこれをバイパスした系との内挿部１２に対する内挿係数を適応制御させる構成とすることにより、リアルタイムに色変換処理（３次元ＬＵＴ処理）の処理効果の調整と色画質調整をリンクしてシームレスに制御することができる。
【００８５】
なお、本実施の形態においては、色変換部１１、内挿部１２等の間の画像信号をＲＧＢ形式の信号として説明したが、本発明はこれに限定するものではない。例えば、すべての段階で色相、彩度、明度（ＨＳＶ）の色空間で処理を行うのであれば、ＨＳＶの色空間信号で処理をすることも可能である。
（第２の実施の形態）
図９は、本発明の第２の実施の形態によるカラーマネージメントモジュールの構成を示すブロック図である。図９に示すカラーマネージメントモジュールと図１に示すカラーマネージメントモジュールとで異なる点は、本実施の形態において近似計算部１６が追加されている点と、画像適応連動制御部１４の内部動作が変更されている点である。その他の点は図１に示すカラーマネージメントモジュールと同様であるので、同一部分には同一符号を付して詳細な説明は省略する。
【００８６】
近似計算部１６は、入力画像信号をマトリックス演算により色変換処理を行うものである。近似計算部１６での色変換処理はマトリックスによる線形変換であるので、内挿部１２に色変換部１１での３次元ＬＵＴによる色変換処理と、近似計算部１６でのマトリックス処理の両変換による画像信号を入力することが可能となる。
【００８７】
画像適応連動制御部１４による連動制御動作を、図１０を用いて説明する。例えば、画像表示中において、外部より入力される制御情報の照度データが、大きく変化をした場合、照度に適した色変換の処理を行うため、色変換部１１の３次元ＬＵＴデータを書き換えることが望ましい。しかしながら、第１の実施の形態でも説明したようにＬＵＴデータは、比較的大きなデータ量となるため、動作中のＬＵＴデータの書き換えは出力信号の中断、遅延、欠落、若しくは出力される画像信号の乱れ等を生じさせる可能性がある。
【００８８】
そこで、図１０に示すように、色変換部１１の出力信号の影響度が１００の状態（内挿係数ｋが１００）から、内挿係数ｋを制御し０とする。逆に近似計算部１６により色変換処理を施された画像信号は、（１００−ｋ）の内挿係数であるので１００となる。この状態で、ＬＵＴ書き換え部１５により３次元ＬＵＴデータを書き換える。書き換えが終了すると、逆の動作で色変換部１１の出力信号のウェイトを１００となるように戻す。こうすることで、画像表示を停止することなく３次元ＬＵＴデータの書き換えができるとともに、書き換え中の画像信号にも近似計算部１６による色変換処理を施すことができる。そのため、ＬＵＴデータの更新と色変換処理の両者を同時に行うことが可能となる。このとき近似計算部１６では、予め色変換部１１の代替処理となるような近似処理内容を設定しておくのである。
【００８９】
なお、図１０の例では内挿係数ｋを１００から０への制御と、０から１００への制御をほぼ同等の制御方式としたが、特にこれに限定するものではない。例えば、内挿係数ｋの０から１００への変化率を、１００から０への変化率より緩やかにしたり、画像特徴検出部１３で検出した特徴の種類により内挿係数の変化率を変えてもよい。さらに、必ずしも内挿比率を一方（０又は１００）に設定する必要はなく、中間の値、例えば内挿係数を１００から５０の範囲で変化させることも可能である。
【００９０】
尚、ＬＵＴ書き換え部１５は、全ての３次元ＬＵＴデータ（格子点データ）を書き換えるだけではなく、任意の一部分のみを書き換えるものでもよい。この場合は、３次元ＬＵＴデータの一部のみのデータ書き換えで対応できるので、データ書き換え時間が比較的短くなり、より高速に色変換処理を変更することが可能となる。なお、３次元ＬＵＴデータの一部とは、固定であってもよいし、必要に応じてその部分を変えてもよい。必要に応じてＬＵＴデータの書き換え部分を変更する場合は、画像適応連動制御部１４からの制御により、最適な書き換え部分（変更の必要な部分）を特定し、ＬＵＴ書き換え部がデータを書き換えることとなる。
【００９１】
また、第１又は第２の実施の形態では、色変換部１１で３次元ＬＵＴによる処理を示したが、これは３次元ＬＵＴに限定されるものではなく、他のＬＵＴ変換でも同様に実現可能である。例えば、入力信号を一度ＨＳＶ系の色空間に変換し、そこで、任意の２変数、例えば、色相と彩度、色相と照度、彩度と照度のいずれかの２次元のＬＵＴ変換を用いることも可能である。
【００９２】
また、第１又は第２の実施の形態では、入力信号、及び出力信号の形式としてＲＧＢ信号を用いて説明したが、本発明はこれに限定されるものではない。ＲＧＢ信号以外の、色信号でも本発明は実現可能である。
【００９３】
第１又は第２の実施の形態においては、カラーマネージメントモジュールとして説明したが、本発明は当該モジュール以外での実現方法も可能である。例えば、図１又は図８等に示した各処理部を機能単位の電子回路で具現化し、ハードウェアとしての集積回路又は装置として実現することも可能である。
【００９４】
同様に、図１又は図８に示した各処理手段をソフトウェアの機能単位（例えば、処理関数）とすることで、ＣＰＵ又はＤＳＰとメモリ等を用いたハードウェア上で動作するソフトウェアプログラムとしても実現することが可能である。
【００９５】
さらに、第１又は第２の実施の形態の出力側に液晶ディスプレイ、プラズマディスプレイ、ＥＬディスプレイ、ＬＥＤディスプレイ等の表示デバイスを備え、表示装置としても実現することが可能である。この場合には、接続する表示デバイスの特性に応じたカラーマネージメント処理をおこなうことで、より適切な表示を行うことが可能となる。
【産業上の利用可能性】
【００９６】
本発明に係る色補正処理装置およびその処理方法は、ＴＶ等の動画像を表示する映像ディスプレイ装置における、色補正処理を行う多次元ＬＵＴによるカラーマネージメント装置であって、特に入力画像信号の画像的特徴等に応じて、リアルタイムに適応的に色補正処理制御を行う多次元カラーマネージメント処理に適用して有用である。
【図面の簡単な説明】
【００９７】
【図１】本発明の第１実施形態によるカラーマネージメントモジュールの構成を示すブロック図
【図２】３次元ＬＵＴ変換手段の色空間と格子点を説明する概念図
【図３】３次元ＬＵＴ変換手段における３次元内挿演算を説明する概念図
【図４】３次元ＬＵＴ変換手段の構成を示すブロック図
【図５】内挿部での内挿方法を示す図
【図６】画像特徴検出部の構成を示す図
【図７】ＨＳＶ色補正手段の構成を示すブロック図
【図８】映像シーンが大きく変化した場合の内挿制御方法の一例を示す図
【図９】本発明の第２実施形態によるカラーマネージメントモジュールの構成を示すブロック図
【図１０】ＬＵＴ書き換え時における内挿制御方法の一例を説明する図
【符号の説明】
【００９８】
１１ 色変換部
１２ 内挿部
１３ 画像特徴検出部
１４ 画像適応連動制御部
１５ ＬＵＴ書き換え部
１６ 近似計算部
６１ 色頻度検出部
６２ 色域検出部
６３ 顔認識部
６４ ベクトル検出部
６５ 輝度検出部
７１ 色空間変換部
７２ 明度比較部
７３ 色相比較部
７４ 彩度比較部
７５ 色判定部
７６ 頻度係数部
【技術分野】
【０００１】
本発明は、入力画像信号の色変換、色補正及び色域変換等のカラーマネージメント処理を行う、カラーマネージメントモジュール、カラーマネージメント装置、集積回路、表示装置であって、特に多次元ルックアップテーブルにより、入力画像信号の特徴に応じてリアルタイムにカラーマネージメント処理を行うものに関する。
【背景技術】
【０００２】
従来、カラープリンター装置やカラーコピー機、ディスプレイ装置などにおいて、色信号を異なる色空間に変換したり、異なる色域に変換したり、特定の色に対して個別に色相彩度明度等を調整するといった、自由度の高い各種のカラーマネージメント処理を正確かつ詳細に行う場合、３次元ルックアップテーブル（Ｌｏｏｋ Ｕｐ Ｔａｂｌｅ、以下ＬＵＴ）によるカラーマネージメント処理が行われている。
【０００３】
このような多次元ＬＵＴにおいて、メディアや信号ソース、色変換処理モード等に応じて、各々に最適化させるため多数のＬＵＴを備えておくことは、非常に大きなメモリ容量を必要とするため、簡易的なＬＵＴやマトリックス計算を併用することなどにより、これらの各種モードに応じた色変換処理を実現する技術が開発されている。特に、動画像に対してカラーマネージメント処理をする場合には、上記のように色変換処理モードや信号ソースに応じて複数のＬＵＴをもつことは、３次元ＬＵＴの大きなメモリ容量のデータを書き換えるには、ある程度の書き換え処理時間を必要とするため、そのリアルタイム性が要求されるがゆえの制限を有している。
【０００４】
例えば、特許文献１にはその具体例が示されている。入力映像信号に施されているγ補正を逆補正する逆補正回路と、この入力映像信号の色再現特性または基準白色に応じて、逆補正手段で逆補正された映像信号を線形処理によって色変換するカラーマトリックス回路と、この線形処理による色変換量に対する修正データが格納される３次元ルックアップテーブルを有し、この入力映像信号と逆補正回路で逆補正された映像信号とのうち少なくともいずれか一方が供給されて、その供給された映像信号に対応する修正データを出力する修正データ出力部と、修正データ出力部から出力された修正データをカラーマトリックス回路で色変換された後の映像信号に加算する加算器を備え、入力信号と表示デバイスの特性に応じて、スタティックに設定された、逆γ特性（逆補正）、マトリックス係数、修正データ、γ特性により、動画像に対してリアルタイムでの非線形色変換処理を行うようにしたものである。
【０００５】
特許文献２には、入力画像信号を第１の画像信号変換手段において所定の式を用いて色相、明度、彩度の各変数に変換し、２次元ＬＵＴ格納手段に保持されている予め作成された色相、明度、彩度のうちの２つの変数を組み合わせた２次元ＬＵＴを用いて、色補正手段が入力画像信号から変換された色相、明度、彩度の変数を色補正し、第２の画像信号変換手段により色補正後の色相、明度、彩度に対して第２の所定の式を用いて、出力画像を生成するようにしているものであり、演算処理速度を落とすことなくリアルタイム処理にも適するようにしたものである。
【特許文献１】特開２００６―３２５０３５号公報（第１図）
【特許文献２】特開２００７−１９９７０号公報（第１図）
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかしながら、特許文献１に示した色変換装置は、３次元ＬＵＴを有しているものの、逆γ特性、マトリックス係数、修正データ、γ特性等のカラーマネージメント処理のパラメータは、入力信号と表示デバイスの特性に対してスタティック（固定的）に設定されるもので、入力信号ソースが切換わった場合や、画像表示モードの変更等の場合に設定が変更されることはあっても、その動画像の表示中にカラーマネージメント処理パラメータを可変することはできないものである。
【０００７】
また、特許文献２に示した色変換装置および色変換方法の場合は、リアルタイム処理は可能であるが、使用するルックアップテーブルが２次元であり、またルックアップテーブルの更新が適切に行われないため高精度な色変換処理を行うことが出来ないものである。
【０００８】
本発明の目的は、入力画像信号に対して、より高精度なカラーマネージメント（色変換、色補正、色域変換等）処理を、応答性を高めて制御することを可能とするものである。
【課題を解決するための手段】
【０００９】
本発明のカラーマネージメントモジュールは、入力された画像信号の色情報を多次元ルックアップテーブルにより変換する色変換部と、前記色変換部で変換された画像信号と、前記入力された画像信号を任意の比率で合成し、合成画像信号を出力する内挿部と、前記色変換部における多次元ルックアップテーブルのデータを変更するルックアップテーブル書き換え部とを備えることを特徴とするものである。
【００１０】
これにより、より高精度なカラーマネージメント処理を応答性を高めて行うことが可能となる。
【００１１】
また本発明は、入力された画像信号の色情報を多次元ルックアップテーブルにより変換する色変換部と、入力された画像信号をマトリックス演算により、線形処理する近似計算部と、前記色変換部で変換された画像信号と、前記近似計算部で線形処理された画像信号を任意の比率で合成し、合成画像信号を出力する内挿部と、前記色変換部における多次元ルックアップテーブルのデータを変更するルックアップテーブル書き換え部とを備えることを特徴とするものであってもよい。
【００１２】
これにより、ルックアップテーブル書き換え部が、色変換部のデータを変更中においても、近似計算部で色変換部の処理を近似した処理を代替できるので、データ書き換え時にもより高精度なカラーマネージメント処理を実現することが可能となる。
【００１３】
上記発明において、入力される画像信号から画像特徴を検出する画像特徴検出部と、前記画像特徴に基づいて前記内挿部又は前記ルックアップテーブル書き換え部、近似計算部の少なくとも一つを制御する画像適応連動制御部とを備えることを特徴とするものであってもよい。
【００１４】
これにより、入力画像信号に適応した色変換処理を行うことが可能となる。
【００１５】
上記発明において、前記画像適応連動制御部は、前記内挿部を制御する際に、前記画像特徴に基づいて前記合成画像信号の合成比率の時定数を制御することを特徴とするものであってもよい。
【００１６】
これにより、内挿方法を入力画像信号に好適な方法を用いることができ、より高精度で応答性の高いカラーマネージメント処理を行うことが可能となる。
【００１７】
上記発明において、前記画像特徴検出部は、前記入力された画像信号の所定の色の出現頻度を画像特徴として検出する色頻度検出部を備えることを特徴とするものであってもよい。
【００１８】
これにより入力画像信号の色情報に基づいたより高精度な色変換処理を行うことが可能となる。
【００１９】
上記発明において、前記画像特徴検出部は、前記入力された画像信号から複数の画像間の画像変化の大きさを動きベクトルにより画像特徴として検出するベクトル検出部を備えることを特徴とするものであってもよい。
【００２０】
これにより、入力画像信号の画像変化に適応した色変換処理をおこなうことが可能となる。
【００２１】
上記の発明において、前記画像特徴検出部は、前記入力された画像信号から該画像信号の色域の範囲を画像特徴として検出する色域検出部を備えることを特徴とするものであってもよい。
【００２２】
これにより入力画像信号の色域を検出し、入力画像信号の色域と出力信号に求められる色域とに応じた色変換処理をおこなうことが可能となる。
【００２３】
上記発明において、前記画像特徴検出部は、前記入力された画像信号から画像内に人物の顔が含まれることを画像特徴として検出する顔認識部を備えることを特徴とするものであってもよい。
【００２４】
これにより、人物の画像に適した色変換処理を行うことが可能となる。
【００２５】
上記発明において、前記ルックアップテーブル書き換え部は、前記色変換部の多次元ルックアップテーブルの一部のみを書き換えることを特徴とするものであってもよい。
【００２６】
この場合は、ルックアップテーブルの書き換えに要する時間を比較的短時間で行うことが可能となる。
【００２７】
上記の発明はカラーマネージメントモジュール以外にも、当該モジュールを組み込んだカラーマネージメント装置、当該モジュールを実装した集積回路、また出力信号を表示する表示部を加えた表示装置としても実現可能である。
【発明の効果】
【００２８】
本発明により、入力画像信号に対して、より高精度なカラーマネージメント（色変換、色補正、色域変換等）処理を、応答性を高めて制御することが可能となる。
【発明を実施するための最良の形態】
【００２９】
以下、本発明に係るカラーマネージメントモジュールについて、図面を参照しながら説明する。なお、モジュールとは、ある機能を実現するために集められた要素のまとまりであり、本発明においては目的とするカラーマネージメント処理を実現するための構成要素の集合を意味する。実際には、電子回路や集積回路において、本発明の構成を実現した機能回路部分や、回路ブロック等に該当する。ソフトウェアにおいては、当該機能を実現するプログラムブロック（ライブラリ等）としに該当するものである。
（第１の実施の形態）
図１は本発明の第１の実施の形態によるカラーマネージメントモジュールの構成を示すブロック図である。図１のカラーマネージメントモジュールは、色変換部１１、内挿部１２、画像特徴検出部１３、画像適応連動制御部１４、ルックアップテーブル書き換え部１５を備えており、入力画像信号としてＲＧＢ形式の映像入力信号が入力し、出力信号としてカラーマネージメント処理されたＲＧＢ画像出力信号が出力されるようになっている。
【００３０】
ここでルックアップテーブル（ＬＵＴ）とは、入力値に対して出力値を算出するために利用される参照又は変換のために用いられる対応表で、定義域での入力値に対して算出値が得られるものである。カラーマネージメントモジュールは、この算出値を利用して最終的な出力値を決定する。
【００３１】
また、入力画像信号とは、ここではＴＶやビデオ等の自然画の動画像だけなく、ＣＧによる動画像や、静止画の映像信号も含むものとして考える。
【００３２】
色変換部１１の動作について図２、３、４を用いて説明する。色変換部１１は入力された画像信号の色情報を変換、補正等するものである。本実施の形態では、色変換部１１で３次元ＬＵＴを用いて色変換処理を行う場合を例に説明する。ただ、本発明は、３次元ＬＵＴに限らず他の多次元ＬＵＴを用いた色変換処理でも同様に適用可能である。より高次のＬＵＴを用いた色変換処理を行えば、一般的にはより高精度な色変換処理を行うことも可能である。
【００３３】
３次元ＬＵＴを用いた色変換部１１ではＲＧＢの入力画像信号に対して、図２に示すように所定の３次元色空間を規定し、この色空間の各軸を所定の間隔で等分した単位立方体の各格子点上に変換後の値（プロファイルデータ）がＲＧＢ各々設定されるようになっている。
【００３４】
例えば、ＲＧＢの入力画像信号が、複数ビットからなるデジタルデータで示される場合、入力画像信号の上位ｂｉｔから、各軸をＸ等分したＸの３乗個のうちのどの単位立方体かを選択し、入力画像信号の下位ｂｉｔから３次元内挿（後述）により変換後の値を算出するように動作をするものである。
【００３５】
図２の１単位立方体のＲ信号の一例を拡大したものが図３である。図３に示すようにＲ０００〜Ｒ１１１の８個の格子点データと、入力画像信号の下位ｂｉｔのｌｓｂＲ、ｌｓｂＧ、ｌｓｂＢとから、順に１次元内挿、２次元内挿、３次元内挿と内挿演算を行い最終的にＲａｂｃｄの値を変換後の値として算出する動作を行う。
【００３６】
具体的には、下位ｂｉｔが８ｂｉｔの場合の１次の内挿演算は、
Ｒａ＝（（Ｒ００１−Ｒ０００）×ｌｓｂＲ）／２５６＋Ｒ０００
Ｒｂ＝（（Ｒ０１１−Ｒ０１０）×ｌｓｂＲ）／２５６＋Ｒ０１０
Ｒｃ＝（（Ｒ１０１−Ｒ１００）×ｌｓｂＲ）／２５６＋Ｒ１００
Ｒｄ＝（（Ｒ１１１−Ｒ１１０）×ｌｓｂＲ）／２５６＋Ｒ１１０
の４つの計算を行う。
【００３７】
次に２次の内挿演算は、１次の内挿演算結果を利用して、
Ｒａｂ＝（（Ｒｂ−Ｒａ）×ｌｓｂＧ）／２５６＋Ｒａ
Ｒｃｄ＝（（Ｒｄ−Ｒｃ）×ｌｓｂＧ）／２５６＋Ｒｃ
の計算を行う。
【００３８】
最後に、３次内挿演算として、
Ｒａｂｃｄ＝（（Ｒｃｄ―Ｒａｂ）×ｌｓｂＢ）／２５６＋Ｒａｂ
を計算して、Ｒａｂｃｄを算出する。
【００３９】
図４に上述の内容の演算を行う色変換部１１の基本構成の一例を示す。この例では、入力信号として１４ｂｉｔのＲＧＢ画像信号が入力され、リミッタや正規化処理、Ｂｉｔの分割処理等の前段処理が施され、１６ｂｉｔデータとなったものが、上位５ｂｉｔ、下位１１ｂｉｔに分割される。上位５ｂｉｔをＲＧＢそれぞれの色毎に読み出し制御回路が取り込み、該当する３次元ＬＵＴの読み出しアドレスを決定し、その読み出しアドレスに対応するデータ（プロファイルデータ）が読み込まれる。
【００４０】
一方下位１１ｂｉｔ（ｌｓｂＲ、ｌｓｂＧ、ｌｓｂＢ）は３次元内挿処理に入力され、ｌｓｂＲは１次内挿の内挿係数として、ｌｓｂＧは２次内挿の内挿係数、ｌｓｂＢは３次内挿の内挿係数として、ＲＧＢ各々のＬＵＴから読み出された各格子点データとの間で、上述のような内挿処理が施されて変換処理が行われる。
【００４１】
なお、上記の説明では色変換部１１に３次元ＬＵＴを利用した場合を用いて説明したが、より多次元ＬＵＴを利用して本発明を実現することも可能である。この場合には、より高精度な色変換を行うことが可能となる。
【００４２】
また、上記の説明では色変換部にＬＵＴを利用する場合を用いて説明したが、ＬＵＴから算出される色変換処理が数式等で実現される場合は、ＬＵＴに代えて数式による演算でおこなうことも可能である。この場合には、後述するＬＵＴの書き換えと比較して、数式の変更で色変換処理の内容を変更できるので、より応答性の高いカラーマネージメントモジュールを実現することが可能となる。
【００４３】
一方、ＬＵＴを用いる利点は数式等で表現することが困難な色変換処理を行う場合には、複雑な色変換処理であってもプロファイルデータで表現することができれば、色変換処理の内容を概して特定できることができる利点がある。
【００４４】
また、図２において、ＬＵＴのプロフィルデータの空間を等分に分割することで説明したが、本発明の色変換部１１の多次元ＬＵＴにおいては、不等分割であってもよい。この場合は、一つのＬＵＴで色変換処理を比較的高精度に行う部分と、低精度に行う部分を設けることができる。つまり、一つのＬＵＴにおいて複数の色変換精度を備えたＬＵＴとして実現することも可能である。これにより、色変換処理をより高精度に設定することが可能となる。
【００４５】
内挿部１２は、入力画像信号のＲＧＢ信号と、色変換部１１の３次元ＬＵＴにより変換処理が施されたＲ‘Ｇ‘Ｂ‘出力信号との間で、内挿制御信号によりＲＧＢ信号毎に夫々補間処理を行って重み付け処理を行うものである。また、内挿部１２は、色変換部１１をバイパスした入力画像信号のＲＧＢ信号と、３次元ＬＵＴ処理が施されたＲ‘Ｇ‘Ｂ‘信号との同期を取るため、必要に応じてＲＧＢ信号に対して３次元ＬＵＴ処理に要する時間と同一の遅延を施す処理を必要に応じて行う。
【００４６】
内挿部１２は、後述する画像適応連動制御部１４からの制御信号に基づいてその内挿を行う。入力画像信号ＲＧＢと色変換部１１からのＲ‘Ｇ‘Ｂ‘信号の重ね合わせは図５に示すように様々な方法を用いてよい。図５（ａ）は、ＲＧＢとＲ‘Ｇ‘Ｂ‘の両信号を時刻ｔにおいて、内挿比率を完全に切り替える方法である。これは、切り替え前と後で単純に内挿比率（合成比率）を切り替えることができる方法の一つである。図５（ｂ）は、時間経過とともに線形連続的に内挿比率（内挿係数、合成比率）を変化させる方法である。この場合には、切替を連続的に変化させることができるため、滑らかな内挿（合成）を行うことが可能である。図５（ｃ）は時間の経過とともに多段階的に内挿比率を更新する方法である。この場合には、一定時間間隔毎に内挿比率が変化することとなる。この方法は、入力信号が動画等である場合において、フレーム毎に内挿比率を変化させることができるため、比較的滑らかな内挿を行うことが可能となる。図５（ｄ）は時間とともに非線形連続的に内挿比率を変える方法である。この場合には、内挿比率をより特徴的に制御することとなるため、個々の画像信号により好適な内挿を行うことが可能となる。つまり内挿部１２は、複数の内挿方法をサポートし、それらを切り替えて最適な内挿方法を用いることも可能である。これらいずれの内挿方法を用いるかは画像適応連動制御部１４により制御されるものである。
【００４７】
画像特徴検出部１３は、入力画像信号から当該画像の特徴を抽出するものである。画像の特徴とは種々の観点で抽出することが可能である。図６にその一例を示す。入力画像信号に含まれる特定の色や全ての色の出現頻度を特徴として抽出する色頻度検出部６１、入力される画像信号の色域を特定する色域検出部６２、入力される画像信号に人物の顔を描写されている場合にはそれを検出し画面内での位置等を抽出する顔認識部６３、入力される信号が動画信号である場合は、連続するまたは複数のフレーム（画像）間での変化の大きさを動きベクトル等で検出するベクトル検出部６４、また入力信号から輝度信号のみを抽出する輝度検出部６５等が一例としてある。
【００４８】
色頻度検出部６１について図７を用いて説明する。色頻度検出部６１では、入力されるＲＧＢ色信号を色相、彩度、明度（Ｈｕｅ、Ｓｔａｔｕｒａｔｉｏｎ、Ｖａｌｕｅ）のＨＳＶ色空間に変換したのち、それぞれの色の出現頻度を検出・算出するものである。また、外部から注目すべき色（注目色）として特定の色を指定する、又は、あらかじめ所定の注目すべき色を登録等しておくことで、ＨＳＶ色空間上で指定される注目色として、出現頻度を検出・算出するものであってもよい。ここでは、回路構成等が比較的小さく高精度で指定し易いことから、ＨＳＶ色空間上で検出する構成としているが、これに限るものではなく、その他の色信号や色空間で頻度検出してもよい。
【００４９】
まず、色空間変換部７１は入力されたＲＧＢ色信号の色空間を、ＨＳＶ色空間のＨＳＶの各信号成分に変換する。この色空間変換は例えば下記の演算式によって変換が行われる。
【００５０】
明度信号 Ｖ ＝ ＭＡＸ（Ｒ，Ｇ，Ｂ）
色相信号 Ｈ ＝ ｛ＭＩＤ（Ｒ，Ｇ，Ｂ）−ＭＩＮ（Ｒ，Ｇ，Ｂ）｝
／｛ＭＡＸ（Ｒ，Ｇ，Ｂ）−ＭＩＮ（Ｒ，Ｇ，Ｂ）｝
彩度信号 Ｓ ＝ ｛ＭＡＸ（Ｒ，Ｇ，Ｂ）−ＭＩＮ（Ｒ，Ｇ，Ｂ）｝
／ＭＡＸ（Ｒ，Ｇ，Ｂ）
ここで、ＭＡＸ（Ｒ，Ｇ，Ｂ）はＲＧＢの各信号のうちの最大値、ＭＩＤ（Ｒ，Ｇ，Ｂ）はＲＧＢの各信号のうちの中間値、ＭＩＮ（Ｒ，Ｇ，Ｂ）はＲＧＢの各信号のうちの最小値を表す。
【００５１】
こうして求められたＨＳＶ信号は、明度比較部７２、色相比較部７３、彩度比較部７４に入力され、ＨＳＶの各パラメータ値により外部から任意に設定される複数の注目色の色空間指定の範囲内か否かを判別し、色判定部７５によりそれぞれの色又は指定注目色に該当か否かを判定する。こうして検出したそれぞれの色又は注目色は頻度計数部７６で１画面分の度数が各々算出される。
【００５２】
色域検出部６２は、入力される画像信号の色域を検出するものである。例えば入力画像信号がＢＴ７０９に準拠する信号であるか、ＹＣｒＣｂの拡張規格でありＢＴ７０９よりも色域の広いｘｖＹＣＣ規格形式に準拠する信号であるか等の入力信号の色域又は規格等を識別するものである。この検出により、画像適応連動制御部１４は好適な色変換処理を行うことが可能となる（後述）。
【００５３】
顔認識部６３は、画像に被写体として撮影されている人物の顔を認識し、当該画像内での位置を算出するものである。画像特徴として顔認識を用いることで、人物の顔に適した色変換処理、例えば、肌色を中心とした色域について高精度な色変換処理等を行うことが可能となる。
【００５４】
ベクトル検出部６４は、動画等における連続する各画面（フレーム画面、シーン）間での変化の大きさ等を検出するものである。さらに、各画面上での変化を統計処理等によって特徴を抽出するものであってもよい。各画面間での変化の大きさを検出することで、動画のシーン変化の判定を行うことなどが可能となる。
【００５５】
輝度検出部６５は、入力画像信号の輝度やその平均値、最小値、最大値等、画面全体での輝度レベル等の特徴、またはこれらの時間軸上での変化や統計処理によって得られた特徴等を検出するものである。輝度信号は画像を構成する信号において大きな影響を及ぼす要素のひとつであることから、この特徴をとらえることで画面全体の特徴を検出するのに役立つものである。
【００５６】
以上より、画像特徴検出部１３は、入力された画像信号を様々な観点で分析等することで画像の特徴を抽出し、後段の画像適応連動制御部へ結果を出力するものである。
【００５７】
画像適応連動制御部１４は、画像特徴検出部１３から得られる画像の特徴と予め設定等されている又は外部から入力されるユーザが希望する好みの表示色パターン、出力デバイスのデバイス特性、出力デバイスが設置されている周囲の環境等といった当該カラーマネージメントモジュールの変換特性に影響を及ぼす外部からの要因等である複数の制御情報の入力（図示せず）により、好適な色変換処理及び内挿方法を選択する。この選択に従って、ＬＵＴ書き換え部１５は色変換部１１の多次元ＬＵＴデータを変更する。内挿部１２は、画像適応連動制御部１４により制御された内挿方法により入力される２つの画像信号を合成する。
【００５８】
ＬＵＴ書き換え制御部１５は、色変換部１１の３次元ＬＵＴの任意の一部分または全部のＬＵＴデータを書き換えるものである。色変換部１１の３次元ＬＵＴは、図２のように色空間の各軸をＸ等分したとすると、各色あたりの格子点は（Ｘ＋１）の３乗個のデータをもつこととなる。これがＲＧＢそれぞれにあるため（Ｘ＋１）の３乗の３倍個のデータを有することとなる。モジュール構成にもよるが、例えば各色につき、立方体の８頂点分の８個の空間単位にＲＡＭのメモリ空間を配置させることが考えられる。ＬＵＴ書込み制御部１５はこの合計２４個のメモリ空間の中から、指定された任意の注目色部分等に相当する格子点データのアドレス検索を演算し、メモリ制御を行いＲＡＭへの書込みを制御するものである。
【００５９】
以上のように構成されたカラーマネージメントモジュールにおいて、画像適応連動制御部１４の適応制御を中心にその全体動作を説明する。
【００６０】
（画像適応連動制御の動作例１）
画像特徴検出部１３の色域検出部６２は、入力画像信号の色域又は信号規格を検出する。画像適応連動制御部１４は、色域検出部６２が検出した入力画像信号のもつ色域と当該モジュールの出力側に接続される出力デバイス（図示せず）、例えばディスプレイデバイスの表示色域とに基づいて、ＬＵＴ書き換え部１５を制御し、色変換部１１の３次元ＬＵＴのプロファイルデータを書き換える。
【００６１】
色変換部１１の３次元ＬＵＴのデータ書き換えにより、ＹＣｒＣｂ信号の拡張規格であるｘｖＹＣＣ規格形式の入力画像信号を、当該カラーマネージメントモジュールの出力側に接続されるディスプレイデバイスの表示色域に対応するような色変換処理の例を用いて説明する。ディスプレイデバイスがＢＴ７０９には対応しているが、ＢＴ７０９よりも広い色域を持つｘｖＹＣＣ規格に対応していない場合、ｘｖＹＣＣ規格の入力信号が入力されたディスプレイデバイスは、そのままでは、ｘｖＹＣＣ全体の色域をサポートしていないため、入力信号の一部の範囲の色域しか表示できないこととなる。そのため、色変換部１１では、ｘｖＹＣＣ信号の色域をＢＴ７０９の色域の範囲に変換する色変換処理を行う。
【００６２】
別の例として、ディスプレイデバイスがＢＴ７０９より広い表示色域をもっているデバイスの場合、図４の前段処理において、後段の処理（３次元ＬＵＴ処理等）が持つプロファイルに適合するようにレベル変換等の処理を行う。こうすることで、入力画像信号は、拡張部分であるｘｖＹＣＣの１以上もしくは負の領域値を持つ信号であっても、ディスプレイデバイスの持つ色域に対応させたプロファイルによりカラーマネージメント処理をすることが可能となりＢＴ７０９以外の色域を持つディスプレイデバイスが接続された場合でも、適切な画像（静止画、映像）を表示することができる。
【００６３】
（画像適応連動制御の動作例２）
別の例として、ディスプレイデバイスがＢＴ７０９より広い表示色域をもっているデバイスの場合、ＢＴ７０９色域に対応したｓＲＧＢ規格形式の画像信号が入力されると、ディスプレイデバイスの表示色域を最大限使用せず厳密にＢＴ７０９色域を再現する方法も考えられるが、ディスプレイデバイスの表示色域を最大限有効に利用して仮想的にｓＲＧＢより広い色域を表現する色変換処理を採ることもできる。例えば、ディスプレイデバイスの表示色域の能力にも依るが、ＤＣＩ（Ｄｉｇｉｔａｌ Ｃｉｎｅｍａ Ｉｎｉｔｉａｔｉｖｅｓ)色域に近づけることもできる。そしてこの色変換処理では、このような色変換処理（色域変換）とともにカラーマネージメントの目的に応じた全体の色調の調整、特定の色相の色の強調や抑圧、特定の記憶色の色相、彩度、明度の調整といった、画質調整としての種々の色調整も合わせて行うことが必要となる。
【００６４】
色変換処理が単純に色域変換だけを行う処理内容であるとすると、入力画像信号とディスプレイデバイスの表示色域との兼ね合いを強調しすぎ、色変換処理による弊害も発生してしまうことがある。例えば、上記のｓＲＧＢ規格形式の入力画像信号を、ＢＴ７０９より広い表示色域をもっているデバイスに表示する場合に、仮想的にＤＣＩ色域に近づける色変換処理の例では、表示デバイスの色域のＲやＧをＢＴ７０９より広く広げた色域を用いることで、赤はＢＴ７０９より彩度の高い濃い赤が再現できるようになる。しかしこの場合、全体としての色バランスを考えると、本来の肌色が赤くなり過ぎてしまう等の現象がある。
【００６５】
このような現象は、肌色に限らずその他の色でも同様に生じる可能性がある。特に、桜のピンク、人肌の肌色、草木の緑、青空の青などの記憶色と称される色では、人々が当該対象物に連想する色が実際の色とは異なると違和感が大きいなどの特徴があるため、これらの減少は顕著になる可能性がある。また、ディスプレイデバイスの色域特性との兼ね合いや、設定されるプロファイルがそのカラーマネージメント処理の目的のもとに偏りを持っている場合などにおいて、このような同様の現象が発生してしまうことがある。ここで特に注意すべき点は、この現象はプロファイルだけに要因するものではなく、入力信号形式や表示デバイスの色域特性、更にはカラーマネージメントモジュール以外の映像信号処理の設定なども関連し要因しているもので、映像ディスプレイ装置全体のトータルシステムとして弊害や違和感が発生し得るものであるということである。
【００６６】
そのため、上記のような例では予め設定された色変換処理だけでは十分な最適化ができず、その色変換処理本来の処理目的を優先させると、逆に一方で別の減少をもたらすような場合も発生することとなる。そこで、本発明では表示映像の状態に最適化させて、上記のような現象の発生を低減するようにしたり、より効果的となるように、適宜色変換処理の一部分を変更するものである。
【００６７】
そこで、上記の例の場合の動作を説明する。まず、色変換部１１には、ｓＲＧＢ規格形式の入力画像信号を仮想的にＤＣＩ色域に近づける３次元ＬＵＴがあらかじめ設定されているものとする。カラーマネージメントモジュールにｓＲＧＢ（ＢＴ７０９）形式の画像信号が入力されると、画像特徴検出部１３は入力された画像信号の特徴を検出する。具体的には、色域検出部６２で当該入力画像信号がＢＴ７０９形式であることを検出する。
【００６８】
画像適応連動制御部１４は、色変換部１１にすでにＢＴ７０９の色域をＤＣＩの色域に変換する３次元ＬＵＴが設定されているため、ＬＵＴ書き換え部１５を制御してＬＵＴデータの変更を行う必要はない。
【００６９】
また、画像特徴検出部１３の色頻度検出部は、入力画像信号の肌色の出現頻度を検出する。画像適応連動制御部１４は、肌色の出現頻度が一定の比率以上になった場合、あるいは一定の比率以下になった場合等に色変換部１１の３次元ＬＵＴのデータを更新すべきと判断する。この判断によりＬＵＴ書き換え部１５に色変換部１１の３次元ＬＵＴデータの変更を指示し、ＬＵＴ書き換え部１５はその指示に従って色変換部１１の処理内容（３次元ＬＵＴデータ）を変更する。この場合の変更されるＬＵＴデータは、ＢＴ７０９からＤＣＩへ色域変換するとともに、肌色の赤みを抑制することを目的とするものである。
【００７０】
画像適応連動制御部１４は、ＬＵＴ書き換え部１５へ３次元ＬＵＴデータの変更を指示するとともに、内挿部１２へ色変換部１１からの画像信号と入力画像信号の合成比率を変化させる（弱める）制御を行う。このＬＵＴデータの変更には一定時間の処理時間を要するため、データ変更中に色変換部１１から出力される画像信号の影響を抑制するため等に行うものである。
【００７１】
ＬＵＴ書き換え部１５によるデータ変更が完了すれば、画像適応連動制御部１５は内挿部１２を制御し、再度色変換部１１からの画像信号を出力信号とする。このときには、色変換部１１では、入力画像に好適（この場合は、肌色を含む画像に好適）な色変換処理を行う３次元ＬＵＴが設定されているので肌色が赤みがかる現象が改善される。
【００７２】
上記のような動作により、本カラーマネージメントモジュールは入力画像の画像信号に応じて高精度で応答性の高い色変換制御をおこなうことが可能となる。
【００７３】
なお、上記の例において、色頻度検出６１で肌色の検出を検知するものとしたが、顔認識部６３による人物の顔を検出することで、同様のＬＵＴデータ書き換え制御を画像適応連動制御部１４は行ってもよい。さらに、これら複数の特徴検出の結果を用いて制御をおこなってもよい。この場合にもより高精度な色変換処理を行うことが可能となる。
【００７４】
（画像適応連動制御の動作例３）
画像特徴検出部１３のベクトル検出部６４で、動きベクトル算出により複数の画像（フレーム）間で変化が一定以上であることを検出した場合の画像適応連動制御部１４の動作例を説明する。
【００７５】
ベクトル検出部６４が一定以上の画像間の変化の大きさ（シーン変化）を検出すると、画像適応連動制御部１４は、合わせて色頻度検出部６１からシーン変化後の画像の色情報を取得する。画像適応連動制御部１４は、色頻度検出部６１から取得した色情報によりシーン変化後に好適な色変換処理の内容を判断する。例えば、全般的に暗いシーンから明るいシーンへ変化した場合等には、それに応じた色変換処理を行うものである。
【００７６】
画像適応連動制御部１４は、シーン変化後の色情報にもとづいて好適な３次元ＬＵＴデータを選択し、色変換部１１のデータ更新をＬＵＴ書き換え部１５を介して制御する。この際、上記の例と同様に内挿部１２へも合成比率の制御をおこなうことで、データ変更中又はデータ更新後、色変換部１１からの出力信号の影響度を制御する。
【００７７】
合成比率の制御は、色変換部１１のデータ更新の内容によって適した方法をとることも可能である。例えば、シーン変化で前後の相関関係が低い場合（３次元ＬＵＴのデータを大きく変更する場合等）は、図５（ａ）に示すように時刻ｔを挟んで、その合成比率を大きく変化させることがよい場合もある。一方、色頻度検出部６１で特定の色（例えば、肌色）の出現頻度が時間とともに低減する場合等は、図５（ｂ）又は（ｃ）のように段階的に合成比率をかえることで、肌色が赤みがかる現象を抑える処理をシーン変化とともに適応させることができる。
【００７８】
また、別の例として、色変換部１１による３次元ＬＵＴの処理を適応制御する例を説明する。例えば、画像特徴検出部１３のベクトル検出部６４により、映像シーンが大きく変化したことを検出した場合には、内挿手段１２に対する内挿制御で、例えば図８に示すようにシーン変化後に内挿係数を制御して、色変換部１１による処理の影響度を一時的に弱める（色変換部１１からの信号割合を減らす）。これにより、色変換部１１の３次元ＬＵＴによる色補正が偏りを持っているような場合に、その偏りが大きく影響するような画像にシーン変化する場合などにおいて、処理の効果が見栄えとして大きく影響しすぎるようになることを軽減して、シーン変化時の違和感を軽減することができる。
【００７９】
より詳細には、画像特徴検出部１３の色頻度検出部６１において検出したＲＧＢの各々の色成分の信号レベルや出現頻度により実際に現在設定している３次元ＬＵＴ変換のプロファイルデータにおける影響度合いを判定する。実際にプロファイルが、特定の色成分に対して強く偏りをもったプロファイルが設定されている場合などにおいては、このような方法で、処理効果での影響度合いが判定できるので、影響が大きいシーンに変化した場合には、図８の色変換部１１による３次元ＬＵＴ処理の影響を弱める度合いを強く（より大きく弱める）し、逆に影響が少ない画像シーンへの変化ならば、図８の弱める度合いは少なく（あまり弱めない）するようにすればよい。
【００８０】
次に、画像適応連動制御部１４に入力される制御情報に応じて、制御状態を変える例について説明する。一例として制御情報として本発明のカラーマネージメントモジュールの出力側に接続されるディスプレイデバイス周辺の照度情報をセンサー等（図示せず）で検出するようにしておき、照度に応じて内挿部１２の内挿係数の制御内容を適応制御させることもできる。例えば、照度が低く暗くなった場合には、色変換部１１による３次元ＬＵＴ処理において色を暗く沈んだ方向に制御しているプロファイルであった場合においては、内挿係数を下げ３次元ＬＵＴ効果を弱める。これにより、入力映像をより高精度にカラーマネージメント処理することでディスプレイデバイスでの視認性を高め、色の違いを認識しやすくすることができる。
【００８１】
逆に照度が高い場合には、明るい条件下でも効果が出るように、内挿係数を上げて３次元ＬＵＴ処理効果をより強調させる。
【００８２】
なお、照度情報以外にも、他の光の情報にもとづいて内挿係数の制御内容を適応制御させることもできる。例えば、ディスプレイデバイスが設置されている周辺の光の色（例えば、照明色）をセンサー等で検出し、ディスプレイデバイスで表示された色が照明色によって影響をうけることをも考慮して制御するものである。これにより、よりユーザが実際に視覚する状態を考慮したカラーマネージメント処理をすることが可能となる。また、他にも光の色温度を用いて同様にカラーマネージメント処理をすることも可能である。
【００８３】
尚、以上説明してきた内挿制御は、色変換部１１の３次元ＬＵＴ処理の処理結果と処理なしの信号との間で重み付け補間を行うものであるから、処理効果の強度調整としても使用できる。本カラーマネージメントモジュールを利用したＴＶなどにおいて、使用者が任意に内挿係数を調整できるようにすることで、３次元ＬＵＴ処理の簡易的な強度調整機能として使用することもできる。
【００８４】
以上説明したように、３次元ＬＵＴ処理とこれをバイパスした系との内挿部１２に対する内挿係数を適応制御させる構成とすることにより、リアルタイムに色変換処理（３次元ＬＵＴ処理）の処理効果の調整と色画質調整をリンクしてシームレスに制御することができる。
【００８５】
なお、本実施の形態においては、色変換部１１、内挿部１２等の間の画像信号をＲＧＢ形式の信号として説明したが、本発明はこれに限定するものではない。例えば、すべての段階で色相、彩度、明度（ＨＳＶ）の色空間で処理を行うのであれば、ＨＳＶの色空間信号で処理をすることも可能である。
（第２の実施の形態）
図９は、本発明の第２の実施の形態によるカラーマネージメントモジュールの構成を示すブロック図である。図９に示すカラーマネージメントモジュールと図１に示すカラーマネージメントモジュールとで異なる点は、本実施の形態において近似計算部１６が追加されている点と、画像適応連動制御部１４の内部動作が変更されている点である。その他の点は図１に示すカラーマネージメントモジュールと同様であるので、同一部分には同一符号を付して詳細な説明は省略する。
【００８６】
近似計算部１６は、入力画像信号をマトリックス演算により色変換処理を行うものである。近似計算部１６での色変換処理はマトリックスによる線形変換であるので、内挿部１２に色変換部１１での３次元ＬＵＴによる色変換処理と、近似計算部１６でのマトリックス処理の両変換による画像信号を入力することが可能となる。
【００８７】
画像適応連動制御部１４による連動制御動作を、図１０を用いて説明する。例えば、画像表示中において、外部より入力される制御情報の照度データが、大きく変化をした場合、照度に適した色変換の処理を行うため、色変換部１１の３次元ＬＵＴデータを書き換えることが望ましい。しかしながら、第１の実施の形態でも説明したようにＬＵＴデータは、比較的大きなデータ量となるため、動作中のＬＵＴデータの書き換えは出力信号の中断、遅延、欠落、若しくは出力される画像信号の乱れ等を生じさせる可能性がある。
【００８８】
そこで、図１０に示すように、色変換部１１の出力信号の影響度が１００の状態（内挿係数ｋが１００）から、内挿係数ｋを制御し０とする。逆に近似計算部１６により色変換処理を施された画像信号は、（１００−ｋ）の内挿係数であるので１００となる。この状態で、ＬＵＴ書き換え部１５により３次元ＬＵＴデータを書き換える。書き換えが終了すると、逆の動作で色変換部１１の出力信号のウェイトを１００となるように戻す。こうすることで、画像表示を停止することなく３次元ＬＵＴデータの書き換えができるとともに、書き換え中の画像信号にも近似計算部１６による色変換処理を施すことができる。そのため、ＬＵＴデータの更新と色変換処理の両者を同時に行うことが可能となる。このとき近似計算部１６では、予め色変換部１１の代替処理となるような近似処理内容を設定しておくのである。
【００８９】
なお、図１０の例では内挿係数ｋを１００から０への制御と、０から１００への制御をほぼ同等の制御方式としたが、特にこれに限定するものではない。例えば、内挿係数ｋの０から１００への変化率を、１００から０への変化率より緩やかにしたり、画像特徴検出部１３で検出した特徴の種類により内挿係数の変化率を変えてもよい。さらに、必ずしも内挿比率を一方（０又は１００）に設定する必要はなく、中間の値、例えば内挿係数を１００から５０の範囲で変化させることも可能である。
【００９０】
尚、ＬＵＴ書き換え部１５は、全ての３次元ＬＵＴデータ（格子点データ）を書き換えるだけではなく、任意の一部分のみを書き換えるものでもよい。この場合は、３次元ＬＵＴデータの一部のみのデータ書き換えで対応できるので、データ書き換え時間が比較的短くなり、より高速に色変換処理を変更することが可能となる。なお、３次元ＬＵＴデータの一部とは、固定であってもよいし、必要に応じてその部分を変えてもよい。必要に応じてＬＵＴデータの書き換え部分を変更する場合は、画像適応連動制御部１４からの制御により、最適な書き換え部分（変更の必要な部分）を特定し、ＬＵＴ書き換え部がデータを書き換えることとなる。
【００９１】
また、第１又は第２の実施の形態では、色変換部１１で３次元ＬＵＴによる処理を示したが、これは３次元ＬＵＴに限定されるものではなく、他のＬＵＴ変換でも同様に実現可能である。例えば、入力信号を一度ＨＳＶ系の色空間に変換し、そこで、任意の２変数、例えば、色相と彩度、色相と照度、彩度と照度のいずれかの２次元のＬＵＴ変換を用いることも可能である。
【００９２】
また、第１又は第２の実施の形態では、入力信号、及び出力信号の形式としてＲＧＢ信号を用いて説明したが、本発明はこれに限定されるものではない。ＲＧＢ信号以外の、色信号でも本発明は実現可能である。
【００９３】
第１又は第２の実施の形態においては、カラーマネージメントモジュールとして説明したが、本発明は当該モジュール以外での実現方法も可能である。例えば、図１又は図８等に示した各処理部を機能単位の電子回路で具現化し、ハードウェアとしての集積回路又は装置として実現することも可能である。
【００９４】
同様に、図１又は図８に示した各処理手段をソフトウェアの機能単位（例えば、処理関数）とすることで、ＣＰＵ又はＤＳＰとメモリ等を用いたハードウェア上で動作するソフトウェアプログラムとしても実現することが可能である。
【００９５】
さらに、第１又は第２の実施の形態の出力側に液晶ディスプレイ、プラズマディスプレイ、ＥＬディスプレイ、ＬＥＤディスプレイ等の表示デバイスを備え、表示装置としても実現することが可能である。この場合には、接続する表示デバイスの特性に応じたカラーマネージメント処理をおこなうことで、より適切な表示を行うことが可能となる。
【産業上の利用可能性】
【００９６】
本発明に係る色補正処理装置およびその処理方法は、ＴＶ等の動画像を表示する映像ディスプレイ装置における、色補正処理を行う多次元ＬＵＴによるカラーマネージメント装置であって、特に入力画像信号の画像的特徴等に応じて、リアルタイムに適応的に色補正処理制御を行う多次元カラーマネージメント処理に適用して有用である。
【図面の簡単な説明】
【００９７】
【図１】本発明の第１実施形態によるカラーマネージメントモジュールの構成を示すブロック図
【図２】３次元ＬＵＴ変換手段の色空間と格子点を説明する概念図
【図３】３次元ＬＵＴ変換手段における３次元内挿演算を説明する概念図
【図４】３次元ＬＵＴ変換手段の構成を示すブロック図
【図５】内挿部での内挿方法を示す図
【図６】画像特徴検出部の構成を示す図
【図７】ＨＳＶ色補正手段の構成を示すブロック図
【図８】映像シーンが大きく変化した場合の内挿制御方法の一例を示す図
【図９】本発明の第２実施形態によるカラーマネージメントモジュールの構成を示すブロック図
【図１０】ＬＵＴ書き換え時における内挿制御方法の一例を説明する図
【符号の説明】
【００９８】
１１ 色変換部
１２ 内挿部
１３ 画像特徴検出部
１４ 画像適応連動制御部
１５ ＬＵＴ書き換え部
１６ 近似計算部
６１ 色頻度検出部
６２ 色域検出部
６３ 顔認識部
６４ ベクトル検出部
６５ 輝度検出部
７１ 色空間変換部
７２ 明度比較部
７３ 色相比較部
７４ 彩度比較部
７５ 色判定部
７６ 頻度係数部
【特許請求の範囲】
【請求項１】
入力された画像信号の色情報を多次元ルックアップテーブルにより変換する色変換部と、前記色変換部で変換された画像信号と、前記入力された画像信号を任意の比率で合成し、合成画像信号を出力する内挿部と、
前記色変換部における多次元ルックアップテーブルのデータを変更するルックアップテーブル書き換え部とを備えることを特徴とするカラーマネージメントモジュール。
【請求項２】
請求項１に記載のカラーマネージメントモジュールにおいて、
前記入力される画像信号から画像特徴を検出する画像特徴検出部と、
前記画像特徴に基づいて前記内挿部又は前記ルックアップテーブル書き換え部の少なくとも一つを制御する画像適応連動制御部とを備えることを特徴とするカラーマネージメントモジュール。
【請求項３】
入力された画像信号の色情報を多次元ルックアップテーブルにより変換する色変換部と、
入力された画像信号をマトリックス演算により、線形処理する近似計算部と、
前記色変換部で変換された画像信号と、前記近似計算部で線形処理された画像信号を任意の比率で合成し、合成画像信号を出力する内挿部と、
前記色変換部における多次元ルックアップテーブルのデータを変更するルックアップテーブル書き換え部とを備えることを特徴とするカラーマネージメントモジュール。
【請求項４】
請求項３に記載のカラーマネージメントモジュールにおいて、
前記入力される画像信号から画像特徴を検出する画像特徴検出部と、
前記画像特徴に基づいて前記内挿部、前記ルックアップテーブル書き換え部又は近似計算部の少なくとも一つを制御する画像適応連動制御部とを備えることを特徴とするカラーマネージメントモジュール。
【請求項５】
請求項２又は４のいずれかに記載のカラーマネージメントモジュールにおいて、
前記画像適応連動制御部は、前記内挿部を制御する際に、前記画像特徴に基づいて前記合成画像信号の合成比率の時定数を制御することを特徴とするカラーマネージメントモジュール。
【請求項６】
請求項２又は４のいずれかに記載のカラーマネージメントモジュールにおいて、
前記画像特徴検出部は、前記入力された画像信号の所定の色の出現頻度を画像特徴として検出する色頻度検出部を備えることを特徴とするカラーマネージメントモジュール。
【請求項７】
請求項２又は４のいずれかに記載のカラーマネージメントモジュールにおいて、
前記画像特徴検出部は、前記入力された画像信号から複数の画像間の画像変化の大きさを動きベクトルにより画像特徴として検出するベクトル検出部を備えることを特徴とするカラーマネージメントモジュール。
【請求項８】
請求項２又は４のいずれかに記載のカラーマネージメントモジュールにおいて、
前記画像特徴検出部は、前記入力された画像信号から該画像信号の色域の範囲を画像特徴として検出する色域検出部を備えることを特徴とするカラーマネージメントモジュール。
【請求項９】
請求項２又は４のいずれかに記載のカラーマネージメントモジュールにおいて、
前記画像特徴検出部は、前記入力された画像信号から画像内に人物の顔が含まれることを画像特徴として検出する顔認識部を備えることを特徴とするカラーマネージメントモジュール。
【請求項１０】
請求項２又は４のいずれかに記載のカラーマネージメントモジュールにおいて、
前記ルックアップテーブル書き換え部は、前記色変換部の多次元ルックアップテーブルの一部のみを書き換えることを特徴とするカラーマネージメントモジュール。
【請求項１１】
請求項１乃至１０のいずれかに記載のカラーマネージメントモジュールを組み込んだカラーマネージメント装置。
【請求項１２】
請求項１乃至１０のいずれかに記載のカラーマネージメントモジュールを組み込んだ集積回路。
【請求項１３】
請求項１乃至１０のいずれかに記載のカラーマネージメントモジュールと、該カラーマネージメントモジュールからの出力信号を入力し画像を出力する表示部を備えた表示装置。
【請求項１】
入力された画像信号の色情報を多次元ルックアップテーブルにより変換する色変換部と、前記色変換部で変換された画像信号と、前記入力された画像信号を任意の比率で合成し、合成画像信号を出力する内挿部と、
前記色変換部における多次元ルックアップテーブルのデータを変更するルックアップテーブル書き換え部とを備えることを特徴とするカラーマネージメントモジュール。
【請求項２】
請求項１に記載のカラーマネージメントモジュールにおいて、
前記入力される画像信号から画像特徴を検出する画像特徴検出部と、
前記画像特徴に基づいて前記内挿部又は前記ルックアップテーブル書き換え部の少なくとも一つを制御する画像適応連動制御部とを備えることを特徴とするカラーマネージメントモジュール。
【請求項３】
入力された画像信号の色情報を多次元ルックアップテーブルにより変換する色変換部と、
入力された画像信号をマトリックス演算により、線形処理する近似計算部と、
前記色変換部で変換された画像信号と、前記近似計算部で線形処理された画像信号を任意の比率で合成し、合成画像信号を出力する内挿部と、
前記色変換部における多次元ルックアップテーブルのデータを変更するルックアップテーブル書き換え部とを備えることを特徴とするカラーマネージメントモジュール。
【請求項４】
請求項３に記載のカラーマネージメントモジュールにおいて、
前記入力される画像信号から画像特徴を検出する画像特徴検出部と、
前記画像特徴に基づいて前記内挿部、前記ルックアップテーブル書き換え部又は近似計算部の少なくとも一つを制御する画像適応連動制御部とを備えることを特徴とするカラーマネージメントモジュール。
【請求項５】
請求項２又は４のいずれかに記載のカラーマネージメントモジュールにおいて、
前記画像適応連動制御部は、前記内挿部を制御する際に、前記画像特徴に基づいて前記合成画像信号の合成比率の時定数を制御することを特徴とするカラーマネージメントモジュール。
【請求項６】
請求項２又は４のいずれかに記載のカラーマネージメントモジュールにおいて、
前記画像特徴検出部は、前記入力された画像信号の所定の色の出現頻度を画像特徴として検出する色頻度検出部を備えることを特徴とするカラーマネージメントモジュール。
【請求項７】
請求項２又は４のいずれかに記載のカラーマネージメントモジュールにおいて、
前記画像特徴検出部は、前記入力された画像信号から複数の画像間の画像変化の大きさを動きベクトルにより画像特徴として検出するベクトル検出部を備えることを特徴とするカラーマネージメントモジュール。
【請求項８】
請求項２又は４のいずれかに記載のカラーマネージメントモジュールにおいて、
前記画像特徴検出部は、前記入力された画像信号から該画像信号の色域の範囲を画像特徴として検出する色域検出部を備えることを特徴とするカラーマネージメントモジュール。
【請求項９】
請求項２又は４のいずれかに記載のカラーマネージメントモジュールにおいて、
前記画像特徴検出部は、前記入力された画像信号から画像内に人物の顔が含まれることを画像特徴として検出する顔認識部を備えることを特徴とするカラーマネージメントモジュール。
【請求項１０】
請求項２又は４のいずれかに記載のカラーマネージメントモジュールにおいて、
前記ルックアップテーブル書き換え部は、前記色変換部の多次元ルックアップテーブルの一部のみを書き換えることを特徴とするカラーマネージメントモジュール。
【請求項１１】
請求項１乃至１０のいずれかに記載のカラーマネージメントモジュールを組み込んだカラーマネージメント装置。
【請求項１２】
請求項１乃至１０のいずれかに記載のカラーマネージメントモジュールを組み込んだ集積回路。
【請求項１３】
請求項１乃至１０のいずれかに記載のカラーマネージメントモジュールと、該カラーマネージメントモジュールからの出力信号を入力し画像を出力する表示部を備えた表示装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【公開番号】特開２０１０−１１８８８１（Ｐ２０１０−１１８８８１Ａ）
【公開日】平成２２年５月２７日（２０１０．５．２７）
【国際特許分類】
【出願番号】特願２００８−２９０５３８（Ｐ２００８−２９０５３８）
【出願日】平成２０年１１月１３日（２００８．１１．１３）
【出願人】（０００００５８２１）パナソニック株式会社 (73,050)
【Ｆターム（参考）】
【公開日】平成２２年５月２７日（２０１０．５．２７）
【国際特許分類】
【出願日】平成２０年１１月１３日（２００８．１１．１３）
【出願人】（０００００５８２１）パナソニック株式会社 (73,050)
【Ｆターム（参考）】
[ Back to top ]