情報処理装置及び情報処理方法
【課題】デバイスによる入力画像の再現を適正に行うことを目的とする。
【解決手段】情報処理装置(101)が、デバイスに依存する色情報からデバイスに依存しない色情報への変換を入力画像データについて行い、変換した入力画像データに係るデバイスに依存しない色情報に基づいて、入力画像データの色度データを算出し、算出した色度データに対応する色温度を保持しつつ、色度データを補正し、補正した色度データに基づいて、入力画像データを補正することによって課題を解決する。
【解決手段】情報処理装置(101)が、デバイスに依存する色情報からデバイスに依存しない色情報への変換を入力画像データについて行い、変換した入力画像データに係るデバイスに依存しない色情報に基づいて、入力画像データの色度データを算出し、算出した色度データに対応する色温度を保持しつつ、色度データを補正し、補正した色度データに基づいて、入力画像データを補正することによって課題を解決する。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、情報処理装置及び情報処理方法に関し、特に入力した画像の色再現を行うために用いて好適なものである。
【背景技術】
【0002】
従来、ビデオカメラ、デジタルカメラ等で撮影した画像について、画像の色がより自然となるように画像を補正する処理としてホワイトバランス処理と称される画像処理が一般的に行われている。ホワイトバランス処理は、一般的に、画像データのR/G/B各成分の信号値のバランスを調整する画像処理である。例えば、ホワイトバランス処理では、画像データを解析し、画像ハイライト部の色の偏りを検出し、当該画像ハイライト部のR/G/B各成分の信号値の比率が1:1:1となるようにR/G/B各成分の信号値のバランスを相対的に調整する。
【0003】
近年、ホワイトバランス処理として、画像ハイライト部の色の偏りに応じてホワイトバランス補正の度合いを調整し、画像データを補正する画像処理方法が提案されている(特許文献1を参照)。
ここで、ホワイトバランスに関連して色温度について説明しておく。色温度は、完全黒体を熱したときに完全黒体から放射される放射光の色に対応し、その色と温度とは1対1に関係付けられ、完全黒体の温度が高くなるにつれて、色度が赤から白、さらに青の方向に変化する。このため、画像全体の赤みが強い場合は「色温度が低い」、画像全体の青みが強い場合は「色温度が高い」といった表現がされる。
なお、デジタルカメラで撮影した画像のホワイトバランスを調整する際には、R/G/B各成分の信号値のバランスを調整する方法以外に、この色温度を調整する方法によって、ホワイトバランスの調整が行える。例えば、撮影した画像の赤みが強い場合には色温度を高く調節することで赤みをとることができる。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開平11-317959号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかしながら、画像のホワイトバランスを色温度によって調整する従来の方法では、赤み−青み方向の調節はできるが、黒体放射軌跡と離れる緑方向に調節することはできない。また、色温度を保持したまま緑成分のみを調節することは難しいため、R/G/B各成分の信号値のバランスで緑成分を調節しようとすると、色みの調節に多大な労力が必要となる。
また、特許文献1に記載の技術では、画像データのRGBデータからホワイトバランスを算出してホワイトバランス補正処理を行っているが、実際に画像データを再現するデバイスの特性等が考慮されていない。このため、画像データの使用環境によって画像が好適に再現されない問題が生じ得る。
【0006】
本発明はこのような問題点に鑑みなされたもので、デバイスによる入力画像の再現を適正に行うことを目的とする。
【課題を解決するための手段】
【0007】
そこで、本発明は、情報処理装置が、デバイスに依存する色情報から前記デバイスに依存しない色情報への変換を入力画像データについて行う変換手段と、前記変換手段で変換された前記デバイスに依存しない色情報に基づいて、前記入力画像データの色度データを算出する算出手段と、前記算出手段で算出された色度データに対応する色温度を保持しつつ、前記色度データを補正する補正手段と、前記補正手段で補正された色度データに基づいて、前記入力画像データを補正する画像補正手段と、を備えることを特徴とする。
【発明の効果】
【0008】
本発明によれば、デバイスによる入力画像の再現を適正に行うことができる。
【図面の簡単な説明】
【0009】
【図1】情報処理装置の構成を示す図である。
【図2】情報処理装置における例示的な処理の流れを示す図である。
【図3】デバイス特性取得部が取得するファイル形式の例を示す図である。
【図4】画像データ解析部における例示的な処理の流れを示す図である。
【図5】画像データ解析部により作成されるヒストグラムの例を示す図である。
【図6】ホワイトバランス算出部における例示的な処理の流れを示す図である。
【図7】ホワイトバランス補正部における例示的な処理の流れを示す図である。
【図8】画像変換処理部における例示的な処理の流れを示す図である。
【図9】観察環境パラメータを示す図である。
【図10】第2の実施形態の情報処理装置の構成を示す図である。
【図11】第2の実施形態の情報処理装置における例示的な処理の流れを示す図である。
【図12】第2の実施形態のホワイトバランス算出部における例示的な処理の流れを示す図である。
【図13】画像の色みを調整するためにユーザに表示するUIの例を示す図である。
【図14】第3の実施形態のホワイトバランス補正部における例示的な処理の流れを示す図である。
【図15】ホワイトバランス調整の色度データを例示する図である。
【発明を実施するための形態】
【0010】
以下、本発明の実施形態について図面に基づいて説明する。
【0011】
(第1の実施形態)
図1は、本発明の第1の実施形態に係る情報処理装置101の構成を示す図である。まず、図1(a)を参照して、情報処理装置101のハードウェア構成について説明する。
【0012】
情報処理装置101は、CPU(Central Processing Unit)1及び記憶装置2を含んで構成される。なお、情報処理装置101が備える各装置は、互いに通信可能に構成され、バス等により接続されている。CPU1は、情報処理装置101の動作をコントロールし、記憶装置2に格納されたプログラムの実行等を行う。記憶装置2は、磁気記憶装置、半導体メモリ等のストレージデバイスであり、CPU1の動作に基づき読み込まれたプログラム、長時間記憶しなくてはならないデータ等を記憶する。本実施形態では、CPU1が、記憶装置2に格納されたプログラムの手順に従って処理を行うことによって、情報処理装置101における機能及び後述するフローチャートに係る処理が実現される。
なお、情報処理装置101のハードウェア構成は、上述した構成に限られるものではない。例えば、情報処理装置101は、各種の指示を入力するマウス、キーボード、タッチパネルデバイス、ボタン等の入力装置を備えてもよい。また、例えば、情報処理装置101は、各種の情報を出力する液晶パネル、外部モニタ等の出力装置を備えてもよい。また、例えば、情報処理装置101は、各種の装置間で通信を行うためのI/O装置を備えてもよい。I/O装置は、メモリカード、USBケーブル等の入出力部、有線、無線等による送受信部等である。
【0013】
次に、図1(b)を参照して、情報処理装置101の機能構成について説明する。情報処理装置101は、画像データ取得部103、デバイス特性取得部105、画像データ解析部106、UI部107、投影部108、ホワイトバランス算出部109、ホワイトバランス補正部110、及び画像変換処理部111を含んで構成される。
【0014】
画像データ取得部103は、変換元画像データ(換言するならば、入力画像データ)であるRGB画像データを保持する画像データ保持装置102から変換元画像データであるRGB画像データを取得する。デバイス特性取得部105は、デバイス特性データを保持するデバイス特性保持装置104からデバイス特性データを取得する。画像データ解析部106は、RGB画像データを解析する。UI部107は、UI(user interface)を表示装置等の出力装置(図示せず。)に出力する。投影部108は、画像変換処理が施されたRGB画像データを出力装置に出力、スクリーン(図示せず。)に投影等する。ホワイトバランス算出部109は、RGB画像データのホワイトバランスを算出する。ホワイトバランス補正部110は、ホワイトバランスを補正する。画像変換処理部111は、色知覚モデルを用いて、RGB画像データを変換する。バッファメモリ部112は、記憶装置2に設けられる記憶領域であり、画像データ、演算処理を行うために一時的に演算結果等を記憶する。
なお、情報処理装置101は、画像データ保持装置102及びデバイス特性保持装置104の何れか一方又は双方を備えてもよい。
【0015】
<情報処理装置101における動作>
図2は、情報処理装置101にて実行される処理に係るフローチャートの一例を示す図である。なお、以下のフローチャートによる処理は、情報処理装置101が備えるCPU1が、記憶装置2に記憶されている制御プログラムを実行すること等によって実現される。
【0016】
ステップS1において、画像データ取得部103は、変換元画像データであるRGB画像データを画像データ保持装置102から取得し、バッファメモリ部112に取得したRGB画像データを格納する。
ステップS2において、画像データ解析部106は、ステップS1で取得されたRGB画像データを解析し、RGB画像データのヒストグラムを作成する。なお、画像データ解析部106の具体的な処理については後述する。
【0017】
ステップS3において、デバイス特性取得部105は、デバイス特性保持装置104からデバイス特性データを取得する。デバイス特性データは、デバイス(プロジェクタ等)に依存する色情報であるデバイス依存色(RGB)からデバイスに依存しない色情報であるデバイス独立色(XYZ)への変換特性が関連付けられて記述されたファイル(特性情報)である。変換特性は、例えば、RGBからXYZへのγ+3×3変換マトリクス、又は変換ルックアップテーブル(LUT)として記述される。本実施形態では、LUTを使用し、例えば、図3に示すフォーマットのように均等格子点に並んだRGB値とXYZ値との対応関係がLUTに記述され、この対応関係に基づいて四面体補間等することでRGB値をXYZ値に変換する。なお、本実施形態で採用するLUTのデータは、暗黒環境下でデバイスの投影色を測定した値である。
【0018】
ステップS4において、変換手段及び算出手段の一例であるホワイトバランス算出部109は、ステップS2で取得されたRGB画像データのヒストグラムとステップS3で取得されたデバイス特性データとに基づいてホワイトバランスを算出する。なお、ホワイトバランス算出部109がホワイトバランス(換言するならば、RGB画像データの色度データ)を算出する具体的な処理については後述する。
ステップS5において、補正手段の一例であるホワイトバランス補正部110は、ステップS4で算出されたホワイトバランスと黒体放射軌跡データとを用いてホワイトバランスを補正する。なお、ホワイトバランス補正部110の具体的な処理については後述する。
【0019】
ステップS6において、画像補正手段の一例である画像変換処理部111は、ステップS5で補正されたホワイトバランスを用いてRGB画像データを補正する。なお、画像変換処理部111の具体的な処理については後述する。
ステップS7において、投影部108は、ステップS6において補正されたRGB画像データをスクリーンに投影等し、処理を終了する。
【0020】
なお、情報処理装置101が処理を行う手順は、これに限られるものではない。例えば、ステップS3の処理は、ステップS1の処理の前に行ってもよく、情報処理装置101が処理を行う手順を適宜変更することができる。
【0021】
<画像データ解析部106の動作>
図4は、ステップS2における画像データ解析部106の具体的な処理に係るフローチャートの一例を示す図である。
【0022】
ステップS21において、画像データ解析部106は、バッファメモリ部112からRGB画像データを1画素分取得し、取得したRGB画像データのRGB値をバッファメモリ部112に設けられるヒストグラム保持部(図示せず。)に保持する。
ステップS22において、画像データ解析部106は、ステップS21で取得したRGB画像データのRGB値に基づきヒストグラム保持部に保持されているヒストグラムを更新する。ヒストグラム保持部には、R/G/B各成分の信号値(RGB値)を格納するHistR[R]、HistG[G]、HistB[B]と、当該信号値を有する画素の出現頻度との関係がヒストグラムとして保持されている。HistR[R]、HistG[G]、HistB[B]の初期状態は、全て0である。ヒストグラムは、下記の式(a)に従って更新される。
【0023】
【数1】
【0024】
ステップS23において、画像データ解析部106は、ヒストグラムの更新がRGB画像データの全画素について終了したかどうかを判断し、全てのヒストグラムの更新が終了している場合は、ステップS24の処理を行う。他方、全てのヒストグラムの更新が終了していない場合は、画像データ解析部106は、ステップS21に処理を戻し、再び処理を続ける。
ステップS24において、画像データ解析部106は、ステップS23で作成したヒストグラムをバッファメモリ部112に保存する。なお、図5に、ステップS2で作成されたヒストグラムを例示する。
【0025】
<ホワイトバランス算出部109の動作>
図6は、ステップS4におけるホワイトバランス算出部109の具体的な処理に係るフローチャートの一例を示す図である。
【0026】
ステップS41において、ホワイトバランス算出部109は、ステップS2で作成されたRGB画像データのヒストグラムをバッファメモリ部112から取得する。
ステップS42において、ホワイトバランス算出部109は、ステップS41で取得したヒストグラムのハイライト領域において出現頻度の最も高いR/G/B各成分の信号値をホワイトバランス補正の際に使用するRGB値として取得する。ヒストグラムのハイライト領域とは、例えば、ヒストグラムにおけるHistR[R]、HistG[G]、HistB[B]の上側5%の領域をいう。
【0027】
ステップS43において、ホワイトバランス算出部109は、ステップS42で取得したRGB値をステップS2で取得されたデバイス特性に基づいて色度データに変換する。色度データ(xy色度値)は、ステップS42で取得したRGB値をデバイス特性に基づきXYZ値に変換し、XYZ値を用いて下記の式(b)に従って算出される。
【0028】
【数2】
【0029】
ステップS44において、ホワイトバランス算出部109は、ステップS43で算出した色度データをバッファメモリ部112に格納する。
【0030】
<ホワイトバランス補正部110の動作>
図7は、ステップS5におけるホワイトバランス補正部110の具体的な処理に係るフローチャートの一例を示す図である。
【0031】
ステップS51において、ホワイトバランス補正部110は、バッファメモリ部112からステップS4で算出された色度データを取得する。
ステップS52において、ホワイトバランス補正部110は、下記の式(c)を用いてステップS51で取得した色度データにおける相関色温度(T)を算出する。
【0032】
【数3】
【0033】
ステップS53において、ホワイトバランス補正部110は、ステップS52で算出した相関色温度に対応する黒体放射軌跡上の色度データを下記の式(d)を用いて算出する。このように、ここでは、ステップS52で算出した相関色温度と等しい相関色温度についての色度データの軌跡で表された相関色温度線と、黒体放射軌跡との交点の色度データを求めるようにしている。しかしながら、必ずしもこのようにする必要はない。例えば、ホワイトバランス補正部110は、ステップS4で算出された色度データが黒体放射軌跡から離れている場合、相関色温度線に沿って、黒体放射軌跡上に又は黒体放射軌跡に近づく方向に当該色度データを補正してもよい。すなわち、ホワイトバランス補正部110は、より広義には、色度データに対応する色温度を一定に保った状態で色度データを補正する。
【0034】
【数4】
【0035】
ステップS54において、ホワイトバランス補正部110は、ステップS53で算出した色度データをバッファメモリ部112に保存する。
【0036】
<画像変換処理部111の動作>
図8は、ステップS6における画像変換処理部111の動作の具体的な処理に係るフローチャートの一例を示す図である。
【0037】
ステップS61において、画像変換処理部111は、バッファメモリ部112からRGB画像データのRBG値を1画素分取得する。
ステップS62において、画像変換処理部111は、バッファメモリ部112からデバイス特性データを取得し、デバイス特性データに基づいてRGB画像データのRGB値をXYZ値に変換する。
ステップS63において、画像変換処理部111は、フォワードアピアランスモデルを用いてXYZ値を知覚色データに変換する。なお、具体的な変換式については後述する。また、変換式に必要な観察環境パラメータについては、白色点には、ステップS4で算出した色度データを設定し、他のパラメータについてはCIECAM02の推奨パラメータを設定する。
【0038】
ステップS64において、画像変換処理部111は、逆アピアランスモデルを用いて、ステップS63で算出した知覚色データをX'Y'Z'値に変換する。また、変換式に必要な観察環境パラメータについては、白色点には、ステップS5で補正した色度データを設定し、他のパラメータについてはCIECAM02の推奨パラメータを設定する。
ステップS65において、画像変換処理部111は、バッファメモリ部112からデバイス特性データを取得し、デバイス特性データに基づいてステップS64で算出したX'Y'Z'値をR'G'B'値に変換する。
【0039】
ステップS66において、画像変換処理部111は、画像変換を全画素について終了したかどうかを判断し、全ての画像変換が終了している場合は、処理を終了する。他方、全ての画像変換が終了していない場合は、画像変換処理部111は、ステップS61に処理を戻し、処理を続ける。
ステップS67において、画像変換処理部111は、ステップS61からステップS66で変換されたR'G'B'値をバッファメモリ部112に格納する。
すなわち、画像変換処理部111は、補正された色度データをパラメータとする知覚モデルを適用してRGB画像データに係るX'Y'Z'値(デバイスに依存しない色情報)を算出する。そして、画像変換処理部111は、デバイス特性データに基づいて、算出した全てのX'Y'Z'値について、X'Y'Z'値をX'Y'Z'値に対応するR'G'B'値(デバイスに依存する色情報)に変換することにより、RGB画像データを補正する。
【0040】
ここで、アピアランスモデル(CIECAM02)の変換式とアピアランスモデルの観察条件パラメータとについて説明する。
<アピアランスモデル(CIECAM02)の変換式>
CIECAM02(順変換)における処理フローを色順応部、錐体応答部、心理値変換部の3つの変換部に分けて説明する。
色順応部では、(1)式でXYZ値を錐体の分光感度に変換し、(3)式で各錐体の信号を光源の白色点の値で正規化を行う。順応係数Dは(4)式で算出される。最後に(2)式を用いることで、観察環境下の光源に対応したXYZ値に変換する。
【0041】
【数5】
【0042】
錐体応答部では、(5)式でXYZ値を錐体の分光感度に変換し、(6)式で目に入る光量の強度に応じた、順応後の錐体応答値に変換する。
【0043】
【数6】
【0044】
心理値変換部では、(7)、(8)、(9)式を用いて、錐体応答値を視覚野での無彩色応答と反対色応答との信号値に変換し、この信号値を(10)、(11)、(12)式を用いて知覚明度J値、知覚彩度C値、知覚色相h値に変換する。
【0045】
【数7】
【0046】
なお、CIECAM02逆変換部では、観察環境により観察条件パラメータを設定し、順変換の工程で新たに無彩色応答Awを計算し、Aw、JCh値、かかる係数から順変換部の逆工程を行うことで、知覚色データからXYZ値への変換が行われる。
【0047】
<色知覚モデル(CIECAM02)の観察条件パラメータ>
図9は、CIECAM02において推奨されている観察条件パラメータを示す図である。図9に示す周囲の条件averageは、平均的な周辺(周辺の相対輝度が対象シーンの中の白色の20%以上であること)を示す。また、周囲の条件dimは、薄暗い周辺(周辺の相対輝度が対象シーンの中の白色の20%以下であること)を示す。また、周囲の条件darkは、暗黒周辺(周辺の相対輝度が対象シーンの中の白色の0%であること)を示す。なお、本実施形態では、順変換時の白色にはステップS4で算出した色度データに基づくXYZ値、逆変換時の白色にはステップS5で算出した色度データに基づくXYZ値を用いる。その他のパラメータについてはCIECAM02の推奨パラメータを使用する。
【0048】
<第1の実施形態の効果の例>
本実施形態の情報処理装置101は、入力画像の画像情報を解析し、デバイス特性に関連付けてホワイトバランスを算出し、ホワイトバランスを相関色温度線に従って黒体放射軌跡上に補正する。この構成によれば、従来に比べ、入力画像に対応する色温度を保持したままホワイトバランスを補正すること、すなわち色みを容易に調整することが可能となることに加え、実際にデバイスを用いて鑑賞するシーンで好適な画像を再現することができる。
【0049】
(第2の実施形態)
第2の実施形態では、第1の実施形態の処理に加えて、投影面に照明光が写りこむ影響を考慮してホワイトバランスを補正する処理が行われる。そこで、本実施形態では、照明光を取得する部を備えた変更点等、第1の実施形態との差異について説明する。
【0050】
図10は、第2の実施形態に係る情報処理装置101の構成を示す図である。なお、図10において、第1の実施形態に係る情報処理装置101と同一の部分については、図1に付した符号と同一の符号を付している。また、図10に示すように、第2の実施形態に係る情報処理装置101は、照明データ取得部114を備える点が第1の実施形態に係る情報処理装置101と異なる。照明データ取得部114は、照明データを計測する測定器113から照明データを取得する。なお、情報処理装置101が測定器113を備える構成を採用してもよい。
【0051】
<情報処理装置101における動作>
図11は、情報処理装置101にて実行される処理に係るフローチャートの一例を示す図である。図11を参照して、第2の実施形態に特有の処理であるステップS14及びステップS15の処理について説明する。なお、その他のステップS11からS13までの処理、及びステップS16からS18までの処理については、それぞれ第1の実施形態で説明した図2のステップS1からS3までの処理、及びステップS5からS7までの処理と同様であるので説明を省略する。
【0052】
ステップS14において、照明データ取得部114は、測定器113を用いて投影面のXYZ値を測定する。なお、投影面には測定用としてR=0、G=0、B=0の黒(基準色)の色票を表示し、実際に画像(すなわち、基準画像データ)を視聴する環境下で投影面のXYZ値の測定を行う。
【0053】
ステップS15において、ホワイトバランス算出部109は、ホワイトバランスを算出する。すなわちホワイトバランス算出部109は、ステップS12で取得したRGB画像データのヒストグラムと、ステップS13で取得したデバイス特性データと、ステップS14で測定した値に基づく照明光の写りこみ量とを用いてホワイトバランスを算出する。なお、ホワイトバランス算出部109の具体的な処理については後述する。
【0054】
<ホワイトバランス算出部109における動作>
図12は、ステップS15における算出手段の一例であるホワイトバランス算出部109の具体的な処理に係るフローチャートを示す図である。図12を参照して、第2の実施形態に特有の処理であるステップS153からステップS155までの処理について説明する。なお、その他のステップS151、S152、S156の処理については、それぞれ第1の実施形態で説明した図6のステップS41、S42、S44の処理と同様であるので説明を省略する。
【0055】
ステップS153において、ホワイトバランス算出部109は、ステップS152で算出したRGB値をステップS13で取得したデバイス特性に基づいてXYZ値に変換する。
ステップS154において、ホワイトバランス算出部109は、ステップS14で測定した測定値(XL、YL、BL)及びステップS13で取得したデバイス特性データ(R=0、G=0、B=0)に対応するXYZ値(XB、YB、ZB)を取得する。そして、ホワイトバランス算出部109は、取得した値に基づいて照明光の写りこみ量(XS、YS、ZS)を下記の式(e)により算出する。
【0056】
【数8】
【0057】
ステップS155において、ホワイトバランス算出部109は、ステップS153で変換されたXYZ値にステップS154で算出した写りこみ量を加算し、色度データを算出する。すなわち、ホワイトバランス算出部109は、入力画像データ(ここではRGB画像データ)がデバイスで使用される環境下での照明を適応した色度データを算出する。
【0058】
<第2の実施形態の効果の例>
以上、本実施形態の情報処理装置101は、入力画像の画像情報を解析し、デバイス特性及び照明光に関連付けてホワイトバランスを算出し、ホワイトバランスを相関色温度線に従って黒体放射軌跡上に補正する。この構成によれば、照明光の写りこみ量を考慮したホワイトバランスを算出することが可能となるので、第1の実施形態で説明した効果に加え、(実際にデバイスを用いて鑑賞するシーンだけでなく)視環境下でも好適な画像を再現することができる効果を奏する。
【0059】
(第3の実施形態)
第3の実施形態では、第1の実施形態に係る構成又は第2の実施形態に係る構成に加えて、ユーザにホワイトバランスを調整するUIを表示し、UIで取得した調整値からホワイトバランスを補正する構成を採用する。そこで、本実施形態では、第1の実施形態からの差異である、UI部107によるホワイトバランス調整値の取得方法と、取得したホワイトバランス調整値を用いたホワイトバランスを補正する処理方法(図2のステップS5)について説明する。
【0060】
まず、図13を参照して、UI部107がホワイトバランス調整値を取得する方法について説明する。
UI部107は、図13に示すような色調整バーを備えるUIを出力装置等に表示する。ユーザは、入力装置等を介してこの色調整バーを操作することにより表示画像の色みを制御することが可能となる。色調整バーは、内部的には0から1の範囲において所定の値(例えば、0.2刻み)で数値を指示する。UI部107は、図13で色調整バーにより補正なしが選択された場合には1の値、ニュートラルが選択された場合には0の値、その間が選択された場合にはその刻み幅に対応する値をホワイトバランス調整値として取得する。
【0061】
次に、図14を参照して、UI部107のユーザの操作により取得されたホワイトバランス調整値に基づいてホワイトバランスを補正する処理について説明する。図14は、ホワイトバランスを補正する処理に係るフローチャートの一例を示す図である。ここでは、第3の実施形態に特有の処理であるステップS74及びステップS75の処理について説明する。なお、その他のステップS71からステップS73まで、及びステップS76の処理については、それぞれ第1の実施形態で説明した図7のステップS51からステップS53まで、及びステップS54の処理と同様であるので説明を省略する。
【0062】
ステップS74において、ホワイトバランス補正部110は、UI部107よりホワイトバランス調整値を取得する。
ステップS75において、ホワイトバランス補正部110は、ステップS71で取得した色度データ及びステップS73で取得した色度データをより人間の感覚に近いuv色度値へと変換する。そして、ホワイトバランス補正部110は、補正なしはステップS71で取得した色度データ、ニュートラルはステップS73で取得した色度データ、とそれぞれ対応付ける。ホワイトバランス補正部110は、ステップS74で取得したホワイトバランス調整値を内分点としてuv色度値を加算平均する。また、ホワイトバランス補正部110は、算出後のuv色度値を色度データへ再度変換する。なお、uv色度値は、以下の式(f)により算出される。
ここで、図15に色度データの調整例を示す。図15において、151は、黒体放射軌跡(3000K〜1200K)である。152は、相関色温度線である。153は、RGB画像データ(入力画像データ)から算出したホワイトバランス(色度データ)である。154は、RGB画像データの色度データに対応する色温度での色度データ(換言するならば、入力画像データに係る黒体放射軌跡151上の色度データ)である。155は、UI部107で設定された内分比により算出される色度データである。
【0063】
【数9】
【0064】
<第3の実施形態の効果の例>
本実施形態の情報処理装置101は、画像の色みをユーザが調整する場合において、ホワイトバランスをニュートラルな色度値に簡易に調整できる機構をもつ。この機構によれば、第1の実施形態で説明した効果に加え、ホワイトバランスについてコンテンツの色温度に忠実に色補正できない煩わしさを低減し、ユーザの調整作業の負担を低減できる効果を奏する。
【0065】
(変形例)
<画像データ解析部>
各実施形態に係る情報処理装置では、RGB画像データの解析部としてヒストグラムを作成し、ホワイトバランス処理を行っているが、ホワイトバランス処理は、これに限られるものではない。例えば、ホワイトバランス処理では、ヒストグラムの色分布を解析してシーンの判別を行って、ホワイトバランス処理を行うべき画像と行うべきでない画像とを分ける処理を行ってもよい。この構成によれば、どのようなシーンでも一律にホワイトバランスを調整することでシーンによっては逆に画像が不自然になる事態を極力回避できる。
【0066】
<ヒストグラムの算出方法>
各実施形態に係る情報処理装置では、ヒストグラムのハイライト領域からRGB値を取得する際にヒストグラムの上側5%における最頻値を用いているが、ヒストグラムからRGB値を取得する処理は、これに限られるものではない。例えば、ヒストグラムからRGB値を取得する処理では、ヒストグラムの上側5%における平均値、ヒストグラムの最大値等を用いてもよい。また、ヒストグラムからRGB値を取得する処理では、ヒストグラムに閾値を設けて閾値以上又は閾値以下のヒストグラムの上側1%における平均値、最頻値等をRGB値とする方法を用いてもよい。
【0067】
<ホワイトバランスの補正方法>
各実施形態に係る情報処理装置では、ホワイトバランス補正部110は、RGB画像データのホワイトバランスを算出し、そのホワイトバランスを黒体放射軌跡上の色度データへと補正しているが、ホワイトバランスを補正する処理は、これに限られるものではない。例えば、黒体放射軌跡に沿った許容範囲を設けて、ホワイトバランス補正部110が、ホワイトバランスが許容範囲外であれば補正し、許容範囲内であれば補正しない構成を採用してもよい。
【0068】
<画像変換処理の方法>
各実施形態に係る情報処理装置では、RGB画像データの変換にアピアランスモデルを用いてRGB値からR'G'B'値への変換を行っているが、RGB値からR'G'B'値への変換処理は、これに限られるものではない。例えば、ある格子点のRGB値を用いてこの変換処理をLUT処理で行ってもよい。また、アピアランスモデルを用いずに、白色の補正前のRGB値と補正後のR'G'B'値とから簡易的にホワイトバランス補正の係数を算出し、この係数を用いてRGB画像データのRGB値を変換する構成を採用してもよい。なお、係数としては、例えば、Rk=R'/R、Gk=G'/G、Bk=B'/Bを採用する。
【0069】
<黒体放射軌跡のデータ>
各実施形態に係る情報処理装置では、黒体放射軌跡上の色度データを、式(d)を用いて算出しているが、黒体放射軌跡上の色度データの算出処理は、これに限られるものではない。例えば、予め所定の相関色温度について色度データを計算し、相関色温度と色度データとの対応関係をテーブルとして格納し、これを参照して黒体放射軌跡の色度データの計算処理を行う構成を採用してもよい。
【0070】
<第3の実施形態におけるUI>
第3の実施形態に係る情報処理装置では、画像調整用にUIを用いているが、UIは、これに限られるものではない。例えば、青−赤方向の黒体放射軌跡に沿った色温度を調整できるUIと併用する構成を採用してもよい。
【0071】
<情報処理装置>
本情報処理装置は、複数の機器(ホストコンピュータ、インタフェイス機器、リーダ、ディスプレイ等)から構成されるシステムに適用しても、1つの機器からなる装置(プロジェクタ等)に適用してもよい。
【0072】
<記憶媒体>
プログラムコードを供給するための記憶媒体としては、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、CD-ROM、CD-R、磁気テープ、不揮発性のメモリカード、ROM等を用いることができる。
【0073】
<その他の実施形態>
また、上述した実施形態の目的は、以下のようにすることによって達成される。即ち、上述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体(又は記録媒体)を、システム或いは装置に供給する。そして、そのシステム或いは装置の中央演算処理部(CPUやMPU)が記憶媒体に格納されたプログラムコードを読み出し実行する。この場合、記憶媒体から読み出されたプログラムコード自体が上述した実施形態の機能を実現することになり、そのプログラムコードを記録した記憶媒体は上述した実施形態を構成することになる。
【0074】
また、システム或いは装置の前記中央演算処理部が読み出したプログラムコードを実行することにより、そのプログラムコードの指示に基づき、システム或いは装置上で稼働しているオペレーティングシステム(OS)等が実際の処理の一部又は全部を行う。その処理によって上述した実施形態の機能が実現される場合も含まれる。
【0075】
更に、記憶媒体から読み出されたプログラムコードが、前記システム或いは装置に挿入された機能拡張カードや、接続された機能拡張ユニットに備わるメモリに書込まれたとする。その後、そのプログラムコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるCPU等が実際の処理の一部又は全部を行い、その処理によって上述した実施形態の機能が実現される場合も含まれる。
【0076】
上述した実施形態を前記記憶媒体に適用する場合、その記憶媒体には、先に説明したフローチャートに対応するプログラムコードが格納されることになる。
【0077】
上述した実施形態では、例えば、入力画像の画像情報に基づいて、ホワイトバランスをデバイス特性、照明光等と関連付けて算出し、算出したホワイトバランスを相関色温度線に沿って黒体放射軌跡方向に補正する。この構成によれば、色温度を保持したままホワイトバランスを補正することが可能となり、実際にデバイスを用いて鑑賞するシーン及び照明環境下で好適な画像を再現することができる。また、この構成によれば、ユーザによるホワイトバランス補正等の色を調整する作業にかかる負担を軽減できる。
【0078】
以上、本発明の好ましい実施形態について詳述したが、本発明は係る特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。
【符号の説明】
【0079】
101 情報処理装置、103 画像データ取得部、105 デバイス特性取得部、106 画像データ解析部、108 投影部、109 ホワイトバランス算出部、110 ホワイトバランス補正部、111 画像変換処理部、112 バッファメモリ部
【技術分野】
【0001】
本発明は、情報処理装置及び情報処理方法に関し、特に入力した画像の色再現を行うために用いて好適なものである。
【背景技術】
【0002】
従来、ビデオカメラ、デジタルカメラ等で撮影した画像について、画像の色がより自然となるように画像を補正する処理としてホワイトバランス処理と称される画像処理が一般的に行われている。ホワイトバランス処理は、一般的に、画像データのR/G/B各成分の信号値のバランスを調整する画像処理である。例えば、ホワイトバランス処理では、画像データを解析し、画像ハイライト部の色の偏りを検出し、当該画像ハイライト部のR/G/B各成分の信号値の比率が1:1:1となるようにR/G/B各成分の信号値のバランスを相対的に調整する。
【0003】
近年、ホワイトバランス処理として、画像ハイライト部の色の偏りに応じてホワイトバランス補正の度合いを調整し、画像データを補正する画像処理方法が提案されている(特許文献1を参照)。
ここで、ホワイトバランスに関連して色温度について説明しておく。色温度は、完全黒体を熱したときに完全黒体から放射される放射光の色に対応し、その色と温度とは1対1に関係付けられ、完全黒体の温度が高くなるにつれて、色度が赤から白、さらに青の方向に変化する。このため、画像全体の赤みが強い場合は「色温度が低い」、画像全体の青みが強い場合は「色温度が高い」といった表現がされる。
なお、デジタルカメラで撮影した画像のホワイトバランスを調整する際には、R/G/B各成分の信号値のバランスを調整する方法以外に、この色温度を調整する方法によって、ホワイトバランスの調整が行える。例えば、撮影した画像の赤みが強い場合には色温度を高く調節することで赤みをとることができる。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開平11-317959号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかしながら、画像のホワイトバランスを色温度によって調整する従来の方法では、赤み−青み方向の調節はできるが、黒体放射軌跡と離れる緑方向に調節することはできない。また、色温度を保持したまま緑成分のみを調節することは難しいため、R/G/B各成分の信号値のバランスで緑成分を調節しようとすると、色みの調節に多大な労力が必要となる。
また、特許文献1に記載の技術では、画像データのRGBデータからホワイトバランスを算出してホワイトバランス補正処理を行っているが、実際に画像データを再現するデバイスの特性等が考慮されていない。このため、画像データの使用環境によって画像が好適に再現されない問題が生じ得る。
【0006】
本発明はこのような問題点に鑑みなされたもので、デバイスによる入力画像の再現を適正に行うことを目的とする。
【課題を解決するための手段】
【0007】
そこで、本発明は、情報処理装置が、デバイスに依存する色情報から前記デバイスに依存しない色情報への変換を入力画像データについて行う変換手段と、前記変換手段で変換された前記デバイスに依存しない色情報に基づいて、前記入力画像データの色度データを算出する算出手段と、前記算出手段で算出された色度データに対応する色温度を保持しつつ、前記色度データを補正する補正手段と、前記補正手段で補正された色度データに基づいて、前記入力画像データを補正する画像補正手段と、を備えることを特徴とする。
【発明の効果】
【0008】
本発明によれば、デバイスによる入力画像の再現を適正に行うことができる。
【図面の簡単な説明】
【0009】
【図1】情報処理装置の構成を示す図である。
【図2】情報処理装置における例示的な処理の流れを示す図である。
【図3】デバイス特性取得部が取得するファイル形式の例を示す図である。
【図4】画像データ解析部における例示的な処理の流れを示す図である。
【図5】画像データ解析部により作成されるヒストグラムの例を示す図である。
【図6】ホワイトバランス算出部における例示的な処理の流れを示す図である。
【図7】ホワイトバランス補正部における例示的な処理の流れを示す図である。
【図8】画像変換処理部における例示的な処理の流れを示す図である。
【図9】観察環境パラメータを示す図である。
【図10】第2の実施形態の情報処理装置の構成を示す図である。
【図11】第2の実施形態の情報処理装置における例示的な処理の流れを示す図である。
【図12】第2の実施形態のホワイトバランス算出部における例示的な処理の流れを示す図である。
【図13】画像の色みを調整するためにユーザに表示するUIの例を示す図である。
【図14】第3の実施形態のホワイトバランス補正部における例示的な処理の流れを示す図である。
【図15】ホワイトバランス調整の色度データを例示する図である。
【発明を実施するための形態】
【0010】
以下、本発明の実施形態について図面に基づいて説明する。
【0011】
(第1の実施形態)
図1は、本発明の第1の実施形態に係る情報処理装置101の構成を示す図である。まず、図1(a)を参照して、情報処理装置101のハードウェア構成について説明する。
【0012】
情報処理装置101は、CPU(Central Processing Unit)1及び記憶装置2を含んで構成される。なお、情報処理装置101が備える各装置は、互いに通信可能に構成され、バス等により接続されている。CPU1は、情報処理装置101の動作をコントロールし、記憶装置2に格納されたプログラムの実行等を行う。記憶装置2は、磁気記憶装置、半導体メモリ等のストレージデバイスであり、CPU1の動作に基づき読み込まれたプログラム、長時間記憶しなくてはならないデータ等を記憶する。本実施形態では、CPU1が、記憶装置2に格納されたプログラムの手順に従って処理を行うことによって、情報処理装置101における機能及び後述するフローチャートに係る処理が実現される。
なお、情報処理装置101のハードウェア構成は、上述した構成に限られるものではない。例えば、情報処理装置101は、各種の指示を入力するマウス、キーボード、タッチパネルデバイス、ボタン等の入力装置を備えてもよい。また、例えば、情報処理装置101は、各種の情報を出力する液晶パネル、外部モニタ等の出力装置を備えてもよい。また、例えば、情報処理装置101は、各種の装置間で通信を行うためのI/O装置を備えてもよい。I/O装置は、メモリカード、USBケーブル等の入出力部、有線、無線等による送受信部等である。
【0013】
次に、図1(b)を参照して、情報処理装置101の機能構成について説明する。情報処理装置101は、画像データ取得部103、デバイス特性取得部105、画像データ解析部106、UI部107、投影部108、ホワイトバランス算出部109、ホワイトバランス補正部110、及び画像変換処理部111を含んで構成される。
【0014】
画像データ取得部103は、変換元画像データ(換言するならば、入力画像データ)であるRGB画像データを保持する画像データ保持装置102から変換元画像データであるRGB画像データを取得する。デバイス特性取得部105は、デバイス特性データを保持するデバイス特性保持装置104からデバイス特性データを取得する。画像データ解析部106は、RGB画像データを解析する。UI部107は、UI(user interface)を表示装置等の出力装置(図示せず。)に出力する。投影部108は、画像変換処理が施されたRGB画像データを出力装置に出力、スクリーン(図示せず。)に投影等する。ホワイトバランス算出部109は、RGB画像データのホワイトバランスを算出する。ホワイトバランス補正部110は、ホワイトバランスを補正する。画像変換処理部111は、色知覚モデルを用いて、RGB画像データを変換する。バッファメモリ部112は、記憶装置2に設けられる記憶領域であり、画像データ、演算処理を行うために一時的に演算結果等を記憶する。
なお、情報処理装置101は、画像データ保持装置102及びデバイス特性保持装置104の何れか一方又は双方を備えてもよい。
【0015】
<情報処理装置101における動作>
図2は、情報処理装置101にて実行される処理に係るフローチャートの一例を示す図である。なお、以下のフローチャートによる処理は、情報処理装置101が備えるCPU1が、記憶装置2に記憶されている制御プログラムを実行すること等によって実現される。
【0016】
ステップS1において、画像データ取得部103は、変換元画像データであるRGB画像データを画像データ保持装置102から取得し、バッファメモリ部112に取得したRGB画像データを格納する。
ステップS2において、画像データ解析部106は、ステップS1で取得されたRGB画像データを解析し、RGB画像データのヒストグラムを作成する。なお、画像データ解析部106の具体的な処理については後述する。
【0017】
ステップS3において、デバイス特性取得部105は、デバイス特性保持装置104からデバイス特性データを取得する。デバイス特性データは、デバイス(プロジェクタ等)に依存する色情報であるデバイス依存色(RGB)からデバイスに依存しない色情報であるデバイス独立色(XYZ)への変換特性が関連付けられて記述されたファイル(特性情報)である。変換特性は、例えば、RGBからXYZへのγ+3×3変換マトリクス、又は変換ルックアップテーブル(LUT)として記述される。本実施形態では、LUTを使用し、例えば、図3に示すフォーマットのように均等格子点に並んだRGB値とXYZ値との対応関係がLUTに記述され、この対応関係に基づいて四面体補間等することでRGB値をXYZ値に変換する。なお、本実施形態で採用するLUTのデータは、暗黒環境下でデバイスの投影色を測定した値である。
【0018】
ステップS4において、変換手段及び算出手段の一例であるホワイトバランス算出部109は、ステップS2で取得されたRGB画像データのヒストグラムとステップS3で取得されたデバイス特性データとに基づいてホワイトバランスを算出する。なお、ホワイトバランス算出部109がホワイトバランス(換言するならば、RGB画像データの色度データ)を算出する具体的な処理については後述する。
ステップS5において、補正手段の一例であるホワイトバランス補正部110は、ステップS4で算出されたホワイトバランスと黒体放射軌跡データとを用いてホワイトバランスを補正する。なお、ホワイトバランス補正部110の具体的な処理については後述する。
【0019】
ステップS6において、画像補正手段の一例である画像変換処理部111は、ステップS5で補正されたホワイトバランスを用いてRGB画像データを補正する。なお、画像変換処理部111の具体的な処理については後述する。
ステップS7において、投影部108は、ステップS6において補正されたRGB画像データをスクリーンに投影等し、処理を終了する。
【0020】
なお、情報処理装置101が処理を行う手順は、これに限られるものではない。例えば、ステップS3の処理は、ステップS1の処理の前に行ってもよく、情報処理装置101が処理を行う手順を適宜変更することができる。
【0021】
<画像データ解析部106の動作>
図4は、ステップS2における画像データ解析部106の具体的な処理に係るフローチャートの一例を示す図である。
【0022】
ステップS21において、画像データ解析部106は、バッファメモリ部112からRGB画像データを1画素分取得し、取得したRGB画像データのRGB値をバッファメモリ部112に設けられるヒストグラム保持部(図示せず。)に保持する。
ステップS22において、画像データ解析部106は、ステップS21で取得したRGB画像データのRGB値に基づきヒストグラム保持部に保持されているヒストグラムを更新する。ヒストグラム保持部には、R/G/B各成分の信号値(RGB値)を格納するHistR[R]、HistG[G]、HistB[B]と、当該信号値を有する画素の出現頻度との関係がヒストグラムとして保持されている。HistR[R]、HistG[G]、HistB[B]の初期状態は、全て0である。ヒストグラムは、下記の式(a)に従って更新される。
【0023】
【数1】
【0024】
ステップS23において、画像データ解析部106は、ヒストグラムの更新がRGB画像データの全画素について終了したかどうかを判断し、全てのヒストグラムの更新が終了している場合は、ステップS24の処理を行う。他方、全てのヒストグラムの更新が終了していない場合は、画像データ解析部106は、ステップS21に処理を戻し、再び処理を続ける。
ステップS24において、画像データ解析部106は、ステップS23で作成したヒストグラムをバッファメモリ部112に保存する。なお、図5に、ステップS2で作成されたヒストグラムを例示する。
【0025】
<ホワイトバランス算出部109の動作>
図6は、ステップS4におけるホワイトバランス算出部109の具体的な処理に係るフローチャートの一例を示す図である。
【0026】
ステップS41において、ホワイトバランス算出部109は、ステップS2で作成されたRGB画像データのヒストグラムをバッファメモリ部112から取得する。
ステップS42において、ホワイトバランス算出部109は、ステップS41で取得したヒストグラムのハイライト領域において出現頻度の最も高いR/G/B各成分の信号値をホワイトバランス補正の際に使用するRGB値として取得する。ヒストグラムのハイライト領域とは、例えば、ヒストグラムにおけるHistR[R]、HistG[G]、HistB[B]の上側5%の領域をいう。
【0027】
ステップS43において、ホワイトバランス算出部109は、ステップS42で取得したRGB値をステップS2で取得されたデバイス特性に基づいて色度データに変換する。色度データ(xy色度値)は、ステップS42で取得したRGB値をデバイス特性に基づきXYZ値に変換し、XYZ値を用いて下記の式(b)に従って算出される。
【0028】
【数2】
【0029】
ステップS44において、ホワイトバランス算出部109は、ステップS43で算出した色度データをバッファメモリ部112に格納する。
【0030】
<ホワイトバランス補正部110の動作>
図7は、ステップS5におけるホワイトバランス補正部110の具体的な処理に係るフローチャートの一例を示す図である。
【0031】
ステップS51において、ホワイトバランス補正部110は、バッファメモリ部112からステップS4で算出された色度データを取得する。
ステップS52において、ホワイトバランス補正部110は、下記の式(c)を用いてステップS51で取得した色度データにおける相関色温度(T)を算出する。
【0032】
【数3】
【0033】
ステップS53において、ホワイトバランス補正部110は、ステップS52で算出した相関色温度に対応する黒体放射軌跡上の色度データを下記の式(d)を用いて算出する。このように、ここでは、ステップS52で算出した相関色温度と等しい相関色温度についての色度データの軌跡で表された相関色温度線と、黒体放射軌跡との交点の色度データを求めるようにしている。しかしながら、必ずしもこのようにする必要はない。例えば、ホワイトバランス補正部110は、ステップS4で算出された色度データが黒体放射軌跡から離れている場合、相関色温度線に沿って、黒体放射軌跡上に又は黒体放射軌跡に近づく方向に当該色度データを補正してもよい。すなわち、ホワイトバランス補正部110は、より広義には、色度データに対応する色温度を一定に保った状態で色度データを補正する。
【0034】
【数4】
【0035】
ステップS54において、ホワイトバランス補正部110は、ステップS53で算出した色度データをバッファメモリ部112に保存する。
【0036】
<画像変換処理部111の動作>
図8は、ステップS6における画像変換処理部111の動作の具体的な処理に係るフローチャートの一例を示す図である。
【0037】
ステップS61において、画像変換処理部111は、バッファメモリ部112からRGB画像データのRBG値を1画素分取得する。
ステップS62において、画像変換処理部111は、バッファメモリ部112からデバイス特性データを取得し、デバイス特性データに基づいてRGB画像データのRGB値をXYZ値に変換する。
ステップS63において、画像変換処理部111は、フォワードアピアランスモデルを用いてXYZ値を知覚色データに変換する。なお、具体的な変換式については後述する。また、変換式に必要な観察環境パラメータについては、白色点には、ステップS4で算出した色度データを設定し、他のパラメータについてはCIECAM02の推奨パラメータを設定する。
【0038】
ステップS64において、画像変換処理部111は、逆アピアランスモデルを用いて、ステップS63で算出した知覚色データをX'Y'Z'値に変換する。また、変換式に必要な観察環境パラメータについては、白色点には、ステップS5で補正した色度データを設定し、他のパラメータについてはCIECAM02の推奨パラメータを設定する。
ステップS65において、画像変換処理部111は、バッファメモリ部112からデバイス特性データを取得し、デバイス特性データに基づいてステップS64で算出したX'Y'Z'値をR'G'B'値に変換する。
【0039】
ステップS66において、画像変換処理部111は、画像変換を全画素について終了したかどうかを判断し、全ての画像変換が終了している場合は、処理を終了する。他方、全ての画像変換が終了していない場合は、画像変換処理部111は、ステップS61に処理を戻し、処理を続ける。
ステップS67において、画像変換処理部111は、ステップS61からステップS66で変換されたR'G'B'値をバッファメモリ部112に格納する。
すなわち、画像変換処理部111は、補正された色度データをパラメータとする知覚モデルを適用してRGB画像データに係るX'Y'Z'値(デバイスに依存しない色情報)を算出する。そして、画像変換処理部111は、デバイス特性データに基づいて、算出した全てのX'Y'Z'値について、X'Y'Z'値をX'Y'Z'値に対応するR'G'B'値(デバイスに依存する色情報)に変換することにより、RGB画像データを補正する。
【0040】
ここで、アピアランスモデル(CIECAM02)の変換式とアピアランスモデルの観察条件パラメータとについて説明する。
<アピアランスモデル(CIECAM02)の変換式>
CIECAM02(順変換)における処理フローを色順応部、錐体応答部、心理値変換部の3つの変換部に分けて説明する。
色順応部では、(1)式でXYZ値を錐体の分光感度に変換し、(3)式で各錐体の信号を光源の白色点の値で正規化を行う。順応係数Dは(4)式で算出される。最後に(2)式を用いることで、観察環境下の光源に対応したXYZ値に変換する。
【0041】
【数5】
【0042】
錐体応答部では、(5)式でXYZ値を錐体の分光感度に変換し、(6)式で目に入る光量の強度に応じた、順応後の錐体応答値に変換する。
【0043】
【数6】
【0044】
心理値変換部では、(7)、(8)、(9)式を用いて、錐体応答値を視覚野での無彩色応答と反対色応答との信号値に変換し、この信号値を(10)、(11)、(12)式を用いて知覚明度J値、知覚彩度C値、知覚色相h値に変換する。
【0045】
【数7】
【0046】
なお、CIECAM02逆変換部では、観察環境により観察条件パラメータを設定し、順変換の工程で新たに無彩色応答Awを計算し、Aw、JCh値、かかる係数から順変換部の逆工程を行うことで、知覚色データからXYZ値への変換が行われる。
【0047】
<色知覚モデル(CIECAM02)の観察条件パラメータ>
図9は、CIECAM02において推奨されている観察条件パラメータを示す図である。図9に示す周囲の条件averageは、平均的な周辺(周辺の相対輝度が対象シーンの中の白色の20%以上であること)を示す。また、周囲の条件dimは、薄暗い周辺(周辺の相対輝度が対象シーンの中の白色の20%以下であること)を示す。また、周囲の条件darkは、暗黒周辺(周辺の相対輝度が対象シーンの中の白色の0%であること)を示す。なお、本実施形態では、順変換時の白色にはステップS4で算出した色度データに基づくXYZ値、逆変換時の白色にはステップS5で算出した色度データに基づくXYZ値を用いる。その他のパラメータについてはCIECAM02の推奨パラメータを使用する。
【0048】
<第1の実施形態の効果の例>
本実施形態の情報処理装置101は、入力画像の画像情報を解析し、デバイス特性に関連付けてホワイトバランスを算出し、ホワイトバランスを相関色温度線に従って黒体放射軌跡上に補正する。この構成によれば、従来に比べ、入力画像に対応する色温度を保持したままホワイトバランスを補正すること、すなわち色みを容易に調整することが可能となることに加え、実際にデバイスを用いて鑑賞するシーンで好適な画像を再現することができる。
【0049】
(第2の実施形態)
第2の実施形態では、第1の実施形態の処理に加えて、投影面に照明光が写りこむ影響を考慮してホワイトバランスを補正する処理が行われる。そこで、本実施形態では、照明光を取得する部を備えた変更点等、第1の実施形態との差異について説明する。
【0050】
図10は、第2の実施形態に係る情報処理装置101の構成を示す図である。なお、図10において、第1の実施形態に係る情報処理装置101と同一の部分については、図1に付した符号と同一の符号を付している。また、図10に示すように、第2の実施形態に係る情報処理装置101は、照明データ取得部114を備える点が第1の実施形態に係る情報処理装置101と異なる。照明データ取得部114は、照明データを計測する測定器113から照明データを取得する。なお、情報処理装置101が測定器113を備える構成を採用してもよい。
【0051】
<情報処理装置101における動作>
図11は、情報処理装置101にて実行される処理に係るフローチャートの一例を示す図である。図11を参照して、第2の実施形態に特有の処理であるステップS14及びステップS15の処理について説明する。なお、その他のステップS11からS13までの処理、及びステップS16からS18までの処理については、それぞれ第1の実施形態で説明した図2のステップS1からS3までの処理、及びステップS5からS7までの処理と同様であるので説明を省略する。
【0052】
ステップS14において、照明データ取得部114は、測定器113を用いて投影面のXYZ値を測定する。なお、投影面には測定用としてR=0、G=0、B=0の黒(基準色)の色票を表示し、実際に画像(すなわち、基準画像データ)を視聴する環境下で投影面のXYZ値の測定を行う。
【0053】
ステップS15において、ホワイトバランス算出部109は、ホワイトバランスを算出する。すなわちホワイトバランス算出部109は、ステップS12で取得したRGB画像データのヒストグラムと、ステップS13で取得したデバイス特性データと、ステップS14で測定した値に基づく照明光の写りこみ量とを用いてホワイトバランスを算出する。なお、ホワイトバランス算出部109の具体的な処理については後述する。
【0054】
<ホワイトバランス算出部109における動作>
図12は、ステップS15における算出手段の一例であるホワイトバランス算出部109の具体的な処理に係るフローチャートを示す図である。図12を参照して、第2の実施形態に特有の処理であるステップS153からステップS155までの処理について説明する。なお、その他のステップS151、S152、S156の処理については、それぞれ第1の実施形態で説明した図6のステップS41、S42、S44の処理と同様であるので説明を省略する。
【0055】
ステップS153において、ホワイトバランス算出部109は、ステップS152で算出したRGB値をステップS13で取得したデバイス特性に基づいてXYZ値に変換する。
ステップS154において、ホワイトバランス算出部109は、ステップS14で測定した測定値(XL、YL、BL)及びステップS13で取得したデバイス特性データ(R=0、G=0、B=0)に対応するXYZ値(XB、YB、ZB)を取得する。そして、ホワイトバランス算出部109は、取得した値に基づいて照明光の写りこみ量(XS、YS、ZS)を下記の式(e)により算出する。
【0056】
【数8】
【0057】
ステップS155において、ホワイトバランス算出部109は、ステップS153で変換されたXYZ値にステップS154で算出した写りこみ量を加算し、色度データを算出する。すなわち、ホワイトバランス算出部109は、入力画像データ(ここではRGB画像データ)がデバイスで使用される環境下での照明を適応した色度データを算出する。
【0058】
<第2の実施形態の効果の例>
以上、本実施形態の情報処理装置101は、入力画像の画像情報を解析し、デバイス特性及び照明光に関連付けてホワイトバランスを算出し、ホワイトバランスを相関色温度線に従って黒体放射軌跡上に補正する。この構成によれば、照明光の写りこみ量を考慮したホワイトバランスを算出することが可能となるので、第1の実施形態で説明した効果に加え、(実際にデバイスを用いて鑑賞するシーンだけでなく)視環境下でも好適な画像を再現することができる効果を奏する。
【0059】
(第3の実施形態)
第3の実施形態では、第1の実施形態に係る構成又は第2の実施形態に係る構成に加えて、ユーザにホワイトバランスを調整するUIを表示し、UIで取得した調整値からホワイトバランスを補正する構成を採用する。そこで、本実施形態では、第1の実施形態からの差異である、UI部107によるホワイトバランス調整値の取得方法と、取得したホワイトバランス調整値を用いたホワイトバランスを補正する処理方法(図2のステップS5)について説明する。
【0060】
まず、図13を参照して、UI部107がホワイトバランス調整値を取得する方法について説明する。
UI部107は、図13に示すような色調整バーを備えるUIを出力装置等に表示する。ユーザは、入力装置等を介してこの色調整バーを操作することにより表示画像の色みを制御することが可能となる。色調整バーは、内部的には0から1の範囲において所定の値(例えば、0.2刻み)で数値を指示する。UI部107は、図13で色調整バーにより補正なしが選択された場合には1の値、ニュートラルが選択された場合には0の値、その間が選択された場合にはその刻み幅に対応する値をホワイトバランス調整値として取得する。
【0061】
次に、図14を参照して、UI部107のユーザの操作により取得されたホワイトバランス調整値に基づいてホワイトバランスを補正する処理について説明する。図14は、ホワイトバランスを補正する処理に係るフローチャートの一例を示す図である。ここでは、第3の実施形態に特有の処理であるステップS74及びステップS75の処理について説明する。なお、その他のステップS71からステップS73まで、及びステップS76の処理については、それぞれ第1の実施形態で説明した図7のステップS51からステップS53まで、及びステップS54の処理と同様であるので説明を省略する。
【0062】
ステップS74において、ホワイトバランス補正部110は、UI部107よりホワイトバランス調整値を取得する。
ステップS75において、ホワイトバランス補正部110は、ステップS71で取得した色度データ及びステップS73で取得した色度データをより人間の感覚に近いuv色度値へと変換する。そして、ホワイトバランス補正部110は、補正なしはステップS71で取得した色度データ、ニュートラルはステップS73で取得した色度データ、とそれぞれ対応付ける。ホワイトバランス補正部110は、ステップS74で取得したホワイトバランス調整値を内分点としてuv色度値を加算平均する。また、ホワイトバランス補正部110は、算出後のuv色度値を色度データへ再度変換する。なお、uv色度値は、以下の式(f)により算出される。
ここで、図15に色度データの調整例を示す。図15において、151は、黒体放射軌跡(3000K〜1200K)である。152は、相関色温度線である。153は、RGB画像データ(入力画像データ)から算出したホワイトバランス(色度データ)である。154は、RGB画像データの色度データに対応する色温度での色度データ(換言するならば、入力画像データに係る黒体放射軌跡151上の色度データ)である。155は、UI部107で設定された内分比により算出される色度データである。
【0063】
【数9】
【0064】
<第3の実施形態の効果の例>
本実施形態の情報処理装置101は、画像の色みをユーザが調整する場合において、ホワイトバランスをニュートラルな色度値に簡易に調整できる機構をもつ。この機構によれば、第1の実施形態で説明した効果に加え、ホワイトバランスについてコンテンツの色温度に忠実に色補正できない煩わしさを低減し、ユーザの調整作業の負担を低減できる効果を奏する。
【0065】
(変形例)
<画像データ解析部>
各実施形態に係る情報処理装置では、RGB画像データの解析部としてヒストグラムを作成し、ホワイトバランス処理を行っているが、ホワイトバランス処理は、これに限られるものではない。例えば、ホワイトバランス処理では、ヒストグラムの色分布を解析してシーンの判別を行って、ホワイトバランス処理を行うべき画像と行うべきでない画像とを分ける処理を行ってもよい。この構成によれば、どのようなシーンでも一律にホワイトバランスを調整することでシーンによっては逆に画像が不自然になる事態を極力回避できる。
【0066】
<ヒストグラムの算出方法>
各実施形態に係る情報処理装置では、ヒストグラムのハイライト領域からRGB値を取得する際にヒストグラムの上側5%における最頻値を用いているが、ヒストグラムからRGB値を取得する処理は、これに限られるものではない。例えば、ヒストグラムからRGB値を取得する処理では、ヒストグラムの上側5%における平均値、ヒストグラムの最大値等を用いてもよい。また、ヒストグラムからRGB値を取得する処理では、ヒストグラムに閾値を設けて閾値以上又は閾値以下のヒストグラムの上側1%における平均値、最頻値等をRGB値とする方法を用いてもよい。
【0067】
<ホワイトバランスの補正方法>
各実施形態に係る情報処理装置では、ホワイトバランス補正部110は、RGB画像データのホワイトバランスを算出し、そのホワイトバランスを黒体放射軌跡上の色度データへと補正しているが、ホワイトバランスを補正する処理は、これに限られるものではない。例えば、黒体放射軌跡に沿った許容範囲を設けて、ホワイトバランス補正部110が、ホワイトバランスが許容範囲外であれば補正し、許容範囲内であれば補正しない構成を採用してもよい。
【0068】
<画像変換処理の方法>
各実施形態に係る情報処理装置では、RGB画像データの変換にアピアランスモデルを用いてRGB値からR'G'B'値への変換を行っているが、RGB値からR'G'B'値への変換処理は、これに限られるものではない。例えば、ある格子点のRGB値を用いてこの変換処理をLUT処理で行ってもよい。また、アピアランスモデルを用いずに、白色の補正前のRGB値と補正後のR'G'B'値とから簡易的にホワイトバランス補正の係数を算出し、この係数を用いてRGB画像データのRGB値を変換する構成を採用してもよい。なお、係数としては、例えば、Rk=R'/R、Gk=G'/G、Bk=B'/Bを採用する。
【0069】
<黒体放射軌跡のデータ>
各実施形態に係る情報処理装置では、黒体放射軌跡上の色度データを、式(d)を用いて算出しているが、黒体放射軌跡上の色度データの算出処理は、これに限られるものではない。例えば、予め所定の相関色温度について色度データを計算し、相関色温度と色度データとの対応関係をテーブルとして格納し、これを参照して黒体放射軌跡の色度データの計算処理を行う構成を採用してもよい。
【0070】
<第3の実施形態におけるUI>
第3の実施形態に係る情報処理装置では、画像調整用にUIを用いているが、UIは、これに限られるものではない。例えば、青−赤方向の黒体放射軌跡に沿った色温度を調整できるUIと併用する構成を採用してもよい。
【0071】
<情報処理装置>
本情報処理装置は、複数の機器(ホストコンピュータ、インタフェイス機器、リーダ、ディスプレイ等)から構成されるシステムに適用しても、1つの機器からなる装置(プロジェクタ等)に適用してもよい。
【0072】
<記憶媒体>
プログラムコードを供給するための記憶媒体としては、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、CD-ROM、CD-R、磁気テープ、不揮発性のメモリカード、ROM等を用いることができる。
【0073】
<その他の実施形態>
また、上述した実施形態の目的は、以下のようにすることによって達成される。即ち、上述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体(又は記録媒体)を、システム或いは装置に供給する。そして、そのシステム或いは装置の中央演算処理部(CPUやMPU)が記憶媒体に格納されたプログラムコードを読み出し実行する。この場合、記憶媒体から読み出されたプログラムコード自体が上述した実施形態の機能を実現することになり、そのプログラムコードを記録した記憶媒体は上述した実施形態を構成することになる。
【0074】
また、システム或いは装置の前記中央演算処理部が読み出したプログラムコードを実行することにより、そのプログラムコードの指示に基づき、システム或いは装置上で稼働しているオペレーティングシステム(OS)等が実際の処理の一部又は全部を行う。その処理によって上述した実施形態の機能が実現される場合も含まれる。
【0075】
更に、記憶媒体から読み出されたプログラムコードが、前記システム或いは装置に挿入された機能拡張カードや、接続された機能拡張ユニットに備わるメモリに書込まれたとする。その後、そのプログラムコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるCPU等が実際の処理の一部又は全部を行い、その処理によって上述した実施形態の機能が実現される場合も含まれる。
【0076】
上述した実施形態を前記記憶媒体に適用する場合、その記憶媒体には、先に説明したフローチャートに対応するプログラムコードが格納されることになる。
【0077】
上述した実施形態では、例えば、入力画像の画像情報に基づいて、ホワイトバランスをデバイス特性、照明光等と関連付けて算出し、算出したホワイトバランスを相関色温度線に沿って黒体放射軌跡方向に補正する。この構成によれば、色温度を保持したままホワイトバランスを補正することが可能となり、実際にデバイスを用いて鑑賞するシーン及び照明環境下で好適な画像を再現することができる。また、この構成によれば、ユーザによるホワイトバランス補正等の色を調整する作業にかかる負担を軽減できる。
【0078】
以上、本発明の好ましい実施形態について詳述したが、本発明は係る特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。
【符号の説明】
【0079】
101 情報処理装置、103 画像データ取得部、105 デバイス特性取得部、106 画像データ解析部、108 投影部、109 ホワイトバランス算出部、110 ホワイトバランス補正部、111 画像変換処理部、112 バッファメモリ部
【特許請求の範囲】
【請求項1】
デバイスに依存する色情報から前記デバイスに依存しない色情報への変換を入力画像データについて行う変換手段と、
前記変換手段で変換された前記デバイスに依存しない色情報に基づいて、前記入力画像データの色度データを算出する算出手段と、
前記算出手段で算出された色度データに対応する色温度を保持しつつ、前記色度データを補正する補正手段と、
前記補正手段で補正された色度データに基づいて、前記入力画像データを補正する画像補正手段と、
を備えることを特徴とする情報処理装置。
【請求項2】
前記補正手段は、前記算出手段で算出された色度データが黒体放射軌跡から離れている場合、前記色度データに係る相関色温度線に基づいて、前記黒体放射軌跡上に又は前記黒体放射軌跡に近づく方向に前記色度データを補正することを特徴とする請求項1に記載の情報処理装置。
【請求項3】
前記画像補正手段は、前記補正手段で補正された色度データをパラメータとする知覚モデルを適用して前記入力画像データの色度データを算出し、算出した前記色度データに基づいて前記入力画像データを補正することを特徴とする請求項1又は2に記載の情報処理装置。
【請求項4】
前記変換手段は、前記デバイスに依存する色情報から前記デバイスに依存しない色情報への変換を基準画像データについて行い、
前記算出手段は、前記基準画像データが前記デバイスで照明されたときに測定された前記デバイスに依存しない色情報と、前記基準画像データにおける前記変換手段で変換された前記デバイスに依存しない色情報とを用いて、前記入力画像データに照明が写りこむ写りこみ量を算出し、算出した前記写りこみ量に基づいて前記デバイスで前記入力画像データが使用されるときの照明の量に適応した前記入力画像の色度データを算出することを特徴とする請求項1乃至3の何れか1項に記載の情報処理装置。
【請求項5】
デバイスに依存する色情報からデバイスに依存しない色情報への変換を入力画像データについて行う変換ステップと、
前記変換ステップで変換された前記デバイスに依存しない色情報に基づいて、前記入力画像データの色度データを算出する算出ステップと、
前記算出ステップで算出された色度データに対応する色温度を保持しつつ、前記色度データを補正する補正ステップと、
前記補正ステップで補正された色度データに基づいて、前記入力画像データを補正する画像補正ステップと、
を備えることを特徴とする情報処理方法。
【請求項6】
デバイスに依存する色情報からデバイスに依存しない色情報への変換を入力画像データについて行う変換ステップと、
前記変換ステップで変換された前記デバイスに依存しない色情報に基づいて、前記入力画像データの色度データを算出する算出ステップと、
前記算出ステップで算出された色度データに対応する色温度を保持しつつ、前記色度データを補正する補正ステップと、
前記補正ステップで補正された色度データに基づいて、前記入力画像データを補正する画像補正ステップと、
をコンピュータに実行させることを特徴とするプログラム。
【請求項1】
デバイスに依存する色情報から前記デバイスに依存しない色情報への変換を入力画像データについて行う変換手段と、
前記変換手段で変換された前記デバイスに依存しない色情報に基づいて、前記入力画像データの色度データを算出する算出手段と、
前記算出手段で算出された色度データに対応する色温度を保持しつつ、前記色度データを補正する補正手段と、
前記補正手段で補正された色度データに基づいて、前記入力画像データを補正する画像補正手段と、
を備えることを特徴とする情報処理装置。
【請求項2】
前記補正手段は、前記算出手段で算出された色度データが黒体放射軌跡から離れている場合、前記色度データに係る相関色温度線に基づいて、前記黒体放射軌跡上に又は前記黒体放射軌跡に近づく方向に前記色度データを補正することを特徴とする請求項1に記載の情報処理装置。
【請求項3】
前記画像補正手段は、前記補正手段で補正された色度データをパラメータとする知覚モデルを適用して前記入力画像データの色度データを算出し、算出した前記色度データに基づいて前記入力画像データを補正することを特徴とする請求項1又は2に記載の情報処理装置。
【請求項4】
前記変換手段は、前記デバイスに依存する色情報から前記デバイスに依存しない色情報への変換を基準画像データについて行い、
前記算出手段は、前記基準画像データが前記デバイスで照明されたときに測定された前記デバイスに依存しない色情報と、前記基準画像データにおける前記変換手段で変換された前記デバイスに依存しない色情報とを用いて、前記入力画像データに照明が写りこむ写りこみ量を算出し、算出した前記写りこみ量に基づいて前記デバイスで前記入力画像データが使用されるときの照明の量に適応した前記入力画像の色度データを算出することを特徴とする請求項1乃至3の何れか1項に記載の情報処理装置。
【請求項5】
デバイスに依存する色情報からデバイスに依存しない色情報への変換を入力画像データについて行う変換ステップと、
前記変換ステップで変換された前記デバイスに依存しない色情報に基づいて、前記入力画像データの色度データを算出する算出ステップと、
前記算出ステップで算出された色度データに対応する色温度を保持しつつ、前記色度データを補正する補正ステップと、
前記補正ステップで補正された色度データに基づいて、前記入力画像データを補正する画像補正ステップと、
を備えることを特徴とする情報処理方法。
【請求項6】
デバイスに依存する色情報からデバイスに依存しない色情報への変換を入力画像データについて行う変換ステップと、
前記変換ステップで変換された前記デバイスに依存しない色情報に基づいて、前記入力画像データの色度データを算出する算出ステップと、
前記算出ステップで算出された色度データに対応する色温度を保持しつつ、前記色度データを補正する補正ステップと、
前記補正ステップで補正された色度データに基づいて、前記入力画像データを補正する画像補正ステップと、
をコンピュータに実行させることを特徴とするプログラム。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【公開番号】特開2010−258703(P2010−258703A)
【公開日】平成22年11月11日(2010.11.11)
【国際特許分類】
【出願番号】特願2009−105559(P2009−105559)
【出願日】平成21年4月23日(2009.4.23)
【出願人】(000001007)キヤノン株式会社 (59,756)
【Fターム(参考)】
【公開日】平成22年11月11日(2010.11.11)
【国際特許分類】
【出願日】平成21年4月23日(2009.4.23)
【出願人】(000001007)キヤノン株式会社 (59,756)
【Fターム(参考)】
[ Back to top ]