画像処理装置および方法
【課題】ＲＧＢの値を独立に変更する従来の色調整方法では思った色に調整しにくく、一方、色相と彩度で調整する方法では、ＲＧＢとは異なる色空間のため理解しにくく、また、色相と彩度とを独立に操作するのが難しかった。
【解決手段】ユーザーが３次元座標指定手段１０１により３次元位置を指定すると、ジオメトリ演算手段１０７はユーザー指定３次元座標情報に基づき、３次元座標演算を行い、３次元画像レンダリング手段１０４は、ジオメトリ演算後の中間情報に基づき３次元ＧＵＩ画像を生成し、画像表示手段１０５は３次元ＧＵＩ画像を表示する。一方、色度座標射影手段１０６はユーザー指定３次元座標情報に基づき、色度座標へ射影を行い、色調整の目標点を算出し、変換行列算出手段１０２は目標点情報と基準点情報から変換行列を算出し、色変換手段１０３は変換行列要素情報を入力画像信号に乗算し、色調整された画像信号を出力する。
【解決手段】ユーザーが３次元座標指定手段１０１により３次元位置を指定すると、ジオメトリ演算手段１０７はユーザー指定３次元座標情報に基づき、３次元座標演算を行い、３次元画像レンダリング手段１０４は、ジオメトリ演算後の中間情報に基づき３次元ＧＵＩ画像を生成し、画像表示手段１０５は３次元ＧＵＩ画像を表示する。一方、色度座標射影手段１０６はユーザー指定３次元座標情報に基づき、色度座標へ射影を行い、色調整の目標点を算出し、変換行列算出手段１０２は目標点情報と基準点情報から変換行列を算出し、色変換手段１０３は変換行列要素情報を入力画像信号に乗算し、色調整された画像信号を出力する。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、コンピュータや情報端末等において、画像データの色合いの変更や調整に関する。
【０００２】
【従来の技術】
コンピュータ、デジタルカメラ等の普及により、画像データや映像データをディスプレイモニタに表示するアプリケーションが普及している。画像データをディスプレイモニタに表示する場合、画像データを取り込んだカメラデバイスとディスプレイデバイスとの色合いの違いにより、正確な色合いで表示できない場合があり、画像データを表示する際に、色合いを調整する必要がある。
【０００３】
また、ユーザーの好みに合わせて表示画面の色合いを変更したり、コンピュータ上でユーザーの好みに合わせて色合いを変更して画像データを編集するような用途が普及している。
【０００４】
画像データの色合いを調整する方法として、（１）Ｒ（赤）、Ｇ（緑）、Ｂ（青）の値を変更する方法、（２）色空間を明度、色相、彩度に変換し、色相および彩度を変更する方法、が一般的に用いられている。図２０に２つの色合い調整方法に関する説明図を示す。図２０の（ａ）は（１）の方法に対応し、図２０の（ｂ）は（２）の方法に対応した説明図であり、どちらも、各要素の値をスライドバーによって変更するものである。また、図２０の（ｃ）に示すように、同図（２）の方法の色調整をグラフィカルユーザーインターフェース（ＧＵＩ）を用いて調整できるものもある（例えば、特許文献１参照）。
【０００５】
【特許文献１】
特開平１０−２８５４１４号公報
【０００６】
【発明が解決しようとする課題】
上記の（１）の方法では、ユーザーが理解しやすいＲ、Ｇ、Ｂの値を変更するため、容易に色合いを調整できるが、例えばＲの値を大きくした場合は、画像全体が赤みを帯びるといった作用があり、最終的な色合いを調整するのは困難であった。こうした課題を解決するために、色空間変換して、ＲＧＢから明度、色相、彩度で表現される色空間に変換した後に色調整を行う（２）の方法が用いられるようになった。（２）の方法では、色相の変更では色合いを変更し、彩度の変更では鮮やかさの変更を行うことが可能であるが、Ｒ、Ｇ、Ｂの場合とは異なり、ユーザーが直感的に理解しにくい色空間であるため、どの色に対して操作しているのかが直感的に理解しづらく、わかりやすいユーザーインターフェースを実現するのが困難であった。また、色相と彩度とを独立に操作する必要があり、ユーザーは操作の組み合わせを考慮しながら色合いを調整する必要があり、スキルが要求される。
【０００７】
本発明は、上記のような課題を解決するために創案されたもので、ユーザー操作に応じて、ユーザーが直感的に理解しながら、画像データの色合いを容易に変更、調整する画像処理装置および方法を実現することを目的とする。
【０００８】
【課題を解決するための手段】
上記課題を解決するために、本発明（請求項１に係る発明）は、ユーザー入力により移動操作された３次元仮想空間内の制御点より、３次元位置を指定してユーザー指定３次元座標情報を出力する３次元座標指定手段と、ユーザー指定３次元座標情報に基づき、３次元画像を生成するための座標演算を行い、中間情報として出力するジオメトリ演算手段と、中間情報に基づき、３次元ＧＵＩ画像を生成して出力する３次元画像レンダリング手段と、３次元ＧＵＩ画像を表示する画像表示手段と、ユーザー指定３次元座標情報に基づき、３次元仮想空間の座標を色度座標へ射影を行い、色度座標上で色調整の目標となる点を算出して目標点情報を出力する色度座標射影手段と、目標点情報と所定の基準点情報とから色調整のための色変換に使用する変換行列を算出し、変換行列要素情報を出力する変換行列算出手段と、変換行列要素情報を入力画像信号に乗算して、色調整された画像信号を出力する色変換手段とを備える。
【０００９】
また、本発明（請求項１０に係る発明）は、前記３次元画像レンダリング手段により出力されたＧＵＩ画像情報と、色変換手段に入力された入力画像信号および色調整された出力画像信号とを合成して、表示画像情報として画像表示手段に出力する。
【００１０】
また、本発明（請求項１１に係る発明）は、３次元座標指定手段の代わりに、ユーザー入力により拡大・縮小、平行移動、回転などのアフィン変換係数を指定しアフィン変換係数情報を出力するアフィン変換係数指定手段と、アフィン変換係数情報に基づき、基準点および制御点の３次元座標情報に対してアフィン変換を行い、アフィン変換後３次元座標情報として出力するアフィン変換手段とを備える。
【００１１】
また、本発明（請求項１４に係る発明）は、ジオメトリ演算手段、色度座標射影手段、色変換手段を、行列演算を時分割で処理する行列演算手段に置き換えたことを特徴とする。
【００１２】
また、本発明は上記の各手段の制御動作をコンピュータプログラムで実行するものでもよい。
【００１３】
【発明の実施の形態】
（実施の形態１）
図１は本発明の実施の形態１に関する画像処理装置の構成を示すブロック図である。図１において、３次元座標指定手段１０１はユーザー入力に応じてユーザー指定の色調整レベルを決定してユーザー指定３次元座標情報を出力し、ジオメトリ演算手段１０７はユーザー指定３次元座標情報に基づき、行列変換により透視変換を行い、３次元画像レンダリング手段１０４はジオメトリ演算手段１０７が出力する中間情報に基づきレンダリング処理を行い３次元ＧＵＩ画像を生成し、画像表示手段１０５は生成された３次元ＧＵＩ画像を表示する。また、色度座標射影手段１０６はユーザー指定３次元座標情報に基づき、３次元仮想空間の座標を、色度座標系に射影変換し、ユーザーの指定した色調整の目標点を算出し、変換行列算出手段１０２は所定の基準点情報と入力された目標点情報とから、色調整のための色変換に使用する変換行列を算出し、色変換手段１０３は入力された画像信号に対して、算出された変換行列を乗算し、色を変更した出力画像信号を出力する。
【００１４】
次に、本実施の形態１による画像処理装置の動作について説明する。図２に本発明による色調整に関する概念図を示す。また、図１５は本実施の形態における画像処理方法の手順を説明するフローチャートである。本発明の色調整は、大きく２つの処理で構成される。（１）色調整のためのグラフィカルユーザーインターフェース（ＧＵＩ）を描画して表示する処理（ステップ１５０２）と、（２）色調整のための色変換行列を算出する処理（ステップ１５０３）である。図２において、左向きの透視変換を示す矢印が（１）の処理に相当し、下向きの色度座標射影を示す矢印が（２）の処理に相当する。図２に示すように３次元オブジェクトを操作して、３次元のＧＵＩを描画すると同時に、色調整の操作を行う点が本発明の特徴である。
【００１５】
図３および図５に、操作のための３次元オブジェクトの例を示す。操作にあたっては、図３および図５に示すように、基準レベルに対してユーザーが調整レベルを指定し、色調整のための色変換行列を算出する。図３および図５においては、Ｒ，Ｇ，Ｂの基準点を結んで構成される三角形が基準面として表示され、ユーザーが指定した各色に対応する制御点を結んで構成される三角形がユーザー指定面として表示される。また、図５のように、４面体のような３次元オブジェクトを表示して操作する方が、基準点と制御点との対応がより分かりやすく見やすい場合もある。また、図７のように、３次元ＧＵＩで表示する図形については正規化を行う座標正規化手段（または、座標正規化ステップ）を追加し、例えば、基準となる３角形については、正三角形として扱うことにより、より見やすいＧＵＩが実現可能である。
【００１６】
最初に、（１）の処理の動作について、図１５、図１６のフローチャートを用いて説明する。図１６は色調整のためのＧＵＩを描画して表示する手順を説明するフローチャートである。
【００１７】
まず、ユーザー入力に応じて３次元座標指定手段１０１によりユーザー指定の色調整レベルを決定し、ユーザー指定３次元座標情報として、ジオメトリ演算手段１０７と色度座標射影手段１０６に出力する（ステップ１５０１）。ジオメトリ演算手段１０７では、ユーザー指定３次元座標情報に基づき、行列変換により透視変換を行い、３次元ＧＵＩ描画のための中間情報を３次元画像レンダリング手段１０４に出力する（ステップ１６０１）。３次元画像レンダリング手段１０４では、入力された中間情報に基づきレンダリング処理を行い、３次元ＧＵＩ画像を生成し、ＧＵＩ画像情報を画像表示手段１０５に出力し（ステップ１６０２）、画像表示手段１０５に３次元ＧＵＩ画像が表示される（ステップ１６０３）。ユーザーはこの３次元ＧＵＩ画像を参照しながら、色調整レベルを変更する。
【００１８】
また、入力画像によっては、カメラ撮影時にガンマ補正が施されたものもあるため、色情報の線形性が保たれない場合がある。したがって、逆ガンマ補正手段（又は、ガンマ補正ステップ）追加し、入力画像に対して逆ガンマ補正をかけて色情報の線形性を確保した上で、色変換処理を行うことにより、ガンマ補正による弊害を回避することが可能となる。
【００１９】
次に、（２）の処理の動作について、図１７のフローチャートを用いて説明する。図１７は色調整のための色変換行列を算出する手順を説明するフローチャートである。
【００２０】
色度座標射影手段１０６では、入力されたユーザー指定３次元座標情報に基づき、３次元仮想空間の座標を、ｘｙ色度図などの色度座標系に射影変換し、ユーザーの指定した色調整の目標点を算出し、目標点情報として、変換行列算出手段１０２に出力する（ステップ１７０１）。
【００２１】
図４に色度座標系に射影した目標点、基準点の一例を示す。色度図においては、赤（Ｒ）、緑（Ｇ）、青（Ｂ）に対応する色度点を参照する。図４において、ＲＧＢ各点で構成される三角形の内部にある点Ｗは白色に対応した白色点である。白色点Ｗから距離が離れるほど、色の鮮やかさが増す。また白色点Ｗを中心に回転することにより、色合いが変化する。図４のように目標点（Ｒ１，Ｇ１，Ｂ１）を基準点（Ｒ，Ｇ，Ｂ）の外側に設定して色調整する場合は、色の鮮やかさが増し、図４とは反対に、目標点を基準点の内側に設定して色調整する場合は、色の鮮やかさが減ることとなる。
【００２２】
また、図６のように色度座標系への射影の際に、基準点情報の白色点が色度図の原点に重なるように射影して、色変換行列を算出すれば、色調整に伴う白色への色つきの弊害を抑制することが可能となる。
【００２３】
変換行列算出手段１０２では、所定の基準点情報と入力された目標点情報とから、色調整のための色変換に使用する変換行列を算出し、変換行列要素情報として色変換手段１０３に出力する（ステップ１７０２）。基準点情報としては、テレビやビデオの業界での標準であるＮＴＳＣやハイビジョンテレビの色度点、ＰＣの業界で標準化されているｓＲＧＢの色度点などを用いることが考えられる。また、装置設計者が、調整の基準となる点を適当に選んでもかまわない。また、目標点情報を記憶し、次の調整時に、基準点として、前回の目標点を採用し、変換行列を準じ更新してもかまわない。さらに、色変換後の出力画像を表示する表示デバイスの色特性を計測し、計測された色度座標情報を基準点とすれば、表示デバイスの色再現性を補正した上で、色調整することも可能となる。特に基準点を表示デバイスの特性とし、目標点をＮＴＳＣなどの標準規格に準じた色度点として、色変換を行えば、色補正を実現することも可能である。
【００２４】
次に、変換行列算出手段１０２における変換行列の算出方法の一例について説明する。色変換処理は入力画像の画素値（Ｒ，Ｇ，Ｂ）から色調整後の出力画像の画素値（Ｒ１，Ｇ１，Ｂ１）への変換を、３ｘ３行列Ａを用いて、（数１）の式に準じて実行される。
【００２５】
【数１】
【００２６】
３×３行列Ａを算出する過程において、色調整はｘｙ色度図上で操作するため、ＲＧＢ色空間からＸＹＺ色空間への変換を行い、正規化してｘｙ色度図上での位置を算出する。以下にＲＧＢからＸＹＺへの色空間変換の式を３×３行列Ｔを用いて、（数２）に示す。
【００２７】
【数２】
【００２８】
ｘｙ色度図上において、ｘは、Ｘ＋Ｙ＋Ｚ＝Ｓとして、ｘ＝Ｘ／Ｓ、ｘｙ色度図上でのｙは、Ｘ＋Ｙ＋Ｚ＝Ｓとしてｙ＝Ｙ／Ｓと表される。
【００２９】
前記目標点情報と基準点情報のｘｙ色度図上の座標に基づき、色調整のためのｘｙ色度図上での変換行列を算出し、さらにｘｙ色度図からＸＹＺ色空間、さらにＲＧＢ色空間へ変換を考慮して最終的な変換行列を算出する。以下に、ＸＹＺからＲＧＢへの色空間変換の式を（数３）に示す。
【００３０】
【数３】
【００３１】
ｘｙ色度図上における、変換前の点を（ｘ，ｙ，ｚ）、変換後の点を（ｘ１，ｙ１，ｚ１）とすると、（数１）から（数３）より、色変換は（数４）の式で表される。
【００３２】
【数４】
【００３３】
基準点情報を構成する赤、緑、青に対応する色度図上の座標を（数５）に示す。
【００３４】
【数５】
【００３５】
目標点情報を構成する赤、緑、青に対応する色度図上の座標を（数６）に示す。
【００３６】
【数６】
【００３７】
以上の式により、色変換のための変換行列Ａは、（数７）により算出される。
【００３８】
【数７】
【００３９】
色変換手段１０３では、入力された画像信号に対して、変換行列算出手段１０２で算出した変換行列を乗算し、色を変更した画像信号を出力する（ステップ１７０３）。
【００４０】
ここで、図８のように変換行列算出手段１０２と色変換手段１０３との間に行列要素記憶手段１０８を追加する。図８において、色調整部２０１は３次元座標指定手段１０１、変換行列算出手段１０２、３次元画像レンダリング手段１０４、画像表示手段１０５、色度座標射影手段１０６、ジオメトリ演算手段１０７により構成され、色変換部２０２は色変換手段１０３、行列要素記憶手段１０８により構成されている。このような構成にすることにより、色調整部２０１にて調整し、算出した変換行列要素情報を行列要素記憶手段１０８に記憶しておけば、色変換部２０２にて、一度、設定した色調整の条件を用いて画像を出力したい場合に、色調整部２０１を停止させて変換することが可能となる。この構成は、テレビなどの色調整に適している。
【００４１】
以上のように、本発明の実施の形態１による画像処理装置では、操作のための３次元仮想空間における制御点と、操作による色変更の目標点の色度点とを対応付け、３次元仮想空間を用いたＧＵＩを参照しながら色調整の操作を行うことにより、ユーザーが色変更の度合いやどの色に対する変更かを直感的に把握しながら、容易に色調整することが可能となる。
【００４２】
（実施の形態２）
図９は本発明の実施の形態２に関する画像処理装置の構成を示すブロック図である。図９において、図１と同じ構成要素については同じ符号を用い、説明を省略する。
【００４３】
図９において、画像合成手段１０９は入力画像信号と色変換手段１０３から入力された出力画像信号と、３次元画像レンダリング手段１０４から入力されたＧＵＩ画像情報とを合成し、表示画像情報として画像表示手段１０５に出力する。
【００４４】
次に、本実施の形態２による画像処理装置の動作について図１８のフローチャートを用いて説明する。図１８は本実施の形態における色調整のためのＧＵＩを描画して表示する手順を説明するフローチャートであり、図１６と同様の構成要素は同じ符号を付し、説明を省略する。本実施の形態２は、本実施の形態１に、画像合成手段１０９を追加した構成になっており、本実施の形態１と共通の部分は、動作も共通であるため、本実施の形態２で追加された部分について説明する。
【００４５】
画像合成手段１０９では、入力画像信号と色変換手段１０３から入力された出力画像信号と、３次元画像レンダリング手段１０４から入力されたＧＵＩ画像情報とを合成し、表示画像情報として画像表示手段１０５に出力し（ステップ１８０４）、画像表示手段１０５にて表示する（ステップ１６０３）。
【００４６】
図１０に本実施の形態２による３次元ＧＵＩの表示例を示す。図１０のように、ＧＵＩ画像を参照しながら色調整の操作を行い、入力画像と出力画像とを比較し、色の変化を確認しながら色調整を行うことが可能となり、わかりやすい操作を実現できる。
【００４７】
（実施の形態３）
図１１は本発明の実施の形態３における画像処理装置の構成を示すブロック図である。図１１において、図１と同じ構成要素に関しては、同じ符号を用い、説明を省略する。図１９は本実施の形態における画像処理方法の手順を示すフローチャートである。図１９において、図１５と同じ構成要素に関しては、同じ符号を用い、説明を省略する。
【００４８】
図１１において、アフィン変換係数指定手段１１０はユーザー入力により、拡大・縮小、平行移動、回転を表現するアフィン変換係数の値を指定し（ステップ１９０１）、アフィン変換手段１１１はＧＵＩにおいて３次元空間に設定した目標点、制御点などの３次元座標情報に対してアフィン変換を施し、アフィン変換後３次元座標として、ジオメトリ演算手段１０７および色度座標射影手段１０６とに出力する（ステップ１９０２）。
【００４９】
次に、本実施の形態３による画像処理装置の動作について説明する。本実施の形態３は、本実施の形態１に、アフィン変換係数指定手段１１０とアフィン変換手段１１１を追加した構成になっており、本実施の形態１との共通部分は、動作も共通であるため、本実施の形態３で追加された部分について説明する。
【００５０】
アフィン変換係数指定手段１１０では、ユーザー入力により、ＧＵＩにおける制御点の位置を変更するのではなく、拡大・縮小、平行移動、回転を表現するアフィン変換係数の値を指定して、アフィン変換係数をアフィン変換手段１１１に出力する。
【００５１】
図１２に本実施の形態３による画像処理装置による３次元ＧＵＩの表示例を示す。図１２に示すように、基準点ＲＧＢで構成される三角形を拡大（同図のＲ１Ｇ１Ｂ１で構成される三角形）、縮小することで彩度の調整、基準点ＲＧＢで構成される三角形をＷで示される白色点Ｗを中心として回転させることにより、色相の調整、また、平行移動することにより白色点の調整を行うことができる。
【００５２】
アフィン変換手段１１１では、ＧＵＩにおいて３次元空間に設定した目標点、制御点などの３次元座標情報に対してアフィン変換を施し、アフィン変換後３次元座標として、ジオメトリ演算手段１０７および色度座標射影手段１０６とに出力する。
【００５３】
以上のように、本発明の実施の形態３による画像処理装置では、アフィン変換係数を用いてユーザーの色調整度合いを指定することにより、拡大・縮小、平行移動、回転といった、ユーザーの操作としてなじみやすい要素で設定することができ、容易な操作を実現することが可能となる。
【００５４】
また、位置変更について、任意の位置に変更する場合にくらべ、あらかじめアフィン変換の行列を準備しておくことが可能であるため、ジオメトリ演算の処理を簡略化でき、行列要素のテーブル化などにより行列演算処理の高速化を実現することが可能となる。
【００５５】
（実施の形態４）
本発明を構成するジオメトリ演算、色度座標への射影、色変換の３つの処理は行列演算であり、各処理を１つの行列演算に統合して、時分割で処理を行うことによりハードウェア規模の縮小化が可能である。
【００５６】
図１３は本発明の実施の形態４に関する画像処理装置の構成を示すブロック図である。図１４は本発明の実施の形態４に関する画像処理方法の一例を示すフローチャートである。本実施の形態は、上記の３つの処理をすべて統合した場合であるが、他に、３つの処理のうちの２つの処理を選択して、統合する場合も考えられる。
【００５７】
図１３において、図１と同じ構成要素に関しては、同じ符号を用い、説明を省略する。図１３において、行列演算手段１１２は本実施の形態１のジオメトリ演算手段１０７と色度座標射影手段１０６と色変換手段１０３とを統合したものであり、行列要素切替手段１１３は時分割で行列要素を切り替えて、ジオメトリ演算処理と色度座標射影処理と色変換処理とを実行する。
【００５８】
また、図１４において、図１５、図１６、図１７と同じ構成要素に関しては、同じ符号を用い、説明を省略する。図１４において、行列演算ステップ１４０１は、本実施の形態１のジオメトリ演算ステップ１６０１と色度座標射影ステップ１７０１と色変換ステップ１７０３とを統合したものであり、行列要素切替ステップ１４０２は時分割で行列要素を切り替えて、ジオメトリ演算処理と色度座標射影処理と色変換処理とを実行する。
【００５９】
次に、本実施の形態４による画像処理装置の動作について説明する。
【００６０】
一般に３次元空間における座標変換では、ｘ、ｙ、ｚの３次元にパラメータを１つ追加した同次座標系が用いられ、４ｘ４行列の小数点演算が実行される。ジオメトリ演算処理と色度座標射影処理とは４ｘ４の行列演算である（ステップ１４０１）。一方、色変換処理では（ステップ１４０３、ステップ１４０４、ステップ１７０２）、Ｒ、Ｇ、Ｂの３つの値に対して３ｘ３行列の整数演算が実行される。したがって、行列演算手段１１２として、４ｘ４行列の小数点演算器を用意し、色変換処理の場合は整数から小数点へデータ型を変換した上で（ステップ１４０２）、４ｘ４の行列要素のうちの３ｘ３の行列要素に代入して演算し、演算結果を小数点から整数へ変換すれば、上記、３つの処理の統合が可能である（ステップ１４０１）。
【００６１】
特に、上記、実施の形態３のようにアフィン変換係数で操作を行う場合、アフィン変換手段１１１の行列演算を行列演算手段１１２に容易に統合可能である。
【００６２】
以上のように、本発明の実施の形態４による画像処理装置では、ジオメトリ演算、色度座標への射影、色変換の３つの処理を１つの行列演算に統合して、時分割で処理を行うことによりハードウェア規模の縮小化が可能である。
【００６３】
また、近年、パーソナルコンピュータでは３次元画像描画の際のジオメトリ演算を高速化するための行列演算ハードウェアが搭載されたり、パーソナルコンピュータの心臓部であるＣＰＵにおいて、行列演算を高速化するハードウェア演算器を有しているため、本実施の形態のように行列演算を統合して、行列演算の高速化ハードウェアを使用して、高速処理を実現可能である。
【００６４】
なお、本発明のいずれの実施の形態においても、以上説明した各手段の機能の全部または一部、または、各ステップの全部または一部をコンピュータにより実行させるプログラムを格納する記録媒体を用いてもよい。
【００６５】
【発明の効果】
以上のように、本発明によれば、操作のための３次元仮想空間における制御点と、操作による色変更の目標点の色度点とを対応付け、３次元仮想空間を用いたＧＵＩを参照しながら色調整の操作を行うことにより、ユーザーが色変更の度合いやどの色に対する変更かを直感的に把握しながら、容易に色調整することが可能となる。
【００６６】
さらに、入力画像信号と色調整後の出力画像信号とＧＵＩ画像とを同時に表示することにより、色調整の結果を確認しながら、色調整操作を行えるため、わかりやすい操作を実現することが可能である。
【００６７】
また、アフィン変換係数を用いてユーザーの色調整度合いを指定することにより、拡大・縮小、平行移動、回転といった、ユーザーの操作としてなじみやすい要素で設定することができ、容易な操作を実現することが可能となる。
【００６８】
さらに、本発明を構成する、ジオメトリ演算、色度座標への射影、色変換の３つの処理を１つの行列演算に統合して、時分割で処理を行うことによりハードウェア規模の縮小化が可能である。
【図面の簡単な説明】
【図１】本発明の実施の形態１における画像処理装置の構成を示すブロック図
【図２】同３次元ＧＵＩを用いた色調整に関する概念図
【図３】同３次元ＧＵＩを用いた色調整の操作に関する説明図
【図４】同色度図上に射影された目標点および基準点に関する説明図
【図５】同４面体を用いて３次元ＧＵＩ画面を構成する色調整の表示の一例を示す図
【図６】同基準点情報の白色点を色度図の原点に射影する場合に関する説明図
【図７】同基準点および目標点を正規化して表示する場合に関する説明図
【図８】同行列要素記憶手段を追加した本発明の実施の形態１の構成を示すブロック図
【図９】本発明の実施の形態２における画像処理装置の構成を示すブロック図
【図１０】同３次元ＧＵＩ表示画面の一例を示す図
【図１１】本発明の実施の形態３における画像処理装置の構成を示すブロック図
【図１２】同３次元ＧＵＩ表示画面の一例を示す図
【図１３】本発明の実施の形態４における画像処理装置の構成を示すブロック図
【図１４】本発明の実施の形態４における画像処理方法を説明するフローチャート
【図１５】本発明の実施の形態１における画像処理方法を説明するフローチャート
【図１６】同色調整のためのＧＵＩを描画して表示する処理を説明するフローチャート
【図１７】同色調整のための色変換行列を算出する処理を説明するフローチャート
【図１８】本発明の実施の形態２における画像処理方法を説明するフローチャート
【図１９】本発明の実施の形態３における画像処理方法を説明するフローチャート
【図２０】従来の色調整方法に関する説明図
【符号の説明】
１０１ ３次元座標指定手段
１０２ 変換行列算出手段
１０３ 色変換手段
１０４ ３次元画像レンダリング手段
１０５ 画像表示手段
１０６ 色度座標射影手段
１０７ ジオメトリ演算手段
１０８ 行列要素記憶手段
１０９ 画像合成手段
１１０ アフィン変換係数指定手段
１１１ アフィン変換手段
１１２ 行列演算手段
１１３ 行列要素切替手段
２０１ 色調整部
２０２ 色変換部
【０００１】
【発明の属する技術分野】
本発明は、コンピュータや情報端末等において、画像データの色合いの変更や調整に関する。
【０００２】
【従来の技術】
コンピュータ、デジタルカメラ等の普及により、画像データや映像データをディスプレイモニタに表示するアプリケーションが普及している。画像データをディスプレイモニタに表示する場合、画像データを取り込んだカメラデバイスとディスプレイデバイスとの色合いの違いにより、正確な色合いで表示できない場合があり、画像データを表示する際に、色合いを調整する必要がある。
【０００３】
また、ユーザーの好みに合わせて表示画面の色合いを変更したり、コンピュータ上でユーザーの好みに合わせて色合いを変更して画像データを編集するような用途が普及している。
【０００４】
画像データの色合いを調整する方法として、（１）Ｒ（赤）、Ｇ（緑）、Ｂ（青）の値を変更する方法、（２）色空間を明度、色相、彩度に変換し、色相および彩度を変更する方法、が一般的に用いられている。図２０に２つの色合い調整方法に関する説明図を示す。図２０の（ａ）は（１）の方法に対応し、図２０の（ｂ）は（２）の方法に対応した説明図であり、どちらも、各要素の値をスライドバーによって変更するものである。また、図２０の（ｃ）に示すように、同図（２）の方法の色調整をグラフィカルユーザーインターフェース（ＧＵＩ）を用いて調整できるものもある（例えば、特許文献１参照）。
【０００５】
【特許文献１】
特開平１０−２８５４１４号公報
【０００６】
【発明が解決しようとする課題】
上記の（１）の方法では、ユーザーが理解しやすいＲ、Ｇ、Ｂの値を変更するため、容易に色合いを調整できるが、例えばＲの値を大きくした場合は、画像全体が赤みを帯びるといった作用があり、最終的な色合いを調整するのは困難であった。こうした課題を解決するために、色空間変換して、ＲＧＢから明度、色相、彩度で表現される色空間に変換した後に色調整を行う（２）の方法が用いられるようになった。（２）の方法では、色相の変更では色合いを変更し、彩度の変更では鮮やかさの変更を行うことが可能であるが、Ｒ、Ｇ、Ｂの場合とは異なり、ユーザーが直感的に理解しにくい色空間であるため、どの色に対して操作しているのかが直感的に理解しづらく、わかりやすいユーザーインターフェースを実現するのが困難であった。また、色相と彩度とを独立に操作する必要があり、ユーザーは操作の組み合わせを考慮しながら色合いを調整する必要があり、スキルが要求される。
【０００７】
本発明は、上記のような課題を解決するために創案されたもので、ユーザー操作に応じて、ユーザーが直感的に理解しながら、画像データの色合いを容易に変更、調整する画像処理装置および方法を実現することを目的とする。
【０００８】
【課題を解決するための手段】
上記課題を解決するために、本発明（請求項１に係る発明）は、ユーザー入力により移動操作された３次元仮想空間内の制御点より、３次元位置を指定してユーザー指定３次元座標情報を出力する３次元座標指定手段と、ユーザー指定３次元座標情報に基づき、３次元画像を生成するための座標演算を行い、中間情報として出力するジオメトリ演算手段と、中間情報に基づき、３次元ＧＵＩ画像を生成して出力する３次元画像レンダリング手段と、３次元ＧＵＩ画像を表示する画像表示手段と、ユーザー指定３次元座標情報に基づき、３次元仮想空間の座標を色度座標へ射影を行い、色度座標上で色調整の目標となる点を算出して目標点情報を出力する色度座標射影手段と、目標点情報と所定の基準点情報とから色調整のための色変換に使用する変換行列を算出し、変換行列要素情報を出力する変換行列算出手段と、変換行列要素情報を入力画像信号に乗算して、色調整された画像信号を出力する色変換手段とを備える。
【０００９】
また、本発明（請求項１０に係る発明）は、前記３次元画像レンダリング手段により出力されたＧＵＩ画像情報と、色変換手段に入力された入力画像信号および色調整された出力画像信号とを合成して、表示画像情報として画像表示手段に出力する。
【００１０】
また、本発明（請求項１１に係る発明）は、３次元座標指定手段の代わりに、ユーザー入力により拡大・縮小、平行移動、回転などのアフィン変換係数を指定しアフィン変換係数情報を出力するアフィン変換係数指定手段と、アフィン変換係数情報に基づき、基準点および制御点の３次元座標情報に対してアフィン変換を行い、アフィン変換後３次元座標情報として出力するアフィン変換手段とを備える。
【００１１】
また、本発明（請求項１４に係る発明）は、ジオメトリ演算手段、色度座標射影手段、色変換手段を、行列演算を時分割で処理する行列演算手段に置き換えたことを特徴とする。
【００１２】
また、本発明は上記の各手段の制御動作をコンピュータプログラムで実行するものでもよい。
【００１３】
【発明の実施の形態】
（実施の形態１）
図１は本発明の実施の形態１に関する画像処理装置の構成を示すブロック図である。図１において、３次元座標指定手段１０１はユーザー入力に応じてユーザー指定の色調整レベルを決定してユーザー指定３次元座標情報を出力し、ジオメトリ演算手段１０７はユーザー指定３次元座標情報に基づき、行列変換により透視変換を行い、３次元画像レンダリング手段１０４はジオメトリ演算手段１０７が出力する中間情報に基づきレンダリング処理を行い３次元ＧＵＩ画像を生成し、画像表示手段１０５は生成された３次元ＧＵＩ画像を表示する。また、色度座標射影手段１０６はユーザー指定３次元座標情報に基づき、３次元仮想空間の座標を、色度座標系に射影変換し、ユーザーの指定した色調整の目標点を算出し、変換行列算出手段１０２は所定の基準点情報と入力された目標点情報とから、色調整のための色変換に使用する変換行列を算出し、色変換手段１０３は入力された画像信号に対して、算出された変換行列を乗算し、色を変更した出力画像信号を出力する。
【００１４】
次に、本実施の形態１による画像処理装置の動作について説明する。図２に本発明による色調整に関する概念図を示す。また、図１５は本実施の形態における画像処理方法の手順を説明するフローチャートである。本発明の色調整は、大きく２つの処理で構成される。（１）色調整のためのグラフィカルユーザーインターフェース（ＧＵＩ）を描画して表示する処理（ステップ１５０２）と、（２）色調整のための色変換行列を算出する処理（ステップ１５０３）である。図２において、左向きの透視変換を示す矢印が（１）の処理に相当し、下向きの色度座標射影を示す矢印が（２）の処理に相当する。図２に示すように３次元オブジェクトを操作して、３次元のＧＵＩを描画すると同時に、色調整の操作を行う点が本発明の特徴である。
【００１５】
図３および図５に、操作のための３次元オブジェクトの例を示す。操作にあたっては、図３および図５に示すように、基準レベルに対してユーザーが調整レベルを指定し、色調整のための色変換行列を算出する。図３および図５においては、Ｒ，Ｇ，Ｂの基準点を結んで構成される三角形が基準面として表示され、ユーザーが指定した各色に対応する制御点を結んで構成される三角形がユーザー指定面として表示される。また、図５のように、４面体のような３次元オブジェクトを表示して操作する方が、基準点と制御点との対応がより分かりやすく見やすい場合もある。また、図７のように、３次元ＧＵＩで表示する図形については正規化を行う座標正規化手段（または、座標正規化ステップ）を追加し、例えば、基準となる３角形については、正三角形として扱うことにより、より見やすいＧＵＩが実現可能である。
【００１６】
最初に、（１）の処理の動作について、図１５、図１６のフローチャートを用いて説明する。図１６は色調整のためのＧＵＩを描画して表示する手順を説明するフローチャートである。
【００１７】
まず、ユーザー入力に応じて３次元座標指定手段１０１によりユーザー指定の色調整レベルを決定し、ユーザー指定３次元座標情報として、ジオメトリ演算手段１０７と色度座標射影手段１０６に出力する（ステップ１５０１）。ジオメトリ演算手段１０７では、ユーザー指定３次元座標情報に基づき、行列変換により透視変換を行い、３次元ＧＵＩ描画のための中間情報を３次元画像レンダリング手段１０４に出力する（ステップ１６０１）。３次元画像レンダリング手段１０４では、入力された中間情報に基づきレンダリング処理を行い、３次元ＧＵＩ画像を生成し、ＧＵＩ画像情報を画像表示手段１０５に出力し（ステップ１６０２）、画像表示手段１０５に３次元ＧＵＩ画像が表示される（ステップ１６０３）。ユーザーはこの３次元ＧＵＩ画像を参照しながら、色調整レベルを変更する。
【００１８】
また、入力画像によっては、カメラ撮影時にガンマ補正が施されたものもあるため、色情報の線形性が保たれない場合がある。したがって、逆ガンマ補正手段（又は、ガンマ補正ステップ）追加し、入力画像に対して逆ガンマ補正をかけて色情報の線形性を確保した上で、色変換処理を行うことにより、ガンマ補正による弊害を回避することが可能となる。
【００１９】
次に、（２）の処理の動作について、図１７のフローチャートを用いて説明する。図１７は色調整のための色変換行列を算出する手順を説明するフローチャートである。
【００２０】
色度座標射影手段１０６では、入力されたユーザー指定３次元座標情報に基づき、３次元仮想空間の座標を、ｘｙ色度図などの色度座標系に射影変換し、ユーザーの指定した色調整の目標点を算出し、目標点情報として、変換行列算出手段１０２に出力する（ステップ１７０１）。
【００２１】
図４に色度座標系に射影した目標点、基準点の一例を示す。色度図においては、赤（Ｒ）、緑（Ｇ）、青（Ｂ）に対応する色度点を参照する。図４において、ＲＧＢ各点で構成される三角形の内部にある点Ｗは白色に対応した白色点である。白色点Ｗから距離が離れるほど、色の鮮やかさが増す。また白色点Ｗを中心に回転することにより、色合いが変化する。図４のように目標点（Ｒ１，Ｇ１，Ｂ１）を基準点（Ｒ，Ｇ，Ｂ）の外側に設定して色調整する場合は、色の鮮やかさが増し、図４とは反対に、目標点を基準点の内側に設定して色調整する場合は、色の鮮やかさが減ることとなる。
【００２２】
また、図６のように色度座標系への射影の際に、基準点情報の白色点が色度図の原点に重なるように射影して、色変換行列を算出すれば、色調整に伴う白色への色つきの弊害を抑制することが可能となる。
【００２３】
変換行列算出手段１０２では、所定の基準点情報と入力された目標点情報とから、色調整のための色変換に使用する変換行列を算出し、変換行列要素情報として色変換手段１０３に出力する（ステップ１７０２）。基準点情報としては、テレビやビデオの業界での標準であるＮＴＳＣやハイビジョンテレビの色度点、ＰＣの業界で標準化されているｓＲＧＢの色度点などを用いることが考えられる。また、装置設計者が、調整の基準となる点を適当に選んでもかまわない。また、目標点情報を記憶し、次の調整時に、基準点として、前回の目標点を採用し、変換行列を準じ更新してもかまわない。さらに、色変換後の出力画像を表示する表示デバイスの色特性を計測し、計測された色度座標情報を基準点とすれば、表示デバイスの色再現性を補正した上で、色調整することも可能となる。特に基準点を表示デバイスの特性とし、目標点をＮＴＳＣなどの標準規格に準じた色度点として、色変換を行えば、色補正を実現することも可能である。
【００２４】
次に、変換行列算出手段１０２における変換行列の算出方法の一例について説明する。色変換処理は入力画像の画素値（Ｒ，Ｇ，Ｂ）から色調整後の出力画像の画素値（Ｒ１，Ｇ１，Ｂ１）への変換を、３ｘ３行列Ａを用いて、（数１）の式に準じて実行される。
【００２５】
【数１】
【００２６】
３×３行列Ａを算出する過程において、色調整はｘｙ色度図上で操作するため、ＲＧＢ色空間からＸＹＺ色空間への変換を行い、正規化してｘｙ色度図上での位置を算出する。以下にＲＧＢからＸＹＺへの色空間変換の式を３×３行列Ｔを用いて、（数２）に示す。
【００２７】
【数２】
【００２８】
ｘｙ色度図上において、ｘは、Ｘ＋Ｙ＋Ｚ＝Ｓとして、ｘ＝Ｘ／Ｓ、ｘｙ色度図上でのｙは、Ｘ＋Ｙ＋Ｚ＝Ｓとしてｙ＝Ｙ／Ｓと表される。
【００２９】
前記目標点情報と基準点情報のｘｙ色度図上の座標に基づき、色調整のためのｘｙ色度図上での変換行列を算出し、さらにｘｙ色度図からＸＹＺ色空間、さらにＲＧＢ色空間へ変換を考慮して最終的な変換行列を算出する。以下に、ＸＹＺからＲＧＢへの色空間変換の式を（数３）に示す。
【００３０】
【数３】
【００３１】
ｘｙ色度図上における、変換前の点を（ｘ，ｙ，ｚ）、変換後の点を（ｘ１，ｙ１，ｚ１）とすると、（数１）から（数３）より、色変換は（数４）の式で表される。
【００３２】
【数４】
【００３３】
基準点情報を構成する赤、緑、青に対応する色度図上の座標を（数５）に示す。
【００３４】
【数５】
【００３５】
目標点情報を構成する赤、緑、青に対応する色度図上の座標を（数６）に示す。
【００３６】
【数６】
【００３７】
以上の式により、色変換のための変換行列Ａは、（数７）により算出される。
【００３８】
【数７】
【００３９】
色変換手段１０３では、入力された画像信号に対して、変換行列算出手段１０２で算出した変換行列を乗算し、色を変更した画像信号を出力する（ステップ１７０３）。
【００４０】
ここで、図８のように変換行列算出手段１０２と色変換手段１０３との間に行列要素記憶手段１０８を追加する。図８において、色調整部２０１は３次元座標指定手段１０１、変換行列算出手段１０２、３次元画像レンダリング手段１０４、画像表示手段１０５、色度座標射影手段１０６、ジオメトリ演算手段１０７により構成され、色変換部２０２は色変換手段１０３、行列要素記憶手段１０８により構成されている。このような構成にすることにより、色調整部２０１にて調整し、算出した変換行列要素情報を行列要素記憶手段１０８に記憶しておけば、色変換部２０２にて、一度、設定した色調整の条件を用いて画像を出力したい場合に、色調整部２０１を停止させて変換することが可能となる。この構成は、テレビなどの色調整に適している。
【００４１】
以上のように、本発明の実施の形態１による画像処理装置では、操作のための３次元仮想空間における制御点と、操作による色変更の目標点の色度点とを対応付け、３次元仮想空間を用いたＧＵＩを参照しながら色調整の操作を行うことにより、ユーザーが色変更の度合いやどの色に対する変更かを直感的に把握しながら、容易に色調整することが可能となる。
【００４２】
（実施の形態２）
図９は本発明の実施の形態２に関する画像処理装置の構成を示すブロック図である。図９において、図１と同じ構成要素については同じ符号を用い、説明を省略する。
【００４３】
図９において、画像合成手段１０９は入力画像信号と色変換手段１０３から入力された出力画像信号と、３次元画像レンダリング手段１０４から入力されたＧＵＩ画像情報とを合成し、表示画像情報として画像表示手段１０５に出力する。
【００４４】
次に、本実施の形態２による画像処理装置の動作について図１８のフローチャートを用いて説明する。図１８は本実施の形態における色調整のためのＧＵＩを描画して表示する手順を説明するフローチャートであり、図１６と同様の構成要素は同じ符号を付し、説明を省略する。本実施の形態２は、本実施の形態１に、画像合成手段１０９を追加した構成になっており、本実施の形態１と共通の部分は、動作も共通であるため、本実施の形態２で追加された部分について説明する。
【００４５】
画像合成手段１０９では、入力画像信号と色変換手段１０３から入力された出力画像信号と、３次元画像レンダリング手段１０４から入力されたＧＵＩ画像情報とを合成し、表示画像情報として画像表示手段１０５に出力し（ステップ１８０４）、画像表示手段１０５にて表示する（ステップ１６０３）。
【００４６】
図１０に本実施の形態２による３次元ＧＵＩの表示例を示す。図１０のように、ＧＵＩ画像を参照しながら色調整の操作を行い、入力画像と出力画像とを比較し、色の変化を確認しながら色調整を行うことが可能となり、わかりやすい操作を実現できる。
【００４７】
（実施の形態３）
図１１は本発明の実施の形態３における画像処理装置の構成を示すブロック図である。図１１において、図１と同じ構成要素に関しては、同じ符号を用い、説明を省略する。図１９は本実施の形態における画像処理方法の手順を示すフローチャートである。図１９において、図１５と同じ構成要素に関しては、同じ符号を用い、説明を省略する。
【００４８】
図１１において、アフィン変換係数指定手段１１０はユーザー入力により、拡大・縮小、平行移動、回転を表現するアフィン変換係数の値を指定し（ステップ１９０１）、アフィン変換手段１１１はＧＵＩにおいて３次元空間に設定した目標点、制御点などの３次元座標情報に対してアフィン変換を施し、アフィン変換後３次元座標として、ジオメトリ演算手段１０７および色度座標射影手段１０６とに出力する（ステップ１９０２）。
【００４９】
次に、本実施の形態３による画像処理装置の動作について説明する。本実施の形態３は、本実施の形態１に、アフィン変換係数指定手段１１０とアフィン変換手段１１１を追加した構成になっており、本実施の形態１との共通部分は、動作も共通であるため、本実施の形態３で追加された部分について説明する。
【００５０】
アフィン変換係数指定手段１１０では、ユーザー入力により、ＧＵＩにおける制御点の位置を変更するのではなく、拡大・縮小、平行移動、回転を表現するアフィン変換係数の値を指定して、アフィン変換係数をアフィン変換手段１１１に出力する。
【００５１】
図１２に本実施の形態３による画像処理装置による３次元ＧＵＩの表示例を示す。図１２に示すように、基準点ＲＧＢで構成される三角形を拡大（同図のＲ１Ｇ１Ｂ１で構成される三角形）、縮小することで彩度の調整、基準点ＲＧＢで構成される三角形をＷで示される白色点Ｗを中心として回転させることにより、色相の調整、また、平行移動することにより白色点の調整を行うことができる。
【００５２】
アフィン変換手段１１１では、ＧＵＩにおいて３次元空間に設定した目標点、制御点などの３次元座標情報に対してアフィン変換を施し、アフィン変換後３次元座標として、ジオメトリ演算手段１０７および色度座標射影手段１０６とに出力する。
【００５３】
以上のように、本発明の実施の形態３による画像処理装置では、アフィン変換係数を用いてユーザーの色調整度合いを指定することにより、拡大・縮小、平行移動、回転といった、ユーザーの操作としてなじみやすい要素で設定することができ、容易な操作を実現することが可能となる。
【００５４】
また、位置変更について、任意の位置に変更する場合にくらべ、あらかじめアフィン変換の行列を準備しておくことが可能であるため、ジオメトリ演算の処理を簡略化でき、行列要素のテーブル化などにより行列演算処理の高速化を実現することが可能となる。
【００５５】
（実施の形態４）
本発明を構成するジオメトリ演算、色度座標への射影、色変換の３つの処理は行列演算であり、各処理を１つの行列演算に統合して、時分割で処理を行うことによりハードウェア規模の縮小化が可能である。
【００５６】
図１３は本発明の実施の形態４に関する画像処理装置の構成を示すブロック図である。図１４は本発明の実施の形態４に関する画像処理方法の一例を示すフローチャートである。本実施の形態は、上記の３つの処理をすべて統合した場合であるが、他に、３つの処理のうちの２つの処理を選択して、統合する場合も考えられる。
【００５７】
図１３において、図１と同じ構成要素に関しては、同じ符号を用い、説明を省略する。図１３において、行列演算手段１１２は本実施の形態１のジオメトリ演算手段１０７と色度座標射影手段１０６と色変換手段１０３とを統合したものであり、行列要素切替手段１１３は時分割で行列要素を切り替えて、ジオメトリ演算処理と色度座標射影処理と色変換処理とを実行する。
【００５８】
また、図１４において、図１５、図１６、図１７と同じ構成要素に関しては、同じ符号を用い、説明を省略する。図１４において、行列演算ステップ１４０１は、本実施の形態１のジオメトリ演算ステップ１６０１と色度座標射影ステップ１７０１と色変換ステップ１７０３とを統合したものであり、行列要素切替ステップ１４０２は時分割で行列要素を切り替えて、ジオメトリ演算処理と色度座標射影処理と色変換処理とを実行する。
【００５９】
次に、本実施の形態４による画像処理装置の動作について説明する。
【００６０】
一般に３次元空間における座標変換では、ｘ、ｙ、ｚの３次元にパラメータを１つ追加した同次座標系が用いられ、４ｘ４行列の小数点演算が実行される。ジオメトリ演算処理と色度座標射影処理とは４ｘ４の行列演算である（ステップ１４０１）。一方、色変換処理では（ステップ１４０３、ステップ１４０４、ステップ１７０２）、Ｒ、Ｇ、Ｂの３つの値に対して３ｘ３行列の整数演算が実行される。したがって、行列演算手段１１２として、４ｘ４行列の小数点演算器を用意し、色変換処理の場合は整数から小数点へデータ型を変換した上で（ステップ１４０２）、４ｘ４の行列要素のうちの３ｘ３の行列要素に代入して演算し、演算結果を小数点から整数へ変換すれば、上記、３つの処理の統合が可能である（ステップ１４０１）。
【００６１】
特に、上記、実施の形態３のようにアフィン変換係数で操作を行う場合、アフィン変換手段１１１の行列演算を行列演算手段１１２に容易に統合可能である。
【００６２】
以上のように、本発明の実施の形態４による画像処理装置では、ジオメトリ演算、色度座標への射影、色変換の３つの処理を１つの行列演算に統合して、時分割で処理を行うことによりハードウェア規模の縮小化が可能である。
【００６３】
また、近年、パーソナルコンピュータでは３次元画像描画の際のジオメトリ演算を高速化するための行列演算ハードウェアが搭載されたり、パーソナルコンピュータの心臓部であるＣＰＵにおいて、行列演算を高速化するハードウェア演算器を有しているため、本実施の形態のように行列演算を統合して、行列演算の高速化ハードウェアを使用して、高速処理を実現可能である。
【００６４】
なお、本発明のいずれの実施の形態においても、以上説明した各手段の機能の全部または一部、または、各ステップの全部または一部をコンピュータにより実行させるプログラムを格納する記録媒体を用いてもよい。
【００６５】
【発明の効果】
以上のように、本発明によれば、操作のための３次元仮想空間における制御点と、操作による色変更の目標点の色度点とを対応付け、３次元仮想空間を用いたＧＵＩを参照しながら色調整の操作を行うことにより、ユーザーが色変更の度合いやどの色に対する変更かを直感的に把握しながら、容易に色調整することが可能となる。
【００６６】
さらに、入力画像信号と色調整後の出力画像信号とＧＵＩ画像とを同時に表示することにより、色調整の結果を確認しながら、色調整操作を行えるため、わかりやすい操作を実現することが可能である。
【００６７】
また、アフィン変換係数を用いてユーザーの色調整度合いを指定することにより、拡大・縮小、平行移動、回転といった、ユーザーの操作としてなじみやすい要素で設定することができ、容易な操作を実現することが可能となる。
【００６８】
さらに、本発明を構成する、ジオメトリ演算、色度座標への射影、色変換の３つの処理を１つの行列演算に統合して、時分割で処理を行うことによりハードウェア規模の縮小化が可能である。
【図面の簡単な説明】
【図１】本発明の実施の形態１における画像処理装置の構成を示すブロック図
【図２】同３次元ＧＵＩを用いた色調整に関する概念図
【図３】同３次元ＧＵＩを用いた色調整の操作に関する説明図
【図４】同色度図上に射影された目標点および基準点に関する説明図
【図５】同４面体を用いて３次元ＧＵＩ画面を構成する色調整の表示の一例を示す図
【図６】同基準点情報の白色点を色度図の原点に射影する場合に関する説明図
【図７】同基準点および目標点を正規化して表示する場合に関する説明図
【図８】同行列要素記憶手段を追加した本発明の実施の形態１の構成を示すブロック図
【図９】本発明の実施の形態２における画像処理装置の構成を示すブロック図
【図１０】同３次元ＧＵＩ表示画面の一例を示す図
【図１１】本発明の実施の形態３における画像処理装置の構成を示すブロック図
【図１２】同３次元ＧＵＩ表示画面の一例を示す図
【図１３】本発明の実施の形態４における画像処理装置の構成を示すブロック図
【図１４】本発明の実施の形態４における画像処理方法を説明するフローチャート
【図１５】本発明の実施の形態１における画像処理方法を説明するフローチャート
【図１６】同色調整のためのＧＵＩを描画して表示する処理を説明するフローチャート
【図１７】同色調整のための色変換行列を算出する処理を説明するフローチャート
【図１８】本発明の実施の形態２における画像処理方法を説明するフローチャート
【図１９】本発明の実施の形態３における画像処理方法を説明するフローチャート
【図２０】従来の色調整方法に関する説明図
【符号の説明】
１０１ ３次元座標指定手段
１０２ 変換行列算出手段
１０３ 色変換手段
１０４ ３次元画像レンダリング手段
１０５ 画像表示手段
１０６ 色度座標射影手段
１０７ ジオメトリ演算手段
１０８ 行列要素記憶手段
１０９ 画像合成手段
１１０ アフィン変換係数指定手段
１１１ アフィン変換手段
１１２ 行列演算手段
１１３ 行列要素切替手段
２０１ 色調整部
２０２ 色変換部
【特許請求の範囲】
【請求項１】
ユーザー入力により移動操作された３次元仮想空間内の制御点より、３次元位置を指定してユーザー指定３次元座標情報を出力する３次元座標指定手段と、
前記ユーザー指定３次元座標情報に基づき、３次元画像を生成するための座標演算を行い、中間情報として出力するジオメトリ演算手段と、
前記中間情報に基づき、３次元ＧＵＩ画像を生成して出力する３次元画像レンダリング手段と、
前記３次元ＧＵＩ画像を表示する画像表示手段と、
前記ユーザー指定３次元座標情報に基づき、３次元仮想空間の座標を色度座標へ射影を行い、色度座標上で色調整の目標となる点を算出して目標点情報を出力する色度座標射影手段と、
前記目標点情報と所定の基準点情報とから色調整のための色変換に使用する変換行列を算出し、変換行列要素情報を出力する変換行列算出手段と、
前記変換行列要素情報を入力画像信号に乗算して、色調整された画像信号を出力する色変換手段、とを備えた画像処理装置。
【請求項２】
前記３次元座標指定手段において、基準点情報が、赤、緑、青に対応する３点で構成され、前記基準点情報の各３点と頂点を結ぶ直線上にそれぞれの目標点を指定するための制御点を設定することを特徴とする請求項１記載の画像処理装置。
【請求項３】
前記３次元ＧＵＩ画像を生成する際に、赤、緑、青に対応する３点で構成される基準点情報、および前記３点それぞれに対応する目標点を指定するための制御点情報の６点により生成される４面体を表示し、４面体の形状変更により色調整を行うことを特徴とする請求項１記載の画像処理装置。
【請求項４】
前記色度座標射影手段において、基準点情報が、赤、緑、青、白の４点で構成され、白点が色度座標の原点に一致するように射影することを特徴とする請求項１記載の画像処理装置。
【請求項５】
前記３次元座標指定手段により出力された前記ユーザー指定３次元座標情報を正規化して、前記ジオメトリ演算手段に出力する座標正規化手段を追加したことを特徴とする請求項１記載の画像処理装置。
【請求項６】
前記色度座標射影手段により出力された目標点情報を記憶し、次の調整時に基準点情報として前記変換行列算出手段に出力することを特徴とする請求項１記載の画像処理装置。
【請求項７】
前記基準点情報として、色調整後の前記出力画像信号を参照する画像表示デバイスの特性を計測して算出した色度座標情報を使用することを特徴とする請求項１記載の画像処理装置。
【請求項８】
前記色変換手段に入力される画像信号にかけられたガンマ特性を補正する逆ガンマ補正手段を追加したことを特徴とする請求項１記載の画像処理装置。
【請求項９】
前記変換行列算出手段により出力された前記変換行列要素情報を記憶し、記憶した前記変換行列要素情報を前記色変換手段に出力することを特徴とする請求項１記載の画像処理装置。
【請求項１０】
前記３次元画像レンダリング手段により出力された前記ＧＵＩ画像情報と、前記色変換手段に入力された前記入力画像信号および色調整された前記出力画像信号とを合成して、表示画像情報として前記画像表示手段に出力することを特徴とする請求項１記載の画像処理装置。
【請求項１１】
前記３次元座標指定手段の代わりに、ユーザー入力により拡大・縮小、平行移動、回転などのアフィン変換係数を指定しアフィン変換係数情報を出力するアフィン変換係数指定手段と、
前記アフィン変換係数情報に基づき、基準点および制御点の３次元座標情報に対してアフィン変換を行い、アフィン変換後３次元座標情報として出力するアフィン変換手段とを備えたことを特徴とする請求項１記載の画像処理装置。
【請求項１２】
前記ジオメトリ演算手段と前記色度座標射影手段とを、行列演算を時分割で処理する行列演算手段に置き換えたことを特徴とする請求項１記載の画像処理装置。
【請求項１３】
前記ジオメトリ演算手段と前記色変換手段とを、行列演算を時分割で処理する行列演算手段に置き換えたことを特徴とする請求項１記載の画像処理装置。
【請求項１４】
前記ジオメトリ演算手段と前記色度座標射影手段と前記色変換手段とを、行列演算を時分割で処理する行列演算手段に置き換えたことを特徴とする請求項１記載の画像処理装置。
【請求項１５】
ユーザー入力により移動操作された３次元仮想空間内の制御点より、３次元位置を指定してユーザー指定３次元座標情報を出力する３次元座標指定ステップと、
前記ユーザー指定３次元座標情報に基づき、３次元画像を生成するための座標演算を行い、中間情報として出力するジオメトリ演算ステップと、
前記中間情報に基づき、３次元ＧＵＩ画像を生成して出力する３次元画像レンダリングステップと、
前記３次元ＧＵＩ画像を表示する画像表示ステップと、
前記ユーザー指定３次元座標情報に基づき、３次元仮想空間の座標を色度座標へ射影を行い、色度座標上で色調整の目標となる点を算出して目標点情報を出力する色度座標射影ステップと、
前記目標点情報と所定の基準点情報とから色調整のための色変換に使用する変換行列を算出し、変換行列要素情報を出力する変換行列算出ステップと、
前記変換行列要素情報を入力画像信号に乗算して、色調整された画像信号を出力する色変換手段、とを備えた画像処理方法。
【請求項１６】
前記３次元座標指定ステップにおいて、基準点情報が、赤、緑、青に対応する３点で構成され、前記基準点情報の各３点と頂点を結ぶ直線上にそれぞれの目標点を指定するための制御点を設定することを特徴とする請求項１５記載の画像処理方法。
【請求項１７】
前記３次元ＧＵＩ画像を生成する際に、赤、緑、青に対応する３点で構成される基準点情報、および前記３点それぞれに対応する目標点を指定するための制御点情報の６点により生成される４面体を表示し、４面体の形状変更により色調整を行うことを特徴とする請求項１５記載の画像処理方法。
【請求項１８】
前記色度座標射影ステップにおいて、基準点情報が、赤、緑、青、白の４点で構成され、白点が色度座標の原点に一致するように射影することを特徴とする請求項１５記載の画像処理方法。
【請求項１９】
前記３次元座標指定ステップにより出力された前記ユーザー指定３次元座標情報を正規化して、前記ジオメトリ演算ステップに出力する座標正規化ステップを追加したことを特徴とする請求項１５記載の画像処理方法。
【請求項２０】
前記色度座標射影ステップにより出力された目標点情報を記憶し、次の調整時に基準点情報として前記変換行列算出ステップに出力することを特徴とする請求項１５記載の画像処理方法。
【請求項２１】
前記基準点情報として、色調整後の前記出力画像信号を参照する画像表示デバイスの特性を計測して算出した色度座標情報を使用することを特徴とする請求項１５記載の画像処理方法。
【請求項２２】
前記色変換ステップに入力される画像信号にかけられたガンマ特性を補正する逆ガンマ補正ステップを追加したことを特徴とする請求項１５記載の画像処理方法。
【請求項２３】
前記変換行列算出ステップにより出力された前記変換行列要素情報を記憶し、記憶した前記変換行列要素情報を前記色変換ステップに出力することを特徴とする請求項１５記載の画像処理方法。
【請求項２４】
前記３次元画像レンダリングステップにより出力された前記ＧＵＩ画像情報と、前記色変換ステップに入力された前記入力画像信号および色調整された前記出力画像信号とを合成して、表示画像情報として前記画像表示ステップに出力することを特徴とする請求項１５記載の画像処理方法。
【請求項２５】
前記３次元座標指定ステップの代わりに、ユーザー入力により拡大・縮小、平行移動、回転などのアフィン変換係数を指定しアフィン変換係数情報を出力するアフィン変換係数指定ステップと、
前記アフィン変換係数情報に基づき、基準点および制御点の３次元座標情報に対してアフィン変換を行い、アフィン変換後３次元座標情報として出力するアフィン変換ステップとを備えたことを特徴とする請求項１５記載の画像処理方法。
【請求項２６】
前記ジオメトリ演算ステップと前記色度座標射影ステップとを、行列演算を時分割で処理する行列演算ステップに置き換えたことを特徴とする請求項１５記載の画像処理方法。
【請求項２７】
前記ジオメトリ演算ステップと前記色変換ステップとを、行列演算を時分割で処理する行列演算ステップに置き換えたことを特徴とする請求項１５記載の画像処理方法。
【請求項２８】
前記ジオメトリ演算ステップと前記色度座標射影ステップと前記色変換ステップとを、行列演算を時分割で処理する行列演算ステップに置き換えたことを特徴とする請求項１５記載の画像処理方法。
【請求項１】
ユーザー入力により移動操作された３次元仮想空間内の制御点より、３次元位置を指定してユーザー指定３次元座標情報を出力する３次元座標指定手段と、
前記ユーザー指定３次元座標情報に基づき、３次元画像を生成するための座標演算を行い、中間情報として出力するジオメトリ演算手段と、
前記中間情報に基づき、３次元ＧＵＩ画像を生成して出力する３次元画像レンダリング手段と、
前記３次元ＧＵＩ画像を表示する画像表示手段と、
前記ユーザー指定３次元座標情報に基づき、３次元仮想空間の座標を色度座標へ射影を行い、色度座標上で色調整の目標となる点を算出して目標点情報を出力する色度座標射影手段と、
前記目標点情報と所定の基準点情報とから色調整のための色変換に使用する変換行列を算出し、変換行列要素情報を出力する変換行列算出手段と、
前記変換行列要素情報を入力画像信号に乗算して、色調整された画像信号を出力する色変換手段、とを備えた画像処理装置。
【請求項２】
前記３次元座標指定手段において、基準点情報が、赤、緑、青に対応する３点で構成され、前記基準点情報の各３点と頂点を結ぶ直線上にそれぞれの目標点を指定するための制御点を設定することを特徴とする請求項１記載の画像処理装置。
【請求項３】
前記３次元ＧＵＩ画像を生成する際に、赤、緑、青に対応する３点で構成される基準点情報、および前記３点それぞれに対応する目標点を指定するための制御点情報の６点により生成される４面体を表示し、４面体の形状変更により色調整を行うことを特徴とする請求項１記載の画像処理装置。
【請求項４】
前記色度座標射影手段において、基準点情報が、赤、緑、青、白の４点で構成され、白点が色度座標の原点に一致するように射影することを特徴とする請求項１記載の画像処理装置。
【請求項５】
前記３次元座標指定手段により出力された前記ユーザー指定３次元座標情報を正規化して、前記ジオメトリ演算手段に出力する座標正規化手段を追加したことを特徴とする請求項１記載の画像処理装置。
【請求項６】
前記色度座標射影手段により出力された目標点情報を記憶し、次の調整時に基準点情報として前記変換行列算出手段に出力することを特徴とする請求項１記載の画像処理装置。
【請求項７】
前記基準点情報として、色調整後の前記出力画像信号を参照する画像表示デバイスの特性を計測して算出した色度座標情報を使用することを特徴とする請求項１記載の画像処理装置。
【請求項８】
前記色変換手段に入力される画像信号にかけられたガンマ特性を補正する逆ガンマ補正手段を追加したことを特徴とする請求項１記載の画像処理装置。
【請求項９】
前記変換行列算出手段により出力された前記変換行列要素情報を記憶し、記憶した前記変換行列要素情報を前記色変換手段に出力することを特徴とする請求項１記載の画像処理装置。
【請求項１０】
前記３次元画像レンダリング手段により出力された前記ＧＵＩ画像情報と、前記色変換手段に入力された前記入力画像信号および色調整された前記出力画像信号とを合成して、表示画像情報として前記画像表示手段に出力することを特徴とする請求項１記載の画像処理装置。
【請求項１１】
前記３次元座標指定手段の代わりに、ユーザー入力により拡大・縮小、平行移動、回転などのアフィン変換係数を指定しアフィン変換係数情報を出力するアフィン変換係数指定手段と、
前記アフィン変換係数情報に基づき、基準点および制御点の３次元座標情報に対してアフィン変換を行い、アフィン変換後３次元座標情報として出力するアフィン変換手段とを備えたことを特徴とする請求項１記載の画像処理装置。
【請求項１２】
前記ジオメトリ演算手段と前記色度座標射影手段とを、行列演算を時分割で処理する行列演算手段に置き換えたことを特徴とする請求項１記載の画像処理装置。
【請求項１３】
前記ジオメトリ演算手段と前記色変換手段とを、行列演算を時分割で処理する行列演算手段に置き換えたことを特徴とする請求項１記載の画像処理装置。
【請求項１４】
前記ジオメトリ演算手段と前記色度座標射影手段と前記色変換手段とを、行列演算を時分割で処理する行列演算手段に置き換えたことを特徴とする請求項１記載の画像処理装置。
【請求項１５】
ユーザー入力により移動操作された３次元仮想空間内の制御点より、３次元位置を指定してユーザー指定３次元座標情報を出力する３次元座標指定ステップと、
前記ユーザー指定３次元座標情報に基づき、３次元画像を生成するための座標演算を行い、中間情報として出力するジオメトリ演算ステップと、
前記中間情報に基づき、３次元ＧＵＩ画像を生成して出力する３次元画像レンダリングステップと、
前記３次元ＧＵＩ画像を表示する画像表示ステップと、
前記ユーザー指定３次元座標情報に基づき、３次元仮想空間の座標を色度座標へ射影を行い、色度座標上で色調整の目標となる点を算出して目標点情報を出力する色度座標射影ステップと、
前記目標点情報と所定の基準点情報とから色調整のための色変換に使用する変換行列を算出し、変換行列要素情報を出力する変換行列算出ステップと、
前記変換行列要素情報を入力画像信号に乗算して、色調整された画像信号を出力する色変換手段、とを備えた画像処理方法。
【請求項１６】
前記３次元座標指定ステップにおいて、基準点情報が、赤、緑、青に対応する３点で構成され、前記基準点情報の各３点と頂点を結ぶ直線上にそれぞれの目標点を指定するための制御点を設定することを特徴とする請求項１５記載の画像処理方法。
【請求項１７】
前記３次元ＧＵＩ画像を生成する際に、赤、緑、青に対応する３点で構成される基準点情報、および前記３点それぞれに対応する目標点を指定するための制御点情報の６点により生成される４面体を表示し、４面体の形状変更により色調整を行うことを特徴とする請求項１５記載の画像処理方法。
【請求項１８】
前記色度座標射影ステップにおいて、基準点情報が、赤、緑、青、白の４点で構成され、白点が色度座標の原点に一致するように射影することを特徴とする請求項１５記載の画像処理方法。
【請求項１９】
前記３次元座標指定ステップにより出力された前記ユーザー指定３次元座標情報を正規化して、前記ジオメトリ演算ステップに出力する座標正規化ステップを追加したことを特徴とする請求項１５記載の画像処理方法。
【請求項２０】
前記色度座標射影ステップにより出力された目標点情報を記憶し、次の調整時に基準点情報として前記変換行列算出ステップに出力することを特徴とする請求項１５記載の画像処理方法。
【請求項２１】
前記基準点情報として、色調整後の前記出力画像信号を参照する画像表示デバイスの特性を計測して算出した色度座標情報を使用することを特徴とする請求項１５記載の画像処理方法。
【請求項２２】
前記色変換ステップに入力される画像信号にかけられたガンマ特性を補正する逆ガンマ補正ステップを追加したことを特徴とする請求項１５記載の画像処理方法。
【請求項２３】
前記変換行列算出ステップにより出力された前記変換行列要素情報を記憶し、記憶した前記変換行列要素情報を前記色変換ステップに出力することを特徴とする請求項１５記載の画像処理方法。
【請求項２４】
前記３次元画像レンダリングステップにより出力された前記ＧＵＩ画像情報と、前記色変換ステップに入力された前記入力画像信号および色調整された前記出力画像信号とを合成して、表示画像情報として前記画像表示ステップに出力することを特徴とする請求項１５記載の画像処理方法。
【請求項２５】
前記３次元座標指定ステップの代わりに、ユーザー入力により拡大・縮小、平行移動、回転などのアフィン変換係数を指定しアフィン変換係数情報を出力するアフィン変換係数指定ステップと、
前記アフィン変換係数情報に基づき、基準点および制御点の３次元座標情報に対してアフィン変換を行い、アフィン変換後３次元座標情報として出力するアフィン変換ステップとを備えたことを特徴とする請求項１５記載の画像処理方法。
【請求項２６】
前記ジオメトリ演算ステップと前記色度座標射影ステップとを、行列演算を時分割で処理する行列演算ステップに置き換えたことを特徴とする請求項１５記載の画像処理方法。
【請求項２７】
前記ジオメトリ演算ステップと前記色変換ステップとを、行列演算を時分割で処理する行列演算ステップに置き換えたことを特徴とする請求項１５記載の画像処理方法。
【請求項２８】
前記ジオメトリ演算ステップと前記色度座標射影ステップと前記色変換ステップとを、行列演算を時分割で処理する行列演算ステップに置き換えたことを特徴とする請求項１５記載の画像処理方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【公開番号】特開２００５−３７９９６（Ｐ２００５−３７９９６Ａ）
【公開日】平成１７年２月１０日（２００５．２．１０）
【国際特許分類】
【出願番号】特願２００３−１９７１３３（Ｐ２００３−１９７１３３）
【出願日】平成１５年７月１５日（２００３．７．１５）
【出願人】（０００００５８２１）松下電器産業株式会社 (73,050)
【Ｆターム（参考）】
【公開日】平成１７年２月１０日（２００５．２．１０）
【国際特許分類】
【出願日】平成１５年７月１５日（２００３．７．１５）
【出願人】（０００００５８２１）松下電器産業株式会社 (73,050)
【Ｆターム（参考）】
[ Back to top ]