プロジェクタの色補正方法
投影面の色や模様、周辺環境光により投影面が均一でない場合、プロジェクタで投影される再現画像が所望の色の見えとなるようにする。対応付け部(21)、対応関係記憶メモリ22、色情報獲得部(23)、色変換計算部(23)、色変換記憶メモリ(25)及び色補正部(26)を備える色補正装置を用いる。対応付け部(21)は、画像(5)を投影面(2)に投影し撮影した撮影画像(7)を取得し、画像(5)の画素と撮影画像(7)の画素との間の対応付けを行う。対応関係記憶メモリ(22)は、対応付けを記録する。色情報獲得部(23)は、撮影画像の画素毎の色情報としての第2色情報を獲得する。色変換計算部(23)は、第1色情報と第2色情報と対応付けとに基づいて、画像の画素毎に色変換を計算する。色変換記憶メモリ(25)は、色変換を記録する。色補正部(26)は、入力画像の画素毎に色変換を用いて色補正する。
【発明の詳細な説明】
【技術分野】
【0001】
本発明はプロジェクタの色補正装置、プロジェクタの色補正方法およびプロジェクタに関し、特に色再現の精度を向上させたプロジェクタの色補正装置、プロジェクタの色補正方法、およびそれらを適用したプロジェクタに関する。
【背景技術】
【0002】
画像をスクリーンのような投影面に投影する際にはプロジェクタが使用される。このようなプロジェクタを使用する際において、投影面上の画像の色を、画像データに記録された色と正確に一致するように補正するプロジェクタの色補正方法が知られている。
【0003】
例えば、特開2001−320725号公報には、プロジェクタの色補正を行う環境適応型の画像処理方法の技術が開示されている。この技術は、視環境に適応して画像の色を補正するものである。そしてこの技術は、視環境を把握する工程と、把握された視環境を所定の色空間における座標値に変換する工程と、所定の基準環境における所定の色の所定の色空間における座標値と、変換された座標値と、変換された座標値の補色対となる座標値とに基づいて表示用の入出力データを補正する補正工程と、補正された入出力データに基づいて画像を表示する工程とを含む。
【0004】
この色補正方法では、プロジェクタの環境情報を反映した座標値と補色対となる座標値に基づき、画像表示手段が用いる表示用の入出力特性データを補正することにより、表示時の環境に適応した色再現を実現しようとするものである。具体的な色再現方法は、白色画像の投影面から得られる色情報(RGBやXYZなど)を色センサで入手し、その得られた白色画像の色情報を、あらかじめ設定されている基準の白色でのもとのCIELABの色空間にマッピングする。このとき、その白色がL軸上に乗っていない場合、その白色のab平面上でのL軸から束縛ベクトルを計算し、L軸からその逆ベクトルの位置に相当する色、すなわち補色を得て、これを補正色として出力する。実際には、この処理を白色以外の複数階調の無彩色に対して行い、これをガンマ補正LUTに格納する形式で実現する。
【0005】
このような従来のプロジェクタの色補正方法は、プロジェクタの色再現に影響を与える要因である投影面の色が均一であることを前提としている。そのため、投影面の色が均一でない場合には、より正確な色補正は実現できない。その理由は、従来の色補正法では、投影面の色情報を獲得するが、投影画像の画素レベルに対応する詳細な色情報の獲得を行っておらず、投影面の平均的な色に対応した一種類の色補正処理しか施されないためである。
【0006】
加えて、従来のプロジェクタの色補正方法は、プロジェクタの色再現に影響を与える要因である投影面が模様がないことを前提としている。そのため、投影面に模様が存在する場合には、より正確な色補正は実現できない。その理由は、従来の色補正法では、投影面の色情報を獲得するが、投影画像の画素レベルに対応する詳細な色情報の獲得を行っておらず、投影面の平均的な色に対応した一種類の色補正処理しか施されないためである。
【0007】
更に、従来のプロジェクタの色補正方法は、プロジェクタの色再現に影響を与える要因である環境光が投影面に均一に当たっていることを前提としている。そのため、環境光が投影面に均一に当たっていない場合には、より正確な色補正は実現できない。その理由は、従来の色補正法では、投影面における環境光の色情報を獲得するが、投影画像の画素レベルに対応する詳細な色情報の獲得を行っておらず、投影面の平均的な環境光に対応した一種類の色補正処理しか施されないためである。
【0008】
プロジェクタの色再現の精度を向上することができる技術が望まれる。プロジェクタの投影面の色が均一でない状況であっても、安定な色再現を実現できる技術が望まれる。プロジェクタの投影面に模様がある状況であっても、安定な色再現を実現できる技術が求められる。プロジェクタの投影面に環境光が均一に当たっていない状況であっても、安定な色再現を実現できる技術が求められる。
【0009】
関連する技術として、特開2000−316170号公報には、色ムラ補正方法の技術が開示されている。この技術は、表示装置の画像生成部で生成されたカラー画像が表示される光学表示面における表示色の色ムラ補正方法である。基準色画像データを画像生成部に入力して基準色画像を表示させる光学表示面を複数の三角形領域に区画する。それぞれの三角形領域の3つの頂点に位置する基準画素での色座標を測定する。それと共に、基準画素での輝度補正量を決定する。それぞれの三角形領域の3つの基準画素での輝度補正量に基づいて、それぞれの三角形領域内の各画素での輝度補正量を所定の関数に従って求める。画像生成部に入力されるそれぞれの三角形領域内の各画素に対応する色画像データに、輝度補正量に応じた補正を行う。
【0010】
この技術は、表示画面の色ムラの補正の適正量を適切に決定し、表示画面の細部まで適切な補正を行うことを目的としている。
【0011】
特開平11−313346号公報には、投影映像検査装置の技術が開示されている。この技術は、スクリーン上に配置の光学センサによる光学量とスクリーン上の投影映像の撮像データにおける光学センサに位置対応する部分の光学量との比較に基づいて投影映像の絶対的な光学量を測定し、その測定結果を出力するように構成されている。
【0012】
特開2002−41016号公報には、環境適応型の画像表示システムの技術が開示されている。この技術の画像表示システムは、画像の被表示領域における視環境を示す環境情報に基づき、前記画像を補正して表示する画像表示システムである。記憶する手段と、
補正する補正手段とを含む。記憶する手段は、前記環境情報に基づき前記画像の明るさを補正するための明るさ補正用情報と、前記環境情報に基づき前記画像の色を補正するための色補正用情報とを記憶する。補正する補正手段は、前記環境情報、前記明るさ補正用情報および前記色補正用情報に基づき前記画像を表示するための画像情報をと補正する。
【0013】
特開2002−125125号公報には、環境適応型の画像表示システムの技術が開示されている。この技術の画像表示システムは、 画像の被表示領域における視環境を示す環境情報に基づき、前記画像を補正して表示する画像表示システムである。前記環境情報に基づき、環境光の影響がある場合、少なくとも低階調域の出力を上げるように、前記画像を表示する手段が用いる表示用の入出力特性データを補正する補正手段を含む。
【0014】
特開2003−50572号公報には、画像表示システムの技術が開示されている。この技術の画像表示システムは、使用環境に応じて階調補正を行って画像を表示する画像表示システムである。画像表示手段と、環境把握手段と、階調補正手段とを含む。画像表示手段は、キャリブレーション画像を表示する。環境把握手段は、当該画像表示手段の使用環境を把握して当該使用環境を示す使用環境情報を出力する。階調補正手段は、前記使用環境情報に基づき、前記階調補正を行う。画像表示手段は、同一色の異なる2階調のキャリブレーション画像を表示するとともに、前記階調補正の行われた画像を表示する。前記環境把握手段は、各階調のキャリブレーション画像が表示された状態での2種類の使用環境情報を出力する。前記階調補正手段は、理想環境下における前記2階調のキャリブレーション画像を表示した場合に把握される環境を示す2種類の理想環境情報の差異と、前記2種類の使用環境情報の差異とに基づき、前記階調補正を行う。
【発明の開示】
【0015】
本発明の目的は、プロジェクタの投影面の色が均一でない状況であっても、安定な色再現を実現できるプロジェクタの色補正装置、プロジェクタの色補正方法、およびそれらを適用したプロジェクタを提供することにある。
【0016】
本発明の他の目的は、プロジェクタの投影面に模様がある状況であっても、安定な色再現を実現できるプロジェクタの色補正装置、プロジェクタの色補正方法、およびそれらを適用したプロジェクタを提供することにある。
【0017】
本発明の更に他の目的は、プロジェクタの投影面に環境光が均一に当たっていない状況であっても、安定な色再現を実現できるプロジェクタの色補正装置、プロジェクタの色補正方法、およびそれらを適用したプロジェクタを提供することにある。
【0018】
本発明の別の目的は、プロジェクタ自身に色むらがある場合、この色むらの影響を軽減することが可能なプロジェクタの色補正装置、プロジェクタの色補正方法、およびそれらを適用したプロジェクタを提供することにある。
【0019】
以下に、発明を実施するための最良の形態で使用される番号・符号を用いて、課題を解決するための手段を説明する。これらの番号・符号は、特許請求の範囲の記載と発明を実施するための最良の形態との対応関係を明らかにするために括弧付きで付加されたものである。ただし、それらの番号・符号を、特許請求の範囲に記載されている発明の技術的範囲の解釈に用いてはならない。
【0020】
上記課題を解決するために、本発明のプロジェクタの色補正方法は、予め設定された画像(5)の第1色情報(XW1,YW1,ZW1)と、画像(5)を投影面(2)に投影した画像(7)の第2色情報(XW2,YW2,ZW2/X2,Y2,Z2)とに基づいて、画像(5)の画素又はブロック毎に色変換を生成する色変換生成ステップと、入力画像(DI)の画素あるいはブロック毎に色変換を用いて色補正する色補正ステップとを備える。
【0021】
上記のプロジェクタの色補正方法において、色変換生成ステップは、ユーザインターフェース(48)を介して入力を受ける入力ステップと、入力に基づいて、色変換を生成する変換ステップとを備える。
【0022】
上記のプロジェクタの色補正方法において、色変換生成ステップは、投影面上の画像(7)の画素又はブロック毎の色情報としての第2色情報(XW2,YW2,ZW2)を獲得する色情報獲得ステップと、第1色情報(XW1,YW1,ZW1)と第2色情報(XW2,YW2,ZW2)とに基づいて、画像(5)の画素あるいはブロック毎に色変換を計算する色変換計算ステップとを備える。
【0023】
上記のプロジェクタの色補正方法において、色変換生成ステップは、画像(5)を投影面(2)に投影して撮影した撮影画像(7)を取得し、画像(5)の画素又はブロックと撮影画像(7)の画素又はブロックとの間の対応付けを行う対応付けステップと、撮影画像(7)の画素又はブロック毎の色情報としての第2色情報(XW2,YW2,ZW2)を獲得する色情報獲得ステップと、第1色情報(XW1,YW1,ZW1)と第2色情報(XW2,YW2,ZW2)と対応付けとに基づいて、画像(5)の画素あるいはブロック毎に色変換を計算する色変換計算ステップとを備える。
【0024】
上記のプロジェクタの色補正方法において、色変換生成ステップは、パターン画像(5)を投影面(2)に投影して撮影したパターン撮影画像(7)を取得し、パターン画像(5)の画素又はブロックとパターン撮影画像(7)の画素又はブロックとの対応付けを行う対応付けステップと、カラー画像(5c)を投影面(2)に投影して撮影したカラー撮影画像(7c)を取得し、カラー撮影画像(7c)の画素又はブロック毎の色情報としての第2色情報(X2,Y2,Z2)を獲得する色情報獲得ステップと、第1色情報(XW1,YW1,ZW1)と第2色情報(X2,Y2,Z2)と対応付けとに基づいて、カラー画像(5)の画素又はブロック毎に色変換を計算する色変換計算ステップとを備える。
【0025】
上記のプロジェクタの色補正方法において、画像(5)又はパターン画像(5)を複数の画像で提示し、複数の画像と連動した撮影画像としての連動撮影画像を得て、連動撮影画像をスキャンすることで、画像(5)又はパターン画像(5)の画素又はブロックと撮影画像(7)又はパターン撮影画像(7)の画素又はブロックとの対応付けを行う。
【0026】
上記のプロジェクタの色補正方法において、色変換生成ステップは、パターン画像(5)を投影面(2)に投影して撮影したパターン撮影画像(7)を取得し、パターン画像(5)の特徴点とパターン撮影画像(7)の特徴点との対応付けを行う特徴点対応付けステップと、カラー画像(5c)を投影面(2)に投影して撮影したカラー撮影画像(7c)を取得し、カラー撮影画像(7c)の特徴点の色情報としての第2色情報(X2,Y2,Z2)を獲得する特徴点色情報獲得ステップと、予め設定された第1色情報(XW1,YW1,ZW1)と第2色情報(X2,Y2,Z2)と対応付けとから、カラー画像(5c)の特徴点の色変換を計算する特徴点色変換計算ステップと、入力画像の画素あるいはブロック毎の色変換を、特徴点の色変換を代表点の色変換から算出する色変換算出ステップとを備える。
【0027】
上記のプロジェクタの色補正方法において、色変換は、数式あるいはルックアップテーブルあるいはその組み合わせで構成される。
【0028】
上記課題を解決するために本発明のプロジェクタの色補正装置は、色変換生成部(27/38)と、色補正部(26/36)とを備える。色変換生成部(27/38)は、予め設定された第1色情報(XW1,YW1,ZW1)と、投影面(2)に投影された撮影画像(7)の第2色情報(XW2,YW2,ZW2/X2,Y2,Z2)とに基づいて、画像(2)の画素又はブロック毎に色変換を生成する。色補正部(26/36)は、入力画像の画素あるいはブロック毎に色変換を用いて色補正する。
【0029】
上記のプロジェクタの色補正装置において、色変換生成部(27)は、ユーザインターフェース(38)を介した入力に基づいて、色変換を生成する変換部を備える。
【0030】
上記のプロジェクタの色補正装置において、色変換生成部(27)は、対応付け部(21)と、対応関係記憶メモリ(22)と、色情報獲得部(23)と、色変換計算部(23)と、色変換記憶メモリ(25)とを備える。対応付け部(21)は、画像(5)を投影面(2)に投影して撮影した撮影画像(7)を取得し、画像(5)の画素又はブロックと撮影画像(7)の画素又はブロックとの間の対応付けを行う。対応関係記憶メモリ(22)は、対応付けを記録する。色情報獲得部(23)は、撮影画像(7)の画素又はブロック毎の色情報としての第2色情報(XW2,YW2,ZW2)を獲得する。色変換計算部(23)は、第1色情報(XW1,YW1,ZW1)と第2色情報(XW2,YW2,ZW2)と対応付けとに基づいて、画像(5)の画素あるいはブロック毎に色変換を計算する。色変換記憶メモリ(25)は、色変換を記録する。
【0031】
上記のプロジェクタの色補正装置において、色変換生成部(27)は、対応付け部(21)と、対応関係記憶メモリ(22)と、色情報獲得部(23)と、色変換計算部(23)と、色変換記憶メモリ(25)とを備える。対応付け部(21)は、パターン画像(5)を投影面(2)に投影して撮影したパターン撮影画像(7)を取得し、パターン画像(5)の画素又はブロックとパターン撮影画像(7)の画素又はブロックとの対応付けを行う。対応関係記憶メモリ(22)は、対応付けを記録する。色情報獲得部(23)は、カラー画像(5c)を投影面(2)に投影して撮影したカラー撮影画像(7c)を取得し、カラー撮影画像(7c)の画素又はブロック毎の色情報としての第2色情報(X2,Y2,Z2)を獲得する。色変換計算部(23)は、第1色情報(XW1,YW1,ZW1)と第2色情報(X2,Y2,Z2)と対応付けとに基づいて、カラー画像(5c)の画素又はブロック毎に色変換を計算する。色変換記憶メモリは、色変換を記録する。
【0032】
上記のプロジェクタの色補正装置において、対応付け部(21)は、画像(5)又はパターン画像(5)を複数の画像で提示し、複数の画像と連動した撮影画像としての連動撮影画像を得て、連動撮影画像をスキャンすることで、画像(5)又はパターン画像(5)の画素又はブロックと撮影画像(7)又はパターン撮影画像(7)の画素又はブロックとの対応付けを行う。
【0033】
上記のプロジェクタの色補正装置において、色変換生成部(38)は、特徴点対応付け部(31)と、対応関係記憶メモリ(32)と、特徴点色情報獲得部(33)と、特徴点色変換計算部(33)と、色変換記憶メモリ(35)と、色変換算出部(37)とを備える。特徴点対応付け部(31)は、パターン画像(5)を投影面(2)に投影して撮影したパターン撮影画像(7)を取得し、パターン画像(5)の特徴点とパターン撮影画像(7)の特徴点との対応付けを行う。対応関係記憶メモリ(32)は、対応付けを記録する。特徴点色情報獲得部(33)は、カラー画像(5c)を投影面(2)に投影して撮影したカラー撮影画像(7c)を取得し、カラー撮影画像(7c)の特徴点の色情報としての第2色情報(X2,Y2,Z2)を獲得する。特徴点色変換計算部(23)は、予め設定された第1色情報(XW1,YW1,ZW1)と第2色情報(X2,Y2,Z2)と対応付けとから、カラー画像(5c)の特徴点の色変換を計算する。色変換記憶メモリ(35)は、特徴点の色変換を代表点の色変換として記録する。色変換算出部(37)は、入力画像の画素あるいはブロック毎の色変換を代表点の色変換から算出する。
【0034】
上記のプロジェクタの色補正装置において、色変換は、数式あるいはルックアップテーブルあるいはその組み合わせで構成される。
【0035】
上記課題を解決するために本発明のプロジェクタは、画像データ(DI)の入力に基づいて、色補正された画像データを出力する上記各項のいずれか一項に記載のプロジェクタの色補正装置(12/13)と、色補正された画像データを投影面(2)に投影するプロジェクタ本体(10)とを備える。
【0036】
本発明により、プロジェクタの投影面の色が均一でない状況であっても、安定な色再現を実現することが可能となる。また、本発明により、プロジェクタの投影面に模様などがある状況であっても、安定な色再現を実現することが可能となる。加えて、本発明により、プロジェクタの投影面に環境光が均一に当たっていない状況であっても、安定な色再現を実現することが可能となる。更に、本発明により、プロジェクタ自身に色むらがある場合、この色むらの影響を軽減することが可能となる。
【図面の簡単な説明】
【0037】
【図1】図1は、プロジェクタにおける色再現の一例を示す概念図である。
【図2】図2は、本発明のプロジェクタの色補正装置の第1の実施の形態の構成を示す図である。
【図3】図3は、パターン画像及びパターン撮影画像の座標位置を対応付けする方法を示す図である。
【図4A】図4Aは、パターン画像の例を示す図である。
【図4B】図4Bは、パターン画像の例を示す図である。
【図4C】図4Cは、パターン画像の例を示す図である。
【図5】図5は、パターン画像及びパターン撮影画像の例を示す図である。
【図6】図6は、パターン画像及びパターン撮影画像の特徴点の対応の例を示す図である。
【図7】図7は、特徴点以外の画素あるいはブロックの対応関係を求める方法を説明する図である。
【図8】図8は、本発明の第1の実施形態のプロジェクタの色補正装置における動作を示すフローチャートである。
【図9】図9は、本発明の第1の実施形態のプロジェクタの色補正装置における動作の変形例を示すフローチャートである。
【図10】図10は、本発明の第2の実施形態のプロジェクタの色補正装置の構成を示す図である。
【図11】図11は、本発明の第2の実施形態のプロジェクタの色補正装置における動作を示すフローチャートである。
【図12】図12は、グラフィカルユーザインターフェースの例を説明したものである。
【図13】図13は、色調整グラフィカルユーザインターフェースの例を説明した図である。
【発明を実施するための最良の形態】
【0038】
以下、本発明のプロジェクタの色補正装置、プロジェクタの色補正方法およびプロジェクタの実施の形態に関して、添付図面を参照して説明する。
【0039】
まず、プロジェクタの色再現について簡単に説明する。
【0040】
図1は、プロジェクタにおける色再現の一例を示す概念図である。プロジェクタ10から投影される色光1は、投影面2上の投影画像6となる。そして、投影面2で反射し、反射光4となって人間の目に入射し、投影画像6の色が認識される。ここで、「投影面」とは、スクリーンあるいは壁のようなプロジェクタ10が画像を投影する面をいう。
【0041】
ここで、視環境において周辺光3が存在する場合、投影画像6の画像色は、プロジェクタ10からの色光1、投影面2自体の色および周辺光3の3つの色情報が全て含まれた反射光4によって決定される。この反射光4の分光分布特性Cr(λ)は次式(1)で表すことができる。
【0042】
【数1】
Cr(λ):反射光4の分光分布特性
Cp(λ):プロジェクタ10からの色光1の分光分布特性
E(λ):観察環境における周辺光3の分光分布特性
R(λ):投影面2の表面反射率
λ:光の波長
投影面2に当たる周辺光3の分光分布特性E(λ)および投影面2の表面反射率R(λ)が、プロジェクタ10から投影される投影画像6の領域内においていずれも均一である場合、色補正は一種類の色補正方法で対応できる。
【0043】
一方、プロジェクタ10から投影される投影面2上での投影画像6の領域において、その投影面2の表面反射率R(λ)や周辺光3の分光分布特性E(λ)が均一でない場合、投影画像6の画像上での座標(px,py)からの反射光4の分光分布特性Cr(px,py,λ)は以下のように表すことができる。
【0044】
【数2】
R(px,py,λ):投影画像6上の画像上での座標(px,py)における投影面2の表面反射率
E(px,py,λ):座標(px,py)における周辺光3の分光分布特性
上式(2)に示されるように、プロジェクタ10からの色光1Cp(λ)が均一であったとしても、投影画像6の画像上での座標(px,py)における環境条件(投影面2の色および周辺光3)によりR(px,py,λ)およびE(px,py,λ)が均一でないため、Cr(px,py,λ)が均一でなくなる。従って、プロジェクタ10の色再現を実現する場合、この問題を考慮する必要がある。
【0045】
そこで、本願発明では、プロジェクタ10から投影される投影面2上での投影画像6の領域において、その投影面2の表面反射率や周辺光3の分光分布特性が均一でない場合にも、投影画像6を構成する画素単位又はあるブロック毎の色補正を行うことで、入力画像の色を忠実かつ安定的に再現することを可能にする。
【0046】
(第1の実施の形態)
以下、本発明の、本発明のプロジェクタの色補正装置、プロジェクタの色補正方法およびプロジェクタの第1の実施の形態に関して、添付図面を参照して説明する。
【0047】
まず、本発明の第1の実施形態のプロジェクタの色補正装置の構成について説明する。
【0048】
図2は、本発明の第1の実施形態のプロジェクタの色補正装置の構成を示す図である。プロジェクタの色補正装置12は、プロジェクタコントローラ20と、色変換生成部27と色補正部26とを備える。色変換生成部27は、対応点計算部21と、対応マップメモリ22と、色変換構築部23と、色情報メモリ24と、色変換メモリ25とを備える。
【0049】
なお、プロジェクタ10と色補正装置12とは、一方が他方を含んでいても良い。その場合、装置を小型化できる。
【0050】
プロジェクタコントローラ20は、プロジェクタ10の動作をコントロールする。加えて、プロジェクタ10の投影面2の詳細な色情報を獲得するために、以下の動作を行う。
【0051】
対応点計算部21から取得したパターン画像5を投影面2へ投影する。そして、カラーイメージセンサ11が投影面2上のパターン画像5を撮影した結果としてのパターン撮影画像7を取得する。その後、パターン撮影画像7を対応点計算部21へ出力する。ここで、パターン画像5は、パターン撮影画像7がプロジェクタ10の投影領域全体を覆うことができるように作成されているものとする。
【0052】
パターン画像5とパターン撮影画像7との画素の対応関係(後述)が得られたら、プロジェクタコントローラ20は、色変換構築部23から取得したカラー画像5cを投影面2へ投影する。そして、カラーイメージセンサ11が投影面2上のカラー画像5cを撮影した結果としてのカラー撮影画像7cを取得する。その後、カラー撮影画像7cを色変換構築部23へ出力する。カラー画像5cは、プロジェクタ10の投影面2上の色空間を得るために用いる。例えば、W(白色)、WとBK(黒)、WとR(赤)とG(緑)とB(青)、及び、WとRとGとBとKのいずれかの色の組で構成されたカラー画像5cである。
【0053】
対応点計算部21は、パターン画像5を発生させて、プロジェクタコントローラ20へ出力する。パターン画像5を予め記憶部(図示されず)に格納し、それを用いても良い。また、対応点計算部21は、プロジェクタコントローラ20からパターン撮影画像7を取得する。そして、パターン画像5を構成する画素のパターン撮影画像7上での対応する画素を計算し、その対応関係を求める。
【0054】
対応マップメモリ22は、対応点計算部21において得られたパターン画像5とパターン撮影画像7との画素の対応関係を示す対応関係データを格納する。その対応関係対応関係データは、投影される画像とその投影面上での画像との間の画素の対応関係を示している。
【0055】
色変換構築部23は、カラー画像5cを生成させて、プロジェクタコントローラ20へ出力する。カラー画像5cを予め記憶部(図示されず)に格納し、それを用いても良い。また、色変換構築部23は、プロジェクタコントローラ20からカラー撮影画像7cを取得する。そして、対応マップメモリ22に記録された対応関係データに基づき、投影画像を構成する各画素に対応するカラー撮影画像7cの色情報を取り出し、色情報メモリ24に記録する。そして、各画素について、後述する式(15)に示されたプロジェクタ10の投影面2上における色空間を算出し、色変換の変換先の色空間を構築する。ここで、カラー画像がWあるいはWとBKとの場合には、Wの投影面上の色情報からプロジェクタのR、G、Bの投影面上の色情報を推定する。この推定方法としては、様様な色の投影面にW、R、G、Bを投影し、R、G、Bの色情報とWの色情報との関係を回帰分析して得た回帰式を利用することで、Wの色情報からR、G、Bの色情報が推定できる。そして、あらかじめ決められている変換元の色空間と、計算された変換先の色空間とから色の見えを一致させる色変換を、後述の色補正方法に従って構築し、これを色変換メモリ25に記録する。
【0056】
なお、色情報メモリ24は、色補正装置12において必ずしも必要なメモリではない。すなわち、各画素に対応するカラー撮影画像の色情報を色情報メモリ24に記憶せずに、色の見えを一致させる色変換として作成しても良い。
【0057】
色補正部26は、入力された画像データDIの各画素に対して色変換メモリ25に記録された色変換による色補正を施す。補正後の画像は、プロジェクタコントロール20に送られ、プロジェクタで投影される。
【0058】
(I)次に、投影される画像とその投影面上での画像との間の画素の対応関係を示す対応関係データを算出する方法について説明する。
【0059】
図3は、カラーイメージセンサ11を用いてパターン画像5の座標位置と、パターン撮影画像7の座標位置の対応付けを自動的に行う方法について説明する図である。まず、プロジェクタ10によって投影面2上に投影されたパターン画像5の投影画像6をカラーイメージセンサ11によって撮影する。次に、投影面2に投影されたパターン画像5のパターン撮影画像7を得る。そして、パターン画像5と得られたパターン撮影画像7とに基づいて、対応点計算部21はパターン画像5の座標位置とパターン撮影画像7の座標位置との対応付けを行う。図では、パターン画像5の座標位置S0と、投影画像6の座標位置SAと、パターン撮影画像7の座標位置SBとが対応付けられる。
【0060】
ここで、パターン画像5について説明する。
【0061】
図4A〜図4Cは、パターン画像5の例を示す図である。パターン画像5は、例えば、図4Aに示す画像領域をカバーしたテクスチャー(格子)画像や、図4Bに示す画像領域をカバーしたグラデーションや、図4Cに示す画像領域をカバーした均一画像などが利用できる。なお、パターン画像5は、パターン画像5上の座標位置とパターン撮影画像7上の座標位置との対応関係が得られればよく、図4A〜図4Cに限られるものではない。つまり、パターン画像5は、様々なパターンを含むことが可能である。
【0062】
パターン画像5の座標位置とパターン撮影画像7の座標位置との対応付けの求めやすさの点から、図4Bに示したグラデーション画像のように、パターン画像の隣あう画素で、画素値に関してある関係を持たせた画像を使用すると、対応関係を計算しやすくより好ましい。また、図4Aに示した格子画像では、パターン画像5中の特徴点に対応するパターン撮影画像7中の特徴点を検出しやすくより好ましい。すなわち、グラデーション画像や格子画像をパターン画像5として利用することにより、画素やブロックの対応付け計算を精密に行うことができるため、対応付けの精度を向上させることができる。
【0063】
対応関係データの算出を行うには、まず、パターン画像5に特徴点を設定し、その特徴点に対応するパターン撮影画像7の点を特定することで、両者の間の対応関係を求めることができる。具体的には以下のようにする。
【0064】
図5は、パターン画像及びパターン撮影画像の例を示す図である。右側は、格子状のパターンを有するパターン画像5である。2本の線分の交点を特徴点と設定する。左側は、パターン撮影画像7である。パターン画像5の特徴点と対応する点を、左側に示すパターン撮影画像7から全て検出する。
【0065】
図6は、パターン画像及びパターン撮影画像の特徴点の対応の例を示す図である。右側は、図5のパターン画像5であり、その特徴点を黒丸印で示している。左側は、パターン撮影画像7であり、パターン画像5の特徴点と対応する点を黒丸印で示している。矢印は、パターン画像5とパターン撮影画像7との間で対応する特徴点との対応付けを図示している。
【0066】
特徴点の対応関係を得る方法としては、例えば、図5のパターン画像5の場合、パターン撮影画像7から線成分を検出する。パターン撮影画像7はカラーの濃淡画像であるため、線成分抽出用のオペレータを用いて線成分の抽出を行った後、2値化処理を行う。ここで、線成分の検出および2値化処理については、様々な方法が提案されており、本発明ではいずれの手法も利用可能である。例えば、参考文献「画像情報処理」(阿居院、中嶋著、基礎情報工学シリーズ、森北出版株式会社)の第8章に記載の線分検出の方法や、第9章に記載の2値化処理の方法などが利用できるがこれに限られるものではない。
【0067】
図5に示されたパターン撮影画像7のような投影された格子パターンのデータが得られたならば、2つの線分が交差する交点を求め、パターン撮影画像7上における特徴点の座標位置を決定する。パターン画像5に均一画像やグラデーション画像が用いられた場合には、周りの4頂点が特徴点になる。
【0068】
なお、パターン画像5を動画像などの複数枚の画像として提示(投影)したり、あるいは、パターン画像5中の特徴点あるいは特徴点の画素を順に提示し、それと同期してパターン撮影画像7を動画像などの複数枚の画像として取得し、それをスキャンして特徴点に対応する点あるいは画素を探索することで、対応付けの処理を簡単化できる。
【0069】
なお、パターン画像5の座標位置と、パターン撮影画像7の座標位置の対応付けを手動で行うことも可能である。パターン画像5を投影し、プロジェクタに搭載されているマウスによるポインタ指定機能を利用して、投影されたパターン画像5上で特徴点を、例えば左上から右方向など指定された順番で指定してやれば、パターン画像5における特徴点の座標位置の、投影面2での座標位置を把握することができる。
【0070】
パターン画像5の特徴点とパターン撮影画像7の特徴点との対応関係を求めた後、それ以外の点の対応関係を求める。具体的には以下のようにする。
【0071】
図7は、特徴点以外の画素あるいはブロックの対応関係を求める方法を説明する図である。まず、パターン画像5とパターン撮影画像7との間における特徴点の対応関係を決定する。パターン画像5とパターン撮影画像7との間において、特徴点の対応関係が得られた後、パターン画像5を構成する画素あるいはブロックと、パターン撮影画像7上の画素あるいはブロックとの対応を、パターン画像5とパターン撮影画像7との間における特徴点の対応関係から決定する。今、パターン画像5中の任意の画素Aに対応するパターン撮影画像7中の画素A’を計算することを考える。ここで、パターン画像5中のAの座標位置を(Xa,Ya)とし、これを囲む3個の特徴点の座標位置を(PX1,PY1)、(PX2,PY2)、(PX3,PY3)とする。これら3点の特徴点の、パターン撮影画像における対応点を(PX1’,PY1’)、(PX2’,PY2’)、(PX3’,PY3’)とし、Aに対応するパターン撮影画像上でのA’の座標を(PXa’,PYa’)とする。AとA’の関係は以下の式で表される。
【0072】
【数3】
ここで、Mは2x2行列、Nは2x1行列である。行列Mと行列Nは、(PX1,PY1)、(PX2,PY2)、(PX3,PY3)と(PX1’,PY1’)、(PX2’,PY2’)、(PX3’,PY3’)の対応関係から、連立1一次方程式により容易に計算できる。以上により、パターン画像5中の任意の画素Aに対応するパターン撮影画像7中の画素A’が計算できる。ここで、画素Aの代わりにブロックAとし、それに対応するブロックA’に拡張することも容易である。
【0073】
以上のプロセスにより、対応関係データを求めることができる。対応関係データは、対応マップメモリ22に格納される。
【0074】
なお、パターン画像5におけるグラデーション画像などを右上から左方向、そして下方向へと、一画素ずつ提示(投影)し、それと同期してパターン撮影画像7を取得すれば、特徴点を介せずに画素あるいはブロックの対応付けの処理を簡単化できる。すなわち、提示されたパターン画像5と同期して撮影されたパターン撮影画像7を逐次スキャンすれば、両者の画素あるいはブロックの対応関係が得られる。
【0075】
(II)次に、色補正方法を行う方法について説明する。
【0076】
色補正を行うには、(i)まず、投影面2の色と周辺光3による影響を詳細に把握するために、パターン画像5を構成する画素あるいはブロックについて、対応するパターン撮影画像7上の画素あるいはブロックの色情報を獲得する。(ii)次に、この色情報から色変換を構築する。(iii)そして、構築された色変換に基づいて、色補正を実施する。ここでは、パターン画像5を構成する任意の一画素に対する色補正方法について説明する。
【0077】
(i)本色補正方法における色情報を獲得する方法について説明する。
【0078】
色変換の変換先の白色情報を得るために、プロジェクタ10にて白色画像(信号)5wを投影し、投影面2上における対応画素の反射光4を観測する。具体的には、色特性が既知であるカラーイメージセンサ11で撮影した白色撮影画像7wにおける対応画素の色信号を得る。ここで色信号とは、例えば、RGBなどである。そして、カラーイメージセンサ11の色特性と、カラーイメージセンサ11が出力するいわゆるデバイス依存の色信号とに基づいて、その色信号をデバイスインディペンデントな色信号、すなわち、三刺激値XYZなどに変換することができる。
【0079】
なお、カラーイメージセンサ11に一般に組み込まれているホワイトバランスの自動調整機能やγ補正機能などは、この場合使用せず、ある設定状態に固定されているものとする。したがって、上記のカラーイメージセンサの色特性は固定されている設定状態における色特性である。
【0080】
より具体的には、以下のようにして変換先の白色情報を獲得する。
【0081】
ガンマ補正が1.0に固定されているカラーイメージセンサ11のデバイス依存の色信号RGBを、デバイスインディペンデントカラーのXYZに変換するためには、例えば、以下に示すような線形変換などが利用できる。
【0082】
【数4】
ここで、Mは3×3のRGB→XYZ変換行列であり、(α,β,γ)はブラックオフセット等の補正項である。カラーイメージセンサ11の色特性となるMや(α,β,γ)を取得する方法としては、複数色のカラー画像5cを撮影して得た色信号RGBのセットと、分光光度計などを用いて得た撮影時のカラー画像の三刺激値XYZのセットを入力とし、均等色空間CIELABなどでの色差Eabが最小となるようなMを、最小自乗法などで計算することができる。
【0083】
なお、カラーイメージセンサ11のデバイス依存の色信号RGBからデバイスインディペンデントカラーのXYZへの変換は、一次色のみを考慮した線形変換である式(4)に限らず、RG,GB,RGBといった多次色についても考慮した3×n(nは4以上)のRGB→XYZ変換行列を採用する手法や、代表として選ばれたRGBとそのXYZをルックアップテーブル(以下「LUT」と記す)に記述しておき、それ以外の色のXYZは、LUTを利用した補間計算で求める手法などが利用できる。LUTは、プロジェクタコントローラ20に格納されている。またカラーイメージセンサ11は、デバイスインディペンデントカラーである三刺激値XYZを直接出力するものであってもよい。
【0084】
上記の手法で得られた白色信号に対応する三刺激値XYZを(XW2,YW2,ZW2)と記述することとし、これを色変換の変換先の白色情報とする。このようにして変換先の白色情報(三刺激値(XW2,YW2,ZW2))を獲得する。
【0085】
次に、以下のようにして変換元の白色情報を獲得する。
【0086】
色変換の変換元でありデバイス依存カラーである白色情報および入力画像の任意の色と、それらの色に対応するデバイスインディペンデントカラーとの対応関係を、表示しようとする画像に設定されている色情報などから獲得する。
【0087】
例えば、入力画像のRGBが、International Electrotechnical Commission(IEC)が規定するsRGB(IEC61966−2−1)の標準色空間として提供されている場合、その白色(情報)はD65に設定されており、RGBとXYZの対応関係も規定されている。また、International Color Consortium(http://www.color.org)が定めるICCプロファイルが与えられている場合、その画像の詳細な色情報がプロファイルから得られる。
【0088】
入力画像のRGBを三刺激値XYZに変換する際、例えば、入力画像のRGBがsRGBの場合には、IEC61966−2−1に記載の変換方法が利用できる。また、プロジェクタ10において表示する画像の色情報が得られない場合を考慮し、あらかじめ画像の基準的な色情報を想定しておき、これを利用することも可能である。このようにして得られた色変換の変換元の白色情報である三刺激値XYZを(XW1,YW1,ZW1)と記述することにする。このようにして変換元の白色情報(三刺激値(XW1,YW1,ZW1))を獲得する。
【0089】
上記の色情報を獲得する方法は、他の任意の色にも用いることができる。
【0090】
(ii)次に、上記のように求めた色情報から色変換を構築する方法について説明する。
【0091】
プロジェクタにおける色変換の変換元の色空間における白色情報の三刺激値(XW1,YW1,ZW1)と、変換先の色空間の白色情報である三刺激値(XW2,YW2,ZW2)に基づいて、実際の色変換を構築する。この色変換は、変換元の色空間における任意の色を、色の見えを保持しながら変換先の色空間の色に変換するものである。ここでは、特許第3072729号のカラーマッチング方法を基本的に用いた場合について説明する。
【0092】
変換元の色空間の白色の三刺激値(XW1,YW1,ZW1)から色度xyを計算する。その色度から変換元の色空間における照明の仮想分光分布特性I1(λ)を求める。同様に、変換先の色空間の白色の三刺激値(XW2,YW2,ZW2)から色度を計算する。その色度から変換先の色空間における照明の仮想分光分布特性I2(λ)を求める。ここで、白色の三刺激値から照明の仮想分光分布特性を得るのは、投影面が完全白色であるという仮定を導入することにより可能である。そのような方法として、例えば、本発明者による特開平10−229499号公報に記載の方法などを利用することができる。これらの白色の色度が、CIE昼光が想定する相関色温度の範囲により決定される色度の範囲に存在しないのであれば、その旨をユーザに報告する。
【0093】
ここで、三刺激値と仮想分光分布特性とから変換元の色空間の任意の色Aの仮想表面反射率R1(λ)を計算する方法について説明する。
【0094】
色AのRGBに対して、白色と同様の上記の手法(i)で三刺激値XYZとしての(X1,Y1,Z1)を計算する。色Aの三刺激値(X1,Y1,Z1)と、照明の仮想分光分布特性I1(λ)とを用いて変換元の色空間における色Aの仮想表面反射率R1(λ)
を計算する。色Aの三刺激値(X1,Y1,Z1)と仮想表面反射率R1(λ)の関係は以下のように表される。
【0095】
【数5】
ただし、x(λ)、y(λ)、z(λ)(文字の上のバーは省略)は、等色関数で既知である。k1は積分定数であり、以下の式で表される。
【0096】
【数6】
仮想表面反射率R1(λ)を計算するために、仮想表面反射率R1(λ)は、基底ベクトルの加重和で近似できるという仮定を導入し、以下に示す有限次元線形モデルで表されるものとする。
【0097】
【数7】
ここで、ri(λ)(i=0〜3)は、多くの物体の表面反射率を集め、それを主成分分析して得られる基底ベクトルで、それぞれ平均、第一主成分ベクトル〜第三主成分ベクトルを表しており、すべて既知である。ai(i=1〜3)は、各基底ベクトルの重み係数で、物体の色を表現する未知特性パラメータとなる。
【0098】
式(7)を式(5)に代入すると、未知特性パラメータaiに関する観測方程式が得られ、これを計算することができる。
【0099】
【数8】
【0100】
【数9】
ただし、i=0〜3である。
【0101】
式(8)で得られたai(i=1〜3)を式(7)に代入することで、変換元の色空間における色Aの仮想表面反射率R1(λ)が得られる。
【0102】
すなわち、変換元の色空間における任意の色について仮想表面反射率R1(λ)を計算することが可能となる。
【0103】
変換元の色空間における完全白色が与えられた場合、その三刺激値は、変換元の色空間における照明の三刺激値(XW1,YW1,ZW1)と一致する。変換元の色空間における照明の仮想分光分布特性I1(λ)は、既に求められている。従って、仮想分光分布特性I1(λ)と完全白色の三刺激値(XW1,YW1,ZW1)とに基づいて、上述した計算の方法を用いることにより、変換元の色空間における完全白色の仮想表面反射率RW1(λ)を計算することができる。
【0104】
次に、変換元における完全白色の三刺激値(XW1,YW1,ZW1)を、変換先の色空間において全く同じ三刺激値で再現することを考える。変換元の色空間における完全白色の三刺激値(XW1,YW1,ZW1)と、変換先の色空間における照明の仮想分光分布特性I2(λ)とに基づいて、上述した計算の方法を用いることにより、変換先の色空間における完全白色の仮想表面反射率RW2(λ)を計算することができる。
【0105】
いま、完全白色に関して、RW1(λ)とRW2(λ)の2つの仮想表面反射率が得られており、2つの色空間において完全白色の色の見えが一致して見える仮想表面反射率RW3(λ)を以下の式で計算する。
【0106】
【数10】
ここで、cは、観察者の色覚が不完全に順応した状態に対応する不完全色順応係数であり0〜1.0の実数である。
【0107】
次に、白色以外の色について説明する。まず、変換元の色空間における任意の色の仮想表面反射率Rf1(λ)を、白色の場合と同様に上述の方法により、その任意の色の三刺激値(X1,Y1,Z1)と仮想分光分布特性I1(λ)とに基づいて計算する。そして、その色の変換先の色空間における対応色の仮想表面反射率Rf2(λ)は、以下の式で計算する。
【0108】
【数11】
ここで、cc(λ)は、可視光領域における各波長の比係数である表面反射率順応係数であり、式(12)によりRW1(λ)とRW3(λ)から計算する。
【0109】
【数12】
変換元の色空間における任意の入力色の変換先の色空間における対応色の三刺激値(X2,Y2,Z2)は、以下の式で計算する。
【0110】
【数13】
【0111】
【数14】
ここで、k2は積分定数である。
【0112】
変換先の色空間における対応色の三刺激値(X2,Y2,Z2)が求まることにより、変換先の色空間が構築されたことになる。
【0113】
変換先の色空間における色の三刺激値(X2,Y2,Z2)は、たとえば式(15)に示すような線形変換などを利用して、プロジェクタのデバイス依存色であるR2G2B2に変換する。
【0114】
【数15】
ここで、変換行列Oはプロジェクタ10の色特性であって、デバイスインディペンデントカラーの三刺激値XYZから、プロジェクタ10のデバイス依存カラーであるRGBへの変換行列である。(l,m,n)はブラックオフセットを考慮するための補正項である。式(15)で得られるR2G2B2は、ガンマが1.0に設定されている状態でのRGB値であり、プロジェクタがガンマ特性を有するのであれば、このR2G2B2にガンマ補正を施す。このようなプロセスにより、色変換を構築することができる。
【0115】
色補正部26での補正は、入力画像の画像データ(XI,YI、ZI)を、式(15)の(X2,Y2、Z2)に入力し、式(15)の(R2,G2、B2)を得ることである。
【0116】
プロジェクタの基本原色が4色光以上の場合についても同様の手法でデバイスインディペンデントカラーとデバイス依存カラーの対応関係を式(15)のような線形式およびガンマ補正の形式で表現できる。以上の色変換処理を、パターン画像5を構成する全ての画素あるいはブロックについて施すことにより、投影面2の色が均一でない場合や、周辺光3が均一でない場合でも影響の受けないプロジェクタの色再現が実現できる。
【0117】
さらに、式(15)で表されるプロジェクタ10の標準的な色特性が提供されていたとしても、プロジェクタのより高精度な色再現を実現するためには、投影面2の色や周辺光3による影響を考慮してプロジェクタ10の色特性を更新することが望ましい。すなわち、プロジェクタ10は、W(白)の画像、あるいは、R(赤)、G(緑)、B(青)、Wの画像、あるいは、R、G、B、W、Bk(黒)からなる画像を投影面2へ投影する。カラーイメージセンサ11は、投影面2からの反射光4を撮影し、上記式(4)を用いてWあるいはRGBWあるいはRGBWBkの各三刺激値XYZを生成する。ここで、Wのみ場合に、このWの三刺激値XYZから、RGBに対応する三刺激値XYZを推定することもできる。この推定方法としては、様様な色の投影面にW、R、G、Bを投影し、R、G、Bの色情報とWの色情報との関係を回帰分析して得た回帰式を利用することで、Wの色情報からR、G、Bの色情報が推定できる。
【0118】
式(15)のXYZ→RGB変換式は、RGBWの各三刺激値XYZから計算された各色の色度を用いて求めることができる(詳しくは、田島譲二著「カラー画像複製論 カラーマネジメントの基礎」(丸善、1996)の第3章「ディスプレイの色再現」を参照)。この場合、(l,m,n)は(0,0,0)になる。Bk(黒)を加えたRGBWBkの各三刺激値XYZを用いることで、式(14)のブラックシフト(l,n,m)の項により、精度を高めることができる。
【0119】
式(15)を、上記の色補正方法と同様に、パターン画像5を構成する全ての画素あるいはブロックについて全て更新することで、さらに精度の高いプロジェクタの色再現が実現できる効果が得られる。
【0120】
変換元の色空間における任意の色を、色の見えを保持しながら変換先の色空間の色に補正する方法は、特許第3072729号のカラーマッチング方法をプロジェクタに適用する場合について説明したが、von Kriesモデル,CIELAB,CIECAM97s,納谷97モデルなどの色順応モデルやカラーアピアランスモデルも用いることができる。すなわち、プロジェクタの色補正方法は、ひとつに固定する必要はなく複数のモデルを搭載しておき、ユーザの好みに応じて選択できるようにしておくこともできる。また、これらのモデルの中には、変換パラメータを調整したり、暗い、ほの暗い、通常照明など状態など観察環境の情報を指定することでさらに精度の高いカラーマッチングが実現できるものもある。たとえば、特許第3072729号のカラーマッチング方法では不完全色順応係数cである。そのようなモデルのために、パラメータの調整を行うユーザインターフェースを提供することで、より高精度なプロジェクタのカラーマッチングが実現できる。
【0121】
ここで、プロジェクタの色補正は、カラーイメージセンサが無くても、手動で作成が可能である。例えば、投影面がチェック柄の場合、均一の色の画像を1種類以上投影し、投影面のチェック柄のブロックを、プロジェクタに搭載されているマウスによるポインタ指定機能を利用して指定する。そして、プロジェクタコントローラ20が、内部に格納された色補正プログラムに基づいて、指定されたブロックの色を対話的に変化させるグラフィカルユーザインターフェースを表示する。図12は、グラフィカルユーザインターフェースの例を説明したものである。この図において、指定されたブロック43に隣接するように標準白色板42を設置する。そして、白色をプロジェクタ10で投影し、チェック柄のブロック43上の再現色と一致するように、標準白色板42の色合わせブロック44の色を、色調整GUI48を用いて調整する。色調整GUI48は、色相・彩度調整部45、明度調整部46を備える。丸い円は、赤、黄、緑、シアン、青、マジェンタなどの色相および彩度を調整する色相・彩度調整部45である。円の中心は無彩色を表し、中心から離れるにしたがって彩度が高くなる。すなわち、円の半径方向T2に沿って彩度が変化する。また、色相は円周方向T1に沿って滑らかに変化する。長方形は、明るさを調整する明度調整部45である。上下方向T3に沿って明度が変化する。操作点55及び56をポインティングデバイスで動かして操作する。この2つの調整インターフェースで色を調整することができる。なお、この色調整GUI48は、色合わせブロック44の色をユーザが意図するように変化させられれば良く、図13の色調整GUIのみに限られるものではない。同様に赤、緑、青を投影し、色合わせ実施する。この作業により、指定されたブロックの色合わせされた標準白色板上の白、赤、緑、青のRGBデータが得られる。
【0122】
標準白色板に投影した時のプロジェクタの再現色は、式(15)の式で表される。この式をあらかじめ計算し、プロジェクタなどのメモリに保持しておくことが可能である。すなわち、標準白色板へ投影している色のRGBデータが得られれば、その三刺激値XYZが得られることになる。標準白色板上に再現されている色は、投影面のチェック柄のブロックにおける再現色が一致していることから、標準白色板上に再現されている色から計算される色情報を、投影面のチェック柄のブロックにおける再現色の色情報とすることができる。したがって、カラーイメージセンサを利用した上記の色補正方法における、投影面の色情報の取得部分を手動によるこの方法と置き換えることで色補正を構築することができる。
【0123】
上記色補正、すなわち、変換元のデバイス依存の入力色から三刺激値XYZへ変換し、特許第3072729号のカラーマッチング方法の場合、式(4)から式(15)までを統合した計算式と係数、それに相当する近似式と係数、あるいは、変換先のデバイス依存の対応色をある代表色に対してルックアップテーブルに保存しておき、それ以外の色については、このルックアップテーブルに保存されている計算式と係数、近似式と係数、あるいは対応色を用いた補間計算を行うことによって対応色を計算してもよい。なお、プロジェクタの原色が4色以上である場合でも、内挿法を拡張することでルックアップテーブルによる色補正を容易に実現できる。
【0124】
また、上記色補正あるいは色変換(ルックアップテーブル)を定期的あるいはあるタイミングで更新することにより、時間によるプロジェクタの色再現や周辺光の変動を抑え、より精度の高い色再現が実現できる。色変換を更新するタイミングの一例としては、動画像の場合には、カット点の検出と同時に色補正を更新することで、色補正を更新することによるちらつきなどの影響を抑えることができる。色補正の更新は、投影画面の一部に白色部分を投影しておくことで可能となる。カット点を利用した高画質化技術として、「シーンチェンジを考慮した適応的動画像自動高画質化」(2001年電子情報通信学会システムソサイエティ大会,D−11−88,pp.173)の方法が利用できる。あるいは、ユーザの指定によって色補正の更新が実行できるようにしておけば良い。
【0125】
次に、本発明の第1の実施形態のプロジェクタの色補正装置における動作(プロジェクタの色補正方法の実施の形態)について説明する。図8は、本発明の第1の実施形態のプロジェクタの色補正装置における動作(プロジェクタの色補正方法の実施の形態)を示すフローチャートである。
【0126】
まず、プロジェクタコントローラ20は、プロジェクタ10を用いて、対応点計算部21から入力されたパターン画像5を投影する。そして、投影面2上でのパターン撮影画像7を、カラーイメージセンサ11を介して獲得する(ステップS1)。
【0127】
次に、対応点計算部21は、上記(I)の方法を用い、プロジェクタコントローラ20の獲得したパターン撮影画像7とパターン画像5との間で、画素あるいは領域の対応関係を求める(ステップS2)。そして、求めた対応関係を対応関係データとして対応マップメモリ22に格納する。
【0128】
続いて、色変換構築部23は、プロジェクタコントローラ20へWあるいはW、BkあるいはR、G、B、WあるいはR、G、B、W、Bkのカラー画像5cを出力し、プロジェクタ10に投影させる。そして、カラーイメージセンサ11で受光された投影面2上でのカラー撮影画像7cを、プロジェクタコントローラ20から獲得する。色変換構築部23は、対応マップメモリ22に記録された対応関係データに基づき、上記(II)−(i)の方法を用い、投影領域の画素に対応するカラー撮影画像7cの色情報を獲得する(ステップS3)。カラー撮影画像7cの色情報を色情報メモリ24に記録する。
【0129】
色変換構築部23は、投影領域の画素あるいはある領域毎にステップS3で得た色情報に基づいて、上記(II)−(ii)の方法を用い、目的プロジェクタ色空間を構築する(ステップS4)。
【0130】
色変換構築部23は、投影領域の画素あるいはある領域毎に元プロジェクタ色空間と目的プロジェクタ色空間とに基づいて、上記(II)−(ii)の方法を用い、色の見えを一致させる色変換を構築する(ステップS5)。色変換を色変換メモリ25に記録する。
【0131】
色補正部26は、入力画像に対して、ステップS5の色変換による色補正を実施し色補正画像を出力する(ステップS6)。
【0132】
本発明では、画像の画素又はブロックごとにレベルに色補正を行うことができる。それにより、プロジェクタの投影面の色が均一でない状況であっても、安定な色再現を実現できる。加えて、プロジェクタの投影面に模様がある状況であっても、安定な色再現を実現することが可能となる。更に、プロジェクタの投影面に環境光が均一に当たっていない状況であっても、安定な色再現を実現することが可能となる。そして、プロジェクタの色再現の精度を向上することができる。
【0133】
なお、第1の実施の形態である色補正装置12において、ステップS1で投影するパターン画像5の代わりにステップS3で投影するカラー画像5cを投影することも可能である。この場合の動作を示したのが図9である。
【0134】
図9は、本発明の第1の実施形態のプロジェクタの色補正装置における動作(プロジェクタの色補正方法の実施の形態)の変形例を示すフローチャートである。
【0135】
まず、プロジェクタコントローラ20は、プロジェクタ10を用いて、対応点計算部21から入力されたカラー画像5cを投影する。カラー画像5cは、WあるいはWとBK、あるいはR、G、B、W、あるいはR、G、B、W、Bkのカラー画像である。そして、投影面2上でのパターン撮影画像7を、カラーイメージセンサ11で獲得する(ステップS11)。
【0136】
対応点計算部21は、プロジェクタコントローラ20の獲得したカラー撮影画像7cとカラー画像5cとの間で、上記(I)の方法を用い、画素あるいは領域の対応関係を求める(ステップS12)。そして、求めた対応関係を対応関係データとして対応マップメモリ22に格納する。
【0137】
続いて、色変換構築部23は、対応マップメモリ22に記録された対応関係データに基づき、上記(II)−(i)の方法を用い、投影領域の画素に対応するカラー撮影画像7cの色情報を獲得する(ステップS13)。カラー撮影画像7cの色情報を色情報メモリ24に記録する。
【0138】
ステップS14からステップS16は、ステップS4からステップS6と同じである。
【0139】
(第2の実施の形態)
次に、本発明の第2の実施形態のプロジェクタの色補正装置について添付図面を参照して説明する。
【0140】
まず、本発明の第2の実施形態のプロジェクタの色補正装置の構成について添付図面を参照して説明する。図10は、本発明の第2の実施形態のプロジェクタの色補正装置の構成を示す図である。プロジェクタの色補正装置13は、色変換生成部38と色補正部36とを備える。色変換生成部38は、プロジェクタコントローラ30と、対応点計算部31と、対応マップメモリ32と、色変換計算部33と、色情報メモリ34と、色変換メモリ35と、色変換算出部37とを備える。
【0141】
なお、プロジェクタ10と色補正装置13とは、一方が他方を含んでいても良い。その場合、装置を小型化できる。
【0142】
プロジェクタコントローラ30は、プロジェクタの動作をコントロールする。加えて、プロジェクタ10の投影面2の詳細な色情報を獲得するために、以下の動作を行う。
【0143】
対応点計算部31から取得したパターン画像5を投影面2へ投影する。そしし、カラーイメージセンサ11が投影面2上のパターン画像5を撮影を撮影した結果としてのパターン撮影画像7を取得する。その後、パターン撮影画像7を対応点計算部31へ出力する。
【0144】
パターン画像5とパターン撮影画像7との画素の対応関係(後述)が得られたら、プロジェクタコントローラ30は、色変換構築部33から取得したカラー画像5cを投影面2へ投影する。そして、カラーイメージセンサ11が投影面2上のカラー画像5cを撮影した結果としてのカラー撮影画像7cを取得する。その後、カラー撮影画像7cを色変換構築部33へ出力する。カラー画像5cは、プロジェクタ10の投影面2上の色空間を得るために用いる。例えば、W(白色)、WとBK(黒)、WとR(赤)とG(緑)とB(青)、及び、WとRとGとBとKのいずれかの色の組で構成されたカラー画像5cである。
【0145】
対応点計算部31は、パターン画像5を発生させて、プロジェクタコントローラ30へ出力する。パターン画像5を予め記憶部(図示されず)に格納し、それを用いても良い。また、対応点計算部31は、プロジェクタコントローラ30からパターン撮影画像7を取得する。そして、パターン画像5の特徴点の画素に対応するパターン撮影画像7上の画素を計算し、その対応関係を求める。
【0146】
対応マップメモリ32は、対応点計算部31において得られたパターン画像5とパターン撮影画像7との画素の対応関係を示す対応関係データを格納する。その対応関係対応関係データは、投影される画像の特徴点の画素と、その投影面上での画像の特徴点の画素との間の対応関係を示している。
【0147】
色変換構築部33は、カラー画像5cを生成させて、プロジェクタコントローラ30へ出力する。カラー画像5cを予め記憶部(図示されず)に格納し、それを用いても良い。また、色変換構築部33は、プロジェクタコントローラ30からカラー撮影画像7cを取得する。
【0148】
そして、対応マップメモリ32に記録された対応関係データに基づき、投影画像を構成する各特徴点位置に対応する、カラー撮影画像7cの色情報を取り出し、色情報メモリ34に記録する。そして、各特徴点について、式(15)に示されたプロジェクタ10の投影面2上における色空間を算出し、色補正の変換先の色空間を構築する。そして、あらかじめ決められている変換元の色空間と、計算された変換先の色空間とから色の見えを一致させる色変換を、上記の色補正方法に従って構築し、色変換メモリ35に記録する。
【0149】
なお、色情報メモリ34は、色補正装置13において必ずしも必要なメモリではない。
すなわち、各特徴点に対応するカラー撮影画像の色情報を色情報メモリ34に記憶せずに、色の見えを一致させる色変換を作成しても良い。
【0150】
色補正部36では、入力された画像の各画素に対して色補正を実施するに当たり、各画素について、色変換算出部37に色変換メモリ35に記録された特徴点における色変換から画素に対応する色変換を補間計算により算出させて、色変換を得て色補正を実施する。そして、色補正後の画像は、プロジェクタコントロール30に送られ、プロジェクタ10で投影される。
【0151】
色補正装置13では、特徴点について色変換を構築しており、それ以外の画素については、特徴点に構築された色変換を元に補間計算などによって色変換を構築する。したがって、投影面2の色や、周辺光3が投影領域において滑らかに変化するような場合に有効である。
【0152】
次に、本発明の第2の実施の形態のプロジェクタの色補正装置における動作(プロジェクタの色補正方法の実施の形態)について説明する。図11は、本発明の第2の実施の形態のプロジェクタの色補正装置における動作(プロジェクタの色補正方法の実施の形態)を示すフローチャートである。
【0153】
まず、プロジェクタコントローラ30は、プロジェクタ10を用いて、対応点計算部31から入力されたパターン画像5を投影する。そして、投影面2上でのパターン撮影画像7を、カラーイメージセンサ11を介して獲得する(ステップS21)。
【0154】
次に、対応点計算部31は、上記(I)の方法を用い、プロジェクタコントローラ30の獲得したパターン撮影画像7とパターン画像5との間で、特徴点の対応関係を求める(ステップS22)。そして、求めた対応関係を対応関係データとして対応マップメモリに格納する。
【0155】
続いて、色変換構築部33は、プロジェクタコントローラ30へWあるいはW、BkあるいはR、G、B、WあるいはR、G、B、W、Bkのカラー画像5cを出力し、プロジェクタ10に投影させる。そして、カラーイメージセンサ11で受光された投影面2上でのカラー撮影画像7cを、プロジェクタコントローラ30から獲得する。色変換構築部33は、対応マップメモリ32に記録された対応関係データに基づき、上記(II)−(i)の方法を用い、投影領域の画素に対応するカラー撮影画像7cの色情報を獲得する(ステップS23)。カラー撮影画像7cの色情報を色情報メモリ34に記録する。
【0156】
色変換構築部23は、投影領域の特徴点にステップS23で得た色情報に基づいて、上記(II)−(ii)の方法を用い、投影面2のプロジェクタ色空間を目的プロジェクタ色空間として構築する(ステップS24)。
【0157】
色変換構築部23は、投影領域の特徴点に元プロジェクタ色空間と目的プロジェクタ色空間とに基づいて、上記(II)−(ii)の方法を用い、色の見えを一致させる色変換を構築する(ステップS25)。
【0158】
色変換算出部37は、入力画像の各画素に対応する色変換を補間計算により算出する(ステップS26)。
【0159】
色補正部36は、入力画像の各画素に対して、S16の色変換により色補正を実施し、色補正画像を出力する(ステップS27)。
【0160】
本実施形態の場合にも、第1の実施の形態と同様の効果を得ることができる。
【技術分野】
【0001】
本発明はプロジェクタの色補正装置、プロジェクタの色補正方法およびプロジェクタに関し、特に色再現の精度を向上させたプロジェクタの色補正装置、プロジェクタの色補正方法、およびそれらを適用したプロジェクタに関する。
【背景技術】
【0002】
画像をスクリーンのような投影面に投影する際にはプロジェクタが使用される。このようなプロジェクタを使用する際において、投影面上の画像の色を、画像データに記録された色と正確に一致するように補正するプロジェクタの色補正方法が知られている。
【0003】
例えば、特開2001−320725号公報には、プロジェクタの色補正を行う環境適応型の画像処理方法の技術が開示されている。この技術は、視環境に適応して画像の色を補正するものである。そしてこの技術は、視環境を把握する工程と、把握された視環境を所定の色空間における座標値に変換する工程と、所定の基準環境における所定の色の所定の色空間における座標値と、変換された座標値と、変換された座標値の補色対となる座標値とに基づいて表示用の入出力データを補正する補正工程と、補正された入出力データに基づいて画像を表示する工程とを含む。
【0004】
この色補正方法では、プロジェクタの環境情報を反映した座標値と補色対となる座標値に基づき、画像表示手段が用いる表示用の入出力特性データを補正することにより、表示時の環境に適応した色再現を実現しようとするものである。具体的な色再現方法は、白色画像の投影面から得られる色情報(RGBやXYZなど)を色センサで入手し、その得られた白色画像の色情報を、あらかじめ設定されている基準の白色でのもとのCIELABの色空間にマッピングする。このとき、その白色がL軸上に乗っていない場合、その白色のab平面上でのL軸から束縛ベクトルを計算し、L軸からその逆ベクトルの位置に相当する色、すなわち補色を得て、これを補正色として出力する。実際には、この処理を白色以外の複数階調の無彩色に対して行い、これをガンマ補正LUTに格納する形式で実現する。
【0005】
このような従来のプロジェクタの色補正方法は、プロジェクタの色再現に影響を与える要因である投影面の色が均一であることを前提としている。そのため、投影面の色が均一でない場合には、より正確な色補正は実現できない。その理由は、従来の色補正法では、投影面の色情報を獲得するが、投影画像の画素レベルに対応する詳細な色情報の獲得を行っておらず、投影面の平均的な色に対応した一種類の色補正処理しか施されないためである。
【0006】
加えて、従来のプロジェクタの色補正方法は、プロジェクタの色再現に影響を与える要因である投影面が模様がないことを前提としている。そのため、投影面に模様が存在する場合には、より正確な色補正は実現できない。その理由は、従来の色補正法では、投影面の色情報を獲得するが、投影画像の画素レベルに対応する詳細な色情報の獲得を行っておらず、投影面の平均的な色に対応した一種類の色補正処理しか施されないためである。
【0007】
更に、従来のプロジェクタの色補正方法は、プロジェクタの色再現に影響を与える要因である環境光が投影面に均一に当たっていることを前提としている。そのため、環境光が投影面に均一に当たっていない場合には、より正確な色補正は実現できない。その理由は、従来の色補正法では、投影面における環境光の色情報を獲得するが、投影画像の画素レベルに対応する詳細な色情報の獲得を行っておらず、投影面の平均的な環境光に対応した一種類の色補正処理しか施されないためである。
【0008】
プロジェクタの色再現の精度を向上することができる技術が望まれる。プロジェクタの投影面の色が均一でない状況であっても、安定な色再現を実現できる技術が望まれる。プロジェクタの投影面に模様がある状況であっても、安定な色再現を実現できる技術が求められる。プロジェクタの投影面に環境光が均一に当たっていない状況であっても、安定な色再現を実現できる技術が求められる。
【0009】
関連する技術として、特開2000−316170号公報には、色ムラ補正方法の技術が開示されている。この技術は、表示装置の画像生成部で生成されたカラー画像が表示される光学表示面における表示色の色ムラ補正方法である。基準色画像データを画像生成部に入力して基準色画像を表示させる光学表示面を複数の三角形領域に区画する。それぞれの三角形領域の3つの頂点に位置する基準画素での色座標を測定する。それと共に、基準画素での輝度補正量を決定する。それぞれの三角形領域の3つの基準画素での輝度補正量に基づいて、それぞれの三角形領域内の各画素での輝度補正量を所定の関数に従って求める。画像生成部に入力されるそれぞれの三角形領域内の各画素に対応する色画像データに、輝度補正量に応じた補正を行う。
【0010】
この技術は、表示画面の色ムラの補正の適正量を適切に決定し、表示画面の細部まで適切な補正を行うことを目的としている。
【0011】
特開平11−313346号公報には、投影映像検査装置の技術が開示されている。この技術は、スクリーン上に配置の光学センサによる光学量とスクリーン上の投影映像の撮像データにおける光学センサに位置対応する部分の光学量との比較に基づいて投影映像の絶対的な光学量を測定し、その測定結果を出力するように構成されている。
【0012】
特開2002−41016号公報には、環境適応型の画像表示システムの技術が開示されている。この技術の画像表示システムは、画像の被表示領域における視環境を示す環境情報に基づき、前記画像を補正して表示する画像表示システムである。記憶する手段と、
補正する補正手段とを含む。記憶する手段は、前記環境情報に基づき前記画像の明るさを補正するための明るさ補正用情報と、前記環境情報に基づき前記画像の色を補正するための色補正用情報とを記憶する。補正する補正手段は、前記環境情報、前記明るさ補正用情報および前記色補正用情報に基づき前記画像を表示するための画像情報をと補正する。
【0013】
特開2002−125125号公報には、環境適応型の画像表示システムの技術が開示されている。この技術の画像表示システムは、 画像の被表示領域における視環境を示す環境情報に基づき、前記画像を補正して表示する画像表示システムである。前記環境情報に基づき、環境光の影響がある場合、少なくとも低階調域の出力を上げるように、前記画像を表示する手段が用いる表示用の入出力特性データを補正する補正手段を含む。
【0014】
特開2003−50572号公報には、画像表示システムの技術が開示されている。この技術の画像表示システムは、使用環境に応じて階調補正を行って画像を表示する画像表示システムである。画像表示手段と、環境把握手段と、階調補正手段とを含む。画像表示手段は、キャリブレーション画像を表示する。環境把握手段は、当該画像表示手段の使用環境を把握して当該使用環境を示す使用環境情報を出力する。階調補正手段は、前記使用環境情報に基づき、前記階調補正を行う。画像表示手段は、同一色の異なる2階調のキャリブレーション画像を表示するとともに、前記階調補正の行われた画像を表示する。前記環境把握手段は、各階調のキャリブレーション画像が表示された状態での2種類の使用環境情報を出力する。前記階調補正手段は、理想環境下における前記2階調のキャリブレーション画像を表示した場合に把握される環境を示す2種類の理想環境情報の差異と、前記2種類の使用環境情報の差異とに基づき、前記階調補正を行う。
【発明の開示】
【0015】
本発明の目的は、プロジェクタの投影面の色が均一でない状況であっても、安定な色再現を実現できるプロジェクタの色補正装置、プロジェクタの色補正方法、およびそれらを適用したプロジェクタを提供することにある。
【0016】
本発明の他の目的は、プロジェクタの投影面に模様がある状況であっても、安定な色再現を実現できるプロジェクタの色補正装置、プロジェクタの色補正方法、およびそれらを適用したプロジェクタを提供することにある。
【0017】
本発明の更に他の目的は、プロジェクタの投影面に環境光が均一に当たっていない状況であっても、安定な色再現を実現できるプロジェクタの色補正装置、プロジェクタの色補正方法、およびそれらを適用したプロジェクタを提供することにある。
【0018】
本発明の別の目的は、プロジェクタ自身に色むらがある場合、この色むらの影響を軽減することが可能なプロジェクタの色補正装置、プロジェクタの色補正方法、およびそれらを適用したプロジェクタを提供することにある。
【0019】
以下に、発明を実施するための最良の形態で使用される番号・符号を用いて、課題を解決するための手段を説明する。これらの番号・符号は、特許請求の範囲の記載と発明を実施するための最良の形態との対応関係を明らかにするために括弧付きで付加されたものである。ただし、それらの番号・符号を、特許請求の範囲に記載されている発明の技術的範囲の解釈に用いてはならない。
【0020】
上記課題を解決するために、本発明のプロジェクタの色補正方法は、予め設定された画像(5)の第1色情報(XW1,YW1,ZW1)と、画像(5)を投影面(2)に投影した画像(7)の第2色情報(XW2,YW2,ZW2/X2,Y2,Z2)とに基づいて、画像(5)の画素又はブロック毎に色変換を生成する色変換生成ステップと、入力画像(DI)の画素あるいはブロック毎に色変換を用いて色補正する色補正ステップとを備える。
【0021】
上記のプロジェクタの色補正方法において、色変換生成ステップは、ユーザインターフェース(48)を介して入力を受ける入力ステップと、入力に基づいて、色変換を生成する変換ステップとを備える。
【0022】
上記のプロジェクタの色補正方法において、色変換生成ステップは、投影面上の画像(7)の画素又はブロック毎の色情報としての第2色情報(XW2,YW2,ZW2)を獲得する色情報獲得ステップと、第1色情報(XW1,YW1,ZW1)と第2色情報(XW2,YW2,ZW2)とに基づいて、画像(5)の画素あるいはブロック毎に色変換を計算する色変換計算ステップとを備える。
【0023】
上記のプロジェクタの色補正方法において、色変換生成ステップは、画像(5)を投影面(2)に投影して撮影した撮影画像(7)を取得し、画像(5)の画素又はブロックと撮影画像(7)の画素又はブロックとの間の対応付けを行う対応付けステップと、撮影画像(7)の画素又はブロック毎の色情報としての第2色情報(XW2,YW2,ZW2)を獲得する色情報獲得ステップと、第1色情報(XW1,YW1,ZW1)と第2色情報(XW2,YW2,ZW2)と対応付けとに基づいて、画像(5)の画素あるいはブロック毎に色変換を計算する色変換計算ステップとを備える。
【0024】
上記のプロジェクタの色補正方法において、色変換生成ステップは、パターン画像(5)を投影面(2)に投影して撮影したパターン撮影画像(7)を取得し、パターン画像(5)の画素又はブロックとパターン撮影画像(7)の画素又はブロックとの対応付けを行う対応付けステップと、カラー画像(5c)を投影面(2)に投影して撮影したカラー撮影画像(7c)を取得し、カラー撮影画像(7c)の画素又はブロック毎の色情報としての第2色情報(X2,Y2,Z2)を獲得する色情報獲得ステップと、第1色情報(XW1,YW1,ZW1)と第2色情報(X2,Y2,Z2)と対応付けとに基づいて、カラー画像(5)の画素又はブロック毎に色変換を計算する色変換計算ステップとを備える。
【0025】
上記のプロジェクタの色補正方法において、画像(5)又はパターン画像(5)を複数の画像で提示し、複数の画像と連動した撮影画像としての連動撮影画像を得て、連動撮影画像をスキャンすることで、画像(5)又はパターン画像(5)の画素又はブロックと撮影画像(7)又はパターン撮影画像(7)の画素又はブロックとの対応付けを行う。
【0026】
上記のプロジェクタの色補正方法において、色変換生成ステップは、パターン画像(5)を投影面(2)に投影して撮影したパターン撮影画像(7)を取得し、パターン画像(5)の特徴点とパターン撮影画像(7)の特徴点との対応付けを行う特徴点対応付けステップと、カラー画像(5c)を投影面(2)に投影して撮影したカラー撮影画像(7c)を取得し、カラー撮影画像(7c)の特徴点の色情報としての第2色情報(X2,Y2,Z2)を獲得する特徴点色情報獲得ステップと、予め設定された第1色情報(XW1,YW1,ZW1)と第2色情報(X2,Y2,Z2)と対応付けとから、カラー画像(5c)の特徴点の色変換を計算する特徴点色変換計算ステップと、入力画像の画素あるいはブロック毎の色変換を、特徴点の色変換を代表点の色変換から算出する色変換算出ステップとを備える。
【0027】
上記のプロジェクタの色補正方法において、色変換は、数式あるいはルックアップテーブルあるいはその組み合わせで構成される。
【0028】
上記課題を解決するために本発明のプロジェクタの色補正装置は、色変換生成部(27/38)と、色補正部(26/36)とを備える。色変換生成部(27/38)は、予め設定された第1色情報(XW1,YW1,ZW1)と、投影面(2)に投影された撮影画像(7)の第2色情報(XW2,YW2,ZW2/X2,Y2,Z2)とに基づいて、画像(2)の画素又はブロック毎に色変換を生成する。色補正部(26/36)は、入力画像の画素あるいはブロック毎に色変換を用いて色補正する。
【0029】
上記のプロジェクタの色補正装置において、色変換生成部(27)は、ユーザインターフェース(38)を介した入力に基づいて、色変換を生成する変換部を備える。
【0030】
上記のプロジェクタの色補正装置において、色変換生成部(27)は、対応付け部(21)と、対応関係記憶メモリ(22)と、色情報獲得部(23)と、色変換計算部(23)と、色変換記憶メモリ(25)とを備える。対応付け部(21)は、画像(5)を投影面(2)に投影して撮影した撮影画像(7)を取得し、画像(5)の画素又はブロックと撮影画像(7)の画素又はブロックとの間の対応付けを行う。対応関係記憶メモリ(22)は、対応付けを記録する。色情報獲得部(23)は、撮影画像(7)の画素又はブロック毎の色情報としての第2色情報(XW2,YW2,ZW2)を獲得する。色変換計算部(23)は、第1色情報(XW1,YW1,ZW1)と第2色情報(XW2,YW2,ZW2)と対応付けとに基づいて、画像(5)の画素あるいはブロック毎に色変換を計算する。色変換記憶メモリ(25)は、色変換を記録する。
【0031】
上記のプロジェクタの色補正装置において、色変換生成部(27)は、対応付け部(21)と、対応関係記憶メモリ(22)と、色情報獲得部(23)と、色変換計算部(23)と、色変換記憶メモリ(25)とを備える。対応付け部(21)は、パターン画像(5)を投影面(2)に投影して撮影したパターン撮影画像(7)を取得し、パターン画像(5)の画素又はブロックとパターン撮影画像(7)の画素又はブロックとの対応付けを行う。対応関係記憶メモリ(22)は、対応付けを記録する。色情報獲得部(23)は、カラー画像(5c)を投影面(2)に投影して撮影したカラー撮影画像(7c)を取得し、カラー撮影画像(7c)の画素又はブロック毎の色情報としての第2色情報(X2,Y2,Z2)を獲得する。色変換計算部(23)は、第1色情報(XW1,YW1,ZW1)と第2色情報(X2,Y2,Z2)と対応付けとに基づいて、カラー画像(5c)の画素又はブロック毎に色変換を計算する。色変換記憶メモリは、色変換を記録する。
【0032】
上記のプロジェクタの色補正装置において、対応付け部(21)は、画像(5)又はパターン画像(5)を複数の画像で提示し、複数の画像と連動した撮影画像としての連動撮影画像を得て、連動撮影画像をスキャンすることで、画像(5)又はパターン画像(5)の画素又はブロックと撮影画像(7)又はパターン撮影画像(7)の画素又はブロックとの対応付けを行う。
【0033】
上記のプロジェクタの色補正装置において、色変換生成部(38)は、特徴点対応付け部(31)と、対応関係記憶メモリ(32)と、特徴点色情報獲得部(33)と、特徴点色変換計算部(33)と、色変換記憶メモリ(35)と、色変換算出部(37)とを備える。特徴点対応付け部(31)は、パターン画像(5)を投影面(2)に投影して撮影したパターン撮影画像(7)を取得し、パターン画像(5)の特徴点とパターン撮影画像(7)の特徴点との対応付けを行う。対応関係記憶メモリ(32)は、対応付けを記録する。特徴点色情報獲得部(33)は、カラー画像(5c)を投影面(2)に投影して撮影したカラー撮影画像(7c)を取得し、カラー撮影画像(7c)の特徴点の色情報としての第2色情報(X2,Y2,Z2)を獲得する。特徴点色変換計算部(23)は、予め設定された第1色情報(XW1,YW1,ZW1)と第2色情報(X2,Y2,Z2)と対応付けとから、カラー画像(5c)の特徴点の色変換を計算する。色変換記憶メモリ(35)は、特徴点の色変換を代表点の色変換として記録する。色変換算出部(37)は、入力画像の画素あるいはブロック毎の色変換を代表点の色変換から算出する。
【0034】
上記のプロジェクタの色補正装置において、色変換は、数式あるいはルックアップテーブルあるいはその組み合わせで構成される。
【0035】
上記課題を解決するために本発明のプロジェクタは、画像データ(DI)の入力に基づいて、色補正された画像データを出力する上記各項のいずれか一項に記載のプロジェクタの色補正装置(12/13)と、色補正された画像データを投影面(2)に投影するプロジェクタ本体(10)とを備える。
【0036】
本発明により、プロジェクタの投影面の色が均一でない状況であっても、安定な色再現を実現することが可能となる。また、本発明により、プロジェクタの投影面に模様などがある状況であっても、安定な色再現を実現することが可能となる。加えて、本発明により、プロジェクタの投影面に環境光が均一に当たっていない状況であっても、安定な色再現を実現することが可能となる。更に、本発明により、プロジェクタ自身に色むらがある場合、この色むらの影響を軽減することが可能となる。
【図面の簡単な説明】
【0037】
【図1】図1は、プロジェクタにおける色再現の一例を示す概念図である。
【図2】図2は、本発明のプロジェクタの色補正装置の第1の実施の形態の構成を示す図である。
【図3】図3は、パターン画像及びパターン撮影画像の座標位置を対応付けする方法を示す図である。
【図4A】図4Aは、パターン画像の例を示す図である。
【図4B】図4Bは、パターン画像の例を示す図である。
【図4C】図4Cは、パターン画像の例を示す図である。
【図5】図5は、パターン画像及びパターン撮影画像の例を示す図である。
【図6】図6は、パターン画像及びパターン撮影画像の特徴点の対応の例を示す図である。
【図7】図7は、特徴点以外の画素あるいはブロックの対応関係を求める方法を説明する図である。
【図8】図8は、本発明の第1の実施形態のプロジェクタの色補正装置における動作を示すフローチャートである。
【図9】図9は、本発明の第1の実施形態のプロジェクタの色補正装置における動作の変形例を示すフローチャートである。
【図10】図10は、本発明の第2の実施形態のプロジェクタの色補正装置の構成を示す図である。
【図11】図11は、本発明の第2の実施形態のプロジェクタの色補正装置における動作を示すフローチャートである。
【図12】図12は、グラフィカルユーザインターフェースの例を説明したものである。
【図13】図13は、色調整グラフィカルユーザインターフェースの例を説明した図である。
【発明を実施するための最良の形態】
【0038】
以下、本発明のプロジェクタの色補正装置、プロジェクタの色補正方法およびプロジェクタの実施の形態に関して、添付図面を参照して説明する。
【0039】
まず、プロジェクタの色再現について簡単に説明する。
【0040】
図1は、プロジェクタにおける色再現の一例を示す概念図である。プロジェクタ10から投影される色光1は、投影面2上の投影画像6となる。そして、投影面2で反射し、反射光4となって人間の目に入射し、投影画像6の色が認識される。ここで、「投影面」とは、スクリーンあるいは壁のようなプロジェクタ10が画像を投影する面をいう。
【0041】
ここで、視環境において周辺光3が存在する場合、投影画像6の画像色は、プロジェクタ10からの色光1、投影面2自体の色および周辺光3の3つの色情報が全て含まれた反射光4によって決定される。この反射光4の分光分布特性Cr(λ)は次式(1)で表すことができる。
【0042】
【数1】
Cr(λ):反射光4の分光分布特性
Cp(λ):プロジェクタ10からの色光1の分光分布特性
E(λ):観察環境における周辺光3の分光分布特性
R(λ):投影面2の表面反射率
λ:光の波長
投影面2に当たる周辺光3の分光分布特性E(λ)および投影面2の表面反射率R(λ)が、プロジェクタ10から投影される投影画像6の領域内においていずれも均一である場合、色補正は一種類の色補正方法で対応できる。
【0043】
一方、プロジェクタ10から投影される投影面2上での投影画像6の領域において、その投影面2の表面反射率R(λ)や周辺光3の分光分布特性E(λ)が均一でない場合、投影画像6の画像上での座標(px,py)からの反射光4の分光分布特性Cr(px,py,λ)は以下のように表すことができる。
【0044】
【数2】
R(px,py,λ):投影画像6上の画像上での座標(px,py)における投影面2の表面反射率
E(px,py,λ):座標(px,py)における周辺光3の分光分布特性
上式(2)に示されるように、プロジェクタ10からの色光1Cp(λ)が均一であったとしても、投影画像6の画像上での座標(px,py)における環境条件(投影面2の色および周辺光3)によりR(px,py,λ)およびE(px,py,λ)が均一でないため、Cr(px,py,λ)が均一でなくなる。従って、プロジェクタ10の色再現を実現する場合、この問題を考慮する必要がある。
【0045】
そこで、本願発明では、プロジェクタ10から投影される投影面2上での投影画像6の領域において、その投影面2の表面反射率や周辺光3の分光分布特性が均一でない場合にも、投影画像6を構成する画素単位又はあるブロック毎の色補正を行うことで、入力画像の色を忠実かつ安定的に再現することを可能にする。
【0046】
(第1の実施の形態)
以下、本発明の、本発明のプロジェクタの色補正装置、プロジェクタの色補正方法およびプロジェクタの第1の実施の形態に関して、添付図面を参照して説明する。
【0047】
まず、本発明の第1の実施形態のプロジェクタの色補正装置の構成について説明する。
【0048】
図2は、本発明の第1の実施形態のプロジェクタの色補正装置の構成を示す図である。プロジェクタの色補正装置12は、プロジェクタコントローラ20と、色変換生成部27と色補正部26とを備える。色変換生成部27は、対応点計算部21と、対応マップメモリ22と、色変換構築部23と、色情報メモリ24と、色変換メモリ25とを備える。
【0049】
なお、プロジェクタ10と色補正装置12とは、一方が他方を含んでいても良い。その場合、装置を小型化できる。
【0050】
プロジェクタコントローラ20は、プロジェクタ10の動作をコントロールする。加えて、プロジェクタ10の投影面2の詳細な色情報を獲得するために、以下の動作を行う。
【0051】
対応点計算部21から取得したパターン画像5を投影面2へ投影する。そして、カラーイメージセンサ11が投影面2上のパターン画像5を撮影した結果としてのパターン撮影画像7を取得する。その後、パターン撮影画像7を対応点計算部21へ出力する。ここで、パターン画像5は、パターン撮影画像7がプロジェクタ10の投影領域全体を覆うことができるように作成されているものとする。
【0052】
パターン画像5とパターン撮影画像7との画素の対応関係(後述)が得られたら、プロジェクタコントローラ20は、色変換構築部23から取得したカラー画像5cを投影面2へ投影する。そして、カラーイメージセンサ11が投影面2上のカラー画像5cを撮影した結果としてのカラー撮影画像7cを取得する。その後、カラー撮影画像7cを色変換構築部23へ出力する。カラー画像5cは、プロジェクタ10の投影面2上の色空間を得るために用いる。例えば、W(白色)、WとBK(黒)、WとR(赤)とG(緑)とB(青)、及び、WとRとGとBとKのいずれかの色の組で構成されたカラー画像5cである。
【0053】
対応点計算部21は、パターン画像5を発生させて、プロジェクタコントローラ20へ出力する。パターン画像5を予め記憶部(図示されず)に格納し、それを用いても良い。また、対応点計算部21は、プロジェクタコントローラ20からパターン撮影画像7を取得する。そして、パターン画像5を構成する画素のパターン撮影画像7上での対応する画素を計算し、その対応関係を求める。
【0054】
対応マップメモリ22は、対応点計算部21において得られたパターン画像5とパターン撮影画像7との画素の対応関係を示す対応関係データを格納する。その対応関係対応関係データは、投影される画像とその投影面上での画像との間の画素の対応関係を示している。
【0055】
色変換構築部23は、カラー画像5cを生成させて、プロジェクタコントローラ20へ出力する。カラー画像5cを予め記憶部(図示されず)に格納し、それを用いても良い。また、色変換構築部23は、プロジェクタコントローラ20からカラー撮影画像7cを取得する。そして、対応マップメモリ22に記録された対応関係データに基づき、投影画像を構成する各画素に対応するカラー撮影画像7cの色情報を取り出し、色情報メモリ24に記録する。そして、各画素について、後述する式(15)に示されたプロジェクタ10の投影面2上における色空間を算出し、色変換の変換先の色空間を構築する。ここで、カラー画像がWあるいはWとBKとの場合には、Wの投影面上の色情報からプロジェクタのR、G、Bの投影面上の色情報を推定する。この推定方法としては、様様な色の投影面にW、R、G、Bを投影し、R、G、Bの色情報とWの色情報との関係を回帰分析して得た回帰式を利用することで、Wの色情報からR、G、Bの色情報が推定できる。そして、あらかじめ決められている変換元の色空間と、計算された変換先の色空間とから色の見えを一致させる色変換を、後述の色補正方法に従って構築し、これを色変換メモリ25に記録する。
【0056】
なお、色情報メモリ24は、色補正装置12において必ずしも必要なメモリではない。すなわち、各画素に対応するカラー撮影画像の色情報を色情報メモリ24に記憶せずに、色の見えを一致させる色変換として作成しても良い。
【0057】
色補正部26は、入力された画像データDIの各画素に対して色変換メモリ25に記録された色変換による色補正を施す。補正後の画像は、プロジェクタコントロール20に送られ、プロジェクタで投影される。
【0058】
(I)次に、投影される画像とその投影面上での画像との間の画素の対応関係を示す対応関係データを算出する方法について説明する。
【0059】
図3は、カラーイメージセンサ11を用いてパターン画像5の座標位置と、パターン撮影画像7の座標位置の対応付けを自動的に行う方法について説明する図である。まず、プロジェクタ10によって投影面2上に投影されたパターン画像5の投影画像6をカラーイメージセンサ11によって撮影する。次に、投影面2に投影されたパターン画像5のパターン撮影画像7を得る。そして、パターン画像5と得られたパターン撮影画像7とに基づいて、対応点計算部21はパターン画像5の座標位置とパターン撮影画像7の座標位置との対応付けを行う。図では、パターン画像5の座標位置S0と、投影画像6の座標位置SAと、パターン撮影画像7の座標位置SBとが対応付けられる。
【0060】
ここで、パターン画像5について説明する。
【0061】
図4A〜図4Cは、パターン画像5の例を示す図である。パターン画像5は、例えば、図4Aに示す画像領域をカバーしたテクスチャー(格子)画像や、図4Bに示す画像領域をカバーしたグラデーションや、図4Cに示す画像領域をカバーした均一画像などが利用できる。なお、パターン画像5は、パターン画像5上の座標位置とパターン撮影画像7上の座標位置との対応関係が得られればよく、図4A〜図4Cに限られるものではない。つまり、パターン画像5は、様々なパターンを含むことが可能である。
【0062】
パターン画像5の座標位置とパターン撮影画像7の座標位置との対応付けの求めやすさの点から、図4Bに示したグラデーション画像のように、パターン画像の隣あう画素で、画素値に関してある関係を持たせた画像を使用すると、対応関係を計算しやすくより好ましい。また、図4Aに示した格子画像では、パターン画像5中の特徴点に対応するパターン撮影画像7中の特徴点を検出しやすくより好ましい。すなわち、グラデーション画像や格子画像をパターン画像5として利用することにより、画素やブロックの対応付け計算を精密に行うことができるため、対応付けの精度を向上させることができる。
【0063】
対応関係データの算出を行うには、まず、パターン画像5に特徴点を設定し、その特徴点に対応するパターン撮影画像7の点を特定することで、両者の間の対応関係を求めることができる。具体的には以下のようにする。
【0064】
図5は、パターン画像及びパターン撮影画像の例を示す図である。右側は、格子状のパターンを有するパターン画像5である。2本の線分の交点を特徴点と設定する。左側は、パターン撮影画像7である。パターン画像5の特徴点と対応する点を、左側に示すパターン撮影画像7から全て検出する。
【0065】
図6は、パターン画像及びパターン撮影画像の特徴点の対応の例を示す図である。右側は、図5のパターン画像5であり、その特徴点を黒丸印で示している。左側は、パターン撮影画像7であり、パターン画像5の特徴点と対応する点を黒丸印で示している。矢印は、パターン画像5とパターン撮影画像7との間で対応する特徴点との対応付けを図示している。
【0066】
特徴点の対応関係を得る方法としては、例えば、図5のパターン画像5の場合、パターン撮影画像7から線成分を検出する。パターン撮影画像7はカラーの濃淡画像であるため、線成分抽出用のオペレータを用いて線成分の抽出を行った後、2値化処理を行う。ここで、線成分の検出および2値化処理については、様々な方法が提案されており、本発明ではいずれの手法も利用可能である。例えば、参考文献「画像情報処理」(阿居院、中嶋著、基礎情報工学シリーズ、森北出版株式会社)の第8章に記載の線分検出の方法や、第9章に記載の2値化処理の方法などが利用できるがこれに限られるものではない。
【0067】
図5に示されたパターン撮影画像7のような投影された格子パターンのデータが得られたならば、2つの線分が交差する交点を求め、パターン撮影画像7上における特徴点の座標位置を決定する。パターン画像5に均一画像やグラデーション画像が用いられた場合には、周りの4頂点が特徴点になる。
【0068】
なお、パターン画像5を動画像などの複数枚の画像として提示(投影)したり、あるいは、パターン画像5中の特徴点あるいは特徴点の画素を順に提示し、それと同期してパターン撮影画像7を動画像などの複数枚の画像として取得し、それをスキャンして特徴点に対応する点あるいは画素を探索することで、対応付けの処理を簡単化できる。
【0069】
なお、パターン画像5の座標位置と、パターン撮影画像7の座標位置の対応付けを手動で行うことも可能である。パターン画像5を投影し、プロジェクタに搭載されているマウスによるポインタ指定機能を利用して、投影されたパターン画像5上で特徴点を、例えば左上から右方向など指定された順番で指定してやれば、パターン画像5における特徴点の座標位置の、投影面2での座標位置を把握することができる。
【0070】
パターン画像5の特徴点とパターン撮影画像7の特徴点との対応関係を求めた後、それ以外の点の対応関係を求める。具体的には以下のようにする。
【0071】
図7は、特徴点以外の画素あるいはブロックの対応関係を求める方法を説明する図である。まず、パターン画像5とパターン撮影画像7との間における特徴点の対応関係を決定する。パターン画像5とパターン撮影画像7との間において、特徴点の対応関係が得られた後、パターン画像5を構成する画素あるいはブロックと、パターン撮影画像7上の画素あるいはブロックとの対応を、パターン画像5とパターン撮影画像7との間における特徴点の対応関係から決定する。今、パターン画像5中の任意の画素Aに対応するパターン撮影画像7中の画素A’を計算することを考える。ここで、パターン画像5中のAの座標位置を(Xa,Ya)とし、これを囲む3個の特徴点の座標位置を(PX1,PY1)、(PX2,PY2)、(PX3,PY3)とする。これら3点の特徴点の、パターン撮影画像における対応点を(PX1’,PY1’)、(PX2’,PY2’)、(PX3’,PY3’)とし、Aに対応するパターン撮影画像上でのA’の座標を(PXa’,PYa’)とする。AとA’の関係は以下の式で表される。
【0072】
【数3】
ここで、Mは2x2行列、Nは2x1行列である。行列Mと行列Nは、(PX1,PY1)、(PX2,PY2)、(PX3,PY3)と(PX1’,PY1’)、(PX2’,PY2’)、(PX3’,PY3’)の対応関係から、連立1一次方程式により容易に計算できる。以上により、パターン画像5中の任意の画素Aに対応するパターン撮影画像7中の画素A’が計算できる。ここで、画素Aの代わりにブロックAとし、それに対応するブロックA’に拡張することも容易である。
【0073】
以上のプロセスにより、対応関係データを求めることができる。対応関係データは、対応マップメモリ22に格納される。
【0074】
なお、パターン画像5におけるグラデーション画像などを右上から左方向、そして下方向へと、一画素ずつ提示(投影)し、それと同期してパターン撮影画像7を取得すれば、特徴点を介せずに画素あるいはブロックの対応付けの処理を簡単化できる。すなわち、提示されたパターン画像5と同期して撮影されたパターン撮影画像7を逐次スキャンすれば、両者の画素あるいはブロックの対応関係が得られる。
【0075】
(II)次に、色補正方法を行う方法について説明する。
【0076】
色補正を行うには、(i)まず、投影面2の色と周辺光3による影響を詳細に把握するために、パターン画像5を構成する画素あるいはブロックについて、対応するパターン撮影画像7上の画素あるいはブロックの色情報を獲得する。(ii)次に、この色情報から色変換を構築する。(iii)そして、構築された色変換に基づいて、色補正を実施する。ここでは、パターン画像5を構成する任意の一画素に対する色補正方法について説明する。
【0077】
(i)本色補正方法における色情報を獲得する方法について説明する。
【0078】
色変換の変換先の白色情報を得るために、プロジェクタ10にて白色画像(信号)5wを投影し、投影面2上における対応画素の反射光4を観測する。具体的には、色特性が既知であるカラーイメージセンサ11で撮影した白色撮影画像7wにおける対応画素の色信号を得る。ここで色信号とは、例えば、RGBなどである。そして、カラーイメージセンサ11の色特性と、カラーイメージセンサ11が出力するいわゆるデバイス依存の色信号とに基づいて、その色信号をデバイスインディペンデントな色信号、すなわち、三刺激値XYZなどに変換することができる。
【0079】
なお、カラーイメージセンサ11に一般に組み込まれているホワイトバランスの自動調整機能やγ補正機能などは、この場合使用せず、ある設定状態に固定されているものとする。したがって、上記のカラーイメージセンサの色特性は固定されている設定状態における色特性である。
【0080】
より具体的には、以下のようにして変換先の白色情報を獲得する。
【0081】
ガンマ補正が1.0に固定されているカラーイメージセンサ11のデバイス依存の色信号RGBを、デバイスインディペンデントカラーのXYZに変換するためには、例えば、以下に示すような線形変換などが利用できる。
【0082】
【数4】
ここで、Mは3×3のRGB→XYZ変換行列であり、(α,β,γ)はブラックオフセット等の補正項である。カラーイメージセンサ11の色特性となるMや(α,β,γ)を取得する方法としては、複数色のカラー画像5cを撮影して得た色信号RGBのセットと、分光光度計などを用いて得た撮影時のカラー画像の三刺激値XYZのセットを入力とし、均等色空間CIELABなどでの色差Eabが最小となるようなMを、最小自乗法などで計算することができる。
【0083】
なお、カラーイメージセンサ11のデバイス依存の色信号RGBからデバイスインディペンデントカラーのXYZへの変換は、一次色のみを考慮した線形変換である式(4)に限らず、RG,GB,RGBといった多次色についても考慮した3×n(nは4以上)のRGB→XYZ変換行列を採用する手法や、代表として選ばれたRGBとそのXYZをルックアップテーブル(以下「LUT」と記す)に記述しておき、それ以外の色のXYZは、LUTを利用した補間計算で求める手法などが利用できる。LUTは、プロジェクタコントローラ20に格納されている。またカラーイメージセンサ11は、デバイスインディペンデントカラーである三刺激値XYZを直接出力するものであってもよい。
【0084】
上記の手法で得られた白色信号に対応する三刺激値XYZを(XW2,YW2,ZW2)と記述することとし、これを色変換の変換先の白色情報とする。このようにして変換先の白色情報(三刺激値(XW2,YW2,ZW2))を獲得する。
【0085】
次に、以下のようにして変換元の白色情報を獲得する。
【0086】
色変換の変換元でありデバイス依存カラーである白色情報および入力画像の任意の色と、それらの色に対応するデバイスインディペンデントカラーとの対応関係を、表示しようとする画像に設定されている色情報などから獲得する。
【0087】
例えば、入力画像のRGBが、International Electrotechnical Commission(IEC)が規定するsRGB(IEC61966−2−1)の標準色空間として提供されている場合、その白色(情報)はD65に設定されており、RGBとXYZの対応関係も規定されている。また、International Color Consortium(http://www.color.org)が定めるICCプロファイルが与えられている場合、その画像の詳細な色情報がプロファイルから得られる。
【0088】
入力画像のRGBを三刺激値XYZに変換する際、例えば、入力画像のRGBがsRGBの場合には、IEC61966−2−1に記載の変換方法が利用できる。また、プロジェクタ10において表示する画像の色情報が得られない場合を考慮し、あらかじめ画像の基準的な色情報を想定しておき、これを利用することも可能である。このようにして得られた色変換の変換元の白色情報である三刺激値XYZを(XW1,YW1,ZW1)と記述することにする。このようにして変換元の白色情報(三刺激値(XW1,YW1,ZW1))を獲得する。
【0089】
上記の色情報を獲得する方法は、他の任意の色にも用いることができる。
【0090】
(ii)次に、上記のように求めた色情報から色変換を構築する方法について説明する。
【0091】
プロジェクタにおける色変換の変換元の色空間における白色情報の三刺激値(XW1,YW1,ZW1)と、変換先の色空間の白色情報である三刺激値(XW2,YW2,ZW2)に基づいて、実際の色変換を構築する。この色変換は、変換元の色空間における任意の色を、色の見えを保持しながら変換先の色空間の色に変換するものである。ここでは、特許第3072729号のカラーマッチング方法を基本的に用いた場合について説明する。
【0092】
変換元の色空間の白色の三刺激値(XW1,YW1,ZW1)から色度xyを計算する。その色度から変換元の色空間における照明の仮想分光分布特性I1(λ)を求める。同様に、変換先の色空間の白色の三刺激値(XW2,YW2,ZW2)から色度を計算する。その色度から変換先の色空間における照明の仮想分光分布特性I2(λ)を求める。ここで、白色の三刺激値から照明の仮想分光分布特性を得るのは、投影面が完全白色であるという仮定を導入することにより可能である。そのような方法として、例えば、本発明者による特開平10−229499号公報に記載の方法などを利用することができる。これらの白色の色度が、CIE昼光が想定する相関色温度の範囲により決定される色度の範囲に存在しないのであれば、その旨をユーザに報告する。
【0093】
ここで、三刺激値と仮想分光分布特性とから変換元の色空間の任意の色Aの仮想表面反射率R1(λ)を計算する方法について説明する。
【0094】
色AのRGBに対して、白色と同様の上記の手法(i)で三刺激値XYZとしての(X1,Y1,Z1)を計算する。色Aの三刺激値(X1,Y1,Z1)と、照明の仮想分光分布特性I1(λ)とを用いて変換元の色空間における色Aの仮想表面反射率R1(λ)
を計算する。色Aの三刺激値(X1,Y1,Z1)と仮想表面反射率R1(λ)の関係は以下のように表される。
【0095】
【数5】
ただし、x(λ)、y(λ)、z(λ)(文字の上のバーは省略)は、等色関数で既知である。k1は積分定数であり、以下の式で表される。
【0096】
【数6】
仮想表面反射率R1(λ)を計算するために、仮想表面反射率R1(λ)は、基底ベクトルの加重和で近似できるという仮定を導入し、以下に示す有限次元線形モデルで表されるものとする。
【0097】
【数7】
ここで、ri(λ)(i=0〜3)は、多くの物体の表面反射率を集め、それを主成分分析して得られる基底ベクトルで、それぞれ平均、第一主成分ベクトル〜第三主成分ベクトルを表しており、すべて既知である。ai(i=1〜3)は、各基底ベクトルの重み係数で、物体の色を表現する未知特性パラメータとなる。
【0098】
式(7)を式(5)に代入すると、未知特性パラメータaiに関する観測方程式が得られ、これを計算することができる。
【0099】
【数8】
【0100】
【数9】
ただし、i=0〜3である。
【0101】
式(8)で得られたai(i=1〜3)を式(7)に代入することで、変換元の色空間における色Aの仮想表面反射率R1(λ)が得られる。
【0102】
すなわち、変換元の色空間における任意の色について仮想表面反射率R1(λ)を計算することが可能となる。
【0103】
変換元の色空間における完全白色が与えられた場合、その三刺激値は、変換元の色空間における照明の三刺激値(XW1,YW1,ZW1)と一致する。変換元の色空間における照明の仮想分光分布特性I1(λ)は、既に求められている。従って、仮想分光分布特性I1(λ)と完全白色の三刺激値(XW1,YW1,ZW1)とに基づいて、上述した計算の方法を用いることにより、変換元の色空間における完全白色の仮想表面反射率RW1(λ)を計算することができる。
【0104】
次に、変換元における完全白色の三刺激値(XW1,YW1,ZW1)を、変換先の色空間において全く同じ三刺激値で再現することを考える。変換元の色空間における完全白色の三刺激値(XW1,YW1,ZW1)と、変換先の色空間における照明の仮想分光分布特性I2(λ)とに基づいて、上述した計算の方法を用いることにより、変換先の色空間における完全白色の仮想表面反射率RW2(λ)を計算することができる。
【0105】
いま、完全白色に関して、RW1(λ)とRW2(λ)の2つの仮想表面反射率が得られており、2つの色空間において完全白色の色の見えが一致して見える仮想表面反射率RW3(λ)を以下の式で計算する。
【0106】
【数10】
ここで、cは、観察者の色覚が不完全に順応した状態に対応する不完全色順応係数であり0〜1.0の実数である。
【0107】
次に、白色以外の色について説明する。まず、変換元の色空間における任意の色の仮想表面反射率Rf1(λ)を、白色の場合と同様に上述の方法により、その任意の色の三刺激値(X1,Y1,Z1)と仮想分光分布特性I1(λ)とに基づいて計算する。そして、その色の変換先の色空間における対応色の仮想表面反射率Rf2(λ)は、以下の式で計算する。
【0108】
【数11】
ここで、cc(λ)は、可視光領域における各波長の比係数である表面反射率順応係数であり、式(12)によりRW1(λ)とRW3(λ)から計算する。
【0109】
【数12】
変換元の色空間における任意の入力色の変換先の色空間における対応色の三刺激値(X2,Y2,Z2)は、以下の式で計算する。
【0110】
【数13】
【0111】
【数14】
ここで、k2は積分定数である。
【0112】
変換先の色空間における対応色の三刺激値(X2,Y2,Z2)が求まることにより、変換先の色空間が構築されたことになる。
【0113】
変換先の色空間における色の三刺激値(X2,Y2,Z2)は、たとえば式(15)に示すような線形変換などを利用して、プロジェクタのデバイス依存色であるR2G2B2に変換する。
【0114】
【数15】
ここで、変換行列Oはプロジェクタ10の色特性であって、デバイスインディペンデントカラーの三刺激値XYZから、プロジェクタ10のデバイス依存カラーであるRGBへの変換行列である。(l,m,n)はブラックオフセットを考慮するための補正項である。式(15)で得られるR2G2B2は、ガンマが1.0に設定されている状態でのRGB値であり、プロジェクタがガンマ特性を有するのであれば、このR2G2B2にガンマ補正を施す。このようなプロセスにより、色変換を構築することができる。
【0115】
色補正部26での補正は、入力画像の画像データ(XI,YI、ZI)を、式(15)の(X2,Y2、Z2)に入力し、式(15)の(R2,G2、B2)を得ることである。
【0116】
プロジェクタの基本原色が4色光以上の場合についても同様の手法でデバイスインディペンデントカラーとデバイス依存カラーの対応関係を式(15)のような線形式およびガンマ補正の形式で表現できる。以上の色変換処理を、パターン画像5を構成する全ての画素あるいはブロックについて施すことにより、投影面2の色が均一でない場合や、周辺光3が均一でない場合でも影響の受けないプロジェクタの色再現が実現できる。
【0117】
さらに、式(15)で表されるプロジェクタ10の標準的な色特性が提供されていたとしても、プロジェクタのより高精度な色再現を実現するためには、投影面2の色や周辺光3による影響を考慮してプロジェクタ10の色特性を更新することが望ましい。すなわち、プロジェクタ10は、W(白)の画像、あるいは、R(赤)、G(緑)、B(青)、Wの画像、あるいは、R、G、B、W、Bk(黒)からなる画像を投影面2へ投影する。カラーイメージセンサ11は、投影面2からの反射光4を撮影し、上記式(4)を用いてWあるいはRGBWあるいはRGBWBkの各三刺激値XYZを生成する。ここで、Wのみ場合に、このWの三刺激値XYZから、RGBに対応する三刺激値XYZを推定することもできる。この推定方法としては、様様な色の投影面にW、R、G、Bを投影し、R、G、Bの色情報とWの色情報との関係を回帰分析して得た回帰式を利用することで、Wの色情報からR、G、Bの色情報が推定できる。
【0118】
式(15)のXYZ→RGB変換式は、RGBWの各三刺激値XYZから計算された各色の色度を用いて求めることができる(詳しくは、田島譲二著「カラー画像複製論 カラーマネジメントの基礎」(丸善、1996)の第3章「ディスプレイの色再現」を参照)。この場合、(l,m,n)は(0,0,0)になる。Bk(黒)を加えたRGBWBkの各三刺激値XYZを用いることで、式(14)のブラックシフト(l,n,m)の項により、精度を高めることができる。
【0119】
式(15)を、上記の色補正方法と同様に、パターン画像5を構成する全ての画素あるいはブロックについて全て更新することで、さらに精度の高いプロジェクタの色再現が実現できる効果が得られる。
【0120】
変換元の色空間における任意の色を、色の見えを保持しながら変換先の色空間の色に補正する方法は、特許第3072729号のカラーマッチング方法をプロジェクタに適用する場合について説明したが、von Kriesモデル,CIELAB,CIECAM97s,納谷97モデルなどの色順応モデルやカラーアピアランスモデルも用いることができる。すなわち、プロジェクタの色補正方法は、ひとつに固定する必要はなく複数のモデルを搭載しておき、ユーザの好みに応じて選択できるようにしておくこともできる。また、これらのモデルの中には、変換パラメータを調整したり、暗い、ほの暗い、通常照明など状態など観察環境の情報を指定することでさらに精度の高いカラーマッチングが実現できるものもある。たとえば、特許第3072729号のカラーマッチング方法では不完全色順応係数cである。そのようなモデルのために、パラメータの調整を行うユーザインターフェースを提供することで、より高精度なプロジェクタのカラーマッチングが実現できる。
【0121】
ここで、プロジェクタの色補正は、カラーイメージセンサが無くても、手動で作成が可能である。例えば、投影面がチェック柄の場合、均一の色の画像を1種類以上投影し、投影面のチェック柄のブロックを、プロジェクタに搭載されているマウスによるポインタ指定機能を利用して指定する。そして、プロジェクタコントローラ20が、内部に格納された色補正プログラムに基づいて、指定されたブロックの色を対話的に変化させるグラフィカルユーザインターフェースを表示する。図12は、グラフィカルユーザインターフェースの例を説明したものである。この図において、指定されたブロック43に隣接するように標準白色板42を設置する。そして、白色をプロジェクタ10で投影し、チェック柄のブロック43上の再現色と一致するように、標準白色板42の色合わせブロック44の色を、色調整GUI48を用いて調整する。色調整GUI48は、色相・彩度調整部45、明度調整部46を備える。丸い円は、赤、黄、緑、シアン、青、マジェンタなどの色相および彩度を調整する色相・彩度調整部45である。円の中心は無彩色を表し、中心から離れるにしたがって彩度が高くなる。すなわち、円の半径方向T2に沿って彩度が変化する。また、色相は円周方向T1に沿って滑らかに変化する。長方形は、明るさを調整する明度調整部45である。上下方向T3に沿って明度が変化する。操作点55及び56をポインティングデバイスで動かして操作する。この2つの調整インターフェースで色を調整することができる。なお、この色調整GUI48は、色合わせブロック44の色をユーザが意図するように変化させられれば良く、図13の色調整GUIのみに限られるものではない。同様に赤、緑、青を投影し、色合わせ実施する。この作業により、指定されたブロックの色合わせされた標準白色板上の白、赤、緑、青のRGBデータが得られる。
【0122】
標準白色板に投影した時のプロジェクタの再現色は、式(15)の式で表される。この式をあらかじめ計算し、プロジェクタなどのメモリに保持しておくことが可能である。すなわち、標準白色板へ投影している色のRGBデータが得られれば、その三刺激値XYZが得られることになる。標準白色板上に再現されている色は、投影面のチェック柄のブロックにおける再現色が一致していることから、標準白色板上に再現されている色から計算される色情報を、投影面のチェック柄のブロックにおける再現色の色情報とすることができる。したがって、カラーイメージセンサを利用した上記の色補正方法における、投影面の色情報の取得部分を手動によるこの方法と置き換えることで色補正を構築することができる。
【0123】
上記色補正、すなわち、変換元のデバイス依存の入力色から三刺激値XYZへ変換し、特許第3072729号のカラーマッチング方法の場合、式(4)から式(15)までを統合した計算式と係数、それに相当する近似式と係数、あるいは、変換先のデバイス依存の対応色をある代表色に対してルックアップテーブルに保存しておき、それ以外の色については、このルックアップテーブルに保存されている計算式と係数、近似式と係数、あるいは対応色を用いた補間計算を行うことによって対応色を計算してもよい。なお、プロジェクタの原色が4色以上である場合でも、内挿法を拡張することでルックアップテーブルによる色補正を容易に実現できる。
【0124】
また、上記色補正あるいは色変換(ルックアップテーブル)を定期的あるいはあるタイミングで更新することにより、時間によるプロジェクタの色再現や周辺光の変動を抑え、より精度の高い色再現が実現できる。色変換を更新するタイミングの一例としては、動画像の場合には、カット点の検出と同時に色補正を更新することで、色補正を更新することによるちらつきなどの影響を抑えることができる。色補正の更新は、投影画面の一部に白色部分を投影しておくことで可能となる。カット点を利用した高画質化技術として、「シーンチェンジを考慮した適応的動画像自動高画質化」(2001年電子情報通信学会システムソサイエティ大会,D−11−88,pp.173)の方法が利用できる。あるいは、ユーザの指定によって色補正の更新が実行できるようにしておけば良い。
【0125】
次に、本発明の第1の実施形態のプロジェクタの色補正装置における動作(プロジェクタの色補正方法の実施の形態)について説明する。図8は、本発明の第1の実施形態のプロジェクタの色補正装置における動作(プロジェクタの色補正方法の実施の形態)を示すフローチャートである。
【0126】
まず、プロジェクタコントローラ20は、プロジェクタ10を用いて、対応点計算部21から入力されたパターン画像5を投影する。そして、投影面2上でのパターン撮影画像7を、カラーイメージセンサ11を介して獲得する(ステップS1)。
【0127】
次に、対応点計算部21は、上記(I)の方法を用い、プロジェクタコントローラ20の獲得したパターン撮影画像7とパターン画像5との間で、画素あるいは領域の対応関係を求める(ステップS2)。そして、求めた対応関係を対応関係データとして対応マップメモリ22に格納する。
【0128】
続いて、色変換構築部23は、プロジェクタコントローラ20へWあるいはW、BkあるいはR、G、B、WあるいはR、G、B、W、Bkのカラー画像5cを出力し、プロジェクタ10に投影させる。そして、カラーイメージセンサ11で受光された投影面2上でのカラー撮影画像7cを、プロジェクタコントローラ20から獲得する。色変換構築部23は、対応マップメモリ22に記録された対応関係データに基づき、上記(II)−(i)の方法を用い、投影領域の画素に対応するカラー撮影画像7cの色情報を獲得する(ステップS3)。カラー撮影画像7cの色情報を色情報メモリ24に記録する。
【0129】
色変換構築部23は、投影領域の画素あるいはある領域毎にステップS3で得た色情報に基づいて、上記(II)−(ii)の方法を用い、目的プロジェクタ色空間を構築する(ステップS4)。
【0130】
色変換構築部23は、投影領域の画素あるいはある領域毎に元プロジェクタ色空間と目的プロジェクタ色空間とに基づいて、上記(II)−(ii)の方法を用い、色の見えを一致させる色変換を構築する(ステップS5)。色変換を色変換メモリ25に記録する。
【0131】
色補正部26は、入力画像に対して、ステップS5の色変換による色補正を実施し色補正画像を出力する(ステップS6)。
【0132】
本発明では、画像の画素又はブロックごとにレベルに色補正を行うことができる。それにより、プロジェクタの投影面の色が均一でない状況であっても、安定な色再現を実現できる。加えて、プロジェクタの投影面に模様がある状況であっても、安定な色再現を実現することが可能となる。更に、プロジェクタの投影面に環境光が均一に当たっていない状況であっても、安定な色再現を実現することが可能となる。そして、プロジェクタの色再現の精度を向上することができる。
【0133】
なお、第1の実施の形態である色補正装置12において、ステップS1で投影するパターン画像5の代わりにステップS3で投影するカラー画像5cを投影することも可能である。この場合の動作を示したのが図9である。
【0134】
図9は、本発明の第1の実施形態のプロジェクタの色補正装置における動作(プロジェクタの色補正方法の実施の形態)の変形例を示すフローチャートである。
【0135】
まず、プロジェクタコントローラ20は、プロジェクタ10を用いて、対応点計算部21から入力されたカラー画像5cを投影する。カラー画像5cは、WあるいはWとBK、あるいはR、G、B、W、あるいはR、G、B、W、Bkのカラー画像である。そして、投影面2上でのパターン撮影画像7を、カラーイメージセンサ11で獲得する(ステップS11)。
【0136】
対応点計算部21は、プロジェクタコントローラ20の獲得したカラー撮影画像7cとカラー画像5cとの間で、上記(I)の方法を用い、画素あるいは領域の対応関係を求める(ステップS12)。そして、求めた対応関係を対応関係データとして対応マップメモリ22に格納する。
【0137】
続いて、色変換構築部23は、対応マップメモリ22に記録された対応関係データに基づき、上記(II)−(i)の方法を用い、投影領域の画素に対応するカラー撮影画像7cの色情報を獲得する(ステップS13)。カラー撮影画像7cの色情報を色情報メモリ24に記録する。
【0138】
ステップS14からステップS16は、ステップS4からステップS6と同じである。
【0139】
(第2の実施の形態)
次に、本発明の第2の実施形態のプロジェクタの色補正装置について添付図面を参照して説明する。
【0140】
まず、本発明の第2の実施形態のプロジェクタの色補正装置の構成について添付図面を参照して説明する。図10は、本発明の第2の実施形態のプロジェクタの色補正装置の構成を示す図である。プロジェクタの色補正装置13は、色変換生成部38と色補正部36とを備える。色変換生成部38は、プロジェクタコントローラ30と、対応点計算部31と、対応マップメモリ32と、色変換計算部33と、色情報メモリ34と、色変換メモリ35と、色変換算出部37とを備える。
【0141】
なお、プロジェクタ10と色補正装置13とは、一方が他方を含んでいても良い。その場合、装置を小型化できる。
【0142】
プロジェクタコントローラ30は、プロジェクタの動作をコントロールする。加えて、プロジェクタ10の投影面2の詳細な色情報を獲得するために、以下の動作を行う。
【0143】
対応点計算部31から取得したパターン画像5を投影面2へ投影する。そしし、カラーイメージセンサ11が投影面2上のパターン画像5を撮影を撮影した結果としてのパターン撮影画像7を取得する。その後、パターン撮影画像7を対応点計算部31へ出力する。
【0144】
パターン画像5とパターン撮影画像7との画素の対応関係(後述)が得られたら、プロジェクタコントローラ30は、色変換構築部33から取得したカラー画像5cを投影面2へ投影する。そして、カラーイメージセンサ11が投影面2上のカラー画像5cを撮影した結果としてのカラー撮影画像7cを取得する。その後、カラー撮影画像7cを色変換構築部33へ出力する。カラー画像5cは、プロジェクタ10の投影面2上の色空間を得るために用いる。例えば、W(白色)、WとBK(黒)、WとR(赤)とG(緑)とB(青)、及び、WとRとGとBとKのいずれかの色の組で構成されたカラー画像5cである。
【0145】
対応点計算部31は、パターン画像5を発生させて、プロジェクタコントローラ30へ出力する。パターン画像5を予め記憶部(図示されず)に格納し、それを用いても良い。また、対応点計算部31は、プロジェクタコントローラ30からパターン撮影画像7を取得する。そして、パターン画像5の特徴点の画素に対応するパターン撮影画像7上の画素を計算し、その対応関係を求める。
【0146】
対応マップメモリ32は、対応点計算部31において得られたパターン画像5とパターン撮影画像7との画素の対応関係を示す対応関係データを格納する。その対応関係対応関係データは、投影される画像の特徴点の画素と、その投影面上での画像の特徴点の画素との間の対応関係を示している。
【0147】
色変換構築部33は、カラー画像5cを生成させて、プロジェクタコントローラ30へ出力する。カラー画像5cを予め記憶部(図示されず)に格納し、それを用いても良い。また、色変換構築部33は、プロジェクタコントローラ30からカラー撮影画像7cを取得する。
【0148】
そして、対応マップメモリ32に記録された対応関係データに基づき、投影画像を構成する各特徴点位置に対応する、カラー撮影画像7cの色情報を取り出し、色情報メモリ34に記録する。そして、各特徴点について、式(15)に示されたプロジェクタ10の投影面2上における色空間を算出し、色補正の変換先の色空間を構築する。そして、あらかじめ決められている変換元の色空間と、計算された変換先の色空間とから色の見えを一致させる色変換を、上記の色補正方法に従って構築し、色変換メモリ35に記録する。
【0149】
なお、色情報メモリ34は、色補正装置13において必ずしも必要なメモリではない。
すなわち、各特徴点に対応するカラー撮影画像の色情報を色情報メモリ34に記憶せずに、色の見えを一致させる色変換を作成しても良い。
【0150】
色補正部36では、入力された画像の各画素に対して色補正を実施するに当たり、各画素について、色変換算出部37に色変換メモリ35に記録された特徴点における色変換から画素に対応する色変換を補間計算により算出させて、色変換を得て色補正を実施する。そして、色補正後の画像は、プロジェクタコントロール30に送られ、プロジェクタ10で投影される。
【0151】
色補正装置13では、特徴点について色変換を構築しており、それ以外の画素については、特徴点に構築された色変換を元に補間計算などによって色変換を構築する。したがって、投影面2の色や、周辺光3が投影領域において滑らかに変化するような場合に有効である。
【0152】
次に、本発明の第2の実施の形態のプロジェクタの色補正装置における動作(プロジェクタの色補正方法の実施の形態)について説明する。図11は、本発明の第2の実施の形態のプロジェクタの色補正装置における動作(プロジェクタの色補正方法の実施の形態)を示すフローチャートである。
【0153】
まず、プロジェクタコントローラ30は、プロジェクタ10を用いて、対応点計算部31から入力されたパターン画像5を投影する。そして、投影面2上でのパターン撮影画像7を、カラーイメージセンサ11を介して獲得する(ステップS21)。
【0154】
次に、対応点計算部31は、上記(I)の方法を用い、プロジェクタコントローラ30の獲得したパターン撮影画像7とパターン画像5との間で、特徴点の対応関係を求める(ステップS22)。そして、求めた対応関係を対応関係データとして対応マップメモリに格納する。
【0155】
続いて、色変換構築部33は、プロジェクタコントローラ30へWあるいはW、BkあるいはR、G、B、WあるいはR、G、B、W、Bkのカラー画像5cを出力し、プロジェクタ10に投影させる。そして、カラーイメージセンサ11で受光された投影面2上でのカラー撮影画像7cを、プロジェクタコントローラ30から獲得する。色変換構築部33は、対応マップメモリ32に記録された対応関係データに基づき、上記(II)−(i)の方法を用い、投影領域の画素に対応するカラー撮影画像7cの色情報を獲得する(ステップS23)。カラー撮影画像7cの色情報を色情報メモリ34に記録する。
【0156】
色変換構築部23は、投影領域の特徴点にステップS23で得た色情報に基づいて、上記(II)−(ii)の方法を用い、投影面2のプロジェクタ色空間を目的プロジェクタ色空間として構築する(ステップS24)。
【0157】
色変換構築部23は、投影領域の特徴点に元プロジェクタ色空間と目的プロジェクタ色空間とに基づいて、上記(II)−(ii)の方法を用い、色の見えを一致させる色変換を構築する(ステップS25)。
【0158】
色変換算出部37は、入力画像の各画素に対応する色変換を補間計算により算出する(ステップS26)。
【0159】
色補正部36は、入力画像の各画素に対して、S16の色変換により色補正を実施し、色補正画像を出力する(ステップS27)。
【0160】
本実施形態の場合にも、第1の実施の形態と同様の効果を得ることができる。
【特許請求の範囲】
【請求項1】
予め設定された第1色情報と、投影面上に投影された画像の第2色情報とに基づいて、投影面上に投影された前記画像の画素又はブロック毎に色変換を生成する色変換生成ステップと、
入力画像の画素あるいはブロック毎に前記色変換を用いて色補正する色補正ステップとを備えたプロジェクタの色補正方法。
【請求項2】
前記色変換生成ステップは、
ユーザインターフェースを介して入力を受ける入力ステップと、
前記入力に基づいて、前記色変換を生成する変換ステップとを備えた請求項1記載のプロジェクタの色補正方法。
【請求項3】
前記色変換生成ステップは、
前記投影面上の前記画像の画素又はブロック毎の色情報としての前記第2色情報を獲得する色情報獲得ステップと、
前記第1色情報と前記第2色情報とに基づいて、前記画像の画素あるいはブロック毎に色変換を計算する色変換計算ステップとを備える請求項1記載のプロジェクタの色補正方法。
【請求項4】
前記色変換生成ステップは、
前記画像を前記投影面に投影して撮影した撮影画像を取得し、前記画像の画素又はブロックと前記撮影画像の画素又はブロックとの間の対応付けを行う対応付けステップと、
前記撮影画像の画素又はブロック毎の色情報としての前記第2色情報を獲得する色情報獲得ステップと、
前記第1色情報と前記第2色情報と前記対応付けとに基づいて、前記画像の画素あるいはブロック毎に色変換を計算する色変換計算ステップとを備える請求項1記載のプロジェクタの色補正方法。
【請求項5】
前記色変換生成ステップは、
パターン画像を前記投影面に投影して撮影したパターン撮影画像を取得し、前記パターン画像の画素又はブロックと前記パターン撮影画像の画素又はブロックとの対応付けを行う対応付けステップと、
カラー画像を前記投影面に投影して撮影したカラー撮影画像を取得し、前記カラー撮影画像の画素又はブロック毎の色情報としての前記第2色情報を獲得する色情報獲得ステップと、
前記第1色情報と前記第2色情報と前記対応付けとに基づいて、前記カラー画像の画素又はブロック毎に色変換を計算する色変換計算ステップとを備える請求項1記載のプロジェクタの色補正方法。
【請求項6】
前記画像又は前記パターン画像を複数の画像で提示し、前記複数の画像と連動した撮影画像としての連動撮影画像を得て、前記連動撮影画像をスキャンすることで、前記画像又はパターン画像の画素又はブロックと前記撮影画像又はパターン撮影画像の画素又はブロックとの対応付けを行う請求項4記載のプロジェクタの色補正方法。
【請求項7】
請求項1に記載のプロジェクタの色補正方法において、
前記色変換生成ステップは、
パターン画像を前記投影面に投影して撮影したパターン撮影画像を取得し、前記パターン画像の特徴点と前記パターン撮影画像の特徴点との対応付けを行う特徴点対応付けステップと、
カラー画像を前記投影面に投影して撮影したカラー撮影画像を取得し、前記カラー撮影画像の特徴点の色情報としての前記第2色情報を獲得する特徴点色情報獲得ステップと、
予め設定された第1色情報と前記第2色情報と前記対応付けとから、前記カラー画像の特徴点の色変換を計算する特徴点色変換計算ステップと、
入力画像の画素あるいはブロック毎の色変換を、前記特徴点の色変換を代表点の色変換から算出する色変換算出ステップと
を備えるプロジェクタの色補正方法。
【請求項8】
前記色変換は、数式あるいはルックアップテーブルあるいはその組み合わせで構成される請求項1記載のプロジェクタの色補正方法。
【請求項9】
予め設定された第1色情報と、投影面に上に投影された画像の第2色情報とに基づいて、投影面上に投影された前記画像の画素又はブロック毎に色変換を生成する色変換生成部と、
入力画像の画素あるいはブロック毎に前記色変換を用いて色補正する色補正部と、を備えるプロジェクタの色補正装置。
【請求項10】
前記色変換生成部は、ユーザインターフェースを介した入力に基づいて、前記色変換を生成する変換部を備える請求項9記載のプロジェクタの色補正装置。
【請求項11】
前記色変換生成部は、
前記画像を前記投影面に投影して撮影した撮影画像を取得し、前記画像の画素又はブロックと前記撮影画像の画素又はブロックとの間の対応付けを行う対応付け部と、
前記対応付けを記録する対応関係記憶メモリと、
前記撮影画像の画素又はブロック毎の色情報としての前記第2色情報を獲得する色情報獲得部と、
前記第1色情報と前記第2色情報と前記対応付けとに基づいて、前記画像の画素あるいはブロック毎に色変換を計算する色変換計算部と、
前記色変換を記録する色変換記憶メモリとを備える、請求項9記載のプロジェクタの色補正装置。
【請求項12】
前記色変換生成部は、
パターン画像を前記投影面に投影して撮影したパターン撮影画像を取得し、前記パターン画像の画素又はブロックと前記パターン撮影画像の画素又はブロックとの対応付けを行う対応付け部と、
前記対応付けを記録する対応関係記憶メモリと、
カラー画像を前記投影面に投影して撮影したカラー撮影画像を取得し、前記カラー撮影画像の画素又はブロック毎の色情報としての前記第2色情報を獲得する色情報獲得部と、
前記第1色情報と前記第2色情報と前記対応付けとに基づいて、前記カラー画像の画素又はブロック毎に色変換を計算する色変換計算部と、
前記色変換を記録する色変換記憶メモリとを備える、請求項9記載のプロジェクタの色補正装置。
【請求項13】
対応付け部は、前記画像又は前記パターン画像を複数の画像で提示し、前記複数の画像と連動した撮影画像としての連動撮影画像を得て、前記連動撮影画像をスキャンすることで、前記画像又はパターン画像の画素又はブロックと前記撮影画像又はパターン撮影画像の画素又はブロックとの対応付けを行う請求項11記載のプロジェクタの色補正装置。
【請求項14】
前記色変換生成部は、
パターン画像を前記投影面に投影して撮影したパターン撮影画像を取得し、前記パターン画像の特徴点と前記パターン撮影画像の特徴点との対応付けを行う特徴点対応付け部と、
前記対応付けを記録する対応関係記憶メモリと、
カラー画像を前記投影面に投影して撮影したカラー撮影画像を取得し、前記カラー撮影画像の特徴点の色情報としての前記第2色情報を獲得する特徴点色情報獲得部と、
予め設定された第1色情報と前記第2色情報と前記対応付けとから、前記カラー画像の特徴点の色変換を計算する特徴点色変換計算部と、
前記特徴点の色変換を代表点の色変換として記録する色変換記憶メモリと
入力画像の画素あるいはブロック毎の色変換を前記代表点の色変換から算出する色変換算出部とを備える、請求項9記載のプロジェクタの色補正装置。
【請求項15】
前記色変換は、数式あるいはルックアップテーブルあるいはその組み合わせで構成される請求項9記載のプロジェクタの色補正装置。
【請求項16】
画像データの入力に基づいて、色補正された前記画像データを出力する請求項9記載のプロジェクタの色補正装置と、
前記色補正された前記画像データを投影面に投影するプロジェクタ本体と、を備えるプロジェクタ。
【請求項17】
予め設定された第1色情報と、投影面上に投影された画像の第2色情報とに基づいて、投影面上に投影された前記画像の画素又はブロック毎に色変換を生成する色変換生成ステップと、
入力画像の画素あるいはブロック毎に前記色変換を用いて色補正する色補正ステップとを備えるプロジェクタの色補正方法をコンピュータに実行させるためのプログラム。
【請求項18】
前記色変換生成ステップは、
ユーザインターフェースを介して入力を受ける入力ステップと、
前記入力に基づいて、前記色変換を生成する変換ステップとを備える請求項17記載のプログラム。
【請求項19】
前記色変換生成ステップは、
前記投影面上の前記画像の画素又はブロック毎の色情報としての前記第2色情報を獲得する色情報獲得ステップと、
前記第1色情報と前記第2色情報とに基づいて、前記画像の画素あるいはブロック毎に色変換を計算する色変換計算ステップとを備える請求項18記載のプログラム。
【請求項20】
前記色変換生成ステップは、
前記画像を前記投影面に投影して撮影した撮影画像を取得し、前記画像の画素又はブロックと前記撮影画像の画素又はブロックとの間の対応付けを行う対応付けステップと、
前記撮影画像の画素又はブロック毎の色情報としての前記第2色情報を獲得する色情報獲得ステップと、
前記第1色情報と前記第2色情報とに基づいて、前記画像の画素あるいはブロック毎に色変換を計算する色変換計算ステップとを備える請求項19記載のプログラム。
【請求項21】
前記色変換生成ステップは、
パターン画像を前記投影面に投影して撮影したパターン撮影画像を取得し、前記パターン画像の画素又はブロックと前記パターン撮影画像の画素又はブロックとの対応付けを行う対応付けステップと、
カラー画像を前記投影面に投影して撮影したカラー撮影画像を取得し、前記カラー撮影画像の画素又はブロック毎の色情報としての前記第2色情報を獲得する色情報獲得ステップと、
前記第1色情報と前記第2色情報とに基づいて、前記カラー画像の画素又はブロック毎に色変換を計算する色変換計算ステップとを備える請求項20記載のプログラム。
【請求項22】
前記画像又は前記パターン画像を複数の画像で提示し、前記複数の画像と連動した撮影画像としての連動撮影画像を得て、前記連動撮影画像をスキャンすることで、前記画像又はパターン画像の画素又はブロックと前記撮影画像又はパターン撮影画像の画素又はブロックとの対応付けを行う請求項20記載のプログラム。
【請求項23】
前記色変換生成ステップは、
パターン画像を前記投影面に投影して撮影したパターン撮影画像を取得し、前記パターン画像の特徴点と前記パターン撮影画像の特徴点との対応付けを行う特徴点対応付けステップと、
カラー画像を前記投影面に投影して撮影したカラー撮影画像を取得し、前記カラー撮影画像の特徴点の色情報としての前記第2色情報を獲得する特徴点色情報獲得ステップと、
予め設定された第1色情報と前記第2色情報とから、前記カラー画像の特徴点の色変換を計算する特徴点色変換計算ステップと、
入力画像の画素あるいはブロック毎の色変換を、前記特徴点の色変換を代表点の色変換から算出する色変換算出ステップとを備える請求項22記載のプログラム。
【請求項24】
前記色変換は、数式あるいはルックアップテーブルあるいはその組み合わせで構成される請求項17記載のプログラム。
【請求項1】
予め設定された第1色情報と、投影面上に投影された画像の第2色情報とに基づいて、投影面上に投影された前記画像の画素又はブロック毎に色変換を生成する色変換生成ステップと、
入力画像の画素あるいはブロック毎に前記色変換を用いて色補正する色補正ステップとを備えたプロジェクタの色補正方法。
【請求項2】
前記色変換生成ステップは、
ユーザインターフェースを介して入力を受ける入力ステップと、
前記入力に基づいて、前記色変換を生成する変換ステップとを備えた請求項1記載のプロジェクタの色補正方法。
【請求項3】
前記色変換生成ステップは、
前記投影面上の前記画像の画素又はブロック毎の色情報としての前記第2色情報を獲得する色情報獲得ステップと、
前記第1色情報と前記第2色情報とに基づいて、前記画像の画素あるいはブロック毎に色変換を計算する色変換計算ステップとを備える請求項1記載のプロジェクタの色補正方法。
【請求項4】
前記色変換生成ステップは、
前記画像を前記投影面に投影して撮影した撮影画像を取得し、前記画像の画素又はブロックと前記撮影画像の画素又はブロックとの間の対応付けを行う対応付けステップと、
前記撮影画像の画素又はブロック毎の色情報としての前記第2色情報を獲得する色情報獲得ステップと、
前記第1色情報と前記第2色情報と前記対応付けとに基づいて、前記画像の画素あるいはブロック毎に色変換を計算する色変換計算ステップとを備える請求項1記載のプロジェクタの色補正方法。
【請求項5】
前記色変換生成ステップは、
パターン画像を前記投影面に投影して撮影したパターン撮影画像を取得し、前記パターン画像の画素又はブロックと前記パターン撮影画像の画素又はブロックとの対応付けを行う対応付けステップと、
カラー画像を前記投影面に投影して撮影したカラー撮影画像を取得し、前記カラー撮影画像の画素又はブロック毎の色情報としての前記第2色情報を獲得する色情報獲得ステップと、
前記第1色情報と前記第2色情報と前記対応付けとに基づいて、前記カラー画像の画素又はブロック毎に色変換を計算する色変換計算ステップとを備える請求項1記載のプロジェクタの色補正方法。
【請求項6】
前記画像又は前記パターン画像を複数の画像で提示し、前記複数の画像と連動した撮影画像としての連動撮影画像を得て、前記連動撮影画像をスキャンすることで、前記画像又はパターン画像の画素又はブロックと前記撮影画像又はパターン撮影画像の画素又はブロックとの対応付けを行う請求項4記載のプロジェクタの色補正方法。
【請求項7】
請求項1に記載のプロジェクタの色補正方法において、
前記色変換生成ステップは、
パターン画像を前記投影面に投影して撮影したパターン撮影画像を取得し、前記パターン画像の特徴点と前記パターン撮影画像の特徴点との対応付けを行う特徴点対応付けステップと、
カラー画像を前記投影面に投影して撮影したカラー撮影画像を取得し、前記カラー撮影画像の特徴点の色情報としての前記第2色情報を獲得する特徴点色情報獲得ステップと、
予め設定された第1色情報と前記第2色情報と前記対応付けとから、前記カラー画像の特徴点の色変換を計算する特徴点色変換計算ステップと、
入力画像の画素あるいはブロック毎の色変換を、前記特徴点の色変換を代表点の色変換から算出する色変換算出ステップと
を備えるプロジェクタの色補正方法。
【請求項8】
前記色変換は、数式あるいはルックアップテーブルあるいはその組み合わせで構成される請求項1記載のプロジェクタの色補正方法。
【請求項9】
予め設定された第1色情報と、投影面に上に投影された画像の第2色情報とに基づいて、投影面上に投影された前記画像の画素又はブロック毎に色変換を生成する色変換生成部と、
入力画像の画素あるいはブロック毎に前記色変換を用いて色補正する色補正部と、を備えるプロジェクタの色補正装置。
【請求項10】
前記色変換生成部は、ユーザインターフェースを介した入力に基づいて、前記色変換を生成する変換部を備える請求項9記載のプロジェクタの色補正装置。
【請求項11】
前記色変換生成部は、
前記画像を前記投影面に投影して撮影した撮影画像を取得し、前記画像の画素又はブロックと前記撮影画像の画素又はブロックとの間の対応付けを行う対応付け部と、
前記対応付けを記録する対応関係記憶メモリと、
前記撮影画像の画素又はブロック毎の色情報としての前記第2色情報を獲得する色情報獲得部と、
前記第1色情報と前記第2色情報と前記対応付けとに基づいて、前記画像の画素あるいはブロック毎に色変換を計算する色変換計算部と、
前記色変換を記録する色変換記憶メモリとを備える、請求項9記載のプロジェクタの色補正装置。
【請求項12】
前記色変換生成部は、
パターン画像を前記投影面に投影して撮影したパターン撮影画像を取得し、前記パターン画像の画素又はブロックと前記パターン撮影画像の画素又はブロックとの対応付けを行う対応付け部と、
前記対応付けを記録する対応関係記憶メモリと、
カラー画像を前記投影面に投影して撮影したカラー撮影画像を取得し、前記カラー撮影画像の画素又はブロック毎の色情報としての前記第2色情報を獲得する色情報獲得部と、
前記第1色情報と前記第2色情報と前記対応付けとに基づいて、前記カラー画像の画素又はブロック毎に色変換を計算する色変換計算部と、
前記色変換を記録する色変換記憶メモリとを備える、請求項9記載のプロジェクタの色補正装置。
【請求項13】
対応付け部は、前記画像又は前記パターン画像を複数の画像で提示し、前記複数の画像と連動した撮影画像としての連動撮影画像を得て、前記連動撮影画像をスキャンすることで、前記画像又はパターン画像の画素又はブロックと前記撮影画像又はパターン撮影画像の画素又はブロックとの対応付けを行う請求項11記載のプロジェクタの色補正装置。
【請求項14】
前記色変換生成部は、
パターン画像を前記投影面に投影して撮影したパターン撮影画像を取得し、前記パターン画像の特徴点と前記パターン撮影画像の特徴点との対応付けを行う特徴点対応付け部と、
前記対応付けを記録する対応関係記憶メモリと、
カラー画像を前記投影面に投影して撮影したカラー撮影画像を取得し、前記カラー撮影画像の特徴点の色情報としての前記第2色情報を獲得する特徴点色情報獲得部と、
予め設定された第1色情報と前記第2色情報と前記対応付けとから、前記カラー画像の特徴点の色変換を計算する特徴点色変換計算部と、
前記特徴点の色変換を代表点の色変換として記録する色変換記憶メモリと
入力画像の画素あるいはブロック毎の色変換を前記代表点の色変換から算出する色変換算出部とを備える、請求項9記載のプロジェクタの色補正装置。
【請求項15】
前記色変換は、数式あるいはルックアップテーブルあるいはその組み合わせで構成される請求項9記載のプロジェクタの色補正装置。
【請求項16】
画像データの入力に基づいて、色補正された前記画像データを出力する請求項9記載のプロジェクタの色補正装置と、
前記色補正された前記画像データを投影面に投影するプロジェクタ本体と、を備えるプロジェクタ。
【請求項17】
予め設定された第1色情報と、投影面上に投影された画像の第2色情報とに基づいて、投影面上に投影された前記画像の画素又はブロック毎に色変換を生成する色変換生成ステップと、
入力画像の画素あるいはブロック毎に前記色変換を用いて色補正する色補正ステップとを備えるプロジェクタの色補正方法をコンピュータに実行させるためのプログラム。
【請求項18】
前記色変換生成ステップは、
ユーザインターフェースを介して入力を受ける入力ステップと、
前記入力に基づいて、前記色変換を生成する変換ステップとを備える請求項17記載のプログラム。
【請求項19】
前記色変換生成ステップは、
前記投影面上の前記画像の画素又はブロック毎の色情報としての前記第2色情報を獲得する色情報獲得ステップと、
前記第1色情報と前記第2色情報とに基づいて、前記画像の画素あるいはブロック毎に色変換を計算する色変換計算ステップとを備える請求項18記載のプログラム。
【請求項20】
前記色変換生成ステップは、
前記画像を前記投影面に投影して撮影した撮影画像を取得し、前記画像の画素又はブロックと前記撮影画像の画素又はブロックとの間の対応付けを行う対応付けステップと、
前記撮影画像の画素又はブロック毎の色情報としての前記第2色情報を獲得する色情報獲得ステップと、
前記第1色情報と前記第2色情報とに基づいて、前記画像の画素あるいはブロック毎に色変換を計算する色変換計算ステップとを備える請求項19記載のプログラム。
【請求項21】
前記色変換生成ステップは、
パターン画像を前記投影面に投影して撮影したパターン撮影画像を取得し、前記パターン画像の画素又はブロックと前記パターン撮影画像の画素又はブロックとの対応付けを行う対応付けステップと、
カラー画像を前記投影面に投影して撮影したカラー撮影画像を取得し、前記カラー撮影画像の画素又はブロック毎の色情報としての前記第2色情報を獲得する色情報獲得ステップと、
前記第1色情報と前記第2色情報とに基づいて、前記カラー画像の画素又はブロック毎に色変換を計算する色変換計算ステップとを備える請求項20記載のプログラム。
【請求項22】
前記画像又は前記パターン画像を複数の画像で提示し、前記複数の画像と連動した撮影画像としての連動撮影画像を得て、前記連動撮影画像をスキャンすることで、前記画像又はパターン画像の画素又はブロックと前記撮影画像又はパターン撮影画像の画素又はブロックとの対応付けを行う請求項20記載のプログラム。
【請求項23】
前記色変換生成ステップは、
パターン画像を前記投影面に投影して撮影したパターン撮影画像を取得し、前記パターン画像の特徴点と前記パターン撮影画像の特徴点との対応付けを行う特徴点対応付けステップと、
カラー画像を前記投影面に投影して撮影したカラー撮影画像を取得し、前記カラー撮影画像の特徴点の色情報としての前記第2色情報を獲得する特徴点色情報獲得ステップと、
予め設定された第1色情報と前記第2色情報とから、前記カラー画像の特徴点の色変換を計算する特徴点色変換計算ステップと、
入力画像の画素あるいはブロック毎の色変換を、前記特徴点の色変換を代表点の色変換から算出する色変換算出ステップとを備える請求項22記載のプログラム。
【請求項24】
前記色変換は、数式あるいはルックアップテーブルあるいはその組み合わせで構成される請求項17記載のプログラム。
【図1】
【図2】
【図3】
【図4A】
【図4B】
【図4C】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図2】
【図3】
【図4A】
【図4B】
【図4C】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【国際公開番号】WO2005/057941
【国際公開日】平成17年6月23日(2005.6.23)
【発行日】平成19年12月13日(2007.12.13)
【国際特許分類】
【出願番号】特願2005−516078(P2005−516078)
【国際出願番号】PCT/JP2004/017287
【国際出願日】平成16年11月19日(2004.11.19)
【出願人】(000004237)日本電気株式会社 (19,353)
【Fターム(参考)】
【国際公開日】平成17年6月23日(2005.6.23)
【発行日】平成19年12月13日(2007.12.13)
【国際特許分類】
【国際出願番号】PCT/JP2004/017287
【国際出願日】平成16年11月19日(2004.11.19)
【出願人】(000004237)日本電気株式会社 (19,353)
【Fターム(参考)】
[ Back to top ]