説明

多原色表示装置に対する色変換方式

【課題】多原色カラー表示装置において、線形計画法を利用して多原色値を一元的に決定することができる色変換方式を提供する。
【解決手段】Xorg ,Yorg ,Zorg を入力三刺激値、xw ,yw を画像中の白色点のxy色度値とし、かつX,Y,ZをXorg ,Yorg ,Zorg と、Xw ,Yorg ,Zw の2点を通る直線上にあるとする。この直線に沿って、輝度一定で色度を下げるマッピングを行う。もともと色域が広い表示装置では、それほど複雑なマッピングは必要ないため、このような線形マッピングでも問題ない。目的関数zをXorg とXの差の絶対値として与え、特定の表示式にしたがって、これを最小化することで最適なマッピングを行うことができる。色域内の場合zの値は0となる。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、表示装置において色再現を改善する、線形計画法を用いた色変換方式に関する。
【背景技術】
【0002】
近年、高忠実色再現について幾つかの文献がみられる。すなわち、山口雅浩、羽石秀昭、大山永昭著による「スペクトルに基づく高色再現映像システム−ナチュラルビジョン」と題する第1の非特許文献(映像情報メディア学会技術報告、26巻、58号、7〜12頁、2002年)、および「ヒューマンパーセプションに基づく高詳細カラーマネージメントシステムの開発−その美術館、博物館収蔵品の記録再現への応用」と題する第2の非特許文献(平成8,9年度IPA独創的情報技術育成事業成果報告)によれば、電子商取引,デジタルアーカイブ,遠隔医療などの分野での高忠実色再現の重要性が指摘されている。
【非特許文献1】山口雅浩、羽石秀昭、大山永昭著 「スペクトルに基づく高色再現映像システム−ナチュラルビジョン」映像情報メディア学会技術報告、26巻、58号、7〜12頁、2002年
【非特許文献2】「ヒューマンパーセプションに基づく高詳細カラーマネージメントシステムの開発−その美術館、博物館収蔵品の記録再現への応用」平成8,9年度IPA独創的情報技術育成事業成果報告
【0003】
一方、色再現の精度を劣化させる原因の一つとして、表示装置の色域の狭さがある。均等色度図(UCS)において、HDTVの色域は人間の可視領域に比べて狭い。したがって、HDTVで表示可能な色の範囲は、可視領域に対して狭く表示域が充分でないことは明らかである。UCSの色度u’v’はxy色度よりも色度図上での距離と人間の感覚が均等であり、CIEXYZ表色系からUCS色度(u’,v’)への変換は式(1)で行なうことができる。
【0004】
u’=(4X)/(X+15Y+3Z)
v’=(9Y)/(X+15Y+3Z) (1)
【0005】
現在、HDTVよりも色域が広い表示装置の研究が行なわれてきている。ここでいう広色域表示装置とは、色度図上での再現範囲が広いだけでなく、最高輝度を低下させずに広色域の色を再現可能とする表示装置のことである。既存の装置のように三原色で広色域表示装置の開発を行なうためには、高彩度かつ高輝度な原色が必要である。一般に発光デバイスは彩度が高くなるにつれ発光効率は下がる。このため、三原色を使った広色域表示装置は効率の悪いものになる。これは次の2つの条件を満たす原色を用いることで解決できる。すなわち、高彩度だがそれほど高輝度でない原色、および、高輝度だがそれほど高彩度でない原色が必要となる。しかし、この場合、4つ以上の原色が必要になる。
【0006】
このような多原色カラー表示装置の一例として、多原色による広色域ディスプレイの一つであるオリンパス社製の6原色リア投射型表示装置を挙げることができる。原色を4つ以上用いることで、三原色の場合より効率のよい広色域表示装置が実現可能になる。しかし、原色が増えることで新たな問題も発生する。色変換の自由度もその一つである。既存の三原色表示装置では色の三刺激値XYZと三原色RGBは3対3の関係であるため変換に自由度は存在せず、ユニークに相互変換が可能である。しかし、原色の数が増えると三刺激値と原色が3対4以上の関係になるため、三刺激値から各原色の信号値の変換に自由度が発生し一意に変換を行なうことができない。これは、あるXYZを表示するための原色の組み合わせが複数存在するということを示している。このため、発光効率が悪い原色の組み合わせも存在してしまう。
【0007】
多原色表示装置を多色の発光体により実現しようとするものは、特許文献1記載の下平美文による「多原色ディスプレイ」として出願されている。この表示装置は、通常のRGBよりなる色度図上の三角形によって囲まれた範囲外に発光色を有する1種類以上の原色の発光セルを備え、これをマトリクス配列して構成したセルアレイを使って構成したものである。この多原色表示装置ではセルアレイが信号処理部と一体化して構成され、広い色域範囲のカラー画像信号を実効的に高エネルギー効率で表示できるようにしてある。
【特許文献1】特願2004−36936
【0008】
このように表示装置は加法混色により色再現を行っている。n原色表示装置において、出力される色の三刺激値X,Y,Zと、各原色の三刺激値
{(X1 ,Y1 ,Z1 ),(X2 ,Y2 ,Z2 ),・・・,(Xn ,Yn ,Zn )}
には以下の式(2)に記載する関係がある。例えば、非特許文献3を参照できる。
【非特許文献3】「International Color Consortium :“ICC Profile Specification Version 3.2 " 」1995(「国際カラーコンソーシアム,“ICCプロファイル仕様、第3.2版”」1995年)
【0009】
【数2】



(2)
【0010】
一方、ある原色nの三刺激値とそれに対応する入力信号値には以下の式(3)に記載の関係を仮定する。
【0011】
【数3】



(3)
【0012】
ただし、Xn ,Yn ,Zn は、最高輝度を出力した際の原色nの三刺激値であり、Sn は原色nに対する入力信号値である。Sn は0≦Sn ≦1の値を取るため、原色nの最高輝度を1で正規化した値と考えることができる。以降Sn を原色nの相対輝度と呼ぶことにする。(2)および(3)式をまとめ行列を用いて表すと、各原色の相対輝度値から三刺激値XYZの変換は次の式(4)で与えられる。
【0013】
【数4】



(4)
【0014】
さらに、式(4)よりXYZから各原色の相対輝度への変換は次の式(5)となる。
【0015】
【数5】



(5)
【0016】
ここで、式(5)において原色数が3の時、係数行列は正方行列となるため、逆行列が一意に決まり、問題なく変換を行うことができる。しかし原色数が4以上になると、係数が3*n(n>3)の行列になるため一意に逆行列を求めることができない。
【0017】
この問題に対処するための幾つかの研究が行われ、第4〜第6の非特許文献として発表されている。
【0018】
第4の非特許文献は寺地剛志,大澤健郎,山口雅浩,大山永昭著による「6原色ディスプレイを用いた等色実験」と題する論文(カラーフォーラムJAPAN 2001,97〜100頁 2001年)である。
この文献では、色再現にCIE−XYZ等色関数を用いず、観測者ごとに等色関数を使い分ける方法や、マルチスペクトルカメラで推定された分光放射輝度の形状を再現する方法を提案している。等色関数の次元数を表示装置の次元数に合わせることや、自由度がない分光放射輝度を再現することで一意に色変換を行うことができる。しかし、個人ごとに等色関数を測定したり、マルチスペクトルカメラを用いるのは現実的な方法ではない。
【非特許文献4】寺地剛志,大澤健郎,山口雅浩,大山永昭著「6原色ディスプレイを用いた等色実験」カラーフォーラムJAPAN 2001,97〜100頁 2001年
【0019】
第5の非特許文献はTakeyuki AJITO,Kenro OHSAWA,Takashi OBI,Masahiro YAMAGUCHI
and Nagaaki OHYAMA著による「Color Conversion Method for Multiprimary Display
Using Matrix Switching」と題する論文(Optical Review,Vol.8,No.3,pp.191-197(2001))(アジトタケユキ,オオサワケンロウ,オビタカシ,ヤマグチマサヒロ,オオヤマナガアキ著による「マトリックススイッテを使った多原色表示装置の色変換法」オプティカルレビュー誌,8巻,3号 191〜197頁(2001年))である。
この文献では、原色によって作られる色域を領域分割し優先順位をつけることで一意に色変換を行う方法を提案している。この方法は高速な変換を行うことができるという利点を持っているが、領域ごとの優先順位のみで自由度を解消しており、自由度の他の有効な利用法を考慮することができない。
【非特許文献5】Takeyuki AJITO,Kenro OHSAWA,Takashi OBI,Masahiro YAMAGUCHIand Nagaaki OHYAMA著「Color Conversion Method for Multiprimary Display UsingMatrix Switching」Optical Review,Vol.8,No.3,pp.191-197(2001)(アジトタケユキ,オオサワケンロウ,オビタカシ,ヤマグチマサヒロ,オオヤマナガアキ著「マトリックススイッテを使った多原色表示装置の色変換法」オプティカルレビュー誌,8巻,3号 191〜197頁(2001年))
【0020】
第6の非特許文献は、Hideto Motomura 著による 「Color conversion for a multi- primary display using linear interpolation on equi-luminance plane method (LIQUID)」と題する論文(Journal of the SID,11/2,pp.371-387(2003))(モトムラヒデオ著による「等輝度面上の線形内挿法を使った多原色表示装置の色変換」 SIDジャーナル誌,11巻,2号 371〜387頁(2003年))である。
この文献では、等輝度な3点による、線形補間法を用いることで、自由度がない変換を行うことができる。しかし、第5の非特許文献と同様に、自由度のほかの有効な利用法を考慮することができない。
【非特許文献6】Hideto Motomura 著「Color conversion for a multi-primarydisplay using linear interpolation on equi-luminance plane method (LIQUID)」Journal of the SID,11/2,pp.371-387(2003) (モトムラヒデオ著「等輝度面上の線形内挿法を使った多原色表示装置の色変換」 SIDジャーナル誌,11巻,2号 371〜387頁(2003年))
【0021】
このような自由度の解決法のひとつは下平美文,高矢昌紀の発明による第2の特許文献により示されている。
第2の特許文献では、多原色カラー表示装置において色再現性を向上するための4原色以上の多原色の色変換において、線形計画法を利用して発光セルの消費電力を最小化することにより多原色の値を一次元的に決定する。すなわち、多原色表示装置の多原色色変換において、多原色のマトリクス値を決定する際に消費電力を最小化するための線形計画法を適用し、色変換における多原色値の決定の自由度について、目的関数を消費電力とした線形計画問題に置き換えることにより、色再現性の向上と消費電力の最小化とを同時に達成できる多原色カラー表示装置の色変換方式を提供するものである。このように、線形計画法を用いることで、4原色以上の多原色表示装置における多原色の色変換には自由度が存在する。このため、色変換における自由度の問題を、目的関数を消費電力とした線形計画問題に置き換えることで、消費電力最小の組み合わせを探すことができた。これによって多原色表示装置において、消費電力を増加させずに色再現性を向上できる。
【特許文献2】特願2004−034312
【0022】
線形計画問題は制約条件下で目的関数zを最大、あるいは最小にする最適化問題であり、制約条件や目的関数が線形式として表される。この問題については、第7の非特許文献である坂和正敏著「線形システムの最適化<一目的から多目的へ>」,森北出版(1984)が参考となる。線形という条件の下で問題を代数的に扱うことができるため、非線形最適化問題に比べ単純に最適解を得ることができる。線形計画問題の標準形を式(6)に示す。
【非特許文献7】坂和正敏著「線形システムの最適化<一目的から多目的へ>」 森北出版 1984年
【0023】
最小化 z=c11 +c22 +・・・+cnn
目的関数 a111 +a122 +・・・+a1nn ±d1 =b1
211 +a222 +・・・+a2nn ±d2 =b2
・・・・・・
m11 +am22 +・・・+amnn ±dm =bm
0≦xj , di (j=1,2,・・・,n)
ji,cj :定数
(j=1,2,・・・,n:i=1,2,・・・,m)
(6)
【0024】
一方、線形計画法には次の2つの基本定理が与えられている。すなわち、
第1は「実行可能な解が存在するならば、必ず実行可能な基底解が存在する」、
第2は「最適解が存在するならば、実行可能な基底解の中にも最適解が存在する」というものである。
【0025】
この定理を用いることで有限回の組み合わせ探索により最適解を得ることができる。しかし、変数の数が増えると組み合わせの数が多くなり処理に時間がかかる。そこで用いるのがシンプレックス法である。シンプレックス法では、相対費用係数を用い最適性を判断することで線形計画法の基本定理を効率よく利用し最適解を得ることができる。
【0026】
次に、色変換における線形計画法について記述する。線形計画法を色変換に用いるには各原色の相対輝度値からXYZへの変換式ならびに相対輝度値のとりうる範囲を制約条件とし、何らかの目的関数を設定すればよい。色変換の問題を線形計画法の標準形に直したものを次の式(7)に示す。
【0027】
最小化 z=c11 +c22 +・・・+cnn
目的関数 X11 +X22 +・・・+Xnn =X
11 +Y22 +・・・+Ynn =Y
11 +Z22 +・・・+Znn =Z
0≦Sj ≦1 (j=1,2,・・・,n)
(7)
【0028】
式(6)と式(7)を比較すると、通常の線形計画問題と比べて2つの違いが存在する。1つは変数の取りうる範囲である。通常の線形計画問題は変数の取りうる範囲は
0≦xn であるが、色変換を行う上で、相対輝度の範囲は0≦Sn ≦1となっており、このままではシンプレックス法を適用することができない。これは、Sn ≦1に対し不足変数を導入し、Sn +α=1として制約条件に組み込んで解くか、上限法を用いることで対処可能である。この問題の参考書には、第8の非特許文献、すなわち、G.B. Dantzig著
「Upper bounds,secondary constraints and block triangularity in linear programming」 Econometrica,23, pp.174-183 (1955)(ジー.ビー.ダンツィッヒ著「線形プログラミングにおける上限、第2の制限、およびブロック三角形」エコノメトリカ,23巻,174〜183頁 1955年)がある。
【非特許文献8】G.B. Dantzig著 「Upper bounds,secondary constraints and block triangularity in linear programming」 Econometrica,23, pp.174-183 (1955)(ジー.ビー.ダンツィッヒ著「線形プログラミングにおける上限、第2の制限、およびブロック三角形」エコノメトリカ,23巻,174〜183頁 1955年)
【0029】
もう1つ、色変換の問題に不足/余裕変数(dj )が存在しないという違いがある。通常の線形計画法では不足/余裕変数を非基底変数(=0)とすることで、初期実行可能基底解を求め、それを用いてシンプレックス法を進めていく。色変換で用いる線形計画法では、不足/余裕変数がないうえに、変数に上限値が与えられているため、0と1の、2種類の非基底変数の様々な組み合わせを探さなければならず、初期実行可能基底解を探すことが困難になる。このためには、2段階シンプレックス法を用いる必要がある。2段階シンプレックス法は、第一段階で初期実行可能基底解を見つけるか、あるいは存在しないという情報を得る。第二段階で初期実行可能基底解から最適解を見つけるか、あるいは解が有界ではない(どこまでも小さい解がある)という情報を得る。
【0030】
次に、消費電力を考慮した色変換について記述する。上述により制約条件が決まったため、あとは目的関数さえ与えれば色変換を行うことができる。多原色の色変換には自由度が存在するため、自発光型の表示装置では、消費電力を大きくする原色の組み合わせも存在する。線型計画法を用いて消費電力を最小にする原色の値を求めるには、原色nの相対輝度Sn と消費電力Pn を次の式(8)のような線形式で表さなければならない。また、式(8)を満たす多原色表示装置の消費電力は式(9)となる。
【0031】
n =cn ×Sn (8)
【0032】
1 +P2 +・・・+Pn =c11 +c22 +・・・+cnn (9)
【0033】
上述の式(9)は式(7)の目的関数zと一致する。実際に消費電力が式(9)のような線形式となる階調制御の一方法として時間階調制御がある。また、その他の制御方法も非線形ではあるが、消費電力が高くなるにつれ、輝度も高くなるという特徴を持っている。線形計画法において目的関数の精度がそれほど正確でなくとも得られる基底解は制約条件を満たしている。このため、たとえ相対輝度と消費電力の関係を式(8)として近似しても、それほど問題はない。
【発明の開示】
【発明が解決しようとする課題】
【0034】
このような多原色表示装置に対する上述の色変換方式で、さらに色域外に色データが存在する場合には、表示色が決定されないため画像に対して自然な色再現が損なわれるという課題があり、これを線形計画問題として解くことにより表示色を決定することにある。
【課題を解決するための手段】
【0035】
課題を解決するため、本発明では入力三刺激値と画像中の白色点の色度値とを通る直線に沿って、輝度一定で色度を下げるマッピングを行うことにより課題を解決し、色域外に色データが多く含まれた画像に対して自然な色再現が可能な色変換方式を提供する。
【発明の効果】
【0036】
線形計画法を用いることで、4原色以上の多原色表示装置における多原色の色変換には自由度が存在する。そこで、線形計画法にもとづくマッピングにより色域外の色データを色変換して色域内に入れるため、色域外の色データが多く含まれた画像に対して自然な色再現が可能になるという効果がある。
【発明を実施するための最良の形態】
【0037】
色域外の色データが入力された場合、本発明を適用していないならば、制御は解が存在しないという情報と途中経過のデータを返す。このデータは測色的に意味を持たないためマッピングに利用できない。この場合、
「第1に色変換を行う。色域内だったら終了する。」、
「第2に色域外ならばマッピングを行う。」、
「第3に再度、色変換を行う。」の3つの手順で処理を行うと仮定する。
【0038】
前記第1および第3の手順では、初期解が必要なため、変換を行う毎にシンプレックス法を2回行う。このため、この方法では計4回のシンプレックス法が必要になる。シンプレックス法のアルゴリズムを図1に示す。また、マッピングも行うためさらに計算量は増える。そこで、マッピングと色変換を一つの線形計画問題として解く方法を新たに採用する。このときの制約条件と目的関数は式(10)として表すことができる。
【0039】
最小化 z=│(X−Xorg )│
目的関数 X11 +X22 +・・・+Xnn −X =0
11 +Y22 +・・・+Ynn =Yorg
11 +Z22 +・・・+Znn −Z =0
(X−Xorg )/(Xw −Xorg )=(Z−Zorg )/(Zw −Zorg
w =(xw /yw )*Yorg
w ={(1−xw −yw )/yw }*Yorg
w ≦X≦Xorg if(Xw ≦Xorg
org ≦X≦Xw if(Xw >Xorg
0≦Sj ≦1 (j=1,2,・・・,n)
(10)
【0040】
上述の式(10)で、Xorg ,Yorg ,Zorg は入力三刺激値、xw ,yw は画像中の白色点のxy色度値である。X,Y,ZはXorg ,Yorg ,Zorg と、Xw ,Yorg ,Zw の2点を通る直線上にある。この直線に沿って、輝度一定で色度を下げるマッピングを行う。もともと色域が広い表示装置では、それほど複雑なマッピングは必要ないため、このような線形マッピングでも問題ない。目的関数zはXorg とXの差の絶対値として与え、これを最小化することで最適なマッピングを行うことができる。色域内の場合zの値は0となる。
【0041】
この方法を用いることで、色域マッピングと色変換を同時に行うことができる。しかし、この方法では発光効率を考慮することができない。そこで、以下の手順で色変換を行う。
(1)マッピングと色変換を行う
(2)(1)の結果を用いて、発光効率を考慮した色変換を行う
【0042】
本手法ではマッピングと色変換を一つの線形計画問題として扱っており、単独で2つの計算を行うより効率的である。また、線形計画法を2回行っているが、最初の計算によって手順(2)の初期実行可能基底解が得られるため、手順(2)では2段階法を用いる必要がなく速度の向上が図れる。
【実施例】
【0043】
以上のことを確認するために、具体的な色変換方式の一実施例を構成し、上述のマッピングによる改善の様子を調べた。すなわち、上述の方法を用いて6原色リア投射型表示装置を対象にXYZ画像の色変換を行った。この表示装置の色域は図2の通りである。本装置は、プロジェクタを用いておりランプの消費電力は一定であるため、実際の消費電力について検討することができない。そこで、すべての原色で発光効率は線形かつ等しいと仮定し上述の手法の有効性をシミュレーションする。この場合、上述の手順(2)の目的関数の係数はすべて1となる。なお、撮影に用いた装置はXYZ画像を出力可能な16バンドマルチスペクトルカメラであり、用いた画像は高彩度な布を撮影したものである。
【0044】
図3および図4に、XYZ画像を変換し表示装置に出力させた画像をディジタルカメラで撮影したものを示す。ただし、図3はマッピングなしの画像であり、色域外のデータは白となっている。一方、図4はマッピングを行った画像である。両者を比較すると、色変換ならびにマッピングが問題なく行われていることが確認できた。
【0045】
多原色表示装置における色変換では、ある色X,Y,Zを出すための原色の組み合わせが複数存在する。すべての組み合わせで出力されるXYZの理論値は変わらない。しかし、実際の表示装置に適用した場合、経時変化や量子化誤差の影響により原色の組み合わせ毎に値は異なる。このため、画像中に滑らかに色調が変化する部分があると、擬似輪郭が発生する恐れがある。多原色を用いているため、どのような変換法であっても少なからず擬似輪郭の影響は受ける。
【0046】
線形計画法では、目的関数が各原色の信号値の一次式で与えられるため、信号値が1を超えない範囲では、同じ色度の色に対し、各原色の信号値の比は一定となる。このため、擬似輪郭の影響は、本手法を用いて表示装置に色度図を描くことである程度確認することができる。変換し表示させた色度図をディジタルカメラで撮影したものを図5に示す。一部擬似輪郭が見えるが、ほぼ滑らかに再現ができていることが確認できた。これは、信号値の線形式として目的関数を与えることで、三刺激値の変化に対し、各原色の信号値の割合に何らかの傾向が出るためであろう。
【産業上の利用可能性】
【0047】
本発明による多原色表示装置に対する色変換方式は、多原色表示装置の色再現の最適化計画および装置の効率化の計画に広く利用できる。
【図面の簡単な説明】
【0048】
【図1】シンプレックス法のアルゴリズム流れ図である。
【図2】一様な尺度を持った色度図上の各色範囲領域を示す図である。
【図3】マッピングを行わないときの多原色表示装置での出力結果を示す画像である。
【図4】マッピングを行った時の多原色表示装置での出力結果を示す画像である。
【図5】多原色表示装置の色度において、主に輪郭が目立つ部分を示す画像である。
【符号の説明】
【0049】
なし

【特許請求の範囲】
【請求項1】
org ,Yorg ,Zorg を入力三刺激値、xw ,yw を画像中の白色点のxy色度値とし、かつX,Y,ZをXorg ,Yorg ,Zorg と、Xw ,Yorg ,Zw の2点を通る直線上にあるとしたとき、目的関数zをXorg とXの差の絶対値として与える目的関数生成手段と、これを最小化することにより下記表示式にしたがう最適マッピングを行う最適マッピング処理手段を具備した多原色表示装置に対する色変換方式。

11 +X22 +・・・+Xnn −X =0
11 +Y22 +・・・+Ynn =Yorg
11 +Z22 +・・・+Znn −Z =0
(X−Xorg )/(Xw −Xorg )=(Z−Zorg )/(Zw −Zorg
w =(xw /yw )*Yorg
w ={(1−xw −yw )/yw }*Yorg
w ≦X≦Xorg if(Xw ≦Xorg
org ≦X≦Xw if(Xw >Xorg
0≦Sj ≦1 (j=1,2,・・・,n)

【図1】
image rotate



【図2】
image rotate



【図3】
image rotate



【図4】
image rotate



【図5】
image rotate


【公開番号】特開2005−322960(P2005−322960A)
【公開日】平成17年11月17日(2005.11.17)
【国際特許分類】
【出願番号】特願2004−137112(P2004−137112)
【出願日】平成16年5月6日(2004.5.6)
【新規性喪失の例外の表示】特許法第30条第1項適用申請有り 2004年2月5日 社団法人電子情報通信学会発行の「電子情報通信学会技術研究報告 信学技報 Vol.108 No.649」に発表
【出願人】(304023318)国立大学法人静岡大学 (416)
【Fターム(参考)】