３次元仮想現実を表示するシステム及び方法
【課題】 ３次元仮想現実画像を出力表示するときに色順応を自然に表現する。
【解決手段】 ３次元仮想現実画像の表示において、画像を入力し、また、照明条件を入力する。時間経過を表わすパラメータを含む色順応予測式を用いて、照明条件の変化に順応する途中の対応色を連続的に予測し、予測した対応色を用いて画像を連続的に補正して表示する。
【解決手段】 ３次元仮想現実画像の表示において、画像を入力し、また、照明条件を入力する。時間経過を表わすパラメータを含む色順応予測式を用いて、照明条件の変化に順応する途中の対応色を連続的に予測し、予測した対応色を用いて画像を連続的に補正して表示する。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】本発明は、カラーマッチング技術、より詳細には、仮想現実環境における画像表示に関する。
【０００２】
【従来の技術】環境光の違いにより、色の見え方は異なる。このため、撮像装置などで撮影するとき、環境光が違うと物体などの色も違う色に写る。しかし、人間の視覚は環境の違いによる色の見え方の違いを補正しながら見ている。このため、環境が違っても白いものは白く、他の色もその色に見えるが、色の見え方は少しずつ異なる。また、ＣＲＴや液晶ディスプレイなどの自己発光型ディスプレイに対しては、人間の目は順応しにくく、完全には順応しないことが報告されている。
【０００３】
【発明が解決しようとする課題】環境の違いによる色の見え方の違いをなくすため、色補正において、人間の色順応を予測して、順応後の色を求めて利用することが提案されている。たとえば、特開平９−１７８５６１号公報に記載されたシミュレーション・システムにおいては、標準色票の分光反射率データから三刺激値を計算し、任意の照明条件下での視対象の三刺激値を求める。ここで、対応色を予測して、照度に応じて補正をかける。また、特開平７−２２２１９６号公報に記載された画像処理においては、ソフトコピー画像（ＣＲＴなどの自己発光型デバイスでの出力画像）とハードコピー画像（プリンタなどの印刷物）との色の見えを一致させるため、画像データを入出力機器に依存しない表色系に変換してマッピングを行い、さらに、色順応を考慮して、たとえば、実験的に求めた順応比例係数を用いて補正する。これらは、順応結果を予測して表示を行うものである。
【０００４】たとえばヘッド・マウント・ディスプレイ（ＨＭＤ）などを用いた３次元仮想現実（ＶＲ）の画像においては、場所的にも時間的にも変化する視野を表示する。ここで、色順応が起こる状況を表示することもある。たとえば、トンネルの中から外に出るときである。また、建物の内部の全体に３次元仮想現実の画像を表示する場合にも、時間的に照明環境が変化する状況を表示することがある。そのような場合は、順応結果だけでなく、順応途中の経過を表現すると、より自然で現実的な画像が再現され、望ましいと思われる。しかし、従来は、このような観点で３次元仮想現実の画像を表示するものはなかった。
【０００５】この発明は、３次元仮想現実画像を表示するときに色順応を自然に表現することを目的とする。
【０００６】
【課題を解決するための手段】本発明に係る画像表示システムは、３次元仮想現実画像を入力する画像入力手段と、照明条件を入力する照明条件入力手段と、時間経過を表わすパラメータを含む色順応予測式を用いて、照明条件の変化に順応する途中の対応色を連続的に予測し、予測した対応色を用いて画像を連続的に補正する画像処理手段と、画像処理手段において処理された画像を表示する表示手段とからなる。好ましくは、前記の画像表示システムにおいて、時間経過を表わすパラメータとして複数の時間変化のいずれかが設定可能である。また、好ましくは、前記の画像表示システムにおいて、少なくとも前記の画像処理手段と表示手段が一体化されている。
【０００７】本発明に係る画像表示方法は、３次元仮想現実画像を入力するステップと、照明条件を入力するステップと、時間経過を表わすパラメータを含む色順応予測式を用いて、照明条件の変化に順応する途中の対応色を連続的に予測するステップと、予測した対応色を用いて画像を連続的に補正して表示するステップとからなる。
【０００８】本発明に係るコンピュータ読み取り可能な記録媒体は、３次元仮想現実画像を入力するステップと、照明条件を入力するステップと、時間経過を表わすパラメータを含む色順応予測式を用いて、照明条件の変化に順応する途中の対応色を連続的に予測するステップと、予測した対応色を用いて画像を連続的に補正して表示装置に表示させるステップとからなる画像表示プログラムを記録する。
【０００９】
【発明の実施の形態】以下、添付の図面を参照して本発明の実施の形態を説明する。図１は、３次元仮想現実（ＶＲ）の画像を表示するシステムを図式的に示す。カメラなどの外部画像ソース１０から画像データが通信手段１２を介して画像生成装置２０に送信される。画像生成装置２０において、通信手段２２を介して制御部２４が画像データを受け取る。画像処理部２６は、この画像データを制御部２４を介して受け取り、３次元仮想現実の画像データを生成し、通信手段２８を介して表示装置４０に送る。表示装置４０は、３次元仮想現実の画像を表示するものであり、たとえばヘッド・マウント・ディスプレイである。また、制御部２２は、入力手段３０を介してユーザーから各種の指示などを受け取る。表示装置４０は、通信手段４２を介して画像データを受け取り、表示手段４４に表示する。
【００１０】次に、画像生成装置２０における色順応の再現について説明する。画像生成装置２０は、環境が変化するときの順応途中の経過（色順応）を時間的に連続して再現する。順応予測には、後で説明するように、ＣＩＥの色順応式において、時間的な経過を表わすため、式中のρ0及びρ0’をパラメータαに置き換えて色順応予測式として用いる。ここで、パラメータαを、０（順応前）＜α＜１（完全順応） （１）
として変化させて、時間経過を表示する。順応が完了した後はαの最終値に固定して画像を表示する。この最終値は、１ではなく、適当な値（たとえば０.５）でとめてもよい。
【００１１】変化の仕方については、たとえば、以下の図２、図３、図４の場合を用意し、状況に応じ適当なものを選択する。図２の場合は、αは時間と共に直線的に変化する。図３の場合は、αは時間とともに初めは急に変化するが、変化はしだいに緩やかになる。図４の場合は、αは時間とともに初めは緩やかに変化するが、変化はしだいに急になる。
【００１２】図５は、画像生成装置２０の画像処理部２６による画像生成処理のフローを示す。ここで、環境変化に対応する色順応を再現するため、表示を時間経過に対応して補正する。まず、外部画像ソース１０からの画像の入力を開始する（Ｓ１０）。ここで、照明条件も入力する（Ｓ１２）。照明環境が変化するとき（たとえばトンネルの中から外に出るとき）、色温度が変化するので、これに対応する照明条件を設定する。照明条件には、パラメータαの時間依存性を含む。また、複数の時間依存性（たとえば図２、図３、図４参照）の中から選択できるようにしてもよい。
【００１３】次に、以下の色順応予測式（２）〜（５）を用いて、順応前の赤、緑、青の色データＲ，Ｇ，Ｂから順応中のＲ'，Ｇ'，Ｂ'を求め、対応色を予測する（Ｓ１４）。ここで、パラメータαを、初期値０から、たとえば図２のように変化させて、時間経過に対応するＲ'，Ｇ'，Ｂ'を求める。α＝０のときは、Ｒ'＝Ｒ，Ｇ'＝Ｇ，Ｂ'＝Ｂである。
【数１】
【数２】
【数３】
ここに、ξ、η、ζは、順応前（たとえばトンネル内）の照明光の色度ｘ、ｙ、ｚの関数である。また、ξ'、η'、ζ' は、パラメータαの変化に対応する照明光の色度ｘ'、ｙ'、ｚ' の関数である。
ξ＝( ０.４８１０５ｘ＋０.７８８４１ｙ−０.０８０８１)／ｙ η＝(−０.２７２００ｘ＋１.１１９６２ｙ＋０.０４５７０)／ｙ （３）
ζ＝ ０.９１８２２(１−ｘ−ｙ)／ｙ ξ'＝( ０.４８１０５ｘ'＋０.７８８４１ｙ'−０.０８０８１)／ｙ' η'＝(−０.２７２００ｘ'＋１.１１９６２ｙ'＋０.０４５７０)／ｙ' （４）
ζ'＝ ０.９１８２２(１−ｘ'−ｙ')／ｙ'また、非線形変化のべきＰｒ，Ｐｇ，Ｐｂは式（５）で定義される。
【数４】
【数５】
【数６】
式（５）において、Ｒ0，Ｇ0，Ｂ0，Ｒ0'、Ｇ0'，Ｂ0'は式（６）から得られる。ここにＥ、Ｅ’はルクス単位で表わした照度である。
【数７】
【数８】
【００１４】次に、予測されたＲ'，Ｇ'，Ｂ'に対応して画像を補正し（Ｓ１６）、補正した画像を表示装置４０に表示する（Ｓ１８）。次に、パラメータαが最終値（たとえば０.５）であるかを判断し、最終値でなければ（Ｓ２０でＮＯ）、αをインクリメントして（Ｓ２２）、ステップＳ１４に戻り、色順応のための補正を続ける。こうして、色順応の途中経過の画像を表示する。αの最終値（順応完了）であれば、最終値に固定して表示をおこなう（Ｓ２４）。
【００１５】図６は、表示装置として一体化された装置を示す。入力手段１００において入力された３次元仮想現実画像は、制御装置１０２を介して、画像処理部１０４に送られる。また、入力手段１００において照明条件が設定される。画像処理部１０４は画像データを処理し、表示手段１０６に表示する。ここで、照明環境が変わる場合、画像処理部１０４は、上述の色順応予測式を用いて、時間経過を考慮して画像再現することによって色順応を再現する。
【００１６】
【発明の効果】時間経過を考慮して画像を表示することによって色順応を再現するため、３次元仮想現実画像のリアリティが高められる。
【図面の簡単な説明】
【図１】 ３次元仮想現実（ＶＲ）の画像を表示するシステムのブロック図
【図２】 パラメータの時間変化の１例を示すグラフ
【図３】 パラメータの時間変化の別の例を示すグラフ
【図４】 パラメータの時間変化のさらに別の例を示すグラフ
【図５】 画像生成処理のフローチャート
【図６】 ３次元仮想現実（ＶＲ）の画像を表示する別のシステムのブロック図
【符号の説明】
１０ 外部画像ソース、 ２０ 画像生成装置、 ２４ 制御部、 ２６ 画像処理部、 ３０ 入力手段、 ４０ 表示装置、 １００ 入力手段、 １０２ 制御装置、 １０４ 画像処理部、 １０６ 表示手段。
【０００１】
【発明の属する技術分野】本発明は、カラーマッチング技術、より詳細には、仮想現実環境における画像表示に関する。
【０００２】
【従来の技術】環境光の違いにより、色の見え方は異なる。このため、撮像装置などで撮影するとき、環境光が違うと物体などの色も違う色に写る。しかし、人間の視覚は環境の違いによる色の見え方の違いを補正しながら見ている。このため、環境が違っても白いものは白く、他の色もその色に見えるが、色の見え方は少しずつ異なる。また、ＣＲＴや液晶ディスプレイなどの自己発光型ディスプレイに対しては、人間の目は順応しにくく、完全には順応しないことが報告されている。
【０００３】
【発明が解決しようとする課題】環境の違いによる色の見え方の違いをなくすため、色補正において、人間の色順応を予測して、順応後の色を求めて利用することが提案されている。たとえば、特開平９−１７８５６１号公報に記載されたシミュレーション・システムにおいては、標準色票の分光反射率データから三刺激値を計算し、任意の照明条件下での視対象の三刺激値を求める。ここで、対応色を予測して、照度に応じて補正をかける。また、特開平７−２２２１９６号公報に記載された画像処理においては、ソフトコピー画像（ＣＲＴなどの自己発光型デバイスでの出力画像）とハードコピー画像（プリンタなどの印刷物）との色の見えを一致させるため、画像データを入出力機器に依存しない表色系に変換してマッピングを行い、さらに、色順応を考慮して、たとえば、実験的に求めた順応比例係数を用いて補正する。これらは、順応結果を予測して表示を行うものである。
【０００４】たとえばヘッド・マウント・ディスプレイ（ＨＭＤ）などを用いた３次元仮想現実（ＶＲ）の画像においては、場所的にも時間的にも変化する視野を表示する。ここで、色順応が起こる状況を表示することもある。たとえば、トンネルの中から外に出るときである。また、建物の内部の全体に３次元仮想現実の画像を表示する場合にも、時間的に照明環境が変化する状況を表示することがある。そのような場合は、順応結果だけでなく、順応途中の経過を表現すると、より自然で現実的な画像が再現され、望ましいと思われる。しかし、従来は、このような観点で３次元仮想現実の画像を表示するものはなかった。
【０００５】この発明は、３次元仮想現実画像を表示するときに色順応を自然に表現することを目的とする。
【０００６】
【課題を解決するための手段】本発明に係る画像表示システムは、３次元仮想現実画像を入力する画像入力手段と、照明条件を入力する照明条件入力手段と、時間経過を表わすパラメータを含む色順応予測式を用いて、照明条件の変化に順応する途中の対応色を連続的に予測し、予測した対応色を用いて画像を連続的に補正する画像処理手段と、画像処理手段において処理された画像を表示する表示手段とからなる。好ましくは、前記の画像表示システムにおいて、時間経過を表わすパラメータとして複数の時間変化のいずれかが設定可能である。また、好ましくは、前記の画像表示システムにおいて、少なくとも前記の画像処理手段と表示手段が一体化されている。
【０００７】本発明に係る画像表示方法は、３次元仮想現実画像を入力するステップと、照明条件を入力するステップと、時間経過を表わすパラメータを含む色順応予測式を用いて、照明条件の変化に順応する途中の対応色を連続的に予測するステップと、予測した対応色を用いて画像を連続的に補正して表示するステップとからなる。
【０００８】本発明に係るコンピュータ読み取り可能な記録媒体は、３次元仮想現実画像を入力するステップと、照明条件を入力するステップと、時間経過を表わすパラメータを含む色順応予測式を用いて、照明条件の変化に順応する途中の対応色を連続的に予測するステップと、予測した対応色を用いて画像を連続的に補正して表示装置に表示させるステップとからなる画像表示プログラムを記録する。
【０００９】
【発明の実施の形態】以下、添付の図面を参照して本発明の実施の形態を説明する。図１は、３次元仮想現実（ＶＲ）の画像を表示するシステムを図式的に示す。カメラなどの外部画像ソース１０から画像データが通信手段１２を介して画像生成装置２０に送信される。画像生成装置２０において、通信手段２２を介して制御部２４が画像データを受け取る。画像処理部２６は、この画像データを制御部２４を介して受け取り、３次元仮想現実の画像データを生成し、通信手段２８を介して表示装置４０に送る。表示装置４０は、３次元仮想現実の画像を表示するものであり、たとえばヘッド・マウント・ディスプレイである。また、制御部２２は、入力手段３０を介してユーザーから各種の指示などを受け取る。表示装置４０は、通信手段４２を介して画像データを受け取り、表示手段４４に表示する。
【００１０】次に、画像生成装置２０における色順応の再現について説明する。画像生成装置２０は、環境が変化するときの順応途中の経過（色順応）を時間的に連続して再現する。順応予測には、後で説明するように、ＣＩＥの色順応式において、時間的な経過を表わすため、式中のρ0及びρ0’をパラメータαに置き換えて色順応予測式として用いる。ここで、パラメータαを、０（順応前）＜α＜１（完全順応） （１）
として変化させて、時間経過を表示する。順応が完了した後はαの最終値に固定して画像を表示する。この最終値は、１ではなく、適当な値（たとえば０.５）でとめてもよい。
【００１１】変化の仕方については、たとえば、以下の図２、図３、図４の場合を用意し、状況に応じ適当なものを選択する。図２の場合は、αは時間と共に直線的に変化する。図３の場合は、αは時間とともに初めは急に変化するが、変化はしだいに緩やかになる。図４の場合は、αは時間とともに初めは緩やかに変化するが、変化はしだいに急になる。
【００１２】図５は、画像生成装置２０の画像処理部２６による画像生成処理のフローを示す。ここで、環境変化に対応する色順応を再現するため、表示を時間経過に対応して補正する。まず、外部画像ソース１０からの画像の入力を開始する（Ｓ１０）。ここで、照明条件も入力する（Ｓ１２）。照明環境が変化するとき（たとえばトンネルの中から外に出るとき）、色温度が変化するので、これに対応する照明条件を設定する。照明条件には、パラメータαの時間依存性を含む。また、複数の時間依存性（たとえば図２、図３、図４参照）の中から選択できるようにしてもよい。
【００１３】次に、以下の色順応予測式（２）〜（５）を用いて、順応前の赤、緑、青の色データＲ，Ｇ，Ｂから順応中のＲ'，Ｇ'，Ｂ'を求め、対応色を予測する（Ｓ１４）。ここで、パラメータαを、初期値０から、たとえば図２のように変化させて、時間経過に対応するＲ'，Ｇ'，Ｂ'を求める。α＝０のときは、Ｒ'＝Ｒ，Ｇ'＝Ｇ，Ｂ'＝Ｂである。
【数１】
【数２】
【数３】
ここに、ξ、η、ζは、順応前（たとえばトンネル内）の照明光の色度ｘ、ｙ、ｚの関数である。また、ξ'、η'、ζ' は、パラメータαの変化に対応する照明光の色度ｘ'、ｙ'、ｚ' の関数である。
ξ＝( ０.４８１０５ｘ＋０.７８８４１ｙ−０.０８０８１)／ｙ η＝(−０.２７２００ｘ＋１.１１９６２ｙ＋０.０４５７０)／ｙ （３）
ζ＝ ０.９１８２２(１−ｘ−ｙ)／ｙ ξ'＝( ０.４８１０５ｘ'＋０.７８８４１ｙ'−０.０８０８１)／ｙ' η'＝(−０.２７２００ｘ'＋１.１１９６２ｙ'＋０.０４５７０)／ｙ' （４）
ζ'＝ ０.９１８２２(１−ｘ'−ｙ')／ｙ'また、非線形変化のべきＰｒ，Ｐｇ，Ｐｂは式（５）で定義される。
【数４】
【数５】
【数６】
式（５）において、Ｒ0，Ｇ0，Ｂ0，Ｒ0'、Ｇ0'，Ｂ0'は式（６）から得られる。ここにＥ、Ｅ’はルクス単位で表わした照度である。
【数７】
【数８】
【００１４】次に、予測されたＲ'，Ｇ'，Ｂ'に対応して画像を補正し（Ｓ１６）、補正した画像を表示装置４０に表示する（Ｓ１８）。次に、パラメータαが最終値（たとえば０.５）であるかを判断し、最終値でなければ（Ｓ２０でＮＯ）、αをインクリメントして（Ｓ２２）、ステップＳ１４に戻り、色順応のための補正を続ける。こうして、色順応の途中経過の画像を表示する。αの最終値（順応完了）であれば、最終値に固定して表示をおこなう（Ｓ２４）。
【００１５】図６は、表示装置として一体化された装置を示す。入力手段１００において入力された３次元仮想現実画像は、制御装置１０２を介して、画像処理部１０４に送られる。また、入力手段１００において照明条件が設定される。画像処理部１０４は画像データを処理し、表示手段１０６に表示する。ここで、照明環境が変わる場合、画像処理部１０４は、上述の色順応予測式を用いて、時間経過を考慮して画像再現することによって色順応を再現する。
【００１６】
【発明の効果】時間経過を考慮して画像を表示することによって色順応を再現するため、３次元仮想現実画像のリアリティが高められる。
【図面の簡単な説明】
【図１】 ３次元仮想現実（ＶＲ）の画像を表示するシステムのブロック図
【図２】 パラメータの時間変化の１例を示すグラフ
【図３】 パラメータの時間変化の別の例を示すグラフ
【図４】 パラメータの時間変化のさらに別の例を示すグラフ
【図５】 画像生成処理のフローチャート
【図６】 ３次元仮想現実（ＶＲ）の画像を表示する別のシステムのブロック図
【符号の説明】
１０ 外部画像ソース、 ２０ 画像生成装置、 ２４ 制御部、 ２６ 画像処理部、 ３０ 入力手段、 ４０ 表示装置、 １００ 入力手段、 １０２ 制御装置、 １０４ 画像処理部、 １０６ 表示手段。
【特許請求の範囲】
【請求項１】 ３次元仮想現実画像を入力する画像入力手段と、照明条件を入力する照明条件入力手段と、時間経過を表わすパラメータを含む色順応予測式を用いて、照明条件の変化に順応する途中の対応色を連続的に予測し、予測した対応色を用いて画像を連続的に補正する画像処理手段と、画像処理手段において処理された画像を表示する表示手段とからなる画像表示システム。
【請求項２】 時間経過を表わすパラメータとして、複数の時間変化が設定可能である請求項１に記載された画像表示システム。
【請求項３】 少なくとも前記の画像処理手段と表示手段が一体化されていることを特徴とする請求項１に記載された画像表示システム。
【請求項４】 ３次元仮想現実画像を入力するステップと、照明条件を入力するステップと、時間経過を表わすパラメータを含む色順応予測式を用いて、照明条件の変化に順応する途中の対応色を連続的に予測するステップと、予測した対応色を用いて画像を連続的に補正して表示するステップとからなる画像表示方法。
【請求項５】 ３次元仮想現実画像を入力するステップと、照明条件を入力するステップと、時間経過を表わすパラメータを含む色順応予測式を用いて、照明条件の変化に順応する途中の対応色を連続的に予測するステップと、予測した対応色を用いて画像を連続的に補正して表示装置に表示させるステップとからなる画像表示プログラムを記録したコンピュータ読み取り可能な記録媒体。
【請求項１】 ３次元仮想現実画像を入力する画像入力手段と、照明条件を入力する照明条件入力手段と、時間経過を表わすパラメータを含む色順応予測式を用いて、照明条件の変化に順応する途中の対応色を連続的に予測し、予測した対応色を用いて画像を連続的に補正する画像処理手段と、画像処理手段において処理された画像を表示する表示手段とからなる画像表示システム。
【請求項２】 時間経過を表わすパラメータとして、複数の時間変化が設定可能である請求項１に記載された画像表示システム。
【請求項３】 少なくとも前記の画像処理手段と表示手段が一体化されていることを特徴とする請求項１に記載された画像表示システム。
【請求項４】 ３次元仮想現実画像を入力するステップと、照明条件を入力するステップと、時間経過を表わすパラメータを含む色順応予測式を用いて、照明条件の変化に順応する途中の対応色を連続的に予測するステップと、予測した対応色を用いて画像を連続的に補正して表示するステップとからなる画像表示方法。
【請求項５】 ３次元仮想現実画像を入力するステップと、照明条件を入力するステップと、時間経過を表わすパラメータを含む色順応予測式を用いて、照明条件の変化に順応する途中の対応色を連続的に予測するステップと、予測した対応色を用いて画像を連続的に補正して表示装置に表示させるステップとからなる画像表示プログラムを記録したコンピュータ読み取り可能な記録媒体。
【図２】
【図３】
【図４】
【図６】
【図１】
【図５】
【図３】
【図４】
【図６】
【図１】
【図５】
【公開番号】特開２００２−９２６５５（Ｐ２００２−９２６５５Ａ）
【公開日】平成１４年３月２９日（２００２．３．２９）
【国際特許分類】
【出願番号】特願２０００−２８５１８３（Ｐ２０００−２８５１８３）
【出願日】平成１２年９月２０日（２０００．９．２０）
【出願人】（０００００６０７９）ミノルタ株式会社 (155)
【Ｆターム（参考）】
【公開日】平成１４年３月２９日（２００２．３．２９）
【国際特許分類】
【出願日】平成１２年９月２０日（２０００．９．２０）
【出願人】（０００００６０７９）ミノルタ株式会社 (155)
【Ｆターム（参考）】
[ Back to top ]