センサ特性シミュレーション装置及びプログラム並びに視覚特性シミュレーション装置及びプログラム
【課題】センサの性能評価を容易に行う。
【解決手段】シミュレーション装置は、仮想環境の光源の照明特性を設定する照明設定部１と、設定された光源の照明特性と、仮想環境を３次元で描画するための３次元環境データと、に基づいて、光源の照明特性が反映された仮想環境を２次元で描画するための２次元環境データを生成する２次元環境データ生成部２と、仮想環境の状態を検出するカメラの特性を設定するカメラ特性設定部３と、生成された２次元環境データとカメラ特性設定部３により設定されたカメラの特性とに基づいて、カメラが仮想環境の状態を検出したときの検出データを生成する画像変換部４と、を備えている。
【解決手段】シミュレーション装置は、仮想環境の光源の照明特性を設定する照明設定部１と、設定された光源の照明特性と、仮想環境を３次元で描画するための３次元環境データと、に基づいて、光源の照明特性が反映された仮想環境を２次元で描画するための２次元環境データを生成する２次元環境データ生成部２と、仮想環境の状態を検出するカメラの特性を設定するカメラ特性設定部３と、生成された２次元環境データとカメラ特性設定部３により設定されたカメラの特性とに基づいて、カメラが仮想環境の状態を検出したときの検出データを生成する画像変換部４と、を備えている。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、センサ特性シミュレーション装置及びプログラム並びに視覚特性シミュレーション装置及びプログラムに関する。
【背景技術】
【０００２】
照明空間の設計を行う場合、依頼者の要求と設計者のイメージとの隔たりを埋める必要がある。そこで、一般には、コンピュータグラフィックス（ＣＧ）を使ったシミュレーションが行われる。
【０００３】
従来、特別なソフトウェアを使用することなく、照明の質感や空間全体をリアルに表現できる照明空間シミュレーションシステムが提案されている（特許文献１を参照）。特許文献１では、同公報の図２に示すように、クライアント１は、設計情報を入力する設計情報入力部１１と、入力された設計情報サーバ３へ送信する動作指定部１４と、サーバ３からの画像データを画面に表示する表示部１５と、を備えている。
【０００４】
また、サーバ３は、設計情報に対応付けられた設備器具情報を記憶するデータベース３２と、設備器具情報を３次元変換してクライアント１に送信する３次元変換部３３と、クライアント１からの指示により照度計算結果データを返信する照度計算部３４と、最終的な設計情報が入力された段階で照明空間画像データを計算するレンダリング部３５と、を備えている。これにおり、クライアント１は、サーバ３で計算された照度空間画像データを画面に表示するので、特別なソフトウェアを使用することなく、照度分布を得ることができる。
【特許文献１】特開２００２−２５１６３３号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
上述した特許文献１の技術は、照明器具等の室内環境条件が入力されるとその室内環境条件に基づいて照明空間画像を再現することができるが、リアルタイム性を重視すると写実的な映像を生成できないという問題がある。すなわち、写実性を重視すると、リアルタイムで再現できなくなるという時間的なコストが高くなる。そのため、特許文献１の技術を用いても、例えば車両が走行する環境の映像を利用して、車両安全システムのセンサの状態を評価することができなかった。また、照明の設計においては、光が照らされた空間を人間がどのように見るかをシミュレーションしたいという要請もあった。
【０００６】
本発明は、上述した課題を解決するために提案されたものであり、センサの性能評価を容易に行うことができるようなセンサ特性シミュレーション装置及びプログラム、並びに人がどのように仮想環境を見えるかを容易に確認することができる視覚特性シミュレーション装置及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００７】
請求項１の発明であるセンサ特性シミュレーション装置は、仮想環境の光源の照明特性を設定する照明特性設定手段と、前記照明特性設定手段により設定された光源の照明特性と、前記仮想環境を３次元で描画するための３次元環境データと、に基づいて、前記光源の照明特性が反映された仮想環境を２次元で描画するための２次元環境データを生成する２次元環境データ生成手段と、前記仮想環境の状態を検出するセンサの特性を設定するセンサ特性設定手段と、前記２次元環境データ生成手段により生成された２次元環境データと、センサ特性設定手段により設定されたセンサの特性と、に基づいて、前記センサが前記仮想環境の状態を検出したときの検出データを生成する検出データ生成手段と、を備えている。
【０００８】
請求項２の発明は、請求項１に記載のセンサ特性シミュレーション装置であって、前記センサ特性設定手段は、撮像装置の幾何学的なゆがみ、光学的ノイズの少なくとも１つの特性を設定する。
【０００９】
請求項３の発明であるセンサ特性シミュレーションプログラムは、コンピュータを、仮想環境の光源の照明特性を設定する照明特性設定手段と、前記照明特性設定手段により設定された光源の照明特性と、前記仮想環境を３次元で描画するための３次元環境データと、に基づいて、前記光源の照明特性が反映された仮想環境を２次元で描画するための２次元環境データを生成する２次元環境データ生成手段と、前記仮想環境の状態を検出するセンサの特性を設定するセンサ特性設定手段と、前記２次元環境データ生成手段により生成された２次元環境データと、センサ特性設定手段により設定されたセンサの特性と、に基づいて、前記センサが前記仮想環境の状態を検出したときの検出データを生成する検出データ生成手段と、して機能させるためのものである。
【００１０】
請求項４の発明である視覚特性シミュレーション装置は、仮想環境の光源の照明特性を設定する照明特性設定手段と、前記照明特性設定手段により設定された光源の照明特性と、前記仮想環境を３次元で描画するための３次元環境データと、に基づいて、前記光源の照明特性が反映された仮想環境を２次元で描画するための２次元環境データを生成する２次元環境データ生成手段と、前記仮想環境を見る人の視覚特性を設定する視覚特性設定手段と、前記２次元環境データ生成手段により生成された２次元環境データと、視覚特性設定手段により設定された視覚特性と、に基づいて、前記視覚特性を有する人が前記仮想環境を見た状態の視覚映像を生成する視覚映像生成手段と、を備えている。
【００１１】
請求項５の発明は、請求項４に記載の視覚特性シミュレーション装置であって、前記資格特性設定手段は、前記視覚特性として、視野のぼけ具合、視野、視認距離の少なくとも１つを設定する。
【００１２】
請求項６の発明である視覚特性シミュレーションプログラムは、コンピュータを、仮想環境の光源の照明特性を設定する照明特性設定手段と、前記照明特性設定手段により設定された光源の照明特性と、前記仮想環境を３次元で描画するための３次元環境データと、に基づいて、前記光源の照明特性が反映された仮想環境を２次元で描画するための２次元環境データを生成する２次元環境データ生成手段と、前記仮想環境を見る人の視覚特性を設定する視覚特性設定手段と、前記２次元環境データ生成手段により生成された２次元環境データと、視覚特性設定手段により設定された視覚特性と、に基づいて、前記視覚特性を有する人が前記仮想環境を見た状態の視覚映像を生成する視覚映像生成手段と、して機能させるためのものである。
【発明の効果】
【００１３】
請求項１及び３に係る発明によれば、２次元環境データとセンサ特性設定手段により設定されたセンサの特性とに基づいて、センサが前記仮想環境の状態を検出したときの検出データを生成することにより、センサの性能評価を容易に行うことができる。
【００１４】
請求項２に係る発明によれば、センサ特性として、撮像装置の幾何学的なゆがみ、光学的ノイズの少なくとも１つの特性を設定することにより、撮像装置の特性を考慮した検出データを生成することができる。
【００１５】
請求項４及び６に係る発明によれば、仮想環境を見る人の視覚特性を設定し、２次元環境データと設定された視覚特性とに基づいて視覚特性を有する人が前記仮想環境を見た状態の視覚映像を生成することにより、人がどのように環境を見るかをシミュレーションすることができる。
【００１６】
請求項５に係る発明によれば、視野のぼけ具合、視野、視認距離の少なくとも１つに応じた視覚特性を有する人がどのように環境を見るかをシミュレーションすることができる。
【発明を実施するための最良の形態】
【００１７】
以下、本発明の好ましい実施の形態について図面を参照しながら詳細に説明する。
【００１８】
［第１の実施形態］
図１は、本発明の実施の形態に係るシミュレーション装置の構成を示すブロック図である。上記シミュレーション装置は、照明デバイスによって光が照射された仮想環境をセンサが検出したときの映像を生成して表示する。本実施形態では、照明デバイスとして仮想移動体（例えば仮想車両）のヘッドライト、センサとして仮想車両に搭載され車両前方を撮像するカメラを例に挙げて説明する。
【００１９】
上記シミュレーション装置は、仮想環境を走行する仮想車両のヘッドライトの照明パラメータを設定する照明設定部１と、仮想車両が走行する環境映像の３次元環境データ等に基づいて２次元環境データを生成する２次元環境データ生成部２と、カメラの特性を示すカメラ特性を設定するカメラ特性設定部３と、２次元環境データにカメラ特性に応じた画像変換処理を行う画像変換部４と、画像処理プログラムを実行する画像処理プログラム実行部５と、画像を表示する画像表示部６と、を備えている。
【００２０】
照明設定部１は、照明パラメータとして、光の広がりに対して３次元の軸方向に調整するための幾何学的な放射パラメータ（例えば放射角θ［ｒａｄ］）と、光の色を示す色温度などの光学的な放射パラメータ（例えば色温度Ｋ［度］）を設定する。また、幾何学的な放射パラメータとして、放射の偏りを表す係数もある。
【００２１】
図２（Ａ）は偏りのない放射を示す図であり、（Ｂ）は偏りのある放射を示す図である。同図（Ａ）に示すような通常のガウス分布ではなく、同図（Ｂ）に示すような偏りを持った放射が行われる。
【００２２】
ｘ，ｙ，ｚの各軸方向へのバイアスのかけ方として、以下のものがある。
【００２３】
【数１】
【００２４】
式（１）〜（３）は、照射方向［ｘ，ｙ，ｚ］に対してそれぞれ係数を掛け合わせることを示している。このように偏りなどのパラメータを設定することで、より忠実な照明の設計支援が可能となる。また、式（１）〜（３）はそれぞれ所定の範囲のみ適用してもよい。例えば、ｘ軸方向では区間［ｘ１，ｘ２］で式（１）を適用し、ｙ軸方向では区間［ｙ１，ｙ２］で式（２）を適用し、ｚ軸方向では区間［ｚ１，ｚ２］で式（３）を適用してもよい。
【００２５】
２次元環境データ生成部２は、仮想環境の３次元環境データ、仮想環境の照度パラメータ、及び照明設定部１で設定された照明パラメータを用いて、リアルタイムで仮想環境を描画して２次元環境データを生成する。
【００２６】
ここでは、実際の車両が走行する環境の映像を忠実に再現した３次元環境データを使用するのが好ましい。これにより、カメラの感度、及びカメラの検出結果を用いた画像処理プログラムを正確に評価することができる。
【００２７】
なお、２次元環境データ生成部２は、フォトンマッピング法、レイトレーシング法等の公知のレンダリング技術を用いることができる。このとき、照明設定部１で設定された照明パラメータは、フォトンマッピング法の場合はフォトンの散布に適用され、レイトレーシング法の場合はレイの生成に適用される。
【００２８】
カメラ特性設定部３は、幾何学的なノイズや光学的なノイズを表すカメラ特性を設定する。幾何学的なゆがみは、画素の座標ｍ＝（ｘ，ｙ）に対して３次元位置Ｍ（ｘ，ｙ，ｚ）とすると、式（４）で表される。
【００２９】
【数２】
【００３０】
但し、Ｒは回転座標系におけるカメラの回転、ｔは回転座標系の原点に対するカメラの位置を表す。また、式（４）のＡは次の式（５）の通りである。
【００３１】
【数３】
【００３２】
ａ，ｂは画素の縦方向及び横方向のそれぞれの大きさであり、カメラの素子の大きさ（例えばＣＣＤ素子の大きさ）に比例したパラメータである。ｕ，ｖは縦方向及び横方向のそれぞれの画像の中心、ｒは画像のゆがみを表す係数である。
【００３３】
光学的なノイズとしては、ガンマ特性、ホワイトバランス、絞り、シャッタースピードなどのパラメータがある。ガンマ特性はゆがみを表す係数ｒによって輝度が非線形に変化する。ホワイトバランスは環境の色温度に基づいて算出されたパラメータである。絞りはカメラレンズに届く光の量に関する係数であり、輝度を抑える働きがある。シャッタースピードは光を取り込む時間を表し、その時間内の光量を加算した値である。特に、シャッタースピードと絞りは実写に近い画像を生成する上で重要であり、通常のＣＧ画像では得られない写実性を模擬するのに有効である。
【００３４】
ここで、３次元環境データの画素の輝度をＹ＝［Ｒ，Ｇ，Ｂ］、求めるべき２次元環境データの画素の輝度をｙ＝［ｒ，ｇ，ｂ］とすると、ガンマ特性は式（６）、ホワイトバランスは式（７）、絞りは式（８）、シャッタースピードは式（９）となる。
【００３５】
【数４】
【００３６】
画像変換部４は、２次元環境データ生成部２で生成された２次元環境データに対して、カメラ特性設定部３で設定されたカメラ特性に応じた画像変換処理を行う。例えば、画像変換部４は、２次元環境データの各画素（ｘ，ｙ）に対して式（４）及び（５）に基づく変換処理を行ったり、２次元環境データの各画素の輝度値に対して式（６）〜（９）に基づく変換処理を行ったりする。なお、画像変換部４は、式（４）〜（９）のすべての変換処理を行う必要はなく、任意の式を用いてもよい。
【００３７】
画像処理プログラム実行部５は、画像処理プログラムを実行するためのインタフェース群を定義しており、簡単な数行のコードをそのプログラム上に記述することで画像変換部４からのデータを得ることができる。画像処理プログラム実行部５は、例えばカメラの使用、カメラ特性等が決定された２次元環境データを取得し、その２次元環境データを用いて画像処理プログラムを実行する。ここで、画像処理プログラムは、カメラで撮像された映像に基づいて所定の処理を行うものであり、例えば、障害物を検出する障害物検出プログラム、走行車線を検出する走行車線検出プログラム、他車両の光送信装置から送信された光信号を受信する光信号受信プログラム等があり、特に限定されるものではない。
【００３８】
画像表示部６は、画像変換部４で処理された画像を表示し、又は画像処理プログラム実行部５で実行された画像を表示する。これにより、ユーザは、画像表示部６に表示された画像を確認することにより、カメラの感度、画像処理プログラムの性能等を評価することができる。
【００３９】
以上のように、第１の実施形態に係るシミュレーション装置は、仮想環境の光源の照明パラメータを設定し、車両に搭載されたカメラが検出した仮想環境をシミュレーションすることができるので、空間の照明シミュレーションとして利用することができる。したがって、上記シミュレーション装置は、実環境の３次元環境データを用いれば、システムの設計・効果を検証することができる。特に、本実施形態に係るシミュレーション装置は、例えば、車両のヘッドライトの配光をどのように設計するというような仕様策定、効果検証をすべて行うことが可能になる。
【００４０】
［第２の実施形態］
つぎに、本発明の第２の実施形態について説明する。なお、第１の実施形態と同一の部位には同一の符号を付し、重複する説明は省略する。
【００４１】
図３は、第２の実施形態に係るシミュレーション装置の構成を示すブロック図である。上記シミュレーション装置は、ドライバの眼の特性をシミュレーションするものであり、第１の実施の形態と比較すると、画像処理プログラム実行部５を省略すると共に、カメラ特性設定部３の代わりに視覚特性設定部７を備えている。
【００４２】
すなわち、シミュレーション装置は、照明パラメータを設定する照明設定部１と、２次元環境データを生成する２次元環境データ生成部２と、ドライバの眼の特性を示す視覚特性を設定する視覚特性設定部７と、２次元環境データに視覚特性に応じた画像変換処理を行う画像変換部４と、画像を表示する画像表示部６と、を備えている。
【００４３】
視覚特性設定部７は、ドライバの視力、視野、視認距離のパラメータを設定することができる。視力は視野のぼけ具合にかかるバイアス、視野（周辺視、中心視）は中心から周辺へぼやける処理、視認距離は距離に応じたぼけを示す。
【００４４】
画像変換部４は、２次元環境データ生成部２で生成された２次元環境データに対して、視覚特性設定部７で設定された視覚特性に応じた画像変換処理を行う。具体的には、画像変換部４は、２次元環境データを構成する任意の画素の輝度値ｙに対して、視力Ｅ、中心から見えている範囲（角度）である視野Ｒ、視認距離Ｄを用いると、例えば次の式（１０）〜（１１）の処理を行う。
【００４５】
【数５】
【００４６】
なお、α、β、γ、Ｓ、ｔは各項目に対するパラメータである。これにより、画像のぼけを表現する。
【００４７】
そして、画像表示部６は、画像変換部４で変換された画像を表示する。これにより、ドライバが見ている映像が画像表示部６に表示される。
【００４８】
以上のように、第２の実施形態に係るシミュレーション装置は、仮想環境の光源の照明パラメータを設定し、どのような映像を人が見るのかを再現することができるので、空間の照明シミュレーションとして利用することができる。また、上記シミュレーション装置は、人がどこに注目するかを検証することが可能になる。
【００４９】
［第３の実施形態］
つぎに、本発明の第３の実施形態について説明する。第３の実施形態では、第１及び第２の実施形態で説明した２次元環境データ生成部２の構成について説明する。
【００５０】
図４は、第３の実施形態に係る２次元環境データ生成部２の構成を示すブロック図である。
【００５１】
２次元環境データ生成部２は、仮想環境の中を仮想移動体が移動する様子をグラフィックスで再現するための映像をリアルタイムで生成するものであり、３次元環境データに基づいて環境を再現する環境再現部１０と、前フレームと現在フレームとの差分画像についてレンダリングする差分レンダリング部２０と、を備えている。
【００５２】
（環境再現部１０の構成）
環境再現部１０は、例えば図示しない環境データ生成装置で生成された３次元環境データを用いて、フォトンマッピング法により移動体周辺の環境を再現する。なお、環境再現部１０としては、例えばグラフィック・プロセッシング・ユニット（ＧＰＵ：Graphics Processing Unit）が用いられる。ＧＰＵは、膨大なベクトルベータを高速に処理可能なグラフィックハードウェアであり、流体シミュレーションと非常によく適合する。
【００５３】
ここでは、環境中で反射・吸収を繰り返す粒子であるフォトンが使用される。また、環境中の物体は三角形ポリゴンで生成されているものとし、すべてのポリゴンとフォトンとの衝突が判定される。
【００５４】
なお、ＧＰＵは、データを画像として保存し、１回の演算で最大１億画素の演算が可能であるため、約３０００万ポリゴンのデータを１回で演算できる。この数だけあれば十分な画質の環境を提供できる。
【００５５】
環境再現部１０は、２パスのレンダリング方式であるフォトンマッピング法を用いて、１パス目にフォトンを散布する演算処理を行うフォトン散布演算部１１と、２パス目にフォトンを回収する演算処理を行うフォトン回収演算部１２と、を備えている。
【００５６】
フォトン散布演算部１１は、環境データにより特定される環境において、環境内にある光源から位置情報（ｘ，ｙ，ｚ）を有するフォトンを散布する演算処理を行う。フォトンは、散布されると、境内の物体でランダムに反射・吸収を繰り返し、ある物体上で衝突・停留する。そして、フォトン散布演算部１１は、散布された各々のフォトンを追跡し、各フォトンの状況をフォトンマップに格納する。
【００５７】
フォトンマップは、対象となるフォトンについて、停留した物体上の３次元位置情報（ｘ，ｙ，ｚ）、入射方向、フォトンの出力（ＲＧＢ形式）、詳細度、探索距離、反射係数、反射係数などの情報を有している。
【００５８】
フォトン回収演算部１２は、散布された各々のフォトンを回収して照度を計算する。具体的には、フォトン回収演算部１２は、カメラ（定められた視点）からランダムに視線追跡を行い、３次元環境データを用いて、視線が到達する物体表面上の３次元位置情報を求める。そして、フォトン回収演算部１２は、物体表面上の各々の位置（画素）において、カメラに届く照度をその位置にあるフォトンの数及びフォトンマップの情報を用いて演算する。
【００５９】
フォトン回収演算部１２は、例えばフォトンの数をＮ、その場所の反射係数をＰとすると、
Ｉ＝Ｎ・Ｐ
で表される照度Ｉを演算する。これにより、光の直接照射・間接照射、影落ち度などが考慮された照度が得られる。そして、フォトン回収演算部１２は、すべての画素について照度Ｐを演算する。
【００６０】
なお、環境再現部１０は、最初のフレームに対して上述の処理を行い、２フレーム以降では所定の更新タイミングのときに上述の処理を行うとよい。
【００６１】
（差分レンダリング部２０の構成）
差分レンダリング部２０は、移動体の移動演算処理を行う移動体演算部２１と、フォトンを検索するフォトン検索部２２と、照度を計算する照度計算部２３と、合成処理を行う合成処理部２４と、を備えている。
【００６２】
移動体演算部２１は、フレームが変わるごとに、移動体の３次元形状データ、移動方向データ、移動速度データに基づいて、移動体の位置を更新する。
【００６３】
フォトン検索部２２は、移動体演算部２１の演算処理に基づいて移動体がどの程度移動したかを検出し、前フレームに対する現在フレームにおいて、移動体が移動することによって出現する３次元位置のフォトン、隠蔽される３次元位置のフォトンを検索する。
【００６４】
なお、前フレームとは、現在フレームの直前（１つ前）にあるフレームであってもよいし、現在フレームより前にあるフレームであって環境再現部１０により処理のされたフレームであってもよい。
【００６５】
そして、フォトン検索部２２は、検索した各々のフォトンについて、元の位置Ｐ（ｘ，ｙ，ｚ）から単位ベクトルｄ
ｄ＝［１／（ｘ２＋ｙ２＋ｚ２）１／２］×（ｘ，ｙ，ｚ）
に対して追跡を行う。このベクトルが物体と衝突すると、その部分のフォトンの位置情報が更新される。更新される位置情報をＰ’（ｘ’，ｙ’，ｚ’）とすると、次の式が成り立つ。
【００６６】
Ｐ’（ｘ’，ｙ’，ｚ’）＝ａ×ｄ＋Ｐ（ｘ，ｙ，ｚ）
この式は、前フレームで停留していた位置Ｐから、フォトンが放射された単位ベクトル方向ｄにａだけ引き伸ばす処理を意味する。その結果、フォトンが他の物体に衝突するかが計算される。
【００６７】
すなわち、フォトン検索部２２は、新たに出現する又は隠蔽されるフォトンを検索すると、それらのフォトンを再度追跡し、それらのフォトンが停留したときに各フォトンについてのフォトンマップ（位置情報、入射方向、フォトンの出力（ＲＧＢ形式）、反射係数など）を更新する。この場合では、フォトンの位置情報が更新されるだけでなく、フォトンの出力（赤（Ｒ）、緑（Ｇ）、青（Ｂ）の各色情報）、その他のパラメータも更新される。
【００６８】
照度計算部２３は、視線が到達する物体表面上であって、移動体の移動により新たに現れる位置又は隠蔽される位置の３次元位置情報を求め、その各々の位置（画素）において、フォトン検索部２２で検索された各フォトンの新たなフォトンマップを用いて、カメラに届く照度をその位置にあるフォトンの数及びフォトンマップの情報を用いて演算する。すなわち、照度計算部２３は、移動体の移動により新たに現れる位置又は隠蔽される位置において、フォトンの数をＮ、その場所の反射係数をＰとすると、
Ｉ＝Ｎ・Ｐ
で表される照度Ｉを演算する。
【００６９】
合成処理部２４は、環境再現部１０により演算された照度Ｉと、照度計算部２３により演算された照度Ｉとを合成する。具体的には、合成処理部２４は、移動体の移動により新たに現れる位置又は隠蔽される位置については、照度計算部２３により演算された照度Ｉを使用し、移動体の移動があっても変化のない位置については、環境再現部１０により演算された照度Ｉを使用して、現在のフレーム画像全体の照度を演算する。
【００７０】
図５（Ａ）は前フレームを示す図、（Ｂ）は移動体（自動車）が移動することによってフォトンが隠される部分及び移動体で隠れていた部分を示す図、（Ｃ）はフォトンの差分部分を示す図、（Ｄ）は移動体が移動した後の現在フレームを示す図である。フォトンの差分画像については差分レンダリング部２０がレンダリング処理を行い、その他の部分については環境再現部１０がレンダリング処理を行う。このとき、フォトンは１０万〜２０万個使用される。これは、通常の粒子シミュレーションに比べると、１０％ほどの量である。
【００７１】
なお、差分レンダリング部２０による差分計算による映像の更新は誤差が蓄積するおそれがある。そこで、差分レンダリング部２０のバックグランド処理として、環境再現部１０が通常のフォトンマッピング法を用いてフォトンの散布及び回収の演算処理を行うとよい。
【００７２】
図６は、バックグランド処理の更新タイミングを示す図である。なお、数値“１”のときが更新タイミングを示す。同図に示すように、差分レンダリング部２０による差分処理の更新に対して、環境再現部１０によるバックグランド処理の更新は遅くなっている。よって、バックグランド処理の更新が行われると、その次の差分更新のタイミングでフォトンの位置が更新される。
【００７３】
また、上記の処理は、光の影響が所定のサンプリング間隔（例えば１０ｍｓ）では劇的に変化することがない状況を前提にしており、雷などのフラッシュ現象の場合は対象外である。フラッシュ現象の場合は、別途画像ベースのアルゴリズムで処理を行えばよい。
【００７４】
なお、本発明は、上述した実施の形態に限定されるものではなく、特許請求の範囲に記載された範囲内で設計上の変更をされたものにも適用可能であるのは勿論である。
【図面の簡単な説明】
【００７５】
【図１】本発明の実施の形態に係るシミュレーション装置の構成を示すブロック図である。
【図２】（Ａ）は偏りのない放射を示す図であり、（Ｂ）は偏りのある放射を示す図である。
【図３】第２の実施形態に係るシミュレーション装置の構成を示すブロック図である。
【図４】第３の実施形態に係る２次元環境データ生成部の構成を示すブロック図である。
【図５】（Ａ）は前フレームを示す図、（Ｂ）は移動体（自動車）が移動することによってフォトンが隠される部分及び移動体で隠れていた部分を示す図、（Ｃ）はフォトンの差分部分を示す図、（Ｄ）は移動体が移動した後の現在フレームを示す図である。
【図６】バックグランド処理の更新タイミングを示す図である。
【符号の説明】
【００７６】
１ 照明設定部
２ ２次元環境データ生成部
３ カメラ特性設定部
４ 画像変換部
５ 画像処理プログラム実行部
６ 画像表示部
７ 視覚特性設定部
【技術分野】
【０００１】
本発明は、センサ特性シミュレーション装置及びプログラム並びに視覚特性シミュレーション装置及びプログラムに関する。
【背景技術】
【０００２】
照明空間の設計を行う場合、依頼者の要求と設計者のイメージとの隔たりを埋める必要がある。そこで、一般には、コンピュータグラフィックス（ＣＧ）を使ったシミュレーションが行われる。
【０００３】
従来、特別なソフトウェアを使用することなく、照明の質感や空間全体をリアルに表現できる照明空間シミュレーションシステムが提案されている（特許文献１を参照）。特許文献１では、同公報の図２に示すように、クライアント１は、設計情報を入力する設計情報入力部１１と、入力された設計情報サーバ３へ送信する動作指定部１４と、サーバ３からの画像データを画面に表示する表示部１５と、を備えている。
【０００４】
また、サーバ３は、設計情報に対応付けられた設備器具情報を記憶するデータベース３２と、設備器具情報を３次元変換してクライアント１に送信する３次元変換部３３と、クライアント１からの指示により照度計算結果データを返信する照度計算部３４と、最終的な設計情報が入力された段階で照明空間画像データを計算するレンダリング部３５と、を備えている。これにおり、クライアント１は、サーバ３で計算された照度空間画像データを画面に表示するので、特別なソフトウェアを使用することなく、照度分布を得ることができる。
【特許文献１】特開２００２−２５１６３３号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
上述した特許文献１の技術は、照明器具等の室内環境条件が入力されるとその室内環境条件に基づいて照明空間画像を再現することができるが、リアルタイム性を重視すると写実的な映像を生成できないという問題がある。すなわち、写実性を重視すると、リアルタイムで再現できなくなるという時間的なコストが高くなる。そのため、特許文献１の技術を用いても、例えば車両が走行する環境の映像を利用して、車両安全システムのセンサの状態を評価することができなかった。また、照明の設計においては、光が照らされた空間を人間がどのように見るかをシミュレーションしたいという要請もあった。
【０００６】
本発明は、上述した課題を解決するために提案されたものであり、センサの性能評価を容易に行うことができるようなセンサ特性シミュレーション装置及びプログラム、並びに人がどのように仮想環境を見えるかを容易に確認することができる視覚特性シミュレーション装置及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００７】
請求項１の発明であるセンサ特性シミュレーション装置は、仮想環境の光源の照明特性を設定する照明特性設定手段と、前記照明特性設定手段により設定された光源の照明特性と、前記仮想環境を３次元で描画するための３次元環境データと、に基づいて、前記光源の照明特性が反映された仮想環境を２次元で描画するための２次元環境データを生成する２次元環境データ生成手段と、前記仮想環境の状態を検出するセンサの特性を設定するセンサ特性設定手段と、前記２次元環境データ生成手段により生成された２次元環境データと、センサ特性設定手段により設定されたセンサの特性と、に基づいて、前記センサが前記仮想環境の状態を検出したときの検出データを生成する検出データ生成手段と、を備えている。
【０００８】
請求項２の発明は、請求項１に記載のセンサ特性シミュレーション装置であって、前記センサ特性設定手段は、撮像装置の幾何学的なゆがみ、光学的ノイズの少なくとも１つの特性を設定する。
【０００９】
請求項３の発明であるセンサ特性シミュレーションプログラムは、コンピュータを、仮想環境の光源の照明特性を設定する照明特性設定手段と、前記照明特性設定手段により設定された光源の照明特性と、前記仮想環境を３次元で描画するための３次元環境データと、に基づいて、前記光源の照明特性が反映された仮想環境を２次元で描画するための２次元環境データを生成する２次元環境データ生成手段と、前記仮想環境の状態を検出するセンサの特性を設定するセンサ特性設定手段と、前記２次元環境データ生成手段により生成された２次元環境データと、センサ特性設定手段により設定されたセンサの特性と、に基づいて、前記センサが前記仮想環境の状態を検出したときの検出データを生成する検出データ生成手段と、して機能させるためのものである。
【００１０】
請求項４の発明である視覚特性シミュレーション装置は、仮想環境の光源の照明特性を設定する照明特性設定手段と、前記照明特性設定手段により設定された光源の照明特性と、前記仮想環境を３次元で描画するための３次元環境データと、に基づいて、前記光源の照明特性が反映された仮想環境を２次元で描画するための２次元環境データを生成する２次元環境データ生成手段と、前記仮想環境を見る人の視覚特性を設定する視覚特性設定手段と、前記２次元環境データ生成手段により生成された２次元環境データと、視覚特性設定手段により設定された視覚特性と、に基づいて、前記視覚特性を有する人が前記仮想環境を見た状態の視覚映像を生成する視覚映像生成手段と、を備えている。
【００１１】
請求項５の発明は、請求項４に記載の視覚特性シミュレーション装置であって、前記資格特性設定手段は、前記視覚特性として、視野のぼけ具合、視野、視認距離の少なくとも１つを設定する。
【００１２】
請求項６の発明である視覚特性シミュレーションプログラムは、コンピュータを、仮想環境の光源の照明特性を設定する照明特性設定手段と、前記照明特性設定手段により設定された光源の照明特性と、前記仮想環境を３次元で描画するための３次元環境データと、に基づいて、前記光源の照明特性が反映された仮想環境を２次元で描画するための２次元環境データを生成する２次元環境データ生成手段と、前記仮想環境を見る人の視覚特性を設定する視覚特性設定手段と、前記２次元環境データ生成手段により生成された２次元環境データと、視覚特性設定手段により設定された視覚特性と、に基づいて、前記視覚特性を有する人が前記仮想環境を見た状態の視覚映像を生成する視覚映像生成手段と、して機能させるためのものである。
【発明の効果】
【００１３】
請求項１及び３に係る発明によれば、２次元環境データとセンサ特性設定手段により設定されたセンサの特性とに基づいて、センサが前記仮想環境の状態を検出したときの検出データを生成することにより、センサの性能評価を容易に行うことができる。
【００１４】
請求項２に係る発明によれば、センサ特性として、撮像装置の幾何学的なゆがみ、光学的ノイズの少なくとも１つの特性を設定することにより、撮像装置の特性を考慮した検出データを生成することができる。
【００１５】
請求項４及び６に係る発明によれば、仮想環境を見る人の視覚特性を設定し、２次元環境データと設定された視覚特性とに基づいて視覚特性を有する人が前記仮想環境を見た状態の視覚映像を生成することにより、人がどのように環境を見るかをシミュレーションすることができる。
【００１６】
請求項５に係る発明によれば、視野のぼけ具合、視野、視認距離の少なくとも１つに応じた視覚特性を有する人がどのように環境を見るかをシミュレーションすることができる。
【発明を実施するための最良の形態】
【００１７】
以下、本発明の好ましい実施の形態について図面を参照しながら詳細に説明する。
【００１８】
［第１の実施形態］
図１は、本発明の実施の形態に係るシミュレーション装置の構成を示すブロック図である。上記シミュレーション装置は、照明デバイスによって光が照射された仮想環境をセンサが検出したときの映像を生成して表示する。本実施形態では、照明デバイスとして仮想移動体（例えば仮想車両）のヘッドライト、センサとして仮想車両に搭載され車両前方を撮像するカメラを例に挙げて説明する。
【００１９】
上記シミュレーション装置は、仮想環境を走行する仮想車両のヘッドライトの照明パラメータを設定する照明設定部１と、仮想車両が走行する環境映像の３次元環境データ等に基づいて２次元環境データを生成する２次元環境データ生成部２と、カメラの特性を示すカメラ特性を設定するカメラ特性設定部３と、２次元環境データにカメラ特性に応じた画像変換処理を行う画像変換部４と、画像処理プログラムを実行する画像処理プログラム実行部５と、画像を表示する画像表示部６と、を備えている。
【００２０】
照明設定部１は、照明パラメータとして、光の広がりに対して３次元の軸方向に調整するための幾何学的な放射パラメータ（例えば放射角θ［ｒａｄ］）と、光の色を示す色温度などの光学的な放射パラメータ（例えば色温度Ｋ［度］）を設定する。また、幾何学的な放射パラメータとして、放射の偏りを表す係数もある。
【００２１】
図２（Ａ）は偏りのない放射を示す図であり、（Ｂ）は偏りのある放射を示す図である。同図（Ａ）に示すような通常のガウス分布ではなく、同図（Ｂ）に示すような偏りを持った放射が行われる。
【００２２】
ｘ，ｙ，ｚの各軸方向へのバイアスのかけ方として、以下のものがある。
【００２３】
【数１】
【００２４】
式（１）〜（３）は、照射方向［ｘ，ｙ，ｚ］に対してそれぞれ係数を掛け合わせることを示している。このように偏りなどのパラメータを設定することで、より忠実な照明の設計支援が可能となる。また、式（１）〜（３）はそれぞれ所定の範囲のみ適用してもよい。例えば、ｘ軸方向では区間［ｘ１，ｘ２］で式（１）を適用し、ｙ軸方向では区間［ｙ１，ｙ２］で式（２）を適用し、ｚ軸方向では区間［ｚ１，ｚ２］で式（３）を適用してもよい。
【００２５】
２次元環境データ生成部２は、仮想環境の３次元環境データ、仮想環境の照度パラメータ、及び照明設定部１で設定された照明パラメータを用いて、リアルタイムで仮想環境を描画して２次元環境データを生成する。
【００２６】
ここでは、実際の車両が走行する環境の映像を忠実に再現した３次元環境データを使用するのが好ましい。これにより、カメラの感度、及びカメラの検出結果を用いた画像処理プログラムを正確に評価することができる。
【００２７】
なお、２次元環境データ生成部２は、フォトンマッピング法、レイトレーシング法等の公知のレンダリング技術を用いることができる。このとき、照明設定部１で設定された照明パラメータは、フォトンマッピング法の場合はフォトンの散布に適用され、レイトレーシング法の場合はレイの生成に適用される。
【００２８】
カメラ特性設定部３は、幾何学的なノイズや光学的なノイズを表すカメラ特性を設定する。幾何学的なゆがみは、画素の座標ｍ＝（ｘ，ｙ）に対して３次元位置Ｍ（ｘ，ｙ，ｚ）とすると、式（４）で表される。
【００２９】
【数２】
【００３０】
但し、Ｒは回転座標系におけるカメラの回転、ｔは回転座標系の原点に対するカメラの位置を表す。また、式（４）のＡは次の式（５）の通りである。
【００３１】
【数３】
【００３２】
ａ，ｂは画素の縦方向及び横方向のそれぞれの大きさであり、カメラの素子の大きさ（例えばＣＣＤ素子の大きさ）に比例したパラメータである。ｕ，ｖは縦方向及び横方向のそれぞれの画像の中心、ｒは画像のゆがみを表す係数である。
【００３３】
光学的なノイズとしては、ガンマ特性、ホワイトバランス、絞り、シャッタースピードなどのパラメータがある。ガンマ特性はゆがみを表す係数ｒによって輝度が非線形に変化する。ホワイトバランスは環境の色温度に基づいて算出されたパラメータである。絞りはカメラレンズに届く光の量に関する係数であり、輝度を抑える働きがある。シャッタースピードは光を取り込む時間を表し、その時間内の光量を加算した値である。特に、シャッタースピードと絞りは実写に近い画像を生成する上で重要であり、通常のＣＧ画像では得られない写実性を模擬するのに有効である。
【００３４】
ここで、３次元環境データの画素の輝度をＹ＝［Ｒ，Ｇ，Ｂ］、求めるべき２次元環境データの画素の輝度をｙ＝［ｒ，ｇ，ｂ］とすると、ガンマ特性は式（６）、ホワイトバランスは式（７）、絞りは式（８）、シャッタースピードは式（９）となる。
【００３５】
【数４】
【００３６】
画像変換部４は、２次元環境データ生成部２で生成された２次元環境データに対して、カメラ特性設定部３で設定されたカメラ特性に応じた画像変換処理を行う。例えば、画像変換部４は、２次元環境データの各画素（ｘ，ｙ）に対して式（４）及び（５）に基づく変換処理を行ったり、２次元環境データの各画素の輝度値に対して式（６）〜（９）に基づく変換処理を行ったりする。なお、画像変換部４は、式（４）〜（９）のすべての変換処理を行う必要はなく、任意の式を用いてもよい。
【００３７】
画像処理プログラム実行部５は、画像処理プログラムを実行するためのインタフェース群を定義しており、簡単な数行のコードをそのプログラム上に記述することで画像変換部４からのデータを得ることができる。画像処理プログラム実行部５は、例えばカメラの使用、カメラ特性等が決定された２次元環境データを取得し、その２次元環境データを用いて画像処理プログラムを実行する。ここで、画像処理プログラムは、カメラで撮像された映像に基づいて所定の処理を行うものであり、例えば、障害物を検出する障害物検出プログラム、走行車線を検出する走行車線検出プログラム、他車両の光送信装置から送信された光信号を受信する光信号受信プログラム等があり、特に限定されるものではない。
【００３８】
画像表示部６は、画像変換部４で処理された画像を表示し、又は画像処理プログラム実行部５で実行された画像を表示する。これにより、ユーザは、画像表示部６に表示された画像を確認することにより、カメラの感度、画像処理プログラムの性能等を評価することができる。
【００３９】
以上のように、第１の実施形態に係るシミュレーション装置は、仮想環境の光源の照明パラメータを設定し、車両に搭載されたカメラが検出した仮想環境をシミュレーションすることができるので、空間の照明シミュレーションとして利用することができる。したがって、上記シミュレーション装置は、実環境の３次元環境データを用いれば、システムの設計・効果を検証することができる。特に、本実施形態に係るシミュレーション装置は、例えば、車両のヘッドライトの配光をどのように設計するというような仕様策定、効果検証をすべて行うことが可能になる。
【００４０】
［第２の実施形態］
つぎに、本発明の第２の実施形態について説明する。なお、第１の実施形態と同一の部位には同一の符号を付し、重複する説明は省略する。
【００４１】
図３は、第２の実施形態に係るシミュレーション装置の構成を示すブロック図である。上記シミュレーション装置は、ドライバの眼の特性をシミュレーションするものであり、第１の実施の形態と比較すると、画像処理プログラム実行部５を省略すると共に、カメラ特性設定部３の代わりに視覚特性設定部７を備えている。
【００４２】
すなわち、シミュレーション装置は、照明パラメータを設定する照明設定部１と、２次元環境データを生成する２次元環境データ生成部２と、ドライバの眼の特性を示す視覚特性を設定する視覚特性設定部７と、２次元環境データに視覚特性に応じた画像変換処理を行う画像変換部４と、画像を表示する画像表示部６と、を備えている。
【００４３】
視覚特性設定部７は、ドライバの視力、視野、視認距離のパラメータを設定することができる。視力は視野のぼけ具合にかかるバイアス、視野（周辺視、中心視）は中心から周辺へぼやける処理、視認距離は距離に応じたぼけを示す。
【００４４】
画像変換部４は、２次元環境データ生成部２で生成された２次元環境データに対して、視覚特性設定部７で設定された視覚特性に応じた画像変換処理を行う。具体的には、画像変換部４は、２次元環境データを構成する任意の画素の輝度値ｙに対して、視力Ｅ、中心から見えている範囲（角度）である視野Ｒ、視認距離Ｄを用いると、例えば次の式（１０）〜（１１）の処理を行う。
【００４５】
【数５】
【００４６】
なお、α、β、γ、Ｓ、ｔは各項目に対するパラメータである。これにより、画像のぼけを表現する。
【００４７】
そして、画像表示部６は、画像変換部４で変換された画像を表示する。これにより、ドライバが見ている映像が画像表示部６に表示される。
【００４８】
以上のように、第２の実施形態に係るシミュレーション装置は、仮想環境の光源の照明パラメータを設定し、どのような映像を人が見るのかを再現することができるので、空間の照明シミュレーションとして利用することができる。また、上記シミュレーション装置は、人がどこに注目するかを検証することが可能になる。
【００４９】
［第３の実施形態］
つぎに、本発明の第３の実施形態について説明する。第３の実施形態では、第１及び第２の実施形態で説明した２次元環境データ生成部２の構成について説明する。
【００５０】
図４は、第３の実施形態に係る２次元環境データ生成部２の構成を示すブロック図である。
【００５１】
２次元環境データ生成部２は、仮想環境の中を仮想移動体が移動する様子をグラフィックスで再現するための映像をリアルタイムで生成するものであり、３次元環境データに基づいて環境を再現する環境再現部１０と、前フレームと現在フレームとの差分画像についてレンダリングする差分レンダリング部２０と、を備えている。
【００５２】
（環境再現部１０の構成）
環境再現部１０は、例えば図示しない環境データ生成装置で生成された３次元環境データを用いて、フォトンマッピング法により移動体周辺の環境を再現する。なお、環境再現部１０としては、例えばグラフィック・プロセッシング・ユニット（ＧＰＵ：Graphics Processing Unit）が用いられる。ＧＰＵは、膨大なベクトルベータを高速に処理可能なグラフィックハードウェアであり、流体シミュレーションと非常によく適合する。
【００５３】
ここでは、環境中で反射・吸収を繰り返す粒子であるフォトンが使用される。また、環境中の物体は三角形ポリゴンで生成されているものとし、すべてのポリゴンとフォトンとの衝突が判定される。
【００５４】
なお、ＧＰＵは、データを画像として保存し、１回の演算で最大１億画素の演算が可能であるため、約３０００万ポリゴンのデータを１回で演算できる。この数だけあれば十分な画質の環境を提供できる。
【００５５】
環境再現部１０は、２パスのレンダリング方式であるフォトンマッピング法を用いて、１パス目にフォトンを散布する演算処理を行うフォトン散布演算部１１と、２パス目にフォトンを回収する演算処理を行うフォトン回収演算部１２と、を備えている。
【００５６】
フォトン散布演算部１１は、環境データにより特定される環境において、環境内にある光源から位置情報（ｘ，ｙ，ｚ）を有するフォトンを散布する演算処理を行う。フォトンは、散布されると、境内の物体でランダムに反射・吸収を繰り返し、ある物体上で衝突・停留する。そして、フォトン散布演算部１１は、散布された各々のフォトンを追跡し、各フォトンの状況をフォトンマップに格納する。
【００５７】
フォトンマップは、対象となるフォトンについて、停留した物体上の３次元位置情報（ｘ，ｙ，ｚ）、入射方向、フォトンの出力（ＲＧＢ形式）、詳細度、探索距離、反射係数、反射係数などの情報を有している。
【００５８】
フォトン回収演算部１２は、散布された各々のフォトンを回収して照度を計算する。具体的には、フォトン回収演算部１２は、カメラ（定められた視点）からランダムに視線追跡を行い、３次元環境データを用いて、視線が到達する物体表面上の３次元位置情報を求める。そして、フォトン回収演算部１２は、物体表面上の各々の位置（画素）において、カメラに届く照度をその位置にあるフォトンの数及びフォトンマップの情報を用いて演算する。
【００５９】
フォトン回収演算部１２は、例えばフォトンの数をＮ、その場所の反射係数をＰとすると、
Ｉ＝Ｎ・Ｐ
で表される照度Ｉを演算する。これにより、光の直接照射・間接照射、影落ち度などが考慮された照度が得られる。そして、フォトン回収演算部１２は、すべての画素について照度Ｐを演算する。
【００６０】
なお、環境再現部１０は、最初のフレームに対して上述の処理を行い、２フレーム以降では所定の更新タイミングのときに上述の処理を行うとよい。
【００６１】
（差分レンダリング部２０の構成）
差分レンダリング部２０は、移動体の移動演算処理を行う移動体演算部２１と、フォトンを検索するフォトン検索部２２と、照度を計算する照度計算部２３と、合成処理を行う合成処理部２４と、を備えている。
【００６２】
移動体演算部２１は、フレームが変わるごとに、移動体の３次元形状データ、移動方向データ、移動速度データに基づいて、移動体の位置を更新する。
【００６３】
フォトン検索部２２は、移動体演算部２１の演算処理に基づいて移動体がどの程度移動したかを検出し、前フレームに対する現在フレームにおいて、移動体が移動することによって出現する３次元位置のフォトン、隠蔽される３次元位置のフォトンを検索する。
【００６４】
なお、前フレームとは、現在フレームの直前（１つ前）にあるフレームであってもよいし、現在フレームより前にあるフレームであって環境再現部１０により処理のされたフレームであってもよい。
【００６５】
そして、フォトン検索部２２は、検索した各々のフォトンについて、元の位置Ｐ（ｘ，ｙ，ｚ）から単位ベクトルｄ
ｄ＝［１／（ｘ２＋ｙ２＋ｚ２）１／２］×（ｘ，ｙ，ｚ）
に対して追跡を行う。このベクトルが物体と衝突すると、その部分のフォトンの位置情報が更新される。更新される位置情報をＰ’（ｘ’，ｙ’，ｚ’）とすると、次の式が成り立つ。
【００６６】
Ｐ’（ｘ’，ｙ’，ｚ’）＝ａ×ｄ＋Ｐ（ｘ，ｙ，ｚ）
この式は、前フレームで停留していた位置Ｐから、フォトンが放射された単位ベクトル方向ｄにａだけ引き伸ばす処理を意味する。その結果、フォトンが他の物体に衝突するかが計算される。
【００６７】
すなわち、フォトン検索部２２は、新たに出現する又は隠蔽されるフォトンを検索すると、それらのフォトンを再度追跡し、それらのフォトンが停留したときに各フォトンについてのフォトンマップ（位置情報、入射方向、フォトンの出力（ＲＧＢ形式）、反射係数など）を更新する。この場合では、フォトンの位置情報が更新されるだけでなく、フォトンの出力（赤（Ｒ）、緑（Ｇ）、青（Ｂ）の各色情報）、その他のパラメータも更新される。
【００６８】
照度計算部２３は、視線が到達する物体表面上であって、移動体の移動により新たに現れる位置又は隠蔽される位置の３次元位置情報を求め、その各々の位置（画素）において、フォトン検索部２２で検索された各フォトンの新たなフォトンマップを用いて、カメラに届く照度をその位置にあるフォトンの数及びフォトンマップの情報を用いて演算する。すなわち、照度計算部２３は、移動体の移動により新たに現れる位置又は隠蔽される位置において、フォトンの数をＮ、その場所の反射係数をＰとすると、
Ｉ＝Ｎ・Ｐ
で表される照度Ｉを演算する。
【００６９】
合成処理部２４は、環境再現部１０により演算された照度Ｉと、照度計算部２３により演算された照度Ｉとを合成する。具体的には、合成処理部２４は、移動体の移動により新たに現れる位置又は隠蔽される位置については、照度計算部２３により演算された照度Ｉを使用し、移動体の移動があっても変化のない位置については、環境再現部１０により演算された照度Ｉを使用して、現在のフレーム画像全体の照度を演算する。
【００７０】
図５（Ａ）は前フレームを示す図、（Ｂ）は移動体（自動車）が移動することによってフォトンが隠される部分及び移動体で隠れていた部分を示す図、（Ｃ）はフォトンの差分部分を示す図、（Ｄ）は移動体が移動した後の現在フレームを示す図である。フォトンの差分画像については差分レンダリング部２０がレンダリング処理を行い、その他の部分については環境再現部１０がレンダリング処理を行う。このとき、フォトンは１０万〜２０万個使用される。これは、通常の粒子シミュレーションに比べると、１０％ほどの量である。
【００７１】
なお、差分レンダリング部２０による差分計算による映像の更新は誤差が蓄積するおそれがある。そこで、差分レンダリング部２０のバックグランド処理として、環境再現部１０が通常のフォトンマッピング法を用いてフォトンの散布及び回収の演算処理を行うとよい。
【００７２】
図６は、バックグランド処理の更新タイミングを示す図である。なお、数値“１”のときが更新タイミングを示す。同図に示すように、差分レンダリング部２０による差分処理の更新に対して、環境再現部１０によるバックグランド処理の更新は遅くなっている。よって、バックグランド処理の更新が行われると、その次の差分更新のタイミングでフォトンの位置が更新される。
【００７３】
また、上記の処理は、光の影響が所定のサンプリング間隔（例えば１０ｍｓ）では劇的に変化することがない状況を前提にしており、雷などのフラッシュ現象の場合は対象外である。フラッシュ現象の場合は、別途画像ベースのアルゴリズムで処理を行えばよい。
【００７４】
なお、本発明は、上述した実施の形態に限定されるものではなく、特許請求の範囲に記載された範囲内で設計上の変更をされたものにも適用可能であるのは勿論である。
【図面の簡単な説明】
【００７５】
【図１】本発明の実施の形態に係るシミュレーション装置の構成を示すブロック図である。
【図２】（Ａ）は偏りのない放射を示す図であり、（Ｂ）は偏りのある放射を示す図である。
【図３】第２の実施形態に係るシミュレーション装置の構成を示すブロック図である。
【図４】第３の実施形態に係る２次元環境データ生成部の構成を示すブロック図である。
【図５】（Ａ）は前フレームを示す図、（Ｂ）は移動体（自動車）が移動することによってフォトンが隠される部分及び移動体で隠れていた部分を示す図、（Ｃ）はフォトンの差分部分を示す図、（Ｄ）は移動体が移動した後の現在フレームを示す図である。
【図６】バックグランド処理の更新タイミングを示す図である。
【符号の説明】
【００７６】
１ 照明設定部
２ ２次元環境データ生成部
３ カメラ特性設定部
４ 画像変換部
５ 画像処理プログラム実行部
６ 画像表示部
７ 視覚特性設定部
【特許請求の範囲】
【請求項１】
仮想環境の光源の照明特性を設定する照明特性設定手段と、
前記照明特性設定手段により設定された光源の照明特性と、前記仮想環境を３次元で描画するための３次元環境データと、に基づいて、前記光源の照明特性が反映された仮想環境を２次元で描画するための２次元環境データを生成する２次元環境データ生成手段と、
前記仮想環境の状態を検出するセンサの特性を設定するセンサ特性設定手段と、
前記２次元環境データ生成手段により生成された２次元環境データと、センサ特性設定手段により設定されたセンサの特性と、に基づいて、前記センサが前記仮想環境の状態を検出したときの検出データを生成する検出データ生成手段と、
を備えたセンサ特性シミュレーション装置。
【請求項２】
前記センサ特性設定手段は、撮像装置の幾何学的なゆがみ、光学的ノイズの少なくとも１つの特性を設定する
請求項１に記載のセンサ特性シミュレーション装置。
【請求項３】
コンピュータを、
仮想環境の光源の照明特性を設定する照明特性設定手段と、
前記照明特性設定手段により設定された光源の照明特性と、前記仮想環境を３次元で描画するための３次元環境データと、に基づいて、前記光源の照明特性が反映された仮想環境を２次元で描画するための２次元環境データを生成する２次元環境データ生成手段と、
前記仮想環境の状態を検出するセンサの特性を設定するセンサ特性設定手段と、
前記２次元環境データ生成手段により生成された２次元環境データと、センサ特性設定手段により設定されたセンサの特性と、に基づいて、前記センサが前記仮想環境の状態を検出したときの検出データを生成する検出データ生成手段と、
して機能させるためのセンサ特性シミュレーションプログラム。
【請求項４】
仮想環境の光源の照明特性を設定する照明特性設定手段と、
前記照明特性設定手段により設定された光源の照明特性と、前記仮想環境を３次元で描画するための３次元環境データと、に基づいて、前記光源の照明特性が反映された仮想環境を２次元で描画するための２次元環境データを生成する２次元環境データ生成手段と、
前記仮想環境を見る人の視覚特性を設定する視覚特性設定手段と、
前記２次元環境データ生成手段により生成された２次元環境データと、視覚特性設定手段により設定された視覚特性と、に基づいて、前記視覚特性を有する人が前記仮想環境を見た状態の視覚映像を生成する視覚映像生成手段と、
を備えた視覚特性シミュレーション装置。
【請求項５】
前記資格特性設定手段は、前記視覚特性として、視野のぼけ具合、視野、視認距離の少なくとも１つを設定する
請求項４に記載の視覚特性シミュレーション装置。
【請求項６】
コンピュータを、
仮想環境の光源の照明特性を設定する照明特性設定手段と、
前記照明特性設定手段により設定された光源の照明特性と、前記仮想環境を３次元で描画するための３次元環境データと、に基づいて、前記光源の照明特性が反映された仮想環境を２次元で描画するための２次元環境データを生成する２次元環境データ生成手段と、
前記仮想環境を見る人の視覚特性を設定する視覚特性設定手段と、
前記２次元環境データ生成手段により生成された２次元環境データと、視覚特性設定手段により設定された視覚特性と、に基づいて、前記視覚特性を有する人が前記仮想環境を見た状態の視覚映像を生成する視覚映像生成手段と、
して機能させるための視覚特性シミュレーションプログラム。
【請求項１】
仮想環境の光源の照明特性を設定する照明特性設定手段と、
前記照明特性設定手段により設定された光源の照明特性と、前記仮想環境を３次元で描画するための３次元環境データと、に基づいて、前記光源の照明特性が反映された仮想環境を２次元で描画するための２次元環境データを生成する２次元環境データ生成手段と、
前記仮想環境の状態を検出するセンサの特性を設定するセンサ特性設定手段と、
前記２次元環境データ生成手段により生成された２次元環境データと、センサ特性設定手段により設定されたセンサの特性と、に基づいて、前記センサが前記仮想環境の状態を検出したときの検出データを生成する検出データ生成手段と、
を備えたセンサ特性シミュレーション装置。
【請求項２】
前記センサ特性設定手段は、撮像装置の幾何学的なゆがみ、光学的ノイズの少なくとも１つの特性を設定する
請求項１に記載のセンサ特性シミュレーション装置。
【請求項３】
コンピュータを、
仮想環境の光源の照明特性を設定する照明特性設定手段と、
前記照明特性設定手段により設定された光源の照明特性と、前記仮想環境を３次元で描画するための３次元環境データと、に基づいて、前記光源の照明特性が反映された仮想環境を２次元で描画するための２次元環境データを生成する２次元環境データ生成手段と、
前記仮想環境の状態を検出するセンサの特性を設定するセンサ特性設定手段と、
前記２次元環境データ生成手段により生成された２次元環境データと、センサ特性設定手段により設定されたセンサの特性と、に基づいて、前記センサが前記仮想環境の状態を検出したときの検出データを生成する検出データ生成手段と、
して機能させるためのセンサ特性シミュレーションプログラム。
【請求項４】
仮想環境の光源の照明特性を設定する照明特性設定手段と、
前記照明特性設定手段により設定された光源の照明特性と、前記仮想環境を３次元で描画するための３次元環境データと、に基づいて、前記光源の照明特性が反映された仮想環境を２次元で描画するための２次元環境データを生成する２次元環境データ生成手段と、
前記仮想環境を見る人の視覚特性を設定する視覚特性設定手段と、
前記２次元環境データ生成手段により生成された２次元環境データと、視覚特性設定手段により設定された視覚特性と、に基づいて、前記視覚特性を有する人が前記仮想環境を見た状態の視覚映像を生成する視覚映像生成手段と、
を備えた視覚特性シミュレーション装置。
【請求項５】
前記資格特性設定手段は、前記視覚特性として、視野のぼけ具合、視野、視認距離の少なくとも１つを設定する
請求項４に記載の視覚特性シミュレーション装置。
【請求項６】
コンピュータを、
仮想環境の光源の照明特性を設定する照明特性設定手段と、
前記照明特性設定手段により設定された光源の照明特性と、前記仮想環境を３次元で描画するための３次元環境データと、に基づいて、前記光源の照明特性が反映された仮想環境を２次元で描画するための２次元環境データを生成する２次元環境データ生成手段と、
前記仮想環境を見る人の視覚特性を設定する視覚特性設定手段と、
前記２次元環境データ生成手段により生成された２次元環境データと、視覚特性設定手段により設定された視覚特性と、に基づいて、前記視覚特性を有する人が前記仮想環境を見た状態の視覚映像を生成する視覚映像生成手段と、
して機能させるための視覚特性シミュレーションプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図２】
【図３】
【図４】
【図５】
【図６】
【公開番号】特開２００９−２６５９１６（Ｐ２００９−２６５９１６Ａ）
【公開日】平成２１年１１月１２日（２００９．１１．１２）
【国際特許分類】
【出願番号】特願２００８−１１４２６９（Ｐ２００８−１１４２６９）
【出願日】平成２０年４月２４日（２００８．４．２４）
【出願人】（０００００３６０９）株式会社豊田中央研究所 (4,200)
【Ｆターム（参考）】
【公開日】平成２１年１１月１２日（２００９．１１．１２）
【国際特許分類】
【出願日】平成２０年４月２４日（２００８．４．２４）
【出願人】（０００００３６０９）株式会社豊田中央研究所 (4,200)
【Ｆターム（参考）】
[ Back to top ]