説明

環境評価用赤外線画像作成装置及び環境評価用赤外線画像作成方法、環境評価用レーダ検出結果作成装置及び環境評価用レーダ検出結果作成方法、道路環境評価用データ作成装置及び道路環境評価用データ作成方法

【課題】 複雑な物体が存在する道路環境であっても、正確に物体や風景の存在を赤外画像等によって仮想的に表現する。
【解決手段】
仮想的な道路環境評価用赤外画像を作成するに際し、道路環境に存在しうる物体ごとに、物体の形状、物体から放射される赤外エネルギ及び物体の材質に応じた放射率を記述した物体データベースから読み出し処理を行って物体を配置して道路環境を構築すると共に(S1)、当該道路環境内における赤外画像の撮像面を定義し(S2)、構築された道路環境の大気状態に応じた赤外エネルギの減衰率を算出し(S3,S4)、算出された赤外エネルギの減衰率、撮像面に対する各物体の角度及び距離、各物体の赤外エネルギ及び放射率に基づいて、各物体の赤外エネルギが、赤外画像の撮像面の各画素に達する赤外エネルギを算出して(S5)、当該各画素の赤外エネルギの値を画素値に透視変換して(S6)、赤外画像を作成する(S7)。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、自動車等の車両が走行する道路の環境を評価するために赤外線画像を作成する環境評価用赤外線画像作成装置及び環境評価用赤外線画像作成方法、自動車等の車両が走行する道路の環境を評価するためにレーダの検出結果を作成する環境評価用レーダ検出結果作成装置及び環境評価用レーダ検出結果作成方法、道路環境評価用データ作成装置及び道路環境評価用データ作成方法に関する。
【背景技術】
【0002】
従来より、赤外画像生成手法としては、下記の特許文献1に記載されている赤外模擬画像発生方法が知られている。
【0003】
この赤外模擬画像発生方法は、空領域の目標及び背景のテクスチャデーベースから3次元モデルを作成し、目標及び背景の材質や温度分布、赤外反射係数等の材質データベース、場所や時期、天候等の環境データベース、航空機の検出赤外線の波長帯等のセンサデータベースから3次元モデルの赤外放射量を算出し、これらのデータベースで描かれる航空機から見た目標位置の風景を、赤外線の減衰係数及び大気透過率を考慮した計算で得られる赤外画像として作成している。
【特許文献1】特開平9−288158号公報
【発明の開示】
【発明が解決しようとする課題】
【0004】
しかしながら、上述した赤外模擬画像発生方法では、航空機から見た目標や背景の赤外画像の生成を前提としているため、空領域では起こり得ない、雨、雪などの地上で起こる大気や天候の変化の違いを考慮して赤外線画像を作成できないという問題があった。
【0005】
また、空領域での目標及び背景の赤外線画像が作成していたので、道路環境のように複雑な物体を対象としておらず、更には、道路環境のように、壁に隠れた物体や他の物体からの影響を受けた物体表面の温度変化などは考慮できない。更に、雨によって複雑な物体及び路面が濡れることによる物体表面の温度変化を考慮して赤外線画像を作成できないという問題があった。
【0006】
そこで、本発明は、上述した実情に鑑みて提案されたものであり、複雑な物体が存在する環境であっても、正確に物体や風景の存在を仮想的に表現することができる環境評価用赤外線画像作成装置及び環境評価用赤外線画像作成方法、環境評価用レーダ検出結果作成装置及び環境評価用レーダ検出結果作成方法、道路環境評価用データ作成装置及び道路環境評価用データ作成方法を提供することを目的とする。
【課題を解決するための手段】
【0007】
本発明では、道路環境において撮像される仮想的な道路環境評価用赤外画像を作成するためのものであって、道路環境に存在しうる物体ごとに、物体の形状、物体から放射される赤外エネルギ及び物体の材質に応じた放射率を記述した物体データベースを予め記憶しておき、記憶された物体を配置して道路環境を構築すると共に、当該道路環境内における赤外画像の撮像面を定義し、構築された道路環境の大気状態に応じた赤外エネルギの減衰率を算出する。そして、算出された赤外エネルギの減衰率、撮像面に対する各物体の角度及び距離、各物体の赤外エネルギ及び放射率に基づいて、各物体の赤外エネルギが、赤外画像の撮像面の各画素に達する赤外エネルギを算出し、算出された各画素の赤外エネルギの値を画素値に変換して、赤外画像を作成することによって、上述の課題を解決する。
【0008】
また、本発明では、道路環境において取得される仮想的な道路環境評価用レーダ検出結果を作成するためのものであって、道路環境に存在しうる物体ごとに、物体の形状を記述した物体データベースを予め記憶しておき、記憶された物体を配置して道路環境を構築すると共に、当該道路環境内におけるレーダ装置の位置、レーダ装置のスキャン範囲及び分解能を定義し、構築されたレーダ装置から発せられるレーダ方位に対する各物体の角度、各物体の反射率に基づいて、レーダ装置のスキャン範囲及び分解能で決定される送信方位ごとに、構築された各物体からの反射波が、レーダ装置に達する電波エネルギを算出し、算出された各電波エネルギが所定のしきい値よりも大きい反射波の送信方位に存在する物体とレーダ装置との距離を算出し、算出された反射波の送信方位ごとの距離を、道路環境におけるレーダ検出結果として生成することによって、上述の課題を解決する。
【発明の効果】
【0009】
本発明によれば、道路環境に存在しうる物体ごとに、物体の形状、物体から放射される赤外エネルギ及び物体の材質に応じた放射率を記述した物体データベースを用意しておき、物体を配置して道路環境を構築すると共に、当該道路環境内における赤外画像の撮像面を定義すると共に、道路環境の大気状態に応じた赤外エネルギの減衰率を算出し、赤外エネルギの減衰率、赤外カメラに対する各物体の角度及び距離、各物体の赤外エネルギ及び放射率に基づいて、各物体の赤外エネルギが、赤外カメラの各画素に達する赤外エネルギを算出して赤外画像を作成することができるので、ビル、住宅、信号機等の複雑な物体が道路環境内に存在しても、物体の温度変化に応じた赤外画像を正確に表現することができる。
【0010】
また、本発明によれば、道路環境に存在しうる物体ごとに、物体の形状を記述した物体データベースを用意しておき、物体を配置して道路環境を構築すると共に、当該道路環境内におけるレーダ装置の位置、レーダ装置のスキャン範囲及び分解能を定義し、レーダ装置から発せられるレーダ方位に対する各物体の角度、各物体の反射率に基づいて、レーダ装置のスキャン範囲及び分解能で決定される送信方位ごとに、各物体からの反射波がレーダ装置に達する電波エネルギを算出して所定のしきい値よりも大きい反射波の送信方位に存在する物体とレーダ装置との距離を算出してレーダ検出結果として生成することができるので、ビル、住宅、信号機等の複雑な物体が道路環境内に存在しても、レーダ方位に対する物体の角度に応じたレーダ検出結果を正確に表現することができる。
【発明を実施するための最良の形態】
【0011】
以下、本発明の実施の形態について図面を参照して説明する。
【0012】
本発明は、路面を車両が走行した場合に、車両のやレーダ装置によって取得されるであろう仮想的な赤外線画像やレーダ検出結果を作成する環境評価用赤外線画像作成装置、環境評価用レーダ検出結果作成装置に適用される。この環境評価用赤外線画像作成装置、環境評価用レーダ検出結果作成装置によって作成された赤外線画像やレーダ検出結果は、道路環境を評価するに際して使用される。
【0013】
[第1実施形態]
本発明を適用した第1実施形態に係る環境評価用赤外線画像作成装置は、汎用的なパーソナルコンピュータによって構成され、マウスやキーボード等の操作入力部からの操作入力信号に従って、予め記憶しておいた各種データベースや大気モデルを参照して、図1に示すような処理を実行することによって、仮想的な赤外線画像を作成する。
【0014】
具体的には、図2に示すように、車両の前方における道路環境を撮像するように設置された赤外カメラ1で撮像される赤外線画像を作成する。なお、以下の説明では、赤外カメラ1が撮像する赤外波長におけるエネルギ(赤外エネルギ)に応じて作成される画像を赤外線画像、明るさに応じた輝度情報及び色情報を含んだ画像を輝度画像輝度画像と呼ぶ。
【0015】
このように、赤外カメラ1で撮像される赤外線画像は、気温が高い暖かい日に撮像した場合には、図3(a)に示すように、人物及び背景の温度が共に高くなると共に人物と周囲とが近い値で検出され、全体的に輝度値が高い画像となる。一方、気温が低く寒い日に撮像した場合には、図3(b)に示すように、人物及び背景の温度が低くなると共に人物と周囲とが離れた値で検出されるが、人物全体で見ると、頭部、胴体、脚部で値が大きく異なっている。更に、気温が低く寒い日に同距離に位置する人物を撮像した場合には、図3(c)に示すように、同じ位置、同じ場面で撮像をしても、人物の服装によって、薄着の歩行者は、頭部及び手足部分が体温に近い温度、胴体部分が体温よりも低いが背景よりも高い輝度値で検出され、厚着の歩行者は薄着の歩行者の胴体部分よりも低い輝度値で検出される。ここで、図3及び以下に示す赤外線画像の図では、輝度値が高いほど淡く、輝度値が低いほど濃く表現している。なお、図3(a)に示すように、赤外線画像の座標は、横軸をI、縦軸をJ(単位は画素)とし、左上を原点とする座標系を用いる。
【0016】
したがって、赤外線画像は、撮像する道路環境の気温、物体の表面温度や材質等の様々なパラメータに応じて様々な輝度値として構成される。これに対し、環境評価用赤外画像作成装置は、様々なパラメータを設定して、車両に取り付けられた赤外線画像を仮想的に作成する。
【0017】
この環境評価用赤外画像作成装置は、図1に示すように、予め記憶しておいた物体・風景データベースを読み出し(ステップS1)、物体及び風景を構築する位置定義処理を行う(ステップS2)。また、ステップS1及びステップS2と平行して、環境評価用赤外画像作成装置は、予め記憶しておいた大気モデルを読み出し(ステップS3)、赤外線透過率算出処理を行う(ステップS4)。
【0018】
そして、環境評価用赤外画像作成装置は、ステップS2で構築された物体及び風景の位置関係と、ステップS4で算出された赤外線透過率とを用いて、車両の赤外線カメラで取得される赤外エネルギを算出し(ステップS5)、車両の赤外線カメラからの視点から見た赤外線画像に透視変換を行い(ステップS6)、赤外線画像を作成する(ステップS7)。
【0019】
以下、このように車両に搭載された赤外線画像と同じ赤外線画像を、演算式によって仮想的に作成する処理の詳細について説明する。
【0020】
先ずステップS1において読み出される物体風景データベースは、車両内から見た道路環境に存在する様々な物体に関するデータや、壁や樹木等の背景に関するデータが記憶されている。
【0021】
具体的には、物体風景データベースには、図5に示すように、道路環境に存在しうる信号機(図5(a))、住宅(図5(b))、ビル(図5(c))、樹木(図5(d))、人物(図5(e),(f))、及び交差点(図5(g))やカーブ路(図5(h))等の個々の物体のテクスチャデータが格納されている。また、物体風景データベースには、各テクスチャデータに対応して、各物体の表面属性データとして温度T、材質M、形状θや、色、模様などの特徴を定義している。
【0022】
この表面属性としては、例えば図5(i)に示すように、物体表面の材料(金属、アスファルト、皮膚)ごとに、理想的な黒体を1とし完全反射体を0として、1〜0の値の遠赤外波長λでの放射率ε(λ)が設定されている。この放射率ε(λ)は、物体が熱を帯びているときに出す赤外線の強さを表す数値である。また、この表面属性としては、物体ごとに、遠赤外波長λでの放射エネルギE(λ)が設定されている。
【0023】
したがって、物体風景データベースには、物体ごとに、道路環境における環境温度に応じた物体温度Tと遠赤外波長λとの関数によって放射エネルギE(T,λ)及び放射率ε(λ)が定義されている。なお、個々の物体の放射エネルギE(T,λ)及び放射率ε(λ)は、実験等により既知の値を物体風景データベースに格納しておく。
【0024】
次に、ステップS2での位置定義処理は、物体風景データベースでそれぞれ定義されている物体を道路環境に見立てた位置に配置すると共に、当該道路環境内に赤外カメラ1位置を定義する処理である。この位置定義処理は、例えばユーザの操作によって、交差点、住宅、ビル、信号機、人物を配置して道路環境を構築し、当該道路環境内での赤外カメラ1の配置を定義する。
【0025】
このとき、図4に示すように、基準座標(Xw,Yw,Zw)を原点とし、当該原点に対する各物体が持つオブジェクト座標(Xo,Yo,Zo)、及び、当該オブジェクト座標に対する方向である各物体の姿勢を定義する。そして、カメラ座標系(Xc,Yc,Zc)も基準座標系に対するオブジェクト座標及び姿勢として定義する。これにより、環境評価用赤外画像作成装置は、基準座標(Xw,Yw,Zw)と、赤外カメラ1位置や道路環境における物体との相対的な位置関係を定義する。
【0026】
なお、この位置定義処理では、道路面も物体として扱い、種々の道路面の位置及び姿勢を基準座標系内に定義すればよく、図5(g)や図5(h)に示したような様々な形状の道路や勾配を有する道路を物体風景データベースに用意しておき、各道路面を接続するように道路環境を定義することができる。
【0027】
ステップS3において読み出される大気モデルは、赤外線や輝度に影響する空気中成分や天気の状態に応じた遠赤外線の透過率を定義するデータである。すなわち、道路環境における大気状態における遠赤外線の透過率を定義する。この大気モデルは、図6に示すように、遠赤外線の散乱率に影響する項目Sと、遠赤外線の吸収率に影響する項目αとをパラメータとし、単位距離当たりの透過率を示すテーブルデータで構成されている。すなわち、図6は、全く吸収及び散乱による遠赤外線の減衰がない状態を「1」で表し、吸収及び散乱に応じた透過率を示している。
【0028】
遠赤外線の散乱率に影響する項目Sとしては、降水量、水滴状態、粉塵状態等が挙げられる。このように、水滴や粉塵等の粒子が有る場合には、物体からの遠赤外線が散乱して、赤外カメラ1位置で検出される赤外画像が暗くなる。
【0029】
また、遠赤外線の吸収率は、空気成分中の3原子分子によって変動する。具体的には、遠赤外線は、CO等の炭酸ガス、メタン、二酸化窒素の含有率、湿度及び気温によって示される水蒸気の含有率、オゾン等の含有率が高いほど、吸収率が高くなる。したがって、道路環境における湿度が高いほど遠赤外線の吸収率が高くなって、赤外カメラ1位置で検出される赤外画像が暗くなることになる。
【0030】
したがって、ステップS3における大気モデルは、道路環境での空気成分、湿度及び気温からなる吸収率に関するパラメータと、道路環境での降水量、水滴量、粉塵量からなる散乱率に関するパラメータとが入力されることになる。
【0031】
次のステップS4における赤外線透過率算出処理は、ステップS3で入力された吸収率に関するパラメータと、散乱率に関するパラメータとを定義した大気モデルから、遠赤外線の透過率P(λ)を読み出す処理である。また、この赤外線透過率算出処理では、図6に示すテーブルデータが用意されていない場合には、吸収率に関するパラメータと、散乱率に関するパラメータとから減衰率を求めることによって、透過率P(λ)を求めても良い。
【0032】
なお、赤外エネルギの吸収率や散乱率は、空気中の成分や水分含有率などに依存して変化するものであるが、その値を求めるための物理式は非常に複雑であり、ステップS4にいては、空気中成分や水分含有率から画素毎の赤外エネルギを毎回算出するのは非効率的であるので、テーブルデータを使用することが望ましい。
【0033】
また、ユーザによってパラメータを入力しやすい値、例えば酸素、窒素、二酸化炭素の割合と天候、酸素、窒素、二酸化炭素の割合と湿度と温度等の入力に応じて、テーブルデータを参照するようにしても良い。
【0034】
次に、ステップS5において車両の赤外線カメラで取得される赤外エネルギを算出する処理は、ステップS2で構築された道路環境での物体配置と、ステップS4で算出された透過率P(λ)とを用いて、物体を赤外カメラ1で撮像した時に各物体から受ける赤外エネルギを算出する。
【0035】
具体的には、ステップS2で設定した道路環境における赤外カメラ1位置と、各物体との距離Lによって透過率P(λ)を補正して、距離Lが長いほど減衰度合いが高くなる透過率P(λ,L)を求める。そして、環境評価用赤外画像作成装置は、赤外カメラ1の各画素に到達する赤外エネルギV(i、j)を算出する。
【0036】
また、図7に示すように、赤外カメラ1の注目画素に、住宅の屋根からの赤外エネルギが到達する場合、座標(i,j)の画素に到達する赤外エネルギV(i、j)は、
V(i、j)=E(T、λ)×ε(λ)×cosθ×P(λ,L) (式1)
なる演算式で算出することができる。これにより、環境評価用赤外画像作成装置は、各物体の赤外エネルギ、放射率、赤外カメラ1と物体との相対位置、大気状態に基づいて、赤外カメラ1で撮像される赤外エネルギを算出することができる。なお、各物体の赤外エネルE(T,λ)における物体温度Tは、道路環境における気温によって変更されて、赤外エネルギE(T,λ)は、気温によって変更されたものである。
【0037】
また、このステップS5において、環境評価用赤外画像作成装置は、上記式1で求めた赤外カメラ1の各画素で撮像される赤外エネルギを、各画素値(輝度値)となるようにスケーリング処理を行う。ここで、各画素値(輝度値)を256階調(8ビット)で表現する場合には、赤外エネルギの最小値を0、赤外エネルギの最大値を255とするようにスケーリングを行う。
【0038】
このとき、環境評価用赤外画像作成装置は、ステップS3で入力された気温に応じて、スケーリング処理での画素値の最大値及び最小値を変更しても良い。すなわち、ステップS3において、例えば非常に温度の低い大気状態と入力された場合には、大気の透過率P(λ,L)を考慮した上で、物体表面の温度の最小値を−20度程度に限定すると共に最大値を20度程度に限定する値とする。一方、ステップS3において、例えば温度が高い暑い大気状態と入力された場合には、大気の透過率P(λ,L)を考慮した上で、物体表面の温度の最小値を0度程度に限定すると共に最大値を40度程度に限定する。そして、環境評価用赤外画像作成装置は、設定した温度範囲以下の赤外エネルギの画素値を0とし、設定した温度範囲以上の赤外エネルギの画素値を255にスケーリングをする。
【0039】
このように、赤外エネルギの幅を限定することで、限定した温度範囲(赤外エネルギ)での画素値の分解能を細かくすることができ、逆に、温度(赤外エネルギ)の範囲を広くすることで、画素値の分解能を広くする。また、自動車のエンジンルーム、火事が発生した場面等を含む極端に温度の高い環境を撮像した赤外画像を作成する場合には、より高い温度を細かく見る赤外画像で表現できる最大の温度及び最小の温度を設定する。また、逆に、粗い分解能であっても広い温度範囲をカバーしたい場合は、この温度範囲を広く設定する。
【0040】
なお、温度範囲を狭くして赤外画像を作成することによって、温度分解能の小さい、エッジの鮮明な赤外画像が得られる。
【0041】
次のステップS6における透視変換は、ステップS2で設定した物体の位置と、赤外カメラ1の各画素との位置関係を算出し、赤外カメラ1の各画素に物体を透視変換して、各画素についての赤外エネルギを算出する。すなわち、環境評価用赤外画像作成装置は、赤外カメラ1の画素ごとに、赤外エネルギの出射先となる物体又は背景を決定し、当該物体又は背景から放射される赤外エネルギをステップS5で求められた赤外エネルギに設定する。これによって、赤外カメラ1の撮像面を視点とした透視変換処理を行う。
【0042】
このとき、環境評価用赤外画像作成装置は、図8に示すように、例えば人物の足元位置Pから放射される赤外エネルギを受け取る撮像面上での縦方向における画素位置を求める場合には、ステップS2で設定された人物の足元位置Pと赤外カメラ1との距離z、赤外カメラ1の設置高さL、赤外カメラ1の焦点距離fを用いて、下記の式2に示すように、
yp=f・L/z (式2)
なる演算を行う。これにより、図8中の赤外画像内における人物足元位置が座標jpの高さに現れることを算出することができる。また、図9に示すように、XPを光軸から人物足元(点P)までの距離とすると、下記の式3に示すように、
xp=f・XP/z (式3)
なる演算を行うことによって、人物足元位置Pが撮像される画像上の位置xpを求めることができる。
【0043】
次に、人物足元位置Pの画像上の撮像位置xp、ypを、赤外画像上の点、つまり、画素位置(i、j)への変換を行う。このとき、環境評価用赤外画像作成装置は、原点を中心から、左上、1画素の値に対応する距離でスケール変換すれば、式3で求めたxp、式2で求めたypを、それぞれ画素の位置に変換する。例えば、1画素の大きさがα(mm)とすると、xp、ypはそれぞれ、式5、式6に示すように、
ip=xp/α+XW/2 (式5)
jp=yp/α+YW/2 (式6)
(ip、jp:人物足元位置Pが対応する画素位置(単位:画素)、XW:赤外画像幅(単位:画素)、YW:赤外画像の縦幅(単位:画素))
次に、ステップS7における赤外画像生成処理では、ステップS6で透視変換処理が施された各画素を組み合わせて、一枚の赤外画像を作成する。
【0044】
[第1実施形態の効果]
以上詳細に説明したように、本発明を適用した第1実施形態に係る環境評価用赤外画像作成装置によれば、道路環境に存在しうる物体ごとに、物体の形状、物体から放射される赤外エネルギ及び物体の材質に応じた放射率を記述した物体風景データベースを用意しておき、物体を配置して道路環境を構築すると共に、当該道路環境内における赤外画像の撮像面を定義すると共に、道路環境の大気状態に応じた赤外エネルギの減衰率を算出し、赤外エネルギの減衰率、赤外カメラ1に対する各物体の角度及び距離、各物体の赤外エネルギ及び放射率に基づいて、各物体の赤外エネルギが、赤外カメラ1の各画素に達する赤外エネルギを算出して赤外画像を作成することができるので、ビル、住宅、信号機等の複雑な物体が道路環境内に存在しても、物体の温度変化に応じた赤外画像を正確に表現することができる。
【0045】
したがって、この環境評価用赤外画像作成装置によれば、仮想的に構築して作成した赤外画像によって、様々な道路環境における赤外画像を評価させることができる。すなわち、大気の透過率等も考慮した赤外エネルギ算出が可能であるので、地上で変化しやすい天候に応じた気温や湿度という大気状態を定義しやすく、かつ、様々な環境のうち変化しやすい値を定義することによって、地上での大気環境変化に応じた赤外画像の生成が可能となる。
【0046】
これにより、同じ環境で少しばかり大気環境や温度が異なるような場面の赤外画像も作成することができ、実際の環境に近い赤外画像を生成することができ、具体的には、急な人物の飛び出しがある非常時の赤外画像等であって、実画像の撮影が困難な場面であっても物体の定義によって赤外画像を生成することができる。
【0047】
[第2実施形態]
つぎに、本発明を適用した第2実施形態に係る環境評価用赤外画像作成装置について説明する。なお、上述の第1実施形態と同様の部分については同一符号を付することによりその詳細な説明を省略する。
【0048】
第2実施形態に係る環境評価用赤外画像作成装置は、道路環境内に、高温部である熱源を設定して、赤外画像を作成することを特徴とするものである。この熱源としては、太陽、車両のマフラ部等の気温よりも高い温度帯域を発生させるものであって、道路環境内の物体温度に影響を与えるものである。
【0049】
この第2実施形態に係る環境評価用赤外画像作成装置は、ステップS2における位置定義処理において、図10に示すように、物体として太陽を配置する。
【0050】
このように道路環境中に太陽が存在する通常の自然環境である場合には、四方が同じ材質の建物であっても、太陽光が入射している面と、太陽光に対して影になっている面とでは温度が異なる。そして、このような道路環境を実際の赤外カメラ1で撮像すると、太陽光が入射している面では温度が高く撮像され、太陽光に対して影になっている面では温度が低く撮像される。
【0051】
これに対し、環境評価用赤外画像作成装置では、ステップS2において、各種物体に対する太陽の位置を定義して、物体ごとに太陽光が入射される面と太陽光が入射されない面とを求めて、物体の面ごとに温度Tを設定する。
【0052】
具体的には、図10に示すように、ビルの右後側方の上方に太陽を設置した場合には、ステップS2において、太陽光が入射しないビルの前壁面の温度を、温度Tdに設定すると共に、太陽光が入射しないビル前窓面の温度を、温度Teに設定する。これら温度Tは、物体風景データベースに初期設定されている値である。
【0053】
これに対し、ステップS2において、太陽光が入射されるビルの上壁面の温度を温度Td’に設定すると共に、側壁面の温度を温度Td’’に設定する。これらの温度Td’及び温度Td’’は、初期値として物体風景データベースに設定されているビル壁面の温度Tdよりも高い温度である。
【0054】
これによって、図4では、ビルの四方が同じ材質であり反射放射率や温度も同じであると定義したことに対し、図10に示すように熱源を設定した場合には、通常の壁面温度Tdとは異なる、温度Td’、Td’’に変更する。
【0055】
これら温度Td ’、温度Td’’は、道路環境の定義時に、太陽の日照時間や太陽に対する物体の角度から、物理的な方程式や経験値から上昇すべき温度分だけ温度Tdに対して増加させた温度値に設定される。具体的には、単位時間当たりの壁面の上昇温度と日照時間とから、温度Tdに対する加算温度を定義する方程式を用いても良く、実際のビルの壁面温度を測定して日照時間と壁面温度の上昇度合いを予め記憶しておいて、温度Tdに加算しても良い。
【0056】
また、図10に示すように、太陽とビル等の物体との位置関係によって太陽光が入射される路面と、太陽光が入射されない路面との温度差を設けても良い。
【0057】
更に、熱源としては、太陽以外であっても、熱を発するヒータ、街灯などの温度を持つ路上物体、車内部で温度上昇する部分等であっても良く、当該熱を発する物体面と熱の影響のない物体面とで異なる温度を設定しても良い。
【0058】
また、物体面に対する熱の影響のみならず、一部の発熱部のみの温度が高く、当該発熱部の周囲になるに従って温度が低くなるような温度変化を定義しても良い。具体的には、車両後部に位置するマフラでは、車両のエンジンが作動している場合には、その中心部が高温となり、周囲が次第に低温なる。すなわち、車両のマフラ部周辺では、同じ車体であっても、車体側面や車体側面に近い車体面であって、マフラ部より遠い車体位置よりも高い温度となる。このような他車両を赤外カメラ1で撮像すると、図11(a)に示すように、マフラ部周辺の車体面を撮像した画素値が、他の車体面より高い値として撮像される。これに対して、他車両のエンジンが作動していない状態では、図11(b)に示すように、マフラ部が冷えてマフラ部が存在しない赤外画像が得られる。
【0059】
これに対して、環境評価用赤外画像作成装置は、ステップS2において、赤外カメラ1位置に対して前方に存在する他車両後方が撮像される設定をした場合には、他車両のマフラ部の位置、当該マフラ部の温度を定義し、マフラ部周辺での車体温度をマフラ部の温度に近づくように温度値を定義する。これによって、図11に示したように、赤外カメラ1から前方に走行している他車両が存在すると定義した場合の仮想的な赤外画像を、より実際の赤外画像に近づけて再現することができる。
【0060】
[第2実施形態の効果]
以上詳細に説明したように、本発明を適用した第2実施形態に係る環境評価用赤外画像作成装置によれば、ステップS2において、道路環境内における熱源の位置を定義し、当該熱源の位置と道路環境内における物体の位置と関係によって、当該物体の少なくとも一部の温度を変更して物体から放射される赤外エネルギを変更することができるので、物体の日当たりや、周囲の熱源による影響によって物体の温度分布を細かく設定して、赤外エネルギを変更することができる。
【0061】
したがって、例えば、同じ材質の路面であっても、建物の影となる部分と長時間日向で温度が高い路面は異なる温度に設定することができ、実際に赤外画像を撮像した場合と同様に、日向路面の画素値を日陰路面よりも高い高い画素値で赤外画像を作成することができる。
【0062】
また、路面のみならず、熱源と物体との位置関係に応じた温度分布を、道路環境における全物体に適用することによって、熱源に近い位置の物体の熱源側面の温度を高くしたり、物体表面が曲面の場合は、その温度分布をリニアまたは曲面に応じて可変に設定することができ、更には、路上に設置された実際の物体を赤外画像で撮像したときと同じ温度分布を赤外画像として生成することができる。
【0063】
[第3実施形態]
つぎに、本発明を適用した第3実施形態に係る環境評価用赤外画像作成装置について説明する。なお、上述の実施形態と同様の部分については同一符号を付することによりその詳細な説明を省略する。
【0064】
この第3実施形態に係る環境評価用赤外画像作成装置は、道路環境に設定する様々な表面材質であっても容易に仮想的な赤外画像の作成を可能とすることを特徴とするものである。
【0065】
ここで、実際の赤外カメラ1で実際の道路環境を撮像する場合において、路面のアスファルト材質による赤外画像(温度分布)の変化を調べるためには、路面材質を変更するための道路工事が必要となり現実的ではない。同様に、実際に建物の壁面の材質を変更したことによる赤外画像の変化を調べる場合であっても、建物の壁張り替え工事などが必要となって実現的ではない。すなわち、材質に応じた赤外画像を収集する目的で道路や建物の材質を変更することは現実的ではないため、材質に赤外画像の変化を検証することは、非常に困難である。
【0066】
これに対して、環境評価用赤外画像作成装置において、物体風景データベースには、表面形状及び表面材質がそれぞれ設定された複数の道路を示すデータであって、ステップS2において何れかの道路が選択されて任意の設置位置に設定される道路データと、表面形状及び表面材質がそれぞれ設定された複数の建築物を示すデータであって、ステップS2において何れかの建築物が選択されて任意の設置位置に設定される建築物データとを記憶しておく。そして、ステップS2において、図5を参照して説明した物体風景データベースに格納された道路や建物等のデータのうち、物体材質が異なるデータを選択することによって、各物体からの赤外エネルギ及び放射率を変更することによって、仮想的に材質に応じた複数の赤外画像を作成することができる。
【0067】
また、この環境評価用赤外画像作成装置において、物体風景データベースには、表面材質がそれぞれ設定された複数の動物体を示すデータであって、ステップS2において何れかの動物体が選択されて任意の設置位置に設定される動物体データを格納しておき、ステップS2において、異なる表面材質のデータを選択することによって、同一動物体が同じ道路環境に存在していた場合でも、表面材質が異なる赤外画像の比較を容易に行うことができる。
【0068】
[第4実施形態]
つぎに、本発明を適用した第4実施形態に係る環境評価用赤外画像作成装置について説明する。なお、上述の実施形態と同様の部分については同一符号を付することによりその詳細な説明を省略する。
【0069】
この第4実施形態における環境評価用赤外画像作成装置は、ステップS2において、図5のように位置を定義した各物体面の凸凹も定義する。
【0070】
具体的には、図12(a)に示すように、ビルの位置(X0,Y0,Z0)を設定すると共に、ビルの面座標系である表面軸(Xs−Ys)を定義する。そして、ステップS2において、表面軸(Xs−Ys)からなる物体面の凹凸を、図12(c1)に示すようにXs方向における高さの変化として定義すると共に、図12(c2)に示すようにYs方向における高さの変化として定義する。
【0071】
ここで、図12(c1)及び図12(c2)に示すXs−Ys平面の高さ変化は、数値データとして表現する。また、この凹凸を、正弦波や、所定周期毎の矩形波等の関数として近似表現してもよい。更に、高さHの定義は、例えば表面座標系の原点位置を0とする等の基準を決め、当該基準の原点位置の相対位置として高さ、すなわち表面凹凸の形状を定義すればよい。
【0072】
これにより、環境評価用赤外画像作成装置によれば、上述の式1におけるθを、赤外カメラ1に対する物体面の凹凸の角度に設定することによって、物体面ごとに正確な赤外エネルギV(i、j)を算出することができる。
【0073】
[第5実施形態]
つぎに、本発明を適用した第5実施形態について説明する。この第5実施形態は、路面を車両が走行した場合に、図13に示す処理を行うことによって、車両のレーダ装置によって取得されるであろう仮想的なレーダ検出結果を作成する環境評価用レーダ検出結果作成装置に適用される。
【0074】
なお、上述した実施形態と同様の処理については、同一ステップ番号を付することによってその詳細な説明を省略する。また、上述した実施形態における処理を、後述の環境評価用レーダ検出結果作成装置にも同様に適用できるものとし、重複する技術的事項についての説明を省略するものとする。
【0075】
本発明を適用した第4実施形態に係る環境評価用レーダ検出結果作成装置は、汎用的なパーソナルコンピュータによって構成され、マウスやキーボード等の操作入力部からの操作入力信号に従って、予め記憶しておいた各種データベースや大気モデルを参照して、図12に示すような処理を実行することによって、仮想的なレーダ検出結果を作成する。
【0076】
具体的には、図14(a)に側面図、図14(b)に上面図を示すように、車両の前方における道路環境を探索するように設置されたレーダ装置10で検出されるレーダ検出結果を作成する。なお、以下の説明では、図14に示すように、レーダ装置10が搭載された自車両前方の壁間に、人物A、人物B及び他車両が存在する道路環境であって、図15に示すような赤外画像が得られるような道路環境を仮想的に構築して、仮想的なレーダ検出結果を取得する場合について説明する。また、以下の説明では、自車両に赤外カメラ1及びレーダ装置10の双方が搭載された場合であって、仮想的なレーダ検出結果を取得する処理について説明する。
【0077】
ここで、通常、所定周波数の電波を送信波として送信方位に出力し、当該送信波の反射波(受信波)を受信した時の送信波の送信時刻から受信波の受信時刻までの時間差から、電波を反射した物体までの距離を計測する。また、物体の方位は、受信波を受信した場合のレーダ装置10の送信波の送信方位から取得される。
【0078】
すなわち、後述のステップS2及びステップS11において、図14に示すように他車両、人物A、人物B、壁という物体及びレーダ装置10を配置し、図15に示すような赤外画像が生成されるような道路環境において、赤外カメラ1の光軸に対して水平方向に一次元スキャンした場合に、スキャン方向に物体が存在する場合には、当該スキャン方向であって送信時刻と受信時刻との時間差に応じた距離に物体が存在するというレーダ検出結果を取得することができる。これによって、図16の○印で示す送信波の反射点に物体表面が存在するというレーダ検出結果が得られる。
【0079】
ただし、このレーダ装置10による物体計測は、レーダ装置10からの送信波の反射波を受信する方式であるため、実際に図14に示すような道路環境において送信波を送出しても、物体が存在する位置から反射波を受け取れるとは限られないため、非計測や誤計測がある。
【0080】
このように反射波が受信できない場合としては、送信波が届かないほど遠方に物体が存在する場合や、物体表面の電波の反射強度が弱い材質である場合や、物体表面がレーダの送信軸に対して平行に近いために送信波をレーダ装置10側に反射しない場合、物体面が小さすぎて反射しない場合など、様々な場合が考えられる。
【0081】
更に、任意の波長の電波を送出して、道路環境における大気状態が当該任意の波長の電波を吸収しやすい状態である場合には、送信波及び反射波のエネルギの減水のために、レーダ装置10で反射波が検知できない場合がある。逆に、例えば、空気中に電波を反射しやすい塵が存在する場合や、水分子を反射しやすい波長の電波を送信した場合には、当該塵や水分子に送信波が反射して、レーダ装置10で検知される誤検出が発生する場合があり、この場合には、空気中の塵や雨粒を道路環境における物体と検出してしまう。
【0082】
このような実際のレーダ検出結果の非計測、誤計測も確実に仮想的に再現するために、環境評価用レーダ検出結果作成装置は、図12に示すように、上述したステップS1及びステップS2の後に、道路環境内におけるレーダ装置10の位置及び姿勢を設定する(ステップS11)と共に、ステップS3及びステップS4の処理を行う。
【0083】
そして、環境評価用レーダ検出結果作成装置は、レーダ検出結果で取得される受信波エネルギを算出し(ステップS12)、ステップS12で算出した受信波エネルギの大きさを判定し(ステップS13)、レーダ装置10と各物体との距離を算出し(ステップS14)、仮想的なレーダ検出結果を取得する(ステップS15)。
【0084】
以下、このように車両に搭載されたレーダ検出結果と同じレーダ検出結果を、演算式によって仮想的に作成する処理の詳細について説明する。
【0085】
先ず、ステップS11におけるレーダ装置10の位置定義処理では、上述したステップS2における赤外カメラ1の位置定義処理と同様に、レーダ装置10の位置及び姿勢を定義する。このとき、環境評価用レーダ検出結果作成装置は、図14に示したように、送信波の中心軸が、ステップS2で定義した赤外カメラ1の光軸と並行になるようにレーダ装置10の位置及び姿勢を定義する。また、環境評価用レーダ検出結果作成装置は、仮想的なレーダ装置10のパラメータとして、自車両に搭載されるようなレーダ装置10の受信波の電波エネルギ、送信波の電波エネルギ、レーダ装置10のアンテナ利得、レーダ装置10から出射する送信波の波長を設定する。
【0086】
次のステップS12における受信波エネルギ算出処理は、図17及び図18に示すように、レーダ装置10が送信波(電波)をスキャンしながら送信し、当該送信波が送信方向に存在する物体表面によって反射した電波(受信波)をレーダ装置10が受信した場合の受信波のエネルギを算出する。なお、このステップS12の説明では、道路面に水平方向に一次元スキャンしながら前方の距離をレーダ検出結果として計測することを例として説明するが、2次元スキャンする場合であっても、高さが異なる一次元スキャンを複数回行うことによって同様の結果が得られる。
【0087】
この受信波エネルギ算出処理は、ステップS11におけるレーダ装置10の位置及び姿勢から、図17及び図18に示すようなスキャン範囲が設定されて、所定のスキャン分解能で送信波を送信して、物体が存在するスキャン方向から受信波を受信する。そしてレーダ装置10が受信する受信波の電波エネルギPrを、前方に存在する物体の送信方向に対する角度や、物体の表面材質、大気状態などを考慮して計算する。すなわち、環境評価用レーダ検出結果作成装置は、下記の式7又は式8の演算を行うことによって、受信波の電波エネルギPrを算出する。
【0088】
Pr=Pt*G*λ*σ/{(4π)*R} (式7)
Pr=Pt*G*λ*σ*P(λ)*[α/{(4π)*R}] (式8)
この式7,式8において、Prは受信波の電波エネルギ、Ptは送信波の電波エネルギ、Gはレーダ装置10のアンテナ利得、λはレーダ装置10から出射する送信波の波長、σは波長λの電波に対する物体の有効反射面積、Rはレーダ装置10から物体表面までの距離である。ここで、Pr、Pt、G、λは、ステップS11において設定された値を使用し、σは、ステップS2で設定された波長λの電波に対する反射効率を材質ごとに予め用意した有効面積値、Rは、ステップS2及びステップS11で設定されたレーダ装置10と物体との距離を使用する。また、式8におけるP(λ)は、ステップS4で設定された大気透過率であり、αは、ステップS2で設定された物体表面ごとに定義された電波の反射率である。
【0089】
ここで、式7がP(λ)及びαを考慮していないのに対して、式8はP(λ)及びαを含んでいる。したがって、このステップS12においては、大気状態による影響や物体の表面の種類までを考慮した受信波の電波エネルギPrを演算する場合は、式8を用いればよく、簡易モデル化で十分な場合は、式7の演算によって受信波の電波エネルギPrを求めても良く、又は式8におけるP(λ)とαとの一方を1として受信波の電波エネルギPrを求めても良い。
【0090】
次のステップS13における受信波エネルギの大きさの判定処理は、ステップS12で演算した受信波の電波エネルギPrと、最適しきい値との比較を行い、演算した受信波の電波エネルギPrが最適しきい値よりも大きい場合には、当該受信波の電波エネルギPrの受信波が物体で反射した電波であると判定する。
【0091】
ここで、レーダ装置10は、ある程度の大きさの電波エネルギを受け取ることで、送信時刻から受信時刻までの時間差から距離を計測するものであるが、塵等によって反射して受信した強度の弱い受信波が物体と反射した受信波であるという誤検知を無くす必要がある。これに対し、塵等の他車両や物体以外での反射波をキャンセルするために、通常、確実に物体から反射されたことを判定するための最適しきい値を設定しておく。このような最適しきい値は、実際に存在するレーダ装置10が利用している値を流用することになる。
【0092】
次のステップS14における距離算出処理は、送信波の送信時刻から、ステップS13において最適しきい値より大きい受信波の電波エネルギPrである受信波の受信時刻までの時間差を演算する。ここで、実際のレーダ検出結果は、電波の送受信時間差から距離を求めるが、このステップS14は、受信波の電波エネルギPrが最適しきい値よりも大きいと判定された受信波の送信方位に存在する物体のうち最もレーダ装置10からの距離が近い物体までの距離を求める。このとき、レーダ装置10の軸に対する物体軸までの距離を座標変換によって求める。
【0093】
次のステップS15におけるレーダ検出結果の生成処理では、ステップS12で演算した全ての受信波の電波エネルギPrに対して、ステップS13及びステップS14の処理を行うことによって、一次元スキャン範囲の全方位での受信波について、受信波エネルギの大きさの判定処理及び距離算出処理を行う。このとき、レーダ装置10の仕様であるスキャン分解能、すなわちスキャン範囲における送信波の送信角度間隔度にステップS12及びステップS13の処理を行うかを設定しておく。
【0094】
例えば、図17及び図18におけるスキャン範囲を中心軸から±5度に設定し、スキャン分解能を0.5度とした場合には、中心軸から左右方向に最大5度までの範囲を0.5度ごとにずらしながら、合計20回(=5度÷0.5×2)のステップS12及びステップS13の処理を行う。これによって、図17に示すように、○印で示した点で反射した全受信波をレーダ装置10で検出できるというレーダ検出結果を取得することができる。
【0095】
[第5実施形態の効果]
以上詳細に説明したように、本発明を適用した第5実施形態に係る環境評価用レーダ検出結果作成装置によれば、道路環境に存在しうる物体ごとに、物体の形状を記述した物体風景データベースを用意しておき、物体を配置して道路環境を構築すると共に、当該道路環境内におけるレーダ装置10の位置、レーダ装置10のスキャン範囲及び分解能を定義し、レーダ装置10から発せられるレーダ方位に対する各物体の角度、各物体の反射率に基づいて、レーダ装置10のスキャン範囲及び分解能で決定される送信方位ごとに、各物体からの反射波がレーダ装置10に達する電波エネルギを算出して所定のしきい値よりも大きい反射波の送信方位に存在する物体とレーダ装置10との距離を算出してレーダ検出結果として生成することができるので、ビル、住宅、信号機等の複雑な物体が道路環境内に存在しても、レーダ方位に対する物体の角度に応じたレーダ検出結果を正確に表現することができる。
【0096】
したがって、この環境評価用レーダ検出結果作成装置によれば、仮想的に構築して作成したレーダ検出結果によって、実場面の再現が困難な場合を含む様々な道路環境におけるレーダ検出結果を評価させることができる。すなわち、レーザ方位に対する物体面も考慮したレーダ検出結果の算出が可能であるので、物体面によってはレーダ検出結果が得られないような状況を確実に評価することができ、信頼性の高いレーダ検出結果を取得するシステムの開発及び評価に利用することができる。
【0097】
更に、この環境評価用レーダ検出結果作成装置によれば、物体で反射したと判定できる電波エネルギを所定のしきい値よりも受信波エネルギの大きさが大きい場合に、当該物体との距離をレーダ検出結果として取得し、受信波エネルギの大きさが小さい場合にはレーダ検出結果を作成しないので、物体までの距離計測の信頼性を求めてレーダ検出結果を作成することができる。
【0098】
更にまた、レーダ装置10から出射するレーダの波長を赤外領域であると定義した場合には、上述の第1実施形態と同様に、地上で変化しやすい天候に応じた気温や湿度という大気状態を定義し、かつ、様々な環境のうち変化しやすい値を定義することによって、地上での大気環境変化に応じたレーダ検出結果の生成が可能となる。赤外画像生成の計算式と同じ手法を利用することで、道路環境のレーダ検出結果を生成することが可能となり、レーダ検出結果と赤外画像とを同期させながら収集することもできる。
【0099】
更にまた、走行中の車両では、赤外画像やレーダ検出結果を時間的に連続して取得することが多いが、ステップS2及びステップS11において、レーダ装置10や赤外カメラ1の位置に対する物体配置を、温度変化と共に微少時間ごとに定義し、時間的に連続した赤外画像やレーダ検出結果を生成することができる。また、車両の走行中には、ピッチング運動を伴うが、時間的に連続して、レーダ装置10及び赤外カメラ1の姿勢を中心軸から微少回転させるだけで、ピッチング運動を考慮したレーダ検出結果及び赤外画像を取得することができる。
【0100】
なお、この環境評価用レーダ検出結果作成装置であっても、上述の第3実施形態における物体風景データベースと同様に、表面形状及び表面材質がそれぞれ設定された複数の道路を示すデータであって、ステップS2において何れかの道路が選択されて任意の設置位置に設定される道路データと、表面形状及び表面材質がそれぞれ設定された複数の建築物を示すデータであって、ステップS2において何れかの建築物が選択されて任意の設置位置に設定される建築物データと、表面材質がそれぞれ設定された複数の動物体を示すデータであって、ステップS2で何れかの動物体が選択されて任意の設置位置に設定される動物体データとが格納されてなり、様々な道路環境を想定できることは勿論である。
【0101】
また、この環境評価用レーダ検出結果作成装置であっても、第4実施形態のように、物体風景データベースに物体形状として物体表面の凹凸を定義しておき、撮像面に対する各物体の角度を、物体表面の凹凸によって変更して、各物体表面からレーダ装置10に達する電波エネルギを算出しても良い。
【0102】
[第6実施形態]
つぎに、本発明を適用した第6実施形態について説明する。なお、上述の実施形態と同様の部分については同一符号を付することによりその詳細な説明を省略する。
【0103】
この第6実施形態に係る環境評価用レーダ検出結果作成装置は、図14に示したように、赤外カメラ1の光軸と、レーダ装置10の軸中心とを平行とし、赤外カメラ1やレーダ装置10で前方を撮像及び計測したときに得られる映像やデータに近い画像やレーダ計測値を計算により得る。
【0104】
すなわち、上述のレーダ装置10から出射する送信波の電波エネルギは、上述の式1と同じ演算式によって近似的に取得することができる。そして、この電波エネルギは、物体の赤外エネルギEに置き換えられ、赤外波長λを電波波長に置き換えて、スキャン分解能ごとに式1の計算を行う。そして、式1によって得た電波エネルギが、上述の最適しきい値以上である場合には、物体座標系とレーダ座標系の関係から距離及び物体方位を幾何学的に算出することで、図17の○印で示す検知点を取得することができる。
【0105】
なお、この式1によって電波エネルギを算出する場合であっても、物体材質によって電波吸収率が高い場合には、レーダ検出結果を得ることができず、式1におけるcosθが0となるようなレーダの送出方位と物体面との角度である場合には、レーダ検出結果を得ることができないことは勿論であり、実際のレーダ検出結果と同様な高精度な結果を得ることができる。
【0106】
したがって、この第6実施形態によれば、実際に赤外画像及びレーダ検出結果を得る場合には、実在の赤外カメラ1及びレーダ装置10と二つのセンサを取り付けて、赤外カメラ1とレーダ装置10との光軸をあわせたうえでデータ収集を行う必要があり、更にはキャリブレーションも困難なセンサシステムが必要になるが、ステップS2やステップS11によって物体、赤外カメラ1、レーダ装置10の位置及び姿勢を定義することによって、様々な道路環境且つ赤外画像とレーダ検出結果を同時に作成することができる。
【0107】
[第7実施形態]
つぎに、本発明を適用した第7実施形態に係る環境評価用輝度画像作成装置について説明する。なお、上述の実施形態と同様の部分については同一符号を付することによりその詳細な説明を省略する。
【0108】
第7実施形態に係る環境評価用輝度画像作成装置では、上述の環境評価用赤外画像作成装置及び環境評価用レーダ検出結果作成装置において使用した物体風景データベースをそのまま利用して、赤外画像又はレーダ検出結果と同時に、輝度画像を作成することを特徴とするものである。
【0109】
ここで、赤外画像は、ステップS2で位置及び姿勢を定義した物体温度や赤外エネルギを算出することによって作成されていたが、通常の輝度カメラの場合、物体や背景の明るさや色によって輝度画像を作成する。
【0110】
これに対し、環境評価用輝度画像作成装置は、ステップS2においては、図5で定義した物体のパラメータに加えて物体表面の色や明るさを設定し、ステップS3においては、空気中の明るさを定義して、ステップS4において、光の大気中の透過率を求める。そして、ステップS5においては、ステップS2で設定した物体表面の色及び明るさと、ステップS3で定義された空気中の明るさが、ステップS4で求めた空気中の透過率によって輝度カメラに到達する明るさを求める。
【0111】
次にステップS6において、透視変換によって、輝度画像を構成する各画素に対応する物体や背景の位置を算出し、その位置に定義された色や明るさを輝度画像の画素値とすることで、輝度画像を生成する。また、この画像生成は、赤外画像に生成した道路モデルを活用し、通常のレイトレイシング等の手法を用いればよい。
【0112】
また、この環境評価用輝度画像作成装置では、同じ物体配置及び風景を構築した場合であっても、空気中の明るさを変化させて、暗い日や明るい日の輝度画像の生成も行うことができる。
【0113】
このように、環境評価用輝度画像作成装置によれば、上述した実施形態での処理も行うことによって、一度道路環境を構築することによって、同じ場面での赤外画像、レーダ検出結果及び輝度画像の同時収集が可能となる。したがって、同じ場面での輝度画像、レーダ検出結果及び赤外画像を作成することで、実場面の再現が困難な様々な道路環境の認識処理及び検出処理の開発を可能とし、更には、実際の検出結果を、実際の道路環境と比較することを可能としたため、信頼度の高い認識技術や検出技術の開発及び評価の活用をも可能とする。
【0114】
また、レーダ検出結果を作成するに際しては、式1の波長の値をミリ波帯やマイクロ波帯に変更することで、同じ場面において異なる種類のレーダ装置10を使用した時のレーダ検出結果を作成することが可能となり、どのような場面ではどのようなレーダ装置10を採用するかという各種レーダ装置10の適用検討の評価や、様々な輝度カメラや赤外カメラ1、レーダ装置10を利用したときの認識処理や検出処理の検討等にも活用できる。
【0115】
なお、上述の実施の形態は本発明の一例である。このため、本発明は、上述の実施形態に限定されることはなく、この実施の形態以外であっても、本発明に係る技術的思想を逸脱しない範囲であれば、設計等に応じて種々の変更が可能であることは勿論である。
【0116】
すなわち、上述した一例では、赤外線や電波が仮想的に受信できる道路状況を再現したが、これに限らず、光波等を受信して仮想的な画像や検出結果を得るものであっても良い。
【0117】
更に、上述のように道路環境を定義して赤外画像とレーダ検出結果を同時に作成することができ、これにより、同じ道路環境における、赤外画像と、レーダ検出結果とを含む環境評価用のデータを作成して、赤外画像とレーダ検出結果との比較等を行うための評価用データを作成することができる。また、赤外画像及びレーダ検出結果と同時に、輝度画像も作成することができ、同じ道路環境で取得した輝度画像と赤外画像とレーダ検出結果との比較等を行うための評価用データを作成することができる。
【図面の簡単な説明】
【0118】
【図1】本発明を適用した環境評価用赤外画像作成装置による処理手順を示すフローチャートである。
【図2】赤外カメラを仮想的に車両に設置した場合の赤外カメラの光軸及び座標系について説明するための図である。
【図3】気温や服装によって異なる赤外画像が取得されることを説明するための図である。
【図4】物体風景データベースに記述された物体を配置することによって構築された道路環境の一例を示す図である。
【図5】物体風景データベースに記述された物体であって、道路環境を構築するための道路、建造物、動物体と共に、表面材質の変化による放射率について説明するための図である。
【図6】大気モデルに応じた赤外エネルギの透過率を求める処理を説明するための図であって、赤外エネルギの散乱に影響するパラメータと、赤外エネルギの吸収に影響するパラメータとから赤外エネルギの透過率を求めるテーブルデータを示す図である。
【図7】道路環境における建物からの赤外エネルギが、仮想的な赤外エネルギの撮像面に入射された時の画素の赤外エネルギを求める処理を説明するための図である。
【図8】人物の足元位置Pから放射される赤外エネルギを受け取る撮像面上での縦方向における画素位置を求める処理を説明するための図である。
【図9】人物足元位置Pが撮像される画像上の位置xpを求める処理を説明するための図である。
【図10】道路環境に熱源としての太陽を設置した場合の処理を説明するための図である。
【図11】道路環境に熱源としてのマフラ部を設置した場合であって、他車両が走行していてマフラ部が発熱している場合と、他車両が停止していてマフラ部が発熱していない場合とを説明するための図である。
【図12】物体表面の凹凸によって赤外エネルギの撮像面との角度が変化して、物体の赤外エネルギが変更されることを説明するための図である。
【図13】本発明を適用した環境評価用レーダ検出結果作成装置による処理手順を示すフローチャートである。
【図14】赤外カメラ及びレーダ装置を仮想的に車両に設置した場合の赤外カメラ及びレーダ装置の光軸及び座標系について説明するための図である。
【図15】物体風景データベースに記述された物体を配置することによって構築された道路環境の一例を示す図である。
【図16】図15の道路環境において撮像される赤外画像を示す図である。
【図17】図15の道路環境において取得されるレーダ検出結果を示す図である。
【図18】レーダ装置が送信波(電波)をスキャンしながら送信することを説明するための図である。
【符号の説明】
【0119】
1 赤外カメラ
10 レーダ装置

【特許請求の範囲】
【請求項1】
道路環境において撮像される仮想的な赤外画像を作成する道路環境評価用赤外画像作成装置であって、
前記道路環境に存在しうる物体ごとに、前記物体の形状、前記物体から放射される赤外エネルギ及び前記物体の材質に応じた放射率を記述した物体データベースを記憶する記憶手段と、
前記記憶手段に記憶された物体を配置して道路環境を構築すると共に、当該道路環境内における前記赤外画像の撮像面を定義する道路環境構築手段と、
前記道路環境構築手段によって構築された道路環境の大気状態に応じた赤外エネルギの減衰率を算出する大気モデル算出手段と、
前記大気モデル算出手段で算出された赤外エネルギの減衰率、前記道路環境構築手段で構築された前記撮像面に対する各物体の角度及び距離、各物体の赤外エネルギ及び放射率に基づいて、前記道路環境構築手段によって構築された各物体の赤外エネルギが、前記赤外画像の撮像面の各画素に達する赤外エネルギを算出する赤外エネルギ算出手段と、
前記赤外エネルギ算出手段で算出された各画素の赤外エネルギの値を画素値に変換して、赤外画像を作成する赤外画像作成手段と
を備えることを特徴とする環境評価用赤外画像作成装置。
【請求項2】
前記道路環境構築手段は、道路環境内における熱源の位置を定義し、当該熱源の位置と道路環境内における物体の位置との関係によって、当該物体の少なくとも一部の温度を変更して前記物体から放射される赤外エネルギを変更することを特徴とする請求項1に記載の環境評価用赤外画像作成装置。
【請求項3】
前記物体データベースには、表面形状及び表面材質がそれぞれ設定された複数の道路を示すデータであって、前記道路環境構築手段によって何れかの道路が選択されて任意の設置位置に設定される道路データと、表面形状及び表面材質がそれぞれ設定された複数の建築物を示すデータであって、前記道路環境構築手段によって何れかの建築物が選択されて任意の設置位置に設定される建築物データと、表面材質がそれぞれ設定された複数の動物体を示すデータであって、前記道路環境構築手段によって何れかの動物体が選択されて任意の設置位置に設定される動物体データとが格納されてなることを特徴とする請求項1に記載の環境評価用赤外画像作成装置。
【請求項4】
第1
前記大気モデル算出手段は、赤外エネルギの散乱に影響するパラメータと赤外エネルギの吸収に影響するパラメータとの関係に対する、赤外エネルギの減衰率を記述したテーブルデータを記憶しておき、任意に設定された赤外エネルギの散乱に影響するパラメータ及び赤外エネルギの吸収に影響するパラメータに基づいて、赤外エネルギの減衰率を算出することを特徴とする請求項1に記載の環境評価用赤外画像作成装置。
【請求項5】
前記物体データベースには、前記物体形状として物体表面の凹凸が定義され、
前記赤外エネルギ算出手段は、前記道路環境構築手段によって構築された前記撮像面に対する各物体の角度を、前記物体表面の凹凸によって変更して、各物体表面から前記各画素に達する赤外エネルギを算出することを特徴とする請求項1に記載の環境評価用赤外画像作成装置。
【請求項6】
前記物体データベースには、物体ごとに材質、色、明るさ及び反射率を記述し、前記大気モデル算出手段は、道路環境における空気中の明るさを定義し、
前記赤外エネルギ算出手段は、前記物体データベースに記述されて道路環境を構成する前記物体から前記大気モデル算出手段によって定義された空気中を通過して前記撮像面に達する物体からの光量を算出して、前記道路環境における輝度画像を作成することを特徴とする請求項1に記載の環境評価用赤外画像作成装置。
【請求項7】
道路環境において撮像される仮想的な赤外画像を作成する道路環境評価用赤外画像作成方法であって、
前記道路環境に存在しうる物体ごとに、前記物体の形状、前記物体から放射される赤外エネルギ及び前記物体の材質に応じた放射率を記述した物体データベースを予め記憶しておき、
前記記憶された物体を配置して道路環境を構築すると共に、当該道路環境内における前記赤外画像の撮像面を定義するステップと、
前記構築された道路環境の大気状態に応じた赤外エネルギの減衰率を算出するステップと、
前記算出された赤外エネルギの減衰率、前記撮像面に対する各物体の角度及び距離、各物体の赤外エネルギ及び放射率に基づいて、前記各物体の赤外エネルギが、前記赤外画像の撮像面の各画素に達する赤外エネルギを算出するステップと、
前記算出された各画素の赤外エネルギの値を画素値に変換して、赤外画像を作成するステップと
を有することを特徴とする環境評価用赤外画像作成方法。
【請求項8】
前記道路環境を構築すると共に、当該道路環境内における熱源の位置を定義するステップを有し、
当該熱源の位置と道路環境内における物体の位置との関係によって、当該物体の少なくとも一部の温度を変更して、前記物体から放射される赤外エネルギを変更することを特徴とする請求項7に記載の環境評価用赤外画像作成方法。
【請求項9】
前記物体データベースに、表面形状及び表面材質がそれぞれ設定された複数の道路を示すデータであって、前記道路環境の構築時に何れかの道路が選択されて任意の設置位置に設定される道路データと、表面形状及び表面材質がそれぞれ設定された複数の建築物を示すデータであって、前記道路環境の構築時に何れかの建築物が選択されて任意の設置位置に設定される建築物データと、表面材質がそれぞれ設定された複数の動物体を示すデータであって、前記道路環境の構築時に何れかの動物体が選択されて任意の設置位置に設定される動物体データとを予め格納しておくことを特徴とする請求項7に記載の環境評価用赤外画像作成方法。
【請求項10】
赤外エネルギの散乱に影響するパラメータと赤外エネルギの吸収に影響するパラメータとの関係に対する、赤外エネルギの減衰率を記述したテーブルデータを予め記憶しておき、
任意に設定された赤外エネルギの散乱に影響するパラメータ及び赤外エネルギの吸収に影響するパラメータに基づいて、赤外エネルギの減衰率を算出することを特徴とする請求項7に記載の環境評価用赤外画像作成方法。
【請求項11】
前記物体データベースに、前記物体形状として物体表面の凹凸を定義しておき、
前記赤外エネルギを算出するに際して、前記撮像面に対する各物体の角度を、前記物体表面の凹凸によって変更して、各物体表面から前記各画素に達する赤外エネルギを算出することを特徴とする請求項7に記載の環境評価用赤外画像作成方法。
【請求項12】
前記物体データベースに、物体ごとに材質、色、明るさ及び反射率を記述しておき、
前記道路環境における空気中の明るさを定義するステップを有し、
前記赤外エネルギを算出すると共に、前記物体データベースに記述されて道路環境を構成する前記物体から空気中を通過して前記撮像面に達する物体からの光量を算出して、前記道路環境における輝度画像を作成することを特徴とする請求項7に記載の環境評価用赤外画像作成方法。
【請求項13】
道路環境において取得される仮想的なレーダ検出結果を作成する道路環境評価用レーダ検出結果作成装置であって、
前記道路環境に存在しうる物体ごとに、前記物体の形状を記述した物体データベースを記憶する記憶手段と、
前記記憶手段に記憶された物体を配置して道路環境を構築すると共に、当該道路環境内におけるレーダ装置の位置、前記レーダ装置のスキャン範囲及び分解能を定義する道路環境構築手段と、
前記道路環境構築手段で構築された前記レーダ装置から発せられるレーダ方位に対する各物体の角度、各物体の反射率に基づいて、前記レーダ装置のスキャン範囲及び分解能で決定される送信方位ごとに、前記道路環境構築手段によって構築された各物体からの反射波が、前記レーダ装置に達する電波エネルギを算出する電波エネルギ算出手段と、
前記電波エネルギ算出手段で算出された各電波エネルギが所定のしきい値よりも大きい反射波の送信方位に存在する物体と前記レーダ装置との距離を算出する距離算出手段と、
前記距離算出手段で算出された反射波の送信方位ごとの距離を、前記道路環境構築手段で構築された道路環境におけるレーダ検出結果として生成するレーダ検出結果作成手段と
を備えることを特徴とする環境評価用レーダ検出結果作成装置。
【請求項14】
前記物体データベースには、表面形状及び表面材質がそれぞれ設定された複数の道路を示すデータであって、前記道路環境構築手段によって何れかの道路が選択されて任意の設置位置に設定される道路データと、表面形状及び表面材質がそれぞれ設定された複数の建築物を示すデータであって、前記道路環境構築手段によって何れかの建築物が選択されて任意の設置位置に設定される建築物データと、表面材質がそれぞれ設定された複数の動物体を示すデータであって、前記道路環境構築手段によって何れかの動物体が選択されて任意の設置位置に設定される動物体データとが格納されてなることを特徴とする請求項13に記載の環境評価用レーダ検出結果作成装置。
【請求項15】
前記道路環境構築手段によって構築された道路環境の大気状態に応じた電波エネルギの減衰率を算出する大気モデル算出手段を更に備え、
前記電波エネルギ算出手段は、前記大気モデル算出手段で算出された電波エネルギの減衰率、前記道路環境構築手段で構築された前記レーダ装置に対する各物体の角度に基づいて、前記道路環境構築手段によって構築された各物体の電波エネルギが、前記レーダ装置に達する電波エネルギを算出することを特徴とする請求項13に記載の環境評価用レーダ検出結果作成装置。
【請求項16】
前記物体データベースには、前記物体形状として物体表面の凹凸が定義され、
前記電波エネルギ算出手段は、前記道路環境構築手段によって構築された前記撮像面に対する各物体の角度を、前記物体表面の凹凸によって変更して、各物体表面から前記レーダ装置に達する電波エネルギを算出することを特徴とする請求項13に記載の環境評価用レーダ検出結果作成装置。
【請求項17】
前記物体データベースには、物体ごとに材質、色、明るさ及び反射率を記述し、前記大気モデル算出手段は、道路環境における空気中の明るさを定義し、
前記電波エネルギ算出手段は、前記物体データベースに記述されて道路環境を構成する前記物体から前記大気モデル算出手段によって定義された空気中を通過して前記レーダ装置に達する物体からの光量を算出して、道路環境における輝度画像を作成することを特徴とする請求項15に記載の環境評価用レーダ検出結果作成装置。
【請求項18】
道路環境において取得される仮想的なレーダ検出結果を作成する道路環境評価用レーダ検出結果作成方法であって、
前記道路環境に存在しうる物体ごとに、前記物体の形状を記述した物体データベースを予め記憶しておき、
前記記憶された物体を配置して道路環境を構築すると共に、当該道路環境内におけるレーダ装置の位置、前記レーダ装置のスキャン範囲及び分解能を定義するステップと、
前記構築された前記レーダ装置から発せられるレーダ方位に対する各物体の角度、各物体の反射率に基づいて、前記レーダ装置のスキャン範囲及び分解能で決定される送信方位ごとに、前記構築された各物体からの反射波が、前記レーダ装置に達する電波エネルギを算出するステップと、
前記算出された各電波エネルギが所定のしきい値よりも大きい反射波の送信方位に存在する物体と前記レーダ装置との距離を算出するステップと、
前記算出された反射波の送信方位ごとの距離を、前記道路環境におけるレーダ検出結果として生成するステップと
を有することを特徴とする環境評価用レーダ検出結果作成方法。
【請求項19】
前記物体データベースに、表面形状及び表面材質がそれぞれ設定された複数の道路を示すデータであって、前記道路環境の構築時に何れかの道路が選択されて任意の設置位置に設定される道路データと、表面形状及び表面材質がそれぞれ設定された複数の建築物を示すデータであって、前記道路環境の構築時に何れかの建築物が選択されて任意の設置位置に設定される建築物データと、表面材質がそれぞれ設定された複数の動物体を示すデータであって、前記道路環境の構築時に何れかの動物体が選択されて任意の設置位置に設定される動物体データとを予め記憶しておくことを特徴とする請求項18に記載の環境評価用レーダ検出結果作成方法。
【請求項20】
前記道路環境の大気状態に応じた電波エネルギの減衰率を算出するステップを有し、
前記電波エネルギの減衰率、前記レーダ装置に対する各物体の角度に基づいて、前記各物体の電波エネルギが、前記レーダ装置に達する電波エネルギを算出することを特徴とする請求項18に記載の環境評価用レーダ検出結果作成方法。
【請求項21】
前記物体データベースに、前記物体形状として物体表面の凹凸が定義され、
前記撮像面に対する各物体の角度を、前記物体表面の凹凸によって変更して、各物体表面から前記レーダ装置に達する電波エネルギを算出することを特徴とする請求項18に記載の環境評価用レーダ検出結果作成方法。
【請求項22】
前記物体データベースに、物体ごとに材質、色、明るさ及び反射率を記述しておき、
前記道路環境における空気中の明るさを定義するステップを有し、
前記物体データベースに記述されて道路環境を構成する前記物体から空気中を通過して前記レーダ装置に達する物体からの光量を算出して、道路環境における輝度画像を作成することを特徴とする請求項20に記載の環境評価用レーダ検出結果作成方法。
【請求項23】
道路環境において取得される仮想的な赤外画像及びレーダ検出結果を作成する道路環境評価用データ作成装置であって、
前記道路環境に存在しうる物体ごとに、前記物体の形状、前記物体から放射される赤外エネルギ及び前記物体の材質に応じた放射率を記述した物体データベースを記憶する記憶手段と、
前記記憶手段に記憶された物体を配置して道路環境を構築すると共に、当該道路環境内における前記赤外画像の撮像面、当該撮像面と同じ位置のレーダ装置の位置、前記レーダ装置のスキャン範囲及び分解能を定義する道路環境構築手段と、
前記道路環境構築手段によって構築された道路環境の大気状態に応じた赤外エネルギの減衰率を算出する大気モデル算出手段と、
前記大気モデル算出手段で算出された赤外エネルギの減衰率、前記道路環境構築手段で構築された前記撮像面に対する各物体の角度及び距離、各物体の赤外エネルギ及び放射率に基づいて、前記道路環境構築手段によって構築された各物体の赤外エネルギが、前記赤外画像の撮像面の各画素に達する赤外エネルギを算出する赤外エネルギ算出手段と、
前記赤外エネルギ算出手段で算出された各画素の赤外エネルギの値を画素値に変換して、赤外画像を作成する赤外画像作成手段と、
前記道路環境構築手段で構築された前記レーダ装置から発せられるレーダ方位に対する各物体の角度、各物体の反射率に基づいて、前記レーダ装置のスキャン範囲及び分解能で決定される送信方位ごとに、前記道路環境構築手段によって構築された各物体からの反射波が、前記レーダ装置に達する電波エネルギを算出する電波エネルギ算出手段と、
前記電波エネルギ算出手段で算出された各電波エネルギが所定のしきい値よりも大きい反射波の送信方位に存在する物体と前記レーダ装置との距離を算出する距離算出手段と、
前記距離算出手段で算出された反射波の送信方位ごとの距離を、前記道路環境構築手段で構築された道路環境におけるレーダ検出結果として生成するレーダ検出結果作成手段とを備え、
同じ道路環境における、前記赤外画像作成手段で作成された赤外画像と、前記レーダ検出結果作成手段で作成されたレーダ検出結果とを含む環境評価用のデータを作成することを特徴とする環境評価用データ作成装置。
【請求項24】
前記物体データベースには、物体ごとに材質、色、明るさ及び反射率を記述し、前記大気モデル算出手段は、道路環境における空気中の明るさを定義し、
前記物体データベースに記述されて道路環境を構成する前記物体から前記大気モデル算出手段によって定義された空気中を通過して前記撮像面及び前記レーダ装置に達する物体からの光量を算出して、前記道路環境における輝度画像を作成することを特徴とする請求項23に記載の環境評価用データ作成装置。
【請求項25】
道路環境において取得される仮想的な赤外画像及びレーダ検出結果を作成する道路環境評価用データ作成方法であって、
前記道路環境に存在しうる物体ごとに、前記物体の形状、前記物体から放射される赤外エネルギ及び前記物体の材質に応じた放射率を記述した物体データベースを予め記憶しておき、
前記記憶された物体を配置して道路環境を構築すると共に、当該道路環境内における前記赤外画像の撮像面、当該撮像面の位置と同じレーダ装置の位置、前記レーダ装置のスキャン範囲及び分解能を定義するステップと、
前記構築された道路環境の大気状態に応じた赤外エネルギの減衰率を算出するステップと、
前記算出された赤外エネルギの減衰率、前記撮像面に対する各物体の角度及び距離、各物体の赤外エネルギ及び放射率に基づいて、前記各物体の赤外エネルギが、前記赤外画像の撮像面の各画素に達する赤外エネルギを算出するステップと、
前記算出された各画素の赤外エネルギの値を画素値に変換して、赤外画像を作成するステップと、
前記構築された前記レーダ装置から発せられるレーダ方位に対する各物体の角度、各物体の反射率に基づいて、前記レーダ装置のスキャン範囲及び分解能で決定される送信方位ごとに、前記構築された各物体からの反射波が、前記レーダ装置に達する電波エネルギを算出するステップと、
前記算出された各電波エネルギが所定のしきい値よりも大きい反射波の送信方位に存在する物体と前記レーダ装置との距離を算出するステップと、
前記算出された反射波の送信方位ごとの距離を、前記道路環境におけるレーダ検出結果として生成するステップとを有し、
同じ道路環境における、前記赤外画像と、前記レーダ検出結果とを含む環境評価用のデータを作成することを特徴とする環境評価用データ作成方法。
【請求項26】
前記物体データベースに、物体ごとに材質、色、明るさ及び反射率を記述しておき、
前記道路環境における空気中の明るさを定義するステップを有し、
前記物体データベースに記述されて道路環境を構成する前記物体から空気中を通過して前記撮像面及び前記レーダ装置に達する物体からの光量を算出して、前記道路環境における輝度画像を作成することを特徴とする請求項25に記載の環境評価用データ作成方法。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate

【図9】
image rotate

【図10】
image rotate

【図11】
image rotate

【図12】
image rotate

【図13】
image rotate

【図14】
image rotate

【図15】
image rotate

【図16】
image rotate

【図17】
image rotate

【図18】
image rotate


【公開番号】特開2006−177726(P2006−177726A)
【公開日】平成18年7月6日(2006.7.6)
【国際特許分類】
【出願番号】特願2004−369988(P2004−369988)
【出願日】平成16年12月21日(2004.12.21)
【出願人】(000003997)日産自動車株式会社 (16,386)
【Fターム(参考)】