説明

路面状態判定装置および路面状態判定方法

【課題】広範囲の路面の状態を、細かい分類を用いて精度よく判定する。
【解決手段】紫外線画像から雪の状態を、赤外線画像から水の状態を、温度分布画像から凍結を、それぞれ検知し、その組み合わせから路面の総合的な状態を判定する。外乱の影響を避けるために、天空と路面での画素値の比や、赤外線画像と可視光線画像の画素値の比を使って、雪や水の状態を検知する。判定結果は色分けして表示する。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、画像をもとに路面の状態を判定する技術に関する。
【背景技術】
【0002】
冬期寒冷地は路面凍結によりスリップ事故が多発している。路面の状態(乾燥、湿潤、水膜、圧雪、凍結等)を把握する路面状況把握センサ(以下「路面センサ」)で凍結等の危険な路面状態を検知してドライバーや車両へ提供することにより、ドライバーや車両は減速等の危険回避制御を行い、スリップ事故を回避することができる。
【0003】
また、冬期寒冷地において道路管理者は除雪作業や凍結防止剤散布作業を路面状態に応じて適切に行う必要がある。路面センサを道路管理業務に活用すれば、路面をリアルタイムで監視し、凍結等の危険事象発生時には直ちに道路管理作業を行うことができる。これにより道路管理業務を高品質に行うことが可能になり、道路管理者の作業負荷を軽減することもできる。
【0004】
そのため、カメラ映像を画像処理することにより路面の状態を把握する多くの路面センサが開発されており、例えば以下のようなものがある。
特許文献1に記載されたシステムは、水と氷で吸収率が異なる波長の赤外線を、半導体レーザのように波長帯域の狭い光源を用いて路面に照射し、路面の反射光を赤外線センサで受光して、路面上の水と氷を弁別している。また、水と氷の双方に吸収されにくい波長帯域の光も組み合わせて用いることにより、乾燥・凍結・湿潤・積雪の判定をしている。
【0005】
特許文献2に記載された装置は、ハロゲンランプなどで路面を照射し、光が正反射する領域とその他の領域における反射光の輝度値にもとづいて路面の鏡面化の度合いを検出することにより、「つるつる路面」の発生を検出している。つるつる路面は、路面上の氷や雪の表面が走行車両によって磨かれるなどして鏡面化した路面で、非常に滑りやすく危険な路面である。
【0006】
特許文献3に記載された装置では、予め可視光線カメラで路面を撮像した画像を路面状態(乾燥・湿潤・積雪など)と環境状態(晴天・曇天・夜間など)の分類にしたがってデータベース化しておき、可視光線カメラで撮像した路面の画像がデータベース内のどの画像に最も近いかを、統計解析により算出した特徴量を用いて判定する。
【0007】
これらの他にも、可視光線が水面により偏光される性質を利用し、カメラの前面に取り付けた偏光フィルタを通して得た画像を分析することにより路面状態を判定するセンサや、赤外線が水面で鏡面反射する性質を利用し、赤外線の反射光をカメラで捉えた画像から鏡面反射強度を算出することにより路面状態を判定するセンサが開発されている。また、これらの方式に共通する路面凍結判定方法として、ある箇所の路面温度を測定し、その路面温度が予め定めた温度より低い場合は路面状態を凍結とする判定手法が開発されている。
【0008】
しかし、従来の路面センサには以下の問題があった。
特許文献1のシステムは、半導体レーザを使っており、広範囲の路面状態を判定することができない。特許文献2の装置はつるつる路面の判定に特化しており、乾燥、湿潤、水膜、圧雪、凍結等の細かい分類に応じて路面状態を判定することができない。特許文献3の装置は、センサを設置する場所ごと、路面状態ごと、環境状態ごとにデータベース化する必要があるため手間がかかり、データベースが不完全なうちは周辺の影や日照変化等の外乱により誤判定が生じやすいという問題があった。
【0009】
また、偏光フィルタを利用する方法は、原理的に水分の検知しかできないという課題があり、赤外線の鏡面反射強度を分析する手法は、照明が届く範囲の狭い領域しか路面状態を判定することができないという課題があった。また、特定の箇所で測定した路面温度にもとづく凍結判定方式では、実際に凍結している箇所の路面温度よりも測定箇所の路面温度の方が高かった場合は、凍結していないと誤判定するという課題があった。
【0010】
安全運転支援、道路管理業務支援用途において路面センサに要求されるのは、広範囲な路面の状態を検知することができ、しかも路面をいくつかの領域に分けて領域ごとに路面状態を検知可能なこと、誤判定が少ないこと、初期コストおよび調整コストが少ないこと、乾燥・湿潤・水膜・圧雪・凍結等の細分化された状態が判ること、などである。しかし、現状ではこれらの要件を全て満たす路面センサは存在しない。
【特許文献1】特開平9−318766号公報
【特許文献2】特開2004−157073号公報
【特許文献3】特開2002−162343号公報
【発明の開示】
【発明が解決しようとする課題】
【0011】
本発明の課題は、広範囲な路面の状態を検知することができ、細分化された路面状態が路面を分割した領域ごとに利用者に分かるようにでき、誤判定が少なく、初期コストおよび運用コストがなるべく少ない、路面状態判定の技術を提供することである。
【課題を解決するための手段】
【0012】
図1は本発明の原理を示す図である。本発明による路面状態判定装置1は、状態を判定したい路面に紫外線と赤外線を含む光が当たっている状態でその路面を撮像した紫外線画像、赤外線画像、温度分布画像を用いて、その路面の状態を判定する。路面状態判定装置1は、紫外線画像にもとづいて路面における紫外線特徴量を算出する紫外線特徴量算出手段2と、赤外線画像にもとづいて路面における赤外線特徴量を算出する赤外線特徴量算出手段3と、算出した紫外線特徴量、赤外線特徴量、および温度分布画像にもとづいて路面の状態を総合的に判定する路面状態判定手段4とを備える。
【0013】
以下で、路面の状態とは、路面上の雪、水、氷の状態、及びそれらの分布のことを指す。紫外線は物質に当たった時に散乱しやすく、特に雪表面では紫外線の大部分が散乱されることが知られている。したがって、路面上での紫外線に関する特徴量(強度や反射率など)の値から路面上の雪の状態を検知することができ、路面全体について検知すれば、路面上の雪の分布を検知することができる。また、赤外線は水に吸収されやすいため、路面上での赤外線の特徴量(強度や吸収率など)の値から路面上の水の状態を検知することができ、路面全体について検知すれば、路面上の水の分布を検知することができる。また、路面上の氷の状態(凍結の状態)は路面温度と相関関係を持つ。そこで、本発明による路面状態判定装置1は、紫外線や赤外線の特徴量の値を画像から算出し、路面の温度分布を画像から得て、路面の状態を判定する。
【0014】
紫外線特徴量算出手段2における紫外線特徴量の算出方法として好ましい第一の方法は、天空と路面を含む構図で撮像された紫外線画像を用い、天空領域に対応する天空画素値と、路面領域に対応する路面画素値をそれぞれ算出し、天空画素値と路面画素値の比にもとづいて紫外線特徴量を算出する方法である。好ましい第二の方法は、さらに可視光線画像を用いて可視光線画像の画素値と紫外線画像の画素値にもとづいて紫外線特徴量を算出するか、赤外線画像の画素値と紫外線画像の画素値にもとづいて紫外線特徴量を算出する方法である。
【0015】
紫外線特徴量として路面での紫外線強度を用いる場合、外乱(季節、時間帯、日陰か日向か、など)の影響を受ける。しかし、上記の第一の方法では、天空画素値と路面画素値の比にもとづいた紫外線特徴量を算出するため、季節や時間帯によって紫外線の日射量自体が異なっていても、その影響を受けずに判定することができる。また、上記の第二の方法では、日陰では紫外線だけでなく可視光線や赤外線の日射量も少なくなることに鑑み、可視光線画像または赤外線画像の画素値との比にもとづいた紫外線特徴量を算出するため、日陰か日向かという影響は小さい。
【0016】
赤外線特徴量算出手段3における赤外線特徴量の算出方法として好ましい第一の方法は、天空と路面を含む構図で撮像された赤外線画像を用い、天空領域に対応する天空画素値と、路面領域に対応する路面画素値をそれぞれ算出し、天空画素値と路面画素値の比にもとづいて赤外線特徴量を算出する方法である。好ましい第二の方法は、さらに可視光線画像を用いて可視光線画像の画素値と赤外線画像の画素値にもとづいて赤外線特徴量を算出するか、紫外線画像の画素値と赤外線画像の画素値にもとづいて赤外線特徴量を算出する方法である。
【0017】
赤外線特徴量として路面での赤外線強度を用いる場合、外乱(季節、時間帯、日陰か日向か、など)の影響を受ける。しかし、上記の第一の方法では、天空画素値と路面画素値の比にもとづいた赤外線特徴量を算出するため、季節や時間帯によって赤外線の日射量自体が異なっていても、その影響を受けずに判定することができる。また、上記の第二の方法では、日陰では赤外線だけでなく可視光線や紫外線の日射量も少なくなることに鑑み、可視光線画像または紫外線画像の画素値との比にもとづいた赤外線特徴量を算出するため、日陰か日向かという影響は小さい。
【0018】
なお、本発明が利用する光は、紫外線と赤外線を含む光であれば、日光の路面による反射光(自然光)や、車のヘッドライトや投光器による光や道路に既設されている照明光などの路面による反射光など、いずれの光でも構わない。路面に照射する光については、上記ライトに限るものではなく、波長分布がわかるものであれば後で補正値を算出できるので、どのようなライトによるものであっても構わない。
【発明の効果】
【0019】
本発明による路面状態判定装置1は、紫外線、赤外線、温度という3種類の情報を組み合わせて路面状態を判定しているため、路面状態を細かく分類して判定することができる。また、専用のレーザ光などを必要としないため、広範囲の路面を撮像し、その広範囲の路面について路面状態を判定することができる。また、画像から路面状態を判定するので、特定の箇所についてのみ状態を判定するのではなく、撮像した路面全体について判定することができ、路面を小領域に分割して小領域ごとに路面状態を判定することも可能である。さらに、紫外線特徴量算出手段2や赤外線特徴量算出手段3において、外乱の影響を排除するための算出方法を用いることにより、季節や時間帯に応じてパラメータ調整などを行わなくても、高い判定精度が得られる。また、データベースを使う手法に比べて必要な手間が少ない。
【発明を実施するための最良の形態】
【0020】
以下、本発明の実施の形態について、図面を参照しながら詳細に説明する。
図2は、本発明の第一の実施形態による路面状態判定装置の機能ブロック図である。第一の実施形態では、紫外線画像、赤外線画像、温度分布画像をそれぞれ別のカメラを用いて撮像し、撮像したそれぞれの画像をもとに路面状態を判定する。第一の実施形態では、後の処理に必要となるため、状態を判定したい路面だけでなく天空も含む構図で上記画像を撮像する。また、本実施形態では紫外線特徴量として紫外線反射率を用い、赤外線特徴量として赤外線吸収率を用いる。そして、本実施形態では可視光線画像を撮像するカメラをさらに用いる。可視光線画像は本発明を実施するのに必須の要素ではないが、本実施形態では上記の赤外線特徴量の算出方法として好ましい第二の方法を採用しているので、可視光線画像が必要である。
【0021】
第一の実施形態による路面状態判定装置は、紫外線カメラ撮像部101、紫外線画像生成部102、路面・天空領域抽出部103、紫外線反射率算出部104、投光判定部105、可視光線カメラ撮像部106、可視光線画像生成部107、第一の路面領域抽出部108、赤外線カメラ撮像部109、赤外線画像生成部110、第二の路面領域抽出部111、赤外線吸収率算出部112、赤外線サーモグラフィー撮像部113、路面状態判定部114、路面状態画像生成部115、路面判定結果出力部116、温度分布画像生成部117、を備える。
【0022】
紫外線カメラ撮像部101で路面と天空をあわせて撮像し、紫外線画像生成部102でデジタルデータとしての紫外線画像を生成する。生成された紫外線画像は、路面・天空領域抽出部103において路面領域と天球領域を抽出される。例えば、紫外線カメラ撮像部101と紫外線画像生成部102は、紫外線CCD(Charge Coupled Device;電荷結合素子)カメラとして公知の構成を使ってもよい。
【0023】
路面・天空領域抽出部103における路面領域や天空領域の抽出方法には、例えば、以下のような様々な手法を用いることができる。路面上の白線を検出しその白線で囲まれた範囲内を路面としてもよい。カメラの設置位置や向きなどから、撮影された画像のどの領域が路面でどの領域が天空になるかを判定することとしてもよい。紫外線は天空に多く含まれるため、紫外線画像において画素値が所定の値よりも大きな箇所を天空としてもよい。天空を赤外線サーモグラフィー装置で撮像すると、赤外線放射がほぼ0だと認識されるため、赤外線サーモグラフィー画像において画素値が所定の値よりも小さな箇所を天空としてもよい。カメラが路側に固定された実施態様においては、晴天の昼間などに1回、上記の方法によって路面領域や天空領域を抽出して記憶しておき、以後は記憶した領域にもとづいて、路面領域や天空領域を判定してもよい。画素値としては、グレースケールの画像でその画素の明るさを示す値、カラー画像でその画素のRGB各成分のそれぞれの値(R画素値、G画素値、B画素値)、またはそれらをもとに算出される値、などを採用することができる。
【0024】
紫外線反射率算出部104は、図1の紫外線特徴量算出手段2にあたる。紫外線反射率算出部104では、路面・天空領域抽出部103で抽出された路面領域に含まれる各画素について、その画素に対応する路面上の地点での紫外線反射率を算出する。具体的には、まず紫外線画像の天空領域に含まれる画素の画素値の平均値(「天空画素値」と呼ぶことにする)を算出する。そして、紫外線画像の路面領域に含まれる各画素の画素値を天空画素値で割った比にもとづいて、路面領域の各画素に対応する紫外線反射率を算出する。天空画素値の算出には、平均値ではなく、最頻値や中央値などを用いてもよい。算出された紫外線反射率は、路面状態判定部114で使われる。
【0025】
前述のとおり、紫外線は物質に当たった時に散乱しやすく、特に雪表面では紫外線の大部分が散乱されるため、紫外線の情報から雪の状態を検知することができる。しかし、紫外線強度が所定の閾値以上なら雪が路面上に存在していると判定する場合、季節や時間帯による紫外線の日射量自体の変動の影響を受けて誤判定することがある。例えば、紫外線の日射量自体が多ければ、雪が存在しなくても紫外線強度が閾値を越え、雪が存在すると誤判定する場合がある。これを防ぐために閾値を大きめに設定しておくと、逆に、雪が存在していて紫外線の大部分が雪表面で散乱されているにもかかわらず、紫外線の日射量自体が少ないために雪が存在していないと誤判定することがある。よって、紫外線強度で雪の状態を検知しようとすると、季節や時間帯に応じた判断基準を設けることが必要になる(例えば季節や時間帯によって複数の閾値を切り替えて判断するなど)。
【0026】
そこで、紫外線反射率算出部104では、紫外線強度よりも外乱の影響を受けにくい特徴量として紫外線反射率を採用し、上記のように、路面領域に含まれる各画素の画素値と天空画素値との比にもとづいて紫外線反射率を算出している。これにより、季節や時間帯による紫外線の日射量の変動の影響を抑えている。この方法によれば、季節や時間帯に応じて路面状態を判定するための閾値を変動させる必要がない。
【0027】
なお、外乱の要因としては、紫外線の日射量自体の変動の他に日陰と日向の違いもあるが、本実施形態における紫外線反射率算出部104では考慮していない。もともと紫外線は大気で散乱されやすいため、太陽の直接光よりも天空に多く含まれる。そして、散乱されやすいという性質から、例えば可視光線の日陰と日向の強度差に比べれば、紫外線の日陰と日向の強度差は小さく、日陰か日向かの違いによらず比較的安定して雪の状態や分布を検知することができるためである。
【0028】
可視光線カメラ撮像部106は、紫外線カメラ撮像部101で撮像したのと同じ路面と天空を撮像し、可視光線画像生成部107でデジタルデータとしての可視光線画像を生成する。可視光線画像は、本発明を実施するために必須のものではないが、本実施形態においては、後述する赤外線吸収率の算出および路面判定結果の出力のために必要である。可視光線カメラ撮像部106と可視光線画像生成部107は、例えば、CCDカメラやCMOS(Complementary Metal Oxide Semiconductor;相補型金属酸化膜半導体)画像センサとして公知の構成を利用することができる。生成された可視光線画像は、第一の路面領域抽出部108で路面領域が抽出される。路面領域の抽出方法は、路面・天空領域抽出部103と同様に、様々な手法を用いることができる。
【0029】
赤外線カメラ撮像部109は、紫外線カメラ撮像部101や可視光線カメラ撮像部106で撮像したのと同じ路面を撮像し、赤外線画像生成部110でデジタルデータとしての赤外線画像を生成する。例えば、赤外線カメラ撮像部109と赤外線画像生成部110は、赤外線デジタルCCDカメラとして公知の構成を利用することができる。生成された赤外線画像は、第二の路面領域抽出部111で路面領域が抽出される。路面領域の抽出方法は、路面・天空領域抽出部103と同様に、様々な手法を用いることができる。また、実施の態様によっては、第一の路面領域抽出部108と第二の路面領域抽出部111が共通であってもよい。
【0030】
赤外線吸収率算出部112は、図1の赤外線特徴量算出手段3にあたる。赤外線吸収率算出部112では、第二の路面領域抽出部111で抽出された路面領域に含まれる各画素について、その画素に対応する路面上の地点での赤外線吸収率を算出する。具体的には、赤外線画像の路面領域に含まれる各画素について、その画素値と、その画素に対応する可視光線画像上の画素の画素値との比を求めることにより、各画素に対応する赤外線吸収率を算出する。算出された赤外線吸収率は、路面状態判定部114で使われる。
【0031】
前述のとおり、赤外線は水に吸収されやすいという特徴をもち、実際に赤外線を利用した含水量計等が開発されている。本発明でも赤外線のこの特徴を利用して路面上の水の状態を検知している。この時参照する赤外線の波長領域は、水の吸収波長領域である0.9μm前後といったように限定してもよい。
【0032】
赤外線吸収率算出部112で上記のように比を使うのは、日陰か日向かという外乱の影響を抑えるためである。水の状態を検知するのに、例えば赤外線強度を用いて、赤外線強度が小さければ水が存在していると判定する(水に赤外線が吸収された結果、赤外線強度が小さくなったと判断する)場合、実際には路面が乾燥していても、水があると誤判定してしまう場合がある。なぜなら、路面上の日陰部分では日射量が少ないため、日射に含まれる赤外線量も少なくなるからである。このような誤判定を避けるために、赤外線吸収率算出部112では、日陰部分では可視光線量、赤外線量ともに少なくなるため、可視光線量と赤外線量の比率が日陰部分と日向部分であまり変わらないということを利用している。すなわち、路面に水がなければ、可視光線画像の画素値と赤外線画像の画素値の比は日陰か日向かという違いによらずほぼ一定しているが、路面に水があれば、赤外線が水に吸収されてその比率が変化し、その変化の度合いから路面の水を検知することができる。また、比を用いることにより、季節や時間帯による日射量の変動の影響も抑えられる。
【0033】
ところで、本発明は紫外線画像と赤外線画像を用いて路面状態を判定するため、路面に十分な量の紫外線と赤外線が当たっている必要がある。そこで、十分な日射があるとき(晴天の昼間など)は日射光が路面で反射した反射光を利用し、そうでないとき(夜間や雨天など)は投光器などの照明装置で路面に光を照射し、その光の反射光を利用する。そのため、第一の実施形態では、投光判定部105において、路面・天空領域抽出部103で抽出した天空領域の紫外線強度が所定の閾値より小さい場合は十分な日射がないと判定して照明装置から路面に光を照射し、天空領域の紫外線強度が所定の閾値以上の場合は十分な日射があると判定して照射を停止する。天空領域の紫外線強度は、例えば、紫外線反射率算出部104で求めた天空画素値を用いることができる。また、実施の態様によっては、投光判定部105は光を照射するか否かを決定するだけでなく、さらに天空領域の紫外線強度に応じて、照明装置から光を照射する場合の光量の調節を行うようにしてもよい。例えば、天空領域の紫外線強度が大きいほど照明装置から照射する光量を小さくし、天空領域の紫外線強度が所定の閾値以上のときは照明装置から光を照射しないように調節してもよい。
【0034】
可視光線画像による従来の路面状態判定においては、昼と夜の境目で誤判定が生じやすいという課題があるが、このように日射光と照明装置による光を切り替えて使うことにより、昼夜を通じて高精度に路面の状態を判定することができる。なお、照明装置には、紫外線と赤外線を含む光を照射することができるものを用いる。照明装置は、キセノンランプのように分光分布が比較的一様なものを用いてもよいし、太陽光と分光分布が似ている太陽光照明を用いてもよい。路側にある既存の街灯や、車両のヘッドランプを用いてもよい。予め照明装置が発する光の分光分布が分かっていれば、分光分布にもとづき、紫外線反射率算出部104や赤外線吸収率算出部112での算出値を補正してもよい。
【0035】
赤外線サーモグラフィー撮像部113も、紫外線カメラ撮像部101、可視光線カメラ撮像部106、赤外線カメラ撮像部109で撮像した路面を撮像し、温度分布画像生成部117でデジタルデータとしての温度分布画像を生成する。赤外線サーモグラフィー撮像部113および温度分布画像生成部117は、赤外線サーモグラフィー装置として公知の構成を利用することができる。温度分布画像は路面温度を表しており、路面状態判定部114で使われる。
【0036】
赤外線は熱を持った物体からは必ず放射されており、赤外線の放射量と温度は相関関係を持つ。赤外線サーモグラフィー装置はこの性質を利用して撮像した領域の温度を測定するカメラである。
【0037】
路面状態判定部114は、図1の路面状態判定手段4にあたる。路面状態判定部114は、紫外線反射率算出部104、赤外線吸収率算出部112、温度分布画像生成部117から、紫外線反射率、赤外線吸収率、温度分布画像を入力され、それらの入力にもとづいて路面状態を判定する。本実施形態における判定は、予め定められた路面状態の分類項目のいずれかに分類することに当たる。例えば、「圧雪、圧雪氷板、シャーベット、ザクレ、乾燥、湿潤、氷膜、水膜、氷板」という分類項目を予め定めておき、路面状態判定部114ではこれら分類項目のいずれに該当するのかを判定する。分類項目は任意に定めることができるので、判定結果を見る人間にとって分かりやすいように、また、路面状態の判定を行う地方の気候などに合わせて、適切に細分化して定めておくことが好ましい。
【0038】
判定方法は、様々な方法を用いることができるが、第一の実施形態においては、予め決められた判定条件にしたがって路面状態を判定する。例えば、図3の(a)は、路面状態ごとに実験から得られた紫外線反射率の概略値を示しているが、この紫外線反射率にもとづき、紫外線反射率が80%以上の場合を積雪と判定してもよい。本実施形態では、紫外線反射率が高い順に圧雪、シャーベットと判定し、紫外線反射率が低い場合は赤外線吸収率が高い順に水膜、湿潤、乾燥と判定することにする。図3の(b)は、その判定条件を示したものであり、閾値A、B、C、Dを用い(A<B、C<D)、紫外線反射率がD以上の場合、C以上D未満の場合、C未満の場合に分けている。また、乾燥・湿潤・水膜の区別は紫外線反射率からは判断しにくいので、紫外線反射率がC未満の場合を、さらに、赤外線吸収率がB以上の場合、A以上B未満の場合、A未満の場合に分けている。そして、それぞれの分類について、凍結状態を判定するために、路面温度が0℃より高い場合と0℃以下の場合に分けている。A、B、C、Dの値は、実験等により適切な値を求めて予め設定しておく(例えば図3の(a)の紫外線反射率から、D=80%と設定する)。図3の(b)では、路面温度が0℃より高い場合を「/」の左に、0℃以下の場合を「/」の右に示してある。例えば、紫外線反射率がC以上D未満のときは赤外線吸収率に関係なく、路面温度が0℃より高ければ「シャーベット」(雪が融けかかって水と混じりドロドロになった状態)と判定し、路面温度が0℃以下なら「ザクレ」(ザクザクした氷の状態)と判定する。氷は路面温度と相関関係を持つため、例えば、紫外線反射率がC未満の場合は、赤外線吸収率の値から検知した水の分布と、温度分布画像生成部117で生成した温度分布画像から分かる路面温度とから、氷の状態(氷膜、氷板など)を判定することができる。
【0039】
上記の閾値A、B、C、Dや、図3の(b)の各領域に対応する分類項目(「圧雪」など)のデータは、路面状態判定部114内の記憶手段または他の構成要素と共有している記憶手段に予め記憶されている。入力された紫外線反射率、赤外線吸収率、温度分布画像から路面状態の分類項目を求める工程は、上記の記憶手段に記憶されたプログラムによってソフトウエア的に実現してもよく、路面状態判定部114に専用のハードウエア回路を設けることにより実現してもよい。記憶手段はROM(Read Only Memory)などの不揮発性メモリでもよい。あるいは、記憶手段はRAM(Random Access Memory)でもよく、この場合は、必要なデータやプログラムが予め記憶された可搬型記憶媒体(フレキシブルディスク、CD(Compact Disc)、DVD(Digital Versatile Disk)、光磁気ディスクなど)から、記憶内容をRAMに予め読み込んでおくか、不図示の通信インタフェイスを通じてネットワークから必要なデータやプログラムをRAMに予め読み込んでおく。
【0040】
路面状態判定部114は、各画素に対して上記の判定を行ってもよく、路面を複数の領域に分割し、それぞれの領域ごとに上記の判定を行ってもよい。例えば、それぞれの領域が縦N画素×横M画素になるように路面を分割し、各領域に対して、N×M個の画素値の平均値を求め、その平均値を使って図3の判定条件にしたがって判定してもよい。平均値の代わりに最頻値など別の値を用いてもよい。
【0041】
路面状態画像生成部115は、路面状態判定部114が判定した路面状態をもとに、路面状態画像を生成し、路面判定結果出力部116に出力する。
路面状態画像は、例えば、路面を複数の領域に分割し、それぞれの領域ごとに路面状態を色分けした画像である。例えば、乾燥を青、湿潤や水膜を黄色、シャーベットや圧雪をオレンジ色、圧雪氷板、ザクレ、氷膜、氷板を赤で表示する(危険度が高い路面状態ほど赤に近い色で表示する)など、人間が危険箇所とその危険の度合を把握しやすいように、予め路面状態に応じて表示色を決めておく。領域ごとではなく、画素ごとに色分けするのでもよい。
【0042】
また、凍結事象は路面温度からの推測であるため、他の事象と区別して表現してもよい。例えば、紫外線や赤外線から判定した雪や水の状態を色で表現し、路面温度から判定した凍結の発生具合を色とは別の手段で表現してもよい。具体的には、例えば、路面温度が0℃以下の領域は立体的に高く見えるよう表現し、路面温度が0℃より高い領域は高さがない(平らに見える)ように表現する。このように路面に凹凸があるように画像で表現すると、ドライバーが路面の危険度を直感的に把握しやすくなる。また、色と高さの表現を組み合わせることにより、雪や水に関する路面状態と凍結に関する路面状態が複合した状態を一つの画像で表現することができ、路面の危険状態を人間が容易に把握することができる。あるいは、危険度が高い路面状態ほど高く表現するなど、高さによる表現のみを用いてもよい。
【0043】
路面判定結果出力部116は、可視光線画像生成部107で生成された可視光線画像(本実施形態においてはカラー画像だが、グレースケール画像でもよい)と路面状態画像を合成して、路面状態判定結果画像を出力する。路面状態判定結果画像の例を図4に示す。図4は、路面を複数の領域に分割してそれぞれの領域ごとに路面状態を色分けした路面状態画像が、可視光線画像と合成された路面状態判定結果画像の例である。図4では圧雪を黄色、凍結を赤色で表示しており、路面の危険状態が把握しやすい。
【0044】
なお、本実施形態では、紫外線カメラ撮像部101、可視光線カメラ撮像部106、赤外線カメラ撮像部109、赤外線サーモグラフィー撮像部113の視点位置の差は無視することができる程度だと仮定している。つまり、これらの撮像部で撮像され、紫外線画像生成部102、可視光線画像生成部107、赤外線画像生成部110、温度分布画像生成部117で生成された各画像において、各画像のサイズが同じなら、路面上の同じ1点が各画像の同じ座標の画素に対応すると見なすことができ、特に座標変換処理を必要としないものと仮定している。実施の態様によっては各撮像部の視点位置の差を無視することができない場合もあるが、その場合は、後述のように、路面上の同じ1点が各画像のどの座標に相当するのか対応をとる手段をさらに設ければよい。
【0045】
図5は本発明の第二の実施形態による路面状態判定装置の機能ブロック図である。第二の実施形態では、紫外線画像、赤外線画像、可視光線画像を1つのステレオカラーカメラを用いて撮像する。紫外線画像と赤外線画像から路面状態を判定し、可視光線画像を路面判定結果出力などの用途に用いることができる。また、本実施形態でも、紫外線特徴量として紫外線反射率を用い、赤外線特徴量として赤外線吸収率を用いる。可視光線画像は本発明の実施に必須の要素ではないが、本実施形態では上記の赤外線特徴量の算出方法として好ましい第二の方法を採用しているので、可視光線画像も撮像して利用する。
【0046】
第二の実施形態による路面状態判定装置は、青波長領域カット部301、第一の撮像部302、第一の画像生成部303、路面・天空領域抽出部304、紫外線反射率算出部305、投光判定部306、赤波長領域カット部307、第二の撮像部308、第二の画像生成部309、路面領域抽出部310、赤外線吸収率算出部311、相対位置算出部312、赤外線サーモグラフィー撮像部313、路面状態判定部314、路面状態画像生成部315、カラー画像合成部316、路面判定結果出力部317、温度分布画像生成部318、を備える。
【0047】
第一の撮像部302と第二の撮像部308は、ステレオカラーカメラの2つの撮像部である。第一の撮像部302は少なくとも紫外線領域と可視光線領域(赤波長領域、緑波長領域、青波長領域の全てを含む)に感度を有し、第二の撮像部308は少なくとも赤外線領域と可視光線領域(赤波長領域、緑波長領域、青波長領域の全てを含む)に感度を有する。第一の撮像部302と第二の撮像部308がともに、紫外線領域から赤外線領域までの波長領域に感度を有する受光素子を用いた撮像部であってもよい。
【0048】
例えば、一般的な可視光線画像撮影用のカメラ(CCDカラーカメラやCMOSカラーカメラなど)の中には、近紫外線領域から近赤外線領域までの波長領域に感度を有する受光素子を用いているものがある。そのようなカメラは、受光素子の分光感度特性が人間の眼とは異なるため、フィルタで紫外線と赤外線をカットしてから受光させ、撮像した可視光線画像が人間の眼で見た映像に近くなるようにしている。本実施形態では、例えば、そのようなカメラを2つ備えたステレオカラーカメラから、紫外線と赤外線をカットするフィルタを外し、第一の撮像部302と第二の撮像部308として利用することができる。
【0049】
ところで、一般にCCDやCMOSなどの固体撮像素子を用いたカメラでは、受光素子自体には色を識別する能力がないので、RGB三色のカラーフィルタや分光プリズムを用いて光を赤(R)・緑(G)・青(B)に分解して受光素子に別々に受光させ、RGBそれぞれの画素値を得てカラー画像を生成することにより、カラー撮影を行っている。また、一般的な可視光線画像撮影用のCCDカメラやCMOSカメラにおいて、色の分解は、前述した紫外線と赤外線をカットするフィルタを透過した後の光(つまり可視光線の光)に対して行う。よって、色の分解に用いるカラーフィルタや分光プリズムは、可視光線の赤・緑・青だけを選択するものでなくともよい。つまり、可視光線の赤波長領域の光とそれより長い波長領域の光(つまり赤外線)とを分別しないカラーフィルタや分光プリズムを使っても、赤外線が既にフィルタでカットされているため、このカラーフィルタまたは分光プリズムにより、可視光線の赤波長領域の光のみが取り出され、R画素値が得られる。同様に、可視光線の青波長領域の光とそれより短い波長領域の光(つまり紫外線)とを分別しないカラーフィルタや分光プリズムを使っても、紫外線が既にフィルタでカットされているため、このカラーフィルタまたは分光プリズムにより、可視光線の青波長領域の光のみが取り出され、B画素値が得られる。ただし、可視光線の緑波長領域の光に対応するG画素値だけは、可視光線の緑波長領域の光そのものをカラーフィルタや分光プリズムを用いて取り出す必要がある。
【0050】
カラーフィルタや分光プリズムは、本実施形態においては第一の撮像部302や第二の撮像部308に構成要素として含まれている。カラーフィルタを使うものとして説明すると、本実施形態において、青(B)のカラーフィルタは可視光線の青波長領域の光およびそれより短い波長領域の光(つまり紫外線)を通すフィルタ、緑(G)のカラーフィルタは可視光線の緑波長領域の光を通すフィルタ、赤(R)のカラーフィルタは可視光線の赤波長領域の光およびそれより長い波長領域の光(つまり赤外線)を通すフィルタである。
【0051】
第一の撮像部302と第二の撮像部308の前には、それぞれ青波長領域カット部301と赤波長領域カット部307が備えられている。青波長領域カット部301は、可視光線のうちの青波長領域の光をカットするフィルタであり、図6の(b)のフィルタ手段に相当する。赤波長領域カット部307は、可視光線のうちの赤波長領域の光をカットするフィルタであり、図6の(a)のフィルタ手段に相当する。青波長領域カット部301と赤波長領域カット部307の機能および図6については、第一の画像生成部303と第二の画像生成部309の機能とあわせて後述する。なお、第一の撮像部302と第二の撮像部308として、前記のように一般的な可視光線画像用のCCDカメラやCMOSカメラから紫外線と赤外線をカットするフィルタを外したものを用いる場合、外したフィルタのかわりにそれぞれ青波長領域カット部301と赤波長領域カット部307が撮像部の前に備えられる。
【0052】
第一の実施形態と同様に、第一の撮像部302では路面と天空をあわせて撮像し、第一の画像生成部303でデジタルデータとしての画像を生成する。以下の処理では、ここで生成した画像のRGBの各成分を使った計算を行うため、第一の画像生成部303では、フルカラーの画像ではなく、RGBの各要素に分解された画像(以下、それぞれ「R画像」、「G画像」、「B画像」と言う)をそれぞれ生成するものとして説明する。しかし、実施の態様によっては、第一の画像生成部303ではフルカラーの画像を生成し、紫外線反射率算出部305などで、RGBの各要素のうち必要な要素の画素値を画像データから求めることとしてもよい。
【0053】
第一の画像生成部303で生成されたB画像は、紫外線画像に相当する。理由は以下のとおりである。
図6は、ステレオカラーカメラを用いて赤外線画像および紫外線画像を生成する原理を示す図で、このうち(b)が、第一の画像生成部303で生成されたB画像が紫外線画像になることを説明している。図中のフィルタ手段は、青波長領域カット部301に相当し、青波長領域が遮断領域、紫外線領域が透過領域である。また、B画像は青のカラーフィルタを通過した光にもとづいて生成されるが、前述のとおり、青のカラーフィルタは可視光線の青波長領域の光およびそれより短い波長領域の光(つまり紫外線)を透過させる。よって、青波長領域カット部301を通過し、第一の撮像部302で青のカラーフィルタを通過して受光されるのは紫外線であるから、第一の画像生成部303で生成されたB画像は紫外線画像に相当する。
【0054】
また、第一の画像生成部303で生成されたG画像は緑波長領域の光に対応する画像である。第一の画像生成部303で生成されたR画像は、第一の撮像部302が赤外線にも感度を有していれば赤波長領域の光と赤外線にもとづく画像となり、第一の撮像部302が赤外線に感度を有していなければ、赤波長領域の光にもとづく画像となる。
【0055】
第一の画像生成部303で生成されたB画像は、路面・天空領域抽出部304において路面領域と天球領域を抽出される。路面・天空領域抽出部304における路面領域や天空領域の抽出方法は、第一の実施形態における路面・天空領域抽出部103の場合と同様である。
【0056】
紫外線反射率算出部305は、図1の紫外線特徴量算出手段2にあたる。紫外線反射率算出部305では、路面・天空領域抽出部304で抽出された路面領域に含まれる各画素について、その画素に対応する路面上の地点での紫外線反射率を算出する。算出方法は、第一の実施形態における紫外線反射率算出部104と同様である。算出された紫外線反射率は、路面状態判定部314で使われる。
【0057】
第二の実施形態においても、第一の実施形態と同様の投光判定部306を備えており、照明装置から光を照射するか否かを紫外線の日射量に応じて判定している。照明装置はこの判定結果にしたがって制御される。
【0058】
赤波長領域カット部307、第二の撮像部308、第二の画像生成部309の動作原理は図6の(a)に示されており、図6の(b)に示した青波長領域カット部301、第一の撮像部302、第一の画像生成部303の動作原理と同様である。動作原理が同様であることは、図6の(a)と(b)が対称的であることからも明らかである。どちらも、撮像したい第一の波長領域(赤外線または紫外線)と、それに隣接した第二の波長領域(可視光線)に感度を有する撮像部(第二の撮像部308または第一の撮像部302)を用い、第二の波長領域に含まれる赤・緑・青の波長領域の中で第一の波長領域に最も近い波長領域である第三の波長領域を遮断領域とするフィルタ手段(赤波長領域カット部307または青波長領域カット部301)を透過させた光をRGBの3色に分解することで、所望の赤外線画像または紫外線画像を得ている。
【0059】
つまり、赤波長領域カット部307によって可視光線の赤波長領域の光がカットされるので、第二の画像生成部309で生成されたR画像は赤外線画像に相当する。第二の画像生成部309で生成されたG画像は緑波長領域の光に対応する画像である。第二の画像生成部309で生成されたB画像は、第二の撮像部308が紫外線にも感度を有していれば青波長領域の光と紫外線にもとづく画像となり、第二の撮像部308が紫外線に感度を有していなければ、青波長領域の光にもとづく画像となる。
【0060】
ところで、人間の眼が最も明るさを感じる色は緑なので、路面状態を判定する過程で計算に用いる可視光線画像として、フルカラーの可視光線画像のかわりにG画像を用いても大きな問題はないと考えられる。そこで、第二の実施形態においては、路面領域抽出部310に赤外線画像として第二の画像生成部309で生成されたR画像を与え、可視光線画像として第二の画像生成部309で生成されたG画像を与える。そして、路面領域抽出部310で路面領域を抽出されたR画像とG画像を赤外線吸収率算出部311に与える。路面領域を抽出する方法および2つの画像から赤外線吸収率を算出する方法は、第一の実施形態と同様である。なお、赤外線吸収率算出部311は、図1の赤外線特徴量算出手段3にあたる。
【0061】
相対位置算出部312は、第一の画像生成部303および第二の画像生成部309で生成された2つのG画像を比較し、ステレオカラーカメラ(2つの撮像部)で撮像された2つの画像の相対位置情報を算出する。算出手法は公知なので省略するが、例えば、2つのG画像の輪郭線を抽出し、テンプレートマッチングにより2つの画像のX軸およびY軸のずれを計算することにより、相対位置情報を算出する。
【0062】
赤外線サーモグラフィー撮像部313と温度分布画像生成部318は、第一の実施形態における赤外線サーモグラフィー撮像部113、温度分布画像生成部117と同様である。
【0063】
路面状態判定部314は、図1の路面状態判定手段4にあたる。路面状態判定部314は、紫外線反射率算出部305、赤外線吸収率算出部311、温度分布画像生成部318から、紫外線反射率、赤外線吸収率、温度分布画像を入力され、それらの入力にもとづいて路面状態を判定する。また、もともとステレオカラーカメラは立体画像認識などに利用されるものなので、2つの撮像部の視点の差を無視することができない程度に2つの撮像部の間隔があいている。紫外線反射率と赤外線吸収率は、このような2つの別の撮像部で撮像された画像にもとづいて算出されているため、路面上の同じ1点がそれぞれの画像では異なる座標の画素に対応している。そこで、ある箇所の紫外線反射率と赤外線吸収率からその箇所の路面状態を判定するためには、2つの画像の座標を対応させる必要がある。相対位置算出部312で算出した相対位置情報は、2つの撮像部の視点の差に対応する情報である。よって、相対位置算出部312で算出した相対位置情報を路面状態判定部314に与えている。
【0064】
路面状態判定部314は第一の実施形態と同様の方法で判定してもよいが、第二の実施形態では路面状態判定部314がニューラルネットワークで構成されている。図7と図8を参照して、ニューラルネットワークを用いた路面状態判定方法を説明する。
【0065】
図7は画像の画素配置構成の例を示す図である。以下では、路面状態判定部314は各画素各画素に対して路面状態を判定するものとし、塗りつぶされている画素(3,2)の路面状態を判定する場合の例を説明する。また、以下では、既に相対位置情報によって2つの画像の座標の対応が取られているものとする。例えば、赤外線吸収率の算出に使った画像の座標を相対位置情報によって変換して、紫外線反射率の算出に使った座標に合わせ、双方の画像で同じ座標の画素が路面上の同じ1点に対応するよう、処理を済ませた後であるとして説明する。後述するように、画素(3,2)の路面状態を判定するのに、その近傍の太線で囲まれた8つの画素、すなわち(2,1)から(4,3)の範囲にある画素の画素値も用いる。
【0066】
図8は画素(3,2)に対してニューラルネットワークを構成した例を示す図である。路面状態判定部314は各画素各画素に対して路面状態を判定するので、図8と同様のニューラルネットワークが各画素に対して構成されている。ニューラルネットワークは入力層501、中間層502、出力層503からなる階層構造をなす。図8では中間層502が1層だが、多層としてもよい。
【0067】
ニューラルネットワークの運用過程においては、路面状態判定の対象画素である(3,2)、および近傍の(2,1)から(4,3)の範囲にある8個の画素の、紫外線反射率と赤外線吸収率が入力層501に入力される。中間層502を経て出力層503に路面状態に応じた数値(例えば、乾燥は0.1、湿潤は0.3、水膜は0.5、シャーベットは0.7、圧雪は0.9、など)が出力される。対象画素だけでなく近傍画素の紫外線反射率、赤外線吸収率も入力することで、出力の精度をより高めることができる。なお、近傍画素として選ぶ画素の範囲は、実施の態様によって任意に定めてもよい。出力層503からの出力値と、温度分布画像から得られる温度にもとづいて、路面状態を判定する。例えば、出力層503からの出力が湿潤を表す値で路面温度が0℃より高いときは湿潤と判定し、路面温度が0℃以下のときは氷膜と判定する(図3の(b)の判定条件で「湿潤/氷膜」という組になっているのを参照)。
【0068】
ところで、ニューラルネットワークを運用するためには、まず中間層502および出力層503のノードでウェイト(重み付け)を学習させる必要がある。学習過程においては、ニューラルネットワークに対象画素(3,2)および近傍画素の紫外線反射率と赤外線吸収率を入力データとして与え、路面状態に応じた数値を教師データとして与えることによりウェイト変化量を算出する。これを繰り返すことにより最適なウェイトを算出することができる。路面状態に応じた数値は人間が与えてもよく、感雨計や積深計等の気象計器の出力値から算出した数値を自動的に与えてもよい。人間が目視によって路面状態を判定する基準は人によって異なるが、ニューラルネットワークにそれぞれの人に応じた教師データを与えて学習させれば、それぞれの人に応じた基準で路面状態を判定することができるようになる。
【0069】
路面状態画像生成部315は、第一の実施形態における路面状態画像生成部115と同様に、路面状態判定部314が判定した路面状態をもとに、路面状態画像を生成し、路面判定結果出力部317に出力する。
【0070】
カラー画像合成部316は、第一の画像生成部303および第二の画像生成部309で生成された画像と、相対位置算出部312で算出された相対位置情報を入力として受け取り、カラー画像を合成して路面判定結果出力部317に出力する。このカラー画像は、第一の実施形態において路面判定結果出力部116に入力として与えられる可視光線画像に相当する。
【0071】
カラー画像の合成は、例えば、第一の撮像部302を視点とする画像を合成する場合、次のように行う。まず、第二の画像生成部309で生成されたB画像を相対位置情報にもとづいて第一の撮像部302を視点とするB画像に変換する。第二の撮像部308が紫外線にも感度を有する場合、このB画像は青波長領域の光と紫外線にもとづく画像なので、第一の画像生成部303で生成されたB画像(紫外線画像)との差分画像を求め、その差分画像を青波長領域の光に対応するB画像とする。緑波長領域の光に対応するG画像は、第一の画像生成部303で生成されたG画像を用いる。赤波長領域の光に対応するR画像も、B画像と似た手順で求められる。すなわち、第二の画像生成部309で生成されたR画像(赤外線画像)を相対位置情報にもとづいて第一の撮像部302を視点とするR画像に変換する。第一の撮像部302が赤外線にも感度を有する場合、第一の画像生成部303で生成されたR画像は赤波長領域の光と赤外線にもとづく画像なので、これと変換によってもとめたR画像との差分画像を求め、その差分画像を赤波長領域の光に対応するR画像とする。こうして得られたR画像、G画像、B画像から、カラー画像を合成する。
【0072】
実施の態様によっては、第二の撮像部308を視点とする画像を合成するようにしてもよく、第一の撮像部302と第二の撮像部308の中間点を視点とする画像を合成するようにしてもよい。また、差分画像を求めずに、例えば第一の画像生成部303で生成されたR画像をそのまま、カラー画像を合成するためのR画像として用いてもよい。実施の態様に応じてカラー画像の合成に必要な画像が異なるが、カラー画像合成部316は第一の画像生成部303および第二の画像生成部309から、それらの必要な画像を入力として受け取るものとする。
【0073】
路面判定結果出力部317は、第一の実施形態における路面判定結果出力部116と同様に、カラー画像合成部316で合成したカラー画像と路面状態画像生成部315で生成した路面状態画像を合成し、判定結果画像を出力する。
【0074】
なお、障害物検知などのために車載のステレオカメラを用いるシステムなどがあるが、そのような既存のシステムと、カメラや撮像した画像を共有することにより、第二の実施形態による路面状態判定装置は、低コストで実現することができる。
【0075】
図9は本発明の第三の実施形態による路面状態判定装置の機能ブロック図である。第三の実施形態では、一つの撮像装置(汎用カラーカメラ)で紫外線画像、可視光線画像、赤外線画像を撮像する。紫外線画像と赤外線画像から路面状態を判定し、可視光線画像を路面判定結果出力などの用途に用いることができる。また、本実施形態でも、紫外線特徴量として紫外線反射率を用い、赤外線特徴量として赤外線吸収率を用いる。可視光線画像は本発明の実施に必須の要素ではないが、本実施形態では上記の紫外線特徴量の算出方法として好ましい第二の方法を採用しているので、そのために撮像して利用する。
【0076】
第三の実施形態による路面状態判定装置は、青波長領域・赤波長領域カット部401、撮像部402、画像生成部403、路面領域抽出部404、紫外線反射率算出部405、路面・天空領域抽出部406、投光判定部407、赤外線吸収率算出部408、赤外線画像撮像部409、温度測定部410、温度分布画像生成部411、路面状態判定部412、路面状態画像生成部413、路面判定結果出力部414、を備える。
【0077】
青波長領域・赤波長領域カット部401は、可視光線のうちの青波長領域と赤波長領域の光をカットし、紫外線、可視光線のうちの緑波長領域の光、赤外線を通過させるトリプルバンドパスフィルタである。青波長領域・赤波長領域カット部401を、図10に示すように、第二の実施形態における青波長領域カット部301と赤波長領域カット部307の双方(図6)の機能を兼ねたフィルタ手段と見なすこともできる。なお、図6と図10の比較から明らかなとおり、実施の態様によっては、青波長領域・赤波長領域カット部401をトリプルバンドパスフィルタで実現するのではなく、第二の実施形態における青波長領域カット部301と赤波長領域カット部307と同様の2つのフィルタで構成して実現することも可能である。つまり、フィルタを2段構成にすることにより、青波長領域の光と赤波長領域の光の双方をそれぞれのフィルタでカットし、全体としてトリプルバンドパスフィルタと同等の効果を得るようにしてもよい。
【0078】
撮像部402は青波長領域・赤波長領域カット部401を通過した光を受光して撮像する。撮像部402は紫外線から赤外線に感度を有するものを用いる。前述のとおり、一般的に可視光線画像用として用いられるCCDカラーカメラやCMOSカラーカメラには、近紫外線から近赤外線に感度を有する受光素子を用いているものが多いので、そのような汎用的なカメラの部品を撮像部402に利用することができる。撮像部402は、第二の実施形態における第一の撮像部302や第二の撮像部308と同様に、撮像素子のほかに、カラーフィルタや分光プリズムなどをその構成要素として含んでいる。また、撮像部402として可視光線画像用のCCDカラーカメラやCMOSカラーカメラの部品を利用する場合は、第二の実施形態と同様に、紫外線と赤外線をカットするフィルタを外して利用する。
【0079】
第一および第二の実施形態と同様に、撮像部402では路面と天空をあわせて撮像し、画像生成部403でデジタルデータとしての画像を生成する。以下では、第二の実施形態と同様にR画像、G画像、B画像を画像生成部403が生成するものとして説明するが、フルカラーの画像を生成してもよい(この点も第二の実施形態と同様である)。
【0080】
画像生成部403で生成されたR画像は赤外線画像に相当し、G画像は可視光線画像に相当し、B画像は紫外線画像に相当する。その理由は第二の実施形態で説明したのと同様で、図10からも明らかである。このようにして、本実施形態では、一つの撮像部402から赤外線画像、可視光線画像、紫外線画像を得ている。
【0081】
画像生成部403で生成されたB画像とG画像が路面領域抽出部404に入力され、前述したような方法でそれぞれ路面領域が抽出され、紫外線反射率算出部405に出力される。
【0082】
紫外線反射率算出部405は、図1の紫外線特徴量算出手段2にあたる。紫外線反射率算出部405では、路面領域抽出部404で抽出された路面領域に含まれる各画素について、その画素に対応する路面上の地点での紫外線反射率を算出する。具体的には、B画像の路面領域に含まれる各画素について、その画素値を、その画素に対応するG画像上の画素の画素値で割った比にもとづき、各画素に対応する紫外線反射率を算出する。すなわち、可視光線と紫外線の強度の比にもとづき、紫外線反射率を算出している。路面に雪があると、紫外線が雪表面で多く散乱されて紫外線強度が大きくなる一方、可視光線の強度はそれほど大きく変化しないため、この比の値も大きくなる。そのため、この比にもとづいて紫外線反射率を算出している。比にもとづく算出方法により、日射量の変動による影響が抑えられる。算出された紫外線反射率は、路面状態判定部412で使われる。
【0083】
なお、紫外線は可視光線や赤外線と比較すれば散乱されやすく、日陰と日向での強度差が相対的に小さいため、日陰と日向の差の影響を上記の方法で完全に排除できるわけではない。しかし、日陰と日向を比べれば、日陰では紫外線も可視光線も強度が小さく、日向では紫外線も可視光線も強度が大きいため、上記のように比にもとづいて算出することにより、日陰と日向の差による外乱の影響もある程度抑えられる。
【0084】
画像生成部403で生成されたR画像が路面・天空領域抽出部406に入力され、前述したような方法で路面領域と天空領域が抽出され、赤外線吸収率算出部408と投光判定部407にそれぞれ出力される。
【0085】
赤外線吸収率算出部408は、図1の赤外線特徴量算出手段3にあたる。赤外線吸収率算出部408では、路面・天空領域抽出部406で抽出された路面領域に含まれる各画素について、その画素に対応する路面上の地点での赤外線吸収率を算出する。具体的には、まずR画像の天空領域に含まれる画素の画素値の平均値(天空画素値)を算出し、R画像の路面領域に含まれる各画素の画素値を天空画素値で割った比にもとづいて、各画素に対応する赤外線吸収率を算出する。天空画素値の算出には、平均値のかわりに最頻値や中央値などを用いてもよい。算出された赤外線吸収率は、路面状態判定部412で使われる。
【0086】
路面上の赤外線の強度から路面上の水に関する状態を判定しようとすると、季節や時間帯による日射量の変動の影響を受ける。そのため、例えば、乾燥か湿潤かを判別するための閾値を季節や時間帯に合わせて変動させる必要がある。しかし、上記のように比にもとづいた算出方法を用いれば、日射量の変動の影響を排除することができる。
【0087】
第三の実施形態においても、第一および第二の実施形態と同様に、日射量に応じた判定を行う投光判定部407を備えている。ただし、第三の実施形態においては、紫外線の日射量ではなく赤外線の日射量にもとづいて判定する。よって、路面・天空領域抽出部406で抽出されたR画像の画素値を判定に用いる。例えば、路面領域の画素値の平均値を赤外線の日射量を示す値として用い、この値が所定の閾値より大きいか否かによって、照明装置から光を照射するか否かを投光判定部407が決定してもよい。投光判定部407は、照射するか否かを判定するだけでなく、赤外線の日射量を示す値に応じて照射する場合の光量を調節するようにしてもよい。
【0088】
赤外線画像撮像部409と温度測定部410からの入力にもとづき、温度分布画像生成部411で温度分布画像を生成する。赤外線画像撮像部409は、具体的には、赤外線カメラである。
【0089】
一般に、赤外線サーモグラフィー装置(赤外線サーモグラフィー撮像部113と温度分布画像生成部117、または赤外線サーモグラフィー撮像部313と温度分布画像生成部318に相当する)は、環境温度を測定するためのセンサなど、赤外線の放射エネルギー量を温度に対応づけるための機構を内部に有している。そのため単なる赤外線カメラよりも高価である。そこで、第三の実施形態においては、安価な手段を用いて温度分布画像を得るため、赤外線サーモグラフィー装置のかわりに赤外線画像撮像部409と温度測定部410を用いる。
【0090】
具体的には、温度測定部410は熱電対や放射温度計などの温度センサであり、赤外線画像撮像部409で撮像している路面(撮像部402の撮像対象でもある)の範囲に含まれる2点の温度を測定する。温度分布画像生成部411は、まず、赤外線画像撮像部409により撮像された赤外線画像においてその2点に該当する箇所の画素値を求める(それぞれ、1つの画素の画素値を求めてもよいし、該当画素の近傍の小領域に含まれる画素の画素値の平均値などを求めてもよい)。そして、2点の温度(t1、t2)と2つの画素値(p1、p2)にもとづいて、赤外線画像の画素値を温度に変換するための値Aを算出し、Aの値にもとづいて、赤外線画像撮像部409により撮像された赤外線画像の各画素の画素値を変換し、温度分布画像を生成する。これにより、路面全体の温度分布を算出することができる。例えば、B、Cを定数として、AをA=B×(t1−t2)/(p1−p2)により算出し、赤外線画像の画素値pをもとにt=p×A+Cにより変換して得た温度tから温度分布画像を生成してもよい。Aとtの算出式は、実施の態様によって任意に定めてよい。
【0091】
路面状態判定部412は、図1の路面状態判定手段4にあたる。路面状態判定部412は、紫外線反射率算出部405、赤外線吸収率算出部408、温度分布画像生成部411から、紫外線反射率、赤外線吸収率、温度分布画像を入力され、それらの入力にもとづいて路面状態を判定する。第一または第二の実施形態と同様の方法で判定してもよく、その他の方法で判定してもよい。
【0092】
路面状態画像生成部413は、第一および第二の実施形態と同様に路面状態画像を生成し、路面判定結果出力部414に出力する。
路面判定結果出力部414は、本実施形態においては、画像生成部403で生成されたG画像が可視光線画像として入力され、例えば、G画像(またはG画像をグレースケールに変換した画像)に、路面状態画像生成部413から入力された路面状態画像を合成して判定結果画像とし、出力する。
【0093】
なお、道路上の車両監視システムなど既存のシステムとカメラを共有することにより、第三の実施形態による路面状態判定装置は、低コストで実現することができる。もちろん、カメラだけでなく撮像した画像も既存のシステムと共有することができる。
【0094】
本発明による路面状態判定装置は、上記の実施形態に限られるものではなく、様々な変更を加えることが可能である。その主な変形例について、以下に具体的に説明する。
第一の実施形態において、紫外線カメラ撮像部101、可視光線カメラ撮像部106、赤外線カメラ撮像部109、赤外線サーモグラフィー撮像部113の視点位置の差を無視することができない場合、第二の実施形態における相対位置算出部312と類似の手段をさらに設けることとが望ましい。つまり、これら撮像部で撮像され、紫外線画像生成部102、可視光線画像生成部107、赤外線画像生成部110、温度分布画像生成部117において生成された各画像の相対位置情報を算出し、路面上の同じ1点が各画像のどの座標に相当するのかの対応をとるための手段を設け、該手段で算出した相対位置情報をも路面状態判定部114に与えることが望ましい。
【0095】
同様に、第二、第三の実施形態においても、赤外線サーモグラフィー撮像部313や赤外線画像撮像部409と他の撮像部との視点位置の差を無視することができない場合、温度分布画像生成部318、411で生成された温度分布画像と他のR画像、G画像、B画像との相対位置情報を算出し、算出した相対位置情報をも路面状態判定部314、412に与えることが望ましい。
【0096】
また、第一または第二の実施形態において路面・天空領域抽出部103、304と紫外線反射率算出部104、305からなる部分を、第三の実施形態における路面領域抽出部404、紫外線反射率算出部405と同様の構成に置き換えることができる。逆に、第三の実施形態における路面領域抽出部404と紫外線反射率算出部405を、第一または第二の実施形態と同様の構成に置き換えることもできる。
【0097】
また、第一または第二の実施形態における路面領域抽出部108、111、310と赤外線吸収率算出部112、311からなる部分を、第三の実施形態における路面・天空領域抽出部406、赤外線吸収率算出部408と同様の構成に置き換えることができる。逆に、第三の実施形態における路面・天空領域抽出部406と赤外線吸収率算出部408を、第一または第二の実施形態と同様の構成に置き換えることもできる。
【0098】
さらに、第一または第二の実施形態における赤外線サーモグラフィー撮像部113、313と温度分布画像生成部117、318からなる部分を、第三の実施形態における赤外線画像撮像部409、温度測定部410、温度分布画像生成部411と同様の構成に置き換えることができる。逆に第三の実施形態における赤外線画像撮像部409、温度測定部410、温度分布画像生成部411を、第一または第二の実施形態と同様の構成に置き換えることもできる。
【0099】
また、紫外線反射率算出部405ではB画像とG画像を用いて紫外線反射率を算出しているが、G画像のかわりにR画像を用いるようにしてもよい。その場合、路面領域抽出部404への入力も、B画像とG画像ではなく、B画像とR画像とする。
【0100】
また、赤外線吸収率算出部112、311において赤外線画像(R画像)と可視光線画像(G画像)を用いて赤外線吸収率算出部を算出しているが、可視光線画像のかわりに紫外線画像(B画像)を用いるようにしてもよい。その場合、路面領域抽出部108、310への入力も、可視光線画像のかわりに紫外線画像となる。
【0101】
上述の実施形態において、投光判定部105、306、407は、紫外線または赤外線の日射量にもとづく判定を行っているが、日の出・日の入りの時刻のデータなどにもとづいて判定してもよく、可視光線画像(または可視光線画像としてのG画像)の画素値から推定した日射量にもとづいて判定してもよい。例えば、第一の実施形態では投光判定部105が紫外線の日射量にもとづいた判定をしているが、これは、赤外線の日射量を考慮していないということではなく、「紫外線の日射量が少なければ太陽光全体の日射量も少なく、したがって赤外線の日射量も少ない」という前提にもとづき、簡単のため判定には紫外線の日射量のみを用いているにすぎない。赤外線の日射量など他の基準によって投光判定を行う場合も同様で、紫外線と赤外線の双方が十分な量、路面に当たっているかどうかが判定可能ならば、何にもとづいて判定するかは実施の態様に応じて適当に定めてよい。もちろん、投光判定部105、306、407において、紫外線と赤外線の双方の日射量に応じて判定してもよい。例えば、紫外線と赤外線それぞれに対して閾値を設定し、双方が閾値未満のときに照明装置から光を照射することとしてもよく、一方でも閾値未満になれば照明装置から光を照射することとしてもよい。また、照明装置から光を照射するか否かを判定するだけでなく、紫外線と赤外線の双方の日射量に応じて、照明装置から路面に照射する光量を調節するようにしてもよい。また、紫外線と赤外線の日射量は、天空領域の画素値にもとづいて算出しても、路面領域の画素値にもとづいて算出しても、双方の画素値にもとづいて算出してもよく、実施の態様に応じて適切に定めることができる。
【0102】
また、投光判定部105、306、407の判定にもとづいて投光器などの照明装置から光を路面に照射されているときは、紫外線や赤外線の日射量が不十分なときである。よって、このときは、紫外線反射率算出部104、305や赤外線吸収率算出部408において、照射した光量と路面領域の画素値にもとづいて紫外線反射率や赤外線吸収率を算出するようにすることが好ましい。
【0103】
なお、本発明の路面状態判定装置は、一つの筐体に収めた装置としてもよく、部分ごとに物理的に離して設置してもよい。例えば、路面状態判定装置全体を一つの筐体に収め、車載装置または路側設置用装置として実施してもよい。あるいは、各種の撮像部と画像生成部からなる部分を路側に設置し、残りの部分を道路管理事務所などに設置してもよい。具体的に第一の実施形態を例にして述べると、紫外線カメラ撮像部101、紫外線画像生成部102、可視光線カメラ撮像部106、可視光線画像生成部107、赤外線カメラ撮像部109、赤外線画像生成部110、赤外線サーモグラフィー撮像部113、温度分布画像生成部117からなる第一の部分を路側(第一の場所)に設置し、路面・天空領域抽出部103、紫外線反射率算出部104、投光判定部105、第一の路面領域抽出部108、第二の路面領域抽出部111、赤外線吸収率算出部112、路面状態判定部114、路面状態画像生成部115、路面判定結果出力部116からなる第二の部分を道路管理事務所など(第二の場所)に設置してもよい。この場合、第一の部分から画像データを第二の部分に送信する必要があるので、第一の部分は、有線または無線によるデータ送信手段をさらに備え、第二の部分は画像データを受信するためのデータ受信手段を備える。
【0104】
また、投光判定部105、306、407の判定結果にしたがって投光器などの照明装置を制御するために、必要に応じて通信手段を設けることとする。例えば、投光判定部が道路管理事務所にあって照明装置には街灯を用いる場合や、路面状態判定装置全体が車載装置として実施されており照明装置には車両のヘッドランプを用いる場合があるが、いずれにしろ、有線または無線による通信手段により、投光判定部105、306、407の判定結果が照明装置に送られて、照明装置を制御する。
【0105】
上記の実施形態においては、路面状態の判定は、所定の分類項目(「乾燥」、「水膜」など)のいずれに該当するかという離散的な判定であったが、路面状態を連続的な数値によって表現してもよい。つまり、例えば第二の実施形態において、路面状態判定のためのニューラルネットワークからの出力値である数値を、「乾燥」などの離散的な分類項目に当てはめることによって路面状態を判定してもよく、連続値である数値をそのまま路面状態の判定結果として用いてもよい。その場合、路面が危険なほど数値が大きくなるように定めてもよく、該数値の大小に応じて路面状態画像の画素値を決めてもよい。
【0106】
以上に述べた変形例は、任意に組み合わせることができる。
(付記1)路面の状態を判定する路面状態判定装置であって、
紫外線と赤外線を含む光が当たっている前記路面を撮像した紫外線画像にもとづき前記路面における紫外線特徴量を算出する紫外線特徴量算出手段と、
前記光が当たっている前記路面を撮像した赤外線画像にもとづき前記路面における赤外線特徴量を算出する赤外線特徴量算出手段と、
算出した前記紫外線特徴量、前記赤外線特徴量、および前記路面の温度分布画像にもとづいて、前記路面の状態を判定する路面状態判定手段と、
を備えた路面状態判定装置。
(付記2)前記紫外線画像は天空と前記路面を含む画像であって、
前記紫外線特徴量算出手段は、該紫外線画像の天空領域に対応する天空画素値と路面領域に対応する路面画素値を算出し、前記天空画素値と前記路面画素値の比にもとづいて前記紫外線特徴量を算出する、
ことを特徴とする付記1に記載の路面状態判定装置。
(付記3)前記紫外線特徴量算出手段は、前記路面を撮像した可視光線画像を前記紫外線特徴量の算出に用い、前記可視光線画像の画素値と前記紫外線画像の画素値の比にもとづいて、前記紫外線特徴量を算出する、
ことを特徴とする付記1に記載の路面状態判定装置。
(付記4)前記紫外線特徴量算出手段は、前記赤外線画像の画素値と前記紫外線画像の画素値の比にもとづいて、前記紫外線特徴量を算出する、
ことを特徴とする付記1に記載の路面状態判定装置。
(付記5)前記赤外線画像は天空と前記路面を含む画像であって、
前記赤外線特徴量算出手段は、該赤外線画像の天空領域に対応する天空画素値と路面領域に対応する路面画素値を算出し、前記天空画素値と前記路面画素値の比にもとづいて前記赤外線特徴量を算出する、
ことを特徴とする付記1に記載の路面状態判定装置。
(付記6)前記赤外線特徴量算出手段は、前記路面を撮像した可視光線画像を前記赤外線特徴量の算出に用い、前記可視光線画像の画素値と前記赤外線画像の画素値の比にもとづいて、前記赤外線特徴量を算出する、
ことを特徴とする付記1に記載の路面状態判定装置。
(付記7)前記赤外線特徴量算出手段は、前記紫外線画像の画素値と前記赤外線画像の画素値の比にもとづいて、前前記赤外線特徴量を算出する、
ことを特徴とする付記1に記載の路面状態判定装置。
(付記8)可視光線の青波長領域を遮断する第一のフィルタと、
紫外線から赤外線までの波長感度を有し、該第一のフィルタを透過した光を、可視光線の赤波長領域および赤外線に対応するRと可視光線の緑波長領域に対応するGと可視光線の青波長領域および紫外線に対応するBの3つの成分に分解してそれぞれ受光し、カラー撮像する第一の撮像部と、
可視光線の赤波長領域を遮断する第二のフィルタと、
紫外線から赤外線までの波長感度を有し、該第二のフィルタを透過した光を、可視光線の赤波長領域および赤外線に対応するRと可視光線の緑波長領域に対応するGと可視光線の青波長領域および紫外線に対応するBの3つの成分に分解してそれぞれ受光し、カラー撮像する第二の撮像部と、をさらに備え、
前記路面を前記第一の撮像部で撮像して、前記3つの成分のうちBに対応して得られるB画素値にもとづいて、前記紫外線画像が生成され、
前記路面を前記第二の撮像部で撮像して、前記3つの成分のうちRに対応して得られるR画素値にもとづいて、前記赤外線画像が生成される、
ことを特徴とする付記1に記載の路面状態判定装置。
(付記9)可視光線の青波長領域と赤波長領域の光を遮断するフィルタと、
紫外線から赤外線までの波長感度を有し、該フィルタを透過した光を、可視光線の赤波長領域および赤外線に対応するRと可視光線の緑波長領域に対応するGと可視光線の青波長領域および紫外線に対応するBの3つの成分に分解してそれぞれ受光し、カラー撮像する撮像部と、をさらに備え、
前記路面を前記撮像部で撮像して、前記3つの成分のうちBおよびRにそれぞれ対応して得られるB画素値およびR画素値にもとづいて、それぞれ前記紫外線画像、前記赤外線画像が生成される、
ことを特徴とする付記1に記載の路面状態判定装置。
(付記10)前記温度分布画像を生成する温度分布画像生成手段をさらに備え、
該温度分布画像生成手段は、前記路面を撮像した赤外線画像と、該撮影された前記路面上の2箇所で測定された温度にもとづいて前記温度分布画像を生成する、
ことを特徴とする付記1に記載の路面状態判定装置。
(付記11)前記路面状態判定手段は、前記路面を1つ以上に分割した分割領域ごとに、該分割領域の路面状態が、予め定められた路面状態の分類項目のいずれに分類されるかを判定することを特徴とする付記1に記載の路面状態判定装置。
(付記12)前記路面状態判定手段は、前記路面を分割した分割領域ごとに該領域の路面状態を判定し、
前記路面状態判定装置はさらに、前記路面の状態を表現する路面状態画像を生成する路面状態画像生成手段を備え、
該路面状態画像生成手段は、前記路面状態画像上で各分割領域を表現する路面表現としての画像上の高さおよび/または色を各分割領域の前記路面状態に応じて決定し、前記分割領域ごとの前記路面表現と前記路面の可視光線画像にもとづいて、前記路面状態画像を生成する、
ことを特徴とする付記1に記載の路面状態判定装置。
(付記13)路面状態判定方法であって、
紫外線と赤外線を含む光が当たっている路面を撮像した紫外線画像にもとづき前記路面における紫外線特徴量を算出し、
前記光が当たっている前記路面を撮像した赤外線画像にもとづき前記路面における赤外線特徴量を算出し、
算出した前記紫外線特徴量、前記赤外線特徴量、および前記路面の温度分布画像にもとづいて、前記路面の状態を判定することを特徴とする路面状態判定方法。
【図面の簡単な説明】
【0107】
【図1】本発明の原理を示す図である。
【図2】第一の実施形態による路面状態判定装置の機能ブロック図である。
【図3】路面状態の判定条件の例を示す図である。
【図4】路面状態判定結果画像の例を示す図である。
【図5】第二の実施形態による路面状態判定装置の機能ブロック図である。
【図6】ステレオカラーカメラを用いて赤外線画像および紫外線画像を生成する原理を説明する図である。
【図7】画像の画素配置構成の例を示す図である。
【図8】ニューラルネットワークの構成例を示す図である。
【図9】第三の実施形態による路面状態判定装置の機能ブロック図である。
【図10】トリプルバンドパスフィルタを用いて赤外線画像および紫外線画像を生成する原理を説明する図である。
【符号の説明】
【0108】
1 路面状態判定装置
2 紫外線特徴量算出手段
3 赤外線特徴量算出手段
4 路面状態判定手段
101 紫外線カメラ撮像部
102 紫外線画像生成部
103 路面・天空領域抽出部
104 紫外線反射率算出部
105 投光判定部
106 可視光線カメラ撮像部
107 可視光線画像生成部
108 第一の路面領域抽出部
109 赤外線カメラ撮像部
110 赤外線画像生成部
111 第二の路面領域抽出部
112 赤外線吸収率算出部
113 赤外線サーモグラフィー撮像部
114 路面状態判定部
115 路面状態画像生成部
116 路面判定結果出力部
117 温度分布画像生成部
301 青波長領域カット部
302 第一の撮像部
303 第一の画像生成部
304 路面・天空領域抽出部
305 紫外線反射率算出部
306 投光判定部
307 赤波長領域カット部
308 第二の撮像部
309 第二の画像生成部
310 路面領域抽出部
311 赤外線吸収率算出部
312 相対位置算出部
313 赤外線サーモグラフィー撮像部
314 路面状態判定部
315 路面状態画像生成部
316 カラー画像合成部
317 路面判定結果出力部
318 温度分布画像生成部
401 青波長領域・赤波長領域カット部
402 撮像部
403 画像生成部
404 路面領域抽出部
405 紫外線反射率算出部
406 路面・天空領域抽出部
407 投光判定部
408 赤外線吸収率算出部
409 赤外線画像撮像部
410 温度測定部
411 温度分布画像生成部
412 路面状態判定部
413 路面状態画像生成部
414 路面判定結果出力部
501 入力層
502 中間層
503 出力層

【特許請求の範囲】
【請求項1】
路面の状態を判定する路面状態判定装置であって、
紫外線と赤外線を含む光が当たっている前記路面を撮像した紫外線画像にもとづき前記路面における紫外線特徴量を算出する紫外線特徴量算出手段と、
前記光が当たっている前記路面を撮像した赤外線画像にもとづき前記路面における赤外線特徴量を算出する赤外線特徴量算出手段と、
算出した前記紫外線特徴量、前記赤外線特徴量、および前記路面の温度分布画像にもとづいて、前記路面の状態を判定する路面状態判定手段と、
を備えた路面状態判定装置。
【請求項2】
前記紫外線画像は天空と前記路面を含む画像であって、
前記紫外線特徴量算出手段は、該紫外線画像の天空領域に対応する天空画素値と路面領域に対応する路面画素値を算出し、前記天空画素値と前記路面画素値の比にもとづいて前記紫外線特徴量を算出する、
ことを特徴とする請求項1に記載の路面状態判定装置。
【請求項3】
前記赤外線特徴量算出手段は、前記路面を撮像した可視光線画像を前記赤外線特徴量の算出に用い、前記可視光線画像の画素値と前記赤外線画像の画素値の比にもとづいて、前記赤外線特徴量を算出する、
ことを特徴とする請求項1に記載の路面状態判定装置。
【請求項4】
前記温度分布画像を生成する温度分布画像生成手段をさらに備え、
該温度分布画像生成手段は、前記路面を撮像した赤外線画像と、該撮影された前記路面上の2箇所で測定された温度にもとづいて前記温度分布画像を生成する、
ことを特徴とする請求項1に記載の路面状態判定装置。
【請求項5】
路面状態判定方法であって、
紫外線と赤外線を含む光が当たっている路面を撮像した紫外線画像にもとづき前記路面における紫外線特徴量を算出し、
前記光が当たっている前記路面を撮像した赤外線画像にもとづき前記路面における赤外線特徴量を算出し、
算出した前記紫外線特徴量、前記赤外線特徴量、および前記路面の温度分布画像にもとづいて、前記路面の状態を判定することを特徴とする路面状態判定方法。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図5】
image rotate

【図6】
image rotate

【図9】
image rotate

【図10】
image rotate

【図4】
image rotate

【図7】
image rotate

【図8】
image rotate


【公開番号】特開2007−232652(P2007−232652A)
【公開日】平成19年9月13日(2007.9.13)
【国際特許分類】
【出願番号】特願2006−56879(P2006−56879)
【出願日】平成18年3月2日(2006.3.2)
【出願人】(000005223)富士通株式会社 (25,993)
【Fターム(参考)】