物体識別装置及びプログラム
【課題】明るさが変化する環境であっても、安定して精度よく物体の材質や状態を識別することができるようにする。
【解決手段】近赤外光波長領域の異なる3つの波長帯の3枚の撮像画像を撮像装置から取得し(100)、取得した3枚の撮像画像の各々について、識別対象領域内の画素値を平均して、識別対象領域の画素値として各々抽出する(102)。そして、抽出された画素値を、HSV色空間の特徴量H、S、Vに変換し(104)物体の材質の各々に対する明るさに依存しない特徴量H、Sの分布状況を分布記憶部から読み込み、各材質の特徴量H、Sの分布状況と、変換された特徴量H、Sとを照合して、識別対象領域に存在する物体の材質を識別する(106)。
【解決手段】近赤外光波長領域の異なる3つの波長帯の3枚の撮像画像を撮像装置から取得し(100)、取得した3枚の撮像画像の各々について、識別対象領域内の画素値を平均して、識別対象領域の画素値として各々抽出する(102)。そして、抽出された画素値を、HSV色空間の特徴量H、S、Vに変換し(104)物体の材質の各々に対する明るさに依存しない特徴量H、Sの分布状況を分布記憶部から読み込み、各材質の特徴量H、Sの分布状況と、変換された特徴量H、Sとを照合して、識別対象領域に存在する物体の材質を識別する(106)。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、物体識別装置及びプログラムに係り、特に、検出対象領域に存在する物体の材質や状態を識別する物体識別装置及びプログラムに関する。
【背景技術】
【0002】
従来より、被写体からの赤外線放射エネルギーを複数の波長帯域範囲の光学フィルタを介して多色赤外線撮像装置のセンサに入射させ、予め記憶手段に格納させた複数の物質の放射率値を基に被写体の真温度T0及び背景温度Taを求めて、複数物質の材質或いはその状態を判別する多色赤外線撮像装置が知られている(特許文献1)。この多色赤外線撮像装置では、赤外光波長領域の分光反射特性を利用することで、物体の材質や状態を識別している。
【0003】
また、遠赤外画像と可視画像とからそれぞれの画像の特徴量を算出し、特徴量の多次元空間をクラスタリングによっていくつかのクラスタに分類することを特徴とし、特徴量空間における特徴量の分布にしたがって領域分割を行い、対象物を抽出する対象物抽出装置が知られている(特許文献2)。この対象物抽出装置では、赤外光波長領域の分光反射特性を利用することで、対象物を抽出している。
【特許文献1】特開2004−117309
【特許文献2】特開2000−306191
【発明の開示】
【発明が解決しようとする課題】
【0004】
しかしながら、上記特許文献1、2の技術では、屋外で撮像する際に、例えば、季節や天候に応じて太陽光の照度が変化し、周囲環境の明るさが時々刻々と変化すると、周囲の明るさによって、物体表面に入射する光量が変化するため、物体の材質や状態を正確に識別することができない、という問題がある。また、例えば、同じ道路面でも、建物の影になっている部分と、太陽光が直接照射している部分とがある場合には、2つの領域での明るさが顕著に異なるため、物体の材質や状態を正確に識別することができない、という問題がある。
【0005】
本発明は、上記の問題点を解決するためになされたもので、明るさが変化する環境であっても、安定して精度よく物体の材質や状態を識別することができる物体識別装置及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【0006】
上記の目的を達成するために第1の発明に係る物体識別装置は、識別対象領域を撮像し、少なくとも一つの波長帯が赤外光波長領域の少なくとも一部分を含み、かつ、帯域が各々異なる3つの波長帯の各々の画像を出力する撮像手段と、前記撮像手段から出力された前記画像の各々の画素値を、予め定められた色空間の明るさに依存しない特徴量に変換する特徴量変換手段と、予め定められた複数の材質の各々又は複数の状態の各々に対する前記明るさに依存しない特徴量、及び前記特徴量変換手段によって変換された特徴量に基づいて、前記識別対象領域に存在する物体の材質又は状態を識別する識別手段とを含んで構成されている。
【0007】
また、第2の発明に係るプログラムは、コンピュータを、識別対象領域を撮像し、少なくとも一つの波長帯が赤外光波長領域の少なくとも一部分を含み、かつ、帯域が各々異なる3つの波長帯の各々の画像を出力する撮像手段から出力された前記画像の各々の画素値を、予め定められた色空間の明るさに依存しない特徴量に変換する特徴量変換手段、及び予め定められた複数の材質の各々又は複数の状態の各々に対する前記明るさに依存しない特徴量、及び前記特徴量変換手段によって変換された特徴量に基づいて、前記識別対象領域に存在する物体の材質又は状態を識別する識別手段として機能させるためのプログラムである。
【0008】
第1の発明及び第2の発明によれば、撮像手段によって、識別対象領域を撮像し、少なくとも一つの波長帯が赤外光波長領域の少なくとも一部分を含み、かつ、帯域が各々異なる3つの波長帯の各々の画像を出力する。
【0009】
そして、特徴量変換手段によって、撮像手段から出力された画像の各々の画素値を、予め定められた色空間の明るさに依存しない特徴量に変換し、識別手段によって、予め定められた複数の材質の各々又は複数の状態の各々に対する明るさに依存しない特徴量、及び特徴量変換手段によって変換された特徴量に基づいて、識別対象領域に存在する物体の材質又は状態を識別する。
【0010】
このように、少なくとも一つの波長帯が赤外光波長領域の少なくとも一部分を含む3つの波長帯の画像の各々の画素値を、明るさに依存しない特徴量に変換して、識別対象領域に存在する物体の材質又は状態を識別することにより、明るさの影響を受けずに、物体の材質又は状態を識別することができるため、明るさが変化する環境であっても、安定して精度よく物体の材質又は状態を識別することができる。
【0011】
上記の3つの波長帯の各々を、可視光波長領域から赤外光波長領域までの範囲に含むことができる。
【0012】
第3の発明に係る物体識別装置は、識別対象領域を撮像し、少なくとも一つの波長帯が赤外光波長領域の少なくとも一部分を含み、かつ、帯域が各々異なる少なくとも4つの波長帯の各々の画像を出力する撮像手段と、前記撮像手段から出力された前記画像から3つの画像を選択する選択手段と、前記選択手段によって選択された前記3つの画像の各々の画素値を、予め定められた色空間の明るさに依存しない特徴量に変換する特徴量変換手段と、予め定められた複数の材質の各々又は複数の状態の各々に対する前記明るさに依存しない特徴量、及び前記特徴量変換手段によって変換された特徴量に基づいて、前記識別対象領域に存在する物体の材質又は状態を識別する識別手段とを含んで構成されている。
【0013】
第4の発明に係るプログラムは、コンピュータを、識別対象領域を撮像し、少なくとも一つの波長帯が赤外光波長領域の少なくとも一部分を含み、かつ、帯域が各々異なる少なくとも4つの波長帯の各々の画像を出力する撮像手段から出力された前記画像から3つの画像を選択する選択手段、前記選択手段によって選択された前記3つの画像の各々の画素値を、予め定められた色空間の明るさに依存しない特徴量に変換する特徴量変換手段、及び予め定められた複数の材質の各々又は複数の状態の各々に対する前記明るさに依存しない特徴量、及び前記特徴量変換手段によって変換された特徴量に基づいて、前記識別対象領域に存在する物体の材質又は状態を識別する識別手段として機能させるためのプログラムである。
【0014】
第3の発明及び第4の発明によれば、撮像手段によって、識別対象領域を撮像し、少なくとも一つの波長帯が赤外光波長領域の少なくとも一部分を含み、かつ、帯域が各々異なる少なくとも4つの波長帯の各々の画像を出力する。
【0015】
そして、選択手段によって、撮像手段から出力された画像から3つの画像を選択し、特徴量変換手段によって、選択手段によって選択された3つの画像の各々の画素値を、予め定められた色空間の明るさに依存しない特徴量に変換し、識別手段によって、予め定められた複数の材質の各々又は複数の状態の各々に対する明るさに依存しない特徴量、及び特徴量変換手段によって変換された特徴量に基づいて、識別対象領域に存在する物体の材質又は状態を識別する。
【0016】
このように、少なくとも一つの波長帯が赤外光波長領域の少なくとも一部分を含む少なくとも4つの波長帯の画像から選択した3つの画像の各々の画素値を、明るさに依存しない特徴量に変換して、識別対象領域に存在する物体の材質又は状態を識別することにより、明るさの影響を受けずに、物体の材質又は状態を識別することができるため、明るさが変化する環境であっても、安定して精度よく物体の材質又は状態を識別することができる。
【0017】
上記の少なくとも4つの波長帯の各々を、可視光波長領域から赤外光波長領域までの範囲に含むことができる。
【0018】
上記の色空間を、HSV色空間、YIQ色空間、及び均等色空間の何れかとすることができる。
【0019】
上記の特徴量変換手段は、予め定められた複数の色空間の各々について、色空間の明るさに依存しない特徴量に変換し、識別手段は、複数の材質の各々又は複数の状態の各々に対する複数の色空間の各々の特徴量、及び変換された複数の色空間の各々の特徴量に基づいて、識別対象領域に存在する物体の材質又は状態を識別することができる。これによって、複数の色空間の明るさに依存しない特徴量に基づいて、精度よく物体の材質又は状態を識別することができる。
【0020】
第5の発明に係る物体識別装置は、識別対象領域を撮像し、少なくとも一つの波長帯が赤外光波長領域の少なくとも一部分を含み、かつ、帯域が各々異なる複数の波長帯の各々の画像を出力する撮像手段と、前記複数の波長帯の各々の明るさが各々異なる複数の画像の各々の画像特徴量に対する主成分分析によって得られる複数の主成分のうち、明るさに最も依存する主成分とは異なる予め定められた主成分に、前記撮像手段から出力された前記画像の各々の画像特徴量を変換する特徴量変換手段と、予め定められた複数の材質の各々又は複数の状態の各々に対する前記明るさに最も依存する主成分とは異なる主成分、及び前記特徴量変換手段によって変換された前記主成分に基づいて、前記識別対象領域に存在する物体の材質又は状態を識別する識別手段とを含んで構成されている。
【0021】
第6の発明に係るプログラムは、コンピュータを、識別対象領域を撮像し、少なくとも一つの波長帯が赤外光波長領域の少なくとも一部分を含み、かつ、帯域が各々異なる複数の波長帯の各々の画像を出力する撮像手段から出力された前記画像の各々の画像特徴量を、前記複数の波長帯の各々の明るさが各々異なる複数の画像の各々の画像特徴量に対する主成分分析によって得られる複数の主成分のうち、明るさに最も依存する主成分とは異なる予め定められた主成分に変換する特徴量変換手段、及び予め定められた複数の材質の各々又は複数の状態の各々に対する前記明るさに最も依存する主成分とは異なる主成分、及び前記特徴量変換手段によって変換された前記主成分に基づいて、前記識別対象領域に存在する物体の材質又は状態を識別する識別手段として機能させるためのプログラムである。
【0022】
第5の発明及び第6の発明によれば、撮像手段によって、識別対象領域を撮像し、少なくとも一つの波長帯が赤外光波長領域の少なくとも一部分を含み、かつ、帯域が各々異なる複数の波長帯の各々の画像を出力する。
【0023】
そして、特徴量変換手段によって、複数の波長帯の各々の明るさが各々異なる複数の画像の各々の画像特徴量に対する主成分分析によって得られる複数の主成分のうち、明るさに最も依存する主成分とは異なる予め定められた主成分に、撮像手段から出力された画像の各々の画像特徴量を変換する。そして、識別手段によって、予め定められた複数の材質の各々又は複数の状態の各々に対する明るさに最も依存する主成分とは異なる主成分、及び特徴量変換手段によって変換された主成分に基づいて、識別対象領域に存在する物体の材質又は状態を識別する。
【0024】
このように、少なくとも一つの波長帯が赤外光波長領域の少なくとも一部分を含む複数の波長帯の画像の各々の画像特徴量を、明るさに最も依存する主成分とは異なる主成分に変換して、識別対象領域に存在する物体の材質又は状態を識別することにより、明るさの影響を少なくして、物体の材質又は状態を識別することができるため、明るさが変化する環境であっても、安定して精度よく物体の材質又は状態を識別することができる。
【0025】
第5の発明に係る複数の波長帯の各々を、可視光波長領域から赤外光波長領域までの範囲に含むことができる。
【0026】
上記の赤外光波長領域の少なくとも一部分を含む波長帯は、近赤外光波長領域の少なくとも一部分を含むことができる。これによって、近赤外光波長領域の画像の画素値を用いて識別するため、物体の材質又は状態を精度よく識別することができる。
【発明の効果】
【0027】
以上説明したように、本発明の物体識別装置及びプログラムによれば、明るさの影響を少なくして、物体の材質又は状態を識別することができるため、明るさが変化する環境であっても、安定して精度よく物体の材質又は状態を識別することができる、という効果が得られる。
【発明を実施するための最良の形態】
【0028】
以下、図面を参照して本発明の実施の形態を詳細に説明する。
【0029】
図1に示すように、第1の実施の形態に係る物体識別装置10は、識別対象領域を含む範囲を撮像して、図2(A)に示すような第1波長帯(近赤外光波長領域内の波長帯)の画像を生成する第1の撮像装置12Aと、図2(B)に示すような第1波長帯とは異なる第2波長帯(近赤外光波長領域内の波長帯)の画像を生成する第2の撮像装置12Bと、図2(C)に示すような第1波長帯及び第2波長帯の各々とは異なる第3波長帯(近赤外光波長領域内の波長帯)の画像を生成する第3の撮像装置12Cと、第1の撮像装置12A〜第3の撮像装置12Cの各々から出力される3枚の撮像画像に基づいて、識別対象領域に存在する物体の材質を識別する画像識別処理ルーチンを実現するための識別プログラムを格納したコンピュータ16と、コンピュータ16での処理結果を表示するための表示装置18とを備えている。
【0030】
第1の撮像装置12A〜第3の撮像装置12Cは、識別対象領域を含む範囲を撮像し、上記の波長帯のいずれかの画像の画像信号を生成する撮像部(図示省略)と、撮像部で生成された画像信号をA/D変換するA/D変換部(図示省略)と、A/D変換された画像信号を一時的に格納するための画像メモリ(図示省略)とを備えている。なお、後段の処理の簡素化のために、第1の撮像装置12A〜第3の撮像装置12Cの各々は、撮像される画像の光軸と視野角とがそれぞれ一致するように配置されていることが好ましい。
【0031】
なお、第1の撮像装置12A〜第3の撮像装置12Cの各々で撮像する画像の波長帯は、主要な波長帯域が異なっていれば、波長帯の一部が重複していてもよい。
【0032】
コンピュータ16は、CPU、後述する画像識別処理ルーチンの識別プログラムを記憶したROM、データ等を記憶するRAM、及びこれらを接続するバスを含んで構成されている。このコンピュータ16をハードウエアとソフトウエアとに基づいて定まる機能実現手段毎に分割した機能ブロックで説明すると、図1に示すように、第1の撮像装置12A〜第3の撮像装置12Cから出力される濃淡画像である3枚の撮像画像を入力する画像入力部20と、画像入力部20によって入力された3枚の撮像画像の各々から、識別対象領域の画素値を抽出する画素値抽出部22と、3枚の撮像画像から抽出された3つの画素値を、HSV色空間の各特徴量(H、S、Vの値)に変換する空間変換部24と、予め取得した学習画像について算出された特徴量H、Sを軸とするHS平面におけるH、Sの分布状況を物体の材質毎に記憶した分布記憶部26と、空間変換部24で変換された特徴量H、Sを、HS平面上に投影し、分布記憶部26に記憶された各物体の材質におけるH、Sの分布状況と照合することによって、識別対象領域に存在する物体の材質を識別する識別部28と、第1の撮像装置12Aによって撮像された撮像画像に、識別部28による識別結果を重畳させて表示装置18に表示させる表示制御部30とを備えている。
【0033】
画素値抽出部22は、第1の撮像装置12A〜第3の撮像装置12Cで撮像された3枚の撮像画像(第1波長帯の撮像画像I1、第2波長帯の撮像画像I2、第3波長帯の撮像画像I3)の各々に対して、撮像画像中から識別したい識別対象領域を切り出す。そして、識別対象領域内の各画素の画素値Pi(I1)(i=1〜N、Nは切り出した識別対象領域内の画素数)に基づいて、画素値P1(I1)〜PN(I1)を平均し、第1波長帯の撮像画像の識別対象領域の画素値として抽出する。また、識別対象領域内の各画素の画素値Pi(I2)に基づいて、画素値P1(I2)〜PN(I2)を平均し、第2波長帯の撮像画像の識別対象領域の画素値として抽出し、また、識別対象領域内の各画素の画素値Pi(I3)に基づいて、画素値P1(I3)〜PN(I3)を平均し、第3波長帯の撮像画像の識別対象領域の画素値として抽出する。
【0034】
ここで、近赤外光は、照射された物体の分子構造とその運動に依存して特定の波長帯の光が吸収されるという性質を持つ。言い換えると、物体の材質やその状態に応じて近赤外光の反射特性が異なるという性質を持つ。本実施の形態では、各撮像画像として、近赤外光波長領域内の波長帯の画像を用いるため、上述した性質を利用することができ、物体からの近赤外スペクトルを分析することによって、光が照射された物体の材質や状態を精度よく識別することができる。
【0035】
空間変換部24は、3枚の撮像画像の各々から抽出された識別対象領域の画素値を1組とし、1組の画素値を、図3に示すようなHSV色空間の各特徴量へ変換する。例えば、3枚の撮像画像I1、I2、I3の各々の識別対象領域Pの平均化された画素値をp1、p2、p3とした場合、(p1, p2, p3)の3成分をRGBの各濃度値に見立てて、以下の(1)式によって、HSV色空間の特徴量V(Value、輝度)、H(Hue、色相)、S(Saturation、彩度)を計算する。
【0036】
【数1】
【0037】
ここで、MAX、MINは、それぞれRGBの各値の中における最大値、最小値である。
【0038】
上記図3に示すように、HSV色空間において、Vの座標軸は、H、Sの座標軸と直交するため、HとSとは、明るさに依存しない特徴量である。従って、HS平面上でのH、Sの分布状況を利用すれば、明るさの変化による影響を受けずに、物体の材質を識別することが可能である。
【0039】
分布記憶部26には、予め用意した複数組の各波長帯の学習画像の識別対象が撮像された領域の画素値について算出されたH、Sの値と学習画像が表わす物体の材質とに基づいて求められる物体の材質毎の特徴量H、Sの分布状況が記憶されている。例えば、上記図2に示すような近赤外領域の3波長帯の3枚の撮像画像を複数組用意して学習画像として利用した場合の、HS平面上での物体の材質(綿(服)、アスファルト(路面)、芝生、空、雲)に対するH、Sの分布状況を図4に示す。なお、上記図4の分布状況では、x軸(正方向)からの角度(反時計回りの角度)がHの値を表わし、原点からの距離がSの値を表わしている。また、分布記憶部26には、物体の材質の各々について、HS平面における分布状況として分布領域の中心位置と分散とを表わすパラメータが記憶されている。なお、H、Sの値の分布領域の境界が、直線や曲線で表わされる場合には、境界を表わす直線や曲線のパラメータを分布記憶部26に記憶するようにしてもよい。
【0040】
識別部28は、分布記憶部26に記憶された物体の材質の各々に対する特徴量H、Sの分布状況と、空間変換部24で変換されたH、Sの値とをHS平面上で照合して、変換されたH、Sの値が、どの物体の材質に対する分布状況に該当するかを判定することにより、識別対象領域に存在する物体の材質を識別する。
【0041】
次に、第1の実施の形態に係る物体識別装置10の作用について説明する。
【0042】
まず、第1の撮像装置12A〜第3の撮像装置12Cが、検出対象領域を含む範囲に向けられ、第1の撮像装置12A〜第3の撮像装置12Cの各々によって検出対象領域を含む範囲の画像が撮像されると、コンピュータ16において、図5に示す画像識別処理ルーチンが実行される。
【0043】
まず、ステップ100において、第1の撮像装置12A〜第3の撮像装置12Cの各々から、3枚の撮像画像を取得し、ステップ102において、第1の撮像装置12A〜第3の撮像装置12Cから取得した3枚の撮像画像の各々について、識別対象領域内の画素値を平均して、識別対象領域の画素値として各々抽出する。そして、ステップ104において、上記ステップ102で抽出された画素値を、HSV色空間の特徴量H、S、Vに変換し、次のステップ106において、物体の材質の各々に対する特徴量H、Sの分布状況を分布記憶部26から読み込み、各材質のH、Sの分布状況と、上記ステップ104で変換された特徴量H、Sとを照合して、識別対象領域に存在する物体の材質を識別する。HS平面上で、変換された特徴量H、Sを表わす点を含む分布領域を持つ分布状況が、分布記憶部26に記憶された分布状況の中になかった場合には、識別対象領域に存在する物体の材質は、何れの材質でもないと判断し、特徴量H、Sが表わす点を含む分布領域を持つ分布状況が、分布記憶部26に記憶された分布状況の中にあった場合には、識別対象領域に存在する物体の材質が、該当する分布領域を持つ分布状況に対する材質であると識別する。
【0044】
そして、ステップ110において、図6に示すように、識別結果として、該当する分布領域を持つ分布状況に対する材質を表わす情報を、表示装置18に表示された第1の撮像装置12Aから出力された撮像画像の識別対象領域に応じた位置に重畳させて、表示装置18に表示させて、画像識別処理ルーチンを終了する。なお、識別対象領域が複数ある場合には、識別対象領域毎に、上記ステップ102〜ステップ110を実行して、各識別対象領域について物体の材質を識別し、撮像画像の各識別対象領域に応じた各位置に識別結果を重畳させて、表示装置18に表示させる。
【0045】
以上説明したように、第1の実施の形態に係る物体識別装置によれば、近赤外光波長領域内の異なる3つの波長帯の撮像画像の各々の画素値を、HSV色空間の明るさに依存しない特徴量H、Sに変換して、識別対象領域に存在する物体の材質を識別することにより、明るさの影響を受けずに、物体の材質を識別することができるため、明るさが変化する環境であっても、安定して精度よく物体の材質を識別することができる。
【0046】
また、近赤外光波長領域内の波長帯の撮像画像の画素値を用いて識別するため、物体の材質を精度よく識別することができる。
【0047】
また、3つの波長帯の各々の撮像画像の画素値を、明るさと色情報とを分離して表現できるHSV色空間に変換し、明るさに関係しない特徴量H、Sを軸とするHS平面上での分布状況から、物体の材質を識別するため、環境光の変化に対して影響を受けにくい。
【0048】
また、HS平面上における材質毎の分布状況は、予め用意した学習画像を用いて予め求めておくため、物体の材質を識別する時に、簡易な計算処理で物体の材質を識別することができる。
【0049】
また、特別な正規化処理(明るさ補正や基準物体の撮像など)を必要せずに、周囲環境の明るさの変化にロバストな物体の材質の識別を行うことができるため、周囲の明るさ、すなわち、物体表面に入射する光量が変化する場合であっても、安定して物体の材質を識別することができる。
【0050】
なお、上記の実施の形態では、識別対象領域に存在する物体の材質を識別する場合を例に説明したが、これに限定されるものではなく、識別対象領域に存在する物体の状態を識別するようにしてもよい。例えば、物体の乾燥状態や、濡れ状態、凍結状態などを識別するようにしてもよい。この場合には、物体の状態毎に、学習画像から求められた特徴量H、Sの分布状況を予め記憶しておき、撮像画像から得られたH、Sの値と、記憶されているH、Sの分布状況とを照合して、識別対象領域に存在する物体の状態を識別すればよい。
【0051】
また、識別対象領域の画素値として、識別対象領域内の各画素の画素値の平均を抽出する場合を例に説明したが、これに限定されるものではなく、識別対象領域の画素値として、識別対象領域内の各画素の画素値を各々抽出するようにしてもよい。この場合には、各画素について画素値を抽出し、各画素の画素値について算出される特徴量H、Sを、HS平面上にプロットし、プロットされた点の分布と、分布記憶部に記憶された材質毎のH、Sの分布状況とを照合して、識別対象領域に存在する物体の材質を識別すればよい。
【0052】
次に、第2の実施の形態について説明する。なお、第2の実施の形態に係る物体識別装置の構成は、第1の実施の形態と同様の構成となっているため、同一符号を付して説明を省略する。
【0053】
第2の実施の形態では、識別対象領域の画素値を、複数の色空間の特徴量に変換している点が第1の実施の形態と異なっている。
【0054】
第2の実施の形態に係る物体識別装置10の空間変換部24では、3枚の撮像画像の各々から抽出された識別対象領域の3つの画素値を1組とし、1組の画素値を、HSV色空間の各特徴量へ変換すると共に、1組の画素値をYIQ色空間の各特徴量へ変換し、また、1組の画素値をCIE LAB色空間の各特徴量へ変換する。
【0055】
例えば、3枚の撮像画像の各々の識別対象領域の平均化された画素値の3成分を、RGBの各濃度値に見立てて、HSV色空間の特徴量H、S、V、YIQ色空間の特徴量Y、I、Q、及びCIE LAB色空間の特徴量L*、a*、b*を計算する。ここで、HSV色空間の特徴量H、S、YIQ色空間の特徴量I、Q、及びCIE LAB色空間の特徴量a*、b*は、明るさに依存しない特徴量である。
【0056】
分布記憶部26には、予め取得した複数の学習画像の各々について算出されたH、S、I、Q、a*、b*の値と学習画像が表わす物体の材質とに基づいて求められる材質毎の特徴量H、S、I、Q、a*、b*の分布状況が記憶されている。
【0057】
識別部28は、分布記憶部26に記憶された物体の材質の各々に対する特徴量H、S、I、Q、a*、b*の分布状況と、空間変換部24で変換されたH、S、I、Q、a*、b*の値とを、H、S、I、Q、a*、b*の各々を軸とする多次元空間で照合して、変換されたH、S、I、Q、a*、b*の値が、どの物体の材質に対する分布状況に該当するかを判定する。そして、この判定結果に基づいて、識別対象領域に存在する物体の材質を識別する。
【0058】
このように、3つの波長帯の撮像画像の画素値を、HSV色空間、YIQ色空間、及びCIE LAB色空間の各々の明るさに依存しない特徴量に変換し、変換されたこれらの特徴量と、記憶された材質毎の特徴量の分布とを、これらの特徴量を軸とする多次元空間で照合して、物体の材質を識別することにより、精度よく物体の材質を識別することができる。
【0059】
なお、上記の実施の形態では、HSV色空間、YIQ色空間、及びCIE LAB色空間を用いた場合を例に説明したが、これに限定されるものではなく、他の色空間を用いてもよい。
【0060】
次に、第3の実施の形態について説明する。なお、第1の実施の形態と同様の構成となる部分については、同一符号を付して説明を省略する。
【0061】
第3の実施の形態では、複数の撮像装置から取得した複数の撮像画像から、3枚の撮像画像を選択し、選択された3枚の撮像画像を用いて、識別対象領域に存在する物体の材質を識別している点が第1の実施の形態と異なっている。
【0062】
図7に示すように、第3の実施の形態に係る物体識別装置210は、識別対象領域を含む範囲を撮像して、近赤外光波長領域内の第1波長帯の画像を生成する第1の撮像装置12Aと、第1波長帯とは異なる近赤外光波長領域内の第2波長帯の画像を生成する第2の撮像装置12Bと、第1波長帯及び第2波長帯の各々とは異なる近赤外光波長領域内の第3波長帯の画像を生成する第3の撮像装置12Cと、第1波長帯〜第3波長帯の各々とは異なる近赤外光波長領域内の第4波長帯の画像を生成する第4の撮像装置12Dと、第1の撮像装置12A〜第4の撮像装置12Dの各々から出力される4枚の撮像画像に基づいて、識別対象領域に存在する物体の材質を識別する画像識別処理ルーチンを実現するための識別プログラムを格納したコンピュータ216と、表示装置18とを備えている。
【0063】
なお、第1の撮像装置12A〜第4の撮像装置12Dの各々で撮像する画像の波長帯は、主要な波長帯域が異なっていれば、波長帯の一部が重複していてもよい。
【0064】
コンピュータ216は、第1の撮像装置12A〜第4の撮像装置12Dから出力される濃淡画像である4枚の撮像画像を入力する画像入力部220と、画像入力部220によって入力された4枚の撮像画像から、3枚の撮像画像を選択する画像選択部221と、画像選択部221で選択された3枚の撮像画像の各々から、識別対象領域の画素値を抽出する画素値抽出部22と、空間変換部24と、分布記憶部26と、識別部28と、表示制御部30とを備えている。
【0065】
画像選択部221で選択される3枚の撮像画像の組み合わせは、予め定めておく。例えば、学習段階で、全ての組み合わせについて生成される特徴空間内での識別対象の分布状況を調査して、分離しやすい特徴空間を生成できる3枚の撮像画像の組み合わせを予め定めておく。3枚の撮像画像の選択のしかたによって、特徴量を増やすことができ、識別性能を向上させることができる。
【0066】
次に第3の実施の形態に係る画像識別処理ルーチンの内容について図8を用いて説明する。なお、第1の実施の形態と同様の処理については、同一符号を付して詳細な説明を省略する。
【0067】
まず、ステップ250において、第1の撮像装置12A〜第4の撮像装置12Dの各々から、4枚の撮像画像を取得し、ステップ252において、上記ステップ250で取得された4枚の撮像画像から、予め定められた組み合わせの3枚の撮像画像を選択する。
【0068】
そして、ステップ254において、上記ステップ252で選択された3枚の撮像画像の各々について、識別対象領域内の画素値を平均して、識別対象領域の画素値として各々抽出する。そして、ステップ104において、上記ステップ254で抽出された画素値を、HSV色空間の特徴量H、S、Vに変換し、次のステップ106において、各材質のH、Sの分布状況と、上記ステップ104で変換された特徴量H、Sとを照合して、識別対象領域に存在する物体の材質を識別する。
【0069】
そして、ステップ110において、識別結果を表示装置18に表示させて、画像識別処理ルーチンを終了する。
【0070】
以上説明したように、第3の実施の形態に係る物体識別装置によれば、近赤外光波長領域内の異なる4つの波長帯の撮像画像から3つの撮像画像を選択し、選択された画像の各々の画素値を、HSV色空間の明るさに依存しない特徴量H、Sに変換して、識別対象領域に存在する物体の材質を識別することにより、明るさの影響を受けずに、物体の材質を識別することができるため、明るさが変化する環境であっても、安定して精度よく物体の材質を識別することができる。
【0071】
なお、上記の実施の形態では、4つの撮像装置から、異なる4つの波長帯の撮像画像を取得する場合を例に説明したが、これに限定されるものではなく、5つ以上の撮像装置から、異なる5つ以上の波長帯の撮像画像を取得するようにしてもよい。この場合には、取得した5つ以上の波長帯の撮像画像から、3つの撮像画像を選択し、選択された3つの撮像画像を用いて、識別対象領域に存在する物体の材質を識別すればよい。
【0072】
また、予め定められた組み合わせの3枚の撮像画像を選択する場合を例に説明したが、識別対象毎に3枚の撮像画像の組み合わせを変えてもよい。例えば、識別対象であるアスファルトに対して、4枚の撮像画像A、B、C、Dから3枚の撮像画像A、B、Cを選択するように、組み合わせを予め定めておき、また、識別対象である芝生に対して、3枚の撮像画像B、C、Dを選択するように、組み合わせを予め定めて、識別対象毎に撮像画像の組み合わせを変えるようにしてもよい。
【0073】
次に、第4の実施の形態について説明する。なお、第4の実施の形態に係る物体識別装置の構成は、第3の実施の形態と同様の構成となっているため、同一符号を付して説明を省略する。
【0074】
第4の実施の形態では、識別対象領域の画素値を、複数の色空間の特徴量に変換している点が第3の実施の形態と異なっている。
【0075】
第4の実施の形態に係る物体識別装置210の空間変換部24では、選択された3枚の撮像画像の各々から抽出された識別対象領域の3つの画素値を1組とし、1組の画素値を、HSV色空間の各特徴量へ変換すると共に、1組の画素値をYIQ色空間の各特徴量へ変換し、また、1組の画素値をCIE LAB色空間の各特徴量へ変換する。
【0076】
分布記憶部26には、予め取得した複数の学習画像の各々について算出されたH、S、I、Q、a*、b*の値と学習画像が表わす物体の材質とに基づいて求められる材質毎の特徴量H、S、I、Q、a*、b*の分布状況が記憶されている。
【0077】
識別部28は、分布記憶部26に記憶された物体の材質の各々に対する特徴量H、S、I、Q、a*、b*の分布状況と、空間変換部24で変換されたH、S、I、Q、a*、b*の値とを、H、S、I、Q、a*、b*の各々を軸とする多次元空間で照合して、変換されたH、S、I、Q、a*、b*の値が、どの物体の材質に対する分布状況に該当するかを判定する。そして、この判定結果に基づいて、識別対象領域に存在する物体の材質を識別する。
【0078】
このように、選択された3つの波長帯の撮像画像の画素値を、HSV色空間、YIQ色空間、及びCIE LAB色空間の各々の明るさに依存しない特徴量に変換し、変換されたこれらの特徴量と、記憶された材質毎の特徴量の分布とを、これらの特徴量を軸とする多次元空間で照合して、物体の材質を識別することにより、精度よく物体の材質を識別することができる。
【0079】
次に、第5の実施の形態について説明する。なお、第1の実施の形態と同様の構成となる部分については、同一符号を付して説明を省略する。
【0080】
第5の実施の形態では、識別対象領域の画素値を主成分分析によって得られる主成分に変換し、変換された主成分の値に基づいて、物体の材質を識別している点が第1の実施の形態と異なっている。
【0081】
図9に示すように、第5の実施の形態に係る物体識別装置310のコンピュータ316は、画像入力部20と、画像入力部20によって入力された3枚の撮像画像の各々から、識別対象領域の画素値を抽出する画素値抽出部322と、主成分分析によって得られる複数の主成分の各々に変換するための変換式が記憶された主成分分析記憶部323と、主成分分析記憶部323に記憶された変換式を用いて、3枚の撮像画像の各々から抽出された画素値を、主成分分析によって得られる複数の主成分に変換する主成分変換部324と、予め用意した学習画像について予め算出された複数の主成分の分布状況を、物体の材質毎に記憶した分布記憶部326と、主成分変換部324で変換された各主成分を、分布記憶部326に記憶された各物体の材質における複数の主成分の分布状況と照合することによって、識別対象領域に存在する物体の材質を識別する識別部328と、表示制御部30とを備えている。
【0082】
また、予め様々な照明条件で撮像した学習画像を各波長帯(近赤外光波長領域内の第1波長帯、第2波長帯、第3波長帯)について用意し、用意された複数の学習画像の識別対象が撮像された領域の画素値を主成分分析して、明るさの影響が少ない主成分を選択し、画素値から選択された主成分に変換するための変換式を求め、求められた変換式が主成分分析記憶部323に記憶されている。
【0083】
ここで、主成分分析について説明する。主成分分析は、多変量データを統合して新たな総合指標を作り出すための手法であり、多くの変数に重み(ウェイト)をつけて少数の合成変数を作る手法である。また、重みの計算では、固有値展開を利用し、合成変数ができるだけ多く元の変数の情報量を含むようにする。
【0084】
次に、明るさの影響が少ない主成分を選択するための方法を以下に説明する。まず、撮影時間や場所などを様々に変えて、様々な照明条件で撮像画像を、各波長帯を利用して撮像し、これらの撮像画像の各々から画素値を抽出して、抽出された画素値をサンプリングデータとする。そして、サンプリングデータから相関行列(例えば、N×NもしくはM×Mの相関行列(M≧N))を計算し、相関行列を固有値展開して、固有値と固有ベクトルとを算出する。そして、固有値が大きい順に固有ベクトルを並べ、大きい固有値に対応する固有ベクトルから順に、第1主成分、第2主成分、・・・、第N主成分とする。
【0085】
ここで、サンプリングデータは、様々な照明条件で撮像された撮像画像の画素値であるため、明るさの変化がサンプリングデータの変化に最も大きく影響する要因であり、明るさ変動に依存する主成分は、固有値の値が最も大きい第1主成分となる。一方、第1主成分以外の主成分は明るさ変動の影響が少ない主成分となる。従って、複数の主成分のうち、第2主成分〜第N主成分を選択し、第2主成分〜第N主成分の各々に変換するための変換式を予め求め、主成分分析記憶部323に記憶する。以下では、3波長帯の画像を利用して第2主成分及び第3主成分が選択され、変換式によって第2主成分及び第3主成分の各々に変換する場合を例に説明する。
【0086】
主成分変換部324は、主成分分析記憶部323に記憶された変換式を用いて、複数の撮像画像の各々から抽出された識別対象領域の画素値を、第2主成分及び第3主成分に変換する。
【0087】
分布記憶部326には、予め用意した複数組の各波長帯の学習画像の識別対象が撮像された領域の画素値について算出された第2主成分、第3主成分の値と、学習画像が表わす物体の材質とに基づいて求められる材質毎の第2主成分及び第3主成分の分布状況が記憶されている。例えば、近赤外領域の3波長帯の3枚の撮像画像を複数組用意して学習画像として利用した場合の、第2主成分及び第3主成分の各々を軸とする平面上での物体の材質(綿(服)、アスファルト(路面)、芝生、空、雲)の各々に対する第2主成分及び第3主成分の分布状況を図10に示す。なお、図10の分布状況では、x軸が第2主成分を表わし、y軸が第3主成分を表わしている。
【0088】
識別部328は、分布記憶部326に記憶された物体の材質の各々に対する第2主成分及び第3主成分の分布状況と、主成分変換部324で変換された第2主成分及び第3主成分の値とを、第2主成分及び第3主成分の各々を軸とする平面上で照合して、どの物体の材質に対する分布状況が、変換された第2主成分及び第3主成分の値が表わす点を含む分布領域を持つかを判定することにより、識別対象領域に存在する物体の材質を識別する。
【0089】
次に、第5の実施の形態に係る画像識別処理ルーチンについて図11を用いて説明する。なお、第1の実施の形態と同様の処理については、同一符号を付して詳細な説明を省略する。
【0090】
まず、ステップ100において、第1の撮像装置12A〜第3の撮像装置12Cから3枚の撮像画像を取得し、ステップ350において、第1の撮像装置12A〜第3の撮像装置12Cから取得された3枚の撮像画像の各々から、識別対象領域内の各画素の画素値の平均値を、識別対象領域の画素値として各々抽出する。そして、ステップ352において、主成分分析記憶部323から第2主成分に変換するための変換式及び第3主成分に変換するための変換式を読み込み、これらの変換式を用いて、上記ステップ350で抽出された3つの画素値を、第2主成分及び第3主成分の各々に変換し、次のステップ354において、物体の材質の各々に対する第2主成分及び第3主成分の分布状況を分布記憶部326から読み込み、各材質の第2主成分及び第3主成分の分布状況と、上記ステップ352で変換された第2主成分及び第3主成分とを照合して、識別対象領域に存在する物体の材質を識別する。第2主成分及び第3主成分の各々を軸とする平面上において、変換された第2主成分及び第3主成分を表わす点を含む分布領域を持つ分布状況が、分布記憶部326に記憶された分布状況の中になかった場合には、識別対象領域に存在する物体の材質は、何れの材質でもないと判断し、一方、変換された第2主成分及び第3主成分を表わす点を含む分布領域を持つ分布状況が、分布記憶部326に記憶された分布状況の中にあった場合には、識別対象領域に存在する物体の材質が、該当する分布領域を持つ分布状況に対する材質であると識別する。
【0091】
そして、ステップ110において、識別結果として、該当する分布領域を持つ分布状況に対する材質を表わす情報を、表示装置18に表示された撮像画像の識別対象領域に応じた位置に重畳させて、表示装置18に表示させて、画像識別処理ルーチンを終了する。なお、識別対象領域が複数ある場合には、識別対象領域毎に、上記ステップ350〜ステップ354とステップ110とを実行して、各識別対象領域について物体の材質を識別し、撮像画像の各識別対象領域に応じた各位置に識別結果を重畳させて、表示装置18に表示させる。
【0092】
このように、近赤外光波長領域内の異なる3つの波長帯の撮像画像の各々の画素値を、明るさに最も依存する第1主成分とは異なる第2主成分、第3主成分に変換して、識別対象領域に存在する物体の材質を識別することにより、明るさの影響を少なくして、物体の材質を識別することができるため、明るさが変化する環境であっても、安定して精度よく物体の材質を識別することができる。
【0093】
また、第2主成分及び第3主成分の各々を軸とする平面上における材質毎の第2主成分及び第3主成分の分布状況を、予め用意した学習画像を用いて予め求めておくため、物体の材質を識別する時に、簡易な計算処理で物体の材質を識別することができる。
【0094】
また、明るさの影響を受けにくい第2主成分、第3主成分を軸とする特徴空間を利用できるため、環境光の変化に対して、識別結果が影響を受けにくい。
【0095】
なお、上記の実施の形態では、識別対象領域に存在する物体の材質を識別する場合を例に説明したが、これに限定されるものではなく、識別対象領域に存在する物体の乾燥状態や、濡れ状態、凍結状態などを識別するようにしてもよい。この場合には、物体の状態毎に、学習画像から求められた第2主成分、第3主成分の分布状況を予め記憶しておき、撮像画像から得られた第2主成分、第3主成分の値と、記憶されている第2主成分、第3主成分の分布状況とを照合して、識別対象領域に存在する物体の状態を識別すればよい。
【0096】
また、識別対象領域の画素値として、識別対象領域内の各画素の画素値の平均を抽出する場合を例に説明したが、これに限定されるものではなく、識別対象領域の画素値として、識別対象領域内の各画素の画素値を各々抽出するようにしてもよい。この場合には、各画素について画素値を抽出し、各画素の画素値について算出される第2主成分、第3主成分を、第2主成分及び第3主成分の各々を軸とする平面上にプロットし、プロットされた点の分布と、分布記憶部に記憶された材質毎の第2主成分、第3主成分の分布状況とを照合して、識別対象領域に存在する物体の材質を識別すればよい。
【0097】
また、上記の第1の実施の形態〜第5の実施の形態では、3つ又は4つすべての波長帯が、近赤外光波長領域内に含まれている場合を例に説明したが、これに限定されるものではなく、3つ又は4つの波長帯が、可視光波長領域〜赤外光波長領域の範囲に含まれており、かつ、1つの波長帯又は2つの波長帯が、赤外光波長領域の少なくとも一部を含んでいればよい。
【0098】
また、上記の第1の実施の形態〜第5の実施の形態では、3つ又は4つの波長帯の各々の画像を撮像するために3つ又は4つの撮像装置を備えた場合を例に説明したが、これに限定されるものではなく、1つの撮像装置によって、異なる3つ又は4つの波長帯の画像を各々出力するように構成してもよい。この場合には、例えば、撮像画像の各画素について、3つ又は4つの波長帯の各々に対応するバンドパスフィルタを設けて、各波長帯の画像が出力されるように構成すればよい。
【0099】
また、上記の第5の実施の形態では、撮像画像の画像特徴量として、画素値を用いた場合を例に説明したが、これに限定されるものではなく、例えば、画素値を正規化して反射率に変換した値を、撮像画像の画像特徴量として用いてもよい。この場合には、学習画像の反射率を主成分分析して、第2主成分及び第3主成分を選択し、第2主成分及び第3主成分に変換するための変換式を予め求めておき、変換式によって、3つの波長帯の撮像画像の反射率を第2主成分、第3主成分に変換する。そして、学習画像の反射率から算出された材質毎の第2主成分及び第3主成分の分布状況と、変換された第2主成分及び第3主成分とを照合して、識別対象領域に存在する物体の材質を識別すればよい。
【図面の簡単な説明】
【0100】
【図1】本発明の第1の実施の形態に係る物体識別装置を示すブロック図である。
【図2】(A)第1波長帯の撮像画像を示すイメージ図、(B)第2波長帯の撮像画像を示すイメージ図、及び(C)第3波長帯の撮像画像を示すイメージ図である。
【図3】HSV色空間を示すイメージ図である。
【図4】物体の材質毎の特徴量H、Sの分布状況を示すグラフである。
【図5】本発明の第1の実施の形態に係る物体識別装置における画像識別処理ルーチンの内容を示すフローチャートである。
【図6】識別結果を重畳させて表示される撮像画像を示すイメージ図である。
【図7】本発明の第3の実施の形態に係る物体識別装置を示すブロック図である。
【図8】本発明の第3の実施の形態に係る物体識別装置における画像識別処理ルーチンの内容を示すフローチャートである。
【図9】本発明の第5の実施の形態に係る物体識別装置を示すブロック図である。
【図10】物体の材質毎の第2主成分、第3主成分の分布状況を示すグラフである。
【図11】本発明の第5の実施の形態に係る物体識別装置における画像識別処理ルーチンの内容を示すフローチャートである。
【符号の説明】
【0101】
10、210、310 物体識別装置
12A、12B、12C、12D 撮像装置
16、216、316 コンピュータ
18 表示装置
20、220 画像入力部
22、322 画素値抽出部
24 空間変換部
26、326 分布記憶部
28、328 識別部
30 表示制御部
221 画像選択部
323 主成分分析記憶部
324 主成分変換部
【技術分野】
【0001】
本発明は、物体識別装置及びプログラムに係り、特に、検出対象領域に存在する物体の材質や状態を識別する物体識別装置及びプログラムに関する。
【背景技術】
【0002】
従来より、被写体からの赤外線放射エネルギーを複数の波長帯域範囲の光学フィルタを介して多色赤外線撮像装置のセンサに入射させ、予め記憶手段に格納させた複数の物質の放射率値を基に被写体の真温度T0及び背景温度Taを求めて、複数物質の材質或いはその状態を判別する多色赤外線撮像装置が知られている(特許文献1)。この多色赤外線撮像装置では、赤外光波長領域の分光反射特性を利用することで、物体の材質や状態を識別している。
【0003】
また、遠赤外画像と可視画像とからそれぞれの画像の特徴量を算出し、特徴量の多次元空間をクラスタリングによっていくつかのクラスタに分類することを特徴とし、特徴量空間における特徴量の分布にしたがって領域分割を行い、対象物を抽出する対象物抽出装置が知られている(特許文献2)。この対象物抽出装置では、赤外光波長領域の分光反射特性を利用することで、対象物を抽出している。
【特許文献1】特開2004−117309
【特許文献2】特開2000−306191
【発明の開示】
【発明が解決しようとする課題】
【0004】
しかしながら、上記特許文献1、2の技術では、屋外で撮像する際に、例えば、季節や天候に応じて太陽光の照度が変化し、周囲環境の明るさが時々刻々と変化すると、周囲の明るさによって、物体表面に入射する光量が変化するため、物体の材質や状態を正確に識別することができない、という問題がある。また、例えば、同じ道路面でも、建物の影になっている部分と、太陽光が直接照射している部分とがある場合には、2つの領域での明るさが顕著に異なるため、物体の材質や状態を正確に識別することができない、という問題がある。
【0005】
本発明は、上記の問題点を解決するためになされたもので、明るさが変化する環境であっても、安定して精度よく物体の材質や状態を識別することができる物体識別装置及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【0006】
上記の目的を達成するために第1の発明に係る物体識別装置は、識別対象領域を撮像し、少なくとも一つの波長帯が赤外光波長領域の少なくとも一部分を含み、かつ、帯域が各々異なる3つの波長帯の各々の画像を出力する撮像手段と、前記撮像手段から出力された前記画像の各々の画素値を、予め定められた色空間の明るさに依存しない特徴量に変換する特徴量変換手段と、予め定められた複数の材質の各々又は複数の状態の各々に対する前記明るさに依存しない特徴量、及び前記特徴量変換手段によって変換された特徴量に基づいて、前記識別対象領域に存在する物体の材質又は状態を識別する識別手段とを含んで構成されている。
【0007】
また、第2の発明に係るプログラムは、コンピュータを、識別対象領域を撮像し、少なくとも一つの波長帯が赤外光波長領域の少なくとも一部分を含み、かつ、帯域が各々異なる3つの波長帯の各々の画像を出力する撮像手段から出力された前記画像の各々の画素値を、予め定められた色空間の明るさに依存しない特徴量に変換する特徴量変換手段、及び予め定められた複数の材質の各々又は複数の状態の各々に対する前記明るさに依存しない特徴量、及び前記特徴量変換手段によって変換された特徴量に基づいて、前記識別対象領域に存在する物体の材質又は状態を識別する識別手段として機能させるためのプログラムである。
【0008】
第1の発明及び第2の発明によれば、撮像手段によって、識別対象領域を撮像し、少なくとも一つの波長帯が赤外光波長領域の少なくとも一部分を含み、かつ、帯域が各々異なる3つの波長帯の各々の画像を出力する。
【0009】
そして、特徴量変換手段によって、撮像手段から出力された画像の各々の画素値を、予め定められた色空間の明るさに依存しない特徴量に変換し、識別手段によって、予め定められた複数の材質の各々又は複数の状態の各々に対する明るさに依存しない特徴量、及び特徴量変換手段によって変換された特徴量に基づいて、識別対象領域に存在する物体の材質又は状態を識別する。
【0010】
このように、少なくとも一つの波長帯が赤外光波長領域の少なくとも一部分を含む3つの波長帯の画像の各々の画素値を、明るさに依存しない特徴量に変換して、識別対象領域に存在する物体の材質又は状態を識別することにより、明るさの影響を受けずに、物体の材質又は状態を識別することができるため、明るさが変化する環境であっても、安定して精度よく物体の材質又は状態を識別することができる。
【0011】
上記の3つの波長帯の各々を、可視光波長領域から赤外光波長領域までの範囲に含むことができる。
【0012】
第3の発明に係る物体識別装置は、識別対象領域を撮像し、少なくとも一つの波長帯が赤外光波長領域の少なくとも一部分を含み、かつ、帯域が各々異なる少なくとも4つの波長帯の各々の画像を出力する撮像手段と、前記撮像手段から出力された前記画像から3つの画像を選択する選択手段と、前記選択手段によって選択された前記3つの画像の各々の画素値を、予め定められた色空間の明るさに依存しない特徴量に変換する特徴量変換手段と、予め定められた複数の材質の各々又は複数の状態の各々に対する前記明るさに依存しない特徴量、及び前記特徴量変換手段によって変換された特徴量に基づいて、前記識別対象領域に存在する物体の材質又は状態を識別する識別手段とを含んで構成されている。
【0013】
第4の発明に係るプログラムは、コンピュータを、識別対象領域を撮像し、少なくとも一つの波長帯が赤外光波長領域の少なくとも一部分を含み、かつ、帯域が各々異なる少なくとも4つの波長帯の各々の画像を出力する撮像手段から出力された前記画像から3つの画像を選択する選択手段、前記選択手段によって選択された前記3つの画像の各々の画素値を、予め定められた色空間の明るさに依存しない特徴量に変換する特徴量変換手段、及び予め定められた複数の材質の各々又は複数の状態の各々に対する前記明るさに依存しない特徴量、及び前記特徴量変換手段によって変換された特徴量に基づいて、前記識別対象領域に存在する物体の材質又は状態を識別する識別手段として機能させるためのプログラムである。
【0014】
第3の発明及び第4の発明によれば、撮像手段によって、識別対象領域を撮像し、少なくとも一つの波長帯が赤外光波長領域の少なくとも一部分を含み、かつ、帯域が各々異なる少なくとも4つの波長帯の各々の画像を出力する。
【0015】
そして、選択手段によって、撮像手段から出力された画像から3つの画像を選択し、特徴量変換手段によって、選択手段によって選択された3つの画像の各々の画素値を、予め定められた色空間の明るさに依存しない特徴量に変換し、識別手段によって、予め定められた複数の材質の各々又は複数の状態の各々に対する明るさに依存しない特徴量、及び特徴量変換手段によって変換された特徴量に基づいて、識別対象領域に存在する物体の材質又は状態を識別する。
【0016】
このように、少なくとも一つの波長帯が赤外光波長領域の少なくとも一部分を含む少なくとも4つの波長帯の画像から選択した3つの画像の各々の画素値を、明るさに依存しない特徴量に変換して、識別対象領域に存在する物体の材質又は状態を識別することにより、明るさの影響を受けずに、物体の材質又は状態を識別することができるため、明るさが変化する環境であっても、安定して精度よく物体の材質又は状態を識別することができる。
【0017】
上記の少なくとも4つの波長帯の各々を、可視光波長領域から赤外光波長領域までの範囲に含むことができる。
【0018】
上記の色空間を、HSV色空間、YIQ色空間、及び均等色空間の何れかとすることができる。
【0019】
上記の特徴量変換手段は、予め定められた複数の色空間の各々について、色空間の明るさに依存しない特徴量に変換し、識別手段は、複数の材質の各々又は複数の状態の各々に対する複数の色空間の各々の特徴量、及び変換された複数の色空間の各々の特徴量に基づいて、識別対象領域に存在する物体の材質又は状態を識別することができる。これによって、複数の色空間の明るさに依存しない特徴量に基づいて、精度よく物体の材質又は状態を識別することができる。
【0020】
第5の発明に係る物体識別装置は、識別対象領域を撮像し、少なくとも一つの波長帯が赤外光波長領域の少なくとも一部分を含み、かつ、帯域が各々異なる複数の波長帯の各々の画像を出力する撮像手段と、前記複数の波長帯の各々の明るさが各々異なる複数の画像の各々の画像特徴量に対する主成分分析によって得られる複数の主成分のうち、明るさに最も依存する主成分とは異なる予め定められた主成分に、前記撮像手段から出力された前記画像の各々の画像特徴量を変換する特徴量変換手段と、予め定められた複数の材質の各々又は複数の状態の各々に対する前記明るさに最も依存する主成分とは異なる主成分、及び前記特徴量変換手段によって変換された前記主成分に基づいて、前記識別対象領域に存在する物体の材質又は状態を識別する識別手段とを含んで構成されている。
【0021】
第6の発明に係るプログラムは、コンピュータを、識別対象領域を撮像し、少なくとも一つの波長帯が赤外光波長領域の少なくとも一部分を含み、かつ、帯域が各々異なる複数の波長帯の各々の画像を出力する撮像手段から出力された前記画像の各々の画像特徴量を、前記複数の波長帯の各々の明るさが各々異なる複数の画像の各々の画像特徴量に対する主成分分析によって得られる複数の主成分のうち、明るさに最も依存する主成分とは異なる予め定められた主成分に変換する特徴量変換手段、及び予め定められた複数の材質の各々又は複数の状態の各々に対する前記明るさに最も依存する主成分とは異なる主成分、及び前記特徴量変換手段によって変換された前記主成分に基づいて、前記識別対象領域に存在する物体の材質又は状態を識別する識別手段として機能させるためのプログラムである。
【0022】
第5の発明及び第6の発明によれば、撮像手段によって、識別対象領域を撮像し、少なくとも一つの波長帯が赤外光波長領域の少なくとも一部分を含み、かつ、帯域が各々異なる複数の波長帯の各々の画像を出力する。
【0023】
そして、特徴量変換手段によって、複数の波長帯の各々の明るさが各々異なる複数の画像の各々の画像特徴量に対する主成分分析によって得られる複数の主成分のうち、明るさに最も依存する主成分とは異なる予め定められた主成分に、撮像手段から出力された画像の各々の画像特徴量を変換する。そして、識別手段によって、予め定められた複数の材質の各々又は複数の状態の各々に対する明るさに最も依存する主成分とは異なる主成分、及び特徴量変換手段によって変換された主成分に基づいて、識別対象領域に存在する物体の材質又は状態を識別する。
【0024】
このように、少なくとも一つの波長帯が赤外光波長領域の少なくとも一部分を含む複数の波長帯の画像の各々の画像特徴量を、明るさに最も依存する主成分とは異なる主成分に変換して、識別対象領域に存在する物体の材質又は状態を識別することにより、明るさの影響を少なくして、物体の材質又は状態を識別することができるため、明るさが変化する環境であっても、安定して精度よく物体の材質又は状態を識別することができる。
【0025】
第5の発明に係る複数の波長帯の各々を、可視光波長領域から赤外光波長領域までの範囲に含むことができる。
【0026】
上記の赤外光波長領域の少なくとも一部分を含む波長帯は、近赤外光波長領域の少なくとも一部分を含むことができる。これによって、近赤外光波長領域の画像の画素値を用いて識別するため、物体の材質又は状態を精度よく識別することができる。
【発明の効果】
【0027】
以上説明したように、本発明の物体識別装置及びプログラムによれば、明るさの影響を少なくして、物体の材質又は状態を識別することができるため、明るさが変化する環境であっても、安定して精度よく物体の材質又は状態を識別することができる、という効果が得られる。
【発明を実施するための最良の形態】
【0028】
以下、図面を参照して本発明の実施の形態を詳細に説明する。
【0029】
図1に示すように、第1の実施の形態に係る物体識別装置10は、識別対象領域を含む範囲を撮像して、図2(A)に示すような第1波長帯(近赤外光波長領域内の波長帯)の画像を生成する第1の撮像装置12Aと、図2(B)に示すような第1波長帯とは異なる第2波長帯(近赤外光波長領域内の波長帯)の画像を生成する第2の撮像装置12Bと、図2(C)に示すような第1波長帯及び第2波長帯の各々とは異なる第3波長帯(近赤外光波長領域内の波長帯)の画像を生成する第3の撮像装置12Cと、第1の撮像装置12A〜第3の撮像装置12Cの各々から出力される3枚の撮像画像に基づいて、識別対象領域に存在する物体の材質を識別する画像識別処理ルーチンを実現するための識別プログラムを格納したコンピュータ16と、コンピュータ16での処理結果を表示するための表示装置18とを備えている。
【0030】
第1の撮像装置12A〜第3の撮像装置12Cは、識別対象領域を含む範囲を撮像し、上記の波長帯のいずれかの画像の画像信号を生成する撮像部(図示省略)と、撮像部で生成された画像信号をA/D変換するA/D変換部(図示省略)と、A/D変換された画像信号を一時的に格納するための画像メモリ(図示省略)とを備えている。なお、後段の処理の簡素化のために、第1の撮像装置12A〜第3の撮像装置12Cの各々は、撮像される画像の光軸と視野角とがそれぞれ一致するように配置されていることが好ましい。
【0031】
なお、第1の撮像装置12A〜第3の撮像装置12Cの各々で撮像する画像の波長帯は、主要な波長帯域が異なっていれば、波長帯の一部が重複していてもよい。
【0032】
コンピュータ16は、CPU、後述する画像識別処理ルーチンの識別プログラムを記憶したROM、データ等を記憶するRAM、及びこれらを接続するバスを含んで構成されている。このコンピュータ16をハードウエアとソフトウエアとに基づいて定まる機能実現手段毎に分割した機能ブロックで説明すると、図1に示すように、第1の撮像装置12A〜第3の撮像装置12Cから出力される濃淡画像である3枚の撮像画像を入力する画像入力部20と、画像入力部20によって入力された3枚の撮像画像の各々から、識別対象領域の画素値を抽出する画素値抽出部22と、3枚の撮像画像から抽出された3つの画素値を、HSV色空間の各特徴量(H、S、Vの値)に変換する空間変換部24と、予め取得した学習画像について算出された特徴量H、Sを軸とするHS平面におけるH、Sの分布状況を物体の材質毎に記憶した分布記憶部26と、空間変換部24で変換された特徴量H、Sを、HS平面上に投影し、分布記憶部26に記憶された各物体の材質におけるH、Sの分布状況と照合することによって、識別対象領域に存在する物体の材質を識別する識別部28と、第1の撮像装置12Aによって撮像された撮像画像に、識別部28による識別結果を重畳させて表示装置18に表示させる表示制御部30とを備えている。
【0033】
画素値抽出部22は、第1の撮像装置12A〜第3の撮像装置12Cで撮像された3枚の撮像画像(第1波長帯の撮像画像I1、第2波長帯の撮像画像I2、第3波長帯の撮像画像I3)の各々に対して、撮像画像中から識別したい識別対象領域を切り出す。そして、識別対象領域内の各画素の画素値Pi(I1)(i=1〜N、Nは切り出した識別対象領域内の画素数)に基づいて、画素値P1(I1)〜PN(I1)を平均し、第1波長帯の撮像画像の識別対象領域の画素値として抽出する。また、識別対象領域内の各画素の画素値Pi(I2)に基づいて、画素値P1(I2)〜PN(I2)を平均し、第2波長帯の撮像画像の識別対象領域の画素値として抽出し、また、識別対象領域内の各画素の画素値Pi(I3)に基づいて、画素値P1(I3)〜PN(I3)を平均し、第3波長帯の撮像画像の識別対象領域の画素値として抽出する。
【0034】
ここで、近赤外光は、照射された物体の分子構造とその運動に依存して特定の波長帯の光が吸収されるという性質を持つ。言い換えると、物体の材質やその状態に応じて近赤外光の反射特性が異なるという性質を持つ。本実施の形態では、各撮像画像として、近赤外光波長領域内の波長帯の画像を用いるため、上述した性質を利用することができ、物体からの近赤外スペクトルを分析することによって、光が照射された物体の材質や状態を精度よく識別することができる。
【0035】
空間変換部24は、3枚の撮像画像の各々から抽出された識別対象領域の画素値を1組とし、1組の画素値を、図3に示すようなHSV色空間の各特徴量へ変換する。例えば、3枚の撮像画像I1、I2、I3の各々の識別対象領域Pの平均化された画素値をp1、p2、p3とした場合、(p1, p2, p3)の3成分をRGBの各濃度値に見立てて、以下の(1)式によって、HSV色空間の特徴量V(Value、輝度)、H(Hue、色相)、S(Saturation、彩度)を計算する。
【0036】
【数1】
【0037】
ここで、MAX、MINは、それぞれRGBの各値の中における最大値、最小値である。
【0038】
上記図3に示すように、HSV色空間において、Vの座標軸は、H、Sの座標軸と直交するため、HとSとは、明るさに依存しない特徴量である。従って、HS平面上でのH、Sの分布状況を利用すれば、明るさの変化による影響を受けずに、物体の材質を識別することが可能である。
【0039】
分布記憶部26には、予め用意した複数組の各波長帯の学習画像の識別対象が撮像された領域の画素値について算出されたH、Sの値と学習画像が表わす物体の材質とに基づいて求められる物体の材質毎の特徴量H、Sの分布状況が記憶されている。例えば、上記図2に示すような近赤外領域の3波長帯の3枚の撮像画像を複数組用意して学習画像として利用した場合の、HS平面上での物体の材質(綿(服)、アスファルト(路面)、芝生、空、雲)に対するH、Sの分布状況を図4に示す。なお、上記図4の分布状況では、x軸(正方向)からの角度(反時計回りの角度)がHの値を表わし、原点からの距離がSの値を表わしている。また、分布記憶部26には、物体の材質の各々について、HS平面における分布状況として分布領域の中心位置と分散とを表わすパラメータが記憶されている。なお、H、Sの値の分布領域の境界が、直線や曲線で表わされる場合には、境界を表わす直線や曲線のパラメータを分布記憶部26に記憶するようにしてもよい。
【0040】
識別部28は、分布記憶部26に記憶された物体の材質の各々に対する特徴量H、Sの分布状況と、空間変換部24で変換されたH、Sの値とをHS平面上で照合して、変換されたH、Sの値が、どの物体の材質に対する分布状況に該当するかを判定することにより、識別対象領域に存在する物体の材質を識別する。
【0041】
次に、第1の実施の形態に係る物体識別装置10の作用について説明する。
【0042】
まず、第1の撮像装置12A〜第3の撮像装置12Cが、検出対象領域を含む範囲に向けられ、第1の撮像装置12A〜第3の撮像装置12Cの各々によって検出対象領域を含む範囲の画像が撮像されると、コンピュータ16において、図5に示す画像識別処理ルーチンが実行される。
【0043】
まず、ステップ100において、第1の撮像装置12A〜第3の撮像装置12Cの各々から、3枚の撮像画像を取得し、ステップ102において、第1の撮像装置12A〜第3の撮像装置12Cから取得した3枚の撮像画像の各々について、識別対象領域内の画素値を平均して、識別対象領域の画素値として各々抽出する。そして、ステップ104において、上記ステップ102で抽出された画素値を、HSV色空間の特徴量H、S、Vに変換し、次のステップ106において、物体の材質の各々に対する特徴量H、Sの分布状況を分布記憶部26から読み込み、各材質のH、Sの分布状況と、上記ステップ104で変換された特徴量H、Sとを照合して、識別対象領域に存在する物体の材質を識別する。HS平面上で、変換された特徴量H、Sを表わす点を含む分布領域を持つ分布状況が、分布記憶部26に記憶された分布状況の中になかった場合には、識別対象領域に存在する物体の材質は、何れの材質でもないと判断し、特徴量H、Sが表わす点を含む分布領域を持つ分布状況が、分布記憶部26に記憶された分布状況の中にあった場合には、識別対象領域に存在する物体の材質が、該当する分布領域を持つ分布状況に対する材質であると識別する。
【0044】
そして、ステップ110において、図6に示すように、識別結果として、該当する分布領域を持つ分布状況に対する材質を表わす情報を、表示装置18に表示された第1の撮像装置12Aから出力された撮像画像の識別対象領域に応じた位置に重畳させて、表示装置18に表示させて、画像識別処理ルーチンを終了する。なお、識別対象領域が複数ある場合には、識別対象領域毎に、上記ステップ102〜ステップ110を実行して、各識別対象領域について物体の材質を識別し、撮像画像の各識別対象領域に応じた各位置に識別結果を重畳させて、表示装置18に表示させる。
【0045】
以上説明したように、第1の実施の形態に係る物体識別装置によれば、近赤外光波長領域内の異なる3つの波長帯の撮像画像の各々の画素値を、HSV色空間の明るさに依存しない特徴量H、Sに変換して、識別対象領域に存在する物体の材質を識別することにより、明るさの影響を受けずに、物体の材質を識別することができるため、明るさが変化する環境であっても、安定して精度よく物体の材質を識別することができる。
【0046】
また、近赤外光波長領域内の波長帯の撮像画像の画素値を用いて識別するため、物体の材質を精度よく識別することができる。
【0047】
また、3つの波長帯の各々の撮像画像の画素値を、明るさと色情報とを分離して表現できるHSV色空間に変換し、明るさに関係しない特徴量H、Sを軸とするHS平面上での分布状況から、物体の材質を識別するため、環境光の変化に対して影響を受けにくい。
【0048】
また、HS平面上における材質毎の分布状況は、予め用意した学習画像を用いて予め求めておくため、物体の材質を識別する時に、簡易な計算処理で物体の材質を識別することができる。
【0049】
また、特別な正規化処理(明るさ補正や基準物体の撮像など)を必要せずに、周囲環境の明るさの変化にロバストな物体の材質の識別を行うことができるため、周囲の明るさ、すなわち、物体表面に入射する光量が変化する場合であっても、安定して物体の材質を識別することができる。
【0050】
なお、上記の実施の形態では、識別対象領域に存在する物体の材質を識別する場合を例に説明したが、これに限定されるものではなく、識別対象領域に存在する物体の状態を識別するようにしてもよい。例えば、物体の乾燥状態や、濡れ状態、凍結状態などを識別するようにしてもよい。この場合には、物体の状態毎に、学習画像から求められた特徴量H、Sの分布状況を予め記憶しておき、撮像画像から得られたH、Sの値と、記憶されているH、Sの分布状況とを照合して、識別対象領域に存在する物体の状態を識別すればよい。
【0051】
また、識別対象領域の画素値として、識別対象領域内の各画素の画素値の平均を抽出する場合を例に説明したが、これに限定されるものではなく、識別対象領域の画素値として、識別対象領域内の各画素の画素値を各々抽出するようにしてもよい。この場合には、各画素について画素値を抽出し、各画素の画素値について算出される特徴量H、Sを、HS平面上にプロットし、プロットされた点の分布と、分布記憶部に記憶された材質毎のH、Sの分布状況とを照合して、識別対象領域に存在する物体の材質を識別すればよい。
【0052】
次に、第2の実施の形態について説明する。なお、第2の実施の形態に係る物体識別装置の構成は、第1の実施の形態と同様の構成となっているため、同一符号を付して説明を省略する。
【0053】
第2の実施の形態では、識別対象領域の画素値を、複数の色空間の特徴量に変換している点が第1の実施の形態と異なっている。
【0054】
第2の実施の形態に係る物体識別装置10の空間変換部24では、3枚の撮像画像の各々から抽出された識別対象領域の3つの画素値を1組とし、1組の画素値を、HSV色空間の各特徴量へ変換すると共に、1組の画素値をYIQ色空間の各特徴量へ変換し、また、1組の画素値をCIE LAB色空間の各特徴量へ変換する。
【0055】
例えば、3枚の撮像画像の各々の識別対象領域の平均化された画素値の3成分を、RGBの各濃度値に見立てて、HSV色空間の特徴量H、S、V、YIQ色空間の特徴量Y、I、Q、及びCIE LAB色空間の特徴量L*、a*、b*を計算する。ここで、HSV色空間の特徴量H、S、YIQ色空間の特徴量I、Q、及びCIE LAB色空間の特徴量a*、b*は、明るさに依存しない特徴量である。
【0056】
分布記憶部26には、予め取得した複数の学習画像の各々について算出されたH、S、I、Q、a*、b*の値と学習画像が表わす物体の材質とに基づいて求められる材質毎の特徴量H、S、I、Q、a*、b*の分布状況が記憶されている。
【0057】
識別部28は、分布記憶部26に記憶された物体の材質の各々に対する特徴量H、S、I、Q、a*、b*の分布状況と、空間変換部24で変換されたH、S、I、Q、a*、b*の値とを、H、S、I、Q、a*、b*の各々を軸とする多次元空間で照合して、変換されたH、S、I、Q、a*、b*の値が、どの物体の材質に対する分布状況に該当するかを判定する。そして、この判定結果に基づいて、識別対象領域に存在する物体の材質を識別する。
【0058】
このように、3つの波長帯の撮像画像の画素値を、HSV色空間、YIQ色空間、及びCIE LAB色空間の各々の明るさに依存しない特徴量に変換し、変換されたこれらの特徴量と、記憶された材質毎の特徴量の分布とを、これらの特徴量を軸とする多次元空間で照合して、物体の材質を識別することにより、精度よく物体の材質を識別することができる。
【0059】
なお、上記の実施の形態では、HSV色空間、YIQ色空間、及びCIE LAB色空間を用いた場合を例に説明したが、これに限定されるものではなく、他の色空間を用いてもよい。
【0060】
次に、第3の実施の形態について説明する。なお、第1の実施の形態と同様の構成となる部分については、同一符号を付して説明を省略する。
【0061】
第3の実施の形態では、複数の撮像装置から取得した複数の撮像画像から、3枚の撮像画像を選択し、選択された3枚の撮像画像を用いて、識別対象領域に存在する物体の材質を識別している点が第1の実施の形態と異なっている。
【0062】
図7に示すように、第3の実施の形態に係る物体識別装置210は、識別対象領域を含む範囲を撮像して、近赤外光波長領域内の第1波長帯の画像を生成する第1の撮像装置12Aと、第1波長帯とは異なる近赤外光波長領域内の第2波長帯の画像を生成する第2の撮像装置12Bと、第1波長帯及び第2波長帯の各々とは異なる近赤外光波長領域内の第3波長帯の画像を生成する第3の撮像装置12Cと、第1波長帯〜第3波長帯の各々とは異なる近赤外光波長領域内の第4波長帯の画像を生成する第4の撮像装置12Dと、第1の撮像装置12A〜第4の撮像装置12Dの各々から出力される4枚の撮像画像に基づいて、識別対象領域に存在する物体の材質を識別する画像識別処理ルーチンを実現するための識別プログラムを格納したコンピュータ216と、表示装置18とを備えている。
【0063】
なお、第1の撮像装置12A〜第4の撮像装置12Dの各々で撮像する画像の波長帯は、主要な波長帯域が異なっていれば、波長帯の一部が重複していてもよい。
【0064】
コンピュータ216は、第1の撮像装置12A〜第4の撮像装置12Dから出力される濃淡画像である4枚の撮像画像を入力する画像入力部220と、画像入力部220によって入力された4枚の撮像画像から、3枚の撮像画像を選択する画像選択部221と、画像選択部221で選択された3枚の撮像画像の各々から、識別対象領域の画素値を抽出する画素値抽出部22と、空間変換部24と、分布記憶部26と、識別部28と、表示制御部30とを備えている。
【0065】
画像選択部221で選択される3枚の撮像画像の組み合わせは、予め定めておく。例えば、学習段階で、全ての組み合わせについて生成される特徴空間内での識別対象の分布状況を調査して、分離しやすい特徴空間を生成できる3枚の撮像画像の組み合わせを予め定めておく。3枚の撮像画像の選択のしかたによって、特徴量を増やすことができ、識別性能を向上させることができる。
【0066】
次に第3の実施の形態に係る画像識別処理ルーチンの内容について図8を用いて説明する。なお、第1の実施の形態と同様の処理については、同一符号を付して詳細な説明を省略する。
【0067】
まず、ステップ250において、第1の撮像装置12A〜第4の撮像装置12Dの各々から、4枚の撮像画像を取得し、ステップ252において、上記ステップ250で取得された4枚の撮像画像から、予め定められた組み合わせの3枚の撮像画像を選択する。
【0068】
そして、ステップ254において、上記ステップ252で選択された3枚の撮像画像の各々について、識別対象領域内の画素値を平均して、識別対象領域の画素値として各々抽出する。そして、ステップ104において、上記ステップ254で抽出された画素値を、HSV色空間の特徴量H、S、Vに変換し、次のステップ106において、各材質のH、Sの分布状況と、上記ステップ104で変換された特徴量H、Sとを照合して、識別対象領域に存在する物体の材質を識別する。
【0069】
そして、ステップ110において、識別結果を表示装置18に表示させて、画像識別処理ルーチンを終了する。
【0070】
以上説明したように、第3の実施の形態に係る物体識別装置によれば、近赤外光波長領域内の異なる4つの波長帯の撮像画像から3つの撮像画像を選択し、選択された画像の各々の画素値を、HSV色空間の明るさに依存しない特徴量H、Sに変換して、識別対象領域に存在する物体の材質を識別することにより、明るさの影響を受けずに、物体の材質を識別することができるため、明るさが変化する環境であっても、安定して精度よく物体の材質を識別することができる。
【0071】
なお、上記の実施の形態では、4つの撮像装置から、異なる4つの波長帯の撮像画像を取得する場合を例に説明したが、これに限定されるものではなく、5つ以上の撮像装置から、異なる5つ以上の波長帯の撮像画像を取得するようにしてもよい。この場合には、取得した5つ以上の波長帯の撮像画像から、3つの撮像画像を選択し、選択された3つの撮像画像を用いて、識別対象領域に存在する物体の材質を識別すればよい。
【0072】
また、予め定められた組み合わせの3枚の撮像画像を選択する場合を例に説明したが、識別対象毎に3枚の撮像画像の組み合わせを変えてもよい。例えば、識別対象であるアスファルトに対して、4枚の撮像画像A、B、C、Dから3枚の撮像画像A、B、Cを選択するように、組み合わせを予め定めておき、また、識別対象である芝生に対して、3枚の撮像画像B、C、Dを選択するように、組み合わせを予め定めて、識別対象毎に撮像画像の組み合わせを変えるようにしてもよい。
【0073】
次に、第4の実施の形態について説明する。なお、第4の実施の形態に係る物体識別装置の構成は、第3の実施の形態と同様の構成となっているため、同一符号を付して説明を省略する。
【0074】
第4の実施の形態では、識別対象領域の画素値を、複数の色空間の特徴量に変換している点が第3の実施の形態と異なっている。
【0075】
第4の実施の形態に係る物体識別装置210の空間変換部24では、選択された3枚の撮像画像の各々から抽出された識別対象領域の3つの画素値を1組とし、1組の画素値を、HSV色空間の各特徴量へ変換すると共に、1組の画素値をYIQ色空間の各特徴量へ変換し、また、1組の画素値をCIE LAB色空間の各特徴量へ変換する。
【0076】
分布記憶部26には、予め取得した複数の学習画像の各々について算出されたH、S、I、Q、a*、b*の値と学習画像が表わす物体の材質とに基づいて求められる材質毎の特徴量H、S、I、Q、a*、b*の分布状況が記憶されている。
【0077】
識別部28は、分布記憶部26に記憶された物体の材質の各々に対する特徴量H、S、I、Q、a*、b*の分布状況と、空間変換部24で変換されたH、S、I、Q、a*、b*の値とを、H、S、I、Q、a*、b*の各々を軸とする多次元空間で照合して、変換されたH、S、I、Q、a*、b*の値が、どの物体の材質に対する分布状況に該当するかを判定する。そして、この判定結果に基づいて、識別対象領域に存在する物体の材質を識別する。
【0078】
このように、選択された3つの波長帯の撮像画像の画素値を、HSV色空間、YIQ色空間、及びCIE LAB色空間の各々の明るさに依存しない特徴量に変換し、変換されたこれらの特徴量と、記憶された材質毎の特徴量の分布とを、これらの特徴量を軸とする多次元空間で照合して、物体の材質を識別することにより、精度よく物体の材質を識別することができる。
【0079】
次に、第5の実施の形態について説明する。なお、第1の実施の形態と同様の構成となる部分については、同一符号を付して説明を省略する。
【0080】
第5の実施の形態では、識別対象領域の画素値を主成分分析によって得られる主成分に変換し、変換された主成分の値に基づいて、物体の材質を識別している点が第1の実施の形態と異なっている。
【0081】
図9に示すように、第5の実施の形態に係る物体識別装置310のコンピュータ316は、画像入力部20と、画像入力部20によって入力された3枚の撮像画像の各々から、識別対象領域の画素値を抽出する画素値抽出部322と、主成分分析によって得られる複数の主成分の各々に変換するための変換式が記憶された主成分分析記憶部323と、主成分分析記憶部323に記憶された変換式を用いて、3枚の撮像画像の各々から抽出された画素値を、主成分分析によって得られる複数の主成分に変換する主成分変換部324と、予め用意した学習画像について予め算出された複数の主成分の分布状況を、物体の材質毎に記憶した分布記憶部326と、主成分変換部324で変換された各主成分を、分布記憶部326に記憶された各物体の材質における複数の主成分の分布状況と照合することによって、識別対象領域に存在する物体の材質を識別する識別部328と、表示制御部30とを備えている。
【0082】
また、予め様々な照明条件で撮像した学習画像を各波長帯(近赤外光波長領域内の第1波長帯、第2波長帯、第3波長帯)について用意し、用意された複数の学習画像の識別対象が撮像された領域の画素値を主成分分析して、明るさの影響が少ない主成分を選択し、画素値から選択された主成分に変換するための変換式を求め、求められた変換式が主成分分析記憶部323に記憶されている。
【0083】
ここで、主成分分析について説明する。主成分分析は、多変量データを統合して新たな総合指標を作り出すための手法であり、多くの変数に重み(ウェイト)をつけて少数の合成変数を作る手法である。また、重みの計算では、固有値展開を利用し、合成変数ができるだけ多く元の変数の情報量を含むようにする。
【0084】
次に、明るさの影響が少ない主成分を選択するための方法を以下に説明する。まず、撮影時間や場所などを様々に変えて、様々な照明条件で撮像画像を、各波長帯を利用して撮像し、これらの撮像画像の各々から画素値を抽出して、抽出された画素値をサンプリングデータとする。そして、サンプリングデータから相関行列(例えば、N×NもしくはM×Mの相関行列(M≧N))を計算し、相関行列を固有値展開して、固有値と固有ベクトルとを算出する。そして、固有値が大きい順に固有ベクトルを並べ、大きい固有値に対応する固有ベクトルから順に、第1主成分、第2主成分、・・・、第N主成分とする。
【0085】
ここで、サンプリングデータは、様々な照明条件で撮像された撮像画像の画素値であるため、明るさの変化がサンプリングデータの変化に最も大きく影響する要因であり、明るさ変動に依存する主成分は、固有値の値が最も大きい第1主成分となる。一方、第1主成分以外の主成分は明るさ変動の影響が少ない主成分となる。従って、複数の主成分のうち、第2主成分〜第N主成分を選択し、第2主成分〜第N主成分の各々に変換するための変換式を予め求め、主成分分析記憶部323に記憶する。以下では、3波長帯の画像を利用して第2主成分及び第3主成分が選択され、変換式によって第2主成分及び第3主成分の各々に変換する場合を例に説明する。
【0086】
主成分変換部324は、主成分分析記憶部323に記憶された変換式を用いて、複数の撮像画像の各々から抽出された識別対象領域の画素値を、第2主成分及び第3主成分に変換する。
【0087】
分布記憶部326には、予め用意した複数組の各波長帯の学習画像の識別対象が撮像された領域の画素値について算出された第2主成分、第3主成分の値と、学習画像が表わす物体の材質とに基づいて求められる材質毎の第2主成分及び第3主成分の分布状況が記憶されている。例えば、近赤外領域の3波長帯の3枚の撮像画像を複数組用意して学習画像として利用した場合の、第2主成分及び第3主成分の各々を軸とする平面上での物体の材質(綿(服)、アスファルト(路面)、芝生、空、雲)の各々に対する第2主成分及び第3主成分の分布状況を図10に示す。なお、図10の分布状況では、x軸が第2主成分を表わし、y軸が第3主成分を表わしている。
【0088】
識別部328は、分布記憶部326に記憶された物体の材質の各々に対する第2主成分及び第3主成分の分布状況と、主成分変換部324で変換された第2主成分及び第3主成分の値とを、第2主成分及び第3主成分の各々を軸とする平面上で照合して、どの物体の材質に対する分布状況が、変換された第2主成分及び第3主成分の値が表わす点を含む分布領域を持つかを判定することにより、識別対象領域に存在する物体の材質を識別する。
【0089】
次に、第5の実施の形態に係る画像識別処理ルーチンについて図11を用いて説明する。なお、第1の実施の形態と同様の処理については、同一符号を付して詳細な説明を省略する。
【0090】
まず、ステップ100において、第1の撮像装置12A〜第3の撮像装置12Cから3枚の撮像画像を取得し、ステップ350において、第1の撮像装置12A〜第3の撮像装置12Cから取得された3枚の撮像画像の各々から、識別対象領域内の各画素の画素値の平均値を、識別対象領域の画素値として各々抽出する。そして、ステップ352において、主成分分析記憶部323から第2主成分に変換するための変換式及び第3主成分に変換するための変換式を読み込み、これらの変換式を用いて、上記ステップ350で抽出された3つの画素値を、第2主成分及び第3主成分の各々に変換し、次のステップ354において、物体の材質の各々に対する第2主成分及び第3主成分の分布状況を分布記憶部326から読み込み、各材質の第2主成分及び第3主成分の分布状況と、上記ステップ352で変換された第2主成分及び第3主成分とを照合して、識別対象領域に存在する物体の材質を識別する。第2主成分及び第3主成分の各々を軸とする平面上において、変換された第2主成分及び第3主成分を表わす点を含む分布領域を持つ分布状況が、分布記憶部326に記憶された分布状況の中になかった場合には、識別対象領域に存在する物体の材質は、何れの材質でもないと判断し、一方、変換された第2主成分及び第3主成分を表わす点を含む分布領域を持つ分布状況が、分布記憶部326に記憶された分布状況の中にあった場合には、識別対象領域に存在する物体の材質が、該当する分布領域を持つ分布状況に対する材質であると識別する。
【0091】
そして、ステップ110において、識別結果として、該当する分布領域を持つ分布状況に対する材質を表わす情報を、表示装置18に表示された撮像画像の識別対象領域に応じた位置に重畳させて、表示装置18に表示させて、画像識別処理ルーチンを終了する。なお、識別対象領域が複数ある場合には、識別対象領域毎に、上記ステップ350〜ステップ354とステップ110とを実行して、各識別対象領域について物体の材質を識別し、撮像画像の各識別対象領域に応じた各位置に識別結果を重畳させて、表示装置18に表示させる。
【0092】
このように、近赤外光波長領域内の異なる3つの波長帯の撮像画像の各々の画素値を、明るさに最も依存する第1主成分とは異なる第2主成分、第3主成分に変換して、識別対象領域に存在する物体の材質を識別することにより、明るさの影響を少なくして、物体の材質を識別することができるため、明るさが変化する環境であっても、安定して精度よく物体の材質を識別することができる。
【0093】
また、第2主成分及び第3主成分の各々を軸とする平面上における材質毎の第2主成分及び第3主成分の分布状況を、予め用意した学習画像を用いて予め求めておくため、物体の材質を識別する時に、簡易な計算処理で物体の材質を識別することができる。
【0094】
また、明るさの影響を受けにくい第2主成分、第3主成分を軸とする特徴空間を利用できるため、環境光の変化に対して、識別結果が影響を受けにくい。
【0095】
なお、上記の実施の形態では、識別対象領域に存在する物体の材質を識別する場合を例に説明したが、これに限定されるものではなく、識別対象領域に存在する物体の乾燥状態や、濡れ状態、凍結状態などを識別するようにしてもよい。この場合には、物体の状態毎に、学習画像から求められた第2主成分、第3主成分の分布状況を予め記憶しておき、撮像画像から得られた第2主成分、第3主成分の値と、記憶されている第2主成分、第3主成分の分布状況とを照合して、識別対象領域に存在する物体の状態を識別すればよい。
【0096】
また、識別対象領域の画素値として、識別対象領域内の各画素の画素値の平均を抽出する場合を例に説明したが、これに限定されるものではなく、識別対象領域の画素値として、識別対象領域内の各画素の画素値を各々抽出するようにしてもよい。この場合には、各画素について画素値を抽出し、各画素の画素値について算出される第2主成分、第3主成分を、第2主成分及び第3主成分の各々を軸とする平面上にプロットし、プロットされた点の分布と、分布記憶部に記憶された材質毎の第2主成分、第3主成分の分布状況とを照合して、識別対象領域に存在する物体の材質を識別すればよい。
【0097】
また、上記の第1の実施の形態〜第5の実施の形態では、3つ又は4つすべての波長帯が、近赤外光波長領域内に含まれている場合を例に説明したが、これに限定されるものではなく、3つ又は4つの波長帯が、可視光波長領域〜赤外光波長領域の範囲に含まれており、かつ、1つの波長帯又は2つの波長帯が、赤外光波長領域の少なくとも一部を含んでいればよい。
【0098】
また、上記の第1の実施の形態〜第5の実施の形態では、3つ又は4つの波長帯の各々の画像を撮像するために3つ又は4つの撮像装置を備えた場合を例に説明したが、これに限定されるものではなく、1つの撮像装置によって、異なる3つ又は4つの波長帯の画像を各々出力するように構成してもよい。この場合には、例えば、撮像画像の各画素について、3つ又は4つの波長帯の各々に対応するバンドパスフィルタを設けて、各波長帯の画像が出力されるように構成すればよい。
【0099】
また、上記の第5の実施の形態では、撮像画像の画像特徴量として、画素値を用いた場合を例に説明したが、これに限定されるものではなく、例えば、画素値を正規化して反射率に変換した値を、撮像画像の画像特徴量として用いてもよい。この場合には、学習画像の反射率を主成分分析して、第2主成分及び第3主成分を選択し、第2主成分及び第3主成分に変換するための変換式を予め求めておき、変換式によって、3つの波長帯の撮像画像の反射率を第2主成分、第3主成分に変換する。そして、学習画像の反射率から算出された材質毎の第2主成分及び第3主成分の分布状況と、変換された第2主成分及び第3主成分とを照合して、識別対象領域に存在する物体の材質を識別すればよい。
【図面の簡単な説明】
【0100】
【図1】本発明の第1の実施の形態に係る物体識別装置を示すブロック図である。
【図2】(A)第1波長帯の撮像画像を示すイメージ図、(B)第2波長帯の撮像画像を示すイメージ図、及び(C)第3波長帯の撮像画像を示すイメージ図である。
【図3】HSV色空間を示すイメージ図である。
【図4】物体の材質毎の特徴量H、Sの分布状況を示すグラフである。
【図5】本発明の第1の実施の形態に係る物体識別装置における画像識別処理ルーチンの内容を示すフローチャートである。
【図6】識別結果を重畳させて表示される撮像画像を示すイメージ図である。
【図7】本発明の第3の実施の形態に係る物体識別装置を示すブロック図である。
【図8】本発明の第3の実施の形態に係る物体識別装置における画像識別処理ルーチンの内容を示すフローチャートである。
【図9】本発明の第5の実施の形態に係る物体識別装置を示すブロック図である。
【図10】物体の材質毎の第2主成分、第3主成分の分布状況を示すグラフである。
【図11】本発明の第5の実施の形態に係る物体識別装置における画像識別処理ルーチンの内容を示すフローチャートである。
【符号の説明】
【0101】
10、210、310 物体識別装置
12A、12B、12C、12D 撮像装置
16、216、316 コンピュータ
18 表示装置
20、220 画像入力部
22、322 画素値抽出部
24 空間変換部
26、326 分布記憶部
28、328 識別部
30 表示制御部
221 画像選択部
323 主成分分析記憶部
324 主成分変換部
【特許請求の範囲】
【請求項1】
識別対象領域を撮像し、少なくとも一つの波長帯が赤外光波長領域の少なくとも一部分を含み、かつ、帯域が各々異なる3つの波長帯の各々の画像を出力する撮像手段と、
前記撮像手段から出力された前記画像の各々の画素値を、予め定められた色空間の明るさに依存しない特徴量に変換する特徴量変換手段と、
予め定められた複数の材質の各々又は複数の状態の各々に対する前記明るさに依存しない特徴量、及び前記特徴量変換手段によって変換された特徴量に基づいて、前記識別対象領域に存在する物体の材質又は状態を識別する識別手段と、
を含む物体識別装置。
【請求項2】
前記3つの波長帯の各々を、可視光波長領域から赤外光波長領域までの範囲に含んだ請求項1記載の物体識別装置。
【請求項3】
識別対象領域を撮像し、少なくとも一つの波長帯が赤外光波長領域の少なくとも一部分を含み、かつ、帯域が各々異なる少なくとも4つの波長帯の各々の画像を出力する撮像手段と、
前記撮像手段から出力された前記画像から3つの画像を選択する選択手段と、
前記選択手段によって選択された前記3つの画像の各々の画素値を、予め定められた色空間の明るさに依存しない特徴量に変換する特徴量変換手段と、
予め定められた複数の材質の各々又は複数の状態の各々に対する前記明るさに依存しない特徴量、及び前記特徴量変換手段によって変換された特徴量に基づいて、前記識別対象領域に存在する物体の材質又は状態を識別する識別手段と、
を含む物体識別装置。
【請求項4】
前記少なくとも4つの波長帯の各々を、可視光波長領域から赤外光波長領域までの範囲に含んだ請求項3記載の物体識別装置。
【請求項5】
前記色空間を、HSV色空間、YIQ色空間、及び均等色空間の何れかとした請求項1〜請求項4の何れか1項記載の物体識別装置。
【請求項6】
前記特徴量変換手段は、予め定められた複数の色空間の各々について、前記色空間の明るさに依存しない特徴量に変換し、
前記識別手段は、前記複数の材質の各々又は前記複数の状態の各々に対する前記複数の色空間の各々の前記特徴量、及び前記変換された前記複数の色空間の各々の特徴量に基づいて、前記識別対象領域に存在する物体の材質又は状態を識別する請求項1〜請求項4の何れか1項記載の物体識別装置。
【請求項7】
識別対象領域を撮像し、少なくとも一つの波長帯が赤外光波長領域の少なくとも一部分を含み、かつ、帯域が各々異なる複数の波長帯の各々の画像を出力する撮像手段と、
前記複数の波長帯の各々の明るさが各々異なる複数の画像の各々の画像特徴量に対する主成分分析によって得られる複数の主成分のうち、明るさに最も依存する主成分とは異なる予め定められた主成分に、前記撮像手段から出力された前記画像の各々の画像特徴量を変換する特徴量変換手段と、
予め定められた複数の材質の各々又は複数の状態の各々に対する前記明るさに最も依存する主成分とは異なる主成分、及び前記特徴量変換手段によって変換された前記主成分に基づいて、前記識別対象領域に存在する物体の材質又は状態を識別する識別手段と、
を含む物体識別装置。
【請求項8】
前記複数の波長帯の各々を、可視光波長領域から赤外光波長領域までの範囲に含んだ請求項7記載の物体識別装置。
【請求項9】
前記赤外光波長領域の少なくとも一部分を含む波長帯は、前記近赤外光波長領域の少なくとも一部分を含む請求項1〜請求項8の何れか1項記載の物体識別装置。
【請求項10】
コンピュータを、
識別対象領域を撮像し、少なくとも一つの波長帯が赤外光波長領域の少なくとも一部分を含み、かつ、帯域が各々異なる3つの波長帯の各々の画像を出力する撮像手段から出力された前記画像の各々の画素値を、予め定められた色空間の明るさに依存しない特徴量に変換する特徴量変換手段、及び
予め定められた複数の材質の各々又は複数の状態の各々に対する前記明るさに依存しない特徴量、及び前記特徴量変換手段によって変換された特徴量に基づいて、前記識別対象領域に存在する物体の材質又は状態を識別する識別手段
として機能させるためのプログラム。
【請求項11】
コンピュータを、
識別対象領域を撮像し、少なくとも一つの波長帯が赤外光波長領域の少なくとも一部分を含み、かつ、帯域が各々異なる少なくとも4つの波長帯の各々の画像を出力する撮像手段から出力された前記画像から3つの画像を選択する選択手段、
前記選択手段によって選択された前記3つの画像の各々の画素値を、予め定められた色空間の明るさに依存しない特徴量に変換する特徴量変換手段、及び
予め定められた複数の材質の各々又は複数の状態の各々に対する前記明るさに依存しない特徴量、及び前記特徴量変換手段によって変換された特徴量に基づいて、前記識別対象領域に存在する物体の材質又は状態を識別する識別手段
として機能させるためのプログラム。
【請求項12】
コンピュータを、
識別対象領域を撮像し、少なくとも一つの波長帯が赤外光波長領域の少なくとも一部分を含み、かつ、帯域が各々異なる複数の波長帯の各々の画像を出力する撮像手段から出力された前記画像の各々の画像特徴量を、前記複数の波長帯の各々の明るさが各々異なる複数の画像の各々の画像特徴量に対する主成分分析によって得られる複数の主成分のうち、明るさに最も依存する主成分とは異なる予め定められた主成分に変換する特徴量変換手段、及び
予め定められた複数の材質の各々又は複数の状態の各々に対する前記明るさに最も依存する主成分とは異なる主成分、及び前記特徴量変換手段によって変換された前記主成分に基づいて、前記識別対象領域に存在する物体の材質又は状態を識別する識別手段
として機能させるためのプログラム。
【請求項1】
識別対象領域を撮像し、少なくとも一つの波長帯が赤外光波長領域の少なくとも一部分を含み、かつ、帯域が各々異なる3つの波長帯の各々の画像を出力する撮像手段と、
前記撮像手段から出力された前記画像の各々の画素値を、予め定められた色空間の明るさに依存しない特徴量に変換する特徴量変換手段と、
予め定められた複数の材質の各々又は複数の状態の各々に対する前記明るさに依存しない特徴量、及び前記特徴量変換手段によって変換された特徴量に基づいて、前記識別対象領域に存在する物体の材質又は状態を識別する識別手段と、
を含む物体識別装置。
【請求項2】
前記3つの波長帯の各々を、可視光波長領域から赤外光波長領域までの範囲に含んだ請求項1記載の物体識別装置。
【請求項3】
識別対象領域を撮像し、少なくとも一つの波長帯が赤外光波長領域の少なくとも一部分を含み、かつ、帯域が各々異なる少なくとも4つの波長帯の各々の画像を出力する撮像手段と、
前記撮像手段から出力された前記画像から3つの画像を選択する選択手段と、
前記選択手段によって選択された前記3つの画像の各々の画素値を、予め定められた色空間の明るさに依存しない特徴量に変換する特徴量変換手段と、
予め定められた複数の材質の各々又は複数の状態の各々に対する前記明るさに依存しない特徴量、及び前記特徴量変換手段によって変換された特徴量に基づいて、前記識別対象領域に存在する物体の材質又は状態を識別する識別手段と、
を含む物体識別装置。
【請求項4】
前記少なくとも4つの波長帯の各々を、可視光波長領域から赤外光波長領域までの範囲に含んだ請求項3記載の物体識別装置。
【請求項5】
前記色空間を、HSV色空間、YIQ色空間、及び均等色空間の何れかとした請求項1〜請求項4の何れか1項記載の物体識別装置。
【請求項6】
前記特徴量変換手段は、予め定められた複数の色空間の各々について、前記色空間の明るさに依存しない特徴量に変換し、
前記識別手段は、前記複数の材質の各々又は前記複数の状態の各々に対する前記複数の色空間の各々の前記特徴量、及び前記変換された前記複数の色空間の各々の特徴量に基づいて、前記識別対象領域に存在する物体の材質又は状態を識別する請求項1〜請求項4の何れか1項記載の物体識別装置。
【請求項7】
識別対象領域を撮像し、少なくとも一つの波長帯が赤外光波長領域の少なくとも一部分を含み、かつ、帯域が各々異なる複数の波長帯の各々の画像を出力する撮像手段と、
前記複数の波長帯の各々の明るさが各々異なる複数の画像の各々の画像特徴量に対する主成分分析によって得られる複数の主成分のうち、明るさに最も依存する主成分とは異なる予め定められた主成分に、前記撮像手段から出力された前記画像の各々の画像特徴量を変換する特徴量変換手段と、
予め定められた複数の材質の各々又は複数の状態の各々に対する前記明るさに最も依存する主成分とは異なる主成分、及び前記特徴量変換手段によって変換された前記主成分に基づいて、前記識別対象領域に存在する物体の材質又は状態を識別する識別手段と、
を含む物体識別装置。
【請求項8】
前記複数の波長帯の各々を、可視光波長領域から赤外光波長領域までの範囲に含んだ請求項7記載の物体識別装置。
【請求項9】
前記赤外光波長領域の少なくとも一部分を含む波長帯は、前記近赤外光波長領域の少なくとも一部分を含む請求項1〜請求項8の何れか1項記載の物体識別装置。
【請求項10】
コンピュータを、
識別対象領域を撮像し、少なくとも一つの波長帯が赤外光波長領域の少なくとも一部分を含み、かつ、帯域が各々異なる3つの波長帯の各々の画像を出力する撮像手段から出力された前記画像の各々の画素値を、予め定められた色空間の明るさに依存しない特徴量に変換する特徴量変換手段、及び
予め定められた複数の材質の各々又は複数の状態の各々に対する前記明るさに依存しない特徴量、及び前記特徴量変換手段によって変換された特徴量に基づいて、前記識別対象領域に存在する物体の材質又は状態を識別する識別手段
として機能させるためのプログラム。
【請求項11】
コンピュータを、
識別対象領域を撮像し、少なくとも一つの波長帯が赤外光波長領域の少なくとも一部分を含み、かつ、帯域が各々異なる少なくとも4つの波長帯の各々の画像を出力する撮像手段から出力された前記画像から3つの画像を選択する選択手段、
前記選択手段によって選択された前記3つの画像の各々の画素値を、予め定められた色空間の明るさに依存しない特徴量に変換する特徴量変換手段、及び
予め定められた複数の材質の各々又は複数の状態の各々に対する前記明るさに依存しない特徴量、及び前記特徴量変換手段によって変換された特徴量に基づいて、前記識別対象領域に存在する物体の材質又は状態を識別する識別手段
として機能させるためのプログラム。
【請求項12】
コンピュータを、
識別対象領域を撮像し、少なくとも一つの波長帯が赤外光波長領域の少なくとも一部分を含み、かつ、帯域が各々異なる複数の波長帯の各々の画像を出力する撮像手段から出力された前記画像の各々の画像特徴量を、前記複数の波長帯の各々の明るさが各々異なる複数の画像の各々の画像特徴量に対する主成分分析によって得られる複数の主成分のうち、明るさに最も依存する主成分とは異なる予め定められた主成分に変換する特徴量変換手段、及び
予め定められた複数の材質の各々又は複数の状態の各々に対する前記明るさに最も依存する主成分とは異なる主成分、及び前記特徴量変換手段によって変換された前記主成分に基づいて、前記識別対象領域に存在する物体の材質又は状態を識別する識別手段
として機能させるためのプログラム。
【図1】
【図3】
【図4】
【図5】
【図7】
【図8】
【図9】
【図10】
【図11】
【図2】
【図6】
【図3】
【図4】
【図5】
【図7】
【図8】
【図9】
【図10】
【図11】
【図2】
【図6】
【公開番号】特開2008−292195(P2008−292195A)
【公開日】平成20年12月4日(2008.12.4)
【国際特許分類】
【出願番号】特願2007−135603(P2007−135603)
【出願日】平成19年5月22日(2007.5.22)
【出願人】(000003609)株式会社豊田中央研究所 (4,200)
【Fターム(参考)】
【公開日】平成20年12月4日(2008.12.4)
【国際特許分類】
【出願日】平成19年5月22日(2007.5.22)
【出願人】(000003609)株式会社豊田中央研究所 (4,200)
【Fターム(参考)】
[ Back to top ]