画像認識装置及び画像認識方法
【課題】精度よく画像認識が行える画像認識装置及び画像認識方法を提供すること。
【解決手段】カメラ２により撮影された信号機１０の撮影画像を主成分分析によって形成された主成分空間に投影し主成分空間における各主成分の主成分係数を算出し（Ｓ２４）、主成分における固有値を大きい方から加算した累積寄与率が所定値を占める主成分及びその主成分に係る主成分係数を用いて撮影画像の近似画像を形成し（Ｓ２６）、その近似画像に基づいて撮影画像の信号機１０が青信号であるか否かを判断する（Ｓ２８）。
【解決手段】カメラ２により撮影された信号機１０の撮影画像を主成分分析によって形成された主成分空間に投影し主成分空間における各主成分の主成分係数を算出し（Ｓ２４）、主成分における固有値を大きい方から加算した累積寄与率が所定値を占める主成分及びその主成分に係る主成分係数を用いて撮影画像の近似画像を形成し（Ｓ２６）、その近似画像に基づいて撮影画像の信号機１０が青信号であるか否かを判断する（Ｓ２８）。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、標識や信号機などの画像認識に用いられる画像認識装置及び画像認識方法に関するものである。
【背景技術】
【０００２】
従来、標識や信号機などの画像認識に用いられる画像認識装置として、特開２０００−２９３６７０号公報に記載されるように、撮影した画像をエッジ処理し、そのエッジ画像の形状により標識の認識を行うものが知られている。この装置は、撮影した画像上にスリットを設定し、そのスリットにかかるカラーデータ（ＲＧＢ）のみをＨＳＶ変換し、スリット上に標識があるか否かを判断する。これにより、標識認識にかかる処理時間を短縮しようとするものである。
【特許文献１】特開２０００−２９３６７０号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
このような装置にあっては、標識でないものについてもエッジが出現するため、これらのノイズを除去する必要がある。そのノイズを効率よく除去することが難しく、精度よく画像認識を行うことが困難である。また、撮影画像を予め用意した標識データと比較して撮影画像が所定の標識画像であるか否かを判断しているが、複数の標識データと画像対比する必要があり、認識処理に時間がかかる。更に、撮影環境によって、画像対比の精度が低く、認識精度が低いものとなるおそれがある。
【０００４】
そこで本発明は、精度よく画像認識が行える画像認識装置及び画像認識方法を提供することを目的とする。
【課題を解決するための手段】
【０００５】
すなわち、本発明に係る画像認識装置は、被認識対象物を撮影するための撮影手段と、認識対象の画像データを記録した記録手段と、前記画像データを主成分分析する主成分分析手段と、前記撮影手段により撮影された被認識対象物の撮影画像を前記主成分分析手段による主成分分析で形成された主成分空間に投影し、前記主成分空間における各主成分の主成分係数を算出する係数算出手段と、前記主成分における固有値を大きい方から加算した累積寄与率が所定値を占める主成分とその主成分に係る主成分係数とを用いて、前記撮影画像の近似画像を形成する近似画像形成手段と、前記近似画像に基づいて前記撮影画像の前記被認識対象物が認識対象であるか否かを判断する判断手段とを備えて構成されている。
【０００６】
また本発明に係る画像認識装置は、前記判断手段は、前記撮影画像と前記近似画像の相関値を算出し、その相関値が所定のしきい値を超えるか否かに基づいて前記撮影画像の前記被認識対象物が認識対象であるか否かを判断することを特徴とする。
【０００７】
また本発明に係る画像認識装置は、被認識対象物を撮影するための撮影手段と、認識対象の画像データを記録した記録手段と、前記画像データを主成分分析する主成分分析手段と、前記撮影手段により撮影した認識対象物の画像上の位置を所定量ずらして複数の撮影画像を抽出する画像抽出手段と、前記複数の撮影画像を前記主成分分析手段による主成分分析で形成された主成分空間にそれぞれ投影し、前記主成分空間における各主成分の主成分係数を算出する係数算出手段と、前記主成分における固有値を大きい方から加算した累積寄与率が所定値を占める主成分とその主成分に係る主成分係数とを用いて、前記複数の撮影画像についてそれぞれ近似画像を形成する近似画像形成手段と、前記近似画像と前記撮影画像との相関値をそれぞれ算出し、画像抽出位置のずれ量に対する相関値の変化率に基づいて前記撮影画像の前記被認識対象物が認識対象であるか否かを判断する判断手段とを備えて構成されている。
【０００８】
また本発明に係る画像認識装置は、前記判断手段により前記撮影画像の前記被認識対象物が認識対象であると判断された場合にその撮影画像を前記記録手段に認識対象の画像データとして記録することを特徴とする。
【０００９】
また本発明に係る画像認識装置は、被認識対象物を撮影するための撮影手段と、同カテゴリーの異なる認識対象の画像データを記録した記録手段と、前記異なる認識対象の画像データをそれぞれ主成分分析する主成分分析手段と、前記撮影手段により撮影した認識対象物の撮影画像を前記主成分分析手段による主成分分析で形成された各主成分空間に投影し、前記主成分空間における各主成分の主成分係数を算出する係数算出手段と、前記主成分における固有値を大きい方から加算した累積寄与率が所定値を占める主成分及びその主成分に係る主成分係数を用いて、前記主成分空間ごとに前記撮影画像の近似画像をそれぞれ形成する近似画像形成手段と、前記主成分空間ごとの近似画像と前記撮影画像との相関値を算出し、それらの相関値に基づいて前記撮影画像の前記被認識対象物がどの認識対象に一致するかを判断する判断手段とを備えて構成されている。
【００１０】
また本発明に係る画像認識装置は、前記認識対象が信号機であることを特徴とする。
【００１１】
また本発明に係る画像認識方法は、記録手段に記録された画像データを主成分分析する主成分分析工程と、撮影手段により撮影された認識対象物の撮影画像を前記主成分分析工程の主成分分析によって形成された主成分空間に投影し、前記主成分空間における各主成分の主成分係数を算出する係数算出工程と、前記主成分における固有値を大きい方から加算した累積寄与率が所定値を占める主成分とその主成分に係る主成分係数とを用いて、前記撮影画像の近似画像を形成する近似画像形成工程と、前記近似画像に基づいて前記撮影画像の前記被認識対象物が認識対象であるか否かを判断する判断工程とを備えて構成されている。
【００１２】
また本発明に係る画像認識方法は、前記判断工程にて、前記撮影画像と前記近似画像の相関値を算出し、その相関値が所定のしきい値を超えるか否かに基づいて前記撮影画像の前記被認識対象物が認識対象であるか否かを判断することを特徴とする。
【００１３】
また本発明に係る画像認識方法は、記録手段に記録された画像データを主成分分析する主成分分析工程と、撮影手段により撮影された認識対象物の画像上の位置を所定量ずらして複数の撮影画像を抽出する画像抽出工程と、前記複数の撮影画像を前記主成分分析工程の主成分分析によって形成された主成分空間にそれぞれ投影し、前記主成分空間における各主成分の主成分係数を算出する係数算出工程と、前記主成分における固有値を大きい方から加算した累積寄与率が所定値を占める主成分とその主成分に係る主成分係数とを用いて、前記複数の撮影画像についてそれぞれ近似画像を形成する近似画像形成工程と、前記近似画像と前記撮影画像との相関値をそれぞれ算出し、画像抽出位置のずれ量に対する相関値の変化率に基づいて前記撮影画像の前記被認識対象物が認識対象であるか否かを判断する判断工程とを備えて構成されている。
【００１４】
また本発明に係る画像認識方法は、前記判断工程において前記撮影画像の前記被認識対象物が認識対象であると判断された場合にその撮影画像を前記記録手段に認識対象の画像データとして記録することを特徴とする。
【００１５】
また本発明に係る画像認識方法は、記録手段に記録される同カテゴリーの異なる認識対象の画像データをそれぞれ主成分分析する主成分分析工程と、撮影手段により撮影された被認識対象物の撮影画像を前記主成分分析工程の主成分分析によって形成された各主成分空間に投影し、前記主成分空間における各主成分の主成分係数を算出する係数算出工程と、前記主成分における固有値を大きい方から加算した累積寄与率が所定値を占める主成分とその主成分に係る主成分係数とを用いて、前記主成分空間ごとに前記撮影画像の近似画像をそれぞれ形成する近似画像形成工程と、前記主成分空間ごとの近似画像と前記撮影画像との相関値を算出し、それらの相関値に基づいて前記撮影画像の前記被認識対象物がどの認識対象に一致するかを判断する判断工程とを備えて構成されている。
【００１６】
また本発明に係る画像認識方法は、前記認識対象が信号機であることを特徴とする。
【００１７】
これらの発明によれば、認識対象の画像データを主成分分析し、その主成分分析により形成される主成分空間に認識対象物の撮影画像を投影して各主成分の主成分係数を算出し、主成分における固有値を大きい方から加算した累積寄与率が所定値を占める主成分及びその主成分に係る主成分係数を用いて撮影画像の近似画像を形成する。この近似画像は、累積寄与率の高い主成分によって形成されるため、被認識対象物が認識対象に近似しているほど撮影画像に近いものとなり、被認識対象物が認識対象に近似していないほど撮影画像とかけ離れたものとなる。このため、この近似画像に基づいて撮影画像の被認識対象物が認識対象であるか否かを判断することで、精度よく認識判断が行える。また、撮影画像と対比するテンプレート画像は一つの近似画像だけでよいので、認識処理が簡易であり短時間で迅速に行える。
【発明の効果】
【００１８】
本発明によれば、精度よく画像認識が行える画像認識装置及び画像認識方法を提供することができる。
【発明を実施するための最良の形態】
【００１９】
以下、添付図面を参照して本発明の実施の形態を詳細に説明する。なお、図面の説明において同一の要素には同一の符号を付し、重複する説明を省略する。
（第一実施形態）
図１は本発明の第一実施形態に係る画像認識装置の構成概要図である。
【００２０】
図１に示すように、本実施形態に係る画像認識装置１は、撮影した被認識対象物が認識対象であるか否かを認識する装置であり、カメラ２、画像処理部３及びデータベース４を備えて構成されている。カメラ２は、被認識対象物を撮影するための撮影手段であり、例えばＣＣＤ、Ｃ−ＭＯＳなどの撮像素子を備えたものが用いられる。このカメラ２は、カラー画像として被認識対象物を撮影可能なものが用いられる。
【００２１】
画像処理部３は、カメラ２と接続されており、カメラ２で撮影した撮影画像を入力し、その撮影画像を画像処理し、撮影画像の被認識対象物が認識対象であるか否かを判断する画像処理手段である。この画像処理部３としては、例えば、画像メモリ、画像処理プロセッサ及び信号出力インターフェースを備えたものが用いられる。
【００２２】
データベース４は、認識対象の画像データを複数記録するための記録手段として機能するものである。このデータベース４は、画像処理部３と接続され、画像処理部３と画像データの入出力が可能となっている。データベース４には、認識対象が青信号である場合、異なる青信号の画像データが複数記録される。
【００２３】
次に、本実施形態に係る画像認識装置１の動作及び画像認識方法について説明する。
【００２４】
図２は本実施形態に係る画像認識装置１における主成分分析処理に関するフローチャートである。図３は、本実施形態に係る画像認識装置１における認識判断処理に関するフローチャートであり、本実施形態に係る画像認識方法を示したものである。この図２、３の制御処理は、例えば画像処理部３によって実行される。
【００２５】
図２に基づいて、主成分分析処理について説明する。
【００２６】
まず、主成分分析処理として、画像データの読み込みが行われる（Ｓ１０）。この画像データの読み込みは、データベース４に蓄積される認識対象の複数の画像データを画像処理部３に読み込む処理である。そして、この画像データの読み込み後に、認識対象の画像データの主成分分析処理が行われる（Ｓ１２）。主成分分析処理は、認識対象の画像データを主成分分析し基底画像を導出して主成分空間を形成する処理である。
【００２７】
例えば、図４に示すように、画像データに基づいて、基底画像ｇ１、ｇ２、ｇ３、ｇ４、ｇ５…ｇｎと平均画像ｇ０が導出される。基底画像ｇ１、ｇ２…ｇｎは、固有値の大きい順に並べられている。平均画像ｇ０は、認識対象の各画像データの画像要素の平均を取った画像である。これらの平均画像ｇ０、基底画像ｇ１、ｇ２、ｇ３、ｇ４、ｇ５…ｇｎに基づいて主成分空間が形成される。その際、各基底画像ｇ１、ｇ２、ｇ３、ｇ４、ｇ５…ｇｎは、主成分空間の次元数を決める軸を構成する。基底画像がｎ個存在する場合、主成分空間の次元数はｎとなる。
【００２８】
次に、図３に基づいて、認識判断処理について説明する。
【００２９】
まず、認識判断処理として、撮影画像の読み込みが行われる（Ｓ２０）。撮影画像の読み込み処理は、カメラ２により撮影された撮影画像を画像処理部３に取り込む処理である。例えば、図１に示すように、被認識対象物である信号機１０をカメラ２で撮影した撮影画像が画像処理部３に画像データとして取り込まれる。そして、画像抽出処理が行われる（Ｓ２２）。画像抽出処理は、撮影画像のうち信号機１０部分の撮影領域を抽出する処理である。この処理により、抽出された撮影領域は、被認識対象物の撮影画像としてセットされる。
【００３０】
そして、主成分係数算出処理が行われる（Ｓ２４）。主成分係数算出処理は、Ｓ２２にて抽出された被認識対象物の撮影画像を主成分空間に投影して、各主成分の主成分係数を算出する処理である。例えば、各主成分である基底画像の固有ベクトル、固有値をパラメータとするＫＬ変換を行うことにより、各主成分の主成分係数ｃ１、ｃ２…ｃｎが算出される。
【００３１】
そして、Ｓ２６に移行し、近似画像形成処理が行われる。近似画像形成処理は、平均画像ｇ０、所定の基底画像及び所定の主成分係数を用いて、撮影画像の近似画像を形成する処理である。すなわち、主成分における固有値を大きい方から加算した累積寄与率が所定値を占める主成分及びその主成分に係る主成分係数が用いられて撮影画像の近似画像が形成される。例えば、累積寄与率の所定値を９０％とし、それを占める主成分である基底画像がｇ１〜ｇ５である場合、撮影画像の近似画像Ｓは、次の式（１）で表される。
【００３２】
Ｓ＝ｇ０＋ｃ１・ｇ１＋ｃ２・ｇ２＋ｃ３・ｇ３＋ｃ４・ｇ４＋ｃ５・ｇ５ …（１）
この近似画像Ｓは、平均画像ｇ０と基底画像ｇ１〜５に基づいて撮影画像を復元したものであり、累積寄与率９０％を超えた部分の主成分、すなわち基底画像ｇ６、ｇ７…ｇｎに関する情報を取り除いた画像となっている。なお、この近似画像の形成処理において、累積寄与率の所定値は、８０〜９５％に設定することが好ましい。このように累積寄与率を８０〜９５％とすることにより、認識率をあまり低下させずに計算負荷を低減することができる。
【００３３】
そして、Ｓ２８に移行し、認識判断処理が行われる。認識判断処理は、近似画像に基づいて撮影画像の被認識対象物である信号機１０が認識対象である青信号か否かを判断する処理である。この認識判断処理としては、例えば、正規化相関や差分総和の手法を用いることにより行われる。
【００３４】
図５〜７に認識判断処理の実施例を示す。
【００３５】
図５は被認識対象物として青信号の信号機を撮影した撮影画像について認識判断した場合の相関値を示したものである。図５（ａ）〜（ｅ）に示されるように、被認識対象物が認識対象である青信号であるため、近似画像が撮影画像（元画像）に近似したものとなっており、相関値も９６９２〜９８９６と非常に高い値となっている。
【００３６】
図６は被認識対象物として青信号以外の信号機（図６（ａ）、（ｂ）は黄色信号機、図６（ｃ）〜（ｅ）は赤信号機）を撮影した撮影画像について認識判断した場合の相関値を示したものである。図６（ａ）〜（ｅ）に示されるように、被認識対象物が認識対象でない黄色信号機と赤信号機であるため、近似画像が撮影画像にあまり近似していないものとなっており、相関値は６３１４〜８５６３とやや低めになっている。
【００３７】
図７は被認識対象物として信号機以外のものを撮影した撮影画像について認識判断した場合の相関値を示したものである。図７（ａ）〜（ｅ）に示されるように、被認識対象物が認識対象でない信号機以外のものであるため、近似画像が撮影画像にあまり近似していないものとなっており、相関値は４１９５〜７２３６とやや低めになっている。
【００３８】
この図５〜図７における認識判断において、例えば、相関値９０００を認識判断しきい値とし、そのしきい値を超える相関値のものを青信号機であると判断し、そのしきい値以下の相関値のものを青信号機でないと判断することにより、正確な認識判断が行える。
【００３９】
以上のように、本実施形態に係る画像認識装置及び画像認識方法によれば、認識対象である青信号機の画像データを主成分分析し、その主成分分析により形成される主成分空間に認識対象物を撮影した撮影画像を投影して各主成分の主成分係数を算出し、主成分における固有値を大きい方から加算した累積寄与率が所定値を占める主成分及びその主成分に係る主成分係数を用いて撮影画像の近似画像を形成する。この近似画像は、累積寄与率の高い主成分によって形成されるため、被認識対象物が認識対象に近似しているほど撮影画像に近いものとなり、被認識対象物が認識対象に近似していないほど撮影画像とかけ離れたものとなる。このため、この近似画像に基づいて撮影画像の被認識対象物が認識対象であるか否かを判断することで、誤認識や認識見逃しの少ない高精度の認識判断が行える。
【００４０】
また、本実施形態に係る画像認識装置及び画像認識方法によれば、撮影画像と対比するテンプレート画像が一つの近似画像だけでよいので、認識処理が簡易であり短時間で行える。すなわち、従来のように複数のテンプレートと撮影画像を対比して認識処理するパターンマッチングと比べて、認識処理が短時間で迅速に行える。
【００４１】
なお、本実施形態では、ＲＧＢ色空間のカラー画像である画像データをそのまま主成分分析して認識判断する場合について説明したが、本発明に係る画像認識装置及び画像認識方法はそのようなものに限られるものではなく、画像データを色変換し、この色変換した画像を主成分分析して認識判断するものであってもよい。
【００４２】
例えば、データベース４に記録される複数の画像データをそれぞれＲＧＢ色空間からＨＳＩ色空間に変換し、ＨＳＩ色空間に変換された各色空間（Ｈ色空間、Ｓ色空間、Ｉ色空間）ごとに主成分分析を行う。そして、その色空間ごとの主成分空間に撮影画像をそれぞれ投影し、その主成分空間における各主成分の主成分係数を算出し、主成分における固有値を大きい方から加算した累積寄与率が所定値を占める主成分及びその主成分に係る主成分係数を用いて撮影画像の近似画像を形成する。そして、上述したように、近似画像に基づいて撮影画像の被認識対象物が認識対象であるか否かを判断する。なお、累積寄与率により取り除く主成分の次元数は、各色空間で求まる次元数の平均をとればよい。
【００４３】
このように色変換を行って画像認識処理を行うことにより、上述した画像認識に比べ、より精度の高い認識判断が可能となる。
【００４４】
また、本実施形態では、認識対象が青信号機である場合について説明したが、本発明に係る画像認識装置及び画像認識方法はそのようなものに限られるものではなく、認識対象が赤信号機、黄色信号機、道路標識、車両又はその他のものの場合であってもよい。
（第二実施形態）
次に第二実施形態に係る画像認識装置及び画像認識方法について説明する。
【００４５】
本実施形態に係る画像認識装置は、図１に示す第一実施形態に係る画像認識装置１と同様なハード構成を有するものであり、図２及び図３とほぼ同様な制御処理を行うものであるが、図３の認識判断制御のＳ２２の画像抽出処理において撮影した画像に対し異なる画像領域を設定しそれらの各領域の撮影画像についてそれぞれＳ２４〜２８の処理を行って認識判断の相関値を算出し、その各相関値の変化率に基づいて撮影画像の被認識対象物が認識対象であるか否かを判断するものである。
【００４６】
例えば、図８に示すように、撮影画像として信号機１０を撮影した部分を抽出して切り出した撮影画像２０に対し、抽出位置を所定量だけずらして撮影画像２１を設定する。そして、これらの撮影画像２０、２１に対し、それぞれ図３のＳ２４〜２８の処理を行い各相関値を算出する。そして、抽出位置のずれ量に対する相関値の変化率に基づいて信号機１０が認識対象である青信号であるかどうかを判断する。
【００４７】
図９、１０に本実施形態に係る画像認識方法を用いた認識判断の実施例を示す。
【００４８】
図９は、認識対象物として青信号機を撮影した撮影画像について抽出位置をＸ軸方向及びＹ軸方向に所定量ずらして相関値を算出したものである。図１０は、認識対象物として歩行者用信を撮影した撮影画像について抽出位置をＸ軸方向及びＹ軸方向に所定量ずらして相関値を算出したものである。図９、１０の相関値グラフは、縦軸が相関値であり、横軸が抽出位置のずれ量である。
【００４９】
図９の相関値グラフを見ると、中央の位置で相関値がピーク値となっており、そのピーク値から抽出位置をずらしてもなだらかに相関値が推移しており、抽出位置のずれ量に対する相関値の変化率が小さいことが分かる。
【００５０】
一方、図１０の相関値グラフを見ると、相関値のピークが明瞭でなく、抽出位置をずらすことにより相関値が急激に変化し、抽出位置のずれ量に対する相関値の変化率が大きいことが分かる。
【００５１】
このため、例えば、撮影画像の抽出位置のずれ量に対する相関値の変化率が所定の変化率以上である場合には被認識対象物が認識対象でないと判断し、撮影画像の抽出位置のずれ量に対する相関値の変化率が所定の変化率以上でない場合には被認識対象物が認識対象であると判断することにより、精度の高い画像認識判断が行える。特に、相関値のピーク値及び撮影画像の抽出位置のずれ量に対する相関値の変化率に基づいて認識判断を行えば、より精度の高い画像認識判断が可能となる。
（第三実施形態）
次に、第三実施形態に係る画像認識装置及び画像認識方法について説明する。
【００５２】
本実施形態に係る画像認識装置は、図１に示す第一実施形態に係る画像認識装置１と同様なハード構成を有するものであり、図２及び図３とほぼ同様な制御処理を行うものであるが、図３のＳ２２の認識判断処理において撮影画像の被認識対象物が認識対象であると判断されたときにその撮影画像を認識対象の画像データとしてデータベース４に記録するものである。また、その認識判断処理において、撮影画像の被認識対象物が認識対象でないと判断されたときにその撮影画像を他の種類の画像データとして別個にデータベース４に記録することが好ましい。
【００５３】
図１１に本実施形態に係る画像認識装置の動作及び画像認識方法についてフローチャートを示す。この図１１のフローチャートの制御処理は、まず、Ｓ４０にて、撮影画像の読み込みが行われる。そして、画像抽出処理、主成分係数算出処理、近似画像形成処理、認識判断処理が順次行われる（Ｓ４２、Ｓ４４、Ｓ４６、Ｓ４８）。このＳ４０〜４８の処理は、図３のＳ２０〜２８の処理と同様に行われる。
【００５４】
そして、Ｓ５０に移行し、Ｓ４８にて撮影画像の被認識対象物が認識対象であると判断されたか否かが判断される。例えば、撮影画像の信号機１１が青信号であると判断されたか否かが判断される。撮影画像の被認識対象物が認識対象であると判断されていたときには、撮影画像が認識対象の画像データとしてデータベース４に記録される（Ｓ５２）。これにより、認識対象の画像データを増やすことができる。
【００５５】
一方、撮影画像の被認識対象物が認識対象でないと判断されていたときには、撮影画像が他の種類の画像データとしてデータベース４に記録される（Ｓ５４）。例えば、撮影画像の信号機１１が赤信号であった場合、その撮影画像は青信号以外の画像データとしてデータベース４に記録される。
【００５６】
以上のように、本実施形態に係る画像認識装置及び画像認識方法によれば、第一実施形態に係る画像認識装置及び画像認識方法と同様に高精度な認識判断が行えると共に、認識判断ごとにベータベース４に画像データを蓄積していくことができる。このため、データベース４の蓄積データを充実させてさらに高精度の認識判断が可能となる。
（第四実施形態）
次に、第四実施形態に係る画像認識装置及び画像認識方法について説明する。
【００５７】
上述した第一実施形態から第三実施形態では、認識対象が一つの場合（例えば認識対象が青信号のみの場合）について説明したが、本実施形態に係る画像認識装置及び画像認識方法は、異なる複数の認識対象を設定し、撮影画像の認識判断処理を複数の認識対象についてそれぞれ行い、一番近似する認識対象を判定し、撮影画像の被認識対象物がその一番近似する認識対象であると判断する。
【００５８】
例えば、信号機が被認識対象物である場合、青信号の画像データ、赤信号の画像データ及び黄色信号の画像データをそれぞれデータベース４に記録しておき、それぞれについて図２のＳ１２に示すように主成分分析処理を行い、各信号について主成分空間を形成しておく。そして、図３のＳ２０、Ｓ２２に示すように、撮影画像の読み込み処理及び画像抽出処理を行う。そして、撮影画像について青信号、赤信号及び黄色信号の各信号の主成分空間への投影、主成分係数の算出（Ｓ２４）、近似画像形成（Ｓ２６）及び認識判断処理による相関値の算出（Ｓ２８）をそれぞれ行う。そして、青信号、赤信号及び黄色信号の相関値をそれぞれ対比し、一番相関値の高いものを判定し、撮影画像の信号機がその一番相関値の高い信号であると判断する。また、その際、青信号、赤信号及び黄色信号の相関値がいずれも所定値より低い場合には、被認識対象物が信号機以外のものと判断する。
【００５９】
このように、本実施形態に係る画像認識装置及び画像認識方法によれば、同じカテゴリーの異種類の認識対象について識別を行うことできる。また、同カテゴリーの各認識対象における相関値がいずれも所定値より低い場合に被認識対象物が同カテゴリー以外のものであると判断して異カテゴリーのものを排除することができる。
【００６０】
また、本実施形態に係る画像認識装置及び画像認識方法において、同カテゴリーの異種類の被認識対象物の類似性範囲値を算出しておき、被認識対象物が同カテゴリーの所定種類のものであるか否かを認識すると共に、その被認識対象物が同カテゴリーのものであるか否かを認識してもよい。
【００６１】
すなわち、同カテゴリーの各種の主成分空間をそれぞれ形成した際に、その主成分空間に同カテゴリーの異種類の画像データを投影し近似画像を形成し認識判断処理を行って相関値を算出しておく。この相関値をその種類の同カテゴリーの類似性範囲値として記録する。そして、被認識対象物について認識判断した際にその相関値が類似性範囲値より低い場合には、その被認識対象物が異なるカテゴリーのものであると判断することができる。
【００６２】
例えば、信号機の青信号、赤信号及び黄色信号についてそれぞれの画像データを用意し、それぞれについて主成分空間を形成する。そして、青信号の主成分空間には赤信号と黄色信号の画像データをそれぞれ投影し近似画像を形成し認識判断処理を行って相関値を算出しておく。この相関値を信号機の類似性範囲値として記録する。そして、被認識対象物について認識判断した際にその相関値がその類似性範囲値より低い場合には、その被認識対象物が信号機以外のものであると判断することができる。
【００６３】
なお、本実施形態では、信号機を認識対象とする場合について説明したが、その他のカテゴリーに適用してもよい。例えば、車両や標識を認識対象として、被認識対象物が車両である否か、被認識対象物が標識であるか否かの判断を行ってもよい。
【図面の簡単な説明】
【００６４】
【図１】本発明の第一実施形態に係る画像認識装置の構成概要図である。
【図２】図１の画像認識装置における主成分分析処理を示すフローチャートである。
【図３】第一実施形態に係る画像認識装置の動作及び画像認識方法を示すフローチャートである。
【図４】第一実施形態に係る画像認識装置及び画像認識方法における認識判断処理の実施例の説明図である。
【図５】第一実施形態に係る画像認識装置及び画像認識方法における認識判断処理の実施例の説明図である。
【図６】第一実施形態に係る画像認識装置及び画像認識方法における認識判断処理の実施例の説明図である。
【図７】第一実施形態に係る画像認識装置及び画像認識方法における認識判断処理の実施例の説明図である。
【図８】第二実施形態に係る画像認識装置及び画像認識方法の説明図である。
【図９】第二実施形態に係る画像認識装置及び画像認識方法の説明図である。
【図１０】第二実施形態に係る画像認識装置及び画像認識方法の説明図である。
【図１１】第三実施形態に係る画像認識装置の動作及び画像認識方法を示すフローチャートである。
【符号の説明】
【００６５】
１…画像認識装置、２…カメラ（撮影手段）、３…画像処理部、４…データベース（記録手段）、１０…信号機。
【技術分野】
【０００１】
本発明は、標識や信号機などの画像認識に用いられる画像認識装置及び画像認識方法に関するものである。
【背景技術】
【０００２】
従来、標識や信号機などの画像認識に用いられる画像認識装置として、特開２０００−２９３６７０号公報に記載されるように、撮影した画像をエッジ処理し、そのエッジ画像の形状により標識の認識を行うものが知られている。この装置は、撮影した画像上にスリットを設定し、そのスリットにかかるカラーデータ（ＲＧＢ）のみをＨＳＶ変換し、スリット上に標識があるか否かを判断する。これにより、標識認識にかかる処理時間を短縮しようとするものである。
【特許文献１】特開２０００−２９３６７０号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
このような装置にあっては、標識でないものについてもエッジが出現するため、これらのノイズを除去する必要がある。そのノイズを効率よく除去することが難しく、精度よく画像認識を行うことが困難である。また、撮影画像を予め用意した標識データと比較して撮影画像が所定の標識画像であるか否かを判断しているが、複数の標識データと画像対比する必要があり、認識処理に時間がかかる。更に、撮影環境によって、画像対比の精度が低く、認識精度が低いものとなるおそれがある。
【０００４】
そこで本発明は、精度よく画像認識が行える画像認識装置及び画像認識方法を提供することを目的とする。
【課題を解決するための手段】
【０００５】
すなわち、本発明に係る画像認識装置は、被認識対象物を撮影するための撮影手段と、認識対象の画像データを記録した記録手段と、前記画像データを主成分分析する主成分分析手段と、前記撮影手段により撮影された被認識対象物の撮影画像を前記主成分分析手段による主成分分析で形成された主成分空間に投影し、前記主成分空間における各主成分の主成分係数を算出する係数算出手段と、前記主成分における固有値を大きい方から加算した累積寄与率が所定値を占める主成分とその主成分に係る主成分係数とを用いて、前記撮影画像の近似画像を形成する近似画像形成手段と、前記近似画像に基づいて前記撮影画像の前記被認識対象物が認識対象であるか否かを判断する判断手段とを備えて構成されている。
【０００６】
また本発明に係る画像認識装置は、前記判断手段は、前記撮影画像と前記近似画像の相関値を算出し、その相関値が所定のしきい値を超えるか否かに基づいて前記撮影画像の前記被認識対象物が認識対象であるか否かを判断することを特徴とする。
【０００７】
また本発明に係る画像認識装置は、被認識対象物を撮影するための撮影手段と、認識対象の画像データを記録した記録手段と、前記画像データを主成分分析する主成分分析手段と、前記撮影手段により撮影した認識対象物の画像上の位置を所定量ずらして複数の撮影画像を抽出する画像抽出手段と、前記複数の撮影画像を前記主成分分析手段による主成分分析で形成された主成分空間にそれぞれ投影し、前記主成分空間における各主成分の主成分係数を算出する係数算出手段と、前記主成分における固有値を大きい方から加算した累積寄与率が所定値を占める主成分とその主成分に係る主成分係数とを用いて、前記複数の撮影画像についてそれぞれ近似画像を形成する近似画像形成手段と、前記近似画像と前記撮影画像との相関値をそれぞれ算出し、画像抽出位置のずれ量に対する相関値の変化率に基づいて前記撮影画像の前記被認識対象物が認識対象であるか否かを判断する判断手段とを備えて構成されている。
【０００８】
また本発明に係る画像認識装置は、前記判断手段により前記撮影画像の前記被認識対象物が認識対象であると判断された場合にその撮影画像を前記記録手段に認識対象の画像データとして記録することを特徴とする。
【０００９】
また本発明に係る画像認識装置は、被認識対象物を撮影するための撮影手段と、同カテゴリーの異なる認識対象の画像データを記録した記録手段と、前記異なる認識対象の画像データをそれぞれ主成分分析する主成分分析手段と、前記撮影手段により撮影した認識対象物の撮影画像を前記主成分分析手段による主成分分析で形成された各主成分空間に投影し、前記主成分空間における各主成分の主成分係数を算出する係数算出手段と、前記主成分における固有値を大きい方から加算した累積寄与率が所定値を占める主成分及びその主成分に係る主成分係数を用いて、前記主成分空間ごとに前記撮影画像の近似画像をそれぞれ形成する近似画像形成手段と、前記主成分空間ごとの近似画像と前記撮影画像との相関値を算出し、それらの相関値に基づいて前記撮影画像の前記被認識対象物がどの認識対象に一致するかを判断する判断手段とを備えて構成されている。
【００１０】
また本発明に係る画像認識装置は、前記認識対象が信号機であることを特徴とする。
【００１１】
また本発明に係る画像認識方法は、記録手段に記録された画像データを主成分分析する主成分分析工程と、撮影手段により撮影された認識対象物の撮影画像を前記主成分分析工程の主成分分析によって形成された主成分空間に投影し、前記主成分空間における各主成分の主成分係数を算出する係数算出工程と、前記主成分における固有値を大きい方から加算した累積寄与率が所定値を占める主成分とその主成分に係る主成分係数とを用いて、前記撮影画像の近似画像を形成する近似画像形成工程と、前記近似画像に基づいて前記撮影画像の前記被認識対象物が認識対象であるか否かを判断する判断工程とを備えて構成されている。
【００１２】
また本発明に係る画像認識方法は、前記判断工程にて、前記撮影画像と前記近似画像の相関値を算出し、その相関値が所定のしきい値を超えるか否かに基づいて前記撮影画像の前記被認識対象物が認識対象であるか否かを判断することを特徴とする。
【００１３】
また本発明に係る画像認識方法は、記録手段に記録された画像データを主成分分析する主成分分析工程と、撮影手段により撮影された認識対象物の画像上の位置を所定量ずらして複数の撮影画像を抽出する画像抽出工程と、前記複数の撮影画像を前記主成分分析工程の主成分分析によって形成された主成分空間にそれぞれ投影し、前記主成分空間における各主成分の主成分係数を算出する係数算出工程と、前記主成分における固有値を大きい方から加算した累積寄与率が所定値を占める主成分とその主成分に係る主成分係数とを用いて、前記複数の撮影画像についてそれぞれ近似画像を形成する近似画像形成工程と、前記近似画像と前記撮影画像との相関値をそれぞれ算出し、画像抽出位置のずれ量に対する相関値の変化率に基づいて前記撮影画像の前記被認識対象物が認識対象であるか否かを判断する判断工程とを備えて構成されている。
【００１４】
また本発明に係る画像認識方法は、前記判断工程において前記撮影画像の前記被認識対象物が認識対象であると判断された場合にその撮影画像を前記記録手段に認識対象の画像データとして記録することを特徴とする。
【００１５】
また本発明に係る画像認識方法は、記録手段に記録される同カテゴリーの異なる認識対象の画像データをそれぞれ主成分分析する主成分分析工程と、撮影手段により撮影された被認識対象物の撮影画像を前記主成分分析工程の主成分分析によって形成された各主成分空間に投影し、前記主成分空間における各主成分の主成分係数を算出する係数算出工程と、前記主成分における固有値を大きい方から加算した累積寄与率が所定値を占める主成分とその主成分に係る主成分係数とを用いて、前記主成分空間ごとに前記撮影画像の近似画像をそれぞれ形成する近似画像形成工程と、前記主成分空間ごとの近似画像と前記撮影画像との相関値を算出し、それらの相関値に基づいて前記撮影画像の前記被認識対象物がどの認識対象に一致するかを判断する判断工程とを備えて構成されている。
【００１６】
また本発明に係る画像認識方法は、前記認識対象が信号機であることを特徴とする。
【００１７】
これらの発明によれば、認識対象の画像データを主成分分析し、その主成分分析により形成される主成分空間に認識対象物の撮影画像を投影して各主成分の主成分係数を算出し、主成分における固有値を大きい方から加算した累積寄与率が所定値を占める主成分及びその主成分に係る主成分係数を用いて撮影画像の近似画像を形成する。この近似画像は、累積寄与率の高い主成分によって形成されるため、被認識対象物が認識対象に近似しているほど撮影画像に近いものとなり、被認識対象物が認識対象に近似していないほど撮影画像とかけ離れたものとなる。このため、この近似画像に基づいて撮影画像の被認識対象物が認識対象であるか否かを判断することで、精度よく認識判断が行える。また、撮影画像と対比するテンプレート画像は一つの近似画像だけでよいので、認識処理が簡易であり短時間で迅速に行える。
【発明の効果】
【００１８】
本発明によれば、精度よく画像認識が行える画像認識装置及び画像認識方法を提供することができる。
【発明を実施するための最良の形態】
【００１９】
以下、添付図面を参照して本発明の実施の形態を詳細に説明する。なお、図面の説明において同一の要素には同一の符号を付し、重複する説明を省略する。
（第一実施形態）
図１は本発明の第一実施形態に係る画像認識装置の構成概要図である。
【００２０】
図１に示すように、本実施形態に係る画像認識装置１は、撮影した被認識対象物が認識対象であるか否かを認識する装置であり、カメラ２、画像処理部３及びデータベース４を備えて構成されている。カメラ２は、被認識対象物を撮影するための撮影手段であり、例えばＣＣＤ、Ｃ−ＭＯＳなどの撮像素子を備えたものが用いられる。このカメラ２は、カラー画像として被認識対象物を撮影可能なものが用いられる。
【００２１】
画像処理部３は、カメラ２と接続されており、カメラ２で撮影した撮影画像を入力し、その撮影画像を画像処理し、撮影画像の被認識対象物が認識対象であるか否かを判断する画像処理手段である。この画像処理部３としては、例えば、画像メモリ、画像処理プロセッサ及び信号出力インターフェースを備えたものが用いられる。
【００２２】
データベース４は、認識対象の画像データを複数記録するための記録手段として機能するものである。このデータベース４は、画像処理部３と接続され、画像処理部３と画像データの入出力が可能となっている。データベース４には、認識対象が青信号である場合、異なる青信号の画像データが複数記録される。
【００２３】
次に、本実施形態に係る画像認識装置１の動作及び画像認識方法について説明する。
【００２４】
図２は本実施形態に係る画像認識装置１における主成分分析処理に関するフローチャートである。図３は、本実施形態に係る画像認識装置１における認識判断処理に関するフローチャートであり、本実施形態に係る画像認識方法を示したものである。この図２、３の制御処理は、例えば画像処理部３によって実行される。
【００２５】
図２に基づいて、主成分分析処理について説明する。
【００２６】
まず、主成分分析処理として、画像データの読み込みが行われる（Ｓ１０）。この画像データの読み込みは、データベース４に蓄積される認識対象の複数の画像データを画像処理部３に読み込む処理である。そして、この画像データの読み込み後に、認識対象の画像データの主成分分析処理が行われる（Ｓ１２）。主成分分析処理は、認識対象の画像データを主成分分析し基底画像を導出して主成分空間を形成する処理である。
【００２７】
例えば、図４に示すように、画像データに基づいて、基底画像ｇ１、ｇ２、ｇ３、ｇ４、ｇ５…ｇｎと平均画像ｇ０が導出される。基底画像ｇ１、ｇ２…ｇｎは、固有値の大きい順に並べられている。平均画像ｇ０は、認識対象の各画像データの画像要素の平均を取った画像である。これらの平均画像ｇ０、基底画像ｇ１、ｇ２、ｇ３、ｇ４、ｇ５…ｇｎに基づいて主成分空間が形成される。その際、各基底画像ｇ１、ｇ２、ｇ３、ｇ４、ｇ５…ｇｎは、主成分空間の次元数を決める軸を構成する。基底画像がｎ個存在する場合、主成分空間の次元数はｎとなる。
【００２８】
次に、図３に基づいて、認識判断処理について説明する。
【００２９】
まず、認識判断処理として、撮影画像の読み込みが行われる（Ｓ２０）。撮影画像の読み込み処理は、カメラ２により撮影された撮影画像を画像処理部３に取り込む処理である。例えば、図１に示すように、被認識対象物である信号機１０をカメラ２で撮影した撮影画像が画像処理部３に画像データとして取り込まれる。そして、画像抽出処理が行われる（Ｓ２２）。画像抽出処理は、撮影画像のうち信号機１０部分の撮影領域を抽出する処理である。この処理により、抽出された撮影領域は、被認識対象物の撮影画像としてセットされる。
【００３０】
そして、主成分係数算出処理が行われる（Ｓ２４）。主成分係数算出処理は、Ｓ２２にて抽出された被認識対象物の撮影画像を主成分空間に投影して、各主成分の主成分係数を算出する処理である。例えば、各主成分である基底画像の固有ベクトル、固有値をパラメータとするＫＬ変換を行うことにより、各主成分の主成分係数ｃ１、ｃ２…ｃｎが算出される。
【００３１】
そして、Ｓ２６に移行し、近似画像形成処理が行われる。近似画像形成処理は、平均画像ｇ０、所定の基底画像及び所定の主成分係数を用いて、撮影画像の近似画像を形成する処理である。すなわち、主成分における固有値を大きい方から加算した累積寄与率が所定値を占める主成分及びその主成分に係る主成分係数が用いられて撮影画像の近似画像が形成される。例えば、累積寄与率の所定値を９０％とし、それを占める主成分である基底画像がｇ１〜ｇ５である場合、撮影画像の近似画像Ｓは、次の式（１）で表される。
【００３２】
Ｓ＝ｇ０＋ｃ１・ｇ１＋ｃ２・ｇ２＋ｃ３・ｇ３＋ｃ４・ｇ４＋ｃ５・ｇ５ …（１）
この近似画像Ｓは、平均画像ｇ０と基底画像ｇ１〜５に基づいて撮影画像を復元したものであり、累積寄与率９０％を超えた部分の主成分、すなわち基底画像ｇ６、ｇ７…ｇｎに関する情報を取り除いた画像となっている。なお、この近似画像の形成処理において、累積寄与率の所定値は、８０〜９５％に設定することが好ましい。このように累積寄与率を８０〜９５％とすることにより、認識率をあまり低下させずに計算負荷を低減することができる。
【００３３】
そして、Ｓ２８に移行し、認識判断処理が行われる。認識判断処理は、近似画像に基づいて撮影画像の被認識対象物である信号機１０が認識対象である青信号か否かを判断する処理である。この認識判断処理としては、例えば、正規化相関や差分総和の手法を用いることにより行われる。
【００３４】
図５〜７に認識判断処理の実施例を示す。
【００３５】
図５は被認識対象物として青信号の信号機を撮影した撮影画像について認識判断した場合の相関値を示したものである。図５（ａ）〜（ｅ）に示されるように、被認識対象物が認識対象である青信号であるため、近似画像が撮影画像（元画像）に近似したものとなっており、相関値も９６９２〜９８９６と非常に高い値となっている。
【００３６】
図６は被認識対象物として青信号以外の信号機（図６（ａ）、（ｂ）は黄色信号機、図６（ｃ）〜（ｅ）は赤信号機）を撮影した撮影画像について認識判断した場合の相関値を示したものである。図６（ａ）〜（ｅ）に示されるように、被認識対象物が認識対象でない黄色信号機と赤信号機であるため、近似画像が撮影画像にあまり近似していないものとなっており、相関値は６３１４〜８５６３とやや低めになっている。
【００３７】
図７は被認識対象物として信号機以外のものを撮影した撮影画像について認識判断した場合の相関値を示したものである。図７（ａ）〜（ｅ）に示されるように、被認識対象物が認識対象でない信号機以外のものであるため、近似画像が撮影画像にあまり近似していないものとなっており、相関値は４１９５〜７２３６とやや低めになっている。
【００３８】
この図５〜図７における認識判断において、例えば、相関値９０００を認識判断しきい値とし、そのしきい値を超える相関値のものを青信号機であると判断し、そのしきい値以下の相関値のものを青信号機でないと判断することにより、正確な認識判断が行える。
【００３９】
以上のように、本実施形態に係る画像認識装置及び画像認識方法によれば、認識対象である青信号機の画像データを主成分分析し、その主成分分析により形成される主成分空間に認識対象物を撮影した撮影画像を投影して各主成分の主成分係数を算出し、主成分における固有値を大きい方から加算した累積寄与率が所定値を占める主成分及びその主成分に係る主成分係数を用いて撮影画像の近似画像を形成する。この近似画像は、累積寄与率の高い主成分によって形成されるため、被認識対象物が認識対象に近似しているほど撮影画像に近いものとなり、被認識対象物が認識対象に近似していないほど撮影画像とかけ離れたものとなる。このため、この近似画像に基づいて撮影画像の被認識対象物が認識対象であるか否かを判断することで、誤認識や認識見逃しの少ない高精度の認識判断が行える。
【００４０】
また、本実施形態に係る画像認識装置及び画像認識方法によれば、撮影画像と対比するテンプレート画像が一つの近似画像だけでよいので、認識処理が簡易であり短時間で行える。すなわち、従来のように複数のテンプレートと撮影画像を対比して認識処理するパターンマッチングと比べて、認識処理が短時間で迅速に行える。
【００４１】
なお、本実施形態では、ＲＧＢ色空間のカラー画像である画像データをそのまま主成分分析して認識判断する場合について説明したが、本発明に係る画像認識装置及び画像認識方法はそのようなものに限られるものではなく、画像データを色変換し、この色変換した画像を主成分分析して認識判断するものであってもよい。
【００４２】
例えば、データベース４に記録される複数の画像データをそれぞれＲＧＢ色空間からＨＳＩ色空間に変換し、ＨＳＩ色空間に変換された各色空間（Ｈ色空間、Ｓ色空間、Ｉ色空間）ごとに主成分分析を行う。そして、その色空間ごとの主成分空間に撮影画像をそれぞれ投影し、その主成分空間における各主成分の主成分係数を算出し、主成分における固有値を大きい方から加算した累積寄与率が所定値を占める主成分及びその主成分に係る主成分係数を用いて撮影画像の近似画像を形成する。そして、上述したように、近似画像に基づいて撮影画像の被認識対象物が認識対象であるか否かを判断する。なお、累積寄与率により取り除く主成分の次元数は、各色空間で求まる次元数の平均をとればよい。
【００４３】
このように色変換を行って画像認識処理を行うことにより、上述した画像認識に比べ、より精度の高い認識判断が可能となる。
【００４４】
また、本実施形態では、認識対象が青信号機である場合について説明したが、本発明に係る画像認識装置及び画像認識方法はそのようなものに限られるものではなく、認識対象が赤信号機、黄色信号機、道路標識、車両又はその他のものの場合であってもよい。
（第二実施形態）
次に第二実施形態に係る画像認識装置及び画像認識方法について説明する。
【００４５】
本実施形態に係る画像認識装置は、図１に示す第一実施形態に係る画像認識装置１と同様なハード構成を有するものであり、図２及び図３とほぼ同様な制御処理を行うものであるが、図３の認識判断制御のＳ２２の画像抽出処理において撮影した画像に対し異なる画像領域を設定しそれらの各領域の撮影画像についてそれぞれＳ２４〜２８の処理を行って認識判断の相関値を算出し、その各相関値の変化率に基づいて撮影画像の被認識対象物が認識対象であるか否かを判断するものである。
【００４６】
例えば、図８に示すように、撮影画像として信号機１０を撮影した部分を抽出して切り出した撮影画像２０に対し、抽出位置を所定量だけずらして撮影画像２１を設定する。そして、これらの撮影画像２０、２１に対し、それぞれ図３のＳ２４〜２８の処理を行い各相関値を算出する。そして、抽出位置のずれ量に対する相関値の変化率に基づいて信号機１０が認識対象である青信号であるかどうかを判断する。
【００４７】
図９、１０に本実施形態に係る画像認識方法を用いた認識判断の実施例を示す。
【００４８】
図９は、認識対象物として青信号機を撮影した撮影画像について抽出位置をＸ軸方向及びＹ軸方向に所定量ずらして相関値を算出したものである。図１０は、認識対象物として歩行者用信を撮影した撮影画像について抽出位置をＸ軸方向及びＹ軸方向に所定量ずらして相関値を算出したものである。図９、１０の相関値グラフは、縦軸が相関値であり、横軸が抽出位置のずれ量である。
【００４９】
図９の相関値グラフを見ると、中央の位置で相関値がピーク値となっており、そのピーク値から抽出位置をずらしてもなだらかに相関値が推移しており、抽出位置のずれ量に対する相関値の変化率が小さいことが分かる。
【００５０】
一方、図１０の相関値グラフを見ると、相関値のピークが明瞭でなく、抽出位置をずらすことにより相関値が急激に変化し、抽出位置のずれ量に対する相関値の変化率が大きいことが分かる。
【００５１】
このため、例えば、撮影画像の抽出位置のずれ量に対する相関値の変化率が所定の変化率以上である場合には被認識対象物が認識対象でないと判断し、撮影画像の抽出位置のずれ量に対する相関値の変化率が所定の変化率以上でない場合には被認識対象物が認識対象であると判断することにより、精度の高い画像認識判断が行える。特に、相関値のピーク値及び撮影画像の抽出位置のずれ量に対する相関値の変化率に基づいて認識判断を行えば、より精度の高い画像認識判断が可能となる。
（第三実施形態）
次に、第三実施形態に係る画像認識装置及び画像認識方法について説明する。
【００５２】
本実施形態に係る画像認識装置は、図１に示す第一実施形態に係る画像認識装置１と同様なハード構成を有するものであり、図２及び図３とほぼ同様な制御処理を行うものであるが、図３のＳ２２の認識判断処理において撮影画像の被認識対象物が認識対象であると判断されたときにその撮影画像を認識対象の画像データとしてデータベース４に記録するものである。また、その認識判断処理において、撮影画像の被認識対象物が認識対象でないと判断されたときにその撮影画像を他の種類の画像データとして別個にデータベース４に記録することが好ましい。
【００５３】
図１１に本実施形態に係る画像認識装置の動作及び画像認識方法についてフローチャートを示す。この図１１のフローチャートの制御処理は、まず、Ｓ４０にて、撮影画像の読み込みが行われる。そして、画像抽出処理、主成分係数算出処理、近似画像形成処理、認識判断処理が順次行われる（Ｓ４２、Ｓ４４、Ｓ４６、Ｓ４８）。このＳ４０〜４８の処理は、図３のＳ２０〜２８の処理と同様に行われる。
【００５４】
そして、Ｓ５０に移行し、Ｓ４８にて撮影画像の被認識対象物が認識対象であると判断されたか否かが判断される。例えば、撮影画像の信号機１１が青信号であると判断されたか否かが判断される。撮影画像の被認識対象物が認識対象であると判断されていたときには、撮影画像が認識対象の画像データとしてデータベース４に記録される（Ｓ５２）。これにより、認識対象の画像データを増やすことができる。
【００５５】
一方、撮影画像の被認識対象物が認識対象でないと判断されていたときには、撮影画像が他の種類の画像データとしてデータベース４に記録される（Ｓ５４）。例えば、撮影画像の信号機１１が赤信号であった場合、その撮影画像は青信号以外の画像データとしてデータベース４に記録される。
【００５６】
以上のように、本実施形態に係る画像認識装置及び画像認識方法によれば、第一実施形態に係る画像認識装置及び画像認識方法と同様に高精度な認識判断が行えると共に、認識判断ごとにベータベース４に画像データを蓄積していくことができる。このため、データベース４の蓄積データを充実させてさらに高精度の認識判断が可能となる。
（第四実施形態）
次に、第四実施形態に係る画像認識装置及び画像認識方法について説明する。
【００５７】
上述した第一実施形態から第三実施形態では、認識対象が一つの場合（例えば認識対象が青信号のみの場合）について説明したが、本実施形態に係る画像認識装置及び画像認識方法は、異なる複数の認識対象を設定し、撮影画像の認識判断処理を複数の認識対象についてそれぞれ行い、一番近似する認識対象を判定し、撮影画像の被認識対象物がその一番近似する認識対象であると判断する。
【００５８】
例えば、信号機が被認識対象物である場合、青信号の画像データ、赤信号の画像データ及び黄色信号の画像データをそれぞれデータベース４に記録しておき、それぞれについて図２のＳ１２に示すように主成分分析処理を行い、各信号について主成分空間を形成しておく。そして、図３のＳ２０、Ｓ２２に示すように、撮影画像の読み込み処理及び画像抽出処理を行う。そして、撮影画像について青信号、赤信号及び黄色信号の各信号の主成分空間への投影、主成分係数の算出（Ｓ２４）、近似画像形成（Ｓ２６）及び認識判断処理による相関値の算出（Ｓ２８）をそれぞれ行う。そして、青信号、赤信号及び黄色信号の相関値をそれぞれ対比し、一番相関値の高いものを判定し、撮影画像の信号機がその一番相関値の高い信号であると判断する。また、その際、青信号、赤信号及び黄色信号の相関値がいずれも所定値より低い場合には、被認識対象物が信号機以外のものと判断する。
【００５９】
このように、本実施形態に係る画像認識装置及び画像認識方法によれば、同じカテゴリーの異種類の認識対象について識別を行うことできる。また、同カテゴリーの各認識対象における相関値がいずれも所定値より低い場合に被認識対象物が同カテゴリー以外のものであると判断して異カテゴリーのものを排除することができる。
【００６０】
また、本実施形態に係る画像認識装置及び画像認識方法において、同カテゴリーの異種類の被認識対象物の類似性範囲値を算出しておき、被認識対象物が同カテゴリーの所定種類のものであるか否かを認識すると共に、その被認識対象物が同カテゴリーのものであるか否かを認識してもよい。
【００６１】
すなわち、同カテゴリーの各種の主成分空間をそれぞれ形成した際に、その主成分空間に同カテゴリーの異種類の画像データを投影し近似画像を形成し認識判断処理を行って相関値を算出しておく。この相関値をその種類の同カテゴリーの類似性範囲値として記録する。そして、被認識対象物について認識判断した際にその相関値が類似性範囲値より低い場合には、その被認識対象物が異なるカテゴリーのものであると判断することができる。
【００６２】
例えば、信号機の青信号、赤信号及び黄色信号についてそれぞれの画像データを用意し、それぞれについて主成分空間を形成する。そして、青信号の主成分空間には赤信号と黄色信号の画像データをそれぞれ投影し近似画像を形成し認識判断処理を行って相関値を算出しておく。この相関値を信号機の類似性範囲値として記録する。そして、被認識対象物について認識判断した際にその相関値がその類似性範囲値より低い場合には、その被認識対象物が信号機以外のものであると判断することができる。
【００６３】
なお、本実施形態では、信号機を認識対象とする場合について説明したが、その他のカテゴリーに適用してもよい。例えば、車両や標識を認識対象として、被認識対象物が車両である否か、被認識対象物が標識であるか否かの判断を行ってもよい。
【図面の簡単な説明】
【００６４】
【図１】本発明の第一実施形態に係る画像認識装置の構成概要図である。
【図２】図１の画像認識装置における主成分分析処理を示すフローチャートである。
【図３】第一実施形態に係る画像認識装置の動作及び画像認識方法を示すフローチャートである。
【図４】第一実施形態に係る画像認識装置及び画像認識方法における認識判断処理の実施例の説明図である。
【図５】第一実施形態に係る画像認識装置及び画像認識方法における認識判断処理の実施例の説明図である。
【図６】第一実施形態に係る画像認識装置及び画像認識方法における認識判断処理の実施例の説明図である。
【図７】第一実施形態に係る画像認識装置及び画像認識方法における認識判断処理の実施例の説明図である。
【図８】第二実施形態に係る画像認識装置及び画像認識方法の説明図である。
【図９】第二実施形態に係る画像認識装置及び画像認識方法の説明図である。
【図１０】第二実施形態に係る画像認識装置及び画像認識方法の説明図である。
【図１１】第三実施形態に係る画像認識装置の動作及び画像認識方法を示すフローチャートである。
【符号の説明】
【００６５】
１…画像認識装置、２…カメラ（撮影手段）、３…画像処理部、４…データベース（記録手段）、１０…信号機。
【特許請求の範囲】
【請求項１】
被認識対象物を撮影するための撮影手段と、
認識対象の画像データを記録した記録手段と、
前記画像データを主成分分析する主成分分析手段と、
前記撮影手段により撮影された被認識対象物の撮影画像を前記主成分分析手段による主成分分析で形成された主成分空間に投影し、前記主成分空間における各主成分の主成分係数を算出する係数算出手段と、
前記主成分における固有値を大きい方から加算した累積寄与率が所定値を占める主成分とその主成分に係る主成分係数とを用いて、前記撮影画像の近似画像を形成する近似画像形成手段と、
前記近似画像に基づいて前記撮影画像の前記被認識対象物が認識対象であるか否かを判断する判断手段と、
を備えた画像認識装置。
【請求項２】
前記判断手段は、前記撮影画像と前記近似画像の相関値を算出し、その相関値が所定のしきい値を超えるか否かに基づいて前記撮影画像の前記被認識対象物が認識対象であるか否かを判断すること、
を特徴とする請求項１に記載の画像認識装置。
【請求項３】
被認識対象物を撮影するための撮影手段と、
認識対象の画像データを記録した記録手段と、
前記画像データを主成分分析する主成分分析手段と、
前記撮影手段により撮影した認識対象物の画像上の位置を所定量ずらして複数の撮影画像を抽出する画像抽出手段と、
前記複数の撮影画像を前記主成分分析手段による主成分分析で形成された主成分空間にそれぞれ投影し、前記主成分空間における各主成分の主成分係数を算出する係数算出手段と、
前記主成分における固有値を大きい方から加算した累積寄与率が所定値を占める主成分とその主成分に係る主成分係数とを用いて、前記複数の撮影画像についてそれぞれ近似画像を形成する近似画像形成手段と、
前記近似画像と前記撮影画像との相関値をそれぞれ算出し、画像抽出位置のずれ量に対する相関値の変化率に基づいて前記撮影画像の前記被認識対象物が認識対象であるか否かを判断する判断手段と、
を備えた画像認識装置。
【請求項４】
前記判断手段により前記撮影画像の前記被認識対象物が認識対象であると判断された場合にその撮影画像を前記記録手段に認識対象の画像データとして記録することを特徴とする請求項１〜３のいずれかに記載の画像認識装置。
【請求項５】
被認識対象物を撮影するための撮影手段と、
同カテゴリーの異なる認識対象の画像データを記録した記録手段と、
前記異なる認識対象の画像データをそれぞれ主成分分析する主成分分析手段と、
前記撮影手段により撮影した認識対象物の撮影画像を前記主成分分析手段による主成分分析で形成された各主成分空間に投影し、前記主成分空間における各主成分の主成分係数を算出する係数算出手段と、
前記主成分における固有値を大きい方から加算した累積寄与率が所定値を占める主成分及びその主成分に係る主成分係数を用いて、前記主成分空間ごとに前記撮影画像の近似画像をそれぞれ形成する近似画像形成手段と、
前記主成分空間ごとの近似画像と前記撮影画像との相関値を算出し、それらの相関値に基づいて前記撮影画像の前記被認識対象物がどの認識対象に一致するかを判断する判断手段と、
を備えた画像認識装置。
【請求項６】
前記認識対象が信号機であることを特徴とする請求項１〜５のいずれかに記載の画像認識装置。
【請求項７】
記録手段に記録された画像データを主成分分析する主成分分析工程と、
撮影手段により撮影された認識対象物の撮影画像を前記主成分分析工程の主成分分析によって形成された主成分空間に投影し、前記主成分空間における各主成分の主成分係数を算出する係数算出工程と、
前記主成分における固有値を大きい方から加算した累積寄与率が所定値を占める主成分とその主成分に係る主成分係数とを用いて、前記撮影画像の近似画像を形成する近似画像形成工程と、
前記近似画像に基づいて前記撮影画像の前記被認識対象物が認識対象であるか否かを判断する判断工程と、
を備えた画像認識方法。
【請求項８】
前記判断工程にて、前記撮影画像と前記近似画像の相関値を算出し、その相関値が所定のしきい値を超えるか否かに基づいて前記撮影画像の前記被認識対象物が認識対象であるか否かを判断すること、
を特徴とする請求項７に記載の画像認識方法。
【請求項９】
記録手段に記録された画像データを主成分分析する主成分分析工程と、
撮影手段により撮影された認識対象物の画像上の位置を所定量ずらして複数の撮影画像を抽出する画像抽出工程と、
前記複数の撮影画像を前記主成分分析工程の主成分分析によって形成された主成分空間にそれぞれ投影し、前記主成分空間における各主成分の主成分係数を算出する係数算出工程と、
前記主成分における固有値を大きい方から加算した累積寄与率が所定値を占める主成分とその主成分に係る主成分係数とを用いて、前記複数の撮影画像についてそれぞれ近似画像を形成する近似画像形成工程と、
前記近似画像と前記撮影画像との相関値をそれぞれ算出し、画像抽出位置のずれ量に対する相関値の変化率に基づいて前記撮影画像の前記被認識対象物が認識対象であるか否かを判断する判断工程と、
を備えた画像認識方法。
【請求項１０】
前記判断工程において前記撮影画像の前記被認識対象物が認識対象であると判断された場合にその撮影画像を前記記録手段に認識対象の画像データとして記録することを特徴とする請求項７〜９のいずれかに記載の画像認識方法。
【請求項１１】
記録手段に記録される同カテゴリーの異なる認識対象の画像データをそれぞれ主成分分析する主成分分析工程と、
撮影手段により撮影された被認識対象物の撮影画像を前記主成分分析工程の主成分分析によって形成された各主成分空間に投影し、前記主成分空間における各主成分の主成分係数を算出する係数算出工程と、
前記主成分における固有値を大きい方から加算した累積寄与率が所定値を占める主成分とその主成分に係る主成分係数とを用いて、前記主成分空間ごとに前記撮影画像の近似画像をそれぞれ形成する近似画像形成工程と、
前記主成分空間ごとの近似画像と前記撮影画像との相関値を算出し、それらの相関値に基づいて前記撮影画像の前記被認識対象物がどの認識対象に一致するかを判断する判断工程と、
を備えた画像認識方法。
【請求項１２】
前記認識対象が信号機であることを特徴とする請求項７〜１１のいずれかに記載の画像認識方法。
【請求項１】
被認識対象物を撮影するための撮影手段と、
認識対象の画像データを記録した記録手段と、
前記画像データを主成分分析する主成分分析手段と、
前記撮影手段により撮影された被認識対象物の撮影画像を前記主成分分析手段による主成分分析で形成された主成分空間に投影し、前記主成分空間における各主成分の主成分係数を算出する係数算出手段と、
前記主成分における固有値を大きい方から加算した累積寄与率が所定値を占める主成分とその主成分に係る主成分係数とを用いて、前記撮影画像の近似画像を形成する近似画像形成手段と、
前記近似画像に基づいて前記撮影画像の前記被認識対象物が認識対象であるか否かを判断する判断手段と、
を備えた画像認識装置。
【請求項２】
前記判断手段は、前記撮影画像と前記近似画像の相関値を算出し、その相関値が所定のしきい値を超えるか否かに基づいて前記撮影画像の前記被認識対象物が認識対象であるか否かを判断すること、
を特徴とする請求項１に記載の画像認識装置。
【請求項３】
被認識対象物を撮影するための撮影手段と、
認識対象の画像データを記録した記録手段と、
前記画像データを主成分分析する主成分分析手段と、
前記撮影手段により撮影した認識対象物の画像上の位置を所定量ずらして複数の撮影画像を抽出する画像抽出手段と、
前記複数の撮影画像を前記主成分分析手段による主成分分析で形成された主成分空間にそれぞれ投影し、前記主成分空間における各主成分の主成分係数を算出する係数算出手段と、
前記主成分における固有値を大きい方から加算した累積寄与率が所定値を占める主成分とその主成分に係る主成分係数とを用いて、前記複数の撮影画像についてそれぞれ近似画像を形成する近似画像形成手段と、
前記近似画像と前記撮影画像との相関値をそれぞれ算出し、画像抽出位置のずれ量に対する相関値の変化率に基づいて前記撮影画像の前記被認識対象物が認識対象であるか否かを判断する判断手段と、
を備えた画像認識装置。
【請求項４】
前記判断手段により前記撮影画像の前記被認識対象物が認識対象であると判断された場合にその撮影画像を前記記録手段に認識対象の画像データとして記録することを特徴とする請求項１〜３のいずれかに記載の画像認識装置。
【請求項５】
被認識対象物を撮影するための撮影手段と、
同カテゴリーの異なる認識対象の画像データを記録した記録手段と、
前記異なる認識対象の画像データをそれぞれ主成分分析する主成分分析手段と、
前記撮影手段により撮影した認識対象物の撮影画像を前記主成分分析手段による主成分分析で形成された各主成分空間に投影し、前記主成分空間における各主成分の主成分係数を算出する係数算出手段と、
前記主成分における固有値を大きい方から加算した累積寄与率が所定値を占める主成分及びその主成分に係る主成分係数を用いて、前記主成分空間ごとに前記撮影画像の近似画像をそれぞれ形成する近似画像形成手段と、
前記主成分空間ごとの近似画像と前記撮影画像との相関値を算出し、それらの相関値に基づいて前記撮影画像の前記被認識対象物がどの認識対象に一致するかを判断する判断手段と、
を備えた画像認識装置。
【請求項６】
前記認識対象が信号機であることを特徴とする請求項１〜５のいずれかに記載の画像認識装置。
【請求項７】
記録手段に記録された画像データを主成分分析する主成分分析工程と、
撮影手段により撮影された認識対象物の撮影画像を前記主成分分析工程の主成分分析によって形成された主成分空間に投影し、前記主成分空間における各主成分の主成分係数を算出する係数算出工程と、
前記主成分における固有値を大きい方から加算した累積寄与率が所定値を占める主成分とその主成分に係る主成分係数とを用いて、前記撮影画像の近似画像を形成する近似画像形成工程と、
前記近似画像に基づいて前記撮影画像の前記被認識対象物が認識対象であるか否かを判断する判断工程と、
を備えた画像認識方法。
【請求項８】
前記判断工程にて、前記撮影画像と前記近似画像の相関値を算出し、その相関値が所定のしきい値を超えるか否かに基づいて前記撮影画像の前記被認識対象物が認識対象であるか否かを判断すること、
を特徴とする請求項７に記載の画像認識方法。
【請求項９】
記録手段に記録された画像データを主成分分析する主成分分析工程と、
撮影手段により撮影された認識対象物の画像上の位置を所定量ずらして複数の撮影画像を抽出する画像抽出工程と、
前記複数の撮影画像を前記主成分分析工程の主成分分析によって形成された主成分空間にそれぞれ投影し、前記主成分空間における各主成分の主成分係数を算出する係数算出工程と、
前記主成分における固有値を大きい方から加算した累積寄与率が所定値を占める主成分とその主成分に係る主成分係数とを用いて、前記複数の撮影画像についてそれぞれ近似画像を形成する近似画像形成工程と、
前記近似画像と前記撮影画像との相関値をそれぞれ算出し、画像抽出位置のずれ量に対する相関値の変化率に基づいて前記撮影画像の前記被認識対象物が認識対象であるか否かを判断する判断工程と、
を備えた画像認識方法。
【請求項１０】
前記判断工程において前記撮影画像の前記被認識対象物が認識対象であると判断された場合にその撮影画像を前記記録手段に認識対象の画像データとして記録することを特徴とする請求項７〜９のいずれかに記載の画像認識方法。
【請求項１１】
記録手段に記録される同カテゴリーの異なる認識対象の画像データをそれぞれ主成分分析する主成分分析工程と、
撮影手段により撮影された被認識対象物の撮影画像を前記主成分分析工程の主成分分析によって形成された各主成分空間に投影し、前記主成分空間における各主成分の主成分係数を算出する係数算出工程と、
前記主成分における固有値を大きい方から加算した累積寄与率が所定値を占める主成分とその主成分に係る主成分係数とを用いて、前記主成分空間ごとに前記撮影画像の近似画像をそれぞれ形成する近似画像形成工程と、
前記主成分空間ごとの近似画像と前記撮影画像との相関値を算出し、それらの相関値に基づいて前記撮影画像の前記被認識対象物がどの認識対象に一致するかを判断する判断工程と、
を備えた画像認識方法。
【請求項１２】
前記認識対象が信号機であることを特徴とする請求項７〜１１のいずれかに記載の画像認識方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【公開番号】特開２００６−２４４２８９（Ｐ２００６−２４４２８９Ａ）
【公開日】平成１８年９月１４日（２００６．９．１４）
【国際特許分類】
【出願番号】特願２００５−６１２０４（Ｐ２００５−６１２０４）
【出願日】平成１７年３月４日（２００５．３．４）
【出願人】（０００００３２０７）トヨタ自動車株式会社 (59,920)
【Ｆターム（参考）】
【公開日】平成１８年９月１４日（２００６．９．１４）
【国際特許分類】
【出願日】平成１７年３月４日（２００５．３．４）
【出願人】（０００００３２０７）トヨタ自動車株式会社 (59,920)
【Ｆターム（参考）】
[ Back to top ]