説明

画像認識装置及び方法、ナビゲーション装置

【課題】 行路中に画像処理に関して、その処理上障害となる事象が比較的頻繁に発生することがある地点が含まれている場合に、合理的な処理負荷で画像処理を実行することができる画像認識装置を得る。
【解決手段】 走行路R上を走行する走行体1に装備可能に構成され、撮像手段により撮像された撮像画像i1から走行路Rに存する認識対象3を所定の認識ロジックに従って画像認識する画像認識手段を備えた画像認識装置を構成するに、画像認識を困難とする障害発生の可能性が高い地点である認識障害地点Oと前記認識障害地点以外の地点Nとで、画像認識手段における認識処理を異ならせる認識処理変更手段を備える。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、走行路上を走行する走行体に装備可能に構成され、
撮像手段により撮像された撮像画像から前記走行路に存する認識対象を所定の認識ロジックに従って画像認識する画像認識手段を備えた画像認識装置に関するとともに、その装置で使用する画像認識方法に関する。
【背景技術】
【0002】
従来、ナビゲーション装置に搭載される画像認識装置として、様々な構成の画像認識装置が提案されている。この種の画像認識装置にあっては、例えば、走行路に沿ってひかれている白線レーンマークの認識が重要なテーマである。
特許文献1には、撮像画像に対する画像処理として、エッジ抽出処理、ペアリングによるレーンマーク候補の抽出処理、ハフ変換処理、レーンマーク近傍のエッジ点抽出処理を行うことが開示されている。
【0003】
この文献に開示の技術では、上記の手法で抽出されるエッジ点を画像座標系から俯瞰座標系に変換し、俯瞰座標系に変換されたエッジ点を最小2乗法を用いて3次曲線に近似し、白線レーンマークを3次多項式の関数として出力することにより、遠方の白線レーンマークをも曲線関数にて推定できるものとしている。結果、画像上の直線部分よりも遠方にある区画線(白線レーンマーク)を精度良く検出することができる。
【0004】
この種の画像処理は、一般に走行路上に画像処理に対する障害物が無い状態で、その処理を良好に行うべく工夫される。
【特許文献1】特開平9−218937号公報(特許請求の範囲、図2)
【発明の開示】
【発明が解決しようとする課題】
【0005】
しかしながら、走行路上に画像処理上の障害体がないことはまれである。
上記の白線レーンマークに例を取ると、画像処理の対象となる地点において不法駐車が頻繁に発生しており、実際上、白線レーンマークを車載カメラから撮像した場合に、切れ切れにしか撮像されない場合がある。一方、農道のように路側での駐車車両が少ない場合、さらには、高速道のように、駐車車両が殆ど存在しない場合もある。
【0006】
このように、画像認識装置は、様々な状況に関して適切な画像処理を行う必要が生じるが、従来、不法駐車が多く白線レーンマークが断裂線としてしか撮像できない状況の画像処理に関しては、実際上、画像処理不可として処理している。
【0007】
画像処理手法上、例えば、多くの不法駐車が認められる地点の撮像画像に対して、白線レーンマークの抽出処理を行おうとすると、図8(イ)(ロ)(ハ)に示すように、先ず、車に関する画像部を抽出するとともに、この画像部を撮像画像から消去し、断裂線として現れている白線レーンマーク部位を順次抜き出し、その部位が白線レーンマークに関係する画像部位であると認識するとともに、その断裂部を接続して、一本の白線レーンマークとして認識する必要が生じる。
【0008】
しかしながら、このような処理は、例えば、高速道における白線レーンマークの認識処理と比較すると、遥かに高負荷な処理であり、このような処理手法を常時採用することはできない。
【0009】
本発明の目的は、走行路中に画像処理に関して、その処理上障害となる事象が比較的頻繁に発生することがある地点が含まれている場合に、合理的な処理負荷で画像処理を実行することができる画像認識装置を得るとともに、その処理を行える画像処理方法を得ることにある。
【課題を解決するための手段】
【0010】
上記目的を達成するための、走行路上を走行する走行体に装備可能に構成され、
撮像手段により撮像された撮像画像から前記走行路に存する認識対象を所定の認識ロジックに従って画像認識する画像認識手段を備えた画像認識装置の特徴構成は、
前記画像認識を困難とする障害発生の可能性が高い地点である認識障害地点と前記認識障害地点以外の地点とで、前記画像認識手段における認識処理が異ならせる認識処理変更手段を備えることにある。
【0011】
この画像認識装置では、走行路上を走行する走行体に対して、
撮像手段により撮像された撮像画像から前記走行路に存する認識対象を所定の認識ロジックに従って画像認識する画像認識方法の特徴手段は、
前記画像認識を困難とする障害発生の可能性が高い地点である認識障害地点と前記認識障害地点と前記認識障害地点以外の地点とで、前記画像認識手段における認識処理を異ならせて画像認識を行うものとされていることとなる。
【0012】
本願に係る画像認識手法では、認識障害地点とそれ以外の地点とで、認識処理を異ならせる。即ち、障害発生の可能性が高く画像認識が困難となる地点では、その地点に適した画像処理手法を採用し、それ以外の地点では、例えば、比較的容易な画像認識手法を採用するのである。この構成を、先に課題の例で示した場合に関して説明すると、不法駐車が比較的頻繁に発生している地点と、高速道路等の不法駐車がほとんどない地点とで、白線レーンマークの認識処理を異ならせることとなる。結果、その地点、地点の認識負荷に応じた対応が可能となり、結果的に合理的な処理負荷で、画像認識装置に要求される性能を満たすことができる。
【0013】
さて、認識障害地点とそれ以外の地点との識別に関しては、以下の手法に従って行うことができる。
即ち、画像認識装置に、前記走行路上の地点における前記画像認識手段による画像認識の困難性を判定する認識困難性判定手段を備え、
前記走行路上の地点における、前記認識困難性判定手段による認識困難性判定の統計的結果に基づいて、当該走行路上の地点が前記認識障害地点に該当するか否かを決定する認識障害地点決定手段を備える。
この装置にあっては、認識困難性判定手段が、走行路上の地点における画像認識の困難性を判定する。そして、認識障害地点決定手段が、この認識困難性判定手段による認識困難性判定の統計的結果に基づいて、当該地点が認識障害地点に該当するか否かを判定する。
【0014】
即ち、走行路中の地点に関して、画像処理が困難と判定される状況が統計的に多い地点を認識障害地点とするのである。結果、この画像認識装置にあっては、画像処理に関する困難性を地点、地点で学習することとなり、障害事象が発生しやすく、比較的困難な画像処理が必要となる地点については、その地点で必要となる画像処理を実行することで、処理負荷の適正化を実現できる。
【0015】
この構成の画像認識装置にあっては、その画像処理方法としては、過去に走行路上を走行し画像認識を実行した結果から、その画像処理の困難性に基づいて認識障害地点と認識障害地点以外の地点とを識別することとなる。
【0016】
さて、これまで説明してきた画像認識装置において、
前記認識困難性判定手段が画像認識可能か否かの可否判定を行い、
前記認識困難性判定の統計的結果が、前記可否判定における可能若しくは不可に関する統計的確率結果であることが好ましい。
【0017】
この構成にあっては、認識困難性判定手段は、認識ができたか否かの可否判定を実行し、地点、地点において、その判定の統計的確率を求める。即ち、走行体が特定の地点を通過する毎に、その地点における認識困難性判定結果を、最も簡易な可否状態で判定しておき、その統計を取っておく。そして、例えば、不可とされる統計的確率が高い地点を認識障害地点とするのである。
このようにすることで、認識困難性に関する経験情報を最も簡易且つ合理的な手法で実効的に、本願の目的を達成することができる。
【0018】
さらに、これまで説明してきた画像認識装置の装置構成として、
前記認識障害地点と前記認識障害地点以外の地点とで、前記画像認識手段における認識処理を異ならせるに、同一の認識ロジックを採用し、その認識レベルとして、少なくとも第一認識レベルと、前記第一認識レベルより高い認識能を有する第二認識レベルと間で認識処理を異ならせることが好ましい。
【0019】
認識処理における認識ロジックとしては共通のものを採用し、その認識能において異なる第一認識レベルと第二認識レベルとを用意しておくことで、認識処理を共通化された同一の認識ロジックに従うものとしながら、その認識レベルの変更操作だけで、本願の処理が可能となり、限定された認識ロジックを有効利用しながら、本願目的を達成することができる。
【0020】
この場合、認識障害地点においては第二認識レベルでの認識処理を実行し、認識障害地点以外の地点においては第一認識レベルでの認識処理を実行することとなる。
【0021】
これまで説明してきた画像認識装置における、走行路に存する認識対象としては、走行路上のレーンマークが対象となる。この種のレーンマークとしては、白線レーンマーク、破線レーンマーク、センター線、二重線、ゼブラゾーン等がある。
さらに、発生する障害としては、走行路上に一時的に位置される障害体が対象となる。この種の障害体としては、路側に駐車中の車両、秋季もしくは冬季には街路樹からの落ち葉、予告看板等がある。
【0022】
さて、画像認識装置を構成するに、走行体の走行地点を決定する走行地点決定手段からの走行地点情報に基づいて、地図上での認識障害地点を決定する認識障害地点決定手段を備えることが好ましい。
このように構成しておくと、地図ベースで、認識障害地点及びそれ以外の地点を識別可能となり、地図上の任意地点に関する識別情報をえて、以降の画像処理に役立たせることができる。
【0023】
さて、これまで説明してきた画像認識装置は、これがナビゲーション装置に組み込まれて使用され、地図ベースでの認識障害地点とそれ以外の地点との情報を得て、ナビゲーション装置で必要となる走行路認識(例えば、走行路が直進路かカーブか、走行路が交差点、分岐点に到達しているか否か等)、走行状態認識(例えば、自車が走行路のレーンに沿って走行しているか否か、どの走行レーンを走行しているか等)の認識を良好なものとすることができる。
【発明を実施するための最良の形態】
【0024】
本願に係る画像認識装置を、これを搭載したナビゲーション装置100を例に採って説明する。
【0025】
図1は、本願に係る画像認識装置101が好適に使用される道路網を示すとともに、本願が問題とする認識障害地点Oの状態を示したものである。図上、吹き出し内には、走行体である自車に装備される車載カメラ2から、自車の前方を撮像した撮像画像i1を示した。同図には、認識障害地点Oにあっては、不法駐車が比較的頻繁に発生し、白線レーンマーク3の画像認識が、比較的困難な状況にあることを示している。
【0026】
本願にあっては、上記のような画像認識の障害となる障害の発生率が比較的高い地点(上記図1に示す認識障害地点Oは、その一例である)と、それ以外の地点Nとにおいて、認識処理を変更することで、画像認識負荷が低く、迅速な画像処理を実行するように、画像認識装置101が構成されている。
【0027】
さらに、本願装置にあっては後述するように、画像認識装置101を継続的に使用しながら走行を行うことで、画像認識装置101内で自ら画像認識の可否を判定し、その画像認識が行えなかった地点を逐次記憶するとともに、その地点を通過する度毎に画像認識の可否を求め、その地点における画像認識の可否結果を統計的に処理することで、その地点における認識障害の発生の可能性を評価できるように構成している。
【0028】
また、その評価を継続的に行い、実際に認識障害地点Oとすべき地点の識別・登録を自動的に進め、最終的には、自車が走行した経験のある地点で少なくとも一回、画像認識不可が発生した地点毎に、本願にいう認識障害地点Oか否かを識別できる認識障害地点データベースDBoを生成する。この認識障害地点データベースDBoの構成例を図2に示した。
【0029】
以下、図3に基づいて、本願に係る画像認識装置101を搭載したナビゲーション装置100の構成に関して説明する。
図3は、本願に係るナビゲーション装置100の構成の概略を示したブロック図である。
【0030】
同図に示すように、ナビゲーション装置100は、装置本体としての演算処理装置4に対して、その周辺機器としての現在位置検知装置5、情報記憶装置6、表示入力装置7、リモコン入力装置8、リモコン受信機9及びVICS受信機10を備えて構成される。
【0031】
前記現在位置検知装置5は、ここでは、GPS受信機5a、方位検知センサ5b、及び距離検知センサ5cを備えて構成される。
GPS受信機5aは、人工衛星からの信号を受信する装置であり、信号の発信時刻、GPS受信機5aの位置情報、GPS受信機5aの移動速度、GPS受信機5aの進行方向など様々な情報を得ることができる。
【0032】
方位検知センサ5bは、地磁気センサやジャイロセンサ、或いは、ハンドルの回転部に取り付けた光学的な回転センサや回転型の抵抗ボリューム、車輪部に取り付ける角度センサ等により構成され、車両の進行方向を検知することができる。
距離検知センサ5cは、車輪の回転数を検知するセンサや車両の加速度を検知するセンサと検知された加速度を2回積分する回路との組み合わせ等により構成され、車両の移動距離を検知することができる。
これらの機器は、演算処理装置4内に備えられる走行地点決定手段4aとともに働いて、自車の現在位置を決定する。この現在位置は、例えば、自車の東経及び北緯情報として決定される。
【0033】
VICS(Vehicle Information and Communication System:登録商標)受信機10は、道路上の所定の地点に設置された信号発信機から発信された信号を受信する装置であり、VICSの光ビーコン及び電波ビーコンや、FM放送に多重されたVICS信号を受信することができる装置としている。演算処理装置4は、このVICS受信機10が受信した信号から、渋滞情報、現在位置情報、駐車場情報等の各種交通情報を取得することができる。
【0034】
情報記憶装置6は、例えば、ハードディスクドライブ、DVD−ROMを備えたDVDドライブ、CD−ROMを備えたCDドライブ等のように、情報を記憶可能な記録媒体とその駆動手段とを有して構成される。そして、ここでは、情報記憶装置6には、本願に係る認識障害地点データベースDBo、地図データベースDBm等が格納されている。
【0035】
前記認識障害地点データベースDBoは本願発明においてキーを成すデータベースであり、画像認識装置101を使用し続けることで、装置101内で自動生成されるデータベースである。このデータベースの目的は、本願にいう認識障害地点Oの特定にある。
図2に、このデータベースDBoの構成例を示した。同図に示すように、このデータベースDBoは、その横方向に、「登録地点ro」、その登録地点roの「位置(東経・北緯)」、その登録地点roの「認識不可率」、その登録地点roが本願にいう「認識障害地点か否かの判定結果」、その登録地点roにおいて適応すべき「認識ロジック」、その登録地点roにおいて適応すべき「認識レベル」を示す各欄を備えて構成されている。
縦方向にあっては、夫々の登録地点roに関する情報であることを示している。これら登録地点roは、走行路R上の地点であって、画像認識が一度でも画像認識が不可と判定された地点を降番順に登録したものである。
【0036】
前記「位置(東経・北緯)」欄には、登録地点roの東経及び北緯が登録される。
前記「認識不可率」欄には、登録地点roの認識不可率が記録されるのであるが、この認識不可率とは、その登録地点roを複数回走行した時点において、〔画像認識が不可と判定された回数〕/〔その登録地点を走行した回数(画像認識を行った回数)〕である。この認識不可率は、本願における統計的確率結果の一種である。
【0037】
この例における説明では、画像認識の認識困難性を、認識可、認識不可の2状態での判定とし、認識不可側の確率を使用するものとしているが、認識可側の確率を使用するものとしてもよい。さらに、画像認識の認識困難性を、認識の確からしさといった連続的な確率値で得る構成を採用する場合は、その認識の確からしさを示す確率値の平均値等とすることもできる。
【0038】
前記「認識障害地点か否かの判定結果」欄には、登録地点roが本願にいう認識障害地点Oに該当するか否かの判定が記載されている。表示上、認識障害地点Oを○印で示し、それ以外の地点を無印とした。この認識障害地点Oは、先に説明した認識不可率が所定の値(例えば80%)以上である地点とされる。この認識障害地点Oでは、画像認識に対する障害が頻繁に発生しており、画像認識を通常の認識ロジックで行った場合、認識が困難になることを示している。
【0039】
さて、本願では画像認識に関して、不法駐車が多い地点(認識障害地点O)と、それがない地点(認識障害地点以外の地点)とに関して説明すると、認識障害地点Oでは、車体画像候補の抽出及びその削除を伴った処理を行うとともに、白線レーンマーク3の抽出をハフ変換を利用して行うのに認識レベルの高い判定を実行するのに対して、それ以外の地点では、車体画像候補の抽出及びその削除を伴った処理を行うことなく、白線レーンマーク3の抽出をハフ変換を利用して行うのに認識レベルの低い通常の判定を実行する。
【0040】
そこで、前記「認識ロジック」及び「認識レベル」欄には、登録地点roで適応すべき認識ロジック及びその中で採用する認識レベルの別が登録されている。
即ち、認識障害地点Oに関しては、車体画像候補の抽出・除去処理を追加するとともに、白線レーンマーク3が破断線となることから、認識レベルを、そのレベルが高い第二認識レベルとする。
一方、認識障害地点以外の地点では、車体画像候補の削除処理を行うことなく、認識レベルについては、認識レベルが低い通常の第一認識レベルとする。
【0041】
地図データベースDBmは、表示入力装置7の後述する表示部7aに表示するための地図情報を記憶しているデータベースである。地図情報は、道路レイヤ、施設等の背景情報を有する背景レイヤ、市町村名など文字を表示するための文字レイヤ等を有して構成されている。
【0042】
車載カメラ2は、自車の前方の情景を撮像できるように構成されており、この車載カメラ2からの撮像画像が後述する画像認識処理部4Bに送られて画像認識の対象とされる。
【0043】
演算処理装置4は、例えば、各種の演算処理及びナビゲーション装置100の各部の動作制御を行うCPUと、このCPUが演算処理を行う際のワーキングメモリとして使用されるRAMと、CPUを動作させるための各種の動作プログラムや制御プログラム等のソフトウェアが格納されたROM等を備える構成とすることができる。
【0044】
演算処理装置4は所定の目的を達成するためのソフトウェアが格納されており、ハードウェアとともに働いて一定の目的を達成するように構成されている。即ち、ソフトウェアとハードウェアとは、共働することで所定の目的を実現する処理手段を構成する。
【0045】
図3に示すように、演算処理装置4は、その主な機能ブロックとして、走行地点決定部4A、画像認識処理部4B及び認識障害地点決定部4Cを備えて構成されている。これら各部位4A,4B,4Cに加えて、ナビゲーション装置本来の役割である案内ルートの探索等を実行する案内ルート探索部4Dも備えられている。
【0046】
前記走行地点決定部4Aは、走行地点決定手段4aとしての役割を果たす部位であり、先に説明した現在位置検知装置5に備えられる各機器(GPS受信機5a、方位検知センサ5b、距離検知センサ5c)からの情報及びVICS受信機10からの情報に基づいて、装置100、101の位置を決定する。
ここで、装置100、101の位置は東経及び北緯値として決定され、先に示した登録地点roの位置の特定に使用される。即ち、別途、実行される画像認識において、その画像認識が不可の判断された場合に、その画像認識を行った地点の特定に使用される。
【0047】
前記画像認識処理部4Bは、撮像手段である車載カメラ2から撮像画像を画像処理する部位である。この部位は、基本的には前記撮像手段2により撮像された撮像画像から走行路Rに存する認識対象を所定の認識ロジックに従って画像認識する画像認識手段4b1が備えられており、例えば、認識対象が走行路R上に備えられる白線レーンマーク3である場合、この白線レーンマーク3情報を、例えば、図8(ハ)(ニ)に示すような出力画像に乗せて出力する。
先に、図1を使用して説明した撮像画像i1は、走行路R上に画像認識にとって障害となる障害体(この例の場合は駐車している車11)がある例を示しているが、この障害体11がない場合は、図6に示すような撮像画像が取りこまれ、白線レーンマーク3の画像認識を実行した後、この白線レーンマーク3を強調した画像が、出力画像となる。
この出力画像の他、白線レーンマーク3が認識・特定されることで、自車の白線レーンマーク3から離間距離、白線レーンマーク3に対する方向等も判明する。
【0048】
先にも示したように、この画像認識手段4b1における処理は、認識障害地点Oと、認識障害地点以外の地点とに関して、異なった処理を実行できるように構成されており、認識障害地点Oでは、車体画像候補の抽出及びその削除を伴った処理を行うとともに、白線レーンマーク3の抽出をハフ変換を利用して行うのに認識レベルの高い判定を実行する。一方、それ以外の地点では、車体画像候補の抽出及びその削除を伴った処理を行うことなく、白線レーンマーク3の抽出をハフ変換を利用して行うのに認識レベルの低い通常の判定を実行する。
【0049】
画像認識処理部4Bに備えられる認識処理変更手段4b2は、画像認識手段4b1に於ける認識処理の変更を指令する手段であり、具体的には、現在画像認識対象となっている地点が、先に説明した認識障害地点データベースDBoに登録されている登録地点roか否かを判定し、その登録地点roであり、且つ、その地点が認識障害地点Oとされている場合に、認識障害地点Oとしての画像認識を画像認識手段4b1に実行させ、認識障害地点Oとされない地点では、通常の画像認識を実行させる。即ち、本願にあっては、画像認識を困難とする障害発生の可能性が高い地点である認識障害地点Oと認識障害地点以外の地点とで、画像認識手段4b1における認識処理を異ならせてある。
【0050】
前記画像認識処理部4Bには、前記2つの手段4b1、4b2の他に、走行路R上の地点における画像認識手段4b1による画像認識の困難性を判定する認識困難性判定手段4b3が備えられる。
【0051】
ここで、前記認識困難性判定手段4b3は認識可能か否かの可否判定を行う手段であり、認識対象が、これまで説明してきた白線レーンマーク3である場合、撮像画像上で、エッジ点抽出処理、ペアリング抽出処理を行い、ハフ変換処理を行った場合の投票処理上での投票値の程度、さらには、認識処理後のエッジ点の直線としての集束程度、あるいはエッジ点の強調と、予め各画像認識に対して設定されている閾値とを比較することで、認識の可否を判定する。例えば、撮像画像が図1に示すものである場合、ハフ変換後の白線レーンマーク3に対応する撮像線のハフ変換後の投票値は低くなり、図6に示すものである場合は高くなるため、その中間に閾値を設定することで、通常の画像認識手法を採る場合における、画像認識の可否を判定することができる。
【0052】
本願に係る画像認識装置101にあっては、全ての地点が認識障害地点以外の地点であるとの仮定のもとに装置の使用を始め、順次、画像認識が困難であった地点が見出された場合に、その地点を登録地点roとするとともに、さらに、この登録地点での画像認識を繰り返し実行した場合に、その登録地点roでの認識不可率がある値以上に維持されて始めて、その登録地点が認識障害地点Oとされる。
【0053】
ここで、認識障害地点Oに関しては、処理ロジック上、充分に認識能の高い画像認識手法を採用するため、この認識困難性判定手段4b3にあっては、認識可としての判定を下すものとする。即ち、この例における認識困難性判定手段4b3における判定は、通常の処理ロジックに従った場合の認識可否の判定とする。
【0054】
上記走行地点決定手段4aにより決定された走行地点情報と前記認識困難性判定情報とは、認識障害地点決定部4Cに送られ、認識障害地点決定手段4cによる処理を受ける。即ち、この手段4cでは、同一の地点(登録地点ro)に関して、その認識不可率が求められる。そして、この認識不可率が所定の閾値より高い状態に維持されている場合に、この登録地点roを認識障害地点Oとする。後日、さらに同一の地点roを走行して、その地点roにおける認識不可率が低下してきた場合は、この登録地点roに関して、認識障害地点Oとの登録を抹消する。
以上のようにして、認識障害地点データベースDBoに登録されている各登録地点roについて、その地点が認識障害地点Oか否かの判断を、統計的且つ現状に合致する状態で行うこととする。
前記案内ルート探索部4Dにあっては、従来公知の手法に従って、目的地までの案内ルートが探索される。これまで説明してきた画像認識装置101からの白線レーンマークに関する情報は、例えば、現時点における自車の走行レーン位置の特定に使用され、このようにして求められる、地図上での自車位置及び走行レーン位置から、適切な案内ルートを探索することとなる。
【0055】
以下、図4に基づいて、本願に係る画像認識装置101における処理フローを説明する。
この処理フローは、認識障害地点O及びそれ以外の地点を画像認識対象とする場合の処理フロー(前段側の処理フロー部F1)と、画像認識を逐次繰返すとともに、特定の地点で認識不可が発生した場合は、その地点に関して必要とされる処理(認識障害地点Oに該当するか否かの処理)を実行するフロー部位(後段側の処理フロー部F2)から成立する。
【0056】
この処理フローを実行する場合、先ず、認識処理変更手段4b2により現在の走行地点が認識障害地点Oに該当するか否かが判定される(#41)とともに、その判定結果に基づいて画像認識の認識ロジックが変更される。認識障害地点Oに該当する場合は(#41:yes)、認識ロジックを最適化すべく、これまで説明したように、例えば、図5(ロ)に示すように、エッジ抽出(#51)、車体画像候補の抽出・除去(#51−2)、ペアリング処理(#52)、ハフ変換(#53)、レーンマーク近傍のエッジ抽出(#54)を行うこととする。即ち、車体画像候補の抽出・除去処理を伴うとともに、ハフ変換処理においては、認識レベルが高い第二認識レベルの処理を実行する(#42、#43)。
【0057】
一方、認識障害地点以外の地点に該当する場合は(#41:no)、通常の認識ロジックに基づいた処理を実行する(#44)。即ち、これまで説明したように、例えば、
図5(イ)に示すように、エッジ抽出(#51)、ペアリング処理(#52)、ハフ変換(#53)、レーンマーク近傍のエッジ抽出(#54)を行うこととする。即ち、車体画像候補の抽出・除去処理を伴わず、ハフ変換処理においては、認識レベルが低い第一認識レベルの処理を実行する(#44)。
【0058】
このようにして、現在地点において画像認識処理を終了した後、認識困難性判定手段4b3により、現地点における画像認識の可否判定を実行する。先に説明したように、認識対象の特徴量が所定の閾値に対して低い値となっている場合(例えば、ハフ変換における投票数が所定の投票閾値より低い場合)、画像認識が不可であったと判定する(#45)。
【0059】
この判定において、画像認識が可であった場合(#45:yes)は、後段側の処理フロー部F2を省略して、新たな認識処理を必要な場合実行する。
一方、この判定において、画像認識が不可であった場合(#45:no)は、後段側の処理フロー部F2に移り、本願にいう認識障害地点Oとするか否かの判定を実行する。
【0060】
先ず、現在処理の対象となっている地点の登録処理を実行する(#46)。この登録は、画像認識装置101において、その地点が初めて画像認識が不可であると判定された場合のみ実行され、登録地点roとして認識障害地点データベースDBoに予め登録されている場合は、重複して登録されることはない。
【0061】
次に、認識障害地点決定手段4cにより、その地点における認識不可率(統計的確率の一例)が算出され(#47)、その値が所定の閾値を超えれるが否かが判定される(#48)。そして、その認識不可率が閾値より低い場合(#48:no)は,認識障害地点Oとしての登録の必要は無いとして、新たな画像認識に戻る。
一方、その認識不可率が閾値より高く維持された場合(#48:yes)は、その地点を認識障害地点Oとしての登録する(#49)。
【0062】
画像認識装置101における処理フローは、別途、終了指令が入力され、これが終了判定で認識された状態で、その処理を終了することとなる(#410)。
【0063】
この処理を走行体1の走行に伴って順次繰り返すことにより、例えば、不法駐車が多く発生し、画像認識の障害となる障害事情が常時発生している地点に関しては、認識障害地点Oとして登録され、高速道内の走行地点に関して、通常の処理で充分な認識障害地点以外の地点とされる。
【0064】
以上が、走行路Rに認識障害地点Oを含む場合の本願画像認識装置101が実行する処理フローであるが、図4における認識障害地点Oにおける認識処理と、認識障害地点以外の地点における認識処理に関して、図面に基づいて説明する。説明に際しては、理解を容易とするため、図6に示す不法駐車がなく画像認識の障害が低い例と、図1に示す障害が多い例を採って説明する。
【0065】
イ 画像認識上の障害が少ない場合の画像認識
この場合、車載カメラ2により撮像される撮像画像は、図6に示すものとなる。
この撮像画像を対象として、エッジ点抽出処理を実行する。この処理を受けた画像が図7(イ)に示す画像である(#51)。そして、図7(ロ)に示すようにペアリング処理を行って、孤立点を除去した後(#52)、この画像に対してハフ変換を施す(#53)。ハフ変換後に得られるθ−ρ平面にあっては、撮像画像上における白線レーンマーク3の4本の境界線に対応する座標の投票数が高くなる。即ち、認識レベルの低い第一認識レベルの処理で十分である。従って、再度撮像側に戻り、図7(ハ)(ニ)に示すように、4本の白線レーンマーク3のエッジに対応する画素点のみを残すことができる(#54)。同図中、ハフ変換により抽出されるエッジ線を、L1,L2として示し、そのアップエッジをL1u,L2uと、そのダウンエッジをL1d,L2dとして示している。
この例の場合、白線レーンマーク3のエッジeは、撮像画像全面で連続したエッジ線として撮像されるため、ハフ変換における投票数も高く、さらに、その画像上の離散状態も低くなる。結果、本願にいう認識困難性は低く、認識は容易である。
【0066】
ロ 画像認識上の障害が多い場合の画像認識
この場合、車載カメラ2により撮像される撮像画像は、図1に示すものとなる。この撮像画像を対象として、エッジ点抽出処理を実行する(#51)。この処理を受けた画像が図8(イ)に示す画像である。本願の場合、この地点が認識障害地点Oであると判明した状態で画像認識を進めるため、予め、高度な画像認識を採用する。
【0067】
即ち、図8(イ)で示される画像において、駐車している車11の画像である可能性が高い画像部位i11を探索する。この例では、一定の閉領域を形成するエッジ点の集合を抽出するとともに、その閉領域の形状、その領域内の色あるいは濃淡情報から車11の画像であると見なせる画像部位を抽出する。さらに、これら画像部位を撮像画像から消去する(#51−2)。その後、ペアリング処理を施し独立点を除去する(#52)。このようにして得られる画像が、図8(ロ)に示す画像である。この図からも判明するように、白線レーンマーク3に関連するエッジeは、画像上、切れ切れの破断線として現れる。
この画像に対してもハフ変換を施す(#53)。変換後のθ−ρ平面にあっては、撮像画像上における白線レーンマーク3の4本の境界線に対応する座標の投票数が、先に説明した障害が無い場合より低くなる。そこで、先に説明した場合より認識レベルの高い第二認識レベルでの認識を実行する。ハフ変換後の投票数としては、低めの閾値を使用して直線候補を抽出する。その後、再度撮像側に戻り、図8(ハ)(ニ)に示すように、4本の白線レーンマークのエッジ3に対応する画素点のみを残すことができる(#54)。
【0068】
〔別実施の形態〕
(1) 上記の実施の形態にあっては、認識処理の変更形態として、通常処理を行う形態と高度な認識処理との2形態間で、その変更を行うものとしたが、変更形態としては、3以上の多形態での変更としてもよい。
(2) 上記の実施の形態にあっては、認識障害地点のおける認識処理において、車両画像候補の抽出・除去と、ハフ変換における第二認識レベルによる認識処理を実行したが、認識障害地点における処理としては、それらの一方のみを行うものとしてもよく、さらに、高い認識能を発揮できる画像認識処理としては、テンプレートマッチング、組合わせハブ変換等の処理を採用してもよい。
(3) 認識困難性の判定においては、これまで説明してきた判定手法の他、ヒストグラム分布、周波数判定等の判定手法を採用してもよい。
(4) 上記の画像認識装置に関しては、装置をナビゲーション装置に使用する例を示したが、ミリ波レーダー等にも使用できる。
(5) また、その認識対象は、白線レーンマークの他、横断歩道、一時停止線等もその認識対象とできる。
【産業上の利用可能性】
【0069】
走行路中に画像処理に関して、その処理上障害となる事象が比較的頻繁に発生することがある地点が含まれている場合に、合理的な処理負荷で画像処理を実行することができる画像認識装置を得ることができた。
【図面の簡単な説明】
【0070】
【図1】本願発明に係る認識障害地点の形成状況及び当該地点を走行する走行体に備えられる車載カメラの撮像画像を示す図
【図2】認識障害地点データベースの内容を示す説明図
【図3】本願発明に係る画像認識装置を備えたナビゲーション装置の構成概略を示すブロック図
【図4】認識障害地点登録の処理フローを示す図
【図5】画像認識処理の処理フローを示す図
【図6】認識障害が無い場合の入力画像を示す図
【図7】認識障害地点以外の地点における画像処理手順を示す図
【図8】認識障害地点における画像処理手順を示す図
【符号の説明】
【0071】
2 車載カメラ
3 白線レーンマーク
4 演算処理装置
4A 走行地点決定部
4a 走行地点決定手段
4B 画像認識処理部
4b1 画像認識手段
4b2 認識処理変更手段
4b3 認識困難性判定手段
4C 認識障害地点決定部
4c 認識障害地点決定手段
4D 案内ルート探索部
5 現在位置検知装置
6 情報記憶装置
7 表示入力装置
8 リモコン入力装置
10 VICS受信機
DBo 障害事情データベース
DBm 地図データベース
N 認識障害地点以外の地点
O 認識障害地点
R 走行路
ro 登録地点

【特許請求の範囲】
【請求項1】
走行路上を走行する走行体に装備可能に構成され、
撮像手段により撮像された撮像画像から前記走行路に存する認識対象を所定の認識ロジックに従って画像認識する画像認識手段を備えた画像認識装置であって、
前記画像認識を困難とする障害発生の可能性が高い地点である認識障害地点と前記認識障害地点以外の地点とで、前記画像認識手段における認識処理を異ならせる認識処理変更手段を備える画像認識装置。
【請求項2】
前記走行路上の地点における前記画像認識手段による画像認識の困難性を判定する認識困難性判定手段を備え、
前記走行路上の地点における、前記認識困難性判定手段による認識困難性判定の統計的結果に基づいて、当該走行路上の地点が前記認識障害地点に該当するか否かを決定する認識障害地点決定手段を備える請求項1記載の画像認識装置。
【請求項3】
前記認識困難性判定手段が画像認識可能か否かの可否判定を行い、
前記認識困難性判定の統計的結果が、前記可否判定における可能若しくは不可に関する統計的確率結果である請求項2記載の画像認識装置。
【請求項4】
前記認識障害地点と前記認識障害地点以外の地点とで、前記画像認識手段における認識処理を異ならせるに、同一の認識ロジックを採用し、その認識レベルとして、少なくとも第一認識レベルと、前記第一認識レベルより高い認識能を有する第二認識レベルと間で認識処理を異ならせる請求項1〜3のいずれか1項記載の画像認識装置。
【請求項5】
前記認識障害地点においては前記第二認識レベルでの認識処理を実行し、前記認識障害地点以外の地点においては前記第一認識レベルでの認識処理を実行する請求項4記載の画像認識装置。
【請求項6】
前記走行路に存する認識対象が、走行路上のレーンマークである請求項1〜5のいずれか1項記載の画像認識装置。
【請求項7】
前記発生する障害が、前記走行路上に一時的に位置される障害体である請求項1〜6のいずれか1項記載の画像認識装置。
【請求項8】
前記走行体の走行地点を決定する走行地点決定手段からの走行地点情報に基づいて、地図上での前記認識障害地点を決定する認識障害地点決定手段を備えた請求項1〜7のいずれか1項記載の画像認識装置。
【請求項9】
請求項8記載の画像認識装置を備えるとともに、前記画像認識装置より得られる前記走行路に存する前記認識対象の認識情報に基づいて働くナビゲーション装置。
【請求項10】
走行路上を走行する走行体に対して、
撮像手段により撮像された撮像画像から前記走行路に存する認識対象を所定の認識ロジックに従って画像認識する画像認識方法であって、
前記画像認識を困難とする障害発生の可能性が高い地点である認識障害地点と前記認識障害地点と前記認識障害地点以外の地点とで、前記画像認識手段における認識処理を異ならせて画像認識を行う画像認識方法。
【請求項11】
過去に前記走行路上を走行し前記画像認識を実行した結果から、前記認識障害地点と記認識障害地点以外の地点とを識別する請求項10記載の画像認識方法。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate


【公開番号】特開2006−185101(P2006−185101A)
【公開日】平成18年7月13日(2006.7.13)
【国際特許分類】
【出願番号】特願2004−377091(P2004−377091)
【出願日】平成16年12月27日(2004.12.27)
【出願人】(000100768)アイシン・エィ・ダブリュ株式会社 (3,717)
【出願人】(000003207)トヨタ自動車株式会社 (59,920)
【Fターム(参考)】