説明

画像認識装置及び方法、並びに自車位置認識装置及び方法

【課題】互いに異なる方向をそれぞれ撮像する複数の撮像手段を備える場合に、状況に応じて最適な撮像手段を一つ選択することができ、演算処理の負荷を低く抑えつつ、地物の認識率及び認識された地物との間の距離認識精度の向上を図る。
【解決手段】自車両に設置され、互いに異なる方向をそれぞれ撮像する複数の撮像手段C1、C2を備え、自車両の周辺に存在する地物の画像認識を行う画像認識装置1であって、自車両の位置情報を取得する自車位置情報取得手段9と、自車位置情報に基づいて、自車位置の周辺の地物情報を所定の地物データベースDB2から取得する地物情報取得手段10と、必要な撮像情報を取得するための選択規則に従い、自車位置情報及び地物情報に基づいて複数の撮像手段C1、C2の一つを選択する選択手段13と、を備える。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、複数の撮像手段を備える場合に最適な一つの撮像手段を選択して撮像情報を取得し、その画像認識を行うことが可能な画像認識装置及び画像認識方法、並びにそれらを用いた自車位置認識装置及び自車位置認識方法に関する。
【背景技術】
【0002】
自車両の周辺に存在する地物の画像認識に関する技術として、例えば下記の特許文献1には、以下のような車載用ナビゲーション装置の技術が開示されている。この装置は、車両に搭載され、車両前方の走行道路に沿った風景を補促するカメラ、カメラにより補促された風景画像より交差点シンボル又は道路のエッジ消失点を識別して交差点を検出すると共に、車両位置から交差点(交差点シンボル又は道路のエッジ消失点)までの距離を求める交差点検出部、地図データから得られる前記交差点位置から前記距離だけ離れた走行道路上のポイントに車両位置を修正する車両位置修正手段を備えている。
【0003】
そして、この装置は、車載カメラにより交差点を検出し、検出交差点に基づいて車両位置を修正することにより、ミスマッチングしやすい道路上を走行している場合であっても、正しく位置修正ができるようにすることを目的としている。
【0004】
また、この装置の実施例には、前記カメラとして、車両の前方を撮像するカメラと、左右側方を撮像するカメラとを備える構成が記載されている。そして、第一及び第二の実施例においては、前方を撮像するカメラのみを使用して画像認識処理を行う構成が記載されており、第三の実施例においては、左右側方を撮像するカメラのみを使用して画像認識処理を行う構成が記載されている。このように、これまでの車載カメラによる画像認識に際しては、前方、側方、又は後方等のいずれかの撮像用のカメラを単独で使用するのが通常であった。
【0005】
【特許文献1】特開平9−243389号公報(第2−5頁、第1−2図)
【発明の開示】
【発明が解決しようとする課題】
【0006】
ところで、近年、一つの車両に前方撮像用カメラや後方撮像用カメラ等の複数のカメラを搭載することが行われるようになってきている。このように自車両に異なる方向を撮像する複数のカメラを搭載した場合、その撮像方向によって、視野の広さ、画像認識率、認識対象物との間の距離認識精度等は異なる。例えば、前方撮像用カメラは、運転者の視線に近い方向を撮像するように設置されることが多い。このため、車両前方の広い範囲を視野に納めることができ、数多くの認識対象物を撮像することができる利点があるが、近距離を撮像することが困難であるため、認識対象物との間の距離認識精度を高めにくい欠点がある。一方、後方撮像用カメラは、車両後下方の主として道路面を撮像するように設置されることが多い。このため、近距離を撮像することができ、認識対象物との間の距離認識精度を高めやすい利点があるが、視野が狭いために特に車速が高い場合に認識対象物が撮像される時間が短く、認識率が低下しやすい欠点がある。
【0007】
また、複数のカメラを搭載している場合に、例えばそれらの全てのカメラからの画像情報に対して画像認識処理を行うとすると、演算処理装置に高い演算負荷がかかることになり、高性能の演算処理装置が必要となるため、装置のコストが上昇する要因となる問題がある。
【0008】
本発明は、上記の課題に鑑みてなされたものであり、その目的は、互いに異なる方向をそれぞれ撮像する複数の撮像手段を備える場合に、状況に応じて最適な撮像手段を一つ選択することができ、演算処理の負荷を低く抑えつつ、地物の認識率及び認識された地物との間の距離認識精度の向上を図ることが可能な画像認識装置及び画像認識方法、並びにそれらを用いた自車位置認識装置及び自車位置認識方法を提供することにある。
【課題を解決するための手段】
【0009】
上記目的を達成するための本発明に係る、自車両に設置され、互いに異なる方向をそれぞれ撮像する複数の撮像手段を備え、前記自車両の周辺に存在する地物の画像認識を行う画像認識装置の特徴構成は、前記自車両の位置情報を取得する自車位置情報取得手段と、前記自車位置情報に基づいて、自車位置の周辺の地物情報を所定の地物データベースから取得する地物情報取得手段と、必要な撮像情報を取得するための選択規則に従い、前記自車位置情報及び前記地物情報に基づいて前記複数の撮像手段の一つを選択する選択手段と、を備える点にある。
【0010】
この特徴構成によれば、自車両が互いに異なる方向をそれぞれ撮像する複数の撮像手段を備える場合において、自車位置情報及び地物情報から定まる自車と地物との位置関係を含む各種の状況に基づいて、地物の画像認識に必要な撮像情報を取得するための最適な撮像手段を一つ選択することができる。したがって、画像認識を行う演算処理装置の負荷を低く抑えつつ、地物の認識率及び認識された地物と自車位置との間の距離認識精度の向上を図ることが可能となる。
【0011】
ここで、前記選択手段は、前記自車位置情報と前記地物情報に含まれる各地物の配置情報とを用いて、前記複数の撮像手段のそれぞれの撮像領域内に含まれる画像認識の対象となり得る認識対象地物を抽出した結果に基づいて、前記選択規則に従い、前記撮像領域内に認識対象地物が存在する撮像手段の中から一つを選択する構成とすると好適である。
【0012】
このように構成すれば、自車位置情報及び地物情報から定まる自車と地物との位置関係に基づいて、少なくとも一つ以上の認識対象地物が撮像領域内に含まれる撮像手段の中から一つの撮像手段が選択されることになる。したがって、地物の画像認識に適した撮像手段を確実に選択することができる。
【0013】
また、前記自車両の運動状態に関する情報である運動状態情報を取得する運動状態情報取得手段、及び前記自車両の周辺状況に関する情報である周辺情報を取得する周辺情報取得手段の一方又は双方を更に備え、前記選択手段は、前記自車位置情報及び前記地物情報に加えて、前記運動状態情報及び前記周辺情報の一方又は双方に基づいて、前記選択規則に従い、前記複数の撮像手段の一つを選択する構成とすると好適である。
【0014】
このように構成すれば、例えば自車両の旋回状態や走行速度等の運動状態情報や、例えば天候や周囲の明るさ等の周辺情報を用いて、地物の画像認識を行うために最適な撮像手段を一つ選択することができる。したがって、地物の認識率及び認識された地物と自車位置との間の距離認識精度の一層の向上を図ることが可能となる。
【0015】
また、前記複数の撮像手段として、前記自車両の前方を撮像する第一撮像手段と、この第一撮像手段よりも撮像方向が下方に設定された第二撮像手段と、を備え、前記選択手段は、前記自車位置情報と前記地物情報に含まれる各地物の配置情報とを用いて、前記第一撮像手段及び前記第二撮像手段のそれぞれの撮像領域内に含まれる画像認識の対象となり得る認識対象地物を抽出した結果に基づいて、前記選択規則に従い、前記撮像領域内に前記認識対象地物が存在する前記撮像手段の中から一つを選択する構成とすると好適である。
【0016】
このように構成すれば、視野が広く多くの地物を認識可能な第一撮像手段と、近距離の主として路面を撮像可能であって距離精度を高めやすい第二撮像手段とのいずれかを、自車位置情報及び地物情報から定まる自車と地物との位置関係を含む各種の状況に基づいて選択することができる。また、この際、少なくとも一つ以上の認識対象地物が撮像領域内に含まれる撮像手段の中から一つが選択される。したがって、画像認識を行う演算処理装置の負荷を低く抑えつつ、地物の認識率及び認識された地物と自車位置との間の距離認識精度の向上を図るための撮像手段の選択が可能となる。
【0017】
また、前記選択手段は、前記地物情報に含まれる各地物の種別情報に従って前記各地物がペイント系地物か立体系地物かを分類した結果に基づいて、前記第二撮像手段の撮像領域に含まれる前記認識対象地物が前記立体系地物のみである場合には、前記第二撮像手段を選択対象から除外する構成とすると好適である。
【0018】
このように構成すれば、主として路面を撮像する第二撮像手段による認識対象地物はペイント系地物のみとし、立体系地物は自車両の前方を撮像する第一撮像手段のみによる認識対象地物とすることができる。したがって、地物の種別に応じて最適な撮像手段の選択が可能となる。
【0019】
また、前記自車両の旋回状態を検出する旋回状態検出手段を更に備え、前記選択手段は、前記自車両が旋回中である場合には、前記第一撮像手段を選択対象から除外する構成とすると好適である。
【0020】
このように構成すれば、自車両の旋回中は、その旋回動作に起因して自車両の進行方向に対する撮像方向のずれが大きくなる第一撮像手段を選択しないようにすることができる。したがって、自車両の旋回状態に応じて適切な撮像手段の選択が可能となる。
【0021】
また、前記自車両の周辺の天候情報を取得する天候情報取得手段、前記自車両の周辺の明るさ情報を取得する明るさ情報取得手段、及び前記自車両の車速情報を取得する車速情報取得手段のいずれか一つ以上を更に備え、前記選択手段は、前記第一撮像手段の撮像領域と前記第二撮像手段の撮像領域の双方に前記認識対象地物が存在する場合には、前記天候情報、前記明るさ情報、及び前記車速情報のいずれか一つ以上に基づいて、前記選択規則に従い、前記第一撮像手段及び前記第二撮像手段の一方を選択する構成とすると好適である。
【0022】
このように構成すれば、自車両の周辺情報として天候情報及び明るさ情報を取得することができ、また自車両の運動状態情報として車速情報を取得することができ、これらの情報に基づいて、第一撮像手段及び前記第二撮像手段のいずれか最適な方を一つ選択することができる。したがって、地物の認識率及び認識された地物と自車位置との間の距離認識精度の一層の向上を図ることが可能となる。
【0023】
より具体的には、前記選択手段は、前記天候情報に関して天候が悪いほど、前記明るさ情報に関して暗いほど、前記車速情報に関して車速が高いほど、前記第一撮像手段を選択する場合が多くなるように定められた前記選択規則を有している構成とすると好適である。
【0024】
すなわち、天候情報に関しては、雨や雪等の天候が悪い場合には路面のペイント系地物の画像認識が困難になる場合が多いため、主として路面を撮像する第二撮像手段よりも立体系地物が撮像可能な第一撮像手段を選択する方が地物の認識率を高めることができるからである。また、明るさ情報に関しては、周囲が暗い場合にはヘッドライト等の光源を利用可能な第一撮像手段を選択する方が地物の認識率を高めることができるからである。また、車速情報に関しては、車速が高い場合には、下方を撮像する第二撮像手段では一つの地物を撮像可能な時間が短く認識率を高めることが困難であり、第一撮像手段を選択する方が地物の認識率を高めることができるからである。
【0025】
本発明に係る自車位置認識装置の特徴構成は、上記の画像認識装置を備えるとともに、前記選択手段により選択された撮像手段からの撮像情報に含まれる地物の認識結果に基づいて、自車位置と前記地物との位置関係を演算する位置関係演算手段と、前記位置関係演算手段による演算結果と、前記地物データベースから取得した前記地物情報に含まれる前記地物の配置情報と、に基づいて前記自車位置情報を補正する自車位置補正手段と、を備える点にある。
【0026】
この特徴構成によれば、自車両が互いに異なる方向をそれぞれ撮像する複数の撮像手段を備える場合において、自車位置情報及び地物情報から定まる自車と地物との位置関係を含む各種の状況に基づいて、地物の画像認識に必要な撮像情報を取得するための最適な撮像手段を一つ選択することができる。そして、選択された撮像手段による撮像情報から地物を認識して自車位置から地物までの距離を演算し、自車位置認識を行う。したがって、画像認識を行う演算処理装置の負荷を低く抑えつつ、高精度の自車位置認識を行うことが可能となる。
【0027】
本発明に係る、自車両に設置され、互いに異なる方向をそれぞれ撮像する複数の撮像手段を用いて、前記自車両の周辺に存在する地物の画像認識を行う画像認識方法の特徴構成は、前記自車両の位置情報を取得する自車位置情報取得ステップと、前記自車位置情報に基づいて、自車位置の周辺の地物情報を所定の地物データベースから取得する地物情報取得ステップと、必要な撮像情報を取得するための選択規則に従い、前記自車位置情報及び前記地物情報に基づいて前記複数の撮像手段の一つを選択する選択ステップと、を備える点にある。
【0028】
この特徴構成によれば、自車両が互いに異なる方向をそれぞれ撮像する複数の撮像手段を備える場合において、自車位置情報及び地物情報から定まる自車と地物との位置関係を含む各種の状況に基づいて、地物の画像認識に必要な撮像情報を取得するための最適な撮像手段を一つ選択することができる。したがって、画像認識を行う演算処理装置の負荷を低く抑えつつ、地物の認識率及び認識された地物と自車位置との間の距離認識精度の向上を図ることが可能となる。
【0029】
本発明に係る自車位置認識方法の特徴構成は、上記の画像認識方法の各ステップを備えるとともに、前記選択ステップにより選択された撮像手段からの撮像情報に含まれる地物の認識結果に基づいて、自車位置と前記地物との位置関係を演算する位置関係演算ステップと、前記位置関係演算ステップによる演算結果と、前記地物データベースから取得した前記地物情報に含まれる前記地物の配置情報と、に基づいて前記自車位置情報を補正する自車位置補正ステップと、を備える点にある。
【0030】
この特徴構成によれば、自車両が互いに異なる方向をそれぞれ撮像する複数の撮像手段を備える場合において、自車位置情報及び地物情報から定まる自車と地物との位置関係を含む各種の状況に基づいて、地物の画像認識に必要な撮像情報を取得するための最適な撮像手段を一つ選択することができる。そして、選択された撮像手段による撮像情報から地物を認識して自車位置から地物までの距離を演算し、自車位置認識を行う。したがって、画像認識を行う演算処理装置の負荷を低く抑えつつ、高精度の自車位置認識を行うことが可能となる。
【発明を実施するための最良の形態】
【0031】
本発明の実施形態について図面に基づいて説明する。
図1は、本実施形態に係る画像認識装置1を備えた自車位置認識装置2の概略構成を示すブロック図である。本実施形態においては、画像認識装置1は、互いに異なる方向をそれぞれ撮像する複数の撮像手段として、自車両3の前方を撮像するフロントカメラC1と、自車両3の後下方を撮像するバックカメラC2とを備えている(図2参照)。そして、画像認識装置1は、これらのフロントカメラC1及びバックカメラC2いずれか一方のカメラを後述する選択規則に従って選択して撮像情報を取得し、自車両3の周辺に存在する地物Fの画像認識を行う(図3参照)。また、自車位置認識装置2は、取得された撮像情報に含まれる地物Fの認識結果に基づいて、自車位置から地物Fまでの距離を演算する。そして、当該演算結果と、地物データベースDB2から取得した地物情報に含まれる地物Fの配置情報と、に基づいて自車位置情報を補正することにより、高精度の自車位置の情報を出力する。
【0032】
1.各部の構成
以下、本実施形態に係る画像認識装置1を備えた自車位置認識装置2の各部の構成について詳細に説明する。なお、自車位置認識装置2の各機能部、具体的には、自車位置認識演算部9、地物情報取得部10、認識対象地物抽出部11、地物分類処理部12、天候判別部8、選択処理部13、画像認識処理部14、位置関係演算部15、及び自車位置補正部16は、CPU等の演算処理装置を中核部材として、入力されたデータに対して種々の処理を行うための機能部がハードウエア又はソフトウエア(プログラム)或いはその両方により実装されて構成されている。
【0033】
図2及び図3に示すように、フロントカメラC1は、自車両3の前方を撮像する撮像装置である。ここでは、自車両3の運転者が真っ直ぐ前を見る際の視線方向に近い方向を撮像するように自車両3に設置されている。したがって、ここではフロントカメラC1は、道路面上において、撮像位置から自車両3の前方に向かって距離d1だけ離れた位置より前方の広い領域を撮像領域C1aとしている。また、フロントカメラC1は、自車両3の前方の水平に近い方向を撮像方向としているので、横断歩道Fp1や停止線Fp2等のペイント系地物Fpと、標識Fs1や信号機Fs2等の立体系地物Fsの双方が撮像される。
【0034】
バックカメラC2は、自車両3の後下方を撮像する撮像装置である。ここでは、フロントカメラC1よりも撮像方向が下方に設定されており、具体的には、自車両3の後方の比較的近い位置の道路面を撮像するように自車両3に設置されている。したがって、ここではバックカメラC2は、道路面上において、撮像位置から自車両3の後方に向かって距離d2(d2<d1)だけ離れた位置より後方のフロントカメラC1の撮像領域C1aよりも狭い領域を撮像領域C2aとしている。また、図2に示すように、バックカメラC2は、撮像方向が下方に設定されているので、横断歩道Fp1や停止線Fp2等のペイント系地物Fpは撮像されるが、標識Fs1や信号機Fs2等の立体系地物Fsは、位置的に撮像領域C2a内に含まれる場合であっても、その全体を撮像することができない。
【0035】
これらのフロントカメラC1及びバックカメラC2は、例えばCCDセンサやCMOSセンサ等の撮像素子と、この撮像素子に光を導くための光学系を構成するレンズ等を有して構成される。フロントカメラC1及びバックカメラC2により撮像された撮像情報は、それぞれ選択処理部13へ送られる。本実施形態においては、フロントカメラC1が「第一撮像手段」を構成し、バックカメラC2が「第二撮像手段」を構成する。
【0036】
また、フロントカメラC1により撮像された撮像情報は、天候判別部8へも送られる。天候判別部8では、送られてきたフロントカメラC1の撮像情報を解析し、自車両3の周辺の天候を判別する処理を行う。具体的には、天候判別部8は、道路面の反射光の状態等を検出することにより降雨の状態を検出し、道路面の白い領域の大きさ等を検出することにより降雪の状態を検出することができる。そして、天候判別部8は、このような検出結果に基づいて、晴れ(曇り)、雨、又は雪の判別を行い、その判別結果を天候情報として選択処理部13へ出力する。なお、天候判別部8は、降雨センサからの情報や自車両3のワイパーの作動状況についての情報を取得し、当該情報を天候判別のために使用しても良い。本実施形態においては、この天候判別部8が、自車両3の周辺の天候情報を取得する「天候情報取得手段」を構成する。
【0037】
照度センサ4は、自車両3の周辺の照度、すなわち明るさを検出するセンサである。この照度センサ4は、例えば、フォトトランジスタやフォトダイオード等の受光素子を有して構成される。また、照度センサ4は、図示は省略するが、自車両3のダッシュボード上等に設置される。そして、照度センサ4は、その検出結果を照度情報として選択処理部13へ出力する。本実施形態においては、この照度センサ4が自車両の周辺の明るさ情報を取得する「明るさ情報取得手段」を構成する。また、照度センサ4から出力される照度情報が「明るさ情報」に相当する。
【0038】
そして、これら「天候情報取得手段」を構成する天候判別部8、及び「明るさ情報取得手段」を構成する照度センサ4が、自車両3の周辺状況に関する情報である周辺情報を取得する「周辺情報取得手段20」を構成する。また、これらにより取得される天候情報及び照度情報(明るさ情報)が「周辺情報」に相当する。
【0039】
方位センサ5は、自車両3の進行方位又はその進行方位の変化を検出するセンサである。この方位センサ5は、例えば、ジャイロセンサ、地磁気センサ、ハンドルの回転部に取り付けた光学的な回転センサや回転型の抵抗ボリューム、車輪部に取り付ける角度センサ等により構成される。そして、方位センサ5は、その検出結果を進行方位情報として自車位置認識演算部9及び選択処理部13へ出力する。本実施形態においては、この方位センサ5が、自車両の旋回状態を検出する「旋回状態検出手段」を構成する。
【0040】
車速センサ6は、自車両3の車速又は移動距離を検出するセンサである。この車速センサ6は、例えば、車両のドライブシャフトやホイール等が一定量回転する毎にパルス信号を出力する車速パルスセンサ、自車両3の加速度を検知するヨー・Gセンサ及び検知された加速度を2回積分する回路等により構成される。そして、車速センサ6は、その検出結果を車速情報として自車位置認識演算部9及び選択処理部13へ出力する。本実施形態においては、この車速センサ6が、自車両3の車速情報を取得する「車速情報取得手段」を構成する。
【0041】
そして、これら「旋回状態検出手段」を構成する方位センサ5、及び「車速情報取得手段」を構成する車速センサ6が、自車両3の運動状態に関する情報である運動状態情報を取得する「運動状態情報取得手段21」を構成する。また、これらにより取得される進行方位情報及び車速情報が「運動状態情報」に相当する。
【0042】
GPS受信機7は、GPS(グローバル・ポジショニング・システム)衛星からのGPS信号を受信する装置である。このGPS信号は、通常1秒おきに受信され、自車位置認識演算部9へ出力される。自車位置認識演算部9では、GPS受信機7で受信されたGPS衛星からの信号を解析し、自車の位置(緯度及び経度)、進行方位、移動速度等の情報を取得することができる。
【0043】
自車位置認識演算部9は、方位センサ5から出力される進行方位情報、車速センサ6から出力される車速情報、及びGPS受信機7から出力されるGPS信号に基づいて、公知の方法により自車両3の現在位置や進行方位を特定する演算を行う。また、自車位置認識演算部9は、後述する地図データベースDB1から地図情報を取得し、それに基づいて公知のマップマッチングを行うことにより自車両3の現在位置を地図情報に示される道路上とし、進行方位を道路に沿った方向とする補正も行う。そして、この自車位置認識演算部9は、演算結果である自車両3の現在位置の情報を自車位置情報として、自車両3の進行方位の情報を自車方位情報として、それぞれ認識対象地物抽出部11及び自車位置補正部16へ出力する。この際、自車位置情報は、例えば、緯度及び経度で表された位置の情報として表され、自車方位情報は、例えば、真北を0°とする方位の情報として表される。
【0044】
なお、自車位置認識演算部9により演算された自車位置情報の精度は、方位センサ5、車速センサ6及びGPS受信機7により受信したGPS信号の精度に大きく影響を受ける。このため、自車位置情報は数十m程度の誤差を含んでいる可能性がある。また、自車方位情報については、特に自車両3の走行速度が低いときに誤差が大きくなる場合がある。
本実施形態においては、この自車位置認識演算部9が、自車両3の位置情報を取得する「自車位置情報取得手段」を構成する。
【0045】
地図データベースDB1は、各地の地図情報を格納したデータベースである。図4は、地図情報データベースDB1に格納されている地図情報の内容を示す説明図である。この図に示すように、本実施形態に係る地図情報データベースDB1には、地図情報として、道路ネットワークレイヤL1、道路形状レイヤL2、地物レイヤL3が格納されている。この地図情報データベースDB1は、例えば、ハードディスクドライブ、DVD−ROMを備えたDVDドライブ、CD−ROMを備えたCDドライブ等のように、情報を記憶可能な記録媒体とその駆動手段とを有する装置をハードウエア構成として備えている。
【0046】
道路ネットワークレイヤL1は、道路間の接続情報を示すレイヤである。具体的には、緯度及び経度で表現された地図上の位置情報を有する多数のノードNの情報と、2つのノードNを連結して道路を構成する多数のリンクLの情報とを有して構成されている。また、各リンクLは、そのリンク情報として、道路の種別(高速道路、有料道路、国道、県道等の種別)やリンク長さ等の情報を有している。
道路形状レイヤL2は、道路ネットワークレイヤL1に関連付けられて格納され、道路の形状を示すレイヤである。具体的には、2つのノードNの間(リンクL上)に配置されて緯度及び経度で表現された地図上の位置情報を有する多数の道路形状補完点Sの情報と、各道路形状補完点Sにおける道路幅Wの情報とを有して構成されている。
【0047】
地物レイヤL3は、道路ネットワークレイヤL1及び道路形状レイヤL2に関連付けられて格納され、道路上及び道路の周辺に設けられた各種地物Fの情報、すなわち地物情報が記録されているレイヤである。したがって、本実施形態においては、地図情報データベースDB1の中の地物レイヤL3に格納されている情報が、「地物データベースDB2」を構成する。
【0048】
この地物レイヤL3に地物情報が格納される地物Fは、ペイント系地物Fpと立体系地物Fsとに大別される。ペイント系地物Fpとしては、例えば、横断歩道Fp1や停止線Fp2の他、車線を分ける区画線(実線、破線、二重線等の各種区画線を含む。)、ゼブラゾーン、各レーンの進行方向を指定する進行方向別通行区分表示、速度表示等が含まれる。また、立体系地物Fsとしては、例えば、各種の標識Fs1や信号機Fs2の他、陸橋、遮断機、ガードレール、建物、電柱、看板等の道路上又は道路の周辺に設けられる様々な立体物が含まれる。
【0049】
また、地物レイヤL3に格納される地物情報は、その内容として各地物Fの配置情報、種別情報、形態情報を含んでいる。ここで、配置情報は、各地物Fの地図上の位置(緯度及び経度)及び方向の情報を含んでいる。種別情報は、各地物Fの種別を示す情報であって、具体的には、「横断歩道」や「停止線」等のペイント種別、「最高速度規制標識」や「駐車禁止標識」等の標識種別、「信号機」、「陸橋」等の地物自体の種別等の情報が含まれる。形態情報は、各地物Fの特徴的な形状や色彩等の情報の他、立体系地物Fsの場合には道路面からの高さの情報も含んでいる。
【0050】
地物情報取得部10は、自車位置認識演算部9により演算された自車位置情報に示される自車位置の周辺の地物情報を、地図データベースDB1に含まれる地物データベースDB2から取得する処理を行う。この際、自車位置の周辺の地物情報として、地物情報取得部10は、フロントカメラC1の撮像領域C1a及びバックカメラC2の撮像領域C2aよりも広い範囲内の地物情報を取得すると好適である。例えば、地物情報取得部10は、自車位置の前方30〔m〕の範囲内、及び後方10〔m〕の範囲内にそれぞれ存在する地物Fについての地物情報を取得する。ここで取得される地物情報は、上記のとおり各地物Fについての配置情報、種別情報、形態情報を含んでいる。本実施形態においては、この地物情報取得部11が自車位置の周辺の地物情報を取得する「地物情報取得手段」を構成する。
【0051】
認識対象地物抽出部11は、自車位置認識演算部9により演算された自車位置情報及び自車方位情報と、地物情報取得部10により取得された地物情報に含まれる各地物Fの配置情報とに基づいて、フロントカメラC1及びバックカメラC2のそれぞれの撮像領域C1a、C2a内に含まれる画像認識の対象となり得る認識対象地物Fを抽出する処理を行う。具体的には、自車両3を基準とするフロントカメラC1の撮像領域C1a及びバックカメラC2の撮像領域C2aは予め分かっている。そこで、認識対象地物抽出部11は、自車位置認識演算部9により演算された自車位置情報及び自車方位情報に表される位置及び方位を自車両3の位置及び方位として地図上におけるフロントカメラC1及びバックカメラC2のそれぞれの撮像領域C1a、C2aを演算する。そして、認識対象地物抽出部11は、地物情報に含まれる各地物Fの配置情報に基づいて各撮像領域C1a、C2a内に含まれる1又は2以上の画像認識の対象となり得る地物F、すなわち認識対象地物Fを抽出する。なお、以下の説明においては、各撮像領域C1a、C2a内に含まれる地物Fについて、特に認識対象地物Fという名称を用いることとする。
【0052】
地物分類処理部12は、フロントカメラC1の撮像領域C1a及びバックカメラC2の撮像領域C2aのそれぞれに含まれる各認識対象地物Fについて、地物情報に含まれる各認識対象地物Fの種別情報に従って各認識対象地物Fがペイント系地物Fpか立体系地物Fsかを分類する処理を行う。具体的には、地物情報に含まれる種別情報には、上記のとおり、「横断歩道」、「停止線」、「最高速度規制標識」、「駐車禁止標識」、「信号機」、「陸橋」等の各地物Fの具体的な種別の情報が含まれている。そこで、地物分類処理部12は、これらの各地物Fの具体的な種別をペイント系と立体系とに分けて規定した分類テーブル等を用いて、各認識対象地物Fをペイント系地物Fpと立体系地物Fsとに分類する処理を行う。
【0053】
選択処理部13は、必要な撮像情報を取得するための選択規則に従い、フロントカメラC1及びバックカメラC2のいずれか一方を選択し、その撮像情報を取得する処理を行う。本実施形態においては、選択処理部13は、認識対象地物抽出部11による認識対象地物Fの抽出結果、地物分類処理部12による各認識対象地物Fの分類結果、方位センサ5から出力される進行方位情報に基づく自車両3の旋回状態、車速センサ6から出力される車速情報、天候判別部8から出力される天候情報、及び照度センサ4から出力される照度情報に基づいて、選択規則に従いカメラの選択を行う。この選択処理部13における選択規則は、各カメラ(フロントカメラC1及びバックカメラC2)のそれぞれの撮像方向に起因する特性に応じて定められており、具体的には以下のように規定されている。
【0054】
(1)認識対象地物抽出部11による認識対象地物Fの抽出結果に基づいて、その撮像領域C1a、C2a内に認識対象地物Fが存在するカメラの中から一つを選択する。したがって、フロントカメラC1の撮像領域C1aとバックカメラC2の撮像領域C2aの一方のみに認識対象地物Fが存在する場合には、当該一方のカメラを選択する。フロントカメラC1の撮像領域C1aとバックカメラC2の撮像領域C2aの双方に認識対象地物Fが存在する場合には、他の条件に基づいていずれか一方のカメラを選択する。フロントカメラC1の撮像領域C1aとバックカメラC2の撮像領域C2aの双方に認識対象地物Fが含まれない場合には、いずれのカメラも選択しない。
【0055】
(2)地物分類処理部12による各認識対象地物Fの分類結果に基づいて、バックカメラC2の撮像領域C2aに含まれる認識対象地物Fが立体系地物Fsのみである場合には、バックカメラC2を選択対象から除外する。すなわち、バックカメラC2は、上記のとおり、フロントカメラC1よりも撮像方向が下方に設定されており、ペイント系地物Fpは撮像されるが立体系地物Fsは撮像されない。したがって、バックカメラC2の撮像領域C2aに含まれる認識対象地物Fが立体系地物Fsのみである場合には、バックカメラC2を選択せず、フロントカメラC1の撮像領域C1a内に認識対象地物Fが存在する場合にはフロントカメラC1を選択する。この際、フロントカメラC1の撮像領域C1a内に認識対象地物Fが存在しない場合には、いずれのカメラも選択しない。
【0056】
(3)方位センサ5から出力される進行方位情報から取得される自車両3の旋回状態に基づいて、自車両3が旋回中である場合には、フロントカメラC1を選択対象から除外する。すなわち、フロントカメラC1は、自車両3の前方の水平に近い方向を撮像するように撮像方向が設定されている。このため、図5に示すように、旋回中は、フロントカメラC1の撮像方向は自車両3の進行方向Pに対して外側にずれることになり、自車両3の進行方向Pに存在する地物F(図5に示す例では、横断歩道Fp1)を撮像領域C1a内に適切に納めることができない。一方、バックカメラC2は、自車両3の後方の比較的近い位置の道路面を撮像するように撮像方向が設定されているので、旋回中も自車両3の走行軌跡上に存在する地物Fを確実に撮像することが可能である。したがって、自車両3の旋回中は、バックカメラC2の撮像領域C2a内に認識対象地物Fが存在する場合にはバックカメラC2を選択する。この際、バックカメラC2の撮像領域C2a内に認識対象地物Fが存在しない場合には、いずれのカメラも選択しない。
【0057】
自車両3が旋回中であるか否かの判断は、例えば、方位センサ5から出力される進行方位情報に基づく自車両3の進行方位の単位時間当りの変化量、具体的には旋回角速度に基づいて行うことができる。すなわち、旋回角速度が所定の閾値以上である場合に旋回中と判定し、所定の閾値以下である場合に旋回中でないと判定することにより行うことができる。本例では、自車両3が旋回中である状態は、交差点での進路変更等のように大きく進行方位を変更している際の状態とする。したがって、旋回角度の閾値は、そのような交差点での進路変更等の際における自車両3の旋回角速度に基づいて決定される。
【0058】
(4)上記(1)〜(3)の選択規則によってもフロントカメラC1及びバックカメラC2の一方が選択されない場合には、車速センサ6から出力される車速情報、天候判別部8から出力される天候情報、及び照度センサ4から出力される照度情報に基づいて、フロントカメラC1又はバックカメラC2の一方を、所定の選択基準に従って選択する。この際の選択基準は、天候情報に関して天候が悪いほど、照度情報に関して照度が低い(暗い)ほど、車速情報に関して車速が高いほど、フロントカメラC1を選択する場合が多くなるように定められている。本実施形態においては、天候、照度、車速の状態を総合的に表すパラメータとして状況コストZを演算し、この状況コストZが所定の判断閾値K以上か判断閾値K未満かによって、フロントカメラC1及びバックカメラC2のいずれか一方を選択するという選択基準を用いることとする。なお、上記「状況コストZ」は、後述する第一状況コストZ1及び第二状況コストZ2の総称であり、上記「判断閾値K」は、後述する第一判断閾値K1及び第二判断閾値K2の総称である。
【0059】
本実施形態においては、フロントカメラC1の撮像領域C1a内に立体系地物Fsが含まれるか否かにより、含まれる場合には天候、照度及び車速の状態を総合的に表すパラメータとして第一状況コストZ1を演算し、含まれない場合には天候を除く照度及び車速の状態を総合的に表すパラメータとして第二状況コストZ2を演算して、それぞれ第一判断閾値K1又は第二判断閾値K2との比較により一方のカメラを選択する処理を行うこととしている。これは、天候が雨や雪の場合には、道路面が濡れていることによる光の反射や道路面に雪が積もっていることにより、ペイント系地物Fpの認識率が非常に悪くなるのに対して、立体系地物Fsは雨や雪の影響を受けにくいことを考慮したものである。そこで、本実施形態においては、フロントカメラC1の撮像領域C1a内に立体系地物Fsが存在する場合には、天候情報を考慮にいれて天候が悪いほど、すなわち雨や雪の場合ほどフロントカメラC1が選択される場合が多くなるように選択基準を定める。一方、フロントカメラC1の撮像領域C1a内に立体系地物Fsが存在しない場合、すなわちフロントカメラC1の撮像領域C1a内及びバックカメラC2の撮像領域C2a内の双方にペイント系地物Fpのみが存在する場合には、天候によるフロントカメラC1とバックカメラC2との差が生じないため、天候情報を考慮に入れず、他の情報によりカメラ選択を行うように選択基準を定める。
【0060】
また、フロントカメラC1は自車両3の前方を撮像するため、その撮像領域C1a内の地物Fは、周囲が暗い場合には自車両3のヘッドライトの明かりにより照らされることになるのに対して、バックカメラC2の撮像領域C2aはそのような明かりを得ることができない。そこで、本実施形態においては、照度情報に関して照度が低い(暗い)ほど、フロントカメラC1が選択される場合が多くなるように選択基準を定める。
【0061】
また、フロントカメラC1は、自車両3の前方の広い領域を撮像領域C1aとしているため、自車両3の車速が高い場合においても同一の地物Fを長い時間撮像することが可能であり、同一地物Fの撮像フレーム数が多くなる。これに対して、バックカメラC2は、フロントカメラC1の撮像領域C1aよりも狭い領域を撮像領域C2aとしているので、自車両3の車速が高い場合には、同一の地物Fを撮像することができる時間がフロントカメラC1よりも短く、同一地物Fの撮像フレーム数が少なくなる。そして、画像認識処理部14における地物Fの画像認識の認識率は、同一地物Fの撮像フレーム数が多いほど高くなる傾向がある。そこで、本実施形態においては、車速情報に関して自車両3の車速が高いほど、フロントカメラC1が選択される場合が多くなるように選択基準を定める。
【0062】
そこで、状況コストZ(第一状況コストZ1、第二状況コストZ2)は、具体的には以下のように演算される。すなわち、本実施形態においては、天候、照度、車速のそれぞれについて重み係数、すなわち天候重みY1、照度重みY2、車速重みY3を設定している。ここで、重み係数は、天候重みY1>照度重みY2>車速重みY3となるように設定する。例えば、天候重みY1=1.4、照度重みY2=1.0、車速重みY3=0.8等として設定する。また、天候、照度、車速のそれぞれに対してその内容に応じたパラメータ値、すなわち天候パラメータ値x1、照度パラメータ値x2、車速パラメータ値x3を付与する。ここで、これらのパラメータ値は、天候、照度、車速の状態を共通の指標で表すように設定する。例えば、天候パラメータ値x1は、晴れ(曇りを含む)は「10」、雨は「3」、雪は「1」の値を付与する。また、照度パラメータ値x2は、照度に応じて「10」〜「1」の範囲内で照度が高いほど大きい値を付与する。同様に、車速パラメータ値x3は、車速に応じて「10」〜「1」の範囲内で車速が低いほど大きい値を付与する。
【0063】
第一状況コストZ1は、天候、照度及び車速の全てについての重み係数及びパラメータ値を用いて、以下の式(1)に従って演算する。
Z1=Y1×x1+Y2×x2+Y3×x3・・・(1)
そして、第一状況コストZ1が、第一判断閾値K1以上である場合(Z1≧K1)にバックカメラC2を選択し、第一判断閾値K1未満である場合(Z1<K1)にフロントカメラC1を選択する。ここで、第一判断閾値K1の値は、フロントカメラC1とバックカメラC2のいずれを選択しても地物Fの認識率及び認識された地物との間の距離認識精度についての優劣が生じない境界付近に設定するのが好適であり、例えば、K1=15とする。
【0064】
また、第二状況コストZ2は、天候を除く照度及び車速についての重み係数及びパラメータ値を用いて、以下の式(2)に従って演算する。
Z2=Y2×x2+Y3×x3・・・(2)
そして、第二状況コストZ2が、第二判断閾値K2以上である場合(Z2≧K2)にバックカメラC2を選択し、第二判断閾値K2未満である場合(Z2<K2)にフロントカメラC1を選択する。ここで、第二判断閾値K2の値は、フロントカメラC1とバックカメラC2のいずれを選択しても地物Fの認識率及び認識された地物との間の距離認識精度についての優劣が生じない境界付近に設定するのが好適であり、例えば、K2=10とする。
【0065】
以上の選択規則に従った選択処理部13によるカメラ選択処理については、後に図7に示すフローチャートに基づいて詳細に説明する。なお、本実施形態においては、この選択処理部13が「選択手段」を構成する。
【0066】
画像認識処理部14は、選択処理部13により選択されたフロントカメラC1及びバックカメラC2のいずれか一方から取得された撮像情報に対して、当該撮像情報に含まれる地物Fの画像認識処理を行う画像認識手段である。具体的には、画像認識処理部14は、二値化処理やエッジ抽出処理等による輪郭抽出の後、パターン認識処理等により、撮像情報の中から地物Fの画像を抽出する処理を行う。このパターン認識処理等の際には、認識対象地物抽出部11により抽出された認識対象地物Fの地物情報に含まれる形態情報が参照される。
【0067】
位置関係演算部15は、選択処理部13により選択されたフロントカメラC1及びバックカメラC2のいずれか一方からの撮像情報に含まれる地物Fの画像認識処理部14による認識結果に基づいて、自車両3と認識された地物Fとの位置関係を求める演算を行う。具体的には、フロントカメラC1又はバックカメラC2の自車両3での搭載位置及び撮像方向に基づいて、撮像情報を構成する画像中の各位置と自車両3との位置関係は定まる。したがって、位置関係演算部15は、撮像情報を構成する画像中の地物Fの配置に基づいて、自車両3と地物Fとの位置関係、具体的には距離及び方向を求める演算を行う。本実施形態においては、この位置関係演算部15が「位置関係演算手段」を構成する。
【0068】
自車位置補正部16は、位置関係演算部15による演算結果としての自車両3と地物Fとの位置関係と、当該地物Fについての地物情報取得部10により地物データベースDB2から取得した地物情報に含まれる配置情報とに基づいて、自車位置認識演算部9で演算された自車位置情報を補正する処理を行う。すなわち、位置関係演算部15による演算結果から、自車両3と地物Fとの位置関係が定まる。また、位置関係演算部15により自車両3との位置関係が演算された地物Fについての地物情報に含まれる配置情報は、当該地物Fの地図上の正確な位置(緯度及び経度)を示している。したがって、これらの情報に基づいて、地物Fの地図上の正確な位置を基準とする自車両3の正確な位置を演算することができる。そして、自車位置補正部16は、この自車両3の正確な位置の演算結果に基づいて、自車位置認識演算部9で演算された自車位置情報を補正する。これにより、自車両3の位置を高精度に特定することができる。本実施形態においては、この自車位置補正部16が「自車位置補正手段」を構成する。この補正後の自車位置情報は、図示しないナビゲーション装置や車両制御装置に出力され、高精度の自車位置表示や操舵や加減速等といった自車両3の走行制御等に利用される。
【0069】
2.動作処理
次に、本実施形態に係る画像認識装置1を備えた自車位置認識装置2による画像認識方法及び自車位置認識方法の各工程について、図6及び図7に示すフローチャートに基づいて詳細に説明する。図6は、自車位置認識装置2による自車位置認識方法の全体の処理の流れを示すフローチャートであり、図7は、図6のステップ#07のカメラ選択処理の詳細を示すフローチャートである。なお、図6のステップ#01〜#09が、本実施形態に係る画像認識装置1による画像認識方法に相当する。
【0070】
図6に示すように、自車位置認識装置2は、まず、マップマッチング中か否かを判断する(ステップ#01)。マップマッチング中でない状態では(ステップ#01:NO)、自車位置を特定できておらず、道路に沿った地物情報を取得することができないので、処理はそのまま終了する。そして、マップマッチング中である状態で(ステップ#01:YES)、自車位置認識演算部9により演算される自車位置情報及び自車方位情報を取得する(ステップ#02)。次に、地物情報取得部10により、ステップ#02で取得された自車位置情報に示される自車位置の周辺の地物情報を、地図データベースDB1に含まれる地物データベースDB2から取得する(ステップ#03)。その後、認識対象地物抽出部11において、フロントカメラC1及びバックカメラC2のそれぞれの撮像領域C1a、C2a内に含まれる認識対象地物Fを抽出する(ステップ#04)。この処理は、ステップ#02で取得された自車位置情報及び自車方位情報と、ステップ#03で取得された地物情報に含まれる各地物Fの配置情報とに基づいて行う。
【0071】
ここで、撮像領域C1a、C2a内に含まれる認識対象地物Fが存在しない場合には(ステップ#05:NO)、地物Fの画像認識を行うことができないので、処理を終了する。そして、撮像領域C1a、C2a内に含まれる認識対象地物Fが存在する場合には(ステップ#05:YES)、次に、地物分類処理部12において、認識された1又は2以上の認識対象地物Fのそれぞれを立体系地物Fsとペイント系地物Fpとに分類する(ステップ#06)。その後、選択処理部13においてカメラ選択処理を行う(ステップ#07)。このカメラ選択処理については、後に図7に示すフローチャートに基づいて詳細に説明する。
【0072】
カメラ選択処理(ステップ#07)の結果、いずれのカメラも選択されなかった場合には(ステップ#08:NO)、処理は終了する。そして、フロントカメラC1及びバックカメラC2のいずれかのカメラが選択された場合には(ステップ#08:YES)、画像認識処理部14において、当該選択されたカメラの撮像情報に対して、当該撮像情報に含まれる地物Fの画像認識処理を行う(ステップ#09)。次に、位置関係演算部15により、自車両3と認識された地物Fとの位置関係を演算する(ステップ#10)。この処理は、ステップ#09による地物Fの画像認識結果に基づいて行う。そして、自車位置補正部16において、自車位置認識演算部9で演算された自車位置情報を補正する(ステップ#11)。この処理は、ステップ#10の演算結果としての自車両3と地物Fとの位置関係と、ステップ#03で地物データベースDB2から取得した地物情報に含まれる、当該地物Fについての配置情報とに基づいて行う。その後、補正後の自車位置情報を、ナビゲーション装置や車両制御装置等に対して出力する(ステップ#12)。これにより、処理は終了する。
【0073】
次に、図6のステップ#07のカメラ選択処理の詳細について図7のフローチャートに基づいて説明する。なお、このカメラ選択処理は、選択処理部13において上記選択規則に従って行う。
【0074】
まず、ステップ#04の抽出結果に基づいて、フロントカメラC1及びバックカメラC2のそれぞれの撮像領域C1a、C2a内に、認識対象地物Fが存在するか否かについて判断する。この判断は、認識対象地物FがフロントカメラC1の撮像領域C1a内にのみ存在する場合(ステップ#21:フロントカメラ)、認識対象地物FがバックカメラC2の撮像領域C2a内にのみ存在する場合(ステップ#21:バックカメラ)、認識対象地物FがフロントカメラC1及びバックカメラC2の両方の撮像領域C1a及びC2aに存在する場合(ステップ#21:両方)のいずれかを判別することにより行う。そして、上記選択規則(1)で説明したとおり、認識対象地物FがフロントカメラC1の撮像領域C1a内にのみ存在する場合には(ステップ#21:フロントカメラ)、フロントカメラC1を選択する(ステップ#31)。一方、認識対象地物FがバックカメラC2の撮像領域C2a内にのみ存在する場合には(ステップ#21:バックカメラ)、ステップ#06の分類結果に基づいて、その撮像領域C2a内にペイント系地物Fpを含むか否かについて判定する。そして、撮像領域C2a内にペイント系地物Fpを含む場合には(ステップ#22:YES)、バックカメラC2を選択する(ステップ#30)。上記選択規則(2)で説明したとおり、撮像領域C2a内にペイント系地物Fpを含まない場合、すなわち、撮像領域C2a内に立体系地物Fsのみが含まれる場合には(ステップ#22:NO)、いずれのカメラも選択せず、処理は終了する。これは、上記のとおり、本実施形態においては、バックカメラC2には立体系地物Fsは撮像されない設定となっているからである。
【0075】
認識対象地物FがフロントカメラC1及びバックカメラC2の両方の撮像領域C1a及びC2aに存在する場合には(ステップ#21:両方)、自車両3及びその周辺の状況に応じて一方のカメラを選択する処理を行う。具体的には、まず、ステップ#06の分類結果に基づいて、バックカメラC2の撮像領域内にペイント系地物Fpが含まれるか否かについて判断する(ステップ#23)。そして、上記選択規則(2)で説明したとおり、撮像領域C2a内にペイント系地物Fpを含まない場合、すなわち、撮像領域C2a内に立体系地物Fsのみが含まれる場合には(ステップ#22:NO)、フロントカメラC1を選択する(ステップ#31)。これは、上記のとおり、本実施形態においては、バックカメラC2には立体系地物Fsは撮像されない設定となっているからである。
【0076】
一方、バックカメラC2の撮像領域内にペイント系地物Fpが含まれる場合には(ステップ#23:YES)、次に、方位センサ5から出力される進行方位情報に基づいて、自車両3が旋回中か否かについて判断する(ステップ#24)。上記選択規則(3)で説明したとおり、自車両3が旋回中である状態は、本例では、交差点での進路変更等のように大きく進行方位を変更している際の状態である。そして、自車両3が旋回中である場合には(ステップ#24:YES)、バックカメラC2を選択する(ステップ#30)。これは、上記のとおり、旋回中は、フロントカメラC1の撮像方向が自車両3の進行方向Pに対して外側にずれるのに対して、バックカメラC2は、旋回中も自車両3の走行軌跡上に存在する地物Fを確実に撮像することが可能であることによる。
【0077】
自車両3が旋回中でない場合には(ステップ#24:YES)、車速センサ6から出力される車速情報、天候判別部8から出力される天候情報、及び照度センサ4から出力される照度情報に基づいて、上記選択規則(4)で説明したとおり、状況コストZ(第一状況コストZ1、第二状況コストZ2)を演算し、それと所定の判断閾値K(第一判断閾値K1、第二判断閾値K2)との関係に基づいてカメラの選択を行う。
【0078】
そこで、第一状況コストZ1と第二状況コストZ2のいずれを用いるかを決定するために、フロントカメラC1の撮像領域C1a内に立体系地物Fsが含まれるか否かを判断する(ステップ#25)。そして、フロントカメラC1の撮像領域C1a内に立体系地物Fsが含まれる場合には、第一状況コストZ1を演算し(ステップ#26)、その演算結果としての第一状況コストZ1が第一判断閾値K1以上である(Z1≧K1)か否かについて判断する(ステップ#27)。そして、第一状況コストZ1が第一判断閾値K1以上である場合(ステップ#27:YES)にはバックカメラC2を選択し(ステップ#30)、第一判断閾値K1未満である場合(ステップ#27:NO)にはフロントカメラC1を選択する(ステップ#31)。これにより、天候情報に関して天候が悪いほど、照度情報に関して照度が低い(暗い)ほど、車速情報に関して車速が高いほど、フロントカメラC1を選択する場合が多くなる。
【0079】
一方、フロントカメラC1の撮像領域C1a内に立体系地物Fsが含まれない場合には、第二状況コストZ2を演算し(ステップ#28)、その演算結果としての第二状況コストZ2が第二判断閾値K2以上である(Z2≧K2)か否かについて判断する(ステップ#29)。そして、第二状況コストZ2が第二判断閾値K2以上である場合(ステップ#29:YES)にはバックカメラC2を選択し(ステップ#30)、第二判断閾値K2未満である場合(ステップ#29:NO)にはフロントカメラC1を選択する(ステップ#31)。これにより、照度情報に関して照度が低い(暗い)ほど、車速情報に関して車速が高いほど、フロントカメラC1を選択する場合が多くなる。以上でカメラ選択処理は終了する。
【0080】
3.その他の実施形態
(1)上記の実施形態においては、方位センサ5が自車両の旋回状態を検出する「旋回状態検出手段」を構成し、車速センサ6が、自車両3の車速情報を取得する「車速情報取得手段」を構成する場合について説明した。ところで、GPS受信機7及びGPS受信機7で受信された信号を解析する自車位置認識演算部9によっても、自車両3の進行方位情報及び車速情報を取得することができる。したがって、これらの情報を選択処理部13へ出力する構成とすることにより、方位センサ5及び車速センサ6に加えて、或いはこれらとは別に、GPS受信機7及び自車位置認識演算部9が「旋回状態検出手段」及び「車速情報取得手段」(すなわち「運動状態情報取得手段」)を構成するようにすることも好適な実施形態の一つである。
【0081】
(2)上記の実施形態においては、認識対象地物抽出部11は、自車位置認識演算部9により演算された自車位置情報及び自車方位情報の双方を用いてフロントカメラC1及びバックカメラC2のそれぞれの撮像領域C1a、C2a内に含まれる認識対象地物を抽出する処理を行う場合について説明した。しかし、認識対象地物抽出部11が、自車方位情報を用いず、自車方位は道路に沿った方向として自車位置情報と地物情報に含まれる各地物Fの配置情報とに基づいて、認識対象地物を抽出する処理を行うことも好適な実施形態の一つである。
【0082】
(3)上記の実施形態においては、地物データベースDB2は地図データベースDB1の中の地物レイヤL3に格納されている情報により構成される場合を例として説明した。しかし、地物データベースDB2の構成はこのようなものに限定されず、例えば、地物データベースDB2を地図データベースDB1とは独立して備える構成とすることも好適な実施形態の一つである。
【0083】
(4)上記の実施形態においては、撮像手段として、フロントカメラC1とバックカメラC2の2個を備える場合を例として説明した。しかし、本発明の適用範囲はこれに限定されない。すなわち、3個以上のカメラ(撮像手段)を備える構成とすることも好適な実施形態の一つである。また、2個又は3個以上のカメラを備える場合において、複数のカメラの平面上の撮像方向が同一であって上下方向のみが異なる撮像方向に設置された構成とすることも好適な実施形態の一つである。そして、その場合においても、選択手段としての選択処理部13は、必要な撮像情報を取得するために複数のカメラのそれぞれの撮像方向に起因する特性に応じて定められた選択規則に従い、複数のカメラの一つを選択して撮像情報を取得する処理を行う。この際の選択規則は、各カメラの撮像方向に起因する特性に応じて、基本的に上記の実施形態と同様に定めることができる。
【産業上の利用可能性】
【0084】
本発明は、複数の撮像手段を備える車両の画像認識装置及びそれを用いた自車位置認識装置に好適に用いることができる。
【図面の簡単な説明】
【0085】
【図1】本発明の実施形態に係る画像認識装置を備えた自車位置認識装置の概略構成を示すブロック図
【図2】自車両に設置されたカメラの撮像領域を示す側面図
【図3】自車両に設置されたカメラの撮像領域を示す平面図
【図4】地図情報データベースに格納されている地図情報の内容を示す説明図
【図5】交差点で旋回中の自車両におけるカメラの撮像領域を示す平面図
【図6】本発明の実施形態に係る自車位置認識装置による自車位置認識方法の全体の処理の流れを示すフローチャート
【図7】図6のステップ#07のカメラ選択処理の詳細を示すフローチャート
【符号の説明】
【0086】
1:画像認識装置
2:自車位置認識装置
3:自車両
4:照度センサ(明るさ情報取得手段)
5:方位センサ(旋回状態検出手段)
6:車速センサ(車速情報取得手段)
8:天候判別部(天候情報取得手段)
9:自車位置認識演算部(自車位置情報取得手段)
10:地物情報取得部(地物情報取得手段)
13:選択処理部(選択手段)
14:画像認識処理部
15:位置関係演算部(位置関係演算手段)
16:自車位置補正部(自車位置補正手段)
20:周辺情報取得手段
21:運動状態情報取得手段
C1:フロントカメラ(第一撮像手段)
C1a:フロントカメラの撮像領域
C2:バックカメラ(第二撮像手段)
C2a:バックカメラの撮像領域
F:地物
Fp:ペイント系地物
Fs:立体系地物
DB1:地図データベース
DB2:地物データベース

【特許請求の範囲】
【請求項1】
自車両に設置され、互いに異なる方向をそれぞれ撮像する複数の撮像手段を備え、前記自車両の周辺に存在する地物の画像認識を行う画像認識装置であって、
前記自車両の位置情報を取得する自車位置情報取得手段と、
前記自車位置情報に基づいて、自車位置の周辺の地物情報を所定の地物データベースから取得する地物情報取得手段と、
必要な撮像情報を取得するための選択規則に従い、前記自車位置情報及び前記地物情報に基づいて前記複数の撮像手段の一つを選択する選択手段と、
を備える画像認識装置。
【請求項2】
前記選択手段は、前記自車位置情報と前記地物情報に含まれる各地物の配置情報とを用いて、前記複数の撮像手段のそれぞれの撮像領域内に含まれる画像認識の対象となり得る認識対象地物を抽出した結果に基づいて、前記選択規則に従い、前記撮像領域内に認識対象地物が存在する撮像手段の中から一つを選択する請求項1に記載の画像認識装置。
【請求項3】
前記自車両の運動状態に関する情報である運動状態情報を取得する運動状態情報取得手段、及び前記自車両の周辺状況に関する情報である周辺情報を取得する周辺情報取得手段の一方又は双方を更に備え、
前記選択手段は、前記自車位置情報及び前記地物情報に加えて、前記運動状態情報及び前記周辺情報の一方又は双方に基づいて、前記選択規則に従い、前記複数の撮像手段の一つを選択する請求項1又は2に記載の画像認識装置。
【請求項4】
前記複数の撮像手段として、前記自車両の前方を撮像する第一撮像手段と、この第一撮像手段よりも撮像方向が下方に設定された第二撮像手段と、を備え、
前記選択手段は、前記自車位置情報と前記地物情報に含まれる各地物の配置情報とを用いて、前記第一撮像手段及び前記第二撮像手段のそれぞれの撮像領域内に含まれる画像認識の対象となり得る認識対象地物を抽出した結果に基づいて、前記選択規則に従い、前記撮像領域内に前記認識対象地物が存在する前記撮像手段の中から一つを選択する請求項1に記載の画像認識装置。
【請求項5】
前記選択手段は、前記地物情報に含まれる各地物の種別情報に従って前記各地物がペイント系地物か立体系地物かを分類した結果に基づいて、前記第二撮像手段の撮像領域に含まれる前記認識対象地物が前記立体系地物のみである場合には、前記第二撮像手段を選択対象から除外する請求項4に記載の画像認識装置。
【請求項6】
前記自車両の旋回状態を検出する旋回状態検出手段を更に備え、
前記選択手段は、前記自車両が旋回中である場合には、前記第一撮像手段を選択対象から除外する請求項4に記載の画像認識装置。
【請求項7】
前記自車両の周辺の天候情報を取得する天候情報取得手段、前記自車両の周辺の明るさ情報を取得する明るさ情報取得手段、及び前記自車両の車速情報を取得する車速情報取得手段のいずれか一つ以上を更に備え、
前記選択手段は、前記第一撮像手段の撮像領域と前記第二撮像手段の撮像領域の双方に前記認識対象地物が存在する場合には、前記天候情報、前記明るさ情報、及び前記車速情報のいずれか一つ以上に基づいて、前記選択規則に従い、前記第一撮像手段及び前記第二撮像手段の一方を選択する請求項4に記載の画像認識装置。
【請求項8】
前記選択手段は、前記天候情報に関して天候が悪いほど、前記明るさ情報に関して暗いほど、前記車速情報に関して車速が高いほど、前記第一撮像手段を選択する場合が多くなるように定められた前記選択規則を有している請求項7に記載の画像認識装置。
【請求項9】
上記請求項1から8のいずれか一項に記載の画像認識装置を備えた自車位置認識装置であって、
前記選択手段により選択された撮像手段からの撮像情報に含まれる地物の認識結果に基づいて、自車位置と前記地物との位置関係を演算する位置関係演算手段と、
前記位置関係演算手段による演算結果と、前記地物データベースから取得した前記地物情報に含まれる前記地物の配置情報と、に基づいて前記自車位置情報を補正する自車位置補正手段と、
を備える自車位置認識装置。
【請求項10】
自車両に設置され、互いに異なる方向をそれぞれ撮像する複数の撮像手段を用いて、前記自車両の周辺に存在する地物の画像認識を行う画像認識方法であって、
前記自車両の位置情報を取得する自車位置情報取得ステップと、
前記自車位置情報に基づいて、自車位置の周辺の地物情報を所定の地物データベースから取得する地物情報取得ステップと、
必要な撮像情報を取得するための選択規則に従い、前記自車位置情報及び前記地物情報に基づいて前記複数の撮像手段の一つを選択する選択ステップと、
を備える画像認識方法。
【請求項11】
上記請求項10に記載の画像認識方法を含む自車位置認識方法であって、
前記選択ステップにより選択された撮像手段からの撮像情報に含まれる地物の認識結果に基づいて、自車位置と前記地物との位置関係を演算する位置関係演算ステップと、
前記位置関係演算ステップによる演算結果と、前記地物データベースから取得した前記地物情報に含まれる前記地物の配置情報と、に基づいて前記自車位置情報を補正する自車位置補正ステップと、
を備える自車位置認識方法。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate


【公開番号】特開2007−147564(P2007−147564A)
【公開日】平成19年6月14日(2007.6.14)
【国際特許分類】
【出願番号】特願2005−345994(P2005−345994)
【出願日】平成17年11月30日(2005.11.30)
【出願人】(000100768)アイシン・エィ・ダブリュ株式会社 (3,717)
【Fターム(参考)】