地物情報学習システム、地物情報学習プログラム及び地物情報学習方法
【課題】画像認識を実施する時点における日照の状況も効果的に反映して、画像認識を行うために、画像認識する際の日射の影響を示す情報を含む地物情報を整備する。
【解決手段】地物のそれぞれについて、地物と日陰との関係を示す情報である地物日陰情報を演算し、日陰と日向とのコントラストを示すコントラスト情報を取得し、地物日陰情報とコントラスト情報とを含む日照要因情報と、撮影画像に含まれる地物の画像認識を行なう画像認識部による画像認識結果とを関連付けて学習データベースに記憶し、学習データベースに記憶された情報に基づいて、地物のそれぞれについての、日照による画像認識への影響の度合いを示す日照特性情報を生成し、地物のそれぞれについての地物情報を構成する情報として格納する。
【解決手段】地物のそれぞれについて、地物と日陰との関係を示す情報である地物日陰情報を演算し、日陰と日向とのコントラストを示すコントラスト情報を取得し、地物日陰情報とコントラスト情報とを含む日照要因情報と、撮影画像に含まれる地物の画像認識を行なう画像認識部による画像認識結果とを関連付けて学習データベースに記憶し、学習データベースに記憶された情報に基づいて、地物のそれぞれについての、日照による画像認識への影響の度合いを示す日照特性情報を生成し、地物のそれぞれについての地物情報を構成する情報として格納する。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、画像認識の対象となる地物に関する情報である地物情報を学習する地物情報学習システム、地物情報学習プログラム及び地物情報学習方法に関する。
【背景技術】
【0002】
人や車両などの進路を案内するナビゲーションシステムが、広く活用されている。このようなナビゲーションシステムでは、GPS(global positioning system)を利用した測量により得られた位置情報や、デッドレコニング(Dead-Reckoning)技術を利用して得られた相対的な位置情報を用いて進路を案内する。また、GPSを利用した測量やデッドレコニングにより得られる位置情報に含まれる誤差を抑制し、位置情報のさらなる精度向上を狙って、画像処理により位置情報が演算される場合がある。例えば、予め存在位置が把握されている路上のペイント(道路標示)や看板、標識などの地物を、撮影画像中から画像認識することによって位置情報が演算される。特開2008−299650号公報(特許文献1)には、そのような地物を画像認識することによって高精度な自位置情報を取得し、この高精度な自位置情報に基づいて経路案内等のナビゲーション処理を行うナビゲーションシステムが例示されている(第67段落等)。
【0003】
但し、一般的に画像認識には比較的高い演算負荷を要するため、撮影画像中に存在すると想定される全ての地物を画像認識することは現実的ではない。そこで、特許文献1では、画像認識処理に用いるのに適した地物を適切に選定(抽出)することによって、誤認識を抑制すると共に効率的に画像認識を行うようにしている(第5段落、要約等)。例えば、かすれがひどく画像認識に適さない地物や、画像認識の成功確率を示す認識率が低い地物を除外して、最も認識しやすい地物が選定される(第102〜204段落等)。しかし、画像認識では、認識対象となる画像の明るさの違いなど、例えば日照による認識結果への影響も小さくはない。従って、画像認識を実施する時点における日照の状況等を考慮すれば、上記地物とは異なる地物の方が、画像認識の対象として最適な場合も有り得る。この点に鑑みて、予め存在が把握されている複数の地物の中から画像認識の対象とする対象地物を選定するに際して、画像認識処理を実施する時点における日射の状況も効果的に反映して、より最適な対象地物を選定すると好適である。そして、対象地物の選定に際して、日射の状況も効果的に反映するためには、各地物において当該地物を画像認識する際の日射の影響を示す情報を含む地物情報を整備することが望ましい。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開2008−299650号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
上記背景に鑑みて、画像認識を実施する時点における日照の状況も効果的に反映して、画像認識を行うために、画像認識する際の日射の影響を示す情報を含む地物情報を整備する技術が望まれる。
【課題を解決するための手段】
【0006】
画像認識の対象となる地物に関する情報である地物情報を学習する地物情報学習システムであって、
撮影画像を取得する撮影画像取得部と、
前記撮影画像に含まれる前記地物の画像認識を行なう画像認識部と、
少なくとも地物が全て日陰に含まれる日陰状態、地物が全て日向に含まれる日向状態、地物の一部が日陰に含まれる部分日陰状態を区別可能な情報であり、前記地物のそれぞれについて、当該地物と日陰との位置関係を示す情報である地物日陰情報を演算する地物日陰情報演算部と、
日陰と日向とのコントラストを示すコントラスト情報を取得するコントラスト情報取得部と、
前記地物日陰情報と前記コントラスト情報とを含む日照要因情報と、前記画像認識部による前記地物の画像認識結果とを関連付けて学習データベースに記憶する学習記憶部と、
前記学習データベースに記憶された情報に基づいて、前記地物のそれぞれについての、日照による画像認識への影響の度合いを示す日照特性情報を生成し、前記地物のそれぞれについての前記地物情報を構成する情報として格納する地物情報学習部と、
を備える点にある。
【0007】
地物の画像認識は、撮影画像に対してエッジ抽出やパターンマッチング等の公知の画像処理を施すことによって実施される場合が多い。例えばエッジ抽出は、隣接する画素、あるいは画素群の示す輝度や濃度などの画素値の差や勾配などに応じて演算される。このため、画像認識の対象となる地物と地物の背景との画素値の差の他に、日向と日陰との画素値の差などが生じると、エッジ抽出が不正確となる可能性がある。また、エッジ検出が不正確となると、その後に実施されるパターンマッチングなどの成功率も低下する可能性がある。特に、対象地物の候補となる地物(候補地物)と日陰との位置関係によって画像認識の成功率が異なる。また、日向と日陰との画素値の差、つまりコントラストによっても画像認識の成功率が異なる。学習記憶部は、このように画像認識に対して影響の大きい、地物日陰情報(候補地物と日陰との位置関係を示す情報)とコントラスト情報とを含む日照要因情報と、画像認識部による画像認識結果とを関連付けて学習データベースに記憶する。また、地物情報学習部は、学習データベースに記憶された情報に基づいて、画像認識への影響の度合いを示す日照特性情報を生成し、地物情報を構成する情報として格納する。従って、上記のような画像認識の成功率に影響を及ぼす情報を含む地物情報が良好に整備される。
【0008】
ところで、地物情報は、例えば、情報収集専用の車両などを走行させて収集することも可能であるが、実際にその地物情報を用いて地物を画像認識する画像認識システムと協働して収集することも可能である。一般的に、地物を画像認識して、位置情報の精度を向上させる場合には、画像認識の対象となる対象地物が複数の候補地物の中から選択される場合が多い。つまり、対象地物に対する画像認識が行われる際には、他の地物についても、その存在位置や、種別などの情報が取得されており、さらには当該他の地物が含まれる撮影画像も取得されているから、地物情報の収集に際して効率がよい。また、対象地物の画像認識が成功すれば、位置の情報はより高精度な情報となるから、対象地物以外の地物、つまり学習地物の存在位置も精度よく把握可能となる。その結果、高い精度で効率的に地物情報を整備することが可能となる。
【0009】
そのような1つの態様として、本発明に係る地物情報学習システムは、
前記撮影画像を撮影する撮影装置と、
前記撮影装置の推定位置を示す推定位置情報を取得する推定位置情報取得部と、
前記撮影画像を所定期間に亘って蓄積し、前記推定位置情報に関連付けて一時記憶する一時記憶部と、
前記地物の位置情報を少なくとも含む前記地物情報を格納した地物データベースに接続し、前記撮影装置の移動経路に沿って存在する複数の候補地物についての前記地物情報である候補地物情報を取得する地物情報取得部と、を備え、
前記画像認識部は、複数の前記候補地物の中から選定された1つの対象地物の画像認識を行なうと共に、前記対象地物の画像認識が成功した場合には、前記対象地物についての前記地物情報に含まれる位置情報に基づいて前記一時記憶部に記憶された前記推定位置情報を補正し、当該補正後の前記推定位置情報に基づいて前記一時記憶部から読み出される前記撮影画像と、前記候補地物情報とに基づいて、前記撮影画像に含まれる前記対象地物とは別の前記候補地物である学習地物の画像認識を行い、
前記学習記憶部は、当該画像認識の結果と前記日照要因情報とを関連付けて学習データベースに記憶するように構成されると好適である。
【0010】
ところで、地物日陰情報とコントラスト情報とを含む日照要因情報と、画像認識部による画像認識結果とを関連付けて学習データベースに記憶するためには、地物のそれぞれについて、当該地物と日陰との関係を示す情報である地物日陰情報を良好に演算する必要がある。そして、画像認識部は、この地物日陰情報を加味して、各学習地物の画像認識を行う必要がある。このため、1つの態様として、本発明に係る地物情報学習システムは、前記撮影装置の移動経路に沿った位置を示す経路位置情報に関連付けて各位置での日照状態を検出する日照状態検出部を備え、前記地物日陰情報演算部が、前記日照状態検出部の検出結果と、前記地物情報に含まれる前記地物の位置情報とに基づいて、前記地物のそれぞれについての前記地物日陰情報を演算し、前記画像認識部が、前記学習地物についての前記地物情報に含まれる位置情報と、前記補正後の前記推定位置情報とに基づいて、前記一時記憶部に記憶された前記撮影画像に含まれる前記学習地物の画像認識を行なうと好適である。
【0011】
上述した本発明に係る地物情報学習システムの種々の技術的特徴は、地物情報学習プログラムや、地物情報学習方法にも適用可能である。従って、本発明は、そのような地物情報学習プログラムや、地物情報学習方法も権利の対象とすることができる。例えば、本発明に係る地物情報学習プログラムは、上述した地物情報学習システムの特徴を備えた各種の機能をコンピュータに実現させることが可能である。以下にその代表的な態様を例示する。当然ながらこのような地物情報学習プログラムも、上述した地物情報学習システムの作用効果を奏することができる。さらに、地物情報学習システムの好適な態様として例示した種々の付加的特徴をこの地物情報学習プログラムに組み込むことも可能であり、当該プログラムはそれぞれの付加的特徴に対応する作用効果も奏することができる。本発明に係る地物情報学習方法についても同様である。
【0012】
1つの態様として、本発明に係る地物情報学習プログラムは、
画像認識の対象となる地物に関する情報である地物情報を学習する地物情報学習プログラムであって、
撮影画像を取得する撮影画像取得機能と、
前記撮影画像に含まれる前記地物の画像認識を行なう画像認識機能と、
少なくとも地物が全て日陰に含まれる日陰状態、地物が全て日向に含まれる日向状態、地物の一部が日陰に含まれる部分日陰状態を区別可能な情報であり、前記地物のそれぞれについて、当該地物と日陰との位置関係を示す情報である地物日陰情報を演算する地物日陰情報演算機能と、
日陰と日向とのコントラストを示すコントラスト情報を取得するコントラスト情報取得機能と、
前記地物日陰情報と前記コントラスト情報とを含む日照要因情報と、前記画像認識機能により実現された前記地物の画像認識結果とを関連付けて学習データベースに記憶する学習記憶機能と、
前記学習データベースに記憶された情報に基づいて、前記地物のそれぞれについての、日照による画像認識への影響の度合いを示す日照特性情報を生成し、前記地物のそれぞれについての前記地物情報を構成する情報として格納する地物情報学習機能と、
をコンピュータに実現させるものであると好適である。
【0013】
また、1つの態様として、本発明掛かる地物情報学習方法は、
画像認識の対象となる地物に関する情報である地物情報を学習する地物情報学習方法であって、
撮影画像を取得する撮影画像取得ステップと、
前記撮影画像に含まれる前記地物の画像認識を行なう画像認識ステップと、
少なくとも地物が全て日陰に含まれる日陰状態、地物が全て日向に含まれる日向状態、地物の一部が日陰に含まれる部分日陰状態を区別可能な情報であり、前記地物のそれぞれについて、当該地物と日陰との位置関係を示す情報である地物日陰情報を演算する地物日陰情報演算ステップと、
日陰と日向とのコントラストを示すコントラスト情報を取得するコントラスト情報取得ステップと、
前記地物日陰情報と前記コントラスト情報とを含む日照要因情報と、前記画像認識ステップによる前記地物の画像認識結果とを関連付けて学習データベースに記憶する学習記憶ステップと、
前記学習データベースに記憶された情報に基づいて、前記地物のそれぞれについての、日照による画像認識への影響の度合いを示す日照特性情報を生成し、前記地物のそれぞれについての前記地物情報を構成する情報として格納する地物情報学習ステップと、
を備えるものであると好適である。
【図面の簡単な説明】
【0014】
【図1】ナビゲーションシステムのシステム構成を模式的に示すブロック図
【図2】ナビゲーションデータベースのレイヤ構造の一例を示す説明図
【図3】地物選定の全体の手順の一例を模式的に示すフローチャート
【図4】日照要因情報を取得する手順の一例を模式的に示すフローチャート
【図5】画像認識への影響度合いを演算する手順の一例を模式的に示すフローチャート
【図6】対象地物を選定する手順の一例を模式的に示すフローチャート
【図7】所定範囲内に存在する地物の一例を示す説明図
【図8】地物に掛かる影の一例を示す説明図
【図9】候補地物の地物情報の一例を示す相関図
【図10】日照要因に応じて地物を選定する例を示す図
【図11】図10とは異なる日照要因に対して地物を選定する例を示す図
【図12】図10と同じ日照要因に応じて異なる手法で地物を選定する例を示す図
【図13】地物情報を学習する手順の一例を模式的に示すフローチャート
【図14】日照特性情報を生成する手順の一例を模式的に示すフローチャート
【発明を実施するための形態】
【0015】
以下、本発明の実施形態を、車両用のナビゲーションシステムにおいて、車両の位置情報の精度を向上させるために路面のペイント(道路標示)などの地物を画像認識する地物認識システムを例にして説明する。以下においては、地物として道路標示を例示して説明するが、路側に設置されたり、道路を跨いで懸架されたりした道路標識などの看板も含め、地上との相対位置が固定されている設置物も地物とすることができる。また、以下においては、このような地物認識システムを備えた車両用のナビゲーションシステムを例として説明するが、このナビゲーションシステムは車両に固定的に搭載されたいわゆる車載ナビゲーションシステムに限らず、任意に移動可能なポータブルナビゲーションシステムであってもよい。また、携帯電話機や、デジタルカメラ等のポータブル機器にアプリケーションとして搭載されたナビゲーションシステムであってもよい。
【0016】
〔ナビゲーションシステム〕
図1は、このようなナビゲーションシステムのシステム構成を模式的に示すブロック図である。図1に示すように、ナビゲーションシステム1は、自位置特定システム2と、ガイドシステム7とを備えて構成されている。ガイドシステム7は、ナビゲーションシステム1の案内機能の中核となるシステムであり、ナビゲーションシステム1の存在する位置(自位置)に基づいて、目的地までの経路案内や自位置における種々の情報提供を実施する。自位置特定システム2は、ナビゲーションシステム1の存在する位置(自位置)を特定するシステムであり、GPS(global positioning system)による測量やデッドレコニング(Dead-Reckoning)による自律制御を利用して自位置を演算する測位システム3、上述した地物を認識して自位置を演算する地物認識システム4を備えて構成されている。
【0017】
尚、「自位置」は、各システム、特にナビゲーションシステム1において定義され、ナビゲーションシステム1による案内を受けるユーザーが認知でき、案内結果を好適に利用できる位置である。例えば、ナビゲーションシステム1が車両に固定的に搭載された車載ナビゲーションシステムであり、ユーザーが当該車両の搭乗者である場合には、「自位置」は、ナビゲーションシステム1の位置であり、当該車両の位置であり、車載カメラなどの撮影装置の位置であり、ユーザーの位置である。ナビゲーションシステム1が、ポータブルナビゲーションシステムである場合には、「自位置」は、少なくともナビゲーションシステム1の位置であり、当該ポータブルナビゲーションシステムを携帯するユーザーの位置である。当該ポータブルナビゲーションシステムにカメラ(撮影装置)が付属されている場合には、当該カメラの位置も「自位置」である。また、ポータブルナビゲーションシステムが、車両に持ち込まれている場合には、当然ながら、「自位置」に当該車両の位置が含まれる。さらに、ポータブルナビゲーションシステムが、当該車両に搭載された車載カメラなどの撮影装置による撮影画像を取得可能な場合には、当該車載カメラの位置も自位置に含まれる。携帯電話機や、デジタルカメラ等のポータブル機器にアプリケーションとして搭載されたナビゲーションシステムの「自位置」も、ポータブルナビゲーションシステムと同様であるから、詳細な説明は省略する。
【0018】
地物認識システム4は、地物選定システム5と、画像処理システム6とを備えて構成されている。地物選定システム5は、予め存在位置が把握されている複数の地物から、画像処理システム6による画像認識の対象となる対象地物を選定するシステムである。また、画像処理システム6は、地物選定システム5により選定された対象地物を画像認識するシステムである。本実施形態において、自位置は、まず、測位システム3の推定位置演算部31において推定される。ここでは、この自位置を「推定位置情報」と称する。この推定位置情報は、地物認識システム4による対象地物の認識結果に基づき、測位システム3の位置情報補正部32において高精度な自位置を示す「高精度位置情報」に補正される。ガイドシステム7は、少なくとも推定位置情報を用いて、より好適には高精度位置情報を用いて、目的地までの経路案内や自位置における種々の情報提供を実施する。
【0019】
本実施形態において、ナビゲーションシステム1は、マイクロコンピュータやDSP(digital signal processor)などの演算処理装置を中核部材として構成されている。つまり、演算処理装置をはじめ、メモリやディスク装置などの記憶媒体、周辺ICなどのハードウェアと、当該ハードウェア上で用いられるプログラムやパラメータなどのソフトウェアとの協働によって、ナビゲーションシステム1が構成される。ナビゲーションシステム1を構成する上述した各システム2〜7や、後述する地物情報学習システム8についても同様である。
【0020】
図1に示すように、ナビゲーションシステム1は、ナビゲーションデータベース(ナビゲーションDB)11を備えている。例えば、ナビゲーションデータベース11は、光ディスク装置や磁気ディスク装置、SSD(solid state drive)などによって実現される。本実施形態において、ナビゲーションデータベース11は、所定の領域毎に分けられた複数の地図情報と、この地図情報に関連付けられた複数の地物情報とが少なくとも格納されたデータベースである。ナビゲーションデータベース11は、図2に示すように、レイヤ構造を有して構築されている。本実施形態では、道路ネットワークレイヤm1、道路形状レイヤm2、地物レイヤm3がナビゲーションデータベース11に格納されている例を示している。
【0021】
道路ネットワークレイヤm1は、道路間の接続情報を示すレイヤである。具体的には、緯度及び経度で表現された地図上の位置情報を有する多数のノードnの情報と、2つのノードnを連結して道路を構成する多数のリンクkの情報とを有して構成されている。また、各リンクkは、そのリンク情報として、道路の種別(高速道路、有料道路、国道、県道等の種別)やリンク長さ等の情報を有している。また、道路形状レイヤm2は、道路ネットワークレイヤm1に関連付けられて格納され、道路の形状を示すレイヤである。具体的には、2つのノードnの間(リンクk上)に配置されて緯度及び経度で表現された地図上の位置情報を有する多数の道路形状補完点sの情報や道路幅の情報等を有して構成されている。これらの道路ネットワークレイヤm1及び道路形状レイヤm2に格納された情報により、地図情報が構成される。
【0022】
地物レイヤm3は、道路ネットワークレイヤm1及び道路形状レイヤm2に関連付けられて構成され、道路上や道路周辺に設けられた各種の地物の情報、すなわち地物情報Fが格納されているレイヤである。この地物レイヤm3に地物情報Fが格納される地物には、道路の路面に設けられた道路標示が含まれている。このような道路標示に係る地物としては、例えば、横断歩道、停止線、各車線の進行方向を指定する進行方向別通行区分標示(直進矢印、右折矢印等)、交差点形状標示(十字マーク、T字マーク等)、道路に沿って車線を分ける区画線(実線、破線、二重線等)、速度表示、ゼブラゾーン等の各種のペイント標示が含まれる。なお、地物情報Fが格納される地物としては、このような道路標示のほか、信号機、標識、陸橋、トンネル等の各種の地物も含めることができる。このように、ナビゲーションデータベース11には、詳細な地物情報Fが格納されている。ナビゲーションデータベース11は、少なくとも図1に示すように、地図データベース11mと地物データベース11fとを備えて構成されているということもできる。尚、本実施形態においては、ナビゲーションデータベース11には、後述する立体物データベース11bも構築され、立体物情報も格納されている。図示は省略するが、上述した各レイヤm1〜m3に加えて、立体物情報が格納された立体物レイヤが備えられていてもよい。
【0023】
地物情報Fは、少なくとも地物が存在する位置についての位置情報を含む情報である。この位置情報は、各地物の代表点の地図上の位置(緯度及び経度)及び各地物の向きの情報を有している。地物の代表点は、例えば、各地物の長さ方向及び幅方向の中心位置に設定される。また、地物情報Fは、各地物の属性情報を含んでいる。本実施形態においては、属性情報は、地物種別、地物の形態、地物の状態、認識特性の情報を含んでいる。地物種別の情報は、各地物の種別を表す情報であり、基本的には同じ形状の地物が1つの種別として規定されている。例えば、地物種別の情報は、直進矢印、右折矢印、十字マーク、T字マーク、停止線、横断歩道等の道路標示の具体的な種別を表す情報となる。地物の形態の情報は、各地物の形状、大きさ、色彩等の情報を有している。地物の状態の情報は、現実の各地物のかすれの状態等のような各地物の画像認識処理に影響を与える地物の状態の情報を有している。また、認識特性の情報として、本実施形態では、日照特性情報と、基準認識率の情報とを有している。日照特性情報は、各地物の、日照による画像認識への影響の度合いを示す特性の情報である。基準認識率の情報は、各地物に対する画像認識の平均的な成功確率を示す情報である。
【0024】
上述したように、ナビゲーションシステム1は、自位置特定システム2と、ガイドシステム7とを備えて構成されており、ガイドシステム7は自位置特定システム2により特定された自位置の情報を用いて、経路案内などを実施する。自位置特定システム2は、測位システム3と、地物認識システム4とを備えて構成されており、地物認識システム4は、地物選定システム5と、画像処理システム6とを備えて構成されている。地物選定システム5で選定された対象地物を画像処理システム6により画像認識することによって、測位システム3は、測位結果に含まれる誤差を補正して高精度位置情報を得る。
【0025】
本実施形態においては、測位システム3は、推定位置演算部31と位置情報補正部32とを備えて構成されており、まず、推定位置演算部31によって、推定位置情報が演算されて取得される。図1に示すように、推定位置演算部31は、GPS受信機12、方位センサ13、及び距離センサ14と接続されている。尚、推定位置演算部31は、現在位置の情報を蓄積することによって、車両の進行方位や移動速度等の情報も取得することができる。位置情報補正部32は、推定位置情報をより高精度な位置に関する情報を用いて補正し、ガイドシステム7に提供する。そのような高精度な位置に関する情報が得られなかった場合、例えば、画像処理システム6によって地物が認識されなかったような場合には、そのまま推定位置情報をガイドシステム7に提供する。
【0026】
尚、常に高精度位置情報が演算され、ガイドシステム7に利用される必要はない。例えば、ナビゲーションシステム1の上位の制御機能部(ソフトウェアを含む)により、高精度位置情報が要求された場合にのみ、高精度位置情報が演算される構成であってもよい。一般的に、画像処理は演算負荷が高いため、常に高精度位置情報を得るための演算が可能なシステムを構築することは現実的ではない場合がある。従って、推定位置演算部31による位置情報に含まれると想定される累積誤差が所定のしきい値を超えるなどの一定の条件を満たした場合に、地物認識システム4を活用して高精度位置情報が演算されると好適である。また、進路変更点など高精度な案内が必要であったり、停止線における制動補助を行うために高精度な位置情報が必要であったりする場合には、位置情報に含まれる累積誤差に拘わらず、優先的に地物認識システム4を活用して高精度位置情報が演算されてもよい。
【0027】
ところで、画像処理、特に画像認識は一般的に演算負荷の大きい処理であるため、存在が把握されている全ての地物を認識することは、演算時間や、演算装置の性能及び規模の点から現実的ではない。このため、地物認識システム4は、対象地物の候補となる候補地物の中から画像認識の対象となる対象地物を選定するための地物選定システム5を備えて構成されている。本実施形態において、地物選定システム5は、測位システム3の推定位置演算部31により演算された推定位置情報を用いて、認識対象となる対象地物を選定する。図1に示すように、地物選定システム5は、日時情報取得部41と、推定位置情報取得部42と、地物情報取得部43と、立体物情報取得部44と、コントラスト情報取得部51と、ハレーション情報取得部52と、地物日陰情報演算部53と、対象地物選定部58とを備えた選定演算部50を備えて構成されている。また、地物選定システム5は、選定演算部50に加え、画像処理システム6と共有する撮影画像取得部61も備えて構成されている。以下、図3〜図6のフローチャートも利用して、対象地物を選定する手順の一例を説明する。上述した各機能部、及びその他の付随する機能部の詳細な説明は、以下における対象地物を選定する手順の説明の中で適宜実施する。
【0028】
〔対象地物の選定(地物選定システム)〕
ナビゲーションシステム1の上位の制御機能部(ソフトウェアを含む)により、高精度位置情報が要求されると、推定位置情報取得部42により推定位置情報が取得される(図3#01:推定位置情報取得ステップ/機能)。推定位置情報が示す「自位置」は、上述したように「種々の対象の位置」とすることができるが、撮影画像を用いて地物を認識する際の「自位置」であるから、ここでは、少なくとも画像認識に用いる撮影画像を撮影する撮影装置の推定位置を示す情報である。本実施形態において、撮影装置は図1に示すカメラ16である。カメラ16は、CCD(charge coupled device)やCIS(CMOS image sensor)などの撮像素子を用いて、毎秒15〜30フレームの2次元画像を時系列に撮影し、デジタル変換して動画データ(撮影画像)をリアルタイムに出力する。カメラ16は、例えば水平方向に140〜190°の視野角が確保されている広角カメラであり、その光軸に30度程度の俯角を有して車両に設置され、車両からおおよそ8m程度までの領域を撮影可能である。カメラ16が車両の後方を撮影する後方カメラとして車両の後部バンパーや背面ドアなどに設置された場合には、カメラ16は車両の後方の路面を含む画像を撮影画像として出力する。尚、撮影装置として、車両の前方を撮影する前方カメラが備えられ、当該前方カメラの撮影画像が用いられてもよい。このような前方カメラは、上述した後方カメラよりも光軸を上向きにして設置されている場合が多く、道路標識など、道路標示とは異なる地物も良好に視野に含むことができる。また、当然ながら、前方カメラ及び後方カメラ双方の撮影画像が用いられてもよい。
【0029】
地物情報取得部43は、推定位置情報に基づいて、画像認識の対象となる対象地物の候補となる候補地物を探索する範囲である所定範囲(探索範囲)を設定する(探索範囲設定ステップ/機能)。図7は、探索範囲SPの中の地物fの一例を示している。ここでは、予め存在が把握されている地物として、地物f1〜f6の6つの地物が探索範囲SPの中に含まれる例を示している。続いて、地物情報取得部43は、地物データベース11f(ナビゲーションデータベース11)から、探索範囲SP(所定範囲)内に存在する複数の候補地物についての地物情報Fである候補地物情報を取得する(図3#02:地物情報取得ステップ/機能)。尚、本実施形態の場合には、推定位置情報に基づいて探索範囲SPを設定し、探索範囲SPの中に存在する地物fを候補地物として、候補地物の地物情報F(候補地物情報)を取得している。従って、地物情報取得部43により実施される地物情報取得ステップ(機能)は、探索範囲設定ステップ(機能)を含めて、推定位置情報に基づいて、カメラ16の進行方向の探索範囲SP(所定範囲)内に存在する地物fを候補地物として地物データベース11fから候補地物情報を取得するということもできる。
【0030】
候補地物の地物情報Fを取得すると、候補地物の中から対象地物を選定する対象地物選定部58は、対象地物の選定が必要か否かを判定する(図3#03:選定要否判定ステップ/機能)。探索範囲SP内に候補地物が存在しなければ選定は必要ではないので、選定処理を終了する。尚、厳密には、候補地物が1つの場合にも、選定は必要なく当該1つの候補地物を対象地物とすれば足りる。しかし、本実施形態では、少なくとも一般的な条件に基づく画像認識に対する適合性の評価を経た後に対象地物を決定することとする。従って、候補地物が1つの場合にも、対象地物の選定が必要と判定される。
【0031】
ステップ#03において、対象地物の選定が必要と判定されると、対象地物選定部58は、一般条件に基づいて候補地物を絞り込む。つまり、対象地物選定部58は、探索範囲SP内に存在が把握されている地物fの中から候補地物を選定する(図3#04:候補地物選定ステップ/機能)。地物情報Fには、地物fに関する情報として、地物の状態、例えば道路標示のかすれ具合なども含まれている。かすれが大きい地物fでは、当該地物fを対象地物としても、画像認識を失敗したり、他の地物と誤認識したりする可能性が高くなるため、認識対象とはしないほうが好ましい場合がある。従って、対象地物選定部58は、かすれ状態などの一般条件に基づいて、探索範囲SPの中の候補地物を選定する。また、図7に示す菱形形状の横断歩道予告を示す地物f3及び地物f4は、2つ連続した地物である。このような地物fは、より認識精度を向上させるために、組み合わせて地物セットg1(g)とすると好適である。対象地物選定部58は、組み合わせ条件などの一般条件に基づいて、探索範囲SPの中の地物を地物セットgに再編して候補地物と選定してもよい。
【0032】
続いて、対象地物選定部58は、選定した候補地物が複数存在するか否かを判定する(図3#05)。候補地物が複数存在しない場合には、次に候補地物が1つであるかゼロであるかが判定される(#06)。候補地物がゼロの場合には、対象地物となる地物fが存在しないことになるので、地物選定システム5全体の処理が終了される。候補地物が1つの場合には選択の余地はないので、対象地物選定部58は、当該候補地物を対象地物に選定する(#08)。一方、候補地物が複数存在する場合には、対象地物選定部58は、対象地物選定のための判定を休止し、選定に必要な種々の情報の演算や取得を、地物選定システム5を構成する他の機能部、特に選定演算部50の他の機能部に委ねる。具体的には、撮影画像、日時情報、日照要因情報などの種々の情報が取得され、画像処理に対する日照の影響を考慮して対象地物が選定される。以下、これら種々の情報の取得、並びに日照の影響を考慮した対象地物の選定について説明する。尚、以下のステップ#07、ステップ#09、ステップ#20に示す種々の情報の取得の順序は説明のために便宜的に定めた一例であり、他の順序であっても問題はない。
【0033】
まず、図1に示すように、画像処理システム6の機能部でもある撮影画像取得部61により、カメラ16の撮影画像が取得される(図3#07:撮影画像取得ステップ/機能)。上述したように、カメラ16は、時系列に撮影された毎秒15〜30フレームの2次元画像を動画データとして出力するので、不図示のフレームメモリ等に所定数のフレームが一時記憶されると好適である。この際、方位センサ13や距離センサ14による検出結果を利用して、車両と共に移動するカメラ16の単位移動量に応じて適宜フレームが間引かれて記憶されると、フレームメモリの容量を抑制することができる。尚、このフレームメモリとして、後述する地物学習システム8の一時記憶部81を活用してもよい。次に、日時情報取得部41により現在日時を示す日時情報が取得される(図3#09:日時情報取得ステップ/機能)。この日時情報は、図1に示すように、GPS受信器12により受信されたGPS信号に基づいて取得されると好適である。
【0034】
続いて、選定演算部50を構成する種々の機能部により、日照要因情報が取得される(図3#20:日照要因情報取得ステップ/機能)。日照要因情報とは、画像処理システム6の画像認識部63による地物fの画像認識に影響を与える要因で、日照による起因する状態を示す情報である。日照要因情報には、少なくとも地物日陰情報とコントラスト情報とが含まれる。また、日照要因情報には、ハレーション情報も含まれると好適である。地物日陰情報は、詳細は後述するが、候補地物と日陰との関係を示す情報であり、好適には、少なくとも地物が全て日陰に含まれる日陰状態、地物が全て日向に含まれる日向状態、地物の一部が日陰に含まれる部分日陰状態を区別可能な情報である。同様に詳細は後述するが、コントラスト情報は、撮影画像におけるコントラスト、つまり、撮影画像に現れた、或いは撮影画像に現れると推定される日陰及び日向のコントラストを示す情報である。また、ハレーション情報は、撮影画像におけるハレーションの発生状態を示す情報である。以下、図4のフローチャートも利用して、日照要因情報を取得する手順を説明するが、この場合も、特にステップ#22〜ステップ#24の順序が限定されるものではない。
【0035】
日照要因情報の1つである地物日陰情報や、コントラスト情報を正確に取得するためには、撮影画像に生じると推定される影の位置の情報が必要である。そして、そのような影、つまり撮影画像に含まれる日陰を形成する大きな要因となるのは、地物の周辺の建物などの立体物である。そこで、立体物情報取得部44は、立体物データベース11b(ナビゲーションデータベース11)から、探索範囲SP(所定範囲)内に存在する複数の立体物についての立体物情報を取得する(図4#21:立体物情報取得ステップ/機能)。立体物情報には、立体物についての位置の情報、大きさ(幅、奥行き、高さ)の情報、形状(直方体状、塔状、棒状、傾斜屋根など)の情報などが含まれる。日時情報より、太陽の位置は特定されるので、日時情報と立体物情報とに基づいて、地物選定システム5を構成する機能部は、図8に示すように探索範囲SPにおいて形成される日陰SHの位置及び形状を演算することができる。日時情報と太陽の位置との関係は、ナビゲーションデータベース11や、地物選定システム5を構成するメモリ等にマップとして格納されていると好適である。当然ながら、立体物データベース11bに日時情報に対応した日陰SHの情報が格納されていてもよい。
【0036】
例えば、コントラスト情報取得部51は、日陰SHの位置及び形状に基づいて、車両100が図8に示す一点鎖線Yを走行する際の撮影画像から、日陰と日向とのコントラストを演算して取得することができる。また、車両100が走行する際に、照度センサ17によって検出された照度に基づき日照状態検出部55で検出された日照状態の情報と、日陰SHの位置及び形状とに基づいて、日陰と日向とのコントラストを演算して取得することができる。このようにして、コントラスト情報取得部51は、撮影画像に含まれる日陰と日向とのコントラストを示すコントラスト情報を取得する(図4#22:コントラスト情報取得ステップ/機能)。
【0037】
ハレーション情報取得部52は、撮影画像において輝度情報がサチレーションを発生しているか否かなどを判定することによって、撮影画像におけるハレーションの発生状態を演算して取得する(図4#23:ハレーション情報取得ステップ/機能)。日射によるハレーションは、基本的には日光が当たっている場合に生じるから、ハレーション情報取得部52は、撮影画像の日向に対応する位置においてハレーションの発生状態を演算すると好適である。
【0038】
地物日陰情報演算部53は、候補地物に関する地物情報である候補地物情報と日時情報とに基づいて、候補地物のそれぞれについて、当該候補地物と日陰SHとの関係を示す情報である地物日陰情報を演算して取得する(図4#24:地物日陰情報演算ステップ/機能)。図8を示して上述したように、太陽の位置を示す日時情報と立体物情報とに基づいて、探索範囲SPにおいて形成される日陰SHの位置及び形状が明らかとなるから、日陰SHと候補地物との位置関係も明らかとなる。図8を参照すれば、矢印の地物f6は、その一部に立体物201の日陰SH1が掛かっており、地物日陰情報は「部分日陰状態」となる(以下適宜、「部分日陰」と略称する。)。かすれた矢印の地物f5は候補地物から除外されているため、地物日陰情報が演算されない。横断歩道予告の菱形の地物f4には、立体物201の日陰SH1が掛かっており、地物日陰情報は「日陰状態」となる(以下適宜、「日陰」と略称する。)。同様に、菱形の地物f3には、立体物202の日陰202が掛かっており、地物日陰情報は「日陰状態」となる。尚、図8に示す例では、地物セットg1も日陰SH1及び日陰SH2の中に入っているため、地物セットg1の地物日陰情報も「日陰状態」となる。仮に、立体物202が存在しない場合には、地物セットg1の一部に日陰SH1が掛かることとなるので、地物セットg1の地物日陰情報は「部分日陰」となる。停止線の地物f2及び横断歩道の地物f1には、近傍に存在する立体物203の日陰SH3も掛かっておらず、これらの地物日陰情報は「日向状態」となる(以下適宜、「日向」と略称する。)。
【0039】
このようにして、日照要因情報が取得されると、対象地物選定部58は、少なくとも地物日陰情報とコントラスト情報とを含む日照要因情報に基づいて、候補地物の中から対象地物を選定する(対象地物選定ステップ/機能)。対象地物選定ステップ/機能は、図3に示すステップ#30と、ステップ#60とから構成される。ステップ#30では、画像認識への影響の度合いが演算される(影響度合い演算ステップ/機能)。ステップ#30では、各候補地物に対して、各対象地物の日照要因情報に基づいて、各候補地物を画像認識する際の影響度合いが演算される。ステップ#60では、この影響の度合いに基づいて、候補地物の中から1つの対象地物が選定される(地物決定ステップ/機能)。つまり、全ての候補地物に対する影響度合いの演算が終了した後、ステップ#60(地物決定ステップ/機能)が実施され、候補地物の中から1つの対象地物が選定される。
【0040】
はじめに、ステップ#30(影響度合い演算ステップ/機能)について図5のフローチャートを利用して説明する。地物の画像認識は、撮影画像に対してエッジ抽出、パターンマッチング等の公知の画像処理を施すことによって実施される。例えばエッジ抽出は、隣接する画素あるいは画素群の示す、輝度や濃度など画素値の差や勾配などに応じて演算する。このため、対象物(ここでは地物)と背景(ここでは路面)との画素値の差以外に、日向と日陰との画素値の差が生じると、エッジ抽出が不正確となり、その後のパターンマッチングなどの成功率も低下する可能性がある。特に、日向と日陰との画素値の差、つまりコントラストが大きいと、エッジ抽出が不正確となる可能性が高い。従って、影響度合いの演算対象である候補地物の日照要因情報(地物日陰情報)を参照して、当該候補地物の属性が「部分日陰」に該当する地物fであるか否かが、はじめに判定される(図5#31)。当該候補地物の属性が部分日陰である場合には、日照要因情報(コントラスト情報)を参照して、コントラストの大小が判定される(#34)。コントラストが大きい場合には、上述したようにエッジ抽出が不正確となる可能性が高いので、画像認識への影響が大きいと判定される(#41)。コントラストが小さい場合には、日陰による画素値への影響が小さくなるので、画像認識への影響が小さいと判定される(#42)。
【0041】
一方、ステップ#31において部分日陰ではないと判定されると、次に、地物日陰情報を参照して、当該候補地物の属性が「日陰」であるか否かが判定される(#32)。当該候補地物の属性が「日陰」である場合には、地物情報に含まれ、地物に固有の属性を示す日照特性情報が参照され、「日陰による画像認識への影響の有無」が判定される(#33)。日照特性情報とは、地物fのそれぞれについて、少なくとも地物日陰情報が日陰状態である場合の画像認識への影響の度合いを含み、日照による画像認識への影響の度合いを示す情報である。例えば、地物が日陰にあって地物と背景との間のコントラストが低下し、地物の認識率に影響する程度や、地物が日向にあってハレーションの影響を受け、地物の認識率に影響する程度などが、日照特性情報として規定されている。本実施形態では、地物が日陰にある場合に、コントラスト不足によって認識率に与える影響を、「影響有り」、「影響無し」の2つに簡略化した日照特性情報として例示している。従って、本実施形態のステップ#33では、コントラスト不足による影響が有るか否かが判定される。尚、この日照特性情報は、地物情報取得部43により、地物データベース11fから取得されている。
【0042】
図9は、地物データベース11fから取得された、候補地物についての地物情報である候補地物情報の一例を示している。ここでは、地物情報として、種別の情報、基準認識率の情報、日照特性(地物日陰情報が日陰状態である場合の画像認識への影響)の情報を示している。尚、基準認識率の情報とは、各地物に対する画像認識の平均的な成功確率を示す情報である。図7及び図9を参照すれば、地物f1の種別は、横断歩道の道路標示であり、基準認識率は70%、日照特性は「コントラスト不足」である。地物f2の種別は、停止線の道路標示であり、基準認識率は60%、日照特性は「コントラスト不足」である。地物f3及び地物f4の種別は、横断歩道予告の道路標示であり、基準認識率は90%、日照特性は「コントラスト不足」である。地物f6の種別は、矢印の道路標示であり、基準認識率は50%、日照特性は「無し」である。
【0043】
ところで、例えば、日陰により、対象物(ここでは地物)と背景(ここでは路面)との画素値の差、つまりコントラストが低下すると、エッジ抽出が不正確となる可能性がある。上述したように、地物日陰情報が日陰状態である場合の画像認識への影響を示す日照特性情報には、「日陰によりコントラストが低下する」等の情報が含まれる。さらに、撮影画像全体が明るい、つまり、晴れた状態で、日陰以外は明るい場合などでは、一般的にカメラ16により撮影画像の全体に対するダイナミックレンジの調整が実施される。これにより、相対的に撮影画像における日陰の部分の階調数が減少するため、よりコントラストが低下する可能性もある。逆に、撮影画像全体が暗い、つまり、曇った状態などで、日陰以外も暗い場合などでは、このダイナミックレンジの調整によっても、撮影画像における日陰の部分の階調数が減少せず、対象物と背景との画素値の差、つまりコントラストが低下しない可能性がある。
【0044】
ステップ#33において、「日陰による画像認識への影響が無い」と判定されると、当該候補地物は、「日照要因情報に基づく画像認識への影響が無い」と判定される(#43)。一方、ステップ#33において、「日陰による画像認識への影響が有る」と判定されると、上述したステップ#34において、日照要因情報(コントラスト情報)を参照して、日陰と日向とのコントラストの大小が判定される。コントラストが大きい場合には、撮影画像の全体が明るい可能性が高くなる。そして、上述したように、撮影画像における日陰の部分の階調数が減少し、対象物と背景との画素値の差、つまりコントラストが低下する可能性がある。従って、ステップ#34において、日陰と日向とのコントラストが大きいと判定された場合には、画像認識への影響が大きいと判定される(#41)。ステップ#34において、日陰と日向とのコントラストが小さいと判定された場合には、日陰によるコントラストの低下のみが画像認識への影響となるので、画像認識への影響が小さいと判定される(#42)。
【0045】
ステップ#32において、当該候補地物の属性が「日陰」ではないと判定されると、本実施形態においては、当該候補地物の属性が「日向」であるということになる。日向の場合には、カメラ16に対する太陽の位置(照射角度)や、路面などの反射係数の関係で撮影画像にハレーションが発生する可能性がある。ハレーションが発生する位置が、地物の位置と重なると、撮影画像の画素値がサチレーションを発生してしまい、地物と路面とのコントラストも低下し、画像認識の成功率が低下する。このため、ステップ#32において、当該候補地物の属性が「日陰」ではないと判定されると、次にハレーション情報(日照要因情報)を参照して、当該候補地物の位置にハレーションが生じているか否かが判定される(#35)。ハレーションが生じていない場合には、画像認識に対する影響がないので、「影響度合い=無し」と判定される(#43)。一方、ハレーションが生じている場合には、当該ハレーションの大きさが判定される(#36)。そして、ハレーションが大きい場合には、「影響度合い=大」と判定され(#44)、ハレーションが大きくない場合には、「影響度合い=小」と判定される(#45)。
【0046】
以上説明したように、対象地物選定部58は、地物日陰情報が部分日陰状態を示す候補地物の優先度を下げて対象地物の選定を進めていく。また、対象地物選定部58は、コントラスト情報が示す日陰と日向とのコントラストが大きいほど、地物日陰情報が部分日陰状態を示す候補地物の優先度を下げて対象地物の選定を進めていく。
【0047】
上述したステップ#41〜ステップ#45の判定結果、つまり、影響度合いの演算結果は、候補地物ごとに記憶される(#47)。そして、全ての候補地物についての影響度合いの演算が終了したか否かが判定され(#48)、影響度合いの演算が未完了の候補地物が存在した場合には、上述したステップ#31〜ステップ#47の演算が当該未完了の候補地物に対して実施される。全ての候補地物に対しての影響度合いの演算が終了している場合には、各候補地物の影響度合いに応じて、候補地物が複数のグループに分類される(#49)。本実施形態では、「影響度合い=無し」の候補地物をグループA、「影響度合い=小」の候補地物をグループB、「影響度合い=大」の候補地物をグループCに分類する。当然ながら、この分類は一例であり、4つ以上のグループに分類されることや、2つのグループへの分類を妨げるものではない。また、この分類数に応じて、ステップ#31〜ステップ#45に例示した判定も適宜変更可能であることは言うまでもない。
【0048】
全ての候補地物に対する影響度合いの演算が終了した後、ステップ#60(地物決定ステップ/機能)が実施され、候補地物の中から1つの対象地物が選定される。以下、ステップ#60の詳細について、図6のフローチャートを利用して説明する。はじめに、「影響度合い=無し」の候補地物により構成されるグループAが存在するか否かが判定される(#61)。グループAが存在する場合、対象地物として選定される候補地物が属するグループとして、グループAが選択される(#63)。グループAが存在しない場合は、「影響度合い=小」の候補地物により構成されるグループBが選択される(#64)。グループBも存在しない場合は、「影響度合い=大」の候補地物により構成されるグループCが選択される(#65)。そして、対象地物として選定される候補地物が属するグループとして選択されたグループに属する候補地物の中から、上述した基準認識率が最も高い候補地物が対象地物として選定される(#66)。即ち、選択されたグループに属する候補地物が1つであった場合には、当該候補地物が選択され、選択されたグループに属する候補地物が複数であった場合には、複数の候補地物の中で最高の基準認識率を有する候補地物が選択される。
【0049】
ここで具体例を挙げて対象地物の選定について説明する。図10は、日照要因に応じて地物を選定する例を示している。図5、図8及び図10を参照すれば、横断歩道の道路標示である地物f1及び停止線の道路標示である地物f2は、地物日陰情報が「日向」であり、ハレーション情報が「なし」である。地物日陰情報が「日向」であるから、日照特性情報及びコントラスト情報は考慮する必要がなく、画像認識への影響度合いは「なし」となる。従って、地物f1及び地物f2は、グループAに分類される。横断歩道予告の道路標示である地物f3及び地物f4は、地物日陰情報が「日陰」であり、コントラスト情報が「大」である。また、地物f3及び地物f4の日照特性情報は、「コントラスト不足」である。地物日陰情報が「日陰」であるから、ハレーション情報は考慮する必要がなく、画像認識への影響度合いは、地物日陰情報と日照特性情報とに基づいて「大」となる。従って、地物f3及び地物f4は、グループCに分類される。矢印の道路標示である地物f6の地物日陰情報は「部分日陰」であり、コントラスト情報が「大」である。地物日陰情報が「部分日陰」であるから、日照特性情報及びハレーション情報は考慮する必要がなく、地物日陰情報とコントラスト情報とに基づいて、地物f6は、グループCに分類される。
【0050】
尚、ここまでの説明では、図5に例示したように、各情報をフローチャートに沿って順次判断していく例を示した。しかし、地物日陰情報、コントラスト情報、ハレーション情報などの日照要因情報と、日照特性情報とから、定量的な影響度情報を演算し、この影響度情報に基づいて、日照による影響の度合いを決定してもよい。例えば、地物日陰情報が「部分日陰」の場合には影響度係数を「7」とし、「日陰」の場合には影響度係数を「5」とし、「日向」の場合には影響度係数を「1」とする。また、本実施形態では、地物日陰情報が「日陰」の場合には、日照特性情報に関する影響度係数として、日照特性情報が「コントラストによる影響有り」の場合には影響度係数を「5」とし、「影響無し」の場合には影響度係数を「0」とする。地物日陰情報が「部分日陰」の場合には、日照特性情報に関する影響度係数を日照特性情報に拘わらず「5」とし、地物日陰情報が「日向」の場合には、日照特性情報に関する影響度係数を日照特性情報に拘わらず「0」とする。尚、コントラストの大小に応じ、コントラストが「小」の場合には、「0」を下限として日照特性情報に関する影響度係数を「2」減じると好適である。ハレーション情報の影響度係数は、地物日陰情報が「日向」の場合のみ「15」が設定され、その他の場合には「0」が設定される。
【0051】
以上の係数を図10の例に適用すれば、横断歩道の道路標示である地物f1及び停止線の道路標示である地物f2は、地物日陰情報が「日向」であり、ハレーション情報が「なし」である。ハレーション情報「なし」の場合の影響度係数は「0」となるので、地物日陰情報が「日向」の場合の影響度係数「1」と乗算されて、定量的な影響度情報は「0」となる。横断歩道予告の道路標示である地物f3及び地物f4は、地物日陰情報が「日陰」であり、コントラスト情報が「大」であり、日照特性情報は、「コントラスト不足の影響あり」である。従って、地物日陰情報が「日陰」の場合の影響度係数「5」、日照特性情報の影響度係数を「5」が乗算されて、定量的な影響度情報が「25」となる。矢印の道路標示である地物f6の地物日陰情報は「部分日陰」であり、コントラスト情報が「大」である。従って、「部分日陰」の場合の影響度係数「7」、日照特性情報に拘わらず設定される影響度係数「5」が乗算されて、定量的な影響度情報は「35」となる。そして、例えば、この定量的な影響度情報が、0〜14の場合にグループA、15〜24の場合にグループB、25以上の場合にグループCに分類される。このように、定量的な演算によって、日照による影響の度合いを決定することも可能である。
【0052】
以上説明したように、図10に示す例では、4種類の地物fが、2つのグループ、グループAとグループCとに分類される。図6のフローチャートを例示して説明したように、ここでは、グループAが優先的に選択され、グループAに属する候補地物のうち、基準認識率が最大の地物fが対象地物として選定される。グループAに属する地物f1(横断歩道)と地物f2(停止線)とでは、地物f1の方が基準認識率が高いため、図10に示す例では、画像認識の対象となる対象地物として地物f1(横断歩道)が選定される。
【0053】
図11は、図10とは異なる日照要因に対して地物を選定する例を示している。図10との違いは、コントラスト情報とハレーション情報とである。図11の例では、コントラスト情報が「小」であり、ハレーション情報が「大」であるから、地物日陰情報が「日陰」や「部分日陰」の地物よりも、「日向」の地物の方が厳しい条件となる。地物日陰情報が「日向」である地物f1(横断歩道)及び地物f2(停止線)は、ハレーション情報が「大」であることから、画像認識への影響度合いが「大」となり、グループCに分類される。一方、地物日陰情報が「日陰」の地物f3及び地物f4(横断歩道予告)は、日照特性情報が「コントラスト不足」であるが、コントラスト情報が「小」であるから、画像認識への影響度合いが「小」となり、グループBに分類される。また、地物日陰情報が「部分日陰」である地物f6(矢印)は、日照特性情報として示される日陰の影響が「なし」であり、コントラスト情報が「小」であるから、画像認識への影響度合いが「小」となり、グループBに分類される。
【0054】
以上説明したように、図11に示す例では、4種類の地物fが、2つのグループ、グループBとグループCとに分類される。図6のフローチャートを例示して説明したように、ここでは、グループBが優先的に選択され、グループBに属する候補地物のうち、基準認識率が最大の地物fが対象地物として選定される。グループBに属する地物f3,f4(横断歩道予告)と地物f6(矢印)とでは、地物f3,f4の方が基準認識率が高いため、図11に示す例では、画像認識の対象となる対象地物として地物f3,f4(横断歩道予告)が選定される。尚、上述したように、地物f3と地物f4とは、地物セットg1を構成することもできる。従って、対象地物として地物セットg1を選定してもよい。また、地物f3と地物f4の内の何れか、例えば、進行方向手前側の地物f4を優先的に選定するようにしてもよい。
【0055】
図12は、図10と同じ日照要因に応じて、図10(図5及び図6)とは異なる手法で地物を選定する例を示している。具体的には、図5におけるステップ#31〜ステップ#36、及びステップ#48は共通しているが、ステップ#41〜ステップ#45において、基準認識率を推定認識率に補正する。つまり、画像認識に対する影響度合い、つまり、基準認識率よりも実際の認識率が低下する可能性に応じて基準認識率を推定認識率に補正する。従って、ステップ#49のような複数のグループへの分類も行わない。
【0056】
上述したように、画像認識への影響度合いが「なし」となる地物f1(横断歩道)及び地物f2(停止線)は、実際の認識率が低下する可能性が無い(低下量=0%)と推定される。そして、推定認識率は基準認識率と同様に、地物f1(横断歩道)が70%、地物f2(停止線)が60%となる。一方、地物f3,f4(横断歩道予告)の画像認識への影響度合いは「大」であり、例えば実際の認識率が25%低下する可能性があると推定される。その結果、推定認識率は65%となる。また、同じく画像認識への影響度合いが「大」である地物f6(矢印)は、実際の認識率が35%低下する可能性があると推定される。その結果、推定認識率は15%となる。対象地物選定部58は、候補地物の中で、推定認識率が最大の地物を対象地物として選定する。図12に示す例においては、推定認識率が70%の地物f1(横断歩道)が選定される。その他、地物日陰情報が「部分日陰」であって、コントラスト情報が「小」である場合には、実際の認識率が20%程度低下する可能性があると推定されるなど、例えば、図5のステップ#41〜#45のそれぞれに対応するような認識率の低下の推定値が設定されていると好適である。尚、上述した定量的な影響度情報に基づいて、認識率の低下の推定値が設定されてもよい。
【0057】
尚、上記の説明においては、複数のグループに分類して対象地物を選定する場合と、基準認識率を推定認識率に補正して対象地物を選定する場合とについて説明したが、何れか一方の手法を選択的に用いることなく、双方を合わせて用いてもよい。つまり、基準認識率よりも実際の認識率が低下する可能性、つまり、画像認識への影響度合いの大きさに基づいて複数のグループに分類すると共に、基準認識率を推定認識率に補正してもよい。そして、画像認識への影響度合いが最も低いグループに属する候補地物の中で推定認識率が最も高い地物を対象地物として選定してもよい。
【0058】
〔日照特性情報を含む地物情報の学習(地物情報学習システム)〕
上述したように日照要因に鑑みて対象地物を選定するためには、各地物fに対する日照要因による画像認識への影響を示す日照特性情報を含む地物情報を整備する必要がある。そこで、以下に説明するような、画像認識の対象となる地物に関する情報である地物情報を学習する地物情報学習システムが構築されると好適である。尚、地物情報は、例えば、情報収集専用の車両などを走行させて収集することも可能であるが、上述した地物認識システム4を備えるナビゲーションシステム1との協働によって収集することも可能である。本実施形態では、上述した地物認識システム4を備えるナビゲーションシステム1との協働によって日照特性情報を含む地物情報を収集する地物情報学習システムを例として説明する。
【0059】
図1に示すように、本実施形態の地物情報学習システム8は、学習記憶部83を中核として構成される学習演算部80と、学習データベース19と、地物情報学習部85とを備えて構成されている。学習記憶部83は、地物日陰情報とコントラスト情報とを含む日照要因情報と、画像認識部による前記地物の画像認識結果とを関連付けて学習データベース19に記憶する機能部である。地物情報学習部85は、学習データベースに記憶された情報に基づいて、地物のそれぞれについての、少なくとも日陰を含む日照による画像認識への影響の度合いを示す日照特性情報を生成し、地物のそれぞれについての地物情報を構成する情報として格納する機能部である。
【0060】
学習記憶部83を中核とする学習演算部80は、好適にはナビゲーションシステム1の中核となる演算装置(及び協働するソフトウェア)において、地物認識システム4と共に実現されている。一方、地物情報学習部85は、ナビゲーションデータベース11を整備する管理センターなどの演算装置(及び協働するソフトウェア)において実現されると好適である。管理センターにおいて一元管理されている地物情報学習部85は、各ナビゲーション装置1と協働する学習記憶部83からの複数の情報を用いて日照特性情報を生成し、地物情報を生成することができる。複数の学習記憶部83と、一元管理される地物情報学習部85とは、有線や無線によってネットワーク接続されていると好適である。また、メモリカードなどの記憶媒体を経由して各学習記憶部83から地物情報学習部85へ情報を伝達してもよい。さらに、各学習記憶部83と地物情報学習部85とを仲介する媒体が存在してもよい。例えば、車両のディーラーや、ナビゲーションシステムの製造元のサービスセンター、ポータブル機器上で動作するアプリケーションソフトウェアの制作元や販売元のサービスセンターなどを介して情報が伝達されてもよい。地物情報学習部85により生成された最新の地物情報は、同様の伝達経路により各ナビゲーションシステム1のナビゲーションデータベース11に提供可能である。
【0061】
図1には、地物情報学習部85が、管理センターなどにおいて一元管理されている場合のシステム構成を例示している。従って、学習データベース19B(19)も管理センターなどにおいて一元管理されている場合を例示している。学習演算部80には、この学習データベース19Bへ情報を伝達する前の情報を一時的に格納するための学習データベース19A(19)が備えられている。尚、当然ながら、地物情報学習部85は、必ずしもこのように一元管理されている必要はなく、各ナビゲーションシステム1においてそれぞれ設けられていてもよい。そして、各ナビゲーションシステム1において、各ナビゲーションデータベース11の地物情報が更新されてもよい。当然ながら、この場合には学習データベース19は1つでよい。
【0062】
以下、地物情報学習システム8による日照特性情報を含む地物情報の学習の手順について、図13及び図14のフローチャートも参照しながら説明する。地物情報学習システム8は、上述した自位置特定システム2と同様に、撮影画像取得部61と、画像認識部63と、日時情報取得部55と、推定位置情報取得部42と、地物情報取得部43と、コントラスト情報取得部51と、地物日陰情報演算部53とを備えて構成される。これらの機能部については、上述したとおりであるが、地物情報学習システム8として見た場合の機能を明確にするために、再度簡単に説明する。
【0063】
撮影画像取得部61は、カメラ16(撮影装置)により撮影された撮影画像を取得する機能部である。撮影画像には、学習対象となる地物、つまり学習地物が含まれる。画像認識部63は、撮影画像に含まれる地物の画像認識を行う機能部である。上記においては、自位置特定システム2の一部として機能する画像認識部63が、選定された対象地物のみを画像認識するものとして説明した。しかし、地物情報学習システム8の一部として機能する画像認識部63は、複数の学習地物を画像認識する。詳細は後述するが、画像認識部63は、複数の候補地物の中から選定された1つの対象地物の画像認識を行なうと共に、当該対象地物の画像認識が成功した場合には、当該対象地物とは別の候補地物である学習地物の画像認識を行う。日時情報取得部41は、現在日時を示す日時情報を取得する機能部である。推定位置情報取得部42は、自位置、特にここではカメラ16の推定位置を示す推定位置情報を取得する機能部である。
【0064】
地物情報取得部42は、探索範囲SP(所定範囲)内に存在する候補地物についての地物情報を取得する機能部である。ここでは、地物情報取得部42は、カメラ16の移動経路に沿って存在する複数の候補地物(学習地物)についての地物情報を取得する。当然ながら、範囲を限定し、探索範囲SPを定めて当該探索範囲SP内において、カメラ16の移動経路に沿って存在する候補地物の地物情報を取得しても良いし、探索範囲SPを定めることなく、順次、当該移動経路に沿った候補地物の地物情報を取得してもよい。また、固定された撮影装置により撮影画像を用いて、地物情報を学習してもよく、この場合には撮影装置の位置は固定されているので移動経路等は考慮する必要はない。コントラスト情報取得部51は、日陰と日向とのコントラストを示すコントラスト情報を取得する機能部である。また、地物日陰情報演算部53は、少なくとも地物が全て日陰に含まれる日陰状態、地物が全て日向に含まれる日向状態、地物の一部が日陰に含まれる部分日陰状態を区別可能な情報であり、地物のそれぞれについて、当該地物と日陰との位置関係を示す情報である地物日陰情報を演算する機能部である。
【0065】
これらの機能部により、図13のステップ#71〜#75に示すように、推定位置情報、地物情報、撮影画像、日時情報、日照要因情報が取得される。これらのステップは、ステップ#71が図3のステップ#01に、ステップ#72が図3のステップ#02に、ステップ#73が図3のステップ#07に、ステップ#74が図3のステップ#09に、ステップ#75が図3のステップ#20及び図4に相当するものであるから、詳細な説明は省略する。上述したように、地物選定システム5は、これらの情報を用いて、探索範囲SP内から1つの対象地物を選定する。地物学習システム8は、地物選定システム5が対象地物を選定し、画像処理システム6が当該対象地物の画像認識を実施する間、例えば探索範囲SP内の撮影画像を蓄積し、推定位置情報に関連付けて一時記憶部81に一時記憶させる。この際、日照要因情報も関連付けて一時記憶部81に一時記憶させてもよい。ここでは、探索範囲SPを一時記憶の対象としたが、上述したように、地物の学習は探索範囲SPとは無関係に実施される場合もある。従って、一時記憶部81は、撮影画像を所定期間に亘って蓄積し、推定位置情報に関連付けて一時記憶する機能部として構成されると好適である。
【0066】
画像処理システム6による対象地物の画像認識、つまり画像認識部63による対象地物の画像認識が完了すると、当該対象地物の画像認識が成功したか否かが判定される(図13#76:対象地物認識結果判定ステップ/機能)。対象地物の画像認識が成功していない場合には、地物情報学習システム8は学習処理を終了する。一方、対象地物の画像認識が成功している場合には、推定位置情報を高精度位置情報へ補正することで、対象地物とは別の候補地物が撮影画像上に存在している位置が高精度に予測できるので地物情報の学習が継続される。
【0067】
つまり、画像認識部63は、選定された1つの対象地物の画像認識を行なうと共に、推定位置情報を高精度位置情報へ補正して、撮影画像に含まれ、対象地物とは別の候補地物である学習地物の画像認識を行う。具体的には、画像認識部63は、対象地物の画像認識が成功した場合には、対象地物についての地物情報に含まれる位置情報に基づいて一時記憶部81に記憶された推定位置情報を補正する。つまり、一時記憶部81の位置情報に基づくインデックスの情報を変更する。そして、画像認識部63は、補正後の推定位置情報(高精度位置情報)に基づいて一時記憶部81から読み出される撮影画像と、候補地物情報とに基づいて、学習地物の画像認識を行う。一時記憶部81のインデックス情報は高精度位置情報に変更されているから、候補地物についての地物情報である候補地物情報に規定されている各地物の位置情報に基づいて、学習地物が含まれると推測される撮影画像を精度良く取得することができる。ステップ#76の後に継続されるこのような処理について以下に説明する。
【0068】
ステップ#76において対象地物の画像認識が成功したと判定されると、次に対象地物以外の候補地物、つまり学習地物となる地物が存在するか否かが判定される(#77:学習地物存在確認ステップ)。学習地物となる地物が存在しない場合には、当然ながら地物情報学習システム8は学習処理を終了する。一方、学習地物となる地物が1つでも存在する場合には、高精度位置情報が取得される(#81:高精度位置情報取得ステップ)。高精度位置情報は、測位システム3の位置情報補正部32によって演算されてもよいし、画像認識部63によって演算されてもよい。
【0069】
続いて、画像認識部63は、高精度位置情報に基づいて一時記憶部81から読み出された撮影画像と、候補地物情報とに基づいて学習地物の画像認識を行う(#82:学習地物画像認識ステップ)。画像認識部63による画像認識が完了すると、学習記憶部83は、日照要因情報と、学習地物の画像認識結果とを関連付けて学習データベース19に記憶する(#83:学習記憶ステップ)。学習地物は、候補地物の中で対象地物として選定されなかった地物であるから、対象地物に比べて画像認識に適さない可能性が高い地物である。しかし、高精度位置情報に基づいて一時期億部81から取得された撮影画像を用いて画像認識が実施されるので、当該地物のパターンマッチングにおける適合度が精度よく演算される。このため、単純に認識の成否のみでなく、適合度の情報を認識結果として学習記憶部83に記憶しておくと好適である。これにより、地物情報学習部85は、日照による影響、つまり日照特性情報を精度よく生成することが可能となる。
【0070】
尚、適合度とは、撮影画像から抽出された地物の特徴量と、辞書64とのマッチングにおいて一致した割合を定量的に示す値である。抽出された地物の特徴量と、辞書64とが完全に一致すれば、適合度は100%となる。例えば、この適合度が所定の適合度しきい値(例えば80%)以上の場合に、画像認識が成功したと判定される。基準認識率は、異なる撮影画像を対象して複数回、地物を画像認識した際に、適合度が適合度しきい値以上となった回数の割合である。適合度を記憶しておくことによって、画像認識の結果、適合度が適合度しきい値を下回っても、どの程度下回ったかによって、後述する地物情報学習部85は、画像認識への影響度合いを定量的に演算することが可能となる。従って、より精度の高い日照特性情報を演算することが可能となる。尚、カメラ16が固定された撮影装置である場合には、対象地物の画像認識によって高精度位置情報を求めなくても、位置情報の精度が高い場合がある。そのような場合には、対象地物の画像認識は不要であり、探索範囲SP内の地物を画像認識して学習すればよい。
【0071】
上述したようにして、学習データベース19に日照要因情報と学習地物の画像認識結果とが関連づけられて蓄積される。地物情報学習部85は、学習データベース19に蓄積された情報に基づいて日照特性情報を生成し、地物情報を構成する情報として格納する。日照特性情報の生成には、学習データベース19に所定量以上の情報が蓄積されていることが求められる。従って、情報が所定量に達したことを自動的に判定して、あるいは所定の時期ごとに、あるいは人為的な指示により、学習データベース19に蓄積された情報に基づいて、日照特性情報が生成される。一例として、上述したようにして集積された適合度を統計解析して、日照特性情報が演算されると好適である。つまり、日照要因情報のそれぞれに対して、適合度を分類・集積し、集積された適合度と、適合度しきい値や当該地物の平均的な適合度や目標適合度との差に応じて、画像認識への影響の度合いを演算し、日照特性情報が生成されると好適である。図14に示すように、ナビゲーションデータベースの生成指示の有無が判定され(#91)、生成指示がある場合に日照特性情報が生成される(#92)。そして、生成された日照特性情報を、地物情報を構成する情報として地物情報に組み込み、地物情報を更新する。更新された地物情報をナビゲーションデータベース11に格納することによって学習が完了する(#93)。
【0072】
〔その他の実施形態〕
以下、その他の実施形態について説明する。なお、以下に説明する各実施形態の構成は、それぞれ単独で適用されるものに限られず、矛盾が生じない限り、他の実施形態の構成と組み合わせて適用することも可能である。
【0073】
(1)上記実施形態においては、例えば図5を利用して説明したように、日照要因情報としてコントラスト情報と、ハレーション情報と、地物日陰情報とを用いて日照による画像認識への影響を判定する例を示した。しかし、例えばハレーション情報を用いることなく、コントラスト情報と地物日陰情報とを日照要因情報として日照による画像認識への影響を判定してもよい。当業者であれば、図5に例示したフローチャートからハレーション情報に関する処理を除けば容易に実現可能であるから、詳細な説明は省略する。
【0074】
(2)上記実施形態においては、地物日陰情報が「日陰」、「日向」、「部分日陰」を区別可能な情報を有する場合を例示したが、本発明はこれに限定されるものではない。例えば、部分日陰であるか否かのみを表す情報であってもよい。日陰及び日向の場合には、撮影画像の明るさは一様であるが、部分日陰の場合には大きく明るさが変化することになる。従って、撮影画像のコントラストが大きい場合には画像認識への影響が大きくなる。従って、地物日陰情報が部分日陰であるか否かのみを示す情報であっても、地物選定における効果は大きい。一例として、対象地物選定部58が、地物日陰情報が部分日陰を示す候補地物の優先度を下げて対象地物を選定するようにすることもできる。当業者であれば、図5に例示したフローチャートにおいて、地物日陰情報に関する処理を部分日陰のみに改変して容易に実現可能であるから、詳細な説明は省略する。
【0075】
(3)上記実施形態においては、図5、図9等に例示したように地物情報に含まれる日照特性情報を利用して、日照による画像認識への影響を判定する例を示した。しかし、日照特性情報を考慮することなく、日照による画像認識への影響が判定されてもよい。具体的には、図5においてステップ#32の後、ステップ#33を経ることなくステップ#34へ進んでもよい。
【0076】
(4)上記実施形態においては、ナビゲーションデータベース11が、日陰を形成する要因となる立体物の位置情報及び形状情報を少なくとも含む立体物情報を格納した立体物データベース11bを備えて構成される例を示した。そして、探索範囲SP(所定範囲)内に存在する複数の立体物についての立体物情報は、立体物情報取得部44により取得され、地物日陰情報演算部53は、立体物情報と日時情報に基づく太陽の位置とに基づいて地物日陰情報を演算する形態を例示した。しかし、地物選定システム4及び地物情報学習システム8は、立体物データベース11bから読み出される立体物情報を用いることなく、地物日陰情報を演算して取得してもよい。
【0077】
例えば、撮影画像をモザイク化するなどの画像処理を施し、撮影画像における輝度の分布や変化に基づいて、日照状態を検出する日照状態検出部55が備えられていてもよい。また、図8の下段に示すように、車両100やカメラ16に照度センサ17が搭載され、車両100やカメラ16の移動に伴って照度センサ17により検出された照度に基づいて、日照状態検出部55が照度の変化を検出してもよい。図8において符号Lは輝度が高く明るいことを示しており、符号Dは輝度が低く暗いことを示している。これにより、各地物が明るい領域に存在するか暗い領域に存在するかを判定することができる。つまり、地物情報に含まれる位置情報により、当該地物が明るい領域に存在する場合には、地物日陰情報が「日向」と演算される。また、当該地物が暗い領域に存在する場合には、地物日陰情報が「日陰」と演算される。また、地物情報に含まれる位置情報により地物が存在する領域の途中で、明るい領域から暗い領域、又は暗い領域から明るい領域へと変化する場合には、「部分日陰」と演算される。
【0078】
(5)上記実施形態においては、例えば自位置の情報としての車両100やカメラ16(撮影装置)の推定位置を示す推定位置情報を取得し、この推定位置情報に基づいて候補地物の存在する範囲となる所定範囲(探索範囲SP)を設定する手順を例示した。しかし、この手順に限定されることなく、進路変更する位置や任意の位置を基準として探索範囲SPが設定されてもよい。
【0079】
(6)上記実施形態においては、複数の候補地物から対象地物を選定する際に、基準認識率を用いる例を示して説明した。しかし、基準認識率を用いることなく、対象地物が選定されてもよい。例えば、図5や図10及び図11に示したように、複数のグループに分類した場合には、選択されたグループに属する地物の内、撮影装置に近い地物を対象地物として選定してもよい。また、予め地物の種別によって優先順位を定めておき、選択されたグループに属する地物から当該優先順位に従って、対象地物を選定してもよい。図12に示したように、認識率の低下の程度を演算する場合には、認識率の低下が少ない地物を優先して対象地物を選定すると好適である。認識率の低下量が同じ地物が複数存在する場合には、グループに分類した時と同様に優先順位をつけることが可能である。
【0080】
(7)上記実施形態においては、ナビゲーションシステムを適用例として説明したが、地物選定システムは、当然ながらナビゲーションシステム以外の用途においても利用可能である。例えば、写真から行政区画を認識するような画像認識システムや、駐車区画の空き状態を認識するための画像認識システムにおいて、認識に用いる地物を選定する用途として利用することができる。
【産業上の利用可能性】
【0081】
以上説明したように、本発明は、予め存在が把握されている複数の地物の中から画像認識の対象とする対象地物を選定する地物選定システムに適用することができる。また、本発明は、画像認識の対象となる地物に関する情報である地物情報を学習する地物情報学習システムに適用することができる。また、本発明は、このような地物選定システムにより選定された地物を画像認識する画像認識システムに適用することもできる。さらに、本発明は、そのような画像認識システムの認識結果に基づいて、位置を特定する自位置特定システムにも適用することができる。さらに、本発明は、そのような自位置特定システムにより特定された自位置に基づいて、経路などを案内するナビゲーションシステムに適用することもできる。
【符号の説明】
【0082】
5:地物選定システム
8:地物情報学習システム
11f:地物データベース
11b:立体物データベース
19,19A,19B:学習データベース
41:日時情報取得部
42:推定位置情報取得部
43:地物情報取得部
44:立体物情報取得部
51:コントラスト情報取得部
52:ハレーション情報取得部
53:地物日陰情報演算部
55:日照状態検出部
58:対象地物選定部
61:撮影画像取得部
63:画像認識部
80:学習演算部
81:一時記憶部
83:学習記憶部
85:地物情報学習部
200,201,202,203:立体物
f,f1〜f6:地物
SP:探索範囲(所定範囲)
SH,SH1,SH2,SH3:影
【技術分野】
【0001】
本発明は、画像認識の対象となる地物に関する情報である地物情報を学習する地物情報学習システム、地物情報学習プログラム及び地物情報学習方法に関する。
【背景技術】
【0002】
人や車両などの進路を案内するナビゲーションシステムが、広く活用されている。このようなナビゲーションシステムでは、GPS(global positioning system)を利用した測量により得られた位置情報や、デッドレコニング(Dead-Reckoning)技術を利用して得られた相対的な位置情報を用いて進路を案内する。また、GPSを利用した測量やデッドレコニングにより得られる位置情報に含まれる誤差を抑制し、位置情報のさらなる精度向上を狙って、画像処理により位置情報が演算される場合がある。例えば、予め存在位置が把握されている路上のペイント(道路標示)や看板、標識などの地物を、撮影画像中から画像認識することによって位置情報が演算される。特開2008−299650号公報(特許文献1)には、そのような地物を画像認識することによって高精度な自位置情報を取得し、この高精度な自位置情報に基づいて経路案内等のナビゲーション処理を行うナビゲーションシステムが例示されている(第67段落等)。
【0003】
但し、一般的に画像認識には比較的高い演算負荷を要するため、撮影画像中に存在すると想定される全ての地物を画像認識することは現実的ではない。そこで、特許文献1では、画像認識処理に用いるのに適した地物を適切に選定(抽出)することによって、誤認識を抑制すると共に効率的に画像認識を行うようにしている(第5段落、要約等)。例えば、かすれがひどく画像認識に適さない地物や、画像認識の成功確率を示す認識率が低い地物を除外して、最も認識しやすい地物が選定される(第102〜204段落等)。しかし、画像認識では、認識対象となる画像の明るさの違いなど、例えば日照による認識結果への影響も小さくはない。従って、画像認識を実施する時点における日照の状況等を考慮すれば、上記地物とは異なる地物の方が、画像認識の対象として最適な場合も有り得る。この点に鑑みて、予め存在が把握されている複数の地物の中から画像認識の対象とする対象地物を選定するに際して、画像認識処理を実施する時点における日射の状況も効果的に反映して、より最適な対象地物を選定すると好適である。そして、対象地物の選定に際して、日射の状況も効果的に反映するためには、各地物において当該地物を画像認識する際の日射の影響を示す情報を含む地物情報を整備することが望ましい。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開2008−299650号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
上記背景に鑑みて、画像認識を実施する時点における日照の状況も効果的に反映して、画像認識を行うために、画像認識する際の日射の影響を示す情報を含む地物情報を整備する技術が望まれる。
【課題を解決するための手段】
【0006】
画像認識の対象となる地物に関する情報である地物情報を学習する地物情報学習システムであって、
撮影画像を取得する撮影画像取得部と、
前記撮影画像に含まれる前記地物の画像認識を行なう画像認識部と、
少なくとも地物が全て日陰に含まれる日陰状態、地物が全て日向に含まれる日向状態、地物の一部が日陰に含まれる部分日陰状態を区別可能な情報であり、前記地物のそれぞれについて、当該地物と日陰との位置関係を示す情報である地物日陰情報を演算する地物日陰情報演算部と、
日陰と日向とのコントラストを示すコントラスト情報を取得するコントラスト情報取得部と、
前記地物日陰情報と前記コントラスト情報とを含む日照要因情報と、前記画像認識部による前記地物の画像認識結果とを関連付けて学習データベースに記憶する学習記憶部と、
前記学習データベースに記憶された情報に基づいて、前記地物のそれぞれについての、日照による画像認識への影響の度合いを示す日照特性情報を生成し、前記地物のそれぞれについての前記地物情報を構成する情報として格納する地物情報学習部と、
を備える点にある。
【0007】
地物の画像認識は、撮影画像に対してエッジ抽出やパターンマッチング等の公知の画像処理を施すことによって実施される場合が多い。例えばエッジ抽出は、隣接する画素、あるいは画素群の示す輝度や濃度などの画素値の差や勾配などに応じて演算される。このため、画像認識の対象となる地物と地物の背景との画素値の差の他に、日向と日陰との画素値の差などが生じると、エッジ抽出が不正確となる可能性がある。また、エッジ検出が不正確となると、その後に実施されるパターンマッチングなどの成功率も低下する可能性がある。特に、対象地物の候補となる地物(候補地物)と日陰との位置関係によって画像認識の成功率が異なる。また、日向と日陰との画素値の差、つまりコントラストによっても画像認識の成功率が異なる。学習記憶部は、このように画像認識に対して影響の大きい、地物日陰情報(候補地物と日陰との位置関係を示す情報)とコントラスト情報とを含む日照要因情報と、画像認識部による画像認識結果とを関連付けて学習データベースに記憶する。また、地物情報学習部は、学習データベースに記憶された情報に基づいて、画像認識への影響の度合いを示す日照特性情報を生成し、地物情報を構成する情報として格納する。従って、上記のような画像認識の成功率に影響を及ぼす情報を含む地物情報が良好に整備される。
【0008】
ところで、地物情報は、例えば、情報収集専用の車両などを走行させて収集することも可能であるが、実際にその地物情報を用いて地物を画像認識する画像認識システムと協働して収集することも可能である。一般的に、地物を画像認識して、位置情報の精度を向上させる場合には、画像認識の対象となる対象地物が複数の候補地物の中から選択される場合が多い。つまり、対象地物に対する画像認識が行われる際には、他の地物についても、その存在位置や、種別などの情報が取得されており、さらには当該他の地物が含まれる撮影画像も取得されているから、地物情報の収集に際して効率がよい。また、対象地物の画像認識が成功すれば、位置の情報はより高精度な情報となるから、対象地物以外の地物、つまり学習地物の存在位置も精度よく把握可能となる。その結果、高い精度で効率的に地物情報を整備することが可能となる。
【0009】
そのような1つの態様として、本発明に係る地物情報学習システムは、
前記撮影画像を撮影する撮影装置と、
前記撮影装置の推定位置を示す推定位置情報を取得する推定位置情報取得部と、
前記撮影画像を所定期間に亘って蓄積し、前記推定位置情報に関連付けて一時記憶する一時記憶部と、
前記地物の位置情報を少なくとも含む前記地物情報を格納した地物データベースに接続し、前記撮影装置の移動経路に沿って存在する複数の候補地物についての前記地物情報である候補地物情報を取得する地物情報取得部と、を備え、
前記画像認識部は、複数の前記候補地物の中から選定された1つの対象地物の画像認識を行なうと共に、前記対象地物の画像認識が成功した場合には、前記対象地物についての前記地物情報に含まれる位置情報に基づいて前記一時記憶部に記憶された前記推定位置情報を補正し、当該補正後の前記推定位置情報に基づいて前記一時記憶部から読み出される前記撮影画像と、前記候補地物情報とに基づいて、前記撮影画像に含まれる前記対象地物とは別の前記候補地物である学習地物の画像認識を行い、
前記学習記憶部は、当該画像認識の結果と前記日照要因情報とを関連付けて学習データベースに記憶するように構成されると好適である。
【0010】
ところで、地物日陰情報とコントラスト情報とを含む日照要因情報と、画像認識部による画像認識結果とを関連付けて学習データベースに記憶するためには、地物のそれぞれについて、当該地物と日陰との関係を示す情報である地物日陰情報を良好に演算する必要がある。そして、画像認識部は、この地物日陰情報を加味して、各学習地物の画像認識を行う必要がある。このため、1つの態様として、本発明に係る地物情報学習システムは、前記撮影装置の移動経路に沿った位置を示す経路位置情報に関連付けて各位置での日照状態を検出する日照状態検出部を備え、前記地物日陰情報演算部が、前記日照状態検出部の検出結果と、前記地物情報に含まれる前記地物の位置情報とに基づいて、前記地物のそれぞれについての前記地物日陰情報を演算し、前記画像認識部が、前記学習地物についての前記地物情報に含まれる位置情報と、前記補正後の前記推定位置情報とに基づいて、前記一時記憶部に記憶された前記撮影画像に含まれる前記学習地物の画像認識を行なうと好適である。
【0011】
上述した本発明に係る地物情報学習システムの種々の技術的特徴は、地物情報学習プログラムや、地物情報学習方法にも適用可能である。従って、本発明は、そのような地物情報学習プログラムや、地物情報学習方法も権利の対象とすることができる。例えば、本発明に係る地物情報学習プログラムは、上述した地物情報学習システムの特徴を備えた各種の機能をコンピュータに実現させることが可能である。以下にその代表的な態様を例示する。当然ながらこのような地物情報学習プログラムも、上述した地物情報学習システムの作用効果を奏することができる。さらに、地物情報学習システムの好適な態様として例示した種々の付加的特徴をこの地物情報学習プログラムに組み込むことも可能であり、当該プログラムはそれぞれの付加的特徴に対応する作用効果も奏することができる。本発明に係る地物情報学習方法についても同様である。
【0012】
1つの態様として、本発明に係る地物情報学習プログラムは、
画像認識の対象となる地物に関する情報である地物情報を学習する地物情報学習プログラムであって、
撮影画像を取得する撮影画像取得機能と、
前記撮影画像に含まれる前記地物の画像認識を行なう画像認識機能と、
少なくとも地物が全て日陰に含まれる日陰状態、地物が全て日向に含まれる日向状態、地物の一部が日陰に含まれる部分日陰状態を区別可能な情報であり、前記地物のそれぞれについて、当該地物と日陰との位置関係を示す情報である地物日陰情報を演算する地物日陰情報演算機能と、
日陰と日向とのコントラストを示すコントラスト情報を取得するコントラスト情報取得機能と、
前記地物日陰情報と前記コントラスト情報とを含む日照要因情報と、前記画像認識機能により実現された前記地物の画像認識結果とを関連付けて学習データベースに記憶する学習記憶機能と、
前記学習データベースに記憶された情報に基づいて、前記地物のそれぞれについての、日照による画像認識への影響の度合いを示す日照特性情報を生成し、前記地物のそれぞれについての前記地物情報を構成する情報として格納する地物情報学習機能と、
をコンピュータに実現させるものであると好適である。
【0013】
また、1つの態様として、本発明掛かる地物情報学習方法は、
画像認識の対象となる地物に関する情報である地物情報を学習する地物情報学習方法であって、
撮影画像を取得する撮影画像取得ステップと、
前記撮影画像に含まれる前記地物の画像認識を行なう画像認識ステップと、
少なくとも地物が全て日陰に含まれる日陰状態、地物が全て日向に含まれる日向状態、地物の一部が日陰に含まれる部分日陰状態を区別可能な情報であり、前記地物のそれぞれについて、当該地物と日陰との位置関係を示す情報である地物日陰情報を演算する地物日陰情報演算ステップと、
日陰と日向とのコントラストを示すコントラスト情報を取得するコントラスト情報取得ステップと、
前記地物日陰情報と前記コントラスト情報とを含む日照要因情報と、前記画像認識ステップによる前記地物の画像認識結果とを関連付けて学習データベースに記憶する学習記憶ステップと、
前記学習データベースに記憶された情報に基づいて、前記地物のそれぞれについての、日照による画像認識への影響の度合いを示す日照特性情報を生成し、前記地物のそれぞれについての前記地物情報を構成する情報として格納する地物情報学習ステップと、
を備えるものであると好適である。
【図面の簡単な説明】
【0014】
【図1】ナビゲーションシステムのシステム構成を模式的に示すブロック図
【図2】ナビゲーションデータベースのレイヤ構造の一例を示す説明図
【図3】地物選定の全体の手順の一例を模式的に示すフローチャート
【図4】日照要因情報を取得する手順の一例を模式的に示すフローチャート
【図5】画像認識への影響度合いを演算する手順の一例を模式的に示すフローチャート
【図6】対象地物を選定する手順の一例を模式的に示すフローチャート
【図7】所定範囲内に存在する地物の一例を示す説明図
【図8】地物に掛かる影の一例を示す説明図
【図9】候補地物の地物情報の一例を示す相関図
【図10】日照要因に応じて地物を選定する例を示す図
【図11】図10とは異なる日照要因に対して地物を選定する例を示す図
【図12】図10と同じ日照要因に応じて異なる手法で地物を選定する例を示す図
【図13】地物情報を学習する手順の一例を模式的に示すフローチャート
【図14】日照特性情報を生成する手順の一例を模式的に示すフローチャート
【発明を実施するための形態】
【0015】
以下、本発明の実施形態を、車両用のナビゲーションシステムにおいて、車両の位置情報の精度を向上させるために路面のペイント(道路標示)などの地物を画像認識する地物認識システムを例にして説明する。以下においては、地物として道路標示を例示して説明するが、路側に設置されたり、道路を跨いで懸架されたりした道路標識などの看板も含め、地上との相対位置が固定されている設置物も地物とすることができる。また、以下においては、このような地物認識システムを備えた車両用のナビゲーションシステムを例として説明するが、このナビゲーションシステムは車両に固定的に搭載されたいわゆる車載ナビゲーションシステムに限らず、任意に移動可能なポータブルナビゲーションシステムであってもよい。また、携帯電話機や、デジタルカメラ等のポータブル機器にアプリケーションとして搭載されたナビゲーションシステムであってもよい。
【0016】
〔ナビゲーションシステム〕
図1は、このようなナビゲーションシステムのシステム構成を模式的に示すブロック図である。図1に示すように、ナビゲーションシステム1は、自位置特定システム2と、ガイドシステム7とを備えて構成されている。ガイドシステム7は、ナビゲーションシステム1の案内機能の中核となるシステムであり、ナビゲーションシステム1の存在する位置(自位置)に基づいて、目的地までの経路案内や自位置における種々の情報提供を実施する。自位置特定システム2は、ナビゲーションシステム1の存在する位置(自位置)を特定するシステムであり、GPS(global positioning system)による測量やデッドレコニング(Dead-Reckoning)による自律制御を利用して自位置を演算する測位システム3、上述した地物を認識して自位置を演算する地物認識システム4を備えて構成されている。
【0017】
尚、「自位置」は、各システム、特にナビゲーションシステム1において定義され、ナビゲーションシステム1による案内を受けるユーザーが認知でき、案内結果を好適に利用できる位置である。例えば、ナビゲーションシステム1が車両に固定的に搭載された車載ナビゲーションシステムであり、ユーザーが当該車両の搭乗者である場合には、「自位置」は、ナビゲーションシステム1の位置であり、当該車両の位置であり、車載カメラなどの撮影装置の位置であり、ユーザーの位置である。ナビゲーションシステム1が、ポータブルナビゲーションシステムである場合には、「自位置」は、少なくともナビゲーションシステム1の位置であり、当該ポータブルナビゲーションシステムを携帯するユーザーの位置である。当該ポータブルナビゲーションシステムにカメラ(撮影装置)が付属されている場合には、当該カメラの位置も「自位置」である。また、ポータブルナビゲーションシステムが、車両に持ち込まれている場合には、当然ながら、「自位置」に当該車両の位置が含まれる。さらに、ポータブルナビゲーションシステムが、当該車両に搭載された車載カメラなどの撮影装置による撮影画像を取得可能な場合には、当該車載カメラの位置も自位置に含まれる。携帯電話機や、デジタルカメラ等のポータブル機器にアプリケーションとして搭載されたナビゲーションシステムの「自位置」も、ポータブルナビゲーションシステムと同様であるから、詳細な説明は省略する。
【0018】
地物認識システム4は、地物選定システム5と、画像処理システム6とを備えて構成されている。地物選定システム5は、予め存在位置が把握されている複数の地物から、画像処理システム6による画像認識の対象となる対象地物を選定するシステムである。また、画像処理システム6は、地物選定システム5により選定された対象地物を画像認識するシステムである。本実施形態において、自位置は、まず、測位システム3の推定位置演算部31において推定される。ここでは、この自位置を「推定位置情報」と称する。この推定位置情報は、地物認識システム4による対象地物の認識結果に基づき、測位システム3の位置情報補正部32において高精度な自位置を示す「高精度位置情報」に補正される。ガイドシステム7は、少なくとも推定位置情報を用いて、より好適には高精度位置情報を用いて、目的地までの経路案内や自位置における種々の情報提供を実施する。
【0019】
本実施形態において、ナビゲーションシステム1は、マイクロコンピュータやDSP(digital signal processor)などの演算処理装置を中核部材として構成されている。つまり、演算処理装置をはじめ、メモリやディスク装置などの記憶媒体、周辺ICなどのハードウェアと、当該ハードウェア上で用いられるプログラムやパラメータなどのソフトウェアとの協働によって、ナビゲーションシステム1が構成される。ナビゲーションシステム1を構成する上述した各システム2〜7や、後述する地物情報学習システム8についても同様である。
【0020】
図1に示すように、ナビゲーションシステム1は、ナビゲーションデータベース(ナビゲーションDB)11を備えている。例えば、ナビゲーションデータベース11は、光ディスク装置や磁気ディスク装置、SSD(solid state drive)などによって実現される。本実施形態において、ナビゲーションデータベース11は、所定の領域毎に分けられた複数の地図情報と、この地図情報に関連付けられた複数の地物情報とが少なくとも格納されたデータベースである。ナビゲーションデータベース11は、図2に示すように、レイヤ構造を有して構築されている。本実施形態では、道路ネットワークレイヤm1、道路形状レイヤm2、地物レイヤm3がナビゲーションデータベース11に格納されている例を示している。
【0021】
道路ネットワークレイヤm1は、道路間の接続情報を示すレイヤである。具体的には、緯度及び経度で表現された地図上の位置情報を有する多数のノードnの情報と、2つのノードnを連結して道路を構成する多数のリンクkの情報とを有して構成されている。また、各リンクkは、そのリンク情報として、道路の種別(高速道路、有料道路、国道、県道等の種別)やリンク長さ等の情報を有している。また、道路形状レイヤm2は、道路ネットワークレイヤm1に関連付けられて格納され、道路の形状を示すレイヤである。具体的には、2つのノードnの間(リンクk上)に配置されて緯度及び経度で表現された地図上の位置情報を有する多数の道路形状補完点sの情報や道路幅の情報等を有して構成されている。これらの道路ネットワークレイヤm1及び道路形状レイヤm2に格納された情報により、地図情報が構成される。
【0022】
地物レイヤm3は、道路ネットワークレイヤm1及び道路形状レイヤm2に関連付けられて構成され、道路上や道路周辺に設けられた各種の地物の情報、すなわち地物情報Fが格納されているレイヤである。この地物レイヤm3に地物情報Fが格納される地物には、道路の路面に設けられた道路標示が含まれている。このような道路標示に係る地物としては、例えば、横断歩道、停止線、各車線の進行方向を指定する進行方向別通行区分標示(直進矢印、右折矢印等)、交差点形状標示(十字マーク、T字マーク等)、道路に沿って車線を分ける区画線(実線、破線、二重線等)、速度表示、ゼブラゾーン等の各種のペイント標示が含まれる。なお、地物情報Fが格納される地物としては、このような道路標示のほか、信号機、標識、陸橋、トンネル等の各種の地物も含めることができる。このように、ナビゲーションデータベース11には、詳細な地物情報Fが格納されている。ナビゲーションデータベース11は、少なくとも図1に示すように、地図データベース11mと地物データベース11fとを備えて構成されているということもできる。尚、本実施形態においては、ナビゲーションデータベース11には、後述する立体物データベース11bも構築され、立体物情報も格納されている。図示は省略するが、上述した各レイヤm1〜m3に加えて、立体物情報が格納された立体物レイヤが備えられていてもよい。
【0023】
地物情報Fは、少なくとも地物が存在する位置についての位置情報を含む情報である。この位置情報は、各地物の代表点の地図上の位置(緯度及び経度)及び各地物の向きの情報を有している。地物の代表点は、例えば、各地物の長さ方向及び幅方向の中心位置に設定される。また、地物情報Fは、各地物の属性情報を含んでいる。本実施形態においては、属性情報は、地物種別、地物の形態、地物の状態、認識特性の情報を含んでいる。地物種別の情報は、各地物の種別を表す情報であり、基本的には同じ形状の地物が1つの種別として規定されている。例えば、地物種別の情報は、直進矢印、右折矢印、十字マーク、T字マーク、停止線、横断歩道等の道路標示の具体的な種別を表す情報となる。地物の形態の情報は、各地物の形状、大きさ、色彩等の情報を有している。地物の状態の情報は、現実の各地物のかすれの状態等のような各地物の画像認識処理に影響を与える地物の状態の情報を有している。また、認識特性の情報として、本実施形態では、日照特性情報と、基準認識率の情報とを有している。日照特性情報は、各地物の、日照による画像認識への影響の度合いを示す特性の情報である。基準認識率の情報は、各地物に対する画像認識の平均的な成功確率を示す情報である。
【0024】
上述したように、ナビゲーションシステム1は、自位置特定システム2と、ガイドシステム7とを備えて構成されており、ガイドシステム7は自位置特定システム2により特定された自位置の情報を用いて、経路案内などを実施する。自位置特定システム2は、測位システム3と、地物認識システム4とを備えて構成されており、地物認識システム4は、地物選定システム5と、画像処理システム6とを備えて構成されている。地物選定システム5で選定された対象地物を画像処理システム6により画像認識することによって、測位システム3は、測位結果に含まれる誤差を補正して高精度位置情報を得る。
【0025】
本実施形態においては、測位システム3は、推定位置演算部31と位置情報補正部32とを備えて構成されており、まず、推定位置演算部31によって、推定位置情報が演算されて取得される。図1に示すように、推定位置演算部31は、GPS受信機12、方位センサ13、及び距離センサ14と接続されている。尚、推定位置演算部31は、現在位置の情報を蓄積することによって、車両の進行方位や移動速度等の情報も取得することができる。位置情報補正部32は、推定位置情報をより高精度な位置に関する情報を用いて補正し、ガイドシステム7に提供する。そのような高精度な位置に関する情報が得られなかった場合、例えば、画像処理システム6によって地物が認識されなかったような場合には、そのまま推定位置情報をガイドシステム7に提供する。
【0026】
尚、常に高精度位置情報が演算され、ガイドシステム7に利用される必要はない。例えば、ナビゲーションシステム1の上位の制御機能部(ソフトウェアを含む)により、高精度位置情報が要求された場合にのみ、高精度位置情報が演算される構成であってもよい。一般的に、画像処理は演算負荷が高いため、常に高精度位置情報を得るための演算が可能なシステムを構築することは現実的ではない場合がある。従って、推定位置演算部31による位置情報に含まれると想定される累積誤差が所定のしきい値を超えるなどの一定の条件を満たした場合に、地物認識システム4を活用して高精度位置情報が演算されると好適である。また、進路変更点など高精度な案内が必要であったり、停止線における制動補助を行うために高精度な位置情報が必要であったりする場合には、位置情報に含まれる累積誤差に拘わらず、優先的に地物認識システム4を活用して高精度位置情報が演算されてもよい。
【0027】
ところで、画像処理、特に画像認識は一般的に演算負荷の大きい処理であるため、存在が把握されている全ての地物を認識することは、演算時間や、演算装置の性能及び規模の点から現実的ではない。このため、地物認識システム4は、対象地物の候補となる候補地物の中から画像認識の対象となる対象地物を選定するための地物選定システム5を備えて構成されている。本実施形態において、地物選定システム5は、測位システム3の推定位置演算部31により演算された推定位置情報を用いて、認識対象となる対象地物を選定する。図1に示すように、地物選定システム5は、日時情報取得部41と、推定位置情報取得部42と、地物情報取得部43と、立体物情報取得部44と、コントラスト情報取得部51と、ハレーション情報取得部52と、地物日陰情報演算部53と、対象地物選定部58とを備えた選定演算部50を備えて構成されている。また、地物選定システム5は、選定演算部50に加え、画像処理システム6と共有する撮影画像取得部61も備えて構成されている。以下、図3〜図6のフローチャートも利用して、対象地物を選定する手順の一例を説明する。上述した各機能部、及びその他の付随する機能部の詳細な説明は、以下における対象地物を選定する手順の説明の中で適宜実施する。
【0028】
〔対象地物の選定(地物選定システム)〕
ナビゲーションシステム1の上位の制御機能部(ソフトウェアを含む)により、高精度位置情報が要求されると、推定位置情報取得部42により推定位置情報が取得される(図3#01:推定位置情報取得ステップ/機能)。推定位置情報が示す「自位置」は、上述したように「種々の対象の位置」とすることができるが、撮影画像を用いて地物を認識する際の「自位置」であるから、ここでは、少なくとも画像認識に用いる撮影画像を撮影する撮影装置の推定位置を示す情報である。本実施形態において、撮影装置は図1に示すカメラ16である。カメラ16は、CCD(charge coupled device)やCIS(CMOS image sensor)などの撮像素子を用いて、毎秒15〜30フレームの2次元画像を時系列に撮影し、デジタル変換して動画データ(撮影画像)をリアルタイムに出力する。カメラ16は、例えば水平方向に140〜190°の視野角が確保されている広角カメラであり、その光軸に30度程度の俯角を有して車両に設置され、車両からおおよそ8m程度までの領域を撮影可能である。カメラ16が車両の後方を撮影する後方カメラとして車両の後部バンパーや背面ドアなどに設置された場合には、カメラ16は車両の後方の路面を含む画像を撮影画像として出力する。尚、撮影装置として、車両の前方を撮影する前方カメラが備えられ、当該前方カメラの撮影画像が用いられてもよい。このような前方カメラは、上述した後方カメラよりも光軸を上向きにして設置されている場合が多く、道路標識など、道路標示とは異なる地物も良好に視野に含むことができる。また、当然ながら、前方カメラ及び後方カメラ双方の撮影画像が用いられてもよい。
【0029】
地物情報取得部43は、推定位置情報に基づいて、画像認識の対象となる対象地物の候補となる候補地物を探索する範囲である所定範囲(探索範囲)を設定する(探索範囲設定ステップ/機能)。図7は、探索範囲SPの中の地物fの一例を示している。ここでは、予め存在が把握されている地物として、地物f1〜f6の6つの地物が探索範囲SPの中に含まれる例を示している。続いて、地物情報取得部43は、地物データベース11f(ナビゲーションデータベース11)から、探索範囲SP(所定範囲)内に存在する複数の候補地物についての地物情報Fである候補地物情報を取得する(図3#02:地物情報取得ステップ/機能)。尚、本実施形態の場合には、推定位置情報に基づいて探索範囲SPを設定し、探索範囲SPの中に存在する地物fを候補地物として、候補地物の地物情報F(候補地物情報)を取得している。従って、地物情報取得部43により実施される地物情報取得ステップ(機能)は、探索範囲設定ステップ(機能)を含めて、推定位置情報に基づいて、カメラ16の進行方向の探索範囲SP(所定範囲)内に存在する地物fを候補地物として地物データベース11fから候補地物情報を取得するということもできる。
【0030】
候補地物の地物情報Fを取得すると、候補地物の中から対象地物を選定する対象地物選定部58は、対象地物の選定が必要か否かを判定する(図3#03:選定要否判定ステップ/機能)。探索範囲SP内に候補地物が存在しなければ選定は必要ではないので、選定処理を終了する。尚、厳密には、候補地物が1つの場合にも、選定は必要なく当該1つの候補地物を対象地物とすれば足りる。しかし、本実施形態では、少なくとも一般的な条件に基づく画像認識に対する適合性の評価を経た後に対象地物を決定することとする。従って、候補地物が1つの場合にも、対象地物の選定が必要と判定される。
【0031】
ステップ#03において、対象地物の選定が必要と判定されると、対象地物選定部58は、一般条件に基づいて候補地物を絞り込む。つまり、対象地物選定部58は、探索範囲SP内に存在が把握されている地物fの中から候補地物を選定する(図3#04:候補地物選定ステップ/機能)。地物情報Fには、地物fに関する情報として、地物の状態、例えば道路標示のかすれ具合なども含まれている。かすれが大きい地物fでは、当該地物fを対象地物としても、画像認識を失敗したり、他の地物と誤認識したりする可能性が高くなるため、認識対象とはしないほうが好ましい場合がある。従って、対象地物選定部58は、かすれ状態などの一般条件に基づいて、探索範囲SPの中の候補地物を選定する。また、図7に示す菱形形状の横断歩道予告を示す地物f3及び地物f4は、2つ連続した地物である。このような地物fは、より認識精度を向上させるために、組み合わせて地物セットg1(g)とすると好適である。対象地物選定部58は、組み合わせ条件などの一般条件に基づいて、探索範囲SPの中の地物を地物セットgに再編して候補地物と選定してもよい。
【0032】
続いて、対象地物選定部58は、選定した候補地物が複数存在するか否かを判定する(図3#05)。候補地物が複数存在しない場合には、次に候補地物が1つであるかゼロであるかが判定される(#06)。候補地物がゼロの場合には、対象地物となる地物fが存在しないことになるので、地物選定システム5全体の処理が終了される。候補地物が1つの場合には選択の余地はないので、対象地物選定部58は、当該候補地物を対象地物に選定する(#08)。一方、候補地物が複数存在する場合には、対象地物選定部58は、対象地物選定のための判定を休止し、選定に必要な種々の情報の演算や取得を、地物選定システム5を構成する他の機能部、特に選定演算部50の他の機能部に委ねる。具体的には、撮影画像、日時情報、日照要因情報などの種々の情報が取得され、画像処理に対する日照の影響を考慮して対象地物が選定される。以下、これら種々の情報の取得、並びに日照の影響を考慮した対象地物の選定について説明する。尚、以下のステップ#07、ステップ#09、ステップ#20に示す種々の情報の取得の順序は説明のために便宜的に定めた一例であり、他の順序であっても問題はない。
【0033】
まず、図1に示すように、画像処理システム6の機能部でもある撮影画像取得部61により、カメラ16の撮影画像が取得される(図3#07:撮影画像取得ステップ/機能)。上述したように、カメラ16は、時系列に撮影された毎秒15〜30フレームの2次元画像を動画データとして出力するので、不図示のフレームメモリ等に所定数のフレームが一時記憶されると好適である。この際、方位センサ13や距離センサ14による検出結果を利用して、車両と共に移動するカメラ16の単位移動量に応じて適宜フレームが間引かれて記憶されると、フレームメモリの容量を抑制することができる。尚、このフレームメモリとして、後述する地物学習システム8の一時記憶部81を活用してもよい。次に、日時情報取得部41により現在日時を示す日時情報が取得される(図3#09:日時情報取得ステップ/機能)。この日時情報は、図1に示すように、GPS受信器12により受信されたGPS信号に基づいて取得されると好適である。
【0034】
続いて、選定演算部50を構成する種々の機能部により、日照要因情報が取得される(図3#20:日照要因情報取得ステップ/機能)。日照要因情報とは、画像処理システム6の画像認識部63による地物fの画像認識に影響を与える要因で、日照による起因する状態を示す情報である。日照要因情報には、少なくとも地物日陰情報とコントラスト情報とが含まれる。また、日照要因情報には、ハレーション情報も含まれると好適である。地物日陰情報は、詳細は後述するが、候補地物と日陰との関係を示す情報であり、好適には、少なくとも地物が全て日陰に含まれる日陰状態、地物が全て日向に含まれる日向状態、地物の一部が日陰に含まれる部分日陰状態を区別可能な情報である。同様に詳細は後述するが、コントラスト情報は、撮影画像におけるコントラスト、つまり、撮影画像に現れた、或いは撮影画像に現れると推定される日陰及び日向のコントラストを示す情報である。また、ハレーション情報は、撮影画像におけるハレーションの発生状態を示す情報である。以下、図4のフローチャートも利用して、日照要因情報を取得する手順を説明するが、この場合も、特にステップ#22〜ステップ#24の順序が限定されるものではない。
【0035】
日照要因情報の1つである地物日陰情報や、コントラスト情報を正確に取得するためには、撮影画像に生じると推定される影の位置の情報が必要である。そして、そのような影、つまり撮影画像に含まれる日陰を形成する大きな要因となるのは、地物の周辺の建物などの立体物である。そこで、立体物情報取得部44は、立体物データベース11b(ナビゲーションデータベース11)から、探索範囲SP(所定範囲)内に存在する複数の立体物についての立体物情報を取得する(図4#21:立体物情報取得ステップ/機能)。立体物情報には、立体物についての位置の情報、大きさ(幅、奥行き、高さ)の情報、形状(直方体状、塔状、棒状、傾斜屋根など)の情報などが含まれる。日時情報より、太陽の位置は特定されるので、日時情報と立体物情報とに基づいて、地物選定システム5を構成する機能部は、図8に示すように探索範囲SPにおいて形成される日陰SHの位置及び形状を演算することができる。日時情報と太陽の位置との関係は、ナビゲーションデータベース11や、地物選定システム5を構成するメモリ等にマップとして格納されていると好適である。当然ながら、立体物データベース11bに日時情報に対応した日陰SHの情報が格納されていてもよい。
【0036】
例えば、コントラスト情報取得部51は、日陰SHの位置及び形状に基づいて、車両100が図8に示す一点鎖線Yを走行する際の撮影画像から、日陰と日向とのコントラストを演算して取得することができる。また、車両100が走行する際に、照度センサ17によって検出された照度に基づき日照状態検出部55で検出された日照状態の情報と、日陰SHの位置及び形状とに基づいて、日陰と日向とのコントラストを演算して取得することができる。このようにして、コントラスト情報取得部51は、撮影画像に含まれる日陰と日向とのコントラストを示すコントラスト情報を取得する(図4#22:コントラスト情報取得ステップ/機能)。
【0037】
ハレーション情報取得部52は、撮影画像において輝度情報がサチレーションを発生しているか否かなどを判定することによって、撮影画像におけるハレーションの発生状態を演算して取得する(図4#23:ハレーション情報取得ステップ/機能)。日射によるハレーションは、基本的には日光が当たっている場合に生じるから、ハレーション情報取得部52は、撮影画像の日向に対応する位置においてハレーションの発生状態を演算すると好適である。
【0038】
地物日陰情報演算部53は、候補地物に関する地物情報である候補地物情報と日時情報とに基づいて、候補地物のそれぞれについて、当該候補地物と日陰SHとの関係を示す情報である地物日陰情報を演算して取得する(図4#24:地物日陰情報演算ステップ/機能)。図8を示して上述したように、太陽の位置を示す日時情報と立体物情報とに基づいて、探索範囲SPにおいて形成される日陰SHの位置及び形状が明らかとなるから、日陰SHと候補地物との位置関係も明らかとなる。図8を参照すれば、矢印の地物f6は、その一部に立体物201の日陰SH1が掛かっており、地物日陰情報は「部分日陰状態」となる(以下適宜、「部分日陰」と略称する。)。かすれた矢印の地物f5は候補地物から除外されているため、地物日陰情報が演算されない。横断歩道予告の菱形の地物f4には、立体物201の日陰SH1が掛かっており、地物日陰情報は「日陰状態」となる(以下適宜、「日陰」と略称する。)。同様に、菱形の地物f3には、立体物202の日陰202が掛かっており、地物日陰情報は「日陰状態」となる。尚、図8に示す例では、地物セットg1も日陰SH1及び日陰SH2の中に入っているため、地物セットg1の地物日陰情報も「日陰状態」となる。仮に、立体物202が存在しない場合には、地物セットg1の一部に日陰SH1が掛かることとなるので、地物セットg1の地物日陰情報は「部分日陰」となる。停止線の地物f2及び横断歩道の地物f1には、近傍に存在する立体物203の日陰SH3も掛かっておらず、これらの地物日陰情報は「日向状態」となる(以下適宜、「日向」と略称する。)。
【0039】
このようにして、日照要因情報が取得されると、対象地物選定部58は、少なくとも地物日陰情報とコントラスト情報とを含む日照要因情報に基づいて、候補地物の中から対象地物を選定する(対象地物選定ステップ/機能)。対象地物選定ステップ/機能は、図3に示すステップ#30と、ステップ#60とから構成される。ステップ#30では、画像認識への影響の度合いが演算される(影響度合い演算ステップ/機能)。ステップ#30では、各候補地物に対して、各対象地物の日照要因情報に基づいて、各候補地物を画像認識する際の影響度合いが演算される。ステップ#60では、この影響の度合いに基づいて、候補地物の中から1つの対象地物が選定される(地物決定ステップ/機能)。つまり、全ての候補地物に対する影響度合いの演算が終了した後、ステップ#60(地物決定ステップ/機能)が実施され、候補地物の中から1つの対象地物が選定される。
【0040】
はじめに、ステップ#30(影響度合い演算ステップ/機能)について図5のフローチャートを利用して説明する。地物の画像認識は、撮影画像に対してエッジ抽出、パターンマッチング等の公知の画像処理を施すことによって実施される。例えばエッジ抽出は、隣接する画素あるいは画素群の示す、輝度や濃度など画素値の差や勾配などに応じて演算する。このため、対象物(ここでは地物)と背景(ここでは路面)との画素値の差以外に、日向と日陰との画素値の差が生じると、エッジ抽出が不正確となり、その後のパターンマッチングなどの成功率も低下する可能性がある。特に、日向と日陰との画素値の差、つまりコントラストが大きいと、エッジ抽出が不正確となる可能性が高い。従って、影響度合いの演算対象である候補地物の日照要因情報(地物日陰情報)を参照して、当該候補地物の属性が「部分日陰」に該当する地物fであるか否かが、はじめに判定される(図5#31)。当該候補地物の属性が部分日陰である場合には、日照要因情報(コントラスト情報)を参照して、コントラストの大小が判定される(#34)。コントラストが大きい場合には、上述したようにエッジ抽出が不正確となる可能性が高いので、画像認識への影響が大きいと判定される(#41)。コントラストが小さい場合には、日陰による画素値への影響が小さくなるので、画像認識への影響が小さいと判定される(#42)。
【0041】
一方、ステップ#31において部分日陰ではないと判定されると、次に、地物日陰情報を参照して、当該候補地物の属性が「日陰」であるか否かが判定される(#32)。当該候補地物の属性が「日陰」である場合には、地物情報に含まれ、地物に固有の属性を示す日照特性情報が参照され、「日陰による画像認識への影響の有無」が判定される(#33)。日照特性情報とは、地物fのそれぞれについて、少なくとも地物日陰情報が日陰状態である場合の画像認識への影響の度合いを含み、日照による画像認識への影響の度合いを示す情報である。例えば、地物が日陰にあって地物と背景との間のコントラストが低下し、地物の認識率に影響する程度や、地物が日向にあってハレーションの影響を受け、地物の認識率に影響する程度などが、日照特性情報として規定されている。本実施形態では、地物が日陰にある場合に、コントラスト不足によって認識率に与える影響を、「影響有り」、「影響無し」の2つに簡略化した日照特性情報として例示している。従って、本実施形態のステップ#33では、コントラスト不足による影響が有るか否かが判定される。尚、この日照特性情報は、地物情報取得部43により、地物データベース11fから取得されている。
【0042】
図9は、地物データベース11fから取得された、候補地物についての地物情報である候補地物情報の一例を示している。ここでは、地物情報として、種別の情報、基準認識率の情報、日照特性(地物日陰情報が日陰状態である場合の画像認識への影響)の情報を示している。尚、基準認識率の情報とは、各地物に対する画像認識の平均的な成功確率を示す情報である。図7及び図9を参照すれば、地物f1の種別は、横断歩道の道路標示であり、基準認識率は70%、日照特性は「コントラスト不足」である。地物f2の種別は、停止線の道路標示であり、基準認識率は60%、日照特性は「コントラスト不足」である。地物f3及び地物f4の種別は、横断歩道予告の道路標示であり、基準認識率は90%、日照特性は「コントラスト不足」である。地物f6の種別は、矢印の道路標示であり、基準認識率は50%、日照特性は「無し」である。
【0043】
ところで、例えば、日陰により、対象物(ここでは地物)と背景(ここでは路面)との画素値の差、つまりコントラストが低下すると、エッジ抽出が不正確となる可能性がある。上述したように、地物日陰情報が日陰状態である場合の画像認識への影響を示す日照特性情報には、「日陰によりコントラストが低下する」等の情報が含まれる。さらに、撮影画像全体が明るい、つまり、晴れた状態で、日陰以外は明るい場合などでは、一般的にカメラ16により撮影画像の全体に対するダイナミックレンジの調整が実施される。これにより、相対的に撮影画像における日陰の部分の階調数が減少するため、よりコントラストが低下する可能性もある。逆に、撮影画像全体が暗い、つまり、曇った状態などで、日陰以外も暗い場合などでは、このダイナミックレンジの調整によっても、撮影画像における日陰の部分の階調数が減少せず、対象物と背景との画素値の差、つまりコントラストが低下しない可能性がある。
【0044】
ステップ#33において、「日陰による画像認識への影響が無い」と判定されると、当該候補地物は、「日照要因情報に基づく画像認識への影響が無い」と判定される(#43)。一方、ステップ#33において、「日陰による画像認識への影響が有る」と判定されると、上述したステップ#34において、日照要因情報(コントラスト情報)を参照して、日陰と日向とのコントラストの大小が判定される。コントラストが大きい場合には、撮影画像の全体が明るい可能性が高くなる。そして、上述したように、撮影画像における日陰の部分の階調数が減少し、対象物と背景との画素値の差、つまりコントラストが低下する可能性がある。従って、ステップ#34において、日陰と日向とのコントラストが大きいと判定された場合には、画像認識への影響が大きいと判定される(#41)。ステップ#34において、日陰と日向とのコントラストが小さいと判定された場合には、日陰によるコントラストの低下のみが画像認識への影響となるので、画像認識への影響が小さいと判定される(#42)。
【0045】
ステップ#32において、当該候補地物の属性が「日陰」ではないと判定されると、本実施形態においては、当該候補地物の属性が「日向」であるということになる。日向の場合には、カメラ16に対する太陽の位置(照射角度)や、路面などの反射係数の関係で撮影画像にハレーションが発生する可能性がある。ハレーションが発生する位置が、地物の位置と重なると、撮影画像の画素値がサチレーションを発生してしまい、地物と路面とのコントラストも低下し、画像認識の成功率が低下する。このため、ステップ#32において、当該候補地物の属性が「日陰」ではないと判定されると、次にハレーション情報(日照要因情報)を参照して、当該候補地物の位置にハレーションが生じているか否かが判定される(#35)。ハレーションが生じていない場合には、画像認識に対する影響がないので、「影響度合い=無し」と判定される(#43)。一方、ハレーションが生じている場合には、当該ハレーションの大きさが判定される(#36)。そして、ハレーションが大きい場合には、「影響度合い=大」と判定され(#44)、ハレーションが大きくない場合には、「影響度合い=小」と判定される(#45)。
【0046】
以上説明したように、対象地物選定部58は、地物日陰情報が部分日陰状態を示す候補地物の優先度を下げて対象地物の選定を進めていく。また、対象地物選定部58は、コントラスト情報が示す日陰と日向とのコントラストが大きいほど、地物日陰情報が部分日陰状態を示す候補地物の優先度を下げて対象地物の選定を進めていく。
【0047】
上述したステップ#41〜ステップ#45の判定結果、つまり、影響度合いの演算結果は、候補地物ごとに記憶される(#47)。そして、全ての候補地物についての影響度合いの演算が終了したか否かが判定され(#48)、影響度合いの演算が未完了の候補地物が存在した場合には、上述したステップ#31〜ステップ#47の演算が当該未完了の候補地物に対して実施される。全ての候補地物に対しての影響度合いの演算が終了している場合には、各候補地物の影響度合いに応じて、候補地物が複数のグループに分類される(#49)。本実施形態では、「影響度合い=無し」の候補地物をグループA、「影響度合い=小」の候補地物をグループB、「影響度合い=大」の候補地物をグループCに分類する。当然ながら、この分類は一例であり、4つ以上のグループに分類されることや、2つのグループへの分類を妨げるものではない。また、この分類数に応じて、ステップ#31〜ステップ#45に例示した判定も適宜変更可能であることは言うまでもない。
【0048】
全ての候補地物に対する影響度合いの演算が終了した後、ステップ#60(地物決定ステップ/機能)が実施され、候補地物の中から1つの対象地物が選定される。以下、ステップ#60の詳細について、図6のフローチャートを利用して説明する。はじめに、「影響度合い=無し」の候補地物により構成されるグループAが存在するか否かが判定される(#61)。グループAが存在する場合、対象地物として選定される候補地物が属するグループとして、グループAが選択される(#63)。グループAが存在しない場合は、「影響度合い=小」の候補地物により構成されるグループBが選択される(#64)。グループBも存在しない場合は、「影響度合い=大」の候補地物により構成されるグループCが選択される(#65)。そして、対象地物として選定される候補地物が属するグループとして選択されたグループに属する候補地物の中から、上述した基準認識率が最も高い候補地物が対象地物として選定される(#66)。即ち、選択されたグループに属する候補地物が1つであった場合には、当該候補地物が選択され、選択されたグループに属する候補地物が複数であった場合には、複数の候補地物の中で最高の基準認識率を有する候補地物が選択される。
【0049】
ここで具体例を挙げて対象地物の選定について説明する。図10は、日照要因に応じて地物を選定する例を示している。図5、図8及び図10を参照すれば、横断歩道の道路標示である地物f1及び停止線の道路標示である地物f2は、地物日陰情報が「日向」であり、ハレーション情報が「なし」である。地物日陰情報が「日向」であるから、日照特性情報及びコントラスト情報は考慮する必要がなく、画像認識への影響度合いは「なし」となる。従って、地物f1及び地物f2は、グループAに分類される。横断歩道予告の道路標示である地物f3及び地物f4は、地物日陰情報が「日陰」であり、コントラスト情報が「大」である。また、地物f3及び地物f4の日照特性情報は、「コントラスト不足」である。地物日陰情報が「日陰」であるから、ハレーション情報は考慮する必要がなく、画像認識への影響度合いは、地物日陰情報と日照特性情報とに基づいて「大」となる。従って、地物f3及び地物f4は、グループCに分類される。矢印の道路標示である地物f6の地物日陰情報は「部分日陰」であり、コントラスト情報が「大」である。地物日陰情報が「部分日陰」であるから、日照特性情報及びハレーション情報は考慮する必要がなく、地物日陰情報とコントラスト情報とに基づいて、地物f6は、グループCに分類される。
【0050】
尚、ここまでの説明では、図5に例示したように、各情報をフローチャートに沿って順次判断していく例を示した。しかし、地物日陰情報、コントラスト情報、ハレーション情報などの日照要因情報と、日照特性情報とから、定量的な影響度情報を演算し、この影響度情報に基づいて、日照による影響の度合いを決定してもよい。例えば、地物日陰情報が「部分日陰」の場合には影響度係数を「7」とし、「日陰」の場合には影響度係数を「5」とし、「日向」の場合には影響度係数を「1」とする。また、本実施形態では、地物日陰情報が「日陰」の場合には、日照特性情報に関する影響度係数として、日照特性情報が「コントラストによる影響有り」の場合には影響度係数を「5」とし、「影響無し」の場合には影響度係数を「0」とする。地物日陰情報が「部分日陰」の場合には、日照特性情報に関する影響度係数を日照特性情報に拘わらず「5」とし、地物日陰情報が「日向」の場合には、日照特性情報に関する影響度係数を日照特性情報に拘わらず「0」とする。尚、コントラストの大小に応じ、コントラストが「小」の場合には、「0」を下限として日照特性情報に関する影響度係数を「2」減じると好適である。ハレーション情報の影響度係数は、地物日陰情報が「日向」の場合のみ「15」が設定され、その他の場合には「0」が設定される。
【0051】
以上の係数を図10の例に適用すれば、横断歩道の道路標示である地物f1及び停止線の道路標示である地物f2は、地物日陰情報が「日向」であり、ハレーション情報が「なし」である。ハレーション情報「なし」の場合の影響度係数は「0」となるので、地物日陰情報が「日向」の場合の影響度係数「1」と乗算されて、定量的な影響度情報は「0」となる。横断歩道予告の道路標示である地物f3及び地物f4は、地物日陰情報が「日陰」であり、コントラスト情報が「大」であり、日照特性情報は、「コントラスト不足の影響あり」である。従って、地物日陰情報が「日陰」の場合の影響度係数「5」、日照特性情報の影響度係数を「5」が乗算されて、定量的な影響度情報が「25」となる。矢印の道路標示である地物f6の地物日陰情報は「部分日陰」であり、コントラスト情報が「大」である。従って、「部分日陰」の場合の影響度係数「7」、日照特性情報に拘わらず設定される影響度係数「5」が乗算されて、定量的な影響度情報は「35」となる。そして、例えば、この定量的な影響度情報が、0〜14の場合にグループA、15〜24の場合にグループB、25以上の場合にグループCに分類される。このように、定量的な演算によって、日照による影響の度合いを決定することも可能である。
【0052】
以上説明したように、図10に示す例では、4種類の地物fが、2つのグループ、グループAとグループCとに分類される。図6のフローチャートを例示して説明したように、ここでは、グループAが優先的に選択され、グループAに属する候補地物のうち、基準認識率が最大の地物fが対象地物として選定される。グループAに属する地物f1(横断歩道)と地物f2(停止線)とでは、地物f1の方が基準認識率が高いため、図10に示す例では、画像認識の対象となる対象地物として地物f1(横断歩道)が選定される。
【0053】
図11は、図10とは異なる日照要因に対して地物を選定する例を示している。図10との違いは、コントラスト情報とハレーション情報とである。図11の例では、コントラスト情報が「小」であり、ハレーション情報が「大」であるから、地物日陰情報が「日陰」や「部分日陰」の地物よりも、「日向」の地物の方が厳しい条件となる。地物日陰情報が「日向」である地物f1(横断歩道)及び地物f2(停止線)は、ハレーション情報が「大」であることから、画像認識への影響度合いが「大」となり、グループCに分類される。一方、地物日陰情報が「日陰」の地物f3及び地物f4(横断歩道予告)は、日照特性情報が「コントラスト不足」であるが、コントラスト情報が「小」であるから、画像認識への影響度合いが「小」となり、グループBに分類される。また、地物日陰情報が「部分日陰」である地物f6(矢印)は、日照特性情報として示される日陰の影響が「なし」であり、コントラスト情報が「小」であるから、画像認識への影響度合いが「小」となり、グループBに分類される。
【0054】
以上説明したように、図11に示す例では、4種類の地物fが、2つのグループ、グループBとグループCとに分類される。図6のフローチャートを例示して説明したように、ここでは、グループBが優先的に選択され、グループBに属する候補地物のうち、基準認識率が最大の地物fが対象地物として選定される。グループBに属する地物f3,f4(横断歩道予告)と地物f6(矢印)とでは、地物f3,f4の方が基準認識率が高いため、図11に示す例では、画像認識の対象となる対象地物として地物f3,f4(横断歩道予告)が選定される。尚、上述したように、地物f3と地物f4とは、地物セットg1を構成することもできる。従って、対象地物として地物セットg1を選定してもよい。また、地物f3と地物f4の内の何れか、例えば、進行方向手前側の地物f4を優先的に選定するようにしてもよい。
【0055】
図12は、図10と同じ日照要因に応じて、図10(図5及び図6)とは異なる手法で地物を選定する例を示している。具体的には、図5におけるステップ#31〜ステップ#36、及びステップ#48は共通しているが、ステップ#41〜ステップ#45において、基準認識率を推定認識率に補正する。つまり、画像認識に対する影響度合い、つまり、基準認識率よりも実際の認識率が低下する可能性に応じて基準認識率を推定認識率に補正する。従って、ステップ#49のような複数のグループへの分類も行わない。
【0056】
上述したように、画像認識への影響度合いが「なし」となる地物f1(横断歩道)及び地物f2(停止線)は、実際の認識率が低下する可能性が無い(低下量=0%)と推定される。そして、推定認識率は基準認識率と同様に、地物f1(横断歩道)が70%、地物f2(停止線)が60%となる。一方、地物f3,f4(横断歩道予告)の画像認識への影響度合いは「大」であり、例えば実際の認識率が25%低下する可能性があると推定される。その結果、推定認識率は65%となる。また、同じく画像認識への影響度合いが「大」である地物f6(矢印)は、実際の認識率が35%低下する可能性があると推定される。その結果、推定認識率は15%となる。対象地物選定部58は、候補地物の中で、推定認識率が最大の地物を対象地物として選定する。図12に示す例においては、推定認識率が70%の地物f1(横断歩道)が選定される。その他、地物日陰情報が「部分日陰」であって、コントラスト情報が「小」である場合には、実際の認識率が20%程度低下する可能性があると推定されるなど、例えば、図5のステップ#41〜#45のそれぞれに対応するような認識率の低下の推定値が設定されていると好適である。尚、上述した定量的な影響度情報に基づいて、認識率の低下の推定値が設定されてもよい。
【0057】
尚、上記の説明においては、複数のグループに分類して対象地物を選定する場合と、基準認識率を推定認識率に補正して対象地物を選定する場合とについて説明したが、何れか一方の手法を選択的に用いることなく、双方を合わせて用いてもよい。つまり、基準認識率よりも実際の認識率が低下する可能性、つまり、画像認識への影響度合いの大きさに基づいて複数のグループに分類すると共に、基準認識率を推定認識率に補正してもよい。そして、画像認識への影響度合いが最も低いグループに属する候補地物の中で推定認識率が最も高い地物を対象地物として選定してもよい。
【0058】
〔日照特性情報を含む地物情報の学習(地物情報学習システム)〕
上述したように日照要因に鑑みて対象地物を選定するためには、各地物fに対する日照要因による画像認識への影響を示す日照特性情報を含む地物情報を整備する必要がある。そこで、以下に説明するような、画像認識の対象となる地物に関する情報である地物情報を学習する地物情報学習システムが構築されると好適である。尚、地物情報は、例えば、情報収集専用の車両などを走行させて収集することも可能であるが、上述した地物認識システム4を備えるナビゲーションシステム1との協働によって収集することも可能である。本実施形態では、上述した地物認識システム4を備えるナビゲーションシステム1との協働によって日照特性情報を含む地物情報を収集する地物情報学習システムを例として説明する。
【0059】
図1に示すように、本実施形態の地物情報学習システム8は、学習記憶部83を中核として構成される学習演算部80と、学習データベース19と、地物情報学習部85とを備えて構成されている。学習記憶部83は、地物日陰情報とコントラスト情報とを含む日照要因情報と、画像認識部による前記地物の画像認識結果とを関連付けて学習データベース19に記憶する機能部である。地物情報学習部85は、学習データベースに記憶された情報に基づいて、地物のそれぞれについての、少なくとも日陰を含む日照による画像認識への影響の度合いを示す日照特性情報を生成し、地物のそれぞれについての地物情報を構成する情報として格納する機能部である。
【0060】
学習記憶部83を中核とする学習演算部80は、好適にはナビゲーションシステム1の中核となる演算装置(及び協働するソフトウェア)において、地物認識システム4と共に実現されている。一方、地物情報学習部85は、ナビゲーションデータベース11を整備する管理センターなどの演算装置(及び協働するソフトウェア)において実現されると好適である。管理センターにおいて一元管理されている地物情報学習部85は、各ナビゲーション装置1と協働する学習記憶部83からの複数の情報を用いて日照特性情報を生成し、地物情報を生成することができる。複数の学習記憶部83と、一元管理される地物情報学習部85とは、有線や無線によってネットワーク接続されていると好適である。また、メモリカードなどの記憶媒体を経由して各学習記憶部83から地物情報学習部85へ情報を伝達してもよい。さらに、各学習記憶部83と地物情報学習部85とを仲介する媒体が存在してもよい。例えば、車両のディーラーや、ナビゲーションシステムの製造元のサービスセンター、ポータブル機器上で動作するアプリケーションソフトウェアの制作元や販売元のサービスセンターなどを介して情報が伝達されてもよい。地物情報学習部85により生成された最新の地物情報は、同様の伝達経路により各ナビゲーションシステム1のナビゲーションデータベース11に提供可能である。
【0061】
図1には、地物情報学習部85が、管理センターなどにおいて一元管理されている場合のシステム構成を例示している。従って、学習データベース19B(19)も管理センターなどにおいて一元管理されている場合を例示している。学習演算部80には、この学習データベース19Bへ情報を伝達する前の情報を一時的に格納するための学習データベース19A(19)が備えられている。尚、当然ながら、地物情報学習部85は、必ずしもこのように一元管理されている必要はなく、各ナビゲーションシステム1においてそれぞれ設けられていてもよい。そして、各ナビゲーションシステム1において、各ナビゲーションデータベース11の地物情報が更新されてもよい。当然ながら、この場合には学習データベース19は1つでよい。
【0062】
以下、地物情報学習システム8による日照特性情報を含む地物情報の学習の手順について、図13及び図14のフローチャートも参照しながら説明する。地物情報学習システム8は、上述した自位置特定システム2と同様に、撮影画像取得部61と、画像認識部63と、日時情報取得部55と、推定位置情報取得部42と、地物情報取得部43と、コントラスト情報取得部51と、地物日陰情報演算部53とを備えて構成される。これらの機能部については、上述したとおりであるが、地物情報学習システム8として見た場合の機能を明確にするために、再度簡単に説明する。
【0063】
撮影画像取得部61は、カメラ16(撮影装置)により撮影された撮影画像を取得する機能部である。撮影画像には、学習対象となる地物、つまり学習地物が含まれる。画像認識部63は、撮影画像に含まれる地物の画像認識を行う機能部である。上記においては、自位置特定システム2の一部として機能する画像認識部63が、選定された対象地物のみを画像認識するものとして説明した。しかし、地物情報学習システム8の一部として機能する画像認識部63は、複数の学習地物を画像認識する。詳細は後述するが、画像認識部63は、複数の候補地物の中から選定された1つの対象地物の画像認識を行なうと共に、当該対象地物の画像認識が成功した場合には、当該対象地物とは別の候補地物である学習地物の画像認識を行う。日時情報取得部41は、現在日時を示す日時情報を取得する機能部である。推定位置情報取得部42は、自位置、特にここではカメラ16の推定位置を示す推定位置情報を取得する機能部である。
【0064】
地物情報取得部42は、探索範囲SP(所定範囲)内に存在する候補地物についての地物情報を取得する機能部である。ここでは、地物情報取得部42は、カメラ16の移動経路に沿って存在する複数の候補地物(学習地物)についての地物情報を取得する。当然ながら、範囲を限定し、探索範囲SPを定めて当該探索範囲SP内において、カメラ16の移動経路に沿って存在する候補地物の地物情報を取得しても良いし、探索範囲SPを定めることなく、順次、当該移動経路に沿った候補地物の地物情報を取得してもよい。また、固定された撮影装置により撮影画像を用いて、地物情報を学習してもよく、この場合には撮影装置の位置は固定されているので移動経路等は考慮する必要はない。コントラスト情報取得部51は、日陰と日向とのコントラストを示すコントラスト情報を取得する機能部である。また、地物日陰情報演算部53は、少なくとも地物が全て日陰に含まれる日陰状態、地物が全て日向に含まれる日向状態、地物の一部が日陰に含まれる部分日陰状態を区別可能な情報であり、地物のそれぞれについて、当該地物と日陰との位置関係を示す情報である地物日陰情報を演算する機能部である。
【0065】
これらの機能部により、図13のステップ#71〜#75に示すように、推定位置情報、地物情報、撮影画像、日時情報、日照要因情報が取得される。これらのステップは、ステップ#71が図3のステップ#01に、ステップ#72が図3のステップ#02に、ステップ#73が図3のステップ#07に、ステップ#74が図3のステップ#09に、ステップ#75が図3のステップ#20及び図4に相当するものであるから、詳細な説明は省略する。上述したように、地物選定システム5は、これらの情報を用いて、探索範囲SP内から1つの対象地物を選定する。地物学習システム8は、地物選定システム5が対象地物を選定し、画像処理システム6が当該対象地物の画像認識を実施する間、例えば探索範囲SP内の撮影画像を蓄積し、推定位置情報に関連付けて一時記憶部81に一時記憶させる。この際、日照要因情報も関連付けて一時記憶部81に一時記憶させてもよい。ここでは、探索範囲SPを一時記憶の対象としたが、上述したように、地物の学習は探索範囲SPとは無関係に実施される場合もある。従って、一時記憶部81は、撮影画像を所定期間に亘って蓄積し、推定位置情報に関連付けて一時記憶する機能部として構成されると好適である。
【0066】
画像処理システム6による対象地物の画像認識、つまり画像認識部63による対象地物の画像認識が完了すると、当該対象地物の画像認識が成功したか否かが判定される(図13#76:対象地物認識結果判定ステップ/機能)。対象地物の画像認識が成功していない場合には、地物情報学習システム8は学習処理を終了する。一方、対象地物の画像認識が成功している場合には、推定位置情報を高精度位置情報へ補正することで、対象地物とは別の候補地物が撮影画像上に存在している位置が高精度に予測できるので地物情報の学習が継続される。
【0067】
つまり、画像認識部63は、選定された1つの対象地物の画像認識を行なうと共に、推定位置情報を高精度位置情報へ補正して、撮影画像に含まれ、対象地物とは別の候補地物である学習地物の画像認識を行う。具体的には、画像認識部63は、対象地物の画像認識が成功した場合には、対象地物についての地物情報に含まれる位置情報に基づいて一時記憶部81に記憶された推定位置情報を補正する。つまり、一時記憶部81の位置情報に基づくインデックスの情報を変更する。そして、画像認識部63は、補正後の推定位置情報(高精度位置情報)に基づいて一時記憶部81から読み出される撮影画像と、候補地物情報とに基づいて、学習地物の画像認識を行う。一時記憶部81のインデックス情報は高精度位置情報に変更されているから、候補地物についての地物情報である候補地物情報に規定されている各地物の位置情報に基づいて、学習地物が含まれると推測される撮影画像を精度良く取得することができる。ステップ#76の後に継続されるこのような処理について以下に説明する。
【0068】
ステップ#76において対象地物の画像認識が成功したと判定されると、次に対象地物以外の候補地物、つまり学習地物となる地物が存在するか否かが判定される(#77:学習地物存在確認ステップ)。学習地物となる地物が存在しない場合には、当然ながら地物情報学習システム8は学習処理を終了する。一方、学習地物となる地物が1つでも存在する場合には、高精度位置情報が取得される(#81:高精度位置情報取得ステップ)。高精度位置情報は、測位システム3の位置情報補正部32によって演算されてもよいし、画像認識部63によって演算されてもよい。
【0069】
続いて、画像認識部63は、高精度位置情報に基づいて一時記憶部81から読み出された撮影画像と、候補地物情報とに基づいて学習地物の画像認識を行う(#82:学習地物画像認識ステップ)。画像認識部63による画像認識が完了すると、学習記憶部83は、日照要因情報と、学習地物の画像認識結果とを関連付けて学習データベース19に記憶する(#83:学習記憶ステップ)。学習地物は、候補地物の中で対象地物として選定されなかった地物であるから、対象地物に比べて画像認識に適さない可能性が高い地物である。しかし、高精度位置情報に基づいて一時期億部81から取得された撮影画像を用いて画像認識が実施されるので、当該地物のパターンマッチングにおける適合度が精度よく演算される。このため、単純に認識の成否のみでなく、適合度の情報を認識結果として学習記憶部83に記憶しておくと好適である。これにより、地物情報学習部85は、日照による影響、つまり日照特性情報を精度よく生成することが可能となる。
【0070】
尚、適合度とは、撮影画像から抽出された地物の特徴量と、辞書64とのマッチングにおいて一致した割合を定量的に示す値である。抽出された地物の特徴量と、辞書64とが完全に一致すれば、適合度は100%となる。例えば、この適合度が所定の適合度しきい値(例えば80%)以上の場合に、画像認識が成功したと判定される。基準認識率は、異なる撮影画像を対象して複数回、地物を画像認識した際に、適合度が適合度しきい値以上となった回数の割合である。適合度を記憶しておくことによって、画像認識の結果、適合度が適合度しきい値を下回っても、どの程度下回ったかによって、後述する地物情報学習部85は、画像認識への影響度合いを定量的に演算することが可能となる。従って、より精度の高い日照特性情報を演算することが可能となる。尚、カメラ16が固定された撮影装置である場合には、対象地物の画像認識によって高精度位置情報を求めなくても、位置情報の精度が高い場合がある。そのような場合には、対象地物の画像認識は不要であり、探索範囲SP内の地物を画像認識して学習すればよい。
【0071】
上述したようにして、学習データベース19に日照要因情報と学習地物の画像認識結果とが関連づけられて蓄積される。地物情報学習部85は、学習データベース19に蓄積された情報に基づいて日照特性情報を生成し、地物情報を構成する情報として格納する。日照特性情報の生成には、学習データベース19に所定量以上の情報が蓄積されていることが求められる。従って、情報が所定量に達したことを自動的に判定して、あるいは所定の時期ごとに、あるいは人為的な指示により、学習データベース19に蓄積された情報に基づいて、日照特性情報が生成される。一例として、上述したようにして集積された適合度を統計解析して、日照特性情報が演算されると好適である。つまり、日照要因情報のそれぞれに対して、適合度を分類・集積し、集積された適合度と、適合度しきい値や当該地物の平均的な適合度や目標適合度との差に応じて、画像認識への影響の度合いを演算し、日照特性情報が生成されると好適である。図14に示すように、ナビゲーションデータベースの生成指示の有無が判定され(#91)、生成指示がある場合に日照特性情報が生成される(#92)。そして、生成された日照特性情報を、地物情報を構成する情報として地物情報に組み込み、地物情報を更新する。更新された地物情報をナビゲーションデータベース11に格納することによって学習が完了する(#93)。
【0072】
〔その他の実施形態〕
以下、その他の実施形態について説明する。なお、以下に説明する各実施形態の構成は、それぞれ単独で適用されるものに限られず、矛盾が生じない限り、他の実施形態の構成と組み合わせて適用することも可能である。
【0073】
(1)上記実施形態においては、例えば図5を利用して説明したように、日照要因情報としてコントラスト情報と、ハレーション情報と、地物日陰情報とを用いて日照による画像認識への影響を判定する例を示した。しかし、例えばハレーション情報を用いることなく、コントラスト情報と地物日陰情報とを日照要因情報として日照による画像認識への影響を判定してもよい。当業者であれば、図5に例示したフローチャートからハレーション情報に関する処理を除けば容易に実現可能であるから、詳細な説明は省略する。
【0074】
(2)上記実施形態においては、地物日陰情報が「日陰」、「日向」、「部分日陰」を区別可能な情報を有する場合を例示したが、本発明はこれに限定されるものではない。例えば、部分日陰であるか否かのみを表す情報であってもよい。日陰及び日向の場合には、撮影画像の明るさは一様であるが、部分日陰の場合には大きく明るさが変化することになる。従って、撮影画像のコントラストが大きい場合には画像認識への影響が大きくなる。従って、地物日陰情報が部分日陰であるか否かのみを示す情報であっても、地物選定における効果は大きい。一例として、対象地物選定部58が、地物日陰情報が部分日陰を示す候補地物の優先度を下げて対象地物を選定するようにすることもできる。当業者であれば、図5に例示したフローチャートにおいて、地物日陰情報に関する処理を部分日陰のみに改変して容易に実現可能であるから、詳細な説明は省略する。
【0075】
(3)上記実施形態においては、図5、図9等に例示したように地物情報に含まれる日照特性情報を利用して、日照による画像認識への影響を判定する例を示した。しかし、日照特性情報を考慮することなく、日照による画像認識への影響が判定されてもよい。具体的には、図5においてステップ#32の後、ステップ#33を経ることなくステップ#34へ進んでもよい。
【0076】
(4)上記実施形態においては、ナビゲーションデータベース11が、日陰を形成する要因となる立体物の位置情報及び形状情報を少なくとも含む立体物情報を格納した立体物データベース11bを備えて構成される例を示した。そして、探索範囲SP(所定範囲)内に存在する複数の立体物についての立体物情報は、立体物情報取得部44により取得され、地物日陰情報演算部53は、立体物情報と日時情報に基づく太陽の位置とに基づいて地物日陰情報を演算する形態を例示した。しかし、地物選定システム4及び地物情報学習システム8は、立体物データベース11bから読み出される立体物情報を用いることなく、地物日陰情報を演算して取得してもよい。
【0077】
例えば、撮影画像をモザイク化するなどの画像処理を施し、撮影画像における輝度の分布や変化に基づいて、日照状態を検出する日照状態検出部55が備えられていてもよい。また、図8の下段に示すように、車両100やカメラ16に照度センサ17が搭載され、車両100やカメラ16の移動に伴って照度センサ17により検出された照度に基づいて、日照状態検出部55が照度の変化を検出してもよい。図8において符号Lは輝度が高く明るいことを示しており、符号Dは輝度が低く暗いことを示している。これにより、各地物が明るい領域に存在するか暗い領域に存在するかを判定することができる。つまり、地物情報に含まれる位置情報により、当該地物が明るい領域に存在する場合には、地物日陰情報が「日向」と演算される。また、当該地物が暗い領域に存在する場合には、地物日陰情報が「日陰」と演算される。また、地物情報に含まれる位置情報により地物が存在する領域の途中で、明るい領域から暗い領域、又は暗い領域から明るい領域へと変化する場合には、「部分日陰」と演算される。
【0078】
(5)上記実施形態においては、例えば自位置の情報としての車両100やカメラ16(撮影装置)の推定位置を示す推定位置情報を取得し、この推定位置情報に基づいて候補地物の存在する範囲となる所定範囲(探索範囲SP)を設定する手順を例示した。しかし、この手順に限定されることなく、進路変更する位置や任意の位置を基準として探索範囲SPが設定されてもよい。
【0079】
(6)上記実施形態においては、複数の候補地物から対象地物を選定する際に、基準認識率を用いる例を示して説明した。しかし、基準認識率を用いることなく、対象地物が選定されてもよい。例えば、図5や図10及び図11に示したように、複数のグループに分類した場合には、選択されたグループに属する地物の内、撮影装置に近い地物を対象地物として選定してもよい。また、予め地物の種別によって優先順位を定めておき、選択されたグループに属する地物から当該優先順位に従って、対象地物を選定してもよい。図12に示したように、認識率の低下の程度を演算する場合には、認識率の低下が少ない地物を優先して対象地物を選定すると好適である。認識率の低下量が同じ地物が複数存在する場合には、グループに分類した時と同様に優先順位をつけることが可能である。
【0080】
(7)上記実施形態においては、ナビゲーションシステムを適用例として説明したが、地物選定システムは、当然ながらナビゲーションシステム以外の用途においても利用可能である。例えば、写真から行政区画を認識するような画像認識システムや、駐車区画の空き状態を認識するための画像認識システムにおいて、認識に用いる地物を選定する用途として利用することができる。
【産業上の利用可能性】
【0081】
以上説明したように、本発明は、予め存在が把握されている複数の地物の中から画像認識の対象とする対象地物を選定する地物選定システムに適用することができる。また、本発明は、画像認識の対象となる地物に関する情報である地物情報を学習する地物情報学習システムに適用することができる。また、本発明は、このような地物選定システムにより選定された地物を画像認識する画像認識システムに適用することもできる。さらに、本発明は、そのような画像認識システムの認識結果に基づいて、位置を特定する自位置特定システムにも適用することができる。さらに、本発明は、そのような自位置特定システムにより特定された自位置に基づいて、経路などを案内するナビゲーションシステムに適用することもできる。
【符号の説明】
【0082】
5:地物選定システム
8:地物情報学習システム
11f:地物データベース
11b:立体物データベース
19,19A,19B:学習データベース
41:日時情報取得部
42:推定位置情報取得部
43:地物情報取得部
44:立体物情報取得部
51:コントラスト情報取得部
52:ハレーション情報取得部
53:地物日陰情報演算部
55:日照状態検出部
58:対象地物選定部
61:撮影画像取得部
63:画像認識部
80:学習演算部
81:一時記憶部
83:学習記憶部
85:地物情報学習部
200,201,202,203:立体物
f,f1〜f6:地物
SP:探索範囲(所定範囲)
SH,SH1,SH2,SH3:影
【特許請求の範囲】
【請求項1】
画像認識の対象となる地物に関する情報である地物情報を学習する地物情報学習システムであって、
撮影画像を取得する撮影画像取得部と、
前記撮影画像に含まれる前記地物の画像認識を行なう画像認識部と、
少なくとも地物が全て日陰に含まれる日陰状態、地物が全て日向に含まれる日向状態、地物の一部が日陰に含まれる部分日陰状態を区別可能な情報であり、前記地物のそれぞれについて、当該地物と日陰との位置関係を示す情報である地物日陰情報を演算する地物日陰情報演算部と、
日陰と日向とのコントラストを示すコントラスト情報を取得するコントラスト情報取得部と、
前記地物日陰情報と前記コントラスト情報とを含む日照要因情報と、前記画像認識部による前記地物の画像認識結果とを関連付けて学習データベースに記憶する学習記憶部と、
前記学習データベースに記憶された情報に基づいて、前記地物のそれぞれについての、日照による画像認識への影響の度合いを示す日照特性情報を生成し、前記地物のそれぞれについての前記地物情報を構成する情報として格納する地物情報学習部と、
を備える地物情報学習システム。
【請求項2】
前記撮影画像を撮影する撮影装置と、
前記撮影装置の推定位置を示す推定位置情報を取得する推定位置情報取得部と、
前記撮影画像を所定期間に亘って蓄積し、前記推定位置情報に関連付けて一時記憶する一時記憶部と、
前記地物の位置情報を少なくとも含む前記地物情報を格納した地物データベースに接続し、前記撮影装置の移動経路に沿って存在する複数の候補地物についての前記地物情報である候補地物情報を取得する地物情報取得部と、を備え、
前記画像認識部は、複数の前記候補地物の中から選定された1つの対象地物の画像認識を行なうと共に、前記対象地物の画像認識が成功した場合には、前記対象地物についての前記地物情報に含まれる位置情報に基づいて前記一時記憶部に記憶された前記推定位置情報を補正し、当該補正後の前記推定位置情報に基づいて前記一時記憶部から読み出される前記撮影画像と、前記候補地物情報とに基づいて、前記撮影画像に含まれる前記対象地物とは別の前記候補地物である学習地物の画像認識を行い、
前記学習記憶部は、当該画像認識の結果と前記日照要因情報とを関連付けて学習データベースに記憶する請求項1に記載の地物情報学習システム。
【請求項3】
前記撮影装置の移動経路に沿った位置を示す経路位置情報に関連付けて各位置での日照状態を検出する日照状態検出部を備え、
前記地物日陰情報演算部は、前記日照状態検出部の検出結果と、前記地物情報に含まれる前記地物の位置情報とに基づいて、前記地物のそれぞれについての前記地物日陰情報を演算し、
前記画像認識部は、前記学習地物についての前記地物情報に含まれる位置情報と、前記補正後の前記推定位置情報とに基づいて、前記一時記憶部に記憶された前記撮影画像に含まれる前記学習地物の画像認識を行なう請求項2に記載の地物情報学習システム。
【請求項4】
画像認識の対象となる地物に関する情報である地物情報を学習する地物情報学習プログラムであって、
撮影画像を取得する撮影画像取得機能と、
前記撮影画像に含まれる前記地物の画像認識を行なう画像認識機能と、
少なくとも地物が全て日陰に含まれる日陰状態、地物が全て日向に含まれる日向状態、地物の一部が日陰に含まれる部分日陰状態を区別可能な情報であり、前記地物のそれぞれについて、当該地物と日陰との位置関係を示す情報である地物日陰情報を演算する地物日陰情報演算機能と、
日陰と日向とのコントラストを示すコントラスト情報を取得するコントラスト情報取得機能と、
前記地物日陰情報と前記コントラスト情報とを含む日照要因情報と、前記画像認識機能により実現された前記地物の画像認識結果とを関連付けて学習データベースに記憶する学習記憶機能と、
前記学習データベースに記憶された情報に基づいて、前記地物のそれぞれについての、日照による画像認識への影響の度合いを示す日照特性情報を生成し、前記地物のそれぞれについての前記地物情報を構成する情報として格納する地物情報学習機能と、
をコンピュータに実現させる地物情報学習プログラム。
【請求項5】
画像認識の対象となる地物に関する情報である地物情報を学習する地物情報学習方法であって、
撮影画像を取得する撮影画像取得ステップと、
前記撮影画像に含まれる前記地物の画像認識を行なう画像認識ステップと、
少なくとも地物が全て日陰に含まれる日陰状態、地物が全て日向に含まれる日向状態、地物の一部が日陰に含まれる部分日陰状態を区別可能な情報であり、前記地物のそれぞれについて、当該地物と日陰との位置関係を示す情報である地物日陰情報を演算する地物日陰情報演算ステップと、
日陰と日向とのコントラストを示すコントラスト情報を取得するコントラスト情報取得ステップと、
前記地物日陰情報と前記コントラスト情報とを含む日照要因情報と、前記画像認識ステップによる前記地物の画像認識結果とを関連付けて学習データベースに記憶する学習記憶ステップと、
前記学習データベースに記憶された情報に基づいて、前記地物のそれぞれについての、日照による画像認識への影響の度合いを示す日照特性情報を生成し、前記地物のそれぞれについての前記地物情報を構成する情報として格納する地物情報学習ステップと、
を備える地物情報学習方法。
【請求項1】
画像認識の対象となる地物に関する情報である地物情報を学習する地物情報学習システムであって、
撮影画像を取得する撮影画像取得部と、
前記撮影画像に含まれる前記地物の画像認識を行なう画像認識部と、
少なくとも地物が全て日陰に含まれる日陰状態、地物が全て日向に含まれる日向状態、地物の一部が日陰に含まれる部分日陰状態を区別可能な情報であり、前記地物のそれぞれについて、当該地物と日陰との位置関係を示す情報である地物日陰情報を演算する地物日陰情報演算部と、
日陰と日向とのコントラストを示すコントラスト情報を取得するコントラスト情報取得部と、
前記地物日陰情報と前記コントラスト情報とを含む日照要因情報と、前記画像認識部による前記地物の画像認識結果とを関連付けて学習データベースに記憶する学習記憶部と、
前記学習データベースに記憶された情報に基づいて、前記地物のそれぞれについての、日照による画像認識への影響の度合いを示す日照特性情報を生成し、前記地物のそれぞれについての前記地物情報を構成する情報として格納する地物情報学習部と、
を備える地物情報学習システム。
【請求項2】
前記撮影画像を撮影する撮影装置と、
前記撮影装置の推定位置を示す推定位置情報を取得する推定位置情報取得部と、
前記撮影画像を所定期間に亘って蓄積し、前記推定位置情報に関連付けて一時記憶する一時記憶部と、
前記地物の位置情報を少なくとも含む前記地物情報を格納した地物データベースに接続し、前記撮影装置の移動経路に沿って存在する複数の候補地物についての前記地物情報である候補地物情報を取得する地物情報取得部と、を備え、
前記画像認識部は、複数の前記候補地物の中から選定された1つの対象地物の画像認識を行なうと共に、前記対象地物の画像認識が成功した場合には、前記対象地物についての前記地物情報に含まれる位置情報に基づいて前記一時記憶部に記憶された前記推定位置情報を補正し、当該補正後の前記推定位置情報に基づいて前記一時記憶部から読み出される前記撮影画像と、前記候補地物情報とに基づいて、前記撮影画像に含まれる前記対象地物とは別の前記候補地物である学習地物の画像認識を行い、
前記学習記憶部は、当該画像認識の結果と前記日照要因情報とを関連付けて学習データベースに記憶する請求項1に記載の地物情報学習システム。
【請求項3】
前記撮影装置の移動経路に沿った位置を示す経路位置情報に関連付けて各位置での日照状態を検出する日照状態検出部を備え、
前記地物日陰情報演算部は、前記日照状態検出部の検出結果と、前記地物情報に含まれる前記地物の位置情報とに基づいて、前記地物のそれぞれについての前記地物日陰情報を演算し、
前記画像認識部は、前記学習地物についての前記地物情報に含まれる位置情報と、前記補正後の前記推定位置情報とに基づいて、前記一時記憶部に記憶された前記撮影画像に含まれる前記学習地物の画像認識を行なう請求項2に記載の地物情報学習システム。
【請求項4】
画像認識の対象となる地物に関する情報である地物情報を学習する地物情報学習プログラムであって、
撮影画像を取得する撮影画像取得機能と、
前記撮影画像に含まれる前記地物の画像認識を行なう画像認識機能と、
少なくとも地物が全て日陰に含まれる日陰状態、地物が全て日向に含まれる日向状態、地物の一部が日陰に含まれる部分日陰状態を区別可能な情報であり、前記地物のそれぞれについて、当該地物と日陰との位置関係を示す情報である地物日陰情報を演算する地物日陰情報演算機能と、
日陰と日向とのコントラストを示すコントラスト情報を取得するコントラスト情報取得機能と、
前記地物日陰情報と前記コントラスト情報とを含む日照要因情報と、前記画像認識機能により実現された前記地物の画像認識結果とを関連付けて学習データベースに記憶する学習記憶機能と、
前記学習データベースに記憶された情報に基づいて、前記地物のそれぞれについての、日照による画像認識への影響の度合いを示す日照特性情報を生成し、前記地物のそれぞれについての前記地物情報を構成する情報として格納する地物情報学習機能と、
をコンピュータに実現させる地物情報学習プログラム。
【請求項5】
画像認識の対象となる地物に関する情報である地物情報を学習する地物情報学習方法であって、
撮影画像を取得する撮影画像取得ステップと、
前記撮影画像に含まれる前記地物の画像認識を行なう画像認識ステップと、
少なくとも地物が全て日陰に含まれる日陰状態、地物が全て日向に含まれる日向状態、地物の一部が日陰に含まれる部分日陰状態を区別可能な情報であり、前記地物のそれぞれについて、当該地物と日陰との位置関係を示す情報である地物日陰情報を演算する地物日陰情報演算ステップと、
日陰と日向とのコントラストを示すコントラスト情報を取得するコントラスト情報取得ステップと、
前記地物日陰情報と前記コントラスト情報とを含む日照要因情報と、前記画像認識ステップによる前記地物の画像認識結果とを関連付けて学習データベースに記憶する学習記憶ステップと、
前記学習データベースに記憶された情報に基づいて、前記地物のそれぞれについての、日照による画像認識への影響の度合いを示す日照特性情報を生成し、前記地物のそれぞれについての前記地物情報を構成する情報として格納する地物情報学習ステップと、
を備える地物情報学習方法。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【公開番号】特開2012−203723(P2012−203723A)
【公開日】平成24年10月22日(2012.10.22)
【国際特許分類】
【出願番号】特願2011−68821(P2011−68821)
【出願日】平成23年3月25日(2011.3.25)
【出願人】(000100768)アイシン・エィ・ダブリュ株式会社 (3,717)
【Fターム(参考)】
【公開日】平成24年10月22日(2012.10.22)
【国際特許分類】
【出願日】平成23年3月25日(2011.3.25)
【出願人】(000100768)アイシン・エィ・ダブリュ株式会社 (3,717)
【Fターム(参考)】
[ Back to top ]