画像処理システム
【課題】風景画像認識技術に利用される効果的な参照用画像データの作成が重要となるので、そのような効果的な参照用画像データの作成に適した画像処理システム。
【解決手段】車両からの風景を撮影した撮影画像から当該撮影画像中における識別可能な事物を特徴オブジェクトとして認識し、この特徴オブジェクトを規定する１つまたは２つ以上の代表画像特徴点を抽出し、撮像画像内における代表画像特徴点の位置を表す特徴点位置情報と特徴オブジェクトの属性であるオブジェクト属性を表す属性情報とを含む特徴点データが生成される。さらに、この特徴点データに撮影位置を関連付けて、風景画像マッチングの参照データが生成される。
【解決手段】車両からの風景を撮影した撮影画像から当該撮影画像中における識別可能な事物を特徴オブジェクトとして認識し、この特徴オブジェクトを規定する１つまたは２つ以上の代表画像特徴点を抽出し、撮像画像内における代表画像特徴点の位置を表す特徴点位置情報と特徴オブジェクトの属性であるオブジェクト属性を表す属性情報とを含む特徴点データが生成される。さらに、この特徴点データに撮影位置を関連付けて、風景画像マッチングの参照データが生成される。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理システム、特にカーナビゲーション装置における画像マッチングを用いた自車位置決定に適した参照データを生成する画像処理システムに関する。
【背景技術】
【０００２】
従来から、カーナビゲーション装置では、車両の現在位置を算出する方法として、ジャイロや地磁気センサ等のセンサから取得した情報を利用する方法（自律航法）、ＧＰＳ衛星からの信号を利用する方法、あるいは自律航法とＧＰＳとを組合せる方法が採用されている。さらに、高精度に現在位置を算出するために、ＧＰＳ衛星からの信号等を利用して暫定的な現在位置を求めておいて、撮影された車両前方の画像を用いて、暫定現在位置を基準にした座標系（自動車座標系）における道路標示の特徴点の座標（自動車座標系特徴点）を算出し、算出した自動車座標系特徴点と記憶している道路標示の特徴点の座標（ワールド座標系で示した座標）とを用いて、車両の現在位置を算出するように構成された位置測位装置が知られている（例えば、特許文献１参照）。この装置では、測位衛星からの信号および各種センサからの信号による測位では誤差を含んでしまう場合であっても、精度の高い現在位置を算出することが可能となる。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００７−２０８０４３号公報（段落番号０００９−００１３、図１）
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかし、上記特許文献１による位置測位装置では、道路上の道路標示の特徴点の空間座標をステレオ画像から求め、道路標示情報データベースに収められたその特徴点を有する道路標示の緯度・経度によって求められた座標を用いて自車位置を算出するので、道路標示のない場所では利用できない。また、画像処理によって認識された特徴点の空間座標を演算する必要があるので、装置には高い演算能力が要求され、コストアップの要因となる。
【０００５】
そこで、道路標識のない道路や特定敷地内においても利用できるとともに、各特徴点の空間座標を位置算出毎に演算しなくてもよい位置決めとして風景画像認識技術の利用が考えられる。その際、風景画像認識技術に利用される効果的な参照用画像データの作成が重要となるので、そのような効果的な参照用画像データの作成に適した画像処理システムの実現が望まれる。
【課題を解決するための手段】
【０００６】
上記課題を解決するための本発明に係る、車両からの風景を撮影した撮影画像に基づいて風景画像マッチングを行う際に利用される参照データを作成する画像処理システムの特徴構成は、前記撮影画像と当該撮影画像の撮影位置とを入力するデータ入力部と、入力された前記撮影画像から当該撮影画像中における識別可能な事物を特徴オブジェクトとして認識する特徴オブジェクト認識部と、各前記特徴オブジェクトから当該特徴オブジェクトを規定する１つまたは２つ以上の代表画像特徴点を抽出する代表特徴点抽出部と、各前記特徴オブジェクトの属性であるオブジェクト属性を分類判定する属性判定部と、前記撮像画像内における前記代表画像特徴点の位置を表す特徴点位置情報と、当該代表画像特徴点が属する特徴オブジェクトのオブジェクト属性を表す属性情報とを含む特徴点データを生成する特徴点データ生成部と、前記特徴点データに前記撮影位置を関連付けて、前記参照データを生成する参照データ生成部とを備える点にある。
【０００７】
風景画像のような単純ではない構図をもつ場合、通常行われているような、参照データとマッチング用データとの間の互いの画素点を比較するようなマッチング処理では処理量が膨大になる。しかしながら、上記構成によれば、識別可能に認識される特徴オブジェクトという概念を導入することで、その特徴オブジェクトを規定する１つまたは２つ以上の代表画像特徴点と、その特徴オブジェクトの属性を表す属性情報とからなる特徴点データを参照データとして利用することが可能となる。マッチング対象となるのが少ない数の代表画像特徴点となることからその演算負荷が減少することはもちろんであるが、マッチング対象が僅かな数の代表画像特徴点であっても、属性情報から決定される特徴オブジェクトに鑑みて、その代表画像特徴点が有意なものであるため、十分なマッチング精度が確保できる。その結果、このようにして生成される参照データを用いることで、撮影位置の特定、つまり自車位置の特定のための風景画像マッチング処理を効率よく行うことができる。
【０００８】
風景を被写体とする撮影画像においては、同じ種類の特徴オブジェクトが複数含まれることがあるので、これらの特徴オブジェクトを明確に区別する必要がある。このため、オブジェクト属性を定義する識別データの中に、認識された特徴オブジェクトが他の特徴オブジェクトと混同しないように、同じ種類の特徴オブジェクトを区別するための何らかの情報が必要となる。この目的のため、前記属性情報が判定された前記オブジェクト属性毎に割り当てられる識別データを含み、前記識別データは他の特徴オブジェクトと区別するための識別コードを含むように構成すると好適である。
【０００９】
特徴オブジェクトとして、少ない代表画像特徴点で明確に定義でき、データ処理しやすいものが好適である。従って、本発明の好適な実施形態の１つでは、前記特徴オブジェクトは幾何形状であり、前記オブジェクト属性は幾何形状を特定するものとしている。例えば、撮影画像から円や四角形といった面積を有するものや交差する直線などは比較的認識しやすく、その定義式が簡単なためデータ処理的にも取り扱いが便利である。風景画像を幾何形状で置き換えることで、風景画像マッチング処理の効率化が実現する。その際、認識された幾何形状が特定輪郭線を有する特定幾何形状である場合、当該輪郭線上に位置する幾何学的特徴点を前記代表画像特徴点とし、前記代表画像特徴点の前記撮影画像上の座標値を前記特徴点位置情報とすると、マッチング処理が容易となり、好都合である。
【００１０】
走行する車両から撮影された風景画像から、マッチング処理に適した特徴オブジェクトや適していない特徴オブジェクトが認識される可能性がある。例えば、同じような画像パターンであるセンターラインなどはマッチング処理には適していない。また車両周辺の自動車などの移動物体などもマッチング処理には適していない。また、車両が走行しているエリア、例えば、山間エリア・郊外エリア・市街地エリア・高層都市エリアなどによって、重要な代表オブジェクトが認識される撮影画像上の位置は異なる。このことから、そのような状況を規定した撮影状況情報などが取得できる場合、その撮影状況情報に応じて特徴オブジェクトを抽出するやり方を変えることが望ましい。従って、本発明の好適な実施形態の１つでは、前記撮影画像に特定被写体が含まれている可能性を表す撮影状況情報が入力され、当該撮影状況情報に基づいて前記撮影画像から前記特徴オブジェクトが抽出される抽出領域といった抽出条件が変更されるように構成されている。
【００１１】
また、代表特徴点の元になる画像特徴点は、画像の上にある点で安定して検出できるものが好ましいので、一般にはエッジ検出フィルタなどを用いて得られるエッジ画像を構成するエッジ点を用いるとよい。このため、本発明の好適な実施形態の１つでは、前記撮影画像からの前記特徴オブジェクトの抽出は、前記撮影画像にエッジ検出処理を施すことで得られたエッジ画像を通じて行われるように構成されている。
【００１２】
さらに、本発明は、上述した風景マッチング用参照データ生成システムによって作成される参照データを用いたマッチング処理を通じて自車位置を決定する位置測位システムも権利範囲としている。そのようなる位置測位システムは、前記参照データを格納している参照データデータベースと、車両からの風景を撮影した実撮影画像を入力するデータ入力部と、入力された前記実撮影画像から当該撮影画像中における識別可能な事物を特徴オブジェクトとして認識する特徴オブジェクト認識部と、各前記特徴オブジェクトから当該特徴オブジェクトを規定する１つまたは２つ以上の代表画像特徴点を抽出する代表特徴点抽出部と、各前記特徴オブジェクトの属性であるオブジェクト属性を分類判定する属性判定部と、前記実撮像画像内における前記代表画像特徴点の位置を表す特徴点位置情報と、当該代表画像特徴点が属する特徴オブジェクトのオブジェクト属性を表す属性情報とを含む特徴点データをマッチング用データとして生成する特徴点データ生成部と、前記参照データデータベースから抽出した参照データと前記マッチング用データとのマッチングを行うとともに、前記マッチングに成功した参照データに関係付けられた撮影位置に基づいて自車位置を決定する風景マッチング部とを備えている。この位置測位システムでは、上述したように、風景画像マッチングに効果的な参照データを用いているので、良好に自車位置を決定することができる。
【００１３】
また、このような自車位置の決定に関して、更に好適な実施形態の１つでは、前記風景マッチング部は、前記参照データに含まれる異なる複数の前記特徴オブジェクトのそれぞれから前記代表画像特徴点を選択し、選択された複数の代表画像特徴点のそれぞれの特徴点位置情報を読み出すとともに、前記実撮像画像内における対応する複数の代表画像特徴点を抽出し、前記参照データの前記複数の代表画像特徴点の位置関係と、前記実撮像画像から抽出された対応する前記複数の代表画像特徴点の位置関係と、に基づいて自車位置を決定する。この構成によれば、参照データの前記複数の代表画像特徴点の位置関係と、前記実撮像画像から抽出された対応する前記複数の代表画像特徴点の位置関係と、に基づいて、参照データの元となった撮影画像の撮影位置及び方位と、実撮像画像の撮影位置及び方位とのずれも算出することが可能となるので、より高精度な自車位置の決定を行うことができる。
【図面の簡単な説明】
【００１４】
【図１】本発明による画像処理システムによる参照データの作成と、その参照データを用いたマッチング処理を通じて自車位置を決定する位置測位技術の基本概念を説明する模式図である。
【図２】本発明による画像処理システムの主な機能を示す機能ブロック図である。
【図３】特徴点抽出部の主な処理機能と処理の流れを示す模式図である。
【図４】撮影画像からエッジ点データを生成する過程を模式的に示す模式図である。
【図５】画像処理システムにおけるエッジ点データから参照データを生成する過程を示す模式図である。
【図６】本発明による画像処理システムで作成された参照データで構築されている参照データＤＢを用いたカーナビゲーションシステムの機能ブロックである。
【発明を実施するための形態】
【００１５】
以下、図面を用いて本発明を詳しく説明する。図１は、風景画像マッチングを通じて自車位置を決定する位置測位技術の基本概念を模式的に示している。
風景画像マッチングに利用される参照データデータベース９２（以下単に参照データＤＢと略称する）は本発明による画像処理システムによって生成される参照データをデータベース化することで構築することができる。以下に、この構築手順を説明する。図１に示すように、走行途中における車両からの風景を撮影した撮影画像とその撮影時の撮影位置（実質的には自車位置である）が入力され、ワーキングメモリに一時格納される（＃０１）。次に、ワーキングメモリに展開された撮影画像から画像特徴を抽出し、そのような画像特徴から当該撮影画像中における識別可能な事物を特徴オブジェクトとして認識する（＃０２）。この画像特徴はその特徴抽出の方法によって画像特徴点群で表されるもの、線群で表されるもの、エリアで表されるものなど様々であるが、代表的なものは撮影画像から輪郭だけを抽出したものであり、その抽出結果は、画像特徴点ないしは画像特徴点の集まりとしての特徴線群で表される。この場合は、認識される特徴オブジェクトは、点や線で規定される幾何形状体とすることが好適である。
【００１６】
次いで、認識された特徴オブジェクトから当該特徴オブジェクトを規定する１つまたは２つ以上の代表画像特徴点を抽出する（＃０３）。この代表特徴点は、特徴オブジェクトが幾何形状とすれば、その幾何形状を規定する画像特徴点である。例えば、四角形なら、その４つのコーナ点が代表画像特徴点となる。代表画像特徴点が決まると、その代表画像特徴点によって規定される幾何形状の種類などのオブジェクト属性（属性情報）が分類判定され、その代表画像特徴点の座標位置（特徴点位置情報）と組み合わされる（＃０４）。さらに、１枚の撮影画像中で認識された各特徴点位置情報と属性情報とからなる特徴オブジェクトの全てを表現した特徴点データが生成される（＃０５）。このようにして生成された特徴点データは撮影位置と関連（リンク）付けられて、風景画像マッチングの参照データとなる（＃０６）。さらに参照データは、撮影位置を検索条件として検索抽出可能なようにデータベース化され、風景画像マッチングでのパターンマッチングのパターンとして利用されるべく参照データＤＢ９２に格納される（＃０７）。
【００１７】
次に、上述したような手順で構築された参照データＤＢ９２を用いて、実際の車両走行時にその車両の位置（自車位置）を決定する手順を説明する。図１に示すように、車載カメラで風景を撮影して得られた実撮影画像と、参照データＤＢ９２から参照データを抽出するために用いられる、その撮影位置と撮影方位が入力される（＃１１）。ここでの撮影位置は、ＧＰＳ測定ユニットなどを用いて推定された推定自車位置である。入力された撮影画像から、上記ステップ＃０２〜＃０５の処理手順を経て特徴点データであるマッチング用データが生成される（＃１２）。さらに、入力された撮影位置（推定自車位置）を検索条件として、該当する撮影位置の参照データ及びその撮影位置（推定自車位置）の前後の参照データがマッチング候補参照データとして抽出される（＃１３）。
【００１８】
抽出されたマッチング候補参照データセットから１つずつ参照データをマッチング用パターンとして設定し、現時点で生成されたマッチング用データとの間のパターンマッチング処理が風景画像認識として実行される（＃１４）。マッチングが成功すれば、その対象となった参照データに関係付けられた撮影位置が読み出され（＃１５）、この撮影位置が推定自車位置に代わる正式な自車位置として決定される（＃１６）。
【００１９】
次に、上述した自車位置測位技術の基本概念に基づいて撮影画像から参照データを作り出す、本発明による画像処理システムの一例を図２の機能ブロック図を用いて説明する。この画像処理システムは、データ入力部５１、特徴点抽出部６０、特徴オブジェクト認識部５２、属性判定部５３、代表特徴点抽出部５４、属性情報生成部５５、特徴点データ生成部５６、参照データ生成部５７を備えている。それらの各機能はハードウエアまたはソフトウエアあるいはその組み合わせで作り出すことができる。
データ入力部５１は、参照データの作成目的で走行している車両からの風景を撮影した撮影画像と当該撮影画像の撮影位置とを入力する。特徴点抽出部６０は、風景画像認識に適した画像特徴を撮影画像から抽出して、所定の画像特徴を示している画素または画素群を画像特徴点とする。この実施形態では、撮影画像にエッジ検出処理を施すことで得られたエッジ画像に基づいて取り出されるエッジ点が画像特徴点である。個々では、元となる撮影画像はＲＧＢ画像であり、輝度差（濃度差）によって輪郭が検知されているが、これに代えて、彩度差や色相差によって輪郭が検知されるような方法を採用してもよい。抽出条件調整部６０Ａは、風景マッチングに不適な画像特定点が最終的に残らないようにするためも、その抽出に制限、例えばエリア制限を行う。
【００２０】
特徴オブジェクト認識部５２は、撮影画像における画像特徴が示された画像から、当該撮影画像中における識別可能な事物を特徴オブジェクトとして認識する機能を有し、ここでは特徴オブジェクトは、幾何形状とされている。ここで特徴オブジェクトとして認識される幾何形状としては、交点を有する２つ以上の直線、円、四角形、三角形などの基本的な幾何形状が取り扱われている。属性判定部５３は、特徴オブジェクト部５２で認識された幾何形状に対して他の機能部で利用できるように特徴オブジェクトの属性であるオブジェクト属性（上述した直線、円、四角形など）を分類判定する。代表特徴点抽出部５４は、属性判定部５３による分類判定結果に基づいて、各特徴オブジェクトを規定する１つまたは２つ以上の画像特徴点を代表画像特徴点として抽出する。例えば、四角形なら、４つのコーナ点である。属性情報生成部５５は、属性判定部５３による分類判定結果及び、代表特徴点抽出部５４による抽出された代表特徴点の座標値などを含むオブジェクト属性を属性データ化して属性情報を生成する。特徴点データ生成部５６は、代表画像特徴点の位置を表す特徴点位置情報と、当該代表画像特徴点によって規定される特徴オブジェクトの属性情報とを含む特徴点データを生成する。参照データ生成部５７は、特徴点データ生成部５６によって生成された特徴点データに撮影位置（自車位置）を関連付けて、風景画像マッチングの参照データを生成する。
【００２１】
次に、データ入力部５１と特徴点抽出部６０の主な処理の流れを模式的に示している図３を用いて、そのデータ処理を詳しく説明する。
データ入力部５１には、参照データ作成目的で走行している車両に搭載されたカメラによる風景を撮影した撮影画像と、その撮影時の撮影位置及び撮影方位を含む撮影属性情報と、さらに撮影状況情報が入力される。画像処理システムが走行車両に搭載されている形態においては、この入力部５１にはリアルタイムで撮影画像と撮影属性情報と撮影状況情報が入力されることになるが、この画像処理システムがデータ処理センタなどに設置されている形態においては、撮影画像と撮影属性情報と撮影状況情報が一時的に記録メディアに記録され、これらのデータ入力はバッチ処理的に行われる。
【００２２】
撮影状況情報は、撮影画像に特定被写体が含まれている可能性を表す情報であり、この実施の形態の撮影状況情報に含まれる内容は、走行レーンデータと、移動物体データと、エリア属性データである。走行レーンデータは、撮影画像に対する画像処理を通じて得られる白線やガイドレールや安全地帯の認識結果から得られた、撮影画像における自車の走行レーン領域や道路外領域を示すデータである。移動物体データは、レーダなどの障害物を検知する車載センサによって認識される車両周辺に存在する移動物体の撮影画像中における存在領域を示すデータである。エリア属性データは、撮影画像の撮影時の車両位置と地図データとに基づいて認識された撮影場所の種別、例えば、山間エリア・郊外エリア・市街地エリア・高層都市エリアなどといったエリア属性を示すデータである。
【００２３】
特徴点抽出部６０は、一時格納部６１、エッジ検出部６２、エッジ重要度決定部６３、重み付け部６４、調整係数設定部６５、エッジ点画像出力部６６を備えている。一時格納部６１は、入力された撮影画像を、一時的に格納するワーキングメモリであり、通常はメインメモリの一部の領域に割り当てられる。
【００２４】
エッジ検出部６２は、適当な輪郭（エッジ）検出演算子を使用して撮影画像から画像特徴としての画像特徴点を抽出する。ここでの画像特徴点はエッジ点やエッジ点群（エッジ線）である。エッジ重要度決定部６３は、エッジ検出部６２によって抽出された画像特徴点（エッジ点）の重要度を、撮影状況情報に含まれている各データの内容に基づいて決定する。例えば、走行レーンデータの内容を用いる場合、撮影画像中における、路肩寄りの走行レーンからさらに路肩側に外れた領域に属する画像特徴点に対してより高い重要度を付与する。また、移動物体データを用いる場合、撮影画像中における、移動物体が存在する領域に属する画像特徴点に対して低い重要度を付与する。さらに、エリア属性データの内容を用いる場合、撮影画像中の位置に応じた重要度の付与規則を前記エリア属性に応じて変更する。例えば、山間エリアの撮影画像では、撮影中心光軸の上方は空で左右は森林である可能性が高いので、撮影中心光軸周りである中心領域に対して高い重要度を設定する。郊外エリアの撮影画像では、車の往来が少なく、住宅等の構造物が周囲に広がっているので、撮影中心光軸の下方領域に対して高い重要度を設定する。市街地エリアの撮影画像では、車の往来が多いので、撮影中心光軸の上方領域に対して高い重要度を設定する。高層都市エリアの撮影画像では、高架道路や高架橋などが多いので、撮影中心光軸の上方領域に対して高い重要度を設定する。
【００２５】
重み付け部６４は、エッジ重要度決定部６３によって決定された重要度に応じて画像特徴点に重み係数を割り当てる。正確な画像認識（パターンマッチング）を行うために重要と思われる画像特徴点には高い重要度が設定されているので、高い重要度が設定された画像特徴点に大きい重み係数が割り当てられるが、低い重み係数をもつ画像特徴点は実際の画像認識において使用されない可能性が高いこと、あるいは参照データから削除されることを考慮して、画像特徴点の取捨選択の判定のために利用できるように算定される。
【００２６】
調整係数設定部６５は、重み付け部６４によって割り当てられた重み係数を対応する撮影画像領域における分布状態の観点から変更するための調整係数を算定する。つまり、エッジ検出部６２によって抽出された画像特徴点に対して撮影状況情報に基づいて決定された重要度にはある程度の誤りが含まれ、その重要度がある程度高い画像特徴点もランダムに発生する可能性があるとも考えられる。このため、画像特徴点の偏在、言い換えると重み付け部６４によって割り当てられた重み係数の偏在が生じていた場合、その偏在を緩やかにする目的でこの調整係数設定部６５は用いられる。演算処理で得られた画像特徴点の散布度が画像特徴点の偏在を示している場合、画像特徴点の密度が小さい領域に属する画像特徴点の重み係数が大きくなるように調整係数が設定され、画像特徴点の密度が大きい領域に属する画像特徴点の重み係数が小さくなるように調整係数が設定される。エッジ点画像出力部６６は、重み付け部６４によって割り当てられた重み係数、及びオプション的に利用される調整係数に基づいて各画像特徴点を整理して撮影画像毎の画像特徴点データを出力する。つまり、エッジ重要度決定部６３、重み付け部６４、調整係数設定部６５によって、抽出される画像特徴点を調整する抽出条件調整部６０Ａとして機能する。
【００２７】
ここで、上述した調整係数によって画像特徴点を撮影画像領域全体にわたってできるだけ広く散布させる処理を図４に示された模式的説明図を用いて説明する。撮影画像（図４（ａ）から画像特徴点（エッジ点）を抽出することでエッジ検出画像（図４（ｂ））が生成される。このエッジ検出画像の各エッジ点に重要度が付与される。重要度の付与された様子を模式的に理解できるように、図４（ｃ）では特徴点画像に対応する重要度レイヤの形で各エッジ点に対応する重要度が示されている。この重要度レイヤを用いて、各エッジ点に重み係数が割り当てられる。図４（ｄ）では、大きな重み係数をもつほど大きい点となるようにエッジ点を描いたエッジ点画像の形で重み係数を割り当てたれたエッジ点が示されている。ここで、所定しきい値以下の重み係数を割り当てられたエッジ点が除去されるようなエッジ点の整理が行われると、例えば、図４（ｄ）で大きな点となっているエッジ点だけが選別されると、エッジ点画像の下方領域に位置しているエッジ点は排除され、残ったエッジ点の分布に大きな偏在が生じる。この偏在を回避するため、エッジ点画像におけるエッジ点の散布度を算出し、結果的に選別されるエッジ点の密度が低くなる領域のエッジ点の重み係数を増加させるような調整係数が設定される。そのように設定される調整係数を模式的に理解できるように、図４（ｅ）では調整係数群をエッジ点画像に対応するようにマトリックス的に（ここでは複数の画素領域からなる区画単位で）配置した調整係数レイヤの形で示されている。エッジ点画像出力部６６は、このような重み係数と調整係数に基づいて最終的に設定された重み係数を用いて各画像特徴点を整理して、図４（ｆ）で示されたようなエッジ点画像を撮影画像毎に生成する。
【００２８】
ここでは、画像特徴点（エッジ点）毎に重要度が決定され、その結果画像特徴点毎に重み係数が設定されているような形態であったが、これらの処理をグループ単位で行うことも可能である。その際には、例えば、撮影画像領域が複数の画像区画に分割され、エッジ重要度決定部６３が、同一画像区画に属する記画像特徴点を画像特徴点群としてグループ化して統一的に取り扱い、当該画像特徴点群に含まれる画像特徴点には同一の重要度を与え、重み付け部６４も同様に画像特徴点群単位で重み係数を設定するとよい。また、ここで取り扱われている画像区画を、撮影画像を構成する１画素単位で取り扱ってもよいが、複数画素単位で画像区画を取り扱ってもよい。
【００２９】
上述した特徴点抽出部６０から出力されたエッジ点画像から特徴オブジェクトとして幾何形状を認識して、エッジ点画像の含まれているエッジ点をこの幾何形状によって特定して特徴点データを生成する処理の流れを図５の模式図を用いて説明する。
特徴オブジェクト部５２は、撮影画像から得られたエッジ点画像中における1つ以上のエッジ点から規定される幾何形状、例えば、交差する直線、三角形、四角形、円などを認識する。このような幾何形状の認識は、例えば、画像のハフ変換によって、直線や円を認識することにより、可能である。複数直線及びそれらの直線の交点を認識することで、三角形（３つの交点）や四角形（４つの交点）も認識することができる。これらの認識アルゴリズムはよく知られているので、詳しい説明は省略する。特定の幾何形状が認識されると、属性判定部５３がその幾何形状を特定するための情報であるオブジェクト属性を決めるとともに、代表特徴点抽出部５４が、その特定の幾何形状を規定する１つまたは２つ以上のエッジ点を代表画像特徴点として特定抽出して、それらの座標値などを取り込む。そして、属性情報生成部５５が認識された幾何形状（特徴オブジェクト）を特定する種々のパラメータを属性値とする属性情報を幾何形状毎に作成する。例えば、認識された幾何形状が四角形なら、代表画像特徴点は四角形の４つのコーナ点（エッジ点）とする。また、円なら、代表画像特徴点は、円中心を通るＸ軸平行線及びＹ軸平行線と円周との交点に位置するエッジ点とする。また、交わる２直線なら、その交点を代表画像特徴点として、記述的特徴としてその交差角を付属させるとよい。ここでは単純な線分も認識される幾何形状として扱われ、その代表画像特徴点は、線分の一方端のエッジ点と他方端のエッジ点とする。以上の説明から明らかなように、一般的には、認識された幾何形状が特定輪郭線を有する特定幾何形状である場合、そのエッジ点群である輪郭線上に位置するエッジ点（幾何学的特徴点）が代表画像特徴点として採用されており、この代表画像特徴点の撮影画像上の座標値が特徴点位置情報として属性値の形で組み込まれる。
また、認識された幾何形状毎に付与される属性情報には、同一種の他の幾何形状と区別するために識別コード、つまりＩＤコードが含まれる。
さらに、画像上において認識される幾何形状として、複数画像を用いた認識処理を採用すれば、周期的に点滅する発光体が作り出す発光エリア形状も含めることも可能である。そのような無定形な形状では、その重心点を属性値とすると好都合である。
【００３０】
特徴点データ生成部５６は、代表画像特徴点の位置を表すエッジ点の座標位置を表現する位置情報（たとえばエッジ点画像）と、この代表画像特徴点によって規定される特徴オブジェクトとしての幾何形状の属性情報とからなる特徴点データを生成する。参照データ生成部５７は、特徴点データ生成部５６によって生成された特徴点データに撮影位置（自車位置）を関連付けて、風景画像マッチングの参照データを生成する。
【００３１】
なお、上述した参照データの生成過程では、撮影画像に特定被写体が含まれている可能性を表す撮影状況情報に基づいて撮影画像からの特徴オブジェクトの抽出に制限（抽出条件）を加えるために、前もって、エッジ点画像の生成時に予め撮影状況情報に基づく制限を行っている。つまり、撮影状況情報から判断して、マッチングのために不適と思われる領域から特徴オブジェクトが認識されないように、予め、そのような領域のエッジ点が排除している。このやり方に代えて、特徴オブジェクトの認識時に、撮影状況情報から不適領域を指定して、特徴オブジェクトの認識対象から除外するようにしてもよい。
【００３２】
次に、上述した画像処理システムで作成された参照データＤＢ９２を用いて風景画像認識（画像特徴点パターンマッチング）で自車位置を修正する車載用カーナビゲーションシステムを説明する。図６は、そのようなカーナビゲーションシステムを車載ＬＡＮに組み込んだ形態で示した機能ブロックである。このカーナビゲーションシステムは、入力操作モジュール２１、ナビ制御モジュール３、自車位置検出モジュール４、撮影状況情報生成部７、上記の参照データＤＢ９２とカーナビ用道路地図データを収納した道路地図データベース９１（以下単に道路地図ＤＢと略称する）とを有するデータベース９を備えている。
【００３３】
ナビ制御モジュール３は、経路設定部３１、経路探索部３２、経路案内部３３を備えている。経路設定部３１は、例えば自車位置等の出発地、入力された目的地、通過地点や走行条件（高速道路の使用有無など）を設定する。経路探索部３２は、経路設定部３１によって設定された条件に基づき出発地から目的地までの案内経路を探索するための演算処理を行う処理部である。経路案内部３３は、経路探索部３２により探索された出発地から目的地までの経路に従って、モニタ１２の表示画面による案内表示やスピーカ１３による音声案内等により、運転者に対して適切な経路案内を行うための演算処理を行う処理部である。
【００３４】
自車位置検出モジュール４は、従来のＧＰＳによる位置算定及び推測航法による位置算定によって得られた推定自車位置を、この推定自車位置を利用した風景画像認識によって決定された自車位置で修正する機能を有する。自車位置検出モジュール４は、ＧＰＳ処理部４１、推測航法処理部４２、自車位置座標算定部４３、マップマッチング部４４、自車位置決定部４５、撮影画像処理部５、風景マッチング部６を備えている。ＧＰＳ処理部４１にはＧＰＳ衛星からのＧＰＳ信号を受信するＧＰＳ測定ユニット１５が接続されている。ＧＰＳ処理部４１はＧＰＳ測定ユニット１５で受信されたＧＰＳ衛星からの信号を解析し、車両の現在位置（緯度及び経度）を算定し、ＧＰＳ位置座標データとして自車位置座標算定部４３に送る。推測航法処理部４２には距離センサ１６と方位センサ１７が接続されている。距離センサ１６は、車両の車速や移動距離を検出するセンサであり、例えば、車両のドライブシャフトやホイール等が一定量回転する毎にパルス信号を出力する車速パルスセンサ、自車両Ｃの加速度を検知するヨー・Ｇセンサ及び検知された加速度を積分する回路等により構成される。距離センサ１６は、その検出結果としての車速及び移動距離の情報を推測航法処理部４２へ出力する。方位センサ１７は、例えば、ジャイロセンサ、地磁気センサ、ハンドルの回転部に取り付けた光学的な回転センサや回転型の抵抗ボリューム、車輪部に取り付ける角度センサ等により構成され、その検出結果としての方位の情報を推測航法処理部４２へ出力する。推測航法処理部４２は、刻々と送られてくる移動距離情報と方位情報とに基づいて推測航法位置座標を演算し、推測航法位置座標データとして自車位置座標算定部４３に送る。自車位置座標算定部４３は、ＧＰＳ位置座標データと推測航法位置座標データとから公知の方法により車両の位置を特定する演算を行う。算定された自車位置情報は、測定誤差等を含んだ情報となっており、場合によっては道路上から外れてしまうので、マップマッチング部４４により、自車位置を道路地図に示される道路上とする補正が行われる。その自車位置座標は推定自車位置として自車位置決定部４５に送られる。
【００３５】
撮影画像処理部５は、実質的には図２で示された画像処理システムを構成していた大部分の機能部を備えている。この撮影画像処理部５は、データ入力部５１、エッジ検出部６２、エッジ重要度決定部６３と、重み付け部６４、調整係数設定部６５、エッジ点画像出力部６６を備え、車載カメラ１４によって撮影された車両からの前方風景撮影画像がデータ入力部５１に入力されると、上述したような手順を経て画像特徴点データがエッジ点画像出力部６６から出力される。なお、エッジ重要度決定部６３で利用される撮影情況情報は、車両に搭載された撮影状況情報生成部７によって生成され、撮影画像処理部５に送られる。撮影状況情報生成部７は、上記走行レーンデータを作成するために、車載カメラ１４と接続されており、撮影画像処理部５に送られる撮影画像と同じものを受け取る。受け取った撮影画像を公知のアルゴリズムを用いて画像処理することで走行レーンデータが作成される。また、撮影状況情報生成部７は、上記移動物体データを作成するために障害物検出用のセンサ群１８と接続されている。このセンサ群１８からのセンサ情報に基づいて移動物体データが作成される。さらに、撮影状況情報生成部７は、上記を作成するために、自車位置決定部４５及びデータベース９と接続している。自車位置決定部４５からの自車位置座標と検索キーとしてデータベース９を検索して、現在走行している場所のエリア属性（山間部や市街地など）を取得し、それに基づいてエリア属性データが作成される。
【００３６】
風景マッチング部６は、自車位置決定部４５から送られてきた推定自車位置に基づいて参照データＤＢ９２から抽出された参照データをパターンとして、撮影画像処理部５から送られてきた画像特徴点データに対するパターンマッチング処理を行う。このパターンマッチングが成功した場合には、マッチングパターンである参照データに関係付けられた撮影位置が読み出される。この撮影位置が自車位置として、自車位置決定部４５に転送される。自車位置決定部４５は転送されてきた自車位置を推定自車位置と置き換える自車位置修正を行う。
【００３７】
このカーナビゲーションシステムは、また、周辺装置として、タッチパネル１１やスイッチなどの入力デバイス１１とそれらの入力デバイス１１を通じての操作入力を適切な操作信号に変化して内部に転送する操作入力評価部２１ａを有する入力操作モジュール２１、モニタ１２にカーナビゲーションに必要な画像情報を表示するための表示モジュール２２、スピーカ１３やブザーからカーナビゲーションに必要な音声情報を流す音声生成モジュール２３、制動や加速や操舵などといった車両の種々の挙動を車載ＬＡＮを通じて送られてくる挙動データに基づいて検知する車両挙動検知モジュール２４を備えている。
【００３８】
（別な実施形態）
上述した実施形態では、採用されていなかったが、本発明の別な実施形態の１つとして、自車位置検出モジュール４による自車位置の決定に関して、参照データに含まれる複数の特徴オブジェクトのそれぞれの代表画像特徴点の位置関係と、実撮像画像から抽出された対応する複数の代表画像特徴点の位置関係と、に基づいて詳細な自車位置を決定する構成としても好適である。この場合、風景マッチング部６は、参照データに含まれる異なる複数の特徴オブジェクトのそれぞれから代表画像特徴点を選択し、選択された複数の代表画像特徴点のそれぞれの特徴点位置情報を読み出す。また、風景マッチング部６は、実撮像画像内における対応する複数の代表画像特徴点を抽出する。そして、風景マッチング部６は、参照データの複数の代表画像特徴点の位置関係と、実撮像画像から抽出された対応する複数の代表画像特徴点の位置関係と、に基づいて自車位置を決定する。具体的には、参照データの複数の代表画像特徴点の位置関係と、実撮像画像から抽出された対応する複数の代表画像特徴点の位置関係との差異に基づいて、参照データの元となった撮影画像の撮影位置及び方位に対する、実撮像画像の撮影位置及び方位とのずれを算出する。これにより、風景マッチング部６は、より高精度な自車位置の決定を行う。
【００３９】
上述した実施形態では、画像特徴点として、エッジ検出処理によって得られるエッジ点、特に一本の線分を構成している線分エッジやそのような線分が交差、好ましくはほぼ直交する交点であるコーナエッジが効果的な画像特徴点として扱われる。しかしながら、本発明は、画像特徴点としてそのようなエッジ点に限定されるわけではない。例えば、円や四角形など幾何学的形状を形成する代表的なエッジ点（円なら円周上の３点など）あるいは無定形の幾何学的形状の重心やその重心としての点なども、その風景によっては効果的な画像特徴点となるので、用いられる。また、エッジ強度も重要度を算定するための因子として採用することも好適であり、例えば強度の強いエッジからなる線分なら、その線分の始点と終点は重要度の高い画像特徴点として取り扱うことができる。また、特徴的な幾何学的形状における特定点、例えば左右対称な物体のエッジ点や重心点なども重要度の高い画像特徴点として取り扱うことができる。
さらには、エッジ検出処理によって得られるエッジ点以外に、撮影画像を色相や彩度の変化として捉え、その変化の大きい点を画像特徴点として採用することも可能である。同様に色情報に基づくものとして色温度の高い物体のエッジ点を重要度の高い画像特徴点として取り扱うことも可能である。
つまり、本発明で取り扱われる画像特徴点は、参照データと実撮影画像から生成される画像特徴量データとの間の類似度判定、例えば、パターンマッチングにとって有効なものであれば、全て利用の対象となる。
【００４０】
上述した実施形態では、参照データＤＢ９２に格納される参照データには、撮影位置と撮影方位（カメラ光軸方位）が関係付けられていたが、それ以外に、上述した撮影状況情報、さらには撮影日時や撮影時天候なども、関係付けてもよい。
なお、撮影位置は、最低限、緯度・経度データのような二次元データでよいが、高さデータも加えて三次元データとしてもよい。
また、撮影方位を参照データに関係付けることは必須ではない。例えば、参照データの作成時も、この参照データを用いての風景画像認識時も、走行道路に対して実質的に同じ撮影方位で撮影されることが保証される場合では、撮影方位は不必要となる。
逆に、１つの基本的な撮影方位での参照データから撮影方位を適度にずらせた参照データを用意することができる場合では、方位センサなどの情報から算定された車両の走行方向に基づいて、その走行方位に適合する参照データだけを風景画像認識の対象とすることも可能である。
本発明で取り扱われる車載カメラは、車両走行方向前方の風景を撮影するものが最適である。しかしながら、前方斜めの風景をとるカメラであってもよいし、さらには側方、後方の風景を撮影するカメラであってよい。つまり、本発明で取り扱われる撮影画像は、車両走行方向の前方風景を撮影したものだけに限定されるわけではない。
【００４１】
上述した実施形態の説明に用いられた機能ブロック図で区分けされた示された機能部はわかりやすい説明を目的としており、ここで示された区分けに本発明は限定されているわけではなく、それぞれの機能部を自由に組み合わせたり、１つの機能部をさらに区分けしたりすることが可能である
【産業上の利用可能性】
【００４２】
本発明の画像処理システムは、カーナビゲーションのみならず、風景画像認識によって現在位置や方位を測位する技術分野に適用可能である。
【符号の説明】
【００４３】
３：ナビ制御モジュール
４：自車位置検出モジュール
４１：ＧＰＳ処理部
４２：推測航法処理部
４３：自車位置座標算定部
４４：マップマッチング部
４５：自車位置決定部
５：画像処理システム
５１：データ入力部
５２：特徴オブジェクト認識部
５３：属性判定部
５４：代表特徴点抽出部
５５：属性情報生成部
５６：特徴点データ生成部
５７：参照データ生成部
６０：特徴点抽出部
６１：一時格納部
６２：エッジ検出部
６３：エッジ重要度決定部
６４：重み付け部
６５：調整係数設定部
６６：エッジ点画像出力部
６：風景マッチング部
１４：カメラ
９２：参照データＤＢ（参照データデータベース）
９１：道路地図ＤＢ（道路地図データベース）
【技術分野】
【０００１】
本発明は、画像処理システム、特にカーナビゲーション装置における画像マッチングを用いた自車位置決定に適した参照データを生成する画像処理システムに関する。
【背景技術】
【０００２】
従来から、カーナビゲーション装置では、車両の現在位置を算出する方法として、ジャイロや地磁気センサ等のセンサから取得した情報を利用する方法（自律航法）、ＧＰＳ衛星からの信号を利用する方法、あるいは自律航法とＧＰＳとを組合せる方法が採用されている。さらに、高精度に現在位置を算出するために、ＧＰＳ衛星からの信号等を利用して暫定的な現在位置を求めておいて、撮影された車両前方の画像を用いて、暫定現在位置を基準にした座標系（自動車座標系）における道路標示の特徴点の座標（自動車座標系特徴点）を算出し、算出した自動車座標系特徴点と記憶している道路標示の特徴点の座標（ワールド座標系で示した座標）とを用いて、車両の現在位置を算出するように構成された位置測位装置が知られている（例えば、特許文献１参照）。この装置では、測位衛星からの信号および各種センサからの信号による測位では誤差を含んでしまう場合であっても、精度の高い現在位置を算出することが可能となる。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００７−２０８０４３号公報（段落番号０００９−００１３、図１）
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかし、上記特許文献１による位置測位装置では、道路上の道路標示の特徴点の空間座標をステレオ画像から求め、道路標示情報データベースに収められたその特徴点を有する道路標示の緯度・経度によって求められた座標を用いて自車位置を算出するので、道路標示のない場所では利用できない。また、画像処理によって認識された特徴点の空間座標を演算する必要があるので、装置には高い演算能力が要求され、コストアップの要因となる。
【０００５】
そこで、道路標識のない道路や特定敷地内においても利用できるとともに、各特徴点の空間座標を位置算出毎に演算しなくてもよい位置決めとして風景画像認識技術の利用が考えられる。その際、風景画像認識技術に利用される効果的な参照用画像データの作成が重要となるので、そのような効果的な参照用画像データの作成に適した画像処理システムの実現が望まれる。
【課題を解決するための手段】
【０００６】
上記課題を解決するための本発明に係る、車両からの風景を撮影した撮影画像に基づいて風景画像マッチングを行う際に利用される参照データを作成する画像処理システムの特徴構成は、前記撮影画像と当該撮影画像の撮影位置とを入力するデータ入力部と、入力された前記撮影画像から当該撮影画像中における識別可能な事物を特徴オブジェクトとして認識する特徴オブジェクト認識部と、各前記特徴オブジェクトから当該特徴オブジェクトを規定する１つまたは２つ以上の代表画像特徴点を抽出する代表特徴点抽出部と、各前記特徴オブジェクトの属性であるオブジェクト属性を分類判定する属性判定部と、前記撮像画像内における前記代表画像特徴点の位置を表す特徴点位置情報と、当該代表画像特徴点が属する特徴オブジェクトのオブジェクト属性を表す属性情報とを含む特徴点データを生成する特徴点データ生成部と、前記特徴点データに前記撮影位置を関連付けて、前記参照データを生成する参照データ生成部とを備える点にある。
【０００７】
風景画像のような単純ではない構図をもつ場合、通常行われているような、参照データとマッチング用データとの間の互いの画素点を比較するようなマッチング処理では処理量が膨大になる。しかしながら、上記構成によれば、識別可能に認識される特徴オブジェクトという概念を導入することで、その特徴オブジェクトを規定する１つまたは２つ以上の代表画像特徴点と、その特徴オブジェクトの属性を表す属性情報とからなる特徴点データを参照データとして利用することが可能となる。マッチング対象となるのが少ない数の代表画像特徴点となることからその演算負荷が減少することはもちろんであるが、マッチング対象が僅かな数の代表画像特徴点であっても、属性情報から決定される特徴オブジェクトに鑑みて、その代表画像特徴点が有意なものであるため、十分なマッチング精度が確保できる。その結果、このようにして生成される参照データを用いることで、撮影位置の特定、つまり自車位置の特定のための風景画像マッチング処理を効率よく行うことができる。
【０００８】
風景を被写体とする撮影画像においては、同じ種類の特徴オブジェクトが複数含まれることがあるので、これらの特徴オブジェクトを明確に区別する必要がある。このため、オブジェクト属性を定義する識別データの中に、認識された特徴オブジェクトが他の特徴オブジェクトと混同しないように、同じ種類の特徴オブジェクトを区別するための何らかの情報が必要となる。この目的のため、前記属性情報が判定された前記オブジェクト属性毎に割り当てられる識別データを含み、前記識別データは他の特徴オブジェクトと区別するための識別コードを含むように構成すると好適である。
【０００９】
特徴オブジェクトとして、少ない代表画像特徴点で明確に定義でき、データ処理しやすいものが好適である。従って、本発明の好適な実施形態の１つでは、前記特徴オブジェクトは幾何形状であり、前記オブジェクト属性は幾何形状を特定するものとしている。例えば、撮影画像から円や四角形といった面積を有するものや交差する直線などは比較的認識しやすく、その定義式が簡単なためデータ処理的にも取り扱いが便利である。風景画像を幾何形状で置き換えることで、風景画像マッチング処理の効率化が実現する。その際、認識された幾何形状が特定輪郭線を有する特定幾何形状である場合、当該輪郭線上に位置する幾何学的特徴点を前記代表画像特徴点とし、前記代表画像特徴点の前記撮影画像上の座標値を前記特徴点位置情報とすると、マッチング処理が容易となり、好都合である。
【００１０】
走行する車両から撮影された風景画像から、マッチング処理に適した特徴オブジェクトや適していない特徴オブジェクトが認識される可能性がある。例えば、同じような画像パターンであるセンターラインなどはマッチング処理には適していない。また車両周辺の自動車などの移動物体などもマッチング処理には適していない。また、車両が走行しているエリア、例えば、山間エリア・郊外エリア・市街地エリア・高層都市エリアなどによって、重要な代表オブジェクトが認識される撮影画像上の位置は異なる。このことから、そのような状況を規定した撮影状況情報などが取得できる場合、その撮影状況情報に応じて特徴オブジェクトを抽出するやり方を変えることが望ましい。従って、本発明の好適な実施形態の１つでは、前記撮影画像に特定被写体が含まれている可能性を表す撮影状況情報が入力され、当該撮影状況情報に基づいて前記撮影画像から前記特徴オブジェクトが抽出される抽出領域といった抽出条件が変更されるように構成されている。
【００１１】
また、代表特徴点の元になる画像特徴点は、画像の上にある点で安定して検出できるものが好ましいので、一般にはエッジ検出フィルタなどを用いて得られるエッジ画像を構成するエッジ点を用いるとよい。このため、本発明の好適な実施形態の１つでは、前記撮影画像からの前記特徴オブジェクトの抽出は、前記撮影画像にエッジ検出処理を施すことで得られたエッジ画像を通じて行われるように構成されている。
【００１２】
さらに、本発明は、上述した風景マッチング用参照データ生成システムによって作成される参照データを用いたマッチング処理を通じて自車位置を決定する位置測位システムも権利範囲としている。そのようなる位置測位システムは、前記参照データを格納している参照データデータベースと、車両からの風景を撮影した実撮影画像を入力するデータ入力部と、入力された前記実撮影画像から当該撮影画像中における識別可能な事物を特徴オブジェクトとして認識する特徴オブジェクト認識部と、各前記特徴オブジェクトから当該特徴オブジェクトを規定する１つまたは２つ以上の代表画像特徴点を抽出する代表特徴点抽出部と、各前記特徴オブジェクトの属性であるオブジェクト属性を分類判定する属性判定部と、前記実撮像画像内における前記代表画像特徴点の位置を表す特徴点位置情報と、当該代表画像特徴点が属する特徴オブジェクトのオブジェクト属性を表す属性情報とを含む特徴点データをマッチング用データとして生成する特徴点データ生成部と、前記参照データデータベースから抽出した参照データと前記マッチング用データとのマッチングを行うとともに、前記マッチングに成功した参照データに関係付けられた撮影位置に基づいて自車位置を決定する風景マッチング部とを備えている。この位置測位システムでは、上述したように、風景画像マッチングに効果的な参照データを用いているので、良好に自車位置を決定することができる。
【００１３】
また、このような自車位置の決定に関して、更に好適な実施形態の１つでは、前記風景マッチング部は、前記参照データに含まれる異なる複数の前記特徴オブジェクトのそれぞれから前記代表画像特徴点を選択し、選択された複数の代表画像特徴点のそれぞれの特徴点位置情報を読み出すとともに、前記実撮像画像内における対応する複数の代表画像特徴点を抽出し、前記参照データの前記複数の代表画像特徴点の位置関係と、前記実撮像画像から抽出された対応する前記複数の代表画像特徴点の位置関係と、に基づいて自車位置を決定する。この構成によれば、参照データの前記複数の代表画像特徴点の位置関係と、前記実撮像画像から抽出された対応する前記複数の代表画像特徴点の位置関係と、に基づいて、参照データの元となった撮影画像の撮影位置及び方位と、実撮像画像の撮影位置及び方位とのずれも算出することが可能となるので、より高精度な自車位置の決定を行うことができる。
【図面の簡単な説明】
【００１４】
【図１】本発明による画像処理システムによる参照データの作成と、その参照データを用いたマッチング処理を通じて自車位置を決定する位置測位技術の基本概念を説明する模式図である。
【図２】本発明による画像処理システムの主な機能を示す機能ブロック図である。
【図３】特徴点抽出部の主な処理機能と処理の流れを示す模式図である。
【図４】撮影画像からエッジ点データを生成する過程を模式的に示す模式図である。
【図５】画像処理システムにおけるエッジ点データから参照データを生成する過程を示す模式図である。
【図６】本発明による画像処理システムで作成された参照データで構築されている参照データＤＢを用いたカーナビゲーションシステムの機能ブロックである。
【発明を実施するための形態】
【００１５】
以下、図面を用いて本発明を詳しく説明する。図１は、風景画像マッチングを通じて自車位置を決定する位置測位技術の基本概念を模式的に示している。
風景画像マッチングに利用される参照データデータベース９２（以下単に参照データＤＢと略称する）は本発明による画像処理システムによって生成される参照データをデータベース化することで構築することができる。以下に、この構築手順を説明する。図１に示すように、走行途中における車両からの風景を撮影した撮影画像とその撮影時の撮影位置（実質的には自車位置である）が入力され、ワーキングメモリに一時格納される（＃０１）。次に、ワーキングメモリに展開された撮影画像から画像特徴を抽出し、そのような画像特徴から当該撮影画像中における識別可能な事物を特徴オブジェクトとして認識する（＃０２）。この画像特徴はその特徴抽出の方法によって画像特徴点群で表されるもの、線群で表されるもの、エリアで表されるものなど様々であるが、代表的なものは撮影画像から輪郭だけを抽出したものであり、その抽出結果は、画像特徴点ないしは画像特徴点の集まりとしての特徴線群で表される。この場合は、認識される特徴オブジェクトは、点や線で規定される幾何形状体とすることが好適である。
【００１６】
次いで、認識された特徴オブジェクトから当該特徴オブジェクトを規定する１つまたは２つ以上の代表画像特徴点を抽出する（＃０３）。この代表特徴点は、特徴オブジェクトが幾何形状とすれば、その幾何形状を規定する画像特徴点である。例えば、四角形なら、その４つのコーナ点が代表画像特徴点となる。代表画像特徴点が決まると、その代表画像特徴点によって規定される幾何形状の種類などのオブジェクト属性（属性情報）が分類判定され、その代表画像特徴点の座標位置（特徴点位置情報）と組み合わされる（＃０４）。さらに、１枚の撮影画像中で認識された各特徴点位置情報と属性情報とからなる特徴オブジェクトの全てを表現した特徴点データが生成される（＃０５）。このようにして生成された特徴点データは撮影位置と関連（リンク）付けられて、風景画像マッチングの参照データとなる（＃０６）。さらに参照データは、撮影位置を検索条件として検索抽出可能なようにデータベース化され、風景画像マッチングでのパターンマッチングのパターンとして利用されるべく参照データＤＢ９２に格納される（＃０７）。
【００１７】
次に、上述したような手順で構築された参照データＤＢ９２を用いて、実際の車両走行時にその車両の位置（自車位置）を決定する手順を説明する。図１に示すように、車載カメラで風景を撮影して得られた実撮影画像と、参照データＤＢ９２から参照データを抽出するために用いられる、その撮影位置と撮影方位が入力される（＃１１）。ここでの撮影位置は、ＧＰＳ測定ユニットなどを用いて推定された推定自車位置である。入力された撮影画像から、上記ステップ＃０２〜＃０５の処理手順を経て特徴点データであるマッチング用データが生成される（＃１２）。さらに、入力された撮影位置（推定自車位置）を検索条件として、該当する撮影位置の参照データ及びその撮影位置（推定自車位置）の前後の参照データがマッチング候補参照データとして抽出される（＃１３）。
【００１８】
抽出されたマッチング候補参照データセットから１つずつ参照データをマッチング用パターンとして設定し、現時点で生成されたマッチング用データとの間のパターンマッチング処理が風景画像認識として実行される（＃１４）。マッチングが成功すれば、その対象となった参照データに関係付けられた撮影位置が読み出され（＃１５）、この撮影位置が推定自車位置に代わる正式な自車位置として決定される（＃１６）。
【００１９】
次に、上述した自車位置測位技術の基本概念に基づいて撮影画像から参照データを作り出す、本発明による画像処理システムの一例を図２の機能ブロック図を用いて説明する。この画像処理システムは、データ入力部５１、特徴点抽出部６０、特徴オブジェクト認識部５２、属性判定部５３、代表特徴点抽出部５４、属性情報生成部５５、特徴点データ生成部５６、参照データ生成部５７を備えている。それらの各機能はハードウエアまたはソフトウエアあるいはその組み合わせで作り出すことができる。
データ入力部５１は、参照データの作成目的で走行している車両からの風景を撮影した撮影画像と当該撮影画像の撮影位置とを入力する。特徴点抽出部６０は、風景画像認識に適した画像特徴を撮影画像から抽出して、所定の画像特徴を示している画素または画素群を画像特徴点とする。この実施形態では、撮影画像にエッジ検出処理を施すことで得られたエッジ画像に基づいて取り出されるエッジ点が画像特徴点である。個々では、元となる撮影画像はＲＧＢ画像であり、輝度差（濃度差）によって輪郭が検知されているが、これに代えて、彩度差や色相差によって輪郭が検知されるような方法を採用してもよい。抽出条件調整部６０Ａは、風景マッチングに不適な画像特定点が最終的に残らないようにするためも、その抽出に制限、例えばエリア制限を行う。
【００２０】
特徴オブジェクト認識部５２は、撮影画像における画像特徴が示された画像から、当該撮影画像中における識別可能な事物を特徴オブジェクトとして認識する機能を有し、ここでは特徴オブジェクトは、幾何形状とされている。ここで特徴オブジェクトとして認識される幾何形状としては、交点を有する２つ以上の直線、円、四角形、三角形などの基本的な幾何形状が取り扱われている。属性判定部５３は、特徴オブジェクト部５２で認識された幾何形状に対して他の機能部で利用できるように特徴オブジェクトの属性であるオブジェクト属性（上述した直線、円、四角形など）を分類判定する。代表特徴点抽出部５４は、属性判定部５３による分類判定結果に基づいて、各特徴オブジェクトを規定する１つまたは２つ以上の画像特徴点を代表画像特徴点として抽出する。例えば、四角形なら、４つのコーナ点である。属性情報生成部５５は、属性判定部５３による分類判定結果及び、代表特徴点抽出部５４による抽出された代表特徴点の座標値などを含むオブジェクト属性を属性データ化して属性情報を生成する。特徴点データ生成部５６は、代表画像特徴点の位置を表す特徴点位置情報と、当該代表画像特徴点によって規定される特徴オブジェクトの属性情報とを含む特徴点データを生成する。参照データ生成部５７は、特徴点データ生成部５６によって生成された特徴点データに撮影位置（自車位置）を関連付けて、風景画像マッチングの参照データを生成する。
【００２１】
次に、データ入力部５１と特徴点抽出部６０の主な処理の流れを模式的に示している図３を用いて、そのデータ処理を詳しく説明する。
データ入力部５１には、参照データ作成目的で走行している車両に搭載されたカメラによる風景を撮影した撮影画像と、その撮影時の撮影位置及び撮影方位を含む撮影属性情報と、さらに撮影状況情報が入力される。画像処理システムが走行車両に搭載されている形態においては、この入力部５１にはリアルタイムで撮影画像と撮影属性情報と撮影状況情報が入力されることになるが、この画像処理システムがデータ処理センタなどに設置されている形態においては、撮影画像と撮影属性情報と撮影状況情報が一時的に記録メディアに記録され、これらのデータ入力はバッチ処理的に行われる。
【００２２】
撮影状況情報は、撮影画像に特定被写体が含まれている可能性を表す情報であり、この実施の形態の撮影状況情報に含まれる内容は、走行レーンデータと、移動物体データと、エリア属性データである。走行レーンデータは、撮影画像に対する画像処理を通じて得られる白線やガイドレールや安全地帯の認識結果から得られた、撮影画像における自車の走行レーン領域や道路外領域を示すデータである。移動物体データは、レーダなどの障害物を検知する車載センサによって認識される車両周辺に存在する移動物体の撮影画像中における存在領域を示すデータである。エリア属性データは、撮影画像の撮影時の車両位置と地図データとに基づいて認識された撮影場所の種別、例えば、山間エリア・郊外エリア・市街地エリア・高層都市エリアなどといったエリア属性を示すデータである。
【００２３】
特徴点抽出部６０は、一時格納部６１、エッジ検出部６２、エッジ重要度決定部６３、重み付け部６４、調整係数設定部６５、エッジ点画像出力部６６を備えている。一時格納部６１は、入力された撮影画像を、一時的に格納するワーキングメモリであり、通常はメインメモリの一部の領域に割り当てられる。
【００２４】
エッジ検出部６２は、適当な輪郭（エッジ）検出演算子を使用して撮影画像から画像特徴としての画像特徴点を抽出する。ここでの画像特徴点はエッジ点やエッジ点群（エッジ線）である。エッジ重要度決定部６３は、エッジ検出部６２によって抽出された画像特徴点（エッジ点）の重要度を、撮影状況情報に含まれている各データの内容に基づいて決定する。例えば、走行レーンデータの内容を用いる場合、撮影画像中における、路肩寄りの走行レーンからさらに路肩側に外れた領域に属する画像特徴点に対してより高い重要度を付与する。また、移動物体データを用いる場合、撮影画像中における、移動物体が存在する領域に属する画像特徴点に対して低い重要度を付与する。さらに、エリア属性データの内容を用いる場合、撮影画像中の位置に応じた重要度の付与規則を前記エリア属性に応じて変更する。例えば、山間エリアの撮影画像では、撮影中心光軸の上方は空で左右は森林である可能性が高いので、撮影中心光軸周りである中心領域に対して高い重要度を設定する。郊外エリアの撮影画像では、車の往来が少なく、住宅等の構造物が周囲に広がっているので、撮影中心光軸の下方領域に対して高い重要度を設定する。市街地エリアの撮影画像では、車の往来が多いので、撮影中心光軸の上方領域に対して高い重要度を設定する。高層都市エリアの撮影画像では、高架道路や高架橋などが多いので、撮影中心光軸の上方領域に対して高い重要度を設定する。
【００２５】
重み付け部６４は、エッジ重要度決定部６３によって決定された重要度に応じて画像特徴点に重み係数を割り当てる。正確な画像認識（パターンマッチング）を行うために重要と思われる画像特徴点には高い重要度が設定されているので、高い重要度が設定された画像特徴点に大きい重み係数が割り当てられるが、低い重み係数をもつ画像特徴点は実際の画像認識において使用されない可能性が高いこと、あるいは参照データから削除されることを考慮して、画像特徴点の取捨選択の判定のために利用できるように算定される。
【００２６】
調整係数設定部６５は、重み付け部６４によって割り当てられた重み係数を対応する撮影画像領域における分布状態の観点から変更するための調整係数を算定する。つまり、エッジ検出部６２によって抽出された画像特徴点に対して撮影状況情報に基づいて決定された重要度にはある程度の誤りが含まれ、その重要度がある程度高い画像特徴点もランダムに発生する可能性があるとも考えられる。このため、画像特徴点の偏在、言い換えると重み付け部６４によって割り当てられた重み係数の偏在が生じていた場合、その偏在を緩やかにする目的でこの調整係数設定部６５は用いられる。演算処理で得られた画像特徴点の散布度が画像特徴点の偏在を示している場合、画像特徴点の密度が小さい領域に属する画像特徴点の重み係数が大きくなるように調整係数が設定され、画像特徴点の密度が大きい領域に属する画像特徴点の重み係数が小さくなるように調整係数が設定される。エッジ点画像出力部６６は、重み付け部６４によって割り当てられた重み係数、及びオプション的に利用される調整係数に基づいて各画像特徴点を整理して撮影画像毎の画像特徴点データを出力する。つまり、エッジ重要度決定部６３、重み付け部６４、調整係数設定部６５によって、抽出される画像特徴点を調整する抽出条件調整部６０Ａとして機能する。
【００２７】
ここで、上述した調整係数によって画像特徴点を撮影画像領域全体にわたってできるだけ広く散布させる処理を図４に示された模式的説明図を用いて説明する。撮影画像（図４（ａ）から画像特徴点（エッジ点）を抽出することでエッジ検出画像（図４（ｂ））が生成される。このエッジ検出画像の各エッジ点に重要度が付与される。重要度の付与された様子を模式的に理解できるように、図４（ｃ）では特徴点画像に対応する重要度レイヤの形で各エッジ点に対応する重要度が示されている。この重要度レイヤを用いて、各エッジ点に重み係数が割り当てられる。図４（ｄ）では、大きな重み係数をもつほど大きい点となるようにエッジ点を描いたエッジ点画像の形で重み係数を割り当てたれたエッジ点が示されている。ここで、所定しきい値以下の重み係数を割り当てられたエッジ点が除去されるようなエッジ点の整理が行われると、例えば、図４（ｄ）で大きな点となっているエッジ点だけが選別されると、エッジ点画像の下方領域に位置しているエッジ点は排除され、残ったエッジ点の分布に大きな偏在が生じる。この偏在を回避するため、エッジ点画像におけるエッジ点の散布度を算出し、結果的に選別されるエッジ点の密度が低くなる領域のエッジ点の重み係数を増加させるような調整係数が設定される。そのように設定される調整係数を模式的に理解できるように、図４（ｅ）では調整係数群をエッジ点画像に対応するようにマトリックス的に（ここでは複数の画素領域からなる区画単位で）配置した調整係数レイヤの形で示されている。エッジ点画像出力部６６は、このような重み係数と調整係数に基づいて最終的に設定された重み係数を用いて各画像特徴点を整理して、図４（ｆ）で示されたようなエッジ点画像を撮影画像毎に生成する。
【００２８】
ここでは、画像特徴点（エッジ点）毎に重要度が決定され、その結果画像特徴点毎に重み係数が設定されているような形態であったが、これらの処理をグループ単位で行うことも可能である。その際には、例えば、撮影画像領域が複数の画像区画に分割され、エッジ重要度決定部６３が、同一画像区画に属する記画像特徴点を画像特徴点群としてグループ化して統一的に取り扱い、当該画像特徴点群に含まれる画像特徴点には同一の重要度を与え、重み付け部６４も同様に画像特徴点群単位で重み係数を設定するとよい。また、ここで取り扱われている画像区画を、撮影画像を構成する１画素単位で取り扱ってもよいが、複数画素単位で画像区画を取り扱ってもよい。
【００２９】
上述した特徴点抽出部６０から出力されたエッジ点画像から特徴オブジェクトとして幾何形状を認識して、エッジ点画像の含まれているエッジ点をこの幾何形状によって特定して特徴点データを生成する処理の流れを図５の模式図を用いて説明する。
特徴オブジェクト部５２は、撮影画像から得られたエッジ点画像中における1つ以上のエッジ点から規定される幾何形状、例えば、交差する直線、三角形、四角形、円などを認識する。このような幾何形状の認識は、例えば、画像のハフ変換によって、直線や円を認識することにより、可能である。複数直線及びそれらの直線の交点を認識することで、三角形（３つの交点）や四角形（４つの交点）も認識することができる。これらの認識アルゴリズムはよく知られているので、詳しい説明は省略する。特定の幾何形状が認識されると、属性判定部５３がその幾何形状を特定するための情報であるオブジェクト属性を決めるとともに、代表特徴点抽出部５４が、その特定の幾何形状を規定する１つまたは２つ以上のエッジ点を代表画像特徴点として特定抽出して、それらの座標値などを取り込む。そして、属性情報生成部５５が認識された幾何形状（特徴オブジェクト）を特定する種々のパラメータを属性値とする属性情報を幾何形状毎に作成する。例えば、認識された幾何形状が四角形なら、代表画像特徴点は四角形の４つのコーナ点（エッジ点）とする。また、円なら、代表画像特徴点は、円中心を通るＸ軸平行線及びＹ軸平行線と円周との交点に位置するエッジ点とする。また、交わる２直線なら、その交点を代表画像特徴点として、記述的特徴としてその交差角を付属させるとよい。ここでは単純な線分も認識される幾何形状として扱われ、その代表画像特徴点は、線分の一方端のエッジ点と他方端のエッジ点とする。以上の説明から明らかなように、一般的には、認識された幾何形状が特定輪郭線を有する特定幾何形状である場合、そのエッジ点群である輪郭線上に位置するエッジ点（幾何学的特徴点）が代表画像特徴点として採用されており、この代表画像特徴点の撮影画像上の座標値が特徴点位置情報として属性値の形で組み込まれる。
また、認識された幾何形状毎に付与される属性情報には、同一種の他の幾何形状と区別するために識別コード、つまりＩＤコードが含まれる。
さらに、画像上において認識される幾何形状として、複数画像を用いた認識処理を採用すれば、周期的に点滅する発光体が作り出す発光エリア形状も含めることも可能である。そのような無定形な形状では、その重心点を属性値とすると好都合である。
【００３０】
特徴点データ生成部５６は、代表画像特徴点の位置を表すエッジ点の座標位置を表現する位置情報（たとえばエッジ点画像）と、この代表画像特徴点によって規定される特徴オブジェクトとしての幾何形状の属性情報とからなる特徴点データを生成する。参照データ生成部５７は、特徴点データ生成部５６によって生成された特徴点データに撮影位置（自車位置）を関連付けて、風景画像マッチングの参照データを生成する。
【００３１】
なお、上述した参照データの生成過程では、撮影画像に特定被写体が含まれている可能性を表す撮影状況情報に基づいて撮影画像からの特徴オブジェクトの抽出に制限（抽出条件）を加えるために、前もって、エッジ点画像の生成時に予め撮影状況情報に基づく制限を行っている。つまり、撮影状況情報から判断して、マッチングのために不適と思われる領域から特徴オブジェクトが認識されないように、予め、そのような領域のエッジ点が排除している。このやり方に代えて、特徴オブジェクトの認識時に、撮影状況情報から不適領域を指定して、特徴オブジェクトの認識対象から除外するようにしてもよい。
【００３２】
次に、上述した画像処理システムで作成された参照データＤＢ９２を用いて風景画像認識（画像特徴点パターンマッチング）で自車位置を修正する車載用カーナビゲーションシステムを説明する。図６は、そのようなカーナビゲーションシステムを車載ＬＡＮに組み込んだ形態で示した機能ブロックである。このカーナビゲーションシステムは、入力操作モジュール２１、ナビ制御モジュール３、自車位置検出モジュール４、撮影状況情報生成部７、上記の参照データＤＢ９２とカーナビ用道路地図データを収納した道路地図データベース９１（以下単に道路地図ＤＢと略称する）とを有するデータベース９を備えている。
【００３３】
ナビ制御モジュール３は、経路設定部３１、経路探索部３２、経路案内部３３を備えている。経路設定部３１は、例えば自車位置等の出発地、入力された目的地、通過地点や走行条件（高速道路の使用有無など）を設定する。経路探索部３２は、経路設定部３１によって設定された条件に基づき出発地から目的地までの案内経路を探索するための演算処理を行う処理部である。経路案内部３３は、経路探索部３２により探索された出発地から目的地までの経路に従って、モニタ１２の表示画面による案内表示やスピーカ１３による音声案内等により、運転者に対して適切な経路案内を行うための演算処理を行う処理部である。
【００３４】
自車位置検出モジュール４は、従来のＧＰＳによる位置算定及び推測航法による位置算定によって得られた推定自車位置を、この推定自車位置を利用した風景画像認識によって決定された自車位置で修正する機能を有する。自車位置検出モジュール４は、ＧＰＳ処理部４１、推測航法処理部４２、自車位置座標算定部４３、マップマッチング部４４、自車位置決定部４５、撮影画像処理部５、風景マッチング部６を備えている。ＧＰＳ処理部４１にはＧＰＳ衛星からのＧＰＳ信号を受信するＧＰＳ測定ユニット１５が接続されている。ＧＰＳ処理部４１はＧＰＳ測定ユニット１５で受信されたＧＰＳ衛星からの信号を解析し、車両の現在位置（緯度及び経度）を算定し、ＧＰＳ位置座標データとして自車位置座標算定部４３に送る。推測航法処理部４２には距離センサ１６と方位センサ１７が接続されている。距離センサ１６は、車両の車速や移動距離を検出するセンサであり、例えば、車両のドライブシャフトやホイール等が一定量回転する毎にパルス信号を出力する車速パルスセンサ、自車両Ｃの加速度を検知するヨー・Ｇセンサ及び検知された加速度を積分する回路等により構成される。距離センサ１６は、その検出結果としての車速及び移動距離の情報を推測航法処理部４２へ出力する。方位センサ１７は、例えば、ジャイロセンサ、地磁気センサ、ハンドルの回転部に取り付けた光学的な回転センサや回転型の抵抗ボリューム、車輪部に取り付ける角度センサ等により構成され、その検出結果としての方位の情報を推測航法処理部４２へ出力する。推測航法処理部４２は、刻々と送られてくる移動距離情報と方位情報とに基づいて推測航法位置座標を演算し、推測航法位置座標データとして自車位置座標算定部４３に送る。自車位置座標算定部４３は、ＧＰＳ位置座標データと推測航法位置座標データとから公知の方法により車両の位置を特定する演算を行う。算定された自車位置情報は、測定誤差等を含んだ情報となっており、場合によっては道路上から外れてしまうので、マップマッチング部４４により、自車位置を道路地図に示される道路上とする補正が行われる。その自車位置座標は推定自車位置として自車位置決定部４５に送られる。
【００３５】
撮影画像処理部５は、実質的には図２で示された画像処理システムを構成していた大部分の機能部を備えている。この撮影画像処理部５は、データ入力部５１、エッジ検出部６２、エッジ重要度決定部６３と、重み付け部６４、調整係数設定部６５、エッジ点画像出力部６６を備え、車載カメラ１４によって撮影された車両からの前方風景撮影画像がデータ入力部５１に入力されると、上述したような手順を経て画像特徴点データがエッジ点画像出力部６６から出力される。なお、エッジ重要度決定部６３で利用される撮影情況情報は、車両に搭載された撮影状況情報生成部７によって生成され、撮影画像処理部５に送られる。撮影状況情報生成部７は、上記走行レーンデータを作成するために、車載カメラ１４と接続されており、撮影画像処理部５に送られる撮影画像と同じものを受け取る。受け取った撮影画像を公知のアルゴリズムを用いて画像処理することで走行レーンデータが作成される。また、撮影状況情報生成部７は、上記移動物体データを作成するために障害物検出用のセンサ群１８と接続されている。このセンサ群１８からのセンサ情報に基づいて移動物体データが作成される。さらに、撮影状況情報生成部７は、上記を作成するために、自車位置決定部４５及びデータベース９と接続している。自車位置決定部４５からの自車位置座標と検索キーとしてデータベース９を検索して、現在走行している場所のエリア属性（山間部や市街地など）を取得し、それに基づいてエリア属性データが作成される。
【００３６】
風景マッチング部６は、自車位置決定部４５から送られてきた推定自車位置に基づいて参照データＤＢ９２から抽出された参照データをパターンとして、撮影画像処理部５から送られてきた画像特徴点データに対するパターンマッチング処理を行う。このパターンマッチングが成功した場合には、マッチングパターンである参照データに関係付けられた撮影位置が読み出される。この撮影位置が自車位置として、自車位置決定部４５に転送される。自車位置決定部４５は転送されてきた自車位置を推定自車位置と置き換える自車位置修正を行う。
【００３７】
このカーナビゲーションシステムは、また、周辺装置として、タッチパネル１１やスイッチなどの入力デバイス１１とそれらの入力デバイス１１を通じての操作入力を適切な操作信号に変化して内部に転送する操作入力評価部２１ａを有する入力操作モジュール２１、モニタ１２にカーナビゲーションに必要な画像情報を表示するための表示モジュール２２、スピーカ１３やブザーからカーナビゲーションに必要な音声情報を流す音声生成モジュール２３、制動や加速や操舵などといった車両の種々の挙動を車載ＬＡＮを通じて送られてくる挙動データに基づいて検知する車両挙動検知モジュール２４を備えている。
【００３８】
（別な実施形態）
上述した実施形態では、採用されていなかったが、本発明の別な実施形態の１つとして、自車位置検出モジュール４による自車位置の決定に関して、参照データに含まれる複数の特徴オブジェクトのそれぞれの代表画像特徴点の位置関係と、実撮像画像から抽出された対応する複数の代表画像特徴点の位置関係と、に基づいて詳細な自車位置を決定する構成としても好適である。この場合、風景マッチング部６は、参照データに含まれる異なる複数の特徴オブジェクトのそれぞれから代表画像特徴点を選択し、選択された複数の代表画像特徴点のそれぞれの特徴点位置情報を読み出す。また、風景マッチング部６は、実撮像画像内における対応する複数の代表画像特徴点を抽出する。そして、風景マッチング部６は、参照データの複数の代表画像特徴点の位置関係と、実撮像画像から抽出された対応する複数の代表画像特徴点の位置関係と、に基づいて自車位置を決定する。具体的には、参照データの複数の代表画像特徴点の位置関係と、実撮像画像から抽出された対応する複数の代表画像特徴点の位置関係との差異に基づいて、参照データの元となった撮影画像の撮影位置及び方位に対する、実撮像画像の撮影位置及び方位とのずれを算出する。これにより、風景マッチング部６は、より高精度な自車位置の決定を行う。
【００３９】
上述した実施形態では、画像特徴点として、エッジ検出処理によって得られるエッジ点、特に一本の線分を構成している線分エッジやそのような線分が交差、好ましくはほぼ直交する交点であるコーナエッジが効果的な画像特徴点として扱われる。しかしながら、本発明は、画像特徴点としてそのようなエッジ点に限定されるわけではない。例えば、円や四角形など幾何学的形状を形成する代表的なエッジ点（円なら円周上の３点など）あるいは無定形の幾何学的形状の重心やその重心としての点なども、その風景によっては効果的な画像特徴点となるので、用いられる。また、エッジ強度も重要度を算定するための因子として採用することも好適であり、例えば強度の強いエッジからなる線分なら、その線分の始点と終点は重要度の高い画像特徴点として取り扱うことができる。また、特徴的な幾何学的形状における特定点、例えば左右対称な物体のエッジ点や重心点なども重要度の高い画像特徴点として取り扱うことができる。
さらには、エッジ検出処理によって得られるエッジ点以外に、撮影画像を色相や彩度の変化として捉え、その変化の大きい点を画像特徴点として採用することも可能である。同様に色情報に基づくものとして色温度の高い物体のエッジ点を重要度の高い画像特徴点として取り扱うことも可能である。
つまり、本発明で取り扱われる画像特徴点は、参照データと実撮影画像から生成される画像特徴量データとの間の類似度判定、例えば、パターンマッチングにとって有効なものであれば、全て利用の対象となる。
【００４０】
上述した実施形態では、参照データＤＢ９２に格納される参照データには、撮影位置と撮影方位（カメラ光軸方位）が関係付けられていたが、それ以外に、上述した撮影状況情報、さらには撮影日時や撮影時天候なども、関係付けてもよい。
なお、撮影位置は、最低限、緯度・経度データのような二次元データでよいが、高さデータも加えて三次元データとしてもよい。
また、撮影方位を参照データに関係付けることは必須ではない。例えば、参照データの作成時も、この参照データを用いての風景画像認識時も、走行道路に対して実質的に同じ撮影方位で撮影されることが保証される場合では、撮影方位は不必要となる。
逆に、１つの基本的な撮影方位での参照データから撮影方位を適度にずらせた参照データを用意することができる場合では、方位センサなどの情報から算定された車両の走行方向に基づいて、その走行方位に適合する参照データだけを風景画像認識の対象とすることも可能である。
本発明で取り扱われる車載カメラは、車両走行方向前方の風景を撮影するものが最適である。しかしながら、前方斜めの風景をとるカメラであってもよいし、さらには側方、後方の風景を撮影するカメラであってよい。つまり、本発明で取り扱われる撮影画像は、車両走行方向の前方風景を撮影したものだけに限定されるわけではない。
【００４１】
上述した実施形態の説明に用いられた機能ブロック図で区分けされた示された機能部はわかりやすい説明を目的としており、ここで示された区分けに本発明は限定されているわけではなく、それぞれの機能部を自由に組み合わせたり、１つの機能部をさらに区分けしたりすることが可能である
【産業上の利用可能性】
【００４２】
本発明の画像処理システムは、カーナビゲーションのみならず、風景画像認識によって現在位置や方位を測位する技術分野に適用可能である。
【符号の説明】
【００４３】
３：ナビ制御モジュール
４：自車位置検出モジュール
４１：ＧＰＳ処理部
４２：推測航法処理部
４３：自車位置座標算定部
４４：マップマッチング部
４５：自車位置決定部
５：画像処理システム
５１：データ入力部
５２：特徴オブジェクト認識部
５３：属性判定部
５４：代表特徴点抽出部
５５：属性情報生成部
５６：特徴点データ生成部
５７：参照データ生成部
６０：特徴点抽出部
６１：一時格納部
６２：エッジ検出部
６３：エッジ重要度決定部
６４：重み付け部
６５：調整係数設定部
６６：エッジ点画像出力部
６：風景マッチング部
１４：カメラ
９２：参照データＤＢ（参照データデータベース）
９１：道路地図ＤＢ（道路地図データベース）
【特許請求の範囲】
【請求項１】
車両からの風景を撮影した撮影画像に基づいて風景画像マッチングを行う際に利用される参照データを作成する画像処理システムであって、
前記撮影画像と当該撮影画像の撮影位置とを入力するデータ入力部と、
入力された前記撮影画像から当該撮影画像中における識別可能な事物を特徴オブジェクトとして認識する特徴オブジェクト認識部と、
各前記特徴オブジェクトから当該特徴オブジェクトを規定する１つまたは２つ以上の代表画像特徴点を抽出する代表特徴点抽出部と、
各前記特徴オブジェクトの属性であるオブジェクト属性を分類判定する属性判定部と、
前記撮像画像内における前記代表画像特徴点の位置を表す特徴点位置情報と、当該代表画像特徴点が属する特徴オブジェクトのオブジェクト属性を表す属性情報とを含む特徴点データを生成する特徴点データ生成部と、
前記特徴点データに前記撮影位置を関連付けて、前記参照データを生成する参照データ生成部と、
を備えた画像処理システム。
【請求項２】
前記属性情報は、判定された前記オブジェクト属性毎に割り当てられる識別データを含み、前記識別データは他の特徴オブジェクトと区別するための識別コードを含む請求項１に記載の画像処理システム。
【請求項３】
前記特徴オブジェクトは幾何形状であり、前記オブジェクト属性は幾何形状を特定するものである請求項１または２に記載の画像処理システム。
【請求項４】
認識された幾何形状が特定輪郭線を有する特定幾何形状である場合、当該輪郭線上に位置する幾何学的特徴点を前記代表画像特徴点とし、前記代表画像特徴点の前記撮影画像上の座標値を前記特徴点位置情報とする請求項３に記載の画像処理システム。
【請求項５】
前記撮影画像に特定被写体が含まれている可能性を表す撮影状況情報が入力され、当該撮影状況情報に基づいて前記撮影画像から前記特徴オブジェクトを抽出するための抽出条件が変更される請求項１から４のいずれか一項に記載の画像処理システム。
【請求項６】
前記撮影画像からの前記特徴オブジェクトの抽出は、前記撮影画像にエッジ検出処理を施すことで得られたエッジ画像を通じて行われる請求項１から５のいずれか一項に記載の画像処理システム。
【請求項７】
請求項１から６のいずれか一項に記載の画像処理システムによって作成される参照データを用いたマッチング処理を通じて自車位置を決定する位置測位システムにおいて、
前記参照データを格納している参照データデータベースと、
車両からの風景を撮影した実撮影画像を入力するデータ入力部と、
入力された前記実撮影画像から当該撮影画像中における識別可能な事物を特徴オブジェクトとして認識する特徴オブジェクト認識部と、
各前記特徴オブジェクトから当該特徴オブジェクトを規定する１つまたは２つ以上の代表画像特徴点を抽出する代表特徴点抽出部と、
各前記特徴オブジェクトの属性であるオブジェクト属性を分類判定する属性判定部と、
前記実撮像画像内における前記代表画像特徴点の位置を表す特徴点位置情報と、当該代表画像特徴点が属する特徴オブジェクトのオブジェクト属性を表す属性情報とを含む特徴点データをマッチング用データとして生成する特徴点データ生成部と、
前記参照データデータベースから抽出した参照データと前記マッチング用データとのマッチングを行うとともに、前記マッチングに成功した参照データに関係付けられた撮影位置に基づいて自車位置を決定する風景マッチング部とを備えた位置測位システム。
【請求項８】
前記風景マッチング部は、前記参照データに含まれる異なる複数の前記特徴オブジェクトのそれぞれから前記代表画像特徴点を選択し、選択された複数の代表画像特徴点のそれぞれの特徴点位置情報を読み出すとともに、前記実撮像画像内における対応する複数の代表画像特徴点を抽出し、前記参照データの前記複数の代表画像特徴点の位置関係と、前記実撮像画像から抽出された対応する前記複数の代表画像特徴点の位置関係と、に基づいて自車位置を決定する請求項７に記載の位置測位システム。
【請求項１】
車両からの風景を撮影した撮影画像に基づいて風景画像マッチングを行う際に利用される参照データを作成する画像処理システムであって、
前記撮影画像と当該撮影画像の撮影位置とを入力するデータ入力部と、
入力された前記撮影画像から当該撮影画像中における識別可能な事物を特徴オブジェクトとして認識する特徴オブジェクト認識部と、
各前記特徴オブジェクトから当該特徴オブジェクトを規定する１つまたは２つ以上の代表画像特徴点を抽出する代表特徴点抽出部と、
各前記特徴オブジェクトの属性であるオブジェクト属性を分類判定する属性判定部と、
前記撮像画像内における前記代表画像特徴点の位置を表す特徴点位置情報と、当該代表画像特徴点が属する特徴オブジェクトのオブジェクト属性を表す属性情報とを含む特徴点データを生成する特徴点データ生成部と、
前記特徴点データに前記撮影位置を関連付けて、前記参照データを生成する参照データ生成部と、
を備えた画像処理システム。
【請求項２】
前記属性情報は、判定された前記オブジェクト属性毎に割り当てられる識別データを含み、前記識別データは他の特徴オブジェクトと区別するための識別コードを含む請求項１に記載の画像処理システム。
【請求項３】
前記特徴オブジェクトは幾何形状であり、前記オブジェクト属性は幾何形状を特定するものである請求項１または２に記載の画像処理システム。
【請求項４】
認識された幾何形状が特定輪郭線を有する特定幾何形状である場合、当該輪郭線上に位置する幾何学的特徴点を前記代表画像特徴点とし、前記代表画像特徴点の前記撮影画像上の座標値を前記特徴点位置情報とする請求項３に記載の画像処理システム。
【請求項５】
前記撮影画像に特定被写体が含まれている可能性を表す撮影状況情報が入力され、当該撮影状況情報に基づいて前記撮影画像から前記特徴オブジェクトを抽出するための抽出条件が変更される請求項１から４のいずれか一項に記載の画像処理システム。
【請求項６】
前記撮影画像からの前記特徴オブジェクトの抽出は、前記撮影画像にエッジ検出処理を施すことで得られたエッジ画像を通じて行われる請求項１から５のいずれか一項に記載の画像処理システム。
【請求項７】
請求項１から６のいずれか一項に記載の画像処理システムによって作成される参照データを用いたマッチング処理を通じて自車位置を決定する位置測位システムにおいて、
前記参照データを格納している参照データデータベースと、
車両からの風景を撮影した実撮影画像を入力するデータ入力部と、
入力された前記実撮影画像から当該撮影画像中における識別可能な事物を特徴オブジェクトとして認識する特徴オブジェクト認識部と、
各前記特徴オブジェクトから当該特徴オブジェクトを規定する１つまたは２つ以上の代表画像特徴点を抽出する代表特徴点抽出部と、
各前記特徴オブジェクトの属性であるオブジェクト属性を分類判定する属性判定部と、
前記実撮像画像内における前記代表画像特徴点の位置を表す特徴点位置情報と、当該代表画像特徴点が属する特徴オブジェクトのオブジェクト属性を表す属性情報とを含む特徴点データをマッチング用データとして生成する特徴点データ生成部と、
前記参照データデータベースから抽出した参照データと前記マッチング用データとのマッチングを行うとともに、前記マッチングに成功した参照データに関係付けられた撮影位置に基づいて自車位置を決定する風景マッチング部とを備えた位置測位システム。
【請求項８】
前記風景マッチング部は、前記参照データに含まれる異なる複数の前記特徴オブジェクトのそれぞれから前記代表画像特徴点を選択し、選択された複数の代表画像特徴点のそれぞれの特徴点位置情報を読み出すとともに、前記実撮像画像内における対応する複数の代表画像特徴点を抽出し、前記参照データの前記複数の代表画像特徴点の位置関係と、前記実撮像画像から抽出された対応する前記複数の代表画像特徴点の位置関係と、に基づいて自車位置を決定する請求項７に記載の位置測位システム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図２】
【図３】
【図４】
【図５】
【図６】
【公開番号】特開２０１１−２１５９７４（Ｐ２０１１−２１５９７４Ａ）
【公開日】平成２３年１０月２７日（２０１１．１０．２７）
【国際特許分類】
【出願番号】特願２０１０−８４６９１（Ｐ２０１０−８４６９１）
【出願日】平成２２年３月３１日（２０１０．３．３１）
【出願人】（０００１００７６８）アイシン・エィ・ダブリュ株式会社 (3,717)
【Ｆターム（参考）】
【公開日】平成２３年１０月２７日（２０１１．１０．２７）
【国際特許分類】
【出願日】平成２２年３月３１日（２０１０．３．３１）
【出願人】（０００１００７６８）アイシン・エィ・ダブリュ株式会社 (3,717)
【Ｆターム（参考）】
[ Back to top ]