画像認識方法および画像認識装置
【課題】走行する車両に取り付けられたカメラが撮影した画像中から、静止対象物を正確に認識する。
【解決手段】カメラが車両の外部を撮影することにより生成される画像データより、当該画像データ上での道路の位置を認識するステップ（Ｓ５００２）と、認識された道路の位置と、車両の位置を特定するナビゲーション装置に蓄積された、車両を所定の視点から見た地図データ上での道路の位置とを比較することにより、画像データと地図データとの間の歪み量を算出するステップ（Ｓ５００９）と、歪み量に基づいて、画像データおよび地図データのいずれか一方を、他方のデータの視点から見たデータに変換するステップ（Ｓ５０１１、Ｓ５０１２）と、画像データおよび地図データの同一位置に静止対象物が存在するか否かを判断することにより、静止対象物を認識する静止対象物認識ステップ（Ｓ５０１４）とを含む。
【解決手段】カメラが車両の外部を撮影することにより生成される画像データより、当該画像データ上での道路の位置を認識するステップ（Ｓ５００２）と、認識された道路の位置と、車両の位置を特定するナビゲーション装置に蓄積された、車両を所定の視点から見た地図データ上での道路の位置とを比較することにより、画像データと地図データとの間の歪み量を算出するステップ（Ｓ５００９）と、歪み量に基づいて、画像データおよび地図データのいずれか一方を、他方のデータの視点から見たデータに変換するステップ（Ｓ５０１１、Ｓ５０１２）と、画像データおよび地図データの同一位置に静止対象物が存在するか否かを判断することにより、静止対象物を認識する静止対象物認識ステップ（Ｓ５０１４）とを含む。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車両外部を撮影した画像より静止対象物の認識を行うための画像認識方法および画像認識装置に関する。
【背景技術】
【０００２】
近年、デジタル技術の進歩と自動車の普及に伴い、ナビゲーション装置の技術は急速に進歩している。ナビゲーション装置は、ナビゲーション装置に保持された地図データに基づき、予め設定した目的地までの最適な誘導経路を求める。その上で、自車両の走行に伴い、経路中の交差点等の重要地点で、左折または右折の案内をディスプレイに表示させるものである。
【０００３】
また、ナビゲーション装置は、ディスプレイに表示する地図上に、各種施設を特定できる看板、道路交通標識および案内標識などを表示する。
【０００４】
しかし、実際にはナビゲーション装置の出荷後に、新しい看板または標識等が道路上に設置され、ナビゲーション装置のメモリに格納された地図データが常に最新のものであるとは限らないという課題があった。
【０００５】
これに対し、地図データを自動的に更新することにより、地図データを常に最新のものに維持するカーナビゲーション技術が知られている（例えば、特許文献１参照）。この方法は、走行する車両に取り付けられたカメラによって撮影された画像からランドマークを検出し、検出されたランドマークの位置を推定し、推定された位置を含む所定の範囲内に、検出されたランドマークに対応する地図上のランドマークが存在するか否かを判断し、地図上にランドマークが存在しないと判定された場合には検出されたランドマークを地図上に追加するものである。
【特許文献１】特開２００４−４５０５１号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかしながら、カメラによって撮影された画像と、地図とでは、視点が異なる。このため、カメラによって撮影された画像から検出されたランドマーク等の静止対象物が、地図上に存在するか否かを正確に判断できないという課題がある。
【０００７】
このような課題に伴い、検出されたランドマーク等の静止対象物が、正確に該当する位置として地図上に追加されるとは限らないという課題もある。
【０００８】
本発明は、上述の課題に鑑みてなされたものであり、走行する車両に取り付けられたカメラが撮影した画像中から、静止対象物を正確に認識することができる画像認識方法を提供することを目的とする。
【０００９】
また、走行する車両に取り付けられたカメラが撮影した画像中から検出されたランドマーク等の静止対象物を、ナビゲーション装置が備える地図データ上の正確な位置に追加したり、存在しない静止対象物を地図データ上から削除したりすることができる画像認識方法を提供することも目的とする。
【課題を解決するための手段】
【００１０】
上記目的を達成するために、本発明に係る画像認識方法は、車両に取り付けられたカメラで撮影された画像に含まれる静止対象物を認識する画像認識方法であって、前記カメラが前記車両の外部を撮影することにより生成される画像データより、当該画像データ上での道路の位置を認識する道路認識ステップと、前記道路認識ステップにおいて認識された前記道路の位置と、前記車両の位置を特定するナビゲーション装置に蓄積された前記車両を所定の視点から見た地図データ上での前記道路の位置とを比較することにより、前記画像データと前記地図データとの間の歪み量を算出する歪み量算出ステップと、前記歪み量に基づいて、前記画像データおよび前記地図データのいずれか一方を、他方のデータの視点から見たデータに変換する変換ステップと、前記変換ステップにおいていずれか一方が変換された前記画像データおよび前記地図データに基づいて、両データの互いに対応する位置に静止対象物が存在するか否かを判断することにより、前記画像データ中の前記静止対象物を認識する静止対象物認識ステップとを含む。
【００１１】
この構成によると、画像データの道路位置と地図データの道路位置とを比較することにより、両データの歪み量を求めている。道路位置自体は、静止対象物に比べて変化しにくく、道路が交差する位置等では、注目座標が抽出しやすい。このため、歪み量を正確に算出することが可能となる。よって、この歪み量に基づいて、画像変換を行い、両データにおいて静止対象物が存在するか否かを判断することによって、静止対象物を正確に認識することが可能となる。
【００１２】
好ましくは、前記静止対象物認識ステップは、前記変換ステップにおいていずれか一方が変換された前記画像データおよび前記地図データに基づいて、前記地図データ上での前記静止対象物の位置に対応する前記画像データ上での位置を含む所定領域を、前記画像データ上での前記静止対象物の探索領域と決定する探索領域決定ステップと、前記画像データの前記探索領域内に前記静止対象物が存在するか否かを判断することにより、前記画像データ中の前記静止対象物を認識する認識ステップとを含む。
【００１３】
このような画像認識方法により、カメラ画像から静止対象物が存在しうる領域を優先して探索することができる。
【００１４】
さらに好ましくは、前記静止対象物認識ステップは、前記変換ステップにおいていずれか一方が変換された前記画像データおよび前記地図データに基づいて、前記道路認識ステップで認識された道路の位置を除外した前記画像データの領域を、前記画像データ上での前記静止対象物の探索領域と決定する探索領域決定ステップと、前記画像データの前記探索領域内に前記静止対象物が存在するか否かを判断することにより、前記画像データ中の前記静止対象物を認識する認識ステップとを含む。
【００１５】
このような画像認識方法により、カメラ画像から一部の領域（道路領域）除外した領域を優先して静止対象物を探索することができる。
【００１６】
さらに好ましくは、前記静止対象物認識ステップは、前記変換ステップにおける変換後の前記画像データから道路の輪郭を抽出する道路輪郭抽出ステップと、時間的に連続する複数の前記画像データであって、かつ前記変換ステップにおける変換後の複数の前記画像データより前記静止対象物を抽出し、前記静止対象物が前記道路の輪郭に沿って移動しているか否かを判断することにより、前記画像データ中の前記静止対象物を認識する認識ステップとを含む。
【００１７】
道路輪郭に沿って、静止対象物が存在するという条件を用いることにより、静止対象物を正確に認識することが可能となる。また、検出された静止対象物に対して動き補償を行うことができる。
【００１８】
さらに好ましくは、前記静止対象物認識ステップは、さらに、前記画像データおよび前記地図データのいずれか一方のみにおいて、前記静止対象物が存在すると判断された場合には、前記地図データの前記静止対象物に関するデータを更新する。
【００１９】
このような画像認識方法により、ランドマーク等の静止対象物を、ナビゲーション装置が備える地図データ上の正確な位置に追加したり、存在しない静止対象物を地図データ上から削除したりすることができる。よって、ナビゲーション装置で用いられる地図データを最新のものに更新することができる。
【００２０】
さらに好ましくは、前記静止対象物認識ステップでは、前記画像データより前記静止対象物が検出され、かつ検出された前記静止対象物に対応する静止対象物が前記地図データより検出されないとの条件が満たされるか否かを判断し、当該条件が指定回数以上満たされたと判断した場合には、前記静止対象物に関する情報を前記地図データに追加する。
【００２１】
上記条件が指定回数以上満たされるか否かを判断することにより、静止対象物のご認識を防止することができ、精度よく静止対象物に関する情報を地図データに追加することができる。
【００２２】
さらに好ましくは、前記静止対象物認識ステップでは、前記地図データより前記静止対象物が検出され、かつ検出された前記静止対象物に対応する静止対象物が前記画像データより検出されないとの条件が満たされるか否かを判断し、当該条件が指定回数以上満たされたと判断した場合には、前記静止対象物に関する情報を前記地図データから削除する。
【００２３】
上記条件が指定回数以上満たされるか否かを判断することにより、静止対象物のご認識を防止することができ、精度よく静止対象物に関する情報を地図データから削除することができる。
【００２４】
さらに好ましくは、前記静止対象物認識ステップは、さらに、前記画像データおよび前記地図データのいずれか一方のみにおいて、前記静止対象物が存在すると判断された場合には、前記地図データの前記静止対象物に関するデータの更新要求を、前記地図データを管理するサーバに送信する。
【００２５】
地図データをサーバが管理している場合には、ランドマーク等の静止対象物を、サーバが備える地図データ上の正確な位置に追加したり、存在しない静止対象物を地図データ上から削除したりすることができる。よって、サーバで管理される地図データを最新のものに更新することができる。
【００２６】
さらに好ましくは、前記静止対象物認識ステップでは、前記画像データより前記静止対象物が検出され、かつ検出された前記静止対象物に対応する静止対象物が前記地図データより検出されないとの条件が満たされるか否かを判断し、当該条件が指定回数以上満たされたと判断した場合には、前記静止対象物に関する情報を前記地図データに追加する要求を、前記サーバに送信する。
【００２７】
上記条件が指定回数以上満たされるか否かを判断することにより、静止対象物のご認識を防止することができ、精度よく静止対象物に関する情報をサーバが管理する地図データに追加することができる。
【００２８】
さらに好ましくは、前記静止対象物認識ステップでは、前記地図データより前記静止対象物が検出され、かつ検出された前記静止対象物に対応する静止対象物が前記画像データより検出されないとの条件が満たされるか否かを判断し、当該条件が指定回数以上満たされたと判断した場合には、前記静止対象物に関する情報を前記地図データから削除する要求を、前記サーバに送信する。
【００２９】
上記条件が指定回数以上満たされるか否かを判断することにより、静止対象物のご認識を防止することができ、精度よく静止対象物に関する情報をサーバが管理する地図データから削除することができる。
【００３０】
さらに好ましくは、上述の画像認識方法は、さらに、前記サーバより、更新後の地図データを受信する受信ステップを含む。
【００３１】
これにより、ナビゲーション装置は、最新の地図データを車両の運転者に提示することが可能となる。
【００３２】
なお、本発明は、このような特徴的なステップを含む画像認識方法として実現することができるだけでなく、画像認識方法に含まれる特徴的なステップを処理部とする画像認識装置として実現することができる。また、画像認識方法に含まれる特徴的なステップをコンピュータに実行させるプログラムとして実現することもできる。そして、そのようなプログラムは、ＣＤ−ＲＯＭ（Compact Disc-Read Only Memory）等の記録媒体やインターネット等の通信ネットワークを介して流通させることができるのは言うまでもない。
【発明の効果】
【００３３】
本発明によると、走行する車両に取り付けられたカメラが撮影した画像中から、静止対象物を正確に認識することができる。
【００３４】
また、走行する車両に取り付けられたカメラが撮影した画像中から検出されたランドマーク等の静止対象物を、ナビゲーション装置が備える地図データ上の正確な位置に追加したり、存在しない静止対象物を地図データ上から削除したりすることができる。
【発明を実施するための最良の形態】
【００３５】
以下、本発明を実施するための最良の形態について、図面を参照しながら説明する。
【００３６】
なお、以下の実施の形態では、ハードウェアおよびソフトウェアの実施態様は各種変更可能である。このため、まず、各実施の形態に共通するナビゲーション装置の構成について説明し、その後に、各実施の形態について説明する。なお、以下の各実施の形態は、特許発明を限定するものではなく、各実施の形態で説明されている特徴の全てが、発明の必須構成要件とは限らない。
【００３７】
図１は、ナビゲーション装置の構成を示す機能ブロック図である。
【００３８】
本ナビゲーション装置は、自動車などの車両に取り付けられ、ランドマーク等の静止対象物の情報を、あらかじめ用意された地図データに基づいて探索および設定し、その該当位置を示した地図データを表示する装置であり、通信制御部１０１と、自立航法制御部１０２と、ＧＰＳ（Global Positioning System）制御部１０３と、道路交通情報受信部１０４と、音声出力部１０５と、ナビゲーション制御部１０６と、地図データ記憶部１０７と、更新データ記憶部１０８と、撮像部１０９と、画像処理部１１０と、画像合成処理部１１１と、画像表示処理部１１２とを含む。
【００３９】
通信制御部１０１は、無線または有線によるデータ通信を制御する。なお、通信機能は、ナビゲーション装置に内蔵されていても良いし、外部に設けられていてもよい。例えば、通信機能を有する携帯電話などの移動体通信端末と通信制御部１０１とが接続され、移動体通信端末を介してデータ通信を行うものであってもよい。このような構成により、ユーザは、通信制御部１０１を介して外部サーバへアクセスすることが可能となる。
【００４０】
自立航法制御部１０２は、自車両の移動速度を検出する車速度センサや自車両の回転角度を検出する角度センサなどからなる。
【００４１】
ＧＰＳ制御部１０３は、ＧＰＳ受信機によって地球の高度約２万ｋｍにおける所定の軌道に複数個配置された人工衛星（ＧＰＳ衛星）から伝送されるＧＰＳ電波を受信し、ＧＰＳ信号に含まれた情報を利用して地球上での自車両の現在位置と現在方位を測定する。
【００４２】
道路交通情報受信部１０４は、外部アンテナを介して自車両外部の現在の道路交通情報を逐次受信する。
【００４３】
ナビゲーション制御部１０６は、本ナビゲーション装置の各処理部を制御する制御回路の役割を果たす。
【００４４】
地図データ記憶部１０７は、本装置の動作に必要な各種データを記憶しているメモリであり、予め記録された地図データおよびランドマーク等の静止対象物や施設データなどに関する各種データを保持する。必要な地図データをナビゲーション制御部１０６から読み出される。ここにおける地図データ記憶部１０７におけるメモリは、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭまたはハードディスクドライブ（ＨＤＤ）であってもよい。
【００４５】
更新データ記憶部１０８は、地図データ記憶部１０７に記憶されている地図データと、その地図データからから更新された地図データとの差分を示す更新データを記憶しているメモリである。更新データは、ナビゲーション制御部１０６により設定される。
【００４６】
音声出力部１０５は、スピーカを含み、例えば、経路誘導時に交差点案内などの音声を出力する。
【００４７】
撮像部１０９は、自車両の前方に設置された、ＣＣＤ（Charge Coupled Device）センサやＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサなどの撮像素子を備えたカメラである。
【００４８】
画像処理部１１０は、撮像部１０９から出力される画像データを、他の形式の画像データに変換する。また、画像処理部１１０は、ナビゲーション制御部１０６から地図データを入力として受け、地図データに対して画像処理を施す。さらに、画像処理部１１０は、ナビゲーション制御部１０６から静止対象物情報（静止対象物の位置情報および静止対象物の画像情報を含む情報）を受け、静止対象物情報に対して画像処理を施し、画像処理を行った結果の静止対象物情報をナビゲーション制御部１０６へ出力する。
【００４９】
画像合成処理部１１１は、自車両の現在位置を含む地図データを、ナビゲーション制御部１０６から入力として受け、画像処理部１１０から出力されるカメラ画像（撮像部１０９で撮像された画像）と合成する。
【００５０】
そして、画像表示処理部１１２により、画像合成処理部１１１により合成された後の画像データをナビゲーション装置のディスプレイ等に表示する。
【００５１】
（実施の形態１）
本発明の実施の形態１に係るナビゲーション装置について、図面を参照しながら説明する。
【００５２】
ナビゲーション装置の全体構成は、図１を参照して説明した通りである。
【００５３】
図２は、画像処理部１１０の詳細な内部構成を示すブロック図である。
【００５４】
画像処理部１１０は、輝度信号色差信号分離処理部２０２と、輝度信号処理部２０３と、色差信号処理部２０４と、道路認識処理部２０５と、注目座標抽出部２０６と、セレクタ２０８と、座標変換処理部２０９と、セレクタ２１０と、静止対象物認識処理部２１３とを含む。
【００５５】
以下、画像処理部１１０を構成する各処理部について説明する。
【００５６】
＜輝度信号色差信号分離処理部２０２＞
輝度信号色差信号分離処理部２０２は、撮像部１０９からカメラ画像の画像データを入力として受ける。輝度信号色差信号分離処理部２０２は、撮像部１０９から、赤（Ｒ）・緑（Ｇ）・青（Ｂ）の三色（光の三原色）からなる画像データを入力として受けた場合には、一般的な色空間変換式（次式（１）〜（３））を用いて、ＹＵＶ色形式の画像データに変換する。
【００５７】
Ｙ＝０．２９８９１×Ｒ＋０．５８６６１×Ｇ＋０．１１４４８×Ｂ … （１）
Ｕ＝−０．１６８７４×Ｒ−０．３３１２６×Ｇ＋０．５００００×Ｂ …（２）
Ｖ＝０．５００００×Ｒ−０．４１８６９×Ｇ−０．０８１３１×Ｂ …（３）
【００５８】
また、次式（４）〜（６）を用いて、ＩＴＵ−Ｒ ＢＴ．６０１に規定のＹＣｂＣｒ色形式の画像データに変換してもよい。
【００５９】
Ｙ＝０．２５７Ｒ＋０．５０４Ｇ＋０．０９８Ｂ＋１６ …（４）
Ｃｂ＝−０．１４８Ｒ−０．２９１Ｇ＋０．４３９Ｂ＋１２８ …（５）
Ｃｒ＝０．４３９Ｒ−０．３６８Ｇ−０．０７１Ｂ＋１２８ …（６）
【００６０】
ここで、Ｙは、輝度信号（明るさ）を示し、Ｃｂ（Ｕ）は、青の差分信号、Ｃｒ（Ｖ）は、赤の差分信号を示す。また、撮像部１０９からシアン（Ｃ）・マゼンタ（Ｍ）・イエロー（Ｙ）の三色（色料の三原色）からなる画像データを入力として受けた場合には、輝度信号色差信号分離処理部２０２は、一般的な変換式（次式（７）〜（９））を用いて、ＲＧＢ形式の画像データに変換した後、式（１）〜（３）、または式（４）〜（６）を用いて、ＹＵＶ形式、またはＹＣｂＣｒ形式の画像データへの変換を行う。輝度信号色差信号分離処理部２０２は、変換後の画像データを出力する。
【００６１】
Ｒ＝１．０−Ｃ …（７）
Ｇ＝１．０−Ｍ …（８）
Ｂ＝１．０−Ｙ …（９）
【００６２】
また、撮像部１０９からＹＵＶ形式の画像データ入力される場合、輝度信号色差信号分離処理部２０２は特に画像データの変換は行わず、ＹＵＶの信号分離だけを行う。
【００６３】
＜輝度信号処理部２０３＞
輝度信号処理部２０３は、輝度信号色差信号分離処理部２０２から出力される輝度信号（Ｙ）の画像データを入力として受け、輝度に応じた信号処理を行い、出力する。さらに、輝度信号処理部２０３は、輪郭画素の判定処理を行う。例えば、簡易的に注目画素の周辺の８画素を用いて、注目画素が輪郭画素か否かの判定を行ってもよい。つまり、図３に示すように、３×３の注目画素Ｄ３５と、その周辺の８画素Ｄ３１〜Ｄ３４およびＤ３６〜Ｄ３９を考える。注目画素Ｄ３５の輝度と、周辺画素Ｄ３１〜Ｄ３４およびＤ３６〜Ｄ３９のそれぞれ輝度とを比較し、輝度差の絶対値の和が予め設定した値よりも大きければ、注目画素Ｄ３５を輪郭画素として判断する。図３に示すような３×３のウィンドウを、輝度信号色差信号分離処理部２０２から出力される画像データ上で走査することにより、画像データの各画素について輪郭画素の判定処理を行う。例えば、図４のようなカメラ画像の画像データが入力された場合、輝度情報を基に輪郭画素を抽出すると、図５のような画像データに変換される。図５に示す画像データにおいて、黒い画素が、輪郭画素である。
【００６４】
＜色差信号処理部２０４＞
色差信号処理部２０４は、輝度信号色差信号分離処理部２０２から出力される色差信号を入力として受け、色差に応じた信号処理を行い、出力する。さらに、色差信号処理部２０４は、予め設定した特定領域と同等の色差を有する画素の判定処理を行う。例えば、色差信号処理部２０４は、自車両が走行している道路の色差を認識する。つまり、撮像部１０９が自車両の前方中央に設置されている場合、自車両は必ず道路上に存在しているため、カメラ画像の下方中央は道路である。よって、図６に示すカメラ画像に対し、特定領域Ａ６０１を下方中央に設定する。色差信号処理部２０４は、特定領域Ａ６０１を代表する色差を算出する。例えば、色差の平均値を代表する色差としてもよい。色差信号処理部２０４は、カメラ画像の画像データの中から、算出された色差と同等の色差を有する画素を、特定領域Ａ６０１と同等の色差を有する画素として特定する。その結果、図７に示すような道路の色差信号のみからなる画像データが得られる。道路の色差信号からなる領域を、道路色差信号領域Ａ７０１とする。
【００６５】
＜道路認識処理部２０５＞
道路認識処理部２０５は、輝度信号処理部２０３からの輪郭成分の画像データと、色差信号処理部２０４からの色差成分の画像データとを入力として受ける。例えば、道路認識処理部２０５は、図５に示す輪郭成分の画像データと、図７に示す色差信号の画像データとを入力として受ける。この場合、道路認識処理部２０５は、道路色差信号領域Ａ７０１に隣接している輪郭成分の画像信号、または道路色差信号領域Ａ７０１に隣接はしないが隣接に順ずる輪郭成分の画像信号（道路色差信号領域Ａ７０１から所定距離内にある輪郭成分の画像信号）を認識し、該当する輪郭画素のみを抽出する。そして、輪郭画素と、道路色差信号領域Ａ７０１とを合成し、合成した結果を道路画像データとして認識することで、図８に示すような道路画像データを出力する。これにより、自車両から外部の画像を撮像するカメラの画像から道路を認識することができる。
【００６６】
＜注目座標抽出部２０６＞
注目座標抽出部２０６は、道路認識処理部２０５で認識された道路画像データ（図８）と、ナビゲーション制御部１０６から地図データ（図９）とを入力として受ける。まず、注目座標抽出部２０６は、道路画像データにおいて、道路輪郭の屈折している箇所を算出し、検出箇所を交差点としての注目点として検知する。例えば、図１０に示すように座標Ｐ１００１〜座標Ｐ１００４の箇所が注目点として検出される。
【００６７】
次に、道路画像データ上の道路輪郭の屈折箇所の算出方法について説明する。図１０を参照して、基線Ｌ１００５に基づいて道路画像データを左右に分ける。左側の道路画像データにおいて道路輪郭のベクトル（道路輪郭ベクトル）Ｖ１００６を求める。これは、遠近法に基づき、図１１におけるベクトルＶ１１０２のように第一象限の方向ベクトルに限る。また、右側の道路画像データにおいて道路輪郭のベクトルＶ１００７を求める。これは、遠近法に基づき、図１１におけるベクトルＶ１１０１のように第二象限の方向ベクトルに限る。ベクトルの求め方は、道路輪郭の画素を並びに対して、線形近似直線を算出することで求めることができる。これら、ベクトルＶ１００６とベクトルＶ１００７とにそれぞれ順ずる（ベクトルＶ１００６とベクトルＶ１００７とにそれぞれ連続する）道路輪郭の屈折する輪郭座標を注目点として算出する。
【００６８】
また、注目座標抽出部２０６は、図１２に示す地図データにおいても同様に、道路輪郭の屈折している箇所を算出し、該当する座標Ｐ１２０１〜座標Ｐ１２０４を交差点としての注目点として検知する。次に、地図データ上の道路輪郭の屈折箇所の算出方法について説明する。図１２を参照して、基線Ｌ１２０５に基づいて、地図データを左右に分ける。左側の地図データにおいて道路輪郭のベクトルＶ１２０６を求める。これは、図１１におけるベクトルＶ１１０２のように第一象限の方向ベクトルに限る。また、右側の地図データにおいて道路輪郭のベクトルＶ１２０７を求める。これは、図１１におけるベクトルＶ１１０１のように第二象限の方向ベクトルに限る。これら、ベクトルＶ１２０６とベクトルＶ１２０７とにそれぞれ順ずる（ベクトルＶ１２０６とベクトルＶ１２０７とにそれぞれ連続する）道路輪郭の屈折する輪郭座標（座標Ｐ１２０１〜座標Ｐ１２０４）を注目点の座標として算出する。そして、注目座標抽出部２０６は、カメラ画像と地図データの各々について算出された注目点の座標を出力する。
【００６９】
このように２次元の地図データを例としてあげたが、３次元の地図データでも同様の処理で注目点を算出することができる。
【００７０】
しかし、他車両、障害物等が算出すべき注目点に存在した場合には、注目座標抽出部２０６は、道路画像データにおける交差点としての注目点を検知することができない。例えば、図１３に示すように、道路画像データにおいて、４つある注目点の座標のうち、２つの座標Ｐ１００２、Ｐ１００３しか検知することができない。このような場合には、以下の方法により交差点座標を算出してもよい。
【００７１】
つまり、図１４に示すように、道路輪郭のベクトルＶ１００６、Ｖ１００７、Ｖ１４０７、Ｖ１４０８と、交差点座標Ｐ１００２、Ｐ１００３とに基づいて、方向ベクトルＶ１４０９、Ｖ１４１０を用いて交差点座標Ｐ１４０３を算出する。ここで、方向ベクトルＶ１４０９は、ベクトルＶ１００６と同じ向きであり、始点が座標Ｐ１００３のベクトルである。方向ベクトルＶ１４１０は道路輪郭ベクトルＶ１４０７に対し、逆ベクトルであり、始点が座標Ｐ１００２のベクトルである。ベクトルＶ１４０９とベクトルＶ１４１０との交点の座標が、交差点座標Ｐ１４０３として求められる。
【００７２】
同様に、道路輪郭のベクトルＶ１００６、Ｖ１００７、Ｖ１４０７、Ｖ１４０８と、交差点座標Ｐ１００２、Ｐ１００３とに基づいて、方向ベクトルＶ１４１１、Ｖ１４１２を用いて交差点座標Ｐ１４０４を算出する。ここで、方向ベクトルＶ１４１１は道路輪郭ベクトルＶ１００７に対し、逆ベクトルであり、始点が座標Ｐ１００２のベクトルである。また、方向ベクトルＶ１４１２は、始点が座標Ｐ１００３であり、方向がベクトルＶ１４０８と同じベクトルである。ベクトルＶ１４１１とベクトルＶ１４１２との交点の座標が、交差点座標Ｐ１４０４として求められる。そして、カメラ画像と地図データの各々について算出された注目点の座標を出力する。
【００７３】
さらに、注目座標抽出部２０６は、道路輪郭のベクトルから交差点としての注目点を算出するようにしてもよい。つまり、注目座標抽出部２０６は、図１５に示すように、道路画像データにおいて、道路輪郭のベクトルの交点を算出し、交差する座標Ｐ１５０５〜座標Ｐ１５０８を交差点としての注目点として検知する。ベクトルの交点の算出方法は、まず、道路画像データを、基線Ｌ１００５に基づいて左右に分け、左側の道路画像データより道路輪郭のベクトルＶ１５０１を求める。これは、遠近法に基づき、図１１におけるＶ１１０２のように第一象限の方向ベクトルに限る。また、右側の道路画像データより道路輪郭のベクトルＶ１５０２を求める。これは、遠近法に基づき、図１１におけるＶ１１０１のように第二象限の方向ベクトルに限る。これら、ベクトルＶ１５０１とベクトルＶ１５０２とは別に、道路輪郭ベクトルＶ１５０３とＶ１５０４を求める。そして、これら道路輪郭ベクトルＶ１５０１〜Ｖ１５０４にそれぞれ交差する座標を交差点としての注目点として検知することができる。そして、注目座標抽出部２０６は、カメラ画像と地図データの各々について算出された、注目点の座標および道路輪郭ベクトルを出力する。
【００７４】
この構成と方法により、カメラ画像において、道路輪郭の屈折している箇所を交差点としての注目点として検知することができる。また、ナビゲーション装置に予め記憶されている地図データにおいて、道路輪郭の屈折している箇所を交差点としての注目点として検知することができる。さらに、他車両、障害物等で交差点としての注目点が検知されなかった場合に、カメラ画像の検知された注目点を中心に注目点を変更させることができる。
【００７５】
＜座標変換処理部２０９＞
座標変換処理部２０９は、注目座標抽出部２０６から出力される、カメラ画像および地図データの各々の注目点の座標と、輝度信号処理部２０３および色差信号処理部２０４からのカメラ画像と、ナビゲーション制御部１０６からの地図データとを入力として受ける。カメラ画像と地図データとの切り替えはセレクタ２０８により行われる。
【００７６】
まず、座標変換処理部２０９は、地図データの注目点の座標として、図１６に示すような座標Ｐ１６０１〜座標Ｐ１６０４を入力として受ける。また、座標変換処理部２０９は、カメラで撮像された道路画像の注目点の座標として、座標Ｐ１６０５〜座標Ｐ１６０８を入力として受ける。そして、座標変換処理部２０９は、座標Ｐ１６０１が座標Ｐ１６０５へ、座標Ｐ１６０２が座標Ｐ１６０６へ、座標Ｐ１６０３が座標Ｐ１６０７へ、座標Ｐ１６０４が座標Ｐ１６０８へ、移動するように歪み量を算出する。そして、座標変換処理部２０９は、入力された地図データに対して歪み量に応じた画像変形を行う。この画像変形には画像の拡大縮小によく使われるバイリニア法（線形補間）や、バイキュービック法などを用いてもよい。また、任意の四角形を変形するための手法などを用いてもよい。例えば、図１６において、座標Ｐ１６０１〜座標Ｐ１６０４、および座標Ｐ１６０５〜座標Ｐ１６０８をそれぞれ点線で繋げることで四角形を表現しており、座標Ｐ１６０１〜座標Ｐ１６０４からなる四角形を、座標Ｐ１６０５〜座標Ｐ１６０８からなる四角形に変形する。なお、この図は、四角形による画像変形を表したものであり、歪み量を算出するために四角形は必要なものではない。
【００７７】
この構成と方法により、地図データの注目点座標とカメラ画像の注目点座標とが一致するように歪み量を算出し、歪み量に応じた座標変換により地図データを変形することができる。例えば、図１６に従い求められた歪み量に基づいて、図９に示すような地図データを変形すると、図１７のような画像データが得られる。
【００７８】
また、座標変換処理部２０９は、道路輪郭のベクトルから歪み量を求めて、画像変形を行ってもよい。つまり、座標変換処理部２０９は、注目座標抽出部２０６から出力される、カメラ画像および地図データの各々の道路輪郭のベクトルと、輝度信号処理部２０３および色差信号処理部２０４からのカメラ画像と、ナビゲーション制御部１０６からの地図データとを入力として受ける。カメラ画像と地図データとの切り替えはセレクタ２０８により行われる。
【００７９】
まず、座標変換処理部２０９は、地図データの道路輪郭のベクトルとして、図１８に示すようなベクトルＶ１８０１〜ベクトルＶ１８０４を入力として受ける。また、座標変換処理部２０９は、カメラで撮影された道路画像の道路輪郭のベクトルとして、ベクトルＶ１８０５〜ベクトルＶ１８０８を入力として受ける。そして、座標変換処理部２０９は、ベクトルＶ１８０１がベクトルＶ１８０５へ、ベクトルＶ１８０２がベクトルＶ１８０６へ、ベクトルＶ１８０３がベクトルＶ１８０７へ、ベクトルＶ１８０４がベクトルＶ１８０８へ、移動するように歪み量を算出する。そして、座標変換処理部２０９は、入力された地図データに対して歪み量に応じた画像変形を行う。この画像変形には画像の拡大縮小によく使われるバイリニア法（線形補間）や、バイキュービック法などを用いてもよい。また、任意の四角形を変形するための手法などを用いてもよい。
【００８０】
この構成と方法により、地図データの注目点座標とカメラ画像の注目点座標の一致するように歪み量を算出し、歪み量に応じた座標変換により地図データを変形することができる。例えば、図１６での歪み量を図９のような地図データに対して画像変形を行うと、図１７のようになる。
【００８１】
なお、座標変換処理部２０９は、同様に、歪み量に応じた座標変換によりカメラ画像を変形することもできる。つまり、座標変換処理部２０９は、セレクタ２０８を介して入力されたカメラ画像に対して歪み量に応じた画像変形を行う。例えば、この画像変形は、図１６において算出された歪み量に基づいた変形を、図１６に示した４つのベクトルと逆の方向に行う。これにより、図４のようなカメラ画像に対して画像変形を行うことにより、図１９に示すような画像データが得られる。
【００８２】
また、座標変換処理部２０９は、ナビゲーション制御部１０６から、地図データと同時に、図２０に示すようなランドマーク等の静止対象物Ｍ２００１の情報を入力として受ける。この例では“６”という企業マークを表した静止対象物の情報を入力として受ける。入力される情報は、地図データ記憶部１０７に保持されている静止対象物のマーク情報と、地図上での座標を示す座標データとである。座標変換処理部２０９は、図２１に示すように、地図上での静止対象物Ｍ２１０１の座標を、図２２に示すように、座標Ａ２２０１に変換する。座標の変換は、上述した画像データの変換と同様に行なわれる。座標変換処理部２０９は、座標Ａ２２０１の情報を、静止対象物認識処理部２１３に出力する。
【００８３】
＜静止対象物認識処理部２１３＞
静止対象物認識処理部２１３は、座標変換処理部２０９より出力される、地図データより得られる静止対象物の座標（図２２の座標Ａ２２０１）を入力として受ける。また、静止対象物認識処理部２１３は、輝度信号処理部２０３からの輪郭成分の画像データと、色差信号処理部２０４からの色差成分の画像データとを入力として受ける。そして、静止対象物認識処理部２１３は、ナビゲーション制御部１０６から、ランドマーク等の静止対象物Ｍ２００１の情報を入力として受ける。静止対象物認識処理部２１３は、図２３に示すような、輝度信号処理部２０３および色差信号処理部２０４から受けた画像データの座標Ａ２２０１から所定の距離内にある探索領域Ａ２３０１内に、静止対象物Ｍ２００１に該当する画像情報を探索する。ランドマーク、看板、交通標識、道路案内標識等の静止対象物を探索、検出、認識する手法は問わず、任意の手法を採用しうる。例えば、画像データおよび地図データの互いに対応する位置に静止対象物が存在すれば、確かに静止対象物が存在すると認識できる。また、画像データのみに静止対象物が存在すれば、新たに静止対象物ができたと判断することができる。また、地図データのみに静止対象物が存在すれば、静止対象物がなくなったと判断することができる。
【００８４】
なお、静止対象物認識処理部２１３は、図２４に示すように、道路画像領域Ａ２４０１を除外した領域Ａ２４０２に対して、静止対象物Ｍ２００１に該当する画像情報を探索するようにしてもよい。
【００８５】
また、静止対象物認識処理部２１３は、時間的に連続する２つのカメラ画像を用いて、静止対象物を探索してもよい。つまり、静止対象物認識処理部２１３は、座標変換処理部２０９より、カメラ画像および地図データの各々について算出された注目点の座標を入力として受ける。また、静止対象物認識処理部２１３は、座標変換処理部２０９より道路輪郭のベクトルを受ける。
【００８６】
図２５に示すように、ある時刻のカメラ画像より道路輪郭ベクトルＶ２５０１およびＶ２５０２が得られたものとする。これらの道路輪郭ベクトルＶ２５０１およびＶ２５０２は、それぞれベクトルＶ１５０１およびベクトルＶ１５０２は同じものである。静止対象物認識処理部２１３は、道路輪郭ベクトルＶ２５０１およびＶ２５０２の交点Ｍ２５０３を求める。この交点Ｍ２５０３は遠近法における中心座標となる。
【００８７】
次に、静止対象物認識処理部２１３は、時間的に連続する２つの画像データに対して、静止対象物認識処理部２１３において検出された静止対象物Ｍ２５０４およびＭ２５０５の座標の情報を保持する。つまり、自動車が前進しているとすれば、現時刻における静止対象物が静止対象物Ｍ２５０５であり、過去の時刻における静止対象物が静止対象物Ｍ２５０４となる。
【００８８】
そして、静止対象物認識処理部２１３は、静止対象物Ｍ２５０４およびＭ２５０５の座標間を繋げるベクトルＶ２５０６を算出する。静止対象物認識処理部２１３は、ベクトルＶ２５０６と、交点Ｍ２５０３を基準とするベクトル（ベクトルＶ２５０１またはＶ２５０２）との間の距離を算出する。静止対象物認識処理部２１３は、算出した距離があらかじめ指定した誤差以内か否かを判断し、誤差以内であれば、静止対象物Ｍ２５０４およびＭ２５０５が確かに静止対象物であると判断する。つまり、道路の輪郭に沿って移動している静止対象物が、所望の静止対象物であると判断される。この例では２枚の画像データより得られる静止対象物の座標情報を用いて、静止対象物か否かの判断を行なったが、画像データの枚数は、この限りではない。
【００８９】
なお、セレクタ２１０は、ナビゲーション制御部１０６からの出力と、輝度信号処理部２０３および色差信号処理部２０４からの出力とを入力として受け、一方を出力する。
【００９０】
次に、以上説明したナビゲーション装置を用いた画像認識方法について、図２６に示すフローチャートを用いて説明する。
【００９１】
撮像部１０９は、自車両から外部の画像（カメラ画像）を撮像する（ステップＳ５００１）。
【００９２】
輝度信号色差信号分離処理部２０２と輝度信号処理部２０３と色差信号処理部２０４と道路認識処理部２０５によって、カメラ画像中の道路が認識される（ステップＳ５００２）。
【００９３】
注目座標抽出部２０６は、地図データを取得する（ステップＳ５００３）。
【００９４】
方向ベクトル算出するとの指定がある場合には（Ｓ５００４でＹＥＳ）、注目座標抽出部２０６は、道路輪郭の方向ベクトルを算出する（ステップＳ５００５）。
【００９５】
注目座標抽出部２０６は、交差点としての注目点を検出する（ステップＳ５００６）。
【００９６】
注目点が検出できなかった場合は（ステップＳ５００７でＮＯ）、注目座標を変更する（ステップＳ５００８）。つまり、交差点の他の注目点の抽出を試みる。
【００９７】
注目点が検出できた場合には（ステップＳ５００７でＹＥＳ）、座標変換処理部２０９は、歪み量を算出する（Ｓ５００９）。
【００９８】
次に、座標変換処理部２０９は、画像変形の対象がカメラ画像か地図データかを判定する（ステップＳ５０１０）。画像変形の対象は予め指定されているものとする。
【００９９】
画像変形の対象が地図データの場合には（ステップＳ５０１０でＹＥＳ）、座標変換処理部２０９は、地図データを変形させ、図１７に示すような画像データを生成する（ステップＳ５０１１）。
【０１００】
画像変形の対象がカメラ画像の場合には（ステップＳ５０１０でＮＯ）、座標変換処理部２０９は、カメラ画像を変形させ、図１９に示すような画像を生成する（ステップＳ５０１２）。
【０１０１】
座標変換処理部２０９は、地図データに基づいて静止対象物の探索領域を決定することが指定されているか否かを判断する（Ｓ５０１３ａ）。この指定は、予め行なわれているものとする。
【０１０２】
地図データに基づいて静止対象物の探索領域を決定することが指定されている場合には（Ｓ５０１３ａでＹＥＳ）、図２１および図２２を用いて説明したように、座標変換処理部２０９は、地図データから得られる静止対象物Ｍ２１０１の座標を、図２２に示すように、座標Ａ２２０１に変換する（Ｓ５０１３）。つまり、カメラ画像上での座標Ａ２２０１に変換する。
【０１０３】
次に、図２３を用いて説明したように、静止対象物認識処理部２１３は、カメラ画像における探索領域Ａ２３０１を決定する（Ｓ５０１４）。その上で、静止対象物認識処理部２１３は、静止対象物の認識を行なう。
【０１０４】
静止対象物認識処理部２１３は、道路画像領域に基づいて静止対象物の探索領域を決定することが指定されているか否かを判断する（Ｓ５０１５ａ）。この指定は、予め行なわれているものとする。
【０１０５】
道路画像領域に基づいて静止対象物の探索領域を決定することが指定されている場合には（Ｓ５０１５ａでＹＥＳ）、静止対象物認識処理部２１３は、図２４に示したように、カメラ画像から道路画像領域Ａ２４０１を除外した領域Ａ２４０２を、静止対象物の探索領域として決定する（ステップＳ５０１５）。その上で、静止対象物認識処理部２１３は、静止対象物の認識を行なう。
【０１０６】
静止対象物認識処理部２１３は、ここまでの処理で静止対象物が検出されているか否かを判断する（Ｓ５０１６）。静止対象物が検出されている場合（ステップＳ５０１６でＹＥＳ）、静止対象物認識処理部２１３は、検出された静止対象物の情報を保持する（Ｓ５０１７）。そして、自車両が目的地に到達していなければ（ステップＳ５０１８でＮＯ）、Ｓ５００１からの処理が繰り返し実行される。
【０１０７】
ステップＳ５０１７において、静止対象物の情報が時々刻々蓄積される。静止対象物認識処理部２１３は、図２５を用いて説明した方法により、蓄積された静止対象物が道路の輪郭に沿って移動しているか否かを判断する。静止対象物認識処理部２１３は、道路の輪郭に沿って移動している静止対象物を、所望の静止対象物であると判断する。
【０１０８】
以上説明したように、本実施の形態によると、ナビゲーション装置から静止対象物情報を読み出し、変形させた地図データとカメラ画像とから静止対象物を認識することができる。また、地図上での静止対象物の位置と、歪み量とから、カメラ画像上での静止対象物の探索領域を決定することができる。
【０１０９】
また、カメラ画像から、道路領域を除外した領域を静止対象物の探索領域として決定することができる。
【０１１０】
さらに、複数の時刻において道路輪郭に沿って検出された静止対象物を検出することができる。このため、道路輪郭ベクトルから検索された基準点から動き補償を行うことができる。
【０１１１】
（実施の形態２）
本発明の実施の形態２に係るナビゲーション装置について、図面を参照しながら説明する。実施の形態１では、静止対象物の認識を行なった。本実施の形態では、静止対象物の認識結果に基づいて、地図データに静止対象物を追加したり、地図データから静止対象物を削除したりする処理を行なう。
【０１１２】
ナビゲーション装置の構成は、図１および図２を参照して説明したものと同様である。このため、その詳細な説明はここでは繰り返さない。以下、実施の形態１と異なる点を中心に説明する。本実施の形態では、実施の形態１と同様に、カメラ画像から道路が認識され、交差点としての注目点が検知され、歪み量に基づいて画像の変形が行なわれる。
【０１１３】
それに加え、以下の処理が実行される。つまり、座標変換処理部２０９は、静止対象物認識処理部２１３により検出された静止対象物の情報と、輝度信号処理部２０３および色差信号処理部２０４からの画像データとを入力として受ける。
【０１１４】
座標変換処理部２０９は、図２７に示すように、カメラ画像上で検出された静止対象物Ｍ２７０４を、図９に示すような地図データと同じ始点から見た画像データに座標変換を行なうと、図２８に示すような画像データが得られる。このとき、静止対象物Ｍ２７０４は、静止対象物Ｍ２８０１に変換される。このとき、図９に示すような地図データの所望座標上（静止対象物Ｍ２８０１の座標上）に静止対象物が存在しない場合には、座標変換処理部２０９は、図２９に示すように、地図データの静止対象物Ｍ２８０１の座標に、静止対象物Ｍ２９０１を新たに追加するために、静止対象物Ｍ２９０１の情報をナビゲーション制御部１０６に出力する。ナビゲーション制御部１０６は静止対象物の情報を更新データとして更新データ記憶部１０８に記憶する。
【０１１５】
また、ナビゲーション制御部１０６から静止対象物があるものとして静止対象物の情報が静止対象物認識処理部２１３に入力されたにも係らず、静止対象物が検出されなかった場合には、静止対象物認識処理部２１３は、ナビゲーション制御部１０６に静止対象物を削除する指示を出力する。ナビゲーション制御部１０６は静止対象物が削除されたことを示す情報を、更新データとして更新データ記憶部１０８に記憶する。
【０１１６】
次に、以上説明したナビゲーション装置を用いた画像認識方法について、図３０に示すフローチャートを用いて説明する。
【０１１７】
撮像部１０９は、自車両から外部の画像（カメラ画像）を撮像する（ステップＳ５１０１）。
【０１１８】
静止対象物認識処理部２１３は、カメラ画像より静止対象物を検出する（ステップＳ５１０２）。
【０１１９】
静止対象物が検出された場合（ステップＳ５１０３でＹＥＳ）、座標変換処理部２０９は、静止対象物の座標を地図データ上の座標に変換する（ステップＳ５１０４）。静止対象物認識処理部２１３は、地図データ上の変換後の座標上に、静止対象物があるか否かを判断し、かつ、静止対象物があるとの判断が指定回数以上なされたか否か（時間的に連続する指定枚数のカメラ画像において静止対象物があると判断されたか否か）を判断する（ステップＳ５１１２）。つまり、静止対象物の誤検出を防ぐために、ステップＳ５１１２において指定回数を設け、静止対象物があるとの判断が指定回数以上なされた場合には、検出された静止対象物が実際に存在するとみなす。
【０１２０】
静止対象物があるとの判断が指定回数以上なされた場合には（ステップＳ５１１２でＹＥＳ）、座標変換処理部２０９は、地図データ上における静止対象物の位置を示す情報を、ナビゲーション制御部１０６に出力する。ナビゲーション制御部１０６は、追加すべき静止対象物の位置を示す情報を更新データとして更新データ記憶部１０８に記憶する（ステップＳ５１０５）。これにより、地図データに静止対象物の追加が行なわれる。
【０１２１】
静止対象物が検出されなかった場合には（ステップＳ５１０３でＮＯ）、座標変換処理部２０９は、静止対象物の検出漏れを防ぐために、静止対象物の探索範囲を変更する（ステップＳ５１０６）。探索範囲があらかじめ指定した対象の範囲内であれば（ステップＳ５１０７でＹＥＳ）、座標変換処理部２０９は、その探索範囲内において、静止対象物の再検出を行なう（Ｓ５１０２）。
【０１２２】
静止対象物の探索範囲がこれ以上ない場合には（ステップＳ５１０７でＮＯ）、静止対象物認識処理部２１３は、静止対象物が存在しないとみなす（ステップＳ５１０８）。静止対象物認識処理部２１３は、静止対象物が存在しないとの判断が指定回数なされたか否か（時間的に連続する指定枚数のカメラ画像において静止対象物が存在しないとの判断がなされたか否か）を判断する（ステップＳ５１０９）。つまり、静止対象物の誤検出を防ぐために、ステップＳ５１０９において指定回数を設け、静止対象物がないとの判断が指定回数以上なされた場合には、検出された静止対象物が確かに存在しないと判断する。
【０１２３】
静止対象物が存在しないとの判断が指定回数なされた場合には（ステップＳ５１０９でＹＥＳ）、座標変換処理部２０９は、ナビゲーション制御部１０６に、静止対象物を削除を指示するデータを出力する。ナビゲーション制御部１０６は、静止対象物の削除を指示するデータを更新データとして更新データ記憶部１０８に記憶することにより、地図データから静止対象物の削除を行う（ステップＳ５１１０）。
【０１２４】
ナビゲーション制御部１０６は、地図データ記憶部１０７に記憶された地図データおよび更新データ記憶部１０８に記憶された更新データに基づいて、画像表示処理部１１２に表示する地図情報を更新する（Ｓ５１１１）。Ｓ５１０１〜Ｓ５１１２の処理が、目的地に到着するまで繰り返し実行される（ステップＳ５１１３）。
【０１２５】
以上説明したように、本実施の形態によると、カメラ画像より検出された静止対象物の位置を、地図データ上の位置に変換し、地図データ上の該当する位置に静止対象物の位置情報がなく、カメラ画像に静止対象物が検出された場合に、検出が指定回数を上回ると、地図データに静止対象物の情報を追加することができる。
【０１２６】
また、地図データ上に静止対象物の位置情報があるにもかかわらず、カメラ画像の対応する位置に静止対象物が検出されなかった場合に、検出されなかったことが指定回数を上回ると、地図データから静止対象物の情報を削除することができる。
【０１２７】
（実施の形態３）
本発明の実施の形態３に係るナビゲーション装置について、図面を参照しながら説明する。実施の形態２では、地図データに静止対象物を追加したり、地図データから静止対象物を削除したりするために、更新データを更新データ記憶部１０８に記憶した。本実施の形態では、更新データをサーバに送信することにより、地図データを管理するサーバによる静止対象物の追加や削除を可能とするものである。
【０１２８】
以下の説明では、実施の形態１および２と異なる点について中心に説明する。
【０１２９】
本実施の形態に係るナビゲーション装置の構成は、図１および図２を参照して説明したものと同様である。このため、その詳細な説明はここでは繰り返さない。
【０１３０】
実施の形態２では、静止対象物を地図データに追加する際、または静止対象物を地図データから削除する際に、座標変換処理部２０９または静止対象物認識処理部２１３が、更新データをナビゲーション制御部１０６に通知していた。本実施の形態では、ナビゲーション制御部１０６に通知された更新データを、通信制御部１０１が、基地局サーバ等に送信する。基地局サーバは、地図データを管理している。このため、基地局サーバが更新データに基づいて、地図データを更新することができる。
【０１３１】
次に、以上説明したナビゲーション装置を用いた画像認識方法について、図３１に示すフローチャートを用いて説明する。
【０１３２】
なお、ここでは、実施の形態２と同様に、新たに静止対象物が検出されると、ナビゲーション制御部１０６に対して静止対象物の追加要求（更新データ）が送信され、静止対象物が削除されたことが検出されると、ナビゲーション制御部１０６に対して静止対象物の削除要求（更新データ）が送信されているものとする。
【０１３３】
ナビゲーション制御部１０６は、静止対象物の追加要求を受け取った場合には（ステップＳ５２０１でＹＥＳ）、誤検出を防ぐために、同一の静止対象物について追加要求を指定回数以上受け取ったか否かを判断する（ステップＳ５２０２）。追加要求を指定回数以上受け取ったと判断した場合には（ステップＳ５２０２でＹＥＳ）、ナビゲーション制御部１０６は、通信制御部１０１を介して、基地局サーバに静止対象物の追加要求を送信する（Ｓ５２０３）。追加要求を受信した基地局サーバは、追加要求に基づいて、自身が管理する地図データに静止対象物を追加することにより、地図データを更新する。更新後の地図データは、基地局サーバからナビゲーション装置に送信される。ナビゲーション制御部１０６は、通信制御部１０１を介して更新後の地図データを受信し、地図データ記憶部１０７に記憶する。
【０１３４】
一方、ナビゲーション制御部１０６は、静止対象物の削除要求を受け取った場合には（ステップＳ５２０４でＹＥＳ）、誤検出を防ぐために、同一の静止対象物について削除要求を指定回数以上受け取ったか否かを判断する（ステップＳ５２０５）。削除要求を指定回数以上受け取ったと判断した場合には（ステップＳ５２０５でＹＥＳ）、ナビゲーション制御部１０６は、通信制御部１０１を介して、基地局サーバに静止対象物の削除要求を送信する（Ｓ５２０６）。削除要求を受信した基地局サーバは、削除要求に基づいて、自身が管理する地図データから静止対象物を削除することにより、地図データを更新する。
【０１３５】
以上説明したように、本実施の形態によると、カメラ画像より検出された静止対象物の位置を、地図データ上の位置に変換し、地図データ上の該当する位置に静止対象物の位置情報がなく、カメラ画像に静止対象物が検出された場合に、検出が指定回数を上回ると、静止対象物の追加要求を基地局サーバに送信することができる。このため、基地局サーバは、自身が管理する地図データに静止対象物の情報を追加することができる。更新後の地図データは、基地局サーバからナビゲーション装置に送信される。ナビゲーション制御部１０６は、通信制御部１０１を介して更新後の地図データを受信し、地図データ記憶部１０７に記憶する。
【０１３６】
また、地図データ上に静止対象物の位置情報があるにもかかわらず、カメラ画像の対応する位置に静止対象物が検出されなかった場合に、検出されなかったことが指定回数を上回ると、地図データから静止対象物の情報を削除するための削除要求を基地局サーバに送信することができる。このため、基地局サーバは、自身が管理する地図データから静止対象物の情報を削除することができる。
【０１３７】
以上、本発明の実施の形態に係るナビゲーション装置について説明したが、本発明は、これらの実施の形態に限定されるものではない。
【０１３８】
例えば、上述の実施の形態では、静止対象物を特定施設のマークを用いて例示したが、無論、これ以外のマーク、交通標識、道路標識、さらには信号器等の静止している対象物であってもよい。
【０１３９】
また、十字路のような交差点を例示として用いたが、無論、これ以外のＴ字路や三叉路、さらには複数分岐した交差点であってもよい。また、道路種別は、優先道路と非優先道路との交差点に限られず、信号機が設置された交差点であってもよいし、複数車線を有する道路の交差点であってもよい。
【０１４０】
さらに、上述の実施の形態では、ナビゲーション装置が二次元の地図データを用いるものとして説明したが、鳥瞰図のような三次元の地図データを用いても、本発明は実現が可能である。
【０１４１】
さらに、上述の実施の形態では、通信制御部によりデータを基地局サーバと送受信しているが、専用の無線通信機を用いることなく、一般的な携帯電話や携帯型端末機器のようなインターネットに接続可能な機器を介して、データを送受信することも可能である。
【０１４２】
また、図１を用いて説明したナビゲーション装置のうち、撮像部１０９と画像処理部１１０とナビゲーション制御部１０６とは、１チップＬＳＩ（Ｌａｒｇｅ Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｉｏｎ：大規模集積回路）で構成されていてもよい。さらに他のブロックにおける他の組み合わせについても同様なことが言える。
【０１４３】
また、上記の各装置は、具体的には、マイクロプロセッサ、ＲＯＭ、ＲＡＭ、ハードディスクドライブ、ディスプレイユニット、キーボード、マウスなどから構成されるコンピュータシステムとして構成されても良い。ＲＡＭまたはハードディスクドライブには、コンピュータプログラムが記憶されている。マイクロプロセッサが、コンピュータプログラムに従って動作することにより、各装置は、その機能を達成する。ここでコンピュータプログラムは、所定の機能を達成するために、コンピュータに対する指令を示す命令コードが複数個組み合わされて構成されたものである。
【０１４４】
さらに、上記の各装置を構成する構成要素の一部または全部は、１個のシステムＬＳＩから構成されているとしても良い。システムＬＳＩは、複数の構成部を１個のチップ上に集積して製造された超多機能ＬＳＩであり、具体的には、マイクロプロセッサ、ＲＯＭ、ＲＡＭなどを含んで構成されるコンピュータシステムである。ＲＡＭには、コンピュータプログラムが記憶されている。マイクロプロセッサが、コンピュータプログラムに従って動作することにより、システムＬＳＩは、その機能を達成する。
【０１４５】
さらにまた、上記の各装置を構成する構成要素の一部または全部は、各装置に脱着可能なＩＣカードまたは単体のモジュールから構成されているとしても良い。ＩＣカードまたはモジュールは、マイクロプロセッサ、ＲＯＭ、ＲＡＭなどから構成されるコンピュータシステムである。ＩＣカードまたはモジュールは、上記の超多機能ＬＳＩを含むとしても良い。マイクロプロセッサが、コンピュータプログラムに従って動作することにより、ＩＣカードまたはモジュールは、その機能を達成する。このＩＣカードまたはこのモジュールは、耐タンパ性を有するとしても良い。
【０１４６】
また、本発明は、上記に示す方法であるとしても良い。また、これらの方法をコンピュータにより実現するコンピュータプログラムであるとしても良いし、前記コンピュータプログラムからなるデジタル信号であるとしても良い。
【０１４７】
さらに、本発明は、上記コンピュータプログラムまたは上記デジタル信号をコンピュータ読み取り可能な記録媒体、例えば、フレキシブルディスク、ハードディスク、ＣＤ−ＲＯＭ、ＭＯ、ＤＶＤ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、ＢＤ（Ｂｌｕ−ｒａｙ Ｄｉｓｃ（登録商標））、半導体メモリなどに記録したものとしても良い。また、これらの記録媒体に記録されている上記デジタル信号であるとしても良い。
【０１４８】
また、本発明は、上記コンピュータプログラムまたは上記デジタル信号を、電気通信回線、無線または有線通信回線、インターネットを代表とするネットワーク、データ放送等を経由して伝送するものとしても良い。
【０１４９】
また、本発明は、マイクロプロセッサとメモリを備えたコンピュータシステムであって、上記メモリは、上記コンピュータプログラムを記憶しており、上記マイクロプロセッサは、上記コンピュータプログラムに従って動作するとしても良い。
【０１５０】
また、上記プログラムまたは上記デジタル信号を上記記録媒体に記録して移送することにより、または上記プログラムまたは上記デジタル信号を上記ネットワーク等を経由して移送することにより、独立した他のコンピュータシステムにより実施するとしても良い。
【０１５１】
さらに、上記実施の形態及び上記変形例をそれぞれ組み合わせるとしても良い。
【０１５２】
今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味及び範囲内でのすべての変更が含まれることが意図される。
【産業上の利用可能性】
【０１５３】
本発明にかかる画像認識方法および画像認識装置は、ナビゲーション機能を備えたコンピュータ装置等において利用することができる。また、ナビゲーション機能に加えて、オーディオ機能やビデオ機能等を含むものであってもよい。また、ナビゲーション機能を備えた車両に限らず移動体全般において利用することができる。
【図面の簡単な説明】
【０１５４】
【図１】ナビゲーション装置の構成を示すブロック図である。
【図２】画像処理部の内部構成を示すブロック図である。
【図３】輪郭画素を判断する際に用いられる画素の構成を示す図である。
【図４】カメラで撮影された画像の一例を示す図である。
【図５】輪郭成分を抽出したカメラ画像の一例を示す図である。
【図６】特定領域を示したカメラ画像の一例を示す図である。
【図７】道路の色差信号のみからなる画像の一例を示す図である。
【図８】認識された道路画像の一例を示す図である。
【図９】地図データの一例を示す図である。
【図１０】カメラ画像での道路輪郭の屈折している箇所の一例を示す図である。
【図１１】道路輪郭ベクトルの一例を示す図である。
【図１２】地図データでの道路輪郭の屈折している箇所の一例を示す図である。
【図１３】カメラ画像での道路輪郭の屈折している箇所の一例を示す図である。
【図１４】カメラ画像での道路輪郭ベクトルの一例を示す図である。
【図１５】カメラ画像での道路輪郭ベクトルの一例を示す図である。
【図１６】座標変換処理を説明するための図である。
【図１７】画像変形後の地図データの一例を示す図である。
【図１８】道路輪郭ベクトルの一例を示す図である。
【図１９】画像変形後のカメラ画像の一例を示す図である。
【図２０】静止対象物と地図データの一例を示す図である。
【図２１】静止対象物座標と地図データの一例を示す図である。
【図２２】画像変形後の、静止対象物座標を含む地図データの一例を示す図である。
【図２３】カメラ画像における静止対象物の探索範囲の一例を示す図である。
【図２４】カメラ画像における静止対象物の探索範囲の一例を示す図である。
【図２５】静止対象物の動きベクトルの一例を示す図である。
【図２６】本発明の実施の形態１に係る画像変形方法のフローチャートである。
【図２７】静止対象物とカメラ画像の一例を示す図である。
【図２８】画像変形後の、静止対象物を含むカメラ画像の一例を示す図である。
【図２９】静止対象物が付与された地図データの一例を示す図である。
【図３０】本発明の実施の形態２に係る画像表示方法のフローチャートである。
【図３１】本発明の実施の形態３に係る画像表示方法のフローチャートである。
【符号の説明】
【０１５５】
１０１ 通信制御部
１０２ 自立航法制御部
１０３ ＧＰＳ制御部
１０４ 道路交通情報受信部
１０５ 音声出力部
１０６ ナビゲーション制御部
１０７ 地図データ記憶部
１０８ 更新データ記憶部
１０９ 撮像部
１１０ 画像処理部
１１１ 画像合成処理部
１１２ 画像表示処理部
２０２ 輝度信号色差信号分離処理部
２０３ 輝度信号処理部
２０４ 色差信号処理部
２０５ 道路認識処理部
２０６ 注目座標抽出部
２０８、２１０ セレクタ
２０９ 座標変換処理部
２１３ 静止対象物認識処理部
【技術分野】
【０００１】
本発明は、車両外部を撮影した画像より静止対象物の認識を行うための画像認識方法および画像認識装置に関する。
【背景技術】
【０００２】
近年、デジタル技術の進歩と自動車の普及に伴い、ナビゲーション装置の技術は急速に進歩している。ナビゲーション装置は、ナビゲーション装置に保持された地図データに基づき、予め設定した目的地までの最適な誘導経路を求める。その上で、自車両の走行に伴い、経路中の交差点等の重要地点で、左折または右折の案内をディスプレイに表示させるものである。
【０００３】
また、ナビゲーション装置は、ディスプレイに表示する地図上に、各種施設を特定できる看板、道路交通標識および案内標識などを表示する。
【０００４】
しかし、実際にはナビゲーション装置の出荷後に、新しい看板または標識等が道路上に設置され、ナビゲーション装置のメモリに格納された地図データが常に最新のものであるとは限らないという課題があった。
【０００５】
これに対し、地図データを自動的に更新することにより、地図データを常に最新のものに維持するカーナビゲーション技術が知られている（例えば、特許文献１参照）。この方法は、走行する車両に取り付けられたカメラによって撮影された画像からランドマークを検出し、検出されたランドマークの位置を推定し、推定された位置を含む所定の範囲内に、検出されたランドマークに対応する地図上のランドマークが存在するか否かを判断し、地図上にランドマークが存在しないと判定された場合には検出されたランドマークを地図上に追加するものである。
【特許文献１】特開２００４−４５０５１号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかしながら、カメラによって撮影された画像と、地図とでは、視点が異なる。このため、カメラによって撮影された画像から検出されたランドマーク等の静止対象物が、地図上に存在するか否かを正確に判断できないという課題がある。
【０００７】
このような課題に伴い、検出されたランドマーク等の静止対象物が、正確に該当する位置として地図上に追加されるとは限らないという課題もある。
【０００８】
本発明は、上述の課題に鑑みてなされたものであり、走行する車両に取り付けられたカメラが撮影した画像中から、静止対象物を正確に認識することができる画像認識方法を提供することを目的とする。
【０００９】
また、走行する車両に取り付けられたカメラが撮影した画像中から検出されたランドマーク等の静止対象物を、ナビゲーション装置が備える地図データ上の正確な位置に追加したり、存在しない静止対象物を地図データ上から削除したりすることができる画像認識方法を提供することも目的とする。
【課題を解決するための手段】
【００１０】
上記目的を達成するために、本発明に係る画像認識方法は、車両に取り付けられたカメラで撮影された画像に含まれる静止対象物を認識する画像認識方法であって、前記カメラが前記車両の外部を撮影することにより生成される画像データより、当該画像データ上での道路の位置を認識する道路認識ステップと、前記道路認識ステップにおいて認識された前記道路の位置と、前記車両の位置を特定するナビゲーション装置に蓄積された前記車両を所定の視点から見た地図データ上での前記道路の位置とを比較することにより、前記画像データと前記地図データとの間の歪み量を算出する歪み量算出ステップと、前記歪み量に基づいて、前記画像データおよび前記地図データのいずれか一方を、他方のデータの視点から見たデータに変換する変換ステップと、前記変換ステップにおいていずれか一方が変換された前記画像データおよび前記地図データに基づいて、両データの互いに対応する位置に静止対象物が存在するか否かを判断することにより、前記画像データ中の前記静止対象物を認識する静止対象物認識ステップとを含む。
【００１１】
この構成によると、画像データの道路位置と地図データの道路位置とを比較することにより、両データの歪み量を求めている。道路位置自体は、静止対象物に比べて変化しにくく、道路が交差する位置等では、注目座標が抽出しやすい。このため、歪み量を正確に算出することが可能となる。よって、この歪み量に基づいて、画像変換を行い、両データにおいて静止対象物が存在するか否かを判断することによって、静止対象物を正確に認識することが可能となる。
【００１２】
好ましくは、前記静止対象物認識ステップは、前記変換ステップにおいていずれか一方が変換された前記画像データおよび前記地図データに基づいて、前記地図データ上での前記静止対象物の位置に対応する前記画像データ上での位置を含む所定領域を、前記画像データ上での前記静止対象物の探索領域と決定する探索領域決定ステップと、前記画像データの前記探索領域内に前記静止対象物が存在するか否かを判断することにより、前記画像データ中の前記静止対象物を認識する認識ステップとを含む。
【００１３】
このような画像認識方法により、カメラ画像から静止対象物が存在しうる領域を優先して探索することができる。
【００１４】
さらに好ましくは、前記静止対象物認識ステップは、前記変換ステップにおいていずれか一方が変換された前記画像データおよび前記地図データに基づいて、前記道路認識ステップで認識された道路の位置を除外した前記画像データの領域を、前記画像データ上での前記静止対象物の探索領域と決定する探索領域決定ステップと、前記画像データの前記探索領域内に前記静止対象物が存在するか否かを判断することにより、前記画像データ中の前記静止対象物を認識する認識ステップとを含む。
【００１５】
このような画像認識方法により、カメラ画像から一部の領域（道路領域）除外した領域を優先して静止対象物を探索することができる。
【００１６】
さらに好ましくは、前記静止対象物認識ステップは、前記変換ステップにおける変換後の前記画像データから道路の輪郭を抽出する道路輪郭抽出ステップと、時間的に連続する複数の前記画像データであって、かつ前記変換ステップにおける変換後の複数の前記画像データより前記静止対象物を抽出し、前記静止対象物が前記道路の輪郭に沿って移動しているか否かを判断することにより、前記画像データ中の前記静止対象物を認識する認識ステップとを含む。
【００１７】
道路輪郭に沿って、静止対象物が存在するという条件を用いることにより、静止対象物を正確に認識することが可能となる。また、検出された静止対象物に対して動き補償を行うことができる。
【００１８】
さらに好ましくは、前記静止対象物認識ステップは、さらに、前記画像データおよび前記地図データのいずれか一方のみにおいて、前記静止対象物が存在すると判断された場合には、前記地図データの前記静止対象物に関するデータを更新する。
【００１９】
このような画像認識方法により、ランドマーク等の静止対象物を、ナビゲーション装置が備える地図データ上の正確な位置に追加したり、存在しない静止対象物を地図データ上から削除したりすることができる。よって、ナビゲーション装置で用いられる地図データを最新のものに更新することができる。
【００２０】
さらに好ましくは、前記静止対象物認識ステップでは、前記画像データより前記静止対象物が検出され、かつ検出された前記静止対象物に対応する静止対象物が前記地図データより検出されないとの条件が満たされるか否かを判断し、当該条件が指定回数以上満たされたと判断した場合には、前記静止対象物に関する情報を前記地図データに追加する。
【００２１】
上記条件が指定回数以上満たされるか否かを判断することにより、静止対象物のご認識を防止することができ、精度よく静止対象物に関する情報を地図データに追加することができる。
【００２２】
さらに好ましくは、前記静止対象物認識ステップでは、前記地図データより前記静止対象物が検出され、かつ検出された前記静止対象物に対応する静止対象物が前記画像データより検出されないとの条件が満たされるか否かを判断し、当該条件が指定回数以上満たされたと判断した場合には、前記静止対象物に関する情報を前記地図データから削除する。
【００２３】
上記条件が指定回数以上満たされるか否かを判断することにより、静止対象物のご認識を防止することができ、精度よく静止対象物に関する情報を地図データから削除することができる。
【００２４】
さらに好ましくは、前記静止対象物認識ステップは、さらに、前記画像データおよび前記地図データのいずれか一方のみにおいて、前記静止対象物が存在すると判断された場合には、前記地図データの前記静止対象物に関するデータの更新要求を、前記地図データを管理するサーバに送信する。
【００２５】
地図データをサーバが管理している場合には、ランドマーク等の静止対象物を、サーバが備える地図データ上の正確な位置に追加したり、存在しない静止対象物を地図データ上から削除したりすることができる。よって、サーバで管理される地図データを最新のものに更新することができる。
【００２６】
さらに好ましくは、前記静止対象物認識ステップでは、前記画像データより前記静止対象物が検出され、かつ検出された前記静止対象物に対応する静止対象物が前記地図データより検出されないとの条件が満たされるか否かを判断し、当該条件が指定回数以上満たされたと判断した場合には、前記静止対象物に関する情報を前記地図データに追加する要求を、前記サーバに送信する。
【００２７】
上記条件が指定回数以上満たされるか否かを判断することにより、静止対象物のご認識を防止することができ、精度よく静止対象物に関する情報をサーバが管理する地図データに追加することができる。
【００２８】
さらに好ましくは、前記静止対象物認識ステップでは、前記地図データより前記静止対象物が検出され、かつ検出された前記静止対象物に対応する静止対象物が前記画像データより検出されないとの条件が満たされるか否かを判断し、当該条件が指定回数以上満たされたと判断した場合には、前記静止対象物に関する情報を前記地図データから削除する要求を、前記サーバに送信する。
【００２９】
上記条件が指定回数以上満たされるか否かを判断することにより、静止対象物のご認識を防止することができ、精度よく静止対象物に関する情報をサーバが管理する地図データから削除することができる。
【００３０】
さらに好ましくは、上述の画像認識方法は、さらに、前記サーバより、更新後の地図データを受信する受信ステップを含む。
【００３１】
これにより、ナビゲーション装置は、最新の地図データを車両の運転者に提示することが可能となる。
【００３２】
なお、本発明は、このような特徴的なステップを含む画像認識方法として実現することができるだけでなく、画像認識方法に含まれる特徴的なステップを処理部とする画像認識装置として実現することができる。また、画像認識方法に含まれる特徴的なステップをコンピュータに実行させるプログラムとして実現することもできる。そして、そのようなプログラムは、ＣＤ−ＲＯＭ（Compact Disc-Read Only Memory）等の記録媒体やインターネット等の通信ネットワークを介して流通させることができるのは言うまでもない。
【発明の効果】
【００３３】
本発明によると、走行する車両に取り付けられたカメラが撮影した画像中から、静止対象物を正確に認識することができる。
【００３４】
また、走行する車両に取り付けられたカメラが撮影した画像中から検出されたランドマーク等の静止対象物を、ナビゲーション装置が備える地図データ上の正確な位置に追加したり、存在しない静止対象物を地図データ上から削除したりすることができる。
【発明を実施するための最良の形態】
【００３５】
以下、本発明を実施するための最良の形態について、図面を参照しながら説明する。
【００３６】
なお、以下の実施の形態では、ハードウェアおよびソフトウェアの実施態様は各種変更可能である。このため、まず、各実施の形態に共通するナビゲーション装置の構成について説明し、その後に、各実施の形態について説明する。なお、以下の各実施の形態は、特許発明を限定するものではなく、各実施の形態で説明されている特徴の全てが、発明の必須構成要件とは限らない。
【００３７】
図１は、ナビゲーション装置の構成を示す機能ブロック図である。
【００３８】
本ナビゲーション装置は、自動車などの車両に取り付けられ、ランドマーク等の静止対象物の情報を、あらかじめ用意された地図データに基づいて探索および設定し、その該当位置を示した地図データを表示する装置であり、通信制御部１０１と、自立航法制御部１０２と、ＧＰＳ（Global Positioning System）制御部１０３と、道路交通情報受信部１０４と、音声出力部１０５と、ナビゲーション制御部１０６と、地図データ記憶部１０７と、更新データ記憶部１０８と、撮像部１０９と、画像処理部１１０と、画像合成処理部１１１と、画像表示処理部１１２とを含む。
【００３９】
通信制御部１０１は、無線または有線によるデータ通信を制御する。なお、通信機能は、ナビゲーション装置に内蔵されていても良いし、外部に設けられていてもよい。例えば、通信機能を有する携帯電話などの移動体通信端末と通信制御部１０１とが接続され、移動体通信端末を介してデータ通信を行うものであってもよい。このような構成により、ユーザは、通信制御部１０１を介して外部サーバへアクセスすることが可能となる。
【００４０】
自立航法制御部１０２は、自車両の移動速度を検出する車速度センサや自車両の回転角度を検出する角度センサなどからなる。
【００４１】
ＧＰＳ制御部１０３は、ＧＰＳ受信機によって地球の高度約２万ｋｍにおける所定の軌道に複数個配置された人工衛星（ＧＰＳ衛星）から伝送されるＧＰＳ電波を受信し、ＧＰＳ信号に含まれた情報を利用して地球上での自車両の現在位置と現在方位を測定する。
【００４２】
道路交通情報受信部１０４は、外部アンテナを介して自車両外部の現在の道路交通情報を逐次受信する。
【００４３】
ナビゲーション制御部１０６は、本ナビゲーション装置の各処理部を制御する制御回路の役割を果たす。
【００４４】
地図データ記憶部１０７は、本装置の動作に必要な各種データを記憶しているメモリであり、予め記録された地図データおよびランドマーク等の静止対象物や施設データなどに関する各種データを保持する。必要な地図データをナビゲーション制御部１０６から読み出される。ここにおける地図データ記憶部１０７におけるメモリは、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭまたはハードディスクドライブ（ＨＤＤ）であってもよい。
【００４５】
更新データ記憶部１０８は、地図データ記憶部１０７に記憶されている地図データと、その地図データからから更新された地図データとの差分を示す更新データを記憶しているメモリである。更新データは、ナビゲーション制御部１０６により設定される。
【００４６】
音声出力部１０５は、スピーカを含み、例えば、経路誘導時に交差点案内などの音声を出力する。
【００４７】
撮像部１０９は、自車両の前方に設置された、ＣＣＤ（Charge Coupled Device）センサやＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサなどの撮像素子を備えたカメラである。
【００４８】
画像処理部１１０は、撮像部１０９から出力される画像データを、他の形式の画像データに変換する。また、画像処理部１１０は、ナビゲーション制御部１０６から地図データを入力として受け、地図データに対して画像処理を施す。さらに、画像処理部１１０は、ナビゲーション制御部１０６から静止対象物情報（静止対象物の位置情報および静止対象物の画像情報を含む情報）を受け、静止対象物情報に対して画像処理を施し、画像処理を行った結果の静止対象物情報をナビゲーション制御部１０６へ出力する。
【００４９】
画像合成処理部１１１は、自車両の現在位置を含む地図データを、ナビゲーション制御部１０６から入力として受け、画像処理部１１０から出力されるカメラ画像（撮像部１０９で撮像された画像）と合成する。
【００５０】
そして、画像表示処理部１１２により、画像合成処理部１１１により合成された後の画像データをナビゲーション装置のディスプレイ等に表示する。
【００５１】
（実施の形態１）
本発明の実施の形態１に係るナビゲーション装置について、図面を参照しながら説明する。
【００５２】
ナビゲーション装置の全体構成は、図１を参照して説明した通りである。
【００５３】
図２は、画像処理部１１０の詳細な内部構成を示すブロック図である。
【００５４】
画像処理部１１０は、輝度信号色差信号分離処理部２０２と、輝度信号処理部２０３と、色差信号処理部２０４と、道路認識処理部２０５と、注目座標抽出部２０６と、セレクタ２０８と、座標変換処理部２０９と、セレクタ２１０と、静止対象物認識処理部２１３とを含む。
【００５５】
以下、画像処理部１１０を構成する各処理部について説明する。
【００５６】
＜輝度信号色差信号分離処理部２０２＞
輝度信号色差信号分離処理部２０２は、撮像部１０９からカメラ画像の画像データを入力として受ける。輝度信号色差信号分離処理部２０２は、撮像部１０９から、赤（Ｒ）・緑（Ｇ）・青（Ｂ）の三色（光の三原色）からなる画像データを入力として受けた場合には、一般的な色空間変換式（次式（１）〜（３））を用いて、ＹＵＶ色形式の画像データに変換する。
【００５７】
Ｙ＝０．２９８９１×Ｒ＋０．５８６６１×Ｇ＋０．１１４４８×Ｂ … （１）
Ｕ＝−０．１６８７４×Ｒ−０．３３１２６×Ｇ＋０．５００００×Ｂ …（２）
Ｖ＝０．５００００×Ｒ−０．４１８６９×Ｇ−０．０８１３１×Ｂ …（３）
【００５８】
また、次式（４）〜（６）を用いて、ＩＴＵ−Ｒ ＢＴ．６０１に規定のＹＣｂＣｒ色形式の画像データに変換してもよい。
【００５９】
Ｙ＝０．２５７Ｒ＋０．５０４Ｇ＋０．０９８Ｂ＋１６ …（４）
Ｃｂ＝−０．１４８Ｒ−０．２９１Ｇ＋０．４３９Ｂ＋１２８ …（５）
Ｃｒ＝０．４３９Ｒ−０．３６８Ｇ−０．０７１Ｂ＋１２８ …（６）
【００６０】
ここで、Ｙは、輝度信号（明るさ）を示し、Ｃｂ（Ｕ）は、青の差分信号、Ｃｒ（Ｖ）は、赤の差分信号を示す。また、撮像部１０９からシアン（Ｃ）・マゼンタ（Ｍ）・イエロー（Ｙ）の三色（色料の三原色）からなる画像データを入力として受けた場合には、輝度信号色差信号分離処理部２０２は、一般的な変換式（次式（７）〜（９））を用いて、ＲＧＢ形式の画像データに変換した後、式（１）〜（３）、または式（４）〜（６）を用いて、ＹＵＶ形式、またはＹＣｂＣｒ形式の画像データへの変換を行う。輝度信号色差信号分離処理部２０２は、変換後の画像データを出力する。
【００６１】
Ｒ＝１．０−Ｃ …（７）
Ｇ＝１．０−Ｍ …（８）
Ｂ＝１．０−Ｙ …（９）
【００６２】
また、撮像部１０９からＹＵＶ形式の画像データ入力される場合、輝度信号色差信号分離処理部２０２は特に画像データの変換は行わず、ＹＵＶの信号分離だけを行う。
【００６３】
＜輝度信号処理部２０３＞
輝度信号処理部２０３は、輝度信号色差信号分離処理部２０２から出力される輝度信号（Ｙ）の画像データを入力として受け、輝度に応じた信号処理を行い、出力する。さらに、輝度信号処理部２０３は、輪郭画素の判定処理を行う。例えば、簡易的に注目画素の周辺の８画素を用いて、注目画素が輪郭画素か否かの判定を行ってもよい。つまり、図３に示すように、３×３の注目画素Ｄ３５と、その周辺の８画素Ｄ３１〜Ｄ３４およびＤ３６〜Ｄ３９を考える。注目画素Ｄ３５の輝度と、周辺画素Ｄ３１〜Ｄ３４およびＤ３６〜Ｄ３９のそれぞれ輝度とを比較し、輝度差の絶対値の和が予め設定した値よりも大きければ、注目画素Ｄ３５を輪郭画素として判断する。図３に示すような３×３のウィンドウを、輝度信号色差信号分離処理部２０２から出力される画像データ上で走査することにより、画像データの各画素について輪郭画素の判定処理を行う。例えば、図４のようなカメラ画像の画像データが入力された場合、輝度情報を基に輪郭画素を抽出すると、図５のような画像データに変換される。図５に示す画像データにおいて、黒い画素が、輪郭画素である。
【００６４】
＜色差信号処理部２０４＞
色差信号処理部２０４は、輝度信号色差信号分離処理部２０２から出力される色差信号を入力として受け、色差に応じた信号処理を行い、出力する。さらに、色差信号処理部２０４は、予め設定した特定領域と同等の色差を有する画素の判定処理を行う。例えば、色差信号処理部２０４は、自車両が走行している道路の色差を認識する。つまり、撮像部１０９が自車両の前方中央に設置されている場合、自車両は必ず道路上に存在しているため、カメラ画像の下方中央は道路である。よって、図６に示すカメラ画像に対し、特定領域Ａ６０１を下方中央に設定する。色差信号処理部２０４は、特定領域Ａ６０１を代表する色差を算出する。例えば、色差の平均値を代表する色差としてもよい。色差信号処理部２０４は、カメラ画像の画像データの中から、算出された色差と同等の色差を有する画素を、特定領域Ａ６０１と同等の色差を有する画素として特定する。その結果、図７に示すような道路の色差信号のみからなる画像データが得られる。道路の色差信号からなる領域を、道路色差信号領域Ａ７０１とする。
【００６５】
＜道路認識処理部２０５＞
道路認識処理部２０５は、輝度信号処理部２０３からの輪郭成分の画像データと、色差信号処理部２０４からの色差成分の画像データとを入力として受ける。例えば、道路認識処理部２０５は、図５に示す輪郭成分の画像データと、図７に示す色差信号の画像データとを入力として受ける。この場合、道路認識処理部２０５は、道路色差信号領域Ａ７０１に隣接している輪郭成分の画像信号、または道路色差信号領域Ａ７０１に隣接はしないが隣接に順ずる輪郭成分の画像信号（道路色差信号領域Ａ７０１から所定距離内にある輪郭成分の画像信号）を認識し、該当する輪郭画素のみを抽出する。そして、輪郭画素と、道路色差信号領域Ａ７０１とを合成し、合成した結果を道路画像データとして認識することで、図８に示すような道路画像データを出力する。これにより、自車両から外部の画像を撮像するカメラの画像から道路を認識することができる。
【００６６】
＜注目座標抽出部２０６＞
注目座標抽出部２０６は、道路認識処理部２０５で認識された道路画像データ（図８）と、ナビゲーション制御部１０６から地図データ（図９）とを入力として受ける。まず、注目座標抽出部２０６は、道路画像データにおいて、道路輪郭の屈折している箇所を算出し、検出箇所を交差点としての注目点として検知する。例えば、図１０に示すように座標Ｐ１００１〜座標Ｐ１００４の箇所が注目点として検出される。
【００６７】
次に、道路画像データ上の道路輪郭の屈折箇所の算出方法について説明する。図１０を参照して、基線Ｌ１００５に基づいて道路画像データを左右に分ける。左側の道路画像データにおいて道路輪郭のベクトル（道路輪郭ベクトル）Ｖ１００６を求める。これは、遠近法に基づき、図１１におけるベクトルＶ１１０２のように第一象限の方向ベクトルに限る。また、右側の道路画像データにおいて道路輪郭のベクトルＶ１００７を求める。これは、遠近法に基づき、図１１におけるベクトルＶ１１０１のように第二象限の方向ベクトルに限る。ベクトルの求め方は、道路輪郭の画素を並びに対して、線形近似直線を算出することで求めることができる。これら、ベクトルＶ１００６とベクトルＶ１００７とにそれぞれ順ずる（ベクトルＶ１００６とベクトルＶ１００７とにそれぞれ連続する）道路輪郭の屈折する輪郭座標を注目点として算出する。
【００６８】
また、注目座標抽出部２０６は、図１２に示す地図データにおいても同様に、道路輪郭の屈折している箇所を算出し、該当する座標Ｐ１２０１〜座標Ｐ１２０４を交差点としての注目点として検知する。次に、地図データ上の道路輪郭の屈折箇所の算出方法について説明する。図１２を参照して、基線Ｌ１２０５に基づいて、地図データを左右に分ける。左側の地図データにおいて道路輪郭のベクトルＶ１２０６を求める。これは、図１１におけるベクトルＶ１１０２のように第一象限の方向ベクトルに限る。また、右側の地図データにおいて道路輪郭のベクトルＶ１２０７を求める。これは、図１１におけるベクトルＶ１１０１のように第二象限の方向ベクトルに限る。これら、ベクトルＶ１２０６とベクトルＶ１２０７とにそれぞれ順ずる（ベクトルＶ１２０６とベクトルＶ１２０７とにそれぞれ連続する）道路輪郭の屈折する輪郭座標（座標Ｐ１２０１〜座標Ｐ１２０４）を注目点の座標として算出する。そして、注目座標抽出部２０６は、カメラ画像と地図データの各々について算出された注目点の座標を出力する。
【００６９】
このように２次元の地図データを例としてあげたが、３次元の地図データでも同様の処理で注目点を算出することができる。
【００７０】
しかし、他車両、障害物等が算出すべき注目点に存在した場合には、注目座標抽出部２０６は、道路画像データにおける交差点としての注目点を検知することができない。例えば、図１３に示すように、道路画像データにおいて、４つある注目点の座標のうち、２つの座標Ｐ１００２、Ｐ１００３しか検知することができない。このような場合には、以下の方法により交差点座標を算出してもよい。
【００７１】
つまり、図１４に示すように、道路輪郭のベクトルＶ１００６、Ｖ１００７、Ｖ１４０７、Ｖ１４０８と、交差点座標Ｐ１００２、Ｐ１００３とに基づいて、方向ベクトルＶ１４０９、Ｖ１４１０を用いて交差点座標Ｐ１４０３を算出する。ここで、方向ベクトルＶ１４０９は、ベクトルＶ１００６と同じ向きであり、始点が座標Ｐ１００３のベクトルである。方向ベクトルＶ１４１０は道路輪郭ベクトルＶ１４０７に対し、逆ベクトルであり、始点が座標Ｐ１００２のベクトルである。ベクトルＶ１４０９とベクトルＶ１４１０との交点の座標が、交差点座標Ｐ１４０３として求められる。
【００７２】
同様に、道路輪郭のベクトルＶ１００６、Ｖ１００７、Ｖ１４０７、Ｖ１４０８と、交差点座標Ｐ１００２、Ｐ１００３とに基づいて、方向ベクトルＶ１４１１、Ｖ１４１２を用いて交差点座標Ｐ１４０４を算出する。ここで、方向ベクトルＶ１４１１は道路輪郭ベクトルＶ１００７に対し、逆ベクトルであり、始点が座標Ｐ１００２のベクトルである。また、方向ベクトルＶ１４１２は、始点が座標Ｐ１００３であり、方向がベクトルＶ１４０８と同じベクトルである。ベクトルＶ１４１１とベクトルＶ１４１２との交点の座標が、交差点座標Ｐ１４０４として求められる。そして、カメラ画像と地図データの各々について算出された注目点の座標を出力する。
【００７３】
さらに、注目座標抽出部２０６は、道路輪郭のベクトルから交差点としての注目点を算出するようにしてもよい。つまり、注目座標抽出部２０６は、図１５に示すように、道路画像データにおいて、道路輪郭のベクトルの交点を算出し、交差する座標Ｐ１５０５〜座標Ｐ１５０８を交差点としての注目点として検知する。ベクトルの交点の算出方法は、まず、道路画像データを、基線Ｌ１００５に基づいて左右に分け、左側の道路画像データより道路輪郭のベクトルＶ１５０１を求める。これは、遠近法に基づき、図１１におけるＶ１１０２のように第一象限の方向ベクトルに限る。また、右側の道路画像データより道路輪郭のベクトルＶ１５０２を求める。これは、遠近法に基づき、図１１におけるＶ１１０１のように第二象限の方向ベクトルに限る。これら、ベクトルＶ１５０１とベクトルＶ１５０２とは別に、道路輪郭ベクトルＶ１５０３とＶ１５０４を求める。そして、これら道路輪郭ベクトルＶ１５０１〜Ｖ１５０４にそれぞれ交差する座標を交差点としての注目点として検知することができる。そして、注目座標抽出部２０６は、カメラ画像と地図データの各々について算出された、注目点の座標および道路輪郭ベクトルを出力する。
【００７４】
この構成と方法により、カメラ画像において、道路輪郭の屈折している箇所を交差点としての注目点として検知することができる。また、ナビゲーション装置に予め記憶されている地図データにおいて、道路輪郭の屈折している箇所を交差点としての注目点として検知することができる。さらに、他車両、障害物等で交差点としての注目点が検知されなかった場合に、カメラ画像の検知された注目点を中心に注目点を変更させることができる。
【００７５】
＜座標変換処理部２０９＞
座標変換処理部２０９は、注目座標抽出部２０６から出力される、カメラ画像および地図データの各々の注目点の座標と、輝度信号処理部２０３および色差信号処理部２０４からのカメラ画像と、ナビゲーション制御部１０６からの地図データとを入力として受ける。カメラ画像と地図データとの切り替えはセレクタ２０８により行われる。
【００７６】
まず、座標変換処理部２０９は、地図データの注目点の座標として、図１６に示すような座標Ｐ１６０１〜座標Ｐ１６０４を入力として受ける。また、座標変換処理部２０９は、カメラで撮像された道路画像の注目点の座標として、座標Ｐ１６０５〜座標Ｐ１６０８を入力として受ける。そして、座標変換処理部２０９は、座標Ｐ１６０１が座標Ｐ１６０５へ、座標Ｐ１６０２が座標Ｐ１６０６へ、座標Ｐ１６０３が座標Ｐ１６０７へ、座標Ｐ１６０４が座標Ｐ１６０８へ、移動するように歪み量を算出する。そして、座標変換処理部２０９は、入力された地図データに対して歪み量に応じた画像変形を行う。この画像変形には画像の拡大縮小によく使われるバイリニア法（線形補間）や、バイキュービック法などを用いてもよい。また、任意の四角形を変形するための手法などを用いてもよい。例えば、図１６において、座標Ｐ１６０１〜座標Ｐ１６０４、および座標Ｐ１６０５〜座標Ｐ１６０８をそれぞれ点線で繋げることで四角形を表現しており、座標Ｐ１６０１〜座標Ｐ１６０４からなる四角形を、座標Ｐ１６０５〜座標Ｐ１６０８からなる四角形に変形する。なお、この図は、四角形による画像変形を表したものであり、歪み量を算出するために四角形は必要なものではない。
【００７７】
この構成と方法により、地図データの注目点座標とカメラ画像の注目点座標とが一致するように歪み量を算出し、歪み量に応じた座標変換により地図データを変形することができる。例えば、図１６に従い求められた歪み量に基づいて、図９に示すような地図データを変形すると、図１７のような画像データが得られる。
【００７８】
また、座標変換処理部２０９は、道路輪郭のベクトルから歪み量を求めて、画像変形を行ってもよい。つまり、座標変換処理部２０９は、注目座標抽出部２０６から出力される、カメラ画像および地図データの各々の道路輪郭のベクトルと、輝度信号処理部２０３および色差信号処理部２０４からのカメラ画像と、ナビゲーション制御部１０６からの地図データとを入力として受ける。カメラ画像と地図データとの切り替えはセレクタ２０８により行われる。
【００７９】
まず、座標変換処理部２０９は、地図データの道路輪郭のベクトルとして、図１８に示すようなベクトルＶ１８０１〜ベクトルＶ１８０４を入力として受ける。また、座標変換処理部２０９は、カメラで撮影された道路画像の道路輪郭のベクトルとして、ベクトルＶ１８０５〜ベクトルＶ１８０８を入力として受ける。そして、座標変換処理部２０９は、ベクトルＶ１８０１がベクトルＶ１８０５へ、ベクトルＶ１８０２がベクトルＶ１８０６へ、ベクトルＶ１８０３がベクトルＶ１８０７へ、ベクトルＶ１８０４がベクトルＶ１８０８へ、移動するように歪み量を算出する。そして、座標変換処理部２０９は、入力された地図データに対して歪み量に応じた画像変形を行う。この画像変形には画像の拡大縮小によく使われるバイリニア法（線形補間）や、バイキュービック法などを用いてもよい。また、任意の四角形を変形するための手法などを用いてもよい。
【００８０】
この構成と方法により、地図データの注目点座標とカメラ画像の注目点座標の一致するように歪み量を算出し、歪み量に応じた座標変換により地図データを変形することができる。例えば、図１６での歪み量を図９のような地図データに対して画像変形を行うと、図１７のようになる。
【００８１】
なお、座標変換処理部２０９は、同様に、歪み量に応じた座標変換によりカメラ画像を変形することもできる。つまり、座標変換処理部２０９は、セレクタ２０８を介して入力されたカメラ画像に対して歪み量に応じた画像変形を行う。例えば、この画像変形は、図１６において算出された歪み量に基づいた変形を、図１６に示した４つのベクトルと逆の方向に行う。これにより、図４のようなカメラ画像に対して画像変形を行うことにより、図１９に示すような画像データが得られる。
【００８２】
また、座標変換処理部２０９は、ナビゲーション制御部１０６から、地図データと同時に、図２０に示すようなランドマーク等の静止対象物Ｍ２００１の情報を入力として受ける。この例では“６”という企業マークを表した静止対象物の情報を入力として受ける。入力される情報は、地図データ記憶部１０７に保持されている静止対象物のマーク情報と、地図上での座標を示す座標データとである。座標変換処理部２０９は、図２１に示すように、地図上での静止対象物Ｍ２１０１の座標を、図２２に示すように、座標Ａ２２０１に変換する。座標の変換は、上述した画像データの変換と同様に行なわれる。座標変換処理部２０９は、座標Ａ２２０１の情報を、静止対象物認識処理部２１３に出力する。
【００８３】
＜静止対象物認識処理部２１３＞
静止対象物認識処理部２１３は、座標変換処理部２０９より出力される、地図データより得られる静止対象物の座標（図２２の座標Ａ２２０１）を入力として受ける。また、静止対象物認識処理部２１３は、輝度信号処理部２０３からの輪郭成分の画像データと、色差信号処理部２０４からの色差成分の画像データとを入力として受ける。そして、静止対象物認識処理部２１３は、ナビゲーション制御部１０６から、ランドマーク等の静止対象物Ｍ２００１の情報を入力として受ける。静止対象物認識処理部２１３は、図２３に示すような、輝度信号処理部２０３および色差信号処理部２０４から受けた画像データの座標Ａ２２０１から所定の距離内にある探索領域Ａ２３０１内に、静止対象物Ｍ２００１に該当する画像情報を探索する。ランドマーク、看板、交通標識、道路案内標識等の静止対象物を探索、検出、認識する手法は問わず、任意の手法を採用しうる。例えば、画像データおよび地図データの互いに対応する位置に静止対象物が存在すれば、確かに静止対象物が存在すると認識できる。また、画像データのみに静止対象物が存在すれば、新たに静止対象物ができたと判断することができる。また、地図データのみに静止対象物が存在すれば、静止対象物がなくなったと判断することができる。
【００８４】
なお、静止対象物認識処理部２１３は、図２４に示すように、道路画像領域Ａ２４０１を除外した領域Ａ２４０２に対して、静止対象物Ｍ２００１に該当する画像情報を探索するようにしてもよい。
【００８５】
また、静止対象物認識処理部２１３は、時間的に連続する２つのカメラ画像を用いて、静止対象物を探索してもよい。つまり、静止対象物認識処理部２１３は、座標変換処理部２０９より、カメラ画像および地図データの各々について算出された注目点の座標を入力として受ける。また、静止対象物認識処理部２１３は、座標変換処理部２０９より道路輪郭のベクトルを受ける。
【００８６】
図２５に示すように、ある時刻のカメラ画像より道路輪郭ベクトルＶ２５０１およびＶ２５０２が得られたものとする。これらの道路輪郭ベクトルＶ２５０１およびＶ２５０２は、それぞれベクトルＶ１５０１およびベクトルＶ１５０２は同じものである。静止対象物認識処理部２１３は、道路輪郭ベクトルＶ２５０１およびＶ２５０２の交点Ｍ２５０３を求める。この交点Ｍ２５０３は遠近法における中心座標となる。
【００８７】
次に、静止対象物認識処理部２１３は、時間的に連続する２つの画像データに対して、静止対象物認識処理部２１３において検出された静止対象物Ｍ２５０４およびＭ２５０５の座標の情報を保持する。つまり、自動車が前進しているとすれば、現時刻における静止対象物が静止対象物Ｍ２５０５であり、過去の時刻における静止対象物が静止対象物Ｍ２５０４となる。
【００８８】
そして、静止対象物認識処理部２１３は、静止対象物Ｍ２５０４およびＭ２５０５の座標間を繋げるベクトルＶ２５０６を算出する。静止対象物認識処理部２１３は、ベクトルＶ２５０６と、交点Ｍ２５０３を基準とするベクトル（ベクトルＶ２５０１またはＶ２５０２）との間の距離を算出する。静止対象物認識処理部２１３は、算出した距離があらかじめ指定した誤差以内か否かを判断し、誤差以内であれば、静止対象物Ｍ２５０４およびＭ２５０５が確かに静止対象物であると判断する。つまり、道路の輪郭に沿って移動している静止対象物が、所望の静止対象物であると判断される。この例では２枚の画像データより得られる静止対象物の座標情報を用いて、静止対象物か否かの判断を行なったが、画像データの枚数は、この限りではない。
【００８９】
なお、セレクタ２１０は、ナビゲーション制御部１０６からの出力と、輝度信号処理部２０３および色差信号処理部２０４からの出力とを入力として受け、一方を出力する。
【００９０】
次に、以上説明したナビゲーション装置を用いた画像認識方法について、図２６に示すフローチャートを用いて説明する。
【００９１】
撮像部１０９は、自車両から外部の画像（カメラ画像）を撮像する（ステップＳ５００１）。
【００９２】
輝度信号色差信号分離処理部２０２と輝度信号処理部２０３と色差信号処理部２０４と道路認識処理部２０５によって、カメラ画像中の道路が認識される（ステップＳ５００２）。
【００９３】
注目座標抽出部２０６は、地図データを取得する（ステップＳ５００３）。
【００９４】
方向ベクトル算出するとの指定がある場合には（Ｓ５００４でＹＥＳ）、注目座標抽出部２０６は、道路輪郭の方向ベクトルを算出する（ステップＳ５００５）。
【００９５】
注目座標抽出部２０６は、交差点としての注目点を検出する（ステップＳ５００６）。
【００９６】
注目点が検出できなかった場合は（ステップＳ５００７でＮＯ）、注目座標を変更する（ステップＳ５００８）。つまり、交差点の他の注目点の抽出を試みる。
【００９７】
注目点が検出できた場合には（ステップＳ５００７でＹＥＳ）、座標変換処理部２０９は、歪み量を算出する（Ｓ５００９）。
【００９８】
次に、座標変換処理部２０９は、画像変形の対象がカメラ画像か地図データかを判定する（ステップＳ５０１０）。画像変形の対象は予め指定されているものとする。
【００９９】
画像変形の対象が地図データの場合には（ステップＳ５０１０でＹＥＳ）、座標変換処理部２０９は、地図データを変形させ、図１７に示すような画像データを生成する（ステップＳ５０１１）。
【０１００】
画像変形の対象がカメラ画像の場合には（ステップＳ５０１０でＮＯ）、座標変換処理部２０９は、カメラ画像を変形させ、図１９に示すような画像を生成する（ステップＳ５０１２）。
【０１０１】
座標変換処理部２０９は、地図データに基づいて静止対象物の探索領域を決定することが指定されているか否かを判断する（Ｓ５０１３ａ）。この指定は、予め行なわれているものとする。
【０１０２】
地図データに基づいて静止対象物の探索領域を決定することが指定されている場合には（Ｓ５０１３ａでＹＥＳ）、図２１および図２２を用いて説明したように、座標変換処理部２０９は、地図データから得られる静止対象物Ｍ２１０１の座標を、図２２に示すように、座標Ａ２２０１に変換する（Ｓ５０１３）。つまり、カメラ画像上での座標Ａ２２０１に変換する。
【０１０３】
次に、図２３を用いて説明したように、静止対象物認識処理部２１３は、カメラ画像における探索領域Ａ２３０１を決定する（Ｓ５０１４）。その上で、静止対象物認識処理部２１３は、静止対象物の認識を行なう。
【０１０４】
静止対象物認識処理部２１３は、道路画像領域に基づいて静止対象物の探索領域を決定することが指定されているか否かを判断する（Ｓ５０１５ａ）。この指定は、予め行なわれているものとする。
【０１０５】
道路画像領域に基づいて静止対象物の探索領域を決定することが指定されている場合には（Ｓ５０１５ａでＹＥＳ）、静止対象物認識処理部２１３は、図２４に示したように、カメラ画像から道路画像領域Ａ２４０１を除外した領域Ａ２４０２を、静止対象物の探索領域として決定する（ステップＳ５０１５）。その上で、静止対象物認識処理部２１３は、静止対象物の認識を行なう。
【０１０６】
静止対象物認識処理部２１３は、ここまでの処理で静止対象物が検出されているか否かを判断する（Ｓ５０１６）。静止対象物が検出されている場合（ステップＳ５０１６でＹＥＳ）、静止対象物認識処理部２１３は、検出された静止対象物の情報を保持する（Ｓ５０１７）。そして、自車両が目的地に到達していなければ（ステップＳ５０１８でＮＯ）、Ｓ５００１からの処理が繰り返し実行される。
【０１０７】
ステップＳ５０１７において、静止対象物の情報が時々刻々蓄積される。静止対象物認識処理部２１３は、図２５を用いて説明した方法により、蓄積された静止対象物が道路の輪郭に沿って移動しているか否かを判断する。静止対象物認識処理部２１３は、道路の輪郭に沿って移動している静止対象物を、所望の静止対象物であると判断する。
【０１０８】
以上説明したように、本実施の形態によると、ナビゲーション装置から静止対象物情報を読み出し、変形させた地図データとカメラ画像とから静止対象物を認識することができる。また、地図上での静止対象物の位置と、歪み量とから、カメラ画像上での静止対象物の探索領域を決定することができる。
【０１０９】
また、カメラ画像から、道路領域を除外した領域を静止対象物の探索領域として決定することができる。
【０１１０】
さらに、複数の時刻において道路輪郭に沿って検出された静止対象物を検出することができる。このため、道路輪郭ベクトルから検索された基準点から動き補償を行うことができる。
【０１１１】
（実施の形態２）
本発明の実施の形態２に係るナビゲーション装置について、図面を参照しながら説明する。実施の形態１では、静止対象物の認識を行なった。本実施の形態では、静止対象物の認識結果に基づいて、地図データに静止対象物を追加したり、地図データから静止対象物を削除したりする処理を行なう。
【０１１２】
ナビゲーション装置の構成は、図１および図２を参照して説明したものと同様である。このため、その詳細な説明はここでは繰り返さない。以下、実施の形態１と異なる点を中心に説明する。本実施の形態では、実施の形態１と同様に、カメラ画像から道路が認識され、交差点としての注目点が検知され、歪み量に基づいて画像の変形が行なわれる。
【０１１３】
それに加え、以下の処理が実行される。つまり、座標変換処理部２０９は、静止対象物認識処理部２１３により検出された静止対象物の情報と、輝度信号処理部２０３および色差信号処理部２０４からの画像データとを入力として受ける。
【０１１４】
座標変換処理部２０９は、図２７に示すように、カメラ画像上で検出された静止対象物Ｍ２７０４を、図９に示すような地図データと同じ始点から見た画像データに座標変換を行なうと、図２８に示すような画像データが得られる。このとき、静止対象物Ｍ２７０４は、静止対象物Ｍ２８０１に変換される。このとき、図９に示すような地図データの所望座標上（静止対象物Ｍ２８０１の座標上）に静止対象物が存在しない場合には、座標変換処理部２０９は、図２９に示すように、地図データの静止対象物Ｍ２８０１の座標に、静止対象物Ｍ２９０１を新たに追加するために、静止対象物Ｍ２９０１の情報をナビゲーション制御部１０６に出力する。ナビゲーション制御部１０６は静止対象物の情報を更新データとして更新データ記憶部１０８に記憶する。
【０１１５】
また、ナビゲーション制御部１０６から静止対象物があるものとして静止対象物の情報が静止対象物認識処理部２１３に入力されたにも係らず、静止対象物が検出されなかった場合には、静止対象物認識処理部２１３は、ナビゲーション制御部１０６に静止対象物を削除する指示を出力する。ナビゲーション制御部１０６は静止対象物が削除されたことを示す情報を、更新データとして更新データ記憶部１０８に記憶する。
【０１１６】
次に、以上説明したナビゲーション装置を用いた画像認識方法について、図３０に示すフローチャートを用いて説明する。
【０１１７】
撮像部１０９は、自車両から外部の画像（カメラ画像）を撮像する（ステップＳ５１０１）。
【０１１８】
静止対象物認識処理部２１３は、カメラ画像より静止対象物を検出する（ステップＳ５１０２）。
【０１１９】
静止対象物が検出された場合（ステップＳ５１０３でＹＥＳ）、座標変換処理部２０９は、静止対象物の座標を地図データ上の座標に変換する（ステップＳ５１０４）。静止対象物認識処理部２１３は、地図データ上の変換後の座標上に、静止対象物があるか否かを判断し、かつ、静止対象物があるとの判断が指定回数以上なされたか否か（時間的に連続する指定枚数のカメラ画像において静止対象物があると判断されたか否か）を判断する（ステップＳ５１１２）。つまり、静止対象物の誤検出を防ぐために、ステップＳ５１１２において指定回数を設け、静止対象物があるとの判断が指定回数以上なされた場合には、検出された静止対象物が実際に存在するとみなす。
【０１２０】
静止対象物があるとの判断が指定回数以上なされた場合には（ステップＳ５１１２でＹＥＳ）、座標変換処理部２０９は、地図データ上における静止対象物の位置を示す情報を、ナビゲーション制御部１０６に出力する。ナビゲーション制御部１０６は、追加すべき静止対象物の位置を示す情報を更新データとして更新データ記憶部１０８に記憶する（ステップＳ５１０５）。これにより、地図データに静止対象物の追加が行なわれる。
【０１２１】
静止対象物が検出されなかった場合には（ステップＳ５１０３でＮＯ）、座標変換処理部２０９は、静止対象物の検出漏れを防ぐために、静止対象物の探索範囲を変更する（ステップＳ５１０６）。探索範囲があらかじめ指定した対象の範囲内であれば（ステップＳ５１０７でＹＥＳ）、座標変換処理部２０９は、その探索範囲内において、静止対象物の再検出を行なう（Ｓ５１０２）。
【０１２２】
静止対象物の探索範囲がこれ以上ない場合には（ステップＳ５１０７でＮＯ）、静止対象物認識処理部２１３は、静止対象物が存在しないとみなす（ステップＳ５１０８）。静止対象物認識処理部２１３は、静止対象物が存在しないとの判断が指定回数なされたか否か（時間的に連続する指定枚数のカメラ画像において静止対象物が存在しないとの判断がなされたか否か）を判断する（ステップＳ５１０９）。つまり、静止対象物の誤検出を防ぐために、ステップＳ５１０９において指定回数を設け、静止対象物がないとの判断が指定回数以上なされた場合には、検出された静止対象物が確かに存在しないと判断する。
【０１２３】
静止対象物が存在しないとの判断が指定回数なされた場合には（ステップＳ５１０９でＹＥＳ）、座標変換処理部２０９は、ナビゲーション制御部１０６に、静止対象物を削除を指示するデータを出力する。ナビゲーション制御部１０６は、静止対象物の削除を指示するデータを更新データとして更新データ記憶部１０８に記憶することにより、地図データから静止対象物の削除を行う（ステップＳ５１１０）。
【０１２４】
ナビゲーション制御部１０６は、地図データ記憶部１０７に記憶された地図データおよび更新データ記憶部１０８に記憶された更新データに基づいて、画像表示処理部１１２に表示する地図情報を更新する（Ｓ５１１１）。Ｓ５１０１〜Ｓ５１１２の処理が、目的地に到着するまで繰り返し実行される（ステップＳ５１１３）。
【０１２５】
以上説明したように、本実施の形態によると、カメラ画像より検出された静止対象物の位置を、地図データ上の位置に変換し、地図データ上の該当する位置に静止対象物の位置情報がなく、カメラ画像に静止対象物が検出された場合に、検出が指定回数を上回ると、地図データに静止対象物の情報を追加することができる。
【０１２６】
また、地図データ上に静止対象物の位置情報があるにもかかわらず、カメラ画像の対応する位置に静止対象物が検出されなかった場合に、検出されなかったことが指定回数を上回ると、地図データから静止対象物の情報を削除することができる。
【０１２７】
（実施の形態３）
本発明の実施の形態３に係るナビゲーション装置について、図面を参照しながら説明する。実施の形態２では、地図データに静止対象物を追加したり、地図データから静止対象物を削除したりするために、更新データを更新データ記憶部１０８に記憶した。本実施の形態では、更新データをサーバに送信することにより、地図データを管理するサーバによる静止対象物の追加や削除を可能とするものである。
【０１２８】
以下の説明では、実施の形態１および２と異なる点について中心に説明する。
【０１２９】
本実施の形態に係るナビゲーション装置の構成は、図１および図２を参照して説明したものと同様である。このため、その詳細な説明はここでは繰り返さない。
【０１３０】
実施の形態２では、静止対象物を地図データに追加する際、または静止対象物を地図データから削除する際に、座標変換処理部２０９または静止対象物認識処理部２１３が、更新データをナビゲーション制御部１０６に通知していた。本実施の形態では、ナビゲーション制御部１０６に通知された更新データを、通信制御部１０１が、基地局サーバ等に送信する。基地局サーバは、地図データを管理している。このため、基地局サーバが更新データに基づいて、地図データを更新することができる。
【０１３１】
次に、以上説明したナビゲーション装置を用いた画像認識方法について、図３１に示すフローチャートを用いて説明する。
【０１３２】
なお、ここでは、実施の形態２と同様に、新たに静止対象物が検出されると、ナビゲーション制御部１０６に対して静止対象物の追加要求（更新データ）が送信され、静止対象物が削除されたことが検出されると、ナビゲーション制御部１０６に対して静止対象物の削除要求（更新データ）が送信されているものとする。
【０１３３】
ナビゲーション制御部１０６は、静止対象物の追加要求を受け取った場合には（ステップＳ５２０１でＹＥＳ）、誤検出を防ぐために、同一の静止対象物について追加要求を指定回数以上受け取ったか否かを判断する（ステップＳ５２０２）。追加要求を指定回数以上受け取ったと判断した場合には（ステップＳ５２０２でＹＥＳ）、ナビゲーション制御部１０６は、通信制御部１０１を介して、基地局サーバに静止対象物の追加要求を送信する（Ｓ５２０３）。追加要求を受信した基地局サーバは、追加要求に基づいて、自身が管理する地図データに静止対象物を追加することにより、地図データを更新する。更新後の地図データは、基地局サーバからナビゲーション装置に送信される。ナビゲーション制御部１０６は、通信制御部１０１を介して更新後の地図データを受信し、地図データ記憶部１０７に記憶する。
【０１３４】
一方、ナビゲーション制御部１０６は、静止対象物の削除要求を受け取った場合には（ステップＳ５２０４でＹＥＳ）、誤検出を防ぐために、同一の静止対象物について削除要求を指定回数以上受け取ったか否かを判断する（ステップＳ５２０５）。削除要求を指定回数以上受け取ったと判断した場合には（ステップＳ５２０５でＹＥＳ）、ナビゲーション制御部１０６は、通信制御部１０１を介して、基地局サーバに静止対象物の削除要求を送信する（Ｓ５２０６）。削除要求を受信した基地局サーバは、削除要求に基づいて、自身が管理する地図データから静止対象物を削除することにより、地図データを更新する。
【０１３５】
以上説明したように、本実施の形態によると、カメラ画像より検出された静止対象物の位置を、地図データ上の位置に変換し、地図データ上の該当する位置に静止対象物の位置情報がなく、カメラ画像に静止対象物が検出された場合に、検出が指定回数を上回ると、静止対象物の追加要求を基地局サーバに送信することができる。このため、基地局サーバは、自身が管理する地図データに静止対象物の情報を追加することができる。更新後の地図データは、基地局サーバからナビゲーション装置に送信される。ナビゲーション制御部１０６は、通信制御部１０１を介して更新後の地図データを受信し、地図データ記憶部１０７に記憶する。
【０１３６】
また、地図データ上に静止対象物の位置情報があるにもかかわらず、カメラ画像の対応する位置に静止対象物が検出されなかった場合に、検出されなかったことが指定回数を上回ると、地図データから静止対象物の情報を削除するための削除要求を基地局サーバに送信することができる。このため、基地局サーバは、自身が管理する地図データから静止対象物の情報を削除することができる。
【０１３７】
以上、本発明の実施の形態に係るナビゲーション装置について説明したが、本発明は、これらの実施の形態に限定されるものではない。
【０１３８】
例えば、上述の実施の形態では、静止対象物を特定施設のマークを用いて例示したが、無論、これ以外のマーク、交通標識、道路標識、さらには信号器等の静止している対象物であってもよい。
【０１３９】
また、十字路のような交差点を例示として用いたが、無論、これ以外のＴ字路や三叉路、さらには複数分岐した交差点であってもよい。また、道路種別は、優先道路と非優先道路との交差点に限られず、信号機が設置された交差点であってもよいし、複数車線を有する道路の交差点であってもよい。
【０１４０】
さらに、上述の実施の形態では、ナビゲーション装置が二次元の地図データを用いるものとして説明したが、鳥瞰図のような三次元の地図データを用いても、本発明は実現が可能である。
【０１４１】
さらに、上述の実施の形態では、通信制御部によりデータを基地局サーバと送受信しているが、専用の無線通信機を用いることなく、一般的な携帯電話や携帯型端末機器のようなインターネットに接続可能な機器を介して、データを送受信することも可能である。
【０１４２】
また、図１を用いて説明したナビゲーション装置のうち、撮像部１０９と画像処理部１１０とナビゲーション制御部１０６とは、１チップＬＳＩ（Ｌａｒｇｅ Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｉｏｎ：大規模集積回路）で構成されていてもよい。さらに他のブロックにおける他の組み合わせについても同様なことが言える。
【０１４３】
また、上記の各装置は、具体的には、マイクロプロセッサ、ＲＯＭ、ＲＡＭ、ハードディスクドライブ、ディスプレイユニット、キーボード、マウスなどから構成されるコンピュータシステムとして構成されても良い。ＲＡＭまたはハードディスクドライブには、コンピュータプログラムが記憶されている。マイクロプロセッサが、コンピュータプログラムに従って動作することにより、各装置は、その機能を達成する。ここでコンピュータプログラムは、所定の機能を達成するために、コンピュータに対する指令を示す命令コードが複数個組み合わされて構成されたものである。
【０１４４】
さらに、上記の各装置を構成する構成要素の一部または全部は、１個のシステムＬＳＩから構成されているとしても良い。システムＬＳＩは、複数の構成部を１個のチップ上に集積して製造された超多機能ＬＳＩであり、具体的には、マイクロプロセッサ、ＲＯＭ、ＲＡＭなどを含んで構成されるコンピュータシステムである。ＲＡＭには、コンピュータプログラムが記憶されている。マイクロプロセッサが、コンピュータプログラムに従って動作することにより、システムＬＳＩは、その機能を達成する。
【０１４５】
さらにまた、上記の各装置を構成する構成要素の一部または全部は、各装置に脱着可能なＩＣカードまたは単体のモジュールから構成されているとしても良い。ＩＣカードまたはモジュールは、マイクロプロセッサ、ＲＯＭ、ＲＡＭなどから構成されるコンピュータシステムである。ＩＣカードまたはモジュールは、上記の超多機能ＬＳＩを含むとしても良い。マイクロプロセッサが、コンピュータプログラムに従って動作することにより、ＩＣカードまたはモジュールは、その機能を達成する。このＩＣカードまたはこのモジュールは、耐タンパ性を有するとしても良い。
【０１４６】
また、本発明は、上記に示す方法であるとしても良い。また、これらの方法をコンピュータにより実現するコンピュータプログラムであるとしても良いし、前記コンピュータプログラムからなるデジタル信号であるとしても良い。
【０１４７】
さらに、本発明は、上記コンピュータプログラムまたは上記デジタル信号をコンピュータ読み取り可能な記録媒体、例えば、フレキシブルディスク、ハードディスク、ＣＤ−ＲＯＭ、ＭＯ、ＤＶＤ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、ＢＤ（Ｂｌｕ−ｒａｙ Ｄｉｓｃ（登録商標））、半導体メモリなどに記録したものとしても良い。また、これらの記録媒体に記録されている上記デジタル信号であるとしても良い。
【０１４８】
また、本発明は、上記コンピュータプログラムまたは上記デジタル信号を、電気通信回線、無線または有線通信回線、インターネットを代表とするネットワーク、データ放送等を経由して伝送するものとしても良い。
【０１４９】
また、本発明は、マイクロプロセッサとメモリを備えたコンピュータシステムであって、上記メモリは、上記コンピュータプログラムを記憶しており、上記マイクロプロセッサは、上記コンピュータプログラムに従って動作するとしても良い。
【０１５０】
また、上記プログラムまたは上記デジタル信号を上記記録媒体に記録して移送することにより、または上記プログラムまたは上記デジタル信号を上記ネットワーク等を経由して移送することにより、独立した他のコンピュータシステムにより実施するとしても良い。
【０１５１】
さらに、上記実施の形態及び上記変形例をそれぞれ組み合わせるとしても良い。
【０１５２】
今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味及び範囲内でのすべての変更が含まれることが意図される。
【産業上の利用可能性】
【０１５３】
本発明にかかる画像認識方法および画像認識装置は、ナビゲーション機能を備えたコンピュータ装置等において利用することができる。また、ナビゲーション機能に加えて、オーディオ機能やビデオ機能等を含むものであってもよい。また、ナビゲーション機能を備えた車両に限らず移動体全般において利用することができる。
【図面の簡単な説明】
【０１５４】
【図１】ナビゲーション装置の構成を示すブロック図である。
【図２】画像処理部の内部構成を示すブロック図である。
【図３】輪郭画素を判断する際に用いられる画素の構成を示す図である。
【図４】カメラで撮影された画像の一例を示す図である。
【図５】輪郭成分を抽出したカメラ画像の一例を示す図である。
【図６】特定領域を示したカメラ画像の一例を示す図である。
【図７】道路の色差信号のみからなる画像の一例を示す図である。
【図８】認識された道路画像の一例を示す図である。
【図９】地図データの一例を示す図である。
【図１０】カメラ画像での道路輪郭の屈折している箇所の一例を示す図である。
【図１１】道路輪郭ベクトルの一例を示す図である。
【図１２】地図データでの道路輪郭の屈折している箇所の一例を示す図である。
【図１３】カメラ画像での道路輪郭の屈折している箇所の一例を示す図である。
【図１４】カメラ画像での道路輪郭ベクトルの一例を示す図である。
【図１５】カメラ画像での道路輪郭ベクトルの一例を示す図である。
【図１６】座標変換処理を説明するための図である。
【図１７】画像変形後の地図データの一例を示す図である。
【図１８】道路輪郭ベクトルの一例を示す図である。
【図１９】画像変形後のカメラ画像の一例を示す図である。
【図２０】静止対象物と地図データの一例を示す図である。
【図２１】静止対象物座標と地図データの一例を示す図である。
【図２２】画像変形後の、静止対象物座標を含む地図データの一例を示す図である。
【図２３】カメラ画像における静止対象物の探索範囲の一例を示す図である。
【図２４】カメラ画像における静止対象物の探索範囲の一例を示す図である。
【図２５】静止対象物の動きベクトルの一例を示す図である。
【図２６】本発明の実施の形態１に係る画像変形方法のフローチャートである。
【図２７】静止対象物とカメラ画像の一例を示す図である。
【図２８】画像変形後の、静止対象物を含むカメラ画像の一例を示す図である。
【図２９】静止対象物が付与された地図データの一例を示す図である。
【図３０】本発明の実施の形態２に係る画像表示方法のフローチャートである。
【図３１】本発明の実施の形態３に係る画像表示方法のフローチャートである。
【符号の説明】
【０１５５】
１０１ 通信制御部
１０２ 自立航法制御部
１０３ ＧＰＳ制御部
１０４ 道路交通情報受信部
１０５ 音声出力部
１０６ ナビゲーション制御部
１０７ 地図データ記憶部
１０８ 更新データ記憶部
１０９ 撮像部
１１０ 画像処理部
１１１ 画像合成処理部
１１２ 画像表示処理部
２０２ 輝度信号色差信号分離処理部
２０３ 輝度信号処理部
２０４ 色差信号処理部
２０５ 道路認識処理部
２０６ 注目座標抽出部
２０８、２１０ セレクタ
２０９ 座標変換処理部
２１３ 静止対象物認識処理部
【特許請求の範囲】
【請求項１】
車両に取り付けられたカメラで撮影された画像に含まれる静止対象物を認識する画像認識方法であって、
前記カメラが前記車両の外部を撮影することにより生成される画像データより、当該画像データ上での道路の位置を認識する道路認識ステップと、
前記道路認識ステップにおいて認識された前記道路の位置と、前記車両の位置を特定するナビゲーション装置に蓄積された前記車両を所定の視点から見た地図データ上での前記道路の位置とを比較することにより、前記画像データと前記地図データとの間の歪み量を算出する歪み量算出ステップと、
前記歪み量に基づいて、前記画像データおよび前記地図データのいずれか一方を、他方のデータの視点から見たデータに変換する変換ステップと、
前記変換ステップにおいていずれか一方が変換された前記画像データおよび前記地図データに基づいて、両データの互いに対応する位置に静止対象物が存在するか否かを判断することにより、前記画像データ中の前記静止対象物を認識する静止対象物認識ステップと
を含む画像認識方法。
【請求項２】
前記静止対象物認識ステップは、
前記変換ステップにおいていずれか一方が変換された前記画像データおよび前記地図データに基づいて、前記地図データ上での前記静止対象物の位置に対応する前記画像データ上での位置を含む所定領域を、前記画像データ上での前記静止対象物の探索領域と決定する探索領域決定ステップと、
前記画像データの前記探索領域内に前記静止対象物が存在するか否かを判断することにより、前記画像データ中の前記静止対象物を認識する認識ステップとを含む
請求項１記載の画像認識方法。
【請求項３】
前記静止対象物認識ステップは、
前記変換ステップにおいていずれか一方が変換された前記画像データおよび前記地図データに基づいて、前記道路認識ステップで認識された道路の位置を除外した前記画像データの領域を、前記画像データ上での前記静止対象物の探索領域と決定する探索領域決定ステップと、
前記画像データの前記探索領域内に前記静止対象物が存在するか否かを判断することにより、前記画像データ中の前記静止対象物を認識する認識ステップとを含む
請求項１記載の画像認識方法。
【請求項４】
前記静止対象物認識ステップは、
前記変換ステップにおける変換後の前記画像データから道路の輪郭を抽出する道路輪郭抽出ステップと、
時間的に連続する複数の前記画像データであって、かつ前記変換ステップにおける変換後の複数の前記画像データより前記静止対象物を抽出し、前記静止対象物が前記道路の輪郭に沿って移動しているか否かを判断することにより、前記画像データ中の前記静止対象物を認識する認識ステップとを含む
請求項１記載の画像認識方法。
【請求項５】
前記静止対象物認識ステップは、さらに、前記画像データおよび前記地図データのいずれか一方のみにおいて、前記静止対象物が存在すると判断された場合には、前記地図データの前記静止対象物に関するデータを更新する
請求項１記載の画像認識方法。
【請求項６】
前記静止対象物認識ステップでは、前記画像データより前記静止対象物が検出され、かつ検出された前記静止対象物に対応する静止対象物が前記地図データより検出されないとの条件が満たされるか否かを判断し、当該条件が指定回数以上満たされたと判断した場合には、前記静止対象物に関する情報を前記地図データに追加する
請求項５記載の画像認識方法。
【請求項７】
前記静止対象物認識ステップでは、前記地図データより前記静止対象物が検出され、かつ検出された前記静止対象物に対応する静止対象物が前記画像データより検出されないとの条件が満たされるか否かを判断し、当該条件が指定回数以上満たされたと判断した場合には、前記静止対象物に関する情報を前記地図データから削除する
請求項５記載の画像認識方法。
【請求項８】
前記静止対象物認識ステップは、さらに、前記画像データおよび前記地図データのいずれか一方のみにおいて、前記静止対象物が存在すると判断された場合には、前記地図データの前記静止対象物に関するデータの更新要求を、前記地図データを管理するサーバに送信する
請求項１記載の画像認識方法。
【請求項９】
前記静止対象物認識ステップでは、前記画像データより前記静止対象物が検出され、かつ検出された前記静止対象物に対応する静止対象物が前記地図データより検出されないとの条件が満たされるか否かを判断し、当該条件が指定回数以上満たされたと判断した場合には、前記静止対象物に関する情報を前記地図データに追加する要求を、前記サーバに送信する
請求項８記載の画像認識方法。
【請求項１０】
前記静止対象物認識ステップでは、前記地図データより前記静止対象物が検出され、かつ検出された前記静止対象物に対応する静止対象物が前記画像データより検出されないとの条件が満たされるか否かを判断し、当該条件が指定回数以上満たされたと判断した場合には、前記静止対象物に関する情報を前記地図データから削除する要求を、前記サーバに送信する
請求項８記載の画像認識方法。
【請求項１１】
さらに、前記サーバより、更新後の地図データを受信する受信ステップを含む
請求項８記載の画像認識方法。
【請求項１２】
車両に取り付けられたカメラで撮影された画像に含まれる静止対象物を認識する画像認識装置であって、
前記カメラが前記車両の外部を撮影することにより生成される画像データより、当該画像データ上での道路の位置を認識する道路認識部と、
前記道路認識部において認識された前記道路の位置と、前記車両の位置を特定するナビゲーション装置に蓄積された前記車両を所定の視点から見た地図データ上での前記道路の位置とを比較することにより、前記画像データと前記地図データとの間の歪み量を算出する歪み量算出部と、
前記歪み量に基づいて、前記画像データおよび前記地図データのいずれか一方を、他方のデータの視点から見たデータに変換する変換部と、
前記変換部においていずれか一方が変換された前記画像データおよび前記地図データに基づいて、両データの互いに対応する位置に静止対象物が存在するか否かを判断することにより、前記画像データ中の前記静止対象物を認識する静止対象物認識部と
を含む画像認識装置。
【請求項１３】
車両に取り付けられたカメラで撮影された画像に含まれる静止対象物を認識するプログラムであって、
前記カメラが前記車両の外部を撮影することにより生成される画像データより、当該画像データ上での道路の位置を認識する道路認識ステップと、
前記道路認識ステップにおいて認識された前記道路の位置と、前記車両の位置を特定するナビゲーション装置に蓄積された前記車両を所定の視点から見た地図データ上での前記道路の位置とを比較することにより、前記画像データと前記地図データとの間の歪み量を算出する歪み量算出ステップと、
前記歪み量に基づいて、前記画像データおよび前記地図データのいずれか一方を、他方のデータの視点から見たデータに変換する変換ステップと、
前記変換ステップにおいていずれか一方が変換された前記画像データおよび前記地図データに基づいて、両データの互いに対応する位置に静止対象物が存在するか否かを判断することにより、前記画像データ中の前記静止対象物を認識する静止対象物認識ステップと
をコンピュータに実行させるためのプログラム。
【請求項１】
車両に取り付けられたカメラで撮影された画像に含まれる静止対象物を認識する画像認識方法であって、
前記カメラが前記車両の外部を撮影することにより生成される画像データより、当該画像データ上での道路の位置を認識する道路認識ステップと、
前記道路認識ステップにおいて認識された前記道路の位置と、前記車両の位置を特定するナビゲーション装置に蓄積された前記車両を所定の視点から見た地図データ上での前記道路の位置とを比較することにより、前記画像データと前記地図データとの間の歪み量を算出する歪み量算出ステップと、
前記歪み量に基づいて、前記画像データおよび前記地図データのいずれか一方を、他方のデータの視点から見たデータに変換する変換ステップと、
前記変換ステップにおいていずれか一方が変換された前記画像データおよび前記地図データに基づいて、両データの互いに対応する位置に静止対象物が存在するか否かを判断することにより、前記画像データ中の前記静止対象物を認識する静止対象物認識ステップと
を含む画像認識方法。
【請求項２】
前記静止対象物認識ステップは、
前記変換ステップにおいていずれか一方が変換された前記画像データおよび前記地図データに基づいて、前記地図データ上での前記静止対象物の位置に対応する前記画像データ上での位置を含む所定領域を、前記画像データ上での前記静止対象物の探索領域と決定する探索領域決定ステップと、
前記画像データの前記探索領域内に前記静止対象物が存在するか否かを判断することにより、前記画像データ中の前記静止対象物を認識する認識ステップとを含む
請求項１記載の画像認識方法。
【請求項３】
前記静止対象物認識ステップは、
前記変換ステップにおいていずれか一方が変換された前記画像データおよび前記地図データに基づいて、前記道路認識ステップで認識された道路の位置を除外した前記画像データの領域を、前記画像データ上での前記静止対象物の探索領域と決定する探索領域決定ステップと、
前記画像データの前記探索領域内に前記静止対象物が存在するか否かを判断することにより、前記画像データ中の前記静止対象物を認識する認識ステップとを含む
請求項１記載の画像認識方法。
【請求項４】
前記静止対象物認識ステップは、
前記変換ステップにおける変換後の前記画像データから道路の輪郭を抽出する道路輪郭抽出ステップと、
時間的に連続する複数の前記画像データであって、かつ前記変換ステップにおける変換後の複数の前記画像データより前記静止対象物を抽出し、前記静止対象物が前記道路の輪郭に沿って移動しているか否かを判断することにより、前記画像データ中の前記静止対象物を認識する認識ステップとを含む
請求項１記載の画像認識方法。
【請求項５】
前記静止対象物認識ステップは、さらに、前記画像データおよび前記地図データのいずれか一方のみにおいて、前記静止対象物が存在すると判断された場合には、前記地図データの前記静止対象物に関するデータを更新する
請求項１記載の画像認識方法。
【請求項６】
前記静止対象物認識ステップでは、前記画像データより前記静止対象物が検出され、かつ検出された前記静止対象物に対応する静止対象物が前記地図データより検出されないとの条件が満たされるか否かを判断し、当該条件が指定回数以上満たされたと判断した場合には、前記静止対象物に関する情報を前記地図データに追加する
請求項５記載の画像認識方法。
【請求項７】
前記静止対象物認識ステップでは、前記地図データより前記静止対象物が検出され、かつ検出された前記静止対象物に対応する静止対象物が前記画像データより検出されないとの条件が満たされるか否かを判断し、当該条件が指定回数以上満たされたと判断した場合には、前記静止対象物に関する情報を前記地図データから削除する
請求項５記載の画像認識方法。
【請求項８】
前記静止対象物認識ステップは、さらに、前記画像データおよび前記地図データのいずれか一方のみにおいて、前記静止対象物が存在すると判断された場合には、前記地図データの前記静止対象物に関するデータの更新要求を、前記地図データを管理するサーバに送信する
請求項１記載の画像認識方法。
【請求項９】
前記静止対象物認識ステップでは、前記画像データより前記静止対象物が検出され、かつ検出された前記静止対象物に対応する静止対象物が前記地図データより検出されないとの条件が満たされるか否かを判断し、当該条件が指定回数以上満たされたと判断した場合には、前記静止対象物に関する情報を前記地図データに追加する要求を、前記サーバに送信する
請求項８記載の画像認識方法。
【請求項１０】
前記静止対象物認識ステップでは、前記地図データより前記静止対象物が検出され、かつ検出された前記静止対象物に対応する静止対象物が前記画像データより検出されないとの条件が満たされるか否かを判断し、当該条件が指定回数以上満たされたと判断した場合には、前記静止対象物に関する情報を前記地図データから削除する要求を、前記サーバに送信する
請求項８記載の画像認識方法。
【請求項１１】
さらに、前記サーバより、更新後の地図データを受信する受信ステップを含む
請求項８記載の画像認識方法。
【請求項１２】
車両に取り付けられたカメラで撮影された画像に含まれる静止対象物を認識する画像認識装置であって、
前記カメラが前記車両の外部を撮影することにより生成される画像データより、当該画像データ上での道路の位置を認識する道路認識部と、
前記道路認識部において認識された前記道路の位置と、前記車両の位置を特定するナビゲーション装置に蓄積された前記車両を所定の視点から見た地図データ上での前記道路の位置とを比較することにより、前記画像データと前記地図データとの間の歪み量を算出する歪み量算出部と、
前記歪み量に基づいて、前記画像データおよび前記地図データのいずれか一方を、他方のデータの視点から見たデータに変換する変換部と、
前記変換部においていずれか一方が変換された前記画像データおよび前記地図データに基づいて、両データの互いに対応する位置に静止対象物が存在するか否かを判断することにより、前記画像データ中の前記静止対象物を認識する静止対象物認識部と
を含む画像認識装置。
【請求項１３】
車両に取り付けられたカメラで撮影された画像に含まれる静止対象物を認識するプログラムであって、
前記カメラが前記車両の外部を撮影することにより生成される画像データより、当該画像データ上での道路の位置を認識する道路認識ステップと、
前記道路認識ステップにおいて認識された前記道路の位置と、前記車両の位置を特定するナビゲーション装置に蓄積された前記車両を所定の視点から見た地図データ上での前記道路の位置とを比較することにより、前記画像データと前記地図データとの間の歪み量を算出する歪み量算出ステップと、
前記歪み量に基づいて、前記画像データおよび前記地図データのいずれか一方を、他方のデータの視点から見たデータに変換する変換ステップと、
前記変換ステップにおいていずれか一方が変換された前記画像データおよび前記地図データに基づいて、両データの互いに対応する位置に静止対象物が存在するか否かを判断することにより、前記画像データ中の前記静止対象物を認識する静止対象物認識ステップと
をコンピュータに実行させるためのプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【図２８】
【図２９】
【図３０】
【図３１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【図２８】
【図２９】
【図３０】
【図３１】
【公開番号】特開２０１０−１７６６４５（Ｐ２０１０−１７６６４５Ａ）
【公開日】平成２２年８月１２日（２０１０．８．１２）
【国際特許分類】
【出願番号】特願２００９−２２０１８（Ｐ２００９−２２０１８）
【出願日】平成２１年２月２日（２００９．２．２）
【出願人】（０００００５８２１）パナソニック株式会社 (73,050)
【Ｆターム（参考）】
【公開日】平成２２年８月１２日（２０１０．８．１２）
【国際特許分類】
【出願日】平成２１年２月２日（２００９．２．２）
【出願人】（０００００５８２１）パナソニック株式会社 (73,050)
【Ｆターム（参考）】
[ Back to top ]