車載用ナビゲーション装置、路面標示識別プログラム及び路面標示識別方法
【課題】道路の走行環境が変わる中で、カメラで撮像された道路の路面の標示を的確に検出し、車両の進行方向の認識精度を向上する。
【解決手段】車載用ナビゲーション装置１００は、車両に搭載されたカメラ６より撮像された車両の後方の映像の中で道路標示の認識に不要なライト照射部分の画像を検出し、検出された画像領域を避けた所定形状の画像領域を切り出し順次記憶部７ｂに記憶する。そして、新たに得られた切出画像と既に記憶部７ｂに記憶されている切出画像とを合成し、その合成画像から道路標示の画像を検出及び認識する。
【解決手段】車載用ナビゲーション装置１００は、車両に搭載されたカメラ６より撮像された車両の後方の映像の中で道路標示の認識に不要なライト照射部分の画像を検出し、検出された画像領域を避けた所定形状の画像領域を切り出し順次記憶部７ｂに記憶する。そして、新たに得られた切出画像と既に記憶部７ｂに記憶されている切出画像とを合成し、その合成画像から道路標示の画像を検出及び認識する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、道路の路面にペイントされた進行方向標示（直進標示、右折標示、左折標示、これらの組み合わせた標示等）から、現在の車両の進行方向を識別して車両を目的地まで案内する車載用ナビゲーション装置に関する。
【背景技術】
【０００２】
ＧＰＳ（全地球測位システム）などの位置検知装置と地図情報とを用いて、自車両の現在の道路上の位置を特定するとともに、ユーザによって指定された目的地までの道路経路の表示などの走行案内を行う車載用ナビゲーション装置が知られている。
【０００３】
従来、車載用ナビゲーション装置において、路面上の方向指示標示の画像をカメラにより撮影し、撮影した画像から方向指示標示を認識することで、車両の走行レーンを特定する技術が開示されている（例えば特許文献１参照）。
【０００４】
これにより、路面上にペイントされた進行方向標示から、車両がルート通りの道路へ向かう走行レーンを走行しているか否かを判定し、利用者に適切な案内を行うことができる。
【特許文献１】特開２００５−２１４８８３公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、カメラでは、路面の進行方向標示だけでなく、周囲の情景(風景など)も撮影される。このような情景画像は、雨などの天候による路面状況の変動や昼夜の明るさの変動による画質の変化、特に夜間の後続車両のライトなどによる映像の白色化、また隣接走行する他の車両の影の影響やガードレールやポール等の路側部の不要な物体による隠蔽によって道路標示の認識に適さない画像となり、その結果、車両の進行方向の認識精度が低下することがある。
【０００６】
本発明はこのような課題を解決するためになされたもので、道路の走行環境が変わる中で、カメラにより道路を含んで映された画像から路面標示を的確に認識し、車両の進行方向の認識精度を向上することができる車載用ナビゲーション装置、路面標示識別プログラム及び路面標示識別方法を提供することを目的としている。
【課題を解決するための手段】
【０００７】
上記した目的を達成するために本発明の車載用ナビゲーション装置は、撮影方向を車両の前方または後方に向けて車両に取り付けられ、前記車両の前方または後方の路面を少なくとも含む画像を撮像するカメラと、前記カメラにより撮影された画像が記憶された記憶部と、前記カメラにより撮影された画像に含まれる路面標示の認識に不要な領域を検出する第1画像処理部と、前記第1画像処理部により検出された前記画像の前記不要領域を前記記憶部に既に記憶されている旧画像またはその一部の画像領域により補完して合成画像を生成する第２画像処理部と、前記第２画像処理部により合成された合成画像と予め設定されている標示情報とを用いて前記路面にペイントされた路面標示の検出および認識を行う標示認識部とを具備することを特徴とする。
【０００８】
本発明の車載用ナビゲーション装置は、撮影方向を車両後方に向けて車両の後部に取り付けられ、前記車両後方の路面を少なくとも含む映像を撮像するカメラと、画像を記憶可能な記憶部と、前記カメラにより撮影された映像を画面単位に所定時間間隔で前記記憶部に順次取り込む画面取込部と、前記記憶部に取り込まれた前記画面の画像に含まれる路面標示の認識に不要な領域を検出する不要領域検出部と、前記不要領域検出部により検出された不要領域を避けた所定形状の画像領域を切り出し、前記記憶部に記憶する画像切出部と、前記画像切出部により前記記憶部に記憶された新たな画像領域と前記記憶部に既に記憶されている一つ前の旧画像領域とを比較し移動量を算出する移動量算出部と、前記移動量算出部により算出された前記路面標示の移動量に従って新旧の画像領域を結合した合成画像を生成する画像合成部と、前記画像合成部により合成された合成画像と予め設定されている標示情報とを用いて前記路面標示の検出および認識を行う路面標示認識部とを具備することを特徴とする。
【０００９】
本発明では、例えば他車両やその車両による影によって認識対象である路面標示が隠蔽された場合に、新たに切出した画像に、過去に記憶しておいた画像の中からマークが隠蔽される前の画像を合成し、その合成画像を用いてマークを検出及び認識するので、進行方向標示などの路面標示を的確に認識し、車両の進行方向の認識精度を向上することができる。
【００１０】
また、カメラで撮影された情景画像から認識に適した状態の良い画像領域を切り出し、記憶しておいた画像と合成することで認識精度を向上することができる。また、単に切り出すのではなく、路面標示の認識の妨げとなるライトの照射領域などの不要な画像領域を除外し、またはその部分を除去した画像領域を過去の状態の良い画像で補完することで、路面標示の種別を的確に認識し、車両の進行方向の認識精度を向上することができる。
【発明の効果】
【００１１】
以上説明したように本発明によれば、道路の走行環境が変わる中で、カメラにより道路を含んで映された画像から路面標示を的確に認識し、車両の進行方向の認識精度を向上することができる。
【発明を実施するための最良の形態】
【００１２】
以下、本発明の実施の形態につき図面を参照して説明する。図１は本発明の一実施形態にかかる車載用ナビゲーション装置のハードウェア構成を示すブロック図、図２は図１の車載用ナビゲーション装置の機能構成図である。
【００１３】
同図に示すように、この車載用ナビゲーション装置１００は、ＧＰＳ受信機１と、ＨＤ（Hard Disk ）、ＣＤ−ＲＯＭ（Compact Disc Read Only Memory ）、ＤＶＤ−ＲＯＭ（Digital Versatile Disc Read Only Memory ）などのメディアから地図情報やそれに関連する情報を読み出すディスクドライブ２と、ユーザから出発地、目的地などの入力や各種操作のための入力を行う操作入力部３と、自車両の位置（自車位置）とその周辺の地図情報や自車両のナビゲーションのための情報表示を行うＣＲＴ（陰極線管）やＬＣＤ（液晶表示装置）などの表示装置４と、ナビゲーションに関する音声情報を出力するスピーカ５と、自車両の前方または後方の路面を撮影するカメラ６と、制御装置７とを備えて構成される。
【００１４】
制御装置７は、ＣＰＵ（Central Processing Unit）７ａと、ＲＡＭ（Random Access Memory）などの記憶部７ｂと、ＣＰＵ７ａによって実行されるプログラムや各種の設定データなどが書き換え不能（固定的）に格納されたＲＯＭ（Random Only Memory）７ｃと、電気的に消去および書き換えが可能なＥＥＰＲＯＭ等のフラッシュメモリ７ｄとを備えて構成される。
【００１５】
記憶部７ｂは、ＣＰＵ７ａの作業領域や映像を取り込んだときの画面データ（画像データ）やその画像から切り出した部分領域（画像領域）のデータなどの記憶領域として機能する。
【００１６】
ＲＯＭ７ｃには、標示情報として、道路標示の識別データが記憶されている。道路標示の識別データとは、標示画像とその名称を特定する情報とが対応付けられた情報である。標示画像の名称を特定する情報は、名称の場合もありＩＤや番号の場合もある。標示情報は、道路標示認識の際の比較データとして利用される。
【００１７】
ＧＰＳ受信機１は、ＧＰＳ（Global Positioning System：全地球測位システム）により自車両の現在位置を測位して、自車両の現在位置（自車位置）を検出し、その自車位置検出結果を制御装置７へ入力するものである。
【００１８】
カメラ６は、撮影方向を車両後方に向けて車両の後部に取り付けられており、バックビューモニターなどとも言う。つまりカメラ６は、自車両の車体の後部（リア部分など）に装着されている。カメラ６は、自車両の後方の路面部分を撮影して、路面にペイントされた直進、左折、右折などの各種の道路標示やライン、撮影範囲内の情景などの映像を制御装置７に入力する映像入力手段である。すなわち、カメラ６は、車両後方の路面を少なくとも含む映像を撮像する。
【００１９】
カメラ６は、具体的には、例えばＣＣＤ（Charge-Coupled Devices）などの撮像素子と、この撮像素子によって撮像された信号をアナログ信号からデジタル信号へ変換して制御装置７に出力する信号処理回路とを有している。
【００２０】
図２に示すように、この車載用ナビゲーション装置１００は、第１画像処理部１０、第２画像処理部２０、路面標示認識部３０、ナビゲーション部４０などを備えている。第１２画像処理部２０は、画面取込部１１、不要領域検出部１２、画像切出部１３などを有している。第２画像処理部２０は、移動量算出部２１、画像合成部２２などを有している。
【００２１】
画面取込部１１は、カメラ６により撮影された映像を１画面毎の画像データとして画面単位に所定時間間隔で記憶部７ｂに順次取り込む。
【００２２】
不要領域検出部１２は、記憶部７ｂに取り込まれた画面の画像データに含まれる、路面にペイントされた道路標示（直進の矢印マークなど）の認識に不要な領域を検出する。
一例としては、カメラ６により撮影された画像の領域内の下地の輝度分布が一定の領域（必要領域）以外の領域（ライトが当たった路面部分）を不要領域として切り出す。
【００２３】
画像切出部１３は、不要領域検出部１２により検出された不要領域を避けた所定形状の画像領域を切り出し記憶部７ｂに記憶する。
【００２４】
また、画像切出部１３は、移動量算出部２１により算出された移動量に応じて、画像から切り出す画像領域の形状または配置を変更する切出画像変更部として機能する。
【００２５】
画像切出部１３は、合成画像に含まれる路面標識の検出状態、または認識状態に応じて画像から切り出す画像領域の位置を変更する。また画像切出部１３は、時刻によって、画像から切り出す画像領域の位置または形状を変更する。「時刻によって」とは、昼の明るい時間帯（午前６時〜午後４時など）、夕方の薄暗い時間帯（午後４時〜午後７時など）、夜の暗い時間帯（午後７時〜午前６時など）などで画像の切出領域を変更することをいう。
【００２６】
すなわち、第１画像処理部１０は、カメラ６により撮影された画像の領域内の下地部分である、輝度分布が一定の、標示認識に必要な領域(必要領域)を検出し、その必要領域以外の領域を不要領域（ライトが当たった路面部分）として切り出し、その不要領域部分を記憶部７ｂに記憶しておいた他の画像やその一部の領域によって補完する。
また、他の方法として、第１画像処理部１０は、カメラ６により撮影された映像を画面単位に所定時間間隔（例えば０．１秒間隔など）で画像として順次取り込み、取り込んだその画像から、変化が所定値以下の画像領域（動きのないライトや影の部分）を除くような所定形状の画像領域（路面の下地部分）を切り出し、記憶部７ｂに記憶する。
【００２７】
移動量算出部２１は、記憶部７ｂに記憶された新たな画像領域２２４ｂ（図１０参照）と記憶部７ｂに既に記憶されている一つ前の旧画像領域２２４ａ（図９参照）とを比較し道路標示２２２ａ，２２２ｂの移動量を算出する。この実施例では、一つ前の旧画像領域としたが、サンプリングする期間が短い場合は２つ前または３つの前などの画像でもよい。
【００２８】
画像合成部２２は、移動量算出部２１により算出された道路標示２２２ａ，２２２ｂの移動量に従って新旧の画像領域２２４ａ，２２４ｂを結合した合成画像２２５（図１１参照）を生成する。
【００２９】
すなわち、第２画像処理部２０は、記憶部７ｂに取り込まれた画像の、画像切出部１３により切り出された不要領域部分を記憶部７ｂに既に記憶されている旧画像またはその一部の画像領域により補完して合成画像を生成し記憶部７ｂに記憶する。
また、他の方法として、第２画像処理部２０は、記憶部７ｂに記憶された新たな画像領域２２４ｂと記憶部７ｂに既に記憶されている一つ前の旧画像領域２２４ａとを用いて算出した移動量に従って新旧の画像領域２２４ａ，２２４ｂを結合した合成画像２２５を生成し記憶部７ｂに記憶する。
【００３０】
路面標示認識部３０は、第２画像処理部２０により生成され記憶部７ｂに記憶された合成画像２２５と予めディスクドライブ２などに設定（記憶）されている標示情報とを用いて道路標示の検出と道路標示の認識を行う。
【００３１】
ナビゲーション部４０は、路面標示認識部３０により認識された道路標示の認識結果に従って、認識時点の車両の進行方向を判定（特定）し、表示装置４とスピーカ５にてナビゲーション、つまり案内を行う。
【００３２】
また、ナビゲーション部４０は、ＧＰＳ受信機１（図１参照）にて受信した自車位置の座標情報とディスクドライブ２の記録メディア（ハードディスク（ＨＤ）、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ等）に収録されている地図情報とを基に、自車位置が特定地点に接近したことを示す接近情報を出力する。
【００３３】
ナビゲーション部４０は、自車位置の座標と地図情報の中の特定地点の座標との距離を計算し、この距離が予め決められた閾値以下ならば、その特定地点への「接近」を判断して出力する。ここで、接近しているか否かを示す変数の初期状態を”０”として特定地点に接近していないことを示すものとする。
【００３４】
すなわち、ナビゲーション部４０にて計算された上記の距離が閾値より大きい場合は変数に”０”が格納され、上記の距離が閾値以下であった場合は変数に”１”が格納される。この変数はＣＰＵ７ａに与えられ、ＣＰＵ７ａは、変数に”１”が格納されていれば、カメラ６を起動させるように制御を行う。
【００３５】
なお、特定地点の座標の情報は予めディスクドライブ２（図１参照）などに構築されたデータベースに格納されている。ナビゲーション部４０は、自車位置の座標をキーにデータベースから最も近い特定地点の座標を検索して、自車位置の座標との距離の計算を行う。
【００３６】
また、接近情報を示す変数の値は、２種類の値を表現できれば”０”，”１”以外の値を用いてよい。さらに、特定地点に近付くときと遠ざかるときとで判別用の距離の閾値を変更するなど、状況に応じて閾値を変更するようにしてもよい。故に、特定地点に接近したとみなす領域は閾値を一定とした場合には円となるが、その他の形をとることも可能である。
【００３７】
以下、図３乃至図１２を参照してこの車載用ナビゲーション装置１００の動作を説明する。この車載用ナビゲーション装置１００場合、車両が走行中に、操作入力部３からの操作で、目的地が設定されると、制御装置７は、ナビゲーション動作を開始する。なお、例えばナビゲーション部４０によって特定地点への接近が判定されることで制御装置７からカメラ６へ制御指令が出力されることでカメラ６が撮影を開始してもよい。
【００３８】
カメラ６に電源が供給されて、制御指令によりカメラ６が起動すると、カメラ６は、映像の撮影（撮像）を開始する。
【００３９】
この例では、例えば一車線の高速道路を走行中の車両のリア部分に車両後方の路面を撮影するような角度でカメラ６が取り付けられているため、図３に示すように、撮影された画面の画像２０１としては、遠近法で描かれたような道路の両サイドの車線２１１が映し出され、タイミングによっては、道路の中央部に直進を示す進行方向の矢印の標示２１２（マーク）が映し出される。
【００４０】
カメラ６が動作を開始し、その映像が第１画像処理部１０に入力されると、画面取込部１１は、入力された映像を毎秒３０画面（３０画面／秒）という速さで記憶部７ｂに取り込む（図３のステップＳ１０１）。なお、この取り込み速度は、一例であり、車両の走行速度に応じて毎秒１０画面（１０画面／秒）や５画面（５画面／秒）程度であっても良い。
【００４１】
第１画像処理部１０は、カメラ６から得られた画像に種々の処理を施して路面標示の認識に適した画像に変換する。
【００４２】
この場合、入力画像がカラーである場合を想定する。第１画像処理部１０は、まず、記憶部７ｂに記憶されたカラー画像に対し、グレー画像への変換を行う。第１画像処理部１０ は、例えば、記憶部７ｂから読み出したカラー画像をＹＵＶ表色系に変換し、その中のＹ（輝度）成分を取り出すことによってグレー画像を得る。
【００４３】
次に、第１画像処理部１０は、変換したグレー画像に対し透視変換を行う。透視変換とは、車両から見た後方の投影画像を、路面真上から見下ろした画像へ変換する処理である。
【００４４】
続いて、第１画像処理部１０は、透視変換後のグレー画像に対して二値化を行う。これは、個々の画素の値を決められた閾値を基準に二種類の値に表現し直す処理である。
【００４５】
例えば、黒画素を”１”、白画素を”０”とする。ここまでの処理によって、図４の投影画像は、図５に示すように、路面の真上から見下ろしたように白黒の路面二値画像２０２に変換される。路面二値画像２０２では、車線２２１が並行になり、矢印の標示２２２も真下に向いた形になる。変換された路面二値画像２０２は、記憶部７ｂに記憶される。
【００４６】
なお、これらの処理及びその手法は一例であり、認識に適した情報を得るという主旨を逸脱しない限りにおいてその他の処理及び手法を用いてよい。また、入力画像の種類（カラー、グレースケールなど）及び次に実施する認識処理の内容に合わせ、実施する処理を組み合わせて変更、または一部を削除してもよい。
【００４７】
この例では、画像の二値化処理を路面画像取得後、初めの段階で行ったが、これ以外に、例えば画像合成後(図３のＳ１０５の後)、路面標示認識前(図３のＳ１０６の前)に行ってもよい。また、画像の二値化処理は、必須ではなく行わなくても良い。
【００４８】
車両が道路を走行中、カメラにより撮影される情景画像は、同じ地点のものであっても、時刻や天候などのさまざまな条件によって変化する。
【００４９】
例えば車両が夜間、道路を走行中に、カメラから得られ、透視変換した路面二値画像２０２は、図６に示すように、後続車両のヘッドライトの影響により、画像２２３の部分が、他の部分よりも輝度値が高くなってしまう。
【００５０】
この例では、標示２２２の一部が輝度値の高い画像２２３にかかってしまい、重畳部分Ｓがどのような形状か判別できない。
【００５１】
そこで、この車載用ナビゲーション装置では、不要領域検出部１２が、路面二値画像２０２より標示２２２を認識するのに不要な部分（不要領域）を検出することで（Ｓ１０２）、輝度値の高い重畳部分Ｓを検出し、他の画像によって補完する。この検出および補完の方法として、画像の下地部分をまず検出してそれ以外の領域を不要領域として切り出す第１の方法と、順次取り込んだいくつかの画像から時系列での画像の変化が一定の箇所を不要領域として切り出す第２の方法の２つの方法がある。
例えば第１の方法の場合、不要領域検出部１２は、路面二値画像２０２の領域のうち、下地の輝度の分布が一定の残す必要がある領域(必要領域)を検出する。その必要領域以外の領域、つまり輝度の分布の変化が激しい領域を不要領域(いわゆる削除領域)として検出する。
その後、取り込んだ画像の、不要領域部分を記憶部７ｂに既に記憶されている旧画像またはその一部の画像領域により補完して合成画像を生成する。
【００５２】
上記不要領域検出処理は、撮影された路面画像毎に行うことが可能であり、最初の路面画像から判定した必要領域をそのまま固定して用いても良い。
【００５３】
また、第２の方法では、時系列での画像の変化が一定の箇所を不要領域として検出する。
【００５４】
この際、不要領域検出部１２は、図８に示すように、新たに得られた路面二値画像２０２ｂと記憶部７ｂに既に記憶されている旧路面二値画像２０２ａとを比較して、位置の変化が所定値以下の画像領域を除くような所定形状（長方形など）の画像領域２２４を切り出す。
【００５５】
例えば自車が一定の速度で走行中は、後続車両もほぼ同じ速度で追従していることから、後続車両のヘッドライトの影響が生じて輝度値が高くなっている両者の画像２２３ａ，画像２２３ｂの部分は、位置の変化がほとんどない一方で、矢印の標示２２２ａ，２２２ｂの部分の位置の変化が激しい。
【００５６】
これにより、不要領域検出部１２によって、輝度分布が一定の下地部分に比べて輝度の変化が激しい画像２２３ａ，２２３ｂ（路面のライト照射部分）、または位置の変化が少ない画像２２３ａ，画像２２３ｂの部分が不要部分として検出される。
【００５７】
画像切出部１３は、不要領域検出部１２により検出された不要領域２２３ａ，画像２２３ｂの部分を避けた所定形状の画像領域２２４を路面二値画像２０２a，２０２ｂから順に切り出し（Ｓ１０３）、記憶部７ｂに記憶する。
【００５８】
この段階では、標示２２２が含まれているか否かは判断できないため、道幅方向に長い長方形の形状の画像領域２２４を切り出すものとする。
【００５９】
画像領域を切り出し記憶した後、続いて、第２画像処理部２０の移動量算出部２１は、新旧それぞれの画像領域２２４ａ，２２４ｂ（以下「切出画像」と称す）を記憶部７ｂから読み出す。図９の画像が一つ前の切出画像２２４ａであり、図１０の画像が今回新たに得られた新たな切出画像２２４ｂである。
【００６０】
移動量算出部２１により読み出された２つの切出画像２２４ａ，２２４ｂは、車両に取り付けられたカメラ６から後方を映した画像であるため、路面標示等は、画面（画像）の下から上に移動してゆく。つまり、図９における画像２２４ａ内の標示２２２ａは、図１０における画像２２４ｂ内の標示２２２ｂのように上に移動する。図９における画像２２４ａ内の車線２２１ａも、図１０における画像２２４ｂでは矢印マークの標示２２２ｂの画像が上に移動しているが、図９の車線の標示２２１ａと図１０の車線の標示２２１ｂは、平行線であるため、変化が分からない。
【００６１】
これら複数の切出画像２２４ａおよび切出画像２２４ｂは、２枚だけに限らず、記憶部７ｂの記憶容量が許す限り、記憶部７ｂに多数保持することも可能である。
【００６２】
移動量算出部２１は、記憶部７ｂから読み出した２つの切出画像２２４ａ，２２４ｂを基に移動量を算出する（Ｓ１０４）。
【００６３】
２枚の切出画像２２４ａ，２２４ｂ間で移動量を算出する方法としては、一般に良く知られている相互相関係数を利用する。この他にも移動量を算出する方法は種々あり、他の方法を用いても良い。
【００６４】
画像合成部２２は、２つの切出画像２２４ａ，２２４ｂを、図１１に示すように、移動量算出部２１で算出された移動量Ｓの分ずらした上で、互いの画像を合成し（Ｓ１０５）、図１２に示すような合成画像２０３を生成し記憶部７ｂに記憶する。この合成画像２０３では、後続車両からのヘッドライトの影響が出ている部分をなくし路面標示（車線の標示２３１，直進標示２３２）のみを存在させた画像が得られる。
【００６５】
この画像合成部２２の処理では、２つの切出画像２２４ａ，２２４ｂが移動した距離（画素数）の分、切出画像２２４ａ，２２４ｂをずらして重ね合わせる。双方の画像が重なった領域２２５は、互いの画素の平均を取っても良い。
【００６６】
以上の処理を、カメラ６で撮影された車両後方の道路の情景映像を連続して取り込むことにより、後続車両のヘッドライトなどの影響を受けない画像が得られ、路面標示の認識処理に適した画像を生成することができる。
【００６７】
なお、上記説明では２枚の切出画像２２４ａ，２２４ｂによって画像を合成したが、逐次処理を行う場合は前の合成画像を保持し、その合成画像と新たな部分画像によって移動量を算出して、合成することも可能である。
【００６８】
また、合成画像２０３は、次々と新たに発生する切出画像によって旧切出画像が合成されてゆくが、合成処理のために適切な画像サイズで切り出しておくことにより記憶部７ｂ（画像バッファ）の使用領域の削減を図ることもできる。
【００６９】
移動量算出部２１で算出される移動量は、カメラ６が搭載されている自車両の走行速度に比例して増加する。走行速度がより高速になると、連続した部分画像間における重なりの部分がなくなり、画像合成することが不可能になる恐れがある。
【００７０】
そこで、移動量算出部２１で算出された移動量に応じて、最適な切出画像の形状を算出することで、画像どうしの重なりを維持する。
【００７１】
つまり、車両の速度が高速の場合は、切出画像の垂直方向の長さを長くし、逆に車両の速度が低速の場合は切出画像の垂直方向の長さを短くする。
【００７２】
さらに、例えば図７に示した後続車両のヘッドライトによる高輝度な画像領域２２３ａが後続車両の急な接近のため、より手前側に広がった場合、画像領域２２３ａが切出画像２２４ａ内に入り込んでしまい、結果として画像認識処理に適さない合成画像が生成される恐れがある。
【００７３】
このような場合、以下の方法により、切出画像２２４ａの位置を変更しても良い。つまり、生成された合成画像２０３を一定サイズのブロックに分割し、分割したブロック内における平均輝度を求める。その平均輝度の分布を調べ、局所的に輝度値が高いブロックがあれば、合成画像に高輝度な領域が含まれているもと判定し、切出画像２２４ａの設定位置を自車両に近い側に変更する。この結果、生成される合成画像は、画像認識処理に適したものになる。
【００７４】
なお、移動量算出部２１にて算出された移動量がほぼゼロ、つまり新旧の切出画像に差がない場合、画像合成部２２は、合成処理を行わないようにしてもよい。
【００７５】
合成画像２０３が記憶部７ｂに記憶されると、路面標示認識部３０は、第２画像処理部２０により生成及び記憶された合成画像２０３に対して路面標示の認識のために必要な情報の抽出を行い、この抽出情報を基に路面標示の認識を行う（Ｓ１０６）。
【００７６】
ここで、路面標示認識部３０による路面標示の認識処理の具体例について説明する。路面標示認識部３０は、まず、記憶部７ｂより合成画像２０３を取得する。次に路面標示認識部３０は、取得した合成画像２０３に対してハフ変換を行うことで画像中の直線を抽出し、その直線の座標などのパラメータを得る。以後、この直線のパラメータを得るまでの処理を「直線の検出」と呼ぶ。
【００７７】
路面標示認識部３０は、路面標示に対して予め決められた条件と直線のパラメータを基に上記の車線の標示２３１、直進標示（矢印マークの標示）２３１などの路面標示を認識する。
【００７８】
路面標示に対して予め決められた条件とは、例えば、図５に示した車線２２１の場合には「直線が縦方向に、端から端まで伸びた部分」、進行方向標示（矢印マーク）の場合は、「縦長の長方形の下の部分に三角を付加した形状をなすもの」などとして設定される。
【００７９】
画像中の直線などが抽出されると、路面標示認識部３０は、その抽出情報を用いて合成画像２０３の左右の車線の標示２３１の間にペイントされている直進標示（矢印マークの標示）２３２の認識を行う。
【００８０】
直進標示（矢印マーク）２３２などの路面標示の認識は、以下のようにして行われる。
【００８１】
すなわち、路面標示認識部３０は、まず、合成画像２０３中に含まれる直進標示（矢印マーク）２３２の範囲を特定する処理を行う。この処理は、射影を用いるなどして実施する。
【００８２】
直進標示（矢印マーク）２３２は、２本の車線の標示２３１間に存在する。そこで、縦軸方向と横軸方向の射影をとれば、それぞれの軸方向の射影値の分布に直進標示（矢印マーク）２３２と車線の標示２３１それぞれの特徴が現れるので、これを基に画像中の直進標示（矢印マーク）２３２の範囲を特定する。
【００８３】
ここで、図１３，１４を参照して、路面標示認識部３０が、射影により、合成画像２０３に含まれる直進標示（矢印マーク）２３２の範囲を特定する処理(射影処理)について説明する。図１３は射影処理の一例を示す図、図１４はその射影処理の結果に基づく標示の範囲の特定方法を示す図である。なお、射影処理の前に、標示の部分を黒画素としてカウントするために、第１画像処理部１０にて路面二値画像２０２(図５参照)に対して白と黒との反転処理を施しておくこととする。
【００８４】
図１３に示すように、路面標示認識部３０は、まず、横軸上の位置ごとに黒画素数をカウントし、この黒画素数のカウント値が予め決められた閾値Ａを超える部分を検出する。なお、この射影処理の前に、標示の部分を黒画素としてカウントするために、路面二値画像に対して白と黒との反転処理を施すこととする。
【００８５】
路面標示認識部３０は、このようにして検出された部分を車線の標示２３１に相当する部分と見なし、このような車線の標示２３１に相当する部分が二箇所に検出されたならば、各々の車線の標示２３１の部分に挟まれた範囲を横軸上の路面標示の探索範囲として絞り込む。
【００８６】
次に、路面標示認識部３０は、絞り込んだ路面標示の探索範囲について、閾値Ａよりも小さい値として予め決めておいた閾値Ｂを超える部分を検出し、この部分を矢印マークの標示２３２が存在する横軸上の範囲と判定する。
【００８７】
次に、路面標示認識部３０は、縦軸方向についても同様に縦軸上の位置ごとの黒画素数の値をカウントし、この黒画素数のカウント値が予め決められた閾値Ｃを超える部分を検出する。
【００８８】
路面標示認識部３０は、このようにして検出された部分を、矢印マークの標示２３２が存在する縦軸上の範囲として判定する。そして、路面標示認識部３０は、判定した路面標示の横軸上の存在範囲と縦軸上の存在範囲とを合せて、図１４に示すように、矢印マークの標示２３２の範囲２３０として特定する。
【００８９】
次に、路面標示認識部３０は、特定した矢印マークの標示２３２の範囲２３０に対して路面標示認識処理を行う。この路面標示認識処理には、基準となる矢印などの標示の二値画像とその名前を示すラベルとのセット(組)を複数収めた標示情報データベース（以下「標示情報」と称す）が用いられる。ラベルは路面標示の一般名称、あるいは特定の規則に基づいて各路面標示に割り振られたコード、番号などである。路面標示認識部３０は、特定した矢印マークの標示２３２の範囲２３０の二値画像を、ＲＯＭ７ｃの標示情報に格納されている基準となる路面標示の二値画像のサイズに合せて拡大または縮小した後、標示情報の各路面標示の二値画像と照合し、位置が重なるドットの値が一致した数を算出し、その結果を「類似度」とする。そして、路面標示認識部３０は、算出された類似度が最大となった、標示情報内の路面標示の二値画像のラベルを認識結果として出力する。
【００９０】
なお、上記の方法によらず、特定した矢印マークの標示２３２の範囲２３０の画像から、路面標示の濃度・方向成分といった数値を求めて数次元のベクトルデータを生成し、標示情報に格納された基準の路面標示毎のベクトルデータとの内積を「類似度」として算出し、最大の類似度となった標示情報内の画像のラベルを認識結果として出力するようにしてもよい。
【００９１】
ナビゲーション部４０は、路面標示認識部３０により認識されたラベルによって、路面にペイントされている路面標示（進行方向標示）を直進標示（矢印マーク）２３２と認識し、ＧＰＳ受信機１により自車両の現在位置を測位した結果と合わせて、ナビゲーション中の経路（ルート）を車両が正常に進んでいるか否かの案内を行う（Ｓ１０７）。
【００９２】
このようにこの第１実施形態の車載用ナビゲーション装置によれば、カメラ６で撮影された情景画像から、認識に不要な部分を除外した画像領域（認識に適した状態の良い画像領域）を切り出し、記憶部７ｂに記憶していた一つ前の切出画像と合成することで、路面標示を的確に検出及び認識し、車両の進行方向の認識精度を向上することができる。
【００９３】
また、映像から画像の一部領域を固定的に切り出すだけでなく、道路標示の認識の妨げとなる例えば後続車両のヘッドライトで白くなった路面の画像を除外するような形状で画像の一部領域を切り出し、過去の切出画像と合成することで、路面標示の認識に適した画像を生成し、車両の進行方向の認識精度を向上することができる。
【００９４】
次に、本発明の第２実施形態について説明する。この第２実施形態は、上記第１実施形態の変形例であり、第１実施形態と同様の構成には同一の符号を付しその説明は省略する。
【００９５】
この第２実施形態の車載用ナビゲーション装置のハードウェア構成は、図１に示したものと同様であり、図２に示した機能構成に一部の機能を追加したものである。
【００９６】
すなわち、この車載用ナビゲーション装置は、図１５に示すように、第２画像処理部２０に不要画像除去部２３を備える。この他、この第２実施形態では、図２に示されている第１画像処理部１０、路面標示認識部３０、ナビゲーション部４０、記憶部７ａ、ＲＯＭ７ｃ、ディスクドライブ２なども備えられている。
【００９７】
不要画像除去部２３は、記憶部７ｂに記憶された新たな画像領域と記憶部７ｂに既に記憶されている旧画像領域（保持画像）とを比較して認識不要な物体の画像を検出する不要領域検出部として機能する。
【００９８】
不要画像除去部２３は、検出された不要な物体の画像領域に、記憶部７ｂの不要な物体が含まれていない旧画像領域（保持画像）から抽出した画像領域を合成する。
【００９９】
不要画像除去部２３は、認識不要な物体の画像部分を合成画像から消去する消去部として機能する。
【０１００】
すなわち、不要画像除去部２３は、移動量算出部２１の処理結果を利用して、路面平面より高さがある、例えば路肩（路側）のポールやガードレールなどを検出する。
【０１０１】
図１６はカメラにより撮影された道路を示している。画像４０１は、車両の搭載されたバックビューモニターの画像であり、この画像４０１には、２本の車線４１１と直進を意味する路面標示４１２および路肩のポール４１３が含まれている。
【０１０２】
図１７は画像切出部１３の前処理として図１６の画像４０１に対して透視変換処理を行った画像４０２を示している。
【０１０３】
路面平面上に存在する車線の標示４２１や路面標示４２２に対して、路面平面より高さがある路肩のポール４２３の画像は、透視変換処理によって斜めになる。
【０１０４】
図１８および図１９は、連続して取り込んだ道路の情景画像を、画像切出を行う前の処理で透視変換処理を行った画像を示している。
【０１０５】
図１８および図１９に示す画像は、第１の実施形態と同様に、車両に取り付けられたカメラ６からの画像であるため、画像に含まれる路面標示等は、下から上に移動していく。
【０１０６】
図１８における画像４０２ａの路面標示４２２ａは、図１９における画像４０２ｂ内の路面標示４２２ｂのように上に移動するが、移動量が少ないためその形状はほぼ変化しない。しかし、図１８における路肩のポール４２３ａは、路面平面より高さがある物体のため、所定時間経過後の図１９の画像４０２ｂにおいては、路肩のポール４２３ｂは位置が移動し、かつ見え方、つまり形状が変化する。
【０１０７】
これは、画像切出部１３の前処理である透視変換処理の影響であり、遠くに行くほど変形量が大きくなる。
【０１０８】
このような透視変換の前処理が行われた後、画像切出部１３によって、図１８および図１９の画像４０２ａ，４０２ｂに対してそれぞれ切り出し処理が行われて、図１８の部分画像４２４ａ、図１９の部分画像４２４ｂが切り出されて記憶部７ｂに記憶された後、移動量算出部２１により、記憶部７ｂに記憶された新旧の切出画像から移動量の算出が行われる。
【０１０９】
不要画像除去部２３は、移動量算出部２１により算出された移動量に従って２枚の画像間の画像の一致度を算出する。一致度は、部分画像をブロックに分割して、算出された移動量分をずらし、各ブロックにおいて相互相関係数を算出することで求める。
【０１１０】
この例の場合、図１８の路面標示４２２ａと、図１９の路面標示４２２ｂとは、一致度が高くなる。
【０１１１】
一方、図１８における路肩のポール４２３ａと図１９のおける路肩のポール４２３ｂは、前述の透視変換処理の影響により同じオブジェクトでありながら形状が変形しているため、一致度は高くならない。この結果、不要画像除去部２３は、一致度が高くないブロックには路面平面より高い位置にある不要物体が存在するものと判定する。
【０１１２】
路面標示を認識する上で、路面平面以外の物体はノイズに他ならない。このため、その物体の存在する画像領域を後段の画像認識処理に通知することで、誤認識の防止や処理時間の短縮を図ることができる。
【０１１３】
なお、カメラで車両の後方を撮影する場合については、カメラで撮影された路面画像から「高さのある障害物」を認識するだけであるが、例えばカメラを車両のフロント部分に搭載して車両の前方を撮影しているときに、高さのある障害物を認識した場合、ナビゲーションにて表示中の路面標示の他に、アラーム等で運転者に注意を促すことも可能である。
【０１１４】
さらに、上述したような路肩に存在するポールの場合、画像合成部２２にてその部分の画像領域を合成しないようにすることで、誤認識の防止や処理時間の短縮に加え、画像データの記憶量を削減することができる。
【０１１５】
以上、第２実施形態では、路肩のポールを例に説明したが、不要画像除去部２３は、路肩のポールのみに対応するものではなく、例えば隣に走行する車両や同じ車線にいる後続車両なども路面平面より高さを持った、路面標示の認識に不要な物体であるため、同様に処理することが可能である。
【０１１６】
以下、図２０〜図２３を参照して第２実施形態の応用例について説明する。この応用例は、路面にできた影によって路面標示が隠されてしまった場合の例である。図２０は画像切出部１３の前処理である透視変換処理を行った後の画像５０２を示している。
【０１１７】
図２０に示す画像５０２には、車線の標示５２１および路面標示５２２と共に、隣接車線の車両による影５２３が含まれている。この影５２３は、路面標示５２２の一部を隠蔽している。このような影５２３を含む画像に対して路面標示の認識処理を行った場合、正しい認識結果を得ることは難しい。
【０１１８】
図２１および図２２は、連続した情景画像を画像切出部１３の前処理により透視変換処理を行った画像５０２ａ，５０２ｂを示している。
【０１１９】
これらの画像５０２ａ，５０２ｂは、第１の実施形態と同様に、車両に取り付けられたカメラ６からの画像であるため、画像内にある路面標示は下から上に移動していく。
【０１２０】
図２１における画像５０２ａに含まれる路面標示５２２ａは、図２２における画像５０２ｂ内の路面標示５２２ｂのように上に移動する。図２１、図２２のいずれの画像５０２ａ，５０２ｂの場合においても路面標示５２２ａ、５２２ｂは、隣接車両の影５２３ａ，５２３ｂによって路面標示５２２ａ，５２２ｂの一部が隠蔽されている。
【０１２１】
従って、図２１における切出画像５２４ａおよび図２２における切出画像５２４ｂをそのまま利用して画像を合成しても影の部分が残ってしまい、路面標示の認識に適した画像を生成することは難しい。この場合、切り出した部分の画像（切出画像）を組み合わせて画像を生成する、またはカメラ６から取り込んだ各画面の画像全体を記憶部７ｂに数枚分保持しておき、その中から状態が良い画像を利用することで、図２３に示すような画像５０３における路面標示５３２のように影の無い合成画像を生成することができる。
【０１２２】
つまり、図２１における画像５０２ａの路面標示５２２ａでは、矢印の棒の部分に影５２３ａの一部がかかっているが、図２２における画像５０２ｂの路面標示５２２ｂでは、矢印の棒の部分には影５２３ｂがかかっていない。
【０１２３】
したがって、それぞれの画像から影がかかっていない部分領域を画像合成部２２が選定してその部分領域を切り出し合成する。この際、影の有無の判別には、例えば画像全体をブロック領域分割し、輝度の分布を計測し、周囲より暗いブロックを検出し、その部分を影と判定する。
【０１２４】
このようにこの第２実施形態の車載用ナビゲーション装置によれば、上記第１実施形態の効果の他、不要領域除去部２３を設けたことで、路面標示の認識に妨げとなる、例えば路肩のポールや自車に隣接して走行する他の車両の影などの不要な画像領域を除去し、また除去した不要画像領域を過去の状態の良い画像で補完することで、路面標示を的確に検出及び認識できるようになり、車両の進行方向の認識精度を向上することができる。
【０１２５】
すなわち、透視変換処理と局所的な画像間の一致度を計測することで路面平面より高い、路面標示の認識に不要な物体（路肩のポールなど）の検出が可能となり、画像からその物体を消去し、またその部分を保持していた他の画像で補完することができる。
【０１２６】
さらに、路面標示が影などで隠されていた場合、記憶部７ｂに予め保持しておいた数枚の画面の画像の中から、路面標示が隠されていない画像またはその一部の部分画像を選出し隠蔽画像に合成することで、路面標示が隠されていないクリアな画像を生成することができる。これらの結果、後段で行われる車両の進行方向の認識精度を向上することができる。
【０１２７】
本発明は、上述の実施形態にのみ限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々更新を加え得ることは勿論である。
【０１２８】
上記実施形態では、車両の後方を撮影した画像について処理を行う例について説明したが、車両の前方を撮影した画像であっても良い。
【図面の簡単な説明】
【０１２９】
【図１】本実施形態の車載用ナビゲーション装置のハードウェア構成を示すブロック図である。
【図２】図１の車載用ナビゲーション装置の機能ブロック図である。
【図３】車載用ナビゲーション装置の動作を示すフローチャートである。
【図４】カメラからの車両後方の映像を取り込んだ画像の一例を示す図である。
【図５】図４の画像を透視処理した画像の一例を示す図である。
【図６】ヘッドライトの影響を受けて路面標示の一部が識別不能になっている様子を示す図である。
【図７】一つの前の画像から部分画像を切り出す様子を示す図である。
【図８】図７の画像の後に取り込んだ新たな画像から部分画像を切り出す様子を示す図である。
【図９】図７の一つ前の画像から切り出された切出画像を示す図である。
【図１０】図８の画像から切り出された新たな切出画像を示す図である。
【図１１】２つの切出画像を合成する様子を示す図である。
【図１２】生成された合成画像を示す図である。
【図１３】路面上の矢印などの道路標示の範囲を特定するための射影処理の例を示す図である。
【図１４】図１３の射影処理の結果に基づく標示の範囲の特定方法を示す図である。
【図１５】本発明の第２実施形態に係る車載用カーナビゲーション装置の構成を示すブロック図である。
【図１６】カメラにより撮影された道路の画像を示す図である。
【図１７】図１６の画像に対して透視変換処理を行った画像を示す図である。
【図１８】あるタイミングで撮影された路肩にポールが存在する道路の情景画像に対して透視変換処理を行った画像を示す図である。
【図１９】図１８の画像に続いて撮影され、透視変換処理を行った画像を示す図である。
【図２０】影の影響で路面標示が隠されている様子を示す図である。
【図２１】あるタイミングで撮影された影を含む道路の情景画像に対して透視変換処理を行った画像を示す図である。
【図２２】図２１の画像に続いて撮影され、透視変換処理を行った画像を示す図である。
【図２３】影のある画像領域に既に記憶されている他の画像領域を合成し影を除去した画像を示す図である。
【符号の説明】
【０１３０】
１…ＧＰＳ受信機、２…ディスクドライブ、３…操作入力部、４…表示装置、５…スピーカ、６…カメラ、７…制御装置、７ａ…ＣＰＵ、７ｂ…記憶部、７ｃ…ＲＯＭ、７ｄ…フラッシュメモリ、１０…第１画像処理部、１１…画面取込部、１２…不要領域検出部、１３…画像切出部、２０…第２画像処理部、２１…移動量算出部、２２…画像合成部、２３…不要画像除去部、３０…路面標示認識部、４０…ナビゲーション部、１００…車載用ナビゲーション装置。
【技術分野】
【０００１】
本発明は、道路の路面にペイントされた進行方向標示（直進標示、右折標示、左折標示、これらの組み合わせた標示等）から、現在の車両の進行方向を識別して車両を目的地まで案内する車載用ナビゲーション装置に関する。
【背景技術】
【０００２】
ＧＰＳ（全地球測位システム）などの位置検知装置と地図情報とを用いて、自車両の現在の道路上の位置を特定するとともに、ユーザによって指定された目的地までの道路経路の表示などの走行案内を行う車載用ナビゲーション装置が知られている。
【０００３】
従来、車載用ナビゲーション装置において、路面上の方向指示標示の画像をカメラにより撮影し、撮影した画像から方向指示標示を認識することで、車両の走行レーンを特定する技術が開示されている（例えば特許文献１参照）。
【０００４】
これにより、路面上にペイントされた進行方向標示から、車両がルート通りの道路へ向かう走行レーンを走行しているか否かを判定し、利用者に適切な案内を行うことができる。
【特許文献１】特開２００５−２１４８８３公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、カメラでは、路面の進行方向標示だけでなく、周囲の情景(風景など)も撮影される。このような情景画像は、雨などの天候による路面状況の変動や昼夜の明るさの変動による画質の変化、特に夜間の後続車両のライトなどによる映像の白色化、また隣接走行する他の車両の影の影響やガードレールやポール等の路側部の不要な物体による隠蔽によって道路標示の認識に適さない画像となり、その結果、車両の進行方向の認識精度が低下することがある。
【０００６】
本発明はこのような課題を解決するためになされたもので、道路の走行環境が変わる中で、カメラにより道路を含んで映された画像から路面標示を的確に認識し、車両の進行方向の認識精度を向上することができる車載用ナビゲーション装置、路面標示識別プログラム及び路面標示識別方法を提供することを目的としている。
【課題を解決するための手段】
【０００７】
上記した目的を達成するために本発明の車載用ナビゲーション装置は、撮影方向を車両の前方または後方に向けて車両に取り付けられ、前記車両の前方または後方の路面を少なくとも含む画像を撮像するカメラと、前記カメラにより撮影された画像が記憶された記憶部と、前記カメラにより撮影された画像に含まれる路面標示の認識に不要な領域を検出する第1画像処理部と、前記第1画像処理部により検出された前記画像の前記不要領域を前記記憶部に既に記憶されている旧画像またはその一部の画像領域により補完して合成画像を生成する第２画像処理部と、前記第２画像処理部により合成された合成画像と予め設定されている標示情報とを用いて前記路面にペイントされた路面標示の検出および認識を行う標示認識部とを具備することを特徴とする。
【０００８】
本発明の車載用ナビゲーション装置は、撮影方向を車両後方に向けて車両の後部に取り付けられ、前記車両後方の路面を少なくとも含む映像を撮像するカメラと、画像を記憶可能な記憶部と、前記カメラにより撮影された映像を画面単位に所定時間間隔で前記記憶部に順次取り込む画面取込部と、前記記憶部に取り込まれた前記画面の画像に含まれる路面標示の認識に不要な領域を検出する不要領域検出部と、前記不要領域検出部により検出された不要領域を避けた所定形状の画像領域を切り出し、前記記憶部に記憶する画像切出部と、前記画像切出部により前記記憶部に記憶された新たな画像領域と前記記憶部に既に記憶されている一つ前の旧画像領域とを比較し移動量を算出する移動量算出部と、前記移動量算出部により算出された前記路面標示の移動量に従って新旧の画像領域を結合した合成画像を生成する画像合成部と、前記画像合成部により合成された合成画像と予め設定されている標示情報とを用いて前記路面標示の検出および認識を行う路面標示認識部とを具備することを特徴とする。
【０００９】
本発明では、例えば他車両やその車両による影によって認識対象である路面標示が隠蔽された場合に、新たに切出した画像に、過去に記憶しておいた画像の中からマークが隠蔽される前の画像を合成し、その合成画像を用いてマークを検出及び認識するので、進行方向標示などの路面標示を的確に認識し、車両の進行方向の認識精度を向上することができる。
【００１０】
また、カメラで撮影された情景画像から認識に適した状態の良い画像領域を切り出し、記憶しておいた画像と合成することで認識精度を向上することができる。また、単に切り出すのではなく、路面標示の認識の妨げとなるライトの照射領域などの不要な画像領域を除外し、またはその部分を除去した画像領域を過去の状態の良い画像で補完することで、路面標示の種別を的確に認識し、車両の進行方向の認識精度を向上することができる。
【発明の効果】
【００１１】
以上説明したように本発明によれば、道路の走行環境が変わる中で、カメラにより道路を含んで映された画像から路面標示を的確に認識し、車両の進行方向の認識精度を向上することができる。
【発明を実施するための最良の形態】
【００１２】
以下、本発明の実施の形態につき図面を参照して説明する。図１は本発明の一実施形態にかかる車載用ナビゲーション装置のハードウェア構成を示すブロック図、図２は図１の車載用ナビゲーション装置の機能構成図である。
【００１３】
同図に示すように、この車載用ナビゲーション装置１００は、ＧＰＳ受信機１と、ＨＤ（Hard Disk ）、ＣＤ−ＲＯＭ（Compact Disc Read Only Memory ）、ＤＶＤ−ＲＯＭ（Digital Versatile Disc Read Only Memory ）などのメディアから地図情報やそれに関連する情報を読み出すディスクドライブ２と、ユーザから出発地、目的地などの入力や各種操作のための入力を行う操作入力部３と、自車両の位置（自車位置）とその周辺の地図情報や自車両のナビゲーションのための情報表示を行うＣＲＴ（陰極線管）やＬＣＤ（液晶表示装置）などの表示装置４と、ナビゲーションに関する音声情報を出力するスピーカ５と、自車両の前方または後方の路面を撮影するカメラ６と、制御装置７とを備えて構成される。
【００１４】
制御装置７は、ＣＰＵ（Central Processing Unit）７ａと、ＲＡＭ（Random Access Memory）などの記憶部７ｂと、ＣＰＵ７ａによって実行されるプログラムや各種の設定データなどが書き換え不能（固定的）に格納されたＲＯＭ（Random Only Memory）７ｃと、電気的に消去および書き換えが可能なＥＥＰＲＯＭ等のフラッシュメモリ７ｄとを備えて構成される。
【００１５】
記憶部７ｂは、ＣＰＵ７ａの作業領域や映像を取り込んだときの画面データ（画像データ）やその画像から切り出した部分領域（画像領域）のデータなどの記憶領域として機能する。
【００１６】
ＲＯＭ７ｃには、標示情報として、道路標示の識別データが記憶されている。道路標示の識別データとは、標示画像とその名称を特定する情報とが対応付けられた情報である。標示画像の名称を特定する情報は、名称の場合もありＩＤや番号の場合もある。標示情報は、道路標示認識の際の比較データとして利用される。
【００１７】
ＧＰＳ受信機１は、ＧＰＳ（Global Positioning System：全地球測位システム）により自車両の現在位置を測位して、自車両の現在位置（自車位置）を検出し、その自車位置検出結果を制御装置７へ入力するものである。
【００１８】
カメラ６は、撮影方向を車両後方に向けて車両の後部に取り付けられており、バックビューモニターなどとも言う。つまりカメラ６は、自車両の車体の後部（リア部分など）に装着されている。カメラ６は、自車両の後方の路面部分を撮影して、路面にペイントされた直進、左折、右折などの各種の道路標示やライン、撮影範囲内の情景などの映像を制御装置７に入力する映像入力手段である。すなわち、カメラ６は、車両後方の路面を少なくとも含む映像を撮像する。
【００１９】
カメラ６は、具体的には、例えばＣＣＤ（Charge-Coupled Devices）などの撮像素子と、この撮像素子によって撮像された信号をアナログ信号からデジタル信号へ変換して制御装置７に出力する信号処理回路とを有している。
【００２０】
図２に示すように、この車載用ナビゲーション装置１００は、第１画像処理部１０、第２画像処理部２０、路面標示認識部３０、ナビゲーション部４０などを備えている。第１２画像処理部２０は、画面取込部１１、不要領域検出部１２、画像切出部１３などを有している。第２画像処理部２０は、移動量算出部２１、画像合成部２２などを有している。
【００２１】
画面取込部１１は、カメラ６により撮影された映像を１画面毎の画像データとして画面単位に所定時間間隔で記憶部７ｂに順次取り込む。
【００２２】
不要領域検出部１２は、記憶部７ｂに取り込まれた画面の画像データに含まれる、路面にペイントされた道路標示（直進の矢印マークなど）の認識に不要な領域を検出する。
一例としては、カメラ６により撮影された画像の領域内の下地の輝度分布が一定の領域（必要領域）以外の領域（ライトが当たった路面部分）を不要領域として切り出す。
【００２３】
画像切出部１３は、不要領域検出部１２により検出された不要領域を避けた所定形状の画像領域を切り出し記憶部７ｂに記憶する。
【００２４】
また、画像切出部１３は、移動量算出部２１により算出された移動量に応じて、画像から切り出す画像領域の形状または配置を変更する切出画像変更部として機能する。
【００２５】
画像切出部１３は、合成画像に含まれる路面標識の検出状態、または認識状態に応じて画像から切り出す画像領域の位置を変更する。また画像切出部１３は、時刻によって、画像から切り出す画像領域の位置または形状を変更する。「時刻によって」とは、昼の明るい時間帯（午前６時〜午後４時など）、夕方の薄暗い時間帯（午後４時〜午後７時など）、夜の暗い時間帯（午後７時〜午前６時など）などで画像の切出領域を変更することをいう。
【００２６】
すなわち、第１画像処理部１０は、カメラ６により撮影された画像の領域内の下地部分である、輝度分布が一定の、標示認識に必要な領域(必要領域)を検出し、その必要領域以外の領域を不要領域（ライトが当たった路面部分）として切り出し、その不要領域部分を記憶部７ｂに記憶しておいた他の画像やその一部の領域によって補完する。
また、他の方法として、第１画像処理部１０は、カメラ６により撮影された映像を画面単位に所定時間間隔（例えば０．１秒間隔など）で画像として順次取り込み、取り込んだその画像から、変化が所定値以下の画像領域（動きのないライトや影の部分）を除くような所定形状の画像領域（路面の下地部分）を切り出し、記憶部７ｂに記憶する。
【００２７】
移動量算出部２１は、記憶部７ｂに記憶された新たな画像領域２２４ｂ（図１０参照）と記憶部７ｂに既に記憶されている一つ前の旧画像領域２２４ａ（図９参照）とを比較し道路標示２２２ａ，２２２ｂの移動量を算出する。この実施例では、一つ前の旧画像領域としたが、サンプリングする期間が短い場合は２つ前または３つの前などの画像でもよい。
【００２８】
画像合成部２２は、移動量算出部２１により算出された道路標示２２２ａ，２２２ｂの移動量に従って新旧の画像領域２２４ａ，２２４ｂを結合した合成画像２２５（図１１参照）を生成する。
【００２９】
すなわち、第２画像処理部２０は、記憶部７ｂに取り込まれた画像の、画像切出部１３により切り出された不要領域部分を記憶部７ｂに既に記憶されている旧画像またはその一部の画像領域により補完して合成画像を生成し記憶部７ｂに記憶する。
また、他の方法として、第２画像処理部２０は、記憶部７ｂに記憶された新たな画像領域２２４ｂと記憶部７ｂに既に記憶されている一つ前の旧画像領域２２４ａとを用いて算出した移動量に従って新旧の画像領域２２４ａ，２２４ｂを結合した合成画像２２５を生成し記憶部７ｂに記憶する。
【００３０】
路面標示認識部３０は、第２画像処理部２０により生成され記憶部７ｂに記憶された合成画像２２５と予めディスクドライブ２などに設定（記憶）されている標示情報とを用いて道路標示の検出と道路標示の認識を行う。
【００３１】
ナビゲーション部４０は、路面標示認識部３０により認識された道路標示の認識結果に従って、認識時点の車両の進行方向を判定（特定）し、表示装置４とスピーカ５にてナビゲーション、つまり案内を行う。
【００３２】
また、ナビゲーション部４０は、ＧＰＳ受信機１（図１参照）にて受信した自車位置の座標情報とディスクドライブ２の記録メディア（ハードディスク（ＨＤ）、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ等）に収録されている地図情報とを基に、自車位置が特定地点に接近したことを示す接近情報を出力する。
【００３３】
ナビゲーション部４０は、自車位置の座標と地図情報の中の特定地点の座標との距離を計算し、この距離が予め決められた閾値以下ならば、その特定地点への「接近」を判断して出力する。ここで、接近しているか否かを示す変数の初期状態を”０”として特定地点に接近していないことを示すものとする。
【００３４】
すなわち、ナビゲーション部４０にて計算された上記の距離が閾値より大きい場合は変数に”０”が格納され、上記の距離が閾値以下であった場合は変数に”１”が格納される。この変数はＣＰＵ７ａに与えられ、ＣＰＵ７ａは、変数に”１”が格納されていれば、カメラ６を起動させるように制御を行う。
【００３５】
なお、特定地点の座標の情報は予めディスクドライブ２（図１参照）などに構築されたデータベースに格納されている。ナビゲーション部４０は、自車位置の座標をキーにデータベースから最も近い特定地点の座標を検索して、自車位置の座標との距離の計算を行う。
【００３６】
また、接近情報を示す変数の値は、２種類の値を表現できれば”０”，”１”以外の値を用いてよい。さらに、特定地点に近付くときと遠ざかるときとで判別用の距離の閾値を変更するなど、状況に応じて閾値を変更するようにしてもよい。故に、特定地点に接近したとみなす領域は閾値を一定とした場合には円となるが、その他の形をとることも可能である。
【００３７】
以下、図３乃至図１２を参照してこの車載用ナビゲーション装置１００の動作を説明する。この車載用ナビゲーション装置１００場合、車両が走行中に、操作入力部３からの操作で、目的地が設定されると、制御装置７は、ナビゲーション動作を開始する。なお、例えばナビゲーション部４０によって特定地点への接近が判定されることで制御装置７からカメラ６へ制御指令が出力されることでカメラ６が撮影を開始してもよい。
【００３８】
カメラ６に電源が供給されて、制御指令によりカメラ６が起動すると、カメラ６は、映像の撮影（撮像）を開始する。
【００３９】
この例では、例えば一車線の高速道路を走行中の車両のリア部分に車両後方の路面を撮影するような角度でカメラ６が取り付けられているため、図３に示すように、撮影された画面の画像２０１としては、遠近法で描かれたような道路の両サイドの車線２１１が映し出され、タイミングによっては、道路の中央部に直進を示す進行方向の矢印の標示２１２（マーク）が映し出される。
【００４０】
カメラ６が動作を開始し、その映像が第１画像処理部１０に入力されると、画面取込部１１は、入力された映像を毎秒３０画面（３０画面／秒）という速さで記憶部７ｂに取り込む（図３のステップＳ１０１）。なお、この取り込み速度は、一例であり、車両の走行速度に応じて毎秒１０画面（１０画面／秒）や５画面（５画面／秒）程度であっても良い。
【００４１】
第１画像処理部１０は、カメラ６から得られた画像に種々の処理を施して路面標示の認識に適した画像に変換する。
【００４２】
この場合、入力画像がカラーである場合を想定する。第１画像処理部１０は、まず、記憶部７ｂに記憶されたカラー画像に対し、グレー画像への変換を行う。第１画像処理部１０ は、例えば、記憶部７ｂから読み出したカラー画像をＹＵＶ表色系に変換し、その中のＹ（輝度）成分を取り出すことによってグレー画像を得る。
【００４３】
次に、第１画像処理部１０は、変換したグレー画像に対し透視変換を行う。透視変換とは、車両から見た後方の投影画像を、路面真上から見下ろした画像へ変換する処理である。
【００４４】
続いて、第１画像処理部１０は、透視変換後のグレー画像に対して二値化を行う。これは、個々の画素の値を決められた閾値を基準に二種類の値に表現し直す処理である。
【００４５】
例えば、黒画素を”１”、白画素を”０”とする。ここまでの処理によって、図４の投影画像は、図５に示すように、路面の真上から見下ろしたように白黒の路面二値画像２０２に変換される。路面二値画像２０２では、車線２２１が並行になり、矢印の標示２２２も真下に向いた形になる。変換された路面二値画像２０２は、記憶部７ｂに記憶される。
【００４６】
なお、これらの処理及びその手法は一例であり、認識に適した情報を得るという主旨を逸脱しない限りにおいてその他の処理及び手法を用いてよい。また、入力画像の種類（カラー、グレースケールなど）及び次に実施する認識処理の内容に合わせ、実施する処理を組み合わせて変更、または一部を削除してもよい。
【００４７】
この例では、画像の二値化処理を路面画像取得後、初めの段階で行ったが、これ以外に、例えば画像合成後(図３のＳ１０５の後)、路面標示認識前(図３のＳ１０６の前)に行ってもよい。また、画像の二値化処理は、必須ではなく行わなくても良い。
【００４８】
車両が道路を走行中、カメラにより撮影される情景画像は、同じ地点のものであっても、時刻や天候などのさまざまな条件によって変化する。
【００４９】
例えば車両が夜間、道路を走行中に、カメラから得られ、透視変換した路面二値画像２０２は、図６に示すように、後続車両のヘッドライトの影響により、画像２２３の部分が、他の部分よりも輝度値が高くなってしまう。
【００５０】
この例では、標示２２２の一部が輝度値の高い画像２２３にかかってしまい、重畳部分Ｓがどのような形状か判別できない。
【００５１】
そこで、この車載用ナビゲーション装置では、不要領域検出部１２が、路面二値画像２０２より標示２２２を認識するのに不要な部分（不要領域）を検出することで（Ｓ１０２）、輝度値の高い重畳部分Ｓを検出し、他の画像によって補完する。この検出および補完の方法として、画像の下地部分をまず検出してそれ以外の領域を不要領域として切り出す第１の方法と、順次取り込んだいくつかの画像から時系列での画像の変化が一定の箇所を不要領域として切り出す第２の方法の２つの方法がある。
例えば第１の方法の場合、不要領域検出部１２は、路面二値画像２０２の領域のうち、下地の輝度の分布が一定の残す必要がある領域(必要領域)を検出する。その必要領域以外の領域、つまり輝度の分布の変化が激しい領域を不要領域(いわゆる削除領域)として検出する。
その後、取り込んだ画像の、不要領域部分を記憶部７ｂに既に記憶されている旧画像またはその一部の画像領域により補完して合成画像を生成する。
【００５２】
上記不要領域検出処理は、撮影された路面画像毎に行うことが可能であり、最初の路面画像から判定した必要領域をそのまま固定して用いても良い。
【００５３】
また、第２の方法では、時系列での画像の変化が一定の箇所を不要領域として検出する。
【００５４】
この際、不要領域検出部１２は、図８に示すように、新たに得られた路面二値画像２０２ｂと記憶部７ｂに既に記憶されている旧路面二値画像２０２ａとを比較して、位置の変化が所定値以下の画像領域を除くような所定形状（長方形など）の画像領域２２４を切り出す。
【００５５】
例えば自車が一定の速度で走行中は、後続車両もほぼ同じ速度で追従していることから、後続車両のヘッドライトの影響が生じて輝度値が高くなっている両者の画像２２３ａ，画像２２３ｂの部分は、位置の変化がほとんどない一方で、矢印の標示２２２ａ，２２２ｂの部分の位置の変化が激しい。
【００５６】
これにより、不要領域検出部１２によって、輝度分布が一定の下地部分に比べて輝度の変化が激しい画像２２３ａ，２２３ｂ（路面のライト照射部分）、または位置の変化が少ない画像２２３ａ，画像２２３ｂの部分が不要部分として検出される。
【００５７】
画像切出部１３は、不要領域検出部１２により検出された不要領域２２３ａ，画像２２３ｂの部分を避けた所定形状の画像領域２２４を路面二値画像２０２a，２０２ｂから順に切り出し（Ｓ１０３）、記憶部７ｂに記憶する。
【００５８】
この段階では、標示２２２が含まれているか否かは判断できないため、道幅方向に長い長方形の形状の画像領域２２４を切り出すものとする。
【００５９】
画像領域を切り出し記憶した後、続いて、第２画像処理部２０の移動量算出部２１は、新旧それぞれの画像領域２２４ａ，２２４ｂ（以下「切出画像」と称す）を記憶部７ｂから読み出す。図９の画像が一つ前の切出画像２２４ａであり、図１０の画像が今回新たに得られた新たな切出画像２２４ｂである。
【００６０】
移動量算出部２１により読み出された２つの切出画像２２４ａ，２２４ｂは、車両に取り付けられたカメラ６から後方を映した画像であるため、路面標示等は、画面（画像）の下から上に移動してゆく。つまり、図９における画像２２４ａ内の標示２２２ａは、図１０における画像２２４ｂ内の標示２２２ｂのように上に移動する。図９における画像２２４ａ内の車線２２１ａも、図１０における画像２２４ｂでは矢印マークの標示２２２ｂの画像が上に移動しているが、図９の車線の標示２２１ａと図１０の車線の標示２２１ｂは、平行線であるため、変化が分からない。
【００６１】
これら複数の切出画像２２４ａおよび切出画像２２４ｂは、２枚だけに限らず、記憶部７ｂの記憶容量が許す限り、記憶部７ｂに多数保持することも可能である。
【００６２】
移動量算出部２１は、記憶部７ｂから読み出した２つの切出画像２２４ａ，２２４ｂを基に移動量を算出する（Ｓ１０４）。
【００６３】
２枚の切出画像２２４ａ，２２４ｂ間で移動量を算出する方法としては、一般に良く知られている相互相関係数を利用する。この他にも移動量を算出する方法は種々あり、他の方法を用いても良い。
【００６４】
画像合成部２２は、２つの切出画像２２４ａ，２２４ｂを、図１１に示すように、移動量算出部２１で算出された移動量Ｓの分ずらした上で、互いの画像を合成し（Ｓ１０５）、図１２に示すような合成画像２０３を生成し記憶部７ｂに記憶する。この合成画像２０３では、後続車両からのヘッドライトの影響が出ている部分をなくし路面標示（車線の標示２３１，直進標示２３２）のみを存在させた画像が得られる。
【００６５】
この画像合成部２２の処理では、２つの切出画像２２４ａ，２２４ｂが移動した距離（画素数）の分、切出画像２２４ａ，２２４ｂをずらして重ね合わせる。双方の画像が重なった領域２２５は、互いの画素の平均を取っても良い。
【００６６】
以上の処理を、カメラ６で撮影された車両後方の道路の情景映像を連続して取り込むことにより、後続車両のヘッドライトなどの影響を受けない画像が得られ、路面標示の認識処理に適した画像を生成することができる。
【００６７】
なお、上記説明では２枚の切出画像２２４ａ，２２４ｂによって画像を合成したが、逐次処理を行う場合は前の合成画像を保持し、その合成画像と新たな部分画像によって移動量を算出して、合成することも可能である。
【００６８】
また、合成画像２０３は、次々と新たに発生する切出画像によって旧切出画像が合成されてゆくが、合成処理のために適切な画像サイズで切り出しておくことにより記憶部７ｂ（画像バッファ）の使用領域の削減を図ることもできる。
【００６９】
移動量算出部２１で算出される移動量は、カメラ６が搭載されている自車両の走行速度に比例して増加する。走行速度がより高速になると、連続した部分画像間における重なりの部分がなくなり、画像合成することが不可能になる恐れがある。
【００７０】
そこで、移動量算出部２１で算出された移動量に応じて、最適な切出画像の形状を算出することで、画像どうしの重なりを維持する。
【００７１】
つまり、車両の速度が高速の場合は、切出画像の垂直方向の長さを長くし、逆に車両の速度が低速の場合は切出画像の垂直方向の長さを短くする。
【００７２】
さらに、例えば図７に示した後続車両のヘッドライトによる高輝度な画像領域２２３ａが後続車両の急な接近のため、より手前側に広がった場合、画像領域２２３ａが切出画像２２４ａ内に入り込んでしまい、結果として画像認識処理に適さない合成画像が生成される恐れがある。
【００７３】
このような場合、以下の方法により、切出画像２２４ａの位置を変更しても良い。つまり、生成された合成画像２０３を一定サイズのブロックに分割し、分割したブロック内における平均輝度を求める。その平均輝度の分布を調べ、局所的に輝度値が高いブロックがあれば、合成画像に高輝度な領域が含まれているもと判定し、切出画像２２４ａの設定位置を自車両に近い側に変更する。この結果、生成される合成画像は、画像認識処理に適したものになる。
【００７４】
なお、移動量算出部２１にて算出された移動量がほぼゼロ、つまり新旧の切出画像に差がない場合、画像合成部２２は、合成処理を行わないようにしてもよい。
【００７５】
合成画像２０３が記憶部７ｂに記憶されると、路面標示認識部３０は、第２画像処理部２０により生成及び記憶された合成画像２０３に対して路面標示の認識のために必要な情報の抽出を行い、この抽出情報を基に路面標示の認識を行う（Ｓ１０６）。
【００７６】
ここで、路面標示認識部３０による路面標示の認識処理の具体例について説明する。路面標示認識部３０は、まず、記憶部７ｂより合成画像２０３を取得する。次に路面標示認識部３０は、取得した合成画像２０３に対してハフ変換を行うことで画像中の直線を抽出し、その直線の座標などのパラメータを得る。以後、この直線のパラメータを得るまでの処理を「直線の検出」と呼ぶ。
【００７７】
路面標示認識部３０は、路面標示に対して予め決められた条件と直線のパラメータを基に上記の車線の標示２３１、直進標示（矢印マークの標示）２３１などの路面標示を認識する。
【００７８】
路面標示に対して予め決められた条件とは、例えば、図５に示した車線２２１の場合には「直線が縦方向に、端から端まで伸びた部分」、進行方向標示（矢印マーク）の場合は、「縦長の長方形の下の部分に三角を付加した形状をなすもの」などとして設定される。
【００７９】
画像中の直線などが抽出されると、路面標示認識部３０は、その抽出情報を用いて合成画像２０３の左右の車線の標示２３１の間にペイントされている直進標示（矢印マークの標示）２３２の認識を行う。
【００８０】
直進標示（矢印マーク）２３２などの路面標示の認識は、以下のようにして行われる。
【００８１】
すなわち、路面標示認識部３０は、まず、合成画像２０３中に含まれる直進標示（矢印マーク）２３２の範囲を特定する処理を行う。この処理は、射影を用いるなどして実施する。
【００８２】
直進標示（矢印マーク）２３２は、２本の車線の標示２３１間に存在する。そこで、縦軸方向と横軸方向の射影をとれば、それぞれの軸方向の射影値の分布に直進標示（矢印マーク）２３２と車線の標示２３１それぞれの特徴が現れるので、これを基に画像中の直進標示（矢印マーク）２３２の範囲を特定する。
【００８３】
ここで、図１３，１４を参照して、路面標示認識部３０が、射影により、合成画像２０３に含まれる直進標示（矢印マーク）２３２の範囲を特定する処理(射影処理)について説明する。図１３は射影処理の一例を示す図、図１４はその射影処理の結果に基づく標示の範囲の特定方法を示す図である。なお、射影処理の前に、標示の部分を黒画素としてカウントするために、第１画像処理部１０にて路面二値画像２０２(図５参照)に対して白と黒との反転処理を施しておくこととする。
【００８４】
図１３に示すように、路面標示認識部３０は、まず、横軸上の位置ごとに黒画素数をカウントし、この黒画素数のカウント値が予め決められた閾値Ａを超える部分を検出する。なお、この射影処理の前に、標示の部分を黒画素としてカウントするために、路面二値画像に対して白と黒との反転処理を施すこととする。
【００８５】
路面標示認識部３０は、このようにして検出された部分を車線の標示２３１に相当する部分と見なし、このような車線の標示２３１に相当する部分が二箇所に検出されたならば、各々の車線の標示２３１の部分に挟まれた範囲を横軸上の路面標示の探索範囲として絞り込む。
【００８６】
次に、路面標示認識部３０は、絞り込んだ路面標示の探索範囲について、閾値Ａよりも小さい値として予め決めておいた閾値Ｂを超える部分を検出し、この部分を矢印マークの標示２３２が存在する横軸上の範囲と判定する。
【００８７】
次に、路面標示認識部３０は、縦軸方向についても同様に縦軸上の位置ごとの黒画素数の値をカウントし、この黒画素数のカウント値が予め決められた閾値Ｃを超える部分を検出する。
【００８８】
路面標示認識部３０は、このようにして検出された部分を、矢印マークの標示２３２が存在する縦軸上の範囲として判定する。そして、路面標示認識部３０は、判定した路面標示の横軸上の存在範囲と縦軸上の存在範囲とを合せて、図１４に示すように、矢印マークの標示２３２の範囲２３０として特定する。
【００８９】
次に、路面標示認識部３０は、特定した矢印マークの標示２３２の範囲２３０に対して路面標示認識処理を行う。この路面標示認識処理には、基準となる矢印などの標示の二値画像とその名前を示すラベルとのセット(組)を複数収めた標示情報データベース（以下「標示情報」と称す）が用いられる。ラベルは路面標示の一般名称、あるいは特定の規則に基づいて各路面標示に割り振られたコード、番号などである。路面標示認識部３０は、特定した矢印マークの標示２３２の範囲２３０の二値画像を、ＲＯＭ７ｃの標示情報に格納されている基準となる路面標示の二値画像のサイズに合せて拡大または縮小した後、標示情報の各路面標示の二値画像と照合し、位置が重なるドットの値が一致した数を算出し、その結果を「類似度」とする。そして、路面標示認識部３０は、算出された類似度が最大となった、標示情報内の路面標示の二値画像のラベルを認識結果として出力する。
【００９０】
なお、上記の方法によらず、特定した矢印マークの標示２３２の範囲２３０の画像から、路面標示の濃度・方向成分といった数値を求めて数次元のベクトルデータを生成し、標示情報に格納された基準の路面標示毎のベクトルデータとの内積を「類似度」として算出し、最大の類似度となった標示情報内の画像のラベルを認識結果として出力するようにしてもよい。
【００９１】
ナビゲーション部４０は、路面標示認識部３０により認識されたラベルによって、路面にペイントされている路面標示（進行方向標示）を直進標示（矢印マーク）２３２と認識し、ＧＰＳ受信機１により自車両の現在位置を測位した結果と合わせて、ナビゲーション中の経路（ルート）を車両が正常に進んでいるか否かの案内を行う（Ｓ１０７）。
【００９２】
このようにこの第１実施形態の車載用ナビゲーション装置によれば、カメラ６で撮影された情景画像から、認識に不要な部分を除外した画像領域（認識に適した状態の良い画像領域）を切り出し、記憶部７ｂに記憶していた一つ前の切出画像と合成することで、路面標示を的確に検出及び認識し、車両の進行方向の認識精度を向上することができる。
【００９３】
また、映像から画像の一部領域を固定的に切り出すだけでなく、道路標示の認識の妨げとなる例えば後続車両のヘッドライトで白くなった路面の画像を除外するような形状で画像の一部領域を切り出し、過去の切出画像と合成することで、路面標示の認識に適した画像を生成し、車両の進行方向の認識精度を向上することができる。
【００９４】
次に、本発明の第２実施形態について説明する。この第２実施形態は、上記第１実施形態の変形例であり、第１実施形態と同様の構成には同一の符号を付しその説明は省略する。
【００９５】
この第２実施形態の車載用ナビゲーション装置のハードウェア構成は、図１に示したものと同様であり、図２に示した機能構成に一部の機能を追加したものである。
【００９６】
すなわち、この車載用ナビゲーション装置は、図１５に示すように、第２画像処理部２０に不要画像除去部２３を備える。この他、この第２実施形態では、図２に示されている第１画像処理部１０、路面標示認識部３０、ナビゲーション部４０、記憶部７ａ、ＲＯＭ７ｃ、ディスクドライブ２なども備えられている。
【００９７】
不要画像除去部２３は、記憶部７ｂに記憶された新たな画像領域と記憶部７ｂに既に記憶されている旧画像領域（保持画像）とを比較して認識不要な物体の画像を検出する不要領域検出部として機能する。
【００９８】
不要画像除去部２３は、検出された不要な物体の画像領域に、記憶部７ｂの不要な物体が含まれていない旧画像領域（保持画像）から抽出した画像領域を合成する。
【００９９】
不要画像除去部２３は、認識不要な物体の画像部分を合成画像から消去する消去部として機能する。
【０１００】
すなわち、不要画像除去部２３は、移動量算出部２１の処理結果を利用して、路面平面より高さがある、例えば路肩（路側）のポールやガードレールなどを検出する。
【０１０１】
図１６はカメラにより撮影された道路を示している。画像４０１は、車両の搭載されたバックビューモニターの画像であり、この画像４０１には、２本の車線４１１と直進を意味する路面標示４１２および路肩のポール４１３が含まれている。
【０１０２】
図１７は画像切出部１３の前処理として図１６の画像４０１に対して透視変換処理を行った画像４０２を示している。
【０１０３】
路面平面上に存在する車線の標示４２１や路面標示４２２に対して、路面平面より高さがある路肩のポール４２３の画像は、透視変換処理によって斜めになる。
【０１０４】
図１８および図１９は、連続して取り込んだ道路の情景画像を、画像切出を行う前の処理で透視変換処理を行った画像を示している。
【０１０５】
図１８および図１９に示す画像は、第１の実施形態と同様に、車両に取り付けられたカメラ６からの画像であるため、画像に含まれる路面標示等は、下から上に移動していく。
【０１０６】
図１８における画像４０２ａの路面標示４２２ａは、図１９における画像４０２ｂ内の路面標示４２２ｂのように上に移動するが、移動量が少ないためその形状はほぼ変化しない。しかし、図１８における路肩のポール４２３ａは、路面平面より高さがある物体のため、所定時間経過後の図１９の画像４０２ｂにおいては、路肩のポール４２３ｂは位置が移動し、かつ見え方、つまり形状が変化する。
【０１０７】
これは、画像切出部１３の前処理である透視変換処理の影響であり、遠くに行くほど変形量が大きくなる。
【０１０８】
このような透視変換の前処理が行われた後、画像切出部１３によって、図１８および図１９の画像４０２ａ，４０２ｂに対してそれぞれ切り出し処理が行われて、図１８の部分画像４２４ａ、図１９の部分画像４２４ｂが切り出されて記憶部７ｂに記憶された後、移動量算出部２１により、記憶部７ｂに記憶された新旧の切出画像から移動量の算出が行われる。
【０１０９】
不要画像除去部２３は、移動量算出部２１により算出された移動量に従って２枚の画像間の画像の一致度を算出する。一致度は、部分画像をブロックに分割して、算出された移動量分をずらし、各ブロックにおいて相互相関係数を算出することで求める。
【０１１０】
この例の場合、図１８の路面標示４２２ａと、図１９の路面標示４２２ｂとは、一致度が高くなる。
【０１１１】
一方、図１８における路肩のポール４２３ａと図１９のおける路肩のポール４２３ｂは、前述の透視変換処理の影響により同じオブジェクトでありながら形状が変形しているため、一致度は高くならない。この結果、不要画像除去部２３は、一致度が高くないブロックには路面平面より高い位置にある不要物体が存在するものと判定する。
【０１１２】
路面標示を認識する上で、路面平面以外の物体はノイズに他ならない。このため、その物体の存在する画像領域を後段の画像認識処理に通知することで、誤認識の防止や処理時間の短縮を図ることができる。
【０１１３】
なお、カメラで車両の後方を撮影する場合については、カメラで撮影された路面画像から「高さのある障害物」を認識するだけであるが、例えばカメラを車両のフロント部分に搭載して車両の前方を撮影しているときに、高さのある障害物を認識した場合、ナビゲーションにて表示中の路面標示の他に、アラーム等で運転者に注意を促すことも可能である。
【０１１４】
さらに、上述したような路肩に存在するポールの場合、画像合成部２２にてその部分の画像領域を合成しないようにすることで、誤認識の防止や処理時間の短縮に加え、画像データの記憶量を削減することができる。
【０１１５】
以上、第２実施形態では、路肩のポールを例に説明したが、不要画像除去部２３は、路肩のポールのみに対応するものではなく、例えば隣に走行する車両や同じ車線にいる後続車両なども路面平面より高さを持った、路面標示の認識に不要な物体であるため、同様に処理することが可能である。
【０１１６】
以下、図２０〜図２３を参照して第２実施形態の応用例について説明する。この応用例は、路面にできた影によって路面標示が隠されてしまった場合の例である。図２０は画像切出部１３の前処理である透視変換処理を行った後の画像５０２を示している。
【０１１７】
図２０に示す画像５０２には、車線の標示５２１および路面標示５２２と共に、隣接車線の車両による影５２３が含まれている。この影５２３は、路面標示５２２の一部を隠蔽している。このような影５２３を含む画像に対して路面標示の認識処理を行った場合、正しい認識結果を得ることは難しい。
【０１１８】
図２１および図２２は、連続した情景画像を画像切出部１３の前処理により透視変換処理を行った画像５０２ａ，５０２ｂを示している。
【０１１９】
これらの画像５０２ａ，５０２ｂは、第１の実施形態と同様に、車両に取り付けられたカメラ６からの画像であるため、画像内にある路面標示は下から上に移動していく。
【０１２０】
図２１における画像５０２ａに含まれる路面標示５２２ａは、図２２における画像５０２ｂ内の路面標示５２２ｂのように上に移動する。図２１、図２２のいずれの画像５０２ａ，５０２ｂの場合においても路面標示５２２ａ、５２２ｂは、隣接車両の影５２３ａ，５２３ｂによって路面標示５２２ａ，５２２ｂの一部が隠蔽されている。
【０１２１】
従って、図２１における切出画像５２４ａおよび図２２における切出画像５２４ｂをそのまま利用して画像を合成しても影の部分が残ってしまい、路面標示の認識に適した画像を生成することは難しい。この場合、切り出した部分の画像（切出画像）を組み合わせて画像を生成する、またはカメラ６から取り込んだ各画面の画像全体を記憶部７ｂに数枚分保持しておき、その中から状態が良い画像を利用することで、図２３に示すような画像５０３における路面標示５３２のように影の無い合成画像を生成することができる。
【０１２２】
つまり、図２１における画像５０２ａの路面標示５２２ａでは、矢印の棒の部分に影５２３ａの一部がかかっているが、図２２における画像５０２ｂの路面標示５２２ｂでは、矢印の棒の部分には影５２３ｂがかかっていない。
【０１２３】
したがって、それぞれの画像から影がかかっていない部分領域を画像合成部２２が選定してその部分領域を切り出し合成する。この際、影の有無の判別には、例えば画像全体をブロック領域分割し、輝度の分布を計測し、周囲より暗いブロックを検出し、その部分を影と判定する。
【０１２４】
このようにこの第２実施形態の車載用ナビゲーション装置によれば、上記第１実施形態の効果の他、不要領域除去部２３を設けたことで、路面標示の認識に妨げとなる、例えば路肩のポールや自車に隣接して走行する他の車両の影などの不要な画像領域を除去し、また除去した不要画像領域を過去の状態の良い画像で補完することで、路面標示を的確に検出及び認識できるようになり、車両の進行方向の認識精度を向上することができる。
【０１２５】
すなわち、透視変換処理と局所的な画像間の一致度を計測することで路面平面より高い、路面標示の認識に不要な物体（路肩のポールなど）の検出が可能となり、画像からその物体を消去し、またその部分を保持していた他の画像で補完することができる。
【０１２６】
さらに、路面標示が影などで隠されていた場合、記憶部７ｂに予め保持しておいた数枚の画面の画像の中から、路面標示が隠されていない画像またはその一部の部分画像を選出し隠蔽画像に合成することで、路面標示が隠されていないクリアな画像を生成することができる。これらの結果、後段で行われる車両の進行方向の認識精度を向上することができる。
【０１２７】
本発明は、上述の実施形態にのみ限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々更新を加え得ることは勿論である。
【０１２８】
上記実施形態では、車両の後方を撮影した画像について処理を行う例について説明したが、車両の前方を撮影した画像であっても良い。
【図面の簡単な説明】
【０１２９】
【図１】本実施形態の車載用ナビゲーション装置のハードウェア構成を示すブロック図である。
【図２】図１の車載用ナビゲーション装置の機能ブロック図である。
【図３】車載用ナビゲーション装置の動作を示すフローチャートである。
【図４】カメラからの車両後方の映像を取り込んだ画像の一例を示す図である。
【図５】図４の画像を透視処理した画像の一例を示す図である。
【図６】ヘッドライトの影響を受けて路面標示の一部が識別不能になっている様子を示す図である。
【図７】一つの前の画像から部分画像を切り出す様子を示す図である。
【図８】図７の画像の後に取り込んだ新たな画像から部分画像を切り出す様子を示す図である。
【図９】図７の一つ前の画像から切り出された切出画像を示す図である。
【図１０】図８の画像から切り出された新たな切出画像を示す図である。
【図１１】２つの切出画像を合成する様子を示す図である。
【図１２】生成された合成画像を示す図である。
【図１３】路面上の矢印などの道路標示の範囲を特定するための射影処理の例を示す図である。
【図１４】図１３の射影処理の結果に基づく標示の範囲の特定方法を示す図である。
【図１５】本発明の第２実施形態に係る車載用カーナビゲーション装置の構成を示すブロック図である。
【図１６】カメラにより撮影された道路の画像を示す図である。
【図１７】図１６の画像に対して透視変換処理を行った画像を示す図である。
【図１８】あるタイミングで撮影された路肩にポールが存在する道路の情景画像に対して透視変換処理を行った画像を示す図である。
【図１９】図１８の画像に続いて撮影され、透視変換処理を行った画像を示す図である。
【図２０】影の影響で路面標示が隠されている様子を示す図である。
【図２１】あるタイミングで撮影された影を含む道路の情景画像に対して透視変換処理を行った画像を示す図である。
【図２２】図２１の画像に続いて撮影され、透視変換処理を行った画像を示す図である。
【図２３】影のある画像領域に既に記憶されている他の画像領域を合成し影を除去した画像を示す図である。
【符号の説明】
【０１３０】
１…ＧＰＳ受信機、２…ディスクドライブ、３…操作入力部、４…表示装置、５…スピーカ、６…カメラ、７…制御装置、７ａ…ＣＰＵ、７ｂ…記憶部、７ｃ…ＲＯＭ、７ｄ…フラッシュメモリ、１０…第１画像処理部、１１…画面取込部、１２…不要領域検出部、１３…画像切出部、２０…第２画像処理部、２１…移動量算出部、２２…画像合成部、２３…不要画像除去部、３０…路面標示認識部、４０…ナビゲーション部、１００…車載用ナビゲーション装置。
【特許請求の範囲】
【請求項１】
撮影方向を車両の前方または後方に向けて車両に取り付けられ、前記車両の前方または後方の路面を少なくとも含む画像を撮像するカメラと、
前記カメラにより撮影された画像が記憶された記憶部と、
前記カメラにより撮影された画像に含まれる路面標示の認識に不要な領域を検出する第1画像処理部と、
前記第1画像処理部により検出された前記画像の前記不要領域を前記記憶部に既に記憶されている旧画像またはその一部の画像領域により補完して合成画像を生成する第２画像処理部と、
前記第２画像処理部により合成された合成画像と予め設定されている標示情報とを用いて前記路面にペイントされた路面標示の検出および認識を行う標示認識部と
を具備することを特徴とする車載用カーナビゲーション装置。
【請求項２】
撮影方向を車両後方に向けて車両の後部に取り付けられ、前記車両後方の路面を少なくとも含む映像を撮像するカメラと、
画像を記憶可能な記憶部と、
前記カメラにより撮影された映像を画面単位に所定時間間隔で前記記憶部に順次取り込む画面取込部と、
前記記憶部に取り込まれた前記画面の画像に含まれる路面標示の認識に不要な領域を検出する不要領域検出部と、
前記不要領域検出部により検出された不要領域を避けた所定形状の画像領域を切り出し、前記記憶部に記憶する画像切出部と、
前記画像切出部により前記記憶部に記憶された新たな画像領域と前記記憶部に既に記憶されている一つ前の旧画像領域とを比較し移動量を算出する移動量算出部と、
前記移動量算出部により算出された前記路面標示の移動量に従って新旧の画像領域を結合した合成画像を生成する画像合成部と、
前記画像合成部により合成された合成画像と予め設定されている標示情報とを用いて前記路面標示の検出および認識を行う路面標示認識部と
を具備することを特徴とする車載用カーナビゲーション装置。
【請求項３】
前記画像切出部は、
前記移動量算出部により算出された移動量に応じて、前記画面の画像から切り出す画像領域の形状または配置を変更する切出画像変更部を具備することを特徴とする請求項２記載の車載用カーナビゲーション装置。
【請求項４】
前記切出画像変更部は、
前記合成画像に含まれる道路標示の検出状態または認識状態に応じて前記画面の画像から切り出す画像領域の位置を変更することを特徴とする請求項３記載の車載用カーナビゲーション装置。
【請求項５】
前記切出画像変更部は、
時刻によって、前記画面の画像から切り出す画像領域の位置を変更することを特徴とする請求項３記載の車載用カーナビゲーション装置。
【請求項６】
前記第１画像処理部または前記不要領域検出部は、
前記記憶部に記憶された新たな画像領域と前記記憶部に既に記憶されているいくつかの旧画像領域とを比較して路面標示の認識に不要な物体が存在する画像領域を検出し、
前記第２画像処理部または前記画像合成部は、
前記検出された不要な物体の画像領域に、前記記憶部の前記不要な物体が含まれていない旧画像領域から抽出した画像領域を合成することを特徴とする請求項１または２いずれか記載の車載用カーナビゲーション装置。
【請求項７】
前記第１画像処理部または前記不要領域検出部により検出された前記不要な物体の画像領域を前記合成画像から消去する消去部を具備することを特徴とする請求項６記載の車載用カーナビゲーション装置。
【請求項１】
撮影方向を車両の前方または後方に向けて車両に取り付けられ、前記車両の前方または後方の路面を少なくとも含む画像を撮像するカメラと、
前記カメラにより撮影された画像が記憶された記憶部と、
前記カメラにより撮影された画像に含まれる路面標示の認識に不要な領域を検出する第1画像処理部と、
前記第1画像処理部により検出された前記画像の前記不要領域を前記記憶部に既に記憶されている旧画像またはその一部の画像領域により補完して合成画像を生成する第２画像処理部と、
前記第２画像処理部により合成された合成画像と予め設定されている標示情報とを用いて前記路面にペイントされた路面標示の検出および認識を行う標示認識部と
を具備することを特徴とする車載用カーナビゲーション装置。
【請求項２】
撮影方向を車両後方に向けて車両の後部に取り付けられ、前記車両後方の路面を少なくとも含む映像を撮像するカメラと、
画像を記憶可能な記憶部と、
前記カメラにより撮影された映像を画面単位に所定時間間隔で前記記憶部に順次取り込む画面取込部と、
前記記憶部に取り込まれた前記画面の画像に含まれる路面標示の認識に不要な領域を検出する不要領域検出部と、
前記不要領域検出部により検出された不要領域を避けた所定形状の画像領域を切り出し、前記記憶部に記憶する画像切出部と、
前記画像切出部により前記記憶部に記憶された新たな画像領域と前記記憶部に既に記憶されている一つ前の旧画像領域とを比較し移動量を算出する移動量算出部と、
前記移動量算出部により算出された前記路面標示の移動量に従って新旧の画像領域を結合した合成画像を生成する画像合成部と、
前記画像合成部により合成された合成画像と予め設定されている標示情報とを用いて前記路面標示の検出および認識を行う路面標示認識部と
を具備することを特徴とする車載用カーナビゲーション装置。
【請求項３】
前記画像切出部は、
前記移動量算出部により算出された移動量に応じて、前記画面の画像から切り出す画像領域の形状または配置を変更する切出画像変更部を具備することを特徴とする請求項２記載の車載用カーナビゲーション装置。
【請求項４】
前記切出画像変更部は、
前記合成画像に含まれる道路標示の検出状態または認識状態に応じて前記画面の画像から切り出す画像領域の位置を変更することを特徴とする請求項３記載の車載用カーナビゲーション装置。
【請求項５】
前記切出画像変更部は、
時刻によって、前記画面の画像から切り出す画像領域の位置を変更することを特徴とする請求項３記載の車載用カーナビゲーション装置。
【請求項６】
前記第１画像処理部または前記不要領域検出部は、
前記記憶部に記憶された新たな画像領域と前記記憶部に既に記憶されているいくつかの旧画像領域とを比較して路面標示の認識に不要な物体が存在する画像領域を検出し、
前記第２画像処理部または前記画像合成部は、
前記検出された不要な物体の画像領域に、前記記憶部の前記不要な物体が含まれていない旧画像領域から抽出した画像領域を合成することを特徴とする請求項１または２いずれか記載の車載用カーナビゲーション装置。
【請求項７】
前記第１画像処理部または前記不要領域検出部により検出された前記不要な物体の画像領域を前記合成画像から消去する消去部を具備することを特徴とする請求項６記載の車載用カーナビゲーション装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【公開番号】特開２００８−１８７３４７（Ｐ２００８−１８７３４７Ａ）
【公開日】平成２０年８月１４日（２００８．８．１４）
【国際特許分類】
【出願番号】特願２００７−１７８６８（Ｐ２００７−１７８６８）
【出願日】平成１９年１月２９日（２００７．１．２９）
【出願人】（０００００３０７８）株式会社東芝 (54,554)
【出願人】（３０１０６３４９６）東芝ソリューション株式会社 (1,478)
【Ｆターム（参考）】
【公開日】平成２０年８月１４日（２００８．８．１４）
【国際特許分類】
【出願日】平成１９年１月２９日（２００７．１．２９）
【出願人】（０００００３０７８）株式会社東芝 (54,554)
【出願人】（３０１０６３４９６）東芝ソリューション株式会社 (1,478)
【Ｆターム（参考）】
[ Back to top ]