道路標識データベース構築装置
【課題】撮影環境の変化や類似物が存在しても、道路標識を正確に識別し、データベースかできる道路標識データベース構築装置を提供する。
【解決手段】ステレオ画像取得部３４が取得したステレオ画像を色分割部３６が所定の色毎に分割して２値化画像を生成する。また、エッジ抽出部３８は、上記ステレオ画像から、輝度等が大きく変化するエッジ部分を抽出してエッジ画像を生成する。差分処理部４０は、上記２値化画像とエッジ画像との差分を演算して差分画像を生成する。画像解析部４２は、上記２値化画像及び差分画像から道路標識に使用されている円、三角形、四角形などの形状や、その形状の中に描かれたパターンを抽出し、これと道路標識のパターン及び形状とマッチングして道路標識画像を決定する。
【解決手段】ステレオ画像取得部３４が取得したステレオ画像を色分割部３６が所定の色毎に分割して２値化画像を生成する。また、エッジ抽出部３８は、上記ステレオ画像から、輝度等が大きく変化するエッジ部分を抽出してエッジ画像を生成する。差分処理部４０は、上記２値化画像とエッジ画像との差分を演算して差分画像を生成する。画像解析部４２は、上記２値化画像及び差分画像から道路標識に使用されている円、三角形、四角形などの形状や、その形状の中に描かれたパターンを抽出し、これと道路標識のパターン及び形状とマッチングして道路標識画像を決定する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、道路を撮影したステレオ画像データから道路上に設置された道路標識を抽出し、データベースを構築する道路標識データベース構築装置に関する。
【背景技術】
【０００２】
近年、カーナビゲーションを含むＩＴＳ（Intelligent Transport System:高度交通システム）技術が急速に発展・普及してきており、高精度・高精細デジタルマップと実世界空間とをマッチングしながら、交通渋滞の回避や事故の防止など様々な役割を果たしている。しかし、現在市販されているカーナビゲーションシステムの多くは、細かい道路ネットワークや施設、特に信号機、道路標識、車線等の情報が十分収録されておらず、誘導のミスによるトラブルが発生する場合もある。
【０００３】
道路標識等の情報が不十分である原因としては、道路標識や信号機などの数が非常に多く、しかも、道路の建設などによりそれらの情報が常に変化しているので、最新の情報の収集が非常に困難であることがあげられる。また、カーナビゲーションシステムを開発・製造する際に実施される信号機、道路標識、車線等の情報収集は、多くの場合人手により行われるので、非効率的であり、情報収集も不十分となりやすい。
【０００４】
このため、最近では、車載されたカメラにより取得された道路画像に対して、画像処理・認識技術を適用して道路標識を認識するシステムが開発されている。例えば、下記特許文献１には、車両にビデオカメラを設置し、ビデオカメラで取得した連続画像を利用し、主に画像の色情報から道路標識の存在確率を判断して道路標識を抽出する技術が開示されている。
【特許文献１】特開２０００−２９３６７０号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかし、上記従来の技術においては、太陽光の角度や強さなど撮影環境の変化により撮影された道路標識の色が大きく異なるため、道路標識の識別が正確にできないという問題があった。
【０００６】
また、道路の周辺に道路標識と色及び形状が類似する対象物があった場合に誤認識が発生しやすいという問題もあった。
【０００７】
本発明は、上記従来の課題に鑑みなされたものであり、その目的は、撮影環境の変化や類似物が存在しても、道路標識を正確に識別し、データベース化できる道路標識データベース構築装置を提供することにある。
【課題を解決するための手段】
【０００８】
上記目的を達成するために、本発明は、道路標識データベース構築装置であって、ステレオ撮像手段により撮像したステレオ画像データを取得するステレオ画像取得手段と、前記ステレオ画像データに対して色分割処理を行い、対象となる道路標識を含む２値化画像を取得する色分割手段と、前記ステレオ画像データから、対象となる道路標識のエッジ画像の抽出を行うエッジ抽出手段と、前記道路標識を含む２値化画像と、前記エッジ画像との差分画像を取得する差分処理手段と、前記２値化画像及び差分画像から前記道路標識が存在する可能性のある候補領域を抽出する候補領域抽出手段と、前記候補領域中の画像と道路標識のサンプル画像と比較し、道路標識画像を抽出する道路標識抽出手段と、前記ステレオ画像から前記道路標識の３次元位置情報を取得する３次元位置情報取得手段と、前記道路標識画像を、その３次元位置情報と関連付けて記憶する記憶手段と、を備えることを特徴とする。
【０００９】
ここで、上記色分割手段は、ＹＣｒＣｂ色空間において色分割処理を行うことを特徴とする。
【００１０】
また、上記道路標識抽出手段は、前記３次元位置情報取得手段が取得した前記候補画像中の画像成分の座標情報に基づき、前記道路標識画像以外の画像成分を除去することを特徴とする。
【００１１】
また、上記道路標識抽出手段は、前記道路標識画像の種類を識別することを特徴とする。
【００１２】
また、上記ステレオ画像取得手段は、ステレオ撮像手段が取得したステレオ画像データを時間データと関連付けて複数取得し、前記道路標識抽出手段は、前記複数のステレオ画像データに含まれ、互いに同じ座標情報を有する前記候補画像中の画像成分を道路標識と判断することを特徴とする。
【００１３】
また、上記道路標識抽出手段は、図形成分に欠落、変形が存在しても道路標識の抽出を正しく行うための学習機能を備えることを特徴とする。
【００１４】
また、上記学習機能は、ニューラルネットワークにより構成されていることを特徴とする。
【００１５】
上記各構成によれば、撮影環境の変化や類似物が存在しても、道路標識を正確に識別し、データベース化することができる。
【発明を実施するための最良の形態】
【００１６】
以下、本発明を実施するための最良の形態（以下、実施形態という）を、図面に従って説明する。
【００１７】
図１には、本発明にかかる道路標識データベース構築装置の構成例のブロック図が示される。図１において、道路標識データベース構築装置は、ステレオ撮像装置１０、画像取得インターフェース１２、ＣＰＵ（中央処理装置）１４、記憶部１６、操作部１８、表示部２０、出力インターフェース２２を含んで構成されている。
【００１８】
ステレオ撮像装置１０は、後述する図２に示される構成を備え、道路周辺の画像を撮影し、ステレオ画像を生成する。このステレオ撮像装置１０は車載されており、車両の所定走行距離毎に道路画像を撮影するように構成されている。なお、所定時間毎に道路画像を撮影するように構成してもよい。
【００１９】
画像取得インターフェース１２は、上記ステレオ撮像装置１０と接続され、道路周辺のステレオ画像をステレオ撮像装置１０から受け取るためのインターフェースである。
【００２０】
ＣＰＵ１４は、記憶部１６に記憶された動作プログラムに従って動作し、ステレオ撮像装置１０から受け取ったステレオ画像に対する所定の処理等を実行する。
【００２１】
記憶部１６は、ＲＡＭ（ランダムアクセスメモリ）、ＲＯＭ（リードオンリーメモリ）、磁気記憶媒体等のコンピュータ読み取り可能な記憶媒体により構成され、上記ＣＰＵ１４の動作用プログラム、上記ステレオ画像等を記憶する。
【００２２】
操作部１８は、キーボード、マウス等により構成され、ユーザによるデータ入力に使用される。
【００２３】
表示部２０は、例えば液晶ディスプレイ（ＬＣＤ）等で構成され、ユーザへ通知する情報等を標示する。
【００２４】
出力インターフェース２２は、ＣＰＵ１４がステレオ画像を処理して得た道路標識のデータをカーナビゲーションシステム等の外部の装置にデータベースとして出力するために使用される。
【００２５】
図２には、上記ステレオ撮像装置１０の構成のブロック図が示される。図２において、ステレオ撮像装置１０は、２台のカメラ２４、２６、３次元情報取得部２８、画像情報処理部３０、画像情報出力部３２を含んで構成されている。
【００２６】
カメラ２４、２６は、ステレオ画像を取得するためのビデオカメラであって、方式等は特に限定されないが、ステレオ画像生成のために少なくとも２台備えられ、互いに予め設定された間隔をとって設置される。
【００２７】
３次元情報取得部２８は、ＧＰＳ（全地球測位システム）及びＩＭＵ（慣性姿勢計測装置）を含んで構成され、ステレオ撮像装置１０を載置する車両の３次元座標及び進行方向を計測して３次元位置情報として出力する。
【００２８】
画像情報処理部３０は、カメラ２４、２６が取得した画像からステレオ画像を生成し、３次元情報取得部２８が取得した３次元位置情報を付加する処理を行う。
【００２９】
画像情報出力部３２は、画像情報処理部３０が生成したステレオ画像データを受け取り、上記画像取得インターフェース１２に出力する。
【００３０】
図３には、本発明にかかる道路標識データベース構築装置の各機能を表す機能ブロック図が示される。図３において、道路標識データベース構築装置は、ステレオ画像取得部３４、色分割部３６、エッジ抽出部３８、差分処理部４０、画像解析部４２、３次元座標解析部４４及びデータベース部４６の各機能を含んで構成されている。
【００３１】
ステレオ画像取得部３４は、ステレオ撮像装置１０、画像取得インターフェース１２により実現され、道路周辺のステレオ画像を取得する機能である。この場合のステレオ画像には、上述したように、撮影位置における３次元位置情報が付加されており、ステレオ画像データと組み合わせて、ステレオ画像に含まれる道路標識等の画像成分の位置（３次元座標）を求めることができるように構成されている。
【００３２】
色分割部３６は、ＣＰＵ１４及び記憶部１６に格納された動作プログラムにより実現され、ＲＧＢ形式で取得された上記ステレオ画像をＹＣｒＣｂ形式の色空間に変換し、赤等の所定の色毎に画像の領域を分割して２値化画像を生成する機能である。
【００３３】
ここで、上記ＲＧＢ形式の色空間からＹＣｒＣｂ形式の色空間への変換は、以下に示される式（１）、（２）、（３）に基づいて行われる。この式では、Ｙ、Ｃｒ、Ｃｂは２５６階調の画像に正規化されたものである。
【００３４】
【数１】
【００３５】
なお、上記ＹＣｒＣｂ変換は、Ｙが画像の輝度、Ｃｒが画像の赤色成分の確率、Ｃｂが画像の青色成分の確率である。本発明では、Ｃｒ、Ｃｂが撮影の光照度などの条件に左右されにくいため、精度の高い色分析を行うことができる。
【００３６】
エッジ抽出部３８は、ＣＰＵ１４及び記憶部１６に格納された動作プログラムにより実現され、ＹＣｒＣｂ形式に変換されたステレオ画像から輝度等が大きく変化するエッジを抽出してエッジ画像を生成する機能である。
【００３７】
差分処理部４０は、ＣＰＵ１４及び記憶部１６に格納された動作プログラムにより実現され、上記２値化画像とエッジ画像との差分を演算して差分画像を生成する機能である。
【００３８】
画像解析部４２は、ＣＰＵ１４及び記憶部１６に格納された動作プログラムにより実現され、上記２値化画像及び差分画像から道路標識が存在する可能性のある候補領域を抽出し、この候補領域に存在する道路標識の候補画像と道路標識のサンプル画像とを比較して道路標識画像を抽出する機能である。
【００３９】
３次元座標解析部４４は、ＣＰＵ１４及び記憶部１６に格納された動作プログラムにより実現され、上記ステレオ画像に付加された撮影位置における３次元位置情報とステレオ画像データと組み合わせて、ステレオ画像に含まれる道路標識の３次元座標を求める機能である。
【００４０】
データベース部４６は、記憶部１６により実現され、上記道路標識の画像成分とその３次元位置情報とを関連付けて記憶する機能である。なお、この道路標識のデータベースは、出力インターフェース２２を介して外部のナビゲーションシステムに出力してもよい。
【００４１】
図４には、本発明にかかる道路標識データベース構築装置の動作例のフローが示される。図４において、ステレオ画像取得部３４がステレオ画像を取得すると（Ｓ１）、色分割部３６がＲＧＢの色空間で記述されたステレオ画像をＹＣｒＣｂの色空間に変換する（Ｓ２）。
【００４２】
図５には、上記色変換により生成したＹ成分の画像の例が示される。図４の動作例では、図５に示される画像の左端部領域に縦に３個並んで設置された交通標識を検出する例を説明する。
【００４３】
色分割部３６は、上記ＹＣｒＣｂに変換したステレオ画像データを所定の色毎に分割して２値化画像を生成する。この場合の所定の色には、道路標識に通常使用される赤、黄等の色が選択される（Ｓ３）。
【００４４】
図６には、色分割部３６によりＣｒ（赤色成分）が分割されて生成されたＣｒ（赤色成分）画像の例が示される。図６において、Ｃｒ画像では、赤色の成分と他の色成分とが分割されている。
【００４５】
図７には、上記Ｃｒ画像のヒストグラムが示される。図７において、横軸は色成分のグレースケールであり、縦軸は頻度（ピクセル数）である。図７では、赤色成分にピークが立っている。本実施形態では、このヒストグラムから赤色成分を抽出するための閾値を以下の式（４）により求め、閾値の範囲内にある画素を赤色成分と判断する。
【００４６】
【数２】
【００４７】
図８には、色分割部３６が上記式（４）の閾値を図６のＣｒ画像に適用して抽出した赤色の成分が示される。図８においては、赤色成分が白、他の色成分が黒で表現される２値化画像となっている。
【００４８】
次に、エッジ抽出部３８は、ステレオ画像取得部３４が取得し、色分割部３６がＹＣｒＣｂ形式に変換したステレオ画像データから、輝度等が大きく変化するエッジ部分を抽出してエッジ画像を生成する（Ｓ４）。また、差分処理部４０は、上記２値化画像とエッジ画像との差分を演算して差分画像を生成する（Ｓ５）。
【００４９】
なお、上記２値化画像及びエッジ画像の抽出処理は、ステレオ画像に含まれる複数の画像中の１つに対して行えばよい。
【００５０】
図９（ａ）〜（ｄ）には、上記差分画像を生成する工程の説明図が示される。図９（ａ）に示される画像中の道路標識は、その赤色部分が図９（ｂ）の２値化画像で白色として表されている。また、図９（ｃ）のエッジ画像では、図９（ａ）に示される道路標識等の画像成分のエッジが抽出されている。道路標識の周辺の背景に道路標識の色とよく似ている色の対象物が存在する場合には、２値化画像上でこれらが重なり、十分に分離できず、道路標識の認識ができなくなる可能性が高い。そこで、２値化画像とエッジ画像との差分を演算し、２値化画像の画像成分のエッジ部分を削除することにより、互いに重なっている同色の図形成分を分離しやすくする。このような処理により生成した差分画像が図９（ｄ）に示される。
【００５１】
図１０（ａ）、（ｂ）には、図９（ｂ）及び図９（ｃ）において、３つの道路標識のうち下２つの道路標識の２値化画像及びエッジ画像の拡大図が示される。本例では、２つの道路標識の右側に、道路標識と同色（赤色）の横Ｔ字型の対象物が存在している。この場合、図１０（ａ）の２値化画像では、道路標識と横Ｔ字型の対象物とが重なり、道路標識の識別に悪影響を及ぼす可能性がある。そこで、図１０（ｂ）に示されるエッジ画像を生成し、エッジ部分を２値化画像から削除する差分処理を行えば、道路標識の画像と横Ｔ字型対象物の画像との間に隙間を確保でき、画像の分離が行えるので、道路標識の識別を容易に行うことができる。
【００５２】
次に、画像解析部４２は、上記２値化画像及び差分画像から道路標識に使用されている円、三角形、四角形などの形状や、その形状の中に描かれたパターン（模様）を抽出し、これにより画像中の道路標識が存在する可能性のある候補領域を抽出する（Ｓ６）。この場合の画像解析部４２が、本発明の候補領域抽出手段に相当する。
【００５３】
図１１には、上記候補領域を抽出するために使用する形状及びパターンの例が示される。図１１において、上段（１行目）には、各道路標識が示され、中段（２行目）にはパターンの例が示され、下段（３行目）には形状の例が示されている。画像解析部４２は、このような形状及びパターンを、図９（ｂ）の２値化画像及び図９（ｄ）の差分画像と比較することにより候補領域を抽出する。なお、上記形状及びパターンは、予め記憶部１６に記憶しておく。
【００５４】
さらに、画像解析部４２は、この候補領域の中に存在する道路標識の候補画像と予め記憶部１６に記憶されている道路標識のパターン及び形状とをマッチングし、道路標識画像を決定する（Ｓ７）。この場合の画像解析部４２が、本発明の道路標識抽出手段に相当する。
【００５５】
図１２（ａ）、（ｂ）には、道路標識画像の決定に使用するパターンとエッジ画像及び決定手順の例が示される。図１２（ａ）は、道路標識画像の決定に使用するパターンとエッジ画像の例であり、左端の列に各道路標識が示され、他の３列に、それぞれ対応する２種類のパターンと１種類のエッジ画像が示されている。
【００５６】
図１２（ｂ）に示されるように、候補領域の中に存在する道路標識の候補画像について、色分割部３６、エッジ抽出部３８がパターン及びエッジ画像を抽出し、これを図１２（ａ）のパターン及びエッジ画像と比較する。これにより、パターン及びエッジ画像が最も近似する道路標識を上記候補画像と一致する道路標識として決定する。これにより、画像解析部４２は、道路標識の候補画像について、該当する道路標識の種類を識別することができる。
【００５７】
なお、ステレオ画像取得部３４が取得するステレオ画像においては、建物の壁面等に道路標識類似の図形が描かれている場合もある。これらの類似画像を除去するために、３次元座標解析部４４が、ステレオ画像に含まれる各画像成分の座標情報を抽出し、画像解析部４２が、座標情報が壁面と同じである画像成分を壁面に描かれた画像と判断して道路標識ではないと判断する構成とするのが好適である。また、道路標識として通常存在し得ない高さに存在する画像成分も道路標識ではないと判断することができる。これにより、道路標識以外の画像成分を適切に除去することができる。
【００５８】
また、本実施形態では、ステレオ画像取得部３４は、ステレオ撮像装置１０が取得したステレオ画像データを時間データと関連付けて複数取得し、記憶部１６に記憶しておく。また、画像解析部４２は、道路標識の候補画像について３次元座標解析部４４が求めた座標情報が、上記複数のステレオ画像データで互いに同じである場合に、当該候補画像を道路標識と判断する。道路標識は複数のステレオ画像で同じ３次元座標を有するからである。この構成により、道路標識の抽出精度をさらに高くすることができる。
【００５９】
さらに、ステレオ画像取得部３４が取得するステレオ画像は、必ずしも正面から撮影された画像とは限らず、また樹木等により一部が隠されて欠落している画像である場合もある。このため、上記決定プロセスにでは対応できない場合もある。そこで、画像解析部４２には、例えばニューラルネットワークを利用して学習機能を付加し、図形成分の欠落、変形に対して正しく道路標識を抽出できるように学習を行わせる構成とするのが好適である。この構成により、道路標識の抽出精度をさらに高くすることができる。
【００６０】
以上のようにして抽出した道路標識の３次元位置情報を３次元座標解析部４４が求め、この３次元位置情報と道路標識画像とを関連付けてデータベース部４６に記憶し、また過去に取得したデータの更新を行う（Ｓ８）。これにより、道路上に設置された道路標識のデータベースを容易に作成及び更新することができる。ここで、上記３次元座標解析部４４が、本発明の３次元位置情報取得手段に相当する。
【図面の簡単な説明】
【００６１】
【図１】本発明にかかる道路標識データベース構築装置の構成例のブロック図である。
【図２】ステレオ撮像装置の構成のブロック図である。
【図３】本発明にかかる道路標識データベース構築装置の各機能を表す機能ブロック図である。
【図４】本発明にかかる道路標識データベース構築装置の動作例のフロー図である。
【図５】色変換により生成したＹ成分の画像の例を示す図である。
【図６】色分割により生成されたＣｒ画像の例を示す図である。
【図７】Ｃｒ画像のヒストグラムを示す図である。
【図８】赤色の成分の２値化画像を示す図である。
【図９】差分画像を生成する工程の説明図である。
【図１０】道路標識の２値化画像及びエッジ画像の拡大図である。
【図１１】候補領域を抽出するために使用する形状及びパターンの例を示す図である。
【図１２】道路標識画像の決定に使用するパターンとエッジ画像及び決定手順の例を示す図である。
【符号の説明】
【００６２】
１０ ステレオ撮像装置、１２ 画像取得インターフェース、１４ ＣＰＵ、１６ 記憶部、１８ 操作部、２０ 表示部、２２ 出力インターフェース、２４、２６ カメラ、２８ ３次元情報取得部、３０ 画像情報処理部、３２ 画像情報出力部、３４ ステレオ画像取得部、３６ 色分割部、３８ エッジ抽出部、４０ 差分処理部、４２ 画像解析部、４４ ３次元座標解析部、４６ データベース部。
【技術分野】
【０００１】
本発明は、道路を撮影したステレオ画像データから道路上に設置された道路標識を抽出し、データベースを構築する道路標識データベース構築装置に関する。
【背景技術】
【０００２】
近年、カーナビゲーションを含むＩＴＳ（Intelligent Transport System:高度交通システム）技術が急速に発展・普及してきており、高精度・高精細デジタルマップと実世界空間とをマッチングしながら、交通渋滞の回避や事故の防止など様々な役割を果たしている。しかし、現在市販されているカーナビゲーションシステムの多くは、細かい道路ネットワークや施設、特に信号機、道路標識、車線等の情報が十分収録されておらず、誘導のミスによるトラブルが発生する場合もある。
【０００３】
道路標識等の情報が不十分である原因としては、道路標識や信号機などの数が非常に多く、しかも、道路の建設などによりそれらの情報が常に変化しているので、最新の情報の収集が非常に困難であることがあげられる。また、カーナビゲーションシステムを開発・製造する際に実施される信号機、道路標識、車線等の情報収集は、多くの場合人手により行われるので、非効率的であり、情報収集も不十分となりやすい。
【０００４】
このため、最近では、車載されたカメラにより取得された道路画像に対して、画像処理・認識技術を適用して道路標識を認識するシステムが開発されている。例えば、下記特許文献１には、車両にビデオカメラを設置し、ビデオカメラで取得した連続画像を利用し、主に画像の色情報から道路標識の存在確率を判断して道路標識を抽出する技術が開示されている。
【特許文献１】特開２０００−２９３６７０号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかし、上記従来の技術においては、太陽光の角度や強さなど撮影環境の変化により撮影された道路標識の色が大きく異なるため、道路標識の識別が正確にできないという問題があった。
【０００６】
また、道路の周辺に道路標識と色及び形状が類似する対象物があった場合に誤認識が発生しやすいという問題もあった。
【０００７】
本発明は、上記従来の課題に鑑みなされたものであり、その目的は、撮影環境の変化や類似物が存在しても、道路標識を正確に識別し、データベース化できる道路標識データベース構築装置を提供することにある。
【課題を解決するための手段】
【０００８】
上記目的を達成するために、本発明は、道路標識データベース構築装置であって、ステレオ撮像手段により撮像したステレオ画像データを取得するステレオ画像取得手段と、前記ステレオ画像データに対して色分割処理を行い、対象となる道路標識を含む２値化画像を取得する色分割手段と、前記ステレオ画像データから、対象となる道路標識のエッジ画像の抽出を行うエッジ抽出手段と、前記道路標識を含む２値化画像と、前記エッジ画像との差分画像を取得する差分処理手段と、前記２値化画像及び差分画像から前記道路標識が存在する可能性のある候補領域を抽出する候補領域抽出手段と、前記候補領域中の画像と道路標識のサンプル画像と比較し、道路標識画像を抽出する道路標識抽出手段と、前記ステレオ画像から前記道路標識の３次元位置情報を取得する３次元位置情報取得手段と、前記道路標識画像を、その３次元位置情報と関連付けて記憶する記憶手段と、を備えることを特徴とする。
【０００９】
ここで、上記色分割手段は、ＹＣｒＣｂ色空間において色分割処理を行うことを特徴とする。
【００１０】
また、上記道路標識抽出手段は、前記３次元位置情報取得手段が取得した前記候補画像中の画像成分の座標情報に基づき、前記道路標識画像以外の画像成分を除去することを特徴とする。
【００１１】
また、上記道路標識抽出手段は、前記道路標識画像の種類を識別することを特徴とする。
【００１２】
また、上記ステレオ画像取得手段は、ステレオ撮像手段が取得したステレオ画像データを時間データと関連付けて複数取得し、前記道路標識抽出手段は、前記複数のステレオ画像データに含まれ、互いに同じ座標情報を有する前記候補画像中の画像成分を道路標識と判断することを特徴とする。
【００１３】
また、上記道路標識抽出手段は、図形成分に欠落、変形が存在しても道路標識の抽出を正しく行うための学習機能を備えることを特徴とする。
【００１４】
また、上記学習機能は、ニューラルネットワークにより構成されていることを特徴とする。
【００１５】
上記各構成によれば、撮影環境の変化や類似物が存在しても、道路標識を正確に識別し、データベース化することができる。
【発明を実施するための最良の形態】
【００１６】
以下、本発明を実施するための最良の形態（以下、実施形態という）を、図面に従って説明する。
【００１７】
図１には、本発明にかかる道路標識データベース構築装置の構成例のブロック図が示される。図１において、道路標識データベース構築装置は、ステレオ撮像装置１０、画像取得インターフェース１２、ＣＰＵ（中央処理装置）１４、記憶部１６、操作部１８、表示部２０、出力インターフェース２２を含んで構成されている。
【００１８】
ステレオ撮像装置１０は、後述する図２に示される構成を備え、道路周辺の画像を撮影し、ステレオ画像を生成する。このステレオ撮像装置１０は車載されており、車両の所定走行距離毎に道路画像を撮影するように構成されている。なお、所定時間毎に道路画像を撮影するように構成してもよい。
【００１９】
画像取得インターフェース１２は、上記ステレオ撮像装置１０と接続され、道路周辺のステレオ画像をステレオ撮像装置１０から受け取るためのインターフェースである。
【００２０】
ＣＰＵ１４は、記憶部１６に記憶された動作プログラムに従って動作し、ステレオ撮像装置１０から受け取ったステレオ画像に対する所定の処理等を実行する。
【００２１】
記憶部１６は、ＲＡＭ（ランダムアクセスメモリ）、ＲＯＭ（リードオンリーメモリ）、磁気記憶媒体等のコンピュータ読み取り可能な記憶媒体により構成され、上記ＣＰＵ１４の動作用プログラム、上記ステレオ画像等を記憶する。
【００２２】
操作部１８は、キーボード、マウス等により構成され、ユーザによるデータ入力に使用される。
【００２３】
表示部２０は、例えば液晶ディスプレイ（ＬＣＤ）等で構成され、ユーザへ通知する情報等を標示する。
【００２４】
出力インターフェース２２は、ＣＰＵ１４がステレオ画像を処理して得た道路標識のデータをカーナビゲーションシステム等の外部の装置にデータベースとして出力するために使用される。
【００２５】
図２には、上記ステレオ撮像装置１０の構成のブロック図が示される。図２において、ステレオ撮像装置１０は、２台のカメラ２４、２６、３次元情報取得部２８、画像情報処理部３０、画像情報出力部３２を含んで構成されている。
【００２６】
カメラ２４、２６は、ステレオ画像を取得するためのビデオカメラであって、方式等は特に限定されないが、ステレオ画像生成のために少なくとも２台備えられ、互いに予め設定された間隔をとって設置される。
【００２７】
３次元情報取得部２８は、ＧＰＳ（全地球測位システム）及びＩＭＵ（慣性姿勢計測装置）を含んで構成され、ステレオ撮像装置１０を載置する車両の３次元座標及び進行方向を計測して３次元位置情報として出力する。
【００２８】
画像情報処理部３０は、カメラ２４、２６が取得した画像からステレオ画像を生成し、３次元情報取得部２８が取得した３次元位置情報を付加する処理を行う。
【００２９】
画像情報出力部３２は、画像情報処理部３０が生成したステレオ画像データを受け取り、上記画像取得インターフェース１２に出力する。
【００３０】
図３には、本発明にかかる道路標識データベース構築装置の各機能を表す機能ブロック図が示される。図３において、道路標識データベース構築装置は、ステレオ画像取得部３４、色分割部３６、エッジ抽出部３８、差分処理部４０、画像解析部４２、３次元座標解析部４４及びデータベース部４６の各機能を含んで構成されている。
【００３１】
ステレオ画像取得部３４は、ステレオ撮像装置１０、画像取得インターフェース１２により実現され、道路周辺のステレオ画像を取得する機能である。この場合のステレオ画像には、上述したように、撮影位置における３次元位置情報が付加されており、ステレオ画像データと組み合わせて、ステレオ画像に含まれる道路標識等の画像成分の位置（３次元座標）を求めることができるように構成されている。
【００３２】
色分割部３６は、ＣＰＵ１４及び記憶部１６に格納された動作プログラムにより実現され、ＲＧＢ形式で取得された上記ステレオ画像をＹＣｒＣｂ形式の色空間に変換し、赤等の所定の色毎に画像の領域を分割して２値化画像を生成する機能である。
【００３３】
ここで、上記ＲＧＢ形式の色空間からＹＣｒＣｂ形式の色空間への変換は、以下に示される式（１）、（２）、（３）に基づいて行われる。この式では、Ｙ、Ｃｒ、Ｃｂは２５６階調の画像に正規化されたものである。
【００３４】
【数１】
【００３５】
なお、上記ＹＣｒＣｂ変換は、Ｙが画像の輝度、Ｃｒが画像の赤色成分の確率、Ｃｂが画像の青色成分の確率である。本発明では、Ｃｒ、Ｃｂが撮影の光照度などの条件に左右されにくいため、精度の高い色分析を行うことができる。
【００３６】
エッジ抽出部３８は、ＣＰＵ１４及び記憶部１６に格納された動作プログラムにより実現され、ＹＣｒＣｂ形式に変換されたステレオ画像から輝度等が大きく変化するエッジを抽出してエッジ画像を生成する機能である。
【００３７】
差分処理部４０は、ＣＰＵ１４及び記憶部１６に格納された動作プログラムにより実現され、上記２値化画像とエッジ画像との差分を演算して差分画像を生成する機能である。
【００３８】
画像解析部４２は、ＣＰＵ１４及び記憶部１６に格納された動作プログラムにより実現され、上記２値化画像及び差分画像から道路標識が存在する可能性のある候補領域を抽出し、この候補領域に存在する道路標識の候補画像と道路標識のサンプル画像とを比較して道路標識画像を抽出する機能である。
【００３９】
３次元座標解析部４４は、ＣＰＵ１４及び記憶部１６に格納された動作プログラムにより実現され、上記ステレオ画像に付加された撮影位置における３次元位置情報とステレオ画像データと組み合わせて、ステレオ画像に含まれる道路標識の３次元座標を求める機能である。
【００４０】
データベース部４６は、記憶部１６により実現され、上記道路標識の画像成分とその３次元位置情報とを関連付けて記憶する機能である。なお、この道路標識のデータベースは、出力インターフェース２２を介して外部のナビゲーションシステムに出力してもよい。
【００４１】
図４には、本発明にかかる道路標識データベース構築装置の動作例のフローが示される。図４において、ステレオ画像取得部３４がステレオ画像を取得すると（Ｓ１）、色分割部３６がＲＧＢの色空間で記述されたステレオ画像をＹＣｒＣｂの色空間に変換する（Ｓ２）。
【００４２】
図５には、上記色変換により生成したＹ成分の画像の例が示される。図４の動作例では、図５に示される画像の左端部領域に縦に３個並んで設置された交通標識を検出する例を説明する。
【００４３】
色分割部３６は、上記ＹＣｒＣｂに変換したステレオ画像データを所定の色毎に分割して２値化画像を生成する。この場合の所定の色には、道路標識に通常使用される赤、黄等の色が選択される（Ｓ３）。
【００４４】
図６には、色分割部３６によりＣｒ（赤色成分）が分割されて生成されたＣｒ（赤色成分）画像の例が示される。図６において、Ｃｒ画像では、赤色の成分と他の色成分とが分割されている。
【００４５】
図７には、上記Ｃｒ画像のヒストグラムが示される。図７において、横軸は色成分のグレースケールであり、縦軸は頻度（ピクセル数）である。図７では、赤色成分にピークが立っている。本実施形態では、このヒストグラムから赤色成分を抽出するための閾値を以下の式（４）により求め、閾値の範囲内にある画素を赤色成分と判断する。
【００４６】
【数２】
【００４７】
図８には、色分割部３６が上記式（４）の閾値を図６のＣｒ画像に適用して抽出した赤色の成分が示される。図８においては、赤色成分が白、他の色成分が黒で表現される２値化画像となっている。
【００４８】
次に、エッジ抽出部３８は、ステレオ画像取得部３４が取得し、色分割部３６がＹＣｒＣｂ形式に変換したステレオ画像データから、輝度等が大きく変化するエッジ部分を抽出してエッジ画像を生成する（Ｓ４）。また、差分処理部４０は、上記２値化画像とエッジ画像との差分を演算して差分画像を生成する（Ｓ５）。
【００４９】
なお、上記２値化画像及びエッジ画像の抽出処理は、ステレオ画像に含まれる複数の画像中の１つに対して行えばよい。
【００５０】
図９（ａ）〜（ｄ）には、上記差分画像を生成する工程の説明図が示される。図９（ａ）に示される画像中の道路標識は、その赤色部分が図９（ｂ）の２値化画像で白色として表されている。また、図９（ｃ）のエッジ画像では、図９（ａ）に示される道路標識等の画像成分のエッジが抽出されている。道路標識の周辺の背景に道路標識の色とよく似ている色の対象物が存在する場合には、２値化画像上でこれらが重なり、十分に分離できず、道路標識の認識ができなくなる可能性が高い。そこで、２値化画像とエッジ画像との差分を演算し、２値化画像の画像成分のエッジ部分を削除することにより、互いに重なっている同色の図形成分を分離しやすくする。このような処理により生成した差分画像が図９（ｄ）に示される。
【００５１】
図１０（ａ）、（ｂ）には、図９（ｂ）及び図９（ｃ）において、３つの道路標識のうち下２つの道路標識の２値化画像及びエッジ画像の拡大図が示される。本例では、２つの道路標識の右側に、道路標識と同色（赤色）の横Ｔ字型の対象物が存在している。この場合、図１０（ａ）の２値化画像では、道路標識と横Ｔ字型の対象物とが重なり、道路標識の識別に悪影響を及ぼす可能性がある。そこで、図１０（ｂ）に示されるエッジ画像を生成し、エッジ部分を２値化画像から削除する差分処理を行えば、道路標識の画像と横Ｔ字型対象物の画像との間に隙間を確保でき、画像の分離が行えるので、道路標識の識別を容易に行うことができる。
【００５２】
次に、画像解析部４２は、上記２値化画像及び差分画像から道路標識に使用されている円、三角形、四角形などの形状や、その形状の中に描かれたパターン（模様）を抽出し、これにより画像中の道路標識が存在する可能性のある候補領域を抽出する（Ｓ６）。この場合の画像解析部４２が、本発明の候補領域抽出手段に相当する。
【００５３】
図１１には、上記候補領域を抽出するために使用する形状及びパターンの例が示される。図１１において、上段（１行目）には、各道路標識が示され、中段（２行目）にはパターンの例が示され、下段（３行目）には形状の例が示されている。画像解析部４２は、このような形状及びパターンを、図９（ｂ）の２値化画像及び図９（ｄ）の差分画像と比較することにより候補領域を抽出する。なお、上記形状及びパターンは、予め記憶部１６に記憶しておく。
【００５４】
さらに、画像解析部４２は、この候補領域の中に存在する道路標識の候補画像と予め記憶部１６に記憶されている道路標識のパターン及び形状とをマッチングし、道路標識画像を決定する（Ｓ７）。この場合の画像解析部４２が、本発明の道路標識抽出手段に相当する。
【００５５】
図１２（ａ）、（ｂ）には、道路標識画像の決定に使用するパターンとエッジ画像及び決定手順の例が示される。図１２（ａ）は、道路標識画像の決定に使用するパターンとエッジ画像の例であり、左端の列に各道路標識が示され、他の３列に、それぞれ対応する２種類のパターンと１種類のエッジ画像が示されている。
【００５６】
図１２（ｂ）に示されるように、候補領域の中に存在する道路標識の候補画像について、色分割部３６、エッジ抽出部３８がパターン及びエッジ画像を抽出し、これを図１２（ａ）のパターン及びエッジ画像と比較する。これにより、パターン及びエッジ画像が最も近似する道路標識を上記候補画像と一致する道路標識として決定する。これにより、画像解析部４２は、道路標識の候補画像について、該当する道路標識の種類を識別することができる。
【００５７】
なお、ステレオ画像取得部３４が取得するステレオ画像においては、建物の壁面等に道路標識類似の図形が描かれている場合もある。これらの類似画像を除去するために、３次元座標解析部４４が、ステレオ画像に含まれる各画像成分の座標情報を抽出し、画像解析部４２が、座標情報が壁面と同じである画像成分を壁面に描かれた画像と判断して道路標識ではないと判断する構成とするのが好適である。また、道路標識として通常存在し得ない高さに存在する画像成分も道路標識ではないと判断することができる。これにより、道路標識以外の画像成分を適切に除去することができる。
【００５８】
また、本実施形態では、ステレオ画像取得部３４は、ステレオ撮像装置１０が取得したステレオ画像データを時間データと関連付けて複数取得し、記憶部１６に記憶しておく。また、画像解析部４２は、道路標識の候補画像について３次元座標解析部４４が求めた座標情報が、上記複数のステレオ画像データで互いに同じである場合に、当該候補画像を道路標識と判断する。道路標識は複数のステレオ画像で同じ３次元座標を有するからである。この構成により、道路標識の抽出精度をさらに高くすることができる。
【００５９】
さらに、ステレオ画像取得部３４が取得するステレオ画像は、必ずしも正面から撮影された画像とは限らず、また樹木等により一部が隠されて欠落している画像である場合もある。このため、上記決定プロセスにでは対応できない場合もある。そこで、画像解析部４２には、例えばニューラルネットワークを利用して学習機能を付加し、図形成分の欠落、変形に対して正しく道路標識を抽出できるように学習を行わせる構成とするのが好適である。この構成により、道路標識の抽出精度をさらに高くすることができる。
【００６０】
以上のようにして抽出した道路標識の３次元位置情報を３次元座標解析部４４が求め、この３次元位置情報と道路標識画像とを関連付けてデータベース部４６に記憶し、また過去に取得したデータの更新を行う（Ｓ８）。これにより、道路上に設置された道路標識のデータベースを容易に作成及び更新することができる。ここで、上記３次元座標解析部４４が、本発明の３次元位置情報取得手段に相当する。
【図面の簡単な説明】
【００６１】
【図１】本発明にかかる道路標識データベース構築装置の構成例のブロック図である。
【図２】ステレオ撮像装置の構成のブロック図である。
【図３】本発明にかかる道路標識データベース構築装置の各機能を表す機能ブロック図である。
【図４】本発明にかかる道路標識データベース構築装置の動作例のフロー図である。
【図５】色変換により生成したＹ成分の画像の例を示す図である。
【図６】色分割により生成されたＣｒ画像の例を示す図である。
【図７】Ｃｒ画像のヒストグラムを示す図である。
【図８】赤色の成分の２値化画像を示す図である。
【図９】差分画像を生成する工程の説明図である。
【図１０】道路標識の２値化画像及びエッジ画像の拡大図である。
【図１１】候補領域を抽出するために使用する形状及びパターンの例を示す図である。
【図１２】道路標識画像の決定に使用するパターンとエッジ画像及び決定手順の例を示す図である。
【符号の説明】
【００６２】
１０ ステレオ撮像装置、１２ 画像取得インターフェース、１４ ＣＰＵ、１６ 記憶部、１８ 操作部、２０ 表示部、２２ 出力インターフェース、２４、２６ カメラ、２８ ３次元情報取得部、３０ 画像情報処理部、３２ 画像情報出力部、３４ ステレオ画像取得部、３６ 色分割部、３８ エッジ抽出部、４０ 差分処理部、４２ 画像解析部、４４ ３次元座標解析部、４６ データベース部。
【特許請求の範囲】
【請求項１】
ステレオ撮像手段により撮像したステレオ画像データを取得するステレオ画像取得手段と、
前記ステレオ画像データに対して色分割処理を行い、対象となる道路標識を含む２値化画像を取得する色分割手段と、
前記ステレオ画像データから、対象となる道路標識のエッジ画像の抽出を行うエッジ抽出手段と、
前記道路標識を含む２値化画像と、前記エッジ画像との差分画像を取得する差分処理手段と、
前記２値化画像及び差分画像から前記道路標識が存在する可能性のある候補領域を抽出する候補領域抽出手段と、
前記候補領域中の画像と道路標識のサンプル画像と比較し、道路標識画像を抽出する道路標識抽出手段と、
前記ステレオ画像から前記道路標識の３次元位置情報を取得する３次元位置情報取得手段と、
前記道路標識画像を、その３次元位置情報と関連付けて記憶する記憶手段と、
を備えることを特徴とする道路標識データベース構築装置。
【請求項２】
請求項１記載の道路標識データベース構築装置において、前記色分割手段は、ＹＣｒＣｂ色空間において色分割処理を行うことを特徴とする道路標識データベース構築装置。
【請求項３】
請求項１または請求項２記載の道路標識データベース構築装置において、前記道路標識抽出手段は、前記３次元位置情報取得手段が取得した前記候補画像中の画像成分の座標情報に基づき、前記道路標識画像以外の画像成分を除去することを特徴とする道路標識データベース構築装置。
【請求項４】
請求項１から請求項３のいずれか一項記載の道路標識データベース構築装置において、前記道路標識抽出手段は、前記道路標識画像の種類を識別することを特徴とする道路標識データベース構築装置。
【請求項５】
請求項１から請求項４のいずれか一項記載の道路標識データベース構築装置において、前記ステレオ画像取得手段は、ステレオ撮像手段が取得したステレオ画像データを時間データと関連付けて複数取得し、前記道路標識抽出手段は、前記複数のステレオ画像データに含まれ、互いに同じ座標情報を有する前記候補画像中の画像成分を道路標識と判断することを特徴とする道路標識データベース構築装置。
【請求項６】
請求項１から請求項５のいずれか一項記載の道路標識データベース構築装置において、前記道路標識抽出手段は、図形成分に欠落、変形が存在しても道路標識の抽出を正しく行うための学習機能を備えることを特徴とする道路標識データベース構築装置。
【請求項７】
請求項６記載の道路標識データベース構築装置において、前記学習機能は、ニューラルネットワークにより構成されていることを特徴とする道路標識データベース構築装置。
【請求項１】
ステレオ撮像手段により撮像したステレオ画像データを取得するステレオ画像取得手段と、
前記ステレオ画像データに対して色分割処理を行い、対象となる道路標識を含む２値化画像を取得する色分割手段と、
前記ステレオ画像データから、対象となる道路標識のエッジ画像の抽出を行うエッジ抽出手段と、
前記道路標識を含む２値化画像と、前記エッジ画像との差分画像を取得する差分処理手段と、
前記２値化画像及び差分画像から前記道路標識が存在する可能性のある候補領域を抽出する候補領域抽出手段と、
前記候補領域中の画像と道路標識のサンプル画像と比較し、道路標識画像を抽出する道路標識抽出手段と、
前記ステレオ画像から前記道路標識の３次元位置情報を取得する３次元位置情報取得手段と、
前記道路標識画像を、その３次元位置情報と関連付けて記憶する記憶手段と、
を備えることを特徴とする道路標識データベース構築装置。
【請求項２】
請求項１記載の道路標識データベース構築装置において、前記色分割手段は、ＹＣｒＣｂ色空間において色分割処理を行うことを特徴とする道路標識データベース構築装置。
【請求項３】
請求項１または請求項２記載の道路標識データベース構築装置において、前記道路標識抽出手段は、前記３次元位置情報取得手段が取得した前記候補画像中の画像成分の座標情報に基づき、前記道路標識画像以外の画像成分を除去することを特徴とする道路標識データベース構築装置。
【請求項４】
請求項１から請求項３のいずれか一項記載の道路標識データベース構築装置において、前記道路標識抽出手段は、前記道路標識画像の種類を識別することを特徴とする道路標識データベース構築装置。
【請求項５】
請求項１から請求項４のいずれか一項記載の道路標識データベース構築装置において、前記ステレオ画像取得手段は、ステレオ撮像手段が取得したステレオ画像データを時間データと関連付けて複数取得し、前記道路標識抽出手段は、前記複数のステレオ画像データに含まれ、互いに同じ座標情報を有する前記候補画像中の画像成分を道路標識と判断することを特徴とする道路標識データベース構築装置。
【請求項６】
請求項１から請求項５のいずれか一項記載の道路標識データベース構築装置において、前記道路標識抽出手段は、図形成分に欠落、変形が存在しても道路標識の抽出を正しく行うための学習機能を備えることを特徴とする道路標識データベース構築装置。
【請求項７】
請求項６記載の道路標識データベース構築装置において、前記学習機能は、ニューラルネットワークにより構成されていることを特徴とする道路標識データベース構築装置。
【図１】
【図２】
【図３】
【図４】
【図１０】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１１】
【図１２】
【図２】
【図３】
【図４】
【図１０】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１１】
【図１２】
【公開番号】特開２００７−２６５２９２（Ｐ２００７−２６５２９２Ａ）
【公開日】平成１９年１０月１１日（２００７．１０．１１）
【国際特許分類】
【出願番号】特願２００６−９２５３０（Ｐ２００６−９２５３０）
【出願日】平成１８年３月２９日（２００６．３．２９）
【出願人】（５０６１０６９９２）株式会社ディーイーテック (3)
【Ｆターム（参考）】
【公開日】平成１９年１０月１１日（２００７．１０．１１）
【国際特許分類】
【出願日】平成１８年３月２９日（２００６．３．２９）
【出願人】（５０６１０６９９２）株式会社ディーイーテック (3)
【Ｆターム（参考）】
[ Back to top ]