画像処理装置、画像処理方法
【課題】 検出対象物との距離やカメラの光軸と検出対象物の仰角の変動に対応して検出対象物の検出が可能な画像処理装置を提供する。
【解決手段】 車両の走行方向前方を撮影する撮影装置３と、車両位置検出装置１から取得した車両位置に対応づけて道路地図を格納した地図データベース２と、車両位置検出装置１から取得した車両位置と、地図データベース２から抽出した車両位置の前方にある交通用表示器７の位置との距離に基づき、大きさを調整した交通用表示器認識用テンプレートを作成するテンプレート作成手段９と、テンプレート作成手段により作成されたテンプレートを用いて、撮影装置３により撮影された画像から交通用表示器７を認識する交通用表示器認識手段５と、を有することを特徴とする画像処理装置を提供する。
【解決手段】 車両の走行方向前方を撮影する撮影装置３と、車両位置検出装置１から取得した車両位置に対応づけて道路地図を格納した地図データベース２と、車両位置検出装置１から取得した車両位置と、地図データベース２から抽出した車両位置の前方にある交通用表示器７の位置との距離に基づき、大きさを調整した交通用表示器認識用テンプレートを作成するテンプレート作成手段９と、テンプレート作成手段により作成されたテンプレートを用いて、撮影装置３により撮影された画像から交通用表示器７を認識する交通用表示器認識手段５と、を有することを特徴とする画像処理装置を提供する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車両が走行する周囲の環境を認識する画像処理装置又は画像処理方法に関し、特に、画像処理により周囲の環境を認識する画像処理装置又は画像処理方法に関する。
【背景技術】
【０００２】
車両に搭載されるカメラや情報処理の能力の向上に伴って、自車両が走行する周囲の環境を認識して、ドライバーに危険回避操作を促したり、車両に制動を加える等の自動制御を行う技術が提案されている。周囲の環境は、例えば、車両の進行方向前方にある信号の状態や先行車両であり、車載したカメラにより撮影された信号の状態や先行車両との距離に応じて、運転者に注意を促し又車両に自動的に制動を加える（例えば、特許文献１参照。）。
【０００３】
特許文献１に記載された信号認識の技術は、交差点までの距離と予め設定してある信号機の高さの知識に基づき、車両の前方を撮影した画像から信号機が存在すると推定される領域を決定し、その内部の色情報から信号の状態を識別する。
【０００４】
ところで、先行車両など認識の対象物との距離が変動すると画像における対象物の大きさも変動するため、対象物との距離を考慮して画像から対象物を検出する技術が提案されている（例えば、特許文献２参照）。特許文献２記載の画像認識の技術では、対象物の画像のテンプレートを作成した後、対象物との距離情報を取得し、距離の変動に伴いテンプレートを拡大・縮小することで、撮影されるリアルタイムの画像から精度よく対象物を検出することを図る。
【特許文献１】特開平１０−１８７９３０号公報
【特許文献２】特開２００４−５３２７８号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１には、交差点までの距離と予め設定してある信号機の高さとの知識に基づき信号を認識すると記載されているがその具体的な構成が記載されておらず、交差点までの距離と信号機の高さの知識をどのように利用して信号の状態を識別するか明らかにされていない。
【０００６】
また、テンプレートマッチングにおいては、テンプレートに対し画像が傾斜したり歪んだ場合、認識率が低下するという問題が生じるが、特許文献１又は特許文献２記載の画像認識の技術では、信号機のように距離に応じて車載したカメラの光軸と対象物の仰角が変動し画像が傾斜等する場合の対処について記載されていない。
【０００７】
また、テンプレートを拡大・縮小することで認識精度の向上を図った場合、対象物に近づくほど大きく撮影されるため、大きなテンプレートでマッチングすることとなる。しかしながら、テンプレートマッチングでは撮影された画像を１画素ずつずらしながら切り出し、テンプレートとの相関を計算するため、テンプレートが大きいと相関の計算負荷が増大する。計算負荷が増大するとフレームレートに追随した画像認識が困難となり、適切に信号を識別できない場合があるという問題が生じる。
【０００８】
本発明は、上記問題に鑑み、検出対象物との距離やカメラの光軸と検出対象物の仰角の変動に対応して検出対象物の検出が可能な画像処理装置を提供することを目的とする。
【課題を解決するための手段】
【０００９】
上記問題を解決するため、本発明は、 車両の走行方向前方を撮影する撮影装置と、車両位置検出装置から取得した車両位置に対応づけて道路地図を格納した地図データベースと、車両位置検出装置から取得した車両位置と、地図データベースから抽出した車両位置の前方にある交通用表示器の位置との距離に基づき、大きさを調整した交通用表示器認識用テンプレートを作成するテンプレート作成手段と、テンプレート作成手段により作成されたテンプレートを用いて、撮影装置により撮影された画像から交通用表示器を認識する交通用表示器認識手段と、を有することを特徴とする。
【００１０】
本発明によれば、検出対象物との距離の変動に対応して検出が可能な画像処理装置を提供することができる。交通用表示器は、例えば、信号機又は道路標識である。
【００１１】
また、本発明の一形態において、テンプレート作成手段は、撮影装置と交通用表示器との仰角に基づき、撮影装置に撮影される交通用表示器の像に類似した交通用表示器認識用テンプレートを作成する、ことを特徴とする。
【００１２】
本発明によれば、カメラの光軸と交通用表示器との仰角の変動に対応して検出が可能な画像処理装置を提供することができる。類似とは「似ている」の意であり、同一又は相似形であってもよいし同一又は相似形でなくてもよい。すなわち、撮影された信号機等の交通用表示器を検出できる程度に似ていればよい。
【００１３】
また、本発明の一形態において、交通用表示器認識手段は、車両位置の前方にある交通用表示器と車両との距離が所定以下の場合、撮影装置により撮影された画像を圧縮して交通用表示器を認識する、ことを特徴とする。
【００１４】
本発明によれば、認識の対象となる画像が大きい場合に画像を圧縮するので、計算負荷を所定以下に保ち画像認識を行うことができる。
【００１５】
また、本発明の一形態において、交通用表示器認識手段は、テンプレートマッチングにより交通用表示器を認識する、ことを特徴とする。なお、認識方法はテンプレートマッチングに限られない、
また、本発明は、車両位置検出装置から取得した車両位置と、該車両位置に対応づけて道路地図を格納した地図データベースから抽出した車両位置の前方にある交通用表示器の位置との距離に基づき、大きさを調整した交通用表示器認識用テンプレートを作成するテンプレート作成ステップ（Ｓ７）と、テンプレート作成ステップにより作成されたテンプレートを用いて、車両の走行方向前方を撮影する撮影装置により撮影された画像から交通用表示器を識別する交通用表示器識別ステップ（Ｓ８）と、を有することを特徴とする画像処理方法を提供する。
【００１６】
また、本発明の一形態において、テンプレート作成ステップ（Ｓ７）は、撮影装置と交通用表示器との仰角に基づき、撮影装置に撮影される交通用表示器の像に類似した交通用表示器認識用テンプレートを作成する、ことを特徴とする。
【００１７】
また、本発明の一形態において、交通用表示器識別ステップ（Ｓ７）は、車両位置の前方にある交通用表示器と車両との距離が所定以下の場合、撮影装置により撮影された画像を圧縮して交通用表示器を認識する、ことを特徴とする。
【発明の効果】
【００１８】
検出対象物との距離やカメラの光軸と検出対象物の仰角の変動に対応して検出対象物の検出が可能な画像処理装置を提供することができる。
【発明を実施するための最良の形態】
【００１９】
以下、本発明を実施するための最良の形態について、図面を用いて実施例を挙げながら説明する。本実施の形態の画像処理装置の概要を図１を参照して説明する。車両１０は路面を走行しながら、車載した撮影装置３により進行方向前方の交通用表示器（信号機）７を連続的に撮影し、信号３３を含む車両の進行方向前方の画像８を取得する。交通用表示器７は、信号機や道路標識、電子掲示板、道路交通網表示板等、車両が交通する場合に種々の情報や交通規則を表示するための表示装置である。本実施の形態では一例として信号機を用いて説明するが、大きさと形状が定まっている表示装置であればよい。
【００２０】
車両１０は、次述するように車両位置検出装置１と道路地図データベース２を備えており、現在の車両位置に基づき道路地図データベース２から進行方向前方の信号機７の位置及び高さHを抽出する。画像処理装置は、車両位置と信号機の位置とに基づき信号機７までの距離D1を算出する。また、車両１０における撮影装置３が搭載された高さCHは既知であるので、撮影装置の高さCHと信号機の高さH、及び、信号機までの距離D1に基づき、撮影装置３から信号までの直線距離D1’及び仰角θを算出できる。
D1’＝ √｛D1２＋（H-CH）２｝ … （１）
θ ＝ arctan（H-CH／D1） … （２）
画像処理装置は、画像から信号機を検出するが、撮影装置３から信号までの直線距離D1’を用いることで画像の大きさと同程度のテンプレートを用いることができ、認識率の向上が可能となる。
【００２１】
例えば、テンプレートマッチングにより信号機を検出する場合、撮影装置３から信号までの直線距離D1’に応じて画像の大きさと同程度のテンプレートを用いることができる。また、サポートベクターマシンやニューラルネットワークなどの機械学習により信号機を検出する場合、予め大きさの異なる信号機のテンプレートが格納された学習データベースを備えておき、信号機までの直線距離D1’に応じて参照する学習データベースを使い分けることで認識率の向上が図れる。本実施例では、テンプレートマッチングにより信号機を検出する。
【００２２】
また、後述するように、撮影装置３の光軸と信号機７の仰角θを考慮して、信号機７の画像が傾斜したり歪んでも、像に類似するテンプレートを作成することができる。
【００２３】
図２は、本実施の形態の画像処理装置の構成図を示す。画像処理装置は、車両位置検出装置１、道路地図データベース２，撮影装置３、認識枠作成装置４、交通用表示器認識手段５及び出力装置６を有するように構成される。
【００２４】
車両位置検出装置１は、ＧＰＳ（Global Positioning System）装置を搭載しており、ＧＰＳ衛星から送信される衛星測位情報の到達時間とＧＰＳ衛星の軌道情報に基づき現在の位置を検出する。また、車両位置検出装置１は、慣性航法システム
(Inertial Navigation System) を備え、ジャイロセンサと加速度センサを用いてＧＰＳ衛星からの電波を受信できない場合も車両位置の検出が可能であり、また、ＧＰＳ装置により検出された位置を高精度に補正する。ジャイロセンサは移動体の角速度を検出し、加速度センサは移動体の角速度を検出する。ＧＰＳ衛星から検出した車両の初期位置から、これらのデータを用い相対位置(累積距離)、
速度、ヨー角および方位角を連続的に求めることで、車両位置を高精度に検出できる。
【００２５】
地図データベース２は、経度や緯度といった車両位置の座標に対応づけて道路地図データが格納されたデータベースである。図３は、地図データベースに格納された道路地図データの一例を示す。道路地図データは、実際の道路網に対応して、ノード(道路と道路が交差する点、すなわち交差点)に関係する情報と、リンク(ノードとノードを接続する道路)に関係する情報とからなるテーブル状のデータベースに格納される。
【００２６】
ノードテーブルは、ノードの番号、座標、そのノードから流出するリンク数及びそれらのリンク番号を有する。また、リンクテーブルは、リンクの番号、リンクを構成する始点ノードと終点ノード、リンク長を有する。ノード番号及びリンク番号は、互いに重複しないように定められている。したがって、ノード番号とリンク番号をそれぞれ辿ることで道路網が形成される。地図データベースには図２のデータの他にも、ノードに隣接するノード、右折の可否、リンクの幅員等の情報が付加されている。
【００２７】
また、道路地図データには、道路以外にも、信号機、建物や公園などの施設、鉄道、水系などの位置や、名称データ等が格納されている。本実施の形態の画像処理装置では、地図データベースに各信号機の位置（座標）と各信号機の高さが格納されているものとし、信号機の位置と高さを用いて、信号を認識するための信号認識テンプレートを作成する。
【００２８】
図２に戻り、撮影装置３はＣＣＤやＣＭＯＳなど光電変換素子で構成される。車両前方から入射した光をフォトダイオードで光電変換し、蓄積した電荷を電圧として読み出し増幅して出力する。撮影装置３は、例えば３０〜６０回／秒の速度のフレームレートで撮影した画像を撮影し、撮影された画像データを所定のバッファ等に保持する。後述する交通用表示器認識手段５は、各画像から信号機を認識する。
【００２９】
認識枠作成装置４は、撮影された画像から信号機を認識するための認識枠を作成する。認識枠を作成することで、撮影された画像全体から信号機を認識するのに比べ認識時間を短縮できる。認識枠作成装置４は、信号機があるとされる画像の上半分、又は、左上から水平方向と垂直方向に所定長の長さにより切り取られる枠を認識枠として作成する。画像全体に対して画像の水平方向及び垂直方向の輝度の変化を微分処理して強調し、道路や先行車両との境を検出することより認識枠を設定してもよい。
【００３０】
図４は、撮影装置３により撮影される画像と画像に作成された認識枠の一例を示す。撮影された画像には先行車両３１や中央線３２、信号機３３が撮影され、画像の中央上方に認識枠３０が作成されている。交通用表示器認識手段５が信号機３３を認識する場合、認識枠３０を信号機のテンプレートを用いて走査することで信号機３３が認識される。
【００３１】
続いて、交通用表示器認識手段５について説明する。交通用表示器認識手段５は撮影された画像から信号機３３を認識し、信号の状態（赤、青、黄）を識別する。交通用表示器認識手段５はテンプレート作成手段９を有する。テンプレート作成手段９は、予め保持する信号機の標準テンプレートを、撮影装置３から信号機３３までの直線距離D1’と仰角θに基づき調整し、撮影された信号機３３を認識するためのテンプレートを作成する。交通用表示器認識手段５は、テンプレート作成手段９が作成したテンプレートを用いて、テンプレートマッチングや上記のサポートベクターマシンやニューラルネットワークなどの機械学習により信号機３３を認識する。
【００３２】
まず、テンプレート作成手段９が撮影装置３から信号機３３までの直線距離D1’に応じてテンプレートの大きさを計算する方法を説明する。テンプレートマッチングを行う場合、信号機のテンプレートの大きさと、信号機３３が画像として撮影された場合の大きさ（以下、単に、信号機３３の画像の大きさという）とが同程度の大きさでないと認識が困難となる。例えば、信号機３３の画像の大きさが不明な場合、種々の大きさの信号機のテンプレートを用いてテンプレートマッチングを行う必要が生じ、認識に長時間かかることとなる。本実施の形態では、信号機３３の画像の大きさを撮影装置３から信号までの直線距離D1’に基づき算出することで、テンプレートの大きさを調整し、信号認識の処理能力を向上させる。
【００３３】
信号機３３の画像の大きさは、認識枠３０の実際の大きさＸ２、認識枠３０が撮影装置３に撮影される撮像面の大きさＸ１（例えばＣＣＤの所定範囲の大きさ。以下、単に、撮像面の大きさという）、焦点距離Ｆ及び撮影装置３から信号機７までの直線距離Ｄ１’に基づき算出される。
【００３４】
図５は、認識枠３０の実際の大きさＸ２、撮像面の大きさＸ１、焦点距離Ｆ及び信号機までの距離Ｄ１’の関係を示す図である。撮像面２２から焦点距離Ｆ離れた焦点位置にはレンズが置かれ、レンズから距離Ｄ１’の位置に信号機が存在する。なお、固体撮像素子を用いた撮像面２２は各辺の長さが数ミリ程度と非常に小さいため、レンズの焦点距離Ｆは非常に短い。このため、図１では焦点距離Ｆを省略した。
【００３５】
図５によれば、信号機３３を含む認識枠３０の実際の大きさＸ２は式（３）により算出される。
Ｘ２＝Ｘ１＊Ｄ１’／Ｆ …（３）
なお、Ｘ２は矩形であるので、Ｘ２の大きさは水平方向にＸ２（ｘ）、垂直方向にＸ２（ｙ）（単位は例えばｃｍ）となる。
【００３６】
図６は、撮像面２２に撮影される認識枠３０の一例を示す。認識枠３０には車両の進行方向前方の信号機３３が撮影されている。撮像面２２は、既知の数の画素（ピクセル）が縦横に配置して構成されており、認識枠３０の大きさは認識作成装置４が作成したため既知であるので、認識枠３０が撮影される撮像面２２のピクセル数も既知となる。したがって、認識枠３０は、例えば、水平方向にＸ２−Ｗピクセル、垂直方向にＸ２−Ｈピクセルの画素に撮影されている。
【００３７】
テンプレート作成手段９は、信号機３３が撮像面２２に形成する大きさを認識枠３０に対する比率として算出する。具体的には、撮影面の大きさＸ２が式（３）により算出されたので、Ｘ２に対する信号機３３の実測値の比率を求めることで、信号機３３が撮像面２２に形成する大きさを認識枠３０に対する比率として算出できる。
【００３８】
信号機３３の大きさは全国の道路でほぼ一定（例えば、実測値で垂直方向にＬＸ、垂直方向にＬＹ（単位は例えばｃｍ））であるので、Ｘ２の大きさに対する比は、
水平方向 ： ＬＸ／Ｘ２（ｘ）
垂直方向 ： ＬＹ／Ｘ２（ｙ）
となる（水平方向と垂直方向の比は同程度）。
【００３９】
認識枠３０は水平方向にＸ２−Ｗピクセル、垂直方向にＸ２−Ｈピクセルの画素に撮影されているので、信号機３３は、水平方向に、
（Ｘ２−Ｗ） ＊ ＬＸ／Ｘ２（ｘ） … 式（４）−１
のピクセルに、垂直方向に、
（Ｘ２−Ｈ） ＊ ＬＹ／Ｘ２（ｙ） … 式（４）−２
のピクセルに、それぞれ撮影されている。
【００４０】
テンプレート作成手段９は、標準テンプレートを式（４）で算出される大きさになるように縮小又は拡大することで、直線距離Ｄ１‘に基づいてテンプレートを作成する。
【００４１】
標準テンプレートの拡大・縮小にはアフィン変換を用いる。式（５）は拡大・縮小を行うアフィン変換の一例を示す。
【００４２】
【数１】
ただし、式（５）において、Ｓｘ＝Ｓｙは標準テンプレートの大きさと式（４）で算出される大きさとの比である。図７は、式（５）により作成された標準テンプレートが拡大・縮小された種々の大きさの信号機のテンプレートを示す。図７によれば、直線距離Ｄ１‘が大きいほど小さいテンプレートが得られる。
【００４３】
テンプレート作成手段９が撮影装置３の光軸が信号機３３となす仰角θに応じてテンプレートを調整する方法を説明する。図８は、信号機７との距離と仰角θとの関係を説明するための図である。図８に示すように、車両１０が走行して信号機７に近づくにつれ、仰角θが徐々に大きくなり、撮像面２２に投影される信号機の像が実際の信号機７の形状と異なることとなる。図８では、仰角θ２の場合、信号の円形部が中央の円では楕円状に、左右の円では斜め上方に長軸を有する楕円状に撮影されている。撮影装置３はレンズを有するが、撮像面２２に対する信号機の画像の入射角が大きくなると、収差（球面収差、コマ収差、歪曲収差、色収差）により焦点がずれる。このため、仰角θに応じて信号の円が楕円状等に撮影されることとなる。なお、像が仰角θに応じて異なることとなるのは、収差だけでなく光電変換素子の電気的な特性による場合もある。
【００４４】
テンプレートマッチングを行う場合、信号機のテンプレートと信号機の像が異なると信号機の認識が困難となるので、テンプレート作成手段９は、撮像面２２と信号機７の仰角θに基づき調整したテンプレートを作成する。
【００４５】
仰角θに応じた標準テンプレートの調整にはアフィン変換を用いる。式（６）は回転を行うアフィン変換の一例を示す。
【００４６】
【数２】
アフィン変換は画素毎に可能であるので、式（６）のような回転の変換を画素毎に１回以上行うことで、像に類似したテンプレートが得られる。回転だけでなく変形の変換を行ってもよい。なお、式（６）のφは、画素毎又は所定の画像範囲毎に定められる仰角θの関数である。
【００４７】
図９は標準テンプレートを回転して得られた信号機３３のテンプレートを示す。信号機の像と実際の形状とのずれは、距離Ｄ１‘が小さくなるほど（仰角θが大きくなるほど）大きくなるため、図９では距離Ｄ１’に応じてテンプレートを大きく調整すると共に、回転の変換を行ったテンプレートを示した。図９によれば、テンプレートは直線距離D1’が大きいほど小さくかつ像に近い形状となり、直線距離D1’が小さいほど大きくかつ実際の形状と異なる形状となる。
【００４８】
したがって、本実施の形態の交通用表示器認識手段５は、撮影装置３から信号機７までの直線距離D1’と仰角θに応じて、標準テンプレートを図７又は９に示すように調整して信号機３３を認識する。撮影装置３から信号までの直線距離D1’だけを考慮して図７のようなテンプレートを用いてもよいし、距離に加え仰角θを考慮したテンプレートを用いてもよい。交通用表示器認識手段５は、直線距離Ｄ１‘や仰角θに応じて調整されたテンプレートを用いることで、信号機３３の認識率を向上できると共に認識の処理時間を短縮できる。
【００４９】
なお、テンプレートマッチングは、テンプレートを１画素ずつずらしながら認識枠３０の全体を走査し、例えば輝度の分布の相関を計算する。そして、相関が最も高い値となった場合にテンプレートがある画像上の位置に信号があると認識する。赤、青又は黄の識別は、３つの円（又は楕円）のうち、最も輝度レベルの高い位置が点灯しているとして行う。
【００５０】
続いて、撮影される画像の大きさを考慮して信号機３３を認識する場合について説明する。上記のように信号機７に近づくと信号機３３の画像は大きく撮影される。テンプレートマッチングでは、撮影された画像を１画素ずつずらしながら切り出しテンプレートとの相関を計算するため、認識の対象となる画像が大きいと相関の計算負荷が増大する。計算負荷が増大するとフレームレートに追随した画像認識が困難となり、所望の処理時間内に信号を識別できない場合がある。
【００５１】
このため、本実施の形態の交通用表示器認識手段５は、認識の対象となる画像が大きい場合（信号機３３と撮像装置３との距離が近い場合）、撮像面２２に投影された画像を圧縮してテンプレートマッチングを行う。図１０は、図４に示した画像、及び、図４を圧縮した画像の一例を示す。画像の圧縮により認識枠３０が小さくなっている。これにより、信号機３３と撮像装置３との距離が近い場合でも計算負荷を増大させず、画像処理をリニアタイムに行うことが可能となる。なお、画像の圧縮は、画素を所定間隔で省略する等、どのように行ってもよい。
【００５２】
図１１は、画像処理の計算負荷を、信号機７と撮像装置３との距離に応じて示したものである。ラインＡは撮像面２２に撮影された画像を圧縮せずに処理した場合を、ラインＢは撮像面２２に撮影された画像を圧縮して処理した場合を、それぞれ示す。画像処理装置の計算能力を予め調べ、常にフレーム落ちがない範囲の負荷となるように、信号機３３と撮像装置３との距離が所定より近くなったら圧縮した画像を用いてテンプレートマッチングを行う。例えば、負荷が６０％以下であればフレーム落ちがない場合、図９のラインＣに示すように、信号機と撮像装置３との距離が約６０ｍより近くなったら、圧縮した画像を用いてテンプレートマッチングを行うことが好適となる。なお、画像３３を圧縮してテンプレートマッチングを行う場合、距離Ｄ１‘や仰角θに応じて調整したテンプレートを画像３３と同率で圧縮する。
【００５３】
交通用表示器認識手段５はテンプレートマッチングにより認識した認識結果を出力装置６に出力する。出力装置６は、液晶などのＦＰＤ（Ｆｌａｔ Ｐａｎｅｌ
Ｄｉｓｐｌａｙ）やスピーカで構成されている。交通用表示器認識手段５は、出力装置６に赤信号である旨の表示を行い、また、スピーカから速度を落とすように警告を発する。車両に制動を加えるなど、車両を自動制御してもよい。
【実施例１】
【００５４】
上述した構成を用いて画像処理装置が信号を認識する処理の流れを図１２のフローチャート図に基づき説明する。図１２のフローチャート図は、例えば、車両が走行を開始するとスタートし、当該処理を所定の時間間隔で繰り返す。
【００５５】
まず、認識枠作成装置４が認識枠３０を作成し（Ｓ１）、撮影装置３が車両の進行方向前方を撮影する（Ｓ２）。
【００５６】
ついで、車両位置検出装置１は車両の現在の位置と進行方向前方の信号機３３の位置を検出し（Ｓ３）、交通用表示器認識手段５に送出する。交通用表示器認識手段５は車両位置と信号機３３の位置に基づき、信号機３３との距離が所定以下（例えば、６０ｍ以下）か否かを判定する（Ｓ４）。
【００５７】
信号機３３との距離が所定以下の場合（ステップＳ４のＹｅｓ）、交通用表示器認識手段５は認識枠３０の圧縮し（Ｓ５）、信号機３３との距離が所定より大きい場合（ステップＳ４のＮｏ）、認識枠３０を圧縮しない。
【００５８】
ついで、交通用表示器認識手段５は、信号機３３との直線距離Ｄ１’に応じてテンプレートの大きさを算出する（Ｓ６）。すなわち、交通用表示器認識手段５は、式（３）及び式（４）を用いてテンプレートの大きさを算出する。
【００５９】
また、交通用表示器認識手段５は、算出された大きさのテンプレートとなるように式（５）により標準テンプレートを縮小・拡大し、また、仰角θに基づいて式（６）を用いて像に類似したテンプレートを作成する（Ｓ７）。
【００６０】
テンプレートが作成されると交通用表示器認識手段５は、テンプレートマッチングにより認識枠３０から信号機３３を認識し、また、信号の状態を識別する（Ｓ８）。
【００６１】
識別された信号が赤や黄色であれば、出力装置６から識別結果を出力し運転者に警告等を行う。画像処理装置は、車両を停車したり信号機のない高速道路を走行するまで、かかる処理を繰り返す。
【００６２】
図１１のフローチャート図に基づき信号を識別した場合の効果について説明する。約２０分程度の走行コースにおいて１６箇所の信号を通過し、本実施の形態の画像処理装置の効果を検証した。
【００６３】
信号機との距離情報を用いず大きさの異なるテンプレートを順に用いてテンプレートマッチングした場合と比べ、絶対距離Ｄ１’を用いて大きさを調整したテンプレートを用いた場合、計算負荷を４０％低減させることができた。
【００６４】
また、信号機と撮影装置との仰角θに関わらず距離情報に基づき大きさのみ異なるテンプレートを用いた場合と比べ、信号機と撮影装置との仰角θを用いて回転させたテンプレートを用いた場合、信号機との距離が近い場合の信号機の認識率を１０％向上させることができた。
【００６５】
また、信号機との距離が所定以下の場合に撮影された画像を圧縮せずにテンプレートマッチングを行った場合、画像の処理速度が３０ｆｐｓを下回ることがあったが、信号機との距離が所定以下の場合に撮影された画像を圧縮することで画像の処理速度を３０ｆｐｓ以上に保つことができた。
【００６６】
以上のように、本実施の形態の画像処理装置は、検出対象物との距離やカメラの光軸と対象物の仰角の変動に対応して画像の認識が可能である。
【図面の簡単な説明】
【００６７】
【図１】本実施の形態の画像処理装置の概要を説明するための図である。
【図２】画像処理装置の構成図である。
【図３】地図データベースに格納された道路地図データの一例である。
【図４】撮影装置により撮影される画像と画像に作成された認識枠の一例である。
【図５】認識枠の実際の大きさ、撮像面の大きさ、焦点距離及び信号機までの距離’の関係を示す図である。
【図６】撮像面に撮影された認識枠の一例である。
【図７】標準テンプレートを拡大・縮小された種々の大きさの信号機のテンプレートである。
【図８】信号機との距離と仰角の関係を説明するための図である。
【図９】仰角θに応じて標準テンプレートを回転して得られた信号機のテンプレートである。
【図１０】図４に示した画像及び図４を圧縮した画像の一例である。
【図１１】画像処理の計算負荷を、信号機と撮像装置との距離に応じて示した図である。
【図１２】画像処理装置が信号を認識する処理の流れを示すフローチャート図である。
【符号の説明】
【００６８】
１ 車両位置検出装置
２ 道路地図データベース
３ 撮影装置
４ 認識枠作成装置
５ 交通用表示器認識手段
６ 出力装置
７ 信号機
１０ 車両
２２ 撮像面
３０ 認識枠
３３ 撮影された信号機
【技術分野】
【０００１】
本発明は、車両が走行する周囲の環境を認識する画像処理装置又は画像処理方法に関し、特に、画像処理により周囲の環境を認識する画像処理装置又は画像処理方法に関する。
【背景技術】
【０００２】
車両に搭載されるカメラや情報処理の能力の向上に伴って、自車両が走行する周囲の環境を認識して、ドライバーに危険回避操作を促したり、車両に制動を加える等の自動制御を行う技術が提案されている。周囲の環境は、例えば、車両の進行方向前方にある信号の状態や先行車両であり、車載したカメラにより撮影された信号の状態や先行車両との距離に応じて、運転者に注意を促し又車両に自動的に制動を加える（例えば、特許文献１参照。）。
【０００３】
特許文献１に記載された信号認識の技術は、交差点までの距離と予め設定してある信号機の高さの知識に基づき、車両の前方を撮影した画像から信号機が存在すると推定される領域を決定し、その内部の色情報から信号の状態を識別する。
【０００４】
ところで、先行車両など認識の対象物との距離が変動すると画像における対象物の大きさも変動するため、対象物との距離を考慮して画像から対象物を検出する技術が提案されている（例えば、特許文献２参照）。特許文献２記載の画像認識の技術では、対象物の画像のテンプレートを作成した後、対象物との距離情報を取得し、距離の変動に伴いテンプレートを拡大・縮小することで、撮影されるリアルタイムの画像から精度よく対象物を検出することを図る。
【特許文献１】特開平１０−１８７９３０号公報
【特許文献２】特開２００４−５３２７８号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１には、交差点までの距離と予め設定してある信号機の高さとの知識に基づき信号を認識すると記載されているがその具体的な構成が記載されておらず、交差点までの距離と信号機の高さの知識をどのように利用して信号の状態を識別するか明らかにされていない。
【０００６】
また、テンプレートマッチングにおいては、テンプレートに対し画像が傾斜したり歪んだ場合、認識率が低下するという問題が生じるが、特許文献１又は特許文献２記載の画像認識の技術では、信号機のように距離に応じて車載したカメラの光軸と対象物の仰角が変動し画像が傾斜等する場合の対処について記載されていない。
【０００７】
また、テンプレートを拡大・縮小することで認識精度の向上を図った場合、対象物に近づくほど大きく撮影されるため、大きなテンプレートでマッチングすることとなる。しかしながら、テンプレートマッチングでは撮影された画像を１画素ずつずらしながら切り出し、テンプレートとの相関を計算するため、テンプレートが大きいと相関の計算負荷が増大する。計算負荷が増大するとフレームレートに追随した画像認識が困難となり、適切に信号を識別できない場合があるという問題が生じる。
【０００８】
本発明は、上記問題に鑑み、検出対象物との距離やカメラの光軸と検出対象物の仰角の変動に対応して検出対象物の検出が可能な画像処理装置を提供することを目的とする。
【課題を解決するための手段】
【０００９】
上記問題を解決するため、本発明は、 車両の走行方向前方を撮影する撮影装置と、車両位置検出装置から取得した車両位置に対応づけて道路地図を格納した地図データベースと、車両位置検出装置から取得した車両位置と、地図データベースから抽出した車両位置の前方にある交通用表示器の位置との距離に基づき、大きさを調整した交通用表示器認識用テンプレートを作成するテンプレート作成手段と、テンプレート作成手段により作成されたテンプレートを用いて、撮影装置により撮影された画像から交通用表示器を認識する交通用表示器認識手段と、を有することを特徴とする。
【００１０】
本発明によれば、検出対象物との距離の変動に対応して検出が可能な画像処理装置を提供することができる。交通用表示器は、例えば、信号機又は道路標識である。
【００１１】
また、本発明の一形態において、テンプレート作成手段は、撮影装置と交通用表示器との仰角に基づき、撮影装置に撮影される交通用表示器の像に類似した交通用表示器認識用テンプレートを作成する、ことを特徴とする。
【００１２】
本発明によれば、カメラの光軸と交通用表示器との仰角の変動に対応して検出が可能な画像処理装置を提供することができる。類似とは「似ている」の意であり、同一又は相似形であってもよいし同一又は相似形でなくてもよい。すなわち、撮影された信号機等の交通用表示器を検出できる程度に似ていればよい。
【００１３】
また、本発明の一形態において、交通用表示器認識手段は、車両位置の前方にある交通用表示器と車両との距離が所定以下の場合、撮影装置により撮影された画像を圧縮して交通用表示器を認識する、ことを特徴とする。
【００１４】
本発明によれば、認識の対象となる画像が大きい場合に画像を圧縮するので、計算負荷を所定以下に保ち画像認識を行うことができる。
【００１５】
また、本発明の一形態において、交通用表示器認識手段は、テンプレートマッチングにより交通用表示器を認識する、ことを特徴とする。なお、認識方法はテンプレートマッチングに限られない、
また、本発明は、車両位置検出装置から取得した車両位置と、該車両位置に対応づけて道路地図を格納した地図データベースから抽出した車両位置の前方にある交通用表示器の位置との距離に基づき、大きさを調整した交通用表示器認識用テンプレートを作成するテンプレート作成ステップ（Ｓ７）と、テンプレート作成ステップにより作成されたテンプレートを用いて、車両の走行方向前方を撮影する撮影装置により撮影された画像から交通用表示器を識別する交通用表示器識別ステップ（Ｓ８）と、を有することを特徴とする画像処理方法を提供する。
【００１６】
また、本発明の一形態において、テンプレート作成ステップ（Ｓ７）は、撮影装置と交通用表示器との仰角に基づき、撮影装置に撮影される交通用表示器の像に類似した交通用表示器認識用テンプレートを作成する、ことを特徴とする。
【００１７】
また、本発明の一形態において、交通用表示器識別ステップ（Ｓ７）は、車両位置の前方にある交通用表示器と車両との距離が所定以下の場合、撮影装置により撮影された画像を圧縮して交通用表示器を認識する、ことを特徴とする。
【発明の効果】
【００１８】
検出対象物との距離やカメラの光軸と検出対象物の仰角の変動に対応して検出対象物の検出が可能な画像処理装置を提供することができる。
【発明を実施するための最良の形態】
【００１９】
以下、本発明を実施するための最良の形態について、図面を用いて実施例を挙げながら説明する。本実施の形態の画像処理装置の概要を図１を参照して説明する。車両１０は路面を走行しながら、車載した撮影装置３により進行方向前方の交通用表示器（信号機）７を連続的に撮影し、信号３３を含む車両の進行方向前方の画像８を取得する。交通用表示器７は、信号機や道路標識、電子掲示板、道路交通網表示板等、車両が交通する場合に種々の情報や交通規則を表示するための表示装置である。本実施の形態では一例として信号機を用いて説明するが、大きさと形状が定まっている表示装置であればよい。
【００２０】
車両１０は、次述するように車両位置検出装置１と道路地図データベース２を備えており、現在の車両位置に基づき道路地図データベース２から進行方向前方の信号機７の位置及び高さHを抽出する。画像処理装置は、車両位置と信号機の位置とに基づき信号機７までの距離D1を算出する。また、車両１０における撮影装置３が搭載された高さCHは既知であるので、撮影装置の高さCHと信号機の高さH、及び、信号機までの距離D1に基づき、撮影装置３から信号までの直線距離D1’及び仰角θを算出できる。
D1’＝ √｛D1２＋（H-CH）２｝ … （１）
θ ＝ arctan（H-CH／D1） … （２）
画像処理装置は、画像から信号機を検出するが、撮影装置３から信号までの直線距離D1’を用いることで画像の大きさと同程度のテンプレートを用いることができ、認識率の向上が可能となる。
【００２１】
例えば、テンプレートマッチングにより信号機を検出する場合、撮影装置３から信号までの直線距離D1’に応じて画像の大きさと同程度のテンプレートを用いることができる。また、サポートベクターマシンやニューラルネットワークなどの機械学習により信号機を検出する場合、予め大きさの異なる信号機のテンプレートが格納された学習データベースを備えておき、信号機までの直線距離D1’に応じて参照する学習データベースを使い分けることで認識率の向上が図れる。本実施例では、テンプレートマッチングにより信号機を検出する。
【００２２】
また、後述するように、撮影装置３の光軸と信号機７の仰角θを考慮して、信号機７の画像が傾斜したり歪んでも、像に類似するテンプレートを作成することができる。
【００２３】
図２は、本実施の形態の画像処理装置の構成図を示す。画像処理装置は、車両位置検出装置１、道路地図データベース２，撮影装置３、認識枠作成装置４、交通用表示器認識手段５及び出力装置６を有するように構成される。
【００２４】
車両位置検出装置１は、ＧＰＳ（Global Positioning System）装置を搭載しており、ＧＰＳ衛星から送信される衛星測位情報の到達時間とＧＰＳ衛星の軌道情報に基づき現在の位置を検出する。また、車両位置検出装置１は、慣性航法システム
(Inertial Navigation System) を備え、ジャイロセンサと加速度センサを用いてＧＰＳ衛星からの電波を受信できない場合も車両位置の検出が可能であり、また、ＧＰＳ装置により検出された位置を高精度に補正する。ジャイロセンサは移動体の角速度を検出し、加速度センサは移動体の角速度を検出する。ＧＰＳ衛星から検出した車両の初期位置から、これらのデータを用い相対位置(累積距離)、
速度、ヨー角および方位角を連続的に求めることで、車両位置を高精度に検出できる。
【００２５】
地図データベース２は、経度や緯度といった車両位置の座標に対応づけて道路地図データが格納されたデータベースである。図３は、地図データベースに格納された道路地図データの一例を示す。道路地図データは、実際の道路網に対応して、ノード(道路と道路が交差する点、すなわち交差点)に関係する情報と、リンク(ノードとノードを接続する道路)に関係する情報とからなるテーブル状のデータベースに格納される。
【００２６】
ノードテーブルは、ノードの番号、座標、そのノードから流出するリンク数及びそれらのリンク番号を有する。また、リンクテーブルは、リンクの番号、リンクを構成する始点ノードと終点ノード、リンク長を有する。ノード番号及びリンク番号は、互いに重複しないように定められている。したがって、ノード番号とリンク番号をそれぞれ辿ることで道路網が形成される。地図データベースには図２のデータの他にも、ノードに隣接するノード、右折の可否、リンクの幅員等の情報が付加されている。
【００２７】
また、道路地図データには、道路以外にも、信号機、建物や公園などの施設、鉄道、水系などの位置や、名称データ等が格納されている。本実施の形態の画像処理装置では、地図データベースに各信号機の位置（座標）と各信号機の高さが格納されているものとし、信号機の位置と高さを用いて、信号を認識するための信号認識テンプレートを作成する。
【００２８】
図２に戻り、撮影装置３はＣＣＤやＣＭＯＳなど光電変換素子で構成される。車両前方から入射した光をフォトダイオードで光電変換し、蓄積した電荷を電圧として読み出し増幅して出力する。撮影装置３は、例えば３０〜６０回／秒の速度のフレームレートで撮影した画像を撮影し、撮影された画像データを所定のバッファ等に保持する。後述する交通用表示器認識手段５は、各画像から信号機を認識する。
【００２９】
認識枠作成装置４は、撮影された画像から信号機を認識するための認識枠を作成する。認識枠を作成することで、撮影された画像全体から信号機を認識するのに比べ認識時間を短縮できる。認識枠作成装置４は、信号機があるとされる画像の上半分、又は、左上から水平方向と垂直方向に所定長の長さにより切り取られる枠を認識枠として作成する。画像全体に対して画像の水平方向及び垂直方向の輝度の変化を微分処理して強調し、道路や先行車両との境を検出することより認識枠を設定してもよい。
【００３０】
図４は、撮影装置３により撮影される画像と画像に作成された認識枠の一例を示す。撮影された画像には先行車両３１や中央線３２、信号機３３が撮影され、画像の中央上方に認識枠３０が作成されている。交通用表示器認識手段５が信号機３３を認識する場合、認識枠３０を信号機のテンプレートを用いて走査することで信号機３３が認識される。
【００３１】
続いて、交通用表示器認識手段５について説明する。交通用表示器認識手段５は撮影された画像から信号機３３を認識し、信号の状態（赤、青、黄）を識別する。交通用表示器認識手段５はテンプレート作成手段９を有する。テンプレート作成手段９は、予め保持する信号機の標準テンプレートを、撮影装置３から信号機３３までの直線距離D1’と仰角θに基づき調整し、撮影された信号機３３を認識するためのテンプレートを作成する。交通用表示器認識手段５は、テンプレート作成手段９が作成したテンプレートを用いて、テンプレートマッチングや上記のサポートベクターマシンやニューラルネットワークなどの機械学習により信号機３３を認識する。
【００３２】
まず、テンプレート作成手段９が撮影装置３から信号機３３までの直線距離D1’に応じてテンプレートの大きさを計算する方法を説明する。テンプレートマッチングを行う場合、信号機のテンプレートの大きさと、信号機３３が画像として撮影された場合の大きさ（以下、単に、信号機３３の画像の大きさという）とが同程度の大きさでないと認識が困難となる。例えば、信号機３３の画像の大きさが不明な場合、種々の大きさの信号機のテンプレートを用いてテンプレートマッチングを行う必要が生じ、認識に長時間かかることとなる。本実施の形態では、信号機３３の画像の大きさを撮影装置３から信号までの直線距離D1’に基づき算出することで、テンプレートの大きさを調整し、信号認識の処理能力を向上させる。
【００３３】
信号機３３の画像の大きさは、認識枠３０の実際の大きさＸ２、認識枠３０が撮影装置３に撮影される撮像面の大きさＸ１（例えばＣＣＤの所定範囲の大きさ。以下、単に、撮像面の大きさという）、焦点距離Ｆ及び撮影装置３から信号機７までの直線距離Ｄ１’に基づき算出される。
【００３４】
図５は、認識枠３０の実際の大きさＸ２、撮像面の大きさＸ１、焦点距離Ｆ及び信号機までの距離Ｄ１’の関係を示す図である。撮像面２２から焦点距離Ｆ離れた焦点位置にはレンズが置かれ、レンズから距離Ｄ１’の位置に信号機が存在する。なお、固体撮像素子を用いた撮像面２２は各辺の長さが数ミリ程度と非常に小さいため、レンズの焦点距離Ｆは非常に短い。このため、図１では焦点距離Ｆを省略した。
【００３５】
図５によれば、信号機３３を含む認識枠３０の実際の大きさＸ２は式（３）により算出される。
Ｘ２＝Ｘ１＊Ｄ１’／Ｆ …（３）
なお、Ｘ２は矩形であるので、Ｘ２の大きさは水平方向にＸ２（ｘ）、垂直方向にＸ２（ｙ）（単位は例えばｃｍ）となる。
【００３６】
図６は、撮像面２２に撮影される認識枠３０の一例を示す。認識枠３０には車両の進行方向前方の信号機３３が撮影されている。撮像面２２は、既知の数の画素（ピクセル）が縦横に配置して構成されており、認識枠３０の大きさは認識作成装置４が作成したため既知であるので、認識枠３０が撮影される撮像面２２のピクセル数も既知となる。したがって、認識枠３０は、例えば、水平方向にＸ２−Ｗピクセル、垂直方向にＸ２−Ｈピクセルの画素に撮影されている。
【００３７】
テンプレート作成手段９は、信号機３３が撮像面２２に形成する大きさを認識枠３０に対する比率として算出する。具体的には、撮影面の大きさＸ２が式（３）により算出されたので、Ｘ２に対する信号機３３の実測値の比率を求めることで、信号機３３が撮像面２２に形成する大きさを認識枠３０に対する比率として算出できる。
【００３８】
信号機３３の大きさは全国の道路でほぼ一定（例えば、実測値で垂直方向にＬＸ、垂直方向にＬＹ（単位は例えばｃｍ））であるので、Ｘ２の大きさに対する比は、
水平方向 ： ＬＸ／Ｘ２（ｘ）
垂直方向 ： ＬＹ／Ｘ２（ｙ）
となる（水平方向と垂直方向の比は同程度）。
【００３９】
認識枠３０は水平方向にＸ２−Ｗピクセル、垂直方向にＸ２−Ｈピクセルの画素に撮影されているので、信号機３３は、水平方向に、
（Ｘ２−Ｗ） ＊ ＬＸ／Ｘ２（ｘ） … 式（４）−１
のピクセルに、垂直方向に、
（Ｘ２−Ｈ） ＊ ＬＹ／Ｘ２（ｙ） … 式（４）−２
のピクセルに、それぞれ撮影されている。
【００４０】
テンプレート作成手段９は、標準テンプレートを式（４）で算出される大きさになるように縮小又は拡大することで、直線距離Ｄ１‘に基づいてテンプレートを作成する。
【００４１】
標準テンプレートの拡大・縮小にはアフィン変換を用いる。式（５）は拡大・縮小を行うアフィン変換の一例を示す。
【００４２】
【数１】
ただし、式（５）において、Ｓｘ＝Ｓｙは標準テンプレートの大きさと式（４）で算出される大きさとの比である。図７は、式（５）により作成された標準テンプレートが拡大・縮小された種々の大きさの信号機のテンプレートを示す。図７によれば、直線距離Ｄ１‘が大きいほど小さいテンプレートが得られる。
【００４３】
テンプレート作成手段９が撮影装置３の光軸が信号機３３となす仰角θに応じてテンプレートを調整する方法を説明する。図８は、信号機７との距離と仰角θとの関係を説明するための図である。図８に示すように、車両１０が走行して信号機７に近づくにつれ、仰角θが徐々に大きくなり、撮像面２２に投影される信号機の像が実際の信号機７の形状と異なることとなる。図８では、仰角θ２の場合、信号の円形部が中央の円では楕円状に、左右の円では斜め上方に長軸を有する楕円状に撮影されている。撮影装置３はレンズを有するが、撮像面２２に対する信号機の画像の入射角が大きくなると、収差（球面収差、コマ収差、歪曲収差、色収差）により焦点がずれる。このため、仰角θに応じて信号の円が楕円状等に撮影されることとなる。なお、像が仰角θに応じて異なることとなるのは、収差だけでなく光電変換素子の電気的な特性による場合もある。
【００４４】
テンプレートマッチングを行う場合、信号機のテンプレートと信号機の像が異なると信号機の認識が困難となるので、テンプレート作成手段９は、撮像面２２と信号機７の仰角θに基づき調整したテンプレートを作成する。
【００４５】
仰角θに応じた標準テンプレートの調整にはアフィン変換を用いる。式（６）は回転を行うアフィン変換の一例を示す。
【００４６】
【数２】
アフィン変換は画素毎に可能であるので、式（６）のような回転の変換を画素毎に１回以上行うことで、像に類似したテンプレートが得られる。回転だけでなく変形の変換を行ってもよい。なお、式（６）のφは、画素毎又は所定の画像範囲毎に定められる仰角θの関数である。
【００４７】
図９は標準テンプレートを回転して得られた信号機３３のテンプレートを示す。信号機の像と実際の形状とのずれは、距離Ｄ１‘が小さくなるほど（仰角θが大きくなるほど）大きくなるため、図９では距離Ｄ１’に応じてテンプレートを大きく調整すると共に、回転の変換を行ったテンプレートを示した。図９によれば、テンプレートは直線距離D1’が大きいほど小さくかつ像に近い形状となり、直線距離D1’が小さいほど大きくかつ実際の形状と異なる形状となる。
【００４８】
したがって、本実施の形態の交通用表示器認識手段５は、撮影装置３から信号機７までの直線距離D1’と仰角θに応じて、標準テンプレートを図７又は９に示すように調整して信号機３３を認識する。撮影装置３から信号までの直線距離D1’だけを考慮して図７のようなテンプレートを用いてもよいし、距離に加え仰角θを考慮したテンプレートを用いてもよい。交通用表示器認識手段５は、直線距離Ｄ１‘や仰角θに応じて調整されたテンプレートを用いることで、信号機３３の認識率を向上できると共に認識の処理時間を短縮できる。
【００４９】
なお、テンプレートマッチングは、テンプレートを１画素ずつずらしながら認識枠３０の全体を走査し、例えば輝度の分布の相関を計算する。そして、相関が最も高い値となった場合にテンプレートがある画像上の位置に信号があると認識する。赤、青又は黄の識別は、３つの円（又は楕円）のうち、最も輝度レベルの高い位置が点灯しているとして行う。
【００５０】
続いて、撮影される画像の大きさを考慮して信号機３３を認識する場合について説明する。上記のように信号機７に近づくと信号機３３の画像は大きく撮影される。テンプレートマッチングでは、撮影された画像を１画素ずつずらしながら切り出しテンプレートとの相関を計算するため、認識の対象となる画像が大きいと相関の計算負荷が増大する。計算負荷が増大するとフレームレートに追随した画像認識が困難となり、所望の処理時間内に信号を識別できない場合がある。
【００５１】
このため、本実施の形態の交通用表示器認識手段５は、認識の対象となる画像が大きい場合（信号機３３と撮像装置３との距離が近い場合）、撮像面２２に投影された画像を圧縮してテンプレートマッチングを行う。図１０は、図４に示した画像、及び、図４を圧縮した画像の一例を示す。画像の圧縮により認識枠３０が小さくなっている。これにより、信号機３３と撮像装置３との距離が近い場合でも計算負荷を増大させず、画像処理をリニアタイムに行うことが可能となる。なお、画像の圧縮は、画素を所定間隔で省略する等、どのように行ってもよい。
【００５２】
図１１は、画像処理の計算負荷を、信号機７と撮像装置３との距離に応じて示したものである。ラインＡは撮像面２２に撮影された画像を圧縮せずに処理した場合を、ラインＢは撮像面２２に撮影された画像を圧縮して処理した場合を、それぞれ示す。画像処理装置の計算能力を予め調べ、常にフレーム落ちがない範囲の負荷となるように、信号機３３と撮像装置３との距離が所定より近くなったら圧縮した画像を用いてテンプレートマッチングを行う。例えば、負荷が６０％以下であればフレーム落ちがない場合、図９のラインＣに示すように、信号機と撮像装置３との距離が約６０ｍより近くなったら、圧縮した画像を用いてテンプレートマッチングを行うことが好適となる。なお、画像３３を圧縮してテンプレートマッチングを行う場合、距離Ｄ１‘や仰角θに応じて調整したテンプレートを画像３３と同率で圧縮する。
【００５３】
交通用表示器認識手段５はテンプレートマッチングにより認識した認識結果を出力装置６に出力する。出力装置６は、液晶などのＦＰＤ（Ｆｌａｔ Ｐａｎｅｌ
Ｄｉｓｐｌａｙ）やスピーカで構成されている。交通用表示器認識手段５は、出力装置６に赤信号である旨の表示を行い、また、スピーカから速度を落とすように警告を発する。車両に制動を加えるなど、車両を自動制御してもよい。
【実施例１】
【００５４】
上述した構成を用いて画像処理装置が信号を認識する処理の流れを図１２のフローチャート図に基づき説明する。図１２のフローチャート図は、例えば、車両が走行を開始するとスタートし、当該処理を所定の時間間隔で繰り返す。
【００５５】
まず、認識枠作成装置４が認識枠３０を作成し（Ｓ１）、撮影装置３が車両の進行方向前方を撮影する（Ｓ２）。
【００５６】
ついで、車両位置検出装置１は車両の現在の位置と進行方向前方の信号機３３の位置を検出し（Ｓ３）、交通用表示器認識手段５に送出する。交通用表示器認識手段５は車両位置と信号機３３の位置に基づき、信号機３３との距離が所定以下（例えば、６０ｍ以下）か否かを判定する（Ｓ４）。
【００５７】
信号機３３との距離が所定以下の場合（ステップＳ４のＹｅｓ）、交通用表示器認識手段５は認識枠３０の圧縮し（Ｓ５）、信号機３３との距離が所定より大きい場合（ステップＳ４のＮｏ）、認識枠３０を圧縮しない。
【００５８】
ついで、交通用表示器認識手段５は、信号機３３との直線距離Ｄ１’に応じてテンプレートの大きさを算出する（Ｓ６）。すなわち、交通用表示器認識手段５は、式（３）及び式（４）を用いてテンプレートの大きさを算出する。
【００５９】
また、交通用表示器認識手段５は、算出された大きさのテンプレートとなるように式（５）により標準テンプレートを縮小・拡大し、また、仰角θに基づいて式（６）を用いて像に類似したテンプレートを作成する（Ｓ７）。
【００６０】
テンプレートが作成されると交通用表示器認識手段５は、テンプレートマッチングにより認識枠３０から信号機３３を認識し、また、信号の状態を識別する（Ｓ８）。
【００６１】
識別された信号が赤や黄色であれば、出力装置６から識別結果を出力し運転者に警告等を行う。画像処理装置は、車両を停車したり信号機のない高速道路を走行するまで、かかる処理を繰り返す。
【００６２】
図１１のフローチャート図に基づき信号を識別した場合の効果について説明する。約２０分程度の走行コースにおいて１６箇所の信号を通過し、本実施の形態の画像処理装置の効果を検証した。
【００６３】
信号機との距離情報を用いず大きさの異なるテンプレートを順に用いてテンプレートマッチングした場合と比べ、絶対距離Ｄ１’を用いて大きさを調整したテンプレートを用いた場合、計算負荷を４０％低減させることができた。
【００６４】
また、信号機と撮影装置との仰角θに関わらず距離情報に基づき大きさのみ異なるテンプレートを用いた場合と比べ、信号機と撮影装置との仰角θを用いて回転させたテンプレートを用いた場合、信号機との距離が近い場合の信号機の認識率を１０％向上させることができた。
【００６５】
また、信号機との距離が所定以下の場合に撮影された画像を圧縮せずにテンプレートマッチングを行った場合、画像の処理速度が３０ｆｐｓを下回ることがあったが、信号機との距離が所定以下の場合に撮影された画像を圧縮することで画像の処理速度を３０ｆｐｓ以上に保つことができた。
【００６６】
以上のように、本実施の形態の画像処理装置は、検出対象物との距離やカメラの光軸と対象物の仰角の変動に対応して画像の認識が可能である。
【図面の簡単な説明】
【００６７】
【図１】本実施の形態の画像処理装置の概要を説明するための図である。
【図２】画像処理装置の構成図である。
【図３】地図データベースに格納された道路地図データの一例である。
【図４】撮影装置により撮影される画像と画像に作成された認識枠の一例である。
【図５】認識枠の実際の大きさ、撮像面の大きさ、焦点距離及び信号機までの距離’の関係を示す図である。
【図６】撮像面に撮影された認識枠の一例である。
【図７】標準テンプレートを拡大・縮小された種々の大きさの信号機のテンプレートである。
【図８】信号機との距離と仰角の関係を説明するための図である。
【図９】仰角θに応じて標準テンプレートを回転して得られた信号機のテンプレートである。
【図１０】図４に示した画像及び図４を圧縮した画像の一例である。
【図１１】画像処理の計算負荷を、信号機と撮像装置との距離に応じて示した図である。
【図１２】画像処理装置が信号を認識する処理の流れを示すフローチャート図である。
【符号の説明】
【００６８】
１ 車両位置検出装置
２ 道路地図データベース
３ 撮影装置
４ 認識枠作成装置
５ 交通用表示器認識手段
６ 出力装置
７ 信号機
１０ 車両
２２ 撮像面
３０ 認識枠
３３ 撮影された信号機
【特許請求の範囲】
【請求項１】
車両の走行方向前方を撮影する撮影装置と、
車両位置検出装置から取得した車両位置に対応づけて道路地図を格納した地図データベースと、
車両位置検出装置から取得した車両位置と、前記地図データベースから抽出した前記車両位置の前方にある交通用表示器の位置との距離に基づき、大きさを調整した交通用表示器認識用テンプレートを作成するテンプレート作成手段と、
前記テンプレート作成手段により作成されたテンプレートを用いて、前記撮影装置により撮影された画像から交通用表示器を認識する交通用表示器認識手段と、
を有することを特徴とする画像処理装置。
【請求項２】
前記テンプレート作成手段は、前記撮影装置と前記交通用表示器との仰角に基づき、前記撮影装置に撮影される交通用表示器の像に類似した前記交通用表示器認識用テンプレートを作成する、
ことを特徴とする請求項１記載の画像処理装置。
【請求項３】
前記交通用表示器認識手段は、前記車両位置の前方にある交通用表示器と車両との距離が所定以下の場合、前記撮影装置により撮影された前記画像を圧縮して交通用表示器を認識する、
ことを特徴とする請求項１又は２記載の画像処理装置。
【請求項４】
前記交通用表示器は、信号機又は道路標識であることを特徴とする、請求項１ないし３いずれか記載の画像処理装置。
【請求項５】
前記交通用表示器認識手段は、テンプレートマッチングにより交通用表示器を認識する、ことを特徴とする請求項１ないし４いずれか記載の画像処理装置。
【請求項６】
車両位置検出装置から取得した車両位置と、該車両位置に対応づけて道路地図を格納した地図データベースから抽出した前記車両位置の前方にある交通用表示器の位置との距離に基づき、大きさを調整した交通用表示器認識用テンプレートを作成するテンプレート作成ステップと、
前記テンプレート作成ステップにより作成されたテンプレートを用いて、車両の走行方向前方を撮影する撮影装置により撮影された画像から交通用表示器を識別する交通用表示器識別ステップと、
を有することを特徴とする画像処理方法。
【請求項７】
前記テンプレート作成ステップは、前記撮影装置と前記交通用表示器との仰角に基づき、前記撮影装置に撮影される交通用表示器の像に類似した前記交通用表示器認識用テンプレートを作成する、
ことを特徴とする請求項６記載の画像処理方法。
【請求項８】
前記交通用表示器識別ステップは、前記車両位置の前方にある交通用表示器と車両との距離が所定以下の場合、前記撮影装置により撮影された前記画像を圧縮して交通用表示器を認識する、
ことを特徴とする請求項６又は７記載の画像処理方法。
【請求項１】
車両の走行方向前方を撮影する撮影装置と、
車両位置検出装置から取得した車両位置に対応づけて道路地図を格納した地図データベースと、
車両位置検出装置から取得した車両位置と、前記地図データベースから抽出した前記車両位置の前方にある交通用表示器の位置との距離に基づき、大きさを調整した交通用表示器認識用テンプレートを作成するテンプレート作成手段と、
前記テンプレート作成手段により作成されたテンプレートを用いて、前記撮影装置により撮影された画像から交通用表示器を認識する交通用表示器認識手段と、
を有することを特徴とする画像処理装置。
【請求項２】
前記テンプレート作成手段は、前記撮影装置と前記交通用表示器との仰角に基づき、前記撮影装置に撮影される交通用表示器の像に類似した前記交通用表示器認識用テンプレートを作成する、
ことを特徴とする請求項１記載の画像処理装置。
【請求項３】
前記交通用表示器認識手段は、前記車両位置の前方にある交通用表示器と車両との距離が所定以下の場合、前記撮影装置により撮影された前記画像を圧縮して交通用表示器を認識する、
ことを特徴とする請求項１又は２記載の画像処理装置。
【請求項４】
前記交通用表示器は、信号機又は道路標識であることを特徴とする、請求項１ないし３いずれか記載の画像処理装置。
【請求項５】
前記交通用表示器認識手段は、テンプレートマッチングにより交通用表示器を認識する、ことを特徴とする請求項１ないし４いずれか記載の画像処理装置。
【請求項６】
車両位置検出装置から取得した車両位置と、該車両位置に対応づけて道路地図を格納した地図データベースから抽出した前記車両位置の前方にある交通用表示器の位置との距離に基づき、大きさを調整した交通用表示器認識用テンプレートを作成するテンプレート作成ステップと、
前記テンプレート作成ステップにより作成されたテンプレートを用いて、車両の走行方向前方を撮影する撮影装置により撮影された画像から交通用表示器を識別する交通用表示器識別ステップと、
を有することを特徴とする画像処理方法。
【請求項７】
前記テンプレート作成ステップは、前記撮影装置と前記交通用表示器との仰角に基づき、前記撮影装置に撮影される交通用表示器の像に類似した前記交通用表示器認識用テンプレートを作成する、
ことを特徴とする請求項６記載の画像処理方法。
【請求項８】
前記交通用表示器識別ステップは、前記車両位置の前方にある交通用表示器と車両との距離が所定以下の場合、前記撮影装置により撮影された前記画像を圧縮して交通用表示器を認識する、
ことを特徴とする請求項６又は７記載の画像処理方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【公開番号】特開２００７−４２５６（Ｐ２００７−４２５６Ａ）
【公開日】平成１９年１月１１日（２００７．１．１１）
【国際特許分類】
【出願番号】特願２００５−１８０６１２（Ｐ２００５−１８０６１２）
【出願日】平成１７年６月２１日（２００５．６．２１）
【出願人】（０００００３２０７）トヨタ自動車株式会社 (59,920)
【Ｆターム（参考）】
【公開日】平成１９年１月１１日（２００７．１．１１）
【国際特許分類】
【出願日】平成１７年６月２１日（２００５．６．２１）
【出願人】（０００００３２０７）トヨタ自動車株式会社 (59,920)
【Ｆターム（参考）】
[ Back to top ]