ナビゲーション装置、その制御方法及び制御プログラム
【課題】ナビゲーションの技術において、ジャイロセンサの総合的な取り付け角度にかかわらず、自車の旋回量を高精度に検出してジャイロセンサを効果的に補正する。
【解決手段】旋回量算出手段１２が、異なる各時点におけるカメラ５からの各画像をもとに、同じ特徴点とその変位量を検出することにより、その時点間における車両の旋回量を算出し（旋回量算出処理）、このように算出した旋回量と、その旋回量に対応したタイミングでジャイロセンサ７から得られた出力値と、に基いて、ジャイロ補正手段１４が、ナビゲーション手段１０におけるジャイロの調整値を補正する（ジャイロ補正処理）。
【解決手段】旋回量算出手段１２が、異なる各時点におけるカメラ５からの各画像をもとに、同じ特徴点とその変位量を検出することにより、その時点間における車両の旋回量を算出し（旋回量算出処理）、このように算出した旋回量と、その旋回量に対応したタイミングでジャイロセンサ７から得られた出力値と、に基いて、ジャイロ補正手段１４が、ナビゲーション手段１０におけるジャイロの調整値を補正する（ジャイロ補正処理）。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ナビゲーション技術の改良に関する。
【背景技術】
【０００２】
近年、電子技術の発達に伴い、車載用などのナビゲーション装置の普及がめざましい。ナビゲーション装置は、道路地図データをもとに、ＧＰＳなどで特定する自車の位置や方位を周辺地図上に表示したり、利用者が施設検索や地図スクロールなどで指定する目的地への経路を探索計算して設定し、画面表示や音声出力などで交差点での進行方向などの誘導案内を行うものである。
【０００３】
このようなナビゲーション装置では、車速パルス信号から走行距離を算出するほか、ジャイロセンサから車両の旋回方位を算出し、これらをさらに地図データと照合（マップマッチング）することにより、道路上での車両の現在位置と進行方位を求めている。
【０００４】
このうちの旋回方位については、具体的には、ジャイロセンサの検出軸を車両のヨー角方向となるように取り付けることで、鉛直方向の軸回りの角速度が検出でき、さらにこの角速度出力を積分することで車両の旋回量（方位）を算出できる。したがって、ジャイロセンサの検出軸が車両のヨー角方向からずれると車両旋回量を正確に算出できないこととなる。
【０００５】
その要因を図９の概念図で説明する。この図において、α１は、ナビゲーション装置内のジャイロセンサ取り付け角度と車両へのナビゲーション装置取り付け角度を合わせた角度、α２は、車両が走行する道路（傾斜路）の傾斜角度である。この場合、ジャイロセンサが検出する角速度は、鉛直軸に基く角速度ωではなく、その鉛直軸からαだけずれた軸に基く、角速度ωαである。
【０００６】
これに対して、ナビゲーション装置で用いられる地図データは２次元情報を基本としているので、求めるべき角速度は、上記の鉛直軸に基く角速度ωである。これを得るには、角度αを求め、調整用のジャイロ角度補正値（オフセット、オフセット値、調整値のようにも呼ぶ）として設定しておき、これによって方位センサの出力を補正（角度補正）すればよい。この補正は、具体的には、
ω＝ωα ／ ｃｏｓα
で簡単に計算できる。
【０００７】
なお、方位センサの補正やオフセットなしに、車載カメラからの画像データの変化量で旋回量や方位を検出する提案も存在するが（特許文献１参照）、それらの検出に適した対象物が常に画像内にあるとは限らず、処理負荷の点からも常用は事実上困難である。このため、旋回量や方位の把握は、大きな処理負荷にならない方位センサ、とりわけジャイロセンサの出力を、角度補正値（オフセット値）で補正する技術が基本となる。
【０００８】
【特許文献１】特開平１１−２２３５３０号公報
【特許文献２】特開平３−９９９５２号公報
【特許文献３】特開平９−１７１３４８号公報
【特許文献４】特開２００１−１１４０４８号公報
【特許文献５】特開２００１−１１６５６７号公報
【発明の開示】
【発明が解決しようとする課題】
【０００９】
しかし、たとえナビゲーション装置内のジャイロセンサ取り付け角度、並びに車両へのナビゲーション装置取り付け角を測定し、その合計を調整値（ジャイロ角度補正値）として設定しても、走行する道路の形状や、乗員や荷物などの荷重バランス、各タイヤの空気圧バランス、加減速など、多様な要因に応じて車両の傾斜も変動する。このため、鉛直方向を基準とした場合における、ジャイロセンサの総合的な取り付け角度は、設定されているオフセット値と不一致となり、検出する旋回量や方位に誤差が生じる問題があり、その解決が切望されていた。
【００１０】
本発明は、上記のような従来技術の課題を解決するもので、その目的は、ナビゲーションの技術において、ジャイロセンサの総合的な取り付け角度にかかわらず、自車の旋回量を高精度に検出してジャイロセンサを効果的に補正することである。
【課題を解決するための手段】
【００１１】
上記の目的を達成するため、本発明のナビゲーション装置の一態様は、ジャイロセンサを含む航法用センサ群と、コンピュータと、を用いて運転支援を行うナビゲーション装置において、前記ジャイロセンサからの出力値と、そのジャイロセンサに関して予め設定された取り付け角度の調整値と、に基いて車両の旋回量を検出し、他の航法情報とともに利用して運転支援を行うナビゲーション手段と、車両に搭載したカメラと、異なる各時点における前記カメラからの各画像をもとに、同じ特徴点とその変位量を検出することにより、車両の旋回量を算出する旋回量算出手段と、前記旋回量算出手段で算出した旋回量と、前記ジャイロセンサからの出力値と、に基いて前記ジャイロ処理手段における前記調整値を補正するジャイロ補正手段と、を有することを特徴とする。
【００１２】
このように、前方・後方や側面確認用の車載カメラで撮影した車両周辺の映像を画像処理し、道路面上の特徴点とその変位量の検出をもとに自車の旋回量を算出し、この旋回量に基くことにより、ジャイロセンサの総合的な取り付け角度にかかわらず、ジャイロセンサ出力値の調整値を高精度に補正して自車の方位や位置の判定精度を改善することが可能となる。また、補正時以外の通常の旋回量の検出はジャイロセンサが行うので、路面状態を問わず、ＣＰＵに画像処理などの大きな負荷を発生させることもなく、常時確実な旋回量検出が可能である。
【００１３】
本発明の他の態様は、さらに、前記旋回量算出手段は、前記カメラからの複数の時点における各画像をそれぞれ俯瞰画像に変換する俯瞰画像変換手段と、前記各俯瞰画像から輪郭抽出を用いて特徴点を検出する特徴点検出手段と、相前後した画像間のパターンマッチングにより共通の特徴点を検出する特徴点照合手段と、検出した共通の特徴点について、各画像から変位量を算出する変位量算出手段と、を有することを特徴とする。
【００１４】
このように、複数の時点におけるカメラ画像をもとに、画像処理分野で技術が確立普及している俯瞰画像への変換及びパターンマッチングを用いることにより、車両に斜めに設置されたカメラの画像からでも、車両の旋回量を容易かつ高精度に取得しジャイロセンサの調整値を効果的に補正可能となる。
【００１５】
なお、方法及びプログラムにおいても、上記各態様に準ずる。
【発明の効果】
【００１６】
以上のように、本発明によれば、ナビゲーションの技術において、ジャイロセンサの総合的な取り付け角度にかかわらず、自車の旋回量を高精度に検出してジャイロセンサを効果的に補正することが可能となる。
【発明を実施するための最良の形態】
【００１７】
次に、本発明を実施するための最良の実施形態について、図面を参照して説明する。なお、背景技術や課題での説明と共通の前提事項は適宜省略する。
【００１８】
〔１．構成〕
本実施形態におけるナビゲーション装置（以下「本装置」と呼ぶ）は、指定される目的地への経路案内など、コンピュータによる運転支援を行うもので、本装置の構成を図１に示す。なお、一般的なナビゲーション、例えば、施設検索や目的地の指定受付、自車位置推定などの航法計算、経路探索、誘導案内出力などに関する構成と処理については、従来と共通であるから詳細は省略する。
【００１９】
図１に示す本装置の構成のうち、１は、コンピュータのＣＰＵなどの制御部であり、２は、道路のネットワーク構造や各種施設などを表す道路地図データの記憶手段で、例えばＤＶＤ−ＲＯＭやＨＤＤなどのディスク装置を用いる。また、３は、液晶パネルなど画面表示用の表示部であり、４は、スイッチやリモコンユニットなど情報入力用の操作部である。
【００２０】
また、５は、車両の前方・後方・側面などに設け、道路面を撮影するカメラであり、例えば、（１）フロントノーズに取り付け、見通しの悪い交差点への進入時に交差点内の死角を確認するためのカメラ、（２）車両をバックさせる時の後方確認用のカメラ、（３）また、運転支援システムなどで検討されている車両搭載用のサイドビューカメラで、道路左側（運転席の反対側）の状況を確認するものとの共用も可能である。
【００２１】
画像処理部５１は、カメラからの入力信号（アナログ）をデジタル化して画像データに変換し、必要な画像処理を施した後、画像メモリ５２に記憶するブロックである。
【００２２】
また、ＧＰＳ受信機６と、ジャイロセンサ７と、車速検出器８は、航法用のセンサ群である。その他、本装置は、動作用のメモリ９と、ＶＩＣＳ受信機１０と、入出力用ユーザインタフェース１１と、を有する。
【００２３】
また、制御部１は、組込等の制御プログラムにより、図１に示す各手段１０〜２４を実現し、これら各手段は、以下のような本発明及び本実施形態の各機能作用を実現実行する処理手段である。なお、このうちナビゲーション手段１０は、ジャイロセンサ７から伝達される出力値と、そのジャイロセンサに関して予め設定された取り付け角度の調整値と、に基いて車両の旋回量を検出するものである。
【００２４】
〔２．作用〕
上記のように構成された本装置は、以下のように働く。
〔２−１．概要〕
概要としては、旋回量算出手段１２が、異なる各時点におけるカメラ５からの各画像をもとに、同じ特徴点とその変位量を検出することにより、その時点間における車両の旋回量を算出し（旋回量算出処理）、このように算出した旋回量と、その旋回量に対応したタイミングでジャイロセンサ７から得られた出力値と、に基いて、ジャイロ補正手段１４が、ナビゲーション手段１０における前記調整値を補正する（ジャイロ補正処理）。
【００２５】
〔２−２．動作手順〕
上記のような作用を実現する本装置における動作手順を、図２のフローチャートに例示する。この動作手順では、まず、旋回量算出手段１２で、カメラ５からの複数の時点（時刻ｋ，ｋ＋１）における各画像を画像メモリ５２から読み出し（ステップＳ０１，Ｓ０３）、俯瞰画像変換手段２１がそれぞれ俯瞰画像に変換し（俯瞰画像変換処理）、これら各俯瞰画像から特徴点検出手段２２が、輪郭抽出などにより特徴点を検出する（ステップＳ０２，Ｓ０４。特徴点検出処理）。
【００２６】
また、特徴点照合手段２３が、相前後した時刻ｋとｋ＋１の画像をパターンマッチングで比較判定することにより共通の特徴点を検出し（ステップＳ０５。特徴点照合処理）、一致した共通の特徴点については、変位量算出手段２４が各画像から変位量とそれに対応する旋回量を算出する（ステップＳ０６。変位量算出処理）。
【００２７】
そして、ジャイロ補正手段１４が、ジャイロセンサ７を用いてナビゲーション手段１０が得た時刻ｋからｋ＋１までの旋回角度すなわち旋回量を読み出し（ステップＳ０７）、ステップＳ０６で算出した旋回量と、の関係に基いてナビゲーション手段１０における正しい調整値（ジャイロ角度補正値）を算出し、それまでの調整値と置き換えることにより補正を行う（ステップＳ０８）。
【００２８】
〔２−３．旋回量算出の具体例〕
ここで、画像から旋回量を算出する処理の具体例を示す。例えば、図３は、サイドビューカメラで捉えた直進から左折時の画像例である。時系列に（１）、（２）、（３）、と続き（９）までの９枚のカメラ画像に、輪郭抽出のみを施した例である。例えば、時刻ｋの画像が（１）、時刻ｋ＋１の画像が（２）である。画像処理部５１は、このようにカメラ画像をある時間間隔で連続的に取得し、撮影角度による画像のゆがみ・視点変換による俯瞰画像取得や特徴点抽出のための輪郭抽出等を行い、画像メモリ５２に記憶する。
【００２９】
ここで、画像のゆがみとは、例えば、図４に示すカメラＡ（車両搭載）が、道路面を撮影するために斜め下向きに設置されている場合に、このカメラで撮影した画像において、対象物の各部分とカメラとの距離に応じて、対象物の形状が変化するものである。例えば、複数の長方形から成る横断歩道も、図５（１）に示すように、台形の集まりの如く見える。
【００３０】
また、俯瞰画像とは、撮像画像を視点変換することによって、図４に破線で示すように、あたかも車両上方に設置された仮想のカメラＡ’から車両前方を見下ろしたような俯瞰図を取得することである。このような俯瞰画像をカメラの画像から生成する原理や手法については、公知のものから適宜自由に選択することが可能で、一例としては、特許文献２，３，４，５などでも示されている。
【００３１】
このように、車両上方から真下を見下ろした頂上俯瞰処理をおこなうと、図５（１）のようなカメラ画像の横断歩道も、図５（２）に示されるように変換できる。
【００３２】
そして、図３の各カメラ画像（１）〜（９）に上記のような俯瞰処理を行った結果を示す模式図を図６に示す。この図でも、枠番号（１）、（２）、（３）、と続き（９）までが、図３の各画像（時刻）に対応した画像枠を示しており、画像メモリ５２には各枠に相当する画像が記憶されることとなる。
【００３３】
そして、旋回量算出手段１２では、画像メモリ内の連続する２枚の画像から、図３のＡ点やＢ点のような特徴点を例えば、パターンマッチング等の手法により見つけ出して、その変位角（移動方位）を算出することにより、車両の旋回量（旋回角度）を求めることができる。
【００３４】
より具体的な例として、例えば図７は、図６の時刻ｋすなわち（１）の画像を破線で、また、時刻ｋ＋１すなわち（２）の画像を実線で表し、両者を重ねた概念図である。この例において、図３に写っている特徴点Ａは停止線の一部であるが、図７においてこの二つの特徴点すなわち（１）のＡと（２）のＡ間の角度θを求めることが車両旋回量の算出に相当する。これは、時刻ｋの特徴点Ａと時刻ｋ＋１の特徴点Ａとの同一性の判断を行い、画像内の座標値からその変位角度（アークタンジェント）を算出することである。
【００３５】
なお、図７における旋回量θは、破線の位置（１）から実線の位置（２）への斜め平行移動の角度となっているが、車両は斜め走行はしないので、この斜め平行移動の角度は実質的に、前輪に先導される車両全体の旋回量となる。参考に、図３や図６の動きと一致するものではないが、変位が旋回による点を強調した例を図８に示す。
【００３６】
〔２−４．ジャイロの補正〕
続いて、上記のように算出した旋回量と、それに対応したタイミングでジャイロセンサ７から得られた出力値と、に基いてジャイロセンサ７のための調整値（ジャイロ角度補正値）を補正する例を示す。
【００３７】
この補正では、連続する画像内の同一特徴点の変位角度から求めた自車両の真の旋回角度と、その連続する画像の時点間についてのジャイロセンサ出力値（角速度）を積分し求めた自車両の旋回角度と、からジャイロセンサ７の取り付け角度を計算し、ジャイロセンサ７の新たな角度補正値すなわち調整値とする。なお、この例では、ジャイロセンサ７の取り付け角度は鉛直軸方向とのずれで表現されるが、実際の表現形式や計算上の取扱いは自由である。
【００３８】
この例では、図７で求められた角度θは、同期間（時刻ｋから時刻ｋ＋１）にジャイロセンサ処理で求められた角度θｇと、の関係で以下の計算を行い、ジャイロセンサ角度補正値を求める。
【００３９】
まず、ジャイロセンサ出力（角速度）を積分すると角度が求まるので、時刻ｋから時刻ｋ＋１間の角度θｇは、
【数１】
となる。
【００４０】
このθｇとθが等しくなる角度補正値ｃｏｓαを求めればよい。ここで、同区間内のジャイロセンサの角度変化が無いものと仮定すると、角度補正値ｃｏｓαは定数であるので、
【数２】
となる。
【００４１】
以上のような手順で、連続する画像内の同一特徴点の変位角度からジャイロセンサの角度補正が可能となる。
【００４２】
〔３．効果〕
以上のように、本実施形態では、前方・後方や側面確認用の車載カメラで撮影した車両周辺の映像を画像処理し、道路面上の特徴点とその変位量の検出をもとに自車の旋回量を算出し、この旋回量に基くことにより、ジャイロセンサの総合的な取り付け角度にかかわらず、ジャイロセンサ出力値の調整値を高精度に補正して自車の方位や位置の判定精度を改善することが可能となる。また、補正時以外の通常の旋回量の検出はジャイロセンサが行うので、路面状態を問わず、ＣＰＵに画像処理などの大きな負荷を発生させることもなく、常時確実な旋回量検出が可能である。
【００４３】
また、本実施形態では、複数の時点におけるカメラ画像をもとに、画像処理分野で技術が確立普及している俯瞰画像への変換及びパターンマッチングを用いることにより、車両に斜めに設置されたカメラの画像からでも、車両の旋回量を容易かつ高精度に取得しジャイロセンサの調整値を効果的に補正可能となる。
【００４４】
〔４．他の実施形態〕
なお、本発明は上記実施形態に限定されるものではなく、以下に例示するもの及びそれ以外の他の実施形態も含むものである。例えば、旋回量算出手段１２に含まれる各手段（処理）２１〜２４の区分や順序は厳密なものではなく、例えば、輪郭抽出により俯瞰画像変換の角度を判断したり、画像間でパターンのマッチする輪郭部分を特徴点とするなど、処理手順に応じて自由な順序や構成で実装が可能である。
【００４５】
また、上記実施形態は、主にナビゲーション装置を念頭において説明したが、そのようなナビゲーション装置に対応する方法やコンピュータプログラムとしても把握可能であり、例えば、既存のナビゲーション装置のために有償無償でダウンロード提供する更新用等のプログラムも、本発明の一態様である。
【図面の簡単な説明】
【００４６】
【図１】本発明の実施形態の構成を示す機能ブロック図。
【図２】本発明の実施形態におけるジャイロの取り付け角度を補正する処理手順を示すフローチャート。
【図３】本発明の実施形態において、車両左折時のカメラ映像による連続画像を例示する図。
【図４】本発明の実施形態における俯瞰処理を説明する概念図。
【図５】本発明の実施形態における俯瞰処理を例示する概念図。
【図６】図３の連続画像を俯瞰処理した車両左折時の連続画像を例示する模式図。
【図７】図６の模式図のうち、二つの時点における画像を重ね合わせた例を示す概念図。
【図８】本発明の実施形態において、二つの時点における画像を重ね合わせた他の例を示す概念図（旋回による変位を強調したもの）。
【図９】傾斜路を走行中の車両とジャイロが検出する角速度の例を示す概念図。
【符号の説明】
【００４７】
１…制御部
２…記憶手段
３…表示部
４…操作部
５…カメラ
６…ＧＰＳ受信機
７…ジャイロセンサ
８…車速検出器
９…メモリ
１０…ナビゲーション手段
１１…ユーザインタフェース
１２…旋回量算出手段
１４…ジャイロ補正手段
２１…俯瞰画像変換手段
２２…特徴点検出手段
２３…特徴点照合手段
２４…変位量算出手段
５１…画像処理部
５２…画像メモリ
【技術分野】
【０００１】
本発明は、ナビゲーション技術の改良に関する。
【背景技術】
【０００２】
近年、電子技術の発達に伴い、車載用などのナビゲーション装置の普及がめざましい。ナビゲーション装置は、道路地図データをもとに、ＧＰＳなどで特定する自車の位置や方位を周辺地図上に表示したり、利用者が施設検索や地図スクロールなどで指定する目的地への経路を探索計算して設定し、画面表示や音声出力などで交差点での進行方向などの誘導案内を行うものである。
【０００３】
このようなナビゲーション装置では、車速パルス信号から走行距離を算出するほか、ジャイロセンサから車両の旋回方位を算出し、これらをさらに地図データと照合（マップマッチング）することにより、道路上での車両の現在位置と進行方位を求めている。
【０００４】
このうちの旋回方位については、具体的には、ジャイロセンサの検出軸を車両のヨー角方向となるように取り付けることで、鉛直方向の軸回りの角速度が検出でき、さらにこの角速度出力を積分することで車両の旋回量（方位）を算出できる。したがって、ジャイロセンサの検出軸が車両のヨー角方向からずれると車両旋回量を正確に算出できないこととなる。
【０００５】
その要因を図９の概念図で説明する。この図において、α１は、ナビゲーション装置内のジャイロセンサ取り付け角度と車両へのナビゲーション装置取り付け角度を合わせた角度、α２は、車両が走行する道路（傾斜路）の傾斜角度である。この場合、ジャイロセンサが検出する角速度は、鉛直軸に基く角速度ωではなく、その鉛直軸からαだけずれた軸に基く、角速度ωαである。
【０００６】
これに対して、ナビゲーション装置で用いられる地図データは２次元情報を基本としているので、求めるべき角速度は、上記の鉛直軸に基く角速度ωである。これを得るには、角度αを求め、調整用のジャイロ角度補正値（オフセット、オフセット値、調整値のようにも呼ぶ）として設定しておき、これによって方位センサの出力を補正（角度補正）すればよい。この補正は、具体的には、
ω＝ωα ／ ｃｏｓα
で簡単に計算できる。
【０００７】
なお、方位センサの補正やオフセットなしに、車載カメラからの画像データの変化量で旋回量や方位を検出する提案も存在するが（特許文献１参照）、それらの検出に適した対象物が常に画像内にあるとは限らず、処理負荷の点からも常用は事実上困難である。このため、旋回量や方位の把握は、大きな処理負荷にならない方位センサ、とりわけジャイロセンサの出力を、角度補正値（オフセット値）で補正する技術が基本となる。
【０００８】
【特許文献１】特開平１１−２２３５３０号公報
【特許文献２】特開平３−９９９５２号公報
【特許文献３】特開平９−１７１３４８号公報
【特許文献４】特開２００１−１１４０４８号公報
【特許文献５】特開２００１−１１６５６７号公報
【発明の開示】
【発明が解決しようとする課題】
【０００９】
しかし、たとえナビゲーション装置内のジャイロセンサ取り付け角度、並びに車両へのナビゲーション装置取り付け角を測定し、その合計を調整値（ジャイロ角度補正値）として設定しても、走行する道路の形状や、乗員や荷物などの荷重バランス、各タイヤの空気圧バランス、加減速など、多様な要因に応じて車両の傾斜も変動する。このため、鉛直方向を基準とした場合における、ジャイロセンサの総合的な取り付け角度は、設定されているオフセット値と不一致となり、検出する旋回量や方位に誤差が生じる問題があり、その解決が切望されていた。
【００１０】
本発明は、上記のような従来技術の課題を解決するもので、その目的は、ナビゲーションの技術において、ジャイロセンサの総合的な取り付け角度にかかわらず、自車の旋回量を高精度に検出してジャイロセンサを効果的に補正することである。
【課題を解決するための手段】
【００１１】
上記の目的を達成するため、本発明のナビゲーション装置の一態様は、ジャイロセンサを含む航法用センサ群と、コンピュータと、を用いて運転支援を行うナビゲーション装置において、前記ジャイロセンサからの出力値と、そのジャイロセンサに関して予め設定された取り付け角度の調整値と、に基いて車両の旋回量を検出し、他の航法情報とともに利用して運転支援を行うナビゲーション手段と、車両に搭載したカメラと、異なる各時点における前記カメラからの各画像をもとに、同じ特徴点とその変位量を検出することにより、車両の旋回量を算出する旋回量算出手段と、前記旋回量算出手段で算出した旋回量と、前記ジャイロセンサからの出力値と、に基いて前記ジャイロ処理手段における前記調整値を補正するジャイロ補正手段と、を有することを特徴とする。
【００１２】
このように、前方・後方や側面確認用の車載カメラで撮影した車両周辺の映像を画像処理し、道路面上の特徴点とその変位量の検出をもとに自車の旋回量を算出し、この旋回量に基くことにより、ジャイロセンサの総合的な取り付け角度にかかわらず、ジャイロセンサ出力値の調整値を高精度に補正して自車の方位や位置の判定精度を改善することが可能となる。また、補正時以外の通常の旋回量の検出はジャイロセンサが行うので、路面状態を問わず、ＣＰＵに画像処理などの大きな負荷を発生させることもなく、常時確実な旋回量検出が可能である。
【００１３】
本発明の他の態様は、さらに、前記旋回量算出手段は、前記カメラからの複数の時点における各画像をそれぞれ俯瞰画像に変換する俯瞰画像変換手段と、前記各俯瞰画像から輪郭抽出を用いて特徴点を検出する特徴点検出手段と、相前後した画像間のパターンマッチングにより共通の特徴点を検出する特徴点照合手段と、検出した共通の特徴点について、各画像から変位量を算出する変位量算出手段と、を有することを特徴とする。
【００１４】
このように、複数の時点におけるカメラ画像をもとに、画像処理分野で技術が確立普及している俯瞰画像への変換及びパターンマッチングを用いることにより、車両に斜めに設置されたカメラの画像からでも、車両の旋回量を容易かつ高精度に取得しジャイロセンサの調整値を効果的に補正可能となる。
【００１５】
なお、方法及びプログラムにおいても、上記各態様に準ずる。
【発明の効果】
【００１６】
以上のように、本発明によれば、ナビゲーションの技術において、ジャイロセンサの総合的な取り付け角度にかかわらず、自車の旋回量を高精度に検出してジャイロセンサを効果的に補正することが可能となる。
【発明を実施するための最良の形態】
【００１７】
次に、本発明を実施するための最良の実施形態について、図面を参照して説明する。なお、背景技術や課題での説明と共通の前提事項は適宜省略する。
【００１８】
〔１．構成〕
本実施形態におけるナビゲーション装置（以下「本装置」と呼ぶ）は、指定される目的地への経路案内など、コンピュータによる運転支援を行うもので、本装置の構成を図１に示す。なお、一般的なナビゲーション、例えば、施設検索や目的地の指定受付、自車位置推定などの航法計算、経路探索、誘導案内出力などに関する構成と処理については、従来と共通であるから詳細は省略する。
【００１９】
図１に示す本装置の構成のうち、１は、コンピュータのＣＰＵなどの制御部であり、２は、道路のネットワーク構造や各種施設などを表す道路地図データの記憶手段で、例えばＤＶＤ−ＲＯＭやＨＤＤなどのディスク装置を用いる。また、３は、液晶パネルなど画面表示用の表示部であり、４は、スイッチやリモコンユニットなど情報入力用の操作部である。
【００２０】
また、５は、車両の前方・後方・側面などに設け、道路面を撮影するカメラであり、例えば、（１）フロントノーズに取り付け、見通しの悪い交差点への進入時に交差点内の死角を確認するためのカメラ、（２）車両をバックさせる時の後方確認用のカメラ、（３）また、運転支援システムなどで検討されている車両搭載用のサイドビューカメラで、道路左側（運転席の反対側）の状況を確認するものとの共用も可能である。
【００２１】
画像処理部５１は、カメラからの入力信号（アナログ）をデジタル化して画像データに変換し、必要な画像処理を施した後、画像メモリ５２に記憶するブロックである。
【００２２】
また、ＧＰＳ受信機６と、ジャイロセンサ７と、車速検出器８は、航法用のセンサ群である。その他、本装置は、動作用のメモリ９と、ＶＩＣＳ受信機１０と、入出力用ユーザインタフェース１１と、を有する。
【００２３】
また、制御部１は、組込等の制御プログラムにより、図１に示す各手段１０〜２４を実現し、これら各手段は、以下のような本発明及び本実施形態の各機能作用を実現実行する処理手段である。なお、このうちナビゲーション手段１０は、ジャイロセンサ７から伝達される出力値と、そのジャイロセンサに関して予め設定された取り付け角度の調整値と、に基いて車両の旋回量を検出するものである。
【００２４】
〔２．作用〕
上記のように構成された本装置は、以下のように働く。
〔２−１．概要〕
概要としては、旋回量算出手段１２が、異なる各時点におけるカメラ５からの各画像をもとに、同じ特徴点とその変位量を検出することにより、その時点間における車両の旋回量を算出し（旋回量算出処理）、このように算出した旋回量と、その旋回量に対応したタイミングでジャイロセンサ７から得られた出力値と、に基いて、ジャイロ補正手段１４が、ナビゲーション手段１０における前記調整値を補正する（ジャイロ補正処理）。
【００２５】
〔２−２．動作手順〕
上記のような作用を実現する本装置における動作手順を、図２のフローチャートに例示する。この動作手順では、まず、旋回量算出手段１２で、カメラ５からの複数の時点（時刻ｋ，ｋ＋１）における各画像を画像メモリ５２から読み出し（ステップＳ０１，Ｓ０３）、俯瞰画像変換手段２１がそれぞれ俯瞰画像に変換し（俯瞰画像変換処理）、これら各俯瞰画像から特徴点検出手段２２が、輪郭抽出などにより特徴点を検出する（ステップＳ０２，Ｓ０４。特徴点検出処理）。
【００２６】
また、特徴点照合手段２３が、相前後した時刻ｋとｋ＋１の画像をパターンマッチングで比較判定することにより共通の特徴点を検出し（ステップＳ０５。特徴点照合処理）、一致した共通の特徴点については、変位量算出手段２４が各画像から変位量とそれに対応する旋回量を算出する（ステップＳ０６。変位量算出処理）。
【００２７】
そして、ジャイロ補正手段１４が、ジャイロセンサ７を用いてナビゲーション手段１０が得た時刻ｋからｋ＋１までの旋回角度すなわち旋回量を読み出し（ステップＳ０７）、ステップＳ０６で算出した旋回量と、の関係に基いてナビゲーション手段１０における正しい調整値（ジャイロ角度補正値）を算出し、それまでの調整値と置き換えることにより補正を行う（ステップＳ０８）。
【００２８】
〔２−３．旋回量算出の具体例〕
ここで、画像から旋回量を算出する処理の具体例を示す。例えば、図３は、サイドビューカメラで捉えた直進から左折時の画像例である。時系列に（１）、（２）、（３）、と続き（９）までの９枚のカメラ画像に、輪郭抽出のみを施した例である。例えば、時刻ｋの画像が（１）、時刻ｋ＋１の画像が（２）である。画像処理部５１は、このようにカメラ画像をある時間間隔で連続的に取得し、撮影角度による画像のゆがみ・視点変換による俯瞰画像取得や特徴点抽出のための輪郭抽出等を行い、画像メモリ５２に記憶する。
【００２９】
ここで、画像のゆがみとは、例えば、図４に示すカメラＡ（車両搭載）が、道路面を撮影するために斜め下向きに設置されている場合に、このカメラで撮影した画像において、対象物の各部分とカメラとの距離に応じて、対象物の形状が変化するものである。例えば、複数の長方形から成る横断歩道も、図５（１）に示すように、台形の集まりの如く見える。
【００３０】
また、俯瞰画像とは、撮像画像を視点変換することによって、図４に破線で示すように、あたかも車両上方に設置された仮想のカメラＡ’から車両前方を見下ろしたような俯瞰図を取得することである。このような俯瞰画像をカメラの画像から生成する原理や手法については、公知のものから適宜自由に選択することが可能で、一例としては、特許文献２，３，４，５などでも示されている。
【００３１】
このように、車両上方から真下を見下ろした頂上俯瞰処理をおこなうと、図５（１）のようなカメラ画像の横断歩道も、図５（２）に示されるように変換できる。
【００３２】
そして、図３の各カメラ画像（１）〜（９）に上記のような俯瞰処理を行った結果を示す模式図を図６に示す。この図でも、枠番号（１）、（２）、（３）、と続き（９）までが、図３の各画像（時刻）に対応した画像枠を示しており、画像メモリ５２には各枠に相当する画像が記憶されることとなる。
【００３３】
そして、旋回量算出手段１２では、画像メモリ内の連続する２枚の画像から、図３のＡ点やＢ点のような特徴点を例えば、パターンマッチング等の手法により見つけ出して、その変位角（移動方位）を算出することにより、車両の旋回量（旋回角度）を求めることができる。
【００３４】
より具体的な例として、例えば図７は、図６の時刻ｋすなわち（１）の画像を破線で、また、時刻ｋ＋１すなわち（２）の画像を実線で表し、両者を重ねた概念図である。この例において、図３に写っている特徴点Ａは停止線の一部であるが、図７においてこの二つの特徴点すなわち（１）のＡと（２）のＡ間の角度θを求めることが車両旋回量の算出に相当する。これは、時刻ｋの特徴点Ａと時刻ｋ＋１の特徴点Ａとの同一性の判断を行い、画像内の座標値からその変位角度（アークタンジェント）を算出することである。
【００３５】
なお、図７における旋回量θは、破線の位置（１）から実線の位置（２）への斜め平行移動の角度となっているが、車両は斜め走行はしないので、この斜め平行移動の角度は実質的に、前輪に先導される車両全体の旋回量となる。参考に、図３や図６の動きと一致するものではないが、変位が旋回による点を強調した例を図８に示す。
【００３６】
〔２−４．ジャイロの補正〕
続いて、上記のように算出した旋回量と、それに対応したタイミングでジャイロセンサ７から得られた出力値と、に基いてジャイロセンサ７のための調整値（ジャイロ角度補正値）を補正する例を示す。
【００３７】
この補正では、連続する画像内の同一特徴点の変位角度から求めた自車両の真の旋回角度と、その連続する画像の時点間についてのジャイロセンサ出力値（角速度）を積分し求めた自車両の旋回角度と、からジャイロセンサ７の取り付け角度を計算し、ジャイロセンサ７の新たな角度補正値すなわち調整値とする。なお、この例では、ジャイロセンサ７の取り付け角度は鉛直軸方向とのずれで表現されるが、実際の表現形式や計算上の取扱いは自由である。
【００３８】
この例では、図７で求められた角度θは、同期間（時刻ｋから時刻ｋ＋１）にジャイロセンサ処理で求められた角度θｇと、の関係で以下の計算を行い、ジャイロセンサ角度補正値を求める。
【００３９】
まず、ジャイロセンサ出力（角速度）を積分すると角度が求まるので、時刻ｋから時刻ｋ＋１間の角度θｇは、
【数１】
となる。
【００４０】
このθｇとθが等しくなる角度補正値ｃｏｓαを求めればよい。ここで、同区間内のジャイロセンサの角度変化が無いものと仮定すると、角度補正値ｃｏｓαは定数であるので、
【数２】
となる。
【００４１】
以上のような手順で、連続する画像内の同一特徴点の変位角度からジャイロセンサの角度補正が可能となる。
【００４２】
〔３．効果〕
以上のように、本実施形態では、前方・後方や側面確認用の車載カメラで撮影した車両周辺の映像を画像処理し、道路面上の特徴点とその変位量の検出をもとに自車の旋回量を算出し、この旋回量に基くことにより、ジャイロセンサの総合的な取り付け角度にかかわらず、ジャイロセンサ出力値の調整値を高精度に補正して自車の方位や位置の判定精度を改善することが可能となる。また、補正時以外の通常の旋回量の検出はジャイロセンサが行うので、路面状態を問わず、ＣＰＵに画像処理などの大きな負荷を発生させることもなく、常時確実な旋回量検出が可能である。
【００４３】
また、本実施形態では、複数の時点におけるカメラ画像をもとに、画像処理分野で技術が確立普及している俯瞰画像への変換及びパターンマッチングを用いることにより、車両に斜めに設置されたカメラの画像からでも、車両の旋回量を容易かつ高精度に取得しジャイロセンサの調整値を効果的に補正可能となる。
【００４４】
〔４．他の実施形態〕
なお、本発明は上記実施形態に限定されるものではなく、以下に例示するもの及びそれ以外の他の実施形態も含むものである。例えば、旋回量算出手段１２に含まれる各手段（処理）２１〜２４の区分や順序は厳密なものではなく、例えば、輪郭抽出により俯瞰画像変換の角度を判断したり、画像間でパターンのマッチする輪郭部分を特徴点とするなど、処理手順に応じて自由な順序や構成で実装が可能である。
【００４５】
また、上記実施形態は、主にナビゲーション装置を念頭において説明したが、そのようなナビゲーション装置に対応する方法やコンピュータプログラムとしても把握可能であり、例えば、既存のナビゲーション装置のために有償無償でダウンロード提供する更新用等のプログラムも、本発明の一態様である。
【図面の簡単な説明】
【００４６】
【図１】本発明の実施形態の構成を示す機能ブロック図。
【図２】本発明の実施形態におけるジャイロの取り付け角度を補正する処理手順を示すフローチャート。
【図３】本発明の実施形態において、車両左折時のカメラ映像による連続画像を例示する図。
【図４】本発明の実施形態における俯瞰処理を説明する概念図。
【図５】本発明の実施形態における俯瞰処理を例示する概念図。
【図６】図３の連続画像を俯瞰処理した車両左折時の連続画像を例示する模式図。
【図７】図６の模式図のうち、二つの時点における画像を重ね合わせた例を示す概念図。
【図８】本発明の実施形態において、二つの時点における画像を重ね合わせた他の例を示す概念図（旋回による変位を強調したもの）。
【図９】傾斜路を走行中の車両とジャイロが検出する角速度の例を示す概念図。
【符号の説明】
【００４７】
１…制御部
２…記憶手段
３…表示部
４…操作部
５…カメラ
６…ＧＰＳ受信機
７…ジャイロセンサ
８…車速検出器
９…メモリ
１０…ナビゲーション手段
１１…ユーザインタフェース
１２…旋回量算出手段
１４…ジャイロ補正手段
２１…俯瞰画像変換手段
２２…特徴点検出手段
２３…特徴点照合手段
２４…変位量算出手段
５１…画像処理部
５２…画像メモリ
【特許請求の範囲】
【請求項１】
ジャイロセンサを含む航法用センサ群と、コンピュータと、を用いて運転支援を行うナビゲーション装置において、
前記ジャイロセンサからの出力値と、そのジャイロセンサに関して予め設定された取り付け角度の調整値と、に基いて車両の旋回量を検出し、他の航法情報とともに利用して運転支援を行うナビゲーション手段と、
車両に搭載したカメラと、
異なる各時点における前記カメラからの各画像をもとに、同じ特徴点とその変位量を検出することにより、車両の旋回量を算出する旋回量算出手段と、
前記旋回量算出手段で算出した旋回量と、前記ジャイロセンサからの出力値と、に基いて前記ナビゲーション手段における前記調整値を補正するジャイロ補正手段と、
を有することを特徴とするナビゲーション装置。
【請求項２】
前記旋回量算出手段は、
前記カメラからの複数の時点における各画像をそれぞれ俯瞰画像に変換する俯瞰画像変換手段と、
前記各俯瞰画像から輪郭抽出を用いて特徴点を検出する特徴点検出手段と、
相前後した画像間のパターンマッチングにより共通の特徴点を検出する特徴点照合手段と、
検出した共通の特徴点について、各画像から変位量を算出する変位量算出手段と、
を有することを特徴とする請求項１記載のナビゲーション装置。
【請求項３】
ジャイロセンサを含む航法用センサ群と、コンピュータと、を用いて運転支援を行い、
前記ジャイロセンサからの出力値と、そのジャイロセンサに関して予め設定された取り付け角度の調整値と、に基いて車両の旋回量を検出し、他の航法情報とともに利用して運転支援を行うナビゲーション手段と、
車両に搭載したカメラと、
を有するナビゲーション装置の制御方法において、
異なる各時点における前記カメラからの各画像をもとに、同じ特徴点とその変位量を検出することにより、車両の旋回量を算出する旋回量算出処理と、
前記旋回量算出処理で算出した旋回量と、前記ジャイロセンサからの出力値と、に基いて前記ナビゲーション手段における前記調整値を補正するジャイロ補正処理と、
を含むことを特徴とするナビゲーション装置の制御方法。
【請求項４】
前記旋回量算出処理は、
前記カメラからの複数の時点における各画像をそれぞれ俯瞰画像に変換する俯瞰画像変換処理と、
前記各俯瞰画像から輪郭抽出を用いて特徴点を検出する特徴点検出処理と、
相前後した画像間のパターンマッチングにより共通の特徴点を検出する特徴点照合処理と、
検出した共通の特徴点について、各画像から変位量を算出する変位量算出処理と、
を含むことを特徴とする請求項３記載のナビゲーション装置の制御方法。
【請求項５】
ジャイロセンサを含む航法用センサ群と、コンピュータと、を用いて運転支援を行い、
前記ジャイロセンサからの出力値と、そのジャイロセンサに関して予め設定された取り付け角度の調整値と、に基いて車両の旋回量を検出し、他の航法情報とともに利用して運転支援を行うナビゲーション手段と、
車両に搭載したカメラと、
を有するナビゲーション装置の制御プログラムにおいて、
そのプログラムは前記コンピュータの制御部を制御することにより、旋回量算出手段と、ジャイロ補正手段と、を実現するとともに、
前記旋回量算出手段に、異なる各時点における前記カメラからの各画像をもとに、同じ特徴点とその変位量を検出することにより、車両の旋回量を算出する旋回量算出処理を行わせ、
前記ジャイロ補正手段に、前記旋回量算出処理で算出した旋回量と、前記ジャイロセンサからの出力値と、に基いて前記ナビゲーション手段における前記調整値を補正するジャイロ補正処理を行わせる
ことを特徴とするナビゲーション装置の制御プログラム。
【請求項６】
前記旋回量算出処理において、前記旋回量算出手段に、
前記カメラからの複数の時点における各画像をそれぞれ俯瞰画像に変換する俯瞰画像変換処理と、
前記各俯瞰画像から輪郭抽出を用いて特徴点を検出する特徴点検出処理と、
相前後した画像間のパターンマッチングにより共通の特徴点を検出する特徴点照合処理と、
検出した共通の特徴点について、各画像から変位量を算出する変位量算出処理と、
を行わせることを特徴とする請求項５記載のナビゲーション装置の制御プログラム。
【請求項１】
ジャイロセンサを含む航法用センサ群と、コンピュータと、を用いて運転支援を行うナビゲーション装置において、
前記ジャイロセンサからの出力値と、そのジャイロセンサに関して予め設定された取り付け角度の調整値と、に基いて車両の旋回量を検出し、他の航法情報とともに利用して運転支援を行うナビゲーション手段と、
車両に搭載したカメラと、
異なる各時点における前記カメラからの各画像をもとに、同じ特徴点とその変位量を検出することにより、車両の旋回量を算出する旋回量算出手段と、
前記旋回量算出手段で算出した旋回量と、前記ジャイロセンサからの出力値と、に基いて前記ナビゲーション手段における前記調整値を補正するジャイロ補正手段と、
を有することを特徴とするナビゲーション装置。
【請求項２】
前記旋回量算出手段は、
前記カメラからの複数の時点における各画像をそれぞれ俯瞰画像に変換する俯瞰画像変換手段と、
前記各俯瞰画像から輪郭抽出を用いて特徴点を検出する特徴点検出手段と、
相前後した画像間のパターンマッチングにより共通の特徴点を検出する特徴点照合手段と、
検出した共通の特徴点について、各画像から変位量を算出する変位量算出手段と、
を有することを特徴とする請求項１記載のナビゲーション装置。
【請求項３】
ジャイロセンサを含む航法用センサ群と、コンピュータと、を用いて運転支援を行い、
前記ジャイロセンサからの出力値と、そのジャイロセンサに関して予め設定された取り付け角度の調整値と、に基いて車両の旋回量を検出し、他の航法情報とともに利用して運転支援を行うナビゲーション手段と、
車両に搭載したカメラと、
を有するナビゲーション装置の制御方法において、
異なる各時点における前記カメラからの各画像をもとに、同じ特徴点とその変位量を検出することにより、車両の旋回量を算出する旋回量算出処理と、
前記旋回量算出処理で算出した旋回量と、前記ジャイロセンサからの出力値と、に基いて前記ナビゲーション手段における前記調整値を補正するジャイロ補正処理と、
を含むことを特徴とするナビゲーション装置の制御方法。
【請求項４】
前記旋回量算出処理は、
前記カメラからの複数の時点における各画像をそれぞれ俯瞰画像に変換する俯瞰画像変換処理と、
前記各俯瞰画像から輪郭抽出を用いて特徴点を検出する特徴点検出処理と、
相前後した画像間のパターンマッチングにより共通の特徴点を検出する特徴点照合処理と、
検出した共通の特徴点について、各画像から変位量を算出する変位量算出処理と、
を含むことを特徴とする請求項３記載のナビゲーション装置の制御方法。
【請求項５】
ジャイロセンサを含む航法用センサ群と、コンピュータと、を用いて運転支援を行い、
前記ジャイロセンサからの出力値と、そのジャイロセンサに関して予め設定された取り付け角度の調整値と、に基いて車両の旋回量を検出し、他の航法情報とともに利用して運転支援を行うナビゲーション手段と、
車両に搭載したカメラと、
を有するナビゲーション装置の制御プログラムにおいて、
そのプログラムは前記コンピュータの制御部を制御することにより、旋回量算出手段と、ジャイロ補正手段と、を実現するとともに、
前記旋回量算出手段に、異なる各時点における前記カメラからの各画像をもとに、同じ特徴点とその変位量を検出することにより、車両の旋回量を算出する旋回量算出処理を行わせ、
前記ジャイロ補正手段に、前記旋回量算出処理で算出した旋回量と、前記ジャイロセンサからの出力値と、に基いて前記ナビゲーション手段における前記調整値を補正するジャイロ補正処理を行わせる
ことを特徴とするナビゲーション装置の制御プログラム。
【請求項６】
前記旋回量算出処理において、前記旋回量算出手段に、
前記カメラからの複数の時点における各画像をそれぞれ俯瞰画像に変換する俯瞰画像変換処理と、
前記各俯瞰画像から輪郭抽出を用いて特徴点を検出する特徴点検出処理と、
相前後した画像間のパターンマッチングにより共通の特徴点を検出する特徴点照合処理と、
検出した共通の特徴点について、各画像から変位量を算出する変位量算出処理と、
を行わせることを特徴とする請求項５記載のナビゲーション装置の制御プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【公開番号】特開２００８−８２９３２（Ｐ２００８−８２９３２Ａ）
【公開日】平成２０年４月１０日（２００８．４．１０）
【国際特許分類】
【出願番号】特願２００６−２６４５６１（Ｐ２００６−２６４５６１）
【出願日】平成１８年９月２８日（２００６．９．２８）
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．ＶＩＣＳ
【出願人】（０００００１４８７）クラリオン株式会社 (1,722)
【Ｆターム（参考）】
【公開日】平成２０年４月１０日（２００８．４．１０）
【国際特許分類】
【出願日】平成１８年９月２８日（２００６．９．２８）
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．ＶＩＣＳ
【出願人】（０００００１４８７）クラリオン株式会社 (1,722)
【Ｆターム（参考）】
[ Back to top ]