車両用異常検出装置
【課題】俯瞰画像生成の際のカメラ画像のつなぎ目で発生するズレを補正する技術を利用して、車両の異常を検出することが可能な「車両用異常検出装置」を提供すること。
【解決手段】車両用異常検出装置１０は、表示手段１８と、自車両の周辺の画像を取得する複数のカメラ１１と、自車両の傾斜毎に用意された画像の画素位置と出力表示画像の画素位置との関係が記述された複数のマッピングテーブルと、各カメラ１１で撮影した各画像を合成して自車両の上方の視点からの画像に変換した俯瞰画像をマッピングテーブルのデータを基に生成する画像処理手段１２と、各画像のうち隣接する２つの画像のつなぎ目における画像のズレを検出して、ズレを補正して表示手段の画面に表示させる制御手段１４とを備える。制御手段１４は、ズレの量を補正する補正値が所定の値になったときに、自車両に異常が発生したと判定する。
【解決手段】車両用異常検出装置１０は、表示手段１８と、自車両の周辺の画像を取得する複数のカメラ１１と、自車両の傾斜毎に用意された画像の画素位置と出力表示画像の画素位置との関係が記述された複数のマッピングテーブルと、各カメラ１１で撮影した各画像を合成して自車両の上方の視点からの画像に変換した俯瞰画像をマッピングテーブルのデータを基に生成する画像処理手段１２と、各画像のうち隣接する２つの画像のつなぎ目における画像のズレを検出して、ズレを補正して表示手段の画面に表示させる制御手段１４とを備える。制御手段１４は、ズレの量を補正する補正値が所定の値になったときに、自車両に異常が発生したと判定する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車両用異常検出装置に関し、特に車載用カメラで撮影した画像を基に車両周辺の俯瞰画像を生成する技術を適用して車両の異常状態を検出する車両用異常検出装置に関する。
【背景技術】
【０００２】
近年、自車両のドアミラーやナンバープレート近傍にカメラを設置し、これら複数台のカメラにより自車両周囲の画像を撮影し、この画像を車室内に設置したディスプレイ等の表示装置に表示する技術が実用化されている。かかる技術は特に駐車する際に利用されており、その際、運転者は、表示装置に表示された画像を確認しながら、障害物等の存在を把握することで、衝突等の事故を防ぐことが可能になる。特に、ミラーだけでは死角になる位置の画像も表示することができるので、安全な駐車に寄与することができる。
【０００３】
また、自車両に複数台のカメラを設置し、これらのカメラにより撮像された画像をもとに、これら撮像画像を自車両の上方の仮想視点から見た画像（俯瞰画像）に変換し、その視点変換された車両周辺の俯瞰画像（以下、便宜上「トップビュー画像」という。）をディスプレイ等の表示装置に表示することで、自車両の周辺を監視する技術が実用化されている。
【０００４】
このトップビュー画像は、複数台のカメラで撮影された画像を合成して生成されるが、カメラの設置状態や車両の利用状態によっては画像のつなぎ部分にズレが生ずる場合がある。
【０００５】
このような画像のつなぎ部のズレを補正する技術として、例えば、出願中の特願２００６−３３８１５４には、車両の乗車人数や重量に応じてトップビュー画像を生成する際に使用されるマッピングテーブルを選択し、トップビュー画像を合成する際にカメラ画像のつなぎ目で発生するズレをなくす装置が記載されている。
【０００６】
また、特許文献１には、カメラ交換時に円形の画像の中心を基準に撮影位置のずれ量を算出して歪みのない画像を得る技術が記載されている。
【特許文献１】特開２００７−１５８６３９号公報
【発明の開示】
【発明が解決しようとする課題】
【０００７】
上記したようなトップビュー画像によって、自車両の周辺を死角領域をなくして表示することができ、バック走行等の際にトップビュー画像を確認しながら運転することにより、危険を回避することが可能となる。
【０００８】
また、出願中の特願２００６−３３８１５４に記載された技術によれば、トップビュー画像を合成する際に、カメラ画像のつなぎ目でズレがなくなるために、車両周辺画像が違和感なく表示されて、車両周辺の状況を容易に把握することが可能となる。
【０００９】
しかし、カメラ画像のつなぎ目のズレがないように表示されたとしても、はじめからズレがなかったのか、ズレのないように補正して画像が表示されたのかは利用者にとって不明である。このような画像のつなぎ目のズレは、車両に搭載したカメラ自体のズレによる場合や、タイヤの空気圧の減少による車体の傾斜が原因で発生する場合が考えられる。
【００１０】
画像のつなぎ目のズレが上記したようなタイヤの空気圧の減少やタイヤの減耗が起因しているとすれば、走行中にタイヤがパンクする危険性が高く、何ら対処をせずに走行を継続すると安全走行に支障を来たすおそれがある。
【００１１】
本発明は、かかる従来技術の課題に鑑みなされたものであり、トップビュー画像生成の際のカメラ画像のつなぎ目で発生するズレを補正する技術を利用して、車両の異常を検出することが可能な車両用異常検出装置を提供することを目的とする。
【課題を解決するための手段】
【００１２】
上述した従来技術の課題を解決するため、本発明の一形態によれば、表示手段と、自車両の周辺の画像を取得する複数のカメラと、前記自車両の傾斜毎に用意された前記画像の画素位置と出力表示画像の画素位置との関係が記述された複数のマッピングテーブルと、各カメラで撮影した各画像を合成して前記自車両の上方の視点からの画像に変換した俯瞰画像を前記マッピングテーブルのデータを基に生成する画像処理手段と、前記各画像のうち隣接する２つの画像のつなぎ目における画像のズレを検出して、当該ズレを補正して前記表示手段の画面に表示させる制御手段とを備え、前記制御手段は、前記ズレの量を補正する補正値が所定の値になったときに、前記自車両に異常が発生したと判定することを特徴とする車両用異常検出装置が提供される。
【００１３】
この形態に係る車両用異常検出装置において、前記制御手段は、前記ズレの量を記録し、当該ズレの量の累積値が所定の値になったときに、前記自車両に異常が発生したと判定するようにしてもよく、前記制御手段は、前記画像のつなぎ目近傍の所定の画素の位置を測定基準位置とし、前記つなぎ目におけるズレを検出したときに適用されたマッピングテーブルの前記測定基準位置に対応する出力表示画像の座標位置と、前記ズレを検出したときに当該ズレがなくなるように表示する際に適用されたマッピングテーブルの前記測定基準位置に対応する出力表示画像の座標位置との差分を補正値とするようにしてもよい。
【００１４】
また、この形態に係る車両用異常検出装置において、前記制御手段は、前記つなぎ目を挟んだ２つの画像の前記測定基準位置の画素に対する補正値が、ともに所定の値となったとき、当該２つの画像を撮影した２つのカメラに近い前記自車両の車輪に異常が発生したと判定するようにしてもよく、前記制御手段は、前記つなぎ目を挟んだ２つの画像の前記測定基準位置の画素に対する補正値のうち、一方の補正値が所定の値となったとき、当該一方の補正値で補正される画像を撮影したカメラの設置位置が変動したと判定するようにしてもよい。
【００１５】
本発明では、トップビュー画像の生成の際に２つの画像のつなぎ目にズレがあるか否かを検出し、ズレがある場合にそのズレ量を補正する補正値を算出している。この補正値は、つなぎ目の境界近傍の所定の画素の座標位置を測定基準位置とし、各測定基準位置に対する補正値を基に車両の異常、特に、タイヤの異常を検出するようにしている。
【００１６】
例えば、トップビュー画像のうちの前方画像と右方画像とのつなぎ目においてズレが発生すると、このズレ量を補正するマッピングテーブルを用いてつなぎ目のズレをなくしている。このときに適用されるマッピングテーブルとズレが発生したときに使用されていたマッピングテーブルとを比較し、測定基準位置に対する出力表示画像の座標位置の差分を算出する。この差分を基に車両の右前のタイヤの状態が判定される。
【００１７】
このように、トップビュー画像の生成における画像のつなぎ目のズレを検出し、ズレをなくすための補正値を利用することにより、車両の異常を容易に検出することが可能になる。これにより、タイヤのパンク等を未然に防止することが可能となり、車両の安全走行に寄与することが可能になる。
【発明を実施するための最良の形態】
【００１８】
以下、本発明の実施形態について、添付の図面を参照しながら説明する。
【００１９】
図１は、本発明の一実施形態に係る車両用異常検出装置１０の構成を概略的に示したものである。本実施形態では、本発明に係る車両用異常検出装置１０を車載用ナビゲーション装置の一部として組み込んだ場合の構成例を示している。
【００２０】
本実施形態に係る車両用異常検出装置１０は、図１に示すように、基本的に、４台の車載カメラ１１ａ、１１ｂ、１１ｃ及び１１ｄと、画像処理部１２と、異常検出処理部１３と、制御部１４と、マッピングメモリ１５と、ズレ量・マッピングテーブル（ＭＰＴ）メモリ１６と、操作部１７と、ディスプレイ装置１８とを備えている。
【００２１】
各車載カメラ１１ａ、１１ｂ、１１ｃ及び１１ｄは、それぞれ自車両の前方、後方、左方及び右方の画像を継続的に取得するためのものであり、自車両外部の適当な箇所に設置されている。図２はその設置例を模式的に示したものであり、前方カメラ１１ａは車両の前部に、後方カメラ１１ｂは車両の後部に、左方カメラ１１ｃ及び右方カメラ１１ｄはそれぞれ車両の左側部及び右側部（図示の例では、ドアミラーの下部）に設置されている。
【００２２】
また、各車載カメラ１１ａ〜１１ｄは、各々のレンズが若干下方を向くように位置決めされ、図中破線で示すように広角範囲（理想的には１８０°の撮像範囲）で画像を取得できるように設置されている。つまり、各車載カメラ１１ａ〜１１ｄが協働して自車両の全周辺（車両周辺）を撮影できるように配置されている。
【００２３】
各車載カメラ１１ａ〜１１ｄは、例えば、ＣＣＤ(Charge Coupled Device)センサを内蔵している。特に図示はしないが、このＣＣＤセンサは、受光部として機能するフォトダイオード（光電変換素子）と、その光電変換された信号（電荷）を転送するためのＣＣＤを有しており、フォトダイオードは２次元に配列され、各フォトダイオード上にマイクロレンズが設けられている。
【００２４】
画像処理部１２は、その機能ブロックとして、画像取得位置計算部２０、画像データ取得部２１及び画像合成部２４を備え、さらにメモリとして、撮影画像メモリ１９、表示画像メモリ２２、車両画像メモリ２３を保有している。
【００２５】
撮影画像メモリ１９は、その記憶媒体として、例えばＨＤＤを使用している。撮影画像メモリ１９（ＨＤＤ内の一部の記憶領域）には、制御部１４からの制御に基づき、各車載カメラ１１ａ、１１ｂ、１１ｃ及び１１ｄで継続的に撮影して得られた画像（自車両の前方、後方、左方及び右方の周辺の画像と、自車両の一部の画像）のデータが一画面分（１フレーム）毎に逐次格納されるようになっている。その際、車載用のＨＤＤの記憶容量には限りがあり、今までに取得した撮像画像データをすべて保存しておくことはできないため、ＨＤＤを効率的に運用する観点から、ＨＤＤ内の該当する記憶領域に撮影画像データを順次上書きしながら格納する。
【００２６】
画像取得位置計算部２０は、撮影画像の各画素を表示画像のどの座標位置に出力するかを、マッピングメモリ１５に格納されているマッピングテーブル（ＭＰＴ）を参照して算出する。
【００２７】
画像データ取得部２１は、各車載カメラ１１ａ〜１１ｄによって撮像され、撮影画像メモリ１９に格納された撮影画像を取り込み、その画像に対して画像取得位置計算部２０で算出された出力座標位置を参照して、視点変換された画像を生成し、表示画像メモリ２２に格納する。表示画像メモリ２２も撮影画像メモリ１９と同様に、記憶媒体として例えばＨＤＤを使用し、撮影画像メモリ１９と異なる記憶領域が割り当てられている。
【００２８】
表示画像メモリ２２に格納された自車両の上方の仮想視点から見た自車両の周辺の画像と車両画像メモリ２３に記憶させておいて自車両の画像を画像合成部２４で合成してトップビュー画像を生成し、ディスプレイ装置１８に出力する。
【００２９】
マッピングメモリ１５は、複数のマッピングテーブルを格納している。マッピングテーブルは、撮像画像の画素位置と表示画像の画素位置との対応関係が記述されたテーブルであり、マッピングデータとして、１フレームの表示画像の各画素に、対応する撮像画像の画像取得位置の座標情報が記述されている。このマッピングテーブルは車両の状態ごとに用意されている。例えば、車両に乗車する人数や重量に応じて車体が傾斜する場合があるが、そのような傾斜に応じてマッピングテーブルが用意されている。
【００３０】
異常検出処理部１３は、その機能ブロックとして、基準マッピングテーブル（ＭＰＴ）決定部２５、ズレ量検出部２６、最適マッピングテーブル（ＭＰＴ）決定部２７、補正値算出部２８、及び異常判定部２９を備えている。
【００３１】
基準ＭＰＴ決定部２５は、画像つなぎ目のズレが発生しないようなトップビュー画像を表示可能なマッピングテーブルを選択する。例えば、車両の乗車人数を検出し、人数に応じたマッピングテーブルを選択する。
【００３２】
ズレ量検出部２６は、画像処理部１２において生成され、表示画像メモリ２２に格納されたトップビュー画像を取得し、トップビュー画像の画像つなぎ目においてズレがあるか否かを検出するとともに、そのズレ量を検出する。
【００３３】
ズレの検出は、例えば、道路に表示される白線を撮影してトップビュー画像に変換して表示し、画像のつなぎ目において、白線を示す同一の輝度でつながっているか否かによって判定する。また、ズレがある場合は、そのズレ量を検出する。
【００３４】
最適ＭＰＴ決定部２７は、ズレ量検出部２６で検出されたズレ量に応じて、ズレ量・ＭＰＴメモリ１６に格納されているズレ量とそのズレ量を補正可能なマッピングテーブルとの対応関係を示す情報を基に、新たなマッピングテーブル（最適マッピングテーブルと呼ぶ）を選択する。決定された最適マッピングテーブルの情報は、画像データ取得部２１に通知されるとともに、補正値算出部２８に通知される。
【００３５】
補正値算出部２８は、基準マッピングテーブルと最適マッピングテーブルを比較し、ズレが検出された部分の撮影画像の特定の座標位置の画素に対する表示画像の座標位置の差分を算出する。
【００３６】
異常判定部２９は、補正値算出部２８で算出された補正値を基に車両の状態を判定する。
【００３７】
ディスプレイ装置１８は、例えば、ＬＣＤ（液晶ディスプレイ）等からなり、運転席から表示画面を見ることができるように車室内のセンターコンソールのほぼ中間位置に設置されている。このディスプレイ装置１８の表示画面には、自車両及び自車両周辺のトップビュー画像が表示される。また、異常検出処理部１３で車両に異常があると判定された場合に、その旨の情報が表示される。さらにこの表示画面には、ナビゲーションに係る案内情報（自車の現在位置の周囲の地図、出発地から目的地までの誘導経路等）も表示される。
【００３８】
制御部１４は、例えば、マイクロコンピュータ等により構成され、各車載カメラ１１ａ〜１１ｄによる画像を取得して撮像画像メモリ１９に格納し、画像処理部１２にトップビュー画像を生成させて、ディスプレイ装置１８に画像を表示する機能を有している。また、画像処理部１２で生成されて表示画像メモリ２２に格納されたトップビュー画像データをズレ量検出部２６に入力し、異常検出処理部１３で画像のつなぎ目のズレの補正値を基にして車両の異常を判定させる機能を有している。
【００３９】
操作部１７は、ユーザが指示した情報を入力するためのものであり、本発明に関連する入力指示として「車両異常検出」の指示を与えるものである。この操作部１７は、例えば、リモコン送信機の形態を有しており、特に図示はしないが、ディスプレイ装置の画面上の各種メニュー、各種項目等を選択したり、選択したメニュー等を実行させるための各種操作ボタン、ジョイスティックなどが適宜設けられている。
【００４０】
このように構成された車両用異常検出装置１０において、運転者が操作部１７を操作して「車両異常検出」を指示すると、トップビュー画像の生成において、画像のつなぎ目にズレが発生するか否かを検出する。ズレが発生する場合は、そのズレをなくすようなマッピングテーブルを選択して所定の位置の画素に対する補正値を算出し、補正値に応じて、車両の、特にタイヤの異常状況が判定される。
【００４１】
この一連の処理が制御部１４によって制御される。なお、運転者が「車両異常検出」を指示しない場合であっても、例えば、シフトレバーがバックの位置になったことを検出したときに自動的に、トップビュー画像が表示されるようにし、その際に車両異常検出処理が行われるようにしてもよい。また、トップビュー画像の表示をしない場合であっても、常にトップビュー画像の生成をしながら車両異常検出処理が行われるようにしてもよい。
【００４２】
本実施形態の車両用異常検出装置は、その基本的特徴として、トップビュー画像生成の際に画像のつなぎ目にズレがないようにするための補正値を利用して車両の異常検出を行うことである。
【００４３】
以下に、トップビュー画像生成に使用されるマッピングテーブルについて説明し、マッピングテーブルを利用した補正値の算出、及び、補正値による車両異常判定について説明する。
【００４４】
図３は、マッピングテーブルの説明図である。図３（ａ）の矩形枠Ａは、前方カメラによって撮影された画像を示しており、このうち歪みの大きな領域を除いた領域Ｂの画像がトップビュー画像の合成に使用される。図３（ｂ）はトップビュー画像の一例を示しており、車両の前方、右方、後方、左方のカメラで撮影された画像を視点変換して、それぞれトップビュー画像の前方画像ＦＰ、右方画像ＲＰ、後方画像ＢＰ、左方画像ＬＰに表示される。さらに自車両の画像が中央部分に合成されてトップビュー画像が生成される。図３（ａ）の領域Ｂの画像は、図３（ｂ）のトップビュー画像の前方画像ＦＰに対応している。
【００４５】
魚眼レンズのような広角レンズを通して撮影されて撮影画像メモリ１９に格納された画像データは、表示画像メモリ２２に格納する際に、魚眼レンズを通して得られた歪みのある画像データを歪みのない画像データに変換する。この変換に、アドレス関係が記載されたマッピングテーブルが使用される。例えば、図３（ａ）のＰ１に対応する撮影画像の画素位置と図３（ｂ）のＱ１ｓに対応する表示画像の画素位置とを対応させ、図３（ａ）のＰ２に対応する撮影画像の画素位置と図３（ｂ）のＱ２に対応する表示画像の画素位置とを対応させるような変換規則がマッピングテーブルに定義されている。
【００４６】
マッピングテーブルは、車両の傾きに応じて複数用意されており、それぞれのマッピングテーブルによって、撮影画像の画素位置が同じであっても、表示画像の画素位置が異なる場合がある。例えば、図３（ｃ）及び図３（ｄ）は２つの異なるマッピングテーブルの一例を示している。図３（ｃ）のマッピングテーブルＭＰＴ-Ｓを使用すると、点Ｐ１に対応する表示画像の画素位置はＱ１ｓとなり、図３（ｄ）のマッピングテーブルＭＰＴ−Ｏを使用すると、表示画像の画素位置はＱ１ｏとなる。
【００４７】
図４は、マッピングテーブルの具体例を示した図である。図４に示すように、マッピングテーブルは、表示位置、カメラ番号、位置、補間データを構成要素としている。このうち、表示位置は、出力表示画面に表示される画像の画素位置を示しており、座標（Ｘｏ，Ｙｏ）で示されている。
【００４８】
カメラ番号は、車両のどこに搭載されたカメラであるかを示す識別番号を示している。また、位置は、カメラ番号で特定されたカメラによって撮像された画像の画素位置の座標（ｘ、ｙ）を示している。また、補間データは、隣接する画素間の色の変化をスムーズにするための色情報を調整する値を示している。
【００４９】
例えば、図４のマッピングテーブルを参照すると、出力表示画面の表示位置（２５１，１００）にはカメラ番号１のカメラで撮像された画像の座標位置（２０２，１００）の画素が割り当てられる。さらに、ｘ方向の隣接する画素の色情報のうちの５０％の情報が当該画素の色情報に取り入れられる。例えば、当該画素の色が白で、隣接する画素の色が黒であった場合、当該画素の色を灰色とする。
【００５０】
図３（ｂ）に示したように、トップビュー画像は、前方画像ＦＰ、右方画像ＲＰ、後方画像ＢＰ、左方画像ＬＰの部分画像を合成して構成されているため、前方画像ＦＰと右方画像ＲＰ等の画像のつなぎ目にズレが生じることがある。図５に示すように、車両の右側のセンターライン等の白線ＷＬをトップビュー画像に変換して表示したとき、前方画像ＦＰと右方画像ＲＰとのつなぎ目でズレＺが生じる場合がある。このズレの発生をなくすため、車両の傾斜毎にズレが無くなるように適応されたマッピングテーブルが用意され、適切なマッピングテーブルを使用することによってズレのないトップビュー画像にしている。
【００５１】
本実施形態では、このような画像つなぎ目のズレを検出して、画像の補正をするとともに、ズレの要因を解析して、車両の異常状態の検出を行っている。
【００５２】
画像つなぎ目のズレを基にした車両の異常判定は、基本的には画像つなぎ目にズレが検出されたときに使用していたマッピングテーブルと、そのズレ量を補正してズレをなくすことのできるマッピングテーブルとを比較して、補正値を算出し、その補正値に基づいて車両の異常を判定している。この２つのマッピングテーブルの比較の際に、基準とする所定の画素の位置を特定する。所定の画素の位置は、トップビュー画像の部分画像において、隣接する画像の境界近傍の画素を選択する。例えば、図６に示すように、トップビュー画像のうちの前方画像ＦＰに２か所（ＦＲ，ＦＬ）、右方画像ＲＰに２か所（ＲＦ，ＲＢ）、後方画像ＢＰに２か所（ＢＲ，ＢＬ）、左方画像ＬＰに２か所（ＬＦ，ＬＢ）の合計８か所の画素の位置が選択される。これらの選択された画素の位置を、便宜上「測定基準位置」と呼ぶ。
【００５３】
また、車両の乗車人数等に応じ、画像つなぎ目においてズレが発生しないように調整されたマッピングテーブルを決定し、基準マッピングテーブルとする。基準マッピングテーブルは、操作部を介して選択してもよいし、車両の搭乗人数を車内に設置したカメラで撮影した画像を解析して人数を検出して人数に応じたマッピングテーブルを選択するようにしてもよい。
【００５４】
基準マッピングテーブルを使用して、画像つなぎ目にズレのないトップビュー画像が表示されていても、車両を長時間走行させると、タイヤの減耗などによって車両が傾き、車両に設置されたカメラの撮像範囲が変わるため、画像つなぎ目にズレが発生する場合がある。
【００５５】
このような画像つなぎ目のズレの検出は、トップビュー画像の前方部と側方部、又は後方部と側方部に跨って表示される画像、例えば道路に表示される白線の画像を対象として行う。ズレ量検出部２６によって、表示画像メモリ２２に保存されているトップビュー画像を読出し、画像処理して所定の２つの画像部分のつなぎ目における白線のズレ量を検出する。
【００５６】
最適ＭＰＴ決定部２７において、このズレをなくすようなマッピングテーブルをズレ量・ＭＰＴメモリ１６に格納されているズレ量とズレ量を補正するマッピングテーブルとの対応関係を基に、最適マッピングテーブルの情報を取得し、画像データ取得部２１に通知する。画像処理部１２は、最適マッピングテーブルの情報に基づいてマッピングメモリ１５から最適マッピングテーブルを抽出し、その最適マッピングテーブルに従って画像取得位置を計算して画像データを取得し、表示画像メモリ２２に格納する。この最適マッピングテーブルを使用することによって、画像つなぎ部のズレをなくすようにしている。
【００５７】
基準マッピングテーブルと最適マッピングテーブルとでは、撮影画像メモリ１９の所定の位置の画素に対して、表示画像メモリ２２に書込む画素位置が異なる。所定の位置の画素に対して、基準マッピングテーブルにおける書込み画素位置と最適マッピングテーブルにおける書込み画素位置とを比較し、その差分を算出して補正値とする。
【００５８】
このようにして算出された補正値を基に、車両の異常状態の判定を行う。異常状態か否かの判断基準として、例えば、ズレをなくすための補正値が２ピクセルを閾値とし、補正値が２ピクセル以上であれば車両に何らかの異常が発生している可能性が高いと判断する。
【００５９】
例えば、図３（ｃ）で示したマッピングテーブルが基準マッピングテーブル、図３（ｄ）で示したマッピングテーブルが最適マッピングテーブルとして決定されたものとする。このとき、補正値は、｜Ｑ１ｓ−Ｑ１ｏ｜となり、この値が２ピクセル以上であれば、車両に異常の発生している可能性が高いと判定する。
【００６０】
このような検出を、４か所の画像のつなぎ目に対して行い、それぞれ補正値を算出して車両に異常が発生したか否かの判定を行う。例えば、測定基準位置ＦＲにおける補正値および測定基準位置ＲＦにおける補正値がともに閾値以上であれば、車両の右前のタイヤが減りパンクの可能性があると判定する。このように、画像のつなぎ目を挟んだ２つの画像の測定基準位置の画素に対する補正値が、ともに閾値以上になったとき、この２つの画像を撮影した２つのカメラに近いタイヤに異常が発生したと判定する。また、測定基準位置ＲＢにおける補正値および測定基準位置ＢＲにおける補正値がともに閾値以上であれば、車両の右後ろのタイヤが減りパンクの可能性があると判定する。車両の左前のタイヤ又は左後ろのタイヤについても同様に判定する。
【００６１】
また、つなぎ部でどちらか一方、例えば測定基準位置ＦＲと測定基準位置ＲＦのうち、測定基準位置ＦＲにおける補正値だけが閾値以上であれば、前方カメラの設置位置がずれた可能性が高いと判定する。すなわち、画像のつなぎ目を挟んだ２つの画像の測定基準位置の画素に対する補正値のうち、一方の補正値が閾値になったとき、この一方の補正値で補正される画像を撮影したカメラの設置位置が変動したと判定する。
【００６２】
このように、トップビュー画像の生成における画像のつなぎ目のズレを検出し、このズレをなくすための補正値を利用することにより、車両に発生する異常を容易に検出することが可能になる。
【００６３】
なお、車両の異常検出として、上述したタイヤのパンクの可能性及びカメラの設置位置のずれ以外にも、タイヤの空気圧の異常、車高バランスの変化などを判定し、タイヤの交換などを指摘することも可能である。
【００６４】
次に、本実施形態に係る車両用異常検出装置１０において行う車両の異常検出処理について、図７のフローチャートを参照しながら説明する。
【００６５】
本実施形態では、自車両に設置されている車載カメラ１１ａ〜１１ｄは、常に自車両の周辺を撮影しているものとする。
【００６６】
まず、最初のステップＳ１１では、初期設定を行う。この初期設定では、トップビュー画像の生成における部分画像のうち、隣接する画像との境界に近い所定の画素の位置（測定基準位置）を選択する。また、補正値となる出力画像の座標位置の差分Ｄ１を０とおく。
【００６７】
次のステップＳ１２において、車載カメラで撮影された画像をトップビュー画像に変換するための基準マッピングテーブルを選択する。マッピングテーブルは車両毎に車両の乗車人数等に応じて複数用意されているが、そのなかから画像つなぎ部でズレのないトップビュー画像を生成するマッピングテーブルを基準マッピングテーブルとして選択する。
【００６８】
次のステップＳ１３では、車載カメラで撮影された画像をステップＳ１２で選択したマッピングテーブルを参照して出力画像に変換して、トップビュー画像を生成する。
【００６９】
次のステップＳ１４では、トップビュー画像の生成において隣接する部分画像の画像つなぎ目におけるズレの検出を行う。このズレの検出は、例えば、道路のセンターラインやレーン区分け線、駐車場の駐車スペースの区分け線などを車載カメラで撮影してトップビュー画像を生成し、つなぎ目におけるズレ量を検出する。
【００７０】
次のステップＳ１５では、ズレ量が０か否かを判定する。ズレ量が０でない場合はステップＳ１６に移行する。ズレ量が０のときは、ステップＳ１３に移行し、トップビュー画像の生成を継続する。画像のつなぎ目にズレがあるか否かは、例えば、道路に引かれた白線を撮影してトップビュー画像に変換し、つなぎ目において途切れていないかどうかを画像処理して判定する。
【００７１】
次のステップＳ１６では、ステップＳ１４で検出されたズレ量を０にするための最適なマッピングテーブルをズレ量・ＭＰＴメモリから抽出する。また、ズレ量を０にするマッピングテーブルが用意されていないときは、複数の用意されたマッピングテーブルを適用してトップビュー画像を生成し、つなぎ部のズレ量が０に近くなるようなマッピングテーブルを選択し、最適マッピングテーブルとしてもよい。
【００７２】
次のステップＳ１７では、測定基準位置に対する基準マッピングテーブルの書込み座標位置と、測定基準位置に対する最適マッピングテーブルの書込み座標位置との差分Ｄを算出する。
【００７３】
次のステップＳ１８では、すでに累積された差分を加算して新たな差分Ｄ１とする。
【００７４】
次のステップＳ１９では、差分Ｄ１が閾値以上になったか否かを判定する。閾値以上であれば車両に何らかの異常がある可能性が高く、ステップＳ２０に移行して異常判定を行う。差分Ｄ１が閾値に達していなければ、ステップＳ１３に移行し、トップビュー画像の生成を継続する。
【００７５】
次のステップＳ２０では、車両の異常判定を行う。車両の異常判定は、例えば、ステップＳ１７で算出した差分Ｄの結果、測定基準位置ＦＲの差分Ｄおよび測定基準位置ＲＦの差分Ｄがともに閾値以上であれば、車両の右前のタイヤが減りパンクの可能性があると判定する。また、測定基準位置ＲＢの差分Ｄおよび測定基準位置ＢＲの差分Ｄがともに閾値以上であれば、車両の右後ろのタイヤが減りパンクの可能性があると判定する。車両の左前のタイヤ又は左後ろのタイヤについても同様に判定する。
【００７６】
また、つなぎ部でどちらか一方、例えば測定基準位置ＦＲと測定基準位置ＲＦのうち、測定基準位置ＦＲの差分Ｄだけが閾値以上であれば、前方カメラの設置位置がずれた可能性が高いと判定する。
【００７７】
ステップＳ２１において、ステップＳ２０において判定された車両の異常状態を警告として出力し、本処理を終了する。
【００７８】
なお、ステップＳ１９において、差分Ｄ１が閾値以上のときに車両に何らかの異常がある可能性が高いと判定したが、累積する差分の変化量を基に、異常判定を行うようにしてもよい。例えば、差分の変化が大きくなっていれば、閾値に達する前であっても車両に異常の発生する危険性が高いと判定するようにしてもよい。
【００７９】
以上説明したように、本実施形態における車両異常検出処理では、トップビュー画像の生成の際に画像つなぎ部にズレがあるか否かを検出し、ズレがある場合にズレ量を補正する補正値を算出している。この補正値はつなぎ部の境界近傍の所定の画素の座標位置を測定基準位置とし、各測定基準位置に対する補正値を基に車両の異常、特にタイヤの異常を検出するようにしている。
【００８０】
例えば、トップビュー画像のうちの前方画像と右方画像とのつなぎ目においてズレが発生すると、このズレ量を補正するマッピングテーブルを用いてつなぎ目のズレをなくしている。このときに適用されるマッピングテーブルとズレが発生したときに使用されていたマッピングテーブルとを比較し、測定基準位置に対する出力表示画像の座標位置の差分を算出する。この差分を基に車両の右前のタイヤの状態が判定される。
【００８１】
このように、トップビュー画像の生成における画像のつなぎ目のズレを検出し、このズレをなくすための補正値を利用することにより、車両の異常を容易に検出することが可能になる。これにより、タイヤのパンク等を未然に防止することが可能になり、車両の安全走行に寄与することが可能になる。
【図面の簡単な説明】
【００８２】
【図１】本発明の一実施形態に係る車両用異常検出装置の構成を概略的に示すブロック図である。
【図２】図１の装置における各車載カメラの設置例を模式的に示す図である。
【図３】マッピングテーブルを説明する図である。
【図４】マッピングテーブルの一例を示す図である。
【図５】トップビュー画像のつなぎ目のズレを説明する図である。
【図６】トップビュー画像の測定基準位置を説明する図である。
【図７】車両異常検出処理の一例を示すフローチャートである。
【符号の説明】
【００８３】
１０…車両用画像表示装置、
１１ａ、１１ｂ、１１ｃ、１１ｄ…車載カメラ、
１２…画像処理部、
１３…異常検出処理部、
１４…制御部、
１５…マッピングメモリ、
１８…ディスプレイ装置、
１９…撮影画像メモリ、
２０…画像取得位置計算部、
２１…画像データ取得部、
２２…表示画像メモリ、
２５…基準ＭＰＴ決定部、
２６…ズレ量検出部、
２７…最適ＭＰＴ決定部。
【技術分野】
【０００１】
本発明は、車両用異常検出装置に関し、特に車載用カメラで撮影した画像を基に車両周辺の俯瞰画像を生成する技術を適用して車両の異常状態を検出する車両用異常検出装置に関する。
【背景技術】
【０００２】
近年、自車両のドアミラーやナンバープレート近傍にカメラを設置し、これら複数台のカメラにより自車両周囲の画像を撮影し、この画像を車室内に設置したディスプレイ等の表示装置に表示する技術が実用化されている。かかる技術は特に駐車する際に利用されており、その際、運転者は、表示装置に表示された画像を確認しながら、障害物等の存在を把握することで、衝突等の事故を防ぐことが可能になる。特に、ミラーだけでは死角になる位置の画像も表示することができるので、安全な駐車に寄与することができる。
【０００３】
また、自車両に複数台のカメラを設置し、これらのカメラにより撮像された画像をもとに、これら撮像画像を自車両の上方の仮想視点から見た画像（俯瞰画像）に変換し、その視点変換された車両周辺の俯瞰画像（以下、便宜上「トップビュー画像」という。）をディスプレイ等の表示装置に表示することで、自車両の周辺を監視する技術が実用化されている。
【０００４】
このトップビュー画像は、複数台のカメラで撮影された画像を合成して生成されるが、カメラの設置状態や車両の利用状態によっては画像のつなぎ部分にズレが生ずる場合がある。
【０００５】
このような画像のつなぎ部のズレを補正する技術として、例えば、出願中の特願２００６−３３８１５４には、車両の乗車人数や重量に応じてトップビュー画像を生成する際に使用されるマッピングテーブルを選択し、トップビュー画像を合成する際にカメラ画像のつなぎ目で発生するズレをなくす装置が記載されている。
【０００６】
また、特許文献１には、カメラ交換時に円形の画像の中心を基準に撮影位置のずれ量を算出して歪みのない画像を得る技術が記載されている。
【特許文献１】特開２００７−１５８６３９号公報
【発明の開示】
【発明が解決しようとする課題】
【０００７】
上記したようなトップビュー画像によって、自車両の周辺を死角領域をなくして表示することができ、バック走行等の際にトップビュー画像を確認しながら運転することにより、危険を回避することが可能となる。
【０００８】
また、出願中の特願２００６−３３８１５４に記載された技術によれば、トップビュー画像を合成する際に、カメラ画像のつなぎ目でズレがなくなるために、車両周辺画像が違和感なく表示されて、車両周辺の状況を容易に把握することが可能となる。
【０００９】
しかし、カメラ画像のつなぎ目のズレがないように表示されたとしても、はじめからズレがなかったのか、ズレのないように補正して画像が表示されたのかは利用者にとって不明である。このような画像のつなぎ目のズレは、車両に搭載したカメラ自体のズレによる場合や、タイヤの空気圧の減少による車体の傾斜が原因で発生する場合が考えられる。
【００１０】
画像のつなぎ目のズレが上記したようなタイヤの空気圧の減少やタイヤの減耗が起因しているとすれば、走行中にタイヤがパンクする危険性が高く、何ら対処をせずに走行を継続すると安全走行に支障を来たすおそれがある。
【００１１】
本発明は、かかる従来技術の課題に鑑みなされたものであり、トップビュー画像生成の際のカメラ画像のつなぎ目で発生するズレを補正する技術を利用して、車両の異常を検出することが可能な車両用異常検出装置を提供することを目的とする。
【課題を解決するための手段】
【００１２】
上述した従来技術の課題を解決するため、本発明の一形態によれば、表示手段と、自車両の周辺の画像を取得する複数のカメラと、前記自車両の傾斜毎に用意された前記画像の画素位置と出力表示画像の画素位置との関係が記述された複数のマッピングテーブルと、各カメラで撮影した各画像を合成して前記自車両の上方の視点からの画像に変換した俯瞰画像を前記マッピングテーブルのデータを基に生成する画像処理手段と、前記各画像のうち隣接する２つの画像のつなぎ目における画像のズレを検出して、当該ズレを補正して前記表示手段の画面に表示させる制御手段とを備え、前記制御手段は、前記ズレの量を補正する補正値が所定の値になったときに、前記自車両に異常が発生したと判定することを特徴とする車両用異常検出装置が提供される。
【００１３】
この形態に係る車両用異常検出装置において、前記制御手段は、前記ズレの量を記録し、当該ズレの量の累積値が所定の値になったときに、前記自車両に異常が発生したと判定するようにしてもよく、前記制御手段は、前記画像のつなぎ目近傍の所定の画素の位置を測定基準位置とし、前記つなぎ目におけるズレを検出したときに適用されたマッピングテーブルの前記測定基準位置に対応する出力表示画像の座標位置と、前記ズレを検出したときに当該ズレがなくなるように表示する際に適用されたマッピングテーブルの前記測定基準位置に対応する出力表示画像の座標位置との差分を補正値とするようにしてもよい。
【００１４】
また、この形態に係る車両用異常検出装置において、前記制御手段は、前記つなぎ目を挟んだ２つの画像の前記測定基準位置の画素に対する補正値が、ともに所定の値となったとき、当該２つの画像を撮影した２つのカメラに近い前記自車両の車輪に異常が発生したと判定するようにしてもよく、前記制御手段は、前記つなぎ目を挟んだ２つの画像の前記測定基準位置の画素に対する補正値のうち、一方の補正値が所定の値となったとき、当該一方の補正値で補正される画像を撮影したカメラの設置位置が変動したと判定するようにしてもよい。
【００１５】
本発明では、トップビュー画像の生成の際に２つの画像のつなぎ目にズレがあるか否かを検出し、ズレがある場合にそのズレ量を補正する補正値を算出している。この補正値は、つなぎ目の境界近傍の所定の画素の座標位置を測定基準位置とし、各測定基準位置に対する補正値を基に車両の異常、特に、タイヤの異常を検出するようにしている。
【００１６】
例えば、トップビュー画像のうちの前方画像と右方画像とのつなぎ目においてズレが発生すると、このズレ量を補正するマッピングテーブルを用いてつなぎ目のズレをなくしている。このときに適用されるマッピングテーブルとズレが発生したときに使用されていたマッピングテーブルとを比較し、測定基準位置に対する出力表示画像の座標位置の差分を算出する。この差分を基に車両の右前のタイヤの状態が判定される。
【００１７】
このように、トップビュー画像の生成における画像のつなぎ目のズレを検出し、ズレをなくすための補正値を利用することにより、車両の異常を容易に検出することが可能になる。これにより、タイヤのパンク等を未然に防止することが可能となり、車両の安全走行に寄与することが可能になる。
【発明を実施するための最良の形態】
【００１８】
以下、本発明の実施形態について、添付の図面を参照しながら説明する。
【００１９】
図１は、本発明の一実施形態に係る車両用異常検出装置１０の構成を概略的に示したものである。本実施形態では、本発明に係る車両用異常検出装置１０を車載用ナビゲーション装置の一部として組み込んだ場合の構成例を示している。
【００２０】
本実施形態に係る車両用異常検出装置１０は、図１に示すように、基本的に、４台の車載カメラ１１ａ、１１ｂ、１１ｃ及び１１ｄと、画像処理部１２と、異常検出処理部１３と、制御部１４と、マッピングメモリ１５と、ズレ量・マッピングテーブル（ＭＰＴ）メモリ１６と、操作部１７と、ディスプレイ装置１８とを備えている。
【００２１】
各車載カメラ１１ａ、１１ｂ、１１ｃ及び１１ｄは、それぞれ自車両の前方、後方、左方及び右方の画像を継続的に取得するためのものであり、自車両外部の適当な箇所に設置されている。図２はその設置例を模式的に示したものであり、前方カメラ１１ａは車両の前部に、後方カメラ１１ｂは車両の後部に、左方カメラ１１ｃ及び右方カメラ１１ｄはそれぞれ車両の左側部及び右側部（図示の例では、ドアミラーの下部）に設置されている。
【００２２】
また、各車載カメラ１１ａ〜１１ｄは、各々のレンズが若干下方を向くように位置決めされ、図中破線で示すように広角範囲（理想的には１８０°の撮像範囲）で画像を取得できるように設置されている。つまり、各車載カメラ１１ａ〜１１ｄが協働して自車両の全周辺（車両周辺）を撮影できるように配置されている。
【００２３】
各車載カメラ１１ａ〜１１ｄは、例えば、ＣＣＤ(Charge Coupled Device)センサを内蔵している。特に図示はしないが、このＣＣＤセンサは、受光部として機能するフォトダイオード（光電変換素子）と、その光電変換された信号（電荷）を転送するためのＣＣＤを有しており、フォトダイオードは２次元に配列され、各フォトダイオード上にマイクロレンズが設けられている。
【００２４】
画像処理部１２は、その機能ブロックとして、画像取得位置計算部２０、画像データ取得部２１及び画像合成部２４を備え、さらにメモリとして、撮影画像メモリ１９、表示画像メモリ２２、車両画像メモリ２３を保有している。
【００２５】
撮影画像メモリ１９は、その記憶媒体として、例えばＨＤＤを使用している。撮影画像メモリ１９（ＨＤＤ内の一部の記憶領域）には、制御部１４からの制御に基づき、各車載カメラ１１ａ、１１ｂ、１１ｃ及び１１ｄで継続的に撮影して得られた画像（自車両の前方、後方、左方及び右方の周辺の画像と、自車両の一部の画像）のデータが一画面分（１フレーム）毎に逐次格納されるようになっている。その際、車載用のＨＤＤの記憶容量には限りがあり、今までに取得した撮像画像データをすべて保存しておくことはできないため、ＨＤＤを効率的に運用する観点から、ＨＤＤ内の該当する記憶領域に撮影画像データを順次上書きしながら格納する。
【００２６】
画像取得位置計算部２０は、撮影画像の各画素を表示画像のどの座標位置に出力するかを、マッピングメモリ１５に格納されているマッピングテーブル（ＭＰＴ）を参照して算出する。
【００２７】
画像データ取得部２１は、各車載カメラ１１ａ〜１１ｄによって撮像され、撮影画像メモリ１９に格納された撮影画像を取り込み、その画像に対して画像取得位置計算部２０で算出された出力座標位置を参照して、視点変換された画像を生成し、表示画像メモリ２２に格納する。表示画像メモリ２２も撮影画像メモリ１９と同様に、記憶媒体として例えばＨＤＤを使用し、撮影画像メモリ１９と異なる記憶領域が割り当てられている。
【００２８】
表示画像メモリ２２に格納された自車両の上方の仮想視点から見た自車両の周辺の画像と車両画像メモリ２３に記憶させておいて自車両の画像を画像合成部２４で合成してトップビュー画像を生成し、ディスプレイ装置１８に出力する。
【００２９】
マッピングメモリ１５は、複数のマッピングテーブルを格納している。マッピングテーブルは、撮像画像の画素位置と表示画像の画素位置との対応関係が記述されたテーブルであり、マッピングデータとして、１フレームの表示画像の各画素に、対応する撮像画像の画像取得位置の座標情報が記述されている。このマッピングテーブルは車両の状態ごとに用意されている。例えば、車両に乗車する人数や重量に応じて車体が傾斜する場合があるが、そのような傾斜に応じてマッピングテーブルが用意されている。
【００３０】
異常検出処理部１３は、その機能ブロックとして、基準マッピングテーブル（ＭＰＴ）決定部２５、ズレ量検出部２６、最適マッピングテーブル（ＭＰＴ）決定部２７、補正値算出部２８、及び異常判定部２９を備えている。
【００３１】
基準ＭＰＴ決定部２５は、画像つなぎ目のズレが発生しないようなトップビュー画像を表示可能なマッピングテーブルを選択する。例えば、車両の乗車人数を検出し、人数に応じたマッピングテーブルを選択する。
【００３２】
ズレ量検出部２６は、画像処理部１２において生成され、表示画像メモリ２２に格納されたトップビュー画像を取得し、トップビュー画像の画像つなぎ目においてズレがあるか否かを検出するとともに、そのズレ量を検出する。
【００３３】
ズレの検出は、例えば、道路に表示される白線を撮影してトップビュー画像に変換して表示し、画像のつなぎ目において、白線を示す同一の輝度でつながっているか否かによって判定する。また、ズレがある場合は、そのズレ量を検出する。
【００３４】
最適ＭＰＴ決定部２７は、ズレ量検出部２６で検出されたズレ量に応じて、ズレ量・ＭＰＴメモリ１６に格納されているズレ量とそのズレ量を補正可能なマッピングテーブルとの対応関係を示す情報を基に、新たなマッピングテーブル（最適マッピングテーブルと呼ぶ）を選択する。決定された最適マッピングテーブルの情報は、画像データ取得部２１に通知されるとともに、補正値算出部２８に通知される。
【００３５】
補正値算出部２８は、基準マッピングテーブルと最適マッピングテーブルを比較し、ズレが検出された部分の撮影画像の特定の座標位置の画素に対する表示画像の座標位置の差分を算出する。
【００３６】
異常判定部２９は、補正値算出部２８で算出された補正値を基に車両の状態を判定する。
【００３７】
ディスプレイ装置１８は、例えば、ＬＣＤ（液晶ディスプレイ）等からなり、運転席から表示画面を見ることができるように車室内のセンターコンソールのほぼ中間位置に設置されている。このディスプレイ装置１８の表示画面には、自車両及び自車両周辺のトップビュー画像が表示される。また、異常検出処理部１３で車両に異常があると判定された場合に、その旨の情報が表示される。さらにこの表示画面には、ナビゲーションに係る案内情報（自車の現在位置の周囲の地図、出発地から目的地までの誘導経路等）も表示される。
【００３８】
制御部１４は、例えば、マイクロコンピュータ等により構成され、各車載カメラ１１ａ〜１１ｄによる画像を取得して撮像画像メモリ１９に格納し、画像処理部１２にトップビュー画像を生成させて、ディスプレイ装置１８に画像を表示する機能を有している。また、画像処理部１２で生成されて表示画像メモリ２２に格納されたトップビュー画像データをズレ量検出部２６に入力し、異常検出処理部１３で画像のつなぎ目のズレの補正値を基にして車両の異常を判定させる機能を有している。
【００３９】
操作部１７は、ユーザが指示した情報を入力するためのものであり、本発明に関連する入力指示として「車両異常検出」の指示を与えるものである。この操作部１７は、例えば、リモコン送信機の形態を有しており、特に図示はしないが、ディスプレイ装置の画面上の各種メニュー、各種項目等を選択したり、選択したメニュー等を実行させるための各種操作ボタン、ジョイスティックなどが適宜設けられている。
【００４０】
このように構成された車両用異常検出装置１０において、運転者が操作部１７を操作して「車両異常検出」を指示すると、トップビュー画像の生成において、画像のつなぎ目にズレが発生するか否かを検出する。ズレが発生する場合は、そのズレをなくすようなマッピングテーブルを選択して所定の位置の画素に対する補正値を算出し、補正値に応じて、車両の、特にタイヤの異常状況が判定される。
【００４１】
この一連の処理が制御部１４によって制御される。なお、運転者が「車両異常検出」を指示しない場合であっても、例えば、シフトレバーがバックの位置になったことを検出したときに自動的に、トップビュー画像が表示されるようにし、その際に車両異常検出処理が行われるようにしてもよい。また、トップビュー画像の表示をしない場合であっても、常にトップビュー画像の生成をしながら車両異常検出処理が行われるようにしてもよい。
【００４２】
本実施形態の車両用異常検出装置は、その基本的特徴として、トップビュー画像生成の際に画像のつなぎ目にズレがないようにするための補正値を利用して車両の異常検出を行うことである。
【００４３】
以下に、トップビュー画像生成に使用されるマッピングテーブルについて説明し、マッピングテーブルを利用した補正値の算出、及び、補正値による車両異常判定について説明する。
【００４４】
図３は、マッピングテーブルの説明図である。図３（ａ）の矩形枠Ａは、前方カメラによって撮影された画像を示しており、このうち歪みの大きな領域を除いた領域Ｂの画像がトップビュー画像の合成に使用される。図３（ｂ）はトップビュー画像の一例を示しており、車両の前方、右方、後方、左方のカメラで撮影された画像を視点変換して、それぞれトップビュー画像の前方画像ＦＰ、右方画像ＲＰ、後方画像ＢＰ、左方画像ＬＰに表示される。さらに自車両の画像が中央部分に合成されてトップビュー画像が生成される。図３（ａ）の領域Ｂの画像は、図３（ｂ）のトップビュー画像の前方画像ＦＰに対応している。
【００４５】
魚眼レンズのような広角レンズを通して撮影されて撮影画像メモリ１９に格納された画像データは、表示画像メモリ２２に格納する際に、魚眼レンズを通して得られた歪みのある画像データを歪みのない画像データに変換する。この変換に、アドレス関係が記載されたマッピングテーブルが使用される。例えば、図３（ａ）のＰ１に対応する撮影画像の画素位置と図３（ｂ）のＱ１ｓに対応する表示画像の画素位置とを対応させ、図３（ａ）のＰ２に対応する撮影画像の画素位置と図３（ｂ）のＱ２に対応する表示画像の画素位置とを対応させるような変換規則がマッピングテーブルに定義されている。
【００４６】
マッピングテーブルは、車両の傾きに応じて複数用意されており、それぞれのマッピングテーブルによって、撮影画像の画素位置が同じであっても、表示画像の画素位置が異なる場合がある。例えば、図３（ｃ）及び図３（ｄ）は２つの異なるマッピングテーブルの一例を示している。図３（ｃ）のマッピングテーブルＭＰＴ-Ｓを使用すると、点Ｐ１に対応する表示画像の画素位置はＱ１ｓとなり、図３（ｄ）のマッピングテーブルＭＰＴ−Ｏを使用すると、表示画像の画素位置はＱ１ｏとなる。
【００４７】
図４は、マッピングテーブルの具体例を示した図である。図４に示すように、マッピングテーブルは、表示位置、カメラ番号、位置、補間データを構成要素としている。このうち、表示位置は、出力表示画面に表示される画像の画素位置を示しており、座標（Ｘｏ，Ｙｏ）で示されている。
【００４８】
カメラ番号は、車両のどこに搭載されたカメラであるかを示す識別番号を示している。また、位置は、カメラ番号で特定されたカメラによって撮像された画像の画素位置の座標（ｘ、ｙ）を示している。また、補間データは、隣接する画素間の色の変化をスムーズにするための色情報を調整する値を示している。
【００４９】
例えば、図４のマッピングテーブルを参照すると、出力表示画面の表示位置（２５１，１００）にはカメラ番号１のカメラで撮像された画像の座標位置（２０２，１００）の画素が割り当てられる。さらに、ｘ方向の隣接する画素の色情報のうちの５０％の情報が当該画素の色情報に取り入れられる。例えば、当該画素の色が白で、隣接する画素の色が黒であった場合、当該画素の色を灰色とする。
【００５０】
図３（ｂ）に示したように、トップビュー画像は、前方画像ＦＰ、右方画像ＲＰ、後方画像ＢＰ、左方画像ＬＰの部分画像を合成して構成されているため、前方画像ＦＰと右方画像ＲＰ等の画像のつなぎ目にズレが生じることがある。図５に示すように、車両の右側のセンターライン等の白線ＷＬをトップビュー画像に変換して表示したとき、前方画像ＦＰと右方画像ＲＰとのつなぎ目でズレＺが生じる場合がある。このズレの発生をなくすため、車両の傾斜毎にズレが無くなるように適応されたマッピングテーブルが用意され、適切なマッピングテーブルを使用することによってズレのないトップビュー画像にしている。
【００５１】
本実施形態では、このような画像つなぎ目のズレを検出して、画像の補正をするとともに、ズレの要因を解析して、車両の異常状態の検出を行っている。
【００５２】
画像つなぎ目のズレを基にした車両の異常判定は、基本的には画像つなぎ目にズレが検出されたときに使用していたマッピングテーブルと、そのズレ量を補正してズレをなくすことのできるマッピングテーブルとを比較して、補正値を算出し、その補正値に基づいて車両の異常を判定している。この２つのマッピングテーブルの比較の際に、基準とする所定の画素の位置を特定する。所定の画素の位置は、トップビュー画像の部分画像において、隣接する画像の境界近傍の画素を選択する。例えば、図６に示すように、トップビュー画像のうちの前方画像ＦＰに２か所（ＦＲ，ＦＬ）、右方画像ＲＰに２か所（ＲＦ，ＲＢ）、後方画像ＢＰに２か所（ＢＲ，ＢＬ）、左方画像ＬＰに２か所（ＬＦ，ＬＢ）の合計８か所の画素の位置が選択される。これらの選択された画素の位置を、便宜上「測定基準位置」と呼ぶ。
【００５３】
また、車両の乗車人数等に応じ、画像つなぎ目においてズレが発生しないように調整されたマッピングテーブルを決定し、基準マッピングテーブルとする。基準マッピングテーブルは、操作部を介して選択してもよいし、車両の搭乗人数を車内に設置したカメラで撮影した画像を解析して人数を検出して人数に応じたマッピングテーブルを選択するようにしてもよい。
【００５４】
基準マッピングテーブルを使用して、画像つなぎ目にズレのないトップビュー画像が表示されていても、車両を長時間走行させると、タイヤの減耗などによって車両が傾き、車両に設置されたカメラの撮像範囲が変わるため、画像つなぎ目にズレが発生する場合がある。
【００５５】
このような画像つなぎ目のズレの検出は、トップビュー画像の前方部と側方部、又は後方部と側方部に跨って表示される画像、例えば道路に表示される白線の画像を対象として行う。ズレ量検出部２６によって、表示画像メモリ２２に保存されているトップビュー画像を読出し、画像処理して所定の２つの画像部分のつなぎ目における白線のズレ量を検出する。
【００５６】
最適ＭＰＴ決定部２７において、このズレをなくすようなマッピングテーブルをズレ量・ＭＰＴメモリ１６に格納されているズレ量とズレ量を補正するマッピングテーブルとの対応関係を基に、最適マッピングテーブルの情報を取得し、画像データ取得部２１に通知する。画像処理部１２は、最適マッピングテーブルの情報に基づいてマッピングメモリ１５から最適マッピングテーブルを抽出し、その最適マッピングテーブルに従って画像取得位置を計算して画像データを取得し、表示画像メモリ２２に格納する。この最適マッピングテーブルを使用することによって、画像つなぎ部のズレをなくすようにしている。
【００５７】
基準マッピングテーブルと最適マッピングテーブルとでは、撮影画像メモリ１９の所定の位置の画素に対して、表示画像メモリ２２に書込む画素位置が異なる。所定の位置の画素に対して、基準マッピングテーブルにおける書込み画素位置と最適マッピングテーブルにおける書込み画素位置とを比較し、その差分を算出して補正値とする。
【００５８】
このようにして算出された補正値を基に、車両の異常状態の判定を行う。異常状態か否かの判断基準として、例えば、ズレをなくすための補正値が２ピクセルを閾値とし、補正値が２ピクセル以上であれば車両に何らかの異常が発生している可能性が高いと判断する。
【００５９】
例えば、図３（ｃ）で示したマッピングテーブルが基準マッピングテーブル、図３（ｄ）で示したマッピングテーブルが最適マッピングテーブルとして決定されたものとする。このとき、補正値は、｜Ｑ１ｓ−Ｑ１ｏ｜となり、この値が２ピクセル以上であれば、車両に異常の発生している可能性が高いと判定する。
【００６０】
このような検出を、４か所の画像のつなぎ目に対して行い、それぞれ補正値を算出して車両に異常が発生したか否かの判定を行う。例えば、測定基準位置ＦＲにおける補正値および測定基準位置ＲＦにおける補正値がともに閾値以上であれば、車両の右前のタイヤが減りパンクの可能性があると判定する。このように、画像のつなぎ目を挟んだ２つの画像の測定基準位置の画素に対する補正値が、ともに閾値以上になったとき、この２つの画像を撮影した２つのカメラに近いタイヤに異常が発生したと判定する。また、測定基準位置ＲＢにおける補正値および測定基準位置ＢＲにおける補正値がともに閾値以上であれば、車両の右後ろのタイヤが減りパンクの可能性があると判定する。車両の左前のタイヤ又は左後ろのタイヤについても同様に判定する。
【００６１】
また、つなぎ部でどちらか一方、例えば測定基準位置ＦＲと測定基準位置ＲＦのうち、測定基準位置ＦＲにおける補正値だけが閾値以上であれば、前方カメラの設置位置がずれた可能性が高いと判定する。すなわち、画像のつなぎ目を挟んだ２つの画像の測定基準位置の画素に対する補正値のうち、一方の補正値が閾値になったとき、この一方の補正値で補正される画像を撮影したカメラの設置位置が変動したと判定する。
【００６２】
このように、トップビュー画像の生成における画像のつなぎ目のズレを検出し、このズレをなくすための補正値を利用することにより、車両に発生する異常を容易に検出することが可能になる。
【００６３】
なお、車両の異常検出として、上述したタイヤのパンクの可能性及びカメラの設置位置のずれ以外にも、タイヤの空気圧の異常、車高バランスの変化などを判定し、タイヤの交換などを指摘することも可能である。
【００６４】
次に、本実施形態に係る車両用異常検出装置１０において行う車両の異常検出処理について、図７のフローチャートを参照しながら説明する。
【００６５】
本実施形態では、自車両に設置されている車載カメラ１１ａ〜１１ｄは、常に自車両の周辺を撮影しているものとする。
【００６６】
まず、最初のステップＳ１１では、初期設定を行う。この初期設定では、トップビュー画像の生成における部分画像のうち、隣接する画像との境界に近い所定の画素の位置（測定基準位置）を選択する。また、補正値となる出力画像の座標位置の差分Ｄ１を０とおく。
【００６７】
次のステップＳ１２において、車載カメラで撮影された画像をトップビュー画像に変換するための基準マッピングテーブルを選択する。マッピングテーブルは車両毎に車両の乗車人数等に応じて複数用意されているが、そのなかから画像つなぎ部でズレのないトップビュー画像を生成するマッピングテーブルを基準マッピングテーブルとして選択する。
【００６８】
次のステップＳ１３では、車載カメラで撮影された画像をステップＳ１２で選択したマッピングテーブルを参照して出力画像に変換して、トップビュー画像を生成する。
【００６９】
次のステップＳ１４では、トップビュー画像の生成において隣接する部分画像の画像つなぎ目におけるズレの検出を行う。このズレの検出は、例えば、道路のセンターラインやレーン区分け線、駐車場の駐車スペースの区分け線などを車載カメラで撮影してトップビュー画像を生成し、つなぎ目におけるズレ量を検出する。
【００７０】
次のステップＳ１５では、ズレ量が０か否かを判定する。ズレ量が０でない場合はステップＳ１６に移行する。ズレ量が０のときは、ステップＳ１３に移行し、トップビュー画像の生成を継続する。画像のつなぎ目にズレがあるか否かは、例えば、道路に引かれた白線を撮影してトップビュー画像に変換し、つなぎ目において途切れていないかどうかを画像処理して判定する。
【００７１】
次のステップＳ１６では、ステップＳ１４で検出されたズレ量を０にするための最適なマッピングテーブルをズレ量・ＭＰＴメモリから抽出する。また、ズレ量を０にするマッピングテーブルが用意されていないときは、複数の用意されたマッピングテーブルを適用してトップビュー画像を生成し、つなぎ部のズレ量が０に近くなるようなマッピングテーブルを選択し、最適マッピングテーブルとしてもよい。
【００７２】
次のステップＳ１７では、測定基準位置に対する基準マッピングテーブルの書込み座標位置と、測定基準位置に対する最適マッピングテーブルの書込み座標位置との差分Ｄを算出する。
【００７３】
次のステップＳ１８では、すでに累積された差分を加算して新たな差分Ｄ１とする。
【００７４】
次のステップＳ１９では、差分Ｄ１が閾値以上になったか否かを判定する。閾値以上であれば車両に何らかの異常がある可能性が高く、ステップＳ２０に移行して異常判定を行う。差分Ｄ１が閾値に達していなければ、ステップＳ１３に移行し、トップビュー画像の生成を継続する。
【００７５】
次のステップＳ２０では、車両の異常判定を行う。車両の異常判定は、例えば、ステップＳ１７で算出した差分Ｄの結果、測定基準位置ＦＲの差分Ｄおよび測定基準位置ＲＦの差分Ｄがともに閾値以上であれば、車両の右前のタイヤが減りパンクの可能性があると判定する。また、測定基準位置ＲＢの差分Ｄおよび測定基準位置ＢＲの差分Ｄがともに閾値以上であれば、車両の右後ろのタイヤが減りパンクの可能性があると判定する。車両の左前のタイヤ又は左後ろのタイヤについても同様に判定する。
【００７６】
また、つなぎ部でどちらか一方、例えば測定基準位置ＦＲと測定基準位置ＲＦのうち、測定基準位置ＦＲの差分Ｄだけが閾値以上であれば、前方カメラの設置位置がずれた可能性が高いと判定する。
【００７７】
ステップＳ２１において、ステップＳ２０において判定された車両の異常状態を警告として出力し、本処理を終了する。
【００７８】
なお、ステップＳ１９において、差分Ｄ１が閾値以上のときに車両に何らかの異常がある可能性が高いと判定したが、累積する差分の変化量を基に、異常判定を行うようにしてもよい。例えば、差分の変化が大きくなっていれば、閾値に達する前であっても車両に異常の発生する危険性が高いと判定するようにしてもよい。
【００７９】
以上説明したように、本実施形態における車両異常検出処理では、トップビュー画像の生成の際に画像つなぎ部にズレがあるか否かを検出し、ズレがある場合にズレ量を補正する補正値を算出している。この補正値はつなぎ部の境界近傍の所定の画素の座標位置を測定基準位置とし、各測定基準位置に対する補正値を基に車両の異常、特にタイヤの異常を検出するようにしている。
【００８０】
例えば、トップビュー画像のうちの前方画像と右方画像とのつなぎ目においてズレが発生すると、このズレ量を補正するマッピングテーブルを用いてつなぎ目のズレをなくしている。このときに適用されるマッピングテーブルとズレが発生したときに使用されていたマッピングテーブルとを比較し、測定基準位置に対する出力表示画像の座標位置の差分を算出する。この差分を基に車両の右前のタイヤの状態が判定される。
【００８１】
このように、トップビュー画像の生成における画像のつなぎ目のズレを検出し、このズレをなくすための補正値を利用することにより、車両の異常を容易に検出することが可能になる。これにより、タイヤのパンク等を未然に防止することが可能になり、車両の安全走行に寄与することが可能になる。
【図面の簡単な説明】
【００８２】
【図１】本発明の一実施形態に係る車両用異常検出装置の構成を概略的に示すブロック図である。
【図２】図１の装置における各車載カメラの設置例を模式的に示す図である。
【図３】マッピングテーブルを説明する図である。
【図４】マッピングテーブルの一例を示す図である。
【図５】トップビュー画像のつなぎ目のズレを説明する図である。
【図６】トップビュー画像の測定基準位置を説明する図である。
【図７】車両異常検出処理の一例を示すフローチャートである。
【符号の説明】
【００８３】
１０…車両用画像表示装置、
１１ａ、１１ｂ、１１ｃ、１１ｄ…車載カメラ、
１２…画像処理部、
１３…異常検出処理部、
１４…制御部、
１５…マッピングメモリ、
１８…ディスプレイ装置、
１９…撮影画像メモリ、
２０…画像取得位置計算部、
２１…画像データ取得部、
２２…表示画像メモリ、
２５…基準ＭＰＴ決定部、
２６…ズレ量検出部、
２７…最適ＭＰＴ決定部。
【特許請求の範囲】
【請求項１】
表示手段と、
自車両の周辺の画像を取得する複数のカメラと、
前記自車両の傾斜毎に用意された前記画像の画素位置と出力表示画像の画素位置との関係が記述された複数のマッピングテーブルと、
各カメラで撮影した各画像を合成して前記自車両の上方の視点からの画像に変換した俯瞰画像を前記マッピングテーブルのデータを基に生成する画像処理手段と、
前記各画像のうち隣接する２つの画像のつなぎ目における画像のズレを検出して、当該ズレを補正して前記表示手段の画面に表示させる制御手段とを備え、
前記制御手段は、前記ズレの量を補正する補正値が所定の値になったときに、前記自車両に異常が発生したと判定することを特徴とする車両用異常検出装置。
【請求項２】
前記制御手段は、前記ズレの量を記録し、当該ズレの量の累積値が所定の値になったときに、前記自車両に異常が発生したと判定することを特徴とする請求項１に記載の車両用異常検出装置。
【請求項３】
前記制御手段は、前記画像のつなぎ目近傍の所定の画素の位置を測定基準位置とし、前記つなぎ目におけるズレを検出したときに適用されたマッピングテーブルの前記測定基準位置に対応する出力表示画像の座標位置と、前記ズレを検出したときに当該ズレがなくなるように表示する際に適用されたマッピングテーブルの前記測定基準位置に対応する出力表示画像の座標位置との差分を補正値とすることを特徴とする請求項１又は２に記載の車両用異常検出装置。
【請求項４】
前記制御手段は、前記つなぎ目を挟んだ２つの画像の前記測定基準位置の画素に対する補正値が、ともに所定の値となったとき、当該２つの画像を撮影した２つのカメラに近い前記自車両の車輪に異常が発生したと判定することを特徴とする請求項３に記載の車両用異常検出装置。
【請求項５】
前記制御手段は、前記つなぎ目を挟んだ２つの画像の前記測定基準位置の画素に対する補正値のうち、一方の補正値が所定の値となったとき、当該一方の補正値で補正される画像を撮影したカメラの設置位置が変動したと判定することを特徴とする請求項３に記載の車両用異常検出装置。
【請求項１】
表示手段と、
自車両の周辺の画像を取得する複数のカメラと、
前記自車両の傾斜毎に用意された前記画像の画素位置と出力表示画像の画素位置との関係が記述された複数のマッピングテーブルと、
各カメラで撮影した各画像を合成して前記自車両の上方の視点からの画像に変換した俯瞰画像を前記マッピングテーブルのデータを基に生成する画像処理手段と、
前記各画像のうち隣接する２つの画像のつなぎ目における画像のズレを検出して、当該ズレを補正して前記表示手段の画面に表示させる制御手段とを備え、
前記制御手段は、前記ズレの量を補正する補正値が所定の値になったときに、前記自車両に異常が発生したと判定することを特徴とする車両用異常検出装置。
【請求項２】
前記制御手段は、前記ズレの量を記録し、当該ズレの量の累積値が所定の値になったときに、前記自車両に異常が発生したと判定することを特徴とする請求項１に記載の車両用異常検出装置。
【請求項３】
前記制御手段は、前記画像のつなぎ目近傍の所定の画素の位置を測定基準位置とし、前記つなぎ目におけるズレを検出したときに適用されたマッピングテーブルの前記測定基準位置に対応する出力表示画像の座標位置と、前記ズレを検出したときに当該ズレがなくなるように表示する際に適用されたマッピングテーブルの前記測定基準位置に対応する出力表示画像の座標位置との差分を補正値とすることを特徴とする請求項１又は２に記載の車両用異常検出装置。
【請求項４】
前記制御手段は、前記つなぎ目を挟んだ２つの画像の前記測定基準位置の画素に対する補正値が、ともに所定の値となったとき、当該２つの画像を撮影した２つのカメラに近い前記自車両の車輪に異常が発生したと判定することを特徴とする請求項３に記載の車両用異常検出装置。
【請求項５】
前記制御手段は、前記つなぎ目を挟んだ２つの画像の前記測定基準位置の画素に対する補正値のうち、一方の補正値が所定の値となったとき、当該一方の補正値で補正される画像を撮影したカメラの設置位置が変動したと判定することを特徴とする請求項３に記載の車両用異常検出装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【公開番号】特開２００９−２２７１９７（Ｐ２００９−２２７１９７Ａ）
【公開日】平成２１年１０月８日（２００９．１０．８）
【国際特許分類】
【出願番号】特願２００８−７７３７４（Ｐ２００８−７７３７４）
【出願日】平成２０年３月２５日（２００８．３．２５）
【出願人】（０００１０１７３２）アルパイン株式会社 (2,424)
【Ｆターム（参考）】
【公開日】平成２１年１０月８日（２００９．１０．８）
【国際特許分類】
【出願日】平成２０年３月２５日（２００８．３．２５）
【出願人】（０００１０１７３２）アルパイン株式会社 (2,424)
【Ｆターム（参考）】
[ Back to top ]