検知装置、及び、検知方法
【課題】車両の側方に搭載されたカメラが撮影した車外画像のみに基づいてカメラの光軸の位置ズレを簡易に検知できる技術を提供する。
【解決手段】車両と相対的に移動する物体の像の車外画像中の移動軌跡と基準となるラインとを比較してカメラの光軸の位置ズレを検知するため、検知装置はカメラの光軸の位置ズレを車外画像のみで簡易に検知することができる。
【解決手段】車両と相対的に移動する物体の像の車外画像中の移動軌跡と基準となるラインとを比較してカメラの光軸の位置ズレを検知するため、検知装置はカメラの光軸の位置ズレを車外画像のみで簡易に検知することができる。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、車両に搭載されたカメラの光軸の位置ズレを検知する技術に関する。
【背景技術】
【0002】
近年、車両に搭載されたカメラが撮影した車外画像を車両に搭載されるディスプレイへ表示させる画像表示装置が開発されている。このように画像表示装置が車外画像をディスプレイへ表示させるため、ユーザは車外画像を参考にしながら車両を運転することができる。
【0003】
画像表示装置がその機能を適切に発揮するためには、車両に搭載されたカメラの光軸が予定された角度で設定されなければならない。
【0004】
従って、予定された角度で設定されたカメラの光軸が経年とともにズレてしまった場合などには、画像表示装置はそのズレを検知してユーザに知らせるとともにユーザにカメラの光軸を予定していた角度に再設定させる必要がある。
【0005】
そこで、次のような画像表示装置が知られている。つまり、車両に搭載されたカメラが撮影した複数の車外画像に基づいて車外画像中の消失点を画像表示装置が導出する。そして、導出された消失点が初期の消失点の位置からズレている場合に、カメラの光軸の位置がズレているとして画像表示装置はユーザへその旨を報知する。このため、画像表示装置は、カメラが撮影した画像のみに基づいてカメラの光軸の位置ズレを簡易に検知することができる。係る技術は、例えば、特許文献1に記載されている。
【0006】
なお、このような画像表示装置は、カメラの光軸の位置ズレを検知する機能を備えているため検知装置であるともいえる。
【先行技術文献】
【特許文献】
【0007】
【特許文献1】特開2007−215169号公報
【発明の概要】
【発明が解決しようとする課題】
【0008】
しかし、検知装置において、車両に搭載されたカメラの光軸の位置ズレを検知するために利用される消失点を、車両の側方に搭載されたカメラが撮影した車外画像に基づいて導出するのは難しい。つまり、従来の技術を応用して、車両の側方に搭載されたカメラの光軸の位置ズレを検知装置が検知するのは難しいという問題がある。
【0009】
本発明は、上記課題に鑑みてなされたものであり、検知装置が、車両の側方に搭載されたカメラが撮影した車外画像のみに基づいてカメラの光軸の位置ズレを簡易に検知できる技術を提供することを目的とする。
【課題を解決するための手段】
【0010】
上記課題を解決するため、請求項1の発明は、車両の側方に搭載されたカメラの光軸の位置ズレを検知する検知装置であって、前記車両の走行中に前記カメラが撮影した時間的に連続する複数の車外画像に基づいて、前記車両と相対的に移動する物体の像の前記車外画像中の移動軌跡を導出する導出手段と、前記移動軌跡と前記車外画像中の基準となる基準ラインとを比較した結果に基づいて、前記位置ズレを検知する検知手段と、を備えることを特徴とする。
【0011】
また、請求項2の発明は、請求項1に記載の検知装置において、前記カメラのレンズは魚眼レンズであり、前記検知手段は、前記移動軌跡の歪みの程度と前記基準ラインの歪みの程度とを比較した結果に基づいて、前記位置ズレを検知することを特徴とする。
【0012】
また、請求項3の発明は、請求項1に記載の検知装置において、前記検知手段は、前記車外画像中の所定位置にある前記移動軌跡と、前記所定位置にある前記基準ラインとを比較した結果に基づいて、前記位置ズレを検知することを特徴とする。
【0013】
また、請求項4の発明は、請求項3に記載の検知装置において、前記所定位置は、前記車外画像の左右中央の近傍の領域であることを特徴とする。
【0014】
また、請求項5の発明は、請求項3に記載の検知装置において、前記所定位置は、前記車外画像の左右の略中央であることを特徴とする。
【0015】
また、請求項6の発明は、請求項1乃至5の何れかに記載の検知装置において、前記導出手段は、前記車外画像中における前記車両が走行中のレーンに隣接する隣接レーンの領域に存在する物体の像の移動軌跡を導出することを特徴とする。
【0016】
また、請求項7の発明は、請求項1乃至5の何れかに記載の検知装置において、前記物体は、前記隣接レーンを走行する他の車両であることを特徴とする。
【0017】
また、請求項8の発明は、車両の側方に搭載されたカメラの光軸の位置ズレを検知する検知方法であって、(a)前記車両の走行中に前記カメラが撮影した時間的に連続する複数の車外画像に基づいて、前記車両と相対的に移動する物体の像の前記車外画像中の移動軌跡を導出する工程と、(b)前記移動軌跡と前記車外画像中の基準となる基準ラインとを比較して前記位置ズレを検知する工程と、を備えることを特徴とする。
【0018】
また、請求項9の発明は、車両の側方に搭載されたカメラの光軸の位置ズレを検知する検知装置であって、前記車両の走行中に前記カメラが撮影した車外画像に含まれる、前記車両の前後方向に延びる被写体の像を抽出する抽出手段と、前記被写体の像の形状と基準となる基準形状とを比較した結果に基づいて、前記位置ズレを検知する検知手段と、を備えることを特徴とする。
【発明の効果】
【0019】
請求項1ないし8の発明によれば、車両と相対的に移動する物体の像の車外画像中の移動軌跡と基準となるラインとを比較してカメラの光軸の位置ズレを検知するため、カメラの光軸の位置ズレを車外画像のみで簡易に検知することができる。
【0020】
また、請求項2の発明によれば、魚眼レンズを備えたカメラが撮影した車外画像に基づいて導出した移動軌跡の歪みの程度と基準ラインの歪みの程度を比較した結果に基づいてカメラの光軸の位置ズレを検知するため、精度良くその位置ズレを検知することができる。
【0021】
また、請求項3の発明によれば、車外画像中の所定位置にある移動軌跡と、所定位置にある基準ラインとを比較した結果に基づいてその位置ズレを検知するため、検知する際の処理負荷を低減することができる。
【0022】
また、請求項4の発明によれば、車外画像の左右中央の近傍の領域にある移動軌跡と、車外画像の左右中央の近傍の領域にある基準ラインとを比較した結果に基づいてその位置ズレを検知するため、カメラの光軸の位置ズレを検知する精度を向上させることができる。つまり、魚眼レンズを備えたカメラが撮影した車外画像の左右中央近傍では、移動軌跡の歪みの程度が大きくなるため、カメラの光軸の位置ズレを検知する精度を向上させることができる。
【0023】
また、請求項5の発明によれば、車外画像の左右の略中央にある移動軌跡と、車外画像の左右の略中央にある基準ラインとを比較した結果に基づいてその位置ズレを検知するため、カメラの光軸の位置ズレを検知する精度を向上させることができる。つまり、魚眼レンズを備えたカメラが撮影した車外画像の左右の略中央では、移動軌跡の歪みの程度が大きくなるため、カメラの光軸の位置ズレを検知する精度を向上させることができる。
【0024】
また、請求項6の発明によれば、車外画像中における車両が走行中のレーンに隣接する隣接レーンの領域に存在する物体の像の移動軌跡は車外画像の同じ位置に一定して出現する軌跡であるため、この軌跡に基づいてその位置ズレを検知すればその精度を向上させることができる。
【0025】
また、請求項7の発明によれば、隣接レーンを走行する他の車両の移動軌跡は車外画像の同じ位置に一定して出現する軌跡であるため、この軌跡に基づいてその位置ズレを検知すればその精度を向上させることができる。
【0026】
また、請求項9及び10の発明によれば、車外画像に含まれる、前記車両の前後方向に延びる被写体の像に基づいてカメラの光軸の位置ズレを検知するため、その位置ズレを車外画像のみで簡易に検知することができる。
【図面の簡単な説明】
【0027】
【図1】図1は、車外画像を示す図である。
【図2】図2は、消失点の導出方法を示す図である。
【図3】図3は、検知装置のシステムブロックを示す図である
【図4】図4は、車両を示す図である。
【図5】図5は、車両を示す図である。
【図6】図6は、車両及び車外画像を示す図である。
【図7】図7は、合成画像を説明する図である。
【図8】図8は、車外画像を示す図である。
【図9】図9は、車外画像を示す図である。
【図10】図10は、移動軌跡と基準ラインとの比較を説明する図である。
【図11】図11は、検知装置が実行する制御のフローを示す図である。
【図12】図12は、検知装置が実行する制御のフローを示す図である。
【図13】図13は、移動軌跡と基準ラインとの比較を説明する図である。
【図14】図14は、移動軌跡と基準ラインとの比較を説明する図である。
【図15】図15は、車外画像を示す図である。
【図16】図16は、車外画像を示す図である。
【図17】図17は、車外画像を示す図である。
【図18】図18は、車外画像を示す図である。
【図19】図19は、移動軌跡と基準ラインとの比較を説明する図である。
【発明を実施するための形態】
【0028】
以下、図面を参照しつつ本発明の実施の形態について説明する。
【0029】
<第1の実施の形態>
図1は、第1の実施の形態の検知装置のシステムブロック図である。この検知装置2は、車両1の側方に搭載されたカメラの光軸の位置ズレを検知する処理を実行する。そして、検知装置2は、そのズレを検知した場合にその旨を知らせる処理を実行する。
【0030】
また、検知装置2は、車両1の側方、前方、後方に搭載されたカメラが撮影した車外画像に基づいて合成画像を生成する処理を実行する。従って、検知装置2は画像処理装置であるともいえる。
【0031】
検知装置2が実行するこれらの処理を説明するために、まず、図1に基づいて検知装置2の構成を説明する。
【0032】
(検知装置の構成)
検知装置2は、フロントカメラ3、左サイドカメラ4、右サイドカメラ5、リヤカメラ6(以降において、全てのカメラを単体で説明する場合はカメラ3〜6という)、車速センサ7、シフトポジションセンサ8、ディスプレイ9、及び、音出力部10などとケーブルにより電気的に接続されている。
【0033】
図1のシステムブロック図に示すように検知装置2は、画像処理部21、制御部26、入力部20、及び、出力部28などを備える。
【0034】
画像処理部21は、例えば、ASICなどのハード回路である。画像処理部21は、合成画像生成部22、導出部23、検知部24、及び、記憶部25などを備える。
【0035】
合成画像生成部22は、カメラ3〜6が撮影した車外画像に基づいて合成画像を生成する処理を実行する(以降、合成画像生成部22が実行するこの処理を合成画像生成処理という)。合成画像生成処理の詳細については後述する。
【0036】
導出部23は、車両1の走行中に左サイドカメラ4及び右サイドカメラ5が撮影した時間的に連続する複数の車外画像に基づいて、車両1と相対的に移動する物体の像の車外画像中の移動軌跡を導出する処理などを実行する(以降、導出部23が実行するこの処理を導出処理という)。導出処理の詳細については後述する。
【0037】
検知部24は、カメラ3〜6の光軸の位置ズレを検知する処理を実行する(以降、検知部24が実行するこの処理を検知処理という)。検知処理の詳細については後述する。
【0038】
記憶部25は、検知部24が検知処理を実行する際に利用する基準ラインなどのデータを記憶している。
【0039】
制御部26は、例えば、マイクロコンピュータなどを備える。マイクロコンピュータは、例えば、CPU、ROM、及び、RAMなどを備える。CPUは、ROMに記憶された種々のプログラムに従って演算処理を行うことで種々の機能を実現させる。また、制御部26は、報知部27などを備えている。
【0040】
報知部27は、カメラ3の光軸の位置ズレを検知部24が検知した場合に、その旨をディスプレイ9に表示させ、又は、音出力部10を制御することによって音を出力してユーザへその旨を知らせる処理を実行する(以降、報知部27が実行するこの処理を報知処理という)。報知処理の詳細については後述する。
【0041】
入力部20は、例えば、外部装置と電気的に接続されるインターフェースである。カメラ3が撮影した車外画像を画像処理部21及び制御部26などへ入力させる処理を入力部20が実行する。
【0042】
出力部28は、例えば、外部装置と電気的に接続されるインターフェースである。画像処理部21が処理した車外画像などをディスプレイ9へ出力して表示させる処理を出力部28が実行する。
【0043】
ディスプレイ9は、車両1の運転席と助手席との間のセンターコンソール上部に備わっている。
【0044】
フロントカメラ3は、図2に示すように車両1の前端にあるナンバープレート取付位置の近傍に設けられ、その光軸は車両1の直進方向へ向けられている。
【0045】
左サイドカメラ4は、図2に示すように左サイドミラー30に設けられており、その光軸は車両1の直進方向を基準にした左方向に沿って外部へ向けられている。
【0046】
右サイドカメラ5は、図2に示すように右サイドミラー31に設けられており、その光軸は車両1の直進方向を基準にした右方向に沿って外部へ向けられている。
【0047】
リヤカメラ6は、図2に示すように車両1の後端にあるナンバープレート取付位置の近傍に設けられ、その光軸は車両1の直進方向の逆方向へ向けられている。
【0048】
なお、フロントカメラ3やリヤカメラ6の取り付け位置は、左右略中央であることが望ましいが、左右中央から左右方向に多少ずれた位置であってもよい。
【0049】
カメラ3〜6のレンズとしては魚眼レンズが採用されており、その魚眼レンズは180度以上の画角を有している。このため、カメラ3〜6を利用することで、車両1の全周囲の撮影が可能となっている。
【0050】
車速センサ7は、車両1が移動した際に車輪が回転する速度を車速信号として検知装置2へ出力する。車速センサ7は、車両1のエンジンルーム内に設置される。
【0051】
シフトポジションセンサ8は、車両1に備わる変速ギヤを変更するシフトがユーザによって操作可能になっており、このシフトポジションを検知してシフトポジションを示す信号を検知装置2へ出力する。シフトポジションセンサ8は、車両1のセンターコンソール中央部に備わるシフトレバー近傍に設定される。
【0052】
次に、画像処理部21が備える各部が実行する「合成画像生成処理」、「導出処理」、及び、「検知処理」、並びに、制御部26が備える報知部27が実行する「報知処理」の詳細について説明する。
【0053】
(合成画像生成処理)
まず、合成画像生成部22が実行する合成画像生成処理について説明する。
【0054】
合成画像生成部22は、カメラ3〜6が撮影した、図4に示すような、車外画像G1〜G4をカメラ3〜6より取得する。合成画像生成部22は、取得した車外画像G1〜G4を検知装置2へ出力する。
【0055】
検知装置2は、入力した車外画像G1〜G4を記憶部25へ記憶する。
【0056】
検知装置2が備える合成画像生成部22は、記憶部25に記憶された、車外画像G1〜G4を、図4に示すような、仮想的な三次元空間における立体曲面Pに投影する。立体曲面Pは、例えば略半球状(お椀形状)をしており、その中心部分(お椀の底部分)が車両1が存在する位置として定められている。車外画像G1〜G4に含まれる各画素の位置と、この立体曲面Pの各画素の位置とは予め対応関係が定められている。このため、立体曲面Pの各画素の値は、この対応関係と車外画像G1〜G4に含まれる各画素の値とに基づいて決定される。
【0057】
車外画像G1〜G4の各画素の位置と立体曲面Pの各画素の位置との対応関係は、車両1における4つの車載カメラであるカメラ3〜6の配置(相互間距離、地上高さ、光軸角度等)に依存する。このため、この対応関係を示すテーブルデータが、記憶部25に記憶された車種別データに含まれている。
【0058】
また、車種別データに含まれる車体の形状やサイズを示すポリゴンデータが利用され、車両1の三次元形状を示すポリゴンモデルである車両像が仮想的に構成される。構成された車両像は、立体曲面Pが設定される三次元空間において、車両1の位置と定められた略半球状の中心部分に配置される。
【0059】
さらに、立体曲面Pが存在する三次元空間に対して、合成画像生成部22により仮想視点AGLが設定される。仮想視点AGLは、視点位置と視野方向とで規定され、この三次元空間における車両1の周辺に相当する任意の視点位置に任意の視野方向に向けて設定される。
【0060】
そして、設定された仮想視点AGLに応じて、立体曲面Pにおける必要な領域が画像として切り出される。仮想視点AGLと、立体曲面Pにおける必要な領域との関係は予め定められており、テーブルデータとして記憶部25等に予め記憶されている。一方で、設定された仮想視点AGLに応じてポリゴンのモデルに関してレンダリングがなされ、その結果となる二次元の車両1の像が、切り出された画像に対して重畳される。これにより、車両1及びその車両1の周辺を任意の仮想視点AGLからみた様子を示す合成画像が生成されることになる。
【0061】
例えば、視点位置が車両1の位置の略中央の直上で、視野方向が直下方向とした仮想視点AGL1を設定した場合は、車両1の略直上から車両1を見下ろすように、車両1及び車両1の周辺の領域を示す合成画像G5が生成される。また、図中に示すように、視点位置が車両1の位置の左後方で、視野方向が車両1における略前方方向とした仮想視点AGL2を設定した場合は、車両1の左後方からその周辺全体を見渡すように、車両1及び車両1の周辺の領域を示す合成画像G6が生成される。
【0062】
なお、実際に合成画像を生成する場合においては、立体曲面Pの全ての画素の値を決定する必要はなく、設定された仮想視点AGLに対応して必要となる領域の画素の値のみを車外画像G1〜G4に基づいて決定することで、処理速度を向上できる。
【0063】
検知装置2では、このような合成画像生成部22の機能を利用することで、車両1の周辺の任意の視点からみた合成画像を生成して、ディスプレイ9へ生成した合成画像を出力して表示させることができる。
【0064】
(導出処理)
次に、導出部23が実行する導出処理について説明する。
【0065】
(第1導出処理)
導出部23は、第1導出処理と第2導出処理とを実行する。まず、第1導出処理について説明する。
【0066】
第1導出処理とは、フロントカメラ3が撮影した車外画像に基づいて車外画像に含まれる消失点を導出部23が導出する処理である。
【0067】
消失点は次のようにして導出される。まず、フロントカメラ3が撮影した時間的に連続する複数の車外画像中の輝度情報に基づいて、複数の車外画像に含まれる物体の車両1に対する相対的な動きを導出部23が解析する。例えば、図6に示す車外画像G7に含まれる電信柱X及び電信柱Yの車両1に対する相対的な動きを導出部23が解析する。
【0068】
電信柱X及び電信柱Yの動きから実際の車外の風景において仮想的に形成される平行線を導出部23が導き出す。つまり、図7に示すように、電信柱XがX1の位置からX5の位置へと車両1に対して相対的に動いた場合に仮想的に形成される線XLを導出部23が導き出す。
【0069】
更に、電信柱YがY1の位置からY4の位置へと車両1に対して相対的に動いた場合に仮想的に形成される線YLを導出部23が導き出す。
【0070】
更に、線XLと線YLとをそれぞれ延長した際の交差点を消失点として導出部23が導き出す。
【0071】
なお、線XL及び線YLが曲線となっているのは、魚眼レンズを備えたフロンとカメラ3が撮影した車外画像が椀曲しているためである。
【0072】
なお、第1導出処理はリヤカメラ6が撮影した車外画像に基づいても実行できる。第1処理をフロントカメラ3及びリヤカメラ6が撮影した車外画像に基づいて実行するのは、時間的に連続して得られるそれら車外画像において解析された車両1に対して相対的に動く物体が消失する点、即ち、消失点Vを導くことができる車外画像だからである。
【0073】
(第2導出処理)
次に、第2導出処理について説明する。
【0074】
第2導出処理とは、左サイドカメラ4が撮影した時間的に連続する複数の車外画像に基づいて、車両1と相対的に移動する物体の像の車外画像中の移動軌跡を導出する処理である。
【0075】
移動軌跡は次のようにして導出される。まず、左サイドカメラ4が撮影した時間的に連続する複数の車外画像に基づいて車両1と相対的に移動する物体の像を解析する。物体の像は、例えば、車外画像中における車両1が走行するレーンに隣接する隣接レーンの領域に存在する他の車両である。
【0076】
つまり、図8に示すような、左サイドカメラ4が撮影した時間的に連続する複数の車外画像G8〜G11において、車両1が走行中のレーンに隣接する隣接レーンの領域を車両1と相対的に移動した他の車両の像C1〜C4の移動軌跡を導出部23が導出する。
【0077】
従って、図9に示すように、魚眼レンズを備えた左サイドカメラ4が撮影した車外画像に基づいて導出した他の車両の移動軌跡Lは、なだらかに上側に歪んだ曲線になる。
【0078】
このように、移動軌跡をとる物体の像を、車外画像中における車両1が走行するレーンに隣接する隣接レーンの領域に存在する他の車両とするのは、左サイドカメラ4の光軸が正常の位置において撮影される車外画像において常に略一定の位置に略一定の軌跡を描くからである。結果、後述する検知処理において、この移動軌跡に基づいた左サイドカメラ4の光軸の位置ズレを高い精度で検知することができる。
【0079】
なお、第2導出処理は右サイドカメラ5が撮影した車外画像に基づいても実行できる。左サイドカメラ4及び右サイドカメラ5が撮影した車外画像に基づいて第2処理を実行するのは、時間的に連続して得られるそれら車外画像において解析された車両1に対して相対的に動く物体が消失する点、即ち、消失点Vを導くことができない車外画像だからである。
【0080】
(検知処理)
次に、検知部24が実行する検知処理について説明する。
【0081】
検知部24は、第1検知処理と第2検知処理とを実行する。まず、第1検知処理について説明する。
【0082】
(第1検知処理)
第1検知処理とは、第1導出処理によって導出された複数の消失点Vの変化に基づいてフロントカメラ3の光軸の位置ズレを検知する処理である。具体的には、第1導出処理によって導出された消失点Vが、基準点と一致しないことを検知部24が検知する。つまり、検知部24はそれらが一致しない場合にフロントカメラ3の光軸の位置がズレたことを検知する。
【0083】
基準点とは、車両1が工場から出荷される際に、または、販売会社において販売される際に、図2に示す車両1に備わる左サイドミラー30の先端へ左サイドカメラ4が搭載された位置において、第1導出処理が実行されて導出された消失点Vの位置をいう。つまり、基準点とは、左サイドカメラ4の光軸の位置を検知装置2がその機能を発揮させるために初期に設定された基準位置において、第1導出処理が実行されて導出された消失点Vをいう。
【0084】
なお、第1検知処理はリヤカメラ6が撮影した車外画像により導出された消失点Vに基づいても実行できる。
【0085】
(第2検知処理)
次に、第2検知処理について説明する。
【0086】
第2検知処理とは、第2導出処理によって導出された移動軌跡Lに基づいて左サイドカメラ4の光軸の位置ズレを検知する処理である。具体的には、第2導出処理によって導出された移動軌跡Lの歪みの程度が、基準ラインの歪みの程度と一致しないことを検知部24が検知する。つまり、検知部24はそれらが一致しない場合に左サイドカメラ4の光軸の位置がズレたことを検知する。
【0087】
基準ラインとは、車両1が工場から出荷される際に、または、販売会社において販売される際に、図2に示す車両1に備わる左サイドミラー30の先端へ左サイドカメラ4が搭載された位置において、車両1の走行中に左サイドカメラ4が撮影した時間的に連続する複数の車外画像に基づいて車両1と相対的に移動する他の車両の像の車外画像中の移動軌跡Lである。つまり、基準ラインとは、左サイドカメラ4の光軸の位置を検知装置2がその機能を発揮させるために初期に設定された基準位置において、第2導出処理が実行されて導出された他の車両の移動軌跡Lをいう。
【0088】
つまり、左サイドカメラ4の光軸の位置がズレていない場合は、移動軌跡Lの歪みの程度は、図10に示す、基準ラインLSの歪みの程度と同じになる。また、左サイドカメラ4の光軸の位置が下方向へズレていた場合は、移動軌跡Lの歪みの程度は、図10に示すように、ラインL1又はラインL2のようになって、基準ラインLSと一致しない。また、左サイドカメラ4の光軸の位置が上方向へズレていた場合は、移動軌跡Lの歪みの程度は、図10に示すように、ラインL3またはラインL4のようになって、基準ラインLSと一致しない。
【0089】
なお、第2検知処理は右サイドカメラ5が撮影した車外画像に基づいても実行できる。
【0090】
(報知処理)
次に、報知部27が実行する報知処理について説明する。第1検知処理及び第2検知処理の何れかを実行することにより、それぞれのカメラの光軸の位置ズレを検知した場合に、検知部24は報知部27へその旨を示す信号を送信する。
【0091】
その旨を示す信号を受信した場合に、報知部27は音出力部及びディスプレイ9の何れかを制御してユーザへカメラの光軸の位置がズレていることを知らせる。
【0092】
(制御フロー)
次に、検知装置2が実行する制御フローについて説明する。
検知装置2は、ユーザにより電源が投入されて、その機能を開始させるボタンが操作された場合に、図11に示すメインフローを所定の周期(以降、第1の周期という)で実行する。また、検知装置2は、その場合に図12に示すサブフローを第1の周期よりも長い周期(以降、第2の周期という)で実行する。
【0093】
なお、第1の周期は、例えば、10msであり、第2の周期は、例えば、1ヶ月である。
【0094】
(メインフロー)
検知装置2は、第1の周期ごとに図11に示すフローのステップSA1の処理を実行する。
【0095】
制御部26は、シフトポジションセンサ8からシフトポジションが”R”を示す信号を受信したか否かを判定する(ステップSA1)。
【0096】
シフトポジションが”R”を示す信号を受信した旨の信号を制御部26から受信した場合は、合成画像生成部22は前述した合成画像生成処理を実行する。(ステップSA2)。これにより、合成画像生成部22は車両1を仮想的に俯瞰した合成画像を生成する。
【0097】
次に、合成画像生成部22はその合成画像をディスプレイ9へ表示する処理を実行する(ステップSA3)。
【0098】
つまり、ユーザがシフトポジションを”R”にして車両1を後進させる際に、検知装置2がユーザに対し合成画像を表示する。このため、ユーザは車両1を後進させる際に認識しにくい車両1の周辺の障害物を認識することができる。
【0099】
次に、検知装置2は図11に示すフローに基づく処理を終了する。
【0100】
なお、シフトポジションが”R”を示す信号を受信した旨の信号を制御部26から受信しない場合は、検知装置2は図11に示すフローに基づく処理を終了する。
【0101】
(サブフロー)
検知装置2は、第2の周期ごとに図12に示すフローのステップSB1の処理を実行する。
【0102】
車速センサ7から受信する信号及びシフトポジションセンサ8から受信する信号に基づいて車両1が走行中であるか否かを制御部26が判定する。(ステップSB1)。具体的には、車速センサ7から受信する信号に基づいて車両1の車速が0km/h以上であるか否かを制御部26が判定する。更に、シフトポジションセンサ8から受信する信号に基づいてシフトポジションが”D”などの車両1が前進する際のシフトポジションであるか否かを制御部26が判定する。つまり、車両1の車速が0km/h以上でかつシフトポジションが”D” などの車両1が前進する際のシフトポジションである場合に、制御部26は車両1が走行中であると判定する。
【0103】
次に、制御部26が車両1が走行中であると判定した場合は、画像処理部21は、左サイドカメラ4から車外画像を入力する(ステップSB2)。
【0104】
次に、入力された車外画像がサイドカメラにより撮影された車外画像か否かを導出部23が判定する(ステップSB3)。つまり、入力された車外画像が左サイドカメラ4及び右サイドカメラ5の何れかにより撮影された車外画像か否かを導出部23が判定する。
【0105】
入力された車外画像がサイドカメラにより撮影された車外画像であると判定する場合は、導出部23は前述した第2導出処理を実行して他の車両の移動軌跡Lを導出する(ステップSB4)。
【0106】
次に、前述した第2検知処理を実行して導出した移動軌跡Lと基準ラインとが一致するか否かを判定する(ステップSB5)。
【0107】
次に、移動軌跡Lと基準ラインとが一致すると判定しない場合に、導出部23がその旨を示す信号を報知部27へ送信する。その旨を示す信号を受信した導出部23はディスプレイ9及び音出力部10の何れかを制御してユーザへサイドカメラの光軸の位置がズレたことを報知する(ステップSB6)。
【0108】
このため、検知装置2はサイドカメラの光軸の位置ズレを車外画像のみで簡易に検知することができる。
【0109】
なお、移動軌跡Lと基準ラインとが一致すると判定する場合は、検知装置2は図12に示すフローに基づく処理を終了する。
【0110】
入力された車外画像がサイドカメラにより撮影された車外画像であると判定しない場合は、導出部23は前述した第1導出処理を実行して消失点Vを導出する(ステップSB7)。つまり、この場合とは、入力された車外画像がフロントカメラ3及びリヤカメラ6の何れかにより撮影された車外画像であると判定する場合である。
【0111】
次に、前述した第1検知処理を実行して導出した消失点Vと基準点とが一致するか否かを判定する(ステップSB8)。
【0112】
次に、消失点Vと基準点とが一致すると判定しない場合に、導出部23がその旨を示す信号を報知部27へ送信する。その旨を示す信号を受信した導出部23はディスプレイ9及び音出力部10の何れかを制御してユーザへフロントカメラ3及びリヤカメラ6の何れかの光軸の位置がズレたことを報知する。
【0113】
このため、検知装置2はフロントカメラ3及びリヤカメラ6の何れかの光軸の位置ズレを車外画像のみで簡易に検知することができる。
【0114】
なお、消失点Vと基準点が一致すると判定する場合は、検知装置2は図12に示すフローに基づく処理を終了する。
【0115】
<第2の実施の形態>
次に、第2の実施の形態について説明する。なお、以降の説明においては、第1の実施の形態と第2の実施の形態とにおいて相違する点を主に説明する。
【0116】
第1の実施の形態において、第2検知処理は、「第2導出処理により導出した移動軌跡L全体の歪みの程度が、基準ライン全体の歪みの程度と一致しないことを検知部24が検知する。つまり、検知部24はそれら全体が一致しない場合に左サイドカメラ4の光軸の位置がズレたことを検知する」と説明した。
【0117】
第2の実施の形態においては、第2検知処理は、車外画像中の所定位置にある、即ち、一部の移動軌跡Lとその所定位置にある基準ラインとを比較した結果に基づいて左サイドカメラ4の光軸の位置がズレたことを検知部24が検知する。
【0118】
その所定位置は、図13に示すように、車外画像の左右中央の近傍の領域Dである。従って、検知部24は、領域Dに含まれる移動軌跡Lの歪みの程度と基準ラインの歪みの程度とを比較した結果に基づいて左サイドカメラ4の光軸の位置がズレたことを検知部24が検知する。
【0119】
つまり、左サイドカメラ4の光軸の位置がズレていない場合は、領域Dに含まれる移動軌跡Lの歪みの程度は、図13に示す、領域Dに含まれる基準ラインLSXの歪みの程度と同じになる。また、左サイドカメラ4の光軸の位置が下方向へズレていた場合は、領域Dに含まれる移動軌跡Lの歪みの程度は、図13に示すように、領域Dに含まれるラインL1X又はラインL2Xのようになって、領域Dに含まれる基準ラインLSXと一致しない。また、左サイドカメラ4の光軸の位置が上方向へズレていた場合は、領域Dに含まれる移動軌跡Lの歪みの程度は、図13に示すように、領域Dに含まれるラインL3XまたはラインL4Xのようになって、領域Dに含まれる基準ラインLSXと一致しない。
【0120】
このように、車外画像の左右中央の近傍の領域Dに含まれる移動軌跡Lとその領域Dに含まれる基準ラインとを比較することによって左サイドカメラ4の光軸の位置ズレを検知するため、検知装置2はその検知処理をする際の処理負荷が低減できる。更に、魚眼レンズを備えた左サイドカメラ4が撮影した車外画像においては、移動軌跡Lの歪みの程度は、その左右中央の近傍の領域Dが最も大きくその左右両端は小さい。このため、領域Dに含まれる移動軌跡Lとその領域Dに含まれる基準ラインとを比較すれば、検知装置2は精度良く左サイドカメラ4の光軸の位置ズレを検知することができる。
【0121】
なお、第2検知処理は右サイドカメラ5が撮影した車外画像に基づいても実行できる。
【0122】
<第3の実施の形態>
次に、第3の実施の形態について説明する。なお、以降の説明においては、第1の実施の形態と第3の実施の形態とにおいて相違する点を主に説明する。
【0123】
第1の実施の形態において、第2検知処理は、「第2導出処理により導出した移動軌跡L全体の歪みの程度が、基準ライン全体の歪みの程度と一致しないことを検知部24が検知する。つまり、検知部24はそれらが全体が一致しない場合に左サイドカメラ4の光軸の位置がズレたことを検知する」と説明した。
【0124】
第3の実施の形態においては、第2検知処理は、車外画像中の所定位置にある、即ち、一部の移動軌跡Lとその所定位置にある基準ラインとを比較した結果に基づいて左サイドカメラ4の光軸の位置がズレたことを検知部24が検知する。
【0125】
更に、その所定位置は、図14に示すように、車外画像の左右の略中央CLである。従って、検知部24は、車外画像の左右の略中央CLの移動軌跡Lの位置と基準ラインの位置とを比較した結果に基づいて左サイドカメラ4の光軸の位置がズレたことを検知部24が検知する。
【0126】
つまり、左サイドカメラ4の光軸の位置がズレていない場合は、車外画像の左右の略中央CLにおける移動軌跡Lの位置は、図13に示す、車外画像の左右の略中央CLにおける基準ラインLSYの位置と同じになる。また、左サイドカメラ4の光軸の位置が下方向へズレていた場合は、車外画像の左右の略中央CLにおける動軌跡Lの位置は、図13に示すように、車外画像の左右の略中央CLにおけるラインL1Yの位置P1またはラインL2Yの位置P2のようになって、車外画像の左右の略中央CLにおける基準ラインLSYの位置PSと一致しない。また、左サイドカメラ4の光軸の位置が上方向へズレていた場合は、車外画像の左右の略中央CLにおける移動軌跡Lの位置は、図13に示すように、車外画像の左右の略中央CLにおけるラインL3Yの位置P3またはラインL4Yの位置P4のようになって、車外画像の左右の略中央CLにおける基準ラインLSYの位置PSと一致しない。
【0127】
このように、車外画像の左右の略中央CLにおける移動軌跡Lの位置とその略中央CLにおける基準ラインの位置とを比較することによって左サイドカメラ4の光軸の位置ズレを検知するため、検知装置2はその検知処理をする際の処理負荷が低減できる。更に、魚眼レンズを備えた左サイドカメラ4が撮影した車外画像においては、移動軌跡Lの歪みの程度は、その左右の略中央CLが最も大きくその左右両端は小さい。このため、その略中央CLにおける移動軌跡Lの位置とその略中央CLにおける基準ラインの位置とを比較すれば、検知装置2は精度良く左サイドカメラ4の光軸の位置ズレを検知することができる。
【0128】
なお、第2検知処理は右サイドカメラ5が撮影した車外画像に基づいても実行できる。
【0129】
<第4の実施の形態>
次に、第4の実施の形態について説明する。なお、以降の説明においては、第1の実施の形態と第4の実施の形態とにおいて相違する点を主に説明する。
【0130】
第1の実施の形態において、画像処理部21が備える導出部23が実行する第2導出処理は、「車外画像に基づいて車外画像中における車両1が走行するレーンに隣接する隣接レーンの領域に存在する他の車両の移動軌跡を導出部23が導出する」と説明した。
【0131】
第4の実施の形態においては、導出部23が実行する導出処理の代わりに、画像処理部21が更に備える抽出部が抽出処理を実行する。抽出部は車外画像に含まれる車両1の前後方向に延びる被写体の像を抽出する。そして、検知部24が抽出処理による結果に基づいて第3検知処理を実行する。まず、抽出処理について説明する。
【0132】
(抽出処理)
車両1の走行中に左サイドカメラ4が撮影した車外画像に含まれる車両1の前後方向に延びる被写体の像を抽出する抽出処理を抽出部が実行する。
【0133】
被写体の像とは、例えば、図15に示す車外画像G18に含まれる、車両1が走行するレーンと隣接するレーンとを区切る区画線RLである。
【0134】
このように、物体の像を車外画像中における区画線RLとするのは、左サイドカメラ4の光軸が正常の位置において撮影される車外画像において常に一定の位置に一定の形状が抽出される物体の像であるからである。結果、検知装置2は左サイドカメラ4の光軸の位置ズレ検知の精度を向上させることができる。
【0135】
次に、第3検知処理について説明する。
【0136】
(第3検知処理)
そして、被写体の像であるその区画線RLの形状と基準となる基準形状とを比較した結果に基づいて、左サイドカメラ4の光軸の位置ズレを検知する検知処理を検知部24が実行する。
【0137】
基準形状とは、車両1が工場から出荷される際に、または、販売会社において販売される際に、図2に示す車両1に備わる左サイドミラー30の先端へ左サイドカメラ4が搭載された位置において、車両1の走行中に左サイドカメラ4が撮影した時間的に連続する複数の車外画像に基づいて抽出される区画線RLの形状である。つまり、基準形状とは、左サイドカメラ4の光軸の位置を検知装置2がその機能を発揮させるために初期に設定された基準位置において、抽出処理が実行されて抽出された区画線RLの形状をいう。
【0138】
このような処理を検知装置2が実行するため、検知装置2は第1の実施の形態と同様の効果を奏させることができる。
【0139】
なお、第2検知処理は右サイドカメラ5が撮影した車外画像に基づいても実行できる。
【0140】
<第5の実施の形態>
次に、第5の実施の形態について説明する。なお、以降の説明においては、第1の実施の形態と第5の実施の形態とにおいて相違する点を主に説明する。
【0141】
第1の実施の形態において、画像処理部21が備える導出部23が実行する第2導出処理は、「車外画像に基づいて車外画像中における車両1が走行するレーンに隣接する隣接レーンの領域に存在する他の車両の移動軌跡を導出部23が導出する」と説明した。
【0142】
第4の実施の形態においては、導出部23が実行する導出処理の代わりに、画像処理部21が更に備える抽出部が抽出処理を実行する。抽出部は車外画像に含まれる車両1の前後方向に延びる被写体の像を抽出する。そして、検知部24が抽出処理による結果に基づいて第3検知処理を実行する。まず、抽出処理について説明する。
【0143】
(抽出処理)
車両1の走行中に右サイドカメラ5が撮影した車外画像に含まれる車両1の前後方向に延びる被写体の像を抽出する抽出処理を抽出部が実行する。
【0144】
被写体の像とは、例えば、図16に示す車外画像G19に含まれる、車両1が走行するレーンと隣接するガードレールGRである。
【0145】
このように、物体の像を車外画像中におけるガードレールGRとするのは、右サイドカメラ5の光軸が正常の位置において撮影される車外画像において常に一定の位置に一定の形状が抽出される物体の像であるからである。結果、検知装置2は、右サイドカメラ5の光軸の位置ズレ検知の精度を向上させることができる。
【0146】
次に、第3検知処理について説明する。
【0147】
(第3検知処理)
そして、被写体の像であるそのガードレールGRの形状と基準となる基準形状とを比較した結果に基づいて、右サイドカメラ5の光軸の位置ズレを検知する検知処理を検知部24が実行する。
【0148】
基準形状とは、車両1が工場から出荷される際に、または、販売会社において販売される際に、図2に示す車両1に備わる左サイドミラー30の先端へ右サイドカメラ5が搭載された位置において、車両1の走行中に右サイドカメラ5が撮影した時間的に連続する複数の車外画像に基づいて抽出されるガードレールGRの形状である。つまり、基準形状とは、左サイドカメラ4の光軸の位置を検知装置2がその機能を発揮させるために設定された基準位置において、抽出処理が実行されて抽出されたガードレールGRの形状をいう。
【0149】
このような処理を検知装置2が実行するため、検知装置2は第1の実施の形態と同様の効果を奏させることができる。
【0150】
なお、第2検知処理は左サイドカメラ4が撮影した車外画像に基づいても実行できる。
【0151】
<変形例>
以上、本発明の第1の実施の形態について説明してきたが、この発明は上記第1の実施の形態に限定されるものではなく様々な変形が可能である。以下では他の実施形態である変形例について説明する。もちろん、以下で説明する形態を適宜組み合わせても良い。
【0152】
<変形例1>
上記第1の実施の形態の検知装置2は、「カメラ3〜6が備えるレンズは魚眼レンズである」と説明したが、魚眼レンズが備える画角よりも狭いレンズをカメラ3〜6に備えても良い。例えば、画角が45度の標準レンズをカメラ3〜6に備えても良い。
【0153】
この場合、導出部23が実行する第2導出処理及び第2検知処理は次のようになる。
【0154】
(第2導出処理)
左サイドカメラ4が撮影した時間的に連続する複数の車外画像に基づいて車両1と相対的に移動する物体の像を解析する。物体の像は、例えば、車外画像中における車両1が走行するレーンに隣接する隣接レーンの領域に存在する他の車両である。
【0155】
つまり、図17に示すような、左サイドカメラ4が撮影した時間的に連続する複数の車外画像G5〜G16において、車両1が走行中のレーンに隣接する隣接レーンの領域を車両1と相対的に移動した他の車両の像C5〜C8の移動軌跡を導出部23が導出する。
【0156】
従って、図18に示すように、標準レンズを備えた左サイドカメラ4が撮影した車外画像に基づいて導出した他の車両の移動軌跡LZは、直線になる。
【0157】
(第2検知処理)
第2導出処理によって導出された移動軌跡LZが、基準ラインと一致しないことを検知部24が検知する。つまり、検知部24はそれらが一致しない場合に左サイドカメラ4の光軸の位置がズレたことを検知する。
【0158】
つまり、左サイドカメラ4の光軸の位置がズレていない場合は、移動軌跡Lは、図19に示す、基準ラインLSZと同じになる。また、左サイドカメラ4の光軸の位置が下方向へズレていた場合は、移動軌跡LZは、図10に示すように、ラインL1Z又はラインL2Zのようになって、基準ラインLSZと一致しない。また、左サイドカメラ4の光軸の位置が上方向へズレていた場合は、移動軌跡LZは、図10に示すように、ラインL3ZまたはラインL4Zのようになって、基準ラインLSZと一致しない。
【0159】
このような処理を検知装置2が実行するため、検知装置2は第1の実施の形態と同様の効果を奏させることができる。
【0160】
なお、第2検知処理は右サイドカメラ5が撮影した車外画像に基づいても実行できる。
【符号の説明】
【0161】
2 検知装置
21 画像処理部
23 導出部
24 検知部
26 制御部
27 報知部
3 フロントカメラ
4 左サイドカメラ
5 右サイドカメラ
6 リヤカメラ
【技術分野】
【0001】
本発明は、車両に搭載されたカメラの光軸の位置ズレを検知する技術に関する。
【背景技術】
【0002】
近年、車両に搭載されたカメラが撮影した車外画像を車両に搭載されるディスプレイへ表示させる画像表示装置が開発されている。このように画像表示装置が車外画像をディスプレイへ表示させるため、ユーザは車外画像を参考にしながら車両を運転することができる。
【0003】
画像表示装置がその機能を適切に発揮するためには、車両に搭載されたカメラの光軸が予定された角度で設定されなければならない。
【0004】
従って、予定された角度で設定されたカメラの光軸が経年とともにズレてしまった場合などには、画像表示装置はそのズレを検知してユーザに知らせるとともにユーザにカメラの光軸を予定していた角度に再設定させる必要がある。
【0005】
そこで、次のような画像表示装置が知られている。つまり、車両に搭載されたカメラが撮影した複数の車外画像に基づいて車外画像中の消失点を画像表示装置が導出する。そして、導出された消失点が初期の消失点の位置からズレている場合に、カメラの光軸の位置がズレているとして画像表示装置はユーザへその旨を報知する。このため、画像表示装置は、カメラが撮影した画像のみに基づいてカメラの光軸の位置ズレを簡易に検知することができる。係る技術は、例えば、特許文献1に記載されている。
【0006】
なお、このような画像表示装置は、カメラの光軸の位置ズレを検知する機能を備えているため検知装置であるともいえる。
【先行技術文献】
【特許文献】
【0007】
【特許文献1】特開2007−215169号公報
【発明の概要】
【発明が解決しようとする課題】
【0008】
しかし、検知装置において、車両に搭載されたカメラの光軸の位置ズレを検知するために利用される消失点を、車両の側方に搭載されたカメラが撮影した車外画像に基づいて導出するのは難しい。つまり、従来の技術を応用して、車両の側方に搭載されたカメラの光軸の位置ズレを検知装置が検知するのは難しいという問題がある。
【0009】
本発明は、上記課題に鑑みてなされたものであり、検知装置が、車両の側方に搭載されたカメラが撮影した車外画像のみに基づいてカメラの光軸の位置ズレを簡易に検知できる技術を提供することを目的とする。
【課題を解決するための手段】
【0010】
上記課題を解決するため、請求項1の発明は、車両の側方に搭載されたカメラの光軸の位置ズレを検知する検知装置であって、前記車両の走行中に前記カメラが撮影した時間的に連続する複数の車外画像に基づいて、前記車両と相対的に移動する物体の像の前記車外画像中の移動軌跡を導出する導出手段と、前記移動軌跡と前記車外画像中の基準となる基準ラインとを比較した結果に基づいて、前記位置ズレを検知する検知手段と、を備えることを特徴とする。
【0011】
また、請求項2の発明は、請求項1に記載の検知装置において、前記カメラのレンズは魚眼レンズであり、前記検知手段は、前記移動軌跡の歪みの程度と前記基準ラインの歪みの程度とを比較した結果に基づいて、前記位置ズレを検知することを特徴とする。
【0012】
また、請求項3の発明は、請求項1に記載の検知装置において、前記検知手段は、前記車外画像中の所定位置にある前記移動軌跡と、前記所定位置にある前記基準ラインとを比較した結果に基づいて、前記位置ズレを検知することを特徴とする。
【0013】
また、請求項4の発明は、請求項3に記載の検知装置において、前記所定位置は、前記車外画像の左右中央の近傍の領域であることを特徴とする。
【0014】
また、請求項5の発明は、請求項3に記載の検知装置において、前記所定位置は、前記車外画像の左右の略中央であることを特徴とする。
【0015】
また、請求項6の発明は、請求項1乃至5の何れかに記載の検知装置において、前記導出手段は、前記車外画像中における前記車両が走行中のレーンに隣接する隣接レーンの領域に存在する物体の像の移動軌跡を導出することを特徴とする。
【0016】
また、請求項7の発明は、請求項1乃至5の何れかに記載の検知装置において、前記物体は、前記隣接レーンを走行する他の車両であることを特徴とする。
【0017】
また、請求項8の発明は、車両の側方に搭載されたカメラの光軸の位置ズレを検知する検知方法であって、(a)前記車両の走行中に前記カメラが撮影した時間的に連続する複数の車外画像に基づいて、前記車両と相対的に移動する物体の像の前記車外画像中の移動軌跡を導出する工程と、(b)前記移動軌跡と前記車外画像中の基準となる基準ラインとを比較して前記位置ズレを検知する工程と、を備えることを特徴とする。
【0018】
また、請求項9の発明は、車両の側方に搭載されたカメラの光軸の位置ズレを検知する検知装置であって、前記車両の走行中に前記カメラが撮影した車外画像に含まれる、前記車両の前後方向に延びる被写体の像を抽出する抽出手段と、前記被写体の像の形状と基準となる基準形状とを比較した結果に基づいて、前記位置ズレを検知する検知手段と、を備えることを特徴とする。
【発明の効果】
【0019】
請求項1ないし8の発明によれば、車両と相対的に移動する物体の像の車外画像中の移動軌跡と基準となるラインとを比較してカメラの光軸の位置ズレを検知するため、カメラの光軸の位置ズレを車外画像のみで簡易に検知することができる。
【0020】
また、請求項2の発明によれば、魚眼レンズを備えたカメラが撮影した車外画像に基づいて導出した移動軌跡の歪みの程度と基準ラインの歪みの程度を比較した結果に基づいてカメラの光軸の位置ズレを検知するため、精度良くその位置ズレを検知することができる。
【0021】
また、請求項3の発明によれば、車外画像中の所定位置にある移動軌跡と、所定位置にある基準ラインとを比較した結果に基づいてその位置ズレを検知するため、検知する際の処理負荷を低減することができる。
【0022】
また、請求項4の発明によれば、車外画像の左右中央の近傍の領域にある移動軌跡と、車外画像の左右中央の近傍の領域にある基準ラインとを比較した結果に基づいてその位置ズレを検知するため、カメラの光軸の位置ズレを検知する精度を向上させることができる。つまり、魚眼レンズを備えたカメラが撮影した車外画像の左右中央近傍では、移動軌跡の歪みの程度が大きくなるため、カメラの光軸の位置ズレを検知する精度を向上させることができる。
【0023】
また、請求項5の発明によれば、車外画像の左右の略中央にある移動軌跡と、車外画像の左右の略中央にある基準ラインとを比較した結果に基づいてその位置ズレを検知するため、カメラの光軸の位置ズレを検知する精度を向上させることができる。つまり、魚眼レンズを備えたカメラが撮影した車外画像の左右の略中央では、移動軌跡の歪みの程度が大きくなるため、カメラの光軸の位置ズレを検知する精度を向上させることができる。
【0024】
また、請求項6の発明によれば、車外画像中における車両が走行中のレーンに隣接する隣接レーンの領域に存在する物体の像の移動軌跡は車外画像の同じ位置に一定して出現する軌跡であるため、この軌跡に基づいてその位置ズレを検知すればその精度を向上させることができる。
【0025】
また、請求項7の発明によれば、隣接レーンを走行する他の車両の移動軌跡は車外画像の同じ位置に一定して出現する軌跡であるため、この軌跡に基づいてその位置ズレを検知すればその精度を向上させることができる。
【0026】
また、請求項9及び10の発明によれば、車外画像に含まれる、前記車両の前後方向に延びる被写体の像に基づいてカメラの光軸の位置ズレを検知するため、その位置ズレを車外画像のみで簡易に検知することができる。
【図面の簡単な説明】
【0027】
【図1】図1は、車外画像を示す図である。
【図2】図2は、消失点の導出方法を示す図である。
【図3】図3は、検知装置のシステムブロックを示す図である
【図4】図4は、車両を示す図である。
【図5】図5は、車両を示す図である。
【図6】図6は、車両及び車外画像を示す図である。
【図7】図7は、合成画像を説明する図である。
【図8】図8は、車外画像を示す図である。
【図9】図9は、車外画像を示す図である。
【図10】図10は、移動軌跡と基準ラインとの比較を説明する図である。
【図11】図11は、検知装置が実行する制御のフローを示す図である。
【図12】図12は、検知装置が実行する制御のフローを示す図である。
【図13】図13は、移動軌跡と基準ラインとの比較を説明する図である。
【図14】図14は、移動軌跡と基準ラインとの比較を説明する図である。
【図15】図15は、車外画像を示す図である。
【図16】図16は、車外画像を示す図である。
【図17】図17は、車外画像を示す図である。
【図18】図18は、車外画像を示す図である。
【図19】図19は、移動軌跡と基準ラインとの比較を説明する図である。
【発明を実施するための形態】
【0028】
以下、図面を参照しつつ本発明の実施の形態について説明する。
【0029】
<第1の実施の形態>
図1は、第1の実施の形態の検知装置のシステムブロック図である。この検知装置2は、車両1の側方に搭載されたカメラの光軸の位置ズレを検知する処理を実行する。そして、検知装置2は、そのズレを検知した場合にその旨を知らせる処理を実行する。
【0030】
また、検知装置2は、車両1の側方、前方、後方に搭載されたカメラが撮影した車外画像に基づいて合成画像を生成する処理を実行する。従って、検知装置2は画像処理装置であるともいえる。
【0031】
検知装置2が実行するこれらの処理を説明するために、まず、図1に基づいて検知装置2の構成を説明する。
【0032】
(検知装置の構成)
検知装置2は、フロントカメラ3、左サイドカメラ4、右サイドカメラ5、リヤカメラ6(以降において、全てのカメラを単体で説明する場合はカメラ3〜6という)、車速センサ7、シフトポジションセンサ8、ディスプレイ9、及び、音出力部10などとケーブルにより電気的に接続されている。
【0033】
図1のシステムブロック図に示すように検知装置2は、画像処理部21、制御部26、入力部20、及び、出力部28などを備える。
【0034】
画像処理部21は、例えば、ASICなどのハード回路である。画像処理部21は、合成画像生成部22、導出部23、検知部24、及び、記憶部25などを備える。
【0035】
合成画像生成部22は、カメラ3〜6が撮影した車外画像に基づいて合成画像を生成する処理を実行する(以降、合成画像生成部22が実行するこの処理を合成画像生成処理という)。合成画像生成処理の詳細については後述する。
【0036】
導出部23は、車両1の走行中に左サイドカメラ4及び右サイドカメラ5が撮影した時間的に連続する複数の車外画像に基づいて、車両1と相対的に移動する物体の像の車外画像中の移動軌跡を導出する処理などを実行する(以降、導出部23が実行するこの処理を導出処理という)。導出処理の詳細については後述する。
【0037】
検知部24は、カメラ3〜6の光軸の位置ズレを検知する処理を実行する(以降、検知部24が実行するこの処理を検知処理という)。検知処理の詳細については後述する。
【0038】
記憶部25は、検知部24が検知処理を実行する際に利用する基準ラインなどのデータを記憶している。
【0039】
制御部26は、例えば、マイクロコンピュータなどを備える。マイクロコンピュータは、例えば、CPU、ROM、及び、RAMなどを備える。CPUは、ROMに記憶された種々のプログラムに従って演算処理を行うことで種々の機能を実現させる。また、制御部26は、報知部27などを備えている。
【0040】
報知部27は、カメラ3の光軸の位置ズレを検知部24が検知した場合に、その旨をディスプレイ9に表示させ、又は、音出力部10を制御することによって音を出力してユーザへその旨を知らせる処理を実行する(以降、報知部27が実行するこの処理を報知処理という)。報知処理の詳細については後述する。
【0041】
入力部20は、例えば、外部装置と電気的に接続されるインターフェースである。カメラ3が撮影した車外画像を画像処理部21及び制御部26などへ入力させる処理を入力部20が実行する。
【0042】
出力部28は、例えば、外部装置と電気的に接続されるインターフェースである。画像処理部21が処理した車外画像などをディスプレイ9へ出力して表示させる処理を出力部28が実行する。
【0043】
ディスプレイ9は、車両1の運転席と助手席との間のセンターコンソール上部に備わっている。
【0044】
フロントカメラ3は、図2に示すように車両1の前端にあるナンバープレート取付位置の近傍に設けられ、その光軸は車両1の直進方向へ向けられている。
【0045】
左サイドカメラ4は、図2に示すように左サイドミラー30に設けられており、その光軸は車両1の直進方向を基準にした左方向に沿って外部へ向けられている。
【0046】
右サイドカメラ5は、図2に示すように右サイドミラー31に設けられており、その光軸は車両1の直進方向を基準にした右方向に沿って外部へ向けられている。
【0047】
リヤカメラ6は、図2に示すように車両1の後端にあるナンバープレート取付位置の近傍に設けられ、その光軸は車両1の直進方向の逆方向へ向けられている。
【0048】
なお、フロントカメラ3やリヤカメラ6の取り付け位置は、左右略中央であることが望ましいが、左右中央から左右方向に多少ずれた位置であってもよい。
【0049】
カメラ3〜6のレンズとしては魚眼レンズが採用されており、その魚眼レンズは180度以上の画角を有している。このため、カメラ3〜6を利用することで、車両1の全周囲の撮影が可能となっている。
【0050】
車速センサ7は、車両1が移動した際に車輪が回転する速度を車速信号として検知装置2へ出力する。車速センサ7は、車両1のエンジンルーム内に設置される。
【0051】
シフトポジションセンサ8は、車両1に備わる変速ギヤを変更するシフトがユーザによって操作可能になっており、このシフトポジションを検知してシフトポジションを示す信号を検知装置2へ出力する。シフトポジションセンサ8は、車両1のセンターコンソール中央部に備わるシフトレバー近傍に設定される。
【0052】
次に、画像処理部21が備える各部が実行する「合成画像生成処理」、「導出処理」、及び、「検知処理」、並びに、制御部26が備える報知部27が実行する「報知処理」の詳細について説明する。
【0053】
(合成画像生成処理)
まず、合成画像生成部22が実行する合成画像生成処理について説明する。
【0054】
合成画像生成部22は、カメラ3〜6が撮影した、図4に示すような、車外画像G1〜G4をカメラ3〜6より取得する。合成画像生成部22は、取得した車外画像G1〜G4を検知装置2へ出力する。
【0055】
検知装置2は、入力した車外画像G1〜G4を記憶部25へ記憶する。
【0056】
検知装置2が備える合成画像生成部22は、記憶部25に記憶された、車外画像G1〜G4を、図4に示すような、仮想的な三次元空間における立体曲面Pに投影する。立体曲面Pは、例えば略半球状(お椀形状)をしており、その中心部分(お椀の底部分)が車両1が存在する位置として定められている。車外画像G1〜G4に含まれる各画素の位置と、この立体曲面Pの各画素の位置とは予め対応関係が定められている。このため、立体曲面Pの各画素の値は、この対応関係と車外画像G1〜G4に含まれる各画素の値とに基づいて決定される。
【0057】
車外画像G1〜G4の各画素の位置と立体曲面Pの各画素の位置との対応関係は、車両1における4つの車載カメラであるカメラ3〜6の配置(相互間距離、地上高さ、光軸角度等)に依存する。このため、この対応関係を示すテーブルデータが、記憶部25に記憶された車種別データに含まれている。
【0058】
また、車種別データに含まれる車体の形状やサイズを示すポリゴンデータが利用され、車両1の三次元形状を示すポリゴンモデルである車両像が仮想的に構成される。構成された車両像は、立体曲面Pが設定される三次元空間において、車両1の位置と定められた略半球状の中心部分に配置される。
【0059】
さらに、立体曲面Pが存在する三次元空間に対して、合成画像生成部22により仮想視点AGLが設定される。仮想視点AGLは、視点位置と視野方向とで規定され、この三次元空間における車両1の周辺に相当する任意の視点位置に任意の視野方向に向けて設定される。
【0060】
そして、設定された仮想視点AGLに応じて、立体曲面Pにおける必要な領域が画像として切り出される。仮想視点AGLと、立体曲面Pにおける必要な領域との関係は予め定められており、テーブルデータとして記憶部25等に予め記憶されている。一方で、設定された仮想視点AGLに応じてポリゴンのモデルに関してレンダリングがなされ、その結果となる二次元の車両1の像が、切り出された画像に対して重畳される。これにより、車両1及びその車両1の周辺を任意の仮想視点AGLからみた様子を示す合成画像が生成されることになる。
【0061】
例えば、視点位置が車両1の位置の略中央の直上で、視野方向が直下方向とした仮想視点AGL1を設定した場合は、車両1の略直上から車両1を見下ろすように、車両1及び車両1の周辺の領域を示す合成画像G5が生成される。また、図中に示すように、視点位置が車両1の位置の左後方で、視野方向が車両1における略前方方向とした仮想視点AGL2を設定した場合は、車両1の左後方からその周辺全体を見渡すように、車両1及び車両1の周辺の領域を示す合成画像G6が生成される。
【0062】
なお、実際に合成画像を生成する場合においては、立体曲面Pの全ての画素の値を決定する必要はなく、設定された仮想視点AGLに対応して必要となる領域の画素の値のみを車外画像G1〜G4に基づいて決定することで、処理速度を向上できる。
【0063】
検知装置2では、このような合成画像生成部22の機能を利用することで、車両1の周辺の任意の視点からみた合成画像を生成して、ディスプレイ9へ生成した合成画像を出力して表示させることができる。
【0064】
(導出処理)
次に、導出部23が実行する導出処理について説明する。
【0065】
(第1導出処理)
導出部23は、第1導出処理と第2導出処理とを実行する。まず、第1導出処理について説明する。
【0066】
第1導出処理とは、フロントカメラ3が撮影した車外画像に基づいて車外画像に含まれる消失点を導出部23が導出する処理である。
【0067】
消失点は次のようにして導出される。まず、フロントカメラ3が撮影した時間的に連続する複数の車外画像中の輝度情報に基づいて、複数の車外画像に含まれる物体の車両1に対する相対的な動きを導出部23が解析する。例えば、図6に示す車外画像G7に含まれる電信柱X及び電信柱Yの車両1に対する相対的な動きを導出部23が解析する。
【0068】
電信柱X及び電信柱Yの動きから実際の車外の風景において仮想的に形成される平行線を導出部23が導き出す。つまり、図7に示すように、電信柱XがX1の位置からX5の位置へと車両1に対して相対的に動いた場合に仮想的に形成される線XLを導出部23が導き出す。
【0069】
更に、電信柱YがY1の位置からY4の位置へと車両1に対して相対的に動いた場合に仮想的に形成される線YLを導出部23が導き出す。
【0070】
更に、線XLと線YLとをそれぞれ延長した際の交差点を消失点として導出部23が導き出す。
【0071】
なお、線XL及び線YLが曲線となっているのは、魚眼レンズを備えたフロンとカメラ3が撮影した車外画像が椀曲しているためである。
【0072】
なお、第1導出処理はリヤカメラ6が撮影した車外画像に基づいても実行できる。第1処理をフロントカメラ3及びリヤカメラ6が撮影した車外画像に基づいて実行するのは、時間的に連続して得られるそれら車外画像において解析された車両1に対して相対的に動く物体が消失する点、即ち、消失点Vを導くことができる車外画像だからである。
【0073】
(第2導出処理)
次に、第2導出処理について説明する。
【0074】
第2導出処理とは、左サイドカメラ4が撮影した時間的に連続する複数の車外画像に基づいて、車両1と相対的に移動する物体の像の車外画像中の移動軌跡を導出する処理である。
【0075】
移動軌跡は次のようにして導出される。まず、左サイドカメラ4が撮影した時間的に連続する複数の車外画像に基づいて車両1と相対的に移動する物体の像を解析する。物体の像は、例えば、車外画像中における車両1が走行するレーンに隣接する隣接レーンの領域に存在する他の車両である。
【0076】
つまり、図8に示すような、左サイドカメラ4が撮影した時間的に連続する複数の車外画像G8〜G11において、車両1が走行中のレーンに隣接する隣接レーンの領域を車両1と相対的に移動した他の車両の像C1〜C4の移動軌跡を導出部23が導出する。
【0077】
従って、図9に示すように、魚眼レンズを備えた左サイドカメラ4が撮影した車外画像に基づいて導出した他の車両の移動軌跡Lは、なだらかに上側に歪んだ曲線になる。
【0078】
このように、移動軌跡をとる物体の像を、車外画像中における車両1が走行するレーンに隣接する隣接レーンの領域に存在する他の車両とするのは、左サイドカメラ4の光軸が正常の位置において撮影される車外画像において常に略一定の位置に略一定の軌跡を描くからである。結果、後述する検知処理において、この移動軌跡に基づいた左サイドカメラ4の光軸の位置ズレを高い精度で検知することができる。
【0079】
なお、第2導出処理は右サイドカメラ5が撮影した車外画像に基づいても実行できる。左サイドカメラ4及び右サイドカメラ5が撮影した車外画像に基づいて第2処理を実行するのは、時間的に連続して得られるそれら車外画像において解析された車両1に対して相対的に動く物体が消失する点、即ち、消失点Vを導くことができない車外画像だからである。
【0080】
(検知処理)
次に、検知部24が実行する検知処理について説明する。
【0081】
検知部24は、第1検知処理と第2検知処理とを実行する。まず、第1検知処理について説明する。
【0082】
(第1検知処理)
第1検知処理とは、第1導出処理によって導出された複数の消失点Vの変化に基づいてフロントカメラ3の光軸の位置ズレを検知する処理である。具体的には、第1導出処理によって導出された消失点Vが、基準点と一致しないことを検知部24が検知する。つまり、検知部24はそれらが一致しない場合にフロントカメラ3の光軸の位置がズレたことを検知する。
【0083】
基準点とは、車両1が工場から出荷される際に、または、販売会社において販売される際に、図2に示す車両1に備わる左サイドミラー30の先端へ左サイドカメラ4が搭載された位置において、第1導出処理が実行されて導出された消失点Vの位置をいう。つまり、基準点とは、左サイドカメラ4の光軸の位置を検知装置2がその機能を発揮させるために初期に設定された基準位置において、第1導出処理が実行されて導出された消失点Vをいう。
【0084】
なお、第1検知処理はリヤカメラ6が撮影した車外画像により導出された消失点Vに基づいても実行できる。
【0085】
(第2検知処理)
次に、第2検知処理について説明する。
【0086】
第2検知処理とは、第2導出処理によって導出された移動軌跡Lに基づいて左サイドカメラ4の光軸の位置ズレを検知する処理である。具体的には、第2導出処理によって導出された移動軌跡Lの歪みの程度が、基準ラインの歪みの程度と一致しないことを検知部24が検知する。つまり、検知部24はそれらが一致しない場合に左サイドカメラ4の光軸の位置がズレたことを検知する。
【0087】
基準ラインとは、車両1が工場から出荷される際に、または、販売会社において販売される際に、図2に示す車両1に備わる左サイドミラー30の先端へ左サイドカメラ4が搭載された位置において、車両1の走行中に左サイドカメラ4が撮影した時間的に連続する複数の車外画像に基づいて車両1と相対的に移動する他の車両の像の車外画像中の移動軌跡Lである。つまり、基準ラインとは、左サイドカメラ4の光軸の位置を検知装置2がその機能を発揮させるために初期に設定された基準位置において、第2導出処理が実行されて導出された他の車両の移動軌跡Lをいう。
【0088】
つまり、左サイドカメラ4の光軸の位置がズレていない場合は、移動軌跡Lの歪みの程度は、図10に示す、基準ラインLSの歪みの程度と同じになる。また、左サイドカメラ4の光軸の位置が下方向へズレていた場合は、移動軌跡Lの歪みの程度は、図10に示すように、ラインL1又はラインL2のようになって、基準ラインLSと一致しない。また、左サイドカメラ4の光軸の位置が上方向へズレていた場合は、移動軌跡Lの歪みの程度は、図10に示すように、ラインL3またはラインL4のようになって、基準ラインLSと一致しない。
【0089】
なお、第2検知処理は右サイドカメラ5が撮影した車外画像に基づいても実行できる。
【0090】
(報知処理)
次に、報知部27が実行する報知処理について説明する。第1検知処理及び第2検知処理の何れかを実行することにより、それぞれのカメラの光軸の位置ズレを検知した場合に、検知部24は報知部27へその旨を示す信号を送信する。
【0091】
その旨を示す信号を受信した場合に、報知部27は音出力部及びディスプレイ9の何れかを制御してユーザへカメラの光軸の位置がズレていることを知らせる。
【0092】
(制御フロー)
次に、検知装置2が実行する制御フローについて説明する。
検知装置2は、ユーザにより電源が投入されて、その機能を開始させるボタンが操作された場合に、図11に示すメインフローを所定の周期(以降、第1の周期という)で実行する。また、検知装置2は、その場合に図12に示すサブフローを第1の周期よりも長い周期(以降、第2の周期という)で実行する。
【0093】
なお、第1の周期は、例えば、10msであり、第2の周期は、例えば、1ヶ月である。
【0094】
(メインフロー)
検知装置2は、第1の周期ごとに図11に示すフローのステップSA1の処理を実行する。
【0095】
制御部26は、シフトポジションセンサ8からシフトポジションが”R”を示す信号を受信したか否かを判定する(ステップSA1)。
【0096】
シフトポジションが”R”を示す信号を受信した旨の信号を制御部26から受信した場合は、合成画像生成部22は前述した合成画像生成処理を実行する。(ステップSA2)。これにより、合成画像生成部22は車両1を仮想的に俯瞰した合成画像を生成する。
【0097】
次に、合成画像生成部22はその合成画像をディスプレイ9へ表示する処理を実行する(ステップSA3)。
【0098】
つまり、ユーザがシフトポジションを”R”にして車両1を後進させる際に、検知装置2がユーザに対し合成画像を表示する。このため、ユーザは車両1を後進させる際に認識しにくい車両1の周辺の障害物を認識することができる。
【0099】
次に、検知装置2は図11に示すフローに基づく処理を終了する。
【0100】
なお、シフトポジションが”R”を示す信号を受信した旨の信号を制御部26から受信しない場合は、検知装置2は図11に示すフローに基づく処理を終了する。
【0101】
(サブフロー)
検知装置2は、第2の周期ごとに図12に示すフローのステップSB1の処理を実行する。
【0102】
車速センサ7から受信する信号及びシフトポジションセンサ8から受信する信号に基づいて車両1が走行中であるか否かを制御部26が判定する。(ステップSB1)。具体的には、車速センサ7から受信する信号に基づいて車両1の車速が0km/h以上であるか否かを制御部26が判定する。更に、シフトポジションセンサ8から受信する信号に基づいてシフトポジションが”D”などの車両1が前進する際のシフトポジションであるか否かを制御部26が判定する。つまり、車両1の車速が0km/h以上でかつシフトポジションが”D” などの車両1が前進する際のシフトポジションである場合に、制御部26は車両1が走行中であると判定する。
【0103】
次に、制御部26が車両1が走行中であると判定した場合は、画像処理部21は、左サイドカメラ4から車外画像を入力する(ステップSB2)。
【0104】
次に、入力された車外画像がサイドカメラにより撮影された車外画像か否かを導出部23が判定する(ステップSB3)。つまり、入力された車外画像が左サイドカメラ4及び右サイドカメラ5の何れかにより撮影された車外画像か否かを導出部23が判定する。
【0105】
入力された車外画像がサイドカメラにより撮影された車外画像であると判定する場合は、導出部23は前述した第2導出処理を実行して他の車両の移動軌跡Lを導出する(ステップSB4)。
【0106】
次に、前述した第2検知処理を実行して導出した移動軌跡Lと基準ラインとが一致するか否かを判定する(ステップSB5)。
【0107】
次に、移動軌跡Lと基準ラインとが一致すると判定しない場合に、導出部23がその旨を示す信号を報知部27へ送信する。その旨を示す信号を受信した導出部23はディスプレイ9及び音出力部10の何れかを制御してユーザへサイドカメラの光軸の位置がズレたことを報知する(ステップSB6)。
【0108】
このため、検知装置2はサイドカメラの光軸の位置ズレを車外画像のみで簡易に検知することができる。
【0109】
なお、移動軌跡Lと基準ラインとが一致すると判定する場合は、検知装置2は図12に示すフローに基づく処理を終了する。
【0110】
入力された車外画像がサイドカメラにより撮影された車外画像であると判定しない場合は、導出部23は前述した第1導出処理を実行して消失点Vを導出する(ステップSB7)。つまり、この場合とは、入力された車外画像がフロントカメラ3及びリヤカメラ6の何れかにより撮影された車外画像であると判定する場合である。
【0111】
次に、前述した第1検知処理を実行して導出した消失点Vと基準点とが一致するか否かを判定する(ステップSB8)。
【0112】
次に、消失点Vと基準点とが一致すると判定しない場合に、導出部23がその旨を示す信号を報知部27へ送信する。その旨を示す信号を受信した導出部23はディスプレイ9及び音出力部10の何れかを制御してユーザへフロントカメラ3及びリヤカメラ6の何れかの光軸の位置がズレたことを報知する。
【0113】
このため、検知装置2はフロントカメラ3及びリヤカメラ6の何れかの光軸の位置ズレを車外画像のみで簡易に検知することができる。
【0114】
なお、消失点Vと基準点が一致すると判定する場合は、検知装置2は図12に示すフローに基づく処理を終了する。
【0115】
<第2の実施の形態>
次に、第2の実施の形態について説明する。なお、以降の説明においては、第1の実施の形態と第2の実施の形態とにおいて相違する点を主に説明する。
【0116】
第1の実施の形態において、第2検知処理は、「第2導出処理により導出した移動軌跡L全体の歪みの程度が、基準ライン全体の歪みの程度と一致しないことを検知部24が検知する。つまり、検知部24はそれら全体が一致しない場合に左サイドカメラ4の光軸の位置がズレたことを検知する」と説明した。
【0117】
第2の実施の形態においては、第2検知処理は、車外画像中の所定位置にある、即ち、一部の移動軌跡Lとその所定位置にある基準ラインとを比較した結果に基づいて左サイドカメラ4の光軸の位置がズレたことを検知部24が検知する。
【0118】
その所定位置は、図13に示すように、車外画像の左右中央の近傍の領域Dである。従って、検知部24は、領域Dに含まれる移動軌跡Lの歪みの程度と基準ラインの歪みの程度とを比較した結果に基づいて左サイドカメラ4の光軸の位置がズレたことを検知部24が検知する。
【0119】
つまり、左サイドカメラ4の光軸の位置がズレていない場合は、領域Dに含まれる移動軌跡Lの歪みの程度は、図13に示す、領域Dに含まれる基準ラインLSXの歪みの程度と同じになる。また、左サイドカメラ4の光軸の位置が下方向へズレていた場合は、領域Dに含まれる移動軌跡Lの歪みの程度は、図13に示すように、領域Dに含まれるラインL1X又はラインL2Xのようになって、領域Dに含まれる基準ラインLSXと一致しない。また、左サイドカメラ4の光軸の位置が上方向へズレていた場合は、領域Dに含まれる移動軌跡Lの歪みの程度は、図13に示すように、領域Dに含まれるラインL3XまたはラインL4Xのようになって、領域Dに含まれる基準ラインLSXと一致しない。
【0120】
このように、車外画像の左右中央の近傍の領域Dに含まれる移動軌跡Lとその領域Dに含まれる基準ラインとを比較することによって左サイドカメラ4の光軸の位置ズレを検知するため、検知装置2はその検知処理をする際の処理負荷が低減できる。更に、魚眼レンズを備えた左サイドカメラ4が撮影した車外画像においては、移動軌跡Lの歪みの程度は、その左右中央の近傍の領域Dが最も大きくその左右両端は小さい。このため、領域Dに含まれる移動軌跡Lとその領域Dに含まれる基準ラインとを比較すれば、検知装置2は精度良く左サイドカメラ4の光軸の位置ズレを検知することができる。
【0121】
なお、第2検知処理は右サイドカメラ5が撮影した車外画像に基づいても実行できる。
【0122】
<第3の実施の形態>
次に、第3の実施の形態について説明する。なお、以降の説明においては、第1の実施の形態と第3の実施の形態とにおいて相違する点を主に説明する。
【0123】
第1の実施の形態において、第2検知処理は、「第2導出処理により導出した移動軌跡L全体の歪みの程度が、基準ライン全体の歪みの程度と一致しないことを検知部24が検知する。つまり、検知部24はそれらが全体が一致しない場合に左サイドカメラ4の光軸の位置がズレたことを検知する」と説明した。
【0124】
第3の実施の形態においては、第2検知処理は、車外画像中の所定位置にある、即ち、一部の移動軌跡Lとその所定位置にある基準ラインとを比較した結果に基づいて左サイドカメラ4の光軸の位置がズレたことを検知部24が検知する。
【0125】
更に、その所定位置は、図14に示すように、車外画像の左右の略中央CLである。従って、検知部24は、車外画像の左右の略中央CLの移動軌跡Lの位置と基準ラインの位置とを比較した結果に基づいて左サイドカメラ4の光軸の位置がズレたことを検知部24が検知する。
【0126】
つまり、左サイドカメラ4の光軸の位置がズレていない場合は、車外画像の左右の略中央CLにおける移動軌跡Lの位置は、図13に示す、車外画像の左右の略中央CLにおける基準ラインLSYの位置と同じになる。また、左サイドカメラ4の光軸の位置が下方向へズレていた場合は、車外画像の左右の略中央CLにおける動軌跡Lの位置は、図13に示すように、車外画像の左右の略中央CLにおけるラインL1Yの位置P1またはラインL2Yの位置P2のようになって、車外画像の左右の略中央CLにおける基準ラインLSYの位置PSと一致しない。また、左サイドカメラ4の光軸の位置が上方向へズレていた場合は、車外画像の左右の略中央CLにおける移動軌跡Lの位置は、図13に示すように、車外画像の左右の略中央CLにおけるラインL3Yの位置P3またはラインL4Yの位置P4のようになって、車外画像の左右の略中央CLにおける基準ラインLSYの位置PSと一致しない。
【0127】
このように、車外画像の左右の略中央CLにおける移動軌跡Lの位置とその略中央CLにおける基準ラインの位置とを比較することによって左サイドカメラ4の光軸の位置ズレを検知するため、検知装置2はその検知処理をする際の処理負荷が低減できる。更に、魚眼レンズを備えた左サイドカメラ4が撮影した車外画像においては、移動軌跡Lの歪みの程度は、その左右の略中央CLが最も大きくその左右両端は小さい。このため、その略中央CLにおける移動軌跡Lの位置とその略中央CLにおける基準ラインの位置とを比較すれば、検知装置2は精度良く左サイドカメラ4の光軸の位置ズレを検知することができる。
【0128】
なお、第2検知処理は右サイドカメラ5が撮影した車外画像に基づいても実行できる。
【0129】
<第4の実施の形態>
次に、第4の実施の形態について説明する。なお、以降の説明においては、第1の実施の形態と第4の実施の形態とにおいて相違する点を主に説明する。
【0130】
第1の実施の形態において、画像処理部21が備える導出部23が実行する第2導出処理は、「車外画像に基づいて車外画像中における車両1が走行するレーンに隣接する隣接レーンの領域に存在する他の車両の移動軌跡を導出部23が導出する」と説明した。
【0131】
第4の実施の形態においては、導出部23が実行する導出処理の代わりに、画像処理部21が更に備える抽出部が抽出処理を実行する。抽出部は車外画像に含まれる車両1の前後方向に延びる被写体の像を抽出する。そして、検知部24が抽出処理による結果に基づいて第3検知処理を実行する。まず、抽出処理について説明する。
【0132】
(抽出処理)
車両1の走行中に左サイドカメラ4が撮影した車外画像に含まれる車両1の前後方向に延びる被写体の像を抽出する抽出処理を抽出部が実行する。
【0133】
被写体の像とは、例えば、図15に示す車外画像G18に含まれる、車両1が走行するレーンと隣接するレーンとを区切る区画線RLである。
【0134】
このように、物体の像を車外画像中における区画線RLとするのは、左サイドカメラ4の光軸が正常の位置において撮影される車外画像において常に一定の位置に一定の形状が抽出される物体の像であるからである。結果、検知装置2は左サイドカメラ4の光軸の位置ズレ検知の精度を向上させることができる。
【0135】
次に、第3検知処理について説明する。
【0136】
(第3検知処理)
そして、被写体の像であるその区画線RLの形状と基準となる基準形状とを比較した結果に基づいて、左サイドカメラ4の光軸の位置ズレを検知する検知処理を検知部24が実行する。
【0137】
基準形状とは、車両1が工場から出荷される際に、または、販売会社において販売される際に、図2に示す車両1に備わる左サイドミラー30の先端へ左サイドカメラ4が搭載された位置において、車両1の走行中に左サイドカメラ4が撮影した時間的に連続する複数の車外画像に基づいて抽出される区画線RLの形状である。つまり、基準形状とは、左サイドカメラ4の光軸の位置を検知装置2がその機能を発揮させるために初期に設定された基準位置において、抽出処理が実行されて抽出された区画線RLの形状をいう。
【0138】
このような処理を検知装置2が実行するため、検知装置2は第1の実施の形態と同様の効果を奏させることができる。
【0139】
なお、第2検知処理は右サイドカメラ5が撮影した車外画像に基づいても実行できる。
【0140】
<第5の実施の形態>
次に、第5の実施の形態について説明する。なお、以降の説明においては、第1の実施の形態と第5の実施の形態とにおいて相違する点を主に説明する。
【0141】
第1の実施の形態において、画像処理部21が備える導出部23が実行する第2導出処理は、「車外画像に基づいて車外画像中における車両1が走行するレーンに隣接する隣接レーンの領域に存在する他の車両の移動軌跡を導出部23が導出する」と説明した。
【0142】
第4の実施の形態においては、導出部23が実行する導出処理の代わりに、画像処理部21が更に備える抽出部が抽出処理を実行する。抽出部は車外画像に含まれる車両1の前後方向に延びる被写体の像を抽出する。そして、検知部24が抽出処理による結果に基づいて第3検知処理を実行する。まず、抽出処理について説明する。
【0143】
(抽出処理)
車両1の走行中に右サイドカメラ5が撮影した車外画像に含まれる車両1の前後方向に延びる被写体の像を抽出する抽出処理を抽出部が実行する。
【0144】
被写体の像とは、例えば、図16に示す車外画像G19に含まれる、車両1が走行するレーンと隣接するガードレールGRである。
【0145】
このように、物体の像を車外画像中におけるガードレールGRとするのは、右サイドカメラ5の光軸が正常の位置において撮影される車外画像において常に一定の位置に一定の形状が抽出される物体の像であるからである。結果、検知装置2は、右サイドカメラ5の光軸の位置ズレ検知の精度を向上させることができる。
【0146】
次に、第3検知処理について説明する。
【0147】
(第3検知処理)
そして、被写体の像であるそのガードレールGRの形状と基準となる基準形状とを比較した結果に基づいて、右サイドカメラ5の光軸の位置ズレを検知する検知処理を検知部24が実行する。
【0148】
基準形状とは、車両1が工場から出荷される際に、または、販売会社において販売される際に、図2に示す車両1に備わる左サイドミラー30の先端へ右サイドカメラ5が搭載された位置において、車両1の走行中に右サイドカメラ5が撮影した時間的に連続する複数の車外画像に基づいて抽出されるガードレールGRの形状である。つまり、基準形状とは、左サイドカメラ4の光軸の位置を検知装置2がその機能を発揮させるために設定された基準位置において、抽出処理が実行されて抽出されたガードレールGRの形状をいう。
【0149】
このような処理を検知装置2が実行するため、検知装置2は第1の実施の形態と同様の効果を奏させることができる。
【0150】
なお、第2検知処理は左サイドカメラ4が撮影した車外画像に基づいても実行できる。
【0151】
<変形例>
以上、本発明の第1の実施の形態について説明してきたが、この発明は上記第1の実施の形態に限定されるものではなく様々な変形が可能である。以下では他の実施形態である変形例について説明する。もちろん、以下で説明する形態を適宜組み合わせても良い。
【0152】
<変形例1>
上記第1の実施の形態の検知装置2は、「カメラ3〜6が備えるレンズは魚眼レンズである」と説明したが、魚眼レンズが備える画角よりも狭いレンズをカメラ3〜6に備えても良い。例えば、画角が45度の標準レンズをカメラ3〜6に備えても良い。
【0153】
この場合、導出部23が実行する第2導出処理及び第2検知処理は次のようになる。
【0154】
(第2導出処理)
左サイドカメラ4が撮影した時間的に連続する複数の車外画像に基づいて車両1と相対的に移動する物体の像を解析する。物体の像は、例えば、車外画像中における車両1が走行するレーンに隣接する隣接レーンの領域に存在する他の車両である。
【0155】
つまり、図17に示すような、左サイドカメラ4が撮影した時間的に連続する複数の車外画像G5〜G16において、車両1が走行中のレーンに隣接する隣接レーンの領域を車両1と相対的に移動した他の車両の像C5〜C8の移動軌跡を導出部23が導出する。
【0156】
従って、図18に示すように、標準レンズを備えた左サイドカメラ4が撮影した車外画像に基づいて導出した他の車両の移動軌跡LZは、直線になる。
【0157】
(第2検知処理)
第2導出処理によって導出された移動軌跡LZが、基準ラインと一致しないことを検知部24が検知する。つまり、検知部24はそれらが一致しない場合に左サイドカメラ4の光軸の位置がズレたことを検知する。
【0158】
つまり、左サイドカメラ4の光軸の位置がズレていない場合は、移動軌跡Lは、図19に示す、基準ラインLSZと同じになる。また、左サイドカメラ4の光軸の位置が下方向へズレていた場合は、移動軌跡LZは、図10に示すように、ラインL1Z又はラインL2Zのようになって、基準ラインLSZと一致しない。また、左サイドカメラ4の光軸の位置が上方向へズレていた場合は、移動軌跡LZは、図10に示すように、ラインL3ZまたはラインL4Zのようになって、基準ラインLSZと一致しない。
【0159】
このような処理を検知装置2が実行するため、検知装置2は第1の実施の形態と同様の効果を奏させることができる。
【0160】
なお、第2検知処理は右サイドカメラ5が撮影した車外画像に基づいても実行できる。
【符号の説明】
【0161】
2 検知装置
21 画像処理部
23 導出部
24 検知部
26 制御部
27 報知部
3 フロントカメラ
4 左サイドカメラ
5 右サイドカメラ
6 リヤカメラ
【特許請求の範囲】
【請求項1】
車両の側方に搭載されたカメラの光軸の位置ズレを検知する検知装置であって、
前記車両の走行中に前記カメラが撮影した時間的に連続する複数の車外画像に基づいて、前記車両と相対的に移動する物体の像の前記車外画像中の移動軌跡を導出する導出手段と、
前記移動軌跡と前記車外画像中の基準となる基準ラインとを比較した結果に基づいて、前記位置ズレを検知する検知手段と、
を備えることを特徴とする検知装置。
【請求項2】
請求項1に記載の検知装置において、
前記カメラのレンズは魚眼レンズであり、
前記検知手段は、前記移動軌跡の歪みの程度と前記基準ラインの歪みの程度とを比較した結果に基づいて、前記位置ズレを検知することを特徴とする検知装置。
【請求項3】
請求項2に記載の検知装置において、
前記検知手段は、前記車外画像中の所定位置にある前記移動軌跡と、前記所定位置にある前記基準ラインとを比較した結果に基づいて、前記位置ズレを検知することを特徴とする検知装置。
【請求項4】
請求項3に記載の検知装置において、
前記所定位置は、前記車外画像の左右中央の近傍の領域であることを特徴とする検知装置。
【請求項5】
請求項3に記載の検知装置において、
前記所定位置は、前記車外画像の左右の略中央であることを特徴とする検知装置。
【請求項6】
請求項1乃至5の何れかに記載の検知装置において、
前記導出手段は、前記車外画像中における前記車両が走行中のレーンに隣接する隣接レーンの領域に存在する物体の像の移動軌跡を導出することを特徴とする検知装置。
【請求項7】
請求項1乃至5の何れかに記載の検知装置において、
前記物体は、前記隣接レーンを走行する他の車両であることを特徴とする検知装置。
【請求項8】
車両の側方に搭載されたカメラの光軸の位置ズレを検知する検知方法であって、
(a)前記車両の走行中に前記カメラが撮影した時間的に連続する複数の車外画像に基づいて、前記車両と相対的に移動する物体の像の前記車外画像中の移動軌跡を導出する工程と、
(b)前記移動軌跡と前記車外画像中の基準となる基準ラインとを比較して前記位置ズレを検知する工程と、
を備えることを特徴とする検知装置。
【請求項9】
車両の側方に搭載されたカメラの光軸の位置ズレを検知する検知装置であって、
前記車両の走行中に前記カメラが撮影した車外画像に含まれる、前記車両の前後方向に延びる被写体の像を抽出する抽出手段と、
前記被写体の像の形状と基準となる基準形状とを比較した結果に基づいて、前記位置ズレを検知する検知手段と、
を備えることを特徴とする検知装置。
【請求項10】
車両の側方に搭載されたカメラの光軸の位置ズレを検知する検知方法であって、
(c)前記車両の走行中に前記カメラが撮影した車外画像に含まれる、前記車両の前後方向に延びる被写体の像を抽出する工程と、
(d)前記被写体の像の形状と基準となる基準形状とを比較した結果に基づいて、前記位置ズレを検知する工程と、
を備えることを特徴とする検知方法。
【請求項1】
車両の側方に搭載されたカメラの光軸の位置ズレを検知する検知装置であって、
前記車両の走行中に前記カメラが撮影した時間的に連続する複数の車外画像に基づいて、前記車両と相対的に移動する物体の像の前記車外画像中の移動軌跡を導出する導出手段と、
前記移動軌跡と前記車外画像中の基準となる基準ラインとを比較した結果に基づいて、前記位置ズレを検知する検知手段と、
を備えることを特徴とする検知装置。
【請求項2】
請求項1に記載の検知装置において、
前記カメラのレンズは魚眼レンズであり、
前記検知手段は、前記移動軌跡の歪みの程度と前記基準ラインの歪みの程度とを比較した結果に基づいて、前記位置ズレを検知することを特徴とする検知装置。
【請求項3】
請求項2に記載の検知装置において、
前記検知手段は、前記車外画像中の所定位置にある前記移動軌跡と、前記所定位置にある前記基準ラインとを比較した結果に基づいて、前記位置ズレを検知することを特徴とする検知装置。
【請求項4】
請求項3に記載の検知装置において、
前記所定位置は、前記車外画像の左右中央の近傍の領域であることを特徴とする検知装置。
【請求項5】
請求項3に記載の検知装置において、
前記所定位置は、前記車外画像の左右の略中央であることを特徴とする検知装置。
【請求項6】
請求項1乃至5の何れかに記載の検知装置において、
前記導出手段は、前記車外画像中における前記車両が走行中のレーンに隣接する隣接レーンの領域に存在する物体の像の移動軌跡を導出することを特徴とする検知装置。
【請求項7】
請求項1乃至5の何れかに記載の検知装置において、
前記物体は、前記隣接レーンを走行する他の車両であることを特徴とする検知装置。
【請求項8】
車両の側方に搭載されたカメラの光軸の位置ズレを検知する検知方法であって、
(a)前記車両の走行中に前記カメラが撮影した時間的に連続する複数の車外画像に基づいて、前記車両と相対的に移動する物体の像の前記車外画像中の移動軌跡を導出する工程と、
(b)前記移動軌跡と前記車外画像中の基準となる基準ラインとを比較して前記位置ズレを検知する工程と、
を備えることを特徴とする検知装置。
【請求項9】
車両の側方に搭載されたカメラの光軸の位置ズレを検知する検知装置であって、
前記車両の走行中に前記カメラが撮影した車外画像に含まれる、前記車両の前後方向に延びる被写体の像を抽出する抽出手段と、
前記被写体の像の形状と基準となる基準形状とを比較した結果に基づいて、前記位置ズレを検知する検知手段と、
を備えることを特徴とする検知装置。
【請求項10】
車両の側方に搭載されたカメラの光軸の位置ズレを検知する検知方法であって、
(c)前記車両の走行中に前記カメラが撮影した車外画像に含まれる、前記車両の前後方向に延びる被写体の像を抽出する工程と、
(d)前記被写体の像の形状と基準となる基準形状とを比較した結果に基づいて、前記位置ズレを検知する工程と、
を備えることを特徴とする検知方法。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【公開番号】特開2012−101737(P2012−101737A)
【公開日】平成24年5月31日(2012.5.31)
【国際特許分類】
【出願番号】特願2010−253623(P2010−253623)
【出願日】平成22年11月12日(2010.11.12)
【出願人】(000237592)富士通テン株式会社 (3,383)
【Fターム(参考)】
【公開日】平成24年5月31日(2012.5.31)
【国際特許分類】
【出願日】平成22年11月12日(2010.11.12)
【出願人】(000237592)富士通テン株式会社 (3,383)
【Fターム(参考)】
[ Back to top ]