ドライブレコーダ
【課題】ドライブレコーダにおいて、画像記録のトリガを適切に行う。
【解決手段】ステレオカメラによって画像取得し、得られた３次元情報の内、車両周辺の空間情報を解析することで、トリガ判定を行う。具体的には、車両近傍の所定範囲を対象領域６とし、（ａ）のように、全域に亘って、ほぼ路面３を計測することができる場合は衝突危険性が少ないと判定してトリガを掛けず、（ｂ）のように、歩行者７や駐車車両８が存在し、また先行（停車）車両９が存在する場合には、衝突危険性が高いと判定してトリガを掛ける。したがって、一般的な加速度センサを用いた判定と比べて、誤動作を低減することができるとともに、複雑な処理を必要とせず、簡易な手法で、衝突の可能性が高い、いわゆるヒヤリハットのシーンまで確実に記録することができる。
【解決手段】ステレオカメラによって画像取得し、得られた３次元情報の内、車両周辺の空間情報を解析することで、トリガ判定を行う。具体的には、車両近傍の所定範囲を対象領域６とし、（ａ）のように、全域に亘って、ほぼ路面３を計測することができる場合は衝突危険性が少ないと判定してトリガを掛けず、（ｂ）のように、歩行者７や駐車車両８が存在し、また先行（停車）車両９が存在する場合には、衝突危険性が高いと判定してトリガを掛ける。したがって、一般的な加速度センサを用いた判定と比べて、誤動作を低減することができるとともに、複雑な処理を必要とせず、簡易な手法で、衝突の可能性が高い、いわゆるヒヤリハットのシーンまで確実に記録することができる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車両に搭載されて走行中の画像を記録するドライブレコーダに関し、特に記録開始のトリガや、常時記録における注目時点のマーキングの手法に関する。
【背景技術】
【０００２】
近年、車両の衝突時の画像を記録することができるドライブレコーダが実用化されている。このドライブレコーダは、衝突が発生した時点を基準に、前後数秒から数十秒程度の所定時間における画像を記録することで、事故原因の究明などに役立てるものである。また、記録媒体の容量増加に伴い、常時記録をしておき、事故の一歩手前の、いわゆるヒヤリハットの事象までも、以後に検証できるようにしたものが、主に運輸・運送業界で使用が始まっている。
【０００３】
ところで、このようなドライブレコーダにおいて、短時間記録のものでは、従来から、加速度センサによって、所定レベル以上の振動を検知すると、記録開始のトリガを与えている。また、常時記録のものでは、そのヒヤリハットの事象が発生した時点で、運転者が注目時点のマーキングを入れたり、記録媒体を事業所へ持ち帰り、管理者がチェックして前記マーキングを施したりしている。したがって、前記加速度センサを用いる場合では、路面の凹凸や踏切通過などによる振動で前記加速度センサが誤検知して記録を行い、実際の事故の際に記録媒体の空き容量が無くなっており、記録できないケースが生じるという問題がある。また、常時記録の場合は、マーキングが煩わしいという問題がある。
【０００４】
そこで、このような問題を解決するために、特許文献１が提案された。この従来技術は、車両周囲の３６０度を監視するように４ヶ所にカメラを設置する一方、距離算出装置で対象物体までの距離を算出し、算出した距離が所定距離より近い場合に記録開始判断を行うことで、前記路面凹凸や踏切通過による誤った画像の記録を行わないように加速度センサを用いることなく、自動的に記録のトリガを行うようにしたドライブレコーダである。また、前記距離算出装置には、１眼カメラ、２眼カメラ、超音波センサ（ソナー）を用いることが示されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００７−３３４７６０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
上述の従来技術は、単純に対象物体との距離関係のみで記録判断を行うので、記録を開始すべきと判定する閾値が厳しいと、実際に衝突する程度でしか記録が行われず、すなわち前記ヒヤリハットのようなシーンを確実に記録する事は困難であり、緩いと、あまり危険でない状況でも記録してしまい、前述と同様に記録媒体の容量の減少を招き、肝心な時に記録できないという問題がある。また、この従来技術を連続記録のマーキングに使用した場合には、閾値が厳しいと、前記ヒヤリハットの事象の記録には漏れを生じ、緩いと、マーキングだらけとなって、有効なマーキングを選別しなければならず、煩雑であるという問題がある。
【０００７】
本発明の目的は、記録の適切なトリガやマーキングを行うことができるドライブレコーダを提供することである。
【課題を解決するための手段】
【０００８】
本発明のドライブレコーダは、車両に搭載され、画像取得部で取得した時系列画像を記録部に記録させてゆくにあたって、危険度が高い場合に、トリガ判定部が、前記記録のトリガを前記記録部に与え、或いは前記記録部で常時記録される前記時系列画像に対してマーキングを施すようにしたドライブレコーダであって、前記画像取得部は、ステレオカメラから成り、前記ステレオカメラによって得られる３次元情報の内、車両近傍に予め設定される対象領域に対して、予め定める空間情報を算出する空間情報算出部を備え、前記トリガ判定部は、前記空間情報算出部で算出された空間情報に応答して、前記トリガを前記記録部に与え、或いは前記記録部で常時記録される前記時系列画像に対して前記マーキングを施すことを特徴とする。
【０００９】
上記の構成によれば、車両に搭載され、画像取得部で取得した時系列画像を記録部に記録させてゆくにあたって、衝突が予想される等で危険度が高い場合に、トリガ判定部が、前記記録のトリガを前記記録部に与え、或いは前記記録部で常時記録される前記時系列画像に対してマーキングを施すようにしたドライブレコーダであって、前記画像取得部をステレオカメラで構成し、それによって得られる３次元情報を用いて、前記衝突の危険度が高い車両近傍の領域を予め対象領域として設定し、その対象領域で、物体の占有率や空間の減少率などの空間情報を算出する空間情報算出部を設ける。そして、前記トリガ判定部は、前記空間情報算出部で算出された空間情報に応答して、物体の占有率が所定値以上となったり、空間の減少率が所定値以下となったりして、対象物体が迫ってくるときに、前記トリガを前記記録部に与え、或いは前記記録部で常時記録される前記時系列画像に対して前記マーキングを施す。
【００１０】
したがって、ステレオカメラの画像から、車両周辺の空間情報を解析することで、前記トリガやマーキングの判定を行うので、一般的な加速度センサを用いた判定と比べて、誤動作を低減することができるとともに、複雑な処理を必要とせず、簡易な手法で、衝突の可能性が高い、いわゆるヒヤリハットのシーンまで確実に記録することができる。また、ステレオカメラを用いることで、事故解析に極めて有効な対象物体の時系列な３次元情報を取得することが可能である。
【００１１】
また、本発明のドライブレコーダでは、前記空間情報は、前記ステレオカメラで取得したステレオ画像に対し、対応点探索処理によって算出した視差情報を用いることで算出可能な周辺の平面情報であることを特徴とする。
【００１２】
上記の構成によれば、対象物体の認識などの複雑な処理を必要とせず、前記空間情報として車両周辺の平面情報の変化を見る、具体的には前方平面を遮るかどうかという簡易な処理だけで、トリガやマーキングの判定を行うことができる。
【００１３】
さらにまた、本発明のドライブレコーダでは、前記平面情報は、前記対応点探索処理によって得られた前記視差情報と画像の縦方向の座標とから、平面の推定を行うことで求められることを特徴とする。
【００１４】
上記の構成によれば、視差情報と画像の縦方向の座標との関係から容易に平面を算出することができる。
【００１５】
また、本発明のドライブレコーダでは、前記平面情報は、前記対応点探索処理によって得られた前記視差情報と平面モデルとから算出されることを特徴とする。
【００１６】
上記の構成によれば、視差情報と平面モデルとの関係から、容易に平面を算出することができる。
【００１７】
さらにまた、本発明のドライブレコーダでは、前記平面情報は、過去に算出された結果を用いて算出されることを特徴とする。
【００１８】
上記の構成によれば、過去に算出された平面情報のパラメータは変化しないと仮定することで、平面算出処理回数を低減することができる。
【００１９】
また、本発明のドライブレコーダでは、前記空間情報は、前記ステレオカメラで取得したステレオ画像に対し、対応点探索処理によって算出した視差情報を用いることで算出可能な周辺の空間上に存在する対象物体であることを特徴とする。
【００２０】
上記の構成によれば、対象物体の認識などの複雑な処理を必要とせず、前記対象物体の有無を検出するという簡易な処理だけで、トリガやマーキングの判定を行うことができる。
【００２１】
さらにまた、本発明のドライブレコーダでは、前記空間情報は、前記対象領域上に予め定義された視差テーブルと、前記対応点探索処理によって得られた視差情報とを比較することで算出されることを特徴とする。
【００２２】
上記の構成によれば、予め保持している視差テーブルと算出した視差情報とを比較することで、異なる部分の空間上に前記対象物体が存在すると判定することができる。
【００２３】
また、本発明のドライブレコーダでは、前記トリガ判定部は、前記対象領域の空間占有率が予め定める閾値を超えたときにトリガおよびマーキング対象として判定することを特徴とする。
【００２４】
上記の構成によれば、前記対象領域の空間占有率の変化からトリガおよびマーキングを判定するという簡易な方法で判定を行うことができる。
【００２５】
さらにまた、本発明のドライブレコーダでは、前記トリガ判定部は、前記対象領域の空間減少率が予め定める閾値を超えたときにトリガおよびマーキング対象として判定することを特徴とする。
【００２６】
上記の構成によれば、前記対象領域の空間減少率の変化からトリガおよびマーキングを判定するという簡易な方法で判定を行うことができる。
【００２７】
また、本発明のドライブレコーダでは、前記対象領域には、前記対応点探索処理によって得られた対応点から距離情報を算出し、予め定められた距離の範囲となる領域が設定されることを特徴とする。
【００２８】
上記の構成によれば、距離情報を用いることで、精度良く、対象領域を決定することができる。
【００２９】
さらにまた、本発明のドライブレコーダでは、前記トリガ判定部は、自車両の時速が速くなるに従い、前記対象領域を大きくすることを特徴とする。
【００３０】
上記の構成によれば、時速の変化に従って前記対象領域を変更することで、より精度の高い判定を行うことができる。
【発明の効果】
【００３１】
本発明のドライブレコーダは、以上のように、車両に搭載され、画像取得部で取得した時系列画像を記録部に記録させてゆくにあたって、衝突が予想される等で危険度が高い場合に、トリガ判定部が、前記記録のトリガを前記記録部に与え、或いは前記記録部で常時記録される前記時系列画像に対してマーキングを施すようにしたドライブレコーダであって、前記画像取得部をステレオカメラで構成し、それによって得られる３次元情報を用いて、前記衝突の危険度が高い車両近傍の領域を予め対象領域として設定し、その対象領域で、物体の占有率や空間の減少率などの空間情報を算出する空間情報算出部を設け、前記トリガ判定部は、前記空間情報に応答して、物体の占有率が所定値以上となったり、空間の減少率が所定値以下となったりして、対象物体が迫ってくるときに、前記トリガを前記記録部に与え、或いは前記記録部で常時記録される前記時系列画像に対して前記マーキングを施す。
【００３２】
それゆえ、ステレオカメラの画像から、車両周辺の空間情報を解析することで、前記トリガやマーキングの判定を行うので、一般的な加速度センサを用いた判定と比べて、誤動作を低減することができるとともに、複雑な処理を必要とせず、簡易な手法で、衝突の可能性が高い、いわゆるヒヤリハットのシーンまで確実に記録することができる。また、ステレオカメラを用いることで、事故解析に極めて有効な対象物体の時系列な３次元情報を取得することが可能である。
【図面の簡単な説明】
【００３３】
【図１】本発明の実施の一形態に係るドライブレコーダの概略構成図である。
【図２】前記ドライブレコーダにおけるコントローラの構成を示すブロック図である。
【図３】空間情報として、平面情報（路面情報）を用いる場合の危険度の判定の様子を説明するための図である。
【図４】ステレオカメラによる時系列の撮像画像を説明するための図である。
【図５】前記ステレオカメラによる撮像画像からの対応点探索の様子を説明するための図である。
【図６】本発明の実施の一形態に係るドライブレコーダにおける録画開始のトリガ判定の一例を説明するための図である。
【図７】本発明の実施の一形態に係るドライブレコーダの動作を説明するためのフローチャートである。
【図８】ステレオカメラの設置位置と撮影条件との関係を説明するための図である。
【図９】平面パラメータ（路面パラメータ）の求め方を説明するための図である。
【発明を実施するための形態】
【００３４】
図１は、本発明の実施の一形態に係るドライブレコーダ１の概略構成図である。このドライブレコーダ１は、車両２に搭載されて被写体の２次元入力画像をそれぞれ得るステレオカメラ１１，１２に、取得したステレオ画像から３次元画像を得て、路面３上に存在する対象物体４，５に対する危険度（衝突の）を判定し、危険度が高い場合に、前記ステレオカメラ１１，１２の画像を自動記録するコントローラ１３を備えて構成される。前記ステレオカメラ１１，１２は、被写体を同じタイミングで撮影した左右一対の画像（基準画像と参照画像）を出力する。本実施の形態においては、説明の簡単化のために、ステレオカメラ１１，１２の収差は良好に補正されており、かつ相互に平行に設置されているものとする。また、実際のハードがこのような条件に無くても、画像処理によって、同等の画像に変換することも可能である。ステレオカメラ１１，１２からは、前記ステレオ画像が前記コントローラ１３に通信線を介して送信される。ステレオカメラ１１，１２とコントローラ１３との間での画像データの通信方式は、有線方式に限定されず、無線方式であってもよい。
【００３５】
注目すべきは、本実施の形態のドライブレコーダ１は、前記のように危険度が高い場合に前記ステレオカメラ１１，１２の画像を記録するにあたって、そのトリガ判定に、ステレオ画像から算出した予め定める空間情報、ここでは平面情報または対象物情報を用いることで、従来のような加速度情報、距離情報、物体の移動情報などを算出する必要が無いようにしたことである。前記平面情報は、路面３に関する情報であり、対象物情報は、対象物体４，５に対する情報である。なお、ドライブレコーダとしては、ステレオ画像を、このように危険度が高い場合に記録するだけでなく、常時記録しておき、危険度が高い場合に、後にその時の画像の再生の頭出しを容易にするためのマーキングを施すようにしてもよい。以下では、トリガによって記録を行うものとして説明する。
【００３６】
このため、画像取得部は、前記ステレオカメラ１１，１２から成り、前記コントローラ１３は、図２で示すように、前記ステレオカメラ１１，１２によって得られた３次元情報の内、後に詳述するように車両２の近傍に予め設定される対象領域に対して、前記空間情報（平面情報または対象物情報）を算出する空間情報算出部２１と、その算出結果に応答して前記トリガ判定を行うトリガ判定部２２と、前記トリガ判定部２２からのトリガに応答して、前記２つのステレオカメラ１１，１２の画像の内、少なくとも一方を記録する記録部２３とを備えて構成される。
【００３７】
上述のように構成されるドライブレコーダ１において、図３は、前記空間情報として、平面情報、中でも路面情報を用いる場合の危険度の判定の様子を説明するための図である。図３で示すように、対象領域６は、車両２の近傍に予め設定される。図３（ａ）は、計測された前記対象領域６の全域に亘って、ほぼ路面３を計測することができ、空間情報算出部２１からは路面の占有率が高いことを表す路面情報が出力され、したがってトリガ判定部２２は、衝突危険性が少ないと判定し、記録部２３にトリガを掛けない場合のカメラ画像の一例である。これに対して、図３（ｂ）は、計測された対象領域６の右方に大きく歩行者７や駐車車両８が存在し、また前方には先行（停車）車両９が存在し、前記空間情報算出部２１からは路面の占有率が低いことを表す路面情報が出力され、したがってトリガ判定部２２は、衝突危険性が高いと判定し、記録部２３にトリガを掛ける場合のカメラ画像の一例である。
【００３８】
以下に、本実施の形態のトリガ判定の手法を詳述する。先ず、ステレオカメラ１１，１２からの時系列の撮像画像を対比する。それには、図４で示すように、或る時刻ｔから、Δｔ秒（１フレーム）毎のステレオカメラ１１での撮像画像を、Ｉ１（ｉ，ｊ，ｔ），Ｉ１（ｉ，ｊ，ｔ＋Δｔ），Ｉ１（ｉ，ｊ，ｔ＋２Δｔ），・・・，Ｉ１（ｉ，ｊ，ｔ＋ｎΔｔ）とし、同様にテレオカメラ１２での撮像画像を、Ｉ２（ｉ，ｊ，ｔ），Ｉ２（ｉ，ｊ，ｔ＋Δｔ），Ｉ２（ｉ，ｊ，ｔ＋２Δｔ），・・・，Ｉ２（ｉ，ｊ，ｔ＋ｎΔｔ）とする。ただし、ｉ，ｊは、マトリクス配列された撮像素子のｘ，ｙ方向での位置を表す。こうして求められた撮像画像から、前記空間情報算出部２１は、前記空間情報として、前記平面情報と対象物情報との２種類の情報のいずれかを算出する。以下には、３つの算出方法を例示するが、算出方法１，２では平面情報を、算出方法３では対象物情報を算出する方法を記載する。
【００３９】
算出方法１は、概略的に、ステレオ画像から算出した視差情報から、推定によって前記平面情報を算出するもので、前記のように平面情報は路面情報のことであり、下記に記載の方法で算出する。先ず、図５で示すように、時刻ｔにおける基準画像Ｉ１（ｉ，ｊ，ｔ）上の画素ｐｔ（ｉ，ｊ）に対し、対応点探索処理によって、参照画像Ｉ２（ｉ，ｊ，ｔ）上の対応点ｐｒｔ（ｉ，ｊ）を算出する。前記対応点探索方法には、最適化手法の１つである勾配法や、輝度値をそのまま減算する手法（ＳＡＤ（Sum of Absolute Difference）法やＳＳＤ（Sum of Squared intensity Difference）法）、または各点の輝度値から局所的な平均値を引き、分散値の類似度で対応点を求める手法（ＮＣＣ（Normalized Cross Correlation）法）等の相関演算法などを用いることができる。前記相関演算法の中でも、２つの入力画像に設定したウインドウ内のパターンを周波数分解し、振幅成分を抑制した信号の類似度に基づいて、サブピクセル単位で対応位置を演算することができるＰＯＣ（位相限定相関法）を用いることによって、安定かつ高精度な対応付けが可能となる。
【００４０】
次に、それらの差から、視差情報Δｄ（ｉ，ｊ，ｔ）を算出する。すなわち、Δｄ（ｉ，ｊ，ｔ）＝ｐｔ（ｉ，ｊ）−ｐｒｔ（ｉ，ｊ）である。続いて、算出された視差情報Δｄ（ｉ，ｊ，ｔ）と基準画像Ｉ１（ｉ，ｊ，ｔ）の縦軸（ｙ軸）方向の関係とから、平面パラメータ（路面パラメータ）を推定する。
【００４１】
前記平面パラメータ（路面パラメータ）の求め方は、以下の通りである。先ず、図８には、ステレオカメラ１１，１２と路面３との位置関係を示す。図８において、Ｙは鉛直方向を示し、Ｚは車両２の前進方向を示し、Ｚ´はステレオカメラ１１，１２の光軸方向を示し、φはＺ方向を基準にしたときのステレオカメラ１１，１２のピッチ方向の傾斜角度を示し、ｆは焦点距離を示し、Ｙ´は入力画像の垂直成分を示し、ｈはステレオカメラ１１，１２の路面３に対する高さを示し、ｙは車両２からＺ方向にＤ離れた路面上の点Ａを表す入力画像上の点の垂直成分を示している。
【００４２】
そして、先ず、各注目点（基準画像Ｉ１（ｉ，ｊ，ｔ）上の画素ｐｔ（ｉ，ｊ））に対する視差情報Δｄ（ｉ，ｊ，ｔ）と注目点の垂直成分ｙとを求める。次に、視差情報Δｄと注目点の垂直成分ｙとを座標軸とする２次元座標空間に各注目点をプロットする。図９は、その処理の説明図であり、（ａ）、（ｂ）は視差情報Δｄと注目点の垂直成分ｙとを座標軸とする２次元座標空間を示している。図９のグラフにおいて、横軸は注目点の垂直成分ｙを示し、縦軸は視差情報Δｄを示している。図９（ａ）に示すように、２次元座標空間に各注目点がプロットされていることが理解される。
【００４３】
次に、最小二乗法やＨｏｕｇｈ変換等の直線算出手法を用いて、プロットした各点によって描かれる直線Ｌを算出する。次に、直線Ｌの傾きおよび切片を求め、得られた傾きからステレオカメラ１１，１２の高さｈを算出すると共に、得られた切片からピッチ方向の傾斜角度φを算出する。ここで、視差情報Δｄと、注目点の垂直成分ｙとは下式の関係を有することを本発明者は発見し、先に特願２００８−２１９５０号で提案している。
Δｄ＝（Ｂ／ｈ）・（ｙ＋α・φ） ・・・（１）
【００４４】
すなわち、上式は、図９（ｂ）に示すように、ｙ、Δｄを変数とし、Ｂ／ｈを傾きとし、（Ｂ／ｈ）・（α・φ）を切片とした場合の直線を表している。ここで、Ｂ，αは定数である。したがって、直線Ｌの傾きを求め、定数Ｂを用いることでｈを算出し、次に、直線Ｌの切片を求め、定数Ｂ，αと、算出したｈとを用いることでピッチ方向の傾斜角度φを算出することができる。この傾斜角度φが、前記平面パラメータ（路面パラメータ）となり、前記直線Ｌ上が路面３の領域と考えられる視差値となる。
【００４５】
また、自動で平面推定を行う他の手法としては、直線を検出する手法の１つであるＨｏｕｇｈ変換を用いることが可能である。その後、求められた平面パラメータを基に、平面に含まれる画素ｐｔ（ｉ，ｊ）を抽出することで、平面情報を算出する。
【００４６】
このように前記空間情報として、前記ステレオカメラ１１，１２で取得したステレオ画像に対し、対応点探索処理によって算出した視差情報Δｄ（ｉ，ｊ，ｔ）を用いることで算出可能な周辺の平面パラメータ（路面パラメータ）を用いる、具体的には前方平面を遮るかどうかという簡易な処理だけで、対象物体４，５の認識などの複雑な処理を必要とせず、トリガ判定を行うことができる。また、前記平面パラメータ（路面パラメータ）を、前記対応点探索処理によって得られた前記視差情報Δｄ（ｉ，ｊ，ｔ）と画像の縦軸（ｙ軸）方向の関係とから求めることで、容易に算出することができる。
【００４７】
一方、算出方法２では、概略的に、ステレオ画像から算出した視差情報と平面モデルとから平面情報を算出する。たとえば、特開２００６−１３４０３５号公報には、距離情報と道路モデルとに基づいて、路面を除去し、路面より上にある物体の３次元移動ベクトルを算出し、３次元情報で静止物体と移動物体とを判定するようにした画像処理装置が提案されている。このような対応点探索処理によって得られた前記視差情報Δｄ（ｉ，ｊ，ｔ）と平面モデルとの関係からも、容易に平面を算出することができる。
【００４８】
なお、これら算出方法１，２による平面情報の算出は、取得画像毎に行ってもよいが、あるタイミングで算出された路面情報を規定時間使用するようにしてもよい。これは、上記のようにして算出する平面は、時間変化によって大幅には変わらないためである。このように、過去に算出された平面情報のパラメータが大きく変化しないと仮定し、そのパラメータを前記規定時間に亘って使用することで、平面算出処理回数を低減することができる。
【００４９】
これに対して、算出方法３は、概略的に、ステレオ画像から前述のような対応点探索処理によって得られた対応点（各計測点６ａ）の視差情報（距離情報）と、予め保持している対象領域６の路面視差テーブルとを比較することで、空間情報として、空間上の対象物体４，５の有無を判定するものである。すなわち、予めステレオカメラ１１，１２の設置条件が分っているので、図６（ａ）で示すように、撮像画面１０上に、所定距離範囲、たとえば数ｍを前記対象領域６に指定する。そして、その対象領域６内の各計測点６ａで計測されるべき路面３の視差値の大きさ、すなわち距離が、その各計測点６ａの位置に対応して予め分っており、その各計測点６ａから実際に算出された視差値が、図６（ｂ）で示すように前記設置条件に対応して予め保持されている路面３の視差値と一致する場合は路面３が続いているもの（障害物が無い）と判断でき、異なる場合は、図６（ｃ）で示すように、路面３以外の物体（対象物体４，５）が存在していると判断できる。こうして、路面３の視差値と異なる視差値を算出した計測点の割合によって、周辺の空間上に存在する対象物体４，５の有無を確認することができ、該対象物体４，５の認識などの複雑な処理を必要とせず、該対象物体４，５の有無を検出するという簡易な処理だけで、トリガ判定を行うことができる。また、前記対応点探索処理によって得られた対応点の視差値（距離情報）によって対象領域６を設定することで、該対象領域６を精度良く設定することができる。
【００５０】
以上のようにして空間情報算出部２１で得られた空間情報（平面情報（路面情報）または対象物情報）を基に、トリガ判定部２２は、記録部２３に記録させるか否かのトリガ判定を行う。判定を行うための対象領域６は、前記図３で示す画像１０上に予め設定した対象領域と、図６で示す計測された３次元情報による対象領域の範囲との何れでもよい。
【００５１】
また、この対象領域６は、自車両の速度に応じて変更、すなわち時速が速い場合は対象領域６の範囲を大きくし、遅い場合は小さくするようにしてもよい。このように時速の変化に従って前記対象領域６を変更することで、より精度の高い判定を行うことができる。
【００５２】
具体的なトリガ判定方法に関しては、以下に記載する。先ず判定方法１は、対象領域６の空間占有率からよりトリガ判定を行うもので、前記対象領域６中の計測点６ａの数をＮ、前記空間情報算出部２１で平面（路面３）と判定された計測点数をＲとし、判定閾値をＴ１とするとき、以下の条件を満たすとトリガ判定対象とする。
Ｒ／Ｎ＜Ｔ１ ・・・（２）
【００５３】
反対に、前記計測点６ａの数をＮ、前記空間情報算出部２１で、路面３以外の物体（対象物体４，５）と判定された計測点数をＯとし、判定閾値をＴ２とするとき、以下の条件を満たすとトリガ判定対象とする。
Ｏ／Ｎ＞Ｔ２ ・・・（３）
【００５４】
このように式１では路面３の空間占有率が、式３では物体（対象物体４，５）の空間占有率が、それぞれ変化して閾値Ｔ１，Ｔ２を超えた時点でトリガ判定することで、簡易な方法で判定を行うことができる。
【００５５】
次に、判定方法２は、対象領域６の空間減少率からよりトリガ判定を行うもので、前記対象領域６中のＮ個の計測点６ａに対して、前記空間情報算出部２１で、或る時刻ｔとｔ＋Δｔとのタイミングにおいて、平面（路面３）と判定された計測点数をそれぞれＲｔ，Ｒｔ＋Δｔとし、判定閾値をＴ３とするとき、以下の条件を満たすとトリガ判定対象とする。
Ｒｔ＋Δｔ／Ｒｔ＜Ｔ３ ・・・（４）
【００５６】
反対に、前記Ｎ個の計測点６ａに対して、前記空間情報算出部２１で、或る時刻ｔとｔ＋Δｔとのタイミングにおいて、路面３以外の物体（対象物体４，５）と判定された計測点数をそれぞれＯｔ，Ｏｔ＋Δｔとし、判定閾値をＴ４とするとき、以下の条件を満たすとトリガ判定対象とする。
Ｏｔ＋Δｔ／Ｏｔ＞Ｔ４ ・・・（５）
【００５７】
このように式３では路面３の空間減少率が、式５では物体（対象物体４，５）の空間減少率が、それぞれ変化して閾値Ｔ３，Ｔ４を超えた時点でトリガ判定することで、簡易な方法で判定を行うことができる。
【００５８】
前記記録部２３で記録される情報としては、基準画像Ｉ１または参照画像Ｉ２の少なくとも一方に、衝突時刻、それらの画像のオプティカルフローから求めることができる衝突時の車速、加速度、ハンドルの操作角、ならびに３次元情報などが考えられるが、前記オプティカルフローから求められるパラメータは、事後に時系列の記録画像から求めることもできるので、コントローラ１３において、上述のトリガ判定にあたって、特に前記オプティカルフローを使用しない場合には、記録されなくてもよい。また、上述のトリガ判定で使用したパラメータが記録されてもよく、事故解析に有効な３次元情報が記録されてもよい。
【００５９】
さらにまた、トリガおよびマーキングは、その判定時刻に行われるのではなく、所定時間、たとえば１秒前に繰り上げて行われてもよい。具体的に、マーキングの場合は、実際のマーキング判定時刻から所定時間前にマーキングを行い、トリガの場合は、記録部２３にリングバッファを用いるなどして所定時間分の撮影画像を記録するようにし、実際のトリガ判定時刻より前記所定時間前をトリガタイミングとして、そのタイミングからの撮影画像に上書きしないようにすればよい。これによって、本当に危険な状況であるか否かをぎりぎりのタイミングで高精度に判定し、そのタイミングより以前からの撮影画像を残しておくことができる。
【００６０】
図７は、上述のように構成されるドライブレコーダ１の動作を説明するためのフローチャートである。ステップＳ１では、ステレオカメラ１１，１２によって図４で示すように時系列のステレオ画像Ｉ１（ｉ，ｊ，ｔ），Ｉ２（ｉ，ｊ，ｔ）が取得され、ステップＳ２では、図５で示すように、対応点探索処理によって、視差情報Δｄ（ｉ，ｊ，ｔ）が求められる。ステップＳ３では、この視差情報Δｄ（ｉ，ｊ，ｔ）を用いて、平面パラメータ（路面パラメータ）などの空間情報が求められる。ステップＳ４では、その空間情報から、図３や図６で示すようにしてトリガ判定が行われ、ステップＳ５で、トリガ対象と判定されると、ステップＳ６で所定時間に亘って録画が行われ、トリガ対象と判定されない場合は前記ステップＳ１に戻って処理を繰返す。前記ステップＳ６の録画処理の後、ステップＳ７で残り記憶容量が有るか否かが判断され、有る場合には前記ステップＳ１に戻って処理を継続し、残り記憶容量が無い場合には、既記録分を保護するために処理を終了する。
【００６１】
このようにステレオカメラ１１，１２の画像から、車両２の周辺の空間情報を解析し、トリガ判定を行うことで、一般的な加速度センサを用いた判定と比べて、誤動作を低減することができるとともに、複雑な処理を必要とせず、簡易な手法で、衝突の可能性が高い、いわゆるヒヤリハットのシーンまで確実に記録することができる。また、ステレオカメラ１１，１２を用いることで、事故解析に極めて有効な対象物体４，５の時系列な３次元情報を取得することが可能である。
【符号の説明】
【００６２】
１ ドライブレコーダ
２ 車両
３ 路面
４，５ 対象物体
６ 対象領域
７ 歩行者
８ 駐車車両
９ 先行（停車）車両
１０ 撮像画面
１１，１２ ステレオカメラ
１３ コントローラ
２１ 空間情報算出部
２２ トリガ判定部
２３ 記録部
【技術分野】
【０００１】
本発明は、車両に搭載されて走行中の画像を記録するドライブレコーダに関し、特に記録開始のトリガや、常時記録における注目時点のマーキングの手法に関する。
【背景技術】
【０００２】
近年、車両の衝突時の画像を記録することができるドライブレコーダが実用化されている。このドライブレコーダは、衝突が発生した時点を基準に、前後数秒から数十秒程度の所定時間における画像を記録することで、事故原因の究明などに役立てるものである。また、記録媒体の容量増加に伴い、常時記録をしておき、事故の一歩手前の、いわゆるヒヤリハットの事象までも、以後に検証できるようにしたものが、主に運輸・運送業界で使用が始まっている。
【０００３】
ところで、このようなドライブレコーダにおいて、短時間記録のものでは、従来から、加速度センサによって、所定レベル以上の振動を検知すると、記録開始のトリガを与えている。また、常時記録のものでは、そのヒヤリハットの事象が発生した時点で、運転者が注目時点のマーキングを入れたり、記録媒体を事業所へ持ち帰り、管理者がチェックして前記マーキングを施したりしている。したがって、前記加速度センサを用いる場合では、路面の凹凸や踏切通過などによる振動で前記加速度センサが誤検知して記録を行い、実際の事故の際に記録媒体の空き容量が無くなっており、記録できないケースが生じるという問題がある。また、常時記録の場合は、マーキングが煩わしいという問題がある。
【０００４】
そこで、このような問題を解決するために、特許文献１が提案された。この従来技術は、車両周囲の３６０度を監視するように４ヶ所にカメラを設置する一方、距離算出装置で対象物体までの距離を算出し、算出した距離が所定距離より近い場合に記録開始判断を行うことで、前記路面凹凸や踏切通過による誤った画像の記録を行わないように加速度センサを用いることなく、自動的に記録のトリガを行うようにしたドライブレコーダである。また、前記距離算出装置には、１眼カメラ、２眼カメラ、超音波センサ（ソナー）を用いることが示されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００７−３３４７６０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
上述の従来技術は、単純に対象物体との距離関係のみで記録判断を行うので、記録を開始すべきと判定する閾値が厳しいと、実際に衝突する程度でしか記録が行われず、すなわち前記ヒヤリハットのようなシーンを確実に記録する事は困難であり、緩いと、あまり危険でない状況でも記録してしまい、前述と同様に記録媒体の容量の減少を招き、肝心な時に記録できないという問題がある。また、この従来技術を連続記録のマーキングに使用した場合には、閾値が厳しいと、前記ヒヤリハットの事象の記録には漏れを生じ、緩いと、マーキングだらけとなって、有効なマーキングを選別しなければならず、煩雑であるという問題がある。
【０００７】
本発明の目的は、記録の適切なトリガやマーキングを行うことができるドライブレコーダを提供することである。
【課題を解決するための手段】
【０００８】
本発明のドライブレコーダは、車両に搭載され、画像取得部で取得した時系列画像を記録部に記録させてゆくにあたって、危険度が高い場合に、トリガ判定部が、前記記録のトリガを前記記録部に与え、或いは前記記録部で常時記録される前記時系列画像に対してマーキングを施すようにしたドライブレコーダであって、前記画像取得部は、ステレオカメラから成り、前記ステレオカメラによって得られる３次元情報の内、車両近傍に予め設定される対象領域に対して、予め定める空間情報を算出する空間情報算出部を備え、前記トリガ判定部は、前記空間情報算出部で算出された空間情報に応答して、前記トリガを前記記録部に与え、或いは前記記録部で常時記録される前記時系列画像に対して前記マーキングを施すことを特徴とする。
【０００９】
上記の構成によれば、車両に搭載され、画像取得部で取得した時系列画像を記録部に記録させてゆくにあたって、衝突が予想される等で危険度が高い場合に、トリガ判定部が、前記記録のトリガを前記記録部に与え、或いは前記記録部で常時記録される前記時系列画像に対してマーキングを施すようにしたドライブレコーダであって、前記画像取得部をステレオカメラで構成し、それによって得られる３次元情報を用いて、前記衝突の危険度が高い車両近傍の領域を予め対象領域として設定し、その対象領域で、物体の占有率や空間の減少率などの空間情報を算出する空間情報算出部を設ける。そして、前記トリガ判定部は、前記空間情報算出部で算出された空間情報に応答して、物体の占有率が所定値以上となったり、空間の減少率が所定値以下となったりして、対象物体が迫ってくるときに、前記トリガを前記記録部に与え、或いは前記記録部で常時記録される前記時系列画像に対して前記マーキングを施す。
【００１０】
したがって、ステレオカメラの画像から、車両周辺の空間情報を解析することで、前記トリガやマーキングの判定を行うので、一般的な加速度センサを用いた判定と比べて、誤動作を低減することができるとともに、複雑な処理を必要とせず、簡易な手法で、衝突の可能性が高い、いわゆるヒヤリハットのシーンまで確実に記録することができる。また、ステレオカメラを用いることで、事故解析に極めて有効な対象物体の時系列な３次元情報を取得することが可能である。
【００１１】
また、本発明のドライブレコーダでは、前記空間情報は、前記ステレオカメラで取得したステレオ画像に対し、対応点探索処理によって算出した視差情報を用いることで算出可能な周辺の平面情報であることを特徴とする。
【００１２】
上記の構成によれば、対象物体の認識などの複雑な処理を必要とせず、前記空間情報として車両周辺の平面情報の変化を見る、具体的には前方平面を遮るかどうかという簡易な処理だけで、トリガやマーキングの判定を行うことができる。
【００１３】
さらにまた、本発明のドライブレコーダでは、前記平面情報は、前記対応点探索処理によって得られた前記視差情報と画像の縦方向の座標とから、平面の推定を行うことで求められることを特徴とする。
【００１４】
上記の構成によれば、視差情報と画像の縦方向の座標との関係から容易に平面を算出することができる。
【００１５】
また、本発明のドライブレコーダでは、前記平面情報は、前記対応点探索処理によって得られた前記視差情報と平面モデルとから算出されることを特徴とする。
【００１６】
上記の構成によれば、視差情報と平面モデルとの関係から、容易に平面を算出することができる。
【００１７】
さらにまた、本発明のドライブレコーダでは、前記平面情報は、過去に算出された結果を用いて算出されることを特徴とする。
【００１８】
上記の構成によれば、過去に算出された平面情報のパラメータは変化しないと仮定することで、平面算出処理回数を低減することができる。
【００１９】
また、本発明のドライブレコーダでは、前記空間情報は、前記ステレオカメラで取得したステレオ画像に対し、対応点探索処理によって算出した視差情報を用いることで算出可能な周辺の空間上に存在する対象物体であることを特徴とする。
【００２０】
上記の構成によれば、対象物体の認識などの複雑な処理を必要とせず、前記対象物体の有無を検出するという簡易な処理だけで、トリガやマーキングの判定を行うことができる。
【００２１】
さらにまた、本発明のドライブレコーダでは、前記空間情報は、前記対象領域上に予め定義された視差テーブルと、前記対応点探索処理によって得られた視差情報とを比較することで算出されることを特徴とする。
【００２２】
上記の構成によれば、予め保持している視差テーブルと算出した視差情報とを比較することで、異なる部分の空間上に前記対象物体が存在すると判定することができる。
【００２３】
また、本発明のドライブレコーダでは、前記トリガ判定部は、前記対象領域の空間占有率が予め定める閾値を超えたときにトリガおよびマーキング対象として判定することを特徴とする。
【００２４】
上記の構成によれば、前記対象領域の空間占有率の変化からトリガおよびマーキングを判定するという簡易な方法で判定を行うことができる。
【００２５】
さらにまた、本発明のドライブレコーダでは、前記トリガ判定部は、前記対象領域の空間減少率が予め定める閾値を超えたときにトリガおよびマーキング対象として判定することを特徴とする。
【００２６】
上記の構成によれば、前記対象領域の空間減少率の変化からトリガおよびマーキングを判定するという簡易な方法で判定を行うことができる。
【００２７】
また、本発明のドライブレコーダでは、前記対象領域には、前記対応点探索処理によって得られた対応点から距離情報を算出し、予め定められた距離の範囲となる領域が設定されることを特徴とする。
【００２８】
上記の構成によれば、距離情報を用いることで、精度良く、対象領域を決定することができる。
【００２９】
さらにまた、本発明のドライブレコーダでは、前記トリガ判定部は、自車両の時速が速くなるに従い、前記対象領域を大きくすることを特徴とする。
【００３０】
上記の構成によれば、時速の変化に従って前記対象領域を変更することで、より精度の高い判定を行うことができる。
【発明の効果】
【００３１】
本発明のドライブレコーダは、以上のように、車両に搭載され、画像取得部で取得した時系列画像を記録部に記録させてゆくにあたって、衝突が予想される等で危険度が高い場合に、トリガ判定部が、前記記録のトリガを前記記録部に与え、或いは前記記録部で常時記録される前記時系列画像に対してマーキングを施すようにしたドライブレコーダであって、前記画像取得部をステレオカメラで構成し、それによって得られる３次元情報を用いて、前記衝突の危険度が高い車両近傍の領域を予め対象領域として設定し、その対象領域で、物体の占有率や空間の減少率などの空間情報を算出する空間情報算出部を設け、前記トリガ判定部は、前記空間情報に応答して、物体の占有率が所定値以上となったり、空間の減少率が所定値以下となったりして、対象物体が迫ってくるときに、前記トリガを前記記録部に与え、或いは前記記録部で常時記録される前記時系列画像に対して前記マーキングを施す。
【００３２】
それゆえ、ステレオカメラの画像から、車両周辺の空間情報を解析することで、前記トリガやマーキングの判定を行うので、一般的な加速度センサを用いた判定と比べて、誤動作を低減することができるとともに、複雑な処理を必要とせず、簡易な手法で、衝突の可能性が高い、いわゆるヒヤリハットのシーンまで確実に記録することができる。また、ステレオカメラを用いることで、事故解析に極めて有効な対象物体の時系列な３次元情報を取得することが可能である。
【図面の簡単な説明】
【００３３】
【図１】本発明の実施の一形態に係るドライブレコーダの概略構成図である。
【図２】前記ドライブレコーダにおけるコントローラの構成を示すブロック図である。
【図３】空間情報として、平面情報（路面情報）を用いる場合の危険度の判定の様子を説明するための図である。
【図４】ステレオカメラによる時系列の撮像画像を説明するための図である。
【図５】前記ステレオカメラによる撮像画像からの対応点探索の様子を説明するための図である。
【図６】本発明の実施の一形態に係るドライブレコーダにおける録画開始のトリガ判定の一例を説明するための図である。
【図７】本発明の実施の一形態に係るドライブレコーダの動作を説明するためのフローチャートである。
【図８】ステレオカメラの設置位置と撮影条件との関係を説明するための図である。
【図９】平面パラメータ（路面パラメータ）の求め方を説明するための図である。
【発明を実施するための形態】
【００３４】
図１は、本発明の実施の一形態に係るドライブレコーダ１の概略構成図である。このドライブレコーダ１は、車両２に搭載されて被写体の２次元入力画像をそれぞれ得るステレオカメラ１１，１２に、取得したステレオ画像から３次元画像を得て、路面３上に存在する対象物体４，５に対する危険度（衝突の）を判定し、危険度が高い場合に、前記ステレオカメラ１１，１２の画像を自動記録するコントローラ１３を備えて構成される。前記ステレオカメラ１１，１２は、被写体を同じタイミングで撮影した左右一対の画像（基準画像と参照画像）を出力する。本実施の形態においては、説明の簡単化のために、ステレオカメラ１１，１２の収差は良好に補正されており、かつ相互に平行に設置されているものとする。また、実際のハードがこのような条件に無くても、画像処理によって、同等の画像に変換することも可能である。ステレオカメラ１１，１２からは、前記ステレオ画像が前記コントローラ１３に通信線を介して送信される。ステレオカメラ１１，１２とコントローラ１３との間での画像データの通信方式は、有線方式に限定されず、無線方式であってもよい。
【００３５】
注目すべきは、本実施の形態のドライブレコーダ１は、前記のように危険度が高い場合に前記ステレオカメラ１１，１２の画像を記録するにあたって、そのトリガ判定に、ステレオ画像から算出した予め定める空間情報、ここでは平面情報または対象物情報を用いることで、従来のような加速度情報、距離情報、物体の移動情報などを算出する必要が無いようにしたことである。前記平面情報は、路面３に関する情報であり、対象物情報は、対象物体４，５に対する情報である。なお、ドライブレコーダとしては、ステレオ画像を、このように危険度が高い場合に記録するだけでなく、常時記録しておき、危険度が高い場合に、後にその時の画像の再生の頭出しを容易にするためのマーキングを施すようにしてもよい。以下では、トリガによって記録を行うものとして説明する。
【００３６】
このため、画像取得部は、前記ステレオカメラ１１，１２から成り、前記コントローラ１３は、図２で示すように、前記ステレオカメラ１１，１２によって得られた３次元情報の内、後に詳述するように車両２の近傍に予め設定される対象領域に対して、前記空間情報（平面情報または対象物情報）を算出する空間情報算出部２１と、その算出結果に応答して前記トリガ判定を行うトリガ判定部２２と、前記トリガ判定部２２からのトリガに応答して、前記２つのステレオカメラ１１，１２の画像の内、少なくとも一方を記録する記録部２３とを備えて構成される。
【００３７】
上述のように構成されるドライブレコーダ１において、図３は、前記空間情報として、平面情報、中でも路面情報を用いる場合の危険度の判定の様子を説明するための図である。図３で示すように、対象領域６は、車両２の近傍に予め設定される。図３（ａ）は、計測された前記対象領域６の全域に亘って、ほぼ路面３を計測することができ、空間情報算出部２１からは路面の占有率が高いことを表す路面情報が出力され、したがってトリガ判定部２２は、衝突危険性が少ないと判定し、記録部２３にトリガを掛けない場合のカメラ画像の一例である。これに対して、図３（ｂ）は、計測された対象領域６の右方に大きく歩行者７や駐車車両８が存在し、また前方には先行（停車）車両９が存在し、前記空間情報算出部２１からは路面の占有率が低いことを表す路面情報が出力され、したがってトリガ判定部２２は、衝突危険性が高いと判定し、記録部２３にトリガを掛ける場合のカメラ画像の一例である。
【００３８】
以下に、本実施の形態のトリガ判定の手法を詳述する。先ず、ステレオカメラ１１，１２からの時系列の撮像画像を対比する。それには、図４で示すように、或る時刻ｔから、Δｔ秒（１フレーム）毎のステレオカメラ１１での撮像画像を、Ｉ１（ｉ，ｊ，ｔ），Ｉ１（ｉ，ｊ，ｔ＋Δｔ），Ｉ１（ｉ，ｊ，ｔ＋２Δｔ），・・・，Ｉ１（ｉ，ｊ，ｔ＋ｎΔｔ）とし、同様にテレオカメラ１２での撮像画像を、Ｉ２（ｉ，ｊ，ｔ），Ｉ２（ｉ，ｊ，ｔ＋Δｔ），Ｉ２（ｉ，ｊ，ｔ＋２Δｔ），・・・，Ｉ２（ｉ，ｊ，ｔ＋ｎΔｔ）とする。ただし、ｉ，ｊは、マトリクス配列された撮像素子のｘ，ｙ方向での位置を表す。こうして求められた撮像画像から、前記空間情報算出部２１は、前記空間情報として、前記平面情報と対象物情報との２種類の情報のいずれかを算出する。以下には、３つの算出方法を例示するが、算出方法１，２では平面情報を、算出方法３では対象物情報を算出する方法を記載する。
【００３９】
算出方法１は、概略的に、ステレオ画像から算出した視差情報から、推定によって前記平面情報を算出するもので、前記のように平面情報は路面情報のことであり、下記に記載の方法で算出する。先ず、図５で示すように、時刻ｔにおける基準画像Ｉ１（ｉ，ｊ，ｔ）上の画素ｐｔ（ｉ，ｊ）に対し、対応点探索処理によって、参照画像Ｉ２（ｉ，ｊ，ｔ）上の対応点ｐｒｔ（ｉ，ｊ）を算出する。前記対応点探索方法には、最適化手法の１つである勾配法や、輝度値をそのまま減算する手法（ＳＡＤ（Sum of Absolute Difference）法やＳＳＤ（Sum of Squared intensity Difference）法）、または各点の輝度値から局所的な平均値を引き、分散値の類似度で対応点を求める手法（ＮＣＣ（Normalized Cross Correlation）法）等の相関演算法などを用いることができる。前記相関演算法の中でも、２つの入力画像に設定したウインドウ内のパターンを周波数分解し、振幅成分を抑制した信号の類似度に基づいて、サブピクセル単位で対応位置を演算することができるＰＯＣ（位相限定相関法）を用いることによって、安定かつ高精度な対応付けが可能となる。
【００４０】
次に、それらの差から、視差情報Δｄ（ｉ，ｊ，ｔ）を算出する。すなわち、Δｄ（ｉ，ｊ，ｔ）＝ｐｔ（ｉ，ｊ）−ｐｒｔ（ｉ，ｊ）である。続いて、算出された視差情報Δｄ（ｉ，ｊ，ｔ）と基準画像Ｉ１（ｉ，ｊ，ｔ）の縦軸（ｙ軸）方向の関係とから、平面パラメータ（路面パラメータ）を推定する。
【００４１】
前記平面パラメータ（路面パラメータ）の求め方は、以下の通りである。先ず、図８には、ステレオカメラ１１，１２と路面３との位置関係を示す。図８において、Ｙは鉛直方向を示し、Ｚは車両２の前進方向を示し、Ｚ´はステレオカメラ１１，１２の光軸方向を示し、φはＺ方向を基準にしたときのステレオカメラ１１，１２のピッチ方向の傾斜角度を示し、ｆは焦点距離を示し、Ｙ´は入力画像の垂直成分を示し、ｈはステレオカメラ１１，１２の路面３に対する高さを示し、ｙは車両２からＺ方向にＤ離れた路面上の点Ａを表す入力画像上の点の垂直成分を示している。
【００４２】
そして、先ず、各注目点（基準画像Ｉ１（ｉ，ｊ，ｔ）上の画素ｐｔ（ｉ，ｊ））に対する視差情報Δｄ（ｉ，ｊ，ｔ）と注目点の垂直成分ｙとを求める。次に、視差情報Δｄと注目点の垂直成分ｙとを座標軸とする２次元座標空間に各注目点をプロットする。図９は、その処理の説明図であり、（ａ）、（ｂ）は視差情報Δｄと注目点の垂直成分ｙとを座標軸とする２次元座標空間を示している。図９のグラフにおいて、横軸は注目点の垂直成分ｙを示し、縦軸は視差情報Δｄを示している。図９（ａ）に示すように、２次元座標空間に各注目点がプロットされていることが理解される。
【００４３】
次に、最小二乗法やＨｏｕｇｈ変換等の直線算出手法を用いて、プロットした各点によって描かれる直線Ｌを算出する。次に、直線Ｌの傾きおよび切片を求め、得られた傾きからステレオカメラ１１，１２の高さｈを算出すると共に、得られた切片からピッチ方向の傾斜角度φを算出する。ここで、視差情報Δｄと、注目点の垂直成分ｙとは下式の関係を有することを本発明者は発見し、先に特願２００８−２１９５０号で提案している。
Δｄ＝（Ｂ／ｈ）・（ｙ＋α・φ） ・・・（１）
【００４４】
すなわち、上式は、図９（ｂ）に示すように、ｙ、Δｄを変数とし、Ｂ／ｈを傾きとし、（Ｂ／ｈ）・（α・φ）を切片とした場合の直線を表している。ここで、Ｂ，αは定数である。したがって、直線Ｌの傾きを求め、定数Ｂを用いることでｈを算出し、次に、直線Ｌの切片を求め、定数Ｂ，αと、算出したｈとを用いることでピッチ方向の傾斜角度φを算出することができる。この傾斜角度φが、前記平面パラメータ（路面パラメータ）となり、前記直線Ｌ上が路面３の領域と考えられる視差値となる。
【００４５】
また、自動で平面推定を行う他の手法としては、直線を検出する手法の１つであるＨｏｕｇｈ変換を用いることが可能である。その後、求められた平面パラメータを基に、平面に含まれる画素ｐｔ（ｉ，ｊ）を抽出することで、平面情報を算出する。
【００４６】
このように前記空間情報として、前記ステレオカメラ１１，１２で取得したステレオ画像に対し、対応点探索処理によって算出した視差情報Δｄ（ｉ，ｊ，ｔ）を用いることで算出可能な周辺の平面パラメータ（路面パラメータ）を用いる、具体的には前方平面を遮るかどうかという簡易な処理だけで、対象物体４，５の認識などの複雑な処理を必要とせず、トリガ判定を行うことができる。また、前記平面パラメータ（路面パラメータ）を、前記対応点探索処理によって得られた前記視差情報Δｄ（ｉ，ｊ，ｔ）と画像の縦軸（ｙ軸）方向の関係とから求めることで、容易に算出することができる。
【００４７】
一方、算出方法２では、概略的に、ステレオ画像から算出した視差情報と平面モデルとから平面情報を算出する。たとえば、特開２００６−１３４０３５号公報には、距離情報と道路モデルとに基づいて、路面を除去し、路面より上にある物体の３次元移動ベクトルを算出し、３次元情報で静止物体と移動物体とを判定するようにした画像処理装置が提案されている。このような対応点探索処理によって得られた前記視差情報Δｄ（ｉ，ｊ，ｔ）と平面モデルとの関係からも、容易に平面を算出することができる。
【００４８】
なお、これら算出方法１，２による平面情報の算出は、取得画像毎に行ってもよいが、あるタイミングで算出された路面情報を規定時間使用するようにしてもよい。これは、上記のようにして算出する平面は、時間変化によって大幅には変わらないためである。このように、過去に算出された平面情報のパラメータが大きく変化しないと仮定し、そのパラメータを前記規定時間に亘って使用することで、平面算出処理回数を低減することができる。
【００４９】
これに対して、算出方法３は、概略的に、ステレオ画像から前述のような対応点探索処理によって得られた対応点（各計測点６ａ）の視差情報（距離情報）と、予め保持している対象領域６の路面視差テーブルとを比較することで、空間情報として、空間上の対象物体４，５の有無を判定するものである。すなわち、予めステレオカメラ１１，１２の設置条件が分っているので、図６（ａ）で示すように、撮像画面１０上に、所定距離範囲、たとえば数ｍを前記対象領域６に指定する。そして、その対象領域６内の各計測点６ａで計測されるべき路面３の視差値の大きさ、すなわち距離が、その各計測点６ａの位置に対応して予め分っており、その各計測点６ａから実際に算出された視差値が、図６（ｂ）で示すように前記設置条件に対応して予め保持されている路面３の視差値と一致する場合は路面３が続いているもの（障害物が無い）と判断でき、異なる場合は、図６（ｃ）で示すように、路面３以外の物体（対象物体４，５）が存在していると判断できる。こうして、路面３の視差値と異なる視差値を算出した計測点の割合によって、周辺の空間上に存在する対象物体４，５の有無を確認することができ、該対象物体４，５の認識などの複雑な処理を必要とせず、該対象物体４，５の有無を検出するという簡易な処理だけで、トリガ判定を行うことができる。また、前記対応点探索処理によって得られた対応点の視差値（距離情報）によって対象領域６を設定することで、該対象領域６を精度良く設定することができる。
【００５０】
以上のようにして空間情報算出部２１で得られた空間情報（平面情報（路面情報）または対象物情報）を基に、トリガ判定部２２は、記録部２３に記録させるか否かのトリガ判定を行う。判定を行うための対象領域６は、前記図３で示す画像１０上に予め設定した対象領域と、図６で示す計測された３次元情報による対象領域の範囲との何れでもよい。
【００５１】
また、この対象領域６は、自車両の速度に応じて変更、すなわち時速が速い場合は対象領域６の範囲を大きくし、遅い場合は小さくするようにしてもよい。このように時速の変化に従って前記対象領域６を変更することで、より精度の高い判定を行うことができる。
【００５２】
具体的なトリガ判定方法に関しては、以下に記載する。先ず判定方法１は、対象領域６の空間占有率からよりトリガ判定を行うもので、前記対象領域６中の計測点６ａの数をＮ、前記空間情報算出部２１で平面（路面３）と判定された計測点数をＲとし、判定閾値をＴ１とするとき、以下の条件を満たすとトリガ判定対象とする。
Ｒ／Ｎ＜Ｔ１ ・・・（２）
【００５３】
反対に、前記計測点６ａの数をＮ、前記空間情報算出部２１で、路面３以外の物体（対象物体４，５）と判定された計測点数をＯとし、判定閾値をＴ２とするとき、以下の条件を満たすとトリガ判定対象とする。
Ｏ／Ｎ＞Ｔ２ ・・・（３）
【００５４】
このように式１では路面３の空間占有率が、式３では物体（対象物体４，５）の空間占有率が、それぞれ変化して閾値Ｔ１，Ｔ２を超えた時点でトリガ判定することで、簡易な方法で判定を行うことができる。
【００５５】
次に、判定方法２は、対象領域６の空間減少率からよりトリガ判定を行うもので、前記対象領域６中のＮ個の計測点６ａに対して、前記空間情報算出部２１で、或る時刻ｔとｔ＋Δｔとのタイミングにおいて、平面（路面３）と判定された計測点数をそれぞれＲｔ，Ｒｔ＋Δｔとし、判定閾値をＴ３とするとき、以下の条件を満たすとトリガ判定対象とする。
Ｒｔ＋Δｔ／Ｒｔ＜Ｔ３ ・・・（４）
【００５６】
反対に、前記Ｎ個の計測点６ａに対して、前記空間情報算出部２１で、或る時刻ｔとｔ＋Δｔとのタイミングにおいて、路面３以外の物体（対象物体４，５）と判定された計測点数をそれぞれＯｔ，Ｏｔ＋Δｔとし、判定閾値をＴ４とするとき、以下の条件を満たすとトリガ判定対象とする。
Ｏｔ＋Δｔ／Ｏｔ＞Ｔ４ ・・・（５）
【００５７】
このように式３では路面３の空間減少率が、式５では物体（対象物体４，５）の空間減少率が、それぞれ変化して閾値Ｔ３，Ｔ４を超えた時点でトリガ判定することで、簡易な方法で判定を行うことができる。
【００５８】
前記記録部２３で記録される情報としては、基準画像Ｉ１または参照画像Ｉ２の少なくとも一方に、衝突時刻、それらの画像のオプティカルフローから求めることができる衝突時の車速、加速度、ハンドルの操作角、ならびに３次元情報などが考えられるが、前記オプティカルフローから求められるパラメータは、事後に時系列の記録画像から求めることもできるので、コントローラ１３において、上述のトリガ判定にあたって、特に前記オプティカルフローを使用しない場合には、記録されなくてもよい。また、上述のトリガ判定で使用したパラメータが記録されてもよく、事故解析に有効な３次元情報が記録されてもよい。
【００５９】
さらにまた、トリガおよびマーキングは、その判定時刻に行われるのではなく、所定時間、たとえば１秒前に繰り上げて行われてもよい。具体的に、マーキングの場合は、実際のマーキング判定時刻から所定時間前にマーキングを行い、トリガの場合は、記録部２３にリングバッファを用いるなどして所定時間分の撮影画像を記録するようにし、実際のトリガ判定時刻より前記所定時間前をトリガタイミングとして、そのタイミングからの撮影画像に上書きしないようにすればよい。これによって、本当に危険な状況であるか否かをぎりぎりのタイミングで高精度に判定し、そのタイミングより以前からの撮影画像を残しておくことができる。
【００６０】
図７は、上述のように構成されるドライブレコーダ１の動作を説明するためのフローチャートである。ステップＳ１では、ステレオカメラ１１，１２によって図４で示すように時系列のステレオ画像Ｉ１（ｉ，ｊ，ｔ），Ｉ２（ｉ，ｊ，ｔ）が取得され、ステップＳ２では、図５で示すように、対応点探索処理によって、視差情報Δｄ（ｉ，ｊ，ｔ）が求められる。ステップＳ３では、この視差情報Δｄ（ｉ，ｊ，ｔ）を用いて、平面パラメータ（路面パラメータ）などの空間情報が求められる。ステップＳ４では、その空間情報から、図３や図６で示すようにしてトリガ判定が行われ、ステップＳ５で、トリガ対象と判定されると、ステップＳ６で所定時間に亘って録画が行われ、トリガ対象と判定されない場合は前記ステップＳ１に戻って処理を繰返す。前記ステップＳ６の録画処理の後、ステップＳ７で残り記憶容量が有るか否かが判断され、有る場合には前記ステップＳ１に戻って処理を継続し、残り記憶容量が無い場合には、既記録分を保護するために処理を終了する。
【００６１】
このようにステレオカメラ１１，１２の画像から、車両２の周辺の空間情報を解析し、トリガ判定を行うことで、一般的な加速度センサを用いた判定と比べて、誤動作を低減することができるとともに、複雑な処理を必要とせず、簡易な手法で、衝突の可能性が高い、いわゆるヒヤリハットのシーンまで確実に記録することができる。また、ステレオカメラ１１，１２を用いることで、事故解析に極めて有効な対象物体４，５の時系列な３次元情報を取得することが可能である。
【符号の説明】
【００６２】
１ ドライブレコーダ
２ 車両
３ 路面
４，５ 対象物体
６ 対象領域
７ 歩行者
８ 駐車車両
９ 先行（停車）車両
１０ 撮像画面
１１，１２ ステレオカメラ
１３ コントローラ
２１ 空間情報算出部
２２ トリガ判定部
２３ 記録部
【特許請求の範囲】
【請求項１】
車両に搭載され、画像取得部で取得した時系列画像を記録部に記録させてゆくにあたって、危険度が高い場合に、トリガ判定部が、前記記録のトリガを前記記録部に与え、或いは前記記録部で常時記録される前記時系列画像に対してマーキングを施すようにしたドライブレコーダであって、
前記画像取得部は、ステレオカメラから成り、
前記ステレオカメラによって得られる３次元情報の内、車両近傍に予め設定される対象領域に対して、予め定める空間情報を算出する空間情報算出部を備え、
前記トリガ判定部は、前記空間情報算出部で算出された空間情報に応答して、前記トリガを前記記録部に与え、或いは前記記録部で常時記録される前記時系列画像に対して前記マーキングを施すことを特徴とするドライブレコーダ。
【請求項２】
前記空間情報は、前記ステレオカメラで取得したステレオ画像に対し、対応点探索処理によって算出した視差情報を用いることで算出可能な周辺の平面情報であることを特徴とする請求項１記載のドライブレコーダ。
【請求項３】
前記平面情報は、前記対応点探索処理によって得られた前記視差情報と画像の縦方向の座標とから、平面の推定を行うことで求められることを特徴とする請求項２記載のドライブレコーダ。
【請求項４】
前記平面情報は、前記対応点探索処理によって得られた前記視差情報と平面モデルとから算出されることを特徴とする請求項２記載のドライブレコーダ。
【請求項５】
前記平面情報は、過去に算出された結果を用いて算出されることを特徴とする請求項３または４記載のドライブレコーダ。
【請求項６】
前記空間情報は、前記ステレオカメラで取得したステレオ画像に対し、対応点探索処理によって算出した視差情報を用いることで算出可能な周辺の空間上に存在する対象物体であることを特徴とする請求項１記載のドライブレコーダ。
【請求項７】
前記空間情報は、前記対象領域上に予め定義された視差テーブルと、前記対応点探索処理によって得られた視差情報とを比較することで算出されることを特徴とする請求項６記載のドライブレコーダ。
【請求項８】
前記トリガ判定部は、前記対象領域の空間占有率が予め定める閾値を超えたときにトリガおよびマーキング対象として判定することを特徴とする請求項２または６記載のドライブレコーダ。
【請求項９】
前記トリガ判定部は、前記対象領域の空間減少率が予め定める閾値を超えたときにトリガおよびマーキング対象として判定することを特徴とする請求項２または６記載のドライブレコーダ。
【請求項１０】
前記対象領域には、前記対応点探索処理によって得られた対応点から距離情報を算出し、予め定められた距離の範囲となる領域が設定されることを特徴とする請求項２または６記載のドライブレコーダ。
【請求項１１】
前記トリガ判定部は、自車両の時速が速くなるに従い、前記対象領域を大きくすることを特徴とする請求項２または６記載のドライブレコーダ。
【請求項１】
車両に搭載され、画像取得部で取得した時系列画像を記録部に記録させてゆくにあたって、危険度が高い場合に、トリガ判定部が、前記記録のトリガを前記記録部に与え、或いは前記記録部で常時記録される前記時系列画像に対してマーキングを施すようにしたドライブレコーダであって、
前記画像取得部は、ステレオカメラから成り、
前記ステレオカメラによって得られる３次元情報の内、車両近傍に予め設定される対象領域に対して、予め定める空間情報を算出する空間情報算出部を備え、
前記トリガ判定部は、前記空間情報算出部で算出された空間情報に応答して、前記トリガを前記記録部に与え、或いは前記記録部で常時記録される前記時系列画像に対して前記マーキングを施すことを特徴とするドライブレコーダ。
【請求項２】
前記空間情報は、前記ステレオカメラで取得したステレオ画像に対し、対応点探索処理によって算出した視差情報を用いることで算出可能な周辺の平面情報であることを特徴とする請求項１記載のドライブレコーダ。
【請求項３】
前記平面情報は、前記対応点探索処理によって得られた前記視差情報と画像の縦方向の座標とから、平面の推定を行うことで求められることを特徴とする請求項２記載のドライブレコーダ。
【請求項４】
前記平面情報は、前記対応点探索処理によって得られた前記視差情報と平面モデルとから算出されることを特徴とする請求項２記載のドライブレコーダ。
【請求項５】
前記平面情報は、過去に算出された結果を用いて算出されることを特徴とする請求項３または４記載のドライブレコーダ。
【請求項６】
前記空間情報は、前記ステレオカメラで取得したステレオ画像に対し、対応点探索処理によって算出した視差情報を用いることで算出可能な周辺の空間上に存在する対象物体であることを特徴とする請求項１記載のドライブレコーダ。
【請求項７】
前記空間情報は、前記対象領域上に予め定義された視差テーブルと、前記対応点探索処理によって得られた視差情報とを比較することで算出されることを特徴とする請求項６記載のドライブレコーダ。
【請求項８】
前記トリガ判定部は、前記対象領域の空間占有率が予め定める閾値を超えたときにトリガおよびマーキング対象として判定することを特徴とする請求項２または６記載のドライブレコーダ。
【請求項９】
前記トリガ判定部は、前記対象領域の空間減少率が予め定める閾値を超えたときにトリガおよびマーキング対象として判定することを特徴とする請求項２または６記載のドライブレコーダ。
【請求項１０】
前記対象領域には、前記対応点探索処理によって得られた対応点から距離情報を算出し、予め定められた距離の範囲となる領域が設定されることを特徴とする請求項２または６記載のドライブレコーダ。
【請求項１１】
前記トリガ判定部は、自車両の時速が速くなるに従い、前記対象領域を大きくすることを特徴とする請求項２または６記載のドライブレコーダ。
【図１】
【図２】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図３】
【図２】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図３】
【公開番号】特開２０１０−２２４７９８（Ｐ２０１０−２２４７９８Ａ）
【公開日】平成２２年１０月７日（２０１０．１０．７）
【国際特許分類】
【出願番号】特願２００９−７０４６６（Ｐ２００９−７０４６６）
【出願日】平成２１年３月２３日（２００９．３．２３）
【出願人】（０００００１２７０）コニカミノルタホールディングス株式会社 (4,463)
【Ｆターム（参考）】
【公開日】平成２２年１０月７日（２０１０．１０．７）
【国際特許分類】
【出願日】平成２１年３月２３日（２００９．３．２３）
【出願人】（０００００１２７０）コニカミノルタホールディングス株式会社 (4,463)
【Ｆターム（参考）】
[ Back to top ]