車両事故防止システム
【課題】
自車後方の情報を取得し、安全な走行を支援すること可能な技術を提供する。
【解決手段】
車両事故防止装置１０は、自車両に搭載され自車両の後方を異なる視点から撮像し、視差のある第１の画像及び第２の画像を出力する撮像装置２０と、自車両の速度の低下、もしくは走行方向の変化を検出するセンサ群４０と、撮像装置２０の出力から他車両を認識すると、自車両と前記他車両との位置関係、自車両から前記他車両までの距離、および前記他車両の速度を算出して、自車両と他車両の衝突の可能性を判断し、衝突の可能性のある場合に警告を発する制御部１１と、を有する。
自車後方の情報を取得し、安全な走行を支援すること可能な技術を提供する。
【解決手段】
車両事故防止装置１０は、自車両に搭載され自車両の後方を異なる視点から撮像し、視差のある第１の画像及び第２の画像を出力する撮像装置２０と、自車両の速度の低下、もしくは走行方向の変化を検出するセンサ群４０と、撮像装置２０の出力から他車両を認識すると、自車両と前記他車両との位置関係、自車両から前記他車両までの距離、および前記他車両の速度を算出して、自車両と他車両の衝突の可能性を判断し、衝突の可能性のある場合に警告を発する制御部１１と、を有する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車両事故防止システムに関するものである。
【背景技術】
【０００２】
カメラにより自車両周辺を撮像して、周辺画像を利用者に提示することで、安全な走行を支援するような技術が知られている（例えば、特許文献１参照）。
【０００３】
【特許文献１】特開２００７−１５８４２６号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、特許文献１に記載の技術では、自車両の後方および両側方の情報収集を複数のカメラで行う必要があるため、撮像機器や画像の演算処理に関するコストがかかる。
【０００５】
そこで、本発明では、安全な走行を支援することを目的とする。
【課題を解決するための手段】
【０００６】
以上に記載した課題を解決するため、本発明の車両事故防止システムは、自車両に搭載され、自車両の後方を異なる視点から撮像し、視差のある第１の画像及び第２の画像を出力する撮像装置と、前記撮像装置の出力から他車両を認識すると、自車両と前記他車両との位置関係、自車両から前記他車両までの距離、および前記他車両の速度を算出する演算手段と、自車両の速度の低下、もしくは走行方向の変化を検出する検出手段と、前記演算手段の出力と前記検出手段の出力とから、自車両と他車両の衝突の可能性を判断し、衝突の可能性のある場合に警告を発する警告手段と、を有することを特徴とする車両事故防止システムを有することを特徴とする。
【発明の効果】
【０００７】
以上のように、本発明によれば、安全な走行を支援することができる。
【発明を実施するための最良の形態】
【０００８】
以下、本発明を実施するための最良の形態について、図面を参照して説明する。
【０００９】
図１は、本発明の一実施形態に係る車両事故防止システム１の構成を示すブロック図である。
【００１０】
車両事故防止システム１は、周辺車両の動きから危険を予測して利用者に警告する車両事故防止装置１０と、車載カメラによって車両周辺を撮像する撮像装置２０と、撮像装置２０の撮像する領域に光を照射する照明装置３０と、車両の走行状態を検出する各種センサからなるセンサ群４０と、を有する。
【００１１】
撮像装置２０は、第１の画像を撮像する第一のカメラである右側カメラ２１ａと、第２の画像を撮像する第二のカメラである左側カメラ２１ｂと（これらを区別しない場合には、以下、ステレオカメラ２１と称する）、を有する。これらは同一の高さで、かつ、それぞれの光軸が平行になるような所定の間隔（基線長）で配置されるステレオカメラである。ステレオカメラ２１は、例えば、車両の後方に設置され、車両後方側の所定の撮影範囲を撮像する。
【００１２】
各カメラはフレームレートに従って、第１の画像および第２の画像からなる１対のステレオ画像を出力する。ステレオ画像は、図示しないＡ／Ｄ変換器を経て、デジタルデータとして車両事故防止装置１０へと送られる。各カメラの駆動は、車両事故防止装置１０からの制御を受けても良いし、撮像装置２０の備える図示しないカメラの制御部によって、独立して駆動しても良い。
【００１３】
照明装置３０は、近赤外光を照射可能な光源（例えば、ＬＥＤ等）を備え、撮像装置２０のフレームレートに同期して、フレームスキャンに際したタイミングで近赤外光を照射する。
【００１４】
センサ群４０は、ブレーキセンサ４１と、車速センサ４２と、ウィンカーセンサ４３と、を備える。
【００１５】
ブレーキセンサ４１は、運転者によるブレーキペダルの踏み込み状態を検出し、その状態に対応する検出信号を出力する。例えば、運転者がブレーキペダルを踏み込んだ時にはオン信号を、運転者がブレーキから足を離してブレーキペダルを解放した時にはオフ信号を車両事故防止装置１０へと出力する。
【００１６】
車速センサ４２は、自車両の走行速度を検出して、速度に応じた検出信号を車両事故防止装置１０へと出力する。車速センサ４２は、車速を検出可能なセンサであればどのようなものでもよく、各車輪の回転数を検出する車輪速センサであってもよいし、車輪につながる車軸の回転数を検出する回転センサであってもよい。
【００１７】
ウィンカーセンサ４３は、運転者による方向指示器の操作を検出し、対応する検出信号を出力する。例えば、運転者が右方向の方向指示操作を行った時には、右方向指示信号を、左方向の方向指示操作を行った時には、左方向指示信号を、車両事故防止装置１０へと出力する。
【００１８】
次に、車両事故防止装置１０について説明する。車両事故防止装置１０は、制御部１１と、記憶部１２と、入出力インターフェース部（以下、I／Ｆ部と称する）１３と、を備えている。
【００１９】
記憶部１２は、画像記憶領域１２１と、変換テーブル記憶領域１２２と、テンプレート記憶領域１２３と、管理テーブル記憶領域１２４と、警戒フラグ記憶領域１２５と、を有する。
【００２０】
画像記憶領域１２１は、車両事故防止装置１０の画像処理部１１１が取得、生成する各種画像、例えば、ステレオカメラ２１から取得した一対のステレオ画像、当該一対のステレオ画像のうち、基準となる画像に前処理を施したフレーム画像、当該フレーム画像より生成された俯瞰画像、当該俯瞰画像から生成されたエッジ画像を記憶する。
【００２１】
変換テーブル記憶領域１２２は、ステレオカメラ２１の撮像したステレオ画像のうち、基準となる画像から俯瞰画像を生成するために必要な変換テーブル（図示しない）を予め記憶する。
【００２２】
変換テーブルとは、例えば、フレーム画像の各画素の座標位置を、俯瞰画像の座標位置に対応付けて、各座標について角速度やレンズの歪曲収差を補正するための補正パラメータを配したものである。補正パラメータとは、例えば、カメラの設置位置、設置角度、レンズ歪み、ＣＣＤサイズ等であり、レンズの光学特性やカメラの設定等に基づいて事前に設定される。
【００２３】
テンプレート記憶領域１２３には、１つ前フレームのエッジ画像中における他車両が写り込んだ領域（車両領域）の特徴量が、当該他車両を追尾するためのテンプレートとして記憶されている。各テンプレートには識別のためのＩＤが割り振られ、対応するＩＤとともに記憶される。なお、ここでの特徴量とは、どのような値でもよく、種々の画像成分の分布、強度、累積値等を用いることが可能である。
【００２４】
管理テーブル記憶領域１２４には、図２に示すように、画像処理部１１１が取得したステレオ画像を識別するためのステレオＩＤが格納されるステレオＩＤ格納領域１２４ａと、当該ステレオ画像を取得した際に、画像処理部１１１が車速センサ４２へと要求して取得した自車両の速度が格納される車速格納領域１２４ｂと、当該ステレオ画像に写っている（相関がある）と判断された車両領域（テンプレート）のＩＤが格納されるテンプレートＩＤ格納領域１２４ｃと、車両領域の座標が格納される座標格納領域１２４ｄと、車両領域で特定される他車両が自車両（ステレオカメラ）に対してどの位置にあるかを示す位置情報が格納される位置情報格納領域１２４ｅと、視差から導き出される自車両と他車両との間の距離が格納される距離格納領域１２４ｆと、を備える管理テーブルが記憶される。
【００２５】
警戒フラグ記憶領域１２５は、図４に示すような警戒フラグテーブルが記憶されている。警戒フラグテーブルは、後方警戒フラグ格納領域１２５ａと、右後方警戒フラグ格納領域１２５ｂと、左後方警戒フラグ格納領域１２５ｃと、を備えている。警戒フラグテーブルに格納される警戒フラグに関しては、後述する。
【００２６】
制御部１１は、撮像装置２０から取得した画像をエッジ画像に変換する画像処理部１１１と、エッジ画像に含まれる他車両を検出する車両認識部１１２と、自車両と他車両との間の距離を算出する距離算出部１１３と、警戒状態の期間を設定する警戒判断部１１４と、警戒状態の際にセンサから所定の信号を受けると、運転者へ危険を知らせる警告を発する警告部１１５と、を有する。
【００２７】
画像処理部１１１は、ステレオカメラ２１で撮像された車両後方のステレオ画像から、エッジ画像を生成する。
【００２８】
より具体的には、画像処理部１１１は、まず、ステレオカメラ２１が撮像した一対のステレオ画像を取得して、これにステレオＩＤを割り当てて、当該ステレオＩＤとともに画像記憶領域１２１へと時系列順に蓄積する。
【００２９】
そして、画像処理部１１１は、管理テーブル記憶領域１２４に記憶される、図２に示すような管理テーブルに、新規に取得したステレオ画像のレコードを新たに生成し、当該ステレオＩＤをステレオＩＤ格納領域１２４ａへと格納する。また、車速センサ４２へと信号取得要求を出力して自車両の車速を取得し、当該レコードの車速格納領域１２４ｂへと格納する。
【００３０】
次に、画像処理部１１１は、取得したステレオ画像のうち、基準となる一方のステレオカメラ（ここでは、右側カメラ２１ａ）の撮像した第１の画像（便宜上、ここで得た基準となる最新の第１の画像を、基準画像Ａとして説明する）に対して前処理を行って、図３に示すようなフレーム画像Ａ１を生成し、画像記憶領域１２１へと記憶させる。前処理とは、例えば、フィルタリングやガンマ補正等、一般的なデジタル画像処理の一環であるので、ここでは詳述しない。
【００３１】
その後、画像処理部１１１は、フレーム画像Ａ１に対して変換テーブルに基づいて俯瞰変換処理を実行し、俯瞰画像（天空から垂直に地上面を見た場合の平面図）Ａ２を生成する。そして、俯瞰Ａ２を、画像記憶領域１２１へと蓄積する。
【００３２】
さらに、画像処理部１１１は、前述の処理で生成した俯瞰画像に対して二値化処理を行った後、画像内の物体を特徴づける線要素（濃淡が急に変化している領域）をその境界線によって抽出して強調するエッジ処理を実行し、図３に示すようなエッジ画像Ａ３を生成する。生成されたエッジ画像Ａ３は、画像記憶領域１２１へとさらに蓄積される。
【００３３】
なお、二値化処理は、例えば、各画素の輝度に対して固定閾値を用いた単純二値化法を用いることにより実行可能である。
【００３４】
車両認識部１１２は、基準画像Ａから生成されたエッジ画像Ａ３内に他車両が存在するか否かを検出する。
【００３５】
具体的に、まず、車両認識部１１２は、画像処理部１１１によって生成されたエッジ画像Ａ３を画像記憶領域１２１より読み出して、画像内に他車両と考えられる車両領域が存在するか否かを特定する車両認識を行う。
【００３６】
車両認識は、どのような方法を用いてもよく、例えば、車両のテンプレートを予め記憶しておき、画像全域に対してテンプレートマッチング処理を行うことで実現可能である。
【００３７】
また、車両は通常はほぼ方形であると考えられるため、車両の左右側面や、上下面の輪郭に現れるエッジは、お互いに対応するエッジ対として検出される。従って、エッジ画像Ａ３の縦方向および横方向のエッジ成分の累積量を区間ごとに抽出したヒストグラムを生成し、上下および左右のエッジ対に囲まれた部分を、車両領域として特定してもよい。なお、特定されたエッジ画像Ａ３中の車両領域は、追尾目標となる他車両のテンプレートとして、テンプレート記憶領域１２３に格納される。
【００３８】
ここで、車両認識部１１２は、エッジ画像Ａ３内で検出された全ての車両領域の各々について、テンプレート記憶領域１２３に既に登録されているか否かを、テンプレートマッチングにより判断する。
【００３９】
車両領域が既にテンプレートとして登録されている場合、前フレームでも当該車両領域で特定される他車両がカメラで捕捉されていると考えられるため、他車両の１フレーム間の変化量ｅを後述の処理で算出できるからである。
【００４０】
なお、テンプレートマッチングにはどのような手法を用いてもよい。また、認識対象である他車両は、自車両からの距離が変動してその大きさや縦横比が変化するため、テンプレートは適宜圧縮、伸長して扱うものとする。
【００４１】
車両認識部１１２は、エッジ画像Ａ３で検出された車両領域に対して所定の閾値以上相関するテンプレートがテンプレート記憶領域１２３に既に登録されている場合、車両領域の特徴量を新たなテンプレートとして既存のテンプレートに上書きし、これを更新する。なお、所定の閾値以上相関するテンプレートが複数存在する場合には、最も相関値の高いテンプレートを更新する。
【００４２】
そして、車両認識部１１２は、更新されたテンプレートのテンプレートＩＤを、管理テーブルのテンプレートＩＤ格納領域１２４ｃへと格納する。
【００４３】
エッジ画像Ａ３で検出された車両領域と所定の閾値以上相関するテンプレートが登録されていなかった場合には、テンプレートＩＤを新たに割り振って、当該車両領域の特徴量を新規のテンプレートとしてテンプレート記憶領域１２３に登録する。そして、当該テンプレートＩＤを、管理テーブルのテンプレートＩＤ格納領域１２４ｃへと格納する。
【００４４】
なお、車両認識部１１２は、テンプレート記憶領域１２３に記憶されるテンプレートのうち、エッジ画像Ａ３中で検出されなかった（即ち、上記処理で更新されなかった）テンプレートについては、最新のフレームで捕捉されておらず、追尾対象から外れた他車両であると判断し、テンプレート記憶領域１２３から削除する。
【００４５】
次に、車両認識部１１２は、各車両領域が、エッジ画像Ａ３中で自車両から見てどの位置に存在しているかを判断する。
【００４６】
具体的に、車両認識部１１２は、まず、車両領域として特定された領域の座標を、座標格納領域１２４ｄへと登録する。そして、エッジ画像Ａ３の座標を縦方向に３分割した際に、各車両領域が自車両から見て「右後方」、「後方」、「左後方」のどの位置に存在するかを判断する。なお、車両領域が分割された領域間に跨って存在する時は、車両領域として特定された座標がより多く属する位置を選択すればよい。車両認識部１１２は、特定された各車両領域の位置を位置情報として、管理テーブルの位置情報格納領域１２４ｅへと格納する。
【００４７】
なお、車両領域の位置の判断はこれに限らず、例えば車線を形成する白線を認識することで行ってもよい。
【００４８】
車両認識部１１２は、全ての車両領域について上述の処理を終えると、距離算出部１１３へ距離算出要求を出力する。
【００４９】
距離算出部１１３は、車両認識部１１２からの距離算出要求を受け付けると、エッジ画像Ａ３中で検出された他車両を示す車両領域の全てに対して、それぞれ自車両との間の距離を算出する。
【００５０】
具体的に、距離算出部１１３は、まず管理テーブルを参照して、エッジ画像Ａ３で検出された車両領域（テンプレート）の座標情報を抽出する。そして、変換テーブルに基づき、エッジ画像Ａ３の元画像である基準画像Ａ上における車両領域を特定する。
【００５１】
そして、距離算出部１１３は、特定した車両領域を所定の大きさのテンプレートブロックに分割し、当該テンプレートブロックごとに基準画像Ａと対をなす第２の画像のエピポーラ線を含む所定のサーチウィンドウ内を探索（１画素ずつずらしながら評価値を算出）し、テンプレートブロックと最も一致する領域を決定して、その水平シフト値から視差ｄを得る。
【００５２】
なお、評価値の算出には、例えば、ＳＡＤ(Sum of Absolute Difference)法を用いる。ＳＡＤ法とは、両画像のブロック内の各画素について差の絶対値を取り、その総和を評価値とするものである。この評価値が小さいほどブロック間の一致度が高く、その水平方向のシフト量から視差ｄが与えられる。もちろん、評価値の算出法は上記に限定されず、ＳＡＤ法の他に、ブロック内の各画素について差の二乗を取るＳＳＤ(Sum of Squared intensity Difference)法、各画素の輝度値から局所的な平均値を引き、分散値の類似度を求めるＮＣＣ(Normalized Cross Correlation)法等、どのような手法を用いてもよい。
【００５３】
次に、距離算出部１１３は、三角測量の原理により視差ｄから他車両までの距離を算出する。距離の算出は、記憶部１２に視差と距離との対応表を予め記憶させておくことで可能である。距離算出部１１３は、各テンプレートブロックついて得た視差ｄのうち一番大きな値を用いて算出したものを、自車両から車両領域が示す他車両までの最短距離として、距離格納領域１２４ｆへと格納する。
【００５４】
全ての車両領域について距離を算出すると、距離算出部１１３は、警戒判断部１１４へと判断要求を出力する。
【００５５】
警戒判断部１１４は、判断要求を受け付けると、基準画像Ａと、一つ前のフレームの基準画像Ａ′とで、同じテンプレートＩＤの距離格納領域１２４ｆに格納される距離を比較し、１フレーム間における他車両と自車両との間の距離の変化量ｅを算出する。
【００５６】
変化量ｅが負の値である（他車両と自車両の距離が縮まる方向に変化している）場合、警戒判断部１１４は、管理テーブルの車速格納領域１２４ｂから、基準画像Ａと、一つ前のフレームの基準画像Ａ′と、の取得時における自車両の速度の平均値ａを算出する。
【００５７】
次に、警戒判断部１１４は、変化量ｅ、および、自車両の速度の平均値ａに基づいて、他車両の速度を算出し、自車両と他車両との間の距離が所定の値（ここでは、ゼロ）になるのにかかる時間、すなわち、自車両との接触が懸念される予測時間ｔを算出する。
【００５８】
例えば、仮に、フレームレートが１ｆ／ｍｉｎ、他車両との現在の距離が０．１ｋｍ、自車両の速度の平均値ａが５０ｋｍ／ｈ、１フレーム間の変化量ｅが−０．１ｋｍであるとすると、他車両の速度は５６ｋｍ／ｈであると考えられる。従って、予測時間ｔは、１ｍｉｎとなり、１分後には、自車両と他車両との間の距離がゼロになると考えられる。
【００５９】
そして、警戒判断部１１４は、この予測時間ｔが所定の閾値Ｔ１以下であった場合、警戒状態を開始させるために警戒フラグテーブルを更新する。
【００６０】
ここで、警戒状態の開始時を定める閾値はＴ１に限定されず、位置情報格納領域１２４ｅに格納される他車両の存在する位置によって、適宜使い分けるような構成としてもよい。例えば、他車両が「後方」に存在する場合は、急ブレーキ等に備え、「右後方」および「左後方」の際に使われる閾値Ｔ１に比べて、より大きな閾値Ｔ２を使用することで、早い段階で警戒状態を開始することが可能である。
【００６１】
警戒状態とは、運転者によりブレーキペダルや、方向指示器（ウィンカー）の操作があった場合に、警告部１１５が、図示しない音声出力装置や表示装置等によって、警告音を出力したり、警告メッセージを表示したりすることで、他車両との接触を運転者に警告する期間である。
【００６２】
警戒判断部１１４は、警告部１１５が警戒状態であるか否かを判断するために、図４のような警戒フラグテーブルを適宜更新する。
【００６３】
具体的に、まず、警戒判断部１１４は、予測時間ｔが所定の閾値Ｔ１以下である他車両が検出されると、管理テーブルの位置情報格納領域１２４ｅを参照して、自車両に対する他車両の位置を抽出する。
【００６４】
他車両の位置が「後方」であった場合、警戒判断部１１４は、警戒フラグテーブルの後方警戒フラグ格納領域１２５ａに、警戒状態であることを示す警戒フラグ（例えば、「１」）を設定する。
【００６５】
同様に、警戒判断部１１４は、他車両の位置が「右後方」であった場合、右後方警戒フラグ格納領域１２５ｂに警戒フラグ「１」を、「左後方」であった場合には、左後方警戒フラグ格納領域１２５ｃに警戒フラグ「１」を設定する。
【００６６】
また、警戒判断部１１４は、警戒フラグ「１」を登録すると同時に、図示しないタイマをスタートさせる。タイマは、所定の値をカウントダウンし、警戒状態の終了時を定める。
【００６７】
これにより、例えば図５に示すように、他車両がカメラから消失したとしても、サイドミラーでも確認不可能な死角に存在している可能性があることから、他車両が死角に移動した後でも警告がなされるような予備時間を設けることができる。
【００６８】
なお、制御部１１は、「後方」「右後方」「左後方」のそれぞれに対して警戒状態の持続時間を計測する少なくとも３つのタイマＡ、Ｂ、Ｃを備えており、各タイマは、所定の値のカウントダウンを開始し、値が０になると停止する。警戒判断部１１４は、タイマの動作が終了すると、警戒状態でないことを示す警戒フラグ「０」を登録する。
【００６９】
なお、タイマのカウントダウン値は、変化量ｅおよび自車両の車長から、他車両が死角から抜け出して運転者が他車両を目視可能になるよう自車両と並ぶ位置まで移動する時間を算出し、これを設定してもよい。
【００７０】
警告部１１５は、後方警戒フラグ格納領域１２５ａに警戒フラグ「１」が登録されている際（警戒状態）にブレーキセンサ４１からオン信号を受信すると、運転者に追突の可能性がある旨の警告を発する。
【００７１】
また、警告部１１５は、右後方警戒フラグ格納領域１２５ｂに警戒フラグ「１」が登録されている際に、ウィンカーセンサ４３からの右方向指示信号を検出すると、運転者に他車両と接触の可能性がある旨の警告を発する。さらに、左後方警戒フラグ格納領域１２５ｃに警戒フラグ「１」が登録されている際に、ウィンカーセンサ４３からの左方向指示信号を検出した際にも、運転者に他車両と接触の可能性がある旨の警告を発する。
【００７２】
Ｉ／Ｆ部１３は、車両事故防止装置１０と、他の装置と、を情報の出入力可能に接続する。通信方式にはどのような手段を利用してもよい。
【００７３】
ここで、車両事故防止装置１０のハードウェア構成について説明する。図７は、車両事故防止装置１０の電気的な構成を示すブロック図である。
【００７４】
図７に示すように、車両事故防止装置１０は、コンピュータの主要部であって、各装置を集中的に制御するＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）５１と、各種データを書換え可能に記憶するメモリ５２と、を備える。さらに、車両事故防止装置１０は、各種のプログラム、プログラムが生成するデータ等を格納する外部記憶装置５３と、外部の装置と通信を行うＩ／Ｆ部５４と、を備える。これらの各装置は、バスなどの信号線５５を介してＣＰＵ５１と接続される。
【００７５】
ＣＰＵ５１は、例えば、外部記憶装置５３上に格納されたプログラムをメモリ５２上にロードして実行することにより、各種処理を実行する。
【００７６】
以上のように構成される車両事故防止装置１０での処理について、図６に示すフローチャートを用いて説明する。図６は、車両事故防止装置１０が、撮像装置２０からのステレオ画像を取得してから、警戒状態を設定する処理の流れを示すフロー図である。
【００７７】
車両事故防止装置１０の画像処理部１１１は、ステレオカメラ２１から出力されるステレオ画像を取得して画像記憶領域１２１へと時系列順に蓄積するとともに、管理テーブルにステレオ画像の新しいレコードを生成し、新たなステレオＩＤを設定してステレオＩＤ格納領域１２４ａへと格納する。また、車速センサ４２へと信号取得要求を出力して自車両の車速を取得し、当該レコードの車速格納領域１２４ｂへと格納する（Ｓ１１）。
【００７８】
次に、画像処理部１１１は、ステレオ画像から、エッジ画像Ａ３を生成する（Ｓ１２）。
【００７９】
具体的に、画像処理部１１１は、取得したステレオ画像のうち、基準となる第１の画像である基準画像Ａに対して前処理を行ってフレーム画像Ａ１を生成する。さらに、画像処理部１１１は、フレーム画像Ａ１に対して俯瞰変換処理を実行して変換テーブルに基づく俯瞰画像Ａ２を生成し、これに対して二値化処理およびエッジ処理を施してエッジ画像Ａ３を生成する。生成された各画像は、画像記憶領域１２１へと蓄積される。
【００８０】
新たなエッジ画像Ａ３が生成されると、車両認識部１１２は、エッジ画像Ａ３内に他車両が存在するか否かを検出する（Ｓ１３）。
【００８１】
具体的に、車両認識部１１２は、上下および左右のエッジ対に囲まれた部分を、車両領域として特定する。
【００８２】
ステップ１３で他車両の車両領域が検出されなかった場合（ＮＯ）、車両認識部１１２は、他車両が存在しないと判断して、テンプレート記憶領域１２３に記憶されるテンプレートとそのＩＤに関する情報を、全て削除し（Ｓ１４）、処理を終了する。
【００８３】
ステップ１３で他車両の車両領域が検出された場合（ＹＥＳ）、車両認識部１１２は、検出された全ての車両領域が、既にテンプレートとしてテンプレート記憶領域１２３に登録されているか否かを、テンプレートマッチングにより判断する（Ｓ１５）。
【００８４】
ステップ１５において、エッジ画像Ａ３で検出された車両領域と、所定の閾値以上相関するテンプレートが既に登録されている場合（ＹＥＳ）、車両認識部１１２は、車両領域の特徴量を新たなテンプレートとして既存のテンプレートに上書きし、テンプレートを更新する（Ｓ１６）。また、車両認識部１１２は、更新されたテンプレートのテンプレートＩＤを、テンプレートＩＤ格納領域１２４ｃへと格納する。
【００８５】
ステップ１５において、エッジ画像Ａ３で検出された車両領域と、所定の閾値以上相関するテンプレートが登録されていなかった場合（ＮＯ）、当該車両領域にテンプレートＩＤを新たに割り振り、車両領域の特徴量をテンプレートとしてテンプレート記憶領域１２３に登録する。そして、当該テンプレートのＩＤを、テンプレートＩＤ格納領域１２４ｃへと格納する（Ｓ１７）。
【００８６】
エッジ画像Ａ３で検出された車両領域の全てについて上記ステップ１５からステップ１７までの処理を終えると、車両認識部１１２は、エッジ画像Ａ３で検出されなかったテンプレート、即ち、ステップ１６で更新されなかったテンプレートと、そのＩＤと、をテンプレート記憶領域１２３から削除する（Ｓ１８）。
【００８７】
次に、車両認識部１１２は、テンプレート記憶領域１２３に登録された各車両領域が、自車両から見てどの位置に存在しているかをそれぞれ判断する（Ｓ１９）。
【００８８】
具体的に、車両認識部１１２は、まず、エッジ画像Ａ３中で車両領域として特定された領域の座標を、座標格納領域１２４ｄへと登録する。そして、車両認識部１１２は、エッジ画像Ａ３の座標を、縦方向に３分割して、車両領域が自車両から見て「右後方」、「後方」、「左後方」のどの位置に存在するかを判断し、管理テーブルの位置情報格納領域１２４ｅへと位置情報を格納する。そして、距離算出部１１３へ距離算出要求を出力する。
【００８９】
距離算出部１１３は、車両認識部１１２からの距離算出要求を受け付けると、各テンプレートに基づいて、他車両と自車両との間の距離を算出する（Ｓ２０）。
【００９０】
具体的に、距離算出部１１３は、エッジ画像Ａ３で検出された車両領域の座標を座標格納領域１２４ｄから抽出し、これと対応する基準画像Ａ上での車両領域を変換テーブルに基づいて特定する。そして、基準画像Ａと対をなす第２の画像からなるステレオ画像より、当該車両領域の水平シフト値を算出し視差ｄを得る。
【００９１】
距離算出部１１３は、視差ｄに基づいて、自車両から車両領域までの距離を算出して、基準画像ＡのＩＤが格納されるレコードの距離格納領域１２４ｆへと格納する。全ての車両領域に対してこの処理を終えると、距離算出部１１３は、警戒判断部１１４に判断処理を要求する。
【００９２】
警戒判断部１１４は、基準画像Ａと、一つ前のフレームの基準画像Ａ′とで、同じテンプレートＩＤの距離格納領域１２４ｆに格納される他車両と自車両との間の距離を比較し、フレームレートに基づいて１フレームにおける他車両と自車両との間の距離の変化量ｅを算出する（Ｓ２１）。
【００９３】
次に、警戒判断部１１４は、変化量ｅが正の値（他車両と自車両の距離が広がる方向に変化している場合）であるか、負の値（他車両と自車両の距離が縮まる方向に変化している場合）であるかを判断する（Ｓ２２）。
【００９４】
ステップ２２において、変化量ｅが正の値である場合（ＹＥＳ）、警戒判断部１１４は、処理を終了する。変化量ｅが負の値である場合（ＮＯ）、警戒判断部１１４は、管理テーブルの車速格納領域１２４ｂから、基準画像Ａと、一つ前のフレームの基準画像Ａ′と、の取得時における自車両の速度の平均値ａを算出する（Ｓ２３）。
【００９５】
次に、警戒判断部１１４は、フレームレートと変化量ｅ、および、自車両の速度の平均値ａに基づいて、他車両の速度を算出し、自車両と他車両との間の距離が０になるのにかかる時間、すなわち、自車両との接触が懸念される予測時間ｔを算出する（Ｓ２４）。
【００９６】
さらに、警戒判断部１１４は、予測時間ｔが所定の閾値Ｔ１以下であるか否かを判断する（Ｓ２５）。
【００９７】
ステップ２５において、予測時間ｔが所定の閾値Ｔ１以下でなかった場合（ＮＯ）、警戒判断部１１４は、処理を終了する。予測時間ｔが所定の閾値Ｔ１以下であった場合（ＹＥＳ）、警戒判断部１１４は、管理テーブルの位置情報格納領域１２４ｅを参照して、他車両の自車両に対する位置を抽出し、警戒状態であることを示す警戒フラグを登録する（Ｓ２６）。
【００９８】
具体的に、警戒判断部１１４は、他車両が「後方」の位置であった場合、警戒フラグテーブルの後方警戒フラグ格納領域１２５ａには警戒フラグ「１」を登録してタイマＡを動作させ、他車両が「右後方」の位置であった場合、右後方警戒フラグ格納領域１２５ｂに警戒フラグ「１」を登録してタイマＢを動作させ、他車両が「左後方」の位置であった場合、左後方警戒フラグ格納領域１２５ｃに警戒フラグ「１」を登録してタイマＣを動作させる。なお、警戒判断部１１４は、各タイマの動作が停止すると、対応する警戒フラグの格納領域に警戒状態ではないことを示す警戒フラグ「０」を登録する。
【００９９】
以上、本発明の一実施形態について説明した。
【０１００】
上記実施形態によれば、車両事故防止システム１は、自車両および他車両の速度と、その間の距離の変化量に基づいて接触する可能性のある時間を予測し、より正確なタイミングで運転者に警告を行うことが可能である。
【０１０１】
また、例えば、他車両がカメラの撮像角から脱して死角となる領域へ進入した場合であっても、一定の予備時間が設けられているため、運転者は所定の期間、警告を受けることが可能である。
【０１０２】
なお、本発明は、上記実施形態に制限されない。上記実施形態は、本発明の技術的思想の範囲内で様々な変形が可能である。
【０１０３】
例えば、閾値Ｔ１は、他車両の速度によりその値を変動する構成としてもよい。他車両の速度に比例して閾値Ｔ１を大きな値とすることにより、運転者は、他車両が高速で走行している場合は、早い段階で警告を受けることが可能となる。
【０１０４】
上記実施形態では、警告を実行するトリガとしてブレーキセンサ４１やウィンカーセンサ４３の検出信号を用いたが、センサはこれに限定されず、例えば、操舵角センサや角速度センサ等の検出信号から、警戒状態の開始を判断してもよい。
【０１０５】
さらに、上記の実施形態では、本発明を車載装置とする例について説明したが、本発明は、車載用以外の用途にも適用することができる。
【図面の簡単な説明】
【０１０６】
【図１】車両事故防止システム１の構成を示すブロック図である。
【図２】管理テーブルの概略図である。
【図３】フレーム画像Ａ１およびエッジ画像Ａ３の概略図である。
【図４】警戒フラグテーブルの概略図である。
【図５】撮像装置２０の撮像角およびサイドミラー角を示す概略図である。
【図６】車両事故防止装置１０の実行する処理の流れを示すフロー図である。
【図７】車両事故防止装置１０の電気的な構成を示すブロック図である。
【符号の説明】
【０１０７】
１：車両事故防止システム、１０：車両事故防止装置、１１：制御部、１１１：画像処理部、１１２：車両認識部、１１３：距離算出部、１１４：警戒判断部、１１５：警告部、１２：記憶部、１２１：画像記憶領域、１２２：変換テーブル記憶領域、１２３：テンプレート記憶領域、１２４：管理テーブル記憶領域、１２５：警戒フラグ記憶領域、１３：Ｉ／Ｆ部、２０：撮像装置、３０：照明装置、４０：センサ群、４１：ブレーキセンサ、４２：車速センサ、４３：ウィンカーセンサ。
【技術分野】
【０００１】
本発明は、車両事故防止システムに関するものである。
【背景技術】
【０００２】
カメラにより自車両周辺を撮像して、周辺画像を利用者に提示することで、安全な走行を支援するような技術が知られている（例えば、特許文献１参照）。
【０００３】
【特許文献１】特開２００７−１５８４２６号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、特許文献１に記載の技術では、自車両の後方および両側方の情報収集を複数のカメラで行う必要があるため、撮像機器や画像の演算処理に関するコストがかかる。
【０００５】
そこで、本発明では、安全な走行を支援することを目的とする。
【課題を解決するための手段】
【０００６】
以上に記載した課題を解決するため、本発明の車両事故防止システムは、自車両に搭載され、自車両の後方を異なる視点から撮像し、視差のある第１の画像及び第２の画像を出力する撮像装置と、前記撮像装置の出力から他車両を認識すると、自車両と前記他車両との位置関係、自車両から前記他車両までの距離、および前記他車両の速度を算出する演算手段と、自車両の速度の低下、もしくは走行方向の変化を検出する検出手段と、前記演算手段の出力と前記検出手段の出力とから、自車両と他車両の衝突の可能性を判断し、衝突の可能性のある場合に警告を発する警告手段と、を有することを特徴とする車両事故防止システムを有することを特徴とする。
【発明の効果】
【０００７】
以上のように、本発明によれば、安全な走行を支援することができる。
【発明を実施するための最良の形態】
【０００８】
以下、本発明を実施するための最良の形態について、図面を参照して説明する。
【０００９】
図１は、本発明の一実施形態に係る車両事故防止システム１の構成を示すブロック図である。
【００１０】
車両事故防止システム１は、周辺車両の動きから危険を予測して利用者に警告する車両事故防止装置１０と、車載カメラによって車両周辺を撮像する撮像装置２０と、撮像装置２０の撮像する領域に光を照射する照明装置３０と、車両の走行状態を検出する各種センサからなるセンサ群４０と、を有する。
【００１１】
撮像装置２０は、第１の画像を撮像する第一のカメラである右側カメラ２１ａと、第２の画像を撮像する第二のカメラである左側カメラ２１ｂと（これらを区別しない場合には、以下、ステレオカメラ２１と称する）、を有する。これらは同一の高さで、かつ、それぞれの光軸が平行になるような所定の間隔（基線長）で配置されるステレオカメラである。ステレオカメラ２１は、例えば、車両の後方に設置され、車両後方側の所定の撮影範囲を撮像する。
【００１２】
各カメラはフレームレートに従って、第１の画像および第２の画像からなる１対のステレオ画像を出力する。ステレオ画像は、図示しないＡ／Ｄ変換器を経て、デジタルデータとして車両事故防止装置１０へと送られる。各カメラの駆動は、車両事故防止装置１０からの制御を受けても良いし、撮像装置２０の備える図示しないカメラの制御部によって、独立して駆動しても良い。
【００１３】
照明装置３０は、近赤外光を照射可能な光源（例えば、ＬＥＤ等）を備え、撮像装置２０のフレームレートに同期して、フレームスキャンに際したタイミングで近赤外光を照射する。
【００１４】
センサ群４０は、ブレーキセンサ４１と、車速センサ４２と、ウィンカーセンサ４３と、を備える。
【００１５】
ブレーキセンサ４１は、運転者によるブレーキペダルの踏み込み状態を検出し、その状態に対応する検出信号を出力する。例えば、運転者がブレーキペダルを踏み込んだ時にはオン信号を、運転者がブレーキから足を離してブレーキペダルを解放した時にはオフ信号を車両事故防止装置１０へと出力する。
【００１６】
車速センサ４２は、自車両の走行速度を検出して、速度に応じた検出信号を車両事故防止装置１０へと出力する。車速センサ４２は、車速を検出可能なセンサであればどのようなものでもよく、各車輪の回転数を検出する車輪速センサであってもよいし、車輪につながる車軸の回転数を検出する回転センサであってもよい。
【００１７】
ウィンカーセンサ４３は、運転者による方向指示器の操作を検出し、対応する検出信号を出力する。例えば、運転者が右方向の方向指示操作を行った時には、右方向指示信号を、左方向の方向指示操作を行った時には、左方向指示信号を、車両事故防止装置１０へと出力する。
【００１８】
次に、車両事故防止装置１０について説明する。車両事故防止装置１０は、制御部１１と、記憶部１２と、入出力インターフェース部（以下、I／Ｆ部と称する）１３と、を備えている。
【００１９】
記憶部１２は、画像記憶領域１２１と、変換テーブル記憶領域１２２と、テンプレート記憶領域１２３と、管理テーブル記憶領域１２４と、警戒フラグ記憶領域１２５と、を有する。
【００２０】
画像記憶領域１２１は、車両事故防止装置１０の画像処理部１１１が取得、生成する各種画像、例えば、ステレオカメラ２１から取得した一対のステレオ画像、当該一対のステレオ画像のうち、基準となる画像に前処理を施したフレーム画像、当該フレーム画像より生成された俯瞰画像、当該俯瞰画像から生成されたエッジ画像を記憶する。
【００２１】
変換テーブル記憶領域１２２は、ステレオカメラ２１の撮像したステレオ画像のうち、基準となる画像から俯瞰画像を生成するために必要な変換テーブル（図示しない）を予め記憶する。
【００２２】
変換テーブルとは、例えば、フレーム画像の各画素の座標位置を、俯瞰画像の座標位置に対応付けて、各座標について角速度やレンズの歪曲収差を補正するための補正パラメータを配したものである。補正パラメータとは、例えば、カメラの設置位置、設置角度、レンズ歪み、ＣＣＤサイズ等であり、レンズの光学特性やカメラの設定等に基づいて事前に設定される。
【００２３】
テンプレート記憶領域１２３には、１つ前フレームのエッジ画像中における他車両が写り込んだ領域（車両領域）の特徴量が、当該他車両を追尾するためのテンプレートとして記憶されている。各テンプレートには識別のためのＩＤが割り振られ、対応するＩＤとともに記憶される。なお、ここでの特徴量とは、どのような値でもよく、種々の画像成分の分布、強度、累積値等を用いることが可能である。
【００２４】
管理テーブル記憶領域１２４には、図２に示すように、画像処理部１１１が取得したステレオ画像を識別するためのステレオＩＤが格納されるステレオＩＤ格納領域１２４ａと、当該ステレオ画像を取得した際に、画像処理部１１１が車速センサ４２へと要求して取得した自車両の速度が格納される車速格納領域１２４ｂと、当該ステレオ画像に写っている（相関がある）と判断された車両領域（テンプレート）のＩＤが格納されるテンプレートＩＤ格納領域１２４ｃと、車両領域の座標が格納される座標格納領域１２４ｄと、車両領域で特定される他車両が自車両（ステレオカメラ）に対してどの位置にあるかを示す位置情報が格納される位置情報格納領域１２４ｅと、視差から導き出される自車両と他車両との間の距離が格納される距離格納領域１２４ｆと、を備える管理テーブルが記憶される。
【００２５】
警戒フラグ記憶領域１２５は、図４に示すような警戒フラグテーブルが記憶されている。警戒フラグテーブルは、後方警戒フラグ格納領域１２５ａと、右後方警戒フラグ格納領域１２５ｂと、左後方警戒フラグ格納領域１２５ｃと、を備えている。警戒フラグテーブルに格納される警戒フラグに関しては、後述する。
【００２６】
制御部１１は、撮像装置２０から取得した画像をエッジ画像に変換する画像処理部１１１と、エッジ画像に含まれる他車両を検出する車両認識部１１２と、自車両と他車両との間の距離を算出する距離算出部１１３と、警戒状態の期間を設定する警戒判断部１１４と、警戒状態の際にセンサから所定の信号を受けると、運転者へ危険を知らせる警告を発する警告部１１５と、を有する。
【００２７】
画像処理部１１１は、ステレオカメラ２１で撮像された車両後方のステレオ画像から、エッジ画像を生成する。
【００２８】
より具体的には、画像処理部１１１は、まず、ステレオカメラ２１が撮像した一対のステレオ画像を取得して、これにステレオＩＤを割り当てて、当該ステレオＩＤとともに画像記憶領域１２１へと時系列順に蓄積する。
【００２９】
そして、画像処理部１１１は、管理テーブル記憶領域１２４に記憶される、図２に示すような管理テーブルに、新規に取得したステレオ画像のレコードを新たに生成し、当該ステレオＩＤをステレオＩＤ格納領域１２４ａへと格納する。また、車速センサ４２へと信号取得要求を出力して自車両の車速を取得し、当該レコードの車速格納領域１２４ｂへと格納する。
【００３０】
次に、画像処理部１１１は、取得したステレオ画像のうち、基準となる一方のステレオカメラ（ここでは、右側カメラ２１ａ）の撮像した第１の画像（便宜上、ここで得た基準となる最新の第１の画像を、基準画像Ａとして説明する）に対して前処理を行って、図３に示すようなフレーム画像Ａ１を生成し、画像記憶領域１２１へと記憶させる。前処理とは、例えば、フィルタリングやガンマ補正等、一般的なデジタル画像処理の一環であるので、ここでは詳述しない。
【００３１】
その後、画像処理部１１１は、フレーム画像Ａ１に対して変換テーブルに基づいて俯瞰変換処理を実行し、俯瞰画像（天空から垂直に地上面を見た場合の平面図）Ａ２を生成する。そして、俯瞰Ａ２を、画像記憶領域１２１へと蓄積する。
【００３２】
さらに、画像処理部１１１は、前述の処理で生成した俯瞰画像に対して二値化処理を行った後、画像内の物体を特徴づける線要素（濃淡が急に変化している領域）をその境界線によって抽出して強調するエッジ処理を実行し、図３に示すようなエッジ画像Ａ３を生成する。生成されたエッジ画像Ａ３は、画像記憶領域１２１へとさらに蓄積される。
【００３３】
なお、二値化処理は、例えば、各画素の輝度に対して固定閾値を用いた単純二値化法を用いることにより実行可能である。
【００３４】
車両認識部１１２は、基準画像Ａから生成されたエッジ画像Ａ３内に他車両が存在するか否かを検出する。
【００３５】
具体的に、まず、車両認識部１１２は、画像処理部１１１によって生成されたエッジ画像Ａ３を画像記憶領域１２１より読み出して、画像内に他車両と考えられる車両領域が存在するか否かを特定する車両認識を行う。
【００３６】
車両認識は、どのような方法を用いてもよく、例えば、車両のテンプレートを予め記憶しておき、画像全域に対してテンプレートマッチング処理を行うことで実現可能である。
【００３７】
また、車両は通常はほぼ方形であると考えられるため、車両の左右側面や、上下面の輪郭に現れるエッジは、お互いに対応するエッジ対として検出される。従って、エッジ画像Ａ３の縦方向および横方向のエッジ成分の累積量を区間ごとに抽出したヒストグラムを生成し、上下および左右のエッジ対に囲まれた部分を、車両領域として特定してもよい。なお、特定されたエッジ画像Ａ３中の車両領域は、追尾目標となる他車両のテンプレートとして、テンプレート記憶領域１２３に格納される。
【００３８】
ここで、車両認識部１１２は、エッジ画像Ａ３内で検出された全ての車両領域の各々について、テンプレート記憶領域１２３に既に登録されているか否かを、テンプレートマッチングにより判断する。
【００３９】
車両領域が既にテンプレートとして登録されている場合、前フレームでも当該車両領域で特定される他車両がカメラで捕捉されていると考えられるため、他車両の１フレーム間の変化量ｅを後述の処理で算出できるからである。
【００４０】
なお、テンプレートマッチングにはどのような手法を用いてもよい。また、認識対象である他車両は、自車両からの距離が変動してその大きさや縦横比が変化するため、テンプレートは適宜圧縮、伸長して扱うものとする。
【００４１】
車両認識部１１２は、エッジ画像Ａ３で検出された車両領域に対して所定の閾値以上相関するテンプレートがテンプレート記憶領域１２３に既に登録されている場合、車両領域の特徴量を新たなテンプレートとして既存のテンプレートに上書きし、これを更新する。なお、所定の閾値以上相関するテンプレートが複数存在する場合には、最も相関値の高いテンプレートを更新する。
【００４２】
そして、車両認識部１１２は、更新されたテンプレートのテンプレートＩＤを、管理テーブルのテンプレートＩＤ格納領域１２４ｃへと格納する。
【００４３】
エッジ画像Ａ３で検出された車両領域と所定の閾値以上相関するテンプレートが登録されていなかった場合には、テンプレートＩＤを新たに割り振って、当該車両領域の特徴量を新規のテンプレートとしてテンプレート記憶領域１２３に登録する。そして、当該テンプレートＩＤを、管理テーブルのテンプレートＩＤ格納領域１２４ｃへと格納する。
【００４４】
なお、車両認識部１１２は、テンプレート記憶領域１２３に記憶されるテンプレートのうち、エッジ画像Ａ３中で検出されなかった（即ち、上記処理で更新されなかった）テンプレートについては、最新のフレームで捕捉されておらず、追尾対象から外れた他車両であると判断し、テンプレート記憶領域１２３から削除する。
【００４５】
次に、車両認識部１１２は、各車両領域が、エッジ画像Ａ３中で自車両から見てどの位置に存在しているかを判断する。
【００４６】
具体的に、車両認識部１１２は、まず、車両領域として特定された領域の座標を、座標格納領域１２４ｄへと登録する。そして、エッジ画像Ａ３の座標を縦方向に３分割した際に、各車両領域が自車両から見て「右後方」、「後方」、「左後方」のどの位置に存在するかを判断する。なお、車両領域が分割された領域間に跨って存在する時は、車両領域として特定された座標がより多く属する位置を選択すればよい。車両認識部１１２は、特定された各車両領域の位置を位置情報として、管理テーブルの位置情報格納領域１２４ｅへと格納する。
【００４７】
なお、車両領域の位置の判断はこれに限らず、例えば車線を形成する白線を認識することで行ってもよい。
【００４８】
車両認識部１１２は、全ての車両領域について上述の処理を終えると、距離算出部１１３へ距離算出要求を出力する。
【００４９】
距離算出部１１３は、車両認識部１１２からの距離算出要求を受け付けると、エッジ画像Ａ３中で検出された他車両を示す車両領域の全てに対して、それぞれ自車両との間の距離を算出する。
【００５０】
具体的に、距離算出部１１３は、まず管理テーブルを参照して、エッジ画像Ａ３で検出された車両領域（テンプレート）の座標情報を抽出する。そして、変換テーブルに基づき、エッジ画像Ａ３の元画像である基準画像Ａ上における車両領域を特定する。
【００５１】
そして、距離算出部１１３は、特定した車両領域を所定の大きさのテンプレートブロックに分割し、当該テンプレートブロックごとに基準画像Ａと対をなす第２の画像のエピポーラ線を含む所定のサーチウィンドウ内を探索（１画素ずつずらしながら評価値を算出）し、テンプレートブロックと最も一致する領域を決定して、その水平シフト値から視差ｄを得る。
【００５２】
なお、評価値の算出には、例えば、ＳＡＤ(Sum of Absolute Difference)法を用いる。ＳＡＤ法とは、両画像のブロック内の各画素について差の絶対値を取り、その総和を評価値とするものである。この評価値が小さいほどブロック間の一致度が高く、その水平方向のシフト量から視差ｄが与えられる。もちろん、評価値の算出法は上記に限定されず、ＳＡＤ法の他に、ブロック内の各画素について差の二乗を取るＳＳＤ(Sum of Squared intensity Difference)法、各画素の輝度値から局所的な平均値を引き、分散値の類似度を求めるＮＣＣ(Normalized Cross Correlation)法等、どのような手法を用いてもよい。
【００５３】
次に、距離算出部１１３は、三角測量の原理により視差ｄから他車両までの距離を算出する。距離の算出は、記憶部１２に視差と距離との対応表を予め記憶させておくことで可能である。距離算出部１１３は、各テンプレートブロックついて得た視差ｄのうち一番大きな値を用いて算出したものを、自車両から車両領域が示す他車両までの最短距離として、距離格納領域１２４ｆへと格納する。
【００５４】
全ての車両領域について距離を算出すると、距離算出部１１３は、警戒判断部１１４へと判断要求を出力する。
【００５５】
警戒判断部１１４は、判断要求を受け付けると、基準画像Ａと、一つ前のフレームの基準画像Ａ′とで、同じテンプレートＩＤの距離格納領域１２４ｆに格納される距離を比較し、１フレーム間における他車両と自車両との間の距離の変化量ｅを算出する。
【００５６】
変化量ｅが負の値である（他車両と自車両の距離が縮まる方向に変化している）場合、警戒判断部１１４は、管理テーブルの車速格納領域１２４ｂから、基準画像Ａと、一つ前のフレームの基準画像Ａ′と、の取得時における自車両の速度の平均値ａを算出する。
【００５７】
次に、警戒判断部１１４は、変化量ｅ、および、自車両の速度の平均値ａに基づいて、他車両の速度を算出し、自車両と他車両との間の距離が所定の値（ここでは、ゼロ）になるのにかかる時間、すなわち、自車両との接触が懸念される予測時間ｔを算出する。
【００５８】
例えば、仮に、フレームレートが１ｆ／ｍｉｎ、他車両との現在の距離が０．１ｋｍ、自車両の速度の平均値ａが５０ｋｍ／ｈ、１フレーム間の変化量ｅが−０．１ｋｍであるとすると、他車両の速度は５６ｋｍ／ｈであると考えられる。従って、予測時間ｔは、１ｍｉｎとなり、１分後には、自車両と他車両との間の距離がゼロになると考えられる。
【００５９】
そして、警戒判断部１１４は、この予測時間ｔが所定の閾値Ｔ１以下であった場合、警戒状態を開始させるために警戒フラグテーブルを更新する。
【００６０】
ここで、警戒状態の開始時を定める閾値はＴ１に限定されず、位置情報格納領域１２４ｅに格納される他車両の存在する位置によって、適宜使い分けるような構成としてもよい。例えば、他車両が「後方」に存在する場合は、急ブレーキ等に備え、「右後方」および「左後方」の際に使われる閾値Ｔ１に比べて、より大きな閾値Ｔ２を使用することで、早い段階で警戒状態を開始することが可能である。
【００６１】
警戒状態とは、運転者によりブレーキペダルや、方向指示器（ウィンカー）の操作があった場合に、警告部１１５が、図示しない音声出力装置や表示装置等によって、警告音を出力したり、警告メッセージを表示したりすることで、他車両との接触を運転者に警告する期間である。
【００６２】
警戒判断部１１４は、警告部１１５が警戒状態であるか否かを判断するために、図４のような警戒フラグテーブルを適宜更新する。
【００６３】
具体的に、まず、警戒判断部１１４は、予測時間ｔが所定の閾値Ｔ１以下である他車両が検出されると、管理テーブルの位置情報格納領域１２４ｅを参照して、自車両に対する他車両の位置を抽出する。
【００６４】
他車両の位置が「後方」であった場合、警戒判断部１１４は、警戒フラグテーブルの後方警戒フラグ格納領域１２５ａに、警戒状態であることを示す警戒フラグ（例えば、「１」）を設定する。
【００６５】
同様に、警戒判断部１１４は、他車両の位置が「右後方」であった場合、右後方警戒フラグ格納領域１２５ｂに警戒フラグ「１」を、「左後方」であった場合には、左後方警戒フラグ格納領域１２５ｃに警戒フラグ「１」を設定する。
【００６６】
また、警戒判断部１１４は、警戒フラグ「１」を登録すると同時に、図示しないタイマをスタートさせる。タイマは、所定の値をカウントダウンし、警戒状態の終了時を定める。
【００６７】
これにより、例えば図５に示すように、他車両がカメラから消失したとしても、サイドミラーでも確認不可能な死角に存在している可能性があることから、他車両が死角に移動した後でも警告がなされるような予備時間を設けることができる。
【００６８】
なお、制御部１１は、「後方」「右後方」「左後方」のそれぞれに対して警戒状態の持続時間を計測する少なくとも３つのタイマＡ、Ｂ、Ｃを備えており、各タイマは、所定の値のカウントダウンを開始し、値が０になると停止する。警戒判断部１１４は、タイマの動作が終了すると、警戒状態でないことを示す警戒フラグ「０」を登録する。
【００６９】
なお、タイマのカウントダウン値は、変化量ｅおよび自車両の車長から、他車両が死角から抜け出して運転者が他車両を目視可能になるよう自車両と並ぶ位置まで移動する時間を算出し、これを設定してもよい。
【００７０】
警告部１１５は、後方警戒フラグ格納領域１２５ａに警戒フラグ「１」が登録されている際（警戒状態）にブレーキセンサ４１からオン信号を受信すると、運転者に追突の可能性がある旨の警告を発する。
【００７１】
また、警告部１１５は、右後方警戒フラグ格納領域１２５ｂに警戒フラグ「１」が登録されている際に、ウィンカーセンサ４３からの右方向指示信号を検出すると、運転者に他車両と接触の可能性がある旨の警告を発する。さらに、左後方警戒フラグ格納領域１２５ｃに警戒フラグ「１」が登録されている際に、ウィンカーセンサ４３からの左方向指示信号を検出した際にも、運転者に他車両と接触の可能性がある旨の警告を発する。
【００７２】
Ｉ／Ｆ部１３は、車両事故防止装置１０と、他の装置と、を情報の出入力可能に接続する。通信方式にはどのような手段を利用してもよい。
【００７３】
ここで、車両事故防止装置１０のハードウェア構成について説明する。図７は、車両事故防止装置１０の電気的な構成を示すブロック図である。
【００７４】
図７に示すように、車両事故防止装置１０は、コンピュータの主要部であって、各装置を集中的に制御するＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）５１と、各種データを書換え可能に記憶するメモリ５２と、を備える。さらに、車両事故防止装置１０は、各種のプログラム、プログラムが生成するデータ等を格納する外部記憶装置５３と、外部の装置と通信を行うＩ／Ｆ部５４と、を備える。これらの各装置は、バスなどの信号線５５を介してＣＰＵ５１と接続される。
【００７５】
ＣＰＵ５１は、例えば、外部記憶装置５３上に格納されたプログラムをメモリ５２上にロードして実行することにより、各種処理を実行する。
【００７６】
以上のように構成される車両事故防止装置１０での処理について、図６に示すフローチャートを用いて説明する。図６は、車両事故防止装置１０が、撮像装置２０からのステレオ画像を取得してから、警戒状態を設定する処理の流れを示すフロー図である。
【００７７】
車両事故防止装置１０の画像処理部１１１は、ステレオカメラ２１から出力されるステレオ画像を取得して画像記憶領域１２１へと時系列順に蓄積するとともに、管理テーブルにステレオ画像の新しいレコードを生成し、新たなステレオＩＤを設定してステレオＩＤ格納領域１２４ａへと格納する。また、車速センサ４２へと信号取得要求を出力して自車両の車速を取得し、当該レコードの車速格納領域１２４ｂへと格納する（Ｓ１１）。
【００７８】
次に、画像処理部１１１は、ステレオ画像から、エッジ画像Ａ３を生成する（Ｓ１２）。
【００７９】
具体的に、画像処理部１１１は、取得したステレオ画像のうち、基準となる第１の画像である基準画像Ａに対して前処理を行ってフレーム画像Ａ１を生成する。さらに、画像処理部１１１は、フレーム画像Ａ１に対して俯瞰変換処理を実行して変換テーブルに基づく俯瞰画像Ａ２を生成し、これに対して二値化処理およびエッジ処理を施してエッジ画像Ａ３を生成する。生成された各画像は、画像記憶領域１２１へと蓄積される。
【００８０】
新たなエッジ画像Ａ３が生成されると、車両認識部１１２は、エッジ画像Ａ３内に他車両が存在するか否かを検出する（Ｓ１３）。
【００８１】
具体的に、車両認識部１１２は、上下および左右のエッジ対に囲まれた部分を、車両領域として特定する。
【００８２】
ステップ１３で他車両の車両領域が検出されなかった場合（ＮＯ）、車両認識部１１２は、他車両が存在しないと判断して、テンプレート記憶領域１２３に記憶されるテンプレートとそのＩＤに関する情報を、全て削除し（Ｓ１４）、処理を終了する。
【００８３】
ステップ１３で他車両の車両領域が検出された場合（ＹＥＳ）、車両認識部１１２は、検出された全ての車両領域が、既にテンプレートとしてテンプレート記憶領域１２３に登録されているか否かを、テンプレートマッチングにより判断する（Ｓ１５）。
【００８４】
ステップ１５において、エッジ画像Ａ３で検出された車両領域と、所定の閾値以上相関するテンプレートが既に登録されている場合（ＹＥＳ）、車両認識部１１２は、車両領域の特徴量を新たなテンプレートとして既存のテンプレートに上書きし、テンプレートを更新する（Ｓ１６）。また、車両認識部１１２は、更新されたテンプレートのテンプレートＩＤを、テンプレートＩＤ格納領域１２４ｃへと格納する。
【００８５】
ステップ１５において、エッジ画像Ａ３で検出された車両領域と、所定の閾値以上相関するテンプレートが登録されていなかった場合（ＮＯ）、当該車両領域にテンプレートＩＤを新たに割り振り、車両領域の特徴量をテンプレートとしてテンプレート記憶領域１２３に登録する。そして、当該テンプレートのＩＤを、テンプレートＩＤ格納領域１２４ｃへと格納する（Ｓ１７）。
【００８６】
エッジ画像Ａ３で検出された車両領域の全てについて上記ステップ１５からステップ１７までの処理を終えると、車両認識部１１２は、エッジ画像Ａ３で検出されなかったテンプレート、即ち、ステップ１６で更新されなかったテンプレートと、そのＩＤと、をテンプレート記憶領域１２３から削除する（Ｓ１８）。
【００８７】
次に、車両認識部１１２は、テンプレート記憶領域１２３に登録された各車両領域が、自車両から見てどの位置に存在しているかをそれぞれ判断する（Ｓ１９）。
【００８８】
具体的に、車両認識部１１２は、まず、エッジ画像Ａ３中で車両領域として特定された領域の座標を、座標格納領域１２４ｄへと登録する。そして、車両認識部１１２は、エッジ画像Ａ３の座標を、縦方向に３分割して、車両領域が自車両から見て「右後方」、「後方」、「左後方」のどの位置に存在するかを判断し、管理テーブルの位置情報格納領域１２４ｅへと位置情報を格納する。そして、距離算出部１１３へ距離算出要求を出力する。
【００８９】
距離算出部１１３は、車両認識部１１２からの距離算出要求を受け付けると、各テンプレートに基づいて、他車両と自車両との間の距離を算出する（Ｓ２０）。
【００９０】
具体的に、距離算出部１１３は、エッジ画像Ａ３で検出された車両領域の座標を座標格納領域１２４ｄから抽出し、これと対応する基準画像Ａ上での車両領域を変換テーブルに基づいて特定する。そして、基準画像Ａと対をなす第２の画像からなるステレオ画像より、当該車両領域の水平シフト値を算出し視差ｄを得る。
【００９１】
距離算出部１１３は、視差ｄに基づいて、自車両から車両領域までの距離を算出して、基準画像ＡのＩＤが格納されるレコードの距離格納領域１２４ｆへと格納する。全ての車両領域に対してこの処理を終えると、距離算出部１１３は、警戒判断部１１４に判断処理を要求する。
【００９２】
警戒判断部１１４は、基準画像Ａと、一つ前のフレームの基準画像Ａ′とで、同じテンプレートＩＤの距離格納領域１２４ｆに格納される他車両と自車両との間の距離を比較し、フレームレートに基づいて１フレームにおける他車両と自車両との間の距離の変化量ｅを算出する（Ｓ２１）。
【００９３】
次に、警戒判断部１１４は、変化量ｅが正の値（他車両と自車両の距離が広がる方向に変化している場合）であるか、負の値（他車両と自車両の距離が縮まる方向に変化している場合）であるかを判断する（Ｓ２２）。
【００９４】
ステップ２２において、変化量ｅが正の値である場合（ＹＥＳ）、警戒判断部１１４は、処理を終了する。変化量ｅが負の値である場合（ＮＯ）、警戒判断部１１４は、管理テーブルの車速格納領域１２４ｂから、基準画像Ａと、一つ前のフレームの基準画像Ａ′と、の取得時における自車両の速度の平均値ａを算出する（Ｓ２３）。
【００９５】
次に、警戒判断部１１４は、フレームレートと変化量ｅ、および、自車両の速度の平均値ａに基づいて、他車両の速度を算出し、自車両と他車両との間の距離が０になるのにかかる時間、すなわち、自車両との接触が懸念される予測時間ｔを算出する（Ｓ２４）。
【００９６】
さらに、警戒判断部１１４は、予測時間ｔが所定の閾値Ｔ１以下であるか否かを判断する（Ｓ２５）。
【００９７】
ステップ２５において、予測時間ｔが所定の閾値Ｔ１以下でなかった場合（ＮＯ）、警戒判断部１１４は、処理を終了する。予測時間ｔが所定の閾値Ｔ１以下であった場合（ＹＥＳ）、警戒判断部１１４は、管理テーブルの位置情報格納領域１２４ｅを参照して、他車両の自車両に対する位置を抽出し、警戒状態であることを示す警戒フラグを登録する（Ｓ２６）。
【００９８】
具体的に、警戒判断部１１４は、他車両が「後方」の位置であった場合、警戒フラグテーブルの後方警戒フラグ格納領域１２５ａには警戒フラグ「１」を登録してタイマＡを動作させ、他車両が「右後方」の位置であった場合、右後方警戒フラグ格納領域１２５ｂに警戒フラグ「１」を登録してタイマＢを動作させ、他車両が「左後方」の位置であった場合、左後方警戒フラグ格納領域１２５ｃに警戒フラグ「１」を登録してタイマＣを動作させる。なお、警戒判断部１１４は、各タイマの動作が停止すると、対応する警戒フラグの格納領域に警戒状態ではないことを示す警戒フラグ「０」を登録する。
【００９９】
以上、本発明の一実施形態について説明した。
【０１００】
上記実施形態によれば、車両事故防止システム１は、自車両および他車両の速度と、その間の距離の変化量に基づいて接触する可能性のある時間を予測し、より正確なタイミングで運転者に警告を行うことが可能である。
【０１０１】
また、例えば、他車両がカメラの撮像角から脱して死角となる領域へ進入した場合であっても、一定の予備時間が設けられているため、運転者は所定の期間、警告を受けることが可能である。
【０１０２】
なお、本発明は、上記実施形態に制限されない。上記実施形態は、本発明の技術的思想の範囲内で様々な変形が可能である。
【０１０３】
例えば、閾値Ｔ１は、他車両の速度によりその値を変動する構成としてもよい。他車両の速度に比例して閾値Ｔ１を大きな値とすることにより、運転者は、他車両が高速で走行している場合は、早い段階で警告を受けることが可能となる。
【０１０４】
上記実施形態では、警告を実行するトリガとしてブレーキセンサ４１やウィンカーセンサ４３の検出信号を用いたが、センサはこれに限定されず、例えば、操舵角センサや角速度センサ等の検出信号から、警戒状態の開始を判断してもよい。
【０１０５】
さらに、上記の実施形態では、本発明を車載装置とする例について説明したが、本発明は、車載用以外の用途にも適用することができる。
【図面の簡単な説明】
【０１０６】
【図１】車両事故防止システム１の構成を示すブロック図である。
【図２】管理テーブルの概略図である。
【図３】フレーム画像Ａ１およびエッジ画像Ａ３の概略図である。
【図４】警戒フラグテーブルの概略図である。
【図５】撮像装置２０の撮像角およびサイドミラー角を示す概略図である。
【図６】車両事故防止装置１０の実行する処理の流れを示すフロー図である。
【図７】車両事故防止装置１０の電気的な構成を示すブロック図である。
【符号の説明】
【０１０７】
１：車両事故防止システム、１０：車両事故防止装置、１１：制御部、１１１：画像処理部、１１２：車両認識部、１１３：距離算出部、１１４：警戒判断部、１１５：警告部、１２：記憶部、１２１：画像記憶領域、１２２：変換テーブル記憶領域、１２３：テンプレート記憶領域、１２４：管理テーブル記憶領域、１２５：警戒フラグ記憶領域、１３：Ｉ／Ｆ部、２０：撮像装置、３０：照明装置、４０：センサ群、４１：ブレーキセンサ、４２：車速センサ、４３：ウィンカーセンサ。
【特許請求の範囲】
【請求項１】
自車両と他車両との衝突を回避するための車両事故防止システムにおいて、
自車両に搭載され、自車両の後方を異なる視点から撮像し、視差のある第１の画像及び第２の画像を出力する撮像装置と、
前記撮像装置の出力から他車両を認識すると、自車両と前記他車両との位置関係、自車両から前記他車両までの距離、および前記他車両の速度を算出する演算手段と、
自車両の速度の低下、もしくは走行方向の変化を検出する検出手段と、
前記演算手段の出力と前記検出手段の出力とから、自車両と他車両の衝突の可能性を判断し、衝突の可能性のある場合に警告を発する警告手段と、を有すること
を特徴とする車両事故防止システム。
【請求項２】
請求項１に記載の車両事故防止システムであって、
前記演算手段は、
前記自車両から前記他車両までの距離が所定の値に達するまでの予測時間を算出し、
前記警告手段は、
前記予測時間が所定の値以下であった場合に、前記検出手段が自車両の速度の低下もしくは走行方向の変化を検出すると、衝突の可能性のあると判断すること
を特徴とする車両事故防止システム。
【請求項３】
請求項１または２に記載の車両事故防止システムであって、
前記検出手段は、運転者のブレーキ操作を検出するブレーキセンサを備え、
前記警告手段は、
前記予測時間が所定の閾値以下であった場合に、前記他車両が自車両に対して後方に位置し、かつ、前記ブレーキセンサからブレーキ操作があったことを示す信号が検出されると、衝突の可能性のあると判断すること
を特徴とする車両事故防止システム。
【請求項４】
請求項１から３のいずれか一項に記載の車両事故防止システムであって、
前記検出手段は、運転者の方向指示操作を検出するウィンカーセンサを備え、
前記警告手段は、
前記予測時間が所定の閾値以下であった場合に、前記他車両が自車両に対して右後方に位置し、かつ、前記ウィンカーセンサから右への方向指示があったことを示す信号が検出されると、右後方の前記他車両と衝突の可能性のあると判断し、
前記他車両が自車両に対して左後方に位置し、かつ、前記ウィンカーセンサから左への方向指示があったことを示す信号が検出されると、左後方の前記他車両と衝突の可能性のあると判断すること
を特徴とする車両事故防止システム。
【請求項１】
自車両と他車両との衝突を回避するための車両事故防止システムにおいて、
自車両に搭載され、自車両の後方を異なる視点から撮像し、視差のある第１の画像及び第２の画像を出力する撮像装置と、
前記撮像装置の出力から他車両を認識すると、自車両と前記他車両との位置関係、自車両から前記他車両までの距離、および前記他車両の速度を算出する演算手段と、
自車両の速度の低下、もしくは走行方向の変化を検出する検出手段と、
前記演算手段の出力と前記検出手段の出力とから、自車両と他車両の衝突の可能性を判断し、衝突の可能性のある場合に警告を発する警告手段と、を有すること
を特徴とする車両事故防止システム。
【請求項２】
請求項１に記載の車両事故防止システムであって、
前記演算手段は、
前記自車両から前記他車両までの距離が所定の値に達するまでの予測時間を算出し、
前記警告手段は、
前記予測時間が所定の値以下であった場合に、前記検出手段が自車両の速度の低下もしくは走行方向の変化を検出すると、衝突の可能性のあると判断すること
を特徴とする車両事故防止システム。
【請求項３】
請求項１または２に記載の車両事故防止システムであって、
前記検出手段は、運転者のブレーキ操作を検出するブレーキセンサを備え、
前記警告手段は、
前記予測時間が所定の閾値以下であった場合に、前記他車両が自車両に対して後方に位置し、かつ、前記ブレーキセンサからブレーキ操作があったことを示す信号が検出されると、衝突の可能性のあると判断すること
を特徴とする車両事故防止システム。
【請求項４】
請求項１から３のいずれか一項に記載の車両事故防止システムであって、
前記検出手段は、運転者の方向指示操作を検出するウィンカーセンサを備え、
前記警告手段は、
前記予測時間が所定の閾値以下であった場合に、前記他車両が自車両に対して右後方に位置し、かつ、前記ウィンカーセンサから右への方向指示があったことを示す信号が検出されると、右後方の前記他車両と衝突の可能性のあると判断し、
前記他車両が自車両に対して左後方に位置し、かつ、前記ウィンカーセンサから左への方向指示があったことを示す信号が検出されると、左後方の前記他車両と衝突の可能性のあると判断すること
を特徴とする車両事故防止システム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【公開番号】特開２０１０−１３４８５２（Ｐ２０１０−１３４８５２Ａ）
【公開日】平成２２年６月１７日（２０１０．６．１７）
【国際特許分類】
【出願番号】特願２００８−３１２３８７（Ｐ２００８−３１２３８７）
【出願日】平成２０年１２月８日（２００８．１２．８）
【出願人】（０００００４１１２）株式会社ニコン (12,601)
【Ｆターム（参考）】
【公開日】平成２２年６月１７日（２０１０．６．１７）
【国際特許分類】
【出願日】平成２０年１２月８日（２００８．１２．８）
【出願人】（０００００４１１２）株式会社ニコン (12,601)
【Ｆターム（参考）】
[ Back to top ]