路面画像処理システム及び路面画像処理方法
【課題】ラインカメラの画像からラインカメラの視野範囲が移動した軌跡を特定し、路面全体の画像を正確に生成することが可能な技術を提供する。
【解決手段】本発明の路面画像処理システムは、車両と、車両に搭載されており、一方向に長い第１視野範囲内の路面を撮影する第１ラインカメラと、車両に搭載されており、一方向に長く、第１視野範囲と交差する第２視野範囲内の路面を撮影する第２ラインカメラと、車両の走行距離に応じて第１ラインカメラと第２ラインカメラに繰り返し撮影を指示する手段と、第１ラインカメラが撮影した画像系列にアフィン変換を施した画像と、第２ラインカメラが撮影した画像系列にアフィン変換を施した画像について、最も高い一致度を与えるアフィン変換パラメータを探索する手段と、探索されたアフィン変換パラメータに基づいて、第１視野範囲と第２視野範囲が交差する点の進行方向を算出する手段を備えている。
【解決手段】本発明の路面画像処理システムは、車両と、車両に搭載されており、一方向に長い第１視野範囲内の路面を撮影する第１ラインカメラと、車両に搭載されており、一方向に長く、第１視野範囲と交差する第２視野範囲内の路面を撮影する第２ラインカメラと、車両の走行距離に応じて第１ラインカメラと第２ラインカメラに繰り返し撮影を指示する手段と、第１ラインカメラが撮影した画像系列にアフィン変換を施した画像と、第２ラインカメラが撮影した画像系列にアフィン変換を施した画像について、最も高い一致度を与えるアフィン変換パラメータを探索する手段と、探索されたアフィン変換パラメータに基づいて、第１視野範囲と第２視野範囲が交差する点の進行方向を算出する手段を備えている。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、走行する車両から撮影された路面画像を処理する技術に関する。
【背景技術】
【０００２】
特許文献１に、走行しながら路面を撮影し、撮影した複数の画像を配列して路面の連続画像を生成するシステムが開示されている。この路面画像生成システムは、車両の幅方向に長い視野範囲を高精細に撮影するラインカメラを有している。車両がラインカメラの視野範囲の幅（車両の進行方向に沿った距離）だけ進む毎に、ラインカメラで路面を撮影する。ラインカメラで繰り返し撮影することで得られた複数枚の画像を配列することで、ラインカメラで撮影された範囲の路面全体の画像を生成することができる。また、この画像生成システムでは、磁気コンパスやジャイロセンサなどを用いて車両の進行方向を取得し、車両の走行距離とその走行距離における車両の進行方向から車両の走行軌道を演算し、演算した車両の走行軌道からラインカメラの視野の位置を演算する。ラインカメラで撮影した複数枚の画像を、撮影時のラインカメラの視野の位置に応じて配列することによって、ラインカメラで撮影された範囲の路面全体の画像を生成する。このように、ラインカメラで撮影した複数の画像を配列することで、路面がカーブしている場合にはカーブしている路面全体の画像を生成することができる。この技術がないと、カーブしている路面を撮影したにもかかわらず、直線的に伸びている路面画像が生成されてしまう。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００６−２１４８５４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
上記の技術では、車両の進行方向を取得するために、磁気コンパスやジャイロセンサなどのセンサが必要となる。ラインカメラで撮影した画像から車両の進行方向を取得することができれば、これらのセンサを車両に搭載していなくても、ラインカメラで撮影された範囲の路面全体の画像を正確に生成することができる。本明細書では、ラインカメラの画像からラインカメラの視野範囲が移動した軌跡を特定し、路面全体の画像を正確に生成することが可能な技術を提供する。
【課題を解決するための手段】
【０００５】
本発明の路面画像処理システムは、車両と、車両に搭載されており、一方向に長い第１視野範囲内の路面を撮影する第１ラインカメラと、車両に搭載されており、一方向に長く、第１視野範囲と交差する第２視野範囲内の路面を撮影する第２ラインカメラと、車両の走行距離に応じて第１ラインカメラと第２ラインカメラに繰り返し撮影を指示する手段と、第１ラインカメラが撮影した画像系列にアフィン変換を施した画像と、第２ラインカメラが撮影した画像系列にアフィン変換を施した画像について、最も高い一致度を与えるアフィン変換パラメータを探索する手段と、探索されたアフィン変換パラメータに基づいて、第１視野範囲と第２視野範囲が交差する点の進行方向を算出する手段を備えている。
【０００６】
上記のシステムにおいて車両が旋回して走行した場合、第１ラインカメラが撮影した画像系列を順に配列した画像と、第２ラインカメラで撮影した画像系列を順に配列した画像では、車両の進行方向に応じて画像の傾きがそれぞれ異なったものとなる。上記のシステムでは、第１ラインカメラの画像系列に対してアフィン変換を施した画像と、第２ラインカメラの画像系列に対してアフィン変換を施した画像について、最も高い一致度を与えるアフィン変換パラメータを探索する。この探索されたアフィン変換パラメータから、第１視野範囲と第２視野範囲が交差する点の進行方向を算出することができる。このシステムによれば、磁気コンパスやジャイロセンサなどのセンサを用いることなく、車両の進行方向を取得することができる。
【０００７】
上記の路面画像処理システムは、車両の走行距離に応じた第１視野範囲と第２視野範囲が交差する点の進行方向に基づいて、第１視野範囲と第２視野範囲が交差する点の軌跡を特定する手段をさらに備えることが好ましい。
【０００８】
上記の路面画像処理システムによれば、車両が旋回して走行した場合であっても、第１ラインカメラの画像系列と第２ラインカメラの画像系列から、第１視野範囲と第２視野範囲が交差する点の軌跡を特定し、車両の走行軌道を特定することができる。
【０００９】
上記の路面画像処理システムは、第１ラインカメラおよび／または第２ラインカメラが撮影した画像系列と、第１視野範囲と第２視野範囲が交差する点の軌跡に基づいて、路面の全体画像を生成する手段をさらに備えることが好ましい。
【００１０】
上記の路面画像処理システムによれば、車両が旋回して走行した場合であっても、路面の全体画像を正確に生成することができる。
【００１１】
本発明は方法として具現化することもできる。その方法は、車両と、車両に搭載されており、一方向に長い第１視野範囲内の路面を撮影する第１ラインカメラと、車両に搭載されており、一方向に長く、第１視野範囲と交差する第２視野範囲内の路面を撮影する第２ラインカメラと、車両の走行距離に応じて第１ラインカメラと第２ラインカメラに繰り返し撮影を指示する手段を備える路面画像撮影装置で撮影された路面の画像を処理する方法である。その方法は、第１ラインカメラが撮影した画像系列にアフィン変換を施した画像と、第２ラインカメラが撮影した画像系列にアフィン変換を施した画像について、最も高い一致度を与えるアフィン変換パラメータを探索する工程と、探索されたアフィン変換パラメータに基づいて、第１視野範囲と第２視野範囲が交差する点の進行方向を算出する工程を備えている。
【００１２】
上記の方法は、車両の走行距離に応じた第１視野範囲と第２視野範囲が交差する点の進行方向に基づいて、第１視野範囲と第２視野範囲が交差する点の軌跡を特定する工程をさらに備えることが好ましい。
【００１３】
上記の方法は、第１ラインカメラおよび／または第２ラインカメラが撮影した画像系列と、第１視野範囲と第２視野範囲が交差する点の軌跡に基づいて、路面の全体画像を生成する工程をさらに備えることが好ましい。
【発明の効果】
【００１４】
本発明の路面画像処理システムによれば、ラインカメラの画像からラインカメラの視野範囲が移動した軌跡を特定し、路面全体の画像を正確に生成することができる。
【図面の簡単な説明】
【００１５】
【図１】路面画像処理システム１０の概略側面図。
【図２】路面画像処理システム１０の概略上面図。
【図３】全体画像生成処理を示すフローチャート。
【図４】車両１２が旋回走行する際の、車両１２の進行方向Ｎ１と、ラインカメラ１４，１６の進行方向Ｎ２と、左側後輪１８ａの進行方向Ｎ３を示す図。
【図５】ラインカメラ１４，１６の画像系列から、ラインカメラ１４，１６の進行方向Ｎ２を特定する原理を示す図。
【図６】軌跡Ｔの更新処理と、全体路面画像Ｓの更新処理を示す図。
【図７】路面画像処理システム１００の概略上面図。
【発明を実施するための形態】
【００１６】
図１は、実施例に係る路面画像処理システム１０の概略側面図を示しており、図２は路面画像処理システム１０の概略上面図を示している。図１、２に示すように、路面画像処理システム１０は、車両１２と、ラインカメラ１４と、ラインカメラ１６と、エンコーダ１８と、記憶装置２０と、制御装置２２を有している。
【００１７】
車両１２は、ワンボックスカーを測定用に改造したものである。車両１２の上部には、車両１２から後方に突出する支持体２４が設置されている。ラインカメラ１４とラインカメラ１６は、支持体２４によって、車両１２の後方上部に固定されている。ラインカメラ１４とラインカメラ１６は、真下に向けて固定されている。ラインカメラ１４、１６は、大きさ１０μｍ×１０μｍの撮像素子（ＣＣＤ、ＣＭＯＳ等）が１本のライン状に多数（約２０００個）配列された撮像素子ユニットを内蔵しており、レンズを通して撮像素子群の大きさが投影された視野範囲内を撮影する。なお、個々の撮像素子の視野範囲の大きさは路面までの距離に応じて異なるものとなるが、１つの撮像素子の視野範囲に対して１つの出力値が定まるので、各撮像素子の出力値は、その視野範囲内での明るさの平均値、あるいは、視野範囲の中心点の明るさとみなすことができる。ラインカメラ１４、１６は、真下に向けて路面を撮影する。
【００１８】
図２の範囲６０は、ラインカメラ１４の視野範囲を示している。ラインカメラ１４は、視野範囲６０内の路面を撮影する。図２に示すように、視野範囲６０は、車両１２の前方方向ＦＷＤに対して角度φ１だけ傾斜した方向に長く伸びている。視野範囲６０の長手方向の長さは約１７００ｍｍであり、視野範囲６０の短手方向の長さは約１ｍｍである。
【００１９】
図２の範囲６２は、ラインカメラ１６の視野範囲を示している。ラインカメラ１６は、視野範囲６２内の路面を撮影する。図２に示すように、視野範囲６２は、車両１２の前方方向ＦＷＤに対して、視野範囲６０と反対側に角度φ２だけ傾斜した方向に長く伸びている。視野範囲６２の長手方向の長さは約１７００ｍｍであり、視野範囲６０の短手方向の長さは約１ｍｍである。
【００２０】
ラインカメラ１４、１６は、視野範囲６０と視野範囲６２が交差してＸ字を形成するように配置されている。視野範囲６０と視野範囲６２が交差する位置は各カメラのレンズの大きさ分だけ各視野範囲の中心からずれているが、シフトレンズを用いることで、視野範囲の中心にシフトすることができる。従って、以下では視野範囲６０と視野範囲６２が中央で交差しているとして説明する。
【００２１】
ラインカメラ１４とラインカメラ１６は、同一の路面を撮影している。したがって、ラインカメラ１４の視野範囲６０が通過する範囲とラインカメラ１６の視野範囲６２が通過する範囲が重複する箇所については、ラインカメラ１４により撮影した画像とラインカメラ１６により撮影した画像の双方に同一の被写体が写り込む。
【００２２】
エンコーダ１８は車両１２の左側後輪１８ａに取り付けられており、左側後輪１８ａの回転数を検出する。エンコーダ１８は、左側後輪１８ａの回転を検出することで、車両１２の走行距離を検出する。本実施例では、エンコーダ１８は、車両１２が０．３ｍｍ走行する毎にパルスを出力する。
【００２３】
記憶装置２０は、制御装置２２に接続されている。記憶装置２０は、ラインカメラ１４、１６によって撮影された画像等を記憶する。
【００２４】
制御装置２２には、ラインカメラ１４、１６、エンコーダ１８、記憶装置２０が接続されている。制御装置２２は、ラインカメラ１４、１６及び記憶装置２０の動作を制御する。制御装置２２には、エンコーダ１８から上述したパルスが入力される。制御装置２２は、１パルスが入力される毎（すなわち、車両１２が０．３ｍｍ走行する毎）に、ラインカメラ１４、１６で撮影を行う。制御装置２２は、撮影した画像をその撮影順序と共に記憶装置２０に記憶させる。また、制御装置２２は、エンコーダ１８から１０００パルスが入力される毎（すなわち、車両が３００ｍｍ進む毎）に、図３に示す全体画像生成処理を実行する。全体画像生成処理の実行中においても、ラインカメラ１４、１６は１パルス毎に画像を撮影している。全体画像生成処理の実行中に撮影された画像は、次の全体画像生成処理に使用される。
【００２５】
上述したように、ラインカメラ１４、１６は１パルス毎に路面を撮影し、制御装置２２は１０００パルス毎に全体画像生成処理を実行する。したがって、制御装置２２が全体画像生成処理を開始する時点では、ラインカメラ１４により１０００個の画像が得られており、ラインカメラ１６によって１０００個の画像が得られている。以下ではラインカメラ１４により得られた１０００個の画像をラインカメラ１４の画像系列といい、ラインカメラ１６により得られた１０００個の画像をラインカメラ１６の画像系列という。
【００２６】
図３のステップＳ２では、ラインカメラ１４、１６の画像系列に基づいて、ラインカメラ１４，１６の視野範囲６０，６２の中央点が移動した軌跡の曲率半径ｒの算出を行う。以下では、ラインカメラ１４、１６の画像系列に基づいて、曲率半径ｒを算出する原理について説明する。
【００２７】
図４は、車両１２が旋回走行する際の、車両１２の進行方向Ｎ１と、ラインカメラ１４，１６の進行方向Ｎ２と、左側後輪１８ａの進行方向Ｎ３を示している。なお、ここでいう車両１２の進行方向Ｎ１とは、車両１２の左右の後輪の中心点の進行方向を意味し、また、ラインカメラ１４，１６の進行方向Ｎ２とは、ラインカメラ１４，１６の視野範囲６０，６２の中央点の進行方向を意味する。ここでは、車両１２の左右の後輪の中心点が移動した軌跡の曲率中心と、ラインカメラ１４，１６の視野範囲６０，６２の中央点の軌跡の曲率中心と、左側後輪１８ａの軌跡の曲率中心が、すべて一致していると仮定する。車両１２が旋回走行する際には、車両１２の進行方向Ｎ１は車両１２の左右の後輪の中心点が移動した軌跡の接線方向に沿うものとなる。車両１２の左側後輪１８ａの進行方向Ｎ３も、車両１２の進行方向Ｎ１と同様となる。しかしながら、ラインカメラ１４，１６は、左側後輪１８ａから後方に距離Ｌだけオフセットした位置で車両１２に対して固定されているから、ラインカメラ１４，１６の進行方向Ｎ２は車両１２の進行方向Ｎ１から傾斜角度δだけ傾斜する。この傾斜角度δは、以下の数式で表現される。
【００２８】
【数１】
【００２９】
従って、ラインカメラ１４，１６の画像系列に基づいてラインカメラ１４，１６の進行方向Ｎ２を特定することができれば、車両１２の進行方向Ｎ１に対するラインカメラ１４，１６の進行方向Ｎ２の傾斜角度δを特定することができ、車両１２の前後方向に沿った車両１２の左側後輪１８ａからラインカメラ１４，１６の視野範囲６０，６２の中央点までの距離Ｌと傾斜角度δから、曲率半径ｒを特定することができる。
【００３０】
図５は、ラインカメラ１４，１６の画像系列から、ラインカメラ１４，１６の進行方向Ｎ２を特定する原理を示している。図５では、正方形の模様が付された路面を、路面画像処理システム１０で撮影した場合を示している。図５の（ａ）、（ｂ）に示すように、ラインカメラ１４，１６の画像系列を順に配列した場合、ラインカメラ１４，１６の視野範囲６０，６２が進行方向に対して傾いているので、実際の被写体に比べて傾いた画像が生成される。また、ラインカメラ１４，１６の視野範囲６０，６２が進行方向に対して傾いているので、ラインカメラ１４，１６の撮影ピッチは、撮影から撮影までの間に車両１２が走行した距離（すなわち０．３ｍｍ）とは相違し、ラインカメラ１４，１６の画像系列を順に配列した場合、実際の被写体とは伸縮が異なる画像が生成される。このような画像の傾きと伸縮については、アフィン変換を施すことで修正することができる。画像のピクセルの位置を（ｘ，ｙ）とし、傾きの修正量をθ、伸縮の修正量をβとした場合、アフィン変換後のピクセルの位置（ｘ’，ｙ’）は以下の数式で与えられる。
【００３１】
【数２】
【００３２】
ラインカメラ１４とラインカメラ１６が同一の被写体を撮像した場合、図５の（ａ）に示すラインカメラ１４の画像系列に適切なアフィン変換を施して得られる図５の（ｃ）の画像と、図５の（ｂ）に示すラインカメラ１６の画像系列に適切なアフィン変換を施して得られる図５の（ｄ）の画像は、視野範囲が重複する範囲では画像が一致するはずである。そこで、本実施例では、パラメータθ１、β１、θ２、β２を仮定して、ラインカメラ１４が撮影した画像系列のアフィン変換後の画像と、ラインカメラ１６が撮影した画像系列のアフィン変換後の画像について一致度の計算を行う。そして、パラメータθ１、β１、θ２、β２の値を様々に変化させながら一致度の計算を繰り返し行い、最も高い一致度を与えるアフィン変換のパラメータθ１、β１、θ２、β２を探索する。
【００３３】
すなわち、図５の（ａ）に示すラインカメラ１４の画像系列については、以下に示すアフィン変換を行って、図５の（ｃ）に示す画像を生成する。
【００３４】
【数３】
【００３５】
また、図５の（ｂ）に示すラインカメラ１６の画像系列については、以下に示すアフィン変換を行って、図５の（ｄ）に示す画像を生成する。
【００３６】
【数４】
【００３７】
そして、図５の（ｃ）に示すアフィン変換後のラインカメラ１４の画像と、図５の（ｄ）に示すアフィン変換後のラインカメラ１６の画像について、重複部分の一致度を算出する。
【００３８】
上記の一致度の算出を、パラメータθ１、β１、θ２、β２の値を様々に変化させながら繰り返し行い、最も高い一致度を与えるパラメータθ１、β１、θ２、β２の組み合わせを探索する。
【００３９】
なお、画像の傾きの修正量θ１、θ２については、ラインカメラ１４，１６の進行方向Ｎ２の車両１２の進行方向Ｎ１からの傾斜角度δ（図４参照）と、ラインカメラ１４の車両１２に対する取付角度φ１（図２参照）と、ラインカメラ１６の車両１２に対する取付角度φ２（図２参照）との間に、以下の関係式が成り立つ。
【００４０】
【数５】
【００４１】
従って、ラインカメラ１４，１６の車両１２に対する取付角度φ１、φ２が測定等により取得されている場合には、ラインカメラ１４，１６の進行方向Ｎ２の車両１２の進行方向Ｎ１からの傾斜角度δを探索することで、上記の関係式からθ１、θ２を特定することができる。探索すべきパラメータの個数を減らして、計算負荷を低減することができる。
【００４２】
また、画像の伸縮の修正量β１、β２については、車両１２が直進する際の伸縮の修正量β１０、β２０との間に、以下の関係式が成り立つ。
【００４３】
【数６】
【００４４】
ここで、Ｒは車両１２の左側後輪１８ａが移動した軌跡の曲率半径、Ｗは車両１２の左右方向に沿った車両１２の左側後輪１８ａからラインカメラ１４，１６の中央点までの距離である（図４参照）。従って、車両１２が直進する際の伸縮の修正量β１０、β２０が測定等により取得されている場合には、ラインカメラ１４，１６の進行方向Ｎ２の車両１２の進行方向Ｎ１からの傾斜角度δを探索することで、上記の関係式からβ１、β２を特定することができる。探索すべきパラメータの個数を減らして、計算負荷を低減することができる。
【００４５】
なお、画像の一致度の算出処理において、一致する被写体を探索する範囲の大きさは、曲率半径ｒに比べて非常に小さい。従って、この範囲においては、視野範囲６０，６２は並進移動しているとみなしてよく、ラインカメラ１４，１６の画像系列の間隔は平行とみなしてよい。このため、上記したβ１、β２はほぼ同じと仮定して上記の演算を行ってもよい。このような仮定をおくと、探索すべきパラメータの個数を減らして、計算負荷を低減することができる。
【００４６】
以上のように、本実施例では、探索すべきパラメータは、ラインカメラ１４，１６の進行方向Ｎ２の車両１２の進行方向Ｎ１からの傾斜角度δの１つとなる。探索するパラメータの個数を減らして、計算負荷を低減することができる。
【００４７】
なお、上記では、車両の進行方向Ｎ１と左側後輪１８ａの進行方向Ｎ３が一致すると仮定できる場合について説明したが、両者が一致しない場合には、以下の関係式を用いることができる。
【００４８】
【数７】
【００４９】
この場合、探索すべきパラメータは、ラインカメラ１４，１６の進行方向Ｎ２の車両１２の進行方向Ｎ１からの傾斜角度δと、車両１２の左側後輪１８ａが移動した軌跡の曲率半径Ｒの２つである。
【００５０】
車両１２の進行方向Ｎ１に対するラインカメラ１４，１６の進行方向Ｎ２の傾斜角度δが特定されると、ラインカメラ１４，１６の中央点が移動した軌跡の曲率半径ｒを算出することができる。
【００５１】
図３のステップＳ４では、ステップＳ２において算出された曲率半径ｒに基づいて、車両１２から見た曲率中心ｃの位置を特定する。
【００５２】
ステップＳ６では、ラインカメラ１４，１６の視野範囲６０，６２の中央点が移動した軌跡Ｔの更新処理を行う。図６に示すように、ステップＳ６では、前回までの全体路面画像生成処理で取得されている軌跡Ｔの端部に、ステップＳ２で特定された曲率半径ｒとステップＳ４で特定された曲率中心ｃに基づく円弧状の軌跡ΔＴを新たに追加することで、ラインカメラ１４，１６の視野範囲６０，６２の中央点が移動した軌跡Ｔを更新する。
【００５３】
ステップＳ８では、全体路面画像Ｓの更新処理を行う。図６に示すように、ステップＳ８では、前回までの全体路面画像生成処理で生成されている全体路面画像Ｓに、新たな路面画像ΔＳを貼り合わせることによって、全体路面画像を更新する。新たな路面画像ΔＳを貼り合わせる際の位置および角度は、ステップＳ６で更新された軌跡Ｔに基づいて特定される。新たな路面画像ΔＳとしては、ラインカメラ１４の画像系列をアフィン変換した画像を用いてもよいし、ラインカメラ１６の画像系列をアフィン変換した画像を用いてもよいし、両者を組み合わせた画像を用いてもよい。
【００５４】
なお上記ではラインカメラ１４，１６の視野範囲６０，６２が交差する中央点の位置が車両１２に対して変化しないものとして演算を行っているが、視野範囲６０，６２が交差する中央点の車両１２に対する位置を正規化相関によって毎回算出してもよい。
【００５５】
この路面画像処理システム１０では、車両１２がカーブする路面を走行する場合でも、その路面全体の画像を正確に生成することができる。また、上述したラインカメラ１４、１６は、エリアカメラに比べて極めて短い周期で路面を撮影することができる。したがって、路面画像処理システム１０は、高速で走行しながら路面の画像を生成することができる。
【００５６】
また、上述した実施例では、路面を撮影しながら路面全体の画像を生成する路面画像処理システム１０について説明したが、路面の撮影と上述した全体画像生成処理を必ずしも同時進行で行う必要はない。例えば、路面の撮影を行って記憶装置２０に撮影した画像とその順序を示すデータを記憶させておき、その後に記憶させたデータを別の計算機に移して、その計算機で全体画像生成処理を行ってもよい。また、路面を撮影しながら、撮影した画像とその撮影順序を示すデータを無線により外部の計算機に送信し、外部の計算機で全体画像生成処理を行ってもよい。
【００５７】
なお、図６に示すように隣接する画像同士が重複する場合は、重複する中の１つの画像を優先表示するようにして画像を生成してもよいし、重複する画像を平均化する等した画像を表示するようにしてもよい。
【００５８】
上記の実施例では、ラインカメラ１４とラインカメラ１６が車両１２の後方に固定されており、車両１２の後方の路面を撮影する構成について説明したが、ラインカメラ１４とラインカメラ１６を車両１２の前方に固定し、車両１２の前方の路面を撮影する構成としてもよい。
【００５９】
上記の実施例では、エンコーダ１８が車両１２の左側後輪１８ａの回転数を検出する場合について説明したが、エンコーダ１８は車両１２の右側後輪の回転数を検出する構成としてもよい。あるいは、ラインカメラ１４とラインカメラ１６の中央点の近傍に走行距離の計測用の車輪を別途設けて、その車輪の回転数をエンコーダ１８で検出する構成としてもよい。
【００６０】
上記の実施例では、車両１２に一組のラインカメラ１４、１６を搭載する場合について説明したが、図７に示す路面画像処理システム１００のように、もう一組のラインカメラ１１４，１１６を支持体１２４を介して車両１２に搭載してもよい。この場合、ラインカメラ１１４は視野範囲１６２を撮影し、ラインカメラ１１６は視野範囲１６０を撮影する。路面画像処理システム１００を用いることで、車両１２が旋回走行する際の曲率中心と曲率半径を特定することができる。
【００６１】
以上、本発明の具体例を詳細に説明したが、これらは例示に過ぎず、特許請求の範囲を限定するものではない。特許請求の範囲に記載の技術には、以上に例示した具体例を様々に変形、変更したものが含まれる。本明細書または図面に説明した技術要素は、単独であるいは各種の組合せによって技術的有用性を発揮するものであり、出願時請求項記載の組合せに限定されるものではない。また、本明細書または図面に例示した技術は複数目的を同時に達成し得るものであり、そのうちの一つの目的を達成すること自体で技術的有用性を持つものである。
【符号の説明】
【００６２】
１０：路面画像処理システム
１２：車両
１４：ラインカメラ
１６：ラインカメラ
１８：エンコーダ
１８ａ：左側後輪
２０：記憶装置
２２：制御装置
２４：支持体
６０：視野範囲
６２：視野範囲
１００：路面画像処理システム
１１４：ラインカメラ
１１６：ラインカメラ
１２４：支持体
１６０：視野範囲
１６２：視野範囲
【技術分野】
【０００１】
本発明は、走行する車両から撮影された路面画像を処理する技術に関する。
【背景技術】
【０００２】
特許文献１に、走行しながら路面を撮影し、撮影した複数の画像を配列して路面の連続画像を生成するシステムが開示されている。この路面画像生成システムは、車両の幅方向に長い視野範囲を高精細に撮影するラインカメラを有している。車両がラインカメラの視野範囲の幅（車両の進行方向に沿った距離）だけ進む毎に、ラインカメラで路面を撮影する。ラインカメラで繰り返し撮影することで得られた複数枚の画像を配列することで、ラインカメラで撮影された範囲の路面全体の画像を生成することができる。また、この画像生成システムでは、磁気コンパスやジャイロセンサなどを用いて車両の進行方向を取得し、車両の走行距離とその走行距離における車両の進行方向から車両の走行軌道を演算し、演算した車両の走行軌道からラインカメラの視野の位置を演算する。ラインカメラで撮影した複数枚の画像を、撮影時のラインカメラの視野の位置に応じて配列することによって、ラインカメラで撮影された範囲の路面全体の画像を生成する。このように、ラインカメラで撮影した複数の画像を配列することで、路面がカーブしている場合にはカーブしている路面全体の画像を生成することができる。この技術がないと、カーブしている路面を撮影したにもかかわらず、直線的に伸びている路面画像が生成されてしまう。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００６−２１４８５４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
上記の技術では、車両の進行方向を取得するために、磁気コンパスやジャイロセンサなどのセンサが必要となる。ラインカメラで撮影した画像から車両の進行方向を取得することができれば、これらのセンサを車両に搭載していなくても、ラインカメラで撮影された範囲の路面全体の画像を正確に生成することができる。本明細書では、ラインカメラの画像からラインカメラの視野範囲が移動した軌跡を特定し、路面全体の画像を正確に生成することが可能な技術を提供する。
【課題を解決するための手段】
【０００５】
本発明の路面画像処理システムは、車両と、車両に搭載されており、一方向に長い第１視野範囲内の路面を撮影する第１ラインカメラと、車両に搭載されており、一方向に長く、第１視野範囲と交差する第２視野範囲内の路面を撮影する第２ラインカメラと、車両の走行距離に応じて第１ラインカメラと第２ラインカメラに繰り返し撮影を指示する手段と、第１ラインカメラが撮影した画像系列にアフィン変換を施した画像と、第２ラインカメラが撮影した画像系列にアフィン変換を施した画像について、最も高い一致度を与えるアフィン変換パラメータを探索する手段と、探索されたアフィン変換パラメータに基づいて、第１視野範囲と第２視野範囲が交差する点の進行方向を算出する手段を備えている。
【０００６】
上記のシステムにおいて車両が旋回して走行した場合、第１ラインカメラが撮影した画像系列を順に配列した画像と、第２ラインカメラで撮影した画像系列を順に配列した画像では、車両の進行方向に応じて画像の傾きがそれぞれ異なったものとなる。上記のシステムでは、第１ラインカメラの画像系列に対してアフィン変換を施した画像と、第２ラインカメラの画像系列に対してアフィン変換を施した画像について、最も高い一致度を与えるアフィン変換パラメータを探索する。この探索されたアフィン変換パラメータから、第１視野範囲と第２視野範囲が交差する点の進行方向を算出することができる。このシステムによれば、磁気コンパスやジャイロセンサなどのセンサを用いることなく、車両の進行方向を取得することができる。
【０００７】
上記の路面画像処理システムは、車両の走行距離に応じた第１視野範囲と第２視野範囲が交差する点の進行方向に基づいて、第１視野範囲と第２視野範囲が交差する点の軌跡を特定する手段をさらに備えることが好ましい。
【０００８】
上記の路面画像処理システムによれば、車両が旋回して走行した場合であっても、第１ラインカメラの画像系列と第２ラインカメラの画像系列から、第１視野範囲と第２視野範囲が交差する点の軌跡を特定し、車両の走行軌道を特定することができる。
【０００９】
上記の路面画像処理システムは、第１ラインカメラおよび／または第２ラインカメラが撮影した画像系列と、第１視野範囲と第２視野範囲が交差する点の軌跡に基づいて、路面の全体画像を生成する手段をさらに備えることが好ましい。
【００１０】
上記の路面画像処理システムによれば、車両が旋回して走行した場合であっても、路面の全体画像を正確に生成することができる。
【００１１】
本発明は方法として具現化することもできる。その方法は、車両と、車両に搭載されており、一方向に長い第１視野範囲内の路面を撮影する第１ラインカメラと、車両に搭載されており、一方向に長く、第１視野範囲と交差する第２視野範囲内の路面を撮影する第２ラインカメラと、車両の走行距離に応じて第１ラインカメラと第２ラインカメラに繰り返し撮影を指示する手段を備える路面画像撮影装置で撮影された路面の画像を処理する方法である。その方法は、第１ラインカメラが撮影した画像系列にアフィン変換を施した画像と、第２ラインカメラが撮影した画像系列にアフィン変換を施した画像について、最も高い一致度を与えるアフィン変換パラメータを探索する工程と、探索されたアフィン変換パラメータに基づいて、第１視野範囲と第２視野範囲が交差する点の進行方向を算出する工程を備えている。
【００１２】
上記の方法は、車両の走行距離に応じた第１視野範囲と第２視野範囲が交差する点の進行方向に基づいて、第１視野範囲と第２視野範囲が交差する点の軌跡を特定する工程をさらに備えることが好ましい。
【００１３】
上記の方法は、第１ラインカメラおよび／または第２ラインカメラが撮影した画像系列と、第１視野範囲と第２視野範囲が交差する点の軌跡に基づいて、路面の全体画像を生成する工程をさらに備えることが好ましい。
【発明の効果】
【００１４】
本発明の路面画像処理システムによれば、ラインカメラの画像からラインカメラの視野範囲が移動した軌跡を特定し、路面全体の画像を正確に生成することができる。
【図面の簡単な説明】
【００１５】
【図１】路面画像処理システム１０の概略側面図。
【図２】路面画像処理システム１０の概略上面図。
【図３】全体画像生成処理を示すフローチャート。
【図４】車両１２が旋回走行する際の、車両１２の進行方向Ｎ１と、ラインカメラ１４，１６の進行方向Ｎ２と、左側後輪１８ａの進行方向Ｎ３を示す図。
【図５】ラインカメラ１４，１６の画像系列から、ラインカメラ１４，１６の進行方向Ｎ２を特定する原理を示す図。
【図６】軌跡Ｔの更新処理と、全体路面画像Ｓの更新処理を示す図。
【図７】路面画像処理システム１００の概略上面図。
【発明を実施するための形態】
【００１６】
図１は、実施例に係る路面画像処理システム１０の概略側面図を示しており、図２は路面画像処理システム１０の概略上面図を示している。図１、２に示すように、路面画像処理システム１０は、車両１２と、ラインカメラ１４と、ラインカメラ１６と、エンコーダ１８と、記憶装置２０と、制御装置２２を有している。
【００１７】
車両１２は、ワンボックスカーを測定用に改造したものである。車両１２の上部には、車両１２から後方に突出する支持体２４が設置されている。ラインカメラ１４とラインカメラ１６は、支持体２４によって、車両１２の後方上部に固定されている。ラインカメラ１４とラインカメラ１６は、真下に向けて固定されている。ラインカメラ１４、１６は、大きさ１０μｍ×１０μｍの撮像素子（ＣＣＤ、ＣＭＯＳ等）が１本のライン状に多数（約２０００個）配列された撮像素子ユニットを内蔵しており、レンズを通して撮像素子群の大きさが投影された視野範囲内を撮影する。なお、個々の撮像素子の視野範囲の大きさは路面までの距離に応じて異なるものとなるが、１つの撮像素子の視野範囲に対して１つの出力値が定まるので、各撮像素子の出力値は、その視野範囲内での明るさの平均値、あるいは、視野範囲の中心点の明るさとみなすことができる。ラインカメラ１４、１６は、真下に向けて路面を撮影する。
【００１８】
図２の範囲６０は、ラインカメラ１４の視野範囲を示している。ラインカメラ１４は、視野範囲６０内の路面を撮影する。図２に示すように、視野範囲６０は、車両１２の前方方向ＦＷＤに対して角度φ１だけ傾斜した方向に長く伸びている。視野範囲６０の長手方向の長さは約１７００ｍｍであり、視野範囲６０の短手方向の長さは約１ｍｍである。
【００１９】
図２の範囲６２は、ラインカメラ１６の視野範囲を示している。ラインカメラ１６は、視野範囲６２内の路面を撮影する。図２に示すように、視野範囲６２は、車両１２の前方方向ＦＷＤに対して、視野範囲６０と反対側に角度φ２だけ傾斜した方向に長く伸びている。視野範囲６２の長手方向の長さは約１７００ｍｍであり、視野範囲６０の短手方向の長さは約１ｍｍである。
【００２０】
ラインカメラ１４、１６は、視野範囲６０と視野範囲６２が交差してＸ字を形成するように配置されている。視野範囲６０と視野範囲６２が交差する位置は各カメラのレンズの大きさ分だけ各視野範囲の中心からずれているが、シフトレンズを用いることで、視野範囲の中心にシフトすることができる。従って、以下では視野範囲６０と視野範囲６２が中央で交差しているとして説明する。
【００２１】
ラインカメラ１４とラインカメラ１６は、同一の路面を撮影している。したがって、ラインカメラ１４の視野範囲６０が通過する範囲とラインカメラ１６の視野範囲６２が通過する範囲が重複する箇所については、ラインカメラ１４により撮影した画像とラインカメラ１６により撮影した画像の双方に同一の被写体が写り込む。
【００２２】
エンコーダ１８は車両１２の左側後輪１８ａに取り付けられており、左側後輪１８ａの回転数を検出する。エンコーダ１８は、左側後輪１８ａの回転を検出することで、車両１２の走行距離を検出する。本実施例では、エンコーダ１８は、車両１２が０．３ｍｍ走行する毎にパルスを出力する。
【００２３】
記憶装置２０は、制御装置２２に接続されている。記憶装置２０は、ラインカメラ１４、１６によって撮影された画像等を記憶する。
【００２４】
制御装置２２には、ラインカメラ１４、１６、エンコーダ１８、記憶装置２０が接続されている。制御装置２２は、ラインカメラ１４、１６及び記憶装置２０の動作を制御する。制御装置２２には、エンコーダ１８から上述したパルスが入力される。制御装置２２は、１パルスが入力される毎（すなわち、車両１２が０．３ｍｍ走行する毎）に、ラインカメラ１４、１６で撮影を行う。制御装置２２は、撮影した画像をその撮影順序と共に記憶装置２０に記憶させる。また、制御装置２２は、エンコーダ１８から１０００パルスが入力される毎（すなわち、車両が３００ｍｍ進む毎）に、図３に示す全体画像生成処理を実行する。全体画像生成処理の実行中においても、ラインカメラ１４、１６は１パルス毎に画像を撮影している。全体画像生成処理の実行中に撮影された画像は、次の全体画像生成処理に使用される。
【００２５】
上述したように、ラインカメラ１４、１６は１パルス毎に路面を撮影し、制御装置２２は１０００パルス毎に全体画像生成処理を実行する。したがって、制御装置２２が全体画像生成処理を開始する時点では、ラインカメラ１４により１０００個の画像が得られており、ラインカメラ１６によって１０００個の画像が得られている。以下ではラインカメラ１４により得られた１０００個の画像をラインカメラ１４の画像系列といい、ラインカメラ１６により得られた１０００個の画像をラインカメラ１６の画像系列という。
【００２６】
図３のステップＳ２では、ラインカメラ１４、１６の画像系列に基づいて、ラインカメラ１４，１６の視野範囲６０，６２の中央点が移動した軌跡の曲率半径ｒの算出を行う。以下では、ラインカメラ１４、１６の画像系列に基づいて、曲率半径ｒを算出する原理について説明する。
【００２７】
図４は、車両１２が旋回走行する際の、車両１２の進行方向Ｎ１と、ラインカメラ１４，１６の進行方向Ｎ２と、左側後輪１８ａの進行方向Ｎ３を示している。なお、ここでいう車両１２の進行方向Ｎ１とは、車両１２の左右の後輪の中心点の進行方向を意味し、また、ラインカメラ１４，１６の進行方向Ｎ２とは、ラインカメラ１４，１６の視野範囲６０，６２の中央点の進行方向を意味する。ここでは、車両１２の左右の後輪の中心点が移動した軌跡の曲率中心と、ラインカメラ１４，１６の視野範囲６０，６２の中央点の軌跡の曲率中心と、左側後輪１８ａの軌跡の曲率中心が、すべて一致していると仮定する。車両１２が旋回走行する際には、車両１２の進行方向Ｎ１は車両１２の左右の後輪の中心点が移動した軌跡の接線方向に沿うものとなる。車両１２の左側後輪１８ａの進行方向Ｎ３も、車両１２の進行方向Ｎ１と同様となる。しかしながら、ラインカメラ１４，１６は、左側後輪１８ａから後方に距離Ｌだけオフセットした位置で車両１２に対して固定されているから、ラインカメラ１４，１６の進行方向Ｎ２は車両１２の進行方向Ｎ１から傾斜角度δだけ傾斜する。この傾斜角度δは、以下の数式で表現される。
【００２８】
【数１】
【００２９】
従って、ラインカメラ１４，１６の画像系列に基づいてラインカメラ１４，１６の進行方向Ｎ２を特定することができれば、車両１２の進行方向Ｎ１に対するラインカメラ１４，１６の進行方向Ｎ２の傾斜角度δを特定することができ、車両１２の前後方向に沿った車両１２の左側後輪１８ａからラインカメラ１４，１６の視野範囲６０，６２の中央点までの距離Ｌと傾斜角度δから、曲率半径ｒを特定することができる。
【００３０】
図５は、ラインカメラ１４，１６の画像系列から、ラインカメラ１４，１６の進行方向Ｎ２を特定する原理を示している。図５では、正方形の模様が付された路面を、路面画像処理システム１０で撮影した場合を示している。図５の（ａ）、（ｂ）に示すように、ラインカメラ１４，１６の画像系列を順に配列した場合、ラインカメラ１４，１６の視野範囲６０，６２が進行方向に対して傾いているので、実際の被写体に比べて傾いた画像が生成される。また、ラインカメラ１４，１６の視野範囲６０，６２が進行方向に対して傾いているので、ラインカメラ１４，１６の撮影ピッチは、撮影から撮影までの間に車両１２が走行した距離（すなわち０．３ｍｍ）とは相違し、ラインカメラ１４，１６の画像系列を順に配列した場合、実際の被写体とは伸縮が異なる画像が生成される。このような画像の傾きと伸縮については、アフィン変換を施すことで修正することができる。画像のピクセルの位置を（ｘ，ｙ）とし、傾きの修正量をθ、伸縮の修正量をβとした場合、アフィン変換後のピクセルの位置（ｘ’，ｙ’）は以下の数式で与えられる。
【００３１】
【数２】
【００３２】
ラインカメラ１４とラインカメラ１６が同一の被写体を撮像した場合、図５の（ａ）に示すラインカメラ１４の画像系列に適切なアフィン変換を施して得られる図５の（ｃ）の画像と、図５の（ｂ）に示すラインカメラ１６の画像系列に適切なアフィン変換を施して得られる図５の（ｄ）の画像は、視野範囲が重複する範囲では画像が一致するはずである。そこで、本実施例では、パラメータθ１、β１、θ２、β２を仮定して、ラインカメラ１４が撮影した画像系列のアフィン変換後の画像と、ラインカメラ１６が撮影した画像系列のアフィン変換後の画像について一致度の計算を行う。そして、パラメータθ１、β１、θ２、β２の値を様々に変化させながら一致度の計算を繰り返し行い、最も高い一致度を与えるアフィン変換のパラメータθ１、β１、θ２、β２を探索する。
【００３３】
すなわち、図５の（ａ）に示すラインカメラ１４の画像系列については、以下に示すアフィン変換を行って、図５の（ｃ）に示す画像を生成する。
【００３４】
【数３】
【００３５】
また、図５の（ｂ）に示すラインカメラ１６の画像系列については、以下に示すアフィン変換を行って、図５の（ｄ）に示す画像を生成する。
【００３６】
【数４】
【００３７】
そして、図５の（ｃ）に示すアフィン変換後のラインカメラ１４の画像と、図５の（ｄ）に示すアフィン変換後のラインカメラ１６の画像について、重複部分の一致度を算出する。
【００３８】
上記の一致度の算出を、パラメータθ１、β１、θ２、β２の値を様々に変化させながら繰り返し行い、最も高い一致度を与えるパラメータθ１、β１、θ２、β２の組み合わせを探索する。
【００３９】
なお、画像の傾きの修正量θ１、θ２については、ラインカメラ１４，１６の進行方向Ｎ２の車両１２の進行方向Ｎ１からの傾斜角度δ（図４参照）と、ラインカメラ１４の車両１２に対する取付角度φ１（図２参照）と、ラインカメラ１６の車両１２に対する取付角度φ２（図２参照）との間に、以下の関係式が成り立つ。
【００４０】
【数５】
【００４１】
従って、ラインカメラ１４，１６の車両１２に対する取付角度φ１、φ２が測定等により取得されている場合には、ラインカメラ１４，１６の進行方向Ｎ２の車両１２の進行方向Ｎ１からの傾斜角度δを探索することで、上記の関係式からθ１、θ２を特定することができる。探索すべきパラメータの個数を減らして、計算負荷を低減することができる。
【００４２】
また、画像の伸縮の修正量β１、β２については、車両１２が直進する際の伸縮の修正量β１０、β２０との間に、以下の関係式が成り立つ。
【００４３】
【数６】
【００４４】
ここで、Ｒは車両１２の左側後輪１８ａが移動した軌跡の曲率半径、Ｗは車両１２の左右方向に沿った車両１２の左側後輪１８ａからラインカメラ１４，１６の中央点までの距離である（図４参照）。従って、車両１２が直進する際の伸縮の修正量β１０、β２０が測定等により取得されている場合には、ラインカメラ１４，１６の進行方向Ｎ２の車両１２の進行方向Ｎ１からの傾斜角度δを探索することで、上記の関係式からβ１、β２を特定することができる。探索すべきパラメータの個数を減らして、計算負荷を低減することができる。
【００４５】
なお、画像の一致度の算出処理において、一致する被写体を探索する範囲の大きさは、曲率半径ｒに比べて非常に小さい。従って、この範囲においては、視野範囲６０，６２は並進移動しているとみなしてよく、ラインカメラ１４，１６の画像系列の間隔は平行とみなしてよい。このため、上記したβ１、β２はほぼ同じと仮定して上記の演算を行ってもよい。このような仮定をおくと、探索すべきパラメータの個数を減らして、計算負荷を低減することができる。
【００４６】
以上のように、本実施例では、探索すべきパラメータは、ラインカメラ１４，１６の進行方向Ｎ２の車両１２の進行方向Ｎ１からの傾斜角度δの１つとなる。探索するパラメータの個数を減らして、計算負荷を低減することができる。
【００４７】
なお、上記では、車両の進行方向Ｎ１と左側後輪１８ａの進行方向Ｎ３が一致すると仮定できる場合について説明したが、両者が一致しない場合には、以下の関係式を用いることができる。
【００４８】
【数７】
【００４９】
この場合、探索すべきパラメータは、ラインカメラ１４，１６の進行方向Ｎ２の車両１２の進行方向Ｎ１からの傾斜角度δと、車両１２の左側後輪１８ａが移動した軌跡の曲率半径Ｒの２つである。
【００５０】
車両１２の進行方向Ｎ１に対するラインカメラ１４，１６の進行方向Ｎ２の傾斜角度δが特定されると、ラインカメラ１４，１６の中央点が移動した軌跡の曲率半径ｒを算出することができる。
【００５１】
図３のステップＳ４では、ステップＳ２において算出された曲率半径ｒに基づいて、車両１２から見た曲率中心ｃの位置を特定する。
【００５２】
ステップＳ６では、ラインカメラ１４，１６の視野範囲６０，６２の中央点が移動した軌跡Ｔの更新処理を行う。図６に示すように、ステップＳ６では、前回までの全体路面画像生成処理で取得されている軌跡Ｔの端部に、ステップＳ２で特定された曲率半径ｒとステップＳ４で特定された曲率中心ｃに基づく円弧状の軌跡ΔＴを新たに追加することで、ラインカメラ１４，１６の視野範囲６０，６２の中央点が移動した軌跡Ｔを更新する。
【００５３】
ステップＳ８では、全体路面画像Ｓの更新処理を行う。図６に示すように、ステップＳ８では、前回までの全体路面画像生成処理で生成されている全体路面画像Ｓに、新たな路面画像ΔＳを貼り合わせることによって、全体路面画像を更新する。新たな路面画像ΔＳを貼り合わせる際の位置および角度は、ステップＳ６で更新された軌跡Ｔに基づいて特定される。新たな路面画像ΔＳとしては、ラインカメラ１４の画像系列をアフィン変換した画像を用いてもよいし、ラインカメラ１６の画像系列をアフィン変換した画像を用いてもよいし、両者を組み合わせた画像を用いてもよい。
【００５４】
なお上記ではラインカメラ１４，１６の視野範囲６０，６２が交差する中央点の位置が車両１２に対して変化しないものとして演算を行っているが、視野範囲６０，６２が交差する中央点の車両１２に対する位置を正規化相関によって毎回算出してもよい。
【００５５】
この路面画像処理システム１０では、車両１２がカーブする路面を走行する場合でも、その路面全体の画像を正確に生成することができる。また、上述したラインカメラ１４、１６は、エリアカメラに比べて極めて短い周期で路面を撮影することができる。したがって、路面画像処理システム１０は、高速で走行しながら路面の画像を生成することができる。
【００５６】
また、上述した実施例では、路面を撮影しながら路面全体の画像を生成する路面画像処理システム１０について説明したが、路面の撮影と上述した全体画像生成処理を必ずしも同時進行で行う必要はない。例えば、路面の撮影を行って記憶装置２０に撮影した画像とその順序を示すデータを記憶させておき、その後に記憶させたデータを別の計算機に移して、その計算機で全体画像生成処理を行ってもよい。また、路面を撮影しながら、撮影した画像とその撮影順序を示すデータを無線により外部の計算機に送信し、外部の計算機で全体画像生成処理を行ってもよい。
【００５７】
なお、図６に示すように隣接する画像同士が重複する場合は、重複する中の１つの画像を優先表示するようにして画像を生成してもよいし、重複する画像を平均化する等した画像を表示するようにしてもよい。
【００５８】
上記の実施例では、ラインカメラ１４とラインカメラ１６が車両１２の後方に固定されており、車両１２の後方の路面を撮影する構成について説明したが、ラインカメラ１４とラインカメラ１６を車両１２の前方に固定し、車両１２の前方の路面を撮影する構成としてもよい。
【００５９】
上記の実施例では、エンコーダ１８が車両１２の左側後輪１８ａの回転数を検出する場合について説明したが、エンコーダ１８は車両１２の右側後輪の回転数を検出する構成としてもよい。あるいは、ラインカメラ１４とラインカメラ１６の中央点の近傍に走行距離の計測用の車輪を別途設けて、その車輪の回転数をエンコーダ１８で検出する構成としてもよい。
【００６０】
上記の実施例では、車両１２に一組のラインカメラ１４、１６を搭載する場合について説明したが、図７に示す路面画像処理システム１００のように、もう一組のラインカメラ１１４，１１６を支持体１２４を介して車両１２に搭載してもよい。この場合、ラインカメラ１１４は視野範囲１６２を撮影し、ラインカメラ１１６は視野範囲１６０を撮影する。路面画像処理システム１００を用いることで、車両１２が旋回走行する際の曲率中心と曲率半径を特定することができる。
【００６１】
以上、本発明の具体例を詳細に説明したが、これらは例示に過ぎず、特許請求の範囲を限定するものではない。特許請求の範囲に記載の技術には、以上に例示した具体例を様々に変形、変更したものが含まれる。本明細書または図面に説明した技術要素は、単独であるいは各種の組合せによって技術的有用性を発揮するものであり、出願時請求項記載の組合せに限定されるものではない。また、本明細書または図面に例示した技術は複数目的を同時に達成し得るものであり、そのうちの一つの目的を達成すること自体で技術的有用性を持つものである。
【符号の説明】
【００６２】
１０：路面画像処理システム
１２：車両
１４：ラインカメラ
１６：ラインカメラ
１８：エンコーダ
１８ａ：左側後輪
２０：記憶装置
２２：制御装置
２４：支持体
６０：視野範囲
６２：視野範囲
１００：路面画像処理システム
１１４：ラインカメラ
１１６：ラインカメラ
１２４：支持体
１６０：視野範囲
１６２：視野範囲
【特許請求の範囲】
【請求項１】
車両と、
車両に搭載されており、一方向に長い第１視野範囲内の路面を撮影する第１ラインカメラと、
車両に搭載されており、一方向に長く、第１視野範囲と交差する第２視野範囲内の路面を撮影する第２ラインカメラと、
車両の走行距離に応じて第１ラインカメラと第２ラインカメラに繰り返し撮影を指示する手段と、
第１ラインカメラが撮影した画像系列にアフィン変換を施した画像と、第２ラインカメラが撮影した画像系列にアフィン変換を施した画像について、最も高い一致度を与えるアフィン変換パラメータを探索する手段と、
探索されたアフィン変換パラメータに基づいて、第１視野範囲と第２視野範囲が交差する点の進行方向を算出する手段を備えることを特徴とする路面画像処理システム。
【請求項２】
車両の走行距離に応じた第１視野範囲と第２視野範囲が交差する点の進行方向に基づいて、第１視野範囲と第２視野範囲が交差する点の軌跡を特定する手段をさらに備える請求項１の路面画像処理システム。
【請求項３】
第１ラインカメラおよび／または第２ラインカメラが撮影した画像系列と、第１視野範囲と第２視野範囲が交差する点の軌跡に基づいて、路面の全体画像を生成する手段をさらに備える請求項２の路面画像処理システム。
【請求項４】
車両と、
車両に搭載されており、一方向に長い第１視野範囲内の路面を撮影する第１ラインカメラと、
車両に搭載されており、一方向に長く、第１視野範囲と交差する第２視野範囲内の路面を撮影する第２ラインカメラと、
車両の走行距離に応じて第１ラインカメラと第２ラインカメラに繰り返し撮影を指示する手段を備える路面画像撮影装置で撮影された路面の画像を処理する方法であって、
第１ラインカメラが撮影した画像系列にアフィン変換を施した画像と、第２ラインカメラが撮影した画像系列にアフィン変換を施した画像について、最も高い一致度を与えるアフィン変換パラメータを探索する工程と、
探索されたアフィン変換パラメータに基づいて、第１視野範囲と第２視野範囲が交差する点の進行方向を算出する工程を備えることを特徴とする路面画像処理方法。
【請求項５】
車両の走行距離に応じた第１視野範囲と第２視野範囲が交差する点の進行方向に基づいて、第１視野範囲と第２視野範囲が交差する点の軌跡を特定する工程をさらに備える請求項４の路面画像処理方法。
【請求項６】
第１ラインカメラおよび／または第２ラインカメラが撮影した画像系列と、第１視野範囲と第２視野範囲が交差する点の軌跡に基づいて、路面の全体画像を生成する工程をさらに備える請求項５の路面画像処理方法。
【請求項１】
車両と、
車両に搭載されており、一方向に長い第１視野範囲内の路面を撮影する第１ラインカメラと、
車両に搭載されており、一方向に長く、第１視野範囲と交差する第２視野範囲内の路面を撮影する第２ラインカメラと、
車両の走行距離に応じて第１ラインカメラと第２ラインカメラに繰り返し撮影を指示する手段と、
第１ラインカメラが撮影した画像系列にアフィン変換を施した画像と、第２ラインカメラが撮影した画像系列にアフィン変換を施した画像について、最も高い一致度を与えるアフィン変換パラメータを探索する手段と、
探索されたアフィン変換パラメータに基づいて、第１視野範囲と第２視野範囲が交差する点の進行方向を算出する手段を備えることを特徴とする路面画像処理システム。
【請求項２】
車両の走行距離に応じた第１視野範囲と第２視野範囲が交差する点の進行方向に基づいて、第１視野範囲と第２視野範囲が交差する点の軌跡を特定する手段をさらに備える請求項１の路面画像処理システム。
【請求項３】
第１ラインカメラおよび／または第２ラインカメラが撮影した画像系列と、第１視野範囲と第２視野範囲が交差する点の軌跡に基づいて、路面の全体画像を生成する手段をさらに備える請求項２の路面画像処理システム。
【請求項４】
車両と、
車両に搭載されており、一方向に長い第１視野範囲内の路面を撮影する第１ラインカメラと、
車両に搭載されており、一方向に長く、第１視野範囲と交差する第２視野範囲内の路面を撮影する第２ラインカメラと、
車両の走行距離に応じて第１ラインカメラと第２ラインカメラに繰り返し撮影を指示する手段を備える路面画像撮影装置で撮影された路面の画像を処理する方法であって、
第１ラインカメラが撮影した画像系列にアフィン変換を施した画像と、第２ラインカメラが撮影した画像系列にアフィン変換を施した画像について、最も高い一致度を与えるアフィン変換パラメータを探索する工程と、
探索されたアフィン変換パラメータに基づいて、第１視野範囲と第２視野範囲が交差する点の進行方向を算出する工程を備えることを特徴とする路面画像処理方法。
【請求項５】
車両の走行距離に応じた第１視野範囲と第２視野範囲が交差する点の進行方向に基づいて、第１視野範囲と第２視野範囲が交差する点の軌跡を特定する工程をさらに備える請求項４の路面画像処理方法。
【請求項６】
第１ラインカメラおよび／または第２ラインカメラが撮影した画像系列と、第１視野範囲と第２視野範囲が交差する点の軌跡に基づいて、路面の全体画像を生成する工程をさらに備える請求項５の路面画像処理方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【公開番号】特開２０１３−２９９８（Ｐ２０１３−２９９８Ａ）
【公開日】平成２５年１月７日（２０１３．１．７）
【国際特許分類】
【出願番号】特願２０１１−１３５１８５（Ｐ２０１１−１３５１８５）
【出願日】平成２３年６月１７日（２０１１．６．１７）
【出願人】（５９１２７０５５６）名古屋市 (77)
【出願人】（５９９１３７８２８）株式会社 サンウェイ (15)
【Ｆターム（参考）】
【公開日】平成２５年１月７日（２０１３．１．７）
【国際特許分類】
【出願日】平成２３年６月１７日（２０１１．６．１７）
【出願人】（５９１２７０５５６）名古屋市 (77)
【出願人】（５９９１３７８２８）株式会社 サンウェイ (15)
【Ｆターム（参考）】
[ Back to top ]