道路標示認識装置
【課題】道路標示の形状と関係なく、かつ、より正確に道路標示を認識できるようにする。
【解決手段】車両周辺の道路面を定期的に撮影し、この撮像画像を鳥瞰画像に変換してメモリ１４ｂに記憶する。そして、鳥瞰画像の車両本体側の一部に抽出対象領域を特定し（Ｓ１１２、Ｓ１１４）、メモリ１４ｂに記憶された複数の鳥瞰画像から時系列に抽出対象領域の画像を抽出して垂直方向に連結させた合成画像を生成し（Ｓ１１６）、この合成画像を対象として道路面に描かれた道路標示を画像認識する（Ｓ１１８）。
【解決手段】車両周辺の道路面を定期的に撮影し、この撮像画像を鳥瞰画像に変換してメモリ１４ｂに記憶する。そして、鳥瞰画像の車両本体側の一部に抽出対象領域を特定し（Ｓ１１２、Ｓ１１４）、メモリ１４ｂに記憶された複数の鳥瞰画像から時系列に抽出対象領域の画像を抽出して垂直方向に連結させた合成画像を生成し（Ｓ１１６）、この合成画像を対象として道路面に描かれた道路標示を画像認識する（Ｓ１１８）。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、道路面に描かれた道路標示を画像認識する道路標示認識装置に関する。
【背景技術】
【０００２】
従来から、車載カメラで道路を撮影し、この撮影した画像から画像処理技術を用いて白線や横断歩道などの路面に描かれている道路標示を認識する様々な装置が提案されている。
【０００３】
このような装置として、前方路面を撮影した画像を水平方向に走査してエッジ位置を検出し、操作位置の近傍に設定され画像の所定範囲を囲むウィンドウ内の画像の対象性を評価して対象性の良いウィンドウ位置を求め、エッジ位置と対象性の良いウィンドウ位置とに基づき、路面に描かれている道路標示を認識するようにしたものがある（例えば、特許文献１参照）。
【特許文献１】特許第３１５３８４５号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
上記特許文献１に記載の装置は、横断歩道や横断歩道予告のような対象性を有する道路標示を認識することは可能であるが、例えば、制限速度等を表す非対称の道路標示を認識することができないといった問題がある。
【０００５】
また、車載カメラを用いて路面に描かれている道路標示を静止画像として撮影し、この静止画像を用いて道路標示を画像認識しようとした場合、道路標示全体を含むような静止画像を撮影する必要がある。しかし、このように道路標示全体を含むように撮影した静止画像は、道路標示のサイズが小さくなってしまう。
【０００６】
また、このように車載カメラを用いて道路標示を撮影する場合、道路標示を斜め上方向から撮影することになるため、道路標示の車両に近い部分は大きく、道路標示の車両から離れた部分は小さく映し出される。特に、路面に描かれている道路標示は、車両が高速で走行していても運転者が容易に認識できるように道路の走行方向に沿って縦長の形状となっているため、図１０に示すように、撮影画像における道路標示の車両から離れた部分が非常に小さくなってしまい、正確に道路標示を画像認識できない場合が生じるといった問題がある。
【０００７】
本発明は上記問題に鑑みたもので、道路標示の形状と関係なく、かつ、より正確に道路標示を認識できるようにすることを目的とする。
【課題を解決するための手段】
【０００８】
本発明の第１の特徴は、車両に搭載され、該車両周辺の道路面を定期的に撮影した画像を送出する撮影手段と、撮像手段から送出される撮像画像を、鉛直方向から地上面を見下ろした鳥瞰図を表す鳥瞰画像に変換して記憶手段に記憶する画像変換手段と、画像変換手段によって変換された鳥瞰画像の車両本体側の一部に抽出対象領域を特定する抽出対象領域特定手段と、記憶手段に記憶された複数の鳥瞰画像から時系列に抽出対象領域の画像を抽出して垂直方向に連結させた合成画像を生成する合成画像生成手段と、合成画像生成手段によって生成された合成画像を対象として道路面に描かれた道路標示を画像認識する画像認識処理手段と、を備えたことである。
【０００９】
このような構成では、鳥瞰画像の車両本体側の一部を抽出対象領域として、複数の鳥瞰画像から時系列に抽出対象領域の画像を抽出して連結させた合成画像が生成される。すなわち、合成画像は、鳥瞰画像の中でも確度の高い車両本体の近くの領域の画像を連結して生成される。そして、この合成画像を対象として道路面に描かれた道路標示の画像認識が実施されるので、道路標示の形状と関係なく、かつ、より正確に道路標示を認識できるようにすることができる。
【００１０】
また、本発明の第２の特徴は、抽出対象領域特定手段は、鳥瞰画像の車両本体側に最も近い位置に基準線を水平方向に設定するとともに、鳥瞰画像内に基準線を一辺とする矩形の抽出対象領域を特定することである。
【００１１】
このような構成では、鳥瞰画像の車両本体側に最も近い位置に基準線が設定され、鳥瞰画像内にこの基準線を一辺とする矩形の抽出対象領域を特定されるので、鳥瞰画像の中でも確度の高い車両本体の近くの領域の画像を連結させて合成画像を生成することができる。
【００１２】
また、本発明の第３の特徴は、抽出対象領域特定手段は、鳥瞰画像に車両自体の影が含まれるか否かを判定し、鳥瞰画像に車両自体の影が含まれない場合には、鳥瞰画像の車両本体側に最も近い位置に基準線を水平方向に設定するとともに、鳥瞰画像内に基準線を一辺とする矩形の抽出対象領域を特定し、鳥瞰画像に車両自体の影が含まれる場合には、車両自体の影が抽出対象領域から排除されるような位置で、かつ、鳥瞰画像の車両本体側に最も近い位置に基準線を水平方向に設定するとともに、鳥瞰画像内に基準線を一辺とする矩形の抽出対象領域を特定することである。
【００１３】
鳥瞰画像に車両自体の影が含まれる場合、車両自体の影により道路標示を誤認識する可能性が高くなることが考えられるが、このような構成では、鳥瞰画像に車両自体の影が含まれることを判定した場合、車両自体の影が抽出対象領域から排除されるような位置で、かつ、鳥瞰画像の車両本体側に最も近い位置に基準線が水平方向に設定され、鳥瞰画像内に基準線を一辺とする矩形の抽出対象領域が特定されるので、車両自体の影により道路標示を誤認識する可能性を低減することが可能である。
【００１４】
また、本発明の第４の特徴は、抽出対象領域特定手段が、画像変換手段によって変換された鳥瞰画像の車両側に輝度の低い領域が含まれるか否かに基づいて鳥瞰画像に車両自体の影が含まれるか否かを判定することである。
【００１５】
このように、鳥瞰画像の車両側に輝度の低い領域が含まれるか否かに基づいて鳥瞰画像に車両自体の影が含まれるか否かを判定することができる。
【００１６】
また、本発明の第５の特徴は、車両の方位が予め定められた方位量以上変化したか否かを判定する方位変化判定手段を備え、抽出対象領域特定手段は、方位変化判定手段によって車両の方位が予め定められた方位量以上変化したと判定された場合、抽出対象領域の特定を再実施することである。
【００１７】
このような構成では、車両の方位が予め定められた方位量以上変化したと判定された場合、車両自体の影が抽出対象領域から排除されるような位置に抽出対象領域が再設定されるので、車両の方位が変化して鳥瞰画像に含まれる車両自体の影が変化しても、鳥瞰画像に含まれる車両自体の影の影響を受けることなく道路標示を画像認識することが可能である。
【００１８】
また、本発明の第６の特徴は、車両へ照射される日射の有無が変化したか否かを判定する日射判定手段を備え、抽出対象領域特定手段は、日射判定手段によって車両へ照射される日射の有無が変化したと判定された場合、抽出対象領域の特定を再実施することである。
【００１９】
このような構成では、車両へ照射される日射の有無が変化したと判定された場合、車両自体の影が抽出対象領域から排除されるような位置に抽出対象領域が再設定されるので、車両へ照射される日射の有無が変化して鳥瞰画像に含まれる車両自体の影が変化しても、鳥瞰画像に含まれる車両自体の影の影響を受けることなく道路標示を画像認識することが可能である。
【００２０】
また、本発明の第７の特徴は、車両の傾きが予め定められた角度以上変化したか否かを判定する傾斜判定手段を備え、抽出対象領域特定手段は、傾斜判定手段によって車両の傾きが予め定められた角度以上変化したと判定された場合、抽出対象領域の特定を再実施することである。
【００２１】
このような構成では、車両の傾きが予め定められた角度以上変化したと判定された場合、車両自体の影が抽出対象領域から排除されるような位置に抽出対象領域が再設定されるので、例えば、坂道に差し掛かり車両の傾きが変化して鳥瞰画像に含まれる車両自体の影が変化しても、鳥瞰画像に含まれる車両自体の影の影響を受けることなく道路標示を画像認識することが可能である。
【００２２】
また、本発明の第８の特徴は、撮影手段は、広角レンズを用いて車両周辺の道路面を撮影するもので、画像変換手段は、広角レンズにより生じる画像歪みを補正して、撮影手段から送出される撮影画像を鳥瞰画像に変換することである。
【００２３】
このような構成では、広角レンズにより生じる画像歪みが補正されるので、道路標示の画像認識の認識率を向上することができる。
【００２４】
また、本発明の第９の特徴は、車両の車速を検出する車速検出手段を備え、抽出対象領域特定手段は、複数の鳥瞰画像から時系列に抽出対象領域の画像を抽出して垂直方向に連結させたときに道路面の撮影領域が連続するように、車速検出手段によって検出された車速が高いほど抽出対象領域の高さを高くし、車速が低いほど抽出対象領域の高さを低くすることである。
【００２５】
このような構成では、複数の鳥瞰画像から時系列に抽出対象領域の画像を抽出して垂直方向に連結させたときに道路面の撮影領域が連続するように、車速が高いほど抽出対象領域の高さが高く、車速が低いほど抽出対象領域の高さが低くなるので、道路面の撮影領域が連続する合成画像を得ることが可能である。
【発明を実施するための最良の形態】
【００２６】
本発明の一実施形態に係る道路標示認識装置の構成を図１に示す。本道路標示認識装置１は、車載カメラ１０、日射センサ１１、ジャイロスコープ１２、車速センサ１３および画像処理装置１４を備えている。
【００２７】
車載カメラ１０は、車両に搭載され、車両後方の道路面を定期的に撮影した画像を画像処理装置１４へ送出する。なお、本実施形態における車載カメラ１０は、車両後方を撮影するための所謂リアビューカメラとして構成されており、撮影画像は左右反転したものとなる。また、車載カメラ１０のレンズには、視野範囲が広くなるように広角レンズが用いられている。このため、車載カメラ１０によって撮影された撮影画像には丸みを帯びた歪みが生じる。
【００２８】
日射センサ１１は、車両の室内へ照射される日射量を検出し、日射量に応じた信号を画像処理装置１４へ出力する。
【００２９】
ジャイロスコープ１２は、車両の方位変化量および車両の前後方向の傾斜変化量を検出し、方位変化量および傾斜変化量に応じた信号を画像処理装置１４へ出力する。
【００３０】
車速センサ１３は、車両の速度に応じた車速信号を画像処理装置１４へ出力する。
【００３１】
画像処理装置１４は、ＣＰＵ１４ａ、メモリ１４ｂ等を備えたコンピュータとして構成されている。
【００３２】
メモリ１４ｂは、プログラムを記憶するためのＲＯＭ、一時データを記憶するためのＲＡＭ、画像データを記憶するためのＶＲＡＭによって構成されている。なお、ＣＰＵ１４ａはメモリ１４ｂのＲＯＭに記憶されたプログラムに従って各種処理を実施する。
【００３３】
画像処理装置１４の処理としては、車載カメラ１０から送出される撮影画像から道路面に描かれた道路表示を画像認識する画像認識処理、日射センサ１１から入力される信号に基づいて車両へ照射される日射の有無を判定する日射判定処理、ジャイロスコープ１２から入力される信号に基づいて車両の方位が予め定められた方位量以上変化したか否かを判定する方位変化判定処理、ジャイロスコープ１２から入力される信号に基づいて車両の前後方向の傾きが予め定められた角度以上変化したか否かを判定する傾斜判定処理、車速センサ１３から入力される車速信号に基づいて車両の車速を検出する車速検出処理等がある。
【００３４】
次に、図２に従って、画像処理装置１４による画像認識処理について説明する。本画像処理装置１４は、イグニッションスイッチがオフの場合では低消費電力モードで作動し、イグニッションスイッチがオンすると起動状態となる。
【００３５】
まず、イグニッションスイッチがオンになったか否かを判定する。（Ｓ１００）。
【００３６】
イグニッションスイッチがオフの場合、Ｓ１００の判定を繰り返し、イグニッションスイッチがオンすると、起動状態となり、まず、影領域検出フラグを０に設定する（Ｓ１０２）。この影領域検出フラグは、メモリ１４ｂのＲＡＭ領域に設けられている。
【００３７】
次に、原画像１フレーム分を読み出す（Ｓ１０４）。具体的には、車載カメラ１０から送出される撮影画像の最新の原画像１フレーム分をメモリ１４ｂのＶＲＡＭに記憶させる。
【００３８】
次に、原画像を歪み補正し、鳥瞰変換して鳥瞰画像を生成する（Ｓ１０６）。具体的には、原画像に対して、車載カメラ１０の広角レンズにより生じる歪みを補正するための処理を実施した後、この歪み補正した画像を左右反転および上下反転させ、鉛直方向から地上面を見下ろした鳥瞰図を表す鳥瞰画像に変換して記憶手段に記憶する。ここで、歪み補正した画像を左右反転させるのは、車載カメラ１０から左右反転して送出される撮影画像を元に戻すためである。また、歪み補正した画像を上下反転させるのは、車載カメラ１０により上下反転して撮影される道路標示を本来の向きにするためである。
【００３９】
なお、車載カメラ１０から送出される撮像画像を鳥瞰画像に変換する技術は、従来技術（例えば、特開平１０−２１１８４９号）を利用することができる。また、車載カメラ１０の広角レンズにより生じる歪みを補正するための処理についても周知技術である。
【００４０】
図３に、原画像と鳥瞰画像の例を示す。図中左側が原画像で右側が鳥瞰画像である。図中の道路標示は、時速５０キロメートルの制限速度を示すものである。原画像の道路標示には、広角レンズにより生じる歪みが生じており、また、道路標示が上下左右に反転したものとなっている。また、鳥瞰画像の道路標示は、広角レンズにより生じる歪みが補正され、道路標示が本来の向きに修正されている。このように、車載カメラ１０で撮影された原画像が、鉛直方向から地上面を見下ろした鳥瞰図を表す鳥瞰画像に変換される。
【００４１】
次に、影領域検出フラグが１か否かを判定する（Ｓ１０８）。ここで、影領域検出フラグは０となっているため、Ｓ１０８の判定はＮＯとなり、次に、原画像から影領域を検出し、影領域検出フラグを１に設定する（Ｓ１１０）。具体的には、鳥瞰画像に輝度の低い領域が含まれるか否かに基づいて鳥瞰画像に車両自体の影が含まれるか否かを判定するとともに、鳥瞰画像に車両自体の影が含まれると判定した場合、鳥瞰画像に含まれる輝度の低い領域を影領域として検出し、影領域検出フラグを１に設定する。なお、鳥瞰画像に車両自体の影が含まれないと判定した場合にも、影領域検出フラグを１に設定する。
【００４２】
図３に示した原画像と鳥瞰画像には、それぞれ車両Ｂ自体の影Ｓが含まれている。このように鳥瞰画像に車両Ｂ自体の影Ｓが含まれている場合、鳥瞰画像に含まれる輝度の低い領域が影領域として検出される。
【００４３】
次に、鳥瞰画像の基準位置に水平方向の基準線を設定する（Ｓ１１２）。鳥瞰画像に車両自体の影が含まれない場合には、図４の左側に示すように、鳥瞰画像の車両本体側に最も近い位置に基準線を水平方向に設定し、鳥瞰画像に車両自体の影が含まれる場合には、図４の右側に示すように、車両自体の影Ｓが抽出対象領域から排除されるような位置で、かつ、鳥瞰画像の車両本体側に最も近い位置に基準線を水平方向に設定する。
【００４４】
次に、鳥瞰画像内に矩形の抽出対象領域Ｅを特定し、メモリに記憶する（Ｓ１１４）。本実施形態では、車載カメラ１０によって車両後方を撮影する構成となっているため、鳥瞰画像内に基準線を上辺とする矩形の抽出対象領域Ｅを特定する。また、車速センサ１３から入力される車速信号に基づいて車速を検出し、図５に示すように、車速が高いほど抽出対象領域Ｅの高さＨが高くなり、車速が低いほど抽出対象領域Ｅの高さＨが低くなるように、車速に応じて抽出対象領域Ｅの高さＨを変化させる。このように車速に応じて抽出対象領域Ｅの高さＨを変化させるのは、次のＳ１１６にて、複数の鳥瞰画像から時系列に抽出対象領域Ｅの画像を抽出して垂直方向に連結させて合成画像を生成したときに道路面の撮影領域が連続するようにするためである。
【００４５】
このようにして、鳥瞰画像の車両本体側の一部に、水平方向の基準線を一辺とする矩形の抽出対象領域が特定される。
【００４６】
なお、画像処理装置１４は、図６に示すように、車載カメラ１０から送出される撮影画像の全てのフレームに対し、広角レンズにより生じる歪みを補正するための処理を実施し、上下左右に反転した後、鳥瞰画像に変換し、逐一メモリ１４ｂのＶＲＡＭに記憶する処理を実施するようになっている。メモリ１４ｂのＶＲＡＭには、道路標示を画像認識するために必要なメモリ容量（例えば、鳥瞰画像数十画像分）のメモリ領域が割り当てられており、このメモリ領域に、複数の鳥瞰画像が上書き記憶されるようになっている。
【００４７】
次のＳ１１６では、メモリ１４ｂのＶＲＡＭに記憶された複数の鳥瞰画像から時系列に抽出対象領域Ｅの画像を抽出して垂直方向に連結させた合成画像を生成してＶＲＡＭの別領域に記憶する。具体的には、ＶＲＡＭに記憶された複数の鳥瞰画像から時系列に抽出対象領域Ｅの画像を抽出し、抽出した画像を垂直方向に連結させた画像をＶＲＡＭの別領域に描画して合成画像を生成する。なお、車両が前進中の場合、先に抽出された画像の上側に、後で抽出された画像を連結させて合成画像を生成し、車両が後退中の場合、先に抽出された画像の下側に、後で抽出された画像を連結させて合成画像を生成する。
【００４８】
図７に、車両が前進中の場合に、複数の鳥瞰画像から抽出した抽出対象領域Ｅの画像を連結させて合成画像を生成する様子を示す。車両自体の影Ｓが抽出対象領域Ｅから排除されるように、図中（ａ）…（ｂ）…（ｃ）の順に複数の鳥瞰画像から抽出対象領域Ｅの画像が抽出され、先に抽出された画像の上側に、後で抽出された画像を連結させて合成画像が生成される。
【００４９】
なお、抽出対象領域Ｅに車両Ｂ自体の影Ｓを含む状態で複数の鳥瞰画像から抽出対象領域Ｅの画像を抽出した場合、図８示すように、合成画像に車両Ｂ自体の影Ｓが含まれ、道路標示の認識率が低下してしまうが、本実施形態では、車両自体の影Ｓが抽出対象領域Ｅから排除されるように、複数の鳥瞰画像から抽出対象領域Ｅの画像が抽出されるので、車両自体の影Ｓによる道路標示の認識率の低下を抑制することができる。
【００５０】
また、抽出対象領域Ｅの高さＨを固定値とした場合、車両が停車してしまうと、図９に示すように、抽出対象領域Ｅとして道路標示の同じ領域が繰り返し抽出され、合成画像を生成したときに道路面の撮影領域が連続しなくなってしまうが、本実施形態では、車速に応じて抽出対象領域Ｅの高さＨを変化させ、複数の鳥瞰画像から時系列に抽出対象領域の画像を抽出して垂直方向に連結させたときに道路面の撮影領域を連続させることができるようにしている。
【００５１】
次に、ＶＲＡＭに記憶された合成画像を対象として道路面に描かれた道路標示を画像認識する（Ｓ１１８）。具体的には、合成画像と予め用意された道路標示用のテンプレートとを照合して道路標示を画像認識し、認識した結果を外部装置（図示せず）へ出力する。なお、外部装置は、この認識結果に応じて、例えば、制限速度を運転者に報知するようになっている。
【００５２】
次に、イグニッションスイッチがオフしたか否かを判定する（Ｓ１２０）。イグニッションスイッチがオンしたままの場合、Ｓ１２０の判定はＮＯとなり、以下に示す（１）〜（３）の条件を満たす場合に影領域検出フラグを０にする処理を実施する（Ｓ１２２）。
【００５３】
（１）車両の方位が予め定められた方位量以上変化したことを判定した場合
（２）車両へ照射される日射の有無が変化した場合
（３）車両の傾きが予め定められた角度以上変化した場合
（１）〜（３）の条件を１つでも満たす場合には、鳥瞰画像に含まれる車両自体の影が変化するため、抽出対象領域の特定を再実施するように影領域検出フラグを０に設定し、（１）〜（３）の条件を１つも満たさない場合には、影領域検出フラグの設定を１のままとし、Ｓ１０４へ戻る。
【００５４】
したがって、（１）〜（３）の条件が１つでも満たされ、影領域検出フラグが０に設定された場合、Ｓ１０８の判定はＮＯとなり、Ｓ１１０、Ｓ１１２、Ｓ１１４にて抽出対象領域の特定が再実施され、Ｓ１１６、Ｓ１１８の処理が実施される。また、（１）〜（３）の条件が１つも満たされない場合、影領域検出フラグの設定は１のままで、Ｓ１０８の判定はＹＥＳとなり、抽出対象領域は変更されることなく、Ｓ１１６、Ｓ１１８の処理が実施される。すなわち、（１）〜（３）の条件が１つでも満たされた場合にのみ、抽出対象領域の特定が再実施されるため、画像処理装置１４の処理負荷を低減することが可能である。
【００５５】
上記した構成によれば、鳥瞰画像の車両本体側の一部を抽出対象領域として、複数の鳥瞰画像から時系列に抽出対象領域の画像を抽出して連結させた合成画像が生成される。すなわち、合成画像は、鳥瞰画像の中でも確度の高い車両本体の近くの領域の画像を連結して生成される。そして、この合成画像を対象として道路面に描かれた道路標示の画像認識が実施されるので、道路標示の形状と関係なく、かつ、より正確に道路標示を認識できるようにすることができる。
【００５６】
また、車両後方を車載カメラで撮影する場合、このように鳥瞰画像の車両本体に近い領域を抽出して合成画像を生成することにより、道路標示をより早期に認識することが可能である。
【００５７】
また、鳥瞰画像の車両本体側に最も近い位置に基準線が設定され、鳥瞰画像内にこの基準線を一辺とする矩形の抽出対象領域を特定されるので、鳥瞰画像の中でも確度の高い車両本体の近くの領域の画像を連結させて合成画像を生成することができる。
【００５８】
また、鳥瞰画像に車両自体の影が含まれる場合、車両自体の影により道路標示を誤認識する可能性が高くなることが考えられるが、このような構成では、鳥瞰画像に車両自体の影が含まれることを判定した場合、車両自体の影が抽出対象領域から排除されるような位置で、かつ、鳥瞰画像の車両本体側に最も近い位置に基準線が水平方向に設定され、鳥瞰画像内に基準線を一辺とする矩形の抽出対象領域が特定されるので、車両自体の影により道路標示を誤認識する可能性を低減することが可能である。
【００５９】
なお、鳥瞰画像の車両側に輝度の低い領域が含まれるか否かに基づいて鳥瞰画像に車両自体の影が含まれるか否かを判定することができる。
【００６０】
また、車両の方位が予め定められた方位量以上変化したと判定された場合、車両自体の影が抽出対象領域から排除されるような位置に抽出対象領域が再設定されるので、車両の方位が変化して鳥瞰画像に含まれる車両自体の影が変化しても、鳥瞰画像に含まれる車両自体の影の影響を受けることなく道路標示を画像認識することが可能である。
【００６１】
また、車両へ照射される日射の有無が変化したと判定された場合、車両自体の影が抽出対象領域から排除されるような位置に抽出対象領域が再設定されるので、車両へ照射される日射の有無が変化して鳥瞰画像に含まれる車両自体の影が変化しても、鳥瞰画像に含まれる車両自体の影の影響を受けることなく道路標示を画像認識することが可能である。
【００６２】
また、車両の傾きが予め定められた角度以上変化したと判定された場合、車両自体の影が抽出対象領域から排除されるような位置に抽出対象領域が再設定されるので、例えば、坂道に差し掛かり車両の傾きが変化して鳥瞰画像に含まれる車両自体の影が変化しても、鳥瞰画像に含まれる車両自体の影の影響を受けることなく道路標示を画像認識することが可能である。
【００６３】
また、撮影画像を鳥瞰画像に変換する際に、広角レンズにより生じる画像歪みが補正されるので、道路標示の画像認識の認識率を向上することができる。
【００６４】
また、複数の鳥瞰画像から時系列に抽出対象領域の画像を抽出して垂直方向に連結させたときに道路面の撮影領域が連続するように、車速が高いほど抽出対象領域の高さが高く、車速が低いほど抽出対象領域の高さが低くなるので、道路面の撮影領域が連続する合成画像を得ることが可能である。
【００６５】
なお、本発明は上記実施形態に限定されるものではなく、本発明の趣旨に基づいて種々なる形態で実施することができる。
【００６６】
例えば、上記実施形態では、道路標示認識装置によって道路標示を認識し、認識した結果を外部装置へ出力する例を示したが、例えば、ナビゲーション装置に道路標示認識装置を内蔵し、道路標示認識装置の認識結果を利用して走行案内を行うようにしてもよい。例えば、一時停止線を表す道路標示を認識した場合に、一時停止線が存在することを報知したり、直進すべき交差点の手前で右折レーンであることを示す道路標示を認識した場合に、直進レーンを走行するように案内したりすることができる。
【００６７】
また、上記実施形態では、広角レンズを用いた車載カメラを車両に搭載した構成例を示したが、広角レンズではなく通常のレンズを用いた車載カメラを車両に搭載した構成としてもよい。このような構成では、Ｓ１０６にて実施したような広角レンズによる画像歪みの補正を実施することなく、車載カメラから送出される撮影画像を鳥瞰画像に変換することができる。
【００６８】
また、上記実施形態では、車両の後方を撮影する車載カメラを搭載した例を示したが、車両の前方を撮影する車載カメラを搭載した構成としてもよい。なお、上記実施形態では、撮影画像を鳥瞰画像に変換する際に、車載カメラで撮影された画像の上下左右を反転させるようにしたが、車両の前方を車載カメラで撮影した画像は道路標示の上下左右を反転させる必要はない。
【００６９】
また、上記実施形態では、車載カメラ１０によって車両後方を撮影する構成となっているため、鳥瞰画像内に基準線を上辺とする矩形の抽出対象領域Ｅを特定する例を示したが、車両の前方を車載カメラで撮影する構成とした場合、鳥瞰画像内に基準線を下辺とする矩形の抽出対象領域Ｅを特定すればよい。
【００７０】
なお、上記実施形態における構成と特許請求の範囲の構成との対応関係について説明すると、車載カメラ１０が撮影手段に相当し、Ｓ１０６および車載カメラ１０から送出される撮影画像に対して鳥瞰画像に変換し、逐一メモリ１４ｂに記憶する処理が画像変換手段に相当し、Ｓ１１２、Ｓ１１４が抽出対象領域特定手段に相当し、Ｓ１１６が合成画像生成手段に相当し、Ｓ１１８が画像認識処理手段に相当し、ジャイロスコープ１２から入力される信号に基づいて車両の方位が予め定められた方位量以上変化したか否かを判定する処理が方位変化判定手段に相当し、日射センサ１１から入力される信号に基づいて車両へ照射される日射の有無を判定する処理が日射判定手段に相当し、ジャイロスコープ１２から入力される信号に基づいて車両の前後方向の傾きが予め定められた角度以上変化したか否かを判定する処理が傾斜判定手段に相当し、車速センサ１３から入力される車速信号に基づいて車両の車速を検出する処理が車速検出手段に相当する。
【図面の簡単な説明】
【００７１】
【図１】本発明の一実施形態に係る道路標示認識装置の構成を示す図である。
【図２】画像処理装置の画像認識処理を示すフローチャートである。
【図３】原画像と鳥瞰画像を示す図である。
【図４】鳥瞰画像に車両自体の影が含まれない場合と鳥瞰画像に車両自体の影が含まれる場合の基準線の設定位置について説明するための図である。
【図５】車速に応じて抽出対象領域の高さを変化させる処理について説明するための図である。
【図６】車載カメラの撮影画像と鳥瞰画像について説明するための図である。
【図７】複数の鳥瞰画像から抽出した抽出対象領域の画像を連結させて合成画像を生成する様子を示す図である。
【図８】抽出対象領域に車両自体の影を含む状態で複数の鳥瞰画像から抽出対象領域の画像を抽出した場合の合成画像について説明するための図である。
【図９】抽出対象領域の高さを固定値とし、更に、車両が停車した場合の合成画像について説明するための図である。
【図１０】課題を説明するための図である。
【符号の説明】
【００７２】
１…道路標示認識装置、１０…車載カメラ、１１…日射センサ、
１２…ジャイロスコープ、１３…車速センサ、１４…画像処理装置。
【技術分野】
【０００１】
本発明は、道路面に描かれた道路標示を画像認識する道路標示認識装置に関する。
【背景技術】
【０００２】
従来から、車載カメラで道路を撮影し、この撮影した画像から画像処理技術を用いて白線や横断歩道などの路面に描かれている道路標示を認識する様々な装置が提案されている。
【０００３】
このような装置として、前方路面を撮影した画像を水平方向に走査してエッジ位置を検出し、操作位置の近傍に設定され画像の所定範囲を囲むウィンドウ内の画像の対象性を評価して対象性の良いウィンドウ位置を求め、エッジ位置と対象性の良いウィンドウ位置とに基づき、路面に描かれている道路標示を認識するようにしたものがある（例えば、特許文献１参照）。
【特許文献１】特許第３１５３８４５号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
上記特許文献１に記載の装置は、横断歩道や横断歩道予告のような対象性を有する道路標示を認識することは可能であるが、例えば、制限速度等を表す非対称の道路標示を認識することができないといった問題がある。
【０００５】
また、車載カメラを用いて路面に描かれている道路標示を静止画像として撮影し、この静止画像を用いて道路標示を画像認識しようとした場合、道路標示全体を含むような静止画像を撮影する必要がある。しかし、このように道路標示全体を含むように撮影した静止画像は、道路標示のサイズが小さくなってしまう。
【０００６】
また、このように車載カメラを用いて道路標示を撮影する場合、道路標示を斜め上方向から撮影することになるため、道路標示の車両に近い部分は大きく、道路標示の車両から離れた部分は小さく映し出される。特に、路面に描かれている道路標示は、車両が高速で走行していても運転者が容易に認識できるように道路の走行方向に沿って縦長の形状となっているため、図１０に示すように、撮影画像における道路標示の車両から離れた部分が非常に小さくなってしまい、正確に道路標示を画像認識できない場合が生じるといった問題がある。
【０００７】
本発明は上記問題に鑑みたもので、道路標示の形状と関係なく、かつ、より正確に道路標示を認識できるようにすることを目的とする。
【課題を解決するための手段】
【０００８】
本発明の第１の特徴は、車両に搭載され、該車両周辺の道路面を定期的に撮影した画像を送出する撮影手段と、撮像手段から送出される撮像画像を、鉛直方向から地上面を見下ろした鳥瞰図を表す鳥瞰画像に変換して記憶手段に記憶する画像変換手段と、画像変換手段によって変換された鳥瞰画像の車両本体側の一部に抽出対象領域を特定する抽出対象領域特定手段と、記憶手段に記憶された複数の鳥瞰画像から時系列に抽出対象領域の画像を抽出して垂直方向に連結させた合成画像を生成する合成画像生成手段と、合成画像生成手段によって生成された合成画像を対象として道路面に描かれた道路標示を画像認識する画像認識処理手段と、を備えたことである。
【０００９】
このような構成では、鳥瞰画像の車両本体側の一部を抽出対象領域として、複数の鳥瞰画像から時系列に抽出対象領域の画像を抽出して連結させた合成画像が生成される。すなわち、合成画像は、鳥瞰画像の中でも確度の高い車両本体の近くの領域の画像を連結して生成される。そして、この合成画像を対象として道路面に描かれた道路標示の画像認識が実施されるので、道路標示の形状と関係なく、かつ、より正確に道路標示を認識できるようにすることができる。
【００１０】
また、本発明の第２の特徴は、抽出対象領域特定手段は、鳥瞰画像の車両本体側に最も近い位置に基準線を水平方向に設定するとともに、鳥瞰画像内に基準線を一辺とする矩形の抽出対象領域を特定することである。
【００１１】
このような構成では、鳥瞰画像の車両本体側に最も近い位置に基準線が設定され、鳥瞰画像内にこの基準線を一辺とする矩形の抽出対象領域を特定されるので、鳥瞰画像の中でも確度の高い車両本体の近くの領域の画像を連結させて合成画像を生成することができる。
【００１２】
また、本発明の第３の特徴は、抽出対象領域特定手段は、鳥瞰画像に車両自体の影が含まれるか否かを判定し、鳥瞰画像に車両自体の影が含まれない場合には、鳥瞰画像の車両本体側に最も近い位置に基準線を水平方向に設定するとともに、鳥瞰画像内に基準線を一辺とする矩形の抽出対象領域を特定し、鳥瞰画像に車両自体の影が含まれる場合には、車両自体の影が抽出対象領域から排除されるような位置で、かつ、鳥瞰画像の車両本体側に最も近い位置に基準線を水平方向に設定するとともに、鳥瞰画像内に基準線を一辺とする矩形の抽出対象領域を特定することである。
【００１３】
鳥瞰画像に車両自体の影が含まれる場合、車両自体の影により道路標示を誤認識する可能性が高くなることが考えられるが、このような構成では、鳥瞰画像に車両自体の影が含まれることを判定した場合、車両自体の影が抽出対象領域から排除されるような位置で、かつ、鳥瞰画像の車両本体側に最も近い位置に基準線が水平方向に設定され、鳥瞰画像内に基準線を一辺とする矩形の抽出対象領域が特定されるので、車両自体の影により道路標示を誤認識する可能性を低減することが可能である。
【００１４】
また、本発明の第４の特徴は、抽出対象領域特定手段が、画像変換手段によって変換された鳥瞰画像の車両側に輝度の低い領域が含まれるか否かに基づいて鳥瞰画像に車両自体の影が含まれるか否かを判定することである。
【００１５】
このように、鳥瞰画像の車両側に輝度の低い領域が含まれるか否かに基づいて鳥瞰画像に車両自体の影が含まれるか否かを判定することができる。
【００１６】
また、本発明の第５の特徴は、車両の方位が予め定められた方位量以上変化したか否かを判定する方位変化判定手段を備え、抽出対象領域特定手段は、方位変化判定手段によって車両の方位が予め定められた方位量以上変化したと判定された場合、抽出対象領域の特定を再実施することである。
【００１７】
このような構成では、車両の方位が予め定められた方位量以上変化したと判定された場合、車両自体の影が抽出対象領域から排除されるような位置に抽出対象領域が再設定されるので、車両の方位が変化して鳥瞰画像に含まれる車両自体の影が変化しても、鳥瞰画像に含まれる車両自体の影の影響を受けることなく道路標示を画像認識することが可能である。
【００１８】
また、本発明の第６の特徴は、車両へ照射される日射の有無が変化したか否かを判定する日射判定手段を備え、抽出対象領域特定手段は、日射判定手段によって車両へ照射される日射の有無が変化したと判定された場合、抽出対象領域の特定を再実施することである。
【００１９】
このような構成では、車両へ照射される日射の有無が変化したと判定された場合、車両自体の影が抽出対象領域から排除されるような位置に抽出対象領域が再設定されるので、車両へ照射される日射の有無が変化して鳥瞰画像に含まれる車両自体の影が変化しても、鳥瞰画像に含まれる車両自体の影の影響を受けることなく道路標示を画像認識することが可能である。
【００２０】
また、本発明の第７の特徴は、車両の傾きが予め定められた角度以上変化したか否かを判定する傾斜判定手段を備え、抽出対象領域特定手段は、傾斜判定手段によって車両の傾きが予め定められた角度以上変化したと判定された場合、抽出対象領域の特定を再実施することである。
【００２１】
このような構成では、車両の傾きが予め定められた角度以上変化したと判定された場合、車両自体の影が抽出対象領域から排除されるような位置に抽出対象領域が再設定されるので、例えば、坂道に差し掛かり車両の傾きが変化して鳥瞰画像に含まれる車両自体の影が変化しても、鳥瞰画像に含まれる車両自体の影の影響を受けることなく道路標示を画像認識することが可能である。
【００２２】
また、本発明の第８の特徴は、撮影手段は、広角レンズを用いて車両周辺の道路面を撮影するもので、画像変換手段は、広角レンズにより生じる画像歪みを補正して、撮影手段から送出される撮影画像を鳥瞰画像に変換することである。
【００２３】
このような構成では、広角レンズにより生じる画像歪みが補正されるので、道路標示の画像認識の認識率を向上することができる。
【００２４】
また、本発明の第９の特徴は、車両の車速を検出する車速検出手段を備え、抽出対象領域特定手段は、複数の鳥瞰画像から時系列に抽出対象領域の画像を抽出して垂直方向に連結させたときに道路面の撮影領域が連続するように、車速検出手段によって検出された車速が高いほど抽出対象領域の高さを高くし、車速が低いほど抽出対象領域の高さを低くすることである。
【００２５】
このような構成では、複数の鳥瞰画像から時系列に抽出対象領域の画像を抽出して垂直方向に連結させたときに道路面の撮影領域が連続するように、車速が高いほど抽出対象領域の高さが高く、車速が低いほど抽出対象領域の高さが低くなるので、道路面の撮影領域が連続する合成画像を得ることが可能である。
【発明を実施するための最良の形態】
【００２６】
本発明の一実施形態に係る道路標示認識装置の構成を図１に示す。本道路標示認識装置１は、車載カメラ１０、日射センサ１１、ジャイロスコープ１２、車速センサ１３および画像処理装置１４を備えている。
【００２７】
車載カメラ１０は、車両に搭載され、車両後方の道路面を定期的に撮影した画像を画像処理装置１４へ送出する。なお、本実施形態における車載カメラ１０は、車両後方を撮影するための所謂リアビューカメラとして構成されており、撮影画像は左右反転したものとなる。また、車載カメラ１０のレンズには、視野範囲が広くなるように広角レンズが用いられている。このため、車載カメラ１０によって撮影された撮影画像には丸みを帯びた歪みが生じる。
【００２８】
日射センサ１１は、車両の室内へ照射される日射量を検出し、日射量に応じた信号を画像処理装置１４へ出力する。
【００２９】
ジャイロスコープ１２は、車両の方位変化量および車両の前後方向の傾斜変化量を検出し、方位変化量および傾斜変化量に応じた信号を画像処理装置１４へ出力する。
【００３０】
車速センサ１３は、車両の速度に応じた車速信号を画像処理装置１４へ出力する。
【００３１】
画像処理装置１４は、ＣＰＵ１４ａ、メモリ１４ｂ等を備えたコンピュータとして構成されている。
【００３２】
メモリ１４ｂは、プログラムを記憶するためのＲＯＭ、一時データを記憶するためのＲＡＭ、画像データを記憶するためのＶＲＡＭによって構成されている。なお、ＣＰＵ１４ａはメモリ１４ｂのＲＯＭに記憶されたプログラムに従って各種処理を実施する。
【００３３】
画像処理装置１４の処理としては、車載カメラ１０から送出される撮影画像から道路面に描かれた道路表示を画像認識する画像認識処理、日射センサ１１から入力される信号に基づいて車両へ照射される日射の有無を判定する日射判定処理、ジャイロスコープ１２から入力される信号に基づいて車両の方位が予め定められた方位量以上変化したか否かを判定する方位変化判定処理、ジャイロスコープ１２から入力される信号に基づいて車両の前後方向の傾きが予め定められた角度以上変化したか否かを判定する傾斜判定処理、車速センサ１３から入力される車速信号に基づいて車両の車速を検出する車速検出処理等がある。
【００３４】
次に、図２に従って、画像処理装置１４による画像認識処理について説明する。本画像処理装置１４は、イグニッションスイッチがオフの場合では低消費電力モードで作動し、イグニッションスイッチがオンすると起動状態となる。
【００３５】
まず、イグニッションスイッチがオンになったか否かを判定する。（Ｓ１００）。
【００３６】
イグニッションスイッチがオフの場合、Ｓ１００の判定を繰り返し、イグニッションスイッチがオンすると、起動状態となり、まず、影領域検出フラグを０に設定する（Ｓ１０２）。この影領域検出フラグは、メモリ１４ｂのＲＡＭ領域に設けられている。
【００３７】
次に、原画像１フレーム分を読み出す（Ｓ１０４）。具体的には、車載カメラ１０から送出される撮影画像の最新の原画像１フレーム分をメモリ１４ｂのＶＲＡＭに記憶させる。
【００３８】
次に、原画像を歪み補正し、鳥瞰変換して鳥瞰画像を生成する（Ｓ１０６）。具体的には、原画像に対して、車載カメラ１０の広角レンズにより生じる歪みを補正するための処理を実施した後、この歪み補正した画像を左右反転および上下反転させ、鉛直方向から地上面を見下ろした鳥瞰図を表す鳥瞰画像に変換して記憶手段に記憶する。ここで、歪み補正した画像を左右反転させるのは、車載カメラ１０から左右反転して送出される撮影画像を元に戻すためである。また、歪み補正した画像を上下反転させるのは、車載カメラ１０により上下反転して撮影される道路標示を本来の向きにするためである。
【００３９】
なお、車載カメラ１０から送出される撮像画像を鳥瞰画像に変換する技術は、従来技術（例えば、特開平１０−２１１８４９号）を利用することができる。また、車載カメラ１０の広角レンズにより生じる歪みを補正するための処理についても周知技術である。
【００４０】
図３に、原画像と鳥瞰画像の例を示す。図中左側が原画像で右側が鳥瞰画像である。図中の道路標示は、時速５０キロメートルの制限速度を示すものである。原画像の道路標示には、広角レンズにより生じる歪みが生じており、また、道路標示が上下左右に反転したものとなっている。また、鳥瞰画像の道路標示は、広角レンズにより生じる歪みが補正され、道路標示が本来の向きに修正されている。このように、車載カメラ１０で撮影された原画像が、鉛直方向から地上面を見下ろした鳥瞰図を表す鳥瞰画像に変換される。
【００４１】
次に、影領域検出フラグが１か否かを判定する（Ｓ１０８）。ここで、影領域検出フラグは０となっているため、Ｓ１０８の判定はＮＯとなり、次に、原画像から影領域を検出し、影領域検出フラグを１に設定する（Ｓ１１０）。具体的には、鳥瞰画像に輝度の低い領域が含まれるか否かに基づいて鳥瞰画像に車両自体の影が含まれるか否かを判定するとともに、鳥瞰画像に車両自体の影が含まれると判定した場合、鳥瞰画像に含まれる輝度の低い領域を影領域として検出し、影領域検出フラグを１に設定する。なお、鳥瞰画像に車両自体の影が含まれないと判定した場合にも、影領域検出フラグを１に設定する。
【００４２】
図３に示した原画像と鳥瞰画像には、それぞれ車両Ｂ自体の影Ｓが含まれている。このように鳥瞰画像に車両Ｂ自体の影Ｓが含まれている場合、鳥瞰画像に含まれる輝度の低い領域が影領域として検出される。
【００４３】
次に、鳥瞰画像の基準位置に水平方向の基準線を設定する（Ｓ１１２）。鳥瞰画像に車両自体の影が含まれない場合には、図４の左側に示すように、鳥瞰画像の車両本体側に最も近い位置に基準線を水平方向に設定し、鳥瞰画像に車両自体の影が含まれる場合には、図４の右側に示すように、車両自体の影Ｓが抽出対象領域から排除されるような位置で、かつ、鳥瞰画像の車両本体側に最も近い位置に基準線を水平方向に設定する。
【００４４】
次に、鳥瞰画像内に矩形の抽出対象領域Ｅを特定し、メモリに記憶する（Ｓ１１４）。本実施形態では、車載カメラ１０によって車両後方を撮影する構成となっているため、鳥瞰画像内に基準線を上辺とする矩形の抽出対象領域Ｅを特定する。また、車速センサ１３から入力される車速信号に基づいて車速を検出し、図５に示すように、車速が高いほど抽出対象領域Ｅの高さＨが高くなり、車速が低いほど抽出対象領域Ｅの高さＨが低くなるように、車速に応じて抽出対象領域Ｅの高さＨを変化させる。このように車速に応じて抽出対象領域Ｅの高さＨを変化させるのは、次のＳ１１６にて、複数の鳥瞰画像から時系列に抽出対象領域Ｅの画像を抽出して垂直方向に連結させて合成画像を生成したときに道路面の撮影領域が連続するようにするためである。
【００４５】
このようにして、鳥瞰画像の車両本体側の一部に、水平方向の基準線を一辺とする矩形の抽出対象領域が特定される。
【００４６】
なお、画像処理装置１４は、図６に示すように、車載カメラ１０から送出される撮影画像の全てのフレームに対し、広角レンズにより生じる歪みを補正するための処理を実施し、上下左右に反転した後、鳥瞰画像に変換し、逐一メモリ１４ｂのＶＲＡＭに記憶する処理を実施するようになっている。メモリ１４ｂのＶＲＡＭには、道路標示を画像認識するために必要なメモリ容量（例えば、鳥瞰画像数十画像分）のメモリ領域が割り当てられており、このメモリ領域に、複数の鳥瞰画像が上書き記憶されるようになっている。
【００４７】
次のＳ１１６では、メモリ１４ｂのＶＲＡＭに記憶された複数の鳥瞰画像から時系列に抽出対象領域Ｅの画像を抽出して垂直方向に連結させた合成画像を生成してＶＲＡＭの別領域に記憶する。具体的には、ＶＲＡＭに記憶された複数の鳥瞰画像から時系列に抽出対象領域Ｅの画像を抽出し、抽出した画像を垂直方向に連結させた画像をＶＲＡＭの別領域に描画して合成画像を生成する。なお、車両が前進中の場合、先に抽出された画像の上側に、後で抽出された画像を連結させて合成画像を生成し、車両が後退中の場合、先に抽出された画像の下側に、後で抽出された画像を連結させて合成画像を生成する。
【００４８】
図７に、車両が前進中の場合に、複数の鳥瞰画像から抽出した抽出対象領域Ｅの画像を連結させて合成画像を生成する様子を示す。車両自体の影Ｓが抽出対象領域Ｅから排除されるように、図中（ａ）…（ｂ）…（ｃ）の順に複数の鳥瞰画像から抽出対象領域Ｅの画像が抽出され、先に抽出された画像の上側に、後で抽出された画像を連結させて合成画像が生成される。
【００４９】
なお、抽出対象領域Ｅに車両Ｂ自体の影Ｓを含む状態で複数の鳥瞰画像から抽出対象領域Ｅの画像を抽出した場合、図８示すように、合成画像に車両Ｂ自体の影Ｓが含まれ、道路標示の認識率が低下してしまうが、本実施形態では、車両自体の影Ｓが抽出対象領域Ｅから排除されるように、複数の鳥瞰画像から抽出対象領域Ｅの画像が抽出されるので、車両自体の影Ｓによる道路標示の認識率の低下を抑制することができる。
【００５０】
また、抽出対象領域Ｅの高さＨを固定値とした場合、車両が停車してしまうと、図９に示すように、抽出対象領域Ｅとして道路標示の同じ領域が繰り返し抽出され、合成画像を生成したときに道路面の撮影領域が連続しなくなってしまうが、本実施形態では、車速に応じて抽出対象領域Ｅの高さＨを変化させ、複数の鳥瞰画像から時系列に抽出対象領域の画像を抽出して垂直方向に連結させたときに道路面の撮影領域を連続させることができるようにしている。
【００５１】
次に、ＶＲＡＭに記憶された合成画像を対象として道路面に描かれた道路標示を画像認識する（Ｓ１１８）。具体的には、合成画像と予め用意された道路標示用のテンプレートとを照合して道路標示を画像認識し、認識した結果を外部装置（図示せず）へ出力する。なお、外部装置は、この認識結果に応じて、例えば、制限速度を運転者に報知するようになっている。
【００５２】
次に、イグニッションスイッチがオフしたか否かを判定する（Ｓ１２０）。イグニッションスイッチがオンしたままの場合、Ｓ１２０の判定はＮＯとなり、以下に示す（１）〜（３）の条件を満たす場合に影領域検出フラグを０にする処理を実施する（Ｓ１２２）。
【００５３】
（１）車両の方位が予め定められた方位量以上変化したことを判定した場合
（２）車両へ照射される日射の有無が変化した場合
（３）車両の傾きが予め定められた角度以上変化した場合
（１）〜（３）の条件を１つでも満たす場合には、鳥瞰画像に含まれる車両自体の影が変化するため、抽出対象領域の特定を再実施するように影領域検出フラグを０に設定し、（１）〜（３）の条件を１つも満たさない場合には、影領域検出フラグの設定を１のままとし、Ｓ１０４へ戻る。
【００５４】
したがって、（１）〜（３）の条件が１つでも満たされ、影領域検出フラグが０に設定された場合、Ｓ１０８の判定はＮＯとなり、Ｓ１１０、Ｓ１１２、Ｓ１１４にて抽出対象領域の特定が再実施され、Ｓ１１６、Ｓ１１８の処理が実施される。また、（１）〜（３）の条件が１つも満たされない場合、影領域検出フラグの設定は１のままで、Ｓ１０８の判定はＹＥＳとなり、抽出対象領域は変更されることなく、Ｓ１１６、Ｓ１１８の処理が実施される。すなわち、（１）〜（３）の条件が１つでも満たされた場合にのみ、抽出対象領域の特定が再実施されるため、画像処理装置１４の処理負荷を低減することが可能である。
【００５５】
上記した構成によれば、鳥瞰画像の車両本体側の一部を抽出対象領域として、複数の鳥瞰画像から時系列に抽出対象領域の画像を抽出して連結させた合成画像が生成される。すなわち、合成画像は、鳥瞰画像の中でも確度の高い車両本体の近くの領域の画像を連結して生成される。そして、この合成画像を対象として道路面に描かれた道路標示の画像認識が実施されるので、道路標示の形状と関係なく、かつ、より正確に道路標示を認識できるようにすることができる。
【００５６】
また、車両後方を車載カメラで撮影する場合、このように鳥瞰画像の車両本体に近い領域を抽出して合成画像を生成することにより、道路標示をより早期に認識することが可能である。
【００５７】
また、鳥瞰画像の車両本体側に最も近い位置に基準線が設定され、鳥瞰画像内にこの基準線を一辺とする矩形の抽出対象領域を特定されるので、鳥瞰画像の中でも確度の高い車両本体の近くの領域の画像を連結させて合成画像を生成することができる。
【００５８】
また、鳥瞰画像に車両自体の影が含まれる場合、車両自体の影により道路標示を誤認識する可能性が高くなることが考えられるが、このような構成では、鳥瞰画像に車両自体の影が含まれることを判定した場合、車両自体の影が抽出対象領域から排除されるような位置で、かつ、鳥瞰画像の車両本体側に最も近い位置に基準線が水平方向に設定され、鳥瞰画像内に基準線を一辺とする矩形の抽出対象領域が特定されるので、車両自体の影により道路標示を誤認識する可能性を低減することが可能である。
【００５９】
なお、鳥瞰画像の車両側に輝度の低い領域が含まれるか否かに基づいて鳥瞰画像に車両自体の影が含まれるか否かを判定することができる。
【００６０】
また、車両の方位が予め定められた方位量以上変化したと判定された場合、車両自体の影が抽出対象領域から排除されるような位置に抽出対象領域が再設定されるので、車両の方位が変化して鳥瞰画像に含まれる車両自体の影が変化しても、鳥瞰画像に含まれる車両自体の影の影響を受けることなく道路標示を画像認識することが可能である。
【００６１】
また、車両へ照射される日射の有無が変化したと判定された場合、車両自体の影が抽出対象領域から排除されるような位置に抽出対象領域が再設定されるので、車両へ照射される日射の有無が変化して鳥瞰画像に含まれる車両自体の影が変化しても、鳥瞰画像に含まれる車両自体の影の影響を受けることなく道路標示を画像認識することが可能である。
【００６２】
また、車両の傾きが予め定められた角度以上変化したと判定された場合、車両自体の影が抽出対象領域から排除されるような位置に抽出対象領域が再設定されるので、例えば、坂道に差し掛かり車両の傾きが変化して鳥瞰画像に含まれる車両自体の影が変化しても、鳥瞰画像に含まれる車両自体の影の影響を受けることなく道路標示を画像認識することが可能である。
【００６３】
また、撮影画像を鳥瞰画像に変換する際に、広角レンズにより生じる画像歪みが補正されるので、道路標示の画像認識の認識率を向上することができる。
【００６４】
また、複数の鳥瞰画像から時系列に抽出対象領域の画像を抽出して垂直方向に連結させたときに道路面の撮影領域が連続するように、車速が高いほど抽出対象領域の高さが高く、車速が低いほど抽出対象領域の高さが低くなるので、道路面の撮影領域が連続する合成画像を得ることが可能である。
【００６５】
なお、本発明は上記実施形態に限定されるものではなく、本発明の趣旨に基づいて種々なる形態で実施することができる。
【００６６】
例えば、上記実施形態では、道路標示認識装置によって道路標示を認識し、認識した結果を外部装置へ出力する例を示したが、例えば、ナビゲーション装置に道路標示認識装置を内蔵し、道路標示認識装置の認識結果を利用して走行案内を行うようにしてもよい。例えば、一時停止線を表す道路標示を認識した場合に、一時停止線が存在することを報知したり、直進すべき交差点の手前で右折レーンであることを示す道路標示を認識した場合に、直進レーンを走行するように案内したりすることができる。
【００６７】
また、上記実施形態では、広角レンズを用いた車載カメラを車両に搭載した構成例を示したが、広角レンズではなく通常のレンズを用いた車載カメラを車両に搭載した構成としてもよい。このような構成では、Ｓ１０６にて実施したような広角レンズによる画像歪みの補正を実施することなく、車載カメラから送出される撮影画像を鳥瞰画像に変換することができる。
【００６８】
また、上記実施形態では、車両の後方を撮影する車載カメラを搭載した例を示したが、車両の前方を撮影する車載カメラを搭載した構成としてもよい。なお、上記実施形態では、撮影画像を鳥瞰画像に変換する際に、車載カメラで撮影された画像の上下左右を反転させるようにしたが、車両の前方を車載カメラで撮影した画像は道路標示の上下左右を反転させる必要はない。
【００６９】
また、上記実施形態では、車載カメラ１０によって車両後方を撮影する構成となっているため、鳥瞰画像内に基準線を上辺とする矩形の抽出対象領域Ｅを特定する例を示したが、車両の前方を車載カメラで撮影する構成とした場合、鳥瞰画像内に基準線を下辺とする矩形の抽出対象領域Ｅを特定すればよい。
【００７０】
なお、上記実施形態における構成と特許請求の範囲の構成との対応関係について説明すると、車載カメラ１０が撮影手段に相当し、Ｓ１０６および車載カメラ１０から送出される撮影画像に対して鳥瞰画像に変換し、逐一メモリ１４ｂに記憶する処理が画像変換手段に相当し、Ｓ１１２、Ｓ１１４が抽出対象領域特定手段に相当し、Ｓ１１６が合成画像生成手段に相当し、Ｓ１１８が画像認識処理手段に相当し、ジャイロスコープ１２から入力される信号に基づいて車両の方位が予め定められた方位量以上変化したか否かを判定する処理が方位変化判定手段に相当し、日射センサ１１から入力される信号に基づいて車両へ照射される日射の有無を判定する処理が日射判定手段に相当し、ジャイロスコープ１２から入力される信号に基づいて車両の前後方向の傾きが予め定められた角度以上変化したか否かを判定する処理が傾斜判定手段に相当し、車速センサ１３から入力される車速信号に基づいて車両の車速を検出する処理が車速検出手段に相当する。
【図面の簡単な説明】
【００７１】
【図１】本発明の一実施形態に係る道路標示認識装置の構成を示す図である。
【図２】画像処理装置の画像認識処理を示すフローチャートである。
【図３】原画像と鳥瞰画像を示す図である。
【図４】鳥瞰画像に車両自体の影が含まれない場合と鳥瞰画像に車両自体の影が含まれる場合の基準線の設定位置について説明するための図である。
【図５】車速に応じて抽出対象領域の高さを変化させる処理について説明するための図である。
【図６】車載カメラの撮影画像と鳥瞰画像について説明するための図である。
【図７】複数の鳥瞰画像から抽出した抽出対象領域の画像を連結させて合成画像を生成する様子を示す図である。
【図８】抽出対象領域に車両自体の影を含む状態で複数の鳥瞰画像から抽出対象領域の画像を抽出した場合の合成画像について説明するための図である。
【図９】抽出対象領域の高さを固定値とし、更に、車両が停車した場合の合成画像について説明するための図である。
【図１０】課題を説明するための図である。
【符号の説明】
【００７２】
１…道路標示認識装置、１０…車載カメラ、１１…日射センサ、
１２…ジャイロスコープ、１３…車速センサ、１４…画像処理装置。
【特許請求の範囲】
【請求項１】
車両に搭載され、該車両周辺の道路面を定期的に撮影した画像を送出する撮影手段と、
前記撮像手段から送出される撮像画像を、鉛直方向から地上面を見下ろした鳥瞰図を表す鳥瞰画像に変換して記憶手段に記憶する画像変換手段と、
前記画像変換手段によって変換された前記鳥瞰画像の前記車両本体側の一部に抽出対象領域を特定する抽出対象領域特定手段と、
前記記憶手段に記憶された前記複数の鳥瞰画像から時系列に前記抽出対象領域の画像を抽出して垂直方向に連結させた合成画像を生成する合成画像生成手段と、
前記合成画像生成手段によって生成された前記合成画像を対象として道路面に描かれた道路標示を画像認識する画像認識処理手段と、を備えたことを特徴とする道路標示認識装置。
【請求項２】
前記抽出対象領域特定手段は、前記鳥瞰画像の前記車両本体側に最も近い位置に前記基準線を水平方向に設定するとともに、前記鳥瞰画像内に前記基準線を一辺とする矩形の前記抽出対象領域を特定することを特徴とする請求項１に記載の道路標示認識装置。
【請求項３】
前記抽出対象領域特定手段は、前記鳥瞰画像に前記車両自体の影が含まれるか否かを判定し、前記鳥瞰画像に前記車両自体の影が含まれない場合には、前記鳥瞰画像の前記車両本体側に最も近い位置に前記基準線を水平方向に設定するとともに、前記鳥瞰画像内に前記基準線を一辺とする矩形の前記抽出対象領域を特定し、前記鳥瞰画像に前記車両自体の影が含まれる場合には、前記車両自体の影が前記抽出対象領域から排除されるような位置で、かつ、前記鳥瞰画像の前記車両本体側に最も近い位置に前記基準線を水平方向に設定するとともに、前記鳥瞰画像内に前記基準線を一辺とする矩形の前記抽出対象領域を特定することを特徴とする請求項１に記載の道路標示認識装置。
【請求項４】
前記抽出対象領域特定手段は、前記画像変換手段によって変換された前記鳥瞰画像の前記車両側に輝度の低い領域が含まれるか否かに基づいて前記鳥瞰画像に車両自体の影が含まれるか否かを判定することを特徴とする請求項３に記載の道路標示認識装置。
【請求項５】
前記車両の方位が予め定められた方位量以上変化したか否かを判定する方位変化判定手段を備え、
前記抽出対象領域特定手段は、前記方位変化判定手段によって前記車両の方位が予め定められた方位量以上変化したと判定された場合、前記抽出対象領域の特定を再実施することを特徴とする請求項３または４に記載の道路標示認識装置。
【請求項６】
前記車両へ照射される日射の有無が変化したか否かを判定する日射判定手段を備え、
前記抽出対象領域特定手段は、前記日射判定手段によって前記車両へ照射される日射の有無が変化したと判定された場合、前記抽出対象領域の特定を再実施することを特徴とする請求項３ないし５のいずれか１つに記載の道路標示認識装置。
【請求項７】
前記車両の傾きが予め定められた角度以上変化したか否かを判定する傾斜判定手段を備え、
前記抽出対象領域特定手段は、前記傾斜判定手段によって前記車両の傾きが予め定められた角度以上変化したと判定された場合、前記抽出対象領域の特定を再実施することを特徴とする請求項３ないし６のいずれか１つに記載の道路標示認識装置。
【請求項８】
前記撮影手段は、広角レンズを用いて車両周辺の道路面を撮影するもので、
前記画像変換手段は、前記広角レンズにより生じる画像歪みを補正して、前記撮影手段から送出される撮影画像を前記鳥瞰画像に変換することを特徴とする請求項１ないし７のいずれか１つに記載の道路標示認識装置。
【請求項９】
前記車両の車速を検出する車速検出手段を備え、
前記抽出対象領域特定手段は、前記複数の鳥瞰画像から時系列に前記抽出対象領域の画像を抽出して垂直方向に連結させたときに前記道路面の撮影領域が連続するように、前記車速検出手段によって検出された車速が高いほど前記抽出対象領域の高さを高くし、車速が低いほど前記抽出対象領域の高さを低くすることを特徴とする請求項１ないし８のいずれか１つに記載の道路標示認識装置。
【請求項１】
車両に搭載され、該車両周辺の道路面を定期的に撮影した画像を送出する撮影手段と、
前記撮像手段から送出される撮像画像を、鉛直方向から地上面を見下ろした鳥瞰図を表す鳥瞰画像に変換して記憶手段に記憶する画像変換手段と、
前記画像変換手段によって変換された前記鳥瞰画像の前記車両本体側の一部に抽出対象領域を特定する抽出対象領域特定手段と、
前記記憶手段に記憶された前記複数の鳥瞰画像から時系列に前記抽出対象領域の画像を抽出して垂直方向に連結させた合成画像を生成する合成画像生成手段と、
前記合成画像生成手段によって生成された前記合成画像を対象として道路面に描かれた道路標示を画像認識する画像認識処理手段と、を備えたことを特徴とする道路標示認識装置。
【請求項２】
前記抽出対象領域特定手段は、前記鳥瞰画像の前記車両本体側に最も近い位置に前記基準線を水平方向に設定するとともに、前記鳥瞰画像内に前記基準線を一辺とする矩形の前記抽出対象領域を特定することを特徴とする請求項１に記載の道路標示認識装置。
【請求項３】
前記抽出対象領域特定手段は、前記鳥瞰画像に前記車両自体の影が含まれるか否かを判定し、前記鳥瞰画像に前記車両自体の影が含まれない場合には、前記鳥瞰画像の前記車両本体側に最も近い位置に前記基準線を水平方向に設定するとともに、前記鳥瞰画像内に前記基準線を一辺とする矩形の前記抽出対象領域を特定し、前記鳥瞰画像に前記車両自体の影が含まれる場合には、前記車両自体の影が前記抽出対象領域から排除されるような位置で、かつ、前記鳥瞰画像の前記車両本体側に最も近い位置に前記基準線を水平方向に設定するとともに、前記鳥瞰画像内に前記基準線を一辺とする矩形の前記抽出対象領域を特定することを特徴とする請求項１に記載の道路標示認識装置。
【請求項４】
前記抽出対象領域特定手段は、前記画像変換手段によって変換された前記鳥瞰画像の前記車両側に輝度の低い領域が含まれるか否かに基づいて前記鳥瞰画像に車両自体の影が含まれるか否かを判定することを特徴とする請求項３に記載の道路標示認識装置。
【請求項５】
前記車両の方位が予め定められた方位量以上変化したか否かを判定する方位変化判定手段を備え、
前記抽出対象領域特定手段は、前記方位変化判定手段によって前記車両の方位が予め定められた方位量以上変化したと判定された場合、前記抽出対象領域の特定を再実施することを特徴とする請求項３または４に記載の道路標示認識装置。
【請求項６】
前記車両へ照射される日射の有無が変化したか否かを判定する日射判定手段を備え、
前記抽出対象領域特定手段は、前記日射判定手段によって前記車両へ照射される日射の有無が変化したと判定された場合、前記抽出対象領域の特定を再実施することを特徴とする請求項３ないし５のいずれか１つに記載の道路標示認識装置。
【請求項７】
前記車両の傾きが予め定められた角度以上変化したか否かを判定する傾斜判定手段を備え、
前記抽出対象領域特定手段は、前記傾斜判定手段によって前記車両の傾きが予め定められた角度以上変化したと判定された場合、前記抽出対象領域の特定を再実施することを特徴とする請求項３ないし６のいずれか１つに記載の道路標示認識装置。
【請求項８】
前記撮影手段は、広角レンズを用いて車両周辺の道路面を撮影するもので、
前記画像変換手段は、前記広角レンズにより生じる画像歪みを補正して、前記撮影手段から送出される撮影画像を前記鳥瞰画像に変換することを特徴とする請求項１ないし７のいずれか１つに記載の道路標示認識装置。
【請求項９】
前記車両の車速を検出する車速検出手段を備え、
前記抽出対象領域特定手段は、前記複数の鳥瞰画像から時系列に前記抽出対象領域の画像を抽出して垂直方向に連結させたときに前記道路面の撮影領域が連続するように、前記車速検出手段によって検出された車速が高いほど前記抽出対象領域の高さを高くし、車速が低いほど前記抽出対象領域の高さを低くすることを特徴とする請求項１ないし８のいずれか１つに記載の道路標示認識装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【公開番号】特開２００８−２１００８４（Ｐ２００８−２１００８４Ａ）
【公開日】平成２０年９月１１日（２００８．９．１１）
【国際特許分類】
【出願番号】特願２００７−４５１６４（Ｐ２００７−４５１６４）
【出願日】平成１９年２月２６日（２００７．２．２６）
【出願人】（０００００４２６０）株式会社デンソー (27,639)
【Ｆターム（参考）】
【公開日】平成２０年９月１１日（２００８．９．１１）
【国際特許分類】
【出願日】平成１９年２月２６日（２００７．２．２６）
【出願人】（０００００４２６０）株式会社デンソー (27,639)
【Ｆターム（参考）】
[ Back to top ]