運転支援画像生成装置および運転支援画像生成方法
【課題】自車両と立体物とが衝突するか否かについて運転者がより正しい認識をすることを可能にする「運転支援画像生成装置および運転支援画像生成方法」を提供する。
【解決手段】衝突判定部２８０が、位置検出部２６０により検出された立体物の路面に近い一端の位置と、運転支援画像生成部２２０により生成された運転支援画像の予測走行軌跡とに基づいて、車両と立体物との衝突可否について判定を行い、その判定結果に基づいて、運転支援画像取得部３００が、２つのカメラで重複して撮像される重複領域に対応する重複画像部分について、当該２つのカメラのうち何れかにより撮像された画像を採用して生成した運転支援画像を表示用画像として選択的に取得することにより、車両と立体物とが衝突する場合と衝突しない場合とでその様子を明確に表している撮像画像を採用して生成された運転支援画像を可変に表示することができるようにする。
【解決手段】衝突判定部２８０が、位置検出部２６０により検出された立体物の路面に近い一端の位置と、運転支援画像生成部２２０により生成された運転支援画像の予測走行軌跡とに基づいて、車両と立体物との衝突可否について判定を行い、その判定結果に基づいて、運転支援画像取得部３００が、２つのカメラで重複して撮像される重複領域に対応する重複画像部分について、当該２つのカメラのうち何れかにより撮像された画像を採用して生成した運転支援画像を表示用画像として選択的に取得することにより、車両と立体物とが衝突する場合と衝突しない場合とでその様子を明確に表している撮像画像を採用して生成された運転支援画像を可変に表示することができるようにする。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、運転支援画像生成装置および運転支援画像生成方法に関し、例えば、車庫や駐車場に車を入れるとき、予測した走行軌跡を運転者に提示することが可能な予測走行軌跡生成装置に用いて好適なものである。
【背景技術】
【０００２】
車両を狭い車庫や駐車スペースに入れるとき、運転者は周囲の物体と自車両とを接触させないように細心の注意をして運転しなければならず、熟練を要する。このような運転を支援するため、様々な技術が提案されている。例えば、車両に搭載した複数台のカメラにより車両周辺を撮像し、この撮像画像を視点変換処理することによって車両上方の仮想視点から見た画像（以下、「車両周辺画像」と称する）を形成して自車両の画像と共に表示するようにした技術（以下、車両周辺画像生成技術という）が提案されている。この技術によれば、自車両の周囲の状態が当該自車両を中心とした実際の画像で表示されるため、運転者は周囲の障害物を画面上で確認しながら運転をすることができる。
【０００３】
図６は、車両に設置されるカメラの配置の例を示す図である。図６において、フロントカメラ１ａは自車両２の前面に配置され、前方の範囲３の画像を撮像する。左サイドカメラ１ｂは自車両２の左側面に配置され、左方の範囲５を撮像する。リアカメラ１ｃは自車両２の後部面に配置され、後方の範囲７の画像を撮像する。右サイドカメラ１ｄは自車両２の右側面に配置され、右方の範囲９の画像を撮像する。
【０００４】
ここで、フロントカメラ１ａにより撮像される範囲３と左サイドカメラ１ｂにより撮像される範囲５（範囲３に隣接している）との間では、それぞれのカメラによって撮像された画像が一部重複する。また、左サイドカメラ１ｂにより撮像される範囲５とリアカメラ１ｃにより撮像される範囲７（範囲５に隣接している）との間では、それぞれのカメラによって撮像された画像が一部重複する。また、リアカメラ１ｃにより撮像される範囲７と右サイドカメラ１ｄにより撮像される範囲９（範囲７に隣接している）との間では、それぞれのカメラによって撮像された画像が一部重複する。また、右サイドカメラ１ｄにより撮像される範囲９とフロントカメラ１ａにより撮像される範囲３（範囲９に隣接している）との間では、それぞれのカメラによって撮像された画像が一部重複する。以下、隣接した撮像範囲を持つカメラどうしを「隣接するカメラ」と称する。
【０００５】
上述の車両周辺画像生成技術では、複数のカメラにより撮像された車両周囲の撮像画像を視点変換処理する際、撮像範囲が一部重複する重複画像部分については、隣接するカメラのうち何れかのカメラにより撮像された画像を採用している。なお、従来の車両周辺画像生成技術では、隣接するカメラのうちいずれのカメラにより撮像された画像を採用するかはあらかじめ決められていた。通常は、リアカメラ１ｃと左サイドカメラ１ｂまたは右サイドカメラ１ｄとの間で撮像範囲が重複した部分の画像についてリアカメラ１ｃにより撮像された画像が採用される。また、フロントカメラ１ａと左サイドカメラ１ｂまたは右サイドカメラ１ｄとの間で撮像範囲が重複した部分の画像についてフロントカメラ１ａにより撮像された画像が採用される。
【０００６】
なお、車両周辺画像生成技術を用いた一例として、車両周囲に存在する障害物等をより正確に見易く表示することを可能にする技術が知られている（例えば、特許文献１を参照）。具体的には、車両周囲を撮像する複数のカメラにより撮像された画像を車両上方の視点から見たときの画像に変換し、変換した画像を合成する際に、合成する画像の境界を車両の走行状態に応じて変更することにより、合成画像の表示領域において障害物等による死角を低減もしくはなくすことができるようにしている。
【特許文献１】特開２００７−８９０８１号公報
【０００７】
さらに、運転を支援するための別の技術として、予測走行軌跡生成技術と呼ばれるものも提案されている。この予測走行軌跡生成技術は、ハンドルの操舵角の情報に基づいて、自車両を前方または後方側に進行させた場合の走行軌跡を予測し、その予測した予測走行軌跡を車両周辺画像に重畳した運転支援画像を表示する技術である。
【０００８】
ところで、上述した車両周辺画像生成技術や予測走行軌跡生成技術に用いられる車両周辺画像において、複数のカメラによって車両周囲の異なる撮像範囲が撮像された複数の画像について一の画像と他の画像との間で一部の撮像範囲が重複する重複画像部分に立体物が存在する場合、車両周辺画像を合成するときに重複画像部分でどちらのカメラによって撮像された画像を選択するかによって、当該重複画像部分における立体物の表示が異なるという特徴がある。これは、各カメラの搭載位置によって、立体物との相対位置関係が異なるからである。このことを図を用いて説明する。
【０００９】
図７は、車両左後方の重複画像部分５０に立体物６０が存在するときの車両周辺画像を模式的に示した図である。図７（ａ）に示すように、自車両２の左側面に搭載した左サイドカメラによって撮像された画像２０を重複画像部分５０の画像として選択した場合、立体物６０の画像は自車両２の後方に引き伸ばされたように表示される。一方、図７（ｂ）に示すように、自車両２の後部面に搭載したリアカメラによって撮像された画像３０を重複画像部分５０の画像として選択した場合、立体物６０の画像は自車両２の左方に引き伸ばされたように表示される。
【００１０】
図７（ｃ）は、ハンドルの操舵角の情報に基づいて予測された自車両２の予測走行軌跡７０を、車両左後方の重複画像部分５０に立体物６０が存在するときの車両周辺画像に重畳した運転支援画像を模式的に示す図である。図７（ｃ）に示す例では、自車両２の左側面に搭載した左サイドカメラによって撮像された画像２０を重複画像部分５０の画像として選択しているため、立体物６０の画像は自車両２の後方に引き伸ばされたように表示される。ここで、立体物６０の根元位置（路面に近い一端の位置）は予測走行軌跡７０により形成される領域８０と接している。そして、自車両２の後方に引き伸ばされた立体物６０と予測走行軌跡７０との位置関係を一見した場合、立体物６０の引き伸ばされた部分に注目すると、立体物６０と予測走行軌跡７０とが明らかに重複しているように見える。そのため、運転者は、そのまま予測走行軌跡７０に従って途中まで運転し続けると、自車両２と立体物６０とが衝突するといった正しい認識をすることができる。
【００１１】
図７（ｄ）は、ハンドルの操舵角の情報に基づいて予測された自車両２の予測走行軌跡７０を車両左後方の重複画像部分５０に立体物６０が存在するときの車両周辺画像に重畳した運転支援画像を模式的に示す図である。図７（ｄ）に示す例では、自車両２の後部面に搭載したリアカメラによって撮像された画像３０を重複画像部分５０の画像として選択しているため、立体物６０は自車両２の左方に引き伸ばされたように表示される。ところで、図７（ｄ）に示すように、実際には立体物６０の根元位置は予測走行軌跡７０と接している。なお、図７（ｄ）に示す立体物６０の根元位置は、図７（ｃ）に示す立体物６０の根元位置と同じである。ところが、自車両２の左方に引き伸ばされた立体物６０と予測走行軌跡７０との位置関係を一見した場合、立体物６０の引き伸ばされた部分に注目すると、立体物６０が予測走行軌跡７０と接していないようにも見える。そのため、運転者は、そのまま予測走行軌跡７０に従って運転し続けたとしても、自車両２と立体物６０とが衝突することはないといった間違った認識をしてしまうことがあった。
【００１２】
上述のように、従来の予測走行軌跡生成技術では、リアカメラと左サイドカメラとの間で撮像範囲が重複した部分の画像（重複画像部分）についてリアカメラにより撮像された画像を固定で採用するようにしている。このため、図７（ｃ）、（ｄ）で説明した状況においても、重複画像部分についてリアカメラにより撮像された画像が採用されてしまう。このように、従来の予測走行軌跡生成技術では、自車両が立体物の周辺を通過する場合、運転支援画像を参照しながら運転を行う運転者が、自車両と立体物との衝突可否について正しい認識をすることができないことがあるという問題があった。
【発明の開示】
【発明が解決しようとする課題】
【００１３】
本発明は、このような問題を解決するために成されたものであり、自車両が立体物の存在する位置周辺を通過する場合、運転支援画像を参照しながら運転を行う運転者が、自車両と立体物とが衝突するか否かについて正しい認識ができるようにすることを目的とする。
【課題を解決するための手段】
【００１４】
上記した課題を解決するために、本発明では、位置検出部により検出された立体物の路面に近い一端の位置と、運転支援画像生成部により生成された運転支援画像の予測走行軌跡とに基づいて、車両と立体物とが衝突するか否かについて判定を行う。そして、その判定の結果に基づいて、複数のカメラで重複して撮像される重複領域に対応する重複画像部分について、当該複数のカメラのうち何れかにより撮像された画像を採用して生成した運転支援画像を表示用画像として取得するようにしている。
【発明の効果】
【００１５】
上記のように構成した本発明によれば、運転支援画像の生成の際、立体物が存在する重複領域に対応する重複画像部分に採用される撮像画像が車両と立体物との衝突可能性に関係なく固定であった従来技術とは異なり、車両と立体物との衝突判定結果に基づいて、当該重複画像部分に採用される撮像画像が可変になる。すなわち、車両と立体物とが衝突する場合と衝突しない場合とで、運転支援画像の生成の際に、重複画像部分に採用される撮像画像を適宜選択することができる。よって、車両と立体物との衝突判定の結果を明確に表している撮像画像を重複画像部分に採用して生成された運転支援画像を表示することができ、自車両と立体物とが衝突するか否かについて運転者がより正しい認識をすることができるようにになる。
【発明を実施するための最良の形態】
【００１６】
以下、本発明の実施形態（以下、本実施形態という）を図面に基づいて説明する。図１は、本実施形態による運転支援画像生成装置を備えた予測走行軌跡生成装置の構成例を示すブロック図である。図１に示すように、本実施形態の予測走行軌跡生成装置は、運転支援画像生成装置１００の他に、撮像部１２０、操舵角検出部１４０およびモニタ１６０を備えている。
【００１７】
撮像部１２０は、車両の前後左右に設置された４つの撮像装置からなり、車両の周辺において複数箇所をフロントビュー画像、左サイドビュー画像、右サイドビュー画像およびリアビュー画像として撮像する。具体的には、撮像部１２０は、自車両の前方を撮像するためのフロントカメラ、自車両の左側方を撮像するための左サイドカメラ、自車両の右側方を撮像するための右サイドカメラおよび自車両の後方を撮像するためのリアカメラを備えて構成されている。なお、撮像部１２０の各撮像装置で撮像したい範囲は主に自車両周辺の路面である。そのため、各撮像装置は、その撮像範囲に路面が多く含まれるような姿勢で車両に設置される。
【００１８】
操舵角検出部１４０は、車両のステアリング操舵角を検出する。本実施形態では、操舵角検出部１４０は、ステアリングシャフトに組み込まれた角度センサの検出結果に基づいて車両のステアリング操舵角を検出する。モニタ１６０は、運転支援画像生成装置１００により出力された運転支援画像を表示する。ここで、運転支援画像とは、車両の予測走行軌跡（自車両を走行させた場合に予測される車両の走行軌跡）を運転支援画像生成装置１００の車両周辺画像生成部１８０により生成された車両周辺画像に重畳した画像のことをいう。
【００１９】
次に、運転支援画像生成装置１００の内部構成について説明する。運転支援画像生成装置１００は、車両周辺画像生成部１８０、予測走行軌跡生成部２００、運転支援画像生成部２２０、立体物検出部２４０、位置検出部２６０、衝突判定部２８０および運転支援画像取得部３００を備えて構成される。
【００２０】
車両周辺画像生成部１８０は、撮像部１２０に含まれる複数の撮像装置（カメラ）で撮像された車両周囲の複数の領域の画像であって、一部において撮像範囲が重複する重複領域を有する画像をそれぞれ車両上方の仮想視点から見下ろした俯瞰画像に変換すると共に、当該複数の領域毎に変換した俯瞰画像を合成して、１つの車両周辺画像を生成する。
【００２１】
図２は、本実施形態による車両周辺画像の例を示す図である。図２に示すように、車両周辺画像は、車両周囲の各画像（フロントビュー画像、左サイドビュー画像、右サイドビュー画像、リアビュー画像）をそれぞれ視点変換処理した画像４１０（フロントビュー画像に対応）、４２０（左サイドビュー画像に対応）、４３０（リアビュー画像に対応）、４４０（右サイドビュー画像に対応）を繋ぎ合わせ、その中心に車両の画像４００を合成することにより生成される。
【００２２】
画像を合成する際、フロントカメラと左サイドカメラとの間で撮像範囲が重複した重複画像部分４５０については、フロントカメラにより撮像された画像４１０または左サイドカメラにより撮像された画像４２０の何れかを採用する。また、左サイドカメラとリアカメラとの間で撮像範囲が重複した部分の重複画像部分４６０については、左サイドカメラにより撮像された画像４２０またはリアカメラにより撮像された画像４３０の何れかを採用する。また、リアカメラと右サイドカメラとの間で撮像範囲が重複した重複画像部分４７０については、リアカメラにより撮像された画像４３０または右サイドカメラにより撮像された画像４４０の何れかを採用する。また、右サイドカメラとフロントカメラとの間で撮像範囲が重複した部分の重複画像部分４８０については、右サイドカメラにより撮像された画像４４０またはフロントカメラにより撮像された画像４１０の何れかを採用する。
【００２３】
もし重複画像部分に立体物が存在しない場合、当該重複画像部分については、フロントカメラにより撮像された画像４１０またはリアカメラにより撮像された画像４３０を採用する。一方、重複画像部分に立体物が存在する場合、当該重複画像部分については、後述する判定の結果に従って、当該重複画像部分にて撮像範囲が重複する２つのカメラのうち何れかのカメラにより撮像された画像を採用する。
【００２４】
予測走行軌跡生成部２００は、操舵角検出部１４０により検出された車両のステアリング操舵角に基づいて、車両の予測走行軌跡を生成する。運転支援画像生成部２２０は、車両周辺画像生成部１８０により生成された車両周辺画像に予測走行軌跡生成部２００により生成された予測走行軌跡を重畳した運転支援画像を生成する。
【００２５】
立体物検出部２４０は、複数のカメラ間で互いに撮像範囲が重複する重複領域内に存在する立体物を検出する。本実施形態では、立体物検出部２４０は、撮像部１２０で撮像された車両周囲の画像から、重複領域におけるオプティカルフローを抽出することにより立体物を検出する。ここで、オプティカルフローとは、時間的に連続する画像の中で物体の動きをベクトル（動きベクトル）で表したものである。なお、立体物検出部２４０は、車両周辺画像生成部１８０により生成された車両周辺画像または運転支援画像生成部２２０により生成された運転支援画像から、重複領域におけるオプティカルフローを抽出することにより立体物を検出するようにしても良い。
【００２６】
位置検出部２６０は、立体物検出部２４０により立体物が検出された場合、運転支援画像生成部２２０により生成された運転支援画像に対して公知の画像認識処理を行い、当該運転支援画像上における立体物の路面に近い一端の位置を検出する。なお、車両周辺画像生成部１８０により生成される車両周辺画像も運転支援画像生成部２２０により生成される運転支援画像も予測走行軌跡の有無以外は変わらないものである。そこで、位置検出部２６０は、車両周辺画像に対して公知の画像認識処理を行い、当該車両周辺画像上における立体物の路面に近い一端の位置を検出しても良い。
【００２７】
衝突判定部２８０は、位置検出部２６０により検出された運転支援画像上における立体物の路面に近い一端の位置と、運転支援画像生成部２２０により生成された運転支援画像上における予測走行軌跡とに基づいて、車両と立体物とが衝突するか否かについて判定を行う。
【００２８】
本実施形態では、衝突判定部２８０は、立体物検出部２４０により立体物が検出された場合、運転支援画像の重複領域の画像部分において２本の予測走行軌跡の間に形成される領域に立体物の路面に近い一端の位置が含まれる場合（本実施形態では、２本の予測走行軌跡の間に形成される領域に立体物の路面に近い一端の位置が接する場合も含む）には、車両と立体物とが衝突すると判定する。一方、２本の予測走行軌跡の間に形成される領域に立体物の路面に近い一端の位置が含まれない場合には、車両と立体物とが衝突しないと判定する。
【００２９】
運転支援画像取得部３００は、衝突判定部２８０による判定結果に基づいて、重複領域の画像部分について複数のカメラのうち何れかにより撮像された画像を採用して生成された車両周辺画像に予測走行軌跡を重畳した運転支援画像を運転支援画像生成部２２０より取得する。そして、運転支援画像取得部３００は、運転支援画像生成部２２０より取得した運転支援画像をモニタ１６０に出力する。
【００３０】
本実施形態では、衝突判定部２８０により車両と立体物とが衝突すると判定した場合、運転支援画像取得部３００は、重複領域について２つのカメラにより撮像された画像のうち、運転支援画像の重複領域の画像部分において予測走行軌跡により形成される領域と立体物との重複する面積がより大きくなる画像を採用して生成された運転支援画像を運転支援画像生成部２２０より取得する。また、衝突判定部２８０により車両と立体物とが衝突しないと判定した場合、運転支援画像取得部３００は、重複領域について２つのカメラにより撮像された画像のうち、運転支援画像の重複領域の画像部分において予測走行軌跡により形成される領域と立体物との重複する面積がより小さくなる画像を採用して生成された運転支援画像を運転支援画像生成部２２０より取得する。
【００３１】
以下に、運転支援画像生成装置１００の動作を一例を挙げて説明する。図３は、車両５００の左後方の重複画像部分５５０に立体物５６０が存在するときの運転支援画像を模式的に示した図である。図３に示す運転支援画像から予測走行軌跡５７０を除いた車両周辺画像は、車両周囲の各画像（フロントビュー画像、左サイドビュー画像、右サイドビュー画像、リアビュー画像）をそれぞれ視点変換処理した画像５１０（フロントビュー画像に対応）、画像５２０（左サイドビュー画像に対応）、画像５４０（右サイドビュー画像に対応）および画像５３０（リアビュー画像に対応）を繋ぎ合わせ、その中心に車両の画像５００を合成することにより生成されている。
【００３２】
図３に示す運転支援画像において、フロントカメラと左サイドカメラとの間で撮像範囲が重複した重複画像部分については、立体物が存在しないため、フロントビュー画像に対応する画像５１０が採用される。また、右サイドカメラとフロントカメラとの間で撮像範囲が重複した重複画像部分についても、立体物が存在しないため、フロントビュー画像に対応する画像５１０が採用される。また、リアカメラと右サイドカメラとの間で撮像範囲が重複した重複画像部分についても、立体物が存在しないため、リアビュー画像に対応する画像５３０が採用される。また、左サイドカメラとリアカメラとの間で撮像範囲が重複した重複画像部分については、立体物が存在するため、立体物と予測走行軌跡との衝突判定の結果に従って、左サイドビュー画像またはリアビュー画像の何れかに対応した画像が採用される。
【００３３】
図３（ａ）に示すように、リアサイドビュー画像に対応する画像５３０を重複画像部分５５０の画像として選択した場合、リアカメラと立体物５６０との相対位置関係から、立体物５６０の画像は自車両５００の左方に引き伸ばされたように表示される。ここで、立体物５６０の路面に近い一端の位置は予測走行軌跡５７０により形成される領域５８０（斜線部分）に含まれている（接している）。
【００３４】
一方、図３（ｂ）に示すように、左サイドビュー画像に対応する画像５２０を重複画像部分５５０の画像として選択した場合、右サイドカメラと立体物５６０との相対位置関係から、立体物５６０の画像は自車両５００の後方に引き伸ばされたように表示される。ここで、立体物５６０の路面に近い一端の位置は予測走行軌跡５７０により形成される領域５８０（斜線部分）に含まれている（接している）。すなわち、図３（ｂ）に示す立体物５６０の路面に近い一端の位置は、図３（ａ）に示す立体物５６０の路面に近い一端の位置と同じである。
【００３５】
図３の例では、運転支援画像の重複画像部分５５０において２本の予測走行軌跡５７０の間に形成される領域５８０に立体物５６０の路面に近い一端の位置が含まれる（接している）ため、衝突判定部２８０は、車両５００と立体物５６０とが衝突すると判定する。この判定結果を受けて、運転支援画像取得部３００は、重複領域についてリアビュー画像を採用して生成された運転支援画像と左サイドビュー画像を採用して生成された運転支援画像とにより撮像された画像のうち、重複画像部分５５０において予測走行軌跡５７０により形成される領域５８０と立体物５６０との重複する面積がより大きくなる方の運転支援画像を運転支援画像生成部２２０より取得する。
【００３６】
図３の例では、リアビュー画像に対応する画像５２０より左サイドビュー画像に対応する画像５３０の方が、重複画像部分５５０において予測走行軌跡５７０により形成される領域５８０と立体物５６０との重複する面積がより大きくなるため、運転支援画像取得部３００は、リアビュー画像に対応する画像５２０（図３（ｂ）を参照）を採用して生成された運転支援画像を運転支援画像生成部２２０より取得する。これにより、運転支援画像生成装置１００の動作によって、車両５００と立体物５６０とが衝突するとの判定の結果をより明確に表している運転支援画像を取得することができる。
【００３７】
次に、本実施形態における運転支援画像生成装置１００の動作について説明する。図４は、本実施形態による運転支援画像生成装置１００の動作例を示すフローチャート図である。図４におけるステップＳ１００の処理は、例えば、ユーザによる操作部（図示せず）の操作を介して運転支援画像生成機能の実行要求を受け付けることにより開始する。
【００３８】
まず、立体物検出部２４０は、４つのカメラ間で一部において撮像範囲が重複する４つの重複領域のうち少なくとも１つの重複領域内に立体物が存在するか否かを判定する（ステップＳ１００）。もし、４つの重複領域の何れにも立体物が存在しないと立体物検出部２４０にて判定した場合（ステップＳ１００にてＮＯ）、車両周辺画像生成部１８０は、車両前方の２つの重複画像部分についてデフォルトのフロントビュー画像を採用し、車両後方の２つの重複画像部分についてもデフォルトのリアビュー画像を採用して第１車両周辺画像を生成する（ステップＳ１２０）。
【００３９】
次に、予測走行軌跡生成部２００は、操舵角検出部１４０により検出される車両のステアリング操舵角に基づいて、車両の予測走行軌跡を生成する（ステップＳ１４０）。次に、運転支援画像生成部２２０は、ステップＳ１２０にて生成された第１車両周辺画像にステップＳ１４０により生成された予測走行軌跡を重畳した運転支援画像を生成する（ステップＳ１６０）。最後に、運転支援画像取得部３００は、ステップＳ１６０にて生成された第１運転支援画像を運転支援画像生成部２２０より表示用画像として取得する（ステップＳ１８０）。
【００４０】
一方、４つの重複領域のうち少なくとも１つの重複領域内に立体物が存在すると立体物検出部２４０にて判定した場合（ステップＳ１００にてＹＥＳ）、車両周辺画像生成部１８０は、撮像範囲が重複する２つのカメラにより撮像された画像をそれぞれ採用した第１の車両周辺画像と第２の車両周辺画像とを４つの重複領域毎に生成する。すなわち、４つの重複領域についてそれぞれ第１の車両周辺画像と第２の車両周辺画像とを作るため、全部で８つの車両周辺画像を生成する（ステップＳ２００）。
【００４１】
すなわち、車両周辺画像生成部１８０は、車両の左前方に位置する重複領域についてデフォルトのフロントビュー画像を採用した第１の車両周辺画像と、左サイドビュー画像を採用した第２の車両周辺画像（何れも他の３つの重複領域についてはデフォルトのフロントビュー画像およびリアビュー画像を採用）を生成する。また、車両周辺画像生成部１８０は、車両の左後方に位置する重複領域についてデフォルトのリアビュー画像を採用した第１の車両周辺画像と、左サイドビュー画像を採用した第２の車両周辺画像（何れも他の３つの重複領域についてはデフォルトのフロントビュー画像およびリアビュー画像を採用）を生成する。車両周辺画像生成部１８０は、車両の右後方に位置する重複領域についてデフォルトのリアビュー画像を採用した第１の車両周辺画像と、右サイドビュー画像を採用した第２の車両周辺画像（何れも他の３つの重複領域についてはデフォルトのフロントビュー画像およびリアビュー画像を採用）を生成する。また、車両周辺画像生成部１８０は、車両の右前方に位置する重複領域についてデフォルトのフロントビュー画像を採用した第１の車両周辺画像と、右サイドビュー画像を採用した第２の車両周辺画像（何れも他の３つの領域についてはデフォルトのフロントビュー画像およびリアビュー画像を採用）を生成する。
【００４２】
次に、予測走行軌跡生成部２００は、操舵角検出部１４０により検出される車両のステアリング操舵角に基づいて、車両の予測走行軌跡を生成する（ステップＳ２２０）。次に、運転支援画像生成部２２０は、ステップＳ２００において４つの重複領域に関して生成された８個の車両周辺画像のうち、ステップＳ２２０で生成された予測走行軌跡が含まれる重複領域について生成された２つの車両周辺画像に、当該予測走行軌跡を重畳した第１運転支援画像および第２運転支援画像を生成する（ステップＳ２４０）。ここで、第１運転支援画像は、重複画像部分についてフロントビュー画像またはリアビュー画像を採用して生成された車両周辺画像に予測走行軌跡を重畳したものである。また、第２運転支援画像は、重複画像部分について左サイドビュー画像または右サイドビュー画像を採用して生成された車両周辺画像に予測走行軌跡を重畳したものである。
【００４３】
次に、位置検出部２６０は、例えば、第１運転支援画像上における立体物の路面に近い一端の位置を検出する（ステップＳ２６０）。次に、衝突判定部２８０は、ステップＳ２６０により検出された第１運転支援画像上における立体物の路面に近い一端の位置と、ステップＳ２４０により生成された第１運転支援画像上における予測走行軌跡とに基づいて、車両と立体物とが衝突するか否かについて判定を行う（ステップＳ２８０）。
【００４４】
なお、立体物の路面に近い一端の位置と予測走行軌跡は第１運転支援画像上と第２運転支援画像上のどちらでも同じである。よって、ステップＳ２６０、ステップＳ２８０では、第１運転支援画像、第２運転支援画像のどちらを使用しても良い。
【００４５】
もし、車両と立体物とが衝突すると衝突判定部２８０にて判定した場合（ステップＳ２８０にてＹＥＳ）、運転支援画像取得部３００は、第１運転支援画像および第２運転支援画像の両方とも、重複画像部分において予測走行軌跡により形成される領域と立体物とが重複していないか否かを判定する（ステップＳ３００）。
【００４６】
もし、第１運転支援画像および第２運転支援画像の両方とも、重複画像部分において予測走行軌跡により形成される領域と立体物とが重複していないと運転支援画像取得部３００にて判定した場合、運転支援画像取得部３００は、ステップＳ２４０にて生成された第１運転支援画像を運転支援画像生成部２２０より表示用画像として取得する（ステップＳ１８０）。ここで、第１運転支援画像を取得する理由は、第１運転支援画像および第２運転支援画像のどちらを取得しても、その取得した運転支援画像は、車両と立体物とが衝突するとの判定の結果を明確に表しているとは言えないという意味では同じ画像であるからである。
【００４７】
一方、第１運転支援画像および第２運転支援画像のうち少なくとも一方において、重複領域の画像部分において予測走行軌跡により形成される領域と立体物とが重複していると運転支援画像取得部３００にて判定した場合（ステップＳ３００にてＮＯ）、運転支援画像取得部３００は、ステップＳ２４０にて生成された第１運転支援画像および第２運転支援画像のうち、運転支援画像の重複画像部分において予測走行軌跡により形成される領域と立体物との重複する面積がより大きくなる運転支援画像を運転支援画像生成部２２０より表示用画像として取得する（ステップＳ３２０）。なお、図３に示した例では、ステップＳ１００〜ステップＳ３２０の流れに沿って、運転支援画像の重複画像部分において予測走行軌跡により形成される領域と立体物との重複する面積がより大きくなる運転支援画像（図３（ｂ））を運転支援画像生成部２２０より表示用画像として取得している。
【００４８】
また、車両と立体物とが衝突しないと衝突判定部２８０にて判定した場合（ステップＳ２８０にてＮＯ）、運転支援画像取得部３００は、第１運転支援画像および第２運転支援画像の両方とも、重複領域の画像部分において予測走行軌跡により形成される領域と立体物とが重複していないか否かを判定する（ステップＳ３４０）。
【００４９】
もし、第１運転支援画像および第２運転支援画像の両方とも、重複領域の画像部分において予測走行軌跡により形成される領域と立体物とが重複していないと運転支援画像取得部３００にて判定した場合（ステップＳ３４０にてＹＥＳ）、運転支援画像取得部３００は、ステップＳ２４０にて生成された第１運転支援画像を運転支援画像生成部２２０より表示用画像として取得する（ステップＳ３６０）。ここで、第１運転支援画像を取得する理由は、第１運転支援画像および第２運転支援画像のどちらを取得したとしても、その取得した運転支援画像は、車両と立体物とが衝突するとの判定の結果を明確に表していると言えるという意味では同じ画像であるからである。
【００５０】
一方、第１運転支援画像および第２運転支援画像のうち少なくとも一方において、重複画像部分において予測走行軌跡により形成される領域と立体物とが重複していると運転支援画像取得部３００にて判定した場合（ステップＳ３４０にてＮＯ）、運転支援画像取得部３００は、第１運転支援画像および第２運転支援画像のうち、重複画像部分において予測走行軌跡により形成される領域と立体物との重複する面積がより小さくなる運転支援画像を運転支援画像生成部２２０より表示用画像として取得する（ステップＳ３８０）。なお、ステップＳ１８０、ステップＳ３２０、ステップＳ３６０またはステップＳ３８０における処理が終了することにより、運転支援画像生成装置１００は、図４における処理を終了する。
【００５１】
次に、本実施形態における運転支援画像生成装置１００の他の動作例について説明する。図５は、本実施形態による運転支援画像生成装置１００の他の動作例を示すフローチャート図である。図５におけるステップＳ５００の処理は、図４と同様に、例えば、ユーザによる操作部（図示せず）の操作を介して運転支援画像生成機能の実行要求を受け付けることにより開始する。
【００５２】
まず、車両周辺画像生成部１８０は、４つの重複画像部分についてデフォルトのフロントビュー画像およびリアビュー画像を採用して第１車両周辺画像を生成する（ステップＳ５００）。次に、予測走行軌跡生成部２００は、操舵角検出部１４０により検出された車両のステアリング操舵角に基づいて、車両の予測走行軌跡を生成する（ステップＳ５２０）。次に、運転支援画像生成部２２０は、ステップＳ５００にて生成された第１車両周辺画像にステップＳ５２０にて生成された予測走行軌跡を重畳した第１運転支援画像を生成する（ステップＳ５４０）。
【００５３】
次に、立体物検出部２４０は、４つのカメラ間で一部において撮像範囲が重複する４つの重複領域のうち少なくとも１つの重複領域内に立体物が存在するか否かを判定する（ステップＳ５６０）。もし、４つの重複領域内の何れにも立体物が存在しないと立体物検出部２４０にて判定した場合（ステップＳ５６０にてＮＯ）、運転支援画像取得部３００は、ステップＳ５４０にて生成された第１運転支援画像を運転支援画像生成部２２０より表示用画像として取得する（ステップＳ５８０）。
【００５４】
一方、４つの重複領域のうち少なくとも１つの重複領域内に立体物が存在すると立体物検出部２４０にて判定した場合（ステップＳ５６０にてＹＥＳ）、位置検出部２６０は、ステップＳ５４０にて生成された第１運転支援画像上における立体物の路面に近い一端の位置を検出する（ステップＳ６００）。次に、衝突判定部２８０は、ステップＳ６００にて検出された第１運転支援画像上における立体物の路面に近い一端の位置と、ステップＳ５４０にて生成された運転支援画像上における予測走行軌跡とに基づいて、車両と立体物とが衝突するか否かについて判定を行う（ステップＳ６２０）。
【００５５】
もし、車両と立体物とが衝突しないと衝突判定部２８０にて判定した場合（ステップＳ６２０にてＮＯ）、運転支援画像取得部３００は、第１運転支援画像の重複画像部分において予測走行軌跡により形成される領域と立体物とが重複しているか否かを判定する（ステップＳ６４０）。もし、第１運転支援画像の重複画像部分において予測走行軌跡により形成される領域と立体物とが重複していないと運転支援画像取得部３００にて判定した場合（ステップＳ６４０にてＮＯ）、ステップＳ５４０にて生成された第１運転支援画像は車両と立体物とが衝突していないことを表す画像として適しているので、運転支援画像取得部３００は第１運転支援画像を運転支援画像生成部２２０より表示用画像として取得する（ステップＳ５８０）。
【００５６】
一方、第１運転支援画像の重複画像部分において予測走行軌跡により形成される領域と立体物とが重複していると運転支援画像取得部３００にて判定した場合（ステップＳ６４０にてＹＥＳ）、その第１運転支援画像は車両と立体物とが衝突していないことを表す画像として適していないので、車両周辺画像生成部１８０は、重複画像部分について左サイドビュー画像または右サイドビュー画像を採用して第２車両周辺画像を生成する（ステップＳ６６０）。さらに、運転支援画像生成部２２０は、ステップＳ６６０にて生成された第２車両周辺画像にステップＳ５２０にて生成された予測走行軌跡を重畳した第２運転支援画像を生成する（ステップＳ６８０）。
【００５７】
次に、運転支援画像取得部３００は、ステップＳ６８０にて生成された第２運転支援画像を運転支援画像生成部２２０より表示用画像として取得する（ステップＳ７００）。ここで、たとえ第２運転支援画像の重複画像部分において予測走行軌跡により形成される領域と立体物とが重複していたとしても、ステップＳ６８０にて生成された第２運転支援画像を運転支援画像生成部２２０より表示用画像として取得する理由は、第１運転支援画像および第２運転支援画像のどちらを取得したとしても、その取得した運転支援画像は、車両と立体物とが衝突しないとの判定の結果を明確に表しているとは言えないという意味では同じ画像であるからである。
【００５８】
一方、車両と立体物とが衝突すると衝突判定部２８０にて判定した場合（ステップＳ６２０にてＹＥＳ）、運転支援画像取得部３００は、第１運転支援画像の重複画像部分において予測走行軌跡により形成される領域と立体物とが重複しているか否かを判定する（ステップＳ７２０）。もし、第１運転支援画像の重複画像部分において予測走行軌跡により形成される領域と立体物とが重複していると運転支援画像取得部３００にて判定した場合（ステップＳ７２０にてＹＥＳ）、その第１運転支援画像は車両と立体物とが衝突していることを表す画像として適しているので、運転支援画像取得部３００は、ステップＳ５４０にて生成された第１運転支援画像を運転支援画像生成部２２０より表示用画像として取得する（ステップＳ７４０）。
【００５９】
一方、第１運転支援画像の重複画像部分において予測走行軌跡により形成される領域と立体物とが重複していないと運転支援画像取得部３００にて判定した場合（ステップＳ７２０にてＮＯ）、その第１運転支援画像は車両と立体物とが衝突していないことを表す画像として適していないので、車両周辺画像生成部１８０は、重複画像部分について左サイドビュー画像または右サイドビュー画像を採用して第２車両周辺画像を生成する（ステップＳ７６０）。
【００６０】
次に、運転支援画像生成部２２０は、ステップＳ７６０にて生成された第２車両周辺画像にステップＳ５２０にて生成された予測走行軌跡を重畳した第２運転支援画像を生成する（ステップＳ７８０）。次に、運転支援画像取得部３００は、ステップＳ７００にて生成された第２運転支援画像を運転支援画像生成部２２０より表示用画像として取得する（ステップＳ８００）。なお、ステップＳ５８０、ステップＳ７４０またはステップＳ８００における処理が終了することにより、運転支援画像生成装置１００は、図５における処理を終了する。
【００６１】
ステップＳ８００において、たとえ第２運転支援画像の重複画像部分において予測走行軌跡により形成される領域と立体物とが重複していないとしても、ステップＳ７８０にて生成された第２運転支援画像を運転支援画像生成部２２０より表示用画像として取得する理由は、第１運転支援画像および第２運転支援画像のどちらを取得したとしても、その取得した運転支援画像は、車両５００と立体物５６０とが衝突するとの判定の結果を明確に表しているとは言えないという意味では同じ画像であるからである。
【００６２】
図５に示したフローチャートによれば、最初に第１運転支援画像だけを生成し、その生成した第１運転支援画像が、車両と立体物との衝突判定の結果を明確に表すのに十分な画像であれば、追加で第２運転支援画像を生成する必要がなくなる。よって、重複領域に立体物が存在する場合に必ず第１運転支援画像および第２運転支援画像の双方を生成する図４のフローチャートと比べて、運転支援画像生成装置１００の処理効率を向上させることができる。
【００６３】
以上詳しく説明したように、本実施形態では、衝突判定部２８０が、運転支援画像上における立体物の路面に近い一端の位置が当該運転支援画像上における予測走行軌跡により形成される領域に含まれるか否かを判定することにより、車両と立体物とが衝突するか否かについて判定を行う。そして、その判定結果に基づいて、運転支援画像取得部３００が、２つのカメラで重複して撮像される重複領域に対応する重複画像部分について、当該２つのカメラのうち何れかにより撮像された画像を採用して生成した運転支援画像を表示用画像として選択的に取得するようにしている。
【００６４】
図３の例に沿って説明すれば、運転支援画像の重複画像部分５５０において２本の予測走行軌跡５７０の間に形成される領域５８０に立体物５６０の路面に近い一端の位置が含まれる（接している）ため、衝突判定部２８０は、車両５００と立体物５６０とが衝突すると判定する。そして、この判定結果を受けて、運転支援画像取得部３００は、重複画像部分５５０において予測走行軌跡５７０により形成される領域５８０と立体物５６０との重複する面積がより大きくなる左サイドビュー画像を採用して生成された運転支援画像を運転支援画像生成部２２０より取得している。
【００６５】
以上より、車両と立体物との衝突判定結果に基づいて、表示用画像として取得する運転支援画像の生成の際、立体物が存在する重複画像部分に採用される画像が２つのカメラにより撮像された画像間で可変になる。つまり、車両と立体物とが衝突する場合と衝突しない場合とで、運転支援画像の生成の際に、立体物が存在する重複画像部分に採用される画像を適宜選択することができる。すなわち、車両と立体物との衝突判定の結果を明確に表している画像を採用して生成された運転支援画像を取得し表示することにより、自車両が立体物の存在する位置周辺を通過する場合、その運転支援画像を参照しながら運転を行う運転者が、自車両と立体物との衝突可否についてより正しい認識をすることができる。
【００６６】
なお、本実施形態では、立体物検出部２４０は、撮像部１２０で撮像された車両周囲の画像から、重複領域におけるオプティカルフローを抽出することにより立体物を検出する例について説明したが、立体物の検出方法はこれに限定されない。例えば、立体物検出部２４０は、赤外線センサ、ミリ波レーダー、超音波センサあるいはそれらの組み合わせを用いて立体物を検出するようにしても良い。
【００６７】
また、本実施形態では、図４に示すフローチャートにおいて、車両周辺画像を生成する処理（ステップＳ２００）の後に、予測走行軌跡を生成する処理（ステップＳ２２０）を行う例について説明したが、予測走行軌跡を生成する処理の順番を立体物の検出処理（ステップＳ１００）の前にしても良い。このようにすれば、立体物の検出処理においては、既にどの重複領域に予測走行軌跡が含まれるか判っているため、立体物の検出を４つの重複領域の全てに対して行う必要がなくなる。さらに、車両周辺画像を生成する処理（ステップＳ２００）においても、既にどの重複領域に予測走行軌跡が含まれるか判っているため、当該予測走行軌跡が含まれる重複領域について２つのカメラにより撮像された画像を採用した車両周辺画像を２つ生成すれば良い。
【００６８】
また、本実施形態では、図５のフローチャートにおいて、第１運転支援画像の重複領域の画像部分において予測走行軌跡により形成される領域と立体物とが重複していると判定した場合（ステップＳ７２０にてＹＥＳ）、第１運転支援画像を表示用画像として取得する例について説明したが、ステップＳ７４０に処理が遷移するときのステップＳ７２０における判定内容はこれに限定されない。
【００６９】
例えば、第１運転支援画像の重複画像部分において予測走行軌跡により形成される領域と立体物との重複面積が所定値以上の場合に限って、ステップＳ７２０からステップＳ７４０に処理が遷移するようにしても良い。あるいは、立体物の全体面積のうち予測走行軌跡により形成される領域に重複する部分の面積が重複しない部分の面積より大きいときに限って、ステップＳ７２０からステップＳ７４０に処理が遷移するようにしても良い。このようにすれば、車両と立体物との衝突するとの判定の結果をより明確に表している運転支援画像を運転支援画像生成部２２０より表示用画像として取得することができる。
【００７０】
その他、上記実施形態は、何れも本発明を実施するにあたっての具体化の一例を示したものに過ぎず、これによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその精神、またはその主要な特徴から逸脱することなく、様々な形で実施することができる。
【図面の簡単な説明】
【００７１】
【図１】本実施形態による運転支援画像生成装置のブロック構成例を示す図である。
【図２】本実施形態による車両周辺画像の例を示す図である。
【図３】本実施形態による運転支援画像の例を模式的に示す図である。
【図４】本実施形態による運転支援画像生成装置の動作例を示すフローチャート図である。
【図５】本実施形態による運転支援画像生成装置の他の動作例を示すフローチャート図である。
【図６】車両に設置されるカメラの配置の例を示す図である。
【図７】車両周辺画像の例を模式的に示した図である。
【符号の説明】
【００７２】
１００ 運転支援画像生成装置
１２０ 撮像部
１８０ 車両周辺画像生成部
２００ 予測走行軌跡生成部
２２０ 運転支援画像生成部
２４０ 立体物検出部
２６０ 位置検出部
２８０ 衝突判定部
３００ 運転支援画像取得部
【技術分野】
【０００１】
本発明は、運転支援画像生成装置および運転支援画像生成方法に関し、例えば、車庫や駐車場に車を入れるとき、予測した走行軌跡を運転者に提示することが可能な予測走行軌跡生成装置に用いて好適なものである。
【背景技術】
【０００２】
車両を狭い車庫や駐車スペースに入れるとき、運転者は周囲の物体と自車両とを接触させないように細心の注意をして運転しなければならず、熟練を要する。このような運転を支援するため、様々な技術が提案されている。例えば、車両に搭載した複数台のカメラにより車両周辺を撮像し、この撮像画像を視点変換処理することによって車両上方の仮想視点から見た画像（以下、「車両周辺画像」と称する）を形成して自車両の画像と共に表示するようにした技術（以下、車両周辺画像生成技術という）が提案されている。この技術によれば、自車両の周囲の状態が当該自車両を中心とした実際の画像で表示されるため、運転者は周囲の障害物を画面上で確認しながら運転をすることができる。
【０００３】
図６は、車両に設置されるカメラの配置の例を示す図である。図６において、フロントカメラ１ａは自車両２の前面に配置され、前方の範囲３の画像を撮像する。左サイドカメラ１ｂは自車両２の左側面に配置され、左方の範囲５を撮像する。リアカメラ１ｃは自車両２の後部面に配置され、後方の範囲７の画像を撮像する。右サイドカメラ１ｄは自車両２の右側面に配置され、右方の範囲９の画像を撮像する。
【０００４】
ここで、フロントカメラ１ａにより撮像される範囲３と左サイドカメラ１ｂにより撮像される範囲５（範囲３に隣接している）との間では、それぞれのカメラによって撮像された画像が一部重複する。また、左サイドカメラ１ｂにより撮像される範囲５とリアカメラ１ｃにより撮像される範囲７（範囲５に隣接している）との間では、それぞれのカメラによって撮像された画像が一部重複する。また、リアカメラ１ｃにより撮像される範囲７と右サイドカメラ１ｄにより撮像される範囲９（範囲７に隣接している）との間では、それぞれのカメラによって撮像された画像が一部重複する。また、右サイドカメラ１ｄにより撮像される範囲９とフロントカメラ１ａにより撮像される範囲３（範囲９に隣接している）との間では、それぞれのカメラによって撮像された画像が一部重複する。以下、隣接した撮像範囲を持つカメラどうしを「隣接するカメラ」と称する。
【０００５】
上述の車両周辺画像生成技術では、複数のカメラにより撮像された車両周囲の撮像画像を視点変換処理する際、撮像範囲が一部重複する重複画像部分については、隣接するカメラのうち何れかのカメラにより撮像された画像を採用している。なお、従来の車両周辺画像生成技術では、隣接するカメラのうちいずれのカメラにより撮像された画像を採用するかはあらかじめ決められていた。通常は、リアカメラ１ｃと左サイドカメラ１ｂまたは右サイドカメラ１ｄとの間で撮像範囲が重複した部分の画像についてリアカメラ１ｃにより撮像された画像が採用される。また、フロントカメラ１ａと左サイドカメラ１ｂまたは右サイドカメラ１ｄとの間で撮像範囲が重複した部分の画像についてフロントカメラ１ａにより撮像された画像が採用される。
【０００６】
なお、車両周辺画像生成技術を用いた一例として、車両周囲に存在する障害物等をより正確に見易く表示することを可能にする技術が知られている（例えば、特許文献１を参照）。具体的には、車両周囲を撮像する複数のカメラにより撮像された画像を車両上方の視点から見たときの画像に変換し、変換した画像を合成する際に、合成する画像の境界を車両の走行状態に応じて変更することにより、合成画像の表示領域において障害物等による死角を低減もしくはなくすことができるようにしている。
【特許文献１】特開２００７−８９０８１号公報
【０００７】
さらに、運転を支援するための別の技術として、予測走行軌跡生成技術と呼ばれるものも提案されている。この予測走行軌跡生成技術は、ハンドルの操舵角の情報に基づいて、自車両を前方または後方側に進行させた場合の走行軌跡を予測し、その予測した予測走行軌跡を車両周辺画像に重畳した運転支援画像を表示する技術である。
【０００８】
ところで、上述した車両周辺画像生成技術や予測走行軌跡生成技術に用いられる車両周辺画像において、複数のカメラによって車両周囲の異なる撮像範囲が撮像された複数の画像について一の画像と他の画像との間で一部の撮像範囲が重複する重複画像部分に立体物が存在する場合、車両周辺画像を合成するときに重複画像部分でどちらのカメラによって撮像された画像を選択するかによって、当該重複画像部分における立体物の表示が異なるという特徴がある。これは、各カメラの搭載位置によって、立体物との相対位置関係が異なるからである。このことを図を用いて説明する。
【０００９】
図７は、車両左後方の重複画像部分５０に立体物６０が存在するときの車両周辺画像を模式的に示した図である。図７（ａ）に示すように、自車両２の左側面に搭載した左サイドカメラによって撮像された画像２０を重複画像部分５０の画像として選択した場合、立体物６０の画像は自車両２の後方に引き伸ばされたように表示される。一方、図７（ｂ）に示すように、自車両２の後部面に搭載したリアカメラによって撮像された画像３０を重複画像部分５０の画像として選択した場合、立体物６０の画像は自車両２の左方に引き伸ばされたように表示される。
【００１０】
図７（ｃ）は、ハンドルの操舵角の情報に基づいて予測された自車両２の予測走行軌跡７０を、車両左後方の重複画像部分５０に立体物６０が存在するときの車両周辺画像に重畳した運転支援画像を模式的に示す図である。図７（ｃ）に示す例では、自車両２の左側面に搭載した左サイドカメラによって撮像された画像２０を重複画像部分５０の画像として選択しているため、立体物６０の画像は自車両２の後方に引き伸ばされたように表示される。ここで、立体物６０の根元位置（路面に近い一端の位置）は予測走行軌跡７０により形成される領域８０と接している。そして、自車両２の後方に引き伸ばされた立体物６０と予測走行軌跡７０との位置関係を一見した場合、立体物６０の引き伸ばされた部分に注目すると、立体物６０と予測走行軌跡７０とが明らかに重複しているように見える。そのため、運転者は、そのまま予測走行軌跡７０に従って途中まで運転し続けると、自車両２と立体物６０とが衝突するといった正しい認識をすることができる。
【００１１】
図７（ｄ）は、ハンドルの操舵角の情報に基づいて予測された自車両２の予測走行軌跡７０を車両左後方の重複画像部分５０に立体物６０が存在するときの車両周辺画像に重畳した運転支援画像を模式的に示す図である。図７（ｄ）に示す例では、自車両２の後部面に搭載したリアカメラによって撮像された画像３０を重複画像部分５０の画像として選択しているため、立体物６０は自車両２の左方に引き伸ばされたように表示される。ところで、図７（ｄ）に示すように、実際には立体物６０の根元位置は予測走行軌跡７０と接している。なお、図７（ｄ）に示す立体物６０の根元位置は、図７（ｃ）に示す立体物６０の根元位置と同じである。ところが、自車両２の左方に引き伸ばされた立体物６０と予測走行軌跡７０との位置関係を一見した場合、立体物６０の引き伸ばされた部分に注目すると、立体物６０が予測走行軌跡７０と接していないようにも見える。そのため、運転者は、そのまま予測走行軌跡７０に従って運転し続けたとしても、自車両２と立体物６０とが衝突することはないといった間違った認識をしてしまうことがあった。
【００１２】
上述のように、従来の予測走行軌跡生成技術では、リアカメラと左サイドカメラとの間で撮像範囲が重複した部分の画像（重複画像部分）についてリアカメラにより撮像された画像を固定で採用するようにしている。このため、図７（ｃ）、（ｄ）で説明した状況においても、重複画像部分についてリアカメラにより撮像された画像が採用されてしまう。このように、従来の予測走行軌跡生成技術では、自車両が立体物の周辺を通過する場合、運転支援画像を参照しながら運転を行う運転者が、自車両と立体物との衝突可否について正しい認識をすることができないことがあるという問題があった。
【発明の開示】
【発明が解決しようとする課題】
【００１３】
本発明は、このような問題を解決するために成されたものであり、自車両が立体物の存在する位置周辺を通過する場合、運転支援画像を参照しながら運転を行う運転者が、自車両と立体物とが衝突するか否かについて正しい認識ができるようにすることを目的とする。
【課題を解決するための手段】
【００１４】
上記した課題を解決するために、本発明では、位置検出部により検出された立体物の路面に近い一端の位置と、運転支援画像生成部により生成された運転支援画像の予測走行軌跡とに基づいて、車両と立体物とが衝突するか否かについて判定を行う。そして、その判定の結果に基づいて、複数のカメラで重複して撮像される重複領域に対応する重複画像部分について、当該複数のカメラのうち何れかにより撮像された画像を採用して生成した運転支援画像を表示用画像として取得するようにしている。
【発明の効果】
【００１５】
上記のように構成した本発明によれば、運転支援画像の生成の際、立体物が存在する重複領域に対応する重複画像部分に採用される撮像画像が車両と立体物との衝突可能性に関係なく固定であった従来技術とは異なり、車両と立体物との衝突判定結果に基づいて、当該重複画像部分に採用される撮像画像が可変になる。すなわち、車両と立体物とが衝突する場合と衝突しない場合とで、運転支援画像の生成の際に、重複画像部分に採用される撮像画像を適宜選択することができる。よって、車両と立体物との衝突判定の結果を明確に表している撮像画像を重複画像部分に採用して生成された運転支援画像を表示することができ、自車両と立体物とが衝突するか否かについて運転者がより正しい認識をすることができるようにになる。
【発明を実施するための最良の形態】
【００１６】
以下、本発明の実施形態（以下、本実施形態という）を図面に基づいて説明する。図１は、本実施形態による運転支援画像生成装置を備えた予測走行軌跡生成装置の構成例を示すブロック図である。図１に示すように、本実施形態の予測走行軌跡生成装置は、運転支援画像生成装置１００の他に、撮像部１２０、操舵角検出部１４０およびモニタ１６０を備えている。
【００１７】
撮像部１２０は、車両の前後左右に設置された４つの撮像装置からなり、車両の周辺において複数箇所をフロントビュー画像、左サイドビュー画像、右サイドビュー画像およびリアビュー画像として撮像する。具体的には、撮像部１２０は、自車両の前方を撮像するためのフロントカメラ、自車両の左側方を撮像するための左サイドカメラ、自車両の右側方を撮像するための右サイドカメラおよび自車両の後方を撮像するためのリアカメラを備えて構成されている。なお、撮像部１２０の各撮像装置で撮像したい範囲は主に自車両周辺の路面である。そのため、各撮像装置は、その撮像範囲に路面が多く含まれるような姿勢で車両に設置される。
【００１８】
操舵角検出部１４０は、車両のステアリング操舵角を検出する。本実施形態では、操舵角検出部１４０は、ステアリングシャフトに組み込まれた角度センサの検出結果に基づいて車両のステアリング操舵角を検出する。モニタ１６０は、運転支援画像生成装置１００により出力された運転支援画像を表示する。ここで、運転支援画像とは、車両の予測走行軌跡（自車両を走行させた場合に予測される車両の走行軌跡）を運転支援画像生成装置１００の車両周辺画像生成部１８０により生成された車両周辺画像に重畳した画像のことをいう。
【００１９】
次に、運転支援画像生成装置１００の内部構成について説明する。運転支援画像生成装置１００は、車両周辺画像生成部１８０、予測走行軌跡生成部２００、運転支援画像生成部２２０、立体物検出部２４０、位置検出部２６０、衝突判定部２８０および運転支援画像取得部３００を備えて構成される。
【００２０】
車両周辺画像生成部１８０は、撮像部１２０に含まれる複数の撮像装置（カメラ）で撮像された車両周囲の複数の領域の画像であって、一部において撮像範囲が重複する重複領域を有する画像をそれぞれ車両上方の仮想視点から見下ろした俯瞰画像に変換すると共に、当該複数の領域毎に変換した俯瞰画像を合成して、１つの車両周辺画像を生成する。
【００２１】
図２は、本実施形態による車両周辺画像の例を示す図である。図２に示すように、車両周辺画像は、車両周囲の各画像（フロントビュー画像、左サイドビュー画像、右サイドビュー画像、リアビュー画像）をそれぞれ視点変換処理した画像４１０（フロントビュー画像に対応）、４２０（左サイドビュー画像に対応）、４３０（リアビュー画像に対応）、４４０（右サイドビュー画像に対応）を繋ぎ合わせ、その中心に車両の画像４００を合成することにより生成される。
【００２２】
画像を合成する際、フロントカメラと左サイドカメラとの間で撮像範囲が重複した重複画像部分４５０については、フロントカメラにより撮像された画像４１０または左サイドカメラにより撮像された画像４２０の何れかを採用する。また、左サイドカメラとリアカメラとの間で撮像範囲が重複した部分の重複画像部分４６０については、左サイドカメラにより撮像された画像４２０またはリアカメラにより撮像された画像４３０の何れかを採用する。また、リアカメラと右サイドカメラとの間で撮像範囲が重複した重複画像部分４７０については、リアカメラにより撮像された画像４３０または右サイドカメラにより撮像された画像４４０の何れかを採用する。また、右サイドカメラとフロントカメラとの間で撮像範囲が重複した部分の重複画像部分４８０については、右サイドカメラにより撮像された画像４４０またはフロントカメラにより撮像された画像４１０の何れかを採用する。
【００２３】
もし重複画像部分に立体物が存在しない場合、当該重複画像部分については、フロントカメラにより撮像された画像４１０またはリアカメラにより撮像された画像４３０を採用する。一方、重複画像部分に立体物が存在する場合、当該重複画像部分については、後述する判定の結果に従って、当該重複画像部分にて撮像範囲が重複する２つのカメラのうち何れかのカメラにより撮像された画像を採用する。
【００２４】
予測走行軌跡生成部２００は、操舵角検出部１４０により検出された車両のステアリング操舵角に基づいて、車両の予測走行軌跡を生成する。運転支援画像生成部２２０は、車両周辺画像生成部１８０により生成された車両周辺画像に予測走行軌跡生成部２００により生成された予測走行軌跡を重畳した運転支援画像を生成する。
【００２５】
立体物検出部２４０は、複数のカメラ間で互いに撮像範囲が重複する重複領域内に存在する立体物を検出する。本実施形態では、立体物検出部２４０は、撮像部１２０で撮像された車両周囲の画像から、重複領域におけるオプティカルフローを抽出することにより立体物を検出する。ここで、オプティカルフローとは、時間的に連続する画像の中で物体の動きをベクトル（動きベクトル）で表したものである。なお、立体物検出部２４０は、車両周辺画像生成部１８０により生成された車両周辺画像または運転支援画像生成部２２０により生成された運転支援画像から、重複領域におけるオプティカルフローを抽出することにより立体物を検出するようにしても良い。
【００２６】
位置検出部２６０は、立体物検出部２４０により立体物が検出された場合、運転支援画像生成部２２０により生成された運転支援画像に対して公知の画像認識処理を行い、当該運転支援画像上における立体物の路面に近い一端の位置を検出する。なお、車両周辺画像生成部１８０により生成される車両周辺画像も運転支援画像生成部２２０により生成される運転支援画像も予測走行軌跡の有無以外は変わらないものである。そこで、位置検出部２６０は、車両周辺画像に対して公知の画像認識処理を行い、当該車両周辺画像上における立体物の路面に近い一端の位置を検出しても良い。
【００２７】
衝突判定部２８０は、位置検出部２６０により検出された運転支援画像上における立体物の路面に近い一端の位置と、運転支援画像生成部２２０により生成された運転支援画像上における予測走行軌跡とに基づいて、車両と立体物とが衝突するか否かについて判定を行う。
【００２８】
本実施形態では、衝突判定部２８０は、立体物検出部２４０により立体物が検出された場合、運転支援画像の重複領域の画像部分において２本の予測走行軌跡の間に形成される領域に立体物の路面に近い一端の位置が含まれる場合（本実施形態では、２本の予測走行軌跡の間に形成される領域に立体物の路面に近い一端の位置が接する場合も含む）には、車両と立体物とが衝突すると判定する。一方、２本の予測走行軌跡の間に形成される領域に立体物の路面に近い一端の位置が含まれない場合には、車両と立体物とが衝突しないと判定する。
【００２９】
運転支援画像取得部３００は、衝突判定部２８０による判定結果に基づいて、重複領域の画像部分について複数のカメラのうち何れかにより撮像された画像を採用して生成された車両周辺画像に予測走行軌跡を重畳した運転支援画像を運転支援画像生成部２２０より取得する。そして、運転支援画像取得部３００は、運転支援画像生成部２２０より取得した運転支援画像をモニタ１６０に出力する。
【００３０】
本実施形態では、衝突判定部２８０により車両と立体物とが衝突すると判定した場合、運転支援画像取得部３００は、重複領域について２つのカメラにより撮像された画像のうち、運転支援画像の重複領域の画像部分において予測走行軌跡により形成される領域と立体物との重複する面積がより大きくなる画像を採用して生成された運転支援画像を運転支援画像生成部２２０より取得する。また、衝突判定部２８０により車両と立体物とが衝突しないと判定した場合、運転支援画像取得部３００は、重複領域について２つのカメラにより撮像された画像のうち、運転支援画像の重複領域の画像部分において予測走行軌跡により形成される領域と立体物との重複する面積がより小さくなる画像を採用して生成された運転支援画像を運転支援画像生成部２２０より取得する。
【００３１】
以下に、運転支援画像生成装置１００の動作を一例を挙げて説明する。図３は、車両５００の左後方の重複画像部分５５０に立体物５６０が存在するときの運転支援画像を模式的に示した図である。図３に示す運転支援画像から予測走行軌跡５７０を除いた車両周辺画像は、車両周囲の各画像（フロントビュー画像、左サイドビュー画像、右サイドビュー画像、リアビュー画像）をそれぞれ視点変換処理した画像５１０（フロントビュー画像に対応）、画像５２０（左サイドビュー画像に対応）、画像５４０（右サイドビュー画像に対応）および画像５３０（リアビュー画像に対応）を繋ぎ合わせ、その中心に車両の画像５００を合成することにより生成されている。
【００３２】
図３に示す運転支援画像において、フロントカメラと左サイドカメラとの間で撮像範囲が重複した重複画像部分については、立体物が存在しないため、フロントビュー画像に対応する画像５１０が採用される。また、右サイドカメラとフロントカメラとの間で撮像範囲が重複した重複画像部分についても、立体物が存在しないため、フロントビュー画像に対応する画像５１０が採用される。また、リアカメラと右サイドカメラとの間で撮像範囲が重複した重複画像部分についても、立体物が存在しないため、リアビュー画像に対応する画像５３０が採用される。また、左サイドカメラとリアカメラとの間で撮像範囲が重複した重複画像部分については、立体物が存在するため、立体物と予測走行軌跡との衝突判定の結果に従って、左サイドビュー画像またはリアビュー画像の何れかに対応した画像が採用される。
【００３３】
図３（ａ）に示すように、リアサイドビュー画像に対応する画像５３０を重複画像部分５５０の画像として選択した場合、リアカメラと立体物５６０との相対位置関係から、立体物５６０の画像は自車両５００の左方に引き伸ばされたように表示される。ここで、立体物５６０の路面に近い一端の位置は予測走行軌跡５７０により形成される領域５８０（斜線部分）に含まれている（接している）。
【００３４】
一方、図３（ｂ）に示すように、左サイドビュー画像に対応する画像５２０を重複画像部分５５０の画像として選択した場合、右サイドカメラと立体物５６０との相対位置関係から、立体物５６０の画像は自車両５００の後方に引き伸ばされたように表示される。ここで、立体物５６０の路面に近い一端の位置は予測走行軌跡５７０により形成される領域５８０（斜線部分）に含まれている（接している）。すなわち、図３（ｂ）に示す立体物５６０の路面に近い一端の位置は、図３（ａ）に示す立体物５６０の路面に近い一端の位置と同じである。
【００３５】
図３の例では、運転支援画像の重複画像部分５５０において２本の予測走行軌跡５７０の間に形成される領域５８０に立体物５６０の路面に近い一端の位置が含まれる（接している）ため、衝突判定部２８０は、車両５００と立体物５６０とが衝突すると判定する。この判定結果を受けて、運転支援画像取得部３００は、重複領域についてリアビュー画像を採用して生成された運転支援画像と左サイドビュー画像を採用して生成された運転支援画像とにより撮像された画像のうち、重複画像部分５５０において予測走行軌跡５７０により形成される領域５８０と立体物５６０との重複する面積がより大きくなる方の運転支援画像を運転支援画像生成部２２０より取得する。
【００３６】
図３の例では、リアビュー画像に対応する画像５２０より左サイドビュー画像に対応する画像５３０の方が、重複画像部分５５０において予測走行軌跡５７０により形成される領域５８０と立体物５６０との重複する面積がより大きくなるため、運転支援画像取得部３００は、リアビュー画像に対応する画像５２０（図３（ｂ）を参照）を採用して生成された運転支援画像を運転支援画像生成部２２０より取得する。これにより、運転支援画像生成装置１００の動作によって、車両５００と立体物５６０とが衝突するとの判定の結果をより明確に表している運転支援画像を取得することができる。
【００３７】
次に、本実施形態における運転支援画像生成装置１００の動作について説明する。図４は、本実施形態による運転支援画像生成装置１００の動作例を示すフローチャート図である。図４におけるステップＳ１００の処理は、例えば、ユーザによる操作部（図示せず）の操作を介して運転支援画像生成機能の実行要求を受け付けることにより開始する。
【００３８】
まず、立体物検出部２４０は、４つのカメラ間で一部において撮像範囲が重複する４つの重複領域のうち少なくとも１つの重複領域内に立体物が存在するか否かを判定する（ステップＳ１００）。もし、４つの重複領域の何れにも立体物が存在しないと立体物検出部２４０にて判定した場合（ステップＳ１００にてＮＯ）、車両周辺画像生成部１８０は、車両前方の２つの重複画像部分についてデフォルトのフロントビュー画像を採用し、車両後方の２つの重複画像部分についてもデフォルトのリアビュー画像を採用して第１車両周辺画像を生成する（ステップＳ１２０）。
【００３９】
次に、予測走行軌跡生成部２００は、操舵角検出部１４０により検出される車両のステアリング操舵角に基づいて、車両の予測走行軌跡を生成する（ステップＳ１４０）。次に、運転支援画像生成部２２０は、ステップＳ１２０にて生成された第１車両周辺画像にステップＳ１４０により生成された予測走行軌跡を重畳した運転支援画像を生成する（ステップＳ１６０）。最後に、運転支援画像取得部３００は、ステップＳ１６０にて生成された第１運転支援画像を運転支援画像生成部２２０より表示用画像として取得する（ステップＳ１８０）。
【００４０】
一方、４つの重複領域のうち少なくとも１つの重複領域内に立体物が存在すると立体物検出部２４０にて判定した場合（ステップＳ１００にてＹＥＳ）、車両周辺画像生成部１８０は、撮像範囲が重複する２つのカメラにより撮像された画像をそれぞれ採用した第１の車両周辺画像と第２の車両周辺画像とを４つの重複領域毎に生成する。すなわち、４つの重複領域についてそれぞれ第１の車両周辺画像と第２の車両周辺画像とを作るため、全部で８つの車両周辺画像を生成する（ステップＳ２００）。
【００４１】
すなわち、車両周辺画像生成部１８０は、車両の左前方に位置する重複領域についてデフォルトのフロントビュー画像を採用した第１の車両周辺画像と、左サイドビュー画像を採用した第２の車両周辺画像（何れも他の３つの重複領域についてはデフォルトのフロントビュー画像およびリアビュー画像を採用）を生成する。また、車両周辺画像生成部１８０は、車両の左後方に位置する重複領域についてデフォルトのリアビュー画像を採用した第１の車両周辺画像と、左サイドビュー画像を採用した第２の車両周辺画像（何れも他の３つの重複領域についてはデフォルトのフロントビュー画像およびリアビュー画像を採用）を生成する。車両周辺画像生成部１８０は、車両の右後方に位置する重複領域についてデフォルトのリアビュー画像を採用した第１の車両周辺画像と、右サイドビュー画像を採用した第２の車両周辺画像（何れも他の３つの重複領域についてはデフォルトのフロントビュー画像およびリアビュー画像を採用）を生成する。また、車両周辺画像生成部１８０は、車両の右前方に位置する重複領域についてデフォルトのフロントビュー画像を採用した第１の車両周辺画像と、右サイドビュー画像を採用した第２の車両周辺画像（何れも他の３つの領域についてはデフォルトのフロントビュー画像およびリアビュー画像を採用）を生成する。
【００４２】
次に、予測走行軌跡生成部２００は、操舵角検出部１４０により検出される車両のステアリング操舵角に基づいて、車両の予測走行軌跡を生成する（ステップＳ２２０）。次に、運転支援画像生成部２２０は、ステップＳ２００において４つの重複領域に関して生成された８個の車両周辺画像のうち、ステップＳ２２０で生成された予測走行軌跡が含まれる重複領域について生成された２つの車両周辺画像に、当該予測走行軌跡を重畳した第１運転支援画像および第２運転支援画像を生成する（ステップＳ２４０）。ここで、第１運転支援画像は、重複画像部分についてフロントビュー画像またはリアビュー画像を採用して生成された車両周辺画像に予測走行軌跡を重畳したものである。また、第２運転支援画像は、重複画像部分について左サイドビュー画像または右サイドビュー画像を採用して生成された車両周辺画像に予測走行軌跡を重畳したものである。
【００４３】
次に、位置検出部２６０は、例えば、第１運転支援画像上における立体物の路面に近い一端の位置を検出する（ステップＳ２６０）。次に、衝突判定部２８０は、ステップＳ２６０により検出された第１運転支援画像上における立体物の路面に近い一端の位置と、ステップＳ２４０により生成された第１運転支援画像上における予測走行軌跡とに基づいて、車両と立体物とが衝突するか否かについて判定を行う（ステップＳ２８０）。
【００４４】
なお、立体物の路面に近い一端の位置と予測走行軌跡は第１運転支援画像上と第２運転支援画像上のどちらでも同じである。よって、ステップＳ２６０、ステップＳ２８０では、第１運転支援画像、第２運転支援画像のどちらを使用しても良い。
【００４５】
もし、車両と立体物とが衝突すると衝突判定部２８０にて判定した場合（ステップＳ２８０にてＹＥＳ）、運転支援画像取得部３００は、第１運転支援画像および第２運転支援画像の両方とも、重複画像部分において予測走行軌跡により形成される領域と立体物とが重複していないか否かを判定する（ステップＳ３００）。
【００４６】
もし、第１運転支援画像および第２運転支援画像の両方とも、重複画像部分において予測走行軌跡により形成される領域と立体物とが重複していないと運転支援画像取得部３００にて判定した場合、運転支援画像取得部３００は、ステップＳ２４０にて生成された第１運転支援画像を運転支援画像生成部２２０より表示用画像として取得する（ステップＳ１８０）。ここで、第１運転支援画像を取得する理由は、第１運転支援画像および第２運転支援画像のどちらを取得しても、その取得した運転支援画像は、車両と立体物とが衝突するとの判定の結果を明確に表しているとは言えないという意味では同じ画像であるからである。
【００４７】
一方、第１運転支援画像および第２運転支援画像のうち少なくとも一方において、重複領域の画像部分において予測走行軌跡により形成される領域と立体物とが重複していると運転支援画像取得部３００にて判定した場合（ステップＳ３００にてＮＯ）、運転支援画像取得部３００は、ステップＳ２４０にて生成された第１運転支援画像および第２運転支援画像のうち、運転支援画像の重複画像部分において予測走行軌跡により形成される領域と立体物との重複する面積がより大きくなる運転支援画像を運転支援画像生成部２２０より表示用画像として取得する（ステップＳ３２０）。なお、図３に示した例では、ステップＳ１００〜ステップＳ３２０の流れに沿って、運転支援画像の重複画像部分において予測走行軌跡により形成される領域と立体物との重複する面積がより大きくなる運転支援画像（図３（ｂ））を運転支援画像生成部２２０より表示用画像として取得している。
【００４８】
また、車両と立体物とが衝突しないと衝突判定部２８０にて判定した場合（ステップＳ２８０にてＮＯ）、運転支援画像取得部３００は、第１運転支援画像および第２運転支援画像の両方とも、重複領域の画像部分において予測走行軌跡により形成される領域と立体物とが重複していないか否かを判定する（ステップＳ３４０）。
【００４９】
もし、第１運転支援画像および第２運転支援画像の両方とも、重複領域の画像部分において予測走行軌跡により形成される領域と立体物とが重複していないと運転支援画像取得部３００にて判定した場合（ステップＳ３４０にてＹＥＳ）、運転支援画像取得部３００は、ステップＳ２４０にて生成された第１運転支援画像を運転支援画像生成部２２０より表示用画像として取得する（ステップＳ３６０）。ここで、第１運転支援画像を取得する理由は、第１運転支援画像および第２運転支援画像のどちらを取得したとしても、その取得した運転支援画像は、車両と立体物とが衝突するとの判定の結果を明確に表していると言えるという意味では同じ画像であるからである。
【００５０】
一方、第１運転支援画像および第２運転支援画像のうち少なくとも一方において、重複画像部分において予測走行軌跡により形成される領域と立体物とが重複していると運転支援画像取得部３００にて判定した場合（ステップＳ３４０にてＮＯ）、運転支援画像取得部３００は、第１運転支援画像および第２運転支援画像のうち、重複画像部分において予測走行軌跡により形成される領域と立体物との重複する面積がより小さくなる運転支援画像を運転支援画像生成部２２０より表示用画像として取得する（ステップＳ３８０）。なお、ステップＳ１８０、ステップＳ３２０、ステップＳ３６０またはステップＳ３８０における処理が終了することにより、運転支援画像生成装置１００は、図４における処理を終了する。
【００５１】
次に、本実施形態における運転支援画像生成装置１００の他の動作例について説明する。図５は、本実施形態による運転支援画像生成装置１００の他の動作例を示すフローチャート図である。図５におけるステップＳ５００の処理は、図４と同様に、例えば、ユーザによる操作部（図示せず）の操作を介して運転支援画像生成機能の実行要求を受け付けることにより開始する。
【００５２】
まず、車両周辺画像生成部１８０は、４つの重複画像部分についてデフォルトのフロントビュー画像およびリアビュー画像を採用して第１車両周辺画像を生成する（ステップＳ５００）。次に、予測走行軌跡生成部２００は、操舵角検出部１４０により検出された車両のステアリング操舵角に基づいて、車両の予測走行軌跡を生成する（ステップＳ５２０）。次に、運転支援画像生成部２２０は、ステップＳ５００にて生成された第１車両周辺画像にステップＳ５２０にて生成された予測走行軌跡を重畳した第１運転支援画像を生成する（ステップＳ５４０）。
【００５３】
次に、立体物検出部２４０は、４つのカメラ間で一部において撮像範囲が重複する４つの重複領域のうち少なくとも１つの重複領域内に立体物が存在するか否かを判定する（ステップＳ５６０）。もし、４つの重複領域内の何れにも立体物が存在しないと立体物検出部２４０にて判定した場合（ステップＳ５６０にてＮＯ）、運転支援画像取得部３００は、ステップＳ５４０にて生成された第１運転支援画像を運転支援画像生成部２２０より表示用画像として取得する（ステップＳ５８０）。
【００５４】
一方、４つの重複領域のうち少なくとも１つの重複領域内に立体物が存在すると立体物検出部２４０にて判定した場合（ステップＳ５６０にてＹＥＳ）、位置検出部２６０は、ステップＳ５４０にて生成された第１運転支援画像上における立体物の路面に近い一端の位置を検出する（ステップＳ６００）。次に、衝突判定部２８０は、ステップＳ６００にて検出された第１運転支援画像上における立体物の路面に近い一端の位置と、ステップＳ５４０にて生成された運転支援画像上における予測走行軌跡とに基づいて、車両と立体物とが衝突するか否かについて判定を行う（ステップＳ６２０）。
【００５５】
もし、車両と立体物とが衝突しないと衝突判定部２８０にて判定した場合（ステップＳ６２０にてＮＯ）、運転支援画像取得部３００は、第１運転支援画像の重複画像部分において予測走行軌跡により形成される領域と立体物とが重複しているか否かを判定する（ステップＳ６４０）。もし、第１運転支援画像の重複画像部分において予測走行軌跡により形成される領域と立体物とが重複していないと運転支援画像取得部３００にて判定した場合（ステップＳ６４０にてＮＯ）、ステップＳ５４０にて生成された第１運転支援画像は車両と立体物とが衝突していないことを表す画像として適しているので、運転支援画像取得部３００は第１運転支援画像を運転支援画像生成部２２０より表示用画像として取得する（ステップＳ５８０）。
【００５６】
一方、第１運転支援画像の重複画像部分において予測走行軌跡により形成される領域と立体物とが重複していると運転支援画像取得部３００にて判定した場合（ステップＳ６４０にてＹＥＳ）、その第１運転支援画像は車両と立体物とが衝突していないことを表す画像として適していないので、車両周辺画像生成部１８０は、重複画像部分について左サイドビュー画像または右サイドビュー画像を採用して第２車両周辺画像を生成する（ステップＳ６６０）。さらに、運転支援画像生成部２２０は、ステップＳ６６０にて生成された第２車両周辺画像にステップＳ５２０にて生成された予測走行軌跡を重畳した第２運転支援画像を生成する（ステップＳ６８０）。
【００５７】
次に、運転支援画像取得部３００は、ステップＳ６８０にて生成された第２運転支援画像を運転支援画像生成部２２０より表示用画像として取得する（ステップＳ７００）。ここで、たとえ第２運転支援画像の重複画像部分において予測走行軌跡により形成される領域と立体物とが重複していたとしても、ステップＳ６８０にて生成された第２運転支援画像を運転支援画像生成部２２０より表示用画像として取得する理由は、第１運転支援画像および第２運転支援画像のどちらを取得したとしても、その取得した運転支援画像は、車両と立体物とが衝突しないとの判定の結果を明確に表しているとは言えないという意味では同じ画像であるからである。
【００５８】
一方、車両と立体物とが衝突すると衝突判定部２８０にて判定した場合（ステップＳ６２０にてＹＥＳ）、運転支援画像取得部３００は、第１運転支援画像の重複画像部分において予測走行軌跡により形成される領域と立体物とが重複しているか否かを判定する（ステップＳ７２０）。もし、第１運転支援画像の重複画像部分において予測走行軌跡により形成される領域と立体物とが重複していると運転支援画像取得部３００にて判定した場合（ステップＳ７２０にてＹＥＳ）、その第１運転支援画像は車両と立体物とが衝突していることを表す画像として適しているので、運転支援画像取得部３００は、ステップＳ５４０にて生成された第１運転支援画像を運転支援画像生成部２２０より表示用画像として取得する（ステップＳ７４０）。
【００５９】
一方、第１運転支援画像の重複画像部分において予測走行軌跡により形成される領域と立体物とが重複していないと運転支援画像取得部３００にて判定した場合（ステップＳ７２０にてＮＯ）、その第１運転支援画像は車両と立体物とが衝突していないことを表す画像として適していないので、車両周辺画像生成部１８０は、重複画像部分について左サイドビュー画像または右サイドビュー画像を採用して第２車両周辺画像を生成する（ステップＳ７６０）。
【００６０】
次に、運転支援画像生成部２２０は、ステップＳ７６０にて生成された第２車両周辺画像にステップＳ５２０にて生成された予測走行軌跡を重畳した第２運転支援画像を生成する（ステップＳ７８０）。次に、運転支援画像取得部３００は、ステップＳ７００にて生成された第２運転支援画像を運転支援画像生成部２２０より表示用画像として取得する（ステップＳ８００）。なお、ステップＳ５８０、ステップＳ７４０またはステップＳ８００における処理が終了することにより、運転支援画像生成装置１００は、図５における処理を終了する。
【００６１】
ステップＳ８００において、たとえ第２運転支援画像の重複画像部分において予測走行軌跡により形成される領域と立体物とが重複していないとしても、ステップＳ７８０にて生成された第２運転支援画像を運転支援画像生成部２２０より表示用画像として取得する理由は、第１運転支援画像および第２運転支援画像のどちらを取得したとしても、その取得した運転支援画像は、車両５００と立体物５６０とが衝突するとの判定の結果を明確に表しているとは言えないという意味では同じ画像であるからである。
【００６２】
図５に示したフローチャートによれば、最初に第１運転支援画像だけを生成し、その生成した第１運転支援画像が、車両と立体物との衝突判定の結果を明確に表すのに十分な画像であれば、追加で第２運転支援画像を生成する必要がなくなる。よって、重複領域に立体物が存在する場合に必ず第１運転支援画像および第２運転支援画像の双方を生成する図４のフローチャートと比べて、運転支援画像生成装置１００の処理効率を向上させることができる。
【００６３】
以上詳しく説明したように、本実施形態では、衝突判定部２８０が、運転支援画像上における立体物の路面に近い一端の位置が当該運転支援画像上における予測走行軌跡により形成される領域に含まれるか否かを判定することにより、車両と立体物とが衝突するか否かについて判定を行う。そして、その判定結果に基づいて、運転支援画像取得部３００が、２つのカメラで重複して撮像される重複領域に対応する重複画像部分について、当該２つのカメラのうち何れかにより撮像された画像を採用して生成した運転支援画像を表示用画像として選択的に取得するようにしている。
【００６４】
図３の例に沿って説明すれば、運転支援画像の重複画像部分５５０において２本の予測走行軌跡５７０の間に形成される領域５８０に立体物５６０の路面に近い一端の位置が含まれる（接している）ため、衝突判定部２８０は、車両５００と立体物５６０とが衝突すると判定する。そして、この判定結果を受けて、運転支援画像取得部３００は、重複画像部分５５０において予測走行軌跡５７０により形成される領域５８０と立体物５６０との重複する面積がより大きくなる左サイドビュー画像を採用して生成された運転支援画像を運転支援画像生成部２２０より取得している。
【００６５】
以上より、車両と立体物との衝突判定結果に基づいて、表示用画像として取得する運転支援画像の生成の際、立体物が存在する重複画像部分に採用される画像が２つのカメラにより撮像された画像間で可変になる。つまり、車両と立体物とが衝突する場合と衝突しない場合とで、運転支援画像の生成の際に、立体物が存在する重複画像部分に採用される画像を適宜選択することができる。すなわち、車両と立体物との衝突判定の結果を明確に表している画像を採用して生成された運転支援画像を取得し表示することにより、自車両が立体物の存在する位置周辺を通過する場合、その運転支援画像を参照しながら運転を行う運転者が、自車両と立体物との衝突可否についてより正しい認識をすることができる。
【００６６】
なお、本実施形態では、立体物検出部２４０は、撮像部１２０で撮像された車両周囲の画像から、重複領域におけるオプティカルフローを抽出することにより立体物を検出する例について説明したが、立体物の検出方法はこれに限定されない。例えば、立体物検出部２４０は、赤外線センサ、ミリ波レーダー、超音波センサあるいはそれらの組み合わせを用いて立体物を検出するようにしても良い。
【００６７】
また、本実施形態では、図４に示すフローチャートにおいて、車両周辺画像を生成する処理（ステップＳ２００）の後に、予測走行軌跡を生成する処理（ステップＳ２２０）を行う例について説明したが、予測走行軌跡を生成する処理の順番を立体物の検出処理（ステップＳ１００）の前にしても良い。このようにすれば、立体物の検出処理においては、既にどの重複領域に予測走行軌跡が含まれるか判っているため、立体物の検出を４つの重複領域の全てに対して行う必要がなくなる。さらに、車両周辺画像を生成する処理（ステップＳ２００）においても、既にどの重複領域に予測走行軌跡が含まれるか判っているため、当該予測走行軌跡が含まれる重複領域について２つのカメラにより撮像された画像を採用した車両周辺画像を２つ生成すれば良い。
【００６８】
また、本実施形態では、図５のフローチャートにおいて、第１運転支援画像の重複領域の画像部分において予測走行軌跡により形成される領域と立体物とが重複していると判定した場合（ステップＳ７２０にてＹＥＳ）、第１運転支援画像を表示用画像として取得する例について説明したが、ステップＳ７４０に処理が遷移するときのステップＳ７２０における判定内容はこれに限定されない。
【００６９】
例えば、第１運転支援画像の重複画像部分において予測走行軌跡により形成される領域と立体物との重複面積が所定値以上の場合に限って、ステップＳ７２０からステップＳ７４０に処理が遷移するようにしても良い。あるいは、立体物の全体面積のうち予測走行軌跡により形成される領域に重複する部分の面積が重複しない部分の面積より大きいときに限って、ステップＳ７２０からステップＳ７４０に処理が遷移するようにしても良い。このようにすれば、車両と立体物との衝突するとの判定の結果をより明確に表している運転支援画像を運転支援画像生成部２２０より表示用画像として取得することができる。
【００７０】
その他、上記実施形態は、何れも本発明を実施するにあたっての具体化の一例を示したものに過ぎず、これによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその精神、またはその主要な特徴から逸脱することなく、様々な形で実施することができる。
【図面の簡単な説明】
【００７１】
【図１】本実施形態による運転支援画像生成装置のブロック構成例を示す図である。
【図２】本実施形態による車両周辺画像の例を示す図である。
【図３】本実施形態による運転支援画像の例を模式的に示す図である。
【図４】本実施形態による運転支援画像生成装置の動作例を示すフローチャート図である。
【図５】本実施形態による運転支援画像生成装置の他の動作例を示すフローチャート図である。
【図６】車両に設置されるカメラの配置の例を示す図である。
【図７】車両周辺画像の例を模式的に示した図である。
【符号の説明】
【００７２】
１００ 運転支援画像生成装置
１２０ 撮像部
１８０ 車両周辺画像生成部
２００ 予測走行軌跡生成部
２２０ 運転支援画像生成部
２４０ 立体物検出部
２６０ 位置検出部
２８０ 衝突判定部
３００ 運転支援画像取得部
【特許請求の範囲】
【請求項１】
車両の異なる場所に設置された複数のカメラで撮像された車両周囲の複数の領域の画像であって、一部において撮像範囲が重複する重複領域を有する画像をそれぞれ車両上方の仮想視点から見下ろした俯瞰画像に変換すると共に、前記複数の領域毎に変換した俯瞰画像を合成して、１つの車両周辺画像を生成する車両周辺画像生成部と、
前記車両周辺画像に重畳して表示するための前記車両の予測走行軌跡を生成する予測走行軌跡生成部と、
前記車両周辺画像生成部により生成された前記車両周辺画像に前記予測走行軌跡生成部により生成された前記予測走行軌跡を重畳した運転支援画像を生成する運転支援画像生成部と、
前記重複領域内に存在する立体物を検出する立体物検出部と、
前記立体物検出部により前記立体物が検出された場合、前記運転支援画像上における前記立体物の路面に近い一端の位置を検出する位置検出部と、
前記位置検出部により検出された前記運転支援画像上における前記立体物の路面に近い一端の位置と、前記運転支援画像生成部により生成された前記運転支援画像上における前記予測走行軌跡とに基づいて、前記車両と前記立体物とが衝突するか否かについて判定を行う衝突判定部と、
前記衝突判定部による判定結果に基づいて、前記重複領域の画像部分について前記複数のカメラのうち何れかにより撮像された画像を採用して生成された車両周辺画像に前記予測走行軌跡を重畳した運転支援画像を前記運転支援画像生成部より取得する運転支援画像取得部とを備えたことを特徴とする運転支援画像生成装置。
【請求項２】
請求項１に記載の運転支援画像生成装置において、
前記衝突判定部により前記車両と前記立体物とが衝突すると判定した場合、
前記運転支援画像取得部は、前記重複領域について前記複数のカメラにより撮像された画像のうち、前記運転支援画像の前記重複領域の画像部分において前記予測走行軌跡により形成される領域と前記立体物との重複する面積がより大きくなる画像を採用して生成された車両周辺画像に前記予測走行軌跡を重畳した運転支援画像を前記運転支援画像生成部より取得することを特徴とする運転支援画像生成装置。
【請求項３】
請求項１に記載の運転支援画像生成装置において、
前記衝突判定部により前記車両と前記立体物とが衝突しないと判定した場合、
前記運転支援画像取得部は、前記重複領域について前記複数のカメラにより撮像された画像のうち、前記運転支援画像の前記重複領域の画像部分において前記予測走行軌跡により形成される領域と前記立体物との重複する面積がより小さくなる画像を採用して生成された車両周辺画像に前記予測走行軌跡を重畳した運転支援画像を前記運転支援画像生成部より取得することを特徴とする運転支援画像生成装置。
【請求項４】
請求項１〜３のいずれか１項に記載の運転支援画像生成装置において、
前記立体物検出部により前記立体物が検出された場合、前記衝突判定部は、前記運転支援画像の前記重複領域の画像部分において前記予測走行軌跡により形成される領域に前記立体物の路面に近い一端の位置が含まれる場合には前記車両と前記立体物とが衝突すると判定し、前記予測走行軌跡により形成される領域に前記立体物の路面に近い一端の位置が含まれない場合には前記車両と前記立体物とが衝突しないと判定することを特徴とする運転支援画像生成装置。
【請求項５】
車両の異なる場所に設置された複数のカメラで撮像された車両周囲の複数の領域の画像であって、一部において撮像範囲が重複する重複領域を有する画像をそれぞれ車両上方の仮想視点から見下ろした俯瞰画像に変換すると共に、前記複数の領域毎に変換した俯瞰画像を合成して、１つの車両周辺画像を生成する車両周辺画像生成部と、前記車両周辺画像に重畳して表示するための前記車両の予測走行軌跡を生成する予測走行軌跡生成部と、前記車両周辺画像生成部により生成された前記車両周辺画像に前記予測走行軌跡生成部により生成された前記予測走行軌跡を重畳した運転支援画像を生成する運転支援画像生成部とを備える運転支援画像生成装置における運転支援画像生成方法であって、
前記重複領域内に存在する立体物を検出する第１のステップと、
前記第１のステップにより前記立体物が検出された場合、前記運転支援画像上における前記立体物の路面に近い一端の位置を検出する第２のステップと、
前記第２のステップにより検出された前記運転支援画像上における前記立体物の路面に近い一端の位置と、前記運転支援画像生成部により生成された前記運転支援画像上における前記予測走行軌跡とに基づいて、前記車両と前記立体物とが衝突するか否かについて判定を行う第３のステップと、
前記第３のステップによる判定結果に基づいて、前記重複領域の画像部分について前記複数のカメラのうち何れかにより撮像された画像を採用して生成された車両周辺画像に前記予測走行軌跡を重畳した運転支援画像を前記運転支援画像生成部より取得する第４のステップとを備えたことを特徴とする運転支援画像生成方法。
【請求項１】
車両の異なる場所に設置された複数のカメラで撮像された車両周囲の複数の領域の画像であって、一部において撮像範囲が重複する重複領域を有する画像をそれぞれ車両上方の仮想視点から見下ろした俯瞰画像に変換すると共に、前記複数の領域毎に変換した俯瞰画像を合成して、１つの車両周辺画像を生成する車両周辺画像生成部と、
前記車両周辺画像に重畳して表示するための前記車両の予測走行軌跡を生成する予測走行軌跡生成部と、
前記車両周辺画像生成部により生成された前記車両周辺画像に前記予測走行軌跡生成部により生成された前記予測走行軌跡を重畳した運転支援画像を生成する運転支援画像生成部と、
前記重複領域内に存在する立体物を検出する立体物検出部と、
前記立体物検出部により前記立体物が検出された場合、前記運転支援画像上における前記立体物の路面に近い一端の位置を検出する位置検出部と、
前記位置検出部により検出された前記運転支援画像上における前記立体物の路面に近い一端の位置と、前記運転支援画像生成部により生成された前記運転支援画像上における前記予測走行軌跡とに基づいて、前記車両と前記立体物とが衝突するか否かについて判定を行う衝突判定部と、
前記衝突判定部による判定結果に基づいて、前記重複領域の画像部分について前記複数のカメラのうち何れかにより撮像された画像を採用して生成された車両周辺画像に前記予測走行軌跡を重畳した運転支援画像を前記運転支援画像生成部より取得する運転支援画像取得部とを備えたことを特徴とする運転支援画像生成装置。
【請求項２】
請求項１に記載の運転支援画像生成装置において、
前記衝突判定部により前記車両と前記立体物とが衝突すると判定した場合、
前記運転支援画像取得部は、前記重複領域について前記複数のカメラにより撮像された画像のうち、前記運転支援画像の前記重複領域の画像部分において前記予測走行軌跡により形成される領域と前記立体物との重複する面積がより大きくなる画像を採用して生成された車両周辺画像に前記予測走行軌跡を重畳した運転支援画像を前記運転支援画像生成部より取得することを特徴とする運転支援画像生成装置。
【請求項３】
請求項１に記載の運転支援画像生成装置において、
前記衝突判定部により前記車両と前記立体物とが衝突しないと判定した場合、
前記運転支援画像取得部は、前記重複領域について前記複数のカメラにより撮像された画像のうち、前記運転支援画像の前記重複領域の画像部分において前記予測走行軌跡により形成される領域と前記立体物との重複する面積がより小さくなる画像を採用して生成された車両周辺画像に前記予測走行軌跡を重畳した運転支援画像を前記運転支援画像生成部より取得することを特徴とする運転支援画像生成装置。
【請求項４】
請求項１〜３のいずれか１項に記載の運転支援画像生成装置において、
前記立体物検出部により前記立体物が検出された場合、前記衝突判定部は、前記運転支援画像の前記重複領域の画像部分において前記予測走行軌跡により形成される領域に前記立体物の路面に近い一端の位置が含まれる場合には前記車両と前記立体物とが衝突すると判定し、前記予測走行軌跡により形成される領域に前記立体物の路面に近い一端の位置が含まれない場合には前記車両と前記立体物とが衝突しないと判定することを特徴とする運転支援画像生成装置。
【請求項５】
車両の異なる場所に設置された複数のカメラで撮像された車両周囲の複数の領域の画像であって、一部において撮像範囲が重複する重複領域を有する画像をそれぞれ車両上方の仮想視点から見下ろした俯瞰画像に変換すると共に、前記複数の領域毎に変換した俯瞰画像を合成して、１つの車両周辺画像を生成する車両周辺画像生成部と、前記車両周辺画像に重畳して表示するための前記車両の予測走行軌跡を生成する予測走行軌跡生成部と、前記車両周辺画像生成部により生成された前記車両周辺画像に前記予測走行軌跡生成部により生成された前記予測走行軌跡を重畳した運転支援画像を生成する運転支援画像生成部とを備える運転支援画像生成装置における運転支援画像生成方法であって、
前記重複領域内に存在する立体物を検出する第１のステップと、
前記第１のステップにより前記立体物が検出された場合、前記運転支援画像上における前記立体物の路面に近い一端の位置を検出する第２のステップと、
前記第２のステップにより検出された前記運転支援画像上における前記立体物の路面に近い一端の位置と、前記運転支援画像生成部により生成された前記運転支援画像上における前記予測走行軌跡とに基づいて、前記車両と前記立体物とが衝突するか否かについて判定を行う第３のステップと、
前記第３のステップによる判定結果に基づいて、前記重複領域の画像部分について前記複数のカメラのうち何れかにより撮像された画像を採用して生成された車両周辺画像に前記予測走行軌跡を重畳した運転支援画像を前記運転支援画像生成部より取得する第４のステップとを備えたことを特徴とする運転支援画像生成方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【公開番号】特開２００９−１３７３５３（Ｐ２００９−１３７３５３Ａ）
【公開日】平成２１年６月２５日（２００９．６．２５）
【国際特許分類】
【出願番号】特願２００７−３１３６２２（Ｐ２００７−３１３６２２）
【出願日】平成１９年１２月４日（２００７．１２．４）
【出願人】（０００１０１７３２）アルパイン株式会社 (2,424)
【Ｆターム（参考）】
【公開日】平成２１年６月２５日（２００９．６．２５）
【国際特許分類】
【出願日】平成１９年１２月４日（２００７．１２．４）
【出願人】（０００１０１７３２）アルパイン株式会社 (2,424)
【Ｆターム（参考）】
[ Back to top ]