車両周囲監視装置及び車両周囲監視方法
【課題】運転者が車両周囲の立体物の配置関係をより正確に認識することができる車両周囲監視装置及び車両周囲監視方法を提供すること。
【解決手段】車両周囲監視装置１００は、車両周囲に存在する立体物を検出する立体物検出部４３０と、複数のカメラ２００の撮影画像を合成処理して、車両周囲の俯瞰画像を表す合成俯瞰画像を生成し、前記立体物検出部による検出結果に基づき、生成した合成俯瞰画像に映る立体物の方向を、前記合成処理の境界方向側に変更する合成俯瞰画像生成部４４０とを備える。
【解決手段】車両周囲監視装置１００は、車両周囲に存在する立体物を検出する立体物検出部４３０と、複数のカメラ２００の撮影画像を合成処理して、車両周囲の俯瞰画像を表す合成俯瞰画像を生成し、前記立体物検出部による検出結果に基づき、生成した合成俯瞰画像に映る立体物の方向を、前記合成処理の境界方向側に変更する合成俯瞰画像生成部４４０とを備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車両周囲を撮影する複数のカメラの撮影画像から車両周囲を俯瞰可能な俯瞰画像を合成する車両周囲監視装置及び車両周囲監視方法に関する。
【背景技術】
【０００２】
近年、車両の上方の仮想視点から車両の周囲を見下ろした俯瞰画像をモニタに表示する車両周囲監視装置の普及が進んでいる。多くの車両周囲監視装置は、車両周囲を広範囲に映し出せるように、複数のカメラを利用して俯瞰画像を生成する（例えば特許文献１，２参照）。
【０００３】
図１８は、特許文献１，２に記載の車両周囲監視装置（以下「従来装置」という）におけるカメラ配置及び各カメラの撮影画像から得られる俯瞰画像の一例を示す図である。
【０００４】
図１８に示すように、車両１０には、第１〜第４のカメラ２０−１〜２０−４が取り付けられる。第１〜第４のカメラ２０−１〜２０−４は、車両１０の前方、後方、左側方、及び右側方の路面を、斜めに見下ろす向きでそれぞれ撮影する。第１〜第４のカメラ２０−１〜２０−４の撮影画像からは、車両の上方の仮想視点から見下ろしたときの画像に近似した第１〜第４のカメラ俯瞰画像３０−１〜３０−４を得ることができる。
【０００５】
表示される俯瞰画像は、できるだけ広い範囲で連続した画像であることが望ましい。そこで、従来装置は、複数のカメラの撮影画像から１つの俯瞰画像を合成するようにしている。以下、複数のカメラの撮影画像から合成された俯瞰画像を、「合成俯瞰画像」という。
【０００６】
従来装置は、第１〜第４のカメラ２０−１〜２０−４の撮影画像を、路面を基準として合成し、車両１０の全周で連続した合成俯瞰画像を生成する。また、従来装置では、合成俯瞰画像に抜けを生じさせないために、隣り合うカメラ２０の撮影範囲が重複している。以下、撮影範囲が重複する領域を、「重複エリア」という。
【０００７】
重複エリアの路面標示や木陰など、実質的に高さが無い物体（非立体物）の位置は、両方のカメラ２０のカメラ俯瞰画像３０において一致する。ところが、重複エリアに位置し高さがある立体物の位置は、カメラ俯瞰画像ごとに異なる。これは、カメラ２０から見たときの立体物の射影方向が、カメラ２０ごとに異なるためである。
【０００８】
図１９は、第２のカメラ２０−２及び第３のカメラ２０−３の重複エリアに、第１及び第２の立体物４０−１及び４０−２が位置するような状況における、第３のカメラ俯瞰画像３０−３を例示する図である。また、図２０は、上記と同じ状況における第２のカメラ俯瞰画像３０−２の一例を示す図である。
【０００９】
図１９において、第１及び第２の立体物４０−１、４０−２は、基部４１−１、４１−２と、立体部分４２−１、４２−２とに分けられる。基部は、各立体物において、路面を基準とする高さが実質的に無い部分であり、立体部分は、各立体物において、路面を基準として高さ成分を有する部分である。第３のカメラ俯瞰画像３０−３において、立体部分４２−１、４２−２が、基部４１−１、４１−２から、車両１０に対し後方向に伸びた状態で運転者により視認される。すなわち、第３のカメラ俯瞰画像３０−３では、第１及び第２の立体物４０−１、４０−２は、車両１０の後方向に向けて倒れ込んだ状態となっている。一方、図２０に示すように、第２のカメラ俯瞰画像３０−２では、第１及び第２の立体物４０−１、４０−２は、車両１０の左方向に向けて倒れ込んだ状態となっている。
【００１０】
このように、重複エリアの立体物の倒れ込みの方向（射影方向）は、カメラ俯瞰画像ごとに異なる。重複エリアにおいて２つのカメラ俯瞰画像を単純に重ね合わせて合成俯瞰画像を作成すると、１つの立体物に対して２つの立体物が現れ、二重像となってしまう。したがって、重複エリアの立体物をどのように処理するかが問題となる。
【００１１】
そこで、従来装置は、図２１及び図２２に示すように、境界６０を境として一方のカメラ俯瞰画像の立体物４０のみを採用して、合成俯瞰画像５０を生成するようにしている。また、より具体的には、従来装置は、図２３及び図２４に示すように、重複エリアの内部に境界６０を設定している。これにより、立体物が重複して表示されるのを防ぐことができる。
【特許文献１】特開２００８−４８３１７号公報
【特許文献２】特開２００７−１８０７２０号公報
【発明の開示】
【発明が解決しようとする課題】
【００１２】
しかしながら、従来装置では、例えば、図２３及び図２４に示すように、実際には平行な２つの立体物が、境界６０の両側で大きく異なる向きで画像表示されることがある。また、図２４に示すように、実際には重なっていない２つの立体物が、境界６０において重なった状態で画像表示されることがある。すなわち、実際の複数の立体物の間の配置関係（以下単に「立体物の配置関係」という）とは大きく異なる配置関係で、立体物が表示される場合がある。したがって、従来装置には、運転者に対して、車両周囲の立体物の配置関係を誤って認識させてしまうという課題がある。
【００１３】
なお、上記説明では課題を分かりやすくするために、２つの立体物の例を挙げて説明したが、これに限らず、１つの立体物の場合でも、同様の課題は起こる。
【００１４】
本発明は、かかる点に鑑みてなされたものであり、運転者が車両周囲の立体物の配置関係を認識させ易くすることができる車両周囲監視装置及び車両周囲監視方法を提供することを目的とする。
【課題を解決するための手段】
【００１５】
本発明の車両周囲監視装置は、車両周囲に存在する立体物を検出する立体物検出部と、複数のカメラの撮影画像を合成処理して、車両周囲の俯瞰画像を表す合成俯瞰画像を生成し、立体物検出部による検出結果に基づき、生成した合成俯瞰画像に映る立体物の方向を、合成処理の境界方向側に変更する第１の画像生成部とを備える。
【００１６】
本発明の車両周囲監視方法は、車両周囲に存在する立体物を検出する第１のステップと、複数のカメラの撮影画像を合成処理して、車両周囲の俯瞰画像を表す合成俯瞰画像を生成し、第１のステップにおける検出結果に基づき、生成した合成俯瞰画像に映る立体物の方向を、合成処理の境界方向側に変更する第２のステップとを備える。
【発明の効果】
【００１７】
本発明によれば、合成俯瞰画像における立体物の方向が合成境界側に変更されるので、運転者は車両周囲の立体物の配置関係をより正確に認識することができる。
【発明を実施するための最良の形態】
【００１８】
以下、本発明の一実施の形態について、図面を参照して詳細に説明する。
【００１９】
図１は、本発明の一実施の形態に係る車両周囲監視装置のブロック図である。
【００２０】
図１において、車両周囲監視装置１００は、大別して、第１〜第４のカメラ２００−１〜２００−４、画像処理部４００、及びモニタ５００を備えている。第１〜第４のカメラ２００−１〜２００−４は、同一の構成を有しているため、適宜、カメラ２００としてまとめて説明を行う。
【００２１】
各カメラ２００は、車両の周囲を撮影する。各カメラ２００は、撮像部２１０と、一対のフレームメモリ２２０を有するフレーム切替部２３０とを含んでいる。
【００２２】
撮像部２１０は、固体撮像素子であるＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）と、ＣＣＤの撮像面に光学像を結像させる光学系とを有し（いずれも図示せず）、ＣＣＤで撮像した画像をフレームメモリ２２０に出力する。フレームメモリ２２０は、撮像部２１０で撮像された画像を一時的に格納する。フレーム切替部２３０は、撮像部２１０で撮像された画像の入力先と、画像処理部４００による参照先とを、２つのフレームメモリ２２０の間で交互に切り替える。
【００２３】
なお、カメラ２００は、撮像素子として、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ）デバイスを採用してもよい。この場合には、ＣＭＯＳデバイスにフレームメモリの機能を持たせて、フレームメモリ２２０を省略することができる。
【００２４】
図２は、図１の車両周囲監視装置の第１〜第４のカメラ２００−１〜２００−４の取り付け位置の一例を示す斜視図である。
【００２５】
図２に示すように、第１のカメラ２００−１は、車両６００の前方を撮影するために、車両６００の正面中央に取り付けられている。第２のカメラ２００−２は、車両６００の後方を撮影するために、車両６００の後部中央に取り付けられている。第３のカメラ２００−３は、車両６００の左側方を撮影するために、車両６００の左サイドミラーに取り付けられている。第４のカメラ２００−４は、車両６００の右側方を撮像するために、車両６００の右サイドミラーに取り付けられている。
【００２６】
第１〜第４のカメラ２００−１〜２００−４の撮像範囲である第１〜第４のカメラ撮像範囲２００ａ−１〜２００ａ−４は、いずれも、車両６００の周囲の地面を含む。また、隣り合うカメラ撮像範囲２００ａ（例えば、第３のカメラ撮像範囲２００ａ−３と第２のカメラ撮像範囲２００ａ−２）は重なっている。すなわち、隣り合うカメラ撮像範囲２００ａには、重複エリアが存在する。これにより、第１〜第４のカメラ２００−１〜２００−４は、全体で、車両６００の周囲３６０度を撮像することができる。
【００２７】
図３は、第１〜第４のカメラ２００−１〜２００−４の撮影画像の一例を示す図である。
【００２８】
図３に示すように、第１〜第４のカメラ２００−１〜２００−４により撮影される第１〜第４のカメラ撮影画像７１０−１〜７１０−４には、それぞれ、車両６００の前方、後方、左側方、右側方の状況が映っている。第１〜第４のカメラ撮影画像７１０−１〜７１０−４は、画像処理部４００から読み出し可能な状態で、第１〜第４のカメラ２００−１〜２００−４のフレームメモリに保持される。
【００２９】
再度図１を参照する。画像処理部４００は、マッピングテーブル参照部４１０、カメラ俯瞰画像生成部４２０、立体物検出部４３０、合成俯瞰画像生成部４４０、及びタイミング生成部４５０を含んでいる。
【００３０】
マッピングテーブル参照部４１０は、２種類のマッピングテーブル（ＭＰＴ：Ｍａｐｐｉｎｇ Ｔａｂｌｅ）を格納し、これらマッピングテーブルを参照して、２種類のマッピングデータを生成する。一方のマッピングテーブルは、各カメラ２００のフレームメモリ２２０に格納された撮影画像の画素位置と、後で説明するカメラ俯瞰画像の画素とを対応付けたテーブルである。また、他方のマッピングテーブルは、各カメラ俯瞰画像の画素と、後で説明する合成俯瞰画像の画素とを対応付けたテーブルである。一方のマッピングデータは、各カメラ俯瞰画像の画素ごとに、どの撮影画像のどの画素の値を割り当てるかを指示するデータである。他方のマッピングデータは、合成俯瞰画像の画素ごとに、どのカメラ俯瞰画像におけるどの画素の値を割り当てるかを指示するデータである。マッピングテーブル参照部４１０は、一方のマッピングデータを、立体物検出部４３０及びカメラ俯瞰画像生成部４２０に出力し、また、他方のマッピングデータを、合成俯瞰画像生成部４４０に出力する。
【００３１】
マッピングテーブル参照部４１０が格納するマッピングテーブルは、手作業で作成されてもよいし、車両周囲監視装置１００が幾何変換等の計算を実行することにより作成されてもよい。また、マッピングテーブルが、ファームウェアとして提供される場合には、マッピングテーブル参照部４１０は、通信回線やディスクドライブなどのデータ転送手段を用いて、外部からマッピングテーブルを取得してもよい。
【００３２】
カメラ俯瞰画像生成部４２０は、マッピングテーブル参照部４１０から出力される一方のマッピングデータに従って、各カメラ２００のフレームメモリ２２０に格納された各撮影画像を読み出してマッピングを行うことにより、カメラ俯瞰画像を生成する。具体的には、カメラ俯瞰画像生成部４２０は、マッピングテーブル参照部４１０から出力された一方のマッピングデータに基づき、指定された撮影画像の画素を、カメラ俯瞰画像の画素の値として割り当てて、カメラ撮影画像毎にカメラ俯瞰画像が生成される。
【００３３】
ここで、カメラ撮影画像には、カメラ視点、つまり、カメラの設置位置から見たときのカメラ撮像範囲の状況が映っている。それとは異なり、カメラ俯瞰画像は、カメラ撮影画像の視点を変換したものであって、カメラ俯瞰画像には、車両上方に設置された仮想的なカメラの視点（仮想視点）から見た場合におけるカメラ撮像範囲の全体または一部の状況が映っている。
【００３４】
ここで、図４は、図３に示す第１〜第４のカメラ撮影画像７１０−１〜７１０−４から生成される第１〜第４のカメラ俯瞰画像７２４−１〜７２４−４の一例を示す図である。第１〜第４のカメラ俯瞰画像７２４−１〜７２４−４はそれぞれ、隣のカメラ俯瞰画像７２４との間の重複エリアを含む。
【００３５】
図１に示す立体物検出部４３０は、詳細については後述するが、各カメラ２００から得られたカメラ撮影画像に対し画像認識処理を行って、カメラ撮影画像から車両周囲に存在する立体物を検出する。また、立体物検出部４３０は、マッピングテーブル参照部４１０からの一方のマッピングデータを使うことで、各カメラ撮影画像のどの画素が、カメラ俯瞰画像におけるどの画素に対応するかが分かるので、このマッピングデータを用いて、検出した立体物が、カメラ俯瞰画像で映っているエリア（以下「立体物エリア」という）の座標値の集まりを特定する。立体物検出部４３０はさらに、検出した立体物エリアにおいて、車両に最も近い位置を、その立体物の基部位置として取得する。立体物エリアの座標値の集まりと、その立体物の基部位置とは、立体物位置情報として、合成俯瞰画像生成部４４０に送られる。
【００３６】
合成俯瞰画像生成部４４０は、カメラ俯瞰画像生成部４２０からの各カメラ俯瞰画像を受け取り、マッピングテーブル参照部４１０より他方のマッピングデータを受け取る。合成俯瞰画像生成部４４０は、受け取ったマッピングデータに従って、受け取った各カメラ俯瞰画像に対しマッピングを行って、合成俯瞰画像を合成する。具体的には、合成俯瞰画像生成部４４０は、このマッピングデータに基づき、指定されたカメラ俯瞰画像の画素を、合成俯瞰画像の画素の値として割り当てて、これによって、合成俯瞰画像が生成される。
【００３７】
ここで、合成俯瞰画像は、カメラ俯瞰画像と比較すると、仮想カメラ視点から見た場合における車両の全周囲を１フレームに収めている点で相違し、あたかも隣り合うカメラ２００のカメラ俯瞰画像７２４を、合成境界を境につなぎ合わせたような画像になる。
【００３８】
図５は、合成俯瞰画像生成部４４０によって生成される合成俯瞰画像の一例を示す図である。図５の例では、仮想視点の位置は車両の真上に設定されており、合成俯瞰画像７２０の中央には車両を示すアイコン７２１が配置される。また、車両の周囲に立体物が存在する場合には、合成俯瞰画像７２０において対応する位置に立体物７２３が描かれる。
【００３９】
ここで、各カメラ俯瞰画像は各カメラ２００の位置から撮影されているため、それぞれに映っている立体物の倒れこみの方向が異なる（図４参照）。したがって、このようなカメラ俯瞰画像を基礎として生成される合成俯瞰画像においても、立体物７２３は倒れこみの方向が相違する（図５参照）。もしこのような合成俯瞰画像がそのまま表示されると、この画像を見る運転者は違和を感じる。特に、重複エリアにおいては、「背景技術」の欄で説明したように、立体物の配置関係が運転者にとっては分かり難くなる。
【００４０】
以上の観点から、合成俯瞰画像生成部４４０は、まず、立体物検出部４３０からの立体物位置情報に基づいて、この立体物位置情報に対応する立体物を、カメラ俯瞰画像生成部４２０から受け取ったカメラ俯瞰画像から切り出し、回転させる（画像回転処理）。その後、合成俯瞰画像生成部４４０は、自身が生成した合成俯瞰画像に、回転済みの立体物を合成する（立体物合成処理）。
【００４１】
画像回転処理は、立体物位置情報を受け取った場合に行われ、カメラ俯瞰画像において、立体物位置情報で特定される立体物エリアから、立体物が抽出される。抽出された立体物は、立体物位置情報で特定される基部位置を中心として、それを撮影したカメラ２００の視点から見た射影方向から、合成処理の境界方向側に回転させられる。
【００４２】
また、立体物合成処理において、回転済みの立体物は、合成俯瞰画像上に合成される。ここで、合成俯瞰画像生成部４４０には、カメラ俯瞰画像と、合成俯瞰画像との対応関係が示される他方のマッピングデータが入力されているので、合成俯瞰画像生成部４４０は、回転済みの立体物を、合成俯瞰画像上のどの位置に合成するかを、このマッピングデータに基づき特定する。
【００４３】
以上の画像回転処理及び立体物合成処理は、受け取った立体物位置情報毎に行われる。また、特に、重複エリアについては、同じ立体物が複数のカメラ俯瞰画像に映っているが、いずれのカメラ俯瞰画像から立体物を抽出するかについては、後述する。
【００４４】
そして、合成俯瞰画像生成部４４０は、フレームごとの合成俯瞰画像から、動画系列を表示するための映像信号を生成し、生成した映像信号をモニタ５００へ出力する。
【００４５】
タイミング生成部４５０は、第１〜第４のカメラ２００−１〜２００−４のフレーム切り替えのタイミングと、マッピングテーブル参照部４１０の各マッピングデータ出力タイミングと、合成俯瞰画像生成部４４０の動作タイミングとを制御するタイミング信号を生成する。このタイミング信号により、車両６００の周囲の画像をリアルタイムで映し出す合成俯瞰画像の映像信号が、モニタ５００に出力される。
【００４６】
モニタ５００は、合成俯瞰画像生成部４４０から受け取った映像信号に従って、合成俯瞰画像を表示する。モニタ５００は、例えば、液晶ディスプレイを有する表示装置であり、車両６００の運転席から見える位置に取り付けられる。モニタ５００は、車両搭載型のＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）端末（いわゆるカーナビゲーションシステム）等の、他のシステムまたは装置との間で共有されてもよい。
【００４７】
なお、車両周囲監視装置１００は、図示しないが、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、制御プログラムを格納したＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）及びマッピングテーブルを含む各種データを格納したＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ ａｎｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）等の記憶媒体、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等の作業用メモリなどを有する。上記各部の機能は、例えば、ＣＰＵが制御プログラムを実行することにより実現される。
【００４８】
このような車両周囲監視装置１００によれば、合成俯瞰画像を運転者に対して表示することができるとともに、合成俯瞰画像の立体物の射影方向を、所定の視点を基準とした方向に揃えることができる。また、マッピングテーブルを用いるので、合成俯瞰画像を高速に生成することができる。
【００４９】
次に、上述の画像回転処理の詳細について説明する。
【００５０】
図６は、画像回転処理を施す前の合成俯瞰画像の一例を示す図である。図６では、車両周囲の路面上の立体物（例えば人）が位置するときの合成俯瞰画像が模式的に示されている。なお、説明の簡便化のため、実際には合成俯瞰画像に描かれない部分についても、必要に応じて適宜、図６には図示される。
【００５１】
ここで、カメラ２００の視点の位置を、「カメラ視点」という。第２のカメラ俯瞰画像７２４−２と第３のカメラ俯瞰画像７２４−３との重複エリア７２５には、合成境界７２６が設定されており、合成境界７２６を境として一方のカメラ俯瞰画像７２４のみが合成俯瞰画像７２０に用いられる。また、重複エリア７２５の第３のカメラ俯瞰画像７２４−３の側に、立体物７３０が位置しているものとする。
【００５２】
図６に示すように、画像回転処理を施す前の合成俯瞰画像７２０では、立体物７３０は、立体物の基部位置７３２を基点として、その画像を撮影したカメラ２００のカメラ視点７３１から見た射影方向（以下「カメラ射影方向」という）７３３に倒れ込んだ状態となる。
【００５３】
具体的には、第３のカメラ俯瞰画像７２４−３において、立体物７３０は、第１の立体物７２３−１のように映っており、カメラ視点７３１−３から立体物７３０を見た第１の射影方向７３３−１（後方向）に倒れ込んでいる。一方、第２のカメラ俯瞰画像７２４−２において、立体物７３０は、第２の立体物７２３−２のように映っており、カメラ視点７３１−２から立体物７３０を見た第２の射影方向７３３−２（左方向）に倒れ込んでいる。すなわち、第１の立体物７２３−１及び第２の立体物７２３−２は元々同一であるが、第３のカメラ俯瞰画像７２４−３及び第２のカメラ俯瞰画像７２４−２では大きく異なった方向に倒れ込んでいる。
【００５４】
このように、画像回転処理を施さない場合、実際には近距離に位置する２つの立体物であるにもかかわらず、カメラ俯瞰画像７２４の境界線（合成境界）の付近においてその立体物７３０の射影方向が大きく異なる。このことは、実際には同一の立体物であるにもかかわらず、カメラ俯瞰画像７２４の合成境界の両側で、その立体物７３０の射影方向が大きく異なることを意味する。したがって、画像回転処理を施さない合成俯瞰画像７２０は、上述の通り、運転者の立体物の配置関係に対する認識誤りを引き起こす。また、画像回転処理を施さない合成俯瞰画像７２０では、立体物７３０は、車両の移動または立体物７３０の移動によって合成境界を越えるときに、不連続な動きで表示されることになる。
【００５５】
そこで、本実施の形態の車両周囲監視装置１００は、カメラ俯瞰画像７２４から抽出した立体物７２３を、画像回転処理により、合成境界側に傾けた後に、合成俯瞰画像７２０に合成する。これによって、上記認識誤り及び立体物の不連続な動きの低減を図る。以下、回転の基準となる単一の視点を、「合成視点」という。
【００５６】
図７は、画像回転処理を施した後の合成俯瞰画像の一例を示す図であり、図６に対応するものである。
【００５７】
図７に示すように、画像回転処理を施した後の合成俯瞰画像７２０では、第２の立体物７２３−２は、基部位置７３２を基点として、合成境界７２６と平行な方向７３５に倒れ込んだ状態となっている。合成俯瞰画像生成部４４０は、第２の立体物７２３−２を、基部位置７３２を中心として、合成境界７２６と平行な方向７３５へと回転させることにより、このような合成俯瞰画像７２０を生成する。
【００５８】
例えば、第１の立体物７２３−１を同様に回転させた場合でも、第１の立体物７２３−１も同じ方向に倒れ込んだ状態となる。また、合成境界７２６を挟んで両側に位置する２つの立体物７３０が実際に位置するときに、このような画像回転処理により、それらの立体物７２３は同じ方向に倒れ込んだ状態となる。これは、実際の立体物７３０の配置関係に近似した配置関係である。したがって、上記回転処理を、例えば重複エリア７２５全体に対して行うことにより、合成境界７２６における立体物７２３の不連続な動きや、立体物７３０の配置関係に対する認識誤りを防ぐことができる。
【００５９】
このように、画像回転処理を施すことにより、実際の立体物の配置関係により近い配置関係で立体物７２３を配置した合成俯瞰画像を、運転者に提供することができる。また、合成境界と平行な方向７３５は、多くの場合、運転席から重複エリア７２５を見たときの方向に近い方向に設定されるので、実際に運転者から立体物を見たときの方向に近い方向に立体物を倒し込むことができる。したがって、運転者に対して、実際の立体物の配置関係と、路面垂直方向に対する立体物の向きとを、より正確に認識させることができる。
【００６０】
ここで、車両を基準とし高さ成分を除いた座標系において、カメラ２００の設置位置の座標（カメラ視点の座標）をＣ（Ｃｘ，Ｃｙ）、立体物の基部位置７３２の座標をＯ（Ｏｘ，Ｏｙ）、合成境界と平行な方向のベクトルをＢと置く。このとき、カメラ射影方向７３３から視点射影方向までの回転角θは、カメラ射影方向の方向ベクトルＶＣ（Ｏｘ−Ｃｘ，Ｏｙ−Ｃｙ）及び方向ベクトルＢを用いて、以下の式（１）を用いて算出することができる。
θ ＝ ａｒｃｃｏｓ｛（ＶＣ・Ｂ）／（｜ＶＣ｜・｜Ｂ｜）｝ ・・・・・・（１）
【００６１】
なお、回転角θは、合成俯瞰画像の座標ごとに一意に決まる。したがって、座標ごとに回転角θを予め算出して記憶しておくことにより、画像回転処理の高速化を図ることができる。
【００６２】
以下、本実施の形態に係る車両周囲監視装置１００の動作について説明する。
【００６３】
図８は、車両周囲監視装置１００の動作の一例を示すフローチャートである。
【００６４】
まず、ステップＳ１１００において、カメラ俯瞰画像生成部４２０及び立体物検出部４３０は、タイミング生成部４５０からのタイミング信号を受けて、第１〜第４のカメラ２００−１〜２００−４から、第１〜第４のカメラ撮影画像をそれぞれ取得する（図３参照）。
【００６５】
次に、ステップＳ１２００において、カメラ俯瞰画像生成部４２０は、マッピングテーブル参照部４１０から入力される一方のマッピングデータに基づいて、第１〜第４のカメラ撮影画像から、第１〜第４のカメラ俯瞰画像を生成する（図４参照）。そして、カメラ俯瞰画像生成部４２０は、生成した各カメラ俯瞰画像を、合成俯瞰画像生成部４４０に出力する。
【００６６】
次に、ステップＳ１３００において、合成俯瞰画像生成部４４０は、カメラ俯瞰画像生成部４２０からの各カメラ俯瞰画像を受け取り、マッピングテーブル参照部４１０より他方のマッピングデータを受け取る。合成俯瞰画像生成部４４０は、受け取ったマッピングデータに従って、受け取った各カメラ俯瞰画像に対しマッピングを行って、合成俯瞰画像を合成する。
【００６７】
次に、ステップＳ１４００において、立体物検出部４３０は、ステップＳ１１００で取得された第１〜第４のカメラ撮影画像に対し、画像認識処理を行うことにより、立体物の検出処理を行う。
【００６８】
画像認識処理としては、例えば、パターンマッチング処理またはエッジ抽出処理、またはステレオ処理を採用することができる。
【００６９】
パターンマッチング処理の場合、立体物検出部４３０は、検出対象となる立体物（例えばパイロン、ポール）の外観の形状の特徴を予め記憶しておき、その形状と相関性の高い画像部分を、立体物として検出する。エッジ抽出処理の場合、立体物検出部４３０は、検出対象となる立体物を構成する線分に特徴的な特定の方向（例えば路面に対する垂直方向）に近い方向の線分のみを抽出し、抽出された線分が集中する画像部分を、立体物として検出する。例えば、人、ポール、箱等の立体物は、垂直方向に近い方向の線分を多く有することから、検出が容易である。ステレオ処理の場合、立体物検出部４３０は、車両の路面に対する移動と、この移動に伴う第１〜第４のカメラ撮影画像の変化とから、路面画像ではない部分、つまり立体物を抽出する。ステレオ処理の詳細については、後述する。
【００７０】
なお、立体物検出部４３０は、重複エリアについては、複数のカメラ俯瞰画像の間で輝度あるいは色の差分が大きい部分を、立体部と判定し、この画像部分と輝度及び色が連続して整合する画像を立体物と判定する。
【００７１】
また、立体物検出部４３０は、立体物が含まれる大まかな領域を、立体物と判定してもよい。これは、立体物の抽出を行うことができない場合に有効である。この場合には、立体物検出部４３０は、立体物を、矩形や楕円形等の単純な外形としてもよい。
【００７２】
そして、ステップＳ１５００において、立体物検出部４３０は、後のステップで画像処理の対象となる少なくとも１つの立体物をステップＳ１４００で検出できたかを判断する。立体物検出部４３０は、処理対象となる立体物を検出できた場合には（Ｓ１５００：ＹＥＳ）、ステップＳ１６００へ進む。
【００７３】
図８のステップＳ１６００において、立体物検出部４３０は、一方のマッピングデータを参照して、第１〜第４のカメラ撮影画像における立体物の位置を、カメラ俯瞰画像における位置情報に変換する。これによって得られた立体物位置情報を、立体物検出部４３０は、合成俯瞰画像生成部４４０へ出力する。
【００７４】
図９は、立体物位置情報を示す図である。立体物位置情報は、上述の通り、立体物エリアの座標の集まり及び基部位置を示す情報である。基部位置７３２は、立体物７２３が路面と接する位置である。また、立体物エリア７３６は、立体物７２３が描かれた座標の集合で特定される。
【００７５】
立体物検出部４３０は、立体物エリア７３６のうちカメラ２００のカメラ視点７３１に最も近い位置の座標を、基部位置７３２として採用する。
【００７６】
一方、立体物検出部４３０は、処理対象となる立体物を検出できなかった場合には（ステップＳ１５００：ＮＯ）、ステップＳ１７００へ進む。
【００７７】
ステップＳ１７００において、立体物検出部４３０は、処理対象となる立体物を検出できなかった旨を示す情報を合成俯瞰画像生成部４４０に出力し、ステップＳ１８００へ進む。
【００７８】
図８のステップＳ１８００において、合成俯瞰画像生成部４４０は、立体物位置情報を受け取ったか否かを判断する。立体物位置情報を受け取った場合（Ｓ１８００：ＹＥＳ）には、ステップＳ１９００に進む。
【００７９】
次に、ステップＳ１９００において、合成俯瞰画像生成部４４０は、立体物を回転させるために合成境界の平行方向を設定する。今回の説明で設定されるのは、処理対象となる立体物に最も近い合成境界の平行方向である（図７の方向７３５を参照）。
【００８０】
そして、ステップＳ２０００において、合成俯瞰画像生成部４４０は、立体物の基部を中心に、前式（１）で求まるθだけ立体物を回転させた後の、立体物エリアの座標の集まりを算出する。この回転は、図６及び図７で説明したように、基部位置を中心としたカメラ射影方向から、合成境界の平行方向への回転である。
【００８１】
なお、重複エリアの立体物は、その生成に際してどちらのカメラ俯瞰画像を用いても、回転後の倒れ込みの方向は同一となる。しかし、立体物の大きさ、つまりカメラ射影方向の長さ（以下「射影長」という）は、どちらのカメラ俯瞰画像を用いたかによって異なる。
【００８２】
図１０は、カメラ２００からの距離と射影長との関係を示す図である。図１０に示すように、カメラ２００から立体物７３７までの距離ｄと射影長Ｌとの比は、立体物７３７の高さｈＬと、立体物７３７の上端からカメラ２００の高さまでの距離ｈＵとの比に比例する。したがって、射影長Ｌは、カメラ２００から立体物７３７までの距離ｄに比例する。このことは、カメラ２００からの距離が長いほど、立体物７３７の射影長が長くなり、実際の立体物の外観に対する立体物７３７の歪みが大きくなり、表示範囲からはみ出して消失する部分が多くなることを意味する。
【００８３】
したがって、合成俯瞰画像生成部４４０は、重複エリアの立体物については、カメラ２００の位置までの長さがより短いほうのカメラ画像を用いることが望ましい。距離は、例えば、立体物の基部位置とカメラ２００の位置とから求めることができる。
【００８４】
そして、図８のステップＳ２１００において、合成俯瞰画像生成部４４０は、ステップＳ２０００で算出した回転後のエリアに立体物を合成俯瞰画像に描画する。
【００８５】
そして、回転後のエリアに立体物を描画するだけでは、合成俯瞰画像には、同じ立体物であるが回転前のものが描かれたままであるため、ステップＳ２２００において、合成俯瞰画像生成部４４０は、立体物の回転前のエリアに、路面を描画する。これにより、合成俯瞰画像において立体物は基部位置を中心としてカメラ射影方向から、合成境界と平行な方向へと回転した状態に補正される。
【００８６】
ここで、ステップＳ２２００の詳細な処理の一例について説明する。カメラ２００から見て立体物の背後（カメラ射影方向側）は、そのカメラ２００にとっては死角となる。したがって、そのカメラ２００のカメラ撮影画像においては、回転前のエリアに描画すべき路面の色データが欠落している。一方で、回転前のエリア（以下「データ欠落エリア」という）は、カメラ２００の視点の移動（車両の移動）や立体物の移動に伴って変化する。
【００８７】
そこで、合成俯瞰画像生成部４４０は、過去に生成された合成俯瞰画像を所定数フレーム分記憶しておき、過去のフレームを用いて、現在のフレームのデータ欠落エリアを補完する。
【００８８】
図１１は、データ欠落エリアの補完の様子を示す図である。
【００８９】
図１１（Ａ）に示す第ｎのフレームの合成俯瞰画像７２０ｎが取得された後、車両が車庫入れ等のために後退し、図１１（Ｂ）に示す第ｎ＋ａのフレームの合成俯瞰画像７２０ｎ＋ａが取得されたとする。
【００９０】
第ｎのフレームの合成俯瞰画像７２０ｎにおいて、立体物７２３は、あるデータ欠落エリア７３８ｎから、回転後の領域（以下「回転先領域」という）７３９ｎへと回転する。回転先領域７３９ｎの路面画像は、基の第ｎのフレームの合成俯瞰画像７２０ｎに含まれている。
【００９１】
そして、第ｎ＋ａのフレームの合成俯瞰画像７２０ｎ＋ａにおいて、立体物７２３は、さらに、データ欠落エリア７３８ｎ＋ａから、別の回転先領域７３９ｎ＋ａへと回転する。ここで、説明の簡便化のため、第ｎ＋ａのフレームにおけるデータ欠落エリア７３８ｎ＋ａが、第ｎのフレームにおける回転先領域７３９ｎに一致しているものとする。この場合、第ｎ＋ａのフレームにおけるデータ欠落エリア７３８ｎ＋ａの路面画像は、第ｎのフレームの合成俯瞰画像７２０ｎに、回転先領域７３９ｎの路面画像として含まれている。
【００９２】
したがって、合成俯瞰画像生成部４４０は、まず、車両の舵角量並びに車速等から得られる車両の移動量並びに移動方向、及び／またはオプティカルフロー等の画像処理に基づいて、フレーム間での合成俯瞰画像の座標の対応付けを行う。そして、合成俯瞰画像生成部４４０は、矢印７４０に示すように、第ｎ＋ａのフレームの合成俯瞰画像７２０ｎ＋ａにおけるデータ欠落エリア７３８ｎ＋ａを、第ｎのフレームの合成俯瞰画像７２０ｎにおける回転先領域７３９ｎの路面画像で補完する。
【００９３】
なお、車両または立体物の移動がなければ、データ欠落エリアを補完することはできない。したがって、合成俯瞰画像生成部４４０は、検出対象となる立体物が存在する状態で車両の移動が検出された時、及びカメラ撮影範囲へ立体物の進入が検出してきた時にのみ、データ欠落エリアの補完を行うようにしてもよい。
【００９４】
また、合成俯瞰画像生成部４４０は、時間的に後のフレームの合成俯瞰画像を用いて、データ欠落エリアの補完を行うようにしてもよい。但し、数フレーム分の画像をバッファすることになり、モニタ５００に表示される合成俯瞰画像に多少の遅れが生じる。
【００９５】
以上のステップＳ２２００の実行後、処理は図８に示すステップＳ２３００に進む。ステップＳ２３００において、合俯瞰画像生成部４４０は、補正後の合成俯瞰画像を示す映像信号をモニタ５００に出力し、合成俯瞰画像を表示させる。表示される合成俯瞰画像は、処理対象となる立体物が存在する場合には、その立体物を回転させた画像となっている。
【００９６】
そして、ステップＳ２４００において、タイミング生成部４５０は、ユーザ操作等により合成俯瞰画像の表示の処理の終了を指示されたか否かを判断する。タイミング生成部４５０は、処理の終了を指示されていない場合は（Ｓ２４００：ＮＯ）、タイミング信号を出力してステップＳ１１００に戻り、処理の終了を指示された場合は（Ｓ２４００：ＹＥＳ）、タイミング信号の出力を停止して一連の処理を終了させる。
【００９７】
また、画像処理の対象となる立体物が存在しない場合には（Ｓ１８００：ＮＯ）、合成俯瞰画像生成部４４０は、直接にステップＳ２３００へ進み、画像回転処理を行うことなく、合成俯瞰画像をモニタ５００に表示させる。
【００９８】
このような動作により、車両周囲監視装置１００は、車両周囲の立体物の射影方向が揃った合成俯瞰画像を、運転者に提供することができる。
【００９９】
なお、以上の実施形態の説明では、立体物検出部４３０が受け取ったカメラ画像から立体物までの距離を検出していたが、これに限らず、例えば、アクティブセンサにより立体物までの距離を検出してもかまわない。
【０１００】
なお、以上の実施形態の説明では、立体物検出部４３０が受け取ったカメラ画像から立体物及び立体物までの距離を検出していたが、これに限らず、例えば、アクティブセンサにより立体物及び立体物までの距離を検出してもかまわない。
【０１０１】
なお、複数のカメラ俯瞰画像から成る合成俯瞰画像が用いられる場合には（図４参照）、重複エリアに位置する立体物は、複数のカメラ俯瞰画像に異なる形で映る場合がある。したがって、合成俯瞰画像においては、これら異なる形のもの同士を合成して、１つの立体物が映るようにしてもよい。
【０１０２】
また、合成俯瞰画像に映る立体物の配置関係が実際の立体物の配置関係と大きく異なるのは、主に、重複エリアである。したがって、処理対象を重複エリアの付近に位置する立体物に絞ることにより、車両周囲監視装置１００の処理負荷を軽減することが可能である。
【０１０３】
また、画像処理を重複エリアに限定して行う場合には、複数のカメラ俯瞰画像から成る合成俯瞰画像を用いることにより、より簡単にデータ欠落エリアの補完を行うことが可能となる。
【０１０４】
また、合成境界に平行な方向ではなく、２つのカメラによる２つの射影方向の間を二等分する方向に立体物を回転させることによっても、立体物の相対配置に対する認識誤り及び立体物の不連続な動きの低減を図ることが可能である。
【０１０５】
以下、これらの態様について順に説明する。
【０１０６】
まず、異なる形で映る立体物を合成する態様について詳細に説明する。
【０１０７】
図１２は、第３のカメラ俯瞰画像から得られる回転後の立体物のみを採用した場合の合成俯瞰画像の一例を示す図である。図１３は、第２のカメラ俯瞰画像から得られる回転後の立体物（図１６の立体物と同一のもの）のみを採用した場合の合成俯瞰画像の一例を示す図である。図１４は、図１２に示す立体物と、図１３に示す立体物とを合成した立体物を採用した場合の合成俯瞰画像の一例を示す図である。
【０１０８】
図１２に示す立体物７２３−３と、図１３に示す立体物７２３−２は、それぞれ単一の視点から見た画像である。したがって、ある方向からのみ観察したときには全体像を視認し難い立体物において、その方向とカメラの撮影方向とが一致した場合には、立体物７２３は、その立体物を把握し難い画像となる。例えば、板状の看板を真横から撮影した場合が、これに該当する。
【０１０９】
そこで、合成俯瞰画像生成部４４０は、例えば、立体物７２３−３と立体物７２３−２とを合成して、図１４に示すような立体物７２３を描画する。これにより、運転者が立体物７２３をより把握し易くすることができる。なお、合成俯瞰画像生成部４４０は、回転後の立体物のみを合成してもよいし、立体物を回転させた後のカメラ俯瞰画像を合成してもよい。
【０１１０】
次に、異なるカメラ俯瞰画像に異なる形で映る同一立体物（以下、便宜上、「２つの立体物」という）の射影長を揃える態様について説明する。
【０１１１】
図１０を参照して説明する。立体物検出により特定される立体物７３７の高さｈＬ及び立体物７３７までの距離ｄと、カメラ２００（または合成視点７３４）の高さＨ＝ｈＬ＋ｈＵとから、立体物７３７の射影長Ｌは、以下の式（２）を用いて算出することができる。
Ｌ ＝ （ｈＬ・ｄ）／（Ｈ−ｈＬ） ・・・・・・（２）
【０１１２】
合成俯瞰画像生成部４４０は、例えば、式（２）を用いて、合成する２つの立体物の射影長を算出し、短いほうの射影長Ｌ１を長いほうの射影長Ｌ２で除して得られる比率Ｌ１／Ｌ２で、射影長が長いほうの立体物を、射影方向に縮小する。これにより、より短い方の射影長に、立体物の射影長を揃えることができる。
【０１１３】
次に、重複エリアのカメラ俯瞰画像を用いてデータ欠落エリアの補完を行う態様について説明する。
【０１１４】
図１５は、重複エリアのカメラ俯瞰画像を用いてデータ欠落エリアの補完の様子を示す図である。図１５に示すように、合成俯瞰画像生成部４４０は、例えば、第３のカメラ俯瞰画像７２４−３と第２のカメラ俯瞰画像７２４−２との重複エリア７４３において、第３のカメラ俯瞰画像７２４−３の立体物７２３を用いて回転させる。この場合、第３のカメラ俯瞰画像７２４−３には、データ欠落エリア７３８が生じる。ところが、第２のカメラ俯瞰画像７２４−２のデータ欠落エリア７３８に対応する領域７４４には、路面が映し出されている。これは、カメラ俯瞰画像７２４ごとにカメラ射影方向が異なるためである。
【０１１５】
したがって、合成俯瞰画像生成部４４０は、データ欠落エリア７３８を、第２のカメラ俯瞰画像７２４−２の対応する領域７４４の画像で補完する。１つのフレームの合成俯瞰画像からデータ欠落エリアの補完をすることができるので、図１１で説明した補完の手法に比べて、処理負荷及びメモリ負荷を軽減することができる。
【０１１６】
次に、２つのカメラによる２つの射影方向の間を二等分する方向（以下「二等分方向」という）に立体物を回転させる態様について説明する。
【０１１７】
図１６は、二等分方向に立体物を回転させる画像回転処理を施した後の合成俯瞰画像の一例を示す図である。
【０１１８】
図１６に示すように、二等分方向に画像回転処理を施した後の合成俯瞰画像７２０では、第２の立体物７２３−２は、基部位置７３２を基点として、第１の射影方向７３３−１と第２の射影方向７３３−２との間の二等分方向７４５に倒れ込んだ状態となっている。合成俯瞰画像生成部４４０は、第２の立体物７２３−２を、基部位置７３２を中心として二等分方向７４５へと回転させることにより、このような合成俯瞰画像７２０を生成する。
【０１１９】
例えば、第１の立体物７２３−１を同様に回転させた場合でも、第１の立体物７２３−１も同じ方向に倒れ込んだ状態となる。また、立体物７３０が移動したとき、第１及び第２の射影方向７３３−１、７３３−２はいずれも連続的に変化するので、二等分方向７４５も連続的に変化する。また、平行であって近距離に位置する２つの立体物７３０が位置するときに、それらの立体物７２３はほぼ同じ方向に倒れ込んだ状態となる。これは、実際の立体物７３０の配置関係に近似した配置関係である。したがって、上記回転処理を、例えば重複エリア７２５全体に対して行うことにより、合成境界と平行な方向７２６における立体物７２３の不連続な動きや、立体物７３０の配置関係に対する認識誤りを防ぐことができる。
【０１２０】
次に、カメラ撮影画像に対する画像処理により立体物の検出を行う技術の詳細について説明する。
【０１２１】
画像処理による立体物の検出は、上述の通り、例えば、パターンマッチング処理及びステレオ処理により可能である。
【０１２２】
パターンマッチング処理の場合、立体物検出部４３０は、予め記憶された立体物の外観の形状と相関性の高い画像部分を立体物として検出し、検出した立体物の画像位置から、立体物の位置を検出する。
【０１２３】
ステレオ処理の場合、立体物検出部４３０は、異なる位置から撮影された２つの画像を用い、撮影位置の変異と２つの撮影画像の差異とから、立体物の位置を検出する。ステレオ処理には、２眼カメラを用いたステレオ処理と単眼カメラを用いたモーションステレオ処理がある。
【０１２４】
ここで、単眼カメラを用いたモーションステレオ処理として、カメラ２００の撮影画像を用いて立体物の検出を行う手法について説明する。２眼カメラを用いる場合と異なり、単眼カメラを用いる場合は、ある時刻において、１つの撮影画像しか得られない。したがって、撮影時刻が異なる２つの撮影画像を用いて、同じパターンの特徴点の移動量を求め、車両６００の移動量との比計算から、立体物までの距離を算出する。
【０１２５】
図１７は、カメラ撮影画像を用いて立体物の検出を行う手法の概要を示す図である。図１７に示すように、車両６００が、立体物７５１を左に見ながら移動したとする。そして、立体物検出部４３０は、時刻ｔ１に第１の画像７５２−１を取得し、時刻ｔ２に第２の画像７５２−２を取得したとする。第１及び第２の画像７５２−１、７５２−２は、第３のカメラ撮影画像である。立体物検出部４３０は、コーナー検出フィルタ処理やエッジ検出フィルタ等を用いて、第１の画像７５２−１から、立体物の特徴となるような点（エッジ点やコーナー等）を、特徴点７５３として検出する。そして、検出した特徴点７５３を、第２の画像７５２−２で探索する。
【０１２６】
立体物検出部４３０は、第１の画像７５２−１における特徴点７５３の位置と、第２の画像７５２−２における特徴点７５３の位置との間の画素間距離Ｄ［ｍｍ］を、これらの画素間距離［ｐｉｘｅｌ］と、第３のカメラ２００−３のカメラパラメータとから算出する。カメラパラメータは、カメラ２００のレンズ設計時に設定されるパラメータであって、ピクセル単位での画素間距離と長さ単位での画素間距離とを対応付けるパラメータである。そして、立体物検出部４３０は、第３のカメラ２００−３の焦点距離をｆ、時刻ｔ１から時刻ｔ２までの車両６００の移動距離をＸとすると、カメラ２００から立体物７５１までの距離ｄを、以下の式（３）を用いて算出する。
ｄ ＝ ｆ・Ｘ／Ｄ ・・・・・・（３）
【０１２７】
このように、立体物検出部４３０は、画像処理のみによって立体物を検出することができる。
【０１２８】
また、立体物検出部４３０は、上述のように立体物の特徴点検出を行う場合には、検出した複数の特徴点をグルーピングすることにより、グルーピングされた特徴点に囲まれた合成俯瞰画像の領域を、立体物の座標として検出してもよい。
【０１２９】
以上説明したように、本実施の形態によれば、所定の視点を基準として立体物の射影方向が揃うので、運転者は車両周囲の立体物の配置関係をより正確に認識することができる。なお、カメラの台数及び合成俯瞰画像の範囲は、以上説明した実施の形態の内容に限定されるものではない。
【産業上の利用可能性】
【０１３０】
本発明に係る車両周囲監視装置及び車両周囲監視方法は、運転者が車両周囲の立体物の配置関係をより正確に認識することができる車両周囲監視装置及び車両周囲監視方法として有用である。
【図面の簡単な説明】
【０１３１】
【図１】本発明の一実施の形態に係る車両周囲監視装置のブロック図
【図２】本実施の形態におけるカメラの取り付け位置の一例を示す斜視図
【図３】本実施の形態におけるカメラの撮影画像の一例を示す図
【図４】本実施の形態におけるカメラ俯瞰画像の一例を示す図
【図５】本実施の形態におけるカメラ俯瞰画像生成部によって生成される合成俯瞰画像の一例を示す図
【図６】本実施の形態における画像回転処理を施す前の合成俯瞰画像の一例を示す図
【図７】本実施の形態における画像回転処理を施した後の合成俯瞰画像の一例を示す図
【図８】本実施の形態に係る車両周囲監視装置の動作の一例を示すフローチャート
【図９】本実施の形態における立体物位置情報を示す図
【図１０】本実施の形態におけるカメラからの距離と射影長との関係を示す図
【図１１】本実施の形態におけるデータ欠落領域の補完の様子を示す図
【図１２】本実施の形態における第３のカメラ俯瞰画像から得られる立体物のみを採用した場合の合成俯瞰画像の一例を示す図
【図１３】本実施の形態における第２のカメラ俯瞰画像から得られる立体物のみを採用した場合の合成俯瞰画像の一例を示す図
【図１４】本実施の形態における図１２に示す立体物と図１３に示す立体物を合成した立体物を採用した場合の合成俯瞰画像の一例を示す図
【図１５】本実施の形態における重複エリアのカメラ俯瞰画像を用いてデータ欠落領域の補完の様子を示す図
【図１６】本実施の形態における画像回転処理を施した後の合成俯瞰画像の一例を示す図
【図１７】本実施の形態におけるカメラ撮影画像を用いて立体物の検出を行う手法の概要を示す図
【図１８】従来の車両周囲監視装置におけるカメラ配置及びカメラ俯瞰画像の一例を示す図
【図１９】従来の車両周囲監視装置における重複エリアに立体物が位置するときの、第３のカメラ俯瞰画像の一例を示す図
【図２０】従来の車両周囲監視装置における重複エリアに立体物が位置するときの、第２のカメラ俯瞰画像の一例を示す図
【図２１】従来の車両周囲監視装置における合成俯瞰画像の第１の例を示す図
【図２２】従来の車両周囲監視装置における合成俯瞰画像の第２の例を示す図
【図２３】従来の車両周囲監視装置における合成俯瞰画像の第３の例を示す図
【図２４】従来の車両周囲監視装置における合成俯瞰画像の第４の例を示す図
【符号の説明】
【０１３２】
１００ 車両周囲監視装置
２００ カメラ
２１０ 撮像部
２２０ フレームメモリ
２３０ フレーム切替部
４００ 画像処理部
４１０ マッピングテーブル参照部
４２０ カメラ俯瞰画像生成部
４３０ 立体物検出部
４４０ 合成俯瞰画像生成部
４５０ タイミング生成部
５００ モニタ
【技術分野】
【０００１】
本発明は、車両周囲を撮影する複数のカメラの撮影画像から車両周囲を俯瞰可能な俯瞰画像を合成する車両周囲監視装置及び車両周囲監視方法に関する。
【背景技術】
【０００２】
近年、車両の上方の仮想視点から車両の周囲を見下ろした俯瞰画像をモニタに表示する車両周囲監視装置の普及が進んでいる。多くの車両周囲監視装置は、車両周囲を広範囲に映し出せるように、複数のカメラを利用して俯瞰画像を生成する（例えば特許文献１，２参照）。
【０００３】
図１８は、特許文献１，２に記載の車両周囲監視装置（以下「従来装置」という）におけるカメラ配置及び各カメラの撮影画像から得られる俯瞰画像の一例を示す図である。
【０００４】
図１８に示すように、車両１０には、第１〜第４のカメラ２０−１〜２０−４が取り付けられる。第１〜第４のカメラ２０−１〜２０−４は、車両１０の前方、後方、左側方、及び右側方の路面を、斜めに見下ろす向きでそれぞれ撮影する。第１〜第４のカメラ２０−１〜２０−４の撮影画像からは、車両の上方の仮想視点から見下ろしたときの画像に近似した第１〜第４のカメラ俯瞰画像３０−１〜３０−４を得ることができる。
【０００５】
表示される俯瞰画像は、できるだけ広い範囲で連続した画像であることが望ましい。そこで、従来装置は、複数のカメラの撮影画像から１つの俯瞰画像を合成するようにしている。以下、複数のカメラの撮影画像から合成された俯瞰画像を、「合成俯瞰画像」という。
【０００６】
従来装置は、第１〜第４のカメラ２０−１〜２０−４の撮影画像を、路面を基準として合成し、車両１０の全周で連続した合成俯瞰画像を生成する。また、従来装置では、合成俯瞰画像に抜けを生じさせないために、隣り合うカメラ２０の撮影範囲が重複している。以下、撮影範囲が重複する領域を、「重複エリア」という。
【０００７】
重複エリアの路面標示や木陰など、実質的に高さが無い物体（非立体物）の位置は、両方のカメラ２０のカメラ俯瞰画像３０において一致する。ところが、重複エリアに位置し高さがある立体物の位置は、カメラ俯瞰画像ごとに異なる。これは、カメラ２０から見たときの立体物の射影方向が、カメラ２０ごとに異なるためである。
【０００８】
図１９は、第２のカメラ２０−２及び第３のカメラ２０−３の重複エリアに、第１及び第２の立体物４０−１及び４０−２が位置するような状況における、第３のカメラ俯瞰画像３０−３を例示する図である。また、図２０は、上記と同じ状況における第２のカメラ俯瞰画像３０−２の一例を示す図である。
【０００９】
図１９において、第１及び第２の立体物４０−１、４０−２は、基部４１−１、４１−２と、立体部分４２−１、４２−２とに分けられる。基部は、各立体物において、路面を基準とする高さが実質的に無い部分であり、立体部分は、各立体物において、路面を基準として高さ成分を有する部分である。第３のカメラ俯瞰画像３０−３において、立体部分４２−１、４２−２が、基部４１−１、４１−２から、車両１０に対し後方向に伸びた状態で運転者により視認される。すなわち、第３のカメラ俯瞰画像３０−３では、第１及び第２の立体物４０−１、４０−２は、車両１０の後方向に向けて倒れ込んだ状態となっている。一方、図２０に示すように、第２のカメラ俯瞰画像３０−２では、第１及び第２の立体物４０−１、４０−２は、車両１０の左方向に向けて倒れ込んだ状態となっている。
【００１０】
このように、重複エリアの立体物の倒れ込みの方向（射影方向）は、カメラ俯瞰画像ごとに異なる。重複エリアにおいて２つのカメラ俯瞰画像を単純に重ね合わせて合成俯瞰画像を作成すると、１つの立体物に対して２つの立体物が現れ、二重像となってしまう。したがって、重複エリアの立体物をどのように処理するかが問題となる。
【００１１】
そこで、従来装置は、図２１及び図２２に示すように、境界６０を境として一方のカメラ俯瞰画像の立体物４０のみを採用して、合成俯瞰画像５０を生成するようにしている。また、より具体的には、従来装置は、図２３及び図２４に示すように、重複エリアの内部に境界６０を設定している。これにより、立体物が重複して表示されるのを防ぐことができる。
【特許文献１】特開２００８−４８３１７号公報
【特許文献２】特開２００７−１８０７２０号公報
【発明の開示】
【発明が解決しようとする課題】
【００１２】
しかしながら、従来装置では、例えば、図２３及び図２４に示すように、実際には平行な２つの立体物が、境界６０の両側で大きく異なる向きで画像表示されることがある。また、図２４に示すように、実際には重なっていない２つの立体物が、境界６０において重なった状態で画像表示されることがある。すなわち、実際の複数の立体物の間の配置関係（以下単に「立体物の配置関係」という）とは大きく異なる配置関係で、立体物が表示される場合がある。したがって、従来装置には、運転者に対して、車両周囲の立体物の配置関係を誤って認識させてしまうという課題がある。
【００１３】
なお、上記説明では課題を分かりやすくするために、２つの立体物の例を挙げて説明したが、これに限らず、１つの立体物の場合でも、同様の課題は起こる。
【００１４】
本発明は、かかる点に鑑みてなされたものであり、運転者が車両周囲の立体物の配置関係を認識させ易くすることができる車両周囲監視装置及び車両周囲監視方法を提供することを目的とする。
【課題を解決するための手段】
【００１５】
本発明の車両周囲監視装置は、車両周囲に存在する立体物を検出する立体物検出部と、複数のカメラの撮影画像を合成処理して、車両周囲の俯瞰画像を表す合成俯瞰画像を生成し、立体物検出部による検出結果に基づき、生成した合成俯瞰画像に映る立体物の方向を、合成処理の境界方向側に変更する第１の画像生成部とを備える。
【００１６】
本発明の車両周囲監視方法は、車両周囲に存在する立体物を検出する第１のステップと、複数のカメラの撮影画像を合成処理して、車両周囲の俯瞰画像を表す合成俯瞰画像を生成し、第１のステップにおける検出結果に基づき、生成した合成俯瞰画像に映る立体物の方向を、合成処理の境界方向側に変更する第２のステップとを備える。
【発明の効果】
【００１７】
本発明によれば、合成俯瞰画像における立体物の方向が合成境界側に変更されるので、運転者は車両周囲の立体物の配置関係をより正確に認識することができる。
【発明を実施するための最良の形態】
【００１８】
以下、本発明の一実施の形態について、図面を参照して詳細に説明する。
【００１９】
図１は、本発明の一実施の形態に係る車両周囲監視装置のブロック図である。
【００２０】
図１において、車両周囲監視装置１００は、大別して、第１〜第４のカメラ２００−１〜２００−４、画像処理部４００、及びモニタ５００を備えている。第１〜第４のカメラ２００−１〜２００−４は、同一の構成を有しているため、適宜、カメラ２００としてまとめて説明を行う。
【００２１】
各カメラ２００は、車両の周囲を撮影する。各カメラ２００は、撮像部２１０と、一対のフレームメモリ２２０を有するフレーム切替部２３０とを含んでいる。
【００２２】
撮像部２１０は、固体撮像素子であるＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）と、ＣＣＤの撮像面に光学像を結像させる光学系とを有し（いずれも図示せず）、ＣＣＤで撮像した画像をフレームメモリ２２０に出力する。フレームメモリ２２０は、撮像部２１０で撮像された画像を一時的に格納する。フレーム切替部２３０は、撮像部２１０で撮像された画像の入力先と、画像処理部４００による参照先とを、２つのフレームメモリ２２０の間で交互に切り替える。
【００２３】
なお、カメラ２００は、撮像素子として、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ）デバイスを採用してもよい。この場合には、ＣＭＯＳデバイスにフレームメモリの機能を持たせて、フレームメモリ２２０を省略することができる。
【００２４】
図２は、図１の車両周囲監視装置の第１〜第４のカメラ２００−１〜２００−４の取り付け位置の一例を示す斜視図である。
【００２５】
図２に示すように、第１のカメラ２００−１は、車両６００の前方を撮影するために、車両６００の正面中央に取り付けられている。第２のカメラ２００−２は、車両６００の後方を撮影するために、車両６００の後部中央に取り付けられている。第３のカメラ２００−３は、車両６００の左側方を撮影するために、車両６００の左サイドミラーに取り付けられている。第４のカメラ２００−４は、車両６００の右側方を撮像するために、車両６００の右サイドミラーに取り付けられている。
【００２６】
第１〜第４のカメラ２００−１〜２００−４の撮像範囲である第１〜第４のカメラ撮像範囲２００ａ−１〜２００ａ−４は、いずれも、車両６００の周囲の地面を含む。また、隣り合うカメラ撮像範囲２００ａ（例えば、第３のカメラ撮像範囲２００ａ−３と第２のカメラ撮像範囲２００ａ−２）は重なっている。すなわち、隣り合うカメラ撮像範囲２００ａには、重複エリアが存在する。これにより、第１〜第４のカメラ２００−１〜２００−４は、全体で、車両６００の周囲３６０度を撮像することができる。
【００２７】
図３は、第１〜第４のカメラ２００−１〜２００−４の撮影画像の一例を示す図である。
【００２８】
図３に示すように、第１〜第４のカメラ２００−１〜２００−４により撮影される第１〜第４のカメラ撮影画像７１０−１〜７１０−４には、それぞれ、車両６００の前方、後方、左側方、右側方の状況が映っている。第１〜第４のカメラ撮影画像７１０−１〜７１０−４は、画像処理部４００から読み出し可能な状態で、第１〜第４のカメラ２００−１〜２００−４のフレームメモリに保持される。
【００２９】
再度図１を参照する。画像処理部４００は、マッピングテーブル参照部４１０、カメラ俯瞰画像生成部４２０、立体物検出部４３０、合成俯瞰画像生成部４４０、及びタイミング生成部４５０を含んでいる。
【００３０】
マッピングテーブル参照部４１０は、２種類のマッピングテーブル（ＭＰＴ：Ｍａｐｐｉｎｇ Ｔａｂｌｅ）を格納し、これらマッピングテーブルを参照して、２種類のマッピングデータを生成する。一方のマッピングテーブルは、各カメラ２００のフレームメモリ２２０に格納された撮影画像の画素位置と、後で説明するカメラ俯瞰画像の画素とを対応付けたテーブルである。また、他方のマッピングテーブルは、各カメラ俯瞰画像の画素と、後で説明する合成俯瞰画像の画素とを対応付けたテーブルである。一方のマッピングデータは、各カメラ俯瞰画像の画素ごとに、どの撮影画像のどの画素の値を割り当てるかを指示するデータである。他方のマッピングデータは、合成俯瞰画像の画素ごとに、どのカメラ俯瞰画像におけるどの画素の値を割り当てるかを指示するデータである。マッピングテーブル参照部４１０は、一方のマッピングデータを、立体物検出部４３０及びカメラ俯瞰画像生成部４２０に出力し、また、他方のマッピングデータを、合成俯瞰画像生成部４４０に出力する。
【００３１】
マッピングテーブル参照部４１０が格納するマッピングテーブルは、手作業で作成されてもよいし、車両周囲監視装置１００が幾何変換等の計算を実行することにより作成されてもよい。また、マッピングテーブルが、ファームウェアとして提供される場合には、マッピングテーブル参照部４１０は、通信回線やディスクドライブなどのデータ転送手段を用いて、外部からマッピングテーブルを取得してもよい。
【００３２】
カメラ俯瞰画像生成部４２０は、マッピングテーブル参照部４１０から出力される一方のマッピングデータに従って、各カメラ２００のフレームメモリ２２０に格納された各撮影画像を読み出してマッピングを行うことにより、カメラ俯瞰画像を生成する。具体的には、カメラ俯瞰画像生成部４２０は、マッピングテーブル参照部４１０から出力された一方のマッピングデータに基づき、指定された撮影画像の画素を、カメラ俯瞰画像の画素の値として割り当てて、カメラ撮影画像毎にカメラ俯瞰画像が生成される。
【００３３】
ここで、カメラ撮影画像には、カメラ視点、つまり、カメラの設置位置から見たときのカメラ撮像範囲の状況が映っている。それとは異なり、カメラ俯瞰画像は、カメラ撮影画像の視点を変換したものであって、カメラ俯瞰画像には、車両上方に設置された仮想的なカメラの視点（仮想視点）から見た場合におけるカメラ撮像範囲の全体または一部の状況が映っている。
【００３４】
ここで、図４は、図３に示す第１〜第４のカメラ撮影画像７１０−１〜７１０−４から生成される第１〜第４のカメラ俯瞰画像７２４−１〜７２４−４の一例を示す図である。第１〜第４のカメラ俯瞰画像７２４−１〜７２４−４はそれぞれ、隣のカメラ俯瞰画像７２４との間の重複エリアを含む。
【００３５】
図１に示す立体物検出部４３０は、詳細については後述するが、各カメラ２００から得られたカメラ撮影画像に対し画像認識処理を行って、カメラ撮影画像から車両周囲に存在する立体物を検出する。また、立体物検出部４３０は、マッピングテーブル参照部４１０からの一方のマッピングデータを使うことで、各カメラ撮影画像のどの画素が、カメラ俯瞰画像におけるどの画素に対応するかが分かるので、このマッピングデータを用いて、検出した立体物が、カメラ俯瞰画像で映っているエリア（以下「立体物エリア」という）の座標値の集まりを特定する。立体物検出部４３０はさらに、検出した立体物エリアにおいて、車両に最も近い位置を、その立体物の基部位置として取得する。立体物エリアの座標値の集まりと、その立体物の基部位置とは、立体物位置情報として、合成俯瞰画像生成部４４０に送られる。
【００３６】
合成俯瞰画像生成部４４０は、カメラ俯瞰画像生成部４２０からの各カメラ俯瞰画像を受け取り、マッピングテーブル参照部４１０より他方のマッピングデータを受け取る。合成俯瞰画像生成部４４０は、受け取ったマッピングデータに従って、受け取った各カメラ俯瞰画像に対しマッピングを行って、合成俯瞰画像を合成する。具体的には、合成俯瞰画像生成部４４０は、このマッピングデータに基づき、指定されたカメラ俯瞰画像の画素を、合成俯瞰画像の画素の値として割り当てて、これによって、合成俯瞰画像が生成される。
【００３７】
ここで、合成俯瞰画像は、カメラ俯瞰画像と比較すると、仮想カメラ視点から見た場合における車両の全周囲を１フレームに収めている点で相違し、あたかも隣り合うカメラ２００のカメラ俯瞰画像７２４を、合成境界を境につなぎ合わせたような画像になる。
【００３８】
図５は、合成俯瞰画像生成部４４０によって生成される合成俯瞰画像の一例を示す図である。図５の例では、仮想視点の位置は車両の真上に設定されており、合成俯瞰画像７２０の中央には車両を示すアイコン７２１が配置される。また、車両の周囲に立体物が存在する場合には、合成俯瞰画像７２０において対応する位置に立体物７２３が描かれる。
【００３９】
ここで、各カメラ俯瞰画像は各カメラ２００の位置から撮影されているため、それぞれに映っている立体物の倒れこみの方向が異なる（図４参照）。したがって、このようなカメラ俯瞰画像を基礎として生成される合成俯瞰画像においても、立体物７２３は倒れこみの方向が相違する（図５参照）。もしこのような合成俯瞰画像がそのまま表示されると、この画像を見る運転者は違和を感じる。特に、重複エリアにおいては、「背景技術」の欄で説明したように、立体物の配置関係が運転者にとっては分かり難くなる。
【００４０】
以上の観点から、合成俯瞰画像生成部４４０は、まず、立体物検出部４３０からの立体物位置情報に基づいて、この立体物位置情報に対応する立体物を、カメラ俯瞰画像生成部４２０から受け取ったカメラ俯瞰画像から切り出し、回転させる（画像回転処理）。その後、合成俯瞰画像生成部４４０は、自身が生成した合成俯瞰画像に、回転済みの立体物を合成する（立体物合成処理）。
【００４１】
画像回転処理は、立体物位置情報を受け取った場合に行われ、カメラ俯瞰画像において、立体物位置情報で特定される立体物エリアから、立体物が抽出される。抽出された立体物は、立体物位置情報で特定される基部位置を中心として、それを撮影したカメラ２００の視点から見た射影方向から、合成処理の境界方向側に回転させられる。
【００４２】
また、立体物合成処理において、回転済みの立体物は、合成俯瞰画像上に合成される。ここで、合成俯瞰画像生成部４４０には、カメラ俯瞰画像と、合成俯瞰画像との対応関係が示される他方のマッピングデータが入力されているので、合成俯瞰画像生成部４４０は、回転済みの立体物を、合成俯瞰画像上のどの位置に合成するかを、このマッピングデータに基づき特定する。
【００４３】
以上の画像回転処理及び立体物合成処理は、受け取った立体物位置情報毎に行われる。また、特に、重複エリアについては、同じ立体物が複数のカメラ俯瞰画像に映っているが、いずれのカメラ俯瞰画像から立体物を抽出するかについては、後述する。
【００４４】
そして、合成俯瞰画像生成部４４０は、フレームごとの合成俯瞰画像から、動画系列を表示するための映像信号を生成し、生成した映像信号をモニタ５００へ出力する。
【００４５】
タイミング生成部４５０は、第１〜第４のカメラ２００−１〜２００−４のフレーム切り替えのタイミングと、マッピングテーブル参照部４１０の各マッピングデータ出力タイミングと、合成俯瞰画像生成部４４０の動作タイミングとを制御するタイミング信号を生成する。このタイミング信号により、車両６００の周囲の画像をリアルタイムで映し出す合成俯瞰画像の映像信号が、モニタ５００に出力される。
【００４６】
モニタ５００は、合成俯瞰画像生成部４４０から受け取った映像信号に従って、合成俯瞰画像を表示する。モニタ５００は、例えば、液晶ディスプレイを有する表示装置であり、車両６００の運転席から見える位置に取り付けられる。モニタ５００は、車両搭載型のＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）端末（いわゆるカーナビゲーションシステム）等の、他のシステムまたは装置との間で共有されてもよい。
【００４７】
なお、車両周囲監視装置１００は、図示しないが、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、制御プログラムを格納したＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）及びマッピングテーブルを含む各種データを格納したＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ ａｎｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）等の記憶媒体、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等の作業用メモリなどを有する。上記各部の機能は、例えば、ＣＰＵが制御プログラムを実行することにより実現される。
【００４８】
このような車両周囲監視装置１００によれば、合成俯瞰画像を運転者に対して表示することができるとともに、合成俯瞰画像の立体物の射影方向を、所定の視点を基準とした方向に揃えることができる。また、マッピングテーブルを用いるので、合成俯瞰画像を高速に生成することができる。
【００４９】
次に、上述の画像回転処理の詳細について説明する。
【００５０】
図６は、画像回転処理を施す前の合成俯瞰画像の一例を示す図である。図６では、車両周囲の路面上の立体物（例えば人）が位置するときの合成俯瞰画像が模式的に示されている。なお、説明の簡便化のため、実際には合成俯瞰画像に描かれない部分についても、必要に応じて適宜、図６には図示される。
【００５１】
ここで、カメラ２００の視点の位置を、「カメラ視点」という。第２のカメラ俯瞰画像７２４−２と第３のカメラ俯瞰画像７２４−３との重複エリア７２５には、合成境界７２６が設定されており、合成境界７２６を境として一方のカメラ俯瞰画像７２４のみが合成俯瞰画像７２０に用いられる。また、重複エリア７２５の第３のカメラ俯瞰画像７２４−３の側に、立体物７３０が位置しているものとする。
【００５２】
図６に示すように、画像回転処理を施す前の合成俯瞰画像７２０では、立体物７３０は、立体物の基部位置７３２を基点として、その画像を撮影したカメラ２００のカメラ視点７３１から見た射影方向（以下「カメラ射影方向」という）７３３に倒れ込んだ状態となる。
【００５３】
具体的には、第３のカメラ俯瞰画像７２４−３において、立体物７３０は、第１の立体物７２３−１のように映っており、カメラ視点７３１−３から立体物７３０を見た第１の射影方向７３３−１（後方向）に倒れ込んでいる。一方、第２のカメラ俯瞰画像７２４−２において、立体物７３０は、第２の立体物７２３−２のように映っており、カメラ視点７３１−２から立体物７３０を見た第２の射影方向７３３−２（左方向）に倒れ込んでいる。すなわち、第１の立体物７２３−１及び第２の立体物７２３−２は元々同一であるが、第３のカメラ俯瞰画像７２４−３及び第２のカメラ俯瞰画像７２４−２では大きく異なった方向に倒れ込んでいる。
【００５４】
このように、画像回転処理を施さない場合、実際には近距離に位置する２つの立体物であるにもかかわらず、カメラ俯瞰画像７２４の境界線（合成境界）の付近においてその立体物７３０の射影方向が大きく異なる。このことは、実際には同一の立体物であるにもかかわらず、カメラ俯瞰画像７２４の合成境界の両側で、その立体物７３０の射影方向が大きく異なることを意味する。したがって、画像回転処理を施さない合成俯瞰画像７２０は、上述の通り、運転者の立体物の配置関係に対する認識誤りを引き起こす。また、画像回転処理を施さない合成俯瞰画像７２０では、立体物７３０は、車両の移動または立体物７３０の移動によって合成境界を越えるときに、不連続な動きで表示されることになる。
【００５５】
そこで、本実施の形態の車両周囲監視装置１００は、カメラ俯瞰画像７２４から抽出した立体物７２３を、画像回転処理により、合成境界側に傾けた後に、合成俯瞰画像７２０に合成する。これによって、上記認識誤り及び立体物の不連続な動きの低減を図る。以下、回転の基準となる単一の視点を、「合成視点」という。
【００５６】
図７は、画像回転処理を施した後の合成俯瞰画像の一例を示す図であり、図６に対応するものである。
【００５７】
図７に示すように、画像回転処理を施した後の合成俯瞰画像７２０では、第２の立体物７２３−２は、基部位置７３２を基点として、合成境界７２６と平行な方向７３５に倒れ込んだ状態となっている。合成俯瞰画像生成部４４０は、第２の立体物７２３−２を、基部位置７３２を中心として、合成境界７２６と平行な方向７３５へと回転させることにより、このような合成俯瞰画像７２０を生成する。
【００５８】
例えば、第１の立体物７２３−１を同様に回転させた場合でも、第１の立体物７２３−１も同じ方向に倒れ込んだ状態となる。また、合成境界７２６を挟んで両側に位置する２つの立体物７３０が実際に位置するときに、このような画像回転処理により、それらの立体物７２３は同じ方向に倒れ込んだ状態となる。これは、実際の立体物７３０の配置関係に近似した配置関係である。したがって、上記回転処理を、例えば重複エリア７２５全体に対して行うことにより、合成境界７２６における立体物７２３の不連続な動きや、立体物７３０の配置関係に対する認識誤りを防ぐことができる。
【００５９】
このように、画像回転処理を施すことにより、実際の立体物の配置関係により近い配置関係で立体物７２３を配置した合成俯瞰画像を、運転者に提供することができる。また、合成境界と平行な方向７３５は、多くの場合、運転席から重複エリア７２５を見たときの方向に近い方向に設定されるので、実際に運転者から立体物を見たときの方向に近い方向に立体物を倒し込むことができる。したがって、運転者に対して、実際の立体物の配置関係と、路面垂直方向に対する立体物の向きとを、より正確に認識させることができる。
【００６０】
ここで、車両を基準とし高さ成分を除いた座標系において、カメラ２００の設置位置の座標（カメラ視点の座標）をＣ（Ｃｘ，Ｃｙ）、立体物の基部位置７３２の座標をＯ（Ｏｘ，Ｏｙ）、合成境界と平行な方向のベクトルをＢと置く。このとき、カメラ射影方向７３３から視点射影方向までの回転角θは、カメラ射影方向の方向ベクトルＶＣ（Ｏｘ−Ｃｘ，Ｏｙ−Ｃｙ）及び方向ベクトルＢを用いて、以下の式（１）を用いて算出することができる。
θ ＝ ａｒｃｃｏｓ｛（ＶＣ・Ｂ）／（｜ＶＣ｜・｜Ｂ｜）｝ ・・・・・・（１）
【００６１】
なお、回転角θは、合成俯瞰画像の座標ごとに一意に決まる。したがって、座標ごとに回転角θを予め算出して記憶しておくことにより、画像回転処理の高速化を図ることができる。
【００６２】
以下、本実施の形態に係る車両周囲監視装置１００の動作について説明する。
【００６３】
図８は、車両周囲監視装置１００の動作の一例を示すフローチャートである。
【００６４】
まず、ステップＳ１１００において、カメラ俯瞰画像生成部４２０及び立体物検出部４３０は、タイミング生成部４５０からのタイミング信号を受けて、第１〜第４のカメラ２００−１〜２００−４から、第１〜第４のカメラ撮影画像をそれぞれ取得する（図３参照）。
【００６５】
次に、ステップＳ１２００において、カメラ俯瞰画像生成部４２０は、マッピングテーブル参照部４１０から入力される一方のマッピングデータに基づいて、第１〜第４のカメラ撮影画像から、第１〜第４のカメラ俯瞰画像を生成する（図４参照）。そして、カメラ俯瞰画像生成部４２０は、生成した各カメラ俯瞰画像を、合成俯瞰画像生成部４４０に出力する。
【００６６】
次に、ステップＳ１３００において、合成俯瞰画像生成部４４０は、カメラ俯瞰画像生成部４２０からの各カメラ俯瞰画像を受け取り、マッピングテーブル参照部４１０より他方のマッピングデータを受け取る。合成俯瞰画像生成部４４０は、受け取ったマッピングデータに従って、受け取った各カメラ俯瞰画像に対しマッピングを行って、合成俯瞰画像を合成する。
【００６７】
次に、ステップＳ１４００において、立体物検出部４３０は、ステップＳ１１００で取得された第１〜第４のカメラ撮影画像に対し、画像認識処理を行うことにより、立体物の検出処理を行う。
【００６８】
画像認識処理としては、例えば、パターンマッチング処理またはエッジ抽出処理、またはステレオ処理を採用することができる。
【００６９】
パターンマッチング処理の場合、立体物検出部４３０は、検出対象となる立体物（例えばパイロン、ポール）の外観の形状の特徴を予め記憶しておき、その形状と相関性の高い画像部分を、立体物として検出する。エッジ抽出処理の場合、立体物検出部４３０は、検出対象となる立体物を構成する線分に特徴的な特定の方向（例えば路面に対する垂直方向）に近い方向の線分のみを抽出し、抽出された線分が集中する画像部分を、立体物として検出する。例えば、人、ポール、箱等の立体物は、垂直方向に近い方向の線分を多く有することから、検出が容易である。ステレオ処理の場合、立体物検出部４３０は、車両の路面に対する移動と、この移動に伴う第１〜第４のカメラ撮影画像の変化とから、路面画像ではない部分、つまり立体物を抽出する。ステレオ処理の詳細については、後述する。
【００７０】
なお、立体物検出部４３０は、重複エリアについては、複数のカメラ俯瞰画像の間で輝度あるいは色の差分が大きい部分を、立体部と判定し、この画像部分と輝度及び色が連続して整合する画像を立体物と判定する。
【００７１】
また、立体物検出部４３０は、立体物が含まれる大まかな領域を、立体物と判定してもよい。これは、立体物の抽出を行うことができない場合に有効である。この場合には、立体物検出部４３０は、立体物を、矩形や楕円形等の単純な外形としてもよい。
【００７２】
そして、ステップＳ１５００において、立体物検出部４３０は、後のステップで画像処理の対象となる少なくとも１つの立体物をステップＳ１４００で検出できたかを判断する。立体物検出部４３０は、処理対象となる立体物を検出できた場合には（Ｓ１５００：ＹＥＳ）、ステップＳ１６００へ進む。
【００７３】
図８のステップＳ１６００において、立体物検出部４３０は、一方のマッピングデータを参照して、第１〜第４のカメラ撮影画像における立体物の位置を、カメラ俯瞰画像における位置情報に変換する。これによって得られた立体物位置情報を、立体物検出部４３０は、合成俯瞰画像生成部４４０へ出力する。
【００７４】
図９は、立体物位置情報を示す図である。立体物位置情報は、上述の通り、立体物エリアの座標の集まり及び基部位置を示す情報である。基部位置７３２は、立体物７２３が路面と接する位置である。また、立体物エリア７３６は、立体物７２３が描かれた座標の集合で特定される。
【００７５】
立体物検出部４３０は、立体物エリア７３６のうちカメラ２００のカメラ視点７３１に最も近い位置の座標を、基部位置７３２として採用する。
【００７６】
一方、立体物検出部４３０は、処理対象となる立体物を検出できなかった場合には（ステップＳ１５００：ＮＯ）、ステップＳ１７００へ進む。
【００７７】
ステップＳ１７００において、立体物検出部４３０は、処理対象となる立体物を検出できなかった旨を示す情報を合成俯瞰画像生成部４４０に出力し、ステップＳ１８００へ進む。
【００７８】
図８のステップＳ１８００において、合成俯瞰画像生成部４４０は、立体物位置情報を受け取ったか否かを判断する。立体物位置情報を受け取った場合（Ｓ１８００：ＹＥＳ）には、ステップＳ１９００に進む。
【００７９】
次に、ステップＳ１９００において、合成俯瞰画像生成部４４０は、立体物を回転させるために合成境界の平行方向を設定する。今回の説明で設定されるのは、処理対象となる立体物に最も近い合成境界の平行方向である（図７の方向７３５を参照）。
【００８０】
そして、ステップＳ２０００において、合成俯瞰画像生成部４４０は、立体物の基部を中心に、前式（１）で求まるθだけ立体物を回転させた後の、立体物エリアの座標の集まりを算出する。この回転は、図６及び図７で説明したように、基部位置を中心としたカメラ射影方向から、合成境界の平行方向への回転である。
【００８１】
なお、重複エリアの立体物は、その生成に際してどちらのカメラ俯瞰画像を用いても、回転後の倒れ込みの方向は同一となる。しかし、立体物の大きさ、つまりカメラ射影方向の長さ（以下「射影長」という）は、どちらのカメラ俯瞰画像を用いたかによって異なる。
【００８２】
図１０は、カメラ２００からの距離と射影長との関係を示す図である。図１０に示すように、カメラ２００から立体物７３７までの距離ｄと射影長Ｌとの比は、立体物７３７の高さｈＬと、立体物７３７の上端からカメラ２００の高さまでの距離ｈＵとの比に比例する。したがって、射影長Ｌは、カメラ２００から立体物７３７までの距離ｄに比例する。このことは、カメラ２００からの距離が長いほど、立体物７３７の射影長が長くなり、実際の立体物の外観に対する立体物７３７の歪みが大きくなり、表示範囲からはみ出して消失する部分が多くなることを意味する。
【００８３】
したがって、合成俯瞰画像生成部４４０は、重複エリアの立体物については、カメラ２００の位置までの長さがより短いほうのカメラ画像を用いることが望ましい。距離は、例えば、立体物の基部位置とカメラ２００の位置とから求めることができる。
【００８４】
そして、図８のステップＳ２１００において、合成俯瞰画像生成部４４０は、ステップＳ２０００で算出した回転後のエリアに立体物を合成俯瞰画像に描画する。
【００８５】
そして、回転後のエリアに立体物を描画するだけでは、合成俯瞰画像には、同じ立体物であるが回転前のものが描かれたままであるため、ステップＳ２２００において、合成俯瞰画像生成部４４０は、立体物の回転前のエリアに、路面を描画する。これにより、合成俯瞰画像において立体物は基部位置を中心としてカメラ射影方向から、合成境界と平行な方向へと回転した状態に補正される。
【００８６】
ここで、ステップＳ２２００の詳細な処理の一例について説明する。カメラ２００から見て立体物の背後（カメラ射影方向側）は、そのカメラ２００にとっては死角となる。したがって、そのカメラ２００のカメラ撮影画像においては、回転前のエリアに描画すべき路面の色データが欠落している。一方で、回転前のエリア（以下「データ欠落エリア」という）は、カメラ２００の視点の移動（車両の移動）や立体物の移動に伴って変化する。
【００８７】
そこで、合成俯瞰画像生成部４４０は、過去に生成された合成俯瞰画像を所定数フレーム分記憶しておき、過去のフレームを用いて、現在のフレームのデータ欠落エリアを補完する。
【００８８】
図１１は、データ欠落エリアの補完の様子を示す図である。
【００８９】
図１１（Ａ）に示す第ｎのフレームの合成俯瞰画像７２０ｎが取得された後、車両が車庫入れ等のために後退し、図１１（Ｂ）に示す第ｎ＋ａのフレームの合成俯瞰画像７２０ｎ＋ａが取得されたとする。
【００９０】
第ｎのフレームの合成俯瞰画像７２０ｎにおいて、立体物７２３は、あるデータ欠落エリア７３８ｎから、回転後の領域（以下「回転先領域」という）７３９ｎへと回転する。回転先領域７３９ｎの路面画像は、基の第ｎのフレームの合成俯瞰画像７２０ｎに含まれている。
【００９１】
そして、第ｎ＋ａのフレームの合成俯瞰画像７２０ｎ＋ａにおいて、立体物７２３は、さらに、データ欠落エリア７３８ｎ＋ａから、別の回転先領域７３９ｎ＋ａへと回転する。ここで、説明の簡便化のため、第ｎ＋ａのフレームにおけるデータ欠落エリア７３８ｎ＋ａが、第ｎのフレームにおける回転先領域７３９ｎに一致しているものとする。この場合、第ｎ＋ａのフレームにおけるデータ欠落エリア７３８ｎ＋ａの路面画像は、第ｎのフレームの合成俯瞰画像７２０ｎに、回転先領域７３９ｎの路面画像として含まれている。
【００９２】
したがって、合成俯瞰画像生成部４４０は、まず、車両の舵角量並びに車速等から得られる車両の移動量並びに移動方向、及び／またはオプティカルフロー等の画像処理に基づいて、フレーム間での合成俯瞰画像の座標の対応付けを行う。そして、合成俯瞰画像生成部４４０は、矢印７４０に示すように、第ｎ＋ａのフレームの合成俯瞰画像７２０ｎ＋ａにおけるデータ欠落エリア７３８ｎ＋ａを、第ｎのフレームの合成俯瞰画像７２０ｎにおける回転先領域７３９ｎの路面画像で補完する。
【００９３】
なお、車両または立体物の移動がなければ、データ欠落エリアを補完することはできない。したがって、合成俯瞰画像生成部４４０は、検出対象となる立体物が存在する状態で車両の移動が検出された時、及びカメラ撮影範囲へ立体物の進入が検出してきた時にのみ、データ欠落エリアの補完を行うようにしてもよい。
【００９４】
また、合成俯瞰画像生成部４４０は、時間的に後のフレームの合成俯瞰画像を用いて、データ欠落エリアの補完を行うようにしてもよい。但し、数フレーム分の画像をバッファすることになり、モニタ５００に表示される合成俯瞰画像に多少の遅れが生じる。
【００９５】
以上のステップＳ２２００の実行後、処理は図８に示すステップＳ２３００に進む。ステップＳ２３００において、合俯瞰画像生成部４４０は、補正後の合成俯瞰画像を示す映像信号をモニタ５００に出力し、合成俯瞰画像を表示させる。表示される合成俯瞰画像は、処理対象となる立体物が存在する場合には、その立体物を回転させた画像となっている。
【００９６】
そして、ステップＳ２４００において、タイミング生成部４５０は、ユーザ操作等により合成俯瞰画像の表示の処理の終了を指示されたか否かを判断する。タイミング生成部４５０は、処理の終了を指示されていない場合は（Ｓ２４００：ＮＯ）、タイミング信号を出力してステップＳ１１００に戻り、処理の終了を指示された場合は（Ｓ２４００：ＹＥＳ）、タイミング信号の出力を停止して一連の処理を終了させる。
【００９７】
また、画像処理の対象となる立体物が存在しない場合には（Ｓ１８００：ＮＯ）、合成俯瞰画像生成部４４０は、直接にステップＳ２３００へ進み、画像回転処理を行うことなく、合成俯瞰画像をモニタ５００に表示させる。
【００９８】
このような動作により、車両周囲監視装置１００は、車両周囲の立体物の射影方向が揃った合成俯瞰画像を、運転者に提供することができる。
【００９９】
なお、以上の実施形態の説明では、立体物検出部４３０が受け取ったカメラ画像から立体物までの距離を検出していたが、これに限らず、例えば、アクティブセンサにより立体物までの距離を検出してもかまわない。
【０１００】
なお、以上の実施形態の説明では、立体物検出部４３０が受け取ったカメラ画像から立体物及び立体物までの距離を検出していたが、これに限らず、例えば、アクティブセンサにより立体物及び立体物までの距離を検出してもかまわない。
【０１０１】
なお、複数のカメラ俯瞰画像から成る合成俯瞰画像が用いられる場合には（図４参照）、重複エリアに位置する立体物は、複数のカメラ俯瞰画像に異なる形で映る場合がある。したがって、合成俯瞰画像においては、これら異なる形のもの同士を合成して、１つの立体物が映るようにしてもよい。
【０１０２】
また、合成俯瞰画像に映る立体物の配置関係が実際の立体物の配置関係と大きく異なるのは、主に、重複エリアである。したがって、処理対象を重複エリアの付近に位置する立体物に絞ることにより、車両周囲監視装置１００の処理負荷を軽減することが可能である。
【０１０３】
また、画像処理を重複エリアに限定して行う場合には、複数のカメラ俯瞰画像から成る合成俯瞰画像を用いることにより、より簡単にデータ欠落エリアの補完を行うことが可能となる。
【０１０４】
また、合成境界に平行な方向ではなく、２つのカメラによる２つの射影方向の間を二等分する方向に立体物を回転させることによっても、立体物の相対配置に対する認識誤り及び立体物の不連続な動きの低減を図ることが可能である。
【０１０５】
以下、これらの態様について順に説明する。
【０１０６】
まず、異なる形で映る立体物を合成する態様について詳細に説明する。
【０１０７】
図１２は、第３のカメラ俯瞰画像から得られる回転後の立体物のみを採用した場合の合成俯瞰画像の一例を示す図である。図１３は、第２のカメラ俯瞰画像から得られる回転後の立体物（図１６の立体物と同一のもの）のみを採用した場合の合成俯瞰画像の一例を示す図である。図１４は、図１２に示す立体物と、図１３に示す立体物とを合成した立体物を採用した場合の合成俯瞰画像の一例を示す図である。
【０１０８】
図１２に示す立体物７２３−３と、図１３に示す立体物７２３−２は、それぞれ単一の視点から見た画像である。したがって、ある方向からのみ観察したときには全体像を視認し難い立体物において、その方向とカメラの撮影方向とが一致した場合には、立体物７２３は、その立体物を把握し難い画像となる。例えば、板状の看板を真横から撮影した場合が、これに該当する。
【０１０９】
そこで、合成俯瞰画像生成部４４０は、例えば、立体物７２３−３と立体物７２３−２とを合成して、図１４に示すような立体物７２３を描画する。これにより、運転者が立体物７２３をより把握し易くすることができる。なお、合成俯瞰画像生成部４４０は、回転後の立体物のみを合成してもよいし、立体物を回転させた後のカメラ俯瞰画像を合成してもよい。
【０１１０】
次に、異なるカメラ俯瞰画像に異なる形で映る同一立体物（以下、便宜上、「２つの立体物」という）の射影長を揃える態様について説明する。
【０１１１】
図１０を参照して説明する。立体物検出により特定される立体物７３７の高さｈＬ及び立体物７３７までの距離ｄと、カメラ２００（または合成視点７３４）の高さＨ＝ｈＬ＋ｈＵとから、立体物７３７の射影長Ｌは、以下の式（２）を用いて算出することができる。
Ｌ ＝ （ｈＬ・ｄ）／（Ｈ−ｈＬ） ・・・・・・（２）
【０１１２】
合成俯瞰画像生成部４４０は、例えば、式（２）を用いて、合成する２つの立体物の射影長を算出し、短いほうの射影長Ｌ１を長いほうの射影長Ｌ２で除して得られる比率Ｌ１／Ｌ２で、射影長が長いほうの立体物を、射影方向に縮小する。これにより、より短い方の射影長に、立体物の射影長を揃えることができる。
【０１１３】
次に、重複エリアのカメラ俯瞰画像を用いてデータ欠落エリアの補完を行う態様について説明する。
【０１１４】
図１５は、重複エリアのカメラ俯瞰画像を用いてデータ欠落エリアの補完の様子を示す図である。図１５に示すように、合成俯瞰画像生成部４４０は、例えば、第３のカメラ俯瞰画像７２４−３と第２のカメラ俯瞰画像７２４−２との重複エリア７４３において、第３のカメラ俯瞰画像７２４−３の立体物７２３を用いて回転させる。この場合、第３のカメラ俯瞰画像７２４−３には、データ欠落エリア７３８が生じる。ところが、第２のカメラ俯瞰画像７２４−２のデータ欠落エリア７３８に対応する領域７４４には、路面が映し出されている。これは、カメラ俯瞰画像７２４ごとにカメラ射影方向が異なるためである。
【０１１５】
したがって、合成俯瞰画像生成部４４０は、データ欠落エリア７３８を、第２のカメラ俯瞰画像７２４−２の対応する領域７４４の画像で補完する。１つのフレームの合成俯瞰画像からデータ欠落エリアの補完をすることができるので、図１１で説明した補完の手法に比べて、処理負荷及びメモリ負荷を軽減することができる。
【０１１６】
次に、２つのカメラによる２つの射影方向の間を二等分する方向（以下「二等分方向」という）に立体物を回転させる態様について説明する。
【０１１７】
図１６は、二等分方向に立体物を回転させる画像回転処理を施した後の合成俯瞰画像の一例を示す図である。
【０１１８】
図１６に示すように、二等分方向に画像回転処理を施した後の合成俯瞰画像７２０では、第２の立体物７２３−２は、基部位置７３２を基点として、第１の射影方向７３３−１と第２の射影方向７３３−２との間の二等分方向７４５に倒れ込んだ状態となっている。合成俯瞰画像生成部４４０は、第２の立体物７２３−２を、基部位置７３２を中心として二等分方向７４５へと回転させることにより、このような合成俯瞰画像７２０を生成する。
【０１１９】
例えば、第１の立体物７２３−１を同様に回転させた場合でも、第１の立体物７２３−１も同じ方向に倒れ込んだ状態となる。また、立体物７３０が移動したとき、第１及び第２の射影方向７３３−１、７３３−２はいずれも連続的に変化するので、二等分方向７４５も連続的に変化する。また、平行であって近距離に位置する２つの立体物７３０が位置するときに、それらの立体物７２３はほぼ同じ方向に倒れ込んだ状態となる。これは、実際の立体物７３０の配置関係に近似した配置関係である。したがって、上記回転処理を、例えば重複エリア７２５全体に対して行うことにより、合成境界と平行な方向７２６における立体物７２３の不連続な動きや、立体物７３０の配置関係に対する認識誤りを防ぐことができる。
【０１２０】
次に、カメラ撮影画像に対する画像処理により立体物の検出を行う技術の詳細について説明する。
【０１２１】
画像処理による立体物の検出は、上述の通り、例えば、パターンマッチング処理及びステレオ処理により可能である。
【０１２２】
パターンマッチング処理の場合、立体物検出部４３０は、予め記憶された立体物の外観の形状と相関性の高い画像部分を立体物として検出し、検出した立体物の画像位置から、立体物の位置を検出する。
【０１２３】
ステレオ処理の場合、立体物検出部４３０は、異なる位置から撮影された２つの画像を用い、撮影位置の変異と２つの撮影画像の差異とから、立体物の位置を検出する。ステレオ処理には、２眼カメラを用いたステレオ処理と単眼カメラを用いたモーションステレオ処理がある。
【０１２４】
ここで、単眼カメラを用いたモーションステレオ処理として、カメラ２００の撮影画像を用いて立体物の検出を行う手法について説明する。２眼カメラを用いる場合と異なり、単眼カメラを用いる場合は、ある時刻において、１つの撮影画像しか得られない。したがって、撮影時刻が異なる２つの撮影画像を用いて、同じパターンの特徴点の移動量を求め、車両６００の移動量との比計算から、立体物までの距離を算出する。
【０１２５】
図１７は、カメラ撮影画像を用いて立体物の検出を行う手法の概要を示す図である。図１７に示すように、車両６００が、立体物７５１を左に見ながら移動したとする。そして、立体物検出部４３０は、時刻ｔ１に第１の画像７５２−１を取得し、時刻ｔ２に第２の画像７５２−２を取得したとする。第１及び第２の画像７５２−１、７５２−２は、第３のカメラ撮影画像である。立体物検出部４３０は、コーナー検出フィルタ処理やエッジ検出フィルタ等を用いて、第１の画像７５２−１から、立体物の特徴となるような点（エッジ点やコーナー等）を、特徴点７５３として検出する。そして、検出した特徴点７５３を、第２の画像７５２−２で探索する。
【０１２６】
立体物検出部４３０は、第１の画像７５２−１における特徴点７５３の位置と、第２の画像７５２−２における特徴点７５３の位置との間の画素間距離Ｄ［ｍｍ］を、これらの画素間距離［ｐｉｘｅｌ］と、第３のカメラ２００−３のカメラパラメータとから算出する。カメラパラメータは、カメラ２００のレンズ設計時に設定されるパラメータであって、ピクセル単位での画素間距離と長さ単位での画素間距離とを対応付けるパラメータである。そして、立体物検出部４３０は、第３のカメラ２００−３の焦点距離をｆ、時刻ｔ１から時刻ｔ２までの車両６００の移動距離をＸとすると、カメラ２００から立体物７５１までの距離ｄを、以下の式（３）を用いて算出する。
ｄ ＝ ｆ・Ｘ／Ｄ ・・・・・・（３）
【０１２７】
このように、立体物検出部４３０は、画像処理のみによって立体物を検出することができる。
【０１２８】
また、立体物検出部４３０は、上述のように立体物の特徴点検出を行う場合には、検出した複数の特徴点をグルーピングすることにより、グルーピングされた特徴点に囲まれた合成俯瞰画像の領域を、立体物の座標として検出してもよい。
【０１２９】
以上説明したように、本実施の形態によれば、所定の視点を基準として立体物の射影方向が揃うので、運転者は車両周囲の立体物の配置関係をより正確に認識することができる。なお、カメラの台数及び合成俯瞰画像の範囲は、以上説明した実施の形態の内容に限定されるものではない。
【産業上の利用可能性】
【０１３０】
本発明に係る車両周囲監視装置及び車両周囲監視方法は、運転者が車両周囲の立体物の配置関係をより正確に認識することができる車両周囲監視装置及び車両周囲監視方法として有用である。
【図面の簡単な説明】
【０１３１】
【図１】本発明の一実施の形態に係る車両周囲監視装置のブロック図
【図２】本実施の形態におけるカメラの取り付け位置の一例を示す斜視図
【図３】本実施の形態におけるカメラの撮影画像の一例を示す図
【図４】本実施の形態におけるカメラ俯瞰画像の一例を示す図
【図５】本実施の形態におけるカメラ俯瞰画像生成部によって生成される合成俯瞰画像の一例を示す図
【図６】本実施の形態における画像回転処理を施す前の合成俯瞰画像の一例を示す図
【図７】本実施の形態における画像回転処理を施した後の合成俯瞰画像の一例を示す図
【図８】本実施の形態に係る車両周囲監視装置の動作の一例を示すフローチャート
【図９】本実施の形態における立体物位置情報を示す図
【図１０】本実施の形態におけるカメラからの距離と射影長との関係を示す図
【図１１】本実施の形態におけるデータ欠落領域の補完の様子を示す図
【図１２】本実施の形態における第３のカメラ俯瞰画像から得られる立体物のみを採用した場合の合成俯瞰画像の一例を示す図
【図１３】本実施の形態における第２のカメラ俯瞰画像から得られる立体物のみを採用した場合の合成俯瞰画像の一例を示す図
【図１４】本実施の形態における図１２に示す立体物と図１３に示す立体物を合成した立体物を採用した場合の合成俯瞰画像の一例を示す図
【図１５】本実施の形態における重複エリアのカメラ俯瞰画像を用いてデータ欠落領域の補完の様子を示す図
【図１６】本実施の形態における画像回転処理を施した後の合成俯瞰画像の一例を示す図
【図１７】本実施の形態におけるカメラ撮影画像を用いて立体物の検出を行う手法の概要を示す図
【図１８】従来の車両周囲監視装置におけるカメラ配置及びカメラ俯瞰画像の一例を示す図
【図１９】従来の車両周囲監視装置における重複エリアに立体物が位置するときの、第３のカメラ俯瞰画像の一例を示す図
【図２０】従来の車両周囲監視装置における重複エリアに立体物が位置するときの、第２のカメラ俯瞰画像の一例を示す図
【図２１】従来の車両周囲監視装置における合成俯瞰画像の第１の例を示す図
【図２２】従来の車両周囲監視装置における合成俯瞰画像の第２の例を示す図
【図２３】従来の車両周囲監視装置における合成俯瞰画像の第３の例を示す図
【図２４】従来の車両周囲監視装置における合成俯瞰画像の第４の例を示す図
【符号の説明】
【０１３２】
１００ 車両周囲監視装置
２００ カメラ
２１０ 撮像部
２２０ フレームメモリ
２３０ フレーム切替部
４００ 画像処理部
４１０ マッピングテーブル参照部
４２０ カメラ俯瞰画像生成部
４３０ 立体物検出部
４４０ 合成俯瞰画像生成部
４５０ タイミング生成部
５００ モニタ
【特許請求の範囲】
【請求項１】
車両周囲に存在する立体物を検出する立体物検出部と、
複数のカメラの撮影画像を合成処理して、車両周囲の俯瞰画像を表す合成俯瞰画像を生成し、前記立体物検出部による検出結果に基づき、生成した合成俯瞰画像に映る立体物の方向を、前記合成処理の境界方向側に変更する第１の画像生成部と、
を備える車両周囲監視装置。
【請求項２】
前記複数のカメラの撮影範囲には互いに重複する重複エリアが存在し、
前記第１の画像生成部は、前記合成俯瞰画像において、少なくとも、前記重複エリアに存在する立体物の方向を、前記合成処理の境界の方向に変更する
請求項１記載の車両周囲監視装置。
【請求項３】
前記第１の画像生成部は、前記合成処理の境界に平行な方向に、前記重複エリアに存在する立体物の方向を変更する、
請求項２記載の車両周囲監視装置。
【請求項４】
前記重複エリアに存在する立体物は、少なくとも２個のカメラにより撮影され、
前記第１の画像生成部は、前記立体物を撮影した一方のカメラから見た射影方向と、他方のカメラから見た射影方向とを二等分する方向に、前記重複エリアに存在する立体物の方向を変更する、
請求項２記載の車両周囲監視装置。
【請求項５】
前記複数のカメラによる撮影画像毎に、前記車両周囲を俯瞰したカメラ俯瞰画像を生成する第２の画像生成部をさらに備え、
前記第１の画像生成部は、
前記第２の画像生成部により生成された複数のカメラ俯瞰画像に基づき合成俯瞰画像を生成し、さらに、
前記第２の画像生成部により生成された複数のカメラ俯瞰画像から、前記立体物検出部による検出結果に基づき立体物を抽出して、抽出した立体物を、前記合成処理の境界の方向に変更した状態で、生成した合成俯瞰画像に描画する、
請求項１記載の車両周囲監視装置。
【請求項６】
前記第１の画像生成部はさらに、生成した合成俯瞰画像に元々映っていた立体物の部分に、カメラ俯瞰画像を用いて路面を描画する、
請求項５記載の車両周囲監視装置。
【請求項７】
前記第１の画像生成部はさらに、現在生成した合成俯瞰画像に元々映っていた立体物の部分に、過去に生成した合成俯瞰画像を用いて路面を描画する、
請求項５記載の車両周囲監視装置。
【請求項８】
前記第１の画像生成部により生成された合成俯瞰画像を表示するモニタをさらに備える、
請求項１記載の車両周囲監視装置。
【請求項９】
車両周囲に存在する立体物を検出する第１のステップと、
複数のカメラの撮影画像を合成処理して、車両周囲の俯瞰画像を表す合成俯瞰画像を生成し、前記第１のステップにおける検出結果に基づき、生成した合成俯瞰画像に映る立体物の方向を、前記合成処理の境界方向側に変更する第２のステップと、
を備える車両周囲監視方法。
【請求項１】
車両周囲に存在する立体物を検出する立体物検出部と、
複数のカメラの撮影画像を合成処理して、車両周囲の俯瞰画像を表す合成俯瞰画像を生成し、前記立体物検出部による検出結果に基づき、生成した合成俯瞰画像に映る立体物の方向を、前記合成処理の境界方向側に変更する第１の画像生成部と、
を備える車両周囲監視装置。
【請求項２】
前記複数のカメラの撮影範囲には互いに重複する重複エリアが存在し、
前記第１の画像生成部は、前記合成俯瞰画像において、少なくとも、前記重複エリアに存在する立体物の方向を、前記合成処理の境界の方向に変更する
請求項１記載の車両周囲監視装置。
【請求項３】
前記第１の画像生成部は、前記合成処理の境界に平行な方向に、前記重複エリアに存在する立体物の方向を変更する、
請求項２記載の車両周囲監視装置。
【請求項４】
前記重複エリアに存在する立体物は、少なくとも２個のカメラにより撮影され、
前記第１の画像生成部は、前記立体物を撮影した一方のカメラから見た射影方向と、他方のカメラから見た射影方向とを二等分する方向に、前記重複エリアに存在する立体物の方向を変更する、
請求項２記載の車両周囲監視装置。
【請求項５】
前記複数のカメラによる撮影画像毎に、前記車両周囲を俯瞰したカメラ俯瞰画像を生成する第２の画像生成部をさらに備え、
前記第１の画像生成部は、
前記第２の画像生成部により生成された複数のカメラ俯瞰画像に基づき合成俯瞰画像を生成し、さらに、
前記第２の画像生成部により生成された複数のカメラ俯瞰画像から、前記立体物検出部による検出結果に基づき立体物を抽出して、抽出した立体物を、前記合成処理の境界の方向に変更した状態で、生成した合成俯瞰画像に描画する、
請求項１記載の車両周囲監視装置。
【請求項６】
前記第１の画像生成部はさらに、生成した合成俯瞰画像に元々映っていた立体物の部分に、カメラ俯瞰画像を用いて路面を描画する、
請求項５記載の車両周囲監視装置。
【請求項７】
前記第１の画像生成部はさらに、現在生成した合成俯瞰画像に元々映っていた立体物の部分に、過去に生成した合成俯瞰画像を用いて路面を描画する、
請求項５記載の車両周囲監視装置。
【請求項８】
前記第１の画像生成部により生成された合成俯瞰画像を表示するモニタをさらに備える、
請求項１記載の車両周囲監視装置。
【請求項９】
車両周囲に存在する立体物を検出する第１のステップと、
複数のカメラの撮影画像を合成処理して、車両周囲の俯瞰画像を表す合成俯瞰画像を生成し、前記第１のステップにおける検出結果に基づき、生成した合成俯瞰画像に映る立体物の方向を、前記合成処理の境界方向側に変更する第２のステップと、
を備える車両周囲監視方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【公開番号】特開２０１０−１０９４５２（Ｐ２０１０−１０９４５２Ａ）
【公開日】平成２２年５月１３日（２０１０．５．１３）
【国際特許分類】
【出願番号】特願２００８−２７６８９４（Ｐ２００８−２７６８９４）
【出願日】平成２０年１０月２８日（２００８．１０．２８）
【出願人】（０００００５８２１）パナソニック株式会社 (73,050)
【Ｆターム（参考）】
【公開日】平成２２年５月１３日（２０１０．５．１３）
【国際特許分類】
【出願日】平成２０年１０月２８日（２００８．１０．２８）
【出願人】（０００００５８２１）パナソニック株式会社 (73,050)
【Ｆターム（参考）】
[ Back to top ]