画像処理装置及び画像処理方法
【課題】車両周辺の監視の確実性を向上させた「画像処理装置」及び「画像処理方法」を提供する。
【解決手段】車両周辺画像提供装置１００は、車両の周辺を撮影して画像データを生成する複数のカメラ１５２乃至１５８と、これら生成された画像データ毎に、当該画像データに基づいて、隣接する２つの俯瞰画像に対応する実空間の端部が重複するように俯瞰画像を描画する視点変換部１１４と、描画された画像データ毎の俯瞰画像を所定の配置で合成して俯瞰合成画像を描画する画像合成部１１６と、この俯瞰合成画像に含まれる俯瞰画像のつなぎ目部分に対応する実空間に存在する物体を検出する物体検出部１２２と、物体が検出された場合に、俯瞰画像のつなぎ目部分に対応するライン画像の幅を設定するライン幅設定部１２６と、一方の俯瞰画像の重複部分に、設定された幅のライン画像を付加するライン選択部１３４とを有する。
【解決手段】車両周辺画像提供装置１００は、車両の周辺を撮影して画像データを生成する複数のカメラ１５２乃至１５８と、これら生成された画像データ毎に、当該画像データに基づいて、隣接する２つの俯瞰画像に対応する実空間の端部が重複するように俯瞰画像を描画する視点変換部１１４と、描画された画像データ毎の俯瞰画像を所定の配置で合成して俯瞰合成画像を描画する画像合成部１１６と、この俯瞰合成画像に含まれる俯瞰画像のつなぎ目部分に対応する実空間に存在する物体を検出する物体検出部１２２と、物体が検出された場合に、俯瞰画像のつなぎ目部分に対応するライン画像の幅を設定するライン幅設定部１２６と、一方の俯瞰画像の重複部分に、設定された幅のライン画像を付加するライン選択部１３４とを有する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車両の周辺を撮影して得られる画像を処理する画像処理装置及び画像処理方法に関する。
【背景技術】
【０００２】
近年、車両の安全性を向上させるべく、車両周辺を撮影して画像を表示することで、運転者が車両周辺を監視可能とする装置が提案されている。例えば、特許文献１に記載された車両周囲監視装置は、複数のカメラによって車両周辺を撮影して、車両の上方を視点とする複数の俯瞰画像を得て、これらを１つの画像に合成するとともに、俯瞰画像のつなぎ目部分に境界線としてのマスクパターンを付加した上で表示する。図１１は、従来の車両周辺監視装置における表示画像の一例を示す図である。図１１では、車両の俯瞰画像２０１を中心に、前方の俯瞰画像２１２、右方の俯瞰画像２１４、後方の俯瞰画像２１６及び左方の俯瞰画像２１８が合成され、更に、前方の俯瞰画像２１２と右方の俯瞰画像２１４とのつなぎ目にマスクパターン２５２、右方の俯瞰画像２１４と後方の俯瞰画像２１６とのつなぎ目にマスクパターン２５４、後方の俯瞰画像２１６と左方の俯瞰画像２１８とのつなぎ目にマスクパターン２５６、左方の俯瞰画像２１８と前方の俯瞰画像２１２とのつなぎ目にマスクパターン２５８がそれぞれ付加されている。
【０００３】
また、特許文献１に記載された車両周囲監視装置には、画像の死角となる部分である俯瞰画像のつなぎ目部分に対応する実空間に存在する物体（障害物）を検出する超音波センサが設けられており、当該超音波センサが障害物を検出した場合には、対応するつなぎ目部分のマスクパターンを点滅させる。例えば、図１１において、後方の俯瞰画像２１６と左方の俯瞰画像２１８とのつなぎ目に対応する実空間に物体が存在する場合には、マスクパターン２５６が点滅する。運転者は、図１１に示すような画像を見ることで、車両周辺の障害物の存在等を確認し得る。
【特許文献１】特開２００３−１６９３２３号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、特許文献１に記載された車両周辺監視装置では、運転者は、つなぎ目のマスクパターンの点滅によって物体が存在することは認識可能であるが、どのような形状の物体が存在するか、及び、物体の詳細な位置については認識不能である。また、車両の姿勢が変化した場合、例えば、前方の座席に人が乗り込んで車両が前方に傾斜したような場合を考える。このような場合、車両に取り付けられたカメラの撮影範囲が変化し、図１２に示すように、隣接する２つの俯瞰画像に対応する実空間２３２の端部と実空間２３４の端部とが離れてしまうことで死角が生じ、その死角に物体２０２が存在する場合には、運転者は当該物体を認識不能である。従って、必ずしも、運転者は車両周辺を十分に監視可能であるとはいえない。
【０００５】
本発明の目的は、上述した問題を解決するものであり、車両周辺の監視の確実性を向上させた画像処理装置及び画像処理方法を提供するものである。
【課題を解決するための手段】
【０００６】
本発明に係る、車両の周辺を撮影して得られる画像を処理する画像処理装置は、前記車両に取り付けられ、該車両の周辺を撮影して画像データを生成する複数の撮影手段と、前記撮影手段のそれぞれによって生成された前記画像データ毎に、該画像データに基づいて、前記車両の上方を視点とする俯瞰画像を、隣接する２つの俯瞰画像に対応する実空間の端部が重複するように描画する俯瞰画像描画手段と、前記画像描画手段により描画された前記画像データ毎の俯瞰画像を所定の配置で合成して俯瞰合成画像を描画する画像合成手段と、前記画像合成手段により描画された前記俯瞰合成画像に含まれる俯瞰画像のつなぎ目部分に対応する実空間に存在する物体を検出する物体検出手段と、前記俯瞰合成画像に含まれる俯瞰画像のつなぎ目部分である重複部分のうち、一方の重複部分を境界線画像に設定するとともに、前記物体検出手段により重複部分に対応する実空間に存在する物体が検出された場合に、前記境界線画像の幅を変更する境界線幅設定手段と、前記画像合成手段により描画された前記俯瞰合成画像に含まれる俯瞰画像のつなぎ目部分に、前記境界線幅設定手段により設定された幅の境界線画像を一方の俯瞰画像の重複部分に重畳して境界線付き俯瞰合成画像を描画する画像付加手段とを有することを特徴とする。
【０００７】
この構成によれば、隣接する２つの俯瞰画像に対応する実空間の端部が重複するように俯瞰画像を描画して合成し、その一方の俯瞰画像の重複部分を境界線画像にするとともに、俯瞰画像のつなぎ目部分に対応する実空間に物体が存在する場合には、境界線画像の幅を変更することによって、その物体に対応する画像を表出させることが可能となり、運転者は、どのような形状の物体がどの位置に存在するのかを認識することが可能となる。
【０００８】
また、本発明に係る、車両の周辺を撮影して得られる画像を処理する画像処理装置は、前記車両に取り付けられ、該車両の周辺を撮影して画像データを生成する複数の撮影手段と、前記撮影手段のそれぞれによって生成された前記画像データ毎に、該画像データに基づいて、前記車両の上方を視点とする俯瞰画像を、隣接する２つの俯瞰画像に対応する実空間の端部が重複するように描画する俯瞰画像描画手段と、前記画像描画手段により描画された前記画像データ毎の俯瞰画像を所定の配置で合成して俯瞰合成画像を生成する画像合成手段と、前記車両の姿勢変化量を検出する姿勢変化検出手段と、前記俯瞰合成画像に含まれる俯瞰画像のつなぎ目部分である重複部分のうち、一方の重複部分を境界線画像に設定するとともに、前記姿勢変化検出手段により検出された前記車両の姿勢変化量に基づいて、前記境界線画像の幅を変更する境界線幅設定手段と、前記画像合成手段により描画された前記俯瞰合成画像に含まれる俯瞰画像のつなぎ目部分に、前記境界線幅設定手段により設定された幅の境界線画像を一方の俯瞰画像の重複部分に重畳して境界線付き俯瞰合成画像を描画する画像付加手段とを有することを特徴とする。
【０００９】
この構成によれば、隣接する２つの俯瞰画像に対応する実空間の端部が重複するように俯瞰画像を描画して合成し、その一方の俯瞰画像の重複部分を境界線画像にするとともに、車両の姿勢が変化することによって、撮影手段による俯瞰画像に対応する撮影範囲が変化した場合には、その車両の姿勢変化量に応じて境界線画像の幅を変更することによって、そのつなぎ目部分に対応する実空間に物体が存在する場合には、その物体に対応する画像を表出させることが可能となり、運転者は、どのような形状の物体がどの位置に存在するのかを認識することが可能となる。
【００１０】
また、本発明に係る画像処理装置は、前記境界線幅設定手段が、前記物体検出手段により前記俯瞰合成画像に含まれる俯瞰画像のつなぎ目部分に対応する実空間に存在する物体が検出された場合に、前記境界線画像の幅を初期値より小さくするようにしてもよい。
【００１１】
この構成によれば、俯瞰画像のつなぎ目部分に対応する実空間に物体が存在する場合には、そのつなぎ目部分に対応する境界線画像の幅を初期値（＝重複部分の幅）より小さくすることで、そのつなぎ目部分その物体に対応する画像を表出させることが可能となり、運転者は、どのような形状の物体がどの位置に存在するのかを認識することが可能となる。
【００１２】
また、本発明に係る画像処理装置は、前記物体検出手段が、前記俯瞰画像のつなぎ目部分に対応する実空間毎に設けられ、該実空間に存在する物体を検出するセンサを有するようにしてもよい。
【００１３】
また、本発明に係る画像処理装置は、前記画像合成手段が、前記俯瞰画像の重複部分において、該俯瞰画像に対応する画像データを生成した前記撮影手段のうち、画角の小さい前記撮影手段によって生成された画像データに対応する俯瞰画像を他方の俯瞰画像として、重複部分を優先して描画するようにしてもよい。
【００１４】
この構成によれば、画角の小さい撮影手段によって生成された画像データに基づく画像は、歪みが小さい俯瞰画像となるため、その歪みが小さい俯瞰画像が優先的に表出されるようにすることで、質の高い画像を提供することが可能となる。
【００１５】
また、本発明に係る画像処理装置は、表示対象の画像に対応する画像データを記憶するフレームメモリを有し、前記画像合成手段が、前記画像描画手段により描画された前記俯瞰画像に対応する画像データを、前記俯瞰画像毎に定まる前記フレームメモリ内の所定の記憶領域に記憶させ、前記画像付加手段が、前記境界線画像に対応する画像データを、前記境界線画像毎に定まる前記フレームメモリ内の所定の記憶領域に記憶させるようにしてもよい。
【００１６】
また、本発明に係る画像処理装置は、前記画像描画手段により描画された前記俯瞰画像の画素位置と、前記フレームメモリ内の記憶領域との対応関係を示すマッピングテーブルを記憶するマッピングテーブルを記憶するマッピングメモリを有し、前記画像合成手段が、前記マッピングテーブルに基づいて、前記画像描画手段により描画された前記俯瞰画像に対応する画素毎の画像データを、前記フレームメモリの所定の記憶領域に記憶させるようにしてもよい。
【００１７】
また、本発明に係る画像処理装置は、前記フレームメモリに記憶された画像データに基づく画像を表示する画像表示手段を有するようにしてもよい。
【００１８】
また、本発明に係る画像処理装置は、前記複数の撮影手段が、前記車両の前方を撮影する第１の撮影手段と、前記車両の右方を撮影する第２の撮影手段と、前記車両の後方を撮影する第３の撮影手段と、前記車両の左方を撮影する第４の撮影手段とを有するようにしてもよい。
【００１９】
本発明に係る、車両の周辺を撮影して得られる画像を処理する画像処理方法であって、前記車両に取り付けられた複数の撮影手段により前記車両の周辺を撮影して画像データを生成する撮影ステップと、前記撮影ステップによって前記撮影手段のそれぞれによって生成された前記画像データ毎に、該画像データに基づいて、前記車両の上方を視点とする俯瞰画像を、隣接する２つの俯瞰画像に対応する実空間の端部が重複するように描画する俯瞰画像描画ステップと、前記画像描画ステップにより描画された前記画像データ毎の俯瞰画像を所定の配置で合成して俯瞰合成画像を描画する画像合成ステップと、前記前記画像合成ステップにより描画された前記俯瞰合成画像に含まれる俯瞰画像のつなぎ目部分に対応する実空間に存在する物体を検出する物体検出ステップと、前記俯瞰合成画像に含まれる俯瞰画像のつなぎ目部分である重複部分のうち、一方の俯瞰画像の重複部分を境界線画像に設定するとともに、前記物体検出ステップにより重複部分に対応する実空間に存在する物体が検出された場合に、前記境界線画像の幅を変更する境界線幅設定ステップと、前記画像合成ステップにより描画された前記俯瞰合成画像に含まれる俯瞰画像のつなぎ目部分に、前記境界線幅設定ステップにより設定された幅の境界線画像を一方の俯瞰画像の重複部分に重畳して境界線付き俯瞰合成画像を描画する画像付加ステップとを有することを特徴とする。
【００２０】
また、本発明に係る、車両の周辺を撮影して得られる画像を処理する画像処理方法は、前記車両に取り付けられた複数の撮影手段により前記車両の周辺を撮影して画像データを生成する撮影ステップと、前記撮影ステップによって前記撮影手段のそれぞれによって生成された前記画像データ毎に、該画像データに基づいて、前記車両の上方を視点とする俯瞰画像を、隣接する２つの俯瞰画像に対応する実空間の端部が重複するように描画する俯瞰画像描画ステップと、前記画像描画ステップにより描画された前記画像データ毎の俯瞰画像を所定の配置で合成して俯瞰合成画像を生成する画像合成ステップと、前記車両の姿勢変化量を検出する姿勢変化検出ステップと、前記俯瞰合成画像に含まれる俯瞰画像のつなぎ目部分である重複部分のうち、一方の重複部分を境界線画像に設定するとともに、前記姿勢変化検出ステップにより検出された前記車両の姿勢変化量に基づいて、前記境界線画像の幅を変更する境界線幅設定ステップと、前記画像合成ステップにより描画された前記俯瞰合成画像に含まれる俯瞰画像のつなぎ目部分に、前記境界線幅設定ステップにより設定された幅の境界線画像を一方の俯瞰画像の重複部分に重畳して境界線付き俯瞰合成画像を描画する画像付加ステップとを有することを特徴とする。
【発明の効果】
【００２１】
本発明によれば、俯瞰画像のつなぎ目部分に対応する実空間に物体が存在する場合、その物体に対応する画像を表出させることが可能となり、車両周辺の監視の確実性を向上させることが可能となる。
【発明を実施するための最良の形態】
【００２２】
以下、本発明の実施の形態について、図面を参照して具体的に説明する。図１は、本発明の実施形態に係る画像処理装置を適用した車両周辺画像提供装置の構成を示す図である。
【００２３】
図１に示す車両周辺画像提供装置１００は、車両に搭載されるものであり、カメラ１５２、１５４、１５６及び１５８と、制御部１０２と、マッピングメモリ１０４と、フレームメモリ１０６と、ディスプレイ１０８とにより構成される。これらのうち、制御部１０２は、画像描画部１１０及びライン描画部１２０により構成される。更に、画像描画部１１０は、画像データ取得部１１２、視点変換部１１４及び画像合成部１１６により構成され、ライン描画部１２０は、物体検出部１２２、ライン幅設定部１２４、ライン生成部１２６、姿勢変化検出部１２８、画像消失量算出部１３０、ライン生成部１３２及びライン選択部１３４により構成される。
【００２４】
カメラ１５２乃至１５８は、車両の外部に取り付けられており、車両周辺を撮影して画像データを生成する。図２は、車両におけるカメラ１５２乃至１５８の取り付け位置を示す図である。図２において、カメラ１５２は、車両２００の前部中央に取り付けられ、当該車両２００の前方を撮影する。カメラ１５４は、車両２００の右側面に取り付けられ、当該車両２００の右方を撮影する。カメラ１５６は、車両２００の後部中央に取り付けられ、当該車両２００の後方を撮影する。カメラ１５８は、車両２００の左側面に取り付けられ、当該車両２００の左方を撮影する。これらカメラ１５２乃至１５８は、広角もしくは魚眼レンズ（図示せず）を内蔵し、広い画角を有しており、カメラ１５２乃至１５８によって車両２００の周辺の全周を撮影可能となっている。
【００２５】
再び、図１に戻って説明する。制御部１０２は、車両周辺画像提供装置１００の全体を制御する。具体的には、制御部１０２内の画像データ描画部１１０において、画像データ取得部１１２は、カメラ１５２乃至１５８のそれぞれによる撮影によって生成された４つの画像データを取得する。視点変換部１１４は、画像データ取得部１１２によって取得された４つの画像データ毎に、当該画像データに基づいて、公知の手法による視点変換を行い、車両２００の上方を視点とする俯瞰画像の画像データを生成する。この際、視点変換部１１４は、隣接する２つの俯瞰画像に対応する実空間の端部が重複するように、俯瞰画像を描画する。例えば、隣接する２つの俯瞰画像に対応する実空間の端部における重複部分は３００ｍｍ以上の幅となるようにする。この俯瞰画像の画像データは、画素毎の明度、彩度、色合い等を示す画素毎の画像データを含んで構成される。
【００２６】
画像合成部１１６は、マッピングメモリ１０４に記憶されたマッピングテーブルに基づいて、４つの俯瞰画像の画像データのそれぞれについて一部を切り出して、フレームメモリ１０６に記憶させる。ここで、マッピングテーブルは、俯瞰画像毎に当該俯瞰画像を構成する画素の位置と、フレームメモリ１０６内の記憶領域とを対応付けるものである。画像合成部１１６は、このマッピングテーブルを参照することにより、４つの俯瞰画像の画像データに含まれる画素毎の画像データが記憶されるべきフレームメモリ１０６内の記憶領域を特定し、その特定した記憶領域に対応する画素毎の画像データを記憶させる。
【００２７】
このようなフレームメモリ１０６への記憶処理によって、４つの俯瞰画像が合成されて１つの俯瞰画像（以下、「俯瞰合成画像」と称する）が描画されることになる。上述したように、視点変換部１１４が隣接する２つの俯瞰画像に対応する実空間の端部が重複するように俯瞰画像を描画することに対応して、俯瞰合成画像に含まれる俯瞰画像において、隣接する２つの俯瞰画像の端部には重複する部分が存在する。この重複部分は、マッピングテーブルにおいて、２つの俯瞰画像の端部を構成する画素の位置と、フレームメモリ１０６内の１つの記憶領域とを１対１に対応付けることによって実現される。
【００２８】
制御部１０２内のライン描画部１２０において、物体検出部１２２は、複数の超音波センサにより構成される。図３は、車両における超音波センサの取り付け位置を示す図である。図３において、４つの超音波センサ１６２乃至１６８は、上述した隣接する２つの俯瞰画像のつなぎ目部分に対応する実空間を検出範囲とし、当該検出範囲に存在する物体を検出するものである。本実施形態では、隣接する２つの俯瞰画像のつなぎ目部分は４箇所存在する。従って、４つの超音波センサ１６２乃至１６８は、それぞれ１箇所のつなぎ目部分に対応する実空間を検出範囲とする。
【００２９】
ライン幅設定部１２４は、上述した物体検出部１２２によって２つの俯瞰画像のつなぎ目部分に対応する実空間において物体が検出された場合、そのつなぎ目部分に対応する境界線（以下、「ライン」と称する）の画像の幅を設定する。ライン生成部１２６は、上述したライン幅設定部１２４によって設定された幅のラインの画像に対応する画像データを生成する。
【００３０】
姿勢変化検出部１２８は、車両２００の姿勢について初期状態からの変化量を検出する。具体的には、車両２００内に乗員が存在しない場合の車両２００の姿勢を初期状態とする。この場合、車両２００は、前方の座席に人が乗り込むと前方に傾斜し、後方の座席に人が乗り込むと後方に傾斜するため、姿勢が初期状態から変化する。姿勢変化検出部１２８は、この車両２００の初期状態からの変化を数値化し、姿勢変化量として検出、出力するものである。
【００３１】
画像消失量算出部１３０は、上述した姿勢変化量算出部１２８によって算出された車両２００の姿勢変化量に基づいて、隣接する２つの俯瞰画像に対応する実空間の重複部分の幅を算出する。車両２００の姿勢が変化すると、カメラ１５２乃至１５８の撮影範囲が変化し、隣接する２つの俯瞰画像に対応する実空間の重複部分の幅が変化する。画像消失量算出部１３０は、このような車両２００の姿勢変化と隣接する２つの俯瞰画像に対応する実空間の重複部分の幅の変化との対応関係から、隣接する２つの俯瞰画像に対応する実空間の重複部分の幅を算出することが可能である。
【００３２】
ライン生成部１３２は、上述した画像消失量算出部１３０によって算出された隣接する２つの俯瞰画像に対応する実空間の重複部分の幅に基づいて、ライン画像の幅を設定し、その設定した幅のライン画像に対応する画像データを生成する。
【００３３】
ライン選択部１３４は、上述したライン生成部１２６によって生成されたライン画像に対応する画像データと、上述したライン生成部１３２によって生成されたライン画像に対応する画像データとのいずれかを適宜選択し、その選択したライン画像に対応する画像データを、当該画像データに対応して予め定められたフレームメモリ１０６内の記憶領域に記憶させる。ここで、ライン画像に対応する画像データが記憶されるべきフレームメモリ１０６内の記憶領域は、上述した俯瞰合成画像を構成する２つの俯瞰画像のつなぎ目部分に対応する記憶領域である。
【００３４】
このようなフレームメモリ１０６への記憶処理によって、俯瞰合成画像を構成する隣接する２つの俯瞰画像のつなぎ目部分を構成する重複部分のうち、一方の俯瞰画像の重複部分にライン画像が重畳されて、ライン付き俯瞰合成画像が描画されることになる。モニタ１０８は、このフレームメモリ１０６に記憶された画像データを読み出して表示する。
【００３５】
図１に示す車両周辺画像提供装置１００において、カメラ１５２が第１の撮影手段、カメラ１５４が第２の撮影手段、カメラ１５６が第３の撮影手段、カメラ１５８が第４の撮影手段に対応し、視点変換部１１４が俯瞰画像描画手段に対応し、画像合成部１１６が画像合成手段に対応する。また、物体検出部１２２が物体検出手段に対応し、ライン幅設定部１２４、及び画像消失量算出部１３０が境界線幅設定手段に対応し、ライン生成部１２６、ライン生成部１３２及びライン選択部１３４が画像付加手段に対応し、姿勢変化検出部１２８が姿勢変化検出手段に対応する。更には、モニタ１０８が画像表示手段に対応する。
【００３６】
次にフローチャートを参照しつつ、車両周辺画像提供装置１００の動作を説明する。図４は、車両周辺画像提供装置１００による俯瞰合成画像の描画動作を示すフローチャートである。
【００３７】
カメラ１５２乃至１５８は、それぞれ車両２００の周辺を撮影して画像データを生成する（Ｓ１０１）。更に、カメラ１５２乃至１５８は、それぞれ生成した画像データに、自身の識別情報（以下、「カメラ識別情報」と称する）を付加した上で制御部１０２内の画像描画部１１０における画像データ取得部１１２へ出力する。画像データ取得部１１２は、これらカメラ１５２乃至１５８によって生成された４つの画像データ、換言すれば、車両２００の前方、右方、後方、左方のそれぞれに対応する画像データを取得し、視点変換部１１４へ出力する。
【００３８】
視点変換部１１４は、入力した４つの画像データ毎に、当該画像データに基づいて、公知の手法による視点変換を行い、車両２００の上方を視点とする俯瞰画像の画像データを生成することによって、車両２００の上方を視点とする俯瞰画像を、隣接する２つの俯瞰画像に対応する実空間の端部が重複するように描画する（Ｓ１０２）。視点変換部１１４は、生成した４つの俯瞰画像の画像データ、換言すれば、車両２００の前方、右方、後方、左方のそれぞれに対応する俯瞰画像の画像データについて、当該俯瞰画像の画像データの元となった画像データに付加されていたカメラ識別情報を付加した上で画像合成部１１６へ出力する。
【００３９】
画像合成部１１６は、４つの俯瞰画像の画像データを入力すると、当該画像データに付加されているカメラ識別情報に基づいて、当該画像データが車両２００の前方、右方、後方、左方のいずれに対応する俯瞰画像のものであるかを特定する。更に、画像合成部１１６は、マッピングメモリ１０４に記憶されたマッピングテーブルを参照することによって、車両２００の前方、右方、後方、左方に対応する俯瞰画像の画像データ毎に、当該画像データを構成する画素毎の画像データが記憶されるべきフレームメモリ１０６内の記憶領域を特定する。そして、画像合成部１１６は、特定した記憶領域に、画素毎の画像データを記憶させる。これにより、車両２００の前方、右方、後方、左方に対応する俯瞰画像が合成されて、１つの俯瞰合成画像が描画されることになる（Ｓ１０４）。
【００４０】
図５は、俯瞰合成画像の一例を示す図である。図５に示す俯瞰合成画像は、車両２００の前方に対応する俯瞰画像２１２、右方に対応する俯瞰画像２１４、後方に対応する俯瞰画像２１６、及び、左方に対応する俯瞰画像２１８を合成して得られる。この俯瞰合成画像において、前方に対応する俯瞰画像２１２と右方に対応する俯瞰画像２１４との重複部分２２２では、フレームメモリ１０６における所定の記憶領域に、前方に対応する俯瞰画像２１２の端部に対応する画像データ２２２ｂと右方に対応する俯瞰画像２１４の端部に対応する画像データ２２２ａとが記憶された後、右方に対応する俯瞰画像２１４の端部に対応する画像データ２２２ａが後述するライン画像で上書きされることで、前方に対応する俯瞰画像２１２が優先して表出している。これは、以下の理由による。すなわち、図６（ａ）に示す車両２００の前方を撮影するカメラ１５２の画角θ１と、図６（ｂ）に示す車両２００の右方を撮影するカメラ１５４の画角θ２とを比較すると、カメラ１５２の画角θ１の方が撮影範囲が狭いために小さい。このため、カメラ１５２によって生成された画像データに対応する俯瞰画像は、カメラ１５４によって生成された画像データに対応する俯瞰画像よりも歪みが小さい。従って、カメラ１５２によって生成された画像データに対応する俯瞰画像、すなわち、前方に対応する俯瞰画像２１２を優先して表出させることが望ましいことによる。
【００４１】
再び、図５に戻って説明する。上述と同様に、車両２００の前方を撮影するカメラ１５２の画角が車両２００の左方を撮影するカメラ１５８の画角より小さいことに鑑み、前方に対応する俯瞰画像２１２と左方に対応する俯瞰画像２１８との重複部分２２８では、フレームメモリ１０６における所定の記憶領域に、前方に対応する俯瞰画像２１２の端部に対応する画像データ２２８ｂと左方に対応する俯瞰画像２１８の端部に対応する画像データ２２８ａとが記憶された後、左方に対応する俯瞰画像２１８の端部に対応する画像データ２２８ａが後述するライン画像で上書きされることで、前方に対応する俯瞰画像２１２が優先して表出している。更には、車両２００の後方を撮影するカメラ１５６の画角が車両２００の右方を撮影するカメラ１５４の画角より小さいことに鑑み、後方に対応する俯瞰画像２１２と右方に対応する俯瞰画像２１４との重複部分２２４では、フレームメモリ１０６における所定の記憶領域に、後方に対応する俯瞰画像２１６の端部に対応する画像データ２２４ｂと右方に対応する俯瞰画像２１４の端部に対応する画像データ２２４ａとが記憶された後、右方に対応する俯瞰画像２１４の端部に対応する画像データ２２４ａが後述するライン画像で上書きされることで、後方に対応する俯瞰画像２１６が優先して表出している。また、車両２００の後方を撮影するカメラ１５６の画角が車両２００の左方を撮影するカメラ１５８の画角より小さいことに鑑み、後方に対応する俯瞰画像２１６と左方に対応する俯瞰画像２１８との重複部分２２６では、フレームメモリ１０６における所定の記憶領域に、後方に対応する俯瞰画像２１６の端部に対応する画像データ２２６ｂと左方に対応する俯瞰画像２１８の端部に対応する画像データ２２６ａとが記憶された後、左方に対応する俯瞰画像２１８の端部に対応する画像データ２２６ａが後述するライン画像で上書きされることで、後方に対応する俯瞰画像２１６が優先して表出している。
【００４２】
再び図４に戻って説明する。俯瞰合成画像が描画されると、更に、画像合成部１１６は、車両２００についての上方を視点とする画像に対応する画像データを、フレームメモリ１０６における、俯瞰合成画像によって囲まれた部分に対応する記憶領域に記憶させる。これにより、図７に示すように、車両２００の前方に対応する俯瞰画像２１２、右方に対応する俯瞰画像２１４、後方に対応する俯瞰画像２１６、及び、左方に対応する俯瞰画像２１８、並びに、格俯瞰画像のつなぎ目部分に境界線画像を有してなる俯瞰合成画像によって囲まれた部分に、車両２００に対応する車両画像２０１が描画されることになる。
【００４３】
このようにして、俯瞰合成画像と車両画像が描画された後、ライン画像が描画される。図８は、車両周辺画像提供装置１００によるライン画像の描画動作を示すフローチャートである。
【００４４】
制御部１０２内のライン描画部１２０において、物体検出部１２２は、隣接する２つの俯瞰画像のつなぎ目部分に対応する実空間に存在する物体を検出する。ここで、物体検出部１２２による４つの検出範囲と、俯瞰合成画像に４箇所存在する隣接する２つの俯瞰画像のつなぎ目部分とは１対１に対応する。物体検出部１２２は、後段において検出結果がどのつなぎ目部分に対応するものであるかを特定可能とすべく、検出結果に、対応する隣接する２つの俯瞰画像のつなぎ目部分の識別情報を付加した上でライン幅設定部１２４へ出力する。ライン幅設定部１２２は、入力した検出結果に基づいて、隣接する２つの俯瞰画像のつなぎ目部分に対応する実空間に物体が存在するか否かを判定する（Ｓ２０１）。
【００４５】
隣接する２つの俯瞰画像のつなぎ目部分に対応する実空間に物体が存在する場合、ライン幅設定部１２２は、そのつなぎ目部分に対応するライン画像の幅を初期値よりも狭く設定する（Ｓ２０２）。ここで、ラインの幅の初期値は、例えば、隣接する２つの俯瞰画像の重複部分の幅である。また、ラインの幅を初期値よりも小さくするとは、ライン画像の幅をゼロにすることを含む。
【００４６】
更に、ライン幅設定部１２２は、この設定したラインの幅に、当該ライン画像に対応する画像データを記憶すべきフレームメモリ１０６内の記憶領域の情報を付加した上で、ライン生成部１２６へ出力する。ここで、ライン画像に対応する画像データを記憶すべきフレームメモリ１０６内の記憶領域は、隣接する２つの俯瞰画像のつなぎ目部分と１対１に対応する。従って、ライン幅設定部１２２は、検出結果に付加された隣接する２つの俯瞰画像のつなぎ目部分の識別情報に基づいて、ラインの画像に対応する画像データを記憶すべきフレームメモリ１０６内の記憶領域を特定可能である。
【００４７】
ライン生成部１２６は、入力したライン画像の幅に基づいて、第１のライン画像に対応する画像データを生成することにより、当該第１のライン画像を描画する（Ｓ２０３）。生成された第１のライン画像に対応する画像データは、当該第１のライン画像に対応する画像データを記憶すべきフレームメモリ１０６内の記憶領域の情報とともに、ライン選択部１３４へ出力される。
【００４８】
Ｓ２０３における第１のライン画像の描画後、あるいは、Ｓ２０１において隣接する２つの俯瞰画像のつなぎ目部分に対応する実空間に物体が存在しないと判定された後、次に、姿勢変化検出部１２８は、車両２００の初期状態からの変化を示す姿勢変化量を検出する（Ｓ２０４）。検出された姿勢変化量は、画像消失量算出部１３０へ出力される。
【００４９】
画像消失量算出部１３０は、入力した姿勢変化量に基づいて、２つの俯瞰画像の隣接する俯瞰画像に対応する実空間の重複部分の幅を画像消失量として算出する。例えば、車両２００が前方に傾斜した場合、車両２００の後方を撮影するカメラ１５６の撮影範囲と、車両２００の右方を撮影するカメラ１５４及び車両２００の左方を撮影する１５８の撮影範囲との重複部分は減少する。このことは、車両２００の後方に対応する俯瞰画像の実空間と車両２００の右方に対応する俯瞰画像の実空間との重複部分の幅、及び、車両２００の後方に対応する俯瞰画像の実空間と車両２００の左方に対応する俯瞰画像の実空間との重複部分の幅が、車両２００の姿勢が初期状態の場合よりも狭くなることを意味する。
【００５０】
更に、画像消失量算出部１３０は、算出した画像消失量に基づいて、ライン画像の幅を設定する（Ｓ２０５）。具体的には、画像消失量算出部１３０は、算出した画像消失量が所定値以上の場合には、ライン画像の幅を第１の所定値に設定する。一方、画像消失量算出部１３０は、算出した画像消失量が所定値以下の場合には、その画像消失量にライン画像の幅を比例させて第１の所定値以下の幅とする。これにより、ライン画像の幅は常に第１の所定値以下とすることができる。
【００５１】
更に、画像消失量算出部１３０は、この設定したライン画像の幅に、当該ライン画像に対応する画像データを記憶すべきフレームメモリ１０６内の記憶領域の情報を付加した上で、ライン生成部１２６へ出力する。
【００５２】
ライン生成部１２６は、入力したライン画像の幅に基づいて、第２のライン画像に対応する画像データを生成することにより、当該第２のライン画像を描画する（Ｓ２０６）。生成された第２のライン画像に対応する画像データは、当該第２のライン画像に対応する画像データを記憶すべきフレームメモリ１０６内の記憶領域の情報とともに、ライン選択部１３４へ出力される。
【００５３】
ライン選択部１３４は、利用者による図示しない操作部を用いた操作指示等に応じて、Ｓ２０３においてライン生成部１２６によって生成されて入力した第１のライン画像に対応する画像データと、Ｓ２０６においてライン生成部１３２によって生成されて入力した第２のライン画像に対応する画像データとのいずれかを選択して、当該画像データを記憶すべきフレームメモリ１０６内の記憶領域に記憶させる（Ｓ２０７）。なお、Ｓ２０１において、隣接する２つの俯瞰画像のつなぎ目部分に対応する実空間に物体が存在しないと判定された場合には、Ｓ２０３における第１のライン画像の描画は行われない。この場合には、ライン選択部１３４は、Ｓ２０６においてライン生成部１３２によって生成されて入力した第２のライン画像に対応する画像データを、当該画像データを記憶すべきフレームメモリ１０６内の記憶領域に記憶させる。
【００５４】
このようにして、俯瞰合成画像、車両画像に加えてライン画像が描画されると、ディスプレイ１０８は、フレームメモリ１０６に記憶された、これら俯瞰合成画像、車両画像及びライン画像に対応する画像データを読み出して、画像を表示する。
【００５５】
上述したように、本実施形態の車両周辺画像提供装置１００は、撮影によって得られた車両２００の前方、右方、後方、左方のそれぞれに対応する画像データに基づいて、隣接する２つの俯瞰画像に対応する実空間の端部が重複するように、車両２００の上方を視点とする俯瞰画像を描画して合成した上で、その俯瞰合成画像を構成する各俯瞰画像のつなぎ目部分に境界線の画像を付加するようにする。更に、車両周辺画像提供装置１００は、俯瞰画像のつなぎ目部分に対応する実空間に物体が存在する場合には、つなぎ目部分に対応するラインの画像の幅を変更することによって、その物体に対応する画像を表出させることを可能とし、車両の姿勢が変化することによって、俯瞰画像に対応する撮影範囲が変化した場合には、その車両の姿勢変化量に応じてラインの画像の幅を変更することによって、そのつなぎ目部分に対応する実空間に物体が存在する場合には、当該物体に対応する画像を表出させることを可能とする。
【００５６】
これにより、車両２００の姿勢が変化することに伴って、当該車両１００に取り付けられたカメラ１５２乃至１５８の撮影範囲が変化した場合であっても、図９に示すように、隣接する２つの俯瞰画像に対応する実空間２３２及び２３４の端部が離れて死角が生じることが防止され、運転者は、俯瞰画像のつなぎ目部分に対応する実空間に物体２０２が存在すること、及び、その物体２０２の形状を認識することが可能となる。また、図１０に示すように、俯瞰画像２１６と俯瞰画像２１８のつなぎ目部分に対応する実空間に物体が存在する場合は、俯瞰画像２１２と俯瞰画像２１４のつなぎ目部分に対応するライン画像２４２、俯瞰画像２１４と俯瞰画像２１６のつなぎ目部分に対応するライン画像２４４、俯瞰画像２１６と俯瞰画像２１８のつなぎ目部分に対応するライン画像２４６、俯瞰画像２１８と俯瞰画像２１２のつなぎ目部分に対応するライン画像２４８のうち、俯瞰画像２１６と俯瞰画像２１８のつなぎ目部分に対応するライン画像２４６の幅を小さくする、あるいは、車両２００の姿勢変化量に応じてライン画像２４６の幅を変更することで、その物体に対応する画像２０３を表出させることが可能となり、運転者は、どのような形状の物体がどの位置に存在するのかを認識することが可能となる。
【００５７】
なお、上述した実施形態では、図８に示すように、第１のライン画像を描画するとともに第２のライン画像を描画して、これらのいずれかを選択するようにしたが、Ｓ２０１乃至Ｓ２０３の動作のみにより第１のライン画像のみを描画してもよく、Ｓ２０４乃至２０６の動作によって第２のライン画像のみを描画してもよい。
【産業上の利用可能性】
【００５８】
以上、説明したように、本発明に係る画像処理装置は、車両周辺の監視の確実性を向上させることが可能であり、画像処理装置及び画像処理方法として有用である。
【図面の簡単な説明】
【００５９】
【図１】本発明の実施形態に係る車両周辺画像提供装置の構成を示す図である。
【図２】車両に対するカメラの取り付け状態の一例を示す図である。
【図３】車両に対する超音波センサの取り付け状態の一例を示す図である。
【図４】車両周辺画像提供装置による俯瞰合成画像の描画動作を示すフローチャートである。
【図５】俯瞰合成画像の一例を示す図である。
【図６】カメラの画角の一例を示す図である。
【図７】俯瞰合成画像と車両画像の一例を示す図である。
【図８】車両周辺画像提供装置によるライン画像の描画動作を示すフローチャートである。
【図９】車両周辺画像提供装置による隣接する２つの俯瞰画像に対応する実空間の一例を示す図である。
【図１０】俯瞰合成画像、車両画像及びライン画像の一例を示す図である。
【図１１】従来の車両周辺監視装置による隣接する２つの俯瞰画像に対応する実空間の一例を示す図である。
【図１２】従来の俯瞰合成画像、車両画像及びマスクパターン画像の一例を示す図である。
【符号の説明】
【００６０】
１００ 車両周辺画像提供装置
１０２ 制御部
１０４ マッピングメモリ
１０６ フレームメモリ
１０８ ディスプレイ
１１０ 画像描画部
１２０ ライン描画部
１１２ 画像データ取得部
１１４ 視点変換部
１１６ 画像合成部
１２２ 物体検出部
１２４ ライン幅設定部
１２６ ライン生成部
１２８ 姿勢変化検出部
１３０ 画像消失量算出部
１３２ ライン生成部
１３４ ライン選択部
１５２、１５４、１５６、１５８ カメラ
１６２、１６４、１６６、１６８ 超音波センサ
【技術分野】
【０００１】
本発明は、車両の周辺を撮影して得られる画像を処理する画像処理装置及び画像処理方法に関する。
【背景技術】
【０００２】
近年、車両の安全性を向上させるべく、車両周辺を撮影して画像を表示することで、運転者が車両周辺を監視可能とする装置が提案されている。例えば、特許文献１に記載された車両周囲監視装置は、複数のカメラによって車両周辺を撮影して、車両の上方を視点とする複数の俯瞰画像を得て、これらを１つの画像に合成するとともに、俯瞰画像のつなぎ目部分に境界線としてのマスクパターンを付加した上で表示する。図１１は、従来の車両周辺監視装置における表示画像の一例を示す図である。図１１では、車両の俯瞰画像２０１を中心に、前方の俯瞰画像２１２、右方の俯瞰画像２１４、後方の俯瞰画像２１６及び左方の俯瞰画像２１８が合成され、更に、前方の俯瞰画像２１２と右方の俯瞰画像２１４とのつなぎ目にマスクパターン２５２、右方の俯瞰画像２１４と後方の俯瞰画像２１６とのつなぎ目にマスクパターン２５４、後方の俯瞰画像２１６と左方の俯瞰画像２１８とのつなぎ目にマスクパターン２５６、左方の俯瞰画像２１８と前方の俯瞰画像２１２とのつなぎ目にマスクパターン２５８がそれぞれ付加されている。
【０００３】
また、特許文献１に記載された車両周囲監視装置には、画像の死角となる部分である俯瞰画像のつなぎ目部分に対応する実空間に存在する物体（障害物）を検出する超音波センサが設けられており、当該超音波センサが障害物を検出した場合には、対応するつなぎ目部分のマスクパターンを点滅させる。例えば、図１１において、後方の俯瞰画像２１６と左方の俯瞰画像２１８とのつなぎ目に対応する実空間に物体が存在する場合には、マスクパターン２５６が点滅する。運転者は、図１１に示すような画像を見ることで、車両周辺の障害物の存在等を確認し得る。
【特許文献１】特開２００３−１６９３２３号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、特許文献１に記載された車両周辺監視装置では、運転者は、つなぎ目のマスクパターンの点滅によって物体が存在することは認識可能であるが、どのような形状の物体が存在するか、及び、物体の詳細な位置については認識不能である。また、車両の姿勢が変化した場合、例えば、前方の座席に人が乗り込んで車両が前方に傾斜したような場合を考える。このような場合、車両に取り付けられたカメラの撮影範囲が変化し、図１２に示すように、隣接する２つの俯瞰画像に対応する実空間２３２の端部と実空間２３４の端部とが離れてしまうことで死角が生じ、その死角に物体２０２が存在する場合には、運転者は当該物体を認識不能である。従って、必ずしも、運転者は車両周辺を十分に監視可能であるとはいえない。
【０００５】
本発明の目的は、上述した問題を解決するものであり、車両周辺の監視の確実性を向上させた画像処理装置及び画像処理方法を提供するものである。
【課題を解決するための手段】
【０００６】
本発明に係る、車両の周辺を撮影して得られる画像を処理する画像処理装置は、前記車両に取り付けられ、該車両の周辺を撮影して画像データを生成する複数の撮影手段と、前記撮影手段のそれぞれによって生成された前記画像データ毎に、該画像データに基づいて、前記車両の上方を視点とする俯瞰画像を、隣接する２つの俯瞰画像に対応する実空間の端部が重複するように描画する俯瞰画像描画手段と、前記画像描画手段により描画された前記画像データ毎の俯瞰画像を所定の配置で合成して俯瞰合成画像を描画する画像合成手段と、前記画像合成手段により描画された前記俯瞰合成画像に含まれる俯瞰画像のつなぎ目部分に対応する実空間に存在する物体を検出する物体検出手段と、前記俯瞰合成画像に含まれる俯瞰画像のつなぎ目部分である重複部分のうち、一方の重複部分を境界線画像に設定するとともに、前記物体検出手段により重複部分に対応する実空間に存在する物体が検出された場合に、前記境界線画像の幅を変更する境界線幅設定手段と、前記画像合成手段により描画された前記俯瞰合成画像に含まれる俯瞰画像のつなぎ目部分に、前記境界線幅設定手段により設定された幅の境界線画像を一方の俯瞰画像の重複部分に重畳して境界線付き俯瞰合成画像を描画する画像付加手段とを有することを特徴とする。
【０００７】
この構成によれば、隣接する２つの俯瞰画像に対応する実空間の端部が重複するように俯瞰画像を描画して合成し、その一方の俯瞰画像の重複部分を境界線画像にするとともに、俯瞰画像のつなぎ目部分に対応する実空間に物体が存在する場合には、境界線画像の幅を変更することによって、その物体に対応する画像を表出させることが可能となり、運転者は、どのような形状の物体がどの位置に存在するのかを認識することが可能となる。
【０００８】
また、本発明に係る、車両の周辺を撮影して得られる画像を処理する画像処理装置は、前記車両に取り付けられ、該車両の周辺を撮影して画像データを生成する複数の撮影手段と、前記撮影手段のそれぞれによって生成された前記画像データ毎に、該画像データに基づいて、前記車両の上方を視点とする俯瞰画像を、隣接する２つの俯瞰画像に対応する実空間の端部が重複するように描画する俯瞰画像描画手段と、前記画像描画手段により描画された前記画像データ毎の俯瞰画像を所定の配置で合成して俯瞰合成画像を生成する画像合成手段と、前記車両の姿勢変化量を検出する姿勢変化検出手段と、前記俯瞰合成画像に含まれる俯瞰画像のつなぎ目部分である重複部分のうち、一方の重複部分を境界線画像に設定するとともに、前記姿勢変化検出手段により検出された前記車両の姿勢変化量に基づいて、前記境界線画像の幅を変更する境界線幅設定手段と、前記画像合成手段により描画された前記俯瞰合成画像に含まれる俯瞰画像のつなぎ目部分に、前記境界線幅設定手段により設定された幅の境界線画像を一方の俯瞰画像の重複部分に重畳して境界線付き俯瞰合成画像を描画する画像付加手段とを有することを特徴とする。
【０００９】
この構成によれば、隣接する２つの俯瞰画像に対応する実空間の端部が重複するように俯瞰画像を描画して合成し、その一方の俯瞰画像の重複部分を境界線画像にするとともに、車両の姿勢が変化することによって、撮影手段による俯瞰画像に対応する撮影範囲が変化した場合には、その車両の姿勢変化量に応じて境界線画像の幅を変更することによって、そのつなぎ目部分に対応する実空間に物体が存在する場合には、その物体に対応する画像を表出させることが可能となり、運転者は、どのような形状の物体がどの位置に存在するのかを認識することが可能となる。
【００１０】
また、本発明に係る画像処理装置は、前記境界線幅設定手段が、前記物体検出手段により前記俯瞰合成画像に含まれる俯瞰画像のつなぎ目部分に対応する実空間に存在する物体が検出された場合に、前記境界線画像の幅を初期値より小さくするようにしてもよい。
【００１１】
この構成によれば、俯瞰画像のつなぎ目部分に対応する実空間に物体が存在する場合には、そのつなぎ目部分に対応する境界線画像の幅を初期値（＝重複部分の幅）より小さくすることで、そのつなぎ目部分その物体に対応する画像を表出させることが可能となり、運転者は、どのような形状の物体がどの位置に存在するのかを認識することが可能となる。
【００１２】
また、本発明に係る画像処理装置は、前記物体検出手段が、前記俯瞰画像のつなぎ目部分に対応する実空間毎に設けられ、該実空間に存在する物体を検出するセンサを有するようにしてもよい。
【００１３】
また、本発明に係る画像処理装置は、前記画像合成手段が、前記俯瞰画像の重複部分において、該俯瞰画像に対応する画像データを生成した前記撮影手段のうち、画角の小さい前記撮影手段によって生成された画像データに対応する俯瞰画像を他方の俯瞰画像として、重複部分を優先して描画するようにしてもよい。
【００１４】
この構成によれば、画角の小さい撮影手段によって生成された画像データに基づく画像は、歪みが小さい俯瞰画像となるため、その歪みが小さい俯瞰画像が優先的に表出されるようにすることで、質の高い画像を提供することが可能となる。
【００１５】
また、本発明に係る画像処理装置は、表示対象の画像に対応する画像データを記憶するフレームメモリを有し、前記画像合成手段が、前記画像描画手段により描画された前記俯瞰画像に対応する画像データを、前記俯瞰画像毎に定まる前記フレームメモリ内の所定の記憶領域に記憶させ、前記画像付加手段が、前記境界線画像に対応する画像データを、前記境界線画像毎に定まる前記フレームメモリ内の所定の記憶領域に記憶させるようにしてもよい。
【００１６】
また、本発明に係る画像処理装置は、前記画像描画手段により描画された前記俯瞰画像の画素位置と、前記フレームメモリ内の記憶領域との対応関係を示すマッピングテーブルを記憶するマッピングテーブルを記憶するマッピングメモリを有し、前記画像合成手段が、前記マッピングテーブルに基づいて、前記画像描画手段により描画された前記俯瞰画像に対応する画素毎の画像データを、前記フレームメモリの所定の記憶領域に記憶させるようにしてもよい。
【００１７】
また、本発明に係る画像処理装置は、前記フレームメモリに記憶された画像データに基づく画像を表示する画像表示手段を有するようにしてもよい。
【００１８】
また、本発明に係る画像処理装置は、前記複数の撮影手段が、前記車両の前方を撮影する第１の撮影手段と、前記車両の右方を撮影する第２の撮影手段と、前記車両の後方を撮影する第３の撮影手段と、前記車両の左方を撮影する第４の撮影手段とを有するようにしてもよい。
【００１９】
本発明に係る、車両の周辺を撮影して得られる画像を処理する画像処理方法であって、前記車両に取り付けられた複数の撮影手段により前記車両の周辺を撮影して画像データを生成する撮影ステップと、前記撮影ステップによって前記撮影手段のそれぞれによって生成された前記画像データ毎に、該画像データに基づいて、前記車両の上方を視点とする俯瞰画像を、隣接する２つの俯瞰画像に対応する実空間の端部が重複するように描画する俯瞰画像描画ステップと、前記画像描画ステップにより描画された前記画像データ毎の俯瞰画像を所定の配置で合成して俯瞰合成画像を描画する画像合成ステップと、前記前記画像合成ステップにより描画された前記俯瞰合成画像に含まれる俯瞰画像のつなぎ目部分に対応する実空間に存在する物体を検出する物体検出ステップと、前記俯瞰合成画像に含まれる俯瞰画像のつなぎ目部分である重複部分のうち、一方の俯瞰画像の重複部分を境界線画像に設定するとともに、前記物体検出ステップにより重複部分に対応する実空間に存在する物体が検出された場合に、前記境界線画像の幅を変更する境界線幅設定ステップと、前記画像合成ステップにより描画された前記俯瞰合成画像に含まれる俯瞰画像のつなぎ目部分に、前記境界線幅設定ステップにより設定された幅の境界線画像を一方の俯瞰画像の重複部分に重畳して境界線付き俯瞰合成画像を描画する画像付加ステップとを有することを特徴とする。
【００２０】
また、本発明に係る、車両の周辺を撮影して得られる画像を処理する画像処理方法は、前記車両に取り付けられた複数の撮影手段により前記車両の周辺を撮影して画像データを生成する撮影ステップと、前記撮影ステップによって前記撮影手段のそれぞれによって生成された前記画像データ毎に、該画像データに基づいて、前記車両の上方を視点とする俯瞰画像を、隣接する２つの俯瞰画像に対応する実空間の端部が重複するように描画する俯瞰画像描画ステップと、前記画像描画ステップにより描画された前記画像データ毎の俯瞰画像を所定の配置で合成して俯瞰合成画像を生成する画像合成ステップと、前記車両の姿勢変化量を検出する姿勢変化検出ステップと、前記俯瞰合成画像に含まれる俯瞰画像のつなぎ目部分である重複部分のうち、一方の重複部分を境界線画像に設定するとともに、前記姿勢変化検出ステップにより検出された前記車両の姿勢変化量に基づいて、前記境界線画像の幅を変更する境界線幅設定ステップと、前記画像合成ステップにより描画された前記俯瞰合成画像に含まれる俯瞰画像のつなぎ目部分に、前記境界線幅設定ステップにより設定された幅の境界線画像を一方の俯瞰画像の重複部分に重畳して境界線付き俯瞰合成画像を描画する画像付加ステップとを有することを特徴とする。
【発明の効果】
【００２１】
本発明によれば、俯瞰画像のつなぎ目部分に対応する実空間に物体が存在する場合、その物体に対応する画像を表出させることが可能となり、車両周辺の監視の確実性を向上させることが可能となる。
【発明を実施するための最良の形態】
【００２２】
以下、本発明の実施の形態について、図面を参照して具体的に説明する。図１は、本発明の実施形態に係る画像処理装置を適用した車両周辺画像提供装置の構成を示す図である。
【００２３】
図１に示す車両周辺画像提供装置１００は、車両に搭載されるものであり、カメラ１５２、１５４、１５６及び１５８と、制御部１０２と、マッピングメモリ１０４と、フレームメモリ１０６と、ディスプレイ１０８とにより構成される。これらのうち、制御部１０２は、画像描画部１１０及びライン描画部１２０により構成される。更に、画像描画部１１０は、画像データ取得部１１２、視点変換部１１４及び画像合成部１１６により構成され、ライン描画部１２０は、物体検出部１２２、ライン幅設定部１２４、ライン生成部１２６、姿勢変化検出部１２８、画像消失量算出部１３０、ライン生成部１３２及びライン選択部１３４により構成される。
【００２４】
カメラ１５２乃至１５８は、車両の外部に取り付けられており、車両周辺を撮影して画像データを生成する。図２は、車両におけるカメラ１５２乃至１５８の取り付け位置を示す図である。図２において、カメラ１５２は、車両２００の前部中央に取り付けられ、当該車両２００の前方を撮影する。カメラ１５４は、車両２００の右側面に取り付けられ、当該車両２００の右方を撮影する。カメラ１５６は、車両２００の後部中央に取り付けられ、当該車両２００の後方を撮影する。カメラ１５８は、車両２００の左側面に取り付けられ、当該車両２００の左方を撮影する。これらカメラ１５２乃至１５８は、広角もしくは魚眼レンズ（図示せず）を内蔵し、広い画角を有しており、カメラ１５２乃至１５８によって車両２００の周辺の全周を撮影可能となっている。
【００２５】
再び、図１に戻って説明する。制御部１０２は、車両周辺画像提供装置１００の全体を制御する。具体的には、制御部１０２内の画像データ描画部１１０において、画像データ取得部１１２は、カメラ１５２乃至１５８のそれぞれによる撮影によって生成された４つの画像データを取得する。視点変換部１１４は、画像データ取得部１１２によって取得された４つの画像データ毎に、当該画像データに基づいて、公知の手法による視点変換を行い、車両２００の上方を視点とする俯瞰画像の画像データを生成する。この際、視点変換部１１４は、隣接する２つの俯瞰画像に対応する実空間の端部が重複するように、俯瞰画像を描画する。例えば、隣接する２つの俯瞰画像に対応する実空間の端部における重複部分は３００ｍｍ以上の幅となるようにする。この俯瞰画像の画像データは、画素毎の明度、彩度、色合い等を示す画素毎の画像データを含んで構成される。
【００２６】
画像合成部１１６は、マッピングメモリ１０４に記憶されたマッピングテーブルに基づいて、４つの俯瞰画像の画像データのそれぞれについて一部を切り出して、フレームメモリ１０６に記憶させる。ここで、マッピングテーブルは、俯瞰画像毎に当該俯瞰画像を構成する画素の位置と、フレームメモリ１０６内の記憶領域とを対応付けるものである。画像合成部１１６は、このマッピングテーブルを参照することにより、４つの俯瞰画像の画像データに含まれる画素毎の画像データが記憶されるべきフレームメモリ１０６内の記憶領域を特定し、その特定した記憶領域に対応する画素毎の画像データを記憶させる。
【００２７】
このようなフレームメモリ１０６への記憶処理によって、４つの俯瞰画像が合成されて１つの俯瞰画像（以下、「俯瞰合成画像」と称する）が描画されることになる。上述したように、視点変換部１１４が隣接する２つの俯瞰画像に対応する実空間の端部が重複するように俯瞰画像を描画することに対応して、俯瞰合成画像に含まれる俯瞰画像において、隣接する２つの俯瞰画像の端部には重複する部分が存在する。この重複部分は、マッピングテーブルにおいて、２つの俯瞰画像の端部を構成する画素の位置と、フレームメモリ１０６内の１つの記憶領域とを１対１に対応付けることによって実現される。
【００２８】
制御部１０２内のライン描画部１２０において、物体検出部１２２は、複数の超音波センサにより構成される。図３は、車両における超音波センサの取り付け位置を示す図である。図３において、４つの超音波センサ１６２乃至１６８は、上述した隣接する２つの俯瞰画像のつなぎ目部分に対応する実空間を検出範囲とし、当該検出範囲に存在する物体を検出するものである。本実施形態では、隣接する２つの俯瞰画像のつなぎ目部分は４箇所存在する。従って、４つの超音波センサ１６２乃至１６８は、それぞれ１箇所のつなぎ目部分に対応する実空間を検出範囲とする。
【００２９】
ライン幅設定部１２４は、上述した物体検出部１２２によって２つの俯瞰画像のつなぎ目部分に対応する実空間において物体が検出された場合、そのつなぎ目部分に対応する境界線（以下、「ライン」と称する）の画像の幅を設定する。ライン生成部１２６は、上述したライン幅設定部１２４によって設定された幅のラインの画像に対応する画像データを生成する。
【００３０】
姿勢変化検出部１２８は、車両２００の姿勢について初期状態からの変化量を検出する。具体的には、車両２００内に乗員が存在しない場合の車両２００の姿勢を初期状態とする。この場合、車両２００は、前方の座席に人が乗り込むと前方に傾斜し、後方の座席に人が乗り込むと後方に傾斜するため、姿勢が初期状態から変化する。姿勢変化検出部１２８は、この車両２００の初期状態からの変化を数値化し、姿勢変化量として検出、出力するものである。
【００３１】
画像消失量算出部１３０は、上述した姿勢変化量算出部１２８によって算出された車両２００の姿勢変化量に基づいて、隣接する２つの俯瞰画像に対応する実空間の重複部分の幅を算出する。車両２００の姿勢が変化すると、カメラ１５２乃至１５８の撮影範囲が変化し、隣接する２つの俯瞰画像に対応する実空間の重複部分の幅が変化する。画像消失量算出部１３０は、このような車両２００の姿勢変化と隣接する２つの俯瞰画像に対応する実空間の重複部分の幅の変化との対応関係から、隣接する２つの俯瞰画像に対応する実空間の重複部分の幅を算出することが可能である。
【００３２】
ライン生成部１３２は、上述した画像消失量算出部１３０によって算出された隣接する２つの俯瞰画像に対応する実空間の重複部分の幅に基づいて、ライン画像の幅を設定し、その設定した幅のライン画像に対応する画像データを生成する。
【００３３】
ライン選択部１３４は、上述したライン生成部１２６によって生成されたライン画像に対応する画像データと、上述したライン生成部１３２によって生成されたライン画像に対応する画像データとのいずれかを適宜選択し、その選択したライン画像に対応する画像データを、当該画像データに対応して予め定められたフレームメモリ１０６内の記憶領域に記憶させる。ここで、ライン画像に対応する画像データが記憶されるべきフレームメモリ１０６内の記憶領域は、上述した俯瞰合成画像を構成する２つの俯瞰画像のつなぎ目部分に対応する記憶領域である。
【００３４】
このようなフレームメモリ１０６への記憶処理によって、俯瞰合成画像を構成する隣接する２つの俯瞰画像のつなぎ目部分を構成する重複部分のうち、一方の俯瞰画像の重複部分にライン画像が重畳されて、ライン付き俯瞰合成画像が描画されることになる。モニタ１０８は、このフレームメモリ１０６に記憶された画像データを読み出して表示する。
【００３５】
図１に示す車両周辺画像提供装置１００において、カメラ１５２が第１の撮影手段、カメラ１５４が第２の撮影手段、カメラ１５６が第３の撮影手段、カメラ１５８が第４の撮影手段に対応し、視点変換部１１４が俯瞰画像描画手段に対応し、画像合成部１１６が画像合成手段に対応する。また、物体検出部１２２が物体検出手段に対応し、ライン幅設定部１２４、及び画像消失量算出部１３０が境界線幅設定手段に対応し、ライン生成部１２６、ライン生成部１３２及びライン選択部１３４が画像付加手段に対応し、姿勢変化検出部１２８が姿勢変化検出手段に対応する。更には、モニタ１０８が画像表示手段に対応する。
【００３６】
次にフローチャートを参照しつつ、車両周辺画像提供装置１００の動作を説明する。図４は、車両周辺画像提供装置１００による俯瞰合成画像の描画動作を示すフローチャートである。
【００３７】
カメラ１５２乃至１５８は、それぞれ車両２００の周辺を撮影して画像データを生成する（Ｓ１０１）。更に、カメラ１５２乃至１５８は、それぞれ生成した画像データに、自身の識別情報（以下、「カメラ識別情報」と称する）を付加した上で制御部１０２内の画像描画部１１０における画像データ取得部１１２へ出力する。画像データ取得部１１２は、これらカメラ１５２乃至１５８によって生成された４つの画像データ、換言すれば、車両２００の前方、右方、後方、左方のそれぞれに対応する画像データを取得し、視点変換部１１４へ出力する。
【００３８】
視点変換部１１４は、入力した４つの画像データ毎に、当該画像データに基づいて、公知の手法による視点変換を行い、車両２００の上方を視点とする俯瞰画像の画像データを生成することによって、車両２００の上方を視点とする俯瞰画像を、隣接する２つの俯瞰画像に対応する実空間の端部が重複するように描画する（Ｓ１０２）。視点変換部１１４は、生成した４つの俯瞰画像の画像データ、換言すれば、車両２００の前方、右方、後方、左方のそれぞれに対応する俯瞰画像の画像データについて、当該俯瞰画像の画像データの元となった画像データに付加されていたカメラ識別情報を付加した上で画像合成部１１６へ出力する。
【００３９】
画像合成部１１６は、４つの俯瞰画像の画像データを入力すると、当該画像データに付加されているカメラ識別情報に基づいて、当該画像データが車両２００の前方、右方、後方、左方のいずれに対応する俯瞰画像のものであるかを特定する。更に、画像合成部１１６は、マッピングメモリ１０４に記憶されたマッピングテーブルを参照することによって、車両２００の前方、右方、後方、左方に対応する俯瞰画像の画像データ毎に、当該画像データを構成する画素毎の画像データが記憶されるべきフレームメモリ１０６内の記憶領域を特定する。そして、画像合成部１１６は、特定した記憶領域に、画素毎の画像データを記憶させる。これにより、車両２００の前方、右方、後方、左方に対応する俯瞰画像が合成されて、１つの俯瞰合成画像が描画されることになる（Ｓ１０４）。
【００４０】
図５は、俯瞰合成画像の一例を示す図である。図５に示す俯瞰合成画像は、車両２００の前方に対応する俯瞰画像２１２、右方に対応する俯瞰画像２１４、後方に対応する俯瞰画像２１６、及び、左方に対応する俯瞰画像２１８を合成して得られる。この俯瞰合成画像において、前方に対応する俯瞰画像２１２と右方に対応する俯瞰画像２１４との重複部分２２２では、フレームメモリ１０６における所定の記憶領域に、前方に対応する俯瞰画像２１２の端部に対応する画像データ２２２ｂと右方に対応する俯瞰画像２１４の端部に対応する画像データ２２２ａとが記憶された後、右方に対応する俯瞰画像２１４の端部に対応する画像データ２２２ａが後述するライン画像で上書きされることで、前方に対応する俯瞰画像２１２が優先して表出している。これは、以下の理由による。すなわち、図６（ａ）に示す車両２００の前方を撮影するカメラ１５２の画角θ１と、図６（ｂ）に示す車両２００の右方を撮影するカメラ１５４の画角θ２とを比較すると、カメラ１５２の画角θ１の方が撮影範囲が狭いために小さい。このため、カメラ１５２によって生成された画像データに対応する俯瞰画像は、カメラ１５４によって生成された画像データに対応する俯瞰画像よりも歪みが小さい。従って、カメラ１５２によって生成された画像データに対応する俯瞰画像、すなわち、前方に対応する俯瞰画像２１２を優先して表出させることが望ましいことによる。
【００４１】
再び、図５に戻って説明する。上述と同様に、車両２００の前方を撮影するカメラ１５２の画角が車両２００の左方を撮影するカメラ１５８の画角より小さいことに鑑み、前方に対応する俯瞰画像２１２と左方に対応する俯瞰画像２１８との重複部分２２８では、フレームメモリ１０６における所定の記憶領域に、前方に対応する俯瞰画像２１２の端部に対応する画像データ２２８ｂと左方に対応する俯瞰画像２１８の端部に対応する画像データ２２８ａとが記憶された後、左方に対応する俯瞰画像２１８の端部に対応する画像データ２２８ａが後述するライン画像で上書きされることで、前方に対応する俯瞰画像２１２が優先して表出している。更には、車両２００の後方を撮影するカメラ１５６の画角が車両２００の右方を撮影するカメラ１５４の画角より小さいことに鑑み、後方に対応する俯瞰画像２１２と右方に対応する俯瞰画像２１４との重複部分２２４では、フレームメモリ１０６における所定の記憶領域に、後方に対応する俯瞰画像２１６の端部に対応する画像データ２２４ｂと右方に対応する俯瞰画像２１４の端部に対応する画像データ２２４ａとが記憶された後、右方に対応する俯瞰画像２１４の端部に対応する画像データ２２４ａが後述するライン画像で上書きされることで、後方に対応する俯瞰画像２１６が優先して表出している。また、車両２００の後方を撮影するカメラ１５６の画角が車両２００の左方を撮影するカメラ１５８の画角より小さいことに鑑み、後方に対応する俯瞰画像２１６と左方に対応する俯瞰画像２１８との重複部分２２６では、フレームメモリ１０６における所定の記憶領域に、後方に対応する俯瞰画像２１６の端部に対応する画像データ２２６ｂと左方に対応する俯瞰画像２１８の端部に対応する画像データ２２６ａとが記憶された後、左方に対応する俯瞰画像２１８の端部に対応する画像データ２２６ａが後述するライン画像で上書きされることで、後方に対応する俯瞰画像２１６が優先して表出している。
【００４２】
再び図４に戻って説明する。俯瞰合成画像が描画されると、更に、画像合成部１１６は、車両２００についての上方を視点とする画像に対応する画像データを、フレームメモリ１０６における、俯瞰合成画像によって囲まれた部分に対応する記憶領域に記憶させる。これにより、図７に示すように、車両２００の前方に対応する俯瞰画像２１２、右方に対応する俯瞰画像２１４、後方に対応する俯瞰画像２１６、及び、左方に対応する俯瞰画像２１８、並びに、格俯瞰画像のつなぎ目部分に境界線画像を有してなる俯瞰合成画像によって囲まれた部分に、車両２００に対応する車両画像２０１が描画されることになる。
【００４３】
このようにして、俯瞰合成画像と車両画像が描画された後、ライン画像が描画される。図８は、車両周辺画像提供装置１００によるライン画像の描画動作を示すフローチャートである。
【００４４】
制御部１０２内のライン描画部１２０において、物体検出部１２２は、隣接する２つの俯瞰画像のつなぎ目部分に対応する実空間に存在する物体を検出する。ここで、物体検出部１２２による４つの検出範囲と、俯瞰合成画像に４箇所存在する隣接する２つの俯瞰画像のつなぎ目部分とは１対１に対応する。物体検出部１２２は、後段において検出結果がどのつなぎ目部分に対応するものであるかを特定可能とすべく、検出結果に、対応する隣接する２つの俯瞰画像のつなぎ目部分の識別情報を付加した上でライン幅設定部１２４へ出力する。ライン幅設定部１２２は、入力した検出結果に基づいて、隣接する２つの俯瞰画像のつなぎ目部分に対応する実空間に物体が存在するか否かを判定する（Ｓ２０１）。
【００４５】
隣接する２つの俯瞰画像のつなぎ目部分に対応する実空間に物体が存在する場合、ライン幅設定部１２２は、そのつなぎ目部分に対応するライン画像の幅を初期値よりも狭く設定する（Ｓ２０２）。ここで、ラインの幅の初期値は、例えば、隣接する２つの俯瞰画像の重複部分の幅である。また、ラインの幅を初期値よりも小さくするとは、ライン画像の幅をゼロにすることを含む。
【００４６】
更に、ライン幅設定部１２２は、この設定したラインの幅に、当該ライン画像に対応する画像データを記憶すべきフレームメモリ１０６内の記憶領域の情報を付加した上で、ライン生成部１２６へ出力する。ここで、ライン画像に対応する画像データを記憶すべきフレームメモリ１０６内の記憶領域は、隣接する２つの俯瞰画像のつなぎ目部分と１対１に対応する。従って、ライン幅設定部１２２は、検出結果に付加された隣接する２つの俯瞰画像のつなぎ目部分の識別情報に基づいて、ラインの画像に対応する画像データを記憶すべきフレームメモリ１０６内の記憶領域を特定可能である。
【００４７】
ライン生成部１２６は、入力したライン画像の幅に基づいて、第１のライン画像に対応する画像データを生成することにより、当該第１のライン画像を描画する（Ｓ２０３）。生成された第１のライン画像に対応する画像データは、当該第１のライン画像に対応する画像データを記憶すべきフレームメモリ１０６内の記憶領域の情報とともに、ライン選択部１３４へ出力される。
【００４８】
Ｓ２０３における第１のライン画像の描画後、あるいは、Ｓ２０１において隣接する２つの俯瞰画像のつなぎ目部分に対応する実空間に物体が存在しないと判定された後、次に、姿勢変化検出部１２８は、車両２００の初期状態からの変化を示す姿勢変化量を検出する（Ｓ２０４）。検出された姿勢変化量は、画像消失量算出部１３０へ出力される。
【００４９】
画像消失量算出部１３０は、入力した姿勢変化量に基づいて、２つの俯瞰画像の隣接する俯瞰画像に対応する実空間の重複部分の幅を画像消失量として算出する。例えば、車両２００が前方に傾斜した場合、車両２００の後方を撮影するカメラ１５６の撮影範囲と、車両２００の右方を撮影するカメラ１５４及び車両２００の左方を撮影する１５８の撮影範囲との重複部分は減少する。このことは、車両２００の後方に対応する俯瞰画像の実空間と車両２００の右方に対応する俯瞰画像の実空間との重複部分の幅、及び、車両２００の後方に対応する俯瞰画像の実空間と車両２００の左方に対応する俯瞰画像の実空間との重複部分の幅が、車両２００の姿勢が初期状態の場合よりも狭くなることを意味する。
【００５０】
更に、画像消失量算出部１３０は、算出した画像消失量に基づいて、ライン画像の幅を設定する（Ｓ２０５）。具体的には、画像消失量算出部１３０は、算出した画像消失量が所定値以上の場合には、ライン画像の幅を第１の所定値に設定する。一方、画像消失量算出部１３０は、算出した画像消失量が所定値以下の場合には、その画像消失量にライン画像の幅を比例させて第１の所定値以下の幅とする。これにより、ライン画像の幅は常に第１の所定値以下とすることができる。
【００５１】
更に、画像消失量算出部１３０は、この設定したライン画像の幅に、当該ライン画像に対応する画像データを記憶すべきフレームメモリ１０６内の記憶領域の情報を付加した上で、ライン生成部１２６へ出力する。
【００５２】
ライン生成部１２６は、入力したライン画像の幅に基づいて、第２のライン画像に対応する画像データを生成することにより、当該第２のライン画像を描画する（Ｓ２０６）。生成された第２のライン画像に対応する画像データは、当該第２のライン画像に対応する画像データを記憶すべきフレームメモリ１０６内の記憶領域の情報とともに、ライン選択部１３４へ出力される。
【００５３】
ライン選択部１３４は、利用者による図示しない操作部を用いた操作指示等に応じて、Ｓ２０３においてライン生成部１２６によって生成されて入力した第１のライン画像に対応する画像データと、Ｓ２０６においてライン生成部１３２によって生成されて入力した第２のライン画像に対応する画像データとのいずれかを選択して、当該画像データを記憶すべきフレームメモリ１０６内の記憶領域に記憶させる（Ｓ２０７）。なお、Ｓ２０１において、隣接する２つの俯瞰画像のつなぎ目部分に対応する実空間に物体が存在しないと判定された場合には、Ｓ２０３における第１のライン画像の描画は行われない。この場合には、ライン選択部１３４は、Ｓ２０６においてライン生成部１３２によって生成されて入力した第２のライン画像に対応する画像データを、当該画像データを記憶すべきフレームメモリ１０６内の記憶領域に記憶させる。
【００５４】
このようにして、俯瞰合成画像、車両画像に加えてライン画像が描画されると、ディスプレイ１０８は、フレームメモリ１０６に記憶された、これら俯瞰合成画像、車両画像及びライン画像に対応する画像データを読み出して、画像を表示する。
【００５５】
上述したように、本実施形態の車両周辺画像提供装置１００は、撮影によって得られた車両２００の前方、右方、後方、左方のそれぞれに対応する画像データに基づいて、隣接する２つの俯瞰画像に対応する実空間の端部が重複するように、車両２００の上方を視点とする俯瞰画像を描画して合成した上で、その俯瞰合成画像を構成する各俯瞰画像のつなぎ目部分に境界線の画像を付加するようにする。更に、車両周辺画像提供装置１００は、俯瞰画像のつなぎ目部分に対応する実空間に物体が存在する場合には、つなぎ目部分に対応するラインの画像の幅を変更することによって、その物体に対応する画像を表出させることを可能とし、車両の姿勢が変化することによって、俯瞰画像に対応する撮影範囲が変化した場合には、その車両の姿勢変化量に応じてラインの画像の幅を変更することによって、そのつなぎ目部分に対応する実空間に物体が存在する場合には、当該物体に対応する画像を表出させることを可能とする。
【００５６】
これにより、車両２００の姿勢が変化することに伴って、当該車両１００に取り付けられたカメラ１５２乃至１５８の撮影範囲が変化した場合であっても、図９に示すように、隣接する２つの俯瞰画像に対応する実空間２３２及び２３４の端部が離れて死角が生じることが防止され、運転者は、俯瞰画像のつなぎ目部分に対応する実空間に物体２０２が存在すること、及び、その物体２０２の形状を認識することが可能となる。また、図１０に示すように、俯瞰画像２１６と俯瞰画像２１８のつなぎ目部分に対応する実空間に物体が存在する場合は、俯瞰画像２１２と俯瞰画像２１４のつなぎ目部分に対応するライン画像２４２、俯瞰画像２１４と俯瞰画像２１６のつなぎ目部分に対応するライン画像２４４、俯瞰画像２１６と俯瞰画像２１８のつなぎ目部分に対応するライン画像２４６、俯瞰画像２１８と俯瞰画像２１２のつなぎ目部分に対応するライン画像２４８のうち、俯瞰画像２１６と俯瞰画像２１８のつなぎ目部分に対応するライン画像２４６の幅を小さくする、あるいは、車両２００の姿勢変化量に応じてライン画像２４６の幅を変更することで、その物体に対応する画像２０３を表出させることが可能となり、運転者は、どのような形状の物体がどの位置に存在するのかを認識することが可能となる。
【００５７】
なお、上述した実施形態では、図８に示すように、第１のライン画像を描画するとともに第２のライン画像を描画して、これらのいずれかを選択するようにしたが、Ｓ２０１乃至Ｓ２０３の動作のみにより第１のライン画像のみを描画してもよく、Ｓ２０４乃至２０６の動作によって第２のライン画像のみを描画してもよい。
【産業上の利用可能性】
【００５８】
以上、説明したように、本発明に係る画像処理装置は、車両周辺の監視の確実性を向上させることが可能であり、画像処理装置及び画像処理方法として有用である。
【図面の簡単な説明】
【００５９】
【図１】本発明の実施形態に係る車両周辺画像提供装置の構成を示す図である。
【図２】車両に対するカメラの取り付け状態の一例を示す図である。
【図３】車両に対する超音波センサの取り付け状態の一例を示す図である。
【図４】車両周辺画像提供装置による俯瞰合成画像の描画動作を示すフローチャートである。
【図５】俯瞰合成画像の一例を示す図である。
【図６】カメラの画角の一例を示す図である。
【図７】俯瞰合成画像と車両画像の一例を示す図である。
【図８】車両周辺画像提供装置によるライン画像の描画動作を示すフローチャートである。
【図９】車両周辺画像提供装置による隣接する２つの俯瞰画像に対応する実空間の一例を示す図である。
【図１０】俯瞰合成画像、車両画像及びライン画像の一例を示す図である。
【図１１】従来の車両周辺監視装置による隣接する２つの俯瞰画像に対応する実空間の一例を示す図である。
【図１２】従来の俯瞰合成画像、車両画像及びマスクパターン画像の一例を示す図である。
【符号の説明】
【００６０】
１００ 車両周辺画像提供装置
１０２ 制御部
１０４ マッピングメモリ
１０６ フレームメモリ
１０８ ディスプレイ
１１０ 画像描画部
１２０ ライン描画部
１１２ 画像データ取得部
１１４ 視点変換部
１１６ 画像合成部
１２２ 物体検出部
１２４ ライン幅設定部
１２６ ライン生成部
１２８ 姿勢変化検出部
１３０ 画像消失量算出部
１３２ ライン生成部
１３４ ライン選択部
１５２、１５４、１５６、１５８ カメラ
１６２、１６４、１６６、１６８ 超音波センサ
【特許請求の範囲】
【請求項１】
車両の周辺を撮影して得られる画像を処理する画像処理装置であって、
前記車両に取り付けられ、該車両の周辺を撮影して画像データを生成する複数の撮影手段と、
前記撮影手段のそれぞれによって生成された前記画像データ毎に、該画像データに基づいて、前記車両の上方を視点とする俯瞰画像を、隣接する２つの俯瞰画像に対応する実空間の端部が重複するように描画する俯瞰画像描画手段と、
前記画像描画手段により描画された前記画像データ毎の俯瞰画像を所定の配置で合成して俯瞰合成画像を描画する画像合成手段と、
前記画像合成手段により描画された前記俯瞰合成画像に含まれる俯瞰画像のつなぎ目部分に対応する実空間に存在する物体を検出する物体検出手段と、
前記俯瞰合成画像に含まれる俯瞰画像のつなぎ目部分である重複部分のうち、一方の重複部分を境界線画像に設定するとともに、前記物体検出手段により重複部分に対応する実空間に存在する物体が検出された場合に、前記境界線画像の幅を変更する境界線幅設定手段と、
前記画像合成手段により描画された前記俯瞰合成画像に含まれる俯瞰画像のつなぎ目部分に、前記境界線幅設定手段により設定された幅の境界線画像を一方の俯瞰画像の重複部分に重畳して境界線付き俯瞰合成画像を描画する画像付加手段とを有することを特徴とする画像処理装置。
【請求項２】
車両の周辺を撮影して得られる画像を処理する画像処理装置であって、
前記車両に取り付けられ、該車両の周辺を撮影して画像データを生成する複数の撮影手段と、
前記撮影手段のそれぞれによって生成された前記画像データ毎に、該画像データに基づいて、前記車両の上方を視点とする俯瞰画像を、隣接する２つの俯瞰画像に対応する実空間の端部が重複するように描画する俯瞰画像描画手段と、
前記画像描画手段により描画された前記画像データ毎の俯瞰画像を所定の配置で合成して俯瞰合成画像を生成する画像合成手段と、
前記車両の姿勢変化量を検出する姿勢変化検出手段と、
前記俯瞰合成画像に含まれる俯瞰画像のつなぎ目部分である重複部分のうち、一方の重複部分を境界線画像に設定するとともに、前記姿勢変化検出手段により検出された前記車両の姿勢変化量に基づいて、前記境界線画像の幅を変更する境界線幅設定手段と、
前記画像合成手段により描画された前記俯瞰合成画像に含まれる俯瞰画像のつなぎ目部分に、前記境界線幅設定手段により設定された幅の境界線画像を一方の俯瞰画像の重複部分に重畳して境界線付き俯瞰合成画像を描画する画像付加手段とを有することを特徴とする画像処理装置。
【請求項３】
前記境界線幅設定手段は、前記物体検出手段により前記俯瞰合成画像に含まれる俯瞰画像のつなぎ目部分に対応する実空間に存在する物体が検出された場合に、前記境界線画像の幅を初期値より小さくすることを特徴とする請求項１に記載の画像処理装置。
【請求項４】
前記物体検出手段は、前記俯瞰画像のつなぎ目部分に対応する実空間毎に設けられ、該実空間に存在する物体を検出するセンサを有することを特徴とする請求項１又は３に記載の画像処理装置。
【請求項５】
前記画像合成手段は、前記俯瞰画像の重複部分において、該俯瞰画像に対応する画像データを生成した前記撮影手段のうち、画角の小さい前記撮影手段によって生成された画像データに対応する俯瞰画像を他方の俯瞰画像として、重複部分を優先して描画することを特徴とする請求項１乃至４のいずれかに記載の画像処理装置。
【請求項６】
表示対象の画像に対応する画像データを記憶するフレームメモリを有し、
前記画像合成手段は、前記画像描画手段により描画された前記俯瞰画像に対応する画像データを、前記俯瞰画像毎に定まる前記フレームメモリ内の所定の記憶領域に記憶させ、
前記画像付加手段は、前記境界線画像に対応する画像データを、前記境界線画像毎に定まる前記フレームメモリ内の所定の記憶領域に記憶させることを特徴とする請求項１乃至５のいずれかに記載の画像処理装置。
【請求項７】
前記画像描画手段により描画された前記俯瞰画像の画素位置と、前記フレームメモリ内の記憶領域との対応関係を示すマッピングテーブルを記憶するマッピングテーブルを記憶するマッピングメモリを有し、
前記画像合成手段は、前記マッピングテーブルに基づいて、前記画像描画手段により描画された前記俯瞰画像に対応する画素毎の画像データを、前記フレームメモリの所定の記憶領域に記憶させることを特徴とする請求項６に記載の画像処理装置。
【請求項８】
前記フレームメモリに記憶された画像データに基づく画像を表示する画像表示手段を有することを特徴とする請求項６又は７に記載の画像処理装置。
【請求項９】
前記複数の撮影手段は、
前記車両の前方を撮影する第１の撮影手段と、
前記車両の右方を撮影する第２の撮影手段と、
前記車両の後方を撮影する第３の撮影手段と、
前記車両の左方を撮影する第４の撮影手段とを有することを特徴とする請求項１乃至８のいずれかに記載の画像処理装置。
【請求項１０】
車両の周辺を撮影して得られる画像を処理する画像処理方法であって、
前記車両に取り付けられた複数の撮影手段により前記車両の周辺を撮影して画像データを生成する撮影ステップと、
前記撮影ステップによって前記撮影手段のそれぞれによって生成された前記画像データ毎に、該画像データに基づいて、前記車両の上方を視点とする俯瞰画像を、隣接する２つの俯瞰画像に対応する実空間の端部が重複するように描画する俯瞰画像描画ステップと、
前記画像描画ステップにより描画された前記画像データ毎の俯瞰画像を所定の配置で合成して俯瞰合成画像を描画する画像合成ステップと、
前記前記画像合成ステップにより描画された前記俯瞰合成画像に含まれる俯瞰画像のつなぎ目部分に対応する実空間に存在する物体を検出する物体検出ステップと、
前記俯瞰合成画像に含まれる俯瞰画像のつなぎ目部分である重複部分のうち、一方の俯瞰画像の重複部分を境界線画像に設定するとともに、前記物体検出ステップにより重複部分に対応する実空間に存在する物体が検出された場合に、前記境界線画像の幅を変更する境界線幅設定ステップと、
前記画像合成ステップにより描画された前記俯瞰合成画像に含まれる俯瞰画像のつなぎ目部分に、前記境界線幅設定ステップにより設定された幅の境界線画像を一方の俯瞰画像の重複部分に重畳して境界線付き俯瞰合成画像を描画する画像付加ステップとを有することを特徴とする画像処理方法。
【請求項１１】
車両の周辺を撮影して得られる画像を処理する画像処理方法であって、
前記車両に取り付けられた複数の撮影手段により前記車両の周辺を撮影して画像データを生成する撮影ステップと、
前記撮影ステップによって前記撮影手段のそれぞれによって生成された前記画像データ毎に、該画像データに基づいて、前記車両の上方を視点とする俯瞰画像を、隣接する２つの俯瞰画像に対応する実空間の端部が重複するように描画する俯瞰画像描画ステップと、
前記画像描画ステップにより描画された前記画像データ毎の俯瞰画像を所定の配置で合成して俯瞰合成画像を生成する画像合成ステップと、
前記車両の姿勢変化量を検出する姿勢変化検出ステップと、
前記俯瞰合成画像に含まれる俯瞰画像のつなぎ目部分である重複部分のうち、一方の重複部分を境界線画像に設定するとともに、前記姿勢変化検出ステップにより検出された前記車両の姿勢変化量に基づいて、前記境界線画像の幅を変更する境界線幅設定ステップと、
前記画像合成ステップにより描画された前記俯瞰合成画像に含まれる俯瞰画像のつなぎ目部分に、前記境界線幅設定ステップにより設定された幅の境界線画像を一方の俯瞰画像の重複部分に重畳して境界線付き俯瞰合成画像を描画する画像付加ステップとを有することを特徴とする画像処理方法。
【請求項１】
車両の周辺を撮影して得られる画像を処理する画像処理装置であって、
前記車両に取り付けられ、該車両の周辺を撮影して画像データを生成する複数の撮影手段と、
前記撮影手段のそれぞれによって生成された前記画像データ毎に、該画像データに基づいて、前記車両の上方を視点とする俯瞰画像を、隣接する２つの俯瞰画像に対応する実空間の端部が重複するように描画する俯瞰画像描画手段と、
前記画像描画手段により描画された前記画像データ毎の俯瞰画像を所定の配置で合成して俯瞰合成画像を描画する画像合成手段と、
前記画像合成手段により描画された前記俯瞰合成画像に含まれる俯瞰画像のつなぎ目部分に対応する実空間に存在する物体を検出する物体検出手段と、
前記俯瞰合成画像に含まれる俯瞰画像のつなぎ目部分である重複部分のうち、一方の重複部分を境界線画像に設定するとともに、前記物体検出手段により重複部分に対応する実空間に存在する物体が検出された場合に、前記境界線画像の幅を変更する境界線幅設定手段と、
前記画像合成手段により描画された前記俯瞰合成画像に含まれる俯瞰画像のつなぎ目部分に、前記境界線幅設定手段により設定された幅の境界線画像を一方の俯瞰画像の重複部分に重畳して境界線付き俯瞰合成画像を描画する画像付加手段とを有することを特徴とする画像処理装置。
【請求項２】
車両の周辺を撮影して得られる画像を処理する画像処理装置であって、
前記車両に取り付けられ、該車両の周辺を撮影して画像データを生成する複数の撮影手段と、
前記撮影手段のそれぞれによって生成された前記画像データ毎に、該画像データに基づいて、前記車両の上方を視点とする俯瞰画像を、隣接する２つの俯瞰画像に対応する実空間の端部が重複するように描画する俯瞰画像描画手段と、
前記画像描画手段により描画された前記画像データ毎の俯瞰画像を所定の配置で合成して俯瞰合成画像を生成する画像合成手段と、
前記車両の姿勢変化量を検出する姿勢変化検出手段と、
前記俯瞰合成画像に含まれる俯瞰画像のつなぎ目部分である重複部分のうち、一方の重複部分を境界線画像に設定するとともに、前記姿勢変化検出手段により検出された前記車両の姿勢変化量に基づいて、前記境界線画像の幅を変更する境界線幅設定手段と、
前記画像合成手段により描画された前記俯瞰合成画像に含まれる俯瞰画像のつなぎ目部分に、前記境界線幅設定手段により設定された幅の境界線画像を一方の俯瞰画像の重複部分に重畳して境界線付き俯瞰合成画像を描画する画像付加手段とを有することを特徴とする画像処理装置。
【請求項３】
前記境界線幅設定手段は、前記物体検出手段により前記俯瞰合成画像に含まれる俯瞰画像のつなぎ目部分に対応する実空間に存在する物体が検出された場合に、前記境界線画像の幅を初期値より小さくすることを特徴とする請求項１に記載の画像処理装置。
【請求項４】
前記物体検出手段は、前記俯瞰画像のつなぎ目部分に対応する実空間毎に設けられ、該実空間に存在する物体を検出するセンサを有することを特徴とする請求項１又は３に記載の画像処理装置。
【請求項５】
前記画像合成手段は、前記俯瞰画像の重複部分において、該俯瞰画像に対応する画像データを生成した前記撮影手段のうち、画角の小さい前記撮影手段によって生成された画像データに対応する俯瞰画像を他方の俯瞰画像として、重複部分を優先して描画することを特徴とする請求項１乃至４のいずれかに記載の画像処理装置。
【請求項６】
表示対象の画像に対応する画像データを記憶するフレームメモリを有し、
前記画像合成手段は、前記画像描画手段により描画された前記俯瞰画像に対応する画像データを、前記俯瞰画像毎に定まる前記フレームメモリ内の所定の記憶領域に記憶させ、
前記画像付加手段は、前記境界線画像に対応する画像データを、前記境界線画像毎に定まる前記フレームメモリ内の所定の記憶領域に記憶させることを特徴とする請求項１乃至５のいずれかに記載の画像処理装置。
【請求項７】
前記画像描画手段により描画された前記俯瞰画像の画素位置と、前記フレームメモリ内の記憶領域との対応関係を示すマッピングテーブルを記憶するマッピングテーブルを記憶するマッピングメモリを有し、
前記画像合成手段は、前記マッピングテーブルに基づいて、前記画像描画手段により描画された前記俯瞰画像に対応する画素毎の画像データを、前記フレームメモリの所定の記憶領域に記憶させることを特徴とする請求項６に記載の画像処理装置。
【請求項８】
前記フレームメモリに記憶された画像データに基づく画像を表示する画像表示手段を有することを特徴とする請求項６又は７に記載の画像処理装置。
【請求項９】
前記複数の撮影手段は、
前記車両の前方を撮影する第１の撮影手段と、
前記車両の右方を撮影する第２の撮影手段と、
前記車両の後方を撮影する第３の撮影手段と、
前記車両の左方を撮影する第４の撮影手段とを有することを特徴とする請求項１乃至８のいずれかに記載の画像処理装置。
【請求項１０】
車両の周辺を撮影して得られる画像を処理する画像処理方法であって、
前記車両に取り付けられた複数の撮影手段により前記車両の周辺を撮影して画像データを生成する撮影ステップと、
前記撮影ステップによって前記撮影手段のそれぞれによって生成された前記画像データ毎に、該画像データに基づいて、前記車両の上方を視点とする俯瞰画像を、隣接する２つの俯瞰画像に対応する実空間の端部が重複するように描画する俯瞰画像描画ステップと、
前記画像描画ステップにより描画された前記画像データ毎の俯瞰画像を所定の配置で合成して俯瞰合成画像を描画する画像合成ステップと、
前記前記画像合成ステップにより描画された前記俯瞰合成画像に含まれる俯瞰画像のつなぎ目部分に対応する実空間に存在する物体を検出する物体検出ステップと、
前記俯瞰合成画像に含まれる俯瞰画像のつなぎ目部分である重複部分のうち、一方の俯瞰画像の重複部分を境界線画像に設定するとともに、前記物体検出ステップにより重複部分に対応する実空間に存在する物体が検出された場合に、前記境界線画像の幅を変更する境界線幅設定ステップと、
前記画像合成ステップにより描画された前記俯瞰合成画像に含まれる俯瞰画像のつなぎ目部分に、前記境界線幅設定ステップにより設定された幅の境界線画像を一方の俯瞰画像の重複部分に重畳して境界線付き俯瞰合成画像を描画する画像付加ステップとを有することを特徴とする画像処理方法。
【請求項１１】
車両の周辺を撮影して得られる画像を処理する画像処理方法であって、
前記車両に取り付けられた複数の撮影手段により前記車両の周辺を撮影して画像データを生成する撮影ステップと、
前記撮影ステップによって前記撮影手段のそれぞれによって生成された前記画像データ毎に、該画像データに基づいて、前記車両の上方を視点とする俯瞰画像を、隣接する２つの俯瞰画像に対応する実空間の端部が重複するように描画する俯瞰画像描画ステップと、
前記画像描画ステップにより描画された前記画像データ毎の俯瞰画像を所定の配置で合成して俯瞰合成画像を生成する画像合成ステップと、
前記車両の姿勢変化量を検出する姿勢変化検出ステップと、
前記俯瞰合成画像に含まれる俯瞰画像のつなぎ目部分である重複部分のうち、一方の重複部分を境界線画像に設定するとともに、前記姿勢変化検出ステップにより検出された前記車両の姿勢変化量に基づいて、前記境界線画像の幅を変更する境界線幅設定ステップと、
前記画像合成ステップにより描画された前記俯瞰合成画像に含まれる俯瞰画像のつなぎ目部分に、前記境界線幅設定ステップにより設定された幅の境界線画像を一方の俯瞰画像の重複部分に重畳して境界線付き俯瞰合成画像を描画する画像付加ステップとを有することを特徴とする画像処理方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【公開番号】特開２００９−１０００９５（Ｐ２００９−１０００９５Ａ）
【公開日】平成２１年５月７日（２００９．５．７）
【国際特許分類】
【出願番号】特願２００７−２６７８８６（Ｐ２００７−２６７８８６）
【出願日】平成１９年１０月１５日（２００７．１０．１５）
【出願人】（０００１０１７３２）アルパイン株式会社 (2,424)
【Ｆターム（参考）】
【公開日】平成２１年５月７日（２００９．５．７）
【国際特許分類】
【出願日】平成１９年１０月１５日（２００７．１０．１５）
【出願人】（０００１０１７３２）アルパイン株式会社 (2,424)
【Ｆターム（参考）】
[ Back to top ]