車両用周囲監視装置
【課題】車両周囲を撮影した複数の画像を合成して、車両周囲の状況を俯瞰する俯瞰画像を生成すると、画像の繋ぎ目において、路面から高さを有する物体に対して死角が生じてしまう。
【解決手段】撮影手段２０で撮影された画像の繋ぎ目の内部に、仮想スクリーン設置手段３０によって、路面に垂直で車両に対して遠近方向に延びた仮想スクリーンを設置し、仮想スクリーン投影画像生成手段４０によって、撮影手段２０で撮影された画像を仮想スクリーンに投影変換して、仮想スクリーン投影画像を生成し、画像表示手段９０でこれを表示する。
【解決手段】撮影手段２０で撮影された画像の繋ぎ目の内部に、仮想スクリーン設置手段３０によって、路面に垂直で車両に対して遠近方向に延びた仮想スクリーンを設置し、仮想スクリーン投影画像生成手段４０によって、撮影手段２０で撮影された画像を仮想スクリーンに投影変換して、仮想スクリーン投影画像を生成し、画像表示手段９０でこれを表示する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車両に設置され、車両の周囲を撮影した画像を表示する車両用周囲監視装置に関する。詳細には、車両の周囲に障害物が存在したとき、その障害物の存在を的確に表示することができる車両用周囲監視装置に関する。
【背景技術】
【０００２】
近年、車両にカメラを設置し、運転者に対して死角になりやすい車両周辺の画像を撮影して表示するシステムが一般的になってきている。
【０００３】
特に、最近では、車両に複数のカメラを設置し、真上から見下ろしたように座標変換して俯瞰画像を生成し、さらに、生成した俯瞰画像同士を合成して、車両の周囲３６０°を見渡した画像を表示するシステムも実用化されている。
【０００４】
その中には、例えば、俯瞰画像同士を合成する際、画像の繋ぎ目の位置を、車両の挙動に基づいて設定する発明が提案されている（特許文献１）。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００７−３６６６８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、特許文献１に開示された発明では、高さのある物体を路面に投影変換して画像化しているため、路面から高さのある物体は、変換後の画像では歪んでしまい、これによって立体物が認知しにくくなるという課題がある。
【０００７】
また、異なるカメラで撮影した画像同士の、ちょうど繋ぎ目の位置に細い柱状物（立体物）が直立していたとき、撮影された画像を路面に投影変換すると、この柱状物は、その柱状物を撮影するカメラの主点位置と柱状物とを結ぶ方向に、カメラから遠ざかる向きに倒れ込んで変換される。したがって、繋ぎ目の位置で画像を合成すると、その繋ぎ目の位置を越えて倒れ込んだ柱状物の変換像が切り取られてしまい、結果的に、画像の繋ぎ目の位置にある柱状物の変換像は、路面と接している部分のみしか残らず、すなわち、合成された俯瞰画像上では、その繋ぎ目において、路面から高さを有する物体に対して死角が生じてしまうという課題がある。
【０００８】
本発明は上記事情に鑑みなされたもので、画像同士の繋ぎ目においても、死角を生じることなく、路面から高さのある立体物を、歪みなく的確に表示することができる車両用周囲監視装置を提供することを目的とする。
【課題を解決するための手段】
【０００９】
本発明に係る車両用周囲監視装置は、車両の周囲に取り付けられ、隣り合う撮影範囲の一部が重複するように配置された複数の撮影手段の重複領域の中に、仮想スクリーン設置手段が前記車両に対して遠近方向に延びた仮想スクリーンを設置し、仮想スクリーン投影画像生成手段が、隣り合う前記撮影手段で撮影した各々の画像を、前記仮想スクリーンに投影して仮想スクリーン投影画像を生成し、第１視点変換手段が、仮想スクリーン投影画像を所定の視点位置から所定の視線方向を向いて観測した画像に座標変換して、画像表示手段が前記座標変換された画像を表示するものである。
【００１０】
すなわち、本発明に係る第１の車両用周囲監視装置は、車両周囲を撮影するように、隣り合う撮影範囲の一部が重複領域を有して車両に設置された複数の撮影手段と、前記撮影範囲の重複領域の内部に、前記車両に対して遠近方向に延び、鉛直方向に立ち上がった仮想スクリーンを設置する仮想スクリーン設置手段と、隣り合う前記撮影手段で撮影した各々の画像の各画素に格納された濃淡値に対応する値を、前記撮影手段の各々の主点に対応する位置から前記撮影手段で撮影された画像の各画素に向かって延ばした半直線が前記仮想スクリーンと交差する位置に格納する仮想スクリーン投影画像生成手段と、前記仮想スクリーン投影画像生成手段によって生成された画像を、所定の視点位置から所定の視線方向を向いて観測した画像に座標変換して出力する第１視点変換手段と、前記第１視点変換手段によって出力された画像を表示する画像表示手段とを備えたことを特徴とする。
【００１１】
このように構成された本発明に係る第１の車両用周囲監視装置によれば、仮想スクリーン設置手段が、隣り合う撮影手段の各々の撮影範囲の重複領域の中に、車両に対して遠近方向に延びた仮想スクリーンを設置し、仮想スクリーン投影画像生成手段が隣り合う前記撮影手段で撮影した各々の画像の濃淡値に対応した値を前記仮想スクリーンに投影して仮想スクリーン投影画像を生成し、こうして生成された仮想スクリーン投影画像を、画像表示手段によって表示することにより、画像同士の繋ぎ目においても、死角を生じることなく、路面から高さのある立体物を、歪みなく的確に表示することができる。
【００１２】
また、本発明に係る第２の車両用周囲監視装置は、車両周囲を撮影するように、隣り合う撮影範囲の一部が重複領域を有して車両に設置された複数の撮影手段と、前記撮影範囲の重複領域の内部に、前記車両に対して遠近方向に延び、鉛直方向に立ち上がった仮想スクリーンを設置する仮想スクリーン設置手段と、隣り合う前記撮影手段で撮影した各々の画像の各画素に格納された濃淡値に対応する値を、前記撮影手段の各々の主点に対応する位置から前記撮影手段で撮影された画像の各画素に向かって延ばした半直線が前記仮想スクリーンと交差する位置に格納する仮想スクリーン投影画像生成手段と、前記仮想スクリーン投影画像生成手段によって生成された画像を、所定の視点位置から所定の視線方向を向いて観測した画像に座標変換して出力する第１視点変換手段と、前記複数の撮影手段で撮影した各々の画像の各画素に格納された濃淡値を、前記撮影手段の各々の主点に対応する位置から前記撮影手段で撮影された画像の各画素に向かって延ばした半直線が路面と交差する位置に格納する路面投影画像生成手段と、前記路面投影画像生成手段によって生成された画像を、前記所定の視点位置から、前記所定の視線方向を向いて観測した画像に座標変換して出力する第２視点変換手段と、前記第１視点変換手段によって出力された画像と、前記第２視点変換手段によって出力された画像とを、１枚の画像に合成して出力する画像合成手段と、前記画像合成手段によって出力された画像を表示する画像表示手段とを備えたことを特徴とする。
【００１３】
このように構成された本発明に係る第２の車両用周囲監視装置によれば、仮想スクリーン設置手段が、隣り合う撮影手段の各々の撮影範囲の重複領域の中に、車両に対して遠近方向に延びた仮想スクリーンを設置し、仮想スクリーン投影画像生成手段が隣り合う前記撮影手段で撮影した各々の画像の濃淡値に対応した値を前記仮想スクリーンに投影して仮想スクリーン投影画像を生成するとともに、路面投影画像生成手段が、前記複数の撮影手段で撮影した各々の画像の各画素に格納された濃淡値を路面に投影して路面投影画像を生成し、こうして生成された仮想スクリーン投影画像と路面投影画像とを、画像合成手段によって１枚の画像に合成して、画像表示手段によって表示することにより、隣り合う撮影範囲の境界部分のみならず、車両周囲に存在する立体物をも、的確に表示することができる。
【発明の効果】
【００１４】
本発明に係る車両用周囲監視装置によれば、車両周囲に設置された複数の撮影手段で撮影した画像の繋ぎ目に存在する、路面から高さのある立体物を、歪みなく的確に表示することができ、これによって、表示された画像を頼りに、車両の駐車操作や切り返し操作を、円滑に行うことができるようになるという効果が得られる。
【図面の簡単な説明】
【００１５】
【図１】本発明の第１実施形態に係る車両用周囲監視装置の概略構成を示すブロック図である。
【図２】（ａ）本発明の第１実施形態が設置された車両の左側面図である。（ｂ）本発明の第１実施形態が設置された車両の上面図である。
【図３】仮想的に設定した車両周囲環境の配置図である。
【図４】（ａ）第１カメラで撮影した画像を第１仮想スクリーンに投影する様子を説明する図である。（ｂ）第２カメラで撮影した画像を第１仮想スクリーンに投影する様子を説明する図である。（ｃ）第１仮想スクリーン投影画像を示す図である。
【図５】本発明の第１実施形態の動作を説明するフローチャートである。
【図６】（ａ）第１カメラで撮影した画像を路面に投影する様子を説明する図である。（ｂ）第２カメラで撮影した画像を路面に投影する様子を説明する図である。（ｃ）第１カメラで撮影した画像と、第２カメラで撮影した画像を各々路面に投影して合成する様子を説明する図である。
【図７】（ａ）第１カメラから第４カメラで撮影した画像を各々路面に投影して合成する様子を説明する図である。（ｂ）合成路面投影画像を示す図である。
【図８】（ａ）車両前進時に表示用モニタに表示される画像の例である。（ｂ）車両後退時に表示用モニタに表示される画像の例である。
【図９】本発明の第１実施例の別の表示形態を示す図である。
【図１０】本発明の第２実施形態に係る車両用周囲監視装置の概略構成を示すブロック図である。
【図１１】（ａ）本発明の第２実施形態が設置された車両の左側面図である。（ｂ）本発明の第２実施形態が設置された車両の上面図である。
【図１２】本発明の第２実施形態の動作を説明するフローチャートである。
【図１３】（ａ）仮想的に設定した車両周囲環境の配置図である。（ｂ）第１カメラから第４カメラで撮影した４枚の画像をそれぞれ路面投影画像に変換し、それらを合成する様子を説明する図である。（ｃ）合成路面投影画像を示す図である。
【図１４】（ａ）車両前進時に表示用モニタに表示される画像の例である。（ｂ）車両後退時に表示用モニタに表示される画像の例である。
【図１５】透過率設定部で設定される透過率パラメータの例を示す図である。
【発明を実施するための形態】
【００１６】
以下、本発明に係る車両用周囲監視装置の実施形態について、図面を参照して説明する。
【実施例１】
【００１７】
本実施例は、本発明を、車両に設置された複数のカメラで撮影した車両周囲の画像を、運転者に見やすい形態で表示することが可能な、車両用周囲監視装置２に適用したものである。
【００１８】
図１は、本発明の実施形態に係る車両用周囲監視装置２の構成を示すブロック図である。本実施例に係る車両用周囲監視装置２は、図１に示す通り、図示しない車両１に設置され、運転者による車両用周囲監視装置２の起動操作や終了操作を検出する操作検出手段１０と、運転者の手の届く範囲に設置され、車両用周囲監視装置２の起動や終了を指示する操作スイッチ１５と、車両周囲の画像を撮影する複数のカメラから構成された撮影手段２０と、撮影手段２０を構成する複数のカメラのうち、隣り合うカメラの撮影領域の重複部に仮想スクリーンを設置する仮想スクリーン設置手段３０と、仮想スクリーン設置手段３０で設置した仮想スクリーンに、前記隣り合うカメラで撮影した各々の画像を投影して仮想スクリーン投影画像を生成する仮想スクリーン投影画像生成手段４０と、撮影された車両周囲の画像を、路面に投影して路面投影画像を生成する路面投影画像生成手段５０と、仮想スクリーン投影画像生成手段４０で生成された仮想スクリーン投影画像を、所定の仮想視点から所定の仮想視線方向を向いて観測した画像に変換する第１視点変換手段６０と、路面投影画像生成手段５０で生成された路面投影画像を、前記所定の仮想視点から前記所定の仮想視線方向を向いて観測した画像に変換する第２視点変換手段７０と、第１視点変換手段６０によって視点変換された仮想スクリーン投影画像と第２視点変換手段７０によって視点変換された路面投影画像を１枚の画像に合成する画像合成手段８０と、画像合成手段８０で合成した画像を表示する画像表示手段９０とから構成される。
【００１９】
操作検出手段１０は、詳しくは、運転者の起動スイッチ操作を検出する起動スイッチ操作検出部１１と、運転者の終了スイッチ操作を検出する終了スイッチ操作検出部１２と、車両のシフトポジションを検出するシフトポジション検出部１３と、車速を検出する車速検出部１４とからなる。
【００２０】
操作スイッチ１５は、詳しくは、車両用周囲監視装置２の起動を指示する起動スイッチ１６と、車両用周囲監視装置２の終了を指示する終了スイッチ１８とからなる。
【００２１】
撮影手段２０は、詳しくは、図２のように車両の周囲に設置され、隣り合う撮影領域が互いに重複するように配置された第１カメラ２２、第２カメラ２４、第３カメラ２６、第４カメラ２８と、第１カメラ２２の出力信号をＡＤ変換してディジタル信号に変換する第１デコーダ２３、第２カメラ２４の出力信号をＡＤ変換してディジタル信号に変換する第２デコーダ２５、第３カメラ２６の出力信号をＡＤ変換してディジタル信号に変換する第３デコーダ２７、第４カメラ２８の出力信号をＡＤ変換してディジタル信号に変換する第４デコーダ２９とからなる。
【００２２】
仮想スクリーン投影画像生成手段４０は、詳しくは、仮想スクリーン投影画像を生成するために、第１カメラ２２から第４カメラ２８の各設置位置と仮想スクリーンの各設置位置とに基づいて、予め作成された座標変換用データテーブルが格納された第１座標変換データ格納部４４と、第１座標変換データ格納部４４に格納された座標変換用データテーブルに基づいて、仮想スクリーン投影画像を生成する仮想スクリーン投影画像生成部４２とからなる。
【００２３】
路面投影画像生成手段５０は、詳しくは、路面投影画像を生成するために、第１カメラ２２から第４カメラ２８の各設置位置に基づいて、予め作成された座標変換用データテーブルが格納された第２座標変換データ格納部５６と、第２座標変換データ格納部５６に格納された座標変換用データテーブルに基づいて、各カメラで撮影した画像から路面投影画像を生成する路面投影画像生成部５２と、生成された複数の路面投影画像を１枚の画像に合成する路面投影画像合成部５４とからなる。
【００２４】
第１視点変換手段６０は、詳しくは、車両１の進行方向や運転者のスイッチ操作に基づいて、仮想スクリーン投影画像と路面投影画像の合成画像を生成するための仮想視点位置と仮想視線方向を設定する仮想視点位置・仮想視線方向設定部６６と、仮想視点位置・仮想視線方向設定部６６で設定された仮想視点位置から仮想視線方向に向けて、仮想スクリーン投影画像の視点変換を行うための座標変換用データテーブルが格納された第３座標変換データ格納部６４と、第３座標変換データ格納部６４に格納された座標変換用データテーブルに基づいて、仮想スクリーン投影画像を視点変換する第１視点変換部６２とからなる。
【００２５】
第２視点変換手段７０は、詳しくは、仮想視点位置・仮想視線方向設定部６６で設定された仮想視点位置から仮想視線方向に向けて、路面投影画像の視点変換を行うための座標変換用データテーブルが格納された第４座標変換データ格納部７４と、第４座標変換データ格納部７４に格納された座標変換用データテーブルに基づいて、路面投影画像を視点変換する第２視点変換部７２とからなる。
【００２６】
画像合成手段８０は、詳しくは、第１視点変換手段６０によって視点変換された仮想スクリーン投影画像と第２視点変換手段７０によって視点変換された路面投影画像とを１枚の画像に合成する際、画像が重複する部分の透過率を設定する透過率設定部８４と、透過率設定部８４で設定された透過率にて、第１視点変換手段６０によって視点変換された仮想スクリーン投影画像を前面に、第２視点変換手段７０によって視点変換された路面投影画像を背面にして合成する画像合成部８２とからなる。
【００２７】
さらに、画像表示手段９０は、詳しくは、画像合成手段８０で合成された画像を、ディジタル信号からアナログ信号に変換するエンコーダ９２と、車内に設置され、エンコーダ９２によってアナログ信号に変換された画像を表示する、液晶モニタ等の表示用モニタ９４とからなる。
【００２８】
次に、本実施例に係る車両用周囲監視装置２の作用について、図５のフローチャートに基づいて説明する。本実施例に係る車両用周囲監視装置２は、車両の駐車時や狭い場所での切り返し時に利用され、車両周囲の画像を運転者に呈示して運転動作を補助するものである。
【００２９】
図２（ａ）に示すように、第１カメラ２２は車両１のフロントバンパに、第２カメラ２４は車両１の左ドアミラーに、第３カメラ２６は車両１のリアバンパにそれぞれ設置されており、図２（ａ）には図示しないが、第４カメラ２８は車両１の右ドアミラーに設置されている。
【００３０】
また、各カメラは、図２（ｂ）に示す通り、それらの撮影範囲と路面とが、各交線１２０、１２２、１２４、１２６で交わる範囲を撮影するように設置されている。
【００３１】
なお、隣り合うカメラ２２と２４、２４と２６、２６と２８、および２８と２２は、図２（ｂ）に示す通り、各々の撮影範囲が互いに重複し、第１重複領域Ｅ１、第２重複領域Ｅ２、第３重複領域Ｅ３、第４重複領域Ｅ４を有するように設置されている。
【００３２】
まず、車両１が、駐車のために前方に向かって前進している場面について、本実施例の車両用周囲監視装置２の動作を説明する。運転者は、車両周囲の画像を監視する場合、車内に設置された起動スイッチ１６を操作する。すると、起動スイッチ操作検出部１１により起動スイッチ操作が検出され（図５のＳ２）、車両用周囲監視装置２の状態を表す変数βに１が与えられる（図５のＳ４）。
【００３３】
第１カメラ２２から第４カメラ２８で撮影された画像は、それぞれ、第１デコーダ２３から第４デコーダ２９で標本化および量子化されてディジタル画像に変換される（図５のＳ６）。なお、第１カメラ２２から第４カメラ２８で撮影された画像を、各々Ｉ１（ｘ、ｙ）、Ｉ２（ｘ、ｙ）、Ｉ３（ｘ、ｙ）、Ｉ４（ｘ、ｙ）とする。
【００３４】
次に、仮想スクリーン設置手段３０によって、隣り合って設置されたカメラの撮影範囲の重複領域Ｅ１、Ｅ２、Ｅ３、Ｅ４の中に、それぞれ、各重複領域Ｅ１、Ｅ２、Ｅ３、Ｅ４の面積を２等分するように、車両から遠近方向に延びた、路面に垂直な平面状の仮想スクリーン２００、２１０、２２０、２３０が設置される。
【００３５】
図３に、仮想スクリーン２００の設置位置のみを示す。仮想スクリーン２００は、図３において、∠ＸＯＡ＝∠ＹＯＡとなるように設置される。
【００３６】
仮想スクリーン２１０、２２０、２３０は図示しないが、仮想スクリーン２００と同様な位置関係にて設置される。
【００３７】
さらに、仮想スクリーン投影画像生成手段４０によって、第１重複領域Ｅ１に設置した第１仮想スクリーン２００に画像Ｉ１（ｘ、ｙ）と画像Ｉ２（ｘ、ｙ）を投影変換し、第２重複領域Ｅ２に設置した第２仮想スクリーン２１０に画像Ｉ２（ｘ、ｙ）と画像Ｉ３（ｘ、ｙ）を投影変換し、第３重複領域Ｅ３に設置した第３仮想スクリーン２２０にＩ３（ｘ、ｙ）と画像Ｉ４（ｘ、ｙ）を投影変換し、第４重複領域Ｅ４に設置した第４仮想スクリーン２３０にＩ４（ｘ、ｙ）と画像Ｉ１（ｘ、ｙ）を投影変換する（図５のＳ７）。
【００３８】
ここで、図３と図４に基づいて、第１仮想スクリーン２００への投影変換の方法を説明する。図３は、車両１と、その左前方に４本の細い柱状物（第１柱状物３０１、第２柱状物３０２、第３柱状物３０３、第４柱状物３０４）が、路面に垂直に起立しており、正方形の４つの頂点の位置に配置されている様子を示す。
【００３９】
なお、説明を簡単にするため、第１カメラ２２と第２カメラ２４の撮影範囲についてのみ説明するが、他のカメラの撮影範囲についても同様である。さらに、各カメラ２２、２４は水平方向に向いて設置されており、第１カメラ２２は∠ＸＰＸ’の範囲を撮影するものとし、第２カメラ２４は∠ＹＱＹ’の範囲を撮影するものとする。また、車両１は水平な路面上にあるものとする。
【００４０】
ここで、∠ＸＯＹを２等分する位置に、路面に垂直な平面状の第１仮想スクリーン２００を設置する。ここで、第１柱状物３０１と第３柱状物３０３は、第１仮想スクリーン２００と重なる位置に起立しているものとする。
【００４１】
仮想スクリーン投影画像生成手段４０は、図４（ａ）に示すように、第１カメラ２２で撮影した画像Ｉ１（ｘ、ｙ）の濃淡値を、第１仮想スクリーン２００に投影するとともに、図４（ｂ）に示すように、第２カメラ２４で撮影した画像Ｉ２（ｘ、ｙ）の濃淡値を、第１仮想スクリーン２００に投影する。
【００４２】
仮想スクリーンへの投影変換とは、カメラで実際に撮影された像が、仮想スクリーン上に元々存在した物体の像であると仮定して、撮影された画像の濃淡値に対応する値を、仮想スクリーン上の対応する位置に格納するものである。
【００４３】
この投影変換は、具体的には次のようにして実行される。図４（ａ）において、画像Ｉ１（ｘ、ｙ）に写った第２柱状物３０２の像を構成する、画素（ｘ0、ｙ0）に着目する。画素（ｘ0、ｙ0）に格納された濃淡値Ｉ１（ｘ0、ｙ0）は、図４（ａ）に示す第１カメラ２２の主点位置Ｐから、着目している第２柱状物３０２を構成する画素（ｘ0、ｙ0）に向かって延ばした半直線が、第１仮想スクリーン２００と交差する点に投影されるものとし、その交差する点に、濃淡値Ｉ１（ｘ0、ｙ0）に対応する値を格納する。
【００４４】
図４（ａ）の場合、点Ｍと点Ｎに挟まれた区間に第２柱状物３０２の像が投影されるため、第１仮想スクリーン２００上の点Ｍと点Ｎに挟まれた領域に、第２柱状物３０２の像の濃淡値に対応する値が格納され、第２柱状物３０２の仮想スクリーン投影像３０２Ｐが生成される。
【００４５】
同様の処理を、画像Ｉ１（ｘ、ｙ）の全ての画素に対して行うことにより、第１仮想スクリーン２００には、第１柱状物３０１の仮想スクリーン投影像３０１Ｐ、第３柱状物３０３の仮想スクリーン投影像３０３Ｐ、第４柱状物３０４の仮想スクリーン投影像３０４Ｐが、それぞれ生成される（図４（ａ）参照）。
【００４６】
同様の処理を、第２カメラ２４で撮影した画像Ｉ２（ｘ、ｙ）に対しても行うと、第１仮想スクリーン２００には、第１柱状物３０１の仮想スクリーン投影像３０１Ｑ、第２柱状物３０２の仮想スクリーン投影像３０２Ｑ、第３柱状物３０３の仮想スクリーン投影像３０３Ｑ、第４柱状物３０４の仮想スクリーン投影像３０４Ｑが、それぞれ生成される（図４（ｂ）参照）。
【００４７】
こうして生成された仮想スクリーン投影像を加算合成することより、図４（ｃ）に示す第１仮想スクリーン投影画像２０５が生成される。なお、単純に加算合成を行うと、第１仮想スクリーン投影画像２０５に格納可能な量子化ビット数に応じた値を越えてしまう可能性があるため、ここでは、画像Ｉ１（ｘ、ｙ）の濃淡値と、画像Ｉ２（ｘ、ｙ）の濃淡値を、それぞれ１／２倍して加算するものとする。
【００４８】
４本の柱状物３０１、３０２、３０３、３０４は、路面に垂直に起立しており、第１カメラ２２と第２カメラ２４は、簡単のため水平向きに設置されているものとしたため、第１仮想スクリーン２００には、図４（ｃ）に示すように、各柱状物３０１、３０２、３０３、３０４の仮想スクリーン投影像が、スクリーンの上下方向に帯状に生成される。
【００４９】
ここで、４本の柱状物３０１、３０２、３０３、３０４と車両１が、図３の位置関係にあるとき、４本の柱状物３０１、３０２、３０３、３０４は、ともに、第１カメラ２２、および第２カメラ２４を通して、第１仮想スクリーン２００に投影され、図４（ａ）に示すように、第１カメラ２２から見て４本の仮想スクリーン投影像が生成され、図４（ｂ）に示すように、第２カメラ２４から見て４本の仮想スクリーン投影像が生成される。
【００５０】
これらの仮想スクリーン投影像を加算合成すると、仮想スクリーン投影像同士の重なりが発生するため、図４（ｃ）のように、５本の仮想スクリーン投影像が生成される。図４（ｃ）に示す５本の仮想スクリーン投影像は、左側から順に、仮想スクリーン投影像３０４Ｐ、仮想スクリーン投影像３０２Ｑ、仮想スクリーン投影像３０１Ｐと３０１Ｑ、仮想スクリーン投影像３０３Ｐと３０３Ｑ、仮想スクリーン投影像３０２Ｐと３０４Ｑにそれぞれ対応したものである。
【００５１】
但し、この仮想スクリーン投影像の本数は、柱状物の起立位置と仮想スクリーンの位置関係に依存することは言うまでもない。
【００５２】
仮想スクリーンへの投影変換の手続きは、仮想スクリーン投影画像生成部４２で行われるが、第１仮想スクリーン２００と交差する点を、画像Ｉ１（ｘ、ｙ）、画像Ｉ２（ｘ、ｙ）の画素毎に算出するのは計算負荷が大きいため、第１カメラ２２と第２カメラ２４の配置に基づいて、第１仮想スクリーン投影画像２０５の任意の画素に投影される、画像Ｉ１（ｘ、ｙ）と画像Ｉ２（ｘ、ｙ）の座標値を、予め計算で求めておき、その計算結果に基づいて座標変換テーブルを予め作成して、第１座標変換データ格納部４４に格納しておく。
【００５３】
そして、仮想スクリーン投影画像生成部４２では、第１座標変換データ格納部４４に格納された座標変換テーブルに基づいて、座標の置き換えを行うことによって投影変換を実行することで、計算負荷を低減している。
【００５４】
同様の投影変換は、図２の第２重複領域Ｅ２に設置した第２仮想スクリーン２１０、第３重複領域Ｅ３に設置した第３仮想スクリーン２２０、第４重複領域Ｅ４に設置した第４仮想スクリーン２３０に対しても実行される。これにより、４枚の仮想スクリーン投影画像（第１仮想スクリーン投影画像２０５、第２仮想スクリーン投影画像２１５、第３仮想スクリーン投影画像２２５、第４仮想スクリーン投影画像２３５）が生成される。
【００５５】
次に、路面投影画像生成部５２により、画像Ｉ１（ｘ、ｙ）と画像Ｉ２（ｘ、ｙ）、画像Ｉ３（ｘ、ｙ）、画像Ｉ４（ｘ、ｙ）は、各々路面に投影され、さらに、車両真上から見下ろした画像に変換される（図５のＳ８）。
【００５６】
先述した仮想スクリーン投影画像が、カメラで撮影した画像には仮想スクリーン上に存在する物体の像が写っていると仮定して生成した画像であったのに対し、路面投影画像は、カメラで撮影した画像には路面上に存在する物体の像が写っていると仮定して生成した画像である。
【００５７】
路面投影画像の生成は、路面投影画像生成部５２で行われるが、画像Ｉ１（ｘ、ｙ）の場合は、具体的に、第１カメラ２２の主点位置Ｐから、第１カメラ２２で撮影した画像Ｉ１（ｘ、ｙ）の各画素に向かって延ばした半直線が、路面と交差する点を求めることによって行われる。画像Ｉ２（ｘ、ｙ）についても、同様にして路面投影画像が生成される。
【００５８】
ここで、画像Ｉ１（ｘ、ｙ）や画像Ｉ２（ｘ、ｙ）に対して、その画素毎に、路面と交差する点の座標を算出するのは計算負荷が大きいため、第１カメラ２２と第２カメラ２４の配置に基づいて、路面上の任意の点に投影される、画像Ｉ１（ｘ、ｙ）と画像Ｉ２（ｘ、ｙ）の座標値を、予め計算で求めておき、その計算結果に基づいて座標変換テーブルを予め作成して、第２座標変換データ格納部５６に格納しておく。
【００５９】
路面投影画像生成部５２では、第２座標変換データ格納部５６に格納された座標変換テーブルに基づいて、座標の置き換えを行うことによって投影変換を実行することで、計算負荷を低減している。
【００６０】
図３の配置において、第１カメラ２２で撮影した画像Ｉ１（ｘ、ｙ）と、第２カメラ２４で撮影した画像Ｉ２（ｘ、ｙ）を路面投影画像に変換する様子を図６に示す。
【００６１】
図６（ａ）に示す通り、第１カメラ２２で撮影した画像Ｉ１（ｘ、ｙ）に写っている第１柱状物３０１、第２柱状物３０２、第３柱状物３０３、第４柱状物３０４は、各々、路面投影画像上には、第１カメラ２２の主点位置Ｐと各柱状物とを結ぶ方向に沿って、第１カメラ２２から遠ざかるように倒れ込んで変換される。
【００６２】
また、図６（ｂ）に示す通り、第２カメラ２４で撮影した画像Ｉ２（ｘ、ｙ）に写っている第１柱状物３０１から第４柱状物３０４は、各々、路面投影画像上には、第２カメラ２４の主点位置Ｑと各柱状物とを結ぶ方向に沿って、第２カメラ２４から遠ざかるように倒れ込んで変換される。
【００６３】
次に、路面投影画像合成部５４にて、画像Ｉ１（ｘ、ｙ）、画像Ｉ２（ｘ、ｙ）、画像Ｉ３（ｘ、ｙ）、画像Ｉ４（ｘ、ｙ）から、各々変換された路面投影画像が、１枚の画像に合成される。
【００６４】
図６（ｃ）を参照して、路面投影画像の合成方法について説明する。画像Ｉ１（ｘ、ｙ）の路面投影画像と画像Ｉ２（ｘ、ｙ）の路面投影画像は、第１カメラ２２の撮影範囲と第２カメラ２４の撮影範囲の重複領域を２等分する、直線ＡＯを境界線として合成される。すなわち、図６（ａ）、（ｂ）に表示された路面投影画像のうち、直線ＡＯを跨いで投影された像は、合成画像には反映しない。こうして路面投影画像を合成することによって、第１カメラ２２の路面投影画像と第２カメラ２４の路面投影画像は、図６（ｃ）のように合成される。
【００６５】
図６（ｃ）からわかるように、路面投影画像の繋ぎ目である直線ＡＯ上に存在する第１柱状物３０１と第３柱状物３０３の路面投影画像は、それらの柱状物が路面と接する部分を残して消失してしまう。
【００６６】
ここで、車両１の左後方角部、右後方角部、右前方角部にも、それぞれ、左前方角部と同様の配置で、各々４本の細い柱状物が起立していると仮定すると、４台のカメラで撮影された４枚の画像の路面投影画像は、図７（ａ）のように合成される。
【００６７】
なお、車両１自身、およびその直近部分は、カメラの撮影視野の外にあるため、例えば濃淡値を最小値や最大値に置き換えるなどして特異な値を格納し、情報が欠落していることを運転者に知らせる。こうして、図７（ｂ）に示す合成路面投影画像３００が生成される。
【００６８】
次に、図５のＳ７で生成された４枚の仮想スクリーン投影画像は、第１視点変換手段６０によって、所定の視点位置から所定の視線方向を向いて観測した画像に変換される。
【００６９】
ここで、所定の視点位置と所定の視線方向は、操作検出手段１０によって検出された情報に基づいて、仮想視点位置・仮想視線方向設定部６６により決定される。
【００７０】
すなわち、車両用周囲監視装置２の状態を表す変数βに１が与えられている場合（図５のＳ９）、仮想視点は車両１の後方上空に設定され、そこから車両１の前方側を見下ろす仮想視線方向が設定される（図５のＳ１０）。
【００７１】
第３座標変換データ格納部６４には、４枚の仮想スクリーン投影画像を、設定した仮想視点位置から、設定した仮想視線方向を向いて観測したように視点変換するための座標変換テーブルが、予め作成されて格納されており、その座標変換テーブルに基づいて、第１視点変換部６２にて視点変換が行われる（図５のＳ１２）。
【００７２】
さらに、図５のＳ８で生成された合成路面投影画像３００は、第２視点変換手段７０によって、仮想視点位置・仮想視線方向設定部６６で設定したのと同じ視点位置、かつ同じ視線方向を向いて観測した画像に変換される。
【００７３】
具体的には、第４座標変換データ格納部７４には、合成路面投影画像３００を、設定した仮想視点位置から、設定した仮想視線方向を向いて観測したように視点変換するための座標変換テーブルが、予め作成されて格納されており、その座標変換テーブルに基づいて、第２視点変換部７２にて視点変換が行われる（図５のＳ１３）。
【００７４】
次に、第１視点変換部６２で生成された４枚の仮想スクリーン投影画像（第１仮想スクリーン投影画像２０５、第２仮想スクリーン投影画像２１５、第３仮想スクリーン投影画像２２５、第４仮想スクリーン投影画像２３５）と、第２視点変換部７２で生成された合成路面投影画像３００とは、仮想スクリーン投影画像（２０５、２１５、２２５、２３５）を前面に、合成路面投影画像３００を背面にして、画像合成手段８０にて１枚の画像に合成される（図５のＳ１４）。
【００７５】
この画像合成は、透過率設定部８４で決められた透過率に基づいて、画像合成部８２によって行われる。
【００７６】
今、第１視点変換部６２で生成された第１仮想スクリーン投影画像２０５をＫ（ｘ、ｙ）、第２視点変換部７２で生成された合成路面投影画像３００をＬ（ｘ、ｙ）、画像合成手段８０にて合成される画像をＭ（ｘ、ｙ）とすると、Ｍ（ｘ、ｙ）は、式１によって算出される。
【００７７】
Ｍ（ｘ、ｙ）＝α×Ｋ（ｘ、ｙ）＋（１-α）×Ｌ（ｘ、ｙ） （式１）
ここでαは透過率パラメータである。すなわちαは、２枚の画像が重なった時、前面に配置された画像の透過率に対応する値であり、０≦α≦１の範囲をとる。αの値は予め設定され、透過率設定部８４に格納される。本実施例の場合、α＝１に設定されているものとする。これは、仮想スクリーン投影画像（２０５、２１５、２２５、２３５）と合成路面投影画像３００が重なった場合、背面にくる合成路面投影画像３００を不可視とする設定である。なお、αの値は１に限定されるものではなく、最終的に生成される合成画像の用途や見やすさに基づいて、適宜設定される。
【００７８】
こうして得られた合成画像の例を図８（ａ）に示す。ここで、黒く塗り潰された領域は、車両１の存在位置とそのごく近傍にあたる、撮影手段２０の撮影視野を外れた領域と、仮想スクリーン投影画像、および合成路面投影画像以外の領域である。
【００７９】
このうち、車両１の存在位置には、図８（ａ）に示すように、後ろ向きの第１車両アイコン４００を重畳表示して、前後の位置関係をより明確に表現するようにしてもよい。
【００８０】
こうして得られた図８（ａ）の合成画像は、エンコーダ９２によってＤＡ変換され、車両１に内部に設置された表示用モニタ９４に表示される（図５のＳ１５）。
【００８１】
なお、このとき、車速検出部１４により、車速は常に検出されており、検出された車速が所定値を上回った場合（図５のＳ１６）、表示された画像を本装置起動前の状態に戻し（図５のＳ２０）、周囲監視装置の非表示状態に移行する（図５のＳ１）。
【００８２】
また、終了スイッチ操作検出部１２にて、終了スイッチ１８が操作されたことが検出された場合（図５のＳ１８）は、表示された画像を本装置起動前の状態に戻し（図５のＳ２０）、周囲監視装置の非表示状態に移行する（図５のＳ１）。
【００８３】
以上、車両１が前進している場合の動作について説明したが、車両１が後退している場合には、車両後方の画像が表示される。その場合の作用の流れは、上述した車両前進時とほぼ同様であるため、相違点のみ簡単に説明する。
【００８４】
シフトポジション検出部１３にてシフトポジションが後退位置にあることが検出される（図５のＳ３）と、システムの状態を表す変数βに２が格納され（図５のＳ５）、仮想視点位置・仮想視線方向設定部６６にて、仮想視点は車両１の前方上空に設定され、そこから車両１の後方側を見下ろす仮想視線方向が設定される（図５のＳ１１）。
【００８５】
車両前進時と同様にして生成された仮想スクリーン投影画像と合成路面投影画像３００とは、画像合成部８２で合成され、図８（ｂ）に示すように、車両後方を見下ろした画像として表示用モニタ９４に表示される（図５のＳ１５）。このとき、車両１の存在位置には、前向きの第２車両アイコン４１０を重畳表示して、前後の位置関係をより明確に表現するようにしてもよい。
【００８６】
なお、この時、車速検出部１４にて、車速は常にモニタされており、車速が所定値を上回った場合（図５のＳ１６）、車両周囲の画像を表示するのは安全上好ましくないため、表示された画像を本装置起動前の状態に戻し（図５のＳ２０）、周囲監視装置の表示状態から抜ける（図５のＳ１）。
【００８７】
また、シフトポジション検出部１３にて、シフトポジションは常に検出されており、シフトポジションが後退位置以外であることが検出された場合（図５のＳ１９）は、表示された画像を本装置起動前の状態に戻し（図５のＳ２０）、周囲監視装置の表示状態から抜ける（図５のＳ１）。
【００８８】
このように構成された本第１実施形態に係る車両用周囲監視装置２によれば、隣り合うカメラの撮影範囲の境界部分に存在する立体物であっても、前記境界部分に仮想スクリーンを設置し、当該仮想スクリーンへの投影画像を生成してこの投影画像を表示することにより、死角を生じることなく、前記立体物を的確に表示することができる。従って、車両周囲の状況を運転者に的確に伝達することができ、これによって駐車操作や切り返し操作等の車両誘導を円滑に行うことができるようになる。
【００８９】
なお、上記実施例では、仮想スクリーン投影画像と合成路面投影画像を合成して表示する構成になっているが、その形式に囚われることはない。すなわち、仮想スクリーン投影画像のみを、図９のように表示してもよい。これは、図１において、路面投影画像生成手段５０と第２視点変換手段７０と画像合成手段８０を削除した構成によって実現することができる。図９の表示方法によれば、死角が生じる画像の繋ぎ目付近の車両近傍の障害物の状況を的確に表示することができるという効果が得られる。
【００９０】
さらに、上記実施例では、４枚の仮想スクリーン投影画像と合成路面投影画像を、１枚の画像に合成して表示する構成になっているが、その形式に囚われることはない。すなわち、車両前進時には、図８（ａ）で、第１仮想スクリーン投影画像２０５と第４仮想スクリーン投影画像２３５と合成路面投影画像３００のみを合成して表示するようにしてもよい。これは、仮想視点位置・仮想視線方向設定部６６にて仮想視点位置と仮想視点方向を設定した時に、第３座標変換データ格納部６４に対して、第１仮想スクリーン投影画像２０５と第４仮想スクリーン投影画像２３５のみを作成するように指示を与えることによって実現することができる。
【００９１】
また、車両後退時には、図８（ｂ）で、第２仮想スクリーン投影画像２１５と第３仮想スクリーン投影画像２２５と合成路面投影画像３００のみを合成して表示するようにしてもよい。これは、仮想視点位置・仮想視線方向設定部６６にて仮想視点位置と仮想視点方向を設定した時に、第３座標変換データ格納部６４に対して、第２仮想スクリーン投影画像２１５と第３仮想スクリーン投影画像２２５のみを作成するように指示を与えることによって実現できる。これにより、車両の進行方向の情報をより強調して表現することができるため、モニタに表示される画像の瞬読性を、より一層向上させることができる。
【実施例２】
【００９２】
本実施例は、本発明を、車両に設置された複数のカメラで撮影した車両周囲の状況を、運転者に見やすい形態で表示することが可能な、車両用周囲監視装置４に適用したものである。特に、本実施例は、車両周囲に障害物検出手段を備え、この障害物検出手段の出力に基づいて、車両周囲の画像を、よりわかりやすい形態に変換して、車内に設置されたモニタに表示するものである。
【００９３】
図１０は、本発明の実施形態に係る車両用周囲監視装置４の構成を示すブロック図である。
【００９４】
本発明に係る車両用周囲監視装置４は、図１０に示す通り、図示しない車両１に設置され、運転者による車両用周囲監視装置４の起動操作や終了操作を検出する操作検出手段１０と、運転者の手の届く範囲に設置され、車両用周囲監視装置４の起動や終了を指示する操作スイッチ１５と、車両周囲の画像を撮影する複数のカメラから構成された撮影手段２０と、撮影手段２０を構成する複数のカメラのうち、隣り合うカメラの撮影領域の重複部に仮想スクリーンを設置する仮想スクリーン設置手段３０と、仮想スクリーン設置手段３０で設置した仮想スクリーンに、前記隣り合うカメラで撮影した各々の画像を投影して仮想スクリーン投影画像を生成する仮想スクリーン投影画像生成手段４０と、撮影された車両周囲の画像を、路面に投影して路面投影画像を生成する路面投影画像生成手段５０と、仮想スクリーン投影画像生成手段４０で生成された仮想スクリーン投影画像を、所定の仮想視点から所定の仮想視線方向を向いて撮影した画像に変換する第１視点変換手段６０と、路面投影画像生成手段５０で生成された路面投影画像を、前記所定の仮想視点から前記所定の仮想視線方向を向いて撮影した画像に変換する第２視点変換手段７０と、第１視点変換手段６０によって視点変換された仮想スクリーン投影画像と第２視点変換手段７０によって視点変換された路面投影画像とを１枚の画像に合成する画像合成手段８０と、画像合成手段８０で合成した画像を表示する画像表示手段９０と、車両１の周囲の障害物の有無を検出し、その障害物までの距離を算出する障害物検出手段１００とから構成される。
【００９５】
操作検出手段１０は、詳しくは、運転者の周囲監視装置の起動操作を検出する起動スイッチ操作検出部１１と、周囲監視装置の終了操作を検出する終了スイッチ操作検出部１２と、車両のシフトポジションを検出するシフトポジション検出部１３と、車速を検出する車速検出部１４とからなる。
【００９６】
操作スイッチ１５は、詳しくは、車両用周囲監視装置４の起動を指示する起動スイッチ１６と、車両用周囲監視装置の終了を指示する終了スイッチ１８とからなる。
【００９７】
撮影手段２０は、詳しくは、図１１のように車両の周囲に設置され、隣り合う撮影領域が互いに重複するように配置された第１カメラ２２、第２カメラ２４、第３カメラ２６、第４カメラ２８と、第１カメラ２２の出力信号をＡＤ変換してディジタル信号に変換する第１デコーダ２３、第２カメラ２４の出力信号をＡＤ変換してディジタル信号に変換する第２デコーダ２５、第３カメラ２６の出力信号をＡＤ変換してディジタル信号に変換する第３デコーダ２７、第４カメラ２８の出力信号をＡＤ変換してディジタル信号に変換する第４デコーダ２９とから構成される。
【００９８】
仮想スクリーン投影画像生成手段４０は、詳しくは、仮想スクリーン投影画像を生成するために、第１カメラ２２から第４カメラ２８の各設置位置と仮想スクリーンの各設置位置とに基づいて、予め作成された座標変換用データテーブルが格納された第１座標変換データ格納部４４と、第１座標変換データ格納部４４に格納された座標変換用データテーブルに基づいて、仮想スクリーン投影画像を生成する仮想スクリーン投影画像生成部４２とからなる。
【００９９】
路面投影画像生成手段５０は、詳しくは、路面投影画像を生成するために、第１カメラ２２から第４カメラ２８の各設置位置に基づいて、予め作成された座標変換用データテーブルが格納された第２座標変換データ格納部５６と、第２座標変換データ格納部５６に格納された座標変換用データテーブルに基づいて、各カメラで撮影した画像から、路面投影画像を生成する路面投影画像生成部５２と、生成された複数の路面投影画像を１枚の画像に合成する路面投影画像合成部５４とからなる。
【０１００】
第１視点変換手段６０は、詳しくは、車両１の進行方向や運転者のスイッチ操作に基づいて、仮想スクリーン投影画像と路面投影画像との合成画像を生成する、仮想視点位置と仮想視線方向を設定する仮想視点位置・仮想視線方向設定部６６と、仮想視点位置・仮想視線方向設定部６６で設定された仮想視点位置から仮想視線方向に向けて、仮想スクリーン投影画像の視点変換を行うための座標変換用データテーブルが格納された第３座標変換データ格納部６４と、第３座標変換データ格納部６４に格納された座標変換用データテーブルに基づいて、仮想スクリーン投影画像を視点変換する第１視点変換部６２とからなる。
【０１０１】
第２視点変換手段７０は、詳しくは、仮想視点位置・仮想視線方向設定部６６で設定された仮想視点位置から仮想視線方向に向けて、路面投影画像の視点変換を行うための座標変換用データテーブルが格納された第４座標変換データ格納部７４と、第４座標変換データ格納部７４に格納された座標変換用データテーブルに基づいて、路面投影画像を視点変換する第２視点変換部７２とからなる。
【０１０２】
画像合成手段８０は、詳しくは、第１視点変換手段６０によって視点変換された仮想スクリーン投影画像と第２視点変換手段７０によって視点変換された路面投影画像とを１枚の画像に合成する際、画像が重複する部分の透過率を設定する透過率設定部８４と、透過率設定部８４で設定された透過率にて、第１視点変換手段６０によって視点変換された仮想スクリーン投影画像を前面に、第２視点変換手段７０によって視点変換された路面投影画像を背面にして合成する画像合成部８２とからなる。
【０１０３】
画像表示手段９０は、詳しくは、画像合成手段８０で合成された画像を、ディジタル信号からアナログ信号に変換するエンコーダ９２と、エンコーダ９２によってアナログ信号に変換された画像を表示する表示用モニタ９４とからなる。
【０１０４】
さらに、障害物検出手段１００は、詳しくは、図１１のように車両１の周囲に設置され、第１カメラ２２の撮影範囲と第２カメラ２４の撮影範囲の重複範囲である第１重複領域Ｅ１を含む第１測距範囲Ｒ１の障害物の有無とその障害物までの距離を算出する第１測距部１０２と、第２カメラ２４の撮影範囲と第３カメラ２６の撮影範囲の重複範囲である第２重複領域Ｅ２を含む第２測距範囲Ｒ２の障害物の有無とその障害物までの距離を算出する第２測距部１０４と、第３カメラ２６の撮影範囲と第４カメラ２８の撮影範囲の重複範囲である第３重複領域Ｅ３を含む第３測距範囲Ｒ３の障害物の有無とその障害物までの距離を算出する第３測距部１０６と、第４カメラ２８の撮影範囲と第１カメラ２２の撮影範囲の重複範囲である第４重複領域Ｅ４を含む第４測距範囲Ｒ４の障害物の有無とその障害物までの距離を算出する第４測距部１０８と、計測された障害物までの距離値に基づいて、画像合成時の透過率を設定する距離値判定部１０９とからなる。
【０１０５】
次に、本実施例に係る車両用周囲監視装置４の作用について、図１２のフローチャートに基づいて説明する。本発明に係る車両用周囲監視装置４は、車両の駐車時や狭い場所での切り返し時等に利用され、車両周辺の画像を運転者に呈示して運転動作を補助するものである。
【０１０６】
図１１（ａ）に示すように、第１カメラ２２は車両１のフロントバンパに、第２カメラ２４は車両１の左ドアミラーに、第３カメラ２６は車両１のリアバンパにそれぞれ設置されており、図１１（ａ）には図示しないが、第４カメラ２８は車両１の右ドアミラーに設置されている。
【０１０７】
また、図１１（ｂ）に示すように、第１測距部１０２はフロントバンパ左角に、第２測距部１０４はリアバンパ左角に、第３測距部１０６はリアバンパ右角に、第４測距部１０８はフロントバンパ右角にそれぞれ設置されている。これらの測距部は、具体的には超音波センサや光学式測距センサで構成されるが、測距機能さえ有していれば、その構成は問わない。
【０１０８】
また、各カメラは、図１１（ｂ）に示す通り、それらの撮影範囲と路面とが、各交線１２０、１２２、１２４、１２６で交わる範囲を撮影するように設置されている。
【０１０９】
なお、隣り合うカメラ２２と２４、２４と２６、２６と２８、および２８と２２は、図１１（ｂ）に示す通り、それぞれの撮影範囲が互いに重複し、第１重複領域Ｅ１、第２重複領域Ｅ２、第３重複領域Ｅ３、第４重複領域Ｅ４を有するように設置されている。
【０１１０】
そして、第１測距部１０２は、第１重複領域Ｅ１を含む領域を第１測距範囲Ｒ１とし、第２測距部１０４は、第２重複領域Ｅ２を含む領域を第２測距範囲Ｒ２とし、第３測距部１０６は、第３重複領域Ｅ３を含む領域を第３測距範囲Ｒ３とし、第４測距部１０８は、第４重複領域Ｅ４を含む領域を第４測距範囲Ｒ４とするように配置されている。
【０１１１】
以下、車両１が、駐車のために前方に向かって微速前進している場面について、本実施例の動作を説明する。運転者は、車両周囲を監視する場合、車内に設置された起動スイッチ１６を操作する。すると、起動スイッチ操作検出部１１により起動スイッチ操作が検出される（図１２のＳ２）。この時、車両用周囲監視装置４の状態を表す変数βに１が与えられる（図１２のＳ４）。
【０１１２】
第１カメラ２２から第４カメラ２８で撮影された画像は、それぞれ、第１デコーダ２３から第４デコーダ２９で標本化および量子化されてディジタル画像に変換される（図１２のＳ６）。なお、第１カメラ２２で撮影された画像をＩ１（ｘ、ｙ）、第２カメラ２４で撮影された画像をＩ２（ｘ、ｙ）、第３カメラ２６で撮影された画像をＩ３（ｘ、ｙ）、第４カメラ２８で撮影された画像をＩ４（ｘ、ｙ）とする。
【０１１３】
画像入力と同時に、第１測距部１０２から第４測距部１０８にて車両周囲の測距が行われ、各々の測距部から、車両１の周囲に存在する障害物までの距離に対応した値が出力される。
【０１１４】
ここで、簡単のため、本実施例が動作している環境が、図１３（ａ）の通りであるとする。すなわち、車両１の左前方には、第１実施例で説明したのと同じ条件で、４本の柱状物（第１柱状物３０１、第２柱状物３０２、第３柱状物３０３、第４柱状物３０４）が路面に垂直に起立しており、車両１の右後方には、４本の柱状物（第５柱状物３０５、第６柱状物３０６、第７柱状物３０７、第８柱状物３０８）が、正方形の４つの頂点の位置に配置され、各々が路面に垂直に起立しているものとする。なお、車両左前方の４本の柱状物は、駐車操作を行う際に注意喚起が必要な要注意喚起範囲４２０の内部にあり、車両右後方の４本の柱状物は、要注意喚起範囲４２０の外部にあるものとする。
【０１１５】
４つの測距部（１０２、１０４、１０６、１０８）からは、路面から高さを有する物体（障害物）までの距離が近いほど小さい値が出力される。本実施例の場合、第１測距部１０２から、最も小さな値が出力され、第３測距部１０６から、次に小さな値が出力される。車両１の左後方と右前方には、障害物が存在しないため、第２測距部１０４と第４測距部１０８からは、非常に大きな値が出力される。
【０１１６】
次に、４つの測距部（１０２、１０４、１０６、１０８）から出力された値は、距離値判定部１０９に送られ、所定値以下の値を出力する側距部の有無とその位置が特定される。本例の場合、第１測距部１０２から、所定値以下の値が出力されていることが特定される（図１２のＳ７）。
【０１１７】
すると、距離値判定部１０９にて、所定値以下の値が出力されることが特定された第１測距部１０２の測距範囲である第１測距範囲Ｒ１がカバーする第１重複領域Ｅ１に対して、仮想スクリーン設置手段３０によって、第１重複領域Ｅ１の面積を２等分するように、車両から遠近方向に延びた、路面に垂直な平面状の第１仮想スクリーン２００が設置される。
【０１１８】
さらに、仮想スクリーン投影画像生成手段４０によって、設置した第１仮想スクリーン２００に画像Ｉ１（ｘ、ｙ）と画像Ｉ２（ｘ、ｙ）を投影変換して、仮想スクリーン投影画像が生成される（図１２のＳ８）。仮想スクリーン投影画像の生成方法については、第１実施例で説明した通りであるため、ここでは説明を割愛する。
【０１１９】
仮想スクリーン投影画像は、仮想スクリーン投影画像生成部４２で生成されるが、第１仮想スクリーン２００と交差する点を、画像Ｉ１（ｘ、ｙ）、画像Ｉ２（ｘ、ｙ）の画素毎に算出するのは、計算負荷が大きいため、第１カメラ２２と第２カメラ２４の配置に基づいて、第１仮想スクリーン投影画像２０５の任意の画素に投影される、画像Ｉ１（ｘ、ｙ）と画像Ｉ２（ｘ、ｙ）の座標値を、予め計算で求めておき、その計算結果に基づいて座標変換テーブルを予め作成して、第１座標変換データ格納部４４に格納しておく。
【０１２０】
そして、仮想スクリーン投影画像生成部４２では、第１座標変換データ格納部４４に格納された座標変換テーブルに基づいて、座標の置き換え操作を行うことによって投影変換を実行することで、計算負荷を低減している。この投影変換により、第１仮想スクリーン投影画像２０５が生成される。
【０１２１】
次に、路面投影画像生成部５２により、画像Ｉ１（ｘ、ｙ）と画像Ｉ２（ｘ、ｙ）、画像Ｉ３（ｘ、ｙ）、画像Ｉ４（ｘ、ｙ）は、各々路面に投影され、さらに、車両真上から見下ろした画像に変換される（図１２のＳ９）。
【０１２２】
路面投影画像の生成方法は、第１実施例で説明した通りであるため、ここでは説明を割愛する。路面投影画像は、路面投影画像生成部５２で生成されるが、画像Ｉ１（ｘ、ｙ）の場合は、具体的に、第１カメラ２２の主点位置Ｐから、第１カメラ２２で撮影した画像Ｉ１（ｘ、ｙ）の各画素に向かって延ばした半直線が、路面と交差する点を求めることによって行われる。画像Ｉ２（ｘ、ｙ）についても、同様にして路面投影画像が生成される。
【０１２３】
ここで、画像Ｉ１（ｘ、ｙ）や画像Ｉ２（ｘ、ｙ）に対して、その画素毎に、路面への投影点を計算するのは計算負荷が大きいため、第１カメラ２２と第２カメラ２４の配置に基づいて、路面上の任意の点に投影される、画像Ｉ１（ｘ、ｙ）と画像Ｉ２（ｘ、ｙ）の座標値を、予め計算で求めておき、その計算結果に基づいて予め座標変換テーブルを作成し、第２座標変換データ格納部５６に格納しておく。
【０１２４】
具体的な路面投影画像の生成方法は、第１実施例で説明した通りであるため、ここでは説明を割愛する。
【０１２５】
本実施例が動作している環境が、図１３（ａ）である場合、４台のカメラで撮影された４枚の画像の路面投影画像は、図１３（ｂ）のように合成される。
【０１２６】
ここで、車両１自身、およびその直近部分は、カメラの撮影視野の外にあるため、例えば濃淡値を最小値や最大値に置き換えるなどして特異な値を格納し、情報が欠落していることを運転者に知らせる。こうして、図１３（ｃ）に示す合成路面投影画像３００が生成される。
【０１２７】
次に、図１２のＳ８で生成された第１仮想スクリーン投影画像２０５は、第１視点変換手段６０によって、所定の視点位置から所定の視線方向を向いて観測した画像に変換される。
【０１２８】
ここで、所定の視点位置と所定の視線方向は、操作検出手段１０によって検出された情報に基づいて、仮想視点位置・仮想視線方向設定部６６により決定される。
【０１２９】
すなわち、車両用周囲監視装置４の状態を表す変数βに１が与えられている場合（図１２のＳ１０）、仮想視点は車両１の後方上空に設定され、そこから車両１の前方側を見下ろす仮想視線方向が設定される（図１２のＳ１１）。
【０１３０】
第３座標変換データ格納部６４には、仮想スクリーン投影画像を、設定した仮想視点位置から、設定した仮想視線方向を向いて観測したように視点変換するための座標変換テーブルが、予め作成されて格納されており、その座標変換テーブルに基づいて、第１視点変換部６２にて視点変換が行われる（図１２のＳ１３）。
【０１３１】
さらに、図１２のＳ９で生成された合成路面投影画像３００は、第２視点変換手段７０によって、仮想視点位置・仮想視線方向設定部６６で設定したのと同じ視点位置から、同じ視線方向を向いて観測した画像に変換される。
【０１３２】
具体的には、第４座標変換データ格納部７４には、合成路面投影画像３００を、設定した仮想視点位置から設定した仮想視線方向を向いて観測したように視点変換するための座標変換テーブルが、予め作成されて格納されており、その座標変換テーブルに基づいて、第２視点変換部７２にて視点変換が行われる（図１２のＳ１４）。
【０１３３】
次に、第１視点変換部６２で生成された第１仮想スクリーン投影画像２０５と、第２視点変換部７２で生成された合成路面投影画像３００とは、第１仮想スクリーン投影画像２０５を前面に、合成路面投影画像３００を背面にして、画像合成手段８０にて１枚の画像に合成される（図１２のＳ１５）。
【０１３４】
この画像合成は、透過率設定部８４で決められたルールに基づいて、画像合成部８２によって行われる。
【０１３５】
今、第１視点変換部６２で生成された第１仮想スクリーン投影画像２０５をＫ（ｘ、ｙ）、第２視点変換部７２で生成された合成路面投影画像３００をＬ（ｘ、ｙ）、画像合成手段８０にて合成される画像をＭ（ｘ、ｙ）とすると、Ｍ（ｘ、ｙ）は、先述した式１によって算出される。
【０１３６】
ここで、透過率パラメータαは、０≦α≦１の範囲の値をとる。本実施例２においては、α＝１に設定される。これは、仮想スクリーン投影画像（２０５、２１５、２２５、２３５）と合成路面投影画像３００が重なった場合、背面に合成される合成路面投影画像３００を不可視とする設定である。
【０１３７】
こうして得られた合成画像の例を図１４（ａ）に示す。ここで、黒く塗り潰された領域は、車両１の存在位置とそのごく近傍にあたる、撮影手段２０の撮影視野を外れた領域と、仮想スクリーン投影画像、および合成路面投影画像以外の領域である。
【０１３８】
ここで、車両１の存在位置には、後ろ向きの第１車両アイコン４００を重畳表示して、前後の位置関係をより明確に表現するようにしてもよい。
【０１３９】
こうして得られた図１４（ａ）の合成画像は、エンコーダ９２によってＤＡ変換され、車両１の内部に設置された表示用モニタ９４に表示される（図１２のＳ１６）。
【０１４０】
なお、このとき、車速検出部１４により、車速は常に検出されており、検出された車速が所定値を上回った場合（図１２のＳ１７）、表示された画像を本装置起動前の状態に戻し（図１２のＳ２１）、周囲監視装置の非表示状態に移行する（図１２のＳ１）。
【０１４１】
また、終了スイッチ操作検出部１２によって、終了スイッチ１８が操作されたことが検出された場合（図１２のＳ１９）は、表示された画像を本装置起動前の状態に戻し（図１２のＳ２１）、周囲監視装置の非表示状態に移行する（図１２のＳ１）。
【０１４２】
以上、車両１が前進している場合の動作について説明したが、車両１が後退している場合には、車両後方の画像を表示する。その場合の作用の流れは、上述した車両前進時とほぼ同様であるため、相違点のみ説明する。
【０１４３】
シフトポジション検出部１３にてシフトポジションが後退位置にあることが検出される（図１２のＳ３）と、システムの状態を表す変数βに２が格納され（図１２のＳ５）、仮想視点位置・仮想視線方向設定部６６にて、仮想視点は車両１の前方上空に設定され、そこから車両１の後方側を見下ろす仮想視線方向が設定される（図１２のＳ１２）。
【０１４４】
車両前進時と同様にして生成された仮想スクリーン投影画像と合成路面投影画像３００とは、画像合成部８２で合成され、図１４（ｂ）に示すように、車両後方を見下ろした画像として表示用モニタ９４に表示される（図１２のＳ１６）。このとき、車両１の存在位置には、前向きの第２車両アイコン４１０を重畳表示して、前後の位置関係をより明確に表現するようにしてもよい。
【０１４５】
なお、この時、車速検出部１４により、車速は常に検出されており、検出された車速が所定値を上回った場合（図１２のＳ１７）、表示された画像を本装置起動前の状態に戻し（図１２のＳ２１）、周囲監視装置の非表示状態に移行する（図１２のＳ１）。
【０１４６】
また、シフトポジション検出部１３にて、シフトポジションは常に検出されており、シフトポジションが後退位置以外であることが検出された場合（図１２のＳ２０）は、表示された画像を本装置起動前の状態に戻し（図１２のＳ２１）、周囲監視装置の非表示状態に移行する（図１２のＳ１）。
【０１４７】
このように構成された第２実施形態に係る車両用周囲監視装置４によれば、障害物が検出された領域内にのみ仮想スクリーンを設置し、その仮想スクリーンに対して仮想スクリーン投影画像を生成して表示する構成にしたため、従来の監視装置では死角になる画像の繋ぎ目の位置に障害物が存在したときのみ、仮想スクリーン投影画像が表示され、これにより、障害物存在時の視認性をより一層向上させることができる。
【０１４８】
なお、上記実施例では、障害物までの距離が所定値以下のとき、その障害物が検出された領域に対応する場所に仮想スクリーンを設置し、透過率設定部８４において透過率パラメータαを１に設定することにより、その仮想スクリーンに投影して生成した仮想スクリーン投影画像と重複する合成路面投影画像３００を不可視とする設定にして合成画像を生成したが、その形式に囚われることはない。
【０１４９】
すなわち、第１測距部１０２で測定され出力された障害物までの距離に対応した値Ｄ１、第２測距部１０４で測定され出力された障害物までの距離に対応した値Ｄ２、第３測距部１０６で測定され出力された障害物までの距離に対応した値Ｄ３、第４測距部１０８で測定され出力された障害物までの距離に対応した値Ｄ４の値に応じて、透過率設定部８４において、各距離に対応した値Ｄi（i＝１、２、３、４）が第１の距離しきい値Ｄmaxよりも大きい時は、透過率パラメータαを０に設定して、仮想スクリーン投影画像を不可視とし、また、Ｄiが第２の距離しきい値Ｄminよりも小さい時は、透過率パラメータαを１に設定して、合成路面投影画像３００を不可視とし、さらに、Ｄmin＜Ｄi＜Ｄmaxの時は、距離に対応した値Ｄiが小さいほど透過率パラメータαを、１を越えない大きい値に設定し、これによって、障害物までの距離が近づくほど、仮想スクリーン投影画像をはっきりと表示させるようにしてもよい。このようにして設定される透過率パラメータαの例を図１５に示す。
【０１５０】
透過率を図１５のように設定することによって、障害物への接近を、運転者に、より明確に伝達することができるようになる。
【０１５１】
また、距離値判定部１０９にて、第１測距部１０２から第４測距部１０８の各々から出力される障害物までの距離に対応した値Ｄ１からＤ４の時間変化を観測し、各Ｄi（i＝１、２、３、４）が時間の経過とともに小さく（近く）なっている時は、車両１と障害物とが近づいているものと判断してαの値を（１を越えない範囲で）大きくして、仮想スクリーン投影像の背面に合成される合成路面投影像を見えにくくし、障害物に近づいていることを明確に伝達できるようにし、逆に、各Ｄi（i＝１、２、３、４）が時間の経過とともに大きく（遠く）なっている時は、車両１と障害物とが遠ざかっているものと判断してαの値を（０を下回らない範囲で）小さくして、仮想スクリーン投影像の背面に合成される合成路面投影像を見えやすくし、障害物から遠ざかっていることを明確に伝達できる表示形態を採るようにしてもよい。
【０１５２】
さらに、上記実施例では、隣り合うカメラの撮影範囲の重複領域の面積を略２等分する位置に、車両から遠近方向に延びる、路面に垂直な平面状の仮想スクリーンを設置したが、その形式に囚われることはない。すなわち、測距部（１０２、１０４、１０６、１０８）に、測距範囲を水平方向（車両の周囲方向）にスキャンして水平方向の角度毎に距離情報を測定できる機能を持たせ、障害物情報が得られた方向に向かって延びる、鉛直に立ち上がった平面状の仮想スクリーンを設置し、この仮想スクリーン上に仮想スクリーン投影画像を生成してこれを表示する構成としてもよい。
【０１５３】
この方法によれば、障害物が存在する方向に仮想スクリーンが設置されるため、仮想スクリーン投影画像の中の障害物の像は、その障害物を撮影する、隣り合った２台のカメラから仮想スクリーンの同じ位置に投影され、したがって、仮想スクリーン投影画像上で、障害物を表す像の濃淡値は大きい値となり、それによって障害物がより一層明確に表示され、画像の視認性が向上するという効果が得られる。
【符号の説明】
【０１５４】
２ 車両用周囲監視装置
１０ 操作検出手段
１１ 起動スイッチ操作検出部
１２ 終了スイッチ操作検出部
１３ シフトポジション検出部
１４ 車速検出部
１５ 操作スイッチ
１６ 起動スイッチ
１８ 終了スイッチ
２０ 撮影手段
２２ 第１カメラ
２３ 第１デコーダ
２４ 第２カメラ
２５ 第２デコーダ
２６ 第３カメラ
２７ 第３デコーダ
２８ 第４カメラ
２９ 第４デコーダ
３０ 仮想スクリーン設置手段
４０ 仮想スクリーン投影画像生成手段
４２ 仮想スクリーン投影画像生成部
４４ 第１座標変換データ格納部
５０ 路面投影画像生成手段
５２ 路面投影画像生成部
５４ 路面投影画像合成部
５６ 第２座標変換データ格納部
６０ 第１視点変換手段
６２ 第１視点変換部
６４ 第３座標変換データ格納部
６６ 仮想視点位置・仮想視線方向設定部
７０ 第２視点変換手段
７２ 第２視点変換部
７４ 第４座標変換データ格納部
８０ 画像合成手段
８２ 画像合成部
８４ 透過率設定部
９０ 画像表示手段
９２ エンコーダ
９４ 表示用モニタ
【技術分野】
【０００１】
本発明は、車両に設置され、車両の周囲を撮影した画像を表示する車両用周囲監視装置に関する。詳細には、車両の周囲に障害物が存在したとき、その障害物の存在を的確に表示することができる車両用周囲監視装置に関する。
【背景技術】
【０００２】
近年、車両にカメラを設置し、運転者に対して死角になりやすい車両周辺の画像を撮影して表示するシステムが一般的になってきている。
【０００３】
特に、最近では、車両に複数のカメラを設置し、真上から見下ろしたように座標変換して俯瞰画像を生成し、さらに、生成した俯瞰画像同士を合成して、車両の周囲３６０°を見渡した画像を表示するシステムも実用化されている。
【０００４】
その中には、例えば、俯瞰画像同士を合成する際、画像の繋ぎ目の位置を、車両の挙動に基づいて設定する発明が提案されている（特許文献１）。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００７−３６６６８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、特許文献１に開示された発明では、高さのある物体を路面に投影変換して画像化しているため、路面から高さのある物体は、変換後の画像では歪んでしまい、これによって立体物が認知しにくくなるという課題がある。
【０００７】
また、異なるカメラで撮影した画像同士の、ちょうど繋ぎ目の位置に細い柱状物（立体物）が直立していたとき、撮影された画像を路面に投影変換すると、この柱状物は、その柱状物を撮影するカメラの主点位置と柱状物とを結ぶ方向に、カメラから遠ざかる向きに倒れ込んで変換される。したがって、繋ぎ目の位置で画像を合成すると、その繋ぎ目の位置を越えて倒れ込んだ柱状物の変換像が切り取られてしまい、結果的に、画像の繋ぎ目の位置にある柱状物の変換像は、路面と接している部分のみしか残らず、すなわち、合成された俯瞰画像上では、その繋ぎ目において、路面から高さを有する物体に対して死角が生じてしまうという課題がある。
【０００８】
本発明は上記事情に鑑みなされたもので、画像同士の繋ぎ目においても、死角を生じることなく、路面から高さのある立体物を、歪みなく的確に表示することができる車両用周囲監視装置を提供することを目的とする。
【課題を解決するための手段】
【０００９】
本発明に係る車両用周囲監視装置は、車両の周囲に取り付けられ、隣り合う撮影範囲の一部が重複するように配置された複数の撮影手段の重複領域の中に、仮想スクリーン設置手段が前記車両に対して遠近方向に延びた仮想スクリーンを設置し、仮想スクリーン投影画像生成手段が、隣り合う前記撮影手段で撮影した各々の画像を、前記仮想スクリーンに投影して仮想スクリーン投影画像を生成し、第１視点変換手段が、仮想スクリーン投影画像を所定の視点位置から所定の視線方向を向いて観測した画像に座標変換して、画像表示手段が前記座標変換された画像を表示するものである。
【００１０】
すなわち、本発明に係る第１の車両用周囲監視装置は、車両周囲を撮影するように、隣り合う撮影範囲の一部が重複領域を有して車両に設置された複数の撮影手段と、前記撮影範囲の重複領域の内部に、前記車両に対して遠近方向に延び、鉛直方向に立ち上がった仮想スクリーンを設置する仮想スクリーン設置手段と、隣り合う前記撮影手段で撮影した各々の画像の各画素に格納された濃淡値に対応する値を、前記撮影手段の各々の主点に対応する位置から前記撮影手段で撮影された画像の各画素に向かって延ばした半直線が前記仮想スクリーンと交差する位置に格納する仮想スクリーン投影画像生成手段と、前記仮想スクリーン投影画像生成手段によって生成された画像を、所定の視点位置から所定の視線方向を向いて観測した画像に座標変換して出力する第１視点変換手段と、前記第１視点変換手段によって出力された画像を表示する画像表示手段とを備えたことを特徴とする。
【００１１】
このように構成された本発明に係る第１の車両用周囲監視装置によれば、仮想スクリーン設置手段が、隣り合う撮影手段の各々の撮影範囲の重複領域の中に、車両に対して遠近方向に延びた仮想スクリーンを設置し、仮想スクリーン投影画像生成手段が隣り合う前記撮影手段で撮影した各々の画像の濃淡値に対応した値を前記仮想スクリーンに投影して仮想スクリーン投影画像を生成し、こうして生成された仮想スクリーン投影画像を、画像表示手段によって表示することにより、画像同士の繋ぎ目においても、死角を生じることなく、路面から高さのある立体物を、歪みなく的確に表示することができる。
【００１２】
また、本発明に係る第２の車両用周囲監視装置は、車両周囲を撮影するように、隣り合う撮影範囲の一部が重複領域を有して車両に設置された複数の撮影手段と、前記撮影範囲の重複領域の内部に、前記車両に対して遠近方向に延び、鉛直方向に立ち上がった仮想スクリーンを設置する仮想スクリーン設置手段と、隣り合う前記撮影手段で撮影した各々の画像の各画素に格納された濃淡値に対応する値を、前記撮影手段の各々の主点に対応する位置から前記撮影手段で撮影された画像の各画素に向かって延ばした半直線が前記仮想スクリーンと交差する位置に格納する仮想スクリーン投影画像生成手段と、前記仮想スクリーン投影画像生成手段によって生成された画像を、所定の視点位置から所定の視線方向を向いて観測した画像に座標変換して出力する第１視点変換手段と、前記複数の撮影手段で撮影した各々の画像の各画素に格納された濃淡値を、前記撮影手段の各々の主点に対応する位置から前記撮影手段で撮影された画像の各画素に向かって延ばした半直線が路面と交差する位置に格納する路面投影画像生成手段と、前記路面投影画像生成手段によって生成された画像を、前記所定の視点位置から、前記所定の視線方向を向いて観測した画像に座標変換して出力する第２視点変換手段と、前記第１視点変換手段によって出力された画像と、前記第２視点変換手段によって出力された画像とを、１枚の画像に合成して出力する画像合成手段と、前記画像合成手段によって出力された画像を表示する画像表示手段とを備えたことを特徴とする。
【００１３】
このように構成された本発明に係る第２の車両用周囲監視装置によれば、仮想スクリーン設置手段が、隣り合う撮影手段の各々の撮影範囲の重複領域の中に、車両に対して遠近方向に延びた仮想スクリーンを設置し、仮想スクリーン投影画像生成手段が隣り合う前記撮影手段で撮影した各々の画像の濃淡値に対応した値を前記仮想スクリーンに投影して仮想スクリーン投影画像を生成するとともに、路面投影画像生成手段が、前記複数の撮影手段で撮影した各々の画像の各画素に格納された濃淡値を路面に投影して路面投影画像を生成し、こうして生成された仮想スクリーン投影画像と路面投影画像とを、画像合成手段によって１枚の画像に合成して、画像表示手段によって表示することにより、隣り合う撮影範囲の境界部分のみならず、車両周囲に存在する立体物をも、的確に表示することができる。
【発明の効果】
【００１４】
本発明に係る車両用周囲監視装置によれば、車両周囲に設置された複数の撮影手段で撮影した画像の繋ぎ目に存在する、路面から高さのある立体物を、歪みなく的確に表示することができ、これによって、表示された画像を頼りに、車両の駐車操作や切り返し操作を、円滑に行うことができるようになるという効果が得られる。
【図面の簡単な説明】
【００１５】
【図１】本発明の第１実施形態に係る車両用周囲監視装置の概略構成を示すブロック図である。
【図２】（ａ）本発明の第１実施形態が設置された車両の左側面図である。（ｂ）本発明の第１実施形態が設置された車両の上面図である。
【図３】仮想的に設定した車両周囲環境の配置図である。
【図４】（ａ）第１カメラで撮影した画像を第１仮想スクリーンに投影する様子を説明する図である。（ｂ）第２カメラで撮影した画像を第１仮想スクリーンに投影する様子を説明する図である。（ｃ）第１仮想スクリーン投影画像を示す図である。
【図５】本発明の第１実施形態の動作を説明するフローチャートである。
【図６】（ａ）第１カメラで撮影した画像を路面に投影する様子を説明する図である。（ｂ）第２カメラで撮影した画像を路面に投影する様子を説明する図である。（ｃ）第１カメラで撮影した画像と、第２カメラで撮影した画像を各々路面に投影して合成する様子を説明する図である。
【図７】（ａ）第１カメラから第４カメラで撮影した画像を各々路面に投影して合成する様子を説明する図である。（ｂ）合成路面投影画像を示す図である。
【図８】（ａ）車両前進時に表示用モニタに表示される画像の例である。（ｂ）車両後退時に表示用モニタに表示される画像の例である。
【図９】本発明の第１実施例の別の表示形態を示す図である。
【図１０】本発明の第２実施形態に係る車両用周囲監視装置の概略構成を示すブロック図である。
【図１１】（ａ）本発明の第２実施形態が設置された車両の左側面図である。（ｂ）本発明の第２実施形態が設置された車両の上面図である。
【図１２】本発明の第２実施形態の動作を説明するフローチャートである。
【図１３】（ａ）仮想的に設定した車両周囲環境の配置図である。（ｂ）第１カメラから第４カメラで撮影した４枚の画像をそれぞれ路面投影画像に変換し、それらを合成する様子を説明する図である。（ｃ）合成路面投影画像を示す図である。
【図１４】（ａ）車両前進時に表示用モニタに表示される画像の例である。（ｂ）車両後退時に表示用モニタに表示される画像の例である。
【図１５】透過率設定部で設定される透過率パラメータの例を示す図である。
【発明を実施するための形態】
【００１６】
以下、本発明に係る車両用周囲監視装置の実施形態について、図面を参照して説明する。
【実施例１】
【００１７】
本実施例は、本発明を、車両に設置された複数のカメラで撮影した車両周囲の画像を、運転者に見やすい形態で表示することが可能な、車両用周囲監視装置２に適用したものである。
【００１８】
図１は、本発明の実施形態に係る車両用周囲監視装置２の構成を示すブロック図である。本実施例に係る車両用周囲監視装置２は、図１に示す通り、図示しない車両１に設置され、運転者による車両用周囲監視装置２の起動操作や終了操作を検出する操作検出手段１０と、運転者の手の届く範囲に設置され、車両用周囲監視装置２の起動や終了を指示する操作スイッチ１５と、車両周囲の画像を撮影する複数のカメラから構成された撮影手段２０と、撮影手段２０を構成する複数のカメラのうち、隣り合うカメラの撮影領域の重複部に仮想スクリーンを設置する仮想スクリーン設置手段３０と、仮想スクリーン設置手段３０で設置した仮想スクリーンに、前記隣り合うカメラで撮影した各々の画像を投影して仮想スクリーン投影画像を生成する仮想スクリーン投影画像生成手段４０と、撮影された車両周囲の画像を、路面に投影して路面投影画像を生成する路面投影画像生成手段５０と、仮想スクリーン投影画像生成手段４０で生成された仮想スクリーン投影画像を、所定の仮想視点から所定の仮想視線方向を向いて観測した画像に変換する第１視点変換手段６０と、路面投影画像生成手段５０で生成された路面投影画像を、前記所定の仮想視点から前記所定の仮想視線方向を向いて観測した画像に変換する第２視点変換手段７０と、第１視点変換手段６０によって視点変換された仮想スクリーン投影画像と第２視点変換手段７０によって視点変換された路面投影画像を１枚の画像に合成する画像合成手段８０と、画像合成手段８０で合成した画像を表示する画像表示手段９０とから構成される。
【００１９】
操作検出手段１０は、詳しくは、運転者の起動スイッチ操作を検出する起動スイッチ操作検出部１１と、運転者の終了スイッチ操作を検出する終了スイッチ操作検出部１２と、車両のシフトポジションを検出するシフトポジション検出部１３と、車速を検出する車速検出部１４とからなる。
【００２０】
操作スイッチ１５は、詳しくは、車両用周囲監視装置２の起動を指示する起動スイッチ１６と、車両用周囲監視装置２の終了を指示する終了スイッチ１８とからなる。
【００２１】
撮影手段２０は、詳しくは、図２のように車両の周囲に設置され、隣り合う撮影領域が互いに重複するように配置された第１カメラ２２、第２カメラ２４、第３カメラ２６、第４カメラ２８と、第１カメラ２２の出力信号をＡＤ変換してディジタル信号に変換する第１デコーダ２３、第２カメラ２４の出力信号をＡＤ変換してディジタル信号に変換する第２デコーダ２５、第３カメラ２６の出力信号をＡＤ変換してディジタル信号に変換する第３デコーダ２７、第４カメラ２８の出力信号をＡＤ変換してディジタル信号に変換する第４デコーダ２９とからなる。
【００２２】
仮想スクリーン投影画像生成手段４０は、詳しくは、仮想スクリーン投影画像を生成するために、第１カメラ２２から第４カメラ２８の各設置位置と仮想スクリーンの各設置位置とに基づいて、予め作成された座標変換用データテーブルが格納された第１座標変換データ格納部４４と、第１座標変換データ格納部４４に格納された座標変換用データテーブルに基づいて、仮想スクリーン投影画像を生成する仮想スクリーン投影画像生成部４２とからなる。
【００２３】
路面投影画像生成手段５０は、詳しくは、路面投影画像を生成するために、第１カメラ２２から第４カメラ２８の各設置位置に基づいて、予め作成された座標変換用データテーブルが格納された第２座標変換データ格納部５６と、第２座標変換データ格納部５６に格納された座標変換用データテーブルに基づいて、各カメラで撮影した画像から路面投影画像を生成する路面投影画像生成部５２と、生成された複数の路面投影画像を１枚の画像に合成する路面投影画像合成部５４とからなる。
【００２４】
第１視点変換手段６０は、詳しくは、車両１の進行方向や運転者のスイッチ操作に基づいて、仮想スクリーン投影画像と路面投影画像の合成画像を生成するための仮想視点位置と仮想視線方向を設定する仮想視点位置・仮想視線方向設定部６６と、仮想視点位置・仮想視線方向設定部６６で設定された仮想視点位置から仮想視線方向に向けて、仮想スクリーン投影画像の視点変換を行うための座標変換用データテーブルが格納された第３座標変換データ格納部６４と、第３座標変換データ格納部６４に格納された座標変換用データテーブルに基づいて、仮想スクリーン投影画像を視点変換する第１視点変換部６２とからなる。
【００２５】
第２視点変換手段７０は、詳しくは、仮想視点位置・仮想視線方向設定部６６で設定された仮想視点位置から仮想視線方向に向けて、路面投影画像の視点変換を行うための座標変換用データテーブルが格納された第４座標変換データ格納部７４と、第４座標変換データ格納部７４に格納された座標変換用データテーブルに基づいて、路面投影画像を視点変換する第２視点変換部７２とからなる。
【００２６】
画像合成手段８０は、詳しくは、第１視点変換手段６０によって視点変換された仮想スクリーン投影画像と第２視点変換手段７０によって視点変換された路面投影画像とを１枚の画像に合成する際、画像が重複する部分の透過率を設定する透過率設定部８４と、透過率設定部８４で設定された透過率にて、第１視点変換手段６０によって視点変換された仮想スクリーン投影画像を前面に、第２視点変換手段７０によって視点変換された路面投影画像を背面にして合成する画像合成部８２とからなる。
【００２７】
さらに、画像表示手段９０は、詳しくは、画像合成手段８０で合成された画像を、ディジタル信号からアナログ信号に変換するエンコーダ９２と、車内に設置され、エンコーダ９２によってアナログ信号に変換された画像を表示する、液晶モニタ等の表示用モニタ９４とからなる。
【００２８】
次に、本実施例に係る車両用周囲監視装置２の作用について、図５のフローチャートに基づいて説明する。本実施例に係る車両用周囲監視装置２は、車両の駐車時や狭い場所での切り返し時に利用され、車両周囲の画像を運転者に呈示して運転動作を補助するものである。
【００２９】
図２（ａ）に示すように、第１カメラ２２は車両１のフロントバンパに、第２カメラ２４は車両１の左ドアミラーに、第３カメラ２６は車両１のリアバンパにそれぞれ設置されており、図２（ａ）には図示しないが、第４カメラ２８は車両１の右ドアミラーに設置されている。
【００３０】
また、各カメラは、図２（ｂ）に示す通り、それらの撮影範囲と路面とが、各交線１２０、１２２、１２４、１２６で交わる範囲を撮影するように設置されている。
【００３１】
なお、隣り合うカメラ２２と２４、２４と２６、２６と２８、および２８と２２は、図２（ｂ）に示す通り、各々の撮影範囲が互いに重複し、第１重複領域Ｅ１、第２重複領域Ｅ２、第３重複領域Ｅ３、第４重複領域Ｅ４を有するように設置されている。
【００３２】
まず、車両１が、駐車のために前方に向かって前進している場面について、本実施例の車両用周囲監視装置２の動作を説明する。運転者は、車両周囲の画像を監視する場合、車内に設置された起動スイッチ１６を操作する。すると、起動スイッチ操作検出部１１により起動スイッチ操作が検出され（図５のＳ２）、車両用周囲監視装置２の状態を表す変数βに１が与えられる（図５のＳ４）。
【００３３】
第１カメラ２２から第４カメラ２８で撮影された画像は、それぞれ、第１デコーダ２３から第４デコーダ２９で標本化および量子化されてディジタル画像に変換される（図５のＳ６）。なお、第１カメラ２２から第４カメラ２８で撮影された画像を、各々Ｉ１（ｘ、ｙ）、Ｉ２（ｘ、ｙ）、Ｉ３（ｘ、ｙ）、Ｉ４（ｘ、ｙ）とする。
【００３４】
次に、仮想スクリーン設置手段３０によって、隣り合って設置されたカメラの撮影範囲の重複領域Ｅ１、Ｅ２、Ｅ３、Ｅ４の中に、それぞれ、各重複領域Ｅ１、Ｅ２、Ｅ３、Ｅ４の面積を２等分するように、車両から遠近方向に延びた、路面に垂直な平面状の仮想スクリーン２００、２１０、２２０、２３０が設置される。
【００３５】
図３に、仮想スクリーン２００の設置位置のみを示す。仮想スクリーン２００は、図３において、∠ＸＯＡ＝∠ＹＯＡとなるように設置される。
【００３６】
仮想スクリーン２１０、２２０、２３０は図示しないが、仮想スクリーン２００と同様な位置関係にて設置される。
【００３７】
さらに、仮想スクリーン投影画像生成手段４０によって、第１重複領域Ｅ１に設置した第１仮想スクリーン２００に画像Ｉ１（ｘ、ｙ）と画像Ｉ２（ｘ、ｙ）を投影変換し、第２重複領域Ｅ２に設置した第２仮想スクリーン２１０に画像Ｉ２（ｘ、ｙ）と画像Ｉ３（ｘ、ｙ）を投影変換し、第３重複領域Ｅ３に設置した第３仮想スクリーン２２０にＩ３（ｘ、ｙ）と画像Ｉ４（ｘ、ｙ）を投影変換し、第４重複領域Ｅ４に設置した第４仮想スクリーン２３０にＩ４（ｘ、ｙ）と画像Ｉ１（ｘ、ｙ）を投影変換する（図５のＳ７）。
【００３８】
ここで、図３と図４に基づいて、第１仮想スクリーン２００への投影変換の方法を説明する。図３は、車両１と、その左前方に４本の細い柱状物（第１柱状物３０１、第２柱状物３０２、第３柱状物３０３、第４柱状物３０４）が、路面に垂直に起立しており、正方形の４つの頂点の位置に配置されている様子を示す。
【００３９】
なお、説明を簡単にするため、第１カメラ２２と第２カメラ２４の撮影範囲についてのみ説明するが、他のカメラの撮影範囲についても同様である。さらに、各カメラ２２、２４は水平方向に向いて設置されており、第１カメラ２２は∠ＸＰＸ’の範囲を撮影するものとし、第２カメラ２４は∠ＹＱＹ’の範囲を撮影するものとする。また、車両１は水平な路面上にあるものとする。
【００４０】
ここで、∠ＸＯＹを２等分する位置に、路面に垂直な平面状の第１仮想スクリーン２００を設置する。ここで、第１柱状物３０１と第３柱状物３０３は、第１仮想スクリーン２００と重なる位置に起立しているものとする。
【００４１】
仮想スクリーン投影画像生成手段４０は、図４（ａ）に示すように、第１カメラ２２で撮影した画像Ｉ１（ｘ、ｙ）の濃淡値を、第１仮想スクリーン２００に投影するとともに、図４（ｂ）に示すように、第２カメラ２４で撮影した画像Ｉ２（ｘ、ｙ）の濃淡値を、第１仮想スクリーン２００に投影する。
【００４２】
仮想スクリーンへの投影変換とは、カメラで実際に撮影された像が、仮想スクリーン上に元々存在した物体の像であると仮定して、撮影された画像の濃淡値に対応する値を、仮想スクリーン上の対応する位置に格納するものである。
【００４３】
この投影変換は、具体的には次のようにして実行される。図４（ａ）において、画像Ｉ１（ｘ、ｙ）に写った第２柱状物３０２の像を構成する、画素（ｘ0、ｙ0）に着目する。画素（ｘ0、ｙ0）に格納された濃淡値Ｉ１（ｘ0、ｙ0）は、図４（ａ）に示す第１カメラ２２の主点位置Ｐから、着目している第２柱状物３０２を構成する画素（ｘ0、ｙ0）に向かって延ばした半直線が、第１仮想スクリーン２００と交差する点に投影されるものとし、その交差する点に、濃淡値Ｉ１（ｘ0、ｙ0）に対応する値を格納する。
【００４４】
図４（ａ）の場合、点Ｍと点Ｎに挟まれた区間に第２柱状物３０２の像が投影されるため、第１仮想スクリーン２００上の点Ｍと点Ｎに挟まれた領域に、第２柱状物３０２の像の濃淡値に対応する値が格納され、第２柱状物３０２の仮想スクリーン投影像３０２Ｐが生成される。
【００４５】
同様の処理を、画像Ｉ１（ｘ、ｙ）の全ての画素に対して行うことにより、第１仮想スクリーン２００には、第１柱状物３０１の仮想スクリーン投影像３０１Ｐ、第３柱状物３０３の仮想スクリーン投影像３０３Ｐ、第４柱状物３０４の仮想スクリーン投影像３０４Ｐが、それぞれ生成される（図４（ａ）参照）。
【００４６】
同様の処理を、第２カメラ２４で撮影した画像Ｉ２（ｘ、ｙ）に対しても行うと、第１仮想スクリーン２００には、第１柱状物３０１の仮想スクリーン投影像３０１Ｑ、第２柱状物３０２の仮想スクリーン投影像３０２Ｑ、第３柱状物３０３の仮想スクリーン投影像３０３Ｑ、第４柱状物３０４の仮想スクリーン投影像３０４Ｑが、それぞれ生成される（図４（ｂ）参照）。
【００４７】
こうして生成された仮想スクリーン投影像を加算合成することより、図４（ｃ）に示す第１仮想スクリーン投影画像２０５が生成される。なお、単純に加算合成を行うと、第１仮想スクリーン投影画像２０５に格納可能な量子化ビット数に応じた値を越えてしまう可能性があるため、ここでは、画像Ｉ１（ｘ、ｙ）の濃淡値と、画像Ｉ２（ｘ、ｙ）の濃淡値を、それぞれ１／２倍して加算するものとする。
【００４８】
４本の柱状物３０１、３０２、３０３、３０４は、路面に垂直に起立しており、第１カメラ２２と第２カメラ２４は、簡単のため水平向きに設置されているものとしたため、第１仮想スクリーン２００には、図４（ｃ）に示すように、各柱状物３０１、３０２、３０３、３０４の仮想スクリーン投影像が、スクリーンの上下方向に帯状に生成される。
【００４９】
ここで、４本の柱状物３０１、３０２、３０３、３０４と車両１が、図３の位置関係にあるとき、４本の柱状物３０１、３０２、３０３、３０４は、ともに、第１カメラ２２、および第２カメラ２４を通して、第１仮想スクリーン２００に投影され、図４（ａ）に示すように、第１カメラ２２から見て４本の仮想スクリーン投影像が生成され、図４（ｂ）に示すように、第２カメラ２４から見て４本の仮想スクリーン投影像が生成される。
【００５０】
これらの仮想スクリーン投影像を加算合成すると、仮想スクリーン投影像同士の重なりが発生するため、図４（ｃ）のように、５本の仮想スクリーン投影像が生成される。図４（ｃ）に示す５本の仮想スクリーン投影像は、左側から順に、仮想スクリーン投影像３０４Ｐ、仮想スクリーン投影像３０２Ｑ、仮想スクリーン投影像３０１Ｐと３０１Ｑ、仮想スクリーン投影像３０３Ｐと３０３Ｑ、仮想スクリーン投影像３０２Ｐと３０４Ｑにそれぞれ対応したものである。
【００５１】
但し、この仮想スクリーン投影像の本数は、柱状物の起立位置と仮想スクリーンの位置関係に依存することは言うまでもない。
【００５２】
仮想スクリーンへの投影変換の手続きは、仮想スクリーン投影画像生成部４２で行われるが、第１仮想スクリーン２００と交差する点を、画像Ｉ１（ｘ、ｙ）、画像Ｉ２（ｘ、ｙ）の画素毎に算出するのは計算負荷が大きいため、第１カメラ２２と第２カメラ２４の配置に基づいて、第１仮想スクリーン投影画像２０５の任意の画素に投影される、画像Ｉ１（ｘ、ｙ）と画像Ｉ２（ｘ、ｙ）の座標値を、予め計算で求めておき、その計算結果に基づいて座標変換テーブルを予め作成して、第１座標変換データ格納部４４に格納しておく。
【００５３】
そして、仮想スクリーン投影画像生成部４２では、第１座標変換データ格納部４４に格納された座標変換テーブルに基づいて、座標の置き換えを行うことによって投影変換を実行することで、計算負荷を低減している。
【００５４】
同様の投影変換は、図２の第２重複領域Ｅ２に設置した第２仮想スクリーン２１０、第３重複領域Ｅ３に設置した第３仮想スクリーン２２０、第４重複領域Ｅ４に設置した第４仮想スクリーン２３０に対しても実行される。これにより、４枚の仮想スクリーン投影画像（第１仮想スクリーン投影画像２０５、第２仮想スクリーン投影画像２１５、第３仮想スクリーン投影画像２２５、第４仮想スクリーン投影画像２３５）が生成される。
【００５５】
次に、路面投影画像生成部５２により、画像Ｉ１（ｘ、ｙ）と画像Ｉ２（ｘ、ｙ）、画像Ｉ３（ｘ、ｙ）、画像Ｉ４（ｘ、ｙ）は、各々路面に投影され、さらに、車両真上から見下ろした画像に変換される（図５のＳ８）。
【００５６】
先述した仮想スクリーン投影画像が、カメラで撮影した画像には仮想スクリーン上に存在する物体の像が写っていると仮定して生成した画像であったのに対し、路面投影画像は、カメラで撮影した画像には路面上に存在する物体の像が写っていると仮定して生成した画像である。
【００５７】
路面投影画像の生成は、路面投影画像生成部５２で行われるが、画像Ｉ１（ｘ、ｙ）の場合は、具体的に、第１カメラ２２の主点位置Ｐから、第１カメラ２２で撮影した画像Ｉ１（ｘ、ｙ）の各画素に向かって延ばした半直線が、路面と交差する点を求めることによって行われる。画像Ｉ２（ｘ、ｙ）についても、同様にして路面投影画像が生成される。
【００５８】
ここで、画像Ｉ１（ｘ、ｙ）や画像Ｉ２（ｘ、ｙ）に対して、その画素毎に、路面と交差する点の座標を算出するのは計算負荷が大きいため、第１カメラ２２と第２カメラ２４の配置に基づいて、路面上の任意の点に投影される、画像Ｉ１（ｘ、ｙ）と画像Ｉ２（ｘ、ｙ）の座標値を、予め計算で求めておき、その計算結果に基づいて座標変換テーブルを予め作成して、第２座標変換データ格納部５６に格納しておく。
【００５９】
路面投影画像生成部５２では、第２座標変換データ格納部５６に格納された座標変換テーブルに基づいて、座標の置き換えを行うことによって投影変換を実行することで、計算負荷を低減している。
【００６０】
図３の配置において、第１カメラ２２で撮影した画像Ｉ１（ｘ、ｙ）と、第２カメラ２４で撮影した画像Ｉ２（ｘ、ｙ）を路面投影画像に変換する様子を図６に示す。
【００６１】
図６（ａ）に示す通り、第１カメラ２２で撮影した画像Ｉ１（ｘ、ｙ）に写っている第１柱状物３０１、第２柱状物３０２、第３柱状物３０３、第４柱状物３０４は、各々、路面投影画像上には、第１カメラ２２の主点位置Ｐと各柱状物とを結ぶ方向に沿って、第１カメラ２２から遠ざかるように倒れ込んで変換される。
【００６２】
また、図６（ｂ）に示す通り、第２カメラ２４で撮影した画像Ｉ２（ｘ、ｙ）に写っている第１柱状物３０１から第４柱状物３０４は、各々、路面投影画像上には、第２カメラ２４の主点位置Ｑと各柱状物とを結ぶ方向に沿って、第２カメラ２４から遠ざかるように倒れ込んで変換される。
【００６３】
次に、路面投影画像合成部５４にて、画像Ｉ１（ｘ、ｙ）、画像Ｉ２（ｘ、ｙ）、画像Ｉ３（ｘ、ｙ）、画像Ｉ４（ｘ、ｙ）から、各々変換された路面投影画像が、１枚の画像に合成される。
【００６４】
図６（ｃ）を参照して、路面投影画像の合成方法について説明する。画像Ｉ１（ｘ、ｙ）の路面投影画像と画像Ｉ２（ｘ、ｙ）の路面投影画像は、第１カメラ２２の撮影範囲と第２カメラ２４の撮影範囲の重複領域を２等分する、直線ＡＯを境界線として合成される。すなわち、図６（ａ）、（ｂ）に表示された路面投影画像のうち、直線ＡＯを跨いで投影された像は、合成画像には反映しない。こうして路面投影画像を合成することによって、第１カメラ２２の路面投影画像と第２カメラ２４の路面投影画像は、図６（ｃ）のように合成される。
【００６５】
図６（ｃ）からわかるように、路面投影画像の繋ぎ目である直線ＡＯ上に存在する第１柱状物３０１と第３柱状物３０３の路面投影画像は、それらの柱状物が路面と接する部分を残して消失してしまう。
【００６６】
ここで、車両１の左後方角部、右後方角部、右前方角部にも、それぞれ、左前方角部と同様の配置で、各々４本の細い柱状物が起立していると仮定すると、４台のカメラで撮影された４枚の画像の路面投影画像は、図７（ａ）のように合成される。
【００６７】
なお、車両１自身、およびその直近部分は、カメラの撮影視野の外にあるため、例えば濃淡値を最小値や最大値に置き換えるなどして特異な値を格納し、情報が欠落していることを運転者に知らせる。こうして、図７（ｂ）に示す合成路面投影画像３００が生成される。
【００６８】
次に、図５のＳ７で生成された４枚の仮想スクリーン投影画像は、第１視点変換手段６０によって、所定の視点位置から所定の視線方向を向いて観測した画像に変換される。
【００６９】
ここで、所定の視点位置と所定の視線方向は、操作検出手段１０によって検出された情報に基づいて、仮想視点位置・仮想視線方向設定部６６により決定される。
【００７０】
すなわち、車両用周囲監視装置２の状態を表す変数βに１が与えられている場合（図５のＳ９）、仮想視点は車両１の後方上空に設定され、そこから車両１の前方側を見下ろす仮想視線方向が設定される（図５のＳ１０）。
【００７１】
第３座標変換データ格納部６４には、４枚の仮想スクリーン投影画像を、設定した仮想視点位置から、設定した仮想視線方向を向いて観測したように視点変換するための座標変換テーブルが、予め作成されて格納されており、その座標変換テーブルに基づいて、第１視点変換部６２にて視点変換が行われる（図５のＳ１２）。
【００７２】
さらに、図５のＳ８で生成された合成路面投影画像３００は、第２視点変換手段７０によって、仮想視点位置・仮想視線方向設定部６６で設定したのと同じ視点位置、かつ同じ視線方向を向いて観測した画像に変換される。
【００７３】
具体的には、第４座標変換データ格納部７４には、合成路面投影画像３００を、設定した仮想視点位置から、設定した仮想視線方向を向いて観測したように視点変換するための座標変換テーブルが、予め作成されて格納されており、その座標変換テーブルに基づいて、第２視点変換部７２にて視点変換が行われる（図５のＳ１３）。
【００７４】
次に、第１視点変換部６２で生成された４枚の仮想スクリーン投影画像（第１仮想スクリーン投影画像２０５、第２仮想スクリーン投影画像２１５、第３仮想スクリーン投影画像２２５、第４仮想スクリーン投影画像２３５）と、第２視点変換部７２で生成された合成路面投影画像３００とは、仮想スクリーン投影画像（２０５、２１５、２２５、２３５）を前面に、合成路面投影画像３００を背面にして、画像合成手段８０にて１枚の画像に合成される（図５のＳ１４）。
【００７５】
この画像合成は、透過率設定部８４で決められた透過率に基づいて、画像合成部８２によって行われる。
【００７６】
今、第１視点変換部６２で生成された第１仮想スクリーン投影画像２０５をＫ（ｘ、ｙ）、第２視点変換部７２で生成された合成路面投影画像３００をＬ（ｘ、ｙ）、画像合成手段８０にて合成される画像をＭ（ｘ、ｙ）とすると、Ｍ（ｘ、ｙ）は、式１によって算出される。
【００７７】
Ｍ（ｘ、ｙ）＝α×Ｋ（ｘ、ｙ）＋（１-α）×Ｌ（ｘ、ｙ） （式１）
ここでαは透過率パラメータである。すなわちαは、２枚の画像が重なった時、前面に配置された画像の透過率に対応する値であり、０≦α≦１の範囲をとる。αの値は予め設定され、透過率設定部８４に格納される。本実施例の場合、α＝１に設定されているものとする。これは、仮想スクリーン投影画像（２０５、２１５、２２５、２３５）と合成路面投影画像３００が重なった場合、背面にくる合成路面投影画像３００を不可視とする設定である。なお、αの値は１に限定されるものではなく、最終的に生成される合成画像の用途や見やすさに基づいて、適宜設定される。
【００７８】
こうして得られた合成画像の例を図８（ａ）に示す。ここで、黒く塗り潰された領域は、車両１の存在位置とそのごく近傍にあたる、撮影手段２０の撮影視野を外れた領域と、仮想スクリーン投影画像、および合成路面投影画像以外の領域である。
【００７９】
このうち、車両１の存在位置には、図８（ａ）に示すように、後ろ向きの第１車両アイコン４００を重畳表示して、前後の位置関係をより明確に表現するようにしてもよい。
【００８０】
こうして得られた図８（ａ）の合成画像は、エンコーダ９２によってＤＡ変換され、車両１に内部に設置された表示用モニタ９４に表示される（図５のＳ１５）。
【００８１】
なお、このとき、車速検出部１４により、車速は常に検出されており、検出された車速が所定値を上回った場合（図５のＳ１６）、表示された画像を本装置起動前の状態に戻し（図５のＳ２０）、周囲監視装置の非表示状態に移行する（図５のＳ１）。
【００８２】
また、終了スイッチ操作検出部１２にて、終了スイッチ１８が操作されたことが検出された場合（図５のＳ１８）は、表示された画像を本装置起動前の状態に戻し（図５のＳ２０）、周囲監視装置の非表示状態に移行する（図５のＳ１）。
【００８３】
以上、車両１が前進している場合の動作について説明したが、車両１が後退している場合には、車両後方の画像が表示される。その場合の作用の流れは、上述した車両前進時とほぼ同様であるため、相違点のみ簡単に説明する。
【００８４】
シフトポジション検出部１３にてシフトポジションが後退位置にあることが検出される（図５のＳ３）と、システムの状態を表す変数βに２が格納され（図５のＳ５）、仮想視点位置・仮想視線方向設定部６６にて、仮想視点は車両１の前方上空に設定され、そこから車両１の後方側を見下ろす仮想視線方向が設定される（図５のＳ１１）。
【００８５】
車両前進時と同様にして生成された仮想スクリーン投影画像と合成路面投影画像３００とは、画像合成部８２で合成され、図８（ｂ）に示すように、車両後方を見下ろした画像として表示用モニタ９４に表示される（図５のＳ１５）。このとき、車両１の存在位置には、前向きの第２車両アイコン４１０を重畳表示して、前後の位置関係をより明確に表現するようにしてもよい。
【００８６】
なお、この時、車速検出部１４にて、車速は常にモニタされており、車速が所定値を上回った場合（図５のＳ１６）、車両周囲の画像を表示するのは安全上好ましくないため、表示された画像を本装置起動前の状態に戻し（図５のＳ２０）、周囲監視装置の表示状態から抜ける（図５のＳ１）。
【００８７】
また、シフトポジション検出部１３にて、シフトポジションは常に検出されており、シフトポジションが後退位置以外であることが検出された場合（図５のＳ１９）は、表示された画像を本装置起動前の状態に戻し（図５のＳ２０）、周囲監視装置の表示状態から抜ける（図５のＳ１）。
【００８８】
このように構成された本第１実施形態に係る車両用周囲監視装置２によれば、隣り合うカメラの撮影範囲の境界部分に存在する立体物であっても、前記境界部分に仮想スクリーンを設置し、当該仮想スクリーンへの投影画像を生成してこの投影画像を表示することにより、死角を生じることなく、前記立体物を的確に表示することができる。従って、車両周囲の状況を運転者に的確に伝達することができ、これによって駐車操作や切り返し操作等の車両誘導を円滑に行うことができるようになる。
【００８９】
なお、上記実施例では、仮想スクリーン投影画像と合成路面投影画像を合成して表示する構成になっているが、その形式に囚われることはない。すなわち、仮想スクリーン投影画像のみを、図９のように表示してもよい。これは、図１において、路面投影画像生成手段５０と第２視点変換手段７０と画像合成手段８０を削除した構成によって実現することができる。図９の表示方法によれば、死角が生じる画像の繋ぎ目付近の車両近傍の障害物の状況を的確に表示することができるという効果が得られる。
【００９０】
さらに、上記実施例では、４枚の仮想スクリーン投影画像と合成路面投影画像を、１枚の画像に合成して表示する構成になっているが、その形式に囚われることはない。すなわち、車両前進時には、図８（ａ）で、第１仮想スクリーン投影画像２０５と第４仮想スクリーン投影画像２３５と合成路面投影画像３００のみを合成して表示するようにしてもよい。これは、仮想視点位置・仮想視線方向設定部６６にて仮想視点位置と仮想視点方向を設定した時に、第３座標変換データ格納部６４に対して、第１仮想スクリーン投影画像２０５と第４仮想スクリーン投影画像２３５のみを作成するように指示を与えることによって実現することができる。
【００９１】
また、車両後退時には、図８（ｂ）で、第２仮想スクリーン投影画像２１５と第３仮想スクリーン投影画像２２５と合成路面投影画像３００のみを合成して表示するようにしてもよい。これは、仮想視点位置・仮想視線方向設定部６６にて仮想視点位置と仮想視点方向を設定した時に、第３座標変換データ格納部６４に対して、第２仮想スクリーン投影画像２１５と第３仮想スクリーン投影画像２２５のみを作成するように指示を与えることによって実現できる。これにより、車両の進行方向の情報をより強調して表現することができるため、モニタに表示される画像の瞬読性を、より一層向上させることができる。
【実施例２】
【００９２】
本実施例は、本発明を、車両に設置された複数のカメラで撮影した車両周囲の状況を、運転者に見やすい形態で表示することが可能な、車両用周囲監視装置４に適用したものである。特に、本実施例は、車両周囲に障害物検出手段を備え、この障害物検出手段の出力に基づいて、車両周囲の画像を、よりわかりやすい形態に変換して、車内に設置されたモニタに表示するものである。
【００９３】
図１０は、本発明の実施形態に係る車両用周囲監視装置４の構成を示すブロック図である。
【００９４】
本発明に係る車両用周囲監視装置４は、図１０に示す通り、図示しない車両１に設置され、運転者による車両用周囲監視装置４の起動操作や終了操作を検出する操作検出手段１０と、運転者の手の届く範囲に設置され、車両用周囲監視装置４の起動や終了を指示する操作スイッチ１５と、車両周囲の画像を撮影する複数のカメラから構成された撮影手段２０と、撮影手段２０を構成する複数のカメラのうち、隣り合うカメラの撮影領域の重複部に仮想スクリーンを設置する仮想スクリーン設置手段３０と、仮想スクリーン設置手段３０で設置した仮想スクリーンに、前記隣り合うカメラで撮影した各々の画像を投影して仮想スクリーン投影画像を生成する仮想スクリーン投影画像生成手段４０と、撮影された車両周囲の画像を、路面に投影して路面投影画像を生成する路面投影画像生成手段５０と、仮想スクリーン投影画像生成手段４０で生成された仮想スクリーン投影画像を、所定の仮想視点から所定の仮想視線方向を向いて撮影した画像に変換する第１視点変換手段６０と、路面投影画像生成手段５０で生成された路面投影画像を、前記所定の仮想視点から前記所定の仮想視線方向を向いて撮影した画像に変換する第２視点変換手段７０と、第１視点変換手段６０によって視点変換された仮想スクリーン投影画像と第２視点変換手段７０によって視点変換された路面投影画像とを１枚の画像に合成する画像合成手段８０と、画像合成手段８０で合成した画像を表示する画像表示手段９０と、車両１の周囲の障害物の有無を検出し、その障害物までの距離を算出する障害物検出手段１００とから構成される。
【００９５】
操作検出手段１０は、詳しくは、運転者の周囲監視装置の起動操作を検出する起動スイッチ操作検出部１１と、周囲監視装置の終了操作を検出する終了スイッチ操作検出部１２と、車両のシフトポジションを検出するシフトポジション検出部１３と、車速を検出する車速検出部１４とからなる。
【００９６】
操作スイッチ１５は、詳しくは、車両用周囲監視装置４の起動を指示する起動スイッチ１６と、車両用周囲監視装置の終了を指示する終了スイッチ１８とからなる。
【００９７】
撮影手段２０は、詳しくは、図１１のように車両の周囲に設置され、隣り合う撮影領域が互いに重複するように配置された第１カメラ２２、第２カメラ２４、第３カメラ２６、第４カメラ２８と、第１カメラ２２の出力信号をＡＤ変換してディジタル信号に変換する第１デコーダ２３、第２カメラ２４の出力信号をＡＤ変換してディジタル信号に変換する第２デコーダ２５、第３カメラ２６の出力信号をＡＤ変換してディジタル信号に変換する第３デコーダ２７、第４カメラ２８の出力信号をＡＤ変換してディジタル信号に変換する第４デコーダ２９とから構成される。
【００９８】
仮想スクリーン投影画像生成手段４０は、詳しくは、仮想スクリーン投影画像を生成するために、第１カメラ２２から第４カメラ２８の各設置位置と仮想スクリーンの各設置位置とに基づいて、予め作成された座標変換用データテーブルが格納された第１座標変換データ格納部４４と、第１座標変換データ格納部４４に格納された座標変換用データテーブルに基づいて、仮想スクリーン投影画像を生成する仮想スクリーン投影画像生成部４２とからなる。
【００９９】
路面投影画像生成手段５０は、詳しくは、路面投影画像を生成するために、第１カメラ２２から第４カメラ２８の各設置位置に基づいて、予め作成された座標変換用データテーブルが格納された第２座標変換データ格納部５６と、第２座標変換データ格納部５６に格納された座標変換用データテーブルに基づいて、各カメラで撮影した画像から、路面投影画像を生成する路面投影画像生成部５２と、生成された複数の路面投影画像を１枚の画像に合成する路面投影画像合成部５４とからなる。
【０１００】
第１視点変換手段６０は、詳しくは、車両１の進行方向や運転者のスイッチ操作に基づいて、仮想スクリーン投影画像と路面投影画像との合成画像を生成する、仮想視点位置と仮想視線方向を設定する仮想視点位置・仮想視線方向設定部６６と、仮想視点位置・仮想視線方向設定部６６で設定された仮想視点位置から仮想視線方向に向けて、仮想スクリーン投影画像の視点変換を行うための座標変換用データテーブルが格納された第３座標変換データ格納部６４と、第３座標変換データ格納部６４に格納された座標変換用データテーブルに基づいて、仮想スクリーン投影画像を視点変換する第１視点変換部６２とからなる。
【０１０１】
第２視点変換手段７０は、詳しくは、仮想視点位置・仮想視線方向設定部６６で設定された仮想視点位置から仮想視線方向に向けて、路面投影画像の視点変換を行うための座標変換用データテーブルが格納された第４座標変換データ格納部７４と、第４座標変換データ格納部７４に格納された座標変換用データテーブルに基づいて、路面投影画像を視点変換する第２視点変換部７２とからなる。
【０１０２】
画像合成手段８０は、詳しくは、第１視点変換手段６０によって視点変換された仮想スクリーン投影画像と第２視点変換手段７０によって視点変換された路面投影画像とを１枚の画像に合成する際、画像が重複する部分の透過率を設定する透過率設定部８４と、透過率設定部８４で設定された透過率にて、第１視点変換手段６０によって視点変換された仮想スクリーン投影画像を前面に、第２視点変換手段７０によって視点変換された路面投影画像を背面にして合成する画像合成部８２とからなる。
【０１０３】
画像表示手段９０は、詳しくは、画像合成手段８０で合成された画像を、ディジタル信号からアナログ信号に変換するエンコーダ９２と、エンコーダ９２によってアナログ信号に変換された画像を表示する表示用モニタ９４とからなる。
【０１０４】
さらに、障害物検出手段１００は、詳しくは、図１１のように車両１の周囲に設置され、第１カメラ２２の撮影範囲と第２カメラ２４の撮影範囲の重複範囲である第１重複領域Ｅ１を含む第１測距範囲Ｒ１の障害物の有無とその障害物までの距離を算出する第１測距部１０２と、第２カメラ２４の撮影範囲と第３カメラ２６の撮影範囲の重複範囲である第２重複領域Ｅ２を含む第２測距範囲Ｒ２の障害物の有無とその障害物までの距離を算出する第２測距部１０４と、第３カメラ２６の撮影範囲と第４カメラ２８の撮影範囲の重複範囲である第３重複領域Ｅ３を含む第３測距範囲Ｒ３の障害物の有無とその障害物までの距離を算出する第３測距部１０６と、第４カメラ２８の撮影範囲と第１カメラ２２の撮影範囲の重複範囲である第４重複領域Ｅ４を含む第４測距範囲Ｒ４の障害物の有無とその障害物までの距離を算出する第４測距部１０８と、計測された障害物までの距離値に基づいて、画像合成時の透過率を設定する距離値判定部１０９とからなる。
【０１０５】
次に、本実施例に係る車両用周囲監視装置４の作用について、図１２のフローチャートに基づいて説明する。本発明に係る車両用周囲監視装置４は、車両の駐車時や狭い場所での切り返し時等に利用され、車両周辺の画像を運転者に呈示して運転動作を補助するものである。
【０１０６】
図１１（ａ）に示すように、第１カメラ２２は車両１のフロントバンパに、第２カメラ２４は車両１の左ドアミラーに、第３カメラ２６は車両１のリアバンパにそれぞれ設置されており、図１１（ａ）には図示しないが、第４カメラ２８は車両１の右ドアミラーに設置されている。
【０１０７】
また、図１１（ｂ）に示すように、第１測距部１０２はフロントバンパ左角に、第２測距部１０４はリアバンパ左角に、第３測距部１０６はリアバンパ右角に、第４測距部１０８はフロントバンパ右角にそれぞれ設置されている。これらの測距部は、具体的には超音波センサや光学式測距センサで構成されるが、測距機能さえ有していれば、その構成は問わない。
【０１０８】
また、各カメラは、図１１（ｂ）に示す通り、それらの撮影範囲と路面とが、各交線１２０、１２２、１２４、１２６で交わる範囲を撮影するように設置されている。
【０１０９】
なお、隣り合うカメラ２２と２４、２４と２６、２６と２８、および２８と２２は、図１１（ｂ）に示す通り、それぞれの撮影範囲が互いに重複し、第１重複領域Ｅ１、第２重複領域Ｅ２、第３重複領域Ｅ３、第４重複領域Ｅ４を有するように設置されている。
【０１１０】
そして、第１測距部１０２は、第１重複領域Ｅ１を含む領域を第１測距範囲Ｒ１とし、第２測距部１０４は、第２重複領域Ｅ２を含む領域を第２測距範囲Ｒ２とし、第３測距部１０６は、第３重複領域Ｅ３を含む領域を第３測距範囲Ｒ３とし、第４測距部１０８は、第４重複領域Ｅ４を含む領域を第４測距範囲Ｒ４とするように配置されている。
【０１１１】
以下、車両１が、駐車のために前方に向かって微速前進している場面について、本実施例の動作を説明する。運転者は、車両周囲を監視する場合、車内に設置された起動スイッチ１６を操作する。すると、起動スイッチ操作検出部１１により起動スイッチ操作が検出される（図１２のＳ２）。この時、車両用周囲監視装置４の状態を表す変数βに１が与えられる（図１２のＳ４）。
【０１１２】
第１カメラ２２から第４カメラ２８で撮影された画像は、それぞれ、第１デコーダ２３から第４デコーダ２９で標本化および量子化されてディジタル画像に変換される（図１２のＳ６）。なお、第１カメラ２２で撮影された画像をＩ１（ｘ、ｙ）、第２カメラ２４で撮影された画像をＩ２（ｘ、ｙ）、第３カメラ２６で撮影された画像をＩ３（ｘ、ｙ）、第４カメラ２８で撮影された画像をＩ４（ｘ、ｙ）とする。
【０１１３】
画像入力と同時に、第１測距部１０２から第４測距部１０８にて車両周囲の測距が行われ、各々の測距部から、車両１の周囲に存在する障害物までの距離に対応した値が出力される。
【０１１４】
ここで、簡単のため、本実施例が動作している環境が、図１３（ａ）の通りであるとする。すなわち、車両１の左前方には、第１実施例で説明したのと同じ条件で、４本の柱状物（第１柱状物３０１、第２柱状物３０２、第３柱状物３０３、第４柱状物３０４）が路面に垂直に起立しており、車両１の右後方には、４本の柱状物（第５柱状物３０５、第６柱状物３０６、第７柱状物３０７、第８柱状物３０８）が、正方形の４つの頂点の位置に配置され、各々が路面に垂直に起立しているものとする。なお、車両左前方の４本の柱状物は、駐車操作を行う際に注意喚起が必要な要注意喚起範囲４２０の内部にあり、車両右後方の４本の柱状物は、要注意喚起範囲４２０の外部にあるものとする。
【０１１５】
４つの測距部（１０２、１０４、１０６、１０８）からは、路面から高さを有する物体（障害物）までの距離が近いほど小さい値が出力される。本実施例の場合、第１測距部１０２から、最も小さな値が出力され、第３測距部１０６から、次に小さな値が出力される。車両１の左後方と右前方には、障害物が存在しないため、第２測距部１０４と第４測距部１０８からは、非常に大きな値が出力される。
【０１１６】
次に、４つの測距部（１０２、１０４、１０６、１０８）から出力された値は、距離値判定部１０９に送られ、所定値以下の値を出力する側距部の有無とその位置が特定される。本例の場合、第１測距部１０２から、所定値以下の値が出力されていることが特定される（図１２のＳ７）。
【０１１７】
すると、距離値判定部１０９にて、所定値以下の値が出力されることが特定された第１測距部１０２の測距範囲である第１測距範囲Ｒ１がカバーする第１重複領域Ｅ１に対して、仮想スクリーン設置手段３０によって、第１重複領域Ｅ１の面積を２等分するように、車両から遠近方向に延びた、路面に垂直な平面状の第１仮想スクリーン２００が設置される。
【０１１８】
さらに、仮想スクリーン投影画像生成手段４０によって、設置した第１仮想スクリーン２００に画像Ｉ１（ｘ、ｙ）と画像Ｉ２（ｘ、ｙ）を投影変換して、仮想スクリーン投影画像が生成される（図１２のＳ８）。仮想スクリーン投影画像の生成方法については、第１実施例で説明した通りであるため、ここでは説明を割愛する。
【０１１９】
仮想スクリーン投影画像は、仮想スクリーン投影画像生成部４２で生成されるが、第１仮想スクリーン２００と交差する点を、画像Ｉ１（ｘ、ｙ）、画像Ｉ２（ｘ、ｙ）の画素毎に算出するのは、計算負荷が大きいため、第１カメラ２２と第２カメラ２４の配置に基づいて、第１仮想スクリーン投影画像２０５の任意の画素に投影される、画像Ｉ１（ｘ、ｙ）と画像Ｉ２（ｘ、ｙ）の座標値を、予め計算で求めておき、その計算結果に基づいて座標変換テーブルを予め作成して、第１座標変換データ格納部４４に格納しておく。
【０１２０】
そして、仮想スクリーン投影画像生成部４２では、第１座標変換データ格納部４４に格納された座標変換テーブルに基づいて、座標の置き換え操作を行うことによって投影変換を実行することで、計算負荷を低減している。この投影変換により、第１仮想スクリーン投影画像２０５が生成される。
【０１２１】
次に、路面投影画像生成部５２により、画像Ｉ１（ｘ、ｙ）と画像Ｉ２（ｘ、ｙ）、画像Ｉ３（ｘ、ｙ）、画像Ｉ４（ｘ、ｙ）は、各々路面に投影され、さらに、車両真上から見下ろした画像に変換される（図１２のＳ９）。
【０１２２】
路面投影画像の生成方法は、第１実施例で説明した通りであるため、ここでは説明を割愛する。路面投影画像は、路面投影画像生成部５２で生成されるが、画像Ｉ１（ｘ、ｙ）の場合は、具体的に、第１カメラ２２の主点位置Ｐから、第１カメラ２２で撮影した画像Ｉ１（ｘ、ｙ）の各画素に向かって延ばした半直線が、路面と交差する点を求めることによって行われる。画像Ｉ２（ｘ、ｙ）についても、同様にして路面投影画像が生成される。
【０１２３】
ここで、画像Ｉ１（ｘ、ｙ）や画像Ｉ２（ｘ、ｙ）に対して、その画素毎に、路面への投影点を計算するのは計算負荷が大きいため、第１カメラ２２と第２カメラ２４の配置に基づいて、路面上の任意の点に投影される、画像Ｉ１（ｘ、ｙ）と画像Ｉ２（ｘ、ｙ）の座標値を、予め計算で求めておき、その計算結果に基づいて予め座標変換テーブルを作成し、第２座標変換データ格納部５６に格納しておく。
【０１２４】
具体的な路面投影画像の生成方法は、第１実施例で説明した通りであるため、ここでは説明を割愛する。
【０１２５】
本実施例が動作している環境が、図１３（ａ）である場合、４台のカメラで撮影された４枚の画像の路面投影画像は、図１３（ｂ）のように合成される。
【０１２６】
ここで、車両１自身、およびその直近部分は、カメラの撮影視野の外にあるため、例えば濃淡値を最小値や最大値に置き換えるなどして特異な値を格納し、情報が欠落していることを運転者に知らせる。こうして、図１３（ｃ）に示す合成路面投影画像３００が生成される。
【０１２７】
次に、図１２のＳ８で生成された第１仮想スクリーン投影画像２０５は、第１視点変換手段６０によって、所定の視点位置から所定の視線方向を向いて観測した画像に変換される。
【０１２８】
ここで、所定の視点位置と所定の視線方向は、操作検出手段１０によって検出された情報に基づいて、仮想視点位置・仮想視線方向設定部６６により決定される。
【０１２９】
すなわち、車両用周囲監視装置４の状態を表す変数βに１が与えられている場合（図１２のＳ１０）、仮想視点は車両１の後方上空に設定され、そこから車両１の前方側を見下ろす仮想視線方向が設定される（図１２のＳ１１）。
【０１３０】
第３座標変換データ格納部６４には、仮想スクリーン投影画像を、設定した仮想視点位置から、設定した仮想視線方向を向いて観測したように視点変換するための座標変換テーブルが、予め作成されて格納されており、その座標変換テーブルに基づいて、第１視点変換部６２にて視点変換が行われる（図１２のＳ１３）。
【０１３１】
さらに、図１２のＳ９で生成された合成路面投影画像３００は、第２視点変換手段７０によって、仮想視点位置・仮想視線方向設定部６６で設定したのと同じ視点位置から、同じ視線方向を向いて観測した画像に変換される。
【０１３２】
具体的には、第４座標変換データ格納部７４には、合成路面投影画像３００を、設定した仮想視点位置から設定した仮想視線方向を向いて観測したように視点変換するための座標変換テーブルが、予め作成されて格納されており、その座標変換テーブルに基づいて、第２視点変換部７２にて視点変換が行われる（図１２のＳ１４）。
【０１３３】
次に、第１視点変換部６２で生成された第１仮想スクリーン投影画像２０５と、第２視点変換部７２で生成された合成路面投影画像３００とは、第１仮想スクリーン投影画像２０５を前面に、合成路面投影画像３００を背面にして、画像合成手段８０にて１枚の画像に合成される（図１２のＳ１５）。
【０１３４】
この画像合成は、透過率設定部８４で決められたルールに基づいて、画像合成部８２によって行われる。
【０１３５】
今、第１視点変換部６２で生成された第１仮想スクリーン投影画像２０５をＫ（ｘ、ｙ）、第２視点変換部７２で生成された合成路面投影画像３００をＬ（ｘ、ｙ）、画像合成手段８０にて合成される画像をＭ（ｘ、ｙ）とすると、Ｍ（ｘ、ｙ）は、先述した式１によって算出される。
【０１３６】
ここで、透過率パラメータαは、０≦α≦１の範囲の値をとる。本実施例２においては、α＝１に設定される。これは、仮想スクリーン投影画像（２０５、２１５、２２５、２３５）と合成路面投影画像３００が重なった場合、背面に合成される合成路面投影画像３００を不可視とする設定である。
【０１３７】
こうして得られた合成画像の例を図１４（ａ）に示す。ここで、黒く塗り潰された領域は、車両１の存在位置とそのごく近傍にあたる、撮影手段２０の撮影視野を外れた領域と、仮想スクリーン投影画像、および合成路面投影画像以外の領域である。
【０１３８】
ここで、車両１の存在位置には、後ろ向きの第１車両アイコン４００を重畳表示して、前後の位置関係をより明確に表現するようにしてもよい。
【０１３９】
こうして得られた図１４（ａ）の合成画像は、エンコーダ９２によってＤＡ変換され、車両１の内部に設置された表示用モニタ９４に表示される（図１２のＳ１６）。
【０１４０】
なお、このとき、車速検出部１４により、車速は常に検出されており、検出された車速が所定値を上回った場合（図１２のＳ１７）、表示された画像を本装置起動前の状態に戻し（図１２のＳ２１）、周囲監視装置の非表示状態に移行する（図１２のＳ１）。
【０１４１】
また、終了スイッチ操作検出部１２によって、終了スイッチ１８が操作されたことが検出された場合（図１２のＳ１９）は、表示された画像を本装置起動前の状態に戻し（図１２のＳ２１）、周囲監視装置の非表示状態に移行する（図１２のＳ１）。
【０１４２】
以上、車両１が前進している場合の動作について説明したが、車両１が後退している場合には、車両後方の画像を表示する。その場合の作用の流れは、上述した車両前進時とほぼ同様であるため、相違点のみ説明する。
【０１４３】
シフトポジション検出部１３にてシフトポジションが後退位置にあることが検出される（図１２のＳ３）と、システムの状態を表す変数βに２が格納され（図１２のＳ５）、仮想視点位置・仮想視線方向設定部６６にて、仮想視点は車両１の前方上空に設定され、そこから車両１の後方側を見下ろす仮想視線方向が設定される（図１２のＳ１２）。
【０１４４】
車両前進時と同様にして生成された仮想スクリーン投影画像と合成路面投影画像３００とは、画像合成部８２で合成され、図１４（ｂ）に示すように、車両後方を見下ろした画像として表示用モニタ９４に表示される（図１２のＳ１６）。このとき、車両１の存在位置には、前向きの第２車両アイコン４１０を重畳表示して、前後の位置関係をより明確に表現するようにしてもよい。
【０１４５】
なお、この時、車速検出部１４により、車速は常に検出されており、検出された車速が所定値を上回った場合（図１２のＳ１７）、表示された画像を本装置起動前の状態に戻し（図１２のＳ２１）、周囲監視装置の非表示状態に移行する（図１２のＳ１）。
【０１４６】
また、シフトポジション検出部１３にて、シフトポジションは常に検出されており、シフトポジションが後退位置以外であることが検出された場合（図１２のＳ２０）は、表示された画像を本装置起動前の状態に戻し（図１２のＳ２１）、周囲監視装置の非表示状態に移行する（図１２のＳ１）。
【０１４７】
このように構成された第２実施形態に係る車両用周囲監視装置４によれば、障害物が検出された領域内にのみ仮想スクリーンを設置し、その仮想スクリーンに対して仮想スクリーン投影画像を生成して表示する構成にしたため、従来の監視装置では死角になる画像の繋ぎ目の位置に障害物が存在したときのみ、仮想スクリーン投影画像が表示され、これにより、障害物存在時の視認性をより一層向上させることができる。
【０１４８】
なお、上記実施例では、障害物までの距離が所定値以下のとき、その障害物が検出された領域に対応する場所に仮想スクリーンを設置し、透過率設定部８４において透過率パラメータαを１に設定することにより、その仮想スクリーンに投影して生成した仮想スクリーン投影画像と重複する合成路面投影画像３００を不可視とする設定にして合成画像を生成したが、その形式に囚われることはない。
【０１４９】
すなわち、第１測距部１０２で測定され出力された障害物までの距離に対応した値Ｄ１、第２測距部１０４で測定され出力された障害物までの距離に対応した値Ｄ２、第３測距部１０６で測定され出力された障害物までの距離に対応した値Ｄ３、第４測距部１０８で測定され出力された障害物までの距離に対応した値Ｄ４の値に応じて、透過率設定部８４において、各距離に対応した値Ｄi（i＝１、２、３、４）が第１の距離しきい値Ｄmaxよりも大きい時は、透過率パラメータαを０に設定して、仮想スクリーン投影画像を不可視とし、また、Ｄiが第２の距離しきい値Ｄminよりも小さい時は、透過率パラメータαを１に設定して、合成路面投影画像３００を不可視とし、さらに、Ｄmin＜Ｄi＜Ｄmaxの時は、距離に対応した値Ｄiが小さいほど透過率パラメータαを、１を越えない大きい値に設定し、これによって、障害物までの距離が近づくほど、仮想スクリーン投影画像をはっきりと表示させるようにしてもよい。このようにして設定される透過率パラメータαの例を図１５に示す。
【０１５０】
透過率を図１５のように設定することによって、障害物への接近を、運転者に、より明確に伝達することができるようになる。
【０１５１】
また、距離値判定部１０９にて、第１測距部１０２から第４測距部１０８の各々から出力される障害物までの距離に対応した値Ｄ１からＤ４の時間変化を観測し、各Ｄi（i＝１、２、３、４）が時間の経過とともに小さく（近く）なっている時は、車両１と障害物とが近づいているものと判断してαの値を（１を越えない範囲で）大きくして、仮想スクリーン投影像の背面に合成される合成路面投影像を見えにくくし、障害物に近づいていることを明確に伝達できるようにし、逆に、各Ｄi（i＝１、２、３、４）が時間の経過とともに大きく（遠く）なっている時は、車両１と障害物とが遠ざかっているものと判断してαの値を（０を下回らない範囲で）小さくして、仮想スクリーン投影像の背面に合成される合成路面投影像を見えやすくし、障害物から遠ざかっていることを明確に伝達できる表示形態を採るようにしてもよい。
【０１５２】
さらに、上記実施例では、隣り合うカメラの撮影範囲の重複領域の面積を略２等分する位置に、車両から遠近方向に延びる、路面に垂直な平面状の仮想スクリーンを設置したが、その形式に囚われることはない。すなわち、測距部（１０２、１０４、１０６、１０８）に、測距範囲を水平方向（車両の周囲方向）にスキャンして水平方向の角度毎に距離情報を測定できる機能を持たせ、障害物情報が得られた方向に向かって延びる、鉛直に立ち上がった平面状の仮想スクリーンを設置し、この仮想スクリーン上に仮想スクリーン投影画像を生成してこれを表示する構成としてもよい。
【０１５３】
この方法によれば、障害物が存在する方向に仮想スクリーンが設置されるため、仮想スクリーン投影画像の中の障害物の像は、その障害物を撮影する、隣り合った２台のカメラから仮想スクリーンの同じ位置に投影され、したがって、仮想スクリーン投影画像上で、障害物を表す像の濃淡値は大きい値となり、それによって障害物がより一層明確に表示され、画像の視認性が向上するという効果が得られる。
【符号の説明】
【０１５４】
２ 車両用周囲監視装置
１０ 操作検出手段
１１ 起動スイッチ操作検出部
１２ 終了スイッチ操作検出部
１３ シフトポジション検出部
１４ 車速検出部
１５ 操作スイッチ
１６ 起動スイッチ
１８ 終了スイッチ
２０ 撮影手段
２２ 第１カメラ
２３ 第１デコーダ
２４ 第２カメラ
２５ 第２デコーダ
２６ 第３カメラ
２７ 第３デコーダ
２８ 第４カメラ
２９ 第４デコーダ
３０ 仮想スクリーン設置手段
４０ 仮想スクリーン投影画像生成手段
４２ 仮想スクリーン投影画像生成部
４４ 第１座標変換データ格納部
５０ 路面投影画像生成手段
５２ 路面投影画像生成部
５４ 路面投影画像合成部
５６ 第２座標変換データ格納部
６０ 第１視点変換手段
６２ 第１視点変換部
６４ 第３座標変換データ格納部
６６ 仮想視点位置・仮想視線方向設定部
７０ 第２視点変換手段
７２ 第２視点変換部
７４ 第４座標変換データ格納部
８０ 画像合成手段
８２ 画像合成部
８４ 透過率設定部
９０ 画像表示手段
９２ エンコーダ
９４ 表示用モニタ
【特許請求の範囲】
【請求項１】
車両周囲を撮影するように、隣り合う撮影範囲の一部が重複領域を有して車両に設置された複数の撮影手段と、
前記撮影範囲の重複領域の内部に、前記車両に対して遠近方向に延び、鉛直方向に立ち上がった仮想スクリーンを設置する仮想スクリーン設置手段と、
隣り合う前記撮影手段で撮影した各々の画像の各画素に格納された濃淡値に対応する値を、前記撮影手段の各々の主点に対応する位置から前記撮影手段で撮影された画像の各画素に向かって延ばした半直線が前記仮想スクリーンと交差する位置に格納する仮想スクリーン投影画像生成手段と、
前記仮想スクリーン投影画像生成手段によって生成された画像を、所定の視点位置から所定の視線方向を向いて観測した画像に座標変換して出力する第１視点変換手段と、
前記第１視点変換手段によって出力された画像を表示する画像表示手段とを備えたことを特徴とする車両用周囲監視装置。
【請求項２】
車両周囲を撮影するように、隣り合う撮影範囲の一部が重複領域を有して車両に設置された複数の撮影手段と、
前記撮影範囲の重複領域の内部に、前記車両に対して遠近方向に延び、鉛直方向に立ち上がった仮想スクリーンを設置する仮想スクリーン設置手段と、
隣り合う前記撮影手段で撮影した各々の画像の各画素に格納された濃淡値に対応する値を、前記撮影手段の各々の主点に対応する位置から前記撮影手段で撮影された画像の各画素に向かって延ばした半直線が前記仮想スクリーンと交差する位置に格納する仮想スクリーン投影画像生成手段と、
前記仮想スクリーン投影画像生成手段によって生成された画像を、所定の視点位置から所定の視線方向を向いて観測した画像に座標変換して出力する第１視点変換手段と、
前記複数の撮影手段で撮影した各々の画像の各画素に格納された濃淡値を、前記撮影手段の各々の主点に対応する位置から前記撮影手段で撮影された画像の各画素に向かって延ばした半直線が路面と交差する位置に格納する路面投影画像生成手段と、
前記路面投影画像生成手段によって生成された画像を、前記所定の視点位置から、前記所定の視線方向を向いて観測した画像に座標変換して出力する第２視点変換手段と、
前記第１視点変換手段によって出力された画像と、前記第２視点変換手段によって出力された画像とを、１枚の画像に合成して出力する画像合成手段と、
前記画像合成手段によって出力された画像を表示する画像表示手段とを備えたことを特徴とする車両用周囲監視装置。
【請求項３】
起動スイッチと、前記起動スイッチが操作されたこと、および車両のシフトポジションを検出する操作検出手段とを備え、前記起動スイッチの操作と前記シフトポジションとに基づいて、前記第１視点変換手段が、前記視点位置と、前記視線方向とを決定することを特徴とする請求項１記載の車両用周囲監視装置。
【請求項４】
前記仮想スクリーン設置手段は、隣り合う前記撮影手段の前記撮影範囲の重複領域に、前記重複領域の面積を略２等分する位置に仮想スクリーンを設置するものであることを特徴とする請求項１または３記載の車両用周囲監視装置。
【請求項５】
前記仮想スクリーン設置手段は、前記車両の進行方向に基づいて、前記仮想スクリーンの設置位置を設定するものであることを特徴とする請求項１、３および４のうちいずれか１項に記載の車両用周囲監視装置。
【請求項６】
隣り合う撮影手段の撮影範囲の重複領域における、車両から、前記車両の近傍に存在する路面から高さのある物体までの距離を出力する複数の障害物検出手段を備え、前記仮想スクリーン設置手段は、前記路面から高さのある物体までの距離が所定値よりも小さいことが検出されたとき、または、前記路面から高さのある物体までの距離が時間とともに小さくなることが検出されたとき、前記検出結果を出力した障害物検出手段の設置位置に対応した前記撮影手段の撮影範囲の重複領域の内部に前記仮想スクリーンを設置して、前記仮想スクリーンに対して前記仮想スクリーン投影画像を生成して表示することを特徴とする請求項１、３、４および５のうちいずれか１項に記載の車両用周囲監視装置。
【請求項７】
前記障害物検出手段は、前記隣り合う撮影手段の撮影範囲の重複領域において、前記車両の周囲方向に亘って、前記車両の近傍に存在する路面から高さのある物体までの距離を出力する機能を有し、前記路面から高さのある物体までの距離が所定値よりも小さいことが検出されたとき、または、前記路面から高さのある物体までの距離が時間とともに小さくなることが検出されたとき、前記仮想スクリーン設置手段によって、前記検出された物体が存在する方向に向けて、鉛直方向に立ち上がり、かつ前記車両に対して遠近方向に延びた仮想スクリーンが設置され、前記仮想スクリーンに対して前記仮想スクリーン投影画像を生成して表示することを特徴とする請求項１、３、４、５および６のうちいずれか１項に記載の車両用周囲監視装置。
【請求項８】
起動スイッチと、前記起動スイッチが操作されたこと、および車両のシフトポジションを検出する操作検出手段とを備え、前記起動スイッチの操作と前記シフトポジションとに基づいて、前記第１視点変換手段および前記第２視点変換手段が、前記視点位置と、前記視線方向とを決定することを特徴とする請求項２記載の車両用周囲監視装置。
【請求項９】
前記仮想スクリーン設置手段は、隣り合う前記撮影手段の前記撮影範囲の重複領域に、前記重複領域の面積を略２等分する位置に仮想スクリーンを設置するものであることを特徴とする請求項２または８記載の車両用周囲監視装置。
【請求項１０】
前記仮想スクリーン設置手段は、前記車両の進行方向に基づいて、前記仮想スクリーンの設置位置を設定するものであることを特徴とする請求項２、８および９のうちいずれか１項に記載の車両用周囲監視装置。
【請求項１１】
隣り合う撮影手段の撮影範囲の重複領域における、車両から、前記車両の近傍に存在する路面から高さのある物体までの距離を出力する複数の障害物検出手段を備え、前記仮想スクリーン設置手段は、前記路面から高さのある物体までの距離が所定値よりも小さいことが検出されたとき、または、前記路面から高さのある物体までの距離が時間とともに小さくなることが検出されたとき、前記検出結果を出力した障害物検出手段の設置位置に対応した前記撮影手段の撮影範囲の重複領域の内部に前記仮想スクリーンを設置して、前記仮想スクリーンに対して前記仮想スクリーン投影画像を生成して表示することを特徴とする請求項２、８、９および１０のうちいずれか１項に記載の車両用周囲監視装置。
【請求項１２】
前記障害物検出手段は、前記隣り合う撮影手段の撮影範囲の重複領域において、前記車両の周囲方向に亘って、前記車両の近傍に存在する路面から高さのある物体までの距離を出力する機能を有し、前記路面から高さのある物体までの距離が所定値よりも小さいことが検出されたとき、または、前記路面から高さのある物体までの距離が時間とともに小さくなることが検出されたとき、前記仮想スクリーン設置手段によって、前記検出された物体が存在する方向に向けて、鉛直方向に立ち上がり、かつ前記車両に対して遠近方向に延びた仮想スクリーンが設置され、前記仮想スクリーンに対して前記仮想スクリーン投影画像を生成して表示することを特徴とする請求項２、８、９、１０および１１のうちいずれか１項に記載の車両用周囲監視装置。
【請求項１３】
前記画像合成手段は、互いに重なって合成された画像の透過率を設定する透過率設定部と、前記透過率設定部で設定された透過率にて画像合成を行う画像合成部とを有し、前記第１視点変換手段によって出力された画像が前面に、前記第２視点変換手段によって出力された画像が背面に合成されるとともに、前記透過率設定部によって、前記第２視点変換手段によって出力された画像が不可視となるように前記透過率が設定されることを特徴とする請求項２、８、９、１０、１１および１２のうちいずれか１項に記載の車両用周囲監視装置。
【請求項１４】
前記障害物検出手段によって前記路面から高さのある物体までの距離が所定値よりも小さいことが検出されたとき、または、前記路面から高さのある物体までの距離が時間とともに小さくなることが検出されたとき、前記透過率設定部にて、前記検出結果を出力した障害物検出手段の設置位置に対応した前記撮影手段の撮影範囲の重複領域の内部に設置された仮想スクリーン投影画像の透過率を、前記仮想スクリーン投影画像の背面に合成される前記路面投影画像が、前記路面から高さのある物体までの距離が近いほど見えにくくなるように設定することを特徴とする請求項２、８、９、１０、１１および１２のうちいずれか１項に記載の車両用周囲監視装置。
【請求項１】
車両周囲を撮影するように、隣り合う撮影範囲の一部が重複領域を有して車両に設置された複数の撮影手段と、
前記撮影範囲の重複領域の内部に、前記車両に対して遠近方向に延び、鉛直方向に立ち上がった仮想スクリーンを設置する仮想スクリーン設置手段と、
隣り合う前記撮影手段で撮影した各々の画像の各画素に格納された濃淡値に対応する値を、前記撮影手段の各々の主点に対応する位置から前記撮影手段で撮影された画像の各画素に向かって延ばした半直線が前記仮想スクリーンと交差する位置に格納する仮想スクリーン投影画像生成手段と、
前記仮想スクリーン投影画像生成手段によって生成された画像を、所定の視点位置から所定の視線方向を向いて観測した画像に座標変換して出力する第１視点変換手段と、
前記第１視点変換手段によって出力された画像を表示する画像表示手段とを備えたことを特徴とする車両用周囲監視装置。
【請求項２】
車両周囲を撮影するように、隣り合う撮影範囲の一部が重複領域を有して車両に設置された複数の撮影手段と、
前記撮影範囲の重複領域の内部に、前記車両に対して遠近方向に延び、鉛直方向に立ち上がった仮想スクリーンを設置する仮想スクリーン設置手段と、
隣り合う前記撮影手段で撮影した各々の画像の各画素に格納された濃淡値に対応する値を、前記撮影手段の各々の主点に対応する位置から前記撮影手段で撮影された画像の各画素に向かって延ばした半直線が前記仮想スクリーンと交差する位置に格納する仮想スクリーン投影画像生成手段と、
前記仮想スクリーン投影画像生成手段によって生成された画像を、所定の視点位置から所定の視線方向を向いて観測した画像に座標変換して出力する第１視点変換手段と、
前記複数の撮影手段で撮影した各々の画像の各画素に格納された濃淡値を、前記撮影手段の各々の主点に対応する位置から前記撮影手段で撮影された画像の各画素に向かって延ばした半直線が路面と交差する位置に格納する路面投影画像生成手段と、
前記路面投影画像生成手段によって生成された画像を、前記所定の視点位置から、前記所定の視線方向を向いて観測した画像に座標変換して出力する第２視点変換手段と、
前記第１視点変換手段によって出力された画像と、前記第２視点変換手段によって出力された画像とを、１枚の画像に合成して出力する画像合成手段と、
前記画像合成手段によって出力された画像を表示する画像表示手段とを備えたことを特徴とする車両用周囲監視装置。
【請求項３】
起動スイッチと、前記起動スイッチが操作されたこと、および車両のシフトポジションを検出する操作検出手段とを備え、前記起動スイッチの操作と前記シフトポジションとに基づいて、前記第１視点変換手段が、前記視点位置と、前記視線方向とを決定することを特徴とする請求項１記載の車両用周囲監視装置。
【請求項４】
前記仮想スクリーン設置手段は、隣り合う前記撮影手段の前記撮影範囲の重複領域に、前記重複領域の面積を略２等分する位置に仮想スクリーンを設置するものであることを特徴とする請求項１または３記載の車両用周囲監視装置。
【請求項５】
前記仮想スクリーン設置手段は、前記車両の進行方向に基づいて、前記仮想スクリーンの設置位置を設定するものであることを特徴とする請求項１、３および４のうちいずれか１項に記載の車両用周囲監視装置。
【請求項６】
隣り合う撮影手段の撮影範囲の重複領域における、車両から、前記車両の近傍に存在する路面から高さのある物体までの距離を出力する複数の障害物検出手段を備え、前記仮想スクリーン設置手段は、前記路面から高さのある物体までの距離が所定値よりも小さいことが検出されたとき、または、前記路面から高さのある物体までの距離が時間とともに小さくなることが検出されたとき、前記検出結果を出力した障害物検出手段の設置位置に対応した前記撮影手段の撮影範囲の重複領域の内部に前記仮想スクリーンを設置して、前記仮想スクリーンに対して前記仮想スクリーン投影画像を生成して表示することを特徴とする請求項１、３、４および５のうちいずれか１項に記載の車両用周囲監視装置。
【請求項７】
前記障害物検出手段は、前記隣り合う撮影手段の撮影範囲の重複領域において、前記車両の周囲方向に亘って、前記車両の近傍に存在する路面から高さのある物体までの距離を出力する機能を有し、前記路面から高さのある物体までの距離が所定値よりも小さいことが検出されたとき、または、前記路面から高さのある物体までの距離が時間とともに小さくなることが検出されたとき、前記仮想スクリーン設置手段によって、前記検出された物体が存在する方向に向けて、鉛直方向に立ち上がり、かつ前記車両に対して遠近方向に延びた仮想スクリーンが設置され、前記仮想スクリーンに対して前記仮想スクリーン投影画像を生成して表示することを特徴とする請求項１、３、４、５および６のうちいずれか１項に記載の車両用周囲監視装置。
【請求項８】
起動スイッチと、前記起動スイッチが操作されたこと、および車両のシフトポジションを検出する操作検出手段とを備え、前記起動スイッチの操作と前記シフトポジションとに基づいて、前記第１視点変換手段および前記第２視点変換手段が、前記視点位置と、前記視線方向とを決定することを特徴とする請求項２記載の車両用周囲監視装置。
【請求項９】
前記仮想スクリーン設置手段は、隣り合う前記撮影手段の前記撮影範囲の重複領域に、前記重複領域の面積を略２等分する位置に仮想スクリーンを設置するものであることを特徴とする請求項２または８記載の車両用周囲監視装置。
【請求項１０】
前記仮想スクリーン設置手段は、前記車両の進行方向に基づいて、前記仮想スクリーンの設置位置を設定するものであることを特徴とする請求項２、８および９のうちいずれか１項に記載の車両用周囲監視装置。
【請求項１１】
隣り合う撮影手段の撮影範囲の重複領域における、車両から、前記車両の近傍に存在する路面から高さのある物体までの距離を出力する複数の障害物検出手段を備え、前記仮想スクリーン設置手段は、前記路面から高さのある物体までの距離が所定値よりも小さいことが検出されたとき、または、前記路面から高さのある物体までの距離が時間とともに小さくなることが検出されたとき、前記検出結果を出力した障害物検出手段の設置位置に対応した前記撮影手段の撮影範囲の重複領域の内部に前記仮想スクリーンを設置して、前記仮想スクリーンに対して前記仮想スクリーン投影画像を生成して表示することを特徴とする請求項２、８、９および１０のうちいずれか１項に記載の車両用周囲監視装置。
【請求項１２】
前記障害物検出手段は、前記隣り合う撮影手段の撮影範囲の重複領域において、前記車両の周囲方向に亘って、前記車両の近傍に存在する路面から高さのある物体までの距離を出力する機能を有し、前記路面から高さのある物体までの距離が所定値よりも小さいことが検出されたとき、または、前記路面から高さのある物体までの距離が時間とともに小さくなることが検出されたとき、前記仮想スクリーン設置手段によって、前記検出された物体が存在する方向に向けて、鉛直方向に立ち上がり、かつ前記車両に対して遠近方向に延びた仮想スクリーンが設置され、前記仮想スクリーンに対して前記仮想スクリーン投影画像を生成して表示することを特徴とする請求項２、８、９、１０および１１のうちいずれか１項に記載の車両用周囲監視装置。
【請求項１３】
前記画像合成手段は、互いに重なって合成された画像の透過率を設定する透過率設定部と、前記透過率設定部で設定された透過率にて画像合成を行う画像合成部とを有し、前記第１視点変換手段によって出力された画像が前面に、前記第２視点変換手段によって出力された画像が背面に合成されるとともに、前記透過率設定部によって、前記第２視点変換手段によって出力された画像が不可視となるように前記透過率が設定されることを特徴とする請求項２、８、９、１０、１１および１２のうちいずれか１項に記載の車両用周囲監視装置。
【請求項１４】
前記障害物検出手段によって前記路面から高さのある物体までの距離が所定値よりも小さいことが検出されたとき、または、前記路面から高さのある物体までの距離が時間とともに小さくなることが検出されたとき、前記透過率設定部にて、前記検出結果を出力した障害物検出手段の設置位置に対応した前記撮影手段の撮影範囲の重複領域の内部に設置された仮想スクリーン投影画像の透過率を、前記仮想スクリーン投影画像の背面に合成される前記路面投影画像が、前記路面から高さのある物体までの距離が近いほど見えにくくなるように設定することを特徴とする請求項２、８、９、１０、１１および１２のうちいずれか１項に記載の車両用周囲監視装置。
【図１】
【図５】
【図１２】
【図１５】
【図２】
【図３】
【図４】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１３】
【図１４】
【図５】
【図１２】
【図１５】
【図２】
【図３】
【図４】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１３】
【図１４】
【公開番号】特開２０１１−１８８３３５（Ｐ２０１１−１８８３３５Ａ）
【公開日】平成２３年９月２２日（２０１１．９．２２）
【国際特許分類】
【出願番号】特願２０１０−５２７６２（Ｐ２０１０−５２７６２）
【出願日】平成２２年３月１０日（２０１０．３．１０）
【出願人】（０００００１４８７）クラリオン株式会社 (1,722)
【Ｆターム（参考）】
【公開日】平成２３年９月２２日（２０１１．９．２２）
【国際特許分類】
【出願日】平成２２年３月１０日（２０１０．３．１０）
【出願人】（０００００１４８７）クラリオン株式会社 (1,722)
【Ｆターム（参考）】
[ Back to top ]