車両周辺確認システム
【課題】ディスプレイに表示される自車周辺の画像のいびつな形状を解消することにより、ユーザに与える違和感を軽減し、ユーザに対し誤解を招かない車両周辺映像を与えることが可能な車両周辺確認システムを提供する。
【解決手段】一又は複数のカメラ２を通して、映像内の像の大きさが非特定領域よりも大きく、且つ該非特定領域に挟まれる特定領域の映像を取得する第１映像取得部３１と、一又は複数のカメラ２を通して、映像内の像の大きさが特定領域よりも小さく、且つ該特定領域を挟む前記非特定領域の映像を取得する第２映像取得部３２と、第１映像取得部３１によって取得された非特定領域を基準として、第２映像取得部３２によって取得された特定領域の映像の大きさを調整する映像調整部８と、映像調整部８によって調整された映像を表示する映像表示部９と、を備える。
【解決手段】一又は複数のカメラ２を通して、映像内の像の大きさが非特定領域よりも大きく、且つ該非特定領域に挟まれる特定領域の映像を取得する第１映像取得部３１と、一又は複数のカメラ２を通して、映像内の像の大きさが特定領域よりも小さく、且つ該特定領域を挟む前記非特定領域の映像を取得する第２映像取得部３２と、第１映像取得部３１によって取得された非特定領域を基準として、第２映像取得部３２によって取得された特定領域の映像の大きさを調整する映像調整部８と、映像調整部８によって調整された映像を表示する映像表示部９と、を備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車両周辺確認システムに関する。
【背景技術】
【０００２】
近年、車に配置されたカメラから得た画像を車両上方から見下ろしたような映像で表示することで、見通しの悪い交差点などで発生する死角を減らし、状況に応じた視界をドライバーに提供することが可能な技術が開発されている（非特許文献１及び２を参照）。また、カメラから得た画像の歪みを補正する技術も開示されている（特許文献１及び２を参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００４−１５９１８６号公報
【特許文献２】特開２００５−０５１６２０号公報
【非特許文献】
【０００４】
【非特許文献１】“アラウンドビューモニター”、〔online〕、日産自動車株式会社グローバルサイト、〔平成２１年１１月２４日検索〕、インターネット＜ＵＲＬ： http://www.nissan-global.com/JP/TECHNOLOGY/INTRODUCTION/DETAILS/AVM/＞
【非特許文献２】“ODYSSEY”、〔online〕、Hondaホームページ（本田技研工業株式会社）、〔平成２１年１１月２４日検索〕、インターネット＜ＵＲＬ： http://www.honda.co.jp/ODYSSEY/multiview/＞
【発明の概要】
【発明が解決しようとする課題】
【０００５】
図１は、従来の車両周辺確認システム１において、カメラの配置を示す概略上面図である。図２は、従来の車両周辺確認システム１を用いた際の、車の左右サイドがディスプレイに表示されたときの合成画像である。従来の車両周辺確認システム１は、図１に示すように、フロント、リア、左ドアミラー、及び右ドアミラー下に配置した４個のカメラで撮影した映像をお碗型に貼り付けて、車両周辺の合成画像をディスプレイに表示している。４個のカメラは、広範囲で撮影することが可能な魚眼カメラが用いられるため、図２に示すように、カメラに近い物は極端に大きく表示され、カメラから遠い物は小さく表示される。その結果、自車周辺をすれ違う車両、歩行者、及び風景等が、極端に大きくなったり、小さくなったりと、いびつな形状でディスプレイに表示され、ユーザに違和感を与える。
【０００６】
そこで、本発明では、上記した問題に鑑み、ディスプレイに表示される自車周辺の画像のいびつな形状を解消することにより、ユーザに与える違和感を軽減し、ユーザに対し誤解を招かない車両周辺映像を与えることが可能な車両周辺確認システムを提供することを目的とする。
【課題を解決するための手段】
【０００７】
本発明は、上述した課題を解決するために、映像が歪む特定の領域である特定領域を、非特定領域を基準として大きさを調整する点を工夫した。これにより、ユーザに与える違和感を軽減し、ユーザに対し誤解を招かない車両周辺映像を与えることが可能である。
【０００８】
詳細には、本発明に係る車両周辺確認システムは、車両に設けられた一又は複数のカメ
ラを通して車両の周辺を映像により確認する車両周辺確認システムであって、前記一又は複数のカメラを通して、映像内の像の大きさが非特定領域よりも大きく、且つ該非特定領域に挟まれる特定領域の映像を取得する第１映像取得部と、前記一又は複数のカメラを通して、映像内の像の大きさが前記特定領域よりも小さく、且つ該特定領域を挟む前記非特定領域の映像を取得する第２映像取得部と、前記第１映像取得部によって取得された前記非特定領域を基準として、前記第２映像取得部によって取得された前記特定領域の映像の大きさを調整する映像調整部と、前記映像調整部によって調整された映像を表示する映像表示部と、を備える。
【０００９】
本発明に係る車両周辺確認システムは、第１映像取得部と、第２映像取得部と、映像調整部と、映像表示部とを備える。第１映像取得部は、一又は複数のカメラを通じて、特定領域の映像を取得する。第２映像取得部は、一又は複数のカメラを通じて、非特定領域の映像を取得する。尚、特定領域は、映像内の像の大きさが非特定領域よりも大きく、非特定領域に挟まれる領域のことであり、例えば、魚眼カメラによって車両の周辺の映像を取得した際に、像が大きくなるカメラから近い領域のことである。また、非特定領域は、映像内の像の大きさが特定領域よりも小さく、特定領域を挟む領域のことであり、例えば、魚眼カメラによって車両周辺の映像を取得した際に、像が小さくなるカメラから遠い領域のことである。映像調整部は、非特定領域を基準として特定領域の大きさを調整することにより、映像の歪みを解消することが可能である。その結果、本発明に係る車両周辺確認システムは、ユーザに与える違和感を軽減し、ユーザに対し誤解を与えない車両周辺映像を与えることが可能である。
【００１０】
ここで、本発明に係る車両周辺確認システムは、前記第１映像取得部によって取得した前記特定領域と、前記第２映像取得部によって取得した前記非特定領域の内、該特定領域を挟む一方の非特定領域と他方の非特定領域との映像から、車に対する障害物の映像を抽出した際に、各々の領域における各々の障害物の映像の高さを算出する障害物高さ算出部と、前記障害物高さ算出部によって算出された、前記一方の非特定領域と、前記他方の非特定領域との障害物の映像の高さの平均を算出する障害物高さ平均算出部と、前記特定領域と、前記一方の非特領域と、前記他方の非特定領域との映像から、各々の領域における各々の前記障害物の背景の映像の高さを算出する背景高さ算出部と、前記背景高さ算出部によって取得された、前記一方の非特定領域と、前記他方の非特定領域との背景の映像の高さの平均を算出する背景高さ平均算出部と、を更に備え、前記映像調整部は、前記障害物高さ平均算出部によって算出された障害物の映像の平均の高さが、前記特定領域の障害物の映像の高さよりも低い際は、該障害物高さ平均算出部によって算出された平均の高さに基づいて、該特定領域の障害物の映像の大きさを調整し、前記背景高さ平均算出部によって算出された平均の高さに基づいて、該特定領域の背景の映像の大きさを調整してもよい。
【００１１】
先ず、障害物高さ算出部が、特定領域と、一方の非特定領域と、他方の非特定領域とにおいて障害物の映像の高さを算出する場合について説明する。本発明に係る車両周辺確認システムは、障害物高さ算出部と、障害物高さ平均算出部と、背景高さ算出部と、背景高さ平均算出部とを更に備える。尚、障害物とは、道路を歩く人、自転車、動物等であり、背景とは、木、家、道路等である。障害物高さ算出部は、特定領域と、一方の非特定領域と、他方の非特定領域との各々の領域における各々の障害物の映像の高さを算出する。障害物高さ平均算出部は、一方の非特定領域と、他方の非特定領域との障害物の映像の高さの平均を算出する。背景高さ算出部は、特定領域と、一方の非特定領域と、他方の非特定領域との各々の領域における各々の背景の映像の高さを算出する。背景高さ平均算出部は、背景高さ算出部によって算出された、一方の非特定領域と、他方の非特定領域との背景の映像の高さの平均を算出する。障害物高さ平均算出部によって算出された障害物の映像の高さの平均が、特定領域の障害物の映像の高さよりも低い際は、車両周辺確認システム
は、映像のバランスが悪く、ユーザに違和感を与える状態である。従って、映像調整部は、障害物高さ平均算出部によって算出された平均の高さに基づいて、特定領域の障害物の映像の大きさを調整し、背景高さ平均算出部によって算出された平均の高さに基づいて、特定領域の背景の映像の大きさを調整することにより、映像表示部に表示される映像の歪みを解消することが可能である。以上により、本発明に係る車両周辺確認システムは、ユーザに与える違和感を軽減し、ユーザに対し誤解を与えない車両周辺映像を与えることが可能である。
【００１２】
次に、障害物高さ算出部が、特定領域と、一方の非特定領域と他方の非特定領域とのどちらか一方の非特定領域とにおいて障害物の映像の高さを算出する場合について説明する。障害物高さ算出部によって算出された一方の非特定領域若しくは他方の非特定領域の障害物の映像の高さの平均が、特定領域の障害物の映像の高さよりも低い際は、車両周辺確認システムは、映像のバランスが悪く、ユーザに違和感を与える状態である。従って、本発明に係る車両周辺確認システムは、映像調整部が、障害物高さ算出部によって算出された一方の非特定領域若しくは他方の非特定領域の障害物の高さに基づいて、特定領域の障害物の映像の大きさを調整し、背景高さ平均算出部によって算出された平均の高さに基づいて、特定領域の背景の映像の大きさを調整することにより、映像表示部に表示される映像の歪みを解消することが可能である。
【００１３】
次に、障害物高さ算出部が、特定領域において障害物の映像を抽出し、一方の非特定領域と他方の非特定領域において障害物の映像を抽出していない際に、特定領域における障害物の映像の高さを算出する場合について説明する。背景高さ算出部によって算出された平均の高さが、背景高さ算出部によって算出された特定領域における背景の高さよりも低い際は、車両周辺確認システムは、映像のバランスが悪く、ユーザに違和感を与える状態である。従って、本発明に係る車両周辺確認システムは、映像調整部が、背景高さ平均算出部によって算出された平均の高さに基づいて、特定領域の障害物の映像の大きさと、特定領域の背景の映像の大きさを調整することにより、映像表示部に表示される映像の歪みを解消することが可能である。
【００１４】
また、障害物高さ算出部が、特定領域と、一方の非特定領域と、他方の非特定領域とにおいて障害物の映像の高さを算出する場合において、障害物高さ平均算出部と、背景高さ平均算出部のパラメータが異なる場合について説明する。障害物高さ平均算出部は、特定領域と、一方の非特定領域と、他方の非特定領域との障害物の映像の高さの平均を算出する。また、背景高さ平均算出部は、背景映像取得部によって取得された、特定領域と、一方の非特定領域と、他方の非特定領域との背景の映像の高さの平均を算出する。障害物高さ平均算出部によって算出された障害物の映像の高さの平均が、特定領域の障害物の映像の高さよりも低い際は、車両周辺確認システムは、映像のバランスが悪く、ユーザに違和感を与える状態である。従って、本発明に係る車両周辺確認システムは、映像調整部が、障害物高さ平均算出部によって算出された平均の高さに基づいて、特定領域の障害物の映像の大きさを調整し、背景高さ平均算出部によって算出された平均の高さに基づいて、特定領域の背景の映像の大きさを調整することにより、映像表示部に表示される映像の歪みを解消することが可能である。
【００１５】
次に、障害物高さ算出部が、特定領域と、一方の非特定領域と他方の非特定領域とのどちらか一方の非特定領域の障害物の映像の高さを算出する場合において、障害物高さ平均算出部と、背景高さ平均算出部のパラメータが異なる場合について説明する。障害物高さ平均算出部は、特定領域と、一方の非特定領域と他方の非特定領域とのどちらか一方の非特定領域の障害物の映像の高さの平均を算出する。背景高さ平均算出部は、背景映像取得部によって取得された、特定領域と、一方の非特定領域と、他方の非特定領域との背景の映像の高さの平均を算出する。障害物高さ平均算出部によって算出された障害物の映像の
高さの平均が、特定領域の障害物の映像の高さよりも低い際は、車両周辺確認システムは、映像のバランスが悪く、ユーザに違和感を与える状態である。従って、本発明に係る車両周辺確認システムは、映像調整部が、障害物高さ算出部によって算出された一方の非特定領域若しくは他方の非特定領域の障害物の高さに基づいて、特定領域の障害物の映像の大きさを調整し、背景高さ平均算出部によって算出された平均の高さに基づいて、特定領域の背景の映像の大きさを調整することにより、映像表示部に表示される映像の歪みを解消することが可能である。
【００１６】
次に、障害物高さ算出部が、特定領域において障害物の映像を抽出し、一方の非特定領域と他方の非特定領域において障害物の映像を抽出していない際に、特定領域における障害物の映像の高さを算出する場合において、背景高さ平均算出部のパラメータが異なる場合ついて説明する。背景高さ平均算出部は、背景映像取得部によって取得された、特定領域と、一方の非特定領域と、他方の非特定領域との背景の映像の高さの平均を算出する。背景高さ算出部によって算出された背景の映像の平均の高さが、背景高さ算出部によって算出された特定領域における背景の高さよりも低い際は、車両周辺確認システムは、映像のバランスが悪く、ユーザに違和感を与える状態である。従って、本発明に係る車両周辺確認システムは、映像調整部が、背景高さ平均算出部によって算出された平均の高さに基づいて、特定領域の障害物の映像の大きさと、特定領域の背景の映像の大きさを調整することにより、映像表示部に表示される映像の歪みを解消することが可能である。
【００１７】
また、本発明に係る車両周辺確認システムは、前記複数のカメラは、複数の映像を合成することによって３６０度の角度で車両の周辺の映像を撮像し、前記非特定領域は、前記複数の映像が重ね合わさった重合領域であり、前記映像調整部は、前記重合領域を基準として、前記特定領域の大きさを調整してもよい。
【００１８】
映像取得部が、複数の映像を合成することによって３６０度の角度で車両の周辺の映像を取得することにより、ユーザがルームミラーやサイドミラー等で見ることのできない車の前方、測方、後方の死角の映像を取得することが可能である。また、映像調整部が、複数の映像が重ね合わさった重合領域を基準として、特定領域の大きさを調整することにより、車両の周辺の障害物や背景の映像の大きさを３６０度の角度でバランス良く調整することが可能である。
【００１９】
ここで、本発明に係る車両周辺確認システムは、車両に設けられた一又は複数のカメラを通して車両の周辺を映像により確認する車両周辺確認システムであって、前記一又は複数のカメラで撮像された湾曲された複数の映像を取得する映像取得部と、前記映像取得部によって取得された湾曲された複数の映像を、平坦な映像に補正する映像補正部と、前記映像補正部によって補正された複数の映像に含まれる特定の像の大きさを調整する映像調整部と、前記映像調整部によって調整された複数の映像を一つの映像に合成する映像合成部と、前記映像合成部によって合成された映像を表示する映像表示部と、を備える。
【００２０】
本発明に係る車両周辺確認システムは、映像取得部と、映像補正部と、映像調整部と、映像合成部と、映像表示部とを備える。映像取得部は、一又は複数のカメラで撮像された湾曲された複数の映像を取得する。映像補正部は、映像取得部によって取得された湾曲された複数の映像を、平坦な映像に補正する。映像調整部は、映像補正部によって補正された複数の映像に含まれる特定の像の大きさを調整することにより、映像の歪みを解消することが可能である。映像合成部は、映像調整部によって調整された複数の映像を一つの映像に合成し、映像表示部は、映像合成部によって合成された映像を表示することにより、車両の周辺の映像を分かりやすくユーザに与えることが可能である。以上により、本発明に係る車両周辺確認システムは、ユーザに与える違和感を軽減し、ユーザに対し誤解を与えない車両周辺映像を与えることが可能である。
【００２１】
また、本発明に係る車両周辺確認システムは、前記特定の像は、車に対する障害物の映像であり、前記映像補正部によって補正された複数の映像の内、障害物の映像の高さを算出する障害物高さ算出部と、前記障害物高さ算出部によって算出された障害物の映像の高さの内、複数の映像が重ね合わさる領域である重合領域における、障害物の映像の高さの平均を算出する第１障害物高さ平均算出部と、を更に備え、前記映像調整部は、前記第１障害物高さ平均算出部によって算出された障害物の映像の平均の高さに基づいて、前記重合領域の障害物の映像の大きさを調整してもよい。
【００２２】
映像調整部は、第１障害物高さ平均算出部によって算出された障害物の映像の平均の高さに基づいて、重合領域の障害物の映像の大きさを調整することにより、障害物の映像の歪みを解消することが可能である。尚、障害物の背景の映像は、映像補正部によって湾曲された映像を平坦な映像に補正することによって、ユーザに与える違和感を軽減することが可能であるため、背景の映像の大きさを調整する必要がない。
【００２３】
更に、本発明に係る車両周辺確認システムは、前記障害物高さ算出部によって算出された障害物の映像の高さの内、複数の映像が重ね合わさらない領域である非重合領域における障害物の映像の高さと、前記第１障害物高さ平均算出部によって算出された前記重合領域における障害物の映像の平均によって、障害物の映像の高さの平均を算出する第２障害物高さ平均算出部と、を更に備え、前記映像調整部は、前記第２障害物高さ平均算出部によって算出された障害物の映像の高さの平均に基づいて、前記非重合領域における障害物の映像の大きさを調整してもよい。
【００２４】
映像調整部は、第２障害物高さ平均算出部によって算出された障害物の映像の平均の高さに基づいて、非重合領域における障害物の映像の大きさを調整することにより、映像表示部に表示される映像の大きさがバランスよくなり、ユーザに与える違和感を軽減し、ユーザに対し誤解を与えない車両周辺映像を与えることが可能である。
【００２５】
また、本発明に係る車両周辺確認システムは、前記映像取得部が故障した際、前記映像合成部は映像を合成せず、前記映像表示部は、ユーザに対し車周辺の目視確認を促す表示してもよい。
【００２６】
映像取得部の故障により、実際は車の周辺に障害物があるにもかかわらず、障害物映像取得部が障害物の映像を取得できない場合、映像合成部が映像取得部によって取得された映像を合成すると、合成画像に障害物が映し出されないことになる。これは、ユーザに誤った映像を与えてしまうことになり、車の安全性上、問題である。そこで、映像取得部が故障した際に、映像合成部が映像を合成せず、映像表示部がユーザに対し車周辺の目視確認を促す表示をすることにより、ユーザに誤った映像を与えることがない。
【発明の効果】
【００２７】
本発明によれば、ディスプレイに表示される自車周辺の画像のいびつな形状を解消することにより、ユーザに与える違和感を軽減し、ユーザに対し誤解を招かない車両周辺映像を与えることが可能な車両周辺確認システムを提供することが可能である。
【図面の簡単な説明】
【００２８】
【図１】従来の車両周辺確認システムにおいて、カメラの配置を示す概略上面図である。
【図２】従来の車両周辺確認システムを用いた際の、車の左右サイドがディスプレイに表示されたときの合成画像である。
【図３】本発明の実施例１に係る車両周辺確認システムの機能ブロック図を示す。
【図４】本発明の実施例１に係る車両周辺確認システムによって表示される、車両周辺の映像を示す概略図である。
【図５】本発明の実施例１に係る車両周辺確認システムの制御フロー図である。
【図６】本発明の実施例１に係る車両周辺確認システムにおいて、特定領域である領域Ｐと、一方の非特定領域である領域ＡＡと、他方の非特定領域である領域ＣＣにおける映像を示す概略図である。
【図７】本発明の実施例１に係る車両周辺確認システムにおいて、映像表示部によって表示される車両周辺の映像を示す概略図である。
【図８】本発明の変形例１に係る車両周辺確認システムにおいて、特定領域である領域Ｐと、一方の非特定領域である領域ＡＡにおいて障害物の映像を抽出した場合の映像を示す概略図である。
【図９】本発明の変形例２に係る車両周辺確認システムにおいて、特定領域である領域Ｐにおいて障害物の映像を抽出した場合の映像を示す概略図である。
【図１０】本発明の実施例２に係る車両周辺確認システムの機能ブロック図を示す。
【図１１】本発明の実施例２に係る車両周辺確認システムの制御フロー図である。
【図１２】本発明の実施例２に係る車両周辺確認システムにおいて、映像処理の過程を示す概略図である。
【図１３】本発明の実施例２に係る車両周辺確認システムにおいて、重合領域と非重合領域を表す概略図である。
【発明を実施するための形態】
【００２９】
ここで、本発明の実施例に係る車両周辺確認システム１の実施の形態について図面に基づいて説明する。以下に示す実施例は例示であり、本発明はこれらに限定されるものではない。
【実施例１】
【００３０】
本発明の実施例１に係る車両周辺確認システム１の各構造について説明する。図３は、本発明の実施例１に係る車両周辺確認システム１の機能ブロック図を示す。図４は、本発明の実施例１に係る車両周辺確認システム１において、区分された領域を示す概略図である。本発明の実施例１に係る車両周辺確認システム１の各構成について具体的に説明する。本発明の実施例１に係る車両周辺確認システム１は、図３に示すように、映像取得部３、障害物高さ算出部４、障害物高さ平均算出部５、背景高さ算出部６、背景高さ平均算出部７、映像調整部８、及び映像表示部９を主な構成とする。以下、各構成について具体的に説明する。
【００３１】
先ず、映像取得部３について説明する。映像取得部３は、第１映像取得部３１と第２映像取得部３２とを有する。第１映像取得部３１は、カメラ２を通して、特定領域の映像を取得する。第２映像取得部３２は、カメラ２を通して、非特定領域の映像を取得する。尚、本発明の実施例１に係る車両周辺確認システム１では、カメラ２は、図１に示すように、車両の前方向の映像を撮影するフロントカメラ２１、車両の後方向の映像を撮影するリアカメラ２２、車両の側面右方向の映像を撮影する右サイドカメラ２３、及び車両の側面左方向の映像を撮影する左サイドカメラ２４の４つのカメラを有するが、これらのカメラの数及び撮影位置は限定されない。また、本発明の実施例１に係る車両周辺確認システム１では、４つのカメラは、複数の映像を合成することによって３６０度の角度で車両の周辺の映像を撮像することが可能であり、ユーザがルームミラーやサイドミラー等で見ることのできない車の前方、測方、後方の死角の映像を取得することが可能である。また、４つのカメラは、魚眼カメラを用いるものとする。
【００３２】
特定領域とは、映像内の像の大きさが非特定領域よりも大きく、非特定領域に挟まれる領域のことであり、カメラ２に近い領域のことである。また、非特定領域とは、映像内の
像の大きさが特定領域よりも小さく、且つ、特定領域を挟む領域のことであり、カメラ２に遠い領域のことである。具体的に説明すると、図４に示すように、特定領域は、フロントカメラ２１に近い領域Ｏ、左サイドカメラ２４に近い領域Ｐ、右サイドカメラ２３に近い領域Ｑ、及びリアカメラ２２に近い領域Ｒである。一方、非特定領域は、領域ＡＡ、領域ＢＢ、領域ＣＣ、及び領域ＤＤである。尚、領域ＡＡ、領域Ｏ、及び領域ＢＢは、フロントカメラ２１によって撮影される。領域ＢＢ、領域Ｑ、及び領域ＤＤは、右サイドカメラ２３によって撮影される。領域ＤＤ、領域Ｒ、領域ＣＣは、リアカメラ２２によって撮影される。領域ＣＣ、領域Ｐ、領域ＡＡは、左サイドカメラ２４によって撮影される。以上により、非特定領域は、複数の映像が重ね合わさった重合領域でもある。
【００３３】
障害物高さ算出部４について説明する。障害物高さ算出部４は、第１映像取得部３１によって取得した特定領域と、第２映像取得部３２によって取得した非特定領域の内、特定領域を挟む一方の非特定領域と他方の非特定領域との映像から、車に対する障害物の映像を抽出した際に、各々の領域における各々の障害物の高さを算出する。尚、障害物とは、例えば、道路を歩く人、自動車、動物等である。
【００３４】
障害物高さ平均算出部５について説明する。障害物高さ平均算出部５は、障害物高さ算出部４によって算出された、一方の非特定領域と、他方の非特定領域との障害物の映像の高さの平均を算出する。尚、障害物高さ平均算出部５は、特定領域と、一方の非特定領域と、他方の非特定領域との障害物の映像の高さの平均を算出してもよいが、詳しくは後述する。
【００３５】
背景高さ算出部６について説明する。背景高さ算出部６は、特定領域と、一方の非特定領域と、他方の非特定領域との映像から、各々の領域における各々の障害物の背景の映像の高さを算出する。尚、背景とは、例えば、木、家、道路等である。
【００３６】
背景高さ平均算出部７について説明する。背景高さ平均算出部７は、背景高さ算出部６によって算出された、一方の非特定領域と、他方の非特定領域との背景の映像の高さの平均を算出する。尚、背景高さ平均算出部７は、特定領域と、一方の非特定領域と、他方の非特定領域との背景の映像の高さの平均を算出してもよいが、詳しくは後述する。
【００３７】
映像調整部８について説明する。映像調整部８は、第１映像取得部３１によって取得された非特定領域を基準として、第２映像取得部３２によって取得された特定領域の映像の大きさを調整する。具体的に説明すると、映像調整部８は、障害物高さ平均算出部５によって算出された障害物の映像の平均の高さが、特定領域の障害物の映像の高さよりも低い際は、障害物高さ平均算出部５によって算出された平均の高さに基づいて、特定領域の障害物の映像の大きさを調整し、背景高さ平均算出部７によって算出された平均の高さに基づいて、特定領域の大きさを調整する。
【００３８】
映像表示部９について説明する。映像表示部９は、映像調整部８によって調整された映像をディスプレイ１０に表示する。ディスプレイ１０は、例えば、カーナビゲーションシステム等に備え付けられるディスプレイでもよい。
【００３９】
図５は、本発明の実施例１に係る車両周辺確認システム１の制御フロー図である。図３に示す機能ブロック図を参照しながら、本発明の実施例１に係る車両周辺確認システム１について具体的に説明する。尚、左サイドカメラ２４によって撮影される領域であって、特定領域を領域Ｐ、一方の非特定領域を領域ＡＡ、他方の非特定領域を領域ＣＣとして説明するが、これらの領域に限定されない。
【００４０】
ステップＳ０１では、第１映像取得部３１によって、カメラ２を通して特定領域の映像
を取得し、第２映像取得部３２によって、カメラ２を通して非特定領域の映像を取得する。図６は、特定領域である領域Ｐと、一方の非特定領域である領域ＡＡと、他方の非特定領域である領域ＣＣにおける映像を示す概略図である。具体的に説明すると、第１映像取得部３１は、特定領域である領域Ｐの映像を取得する。また、第２映像取得部３２は、一方の非特定領域である領域ＡＡと、他方の非特定領域である領域ＣＣの非特定領域の映像を取得する。特定領域及び非特定領域の映像を取得すると、ステップＳ０２へ進む。
【００４１】
ステップＳ０２では、障害物高さ算出部４によって障害物の高さを算出する。本発明の実施例１に係る車両周辺確認システム１における障害物高さ算出部４は、図６に示すように、特定領域である領域Ｐと、一方の非特定領域である領域ＡＡと、他方の非特定領域である領域ＣＣの障害物の映像の高さを算出する。尚、本発明の実施例１では、球を追いかける人を障害物とする。また、図６に示すように、領域Ｐの障害物の高さを[２]、領域ＡＡの障害物の高さを[１]、領域ＣＣの障害物の高さを[３]とする。障害物の高さを算出すると、ステップＳ０３へ進む。
【００４２】
ステップＳ０３では、障害物高さ平均算出部５によって障害物の高さの平均を算出する。障害物高さ平均算出部５は、図６に示すように、一方の非特定領域である領域ＡＡと、他方の非特定領域である領域ＣＣの障害物の映像の高さの平均を算出する。尚、障害物高さ平均算出部５は、平均値を算出するパラメータとして、特定領域である領域Ｐの障害物の高さを用いない。具体的に説明すると、領域ＡＡの障害物の高さが[１]、領域ＣＣの障害物の高さが[３]であるため、[１]と[３]を足し、２で割った値である平均値Ｘが障害物の映像の高さの平均である。障害物の高さの平均を算出すると、ステップＳ０４へ進む。
【００４３】
ステップＳ０４では、背景高さ算出部６によって背景の高さを算出する。背景高さ算出部６は、図６に示すように、特定領域である領域Ｐと、一方の非特定領域である領域ＡＡと、他方の非特定領域である領域ＣＣの背景の映像の高さを算出する。尚、本発明の実施例１では、球を追いかける人の後景を背景とする。また、図６に示すように、領域Ｐの障害物の高さを[６]、領域ＡＡの障害物の高さを[５]、領域ＣＣの障害物の高さを[７]とする。背景の高さを算出すると、ステップＳ０５へ進む。
【００４４】
ステップＳ０５では、背景高さ平均算出部７によって背景の平均の高さを算出する。背景高さ平均算出部７は、一方の非特定領域と、他方の非特定領域との背景の映像の高さの平均を算出する。上述したように、背景高さ算出部６によって算出した、一方の非特定領域である領域ＡＡの背景の高さが[５]、他方の非特定領域である領域ＣＣの背景の高さが[７]であるため、背景高さ平均算出部７は、[５]と[７]を足し、２で割った値である平均値Ｙが、背景の映像の高さの平均である。
【００４５】
また、背景高さ平均算出部７は、特定領域と、一方の非特定領域と、他方の非特定領域との背景の映像の高さの平均を算出してもよい。具体的に説明すると、背景高さ平均算出部７は、特定領域である領域Ｐと、一方の非特定領域である領域ＡＡと、他方の非特定領域である領域ＣＣの背景の映像の高さの平均を算出してもよい。特定領域である領域Ｐの背景の高さが[６]、領域ＡＡの背景の高さが[５]、領域ＣＣの背景の高さが[７]であるため、[６]と[５]と[７]を足し、３で割った値である平均値Ｒが背景の映像の高さの平均である。背景の平均の高さを算出すると、ステップＳ０６へ進む。
【００４６】
ステップＳ０６では、映像調整部８によって特定領域の障害物と背景の高さを調整する。先ず、障害物高さ平均算出部５によって算出された障害物の高さの平均が、特定領域の障害物の映像の高さ以上である場合について説明する。この場合は、映像のバランスが悪くない状態であるため、映像調整部８は、特定領域の障害物の映像の大きさを調整しない。具体的に説明すると、障害物高さ平均算出部５によって算出された障害物の高さの平均
である平均値Ｘが、特定領域である領域Ｐの障害物の高さ[２]以上である場合は、領域Ｐの障害物の映像の大きさを調整しない。尚、この場合、映像調整部８は、背景の大きさも調整しない。
【００４７】
次に、障害物高さ平均算出部５によって算出された障害物の高さの平均が、特定領域の障害物の映像の高さよりも低い場合について説明する。この場合は、映像のバランスが悪く、ユーザに違和感を与える状態であるため、映像調整部８は、特定領域の障害物の映像の大きさを、障害物高さ平均算出部５によって算出された障害物の高さの平均まで縮小する。具体的に説明すると、障害物高さ平均算出部５によって算出された障害物の高さの平均である平均値Ｘが、特定領域である領域Ｐの障害物の高さ[２]よりも低い場合は、領域Ｐの障害物の映像の大きさを平均値Ｘまで縮小する。更に、この場合、映像調整部８は、背景高さ平均算出部７によって算出された平均の高さに基づいて、特定領域の背景の映像の大きさを調整する。具体的に説明すると、特定領域である領域Ｐの背景の大きさを、背景高さ平均算出部７によって算出された背景の高さの平均である平均値Ｙまで縮小する。映像調整部８によって特定領域の障害物と背景の高さを調整すると、ステップＳ０７へ進む。
【００４８】
ステップＳ０７では、映像表示部９によって、映像調整部８によって調整された映像をディスプレイ１０に表示する。図７は、本発明の実施例１に係る車両周辺確認システム１において、映像表示部９によって表示される車両周辺の映像を示す概略図である。図７の（ａ）は、映像表示部９によって、車両周辺の映像が楕円形で表示された図である。図７の（ｂ）は、映像表示部９によって、車両周辺の映像が四角形で表示された図である。映像表示部９は、図７の（ａ）や図７の（ｂ）に示すように、映像調整部８によって調整された映像を、楕円形若しくは四角形でディスプレイ１０に表示するが、他の形状でもよい。
【００４９】
また、本発明の実施例１に係る車両周辺確認システム１は、ステップＳ０３において、障害物高さ平均算出部５が、特定領域と、一方の非特定領域と、他方の非特定領域との障害物の映像の平均の高さを算出してもよい。具体的に説明すると、障害物高さ平均算出部５は、特定領域である領域Ｐと、一方の非特定領域である領域ＡＡと、他方の非特定領域である領域ＣＣの障害物の映像の高さの平均を算出してもよい。特定領域である領域Ｐの障害物の高さが[２]、領域ＡＡの障害物の高さが[１]、領域ＣＣの障害物の高さが[３]であるため、[２]と[１]と[３]を足し、３で割った値である平均値Ｑが障害物の映像の高さの平均である。障害物の高さの平均を算出すると、上述したステップＳ０４へ進む。
【００５０】
更に、上述したように、ステップＳ０３において、障害物高さ平均算出部５が、特定領域と、一方の非特定領域と、他方の非特定領域との障害物の映像の平均の高さを算出した場合の、ステップ０６について説明する。ステップＳ０６において、障害物高さ平均算出部５によって算出された障害物の高さの平均である平均値Ｑが、特定領域である領域Ｐの障害物の高さ[２]以上である場合は、映像のバランスが悪くないため、映像調整部８は、領域Ｐの障害物の映像の大きさを調整しない。一方、障害物高さ平均算出部５によって算出された障害物の高さの平均である平均値Ｑが、特定領域である領域Ｐの障害物の高さ[
２]よりも低い場合は、映像のバランスが悪く、ユーザに違和感を与える状態であるため
、映像調整部８は、領域Ｐの障害物の映像の大きさを平均値Ｑまで縮小する。更に、映像調整部８は、特定領域である領域Ｐの背景の高さ[６]を、背景高さ平均算出部７によって算出された平均の値である平均値Ｒまで縮小する。映像調整部８によって特定領域の障害物と背景の高さを調整すると、上述したステップＳ０７へ進む。
【００５１】
以上により、本発明の実施例１に係る発明は、映像表示部９に表示される自車周辺の画像のいびつな形状を解消することにより、ユーザに与える違和感を軽減し、ユーザに対し
誤解を招かない車両周辺映像を与えることが可能な車両周辺確認システムを提供することが可能である。
＜変形例１＞
【００５２】
更に、本発明の実施例１に係る車両周辺確認システム１は、変形例１として、障害物高さ算出部４が、特定領域と、一方の非特定領域と他方の非特定領域とのどちらか一方の非特定領域との映像において、障害物の映像を抽出した際に、各々の領域における各々の障害物の映像の高さを算出する場合について説明する。
【００５３】
この場合、障害物高さ平均算出部５は、障害物の高さの平均を算出しない。また、映像調整部８は、障害物高さ算出部４によって算出された一方の非特定領域若しくは他方の非特定領域の障害物の映像の高さが、障害物高さ算出部４によって算出された特定領域の障害物の映像の高さ以上の際は、映像のバランスが悪くないため、特定領域の障害物の映像の大きさを調整しない。
【００５４】
また、映像調整部８は、障害物高さ算出部４によって算出された一方の非特定領域若しくは他方の非特定領域の障害物の映像の高さが、障害物高さ算出部４によって算出された特定領域の障害物の映像の高さよりも低い際は、映像のバランスが悪く、ユーザに違和感を与える状態であるため、障害物高さ算出部４によって算出された一方の非特定領域若しくは他方の非特定領域の障害物の高さに基づいて、特定領域の障害物の映像の大きさを調整し、背景高さ平均算出部７によって算出された平均の高さに基づいて、特定領域の背景の映像の大きさを調整する。
【００５５】
以下、図３及び図５を参照しながら、本発明の変形例１に係る車両周辺確認システム１について具体的に説明する。図８は、特定領域である領域Ｐと、一方の非特定領域である領域ＡＡにおいて障害物の映像を抽出した場合の映像を示す概略図である。
【００５６】
上述したように、ステップＳ０１において、特定領域及び非特定領域の映像を取得すると、ステップＳ０２へ進む。ステップＳ０２において、障害物高さ算出部４によって障害物の高さを算出する。障害物高さ算出部４は、図８に示すように、特定領域である領域Ｐと、一方の非特定領域である領域ＡＡとの映像において、障害物の映像を抽出した場合に、各々の領域における各々の障害物の映像の高さを算出する。領域Ｐの障害物の高さを[
２]、領域ＡＡの障害物の高さを[１]とする。尚、特定領域である領域Ｐと、他方の非特
定領域である領域ＣＣとの映像において、障害物の映像を抽出した場合は、障害物高さ算出部４は、特定領域である領域Ｐと、他方の非特定領域である領域ＣＣの、各々の領域における各々の障害物の映像の高さを算出してもよい。
【００５７】
次に、ステップＳ０３は行わずに、上述したように、ステップＳ０４及びステップＳ０５へ進む。そして、ステップＳ０６において、映像調整部８は、一方の非特定領域である領域ＡＡの障害物の映像の高さ[１]が、特定領域である領域Ｐの障害物の映像の高さ[２]以上である場合は、特定領域である領域Ｐの障害物の映像の大きさを調整しない。尚、この場合、映像調整部８は、背景の大きさも調整しない。
【００５８】
また、映像調整部８は、一方の非特定領域である領域ＡＡの障害物の映像の高さ[１]が、特定領域である領域Ｐの障害物の映像の高さ[２]よりも低い場合は、領域Ｐの障害物の映像の大きさを、領域ＡＡの障害物の映像の高さ[１]まで縮小する。更に、この場合、映像調整部８は、特定領域である領域Ｐの背景の映像の大きさを、背景高さ平均算出部７によって算出された背景の高さの平均である平均値Ｙまで縮小する。そして、上述したステップＳ０７へ進む。
【００５９】
他に、本発明の変形例１に係る車両周辺確認システム１は、障害物高さ平均算出部５が、特定領域と、一方の非特定領域と他方の非特定領域とのどちらか一方の非特定領域との障害物の映像の高さの平均を算出してもよい。この場合、映像調整部８は、障害物高さ平均算出部５によって算出された障害物の映像の平均の高さが、障害物高さ算出部４によって算出された特定領域の障害物の映像の高さ以上の際は、映像のバランスが悪くないため、特定領域の障害物の映像の大きさを調整しない。
【００６０】
また、映像調整部８は、障害物高さ平均算出部５によって算出された障害物の映像の平均の高さが、障害物高さ算出部４によって算出された特定領域の障害物の映像の高さよりも低い際は、映像のバランスが悪く、ユーザに違和感を与える状態であるため、障害物高さ算出部４によって算出された一方の非特定領域若しくは他方の非特定領域の障害物の高さに基づいて、特定領域の障害物の映像の大きさを調整し、背景高さ平均算出部７によって算出された平均の高さに基づいて、特定領域の背景の映像の大きさを調整する。
【００６１】
具体的に説明すると、変形例１においてステップＳ０３は行わずにステップＳ０４へ進んだが、ステップＳ０３において、障害物高さ平均算出部５は、特定領域である領域と、一方の非特定領域である領域ＡＡの障害物の映像の高さの平均を算出してもよい。特定領域である領域Ｐの障害物の高さが[２]、領域ＡＡの障害物の高さが[１]であるため、[２]と[１]を足し、２で割った値である平均値Ｓが障害物の映像の高さの平均である。
【００６２】
そして、ステップＳ０４及びステップＳ０５へ進み、ステップＳ０６において、映像調整部８は、障害物高さ平均算出部５によって算出された障害物の高さの平均である平均値Ｓが、特定領域である領域Ｐの障害物の高さ[２]以上である場合は、領域Ｐの障害物の映像の大きさを調整しない。尚、この場合、映像調整部８は、背景の大きさも調整しない。
【００６３】
また、映像調整部８は、障害物高さ平均算出部５によって算出された障害物の高さの平均である平均値Ｓが、特定領域である領域Ｐの障害物の高さ[２]よりも低い際は、領域Ｐの障害物の映像の大きさを平均値Ｓまで縮小する。更に、映像調整部８は、特定領域である領域Ｐの背景の映像の大きさを、背景高さ平均算出部７によって算出された背景の高さの平均である平均値Ｙまで縮小する。映像調整部８によって特定領域の障害物と背景の高さを調整すると、上述したステップＳ０７へ進む。
【００６４】
以上により、本発明の変形例１に係る発明は、映像表示部９に表示される自車周辺の画像のいびつな形状を解消することにより、ユーザに与える違和感を軽減し、ユーザに対し誤解を招かない車両周辺映像を与えることが可能な車両周辺確認システムを提供することが可能である。
＜変形例２＞
【００６５】
次に、本発明の実施例１に係る車両周辺確認システム１は、変形例２として、障害物高さ算出部４が、特定領域の映像において障害物の映像を抽出し、一方の非特定領域と他方の非特定領域の映像において障害物の映像を抽出していない際に、特定領域における障害物の映像の高さを算出する場合について説明する。
【００６６】
映像調整部８は、背景高さ平均算出部７によって算出された平均の高さが、背景高さ算出部６によって算出された特定領域における背景の映像の高さ以上の場合は、映像のバランスが悪くないため、特定領域の障害物の映像の大きさを調整しない。
【００６７】
また、映像調整部８は、背景高さ平均算出部７によって算出された平均の高さが、背景高さ算出部６によって算出された特定領域における背景の映像の高さよりも低い場合は、映像のバランスが悪く、ユーザに違和感を与える状態であるため、背景高さ平均算出部７
によって算出された平均の高さに基づいて、特定領域の障害物の映像の大きさと、特定領域の背景の映像の大きさを調整する。
【００６８】
以下、図３及び図５を参照しながら、本発明の変形例２に係る車両周辺確認システム１について具体的に説明する。図９は、特定領域である領域Ｐにおいて障害物の映像を抽出した場合の映像を示す概略図である。
【００６９】
上述したように、ステップＳ０１において、特定領域及び非特定領域の映像を取得すると、ステップＳ０２へ進む。ステップＳ０２において、障害物高さ算出部４が、図９に示すように、特定領域である領域Ｐの映像において障害物の映像を抽出し、一方の非特定領域である領域ＡＡと、他方の非特定領域である領域ＣＣとにおいて障害物の映像を抽出していない際に、特定領域である領域Ｐの障害物の映像の高さを算出する。尚、領域Ｐの障害物の映像の高さ[２]である。
【００７０】
次に、ステップＳ０３は行わずに、上述したステップＳ０４及びステップＳ０５へ進む。そして、ステップＳ０６において、映像調整部８は、背景高さ平均算出部７によって算出された平均の高さ平均値Ｙが、背景高さ算出部６によって算出された特定領域である領域Ｐの背景の高さ[６]以上である場合は、特定領域である領域Ｐの障害物の映像の大きさを調整しない。尚、この場合、映像調整部８は、背景の大きさも調整しない。
【００７１】
また、映像調整部８は、背景高さ平均算出部７によって算出された平均の高さ平均値Ｙが、背景高さ算出部６によって算出された特定領域である領域Ｐの背景の高さ[６]よりも低い場合は、特定領域である領域Ｐの障害物の映像の大きさと、特定領域である領域Ｐの背景の大きさを、背景高さ平均算出部７によって算出された平均の高さ平均値Ｙまで縮小する。映像調整部８によって特定領域の障害物と背景の高さを調整すると、ステップＳ０７へ進む。
【００７２】
尚、平均値Ｙの代わりに、障害物高さ平均算出部５が、特定領域と、一方の非特定領域と、他方の非特定領域との障害物の映像の平均の高さを算出した平均の高さである平均値Ｑを用いてもよい。
【００７３】
以上により、本発明の変形例２に係る発明は、映像表示部９に表示される自車周辺の画像のいびつな形状を解消することにより、ユーザに与える違和感を軽減し、ユーザに対し誤解を招かない車両周辺映像を与えることが可能な車両周辺確認システムを提供することが可能である。
【実施例２】
【００７４】
本発明の実施例２に係る車両周辺確認システム１の各構造について説明する。図１０は、本発明の実施例２に係る車両周辺確認システム１の機能ブロック図を示す。以下、各構成について具体的に説明する。
【００７５】
先ず、映像取得部３０について説明する。映像取得部３０は、カメラ２で撮像された湾曲された複数の映像を取得する。尚、本発明の実施例２に係る車両周辺確認システム１では、カメラ２は、図１に示すように、車両の前方向の映像を撮影するフロントカメラ２１、車両の後方向の映像を撮影するリアカメラ２２、車両の側面右方向の映像を撮影する右サイドカメラ２３、及び車両の側面左方向の映像を撮影する左サイドカメラ２４の４つのカメラを有するが、これらのカメラの数及び撮影位置は限定されない。また、本発明の実施例２に係る車両周辺確認システム１では、カメラ２に魚眼カメラを用いるため、映像が湾曲している。
【００７６】
映像補正部４０について説明する。映像補正部４０は、映像取得部３０によって取得された湾曲された複数の映像を、平坦な映像に補正する。尚、映像補正部４０によって平坦な映像に補正することにより、障害物の背景の映像の歪みが補正されるため、背景の映像がユーザに与える違和感を軽減することが可能である。
【００７７】
障害物高さ算出部５０について説明する。障害物高さ算出部５０は、映像補正部４０によって補正された複数の映像の内、障害物の映像の高さを算出する。
【００７８】
第１障害物高さ平均算出部６０について説明する。第１障害物高さ平均算出部６０は、障害物高さ算出部５０によって算出された障害物の映像の高さの内、複数の映像が重ね合わさる領域における、障害物の映像の高さの平均を算出する。
【００７９】
第２障害物高さ平均算出部７０について説明する。第２障害物高さ平均算出部７０は、障害物高さ算出部５０によって算出された障害物の映像の高さの内、複数の映像が重ね合わさらない領域である非重合領域における障害物の映像の高さと、第１障害物高さ平均算出部６０によって算出された重合領域における障害物の映像の平均によって、障害物の映像の高さの平均を算出する。
【００８０】
映像調整部８０について説明する。映像調整部８０は、第１障害物高さ平均算出部６０によって算出された障害物の映像の平均の高さに基づいて、重合領域の障害物の映像の大きさを調整する。また、映像調整部８０は、第２障害物高さ平均算出部７０によって算出された障害物の映像の高さの平均に基づいて、非重合領域における障害物の映像大きさを調整する。
【００８１】
映像合成部９０について説明する。映像合成部９０は、映像調整部８０によって調整された複数の映像を一つの映像に合成する。また、映像合成部９０は、映像取得部３０が故障した際、映像合成部９０は映像を合成しない。
【００８２】
映像表示部１００について説明する。映像表示部１００は、映像合成部９０によって合成された映像をディスプレイ１０に表示する。また、映像表示部１００は、映像取得部３０が故障した際、ユーザに対し車周辺の目視確認を促す表示をディスプレイ１０に表示する。
【００８３】
図１１は、本発明の実施例２に係る車両周辺確認システム１の制御フロー図である。図１２は、本発明の実施例２に係る車両周辺確認システム１において、映像処理の過程を示す概略図である。図１０に示す機能ブロック図を参照しながら、以下具体的に車両周辺確認システム１について説明する。
【００８４】
ステップＳ１０１では、映像取得部３０によって、カメラ２で撮像された湾曲された複数の映像を取得する。具体的に説明すると、映像取得部３０は、図１２の（ａ）に示すように、フロントカメラ２１、リアカメラ２２、右サイドカメラ２３、左サイドカメラ２４によって撮像された湾曲された複数の映像を取得する。湾曲された複数の映像を取得すると、ステップＳ１０２へ進む。
【００８５】
ステップＳ１０２では、映像補正部４０によって、映像取得部３０によって取得された映像を平坦な映像に補正する。映像補正部４０は、図１２の（ｂ）に示すように、映像取得部３０によって取得された、フロントカメラ２１、リアカメラ２２、右サイドカメラ２３、左サイドカメラ２４によって撮像された湾曲された複数の映像を、平坦な映像に補正する。
【００８６】
また、映像補正部４０は、以下の式により、湾曲された映像を平坦な映像に補正する。
＜湾曲補正計算式：湾曲収差の逆変換式＞
Ｘｕ＝Ｘｄ／｛１＋（ｋ１×ｒ2）＋（ｋ２×ｒ4）｝・・・（１）
Ｙｕ＝Ｙｄ／｛１＋（ｋ１×ｒ2）＋（ｋ２×ｒ4）｝・・・（２）
＜歪曲収差の計算式＞
Ｘｄ＝｛１＋（ｋ１×ｒ2）＋（ｋ２×ｒ4）｝×Ｘｕ・・・（３）
Ｙｄ＝｛１＋（ｋ１×ｒ2）＋（ｋ２×ｒ4）｝×Ｙｕ・・・（４）
｛Ｘｕ：平面映像のＸ座標、Ｙｕ：平面映像のＹ座標、Ｘｄ：歪曲収差のある映像のＸ座標、Ｙｄ：歪曲収差のある映像のＹ座標、ｋ１：レンズの歪係数（＝−６．２５×１０-7）、ｋ２：レンズの歪係数（＝０）、ｒ：画像中心から（Ｘｕ、Ｙｕ）までの距離｝
湾曲された複数の映像を平坦な映像に補正すると、ステップＳ１０３へ進む。
【００８７】
ステップＳ１０３では、障害物高さ算出部５０によって、映像補正部４０によって補正された複数の映像の内の障害物の映像の高さを算出する。障害物高さ算出部５０は、図１２の（ｂ）に示す障害物＜１＞から＜９＞の映像の高さを算出する。障害物の映像の高さを算出すると、ステップＳ１０４へ進む。
【００８８】
ステップＳ１０４では、第１障害物高さ平均算出部６０及び第２障害物高さ平均算出部７０によって、障害物の高さの平均を算出する。第１障害物高さ平均算出部６０は、障害物高さ算出部５０によって算出された障害物の映像の高さの内、複数の映像が重ね合わさる領域である重合領域における、障害物の映像の高さの平均を算出する。図１３は、重合領域と非重合領域を表す概略図である。重合領域は、図１３に示すように、同一の障害物である障害物＜１＞と障害物＜７＞を有する領域Ａ、同一の障害物である障害物＜３＞と障害物＜４＞を有する領域Ｂ、同一の障害物である障害物＜４＞と障害物＜８＞を有する領域Ｃ、同一の障害物である障害物＜５＞と障害物＜６＞を有する領域Ｄである。非重合領域は、重合領域以外の領域である、領域Ｅ、領域Ｆである。
【００８９】
第１障害物高さ平均算出部６０は、例えば、重合領域である領域Ａにおける障害物＜１＞と障害物＜７＞の映像の高さの平均を算出する。つまり、第１障害物高さ平均算出部６０は、障害物＜１＞と障害物＜７＞の障害物の映像の高さを足し、２で割った値である平均値ａを算出する。また、第１障害物高さ平均算出部６０は、重合領域である領域Ｂにおける障害物＜３＞と障害物＜４＞の映像の高さの平均を算出する。つまり、第１障害物高さ平均算出部６０は、障害物＜３＞と障害物＜４＞の障害物の映像の高さを足し、２で割った値である平均値ｂを算出する。重合領域である領域Ｃと領域Ｄも同様に、各々の領域における障害物の映像の高さの平均を算出する。
【００９０】
次に、第２障害物高さ平均算出部７０は、障害物高さ算出部５０によって算出された障害物の映像の高さの内、複数の映像が重ね合わさらない領域である非重合領域における障害物の映像の高さと、第１障害物高さ平均算出部６０によって算出された重合領域における障害物の映像の平均によって、障害物の映像の高さの平均を算出する。第２障害物高さ平均算出部７０は、例えば、非重合領域である領域Ｅにおける障害物＜２＞の映像の高さと、第１障害物高さ平均算出部６０によって算出された重合領域である領域Ａの障害物の平均値ａと、第１障害物高さ平均算出部６０によって算出された重合領域である領域Ｂの障害物の平均値ｂとを足し、３で割った値である平均値ｅを算出する。非重合領域である領域Ｆも同様に、障害物の映像の高さの平均を算出する。障害物の映像の平均を算出すると、ステップＳ１０５へ進む。
【００９１】
ステップＳ１０５では、映像調整部８０によって障害物の高さを調整する。先ず、映像調整部８０は、第一障害物高さ平均算出部５によって算出された障害物の映像の平均の高さに基づいて、重合領域の障害物の映像の大きさを調整する。例えば、障害物＜１＞の障
害物の映像の高さが、第１障害物高さ平均算出部６０によって算出された領域Ａの障害物の平均値ａよりも小さい場合は、障害物＜１＞の障害物の映像の大きさを平均値ａまで拡大する。また、障害物＜１＞の障害物の映像の高さが、第１障害物高さ平均算出部６０によって算出された領域Ａの障害物の平均値ａよりも大きい場合は、障害物＜１＞の障害物の映像の大きさを平均値ａまで縮小する。更に、障害物＜１＞の障害物の映像の高さと、第１障害物高さ平均算出部６０によって算出された領域Ａの障害物の平均値ａが同一である場合は、障害物＜１＞の障害物の映像の大きさを調整しない。映像調整部８０は、他の重合領域でも同様に障害物の高さを調整する。
【００９２】
次に、映像調整部８０は、第２障害物高さ平均算出部７０によって算出された障害物の映像の高さの平均に基づいて、非重合領域における障害物の映像の大きさを調整する。例えば、非重合領域である領域Ｅにおける障害物＜２＞の障害物の映像の高さが、第２障害物高さ平均算出部７０によって算出された平均値ｅよりも小さい場合は、障害物＜２＞の障害物の映像の大きさを平均値ｅまで拡大する。また、非重合領域である領域Ｅにおける障害物＜２＞の障害物の映像の高さが、第２障害物高さ平均算出部７０によって算出された平均値ｅよりも大きい場合は、障害物＜２＞の障害物の映像の大きさを平均値ｅまで縮小する。更に、非重合領域である領域Ｅにおける障害物＜２＞の障害物の映像の高さと、第２障害物高さ平均算出部７０によって算出された平均値ｅが同一である場合は、障害物＜２＞の障害物の映像の大きさを調整しない。映像調整部８０によって調整された映像は、図１２の（ｃ）に示す。障害物の高さを調整すると、ステップＳ１０６へ進む。
【００９３】
ステップＳ１０６では、映像合成部９０によって映像を合成する。映像合成部９０は、映像調整部８０によって調整された複数の映像を一つの映像に合成する。映像合成部９０は、フロントカメラ２１、右サイドカメラ２３、左サイドカメラ２４、及びリアカメラ２２によって撮像された４枚の映像を、一つの映像に合成する。映像を合成すると、ステップＳ１０７へ進む。
【００９４】
ステップＳ１０７では、映像表示部１００によって、映像合成部９０によって合成された映像をディスプレイ１０に表示する。図１２の（ｄ）は、本発明の実施例２に係る車両周辺確認システム１の、車両周辺の映像を示す概略図である。映像表示部１００は、図１２の（ｄ）に示すように、車両周辺映像が楕円形若しくは四角形の形状で表示するが、他の形状でもよい。
【００９５】
以上により、本発明の実施例２に係る発明は、映像表示部１００に表示される自車周辺の画像のいびつな形状を解消することにより、ユーザに与える違和感を軽減し、ユーザに対し誤解を招かない車両周辺映像を与えることが可能な車両周辺確認システムを提供することが可能である。尚、障害物への映像の高さの平均は、厳密な平均である必要はなく、略平均であればよい。
【００９６】
尚、映像取得部３０が故障した際、映像合成部９０は映像を合成しない。これは、映像取得部３０の故障により、実際は車の周辺に障害物があるにもかかわらず、障害物映像取得部が障害物の映像を取得できない場合、映像合成部９０が映像取得部３０によって取得された映像を合成すると、映像画像に障害物が映し出されないことになる。従って、本発明の実施例２に記載の車両周辺確認システム１は、映像取得部３０が故障した際に、映像合成部９０が映像を合成せず、映像表示部１００がユーザに対し車周辺の目視確認を促す表示をすることにより、ユーザに誤った映像を与えることがない。
【符号の説明】
【００９７】
１・・・車両周辺確認システム
２・・・カメラ
２１・・・フロントカメラ
２２・・・リアカメラ
２３・・・右サイドカメラ
２４・・・左サイドカメラ
３・・・映像取得部
３１・・・第１映像取得部
３２・・・第２映像取得部
４・・・障害物高さ算出部
５・・・障害物高さ平均算出部
６・・・背景高さ算出部
７・・・背景高さ平均算出部
８・・・映像調整部
９・・・映像表示部
１０・・・ディスプレイ
３０・・・映像取得部
４０・・・映像補正部
５０・・・障害物高さ算出部
６０・・・第１障害物高さ平均算出部
７０・・・第２障害物高さ平均算出部
８０・・・映像調整部
９０・・・映像合成部
１００・・・映像表示部
【技術分野】
【０００１】
本発明は、車両周辺確認システムに関する。
【背景技術】
【０００２】
近年、車に配置されたカメラから得た画像を車両上方から見下ろしたような映像で表示することで、見通しの悪い交差点などで発生する死角を減らし、状況に応じた視界をドライバーに提供することが可能な技術が開発されている（非特許文献１及び２を参照）。また、カメラから得た画像の歪みを補正する技術も開示されている（特許文献１及び２を参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００４−１５９１８６号公報
【特許文献２】特開２００５−０５１６２０号公報
【非特許文献】
【０００４】
【非特許文献１】“アラウンドビューモニター”、〔online〕、日産自動車株式会社グローバルサイト、〔平成２１年１１月２４日検索〕、インターネット＜ＵＲＬ： http://www.nissan-global.com/JP/TECHNOLOGY/INTRODUCTION/DETAILS/AVM/＞
【非特許文献２】“ODYSSEY”、〔online〕、Hondaホームページ（本田技研工業株式会社）、〔平成２１年１１月２４日検索〕、インターネット＜ＵＲＬ： http://www.honda.co.jp/ODYSSEY/multiview/＞
【発明の概要】
【発明が解決しようとする課題】
【０００５】
図１は、従来の車両周辺確認システム１において、カメラの配置を示す概略上面図である。図２は、従来の車両周辺確認システム１を用いた際の、車の左右サイドがディスプレイに表示されたときの合成画像である。従来の車両周辺確認システム１は、図１に示すように、フロント、リア、左ドアミラー、及び右ドアミラー下に配置した４個のカメラで撮影した映像をお碗型に貼り付けて、車両周辺の合成画像をディスプレイに表示している。４個のカメラは、広範囲で撮影することが可能な魚眼カメラが用いられるため、図２に示すように、カメラに近い物は極端に大きく表示され、カメラから遠い物は小さく表示される。その結果、自車周辺をすれ違う車両、歩行者、及び風景等が、極端に大きくなったり、小さくなったりと、いびつな形状でディスプレイに表示され、ユーザに違和感を与える。
【０００６】
そこで、本発明では、上記した問題に鑑み、ディスプレイに表示される自車周辺の画像のいびつな形状を解消することにより、ユーザに与える違和感を軽減し、ユーザに対し誤解を招かない車両周辺映像を与えることが可能な車両周辺確認システムを提供することを目的とする。
【課題を解決するための手段】
【０００７】
本発明は、上述した課題を解決するために、映像が歪む特定の領域である特定領域を、非特定領域を基準として大きさを調整する点を工夫した。これにより、ユーザに与える違和感を軽減し、ユーザに対し誤解を招かない車両周辺映像を与えることが可能である。
【０００８】
詳細には、本発明に係る車両周辺確認システムは、車両に設けられた一又は複数のカメ
ラを通して車両の周辺を映像により確認する車両周辺確認システムであって、前記一又は複数のカメラを通して、映像内の像の大きさが非特定領域よりも大きく、且つ該非特定領域に挟まれる特定領域の映像を取得する第１映像取得部と、前記一又は複数のカメラを通して、映像内の像の大きさが前記特定領域よりも小さく、且つ該特定領域を挟む前記非特定領域の映像を取得する第２映像取得部と、前記第１映像取得部によって取得された前記非特定領域を基準として、前記第２映像取得部によって取得された前記特定領域の映像の大きさを調整する映像調整部と、前記映像調整部によって調整された映像を表示する映像表示部と、を備える。
【０００９】
本発明に係る車両周辺確認システムは、第１映像取得部と、第２映像取得部と、映像調整部と、映像表示部とを備える。第１映像取得部は、一又は複数のカメラを通じて、特定領域の映像を取得する。第２映像取得部は、一又は複数のカメラを通じて、非特定領域の映像を取得する。尚、特定領域は、映像内の像の大きさが非特定領域よりも大きく、非特定領域に挟まれる領域のことであり、例えば、魚眼カメラによって車両の周辺の映像を取得した際に、像が大きくなるカメラから近い領域のことである。また、非特定領域は、映像内の像の大きさが特定領域よりも小さく、特定領域を挟む領域のことであり、例えば、魚眼カメラによって車両周辺の映像を取得した際に、像が小さくなるカメラから遠い領域のことである。映像調整部は、非特定領域を基準として特定領域の大きさを調整することにより、映像の歪みを解消することが可能である。その結果、本発明に係る車両周辺確認システムは、ユーザに与える違和感を軽減し、ユーザに対し誤解を与えない車両周辺映像を与えることが可能である。
【００１０】
ここで、本発明に係る車両周辺確認システムは、前記第１映像取得部によって取得した前記特定領域と、前記第２映像取得部によって取得した前記非特定領域の内、該特定領域を挟む一方の非特定領域と他方の非特定領域との映像から、車に対する障害物の映像を抽出した際に、各々の領域における各々の障害物の映像の高さを算出する障害物高さ算出部と、前記障害物高さ算出部によって算出された、前記一方の非特定領域と、前記他方の非特定領域との障害物の映像の高さの平均を算出する障害物高さ平均算出部と、前記特定領域と、前記一方の非特領域と、前記他方の非特定領域との映像から、各々の領域における各々の前記障害物の背景の映像の高さを算出する背景高さ算出部と、前記背景高さ算出部によって取得された、前記一方の非特定領域と、前記他方の非特定領域との背景の映像の高さの平均を算出する背景高さ平均算出部と、を更に備え、前記映像調整部は、前記障害物高さ平均算出部によって算出された障害物の映像の平均の高さが、前記特定領域の障害物の映像の高さよりも低い際は、該障害物高さ平均算出部によって算出された平均の高さに基づいて、該特定領域の障害物の映像の大きさを調整し、前記背景高さ平均算出部によって算出された平均の高さに基づいて、該特定領域の背景の映像の大きさを調整してもよい。
【００１１】
先ず、障害物高さ算出部が、特定領域と、一方の非特定領域と、他方の非特定領域とにおいて障害物の映像の高さを算出する場合について説明する。本発明に係る車両周辺確認システムは、障害物高さ算出部と、障害物高さ平均算出部と、背景高さ算出部と、背景高さ平均算出部とを更に備える。尚、障害物とは、道路を歩く人、自転車、動物等であり、背景とは、木、家、道路等である。障害物高さ算出部は、特定領域と、一方の非特定領域と、他方の非特定領域との各々の領域における各々の障害物の映像の高さを算出する。障害物高さ平均算出部は、一方の非特定領域と、他方の非特定領域との障害物の映像の高さの平均を算出する。背景高さ算出部は、特定領域と、一方の非特定領域と、他方の非特定領域との各々の領域における各々の背景の映像の高さを算出する。背景高さ平均算出部は、背景高さ算出部によって算出された、一方の非特定領域と、他方の非特定領域との背景の映像の高さの平均を算出する。障害物高さ平均算出部によって算出された障害物の映像の高さの平均が、特定領域の障害物の映像の高さよりも低い際は、車両周辺確認システム
は、映像のバランスが悪く、ユーザに違和感を与える状態である。従って、映像調整部は、障害物高さ平均算出部によって算出された平均の高さに基づいて、特定領域の障害物の映像の大きさを調整し、背景高さ平均算出部によって算出された平均の高さに基づいて、特定領域の背景の映像の大きさを調整することにより、映像表示部に表示される映像の歪みを解消することが可能である。以上により、本発明に係る車両周辺確認システムは、ユーザに与える違和感を軽減し、ユーザに対し誤解を与えない車両周辺映像を与えることが可能である。
【００１２】
次に、障害物高さ算出部が、特定領域と、一方の非特定領域と他方の非特定領域とのどちらか一方の非特定領域とにおいて障害物の映像の高さを算出する場合について説明する。障害物高さ算出部によって算出された一方の非特定領域若しくは他方の非特定領域の障害物の映像の高さの平均が、特定領域の障害物の映像の高さよりも低い際は、車両周辺確認システムは、映像のバランスが悪く、ユーザに違和感を与える状態である。従って、本発明に係る車両周辺確認システムは、映像調整部が、障害物高さ算出部によって算出された一方の非特定領域若しくは他方の非特定領域の障害物の高さに基づいて、特定領域の障害物の映像の大きさを調整し、背景高さ平均算出部によって算出された平均の高さに基づいて、特定領域の背景の映像の大きさを調整することにより、映像表示部に表示される映像の歪みを解消することが可能である。
【００１３】
次に、障害物高さ算出部が、特定領域において障害物の映像を抽出し、一方の非特定領域と他方の非特定領域において障害物の映像を抽出していない際に、特定領域における障害物の映像の高さを算出する場合について説明する。背景高さ算出部によって算出された平均の高さが、背景高さ算出部によって算出された特定領域における背景の高さよりも低い際は、車両周辺確認システムは、映像のバランスが悪く、ユーザに違和感を与える状態である。従って、本発明に係る車両周辺確認システムは、映像調整部が、背景高さ平均算出部によって算出された平均の高さに基づいて、特定領域の障害物の映像の大きさと、特定領域の背景の映像の大きさを調整することにより、映像表示部に表示される映像の歪みを解消することが可能である。
【００１４】
また、障害物高さ算出部が、特定領域と、一方の非特定領域と、他方の非特定領域とにおいて障害物の映像の高さを算出する場合において、障害物高さ平均算出部と、背景高さ平均算出部のパラメータが異なる場合について説明する。障害物高さ平均算出部は、特定領域と、一方の非特定領域と、他方の非特定領域との障害物の映像の高さの平均を算出する。また、背景高さ平均算出部は、背景映像取得部によって取得された、特定領域と、一方の非特定領域と、他方の非特定領域との背景の映像の高さの平均を算出する。障害物高さ平均算出部によって算出された障害物の映像の高さの平均が、特定領域の障害物の映像の高さよりも低い際は、車両周辺確認システムは、映像のバランスが悪く、ユーザに違和感を与える状態である。従って、本発明に係る車両周辺確認システムは、映像調整部が、障害物高さ平均算出部によって算出された平均の高さに基づいて、特定領域の障害物の映像の大きさを調整し、背景高さ平均算出部によって算出された平均の高さに基づいて、特定領域の背景の映像の大きさを調整することにより、映像表示部に表示される映像の歪みを解消することが可能である。
【００１５】
次に、障害物高さ算出部が、特定領域と、一方の非特定領域と他方の非特定領域とのどちらか一方の非特定領域の障害物の映像の高さを算出する場合において、障害物高さ平均算出部と、背景高さ平均算出部のパラメータが異なる場合について説明する。障害物高さ平均算出部は、特定領域と、一方の非特定領域と他方の非特定領域とのどちらか一方の非特定領域の障害物の映像の高さの平均を算出する。背景高さ平均算出部は、背景映像取得部によって取得された、特定領域と、一方の非特定領域と、他方の非特定領域との背景の映像の高さの平均を算出する。障害物高さ平均算出部によって算出された障害物の映像の
高さの平均が、特定領域の障害物の映像の高さよりも低い際は、車両周辺確認システムは、映像のバランスが悪く、ユーザに違和感を与える状態である。従って、本発明に係る車両周辺確認システムは、映像調整部が、障害物高さ算出部によって算出された一方の非特定領域若しくは他方の非特定領域の障害物の高さに基づいて、特定領域の障害物の映像の大きさを調整し、背景高さ平均算出部によって算出された平均の高さに基づいて、特定領域の背景の映像の大きさを調整することにより、映像表示部に表示される映像の歪みを解消することが可能である。
【００１６】
次に、障害物高さ算出部が、特定領域において障害物の映像を抽出し、一方の非特定領域と他方の非特定領域において障害物の映像を抽出していない際に、特定領域における障害物の映像の高さを算出する場合において、背景高さ平均算出部のパラメータが異なる場合ついて説明する。背景高さ平均算出部は、背景映像取得部によって取得された、特定領域と、一方の非特定領域と、他方の非特定領域との背景の映像の高さの平均を算出する。背景高さ算出部によって算出された背景の映像の平均の高さが、背景高さ算出部によって算出された特定領域における背景の高さよりも低い際は、車両周辺確認システムは、映像のバランスが悪く、ユーザに違和感を与える状態である。従って、本発明に係る車両周辺確認システムは、映像調整部が、背景高さ平均算出部によって算出された平均の高さに基づいて、特定領域の障害物の映像の大きさと、特定領域の背景の映像の大きさを調整することにより、映像表示部に表示される映像の歪みを解消することが可能である。
【００１７】
また、本発明に係る車両周辺確認システムは、前記複数のカメラは、複数の映像を合成することによって３６０度の角度で車両の周辺の映像を撮像し、前記非特定領域は、前記複数の映像が重ね合わさった重合領域であり、前記映像調整部は、前記重合領域を基準として、前記特定領域の大きさを調整してもよい。
【００１８】
映像取得部が、複数の映像を合成することによって３６０度の角度で車両の周辺の映像を取得することにより、ユーザがルームミラーやサイドミラー等で見ることのできない車の前方、測方、後方の死角の映像を取得することが可能である。また、映像調整部が、複数の映像が重ね合わさった重合領域を基準として、特定領域の大きさを調整することにより、車両の周辺の障害物や背景の映像の大きさを３６０度の角度でバランス良く調整することが可能である。
【００１９】
ここで、本発明に係る車両周辺確認システムは、車両に設けられた一又は複数のカメラを通して車両の周辺を映像により確認する車両周辺確認システムであって、前記一又は複数のカメラで撮像された湾曲された複数の映像を取得する映像取得部と、前記映像取得部によって取得された湾曲された複数の映像を、平坦な映像に補正する映像補正部と、前記映像補正部によって補正された複数の映像に含まれる特定の像の大きさを調整する映像調整部と、前記映像調整部によって調整された複数の映像を一つの映像に合成する映像合成部と、前記映像合成部によって合成された映像を表示する映像表示部と、を備える。
【００２０】
本発明に係る車両周辺確認システムは、映像取得部と、映像補正部と、映像調整部と、映像合成部と、映像表示部とを備える。映像取得部は、一又は複数のカメラで撮像された湾曲された複数の映像を取得する。映像補正部は、映像取得部によって取得された湾曲された複数の映像を、平坦な映像に補正する。映像調整部は、映像補正部によって補正された複数の映像に含まれる特定の像の大きさを調整することにより、映像の歪みを解消することが可能である。映像合成部は、映像調整部によって調整された複数の映像を一つの映像に合成し、映像表示部は、映像合成部によって合成された映像を表示することにより、車両の周辺の映像を分かりやすくユーザに与えることが可能である。以上により、本発明に係る車両周辺確認システムは、ユーザに与える違和感を軽減し、ユーザに対し誤解を与えない車両周辺映像を与えることが可能である。
【００２１】
また、本発明に係る車両周辺確認システムは、前記特定の像は、車に対する障害物の映像であり、前記映像補正部によって補正された複数の映像の内、障害物の映像の高さを算出する障害物高さ算出部と、前記障害物高さ算出部によって算出された障害物の映像の高さの内、複数の映像が重ね合わさる領域である重合領域における、障害物の映像の高さの平均を算出する第１障害物高さ平均算出部と、を更に備え、前記映像調整部は、前記第１障害物高さ平均算出部によって算出された障害物の映像の平均の高さに基づいて、前記重合領域の障害物の映像の大きさを調整してもよい。
【００２２】
映像調整部は、第１障害物高さ平均算出部によって算出された障害物の映像の平均の高さに基づいて、重合領域の障害物の映像の大きさを調整することにより、障害物の映像の歪みを解消することが可能である。尚、障害物の背景の映像は、映像補正部によって湾曲された映像を平坦な映像に補正することによって、ユーザに与える違和感を軽減することが可能であるため、背景の映像の大きさを調整する必要がない。
【００２３】
更に、本発明に係る車両周辺確認システムは、前記障害物高さ算出部によって算出された障害物の映像の高さの内、複数の映像が重ね合わさらない領域である非重合領域における障害物の映像の高さと、前記第１障害物高さ平均算出部によって算出された前記重合領域における障害物の映像の平均によって、障害物の映像の高さの平均を算出する第２障害物高さ平均算出部と、を更に備え、前記映像調整部は、前記第２障害物高さ平均算出部によって算出された障害物の映像の高さの平均に基づいて、前記非重合領域における障害物の映像の大きさを調整してもよい。
【００２４】
映像調整部は、第２障害物高さ平均算出部によって算出された障害物の映像の平均の高さに基づいて、非重合領域における障害物の映像の大きさを調整することにより、映像表示部に表示される映像の大きさがバランスよくなり、ユーザに与える違和感を軽減し、ユーザに対し誤解を与えない車両周辺映像を与えることが可能である。
【００２５】
また、本発明に係る車両周辺確認システムは、前記映像取得部が故障した際、前記映像合成部は映像を合成せず、前記映像表示部は、ユーザに対し車周辺の目視確認を促す表示してもよい。
【００２６】
映像取得部の故障により、実際は車の周辺に障害物があるにもかかわらず、障害物映像取得部が障害物の映像を取得できない場合、映像合成部が映像取得部によって取得された映像を合成すると、合成画像に障害物が映し出されないことになる。これは、ユーザに誤った映像を与えてしまうことになり、車の安全性上、問題である。そこで、映像取得部が故障した際に、映像合成部が映像を合成せず、映像表示部がユーザに対し車周辺の目視確認を促す表示をすることにより、ユーザに誤った映像を与えることがない。
【発明の効果】
【００２７】
本発明によれば、ディスプレイに表示される自車周辺の画像のいびつな形状を解消することにより、ユーザに与える違和感を軽減し、ユーザに対し誤解を招かない車両周辺映像を与えることが可能な車両周辺確認システムを提供することが可能である。
【図面の簡単な説明】
【００２８】
【図１】従来の車両周辺確認システムにおいて、カメラの配置を示す概略上面図である。
【図２】従来の車両周辺確認システムを用いた際の、車の左右サイドがディスプレイに表示されたときの合成画像である。
【図３】本発明の実施例１に係る車両周辺確認システムの機能ブロック図を示す。
【図４】本発明の実施例１に係る車両周辺確認システムによって表示される、車両周辺の映像を示す概略図である。
【図５】本発明の実施例１に係る車両周辺確認システムの制御フロー図である。
【図６】本発明の実施例１に係る車両周辺確認システムにおいて、特定領域である領域Ｐと、一方の非特定領域である領域ＡＡと、他方の非特定領域である領域ＣＣにおける映像を示す概略図である。
【図７】本発明の実施例１に係る車両周辺確認システムにおいて、映像表示部によって表示される車両周辺の映像を示す概略図である。
【図８】本発明の変形例１に係る車両周辺確認システムにおいて、特定領域である領域Ｐと、一方の非特定領域である領域ＡＡにおいて障害物の映像を抽出した場合の映像を示す概略図である。
【図９】本発明の変形例２に係る車両周辺確認システムにおいて、特定領域である領域Ｐにおいて障害物の映像を抽出した場合の映像を示す概略図である。
【図１０】本発明の実施例２に係る車両周辺確認システムの機能ブロック図を示す。
【図１１】本発明の実施例２に係る車両周辺確認システムの制御フロー図である。
【図１２】本発明の実施例２に係る車両周辺確認システムにおいて、映像処理の過程を示す概略図である。
【図１３】本発明の実施例２に係る車両周辺確認システムにおいて、重合領域と非重合領域を表す概略図である。
【発明を実施するための形態】
【００２９】
ここで、本発明の実施例に係る車両周辺確認システム１の実施の形態について図面に基づいて説明する。以下に示す実施例は例示であり、本発明はこれらに限定されるものではない。
【実施例１】
【００３０】
本発明の実施例１に係る車両周辺確認システム１の各構造について説明する。図３は、本発明の実施例１に係る車両周辺確認システム１の機能ブロック図を示す。図４は、本発明の実施例１に係る車両周辺確認システム１において、区分された領域を示す概略図である。本発明の実施例１に係る車両周辺確認システム１の各構成について具体的に説明する。本発明の実施例１に係る車両周辺確認システム１は、図３に示すように、映像取得部３、障害物高さ算出部４、障害物高さ平均算出部５、背景高さ算出部６、背景高さ平均算出部７、映像調整部８、及び映像表示部９を主な構成とする。以下、各構成について具体的に説明する。
【００３１】
先ず、映像取得部３について説明する。映像取得部３は、第１映像取得部３１と第２映像取得部３２とを有する。第１映像取得部３１は、カメラ２を通して、特定領域の映像を取得する。第２映像取得部３２は、カメラ２を通して、非特定領域の映像を取得する。尚、本発明の実施例１に係る車両周辺確認システム１では、カメラ２は、図１に示すように、車両の前方向の映像を撮影するフロントカメラ２１、車両の後方向の映像を撮影するリアカメラ２２、車両の側面右方向の映像を撮影する右サイドカメラ２３、及び車両の側面左方向の映像を撮影する左サイドカメラ２４の４つのカメラを有するが、これらのカメラの数及び撮影位置は限定されない。また、本発明の実施例１に係る車両周辺確認システム１では、４つのカメラは、複数の映像を合成することによって３６０度の角度で車両の周辺の映像を撮像することが可能であり、ユーザがルームミラーやサイドミラー等で見ることのできない車の前方、測方、後方の死角の映像を取得することが可能である。また、４つのカメラは、魚眼カメラを用いるものとする。
【００３２】
特定領域とは、映像内の像の大きさが非特定領域よりも大きく、非特定領域に挟まれる領域のことであり、カメラ２に近い領域のことである。また、非特定領域とは、映像内の
像の大きさが特定領域よりも小さく、且つ、特定領域を挟む領域のことであり、カメラ２に遠い領域のことである。具体的に説明すると、図４に示すように、特定領域は、フロントカメラ２１に近い領域Ｏ、左サイドカメラ２４に近い領域Ｐ、右サイドカメラ２３に近い領域Ｑ、及びリアカメラ２２に近い領域Ｒである。一方、非特定領域は、領域ＡＡ、領域ＢＢ、領域ＣＣ、及び領域ＤＤである。尚、領域ＡＡ、領域Ｏ、及び領域ＢＢは、フロントカメラ２１によって撮影される。領域ＢＢ、領域Ｑ、及び領域ＤＤは、右サイドカメラ２３によって撮影される。領域ＤＤ、領域Ｒ、領域ＣＣは、リアカメラ２２によって撮影される。領域ＣＣ、領域Ｐ、領域ＡＡは、左サイドカメラ２４によって撮影される。以上により、非特定領域は、複数の映像が重ね合わさった重合領域でもある。
【００３３】
障害物高さ算出部４について説明する。障害物高さ算出部４は、第１映像取得部３１によって取得した特定領域と、第２映像取得部３２によって取得した非特定領域の内、特定領域を挟む一方の非特定領域と他方の非特定領域との映像から、車に対する障害物の映像を抽出した際に、各々の領域における各々の障害物の高さを算出する。尚、障害物とは、例えば、道路を歩く人、自動車、動物等である。
【００３４】
障害物高さ平均算出部５について説明する。障害物高さ平均算出部５は、障害物高さ算出部４によって算出された、一方の非特定領域と、他方の非特定領域との障害物の映像の高さの平均を算出する。尚、障害物高さ平均算出部５は、特定領域と、一方の非特定領域と、他方の非特定領域との障害物の映像の高さの平均を算出してもよいが、詳しくは後述する。
【００３５】
背景高さ算出部６について説明する。背景高さ算出部６は、特定領域と、一方の非特定領域と、他方の非特定領域との映像から、各々の領域における各々の障害物の背景の映像の高さを算出する。尚、背景とは、例えば、木、家、道路等である。
【００３６】
背景高さ平均算出部７について説明する。背景高さ平均算出部７は、背景高さ算出部６によって算出された、一方の非特定領域と、他方の非特定領域との背景の映像の高さの平均を算出する。尚、背景高さ平均算出部７は、特定領域と、一方の非特定領域と、他方の非特定領域との背景の映像の高さの平均を算出してもよいが、詳しくは後述する。
【００３７】
映像調整部８について説明する。映像調整部８は、第１映像取得部３１によって取得された非特定領域を基準として、第２映像取得部３２によって取得された特定領域の映像の大きさを調整する。具体的に説明すると、映像調整部８は、障害物高さ平均算出部５によって算出された障害物の映像の平均の高さが、特定領域の障害物の映像の高さよりも低い際は、障害物高さ平均算出部５によって算出された平均の高さに基づいて、特定領域の障害物の映像の大きさを調整し、背景高さ平均算出部７によって算出された平均の高さに基づいて、特定領域の大きさを調整する。
【００３８】
映像表示部９について説明する。映像表示部９は、映像調整部８によって調整された映像をディスプレイ１０に表示する。ディスプレイ１０は、例えば、カーナビゲーションシステム等に備え付けられるディスプレイでもよい。
【００３９】
図５は、本発明の実施例１に係る車両周辺確認システム１の制御フロー図である。図３に示す機能ブロック図を参照しながら、本発明の実施例１に係る車両周辺確認システム１について具体的に説明する。尚、左サイドカメラ２４によって撮影される領域であって、特定領域を領域Ｐ、一方の非特定領域を領域ＡＡ、他方の非特定領域を領域ＣＣとして説明するが、これらの領域に限定されない。
【００４０】
ステップＳ０１では、第１映像取得部３１によって、カメラ２を通して特定領域の映像
を取得し、第２映像取得部３２によって、カメラ２を通して非特定領域の映像を取得する。図６は、特定領域である領域Ｐと、一方の非特定領域である領域ＡＡと、他方の非特定領域である領域ＣＣにおける映像を示す概略図である。具体的に説明すると、第１映像取得部３１は、特定領域である領域Ｐの映像を取得する。また、第２映像取得部３２は、一方の非特定領域である領域ＡＡと、他方の非特定領域である領域ＣＣの非特定領域の映像を取得する。特定領域及び非特定領域の映像を取得すると、ステップＳ０２へ進む。
【００４１】
ステップＳ０２では、障害物高さ算出部４によって障害物の高さを算出する。本発明の実施例１に係る車両周辺確認システム１における障害物高さ算出部４は、図６に示すように、特定領域である領域Ｐと、一方の非特定領域である領域ＡＡと、他方の非特定領域である領域ＣＣの障害物の映像の高さを算出する。尚、本発明の実施例１では、球を追いかける人を障害物とする。また、図６に示すように、領域Ｐの障害物の高さを[２]、領域ＡＡの障害物の高さを[１]、領域ＣＣの障害物の高さを[３]とする。障害物の高さを算出すると、ステップＳ０３へ進む。
【００４２】
ステップＳ０３では、障害物高さ平均算出部５によって障害物の高さの平均を算出する。障害物高さ平均算出部５は、図６に示すように、一方の非特定領域である領域ＡＡと、他方の非特定領域である領域ＣＣの障害物の映像の高さの平均を算出する。尚、障害物高さ平均算出部５は、平均値を算出するパラメータとして、特定領域である領域Ｐの障害物の高さを用いない。具体的に説明すると、領域ＡＡの障害物の高さが[１]、領域ＣＣの障害物の高さが[３]であるため、[１]と[３]を足し、２で割った値である平均値Ｘが障害物の映像の高さの平均である。障害物の高さの平均を算出すると、ステップＳ０４へ進む。
【００４３】
ステップＳ０４では、背景高さ算出部６によって背景の高さを算出する。背景高さ算出部６は、図６に示すように、特定領域である領域Ｐと、一方の非特定領域である領域ＡＡと、他方の非特定領域である領域ＣＣの背景の映像の高さを算出する。尚、本発明の実施例１では、球を追いかける人の後景を背景とする。また、図６に示すように、領域Ｐの障害物の高さを[６]、領域ＡＡの障害物の高さを[５]、領域ＣＣの障害物の高さを[７]とする。背景の高さを算出すると、ステップＳ０５へ進む。
【００４４】
ステップＳ０５では、背景高さ平均算出部７によって背景の平均の高さを算出する。背景高さ平均算出部７は、一方の非特定領域と、他方の非特定領域との背景の映像の高さの平均を算出する。上述したように、背景高さ算出部６によって算出した、一方の非特定領域である領域ＡＡの背景の高さが[５]、他方の非特定領域である領域ＣＣの背景の高さが[７]であるため、背景高さ平均算出部７は、[５]と[７]を足し、２で割った値である平均値Ｙが、背景の映像の高さの平均である。
【００４５】
また、背景高さ平均算出部７は、特定領域と、一方の非特定領域と、他方の非特定領域との背景の映像の高さの平均を算出してもよい。具体的に説明すると、背景高さ平均算出部７は、特定領域である領域Ｐと、一方の非特定領域である領域ＡＡと、他方の非特定領域である領域ＣＣの背景の映像の高さの平均を算出してもよい。特定領域である領域Ｐの背景の高さが[６]、領域ＡＡの背景の高さが[５]、領域ＣＣの背景の高さが[７]であるため、[６]と[５]と[７]を足し、３で割った値である平均値Ｒが背景の映像の高さの平均である。背景の平均の高さを算出すると、ステップＳ０６へ進む。
【００４６】
ステップＳ０６では、映像調整部８によって特定領域の障害物と背景の高さを調整する。先ず、障害物高さ平均算出部５によって算出された障害物の高さの平均が、特定領域の障害物の映像の高さ以上である場合について説明する。この場合は、映像のバランスが悪くない状態であるため、映像調整部８は、特定領域の障害物の映像の大きさを調整しない。具体的に説明すると、障害物高さ平均算出部５によって算出された障害物の高さの平均
である平均値Ｘが、特定領域である領域Ｐの障害物の高さ[２]以上である場合は、領域Ｐの障害物の映像の大きさを調整しない。尚、この場合、映像調整部８は、背景の大きさも調整しない。
【００４７】
次に、障害物高さ平均算出部５によって算出された障害物の高さの平均が、特定領域の障害物の映像の高さよりも低い場合について説明する。この場合は、映像のバランスが悪く、ユーザに違和感を与える状態であるため、映像調整部８は、特定領域の障害物の映像の大きさを、障害物高さ平均算出部５によって算出された障害物の高さの平均まで縮小する。具体的に説明すると、障害物高さ平均算出部５によって算出された障害物の高さの平均である平均値Ｘが、特定領域である領域Ｐの障害物の高さ[２]よりも低い場合は、領域Ｐの障害物の映像の大きさを平均値Ｘまで縮小する。更に、この場合、映像調整部８は、背景高さ平均算出部７によって算出された平均の高さに基づいて、特定領域の背景の映像の大きさを調整する。具体的に説明すると、特定領域である領域Ｐの背景の大きさを、背景高さ平均算出部７によって算出された背景の高さの平均である平均値Ｙまで縮小する。映像調整部８によって特定領域の障害物と背景の高さを調整すると、ステップＳ０７へ進む。
【００４８】
ステップＳ０７では、映像表示部９によって、映像調整部８によって調整された映像をディスプレイ１０に表示する。図７は、本発明の実施例１に係る車両周辺確認システム１において、映像表示部９によって表示される車両周辺の映像を示す概略図である。図７の（ａ）は、映像表示部９によって、車両周辺の映像が楕円形で表示された図である。図７の（ｂ）は、映像表示部９によって、車両周辺の映像が四角形で表示された図である。映像表示部９は、図７の（ａ）や図７の（ｂ）に示すように、映像調整部８によって調整された映像を、楕円形若しくは四角形でディスプレイ１０に表示するが、他の形状でもよい。
【００４９】
また、本発明の実施例１に係る車両周辺確認システム１は、ステップＳ０３において、障害物高さ平均算出部５が、特定領域と、一方の非特定領域と、他方の非特定領域との障害物の映像の平均の高さを算出してもよい。具体的に説明すると、障害物高さ平均算出部５は、特定領域である領域Ｐと、一方の非特定領域である領域ＡＡと、他方の非特定領域である領域ＣＣの障害物の映像の高さの平均を算出してもよい。特定領域である領域Ｐの障害物の高さが[２]、領域ＡＡの障害物の高さが[１]、領域ＣＣの障害物の高さが[３]であるため、[２]と[１]と[３]を足し、３で割った値である平均値Ｑが障害物の映像の高さの平均である。障害物の高さの平均を算出すると、上述したステップＳ０４へ進む。
【００５０】
更に、上述したように、ステップＳ０３において、障害物高さ平均算出部５が、特定領域と、一方の非特定領域と、他方の非特定領域との障害物の映像の平均の高さを算出した場合の、ステップ０６について説明する。ステップＳ０６において、障害物高さ平均算出部５によって算出された障害物の高さの平均である平均値Ｑが、特定領域である領域Ｐの障害物の高さ[２]以上である場合は、映像のバランスが悪くないため、映像調整部８は、領域Ｐの障害物の映像の大きさを調整しない。一方、障害物高さ平均算出部５によって算出された障害物の高さの平均である平均値Ｑが、特定領域である領域Ｐの障害物の高さ[
２]よりも低い場合は、映像のバランスが悪く、ユーザに違和感を与える状態であるため
、映像調整部８は、領域Ｐの障害物の映像の大きさを平均値Ｑまで縮小する。更に、映像調整部８は、特定領域である領域Ｐの背景の高さ[６]を、背景高さ平均算出部７によって算出された平均の値である平均値Ｒまで縮小する。映像調整部８によって特定領域の障害物と背景の高さを調整すると、上述したステップＳ０７へ進む。
【００５１】
以上により、本発明の実施例１に係る発明は、映像表示部９に表示される自車周辺の画像のいびつな形状を解消することにより、ユーザに与える違和感を軽減し、ユーザに対し
誤解を招かない車両周辺映像を与えることが可能な車両周辺確認システムを提供することが可能である。
＜変形例１＞
【００５２】
更に、本発明の実施例１に係る車両周辺確認システム１は、変形例１として、障害物高さ算出部４が、特定領域と、一方の非特定領域と他方の非特定領域とのどちらか一方の非特定領域との映像において、障害物の映像を抽出した際に、各々の領域における各々の障害物の映像の高さを算出する場合について説明する。
【００５３】
この場合、障害物高さ平均算出部５は、障害物の高さの平均を算出しない。また、映像調整部８は、障害物高さ算出部４によって算出された一方の非特定領域若しくは他方の非特定領域の障害物の映像の高さが、障害物高さ算出部４によって算出された特定領域の障害物の映像の高さ以上の際は、映像のバランスが悪くないため、特定領域の障害物の映像の大きさを調整しない。
【００５４】
また、映像調整部８は、障害物高さ算出部４によって算出された一方の非特定領域若しくは他方の非特定領域の障害物の映像の高さが、障害物高さ算出部４によって算出された特定領域の障害物の映像の高さよりも低い際は、映像のバランスが悪く、ユーザに違和感を与える状態であるため、障害物高さ算出部４によって算出された一方の非特定領域若しくは他方の非特定領域の障害物の高さに基づいて、特定領域の障害物の映像の大きさを調整し、背景高さ平均算出部７によって算出された平均の高さに基づいて、特定領域の背景の映像の大きさを調整する。
【００５５】
以下、図３及び図５を参照しながら、本発明の変形例１に係る車両周辺確認システム１について具体的に説明する。図８は、特定領域である領域Ｐと、一方の非特定領域である領域ＡＡにおいて障害物の映像を抽出した場合の映像を示す概略図である。
【００５６】
上述したように、ステップＳ０１において、特定領域及び非特定領域の映像を取得すると、ステップＳ０２へ進む。ステップＳ０２において、障害物高さ算出部４によって障害物の高さを算出する。障害物高さ算出部４は、図８に示すように、特定領域である領域Ｐと、一方の非特定領域である領域ＡＡとの映像において、障害物の映像を抽出した場合に、各々の領域における各々の障害物の映像の高さを算出する。領域Ｐの障害物の高さを[
２]、領域ＡＡの障害物の高さを[１]とする。尚、特定領域である領域Ｐと、他方の非特
定領域である領域ＣＣとの映像において、障害物の映像を抽出した場合は、障害物高さ算出部４は、特定領域である領域Ｐと、他方の非特定領域である領域ＣＣの、各々の領域における各々の障害物の映像の高さを算出してもよい。
【００５７】
次に、ステップＳ０３は行わずに、上述したように、ステップＳ０４及びステップＳ０５へ進む。そして、ステップＳ０６において、映像調整部８は、一方の非特定領域である領域ＡＡの障害物の映像の高さ[１]が、特定領域である領域Ｐの障害物の映像の高さ[２]以上である場合は、特定領域である領域Ｐの障害物の映像の大きさを調整しない。尚、この場合、映像調整部８は、背景の大きさも調整しない。
【００５８】
また、映像調整部８は、一方の非特定領域である領域ＡＡの障害物の映像の高さ[１]が、特定領域である領域Ｐの障害物の映像の高さ[２]よりも低い場合は、領域Ｐの障害物の映像の大きさを、領域ＡＡの障害物の映像の高さ[１]まで縮小する。更に、この場合、映像調整部８は、特定領域である領域Ｐの背景の映像の大きさを、背景高さ平均算出部７によって算出された背景の高さの平均である平均値Ｙまで縮小する。そして、上述したステップＳ０７へ進む。
【００５９】
他に、本発明の変形例１に係る車両周辺確認システム１は、障害物高さ平均算出部５が、特定領域と、一方の非特定領域と他方の非特定領域とのどちらか一方の非特定領域との障害物の映像の高さの平均を算出してもよい。この場合、映像調整部８は、障害物高さ平均算出部５によって算出された障害物の映像の平均の高さが、障害物高さ算出部４によって算出された特定領域の障害物の映像の高さ以上の際は、映像のバランスが悪くないため、特定領域の障害物の映像の大きさを調整しない。
【００６０】
また、映像調整部８は、障害物高さ平均算出部５によって算出された障害物の映像の平均の高さが、障害物高さ算出部４によって算出された特定領域の障害物の映像の高さよりも低い際は、映像のバランスが悪く、ユーザに違和感を与える状態であるため、障害物高さ算出部４によって算出された一方の非特定領域若しくは他方の非特定領域の障害物の高さに基づいて、特定領域の障害物の映像の大きさを調整し、背景高さ平均算出部７によって算出された平均の高さに基づいて、特定領域の背景の映像の大きさを調整する。
【００６１】
具体的に説明すると、変形例１においてステップＳ０３は行わずにステップＳ０４へ進んだが、ステップＳ０３において、障害物高さ平均算出部５は、特定領域である領域と、一方の非特定領域である領域ＡＡの障害物の映像の高さの平均を算出してもよい。特定領域である領域Ｐの障害物の高さが[２]、領域ＡＡの障害物の高さが[１]であるため、[２]と[１]を足し、２で割った値である平均値Ｓが障害物の映像の高さの平均である。
【００６２】
そして、ステップＳ０４及びステップＳ０５へ進み、ステップＳ０６において、映像調整部８は、障害物高さ平均算出部５によって算出された障害物の高さの平均である平均値Ｓが、特定領域である領域Ｐの障害物の高さ[２]以上である場合は、領域Ｐの障害物の映像の大きさを調整しない。尚、この場合、映像調整部８は、背景の大きさも調整しない。
【００６３】
また、映像調整部８は、障害物高さ平均算出部５によって算出された障害物の高さの平均である平均値Ｓが、特定領域である領域Ｐの障害物の高さ[２]よりも低い際は、領域Ｐの障害物の映像の大きさを平均値Ｓまで縮小する。更に、映像調整部８は、特定領域である領域Ｐの背景の映像の大きさを、背景高さ平均算出部７によって算出された背景の高さの平均である平均値Ｙまで縮小する。映像調整部８によって特定領域の障害物と背景の高さを調整すると、上述したステップＳ０７へ進む。
【００６４】
以上により、本発明の変形例１に係る発明は、映像表示部９に表示される自車周辺の画像のいびつな形状を解消することにより、ユーザに与える違和感を軽減し、ユーザに対し誤解を招かない車両周辺映像を与えることが可能な車両周辺確認システムを提供することが可能である。
＜変形例２＞
【００６５】
次に、本発明の実施例１に係る車両周辺確認システム１は、変形例２として、障害物高さ算出部４が、特定領域の映像において障害物の映像を抽出し、一方の非特定領域と他方の非特定領域の映像において障害物の映像を抽出していない際に、特定領域における障害物の映像の高さを算出する場合について説明する。
【００６６】
映像調整部８は、背景高さ平均算出部７によって算出された平均の高さが、背景高さ算出部６によって算出された特定領域における背景の映像の高さ以上の場合は、映像のバランスが悪くないため、特定領域の障害物の映像の大きさを調整しない。
【００６７】
また、映像調整部８は、背景高さ平均算出部７によって算出された平均の高さが、背景高さ算出部６によって算出された特定領域における背景の映像の高さよりも低い場合は、映像のバランスが悪く、ユーザに違和感を与える状態であるため、背景高さ平均算出部７
によって算出された平均の高さに基づいて、特定領域の障害物の映像の大きさと、特定領域の背景の映像の大きさを調整する。
【００６８】
以下、図３及び図５を参照しながら、本発明の変形例２に係る車両周辺確認システム１について具体的に説明する。図９は、特定領域である領域Ｐにおいて障害物の映像を抽出した場合の映像を示す概略図である。
【００６９】
上述したように、ステップＳ０１において、特定領域及び非特定領域の映像を取得すると、ステップＳ０２へ進む。ステップＳ０２において、障害物高さ算出部４が、図９に示すように、特定領域である領域Ｐの映像において障害物の映像を抽出し、一方の非特定領域である領域ＡＡと、他方の非特定領域である領域ＣＣとにおいて障害物の映像を抽出していない際に、特定領域である領域Ｐの障害物の映像の高さを算出する。尚、領域Ｐの障害物の映像の高さ[２]である。
【００７０】
次に、ステップＳ０３は行わずに、上述したステップＳ０４及びステップＳ０５へ進む。そして、ステップＳ０６において、映像調整部８は、背景高さ平均算出部７によって算出された平均の高さ平均値Ｙが、背景高さ算出部６によって算出された特定領域である領域Ｐの背景の高さ[６]以上である場合は、特定領域である領域Ｐの障害物の映像の大きさを調整しない。尚、この場合、映像調整部８は、背景の大きさも調整しない。
【００７１】
また、映像調整部８は、背景高さ平均算出部７によって算出された平均の高さ平均値Ｙが、背景高さ算出部６によって算出された特定領域である領域Ｐの背景の高さ[６]よりも低い場合は、特定領域である領域Ｐの障害物の映像の大きさと、特定領域である領域Ｐの背景の大きさを、背景高さ平均算出部７によって算出された平均の高さ平均値Ｙまで縮小する。映像調整部８によって特定領域の障害物と背景の高さを調整すると、ステップＳ０７へ進む。
【００７２】
尚、平均値Ｙの代わりに、障害物高さ平均算出部５が、特定領域と、一方の非特定領域と、他方の非特定領域との障害物の映像の平均の高さを算出した平均の高さである平均値Ｑを用いてもよい。
【００７３】
以上により、本発明の変形例２に係る発明は、映像表示部９に表示される自車周辺の画像のいびつな形状を解消することにより、ユーザに与える違和感を軽減し、ユーザに対し誤解を招かない車両周辺映像を与えることが可能な車両周辺確認システムを提供することが可能である。
【実施例２】
【００７４】
本発明の実施例２に係る車両周辺確認システム１の各構造について説明する。図１０は、本発明の実施例２に係る車両周辺確認システム１の機能ブロック図を示す。以下、各構成について具体的に説明する。
【００７５】
先ず、映像取得部３０について説明する。映像取得部３０は、カメラ２で撮像された湾曲された複数の映像を取得する。尚、本発明の実施例２に係る車両周辺確認システム１では、カメラ２は、図１に示すように、車両の前方向の映像を撮影するフロントカメラ２１、車両の後方向の映像を撮影するリアカメラ２２、車両の側面右方向の映像を撮影する右サイドカメラ２３、及び車両の側面左方向の映像を撮影する左サイドカメラ２４の４つのカメラを有するが、これらのカメラの数及び撮影位置は限定されない。また、本発明の実施例２に係る車両周辺確認システム１では、カメラ２に魚眼カメラを用いるため、映像が湾曲している。
【００７６】
映像補正部４０について説明する。映像補正部４０は、映像取得部３０によって取得された湾曲された複数の映像を、平坦な映像に補正する。尚、映像補正部４０によって平坦な映像に補正することにより、障害物の背景の映像の歪みが補正されるため、背景の映像がユーザに与える違和感を軽減することが可能である。
【００７７】
障害物高さ算出部５０について説明する。障害物高さ算出部５０は、映像補正部４０によって補正された複数の映像の内、障害物の映像の高さを算出する。
【００７８】
第１障害物高さ平均算出部６０について説明する。第１障害物高さ平均算出部６０は、障害物高さ算出部５０によって算出された障害物の映像の高さの内、複数の映像が重ね合わさる領域における、障害物の映像の高さの平均を算出する。
【００７９】
第２障害物高さ平均算出部７０について説明する。第２障害物高さ平均算出部７０は、障害物高さ算出部５０によって算出された障害物の映像の高さの内、複数の映像が重ね合わさらない領域である非重合領域における障害物の映像の高さと、第１障害物高さ平均算出部６０によって算出された重合領域における障害物の映像の平均によって、障害物の映像の高さの平均を算出する。
【００８０】
映像調整部８０について説明する。映像調整部８０は、第１障害物高さ平均算出部６０によって算出された障害物の映像の平均の高さに基づいて、重合領域の障害物の映像の大きさを調整する。また、映像調整部８０は、第２障害物高さ平均算出部７０によって算出された障害物の映像の高さの平均に基づいて、非重合領域における障害物の映像大きさを調整する。
【００８１】
映像合成部９０について説明する。映像合成部９０は、映像調整部８０によって調整された複数の映像を一つの映像に合成する。また、映像合成部９０は、映像取得部３０が故障した際、映像合成部９０は映像を合成しない。
【００８２】
映像表示部１００について説明する。映像表示部１００は、映像合成部９０によって合成された映像をディスプレイ１０に表示する。また、映像表示部１００は、映像取得部３０が故障した際、ユーザに対し車周辺の目視確認を促す表示をディスプレイ１０に表示する。
【００８３】
図１１は、本発明の実施例２に係る車両周辺確認システム１の制御フロー図である。図１２は、本発明の実施例２に係る車両周辺確認システム１において、映像処理の過程を示す概略図である。図１０に示す機能ブロック図を参照しながら、以下具体的に車両周辺確認システム１について説明する。
【００８４】
ステップＳ１０１では、映像取得部３０によって、カメラ２で撮像された湾曲された複数の映像を取得する。具体的に説明すると、映像取得部３０は、図１２の（ａ）に示すように、フロントカメラ２１、リアカメラ２２、右サイドカメラ２３、左サイドカメラ２４によって撮像された湾曲された複数の映像を取得する。湾曲された複数の映像を取得すると、ステップＳ１０２へ進む。
【００８５】
ステップＳ１０２では、映像補正部４０によって、映像取得部３０によって取得された映像を平坦な映像に補正する。映像補正部４０は、図１２の（ｂ）に示すように、映像取得部３０によって取得された、フロントカメラ２１、リアカメラ２２、右サイドカメラ２３、左サイドカメラ２４によって撮像された湾曲された複数の映像を、平坦な映像に補正する。
【００８６】
また、映像補正部４０は、以下の式により、湾曲された映像を平坦な映像に補正する。
＜湾曲補正計算式：湾曲収差の逆変換式＞
Ｘｕ＝Ｘｄ／｛１＋（ｋ１×ｒ2）＋（ｋ２×ｒ4）｝・・・（１）
Ｙｕ＝Ｙｄ／｛１＋（ｋ１×ｒ2）＋（ｋ２×ｒ4）｝・・・（２）
＜歪曲収差の計算式＞
Ｘｄ＝｛１＋（ｋ１×ｒ2）＋（ｋ２×ｒ4）｝×Ｘｕ・・・（３）
Ｙｄ＝｛１＋（ｋ１×ｒ2）＋（ｋ２×ｒ4）｝×Ｙｕ・・・（４）
｛Ｘｕ：平面映像のＸ座標、Ｙｕ：平面映像のＹ座標、Ｘｄ：歪曲収差のある映像のＸ座標、Ｙｄ：歪曲収差のある映像のＹ座標、ｋ１：レンズの歪係数（＝−６．２５×１０-7）、ｋ２：レンズの歪係数（＝０）、ｒ：画像中心から（Ｘｕ、Ｙｕ）までの距離｝
湾曲された複数の映像を平坦な映像に補正すると、ステップＳ１０３へ進む。
【００８７】
ステップＳ１０３では、障害物高さ算出部５０によって、映像補正部４０によって補正された複数の映像の内の障害物の映像の高さを算出する。障害物高さ算出部５０は、図１２の（ｂ）に示す障害物＜１＞から＜９＞の映像の高さを算出する。障害物の映像の高さを算出すると、ステップＳ１０４へ進む。
【００８８】
ステップＳ１０４では、第１障害物高さ平均算出部６０及び第２障害物高さ平均算出部７０によって、障害物の高さの平均を算出する。第１障害物高さ平均算出部６０は、障害物高さ算出部５０によって算出された障害物の映像の高さの内、複数の映像が重ね合わさる領域である重合領域における、障害物の映像の高さの平均を算出する。図１３は、重合領域と非重合領域を表す概略図である。重合領域は、図１３に示すように、同一の障害物である障害物＜１＞と障害物＜７＞を有する領域Ａ、同一の障害物である障害物＜３＞と障害物＜４＞を有する領域Ｂ、同一の障害物である障害物＜４＞と障害物＜８＞を有する領域Ｃ、同一の障害物である障害物＜５＞と障害物＜６＞を有する領域Ｄである。非重合領域は、重合領域以外の領域である、領域Ｅ、領域Ｆである。
【００８９】
第１障害物高さ平均算出部６０は、例えば、重合領域である領域Ａにおける障害物＜１＞と障害物＜７＞の映像の高さの平均を算出する。つまり、第１障害物高さ平均算出部６０は、障害物＜１＞と障害物＜７＞の障害物の映像の高さを足し、２で割った値である平均値ａを算出する。また、第１障害物高さ平均算出部６０は、重合領域である領域Ｂにおける障害物＜３＞と障害物＜４＞の映像の高さの平均を算出する。つまり、第１障害物高さ平均算出部６０は、障害物＜３＞と障害物＜４＞の障害物の映像の高さを足し、２で割った値である平均値ｂを算出する。重合領域である領域Ｃと領域Ｄも同様に、各々の領域における障害物の映像の高さの平均を算出する。
【００９０】
次に、第２障害物高さ平均算出部７０は、障害物高さ算出部５０によって算出された障害物の映像の高さの内、複数の映像が重ね合わさらない領域である非重合領域における障害物の映像の高さと、第１障害物高さ平均算出部６０によって算出された重合領域における障害物の映像の平均によって、障害物の映像の高さの平均を算出する。第２障害物高さ平均算出部７０は、例えば、非重合領域である領域Ｅにおける障害物＜２＞の映像の高さと、第１障害物高さ平均算出部６０によって算出された重合領域である領域Ａの障害物の平均値ａと、第１障害物高さ平均算出部６０によって算出された重合領域である領域Ｂの障害物の平均値ｂとを足し、３で割った値である平均値ｅを算出する。非重合領域である領域Ｆも同様に、障害物の映像の高さの平均を算出する。障害物の映像の平均を算出すると、ステップＳ１０５へ進む。
【００９１】
ステップＳ１０５では、映像調整部８０によって障害物の高さを調整する。先ず、映像調整部８０は、第一障害物高さ平均算出部５によって算出された障害物の映像の平均の高さに基づいて、重合領域の障害物の映像の大きさを調整する。例えば、障害物＜１＞の障
害物の映像の高さが、第１障害物高さ平均算出部６０によって算出された領域Ａの障害物の平均値ａよりも小さい場合は、障害物＜１＞の障害物の映像の大きさを平均値ａまで拡大する。また、障害物＜１＞の障害物の映像の高さが、第１障害物高さ平均算出部６０によって算出された領域Ａの障害物の平均値ａよりも大きい場合は、障害物＜１＞の障害物の映像の大きさを平均値ａまで縮小する。更に、障害物＜１＞の障害物の映像の高さと、第１障害物高さ平均算出部６０によって算出された領域Ａの障害物の平均値ａが同一である場合は、障害物＜１＞の障害物の映像の大きさを調整しない。映像調整部８０は、他の重合領域でも同様に障害物の高さを調整する。
【００９２】
次に、映像調整部８０は、第２障害物高さ平均算出部７０によって算出された障害物の映像の高さの平均に基づいて、非重合領域における障害物の映像の大きさを調整する。例えば、非重合領域である領域Ｅにおける障害物＜２＞の障害物の映像の高さが、第２障害物高さ平均算出部７０によって算出された平均値ｅよりも小さい場合は、障害物＜２＞の障害物の映像の大きさを平均値ｅまで拡大する。また、非重合領域である領域Ｅにおける障害物＜２＞の障害物の映像の高さが、第２障害物高さ平均算出部７０によって算出された平均値ｅよりも大きい場合は、障害物＜２＞の障害物の映像の大きさを平均値ｅまで縮小する。更に、非重合領域である領域Ｅにおける障害物＜２＞の障害物の映像の高さと、第２障害物高さ平均算出部７０によって算出された平均値ｅが同一である場合は、障害物＜２＞の障害物の映像の大きさを調整しない。映像調整部８０によって調整された映像は、図１２の（ｃ）に示す。障害物の高さを調整すると、ステップＳ１０６へ進む。
【００９３】
ステップＳ１０６では、映像合成部９０によって映像を合成する。映像合成部９０は、映像調整部８０によって調整された複数の映像を一つの映像に合成する。映像合成部９０は、フロントカメラ２１、右サイドカメラ２３、左サイドカメラ２４、及びリアカメラ２２によって撮像された４枚の映像を、一つの映像に合成する。映像を合成すると、ステップＳ１０７へ進む。
【００９４】
ステップＳ１０７では、映像表示部１００によって、映像合成部９０によって合成された映像をディスプレイ１０に表示する。図１２の（ｄ）は、本発明の実施例２に係る車両周辺確認システム１の、車両周辺の映像を示す概略図である。映像表示部１００は、図１２の（ｄ）に示すように、車両周辺映像が楕円形若しくは四角形の形状で表示するが、他の形状でもよい。
【００９５】
以上により、本発明の実施例２に係る発明は、映像表示部１００に表示される自車周辺の画像のいびつな形状を解消することにより、ユーザに与える違和感を軽減し、ユーザに対し誤解を招かない車両周辺映像を与えることが可能な車両周辺確認システムを提供することが可能である。尚、障害物への映像の高さの平均は、厳密な平均である必要はなく、略平均であればよい。
【００９６】
尚、映像取得部３０が故障した際、映像合成部９０は映像を合成しない。これは、映像取得部３０の故障により、実際は車の周辺に障害物があるにもかかわらず、障害物映像取得部が障害物の映像を取得できない場合、映像合成部９０が映像取得部３０によって取得された映像を合成すると、映像画像に障害物が映し出されないことになる。従って、本発明の実施例２に記載の車両周辺確認システム１は、映像取得部３０が故障した際に、映像合成部９０が映像を合成せず、映像表示部１００がユーザに対し車周辺の目視確認を促す表示をすることにより、ユーザに誤った映像を与えることがない。
【符号の説明】
【００９７】
１・・・車両周辺確認システム
２・・・カメラ
２１・・・フロントカメラ
２２・・・リアカメラ
２３・・・右サイドカメラ
２４・・・左サイドカメラ
３・・・映像取得部
３１・・・第１映像取得部
３２・・・第２映像取得部
４・・・障害物高さ算出部
５・・・障害物高さ平均算出部
６・・・背景高さ算出部
７・・・背景高さ平均算出部
８・・・映像調整部
９・・・映像表示部
１０・・・ディスプレイ
３０・・・映像取得部
４０・・・映像補正部
５０・・・障害物高さ算出部
６０・・・第１障害物高さ平均算出部
７０・・・第２障害物高さ平均算出部
８０・・・映像調整部
９０・・・映像合成部
１００・・・映像表示部
【特許請求の範囲】
【請求項１】
車両に設けられた一又は複数のカメラを通して車両の周辺を映像により確認する車両周辺確認システムであって、
前記一又は複数のカメラを通して、映像内の像の大きさが非特定領域よりも大きく、且つ該非特定領域に挟まれる特定領域の映像を取得する第１映像取得部と、
前記一又は複数のカメラを通して、映像内の像の大きさが前記特定領域よりも小さく、且つ該特定領域を挟む前記非特定領域の映像を取得する第２映像取得部と、
前記第１映像取得部によって取得された前記非特定領域を基準として、前記第２映像取得部によって取得された前記特定領域の映像の大きさを調整する映像調整部と、
前記映像調整部によって調整された映像を表示する映像表示部と、を備える、
車両周辺確認システム。
【請求項２】
前記第１映像取得部によって取得した前記特定領域と、前記第２映像取得部によって取得した前記非特定領域の内、該特定領域を挟む一方の非特定領域と他方の非特定領域との映像から、車に対する障害物の映像を抽出した際に、各々の領域における各々の障害物の映像の高さを算出する障害物高さ算出部と、
前記障害物高さ算出部によって算出された、前記一方の非特定領域と、前記他方の非特定領域との障害物の映像の高さの平均を算出する障害物高さ平均算出部と、
前記特定領域と、前記一方の非特領域と、前記他方の非特定領域との映像から、各々の領域における各々の前記障害物の背景の映像の高さを算出する背景高さ算出部と、
前記背景高さ算出部によって取得された、前記一方の非特定領域と、前記他方の非特定領域との背景の映像の高さの平均を算出する背景高さ平均算出部と、を更に備え、
前記映像調整部は、
前記障害物高さ平均算出部によって算出された障害物の映像の平均の高さが、前記特定領域の障害物の映像の高さよりも低い際は、該障害物高さ平均算出部によって算出された平均の高さに基づいて、該特定領域の障害物の映像の大きさを調整し、前記背景高さ平均算出部によって算出された平均の高さに基づいて、該特定領域の背景の映像の大きさを調整する、
請求項１に記載の車両周辺確認システム。
【請求項３】
前記障害物高さ算出部は、前記特定領域と、前記一方の非特定領域と前記他方の非特定領域とのどちらか一方の非特定領域との映像において、障害物の映像を抽出した際に、各々の領域における各々の障害物の映像の高さを算出し、
前記映像調整部は、
前記障害物高さ算出部によって算出された前記一方の非特定領域若しくは前記他方の非特定領域の障害物の映像の高さが、前記障害物高さ算出部によって算出された前記特定領域の障害物の映像の高さよりも低い際は、該障害物高さ算出部によって算出された該一方の非特定領域若しくは該他方の非特定領域の障害物の高さに基づいて、該特定領域の障害物の映像の大きさを調整し、前記背景高さ平均算出部によって算出された平均の高さに基づいて、該特定領域の背景の映像の大きさを調整する、
請求項２に記載の車両周辺確認システム。
【請求項４】
前記障害物高さ算出部は、前記特定領域の映像において障害物の映像を抽出し、前記一方の非特定領域と前記他方の非特定領域の映像において前記障害物の映像を抽出していない際に、前記特定領域における障害物の映像の高さを算出し、
前記映像調整部は、
前記背景高さ平均算出部によって算出された平均の高さが、前記背景高さ算出部によって算出された前記特定領域における背景の映像の高さよりも低い際は、該背景高さ平均算出部によって算出された平均の高さに基づいて、該特定領域の障害物の映像の大きさと、
該特定領域の背景の映像の大きさを調整する、
請求項２又は３に記載の車両周辺確認システム。
【請求項５】
前記障害物高さ平均算出部は、前記障害物高さ算出部によって算出された、前記特定領域と、前記一方の非特定領域と、前記他方の非特定領域との障害物の映像の高さの平均を算出し、
前記背景高さ平均算出部は、前記背景高さ算出部によって算出された、前記特定領域と、前記一方の非特定領域と、前記他方の非特定領域との背景の映像の高さの平均を算出し、
前記映像調整部は、
前記障害物高さ平均算出部によって算出された障害物の映像の高さの平均が、前記特定領域の障害物の映像の高さよりも低い際は、該障害物高さ平均算出部によって算出された平均の高さに基づいて、該特定領域の障害物の映像の大きさを調整し、前記背景高さ平均算出部によって算出された平均の高さに基づいて、該特定領域の背景の映像の大きさを調整する、
請求項２に記載の車両周辺確認システム。
【請求項６】
前記障害物高さ算出部は、前記特定領域と、前記一方の非特定領域と前記他方の非特定領域とのどちらか一方の非特定領域との映像において、障害物の映像を抽出した際に、各々の領域における各々の障害物の映像の高さを算出し、
前記障害物高さ平均算出部は、前記障害物高さ算出部によって算出された、前記特定領域と、前記一方の非特定領域と前記他方の非特定領域とのどちらか一方の非特定領域との障害物の映像の高さの平均を算出し、
前記映像調整部は、
前記障害物高さ平均算出部によって算出された障害物の映像の平均の高さが、前記障害物高さ算出部によって算出された前記特定領域の障害物の映像の高さよりも低い際は、該障害物高さ算出部によって算出された該一方の非特定領域若しくは該他方の非特定領域の障害物の高さに基づいて、該特定領域の障害物の映像の大きさを調整し、前記背景高さ平均算出部によって算出された平均の高さに基づいて、該特定領域の背景の映像の大きさを調整する、
請求項５に記載の車両周辺確認システム。
【請求項７】
前記障害物高さ算出部は、前記特定領域の映像において障害物の映像を抽出し、前記一方の非特定領域と前記他方の非特定領域の映像において障害物の映像を抽出していない際に、前記特定領域における障害物の映像の高さを算出し、
前記映像調整部は、
前記背景高さ平均算出部によって算出された平均の高さが、前記背景高さ算出部によって算出された前記特定領域における背景の映像の高さよりも低い際は、該背景高さ平均算出部によって算出された平均の高さに基づいて、該特定領域の障害物の映像の大きさと、該特定領域の背景の映像の大きさを調整する、
請求項５又は６に記載の車両周辺確認システム。
【請求項８】
前記複数のカメラは、複数の映像を合成することによって３６０度の角度で車両の周辺の映像を撮像し、
前記非特定領域は、前記複数の映像が重ね合わさった重合領域であり、
前記映像調整部は、前記重合領域を基準として、前記特定領域の大きさを調整する、
請求項１から７の何れか一項に記載の車両周辺確認システム。
【請求項９】
車両に設けられた一又は複数のカメラを通して車両の周辺を映像により確認する車両周辺確認システムであって、
前記一又は複数のカメラで撮像された湾曲された複数の映像を取得する映像取得部と、
前記映像取得部によって取得された湾曲された複数の映像を、平坦な映像に補正する映像補正部と、
前記映像補正部によって補正された複数の映像に含まれる特定の像の大きさを調整する映像調整部と、
前記映像調整部によって調整された複数の映像を一つの映像に合成する映像合成部と、
前記映像合成部によって合成された映像を表示する映像表示部と、を備える、
車両周辺確認システム。
【請求項１０】
前記特定の像は、車に対する障害物の映像であり、
前記映像補正部によって補正された複数の映像の内、障害物の映像の高さを算出する障害物高さ算出部と、
前記障害物高さ算出部によって算出された障害物の映像の高さの内、複数の映像が重ね合わさる領域である各々の重合領域における障害物の映像の高さの平均を算出する第１障害物高さ平均算出部と、を更に備え、
前記映像調整部は、
前記第１障害物高さ平均算出部によって算出された障害物の映像の平均の高さに基づいて、前記重合領域の障害物の映像の大きさを調整する、
請求項９に記載の車両周辺確認システム。
【請求項１１】
前記障害物高さ算出部によって算出された障害物の映像の高さの内、複数の映像が重ね合わさらない領域である各々の非重合領域における障害物の映像の高さと、前記第１障害物高さ平均算出部によって算出された前記重合領域における障害物の映像の平均によって、障害物の映像の高さの平均を算出する第２障害物高さ平均算出部と、を更に備え、
前記映像調整部は、
前記第２障害物高さ平均算出部によって算出された障害物の映像の高さの平均に基づいて、前記非重合領域における障害物の映像の大きさを調整する、
請求項１０に記載の車両周辺確認システム。
【請求項１】
車両に設けられた一又は複数のカメラを通して車両の周辺を映像により確認する車両周辺確認システムであって、
前記一又は複数のカメラを通して、映像内の像の大きさが非特定領域よりも大きく、且つ該非特定領域に挟まれる特定領域の映像を取得する第１映像取得部と、
前記一又は複数のカメラを通して、映像内の像の大きさが前記特定領域よりも小さく、且つ該特定領域を挟む前記非特定領域の映像を取得する第２映像取得部と、
前記第１映像取得部によって取得された前記非特定領域を基準として、前記第２映像取得部によって取得された前記特定領域の映像の大きさを調整する映像調整部と、
前記映像調整部によって調整された映像を表示する映像表示部と、を備える、
車両周辺確認システム。
【請求項２】
前記第１映像取得部によって取得した前記特定領域と、前記第２映像取得部によって取得した前記非特定領域の内、該特定領域を挟む一方の非特定領域と他方の非特定領域との映像から、車に対する障害物の映像を抽出した際に、各々の領域における各々の障害物の映像の高さを算出する障害物高さ算出部と、
前記障害物高さ算出部によって算出された、前記一方の非特定領域と、前記他方の非特定領域との障害物の映像の高さの平均を算出する障害物高さ平均算出部と、
前記特定領域と、前記一方の非特領域と、前記他方の非特定領域との映像から、各々の領域における各々の前記障害物の背景の映像の高さを算出する背景高さ算出部と、
前記背景高さ算出部によって取得された、前記一方の非特定領域と、前記他方の非特定領域との背景の映像の高さの平均を算出する背景高さ平均算出部と、を更に備え、
前記映像調整部は、
前記障害物高さ平均算出部によって算出された障害物の映像の平均の高さが、前記特定領域の障害物の映像の高さよりも低い際は、該障害物高さ平均算出部によって算出された平均の高さに基づいて、該特定領域の障害物の映像の大きさを調整し、前記背景高さ平均算出部によって算出された平均の高さに基づいて、該特定領域の背景の映像の大きさを調整する、
請求項１に記載の車両周辺確認システム。
【請求項３】
前記障害物高さ算出部は、前記特定領域と、前記一方の非特定領域と前記他方の非特定領域とのどちらか一方の非特定領域との映像において、障害物の映像を抽出した際に、各々の領域における各々の障害物の映像の高さを算出し、
前記映像調整部は、
前記障害物高さ算出部によって算出された前記一方の非特定領域若しくは前記他方の非特定領域の障害物の映像の高さが、前記障害物高さ算出部によって算出された前記特定領域の障害物の映像の高さよりも低い際は、該障害物高さ算出部によって算出された該一方の非特定領域若しくは該他方の非特定領域の障害物の高さに基づいて、該特定領域の障害物の映像の大きさを調整し、前記背景高さ平均算出部によって算出された平均の高さに基づいて、該特定領域の背景の映像の大きさを調整する、
請求項２に記載の車両周辺確認システム。
【請求項４】
前記障害物高さ算出部は、前記特定領域の映像において障害物の映像を抽出し、前記一方の非特定領域と前記他方の非特定領域の映像において前記障害物の映像を抽出していない際に、前記特定領域における障害物の映像の高さを算出し、
前記映像調整部は、
前記背景高さ平均算出部によって算出された平均の高さが、前記背景高さ算出部によって算出された前記特定領域における背景の映像の高さよりも低い際は、該背景高さ平均算出部によって算出された平均の高さに基づいて、該特定領域の障害物の映像の大きさと、
該特定領域の背景の映像の大きさを調整する、
請求項２又は３に記載の車両周辺確認システム。
【請求項５】
前記障害物高さ平均算出部は、前記障害物高さ算出部によって算出された、前記特定領域と、前記一方の非特定領域と、前記他方の非特定領域との障害物の映像の高さの平均を算出し、
前記背景高さ平均算出部は、前記背景高さ算出部によって算出された、前記特定領域と、前記一方の非特定領域と、前記他方の非特定領域との背景の映像の高さの平均を算出し、
前記映像調整部は、
前記障害物高さ平均算出部によって算出された障害物の映像の高さの平均が、前記特定領域の障害物の映像の高さよりも低い際は、該障害物高さ平均算出部によって算出された平均の高さに基づいて、該特定領域の障害物の映像の大きさを調整し、前記背景高さ平均算出部によって算出された平均の高さに基づいて、該特定領域の背景の映像の大きさを調整する、
請求項２に記載の車両周辺確認システム。
【請求項６】
前記障害物高さ算出部は、前記特定領域と、前記一方の非特定領域と前記他方の非特定領域とのどちらか一方の非特定領域との映像において、障害物の映像を抽出した際に、各々の領域における各々の障害物の映像の高さを算出し、
前記障害物高さ平均算出部は、前記障害物高さ算出部によって算出された、前記特定領域と、前記一方の非特定領域と前記他方の非特定領域とのどちらか一方の非特定領域との障害物の映像の高さの平均を算出し、
前記映像調整部は、
前記障害物高さ平均算出部によって算出された障害物の映像の平均の高さが、前記障害物高さ算出部によって算出された前記特定領域の障害物の映像の高さよりも低い際は、該障害物高さ算出部によって算出された該一方の非特定領域若しくは該他方の非特定領域の障害物の高さに基づいて、該特定領域の障害物の映像の大きさを調整し、前記背景高さ平均算出部によって算出された平均の高さに基づいて、該特定領域の背景の映像の大きさを調整する、
請求項５に記載の車両周辺確認システム。
【請求項７】
前記障害物高さ算出部は、前記特定領域の映像において障害物の映像を抽出し、前記一方の非特定領域と前記他方の非特定領域の映像において障害物の映像を抽出していない際に、前記特定領域における障害物の映像の高さを算出し、
前記映像調整部は、
前記背景高さ平均算出部によって算出された平均の高さが、前記背景高さ算出部によって算出された前記特定領域における背景の映像の高さよりも低い際は、該背景高さ平均算出部によって算出された平均の高さに基づいて、該特定領域の障害物の映像の大きさと、該特定領域の背景の映像の大きさを調整する、
請求項５又は６に記載の車両周辺確認システム。
【請求項８】
前記複数のカメラは、複数の映像を合成することによって３６０度の角度で車両の周辺の映像を撮像し、
前記非特定領域は、前記複数の映像が重ね合わさった重合領域であり、
前記映像調整部は、前記重合領域を基準として、前記特定領域の大きさを調整する、
請求項１から７の何れか一項に記載の車両周辺確認システム。
【請求項９】
車両に設けられた一又は複数のカメラを通して車両の周辺を映像により確認する車両周辺確認システムであって、
前記一又は複数のカメラで撮像された湾曲された複数の映像を取得する映像取得部と、
前記映像取得部によって取得された湾曲された複数の映像を、平坦な映像に補正する映像補正部と、
前記映像補正部によって補正された複数の映像に含まれる特定の像の大きさを調整する映像調整部と、
前記映像調整部によって調整された複数の映像を一つの映像に合成する映像合成部と、
前記映像合成部によって合成された映像を表示する映像表示部と、を備える、
車両周辺確認システム。
【請求項１０】
前記特定の像は、車に対する障害物の映像であり、
前記映像補正部によって補正された複数の映像の内、障害物の映像の高さを算出する障害物高さ算出部と、
前記障害物高さ算出部によって算出された障害物の映像の高さの内、複数の映像が重ね合わさる領域である各々の重合領域における障害物の映像の高さの平均を算出する第１障害物高さ平均算出部と、を更に備え、
前記映像調整部は、
前記第１障害物高さ平均算出部によって算出された障害物の映像の平均の高さに基づいて、前記重合領域の障害物の映像の大きさを調整する、
請求項９に記載の車両周辺確認システム。
【請求項１１】
前記障害物高さ算出部によって算出された障害物の映像の高さの内、複数の映像が重ね合わさらない領域である各々の非重合領域における障害物の映像の高さと、前記第１障害物高さ平均算出部によって算出された前記重合領域における障害物の映像の平均によって、障害物の映像の高さの平均を算出する第２障害物高さ平均算出部と、を更に備え、
前記映像調整部は、
前記第２障害物高さ平均算出部によって算出された障害物の映像の高さの平均に基づいて、前記非重合領域における障害物の映像の大きさを調整する、
請求項１０に記載の車両周辺確認システム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【公開番号】特開２０１１−１１４３６１（Ｐ２０１１−１１４３６１Ａ）
【公開日】平成２３年６月９日（２０１１．６．９）
【国際特許分類】
【出願番号】特願２００９−２６６０７０（Ｐ２００９−２６６０７０）
【出願日】平成２１年１１月２４日（２００９．１１．２４）
【出願人】（０００２３７５９２）富士通テン株式会社 (3,383)
【Ｆターム（参考）】
【公開日】平成２３年６月９日（２０１１．６．９）
【国際特許分類】
【出願日】平成２１年１１月２４日（２００９．１１．２４）
【出願人】（０００２３７５９２）富士通テン株式会社 (3,383)
【Ｆターム（参考）】
[ Back to top ]