画像表示システム、画像処理装置、及び、画像表示方法
【課題】車両の周辺を示す画像において、車両の周辺に存在する物体の方向や位置を気づかせることができる技術を提供する。
【解決手段】画像表示システムは、車両の互いに異なる位置に設けられ、それぞれ車両の周辺に存在する物体を検出する複数の検出手段のうち物体を検出した特定検出手段と物体とを示唆する枠の形態で表した指標を周辺画像へ重畳して表示する。このため、ユーザは物体の方向と位置とを明確に認識できる。
【解決手段】画像表示システムは、車両の互いに異なる位置に設けられ、それぞれ車両の周辺に存在する物体を検出する複数の検出手段のうち物体を検出した特定検出手段と物体とを示唆する枠の形態で表した指標を周辺画像へ重畳して表示する。このため、ユーザは物体の方向と位置とを明確に認識できる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像を表示する技術に関する。
【背景技術】
【０００２】
ユーザ（代表的にはドライバ）は、車両を駐車させる際に、駐車されている他の車両などに車両を接触させないよう細心の注意を払う必要がある。また、ユーザは、駐車させていた車両を発進させる際にも、車両の進行方向を横切る人などに車両を接触させないよう細心の注意を払う必要がある。さらに、ユーザは、狭い道路において車両を走行させる際にも、その周囲の物体に車両を接触させないよう細心の注意を払う必要がある。このように、細心の注意を払ったとしもユーザは車両をそれら物体と接触させる虞がある。そこで、車両の周辺を示す周辺画像を車両に備わるディスプレイへ表示させることで、ユーザへ車両の周辺の物体の存在に気づかせてその物体と車両との接触をしないような運転を支援する画像表示システムが提案されている（例えば、特許文献１参照。）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００２−１９４９２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ところで、ディスプレイにおいて車両の周辺を示す画像が表示されたとしても、ユーザは車両の周辺に存在する物体の方向や位置を気づくことができないために、その物体に車両を接触させる虞がある。
【０００５】
本発明は、上記課題に鑑みてなされたものであり、車両の周辺を示す画像において、車両の周辺に存在する物体の方向や位置を気づかせることができる技術を提供することを目的とする。
【課題を解決するための手段】
【０００６】
上記課題を解決するため、請求項１の発明は、画像を表示する画像表示システムであって、車両の周辺を示す周辺画像を取得する取得手段と、前記車両の互いに異なる位置に設けられ、それぞれ前記車両の周辺に存在する物体を検出する複数の検出手段と、前記複数の検出手段のうち前記物体を検出した特定検出手段と前記物体とを示唆する枠の形態で表した指標を前記周辺画像へ重畳する重畳手段と、前記指標が重畳された前記周辺画像を表示する表示手段と、を備えることを特徴とする。
【０００７】
また、請求項２の発明は、請求項１に記載の画像表示システムにおいて、前記重畳手段は、前記特定検出手段が複数ある場合は、該複数の特定検出手段と前記物体とを示唆する一の枠の形態で表した指標を前記周辺画像へ重畳することを特徴とする。
【０００８】
また、請求項３の発明は、請求項１又は２に記載の画像表示システムにおいて、前記検出手段は、該検出手段と前記物体との距離を検出するものであり、前記重畳手段は、前記距離に応じて前記指標の大きさを変更することを特徴とする。
【０００９】
また、請求項４の発明は、画像を処理する画像処理装置であって、車両の周辺を示す周辺画像を取得する取得手段と、前記車両の互いに異なる位置に設けられそれぞれ前記車両の周辺に存在する物体を検出する複数の検出手段のうち、前記物体を検出した特定検出手段を特定する特定手段と、前記特定検出手段と前記物体とを示唆する枠の形態で表した指標を前記周辺画像へ重畳する重畳手段と、前記指標が重畳された前記画像を表示装置へ出力する出力手段と、を備えることを特徴とする。
【００１０】
また、請求項５の発明は、画像を表示する画像表示方法であって、車両の周辺を示す周辺画像を取得する工程と、前記車両の互いに異なる位置に設けられ、それぞれ前記車両の周辺に存在する物体を検出する複数の検出手段によって前記車両の周辺に存在する物体を検出する工程と、前記複数の検出手段のうち前記物体を検出した特定検出手段と前記物体とを示唆する枠の形態で表した指標を前記周辺画像へ重畳する工程と、前記指標が重畳された前記周辺画像を表示する工程と、を備えることを特徴とする。
【００１１】
また、請求項６の発明は、画像を表示する画像表示システムであって、車両の周辺を示す周辺画像を取得する取得手段と、前記車両の周辺に存在する物体を検出する検出手段と、前記物体を検出した検出手段と前記物体とを示唆する枠の形態で表した指標を前記周辺画像へ重畳する重畳手段と、前記指標が重畳された前記周辺画像を表示する表示手段と、を備えることを特徴とする。
【発明の効果】
【００１２】
請求項１、４及び５の発明によれば、車両の互いに異なる位置に設けられ、それぞれ車両の周辺に存在する物体を検出する複数の検出手段のうち物体を検出した特定検出手段と物体とを示唆する枠の形態で表した指標が、周辺画像へ重畳されて表示されるため、ユーザは物体の方向と位置とを明確に認識できる。
【００１３】
また、請求項２の発明によれば、特定検出手段が複数ある場合は、該複数の特定検出手段と物体とを示唆する一の枠の形態で表した指標が周辺画像へ重畳されて表示されるため、ユーザは物体の方向と位置とを明確に認識できる。
【００１４】
また、請求項３の発明によれば、表示される指標の大きさが物体と検出手段との間の距離に応じて変更されるため、ユーザは物体と検出手段を備える車両との間の距離を感覚的に認識できる。
【００１５】
請求項６の発明によれば、車両の周辺に存在する物体を検出した検出手段と物体とを示唆する枠の形態で表した指標が、周辺画像へ重畳されて表示されるため、ユーザは物体の方向と位置とを明確に認識できる。
【図面の簡単な説明】
【００１６】
【図１】図１は、第１の実施の形態の画像表示システムの構成を示す図である。
【図２】図２は、第１の実施の形態の、車両におけるカメラ及びソナーの取り付け位置を説明する図である。
【図３】図３は、第１の実施の形態のカメラの撮影範囲及びソナーの物体を検出する検出範囲を示す図である。
【図４】図４は、第１の実施の形態の複数のカメラそれぞれが撮影した画像の一例を示す図である。
【図５】図５は、第１の実施の形態の複数のカメラが撮影した車両の周辺を撮影した画像を合成する画像合成処理を説明する図である。
【図６】図６は、第１の実施の形態の上方から俯瞰した車両の一例を示す図である。
【図７】図７は、第１の実施の形態のマップデータを示す図である。
【図８】図８は、第１の実施の形態のマップデータを示す図である。
【図９】図９は、第１の実施の形態の指標を画像へ重畳する方法を説明する図である。
【図１０】図１０は、第１の実施の形態の指標を重畳した画像の一例を示す図である。
【図１１】図１１は、第１の実施の形態の画像表示システムにおける処理の流れを示す図である。
【図１２】図１２は、第２の実施の形態の上方から俯瞰した車両の一例を示す図である。
【図１３】図１３は、第２の実施の形態のマップデータを示す図である。
【図１４】図１４は、第２の実施の形態のマップデータを示す図である。
【図１５】図１５は、第２の実施の形態の指標を画像へ重畳する方法を説明する図である。
【図１６】図１６は、第２の実施の形態の画像表示システムにおける処理の流れを示す図である。
【図１７】図１７は、第２の実施の形態のリヤカメラが撮影した車両の後方周辺を示す画像の一例を示す図である。
【図１８】図１８は、第３の実施の形態の駐車制御システムの構成を示す図である。
【図１９】現在の図１９は、操舵角で車両が走行した場合に予測される車両の走行軌跡の導出を説明する図である。
【図２０】図２０は、第３の実施の形態の左後輪ライン及び右後輪ラインに基づいたハシゴ型のラインの導出を説明する図である。
【図２１】図２１は、第３の実施の形態の走行軌跡を表すラインを車両の周辺を示す画像への重畳を説明する図である。
【図２２】図２２は、第３の実施の形態の画像表示システムにおける処理の流れを示す図である。
【図２３】図２３は、第３の実施の形態のリヤカメラが撮影した車両の後方周辺を示す画像の一例を示す図である。
【発明を実施するための形態】
【００１７】
以下、図面を参照しつつ本発明の実施の形態について説明する。
【００１８】
＜１．第１の実施の形態＞
図１は、第１の実施の形態の画像表示システムＳｙの構成を示す図である。この画像表示システムＳｙは、車両の周辺に存在する物体の位置と方向とを示す指標を車両の周辺を示す画像へ重畳して表示することが可能である。
【００１９】
＜１−１．構成＞
画像表示システムＳｙは、フロントカメラ１１、左サイドカメラ１２、右サイドカメラ１３、リヤカメラ１４（以下、カメラ１１〜１４という）、車速センサ１５、シフトポジションセンサ１６、画像処理装置１、物体検出装置２０、及び、表示装置１７を備える。
【００２０】
画像処理装置１は、カメラ１１〜１４、車速センサ１５、シフトポジションセンサ１６、表示装置１７、及び、物体検出装置２０とケーブルによって電気的に接続される。また、物体検出装置２０は、第１ソナー２１、第２ソナー２２、第３ソナー２３、第４ソナー２４、第５ソナー２５、第６ソナー２６（以下、ソナー２１〜２６という）、及び、画像処理装置１とケーブルによって電気的に接続される。
【００２１】
図２は、車両Ｃｒにおけるカメラ１１〜１４及びソナー２１〜２６の取り付け位置を説明する図である。
【００２２】
図２に示すように、フロントカメラ１１は、車両Ｃｒの前端の左右中央の近傍に設けられ、その光軸は車両Ｃｒの前後方向に略沿うとともに、直進方向へ向けられている。左サイドカメラ１２は、左サイドミラーに設けられており、その光軸は車両Ｃｒの左右方向に略沿うとともに、直進方向を基準にした左側方へ向けられている。右サイドカメラ１３は、右サイドミラーに設けられており、その光軸は車両Ｃｒの左右方向に略沿うとともに、直進方向を基準にした右側方へ向けられている。リヤカメラ１４は、車両Ｃｒの後端にあの左右中央の近傍に設けられ、その光軸は車両Ｃｒの前後方向に略沿うとともに、直進方向の逆方向へ向けられている。なお、フロントカメラ１１やリヤカメラ１４の取り付け位置は、左右略中央であることが望ましいが、左右中央から左右方向に多少ずれた位置であってもよい。
【００２３】
カメラ１１〜１４はそれぞれ魚眼レンズを備えている。魚眼レンズを備えたカメラ１１〜１４の画角θは１８０度以上である。図３に示すように、カメラ１１〜１４の撮影範囲Ｓｒ１〜Ｓｒ４は車両Ｃｒの周囲をカバーしている。このような、カメラ１１〜１４を利用することで、車両Ｃｒの全周囲の撮影が可能となっている。
【００２４】
また、図２に示すようにソナー２１〜２６は車両Ｃｒの互いに異なる位置に設けられている。第１ソナー２１は車両Ｃｒの前左角の近傍に設けられ、その超音波の出力方向は車両Ｃｒの前左角外側へ向けられている。第２ソナー２２は車両Ｃｒのフロントカメラ１１の近傍に設けられ、その超音波の出力方向は車両Ｃｒの前端左右中央の外側へ向けられている。第３ソナー２３は車両Ｃｒの前右角の近傍に設けられ、その超音波の出力方向は車両Ｃｒの前右角外側へ向けられている。第４ソナー２４は車両Ｃｒの後ろ左角の近傍に設けられ、その超音波の出力方向は車両Ｃｒの後ろ左角外側へ向けられている。第５ソナー２５は車両Ｃｒのリヤカメラ１４の近傍に設けられ、その超音波の出力方向は車両Ｃｒの後端左右中央の外側へ向けられている。第６ソナー２６は車両Ｃｒの後ろ右角の近傍に設けられ、その超音波の出力方向は車両Ｃｒの後ろ右角外側へ向けられている。
【００２５】
ソナー２１〜２６は、それぞれのソナーが出力して何らかの物体に当たって反射した超音波を入力し、その超音波に関する信号を物体検出装置２０へ出力する。図３に示すように、第１ソナー２１、第２ソナー２２及び第３ソナー２３によって物体を検出するときの検出範囲Ｄｒ１、Ｄｒ２及びＤｒ３は、車両Ｃｒの前方周辺をカバーしている。一方、図３に示すように、第４ソナー２４、第５ソナー２５、及び第６ソナー２６によって物体を検出するときの検出範囲Ｄｒ４、Ｄｒ５及びＤｒ６は、車両Ｃｒの後方周辺をカバーしている。このような、ソナー２１〜２６を利用することで、少なくとも車両Ｃｒの前進方向及び後進方向に存在する物体が検出される。
【００２６】
図１に戻り、車速センサ１５は、車両Ｃｒの速度を検出するセンサであり、その速度に関する信号を画像処理装置１へ出力する。
【００２７】
シフトポジションセンサ１６は、車両Ｃｒのシフトポジションを検出するセンサであり、そのシフトポジションに関する信号を画像処理装置１へ出力する。
【００２８】
物体検出装置２０は、ソナー２１〜２６の何れかから超音波に関する信号を入力し、入力したその信号に基づいてソナー２１〜２６のうち何れのソナーで物体を検出したかを判断するとともに、物体を検出したソナーとその物体との距離を判断する。さらに、物体検出装置２０は、その判断において物体を検出したソナーを示す信号と物体を検出したソナーとその物体との距離とを示す信号を画像処理装置１へ出力する。
【００２９】
画像処理装置１は、取得部２、画像生成部３、制御部４、不揮発性記憶部５、及び、出力部６を備える。取得部２は、例えば、外部機器とのインターフェースであり、カメラ１１〜１４が撮影した画像などを取得する。出力部６は、例えば、外部機器とのインターフェースであり、表示すべき画像などを表示装置１７などの外部へ出力する。
【００３０】
画像生成部３は、例えば、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）などのハードウェア回路であり、画像処理を行う機能を備えている。画像生成部３は、その機能の一部として合成画像生成部７と指標重畳部８とを備える。合成画像生成部７は、カメラ１１〜１４が撮影した車両Ｃｒの周辺を示す画像それぞれを合成した合成画像を生成する。カメラ１１〜１４が撮影した画像及びその画像を合成した合成画像のいずれも車両Ｃｒの周辺を示す周辺画像といえる。指標重畳部８は、ソナー２１〜２６のうち車両Ｃｒの周辺に存在する物体を検出したソナーと物体とを示唆する枠の形態で表した指標を合成画像へ重畳する。
【００３１】
この枠は、扇形で内部が透明になっており、扇形の中心角の近傍が矩形になっている。この扇形の矩形部分が周辺画像における物体を検出したソナー近傍に位置し、扇形の弧の部分が周辺画像における車両のＣｒの外側へ向くとともに、少なくとも扇形の内部に周辺画像における物体の一部が位置するようにして、指標が周辺画像へ重畳される。このような重畳がされることで、枠の形態で表した指標は、周辺画像において物体を検出したソナーと物体とを示唆できる。つまり、ユーザは周辺画像において物体の位置と方向とを認識できる。この指標が示す範囲は、物体を検出したソナーの検出範囲におよそ対応する。
【００３２】
制御部４は、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、及び、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）などを備えるマイクロコンピュータである。このＣＰＵは、ＲＯＭに記憶された種々のプログラムに従って演算処理を行うことで種々の機能を実現させる。
【００３３】
制御部４は、演算処理によって実現される機能の一部として、指標選択部９と特定部１０とを備える。指標選択部９は、ソナー２１〜２６のうち物体を検出したソナーに応じた指標を不揮発性記憶部５に記憶されている種々の指標の中から選択する。特定部１０は、物体検出装置２０から取得部２を介して取得したソナーを示す信号及び距離を示す信号に基づいて、ソナー２１〜２６のうち何れのソナーで物体を検出したかを特定するとともに、物体を検出したソナーと物体との距離を特定する。
【００３４】
不揮発性記憶部５は、例えば、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ-Ｏｎｌｙ Ｍｅｍｏｒｙ）などである。この不揮発性記憶部５は、例えば、指標選択部９が選択する種々の指標を記憶している。
【００３５】
表示装置１７は、その一部の機能としてディスプレイ１８を備える。ディスプレイ１８は、例えば、タッチパネルディスプレイであり、種々の画像を表示する機能と、ユーザの操作を受け付ける機能とを備える。このユーザの操作の内容を示す信号は、取得部２を介して制御部４に入力される。これにより、画像処理装置１は、ユーザの指示に応じた処理を行うことが可能である。
【００３６】
＜１−２．画像合成処理＞
次に、画像表示システムＳｙによる画像合成処理について説明する。この画像合成処理は、車両Ｃｒの車速が所定速度（例えば、１２ｋｍ／ｈ）以下の場合、或いは、シフトポジションが”Ｒ”の場合に実行される。具体的には、車速センサ１５から車速に関する信号を取得して、取得したその信号に基づいて車速が所定速度以下であると判断する場合に、合成画像生成部７が画像合成処理を実行する。また、シフトポジションセンサ１６からシフトポジションに関する信号を取得して、取得したその信号に基づいてシフトポジションが”Ｒ”であると判断する場合に、合成画像生成部７が画像合成処理を実行する。つまり、画像表示システムＳｙは、このような場合に車両Ｃｒの周辺を監視する監視モードとなり、画像合成処理などを実行することで車両Ｃｒの周辺を示す合成画像をディスプレイ１８へ表示させている。
【００３７】
図５は、カメラ１１〜１４が撮影した車両Ｃｒの周辺を撮影した画像を合成する画像合成処理を説明する図である。まず、画像処理装置１が備える取得部２は、カメラ１１〜１４が撮影した、図４に示すような、画像Ｉｇ１〜Ｉｇ４をカメラ１１〜１４より取得する。取得部２は、取得した画像Ｉｇ１〜Ｉｇ４を画像生成部３へ出力する。
【００３８】
画像生成部３は、入力した画像Ｉｇ１〜Ｉｇ４を図示しない揮発性記憶部へ記憶する。
【００３９】
合成画像生成部７は、その揮発性記憶部に記憶された、画像Ｉｇ１〜Ｉｇ４を、図５に示すような、仮想的な三次元空間における立体曲面Ｐに投影する。
【００４０】
次に、視点位置が車両Ｃｒの位置の略中央の直上で、視野方向が直下方向とした仮想視点ＡＧＬを設定し、仮想視点ＡＧＬにあわせて立体曲面Ｐの一部を画像として切り出す。これにより、車両Ｃｒの略直上から車両Ｃｒを見下ろすように、車両Ｃｒ及び車両Ｃｒの周辺の領域を示す合成画像Ｉｇ５が生成される。
【００４１】
画像処理装置１では、このような合成画像生成部７の機能を利用することで、車両Ｃｒの周辺の任意の視点からみた合成画像を生成して、表示装置１７へ生成した合成画像を表示させることができる。これにより、合成画像生成部７は車両Ｃｒを仮想的に俯瞰した合成画像を生成する。
【００４２】
そして、生成された合成の画像Ｉｇ５は後にディスプレイ１８へ表示する際のサイズの画像Ｉｇ６が切り出される。
【００４３】
＜１−３．指標重畳処理＞
次に、指標重畳処理について説明する。この指標重畳処理は、前述した周辺監視モードの場合で、ソナー２１〜２６のうちの何れかのソナーで物体が検出されたときに画像表示システムＳｙによって実行される。
【００４４】
図６は、上方から車両Ｃｒを俯瞰した図である。この図には、車両Ｃｒの左後方に物体Ｏｊが存在している。このように物体Ｏｊが車両Ｃｒの左後方に存在する場合は、物体検出装置２０が第４ソナー２４から取得する超音波に関する信号に基づいて物体Ｏｊを検出して、第４ソナー２４を示す信号及び物体と第４ソナー２４との距離（１．５ｍ）を示す信号を特定部１０へ出力する。
【００４５】
特定部１０は、取得したそれら信号に基づいて第４ソナー２４が物体Ｏｊを検出したことを特定するとともに、特定した第４ソナー２４ーと物体との距離を特定する。以下、特定したソナーを特定ソナーといい、特定したその距離を特定距離という。そして、指標選択部９は特定ソナー及び特定距離をもとに不揮発性記憶部５に記憶されている図７及び図８に示すマップデータを参照して適切な指標を選択する。
【００４６】
具体的には、特定ソナーである第４ソナー２４及び特定距離である１．５ｍをもとに図７に示すマップデータを参照すると指標コードＡ６が抽出されて、この指標コードＡ６をもとに図８に示すマップデータを参照すると、Ａ列・６行目の枠の形態が選択される。
【００４７】
この図７に示すマップデータは、特定ソナーや特定距離に応じた指標コードが選ばれるように構成されている。この指標コードによって選ばれる図８に示すマップデータについても、結果的に特定ソナーや特定距離に応じた枠の形態が選ばれるように構成されている。つまり、図７及び図８に示すマップデータは、特定ソナーの搭載位置に応じた枠の形態が選択されるように構成されているとともに、特定距離に応じた大きさの枠の形態が選択されるように構成されている。
【００４８】
そして、このように選択された指標Ｉｄの信号は、指標選択部９によって指標重畳部８へ出力される。指標重畳部８は入力した信号が示す指標Ｉｄを合成画像へ重畳する。
【００４９】
図９は、合成画像Ｉｇ６へ指標Ｉｄを重畳する方法を説明する図である。つまり、指標Ｉｄの矩形の部分Ｅｄ１(図９の左上に示す)と合成画像Ｉｇ６中の車両Ｃｒの像の後ろ左角Ｃｎｒ近傍の位置（図９の上中央に示す）とが重なるように、かつ、少なくとも物体の一部が枠の形態で表した指標Ｉｄの内部に位置するように、かつ、指標Ｉｄの扇形の弧の部分が車両Ｃｒの外側を向くように、指標Ｉｄが合成画像Ｉｇ６（図９の右上に示す）に重畳される。そして、この重畳された合成画像Ｉｇ６とリヤカメラ１４が撮影した画像Ｉｇ７とをセットにしたセット画像がディスプレイ１８に表示される（図９の下に示す）。つまり、このセット画像が指標重畳部８によって出力部６へ出力されて、さらに出力部６によって表示装置１７へ出力される。そして、そのセット画像が表示装置１７に備わるディスプレイ１８において表示される。
【００５０】
このような指標重畳処理が実行されることで、例えば、図１０に示すように、第４ソナー２４が車両Ｃｒの後ろ左角外側の比較的遠い位置（例えば、１．５ｍ）に存在する物体Ｏｊを検出した場合（図１０の左上に示す）は、その物体Ｏｊを含む比較的大きい指標（図１０の右上に示す）が表示される。また、第４ソナー２４が車両Ｃｒの後ろ左角外側の比較的近い位置（例えば、１．０ｍ）に存在する物体Ｏｊを検出した場合（図１０の左中に示す）は、その物体Ｏｊを含む比較的小さい指標（図１０の右中に示す）が表示される。また、第４ソナー２４が車両Ｃｒの後ろ左角外側の直近の位置（例えば、０．５ｍ）に存在する物体Ｏｊを検出した場合（図１０の左下に示す）は、その物体Ｏｊを含む極めて小さい指標（図１０の右下に示す）が表示される。
【００５１】
このため、ディスプレイ１８の車両Ｃｒを俯瞰した画像Ｉｇ７において、ソナー２１〜２６のうち物体を検出した特定ソナーと物体とを示唆する枠の形態で表した指標Ｉｄの中に物体Ｏｊが明確に表示される。つまり、中の部分が透明の枠の形態で表した指標Ｉｄが物体Ｏｊを囲むように表示されることで、指標Ｉｄと物体Ｏｊとが重ならずに表示され、ユーザはディスプレイ１８の車両Ｃｒを俯瞰した画像Ｉｇ７において物体Ｏｊを明確に認識できるとともに、物体Ｏｊの位置と方向とを明確に認識できる。
【００５２】
また、指標Ｉｄの大きさが特定距離に応じて変更されるため、ユーザはディスプレイ１８の車両Ｃｒを俯瞰した画像Ｉｇ７において、物体と検出手段を備える車両との間の距離を感覚的に認識できる。
【００５３】
＜１−４．制御フロー＞
図１１は、画像表示システムＳｙにおける処理の流れを示す図である。この図１１に示す処理は、周辺監視モードの場合に所定の周期（例えば、１／３０秒周期）で繰り返される。
【００５４】
まず、取得部２がカメラ１１〜１４により撮影された画像を取得する（ステップＳＡ１）。この画像には、車両Ｃｒの周辺が示されている。
【００５５】
次に、合成画像生成部７は、取得された車両Ｃｒの周辺を示す複数の画像に基づいて、前述した合成画像生成処理を実行する（ステップＳＡ２）。この処理により、車両Ｃｒを上方より俯瞰した合成画像が得られる。
【００５６】
次に、ソナー２１〜２６それぞれが超音波を出力させて、種々の物体に当たって反射した超音波を入力し、物体検出装置２０へ入力した超音波に関する信号を出力する。そして、物体検出装置２０が入力した超音波に関する信号に基づいてソナー２１〜２６のうち何れかで物体Ｏｊを検出したか否かを判断する（ステップＳＡ３）。
【００５７】
ソナー２１〜２６のうち何れかで物体を検出した（ステップＳＡ３においてＹＥＳ）場合は、特定部１０が何れのソナーで物体を検出したかを特定する（ステップＳＡ４）。つまり、物体検出装置２０は物体を検出したソナーを示す信号及び物体を検出したソナーとその物体との距離を示す信号を特定部１０へ出力する。特定部１０は入力したそれら信号に基づいて物体を検出したソナーを特定するとともに、物体を検出したソナーとその物体との距離を特定する。そして、特定部１０は特定ソナーを示す信号及び特定距離を示す信号を指標選択部９へ出力する。
【００５８】
次に、指標選択部９が入力した特定ソナーを示す信号及び特定距離を示す信号に基づいて指標Ｉｄを選択する（ステップＳＡ５）。つまり、指標選択部９は、入力された特定ソナーを示す信号及び特定距離を示す信号をもとに不揮発性記憶部５に記憶されているマップデータを参照して適切な指標Ｉｄを選択する。これにより、特定ソナーの搭載位置に応じた指標Ｉｄが選択され、特定距離に応じた大きさの指標Ｉｄが選択される。この指標Ｉｄを示す信号を、指標選択部９が指標重畳部８へ出力する。
【００５９】
次に、指標重畳部８が入力したその信号に示される指標Ｉｄを、合成画像生成部７から入力した合成画像の適切な位置へ重畳する（ステップＳＡ６）。そして、指標重畳部８は、この重畳された合成画像とリヤカメラ１４が撮影した画像とをセットにしたセット画像を出力部６へ画像を出力し、出力部６は表示装置１７へ出力する。
【００６０】
次に、表示装置１７が入力したセット画像をディスプレイ１８へ表示させる（ステップＳＡ７）。これにより、指標Ｉｄが重畳された車両Ｃｒの周辺を示す画像がディスプレイ１８に表示される。
【００６１】
一方、ソナー２１〜２６のうち何れのソナーも物体Ｏｊを検出しない（ステップＳＡ３においてＮＯ）場合は、出力部６が指標Ｉｄを重畳しない合成画像とリヤカメラ１４が撮影した画像とをセットにしたセット画像を表示装置１７へ出力する。そして、表示装置１７が入力したセット画像をディスプレイ１８へ表示させる（ステップＳＡ８）。
【００６２】
このように、本実施の形態の画像表示システムＳｙにおいては、ディスプレイ１８の車両Ｃｒを俯瞰した画像Ｉｇ７に、ソナー２１〜２６のうち物体を検出した特定ソナーの近傍に表示された枠の形態で表した指標Ｉｄの中に物体Ｏｊが明確に表示される。つまり、特定ソナーの近傍に表示された枠の形態で表した指標Ｉｄが物体Ｏｊを囲むように表示されることで、枠の形態で表した指標Ｉｄの内部に物体Ｏｊが明確に表示され、ユーザはディスプレイ１８の車両Ｃｒを俯瞰した画像Ｉｇ７において物体Ｏｊを明確に認識できるとともに、物体Ｏｊの位置と方向とを明確に認識できる。結果、ユーザに車両Ｃｒの周辺の物体の存在を気づかせることができ、車両をその物体に接触させないような運転を支援することができる。
【００６３】
また、ディスプレイ１８に表示される画像に重畳される指標Ｉｄの大きさが特定距離に応じて変更されるため、このディスプレイ１８を見たユーザは物体Ｏｊとソナーを備える車両との間の距離を感覚的に認識できる。
【００６４】
＜２．第２の実施の形態＞
次に、第２の実施の形態について説明する。第１の実施の形態の画像表示システムＳｙでは、ソナー２１〜２６のうち一のソナーで物体を検出した場合に、一のソナーと物体とを示唆する枠の形態で表した指標を表示していた。これに対して、第２の実施の形態の画像表示システムＳｙでは、複数のソナーで物体を検出した場合に、それら複数のソナーと物体とを示唆する一の枠の形態で表した指標を表示している。
【００６５】
第２の実施の形態の画像表示システムＳｙの構成及び処理は第２の実施の形態と略同様であるため、以下、第２の実施の形態との相違点を中心に説明する。
【００６６】
＜２−１．指標重畳処理＞
まず、指標重畳処理について説明する。この指標重畳処理は、前述した周辺監視モードの場合で、ソナー２１〜２６のうちの何れかのソナーで物体Ｏｊが検出されたときに画像表示システムＳｙによって実行される。
【００６７】
図１２は、上方から車両Ｃｒを俯瞰した図である。この図には、車両Ｃｒの左後方で比較的中央よりに物体Ｏｊが存在している。このように物体Ｏｊが車両Ｃｒの左後方で比較的中央に存在する場合には、画像表示システムＳｙは物体Ｏｊを第４ソナー２４及び第５ソナー２５の双方で検出することができる。つまり、物体検出装置２０が第４ソナー２４から取得する超音波に関する信号に基づいて物体Ｏｊを検出し、第４ソナー２４を示す信号及び物体Ｏｊと第４ソナー２４との距離（１．５ｍ）を示す信号を特定部１０へ出力する。さらに、物体検出装置２０が第５ソナー２５から取得する超音波に関する信号に基づいて物体Ｏｊを検出し、第５ソナー２５を示す信号及び物体Ｏｊと第５ソナー２５との距離（１．５ｍ）を示す信号を特定部１０へ出力する。
【００６８】
特定部１０は、取得したそれら信号に基づいて第４ソナー２４及び第５ソナー２５の双方が物体Ｏｊを検出したことを特定するとともに、それら特定ソナーと物体Ｏｊとの距離を特定する。そして、指標選択部９はそれら特定ソナー及びそれら特定距離をもとに不揮発性記憶部５に記憶されている図１３及び図１４に示すマップデータを参照して適切な特殊指標を選択する。
【００６９】
つまり、特定ソナーである第４ソナー２４、第５ソナー２５及び特定距離である１．５ｍをもとに図１３に示すマップデータを参照すると特殊指標コードＡＢ６が抽出されて、この特殊指標コードＡＢ６をもとに図１４に示すマップデータを参照すると、ＡＢ列・６行目の枠の形態が選択される。
【００７０】
この図１３に示すマップデータは、特定ソナーや特定距離に応じた特殊指標コードが選ばれるように構成されている。この特殊指標コードによって選ばれる図１４に示すマップデータについても、結果的に特定ソナーや特定距離に応じた枠の形態が選ばれるように構成されている。つまり、図１３及び図１４に示すマップデータは、特定ソナーの搭載位置に応じた枠の形態が選択されるように構成されているとともに、特定距離に応じた大きさの枠の形態が選択されるように構成されている。さらに、図１３及び図１４に示すマップデータは、特定ソナーが複数ある場合は、この複数の特定ソナーと物体とを示唆する一の枠の形態で表した指標が選択される。この指標が示す範囲は、複数の特定ソナーのすべての検出範囲を合併した全体領域におよそ相当する。このように選択された特殊指標Ｉｄを示す信号は、指標選択部９によって指標重畳部８へ出力される。指標重畳部８は入力した信号が示す特殊指標Ｉｄを合成画像へ重畳する。
【００７１】
図１５は、合成画像Ｉｇ８へ特殊指標Ｉｄを重畳する方法を説明する図である。つまり、特殊指標Ｉｄの矩形の部分Ｅｄ２(図１５の左上に示す)と合成画像Ｉｇ８中の車両Ｃｒの像の後ろ左角Ｃｎｒ近傍の位置及び後ろ端部中央Ｃｔｒの位置（図１５の上中央に示す）とが重なるようにし、かつ、少なくとも物体の一部が枠の形態で表した特殊指標Ｉｄの内部に位置するように、かつ、画像Ｉｇ８中の第４ソナー２４及び第５ソナー２５と物体とを示唆する一の特殊指標Ｉｄの扇形状を成す部分とが一致するようにすることで、特殊指標Ｉｄが画像Ｉｇ８（図１５の右上に示す）に重畳される。そして、この重畳された画像Ｉｇ８がリヤカメラ１４で撮影した画像Ｉｇ９とセットにしたセット画像がディスプレイ１８に表示される（図１５の下に示す）。つまり、このセット画像が指標重畳部８によって出力部６へ出力されて、さらに出力部６によって表示装置１７へ出力される。そして、そのセット画像が表示装置１７に備わるディスプレイ１８において表示される。
【００７２】
もし、物体Ｏｊを検出した複数の特定ソナーと物体とを示唆する指標Ｉｄのそれぞれを画像へ重畳すると、それぞれの指標Ｉｄが互いに重複する部分が発生してしまい、さらにその重複する部分に物体Ｏｊが存在してしまう虞がある。結果、ユーザはディスプレイ１８の画像において、その重複する部分が邪魔になって物体Ｏｊの位置と方向とを見失う虞がある。しかしながら、第２の実施の形態で説明したように、特殊指標Ｉｄが物体Ｏｊを検出した複数の特定ソナーと物体とを示唆する一の特殊指標Ｉｄを画像Ｉｇ７へ重畳することで一の特殊指標Ｉｄの中に物体Ｏｊが明確に表示される。結果、ユーザはディスプレイ１８の画像において、物体Ｏｊの位置と方向とを明確に認識できる。
【００７３】
＜２−３．制御フロー＞
図１６は、画像表示システムＳｙにおける処理の流れを示す図である。この図１６に示す処理は、周辺監視モードの場合に所定の周期（例えば、１／３０秒周期）で繰り返される。
【００７４】
まず、取得部２がカメラ１１〜１４により撮影された画像を取得する（ステップＳＢ１）。この画像には、車両Ｃｒの周辺が示されている。
【００７５】
次に、合成画像生成部７は、取得された車両Ｃｒの周辺を示す複数の画像に基づいて、前述した合成画像生成処理を実行する（ステップＳＢ２）。この処理により、車両Ｃｒを上方より俯瞰した画像が得られる。
【００７６】
次に、ソナー２１〜２６が超音波を出力させて、種々の物体に当たって反射した超音波を入力し、この超音波に関する信号を物体検出装置２０へ出力する。そして、物体検出装置２０が入力した超音波に関する信号に基づいてソナー２１〜２６のうち何れかで物体Ｏｊを検出したか否かを判断する（ステップＳＢ３）。
【００７７】
ソナー２１〜２６のうち何れかで物体Ｏｊを検出した（ステップＳＢ３においてＹＥＳ）場合は、特定部１０が何れのソナーで物体Ｏｊを検出したかを特定する（ステップＳＢ４）。つまり、物体検出装置２０は物体Ｏｊを検出したソナーを示す信号及び物体Ｏｊを検出したソナーとその物体Ｏｊとの距離を示す信号を特定部１０へ出力する。特定部１０は入力したそれら信号に基づいて物体Ｏｊを検出したソナーを特定するとともに、物体Ｏｊを検出したソナーとその物体Ｏｊとの距離を特定する。そして、特定部１０は特定ソナーを示す信号及び特定距離を示す信号を指標選択部９へ出力する。
【００７８】
次に、入力したそれら信号に基づいて特定ソナーが複数ある（ステップＳＢ５においてＹＥＳ）と判断する場合は、指標選択部９が入力したそれら信号に基づいて特殊指標Ｉｄを選択する（ステップＳＢ６）。つまり、指標選択部９は、入力された複数の特定ソナーを示す信号及び複数の特定距離を示す信号をもとに不揮発性記憶部５に記憶されている図１３及び図１４に示すマップデータを参照して適切な特殊指標Ｉｄを選択する。これにより、複数の特定ソナーの搭載位置に応じた特殊指標Ｉｄが選択され、複数の特定ソナーと物体とを示唆する一の特殊指標Ｉｄが選択され、特定距離に応じた大きさの特殊指標Ｉｄが選択される。指標選択部９は、特殊指標Ｉｄを示す信号を指標重畳部８へ出力する。
【００７９】
次に、指標重畳部８が入力したその信号に示される特殊指標Ｉｄを、合成画像生成部７から入力した合成画像の適切な位置へ重畳する（ステップＳＢ７）。そして、指標重畳部８は、この重畳された合成画像とともにリヤカメラ１４が撮影した画像とセットにしたセット画像を出力部６へ画像を出力し、出力部６は表示装置１７へ出力する。
【００８０】
次に、表示装置１７が入力したセット画像をディスプレイ１８へ表示させる（ステップＳＢ８）。これにより、特殊指標Ｉｄが重畳された車両Ｃｒの周辺を示す画像がディスプレイ１８に表示される。
【００８１】
一方、ソナー２１〜２６のうち何れのソナーも物体Ｏｊを検出しない（ステップＳＢ３においてＮＯ）場合は、出力部６が特殊指標Ｉｄを重畳しない合成画像とともにリヤカメラ１４で撮影した画像とセットにしたセット画像を表示装置１７へ出力する。そして、表示装置１７が入力したセット画像をディスプレイ１８へ表示させる（ステップＳＢ１０）
また、入力したそれら信号に基づいて特定ソナーの数が単数である（ステップＳＢ５においてＮＯ）と判断する場合は、指標選択部９が入力した信号に基づいて指標Ｉｄを選択する（ステップＳＢ９）。つまり、指標選択部９は、入力された一の特定ソナーを示す信号及び特定距離を示す信号をもとに不揮発性記憶部５に記憶されている図７及び図８に示すマップデータを参照して適切な指標Ｉｄを選択する。これにより、特定ソナーの搭載位置に応じた指標Ｉｄが選択され、特定距離に応じた大きさの指標Ｉｄが選択される。この選択した指標Ｉｄを示す信号を指標選択部９が指標重畳部８へ出力する。
【００８２】
このように、隣接する複数のソナーで物体Ｏｊが検出された場合は、特殊指標Ｉｄが物体Ｏｊを検出した複数の特定ソナーと物体とを示唆するとともに中の部分が透明の一の枠で表されるため、一の特殊指標Ｉｄの中に物体Ｏｊが明確に表示される。結果、ユーザはディスプレイ１８の画像において、物体Ｏｊの位置と方向とを明確に認識できる。
【００８３】
なお、上記第１及び第２の実施の形態では、カメラ１１〜１４が撮影した車両Ｃｒの周辺を示す画像それぞれを合成することで、車両Ｃｒを上方から俯瞰した合成画像を生成し、この合成画像に指標Ｉｄを重畳すると説明した。これに対して、そのような合成画像ではなくカメラ１１〜１４それぞれが撮影した車両Ｃｒの周辺を示す画像それぞれに指標Ｉｄを重畳するようにしても良い。
【００８４】
例えば、図１７に示すように、リヤカメラ１４が撮影した車両Ｃｒの後方周辺を示す画像に指標Ｉｄを重畳しても良い。この場合においても、物体Ｏｊを検出した特定ソナーの搭載位置に応じて指標Ｉｄの形態が変更されるとともに、特定距離に応じて指標Ｉｄの大きさが変更される。
【００８５】
＜３．第３の実施の形態＞
次に、第３の実施の形態について説明する。第１の実施の形態及び第２の実施の形態においては、画像表示システムＳｙが、物体Ｏｊを検出したソナーと物体とを示唆する枠の形態で表した指標Ｉｄを画像とともに表示することで、ユーザに対して車両Ｃｒの周辺の物体Ｏｊの位置と方向とを気づかせて車両をその物体Ｏｊに接触させないような運転を支援すると説明した。
【００８６】
これに対して、第３の実施の形態では、画像表示システムＳｙが、現在の操舵角に基づいて導出される走行軌跡のラインを表示する。このラインの長さを、操舵角が最大の場合に進行方向側の端部から走行軌跡の延伸方向が車両Ｃｒの前後方向に対して直交する位置までの走行軌跡の距離に対応する長さにして表示することで、ユーザの駐車スペースへ車両Ｃｒを駐車させる運転を支援する。
【００８７】
近年、駐車スペースへ車両Ｃｒが駐車される際に、車室内のディスプレイ１８へ車両Ｃｒの周辺を示す画像とともに、現在のステアリングの操舵角に基づいて予測される車両Ｃｒの走行軌跡を示すラインを表示させることで、ユーザの駐車スペースへ車両Ｃｒを駐車させる運転を支援する画像表示システムが提案されている。ところで、ステアリングを操作して操舵角を変更することによって、表示されるラインの車両Ｃｒの進行方向側の端部を駐車スペースの間口へ合わすように調整する場合に、ラインの長さが比較的短いときはその端部とその間口との間に相当の距離があるためその調整がうまくいかない虞がある。一方で、そのラインの長さが比較的長いときにはその端部が駐車スペースの間口を超えて位置するため調整がうまくいかない虞がある。結果、車両Ｃｒを駐車スペースへ駐車させるユーザの運転を適切に支援できない虞がある。
【００８８】
このため、走行軌跡のラインにおけるその端部を駐車スペースの間口へ合わす調整が可能な長さにして、ユーザの駐車スペースへ車両Ｃｒを駐車させる運転を適切に支援する技術を以下に説明する。
【００８９】
第３の実施の形態の画像表示システムＳｙの構成は第１の実施の形態と略同様であるため、以下、第１の実施の形態との相違点を中心に説明する。図１８は、第３の実施の形態の駐車制御システムＳＹの構成を示す図である。第３の実施の形態の駐車制御システムＳｙにおいては、指標重畳部８に代えて、走行軌跡重畳部８０を備えている。また、指標選択部９に代えて、走行軌跡導出部９０を備えている。また、この画像表示システムＳｙは、さらに、操舵角センサ２７を備えている。なお、この画像表示システムＳｙは、特定部１０、物体検出装置２０及びソナー２１〜２６を備えていない。
【００９０】
操舵角センサ２７は、ステアリングの回転軸近傍に備えられ、このステアリングがユーザにより操作された際に回転した角度を検知する。走行軌跡導出部９０は、操作されたステアリングの操舵角で車両Ｃｒが走行した場合に予測される軌跡（走行軌跡）を導出する。走行軌跡重畳部８０は導出された走行軌跡を合成画像へ重畳する。
＜３−１．走行軌跡導出処理＞
まず、走行軌跡導出部９０により実行される走行軌跡導出処理について説明する。この走行軌跡導出処理は、シフトポジションが”Ｒ”の場合に実行される。具体的には、シフトポジションセンサ１６からシフトポジションに関する信号を取得して、取得したその信号に基づいてシフトポジションが”Ｒ”であると判断する場合に、走行軌跡導出部９０が走行軌跡導出処理を実行する。また、その場合に、合成画像生成部７が画像合成処理を実行する。つまり、画像表示システムＳｙは、このような場合に車両Ｃｒの駐車モードとなり、走行軌跡導出処理、画像合成処理などを実行することで、車両Ｃｒの周辺を示す画像をディスプレイ１８へ表示させる。
【００９１】
図１９は、現在の操舵角θ１で車両Ｃｒを走行させた場合に予測される車両Ｃｒの走行軌跡の導出手法を説明する図である。なお、この走行軌跡の位置は、上方から俯瞰した車両Ｃｒの左右中央かつ前後中央の位置を原点にする二次元座標で定義された仮想マップにおいて把握される。この走行軌跡の導出方法としては周知の種々の手法が利用可能であるがそのうちの一例を説明する。
【００９２】
現在の操舵角θ１で車両Ｃｒを走行させた場合には、車両Ｃｒの後方の車軸Ａｘの左右中央の点Ｐ１によって、図１９の上部に示す円Ｃ１が描かれる。この円Ｃ１は、車両Ｃｒの後方の車軸Ａｘの延長線上に存在する点Ｃｐ１を中心とした円であり、操舵角θ１で車両Ｃｒを走行させた場合の車両Ｃｒの左右中央の走行軌跡に相当する。この円Ｃ１の半径Ｒ１は、以下の式（１）によって求められる。式（１）に示すＬは、車両Ｃｒのホイールベースの長さである。
【００９３】
Ｒ１＝Ｌ／ｔａｎθ１ …（１）
次に、円Ｃ１から所定の基準長Ｌｓのラインが切り出されることで中央ラインＬｎ１が導出される。
【００９４】
基準長Ｌｓは車両Ｃｒの最大の操舵角に基づいて規定される。図１９の下部に示す図は、この基準長Ｌｓの導出手法を説明する図である。図１９の下部に示すように、車両Ｃｒを最大の操舵角θ２で旋回させた場合には、車軸Ａｘの左右中央の点Ｐ１によって、円Ｃ２が描かれる。この円Ｃ２は、車両Ｃｒの後方の車軸Ａｘの延長線上に存在する点Ｃｐ２を中心とした円であり、最大の操舵角θ２で車両Ｃｒを走行させた場合の車両Ｃｒの左右中央の走行軌跡に相当する。この円Ｃ２の半径Ｒ２は、以下の式（２）で求められる。
【００９５】
Ｒ２＝Ｌ／ｔａｎθ２ …（２）
中心を点Ｃｐ２とし半径をＲ２とする円Ｃ２において、車両Ｃｒの車軸Ａｘの位置からマイナス９０度の位置、すなわち、円Ｃ２の延伸方向（接線の方向）が車両Ｃｒの前後方向に対して直交する位置（以下、「特定位置」という。）Ｐｔが把握される。この特定位置Ｐｔは、車両Ｃｒの走行軌跡の延伸方向が車両Ｃｒの前後方向に対して直交する位置である。そして、この円Ｃ２に沿った、車両Ｃｒの後端（進行方向側の端部）Ｅｄ３と特定位置Ｐｔとを両端とするラインＬｎ１ｘが把握される。このラインＬｎ１ｘの長さは、操舵角が最大の場合において車両Ｃｒの進行方向側の端部Ｅｄ３から走行軌跡の延伸方向が車両Ｃｒの前後方向に対して直交する特定位置Ｐｔまでの走行軌跡の距離を示し、この長さが基準長Ｌｓとなる。
【００９６】
このように導出される最大の操舵角θ２に基づく基準長Ｌｓが、現在の操舵角θ１に基づく中央ラインＬｎ１の長さとして採用される。この基準長は予め導出されて制御部４のメモリ内に記憶されている。走行軌跡導出部９０は、メモリ内に記憶されているこの基準長のラインを円Ｃ１から切り出して中央ラインＬｎ１を導出する。
【００９７】
次に、中央ラインＬｎ１に基づいて走行軌跡を示すラインを導出する。具体的には、図１９の上部に示すように、走行軌跡導出部９０は、中央ラインＬｎ１に応じて車両Ｃｒ左後輪及び右後輪それぞれの走行軌跡を示す左後輪ラインＬｎ２及び右後輪ラインＬｎ３を導出する。そして、この左後輪ラインＬｎ２及び右後輪ラインＬｎ３に基づいてハシゴ型のラインを導出する。
【００９８】
図２０は、左後輪ラインＬｎ２及び右後輪ラインＬｎ３に基づいたハシゴ型のラインの導出を説明する図である。左後輪ラインＬｎ２及び右後輪ラインＬｎ３（図２０の上に示す）はハシゴの支持部に相当する。この支持部に等間隔（例えば、中央ラインＬｎ６に沿って実際の１．０ｍに相当する間隔）でハシゴの足場（横棒）に相当するラインＬｎ４（図２０の中央に示す）が描かれる。さらに、複数のラインＬｎ４それぞれの中間に破線Ｌｎ５が描かれる。そして、ラインＬｎ２〜５それぞれに所定幅（例えば、３ｍｍ）が付けられることで走行軌跡を示すラインＬｎ６（図２０の下に示す）が描かれる。
【００９９】
また、ラインＬｎ４の近傍に、車両Ｃｒの後端からそれぞれのラインＬｎ４までの実際の距離を示す数字が付される。さらに、ラインＬｎ５の近傍に、車両Ｃｒの後端からそれぞれのラインＬｎ５までの実際の距離を示す数字が付される。この数字は目盛りＳｌとして機能する。
【０１００】
このような走行軌跡導出処理がされることによって、走行軌跡を示すラインＬｎ６の長さは、現在の操舵角θ１に関わらず、最大の操舵角の場合において、車両Ｃｒの進行方向側の端部Ｅｄ３から走行ラインＬｎ６の延伸方向が車両Ｃｒの前後方向に対して直交する特定位置Ｐｔまでの走行軌跡の距離に対応する長さ（基準長）に設定される。
＜３−２．走行軌跡重畳処理＞
次に、走行軌跡重畳部８０によって実行される走行軌跡重畳処理について説明する。図２１は、走行軌跡を示すラインＬｎ６を車両Ｃｒの周辺を示す画像への重畳を説明する図である。導出されたラインＬｎ６（図２１の左上に示す）が合成画像Ｉｇ１０（図２１の上中央に示す）の適切な位置へ重畳される。具体的には、車両Ｃｒを上方から俯瞰した合成画像Ｉｇ１０において、車両Ｃｒの左右中央かつ前後中央の位置を原点にする二次元座標で定義された仮想マップが設定される。また、前述したようにラインＬｎ６についても当該仮想マップ上において位置が把握されている。つまり、この仮想マップの座標を利用することでラインＬｎ６を正しい位置に重畳させ、合成画像Ｉｇ１０（図２１の右上に示す）が生成される。
【０１０１】
そして、この重畳された合成画像Ｉｇ１０とリヤカメラ１４が撮影した画像Ｉｇ１１とをセットにしたセット画像がディスプレイ１８に表示される（図２１の下に示す）。つまり、このセット画像が走行軌跡重畳部８０によって出力部６へ出力されて、さらに出力部６によって表示装置１７へ出力される。そして、そのセット画像が表示装置１７に備わるディスプレイ１８において表示される。
【０１０２】
このように、表示される走行軌跡を示すラインＬｎ６の長さが、現在の操舵角に関わらず、最大の操舵角の場合において車両Ｃｒの進行方向側の端部から走行軌跡であるラインの延伸方向が車両Ｃｒの前後方向に対して直交する位置までの走行軌跡の距離に対応する長さ（基準長）に設定されため、ユーザの車両Ｃｒを駐車スペースへ駐車する運転を適切に支援できる。
【０１０３】
つまり、ユーザが最も困難と感じる車両Ｃｒの駐車方法の一つは、所謂、車庫入れ駐車である。この車庫入れ駐車は、例えば、図２１の下に示すように走行路Ｃｓ上の車両Ｃｒの一旦停車位置から後方へ所定距離（例えば、２ｍ）進んだ位置に対して略直交する位置に存在する駐車スペースＰｓへ車両Ｃｒを駐車させなければならない。このため、そのラインＬｎ６の長さをそのような長さにすることで、車両Ｃｒを一旦停車位置において、ステアリングを最大限に操作すれば、そのラインＬｎ６の車両Ｃｒの進行方向側の端部を駐車スペースの間口へ適切に合わすことができる。結果、ユーザの車両Ｃｒを駐車スペースへ駐車する運転を適切に支援できる。
【０１０４】
また、そのラインＬｎ６に目盛りＳｌが付されているためユーザは車両Ｃｒと駐車スペースとの相対距離を容易に認識できる。
＜３−３．制御フロー＞
図２２は、画像表示システムＳｙにおける処理の流れを示す図である。この図２２に示す処理は、駐車モードの場合に所定の周期（例えば、１／３０秒周期）で繰り返される。
【０１０５】
まず、取得部２がカメラ１１〜１４により撮影された画像を取得する（ステップＳＣ１）。この画像には、車両Ｃｒの周辺が示されている。
【０１０６】
次に、合成画像生成部７は、取得された車両Ｃｒの周辺を示す複数の画像に基づいて、前述した合成画像生成処理を実行する（ステップＳＣ２）。この処理により、車両Ｃｒを上方より俯瞰した画像が得られる。
【０１０７】
次に、走行軌跡重畳部８０が操舵角データとホイールベースデータとを取得する（ステップＳＣ３）。つまり、走行軌跡重畳部８０は、操舵角センサ２７から入力した操舵角に関する信号に基づいて導出された現在の操舵角データを取得するとともに、不揮発性記憶部５から入力した車両Ｃｒのホイールベースデータを取得する。
【０１０８】
次に、走行軌跡導出部９０が取得した操舵角データとホイールベースデータとに基づいて走行軌跡を示すラインＬｎ６を導出する（ステップＳＣ４）。また、走行軌跡を示すラインＬｎ６の長さは、現在の操舵角に関わらず、基準長に設定される。そして、走行軌跡導出部９０は導出した走行軌跡を示すラインＬｎ６を走行軌跡重畳部８０へ出力する。
【０１０９】
次に、走行軌跡重畳部８０が入力した走行軌跡を示すラインＬｎ６を合成画像へ重畳する（ステップＳＣ５）。また、走行軌跡重畳部８０は重畳された合成画像とともにリヤカメラ１４が撮影した画像とセットにしたセット画像を生成する。そして、走行軌跡重畳部８０は、セット画像を出力部６へ出力し出力部６は表示装置１７へ出力する。
【０１１０】
次に、表示装置１７は入力したセット画像をディスプレイ１８へ表示させる（ステップＳＣ５）。
【０１１１】
このように、表示される走行軌跡を示すラインＬｎ６の長さが、現在の操舵角に関わらず、最大の操舵角の場合において車両Ｃｒの進行方向側の端部から走行軌跡であるラインの延伸方向が車両Ｃｒの前後方向に対して直交する位置までの走行軌跡の距離に対応する長さ（基準長）に設定されため、ユーザの車両Ｃｒを駐車スペースへ駐車する運転を適切に支援できる。
【０１１２】
また、そのラインＬｎ６に目盛りＳｌが付されているためユーザは車両Ｃｒと駐車スペースとの相対距離を容易に認識できる。
【０１１３】
なお、上記第３の実施の形態では、カメラ１１〜１４が撮影した車両Ｃｒの周辺を示す画像それぞれを合成することで、車両Ｃｒを上方から俯瞰した合成画像を生成し、この合成画像に走行軌跡を示すラインＬｎ６を重畳すると説明した。これに対して、そのような合成画像ではなくカメラ１１〜１４それぞれが撮影した車両Ｃｒの周辺を示す画像それぞれに走行軌跡を示すラインを重畳するようにしても良い。
【０１１４】
例えば、図２３に示すように、リヤカメラ１４が撮影した車両Ｃｒの後方周辺を示す画像に走行軌跡を示すラインＬｎ７を重畳しても良い。
【０１１５】
なお、上述した具体的実施の形態には以下の発明が含まれている。
【０１１６】
（１）
画像を表示する画像表示システムであって、車両の周辺を示す周辺画像を取得する画像取得手段と、前記車両の操舵角を取得する操舵角取得手段と、前記操舵角に基づいて、予測される前記車両の走行軌跡を導出する導出手段と、前記走行軌跡を示すラインを前記周辺画像へ重畳する重畳手段と、前記ラインを重畳した前記周辺画像を表示する表示手段と、を備え、前記重畳手段は、前記操舵角に関わらず前記ラインの長さを、前記操舵角が最大の場合において前記車両の進行方向側の端部から前記走行軌跡の延伸方向が前記車両の前後方向に対して直交する位置までの前記走行軌跡の距離に対応する長さとすることを特徴とする画像表示システム。
【０１１７】
これによれば、表示される走行軌跡を示すラインの長さが、現在の操舵角に関わらず、最大の操舵角の場合において車両Ｃｒの進行方向側の端部から走行軌跡であるラインの延伸方向が車両Ｃｒの前後方向に対して直交する位置までの走行軌跡の距離に対応する長さに設定されため、ユーザの車両Ｃｒを駐車スペースへ駐車する運転を適切に支援できる。
【０１１８】
（２）
上記（１）に記載の画像表示システムにおいて、前記重畳手段は、前記走行軌跡を示すラインに、前記車両の進行方向側の端部からの距離を示す目盛を付与することを特徴とする画像表示システム。
【０１１９】
これによれば、走行軌跡を示すラインに目盛りが付されているためユーザは車両Ｃｒと駐車スペースとの相対距離を容易に認識できる。
【符号の説明】
【０１２０】
１ 画像処理装置
２ 取得部
３ 画像生成部
４ 制御部
５ 不揮発性記憶部
６ 出力部
７ 合成画像生成部
８ 指標重畳部
９ 指標選択部
１０ 特定部
１７ 表示装置
２０ 物体検出装置
２７ 操舵角センサ
８０ 走行軌跡重畳部
９０ 走行軌跡導出部
【技術分野】
【０００１】
本発明は、画像を表示する技術に関する。
【背景技術】
【０００２】
ユーザ（代表的にはドライバ）は、車両を駐車させる際に、駐車されている他の車両などに車両を接触させないよう細心の注意を払う必要がある。また、ユーザは、駐車させていた車両を発進させる際にも、車両の進行方向を横切る人などに車両を接触させないよう細心の注意を払う必要がある。さらに、ユーザは、狭い道路において車両を走行させる際にも、その周囲の物体に車両を接触させないよう細心の注意を払う必要がある。このように、細心の注意を払ったとしもユーザは車両をそれら物体と接触させる虞がある。そこで、車両の周辺を示す周辺画像を車両に備わるディスプレイへ表示させることで、ユーザへ車両の周辺の物体の存在に気づかせてその物体と車両との接触をしないような運転を支援する画像表示システムが提案されている（例えば、特許文献１参照。）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００２−１９４９２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ところで、ディスプレイにおいて車両の周辺を示す画像が表示されたとしても、ユーザは車両の周辺に存在する物体の方向や位置を気づくことができないために、その物体に車両を接触させる虞がある。
【０００５】
本発明は、上記課題に鑑みてなされたものであり、車両の周辺を示す画像において、車両の周辺に存在する物体の方向や位置を気づかせることができる技術を提供することを目的とする。
【課題を解決するための手段】
【０００６】
上記課題を解決するため、請求項１の発明は、画像を表示する画像表示システムであって、車両の周辺を示す周辺画像を取得する取得手段と、前記車両の互いに異なる位置に設けられ、それぞれ前記車両の周辺に存在する物体を検出する複数の検出手段と、前記複数の検出手段のうち前記物体を検出した特定検出手段と前記物体とを示唆する枠の形態で表した指標を前記周辺画像へ重畳する重畳手段と、前記指標が重畳された前記周辺画像を表示する表示手段と、を備えることを特徴とする。
【０００７】
また、請求項２の発明は、請求項１に記載の画像表示システムにおいて、前記重畳手段は、前記特定検出手段が複数ある場合は、該複数の特定検出手段と前記物体とを示唆する一の枠の形態で表した指標を前記周辺画像へ重畳することを特徴とする。
【０００８】
また、請求項３の発明は、請求項１又は２に記載の画像表示システムにおいて、前記検出手段は、該検出手段と前記物体との距離を検出するものであり、前記重畳手段は、前記距離に応じて前記指標の大きさを変更することを特徴とする。
【０００９】
また、請求項４の発明は、画像を処理する画像処理装置であって、車両の周辺を示す周辺画像を取得する取得手段と、前記車両の互いに異なる位置に設けられそれぞれ前記車両の周辺に存在する物体を検出する複数の検出手段のうち、前記物体を検出した特定検出手段を特定する特定手段と、前記特定検出手段と前記物体とを示唆する枠の形態で表した指標を前記周辺画像へ重畳する重畳手段と、前記指標が重畳された前記画像を表示装置へ出力する出力手段と、を備えることを特徴とする。
【００１０】
また、請求項５の発明は、画像を表示する画像表示方法であって、車両の周辺を示す周辺画像を取得する工程と、前記車両の互いに異なる位置に設けられ、それぞれ前記車両の周辺に存在する物体を検出する複数の検出手段によって前記車両の周辺に存在する物体を検出する工程と、前記複数の検出手段のうち前記物体を検出した特定検出手段と前記物体とを示唆する枠の形態で表した指標を前記周辺画像へ重畳する工程と、前記指標が重畳された前記周辺画像を表示する工程と、を備えることを特徴とする。
【００１１】
また、請求項６の発明は、画像を表示する画像表示システムであって、車両の周辺を示す周辺画像を取得する取得手段と、前記車両の周辺に存在する物体を検出する検出手段と、前記物体を検出した検出手段と前記物体とを示唆する枠の形態で表した指標を前記周辺画像へ重畳する重畳手段と、前記指標が重畳された前記周辺画像を表示する表示手段と、を備えることを特徴とする。
【発明の効果】
【００１２】
請求項１、４及び５の発明によれば、車両の互いに異なる位置に設けられ、それぞれ車両の周辺に存在する物体を検出する複数の検出手段のうち物体を検出した特定検出手段と物体とを示唆する枠の形態で表した指標が、周辺画像へ重畳されて表示されるため、ユーザは物体の方向と位置とを明確に認識できる。
【００１３】
また、請求項２の発明によれば、特定検出手段が複数ある場合は、該複数の特定検出手段と物体とを示唆する一の枠の形態で表した指標が周辺画像へ重畳されて表示されるため、ユーザは物体の方向と位置とを明確に認識できる。
【００１４】
また、請求項３の発明によれば、表示される指標の大きさが物体と検出手段との間の距離に応じて変更されるため、ユーザは物体と検出手段を備える車両との間の距離を感覚的に認識できる。
【００１５】
請求項６の発明によれば、車両の周辺に存在する物体を検出した検出手段と物体とを示唆する枠の形態で表した指標が、周辺画像へ重畳されて表示されるため、ユーザは物体の方向と位置とを明確に認識できる。
【図面の簡単な説明】
【００１６】
【図１】図１は、第１の実施の形態の画像表示システムの構成を示す図である。
【図２】図２は、第１の実施の形態の、車両におけるカメラ及びソナーの取り付け位置を説明する図である。
【図３】図３は、第１の実施の形態のカメラの撮影範囲及びソナーの物体を検出する検出範囲を示す図である。
【図４】図４は、第１の実施の形態の複数のカメラそれぞれが撮影した画像の一例を示す図である。
【図５】図５は、第１の実施の形態の複数のカメラが撮影した車両の周辺を撮影した画像を合成する画像合成処理を説明する図である。
【図６】図６は、第１の実施の形態の上方から俯瞰した車両の一例を示す図である。
【図７】図７は、第１の実施の形態のマップデータを示す図である。
【図８】図８は、第１の実施の形態のマップデータを示す図である。
【図９】図９は、第１の実施の形態の指標を画像へ重畳する方法を説明する図である。
【図１０】図１０は、第１の実施の形態の指標を重畳した画像の一例を示す図である。
【図１１】図１１は、第１の実施の形態の画像表示システムにおける処理の流れを示す図である。
【図１２】図１２は、第２の実施の形態の上方から俯瞰した車両の一例を示す図である。
【図１３】図１３は、第２の実施の形態のマップデータを示す図である。
【図１４】図１４は、第２の実施の形態のマップデータを示す図である。
【図１５】図１５は、第２の実施の形態の指標を画像へ重畳する方法を説明する図である。
【図１６】図１６は、第２の実施の形態の画像表示システムにおける処理の流れを示す図である。
【図１７】図１７は、第２の実施の形態のリヤカメラが撮影した車両の後方周辺を示す画像の一例を示す図である。
【図１８】図１８は、第３の実施の形態の駐車制御システムの構成を示す図である。
【図１９】現在の図１９は、操舵角で車両が走行した場合に予測される車両の走行軌跡の導出を説明する図である。
【図２０】図２０は、第３の実施の形態の左後輪ライン及び右後輪ラインに基づいたハシゴ型のラインの導出を説明する図である。
【図２１】図２１は、第３の実施の形態の走行軌跡を表すラインを車両の周辺を示す画像への重畳を説明する図である。
【図２２】図２２は、第３の実施の形態の画像表示システムにおける処理の流れを示す図である。
【図２３】図２３は、第３の実施の形態のリヤカメラが撮影した車両の後方周辺を示す画像の一例を示す図である。
【発明を実施するための形態】
【００１７】
以下、図面を参照しつつ本発明の実施の形態について説明する。
【００１８】
＜１．第１の実施の形態＞
図１は、第１の実施の形態の画像表示システムＳｙの構成を示す図である。この画像表示システムＳｙは、車両の周辺に存在する物体の位置と方向とを示す指標を車両の周辺を示す画像へ重畳して表示することが可能である。
【００１９】
＜１−１．構成＞
画像表示システムＳｙは、フロントカメラ１１、左サイドカメラ１２、右サイドカメラ１３、リヤカメラ１４（以下、カメラ１１〜１４という）、車速センサ１５、シフトポジションセンサ１６、画像処理装置１、物体検出装置２０、及び、表示装置１７を備える。
【００２０】
画像処理装置１は、カメラ１１〜１４、車速センサ１５、シフトポジションセンサ１６、表示装置１７、及び、物体検出装置２０とケーブルによって電気的に接続される。また、物体検出装置２０は、第１ソナー２１、第２ソナー２２、第３ソナー２３、第４ソナー２４、第５ソナー２５、第６ソナー２６（以下、ソナー２１〜２６という）、及び、画像処理装置１とケーブルによって電気的に接続される。
【００２１】
図２は、車両Ｃｒにおけるカメラ１１〜１４及びソナー２１〜２６の取り付け位置を説明する図である。
【００２２】
図２に示すように、フロントカメラ１１は、車両Ｃｒの前端の左右中央の近傍に設けられ、その光軸は車両Ｃｒの前後方向に略沿うとともに、直進方向へ向けられている。左サイドカメラ１２は、左サイドミラーに設けられており、その光軸は車両Ｃｒの左右方向に略沿うとともに、直進方向を基準にした左側方へ向けられている。右サイドカメラ１３は、右サイドミラーに設けられており、その光軸は車両Ｃｒの左右方向に略沿うとともに、直進方向を基準にした右側方へ向けられている。リヤカメラ１４は、車両Ｃｒの後端にあの左右中央の近傍に設けられ、その光軸は車両Ｃｒの前後方向に略沿うとともに、直進方向の逆方向へ向けられている。なお、フロントカメラ１１やリヤカメラ１４の取り付け位置は、左右略中央であることが望ましいが、左右中央から左右方向に多少ずれた位置であってもよい。
【００２３】
カメラ１１〜１４はそれぞれ魚眼レンズを備えている。魚眼レンズを備えたカメラ１１〜１４の画角θは１８０度以上である。図３に示すように、カメラ１１〜１４の撮影範囲Ｓｒ１〜Ｓｒ４は車両Ｃｒの周囲をカバーしている。このような、カメラ１１〜１４を利用することで、車両Ｃｒの全周囲の撮影が可能となっている。
【００２４】
また、図２に示すようにソナー２１〜２６は車両Ｃｒの互いに異なる位置に設けられている。第１ソナー２１は車両Ｃｒの前左角の近傍に設けられ、その超音波の出力方向は車両Ｃｒの前左角外側へ向けられている。第２ソナー２２は車両Ｃｒのフロントカメラ１１の近傍に設けられ、その超音波の出力方向は車両Ｃｒの前端左右中央の外側へ向けられている。第３ソナー２３は車両Ｃｒの前右角の近傍に設けられ、その超音波の出力方向は車両Ｃｒの前右角外側へ向けられている。第４ソナー２４は車両Ｃｒの後ろ左角の近傍に設けられ、その超音波の出力方向は車両Ｃｒの後ろ左角外側へ向けられている。第５ソナー２５は車両Ｃｒのリヤカメラ１４の近傍に設けられ、その超音波の出力方向は車両Ｃｒの後端左右中央の外側へ向けられている。第６ソナー２６は車両Ｃｒの後ろ右角の近傍に設けられ、その超音波の出力方向は車両Ｃｒの後ろ右角外側へ向けられている。
【００２５】
ソナー２１〜２６は、それぞれのソナーが出力して何らかの物体に当たって反射した超音波を入力し、その超音波に関する信号を物体検出装置２０へ出力する。図３に示すように、第１ソナー２１、第２ソナー２２及び第３ソナー２３によって物体を検出するときの検出範囲Ｄｒ１、Ｄｒ２及びＤｒ３は、車両Ｃｒの前方周辺をカバーしている。一方、図３に示すように、第４ソナー２４、第５ソナー２５、及び第６ソナー２６によって物体を検出するときの検出範囲Ｄｒ４、Ｄｒ５及びＤｒ６は、車両Ｃｒの後方周辺をカバーしている。このような、ソナー２１〜２６を利用することで、少なくとも車両Ｃｒの前進方向及び後進方向に存在する物体が検出される。
【００２６】
図１に戻り、車速センサ１５は、車両Ｃｒの速度を検出するセンサであり、その速度に関する信号を画像処理装置１へ出力する。
【００２７】
シフトポジションセンサ１６は、車両Ｃｒのシフトポジションを検出するセンサであり、そのシフトポジションに関する信号を画像処理装置１へ出力する。
【００２８】
物体検出装置２０は、ソナー２１〜２６の何れかから超音波に関する信号を入力し、入力したその信号に基づいてソナー２１〜２６のうち何れのソナーで物体を検出したかを判断するとともに、物体を検出したソナーとその物体との距離を判断する。さらに、物体検出装置２０は、その判断において物体を検出したソナーを示す信号と物体を検出したソナーとその物体との距離とを示す信号を画像処理装置１へ出力する。
【００２９】
画像処理装置１は、取得部２、画像生成部３、制御部４、不揮発性記憶部５、及び、出力部６を備える。取得部２は、例えば、外部機器とのインターフェースであり、カメラ１１〜１４が撮影した画像などを取得する。出力部６は、例えば、外部機器とのインターフェースであり、表示すべき画像などを表示装置１７などの外部へ出力する。
【００３０】
画像生成部３は、例えば、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）などのハードウェア回路であり、画像処理を行う機能を備えている。画像生成部３は、その機能の一部として合成画像生成部７と指標重畳部８とを備える。合成画像生成部７は、カメラ１１〜１４が撮影した車両Ｃｒの周辺を示す画像それぞれを合成した合成画像を生成する。カメラ１１〜１４が撮影した画像及びその画像を合成した合成画像のいずれも車両Ｃｒの周辺を示す周辺画像といえる。指標重畳部８は、ソナー２１〜２６のうち車両Ｃｒの周辺に存在する物体を検出したソナーと物体とを示唆する枠の形態で表した指標を合成画像へ重畳する。
【００３１】
この枠は、扇形で内部が透明になっており、扇形の中心角の近傍が矩形になっている。この扇形の矩形部分が周辺画像における物体を検出したソナー近傍に位置し、扇形の弧の部分が周辺画像における車両のＣｒの外側へ向くとともに、少なくとも扇形の内部に周辺画像における物体の一部が位置するようにして、指標が周辺画像へ重畳される。このような重畳がされることで、枠の形態で表した指標は、周辺画像において物体を検出したソナーと物体とを示唆できる。つまり、ユーザは周辺画像において物体の位置と方向とを認識できる。この指標が示す範囲は、物体を検出したソナーの検出範囲におよそ対応する。
【００３２】
制御部４は、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、及び、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）などを備えるマイクロコンピュータである。このＣＰＵは、ＲＯＭに記憶された種々のプログラムに従って演算処理を行うことで種々の機能を実現させる。
【００３３】
制御部４は、演算処理によって実現される機能の一部として、指標選択部９と特定部１０とを備える。指標選択部９は、ソナー２１〜２６のうち物体を検出したソナーに応じた指標を不揮発性記憶部５に記憶されている種々の指標の中から選択する。特定部１０は、物体検出装置２０から取得部２を介して取得したソナーを示す信号及び距離を示す信号に基づいて、ソナー２１〜２６のうち何れのソナーで物体を検出したかを特定するとともに、物体を検出したソナーと物体との距離を特定する。
【００３４】
不揮発性記憶部５は、例えば、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ-Ｏｎｌｙ Ｍｅｍｏｒｙ）などである。この不揮発性記憶部５は、例えば、指標選択部９が選択する種々の指標を記憶している。
【００３５】
表示装置１７は、その一部の機能としてディスプレイ１８を備える。ディスプレイ１８は、例えば、タッチパネルディスプレイであり、種々の画像を表示する機能と、ユーザの操作を受け付ける機能とを備える。このユーザの操作の内容を示す信号は、取得部２を介して制御部４に入力される。これにより、画像処理装置１は、ユーザの指示に応じた処理を行うことが可能である。
【００３６】
＜１−２．画像合成処理＞
次に、画像表示システムＳｙによる画像合成処理について説明する。この画像合成処理は、車両Ｃｒの車速が所定速度（例えば、１２ｋｍ／ｈ）以下の場合、或いは、シフトポジションが”Ｒ”の場合に実行される。具体的には、車速センサ１５から車速に関する信号を取得して、取得したその信号に基づいて車速が所定速度以下であると判断する場合に、合成画像生成部７が画像合成処理を実行する。また、シフトポジションセンサ１６からシフトポジションに関する信号を取得して、取得したその信号に基づいてシフトポジションが”Ｒ”であると判断する場合に、合成画像生成部７が画像合成処理を実行する。つまり、画像表示システムＳｙは、このような場合に車両Ｃｒの周辺を監視する監視モードとなり、画像合成処理などを実行することで車両Ｃｒの周辺を示す合成画像をディスプレイ１８へ表示させている。
【００３７】
図５は、カメラ１１〜１４が撮影した車両Ｃｒの周辺を撮影した画像を合成する画像合成処理を説明する図である。まず、画像処理装置１が備える取得部２は、カメラ１１〜１４が撮影した、図４に示すような、画像Ｉｇ１〜Ｉｇ４をカメラ１１〜１４より取得する。取得部２は、取得した画像Ｉｇ１〜Ｉｇ４を画像生成部３へ出力する。
【００３８】
画像生成部３は、入力した画像Ｉｇ１〜Ｉｇ４を図示しない揮発性記憶部へ記憶する。
【００３９】
合成画像生成部７は、その揮発性記憶部に記憶された、画像Ｉｇ１〜Ｉｇ４を、図５に示すような、仮想的な三次元空間における立体曲面Ｐに投影する。
【００４０】
次に、視点位置が車両Ｃｒの位置の略中央の直上で、視野方向が直下方向とした仮想視点ＡＧＬを設定し、仮想視点ＡＧＬにあわせて立体曲面Ｐの一部を画像として切り出す。これにより、車両Ｃｒの略直上から車両Ｃｒを見下ろすように、車両Ｃｒ及び車両Ｃｒの周辺の領域を示す合成画像Ｉｇ５が生成される。
【００４１】
画像処理装置１では、このような合成画像生成部７の機能を利用することで、車両Ｃｒの周辺の任意の視点からみた合成画像を生成して、表示装置１７へ生成した合成画像を表示させることができる。これにより、合成画像生成部７は車両Ｃｒを仮想的に俯瞰した合成画像を生成する。
【００４２】
そして、生成された合成の画像Ｉｇ５は後にディスプレイ１８へ表示する際のサイズの画像Ｉｇ６が切り出される。
【００４３】
＜１−３．指標重畳処理＞
次に、指標重畳処理について説明する。この指標重畳処理は、前述した周辺監視モードの場合で、ソナー２１〜２６のうちの何れかのソナーで物体が検出されたときに画像表示システムＳｙによって実行される。
【００４４】
図６は、上方から車両Ｃｒを俯瞰した図である。この図には、車両Ｃｒの左後方に物体Ｏｊが存在している。このように物体Ｏｊが車両Ｃｒの左後方に存在する場合は、物体検出装置２０が第４ソナー２４から取得する超音波に関する信号に基づいて物体Ｏｊを検出して、第４ソナー２４を示す信号及び物体と第４ソナー２４との距離（１．５ｍ）を示す信号を特定部１０へ出力する。
【００４５】
特定部１０は、取得したそれら信号に基づいて第４ソナー２４が物体Ｏｊを検出したことを特定するとともに、特定した第４ソナー２４ーと物体との距離を特定する。以下、特定したソナーを特定ソナーといい、特定したその距離を特定距離という。そして、指標選択部９は特定ソナー及び特定距離をもとに不揮発性記憶部５に記憶されている図７及び図８に示すマップデータを参照して適切な指標を選択する。
【００４６】
具体的には、特定ソナーである第４ソナー２４及び特定距離である１．５ｍをもとに図７に示すマップデータを参照すると指標コードＡ６が抽出されて、この指標コードＡ６をもとに図８に示すマップデータを参照すると、Ａ列・６行目の枠の形態が選択される。
【００４７】
この図７に示すマップデータは、特定ソナーや特定距離に応じた指標コードが選ばれるように構成されている。この指標コードによって選ばれる図８に示すマップデータについても、結果的に特定ソナーや特定距離に応じた枠の形態が選ばれるように構成されている。つまり、図７及び図８に示すマップデータは、特定ソナーの搭載位置に応じた枠の形態が選択されるように構成されているとともに、特定距離に応じた大きさの枠の形態が選択されるように構成されている。
【００４８】
そして、このように選択された指標Ｉｄの信号は、指標選択部９によって指標重畳部８へ出力される。指標重畳部８は入力した信号が示す指標Ｉｄを合成画像へ重畳する。
【００４９】
図９は、合成画像Ｉｇ６へ指標Ｉｄを重畳する方法を説明する図である。つまり、指標Ｉｄの矩形の部分Ｅｄ１(図９の左上に示す)と合成画像Ｉｇ６中の車両Ｃｒの像の後ろ左角Ｃｎｒ近傍の位置（図９の上中央に示す）とが重なるように、かつ、少なくとも物体の一部が枠の形態で表した指標Ｉｄの内部に位置するように、かつ、指標Ｉｄの扇形の弧の部分が車両Ｃｒの外側を向くように、指標Ｉｄが合成画像Ｉｇ６（図９の右上に示す）に重畳される。そして、この重畳された合成画像Ｉｇ６とリヤカメラ１４が撮影した画像Ｉｇ７とをセットにしたセット画像がディスプレイ１８に表示される（図９の下に示す）。つまり、このセット画像が指標重畳部８によって出力部６へ出力されて、さらに出力部６によって表示装置１７へ出力される。そして、そのセット画像が表示装置１７に備わるディスプレイ１８において表示される。
【００５０】
このような指標重畳処理が実行されることで、例えば、図１０に示すように、第４ソナー２４が車両Ｃｒの後ろ左角外側の比較的遠い位置（例えば、１．５ｍ）に存在する物体Ｏｊを検出した場合（図１０の左上に示す）は、その物体Ｏｊを含む比較的大きい指標（図１０の右上に示す）が表示される。また、第４ソナー２４が車両Ｃｒの後ろ左角外側の比較的近い位置（例えば、１．０ｍ）に存在する物体Ｏｊを検出した場合（図１０の左中に示す）は、その物体Ｏｊを含む比較的小さい指標（図１０の右中に示す）が表示される。また、第４ソナー２４が車両Ｃｒの後ろ左角外側の直近の位置（例えば、０．５ｍ）に存在する物体Ｏｊを検出した場合（図１０の左下に示す）は、その物体Ｏｊを含む極めて小さい指標（図１０の右下に示す）が表示される。
【００５１】
このため、ディスプレイ１８の車両Ｃｒを俯瞰した画像Ｉｇ７において、ソナー２１〜２６のうち物体を検出した特定ソナーと物体とを示唆する枠の形態で表した指標Ｉｄの中に物体Ｏｊが明確に表示される。つまり、中の部分が透明の枠の形態で表した指標Ｉｄが物体Ｏｊを囲むように表示されることで、指標Ｉｄと物体Ｏｊとが重ならずに表示され、ユーザはディスプレイ１８の車両Ｃｒを俯瞰した画像Ｉｇ７において物体Ｏｊを明確に認識できるとともに、物体Ｏｊの位置と方向とを明確に認識できる。
【００５２】
また、指標Ｉｄの大きさが特定距離に応じて変更されるため、ユーザはディスプレイ１８の車両Ｃｒを俯瞰した画像Ｉｇ７において、物体と検出手段を備える車両との間の距離を感覚的に認識できる。
【００５３】
＜１−４．制御フロー＞
図１１は、画像表示システムＳｙにおける処理の流れを示す図である。この図１１に示す処理は、周辺監視モードの場合に所定の周期（例えば、１／３０秒周期）で繰り返される。
【００５４】
まず、取得部２がカメラ１１〜１４により撮影された画像を取得する（ステップＳＡ１）。この画像には、車両Ｃｒの周辺が示されている。
【００５５】
次に、合成画像生成部７は、取得された車両Ｃｒの周辺を示す複数の画像に基づいて、前述した合成画像生成処理を実行する（ステップＳＡ２）。この処理により、車両Ｃｒを上方より俯瞰した合成画像が得られる。
【００５６】
次に、ソナー２１〜２６それぞれが超音波を出力させて、種々の物体に当たって反射した超音波を入力し、物体検出装置２０へ入力した超音波に関する信号を出力する。そして、物体検出装置２０が入力した超音波に関する信号に基づいてソナー２１〜２６のうち何れかで物体Ｏｊを検出したか否かを判断する（ステップＳＡ３）。
【００５７】
ソナー２１〜２６のうち何れかで物体を検出した（ステップＳＡ３においてＹＥＳ）場合は、特定部１０が何れのソナーで物体を検出したかを特定する（ステップＳＡ４）。つまり、物体検出装置２０は物体を検出したソナーを示す信号及び物体を検出したソナーとその物体との距離を示す信号を特定部１０へ出力する。特定部１０は入力したそれら信号に基づいて物体を検出したソナーを特定するとともに、物体を検出したソナーとその物体との距離を特定する。そして、特定部１０は特定ソナーを示す信号及び特定距離を示す信号を指標選択部９へ出力する。
【００５８】
次に、指標選択部９が入力した特定ソナーを示す信号及び特定距離を示す信号に基づいて指標Ｉｄを選択する（ステップＳＡ５）。つまり、指標選択部９は、入力された特定ソナーを示す信号及び特定距離を示す信号をもとに不揮発性記憶部５に記憶されているマップデータを参照して適切な指標Ｉｄを選択する。これにより、特定ソナーの搭載位置に応じた指標Ｉｄが選択され、特定距離に応じた大きさの指標Ｉｄが選択される。この指標Ｉｄを示す信号を、指標選択部９が指標重畳部８へ出力する。
【００５９】
次に、指標重畳部８が入力したその信号に示される指標Ｉｄを、合成画像生成部７から入力した合成画像の適切な位置へ重畳する（ステップＳＡ６）。そして、指標重畳部８は、この重畳された合成画像とリヤカメラ１４が撮影した画像とをセットにしたセット画像を出力部６へ画像を出力し、出力部６は表示装置１７へ出力する。
【００６０】
次に、表示装置１７が入力したセット画像をディスプレイ１８へ表示させる（ステップＳＡ７）。これにより、指標Ｉｄが重畳された車両Ｃｒの周辺を示す画像がディスプレイ１８に表示される。
【００６１】
一方、ソナー２１〜２６のうち何れのソナーも物体Ｏｊを検出しない（ステップＳＡ３においてＮＯ）場合は、出力部６が指標Ｉｄを重畳しない合成画像とリヤカメラ１４が撮影した画像とをセットにしたセット画像を表示装置１７へ出力する。そして、表示装置１７が入力したセット画像をディスプレイ１８へ表示させる（ステップＳＡ８）。
【００６２】
このように、本実施の形態の画像表示システムＳｙにおいては、ディスプレイ１８の車両Ｃｒを俯瞰した画像Ｉｇ７に、ソナー２１〜２６のうち物体を検出した特定ソナーの近傍に表示された枠の形態で表した指標Ｉｄの中に物体Ｏｊが明確に表示される。つまり、特定ソナーの近傍に表示された枠の形態で表した指標Ｉｄが物体Ｏｊを囲むように表示されることで、枠の形態で表した指標Ｉｄの内部に物体Ｏｊが明確に表示され、ユーザはディスプレイ１８の車両Ｃｒを俯瞰した画像Ｉｇ７において物体Ｏｊを明確に認識できるとともに、物体Ｏｊの位置と方向とを明確に認識できる。結果、ユーザに車両Ｃｒの周辺の物体の存在を気づかせることができ、車両をその物体に接触させないような運転を支援することができる。
【００６３】
また、ディスプレイ１８に表示される画像に重畳される指標Ｉｄの大きさが特定距離に応じて変更されるため、このディスプレイ１８を見たユーザは物体Ｏｊとソナーを備える車両との間の距離を感覚的に認識できる。
【００６４】
＜２．第２の実施の形態＞
次に、第２の実施の形態について説明する。第１の実施の形態の画像表示システムＳｙでは、ソナー２１〜２６のうち一のソナーで物体を検出した場合に、一のソナーと物体とを示唆する枠の形態で表した指標を表示していた。これに対して、第２の実施の形態の画像表示システムＳｙでは、複数のソナーで物体を検出した場合に、それら複数のソナーと物体とを示唆する一の枠の形態で表した指標を表示している。
【００６５】
第２の実施の形態の画像表示システムＳｙの構成及び処理は第２の実施の形態と略同様であるため、以下、第２の実施の形態との相違点を中心に説明する。
【００６６】
＜２−１．指標重畳処理＞
まず、指標重畳処理について説明する。この指標重畳処理は、前述した周辺監視モードの場合で、ソナー２１〜２６のうちの何れかのソナーで物体Ｏｊが検出されたときに画像表示システムＳｙによって実行される。
【００６７】
図１２は、上方から車両Ｃｒを俯瞰した図である。この図には、車両Ｃｒの左後方で比較的中央よりに物体Ｏｊが存在している。このように物体Ｏｊが車両Ｃｒの左後方で比較的中央に存在する場合には、画像表示システムＳｙは物体Ｏｊを第４ソナー２４及び第５ソナー２５の双方で検出することができる。つまり、物体検出装置２０が第４ソナー２４から取得する超音波に関する信号に基づいて物体Ｏｊを検出し、第４ソナー２４を示す信号及び物体Ｏｊと第４ソナー２４との距離（１．５ｍ）を示す信号を特定部１０へ出力する。さらに、物体検出装置２０が第５ソナー２５から取得する超音波に関する信号に基づいて物体Ｏｊを検出し、第５ソナー２５を示す信号及び物体Ｏｊと第５ソナー２５との距離（１．５ｍ）を示す信号を特定部１０へ出力する。
【００６８】
特定部１０は、取得したそれら信号に基づいて第４ソナー２４及び第５ソナー２５の双方が物体Ｏｊを検出したことを特定するとともに、それら特定ソナーと物体Ｏｊとの距離を特定する。そして、指標選択部９はそれら特定ソナー及びそれら特定距離をもとに不揮発性記憶部５に記憶されている図１３及び図１４に示すマップデータを参照して適切な特殊指標を選択する。
【００６９】
つまり、特定ソナーである第４ソナー２４、第５ソナー２５及び特定距離である１．５ｍをもとに図１３に示すマップデータを参照すると特殊指標コードＡＢ６が抽出されて、この特殊指標コードＡＢ６をもとに図１４に示すマップデータを参照すると、ＡＢ列・６行目の枠の形態が選択される。
【００７０】
この図１３に示すマップデータは、特定ソナーや特定距離に応じた特殊指標コードが選ばれるように構成されている。この特殊指標コードによって選ばれる図１４に示すマップデータについても、結果的に特定ソナーや特定距離に応じた枠の形態が選ばれるように構成されている。つまり、図１３及び図１４に示すマップデータは、特定ソナーの搭載位置に応じた枠の形態が選択されるように構成されているとともに、特定距離に応じた大きさの枠の形態が選択されるように構成されている。さらに、図１３及び図１４に示すマップデータは、特定ソナーが複数ある場合は、この複数の特定ソナーと物体とを示唆する一の枠の形態で表した指標が選択される。この指標が示す範囲は、複数の特定ソナーのすべての検出範囲を合併した全体領域におよそ相当する。このように選択された特殊指標Ｉｄを示す信号は、指標選択部９によって指標重畳部８へ出力される。指標重畳部８は入力した信号が示す特殊指標Ｉｄを合成画像へ重畳する。
【００７１】
図１５は、合成画像Ｉｇ８へ特殊指標Ｉｄを重畳する方法を説明する図である。つまり、特殊指標Ｉｄの矩形の部分Ｅｄ２(図１５の左上に示す)と合成画像Ｉｇ８中の車両Ｃｒの像の後ろ左角Ｃｎｒ近傍の位置及び後ろ端部中央Ｃｔｒの位置（図１５の上中央に示す）とが重なるようにし、かつ、少なくとも物体の一部が枠の形態で表した特殊指標Ｉｄの内部に位置するように、かつ、画像Ｉｇ８中の第４ソナー２４及び第５ソナー２５と物体とを示唆する一の特殊指標Ｉｄの扇形状を成す部分とが一致するようにすることで、特殊指標Ｉｄが画像Ｉｇ８（図１５の右上に示す）に重畳される。そして、この重畳された画像Ｉｇ８がリヤカメラ１４で撮影した画像Ｉｇ９とセットにしたセット画像がディスプレイ１８に表示される（図１５の下に示す）。つまり、このセット画像が指標重畳部８によって出力部６へ出力されて、さらに出力部６によって表示装置１７へ出力される。そして、そのセット画像が表示装置１７に備わるディスプレイ１８において表示される。
【００７２】
もし、物体Ｏｊを検出した複数の特定ソナーと物体とを示唆する指標Ｉｄのそれぞれを画像へ重畳すると、それぞれの指標Ｉｄが互いに重複する部分が発生してしまい、さらにその重複する部分に物体Ｏｊが存在してしまう虞がある。結果、ユーザはディスプレイ１８の画像において、その重複する部分が邪魔になって物体Ｏｊの位置と方向とを見失う虞がある。しかしながら、第２の実施の形態で説明したように、特殊指標Ｉｄが物体Ｏｊを検出した複数の特定ソナーと物体とを示唆する一の特殊指標Ｉｄを画像Ｉｇ７へ重畳することで一の特殊指標Ｉｄの中に物体Ｏｊが明確に表示される。結果、ユーザはディスプレイ１８の画像において、物体Ｏｊの位置と方向とを明確に認識できる。
【００７３】
＜２−３．制御フロー＞
図１６は、画像表示システムＳｙにおける処理の流れを示す図である。この図１６に示す処理は、周辺監視モードの場合に所定の周期（例えば、１／３０秒周期）で繰り返される。
【００７４】
まず、取得部２がカメラ１１〜１４により撮影された画像を取得する（ステップＳＢ１）。この画像には、車両Ｃｒの周辺が示されている。
【００７５】
次に、合成画像生成部７は、取得された車両Ｃｒの周辺を示す複数の画像に基づいて、前述した合成画像生成処理を実行する（ステップＳＢ２）。この処理により、車両Ｃｒを上方より俯瞰した画像が得られる。
【００７６】
次に、ソナー２１〜２６が超音波を出力させて、種々の物体に当たって反射した超音波を入力し、この超音波に関する信号を物体検出装置２０へ出力する。そして、物体検出装置２０が入力した超音波に関する信号に基づいてソナー２１〜２６のうち何れかで物体Ｏｊを検出したか否かを判断する（ステップＳＢ３）。
【００７７】
ソナー２１〜２６のうち何れかで物体Ｏｊを検出した（ステップＳＢ３においてＹＥＳ）場合は、特定部１０が何れのソナーで物体Ｏｊを検出したかを特定する（ステップＳＢ４）。つまり、物体検出装置２０は物体Ｏｊを検出したソナーを示す信号及び物体Ｏｊを検出したソナーとその物体Ｏｊとの距離を示す信号を特定部１０へ出力する。特定部１０は入力したそれら信号に基づいて物体Ｏｊを検出したソナーを特定するとともに、物体Ｏｊを検出したソナーとその物体Ｏｊとの距離を特定する。そして、特定部１０は特定ソナーを示す信号及び特定距離を示す信号を指標選択部９へ出力する。
【００７８】
次に、入力したそれら信号に基づいて特定ソナーが複数ある（ステップＳＢ５においてＹＥＳ）と判断する場合は、指標選択部９が入力したそれら信号に基づいて特殊指標Ｉｄを選択する（ステップＳＢ６）。つまり、指標選択部９は、入力された複数の特定ソナーを示す信号及び複数の特定距離を示す信号をもとに不揮発性記憶部５に記憶されている図１３及び図１４に示すマップデータを参照して適切な特殊指標Ｉｄを選択する。これにより、複数の特定ソナーの搭載位置に応じた特殊指標Ｉｄが選択され、複数の特定ソナーと物体とを示唆する一の特殊指標Ｉｄが選択され、特定距離に応じた大きさの特殊指標Ｉｄが選択される。指標選択部９は、特殊指標Ｉｄを示す信号を指標重畳部８へ出力する。
【００７９】
次に、指標重畳部８が入力したその信号に示される特殊指標Ｉｄを、合成画像生成部７から入力した合成画像の適切な位置へ重畳する（ステップＳＢ７）。そして、指標重畳部８は、この重畳された合成画像とともにリヤカメラ１４が撮影した画像とセットにしたセット画像を出力部６へ画像を出力し、出力部６は表示装置１７へ出力する。
【００８０】
次に、表示装置１７が入力したセット画像をディスプレイ１８へ表示させる（ステップＳＢ８）。これにより、特殊指標Ｉｄが重畳された車両Ｃｒの周辺を示す画像がディスプレイ１８に表示される。
【００８１】
一方、ソナー２１〜２６のうち何れのソナーも物体Ｏｊを検出しない（ステップＳＢ３においてＮＯ）場合は、出力部６が特殊指標Ｉｄを重畳しない合成画像とともにリヤカメラ１４で撮影した画像とセットにしたセット画像を表示装置１７へ出力する。そして、表示装置１７が入力したセット画像をディスプレイ１８へ表示させる（ステップＳＢ１０）
また、入力したそれら信号に基づいて特定ソナーの数が単数である（ステップＳＢ５においてＮＯ）と判断する場合は、指標選択部９が入力した信号に基づいて指標Ｉｄを選択する（ステップＳＢ９）。つまり、指標選択部９は、入力された一の特定ソナーを示す信号及び特定距離を示す信号をもとに不揮発性記憶部５に記憶されている図７及び図８に示すマップデータを参照して適切な指標Ｉｄを選択する。これにより、特定ソナーの搭載位置に応じた指標Ｉｄが選択され、特定距離に応じた大きさの指標Ｉｄが選択される。この選択した指標Ｉｄを示す信号を指標選択部９が指標重畳部８へ出力する。
【００８２】
このように、隣接する複数のソナーで物体Ｏｊが検出された場合は、特殊指標Ｉｄが物体Ｏｊを検出した複数の特定ソナーと物体とを示唆するとともに中の部分が透明の一の枠で表されるため、一の特殊指標Ｉｄの中に物体Ｏｊが明確に表示される。結果、ユーザはディスプレイ１８の画像において、物体Ｏｊの位置と方向とを明確に認識できる。
【００８３】
なお、上記第１及び第２の実施の形態では、カメラ１１〜１４が撮影した車両Ｃｒの周辺を示す画像それぞれを合成することで、車両Ｃｒを上方から俯瞰した合成画像を生成し、この合成画像に指標Ｉｄを重畳すると説明した。これに対して、そのような合成画像ではなくカメラ１１〜１４それぞれが撮影した車両Ｃｒの周辺を示す画像それぞれに指標Ｉｄを重畳するようにしても良い。
【００８４】
例えば、図１７に示すように、リヤカメラ１４が撮影した車両Ｃｒの後方周辺を示す画像に指標Ｉｄを重畳しても良い。この場合においても、物体Ｏｊを検出した特定ソナーの搭載位置に応じて指標Ｉｄの形態が変更されるとともに、特定距離に応じて指標Ｉｄの大きさが変更される。
【００８５】
＜３．第３の実施の形態＞
次に、第３の実施の形態について説明する。第１の実施の形態及び第２の実施の形態においては、画像表示システムＳｙが、物体Ｏｊを検出したソナーと物体とを示唆する枠の形態で表した指標Ｉｄを画像とともに表示することで、ユーザに対して車両Ｃｒの周辺の物体Ｏｊの位置と方向とを気づかせて車両をその物体Ｏｊに接触させないような運転を支援すると説明した。
【００８６】
これに対して、第３の実施の形態では、画像表示システムＳｙが、現在の操舵角に基づいて導出される走行軌跡のラインを表示する。このラインの長さを、操舵角が最大の場合に進行方向側の端部から走行軌跡の延伸方向が車両Ｃｒの前後方向に対して直交する位置までの走行軌跡の距離に対応する長さにして表示することで、ユーザの駐車スペースへ車両Ｃｒを駐車させる運転を支援する。
【００８７】
近年、駐車スペースへ車両Ｃｒが駐車される際に、車室内のディスプレイ１８へ車両Ｃｒの周辺を示す画像とともに、現在のステアリングの操舵角に基づいて予測される車両Ｃｒの走行軌跡を示すラインを表示させることで、ユーザの駐車スペースへ車両Ｃｒを駐車させる運転を支援する画像表示システムが提案されている。ところで、ステアリングを操作して操舵角を変更することによって、表示されるラインの車両Ｃｒの進行方向側の端部を駐車スペースの間口へ合わすように調整する場合に、ラインの長さが比較的短いときはその端部とその間口との間に相当の距離があるためその調整がうまくいかない虞がある。一方で、そのラインの長さが比較的長いときにはその端部が駐車スペースの間口を超えて位置するため調整がうまくいかない虞がある。結果、車両Ｃｒを駐車スペースへ駐車させるユーザの運転を適切に支援できない虞がある。
【００８８】
このため、走行軌跡のラインにおけるその端部を駐車スペースの間口へ合わす調整が可能な長さにして、ユーザの駐車スペースへ車両Ｃｒを駐車させる運転を適切に支援する技術を以下に説明する。
【００８９】
第３の実施の形態の画像表示システムＳｙの構成は第１の実施の形態と略同様であるため、以下、第１の実施の形態との相違点を中心に説明する。図１８は、第３の実施の形態の駐車制御システムＳＹの構成を示す図である。第３の実施の形態の駐車制御システムＳｙにおいては、指標重畳部８に代えて、走行軌跡重畳部８０を備えている。また、指標選択部９に代えて、走行軌跡導出部９０を備えている。また、この画像表示システムＳｙは、さらに、操舵角センサ２７を備えている。なお、この画像表示システムＳｙは、特定部１０、物体検出装置２０及びソナー２１〜２６を備えていない。
【００９０】
操舵角センサ２７は、ステアリングの回転軸近傍に備えられ、このステアリングがユーザにより操作された際に回転した角度を検知する。走行軌跡導出部９０は、操作されたステアリングの操舵角で車両Ｃｒが走行した場合に予測される軌跡（走行軌跡）を導出する。走行軌跡重畳部８０は導出された走行軌跡を合成画像へ重畳する。
＜３−１．走行軌跡導出処理＞
まず、走行軌跡導出部９０により実行される走行軌跡導出処理について説明する。この走行軌跡導出処理は、シフトポジションが”Ｒ”の場合に実行される。具体的には、シフトポジションセンサ１６からシフトポジションに関する信号を取得して、取得したその信号に基づいてシフトポジションが”Ｒ”であると判断する場合に、走行軌跡導出部９０が走行軌跡導出処理を実行する。また、その場合に、合成画像生成部７が画像合成処理を実行する。つまり、画像表示システムＳｙは、このような場合に車両Ｃｒの駐車モードとなり、走行軌跡導出処理、画像合成処理などを実行することで、車両Ｃｒの周辺を示す画像をディスプレイ１８へ表示させる。
【００９１】
図１９は、現在の操舵角θ１で車両Ｃｒを走行させた場合に予測される車両Ｃｒの走行軌跡の導出手法を説明する図である。なお、この走行軌跡の位置は、上方から俯瞰した車両Ｃｒの左右中央かつ前後中央の位置を原点にする二次元座標で定義された仮想マップにおいて把握される。この走行軌跡の導出方法としては周知の種々の手法が利用可能であるがそのうちの一例を説明する。
【００９２】
現在の操舵角θ１で車両Ｃｒを走行させた場合には、車両Ｃｒの後方の車軸Ａｘの左右中央の点Ｐ１によって、図１９の上部に示す円Ｃ１が描かれる。この円Ｃ１は、車両Ｃｒの後方の車軸Ａｘの延長線上に存在する点Ｃｐ１を中心とした円であり、操舵角θ１で車両Ｃｒを走行させた場合の車両Ｃｒの左右中央の走行軌跡に相当する。この円Ｃ１の半径Ｒ１は、以下の式（１）によって求められる。式（１）に示すＬは、車両Ｃｒのホイールベースの長さである。
【００９３】
Ｒ１＝Ｌ／ｔａｎθ１ …（１）
次に、円Ｃ１から所定の基準長Ｌｓのラインが切り出されることで中央ラインＬｎ１が導出される。
【００９４】
基準長Ｌｓは車両Ｃｒの最大の操舵角に基づいて規定される。図１９の下部に示す図は、この基準長Ｌｓの導出手法を説明する図である。図１９の下部に示すように、車両Ｃｒを最大の操舵角θ２で旋回させた場合には、車軸Ａｘの左右中央の点Ｐ１によって、円Ｃ２が描かれる。この円Ｃ２は、車両Ｃｒの後方の車軸Ａｘの延長線上に存在する点Ｃｐ２を中心とした円であり、最大の操舵角θ２で車両Ｃｒを走行させた場合の車両Ｃｒの左右中央の走行軌跡に相当する。この円Ｃ２の半径Ｒ２は、以下の式（２）で求められる。
【００９５】
Ｒ２＝Ｌ／ｔａｎθ２ …（２）
中心を点Ｃｐ２とし半径をＲ２とする円Ｃ２において、車両Ｃｒの車軸Ａｘの位置からマイナス９０度の位置、すなわち、円Ｃ２の延伸方向（接線の方向）が車両Ｃｒの前後方向に対して直交する位置（以下、「特定位置」という。）Ｐｔが把握される。この特定位置Ｐｔは、車両Ｃｒの走行軌跡の延伸方向が車両Ｃｒの前後方向に対して直交する位置である。そして、この円Ｃ２に沿った、車両Ｃｒの後端（進行方向側の端部）Ｅｄ３と特定位置Ｐｔとを両端とするラインＬｎ１ｘが把握される。このラインＬｎ１ｘの長さは、操舵角が最大の場合において車両Ｃｒの進行方向側の端部Ｅｄ３から走行軌跡の延伸方向が車両Ｃｒの前後方向に対して直交する特定位置Ｐｔまでの走行軌跡の距離を示し、この長さが基準長Ｌｓとなる。
【００９６】
このように導出される最大の操舵角θ２に基づく基準長Ｌｓが、現在の操舵角θ１に基づく中央ラインＬｎ１の長さとして採用される。この基準長は予め導出されて制御部４のメモリ内に記憶されている。走行軌跡導出部９０は、メモリ内に記憶されているこの基準長のラインを円Ｃ１から切り出して中央ラインＬｎ１を導出する。
【００９７】
次に、中央ラインＬｎ１に基づいて走行軌跡を示すラインを導出する。具体的には、図１９の上部に示すように、走行軌跡導出部９０は、中央ラインＬｎ１に応じて車両Ｃｒ左後輪及び右後輪それぞれの走行軌跡を示す左後輪ラインＬｎ２及び右後輪ラインＬｎ３を導出する。そして、この左後輪ラインＬｎ２及び右後輪ラインＬｎ３に基づいてハシゴ型のラインを導出する。
【００９８】
図２０は、左後輪ラインＬｎ２及び右後輪ラインＬｎ３に基づいたハシゴ型のラインの導出を説明する図である。左後輪ラインＬｎ２及び右後輪ラインＬｎ３（図２０の上に示す）はハシゴの支持部に相当する。この支持部に等間隔（例えば、中央ラインＬｎ６に沿って実際の１．０ｍに相当する間隔）でハシゴの足場（横棒）に相当するラインＬｎ４（図２０の中央に示す）が描かれる。さらに、複数のラインＬｎ４それぞれの中間に破線Ｌｎ５が描かれる。そして、ラインＬｎ２〜５それぞれに所定幅（例えば、３ｍｍ）が付けられることで走行軌跡を示すラインＬｎ６（図２０の下に示す）が描かれる。
【００９９】
また、ラインＬｎ４の近傍に、車両Ｃｒの後端からそれぞれのラインＬｎ４までの実際の距離を示す数字が付される。さらに、ラインＬｎ５の近傍に、車両Ｃｒの後端からそれぞれのラインＬｎ５までの実際の距離を示す数字が付される。この数字は目盛りＳｌとして機能する。
【０１００】
このような走行軌跡導出処理がされることによって、走行軌跡を示すラインＬｎ６の長さは、現在の操舵角θ１に関わらず、最大の操舵角の場合において、車両Ｃｒの進行方向側の端部Ｅｄ３から走行ラインＬｎ６の延伸方向が車両Ｃｒの前後方向に対して直交する特定位置Ｐｔまでの走行軌跡の距離に対応する長さ（基準長）に設定される。
＜３−２．走行軌跡重畳処理＞
次に、走行軌跡重畳部８０によって実行される走行軌跡重畳処理について説明する。図２１は、走行軌跡を示すラインＬｎ６を車両Ｃｒの周辺を示す画像への重畳を説明する図である。導出されたラインＬｎ６（図２１の左上に示す）が合成画像Ｉｇ１０（図２１の上中央に示す）の適切な位置へ重畳される。具体的には、車両Ｃｒを上方から俯瞰した合成画像Ｉｇ１０において、車両Ｃｒの左右中央かつ前後中央の位置を原点にする二次元座標で定義された仮想マップが設定される。また、前述したようにラインＬｎ６についても当該仮想マップ上において位置が把握されている。つまり、この仮想マップの座標を利用することでラインＬｎ６を正しい位置に重畳させ、合成画像Ｉｇ１０（図２１の右上に示す）が生成される。
【０１０１】
そして、この重畳された合成画像Ｉｇ１０とリヤカメラ１４が撮影した画像Ｉｇ１１とをセットにしたセット画像がディスプレイ１８に表示される（図２１の下に示す）。つまり、このセット画像が走行軌跡重畳部８０によって出力部６へ出力されて、さらに出力部６によって表示装置１７へ出力される。そして、そのセット画像が表示装置１７に備わるディスプレイ１８において表示される。
【０１０２】
このように、表示される走行軌跡を示すラインＬｎ６の長さが、現在の操舵角に関わらず、最大の操舵角の場合において車両Ｃｒの進行方向側の端部から走行軌跡であるラインの延伸方向が車両Ｃｒの前後方向に対して直交する位置までの走行軌跡の距離に対応する長さ（基準長）に設定されため、ユーザの車両Ｃｒを駐車スペースへ駐車する運転を適切に支援できる。
【０１０３】
つまり、ユーザが最も困難と感じる車両Ｃｒの駐車方法の一つは、所謂、車庫入れ駐車である。この車庫入れ駐車は、例えば、図２１の下に示すように走行路Ｃｓ上の車両Ｃｒの一旦停車位置から後方へ所定距離（例えば、２ｍ）進んだ位置に対して略直交する位置に存在する駐車スペースＰｓへ車両Ｃｒを駐車させなければならない。このため、そのラインＬｎ６の長さをそのような長さにすることで、車両Ｃｒを一旦停車位置において、ステアリングを最大限に操作すれば、そのラインＬｎ６の車両Ｃｒの進行方向側の端部を駐車スペースの間口へ適切に合わすことができる。結果、ユーザの車両Ｃｒを駐車スペースへ駐車する運転を適切に支援できる。
【０１０４】
また、そのラインＬｎ６に目盛りＳｌが付されているためユーザは車両Ｃｒと駐車スペースとの相対距離を容易に認識できる。
＜３−３．制御フロー＞
図２２は、画像表示システムＳｙにおける処理の流れを示す図である。この図２２に示す処理は、駐車モードの場合に所定の周期（例えば、１／３０秒周期）で繰り返される。
【０１０５】
まず、取得部２がカメラ１１〜１４により撮影された画像を取得する（ステップＳＣ１）。この画像には、車両Ｃｒの周辺が示されている。
【０１０６】
次に、合成画像生成部７は、取得された車両Ｃｒの周辺を示す複数の画像に基づいて、前述した合成画像生成処理を実行する（ステップＳＣ２）。この処理により、車両Ｃｒを上方より俯瞰した画像が得られる。
【０１０７】
次に、走行軌跡重畳部８０が操舵角データとホイールベースデータとを取得する（ステップＳＣ３）。つまり、走行軌跡重畳部８０は、操舵角センサ２７から入力した操舵角に関する信号に基づいて導出された現在の操舵角データを取得するとともに、不揮発性記憶部５から入力した車両Ｃｒのホイールベースデータを取得する。
【０１０８】
次に、走行軌跡導出部９０が取得した操舵角データとホイールベースデータとに基づいて走行軌跡を示すラインＬｎ６を導出する（ステップＳＣ４）。また、走行軌跡を示すラインＬｎ６の長さは、現在の操舵角に関わらず、基準長に設定される。そして、走行軌跡導出部９０は導出した走行軌跡を示すラインＬｎ６を走行軌跡重畳部８０へ出力する。
【０１０９】
次に、走行軌跡重畳部８０が入力した走行軌跡を示すラインＬｎ６を合成画像へ重畳する（ステップＳＣ５）。また、走行軌跡重畳部８０は重畳された合成画像とともにリヤカメラ１４が撮影した画像とセットにしたセット画像を生成する。そして、走行軌跡重畳部８０は、セット画像を出力部６へ出力し出力部６は表示装置１７へ出力する。
【０１１０】
次に、表示装置１７は入力したセット画像をディスプレイ１８へ表示させる（ステップＳＣ５）。
【０１１１】
このように、表示される走行軌跡を示すラインＬｎ６の長さが、現在の操舵角に関わらず、最大の操舵角の場合において車両Ｃｒの進行方向側の端部から走行軌跡であるラインの延伸方向が車両Ｃｒの前後方向に対して直交する位置までの走行軌跡の距離に対応する長さ（基準長）に設定されため、ユーザの車両Ｃｒを駐車スペースへ駐車する運転を適切に支援できる。
【０１１２】
また、そのラインＬｎ６に目盛りＳｌが付されているためユーザは車両Ｃｒと駐車スペースとの相対距離を容易に認識できる。
【０１１３】
なお、上記第３の実施の形態では、カメラ１１〜１４が撮影した車両Ｃｒの周辺を示す画像それぞれを合成することで、車両Ｃｒを上方から俯瞰した合成画像を生成し、この合成画像に走行軌跡を示すラインＬｎ６を重畳すると説明した。これに対して、そのような合成画像ではなくカメラ１１〜１４それぞれが撮影した車両Ｃｒの周辺を示す画像それぞれに走行軌跡を示すラインを重畳するようにしても良い。
【０１１４】
例えば、図２３に示すように、リヤカメラ１４が撮影した車両Ｃｒの後方周辺を示す画像に走行軌跡を示すラインＬｎ７を重畳しても良い。
【０１１５】
なお、上述した具体的実施の形態には以下の発明が含まれている。
【０１１６】
（１）
画像を表示する画像表示システムであって、車両の周辺を示す周辺画像を取得する画像取得手段と、前記車両の操舵角を取得する操舵角取得手段と、前記操舵角に基づいて、予測される前記車両の走行軌跡を導出する導出手段と、前記走行軌跡を示すラインを前記周辺画像へ重畳する重畳手段と、前記ラインを重畳した前記周辺画像を表示する表示手段と、を備え、前記重畳手段は、前記操舵角に関わらず前記ラインの長さを、前記操舵角が最大の場合において前記車両の進行方向側の端部から前記走行軌跡の延伸方向が前記車両の前後方向に対して直交する位置までの前記走行軌跡の距離に対応する長さとすることを特徴とする画像表示システム。
【０１１７】
これによれば、表示される走行軌跡を示すラインの長さが、現在の操舵角に関わらず、最大の操舵角の場合において車両Ｃｒの進行方向側の端部から走行軌跡であるラインの延伸方向が車両Ｃｒの前後方向に対して直交する位置までの走行軌跡の距離に対応する長さに設定されため、ユーザの車両Ｃｒを駐車スペースへ駐車する運転を適切に支援できる。
【０１１８】
（２）
上記（１）に記載の画像表示システムにおいて、前記重畳手段は、前記走行軌跡を示すラインに、前記車両の進行方向側の端部からの距離を示す目盛を付与することを特徴とする画像表示システム。
【０１１９】
これによれば、走行軌跡を示すラインに目盛りが付されているためユーザは車両Ｃｒと駐車スペースとの相対距離を容易に認識できる。
【符号の説明】
【０１２０】
１ 画像処理装置
２ 取得部
３ 画像生成部
４ 制御部
５ 不揮発性記憶部
６ 出力部
７ 合成画像生成部
８ 指標重畳部
９ 指標選択部
１０ 特定部
１７ 表示装置
２０ 物体検出装置
２７ 操舵角センサ
８０ 走行軌跡重畳部
９０ 走行軌跡導出部
【特許請求の範囲】
【請求項１】
画像を表示する画像表示システムであって、
車両の周辺を示す周辺画像を取得する取得手段と、
前記車両の互いに異なる位置に設けられ、それぞれ前記車両の周辺に存在する物体を検出する複数の検出手段と、
前記複数の検出手段のうち前記物体を検出した特定検出手段と前記物体とを示唆する枠の形態で表した指標を前記周辺画像へ重畳する重畳手段と、
前記指標が重畳された前記周辺画像を表示する表示手段と、
を備えることを特徴とする画像表示システム。
【請求項２】
請求項１に記載の画像表示システムにおいて、
前記重畳手段は、前記特定検出手段が複数ある場合は、該複数の特定検出手段と前記物体とを示唆する一の枠の形態で表した指標を前記周辺画像へ重畳することを特徴とする画像表示システム。
【請求項３】
請求項１又は２に記載の画像表示システムにおいて、
前記検出手段は、該検出手段と前記物体との距離を検出するものであり、
前記重畳手段は、前記距離に応じて前記指標の大きさを変更することを特徴とする画像表示システム。
【請求項４】
画像を処理する画像処理装置であって、
車両の周辺を示す周辺画像を取得する取得手段と、
前記車両の互いに異なる位置に設けられそれぞれ前記車両の周辺に存在する物体を検出する複数の検出手段のうち、前記物体を検出した特定検出手段を特定する特定手段と、
前記特定検出手段と前記物体とを示唆する枠の形態で表した指標を前記周辺画像へ重畳する重畳手段と、
前記指標が重畳された前記画像を表示装置へ出力する出力手段と、
を備えることを特徴とする画像処理装置。
【請求項５】
画像を表示する画像表示方法であって、
車両の周辺を示す周辺画像を取得する工程と、
前記車両の互いに異なる位置に設けられ、それぞれ前記車両の周辺に存在する物体を検出する複数の検出手段によって前記車両の周辺に存在する物体を検出する工程と、
前記複数の検出手段のうち前記物体を検出した特定検出手段と前記物体とを示唆する枠の形態で表した指標を前記周辺画像へ重畳する工程と、
前記指標が重畳された前記周辺画像を表示する工程と、
を備えることを特徴とする画像表示方法。
【請求項６】
画像を表示する画像表示システムであって、
車両の周辺を示す周辺画像を取得する取得手段と、
前記車両の周辺に存在する物体を検出する検出手段と、
前記物体を検出した検出手段と前記物体とを示唆する枠の形態で表した指標を前記周辺画像へ重畳する重畳手段と、
前記指標が重畳された前記周辺画像を表示する表示手段と、
を備えることを特徴とする画像表示システム。
【請求項１】
画像を表示する画像表示システムであって、
車両の周辺を示す周辺画像を取得する取得手段と、
前記車両の互いに異なる位置に設けられ、それぞれ前記車両の周辺に存在する物体を検出する複数の検出手段と、
前記複数の検出手段のうち前記物体を検出した特定検出手段と前記物体とを示唆する枠の形態で表した指標を前記周辺画像へ重畳する重畳手段と、
前記指標が重畳された前記周辺画像を表示する表示手段と、
を備えることを特徴とする画像表示システム。
【請求項２】
請求項１に記載の画像表示システムにおいて、
前記重畳手段は、前記特定検出手段が複数ある場合は、該複数の特定検出手段と前記物体とを示唆する一の枠の形態で表した指標を前記周辺画像へ重畳することを特徴とする画像表示システム。
【請求項３】
請求項１又は２に記載の画像表示システムにおいて、
前記検出手段は、該検出手段と前記物体との距離を検出するものであり、
前記重畳手段は、前記距離に応じて前記指標の大きさを変更することを特徴とする画像表示システム。
【請求項４】
画像を処理する画像処理装置であって、
車両の周辺を示す周辺画像を取得する取得手段と、
前記車両の互いに異なる位置に設けられそれぞれ前記車両の周辺に存在する物体を検出する複数の検出手段のうち、前記物体を検出した特定検出手段を特定する特定手段と、
前記特定検出手段と前記物体とを示唆する枠の形態で表した指標を前記周辺画像へ重畳する重畳手段と、
前記指標が重畳された前記画像を表示装置へ出力する出力手段と、
を備えることを特徴とする画像処理装置。
【請求項５】
画像を表示する画像表示方法であって、
車両の周辺を示す周辺画像を取得する工程と、
前記車両の互いに異なる位置に設けられ、それぞれ前記車両の周辺に存在する物体を検出する複数の検出手段によって前記車両の周辺に存在する物体を検出する工程と、
前記複数の検出手段のうち前記物体を検出した特定検出手段と前記物体とを示唆する枠の形態で表した指標を前記周辺画像へ重畳する工程と、
前記指標が重畳された前記周辺画像を表示する工程と、
を備えることを特徴とする画像表示方法。
【請求項６】
画像を表示する画像表示システムであって、
車両の周辺を示す周辺画像を取得する取得手段と、
前記車両の周辺に存在する物体を検出する検出手段と、
前記物体を検出した検出手段と前記物体とを示唆する枠の形態で表した指標を前記周辺画像へ重畳する重畳手段と、
前記指標が重畳された前記周辺画像を表示する表示手段と、
を備えることを特徴とする画像表示システム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【公開番号】特開２０１２−２４４６００（Ｐ２０１２−２４４６００Ａ）
【公開日】平成２４年１２月１０日（２０１２．１２．１０）
【国際特許分類】
【出願番号】特願２０１１−１１６１６３（Ｐ２０１１−１１６１６３）
【出願日】平成２３年５月２４日（２０１１．５．２４）
【出願人】（０００２３７５９２）富士通テン株式会社 (3,383)
【Ｆターム（参考）】
【公開日】平成２４年１２月１０日（２０１２．１２．１０）
【国際特許分類】
【出願日】平成２３年５月２４日（２０１１．５．２４）
【出願人】（０００２３７５９２）富士通テン株式会社 (3,383)
【Ｆターム（参考）】
[ Back to top ]