車両外部撮影表示システムおよび画像表示制御装置
【課題】障害物センサによる障害物の検出に基づいて、車載カメラの撮影画像のユーザへの表示形態を制御する技術において、車載カメラの構成を従来よりも簡易にする。
【解決手段】車両外部撮影表示システムは、複数の障害物センサのうちすれかが障害物を検出した場合（１１０、１３０）、当該障害物までの距離が基準距離より遠い間は（１７０）、カメラからの撮影画像のうち、検出を行った障害物センサに対応する検出領域を切り出し（１８０）、その切り出した画像に当該障害物の検出位置を重畳した画像（１９５）を、視点変換を行うことなく表示する。そして、当該障害物までの距離が基準距離より短くなると（１７０）、カメラからの撮影画像のうち、検出を行った障害物センサに対応する検出領域を切り出すと共に切り出した画像に鳥瞰図変換を施し（１９０）、その切り出した画像に当該障害物の検出位置を重畳した画像（１９５）を表示する。
【解決手段】車両外部撮影表示システムは、複数の障害物センサのうちすれかが障害物を検出した場合（１１０、１３０）、当該障害物までの距離が基準距離より遠い間は（１７０）、カメラからの撮影画像のうち、検出を行った障害物センサに対応する検出領域を切り出し（１８０）、その切り出した画像に当該障害物の検出位置を重畳した画像（１９５）を、視点変換を行うことなく表示する。そして、当該障害物までの距離が基準距離より短くなると（１７０）、カメラからの撮影画像のうち、検出を行った障害物センサに対応する検出領域を切り出すと共に切り出した画像に鳥瞰図変換を施し（１９０）、その切り出した画像に当該障害物の検出位置を重畳した画像（１９５）を表示する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車両の外部を撮影してユーザに表示する車両外部撮影表示システム、および、当該車両外部撮影表示システムにおいて用いられる画像表示制御装置に関する。
【背景技術】
【０００２】
車両の周囲の一部を撮影する１つのカメラと、当該一部における障害物を検出する１つの障害物センサとから成る組を複数組有し、それらのうちある障害物センサが障害物を検出したことに基づいて、その障害物センサと組になるカメラの撮影画像のユーザへの表示形態を制御する技術が、特許文献１に記載されている。
【特許文献１】特開２００６−２７０２６７号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかし、上記の発明においては、障害物センサの数に合わせてカメラを装備し、また、各カメラの撮影領域を障害物センサの検出領域に合わせる必要がある。
【０００４】
本発明は上記点に鑑み、障害物センサによる障害物の検出に基づいて、車載カメラの撮影画像のユーザへの表示形態を制御する技術において、カメラの構成を従来よりも簡易にすることを目的とする。
【課題を解決するための手段】
【０００５】
このように、障害物センサ１〜４の検出領域２１〜２４を１つのカメラの撮影領域がカバーするようになることで、障害物センサの数に合わせてカメラを装備する必要がなくなり、また、複数装備した場合の各カメラの撮影領域を障害物センサの検出領域に合わせる必要がなくなる。したがって、車両外部撮影表示システムにおけるカメラの構成が従来よりも簡易になる。
【０００６】
また、カメラの撮影画像のうち、障害物を検出した障害物センサの検出領域に対応する部分が切り出されてユーザに表示される。したがって、カメラの撮影画像とユーザへの表示画像との関係に、どの障害物センサが障害物を検出したかを反映させることができる。結果として、ユーザの障害物への注意を強く喚起することができる。
【０００７】
なお、本明細書において、「領域を含む」とは、領域全体を含むこと、および、領域の一部を含むことの両方を包含する概念である。
【０００８】
また、本発明の効果は、カメラによる撮影領域の水平画角が１２０°以上である場合に、よりその効果を発揮する。
【０００９】
また、画像表示制御装置は、第１の障害物センサおよび第２の障害物センサのいずれも障害物を検出しなかったことに基づいて、その表示対象の視点が撮影画像と同じである表示画像を画像表示装置に表示させるようになっていてもよい。このようになっていることで、ユーザは、障害物センサが障害物を検出していないときには、そのことをより明確に認識することができるようになる。なお、ここで言う「同じ」とは、人にとって同じように見える程度に類似していることをも含む概念である。
【００１０】
また、撮影領域は、その端部に車両の端部を含み、画像表示制御装置は、加工処理において、第１の部分画像を、その画像端部が当該車両端部を含むように切り出すようになっていてもよい。このように、表示された画像中に車両の端部が表示されることで、ユーザは、障害物と車両との距離を視覚的に容易に把握することができるようになる。
【００１１】
また、画像表示制御装置は、加工処理において、第１の部分画像の外形を、撮影画像の外形に対して相似となるように切り出すようになっていてもよい。このようになっていることで、切り出しの加工処理がユーザに対して視覚的な違和感を与える可能性が低下する。
【００１２】
また、画像表示制御装置は、加工処理において、第１の部分画像が、その左右方向中央に、第１の検出領域の左右方向中央（１１〜１４）が位置するよう、第１の部分画像を切り出すようになっていてもよい。このようになっていることで、切り出されて表示される画像が、より適切に障害物センサの検出領域を表すことができるようになる。
【００１３】
また、第１の障害物センサは、第１の検出領域内の障害物の、車両からの距離を検出するようになっていてもよい。
【００１４】
このように障害物までの距離の検出が可能な場合、画像表示制御装置は、加工処理において、第１の障害物センサによって検出された車両からの距離に相当する撮影画像中の位置を、第１の部分画像がその上半部分に含むように、第１の部分画像を切り出すようになっていてもよい。なお、ここでいう「上半部分」とは、画像表示装置において表示された上下を基準とする上半部分をいう。
【００１５】
このようになっていることで、ユーザは、切り出されて表示された画像中に、障害物を認知することができる。また、表示された画像中で、障害物がその上半分にあるので、障害物から車両までの間の空間にその表示領域を多く割くことができるようになる。
【００１６】
また、このように障害物までの距離の検出が可能な場合、画像表示制御装置は、加工処理において、切り出した第１の部分画像を、第１の障害物センサによって検出された車両からの距離に応じて変化する方法で加工したものを加工後画像とするようになっていてもよい。
【００１７】
このようになっていることで、ユーザは、障害物の距離に応じてその表示形態が変化する画像を見ることができるようになるので、障害物までの距離をより容易に把握することができるようになると共に、障害物までの距離に適した形態での表示を受けることができるようになる。
【００１８】
具体的には、画像表示制御装置は、加工処理において、切り出した第１の部分画像を鳥瞰図に変換したものを加工後画像とし、鳥瞰図における俯角を第１の障害物センサによって検出された車両からの距離が短くなるほど大きくするようになっていてもよい。
【００１９】
このような場合、障害物が車両に近づくほど、表示される画像はより上から見下ろした形態になる。したがって障害物が車両に近づくほど、すなわち、障害物と車両１０との接触の危険性が高まるほど、障害物と車両との関係がよりわかりやすい表示形態に、表示画像が変化する。
【００２０】
また、画像表示制御装置は、加工処理において、第１の障害物センサが障害物を検出し、それと同時期に、第２の障害物センサが障害物を検出したことに基づいて、撮影画像から第１の検出領域および第２の検出領域を含む第３の部分画像を切り出して前記加工後画像とするようになっていてもよい。このようになっていることで、複数の障害物が検出された場合、それら障害物が表示画像中に共に含まれる可能性が高くなる。
【００２１】
このとき、画像表示制御装置は、加工処理において、第３の部分画像が、その左右方向中央に、第１の検出領域の左右方向中央（１１〜１４）および第２の検出領域の左右方向中央（１１〜１４）から左右方向に等距離にある位置が位置するよう、第３の部分画像を切り出すようになっていてもよい。このようになっていることで、表示画像中の検出領域の位置が、よりユーザにとって見易い位置となる。
【００２２】
また、第１の障害物センサが、第１の検出領域内の障害物の、車両からの距離を検出し、第２の障害物センサが、第２の検出領域内の障害物の、車両からの距離を検出する場合、画像表示制御装置は、加工処理において、第１の障害物センサによって検出された車両からの距離と、第２の障害物センサによって検出された車両からの距離と、のうち短い方に相当する撮影画像中の位置を、第３の部分画像がその上半部分に含むように、第３の部分画像を切り出すようになっていてもよい。
【００２３】
このようになっていることで、複数の障害物が検出されても、そのうち車両に近い方がユーザに見易くなるように切り出し範囲が設定され、また、当該車両に近い方と車両との空間に表示画像の表示範囲を多く割くことができるように切り出し範囲が設定されるので、ユーザは、接触に対する緊急性のより高い方の障害物をより適切に認識することができるようになる。
【００２４】
また、本発明の特徴は、車両の外部の撮影領域（２０）を撮影し、その撮影の結果の撮影画像を出力するカメラ（５ａ）と、当該撮影領域に含まれる第１の検出領域（２１、２２、２３、２４）における障害物を検出する第１の障害物センサ（１〜４）と、当該撮影領域に含まれ、当該第１の検出領域とは異なる第２の検出領域（２１、２２、２３、２４）における障害物を検出する第２の障害物センサ（１〜４）と、画像を当該車両のユーザに表示する画像表示装置（７）と、と信号をやり取りすることで、当該カメラから出力された当該撮影画像に対して加工処理を施し、当該加工処理が施された後の加工後画像を、当該画像表示装置（７）に表示させる画像表示制御装置であって、
当該加工処理において、当該第１の障害物センサが障害物を検出したことに基づいて、当該撮影画像から当該第１の検出領域を含む第１の部分画像を切り出して当該加工後画像とし、また、当該第２の障害物センサが障害物を検出したことに基づいて、当該撮影画像から当該第２の検出領域を含みかつ当該第１の部分画像と異なる第２の部分画像を切り出して当該加工後画像とすることを特徴とする画像表示制御装置としても捉えることができる。
【００２５】
なお、この「課題を解決するための手段」において示された第１の障害物センサのすべての機能を、更に第２の障害物センサが有していてもよい。その場合、画像表示制御装置は、第１の障害物センサ、第１の検出領域、および第１の部分画像について行った上記の処理を、それぞれ第２の障害物センサ、第２の検出領域、および第２の部分画像についても行うようになっていてもよい。
【００２６】
なお、上記特許請求の範囲における括弧内の符号は、特許請求の範囲に記載された用語と後述の実施形態に記載される当該用語を例示する具体物等との対応関係を示すものである。
【発明を実施するための最良の形態】
【００２７】
以下、本発明の一実施形態について説明する。図１に、車両１０に搭載された本実施形態に係る車両外部撮影表示システムの構成を概略的に示す。車両外部撮影表示システムは、障害物センサ１〜４、後方撮影ユニット５、ソナーＥＣＵ６、およびディスプレイ７を有している。
【００２８】
障害物センサ１〜４は、音波を送出し、その音波の反射波を検出し、その音波の送出タイミングと反射波の検出タイミングとの間の時間差から、自己から障害物までの距離を繰り返し（例えば０．１秒毎に）特定し、特定した距離を示す検出信号をソナーＥＣＵ６に出力するソナーである。障害物センサ１〜４は、それぞれが車両１０中の異なった位置に搭載され、また、障害物を検出することが可能な領域がそれぞれ異なるように設置されている。
【００２９】
具体的には、障害物センサ１は、車両１０の後端部右側端に取り付けられ、車両１０の後端部右側端の周囲の検出領域２１内の障害物の存在および自己から当該障害物までの距離（すなわち車両１０の後端部右側端から障害物までの距離）を検出することができるように設置されている。
【００３０】
また、障害物センサ２は、車両１０の後端部中央やや右側に取り付けられ、当該取り付け位置の後方の検出領域２２内の障害物の存在および自己から当該障害物までの距離（すなわち車両１０の後端部から障害物までの距離）を検出することができるように設置されている。
【００３１】
また、障害物センサ３は、車両１０の後端部中央やや左側に取り付けられ、当該取り付け位置の後方の検出領域２３内の障害物の存在および自己から当該障害物までの距離（すなわち車両１０の後端部から障害物までの距離）を検出することができるように設置されている。
【００３２】
また、障害物センサ４は、車両１０の後端部左側端に取り付けられ、車両１０の後端部左側端の周囲の検出領域２４内の障害物の存在および自己から当該障害物までの距離（すなわち車両１０の後端部左側端から障害物までの距離）を検出することができるように設置されている。
【００３３】
したがって、障害物センサ１〜４の設置位置は、車両１０の後端部右側端から左側端へ、障害物センサ１、障害物センサ２、障害物センサ３、障害物センサ４の順に並んでいる。また、検出領域２１〜２４は、車両１０の後方右側から後方左側へ、検出領域２１、検出領域２２、検出領域２３、検出領域２４の順に並んでいる。これら障害物センサ１〜４の検出領域の和は、カメラ５ａの水平画角、すなわち、カメラ５ａの撮影領域２０の左右方向の角度をほぼすべてカバーしている。なお、検出領域２１と検出領域２２、検出領域２２と検出領域２３、検出領域２３と検出領域２４は、それぞれ部分的に重複するようになっている。
【００３４】
なお、図１中の検出軸１１〜１４は、検出軸１１〜１４の中心位置および対応する障害物センサ１〜４をそれぞれ通る直線である。この検出軸１１〜１４はそれぞれ、各検出領域２１〜２４の左右方向中央を繋ぐ線でもある。
【００３５】
ディスプレイ７は、後方撮影ユニット５から画像の信号を受けると、その信号を示す画像をユーザに表示する。
【００３６】
後方撮影ユニット５は、カメラ５ａよびカメラＥＣＵ５ｂを有している。カメラ５ａは、車両１０の後端部に取り付けられ、車両１０の後方を広角的に繰り返し（例えば０．１秒間隔で）撮影し、その撮影結果の撮影画像をカメラＥＣＵ５ｂに出力する。カメラ５ａの撮影可能範囲は、撮影領域２０のようになっている。すなわち、撮影領域２０は、検出軸１１〜１４を含み、その画角は１２０°以上となっている。また、その撮影領域２０の一端は、車両１０の後端部を含んでいるようになっていてもよい。図２に、カメラ５ａが出力する撮影画像の一例７０を示す。ここで、撮影画像７０の上方向が、車両１０から離れる方向に該当し、左右方向が、車両１０から見て左右の方向となる。なお、撮影画像７０中の４本の縦方向の線は、検出軸１１〜１４を仮想的に表したものであり、出力される撮影画像７０に実際にこれら検出軸１１〜１４が表されているわけではない。
【００３７】
カメラＥＣＵ５ｂは、カメラ５ａから受けた撮影画像に対してあるときは加工処理を施し、またあるときは加工処理を施さず、当該加工処理が施された加工後画像または加工処理が施されなかった撮影画像を、表示画像として、ディスプレイ７に表示させる。なお、加工処理の内容は、ソナーＥＣＵ６からの信号によって制御される。
【００３８】
図３に、カメラＥＣＵ５ｂがくり返し（例えばカメラ５ａの撮影タイミング毎に）実行する処理２００の内容をフローチャートで示す。カメラＥＣＵ５ｂは、このような処理２００を実現するプログラムを読み出して実行するマイコンとして実現されてもよいし、このような処理２００を実行するための回路構成を有する専用の電子回路として実現されてもよい。
【００３９】
処理２００においては、カメラＥＣＵ５ｂは、まずステップ２１０で画像表示指令を受け付ける。この画像表示指令は、図示しない操作装置に対するユーザの所定の操作があったことに基づいて、当該操作装置から出力される信号ようになっていてもよいし、車両１０のドライブポジションを検出するセンサから、当該ドライブポジションが後退ポジションにある旨の信号であってもよいし、他のどのようなものから出力される信号であってもよい。
【００４０】
続いてステップ２２０で、カメラＥＣＵ５ｂは、ソナーＥＣＵ６から障害物の検出位置情報を取得する。この検出位置情報のソナーＥＣＵ６による出力については後述する。続いてステップ２３０で、カメラ５ａから出力された撮影画像を取り込む。
【００４１】
続いてステップ２４０で、撮影画像を加工して（または場合によっては加工せず）、表示画像を生成し、さらにステップ２５０では、生成した表示画像をディスプレイ７に出力する。なお、ステップ２４０における加工の内容（加工しないことも含む）は、後述するソナーＥＣＵ６からの表示指令に基づいて決定する。
【００４２】
ソナーＥＣＵ６は、障害物センサ１〜４から出力された信号に基づいて、障害物の検出位置情報および表示指令をカメラＥＣＵ５ｂに出力するために、図４に示す処理１００を繰り返し（例えば０．１秒毎に）実行する。ソナーＥＣＵ６は、このような処理１００を実現するプログラムを読み出して実行するマイコンとして実現されてもよいし、このような処理１００を実行するための回路構成を有する専用の電子回路として実現されてもよい。
【００４３】
この処理１００の実行において、ソナーＥＣＵ６は、まずステップ１１０で、障害物があるか否かを判定する。すなわち、障害物センサ１〜４のいずれかから上記検出信号を受信したか否かを判定し、受信したと判定すると続いてステップ１３０を実行し、受信していないと判定すると続いてステップ１２０を実行する。
【００４４】
ステップ１２０では、広角画像表示指令をカメラＥＣＵ５ｂに出力し、その後、処理１００の１回分の実行を終了する。広角画像表示指令を受けて検出位置情報を受信しなかったカメラＥＣＵ５ｂは、処理２００のステップ２４０で、広角の撮影画像から画像の歪の少ない画角（例えば、中央の１２０°）部分を切り出し表示画像とする。
【００４５】
ステップ１３０では、検出位置が中央部であるか角部であるかを判定する。検出信号を出力したのが障害物センサ２または障害物センサ３である場合、中央であると判定して続いてステップ１４０を実行し、検出信号を出力したのが障害物センサ１または障害物センサ４である場合、角であると判定して続いてステップ１７０を実行する。
【００４６】
ステップ１４０では、受けた検出信号中に含まれる距離の情報に基づいて、当該距離（すなわち車両１０後端部から障害物までの距離）が第１基準距離より大きいか否かを判定する。この第１基準距離は、あらかじめ記憶された一定値（例えば３メートル）であってもよいし、各種条件に基づいて変動する（例えば、車速が大きくなると長くなる）値であってもよいし、一定の範囲内でランダムに決まる値であってもよい。第１基準距離より大きい場合続いてステップ１５０を実行し、第１基準距離以下である場合続いてステップ１６０を実行する。
【００４７】
ステップ１５０では、ステップ１２０と同じく広角画像表示指令をカメラＥＣＵ５ｂに出力する。続いてステップ１９５で、検出信号に含まれる距離の情報および当該障害物を検出した障害物センサを特定する情報を共に含む検出位置情報を、カメラＥＣＵ５ｂに出力し、その後、処理１００の１回分の実行を終了する。
【００４８】
広角画像表示指令と共に検出位置情報を受信したカメラＥＣＵ５ｂは、処理２００のステップ２４０で、広角の撮影画像中の障害物推定位置に障害物マークを重畳した結果の加工画像を、表示画像とする。図５に、広角の撮影画像に障害物マークが重畳された画像の例として、障害物センサ３に検出された障害物３１の位置に障害物マーク３２が重畳された広角画像３０を示す。
【００４９】
ここで、検出された障害物の障害物推定位置は、当該障害物を検出した障害物センサに対応する検出軸上の一点として特定する。より具体的には、当該検出軸上の、当該障害物について検出した距離だけ車両１０の後端部から離れた位置とする。検出軸上の位置と、当該位置の車両１０の後端部からの距離との対応関係は、カメラ５ａの取り付け角等の撮影特性に応じて、車両外部撮影表示システムの車両１０への取り付け時にあらかじめ決められ、例えばソナーＥＣＵ６の記憶媒体中に記録される。
【００５０】
ステップ１６０では、鳥瞰画像表示指令をカメラＥＣＵ５ｂに出力する。続いてステップ１９５を上述の通り実行し、その後、処理１００の１回分の実行を終了する。
【００５１】
鳥瞰画像表示指令と共に検出位置情報を受信したカメラＥＣＵ５ｂは、処理２００のステップ２４０で、広角の撮影画像に鳥瞰図変換を施し、当該鳥瞰図変換の結果生成された鳥瞰図中の障害物推定位置に障害物マークを重畳し、その結果の加工画像を、表示画像とする。図６に、鳥瞰図に障害物マークが重畳された画像の例として、障害物センサ３に検出された障害物４１の位置に障害物マーク４２が重畳された鳥瞰画像４０を示す。
【００５２】
ここで、鳥瞰図変換について説明する。画像の視点変換は、周知のアフィン変換等の技術を用いて、ある視点から撮影された画像を、別の視点から見たとき見える画像のように変換することをいう。鳥瞰図変換は、視点変換の一例であり、地面付近から地面付近を撮影した画像を、より高い位置から見える画像に変換することをいう。このような技術は、既に周知のものである（例えば、特開２００３−２６４８３５号公報参照）。本実施形態においては、ソナーＥＣＵ６から受けた検出位置情報に含まれる距離が短いほど、鳥瞰図変換における視点の高さを上げるようになっている。
【００５３】
また、鳥瞰図変換によって生成された鳥瞰図中の障害物推定位置については、障害物の位置を、例えば検出軸上の地上ゼロメートルの一点であり、当該検出軸上の、当該障害物について検出した距離だけ車両１０の後端部から離れた位置であると仮定し、その位置に対して当該鳥瞰図変換と同じ変換をすることで得た座標位置を、鳥瞰図中の障害物推定位置であるとする。
【００５４】
障害物センサ１または障害物センサ４で障害物が検出された場合に実行するステップ１７０では、受けた検出信号中に含まれる距離の情報に基づいて、当該距離（すなわち車両１０後端部から障害物までの距離）が第２基準距離より大きいか否かを判定する。この第２基準距離は、あらかじめ記憶された一定値（例えば２メートル）であってもよいし、各種条件に基づいて変動する（例えば、車速が大きくなると長くなる）値であってもよいし、一定の範囲内でランダムに決まる値であってもよい。第２基準距離より大きい場合続いてステップ１８０を実行し、第２基準距離以下である場合続いてステップ１９０を実行する。
【００５５】
ステップ１８０では、切り出し広角画像表示指令をカメラＥＣＵ５ｂに出力し、続いてステップ１９５を上述の通り実行し、その後、処理１００の１回分の実行を終了する。切り出し広角画像表示指令と共に検出位置情報を受信したカメラＥＣＵ５ｂは、処理２００のステップ２４０で、広角の撮影画像中の一部（第１の部分画像または第２の部分画像の一例に相当する）を切り出し、切り出した結果の切り出し画像中の障害物推定位置に障害物マークを重畳した結果の加工画像を、表示画像とする。なお、障害物推定位置への障害物マークの重畳の方法は、ステップ１５０に対応するカメラＥＣＵ５ｂの処理における方法と同じである。
【００５６】
ここで、切り出しの方法について、図７を用いて説明する。撮影画像７０中の切り出し範囲７１、すなわち切り出し画像のカバー範囲は、障害物を検出した障害物センサに対応する検出軸を中央とした、撮影画像７０と同じアスペクト比の矩形範囲である。また、切り出し範囲７１の下端部は、撮影画像７０の下端部と一致する。また、切り出し範囲７１の上端の位置については、当該障害物について検出した距離に対応する障害物推定位置が、当該切り出し範囲７１の上半分の特定の位置（例えば切り出し範囲７１の上端から切り出し範囲７１の全体の１／４だけ下がった位置）に収まるように、設定する。このようになっていることで、検出した障害物までの距離が近いほど、切り出し画像は小さくなる。ディスプレイ７における画像の表示範囲の実寸は、切り出し画像の大きさに依らないので、切り出し画像が小さくなるということは、表示画像の撮影画像に対する拡大率が増加することと同じである。
【００５７】
図８に、ステップ１８０に対応するカメラＥＣＵ５ｂの処理において表示画像として用いられる切り出し画像の一例５０を示す。ここで、障害物５１上に障害物マーク５２が重畳されている。
【００５８】
ステップ１９０では、切り出し鳥瞰画像表示指令をカメラＥＣＵ５ｂに出力する。続いてステップ１９５を上述の通り実行し、その後、処理１００の１回分の実行を終了する。
【００５９】
切り出し鳥瞰画像表示指令と共に検出位置情報を受信したカメラＥＣＵ５ｂは、処理２００のステップ２４０で、広角の撮影画像中の一部（第１の部分画像または第２の部分画像の一例に相当する）を切り出し、切り出した結果の切り出し画像に鳥瞰図変換を施し、当該鳥瞰図変換の結果生成された鳥瞰図中の障害物推定位置に障害物マークを重畳し、その結果の加工画像を、表示画像とする。ここで、切り出しの方法は、ステップ１８０に対応するカメラＥＣＵ５ｂの処理における方法と同じであり、鳥瞰図変換および重畳の方法は、ステップ１６０およびそれに続くステップ１９５に対応するカメラＥＣＵ５ｂの処理における方法と同じである。
【００６０】
以上のような処理１００をソナーＥＣＵ６が繰り返し実行することで出力する検出位置情報および表示指令により、カメラＥＣＵ５ｂは、障害物センサ１および障害物センサ４のうちいずれかが障害物を検出した場合（ステップ１１０、１３０参照）、当該障害物までの距離が第２基準距離より遠い間は（ステップ１７０参照）、カメラ５ａからの撮影画像のうち、検出を行った障害物センサに対応する検出軸を中心とする部分を切り出し（ステップ１８０参照）、その切り出した画像に当該障害物の検出位置を重畳した画像（ステップ１９５参照）を、視点変換を行うことなくディスプレイ７に出力する。そして、当該障害物までの距離が第２基準距離より短くなると（ステップ１７０参照）、カメラ５ａからの撮影画像のうち、検出を行った障害物センサに対応する検出軸を中心とする部分を切り出すと共に切り出した画像に鳥瞰図変換を施し（ステップ１９０参照）、その切り出した画像に当該障害物の検出位置を重畳した画像（ステップ１９５参照）を、ディスプレイ７に出力する。
【００６１】
また、カメラＥＣＵ５ｂは、障害物センサ２および障害物センサ３のうちいずれかが障害物を検出した場合（ステップ１１０、１３０参照）、当該障害物までの距離が第１基準距離より遠い間は（ステップ１４０参照）、カメラ５ａが出力した広角の撮影画像に対して鳥瞰図変換も行わず（ステップ１５０参照）、当該広角の撮影画像に当該障害物の検出位置を重畳した画像（ステップ１９５参照）を、ディスプレイ７に出力する。そして、当該障害物までの距離が第１基準距離より短くなると（ステップ１４０参照）、カメラ５ａからの撮影画像のうち、検出を行った障害物センサに対して撮影画像に鳥瞰図変換を施し（ステップ１６０参照）、その鳥瞰図変換を施した画像に当該障害物の検出位置を重畳した画像（ステップ１９５参照）を、ディスプレイ７に出力する。
【００６２】
また、カメラＥＣＵ５ｂは、障害物センサ１〜４のいずれも障害物を検出していないときには（ステップ１１０参照）、カメラ５ａが出力した広角の撮影画像から画像の歪の少ない画角（例えば、中央の１２０°）部分を切り出しディスプレイ７に出力する（ステップ１２０参照）。このようになっていることで、ユーザは、障害物センサ１〜４が障害物を検出していないときには、そのことをより明確に認識することができるようになる。
【００６３】
このように、障害物センサ１〜４の検出領域を１つのカメラの撮影領域がカバーするようになることで、障害物センサの数に合わせてカメラを装備する必要がなくなり、また、複数装備した場合の各カメラの撮影領域を障害物センサの検出領域に合わせる必要がなくなる。したがって、車両外部撮影表示システムにおけるカメラの構成が従来よりも簡易になる。
【００６４】
また、カメラ５ａの撮影画像のうち、障害物を検出した障害物センサ１、４の検出領域に対応する部分が切り出されてユーザに表示される。したがって、カメラ５ａの撮影画像とユーザへの表示画像との関係に、どの障害物センサが障害物を検出したかを反映させることができる。結果として、ユーザの障害物への注意を強く喚起することができる。
【００６５】
また、カメラ５ａの撮影画像のうち、障害物を検出したのが障害物センサ２、３である場合、新たな画像の切り出しは行わない。これは、このような場合に画像の切り出しを新たに行うと、ディスプレイ７の表示画像中から、車両１０の後端部右端および後端部左端の両方がなくなってしまうからである。車両１０の後端部右端および後端部左端は、直接ドライバーの位置からは見えないことが多いので、ディスプレイ７に表示させることが望ましい場合もある。
【００６６】
また、カメラ５ａの撮影領域は、その端部に車両１０の端部を含み、カメラＥＣＵ５ｂは、加工処理において、切り出し画像（第１の部分画像の一例に相当する）を、その画像端部が当該車両端部を常に含むように切り出すようになっていてもよい。このように、表示された画像中に車両１０の端部が表示されることで、ユーザは、検出された障害物と車両１０との距離を視覚的に容易に把握することができるようになる。
【００６７】
また、カメラＥＣＵ５ｂは、加工処理において、切り出し画像のアスペクト比（外形の一例に相当する）を、撮影画像のアスペクト比と同じになるように切り出す。このようになっていることで、切り出しによってユーザに対して視覚的な違和感を与える可能性が低下する。
【００６８】
また、カメラＥＣＵ５ｂは、加工処理において、切り出し画像が、その左右方向中央に、障害物を検出した障害物センサの検出軸が位置するよう、切り出しを行う。このようになっていることで、切り出されて表示される画像が、より適切に障害物センサの検出領域を表すことができるようになる。
【００６９】
また、カメラＥＣＵ５ｂは、加工処理において、障害物センサによって検出された車両からの距離に相当する撮影画像中の位置を、切り出し画像がその上半部分（すなわち車両１０から遠い側の半分）に含むように、切り出しを行うようになっていてもよい。
【００７０】
このようになっていることで、ユーザは、切り出されて表示された画像中に、障害物を認知することができる。また、表示された画像中で、障害物がその上半分にあるので、障害物から車両までの間の空間にその表示領域を多く割くことができるようになる。
【００７１】
また、カメラＥＣＵ５ｂは、加工処理において、切り出した画像に鳥瞰図変換を施す場合、鳥瞰図変換における俯角を、障害物センサによって検出された車両からの距離が短くなるほど大きくする。
【００７２】
このような場合、障害物が車両１０に近づくほど、表示される画像はより上から見下ろした形態になる。したがって障害物が車両１０に近づくほど、すなわち、障害物と車両１０との接触の危険性が高まるほど、障害物と車両１０との関係がよりわかりやすい表示形態に、表示画像が変化する。
【００７３】
また、カメラＥＣＵ５ｂは、加工処理において、切り出し画像の撮影画像に対する大きさの比を、障害物センサによって検出された車両からの距離が短くなるほど大きくする。このようにすることで、画像中の障害物の位置が、車両１０から当該障害物までの距離に応じて変化する度合いが低下する。したがって、ディスプレイ７上で障害物が見辛くなりにくい。
【００７４】
また、ディスプレイ７が表示する表示画像に障害物マークが重畳されることで、ユーザは障害物をより強く認識することができるようになる。
【００７５】
なお、上記の実施形態において、障害物センサ１または４のうち一方が第１の障害物センサの一例に、他方が第２の障害物センサの一例に相当する。また、カメラＥＣＵ５ｂおよびソナーＥＣＵ６が、画像表示制御装置の一例に相当する。
【００７６】
（他の実施形態）
以上、本発明の実施形態について説明したが、本発明の範囲は、上記実施形態のみに限定されるものではなく、本発明の各発明特定事項の機能を実現し得る種々の形態を包含するものである。
【００７７】
例えば、上記実施形態の車両外部撮影表示システムは、４つの障害物センサを有しているが、車両外部撮影表示システムは、５つ以上の障害物センサを有していてもよいし、２つのみの障害物センサを有していてもよいし、３つのみの障害物センサを有していてもよい。
【００７８】
また、車両外部撮影表示システムは障害物センサ３および障害物センサ４が障害物を検出した時も、障害物センサ１および障害物センサ２が障害物を検出したときと同様に、撮影画像を切り出した結果の切り出し画像（またはさらにそれを鳥瞰図変換した画像）を、ディスプレイ７で表示するようになっていてもよい。具体的には、例えば、ソナーＥＣＵ６が、処理１００において、ステップ１１０で肯定判定があった後、直ちにステップ１７０を実行するようになっていればよい。この場合、障害物センサ１〜４のうちどの２つの組でも、第１の障害物センサおよび第２の障害物センサとなり得る。
【００７９】
このような場合、例えば、２つの障害物センサが同時に異なる障害物を検出した場合、カメラＥＣＵ５ｂは、切り出し画像の範囲の左右方向の中央を、検出を行った障害物センサに対応する２つの検出軸から左右方向に等距離の位置とするように設定してもよい。例えば、障害物センサ１と障害物センサ３が同時にそれぞれ障害物７５および障害物７４を検出した場合は、図９に示すように、検出軸１１および検出軸１３から左右方向に等距離にある位置１５を、切り出し範囲７３（第３の部分画像の範囲の一例に相当する）としてもよい。このようになっていることで、複数の障害物が検出された場合、それら障害物が共に含まれる可能性が高くなる。また、表示画像中の障害物センサ１および障害物センサ３の検出領域２１、２３の位置が、よりユーザにとって見易い位置となる
また、切り出し範囲７３の上端の位置については、当該障害物７４および７５について検出した距離のうち短い方（図９においては障害物７４）に対応する障害物推定位置が、当該切り出し範囲７３の上半分の特定の位置（例えば切り出し範囲７３の上端から切り出し範囲７３の全体の１／４だけ下がった位置）に収まるように、設定してもよい。
【００８０】
このようになっていることで、複数の障害物が検出されても、そのうち車両に近い方がユーザに見易くなるように切り出し範囲が設定され、また、当該車両に近い方と車両との空間に表示画像の表示範囲を多く割くことができるように切り出し範囲が設定されるので、ユーザは、接触に対する緊急性のより高い方の障害物をより適切に認識することができるようになる。
【００８１】
あるいは、例えば、２つの障害物センサが同時に異なる障害物を検出した場合、カメラＥＣＵ５ｂは、図１０に示すように、表示画像６０を２つの領域、すなわちメイン表示領域６０ａおよびメイン表示領域６０ａより狭いサブ表示領域６０ｂに分割し、検出した距離が短い方の障害物６１に対応する切り出し画像をメイン表示領域６０ａに表示し、検出した距離が長い方の障害物６３に対応する切り出し画像をサブ表示領域６０ｂに表示するようになっていてもよい。なおこの際、それぞれの表示領域に障害物マーク６２、６４も重畳する。
【００８２】
またこのとき、ユーザの図示しない操作装置に対する所定の操作があったことに基づいて、図１１に示すように、メイン表示領域６０ａの表示内容とサブ表示領域６０ｂの表示内容とを切り替えるようになっていてもよい。このようになっていることで、ユーザの意思に応じてより大きく表示する対象の障害物を切り替えることができる。
【００８３】
また、障害物センサは、必ずしもソナーである必要はなく、ある範囲における障害物を検出する装置であれば、例えば、レーザーレーダセンサであってもよいし、画像認識技術を用いて障害物を認識する装置であってもよい。また、障害物センサの、障害物までの距離を特定する機能は、必ずしもなくてもよい。すなわち、障害物センサは、障害物を特定することさえできればよい。
【００８４】
また、障害物センサは、上記の実施形態のように、検出領域内における障害物の左右方向の位置を特定できないものに限らず、特定できるものであってもよい。特定できるものである場合、カメラＥＣＵ５ｂは、切り出し画像が、その左右方向中央に、障害物センサが検出した障害物の左右方向の位置が位置するよう、切り出し画像を切り出すようになっていてもよい。このようになっていることで、切り出されて表示される画像が、より適切に障害物センサの検出領域を表すことができるようになる。
【００８５】
また、上記の実施形態においては、カメラＥＣＵ５ｂは、障害物センサ１〜４のいずれも障害物を検出していないとき（車両外部撮影表示システムが有する障害物センサのすべてが障害物を検出していないとき）にディスプレイ７に出力する画像は、カメラ５ａが出力した広角画像から画像の歪の少ない画角（例えば、中央の１２０°）部分を切り出したものになっている。しかし、必ずしもこのようになっておらずともよく、このときディスプレイ７に出力する画像に対して、その表示対象の範囲およびその表示対象への視点が変化しないような加工（例えば文字情報のスーパーインポーズ）を施すようになっていてもよい。すなわち、障害物センサ１〜４のいずれも障害物を検出していないときにディスプレイ７に出力する表示画像は、その表示対象の範囲およびその表示対象への視点が撮影画像と同じであれば足りる。
【００８６】
また、上記の実施形態においては、カメラＥＣＵ５ｂは、障害物センサ１〜４のいずれも障害物を検出していないとき（車両外部撮影表示システムが有する障害物センサのすべてが障害物を検出していないとき）にディスプレイ７に出力する画像は、カメラ５ａが出力した広角画像そのままを用いてもよい。
【００８７】
また、障害物センサは、カメラが撮影する第１の領域内の検出領域に加え、第１の領域外の領域における障害物をも検出できるようになっていてもよい。つまり、障害物センサは、カメラが撮影する第１の領域内の検出領域の障害物を検出することができさえすれば、その他の領域の障害物を検出することができてもできなくてもよい。また、ディスプレイがカメラＥＣＵ５ｂの機能を有していてもよい。
【図面の簡単な説明】
【００８８】
【図１】車両１０に搭載された車両外部撮影表示システムの構成を示す概略図である。
【図２】カメラ５ａが撮影した撮影画像７０中に検出軸１１〜１３を示した図である。
【図３】カメラＥＣＵ５ｂが実行する処理２００のフローチャートである。
【図４】ソナーＥＣＵ６が実行する処理１００のフローチャートである。
【図５】障害物３１の位置に障害物マーク３２が重畳された広角画像３０を示す図である。
【図６】障害物４１の位置に障害物マーク４３が重畳された鳥瞰画像４０を示す図である。
【図７】撮影画像７０中の切り出し範囲７１を示す図である。
【図８】表示画像として用いられる切り出し画像５０を示す図である。
【図９】２つの障害物７４、７５を検出した場合の撮影画像７０の切り出し範囲７３を示す図である。
【図１０】２つの障害物７４、７５を検出した場合の他の表示例を示す図である。
【図１１】２つの障害物７４、７５を検出した場合の他の表示例を示す図である。
【符号の説明】
【００８９】
１〜４…障害物センサ、５…後方撮影ユニット、５ａ…カメラ、５ｂ…カメラＥＣＵ、
６…ソナーＥＣＵ、７…ディスプレイ、１０…車両、１１〜１４…検出軸、
１５…等距離位置、２０…撮影領域、２１〜２４…検出領域、３０…広角画像、
３１、４１、５１、６１、６３、７２、７４、７５…障害物、
３２、４２、５２、６２、６３…障害物マーク、４０…鳥瞰画像、
５０…切り出し画像、５２…障害物マーク、６０…表示画像、
６０ａ…メイン表示領域、６０ｂ…サブ表示領域、７０…撮影画像、
７１、７３…切り出し範囲。
【技術分野】
【０００１】
本発明は、車両の外部を撮影してユーザに表示する車両外部撮影表示システム、および、当該車両外部撮影表示システムにおいて用いられる画像表示制御装置に関する。
【背景技術】
【０００２】
車両の周囲の一部を撮影する１つのカメラと、当該一部における障害物を検出する１つの障害物センサとから成る組を複数組有し、それらのうちある障害物センサが障害物を検出したことに基づいて、その障害物センサと組になるカメラの撮影画像のユーザへの表示形態を制御する技術が、特許文献１に記載されている。
【特許文献１】特開２００６−２７０２６７号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかし、上記の発明においては、障害物センサの数に合わせてカメラを装備し、また、各カメラの撮影領域を障害物センサの検出領域に合わせる必要がある。
【０００４】
本発明は上記点に鑑み、障害物センサによる障害物の検出に基づいて、車載カメラの撮影画像のユーザへの表示形態を制御する技術において、カメラの構成を従来よりも簡易にすることを目的とする。
【課題を解決するための手段】
【０００５】
このように、障害物センサ１〜４の検出領域２１〜２４を１つのカメラの撮影領域がカバーするようになることで、障害物センサの数に合わせてカメラを装備する必要がなくなり、また、複数装備した場合の各カメラの撮影領域を障害物センサの検出領域に合わせる必要がなくなる。したがって、車両外部撮影表示システムにおけるカメラの構成が従来よりも簡易になる。
【０００６】
また、カメラの撮影画像のうち、障害物を検出した障害物センサの検出領域に対応する部分が切り出されてユーザに表示される。したがって、カメラの撮影画像とユーザへの表示画像との関係に、どの障害物センサが障害物を検出したかを反映させることができる。結果として、ユーザの障害物への注意を強く喚起することができる。
【０００７】
なお、本明細書において、「領域を含む」とは、領域全体を含むこと、および、領域の一部を含むことの両方を包含する概念である。
【０００８】
また、本発明の効果は、カメラによる撮影領域の水平画角が１２０°以上である場合に、よりその効果を発揮する。
【０００９】
また、画像表示制御装置は、第１の障害物センサおよび第２の障害物センサのいずれも障害物を検出しなかったことに基づいて、その表示対象の視点が撮影画像と同じである表示画像を画像表示装置に表示させるようになっていてもよい。このようになっていることで、ユーザは、障害物センサが障害物を検出していないときには、そのことをより明確に認識することができるようになる。なお、ここで言う「同じ」とは、人にとって同じように見える程度に類似していることをも含む概念である。
【００１０】
また、撮影領域は、その端部に車両の端部を含み、画像表示制御装置は、加工処理において、第１の部分画像を、その画像端部が当該車両端部を含むように切り出すようになっていてもよい。このように、表示された画像中に車両の端部が表示されることで、ユーザは、障害物と車両との距離を視覚的に容易に把握することができるようになる。
【００１１】
また、画像表示制御装置は、加工処理において、第１の部分画像の外形を、撮影画像の外形に対して相似となるように切り出すようになっていてもよい。このようになっていることで、切り出しの加工処理がユーザに対して視覚的な違和感を与える可能性が低下する。
【００１２】
また、画像表示制御装置は、加工処理において、第１の部分画像が、その左右方向中央に、第１の検出領域の左右方向中央（１１〜１４）が位置するよう、第１の部分画像を切り出すようになっていてもよい。このようになっていることで、切り出されて表示される画像が、より適切に障害物センサの検出領域を表すことができるようになる。
【００１３】
また、第１の障害物センサは、第１の検出領域内の障害物の、車両からの距離を検出するようになっていてもよい。
【００１４】
このように障害物までの距離の検出が可能な場合、画像表示制御装置は、加工処理において、第１の障害物センサによって検出された車両からの距離に相当する撮影画像中の位置を、第１の部分画像がその上半部分に含むように、第１の部分画像を切り出すようになっていてもよい。なお、ここでいう「上半部分」とは、画像表示装置において表示された上下を基準とする上半部分をいう。
【００１５】
このようになっていることで、ユーザは、切り出されて表示された画像中に、障害物を認知することができる。また、表示された画像中で、障害物がその上半分にあるので、障害物から車両までの間の空間にその表示領域を多く割くことができるようになる。
【００１６】
また、このように障害物までの距離の検出が可能な場合、画像表示制御装置は、加工処理において、切り出した第１の部分画像を、第１の障害物センサによって検出された車両からの距離に応じて変化する方法で加工したものを加工後画像とするようになっていてもよい。
【００１７】
このようになっていることで、ユーザは、障害物の距離に応じてその表示形態が変化する画像を見ることができるようになるので、障害物までの距離をより容易に把握することができるようになると共に、障害物までの距離に適した形態での表示を受けることができるようになる。
【００１８】
具体的には、画像表示制御装置は、加工処理において、切り出した第１の部分画像を鳥瞰図に変換したものを加工後画像とし、鳥瞰図における俯角を第１の障害物センサによって検出された車両からの距離が短くなるほど大きくするようになっていてもよい。
【００１９】
このような場合、障害物が車両に近づくほど、表示される画像はより上から見下ろした形態になる。したがって障害物が車両に近づくほど、すなわち、障害物と車両１０との接触の危険性が高まるほど、障害物と車両との関係がよりわかりやすい表示形態に、表示画像が変化する。
【００２０】
また、画像表示制御装置は、加工処理において、第１の障害物センサが障害物を検出し、それと同時期に、第２の障害物センサが障害物を検出したことに基づいて、撮影画像から第１の検出領域および第２の検出領域を含む第３の部分画像を切り出して前記加工後画像とするようになっていてもよい。このようになっていることで、複数の障害物が検出された場合、それら障害物が表示画像中に共に含まれる可能性が高くなる。
【００２１】
このとき、画像表示制御装置は、加工処理において、第３の部分画像が、その左右方向中央に、第１の検出領域の左右方向中央（１１〜１４）および第２の検出領域の左右方向中央（１１〜１４）から左右方向に等距離にある位置が位置するよう、第３の部分画像を切り出すようになっていてもよい。このようになっていることで、表示画像中の検出領域の位置が、よりユーザにとって見易い位置となる。
【００２２】
また、第１の障害物センサが、第１の検出領域内の障害物の、車両からの距離を検出し、第２の障害物センサが、第２の検出領域内の障害物の、車両からの距離を検出する場合、画像表示制御装置は、加工処理において、第１の障害物センサによって検出された車両からの距離と、第２の障害物センサによって検出された車両からの距離と、のうち短い方に相当する撮影画像中の位置を、第３の部分画像がその上半部分に含むように、第３の部分画像を切り出すようになっていてもよい。
【００２３】
このようになっていることで、複数の障害物が検出されても、そのうち車両に近い方がユーザに見易くなるように切り出し範囲が設定され、また、当該車両に近い方と車両との空間に表示画像の表示範囲を多く割くことができるように切り出し範囲が設定されるので、ユーザは、接触に対する緊急性のより高い方の障害物をより適切に認識することができるようになる。
【００２４】
また、本発明の特徴は、車両の外部の撮影領域（２０）を撮影し、その撮影の結果の撮影画像を出力するカメラ（５ａ）と、当該撮影領域に含まれる第１の検出領域（２１、２２、２３、２４）における障害物を検出する第１の障害物センサ（１〜４）と、当該撮影領域に含まれ、当該第１の検出領域とは異なる第２の検出領域（２１、２２、２３、２４）における障害物を検出する第２の障害物センサ（１〜４）と、画像を当該車両のユーザに表示する画像表示装置（７）と、と信号をやり取りすることで、当該カメラから出力された当該撮影画像に対して加工処理を施し、当該加工処理が施された後の加工後画像を、当該画像表示装置（７）に表示させる画像表示制御装置であって、
当該加工処理において、当該第１の障害物センサが障害物を検出したことに基づいて、当該撮影画像から当該第１の検出領域を含む第１の部分画像を切り出して当該加工後画像とし、また、当該第２の障害物センサが障害物を検出したことに基づいて、当該撮影画像から当該第２の検出領域を含みかつ当該第１の部分画像と異なる第２の部分画像を切り出して当該加工後画像とすることを特徴とする画像表示制御装置としても捉えることができる。
【００２５】
なお、この「課題を解決するための手段」において示された第１の障害物センサのすべての機能を、更に第２の障害物センサが有していてもよい。その場合、画像表示制御装置は、第１の障害物センサ、第１の検出領域、および第１の部分画像について行った上記の処理を、それぞれ第２の障害物センサ、第２の検出領域、および第２の部分画像についても行うようになっていてもよい。
【００２６】
なお、上記特許請求の範囲における括弧内の符号は、特許請求の範囲に記載された用語と後述の実施形態に記載される当該用語を例示する具体物等との対応関係を示すものである。
【発明を実施するための最良の形態】
【００２７】
以下、本発明の一実施形態について説明する。図１に、車両１０に搭載された本実施形態に係る車両外部撮影表示システムの構成を概略的に示す。車両外部撮影表示システムは、障害物センサ１〜４、後方撮影ユニット５、ソナーＥＣＵ６、およびディスプレイ７を有している。
【００２８】
障害物センサ１〜４は、音波を送出し、その音波の反射波を検出し、その音波の送出タイミングと反射波の検出タイミングとの間の時間差から、自己から障害物までの距離を繰り返し（例えば０．１秒毎に）特定し、特定した距離を示す検出信号をソナーＥＣＵ６に出力するソナーである。障害物センサ１〜４は、それぞれが車両１０中の異なった位置に搭載され、また、障害物を検出することが可能な領域がそれぞれ異なるように設置されている。
【００２９】
具体的には、障害物センサ１は、車両１０の後端部右側端に取り付けられ、車両１０の後端部右側端の周囲の検出領域２１内の障害物の存在および自己から当該障害物までの距離（すなわち車両１０の後端部右側端から障害物までの距離）を検出することができるように設置されている。
【００３０】
また、障害物センサ２は、車両１０の後端部中央やや右側に取り付けられ、当該取り付け位置の後方の検出領域２２内の障害物の存在および自己から当該障害物までの距離（すなわち車両１０の後端部から障害物までの距離）を検出することができるように設置されている。
【００３１】
また、障害物センサ３は、車両１０の後端部中央やや左側に取り付けられ、当該取り付け位置の後方の検出領域２３内の障害物の存在および自己から当該障害物までの距離（すなわち車両１０の後端部から障害物までの距離）を検出することができるように設置されている。
【００３２】
また、障害物センサ４は、車両１０の後端部左側端に取り付けられ、車両１０の後端部左側端の周囲の検出領域２４内の障害物の存在および自己から当該障害物までの距離（すなわち車両１０の後端部左側端から障害物までの距離）を検出することができるように設置されている。
【００３３】
したがって、障害物センサ１〜４の設置位置は、車両１０の後端部右側端から左側端へ、障害物センサ１、障害物センサ２、障害物センサ３、障害物センサ４の順に並んでいる。また、検出領域２１〜２４は、車両１０の後方右側から後方左側へ、検出領域２１、検出領域２２、検出領域２３、検出領域２４の順に並んでいる。これら障害物センサ１〜４の検出領域の和は、カメラ５ａの水平画角、すなわち、カメラ５ａの撮影領域２０の左右方向の角度をほぼすべてカバーしている。なお、検出領域２１と検出領域２２、検出領域２２と検出領域２３、検出領域２３と検出領域２４は、それぞれ部分的に重複するようになっている。
【００３４】
なお、図１中の検出軸１１〜１４は、検出軸１１〜１４の中心位置および対応する障害物センサ１〜４をそれぞれ通る直線である。この検出軸１１〜１４はそれぞれ、各検出領域２１〜２４の左右方向中央を繋ぐ線でもある。
【００３５】
ディスプレイ７は、後方撮影ユニット５から画像の信号を受けると、その信号を示す画像をユーザに表示する。
【００３６】
後方撮影ユニット５は、カメラ５ａよびカメラＥＣＵ５ｂを有している。カメラ５ａは、車両１０の後端部に取り付けられ、車両１０の後方を広角的に繰り返し（例えば０．１秒間隔で）撮影し、その撮影結果の撮影画像をカメラＥＣＵ５ｂに出力する。カメラ５ａの撮影可能範囲は、撮影領域２０のようになっている。すなわち、撮影領域２０は、検出軸１１〜１４を含み、その画角は１２０°以上となっている。また、その撮影領域２０の一端は、車両１０の後端部を含んでいるようになっていてもよい。図２に、カメラ５ａが出力する撮影画像の一例７０を示す。ここで、撮影画像７０の上方向が、車両１０から離れる方向に該当し、左右方向が、車両１０から見て左右の方向となる。なお、撮影画像７０中の４本の縦方向の線は、検出軸１１〜１４を仮想的に表したものであり、出力される撮影画像７０に実際にこれら検出軸１１〜１４が表されているわけではない。
【００３７】
カメラＥＣＵ５ｂは、カメラ５ａから受けた撮影画像に対してあるときは加工処理を施し、またあるときは加工処理を施さず、当該加工処理が施された加工後画像または加工処理が施されなかった撮影画像を、表示画像として、ディスプレイ７に表示させる。なお、加工処理の内容は、ソナーＥＣＵ６からの信号によって制御される。
【００３８】
図３に、カメラＥＣＵ５ｂがくり返し（例えばカメラ５ａの撮影タイミング毎に）実行する処理２００の内容をフローチャートで示す。カメラＥＣＵ５ｂは、このような処理２００を実現するプログラムを読み出して実行するマイコンとして実現されてもよいし、このような処理２００を実行するための回路構成を有する専用の電子回路として実現されてもよい。
【００３９】
処理２００においては、カメラＥＣＵ５ｂは、まずステップ２１０で画像表示指令を受け付ける。この画像表示指令は、図示しない操作装置に対するユーザの所定の操作があったことに基づいて、当該操作装置から出力される信号ようになっていてもよいし、車両１０のドライブポジションを検出するセンサから、当該ドライブポジションが後退ポジションにある旨の信号であってもよいし、他のどのようなものから出力される信号であってもよい。
【００４０】
続いてステップ２２０で、カメラＥＣＵ５ｂは、ソナーＥＣＵ６から障害物の検出位置情報を取得する。この検出位置情報のソナーＥＣＵ６による出力については後述する。続いてステップ２３０で、カメラ５ａから出力された撮影画像を取り込む。
【００４１】
続いてステップ２４０で、撮影画像を加工して（または場合によっては加工せず）、表示画像を生成し、さらにステップ２５０では、生成した表示画像をディスプレイ７に出力する。なお、ステップ２４０における加工の内容（加工しないことも含む）は、後述するソナーＥＣＵ６からの表示指令に基づいて決定する。
【００４２】
ソナーＥＣＵ６は、障害物センサ１〜４から出力された信号に基づいて、障害物の検出位置情報および表示指令をカメラＥＣＵ５ｂに出力するために、図４に示す処理１００を繰り返し（例えば０．１秒毎に）実行する。ソナーＥＣＵ６は、このような処理１００を実現するプログラムを読み出して実行するマイコンとして実現されてもよいし、このような処理１００を実行するための回路構成を有する専用の電子回路として実現されてもよい。
【００４３】
この処理１００の実行において、ソナーＥＣＵ６は、まずステップ１１０で、障害物があるか否かを判定する。すなわち、障害物センサ１〜４のいずれかから上記検出信号を受信したか否かを判定し、受信したと判定すると続いてステップ１３０を実行し、受信していないと判定すると続いてステップ１２０を実行する。
【００４４】
ステップ１２０では、広角画像表示指令をカメラＥＣＵ５ｂに出力し、その後、処理１００の１回分の実行を終了する。広角画像表示指令を受けて検出位置情報を受信しなかったカメラＥＣＵ５ｂは、処理２００のステップ２４０で、広角の撮影画像から画像の歪の少ない画角（例えば、中央の１２０°）部分を切り出し表示画像とする。
【００４５】
ステップ１３０では、検出位置が中央部であるか角部であるかを判定する。検出信号を出力したのが障害物センサ２または障害物センサ３である場合、中央であると判定して続いてステップ１４０を実行し、検出信号を出力したのが障害物センサ１または障害物センサ４である場合、角であると判定して続いてステップ１７０を実行する。
【００４６】
ステップ１４０では、受けた検出信号中に含まれる距離の情報に基づいて、当該距離（すなわち車両１０後端部から障害物までの距離）が第１基準距離より大きいか否かを判定する。この第１基準距離は、あらかじめ記憶された一定値（例えば３メートル）であってもよいし、各種条件に基づいて変動する（例えば、車速が大きくなると長くなる）値であってもよいし、一定の範囲内でランダムに決まる値であってもよい。第１基準距離より大きい場合続いてステップ１５０を実行し、第１基準距離以下である場合続いてステップ１６０を実行する。
【００４７】
ステップ１５０では、ステップ１２０と同じく広角画像表示指令をカメラＥＣＵ５ｂに出力する。続いてステップ１９５で、検出信号に含まれる距離の情報および当該障害物を検出した障害物センサを特定する情報を共に含む検出位置情報を、カメラＥＣＵ５ｂに出力し、その後、処理１００の１回分の実行を終了する。
【００４８】
広角画像表示指令と共に検出位置情報を受信したカメラＥＣＵ５ｂは、処理２００のステップ２４０で、広角の撮影画像中の障害物推定位置に障害物マークを重畳した結果の加工画像を、表示画像とする。図５に、広角の撮影画像に障害物マークが重畳された画像の例として、障害物センサ３に検出された障害物３１の位置に障害物マーク３２が重畳された広角画像３０を示す。
【００４９】
ここで、検出された障害物の障害物推定位置は、当該障害物を検出した障害物センサに対応する検出軸上の一点として特定する。より具体的には、当該検出軸上の、当該障害物について検出した距離だけ車両１０の後端部から離れた位置とする。検出軸上の位置と、当該位置の車両１０の後端部からの距離との対応関係は、カメラ５ａの取り付け角等の撮影特性に応じて、車両外部撮影表示システムの車両１０への取り付け時にあらかじめ決められ、例えばソナーＥＣＵ６の記憶媒体中に記録される。
【００５０】
ステップ１６０では、鳥瞰画像表示指令をカメラＥＣＵ５ｂに出力する。続いてステップ１９５を上述の通り実行し、その後、処理１００の１回分の実行を終了する。
【００５１】
鳥瞰画像表示指令と共に検出位置情報を受信したカメラＥＣＵ５ｂは、処理２００のステップ２４０で、広角の撮影画像に鳥瞰図変換を施し、当該鳥瞰図変換の結果生成された鳥瞰図中の障害物推定位置に障害物マークを重畳し、その結果の加工画像を、表示画像とする。図６に、鳥瞰図に障害物マークが重畳された画像の例として、障害物センサ３に検出された障害物４１の位置に障害物マーク４２が重畳された鳥瞰画像４０を示す。
【００５２】
ここで、鳥瞰図変換について説明する。画像の視点変換は、周知のアフィン変換等の技術を用いて、ある視点から撮影された画像を、別の視点から見たとき見える画像のように変換することをいう。鳥瞰図変換は、視点変換の一例であり、地面付近から地面付近を撮影した画像を、より高い位置から見える画像に変換することをいう。このような技術は、既に周知のものである（例えば、特開２００３−２６４８３５号公報参照）。本実施形態においては、ソナーＥＣＵ６から受けた検出位置情報に含まれる距離が短いほど、鳥瞰図変換における視点の高さを上げるようになっている。
【００５３】
また、鳥瞰図変換によって生成された鳥瞰図中の障害物推定位置については、障害物の位置を、例えば検出軸上の地上ゼロメートルの一点であり、当該検出軸上の、当該障害物について検出した距離だけ車両１０の後端部から離れた位置であると仮定し、その位置に対して当該鳥瞰図変換と同じ変換をすることで得た座標位置を、鳥瞰図中の障害物推定位置であるとする。
【００５４】
障害物センサ１または障害物センサ４で障害物が検出された場合に実行するステップ１７０では、受けた検出信号中に含まれる距離の情報に基づいて、当該距離（すなわち車両１０後端部から障害物までの距離）が第２基準距離より大きいか否かを判定する。この第２基準距離は、あらかじめ記憶された一定値（例えば２メートル）であってもよいし、各種条件に基づいて変動する（例えば、車速が大きくなると長くなる）値であってもよいし、一定の範囲内でランダムに決まる値であってもよい。第２基準距離より大きい場合続いてステップ１８０を実行し、第２基準距離以下である場合続いてステップ１９０を実行する。
【００５５】
ステップ１８０では、切り出し広角画像表示指令をカメラＥＣＵ５ｂに出力し、続いてステップ１９５を上述の通り実行し、その後、処理１００の１回分の実行を終了する。切り出し広角画像表示指令と共に検出位置情報を受信したカメラＥＣＵ５ｂは、処理２００のステップ２４０で、広角の撮影画像中の一部（第１の部分画像または第２の部分画像の一例に相当する）を切り出し、切り出した結果の切り出し画像中の障害物推定位置に障害物マークを重畳した結果の加工画像を、表示画像とする。なお、障害物推定位置への障害物マークの重畳の方法は、ステップ１５０に対応するカメラＥＣＵ５ｂの処理における方法と同じである。
【００５６】
ここで、切り出しの方法について、図７を用いて説明する。撮影画像７０中の切り出し範囲７１、すなわち切り出し画像のカバー範囲は、障害物を検出した障害物センサに対応する検出軸を中央とした、撮影画像７０と同じアスペクト比の矩形範囲である。また、切り出し範囲７１の下端部は、撮影画像７０の下端部と一致する。また、切り出し範囲７１の上端の位置については、当該障害物について検出した距離に対応する障害物推定位置が、当該切り出し範囲７１の上半分の特定の位置（例えば切り出し範囲７１の上端から切り出し範囲７１の全体の１／４だけ下がった位置）に収まるように、設定する。このようになっていることで、検出した障害物までの距離が近いほど、切り出し画像は小さくなる。ディスプレイ７における画像の表示範囲の実寸は、切り出し画像の大きさに依らないので、切り出し画像が小さくなるということは、表示画像の撮影画像に対する拡大率が増加することと同じである。
【００５７】
図８に、ステップ１８０に対応するカメラＥＣＵ５ｂの処理において表示画像として用いられる切り出し画像の一例５０を示す。ここで、障害物５１上に障害物マーク５２が重畳されている。
【００５８】
ステップ１９０では、切り出し鳥瞰画像表示指令をカメラＥＣＵ５ｂに出力する。続いてステップ１９５を上述の通り実行し、その後、処理１００の１回分の実行を終了する。
【００５９】
切り出し鳥瞰画像表示指令と共に検出位置情報を受信したカメラＥＣＵ５ｂは、処理２００のステップ２４０で、広角の撮影画像中の一部（第１の部分画像または第２の部分画像の一例に相当する）を切り出し、切り出した結果の切り出し画像に鳥瞰図変換を施し、当該鳥瞰図変換の結果生成された鳥瞰図中の障害物推定位置に障害物マークを重畳し、その結果の加工画像を、表示画像とする。ここで、切り出しの方法は、ステップ１８０に対応するカメラＥＣＵ５ｂの処理における方法と同じであり、鳥瞰図変換および重畳の方法は、ステップ１６０およびそれに続くステップ１９５に対応するカメラＥＣＵ５ｂの処理における方法と同じである。
【００６０】
以上のような処理１００をソナーＥＣＵ６が繰り返し実行することで出力する検出位置情報および表示指令により、カメラＥＣＵ５ｂは、障害物センサ１および障害物センサ４のうちいずれかが障害物を検出した場合（ステップ１１０、１３０参照）、当該障害物までの距離が第２基準距離より遠い間は（ステップ１７０参照）、カメラ５ａからの撮影画像のうち、検出を行った障害物センサに対応する検出軸を中心とする部分を切り出し（ステップ１８０参照）、その切り出した画像に当該障害物の検出位置を重畳した画像（ステップ１９５参照）を、視点変換を行うことなくディスプレイ７に出力する。そして、当該障害物までの距離が第２基準距離より短くなると（ステップ１７０参照）、カメラ５ａからの撮影画像のうち、検出を行った障害物センサに対応する検出軸を中心とする部分を切り出すと共に切り出した画像に鳥瞰図変換を施し（ステップ１９０参照）、その切り出した画像に当該障害物の検出位置を重畳した画像（ステップ１９５参照）を、ディスプレイ７に出力する。
【００６１】
また、カメラＥＣＵ５ｂは、障害物センサ２および障害物センサ３のうちいずれかが障害物を検出した場合（ステップ１１０、１３０参照）、当該障害物までの距離が第１基準距離より遠い間は（ステップ１４０参照）、カメラ５ａが出力した広角の撮影画像に対して鳥瞰図変換も行わず（ステップ１５０参照）、当該広角の撮影画像に当該障害物の検出位置を重畳した画像（ステップ１９５参照）を、ディスプレイ７に出力する。そして、当該障害物までの距離が第１基準距離より短くなると（ステップ１４０参照）、カメラ５ａからの撮影画像のうち、検出を行った障害物センサに対して撮影画像に鳥瞰図変換を施し（ステップ１６０参照）、その鳥瞰図変換を施した画像に当該障害物の検出位置を重畳した画像（ステップ１９５参照）を、ディスプレイ７に出力する。
【００６２】
また、カメラＥＣＵ５ｂは、障害物センサ１〜４のいずれも障害物を検出していないときには（ステップ１１０参照）、カメラ５ａが出力した広角の撮影画像から画像の歪の少ない画角（例えば、中央の１２０°）部分を切り出しディスプレイ７に出力する（ステップ１２０参照）。このようになっていることで、ユーザは、障害物センサ１〜４が障害物を検出していないときには、そのことをより明確に認識することができるようになる。
【００６３】
このように、障害物センサ１〜４の検出領域を１つのカメラの撮影領域がカバーするようになることで、障害物センサの数に合わせてカメラを装備する必要がなくなり、また、複数装備した場合の各カメラの撮影領域を障害物センサの検出領域に合わせる必要がなくなる。したがって、車両外部撮影表示システムにおけるカメラの構成が従来よりも簡易になる。
【００６４】
また、カメラ５ａの撮影画像のうち、障害物を検出した障害物センサ１、４の検出領域に対応する部分が切り出されてユーザに表示される。したがって、カメラ５ａの撮影画像とユーザへの表示画像との関係に、どの障害物センサが障害物を検出したかを反映させることができる。結果として、ユーザの障害物への注意を強く喚起することができる。
【００６５】
また、カメラ５ａの撮影画像のうち、障害物を検出したのが障害物センサ２、３である場合、新たな画像の切り出しは行わない。これは、このような場合に画像の切り出しを新たに行うと、ディスプレイ７の表示画像中から、車両１０の後端部右端および後端部左端の両方がなくなってしまうからである。車両１０の後端部右端および後端部左端は、直接ドライバーの位置からは見えないことが多いので、ディスプレイ７に表示させることが望ましい場合もある。
【００６６】
また、カメラ５ａの撮影領域は、その端部に車両１０の端部を含み、カメラＥＣＵ５ｂは、加工処理において、切り出し画像（第１の部分画像の一例に相当する）を、その画像端部が当該車両端部を常に含むように切り出すようになっていてもよい。このように、表示された画像中に車両１０の端部が表示されることで、ユーザは、検出された障害物と車両１０との距離を視覚的に容易に把握することができるようになる。
【００６７】
また、カメラＥＣＵ５ｂは、加工処理において、切り出し画像のアスペクト比（外形の一例に相当する）を、撮影画像のアスペクト比と同じになるように切り出す。このようになっていることで、切り出しによってユーザに対して視覚的な違和感を与える可能性が低下する。
【００６８】
また、カメラＥＣＵ５ｂは、加工処理において、切り出し画像が、その左右方向中央に、障害物を検出した障害物センサの検出軸が位置するよう、切り出しを行う。このようになっていることで、切り出されて表示される画像が、より適切に障害物センサの検出領域を表すことができるようになる。
【００６９】
また、カメラＥＣＵ５ｂは、加工処理において、障害物センサによって検出された車両からの距離に相当する撮影画像中の位置を、切り出し画像がその上半部分（すなわち車両１０から遠い側の半分）に含むように、切り出しを行うようになっていてもよい。
【００７０】
このようになっていることで、ユーザは、切り出されて表示された画像中に、障害物を認知することができる。また、表示された画像中で、障害物がその上半分にあるので、障害物から車両までの間の空間にその表示領域を多く割くことができるようになる。
【００７１】
また、カメラＥＣＵ５ｂは、加工処理において、切り出した画像に鳥瞰図変換を施す場合、鳥瞰図変換における俯角を、障害物センサによって検出された車両からの距離が短くなるほど大きくする。
【００７２】
このような場合、障害物が車両１０に近づくほど、表示される画像はより上から見下ろした形態になる。したがって障害物が車両１０に近づくほど、すなわち、障害物と車両１０との接触の危険性が高まるほど、障害物と車両１０との関係がよりわかりやすい表示形態に、表示画像が変化する。
【００７３】
また、カメラＥＣＵ５ｂは、加工処理において、切り出し画像の撮影画像に対する大きさの比を、障害物センサによって検出された車両からの距離が短くなるほど大きくする。このようにすることで、画像中の障害物の位置が、車両１０から当該障害物までの距離に応じて変化する度合いが低下する。したがって、ディスプレイ７上で障害物が見辛くなりにくい。
【００７４】
また、ディスプレイ７が表示する表示画像に障害物マークが重畳されることで、ユーザは障害物をより強く認識することができるようになる。
【００７５】
なお、上記の実施形態において、障害物センサ１または４のうち一方が第１の障害物センサの一例に、他方が第２の障害物センサの一例に相当する。また、カメラＥＣＵ５ｂおよびソナーＥＣＵ６が、画像表示制御装置の一例に相当する。
【００７６】
（他の実施形態）
以上、本発明の実施形態について説明したが、本発明の範囲は、上記実施形態のみに限定されるものではなく、本発明の各発明特定事項の機能を実現し得る種々の形態を包含するものである。
【００７７】
例えば、上記実施形態の車両外部撮影表示システムは、４つの障害物センサを有しているが、車両外部撮影表示システムは、５つ以上の障害物センサを有していてもよいし、２つのみの障害物センサを有していてもよいし、３つのみの障害物センサを有していてもよい。
【００７８】
また、車両外部撮影表示システムは障害物センサ３および障害物センサ４が障害物を検出した時も、障害物センサ１および障害物センサ２が障害物を検出したときと同様に、撮影画像を切り出した結果の切り出し画像（またはさらにそれを鳥瞰図変換した画像）を、ディスプレイ７で表示するようになっていてもよい。具体的には、例えば、ソナーＥＣＵ６が、処理１００において、ステップ１１０で肯定判定があった後、直ちにステップ１７０を実行するようになっていればよい。この場合、障害物センサ１〜４のうちどの２つの組でも、第１の障害物センサおよび第２の障害物センサとなり得る。
【００７９】
このような場合、例えば、２つの障害物センサが同時に異なる障害物を検出した場合、カメラＥＣＵ５ｂは、切り出し画像の範囲の左右方向の中央を、検出を行った障害物センサに対応する２つの検出軸から左右方向に等距離の位置とするように設定してもよい。例えば、障害物センサ１と障害物センサ３が同時にそれぞれ障害物７５および障害物７４を検出した場合は、図９に示すように、検出軸１１および検出軸１３から左右方向に等距離にある位置１５を、切り出し範囲７３（第３の部分画像の範囲の一例に相当する）としてもよい。このようになっていることで、複数の障害物が検出された場合、それら障害物が共に含まれる可能性が高くなる。また、表示画像中の障害物センサ１および障害物センサ３の検出領域２１、２３の位置が、よりユーザにとって見易い位置となる
また、切り出し範囲７３の上端の位置については、当該障害物７４および７５について検出した距離のうち短い方（図９においては障害物７４）に対応する障害物推定位置が、当該切り出し範囲７３の上半分の特定の位置（例えば切り出し範囲７３の上端から切り出し範囲７３の全体の１／４だけ下がった位置）に収まるように、設定してもよい。
【００８０】
このようになっていることで、複数の障害物が検出されても、そのうち車両に近い方がユーザに見易くなるように切り出し範囲が設定され、また、当該車両に近い方と車両との空間に表示画像の表示範囲を多く割くことができるように切り出し範囲が設定されるので、ユーザは、接触に対する緊急性のより高い方の障害物をより適切に認識することができるようになる。
【００８１】
あるいは、例えば、２つの障害物センサが同時に異なる障害物を検出した場合、カメラＥＣＵ５ｂは、図１０に示すように、表示画像６０を２つの領域、すなわちメイン表示領域６０ａおよびメイン表示領域６０ａより狭いサブ表示領域６０ｂに分割し、検出した距離が短い方の障害物６１に対応する切り出し画像をメイン表示領域６０ａに表示し、検出した距離が長い方の障害物６３に対応する切り出し画像をサブ表示領域６０ｂに表示するようになっていてもよい。なおこの際、それぞれの表示領域に障害物マーク６２、６４も重畳する。
【００８２】
またこのとき、ユーザの図示しない操作装置に対する所定の操作があったことに基づいて、図１１に示すように、メイン表示領域６０ａの表示内容とサブ表示領域６０ｂの表示内容とを切り替えるようになっていてもよい。このようになっていることで、ユーザの意思に応じてより大きく表示する対象の障害物を切り替えることができる。
【００８３】
また、障害物センサは、必ずしもソナーである必要はなく、ある範囲における障害物を検出する装置であれば、例えば、レーザーレーダセンサであってもよいし、画像認識技術を用いて障害物を認識する装置であってもよい。また、障害物センサの、障害物までの距離を特定する機能は、必ずしもなくてもよい。すなわち、障害物センサは、障害物を特定することさえできればよい。
【００８４】
また、障害物センサは、上記の実施形態のように、検出領域内における障害物の左右方向の位置を特定できないものに限らず、特定できるものであってもよい。特定できるものである場合、カメラＥＣＵ５ｂは、切り出し画像が、その左右方向中央に、障害物センサが検出した障害物の左右方向の位置が位置するよう、切り出し画像を切り出すようになっていてもよい。このようになっていることで、切り出されて表示される画像が、より適切に障害物センサの検出領域を表すことができるようになる。
【００８５】
また、上記の実施形態においては、カメラＥＣＵ５ｂは、障害物センサ１〜４のいずれも障害物を検出していないとき（車両外部撮影表示システムが有する障害物センサのすべてが障害物を検出していないとき）にディスプレイ７に出力する画像は、カメラ５ａが出力した広角画像から画像の歪の少ない画角（例えば、中央の１２０°）部分を切り出したものになっている。しかし、必ずしもこのようになっておらずともよく、このときディスプレイ７に出力する画像に対して、その表示対象の範囲およびその表示対象への視点が変化しないような加工（例えば文字情報のスーパーインポーズ）を施すようになっていてもよい。すなわち、障害物センサ１〜４のいずれも障害物を検出していないときにディスプレイ７に出力する表示画像は、その表示対象の範囲およびその表示対象への視点が撮影画像と同じであれば足りる。
【００８６】
また、上記の実施形態においては、カメラＥＣＵ５ｂは、障害物センサ１〜４のいずれも障害物を検出していないとき（車両外部撮影表示システムが有する障害物センサのすべてが障害物を検出していないとき）にディスプレイ７に出力する画像は、カメラ５ａが出力した広角画像そのままを用いてもよい。
【００８７】
また、障害物センサは、カメラが撮影する第１の領域内の検出領域に加え、第１の領域外の領域における障害物をも検出できるようになっていてもよい。つまり、障害物センサは、カメラが撮影する第１の領域内の検出領域の障害物を検出することができさえすれば、その他の領域の障害物を検出することができてもできなくてもよい。また、ディスプレイがカメラＥＣＵ５ｂの機能を有していてもよい。
【図面の簡単な説明】
【００８８】
【図１】車両１０に搭載された車両外部撮影表示システムの構成を示す概略図である。
【図２】カメラ５ａが撮影した撮影画像７０中に検出軸１１〜１３を示した図である。
【図３】カメラＥＣＵ５ｂが実行する処理２００のフローチャートである。
【図４】ソナーＥＣＵ６が実行する処理１００のフローチャートである。
【図５】障害物３１の位置に障害物マーク３２が重畳された広角画像３０を示す図である。
【図６】障害物４１の位置に障害物マーク４３が重畳された鳥瞰画像４０を示す図である。
【図７】撮影画像７０中の切り出し範囲７１を示す図である。
【図８】表示画像として用いられる切り出し画像５０を示す図である。
【図９】２つの障害物７４、７５を検出した場合の撮影画像７０の切り出し範囲７３を示す図である。
【図１０】２つの障害物７４、７５を検出した場合の他の表示例を示す図である。
【図１１】２つの障害物７４、７５を検出した場合の他の表示例を示す図である。
【符号の説明】
【００８９】
１〜４…障害物センサ、５…後方撮影ユニット、５ａ…カメラ、５ｂ…カメラＥＣＵ、
６…ソナーＥＣＵ、７…ディスプレイ、１０…車両、１１〜１４…検出軸、
１５…等距離位置、２０…撮影領域、２１〜２４…検出領域、３０…広角画像、
３１、４１、５１、６１、６３、７２、７４、７５…障害物、
３２、４２、５２、６２、６３…障害物マーク、４０…鳥瞰画像、
５０…切り出し画像、５２…障害物マーク、６０…表示画像、
６０ａ…メイン表示領域、６０ｂ…サブ表示領域、７０…撮影画像、
７１、７３…切り出し範囲。
【特許請求の範囲】
【請求項１】
車両の外部の撮影領域（２０）を撮影し、その撮影の結果の撮影画像を出力するカメラ（５ａ）と、
前記撮影領域に含まれる第１の検出領域（２１、２２、２３、２４）における障害物を検出する第１の障害物センサ（１〜４）と、
前記撮影領域に含まれ、前記第１の検出領域とは異なる第２の検出領域（２１、２２、２３、２４）における障害物を検出する第２の障害物センサ（１〜４）と、
画像を前記車両のユーザに表示する画像表示装置（７）と、
前記カメラから出力された前記撮影画像に対して加工処理を施し、前記加工処理が施された後の加工後画像を、前記画像表示装置（７）に表示させる画像表示制御装置（５ｂ、６）と、を備え、
前記画像表示制御装置は、前記加工処理において、前記第１の障害物センサが障害物を検出したことに基づいて、前記撮影画像から前記第１の検出領域を含む第１の部分画像を切り出して前記加工後画像とし、また、前記第２の障害物センサが障害物を検出したことに基づいて、前記撮影画像から前記第２の検出領域を含みかつ前記第１の部分画像と異なる第２の部分画像を切り出して前記加工後画像とすることを特徴とする車両外部撮影表示システム。
【請求項２】
前記撮影領域の水平画角は１２０°以上であることを特徴とする請求項１に記載の車両外部撮影表示システム。
【請求項３】
前記画像表示制御装置は、前記第１の障害物センサおよび前記第２の障害物センサのいずれも障害物を検出しなかったことに基づいて、表示対象への視点が前記撮影画像と同じである表示画像を前記画像表示装置に表示させることを特徴とする請求項１または２に記載の車両外部撮影表示システム。
【請求項４】
前記撮影領域は、その端部に前記車両の端部を含み、
前記画像表示制御装置は、前記加工処理において、前記第１の部分画像を、その端部が前記車両の前記端部を含むように切り出すことを特徴とする請求項１ないし３のいずれか１つに記載の車両外部撮影表示システム。
【請求項５】
前記画像表示制御装置は、前記加工処理において、前記第１の部分画像の外形を、前記撮影画像の外形に対して相似となるように切り出すことを特徴とする請求項１ないし４のいずれか１つに記載の車両外部撮影表示システム。
【請求項６】
前記画像表示制御装置は、前記加工処理において、前記第１の部分画像が、その左右方向中央に、前記第１の検出領域の左右方向中央（１１〜１４）が位置するよう、前記第１の部分画像を切り出すことを特徴とする請求項１ないし５のいずれか１つに記載の車両外部撮影表示システム。
【請求項７】
前記第１の障害物センサは、前記第１の検出領域内の障害物の、前記車両からの距離を検出することを特徴とする請求項１ないし６のいずれか１つに記載の車両外部撮影表示システム。
【請求項８】
前記画像表示制御装置は、前記加工処理において、前記第１の障害物センサによって検出された前記車両からの距離に相当する前記撮影画像中の位置を、前記第１の部分画像がその上半部分に含むように、前記第１の部分画像を切り出すことを特徴とする請求項７に記載の車両外部撮影表示システム。
【請求項９】
前記画像表示制御装置は、前記加工処理において、切り出した前記第１の部分画像を、前記第１の障害物センサによって検出された前記車両からの距離に応じて変化する方法で加工したものを前記加工後画像とすることを特徴とする請求項７または８に記載の車両外部撮影表示システム。
【請求項１０】
前記画像表示制御装置は、前記加工処理において、切り出した前記第１の部分画像を鳥瞰図に変換したものを前記加工後画像とし、前記鳥瞰図における俯角を前記第１の障害物センサによって検出された前記車両からの距離が短くなるほど大きくすることを特徴とする請求項９に記載の車両外部撮影表示システム。
【請求項１１】
前記画像表示制御装置は、前記加工処理において、前記第１の障害物センサが障害物を検出し、それと同時期に、前記第２の障害物センサが障害物を検出したことに基づいて、前記撮影画像から前記第１の検出領域および第２の検出領域を含む第３の部分画像を切り出して前記加工後画像とすることを特徴とする請求項１ないし９のいずれか１つに記載の車両外部撮影表示システム。
【請求項１２】
前記画像表示制御装置は、前記加工処理において、前記第３の部分画像が、その左右方向中央に、前記第１の検出領域の左右方向中央（１１〜１４）および前記第２の検出領域の左右方向中央（１１〜１４）から左右方向に等距離にある位置が位置するよう、前記第３の部分画像を切り出すことを特徴とする請求項１１に記載の車両外部撮影表示システム。
【請求項１３】
前記第１の障害物センサは、前記第１の検出領域内の障害物の、前記車両からの距離を検出し、
前記第２の障害物センサは、前記第２の検出領域内の障害物の、前記車両からの距離を検出し、
前記画像表示制御装置は、前記加工処理において、前記第１の障害物センサによって検出された前記車両からの距離と、前記第２の障害物センサによって検出された前記車両からの距離と、のうち短い方に相当する前記撮影画像中の位置を、前記第３の部分画像がその上半部分に含むように、前記第３の部分画像を切り出すことを特徴とする請求項１１または１２に記載の車両外部撮影表示システム。
【請求項１４】
車両の外部の撮影領域（２０）を撮影し、その撮影の結果の撮影画像を出力するカメラ（５ａ）と、前記撮影領域に含まれる第１の検出領域（２１、２２、２３、２４）における障害物を検出する第１の障害物センサ（１〜４）と、前記撮影領域に含まれ、前記第１の検出領域とは異なる第２の検出領域（２１、２２、２３、２４）における障害物を検出する第２の障害物センサ（１〜４）と、画像を前記車両のユーザに表示する画像表示装置（７）と、信号をやり取りすることで、前記カメラから出力された前記撮影画像に対して加工処理を施し、前記加工処理が施された後の加工後画像を、前記画像表示装置（７）に表示させる画像表示制御装置であって、
前記加工処理において、前記第１の障害物センサが障害物を検出したことに基づいて、前記撮影画像から前記第１の検出領域を含む第１の部分画像を切り出して前記加工後画像とし、また、前記第２の障害物センサが障害物を検出したことに基づいて、前記撮影画像から前記第２の検出領域を含みかつ前記第１の部分画像と異なる第２の部分画像を切り出して前記加工後画像とすることを特徴とする画像表示制御装置。
【請求項１】
車両の外部の撮影領域（２０）を撮影し、その撮影の結果の撮影画像を出力するカメラ（５ａ）と、
前記撮影領域に含まれる第１の検出領域（２１、２２、２３、２４）における障害物を検出する第１の障害物センサ（１〜４）と、
前記撮影領域に含まれ、前記第１の検出領域とは異なる第２の検出領域（２１、２２、２３、２４）における障害物を検出する第２の障害物センサ（１〜４）と、
画像を前記車両のユーザに表示する画像表示装置（７）と、
前記カメラから出力された前記撮影画像に対して加工処理を施し、前記加工処理が施された後の加工後画像を、前記画像表示装置（７）に表示させる画像表示制御装置（５ｂ、６）と、を備え、
前記画像表示制御装置は、前記加工処理において、前記第１の障害物センサが障害物を検出したことに基づいて、前記撮影画像から前記第１の検出領域を含む第１の部分画像を切り出して前記加工後画像とし、また、前記第２の障害物センサが障害物を検出したことに基づいて、前記撮影画像から前記第２の検出領域を含みかつ前記第１の部分画像と異なる第２の部分画像を切り出して前記加工後画像とすることを特徴とする車両外部撮影表示システム。
【請求項２】
前記撮影領域の水平画角は１２０°以上であることを特徴とする請求項１に記載の車両外部撮影表示システム。
【請求項３】
前記画像表示制御装置は、前記第１の障害物センサおよび前記第２の障害物センサのいずれも障害物を検出しなかったことに基づいて、表示対象への視点が前記撮影画像と同じである表示画像を前記画像表示装置に表示させることを特徴とする請求項１または２に記載の車両外部撮影表示システム。
【請求項４】
前記撮影領域は、その端部に前記車両の端部を含み、
前記画像表示制御装置は、前記加工処理において、前記第１の部分画像を、その端部が前記車両の前記端部を含むように切り出すことを特徴とする請求項１ないし３のいずれか１つに記載の車両外部撮影表示システム。
【請求項５】
前記画像表示制御装置は、前記加工処理において、前記第１の部分画像の外形を、前記撮影画像の外形に対して相似となるように切り出すことを特徴とする請求項１ないし４のいずれか１つに記載の車両外部撮影表示システム。
【請求項６】
前記画像表示制御装置は、前記加工処理において、前記第１の部分画像が、その左右方向中央に、前記第１の検出領域の左右方向中央（１１〜１４）が位置するよう、前記第１の部分画像を切り出すことを特徴とする請求項１ないし５のいずれか１つに記載の車両外部撮影表示システム。
【請求項７】
前記第１の障害物センサは、前記第１の検出領域内の障害物の、前記車両からの距離を検出することを特徴とする請求項１ないし６のいずれか１つに記載の車両外部撮影表示システム。
【請求項８】
前記画像表示制御装置は、前記加工処理において、前記第１の障害物センサによって検出された前記車両からの距離に相当する前記撮影画像中の位置を、前記第１の部分画像がその上半部分に含むように、前記第１の部分画像を切り出すことを特徴とする請求項７に記載の車両外部撮影表示システム。
【請求項９】
前記画像表示制御装置は、前記加工処理において、切り出した前記第１の部分画像を、前記第１の障害物センサによって検出された前記車両からの距離に応じて変化する方法で加工したものを前記加工後画像とすることを特徴とする請求項７または８に記載の車両外部撮影表示システム。
【請求項１０】
前記画像表示制御装置は、前記加工処理において、切り出した前記第１の部分画像を鳥瞰図に変換したものを前記加工後画像とし、前記鳥瞰図における俯角を前記第１の障害物センサによって検出された前記車両からの距離が短くなるほど大きくすることを特徴とする請求項９に記載の車両外部撮影表示システム。
【請求項１１】
前記画像表示制御装置は、前記加工処理において、前記第１の障害物センサが障害物を検出し、それと同時期に、前記第２の障害物センサが障害物を検出したことに基づいて、前記撮影画像から前記第１の検出領域および第２の検出領域を含む第３の部分画像を切り出して前記加工後画像とすることを特徴とする請求項１ないし９のいずれか１つに記載の車両外部撮影表示システム。
【請求項１２】
前記画像表示制御装置は、前記加工処理において、前記第３の部分画像が、その左右方向中央に、前記第１の検出領域の左右方向中央（１１〜１４）および前記第２の検出領域の左右方向中央（１１〜１４）から左右方向に等距離にある位置が位置するよう、前記第３の部分画像を切り出すことを特徴とする請求項１１に記載の車両外部撮影表示システム。
【請求項１３】
前記第１の障害物センサは、前記第１の検出領域内の障害物の、前記車両からの距離を検出し、
前記第２の障害物センサは、前記第２の検出領域内の障害物の、前記車両からの距離を検出し、
前記画像表示制御装置は、前記加工処理において、前記第１の障害物センサによって検出された前記車両からの距離と、前記第２の障害物センサによって検出された前記車両からの距離と、のうち短い方に相当する前記撮影画像中の位置を、前記第３の部分画像がその上半部分に含むように、前記第３の部分画像を切り出すことを特徴とする請求項１１または１２に記載の車両外部撮影表示システム。
【請求項１４】
車両の外部の撮影領域（２０）を撮影し、その撮影の結果の撮影画像を出力するカメラ（５ａ）と、前記撮影領域に含まれる第１の検出領域（２１、２２、２３、２４）における障害物を検出する第１の障害物センサ（１〜４）と、前記撮影領域に含まれ、前記第１の検出領域とは異なる第２の検出領域（２１、２２、２３、２４）における障害物を検出する第２の障害物センサ（１〜４）と、画像を前記車両のユーザに表示する画像表示装置（７）と、信号をやり取りすることで、前記カメラから出力された前記撮影画像に対して加工処理を施し、前記加工処理が施された後の加工後画像を、前記画像表示装置（７）に表示させる画像表示制御装置であって、
前記加工処理において、前記第１の障害物センサが障害物を検出したことに基づいて、前記撮影画像から前記第１の検出領域を含む第１の部分画像を切り出して前記加工後画像とし、また、前記第２の障害物センサが障害物を検出したことに基づいて、前記撮影画像から前記第２の検出領域を含みかつ前記第１の部分画像と異なる第２の部分画像を切り出して前記加工後画像とすることを特徴とする画像表示制御装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【公開番号】特開２００８−２３０４７６（Ｐ２００８−２３０４７６Ａ）
【公開日】平成２０年１０月２日（２００８．１０．２）
【国際特許分類】
【出願番号】特願２００７−７４７９６（Ｐ２００７−７４７９６）
【出願日】平成１９年３月２２日（２００７．３．２２）
【出願人】（０００００４２６０）株式会社デンソー (27,639)
【Ｆターム（参考）】
【公開日】平成２０年１０月２日（２００８．１０．２）
【国際特許分類】
【出願日】平成１９年３月２２日（２００７．３．２２）
【出願人】（０００００４２６０）株式会社デンソー (27,639)
【Ｆターム（参考）】
[ Back to top ]