周辺監視モニタリングシステム
【課題】ドアの開閉範囲を含むドアの近辺の画像を車両の搭乗者に提供する。
【解決手段】カメラ１０は、車両の上部に取付けられ、対象ドアの開閉範囲を含む画像を撮像する。画像歪み補正部２２は、カメラ１０で撮像された画像のレンズによる歪みを除去する補正を行う。画像視点変換部２３は、画像歪み補正部２２によって歪みが除去された画像を、対象ドアの開閉範囲の真上から見た画像に変換する。ドア開閉軌跡演算部２５は、対象ドアの開閉軌跡を演算する。画像合成部２７は、カメラ１０で撮像されて画像歪み補正部２２及び画像視点変換部２３で変換された画像と、ドア開閉軌跡演算部２５で求めた対象ドアの開閉軌跡とを合成した合成画像を形成し、合成画像に対応する信号をディスプレイ３０に与える。ディスプレイ３０には、ドアの周辺を含む画像にドアの車幅方向の開閉範囲が重畳された画像が表示される。
【解決手段】カメラ１０は、車両の上部に取付けられ、対象ドアの開閉範囲を含む画像を撮像する。画像歪み補正部２２は、カメラ１０で撮像された画像のレンズによる歪みを除去する補正を行う。画像視点変換部２３は、画像歪み補正部２２によって歪みが除去された画像を、対象ドアの開閉範囲の真上から見た画像に変換する。ドア開閉軌跡演算部２５は、対象ドアの開閉軌跡を演算する。画像合成部２７は、カメラ１０で撮像されて画像歪み補正部２２及び画像視点変換部２３で変換された画像と、ドア開閉軌跡演算部２５で求めた対象ドアの開閉軌跡とを合成した合成画像を形成し、合成画像に対応する信号をディスプレイ３０に与える。ディスプレイ３０には、ドアの周辺を含む画像にドアの車幅方向の開閉範囲が重畳された画像が表示される。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車両の周辺を監視する周辺監視モニタリンクシステムに関する。
【背景技術】
【０００２】
近年では、車両の周辺を監視して搭乗者を支援する周辺監視モニタリンクシステムが、多くの車両に搭載されている。従来の周辺監視モニタリングシステムとしては、特許文献１〜３に示されるものがあった。
【０００３】
例えば、特許文献１では、ドアミラーにカメラを組込み、ドアミラーが閉じた状態でも、後方の監視ができるようになっている。特許文献２では、車両の運転状況に応じて複数のカメラで撮影された画像を選択して表示している。複数のカメラの配置は、特許文献２の図１に示されている。特許文献３は、例えば車両に搭載されカメラ群から、運転状況に応じたカメラを複数選択し、選択したカメラから得られる画像を合成している。カメラの位置及び視野は、特許文献３の図３に示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００３−３２０８９８号公報
【特許文献２】特開平１１−４８８２８号公報
【特許文献３】特開２００１−５５１００号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
特許文献１〜３等に示された従来の周辺監視モニタリングシステムは、車両の運転状態に応じた画像を運転者に提供することができるが、特に助手席のドアを開閉するときに障害となる物体の存在を搭乗者に知らせるのに適していない。
本発明は、ドアの開閉に支障を来す障害物の存在を搭乗者に知らせることが可能な、周辺監視モニタリングシステムを提供することを目的とする。
【課題を解決するための手段】
【０００６】
上記目的を達成するために、本発明の観点に係る周辺監視モニタリングシステムは、
車両に取付けられ、該車両に取付けられた対象ドアの開閉範囲を示す画像を撮像するカメラと、
前記車両に搭載され、前記対象ドアのドアロックが解除されたときに前記カメラで撮像された画像に対して前記対象ドアの車幅方向の開閉範囲を示す画像を合成して表示する表示装置と、
前記対象ドアの開閉する軌跡を求め、前記表示装置に表示される前記対象ドアの開閉範囲を示す画像に該軌跡を重畳させるドア軌跡表示手段と、
を備えることを特徴とする。
【０００７】
尚、前記表示装置は、前記車両が停車し且つ前記対象ドアのドアロックが解除されたときに前記カメラで撮像された画像に対して前記対象ドアの車幅方向の開閉範囲を示す画像を合成して表示してもよい。
【０００８】
また、前記表示装置に表示される前記対象ドアの開閉範囲を示す画像を、真上から撮影した画像に変換する視点変換手段を備えてもよい。
【０００９】
さらに、前記対象ドアの開閉する軌跡と前記カメラで撮像された画像とに基づいて、該対象ドアを開く際の障害となる障害物の有無を検出する障害物検出手段と、該障害物検出手段により障害物があることが検出された場合に警報を発生する警報手段を備えてもよい。
【００１０】
この場合、前記警報手段は、前記表示装置に前記警報を表示してもよい。或いは、前記警報手段は、前記警報を音で発生してもよい。
【発明の効果】
【００１１】
本発明によれば、ドアの開閉範囲を示す画像に、対象ドアの車幅方向の開閉範囲を示す画像が合成されて表示される。そのため、ドアの開閉範囲に障害物がある場合に、不用意にドアを開けてしまうことを防止できる。これにより、ドアの損傷等が防止できる。
【図面の簡単な説明】
【００１２】
【図１】本発明の実施形態に係る周辺監視モニタリングシステムを示す構成図である。
【図２】車両の外観を示す図である。
【図３】カメラで撮像した画像を示す図である。
【図４】歪みの説明図である。
【図５】視点変換の説明図である。
【図６】ディスプレイに表示される画像例を示す図である。
【発明を実施するための形態】
【００１３】
以下、図面に基づき、本発明の実施形態について詳細に説明する。
図１は、本発明の実施形態に係る周辺監視モニタリングシステムを示す構成図である。
図２（ａ），（ｂ）は、車両１の外観を示す図である。
【００１４】
図１に示す周辺監視モニタリングシステムは、図２に示す車両１の助手席のドア２（右ハンドルの場合）の車両１の車幅方向における開閉範囲を監視するシステムであり、カメラ１０と、車両１に搭載された電子制御ユニット（ＥＣＵ）に組込まれた制御部２０と、ディスプレイ３０とを備えている。
【００１５】
カメラ１０は、車両１の例えばＢピーラー３に取付けられ、上方からドア２の開閉範囲とその周辺の画像をドア２よりも高い位置から撮像するようになっている。カメラ１０は、図示しないレンズ及び電荷結合素子（ＣＣＤ）を備え、レンズを介して入力された画像を撮像し、電気信号に変換して出力する。カメラ１０の撮像する画像には、路面ばかりでなく、ドア２の一部、ドアミラー４等も撮像される。さらに、ドア２の近傍に障害物５が有れば、その障害物５も撮像される。
【００１６】
ＥＣＵ内の制御部２０は、カメラ１０から与えられる電気信号を入力するカメラ信号キャプチャ部２１と、画像歪み補正部２２と、画像視点変換部２３と、カメラ画像出力部２４と、ドア開閉軌跡演算部２５と，ドア開閉軌跡表示部２６と、画像合成部２７とを備えている。
【００１７】
画像歪み補正部２２は、カメラ１０で撮像した画像に存在する歪みを除去する機能を有し、カメラ信号キャプチャ部２１に接続されている。画像歪み補正部２２には、カメラ信号キャプチャ部２１を介してカメラ１０の撮像した画像を示す信号が入力される。
【００１８】
画像視点変換部２３は、画像歪み補正部２２に接続され、画像歪み補正部２２から与えられた信号で表される画像に対し、視点の変換処理を行う。この視点の変換処理では、例えばドア２の開閉範囲を含む画像を真上から撮像した画像に変換する。
【００１９】
画像視点変換部２３の出力側に、カメラ画像出力部２４が接続され、カメラ画像出力部２４の出力側が、画像合成部２７に接続されている。カメラ画像出力部２４は、画像視点変換部２３で変換された画像に対応する信号を、画像合成部２７に出力する。
【００２０】
一方、ドア開閉軌跡演算部２５は、カメラで撮像された画像中におけるドア２が開閉する場合の軌跡を演算する回路であり、カメラ信号キャプチャ部２１に接続されている。
ドア開閉軌跡表示部２６は、ドア開閉軌跡演算部２５の出力側に接続され、そのドア開閉軌跡表示部２６の出力側が画像合成部２７に接続されている。ドア開閉軌跡表示部２６は、ドア２が開閉する軌跡を示す信号を生成して画像合成部２７に出力する。
画像合成部２７は、カメラ画像出力部２４及びドア軌跡表示部２６から与えられた信号に基づき、カメラ１０で撮像されて画像歪み補正部２２及び画像視点変換部２３を介したカメラ画像に対して、ドア２が開閉する軌跡をスーパーインポーズにより画像合成し、その合成画像に対応する信号をディスプレイ３０に出力する。
【００２１】
尚、画像歪み補正部２２、画像視点変換部２３、カメラ画像出力部２４、ドア開閉軌跡演算部２５、ドア開閉軌跡表示部２６及び画像合成部２７は、図１のように個別回路で構成してもよいが、ＣＰＵ（Central Processing Unit）、イメージメモリ、作業用ＲＡＭ（Random Access Memory）、ＤＳＰ（Digital Signal Processor）等を用いて構成してもよい。
【００２２】
ディスプレイ３０は、液晶パネル等で構成され、図示しない電源スイッチや各種セレクトボタン等が設けられている。ディスプレイ３０は、ドア２の開閉範囲を含むドア２の周辺の画像を表示する。尚、ディスプレイ３０は、ドア２の開閉範囲を含むドア２の画像を専用に表示するものではなく、他の画像の例えばカーナビゲーションの画像や車両の後方の画像等を表示するものでもよい。この場合、例えば車両１が停車したこと及びドア２のドアロックが解除されたことを検出したときに、ドア２の開閉範囲を含むドア２の周辺画像を選択して表示するようにしてもよい。また、ディスプレイ３０に設けられているセレクトボタンが選択的に押下されたときに、ドア２の開閉範囲を含むドア２の周辺画像を表示するようにしてもよい。
【００２３】
次に、本実施形態の周辺監視モニタリングシステムの動作を説明する。
車両１のＢピラー３に取付けられたカメラ１０は、図３のように、ドア２の上部からドア２の開閉範囲を示す画像を撮像し、撮像した画像を電気信号に変換して出力する。カメラ１０の撮像した画像の各画素は、赤（Ｒ）、緑（Ｇ）、青（Ｂ）の各色の輝度を示す信号として表される。カメラ１０が出力する電気信号は、制御部２０のカメラ信号キャプチャ部２１に入力される。
【００２４】
画像歪み補正部２２は、カメラ信号キャプチャ部２１を介してカメラ１０が出力する電気信号を入力する。即ち、カメラ１０で撮像した画像を取得する。
カメラ１０で撮像した画像には、レンズを介してカメラ１０に入力された画像であり、歪みが含まれている。図４（ａ），（ｂ）は、歪みの説明図である。
【００２５】
カメラ１０で撮像した画像４１を微小の領域に分割して考えたときに、画像４１の中心Ｏ４１の微小領域Ｒａは、レンズの中心近傍を通過した光に対応するもので縮小率が小さいが、中心Ｏ４１から離れた微小領域Ｒｂは、縮小率が大きい。即ち、領域Ｒｂの画像に対応するカメラ１０の視野角は、微小領域Ｒａの画像に対応するカメラ１０の視野角よりも大きい。この視野角は、図４ｂのように、中心Ｏ４１からの距離によって決まり、その距離が離れるほど大きくなる。
【００２６】
画像歪み補正部２２は、画像４１における歪みを除去する補正を行うために、画像４１を分割した微小領域ごとに、中心Ｏ４１からの距離に応じて画素を補充する処理を行う。このような画素の補充を行うことにより、各微小領域の面積がカメラ１０の視野角に応じた面積となる。即ち、中心Ｏ４１からの距離が離れた微小領域の面積が増加し、画像４１における歪みを除去できる。尚、この画素の補充に際し、補充する画素の輝度を周辺の画素の輝度から設定することにより、画像の不自然さが少なくてすむ。また、画素の補充により隣接する微小領域が重なるが、重なった部分の画素は、重なった画素の輝度を平均化した輝度に設定することにより、画質の劣化も避けられる。
【００２７】
画像歪み補正部２２は、補正した画像に対応する信号を画像視点変換部２３に与える。
画像視点変換部２３は、画像歪み補正部２２で歪みが除去された画像に対して、視点の変換を行う。図５は、視点の変換の説明図である。
【００２８】
カメラ１０の取付け角度θ及びカメラ１０の高さｈは、カメラ１０の取付け段階で決まり、カメラ１０の撮影する路面の範囲Ｒの車両１からの距離Ｌもカメラ１０の取付け状態によって決まる。画像視点変換部２３は、カメラ１０の取付け状態で決まるこれらのパラメータを記憶し、記憶したパラメータを利用して視点の変換を行い、カメラ１０の撮像した画像を、真上から見た画像に変換する。
【００２９】
この変換処理では、カメラ１０で撮像した画像Ｉｍ１を、カメラ１０の光軸に垂直な画像Ｉｍ２に変換し、その後、画像Ｉｍ２を、仮想的に範囲Ｒの真上に取付けられた仮想カメラ５０で撮像した画像Ｉｍ３に変換する。画像Ｉｍ１を画像Ｉｍ２に変換する際、カメラ１０の光軸よりも遠方に有る部分は画像Ｉｍ２で拡大され、カメラ１０の光軸よりも車両１側に有る部分は縮小される。ここで、最終的な画像Ｉｍ３での画質の劣化を防ぐために、カメラ１０の光軸よりも遠方に有る部分の拡大は、画素を補充することが望ましい。さらに、この補充する画素の輝度は、周辺の画素の輝度から求めた値に設定することが望ましい。
【００３０】
カメラ画像出力部２４は、画像視点変換部２３で視点変換した画像に対応する信号を画像合成部２７に与える。
【００３１】
ドア開閉軌跡演算部２５は、カメラ信号キャプチャ２１から与えられた信号に基づきドア２に相当する画素群を検出し、ドア２の両端の位置を検出し、ドア２の開閉軌跡を演算して求める。即ち、ドア２の開く端部の動く範囲を求める。
ドア開閉軌跡表示部２６は、ドア開閉軌跡演算部２５が求めたドア２の開閉軌跡に対応する画像に対応する信号を画像合成部２７に与える。
画像合成部２７は、カメラ画像出力部２４及びドア開閉軌跡表示部２６から与えられた信号に基づき、カメラ１０で撮像されて画像歪み補正部２２，画像視点変換部２３で変換されたカメラ画像に対して、ドア２が開閉する軌跡をスーパーインポーズにより画像合成する。画像合成部２７は、その合成画像に対応する信号を例えばＮＴＳＣ（National Television Standards Committee）のコンポジット信号に変換してディスプレイ３０に出力する。
【００３２】
ディスプレイ３０は、図６のように、ドア２の周辺とドア２の車幅方向の開閉軌跡とを含む画像を表示する。これにより、車両１の搭乗者は、ドア２の開閉範囲に、障害物５があるか否かを判断できる。
【００３３】
本実施形態の周辺監視モニタリングシステムは以上のような構成を採用したので、次のような利点を有する。
【００３４】
（１）カメラ１０をＢピラー３に取付け、ドア２の開閉範囲を示す画像を上側から撮像してディスプレイ３０に表示するので、車両１の搭乗者にドア２の外側の路面の状況を確認させることができ、ドア２の損傷等を未然に防ぐことができる。
【００３５】
（２）画像歪み補正部２２を備え、画像の歪みを除去した画像をディスプレイ３０に表示するので、実際に近い画像を搭乗者に与えることができる。
【００３６】
（３）画像視点変換部２３を備え、ドア２の開閉範囲とその近傍を真上から見た画像にしてディスプレイ３０に表示するので、搭乗者に、障害物５とドア２との間の距離感も認識させることができる。
【００３７】
（４）ドア２の開閉軌跡を表示するので、ドア２を開閉したときの障害物５の有無を確実に搭乗者に知らせることができる。
【００３８】
尚、本発明は、上記実施形態に限定されず、種々の変形が可能である。
例えば、カメラ１０の取付け位置は、Ｂピラー３に限定されるものではない。車両１のルーフに取付け、下方を撮影するようにしてもよい。また、ドア２のバイザー内に取付けてもよい。
さらに、撮影対象のドア２を助手席のドアとしているが、他のドアを対象にしてもよい。
また、ドア２の周辺の画像及びドア２の軌跡から、障害物を検出できた場合、制御部２０は障害物検出手段となり、搭乗者に対して警報を発生するようにしてもよい。警報としては、例えばディスプレイ３０に文字で表示したり、障害物の輪郭を示す画像を点滅させて表示してもよい。また、警報としての音を鳴動させる構成にしてもよい。
【符号の説明】
【００３９】
１ 車両
２ ドア
３ Ｂピラー
４ ドアミラー
５ 障害物
１０ カメラ
２０ 制御部
２１ カメラ信号キャプチャ部
２２ 画像歪み補正部（歪み補正手段）
２３ 画像視点変換部（視点変換手段）
２４ カメラ画像出力部
２５ ドア開閉軌跡演算部（ドア軌跡表示手段）
２６ ドア開閉軌跡表示部
３０ ディスプレイ（表示装置）
【技術分野】
【０００１】
本発明は、車両の周辺を監視する周辺監視モニタリンクシステムに関する。
【背景技術】
【０００２】
近年では、車両の周辺を監視して搭乗者を支援する周辺監視モニタリンクシステムが、多くの車両に搭載されている。従来の周辺監視モニタリングシステムとしては、特許文献１〜３に示されるものがあった。
【０００３】
例えば、特許文献１では、ドアミラーにカメラを組込み、ドアミラーが閉じた状態でも、後方の監視ができるようになっている。特許文献２では、車両の運転状況に応じて複数のカメラで撮影された画像を選択して表示している。複数のカメラの配置は、特許文献２の図１に示されている。特許文献３は、例えば車両に搭載されカメラ群から、運転状況に応じたカメラを複数選択し、選択したカメラから得られる画像を合成している。カメラの位置及び視野は、特許文献３の図３に示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００３−３２０８９８号公報
【特許文献２】特開平１１−４８８２８号公報
【特許文献３】特開２００１−５５１００号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
特許文献１〜３等に示された従来の周辺監視モニタリングシステムは、車両の運転状態に応じた画像を運転者に提供することができるが、特に助手席のドアを開閉するときに障害となる物体の存在を搭乗者に知らせるのに適していない。
本発明は、ドアの開閉に支障を来す障害物の存在を搭乗者に知らせることが可能な、周辺監視モニタリングシステムを提供することを目的とする。
【課題を解決するための手段】
【０００６】
上記目的を達成するために、本発明の観点に係る周辺監視モニタリングシステムは、
車両に取付けられ、該車両に取付けられた対象ドアの開閉範囲を示す画像を撮像するカメラと、
前記車両に搭載され、前記対象ドアのドアロックが解除されたときに前記カメラで撮像された画像に対して前記対象ドアの車幅方向の開閉範囲を示す画像を合成して表示する表示装置と、
前記対象ドアの開閉する軌跡を求め、前記表示装置に表示される前記対象ドアの開閉範囲を示す画像に該軌跡を重畳させるドア軌跡表示手段と、
を備えることを特徴とする。
【０００７】
尚、前記表示装置は、前記車両が停車し且つ前記対象ドアのドアロックが解除されたときに前記カメラで撮像された画像に対して前記対象ドアの車幅方向の開閉範囲を示す画像を合成して表示してもよい。
【０００８】
また、前記表示装置に表示される前記対象ドアの開閉範囲を示す画像を、真上から撮影した画像に変換する視点変換手段を備えてもよい。
【０００９】
さらに、前記対象ドアの開閉する軌跡と前記カメラで撮像された画像とに基づいて、該対象ドアを開く際の障害となる障害物の有無を検出する障害物検出手段と、該障害物検出手段により障害物があることが検出された場合に警報を発生する警報手段を備えてもよい。
【００１０】
この場合、前記警報手段は、前記表示装置に前記警報を表示してもよい。或いは、前記警報手段は、前記警報を音で発生してもよい。
【発明の効果】
【００１１】
本発明によれば、ドアの開閉範囲を示す画像に、対象ドアの車幅方向の開閉範囲を示す画像が合成されて表示される。そのため、ドアの開閉範囲に障害物がある場合に、不用意にドアを開けてしまうことを防止できる。これにより、ドアの損傷等が防止できる。
【図面の簡単な説明】
【００１２】
【図１】本発明の実施形態に係る周辺監視モニタリングシステムを示す構成図である。
【図２】車両の外観を示す図である。
【図３】カメラで撮像した画像を示す図である。
【図４】歪みの説明図である。
【図５】視点変換の説明図である。
【図６】ディスプレイに表示される画像例を示す図である。
【発明を実施するための形態】
【００１３】
以下、図面に基づき、本発明の実施形態について詳細に説明する。
図１は、本発明の実施形態に係る周辺監視モニタリングシステムを示す構成図である。
図２（ａ），（ｂ）は、車両１の外観を示す図である。
【００１４】
図１に示す周辺監視モニタリングシステムは、図２に示す車両１の助手席のドア２（右ハンドルの場合）の車両１の車幅方向における開閉範囲を監視するシステムであり、カメラ１０と、車両１に搭載された電子制御ユニット（ＥＣＵ）に組込まれた制御部２０と、ディスプレイ３０とを備えている。
【００１５】
カメラ１０は、車両１の例えばＢピーラー３に取付けられ、上方からドア２の開閉範囲とその周辺の画像をドア２よりも高い位置から撮像するようになっている。カメラ１０は、図示しないレンズ及び電荷結合素子（ＣＣＤ）を備え、レンズを介して入力された画像を撮像し、電気信号に変換して出力する。カメラ１０の撮像する画像には、路面ばかりでなく、ドア２の一部、ドアミラー４等も撮像される。さらに、ドア２の近傍に障害物５が有れば、その障害物５も撮像される。
【００１６】
ＥＣＵ内の制御部２０は、カメラ１０から与えられる電気信号を入力するカメラ信号キャプチャ部２１と、画像歪み補正部２２と、画像視点変換部２３と、カメラ画像出力部２４と、ドア開閉軌跡演算部２５と，ドア開閉軌跡表示部２６と、画像合成部２７とを備えている。
【００１７】
画像歪み補正部２２は、カメラ１０で撮像した画像に存在する歪みを除去する機能を有し、カメラ信号キャプチャ部２１に接続されている。画像歪み補正部２２には、カメラ信号キャプチャ部２１を介してカメラ１０の撮像した画像を示す信号が入力される。
【００１８】
画像視点変換部２３は、画像歪み補正部２２に接続され、画像歪み補正部２２から与えられた信号で表される画像に対し、視点の変換処理を行う。この視点の変換処理では、例えばドア２の開閉範囲を含む画像を真上から撮像した画像に変換する。
【００１９】
画像視点変換部２３の出力側に、カメラ画像出力部２４が接続され、カメラ画像出力部２４の出力側が、画像合成部２７に接続されている。カメラ画像出力部２４は、画像視点変換部２３で変換された画像に対応する信号を、画像合成部２７に出力する。
【００２０】
一方、ドア開閉軌跡演算部２５は、カメラで撮像された画像中におけるドア２が開閉する場合の軌跡を演算する回路であり、カメラ信号キャプチャ部２１に接続されている。
ドア開閉軌跡表示部２６は、ドア開閉軌跡演算部２５の出力側に接続され、そのドア開閉軌跡表示部２６の出力側が画像合成部２７に接続されている。ドア開閉軌跡表示部２６は、ドア２が開閉する軌跡を示す信号を生成して画像合成部２７に出力する。
画像合成部２７は、カメラ画像出力部２４及びドア軌跡表示部２６から与えられた信号に基づき、カメラ１０で撮像されて画像歪み補正部２２及び画像視点変換部２３を介したカメラ画像に対して、ドア２が開閉する軌跡をスーパーインポーズにより画像合成し、その合成画像に対応する信号をディスプレイ３０に出力する。
【００２１】
尚、画像歪み補正部２２、画像視点変換部２３、カメラ画像出力部２４、ドア開閉軌跡演算部２５、ドア開閉軌跡表示部２６及び画像合成部２７は、図１のように個別回路で構成してもよいが、ＣＰＵ（Central Processing Unit）、イメージメモリ、作業用ＲＡＭ（Random Access Memory）、ＤＳＰ（Digital Signal Processor）等を用いて構成してもよい。
【００２２】
ディスプレイ３０は、液晶パネル等で構成され、図示しない電源スイッチや各種セレクトボタン等が設けられている。ディスプレイ３０は、ドア２の開閉範囲を含むドア２の周辺の画像を表示する。尚、ディスプレイ３０は、ドア２の開閉範囲を含むドア２の画像を専用に表示するものではなく、他の画像の例えばカーナビゲーションの画像や車両の後方の画像等を表示するものでもよい。この場合、例えば車両１が停車したこと及びドア２のドアロックが解除されたことを検出したときに、ドア２の開閉範囲を含むドア２の周辺画像を選択して表示するようにしてもよい。また、ディスプレイ３０に設けられているセレクトボタンが選択的に押下されたときに、ドア２の開閉範囲を含むドア２の周辺画像を表示するようにしてもよい。
【００２３】
次に、本実施形態の周辺監視モニタリングシステムの動作を説明する。
車両１のＢピラー３に取付けられたカメラ１０は、図３のように、ドア２の上部からドア２の開閉範囲を示す画像を撮像し、撮像した画像を電気信号に変換して出力する。カメラ１０の撮像した画像の各画素は、赤（Ｒ）、緑（Ｇ）、青（Ｂ）の各色の輝度を示す信号として表される。カメラ１０が出力する電気信号は、制御部２０のカメラ信号キャプチャ部２１に入力される。
【００２４】
画像歪み補正部２２は、カメラ信号キャプチャ部２１を介してカメラ１０が出力する電気信号を入力する。即ち、カメラ１０で撮像した画像を取得する。
カメラ１０で撮像した画像には、レンズを介してカメラ１０に入力された画像であり、歪みが含まれている。図４（ａ），（ｂ）は、歪みの説明図である。
【００２５】
カメラ１０で撮像した画像４１を微小の領域に分割して考えたときに、画像４１の中心Ｏ４１の微小領域Ｒａは、レンズの中心近傍を通過した光に対応するもので縮小率が小さいが、中心Ｏ４１から離れた微小領域Ｒｂは、縮小率が大きい。即ち、領域Ｒｂの画像に対応するカメラ１０の視野角は、微小領域Ｒａの画像に対応するカメラ１０の視野角よりも大きい。この視野角は、図４ｂのように、中心Ｏ４１からの距離によって決まり、その距離が離れるほど大きくなる。
【００２６】
画像歪み補正部２２は、画像４１における歪みを除去する補正を行うために、画像４１を分割した微小領域ごとに、中心Ｏ４１からの距離に応じて画素を補充する処理を行う。このような画素の補充を行うことにより、各微小領域の面積がカメラ１０の視野角に応じた面積となる。即ち、中心Ｏ４１からの距離が離れた微小領域の面積が増加し、画像４１における歪みを除去できる。尚、この画素の補充に際し、補充する画素の輝度を周辺の画素の輝度から設定することにより、画像の不自然さが少なくてすむ。また、画素の補充により隣接する微小領域が重なるが、重なった部分の画素は、重なった画素の輝度を平均化した輝度に設定することにより、画質の劣化も避けられる。
【００２７】
画像歪み補正部２２は、補正した画像に対応する信号を画像視点変換部２３に与える。
画像視点変換部２３は、画像歪み補正部２２で歪みが除去された画像に対して、視点の変換を行う。図５は、視点の変換の説明図である。
【００２８】
カメラ１０の取付け角度θ及びカメラ１０の高さｈは、カメラ１０の取付け段階で決まり、カメラ１０の撮影する路面の範囲Ｒの車両１からの距離Ｌもカメラ１０の取付け状態によって決まる。画像視点変換部２３は、カメラ１０の取付け状態で決まるこれらのパラメータを記憶し、記憶したパラメータを利用して視点の変換を行い、カメラ１０の撮像した画像を、真上から見た画像に変換する。
【００２９】
この変換処理では、カメラ１０で撮像した画像Ｉｍ１を、カメラ１０の光軸に垂直な画像Ｉｍ２に変換し、その後、画像Ｉｍ２を、仮想的に範囲Ｒの真上に取付けられた仮想カメラ５０で撮像した画像Ｉｍ３に変換する。画像Ｉｍ１を画像Ｉｍ２に変換する際、カメラ１０の光軸よりも遠方に有る部分は画像Ｉｍ２で拡大され、カメラ１０の光軸よりも車両１側に有る部分は縮小される。ここで、最終的な画像Ｉｍ３での画質の劣化を防ぐために、カメラ１０の光軸よりも遠方に有る部分の拡大は、画素を補充することが望ましい。さらに、この補充する画素の輝度は、周辺の画素の輝度から求めた値に設定することが望ましい。
【００３０】
カメラ画像出力部２４は、画像視点変換部２３で視点変換した画像に対応する信号を画像合成部２７に与える。
【００３１】
ドア開閉軌跡演算部２５は、カメラ信号キャプチャ２１から与えられた信号に基づきドア２に相当する画素群を検出し、ドア２の両端の位置を検出し、ドア２の開閉軌跡を演算して求める。即ち、ドア２の開く端部の動く範囲を求める。
ドア開閉軌跡表示部２６は、ドア開閉軌跡演算部２５が求めたドア２の開閉軌跡に対応する画像に対応する信号を画像合成部２７に与える。
画像合成部２７は、カメラ画像出力部２４及びドア開閉軌跡表示部２６から与えられた信号に基づき、カメラ１０で撮像されて画像歪み補正部２２，画像視点変換部２３で変換されたカメラ画像に対して、ドア２が開閉する軌跡をスーパーインポーズにより画像合成する。画像合成部２７は、その合成画像に対応する信号を例えばＮＴＳＣ（National Television Standards Committee）のコンポジット信号に変換してディスプレイ３０に出力する。
【００３２】
ディスプレイ３０は、図６のように、ドア２の周辺とドア２の車幅方向の開閉軌跡とを含む画像を表示する。これにより、車両１の搭乗者は、ドア２の開閉範囲に、障害物５があるか否かを判断できる。
【００３３】
本実施形態の周辺監視モニタリングシステムは以上のような構成を採用したので、次のような利点を有する。
【００３４】
（１）カメラ１０をＢピラー３に取付け、ドア２の開閉範囲を示す画像を上側から撮像してディスプレイ３０に表示するので、車両１の搭乗者にドア２の外側の路面の状況を確認させることができ、ドア２の損傷等を未然に防ぐことができる。
【００３５】
（２）画像歪み補正部２２を備え、画像の歪みを除去した画像をディスプレイ３０に表示するので、実際に近い画像を搭乗者に与えることができる。
【００３６】
（３）画像視点変換部２３を備え、ドア２の開閉範囲とその近傍を真上から見た画像にしてディスプレイ３０に表示するので、搭乗者に、障害物５とドア２との間の距離感も認識させることができる。
【００３７】
（４）ドア２の開閉軌跡を表示するので、ドア２を開閉したときの障害物５の有無を確実に搭乗者に知らせることができる。
【００３８】
尚、本発明は、上記実施形態に限定されず、種々の変形が可能である。
例えば、カメラ１０の取付け位置は、Ｂピラー３に限定されるものではない。車両１のルーフに取付け、下方を撮影するようにしてもよい。また、ドア２のバイザー内に取付けてもよい。
さらに、撮影対象のドア２を助手席のドアとしているが、他のドアを対象にしてもよい。
また、ドア２の周辺の画像及びドア２の軌跡から、障害物を検出できた場合、制御部２０は障害物検出手段となり、搭乗者に対して警報を発生するようにしてもよい。警報としては、例えばディスプレイ３０に文字で表示したり、障害物の輪郭を示す画像を点滅させて表示してもよい。また、警報としての音を鳴動させる構成にしてもよい。
【符号の説明】
【００３９】
１ 車両
２ ドア
３ Ｂピラー
４ ドアミラー
５ 障害物
１０ カメラ
２０ 制御部
２１ カメラ信号キャプチャ部
２２ 画像歪み補正部（歪み補正手段）
２３ 画像視点変換部（視点変換手段）
２４ カメラ画像出力部
２５ ドア開閉軌跡演算部（ドア軌跡表示手段）
２６ ドア開閉軌跡表示部
３０ ディスプレイ（表示装置）
【特許請求の範囲】
【請求項１】
車両に取付けられ、該車両に取付けられた対象ドアの開閉範囲を示す画像を撮像するカメラと、
前記車両に搭載され、前記対象ドアのドアロックが解除されたときに前記カメラで撮像された画像に対して前記対象ドアの車幅方向の開閉範囲を示す画像を合成して表示する表示装置と、
前記対象ドアの開閉する軌跡を求め、前記表示装置に表示される前記対象ドアの開閉範囲を示す画像に該軌跡を重畳させるドア軌跡表示手段と、
を備えることを特徴とする周辺監視モニタリングシステム。
【請求項２】
前記表示装置は、前記車両が停車し且つ前記対象ドアのドアロックが解除されたときに前記カメラで撮像された画像に対して前記対象ドアの車幅方向の開閉範囲を示す画像を合成して表示することを特徴とする請求項１に記載の周辺監視モニタリングシステム。
【請求項３】
前記表示装置に表示される前記対象ドアの開閉範囲を示す画像を、真上から撮影した画像に変換する視点変換手段を備えることを特徴とする請求項１又は２に記載の周辺監視モニタリングシステム。
【請求項４】
前記対象ドアの開閉する軌跡と前記カメラで撮像された画像とに基づいて、該対象ドアを開く際の障害となる障害物の有無を検出する障害物検出手段と、該障害物検出手段により障害物があることが検出された場合に警報を発生する警報手段を備えることを特徴とする請求項１乃至３のいずれか１項に記載の周辺監視モニタリングシステム。
【請求項１】
車両に取付けられ、該車両に取付けられた対象ドアの開閉範囲を示す画像を撮像するカメラと、
前記車両に搭載され、前記対象ドアのドアロックが解除されたときに前記カメラで撮像された画像に対して前記対象ドアの車幅方向の開閉範囲を示す画像を合成して表示する表示装置と、
前記対象ドアの開閉する軌跡を求め、前記表示装置に表示される前記対象ドアの開閉範囲を示す画像に該軌跡を重畳させるドア軌跡表示手段と、
を備えることを特徴とする周辺監視モニタリングシステム。
【請求項２】
前記表示装置は、前記車両が停車し且つ前記対象ドアのドアロックが解除されたときに前記カメラで撮像された画像に対して前記対象ドアの車幅方向の開閉範囲を示す画像を合成して表示することを特徴とする請求項１に記載の周辺監視モニタリングシステム。
【請求項３】
前記表示装置に表示される前記対象ドアの開閉範囲を示す画像を、真上から撮影した画像に変換する視点変換手段を備えることを特徴とする請求項１又は２に記載の周辺監視モニタリングシステム。
【請求項４】
前記対象ドアの開閉する軌跡と前記カメラで撮像された画像とに基づいて、該対象ドアを開く際の障害となる障害物の有無を検出する障害物検出手段と、該障害物検出手段により障害物があることが検出された場合に警報を発生する警報手段を備えることを特徴とする請求項１乃至３のいずれか１項に記載の周辺監視モニタリングシステム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図２】
【図３】
【図４】
【図５】
【図６】
【公開番号】特開２０１２−１２１０（Ｐ２０１２−１２１０Ａ）
【公開日】平成２４年１月５日（２０１２．１．５）
【国際特許分類】
【出願番号】特願２０１１−２２１４２６（Ｐ２０１１−２２１４２６）
【出願日】平成２３年１０月５日（２０１１．１０．５）
【分割の表示】特願２００５−３１２８４８（Ｐ２００５−３１２８４８）の分割
【原出願日】平成１７年１０月２７日（２００５．１０．２７）
【出願人】（０００００００１１）アイシン精機株式会社 (5,421)
【公開日】平成２４年１月５日（２０１２．１．５）
【国際特許分類】
【出願日】平成２３年１０月５日（２０１１．１０．５）
【分割の表示】特願２００５−３１２８４８（Ｐ２００５−３１２８４８）の分割
【原出願日】平成１７年１０月２７日（２００５．１０．２７）
【出願人】（０００００００１１）アイシン精機株式会社 (5,421)
[ Back to top ]