車両用画像処理装置
【課題】車載カメラによって撮像された画像の視認性を向上させる。
【解決手段】車載カメラによって撮像された画像のうち、ユーザにとって不必要であると考えられる領域に対してマスキング処理を施し、マスキング処理を施した画像を表示する。
【解決手段】車載カメラによって撮像された画像のうち、ユーザにとって不必要であると考えられる領域に対してマスキング処理を施し、マスキング処理を施した画像を表示する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車両周囲の撮像画像に対して画像処理を行う車両用画像処理装置に関する。
【背景技術】
【０００２】
従来、経路案内を行う車両用案内表示装置において、右左折すべき交差点において、右左折を案内するための誘導矢印を表示する装置が知られている（特許文献１参照）。
【０００３】
【特許文献１】特開平１０−３３９６４６号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、従来の車両用案内表示装置において、視認性向上のために誘導矢印を大きくして表示すると、道路の左右に存在する建物と誘導矢印とが重畳してしまい、右左折すべき交差点までの距離が把握しにくくなるという問題がある。
【課題を解決するための手段】
【０００５】
本発明による車両用画像処理装置は、車両周囲を撮像した画像のうち、ユーザが視認する際に不必要であると考えられる領域を検出し、検出した領域に対して、マスキング処理を施すことを特徴とする。
【発明の効果】
【０００６】
本発明による車両用画像処理装置によれば、ユーザが視認する際に不必要であると考えられる領域に対して、マスキング処理を施すので、撮像画像の視認性を向上させることができる。
【発明を実施するための最良の形態】
【０００７】
−第１の実施の形態−
図１は、第１の実施の形態における車両用画像処理装置の構成を示す図である。第１の実施の形態における車両用画像処理装置１は、自車位置取得装置２と、車載カメラ３と、入力装置４と、ディスプレイ５と、地図データベース６と、制御装置７とを備える。
【０００８】
自車位置取得装置２は、車両の現在地を検出する装置であり、例えば車両の進行方位を検出する方位センサや車速を検出する車速センサやＧＰＳ（Global Positioning System）衛星からのＧＰＳ信号を検出するＧＰＳセンサ等から構成される。自車位置取得装置２によって検出された車両位置は、後述する制御装置７に入力される。
【０００９】
車載カメラ３は、例えば、小型ＣＣＤカメラであり、フロントウインド周辺等に設置されて、自車両の前方を映像する。車載カメラ３によって撮像された映像は、後述する制御装置７に入力される。入力装置４は、ユーザが目的地等を入力するための各種操作部材である。入力装置４によって入力された目的地等の情報は、制御装置７に入力される。ディスプレイ５には、制御装置７からの指令に基づいて、車両周辺の地図や、目的地までの経路、および、経路案内のための図形（マーク）等が表示される。
【００１０】
地図データベース６は、例えば、ハードディスクであり、地図データを格納している。この地図データには、地図を表示するための道路データや背景データ、経路案内を行うための誘導データ、および、目的地までの推奨経路を演算する際に用いられる経路計算用データなどが含まれる。
【００１１】
道路データには、車載カメラ３によって撮像された車両前方映像（以下、前景映像）における道路端を特定するために必要な位置データ、すなわち、３次元座標測定点データが含まれている。図２は、３次元座標測定点の配置例を示す図であり、道路の両端において、所定間隔おきに配置されるように、設定されている。
【００１２】
３次元座標測定点データには、各３次元座標測定点の３次元座標のデータが含まれている。図３は、３次元座標測定点の位置座標、および、自車位置取得装置２によって検出される自車位置に基づいて、車載カメラ３によって撮像された前景映像に、複数の３次元座標測定点３１を表示した図である。前景映像では、３次元座標測定点３１の集合を道路端３２として認識することができる。
【００１３】
制御装置７は、マイクロプロセッサおよびその周辺回路から構成されており、内部で行う処理機能上、経路算出部７１と、マスキング領域算出部７２と、誘導矢印位置算出部７３と、表示映像合成部７４とを備える。経路算出部７１は、自車位置取得装置２によって検出された自車位置、入力装置４によって入力された目的地、および、地図データベース６に格納されている地図データに基づいて、既知の方法により、現在地から目的地までの推奨経路を算出する。
【００１４】
マスキング領域算出部７２は、車載カメラ３によって撮像された前景映像の中から、経路案内のための誘導矢印を大きく表示するために、マスキング処理を行う領域を求める。マスキング処理とは、撮像画像上の表示が不必要となる領域を覆い隠す処理である。マスキング処理を行う領域については、後述する。誘導矢印位置算出部７３は、自車位置取得装置２によって検出された車両現在地、経路算出部７１によって算出された推奨経路、および、地図データベース６に格納されている地図データに基づいて、経路案内のための誘導矢印を表示する位置を求める。誘導矢印の表示位置を求める詳細な方法については、後述する。表示映像合成部７４は、後述する方法によって、車載カメラ３によって撮像された前景映像に、経路案内のための誘導矢印を重畳表示させる処理を行う。
【００１５】
図４は、第１の実施の形態における車両用画像処理装置によって行われる処理内容を示すフローチャートである。制御装置７は、車両が起動すると、ステップＳ１０の処理を開始する。ステップＳ１０およびステップＳ２０の処理は、経路算出部７１によって行われる。ステップＳ１０では、ユーザが入力装置４を用いて目的地の設定を行ったか否かを判定する。目的地の設定が行われていないと判定するとステップＳ１０で待機し、目的地の設定が行われたと判定すると、ステップＳ２０に進む。
【００１６】
ステップＳ２０では、入力装置４によって入力された目的地情報、自車位置取得装置２によって検出される車両現在地、および、地図データベース６に格納されている地図データに基づいて、現在地から目的地までの推奨経路を算出する。目的地までの推奨経路を算出すると、ステップＳ３０に進む。
【００１７】
ステップＳ３０およびステップＳ４０の処理は、マスキング領域算出部７２によって行われる。ステップＳ３０では、自車両が誘導分岐点に接近したか否かを判定する。誘導分岐点とは、推奨経路上において、右左折等を行うために、ユーザに誘導案内を行うべき交差点である。ここでは、自車位置取得装置２によって検出される車両現在地、および、経路算出部７１によって算出された推奨経路に基づいて、自車両と誘導分岐点との距離が所定距離以内になると、自車両が誘導分岐点に接近したと判定する。自車両が誘導分岐点に接近していないと判定するとステップＳ３０で待機し、誘導分岐点に接近したと判定すると、ステップＳ４０に進む。
【００１８】
ステップＳ４０では、誘導分岐点における誘導方向、自車位置取得装置２によって検出される車両現在地、および、地図データベース６に格納されている地図データに基づいて、車載カメラ３によって撮像された前景映像の中から、マスキング領域を求める。マスキング領域を求める詳細な方法について説明する。
【００１９】
ドライバは、曲折（右折または左折）する際に、曲折する方向の道路や建物に注視して曲折を行うため、曲折方向とは反対側の建物等の情報は不要であるといえる。従って、曲折方向とは反対外に存在する建物等が写っている領域をマスキング領域として無効化することで、曲折方向とは反対側の領域に誘導矢印が重畳しても、誘導矢印が表示されている位置までの距離感に影響を及ぼさないようにする。
【００２０】
マスキング領域算出部７２は、まず始めに、車載カメラ３によって撮像された前景映像内の消失点を検出する。上述したように、地図データベース６に格納されている道路データには、３次元座標測定点データが含まれており、図３に示すように、３次元座標測定点の位置座標、および、自車位置取得装置２によって検出される自車位置に基づいて、車載カメラ３によって撮像された前景映像に、３次元座標測定点を表すことができる。上述したように、この３次元座標測定点の集合を道路端として認識する。なお、前景映像に３次元座標測定点を表す処理は、制御装置７の内部で行う処理であって、ディスプレイ５に実際表示するものではない。
【００２１】
３次元座標測定点の集合である道路端は、図３に示すように２本の直線３２を構成しており、２本の直線３２は、消失点３０に向かって伸びている。従って、自車線側の道路端を構成する３次元座標測定点と、対向車線側の道路端を構成する３次元座標測定点とが一致する点を消失点として検出する。
【００２２】
ここで、図５に示すように、道路形状に起伏がある場合には、車載カメラ３によって撮像された前景映像中に、道路両端の直線が交差することによってできる消失点が存在しない。この場合、以下の方法により、仮の消失点を求める。
【００２３】
道路形状に起伏がある場合、起伏の前後に位置する３次元位置座標測定点の高さ成分（Ｚ軸成分）は、起伏の頂上付近で最大値をとり、頂点から離れるに従い減少していく。従って、まず、自車位置と３次元位置座標測定点の高さ成分とに基づいて、前景映像中に表示可能な３次元位置座標測定点のうち、最も遠方に存在する測定点（Ｚ座標値が最も大きい測定点）５０，５１を特定する。そして、特定した３次元位置座標測定点５０，５１の中点を消失点５２とする。
【００２４】
また、道路形状が左右どちらかへ大きくカーブしており、道路が前景映像の左右どちらかの端へ切れてしまう場合においても、３次元位置座標測定点の３次元座標および自車位置に基づいて、前景映像に表示可能な、最遠方に存在する３次元位置座標測定点を求め、求めた２つの３次元位置座標測定点の中点を仮の消失点とする。
【００２５】
前景画像において消失点を検出すると、消失点から垂直上方に直線を引き、この直線と、車両が曲折する方向とは逆方向に存在する道路端とで囲まれる、車両の曲折方向とは逆方向に存在する領域をマスキング領域とする。図６は、車両が左折する場合のマスキング領域の一例を示す図である。消失点３０から垂直上方に引かれた直線６１と、車両が曲折する方向とは逆方向に存在する道路端６２とで囲まれる領域をマスキング領域６０としている。
【００２６】
図７は、道路形状に起伏がある場合のマスキング領域の一例を示す図である。上述したように、道路形状に起伏がある場合には、前景映像中に表示可能な３次元位置座標測定点のうち、最も遠方に存在する測定点５０，５１の中点を消失点３０とした。この場合、消失点３０の垂直上方に直線６１を引くとともに、車両が曲折する方向とは逆方向に存在する道路端６２に存在する最遠方の３次元位置座標測定点５１と消失点３０とを結ぶ線６５を引く。これらの直線６１、直線６５、および、反対車線側の道路端を示す直線６２で囲まれる右方向（車両が曲折する方向とは逆方向）に存在する領域をマスキング領域６０とする。
【００２７】
図４に示すフローチャートのステップＳ４０において、マスキング領域を求めると、ステップＳ５０に進む。ステップＳ５０の処理は、誘導矢印位置算出部７３によって行われる。ステップＳ５０では、前景映像中において、誘導矢印を表示する位置を求める。誘導矢印の表示位置を求める方法について説明する。
【００２８】
図８は、誘導矢印の表示位置を求める方法を説明するための図である。自車両８０は左折するものとし、図８に示すように、交差点の左折側の角には、建造物８１が存在するものとする。車載カメラ３が設けられている自車両中心の位置と、複数の３次元位置座標測定点の集合によって構成される自車線側の道路端８５と交差点とが交差する点８２とを結んだ直線を８３とすると、左方向を示す誘導矢印の先端が直線８３を越えると、誘導矢印の先端は、建造物８１と重畳して表示されることになる。従って、誘導矢印の先端は、直線８３を越えない範囲（直線８３より右側）に表示する必要がある。
【００２９】
図８に示すように、自車両８０から交差点上の誘導矢印を表示する位置までの距離をＬｔ、自車両の直進方向を示す直線８４と直線８３との成す角をθとすると、誘導矢印の長さＸは、次式（１）にて表される。ただし、交差点上で誘導矢印を表示する位置は、予め定めておく。また、以下では、角度θを、建造物８１による遮蔽度θと呼ぶ。
Ｘ＝Ｌｔ・tanθ （１）
ここで、自車両８０から交差点上の誘導矢印を表示する位置までの距離Ｌｔ、および、建造物８１による遮蔽度θは、自車位置取得装置２によって検出された車両現在地、および、地図データベース６に格納されている地図データに基づいて求める。また、式（１）により得られるＸは、実際の路面上における曲折方向の矢印の長さであるため、前景映像中における長さおよび位置に変換することによって、前景映像中における誘導矢印の位置を算出する。
【００３０】
誘導矢印の表示は、自車両の曲折が完了するまで行うので、式（１）によって誘導矢印の長さＸを求める処理も、自車両の曲折が完了するまで繰り返し行う。ただし、自車両が実際に右左折を開始すると、遮蔽度θの値が大きくなるので、誘導矢印の長さＸの値も大きくなり、誘導矢印が前景映像からはみ出してしまう。従って、誘導矢印の長さＸは、その先端が前景映像内に収まる範囲内の長さとする。誘導矢印の長さＸを算出すると、前景映像上に、誘導矢印を表示する位置が定まる。
【００３１】
図４に示すフローチャートのステップＳ５０において、前景映像中における誘導矢印の表示位置を求めると、ステップＳ６０に進む。ステップＳ６０の処理は、表示映像合成部７４によって行われる。ステップＳ６０では、車載カメラ３によって撮像された前景映像に対して、ステップＳ４０で求めたマスキング領域に対してマスキング処理を施すとともに、ステップＳ５０で求めた表示位置に、誘導矢印を表示する処理を行う。マスキング処理は、例えば、単一色でマスキング領域を塗りつぶす処理を行う。
【００３２】
ステップＳ６０に続くステップＳ７０では、ステップＳ６０で処理を行った前景映像をディスプレイ５に表示する。図９は、ディスプレイ５に表示された前景映像の一例を示す図である。図９に示すように、マスキング領域６０にマスキング処理が施されて、建物などが表示されなくなっている。また、交差点で左折することを示す誘導矢印９０が大きく表示されている。車両の曲折方向とは逆方向の領域にマスキング処理を施すことにより、誘導矢印９０を大きく表示しても、反対側に存在する建物に誘導矢印が重畳して表示されることはない。
【００３３】
ステップＳ７０に続くステップＳ８０では、自車位置取得装置２によって検出された車両現在地、および、地図データベース６に格納されている地図データに基づいて、自車両の曲折が完了したか否かを判定する。自車両の曲折が完了していないと判定するとステップＳ４０に戻り、ステップＳ４０からステップＳ７０の処理を繰り返し行う。一方、自車両の曲折が完了したと判定すると、ステップＳ９０に進む。
【００３４】
ステップＳ９０では、自車位置取得装置２によって検出された車両現在地、および、地図データベース６に格納されている地図データに基づいて、自車両が目的地に到着したか否かを判定する。自車両が目的地に到着していないと判定するとステップＳ３０に戻り、目的地に到着したと判定すると、経路案内処理を終了する。
【００３５】
第１の実施の形態における車両用画像処理装置によれば、車載カメラ３によって撮像された車両周囲の画像のうち、ユーザが視認する際に不必要であると考えられる不必要領域を検出し、検出した不必要領域に対して、マスキング処理を施すので、ユーザにとって不要な部分の映像を隠すことができる。これにより、ユーザは、例えば、自車位置と交差点との位置関係を把握しやすくなる。
【００３６】
特に、第１の実施の形態における車両用画像処理装置によれば、車両の現在地、および、目的地までの推奨経路に基づいて、車載カメラ３によって撮像された画像に経路案内のための図形（誘導矢印）を重畳表示させる際に、経路案内のための図形を表示する位置に基づいて、不必要領域を検出する。これにより、経路案内のための図形が経路案内に不要な建物等と重畳して表示されて、ユーザが経路分岐点までの距離を把握しにくくなるのを防ぐことができる。ユーザにとって不要な領域にマスキング処理を施した上で、経路案内のための図形を表示するので、経路案内の図形を大きく表示することができる。これにより、ユーザの視認性が向上する。
【００３７】
また、第１の実施の形態における車両用画像処理装置によれば、車両の現在地、および、自車両が曲折する交差点の曲折する方向の角の位置に基づいて、経路案内のための図形の大きさを変更するので、車両状況に応じた適切な大きさの経路案内図形を表示することができる。
【００３８】
−第２の実施の形態−
図１０は、第２の実施の形態における車両用画像処理装置の構成を示す図である。第２の実施の形態における車両用画像処理装置の構成が図１に示す第１の実施の形態における車両用画像処理装置の構成と異なるのは、制御装置７の構成である。すなわち、制御装置７は、障害物認識部７５をさらに備える。また、第１の実施の形態における車両用画像処理装置と、異なる処理を行う誘導矢印位置算出部および映像合成部の符号をそれぞれ、７３ａおよび７４ａとする。
【００３９】
図１１は、第２の実施の形態における車両用画像処理装置によって行われる処理内容を示すフローチャートである。図４に示すフローチャートの処理と同一の処理を行うステップについては、同一の符号を付して詳しい説明は省略する。
【００４０】
ステップＳ１０からステップＳ４０までの処理は、図４に示すフローチャートのステップＳ１０からステップＳ４０までの処理と同じである。ステップＳ４０に続くステップＳ２００において、障害物認識部７５は、車載カメラ３によって撮像された前景映像に基づいて、画像処理を行うことにより、交差点の車両曲折方向の手前角に存在する建物などの障害物を検出し、検出した障害物による遮蔽度を求める。画像処理による障害物の検出処理は、既知の方法を用いることができる。
【００４１】
ステップＳ２００に続くステップＳ２１０において、誘導矢印位置算出部７３ａは、自車位置取得装置２によって検出された車両現在地、地図データベース６に格納されている地図データ、および、ステップＳ２００で求めた障害物による遮蔽度に基づいて、誘導矢印を表示する位置を求める。
【００４２】
図１２は、自車両１２０が左折する交差点の角に建造物１２１が存在する場合の誘導矢印を示す図である。図１２に示すように、建造物１２１は、自車線の道路端１２７より内側に存在している。車載カメラ３が設けられている自車両中心の位置１２２と、交差点の角１２３とを結んだ直線を１２４、車載カメラ３が設けられている自車両中心の位置１２２と、建造物１２１の角のうち、交差点の中心から最も近い角１２５とを結んだ直線を１２６とする。また、自車両の進行方向を示す直線１２７と直線１２４との間の角をθ１、直線１２７と直線１２６との間の角をθ２とする。
【００４３】
誘導矢印位置算出部７３ａは、交差点の角による遮蔽度θ１と、障害物１２１による遮蔽度θ２とを比較し、値が大きい方の遮蔽度を用いて、上式（１）に基づいて、誘導矢印の長さを算出する。図１２に示す例では、遮蔽度θ１より遮蔽度θ２の方が大きいので、上式（１）のθにθ２を代入することにより、誘導矢印の長さを求める。
【００４４】
第１の実施の形態における車両用画像処理装置では、自車線の道路端と交差点とが交わる角の位置に基づいて遮蔽度θ１を求めてから、誘導矢印の長さを求めた。これに対して、第２の実施の形態における車両用画像処理装置では、車両が曲折する方向の角に存在する障害物の角の位置に基づいて、遮蔽度θ２を求めてから、誘導矢印の長さを求めるので、誘導矢印をさらに大きい状態で表示することができる。
【００４５】
ただし、道路形状が車両の曲折方向側にカーブしている場合、分岐交差点の手前角に存在する建造物による遮蔽度よりも、さらにその手前に存在する建造物による遮蔽度の方が高い可能性がある。従って、自車両位置から分岐交差点の間に位置する建造物のうち、最も大きい遮蔽度に基づいて誘導矢印の長さを決定する。
【００４６】
図１１に示すフローチャートのステップＳ２１０において、誘導矢印を表示する位置を求めると、ステップＳ２２０に進む。ステップＳ２２０において、表示映像合成部７４ａは、車載カメラ３によって撮像された前景映像に基づいて、ステップ４０で求めたマスキング領域に対して空間周波数を低減させるマスキング処理を行うとともに、ステップＳ２１０で求めた表示位置に誘導矢印を重畳表示する処理を行う。ステップＳ２２０に続くステップＳ７０では、ステップＳ２２０で処理を行った前景映像をディスプレイ５に表示する。
【００４７】
図１３は、ディスプレイ５に表示された前景映像の一例を示す図である。マスキング領域に対して空間周波数を低減させる処理を行うことにより、マスキング領域に存在する建物等は完全に消えることはなく、形状等がぼんやりと映し出されている。空間周波数を低減させる度合は、予め実験等を行うことによって決めておく。第１の実施の形態における車両用画像処理装置のように、マスキング領域を単一の色等で塗りつぶすマスキング処理を施した場合には、マスキング領域に存在する建物等を視認することができないが、空間周波数を低減させるマスキング処理を行うことにより、ユーザは、車両の曲折方向とは反対側に存在する建物の形状や、道路の幅などをディスプレイ５上で確認することができる。
【００４８】
また、空間周波数を低減してから、誘導矢印を重畳表示するので、車両の曲折方向とは反対側に存在する建物等に誘導矢印が重畳して表示されても、自車位置から交差点までの距離が把握しにくくなることはない。さらに、図１３に示すように、誘導矢印１３０の先端の位置を、交差点の角１３１ではなく、交差点の角に存在する建物１３２の角１３３に合わせることにより、誘導矢印１３０をより大きく表示することができ、また、曲折場所がより明確になる形で表示することができる。
【００４９】
ステップ７０に続くステップＳ８０およびステップＳ９０の処理は、図４に示すフローチャートのステップＳ８０およびステップＳ９０の処理と同一である。
【００５０】
第２の実施の形態における車両用画像処理装置によれば、車載カメラ３によって撮像された車両周囲の画像に対して、ユーザにとって不必要であると考えられる不必要領域の空間周波数を低減させる処理を行う。これにより、第１の実施の形態における車両用画像処理装置と同様に、経路案内のための図形が経路案内に不要な建物等と重畳して表示されて、ユーザが経路分岐点までの距離を把握しにくくなるのを防ぐことができる。また、不必要領域を完全に覆い隠さずに、空間周波数を低減させるマスキング処理を行うので、ユーザは、マスキング領域に存在する建物の形状等を把握することができる。
【００５１】
また、第２の実施の形態における車両用画像処理装置によれば、自車位置、および、自車両が曲折する交差点の曲折方向の角に存在する障害物の位置に基づいて、経路案内のための図形の大きさを変更するので、自車位置と障害物の位置に基づいた適切な大きさの経路案内図形を表示することができる。
【００５２】
本発明は、上述した各実施の形態に限定されることはない。例えば、ユーザにとって不必要であると考えられる領域に対して、単一色で塗りつぶすマスキング処理や、空間周波数を低減するマスキング処理を行う例を挙げて説明したが、マスキング処理は、これらに限定されることはない。すなわち、経路案内の図形を重畳表示させる際に、視覚的に邪魔にならないように画像処理を施すものであればよい。
【００５３】
第１の実施の形態では、自車両が曲折する方向とは反対側の車線より外側の領域をマスキング領域として検出した。しかし、経路案内の図形を表示する際に重畳する領域のみをマスキング領域として検出してもよいし、重畳する領域およびその周辺領域をマスキング領域として検出してもよい。周辺領域は、例えば、経路案内の図形と重畳する領域の所定距離範囲内の領域として設定することができる。
【００５４】
道路形状に起伏がある場合、最も遠方に存在する３次元位置座標測定点（Ｚ座標値が最も大きい測定点）５０，５１を特定し、特定した測定点５０，５１の中点を消失点とした。しかし、３次元位置座標測定点５０，５１を結ぶ線分と中央線との交点を消失点としてもよいし、他の方法によって、消失点を決定してもよい。
【００５５】
予め設定しておいた複数の３次元座標測定点の集合を道路端として認識したが、撮像画像に基づいて、画像認識処理を行うことにより、道路端を検出することもできる。また、マスキング領域を、自車両が曲折する方向とは反対側の道路の道路端に基づいて決定したが、中央線に基づいて決定してもよい。なお、中央線は、中央線を表す３次元座標測定点を予め定めておいて、複数の３次元座標測定点の集合として検出してもよいし、画像認識処理を行うことにより検出してもよい。
【００５６】
上述した第１および第２の実施の形態では、右左折すべき交差点で、右左折するための経路案内表示を行う際に、ユーザが視認する際に不必要であると考えられる領域にマスキング処理を施したが、マスキング処理を行うタイミングは、経路案内表示を行う時に限定されることはない。例えば、交通情報等の情報を重畳表示することができるシステムでは、交通情報等の情報を重畳表示させる領域およびその周辺領域にマスキング処理を施すこともできる。
【００５７】
特許請求の範囲の構成要素と第１および第２の実施の形態の構成要素との対応関係は次の通りである。すなわち、車載カメラ３が撮影手段を、制御装置７が不必要領域検出手段、画像処理手段、推奨経路演算手段、および、経路案内図形表示手段を、自車位置取得装置２が現在地検出手段をそれぞれ構成する。なお、以上の説明はあくまで一例であり、発明を解釈する上で、上記の実施形態の構成要素と本発明の構成要素との対応関係に何ら限定されるものではない。
【図面の簡単な説明】
【００５８】
【図１】第１の実施の形態における車両用画像処理装置の構成を示す図
【図２】３次元座標測定点の一例を示す図
【図３】３次元座標測定点の位置座標および自車位置に基づいて、車載カメラによって撮像された前景映像に、３次元座標測定点を表示した図
【図４】第１の実施の形態における車両用画像処理装置によって行われる処理内容を示すフローチャート
【図５】道路形状に起伏がある場合の前景映像の一例を示す図
【図６】車両が左折する場合のマスキング領域の一例を示す図
【図７】道路形状に起伏がある場合のマスキング領域の一例を示す図
【図８】誘導矢印の表示位置を求める方法を説明するための図
【図９】ディスプレイに表示された前景映像の一例を示す図
【図１０】第２の実施の形態における車両用画像処理装置の構成を示す図
【図１１】第２の実施の形態における車両用画像処理装置によって行われる処理内容を示すフローチャート
【図１２】自車両が左折する交差点の角に建造物が存在する場合の誘導矢印を示す図
【図１３】ディスプレイに表示された前景映像の一例を示す図
【符号の説明】
【００５９】
１…車両用画像処理装置、２…自車位置取得装置、３…車載カメラ、４…入力装置、５…ディスプレイ、６…データベース、７…制御装置、７１…経路算出部、７２…マスキング領域算出部、７３…誘導矢印位置算出部、７４…表示映像合成部。７５…障害物認識部
【技術分野】
【０００１】
本発明は、車両周囲の撮像画像に対して画像処理を行う車両用画像処理装置に関する。
【背景技術】
【０００２】
従来、経路案内を行う車両用案内表示装置において、右左折すべき交差点において、右左折を案内するための誘導矢印を表示する装置が知られている（特許文献１参照）。
【０００３】
【特許文献１】特開平１０−３３９６４６号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、従来の車両用案内表示装置において、視認性向上のために誘導矢印を大きくして表示すると、道路の左右に存在する建物と誘導矢印とが重畳してしまい、右左折すべき交差点までの距離が把握しにくくなるという問題がある。
【課題を解決するための手段】
【０００５】
本発明による車両用画像処理装置は、車両周囲を撮像した画像のうち、ユーザが視認する際に不必要であると考えられる領域を検出し、検出した領域に対して、マスキング処理を施すことを特徴とする。
【発明の効果】
【０００６】
本発明による車両用画像処理装置によれば、ユーザが視認する際に不必要であると考えられる領域に対して、マスキング処理を施すので、撮像画像の視認性を向上させることができる。
【発明を実施するための最良の形態】
【０００７】
−第１の実施の形態−
図１は、第１の実施の形態における車両用画像処理装置の構成を示す図である。第１の実施の形態における車両用画像処理装置１は、自車位置取得装置２と、車載カメラ３と、入力装置４と、ディスプレイ５と、地図データベース６と、制御装置７とを備える。
【０００８】
自車位置取得装置２は、車両の現在地を検出する装置であり、例えば車両の進行方位を検出する方位センサや車速を検出する車速センサやＧＰＳ（Global Positioning System）衛星からのＧＰＳ信号を検出するＧＰＳセンサ等から構成される。自車位置取得装置２によって検出された車両位置は、後述する制御装置７に入力される。
【０００９】
車載カメラ３は、例えば、小型ＣＣＤカメラであり、フロントウインド周辺等に設置されて、自車両の前方を映像する。車載カメラ３によって撮像された映像は、後述する制御装置７に入力される。入力装置４は、ユーザが目的地等を入力するための各種操作部材である。入力装置４によって入力された目的地等の情報は、制御装置７に入力される。ディスプレイ５には、制御装置７からの指令に基づいて、車両周辺の地図や、目的地までの経路、および、経路案内のための図形（マーク）等が表示される。
【００１０】
地図データベース６は、例えば、ハードディスクであり、地図データを格納している。この地図データには、地図を表示するための道路データや背景データ、経路案内を行うための誘導データ、および、目的地までの推奨経路を演算する際に用いられる経路計算用データなどが含まれる。
【００１１】
道路データには、車載カメラ３によって撮像された車両前方映像（以下、前景映像）における道路端を特定するために必要な位置データ、すなわち、３次元座標測定点データが含まれている。図２は、３次元座標測定点の配置例を示す図であり、道路の両端において、所定間隔おきに配置されるように、設定されている。
【００１２】
３次元座標測定点データには、各３次元座標測定点の３次元座標のデータが含まれている。図３は、３次元座標測定点の位置座標、および、自車位置取得装置２によって検出される自車位置に基づいて、車載カメラ３によって撮像された前景映像に、複数の３次元座標測定点３１を表示した図である。前景映像では、３次元座標測定点３１の集合を道路端３２として認識することができる。
【００１３】
制御装置７は、マイクロプロセッサおよびその周辺回路から構成されており、内部で行う処理機能上、経路算出部７１と、マスキング領域算出部７２と、誘導矢印位置算出部７３と、表示映像合成部７４とを備える。経路算出部７１は、自車位置取得装置２によって検出された自車位置、入力装置４によって入力された目的地、および、地図データベース６に格納されている地図データに基づいて、既知の方法により、現在地から目的地までの推奨経路を算出する。
【００１４】
マスキング領域算出部７２は、車載カメラ３によって撮像された前景映像の中から、経路案内のための誘導矢印を大きく表示するために、マスキング処理を行う領域を求める。マスキング処理とは、撮像画像上の表示が不必要となる領域を覆い隠す処理である。マスキング処理を行う領域については、後述する。誘導矢印位置算出部７３は、自車位置取得装置２によって検出された車両現在地、経路算出部７１によって算出された推奨経路、および、地図データベース６に格納されている地図データに基づいて、経路案内のための誘導矢印を表示する位置を求める。誘導矢印の表示位置を求める詳細な方法については、後述する。表示映像合成部７４は、後述する方法によって、車載カメラ３によって撮像された前景映像に、経路案内のための誘導矢印を重畳表示させる処理を行う。
【００１５】
図４は、第１の実施の形態における車両用画像処理装置によって行われる処理内容を示すフローチャートである。制御装置７は、車両が起動すると、ステップＳ１０の処理を開始する。ステップＳ１０およびステップＳ２０の処理は、経路算出部７１によって行われる。ステップＳ１０では、ユーザが入力装置４を用いて目的地の設定を行ったか否かを判定する。目的地の設定が行われていないと判定するとステップＳ１０で待機し、目的地の設定が行われたと判定すると、ステップＳ２０に進む。
【００１６】
ステップＳ２０では、入力装置４によって入力された目的地情報、自車位置取得装置２によって検出される車両現在地、および、地図データベース６に格納されている地図データに基づいて、現在地から目的地までの推奨経路を算出する。目的地までの推奨経路を算出すると、ステップＳ３０に進む。
【００１７】
ステップＳ３０およびステップＳ４０の処理は、マスキング領域算出部７２によって行われる。ステップＳ３０では、自車両が誘導分岐点に接近したか否かを判定する。誘導分岐点とは、推奨経路上において、右左折等を行うために、ユーザに誘導案内を行うべき交差点である。ここでは、自車位置取得装置２によって検出される車両現在地、および、経路算出部７１によって算出された推奨経路に基づいて、自車両と誘導分岐点との距離が所定距離以内になると、自車両が誘導分岐点に接近したと判定する。自車両が誘導分岐点に接近していないと判定するとステップＳ３０で待機し、誘導分岐点に接近したと判定すると、ステップＳ４０に進む。
【００１８】
ステップＳ４０では、誘導分岐点における誘導方向、自車位置取得装置２によって検出される車両現在地、および、地図データベース６に格納されている地図データに基づいて、車載カメラ３によって撮像された前景映像の中から、マスキング領域を求める。マスキング領域を求める詳細な方法について説明する。
【００１９】
ドライバは、曲折（右折または左折）する際に、曲折する方向の道路や建物に注視して曲折を行うため、曲折方向とは反対側の建物等の情報は不要であるといえる。従って、曲折方向とは反対外に存在する建物等が写っている領域をマスキング領域として無効化することで、曲折方向とは反対側の領域に誘導矢印が重畳しても、誘導矢印が表示されている位置までの距離感に影響を及ぼさないようにする。
【００２０】
マスキング領域算出部７２は、まず始めに、車載カメラ３によって撮像された前景映像内の消失点を検出する。上述したように、地図データベース６に格納されている道路データには、３次元座標測定点データが含まれており、図３に示すように、３次元座標測定点の位置座標、および、自車位置取得装置２によって検出される自車位置に基づいて、車載カメラ３によって撮像された前景映像に、３次元座標測定点を表すことができる。上述したように、この３次元座標測定点の集合を道路端として認識する。なお、前景映像に３次元座標測定点を表す処理は、制御装置７の内部で行う処理であって、ディスプレイ５に実際表示するものではない。
【００２１】
３次元座標測定点の集合である道路端は、図３に示すように２本の直線３２を構成しており、２本の直線３２は、消失点３０に向かって伸びている。従って、自車線側の道路端を構成する３次元座標測定点と、対向車線側の道路端を構成する３次元座標測定点とが一致する点を消失点として検出する。
【００２２】
ここで、図５に示すように、道路形状に起伏がある場合には、車載カメラ３によって撮像された前景映像中に、道路両端の直線が交差することによってできる消失点が存在しない。この場合、以下の方法により、仮の消失点を求める。
【００２３】
道路形状に起伏がある場合、起伏の前後に位置する３次元位置座標測定点の高さ成分（Ｚ軸成分）は、起伏の頂上付近で最大値をとり、頂点から離れるに従い減少していく。従って、まず、自車位置と３次元位置座標測定点の高さ成分とに基づいて、前景映像中に表示可能な３次元位置座標測定点のうち、最も遠方に存在する測定点（Ｚ座標値が最も大きい測定点）５０，５１を特定する。そして、特定した３次元位置座標測定点５０，５１の中点を消失点５２とする。
【００２４】
また、道路形状が左右どちらかへ大きくカーブしており、道路が前景映像の左右どちらかの端へ切れてしまう場合においても、３次元位置座標測定点の３次元座標および自車位置に基づいて、前景映像に表示可能な、最遠方に存在する３次元位置座標測定点を求め、求めた２つの３次元位置座標測定点の中点を仮の消失点とする。
【００２５】
前景画像において消失点を検出すると、消失点から垂直上方に直線を引き、この直線と、車両が曲折する方向とは逆方向に存在する道路端とで囲まれる、車両の曲折方向とは逆方向に存在する領域をマスキング領域とする。図６は、車両が左折する場合のマスキング領域の一例を示す図である。消失点３０から垂直上方に引かれた直線６１と、車両が曲折する方向とは逆方向に存在する道路端６２とで囲まれる領域をマスキング領域６０としている。
【００２６】
図７は、道路形状に起伏がある場合のマスキング領域の一例を示す図である。上述したように、道路形状に起伏がある場合には、前景映像中に表示可能な３次元位置座標測定点のうち、最も遠方に存在する測定点５０，５１の中点を消失点３０とした。この場合、消失点３０の垂直上方に直線６１を引くとともに、車両が曲折する方向とは逆方向に存在する道路端６２に存在する最遠方の３次元位置座標測定点５１と消失点３０とを結ぶ線６５を引く。これらの直線６１、直線６５、および、反対車線側の道路端を示す直線６２で囲まれる右方向（車両が曲折する方向とは逆方向）に存在する領域をマスキング領域６０とする。
【００２７】
図４に示すフローチャートのステップＳ４０において、マスキング領域を求めると、ステップＳ５０に進む。ステップＳ５０の処理は、誘導矢印位置算出部７３によって行われる。ステップＳ５０では、前景映像中において、誘導矢印を表示する位置を求める。誘導矢印の表示位置を求める方法について説明する。
【００２８】
図８は、誘導矢印の表示位置を求める方法を説明するための図である。自車両８０は左折するものとし、図８に示すように、交差点の左折側の角には、建造物８１が存在するものとする。車載カメラ３が設けられている自車両中心の位置と、複数の３次元位置座標測定点の集合によって構成される自車線側の道路端８５と交差点とが交差する点８２とを結んだ直線を８３とすると、左方向を示す誘導矢印の先端が直線８３を越えると、誘導矢印の先端は、建造物８１と重畳して表示されることになる。従って、誘導矢印の先端は、直線８３を越えない範囲（直線８３より右側）に表示する必要がある。
【００２９】
図８に示すように、自車両８０から交差点上の誘導矢印を表示する位置までの距離をＬｔ、自車両の直進方向を示す直線８４と直線８３との成す角をθとすると、誘導矢印の長さＸは、次式（１）にて表される。ただし、交差点上で誘導矢印を表示する位置は、予め定めておく。また、以下では、角度θを、建造物８１による遮蔽度θと呼ぶ。
Ｘ＝Ｌｔ・tanθ （１）
ここで、自車両８０から交差点上の誘導矢印を表示する位置までの距離Ｌｔ、および、建造物８１による遮蔽度θは、自車位置取得装置２によって検出された車両現在地、および、地図データベース６に格納されている地図データに基づいて求める。また、式（１）により得られるＸは、実際の路面上における曲折方向の矢印の長さであるため、前景映像中における長さおよび位置に変換することによって、前景映像中における誘導矢印の位置を算出する。
【００３０】
誘導矢印の表示は、自車両の曲折が完了するまで行うので、式（１）によって誘導矢印の長さＸを求める処理も、自車両の曲折が完了するまで繰り返し行う。ただし、自車両が実際に右左折を開始すると、遮蔽度θの値が大きくなるので、誘導矢印の長さＸの値も大きくなり、誘導矢印が前景映像からはみ出してしまう。従って、誘導矢印の長さＸは、その先端が前景映像内に収まる範囲内の長さとする。誘導矢印の長さＸを算出すると、前景映像上に、誘導矢印を表示する位置が定まる。
【００３１】
図４に示すフローチャートのステップＳ５０において、前景映像中における誘導矢印の表示位置を求めると、ステップＳ６０に進む。ステップＳ６０の処理は、表示映像合成部７４によって行われる。ステップＳ６０では、車載カメラ３によって撮像された前景映像に対して、ステップＳ４０で求めたマスキング領域に対してマスキング処理を施すとともに、ステップＳ５０で求めた表示位置に、誘導矢印を表示する処理を行う。マスキング処理は、例えば、単一色でマスキング領域を塗りつぶす処理を行う。
【００３２】
ステップＳ６０に続くステップＳ７０では、ステップＳ６０で処理を行った前景映像をディスプレイ５に表示する。図９は、ディスプレイ５に表示された前景映像の一例を示す図である。図９に示すように、マスキング領域６０にマスキング処理が施されて、建物などが表示されなくなっている。また、交差点で左折することを示す誘導矢印９０が大きく表示されている。車両の曲折方向とは逆方向の領域にマスキング処理を施すことにより、誘導矢印９０を大きく表示しても、反対側に存在する建物に誘導矢印が重畳して表示されることはない。
【００３３】
ステップＳ７０に続くステップＳ８０では、自車位置取得装置２によって検出された車両現在地、および、地図データベース６に格納されている地図データに基づいて、自車両の曲折が完了したか否かを判定する。自車両の曲折が完了していないと判定するとステップＳ４０に戻り、ステップＳ４０からステップＳ７０の処理を繰り返し行う。一方、自車両の曲折が完了したと判定すると、ステップＳ９０に進む。
【００３４】
ステップＳ９０では、自車位置取得装置２によって検出された車両現在地、および、地図データベース６に格納されている地図データに基づいて、自車両が目的地に到着したか否かを判定する。自車両が目的地に到着していないと判定するとステップＳ３０に戻り、目的地に到着したと判定すると、経路案内処理を終了する。
【００３５】
第１の実施の形態における車両用画像処理装置によれば、車載カメラ３によって撮像された車両周囲の画像のうち、ユーザが視認する際に不必要であると考えられる不必要領域を検出し、検出した不必要領域に対して、マスキング処理を施すので、ユーザにとって不要な部分の映像を隠すことができる。これにより、ユーザは、例えば、自車位置と交差点との位置関係を把握しやすくなる。
【００３６】
特に、第１の実施の形態における車両用画像処理装置によれば、車両の現在地、および、目的地までの推奨経路に基づいて、車載カメラ３によって撮像された画像に経路案内のための図形（誘導矢印）を重畳表示させる際に、経路案内のための図形を表示する位置に基づいて、不必要領域を検出する。これにより、経路案内のための図形が経路案内に不要な建物等と重畳して表示されて、ユーザが経路分岐点までの距離を把握しにくくなるのを防ぐことができる。ユーザにとって不要な領域にマスキング処理を施した上で、経路案内のための図形を表示するので、経路案内の図形を大きく表示することができる。これにより、ユーザの視認性が向上する。
【００３７】
また、第１の実施の形態における車両用画像処理装置によれば、車両の現在地、および、自車両が曲折する交差点の曲折する方向の角の位置に基づいて、経路案内のための図形の大きさを変更するので、車両状況に応じた適切な大きさの経路案内図形を表示することができる。
【００３８】
−第２の実施の形態−
図１０は、第２の実施の形態における車両用画像処理装置の構成を示す図である。第２の実施の形態における車両用画像処理装置の構成が図１に示す第１の実施の形態における車両用画像処理装置の構成と異なるのは、制御装置７の構成である。すなわち、制御装置７は、障害物認識部７５をさらに備える。また、第１の実施の形態における車両用画像処理装置と、異なる処理を行う誘導矢印位置算出部および映像合成部の符号をそれぞれ、７３ａおよび７４ａとする。
【００３９】
図１１は、第２の実施の形態における車両用画像処理装置によって行われる処理内容を示すフローチャートである。図４に示すフローチャートの処理と同一の処理を行うステップについては、同一の符号を付して詳しい説明は省略する。
【００４０】
ステップＳ１０からステップＳ４０までの処理は、図４に示すフローチャートのステップＳ１０からステップＳ４０までの処理と同じである。ステップＳ４０に続くステップＳ２００において、障害物認識部７５は、車載カメラ３によって撮像された前景映像に基づいて、画像処理を行うことにより、交差点の車両曲折方向の手前角に存在する建物などの障害物を検出し、検出した障害物による遮蔽度を求める。画像処理による障害物の検出処理は、既知の方法を用いることができる。
【００４１】
ステップＳ２００に続くステップＳ２１０において、誘導矢印位置算出部７３ａは、自車位置取得装置２によって検出された車両現在地、地図データベース６に格納されている地図データ、および、ステップＳ２００で求めた障害物による遮蔽度に基づいて、誘導矢印を表示する位置を求める。
【００４２】
図１２は、自車両１２０が左折する交差点の角に建造物１２１が存在する場合の誘導矢印を示す図である。図１２に示すように、建造物１２１は、自車線の道路端１２７より内側に存在している。車載カメラ３が設けられている自車両中心の位置１２２と、交差点の角１２３とを結んだ直線を１２４、車載カメラ３が設けられている自車両中心の位置１２２と、建造物１２１の角のうち、交差点の中心から最も近い角１２５とを結んだ直線を１２６とする。また、自車両の進行方向を示す直線１２７と直線１２４との間の角をθ１、直線１２７と直線１２６との間の角をθ２とする。
【００４３】
誘導矢印位置算出部７３ａは、交差点の角による遮蔽度θ１と、障害物１２１による遮蔽度θ２とを比較し、値が大きい方の遮蔽度を用いて、上式（１）に基づいて、誘導矢印の長さを算出する。図１２に示す例では、遮蔽度θ１より遮蔽度θ２の方が大きいので、上式（１）のθにθ２を代入することにより、誘導矢印の長さを求める。
【００４４】
第１の実施の形態における車両用画像処理装置では、自車線の道路端と交差点とが交わる角の位置に基づいて遮蔽度θ１を求めてから、誘導矢印の長さを求めた。これに対して、第２の実施の形態における車両用画像処理装置では、車両が曲折する方向の角に存在する障害物の角の位置に基づいて、遮蔽度θ２を求めてから、誘導矢印の長さを求めるので、誘導矢印をさらに大きい状態で表示することができる。
【００４５】
ただし、道路形状が車両の曲折方向側にカーブしている場合、分岐交差点の手前角に存在する建造物による遮蔽度よりも、さらにその手前に存在する建造物による遮蔽度の方が高い可能性がある。従って、自車両位置から分岐交差点の間に位置する建造物のうち、最も大きい遮蔽度に基づいて誘導矢印の長さを決定する。
【００４６】
図１１に示すフローチャートのステップＳ２１０において、誘導矢印を表示する位置を求めると、ステップＳ２２０に進む。ステップＳ２２０において、表示映像合成部７４ａは、車載カメラ３によって撮像された前景映像に基づいて、ステップ４０で求めたマスキング領域に対して空間周波数を低減させるマスキング処理を行うとともに、ステップＳ２１０で求めた表示位置に誘導矢印を重畳表示する処理を行う。ステップＳ２２０に続くステップＳ７０では、ステップＳ２２０で処理を行った前景映像をディスプレイ５に表示する。
【００４７】
図１３は、ディスプレイ５に表示された前景映像の一例を示す図である。マスキング領域に対して空間周波数を低減させる処理を行うことにより、マスキング領域に存在する建物等は完全に消えることはなく、形状等がぼんやりと映し出されている。空間周波数を低減させる度合は、予め実験等を行うことによって決めておく。第１の実施の形態における車両用画像処理装置のように、マスキング領域を単一の色等で塗りつぶすマスキング処理を施した場合には、マスキング領域に存在する建物等を視認することができないが、空間周波数を低減させるマスキング処理を行うことにより、ユーザは、車両の曲折方向とは反対側に存在する建物の形状や、道路の幅などをディスプレイ５上で確認することができる。
【００４８】
また、空間周波数を低減してから、誘導矢印を重畳表示するので、車両の曲折方向とは反対側に存在する建物等に誘導矢印が重畳して表示されても、自車位置から交差点までの距離が把握しにくくなることはない。さらに、図１３に示すように、誘導矢印１３０の先端の位置を、交差点の角１３１ではなく、交差点の角に存在する建物１３２の角１３３に合わせることにより、誘導矢印１３０をより大きく表示することができ、また、曲折場所がより明確になる形で表示することができる。
【００４９】
ステップ７０に続くステップＳ８０およびステップＳ９０の処理は、図４に示すフローチャートのステップＳ８０およびステップＳ９０の処理と同一である。
【００５０】
第２の実施の形態における車両用画像処理装置によれば、車載カメラ３によって撮像された車両周囲の画像に対して、ユーザにとって不必要であると考えられる不必要領域の空間周波数を低減させる処理を行う。これにより、第１の実施の形態における車両用画像処理装置と同様に、経路案内のための図形が経路案内に不要な建物等と重畳して表示されて、ユーザが経路分岐点までの距離を把握しにくくなるのを防ぐことができる。また、不必要領域を完全に覆い隠さずに、空間周波数を低減させるマスキング処理を行うので、ユーザは、マスキング領域に存在する建物の形状等を把握することができる。
【００５１】
また、第２の実施の形態における車両用画像処理装置によれば、自車位置、および、自車両が曲折する交差点の曲折方向の角に存在する障害物の位置に基づいて、経路案内のための図形の大きさを変更するので、自車位置と障害物の位置に基づいた適切な大きさの経路案内図形を表示することができる。
【００５２】
本発明は、上述した各実施の形態に限定されることはない。例えば、ユーザにとって不必要であると考えられる領域に対して、単一色で塗りつぶすマスキング処理や、空間周波数を低減するマスキング処理を行う例を挙げて説明したが、マスキング処理は、これらに限定されることはない。すなわち、経路案内の図形を重畳表示させる際に、視覚的に邪魔にならないように画像処理を施すものであればよい。
【００５３】
第１の実施の形態では、自車両が曲折する方向とは反対側の車線より外側の領域をマスキング領域として検出した。しかし、経路案内の図形を表示する際に重畳する領域のみをマスキング領域として検出してもよいし、重畳する領域およびその周辺領域をマスキング領域として検出してもよい。周辺領域は、例えば、経路案内の図形と重畳する領域の所定距離範囲内の領域として設定することができる。
【００５４】
道路形状に起伏がある場合、最も遠方に存在する３次元位置座標測定点（Ｚ座標値が最も大きい測定点）５０，５１を特定し、特定した測定点５０，５１の中点を消失点とした。しかし、３次元位置座標測定点５０，５１を結ぶ線分と中央線との交点を消失点としてもよいし、他の方法によって、消失点を決定してもよい。
【００５５】
予め設定しておいた複数の３次元座標測定点の集合を道路端として認識したが、撮像画像に基づいて、画像認識処理を行うことにより、道路端を検出することもできる。また、マスキング領域を、自車両が曲折する方向とは反対側の道路の道路端に基づいて決定したが、中央線に基づいて決定してもよい。なお、中央線は、中央線を表す３次元座標測定点を予め定めておいて、複数の３次元座標測定点の集合として検出してもよいし、画像認識処理を行うことにより検出してもよい。
【００５６】
上述した第１および第２の実施の形態では、右左折すべき交差点で、右左折するための経路案内表示を行う際に、ユーザが視認する際に不必要であると考えられる領域にマスキング処理を施したが、マスキング処理を行うタイミングは、経路案内表示を行う時に限定されることはない。例えば、交通情報等の情報を重畳表示することができるシステムでは、交通情報等の情報を重畳表示させる領域およびその周辺領域にマスキング処理を施すこともできる。
【００５７】
特許請求の範囲の構成要素と第１および第２の実施の形態の構成要素との対応関係は次の通りである。すなわち、車載カメラ３が撮影手段を、制御装置７が不必要領域検出手段、画像処理手段、推奨経路演算手段、および、経路案内図形表示手段を、自車位置取得装置２が現在地検出手段をそれぞれ構成する。なお、以上の説明はあくまで一例であり、発明を解釈する上で、上記の実施形態の構成要素と本発明の構成要素との対応関係に何ら限定されるものではない。
【図面の簡単な説明】
【００５８】
【図１】第１の実施の形態における車両用画像処理装置の構成を示す図
【図２】３次元座標測定点の一例を示す図
【図３】３次元座標測定点の位置座標および自車位置に基づいて、車載カメラによって撮像された前景映像に、３次元座標測定点を表示した図
【図４】第１の実施の形態における車両用画像処理装置によって行われる処理内容を示すフローチャート
【図５】道路形状に起伏がある場合の前景映像の一例を示す図
【図６】車両が左折する場合のマスキング領域の一例を示す図
【図７】道路形状に起伏がある場合のマスキング領域の一例を示す図
【図８】誘導矢印の表示位置を求める方法を説明するための図
【図９】ディスプレイに表示された前景映像の一例を示す図
【図１０】第２の実施の形態における車両用画像処理装置の構成を示す図
【図１１】第２の実施の形態における車両用画像処理装置によって行われる処理内容を示すフローチャート
【図１２】自車両が左折する交差点の角に建造物が存在する場合の誘導矢印を示す図
【図１３】ディスプレイに表示された前景映像の一例を示す図
【符号の説明】
【００５９】
１…車両用画像処理装置、２…自車位置取得装置、３…車載カメラ、４…入力装置、５…ディスプレイ、６…データベース、７…制御装置、７１…経路算出部、７２…マスキング領域算出部、７３…誘導矢印位置算出部、７４…表示映像合成部。７５…障害物認識部
【特許請求の範囲】
【請求項１】
車両周囲を撮像する撮像手段と、
前記撮像手段によって撮像された画像のうち、ユーザが視認する際に不必要であると考えられる領域（以下、不必要領域）を検出する不必要領域検出手段と、
前記不必要領域検出手段によって検出された不必要領域に対して、マスキング処理を施す画像処理手段とを備えることを特徴とする車両用画像処理装置。
【請求項２】
請求項１に記載の車両用画像処理装置において、
前記不必要領域検出手段は、自車両が曲折する方向とは反対側の車線より外側の領域を前記不必要領域として検出することを特徴とする車両用画像処理装置。
【請求項３】
請求項１に記載の車両用画像処理装置において、
自車両の現在地を検出する現在地検出手段と、
目的地までの推奨経路を演算する推奨経路演算手段と、
前記現在地検出手段によって検出される車両位置、および、前記推奨経路演算手段によって演算される推奨経路に基づいて、前記撮像手段によって撮像された画像に経路案内のための図形を重畳表示させる経路案内図形表示手段とをさらに備え、
前記不必要領域検出手段は、前記経路案内図形表示手段が前記撮像画像に前記経路案内のための図形を重畳表示させる位置に基づいて、前記不必要領域を検出することを特徴とする車両用画像処理装置。
【請求項４】
請求項３に記載の車両用画像処理装置において、
前記不必要領域検出手段は、自車両が曲折する方向とは反対側の車線より外側の領域において、少なくとも前記経路案内のための図形を表示する際に重なる部分の領域を前記不必要領域として検出することを特徴とする車両用画像処理装置。
【請求項５】
請求項３に記載の車両用画像処理装置において、
前記不必要領域検出手段は、前記経路案内のための図形を表示する際に重なる部分の領域から所定の距離範囲内の領域を前記不必要領域として検出することを特徴とする車両用画像処理装置。
【請求項６】
請求項３から請求項５のいずれか一項に記載の車両用画像処理装置において、
前記経路案内図形表示手段は、前記現在地検出手段によって検出される車両位置、および、自車両が曲折する交差点の曲折方向の角の位置に基づいて、前記経路案内のための図形の大きさを変更することを特徴とする車両用画像処理装置。
【請求項７】
請求項３から請求項５のいずれか一項に記載の車両用画像処理装置において、
前記経路案内図形表示手段は、前記現在地検出手段によって検出される車両位置、および、自車両が曲折する交差点の曲折方向の角に存在する障害物の位置に基づいて、前記経路案内のための図形の大きさを変更することを特徴とする車両用画像処理装置。
【請求項８】
請求項１〜７のいずれかに記載の車両用画像処理装置において、
前記画像処理手段は、前記不必要領域を塗りつぶすマスキング処理を行うことを特徴とする車両用画像処理装置。
【請求項９】
請求項１〜７のいずれかに記載の車両用画像処理装置において、
前記画像処理手段は、前記不必要領域の空間周波数を低減させるマスキング処理を行うことを特徴とする車両用画像処理装置。
【請求項１】
車両周囲を撮像する撮像手段と、
前記撮像手段によって撮像された画像のうち、ユーザが視認する際に不必要であると考えられる領域（以下、不必要領域）を検出する不必要領域検出手段と、
前記不必要領域検出手段によって検出された不必要領域に対して、マスキング処理を施す画像処理手段とを備えることを特徴とする車両用画像処理装置。
【請求項２】
請求項１に記載の車両用画像処理装置において、
前記不必要領域検出手段は、自車両が曲折する方向とは反対側の車線より外側の領域を前記不必要領域として検出することを特徴とする車両用画像処理装置。
【請求項３】
請求項１に記載の車両用画像処理装置において、
自車両の現在地を検出する現在地検出手段と、
目的地までの推奨経路を演算する推奨経路演算手段と、
前記現在地検出手段によって検出される車両位置、および、前記推奨経路演算手段によって演算される推奨経路に基づいて、前記撮像手段によって撮像された画像に経路案内のための図形を重畳表示させる経路案内図形表示手段とをさらに備え、
前記不必要領域検出手段は、前記経路案内図形表示手段が前記撮像画像に前記経路案内のための図形を重畳表示させる位置に基づいて、前記不必要領域を検出することを特徴とする車両用画像処理装置。
【請求項４】
請求項３に記載の車両用画像処理装置において、
前記不必要領域検出手段は、自車両が曲折する方向とは反対側の車線より外側の領域において、少なくとも前記経路案内のための図形を表示する際に重なる部分の領域を前記不必要領域として検出することを特徴とする車両用画像処理装置。
【請求項５】
請求項３に記載の車両用画像処理装置において、
前記不必要領域検出手段は、前記経路案内のための図形を表示する際に重なる部分の領域から所定の距離範囲内の領域を前記不必要領域として検出することを特徴とする車両用画像処理装置。
【請求項６】
請求項３から請求項５のいずれか一項に記載の車両用画像処理装置において、
前記経路案内図形表示手段は、前記現在地検出手段によって検出される車両位置、および、自車両が曲折する交差点の曲折方向の角の位置に基づいて、前記経路案内のための図形の大きさを変更することを特徴とする車両用画像処理装置。
【請求項７】
請求項３から請求項５のいずれか一項に記載の車両用画像処理装置において、
前記経路案内図形表示手段は、前記現在地検出手段によって検出される車両位置、および、自車両が曲折する交差点の曲折方向の角に存在する障害物の位置に基づいて、前記経路案内のための図形の大きさを変更することを特徴とする車両用画像処理装置。
【請求項８】
請求項１〜７のいずれかに記載の車両用画像処理装置において、
前記画像処理手段は、前記不必要領域を塗りつぶすマスキング処理を行うことを特徴とする車両用画像処理装置。
【請求項９】
請求項１〜７のいずれかに記載の車両用画像処理装置において、
前記画像処理手段は、前記不必要領域の空間周波数を低減させるマスキング処理を行うことを特徴とする車両用画像処理装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【公開番号】特開２００７−３１５８６１（Ｐ２００７−３１５８６１Ａ）
【公開日】平成１９年１２月６日（２００７．１２．６）
【国際特許分類】
【出願番号】特願２００６−１４４２３０（Ｐ２００６−１４４２３０）
【出願日】平成１８年５月２４日（２００６．５．２４）
【出願人】（０００００３９９７）日産自動車株式会社 (16,386)
【Ｆターム（参考）】
【公開日】平成１９年１２月６日（２００７．１２．６）
【国際特許分類】
【出願日】平成１８年５月２４日（２００６．５．２４）
【出願人】（０００００３９９７）日産自動車株式会社 (16,386)
【Ｆターム（参考）】
[ Back to top ]