車両周辺画像提供装置
【課題】トップビュー画像のつなぎ目と交差するガイドラインを違和感なく表示させることが可能な「車両周辺画像提供装置」を提供すること。
【解決手段】車両周辺画像提供装置は、表示手段と、複数のカメラと、車両の画像のデータを予め格納する第１の記憶手段と、車両の幅及び車両からの所定の距離を示すガイドラインのデータを記憶する第２の記憶手段と、第１の記憶手段に格納されているデータから車両の画像と車両周辺の画像を合成して表示手段の画面に表示させるように制御する制御手段とを備える。制御手段は、各カメラにより取得された画像間の境界領域に表示されるつなぎ目と交差するガイドラインを表示するとき、ガイドラインの表示位置の画素と表示位置に隣接する画素との輝度差に応じて現れる滲みを含めたガイドラインの表示がつなぎ目の両側でずれのないようにガイドラインの表示位置を調整する。
【解決手段】車両周辺画像提供装置は、表示手段と、複数のカメラと、車両の画像のデータを予め格納する第１の記憶手段と、車両の幅及び車両からの所定の距離を示すガイドラインのデータを記憶する第２の記憶手段と、第１の記憶手段に格納されているデータから車両の画像と車両周辺の画像を合成して表示手段の画面に表示させるように制御する制御手段とを備える。制御手段は、各カメラにより取得された画像間の境界領域に表示されるつなぎ目と交差するガイドラインを表示するとき、ガイドラインの表示位置の画素と表示位置に隣接する画素との輝度差に応じて現れる滲みを含めたガイドラインの表示がつなぎ目の両側でずれのないようにガイドラインの表示位置を調整する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車両周辺画像提供装置に関し、特に、複数の車載用カメラで撮影した画像を基に生成する車両周辺の俯瞰画像とガイドラインとを合成して表示する車両周辺画像提供装置に関する。
【背景技術】
【０００２】
近年、自車両のドアミラーやナンバープレート近傍にカメラを設置し、これら複数台のカメラにより自車両周囲の画像を撮影し、この画像を車室内に設置したディスプレイ等の表示装置に表示する技術が実用化されている。かかる技術は特に駐車する際に利用されており、その際、運転者は、表示装置に表示された画像を確認しながら、障害物等の存在を把握することで、衝突等の事故を防ぐことが可能になる。特に、ミラーだけでは死角になる位置の画像も表示することができるので、安全な駐車に寄与することができる。
【０００３】
このような駐車支援に関し、特許文献１には、駐車目標領域に接近するまでは車両の舵角に基づく予想到達位置指標を描画し、駐車目標領域に進入したときには予想到達位置指標を消去して車幅の目安を示す車幅ガイド線を表示し、運転者が理解しやすい画面を表示する技術が記載されている。
【０００４】
また、自車両に複数台のカメラを設置し、これらのカメラにより撮像された画像を基に、これら撮像画像を自車両の上方の仮想視点から見た画像（俯瞰画像）に変換し、その視点変換された車両周辺の俯瞰画像（以下、便宜上「トップビュー画像」という。）をディスプレイ等の表示装置に表示することで、自車両の周辺を監視する技術が実用化されている。
【０００５】
このトップビュー画像は、複数台のカメラで撮影された画像を合成して生成されるが、カメラの撮影領域がそれぞれ異なるために、画像のつなぎ部分に切れ目が生ずる場合がある。このような画像のつなぎ部の切れ目の補正について、例えば、カメラの撮影領域どうしが重なる領域において複数の画像の輝度を同程度にし、画像間に輝度差による切れ目が見えなくなるようにする技術がある。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００８−１３２８８１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
上記したような運転者にとって違和感の少ないトップビュー画像により、自車両の周辺を死角領域をなくして表示することができ、バック走行等の際にトップビュー画像を確認しながら運転することにより、危険を回避することが可能となる。
【０００８】
また、トップビュー画像に限らず、車両の幅や予め規定された車両からの距離を示すガイドラインが表示され、障害物等との衝突防止が図られている。
【０００９】
このガイドライン表示とトップビュー画像表示とを組み合わせて表示することにより、運転者にとってより障害物を認識しやすい表示とすることが可能となっている。
【００１０】
しかし、ガイドラインはトップビュー表示の隣接するカメラ画像間にまたがって表示されることがあり、この場合、カメラ画像間のつなぎ目を通過して表示される。このような表示において、一直線でガイドラインを表示しているにも関わらず、つなぎ目の両側でラインがずれたり、ラインが曲がって見えてしまうという現象が発生している。そのため、運転者にとってガイドライン表示に異常が発生したと認識され混乱を与え、ガイドラインが適切に利用されずに安全走行に支障をきたすおそれがある。
【００１１】
本発明は、かかる従来技術の課題に鑑みなされたものであり、トップビュー画像のつなぎ目と交差するガイドラインを違和感なく表示させることが可能な車両周辺画像提供装置を提供することを目的とする。
【課題を解決するための手段】
【００１２】
上述した従来技術の課題を解決するため、本発明の一形態によれば、表示手段と、車両周辺の画像を取得可能に設置された複数のカメラと、当該車両の画像のデータを予め格納すると共に、前記カメラにより取得された画像のデータを逐次格納する第１の記憶手段と、車両の幅及び車両からの所定の距離を示すガイドラインのデータを記憶する第２の記憶手段と、前記第１の記憶手段に格納されているデータから当該車両の画像と車両周辺の画像を合成して前記表示手段の画面に表示させるように制御する制御手段と、を備え、前記制御手段は、前記各カメラにより取得された画像間の境界領域に表示されるつなぎ目と交差する前記ガイドラインを表示するとき、当該ガイドラインの表示位置の画素と当該表示位置に隣接する画素との輝度差に応じて現れる滲みを含めたガイドラインの表示が前記つなぎ目の両側でずれのないようにガイドラインの表示位置を調整することを特徴とする車両周辺画像提供装置が提供される。
【００１３】
この形態に係る車両周辺画像提供装置において、前記制御手段は、前記車両の画像の前後方向の軸に平行な前記ガイドラインを前記つなぎ目で分割し、前記車両画像に近いガイドラインを第１の部分ガイドラインとし、前記車両画像から遠いガイドラインを第２の部分ガイドラインとしたとき、前記第２の部分ガイドライン及び当該第２の部分ガイドラインの近傍に現れる滲みを含んだガイドラインが前記第１の部分ガイドライン及び当該第１の部分ガイドラインの近傍に現れる滲みを含んだガイドラインとずれがないように、前記第２の部分ガイドラインの表示位置を調整するようにしてもよく、前記制御手段は、前記第２の部分ガイドラインの表示位置の画素及び当該表示位置に隣接する画素の輝度を検出し、当該輝度の差に応じて予め決められた所定の画素数分だけ前記第２の部分ガイドラインの表示位置をずらすようにしてもよく、前記制御手段は、前記車両の左右方向の軸に平行なガイドラインの表示の長さを、前記第２の部分ガイドラインの調整位置を基に算出して表示するようにしてもよい。
【発明の効果】
【００１４】
本発明では、ガイドラインがトップビュー画像のつなぎ目と交差するとき、ガイドラインの表示位置の近傍の画素の輝度を検出し、輝度差に応じてガイドラインを表示する位置をずらすようにしている。具体的には、車両の前後方向の軸に平行なガイドラインをトップビュー画像のつなぎ目で分割し、車両画像から遠いガイドラインとそれに伴う滲みを含んだガイドラインを、車両画像に近いガイドラインとそれに伴う滲みを含んだガイドラインに合わせるように、車両から遠いガイドラインの表示位置を輝度差に応じてずらすようにしている。これにより、滲みを伴うガイドラインがトップビュー画像のつなぎ目の両側でずれて見えることを防止することが可能となる。
【図面の簡単な説明】
【００１５】
【図１】本発明の一実施形態に係る車両周辺画像提供装置の構成を概略的に示すブロック図である。
【図２】図１の装置における各車載カメラの設置例を模式的に示す図である。
【図３】マッピングテーブルを説明する図である。
【図４】マッピングテーブルの一例を示す図である。
【図５】ＮＴＳＣコンポジットビデオ信号の波形の一例を示す図である。
【図６】ガイドライン表示位置調整処理を行った場合（本実施形態）と行っていない場合（従来例）のトップビュー画像の提供に係る画面表示例を概略的に示す図である。
【図７】ガイドラインをずらす明るさの閾値の一例を示す図である。
【図８】ガイドラインを含むトップビュー画像表示処理の一例を示すフローチャートである。
【図９】ガイドライン表示位置調整処理の一例を示すフローチャートである。
【発明を実施するための形態】
【００１６】
以下、本発明の実施形態について、添付の図面を参照しながら説明する。
【００１７】
図１は、本発明の一実施形態に係る車両周辺画像提供装置１０の構成を概略的に示したものである。本実施形態では、本発明に係る車両周辺画像提供装置１０を車載用ナビゲーション装置の一部として組み込んだ場合の構成例を示している。
【００１８】
本実施形態に係る車両周辺画像提供装置１０は、図１に示すように、４台の車載カメラ１１ａ、１１ｂ、１１ｃ及び１１ｄと、各車載カメラ１１ａ〜１１ｄで取得されたアナログの画像データをデジタルデータに変換するコンバータ（Ａ／Ｄ）１２と、撮影画像メモリ１３と、視点変換部１４と、周辺画像生成部１５と、マッピングメモリ１６と、車両画像メモリ１７と、画像合成部１８と、ディスプレイ装置１９と、制御部２０と、操作部２１と、記憶部２２と、画像出力部２３とを備えている。
【００１９】
各車載カメラ１１ａ、１１ｂ、１１ｃ及び１１ｄは、それぞれ自車両の前方、後方、左方及び右方の画像を取得するためのものであり、自車両外部の適当な箇所に設置されている。図２はその設置例を模式的に示したものであり、前方カメラ１１ａは車両の前部に、後方カメラ１１ｂは車両の後部に、左方カメラ１１ｃ及び右方カメラ１１ｄはそれぞれ車両の左側部及び右側部（図示の例では、ドアミラーの下部）にそれぞれ設置されている。
【００２０】
また、各車載カメラ１１ａ〜１１ｄは、各々のレンズが若干下方を向くように位置決めされ、図中破線で示すように広角範囲（理想的には１８０°の撮像範囲）で画像を取得できるように設置されている。つまり、各車載カメラ１１ａ〜１１ｄが協働して自車両の全周辺（車両周辺）を撮影できるように配置されている。
【００２１】
隣接する車載カメラで撮像される領域は、境界付近で相互に重なる重複領域が存在している。例えば、前方カメラ１１ａで撮影された画像と右方カメラ１１ｄで撮影された画像とが、重複領域ＤＲｂにおいて重なっている。
【００２２】
各車載カメラ１１ａ〜１１ｄは、光学撮像系を内蔵しており、この光学撮像系には、特に図示はしないが当業者には周知の一般的な光学部材、例えば、外部からの光を透過させるレンズ、このレンズを通して入射された光から映像（電気信号）を検出するための撮像素子（例えば、ＣＣＤイメージセンサ）、レンズと撮像素子の間に介在された赤外線カットフィルタ等が含まれている。なお、低照度視認性向上のため、赤外線カットフィルタは無くてもよい。
【００２３】
また、ＣＣＤイメージセンサから出力されるアナログ電気信号をデジタル信号に変換した後、デジタル化された画像データをデジタル信号プロセッサ（ＤＳＰ）に入力する。このプロセッサでは、多種多様の画像処理が行われ、例えば、自動焦点、自動露光、自動ホワイトバランス調整などの画像処理が行われる。このプロセッサを通して画像処理された画像データはアナログ画像信号（ＮＴＳＣ信号）に変換して出力される。
【００２４】
撮影画像メモリ１３は、その記憶媒体として、例えばＨＤＤを使用している。この撮影画像メモリ１３（ＨＤＤ内の一部の記憶領域）には、制御部２０からの制御に基づき、各車載カメラ１１ａ、１１ｂ、１１ｃ及び１１ｄで継続的に撮影して得られた車両周辺の画像のＡ／Ｄ変換後のデータが一画面分（１フレーム）毎に逐次格納されるようになっている。なお、車載用のＨＤＤの記憶容量には限りがあり、今までに取得した撮影画像データをすべて保存しておくことはできないため、ＨＤＤを効率的に運用する観点から、ＨＤＤ内の該当する記憶領域に撮影画像データを順次上書きしながら格納する。
【００２５】
視点変換部１４は、各車載カメラ１１ａ〜１１ｄで撮影された各方向（車両の前方、後方、左方及び右方）の画像の視点をマッピングテーブルを参照してそれぞれ自車両の上方からの視点に変換した画像（俯瞰画像の画像データ）を生成するものである。画像データは、画素毎の明度、彩度、輝度等の情報を含んでいる。
【００２６】
周辺画像生成部１５は、制御部２０からの制御に基づき、視点変換部１４の出力である視点変換後の各方向（車両の前方、後方、左方及び右方）の画像を合成して、車両周辺の画像を生成する。
【００２７】
マッピングメモリ１６は、表示画像の種別（サイドビュー画像、トップビュー画像、バックビュー画像等）に応じて複数のマッピングテーブルを格納している。マッピングテーブルは、撮像画像の画素位置と表示画像（自車両の周辺の上方の仮想視点から見た画像）の画素位置との対応関係が記述されたテーブルであり、マッピングデータとして、１フレームの表示画像の各画素に、対応する撮像画像の画像取得位置の座標情報が記述されている。なお、撮影画像の画素位置と表示画像の画素位置との対応関係において、どのカメラによる撮像画像かが分かるようにすることで、マッピングテーブルを一つ用意するようにしてもよい。
【００２８】
車両画像メモリ１７は、撮影画像メモリ１３と同様に、その記憶媒体としてＨＤＤを使用している。この車両画像メモリ１７（ＨＤＤ内の別の記憶領域）には、予め準備された自車両の画像（自車画像）のデータが格納されている。
【００２９】
画像合成部１８は、制御部２０からの制御に基づいて、周辺画像生成部１５で生成された車両周辺の画像（俯瞰画像）に、車両画像メモリ１７に予め記憶させておいた自車画像を合成する（トップビュー画像の生成）。その際、必要に応じて、少なくとも一つの車載カメラで撮影された自車両の一部（車体）の画像から車体色の情報を抽出し、自車画像の色をその抽出した車体色に修正するための画像処理を行い、その画像処理後の自車画像を車両周辺の画像に合成するようにしてもよい。
【００３０】
画像合成部１８で合成されたデジタル画像データは、画像出力部２３においてアナログ画像データ信号（ＮＴＳＣ信号）に変換され、ディスプレイ装置１９に送出される。
【００３１】
ディスプレイ装置１９は、例えば、ＬＣＤ（液晶ディスプレイ）等からなり、運転席から表示画面を見ることができるように車室内のインストゥルメントパネルのほぼ中間位置に設置されている。このディスプレイ装置１９の表示画面には、画像合成部１８で合成された画像（トップビュー画像）が表示される。特に、本発明に関連する情報として、トップビュー画像のつなぎ目において不連続に見えないように調整されたガイドラインが表示される。さらにこの表示画面には、ナビゲーションに係る案内情報（自車の現在位置の周囲の地図、出発地から目的地までの誘導経路等）も表示される。
【００３２】
制御部２０は、例えば、マイクロコンピュータ等により構成され、各車載カメラ１１ａ〜１１ｄによる画像を取得して撮像画像メモリ１３に格納し、視点変換部１４及び周辺画像生成部１５にトップビュー画像を生成させて、ディスプレイ装置１９に画像を表示する機能を有している。また、ガイドラインの表示に際し、トップビュー画像のつなぎ目と交差するガイドラインの表示位置の明るさを検出し、その明るさに応じてガイドラインの表示位置を調整して、つなぎ目においてガイドラインが不連続に見える現象を抑制するようにする。
【００３３】
さらに、制御部２０は、ナビゲーションに係る種々の処理（ＧＰＳ受信機の出力から自車の現在位置を検出したり、自立航法センサの出力から自車の方位や走行速度を検出したり、地図データベースを参照して設定された探索条件で自車の現在位置から目的地までの誘導経路を探索するなど）を制御する機能も有している。
【００３４】
操作部２１は、ユーザが指示した情報を入力するためのものであり、例えば、リモコン送信機の形態を有しており、特に図示はしないが、ディスプレイ装置１９の画面上の各種メニュー、各種項目等を選択したり、選択したメニュー等を実行させるための各種操作ボタン、ジョイスティックなどを備えている。本発明に関連する入力指示として、ディスプレイ装置１９の画面に「トップビュー表示」を行わせるための入力指示を与える。
【００３５】
記憶部２２は、ＨＤＤ内の一部の記憶領域であり、車両に応じたガイドラインの表示情報が格納されている。例えば、車両の幅や車両の前後からの距離の目安を示すガイドラインとして、車両の前後方向の軸に平行なラインの幅、車両からの距離の目安を示す車両の左右方向の軸に平行な位置や、ガイドラインの色の情報が規定されている。
【００３６】
このように構成された車両周辺画像提供装置１０において、運転者が操作部２１を操作して「トップビュー表示」を指示すると、トップビュー画像の生成において、車両周辺のトップビュー表示を行う。トップビューの表示と同時に、ガイドラインを表示するとき、トップビュー表示のつなぎ目と交差するガイドラインに対してつなぎ目の両側のガイドラインが不連続に見えないようにガイドラインを表示する位置の調整を行う。
【００３７】
なお、運転者が「トップビュー表示」を指示しない場合であっても、例えば、シフトレバーがバックの位置になったことを検出したときに自動的に、トップビュー画像が表示されるようにしてもよい。
【００３８】
以下に、本実施形態にかかる車両周辺画像提供装置１０において行う、ガイドラインとトップビュー画像のつなぎ目とが交差するときのガイドラインの表示位置の調整処理について説明する。まず、図３及び図４を参照して、トップビュー画像について説明し、その後、図５から図９を参照して、ガイドライン表示位置調整処理について説明する。
【００３９】
図３は、マッピングテーブルの説明図である。図３（ａ）の矩形枠Ａは、前方カメラ１１ａによって撮影された画像を示しており、このうち歪みの大きな部分を除いた領域Ｂの画像がトップビュー画像の合成に使用される。図３（ｂ）はトップビュー画像の一例を示しており、車両の前方、右方、後方、左方のカメラで撮影された画像を視点変換して、それぞれトップビュー画像の前方画像ＦＰ、右方画像ＲＰ、後方画像ＢＰ、左方画像ＬＰに表示される。さらに自車両の画像が中央部分に合成されてトップビュー画像が生成される。例えば、図３（ａ）の領域Ｂの画像は、図３（ｂ）のトップビュー画像の前方画像ＦＰに対応している。
【００４０】
魚眼レンズのような広角レンズを通して撮影されて撮影画像メモリ１３に格納された画像データは、視点変換部１４において、魚眼レンズを通して得られた歪みのある画像データを歪みのない画像データに変換する。この変換に、アドレス関係が記載されたマッピングテーブルが使用される。例えば、図３（ａ）のＰ１に対応する撮影画像の画素位置と図３（ｂ）のＱ１に対応する表示画像の画素位置とを対応させ、図３（ａ）のＰ２に対応する撮影画像の画素位置と図３（ｂ）のＱ２に対応する表示画像の画素位置とを対応させるような変換規則がマッピングテーブルに定義されている。
【００４１】
図４は、マッピングテーブルの具体例を示した図である。図４に示すように、マッピングテーブルは、表示位置、カメラ番号、位置、補間データを構成要素としている。このうち、表示位置は、出力表示画面に表示される画像の画素位置を示しており、座標（Ｘ，Ｙ）で示されている。図４のマッピングテーブルでは、解像度が８００×４８０（ＷＶＧＡ）の場合を示している。
【００４２】
カメラ番号は、車両のどこに搭載されたカメラであるかを示す識別番号を示している。また、位置は、カメラ番号で特定されたカメラによって撮像された画像の画素位置の座標（ｘ、ｙ）を示している。また、補間データは、隣接する画素間の色の変化をスムーズにするための色情報を調整する値を示している。
【００４３】
例えば、図４のマッピングテーブルを参照すると、出力表示画面の表示位置（２５１，１００）にはカメラ番号１のカメラで撮像された画像の座標位置（２０２，１００）の画素が割り当てられる。さらに、ｘ方向の隣接する画素の情報が当該画素の色情報に取り入れられる。また、表示位置画素に撮像画像の２画素が割り当てられている場合、その中間の色情報が割り当てられる。例えば、当該画素の色が白で、隣接する画素の色が黒であった場合、当該画素の色を灰色とする。
【００４４】
このようなマッピングテーブルによって、各カメラで撮影された画像の表示位置が決定され、隣接する車載カメラによる各撮影画像間の境界（つなぎ目）が規定される。このつなぎ目の領域には、黒線が表示される。
【００４５】
このようなトップビュー画像は各カメラで撮影された画像のアナログ信号（ＮＴＳＣ信号）をＡ／Ｄコンバータ１２によって変換されたデジタルデータ基に生成し、画像出力部２３で再びアナログ信号（ＮＴＳＣ信号）に変換してディスプレイ装置１９に出力している。
【００４６】
図５は、ＮＴＳＣコンポジットビデオ信号（ＮＴＳＣ信号）の波形の一例を示した図である。図５に示すＮＴＳＣ信号波形は、一ライン分の信号を表している。このＮＴＳＣ信号波形は、ブランキング期間ＢＬと映像信号期間ＰＳとで構成され、ブランキング期間ＢＬは水平同期信号と色相の基準となるカラーバースト信号ＢＵが付加されている。
【００４７】
映像信号期間ＰＳは色信号を示しており、カラーの場合は正弦波の信号となる。この色信号波形の振幅は輝度を示し、周期は色相の変化を示している。図５の色信号において、区間Ｗ１，Ｗ３，Ｗ５では振幅がほぼ一定であるため輝度値はほぼ一定である。一方、区間Ｗ２及び区間Ｗ４では振幅が変化しており、輝度が変化している。このうち区間Ｗ２のように輝度の変化が小さいと、信号の変化が緩慢になり、ディスプレイに出力したときにはいわゆる「滲み」が発生する。また、区間Ｗ４のように輝度の変化が大きいときは信号の変化が急激になる。
【００４８】
車幅や車両からの前後の距離の目安を示すガイドラインは、図３（ｂ）のようなトップビュー画像と合成して表示されることもある。この場合、ガイドラインのうち、車両の前後方向の軸に平行なラインはトップビュー表示のつなぎ目と交差することになる。このとき、ガイドラインとつなぎ目との位置関係によって、ガイドラインに発生する滲みの位置が異なり、ガイドラインがまっすぐに見えなくなるという現象が発生する。
【００４９】
図６は、トップビュー画像に車幅の目安を示すガイドラインを重畳した画像の一例を示しており、図６（ａ）は、本実施形態のガイドライン表示位置調整処理を行った場合の画像であり、図６（ｂ）は、本実施形態のガイドライン表示位置調整処理を行っていない場合の画像である。
【００５０】
ここで対象とするガイドラインは、図６に示すように、車両の前後に表示され、車幅を示すラインと車両の前方又は後方の所定の距離を示すラインとで構成されている。なお、図６では、所定の距離を示すラインは、一本だけ示しているが、複数の距離に対してそれぞれラインを表示するようにしてもよい。
【００５１】
図６（ａ）は、自車両の画像７０と、各車載カメラ１１ａ〜１１ｄで撮像された画像による車両周囲の画像（ＦＰ１，ＲＰ１，ＢＰ１，ＬＰ１）とを合成したトップビュー画像６１ａを示している。また、図６（ｂ）は、自車両の画像７０と、各車載カメラ１１ａ〜１１ｄで撮像された画像による車両周囲の画像（ＦＰ２,ＲＰ２，ＢＰ２，ＬＰ２）とを合成したトップビュー画像６１ｂを示している。
【００５２】
また、それぞれのトップビュー画像において、隣接する車載カメラにより撮像される重複領域ＤＲａ〜ＤＲｄでは、予めつなぎ目（６２〜６５）が決定され、黒塗りで表示されている。例えば、図６（ａ）において、前方画像ＦＰ１と右方画像ＲＰ１との境界には、つなぎ目６３ａが表示されている。
【００５３】
例えば、図６（ｂ）に示すように、前方車載カメラ１１ａで撮影した車両前方の画像ＦＰ２及び右方車載カメラ１１ｄで撮影した車両右方の画像ＲＰ２との境界のつなぎ目６３ｂと、ガイドライン（６８ｄ，６８ｅ）が交差する場合、ガイドライン（６８ｄ，６８ｅ）だけが表示されるのではなく、ガイドライン（６８ｄ，６８ｅ）とともにガイドライン（６８ｄ，６８ｅ）のつなぎ目６３ｂと反対側にガイドライン（６８ｄ，６８ｅ）の表示色が薄く表示される「滲み」部分（６８ｈ，６８ｉ）が発生する。
【００５４】
図６（ｂ）に示すように、ガイドライン６８ｅに対する滲み部分６８ｉは自車両画像から離れる方向に広がり、ガイドライン６８ｄに対する滲み部分６８ｈは自車両画像に近づく方向に広がっている。そのため、ガイドライン（６８ｄ，６８ｅ）は、つなぎ目６３ｂを境に不連続に見え、滲み部分の広がり方によっては、直線のガイドラインが曲線に見えてしまう場合も起こり得る。
【００５５】
図６（ｂ）に示すように、その他のつなぎ目（６２ｂ、６４ｂ、６５ｂ）とガイドライン（６８ａ〜６８ｂ、６９ａ〜６９ｂ、６９ｄ〜６９ｅ）が交差する部分も同様な現象が発生する。
【００５６】
このように、ガイドラインが不連続に見えたり、曲がって見えたりすることによって、正確な情報を取得できず、運転者に不安感を与えてしまいかねない。
【００５７】
そこで、本実施形態では、ガイドラインに発生する「滲み」を考慮に入れて、ガイドラインが不連続に見える現象を抑制するようにしている。具体的には、ガイドラインを表示する位置における画素の明るさ（輝度）及び隣接する画素の輝度を検出して、その輝度の差に応じてガイドラインの表示位置を調整する。
【００５８】
図６（ａ）に示すトップビュー画像６１ａにおいて、前方画像ＦＰ１と右方画像ＲＰ１との境界（つなぎ目６３ａ）と、ガイドライン（６６ａ〜６６ｅ）のうち、つなぎ目６３ａと交差する部分のガイドライン（６６ｄ，６６ｅ）に着目する。
【００５９】
上記したように、ガイドライン６６ｅは、左側に表示されるつなぎ目６３ａの影響を受けて、右方向（自車両画像から離れる方向）に滲み６６ｉが発生する。一方、ガイドライン６６ｄは、右側に表示されるつなぎ目６３ａの影響を受けて、左方向（自車両画像に近づく方向）に滲み６６ｈが発生する。
【００６０】
このような滲み（６６ｈ，６６ｉ）の幅は、ガイドライン（６６ｄ，６６ｅ）が表示される位置及び隣接する画素の輝度の差によって決定される。従って、ガイドラインの幅と、それに伴う滲みの幅とを合わせて一本のガイドライン（合成ガイドライン）とみなし、車両画像の前後方向の軸に平行なガイドラインをつなぎ目６３ａで分割して、車両画像に近い合成ガイドライン（６６ｅ，６６ｉ）（第１合成ガイドラインとする）と、車両画像から遠い合成ガイドライン（６６ｈ、６６ｄ）（第２合成ガイドラインとする）とし、これらの合成ガイドラインにつなぎ目６３ａにおいてずれが生じないように、第１合成ガイドライン又は第２合成ガイドラインを調整する。
【００６１】
例えば、第２合成ガイドラインを第１合成ガイドラインに合わせるように、第２合成ガイドラインの部分ガイドライン６６ｄの表示位置をずらして調整する。部分ガイドライン６６ｄが表示される位置の画素における輝度データと、その画素の位置に対して自車両画像の左右方向の軸に平行でつなぎ目６３ａと反対側に隣接する画素の輝度データを撮像画像メモリ１３に格納した画像データから抽出し、これらの輝度の差を基に、部分ガイドライン６６ｄの表示位置をずらすようにする。この場合は、部分ガイドライン６６ｄの表示位置をつなぎ目６３ａに近づく方向に移動させるようにする。
【００６２】
なお、第２合成ガイドラインを基準とすると、第１合成ガイドラインを第２合成ガイドラインに合わせるため、車幅の目安が上記の場合よりも狭くなる。そのため、車両から実際の障害物までの距離が長くなると誤認され、障害物と衝突する危険性が高くなるおそれがある。よって、本実施形態では、第１合成ガイドラインを基準としている。なお、上記危険性がないなど問題が生じなければ、第２合成ガイドラインを基準としてもよい。
【００６３】
図６（ａ）に示すその他のつなぎ目（６２ａ、６４ａ、６５ａ）とガイドライン（６６ａ〜６６ｂ、６７ａ〜６７ｂ、６７ｄ〜６７ｅ）とが交差する部分についても同様にガイド線の表示位置を調整する。
【００６４】
図７は、ガイドラインをずらす明るさの閾値の一例を示している。上記したように、カメラ画像の明るさにより滲む幅は決まっており、隣接する画素の明るさとの差が小さいと滲みが大きくなり、その差が大きいと滲みは小さくなる。よって、予め隣接する画素間の明るさの差に応じてガイドラインをずらすドット数の閾値を決めておき、閾値によってガイドラインの線を描画する位置をずらすようにする。本実施形態では、ガイドラインをずらすドット（画素）数を０から２の３段階とし、隣接する画素との明るさの差に応じて、ずらすドット数を規定している。
【００６５】
図７に示すように、各画素の明るさを、０から２５５の値で規定したとき、隣接する画素間の明るさの差が大きい（２５５〜１００）ときには、ガイドラインの表示位置は変更しない。明るさの差が中程度（９０〜３０）のときには、ガイドラインの表示位置を１ドットずらすようにする。また、明るさの差が小さい（２９〜１）ときには、ガイドラインの表示位置を２ドットずらすようにする。
【００６６】
このように、ガイドラインの表示位置を調整することにより、ガイドラインがつなぎ目の影響を受けて滲みが発生する場合であっても、ガイドラインが一本に見えるようにすることが可能になり、運転者に不安感を与えることを防止することが可能になる。
【００６７】
次に、本実施形態に係る車両周辺画像提供装置１０において制御部２０が行うガイドライン表示位置調整処理について、図８及び図９のフローチャートを参照しながら説明する。
【００６８】
本実施形態では、自車両に設置されている車載カメラ１１ａ〜１１ｄは、常に自車両の周辺を撮影しているものとする。
【００６９】
まず、図８の最初のステップＳ１１では、トップビュー表示機能を「オン」する。これにより、各車載カメラ１１ａ〜１１ｄは起動し、それぞれ自車両の前方、後方、左方及び右方の撮像を開始する。シフト位置がバックの位置にあることを指示するシフト位置信号や、操作部２１からのユーザ指示に基づいてトップビュー表示機能を「オン」にする。
【００７０】
次のステップＳ１２において、各車載カメラ１１ａ〜１１ｄで撮影して得られた車両周辺の画像のＡ／Ｄ変換後のデータを撮影画像メモリ１３に逐次格納する。
【００７１】
次のステップＳ１３では、各車載カメラにより取得した画像データを基にトップビュー画像を生成する。すなわち、制御部２０からの制御に基づき周辺画像生成部１５において、視点変換部１４の出力である視点変換後の各方向（前方、後方、左方及び右方）の各画像を合成して、車両周辺の画像を生成する。さらに、制御部２０からの制御に基づき画像合成部１８において、周辺画像生成部１５で生成された車両周辺の画像に、車両画像メモリ１７に予め記憶させておいた自車画像を合成（トップビュー画像の生成）する。
【００７２】
ステップＳ１４では、ガイドライン表示位置調整処理を行う。ここで、図９を参照しながら、ガイドライン表示位置調整処理について説明する。
【００７３】
まずステップＳ２１において、ガイドラインを第１部分ガイドラインと第２部分ガイドラインに分割する。第１部分ガイドラインは、車両の前後方向に平行なガイドラインのうちの、車両画像に近い部分であり、第２部分ガイドラインは、当該ガイドラインのうちの第１部分ガイドラインを除いた部分である。
【００７４】
次のステップＳ２２において、第１部分ガイドラインを描画する。この描画は、トップビュー画像として描画される画像データに画素データを重畳することによって行う。第１部分ガイドラインをガイドライン表示の基準とし、予め規定されたガイドラインの表示位置にガイドラインの表示データを設定する。
【００７５】
次のステップＳ２３において、第２部分ガイドラインの起点となる画素及び隣接する画素の明るさを検出する。第２部分ガイドラインの起点は、車両側からつなぎ目を超えた最初の点（画素）である。これらの点の画素の明るさは、カメラで撮像され、撮像画像メモリ１３に格納された画像データからその情報を抽出する。車両前方に表示されるガイドラインのうち車両の前後方向の軸に平行な左側のガイドラインの場合では、隣接する画素は起点となる画素の右側の画素である。
【００７６】
次のステップＳ２４において、ステップＳ２３で取得した画素の明るさの差に応じて描画位置の調整を行う。ガイドラインを表示する際に発生する「滲み」量（滲みの広がり）は、画素の明るさに応じて決定される。従って、第２部分ガイドラインの表示位置をずらすことによって、滲みの広がりを含めた第１部分ガイドラインの幅と一致させることができる。例えば、滲みの幅がｂｗであれば、第２部分ガイドラインの表示位置をつなぎ目に近づく方向にｂｗだけ表示位置を移動させる。具体的には、図７のガイドラインをずらす明るさの閾値によりずらすドット数を決定する。
【００７７】
次のステップＳ２５において、ステップＳ２４において算出された位置を基準に第２部分ガイドラインを描画する。すなわち、第２部分ガイドラインの起点を通り、自車両の画像の前後方向の軸と平行に第２部分ガイドラインを描画する。この場合、第２部分ガイドラインがつなぎ目と離れるに従って滲みの幅も変化するものと考えられるが、ここでは、第２部分ガイドラインに対して一律に表示位置をずらすようにしている。なお、第２部分ガイドラインの所定の間隔における表示位置の画素に対して滲みの量を検出し、その滲みの量に応じて表示位置をずらすようにしてもよい。
【００７８】
次のステップＳ２６において、車両の左右方向の軸に平行なガイドラインの描画幅を算出する。ステップＳ２５で描画される車両の前後方向の軸に平行なガイドラインが車両の左右方向に表示位置が調整されることによって、車両の左右方向に平行なガイドラインの描画幅が変化する。例えば、車両の右側に対応する第２部分ガイドラインがｂｗ１移動し、車両の左側に対応する第２部分ガイドラインがｂｗ２移動したとき、車両の左右方向に平行なガイドラインの幅は、初期の幅をｂｗ０とすると、ｂｗ０＋ｂｗ１＋ｂｗ２の長さになる。
【００７９】
次のステップＳ２７において、車両の左右方向に平行なガイドラインを描画する。このガイドラインは、第２部分ガイドラインのつなぎ目と反対側の端点からステップＳ２６において算出した長さの分だけ描画する。
【００８０】
なお、図９のガイドライン表示位置調整処理では、ステップＳ２３からステップＳ２５において、第２部分ガイドラインを描画しているが、このとき、車両の前後方向の軸に平行な左右の第２部分ガイドラインを同時に描画するようにしてもよいし、一方の第２部分ガイドラインを描画して、車両の左右方向に平行なガイドラインを描画したあと、他方の第２部分ガイドラインを描画するようにしてもよい。
【００８１】
図８に戻り、次のステップＳ１５では、画像合成部１８にステップＳ１３で生成されたトップビュー画像にステップＳ１４で表示位置が調整されたガイドラインを重畳させ、画像出力部１９でアナログ信号に変換し、ディスプレイ装置１９の画面にトップビュー画像とガイドラインとを合成した画像を表示する。
【００８２】
次のステップＳ１６では、エンジンが停止したか否か、つまり、駐車操作をしていた場合には駐車を完了したか否かを判定する。判定結果がＹＥＳの場合には本処理フローは終了となり、判定結果がＮＯの場合には、ステップＳ１２に戻り上記の処理を繰り返す。
【００８３】
以上説明したように、本実施形態における車両周辺画像提供装置では、ガイドラインがトップビュー画像のつなぎ目と交差するとき、ガイドラインの表示位置の近傍の画素の輝度を検出し、輝度差に応じてガイドラインを表示する位置をずらすようにしている。具体的には、車両の前後方向の軸に平行なガイドラインをトップビュー画像のつなぎ目で分割し、車両画像から遠いガイドラインとそれに伴う滲みを含んだガイドラインを、車両画像に近いガイドラインとそれに伴う滲みを含んだガイドラインに合わせるように、車両から遠いガイドラインの表示位置を輝度差に応じてずらすようにしている。これにより、滲みを伴うガイドラインがトップビュー画像のつなぎ目の両側でずれて見えることを防止することが可能となる。
【符号の説明】
【００８４】
１０…車両周辺画像提供装置、
１１ａ、１１ｂ、１１ｃ、１１ｄ…車載カメラ、
１３…撮像画像メモリ（第１の記憶手段）、
１４…視点変換部（制御手段）、
１５…周辺画像生成部（制御手段）、
１６…マッピングメモリ、
１７…車両画像メモリ（第１の記憶手段）、
１８…画像合成部（制御手段）、
１９…ディスプレイ装置（表示手段）、
２０…制御部（制御手段）、
２１…操作部、
２２…記憶部（第２の記憶手段）、
６１ａ、６１ｂ…トップビュー画像、
６３ａ、６３ｂ…つなぎ目、
６６ａ〜６６ｅ、６８ａ〜６８ｅ…ガイドライン、
６６ｆ、６６ｇ、６６ｈ、６６ｉ、６８ｆ、６８ｇ、６８ｈ、６８ｉ…滲み、
ＦＰ，ＲＰ，ＢＰ，ＬＰ…車両周辺の画像、
７０…車両の画像、
ＤＲａ、ＤＲｂ、ＤＲｃ、ＤＲｄ…画像重複領域。
【技術分野】
【０００１】
本発明は、車両周辺画像提供装置に関し、特に、複数の車載用カメラで撮影した画像を基に生成する車両周辺の俯瞰画像とガイドラインとを合成して表示する車両周辺画像提供装置に関する。
【背景技術】
【０００２】
近年、自車両のドアミラーやナンバープレート近傍にカメラを設置し、これら複数台のカメラにより自車両周囲の画像を撮影し、この画像を車室内に設置したディスプレイ等の表示装置に表示する技術が実用化されている。かかる技術は特に駐車する際に利用されており、その際、運転者は、表示装置に表示された画像を確認しながら、障害物等の存在を把握することで、衝突等の事故を防ぐことが可能になる。特に、ミラーだけでは死角になる位置の画像も表示することができるので、安全な駐車に寄与することができる。
【０００３】
このような駐車支援に関し、特許文献１には、駐車目標領域に接近するまでは車両の舵角に基づく予想到達位置指標を描画し、駐車目標領域に進入したときには予想到達位置指標を消去して車幅の目安を示す車幅ガイド線を表示し、運転者が理解しやすい画面を表示する技術が記載されている。
【０００４】
また、自車両に複数台のカメラを設置し、これらのカメラにより撮像された画像を基に、これら撮像画像を自車両の上方の仮想視点から見た画像（俯瞰画像）に変換し、その視点変換された車両周辺の俯瞰画像（以下、便宜上「トップビュー画像」という。）をディスプレイ等の表示装置に表示することで、自車両の周辺を監視する技術が実用化されている。
【０００５】
このトップビュー画像は、複数台のカメラで撮影された画像を合成して生成されるが、カメラの撮影領域がそれぞれ異なるために、画像のつなぎ部分に切れ目が生ずる場合がある。このような画像のつなぎ部の切れ目の補正について、例えば、カメラの撮影領域どうしが重なる領域において複数の画像の輝度を同程度にし、画像間に輝度差による切れ目が見えなくなるようにする技術がある。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００８−１３２８８１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
上記したような運転者にとって違和感の少ないトップビュー画像により、自車両の周辺を死角領域をなくして表示することができ、バック走行等の際にトップビュー画像を確認しながら運転することにより、危険を回避することが可能となる。
【０００８】
また、トップビュー画像に限らず、車両の幅や予め規定された車両からの距離を示すガイドラインが表示され、障害物等との衝突防止が図られている。
【０００９】
このガイドライン表示とトップビュー画像表示とを組み合わせて表示することにより、運転者にとってより障害物を認識しやすい表示とすることが可能となっている。
【００１０】
しかし、ガイドラインはトップビュー表示の隣接するカメラ画像間にまたがって表示されることがあり、この場合、カメラ画像間のつなぎ目を通過して表示される。このような表示において、一直線でガイドラインを表示しているにも関わらず、つなぎ目の両側でラインがずれたり、ラインが曲がって見えてしまうという現象が発生している。そのため、運転者にとってガイドライン表示に異常が発生したと認識され混乱を与え、ガイドラインが適切に利用されずに安全走行に支障をきたすおそれがある。
【００１１】
本発明は、かかる従来技術の課題に鑑みなされたものであり、トップビュー画像のつなぎ目と交差するガイドラインを違和感なく表示させることが可能な車両周辺画像提供装置を提供することを目的とする。
【課題を解決するための手段】
【００１２】
上述した従来技術の課題を解決するため、本発明の一形態によれば、表示手段と、車両周辺の画像を取得可能に設置された複数のカメラと、当該車両の画像のデータを予め格納すると共に、前記カメラにより取得された画像のデータを逐次格納する第１の記憶手段と、車両の幅及び車両からの所定の距離を示すガイドラインのデータを記憶する第２の記憶手段と、前記第１の記憶手段に格納されているデータから当該車両の画像と車両周辺の画像を合成して前記表示手段の画面に表示させるように制御する制御手段と、を備え、前記制御手段は、前記各カメラにより取得された画像間の境界領域に表示されるつなぎ目と交差する前記ガイドラインを表示するとき、当該ガイドラインの表示位置の画素と当該表示位置に隣接する画素との輝度差に応じて現れる滲みを含めたガイドラインの表示が前記つなぎ目の両側でずれのないようにガイドラインの表示位置を調整することを特徴とする車両周辺画像提供装置が提供される。
【００１３】
この形態に係る車両周辺画像提供装置において、前記制御手段は、前記車両の画像の前後方向の軸に平行な前記ガイドラインを前記つなぎ目で分割し、前記車両画像に近いガイドラインを第１の部分ガイドラインとし、前記車両画像から遠いガイドラインを第２の部分ガイドラインとしたとき、前記第２の部分ガイドライン及び当該第２の部分ガイドラインの近傍に現れる滲みを含んだガイドラインが前記第１の部分ガイドライン及び当該第１の部分ガイドラインの近傍に現れる滲みを含んだガイドラインとずれがないように、前記第２の部分ガイドラインの表示位置を調整するようにしてもよく、前記制御手段は、前記第２の部分ガイドラインの表示位置の画素及び当該表示位置に隣接する画素の輝度を検出し、当該輝度の差に応じて予め決められた所定の画素数分だけ前記第２の部分ガイドラインの表示位置をずらすようにしてもよく、前記制御手段は、前記車両の左右方向の軸に平行なガイドラインの表示の長さを、前記第２の部分ガイドラインの調整位置を基に算出して表示するようにしてもよい。
【発明の効果】
【００１４】
本発明では、ガイドラインがトップビュー画像のつなぎ目と交差するとき、ガイドラインの表示位置の近傍の画素の輝度を検出し、輝度差に応じてガイドラインを表示する位置をずらすようにしている。具体的には、車両の前後方向の軸に平行なガイドラインをトップビュー画像のつなぎ目で分割し、車両画像から遠いガイドラインとそれに伴う滲みを含んだガイドラインを、車両画像に近いガイドラインとそれに伴う滲みを含んだガイドラインに合わせるように、車両から遠いガイドラインの表示位置を輝度差に応じてずらすようにしている。これにより、滲みを伴うガイドラインがトップビュー画像のつなぎ目の両側でずれて見えることを防止することが可能となる。
【図面の簡単な説明】
【００１５】
【図１】本発明の一実施形態に係る車両周辺画像提供装置の構成を概略的に示すブロック図である。
【図２】図１の装置における各車載カメラの設置例を模式的に示す図である。
【図３】マッピングテーブルを説明する図である。
【図４】マッピングテーブルの一例を示す図である。
【図５】ＮＴＳＣコンポジットビデオ信号の波形の一例を示す図である。
【図６】ガイドライン表示位置調整処理を行った場合（本実施形態）と行っていない場合（従来例）のトップビュー画像の提供に係る画面表示例を概略的に示す図である。
【図７】ガイドラインをずらす明るさの閾値の一例を示す図である。
【図８】ガイドラインを含むトップビュー画像表示処理の一例を示すフローチャートである。
【図９】ガイドライン表示位置調整処理の一例を示すフローチャートである。
【発明を実施するための形態】
【００１６】
以下、本発明の実施形態について、添付の図面を参照しながら説明する。
【００１７】
図１は、本発明の一実施形態に係る車両周辺画像提供装置１０の構成を概略的に示したものである。本実施形態では、本発明に係る車両周辺画像提供装置１０を車載用ナビゲーション装置の一部として組み込んだ場合の構成例を示している。
【００１８】
本実施形態に係る車両周辺画像提供装置１０は、図１に示すように、４台の車載カメラ１１ａ、１１ｂ、１１ｃ及び１１ｄと、各車載カメラ１１ａ〜１１ｄで取得されたアナログの画像データをデジタルデータに変換するコンバータ（Ａ／Ｄ）１２と、撮影画像メモリ１３と、視点変換部１４と、周辺画像生成部１５と、マッピングメモリ１６と、車両画像メモリ１７と、画像合成部１８と、ディスプレイ装置１９と、制御部２０と、操作部２１と、記憶部２２と、画像出力部２３とを備えている。
【００１９】
各車載カメラ１１ａ、１１ｂ、１１ｃ及び１１ｄは、それぞれ自車両の前方、後方、左方及び右方の画像を取得するためのものであり、自車両外部の適当な箇所に設置されている。図２はその設置例を模式的に示したものであり、前方カメラ１１ａは車両の前部に、後方カメラ１１ｂは車両の後部に、左方カメラ１１ｃ及び右方カメラ１１ｄはそれぞれ車両の左側部及び右側部（図示の例では、ドアミラーの下部）にそれぞれ設置されている。
【００２０】
また、各車載カメラ１１ａ〜１１ｄは、各々のレンズが若干下方を向くように位置決めされ、図中破線で示すように広角範囲（理想的には１８０°の撮像範囲）で画像を取得できるように設置されている。つまり、各車載カメラ１１ａ〜１１ｄが協働して自車両の全周辺（車両周辺）を撮影できるように配置されている。
【００２１】
隣接する車載カメラで撮像される領域は、境界付近で相互に重なる重複領域が存在している。例えば、前方カメラ１１ａで撮影された画像と右方カメラ１１ｄで撮影された画像とが、重複領域ＤＲｂにおいて重なっている。
【００２２】
各車載カメラ１１ａ〜１１ｄは、光学撮像系を内蔵しており、この光学撮像系には、特に図示はしないが当業者には周知の一般的な光学部材、例えば、外部からの光を透過させるレンズ、このレンズを通して入射された光から映像（電気信号）を検出するための撮像素子（例えば、ＣＣＤイメージセンサ）、レンズと撮像素子の間に介在された赤外線カットフィルタ等が含まれている。なお、低照度視認性向上のため、赤外線カットフィルタは無くてもよい。
【００２３】
また、ＣＣＤイメージセンサから出力されるアナログ電気信号をデジタル信号に変換した後、デジタル化された画像データをデジタル信号プロセッサ（ＤＳＰ）に入力する。このプロセッサでは、多種多様の画像処理が行われ、例えば、自動焦点、自動露光、自動ホワイトバランス調整などの画像処理が行われる。このプロセッサを通して画像処理された画像データはアナログ画像信号（ＮＴＳＣ信号）に変換して出力される。
【００２４】
撮影画像メモリ１３は、その記憶媒体として、例えばＨＤＤを使用している。この撮影画像メモリ１３（ＨＤＤ内の一部の記憶領域）には、制御部２０からの制御に基づき、各車載カメラ１１ａ、１１ｂ、１１ｃ及び１１ｄで継続的に撮影して得られた車両周辺の画像のＡ／Ｄ変換後のデータが一画面分（１フレーム）毎に逐次格納されるようになっている。なお、車載用のＨＤＤの記憶容量には限りがあり、今までに取得した撮影画像データをすべて保存しておくことはできないため、ＨＤＤを効率的に運用する観点から、ＨＤＤ内の該当する記憶領域に撮影画像データを順次上書きしながら格納する。
【００２５】
視点変換部１４は、各車載カメラ１１ａ〜１１ｄで撮影された各方向（車両の前方、後方、左方及び右方）の画像の視点をマッピングテーブルを参照してそれぞれ自車両の上方からの視点に変換した画像（俯瞰画像の画像データ）を生成するものである。画像データは、画素毎の明度、彩度、輝度等の情報を含んでいる。
【００２６】
周辺画像生成部１５は、制御部２０からの制御に基づき、視点変換部１４の出力である視点変換後の各方向（車両の前方、後方、左方及び右方）の画像を合成して、車両周辺の画像を生成する。
【００２７】
マッピングメモリ１６は、表示画像の種別（サイドビュー画像、トップビュー画像、バックビュー画像等）に応じて複数のマッピングテーブルを格納している。マッピングテーブルは、撮像画像の画素位置と表示画像（自車両の周辺の上方の仮想視点から見た画像）の画素位置との対応関係が記述されたテーブルであり、マッピングデータとして、１フレームの表示画像の各画素に、対応する撮像画像の画像取得位置の座標情報が記述されている。なお、撮影画像の画素位置と表示画像の画素位置との対応関係において、どのカメラによる撮像画像かが分かるようにすることで、マッピングテーブルを一つ用意するようにしてもよい。
【００２８】
車両画像メモリ１７は、撮影画像メモリ１３と同様に、その記憶媒体としてＨＤＤを使用している。この車両画像メモリ１７（ＨＤＤ内の別の記憶領域）には、予め準備された自車両の画像（自車画像）のデータが格納されている。
【００２９】
画像合成部１８は、制御部２０からの制御に基づいて、周辺画像生成部１５で生成された車両周辺の画像（俯瞰画像）に、車両画像メモリ１７に予め記憶させておいた自車画像を合成する（トップビュー画像の生成）。その際、必要に応じて、少なくとも一つの車載カメラで撮影された自車両の一部（車体）の画像から車体色の情報を抽出し、自車画像の色をその抽出した車体色に修正するための画像処理を行い、その画像処理後の自車画像を車両周辺の画像に合成するようにしてもよい。
【００３０】
画像合成部１８で合成されたデジタル画像データは、画像出力部２３においてアナログ画像データ信号（ＮＴＳＣ信号）に変換され、ディスプレイ装置１９に送出される。
【００３１】
ディスプレイ装置１９は、例えば、ＬＣＤ（液晶ディスプレイ）等からなり、運転席から表示画面を見ることができるように車室内のインストゥルメントパネルのほぼ中間位置に設置されている。このディスプレイ装置１９の表示画面には、画像合成部１８で合成された画像（トップビュー画像）が表示される。特に、本発明に関連する情報として、トップビュー画像のつなぎ目において不連続に見えないように調整されたガイドラインが表示される。さらにこの表示画面には、ナビゲーションに係る案内情報（自車の現在位置の周囲の地図、出発地から目的地までの誘導経路等）も表示される。
【００３２】
制御部２０は、例えば、マイクロコンピュータ等により構成され、各車載カメラ１１ａ〜１１ｄによる画像を取得して撮像画像メモリ１３に格納し、視点変換部１４及び周辺画像生成部１５にトップビュー画像を生成させて、ディスプレイ装置１９に画像を表示する機能を有している。また、ガイドラインの表示に際し、トップビュー画像のつなぎ目と交差するガイドラインの表示位置の明るさを検出し、その明るさに応じてガイドラインの表示位置を調整して、つなぎ目においてガイドラインが不連続に見える現象を抑制するようにする。
【００３３】
さらに、制御部２０は、ナビゲーションに係る種々の処理（ＧＰＳ受信機の出力から自車の現在位置を検出したり、自立航法センサの出力から自車の方位や走行速度を検出したり、地図データベースを参照して設定された探索条件で自車の現在位置から目的地までの誘導経路を探索するなど）を制御する機能も有している。
【００３４】
操作部２１は、ユーザが指示した情報を入力するためのものであり、例えば、リモコン送信機の形態を有しており、特に図示はしないが、ディスプレイ装置１９の画面上の各種メニュー、各種項目等を選択したり、選択したメニュー等を実行させるための各種操作ボタン、ジョイスティックなどを備えている。本発明に関連する入力指示として、ディスプレイ装置１９の画面に「トップビュー表示」を行わせるための入力指示を与える。
【００３５】
記憶部２２は、ＨＤＤ内の一部の記憶領域であり、車両に応じたガイドラインの表示情報が格納されている。例えば、車両の幅や車両の前後からの距離の目安を示すガイドラインとして、車両の前後方向の軸に平行なラインの幅、車両からの距離の目安を示す車両の左右方向の軸に平行な位置や、ガイドラインの色の情報が規定されている。
【００３６】
このように構成された車両周辺画像提供装置１０において、運転者が操作部２１を操作して「トップビュー表示」を指示すると、トップビュー画像の生成において、車両周辺のトップビュー表示を行う。トップビューの表示と同時に、ガイドラインを表示するとき、トップビュー表示のつなぎ目と交差するガイドラインに対してつなぎ目の両側のガイドラインが不連続に見えないようにガイドラインを表示する位置の調整を行う。
【００３７】
なお、運転者が「トップビュー表示」を指示しない場合であっても、例えば、シフトレバーがバックの位置になったことを検出したときに自動的に、トップビュー画像が表示されるようにしてもよい。
【００３８】
以下に、本実施形態にかかる車両周辺画像提供装置１０において行う、ガイドラインとトップビュー画像のつなぎ目とが交差するときのガイドラインの表示位置の調整処理について説明する。まず、図３及び図４を参照して、トップビュー画像について説明し、その後、図５から図９を参照して、ガイドライン表示位置調整処理について説明する。
【００３９】
図３は、マッピングテーブルの説明図である。図３（ａ）の矩形枠Ａは、前方カメラ１１ａによって撮影された画像を示しており、このうち歪みの大きな部分を除いた領域Ｂの画像がトップビュー画像の合成に使用される。図３（ｂ）はトップビュー画像の一例を示しており、車両の前方、右方、後方、左方のカメラで撮影された画像を視点変換して、それぞれトップビュー画像の前方画像ＦＰ、右方画像ＲＰ、後方画像ＢＰ、左方画像ＬＰに表示される。さらに自車両の画像が中央部分に合成されてトップビュー画像が生成される。例えば、図３（ａ）の領域Ｂの画像は、図３（ｂ）のトップビュー画像の前方画像ＦＰに対応している。
【００４０】
魚眼レンズのような広角レンズを通して撮影されて撮影画像メモリ１３に格納された画像データは、視点変換部１４において、魚眼レンズを通して得られた歪みのある画像データを歪みのない画像データに変換する。この変換に、アドレス関係が記載されたマッピングテーブルが使用される。例えば、図３（ａ）のＰ１に対応する撮影画像の画素位置と図３（ｂ）のＱ１に対応する表示画像の画素位置とを対応させ、図３（ａ）のＰ２に対応する撮影画像の画素位置と図３（ｂ）のＱ２に対応する表示画像の画素位置とを対応させるような変換規則がマッピングテーブルに定義されている。
【００４１】
図４は、マッピングテーブルの具体例を示した図である。図４に示すように、マッピングテーブルは、表示位置、カメラ番号、位置、補間データを構成要素としている。このうち、表示位置は、出力表示画面に表示される画像の画素位置を示しており、座標（Ｘ，Ｙ）で示されている。図４のマッピングテーブルでは、解像度が８００×４８０（ＷＶＧＡ）の場合を示している。
【００４２】
カメラ番号は、車両のどこに搭載されたカメラであるかを示す識別番号を示している。また、位置は、カメラ番号で特定されたカメラによって撮像された画像の画素位置の座標（ｘ、ｙ）を示している。また、補間データは、隣接する画素間の色の変化をスムーズにするための色情報を調整する値を示している。
【００４３】
例えば、図４のマッピングテーブルを参照すると、出力表示画面の表示位置（２５１，１００）にはカメラ番号１のカメラで撮像された画像の座標位置（２０２，１００）の画素が割り当てられる。さらに、ｘ方向の隣接する画素の情報が当該画素の色情報に取り入れられる。また、表示位置画素に撮像画像の２画素が割り当てられている場合、その中間の色情報が割り当てられる。例えば、当該画素の色が白で、隣接する画素の色が黒であった場合、当該画素の色を灰色とする。
【００４４】
このようなマッピングテーブルによって、各カメラで撮影された画像の表示位置が決定され、隣接する車載カメラによる各撮影画像間の境界（つなぎ目）が規定される。このつなぎ目の領域には、黒線が表示される。
【００４５】
このようなトップビュー画像は各カメラで撮影された画像のアナログ信号（ＮＴＳＣ信号）をＡ／Ｄコンバータ１２によって変換されたデジタルデータ基に生成し、画像出力部２３で再びアナログ信号（ＮＴＳＣ信号）に変換してディスプレイ装置１９に出力している。
【００４６】
図５は、ＮＴＳＣコンポジットビデオ信号（ＮＴＳＣ信号）の波形の一例を示した図である。図５に示すＮＴＳＣ信号波形は、一ライン分の信号を表している。このＮＴＳＣ信号波形は、ブランキング期間ＢＬと映像信号期間ＰＳとで構成され、ブランキング期間ＢＬは水平同期信号と色相の基準となるカラーバースト信号ＢＵが付加されている。
【００４７】
映像信号期間ＰＳは色信号を示しており、カラーの場合は正弦波の信号となる。この色信号波形の振幅は輝度を示し、周期は色相の変化を示している。図５の色信号において、区間Ｗ１，Ｗ３，Ｗ５では振幅がほぼ一定であるため輝度値はほぼ一定である。一方、区間Ｗ２及び区間Ｗ４では振幅が変化しており、輝度が変化している。このうち区間Ｗ２のように輝度の変化が小さいと、信号の変化が緩慢になり、ディスプレイに出力したときにはいわゆる「滲み」が発生する。また、区間Ｗ４のように輝度の変化が大きいときは信号の変化が急激になる。
【００４８】
車幅や車両からの前後の距離の目安を示すガイドラインは、図３（ｂ）のようなトップビュー画像と合成して表示されることもある。この場合、ガイドラインのうち、車両の前後方向の軸に平行なラインはトップビュー表示のつなぎ目と交差することになる。このとき、ガイドラインとつなぎ目との位置関係によって、ガイドラインに発生する滲みの位置が異なり、ガイドラインがまっすぐに見えなくなるという現象が発生する。
【００４９】
図６は、トップビュー画像に車幅の目安を示すガイドラインを重畳した画像の一例を示しており、図６（ａ）は、本実施形態のガイドライン表示位置調整処理を行った場合の画像であり、図６（ｂ）は、本実施形態のガイドライン表示位置調整処理を行っていない場合の画像である。
【００５０】
ここで対象とするガイドラインは、図６に示すように、車両の前後に表示され、車幅を示すラインと車両の前方又は後方の所定の距離を示すラインとで構成されている。なお、図６では、所定の距離を示すラインは、一本だけ示しているが、複数の距離に対してそれぞれラインを表示するようにしてもよい。
【００５１】
図６（ａ）は、自車両の画像７０と、各車載カメラ１１ａ〜１１ｄで撮像された画像による車両周囲の画像（ＦＰ１，ＲＰ１，ＢＰ１，ＬＰ１）とを合成したトップビュー画像６１ａを示している。また、図６（ｂ）は、自車両の画像７０と、各車載カメラ１１ａ〜１１ｄで撮像された画像による車両周囲の画像（ＦＰ２,ＲＰ２，ＢＰ２，ＬＰ２）とを合成したトップビュー画像６１ｂを示している。
【００５２】
また、それぞれのトップビュー画像において、隣接する車載カメラにより撮像される重複領域ＤＲａ〜ＤＲｄでは、予めつなぎ目（６２〜６５）が決定され、黒塗りで表示されている。例えば、図６（ａ）において、前方画像ＦＰ１と右方画像ＲＰ１との境界には、つなぎ目６３ａが表示されている。
【００５３】
例えば、図６（ｂ）に示すように、前方車載カメラ１１ａで撮影した車両前方の画像ＦＰ２及び右方車載カメラ１１ｄで撮影した車両右方の画像ＲＰ２との境界のつなぎ目６３ｂと、ガイドライン（６８ｄ，６８ｅ）が交差する場合、ガイドライン（６８ｄ，６８ｅ）だけが表示されるのではなく、ガイドライン（６８ｄ，６８ｅ）とともにガイドライン（６８ｄ，６８ｅ）のつなぎ目６３ｂと反対側にガイドライン（６８ｄ，６８ｅ）の表示色が薄く表示される「滲み」部分（６８ｈ，６８ｉ）が発生する。
【００５４】
図６（ｂ）に示すように、ガイドライン６８ｅに対する滲み部分６８ｉは自車両画像から離れる方向に広がり、ガイドライン６８ｄに対する滲み部分６８ｈは自車両画像に近づく方向に広がっている。そのため、ガイドライン（６８ｄ，６８ｅ）は、つなぎ目６３ｂを境に不連続に見え、滲み部分の広がり方によっては、直線のガイドラインが曲線に見えてしまう場合も起こり得る。
【００５５】
図６（ｂ）に示すように、その他のつなぎ目（６２ｂ、６４ｂ、６５ｂ）とガイドライン（６８ａ〜６８ｂ、６９ａ〜６９ｂ、６９ｄ〜６９ｅ）が交差する部分も同様な現象が発生する。
【００５６】
このように、ガイドラインが不連続に見えたり、曲がって見えたりすることによって、正確な情報を取得できず、運転者に不安感を与えてしまいかねない。
【００５７】
そこで、本実施形態では、ガイドラインに発生する「滲み」を考慮に入れて、ガイドラインが不連続に見える現象を抑制するようにしている。具体的には、ガイドラインを表示する位置における画素の明るさ（輝度）及び隣接する画素の輝度を検出して、その輝度の差に応じてガイドラインの表示位置を調整する。
【００５８】
図６（ａ）に示すトップビュー画像６１ａにおいて、前方画像ＦＰ１と右方画像ＲＰ１との境界（つなぎ目６３ａ）と、ガイドライン（６６ａ〜６６ｅ）のうち、つなぎ目６３ａと交差する部分のガイドライン（６６ｄ，６６ｅ）に着目する。
【００５９】
上記したように、ガイドライン６６ｅは、左側に表示されるつなぎ目６３ａの影響を受けて、右方向（自車両画像から離れる方向）に滲み６６ｉが発生する。一方、ガイドライン６６ｄは、右側に表示されるつなぎ目６３ａの影響を受けて、左方向（自車両画像に近づく方向）に滲み６６ｈが発生する。
【００６０】
このような滲み（６６ｈ，６６ｉ）の幅は、ガイドライン（６６ｄ，６６ｅ）が表示される位置及び隣接する画素の輝度の差によって決定される。従って、ガイドラインの幅と、それに伴う滲みの幅とを合わせて一本のガイドライン（合成ガイドライン）とみなし、車両画像の前後方向の軸に平行なガイドラインをつなぎ目６３ａで分割して、車両画像に近い合成ガイドライン（６６ｅ，６６ｉ）（第１合成ガイドラインとする）と、車両画像から遠い合成ガイドライン（６６ｈ、６６ｄ）（第２合成ガイドラインとする）とし、これらの合成ガイドラインにつなぎ目６３ａにおいてずれが生じないように、第１合成ガイドライン又は第２合成ガイドラインを調整する。
【００６１】
例えば、第２合成ガイドラインを第１合成ガイドラインに合わせるように、第２合成ガイドラインの部分ガイドライン６６ｄの表示位置をずらして調整する。部分ガイドライン６６ｄが表示される位置の画素における輝度データと、その画素の位置に対して自車両画像の左右方向の軸に平行でつなぎ目６３ａと反対側に隣接する画素の輝度データを撮像画像メモリ１３に格納した画像データから抽出し、これらの輝度の差を基に、部分ガイドライン６６ｄの表示位置をずらすようにする。この場合は、部分ガイドライン６６ｄの表示位置をつなぎ目６３ａに近づく方向に移動させるようにする。
【００６２】
なお、第２合成ガイドラインを基準とすると、第１合成ガイドラインを第２合成ガイドラインに合わせるため、車幅の目安が上記の場合よりも狭くなる。そのため、車両から実際の障害物までの距離が長くなると誤認され、障害物と衝突する危険性が高くなるおそれがある。よって、本実施形態では、第１合成ガイドラインを基準としている。なお、上記危険性がないなど問題が生じなければ、第２合成ガイドラインを基準としてもよい。
【００６３】
図６（ａ）に示すその他のつなぎ目（６２ａ、６４ａ、６５ａ）とガイドライン（６６ａ〜６６ｂ、６７ａ〜６７ｂ、６７ｄ〜６７ｅ）とが交差する部分についても同様にガイド線の表示位置を調整する。
【００６４】
図７は、ガイドラインをずらす明るさの閾値の一例を示している。上記したように、カメラ画像の明るさにより滲む幅は決まっており、隣接する画素の明るさとの差が小さいと滲みが大きくなり、その差が大きいと滲みは小さくなる。よって、予め隣接する画素間の明るさの差に応じてガイドラインをずらすドット数の閾値を決めておき、閾値によってガイドラインの線を描画する位置をずらすようにする。本実施形態では、ガイドラインをずらすドット（画素）数を０から２の３段階とし、隣接する画素との明るさの差に応じて、ずらすドット数を規定している。
【００６５】
図７に示すように、各画素の明るさを、０から２５５の値で規定したとき、隣接する画素間の明るさの差が大きい（２５５〜１００）ときには、ガイドラインの表示位置は変更しない。明るさの差が中程度（９０〜３０）のときには、ガイドラインの表示位置を１ドットずらすようにする。また、明るさの差が小さい（２９〜１）ときには、ガイドラインの表示位置を２ドットずらすようにする。
【００６６】
このように、ガイドラインの表示位置を調整することにより、ガイドラインがつなぎ目の影響を受けて滲みが発生する場合であっても、ガイドラインが一本に見えるようにすることが可能になり、運転者に不安感を与えることを防止することが可能になる。
【００６７】
次に、本実施形態に係る車両周辺画像提供装置１０において制御部２０が行うガイドライン表示位置調整処理について、図８及び図９のフローチャートを参照しながら説明する。
【００６８】
本実施形態では、自車両に設置されている車載カメラ１１ａ〜１１ｄは、常に自車両の周辺を撮影しているものとする。
【００６９】
まず、図８の最初のステップＳ１１では、トップビュー表示機能を「オン」する。これにより、各車載カメラ１１ａ〜１１ｄは起動し、それぞれ自車両の前方、後方、左方及び右方の撮像を開始する。シフト位置がバックの位置にあることを指示するシフト位置信号や、操作部２１からのユーザ指示に基づいてトップビュー表示機能を「オン」にする。
【００７０】
次のステップＳ１２において、各車載カメラ１１ａ〜１１ｄで撮影して得られた車両周辺の画像のＡ／Ｄ変換後のデータを撮影画像メモリ１３に逐次格納する。
【００７１】
次のステップＳ１３では、各車載カメラにより取得した画像データを基にトップビュー画像を生成する。すなわち、制御部２０からの制御に基づき周辺画像生成部１５において、視点変換部１４の出力である視点変換後の各方向（前方、後方、左方及び右方）の各画像を合成して、車両周辺の画像を生成する。さらに、制御部２０からの制御に基づき画像合成部１８において、周辺画像生成部１５で生成された車両周辺の画像に、車両画像メモリ１７に予め記憶させておいた自車画像を合成（トップビュー画像の生成）する。
【００７２】
ステップＳ１４では、ガイドライン表示位置調整処理を行う。ここで、図９を参照しながら、ガイドライン表示位置調整処理について説明する。
【００７３】
まずステップＳ２１において、ガイドラインを第１部分ガイドラインと第２部分ガイドラインに分割する。第１部分ガイドラインは、車両の前後方向に平行なガイドラインのうちの、車両画像に近い部分であり、第２部分ガイドラインは、当該ガイドラインのうちの第１部分ガイドラインを除いた部分である。
【００７４】
次のステップＳ２２において、第１部分ガイドラインを描画する。この描画は、トップビュー画像として描画される画像データに画素データを重畳することによって行う。第１部分ガイドラインをガイドライン表示の基準とし、予め規定されたガイドラインの表示位置にガイドラインの表示データを設定する。
【００７５】
次のステップＳ２３において、第２部分ガイドラインの起点となる画素及び隣接する画素の明るさを検出する。第２部分ガイドラインの起点は、車両側からつなぎ目を超えた最初の点（画素）である。これらの点の画素の明るさは、カメラで撮像され、撮像画像メモリ１３に格納された画像データからその情報を抽出する。車両前方に表示されるガイドラインのうち車両の前後方向の軸に平行な左側のガイドラインの場合では、隣接する画素は起点となる画素の右側の画素である。
【００７６】
次のステップＳ２４において、ステップＳ２３で取得した画素の明るさの差に応じて描画位置の調整を行う。ガイドラインを表示する際に発生する「滲み」量（滲みの広がり）は、画素の明るさに応じて決定される。従って、第２部分ガイドラインの表示位置をずらすことによって、滲みの広がりを含めた第１部分ガイドラインの幅と一致させることができる。例えば、滲みの幅がｂｗであれば、第２部分ガイドラインの表示位置をつなぎ目に近づく方向にｂｗだけ表示位置を移動させる。具体的には、図７のガイドラインをずらす明るさの閾値によりずらすドット数を決定する。
【００７７】
次のステップＳ２５において、ステップＳ２４において算出された位置を基準に第２部分ガイドラインを描画する。すなわち、第２部分ガイドラインの起点を通り、自車両の画像の前後方向の軸と平行に第２部分ガイドラインを描画する。この場合、第２部分ガイドラインがつなぎ目と離れるに従って滲みの幅も変化するものと考えられるが、ここでは、第２部分ガイドラインに対して一律に表示位置をずらすようにしている。なお、第２部分ガイドラインの所定の間隔における表示位置の画素に対して滲みの量を検出し、その滲みの量に応じて表示位置をずらすようにしてもよい。
【００７８】
次のステップＳ２６において、車両の左右方向の軸に平行なガイドラインの描画幅を算出する。ステップＳ２５で描画される車両の前後方向の軸に平行なガイドラインが車両の左右方向に表示位置が調整されることによって、車両の左右方向に平行なガイドラインの描画幅が変化する。例えば、車両の右側に対応する第２部分ガイドラインがｂｗ１移動し、車両の左側に対応する第２部分ガイドラインがｂｗ２移動したとき、車両の左右方向に平行なガイドラインの幅は、初期の幅をｂｗ０とすると、ｂｗ０＋ｂｗ１＋ｂｗ２の長さになる。
【００７９】
次のステップＳ２７において、車両の左右方向に平行なガイドラインを描画する。このガイドラインは、第２部分ガイドラインのつなぎ目と反対側の端点からステップＳ２６において算出した長さの分だけ描画する。
【００８０】
なお、図９のガイドライン表示位置調整処理では、ステップＳ２３からステップＳ２５において、第２部分ガイドラインを描画しているが、このとき、車両の前後方向の軸に平行な左右の第２部分ガイドラインを同時に描画するようにしてもよいし、一方の第２部分ガイドラインを描画して、車両の左右方向に平行なガイドラインを描画したあと、他方の第２部分ガイドラインを描画するようにしてもよい。
【００８１】
図８に戻り、次のステップＳ１５では、画像合成部１８にステップＳ１３で生成されたトップビュー画像にステップＳ１４で表示位置が調整されたガイドラインを重畳させ、画像出力部１９でアナログ信号に変換し、ディスプレイ装置１９の画面にトップビュー画像とガイドラインとを合成した画像を表示する。
【００８２】
次のステップＳ１６では、エンジンが停止したか否か、つまり、駐車操作をしていた場合には駐車を完了したか否かを判定する。判定結果がＹＥＳの場合には本処理フローは終了となり、判定結果がＮＯの場合には、ステップＳ１２に戻り上記の処理を繰り返す。
【００８３】
以上説明したように、本実施形態における車両周辺画像提供装置では、ガイドラインがトップビュー画像のつなぎ目と交差するとき、ガイドラインの表示位置の近傍の画素の輝度を検出し、輝度差に応じてガイドラインを表示する位置をずらすようにしている。具体的には、車両の前後方向の軸に平行なガイドラインをトップビュー画像のつなぎ目で分割し、車両画像から遠いガイドラインとそれに伴う滲みを含んだガイドラインを、車両画像に近いガイドラインとそれに伴う滲みを含んだガイドラインに合わせるように、車両から遠いガイドラインの表示位置を輝度差に応じてずらすようにしている。これにより、滲みを伴うガイドラインがトップビュー画像のつなぎ目の両側でずれて見えることを防止することが可能となる。
【符号の説明】
【００８４】
１０…車両周辺画像提供装置、
１１ａ、１１ｂ、１１ｃ、１１ｄ…車載カメラ、
１３…撮像画像メモリ（第１の記憶手段）、
１４…視点変換部（制御手段）、
１５…周辺画像生成部（制御手段）、
１６…マッピングメモリ、
１７…車両画像メモリ（第１の記憶手段）、
１８…画像合成部（制御手段）、
１９…ディスプレイ装置（表示手段）、
２０…制御部（制御手段）、
２１…操作部、
２２…記憶部（第２の記憶手段）、
６１ａ、６１ｂ…トップビュー画像、
６３ａ、６３ｂ…つなぎ目、
６６ａ〜６６ｅ、６８ａ〜６８ｅ…ガイドライン、
６６ｆ、６６ｇ、６６ｈ、６６ｉ、６８ｆ、６８ｇ、６８ｈ、６８ｉ…滲み、
ＦＰ，ＲＰ，ＢＰ，ＬＰ…車両周辺の画像、
７０…車両の画像、
ＤＲａ、ＤＲｂ、ＤＲｃ、ＤＲｄ…画像重複領域。
【特許請求の範囲】
【請求項１】
表示手段と、
車両周辺の画像を取得可能に設置された複数のカメラと、
当該車両の画像のデータを予め格納すると共に、前記カメラにより取得された画像のデータを逐次格納する第１の記憶手段と、
車両の幅及び車両からの所定の距離を示すガイドラインのデータを記憶する第２の記憶手段と、
前記第１の記憶手段に格納されているデータから当該車両の画像と車両周辺の画像を合成して前記表示手段の画面に表示させるように制御する制御手段と、
を備え、
前記制御手段は、前記各カメラにより取得された画像間の境界領域に表示されるつなぎ目と交差する前記ガイドラインを表示するとき、当該ガイドラインの表示位置の画素と当該表示位置に隣接する画素との輝度差に応じて現れる滲みを含めたガイドラインの表示が前記つなぎ目の両側でずれのないようにガイドラインの表示位置を調整することを特徴とする車両周辺画像提供装置。
【請求項２】
前記制御手段は、前記車両の画像の前後方向の軸に平行な前記ガイドラインを前記つなぎ目で分割し、前記車両画像に近いガイドラインを第１の部分ガイドラインとし、前記車両画像から遠いガイドラインを第２の部分ガイドラインとしたとき、前記第２の部分ガイドライン及び当該第２の部分ガイドラインの近傍に現れる滲みを含んだガイドラインが前記第１の部分ガイドライン及び当該第１の部分ガイドラインの近傍に現れる滲みを含んだガイドラインとずれがないように、前記第２の部分ガイドラインの表示位置を調整することを特徴とする請求項１に記載の車両周辺画像提供装置。
【請求項３】
前記制御手段は、前記第２の部分ガイドラインの表示位置の画素及び当該表示位置に隣接する画素の輝度を検出し、当該輝度の差に応じて予め決められた所定の画素数分だけ前記第２の部分ガイドラインの表示位置をずらすことを特徴とする請求項２に記載の車両周辺画像提供装置。
【請求項４】
前記第２の部分ガイドラインの表示位置をずらす方向は、前記つなぎ目に近づく方向であることを特徴とする請求項３に記載の車両周辺画像提供装置。
【請求項５】
前記制御手段は、前記車両の左右方向の軸に平行なガイドラインの表示の長さを、前記第２の部分ガイドラインの調整位置を基に算出して表示することを特徴とする請求項４に記載の車両周辺画像提供装置。
【請求項６】
前記カメラは、当該車両の前方、後方、左方及び右方をそれぞれ撮影する車載カメラであり、各車載カメラは、レンズを下方に向けて広角範囲で画像を取得可能に、かつ、協働して当該車両の全周囲を撮影可能に配置されていることを特徴とする請求項１から５のいずれか一項に記載の車両周辺画像提供装置。
【請求項７】
前記制御手段は、前記各車載カメラで撮影された各方向の画像の視点をそれぞれ当該車両の上方からの視点に変換し、視点変換後の画像を合成して当該車両周辺の画像を生成することを特徴とする請求項６に記載の車両周辺画像提供装置。
【請求項１】
表示手段と、
車両周辺の画像を取得可能に設置された複数のカメラと、
当該車両の画像のデータを予め格納すると共に、前記カメラにより取得された画像のデータを逐次格納する第１の記憶手段と、
車両の幅及び車両からの所定の距離を示すガイドラインのデータを記憶する第２の記憶手段と、
前記第１の記憶手段に格納されているデータから当該車両の画像と車両周辺の画像を合成して前記表示手段の画面に表示させるように制御する制御手段と、
を備え、
前記制御手段は、前記各カメラにより取得された画像間の境界領域に表示されるつなぎ目と交差する前記ガイドラインを表示するとき、当該ガイドラインの表示位置の画素と当該表示位置に隣接する画素との輝度差に応じて現れる滲みを含めたガイドラインの表示が前記つなぎ目の両側でずれのないようにガイドラインの表示位置を調整することを特徴とする車両周辺画像提供装置。
【請求項２】
前記制御手段は、前記車両の画像の前後方向の軸に平行な前記ガイドラインを前記つなぎ目で分割し、前記車両画像に近いガイドラインを第１の部分ガイドラインとし、前記車両画像から遠いガイドラインを第２の部分ガイドラインとしたとき、前記第２の部分ガイドライン及び当該第２の部分ガイドラインの近傍に現れる滲みを含んだガイドラインが前記第１の部分ガイドライン及び当該第１の部分ガイドラインの近傍に現れる滲みを含んだガイドラインとずれがないように、前記第２の部分ガイドラインの表示位置を調整することを特徴とする請求項１に記載の車両周辺画像提供装置。
【請求項３】
前記制御手段は、前記第２の部分ガイドラインの表示位置の画素及び当該表示位置に隣接する画素の輝度を検出し、当該輝度の差に応じて予め決められた所定の画素数分だけ前記第２の部分ガイドラインの表示位置をずらすことを特徴とする請求項２に記載の車両周辺画像提供装置。
【請求項４】
前記第２の部分ガイドラインの表示位置をずらす方向は、前記つなぎ目に近づく方向であることを特徴とする請求項３に記載の車両周辺画像提供装置。
【請求項５】
前記制御手段は、前記車両の左右方向の軸に平行なガイドラインの表示の長さを、前記第２の部分ガイドラインの調整位置を基に算出して表示することを特徴とする請求項４に記載の車両周辺画像提供装置。
【請求項６】
前記カメラは、当該車両の前方、後方、左方及び右方をそれぞれ撮影する車載カメラであり、各車載カメラは、レンズを下方に向けて広角範囲で画像を取得可能に、かつ、協働して当該車両の全周囲を撮影可能に配置されていることを特徴とする請求項１から５のいずれか一項に記載の車両周辺画像提供装置。
【請求項７】
前記制御手段は、前記各車載カメラで撮影された各方向の画像の視点をそれぞれ当該車両の上方からの視点に変換し、視点変換後の画像を合成して当該車両周辺の画像を生成することを特徴とする請求項６に記載の車両周辺画像提供装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【公開番号】特開２０１１−１１４５３６（Ｐ２０１１−１１４５３６Ａ）
【公開日】平成２３年６月９日（２０１１．６．９）
【国際特許分類】
【出願番号】特願２００９−２６８５３６（Ｐ２００９−２６８５３６）
【出願日】平成２１年１１月２６日（２００９．１１．２６）
【出願人】（０００１０１７３２）アルパイン株式会社 (2,424)
【Ｆターム（参考）】
【公開日】平成２３年６月９日（２０１１．６．９）
【国際特許分類】
【出願日】平成２１年１１月２６日（２００９．１１．２６）
【出願人】（０００１０１７３２）アルパイン株式会社 (2,424)
【Ｆターム（参考）】
[ Back to top ]