説明

駐車支援装置

【課題】自車両が移動しても駐車スペースが表示画面に表示される俯瞰映像をリアルタイムにユーザに提供すること。
【解決手段】駐車支援装置1は、車両を駐車させるための駐車目標位置を第1俯瞰映像より検出する駐車目標位置検出手段34と、視点位置を決定する視点位置決定手段34と、回転量を決定する回転量決定手段34と、視点位置と回転量とに基づいて第1俯瞰映像を回転させる視点変換テーブルを作成する視点変換テーブル作成手段35と、視点変換テーブルに基づいて第1俯瞰映像より第2俯瞰映像を生成する第2俯瞰映像生成手段36とを有する。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、駐車支援装置に関し、より詳細には、車両の駐車位置周辺の様子を俯瞰映像(俯瞰画像)によって示すことにより、駐車処理を行うユーザの運転支援を行うことが可能な駐車支援装置に関する。
【背景技術】
【0002】
従来より、車両に複数のカメラを設置することにより、車両周囲の状況を撮影し、撮影された映像に基づいて、車両を仮想的に上方から見下ろした映像(以下、俯瞰映像という)を生成して、ユーザに車両の周囲の状況を映像(画像)により提供するシステムが提案されている(例えば、特許文献1参照)。
【0003】
このように、車両周囲の状況を俯瞰映像で示すことにより、ユーザは、あたかも車両の周囲の様子を上空から撮影したような映像に基づいて、車両と駐車スペースおよびその他の周囲の対象物との位置関係を把握することができ、車両の状態を直感的に把握することが可能となる。
【0004】
しかしながら、特許文献1によって開示されているシステムでは、俯瞰映像の中心位置に自車両が固定され、車両が移動した場合には、中央に車両が固定表示されたままの状態で、周囲の様子が変化する表示形態となっている。
【0005】
従って、駐車処理において切り返しなどの操作を行うと、切り返し操作に応じて、駐車スペースが大きく変動する場合が生じたり、また、駐車スペースが俯瞰映像から外れてしまって表示されなくなってしまう場合が生じたりすることがあり得るという問題があった。
【0006】
このため、車両を俯瞰映像の中心位置に固定するのではなく、駐車処理を行う場合には、少なくとも駐車スペースを画面の所定位置に表示させたままにし、俯瞰画像に重畳表示される車両の画像を移動させるシステムが提案されている(特許文献2参照)。
【0007】
特許文献2によって開示される方法では、駐車動作に入る直前に撮影された映像に基づいて俯瞰画像を生成し、駐車処理を開始した場合には、俯瞰画像の更新を停止させたまま、俯瞰画像に重畳される自車両CGの表示位置を、自車両の移動方向および移動量に対応した位置へと変化させる表示形態の俯瞰映像を生成して、ユーザに提供する。
【0008】
このように俯瞰映像では、自車両の移動に伴って俯瞰映像の周囲の画像が移動するのではなく、自車両CGの位置が変化するので、駐車スペースの表示位置が大きく変化してしまったり、駐車スペースが画面から消えてしまうことなどを、回避することが可能となる。
【先行技術文献】
【特許文献】
【0009】
【特許文献1】特開2001−339716号公報
【特許文献2】特開2007−183877号公報
【発明の概要】
【発明が解決しようとする課題】
【0010】
しかしながら、特許文献2において俯瞰画像が固定された状態となると、車両の駐車処理が完了するまで俯瞰画像が更新されずにそのまま使用されるため、駐車処理の途中で人などが表示エリア内に進入しても、俯瞰映像に進入した人などが表示されないという問題があった。このため、駐車処理を行うユーザは、画面に表示される俯瞰映像とは別に、目視により周囲状況に注意を払うことによって、安全性を確認する必要が生ずるので、駐車処理が煩雑になると共に、結果として安全性の確保が困難になってしまうおそれがあった。
【0011】
一方で、上述した特許文献2では、俯瞰映像を生成する際に、固定された俯瞰画像を利用するのではなく、自車両の移動に伴って動的に変化する変換アルゴリズム、例えば、自車両の移動方向や移動量に応じて値が変化する変数を用いた変換式などにより、自車両が移動しても画面上の駐車スペースの表示位置が移動しない特別な俯瞰映像(車両周囲映像)を生成する方法も提案されている。
【0012】
しかしながら、変換アルゴリズムを用いて特別な俯瞰映像をリアルタイムに生成する場合には、一般的な俯瞰映像(上述した俯瞰画像など)を生成するための方法と同じような手法(例えば、予め用意された画素変換テーブルなどに従って、各車載カメラの撮影映像の画素を所定の表示位置に再配置する手法など)を用いることができない。このため、リアルタイムに映像更新処理(俯瞰映像への変換処理)を行う必要が生ずるが、高度な画像変換処理が可能なシステムを用いなければ、映像更新に遅延等が生じてしまい、所望の映像を得ることが困難になるという問題があった。
【0013】
また、高度な映像変換処理システムを用いて画像演算処理を実現するためには、膨大な費用が必要となってしまうため、車両にこのようなシステムを搭載することが困難であるという問題があった。
【0014】
さらに、高度な映像変換処理システムを用いて、駐車スペースの表示位置が固定された俯瞰映像をリアルタイムに描画する場合には、それぞれのカメラで撮影される撮影範囲が車両の移動に伴って変化するため、俯瞰映像の生成時に用いられるカメラ映像のつなぎ目の処理をリアルタイムに行うことが困難となる。
【0015】
例えば、自車両を映像の中心位置に固定した上で俯瞰映像を生成する場合には、画面上におけるカメラ映像とカメラ映像とのつなぎ目は変化しないため、画像変換テーブルなどを用いて画素の再配置を行っても問題が生じない。しかしながら、駐車スペースの表示位置が固定された俯瞰映像をリアルタイムに描画する場合には、自車両の移動に伴って、同じ地点が一のカメラの撮影範囲から他のカメラの撮影範囲へと変化してしまうため、その地点を俯瞰映像によって再現する場合に用いられるソース(カメラ映像)の判断が非常に困難となり、現実的に駐車スペースの表示位置が固定された俯瞰映像をリアルタイムに生成することが困難であった。
【0016】
本発明は、上記課題に鑑みてなされたものであり、高度な映像変換処理システムを用いることなく、自車両が移動しても駐車スペースの表示位置が表示画面に表示される俯瞰映像をリアルタイムにユーザに提供することが可能な駐車支援装置を提供することを課題とする。
【課題を解決するための手段】
【0017】
上記課題を解決するために、本発明に係る駐車支援装置は、車両に設置された複数のカメラにより撮影されたカメラ映像に基づいて、前記車両を中心として車両周囲の状況を前記車両の上方より仮想的に見下ろす第1俯瞰映像を生成する第1俯瞰映像生成手段と、前記車両を駐車させるための駐車目標位置を前記第1俯瞰映像より検出する駐車目標位置検出手段と、該駐車目標位置検出手段により検出された前記駐車目標位置と前記第1俯瞰映像における車両位置との位置関係に基づいて視点位置を決定する視点位置決定手段と、前記駐車目標位置と前記第1俯瞰映像における車両位置との位置関係に基づいて、前記第1俯瞰映像における回転量を決定する回転量決定手段と、前記第1俯瞰映像における中心位置を前記視点位置決定手段により決定された視点位置に移動させると共に、前記回転量決定手段により決定された回転量に基づいて前記視点位置を基準として前記第1俯瞰映像を回転させる視点変換テーブルを作成する視点変換テーブル作成手段と、該視点変換テーブル作成手段により作成された視点変換テーブルに基づいて前記第1俯瞰映像を映像変換処理することにより、前記視点位置が俯瞰映像の中心位置となり、前記回転量決定手段により決定された回転量だけ回転された第2俯瞰映像を生成する第2俯瞰映像生成手段とを有することを特徴とする。
【0018】
本発明に係る駐車支援装置では、第1俯瞰映像生成手段により生成された第1俯瞰映像をベースとし、視点変換テーブル作成手段で作成された視点変換テーブルを用いて第1俯瞰映像の変換を行って視点位置および上下左右方向(回転量)の変更が行われた第2俯瞰映像を生成する。このように、本発明に係る駐車支援装置では、第2俯瞰映像の生成処理を、視点変換テーブルを用いて簡単に生成することができるため、所望の俯瞰映像をリアルタイムに生成することが可能となる。
【0019】
さらに、視点変換テーブルに基づいて第1俯瞰映像から第2俯瞰映像が生成されるため、第1俯瞰映像生成手段において第1俯瞰映像の生成時にカメラ映像の境界部分の処理を予め行っておくことにより、第2俯瞰映像生成手段において境界部分の処理を行う必要がない。このため、境界部分処理における処理負担をなくし、第2俯瞰映像をリアルタイムで生成することが容易となる。
【0020】
また、リアルタイムに第2俯瞰映像を生成することにより、駐車処理中に俯瞰映像で表示される範囲に人が近づいた場合であっても、俯瞰映像にその人の存在を表示させることができるので、車両のユーザは、第2俯瞰映像によって周囲の状況をリアルタイムに把握することが可能となり、駐車処理時の安全性を高めることが可能となる。
【0021】
視点変換テーブルは、視点位置決定手段により決定された視点位置に基づいて第1俯瞰映像を上下左右に移動させ、回転量決定手段により決定された回転量に基づいて第1俯瞰映像を回転させるだけのテーブルであるため、視点変換テーブル生成手段では、視点変換テーブルを簡単に生成することができ、視点変換テーブル生成手段における処理負担を低減させることが可能となる。このため、第2俯瞰映像の生成処理を迅速に行うことが可能となり、第2俯瞰映像の生成処理における遅延を防止することが可能となる。
【0022】
さらに、第2俯瞰映像は、視点変換テーブルを用いて第1俯瞰映像から簡単に生成され、さらに、視点変換テーブルも、第1俯瞰映像を上下左右移動および回転させるだけの簡単な処理を行うためのテーブルであるため、第2俯瞰映像を生成するために高度な変換アルゴリズムなどを用いる必要がない。このため、第2俯瞰映像の生成のための高度な演算処理システムは必要とされず、処理コストの低減を図ることが可能となる。
【0023】
また、視点位置決定手段により決定される視点位置は、駐車目標位置検出手段により検出された駐車目標位置と第1俯瞰映像における車両位置との位置関係に基づいて決定される。このため、第2俯瞰映像は、従来の俯瞰映像(第1俯瞰映像)のように車両が中心に位置する俯瞰映像ではなく、駐車目標位置と車両位置との位置関係を考慮した視点位置が中心となる俯瞰映像になるので、切り返し操作により駐車目標位置が俯瞰映像から見えなくなることを防止することが可能となる。
【0024】
さらに、回転量決定手段により第1俯瞰映像における回転量が決定され、第2俯瞰映像においては、この回転量に基づいて映像の上下左右方向の変換処理が行われる。このため、車両位置に対する駐車目標位置の方向等に応じて画面の方向を変更することができ、駐車時における画面の表示方向をより駐車実状に適したものにすることが可能となる。
【0025】
また、本発明に係る駐車支援装置は、車両に設置された複数のカメラにより撮影されたカメラ映像に基づいて、前記車両を中心として車両周囲の状況を前記車両の上方より仮想的に見下ろす第1俯瞰映像を生成する第1俯瞰映像生成手段と、前記車両を駐車させるための駐車目標位置を前記第1俯瞰映像より検出する駐車目標位置検出手段と、該駐車目標位置検出手段により検出された前記駐車目標位置と前記第1俯瞰映像における車両位置との位置関係に基づいて視点位置を決定する視点位置決定手段と、前記駐車目標位置と前記第1俯瞰映像における車両位置との位置関係に基づいて、前記第1俯瞰映像における回転量を決定する回転量決定手段と、前記第1俯瞰映像における中心位置を前記視点位置に基づいて移動させると共に、前記第1俯瞰映像を前記回転量に基づいて前記視点位置を基準として回転させるための複数の視点変換テーブルが記録される視点変換テーブル記録手段と、該視点変換テーブル記録手段に記録される複数の前記視点変換テーブルより、前記視点位置決定手段により決定された視点位置に前記第1俯瞰映像における中心位置を移動させると共に、前記回転量決定手段により決定された前記回転量だけ前記第1俯瞰映像を回転させるための視点変換テーブルを抽出し、抽出された視点変換テーブルに基づいて前記第1俯瞰映像を映像変換処理することにより、第2俯瞰映像を生成する第2俯瞰映像生成手段とを有することを特徴とする。
【0026】
上述した駐車支援装置のように視点変換テーブル生成手段により視点変換テーブルを生成させるのではなく、予め複数の視点変換テーブルを用意して視点変換テーブル記録手段に記録させておき、視点位置決定手段により決定された視点位置に第1俯瞰映像における中心位置を移動させると共に、回転量決定手段により決定された回転量だけ第1俯瞰映像を回転させるための視点変換テーブルを抽出して第1俯瞰映像を第2俯瞰映像に映像変換処理する場合であっても、上述する駐車支援装置と同様の効果を得ることが可能となる。
【0027】
また上述した駐車支援装置において、前記視点位置決定手段は、前記駐車目標位置と前記第1俯瞰映像における車両位置との中間位置を前記視点位置として決定するものであってもよい。
【0028】
本発明に係る駐車支援装置において、視点位置決定手段が駐車目標位置と第1俯瞰映像における車両位置との中間位置を視点位置として決定することにより、車両位置と駐車目標位置とをバランスよく第2俯瞰映像に表示させることが可能となる。このため、切り返し操作により駐車目標位置、あるいは車両が、俯瞰映像から見えなくなることを防止することができると共に、車両位置と駐車目標位置の相対的な関係を第2俯瞰映像より簡単に把握することが可能となる。
【0029】
また上述した駐車支援装置において、前記第1俯瞰映像を表示可能な表示手段と、該表示手段に表示された前記第1俯瞰映像における前記駐車目標位置を、ユーザが特定するための入力手段とを有し、前記駐車目標位置検出手段は、前記入力手段を介してユーザにより特定された前記駐車目標位置に基づいて、前記第1俯瞰映像における前記駐車目標位置の検出を行うものであってもよい。
【0030】
駐車目標位置は、一般的に白線枠対などで仕切られた駐車スペースで示されるため、映像解析処理などにより検出することが可能であるが、駐車スペースが複数ある場合や、路面と白線枠対との明度などが近い場合には、映像解析によって駐車目標位置を特定することが困難な場合も多い。
【0031】
一方で、本発明に係る駐車支援装置では、第1俯瞰映像生成手段により第1俯瞰映像が生成されるため、車両周囲の俯瞰映像を視認可能な状態でユーザに提示することが可能である。このため、第1俯瞰映像を表示するための表示手段と、表示手段に表示された第1俯瞰映像においてユーザが駐車目標位置を特定するための入力手段とを設けることにより、駐車スペースが多数ある場合や、映像解析により駐車目標位置を特定することが困難な場合であっても、簡単かつ確実にユーザが駐車を希望する駐車目標位置を検出することが可能となる。
【0032】
また、上述した駐車支援装置において、前記回転量決定手段は、前記車両位置に対して前記駐車目標位置が下側に位置する前記第1俯瞰映像の回転角度を前記回転量として決定するものであってもよい。
【0033】
一般に駐車処理を行う場合には、車両を後退させて駐車目標位置に車両を移動させることが多い。この場合において、一般的に第2俯瞰映像が表示される表示手段は、運転席から視認可能な車両前側位置(例えばインストルメントパネルなど)に設置されることが多いため、車両を後退させる場合には、第2俯瞰映像における駐車目標位置も車両位置よりも下側に位置することが望ましい。
【0034】
本発明に係る回転量決定手段のように、車両位置に対して駐車目標位置が下側に位置する第1俯瞰映像の回転角度などを回転量として決定することにより、第2俯瞰映像生成手段により生成される第2俯瞰映像は、車両位置に対して駐車目標位置が下側に位置することとなり、駐車処理において車両と駐車目標位置との位置関係に対応した感覚的に把握し易い周囲映像(第2俯瞰映像)を提供することが可能となる。
【発明の効果】
【0035】
本発明に係る駐車支援装置によれば、第1俯瞰映像生成手段により生成された第1俯瞰映像をベースとし、視点変換テーブル作成手段で作成された視点変換テーブルを用いて第1俯瞰映像の変換を行って視点位置および上下左右方向(回転量)の変更が行われた第2俯瞰映像を生成する。このように、本発明に係る駐車支援装置では、第2俯瞰映像の生成処理を、視点変換テーブルを用いて簡単に生成することができるため、所望の俯瞰映像をリアルタイムに生成することが可能となる。
【0036】
さらに、視点変換テーブルにより第1俯瞰映像から第2俯瞰映像が生成されるため、第1俯瞰映像生成手段において第1俯瞰映像の生成時にカメラ映像の境界部分の処理を予め行っておくことにより、第2俯瞰映像生成手段において境界部分の処理を行う必要がない。このため、境界部分処理における処理負担をなくし、第2俯瞰映像をリアルタイムで生成することが容易となる。
【0037】
また、リアルタイムに第2俯瞰映像を生成することにより、駐車処理中に俯瞰映像で表示される範囲に人が近づいた場合であっても、俯瞰映像にその人の存在を表示させることができるので、車両のユーザは、第2俯瞰映像によって周囲の状況をリアルタイムに把握することが可能となり、駐車処理時の安全性を高めることが可能となる。
【0038】
視点変換テーブルは、視点位置決定手段により決定された視点位置に基づいて第1俯瞰映像を上下左右に移動させ、回転量決定手段により決定された回転量に基づいて第1俯瞰映像を回転させるだけのテーブルであるため、視点変換テーブル生成手段では、視点変換テーブルを簡単に生成することができ、視点変換テーブル生成手段における処理負担を低減させることが可能となる。このため、第2俯瞰映像の生成処理を迅速に行うことが可能となり、第2俯瞰映像の生成処理における遅延を防止することが可能となる。
【0039】
さらに、第2俯瞰映像は、視点変換テーブルを用いて第1俯瞰映像から簡単に生成され、さらに、視点変換テーブルも、第1俯瞰映像を上下左右移動および回転させるだけの簡単な処理を行うためのテーブルであるため、第2俯瞰映像を生成するために高度な変換アルゴリズムなどを用いる必要がない。このため、第2俯瞰映像の生成のための高度な演算処理システムは必要とされず、処理コストの低減を図ることが可能となる。
【0040】
また、視点位置決定手段により決定される視点位置は、駐車目標位置検出手段により検出された駐車目標位置と第1俯瞰映像における車両位置との位置関係に基づいて決定される。このため、第2俯瞰映像は、従来の俯瞰映像(第1俯瞰映像)のように車両が中心に位置する俯瞰映像ではなく、駐車目標位置と車両位置との位置関係を考慮した視点位置が中心となる俯瞰映像になるので、切り返し操作により駐車目標位置が俯瞰映像に表示されなくなることを防止することが可能となる。
【0041】
さらに、回転量決定手段により第1俯瞰映像における回転量が決定され、第2俯瞰映像においては、この回転量に基づいて映像の上下左右方向の変換処理が行われる。このため、車両位置に対する駐車目標位置の方向等に応じて画面の方向を変更することができ、駐車時における画面の表示方向をより駐車実状に適したものにすることが可能となる。
【図面の簡単な説明】
【0042】
【図1】実施の形態に係るカーナビゲーションシステムにおけるハードウェアの概略構成を示したブロック図である。
【図2】実施の形態に係る車両に設置されるカメラの設置位置を示した図である。
【図3】実施の形態に係るカーナビゲーションシステムにおける機能ブロックの概略構成を示したブロック図である。
【図4】実施の形態に係るカメラ映像に基づいて生成される全体の俯瞰映像(俯瞰画像)と、テーブルデータに基づいて抽出される俯瞰映像(俯瞰画像)の画像範囲とを例示した図である。
【図5】実施の形態に係る俯瞰映像(俯瞰画像)における視点位置を例示した俯瞰映像(俯瞰画像)であって、(a)は、車両位置と駐車目標位置との中間に視点位置が決定される場合の俯瞰映像(俯瞰画像)を示し、(b)は、駐車目標位置に視点位置が決定された場合の俯瞰映像(俯瞰画像)を示している。
【図6】(a)は、俯瞰映像(俯瞰画像)における回転処理が行われる前の俯瞰映像(俯瞰画像)を示し、(b)は、回転処理が行われた後の俯瞰映像(俯瞰画像)を示した図である。
【図7】実施の形態に係る制御部における俯瞰映像(俯瞰画像)の視点変換処理を示したフローチャートである。
【発明を実施するための形態】
【0043】
以下、本発明の係る駐車支援装置の一例であるカーナビゲーションシステムを提示し、添付図面を用いて詳細に説明を行う。
【0044】
図1は、カーナビゲーションシステム1におけるハードウェアの概略構成を示したブロック図である。カーナビゲーションシステム1は、図1に示すように、現在位置検出部10と、VICS(登録商標)情報受信部11と、入力操作部12と、画像メモリ部13と、表示モニタ(表示手段)14と、タッチパネル部(入力手段)15と、地図データ記録部(視点変換テーブル記録手段)16と、スピーカ17と、制御部(第1俯瞰映像生成手段、駐車目標位置検出手段、視点位置決定手段、回転量決定手段、視点変換テーブル作成手段、第2俯瞰映像生成手段)18と、RAM(Random Access Memory:視点変換テーブル記録手段)19と、ROM(Read Only Memory)20と、カメラ21とを有している。
【0045】
現在位置検出部10は、カーナビゲーションシステム1が搭載された車両の現在位置を検出する役割を有している。現在位置検出部10は、振動ジャイロ10a、車速センサ10b、GPS(Global Positioning System)センサ10cを有している。振動ジャイロ10aは、車両の進行方向(進行方向の方位)を検出する機能を備えている。車速センサ10bは、車両に設置されるパルス発生器より車両の走行距離に応じて発せられるパルスを検出することにより車速を検出する役割を有している。GPSセンサ10cはGPS衛星からのGPS信号を検出する役割を有しており、制御部18では、受信したGPS信号によって、車両の現在位置を座標位置(例えば、世界測地系(WGS84)に基づく緯度・経度情報)に基づいて検出をすることが可能となっている。
【0046】
VICS情報受信部11は、VICS情報を受信する役割を有している。VICS情報は、VICS情報センタ(図示省略)によって供給される情報であって、最新の渋滞情報などの道路状況を示した情報である。VICS情報受信部11は、電波ビーコン、光ビーコンおよびFM多重放送によって供給されるVICS情報を受信することにより、交通情報を確実に取得することが可能となっている。VICS情報受信部11によって受信されたVICS情報は、制御部18へ出力される。
【0047】
入力操作部12は、タッチパネル部15によるタッチ操作以外の操作方法によって、カーナビゲーションシステム1における各種操作を行う際に用いられる。具体的には、カーナビゲーションシステム1の筐体に設けられる物理的なスイッチ・ボタンやリモコンなどが、入力操作部12に該当する。
【0048】
画像メモリ部13は、表示モニタ14に表示するための画像データを一時的に格納する役割を有している。この画像データは、制御部18が、現在位置検出部10より取得した車両の現在位置情報や、ユーザにより設定された目的地の情報などに基づいて、地図データ記録部16より地図データを抽出し、各種画像情報を合成することによって適宜生成される。
【0049】
制御部18では、生成された画像データを画像メモリ部13に記録させ、画像メモリ部13に記録された画像データは順次、カーナビゲーションシステム1の表示モニタ14に地図表示等として表示されることになる。このように、画像メモリ部13に記録された画像データが順次、表示モニタ14に表示されることにより、表示モニタ14にリアルタイムに画像データに基づく映像(例えば、俯瞰画像に基づく俯瞰映像)を表示させることが可能となる。
【0050】
また、画像メモリ部13は、後述する俯瞰映像生成部30(図3参照)により生成された俯瞰映像や後述する視点変換映像生成部36により生成された視点変換映像を表示モニタ14に表示するために記録する役割を有している。俯瞰映像生成部30や視点変換映像生成部36などの詳細な説明については後述する。
【0051】
表示モニタ14は、地図データなどの各種情報に基づいて、自車両位置付近の道路地図などの各種情報を画面に表示する役割を有している。表示モニタ14として、例えば、液晶モニタやCRTモニタなどを具体的に用いることができる。また、表示モニタ14には、ユーザが車両を駐車場に駐車させるための処理(以下、駐車処理という)を行う際に、車両周囲の状況を、仮想的に車両や駐車スペースなどの上方から見下ろした映像(俯瞰映像)として表示させることが可能となっている。俯瞰映像を表示モニタ14に表示させる処理に関する説明は後述する。
【0052】
タッチパネル部15は、ユーザが指で表示モニタ14の表面をタッチしたか否かを判断し、タッチされた場合には、タッチ位置に基づいてユーザによる入力処理の判断を行う役割を有している。タッチパネル部15は、タッチ検出部15aと、タッチコントロール部15bとを有している。
【0053】
タッチ検出部15aは、表示モニタ14の表面に積層される透明でシート状のタッチスイッチなどにより構成されている。タッチ検出部15aは、入力操作部12のような物理的なスイッチとは異なる検出手段であり、表示モニタ14の表示画面におけるタッチ操作の有無を、静電方式や感圧方式などの検出方式に基づいて検出する。タッチ検出部15aは、透明のタッチスイッチなどにより構成されるため、ユーザは、タッチ検出部15aを介して表示モニタ14に表示される映像(画像)、例えば後述する駐車スペースを示した白色枠体の映像(画像)などを視認することが可能となっている。
【0054】
タッチコントロール部15bは、タッチ検出部15aと制御部18との間に介在されている。タッチコントロール部15bは、タッチ検出部15aにおいて検出した信号(タッチ操作による信号)に基づいてタッチパネル部15におけるタッチ位置を算出し、制御部18へ出力する。
【0055】
カメラ21は、車両の周囲の状況を撮影する役割を有している。本実施の形態に係るカーナビゲーションシステム1では、図2に示すように、4台のカメラが設けられている。具体的には、車両40の前部41a(例えばフロントバンパーやフロントグリルなど)に設置されて車両40の前方範囲41bの撮影を行うフロントカメラ41cと、車両40の後部42a(例えば、リアバンパーやリアウインド近傍など)に設置されて車両40の後方範囲42bの撮影を行うリアカメラ42cと、車両40の左側部43a(例えば、左側ドアミラー近傍や左側ピラー位置近傍など)に設置されて車両40の左側範囲43bの撮影を行う左サイドカメラ43cと、車両40の右側部44a(例えば、右側ドアミラー近傍や右側ピラー位置近傍など)に設置されて車両40の右側範囲44bの撮影を行う右サイドカメラ44cとにより構成されている。
【0056】
各カメラ41c〜44cによって撮影された映像は、制御部18における俯瞰映像の生成処理に利用される。制御部18における俯瞰生成処理の詳細については後述する。なお、本実施の形態に係るカーナビゲーションシステム1においては、図2に示したように、4台のカメラ41c〜44cが車両40に設置されているが、車両40に設置されるカメラの設置数は4台には限定されず、車両40の全周囲の状況を撮影することが可能であるなら何台であってもよい。例えば、カメラ21の設置台数は、3台以下であっても良く、また、5台以上であってもよい。さらに、カメラ21の設置位置は、図2に示された設置位置には限定されず、車両周囲の状況を撮影することが可能な設置位置であれば、その設置位置は上述した位置に限定されるものではない。
【0057】
地図データ記録部16は、ハードディスク、SSD(Solid State Drive)、DVD−ROM、CD−ROM、SDカードなど、地図データを記録可能な一般的な補助記憶装置により構成されている。地図データは、地図表示用データ、経路検索用データなどを含んでおり、地図表示用データおよび経路検索用データには、地図データに格納されている道路のリンク情報およびノード情報が含まれている。地図表示用データとして、広域から詳細まで複数の縮尺の地図データが用意されているため、この地図表示用データを用いることによって、ユーザの要求に応じて表示地図の縮尺を変更することが可能となっている。
【0058】
また、地図データ記録部16には、カメラ21(41c〜44c)によって撮影された車両の周囲映像に基づいて、俯瞰映像を生成する場合に利用されるテーブルデータが記録されている。制御部18では、地図データ記録部16に記録される複数のテーブルデータから、駐車処理時における車両と駐車スペースとに基づいて最適なテーブルデータを抽出し、抽出したテーブルデータを利用することにより撮影されたカメラ21の映像から、最適な俯瞰映像(俯瞰画像)を生成する処理を行う。
【0059】
スピーカ17は、ユーザに対して、ナビゲーション中にルート誘導を行うための音声案内ガイドを出力したり、カーナビゲーションシステム1における様々な入力操作に伴う音声案内ガイドを出力したりする役割を有している。
【0060】
制御部18は、ユーザによって設定される目的地までの経路検索や、検索された経路に基づく画像生成処理や、音声案内出力処理など、カーナビゲーションシステム1における各種処理を行う役割を有している。制御部18は、例えば、CPU(Central Processing Unit)により構成される。
【0061】
RAM19は、制御部18の作業エリアとしての役割を有している。例えば、後述する俯瞰映像の生成処理において、地図データ記録部16に記録されるテーブルデータが、RAM19へ一時的に記録される。このように、RAM19に記録されたテーブルデータを随時読み出して俯瞰映像の生成処理を行うことにより、俯瞰映像の生成処理における遅延を抑制することが可能となる。
【0062】
ROM20は、制御部18において実行される各種のプログラム等が記録されている。制御部18は、ROM20よりプログラムを読み込んで実行することにより各種の制御処理を行うことが可能となる。例えば、ROM20には、後述する図7に示すような俯瞰映像の生成用プログラムなどが記録される。
【0063】
本実施の形態に係る制御部18では、ROM20より各種プログラムを読み出して実行することにより、カーナビゲーションシステム1における経路案内処理を実行すると共に、実行される経路案内処理に伴って、誘導経路(案内経路:ルート)に用いられる地図情報を生成し、表示モニタ14に表示させる処理を行う。さらに、制御部18では、ROM20に記録されるプログラムに従って、各カメラ41c〜44cにより撮影された映像に基づいて、車両周囲の状況を示した俯瞰映像を生成して表示モニタ14に表示させるための処理を行う。
【0064】
図3は、ROM20に記録されるプログラムに従って、制御部18が俯瞰映像を生成し、表示モニタ14に表示させるための処理を実現するための各機能部などを示した概略的な機能ブロック図である。
【0065】
本実施の形態に係るカーナビゲーションシステム1は、図3に示すような機能部(機能ブロック)により構成される。カーナビゲーションシステム1は、各機能部として、俯瞰映像生成部(第1俯瞰映像生成手段)30と、俯瞰映像生成用テーブルデータ記録部31と、フレームバッファ部32と、駐車スペース抽出部33と、視点位置決定部(駐車目標位置検出手段、視点位置決定手段、回転量決定手段)34と、視点変換映像生成用テーブルデータ作成部(視点変換テーブル作成手段)35と、視点変換映像生成部(第2俯瞰映像生成手段)36とを有している。
【0066】
これらの機能部のうち、俯瞰映像生成部30、駐車スペース抽出部33、視点位置決定部34、視点変換映像生成用テーブルデータ作成部35、視点変換映像生成部36は、制御部18がROM20に記録されたプログラムを実行することにより、その機能部としての役割を行うことが可能となる。従って、俯瞰映像生成部30、駐車スペース抽出部33、視点位置決定部34、視点変換映像生成用テーブルデータ作成部35、視点変換映像生成部36は、実質的に制御部18における処理により実現されることになる。
【0067】
また、俯瞰映像生成用テーブルデータ記録部31およびフレームバッファ部32は、地図データ記録部16又はRAM19が該当することになる。
【0068】
まず、俯瞰映像生成部30は、4台のカメラ21(41c、42c、43c、44c)より撮影された映像に基づいて、俯瞰映像(第1俯瞰映像)の生成を行う(具体的には、俯瞰画像をリアルタイムに連続的に生成することにより俯瞰映像を生成する)役割を有している。具体的な俯瞰映像の生成方法については、既に説明した特許文献1(特開2001−339716号公報)や特許文献2(特開2007−183877号公報)などにおいて詳細に説明されているので、ここでの説明は省略する。
【0069】
なお、一般的に、複数のカメラを用いて俯瞰映像(俯瞰画像)を生成する場合には、各カメラの撮影範囲の境界部分において隣接する画像(映像)と不自然な境界部(つなぎ目)が表出されることが多い。このため、本実施の形態に係る俯瞰映像生成部30においては、境界部分の明るさや色合いの調整を行って違和感のない画像(映像)を境界部分に付加したり、あるいは隣接する境界部分にα(アルファ)ブレンド処理を施すことによって、境界部分に違和感が残らないような処理を施す。
【0070】
また、俯瞰映像生成部30は、俯瞰映像(俯瞰画像)を生成する場合に、はじめの処理として、車両を中心とした全体的な俯瞰映像(俯瞰画像:第1俯瞰映像)を作成し、その次の処理として、車両位置と駐車目標位置との中間地点が画面の真ん中になるような俯瞰映像(俯瞰画像)を生成する役割を有している。具体的に、視点変換映像生成部36が、視点位置決定部34により求められた視点位置に基づいて、該当する視点位置が映像(画像)の中心となるような俯瞰映像(俯瞰画像)を生成する。なお、駐車目標位置は、一般的に白線枠対などで仕切られた駐車スペースが該当する。
【0071】
俯瞰映像生成用テーブルデータ記録部31には、俯瞰映像生成部30において、視点位置決定部34により求められた視点位置が映像(画像)の中心部に位置するような俯瞰映像(俯瞰画像)を生成するための複数種類のテーブルデータが記録されている。このテーブルデータは、俯瞰映像生成部30が全体的な俯瞰映像(俯瞰画像)を生成した後に、全体的な俯瞰映像(俯瞰画像)の一部であって、視点位置が中心部に位置するような俯瞰映像(俯瞰画像)を生成するための画像変換用のテーブルデータである。このようなテーブルデータを用いることにより、高度な演算処理を必要とすることなく、視点位置を中心部とするような俯瞰映像(俯瞰画像)を容易に生成(画像変換)することが可能となり、また、後述する視点変換処理における処理負担の軽減を図ることが可能となる。
【0072】
本実施の形態に係る俯瞰映像生成用テーブルデータ記録部31では、図4に示すように、全体的な俯瞰映像(俯瞰画像)50に対して、左上部分の俯瞰映像(俯瞰画像)51を抽出するためのテーブルデータと、真ん中上部分の俯瞰映像(俯瞰画像)を抽出するためのテーブルデータと、右上部分の俯瞰映像(俯瞰画像)を抽出するためのテーブルデータと、右中部分の俯瞰映像(俯瞰画像)を抽出するためのテーブルデータと、右下部分の俯瞰映像(俯瞰画像)55を抽出するためのテーブルデータと、真ん中下部分の俯瞰映像(俯瞰画像)を抽出するためのテーブルデータと、左下部分の俯瞰映像(俯瞰画像)を抽出するためのテーブルデータと、左中部分の俯瞰映像(俯瞰画像)を抽出するためのテーブルデータと、中央部分の俯瞰映像(俯瞰画像)59を抽出するためのテーブルデータとが記録されている。
【0073】
俯瞰映像生成部30では、視点位置決定部34より取得した視点位置に基づいて俯瞰映像生成用テーブルデータ記録部31より最適なテーブルデータを抽出して、視点位置が中心部に位置するような俯瞰映像(俯瞰画像)を生成する。視点位置決定部34より取得される視点位置は、後述するように、車両40と駐車目標位置との中間などを中心として設定される。このため、駐車目標位置が全体的な俯瞰映像(俯瞰画像)50におけるどの場所に位置するかによって、選択されるテーブルデータが決定されることになる。
【0074】
なお、俯瞰映像生成用テーブルデータ記録部31として、上述した地図データ記録部16またはRAM19が該当することになる。このため、俯瞰映像生成用テーブルデータ記録部31は、一般的な補助記憶装置であればよく、ハードディスク、フラッシュメモリ、SSD(Solid State Drive)などを用いることが可能である。ただし、俯瞰映像生成部30における俯瞰変換処理において、テーブルデータの読出速度の遅れ(ボトルネック)により処理が滞ることがないように、読み出し速度の速い記録手段を用いることが望ましい。そのため、俯瞰映像生成用テーブルデータ記録部31には、不揮発性メモリ等を用いることもできるが、フラッシュメモリは所望の読み出し速度を得ることができないおそれもあるため、読み出し速度の速い揮発性メモリ(例えば、RAM19など)に予めテーブルデータを転送し、必要に応じて揮発性メモリからデータを読み出す方法を用いることが可能である。
【0075】
フレームバッファ部32には、俯瞰映像生成用テーブルデータ記録部31に記録されるテーブルデータに基づいて俯瞰映像生成部30によって生成された俯瞰画像(俯瞰映像)を一時的に記録するために用いられる。フレームバッファ部32に一時的に記録された俯瞰画像(俯瞰映像)は、次述する視点変換映像生成部36における視点変換の基になる画像として利用される。フレームバッファ部32も、上述した地図データ記録部16またはRAM19が該当することになるが、読み出し速度の速い記録手段を用いることが望ましい。
【0076】
駐車スペース抽出部33は、俯瞰映像生成部30により変換された俯瞰映像(俯瞰画像)に基づいて、駐車目標位置となる駐車スペースを画像解析により求める役割を有している。一般的に駐車目標位置は、白線(白色枠体)により車両の境界線が示されている。このため、アスファルトなどに駐車対象となる白色枠体が示されている場合には、俯瞰映像(俯瞰画像)における濃度解析や白線検出などにより、所定の範囲で自動的に駐車スペースを求めることが可能である。なお、路面が明るい色(例えば、白色系)で、駐車目標位置の境界も明るい色(例えば黄色など)の場合には、画像解析処理により、的確に駐車スペースを検出することが困難な場合も存在するが、駐車目標位置(駐車スペース)の決定は、後述するようにタッチパネル部15によるタッチパネル操作によって決定されるので、駐車目標位置の検出には問題が生じない。
【0077】
視点位置決定部34は、表示モニタ14に表示させる俯瞰映像(俯瞰画像)を生成するための視点位置を決定する役割を有している。基本的に、視点位置は、次の2点で決定される。まず第1に、車両40が駐車目標位置から離れている場合(第1の状況の場合)、例えば、車両40の一部が駐車スペースの範囲(白色枠体の中)に進入する前においては、図5(a)に示すように、車両位置の中心(P1点)と駐車目標位置の中心(駐車スペースの中心:P2点)との中間位置(P0点)を視点位置に決定する。また、第2として、車両40が駐車スペースの範囲(白色枠体の中)に進入した場合(第2の状況の場合)には、図5(b)に示すように、車両駐車位置の中心(P2点)を視点位置として決定する。
【0078】
さらに、視点位置決定部34は、俯瞰映像(俯瞰画像)の回転量を決定する役割を有している。具体的には、車両40が駐車目標位置から離れている場合(第1の状況の場合)には、駐車スペースの表示位置が車両位置よりも下側になるようにし、かつ駐車スペースにおける車両の進入方向側端部が画面の上側になるように、俯瞰映像(俯瞰画像)の回転量を決定する。
【0079】
一般的に、車両40を後退させて駐車スペースに駐車させることが多い。このため、図6(a)に示すように、車両40の駐車スペースが車両の後方右側にある場合であって、車両40の進入方向側端部61が駐車スペースの左側に位置する場合には、俯瞰映像(俯瞰画像)を90度右回転させて、図6(b)に示すように、車両40に対して駐車スペースが下側に位置し、さらに、車両40の進入方向側端部61が駐車スペースの上側に位置するように俯瞰映像(俯瞰画像)の上下左右方向の調整を行う。視点位置決定部34における回転量の決定は、視点位置を基準として回転させた場合に最適な回転量により決定される。
【0080】
また、視点位置決定部34には、駐車スペース抽出部33により検出された駐車目標位置の位置データ、タッチパネル部15より入力されたタッチ位置情報、現在位置検出部10により検出された車両状態情報が入力される。駐車スペース抽出部33より入力される駐車目標位置の位置データは、上述した画像解析に基づいて求められるデータである。タッチパネル部15より入力されたタッチ位置情報は、駐車処理を開始する際に、ユーザが表示モニタ14に表示される俯瞰映像の駐車目標位置(駐車スペース)をタッチ操作することにより検出される位置情報である。視点位置決定部34では、表示モニタ14に表示される俯瞰映像と、タッチパネル部15のタッチ検出部15aにおいて検出されたタッチ位置との関係に基づいて、俯瞰映像(俯瞰画像)における駐車目標位置の座標を求めることができる。
【0081】
さらに、現在位置検出部10により検出された車両状態情報は、振動ジャイロ10a、車速センサ10bおよびGPSセンサ10cにより検出される車両の進行方向、走行速度および車両のGPS上の位置などの情報が該当する。視点位置決定部34では、この現在位置検出部10による車両状態情報に基づいて、車両がどの方向を向いているのか、前進しているのか後退しているのかなどを把握することができ、車両の状態に応じてリアルタイムに最適な視点位置および俯瞰映像(俯瞰画像)の回転量を決定することが可能となる。
【0082】
なお、視点位置決定部34において検出されるタッチパネル部15のタッチ位置情報および、現在位置検出部10の車両状態情報は、視点位置決定部34から駐車スペース抽出部33へと出力させる構成とすることも可能である。駐車スペース抽出部33における駐車目標位置の検出処理において、単に画像解析結果だけを利用して駐車スペースを検出するのではなく、タッチ位置情報および車両状態情報を利用して駐車スペースの検出を行う構成とすることによって、駐車目標位置の検出精度を高めることが可能となる。
【0083】
視点位置決定部34により決定された視点位置情報は、俯瞰映像生成部30および視点変換映像生成用テーブルデータ作成部35に出力される。俯瞰映像生成部30においては、受信した視点位置情報に基づいて最適なテーブルデータを俯瞰映像生成用テーブルデータ記録部31より選択して、視点位置に適した俯瞰映像(俯瞰画像)を生成する処理を行う。
【0084】
視点変換映像生成用テーブルデータ作成部35は、視点位置決定部34により決定された視点位置および俯瞰映像(俯瞰画像)の回転量に基づいて、フレームバッファ部32に記録される俯瞰画像(俯瞰映像)の上下左右移動処理、回転処理および拡大縮小処理を行うためのテーブルデータを生成する役割を有している。
【0085】
フレームバッファ部32に記録される俯瞰画像(俯瞰映像)は、俯瞰映像生成用テーブルデータ記録部31より選択されたテーブルデータに基づいて、俯瞰映像生成部30で視点変換された俯瞰画像(俯瞰映像)であって、視点位置決定部34により求められた視点位置に対応する俯瞰画像(俯瞰映像)である。この俯瞰画像(俯瞰映像)は、予めテーブルデータに基づいて決められた大きさの俯瞰画像(俯瞰映像)であり、カメラ21により撮影されたカメラ映像により求められた車両前方が上側に規定された画像(映像)である。
【0086】
しかしながら、視点位置決定部34において決定されるのは視点位置だけでなく、俯瞰映像(俯瞰画像)の上下左右方向(回転量)なども決定されるため、フレームバッファ部32に記録される俯瞰画像(俯瞰映像)を、視点位置決定部34により求められた視点位置を中心とし、さらに駐車目標位置との関係により求められる俯瞰映像(俯瞰画像)の上下左右方向に対応するように、画像(映像)の視点変換をする必要がある。また、車両40が駐車スペースに近づいた場合には、表示モニタ14に表示される俯瞰映像を、車両40と駐車目標位置とが表示されるようにして拡大表示させる方が、車両40のユーザに有効な情報を提供することが可能となる。
【0087】
このため、視点変換映像生成用テーブルデータ作成部35は、視点位置決定部34より取得した視点位置情報、俯瞰映像(俯瞰画像)の回転量情報、車両位置および駐車目標位置情報に基づいて、フレームバッファ部32に記録される画像(映像)を、視点位置が俯瞰画像(俯瞰映像)の中心となり、駐車目標位置に対して車両40の進入方向側端部61が上側を示し、さらに俯瞰画像(俯瞰映像)に、車両40と駐車目標位置とが適切に表示させることができるような俯瞰画像(俯瞰映像)に変形させるためのテーブルデータを作成する。
【0088】
なお、視点変換映像生成用テーブルデータ作成部35により作成されたテーブルデータにより視点変換される俯瞰映像(俯瞰画像)は、フレームバッファ部32に記録される俯瞰画像(俯瞰映像)の拡大、縮小、上下左右移動および回転という基本的な変換方法により実現されるものである。このため、視点変換映像生成用テーブルデータ作成部35においてテーブルデータを作成する処理も、画像(映像)の拡大、縮小、上下左右移動、回転の変換要素に基づくものであり、視点位置決定部34からの情報に基づいて簡単に生成することが可能である。
【0089】
また、視点変換映像生成用テーブルデータ作成部35では、テーブルデータの作成を簡単に行うことができ、高い処理負担が必要とされることがない。このため、テーブルデータの作成処理を視点変換映像生成用テーブルデータ作成部35において行った場合であっても、カメラ21において撮影されたリアルタイムな映像に基づいて作成される俯瞰映像(俯瞰画像)を、迅速に視点変換処理することが可能となる。
【0090】
視点変換映像生成部36は、視点変換映像生成用テーブルデータ作成部35において作成された視点変換用のテーブルデータに基づいて、フレームバッファ部32に記録される俯瞰画像(俯瞰映像)を、視点位置決定部34において決定された視点位置が中心位置となり、さらに、駐車目標位置が表示モニタ14に表示される俯瞰画像(俯瞰映像)において下部に位置する最適な俯瞰映像(俯瞰画像:第2俯瞰映像)に変換する処理を行う。視点変換映像生成部36における俯瞰映像(俯瞰画像)の変換処理は、テーブルデータに基づく映像変換処理であるため、迅速かつ低処理負担で実現することが可能となる。
【0091】
次に、上述した機能部の機能をROM20に記録されたプログラムに基づいて実行される場合における、制御部18の処理内容について説明を行う。図7は、制御部18における俯瞰映像の生成処理を示したフローチャートである。
【0092】
制御部18は、まず、駐車操作が開始された旨の情報を取得したか否かの判断を行う(ステップS.1)。例えば、セレクトレバーがリバース(後退)操作位置にセットされたことを基準として、駐車操作が開始された旨の情報が取得されたと判断する構成としてもよく、また、表示モニタ14に駐車操作開始ボタンなどのアイコンを表示させ、ユーザがアイコンをタッチ操作したことを基準として、駐車操作が開始された旨の情報が取得されたと判断するようにしてもよい。
【0093】
駐車操作が開始された旨の情報が取得されなかった場合(ステップS.1においてNoの場合)、制御部18は、処理を終了する。なお、制御部18は処理を終了した後に繰り返し同じ処理を実行する構成としても良い。
【0094】
駐車操作が開始された旨の情報が取得された場合(ステップS.1においてYesの場合)、制御部18は、カメラ21により撮影された映像に基づいて俯瞰映像(俯瞰画像:第1俯瞰映像)を生成して、画像メモリ部13を介して表示モニタ14に俯瞰映像(俯瞰画像)を表示させる(ステップS.2)。この処理において、制御部18は、俯瞰映像生成部30として機能し、俯瞰映像(俯瞰画像)を生成する。このステップS.2において生成される俯瞰映像(俯瞰画像)は、車両が中心に位置する全体の俯瞰映像(俯瞰画像)であり、生成された俯瞰映像(俯瞰画像)は、フレームバッファ部32に記録された後に、視点変換映像生成部36において視点変換処理がされることなく、表示モニタ14に表示される。
【0095】
また、このステップS.2において生成される俯瞰映像(俯瞰画像)は、上述したように、4台のカメラ41c、42c、43c、44cにおいて撮影された映像による境界部分に対して、明るさや色合いの調整を行って違和感のない画像を付加したり、あるいは隣接する境界部分にα(アルファ)ブレンド処理を施すことによって、境界部分に違和感が残らないような処理を施した映像(画像)となっている。
【0096】
次に、制御部18は、タッチパネル部15より入力されたタッチ位置情報に基づいて、駐車目標位置に関する情報が取得されたか否かの判断を行う(ステップS.3)。駐車目標位置情報を取得しなかった場合(ステップS.3においてNoの場合)、制御部18は、カメラ21により撮影された映像に基づいて俯瞰映像(俯瞰画像:第1俯瞰映像)を生成して、フレームバッファ部32に記録させた後に、画像メモリ部13を介して表示モニタ14に俯瞰映像を表示させる処理(ステップS.2)を繰り返し実行する。
【0097】
一方で、駐車目標位置情報を取得した場合(ステップS.3においてYesの場合)、制御部18は、取得した駐車位置情報に加えて、俯瞰映像(俯瞰画像)に基づく画像処理に基づいて、4つのカメラにより生成された全体の俯瞰映像(俯瞰画像)における駐車目標位置を特定して、駐車目標位置を記憶する(ステップS.4)。以後、この駐車目標位置と車両位置(俯瞰映像(俯瞰画像)の中心位置)とに基づいて視点位置が決定される。この処理において、制御部18は、駐車スペース抽出部33として機能することになる。
【0098】
次に、制御部18は、ステップS.4において特定された駐車目標位置と、ステップS.2において生成された俯瞰映像(俯瞰画像)における車両位置(中心位置)とに基づいて、視点位置を決定する(ステップS.5)。この処理において、制御部18は、視点位置決定部34として機能することになる。
【0099】
視点位置の決定は、既に説明したように、車両40が駐車目標位置(駐車スペース)から離れている場合(第1の状況の場合)には、車両40と駐車目標位置との中間位置(図5(a)におけるP0点)が視点位置に決定される。また、車両40が駐車目標位置(駐車スペース)に進入した場合(第2の状況の場合)には、駐車目標位置(より詳細には、駐車スペースの中心位置、図5(b)におけるP2点)が視点位置に決定される。また、車両40が移動した場合、制御部18は、現在位置検出部10より取得される進行方向情報、GPS情報、車速情報などに基づいて、車両位置と駐車目標位置とを考慮した新たな視点位置を決定する。
【0100】
その後、制御部18は、ステップS.4において特定された駐車目標位置(駐車スペース)の白線部分(白色枠体)を俯瞰映像(俯瞰画像)の画像解析により求めて、車両に対して駐車目標位置が表示モニタ14における画面の下側に位置し、駐車スペースにおける車両の進入方向側端部61が上側を向く方向に俯瞰映像(俯瞰画像)の回転量を決定する(ステップS.6)。なお、車両が移動した場合、制御部18は、現在位置検出部10より取得される進行方向、GPS情報、車速情報などに基づいて、車両位置と駐車目標位置とを考慮して俯瞰映像(俯瞰画像)の回転量を決定する。この処理においても制御部18は、視点位置決定部34として機能することになる。
【0101】
そして、制御部18は、視点位置に基づいて、最適なテーブルデータを俯瞰映像生成用テーブルデータ記録部31より選択して、4台のカメラにより生成された全体の俯瞰映像(俯瞰画像)から、視点位置に最適な俯瞰映像(俯瞰画像)を生成する(ステップS.7)。生成された視点位置に最適な俯瞰映像(俯瞰画像)は、フレームバッファ部32(地図データ記録部16またはRAM19)に記録される。この処理により制御部18は、俯瞰映像生成部30として機能することになる。
【0102】
また、制御部18は、ステップS.4において特定された駐車目標位置と車両位置とに基づいて、視点変換処理における俯瞰映像(俯瞰画像)の変換範囲(拡大縮小範囲)を決定し、ステップS.5において決定された視点位置に基づいて視点変換処理により生成される俯瞰映像(俯瞰画像)の中心を決定して俯瞰映像(俯瞰画像)の上下左右移動距離を決定し、さらに、ステップS.6において決定された俯瞰映像(俯瞰画像)の回転量に基づいて、俯瞰映像(俯瞰画像)の回転方向および角度を決定し、視点変換テーブルデータの作成を行う(ステップS.8)。この処理において、制御部18は、視点変換映像生成用テーブルデータ作成部35として機能することになる。
【0103】
そして、制御部18は、作成された視点変換テーブルデータに基づいて、フレームバッファ部32に記録される俯瞰画像(俯瞰映像)の視点変換処理を行って、視点位置が俯瞰映像(俯瞰画像)の中心となり、車両40と駐車目標位置とが俯瞰映像(俯瞰画像)にバランスよく収まり、さらに、車両40の位置に対して駐車目標位置が下側に位置する俯瞰映像(俯瞰画像:第2俯瞰映像)を生成し、画像メモリ部13を介して表示モニタ14に表示させる(ステップS.9)。
【0104】
このようにして視点変換処理された俯瞰映像を表示モニタ14に表示させることにより、駐車操作を行うユーザに車両の周囲の状況を示した俯瞰映像を提供することが可能となる。特に、表示モニタ14に表示される俯瞰映像は、ステップS.2においてカメラによる境界部分に違和感が残らないような処理を施した俯瞰映像となっているため、境界部分の違和感のない俯瞰映像(俯瞰画像)に基づいて視点変換された俯瞰映像においても、境界部分に違和感のない俯瞰映像を生成することができ、違和感のない俯瞰映像を提供することが可能となる。
【0105】
その後、制御部18は、駐車操作が終了した旨の情報を取得したか否かの判断を行う(ステップS.10)。例えば、セレクトレバーがリバース(後退)操作位置からパーキング(停車)操作位置に変更されたことを基準として、駐車操作が終了された旨の情報が取得されたと判断する構成としてもよく、また、表示モニタ14に駐車操作終了ボタンなどのアイコンを表示させ、ユーザがアイコンをタッチ操作したことを基準として、駐車操作が終了された旨の情報が取得されたと判断するようにしてもよい。
【0106】
駐車操作が終了された旨の情報が取得されなかった場合(ステップS.10においてNoの場合)、制御部18は、4台のカメラのカメラ映像に基づいて全体の俯瞰映像(俯瞰画像)を生成し(ステップS.11)、処理をステップS.4に移行させて、上述した処理を繰り返し実行する。
【0107】
このように処理を繰り返し実行することにより、4台のカメラ21による全体の俯瞰映像(俯瞰画像)が生成され(ステップS.11)、視点位置が決定され(ステップS.5)、決定された視点位置に最適な俯瞰映像(俯瞰画像)が生成され(ステップS.7)、生成された俯瞰映像(俯瞰画像)に基づいて視点変換処理が行われた俯瞰映像が、表示モニタ14に出力される(ステップS.9)処理が繰り返し実行されて、車両周囲の俯瞰映像をリアルタイムに作成して表示させることが可能となる。
【0108】
特に、本実施の形態に係る制御部18では、視点変換処理(視点変換映像生成部36における処理)を視点変換テーブルデータ(視点変換映像生成用テーブルデータ作成部35で作成された視点変換テーブルデータ)に基づいて行っているため、視点変換処理における制御部18の処理負担を軽減させることができると共に、処理の迅速化を容易に実現することが可能となる。
【0109】
一方で、駐車操作が終了された旨の情報が取得された場合(ステップS.10においてYesの場合)、制御部18は、表示モニタ14に表示される画像をカーナビゲーションシステム1における経路案内表示などに変更して(ステップS.12)、処理を終了する。
【0110】
このように、本実施の形態に係るカーナビゲーションシステム1では、4台のカメラ映像に基づいてリアルタイムに生成される全体の俯瞰映像(俯瞰画像:第1俯瞰映像)を基本として、俯瞰映像生成用テーブルデータ記録部31に記録されるテーブルデータおよび視点変換映像生成用テーブルデータ作成部35において作成される視点変換テーブルデータに基づく映像変換によって、最適な俯瞰映像(第2俯瞰映像)を生成することができるため、現状の周囲の状況がリアルタイムに反映されて視点変換された俯瞰映像をユーザに提供することが可能となる。
【0111】
このため、例えば、車両の周囲に人が近づいてきた場合のように、車両周囲の状況が刻々と変化する場合であっても、その状況を反映させた周囲の俯瞰映像を提供することが可能となる。
【0112】
さらに、視点変換処理をテーブルデータに基づいて行っているため、映像変換処理(画像変換処理)における制御部18の処理負担を低減させることができるとともに、処理の迅速化を図ることが容易となる。
【0113】
また、4台のカメラ映像に基づいて生成される全体の俯瞰映像(俯瞰画像)において、カメラの境界部分における処理を施しておくことにより、その後にテーブルデータに基づいて視点変換などを行った場合であっても、境界部分に再度処理を施す必要がなくなる。このため、境界画像処理をさらに制御部18で行うことなく、境界部分に違和感のない俯瞰映像(俯瞰画像)を提供することが可能となる。
【0114】
以上、添付図面を参照しながら本発明の好適な実施形態について説明したが、本発明は上述した実施の形態に示す例に限定されるものではない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例または修正例に想到しうることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。
【0115】
たとえば、本実施の形態に係るカーナビゲーションシステム1では、視点変換映像生成用テーブルデータ作成部35において、視点変換映像生成部36において視点変換処理を行うための視点変換テーブルデータを作成する場合について説明を行った。実施の形態において説明したように、視点変換テーブルデータは、俯瞰映像(俯瞰画像)の上下左右移動および回転処理などを基本とする視点変換テーブルデータであるため、視点変換テーブルデータを視点変換映像生成用テーブルデータ作成部35(制御部18)で生成しても処理負担は軽いという特徴を有している。
【0116】
しかしながら、このように視点変換テーブルデータを作成するのではなく、予め多数の視点変換テーブルデータを用意して記録手段(視点変換テーブル記録手段、例えば、本実施の形態に係る地図データ記録部16やRAM19など)に記録させ、視点変換映像生成部36あるいは視点位置決定部34が、視点位置情報や、俯瞰映像(俯瞰画像)の回転量の情報等に基づいて最適な視点変換テーブルデータを選択して、視点変換映像生成部36でフレームバッファ部32に記録される俯瞰映像(俯瞰画像)の視点変換処理を行う構成であってもよい。
【0117】
また、本実施の形態に係るカーナビゲーションシステム1では、制御部18がプログラムに基づいて、俯瞰映像生成部30、駐車スペース抽出部33、視点位置決定部34、視点変換映像生成用テーブルデータ作成部35、視点変換映像生成部36の全ての機能部の役割を行う場合について説明をおこなったが、制御部18は、必ずしもカーナビゲーションシステム1に1つだけには限定されない。例えば、複数の制御部を設けてそれぞれの制御部が手分けしてそれぞれの機能部の役割を奏する構成とすることも可能である。さらに、各機能部に応じてそれぞれ制御部を設けて、個別にそれぞれの機能を各制御部が実行する構成であっても良い。
【0118】
さらに、本実施の形態に係るカーナビゲーションシステム1では、視点変換映像生成部36においてフレームバッファ部32に記録される俯瞰映像(俯瞰画像)が拡大・縮小される場合について説明を行ったが、俯瞰映像(俯瞰画像)は必ずしも拡大・縮小が必要とされるものには限定されない。俯瞰映像(俯瞰画像)の上下左右移動および回転処理だけを行うことにより、視点変換映像生成部36において視点変換処理が行われた俯瞰映像(俯瞰画像)を生成する構成であってもよい。
【0119】
また、本実施の形態に係るカーナビゲーションシステム1では、視点変換映像生成部36における視点変換処理において、駐車目標位置(駐車スペース)が車両40の下側に位置するように視点変換処理が行われる場合について説明を行ったが、駐車目標位置(駐車スペース)は必ずしも車両40の下側に位置する場合には限定されない。例えば、車両40を前進させて駐車目標位置(駐車スペース)に駐車させる場合には、車両40の上側に駐車目標位置(駐車スペース)が位置する方がユーザに違和感のない俯瞰映像を提供することができる。このため、例えば、タッチパネル操作により駐車目標位置(駐車スペース)をタッチすることを条件として、それ以降の俯瞰映像(俯瞰画像)の回転による視点変換処理を行わないようにすることも可能である。
【符号の説明】
【0120】
1 …カーナビゲーションシステム(駐車支援装置)
10 …現在位置検出部
10a …振動ジャイロ
10b …車速センサ
10c …GPSセンサ
11 …VICS情報受信部
12 …入力操作部
13 …画像メモリ部
14 …表示モニタ(表示手段)
15 …タッチパネル部(入力手段)
15a …タッチ検出部
15b …タッチコントロール部
16 …地図データ記録部(視点変換テーブル記録手段)
17 …スピーカ
18 …制御部(第1俯瞰映像生成手段、駐車目標位置検出手段、視点位置決定手段、回転量決定手段、視点変換テーブル作成手段、第2俯瞰映像生成手段)
19 …RAM(視点変換テーブル記録手段)
20 …ROM
21 …カメラ
30 …俯瞰映像生成部(第1俯瞰映像生成手段)
31 …俯瞰映像生成用テーブルデータ記録部
32 …フレームバッファ部
33 …駐車スペース抽出部
34 …視点位置決定部(駐車目標位置検出手段、視点位置決定手段、回転量決定手段)
35 …視点変換映像生成用テーブルデータ作成部(視点変換テーブル作成手段)
36 …視点変換映像生成部(第2俯瞰映像生成手段)
40 …車両
41a …(車両の)前部
41b …(車両の)前方範囲
41c …フロントカメラ
42a …(車両の)後部
42b …(車両の)後方範囲
42c …リアカメラ
43a …(車両の)左側部
43b …(車両の)左側範囲
43c …左サイドカメラ
44a …(車両の)右側部
44b …(車両の)右側範囲
44c …右サイドカメラ
50、51、55、59 …俯瞰画像
61 …進入方向側端部
P1 …車両位置の中心
P2 …駐車目標位置の中心
P0 …中間位置

【特許請求の範囲】
【請求項1】
車両に設置された複数のカメラにより撮影されたカメラ映像に基づいて、前記車両を中心として車両周囲の状況を前記車両の上方より仮想的に見下ろす第1俯瞰映像を生成する第1俯瞰映像生成手段と、
前記車両を駐車させるための駐車目標位置を前記第1俯瞰映像より検出する駐車目標位置検出手段と、
該駐車目標位置検出手段により検出された前記駐車目標位置と前記第1俯瞰映像における車両位置との位置関係に基づいて視点位置を決定する視点位置決定手段と、
前記駐車目標位置と前記第1俯瞰映像における車両位置との位置関係に基づいて、前記第1俯瞰映像における回転量を決定する回転量決定手段と、
前記第1俯瞰映像における中心位置を前記視点位置決定手段により決定された視点位置に移動させると共に、前記回転量決定手段により決定された回転量に基づいて前記視点位置を基準として前記第1俯瞰映像を回転させる視点変換テーブルを作成する視点変換テーブル作成手段と、
該視点変換テーブル作成手段により作成された視点変換テーブルに基づいて前記第1俯瞰映像を映像変換処理することにより、前記視点位置が俯瞰映像の中心位置となり、前記回転量決定手段により決定された回転量だけ回転された第2俯瞰映像を生成する第2俯瞰映像生成手段と
を有することを特徴とする駐車支援装置。
【請求項2】
車両に設置された複数のカメラにより撮影されたカメラ映像に基づいて、前記車両を中心として車両周囲の状況を前記車両の上方より仮想的に見下ろす第1俯瞰映像を生成する第1俯瞰映像生成手段と、
前記車両を駐車させるための駐車目標位置を前記第1俯瞰映像より検出する駐車目標位置検出手段と、
該駐車目標位置検出手段により検出された前記駐車目標位置と前記第1俯瞰映像における車両位置との位置関係に基づいて視点位置を決定する視点位置決定手段と、
前記駐車目標位置と前記第1俯瞰映像における車両位置との位置関係に基づいて、前記第1俯瞰映像における回転量を決定する回転量決定手段と、
前記第1俯瞰映像における中心位置を前記視点位置に基づいて移動させると共に、前記第1俯瞰映像を前記回転量に基づいて前記視点位置を基準として回転させるための複数の視点変換テーブルが記録される視点変換テーブル記録手段と、
該視点変換テーブル記録手段に記録される複数の前記視点変換テーブルより、前記視点位置決定手段により決定された視点位置に前記第1俯瞰映像における中心位置を移動させると共に、前記回転量決定手段により決定された前記回転量だけ前記第1俯瞰映像を回転させるための視点変換テーブルを抽出し、抽出された視点変換テーブルに基づいて前記第1俯瞰映像を映像変換処理することにより、第2俯瞰映像を生成する第2俯瞰映像生成手段と
を有することを特徴とする駐車支援装置。
【請求項3】
前記視点位置決定手段は、前記駐車目標位置と前記第1俯瞰映像における車両位置との中間位置を前記視点位置として決定すること
を特徴とする請求項1又は請求項2に記載の駐車支援装置。
【請求項4】
前記第1俯瞰映像を表示可能な表示手段と、
該表示手段に表示された前記第1俯瞰映像における前記駐車目標位置を、ユーザが特定するための入力手段とを有し、
前記駐車目標位置検出手段は、前記入力手段を介してユーザにより特定された前記駐車目標位置に基づいて、前記第1俯瞰映像における前記駐車目標位置の検出を行うこと
を特徴とする請求項1乃至請求項3のいずれか1項に記載の駐車支援装置。
【請求項5】
前記回転量決定手段は、前記車両位置に対して前記駐車目標位置が下側に位置する前記第1俯瞰映像の回転角度を前記回転量として決定すること
を特徴とする請求項1乃至請求項4のいずれか1項に記載の駐車支援装置。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate


【公開番号】特開2013−6548(P2013−6548A)
【公開日】平成25年1月10日(2013.1.10)
【国際特許分類】
【出願番号】特願2011−141442(P2011−141442)
【出願日】平成23年6月27日(2011.6.27)
【出願人】(000001487)クラリオン株式会社 (1,722)
【Fターム(参考)】