駐車補助のための画像表示方法
【課題】自動車の運転補助用画像表示方法を提供する。
【解決手段】−特定の要因(EV)に従って変化する、自動車の3Dモデルの3D視点(POV)を定める過程と、
−前記3D視点(POV)に従って捉えられる3D映像(SC)を形成する過程であって、
前記3D映像(SC)は、
−前記3D視点(POV)に従って形成される自動車の3Dモデル、および
−自動車(V)に搭載したビデオカメラ(CAM)によって撮影され、かつインストゥルメンタルパネルのスクリーンに、前記3D視点(POV)に従って表示されることによって運転者から透視される立体角(A)の仮想視野(SCRV)を含み、
−前記ビデオカメラ(CAM)によって撮影され、かつ前記仮想視野(SCRV)内に投影された自動車の外部環境を含む3D映像を表示する過程とを含んでいる。
【解決手段】−特定の要因(EV)に従って変化する、自動車の3Dモデルの3D視点(POV)を定める過程と、
−前記3D視点(POV)に従って捉えられる3D映像(SC)を形成する過程であって、
前記3D映像(SC)は、
−前記3D視点(POV)に従って形成される自動車の3Dモデル、および
−自動車(V)に搭載したビデオカメラ(CAM)によって撮影され、かつインストゥルメンタルパネルのスクリーンに、前記3D視点(POV)に従って表示されることによって運転者から透視される立体角(A)の仮想視野(SCRV)を含み、
−前記ビデオカメラ(CAM)によって撮影され、かつ前記仮想視野(SCRV)内に投影された自動車の外部環境を含む3D映像を表示する過程とを含んでいる。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、自動車の分野に係り、特に自動車の運転操作を補助する画像表示方法、およびこの方法を実行するための画像表示装置に関する。
【背景技術】
【0002】
自動車の運転操作を補助する画像表示方法として公知のものは、例えば運転者が駐車しようとしているときなど、低速で走行している間のみ表示が可能であった。この方法は、次のような過程からなっている。
−自動車のインストゥルメンタルパネルのスクリーンにおける第1の(左側の)部分に、180°のカメラアングルを有し、かつ現場を撮影しうる4台のビデオカメラによって得られたすべての平面画像(2次元画像)を、リアルタイムで同時に表示する第1の過程。これによって、自動車の刻々移り変わる環境を全方位的に捉え、平面画像として表示する。
−第1の過程における平面画像を表示しつつ、インストゥルメンタルパネルのスクリーンにおける第2の(右側の)部分に、前記リアルタイム表示前にビデオカメラに記録された所定の数の画像を、拡大尺度で表示する第2の過程。
【0003】
しかし、上記の方法には、次のような欠点がある。
−スクリーンの第2の部分に拡大表示される画像の数と配置は、予め決められている。
−全方位的な平面画像と、拡大表示される各画像の向きが喰い違ったりするため、例えば、駐車しようとする運転者は、周囲の環境を十分に把握ことができず、円滑に運転操作することができない。
【発明の概要】
【発明が解決しようとする課題】
【0004】
本発明は、上記事情に鑑みてなされたものであり、上述した公知の画像表示装置における欠点を解消し、駐車の際に運転操作を補助しうる画像表示方法を提供することを目的としている。
【課題を解決するための手段】
【0005】
上記の目的を達成するために、本発明の第1の様相によれば、
−特定の要因に従って変化する、自動車の3D視点を定める過程と、
−前記3D視点に従って捉えられる3D映像を形成する過程であって、
前記3D映像は、
−前記3D視点に従って形成される自動車の3Dモデル、および
−自動車に搭載したビデオカメラによって撮影される立体角の仮想視野を含むようになっており、
−前記ビデオカメラによって撮影され、かつ前記仮想視野内に投影された自動車の外部環境を含む3D映像を表示する過程とを含む自動車の運転操作補助用画像表示方法が提供される。
【0006】
以下で説明するように、仮想視野内に捕捉された自動車の周囲の環境を立体表示すること、および特定の要因(障害物の検知)にしたがって3D視点を決定することは、運転者に対して、最良の視点からリアルタイムで3D映像を提供し、運転者は、自動車の外部環境を容易に把握しうるようになることを意味する。
【0007】
また、本発明によれば、
−特定の要因に従って変化する、自動車の3Dモデルの3D視点を定める過程と、
−前記3D視点に従って捉えられる3D映像を形成する過程であって、
前記3D映像は、
−前記3D視点に従って形成される自動車の3Dモデル、および
−自動車に搭載したビデオカメラによって撮影され、かつインストゥルメンタルパネルのスクリーンに、前記3D視点に従って表示されることによって運転者から透視される立体角の仮想視野を含むようになっており、
−前記ビデオカメラによって撮影され、かつ前記仮想視野内に投影された自動車の外部環境を含む3D映像を表示する過程とを含む自動車の運転操作補助用画像表示方法が提供される。
【0008】
上記のように、自動車の外部環境の画像を、仮想視野内に投影することにより、所定の視点に従って、外部環境の中に自動車が映し出された3D映像が得られる。
【0009】
本発明の非限定的な例として、次の要因を含むことがある。
−ユーザの選択、
−自動車の周囲における設置物や人の検知、または
−自動車の走行態様に係るパラメータ。
【0010】
3D視点を変更する要因が、ユーザの選択である場合には、ユーザが、自身の運転操作にとって適当と思われる視点を選択する。
【0011】
一方、3D視点を変更する要因が、車速、進行方向(前進または後退)、または旋回角度である場合には、ユーザが関与しなくても、視点は自動的に決定される。
【0012】
前記3D映像は、前記自動車の3Dモデルと同一の参照フレーム上に設定される仮想視野を含んでいるのが好ましい。この仮想視野は、自動車に搭載されたビデオカメラによって撮影される外部環境を捉えるものである。
【0013】
前記3D映像は、前記自動車の3Dモデルとは異なる参照フレーム上に設定される仮想視野を含んでいるのが好ましい。この仮想視野によれば、公道上の狭隘箇所を自動車が通過しうるか否かを判断することができる。
【0014】
3D映像を表示する際、自動車の3Dモデルは、透明パラメータ(TRP)に従って表示されるようになっているのが好ましい。この透明パラメータを用いれば、自動車の3Dモデルによって遮られる仮想視野の一部を可視化することができる。
【0015】
前記3D映像の形成に用いられるビデオカメラの1つは、後方を広角で写すようになっているのが好ましい。このようなビデオカメラを用いれば、自動車のリアバンパが、自動車に接近する人と接触する否かを、予測することができる。
【0016】
本発明に係る画像表示方法は、前段階として、
−自動車の3Dモデルを形成する過程と、
−前記ビデオカメラによって捉えられる立体角の仮想視野を形成する過程とをさらに含んでいるのが好ましい。
【0017】
本発明の第2の様相によれば、
−コントロールユニットであって、
−要因の変化に従って、自動車の3Dモデルの3D視点を定める機能と、
−前記3D視点に従う3D映像であって、
−自動車の3Dモデル、および
−自動車に搭載されたビデオカメラによって写し出される立体角の仮想視野
を含む3D映像を、前記3D視点に従って形成する機能とを有するコントロールユニットと、
−前記ビデオカメラによって撮影され、前記仮想視野に投影された自動車の外部環境を含む3D映像を表示する表示ユニットとを備える、自動車の運転操作を補助するための画像表示装置が提供される。
【0018】
本発明の第3の様相によれば、データプロセシングユニットを介して、上記いずれかの運転補助用画像表示方法を実行しうる指示シーケンスを含むコンピュータプログラムが提供される。
【発明の効果】
【0019】
本発明の画像表示方法は、次の利点を有する。
−本発明によれば、3D視点を変更することによって、自動車の周囲の動的な表示を得ることができる。
−3D映像によって、自動車の周囲を現実に近い形で捉えることができる。
−最良の視点からビデオカメラを通して得られた情報を、運転者に常時提供する。
−ビデオカメラカメラに係る多数の変数、およびその組み合わせを介して得られる映像を同時に表示することができる。
−すでに表示済の映像の有益な情報表示箇所を縮小することなく、追加の映像を表示することにより、ユーザは、自動車の周囲の環境中における自身の位置を、即座に捉えることができる。
−自動車の各部に搭載された複数のビデオカメラのうちの1つまたは複数を選択することにより、運転者が運転操作中に捉えにくい一部の環境を、所定のアングルから捉えて、運転者に提供することができる。
−運転者が行おうとしている運転操作に適した映像を提供することができる。例えば、後退するときには、後部のビデオカメラで捉えて、再構成した映像を表示するのが有利である。他方、側方の歩行者や設置物が、後退や旋回のための運転操作にとって障害となる場合には、自動車の側方位を捉える視点に従って、側部のビデオカメラで写し出し、再構成した映像を表示するのが望ましい。
−スクリーンの第1の部分に、自動車とその近傍の全方位的な画像を長時間表示しなくてもよいため、スクリーンの第2の部分に表示される映像の解像度が損なわれるのを回避することができる。
【図面の簡単な説明】
【0020】
【図1】本発明の一実施形態に係る画像表示方法の流れ図である。
【図2】図1に示す方法の実施のためのビデオカメラを搭載している自動車の模式的な斜視図である。
【図3】図1に示す方法によって決定される自動車の3Dモデルを形成するための第1の3D視点を示す模式図である。
【図4】同じく、第2の3D視点を示す模式図である。
【図5】同じく、第3の3D視点を示す模式図である。
【図6】同じく、第4の3D視点を示す模式図である。
【図7】ビデオカメラによって捉えられ、かつ図1に示す方法に従って決定される、第1の立体角に係る仮想視野を示す模式図である。
【図8】同じく、第2の立体角に係る仮想視野を示す模式図である。
【図9】同じく、第3の立体角に係る仮想視野を示す模式図である。
【図10】図3に示す視点に対応する自動車の3Dモデルと、図7〜図9に示す仮想視野とを合わせて示す模式図である。
【図11】図4に示す視点に対応する自動車の3Dモデルと、図9に示す仮想視野とを合わせて示す模式図である。
【図12】図5に示す視点に対応する自動車の3Dモデルと、図9に示す仮想視野とを合わせて示す模式図である。
【図13】図6に示す視点に対応する自動車の3Dモデルと、図8および図9に示す仮想視野とを合わせて示す模式図である。
【図14】図10に示す自動車の3Dモデルと、仮想視野の3D映像とを合わせて示す模式図である。
【図15】図11に示す自動車の3Dモデルと、仮想視野の3D映像とを合わせて示す模式図である。
【図16】図12に示す自動車の3Dモデルと、仮想視野の3D映像とを合わせて示す模式図である。
【図17】図13に示す自動車の3Dモデルと、仮想視野の3D映像とを合わせて示す模式図である。
【図18】図7〜図9に示す視点を変更して得られる、自動車の3Dモデルと、仮想視野の3D映像を示す模式図である。
【図19】同じく、視点をさらに変更して得られる、3D映像を示す模式図である。
【図20】同じく、視点をさらに変更して得られる、3D映像を示す模式図である。
【図21】図1に示す方法を実行するための画像表示装置の構成を示すブロック図である。
【発明を実施するための形態】
【0021】
本発明の上記以外の特徴および効果は、以下の添付の画面を参照して行う実施形態の説明によって、明瞭に理解しうると思う。
【0022】
図1は、本発明に係る駐車補助のための画像表示方法を示す流れ図である。
【0023】
以下の説明は、駐車のための低速運転操作を補助するという設定の下に行う。しかし、この設定は、あくまでも例示的なものである。
【0024】
本明細書および特許請求の範囲において、「自動車」の語は、エンジンを有するあらゆる車両を意味する。
【0025】
図1に示す画像表示方法の過程は、次の如くである。
−過程DEF_POV(EV)(過程2):自動車Vの3Dモデルの視点POVを決定する(視点POVは、1回1回異なる)。
−過程DEF_SC(MV,SCRV(I))(過程3):過程2において決定された視点POVに基づいて、3D映像(3次元映像または立体映像ともいう)SCを形成する。
この3D映像SCは、次の特徴を有する。
−自動車の3Dモデル、および
−自動車Vに搭載されているビデオカメラCAMによって撮影される、立体角Aをもつ仮想視野SCRVの画像。
−過程DISP_SC(過程4):ビデオカメラによって捉えられた画像Iを、ダッシュボードのディスプレイ上に表示する。
【0026】
上記の方法は、ビデオカメラCAMによって、自動車Vの周囲の環境を撮影するという過程ACQ(I)(過程1)を含むことができる。
【0027】
過程1は、本発明の必須的構成要件ではないが、本発明に係る方法の前提となる過程であることに留意すべきである。
【0028】
以下で説明する方法には、過程1が含まれている。
【0029】
本発明に係る方法を実施する場合には、図2に示すように、自動車Vに、複数(5台)のビデオカメラCAMを搭載する。その内訳は、次の通りである。
−自動車の前部における2台のビデオカメラCAM1、CAM2、
−自動車の後部における1台のビデオカメラCAM3、
−自動車の側部における2台のビデオカメラCAM4、CAM5。
【0030】
以下に、本発明の各過程を詳細に説明する。
【0031】
過程ACQ(I)(過程1;図1参照)においては、各ビデオカメラによって、一連の画像SQを収集する。本実施形態に即して言うと、5台のビデオカメラによって、一連の画像SQを5組撮影する。自動車Vに搭載したビデオカメラCAMによる撮像技術は、当業者に知られているため、ここでは説明しない。
【0032】
過程DEF_POV(EV)(過程2;図1参照)においては、自動車Vの3D視点POVを決定する。3D視点POVは、次のような要因EVを考慮して決定するため、1回1回異なる。
【0033】
自動車の周囲の環境を撮像するに当たって考慮される要因EVとしては、次のようなものがある。
−障害物や人を検知するか否か、
−自動車の走行態様に係るパラメータ、および
−ユーザの選択。
【0034】
第1および第2の要因EVについては、これらがどのようなものであっても、3D視点POVは、自動的に決定される。すなわち、ユーザは、運転操作中に、3D視点を選択する必要はない。したがって、駐車のための運転操作が簡単になる。
【0035】
第3の要因EVについては、3D視点POVは、ユーザの選択によって決定される。すなわち、自動的には決定されない。このため、ユーザは、自身の運転操作、例えば駐車のための運転操作にとって、最も適当と思う3D視点を選択する。
【0036】
第1の要因EVの場合、3D視点POVは、自動車の外的環境に係るパラメータ、例えば、障害物や人が検知されるか否かによって決定される。すなわち、自動車の後方に、郵便ポスト等の移動しない障害物が検知された場合や、歩行者が検知された場合には、駐車に至るまでの運転操作を補助するため、3D視点POVは、自動的に決定される。したがって、3D視点POVは、自動車の後方を写し出すものとなる。また、自動車の側方を写し出すものとなる場合もある。
【0037】
自動車の周囲の障害物や人は、ビデオカメラや他の環境センサ(超音波センサ、レーダ等)から得られる画像を解析する画像処理アルゴリズム、またはこれらから得られるデータを統合するアルゴリズムによって検知される。障害物や人の検知技術は、当業者には公知であるため、ここでは触れない。
【0038】
一方、第2の要因EVの場合、3D視点POVは、ユーザが運転している自動車の走行態様に係るパラメータによって決定される。このようなパラメータとしては、次のものがある。
−車速、
−旋回角度、および
−進行(前進または後退)方向。
【0039】
第1のパラメータ(車速)について説明する。自動車が高速(例えば時速70km)で走行する際には、運転者は、例えば、次の2秒間(距離にして約40m先まで)に生ずる可能性のある事態を注視するため、運転者に有益な情報は、自動車から遠く離れた地点の状況である。したがって、3D視点は、自動車の前部に搭載したビデオカメラCAM1とCAM2によって撮影される画像を利用するよう、自動車の前方を捉えるものが選択される。
【0040】
一方、自動車が低速で走行する際には、運転者に有益な情報は、自動車の近傍(例えば両側)の状況である。したがって、自動車の前部に搭載したビデオカメラCAM1,CAM2、側部に搭載したビデオカメラCAM3,CAM4、および後部に搭載したビデオカメラCAM5で撮影した画像を利用するよう、3D視点POVは、自動車の周囲全体を見渡すことができるものが選択される。
【0041】
次に、第2のパラメータ(旋回角度)について説明する。駐車のために、右に旋回しつつ後退する場合には、運転者に有益な情報は、エアロパーツとしてのフロントウィングと同じ高さに位置する障害物や人についての情報である。したがって、3D視点POVとしては、自動車が旋回していく先の周囲を撮影する右側部に搭載したビデオカメラ4、および後部に搭載したビデオカメラ3で撮影した画像を利用して、自動車を前方かつ上方から捉えるようなものが選択される。
【0042】
最後に、第3のパラメータ(進行方向)について説明する。自動車が後退する場合には、3D視点POVは、自動車の後部に搭載したビデオカメラ3によって、自動車を前方かつ上方から見下ろすようなものが選択される。他方、自動車が前進する場合には、3D視点POVは、自動車の前部に搭載したビデオカメラによって、自動車を後方かつ上方から捉えるようなものが選択される。
【0043】
第1のパラメータと第2のパラメータは、併用することもできる。
【0044】
図3〜図6は、上記の各3D視点を示す模式図である。
【0045】
図3は、自動車Vを、所定の距離だけ離れた地点から斜め方向に捉える、自動車の3Dモデルの第1の視点POV1を示す。この3D視点POV1は、例えば、ユーザが駐車しようとしているときに、自動車の周囲の環境を全体的に捉え、かつ自動車に接近する歩行者を発見するためのものである。
【0046】
図4は、自動車Vを取り巻く水平な環境を捉える第2の視点POV2を示す。この3D視点POV2は、例えば、ユーザが駐車しようとして、すでに駐車エリアに入っているときに用いられる。
【0047】
図5は、自動車Vを、近接した地点から斜め方向に捉える第3の3D視点POV3を示す。この3D視点POV3も、例えば、ユーザが駐車しようとして、すでに駐車エリアに入っているときに用いられる。
【0048】
図6は、自動車Vを後方から捉える第4の3D視点POV4を示す。この3D視点POV4は、例えば、自動車が市街地を徐行しようとする際に用いられる。
【0049】
なお、図3〜図6に示す3D視点以外の3D視点を用いることもできる。
【0050】
上記のように、自動車の3Dモデルの3D視点POVを自動的に決定すると、運転操作中の運転者は、3D視点を自身で選ぶ手間(運転操作を複雑にする)を要することなく、運転補助のための最良の視点を得ることができる。
【0051】
本発明によると、自動車Vの運転者が、3D視点を自身で選択する第3のモードを提供することもできる。
【0052】
第3のモードの場合、ユーザは、複数の3D視点の一覧から、タッチパネルや選択ボタンを介して、3D視点POVを選択する。
【0053】
過程DEF_SC(MV,SCRV(I))(過程3;図1参照)においては、選択された3D視点POVから捉えた3D映像が形成される。この3D映像は、次のものを含んでいる。
−自動車の3Dモデル、および
−ビデオカメラによって捉えられる立体角Aの仮想視野SCRV。
【0054】
立体角は、ステラジアン単位で表される。本発明に係る方法は、前段階として、次の過程を含むことができる。
−自動車の3Dモデルを形成する過程、および
−ビデオカメラによって捉えられる立体角Aの仮想視野SCRVを形成する過程(図1に示す過程DEF_MV、DEF_SRCV(過程0))。
【0055】
上記の過程0は、本発明にとって必須の構成要件ではないことに留意すべきである。
【0056】
3台のビデオカメラCAM1〜CAM3を用いる場合には、各ビデオカメラに対応する3つの仮想視野SCRV1〜SCRV3が定められる。
【0057】
図7と図8は、それぞれ、CAM3、ならびにCAM1およびCAM2に対応する仮想視野を示す。これら3台のビデオカメラは、これらの等高面よりも上にある対象をも捉えることができる。
【0058】
これらの仮想視野に基づく3D映像は、乗車しているユーザが車内から見渡すことのできる眺めに対応する透視的なものである。
【0059】
図9に示すように、側部のビデオカメラCAM4とCAM5についても、注目すべきリアルタイム画像を得るため、仮想視野を区画するための3D視点の選択を行うことができる。透視的な眺めに変換することにより、リアルタイムで3D映像を得るための技術は、当業者に公知のものを用いることができる。図9に示す仮想視野によれば、地表にある障害物も捉えることができる。すなわち、自動車の周囲の俯瞰的な3D映像を得ることができる。
【0060】
図10〜図13は、それぞれ、図3〜図6に示す3D視点に対応して、ビデオカメラCAM1〜CAM5によって捉えられる仮想視野SCRV1〜SCRV5を示す。
【0061】
図11〜図13から分かるように、複数の3D視点POVによって捉えられる複数の仮想視野SCRVのうち、3D映像として現れないものもある。
【0062】
本発明の方法によれば、自動車の3Dモデルを含む、周囲の環境の映像が形成され、かつ映像が立体的であるため、ユーザは、自動車の周囲の環境を正確に捉えることができる。
【0063】
過程DISP_SC(過程4;図1参照)においては、ビデオカメラCAMによって捉えられた画像Iが、対応する仮想視野SCRV上に投影され、3D映像として表示される。
【0064】
ビデオカメラによって提供される画像は、所定の3D視点POVに従ってユーザから透視的に見えるように変形されつつ、図14〜図17に示すように、リアルタイムで、仮想視野SRCV(図3〜図6に示す3D視点によって捉えられ、それぞれ、図10〜図13に示すように区画される仮想視野)に統合される。
【0065】
3D視点に従って仮想視野SCRV内に投影された画像を含む3D映像を表示すると、ユーザは、駐車するときのように、細かな運転操作を要するときに、自分が乗っている自動車が、周囲の環境の中でどのように位置しているのかを把握することができる。
【0066】
3D映像の表示中、自動車が、仮想視野SCRVの一角を占めて視界を遮る場合には、自動車の3Dモデルは、関連する透明パラメータTRPに従って表示される。
【0067】
透明パラメータTRPは、自動車の3Dモデルの各画素におけるαチャンネルであり、マスクとして利用される。
【0068】
図1に示す過程1〜過程4は、必要なときに、リアルタイムで実行される。
【0069】
自動車Vが前進または後退したり、歩行者が接近したりするときには、3D視点POVは、運転操作を補助する上で最も適した視点を提供するよう変更される。
【0070】
すなわち、3D視点は、所定の要因が生じたときには変更され、3D映像は、変更後の視点に基づいて、リアルタイムで表示される。
【0071】
所定の要因が発生し、3D視点POVに変更が生じたときでも、例えば、駐車しようとする運転者を補助するために要求されるあらゆる情報の3D映像が、図18〜図20に示すように表示されているときには、3D映像は、複数の仮想視野SCRVの1つが全画面表示となるまで、途切れることなく表示される。
【0072】
自動車が後退する場合には、関連する仮想視野SCRVは、後部のビデオカメラCAM3によって自動車の後方を捉えるものとなる。一方、自動車が旋回する場合には、側部のビデオカメラCAM4またはCAM5によって捉えうる立体角に対応する仮想視野SCRVが映し出される。
【0073】
自動車の周囲を捉える仮想視野は、自動車の3Dモデルと同じ参照フレーム内に位置する。すなわち、自動車の3Dモデルが、3D映像内でリアルタイムで動くと、これに伴って仮想視野も動き、仮想視野SCRV1〜SCRV5は、自動車の3Dモデルと重なり合う。
【0074】
自動車の3Dモデルと重なり合う仮想視野は、自動車に搭載されているビデオカメラによって写し出される周囲の環境を捉えるものである。
【0075】
透明パラメータTPRを用いて自動車の3Dモデルをリアルタイム表示するに当たっては、この3Dモデルによって、周囲の環境の一部が、隠れたり、再び現れたりする。通常、仮想視野SCRV内の画像は、自動車の3Dモデルによって一部遮られている。
【0076】
上記の画像表示方法によれば、運転者は、自動車およびその周囲の環境を、最良の視点から、3D映像を介して、きわめて現実的に捉えることができる。
【0077】
本発明に係る自動車の運転操作補助のための画像表示方法は、図21に示す構成要素をもつ画像表示装置によって実行することができる。
【0078】
上記の画像表示装置は、自動車Vに搭載される。この画像表示装置の構成要素は、次の通りである。
−コントロールユニットUC、
このコントロールユニットUCは、次の機能を発揮する。
−要因EVに従って変更される自動車の3Dモデルの3D視点POVを定める。
−上記3D視点POVに従って3D映像を形成する。
この3D映像は、次の対象を含んでいる。
−自動車の3Dモデル、および
−自動車に搭載されたビデオカメラによって捉えられる立体角Aの仮想視野SCRV。
−上記自動車の3Dモデルが、仮想視野に投影された3D映像を表示する表示ユニットDISPLAY。
【0079】
さらに、画像表示装置は、自動車の3Dモデルを仮想視野SCRVに投影するための画像プロセシングユニットTRを備えることもできる。
【0080】
自動車Vの各部に搭載されている複数のビデオカメラCAMは、それぞれ、次のような特徴を有する。
−自動車側部の両フェンダーミラーに位置する2つのビデオカメラCAM4とCAM5は、広い撮影角度(水平面において約130°)を有し、これらのビデオカメラの光軸は、概ね垂直方向下向きである。また、これらのビデオカメラによって捉えられる仮想視野の長手方向は、自動車の側面が延びる方向と一致している(図9参照)。
−自動車の前部に搭載されている2つのビデオカメラCAM1とCAM2は、狭い撮影角度(水平面において約60°)、広い撮影角度(水平面において130°)または非常に広い撮影角度(水平面において170°)を有する。これらのビデオカメラは、バンパに取り付けられており、概ね前方、および前方斜め外側を捉える。これらのビデオカメラによって捉えられる仮想視野の長手方向は、概ね水平方向に延びている(図8参照)。
−自動車の後部(例えばトランク領域)に搭載されているビデオカメラCAM3は、広い撮影角度(水平面において130°)、または非常に広い撮影角度(水平面において170°)を有する。このビデオカメラは、リアバンパの中心部から、自動車の背後の環境を捉え、斜め後方を写し出す(図7参照)。また、このビデオカメラは、リアバンパが、例えば自動車の1〜2m先の地点まで接近している歩行者と接触しそうか否かを検知することができる。
【0081】
各ビデオカメラは、1秒間に30フレームの画像(例えばVGAタイプ、精細度は640×480である)を撮影することができ、このためにレンズ(図示せず)を装備している。
【0082】
ビデオカメラの数、設置個所、および撮影の方位は、上に説明したものには限らない。
【0083】
3D視点を決定するための要因が、ユーザの選択である場合、すでに説明したように、ユーザが所望の3D視点を選びうるよう、画像表示装置は、メニュー(一覧)を内蔵している。
【0084】
図21に示す態様においては、画像Iを収集するためのビデオカメラは、画像表示装置DISPの構成要素である。一方、画像プロセシングユニットTRは、コントロールユニットUCの構成要素となっているが、ビデオカメラに内蔵することもできる。
【0085】
上記の画像表示方法は、プログラムが内蔵されたマイクロデバイス、ワイヤドロジック、またはハードウエア部品によって実行される。
【0086】
画像表示装置DISPは、データプロセシングユニット(例えばマイクロプロセッサ)、マイクロコントローラのプロセッシングユニット、ASIC(特定用途向け集積回路)、コンピュータ等によって実行される1つまたは複数の指示シーケンスを含むコンピュータプログラムPGを内蔵することもできる。これらの指示シーケンスを実行すると、上記の画像表示方法が行われる。
【0087】
コンピュータプログラムPGは、1回だけ記録可能で、非揮発性のROM型メモリ、または再記録可能で、非揮発性のEEPROMもしくはFLASHメモリに格納される。このコンピュータプログラムPGは、画像表示装置の製造現場で、もしくは出荷後に、または画像表示装置の使用現場で電気通信回線を通じて、メモリに格納される。上記の指示シーケンスは、機械語、または実行時にプロセシングユニットによって変換されるアセンブリ言語で記述される。
【0088】
図21に示すように、コンピュータプログラムPGは、画像表示装置DISPのコントロールユニットUC内のメモリに格納される。
【0089】
本発明の技術的範囲は、上記の実施形態には限定されないことに留意すべきである。
【0090】
仮想視野SCRV6は、3D映像用の仮想視野とは別個の参照フレーム内に設定される。仮想視野SCRV6は、上に説明した仮想視野(リアルタイムでの表示中に変化する)とは違って静的なものである。静的な仮想視野SCRV6は、自動車の3Dモデルがこの仮想視野SCRV6に向かって移動し、この仮想視野SCRV6内に収まるよう、3D映像内で動かない。この静的な仮想視野SCRV6は、オンデマンド式に表示される。
【0091】
上記の静的な仮想視野を用いれば、自動車が、公道G上の狭隘な箇所を通過する際に、この狭隘な箇所を静的な仮想視野として表示することにより、運転操作を容易にすることができる。狭隘な箇所とは、トンネル、橋の下の通路、駐車場等における狭い部分をいう。その外、公道上で幅員が小さくなっている箇所や、車高制限、車幅制限のある箇所等も含まれる。
【0092】
したがって、画像プロセシングユニットTRは、静的な仮想視野SCRV6上に公道Gにおける狭隘な箇所を投影し、運転者に認識させるとともに、この狭隘な箇所の大きさを、静的な仮想視野SCRV6上に映し出される自動車の3Dモデルと対比することを可能にする。
【0093】
本発明は、上記の用途以外の用途にも適用することができる。
【符号の説明】
【0094】
CAM1〜CAM5 ビデオカメラ
POV1〜POV5 3D視点
SCRV1〜SCRV5 仮想視野
V 自動車
UC コントロールユニット
TR 透明パラメータ
PG コンピュータプログラム
DISP 表示ユニット
【技術分野】
【0001】
本発明は、自動車の分野に係り、特に自動車の運転操作を補助する画像表示方法、およびこの方法を実行するための画像表示装置に関する。
【背景技術】
【0002】
自動車の運転操作を補助する画像表示方法として公知のものは、例えば運転者が駐車しようとしているときなど、低速で走行している間のみ表示が可能であった。この方法は、次のような過程からなっている。
−自動車のインストゥルメンタルパネルのスクリーンにおける第1の(左側の)部分に、180°のカメラアングルを有し、かつ現場を撮影しうる4台のビデオカメラによって得られたすべての平面画像(2次元画像)を、リアルタイムで同時に表示する第1の過程。これによって、自動車の刻々移り変わる環境を全方位的に捉え、平面画像として表示する。
−第1の過程における平面画像を表示しつつ、インストゥルメンタルパネルのスクリーンにおける第2の(右側の)部分に、前記リアルタイム表示前にビデオカメラに記録された所定の数の画像を、拡大尺度で表示する第2の過程。
【0003】
しかし、上記の方法には、次のような欠点がある。
−スクリーンの第2の部分に拡大表示される画像の数と配置は、予め決められている。
−全方位的な平面画像と、拡大表示される各画像の向きが喰い違ったりするため、例えば、駐車しようとする運転者は、周囲の環境を十分に把握ことができず、円滑に運転操作することができない。
【発明の概要】
【発明が解決しようとする課題】
【0004】
本発明は、上記事情に鑑みてなされたものであり、上述した公知の画像表示装置における欠点を解消し、駐車の際に運転操作を補助しうる画像表示方法を提供することを目的としている。
【課題を解決するための手段】
【0005】
上記の目的を達成するために、本発明の第1の様相によれば、
−特定の要因に従って変化する、自動車の3D視点を定める過程と、
−前記3D視点に従って捉えられる3D映像を形成する過程であって、
前記3D映像は、
−前記3D視点に従って形成される自動車の3Dモデル、および
−自動車に搭載したビデオカメラによって撮影される立体角の仮想視野を含むようになっており、
−前記ビデオカメラによって撮影され、かつ前記仮想視野内に投影された自動車の外部環境を含む3D映像を表示する過程とを含む自動車の運転操作補助用画像表示方法が提供される。
【0006】
以下で説明するように、仮想視野内に捕捉された自動車の周囲の環境を立体表示すること、および特定の要因(障害物の検知)にしたがって3D視点を決定することは、運転者に対して、最良の視点からリアルタイムで3D映像を提供し、運転者は、自動車の外部環境を容易に把握しうるようになることを意味する。
【0007】
また、本発明によれば、
−特定の要因に従って変化する、自動車の3Dモデルの3D視点を定める過程と、
−前記3D視点に従って捉えられる3D映像を形成する過程であって、
前記3D映像は、
−前記3D視点に従って形成される自動車の3Dモデル、および
−自動車に搭載したビデオカメラによって撮影され、かつインストゥルメンタルパネルのスクリーンに、前記3D視点に従って表示されることによって運転者から透視される立体角の仮想視野を含むようになっており、
−前記ビデオカメラによって撮影され、かつ前記仮想視野内に投影された自動車の外部環境を含む3D映像を表示する過程とを含む自動車の運転操作補助用画像表示方法が提供される。
【0008】
上記のように、自動車の外部環境の画像を、仮想視野内に投影することにより、所定の視点に従って、外部環境の中に自動車が映し出された3D映像が得られる。
【0009】
本発明の非限定的な例として、次の要因を含むことがある。
−ユーザの選択、
−自動車の周囲における設置物や人の検知、または
−自動車の走行態様に係るパラメータ。
【0010】
3D視点を変更する要因が、ユーザの選択である場合には、ユーザが、自身の運転操作にとって適当と思われる視点を選択する。
【0011】
一方、3D視点を変更する要因が、車速、進行方向(前進または後退)、または旋回角度である場合には、ユーザが関与しなくても、視点は自動的に決定される。
【0012】
前記3D映像は、前記自動車の3Dモデルと同一の参照フレーム上に設定される仮想視野を含んでいるのが好ましい。この仮想視野は、自動車に搭載されたビデオカメラによって撮影される外部環境を捉えるものである。
【0013】
前記3D映像は、前記自動車の3Dモデルとは異なる参照フレーム上に設定される仮想視野を含んでいるのが好ましい。この仮想視野によれば、公道上の狭隘箇所を自動車が通過しうるか否かを判断することができる。
【0014】
3D映像を表示する際、自動車の3Dモデルは、透明パラメータ(TRP)に従って表示されるようになっているのが好ましい。この透明パラメータを用いれば、自動車の3Dモデルによって遮られる仮想視野の一部を可視化することができる。
【0015】
前記3D映像の形成に用いられるビデオカメラの1つは、後方を広角で写すようになっているのが好ましい。このようなビデオカメラを用いれば、自動車のリアバンパが、自動車に接近する人と接触する否かを、予測することができる。
【0016】
本発明に係る画像表示方法は、前段階として、
−自動車の3Dモデルを形成する過程と、
−前記ビデオカメラによって捉えられる立体角の仮想視野を形成する過程とをさらに含んでいるのが好ましい。
【0017】
本発明の第2の様相によれば、
−コントロールユニットであって、
−要因の変化に従って、自動車の3Dモデルの3D視点を定める機能と、
−前記3D視点に従う3D映像であって、
−自動車の3Dモデル、および
−自動車に搭載されたビデオカメラによって写し出される立体角の仮想視野
を含む3D映像を、前記3D視点に従って形成する機能とを有するコントロールユニットと、
−前記ビデオカメラによって撮影され、前記仮想視野に投影された自動車の外部環境を含む3D映像を表示する表示ユニットとを備える、自動車の運転操作を補助するための画像表示装置が提供される。
【0018】
本発明の第3の様相によれば、データプロセシングユニットを介して、上記いずれかの運転補助用画像表示方法を実行しうる指示シーケンスを含むコンピュータプログラムが提供される。
【発明の効果】
【0019】
本発明の画像表示方法は、次の利点を有する。
−本発明によれば、3D視点を変更することによって、自動車の周囲の動的な表示を得ることができる。
−3D映像によって、自動車の周囲を現実に近い形で捉えることができる。
−最良の視点からビデオカメラを通して得られた情報を、運転者に常時提供する。
−ビデオカメラカメラに係る多数の変数、およびその組み合わせを介して得られる映像を同時に表示することができる。
−すでに表示済の映像の有益な情報表示箇所を縮小することなく、追加の映像を表示することにより、ユーザは、自動車の周囲の環境中における自身の位置を、即座に捉えることができる。
−自動車の各部に搭載された複数のビデオカメラのうちの1つまたは複数を選択することにより、運転者が運転操作中に捉えにくい一部の環境を、所定のアングルから捉えて、運転者に提供することができる。
−運転者が行おうとしている運転操作に適した映像を提供することができる。例えば、後退するときには、後部のビデオカメラで捉えて、再構成した映像を表示するのが有利である。他方、側方の歩行者や設置物が、後退や旋回のための運転操作にとって障害となる場合には、自動車の側方位を捉える視点に従って、側部のビデオカメラで写し出し、再構成した映像を表示するのが望ましい。
−スクリーンの第1の部分に、自動車とその近傍の全方位的な画像を長時間表示しなくてもよいため、スクリーンの第2の部分に表示される映像の解像度が損なわれるのを回避することができる。
【図面の簡単な説明】
【0020】
【図1】本発明の一実施形態に係る画像表示方法の流れ図である。
【図2】図1に示す方法の実施のためのビデオカメラを搭載している自動車の模式的な斜視図である。
【図3】図1に示す方法によって決定される自動車の3Dモデルを形成するための第1の3D視点を示す模式図である。
【図4】同じく、第2の3D視点を示す模式図である。
【図5】同じく、第3の3D視点を示す模式図である。
【図6】同じく、第4の3D視点を示す模式図である。
【図7】ビデオカメラによって捉えられ、かつ図1に示す方法に従って決定される、第1の立体角に係る仮想視野を示す模式図である。
【図8】同じく、第2の立体角に係る仮想視野を示す模式図である。
【図9】同じく、第3の立体角に係る仮想視野を示す模式図である。
【図10】図3に示す視点に対応する自動車の3Dモデルと、図7〜図9に示す仮想視野とを合わせて示す模式図である。
【図11】図4に示す視点に対応する自動車の3Dモデルと、図9に示す仮想視野とを合わせて示す模式図である。
【図12】図5に示す視点に対応する自動車の3Dモデルと、図9に示す仮想視野とを合わせて示す模式図である。
【図13】図6に示す視点に対応する自動車の3Dモデルと、図8および図9に示す仮想視野とを合わせて示す模式図である。
【図14】図10に示す自動車の3Dモデルと、仮想視野の3D映像とを合わせて示す模式図である。
【図15】図11に示す自動車の3Dモデルと、仮想視野の3D映像とを合わせて示す模式図である。
【図16】図12に示す自動車の3Dモデルと、仮想視野の3D映像とを合わせて示す模式図である。
【図17】図13に示す自動車の3Dモデルと、仮想視野の3D映像とを合わせて示す模式図である。
【図18】図7〜図9に示す視点を変更して得られる、自動車の3Dモデルと、仮想視野の3D映像を示す模式図である。
【図19】同じく、視点をさらに変更して得られる、3D映像を示す模式図である。
【図20】同じく、視点をさらに変更して得られる、3D映像を示す模式図である。
【図21】図1に示す方法を実行するための画像表示装置の構成を示すブロック図である。
【発明を実施するための形態】
【0021】
本発明の上記以外の特徴および効果は、以下の添付の画面を参照して行う実施形態の説明によって、明瞭に理解しうると思う。
【0022】
図1は、本発明に係る駐車補助のための画像表示方法を示す流れ図である。
【0023】
以下の説明は、駐車のための低速運転操作を補助するという設定の下に行う。しかし、この設定は、あくまでも例示的なものである。
【0024】
本明細書および特許請求の範囲において、「自動車」の語は、エンジンを有するあらゆる車両を意味する。
【0025】
図1に示す画像表示方法の過程は、次の如くである。
−過程DEF_POV(EV)(過程2):自動車Vの3Dモデルの視点POVを決定する(視点POVは、1回1回異なる)。
−過程DEF_SC(MV,SCRV(I))(過程3):過程2において決定された視点POVに基づいて、3D映像(3次元映像または立体映像ともいう)SCを形成する。
この3D映像SCは、次の特徴を有する。
−自動車の3Dモデル、および
−自動車Vに搭載されているビデオカメラCAMによって撮影される、立体角Aをもつ仮想視野SCRVの画像。
−過程DISP_SC(過程4):ビデオカメラによって捉えられた画像Iを、ダッシュボードのディスプレイ上に表示する。
【0026】
上記の方法は、ビデオカメラCAMによって、自動車Vの周囲の環境を撮影するという過程ACQ(I)(過程1)を含むことができる。
【0027】
過程1は、本発明の必須的構成要件ではないが、本発明に係る方法の前提となる過程であることに留意すべきである。
【0028】
以下で説明する方法には、過程1が含まれている。
【0029】
本発明に係る方法を実施する場合には、図2に示すように、自動車Vに、複数(5台)のビデオカメラCAMを搭載する。その内訳は、次の通りである。
−自動車の前部における2台のビデオカメラCAM1、CAM2、
−自動車の後部における1台のビデオカメラCAM3、
−自動車の側部における2台のビデオカメラCAM4、CAM5。
【0030】
以下に、本発明の各過程を詳細に説明する。
【0031】
過程ACQ(I)(過程1;図1参照)においては、各ビデオカメラによって、一連の画像SQを収集する。本実施形態に即して言うと、5台のビデオカメラによって、一連の画像SQを5組撮影する。自動車Vに搭載したビデオカメラCAMによる撮像技術は、当業者に知られているため、ここでは説明しない。
【0032】
過程DEF_POV(EV)(過程2;図1参照)においては、自動車Vの3D視点POVを決定する。3D視点POVは、次のような要因EVを考慮して決定するため、1回1回異なる。
【0033】
自動車の周囲の環境を撮像するに当たって考慮される要因EVとしては、次のようなものがある。
−障害物や人を検知するか否か、
−自動車の走行態様に係るパラメータ、および
−ユーザの選択。
【0034】
第1および第2の要因EVについては、これらがどのようなものであっても、3D視点POVは、自動的に決定される。すなわち、ユーザは、運転操作中に、3D視点を選択する必要はない。したがって、駐車のための運転操作が簡単になる。
【0035】
第3の要因EVについては、3D視点POVは、ユーザの選択によって決定される。すなわち、自動的には決定されない。このため、ユーザは、自身の運転操作、例えば駐車のための運転操作にとって、最も適当と思う3D視点を選択する。
【0036】
第1の要因EVの場合、3D視点POVは、自動車の外的環境に係るパラメータ、例えば、障害物や人が検知されるか否かによって決定される。すなわち、自動車の後方に、郵便ポスト等の移動しない障害物が検知された場合や、歩行者が検知された場合には、駐車に至るまでの運転操作を補助するため、3D視点POVは、自動的に決定される。したがって、3D視点POVは、自動車の後方を写し出すものとなる。また、自動車の側方を写し出すものとなる場合もある。
【0037】
自動車の周囲の障害物や人は、ビデオカメラや他の環境センサ(超音波センサ、レーダ等)から得られる画像を解析する画像処理アルゴリズム、またはこれらから得られるデータを統合するアルゴリズムによって検知される。障害物や人の検知技術は、当業者には公知であるため、ここでは触れない。
【0038】
一方、第2の要因EVの場合、3D視点POVは、ユーザが運転している自動車の走行態様に係るパラメータによって決定される。このようなパラメータとしては、次のものがある。
−車速、
−旋回角度、および
−進行(前進または後退)方向。
【0039】
第1のパラメータ(車速)について説明する。自動車が高速(例えば時速70km)で走行する際には、運転者は、例えば、次の2秒間(距離にして約40m先まで)に生ずる可能性のある事態を注視するため、運転者に有益な情報は、自動車から遠く離れた地点の状況である。したがって、3D視点は、自動車の前部に搭載したビデオカメラCAM1とCAM2によって撮影される画像を利用するよう、自動車の前方を捉えるものが選択される。
【0040】
一方、自動車が低速で走行する際には、運転者に有益な情報は、自動車の近傍(例えば両側)の状況である。したがって、自動車の前部に搭載したビデオカメラCAM1,CAM2、側部に搭載したビデオカメラCAM3,CAM4、および後部に搭載したビデオカメラCAM5で撮影した画像を利用するよう、3D視点POVは、自動車の周囲全体を見渡すことができるものが選択される。
【0041】
次に、第2のパラメータ(旋回角度)について説明する。駐車のために、右に旋回しつつ後退する場合には、運転者に有益な情報は、エアロパーツとしてのフロントウィングと同じ高さに位置する障害物や人についての情報である。したがって、3D視点POVとしては、自動車が旋回していく先の周囲を撮影する右側部に搭載したビデオカメラ4、および後部に搭載したビデオカメラ3で撮影した画像を利用して、自動車を前方かつ上方から捉えるようなものが選択される。
【0042】
最後に、第3のパラメータ(進行方向)について説明する。自動車が後退する場合には、3D視点POVは、自動車の後部に搭載したビデオカメラ3によって、自動車を前方かつ上方から見下ろすようなものが選択される。他方、自動車が前進する場合には、3D視点POVは、自動車の前部に搭載したビデオカメラによって、自動車を後方かつ上方から捉えるようなものが選択される。
【0043】
第1のパラメータと第2のパラメータは、併用することもできる。
【0044】
図3〜図6は、上記の各3D視点を示す模式図である。
【0045】
図3は、自動車Vを、所定の距離だけ離れた地点から斜め方向に捉える、自動車の3Dモデルの第1の視点POV1を示す。この3D視点POV1は、例えば、ユーザが駐車しようとしているときに、自動車の周囲の環境を全体的に捉え、かつ自動車に接近する歩行者を発見するためのものである。
【0046】
図4は、自動車Vを取り巻く水平な環境を捉える第2の視点POV2を示す。この3D視点POV2は、例えば、ユーザが駐車しようとして、すでに駐車エリアに入っているときに用いられる。
【0047】
図5は、自動車Vを、近接した地点から斜め方向に捉える第3の3D視点POV3を示す。この3D視点POV3も、例えば、ユーザが駐車しようとして、すでに駐車エリアに入っているときに用いられる。
【0048】
図6は、自動車Vを後方から捉える第4の3D視点POV4を示す。この3D視点POV4は、例えば、自動車が市街地を徐行しようとする際に用いられる。
【0049】
なお、図3〜図6に示す3D視点以外の3D視点を用いることもできる。
【0050】
上記のように、自動車の3Dモデルの3D視点POVを自動的に決定すると、運転操作中の運転者は、3D視点を自身で選ぶ手間(運転操作を複雑にする)を要することなく、運転補助のための最良の視点を得ることができる。
【0051】
本発明によると、自動車Vの運転者が、3D視点を自身で選択する第3のモードを提供することもできる。
【0052】
第3のモードの場合、ユーザは、複数の3D視点の一覧から、タッチパネルや選択ボタンを介して、3D視点POVを選択する。
【0053】
過程DEF_SC(MV,SCRV(I))(過程3;図1参照)においては、選択された3D視点POVから捉えた3D映像が形成される。この3D映像は、次のものを含んでいる。
−自動車の3Dモデル、および
−ビデオカメラによって捉えられる立体角Aの仮想視野SCRV。
【0054】
立体角は、ステラジアン単位で表される。本発明に係る方法は、前段階として、次の過程を含むことができる。
−自動車の3Dモデルを形成する過程、および
−ビデオカメラによって捉えられる立体角Aの仮想視野SCRVを形成する過程(図1に示す過程DEF_MV、DEF_SRCV(過程0))。
【0055】
上記の過程0は、本発明にとって必須の構成要件ではないことに留意すべきである。
【0056】
3台のビデオカメラCAM1〜CAM3を用いる場合には、各ビデオカメラに対応する3つの仮想視野SCRV1〜SCRV3が定められる。
【0057】
図7と図8は、それぞれ、CAM3、ならびにCAM1およびCAM2に対応する仮想視野を示す。これら3台のビデオカメラは、これらの等高面よりも上にある対象をも捉えることができる。
【0058】
これらの仮想視野に基づく3D映像は、乗車しているユーザが車内から見渡すことのできる眺めに対応する透視的なものである。
【0059】
図9に示すように、側部のビデオカメラCAM4とCAM5についても、注目すべきリアルタイム画像を得るため、仮想視野を区画するための3D視点の選択を行うことができる。透視的な眺めに変換することにより、リアルタイムで3D映像を得るための技術は、当業者に公知のものを用いることができる。図9に示す仮想視野によれば、地表にある障害物も捉えることができる。すなわち、自動車の周囲の俯瞰的な3D映像を得ることができる。
【0060】
図10〜図13は、それぞれ、図3〜図6に示す3D視点に対応して、ビデオカメラCAM1〜CAM5によって捉えられる仮想視野SCRV1〜SCRV5を示す。
【0061】
図11〜図13から分かるように、複数の3D視点POVによって捉えられる複数の仮想視野SCRVのうち、3D映像として現れないものもある。
【0062】
本発明の方法によれば、自動車の3Dモデルを含む、周囲の環境の映像が形成され、かつ映像が立体的であるため、ユーザは、自動車の周囲の環境を正確に捉えることができる。
【0063】
過程DISP_SC(過程4;図1参照)においては、ビデオカメラCAMによって捉えられた画像Iが、対応する仮想視野SCRV上に投影され、3D映像として表示される。
【0064】
ビデオカメラによって提供される画像は、所定の3D視点POVに従ってユーザから透視的に見えるように変形されつつ、図14〜図17に示すように、リアルタイムで、仮想視野SRCV(図3〜図6に示す3D視点によって捉えられ、それぞれ、図10〜図13に示すように区画される仮想視野)に統合される。
【0065】
3D視点に従って仮想視野SCRV内に投影された画像を含む3D映像を表示すると、ユーザは、駐車するときのように、細かな運転操作を要するときに、自分が乗っている自動車が、周囲の環境の中でどのように位置しているのかを把握することができる。
【0066】
3D映像の表示中、自動車が、仮想視野SCRVの一角を占めて視界を遮る場合には、自動車の3Dモデルは、関連する透明パラメータTRPに従って表示される。
【0067】
透明パラメータTRPは、自動車の3Dモデルの各画素におけるαチャンネルであり、マスクとして利用される。
【0068】
図1に示す過程1〜過程4は、必要なときに、リアルタイムで実行される。
【0069】
自動車Vが前進または後退したり、歩行者が接近したりするときには、3D視点POVは、運転操作を補助する上で最も適した視点を提供するよう変更される。
【0070】
すなわち、3D視点は、所定の要因が生じたときには変更され、3D映像は、変更後の視点に基づいて、リアルタイムで表示される。
【0071】
所定の要因が発生し、3D視点POVに変更が生じたときでも、例えば、駐車しようとする運転者を補助するために要求されるあらゆる情報の3D映像が、図18〜図20に示すように表示されているときには、3D映像は、複数の仮想視野SCRVの1つが全画面表示となるまで、途切れることなく表示される。
【0072】
自動車が後退する場合には、関連する仮想視野SCRVは、後部のビデオカメラCAM3によって自動車の後方を捉えるものとなる。一方、自動車が旋回する場合には、側部のビデオカメラCAM4またはCAM5によって捉えうる立体角に対応する仮想視野SCRVが映し出される。
【0073】
自動車の周囲を捉える仮想視野は、自動車の3Dモデルと同じ参照フレーム内に位置する。すなわち、自動車の3Dモデルが、3D映像内でリアルタイムで動くと、これに伴って仮想視野も動き、仮想視野SCRV1〜SCRV5は、自動車の3Dモデルと重なり合う。
【0074】
自動車の3Dモデルと重なり合う仮想視野は、自動車に搭載されているビデオカメラによって写し出される周囲の環境を捉えるものである。
【0075】
透明パラメータTPRを用いて自動車の3Dモデルをリアルタイム表示するに当たっては、この3Dモデルによって、周囲の環境の一部が、隠れたり、再び現れたりする。通常、仮想視野SCRV内の画像は、自動車の3Dモデルによって一部遮られている。
【0076】
上記の画像表示方法によれば、運転者は、自動車およびその周囲の環境を、最良の視点から、3D映像を介して、きわめて現実的に捉えることができる。
【0077】
本発明に係る自動車の運転操作補助のための画像表示方法は、図21に示す構成要素をもつ画像表示装置によって実行することができる。
【0078】
上記の画像表示装置は、自動車Vに搭載される。この画像表示装置の構成要素は、次の通りである。
−コントロールユニットUC、
このコントロールユニットUCは、次の機能を発揮する。
−要因EVに従って変更される自動車の3Dモデルの3D視点POVを定める。
−上記3D視点POVに従って3D映像を形成する。
この3D映像は、次の対象を含んでいる。
−自動車の3Dモデル、および
−自動車に搭載されたビデオカメラによって捉えられる立体角Aの仮想視野SCRV。
−上記自動車の3Dモデルが、仮想視野に投影された3D映像を表示する表示ユニットDISPLAY。
【0079】
さらに、画像表示装置は、自動車の3Dモデルを仮想視野SCRVに投影するための画像プロセシングユニットTRを備えることもできる。
【0080】
自動車Vの各部に搭載されている複数のビデオカメラCAMは、それぞれ、次のような特徴を有する。
−自動車側部の両フェンダーミラーに位置する2つのビデオカメラCAM4とCAM5は、広い撮影角度(水平面において約130°)を有し、これらのビデオカメラの光軸は、概ね垂直方向下向きである。また、これらのビデオカメラによって捉えられる仮想視野の長手方向は、自動車の側面が延びる方向と一致している(図9参照)。
−自動車の前部に搭載されている2つのビデオカメラCAM1とCAM2は、狭い撮影角度(水平面において約60°)、広い撮影角度(水平面において130°)または非常に広い撮影角度(水平面において170°)を有する。これらのビデオカメラは、バンパに取り付けられており、概ね前方、および前方斜め外側を捉える。これらのビデオカメラによって捉えられる仮想視野の長手方向は、概ね水平方向に延びている(図8参照)。
−自動車の後部(例えばトランク領域)に搭載されているビデオカメラCAM3は、広い撮影角度(水平面において130°)、または非常に広い撮影角度(水平面において170°)を有する。このビデオカメラは、リアバンパの中心部から、自動車の背後の環境を捉え、斜め後方を写し出す(図7参照)。また、このビデオカメラは、リアバンパが、例えば自動車の1〜2m先の地点まで接近している歩行者と接触しそうか否かを検知することができる。
【0081】
各ビデオカメラは、1秒間に30フレームの画像(例えばVGAタイプ、精細度は640×480である)を撮影することができ、このためにレンズ(図示せず)を装備している。
【0082】
ビデオカメラの数、設置個所、および撮影の方位は、上に説明したものには限らない。
【0083】
3D視点を決定するための要因が、ユーザの選択である場合、すでに説明したように、ユーザが所望の3D視点を選びうるよう、画像表示装置は、メニュー(一覧)を内蔵している。
【0084】
図21に示す態様においては、画像Iを収集するためのビデオカメラは、画像表示装置DISPの構成要素である。一方、画像プロセシングユニットTRは、コントロールユニットUCの構成要素となっているが、ビデオカメラに内蔵することもできる。
【0085】
上記の画像表示方法は、プログラムが内蔵されたマイクロデバイス、ワイヤドロジック、またはハードウエア部品によって実行される。
【0086】
画像表示装置DISPは、データプロセシングユニット(例えばマイクロプロセッサ)、マイクロコントローラのプロセッシングユニット、ASIC(特定用途向け集積回路)、コンピュータ等によって実行される1つまたは複数の指示シーケンスを含むコンピュータプログラムPGを内蔵することもできる。これらの指示シーケンスを実行すると、上記の画像表示方法が行われる。
【0087】
コンピュータプログラムPGは、1回だけ記録可能で、非揮発性のROM型メモリ、または再記録可能で、非揮発性のEEPROMもしくはFLASHメモリに格納される。このコンピュータプログラムPGは、画像表示装置の製造現場で、もしくは出荷後に、または画像表示装置の使用現場で電気通信回線を通じて、メモリに格納される。上記の指示シーケンスは、機械語、または実行時にプロセシングユニットによって変換されるアセンブリ言語で記述される。
【0088】
図21に示すように、コンピュータプログラムPGは、画像表示装置DISPのコントロールユニットUC内のメモリに格納される。
【0089】
本発明の技術的範囲は、上記の実施形態には限定されないことに留意すべきである。
【0090】
仮想視野SCRV6は、3D映像用の仮想視野とは別個の参照フレーム内に設定される。仮想視野SCRV6は、上に説明した仮想視野(リアルタイムでの表示中に変化する)とは違って静的なものである。静的な仮想視野SCRV6は、自動車の3Dモデルがこの仮想視野SCRV6に向かって移動し、この仮想視野SCRV6内に収まるよう、3D映像内で動かない。この静的な仮想視野SCRV6は、オンデマンド式に表示される。
【0091】
上記の静的な仮想視野を用いれば、自動車が、公道G上の狭隘な箇所を通過する際に、この狭隘な箇所を静的な仮想視野として表示することにより、運転操作を容易にすることができる。狭隘な箇所とは、トンネル、橋の下の通路、駐車場等における狭い部分をいう。その外、公道上で幅員が小さくなっている箇所や、車高制限、車幅制限のある箇所等も含まれる。
【0092】
したがって、画像プロセシングユニットTRは、静的な仮想視野SCRV6上に公道Gにおける狭隘な箇所を投影し、運転者に認識させるとともに、この狭隘な箇所の大きさを、静的な仮想視野SCRV6上に映し出される自動車の3Dモデルと対比することを可能にする。
【0093】
本発明は、上記の用途以外の用途にも適用することができる。
【符号の説明】
【0094】
CAM1〜CAM5 ビデオカメラ
POV1〜POV5 3D視点
SCRV1〜SCRV5 仮想視野
V 自動車
UC コントロールユニット
TR 透明パラメータ
PG コンピュータプログラム
DISP 表示ユニット
【特許請求の範囲】
【請求項1】
−特定の要因(EV)に従って変化する、自動車の3Dモデルの3D視点(POV)を定める過程と、
−前記3D視点(POV)に従って捉えられる3D映像(SC)を形成する過程であって、
前記3D映像(SC)は、
−前記3D視点(POV)に従って形成される自動車の3Dモデル、および
−自動車(V)に搭載したビデオカメラ(CAM)によって撮影され、かつインストゥルメンタルパネルのスクリーンに、前記3D視点(POV)に従って表示されることによって運転者から透視される立体角(A)の仮想視野(SCRV)を含み、
−前記ビデオカメラ(CAM)によって撮影され、かつ前記仮想視野(SCRV)内に投影された自動車の外部環境を含む3D映像を表示する過程とを含む自動車の運転操作補助用画像表示方法。
【請求項2】
前記特定の要因(EV)は、
−ユーザの選択、
−自動車の周囲における設置物や人の検知、または
−自動車の走行態様に係るパラメータであることを特徴とする請求項1記載の画像表示方法。
【請求項3】
前記3D映像(SC)は、前記自動車の3Dモデルと同一の参照フレーム上に設定される仮想視野(SCRV)を含むことを特徴とする請求項1または2記載の画像表示方法。
【請求項4】
前記3D映像(SC)は、前記自動車の3Dモデルとは異なる参照フレーム上に設定される仮想視野(SCRV)を含むことを特徴とする請求項1〜3のいずれかに記載の画像表示方法。
【請求項5】
前記3D映像(SC)を表示する際、前記自動車の3Dモデルは、透明パラメータ(TRP)に従って表示されるようになっていることを特徴とする請求項1〜4のいずれかに記載の画像表示方法。
【請求項6】
前記3D映像(SC)の形成に用いられるビデオカメラ(CAM)の1つは、後方を広角で写し出すようになっていることを特徴とする請求項1〜5のいずれかに記載の画像表示方法。
【請求項7】
−自動車の3Dモデルを形成する過程と、
−前記ビデオカメラ(CAM)によって捉えられる立体角(A)の仮想視野(SCRVを形成する過程とをさらに含むことを特徴とする請求項1〜6のいずれかに記載の画像表示方法。
【請求項8】
−コントロールユニット(UC)であって、
−要因(EV)の変化に従って、自動車の3Dモデルの3D視点(POV)を定める機能と、
−前記3D視点(POV)に従う3D映像(SC)であって、
−自動車の3Dモデル、および
−自動車に搭載されたビデオカメラ(CAM)によって写し出される立体角(A)の仮想視野(SCRV)を含む3D映像(SC)を、前記3D視点(POV)に従って形成する機能とを有するコントロールユニット(UC)と、
−前記ビデオカメラ(CAM)によって撮影され、前記仮想視野(SCRV)に投影された自動車の外部環境を含む3D映像を表示する表示ユニット(DISPLAY)とを備える、自動車(V)の運転操作を補助するための画像表示装置。
【請求項9】
データプロセシングユニットを介して、請求項1〜8のいずれかに記載の運転操作補助用画像表示方法を実行しうる指示シーケンスを含むコンピュータプログラム(PG)。
【請求項1】
−特定の要因(EV)に従って変化する、自動車の3Dモデルの3D視点(POV)を定める過程と、
−前記3D視点(POV)に従って捉えられる3D映像(SC)を形成する過程であって、
前記3D映像(SC)は、
−前記3D視点(POV)に従って形成される自動車の3Dモデル、および
−自動車(V)に搭載したビデオカメラ(CAM)によって撮影され、かつインストゥルメンタルパネルのスクリーンに、前記3D視点(POV)に従って表示されることによって運転者から透視される立体角(A)の仮想視野(SCRV)を含み、
−前記ビデオカメラ(CAM)によって撮影され、かつ前記仮想視野(SCRV)内に投影された自動車の外部環境を含む3D映像を表示する過程とを含む自動車の運転操作補助用画像表示方法。
【請求項2】
前記特定の要因(EV)は、
−ユーザの選択、
−自動車の周囲における設置物や人の検知、または
−自動車の走行態様に係るパラメータであることを特徴とする請求項1記載の画像表示方法。
【請求項3】
前記3D映像(SC)は、前記自動車の3Dモデルと同一の参照フレーム上に設定される仮想視野(SCRV)を含むことを特徴とする請求項1または2記載の画像表示方法。
【請求項4】
前記3D映像(SC)は、前記自動車の3Dモデルとは異なる参照フレーム上に設定される仮想視野(SCRV)を含むことを特徴とする請求項1〜3のいずれかに記載の画像表示方法。
【請求項5】
前記3D映像(SC)を表示する際、前記自動車の3Dモデルは、透明パラメータ(TRP)に従って表示されるようになっていることを特徴とする請求項1〜4のいずれかに記載の画像表示方法。
【請求項6】
前記3D映像(SC)の形成に用いられるビデオカメラ(CAM)の1つは、後方を広角で写し出すようになっていることを特徴とする請求項1〜5のいずれかに記載の画像表示方法。
【請求項7】
−自動車の3Dモデルを形成する過程と、
−前記ビデオカメラ(CAM)によって捉えられる立体角(A)の仮想視野(SCRVを形成する過程とをさらに含むことを特徴とする請求項1〜6のいずれかに記載の画像表示方法。
【請求項8】
−コントロールユニット(UC)であって、
−要因(EV)の変化に従って、自動車の3Dモデルの3D視点(POV)を定める機能と、
−前記3D視点(POV)に従う3D映像(SC)であって、
−自動車の3Dモデル、および
−自動車に搭載されたビデオカメラ(CAM)によって写し出される立体角(A)の仮想視野(SCRV)を含む3D映像(SC)を、前記3D視点(POV)に従って形成する機能とを有するコントロールユニット(UC)と、
−前記ビデオカメラ(CAM)によって撮影され、前記仮想視野(SCRV)に投影された自動車の外部環境を含む3D映像を表示する表示ユニット(DISPLAY)とを備える、自動車(V)の運転操作を補助するための画像表示装置。
【請求項9】
データプロセシングユニットを介して、請求項1〜8のいずれかに記載の運転操作補助用画像表示方法を実行しうる指示シーケンスを含むコンピュータプログラム(PG)。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【公開番号】特開2010−28803(P2010−28803A)
【公開日】平成22年2月4日(2010.2.4)
【国際特許分類】
【外国語出願】
【出願番号】特願2009−140717(P2009−140717)
【出願日】平成21年6月12日(2009.6.12)
【出願人】(391011607)ヴァレオ ビジョン (133)
【氏名又は名称原語表記】VALEO VISION
【Fターム(参考)】
【公開日】平成22年2月4日(2010.2.4)
【国際特許分類】
【出願番号】特願2009−140717(P2009−140717)
【出願日】平成21年6月12日(2009.6.12)
【出願人】(391011607)ヴァレオ ビジョン (133)
【氏名又は名称原語表記】VALEO VISION
【Fターム(参考)】
[ Back to top ]