説明

車両用包囲視野システム

【課題】車両用包囲視野システムの提供。
【解決手段】車両用包囲視野システムであって、車両の異なる位置に提供される複数の画像センサであって、車両の完全な周囲を網羅する車両周囲の画像データを生成する、画像センサと、複数の画像センサの画像データを処理する画像処理ユニットであって、画像処理ユニットは異なる画像センサの画像データに基づき包囲視野を生成するように構成され、画像処理ユニットは車両包囲視野を生成するために車両を包囲するボウル上に画像データを逆に投影し、画像処理ユニットは仮想ユーザ車両視野を生成するために車両包囲視野が観測される仮想カメラ場所を使用するように構成される画像処理ユニットと、仮想カメラ場所を少なくとも水平方向に変更することを可能にし、視野方向を変更することを可能にする、制御ユニットと、を備える、車両用包囲視野システム。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、車両用包囲視野システムおよび包囲視野を生成するための方法に関する。
【背景技術】
【0002】
(関連技術)
近年、車両における画像センサの使用が増加している。多くの場合、これらの画像センサ/カメラは、画像センサが車両環境を追跡し、物体を識別し、起こり得る危険な運転状況を運転手に警告する、運転手補助システムで使用される。さらに、画像センサは、運転手が車両を駐車するのを支援し、運転手に車両背後に位置するいかなる障害物についても知らせることを支援する、後方視野カメラとして使用される。後方視覚システムを装備する車両は、車両の後方部分の画像センサによって提供される視野が、運転手が実際より多くの空間を有すると示唆するために、事故を起こす寸前になることが観測されている。異なる画像センサは、車両およびその周囲の3次元の光景を提供する。
【発明の概要】
【課題を解決するための手段】
【0003】
これに関連して、運転手に表示される車両のリアルな遠近視野をシミュレートする必要性が存在する。さらに、ユーザは、視野方向および視野位置を容易に変更することが可能であるべきである。
【0004】
この必要性は、独立請求項の特長によって満足される。従属請求項において、好ましい実施形態が開示される。
【0005】
第1の態様によると、車両の異なる位置に提供される、複数の画像センサを備える、車両用包囲視野システムが提供され、画像センサは、車両の完全な周囲を網羅する、車両周囲の画像データを生成する。さらに、複数の画像センサの画像データを処理する、画像処理ユニットが提供され、画像処理ユニットは、異なる画像センサの画像データに基づき、車両包囲視野を生成するように構成される。車両包囲視野を生成するために、画像処理ユニットは、車両を包囲するボウル上に画像データを逆に投影するように構成される。さらに、画像処理ユニットは、仮想ユーザ車両視野を生成するために、車両包囲視野が観測される、仮想カメラ場所を使用する。画像処理ユニットは、車両周辺の第1の垂直高さに位置する第1の水平楕円上に仮想カメラ場所を配置する。画像処理ユニットは、第1の垂直高さより低い、車両周辺の第2の垂直高さに位置する第2の水平楕円上に位置する点を通過するよう仮想カメラ場所からの視野方向を決定するようにさらに構成され、第2の楕円は、第1の楕円より小さい。さらに、仮想カメラ場所を少なくとも水平方向に変更し、かつ視野方向を変更することを可能にする、制御ユニットが提供される。第1の水平楕円上に仮想カメラ場所を提供することによって、および第1の楕円より小さく、より低い垂直高さに提供される第2の水平楕円を通過する視野方向を使用することによって、車両を見ており、かつ、例えば車両の後方部分を、検視している、実際の人の視野に対応する、仮想ユーザ車両視野が取得される。さらに、第1の水平楕円上に仮想カメラ場所を提供することによって、車両視野を容易に変更することができ、実際の人の車両周辺の歩行を効果的にシミュレートすることができる。第1の楕円は、仮想カメラ場所が位置する平面を作り、仮想カメラ場所は、異なる仮想ユーザ車両視野を生成するように、楕円上のこの平面内で移動される。車両周辺の異なる仮想カメラ場所では、仮想カメラ場所は、第1の楕円上に提供され、視野方向は、視野方向の選択とは無関係に、第2の楕円上の点を通過する。
【0006】
非常にリアルな仮想ユーザ車両視野を提供する1つの可能性は、第1の楕円の第1の底垂直高さであり、かつ実質的に平均身長を有する人の目の高さである、仮想カメラ場所を使用することである場合がある。第1の楕円を、例えば、1.6〜1.8mの範囲内に位置させることによって、車両周囲のリアルな表現を取得することができる。第2の水平楕円が第1の楕円より低いため、視野方向は、下向きに傾斜され、車両の隣に立って車両を見ている人の自然な視野方向に対応する。
【0007】
車両視野を一水平方向に変更するために、画像処理ユニットは、最初に、仮想カメラ場所を固定した状態に保ち、視野方向が第2の楕円上に位置する点を通過するよう視野方向を変更するように構成されてもよく、点は、視野方向が変更されると、第2の楕円上を前記一水平方向に移動する。本実施例では、ユーザが視野方向の一水平方向への変更を命令すると、仮想カメラ場所は、最初は変更されないままとなり、視野方向は、視野方向が第2の楕円上に位置する点を通過し続けるように変更され、これらの点は、第2の楕円上に、ユーザがより多くの情報を有することを望む前記一水平方向に位置する。これは、一方向からの情報を必要としている際、最初に、視野方向を前記方向に変更するために頭を回動させる、人の自然な挙動に対応する。視野方向を変更すると、視野は、第2の楕円に追従する。視野方向が右側に変更されると、視野方向は、現在の仮想カメラ場所に対して右側の第2の楕円上に位置する点に追従する。反対側、左側について、対応する状況が存在し、視野方向は、左側の第2の楕円上に位置する点に追従する。
【0008】
視野方向が、車両から離れるようにより多く変更されると、第2の楕円上に位置する点は、仮想カメラ場所からさらに離れる。
【0009】
画像処理ユニットを、仮想カメラ場所を固定した状態で保ち、第2の楕円によって画定される平面の中心での視野方向の所定の最大開放角が取得されるまで、視野方向を変更するように構成することが可能である。この最大開放角が取得され、前記一水平方向への仮想ユーザ、車両視野のさらなる変更が望まれる場合、画像処理ユニットは次いで、仮想カメラ場所を第1の楕円上で前記一水平方向に移動させるように構成され、視野方向は、第2の楕円上の点を通過し続ける。この仮想カメラ場所および視野方向を制御する方法は、車両周囲、特に車両の後部を検視するユーザの自然な挙動のシミュレーションをさらに改善するのを助長する。
【0010】
この状況において、画像処理ユニットは、第1の楕円上の仮想カメラ場所が前記一水平方向に移動される場合、所定の最大開放角が維持された状態で、視野方向が第2の楕円上に位置する点を前記一水平方向に通過し続けるように、第1の楕円上の仮想カメラ場所のそれぞれの場所の視野方向が決定されるように構成されてもよい。開放角は、第2の楕円上に投影される、第2の楕円の中心への仮想カメラ場所の直接接続の投影と第2の楕円の中心の視野方向が通過する点への接続との間の角度として画定される。
【0011】
さらに、画像処理ユニットは、第2の楕円の寸法が車両寸法に実質的に対応するように、第2の楕円の寸法を決定することが可能である。第2の楕円の中心および第1の楕円の中心を、それらが、第1および第2の楕円の中心を通過する軸上、例えば、車両のほぼ中心に同軸で位置するように選択することができ、車両の中心は、車両の長さの半分および幅の半分として画定される。第2の楕円の寸法が実質的に車両寸法に対応する場合、第1の楕円の寸法は、第1の楕円の寸法が第2の楕円の寸法より10〜30%大きくなるように決定されてもよい。
【0012】
画像処理ユニットは、仮想カメラ場所が第1の楕円の長軸上に位置する第1の楕円上の点上の車両背後である、デフォルト、すなわち開始仮想ユーザ車両視野を提供するようにさらに構成されてもよく、視野方向は、第2の楕円上のその長軸上に位置する点を通過する。本実施形態では、第1および第2の楕円は、第1および第2の楕円の長軸が相互に対して平行になるように配設される。この開始仮想ユーザ車両視野は、ユーザが車両の中央の車両背後に位置付けられ、車両を見下ろす際の視野に対応する。
【0013】
ユーザによる仮想カメラ場所および視野方向の制御を容易にするために、制御ユニットは、仮想ユーザ車両視野の一水平方向への変更を示すように、一方向に回動されるよう操作可能な回動部分を収容してもよい。さらに、その回動部分を伴う制御ユニットは、仮想ユーザ車両視野の反対の水平方向への変更を示すように、反対方向に回動されてもよい。上述される回動部分を有する制御ユニットは、ラジオ受信器、音響出力ユニット、ナビゲーションユニット、および電気通信ユニットを制御するために使用される、あらゆる車両電子システム内に存在する。単に回動部分を一方向または反対方向に操作することによって、最初に視野方向、次いで仮想カメラ場所を、一方向または反対方向のいずれかに変更することができる。
【0014】
さらに、画像処理ユニットを、底垂直高さから車両上方の鳥瞰視野に仮想カメラ場所を垂直面内で変更するように構成することが可能である場合がある。本実施形態では、第1および第2の楕円の寸法は、対応する垂直高さに依存する。この仮想カメラ場所および視野方向の垂直移動は、仮想カメラ場所が、第1の楕円の第1の底垂直高さでのその短軸を中心とした回転によって画定される第1の楕円形状体上を垂直方向に移動し、視野方向が、第2の楕円の第2の底垂直高さでのその短軸を中心とした回転によって画定される第2の楕円形状体上に位置する点を通過し続けるような移動であってもよい。仮想カメラ場所の垂直場所が決定される場合、視野方向が通過する第2の楕円の対応する垂直場所は、第1の楕円によってその底垂直高さに画定される平面上方のカメラの仰角が、第2の楕円のその底垂直高さに対する第2の楕円の仰角と同一となるように決定されてもよい。本実施例では、ユーザは、目の高さに対応する所定の垂直高さで、車両周辺を移動することのみでなく、車両上方の他の視角から車両周囲を見ることもできる。本文脈において、制御ユニットは、垂直方向を変更する、追加操作要素を有してもよい。一例として、制御ユニットは、仮想カメラ場所を水平方向および垂直方向に変更する、4方向ロッカーであってもよい。
【0015】
本発明はさらに、車両の異なる位置に提供される複数の画像センサを使用して、車両包囲視野を生成するための方法に関する。方法のうちの1つのステップによると、複数の画像センサの画像データは、異なる画像センサの画像データに基づき、車両包囲視野を生成するように処理され、画像データは、車両を包囲するボウル上に逆に投影される。さらに、仮想ユーザ車両視野が生成され、車両包囲視野は、視野方向を使用して車両包囲視野が観測される、仮想カメラ場所から示される。仮想カメラ場所は、車両周辺の第1の垂直高さに位置する第1の水平楕円上に配置され、仮想カメラ場所からの視野方向は、車両周辺の第1の垂直高さより低い第2の垂直高さに位置する第2の水平楕円上に位置する点を通過するような方向であり、第2の楕円は、第1の楕円より小さい。この車両包囲視野を生成するための方法を用いて、この車両周辺を歩行する仮想ユーザの状況を、現実的な方法でシミュレートすることができる。
【0016】
さらに、車両視野を一水平方向に変更する命令が検出されると、仮想カメラ場所は、最初は変更されないまま保たれ、検出された命令に応えて、視野方向は、視野方向が第2の楕円上に位置する点を通過するように変更されることが可能であり、第2の楕円上に位置する点は、視野方向が変更されると、第2の楕円上で前記一水平方向に移動する。
【0017】
仮想カメラ場所は、第2の楕円によって画定される平面の中心での視野方向の所定の最大開放角が取得されるまで変更されないまま保たれてもよい。仮想ユーザ車両視野の前記一水平方向へのさらなる変更の命令が検出されると、仮想カメラ場所は、第1の楕円上での前記一水平方向への移動を開始し、視野方向は、第2の楕円上の点を通過し続ける。上述されるように、視野方向は、視野方向が第2の楕円上に位置する点を通過し続けるように決定されてもよく、仮想カメラ場所が第1の楕円上で移動される際、第2の点は、視野方向の所定の最大開放角が維持されるように決定される。
【0018】
さらに、仮想ユーザ車両視野を反対水平方向に変更する命令が検出される際、手順は、反対方向でも類似であることが可能であり、仮想カメラ場所は、最初は変更されないままであり、検出された命令に応えて、視野方向は、視野方向が第2の楕円上に位置する点を通過するように変更されることを意味し、視野方向が変更されると、点は、第2の楕円上を反対水平方向に移動する。仮想カメラ場所は、最大開放角が到達されるまで変更されないままである。
【0019】
さらに、車両用包囲視野システムのディスプレイ上に仮想ユーザ車両視野を表示することができる。
【0020】
例えば、本願発明は以下の項目を提供する。
(項目1) 車両用包囲視野システムであって、
−前記車両の異なる位置に提供される、複数の画像センサ(11)であって、前記車両の完全な周囲を網羅する、前記車両周囲の画像データを生成する、画像センサ(11)と、
−前記複数の画像センサ(11)の前記画像データを処理する、画像処理ユニット(20)であって、前記画像処理ユニット(20)は、前記異なる画像センサ(11)の前記画像データに基づき、車両包囲視野を生成するように構成され、前記画像処理ユニット(20)は、前記車両包囲視野を生成するために、前記車両を包囲するボウル(90)上に前記画像データを逆に投影し、前記画像処理ユニットは、仮想ユーザ車両視野を生成するために、前記車両包囲視野が観測される仮想カメラ場所を使用するように構成され、前記仮想カメラ場所は、前記車両(10)周辺の第1の垂直高さに位置する第1の水平楕円(70)上に配置され、前記画像処理ユニットは、前記第1の垂直高さより低い、前記車両周辺の第2の垂直高さに位置する第2の水平楕円(80)上に位置する点を通過するように、前記仮想カメラ場所からの視野方向を決定するように構成され、前記第2の楕円(80)は、前記第1の楕円より小さい、画像処理ユニット(20)と、
−前記仮想カメラ場所を少なくとも水平方向に変更することを可能にし、前記視野方向を変更することを可能にする、制御ユニット(40)と、
を備える、車両用包囲視野システム。
(項目2) 前記車両ユーザの車両視野の一水平方向への変更のために、前記画像処理ユニット(20)は、最初に、前記仮想カメラ場所を固定した状態に保ち、前記視野方向が前記第2の楕円(80)上に位置する点を通過するように、前記視野方向を変更するように構成され、前記点は、前記視野方向が変更されると、前記第2の楕円上で前記一水平方向に移動する、上記項目に記載の車両用包囲視野システム。
(項目3) 前記画像処理ユニット(10)は、前記仮想カメラ場所を固定した状態に保ち、前記第2の楕円によって画定される平面の中心での前記視野方向の所定の最大開放角が取得されるまで、前記視野方向を変更するように構成され、前記車両視野の前記一水平方向へのさらなる変更のために、前記画像処理ユニット(20)は、前記第1の楕円上の前記仮想カメラ場所を前記一水平方向に移動させるように構成され、前記視野方向は、前記第2の楕円上の点を通過し続ける、上記項目のいずれか一項に記載の車両用包囲視野システム。
(項目4) 前記画像処理ユニット(10)は、前記第1の楕円(70)上の前記仮想カメラ場所が前記一水平方向に移動された場合、前記所定の最大開放角が維持された状態で、前記視野方向が前記第2の楕円(80)上に位置する点を前記一方向に通過し続けるように、前記第1の楕円(70)上の前記仮想カメラ場所の前記場所のそれぞれの前記視野方向が決定されるように構成される、上記項目のいずれか一項に記載の車両用包囲視野システム。
(項目5) 前記画像処理ユニット(20)は、前記第2の楕円(80)の寸法が前記車両寸法に実質的に対応するように、前記第2の楕円の寸法を決定する、上記項目のいずれか一項に記載の車両用包囲視野システム。
(項目6) 前記画像処理ユニット(20)は、実質的に平均身長を有する人の目の高さである、前記仮想カメラ場所の第1の底垂直高さを使用するように構成される、上記項目のいずれか一項に記載の車両用包囲視野システム。
(項目7) 前記画像処理ユニット(20)は、前記仮想カメラ場所が前記車両(10)背後の前記第1の楕円の長軸上に位置する前記第1の楕円(70)の点上である、開始車両視野を提供するように構成され、前記視野方向は、前記第2の楕円の前記長軸上に位置する前記第2の楕円(80)上の点を通過する、上記項目のいずれか一項に記載の車両用包囲視野システム。
(項目8) 前記画像処理ユニット(20)は、前記第1および前記第2の楕円を同軸に、かつ相互に対して平行に位置付けるように構成される、上記項目のいずれか一項に記載の車両用包囲視野システム。
(項目9) 前記制御ユニットは、前記車両視野の一水平方向への変更を示すように、一方向に回動されるように操作可能であり、前記車両視野の反対水平方向への変更を示すように、反対方向に回動されるように操作可能である、回動部分を収容する、上記項目のいずれか一項に記載の車両用包囲視野システム。
(項目10) 前記画像処理ユニット(20)は、底垂直高さから前記車両上方の鳥瞰視野に前記仮想カメラ場所を垂直面内で変更するように構成され、前記第1および前記第2の楕円(70、80)の前記寸法は、対応する垂直高さに依存する、上記項目のいずれか一項に記載の車両用包囲視野システム。
(項目11) 前記第1の楕円上に提供される前記仮想カメラ場所は、前記第1の楕円の第1の底垂直高さでのその短軸を中心とした回転によって画定される第1の楕円形状体上を前記垂直方向に移動され、前記視野方向は、前記第2の楕円の第2の底垂直高さでのその短軸を中心とした回転によって画定される第2の楕円形状体上に位置する点を通過し続ける、上記項目のいずれか一項に記載の車両用包囲視野システム。
(項目12) 車両(10)の異なる位置に提供される複数の画像センサ(11)を使用して、車両包囲視野を生成するための方法であって、前記画像センサ(10)は、前記車両の完全な周囲を網羅する、前記車両周囲の画像データを生成し、前記方法は、
−前記異なる画像センサの前記画像データに基づき、前記車両包囲視野を生成するように、前記複数の画像センサ(11)の前記画像データを処理するステップであって、前記画像データは、前記車両を包囲するボウル上に逆に投影される、ステップと、
−仮想ユーザ車両視野を生成するステップであって、前記車両包囲視野は、視野方向を使用して前記車両が観測される、仮想カメラ場所から示され、前記仮想カメラ場所は、前記車両周辺の第1の垂直高さに位置する第1の水平楕円(70)上に配置され、前記仮想カメラ場所からの前記視野方向は、前記第1の垂直高さより低い、前記車両周辺の第2の垂直高さに位置する第2の水平楕円(80)上に位置する点を通過するような視野方向であり、前記第2の楕円(80)は、前記第1の楕円(70)より小さい、ステップと、
を含む、車両包囲視野を生成するための方法。
(項目13) 前記車両視野を一水平方向に変更する命令が検出された場合、前記仮想カメラ場所は、最初は変更されないまま保たれ、前記検出された命令に応えて、前記視野方向は、前記視野方向が前記第2の楕円(80)上に位置する点を通過するように変更され、前記第2の楕円(80)上に位置する前記点は、前記視野方向が変更されると、前記第2の楕円(80)上を前記一水平方向に移動する、上記項目に記載の車両包囲視野を生成するための方法。
(項目14) 前記仮想カメラ場所は、前記第2の楕円(80)によって画定される平面の中心での前記視野方向の所定の最大開放角が取得されるまで変更されないまま保たれ、前記車両視野を前記一水平方向にさらに変更する命令が検出されると、前記所定の最大開放角が到達された際、前記仮想カメラ場所は、前記第1の楕円上を前記一水平方向に移動され、前記視野方向は、前記第2の楕円(80)上の点を通過し続ける、上記項目のいずれか一項に記載の車両包囲視野を生成するための方法。
(項目15) 前記第1の楕円(70)上の前記仮想カメラ場所が前記一水平方向に移動されると、前記第1の楕円(70)上の前記仮想カメラ場所の前記場所のそれぞれに対して前記視野方向は、前記視野方向が前記第2の楕円(80)上に位置する点を通過し続けるように決定され、前記点は、前記第1の楕円(70)上での前記仮想カメラ場所の前記場所のそれぞれの移動中に前記視野方向の前記所定の最大開放角が維持されるように決定される、上記項目のいずれか一項に記載の車両包囲視野を生成するための方法。
(項目16) 前記仮想ユーザ車両視野を生成するために、前記仮想カメラ場所が前記車両背後の前記第1の楕円(70)の長軸上に位置する前記第1の楕円の点上である、開始車両視野が決定され、前記視野方向は、前記車両の長軸および前記第1の楕円の長軸に対して平行である、上記項目のいずれか一項に記載の車両包囲視野を生成するための方法。
(項目17) 前記車両視野を反対の水平方向に変更する命令が検出されると、前記仮想カメラ場所は、最初は変更されないまま保たれ、前記検出された命令に応えて、前記視野方向は、前記視野方向が前記第2の楕円上に位置する点を通過するように変更され、前記点は、前記視野方向が変更されると、前記第2の楕円を反対の水平方向に移動する、上記項目のいずれか一項に記載の車両包囲視野を生成するための方法。
(項目18) 前記仮想カメラ場所は、底垂直高さから前記車両上方の鳥瞰視野に垂直面内で変更され、前記第1および前記第2の楕円の前記寸法は、対応する垂直高さに依存する、上記項目のいずれか一項に記載の車両包囲視野を生成するための方法。
(項目19) 前記仮想カメラ場所は、前記第1の楕円の第1の底垂直高さでのその短軸を中心とした回転によって画定される第1の楕円形状体上で前記垂直方向に移動され、前記視野方向は、前記第2の楕円の第2の底垂直高さでのその短軸を中心とした回転によって画定される第2の楕円形状体上に位置する点を通過し続ける、上記項目のいずれか一項に記載の車両包囲視野を生成するための方法。
(項目20) 回動ボタンが一方向または反対方向に回動されると、前記車両視野を前記一水平方向または前記反対水平方向に変更するための前記命令が検出される、上記項目のいずれか一項に記載の車両包囲視野を生成するための方法。
(項目21) 前記生成された仮想ユーザ車両視野は、ディスプレイ上に表示される、上記項目のいずれか一項に記載の車両包囲視野を生成するための方法。
(項目22) 前記仮想カメラ場所は、前記ボウル内部に位置する、上記項目のいずれか一項に記載の車両包囲視野を生成するための方法。
【0021】
(摘要)
本発明は、
−車両の異なる位置に提供される、複数の画像センサ(11)であって、車両の完全な周囲を網羅する、車両周囲の画像データを生成する、画像センサ(11)と、
−複数の画像センサ(11)の画像データを処理する、画像処理ユニット(20)であって、画像処理ユニット(20)は、異なる画像センサ(11)の画像データに基づき、車両包囲視野を生成するように構成され、画像処理ユニット(20)は、車両包囲視野を生成するために、車両を包囲するボウル(90)上に画像データを逆に投影し、画像処理ユニットは、仮想ユーザ車両視野を生成するために、車両包囲視野が観測される、仮想カメラ場所を使用するように構成され、仮想カメラ場所は、車両(10)周辺の第1の垂直高さに位置する第1の水平楕円(70)上に配置され、画像処理ユニットは、第1の垂直高さより低い、車両周辺の第2の垂直高さに位置する第2の水平楕円(80)上に位置する点を通過するように、仮想カメラ場所からの視野方向を決定するように構成され、第2の楕円(80)は、第1の楕円より小さい、画像処理ユニット(20)と、
−仮想カメラ場所を少なくとも水平方向および視野方向に変更することを可能にする、制御ユニット(40)と、
を備える、車両用包囲視野システムに関する。
【図面の簡単な説明】
【0022】
本発明は、添付の図面を参照して、以下により詳細に記載される。これらの図面は、以下の通りである。
【図1】車両用包囲視野システムの概略図を示す。
【図2】仮想ユーザが第1の楕円および第2の楕円を使用して車両を見ている状況の概略図であり、車両用包囲視野システムの画像データは、図2に示されるボウル上に投影される。
【図3】車両に対する第1の楕円および第2の楕円の場所を伴う、開始車両視野の概略図を示す。
【図4】仮想カメラ場所が変更されていない状態で、ユーザが車両の右側を見ることを望む際の状況を示す。
【図5】仮想カメラ場所が右側に移動された状態の状況を示す。
【図6】仮想カメラ場所が車両の後方部分の左側に変更して戻された状況を示す。
【図7】視野方向が開始車両視野から車両の左側に変更された状況を示す。
【図8】車両側面図における、仮想カメラ場所および視野方向の垂直方向での移動を示す。
【図9】どのように仮想ユーザ車両視野が生成され、適合されるかを示す、フローチャートを示す。
【図10】車両後方視野における、楕円形状体上での図8の垂直カメラ場所の移動を示す。
【発明を実施するための形態】
【0023】
図1には、4つの画像センサ、好ましくは魚眼カメラ11が組み込まれた、車両10が示されている。画像センサは、それらが完全な周辺を網羅するように、車両の周辺に対称に定置される。一例として、左右のドアミラーに側方カメラが提供されてもよい。車両の種類によって、異なる位置に後方および前方カメラが置かれてもよい。画像包囲視野システムは、異なるカメラ11によって生成される画像データを受信し、車両包囲視野が生成されるように画像データを使用する、画像処理ユニット20をさらに備える。車両包囲視野は、仮想カメラ場所および仮想カメラ場所の視野方向を使用して表示される。仮想カメラ場所から見られる、または観測される際の車両周囲は、車両が、図2に示され、仮想カメラ場所に位置する、仮想ユーザ50によって見られる際の仮想ユーザ車両視野である。仮想ユーザ車両視野を、ディスプレイ30上に表示することができる。制御ユニット40が提供され、これを用いて、場所および視角を変更することができる。一例として、制御ユニット40は、現在の車両の音響システムで使用される、共通の回動/押しボタンとすることができる。図1の示される車両用包囲視野システムは、車両内に収容されるマルチメディアシステムの一部とすることができ、ディスプレイは、また、マルチメディアシステムのユーザに情報を提供するためにも使用されるディスプレイであってもよい。図1に示される車両用包囲視野システムは、他の構成要素を有してもよく、示される実施例には、本発明を理解するために必要とされる構成要素のみが示されていることを理解されたい。画像センサ11の画像データを処理するための処理ユニット20は、さらに以下により詳細に記載されるように、画像データを処理する、1つまたはいくつかのプロセッサを収容してもよい。処理ユニットは、ハードウェアおよびソフトウェアの組み合わせであってもよい。
【0024】
図2には、どのように仮想ユーザ車両視野が生成されるかを理解するのを助ける、状況の側面図が示されている。仮想ユーザ50は、車両10に目を向け、仮想ユーザは、図3の仮想カメラ60の仮想カメラ場所に対応する。仮想カメラ場所は、図2および図3に示される、第1の楕円70上の地上から第1の高さに位置する。高さは、仮想カメラ場所の高さが平均身長を有するユーザの目の高さになるように決定される。一例として、目の高さでの平均高さは、1.5m〜1.8mであってもよい。仮想ユーザ50の視野方向は、視野方向が、第1の楕円より低い高さに提供される、第2の楕円80上に位置する点を常に通過するような方向である。結果として、下向きの視野が取得される。
【0025】
図2および図3から見ることができるように、第2の楕円は、車両用包囲視野システムが組み込まれる車両の寸法に実質的に対応する寸法を有する。車両は、立方形状を有するため、仮想ユーザ車両視野を生成するために、画像処理ユニット20によって楕円が使用される。
【0026】
図1に示される4つの魚眼カメラ11の画像データは、車両10を包囲するボウル90上に逆に投影される。車両は、ボウルの底、すなわち地面上に位置する。車両は、長方形態を有し、二次曲線の形態ではないため、ボウル形状は、車両軸に沿って伸長され、ボウルは、ボウル90の上端で楕円形状の異なる水平薄片で構成される。薄片の形状は、楕円形状から湾曲した長方形に徐々に変化する。ボウルおよびその形状のより詳細な説明は、同一出願人によって2011年4月11日に出願された、出願番号が欧州特許出願第EP11162470.6号の出願に見ることができる。
【0027】
図2および図3に示される状況は、仮想カメラ場所が図3に示されるように第1の楕円上の第1の楕円の長軸の点上に位置付けられる、開始車両視野に対応し、視野方向は、第2の楕円上およびその長軸上の点82を通過する。この開始車両視野では、第1の楕円は、図2に示される、第1の底車両高さを有し、第2の楕円80は、示されるような対応する第2の底垂直高さを有する。一例として、第1の楕円は、地上から1.60〜1.80メートル上方に位置してもよく、第2の楕円80は、地上から1.20〜1.30メートル上方に位置する。ボウルは、その上端上で、14メートルの全長を有する長軸を有してもよく、1.7mの高さで、約11または12メートルの全長、および約8メートルの幅を有してもよい。開始車両視野で、楕円70は、図3に示される、約3.5メートルの半長軸a1を有してもよく、大きい楕円の半短軸b1は、2.4〜2.8mの範囲内である。第1および第2の楕円の中心は、同一の軸上に位置し、それらは、図1に示される軸A上の異なる垂直高さに同軸で配設される。
【0028】
第2の楕円80の半長軸は、a2=3mであってもよく、半短軸b2は、約1.5mである。値は、車両の寸法、およびボウルの寸法に依存することを理解されたい。好ましくは、仮想ユーザ50は、図2に示され、図3に示される仮想カメラ場所を有する仮想カメラ60によって表されるように、ボウル内部に位置する。第1および第2の楕円の寸法は、異なるように選択されてもよい。第2の楕円の寸法がより大きく選択される場合、視野方向は、車両に向けられるべきであり、高すぎる、または低すぎるべきではないため、第1の楕円の寸法もまた、より大きく選択されるべきである。図3に示される場所から開始するユーザが、図3に示されるように、車両の右側のより詳細な視野を有することを望む際、ユーザは、ユーザの意図を示すように、図1に示される制御ユニット40を右に回動させてもよい。
【0029】
図4に示されるように、ユーザが車両の右側のより詳細な視界を有することに関心があることが検出される場合、仮想カメラ場所は、最初は変更されないままで保たれ、視角のみが右側に向けられる。視角が図3に示される場所から図4に示される場所に変更される際、視野方向は、視野方向の移動中、視野方向が第2の楕円80上に位置する点を常に通過するようになっている。図4に示される実施形態では、第2の楕円の点81である。視野方向は、図4に示される最大角度Oが取得されるまで変更され、角度Oは、視野方向の最大開放角である。図4に示されるように、角度Oは、第2の楕円によって画定される平面上の中心C上へのカメラ場所の直接接続の投影、および視野方向が通過する第2の楕円上の点と、第2の楕円の中心、ここでは中心C、との接続によって画定される。この最大開放角が到達され、次いで仮想カメラ場所のさらなる移動が望まれる場合、仮想カメラ場所は、図5に示される前記方向に移動される。図5から見ることができるように、視野方向は、仮想カメラ場所の移動中、仮想カメラ場所が右に移動されると、第2の楕円の点81がカメラからさらに離れるよう第2の楕円上を移動されるように、最大開放角Oが維持されるように適合される。
【0030】
図5に示される状況において、ユーザが制御ユニットを作動させるのを停止する際、仮想カメラ場所は、示される視野方向を伴ったままでとどまるか、または視野方向は、第2の楕円上の点83を通過するように、再び車両の中心に自動的に中心合わせされるかのいずれかであってもよい。
【0031】
図6に示される実施形態では、ユーザがシステムに再び車両の反対側、ここでは左側を見るように指示する際に、どのようにシステムが反応するかが示されている。最初、図6に示されるように、仮想カメラ60は、視野方向を変更し、仮想カメラ場所を維持する。視野方向は、最大開放角Oが到達されるまで視野方向が左に変更されるように、再び変更される。次いでユーザが、システムに、車両の左側を見るようさらに指示する場合、仮想カメラ場所は、第1の楕円上を反対方向に移動し、仮想カメラ60の移動中、最大開放角Oは維持される。ユーザが制御ユニットを2つの方向のうちの1つに操作することを終了すると、仮想カメラは、最後の場所、例えば、図7または図5に示される場所とどまるか、または視野方向は、車両場所の中心に戻るかのいずれかであってもよい。
【0032】
図1に示されるシステムでは、仮想カメラの垂直場所を変更することがさらに可能である。図8および図10に示される実施形態では、第1および第2の楕円70a、80aが第1の底垂直高さおよび第2の底垂直高さにそれぞれ提供される、仮想カメラ場所60aによる開始車両視野が示されている。カメラ垂直高さは、第1の楕円70aによって示される第1の底垂直高さであり、第2の楕円80aは、示される場所によって示される第2の底垂直高さである。カメラは、楕円形状体上を移動される。この形状体は、第1の楕円70aをその底垂直高さでその短軸を中心として回転させることによって画定され、その回転によって画定される形状体は、垂直カメラ場所がその上を移動する形状体である。
【0033】
同時に、また、第2の楕円80は、楕円80bによって示されるように、上向きにも移動され、また、第2の楕円は、第2の楕円の底垂直高さでのその短軸を中心とした回転によって画定される楕円体110上も移動する。第2の楕円80bは、仮想カメラ場所が、所望の仰角、例えば、図8および図10に示されるφ1が取得されるまで第1の楕円体100に沿って移動される場合に、第2の楕円80aによって画定される座標系内で、同一の仰角φ2=φ1が使用されるように、垂直方向に移動される。同一の規則が、仮想カメラ場所60c、ならびに対応する第1の楕円70cおよび第2の楕円80cに適用される。車両中心上方の場所における場所60dでは、視野方向が第2の楕円上ではなく、車両上のまっすぐ下向きである、または換言すれば、第2の楕円は、第2の形状体110上の点である、より具体的には、第2の楕円は、第2の形状体上の点110aであるため、状況がわずかに異なることを理解されたい。異なる垂直高さでは、図2〜図7に関連して上述されるように、水平移動が可能であることを理解されたい。
【0034】
図8および図10に示される実施形態では、車両は、仮想ユーザ車両視野内のほぼ中心のままである。
【0035】
図9には、水平仮想ユーザ車両視野を適合させるためのステップを要約するフローチャートが示されている。第1のステップS1では、画像センサ11は、完全な車両周囲を網羅する画像データを生成する。次いで、処理ユニットは、その異なる画像センサからの画像データを組み合わせ、図1に示されるボウル90上にそれらを逆に投影する。ステップS2では、カメラおよび視野方向が、車両がその後方側から示され、視野方向が車両を向く、図3に示されるように選択される、開始仮想ユーザ車両視野が表示される。ステップS3では、次いで、画像処理ユニットにおいて、水平視野変更の命令が検出されるか否かが問われる。これがいいえである場合、画像は、表示される開始車両視野のままである。システムが、ステップS3で、水平視野が第1の楕円上で一方向または反対方向のいずれかに変更されるべきであることを検出する場合、視角は、図3によって示されるように、適宜に適合される。ステップS3で、車両の左側がより詳細に示されるべきであることが検出される場合、視野方向は、最大開放角Oが取得されるまで、視野方向を第2の楕円上に位置する点に沿って左に移動させることによって、適宜に適合される(ステップS4)。ステップS5では、次いで、所定の最大開放角が到達されるか否かが問われる。いいえの場合、視角は、ステップS4に言及されるように、さらに適合される。ステップS5で、最大視角に達したことが検出される場合、ステップS6で、仮想カメラ場所は、従って適合される。図5に示されるように、仮想カメラは、第1の楕円上を移動され、視野方向は、最大開放角が維持されるように決定され、視野方向が通過する第2の楕円上の点は、最大開放角によって画定される。
【0036】
図9と関連して説明される方法を用いて、カメラを完全な車両周辺の第1の楕円上で移動させることによって、必要に応じて、完全な車両周囲にわたる全体像を取得することが可能である。システムに、視野がより片側または反対側に向けられるべきであることを示すために、単に双方向操作要素または制御ユニット、例えば、2方向ロッカーまたは回動要素を使用することによって、ユーザは、異なる車両視野を容易に取得することができる。さらに、システムおよび制御ユニットを、仮想カメラ場所の垂直高さを図8および図10に示されるように適合することができるように構成することが可能である。このカメラの垂直移動には、2つの追加の自由度が必要である。垂直移動は、水平移動に加えて、およびそれから独立して取得することができる。仮想カメラ場所の垂直場所を変更するために、さらなる2方向操作要素が提供されてもよい。
【0037】
要約すると、上述の発明を用いて、あたかもユーザが車両周辺を歩行したかのような仮想車両視野をユーザに表示することが可能である。このユーザに馴染みのある眺めを通して、ユーザは、示される画像を容易に理解することができ、表示される物体を認識することができる。さらに、2方向操作要素によって、水平車両視野変更を容易に制御することができる。

【特許請求の範囲】
【請求項1】
車両用包囲視野システムであって、
−前記車両の異なる位置に提供される、複数の画像センサ(11)であって、前記車両の完全な周囲を網羅する、前記車両周囲の画像データを生成する、画像センサ(11)と、
−前記複数の画像センサ(11)の前記画像データを処理する、画像処理ユニット(20)であって、前記画像処理ユニット(20)は、前記異なる画像センサ(11)の前記画像データに基づき、車両包囲視野を生成するように構成され、前記画像処理ユニット(20)は、前記車両包囲視野を生成するために、前記車両を包囲するボウル(90)上に前記画像データを逆に投影し、前記画像処理ユニットは、仮想ユーザ車両視野を生成するために、前記車両包囲視野が観測される仮想カメラ場所を使用するように構成され、前記仮想カメラ場所は、前記車両(10)周辺の第1の垂直高さに位置する第1の水平楕円(70)上に配置され、前記画像処理ユニットは、前記第1の垂直高さより低い、前記車両周辺の第2の垂直高さに位置する第2の水平楕円(80)上に位置する点を通過するように、前記仮想カメラ場所からの視野方向を決定するように構成され、前記第2の楕円(80)は、前記第1の楕円より小さい、画像処理ユニット(20)と、
−前記仮想カメラ場所を少なくとも水平方向に変更することを可能にし、前記視野方向を変更することを可能にする、制御ユニット(40)と、
を備える、車両用包囲視野システム。
【請求項2】
前記車両ユーザの車両視野の一水平方向への変更のために、前記画像処理ユニット(20)は、最初に、前記仮想カメラ場所を固定した状態に保ち、前記視野方向が前記第2の楕円(80)上に位置する点を通過するように、前記視野方向を変更するように構成され、前記点は、前記視野方向が変更されると、前記第2の楕円上で前記一水平方向に移動する、請求項1に記載の車両用包囲視野システム。
【請求項3】
前記画像処理ユニット(10)は、前記仮想カメラ場所を固定した状態に保ち、前記第2の楕円によって画定される平面の中心での前記視野方向の所定の最大開放角が取得されるまで、前記視野方向を変更するように構成され、前記車両視野の前記一水平方向へのさらなる変更のために、前記画像処理ユニット(20)は、前記第1の楕円上の前記仮想カメラ場所を前記一水平方向に移動させるように構成され、前記視野方向は、前記第2の楕円上の点を通過し続ける、請求項2に記載の車両用包囲視野システム。
【請求項4】
前記画像処理ユニット(10)は、前記第1の楕円(70)上の前記仮想カメラ場所が前記一水平方向に移動された場合、前記所定の最大開放角が維持された状態で、前記視野方向が前記第2の楕円(80)上に位置する点を前記一方向に通過し続けるように、前記第1の楕円(70)上の前記仮想カメラ場所の前記場所のそれぞれの前記視野方向が決定されるように構成される、請求項3に記載の車両用包囲視野システム。
【請求項5】
前記画像処理ユニット(20)は、前記第2の楕円(80)の寸法が前記車両寸法に実質的に対応するように、前記第2の楕円の寸法を決定する、前述の請求項のいずれか一項に記載の車両用包囲視野システム。
【請求項6】
前記画像処理ユニット(20)は、実質的に平均身長を有する人の目の高さである、前記仮想カメラ場所の第1の底垂直高さを使用するように構成される、前述の請求項のいずれか一項に記載の車両用包囲視野システム。
【請求項7】
前記画像処理ユニット(20)は、前記仮想カメラ場所が前記車両(10)背後の前記第1の楕円の長軸上に位置する前記第1の楕円(70)の点上である、開始車両視野を提供するように構成され、前記視野方向は、前記第2の楕円の前記長軸上に位置する前記第2の楕円(80)上の点を通過する、前述の請求項のいずれか一項に記載の車両用包囲視野システム。
【請求項8】
前記画像処理ユニット(20)は、前記第1および前記第2の楕円を同軸に、かつ相互に対して平行に位置付けるように構成される、前述の請求項のいずれか一項に記載の車両用包囲視野システム。
【請求項9】
前記制御ユニットは、前記車両視野の一水平方向への変更を示すように、一方向に回動されるように操作可能であり、前記車両視野の反対水平方向への変更を示すように、反対方向に回動されるように操作可能である、回動部分を収容する、前述の請求項のいずれか一項に記載の車両用包囲視野システム。
【請求項10】
前記画像処理ユニット(20)は、底垂直高さから前記車両上方の鳥瞰視野に前記仮想カメラ場所を垂直面内で変更するように構成され、前記第1および前記第2の楕円(70、80)の前記寸法は、対応する垂直高さに依存する、前述の請求項のいずれか一項に記載の車両用包囲視野システム。
【請求項11】
前記第1の楕円上に提供される前記仮想カメラ場所は、前記第1の楕円の第1の底垂直高さでのその短軸を中心とした回転によって画定される第1の楕円形状体上を前記垂直方向に移動され、前記視野方向は、前記第2の楕円の第2の底垂直高さでのその短軸を中心とした回転によって画定される第2の楕円形状体上に位置する点を通過し続ける、請求項10に記載の車両用包囲視野システム。
【請求項12】
車両(10)の異なる位置に提供される複数の画像センサ(11)を使用して、車両包囲視野を生成するための方法であって、前記画像センサ(10)は、前記車両の完全な周囲を網羅する、前記車両周囲の画像データを生成し、前記方法は、
−前記異なる画像センサの前記画像データに基づき、前記車両包囲視野を生成するように、前記複数の画像センサ(11)の前記画像データを処理するステップであって、前記画像データは、前記車両を包囲するボウル上に逆に投影される、ステップと、
−仮想ユーザ車両視野を生成するステップであって、前記車両包囲視野は、視野方向を使用して前記車両が観測される、仮想カメラ場所から示され、前記仮想カメラ場所は、前記車両周辺の第1の垂直高さに位置する第1の水平楕円(70)上に配置され、前記仮想カメラ場所からの前記視野方向は、前記第1の垂直高さより低い、前記車両周辺の第2の垂直高さに位置する第2の水平楕円(80)上に位置する点を通過するような視野方向であり、前記第2の楕円(80)は、前記第1の楕円(70)より小さい、ステップと、
を含む、車両包囲視野を生成するための方法。
【請求項13】
前記車両視野を一水平方向に変更する命令が検出された場合、前記仮想カメラ場所は、最初は変更されないまま保たれ、前記検出された命令に応えて、前記視野方向は、前記視野方向が前記第2の楕円(80)上に位置する点を通過するように変更され、前記第2の楕円(80)上に位置する前記点は、前記視野方向が変更されると、前記第2の楕円(80)上を前記一水平方向に移動する、請求項12に記載の車両包囲視野を生成するための方法。
【請求項14】
前記仮想カメラ場所は、前記第2の楕円(80)によって画定される平面の中心での前記視野方向の所定の最大開放角が取得されるまで変更されないまま保たれ、前記車両視野を前記一水平方向にさらに変更する命令が検出されると、前記所定の最大開放角が到達された際、前記仮想カメラ場所は、前記第1の楕円上を前記一水平方向に移動され、前記視野方向は、前記第2の楕円(80)上の点を通過し続ける、請求項13に記載の車両包囲視野を生成するための方法。
【請求項15】
前記第1の楕円(70)上の前記仮想カメラ場所が前記一水平方向に移動されると、前記第1の楕円(70)上の前記仮想カメラ場所の前記場所のそれぞれに対して前記視野方向は、前記視野方向が前記第2の楕円(80)上に位置する点を通過し続けるように決定され、前記点は、前記第1の楕円(70)上での前記仮想カメラ場所の前記場所のそれぞれの移動中に前記視野方向の前記所定の最大開放角が維持されるように決定される、請求項14に記載の車両包囲視野を生成するための方法。
【請求項16】
前記仮想ユーザ車両視野を生成するために、前記仮想カメラ場所が前記車両背後の前記第1の楕円(70)の長軸上に位置する前記第1の楕円の点上である、開始車両視野が決定され、前記視野方向は、前記車両の長軸および前記第1の楕円の長軸に対して平行である、請求項12〜15のいずれか一項に記載の車両包囲視野を生成するための方法。
【請求項17】
前記車両視野を反対の水平方向に変更する命令が検出されると、前記仮想カメラ場所は、最初は変更されないまま保たれ、前記検出された命令に応えて、前記視野方向は、前記視野方向が前記第2の楕円上に位置する点を通過するように変更され、前記点は、前記視野方向が変更されると、前記第2の楕円を反対の水平方向に移動する、請求項12〜16のいずれか一項に記載の車両包囲視野を生成するための方法。
【請求項18】
前記仮想カメラ場所は、底垂直高さから前記車両上方の鳥瞰視野に垂直面内で変更され、前記第1および前記第2の楕円の前記寸法は、対応する垂直高さに依存する、請求項12〜17のいずれか一項に記載の車両包囲視野を生成するための方法。
【請求項19】
前記仮想カメラ場所は、前記第1の楕円の第1の底垂直高さでのその短軸を中心とした回転によって画定される第1の楕円形状体上で前記垂直方向に移動され、前記視野方向は、前記第2の楕円の第2の底垂直高さでのその短軸を中心とした回転によって画定される第2の楕円形状体上に位置する点を通過し続ける、請求項18に記載の車両包囲視野を生成するための方法。
【請求項20】
回動ボタンが一方向または反対方向に回動されると、前記車両視野を前記一水平方向または前記反対水平方向に変更するための前記命令が検出される、請求項12〜19のいずれか一項に記載の車両包囲視野を生成するための方法。
【請求項21】
前記生成された仮想ユーザ車両視野は、ディスプレイ上に表示される、請求項12〜20のいずれか一項に記載の車両包囲視野を生成するための方法。
【請求項22】
前記仮想カメラ場所は、前記ボウル内部に位置する、請求項12〜21のいずれか一項に記載の車両包囲視野を生成するための方法。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate

【図9】
image rotate

【図10】
image rotate