鳥瞰画像生成装置および方法
【課題】車両周囲に空中障害物が存在する場合に、自車両と空中障害物との間の距離を正確に表した鳥瞰画像を生成することが可能な「鳥瞰画像生成装置および方法」を提供する。
【解決手段】車両周囲でカメラ1がある方向に存在する障害物であって、車両が進行した場合に接触する恐れのある接触予想部分50が路面から上方の或る高さの位置に存在する空中障害物200が検出された場合に、接触予想部分50が存在する高さの位置に仮想投影面VPを設定し、撮影画像の各画素を仮想投影面VPに投影するような視点変換処理を行うようにすることにより、投影面の高さと空中障害物200の接触予想部分50の高さとが一致するようにして、その高さにある接触予想部分50と車両との距離が視点変換後の鳥瞰画像において正確に表されるようにする。
【解決手段】車両周囲でカメラ1がある方向に存在する障害物であって、車両が進行した場合に接触する恐れのある接触予想部分50が路面から上方の或る高さの位置に存在する空中障害物200が検出された場合に、接触予想部分50が存在する高さの位置に仮想投影面VPを設定し、撮影画像の各画素を仮想投影面VPに投影するような視点変換処理を行うようにすることにより、投影面の高さと空中障害物200の接触予想部分50の高さとが一致するようにして、その高さにある接触予想部分50と車両との距離が視点変換後の鳥瞰画像において正確に表されるようにする。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は鳥瞰画像生成装置および方法に関し、特に、カメラにより撮影した自車両周囲の画像を視点変換処理することにより、自車両の上方の仮想視点から見た鳥瞰画像を生成する装置および方法に関するものである。
【背景技術】
【0002】
従来、自車両の前後左右に複数のカメラを設置し、当該複数のカメラにより撮影した自車両周囲の画像を視点変換処理することにより、自車両の上方の仮想視点から見た鳥瞰画像(以下、車両周辺鳥瞰画像と称する)を生成し、当該車両周辺鳥瞰画像をディスプレイ等の表示装置に表示する技術が提案されている(例えば、特許文献1参照)。
【特許文献1】特許第3300334号公報
【0003】
また、自車両の所定位置に設置された1つのカメラにより撮影した自車両周囲の画像を視点変換処理することにより、自車両周囲のカメラ撮影方向を上方の仮想視点から見た鳥瞰画像(以下、一方向鳥瞰画像と称する)を生成し、当該一方向鳥瞰画像をディスプレイ等の表示装置に表示する技術も提案されている。
【0004】
これらの車両周辺鳥瞰画像表示技術または一方向鳥瞰画像表示技術(以下、総称して鳥瞰画像表示技術と称する)によれば、運転者は、自車両の表示装置に表示された車両周辺鳥瞰画像または一方向鳥瞰画像を確認することで、自車両とその周囲の障害物との位置関係を把握し、自車両と障害物との衝突等を防ぐように運転することができる。
【0005】
この鳥瞰画像表示技術においてカメラにより撮影された画像に対して行う視点変換処理は、自車両周囲の路面の高さに投影面を設定して、撮影画像の各画素を当該投影面に投影するものである。路面の高さを視点変換処理の基準にしているので、立体的な障害物は、それが路面に接する部分を基点として、カメラ(自車両)から見て遠方に倒れ込むような形で表示されることとなる。この場合でも、自車両と障害物との間の路面上での絶対距離が正確に表されているので、運転者は、自車両とその周囲の障害物との距離感をほぼ正確に把握することができる。
【発明の開示】
【発明が解決しようとする課題】
【0006】
しかしながら、車両周囲にある障害物が、自車両が進行した場合に接触する恐れのある部分(以下、接触予想部分と称する)が路面から上方の或る高さの位置に存在するような立体物の場合には、接触予想部分の画像は投影の結果、自車両からの実際の距離よりも遠くに表示されてしまう。このため、車両をその障害物の方向に進行させたときに、障害物が急激に近づくといった違和感を運転者に与えたり、運転者の停止動作が間に合わずに車両が障害物に衝突してしまったりするという問題があった。
【0007】
このような問題を引き起こす障害物としては、例えば物干し竿の竿が考えられる。すなわち、両側の支柱は自車両の進行方向になくて障害にならないものの、両支柱間に架けられた竿が自車両の進行方向にある場合、この竿が上述の問題を引き起こす障害物となる。また、路面から上方に向かってほぼまっすぐに伸びておらず、途中から自車両側に屈曲している形状をした立体物とか、車両進行方向にある壁面のある高さから自車両側に突起している形状の立体物なども、上述の問題を引き起こす障害物となる。以下、この問題を引き起こす障害物のことを空中障害物と称する。
【0008】
図13は、上述した従来の問題点を説明するための図である。この図13は、空中障害物の接触予想部分が自車両からの実際の距離よりも遠くに表示されてしまう原理を示したものである。図13(a)は、自車両100と空中障害物200との位置関係および空中障害物200の路面への投影の様子を示す。図13(b)は、路面への投影による視点変換処理により生成された一方向鳥瞰画像を示す。
【0009】
ここでは一例として、2つの支柱201,202の間に架設された竿が、空中障害物200として自車両100の後方に存在する場合について説明している。図13(a)に示すように、自車両100から空中障害物200までの実際の距離はD1であるとする。この場合に、カメラ300の位置を基準として、空中障害物200の画像を路面の高さに設定した投影面に投影すると、自車両100から距離D2(>D1)の位置に空中障害物200の画像が視点変換されてしまう。
【0010】
このため、図13(b)に示すように、空中障害物200の画像は、自車両100からの実際の距離D1よりも遠くに表示されてしまう。なお、図13(b)に示す点線は、一方向鳥瞰画像上に重畳して表示されるガイドラインであり、自車両100から所定の距離(例えば、50cm)の位置に表示される。図13の例は、ガイドラインが表示される位置と同じ距離のところに空中障害物200が存在する場合を示したものである(D1=50cm)。このように、運転者の便宜のためにガイドラインが表示されていても、空中障害物200の表示されている位置に狂いが生じているので、運転者が混乱しやすいという問題があった。
【0011】
本発明は、このような問題を解決するために成されたものであり、車両周囲に空中障害物が存在する場合に、自車両と空中障害物との間の距離を正確に表した鳥瞰画像を生成して表示できるようにすることを目的とする。
【課題を解決するための手段】
【0012】
上記した課題を解決するために、本発明では、車両の周囲で撮像装置がある方向に存在する障害物であって、車両が進行した場合に接触する恐れのある接触予想部分が路面から上方の或る高さの位置に存在する障害物が検出された場合に、接触予想部分が存在する高さの位置に仮想投影面を設定し、撮影画像の各画素を仮想投影面に投影するような視点変換処理を行うことにより鳥瞰画像を生成するようにしている。
【0013】
本発明の他の態様では、車両から障害物の接触予想部分までの範囲内にある画像に関しては路面の高さに設定した投影面に各画素を投影するような視点変換処理を行い、接触予想部分より遠い範囲の画像に関しては仮想投影面に各画素を投影するような視点変換処理を行うようにしている。
【0014】
本発明の更に別の態様では、撮影画像の各画素を路面の高さに設定した投影面に投影するような視点変換処理を行う路面投影モードと、撮影画像の各画素を仮想投影面に投影するような視点変換処理を行う仮想平面投影モードとを有し、障害物が検出された後に、その検出された障害物の接触予想部分の高さに関連付けてあらかじめ記憶されている移動余裕距離だけ車両が移動したことを検出した時に、路面投影モードから仮想平面投影モードに切り替えるようにしている。
【0015】
ここで、車両の撮像装置設置面が障害物の方向に凹凸形状を有する場合、凸状態になっている部分に比べて、凹状態になっている部分には車体のない空間が存在する。その空間の水平方向(車両の進行方向)に対する長さは、路面からの高さに応じて異なっている。上述の移動余裕距離は、この路面からの高さに応じて異なる空間の長さに対応した値とする。
【発明の効果】
【0016】
上記のように構成した本発明によれば、車両が障害物と接触する恐れのある接触予想部分が路面から上方の或る高さの位置に存在する場合には、その高さの位置を投影面として撮影画像の各画素を投影するような視点変換処理が行われるので、投影面の高さと障害物の接触予想部分の高さとが一致し、その高さにある接触予想部分と車両との距離が視点変換後の鳥瞰画像において正確に表されるようになる。これにより、車両と障害物の接触予想部分との間の距離を正確に表した鳥瞰画像を得ることができる。
【0017】
なお、上述のように、障害物の接触予想部分の高さに仮想投影面を設定して視点変換処理を行った場合、路面よりも高い位置に投影面が設定される分だけ、鳥瞰画像が全体として撮像装置側(車両側)に圧縮される。この圧縮効果により、接触予想部分が自車両からの実際の距離よりも遠くに表されてしまうことを防止できる訳であるが、車両から障害物の接触予想部分までの範囲内にある画像も、車両側に圧縮されることとなる。
【0018】
これに対して、本発明の他の態様によれば、車両から障害物の接触予想部分までの範囲内にある画像に関しては路面の高さに設定した投影面に各画素を投影するような視点変換処理が行われるので、この部分の画像が車両側に圧縮されることはない。これにより、例えば車両から障害物の接触予想部分までの範囲内の路面上に白線(立体的な障害物ではない)が引かれていた場合に、その白線が車両側に近づいたような鳥瞰画像にはならず、車両と白線との実際の距離が視点変換後の鳥瞰画像において正確に表されるようになる。これにより、車両と障害物の接触予想部分との間の距離に加えて、車両および障害物の間にある白線と当該車両との距離を正確に表した鳥瞰画像を得ることができる。
【0019】
ところで、車両の撮像装置設置面が障害物の方向に凹凸形状を有する場合には、その障害物の接触予想部分が存在する高さに応じて、車両が障害物の方向に進行した場合に実際に接触するタイミングが異なる。すなわち、車両の凸状部分の高さが障害物の接触予想部分の高さと一致していない場合は、高さが一致している場合に比べて、車両が障害物と接触するタイミングは遅くなる。
【0020】
本発明の更に別の態様によれば、路面投影モードを仮想平面投影モードに切り替えるタイミングが、障害物が検出された直後ではなく、その後に移動余裕距離だけ車両が移動するタイミングまで遅らせられる。移動余裕距離は、車両の凸状部分と凹状部分との間の空間距離を考慮して設定されているので、仮想平面投影モードに切り替わるタイミングが遅れても、実際に車両が障害物と接触してしまうまでには余裕がある。これにより、仮想投影面を設定した視点変換処理によって画像が圧縮されるタイミングをできるだけ遅らせることができる。
【発明を実施するための最良の形態】
【0021】
(第1の実施形態)
以下、本発明の一実施形態を図面に基づいて説明する。図1は、第1の実施形態による鳥瞰画像生成装置10の構成例を示すブロック図である。図1において、1は自車両の周辺を撮影するために自車両に設置されたカメラであり、例えば自車両の後部面で所定の高さの位置に配置され、自車両後方の画像を撮影する。カメラ1は、例えば魚眼レンズのような超広角レンズを備え、自車両後方の広範囲を撮影可能となっている。
【0022】
また、2は超音波センサであり、発信した超音波の反射波に基づき自車両の周辺における障害物の有無および自車両から障害物までの距離を検出する。超音波センサ2は、センサヘッドから超音波を発信し、障害物で反射してくる超音波を再度センサヘッドで受信し、この超音波の発信から受信までの時間を計測することで、対象物の位置を検出する。なお、ここでは超音波センサ2を用いているが、ミリ波レーダーなど他のセンサを用いても良い。
【0023】
3は障害物判定部であり、超音波センサ2により障害物が検出された場合に、それが空中障害物かどうかを判定する。空中障害物は、自車両の周囲でカメラ1がある後方に存在する立体物であって、自車両が後方に進行した場合に接触する恐れのある接触予想部分が路面から上方の或る高さの位置に存在する立体物のことをいう。上述した超音波センサ2および障害物判定部3により本発明の障害物検出部が構成される。
【0024】
図2は、接触予想部分50が路面から上方の或る高さの位置に存在する空中障害物200の一例を示す図である。空中障害物200の例としては、図2(a)に示すように、路面から上方に向かってほぼまっすぐに伸びておらず、途中から自車両100側に屈曲している形状をした立体物が考えられる。また、図2(b)に示すように、車両進行方向(後方)にある壁面のある高さから自車両100側に突起している形状の立体物なども空中障害物200の1つである。これ以外にも、物干し竿の竿などが空中障害物200の一例として考えられる。
【0025】
上述のように、超音波センサ2は、超音波の発信から受信までの時間を計測することで対象物の位置を検出するが、この対象物が空中障害物200の場合は、超音波センサ2が様々な高さに発信した超音波のうち、接触予想部分50で反射してくる超音波の計測時間が、他の部分で反射してくる超音波の計測時間よりも短くなる。よって、障害物判定部3は、計測時間の最も短い部分が路面から上方の或る高さの位置に存在する立体物が超音波センサ2により検出されている場合に、その立体物は空中障害物200であると判断する。これと同時に、障害物判定部3は、接触予想部分50が存在する路面からの高さも検出する。
【0026】
さらに、障害物判定部3は、検出した接触予想部分50の高さが、カメラ1の設置されている高さよりも低いか否かを判定する。例えば、障害物判定部3は、カメラ1の高さを既知の情報として保持しており、この既知のカメラ1の高さと、障害物判定部3が自身で検出した接触予想部分50の高さとを比較することにより、接触予想部分50の高さがカメラ1の高さよりも低いか否かを判定する。
【0027】
4は画像入力部であり、カメラ1により撮影された車両周囲の画像を鳥瞰画像生成装置10内に入力する。5は鳥瞰画像生成部であり、画像入力部4により入力されたカメラ1の撮影画像を視点変換することにより、自車両の上方の仮想視点から見た一方向鳥瞰画像を生成する。鳥瞰画像生成部5は、視点変換処理部5aおよびマッピングテーブル情報記憶部5bにより構成されている。視点変換処理部5aは、画像入力部4からカメラ1の撮影画像を入力し、マッピングテーブル情報記憶部5bに記憶されているマッピングテーブル情報(座標変換情報)に従って、自車両の周辺を上方から見たときの一方向鳥瞰画像を生成する。
【0028】
マッピングテーブル情報記憶部5bは、カメラ1により撮影される画像の画素位置と、自車両の周辺を上方の仮想視点から見た一方向鳥瞰画像の画素位置との対応関係を記載した情報、すなわち、撮影画像のある画素が一方向鳥瞰画像のどの画素に対応するかを示す座標変換情報からなるマッピングテーブル情報を記憶している。
【0029】
6はモード制御部であり、障害物判定部3による空中障害物200の検出結果に応じて、鳥瞰画像生成部5の動作モードを制御する。鳥瞰画像生成部5は、画像入力部4により入力された画像の各画素を車両周囲の路面の高さに設定した投影面に投影するような視点変換処理を行う路面投影モードと、画像入力部4により入力された画像の各画素を仮想投影面(詳しくは後述する)に投影するような視点変換処理を行う仮想平面投影モードとを有している。
【0030】
モード制御部6は、障害物判定部3により自車両後方に空中障害物200が検出され、かつ、その空中障害物200の接触予想部分50の高さがカメラ1の高さより低いと判定された時に、路面投影モードから仮想平面投影モードに切り替えるように制御する。それ以外の状況下、すなわち、空中障害物200が存在しない場合および空中障害物200が存在していてもその接触予想部分50の高さがカメラ1の高さより高い場合には、モード制御部6は鳥瞰画像生成部5を路面投影モードに設定する。
【0031】
路面投影モードにおいて、鳥瞰画像生成部5の視点変換処理部5aは、路面の高さに投影面を設定し、画像入力部40により入力された画像の各画素を路面に投影するような視点変換処理を行うことにより、車両の周囲でカメラ1がある方向を上方の仮想視点から見た一方向鳥瞰画像を生成する。具体的には、マッピングテーブル情報記憶部5bは、路面の高さに対応した視点変換用マッピングテーブルを記憶している。視点変換処理部5aは、この路面の高さを投影面とする視点変換用マッピングテーブルを用いて視点変換処理を行う。
【0032】
一方、仮想平面投影モードにおいて、鳥瞰画像生成部5の視点変換処理部5aは、図3に示すように、空中障害物200の接触予想部分50が存在する高さの位置に仮想投影面VPを設定し、画像入力部40により入力された画像の各画素を仮想投影面VPに投影するような視点変換処理を行うことにより、自車両100の周囲でカメラ1がある方向を上方の仮想視点から見た一方向鳥瞰画像を生成する。
【0033】
具体的には、鳥瞰画像生成部5のマッピングテーブル情報記憶部5bは、路面からの高さが異なる複数の仮想投影面VPに対応した複数の視点変換用マッピングテーブルを記憶している。視点変換処理部5aは、障害物判定部3により検出された空中障害物200の接触予想部分50の高さに対応する仮想投影面VPに対応した視点変換用マッピングテーブルを用いて、視点変換処理を行う。
【0034】
例えば、マッピングテーブル情報記憶部5bは、路面からの高さが10cm、20cm、30cm、・・・と10cm刻みで異なる複数の仮想投影面VPに対応した複数の視点変換用マッピングテーブルを記憶している。視点変換処理部5aは、障害物判定部3により検出された接触予想部分50の高さに仮想投影面VPを設定し、その仮想投影面VPの高さに最も近い高さに対応した視点変換用マッピングテーブルを用いて視点変換処理を行う。
【0035】
なお、障害物判定部3により空中障害物200が複数検出された場合には、視点変換処理部5aは、自車両100から複数の空中障害物200の接触予想部分50までの距離に基づいて、自車両100から最も近い位置の空中障害物200の接触予想部分50が存在する高さの位置に仮想投影面VPを設定する。そして、その設定した仮想投影面VPの高さに最も近い高さに対応した視点変換用マッピングテーブルを用いて視点変換処理を行う。
【0036】
7は表示制御部であり、鳥瞰画像生成部5により生成された一方向鳥瞰画像をディスプレイ等の表示部8に表示するための制御を行う。図4は、鳥瞰画像生成部5により生成された一方向鳥瞰画像の一例を示す図である。ここでは一例として、自車両100から50cm離れた後方に空中障害物200として物干し竿の竿が存在し、一方向鳥瞰画像上で自車両100から50c100mの位置にガイドライン(点線で示す)が重畳して表示された例を示している。
【0037】
本実施形態では、自車両の後方に空中障害物200が存在する場合には、その空中障害物200の接触予想部分50の高さに仮想投影面VPを設定し、撮影画像の各画素をその仮想投影面VPに投影するような視点変換処理を行うので、投影面の高さと接触予想部分50の高さとが一致する。このため、接触予想部分50と自車両100との距離が、視点変換後の一方向鳥瞰画像において正確に表されるようになる。図4の例では、一方向鳥瞰画像上で自車両100から50cmの場所に表示されるガイドラインの表示位置と、自車両100から50cm離れた後方に存在する空中障害物200の接触予想部分50の表示位置とが正確に一致している。
【0038】
次に、上記のように構成した第1の実施形態による鳥瞰画像生成装置10の動作を説明する。図5は、第1の実施形態による鳥瞰画像生成装置10の動作例を示すフローチャートである。
【0039】
図5において、まず、画像入力部4は、自車両の後部面に設置されたカメラ1により撮影された車両後方の画像を入力する(ステップS1)。次に、超音波センサ2および障害物判定部3は、自車両の後方における空中障害物200を検出する(ステップS2)。ここで障害物判定部3は、自車両の後方に空中障害物200が存在するか否か、存在する場合にはその空中障害物200の接触予想部分50の高さを検出する。
【0040】
次にモード制御部6は、接触予想部分50の高さがカメラ1の高さより低い位置にある空中障害物200が障害物判定部3により検出されたか否かを判定する(ステップS3)。ここで、カメラ1の高さより低い位置に接触予想部分50の存在する空中障害物200が障害物判定部3により検出されたと判定した場合に、モード制御部6は、鳥瞰画像生成部5を仮想平面投影モードに設定する(ステップS4)。
【0041】
仮想平面投影モードが設定されると、鳥瞰画像生成部5の視点変換処理部5aは、自車両から最も近くにある空中障害物200の接触予想部分50の高さに仮想投影面VPを設定する(ステップS5)。そして、視点変換処理部5aは、ステップS1で入力された画像の各画素を、ステップS5で設定した仮想投影面VPに投影するような視点変換処理を行うことにより、自車両後方でカメラ1がある方向を上方の仮想視点から見た一方向鳥瞰画像を生成する(ステップS6)。
【0042】
一方、モード制御部6は、自車両後方でカメラ1の高さより低い位置に接触予想部分50の存在する空中障害物200が障害物判定部3により検出されていないと判断した時、すなわち、自車両後方に空中障害物200が存在しないことが障害物判定部3により検出された場合、または、空中障害物200が存在していてもその接触予想部分50の高さがカメラ1の高さより高いことが障害物判定部3により検出された場合に、モード制御部6は、鳥瞰画像生成部5を路面投影モードに設定する(ステップS7)。
【0043】
路面投影モードが設定されると、鳥瞰画像生成部5の視点変換処理部5aは、路面の高さに投影面を設定する(ステップS8)。そして、視点変換処理部5aは、ステップS1で入力された画像の各画素を路面に投影するような視点変換処理を行うことにより、自車両後方でカメラ1がある方向を上方の仮想視点から見た一方向鳥瞰画像を生成する(ステップS6)。
【0044】
以上詳しく説明したように、第1の実施形では、自車両周囲に空中障害物200が検出された場合に、その空中障害物200の接触予想部分50が存在する高さに仮想投影面VPを設定し、撮影画像の各画素を仮想投影面VPに投影するような視点変換処理を行うことにより一方向鳥瞰画像を生成するようにしている。このため、投影面の高さと空中障害物200の接触予想部分50の高さとが一致し、その高さにある接触予想部分50と車両との距離が視点変換後の一方向鳥瞰画像において正確に表されるようになる。これにより、図4に示したように、自車両と空中障害物200の接触予想部分50との間の距離を正確に表した一方向鳥瞰画像を得ることができる。
【0045】
(第2の実施形態)
次に、本発明の第2の実施形態を図面に基づいて説明する。図6は、第2の実施形態による鳥瞰画像生成装置20の構成例を示すブロック図である。なお、この図6において、図1に示した符号と同一の符号を付したものは同一の機能を有するものであるので、ここでは重複する説明を省略する。
【0046】
図6に示す第2の実施形態が図1に示した第1の実施形態と異なる点は、鳥瞰画像生成部5の視点変換処理部5cの処理内容である。すなわち、図6に示す第2の実施形態では、図1に示した視点変換処理部5aの代わりに、これとは処理内容の異なる視点変換処理部5cを備えている。
【0047】
視点変換処理部5cは、画像入力部4により入力された画像の全領域のうち、自車両から接触予想部分50までの距離の範囲内の画像部分に対しては、当該範囲内の画像部分の各画素を路面に投影するような視点変換処理を行う。すなわち、路面を投影面とした視点変換用マッピングテーブルを用いて視点変換処理を行う。また、車両から接触予想部分50までの距離の範囲外の画像部分に対しては、当該範囲外の画像部分の各画素を仮想投影面VPに投影するような視点変換処理を行う。すなわち、接触予想部分50の高さに対応する仮想投影面VPに対応した視点変換用マッピングテーブルを用いて視点変換処理を行う。
【0048】
図7は、第2の実施形態による投影面を示す図である。図7に示すように、視点変換処理部5cは、障害物判定部3により空中障害物200が検出された場合に、自車両100から見て空中障害物200の接触予想部分50より手前に位置する領域の画像部分に対して路面を投影面RPに設定するとともに、自車両100から見て空中障害物200の接触予想部分50より遠方に位置する領域の画像部分に対して仮想投影面VPを設定して視点変換処理を行う。
【0049】
第1の実施形態のように、撮影画像の全体を対象として、空中障害物200の接触予想部分50の高さに仮想投影面VPを設定して視点変換処理を行った場合、路面よりも高い位置に投影面が設定される分だけ、路面を投影面とする場合に比べて一方向鳥瞰画像が全体としてカメラ1側(自車両側)に圧縮される。このため、自車両から空中障害物200の接触予想部分50までの範囲内にある画像部分(自車両から見て空中障害物200の接触予想部分50より手前に位置する領域の画像)も、自車両側に圧縮されることとなる。この場合に、接触予想部分50より手前の領域に白線(立体的な障害物ではない)が引かれていると、その白線が自車両側に近づいたような鳥瞰画像になってしまい、鳥瞰画像上に表示されている自車両と白線との距離が実際の距離よりも短くなってしまう。
【0050】
これに対して、第2の実施形態によれば、接触予想部分50より手前の領域の画像に関しては路面の高さに設定した投影面に各画素を投影するような視点変換処理を行うので、この手前の領域の画像が自車両側に圧縮されることはない。これにより、自車両から接触予想部分50までの範囲内の路面上に白線が引かれていた場合に、その白線が自車両側に近づいたような鳥瞰画像にはならず、自車両と白線との実際の距離が視点変換後の一方向鳥瞰画像において正確に表されるようになる。これにより、自車両と空中障害物200の接触予想部分50との間の距離に加えて、自車両および空中障害物200の間にある白線と当該自車両との距離も正確に表した一方向鳥瞰画像を得ることができる。
【0051】
(第3の実施形態)
次に、本発明の第3の実施形態を図面に基づいて説明する。図8は、第3の実施形態による鳥瞰画像生成装置30の構成例を示すブロック図である。なお、この図8において、図1に示した符号と同一の符号を付したものは同一の機能を有するものであるので、ここでは重複する説明を省略する。
【0052】
図8に示す第3の実施形態が図1に示した第1の実施形態と異なる点は、モード制御部16の処理内容である。すなわち、図8に示す第3の実施形態では、図1に示したモード制御部6の代わりに、これとは処理内容の異なるモード制御部16を備えている。また、図1に示した構成に加えて、車両移動量検出部17およびテーブル記憶部18を備えている。具体的には、第3の実施形態では、路面投影モードから仮想平面投影モードに切り替えるタイミングが第1の実施形態と異なっている。
【0053】
第3の実施形態では、カメラ1を設置する自車両の後部面が後方(障害物の方向)に凹凸形状を有することを考慮に入れて、路面投影モードから仮想平面投影モードに切り替えるタイミングを第1の実施形態と異ならせている。例えば、説明を分かりやすくするために、図9に示すように、車両の後部面がトランクルームの分だけ後方に凸状態になっている車両を想定する。この場合は、トランクルームの凸状態部に対して、トランクルームより下側の部分やトランクルームより上側の部分には空間(車体が存在しない部分)の凹状態部がある。
【0054】
このように空間が存在する場合、凸状態部の高さと空中障害物200の接触予想部分50の高さとが一致していなければ、自車両100が接触予想部分50に実際に接触してしまうまでに自車両100が後方に移動可能な走行距離には余裕ができる。この移動余裕距離は、凹状態部にできた空間の水平方向の長さとほぼ同じである。そして、その空間の長さ(最も凸状態になっている面と凹状態になっている面との距離差)は、車両の形状にもよるが、路面からの高さに応じて異なっている(図9中に示した水平方向の両矢印を参照)。
【0055】
そこで、テーブル記憶部18は、接触予想部分50の路面からの高さと自車両100の移動余裕距離とを関連付けて成る距離テーブルを記憶している。すなわち、テーブル記憶部18は、路面からの高さに応じた空間の長さを移動余裕距離として記憶している。図10は、この距離テーブルの一例を示す図である。図10の距離テーブルに示す1行目の情報は、仮に接触予想部分50が路面から10cmの高さにあった場合に自車両100が接触予想部分50に接触してしまうまでの移動余裕距離が、凸状態部であるトランクルームの高さに接触予想部分50があった場合に自車両100が接触予想部分50に接触するまでの移動余裕距離に比べて、50cm長いことを示している。
【0056】
同様に、距離テーブルの2行目の情報は、仮に接触予想部分50が路面から20cmの高さにあった場合に自車両が接触予想部分50に接触してしまうまでの移動余裕距離が、凸状態部であるトランクルームの高さに接触予想部分50があった場合に自車両が接触予想部分50に接触するまでの移動余裕距離に比べて、30cm長いことを示している。距離テーブルの3〜5行目の情報において、路面からの高さが30〜50cmのときに移動余裕距離が何れも0cmとなっているのは、30〜50cmの高さの位置に凸状態部であるトランクルームが存在することを示している。
【0057】
なお、図10に示す距離テーブルの例では、トランクルームの後部面で路面から50cmの高さの位置にカメラ1が設置されており、それより高い位置に接触予想部分50が存在する場合には仮想平面投影モードには移行しないことを想定している。路面からの高さが50cm以上の場合は仮想平面投影モードに移行しないので、50cm以上の高さに対する移動余裕距離は不要であり、50cmまでの高さに対応する移動余裕距離が距離テーブルとして記憶されている。
【0058】
図8に示す車両移動量検出部17は、自車両の移動量を検出する。例えば、鳥瞰画像生成装置3が搭載される自車両には自律航法センサ(図示せず)が備えられている。その自律航法センサは、自車両の所定走行距離毎に1個のパルスを出力する距離センサを備えている。車両移動量検出部17は、距離センサから出力されるパルスを逐次入力し、入力したパルス数に基づいて自車両の移動量を検出する。
【0059】
モード制御部16は、カメラ1よりも低い位置に接触予想部分50がある空中障害物200が障害物判定部3により検出された場合に、テーブル記憶部18に記憶されている距離テーブルを参照して、障害物判定部3により検出された接触予想部分50の高さに対応する自車両の移動余裕距離を取得する。ここで、接触予想部分50の高さと距離テーブルに記憶されている高さとが完全に一致しない場合は、接触予想部分50の高さに最も近い高さに対応する移動余裕距離を取得する。
【0060】
さらに、モード制御部16は、車両移動量検出部17により検出される自車両の移動量に基づいて、空中障害物200が検出された時点から、距離テーブルより取得した移動余裕距離だけ自車両が移動したか否かを監視する。そして、移動余裕距離だけ自車両が移動したことを検出した時に、モード制御部16は、路面投影モードから仮想平面投影モードに切り替える。
【0061】
次に、上記のように構成した第3の実施形態による鳥瞰画像生成装置30の動作を説明する。図11は、第3の実施形態による鳥瞰画像生成装置30の動作例を示すフローチャートである。
【0062】
図11において、まず、画像入力部4は、自車両の後部面に設置されたカメラ1により撮影された車両後方の画像を入力する(ステップS11)。次に、超音波センサ2および障害物判定部3は、自車両の後方における空中障害物200を検出する(ステップS12)。ここで障害物判定部3は、自車両の後方に空中障害物200が存在するか否か、存在する場合にはその空中障害物200の接触予想部分50の高さを検出する。
【0063】
次にモード制御部16は、接触予想部分50の高さがカメラ1の高さより低い位置にある空中障害物200が障害物判定部3により検出されたか否かを判定する(ステップS13)。ここで、カメラ1の高さより低い位置に接触予想部分50の存在する空中障害物200が障害物判定部3により検出されたと判定した場合に、モード制御部16は、テーブル記憶部18に記憶されている距離テーブルを参照し、接触予想部分50の高さに対応する移動余裕距離を取得する。そして、モード制御部6は、車両移動量検出部17により検出される自車両の移動量に基づいて、空中障害物200が検出された時点から移動余裕距離だけ自車両が移動したか否かを判定する(ステップS14)。
【0064】
ここで、移動余裕距離だけ自車両が移動したことを検出するまで、ステップS14の判定処理を繰り返す。そして、移動余裕距離だけ自車両が移動したことをモード制御部16が検出すると、モード制御部16は、鳥瞰画像生成部5を仮想平面投影モードに設定する(ステップS15)。
【0065】
仮想平面投影モードが設定されると、鳥瞰画像生成部5の視点変換処理部5aは、自車両から最も近くにある空中障害物200の接触予想部分50の高さに仮想投影面VPを設定する(ステップS16)。そして、視点変換処理部5aは、ステップS11で入力された画像の各画素を、ステップS5で設定した仮想投影面VPに投影するような視点変換処理を行うことにより、自車両後方でカメラ1がある方向を上方の仮想視点から見た一方向鳥瞰画像を生成する(ステップS17)。
【0066】
一方、モード制御部16は、自車両後方でカメラ1の高さより低い位置に接触予想部分50の存在する空中障害物200が障害物判定部3により検出されていないと判断した時、すなわち、自車両後方に空中障害物200が存在しないことが障害物判定部3により検出された場合、または、空中障害物200が存在していてもその接触予想部分50の高さがカメラ1の高さより高いことが障害物判定部3により検出された場合に、モード制御部16は、鳥瞰画像生成部5を路面投影モードに設定する(ステップS18)。
【0067】
路面投影モードが設定されると、鳥瞰画像生成部5の視点変換処理部5aは、路面の高さに投影面を設定する(ステップS19)。そして、視点変換処理部5aは、ステップS11で入力された画像の各画素を路面に投影するような視点変換処理を行うことにより、自車両後方でカメラ1がある方向を上方の仮想視点から見た一方向鳥瞰画像を生成する(ステップS17)。
【0068】
以上詳しく説明したように、第3の実施形態では、障害物判定部3により空中障害物200が検出された後に、その検出された空中障害物200の接触予想部分50の高さに対応する移動余裕距離だけ自車両が移動したことをモード制御部16が検出した時に、路面投影モードから仮想平面投影モードに切り替えるようにしている。
【0069】
これにより、路面投影モードから仮想平面投影モードに切り替えるタイミングが、空中障害物200が検出された直後ではなく、その後に移動余裕距離だけ車両が移動するタイミングまで遅らせられる。移動余裕距離は、車両の凸状部分と凹状部分との間の空間距離を考慮して設定されているので、仮想平面投影モードに切り替わるタイミングが遅れても、実際に車両が空中障害物200の接触予想部分50と接触してしまうまでには余裕がある。これにより、仮想投影面VPを設定した視点変換処理によって画像が圧縮されるタイミングをできるだけ遅らせることができる。
【0070】
なお、図8において、視点変換処理部5aの代わりに図6に示した視点変換処理部5cを用いても良い。
【0071】
以上第1〜第3の実施形態では、車両後部に設置した1つのカメラ1による撮影画像から車両後方の一方向鳥瞰画像を生成する場合を例にとって説明したが、車両の前後左右に設置した4つのカメラによる撮影画像から車両周辺鳥瞰画像を生成する場合にも、本発明を同様に適用することが可能である。図12は、その一例である鳥瞰画像生成装置40の構成例を示す図である。なお、この図12において、図1に示した符号と同一の符号を付したものは同一の機能を有するものであるので、ここでは重複する説明を省略する。
【0072】
図12において、21は自車両の周辺を撮影するために自車両の異なる位置に設置された複数のカメラであり、フロントカメラ21a、左サイドカメラ21b、右サイドカメラ21c、リアカメラ21dにより構成されている。フロントカメラ21aは自車両の前面に配置され、前方の範囲の画像を撮影する。左サイドカメラ21bは自車両の左側面に配置され、左方の範囲の画像を撮影する。右サイドカメラ21cは自車両の右側面に配置され、右方の範囲の画像を撮影する。リアカメラ21dは自車両の後部面に配置され、後方の範囲の画像を撮影する。
【0073】
22は超音波センサであり、例えば自車両の前後左右に設置されていて、その1つ1つは所定範囲の指向性を有している。23は障害物判定部であり、ある方向の超音波センサ22により障害物が検出された場合に、それが空中障害物200かどうかを判定する。さらに、障害物判定部23は、自車両から空中障害物200までの距離および接触予想部分50の高さも検出する。さらに、障害物判定部23は、検出した接触予想部分50の高さが、カメラ21の設置されている高さよりも低いか否かを判定する。
【0074】
25は視点変換処理部であり、複数のカメラ21a〜21dにより撮影された複数の車両周囲の画像をそれぞれ視点変換し、視点変換後の各画像を合成することにより、自車両の上方の仮想視点から見た車両周辺鳥瞰画像を生成する。視点変換処理部25は、視点変換処理部25a、マッピングテーブル情報記憶部25bおよび画像記憶部25cにより構成されている。
【0075】
視点変換処理部25aは、画像入力部4から複数のカメラ21a〜21dの撮影画像を入力し、マッピングテーブル情報記憶部25bに記憶されているマッピングテーブル情報(座標変換情報)に従って、自車両の周辺を上方から見たときの背景画像を生成する。この背景画像は、自車両に設置された複数のカメラ21a〜21dにて撮影された車両周囲の画像に基づいて生成されるものである。したがって、背景画像に含まれているのは、実際の背景および背景に含まれる障害物のみとなり、自車両の画像は含まれていない。
【0076】
また、視点変換処理部25aは、自車両を上方から見た画像を示す自車両画像データを画像記憶部25cから読み出し、背景画像の所定の位置(例えば背景画像における自車両が存在する中央の位置)に合成する。これにより、背景画像と自車両画像とが合成された車両周辺鳥瞰画像を生成する。
【0077】
マッピングテーブル情報記憶部25bは、複数のカメラ21a〜21dにより撮影される画像の画素位置と、自車両の周辺を上方の仮想視点から見た背景画像の画素位置との対応関係を記載した情報、すなわち、撮影画像のある画素が背景画像のどの画素に対応するかを示す座標変換情報からなるマッピングテーブル情報を記憶している。画像記憶部25cは、自車両を上方から見た画像を示す自車両画像データを記憶しており、その自車両画像データが必要に応じて視点変換処理部25aにより読み出される。
【0078】
マッピングテーブル情報記憶部25bは、路面の高さに対応した視点変換用マッピングテーブルと、路面からの高さが異なる複数の仮想投影面VPに対応した複数の視点変換用マッピングテーブルとを記憶している。視点変換処理部25aは、路面投影モードが設定されているときは、路面の高さに対応した視点変換用マッピングテーブルを用いて視点変換処理を行う。一方、仮想平面投影モードが設定されているときは、障害物判定部3により検出された空中障害物200の接触予想部分50の高さに対応する仮想投影面VPに対応した視点変換用マッピングテーブルを用いて視点変換処理を行う。
【0079】
モード制御部26は、前後左右のそれぞれ毎に、障害物判定部23により自車両後方に空中障害物200が検出され、かつ、その空中障害物200の接触予想部分50の高さがカメラ21a〜21dの高さより低いと判定された時に、路面投影モードから仮想平面投影モードに切り替えるように制御する。
【0080】
例えば、自車両の前方に空中障害物200が検出され、かつ、その空中障害物200の接触予想部分50の高さがフロントカメラ21aの高さより低いと判定された時に、フロントカメラ21aにより撮影された画像に関しては、路面投影モードから仮想平面投影モードに切り替える。一方、前方以外では空中障害物200が存在しない場合および空中障害物200が存在していてもその接触予想部分50の高さがカメラ21b〜21dの高さより高い場合には、モード制御部26は、左サイドカメラ21b、右サイドカメラ21c、リアカメラ21dの3つのカメラにより撮影された画像に関しては、路面投影モードのままとする。
【0081】
なお、空中障害物200が検出された方向の撮影画像に対してのみ仮想平面投影モードを設定すると、その方向の背景画像のみが自車両側に圧縮されたものとなる。そこで、前後左右の少なくとも1つの方向において空中障害物200が検出された場合には、全ての方向の撮影画像に対して路面投影モードから仮想平面投影モードに切り替えるようにしても良い。
【0082】
また、上記第3の実施形態において、テーブル記憶部18を参照して取得した移動余裕距離が例えば50cmであったとしても、図9のような空中障害物200で接触予想部分50と壁面との間の距離差(凸部の長さ)が50cmより短い場合、実際の移動余裕距離は50cmもない。そこで、接触予想部分50と壁面との間の距離差は超音波センサ2により検出することが可能なので、この距離差がテーブル記憶部18を参照して取得した移動余裕距離よりも短い場合には、当該取得した移動余裕距離に変えて、当該距離差を移動余裕距離として設定するようにしても良い。
【0083】
その他、上記第1〜第3の実施形態は、何れも本発明を実施するにあたっての具体化の一例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその精神、またはその主要な特徴から逸脱することなく、様々な形で実施することができる。
【図面の簡単な説明】
【0084】
【図1】第1の実施形態による鳥瞰画像生成装置の構成例を示すブロック図である。
【図2】接触予想部分が路面から上方の或る高さの位置に存在する空中障害物の一例を示す図である。
【図3】第1の実施形態による視点変換処理部が設定する仮想投影面を示す図である。
【図4】第1の実施形態による鳥瞰画像生成部により生成された一方向鳥瞰画像の一例を示す図である。
【図5】第1の実施形態による鳥瞰画像生成装置の動作例を示すフローチャートである。
【図6】第2の実施形態による鳥瞰画像生成装置の構成例を示すブロック図である。
【図7】第2の実施形態による視点変換処理部が設定する投影面を示す図である。
【図8】第3の実施形態による鳥瞰画像生成装置の構成例を示すブロック図である。
【図9】第3の実施形態による移動余裕距離を説明するための図である。
【図10】第3の実施形態によるテーブル記憶部に記憶される距離テーブルの一例を示す図である。
【図11】第3の実施形態による鳥瞰画像生成装置の動作例を示すフローチャートである。
【図12】車両周辺鳥瞰画像を生成する場合に本発明を適用した鳥瞰画像生成装置の構成例を示す図である。
【図13】従来の問題点を説明するための図である。
【符号の説明】
【0085】
1 カメラ
2 超音波センサ
3 障害物判定部
4 画像入力部
5 鳥瞰画像生成部
5a,5c 視点変換処理部
5b マッピングテーブル情報記憶部
6 モード制御部
16 モード制御部
17 車両移動量検出部
18 テーブル記憶部
10,20,30,40 鳥瞰画像生成装置
50 接触予想部分
200 空中障害物
VP 仮想投影面
【技術分野】
【0001】
本発明は鳥瞰画像生成装置および方法に関し、特に、カメラにより撮影した自車両周囲の画像を視点変換処理することにより、自車両の上方の仮想視点から見た鳥瞰画像を生成する装置および方法に関するものである。
【背景技術】
【0002】
従来、自車両の前後左右に複数のカメラを設置し、当該複数のカメラにより撮影した自車両周囲の画像を視点変換処理することにより、自車両の上方の仮想視点から見た鳥瞰画像(以下、車両周辺鳥瞰画像と称する)を生成し、当該車両周辺鳥瞰画像をディスプレイ等の表示装置に表示する技術が提案されている(例えば、特許文献1参照)。
【特許文献1】特許第3300334号公報
【0003】
また、自車両の所定位置に設置された1つのカメラにより撮影した自車両周囲の画像を視点変換処理することにより、自車両周囲のカメラ撮影方向を上方の仮想視点から見た鳥瞰画像(以下、一方向鳥瞰画像と称する)を生成し、当該一方向鳥瞰画像をディスプレイ等の表示装置に表示する技術も提案されている。
【0004】
これらの車両周辺鳥瞰画像表示技術または一方向鳥瞰画像表示技術(以下、総称して鳥瞰画像表示技術と称する)によれば、運転者は、自車両の表示装置に表示された車両周辺鳥瞰画像または一方向鳥瞰画像を確認することで、自車両とその周囲の障害物との位置関係を把握し、自車両と障害物との衝突等を防ぐように運転することができる。
【0005】
この鳥瞰画像表示技術においてカメラにより撮影された画像に対して行う視点変換処理は、自車両周囲の路面の高さに投影面を設定して、撮影画像の各画素を当該投影面に投影するものである。路面の高さを視点変換処理の基準にしているので、立体的な障害物は、それが路面に接する部分を基点として、カメラ(自車両)から見て遠方に倒れ込むような形で表示されることとなる。この場合でも、自車両と障害物との間の路面上での絶対距離が正確に表されているので、運転者は、自車両とその周囲の障害物との距離感をほぼ正確に把握することができる。
【発明の開示】
【発明が解決しようとする課題】
【0006】
しかしながら、車両周囲にある障害物が、自車両が進行した場合に接触する恐れのある部分(以下、接触予想部分と称する)が路面から上方の或る高さの位置に存在するような立体物の場合には、接触予想部分の画像は投影の結果、自車両からの実際の距離よりも遠くに表示されてしまう。このため、車両をその障害物の方向に進行させたときに、障害物が急激に近づくといった違和感を運転者に与えたり、運転者の停止動作が間に合わずに車両が障害物に衝突してしまったりするという問題があった。
【0007】
このような問題を引き起こす障害物としては、例えば物干し竿の竿が考えられる。すなわち、両側の支柱は自車両の進行方向になくて障害にならないものの、両支柱間に架けられた竿が自車両の進行方向にある場合、この竿が上述の問題を引き起こす障害物となる。また、路面から上方に向かってほぼまっすぐに伸びておらず、途中から自車両側に屈曲している形状をした立体物とか、車両進行方向にある壁面のある高さから自車両側に突起している形状の立体物なども、上述の問題を引き起こす障害物となる。以下、この問題を引き起こす障害物のことを空中障害物と称する。
【0008】
図13は、上述した従来の問題点を説明するための図である。この図13は、空中障害物の接触予想部分が自車両からの実際の距離よりも遠くに表示されてしまう原理を示したものである。図13(a)は、自車両100と空中障害物200との位置関係および空中障害物200の路面への投影の様子を示す。図13(b)は、路面への投影による視点変換処理により生成された一方向鳥瞰画像を示す。
【0009】
ここでは一例として、2つの支柱201,202の間に架設された竿が、空中障害物200として自車両100の後方に存在する場合について説明している。図13(a)に示すように、自車両100から空中障害物200までの実際の距離はD1であるとする。この場合に、カメラ300の位置を基準として、空中障害物200の画像を路面の高さに設定した投影面に投影すると、自車両100から距離D2(>D1)の位置に空中障害物200の画像が視点変換されてしまう。
【0010】
このため、図13(b)に示すように、空中障害物200の画像は、自車両100からの実際の距離D1よりも遠くに表示されてしまう。なお、図13(b)に示す点線は、一方向鳥瞰画像上に重畳して表示されるガイドラインであり、自車両100から所定の距離(例えば、50cm)の位置に表示される。図13の例は、ガイドラインが表示される位置と同じ距離のところに空中障害物200が存在する場合を示したものである(D1=50cm)。このように、運転者の便宜のためにガイドラインが表示されていても、空中障害物200の表示されている位置に狂いが生じているので、運転者が混乱しやすいという問題があった。
【0011】
本発明は、このような問題を解決するために成されたものであり、車両周囲に空中障害物が存在する場合に、自車両と空中障害物との間の距離を正確に表した鳥瞰画像を生成して表示できるようにすることを目的とする。
【課題を解決するための手段】
【0012】
上記した課題を解決するために、本発明では、車両の周囲で撮像装置がある方向に存在する障害物であって、車両が進行した場合に接触する恐れのある接触予想部分が路面から上方の或る高さの位置に存在する障害物が検出された場合に、接触予想部分が存在する高さの位置に仮想投影面を設定し、撮影画像の各画素を仮想投影面に投影するような視点変換処理を行うことにより鳥瞰画像を生成するようにしている。
【0013】
本発明の他の態様では、車両から障害物の接触予想部分までの範囲内にある画像に関しては路面の高さに設定した投影面に各画素を投影するような視点変換処理を行い、接触予想部分より遠い範囲の画像に関しては仮想投影面に各画素を投影するような視点変換処理を行うようにしている。
【0014】
本発明の更に別の態様では、撮影画像の各画素を路面の高さに設定した投影面に投影するような視点変換処理を行う路面投影モードと、撮影画像の各画素を仮想投影面に投影するような視点変換処理を行う仮想平面投影モードとを有し、障害物が検出された後に、その検出された障害物の接触予想部分の高さに関連付けてあらかじめ記憶されている移動余裕距離だけ車両が移動したことを検出した時に、路面投影モードから仮想平面投影モードに切り替えるようにしている。
【0015】
ここで、車両の撮像装置設置面が障害物の方向に凹凸形状を有する場合、凸状態になっている部分に比べて、凹状態になっている部分には車体のない空間が存在する。その空間の水平方向(車両の進行方向)に対する長さは、路面からの高さに応じて異なっている。上述の移動余裕距離は、この路面からの高さに応じて異なる空間の長さに対応した値とする。
【発明の効果】
【0016】
上記のように構成した本発明によれば、車両が障害物と接触する恐れのある接触予想部分が路面から上方の或る高さの位置に存在する場合には、その高さの位置を投影面として撮影画像の各画素を投影するような視点変換処理が行われるので、投影面の高さと障害物の接触予想部分の高さとが一致し、その高さにある接触予想部分と車両との距離が視点変換後の鳥瞰画像において正確に表されるようになる。これにより、車両と障害物の接触予想部分との間の距離を正確に表した鳥瞰画像を得ることができる。
【0017】
なお、上述のように、障害物の接触予想部分の高さに仮想投影面を設定して視点変換処理を行った場合、路面よりも高い位置に投影面が設定される分だけ、鳥瞰画像が全体として撮像装置側(車両側)に圧縮される。この圧縮効果により、接触予想部分が自車両からの実際の距離よりも遠くに表されてしまうことを防止できる訳であるが、車両から障害物の接触予想部分までの範囲内にある画像も、車両側に圧縮されることとなる。
【0018】
これに対して、本発明の他の態様によれば、車両から障害物の接触予想部分までの範囲内にある画像に関しては路面の高さに設定した投影面に各画素を投影するような視点変換処理が行われるので、この部分の画像が車両側に圧縮されることはない。これにより、例えば車両から障害物の接触予想部分までの範囲内の路面上に白線(立体的な障害物ではない)が引かれていた場合に、その白線が車両側に近づいたような鳥瞰画像にはならず、車両と白線との実際の距離が視点変換後の鳥瞰画像において正確に表されるようになる。これにより、車両と障害物の接触予想部分との間の距離に加えて、車両および障害物の間にある白線と当該車両との距離を正確に表した鳥瞰画像を得ることができる。
【0019】
ところで、車両の撮像装置設置面が障害物の方向に凹凸形状を有する場合には、その障害物の接触予想部分が存在する高さに応じて、車両が障害物の方向に進行した場合に実際に接触するタイミングが異なる。すなわち、車両の凸状部分の高さが障害物の接触予想部分の高さと一致していない場合は、高さが一致している場合に比べて、車両が障害物と接触するタイミングは遅くなる。
【0020】
本発明の更に別の態様によれば、路面投影モードを仮想平面投影モードに切り替えるタイミングが、障害物が検出された直後ではなく、その後に移動余裕距離だけ車両が移動するタイミングまで遅らせられる。移動余裕距離は、車両の凸状部分と凹状部分との間の空間距離を考慮して設定されているので、仮想平面投影モードに切り替わるタイミングが遅れても、実際に車両が障害物と接触してしまうまでには余裕がある。これにより、仮想投影面を設定した視点変換処理によって画像が圧縮されるタイミングをできるだけ遅らせることができる。
【発明を実施するための最良の形態】
【0021】
(第1の実施形態)
以下、本発明の一実施形態を図面に基づいて説明する。図1は、第1の実施形態による鳥瞰画像生成装置10の構成例を示すブロック図である。図1において、1は自車両の周辺を撮影するために自車両に設置されたカメラであり、例えば自車両の後部面で所定の高さの位置に配置され、自車両後方の画像を撮影する。カメラ1は、例えば魚眼レンズのような超広角レンズを備え、自車両後方の広範囲を撮影可能となっている。
【0022】
また、2は超音波センサであり、発信した超音波の反射波に基づき自車両の周辺における障害物の有無および自車両から障害物までの距離を検出する。超音波センサ2は、センサヘッドから超音波を発信し、障害物で反射してくる超音波を再度センサヘッドで受信し、この超音波の発信から受信までの時間を計測することで、対象物の位置を検出する。なお、ここでは超音波センサ2を用いているが、ミリ波レーダーなど他のセンサを用いても良い。
【0023】
3は障害物判定部であり、超音波センサ2により障害物が検出された場合に、それが空中障害物かどうかを判定する。空中障害物は、自車両の周囲でカメラ1がある後方に存在する立体物であって、自車両が後方に進行した場合に接触する恐れのある接触予想部分が路面から上方の或る高さの位置に存在する立体物のことをいう。上述した超音波センサ2および障害物判定部3により本発明の障害物検出部が構成される。
【0024】
図2は、接触予想部分50が路面から上方の或る高さの位置に存在する空中障害物200の一例を示す図である。空中障害物200の例としては、図2(a)に示すように、路面から上方に向かってほぼまっすぐに伸びておらず、途中から自車両100側に屈曲している形状をした立体物が考えられる。また、図2(b)に示すように、車両進行方向(後方)にある壁面のある高さから自車両100側に突起している形状の立体物なども空中障害物200の1つである。これ以外にも、物干し竿の竿などが空中障害物200の一例として考えられる。
【0025】
上述のように、超音波センサ2は、超音波の発信から受信までの時間を計測することで対象物の位置を検出するが、この対象物が空中障害物200の場合は、超音波センサ2が様々な高さに発信した超音波のうち、接触予想部分50で反射してくる超音波の計測時間が、他の部分で反射してくる超音波の計測時間よりも短くなる。よって、障害物判定部3は、計測時間の最も短い部分が路面から上方の或る高さの位置に存在する立体物が超音波センサ2により検出されている場合に、その立体物は空中障害物200であると判断する。これと同時に、障害物判定部3は、接触予想部分50が存在する路面からの高さも検出する。
【0026】
さらに、障害物判定部3は、検出した接触予想部分50の高さが、カメラ1の設置されている高さよりも低いか否かを判定する。例えば、障害物判定部3は、カメラ1の高さを既知の情報として保持しており、この既知のカメラ1の高さと、障害物判定部3が自身で検出した接触予想部分50の高さとを比較することにより、接触予想部分50の高さがカメラ1の高さよりも低いか否かを判定する。
【0027】
4は画像入力部であり、カメラ1により撮影された車両周囲の画像を鳥瞰画像生成装置10内に入力する。5は鳥瞰画像生成部であり、画像入力部4により入力されたカメラ1の撮影画像を視点変換することにより、自車両の上方の仮想視点から見た一方向鳥瞰画像を生成する。鳥瞰画像生成部5は、視点変換処理部5aおよびマッピングテーブル情報記憶部5bにより構成されている。視点変換処理部5aは、画像入力部4からカメラ1の撮影画像を入力し、マッピングテーブル情報記憶部5bに記憶されているマッピングテーブル情報(座標変換情報)に従って、自車両の周辺を上方から見たときの一方向鳥瞰画像を生成する。
【0028】
マッピングテーブル情報記憶部5bは、カメラ1により撮影される画像の画素位置と、自車両の周辺を上方の仮想視点から見た一方向鳥瞰画像の画素位置との対応関係を記載した情報、すなわち、撮影画像のある画素が一方向鳥瞰画像のどの画素に対応するかを示す座標変換情報からなるマッピングテーブル情報を記憶している。
【0029】
6はモード制御部であり、障害物判定部3による空中障害物200の検出結果に応じて、鳥瞰画像生成部5の動作モードを制御する。鳥瞰画像生成部5は、画像入力部4により入力された画像の各画素を車両周囲の路面の高さに設定した投影面に投影するような視点変換処理を行う路面投影モードと、画像入力部4により入力された画像の各画素を仮想投影面(詳しくは後述する)に投影するような視点変換処理を行う仮想平面投影モードとを有している。
【0030】
モード制御部6は、障害物判定部3により自車両後方に空中障害物200が検出され、かつ、その空中障害物200の接触予想部分50の高さがカメラ1の高さより低いと判定された時に、路面投影モードから仮想平面投影モードに切り替えるように制御する。それ以外の状況下、すなわち、空中障害物200が存在しない場合および空中障害物200が存在していてもその接触予想部分50の高さがカメラ1の高さより高い場合には、モード制御部6は鳥瞰画像生成部5を路面投影モードに設定する。
【0031】
路面投影モードにおいて、鳥瞰画像生成部5の視点変換処理部5aは、路面の高さに投影面を設定し、画像入力部40により入力された画像の各画素を路面に投影するような視点変換処理を行うことにより、車両の周囲でカメラ1がある方向を上方の仮想視点から見た一方向鳥瞰画像を生成する。具体的には、マッピングテーブル情報記憶部5bは、路面の高さに対応した視点変換用マッピングテーブルを記憶している。視点変換処理部5aは、この路面の高さを投影面とする視点変換用マッピングテーブルを用いて視点変換処理を行う。
【0032】
一方、仮想平面投影モードにおいて、鳥瞰画像生成部5の視点変換処理部5aは、図3に示すように、空中障害物200の接触予想部分50が存在する高さの位置に仮想投影面VPを設定し、画像入力部40により入力された画像の各画素を仮想投影面VPに投影するような視点変換処理を行うことにより、自車両100の周囲でカメラ1がある方向を上方の仮想視点から見た一方向鳥瞰画像を生成する。
【0033】
具体的には、鳥瞰画像生成部5のマッピングテーブル情報記憶部5bは、路面からの高さが異なる複数の仮想投影面VPに対応した複数の視点変換用マッピングテーブルを記憶している。視点変換処理部5aは、障害物判定部3により検出された空中障害物200の接触予想部分50の高さに対応する仮想投影面VPに対応した視点変換用マッピングテーブルを用いて、視点変換処理を行う。
【0034】
例えば、マッピングテーブル情報記憶部5bは、路面からの高さが10cm、20cm、30cm、・・・と10cm刻みで異なる複数の仮想投影面VPに対応した複数の視点変換用マッピングテーブルを記憶している。視点変換処理部5aは、障害物判定部3により検出された接触予想部分50の高さに仮想投影面VPを設定し、その仮想投影面VPの高さに最も近い高さに対応した視点変換用マッピングテーブルを用いて視点変換処理を行う。
【0035】
なお、障害物判定部3により空中障害物200が複数検出された場合には、視点変換処理部5aは、自車両100から複数の空中障害物200の接触予想部分50までの距離に基づいて、自車両100から最も近い位置の空中障害物200の接触予想部分50が存在する高さの位置に仮想投影面VPを設定する。そして、その設定した仮想投影面VPの高さに最も近い高さに対応した視点変換用マッピングテーブルを用いて視点変換処理を行う。
【0036】
7は表示制御部であり、鳥瞰画像生成部5により生成された一方向鳥瞰画像をディスプレイ等の表示部8に表示するための制御を行う。図4は、鳥瞰画像生成部5により生成された一方向鳥瞰画像の一例を示す図である。ここでは一例として、自車両100から50cm離れた後方に空中障害物200として物干し竿の竿が存在し、一方向鳥瞰画像上で自車両100から50c100mの位置にガイドライン(点線で示す)が重畳して表示された例を示している。
【0037】
本実施形態では、自車両の後方に空中障害物200が存在する場合には、その空中障害物200の接触予想部分50の高さに仮想投影面VPを設定し、撮影画像の各画素をその仮想投影面VPに投影するような視点変換処理を行うので、投影面の高さと接触予想部分50の高さとが一致する。このため、接触予想部分50と自車両100との距離が、視点変換後の一方向鳥瞰画像において正確に表されるようになる。図4の例では、一方向鳥瞰画像上で自車両100から50cmの場所に表示されるガイドラインの表示位置と、自車両100から50cm離れた後方に存在する空中障害物200の接触予想部分50の表示位置とが正確に一致している。
【0038】
次に、上記のように構成した第1の実施形態による鳥瞰画像生成装置10の動作を説明する。図5は、第1の実施形態による鳥瞰画像生成装置10の動作例を示すフローチャートである。
【0039】
図5において、まず、画像入力部4は、自車両の後部面に設置されたカメラ1により撮影された車両後方の画像を入力する(ステップS1)。次に、超音波センサ2および障害物判定部3は、自車両の後方における空中障害物200を検出する(ステップS2)。ここで障害物判定部3は、自車両の後方に空中障害物200が存在するか否か、存在する場合にはその空中障害物200の接触予想部分50の高さを検出する。
【0040】
次にモード制御部6は、接触予想部分50の高さがカメラ1の高さより低い位置にある空中障害物200が障害物判定部3により検出されたか否かを判定する(ステップS3)。ここで、カメラ1の高さより低い位置に接触予想部分50の存在する空中障害物200が障害物判定部3により検出されたと判定した場合に、モード制御部6は、鳥瞰画像生成部5を仮想平面投影モードに設定する(ステップS4)。
【0041】
仮想平面投影モードが設定されると、鳥瞰画像生成部5の視点変換処理部5aは、自車両から最も近くにある空中障害物200の接触予想部分50の高さに仮想投影面VPを設定する(ステップS5)。そして、視点変換処理部5aは、ステップS1で入力された画像の各画素を、ステップS5で設定した仮想投影面VPに投影するような視点変換処理を行うことにより、自車両後方でカメラ1がある方向を上方の仮想視点から見た一方向鳥瞰画像を生成する(ステップS6)。
【0042】
一方、モード制御部6は、自車両後方でカメラ1の高さより低い位置に接触予想部分50の存在する空中障害物200が障害物判定部3により検出されていないと判断した時、すなわち、自車両後方に空中障害物200が存在しないことが障害物判定部3により検出された場合、または、空中障害物200が存在していてもその接触予想部分50の高さがカメラ1の高さより高いことが障害物判定部3により検出された場合に、モード制御部6は、鳥瞰画像生成部5を路面投影モードに設定する(ステップS7)。
【0043】
路面投影モードが設定されると、鳥瞰画像生成部5の視点変換処理部5aは、路面の高さに投影面を設定する(ステップS8)。そして、視点変換処理部5aは、ステップS1で入力された画像の各画素を路面に投影するような視点変換処理を行うことにより、自車両後方でカメラ1がある方向を上方の仮想視点から見た一方向鳥瞰画像を生成する(ステップS6)。
【0044】
以上詳しく説明したように、第1の実施形では、自車両周囲に空中障害物200が検出された場合に、その空中障害物200の接触予想部分50が存在する高さに仮想投影面VPを設定し、撮影画像の各画素を仮想投影面VPに投影するような視点変換処理を行うことにより一方向鳥瞰画像を生成するようにしている。このため、投影面の高さと空中障害物200の接触予想部分50の高さとが一致し、その高さにある接触予想部分50と車両との距離が視点変換後の一方向鳥瞰画像において正確に表されるようになる。これにより、図4に示したように、自車両と空中障害物200の接触予想部分50との間の距離を正確に表した一方向鳥瞰画像を得ることができる。
【0045】
(第2の実施形態)
次に、本発明の第2の実施形態を図面に基づいて説明する。図6は、第2の実施形態による鳥瞰画像生成装置20の構成例を示すブロック図である。なお、この図6において、図1に示した符号と同一の符号を付したものは同一の機能を有するものであるので、ここでは重複する説明を省略する。
【0046】
図6に示す第2の実施形態が図1に示した第1の実施形態と異なる点は、鳥瞰画像生成部5の視点変換処理部5cの処理内容である。すなわち、図6に示す第2の実施形態では、図1に示した視点変換処理部5aの代わりに、これとは処理内容の異なる視点変換処理部5cを備えている。
【0047】
視点変換処理部5cは、画像入力部4により入力された画像の全領域のうち、自車両から接触予想部分50までの距離の範囲内の画像部分に対しては、当該範囲内の画像部分の各画素を路面に投影するような視点変換処理を行う。すなわち、路面を投影面とした視点変換用マッピングテーブルを用いて視点変換処理を行う。また、車両から接触予想部分50までの距離の範囲外の画像部分に対しては、当該範囲外の画像部分の各画素を仮想投影面VPに投影するような視点変換処理を行う。すなわち、接触予想部分50の高さに対応する仮想投影面VPに対応した視点変換用マッピングテーブルを用いて視点変換処理を行う。
【0048】
図7は、第2の実施形態による投影面を示す図である。図7に示すように、視点変換処理部5cは、障害物判定部3により空中障害物200が検出された場合に、自車両100から見て空中障害物200の接触予想部分50より手前に位置する領域の画像部分に対して路面を投影面RPに設定するとともに、自車両100から見て空中障害物200の接触予想部分50より遠方に位置する領域の画像部分に対して仮想投影面VPを設定して視点変換処理を行う。
【0049】
第1の実施形態のように、撮影画像の全体を対象として、空中障害物200の接触予想部分50の高さに仮想投影面VPを設定して視点変換処理を行った場合、路面よりも高い位置に投影面が設定される分だけ、路面を投影面とする場合に比べて一方向鳥瞰画像が全体としてカメラ1側(自車両側)に圧縮される。このため、自車両から空中障害物200の接触予想部分50までの範囲内にある画像部分(自車両から見て空中障害物200の接触予想部分50より手前に位置する領域の画像)も、自車両側に圧縮されることとなる。この場合に、接触予想部分50より手前の領域に白線(立体的な障害物ではない)が引かれていると、その白線が自車両側に近づいたような鳥瞰画像になってしまい、鳥瞰画像上に表示されている自車両と白線との距離が実際の距離よりも短くなってしまう。
【0050】
これに対して、第2の実施形態によれば、接触予想部分50より手前の領域の画像に関しては路面の高さに設定した投影面に各画素を投影するような視点変換処理を行うので、この手前の領域の画像が自車両側に圧縮されることはない。これにより、自車両から接触予想部分50までの範囲内の路面上に白線が引かれていた場合に、その白線が自車両側に近づいたような鳥瞰画像にはならず、自車両と白線との実際の距離が視点変換後の一方向鳥瞰画像において正確に表されるようになる。これにより、自車両と空中障害物200の接触予想部分50との間の距離に加えて、自車両および空中障害物200の間にある白線と当該自車両との距離も正確に表した一方向鳥瞰画像を得ることができる。
【0051】
(第3の実施形態)
次に、本発明の第3の実施形態を図面に基づいて説明する。図8は、第3の実施形態による鳥瞰画像生成装置30の構成例を示すブロック図である。なお、この図8において、図1に示した符号と同一の符号を付したものは同一の機能を有するものであるので、ここでは重複する説明を省略する。
【0052】
図8に示す第3の実施形態が図1に示した第1の実施形態と異なる点は、モード制御部16の処理内容である。すなわち、図8に示す第3の実施形態では、図1に示したモード制御部6の代わりに、これとは処理内容の異なるモード制御部16を備えている。また、図1に示した構成に加えて、車両移動量検出部17およびテーブル記憶部18を備えている。具体的には、第3の実施形態では、路面投影モードから仮想平面投影モードに切り替えるタイミングが第1の実施形態と異なっている。
【0053】
第3の実施形態では、カメラ1を設置する自車両の後部面が後方(障害物の方向)に凹凸形状を有することを考慮に入れて、路面投影モードから仮想平面投影モードに切り替えるタイミングを第1の実施形態と異ならせている。例えば、説明を分かりやすくするために、図9に示すように、車両の後部面がトランクルームの分だけ後方に凸状態になっている車両を想定する。この場合は、トランクルームの凸状態部に対して、トランクルームより下側の部分やトランクルームより上側の部分には空間(車体が存在しない部分)の凹状態部がある。
【0054】
このように空間が存在する場合、凸状態部の高さと空中障害物200の接触予想部分50の高さとが一致していなければ、自車両100が接触予想部分50に実際に接触してしまうまでに自車両100が後方に移動可能な走行距離には余裕ができる。この移動余裕距離は、凹状態部にできた空間の水平方向の長さとほぼ同じである。そして、その空間の長さ(最も凸状態になっている面と凹状態になっている面との距離差)は、車両の形状にもよるが、路面からの高さに応じて異なっている(図9中に示した水平方向の両矢印を参照)。
【0055】
そこで、テーブル記憶部18は、接触予想部分50の路面からの高さと自車両100の移動余裕距離とを関連付けて成る距離テーブルを記憶している。すなわち、テーブル記憶部18は、路面からの高さに応じた空間の長さを移動余裕距離として記憶している。図10は、この距離テーブルの一例を示す図である。図10の距離テーブルに示す1行目の情報は、仮に接触予想部分50が路面から10cmの高さにあった場合に自車両100が接触予想部分50に接触してしまうまでの移動余裕距離が、凸状態部であるトランクルームの高さに接触予想部分50があった場合に自車両100が接触予想部分50に接触するまでの移動余裕距離に比べて、50cm長いことを示している。
【0056】
同様に、距離テーブルの2行目の情報は、仮に接触予想部分50が路面から20cmの高さにあった場合に自車両が接触予想部分50に接触してしまうまでの移動余裕距離が、凸状態部であるトランクルームの高さに接触予想部分50があった場合に自車両が接触予想部分50に接触するまでの移動余裕距離に比べて、30cm長いことを示している。距離テーブルの3〜5行目の情報において、路面からの高さが30〜50cmのときに移動余裕距離が何れも0cmとなっているのは、30〜50cmの高さの位置に凸状態部であるトランクルームが存在することを示している。
【0057】
なお、図10に示す距離テーブルの例では、トランクルームの後部面で路面から50cmの高さの位置にカメラ1が設置されており、それより高い位置に接触予想部分50が存在する場合には仮想平面投影モードには移行しないことを想定している。路面からの高さが50cm以上の場合は仮想平面投影モードに移行しないので、50cm以上の高さに対する移動余裕距離は不要であり、50cmまでの高さに対応する移動余裕距離が距離テーブルとして記憶されている。
【0058】
図8に示す車両移動量検出部17は、自車両の移動量を検出する。例えば、鳥瞰画像生成装置3が搭載される自車両には自律航法センサ(図示せず)が備えられている。その自律航法センサは、自車両の所定走行距離毎に1個のパルスを出力する距離センサを備えている。車両移動量検出部17は、距離センサから出力されるパルスを逐次入力し、入力したパルス数に基づいて自車両の移動量を検出する。
【0059】
モード制御部16は、カメラ1よりも低い位置に接触予想部分50がある空中障害物200が障害物判定部3により検出された場合に、テーブル記憶部18に記憶されている距離テーブルを参照して、障害物判定部3により検出された接触予想部分50の高さに対応する自車両の移動余裕距離を取得する。ここで、接触予想部分50の高さと距離テーブルに記憶されている高さとが完全に一致しない場合は、接触予想部分50の高さに最も近い高さに対応する移動余裕距離を取得する。
【0060】
さらに、モード制御部16は、車両移動量検出部17により検出される自車両の移動量に基づいて、空中障害物200が検出された時点から、距離テーブルより取得した移動余裕距離だけ自車両が移動したか否かを監視する。そして、移動余裕距離だけ自車両が移動したことを検出した時に、モード制御部16は、路面投影モードから仮想平面投影モードに切り替える。
【0061】
次に、上記のように構成した第3の実施形態による鳥瞰画像生成装置30の動作を説明する。図11は、第3の実施形態による鳥瞰画像生成装置30の動作例を示すフローチャートである。
【0062】
図11において、まず、画像入力部4は、自車両の後部面に設置されたカメラ1により撮影された車両後方の画像を入力する(ステップS11)。次に、超音波センサ2および障害物判定部3は、自車両の後方における空中障害物200を検出する(ステップS12)。ここで障害物判定部3は、自車両の後方に空中障害物200が存在するか否か、存在する場合にはその空中障害物200の接触予想部分50の高さを検出する。
【0063】
次にモード制御部16は、接触予想部分50の高さがカメラ1の高さより低い位置にある空中障害物200が障害物判定部3により検出されたか否かを判定する(ステップS13)。ここで、カメラ1の高さより低い位置に接触予想部分50の存在する空中障害物200が障害物判定部3により検出されたと判定した場合に、モード制御部16は、テーブル記憶部18に記憶されている距離テーブルを参照し、接触予想部分50の高さに対応する移動余裕距離を取得する。そして、モード制御部6は、車両移動量検出部17により検出される自車両の移動量に基づいて、空中障害物200が検出された時点から移動余裕距離だけ自車両が移動したか否かを判定する(ステップS14)。
【0064】
ここで、移動余裕距離だけ自車両が移動したことを検出するまで、ステップS14の判定処理を繰り返す。そして、移動余裕距離だけ自車両が移動したことをモード制御部16が検出すると、モード制御部16は、鳥瞰画像生成部5を仮想平面投影モードに設定する(ステップS15)。
【0065】
仮想平面投影モードが設定されると、鳥瞰画像生成部5の視点変換処理部5aは、自車両から最も近くにある空中障害物200の接触予想部分50の高さに仮想投影面VPを設定する(ステップS16)。そして、視点変換処理部5aは、ステップS11で入力された画像の各画素を、ステップS5で設定した仮想投影面VPに投影するような視点変換処理を行うことにより、自車両後方でカメラ1がある方向を上方の仮想視点から見た一方向鳥瞰画像を生成する(ステップS17)。
【0066】
一方、モード制御部16は、自車両後方でカメラ1の高さより低い位置に接触予想部分50の存在する空中障害物200が障害物判定部3により検出されていないと判断した時、すなわち、自車両後方に空中障害物200が存在しないことが障害物判定部3により検出された場合、または、空中障害物200が存在していてもその接触予想部分50の高さがカメラ1の高さより高いことが障害物判定部3により検出された場合に、モード制御部16は、鳥瞰画像生成部5を路面投影モードに設定する(ステップS18)。
【0067】
路面投影モードが設定されると、鳥瞰画像生成部5の視点変換処理部5aは、路面の高さに投影面を設定する(ステップS19)。そして、視点変換処理部5aは、ステップS11で入力された画像の各画素を路面に投影するような視点変換処理を行うことにより、自車両後方でカメラ1がある方向を上方の仮想視点から見た一方向鳥瞰画像を生成する(ステップS17)。
【0068】
以上詳しく説明したように、第3の実施形態では、障害物判定部3により空中障害物200が検出された後に、その検出された空中障害物200の接触予想部分50の高さに対応する移動余裕距離だけ自車両が移動したことをモード制御部16が検出した時に、路面投影モードから仮想平面投影モードに切り替えるようにしている。
【0069】
これにより、路面投影モードから仮想平面投影モードに切り替えるタイミングが、空中障害物200が検出された直後ではなく、その後に移動余裕距離だけ車両が移動するタイミングまで遅らせられる。移動余裕距離は、車両の凸状部分と凹状部分との間の空間距離を考慮して設定されているので、仮想平面投影モードに切り替わるタイミングが遅れても、実際に車両が空中障害物200の接触予想部分50と接触してしまうまでには余裕がある。これにより、仮想投影面VPを設定した視点変換処理によって画像が圧縮されるタイミングをできるだけ遅らせることができる。
【0070】
なお、図8において、視点変換処理部5aの代わりに図6に示した視点変換処理部5cを用いても良い。
【0071】
以上第1〜第3の実施形態では、車両後部に設置した1つのカメラ1による撮影画像から車両後方の一方向鳥瞰画像を生成する場合を例にとって説明したが、車両の前後左右に設置した4つのカメラによる撮影画像から車両周辺鳥瞰画像を生成する場合にも、本発明を同様に適用することが可能である。図12は、その一例である鳥瞰画像生成装置40の構成例を示す図である。なお、この図12において、図1に示した符号と同一の符号を付したものは同一の機能を有するものであるので、ここでは重複する説明を省略する。
【0072】
図12において、21は自車両の周辺を撮影するために自車両の異なる位置に設置された複数のカメラであり、フロントカメラ21a、左サイドカメラ21b、右サイドカメラ21c、リアカメラ21dにより構成されている。フロントカメラ21aは自車両の前面に配置され、前方の範囲の画像を撮影する。左サイドカメラ21bは自車両の左側面に配置され、左方の範囲の画像を撮影する。右サイドカメラ21cは自車両の右側面に配置され、右方の範囲の画像を撮影する。リアカメラ21dは自車両の後部面に配置され、後方の範囲の画像を撮影する。
【0073】
22は超音波センサであり、例えば自車両の前後左右に設置されていて、その1つ1つは所定範囲の指向性を有している。23は障害物判定部であり、ある方向の超音波センサ22により障害物が検出された場合に、それが空中障害物200かどうかを判定する。さらに、障害物判定部23は、自車両から空中障害物200までの距離および接触予想部分50の高さも検出する。さらに、障害物判定部23は、検出した接触予想部分50の高さが、カメラ21の設置されている高さよりも低いか否かを判定する。
【0074】
25は視点変換処理部であり、複数のカメラ21a〜21dにより撮影された複数の車両周囲の画像をそれぞれ視点変換し、視点変換後の各画像を合成することにより、自車両の上方の仮想視点から見た車両周辺鳥瞰画像を生成する。視点変換処理部25は、視点変換処理部25a、マッピングテーブル情報記憶部25bおよび画像記憶部25cにより構成されている。
【0075】
視点変換処理部25aは、画像入力部4から複数のカメラ21a〜21dの撮影画像を入力し、マッピングテーブル情報記憶部25bに記憶されているマッピングテーブル情報(座標変換情報)に従って、自車両の周辺を上方から見たときの背景画像を生成する。この背景画像は、自車両に設置された複数のカメラ21a〜21dにて撮影された車両周囲の画像に基づいて生成されるものである。したがって、背景画像に含まれているのは、実際の背景および背景に含まれる障害物のみとなり、自車両の画像は含まれていない。
【0076】
また、視点変換処理部25aは、自車両を上方から見た画像を示す自車両画像データを画像記憶部25cから読み出し、背景画像の所定の位置(例えば背景画像における自車両が存在する中央の位置)に合成する。これにより、背景画像と自車両画像とが合成された車両周辺鳥瞰画像を生成する。
【0077】
マッピングテーブル情報記憶部25bは、複数のカメラ21a〜21dにより撮影される画像の画素位置と、自車両の周辺を上方の仮想視点から見た背景画像の画素位置との対応関係を記載した情報、すなわち、撮影画像のある画素が背景画像のどの画素に対応するかを示す座標変換情報からなるマッピングテーブル情報を記憶している。画像記憶部25cは、自車両を上方から見た画像を示す自車両画像データを記憶しており、その自車両画像データが必要に応じて視点変換処理部25aにより読み出される。
【0078】
マッピングテーブル情報記憶部25bは、路面の高さに対応した視点変換用マッピングテーブルと、路面からの高さが異なる複数の仮想投影面VPに対応した複数の視点変換用マッピングテーブルとを記憶している。視点変換処理部25aは、路面投影モードが設定されているときは、路面の高さに対応した視点変換用マッピングテーブルを用いて視点変換処理を行う。一方、仮想平面投影モードが設定されているときは、障害物判定部3により検出された空中障害物200の接触予想部分50の高さに対応する仮想投影面VPに対応した視点変換用マッピングテーブルを用いて視点変換処理を行う。
【0079】
モード制御部26は、前後左右のそれぞれ毎に、障害物判定部23により自車両後方に空中障害物200が検出され、かつ、その空中障害物200の接触予想部分50の高さがカメラ21a〜21dの高さより低いと判定された時に、路面投影モードから仮想平面投影モードに切り替えるように制御する。
【0080】
例えば、自車両の前方に空中障害物200が検出され、かつ、その空中障害物200の接触予想部分50の高さがフロントカメラ21aの高さより低いと判定された時に、フロントカメラ21aにより撮影された画像に関しては、路面投影モードから仮想平面投影モードに切り替える。一方、前方以外では空中障害物200が存在しない場合および空中障害物200が存在していてもその接触予想部分50の高さがカメラ21b〜21dの高さより高い場合には、モード制御部26は、左サイドカメラ21b、右サイドカメラ21c、リアカメラ21dの3つのカメラにより撮影された画像に関しては、路面投影モードのままとする。
【0081】
なお、空中障害物200が検出された方向の撮影画像に対してのみ仮想平面投影モードを設定すると、その方向の背景画像のみが自車両側に圧縮されたものとなる。そこで、前後左右の少なくとも1つの方向において空中障害物200が検出された場合には、全ての方向の撮影画像に対して路面投影モードから仮想平面投影モードに切り替えるようにしても良い。
【0082】
また、上記第3の実施形態において、テーブル記憶部18を参照して取得した移動余裕距離が例えば50cmであったとしても、図9のような空中障害物200で接触予想部分50と壁面との間の距離差(凸部の長さ)が50cmより短い場合、実際の移動余裕距離は50cmもない。そこで、接触予想部分50と壁面との間の距離差は超音波センサ2により検出することが可能なので、この距離差がテーブル記憶部18を参照して取得した移動余裕距離よりも短い場合には、当該取得した移動余裕距離に変えて、当該距離差を移動余裕距離として設定するようにしても良い。
【0083】
その他、上記第1〜第3の実施形態は、何れも本発明を実施するにあたっての具体化の一例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその精神、またはその主要な特徴から逸脱することなく、様々な形で実施することができる。
【図面の簡単な説明】
【0084】
【図1】第1の実施形態による鳥瞰画像生成装置の構成例を示すブロック図である。
【図2】接触予想部分が路面から上方の或る高さの位置に存在する空中障害物の一例を示す図である。
【図3】第1の実施形態による視点変換処理部が設定する仮想投影面を示す図である。
【図4】第1の実施形態による鳥瞰画像生成部により生成された一方向鳥瞰画像の一例を示す図である。
【図5】第1の実施形態による鳥瞰画像生成装置の動作例を示すフローチャートである。
【図6】第2の実施形態による鳥瞰画像生成装置の構成例を示すブロック図である。
【図7】第2の実施形態による視点変換処理部が設定する投影面を示す図である。
【図8】第3の実施形態による鳥瞰画像生成装置の構成例を示すブロック図である。
【図9】第3の実施形態による移動余裕距離を説明するための図である。
【図10】第3の実施形態によるテーブル記憶部に記憶される距離テーブルの一例を示す図である。
【図11】第3の実施形態による鳥瞰画像生成装置の動作例を示すフローチャートである。
【図12】車両周辺鳥瞰画像を生成する場合に本発明を適用した鳥瞰画像生成装置の構成例を示す図である。
【図13】従来の問題点を説明するための図である。
【符号の説明】
【0085】
1 カメラ
2 超音波センサ
3 障害物判定部
4 画像入力部
5 鳥瞰画像生成部
5a,5c 視点変換処理部
5b マッピングテーブル情報記憶部
6 モード制御部
16 モード制御部
17 車両移動量検出部
18 テーブル記憶部
10,20,30,40 鳥瞰画像生成装置
50 接触予想部分
200 空中障害物
VP 仮想投影面
【特許請求の範囲】
【請求項1】
車両に設置された撮像装置により撮像された車両周囲の画像を入力する画像入力部と、
上記車両周囲で上記撮像装置がある方向に存在する障害物であって、上記車両が進行した場合に接触する恐れのある部分である接触予想部分が路面から上方の或る高さの位置に存在する障害物を検出する障害物検出部と、
上記障害物検出部により上記障害物が検出された場合に、上記接触予想部分が存在する高さの位置に仮想投影面を設定し、上記画像入力部により入力された画像の各画素を上記仮想投影面に投影するような視点変換処理を行うことにより、上記車両周囲で上記撮像装置がある方向を上方の仮想視点から見た鳥瞰画像を生成する鳥瞰画像生成部とを備えたことを特徴とする鳥瞰画像生成装置。
【請求項2】
上記鳥瞰画像生成部は、上記路面からの高さが異なる複数の仮想投影面に対応した複数の視点変換用マッピングテーブルを有し、上記障害物検出部により検出された上記障害物の上記接触予想部分の高さに対応する仮想投影面に対応した視点変換用マッピングテーブルを用いて、上記視点変換処理を行うことを特徴とする請求項1に記載の鳥瞰画像生成装置。
【請求項3】
上記障害物検出部は、上記車両から上記障害物の接触予想部分までの距離を検出し、
上記鳥瞰画像生成部は、上記車両から上記障害物検出部により検出された距離の範囲内の画像に対しては、上記路面を投影面とした視点変換用マッピングテーブルを用いて上記視点変換処理を行い、上記車両から上記障害物検出部により検出された距離の範囲外の画像に対しては、上記障害物検出部により検出された上記障害物の上記接触予想部分の高さに対応する仮想投影面に対応した視点変換用マッピングテーブルを用いて上記視点変換処理を行うことを特徴とする請求項2に記載の鳥瞰画像生成装置。
【請求項4】
上記鳥瞰画像生成部は、上記画像入力部により入力された画像の各画素を上記車両周囲の路面の高さに設定した投影面に投影するような視点変換処理を行う路面投影モードと、上記画像入力部により入力された画像の各画素を上記仮想投影面に投影するような視点変換処理を行う仮想平面投影モードとを有し、
上記障害物検出部により上記障害物が検出された時に、上記路面投影モードから上記仮想平面投影モードに切り替えるモード制御部を更に備えたことを特徴とする請求項1に記載の鳥瞰画像生成装置。
【請求項5】
上記鳥瞰画像生成部は、上記画像入力部により入力された画像の各画素を上記車両周囲の路面の高さに設定した投影面に投影するような視点変換処理を行う路面投影モードと、上記画像入力部により入力された画像の各画素を上記仮想投影面に投影するような視点変換処理を行う仮想平面投影モードとを有し、
上記車両の移動量を検出する車両移動量検出部と、
上記障害物の上記接触予想部分の高さと上記車両の移動余裕距離とを関連付けて成る距離テーブルを記憶したテーブル記憶部と、
上記障害物検出部により上記障害物が検出された場合に、その検出後に、上記車両移動量検出部により検出される車両の移動量に基づいて、上記障害物検出部により検出された上記接触予想部分の高さに関連付けて上記テーブル記憶部に記憶されている移動余裕距離だけ上記車両が移動したことを検出した時に、上記路面投影モードから上記仮想平面投影モードに切り替えるモード制御部とを更に備えたことを特徴とする請求項1に記載の鳥瞰画像生成装置。
【請求項6】
上記障害物検出部により上記障害物が複数検出された場合には、上記障害物検出部は、上記車両から複数の上記障害物の上記接触予想部分までの距離をそれぞれ検出し、
上記鳥瞰画像生成部は、上記車両から最も近い位置の障害物の上記接触予想部分が存在する高さの位置に上記仮想投影面を設定することを特徴とする請求項1に記載の鳥瞰画像生成装置。
【請求項7】
車両に設置された撮像装置により撮像された車両周囲の画像を入力する第1のステップと、
上記車両周囲で上記撮像装置がある方向に存在する障害物であって、上記車両が進行した場合に接触する恐れのある部分である接触予想部分が路面から上方の或る高さの位置に存在する障害物を検出する第2のステップと、
上記第2のステップで上記障害物が検出された場合に、上記接触予想部分が存在する高さの位置に仮想投影面を設定し、上記第1のステップで入力された画像の各画素を上記仮想投影面に投影するような視点変換処理を行うことにより、上記車両周囲で上記撮像装置がある方向を上方の仮想視点から見た鳥瞰画像を生成する第3のステップとを有することを特徴とする鳥瞰画像生成方法。
【請求項8】
上記第2のステップでは、上記車両から上記障害物の接触予想部分までの距離を検出し、
上記第3のステップでは、上記車両から上記障害物の上記接触予想部分までの距離の範囲内の画像に対しては、上記路面を投影面として上記視点変換処理を行い、上記車両から上記障害物の上記接触予想部分までの距離の範囲外の画像に対しては、上記仮想投影面を投影面として上記視点変換処理を行うことを特徴とする請求項7に記載の鳥瞰画像生成方法。
【請求項9】
上記撮像装置により撮像された画像の各画素を上記車両周囲の路面の高さに設定した投影面に投影するような視点変換処理を行う路面投影モードと、上記撮像装置により撮像された画像の各画素を上記仮想投影面に投影するような視点変換処理を行う仮想平面投影モードとを有し、
上記第2のステップで上記障害物が検出された時に、上記路面投影モードから上記仮想平面投影モードに切り替えて上記第3のステップの処理を行うことを特徴とする請求項7に記載の鳥瞰画像生成方法。
【請求項10】
上記撮像装置により撮像された画像の各画素を上記車両周囲の路面の高さに設定した投影面に投影するような視点変換処理を行う路面投影モードと、上記撮像装置により撮像された画像の各画素を上記仮想投影面に投影するような視点変換処理を行う仮想平面投影モードとを有し、
上記第2のステップで上記障害物が検出された場合に、その検出後に上記車両の移動量を検出する第4のステップを更に有し、
上記第2のステップで検出された上記接触予想部分の高さに関連付けてテーブル記憶部に記憶されている移動余裕距離だけ上記車両が移動したことを上記第4のステップで検出した時に、上記路面投影モードから上記仮想平面投影モードに切り替えて上記第3のステップの処理を行うことを特徴とする請求項7に記載の鳥瞰画像生成方法。
【請求項1】
車両に設置された撮像装置により撮像された車両周囲の画像を入力する画像入力部と、
上記車両周囲で上記撮像装置がある方向に存在する障害物であって、上記車両が進行した場合に接触する恐れのある部分である接触予想部分が路面から上方の或る高さの位置に存在する障害物を検出する障害物検出部と、
上記障害物検出部により上記障害物が検出された場合に、上記接触予想部分が存在する高さの位置に仮想投影面を設定し、上記画像入力部により入力された画像の各画素を上記仮想投影面に投影するような視点変換処理を行うことにより、上記車両周囲で上記撮像装置がある方向を上方の仮想視点から見た鳥瞰画像を生成する鳥瞰画像生成部とを備えたことを特徴とする鳥瞰画像生成装置。
【請求項2】
上記鳥瞰画像生成部は、上記路面からの高さが異なる複数の仮想投影面に対応した複数の視点変換用マッピングテーブルを有し、上記障害物検出部により検出された上記障害物の上記接触予想部分の高さに対応する仮想投影面に対応した視点変換用マッピングテーブルを用いて、上記視点変換処理を行うことを特徴とする請求項1に記載の鳥瞰画像生成装置。
【請求項3】
上記障害物検出部は、上記車両から上記障害物の接触予想部分までの距離を検出し、
上記鳥瞰画像生成部は、上記車両から上記障害物検出部により検出された距離の範囲内の画像に対しては、上記路面を投影面とした視点変換用マッピングテーブルを用いて上記視点変換処理を行い、上記車両から上記障害物検出部により検出された距離の範囲外の画像に対しては、上記障害物検出部により検出された上記障害物の上記接触予想部分の高さに対応する仮想投影面に対応した視点変換用マッピングテーブルを用いて上記視点変換処理を行うことを特徴とする請求項2に記載の鳥瞰画像生成装置。
【請求項4】
上記鳥瞰画像生成部は、上記画像入力部により入力された画像の各画素を上記車両周囲の路面の高さに設定した投影面に投影するような視点変換処理を行う路面投影モードと、上記画像入力部により入力された画像の各画素を上記仮想投影面に投影するような視点変換処理を行う仮想平面投影モードとを有し、
上記障害物検出部により上記障害物が検出された時に、上記路面投影モードから上記仮想平面投影モードに切り替えるモード制御部を更に備えたことを特徴とする請求項1に記載の鳥瞰画像生成装置。
【請求項5】
上記鳥瞰画像生成部は、上記画像入力部により入力された画像の各画素を上記車両周囲の路面の高さに設定した投影面に投影するような視点変換処理を行う路面投影モードと、上記画像入力部により入力された画像の各画素を上記仮想投影面に投影するような視点変換処理を行う仮想平面投影モードとを有し、
上記車両の移動量を検出する車両移動量検出部と、
上記障害物の上記接触予想部分の高さと上記車両の移動余裕距離とを関連付けて成る距離テーブルを記憶したテーブル記憶部と、
上記障害物検出部により上記障害物が検出された場合に、その検出後に、上記車両移動量検出部により検出される車両の移動量に基づいて、上記障害物検出部により検出された上記接触予想部分の高さに関連付けて上記テーブル記憶部に記憶されている移動余裕距離だけ上記車両が移動したことを検出した時に、上記路面投影モードから上記仮想平面投影モードに切り替えるモード制御部とを更に備えたことを特徴とする請求項1に記載の鳥瞰画像生成装置。
【請求項6】
上記障害物検出部により上記障害物が複数検出された場合には、上記障害物検出部は、上記車両から複数の上記障害物の上記接触予想部分までの距離をそれぞれ検出し、
上記鳥瞰画像生成部は、上記車両から最も近い位置の障害物の上記接触予想部分が存在する高さの位置に上記仮想投影面を設定することを特徴とする請求項1に記載の鳥瞰画像生成装置。
【請求項7】
車両に設置された撮像装置により撮像された車両周囲の画像を入力する第1のステップと、
上記車両周囲で上記撮像装置がある方向に存在する障害物であって、上記車両が進行した場合に接触する恐れのある部分である接触予想部分が路面から上方の或る高さの位置に存在する障害物を検出する第2のステップと、
上記第2のステップで上記障害物が検出された場合に、上記接触予想部分が存在する高さの位置に仮想投影面を設定し、上記第1のステップで入力された画像の各画素を上記仮想投影面に投影するような視点変換処理を行うことにより、上記車両周囲で上記撮像装置がある方向を上方の仮想視点から見た鳥瞰画像を生成する第3のステップとを有することを特徴とする鳥瞰画像生成方法。
【請求項8】
上記第2のステップでは、上記車両から上記障害物の接触予想部分までの距離を検出し、
上記第3のステップでは、上記車両から上記障害物の上記接触予想部分までの距離の範囲内の画像に対しては、上記路面を投影面として上記視点変換処理を行い、上記車両から上記障害物の上記接触予想部分までの距離の範囲外の画像に対しては、上記仮想投影面を投影面として上記視点変換処理を行うことを特徴とする請求項7に記載の鳥瞰画像生成方法。
【請求項9】
上記撮像装置により撮像された画像の各画素を上記車両周囲の路面の高さに設定した投影面に投影するような視点変換処理を行う路面投影モードと、上記撮像装置により撮像された画像の各画素を上記仮想投影面に投影するような視点変換処理を行う仮想平面投影モードとを有し、
上記第2のステップで上記障害物が検出された時に、上記路面投影モードから上記仮想平面投影モードに切り替えて上記第3のステップの処理を行うことを特徴とする請求項7に記載の鳥瞰画像生成方法。
【請求項10】
上記撮像装置により撮像された画像の各画素を上記車両周囲の路面の高さに設定した投影面に投影するような視点変換処理を行う路面投影モードと、上記撮像装置により撮像された画像の各画素を上記仮想投影面に投影するような視点変換処理を行う仮想平面投影モードとを有し、
上記第2のステップで上記障害物が検出された場合に、その検出後に上記車両の移動量を検出する第4のステップを更に有し、
上記第2のステップで検出された上記接触予想部分の高さに関連付けてテーブル記憶部に記憶されている移動余裕距離だけ上記車両が移動したことを上記第4のステップで検出した時に、上記路面投影モードから上記仮想平面投影モードに切り替えて上記第3のステップの処理を行うことを特徴とする請求項7に記載の鳥瞰画像生成方法。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【公開番号】特開2009−118415(P2009−118415A)
【公開日】平成21年5月28日(2009.5.28)
【国際特許分類】
【出願番号】特願2007−292223(P2007−292223)
【出願日】平成19年11月9日(2007.11.9)
【出願人】(000101732)アルパイン株式会社 (2,424)
【Fターム(参考)】
【公開日】平成21年5月28日(2009.5.28)
【国際特許分類】
【出願日】平成19年11月9日(2007.11.9)
【出願人】(000101732)アルパイン株式会社 (2,424)
【Fターム(参考)】
[ Back to top ]