画像処理装置及び方法、運転支援システム、車両
【課題】拡張鳥瞰図画像上における画像の欠落を抑制する。
【解決手段】運転支援システムは、視点変換を用い、車載カメラから得られるカメラ画像より、第１及び第２要素画像の合成画像に相当する拡張鳥瞰図画像を生成して表示する。第１要素画像は車両近辺の様子を表す鳥瞰図画像であり、第２要素画像は車両遠方の様子を表す遠方用画像である。拡張鳥瞰図画像はカメラ画像を仮想カメラの視点から見た画像に変換したものであり、第１要素画像の生成時における仮想カメラの俯角は９０度であり、第２要素画像のそれは９０度未満である。実際のカメラの傾き角度等に応じて拡張鳥瞰図画像を生成した際、画像の欠落が発生しているか否かを自動的に判定し、画像の欠落が発生している場合、その欠落がなくなるように、第１及び第２要素画像の境界線の位置や仮想カメラの視点の高さなどを調整する。
【解決手段】運転支援システムは、視点変換を用い、車載カメラから得られるカメラ画像より、第１及び第２要素画像の合成画像に相当する拡張鳥瞰図画像を生成して表示する。第１要素画像は車両近辺の様子を表す鳥瞰図画像であり、第２要素画像は車両遠方の様子を表す遠方用画像である。拡張鳥瞰図画像はカメラ画像を仮想カメラの視点から見た画像に変換したものであり、第１要素画像の生成時における仮想カメラの俯角は９０度であり、第２要素画像のそれは９０度未満である。実際のカメラの傾き角度等に応じて拡張鳥瞰図画像を生成した際、画像の欠落が発生しているか否かを自動的に判定し、画像の欠落が発生している場合、その欠落がなくなるように、第１及び第２要素画像の境界線の位置や仮想カメラの視点の高さなどを調整する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、カメラからの入力画像に対して画像処理を施す画像処理装置及び方法に関する。また本発明は、それらを利用した運転支援システム及び車両に関する。
【背景技術】
【０００２】
車両の運転者にとって車両後方は死角となりやすい。そこで、運転者の死角となりやすい領域を監視するカメラを車両に搭載し、カメラから得られた画像を運転席付近に配置された表示装置に表示するという手法が提案されている。また、カメラから得た画像をそのまま表示すると遠近感が把握しにくいことを考慮し、カメラから得た画像を鳥瞰図画像に変換して表示する技術も開発されている。
【０００３】
鳥瞰図画像は車両を上空から眺めたような画像であるため、表示画面上において遠近感をつかみやすくなるが、鳥瞰図画像は、その特性上、視野範囲が狭い。これを考慮し、車両近辺に対応する第１画像領域おいては鳥瞰図画像を表示する一方、車両遠方に対応する第２画像領域においては遠方用画像を表示する技術が提案されている（例えば特許文献１参照）。
【０００４】
第１画像領域における鳥瞰図画像と第２画像領域における遠方用画像との合成画像に相当する画像は、拡張鳥瞰図画像とも呼ばれる。図１４（ａ）における画像９００は、カメラから得たカメラ画像の例を示している。図１４（ｂ）及び(ｃ)に、夫々、そのカメラ画像９００から得た鳥瞰図画像９１０及び拡張鳥瞰図画像９２０を示す。カメラ画像９００は、路面上に描かれた２本の平行な白線を撮影することによって得たものである。また、その白線の側方に被写体としての人物が位置している。車両に設置されるカメラの俯角は９０度ではないため、カメラ画像９００内における２本の白線は平行とならないが、鳥瞰図画像９１０内における２本の白線は、実空間上のそれらと同じく平行となる。尚、図１４（ｂ）及び（ｃ）に示された斜線領域は、カメラによって撮影されていない領域（画像情報が元々ない領域）である。また、図１４（ａ）〜（ｃ）において、下方側が車両側に対応している。
【０００５】
拡張鳥瞰図画像９２０には、境界線９２１が設定される。そして、境界線９２１の下方側に位置する第１画像領域には、カメラ画像の第１部分画像から得た、車両近辺の様子を示す鳥瞰図画像が描画され、境界線９２１の上方側に位置する第２画像領域には、カメラ画像の第２部分画像から得た、車両遠方の様子を示す遠方用画像が描画される。
【０００６】
拡張鳥瞰図画像９２０は、視点変換によって、カメラ画像９００を仮想カメラの視点から見た画像に変換したものに相当する。この際、図１５（ａ）に示す如く、第１画像領域内の鳥瞰図画像の生成時における仮想カメラの俯角は９０度で固定される一方で、図１５（ｂ）に示す如く、第２画像領域内の遠方用画像の生成時における仮想カメラの俯角は９０度未満とされ、且つ、その俯角は、画像の上方側に向かうにつれて９０度から所定の角度変化率にて実際のカメラの俯角（例えば４５度）に徐々に近づけられる。
【０００７】
視野範囲が狭いことに起因して鳥瞰図画像９１０上では被写体としての人物が殆ど描写されていないが（鳥瞰図画像９１０上では足の部分だけが描写されている）、拡張鳥瞰図画像９２０では、その人物がカメラ画像９００と同程度に描写される。このような拡張鳥瞰図画像を表示するようにすれば、鳥瞰図画像による遠近感の把握容易化という利点を享受しつつ、車両遠方に対する視界をも支援することが可能となる。つまり、広範囲で優れた視認性を得る事が可能となる。
【０００８】
【特許文献１】特開２００６−２８７８９２号公報
【発明の開示】
【発明が解決しようとする課題】
【０００９】
拡張鳥瞰図画像を生成可能な運転支援システムでは、カメラ画像から拡張鳥瞰図画像を生成するための画像変換パラメータが事前に設定され、実稼動時において、その画像変換パラメータを用いて拡張鳥瞰図画像の生成を行う。画像変換パラメータは、カメラ画像が定義される座標面上の座標値と拡張鳥瞰図画像が定義される座標面上の座標値との対応関係を規定するパラメータである。拡張鳥瞰図画像を生成するためには、実際のカメラの傾き角度及び設置高さなどの情報が必要であり、画像変換パラメータは、その情報に基づいて設定される。
【００１０】
車両の製造段階でカメラが取り付けられる場合など、カメラの傾き角度及び設置高さが完全に固定されることが分かっている場合は、上記情報に基づいて適切な画像変換パラメータを事前に定めておき、それをそのまま使い続けることで適切な拡張鳥瞰図画像を常時生成することができる。
【００１１】
しかし、ユーザが車両とは別にカメラを用意して車両の形状等に合わせてカメラを車両に設置する場合は、カメラの傾き角度等が一定に保たれないため、カメラの傾き角度等の変化に対応して画像変換パラメータを適切に調整する必要がある。不適切な画像変換パラメータを用いた場合、生成した拡張鳥瞰図画像内に画像の欠落が発生することがある。図１６に、この欠落が発生している拡張鳥瞰図画像の例を示す。
【００１２】
画像の欠落とは、拡張鳥瞰図画像の全体像が現れるべき拡張鳥瞰図画像の全体領域内に画像欠落領域が含まれることを意味する。画像欠落領域とは、カメラ画像の画像データに基づく画像データが存在しない領域を意味する。図１６の上方における黒塗り部分が画像欠落領域である。本来、カメラの撮影結果に基づくカメラ画像の画像データから拡張鳥瞰図画像の全画素の画像データが生成されるべきであるが、画像変換パラメータが不適切であると、拡張鳥瞰図画像内の一部の画素の対応画素がカメラ画像内に存在しなくなり、結果、画像欠落が発生する。
【００１３】
拡張鳥瞰図画像を表示するシステムにおいて、画像欠落の発生を極力なくすべきであることは言うまでもない。
【００１４】
そこで本発明は、カメラからの画像を座標変換することによって得た変換画像上における画像欠落を抑制する画像処理装置及び画像補正方法を提供することを目的とする。また、本発明は、それらを利用した運転支援システム及び車両を提供することを目的とする。
【課題を解決するための手段】
【００１５】
本発明に係る画像処理装置は、車両の周辺を撮影するカメラの撮影結果に基づいて入力画像を取得する画像取得手段と、座標変換によって、前記入力画像を、第１の仮想カメラから見た第１要素画像及び前記第１の仮想カメラと異なる第２の仮想カメラから見た第２要素画像を含む変換画像に変換する画像変換手段と、前記入力画像を前記変換画像に変換するための画像変換パラメータを記憶するパラメータ記憶手段と、前記パラメータ記憶手段に記憶された画像変換パラメータを用いて前記入力画像から得られる前記変換画像の全体領域内に、前記入力画像の画像データに基づく画像データが存在しない画像欠落領域が含まれるか否かを判定する欠落判定手段と、前記変換画像の全体領域内に前記画像欠落領域が含まれていると判定されたとき、前記画像欠落領域の発生が抑制されるように前記画像変換パラメータを調整するパラメータ調整手段と、を備えたことを特徴とする。
【００１６】
これにより、画像の欠落が抑制された変換画像を生成することが可能となる。
【００１７】
具体的には例えば、前記画像変換手段は、前記画像変換パラメータに従い、前記入力画像を、前記車両からの距離が比較的短い被写体が現れる第１部分画像と前記車両からの距離が比較的長い被写体が現れる第２部分画像とを含む複数の部分画像に切り分けて、前記第１及び第２部分画像をそれぞれ前記第１及び第２要素画像に変換することにより前記変換画像を生成する。
【００１８】
そして例えば、前記第１の仮想カメラの俯角よりも前記第２の仮想カメラの俯角が小さく、且つ、前記第１要素画像と前記第２要素画像との境界線を起点として前記第１要素画像から離れるにつれて規定の角度変化率に従い前記第２の仮想カメラの俯角が小さくなるように、調整前後の前記画像変換パラメータは設定され、前記パラメータ調整手段は、前記変換画像の全体領域内に前記画像欠落領域が含まれていると判定されたとき、前記画像欠落領域の大きさが減少する方向に前記角度変化率を調整することによって前記画像変換パラメータの調整を行う。
【００１９】
上記の如く画像変換パラメータは角度変化率が依存するが、角度変化率を調整することによって変換画像の視野範囲が変化する。このため、角度変化率を調整することにより画像欠落領域の発生を抑制することが可能である。
【００２０】
或いは例えば、前記第１の仮想カメラの俯角よりも前記第２の仮想カメラの俯角が小さくなるように、調整前後の前記画像変換パラメータは設定され、前記パラメータ調整手段は、前記変換画像の全体領域内に前記画像欠落領域が含まれていると判定されたとき、前記画像欠落領域の大きさが減少する方向に前記第１要素画像と前記第２要素画像との境界線を前記変換画像内で移動させ、これによって前記画像変換パラメータの調整を行う。
【００２１】
第２の仮想カメラの俯角は第１の仮想カメラの俯角よりも小さいため、例えば、第２要素画像の画像サイズが縮小される方向に上記境界線を変換画像内で移動させれば、変換画像の視野範囲が縮小する。このため、境界線の位置を調整することにより画像欠落領域の発生を抑制することが可能である。
【００２２】
或いは例えば、前記パラメータ調整手段は、前記変換画像の全体領域内に前記画像欠落領域が含まれていると判定されたとき、前記画像欠落領域の大きさが減少する方向に前記第１及び第２の仮想カメラの高さを調整し、これによって前記画像変換パラメータの調整を行う。
【００２３】
変換画像は入力画像を仮想カメラから見た画像に変換したものであるため、例えば、仮想カメラの高さを低下させれば変換画像の視野範囲が縮小する。このため、仮想カメラの高さを調整することにより画像欠落領域の発生を抑制することが可能である。
【００２４】
或いは例えば、前記第１の仮想カメラの俯角よりも前記第２の仮想カメラの俯角が小さく、且つ、前記第１要素画像と前記第２要素画像との境界線を起点として前記第１要素画像から離れるにつれて規定の角度変化率に従い前記第２の仮想カメラの俯角が小さくなるように、調整前後の前記画像変換パラメータは設定され、前記パラメータ調整手段は、前記変換画像の全体領域内に前記画像欠落領域が含まれていると判定されたとき、前記角度変化率、前記変換画像上における前記境界線の位置、並びに、前記第１及び第２の仮想カメラの高さをそれぞれ第１、第２及び第３調整対象として取り扱って、前記画像欠落領域の発生を抑制する方向に第１〜第３の調整対象の内の何れか１以上を調整することにより前記画像変換パラメータの調整を行い、前記画像欠落領域が前記変換画像の全体領域内に含まれなくなるまで前記画像変換パラメータの調整を繰り返し実行する。
【００２５】
また具体的には例えば、前記画像変換パラメータによって前記変換画像内の各画素の座標値に対応する座標変換前の座標値が規定され、前記欠落判定手段は、その座標変換前の座標値が全て前記入力画像内の座標値である場合は前記変換画像の全体領域内に前記画像欠落領域が含まれていないと判定し、求めた前記座標値に前記入力画像外の座標値が含まれる場合は前記変換画像の全体領域内に前記画像欠落領域が含まれていると判定する。
【００２６】
本発明に係る運転支援システムは、前記カメラ及び前記画像処理装置を備え、前記画像処理装置の画像変換手段にて得られる変換画像に基づく画像を表示手段に出力することを特徴とする。
【００２７】
本発明に係る車両は、前記カメラ及び前記画像処理装置が設置されたことを特徴とする。
【００２８】
本発明に係る画像処理方法は、車両の周辺を撮影するカメラの撮影結果に基づいて入力画像を取得する画像取得ステップと、座標変換によって、前記入力画像を、第１の仮想カメラから見た第１要素画像及び前記第１の仮想カメラと異なる第２の仮想カメラから見た第２要素画像を含む変換画像に変換する画像変換ステップと、前記入力画像を前記変換画像に変換するための画像変換パラメータを記憶するパラメータ記憶ステップと、記憶された前記画像変換パラメータを用いて前記入力画像から得られる前記変換画像の全体領域内に、前記入力画像の画像データに基づく画像データが存在しない画像欠落領域が含まれるか否かを判定する欠落判定ステップと、前記変換画像の全体領域内に前記画像欠落領域が含まれていると判定されたとき、前記画像欠落領域の発生が抑制されるように前記画像変換パラメータを調整するパラメータ調整ステップと、を実行することを特徴とする。
【発明の効果】
【００２９】
本発明によれば、カメラからの画像を座標変換することによって得た変換画像上における画像欠落を抑制する画像処理装置及び画像補正方法を提供することができる。また、それらを利用した運転支援システム及び車両を提供することができる。
【００３０】
本発明の意義ないし効果は、以下に示す実施の形態の説明により更に明らかとなろう。ただし、以下の実施の形態は、あくまでも本発明の一つの実施形態であって、本発明ないし各構成要件の用語の意義は、以下の実施の形態に記載されたものに制限されるものではない。
【発明を実施するための最良の形態】
【００３１】
以下、本発明の実施の形態につき、図面を参照して具体的に説明する。参照される各図において、同一の部分には同一の符号を付し、同一の部分に関する重複する説明を原則として省略する。
【００３２】
図１に、本発明の実施形態に係る運転支援システムの概略構成ブロック図を示す。図１の運転支援システムは、カメラ１と、画像処理装置２と、表示装置３と、を備える。カメラ１は、撮影を行い、撮影によって得られた画像を表す信号を画像処理装置２に出力する。画像処理装置２は、カメラ１から得た画像より表示用画像を生成する。画像処理装置２は、生成した表示用画像を表す映像信号を表示装置３に出力し、表示装置３は、与えられた映像信号に従って表示用画像を映像として表示する。
【００３３】
カメラ１の撮影によって得られた画像をカメラ画像と呼ぶ。カメラ１の出力信号そのものによって表されるカメラ画像は、レンズ歪みの影響を受けていることが多い。従って、画像処理装置２は、カメラ１の出力信号そのものによって表されるカメラ画像に対してレンズ歪み補正を施し、レンズ歪み補正後のカメラ画像に基づいて表示用画像の生成を行う。特記なき限り、以下に述べるカメラ画像とは、レンズ歪み補正後のカメラ画像を指すものとする。但し、カメラ１の特性によっては、レンズ歪み補正処理が省略されることもある。
【００３４】
図２は、図１の運転支援システムが適用される車両１００の外観側面図である。図２に示すように、車両１００の後部に後方斜め下向きにカメラ１が配置される。車両１００は、例えば自動車である。水平面とカメラ１の光軸との成す角には、図２にθで表される角度とθ’で表される角度とがある。観察者としての或るカメラに関し、水平面と該カメラの光軸との成す鋭角は、一般的に俯角（又は見下ろし角）と呼ばれている。角度θ’は、カメラ１の俯角である。今、角度θを、水平面に対するカメラ１の傾き角度として捉える。９０°＜θ＜１８０°且つθ＋θ’＝１８０°、が成立する。
【００３５】
カメラ１は、車両１００の周辺を撮影する。特に、車両１００の後方側に視野を有するようにカメラ１は車両１００に設置される。カメラ１の視野には、車両１００の後方側に位置する路面が含まれる。尚、以下の説明において、地面は水平面上にあるものとし、「高さ」は、地面を基準とした高さを表すものとする。また、本実施形態において、地面と路面は同義である。
【００３６】
カメラ１として、ＣＣＤ（Charge Coupled Devices）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサ等の固体撮像素子を用いたカメラが用いられる。画像処理装置２は、例えば集積回路から形成される。表示装置３は、液晶ディスプレイパネル等から形成される。カーナビゲーションシステムなどに含まれる表示装置を、運転支援システムにおける表示装置３として流用しても良い。また、画像処理装置２は、カーナビゲーションシステムの一部として組み込まれうる。画像処理装置２及び表示装置３は、例えば、車両１００の運転席付近に設置される。
【００３７】
［通常の鳥瞰図画像について］
画像処理装置２は、座標変換を用い、カメラ画像を仮想カメラの視点から見た画像に変換することによって鳥瞰図画像を生成することができる。カメラ画像から鳥瞰図画像を生成するための座標変換を「鳥瞰変換」と呼ぶ。画像処理装置２は、特開２００６−２８７８９２号公報にも述べられているような拡張鳥瞰図画像を生成することができるが、まず、それの基礎となる鳥瞰変換を説明する。
【００３８】
図４及び図５を参照する。カメラ１の光軸方向に直交する面をカメラ座標面とする。図４及び図５において、カメラ座標面を面Ｐbuで表す。カメラ座標面は、カメラ１の固体撮像素子の撮像面に平行なカメラ画像の投影面であり、カメラ画像はカメラ座標面上に二次元配列された各画素によって形成される。また、カメラ１の光学中心をＯCで表すと共に、光学中心ＯCを通り且つカメラ１の光軸方向に平行な軸をＺ軸とする。Ｚ軸とカメラ座標面との交点がカメラ画像の中心点となる。カメラ座標面上の、互いに直交する座標軸をＸbu軸及びＹbu軸とする。Ｘbu軸及びＹbu軸は、夫々、カメラ画像の水平方向及び垂直方向と平行である。そして、カメラ座標面（及びカメラ画像）上の或る画素の位置を座標値（ｘbu，ｙbu）で表す。ｘbu及びｙbuは、夫々、その画素の、カメラ座標面（及びカメラ画像）上の水平位置及び垂直位置を表している。尚、カメラ座標面を含む、二次元直交座標面の原点をＯにて表す。カメラ画像の垂直方向は車両１００からの距離方向に対応しており、カメラ座標面上において、或る画素のＹbu軸成分（即ち、ｙbu）が増大すれば、カメラ座標面上における該画素と車両１００及びカメラ１との距離は増大する。
【００３９】
また、地面に平行な面を鳥瞰図座標面とする。図５において、鳥瞰図座標面を面Ｐauで表す。鳥瞰図画像は、鳥瞰図座標面上に二次元配列された各画素によって形成される。鳥瞰図座標面上の直交座標軸をＸau軸及びＹau軸とする。Ｘau軸及びＹau軸は、夫々、鳥瞰図画像の水平方向及び垂直方向と平行である。そして、鳥瞰図座標面（及び鳥瞰図画像）上の或る画素の位置を座標値（ｘau，ｙau）で表す。ｘau及びｙauは、夫々、その画素の、鳥瞰図座標面（及び鳥瞰図画像）上の水平位置及び垂直位置を表している。鳥瞰図画像の垂直方向は車両１００からの距離方向に対応しており、鳥瞰図座標面上において、或る画素のＹau軸成分（即ち、ｙau）が増大すれば、鳥瞰図座標面上における該画素と車両１００及びカメラ１との距離は増大する。
【００４０】
鳥瞰図画像は、カメラ座標面上に定義されるカメラ画像を鳥瞰図座標面上に投影した画像に相当し、この投影を行うための鳥瞰変換を公知の座標変換によって実現できる。例えば、透視投影変換を用いる場合、カメラ画像上の各画素の座標値（ｘbu，ｙbu）を下記式（１）に従って鳥瞰図画像上の座標値（ｘau，ｙau）に変換することにより鳥瞰図画像を生成することができる。ここで、ｆはカメラ１の焦点距離である。ｈは、カメラ１が配置されている高さ（設置高さ）、即ちカメラ１の視点の高さである。Ｈは、上記の仮想カメラが配置されている高さ、即ち仮想カメラの視点の高さである。
【００４１】
【数１】
【００４２】
図６（ａ）にカメラ画像２００の例を示すと共に、図６（ｂ）に、そのカメラ画像を鳥瞰変換することによって得た鳥瞰図画像２１０を示す。カメラ画像２００は、路面上に描かれた２本の平行な白線を撮影することによって得たものである。また、その白線の側方に被写体としての人物が位置している。カメラ１の傾き角度θが９０度でないことに由来してカメラ画像２００内における２本の白線は平行とならないが、鳥瞰図画像２１０内における２本の白線は、実空間上のそれらと同じく平行となる。尚、図６（ｂ）及び後述の図９に示された斜線領域は、カメラ１によって撮影されていない領域（画像情報が元々ない領域）である。カメラ画像の全体領域の外形は矩形であるが、鳥瞰変換の原理上、鳥瞰図画像の全体領域の外形は矩形とならないことがある。
【００４３】
［拡張鳥瞰図画像について］
上述の鳥瞰図画像は、カメラ画像を仮想カメラの視点から見た画像に変換したものであり、鳥瞰図画像を生成する場合における仮想カメラの俯角は９０度である。つまり、その仮想カメラは地面を鉛直方向に見下ろすカメラである。鳥瞰図画像を表示すると運転者は画像上における車体と物体との距離感（換言すれば遠近感）を掴みやすくなるが、鳥瞰図画像は、その特性上、視野範囲が狭い。これを考慮した拡張鳥瞰図画像を、画像処理装置２は生成可能である。
【００４４】
図７に、拡張鳥瞰図画像の構造を示す。拡張鳥瞰図画像の全体領域は境界線ＢＬを境界にして第１及び第２画像領域に分割されている。第１画像領域内の画像を第１要素画像と呼び、第２画像領域内の画像を第２要素画像と呼ぶ。図７の下方側が車両１００が位置する側であり、第１要素画像内には車両１００からの距離が比較的近い被写体が現れ、第２要素画像内には車両１００からの距離が比較的遠い被写体が現れる。つまり、第１要素画像内に現れる被写体は第２要素画像内に現れる被写体よりも車両１００及びカメラ１の近くに位置している。
【００４５】
図７の上下方向が拡張鳥瞰図画像の垂直方向に合致しており、境界線ＢＬは拡張鳥瞰図画像の水平方向及び水平ラインに平行である。第１要素画像内の水平ラインの内、最も車両１００の近くに位置する水平ラインを下端ラインＬＬと呼ぶ。第２要素画像内の水平ラインの内、最も境界線ＢＬとの距離が遠い水平ラインを上端ラインＵＬと呼ぶ。拡張鳥瞰図画像上における或る点に関し、その点が下端ラインＬＬから上端ラインＵＬに向かうにつれて、拡張鳥瞰図画像上におけるその点と車両１００及びカメラ１との距離が大きくなる。
【００４６】
また、鳥瞰図画像と同様、拡張鳥瞰図画像も鳥瞰図座標面上の画像であるとする。特に断りなき限り、以下の説明おける鳥瞰図座標面は、拡張鳥瞰図画像が定義される座標面を指すものと解釈される。従って、鳥瞰図座標面（及び拡張鳥瞰図画像）上の或る画素の位置は座標値（ｘau，ｙau）にて表され、ｘau及びｙauは、夫々、その画素の、鳥瞰図座標面（及び拡張鳥瞰図画像）上の水平位置及び垂直位置を表している。Ｘau軸及びＹau軸は、夫々、拡張鳥瞰図画像の水平方向及び垂直方向と平行である。拡張鳥瞰図画像の垂直方向は車両１００からの距離方向に対応しており、鳥瞰図座標面上において、或る画素のＹau軸成分（即ち、ｙau）が増大すれば、鳥瞰図座標面上における該画素と車両１００及びカメラ１との距離は増大する。拡張鳥瞰図画像の水平ラインの内、最もＹau軸成分が小さい水平ラインが下端ラインＬＬに合致し、最もＹau軸成分が大きい水平ラインが上端ラインＵＬに合致する。
【００４７】
図８を参照して、カメラ画像から拡張鳥瞰図画像を生成する方法の概念を説明する。カメラ画像を、Ｙbu軸成分が比較的小さい領域（車両近傍の画像領域）内の部分画像２２１とＹbu軸成分が比較的大きい領域（車両遠方の画像領域）内の部分画像２２２とに分割して考えた場合、部分画像２２１の画像データから第１要素画像が生成され、部分画像２２２の画像データから第２要素画像が生成される。
【００４８】
第１要素画像は、部分画像２２１に上述した鳥瞰変換を施すことによって得られる。即ち、部分画像２２１内の各画素の座標値（ｘbu，ｙbu）を下記式（２）及び（３）に従って鳥瞰図座標面上の座標値（ｘau，ｙau）に変換し、その座標変換後の座標値を有する各画素から形成される画像を第１要素画像とする。式（２）は、式（１）におけるθをθAに置換した式である。式（３）から分かるように、第１要素画像を生成する際には、式（２）におけるθAとして、実際のカメラ１の傾き角度θが用いられる。
【００４９】
【数２】
【数３】
【００５０】
一方、部分画像２２２内の各画素の座標値（ｘbu，ｙbu）を式（２）及び式（４）に従って鳥瞰図座標面上の座標値（ｘau，ｙau）に変換し、その座標変換後の座標値を有する各画素から形成される画像を第２要素画像とする。つまり、第２要素画像を生成する際には、式（２）におけるθAとして、式（４）に従うθAが用いられる。ここで、Δｙauは、第２要素画像内における着目した画素と境界線ＢＬとの、鳥瞰図座標面上における距離である。その着目した画素の座標値のＹau軸成分（即ち、ｙau）と境界線ＢＬの座標値のＹau軸成分との差分値が増大するにつれて、Δｙauは増大する。Δθは正の値を有する角度変化率である。Δθの値を予め設定しておくことができる。但し、角度θAが常に９０度以上となるようにΔθが設定されるものとする。式（４）に従う場合、境界線ＢＬより上方の画像を１ライン分生成するごとに、座標変換に用いる角度θAが９０度に向かって滑らかに減少するが、複数ライン分生成するごとに角度θAを変化させても構わない。
【００５１】
【数４】
【００５２】
以上のような、カメラ画像から拡張鳥瞰図画像を生成するための座標変換を「拡張鳥瞰変換」と呼ぶ。例として、図６（ａ）のカメラ画像２００から生成された拡張鳥瞰図画像２５０を図９に示す。拡張鳥瞰図画像２５０の内、第１要素画像に相当する部分には地面を鉛直方向に見下ろしたような画像が描画され、第２要素画像に相当する部分には地面を斜めから見下ろしたような画像が描画される。
【００５３】
視野範囲が狭いことに起因して図６（ｂ）の鳥瞰図画像２１０上では被写体としての人物が殆ど描写されていないが（鳥瞰図画像２１０上では足の部分だけが描写されている）、図９の拡張鳥瞰図画像２５０では、その人物が図６（ａ）のカメラ画像２００と同程度に描写される。このような拡張鳥瞰図画像を表示するようにすれば、比較的遠方の領域を映像として視認することが可能となる。
【００５４】
第１要素画像は、視点変換によって、実際のカメラ１の視点から見た部分画像２２１を仮想カメラの視点から見た画像に変換したものである。この場合における視点変換は、実際のカメラ１の傾き角度θを用いて行われるため、その仮想カメラの俯角は９０度（但し、誤差は含まれうる）である。つまり、第１要素画像を生成する際における仮想カメラの俯角は９０度である。
【００５５】
同様に、第２要素画像は、視点変換によって、実際のカメラ１の視点から見た部分画像２２２を仮想カメラの視点から見た画像に変換したものである。但し、この場合における視点変換は、実際のカメラ１の傾き角度θよりも小さな角度θAを用いて行われるため（式（４）参照）、その仮想カメラの俯角は９０度未満である。つまり、第２要素画像を生成する際における仮想カメラの俯角は９０度未満である。第１及び第２要素画像を生成する際における仮想カメラを、便宜上、夫々、第１及び第２の仮想カメラとも呼ぶ。Δｙauが増大するにつれて式（４）に従う角度θAは９０度に向かって減少し、式（２）における角度θAが９０度に向かって減少するにつれて第２の仮想カメラの俯角は減少する。角度θAが９０度となると第２の仮想カメラの俯角と実際のカメラ１の俯角は同じとなる。尚、第１の仮想カメラの高さと第２の仮想カメラの高さは同じである（共にＨである）。
【００５６】
画像処理装置２は、上記式（２）〜（４）に従って、カメラ画像を拡張鳥瞰図画像に変換するための画像変換パラメータを生成して記憶する。カメラ画像を拡張鳥瞰図画像に変換するための画像変換パラメータを、特に拡張変換パラメータと呼ぶ。拡張変換パラメータによって、鳥瞰図座標面（及び拡張鳥瞰図画像）上の画素の座標値とカメラ座標面（及びカメラ画像）上の画素の座標値との対応関係が指定される。拡張変換パラメータを、ルックアップテーブルに格納することもできる。
【００５７】
［拡張変換パラメータの調整を含む、運転支援システムの動作］
ところで、カメラ１の傾き角度及び設置高さが完全に固定されることが分かっている場合は、上記の角度変化率Δθ、境界線ＢＬの位置及び仮想カメラの高さＨを運転支援システムの設計段階で予め適切に設定しておけば適切な拡張鳥瞰図画像を常時生成することが可能である。しかし、ユーザが車両１００とは別にカメラ１を用意して車両１００の形状等に合わせてカメラ１を車両１００に設置する場合は、カメラ１の傾き角度等が一定に保たれないため、カメラ１の傾き角度等の変化に対応して拡張変換パラメータを適切に調整する必要がある。本実施形態に係る運転支援システムには、拡張変換パラメータを自動的に調整する機能が備えられている。この機能に注目した運転支援システムの構成及び動作を説明する。
【００５８】
図１０は、画像処理装置２の機能ブロック図を含む、図１の運転支援システムの詳細ブロック図である。画像処理装置２は、符号１１〜１７によって参照される各部位を備える。図１１は、運転支援システムの動作の流れを表すフローチャートである。
【００５９】
図１０のパラメータ記憶部１６は、拡張変換パラメータを記憶するメモリである。記憶される拡張変換パラメータの初期値は、図１１に示すステップＳ１〜Ｓ７から成る一連の処理の実行前に、予め定められる。例えば、その初期値はキャリブレーションモードにて設定される。車両１００にカメラ１を設置した後、ユーザが運転支援システムに所定の操作を施すと、キャリブレーションモードにおける動作が実行される。キャリブレーションモードにおいて、図示されない操作部に対して、ユーザがカメラ１の傾き角度及び設置高さを表す情報を運転支援システムに与えると、その情報に従って、画像処理装置２が上記式（２）〜式（４）におけるθ及びｈの各値を決定する。画像処理装置２は、ここで決定されたθ及びｈの各値と、予め設定された角度変化率Δθの初期値、予め設定された境界線ＢＬの初期位置及び予め設定された仮想カメラの高さＨの初期値とを用い、式（２）〜式（４）に従って拡張変換パラメータの初期値を定める。尚、上記式（２）における焦点距離ｆの値を、画像処理装置２は予め認識している。また、仮想カメラの高さＨの初期値をユーザが決定するようにしてもよい。
【００６０】
図１１のフローチャートに沿って、運転支援システムの動作を説明する。まず、ステップＳ１において、画像入力部１１は、カメラ１から原画像の入力を受ける。即ち、画像入力部１１は、カメラ１から送られてくる原画像の画像データを受け取り、その画像データをフレームメモリ（不図示）に記憶させることで原画像を取得する。原画像とはレンズ歪み補正前のカメラ画像を指す。広視野角を確保すべくカメラ１には広角レンズが用いられるため、原画像には歪みが含まれている。そこで、ステップＳ２において、レンズ歪み補正部１２は、画像入力部１１が取得した原画像に対してレンズ歪み補正を施す。レンズ歪み補正の方法として、特開平５−１７６３２３号公報に記載されているような公知の任意の方法が利用可能である。原画像にレンズ歪み補正を施して得た画像を、上述したように、単にカメラ画像と呼ぶ。
【００６１】
ステップＳ２に続くステップＳ３において、画像変換部１３は、パラメータ記憶部１６に記憶されている拡張変換パラメータを読み込む。後述するように、拡張変換パラメータは更新されることがある。ステップＳ３では、最新の拡張変換パラメータが読み込まれる。続くステップＳ４において、画像変換部１３は、読み込んだ拡張変換パラメータに従ってレンズ歪み補正部１２から与えられるカメラ画像を拡張鳥瞰変換することにより拡張鳥瞰図画像を生成する。
【００６２】
ステップＳ４の処理の後、欠落判定部１４によってステップＳ５の処理が実行される。欠落判定部１４は、ステップＳ４で生成されるべき拡張鳥瞰図画像に画像の欠落が発生しているか否かを判定する。画像の欠落とは、拡張鳥瞰図画像の全体像が現れるべき拡張鳥瞰図画像の全体領域内に画像欠落領域が含まれることを意味し、拡張鳥瞰図画像の全体領域内に画像欠落領域が含まれる場合に、画像の欠落が発生していると判定される。画像欠落領域とは、カメラ画像の画像データに基づく画像データが存在しない領域を意味する。画像の欠落が発生している拡張鳥瞰図画像の例は、図１６に示されている。図１６の上方における黒塗り部分が画像欠落領域である。本来、カメラの撮影結果に基づくカメラ画像の画像データから拡張鳥瞰図画像の全画素の画像データが生成されるべきであるが、画像変換パラメータが不適切であると、拡張鳥瞰図画像内の一部の画素の対応画素がカメラ画像内に存在しなくなり、結果、画像欠落が発生する。
【００６３】
尚、欠落判定部１４の判定対象となる画像の欠落は拡張鳥瞰図画像の第２画像領域内に発生する（図７及び図１６参照）。つまり、画像欠落領域が生じる場合、それは第２画像領域内に含まれるものとする。また、拡張鳥瞰変換の原理上、その画像の欠落は上端ラインＵＬを起点として生じる。
【００６４】
拡張鳥瞰図画像に画像の欠落が発生していると判断された場合は、ステップＳ５からステップＳ６に移行し、画像の欠落が発生していないと判断された場合はステップＳ７に移行する。
【００６５】
図１２並びに図１３（ａ）及び（ｂ）を参照して、画像欠落の意義及び画像欠落の有無の判定方法を補足説明する。拡張鳥瞰図画像を形成する各画素が位置すべき、鳥瞰図座標面上の座標値は予め設定されており、その設定内容に従って、鳥瞰図座標面上における拡張鳥瞰図画像の外形位置も予め定められている。図１２並びに図１３（ａ）及び（ｂ）において、符号２７０が付された枠は、鳥瞰図座標面上における拡張鳥瞰図画像の全体領域外形を表している。その枠２７０内に二次元配列された画素群から拡張鳥瞰図画像が生成される。
【００６６】
欠落判定部１４は、ステップＳ３で読み込まれた拡張変換パラメータに従って、枠２７０内の各画素の座標値（ｘau，ｙau）に対応するカメラ座標面上の座標値（ｘbu，ｙbu）を求める。そして、求めた全ての座標値（ｘbu，ｙbu）がカメラ画像内の座標値である場合、即ち、拡張鳥瞰図画像を形成する全画素の画像データをカメラ画像の画像データから得ることができる場合、画像の欠落は発生していないと判定する。一方、求めた全ての座標値（ｘbu，ｙbu）の中に、カメラ画像外の座標値が存在する場合は、画像の欠落が発生していると判定する。図１３（ａ）は、画像の欠落が発生しない場合の座標変換の様子を示しており、図１３（ｂ）は、画像の欠落が発生している場合の座標変換の様子を示している。図１３（ａ）及び（ｂ）において、枠２８０はカメラ座標面上におけるカメラ画像の全体領域外形を表しており、枠２８０内にのみ、カメラ画像の画像データが存在する。
【００６７】
ステップＳ５にて画像の欠落が発生していると判断された場合、ステップＳ６において、その判断結果に基づきパラメータ調整部１５が拡張変換パラメータの調整を行う。原画像から生成される拡張鳥瞰図画像は、レンズ歪み補正、カメラ１の傾き角度θ及び設置高さｈ、角度変化率Δθ、境界線ＢＬの位置、並びに、仮想カメラの高さＨに依存するが、この内、レンズ歪み補正はカメラ１に使用するレンズの特性に依存して決められるべきであり、カメラ１の傾き角度θ及び設置高さｈは車両１００に対するカメラ１の取り付け状態に依存して決められるべきである。
【００６８】
このため、パラメータ調整部１５は、拡張鳥瞰図画像の全体領域内に含まれる画像欠落領域の大きさが小さくなるように（究極的には、画像欠落領域が完全に無くなるように）、角度変化率Δθ、境界線ＢＬの位置又は仮想カメラの高さＨを調整する。画像欠落領域の大きさとは、画像欠落領域の画像サイズを意味する。画像欠落領域の大きさを、画像欠落領域を形成する画素数によって表すことができる。
【００６９】
具体的には例えば、調整後の角度変化率Δθが調整前のそれよりも小さくなるように角度変化率Δθを調整する。即ち、角度変化率Δθを減少補正する。角度変化率Δθを減少させることにより、第２要素画像内の或る画素に対する仮想カメラの俯角が調整前よりも９０度に近づくため、車両遠方側の視野範囲が狭まって画像欠落が発生しにくくなる。角度変化率Δθの、一回当たりの減少量を予め定めておくことができる。或いは、その減少量を、画像欠落領域の大きさに応じて決定しても良い。調整後の角度変化率Δθを用いた式（２）〜式（４）に基づく拡張変換パラメータは、パラメータ記億部１６に更新記憶される。
【００７０】
或いは例えば、調整後の境界線ＢＬの位置が調整前のそれよりも上端ラインＵＬに近くなるように境界線ＢＬの位置を調整する。即ち、境界線ＢＬのＹau軸方向の座標値を増大させる。境界線ＢＬの位置を上端ラインＵＬ側に移動させることにより、第２要素画像の垂直画像サイズが減少するため、車両遠方側の視野範囲が狭まって画像欠落が発生しにくくなる。境界線ＢＬの、一回当たりの移動量を予め定めておくことができる。或いは、その移動量を、画像欠落領域の大きさに応じて決定しても良い。調整後の境界線ＢＬの位置を用いた式（２）〜式（４）に基づく拡張変換パラメータは、パラメータ記億部１６に更新記憶される。
【００７１】
或いは例えば、調整後の仮想カメラの高さＨが調整前のそれよりも低くなるように仮想カメラの高さＨを調整する。仮想カメラの高さＨを低下させることにより、拡張鳥瞰図画像の全体の視野範囲が狭まるため、画像欠落が発生しにくくなる。高さＨの、一回当たりの低下量を予め定めておくことができる。或いは、その低下量を、画像欠落領域の大きさに応じて決定しても良い。調整後の高さＨを用いた式（２）〜式（４）に基づく拡張変換パラメータは、パラメータ記億部１６に更新記憶される。
【００７２】
或いは例えば、角度変化率Δθ、境界線ＢＬの位置及び仮想カメラの高さＨを、夫々、第１、第２及び第３調整対象として取り扱い、拡張鳥瞰図画像の全体領域内に含まれる画像欠落領域の大きさが小さくなるように（究極的には、画像欠落領域が完全に無くなるように）、第１〜第３調整対象の内の、２以上の調整対象を同時に調整するようにしてもよい。即ち例えば、角度変化率Δθを減少するように且つ境界線ＢＬの位置が上端ラインＵＬに近づくように、角度変化率Δθと境界線ＢＬの位置を同時に調整するようにしてもよい。この場合、調整後の角度変化率Δθ及び境界線ＢＬの位置を用いた式（２）〜式（４）に基づく拡張変換パラメータが、パラメータ記億部１６に更新記憶される。
【００７３】
ステップＳ６にて拡張変換パラメータが調整された後、ステップＳ３に戻り、更新記憶された拡張変換パラメータが画像変換部１３によって読み込まれ、その更新記憶された拡張変換パラメータを用いたステップＳ４の拡張鳥瞰変換及びステップＳ５の欠落判定処理が実行される。このため、ステップＳ３〜Ｓ６から成るループ処理は、ステップＳ５にて画像の欠落が発生していないと判断されるまで繰り返し実行される。
【００７４】
ステップＳ５にて画像の欠落が発生していないと判断された場合、画像の欠落の発生していない最新の拡張鳥瞰図画像の画像データが画像変換部１３から表示用画像生成部１７に送られる（図１０参照）。表示用画像生成部１７は、その最新の拡張鳥瞰図画像の画像データに基づいて表示用画像の画像データを生成し、その表示用画像の画像データを表示装置３に出力する。これにより、画像の欠落が存在しない拡張鳥瞰図画像に基づく表示用画像が表示装置３に表示される。表示用画像は、例えば、拡張鳥瞰図画像そのもの、或いは、拡張鳥瞰図画像に任意の加工を施した画像、或いは、拡張鳥瞰図画像に任意の画像を付加した画像である。
【００７５】
本実施形態に係る運転支援システムによれば、カメラ１の傾き角度θや設置高さＨが変化したとしても、その変化に適応して拡張変換パラメータが自動的に調整されるため、画像の欠落のない映像を運転者に提示することが可能となる。
【００７６】
＜＜変形等＞＞
上述の実施形態の変形例または注釈事項として、以下に、注釈１〜注釈４を記す。各注釈に記載した内容は、矛盾なき限り、任意に組み合わせることが可能である。
【００７７】
［注釈１］
上述の例では、レンズ歪み補正後の画像に対して拡張変換パラメータを作用させているが、レンズ歪み補正を行うための画像変換を拡張変換パラメータに盛り込んで、原画像から一気に拡張鳥瞰図画像を生成するようにしてもよい。この場合、図１０の画像入力部１１にて取得された原画像を画像変換部１３に入力するようにする。そして、レンズ歪み補正のための画像変換をも含んだ拡張変換パラメータをパラメータ記憶部１６に記憶させておき、その拡張変換パラメータを原画像に作用させることで拡張鳥瞰図画像を生成する。
【００７８】
また、使用するカメラによってはレンズ歪み補正自体が不要となることもある。レンズ歪み補正が不要な場合は、図１０の画像処理装置２からレンズ歪み補正部１２を削除し、原画像を画像変換部１３に直接与えればよい。
【００７９】
［注釈２］
車両１００の後方側に視野を有するようにカメラ１を車両１００の後部に設置する例を上述したが、車両１００の前方側に視野を有するように或いは車両１００の側方側に視野を有するように、カメラ１を車両１００の前部又は側方部に設置するようにしてもよい。
【００８０】
［注釈３］
上述の例では、１つのカメラから得られたカメラ画像に基づく表示用画像を表示装置３に表示するようにしているが、車両１００に複数のカメラ（不図示）を設置し、その複数のカメラ（不図示）から得られた複数のカメラ画像に基づいて表示用画像を生成するようにしてもよい。例えば、カメラ１以外に１台以上の他のカメラを車両１００に取り付け、その他のカメラのカメラ画像に基づく画像をカメラ１のカメラ画像に基づく画像（上述の例において、拡張鳥瞰図画像）に合成し、この合成によって得られた合成画像を最終的に表示装置３に対する表示用画像とすることも可能である。この合成画像は、例えば、車両１００の３６０°周辺全周を視野範囲に収めた画像である。
【００８１】
［注釈４］
図１０の画像処理装置２は、ハードウェア、或いは、ハードウェアとソフトウェアの組み合わせによって実現可能である。ソフトウェアを用いて画像処理装置２を構成する場合、ソフトウェアにて実現される部位についてのブロック図は、その部位の機能ブロック図を表すことになる。また、画像処理装置２にて実現される機能の全部または一部を、プログラムとして記述し、該プログラムをプログラム実行装置上で実行することによって、その機能の全部または一部を実現するようにしてもよい。
【図面の簡単な説明】
【００８２】
【図１】本発明の実施形態に係る運転支援システムの概略構成ブロック図である。
【図２】図１の運転支援システムが適用される車両の外観側面図である。
【図３】カメラの俯角と地面（水平面）との関係を示した図である。
【図４】カメラの光学中心とカメラ画像が定義されるカメラ座標面との関係を示す図である。
【図５】カメラ座標面と鳥瞰図座標面との関係を示す図である。
【図６】図１のカメラから得られるカメラ画像（ａ）と、そのカメラ画像に基づく鳥瞰図画像（ｂ）と、を示す図である。
【図７】図１の画像処理装置にて生成される拡張鳥瞰図画像の構造を示す図である。
【図８】カメラ画像と拡張鳥瞰図画像との関係を示す図である。
【図９】図６（ａ）のカメラ画像から得た拡張鳥瞰図画像を示す図である。
【図１０】画像処理装置の機能ブロック図を含む、図１の運転支援システムの詳細ブロック図である。
【図１１】図１の運転支援システムの動作の流れを表すフローチャートである。
【図１２】図１０の画像処理装置内で定義される、鳥瞰図座標面上の拡張鳥瞰図画像の外形を示す図である。
【図１３】画像欠落ない場合における、カメラ画像と拡張鳥瞰図画像との関係図（ａ）と、画像欠落がある場合における、カメラ画像と拡張鳥瞰図画像との関係図（ｂ）である。
【図１４】従来技術に係る、カメラ画像、鳥瞰図画像及び拡張鳥瞰図画像を示す図である。
【図１５】拡張鳥瞰図画像の生成時に想定される仮想カメラのイメージ図である。
【図１６】画像欠落が生じた拡張鳥瞰図画像を例示する図である。
【符号の説明】
【００８３】
１ カメラ
２ 画像処理装置
３ 表示装置
１１ 画像入力部
１２ レンズ歪み補正部
１３ 画像変換部
１４ 欠落判定部
１５ パラメータ調整部
１６ パラメータ記憶部
１７ 表示用画像生成部
【技術分野】
【０００１】
本発明は、カメラからの入力画像に対して画像処理を施す画像処理装置及び方法に関する。また本発明は、それらを利用した運転支援システム及び車両に関する。
【背景技術】
【０００２】
車両の運転者にとって車両後方は死角となりやすい。そこで、運転者の死角となりやすい領域を監視するカメラを車両に搭載し、カメラから得られた画像を運転席付近に配置された表示装置に表示するという手法が提案されている。また、カメラから得た画像をそのまま表示すると遠近感が把握しにくいことを考慮し、カメラから得た画像を鳥瞰図画像に変換して表示する技術も開発されている。
【０００３】
鳥瞰図画像は車両を上空から眺めたような画像であるため、表示画面上において遠近感をつかみやすくなるが、鳥瞰図画像は、その特性上、視野範囲が狭い。これを考慮し、車両近辺に対応する第１画像領域おいては鳥瞰図画像を表示する一方、車両遠方に対応する第２画像領域においては遠方用画像を表示する技術が提案されている（例えば特許文献１参照）。
【０００４】
第１画像領域における鳥瞰図画像と第２画像領域における遠方用画像との合成画像に相当する画像は、拡張鳥瞰図画像とも呼ばれる。図１４（ａ）における画像９００は、カメラから得たカメラ画像の例を示している。図１４（ｂ）及び(ｃ)に、夫々、そのカメラ画像９００から得た鳥瞰図画像９１０及び拡張鳥瞰図画像９２０を示す。カメラ画像９００は、路面上に描かれた２本の平行な白線を撮影することによって得たものである。また、その白線の側方に被写体としての人物が位置している。車両に設置されるカメラの俯角は９０度ではないため、カメラ画像９００内における２本の白線は平行とならないが、鳥瞰図画像９１０内における２本の白線は、実空間上のそれらと同じく平行となる。尚、図１４（ｂ）及び（ｃ）に示された斜線領域は、カメラによって撮影されていない領域（画像情報が元々ない領域）である。また、図１４（ａ）〜（ｃ）において、下方側が車両側に対応している。
【０００５】
拡張鳥瞰図画像９２０には、境界線９２１が設定される。そして、境界線９２１の下方側に位置する第１画像領域には、カメラ画像の第１部分画像から得た、車両近辺の様子を示す鳥瞰図画像が描画され、境界線９２１の上方側に位置する第２画像領域には、カメラ画像の第２部分画像から得た、車両遠方の様子を示す遠方用画像が描画される。
【０００６】
拡張鳥瞰図画像９２０は、視点変換によって、カメラ画像９００を仮想カメラの視点から見た画像に変換したものに相当する。この際、図１５（ａ）に示す如く、第１画像領域内の鳥瞰図画像の生成時における仮想カメラの俯角は９０度で固定される一方で、図１５（ｂ）に示す如く、第２画像領域内の遠方用画像の生成時における仮想カメラの俯角は９０度未満とされ、且つ、その俯角は、画像の上方側に向かうにつれて９０度から所定の角度変化率にて実際のカメラの俯角（例えば４５度）に徐々に近づけられる。
【０００７】
視野範囲が狭いことに起因して鳥瞰図画像９１０上では被写体としての人物が殆ど描写されていないが（鳥瞰図画像９１０上では足の部分だけが描写されている）、拡張鳥瞰図画像９２０では、その人物がカメラ画像９００と同程度に描写される。このような拡張鳥瞰図画像を表示するようにすれば、鳥瞰図画像による遠近感の把握容易化という利点を享受しつつ、車両遠方に対する視界をも支援することが可能となる。つまり、広範囲で優れた視認性を得る事が可能となる。
【０００８】
【特許文献１】特開２００６−２８７８９２号公報
【発明の開示】
【発明が解決しようとする課題】
【０００９】
拡張鳥瞰図画像を生成可能な運転支援システムでは、カメラ画像から拡張鳥瞰図画像を生成するための画像変換パラメータが事前に設定され、実稼動時において、その画像変換パラメータを用いて拡張鳥瞰図画像の生成を行う。画像変換パラメータは、カメラ画像が定義される座標面上の座標値と拡張鳥瞰図画像が定義される座標面上の座標値との対応関係を規定するパラメータである。拡張鳥瞰図画像を生成するためには、実際のカメラの傾き角度及び設置高さなどの情報が必要であり、画像変換パラメータは、その情報に基づいて設定される。
【００１０】
車両の製造段階でカメラが取り付けられる場合など、カメラの傾き角度及び設置高さが完全に固定されることが分かっている場合は、上記情報に基づいて適切な画像変換パラメータを事前に定めておき、それをそのまま使い続けることで適切な拡張鳥瞰図画像を常時生成することができる。
【００１１】
しかし、ユーザが車両とは別にカメラを用意して車両の形状等に合わせてカメラを車両に設置する場合は、カメラの傾き角度等が一定に保たれないため、カメラの傾き角度等の変化に対応して画像変換パラメータを適切に調整する必要がある。不適切な画像変換パラメータを用いた場合、生成した拡張鳥瞰図画像内に画像の欠落が発生することがある。図１６に、この欠落が発生している拡張鳥瞰図画像の例を示す。
【００１２】
画像の欠落とは、拡張鳥瞰図画像の全体像が現れるべき拡張鳥瞰図画像の全体領域内に画像欠落領域が含まれることを意味する。画像欠落領域とは、カメラ画像の画像データに基づく画像データが存在しない領域を意味する。図１６の上方における黒塗り部分が画像欠落領域である。本来、カメラの撮影結果に基づくカメラ画像の画像データから拡張鳥瞰図画像の全画素の画像データが生成されるべきであるが、画像変換パラメータが不適切であると、拡張鳥瞰図画像内の一部の画素の対応画素がカメラ画像内に存在しなくなり、結果、画像欠落が発生する。
【００１３】
拡張鳥瞰図画像を表示するシステムにおいて、画像欠落の発生を極力なくすべきであることは言うまでもない。
【００１４】
そこで本発明は、カメラからの画像を座標変換することによって得た変換画像上における画像欠落を抑制する画像処理装置及び画像補正方法を提供することを目的とする。また、本発明は、それらを利用した運転支援システム及び車両を提供することを目的とする。
【課題を解決するための手段】
【００１５】
本発明に係る画像処理装置は、車両の周辺を撮影するカメラの撮影結果に基づいて入力画像を取得する画像取得手段と、座標変換によって、前記入力画像を、第１の仮想カメラから見た第１要素画像及び前記第１の仮想カメラと異なる第２の仮想カメラから見た第２要素画像を含む変換画像に変換する画像変換手段と、前記入力画像を前記変換画像に変換するための画像変換パラメータを記憶するパラメータ記憶手段と、前記パラメータ記憶手段に記憶された画像変換パラメータを用いて前記入力画像から得られる前記変換画像の全体領域内に、前記入力画像の画像データに基づく画像データが存在しない画像欠落領域が含まれるか否かを判定する欠落判定手段と、前記変換画像の全体領域内に前記画像欠落領域が含まれていると判定されたとき、前記画像欠落領域の発生が抑制されるように前記画像変換パラメータを調整するパラメータ調整手段と、を備えたことを特徴とする。
【００１６】
これにより、画像の欠落が抑制された変換画像を生成することが可能となる。
【００１７】
具体的には例えば、前記画像変換手段は、前記画像変換パラメータに従い、前記入力画像を、前記車両からの距離が比較的短い被写体が現れる第１部分画像と前記車両からの距離が比較的長い被写体が現れる第２部分画像とを含む複数の部分画像に切り分けて、前記第１及び第２部分画像をそれぞれ前記第１及び第２要素画像に変換することにより前記変換画像を生成する。
【００１８】
そして例えば、前記第１の仮想カメラの俯角よりも前記第２の仮想カメラの俯角が小さく、且つ、前記第１要素画像と前記第２要素画像との境界線を起点として前記第１要素画像から離れるにつれて規定の角度変化率に従い前記第２の仮想カメラの俯角が小さくなるように、調整前後の前記画像変換パラメータは設定され、前記パラメータ調整手段は、前記変換画像の全体領域内に前記画像欠落領域が含まれていると判定されたとき、前記画像欠落領域の大きさが減少する方向に前記角度変化率を調整することによって前記画像変換パラメータの調整を行う。
【００１９】
上記の如く画像変換パラメータは角度変化率が依存するが、角度変化率を調整することによって変換画像の視野範囲が変化する。このため、角度変化率を調整することにより画像欠落領域の発生を抑制することが可能である。
【００２０】
或いは例えば、前記第１の仮想カメラの俯角よりも前記第２の仮想カメラの俯角が小さくなるように、調整前後の前記画像変換パラメータは設定され、前記パラメータ調整手段は、前記変換画像の全体領域内に前記画像欠落領域が含まれていると判定されたとき、前記画像欠落領域の大きさが減少する方向に前記第１要素画像と前記第２要素画像との境界線を前記変換画像内で移動させ、これによって前記画像変換パラメータの調整を行う。
【００２１】
第２の仮想カメラの俯角は第１の仮想カメラの俯角よりも小さいため、例えば、第２要素画像の画像サイズが縮小される方向に上記境界線を変換画像内で移動させれば、変換画像の視野範囲が縮小する。このため、境界線の位置を調整することにより画像欠落領域の発生を抑制することが可能である。
【００２２】
或いは例えば、前記パラメータ調整手段は、前記変換画像の全体領域内に前記画像欠落領域が含まれていると判定されたとき、前記画像欠落領域の大きさが減少する方向に前記第１及び第２の仮想カメラの高さを調整し、これによって前記画像変換パラメータの調整を行う。
【００２３】
変換画像は入力画像を仮想カメラから見た画像に変換したものであるため、例えば、仮想カメラの高さを低下させれば変換画像の視野範囲が縮小する。このため、仮想カメラの高さを調整することにより画像欠落領域の発生を抑制することが可能である。
【００２４】
或いは例えば、前記第１の仮想カメラの俯角よりも前記第２の仮想カメラの俯角が小さく、且つ、前記第１要素画像と前記第２要素画像との境界線を起点として前記第１要素画像から離れるにつれて規定の角度変化率に従い前記第２の仮想カメラの俯角が小さくなるように、調整前後の前記画像変換パラメータは設定され、前記パラメータ調整手段は、前記変換画像の全体領域内に前記画像欠落領域が含まれていると判定されたとき、前記角度変化率、前記変換画像上における前記境界線の位置、並びに、前記第１及び第２の仮想カメラの高さをそれぞれ第１、第２及び第３調整対象として取り扱って、前記画像欠落領域の発生を抑制する方向に第１〜第３の調整対象の内の何れか１以上を調整することにより前記画像変換パラメータの調整を行い、前記画像欠落領域が前記変換画像の全体領域内に含まれなくなるまで前記画像変換パラメータの調整を繰り返し実行する。
【００２５】
また具体的には例えば、前記画像変換パラメータによって前記変換画像内の各画素の座標値に対応する座標変換前の座標値が規定され、前記欠落判定手段は、その座標変換前の座標値が全て前記入力画像内の座標値である場合は前記変換画像の全体領域内に前記画像欠落領域が含まれていないと判定し、求めた前記座標値に前記入力画像外の座標値が含まれる場合は前記変換画像の全体領域内に前記画像欠落領域が含まれていると判定する。
【００２６】
本発明に係る運転支援システムは、前記カメラ及び前記画像処理装置を備え、前記画像処理装置の画像変換手段にて得られる変換画像に基づく画像を表示手段に出力することを特徴とする。
【００２７】
本発明に係る車両は、前記カメラ及び前記画像処理装置が設置されたことを特徴とする。
【００２８】
本発明に係る画像処理方法は、車両の周辺を撮影するカメラの撮影結果に基づいて入力画像を取得する画像取得ステップと、座標変換によって、前記入力画像を、第１の仮想カメラから見た第１要素画像及び前記第１の仮想カメラと異なる第２の仮想カメラから見た第２要素画像を含む変換画像に変換する画像変換ステップと、前記入力画像を前記変換画像に変換するための画像変換パラメータを記憶するパラメータ記憶ステップと、記憶された前記画像変換パラメータを用いて前記入力画像から得られる前記変換画像の全体領域内に、前記入力画像の画像データに基づく画像データが存在しない画像欠落領域が含まれるか否かを判定する欠落判定ステップと、前記変換画像の全体領域内に前記画像欠落領域が含まれていると判定されたとき、前記画像欠落領域の発生が抑制されるように前記画像変換パラメータを調整するパラメータ調整ステップと、を実行することを特徴とする。
【発明の効果】
【００２９】
本発明によれば、カメラからの画像を座標変換することによって得た変換画像上における画像欠落を抑制する画像処理装置及び画像補正方法を提供することができる。また、それらを利用した運転支援システム及び車両を提供することができる。
【００３０】
本発明の意義ないし効果は、以下に示す実施の形態の説明により更に明らかとなろう。ただし、以下の実施の形態は、あくまでも本発明の一つの実施形態であって、本発明ないし各構成要件の用語の意義は、以下の実施の形態に記載されたものに制限されるものではない。
【発明を実施するための最良の形態】
【００３１】
以下、本発明の実施の形態につき、図面を参照して具体的に説明する。参照される各図において、同一の部分には同一の符号を付し、同一の部分に関する重複する説明を原則として省略する。
【００３２】
図１に、本発明の実施形態に係る運転支援システムの概略構成ブロック図を示す。図１の運転支援システムは、カメラ１と、画像処理装置２と、表示装置３と、を備える。カメラ１は、撮影を行い、撮影によって得られた画像を表す信号を画像処理装置２に出力する。画像処理装置２は、カメラ１から得た画像より表示用画像を生成する。画像処理装置２は、生成した表示用画像を表す映像信号を表示装置３に出力し、表示装置３は、与えられた映像信号に従って表示用画像を映像として表示する。
【００３３】
カメラ１の撮影によって得られた画像をカメラ画像と呼ぶ。カメラ１の出力信号そのものによって表されるカメラ画像は、レンズ歪みの影響を受けていることが多い。従って、画像処理装置２は、カメラ１の出力信号そのものによって表されるカメラ画像に対してレンズ歪み補正を施し、レンズ歪み補正後のカメラ画像に基づいて表示用画像の生成を行う。特記なき限り、以下に述べるカメラ画像とは、レンズ歪み補正後のカメラ画像を指すものとする。但し、カメラ１の特性によっては、レンズ歪み補正処理が省略されることもある。
【００３４】
図２は、図１の運転支援システムが適用される車両１００の外観側面図である。図２に示すように、車両１００の後部に後方斜め下向きにカメラ１が配置される。車両１００は、例えば自動車である。水平面とカメラ１の光軸との成す角には、図２にθで表される角度とθ’で表される角度とがある。観察者としての或るカメラに関し、水平面と該カメラの光軸との成す鋭角は、一般的に俯角（又は見下ろし角）と呼ばれている。角度θ’は、カメラ１の俯角である。今、角度θを、水平面に対するカメラ１の傾き角度として捉える。９０°＜θ＜１８０°且つθ＋θ’＝１８０°、が成立する。
【００３５】
カメラ１は、車両１００の周辺を撮影する。特に、車両１００の後方側に視野を有するようにカメラ１は車両１００に設置される。カメラ１の視野には、車両１００の後方側に位置する路面が含まれる。尚、以下の説明において、地面は水平面上にあるものとし、「高さ」は、地面を基準とした高さを表すものとする。また、本実施形態において、地面と路面は同義である。
【００３６】
カメラ１として、ＣＣＤ（Charge Coupled Devices）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサ等の固体撮像素子を用いたカメラが用いられる。画像処理装置２は、例えば集積回路から形成される。表示装置３は、液晶ディスプレイパネル等から形成される。カーナビゲーションシステムなどに含まれる表示装置を、運転支援システムにおける表示装置３として流用しても良い。また、画像処理装置２は、カーナビゲーションシステムの一部として組み込まれうる。画像処理装置２及び表示装置３は、例えば、車両１００の運転席付近に設置される。
【００３７】
［通常の鳥瞰図画像について］
画像処理装置２は、座標変換を用い、カメラ画像を仮想カメラの視点から見た画像に変換することによって鳥瞰図画像を生成することができる。カメラ画像から鳥瞰図画像を生成するための座標変換を「鳥瞰変換」と呼ぶ。画像処理装置２は、特開２００６−２８７８９２号公報にも述べられているような拡張鳥瞰図画像を生成することができるが、まず、それの基礎となる鳥瞰変換を説明する。
【００３８】
図４及び図５を参照する。カメラ１の光軸方向に直交する面をカメラ座標面とする。図４及び図５において、カメラ座標面を面Ｐbuで表す。カメラ座標面は、カメラ１の固体撮像素子の撮像面に平行なカメラ画像の投影面であり、カメラ画像はカメラ座標面上に二次元配列された各画素によって形成される。また、カメラ１の光学中心をＯCで表すと共に、光学中心ＯCを通り且つカメラ１の光軸方向に平行な軸をＺ軸とする。Ｚ軸とカメラ座標面との交点がカメラ画像の中心点となる。カメラ座標面上の、互いに直交する座標軸をＸbu軸及びＹbu軸とする。Ｘbu軸及びＹbu軸は、夫々、カメラ画像の水平方向及び垂直方向と平行である。そして、カメラ座標面（及びカメラ画像）上の或る画素の位置を座標値（ｘbu，ｙbu）で表す。ｘbu及びｙbuは、夫々、その画素の、カメラ座標面（及びカメラ画像）上の水平位置及び垂直位置を表している。尚、カメラ座標面を含む、二次元直交座標面の原点をＯにて表す。カメラ画像の垂直方向は車両１００からの距離方向に対応しており、カメラ座標面上において、或る画素のＹbu軸成分（即ち、ｙbu）が増大すれば、カメラ座標面上における該画素と車両１００及びカメラ１との距離は増大する。
【００３９】
また、地面に平行な面を鳥瞰図座標面とする。図５において、鳥瞰図座標面を面Ｐauで表す。鳥瞰図画像は、鳥瞰図座標面上に二次元配列された各画素によって形成される。鳥瞰図座標面上の直交座標軸をＸau軸及びＹau軸とする。Ｘau軸及びＹau軸は、夫々、鳥瞰図画像の水平方向及び垂直方向と平行である。そして、鳥瞰図座標面（及び鳥瞰図画像）上の或る画素の位置を座標値（ｘau，ｙau）で表す。ｘau及びｙauは、夫々、その画素の、鳥瞰図座標面（及び鳥瞰図画像）上の水平位置及び垂直位置を表している。鳥瞰図画像の垂直方向は車両１００からの距離方向に対応しており、鳥瞰図座標面上において、或る画素のＹau軸成分（即ち、ｙau）が増大すれば、鳥瞰図座標面上における該画素と車両１００及びカメラ１との距離は増大する。
【００４０】
鳥瞰図画像は、カメラ座標面上に定義されるカメラ画像を鳥瞰図座標面上に投影した画像に相当し、この投影を行うための鳥瞰変換を公知の座標変換によって実現できる。例えば、透視投影変換を用いる場合、カメラ画像上の各画素の座標値（ｘbu，ｙbu）を下記式（１）に従って鳥瞰図画像上の座標値（ｘau，ｙau）に変換することにより鳥瞰図画像を生成することができる。ここで、ｆはカメラ１の焦点距離である。ｈは、カメラ１が配置されている高さ（設置高さ）、即ちカメラ１の視点の高さである。Ｈは、上記の仮想カメラが配置されている高さ、即ち仮想カメラの視点の高さである。
【００４１】
【数１】
【００４２】
図６（ａ）にカメラ画像２００の例を示すと共に、図６（ｂ）に、そのカメラ画像を鳥瞰変換することによって得た鳥瞰図画像２１０を示す。カメラ画像２００は、路面上に描かれた２本の平行な白線を撮影することによって得たものである。また、その白線の側方に被写体としての人物が位置している。カメラ１の傾き角度θが９０度でないことに由来してカメラ画像２００内における２本の白線は平行とならないが、鳥瞰図画像２１０内における２本の白線は、実空間上のそれらと同じく平行となる。尚、図６（ｂ）及び後述の図９に示された斜線領域は、カメラ１によって撮影されていない領域（画像情報が元々ない領域）である。カメラ画像の全体領域の外形は矩形であるが、鳥瞰変換の原理上、鳥瞰図画像の全体領域の外形は矩形とならないことがある。
【００４３】
［拡張鳥瞰図画像について］
上述の鳥瞰図画像は、カメラ画像を仮想カメラの視点から見た画像に変換したものであり、鳥瞰図画像を生成する場合における仮想カメラの俯角は９０度である。つまり、その仮想カメラは地面を鉛直方向に見下ろすカメラである。鳥瞰図画像を表示すると運転者は画像上における車体と物体との距離感（換言すれば遠近感）を掴みやすくなるが、鳥瞰図画像は、その特性上、視野範囲が狭い。これを考慮した拡張鳥瞰図画像を、画像処理装置２は生成可能である。
【００４４】
図７に、拡張鳥瞰図画像の構造を示す。拡張鳥瞰図画像の全体領域は境界線ＢＬを境界にして第１及び第２画像領域に分割されている。第１画像領域内の画像を第１要素画像と呼び、第２画像領域内の画像を第２要素画像と呼ぶ。図７の下方側が車両１００が位置する側であり、第１要素画像内には車両１００からの距離が比較的近い被写体が現れ、第２要素画像内には車両１００からの距離が比較的遠い被写体が現れる。つまり、第１要素画像内に現れる被写体は第２要素画像内に現れる被写体よりも車両１００及びカメラ１の近くに位置している。
【００４５】
図７の上下方向が拡張鳥瞰図画像の垂直方向に合致しており、境界線ＢＬは拡張鳥瞰図画像の水平方向及び水平ラインに平行である。第１要素画像内の水平ラインの内、最も車両１００の近くに位置する水平ラインを下端ラインＬＬと呼ぶ。第２要素画像内の水平ラインの内、最も境界線ＢＬとの距離が遠い水平ラインを上端ラインＵＬと呼ぶ。拡張鳥瞰図画像上における或る点に関し、その点が下端ラインＬＬから上端ラインＵＬに向かうにつれて、拡張鳥瞰図画像上におけるその点と車両１００及びカメラ１との距離が大きくなる。
【００４６】
また、鳥瞰図画像と同様、拡張鳥瞰図画像も鳥瞰図座標面上の画像であるとする。特に断りなき限り、以下の説明おける鳥瞰図座標面は、拡張鳥瞰図画像が定義される座標面を指すものと解釈される。従って、鳥瞰図座標面（及び拡張鳥瞰図画像）上の或る画素の位置は座標値（ｘau，ｙau）にて表され、ｘau及びｙauは、夫々、その画素の、鳥瞰図座標面（及び拡張鳥瞰図画像）上の水平位置及び垂直位置を表している。Ｘau軸及びＹau軸は、夫々、拡張鳥瞰図画像の水平方向及び垂直方向と平行である。拡張鳥瞰図画像の垂直方向は車両１００からの距離方向に対応しており、鳥瞰図座標面上において、或る画素のＹau軸成分（即ち、ｙau）が増大すれば、鳥瞰図座標面上における該画素と車両１００及びカメラ１との距離は増大する。拡張鳥瞰図画像の水平ラインの内、最もＹau軸成分が小さい水平ラインが下端ラインＬＬに合致し、最もＹau軸成分が大きい水平ラインが上端ラインＵＬに合致する。
【００４７】
図８を参照して、カメラ画像から拡張鳥瞰図画像を生成する方法の概念を説明する。カメラ画像を、Ｙbu軸成分が比較的小さい領域（車両近傍の画像領域）内の部分画像２２１とＹbu軸成分が比較的大きい領域（車両遠方の画像領域）内の部分画像２２２とに分割して考えた場合、部分画像２２１の画像データから第１要素画像が生成され、部分画像２２２の画像データから第２要素画像が生成される。
【００４８】
第１要素画像は、部分画像２２１に上述した鳥瞰変換を施すことによって得られる。即ち、部分画像２２１内の各画素の座標値（ｘbu，ｙbu）を下記式（２）及び（３）に従って鳥瞰図座標面上の座標値（ｘau，ｙau）に変換し、その座標変換後の座標値を有する各画素から形成される画像を第１要素画像とする。式（２）は、式（１）におけるθをθAに置換した式である。式（３）から分かるように、第１要素画像を生成する際には、式（２）におけるθAとして、実際のカメラ１の傾き角度θが用いられる。
【００４９】
【数２】
【数３】
【００５０】
一方、部分画像２２２内の各画素の座標値（ｘbu，ｙbu）を式（２）及び式（４）に従って鳥瞰図座標面上の座標値（ｘau，ｙau）に変換し、その座標変換後の座標値を有する各画素から形成される画像を第２要素画像とする。つまり、第２要素画像を生成する際には、式（２）におけるθAとして、式（４）に従うθAが用いられる。ここで、Δｙauは、第２要素画像内における着目した画素と境界線ＢＬとの、鳥瞰図座標面上における距離である。その着目した画素の座標値のＹau軸成分（即ち、ｙau）と境界線ＢＬの座標値のＹau軸成分との差分値が増大するにつれて、Δｙauは増大する。Δθは正の値を有する角度変化率である。Δθの値を予め設定しておくことができる。但し、角度θAが常に９０度以上となるようにΔθが設定されるものとする。式（４）に従う場合、境界線ＢＬより上方の画像を１ライン分生成するごとに、座標変換に用いる角度θAが９０度に向かって滑らかに減少するが、複数ライン分生成するごとに角度θAを変化させても構わない。
【００５１】
【数４】
【００５２】
以上のような、カメラ画像から拡張鳥瞰図画像を生成するための座標変換を「拡張鳥瞰変換」と呼ぶ。例として、図６（ａ）のカメラ画像２００から生成された拡張鳥瞰図画像２５０を図９に示す。拡張鳥瞰図画像２５０の内、第１要素画像に相当する部分には地面を鉛直方向に見下ろしたような画像が描画され、第２要素画像に相当する部分には地面を斜めから見下ろしたような画像が描画される。
【００５３】
視野範囲が狭いことに起因して図６（ｂ）の鳥瞰図画像２１０上では被写体としての人物が殆ど描写されていないが（鳥瞰図画像２１０上では足の部分だけが描写されている）、図９の拡張鳥瞰図画像２５０では、その人物が図６（ａ）のカメラ画像２００と同程度に描写される。このような拡張鳥瞰図画像を表示するようにすれば、比較的遠方の領域を映像として視認することが可能となる。
【００５４】
第１要素画像は、視点変換によって、実際のカメラ１の視点から見た部分画像２２１を仮想カメラの視点から見た画像に変換したものである。この場合における視点変換は、実際のカメラ１の傾き角度θを用いて行われるため、その仮想カメラの俯角は９０度（但し、誤差は含まれうる）である。つまり、第１要素画像を生成する際における仮想カメラの俯角は９０度である。
【００５５】
同様に、第２要素画像は、視点変換によって、実際のカメラ１の視点から見た部分画像２２２を仮想カメラの視点から見た画像に変換したものである。但し、この場合における視点変換は、実際のカメラ１の傾き角度θよりも小さな角度θAを用いて行われるため（式（４）参照）、その仮想カメラの俯角は９０度未満である。つまり、第２要素画像を生成する際における仮想カメラの俯角は９０度未満である。第１及び第２要素画像を生成する際における仮想カメラを、便宜上、夫々、第１及び第２の仮想カメラとも呼ぶ。Δｙauが増大するにつれて式（４）に従う角度θAは９０度に向かって減少し、式（２）における角度θAが９０度に向かって減少するにつれて第２の仮想カメラの俯角は減少する。角度θAが９０度となると第２の仮想カメラの俯角と実際のカメラ１の俯角は同じとなる。尚、第１の仮想カメラの高さと第２の仮想カメラの高さは同じである（共にＨである）。
【００５６】
画像処理装置２は、上記式（２）〜（４）に従って、カメラ画像を拡張鳥瞰図画像に変換するための画像変換パラメータを生成して記憶する。カメラ画像を拡張鳥瞰図画像に変換するための画像変換パラメータを、特に拡張変換パラメータと呼ぶ。拡張変換パラメータによって、鳥瞰図座標面（及び拡張鳥瞰図画像）上の画素の座標値とカメラ座標面（及びカメラ画像）上の画素の座標値との対応関係が指定される。拡張変換パラメータを、ルックアップテーブルに格納することもできる。
【００５７】
［拡張変換パラメータの調整を含む、運転支援システムの動作］
ところで、カメラ１の傾き角度及び設置高さが完全に固定されることが分かっている場合は、上記の角度変化率Δθ、境界線ＢＬの位置及び仮想カメラの高さＨを運転支援システムの設計段階で予め適切に設定しておけば適切な拡張鳥瞰図画像を常時生成することが可能である。しかし、ユーザが車両１００とは別にカメラ１を用意して車両１００の形状等に合わせてカメラ１を車両１００に設置する場合は、カメラ１の傾き角度等が一定に保たれないため、カメラ１の傾き角度等の変化に対応して拡張変換パラメータを適切に調整する必要がある。本実施形態に係る運転支援システムには、拡張変換パラメータを自動的に調整する機能が備えられている。この機能に注目した運転支援システムの構成及び動作を説明する。
【００５８】
図１０は、画像処理装置２の機能ブロック図を含む、図１の運転支援システムの詳細ブロック図である。画像処理装置２は、符号１１〜１７によって参照される各部位を備える。図１１は、運転支援システムの動作の流れを表すフローチャートである。
【００５９】
図１０のパラメータ記憶部１６は、拡張変換パラメータを記憶するメモリである。記憶される拡張変換パラメータの初期値は、図１１に示すステップＳ１〜Ｓ７から成る一連の処理の実行前に、予め定められる。例えば、その初期値はキャリブレーションモードにて設定される。車両１００にカメラ１を設置した後、ユーザが運転支援システムに所定の操作を施すと、キャリブレーションモードにおける動作が実行される。キャリブレーションモードにおいて、図示されない操作部に対して、ユーザがカメラ１の傾き角度及び設置高さを表す情報を運転支援システムに与えると、その情報に従って、画像処理装置２が上記式（２）〜式（４）におけるθ及びｈの各値を決定する。画像処理装置２は、ここで決定されたθ及びｈの各値と、予め設定された角度変化率Δθの初期値、予め設定された境界線ＢＬの初期位置及び予め設定された仮想カメラの高さＨの初期値とを用い、式（２）〜式（４）に従って拡張変換パラメータの初期値を定める。尚、上記式（２）における焦点距離ｆの値を、画像処理装置２は予め認識している。また、仮想カメラの高さＨの初期値をユーザが決定するようにしてもよい。
【００６０】
図１１のフローチャートに沿って、運転支援システムの動作を説明する。まず、ステップＳ１において、画像入力部１１は、カメラ１から原画像の入力を受ける。即ち、画像入力部１１は、カメラ１から送られてくる原画像の画像データを受け取り、その画像データをフレームメモリ（不図示）に記憶させることで原画像を取得する。原画像とはレンズ歪み補正前のカメラ画像を指す。広視野角を確保すべくカメラ１には広角レンズが用いられるため、原画像には歪みが含まれている。そこで、ステップＳ２において、レンズ歪み補正部１２は、画像入力部１１が取得した原画像に対してレンズ歪み補正を施す。レンズ歪み補正の方法として、特開平５−１７６３２３号公報に記載されているような公知の任意の方法が利用可能である。原画像にレンズ歪み補正を施して得た画像を、上述したように、単にカメラ画像と呼ぶ。
【００６１】
ステップＳ２に続くステップＳ３において、画像変換部１３は、パラメータ記憶部１６に記憶されている拡張変換パラメータを読み込む。後述するように、拡張変換パラメータは更新されることがある。ステップＳ３では、最新の拡張変換パラメータが読み込まれる。続くステップＳ４において、画像変換部１３は、読み込んだ拡張変換パラメータに従ってレンズ歪み補正部１２から与えられるカメラ画像を拡張鳥瞰変換することにより拡張鳥瞰図画像を生成する。
【００６２】
ステップＳ４の処理の後、欠落判定部１４によってステップＳ５の処理が実行される。欠落判定部１４は、ステップＳ４で生成されるべき拡張鳥瞰図画像に画像の欠落が発生しているか否かを判定する。画像の欠落とは、拡張鳥瞰図画像の全体像が現れるべき拡張鳥瞰図画像の全体領域内に画像欠落領域が含まれることを意味し、拡張鳥瞰図画像の全体領域内に画像欠落領域が含まれる場合に、画像の欠落が発生していると判定される。画像欠落領域とは、カメラ画像の画像データに基づく画像データが存在しない領域を意味する。画像の欠落が発生している拡張鳥瞰図画像の例は、図１６に示されている。図１６の上方における黒塗り部分が画像欠落領域である。本来、カメラの撮影結果に基づくカメラ画像の画像データから拡張鳥瞰図画像の全画素の画像データが生成されるべきであるが、画像変換パラメータが不適切であると、拡張鳥瞰図画像内の一部の画素の対応画素がカメラ画像内に存在しなくなり、結果、画像欠落が発生する。
【００６３】
尚、欠落判定部１４の判定対象となる画像の欠落は拡張鳥瞰図画像の第２画像領域内に発生する（図７及び図１６参照）。つまり、画像欠落領域が生じる場合、それは第２画像領域内に含まれるものとする。また、拡張鳥瞰変換の原理上、その画像の欠落は上端ラインＵＬを起点として生じる。
【００６４】
拡張鳥瞰図画像に画像の欠落が発生していると判断された場合は、ステップＳ５からステップＳ６に移行し、画像の欠落が発生していないと判断された場合はステップＳ７に移行する。
【００６５】
図１２並びに図１３（ａ）及び（ｂ）を参照して、画像欠落の意義及び画像欠落の有無の判定方法を補足説明する。拡張鳥瞰図画像を形成する各画素が位置すべき、鳥瞰図座標面上の座標値は予め設定されており、その設定内容に従って、鳥瞰図座標面上における拡張鳥瞰図画像の外形位置も予め定められている。図１２並びに図１３（ａ）及び（ｂ）において、符号２７０が付された枠は、鳥瞰図座標面上における拡張鳥瞰図画像の全体領域外形を表している。その枠２７０内に二次元配列された画素群から拡張鳥瞰図画像が生成される。
【００６６】
欠落判定部１４は、ステップＳ３で読み込まれた拡張変換パラメータに従って、枠２７０内の各画素の座標値（ｘau，ｙau）に対応するカメラ座標面上の座標値（ｘbu，ｙbu）を求める。そして、求めた全ての座標値（ｘbu，ｙbu）がカメラ画像内の座標値である場合、即ち、拡張鳥瞰図画像を形成する全画素の画像データをカメラ画像の画像データから得ることができる場合、画像の欠落は発生していないと判定する。一方、求めた全ての座標値（ｘbu，ｙbu）の中に、カメラ画像外の座標値が存在する場合は、画像の欠落が発生していると判定する。図１３（ａ）は、画像の欠落が発生しない場合の座標変換の様子を示しており、図１３（ｂ）は、画像の欠落が発生している場合の座標変換の様子を示している。図１３（ａ）及び（ｂ）において、枠２８０はカメラ座標面上におけるカメラ画像の全体領域外形を表しており、枠２８０内にのみ、カメラ画像の画像データが存在する。
【００６７】
ステップＳ５にて画像の欠落が発生していると判断された場合、ステップＳ６において、その判断結果に基づきパラメータ調整部１５が拡張変換パラメータの調整を行う。原画像から生成される拡張鳥瞰図画像は、レンズ歪み補正、カメラ１の傾き角度θ及び設置高さｈ、角度変化率Δθ、境界線ＢＬの位置、並びに、仮想カメラの高さＨに依存するが、この内、レンズ歪み補正はカメラ１に使用するレンズの特性に依存して決められるべきであり、カメラ１の傾き角度θ及び設置高さｈは車両１００に対するカメラ１の取り付け状態に依存して決められるべきである。
【００６８】
このため、パラメータ調整部１５は、拡張鳥瞰図画像の全体領域内に含まれる画像欠落領域の大きさが小さくなるように（究極的には、画像欠落領域が完全に無くなるように）、角度変化率Δθ、境界線ＢＬの位置又は仮想カメラの高さＨを調整する。画像欠落領域の大きさとは、画像欠落領域の画像サイズを意味する。画像欠落領域の大きさを、画像欠落領域を形成する画素数によって表すことができる。
【００６９】
具体的には例えば、調整後の角度変化率Δθが調整前のそれよりも小さくなるように角度変化率Δθを調整する。即ち、角度変化率Δθを減少補正する。角度変化率Δθを減少させることにより、第２要素画像内の或る画素に対する仮想カメラの俯角が調整前よりも９０度に近づくため、車両遠方側の視野範囲が狭まって画像欠落が発生しにくくなる。角度変化率Δθの、一回当たりの減少量を予め定めておくことができる。或いは、その減少量を、画像欠落領域の大きさに応じて決定しても良い。調整後の角度変化率Δθを用いた式（２）〜式（４）に基づく拡張変換パラメータは、パラメータ記億部１６に更新記憶される。
【００７０】
或いは例えば、調整後の境界線ＢＬの位置が調整前のそれよりも上端ラインＵＬに近くなるように境界線ＢＬの位置を調整する。即ち、境界線ＢＬのＹau軸方向の座標値を増大させる。境界線ＢＬの位置を上端ラインＵＬ側に移動させることにより、第２要素画像の垂直画像サイズが減少するため、車両遠方側の視野範囲が狭まって画像欠落が発生しにくくなる。境界線ＢＬの、一回当たりの移動量を予め定めておくことができる。或いは、その移動量を、画像欠落領域の大きさに応じて決定しても良い。調整後の境界線ＢＬの位置を用いた式（２）〜式（４）に基づく拡張変換パラメータは、パラメータ記億部１６に更新記憶される。
【００７１】
或いは例えば、調整後の仮想カメラの高さＨが調整前のそれよりも低くなるように仮想カメラの高さＨを調整する。仮想カメラの高さＨを低下させることにより、拡張鳥瞰図画像の全体の視野範囲が狭まるため、画像欠落が発生しにくくなる。高さＨの、一回当たりの低下量を予め定めておくことができる。或いは、その低下量を、画像欠落領域の大きさに応じて決定しても良い。調整後の高さＨを用いた式（２）〜式（４）に基づく拡張変換パラメータは、パラメータ記億部１６に更新記憶される。
【００７２】
或いは例えば、角度変化率Δθ、境界線ＢＬの位置及び仮想カメラの高さＨを、夫々、第１、第２及び第３調整対象として取り扱い、拡張鳥瞰図画像の全体領域内に含まれる画像欠落領域の大きさが小さくなるように（究極的には、画像欠落領域が完全に無くなるように）、第１〜第３調整対象の内の、２以上の調整対象を同時に調整するようにしてもよい。即ち例えば、角度変化率Δθを減少するように且つ境界線ＢＬの位置が上端ラインＵＬに近づくように、角度変化率Δθと境界線ＢＬの位置を同時に調整するようにしてもよい。この場合、調整後の角度変化率Δθ及び境界線ＢＬの位置を用いた式（２）〜式（４）に基づく拡張変換パラメータが、パラメータ記億部１６に更新記憶される。
【００７３】
ステップＳ６にて拡張変換パラメータが調整された後、ステップＳ３に戻り、更新記憶された拡張変換パラメータが画像変換部１３によって読み込まれ、その更新記憶された拡張変換パラメータを用いたステップＳ４の拡張鳥瞰変換及びステップＳ５の欠落判定処理が実行される。このため、ステップＳ３〜Ｓ６から成るループ処理は、ステップＳ５にて画像の欠落が発生していないと判断されるまで繰り返し実行される。
【００７４】
ステップＳ５にて画像の欠落が発生していないと判断された場合、画像の欠落の発生していない最新の拡張鳥瞰図画像の画像データが画像変換部１３から表示用画像生成部１７に送られる（図１０参照）。表示用画像生成部１７は、その最新の拡張鳥瞰図画像の画像データに基づいて表示用画像の画像データを生成し、その表示用画像の画像データを表示装置３に出力する。これにより、画像の欠落が存在しない拡張鳥瞰図画像に基づく表示用画像が表示装置３に表示される。表示用画像は、例えば、拡張鳥瞰図画像そのもの、或いは、拡張鳥瞰図画像に任意の加工を施した画像、或いは、拡張鳥瞰図画像に任意の画像を付加した画像である。
【００７５】
本実施形態に係る運転支援システムによれば、カメラ１の傾き角度θや設置高さＨが変化したとしても、その変化に適応して拡張変換パラメータが自動的に調整されるため、画像の欠落のない映像を運転者に提示することが可能となる。
【００７６】
＜＜変形等＞＞
上述の実施形態の変形例または注釈事項として、以下に、注釈１〜注釈４を記す。各注釈に記載した内容は、矛盾なき限り、任意に組み合わせることが可能である。
【００７７】
［注釈１］
上述の例では、レンズ歪み補正後の画像に対して拡張変換パラメータを作用させているが、レンズ歪み補正を行うための画像変換を拡張変換パラメータに盛り込んで、原画像から一気に拡張鳥瞰図画像を生成するようにしてもよい。この場合、図１０の画像入力部１１にて取得された原画像を画像変換部１３に入力するようにする。そして、レンズ歪み補正のための画像変換をも含んだ拡張変換パラメータをパラメータ記憶部１６に記憶させておき、その拡張変換パラメータを原画像に作用させることで拡張鳥瞰図画像を生成する。
【００７８】
また、使用するカメラによってはレンズ歪み補正自体が不要となることもある。レンズ歪み補正が不要な場合は、図１０の画像処理装置２からレンズ歪み補正部１２を削除し、原画像を画像変換部１３に直接与えればよい。
【００７９】
［注釈２］
車両１００の後方側に視野を有するようにカメラ１を車両１００の後部に設置する例を上述したが、車両１００の前方側に視野を有するように或いは車両１００の側方側に視野を有するように、カメラ１を車両１００の前部又は側方部に設置するようにしてもよい。
【００８０】
［注釈３］
上述の例では、１つのカメラから得られたカメラ画像に基づく表示用画像を表示装置３に表示するようにしているが、車両１００に複数のカメラ（不図示）を設置し、その複数のカメラ（不図示）から得られた複数のカメラ画像に基づいて表示用画像を生成するようにしてもよい。例えば、カメラ１以外に１台以上の他のカメラを車両１００に取り付け、その他のカメラのカメラ画像に基づく画像をカメラ１のカメラ画像に基づく画像（上述の例において、拡張鳥瞰図画像）に合成し、この合成によって得られた合成画像を最終的に表示装置３に対する表示用画像とすることも可能である。この合成画像は、例えば、車両１００の３６０°周辺全周を視野範囲に収めた画像である。
【００８１】
［注釈４］
図１０の画像処理装置２は、ハードウェア、或いは、ハードウェアとソフトウェアの組み合わせによって実現可能である。ソフトウェアを用いて画像処理装置２を構成する場合、ソフトウェアにて実現される部位についてのブロック図は、その部位の機能ブロック図を表すことになる。また、画像処理装置２にて実現される機能の全部または一部を、プログラムとして記述し、該プログラムをプログラム実行装置上で実行することによって、その機能の全部または一部を実現するようにしてもよい。
【図面の簡単な説明】
【００８２】
【図１】本発明の実施形態に係る運転支援システムの概略構成ブロック図である。
【図２】図１の運転支援システムが適用される車両の外観側面図である。
【図３】カメラの俯角と地面（水平面）との関係を示した図である。
【図４】カメラの光学中心とカメラ画像が定義されるカメラ座標面との関係を示す図である。
【図５】カメラ座標面と鳥瞰図座標面との関係を示す図である。
【図６】図１のカメラから得られるカメラ画像（ａ）と、そのカメラ画像に基づく鳥瞰図画像（ｂ）と、を示す図である。
【図７】図１の画像処理装置にて生成される拡張鳥瞰図画像の構造を示す図である。
【図８】カメラ画像と拡張鳥瞰図画像との関係を示す図である。
【図９】図６（ａ）のカメラ画像から得た拡張鳥瞰図画像を示す図である。
【図１０】画像処理装置の機能ブロック図を含む、図１の運転支援システムの詳細ブロック図である。
【図１１】図１の運転支援システムの動作の流れを表すフローチャートである。
【図１２】図１０の画像処理装置内で定義される、鳥瞰図座標面上の拡張鳥瞰図画像の外形を示す図である。
【図１３】画像欠落ない場合における、カメラ画像と拡張鳥瞰図画像との関係図（ａ）と、画像欠落がある場合における、カメラ画像と拡張鳥瞰図画像との関係図（ｂ）である。
【図１４】従来技術に係る、カメラ画像、鳥瞰図画像及び拡張鳥瞰図画像を示す図である。
【図１５】拡張鳥瞰図画像の生成時に想定される仮想カメラのイメージ図である。
【図１６】画像欠落が生じた拡張鳥瞰図画像を例示する図である。
【符号の説明】
【００８３】
１ カメラ
２ 画像処理装置
３ 表示装置
１１ 画像入力部
１２ レンズ歪み補正部
１３ 画像変換部
１４ 欠落判定部
１５ パラメータ調整部
１６ パラメータ記憶部
１７ 表示用画像生成部
【特許請求の範囲】
【請求項１】
車両の周辺を撮影するカメラの撮影結果に基づいて入力画像を取得する画像取得手段と、
座標変換によって、前記入力画像を、第１の仮想カメラから見た第１要素画像及び前記第１の仮想カメラと異なる第２の仮想カメラから見た第２要素画像を含む変換画像に変換する画像変換手段と、
前記入力画像を前記変換画像に変換するための画像変換パラメータを記憶するパラメータ記憶手段と、
前記パラメータ記憶手段に記憶された画像変換パラメータを用いて前記入力画像から得られる前記変換画像の全体領域内に、前記入力画像の画像データに基づく画像データが存在しない画像欠落領域が含まれるか否かを判定する欠落判定手段と、
前記変換画像の全体領域内に前記画像欠落領域が含まれていると判定されたとき、前記画像欠落領域の発生が抑制されるように前記画像変換パラメータを調整するパラメータ調整手段と、を備えた
ことを特徴とする画像処理装置。
【請求項２】
前記画像変換手段は、前記画像変換パラメータに従い、前記入力画像を、前記車両からの距離が比較的短い被写体が現れる第１部分画像と前記車両からの距離が比較的長い被写体が現れる第２部分画像とを含む複数の部分画像に切り分けて、前記第１及び第２部分画像をそれぞれ前記第１及び第２要素画像に変換することにより前記変換画像を生成する
ことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記第１の仮想カメラの俯角よりも前記第２の仮想カメラの俯角が小さく、且つ、前記第１要素画像と前記第２要素画像との境界線を起点として前記第１要素画像から離れるにつれて規定の角度変化率に従い前記第２の仮想カメラの俯角が小さくなるように、調整前後の前記画像変換パラメータは設定され、
前記パラメータ調整手段は、前記変換画像の全体領域内に前記画像欠落領域が含まれていると判定されたとき、前記画像欠落領域の大きさが減少する方向に前記角度変化率を調整することによって前記画像変換パラメータの調整を行う
ことを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記第１の仮想カメラの俯角よりも前記第２の仮想カメラの俯角が小さくなるように、調整前後の前記画像変換パラメータは設定され、
前記パラメータ調整手段は、前記変換画像の全体領域内に前記画像欠落領域が含まれていると判定されたとき、前記画像欠落領域の大きさが減少する方向に前記第１要素画像と前記第２要素画像との境界線を前記変換画像内で移動させ、これによって前記画像変換パラメータの調整を行う
ことを特徴とする請求項２に記載の画像処理装置。
【請求項５】
前記パラメータ調整手段は、前記変換画像の全体領域内に前記画像欠落領域が含まれていると判定されたとき、前記画像欠落領域の大きさが減少する方向に前記第１及び第２の仮想カメラの高さを調整し、これによって前記画像変換パラメータの調整を行う
ことを特徴とする請求項２に記載の画像処理装置。
【請求項６】
前記第１の仮想カメラの俯角よりも前記第２の仮想カメラの俯角が小さく、且つ、前記第１要素画像と前記第２要素画像との境界線を起点として前記第１要素画像から離れるにつれて規定の角度変化率に従い前記第２の仮想カメラの俯角が小さくなるように、調整前後の前記画像変換パラメータは設定され、
前記パラメータ調整手段は、前記変換画像の全体領域内に前記画像欠落領域が含まれていると判定されたとき、
前記角度変化率、前記変換画像上における前記境界線の位置、並びに、前記第１及び第２の仮想カメラの高さをそれぞれ第１、第２及び第３調整対象として取り扱って、前記画像欠落領域の大きさが減少する方向に第１〜第３の調整対象の内の何れか１以上を調整することにより前記画像変換パラメータの調整を行い、前記画像欠落領域が前記変換画像の全体領域内に含まれなくなるまで前記画像変換パラメータの調整を繰り返し実行する
ことを特徴とする請求項２に記載の画像処理装置。
【請求項７】
前記画像変換パラメータによって前記変換画像内の各画素の座標値に対応する座標変換前の座標値が規定され、
前記欠落判定手段は、その座標変換前の座標値が全て前記入力画像内の座標値である場合は前記変換画像の全体領域内に前記画像欠落領域が含まれていないと判定し、求めた前記座標値に前記入力画像外の座標値が含まれる場合は前記変換画像の全体領域内に前記画像欠落領域が含まれていると判定する
ことを特徴とする請求項１乃至請求項６の何れかに記載の画像処理装置。
【請求項８】
請求項１乃至請求項７の何れかに記載のカメラ及び画像処理装置を備え、
前記画像処理装置の画像変換手段にて得られる変換画像に基づく画像を表示手段に出力する
ことを特徴とする運転支援システム。
【請求項９】
請求項１乃至請求項７の何れかに記載のカメラ及び画像処理装置が設置された
ことを特徴とする車両。
【請求項１０】
車両の周辺を撮影するカメラの撮影結果に基づいて入力画像を取得する画像取得ステップと、
座標変換によって、前記入力画像を、第１の仮想カメラから見た第１要素画像及び前記第１の仮想カメラと異なる第２の仮想カメラから見た第２要素画像を含む変換画像に変換する画像変換ステップと、
前記入力画像を前記変換画像に変換するための画像変換パラメータを記憶するパラメータ記憶ステップと、
記憶された前記画像変換パラメータを用いて前記入力画像から得られる前記変換画像の全体領域内に、前記入力画像の画像データに基づく画像データが存在しない画像欠落領域が含まれるか否かを判定する欠落判定ステップと、
前記変換画像の全体領域内に前記画像欠落領域が含まれていると判定されたとき、前記画像欠落領域の発生が抑制されるように前記画像変換パラメータを調整するパラメータ調整ステップと、を実行する
ことを特徴とする画像処理方法。
【請求項１】
車両の周辺を撮影するカメラの撮影結果に基づいて入力画像を取得する画像取得手段と、
座標変換によって、前記入力画像を、第１の仮想カメラから見た第１要素画像及び前記第１の仮想カメラと異なる第２の仮想カメラから見た第２要素画像を含む変換画像に変換する画像変換手段と、
前記入力画像を前記変換画像に変換するための画像変換パラメータを記憶するパラメータ記憶手段と、
前記パラメータ記憶手段に記憶された画像変換パラメータを用いて前記入力画像から得られる前記変換画像の全体領域内に、前記入力画像の画像データに基づく画像データが存在しない画像欠落領域が含まれるか否かを判定する欠落判定手段と、
前記変換画像の全体領域内に前記画像欠落領域が含まれていると判定されたとき、前記画像欠落領域の発生が抑制されるように前記画像変換パラメータを調整するパラメータ調整手段と、を備えた
ことを特徴とする画像処理装置。
【請求項２】
前記画像変換手段は、前記画像変換パラメータに従い、前記入力画像を、前記車両からの距離が比較的短い被写体が現れる第１部分画像と前記車両からの距離が比較的長い被写体が現れる第２部分画像とを含む複数の部分画像に切り分けて、前記第１及び第２部分画像をそれぞれ前記第１及び第２要素画像に変換することにより前記変換画像を生成する
ことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記第１の仮想カメラの俯角よりも前記第２の仮想カメラの俯角が小さく、且つ、前記第１要素画像と前記第２要素画像との境界線を起点として前記第１要素画像から離れるにつれて規定の角度変化率に従い前記第２の仮想カメラの俯角が小さくなるように、調整前後の前記画像変換パラメータは設定され、
前記パラメータ調整手段は、前記変換画像の全体領域内に前記画像欠落領域が含まれていると判定されたとき、前記画像欠落領域の大きさが減少する方向に前記角度変化率を調整することによって前記画像変換パラメータの調整を行う
ことを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記第１の仮想カメラの俯角よりも前記第２の仮想カメラの俯角が小さくなるように、調整前後の前記画像変換パラメータは設定され、
前記パラメータ調整手段は、前記変換画像の全体領域内に前記画像欠落領域が含まれていると判定されたとき、前記画像欠落領域の大きさが減少する方向に前記第１要素画像と前記第２要素画像との境界線を前記変換画像内で移動させ、これによって前記画像変換パラメータの調整を行う
ことを特徴とする請求項２に記載の画像処理装置。
【請求項５】
前記パラメータ調整手段は、前記変換画像の全体領域内に前記画像欠落領域が含まれていると判定されたとき、前記画像欠落領域の大きさが減少する方向に前記第１及び第２の仮想カメラの高さを調整し、これによって前記画像変換パラメータの調整を行う
ことを特徴とする請求項２に記載の画像処理装置。
【請求項６】
前記第１の仮想カメラの俯角よりも前記第２の仮想カメラの俯角が小さく、且つ、前記第１要素画像と前記第２要素画像との境界線を起点として前記第１要素画像から離れるにつれて規定の角度変化率に従い前記第２の仮想カメラの俯角が小さくなるように、調整前後の前記画像変換パラメータは設定され、
前記パラメータ調整手段は、前記変換画像の全体領域内に前記画像欠落領域が含まれていると判定されたとき、
前記角度変化率、前記変換画像上における前記境界線の位置、並びに、前記第１及び第２の仮想カメラの高さをそれぞれ第１、第２及び第３調整対象として取り扱って、前記画像欠落領域の大きさが減少する方向に第１〜第３の調整対象の内の何れか１以上を調整することにより前記画像変換パラメータの調整を行い、前記画像欠落領域が前記変換画像の全体領域内に含まれなくなるまで前記画像変換パラメータの調整を繰り返し実行する
ことを特徴とする請求項２に記載の画像処理装置。
【請求項７】
前記画像変換パラメータによって前記変換画像内の各画素の座標値に対応する座標変換前の座標値が規定され、
前記欠落判定手段は、その座標変換前の座標値が全て前記入力画像内の座標値である場合は前記変換画像の全体領域内に前記画像欠落領域が含まれていないと判定し、求めた前記座標値に前記入力画像外の座標値が含まれる場合は前記変換画像の全体領域内に前記画像欠落領域が含まれていると判定する
ことを特徴とする請求項１乃至請求項６の何れかに記載の画像処理装置。
【請求項８】
請求項１乃至請求項７の何れかに記載のカメラ及び画像処理装置を備え、
前記画像処理装置の画像変換手段にて得られる変換画像に基づく画像を表示手段に出力する
ことを特徴とする運転支援システム。
【請求項９】
請求項１乃至請求項７の何れかに記載のカメラ及び画像処理装置が設置された
ことを特徴とする車両。
【請求項１０】
車両の周辺を撮影するカメラの撮影結果に基づいて入力画像を取得する画像取得ステップと、
座標変換によって、前記入力画像を、第１の仮想カメラから見た第１要素画像及び前記第１の仮想カメラと異なる第２の仮想カメラから見た第２要素画像を含む変換画像に変換する画像変換ステップと、
前記入力画像を前記変換画像に変換するための画像変換パラメータを記憶するパラメータ記憶ステップと、
記憶された前記画像変換パラメータを用いて前記入力画像から得られる前記変換画像の全体領域内に、前記入力画像の画像データに基づく画像データが存在しない画像欠落領域が含まれるか否かを判定する欠落判定ステップと、
前記変換画像の全体領域内に前記画像欠落領域が含まれていると判定されたとき、前記画像欠落領域の発生が抑制されるように前記画像変換パラメータを調整するパラメータ調整ステップと、を実行する
ことを特徴とする画像処理方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【公開番号】特開２００９−２３１９３６（Ｐ２００９−２３１９３６Ａ）
【公開日】平成２１年１０月８日（２００９．１０．８）
【国際特許分類】
【出願番号】特願２００８−７１８６４（Ｐ２００８−７１８６４）
【出願日】平成２０年３月１９日（２００８．３．１９）
【出願人】（０００００１８８９）三洋電機株式会社 (18,308)
【Ｆターム（参考）】
【公開日】平成２１年１０月８日（２００９．１０．８）
【国際特許分類】
【出願日】平成２０年３月１９日（２００８．３．１９）
【出願人】（０００００１８８９）三洋電機株式会社 (18,308)
【Ｆターム（参考）】
[ Back to top ]