画像処理装置及び方法並びに車両
【課題】車載カメラの設置誤差を吸収しつつ、広範囲の被写界を表示可能な視界支援システムを提供する。
【解決手段】視界支援システムは、車載カメラの撮影画像を拡張鳥瞰図画像に変換して表示する。視界支援システムは、撮影画像を地面に投影するための第１の変換行列Ｈ1を平面射影変換によって求める。一方で、撮影画像を地面と異なる平面に投影するための第２の変換行列Ｈ2（例えば、無変換の単位行列）を設定する。拡張鳥瞰図画像を車両近辺に対応する第１領域（２５３）と車両遠方に対応する第２領域（２５４）に分割し、第１領域にはＨ1に基づく鳥瞰図画像を描画する一方で第２領域にはＨ1とＨ2とを加重加算した加重加算変換行列に基づく画像を表示する。第１及び第２領域の画像が滑らかに接合されるように、両領域間の境界からの距離に応じて加重加算の重みを変更する。
【解決手段】視界支援システムは、車載カメラの撮影画像を拡張鳥瞰図画像に変換して表示する。視界支援システムは、撮影画像を地面に投影するための第１の変換行列Ｈ1を平面射影変換によって求める。一方で、撮影画像を地面と異なる平面に投影するための第２の変換行列Ｈ2（例えば、無変換の単位行列）を設定する。拡張鳥瞰図画像を車両近辺に対応する第１領域（２５３）と車両遠方に対応する第２領域（２５４）に分割し、第１領域にはＨ1に基づく鳥瞰図画像を描画する一方で第２領域にはＨ1とＨ2とを加重加算した加重加算変換行列に基づく画像を表示する。第１及び第２領域の画像が滑らかに接合されるように、両領域間の境界からの距離に応じて加重加算の重みを変更する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、カメラの撮影画像に対して画像処理を行う画像処理装置及び画像処理方法に関し、特に例えば、車載カメラの撮影画像から鳥瞰図画像に類似或いは関連する画像を生成して表示する車両周辺視界支援技術に関する。また本発明は、その画像処理装置を利用した車両に関する。
【背景技術】
【０００２】
近年の安全意識の高まりに伴って、自動車などの車両にカメラ（車載カメラ）が搭載されることが多くなっている。また、カメラの映像を単に表示するのではなく、画像処理技術を利用して、より人間に優しい映像を見せる研究がなされている。その１つに、斜め下向きに設置されたカメラの撮影画像を、座標変換（換言すれば画像変換）によって地面の上方から眺めたような画像に変換する技術がある（例えば、下記特許文献１参照）。この画像は、一般的に鳥瞰図画像（或いは俯瞰図画像）と呼ばれる。
【０００３】
このような座標変換の手法として、透視投影変換を用いる手法（例えば、下記特許文献２参照）と平面射影変換を用いる手法（例えば、下記特許文献３参照）が知られている。
【０００４】
透視投影変換では、カメラの取り付け角度及びカメラの設置高さなどのカメラ外部情報とカメラの焦点距離（或いは画角）などのカメラ内部情報とに基づいて、撮影画像を設定平面（路面など）上に投影するための変換パラメータを算出する。このため、精度よく座標変換を行うためにはカメラ外部情報を正確に把握することが必要となる。カメラの取り付け角度やカメラの設置高さなどは、事前に設計されていることが多いが、それらの設計値と実際に車両に設置したときのそれらとの間には誤差が生じるため、正確な変換パラメータを計測または推定することは困難であることが多い。つまり、透視投影変換に基づく座標変換は、カメラの設置誤差の影響を受けやすい。
【０００５】
平面射影変換では、撮影領域内に校正パターンを配置し、撮影した校正パターンに基づいて、撮影画像の座標（２次元カメラ座標）と変換画像の座標（２次元世界座標）との対応関係を示す変換行列を求める、という校正作業を行う。この変換行列は、一般的に、ホモグラフィ行列と呼ばれる。平面射影変換によれば、カメラ外部情報やカメラ内部情報を必要とせず、また、実際に撮影された校正パターンに基づいて撮影画像と変換画像との間の対応座標が指定されるため、カメラの設置誤差の影響を受けない（或いは受けにくい）。
【０００６】
透視投影変換又は平面射影変換を介して得た鳥瞰図画像を表示することによって、運転者は車体と障害物の距離を把握しやすくなる。しかしながら、鳥瞰図画像は、その特性上、車両遠方の描画を不得手とする。つまり、単純に鳥瞰図画像を表示するシステムでは、カメラでは撮影されている車両遠方の映像を表示することが困難であるという問題がある。
【０００７】
この問題に対して、車両近辺に対応する画像領域おいては鳥瞰図画像を表示する一方、車両遠方に対応する画像領域においては遠方用画像を表示する技術が提案されている。この技術は例えば特許文献２に記載されており、特許文献２には、更に両画像領域間を滑らかに接合する手法も開示されている。この技術によれば、鳥瞰図画像による車体と障害物の距離の把握容易化という利点を享受しつつ、車両遠方に対する視界をも支援することが可能となる。つまり、広範囲で優れた視認性を得る事が可能となる。
【０００８】
【特許文献１】特開平３−９９９５２号公報
【特許文献２】特開２００６−２８７８９２号公報
【特許文献３】特開２００６−１４８７４５号公報
【発明の開示】
【発明が解決しようとする課題】
【０００９】
しかしながら、この特許文献２に記載の技術の実現に当たっては透視投影変換が必要となるため、カメラの設置誤差の影響を受けてしまう。平面射影変換を用いればカメラの設置誤差を吸収することも可能となるが、平面射影変換を用いたのでは特許文献２に記載の技術を実現できない。
【００１０】
そこで本発明は、広範囲の画像描写を確保しつつ、カメラの設置誤差の影響を受けにくした画像処理を実現する画像処理装置及び画像処理方法を提供することを目的とする。また、本発明は、それらを利用した車両を提供することを目的とする。
【課題を解決するための手段】
【００１１】
本発明に係る画像処理装置は、カメラの撮影画像を所定の第１面上に投影するための第１変換パラメータと前記撮影画像を前記第１面と異なる所定の第２面上に投影するための第２変換パラメータとを含む複数の変換パラメータに基づいて、前記撮影画像から変換画像を生成する画像処理装置であって、前記変換画像を第１領域及び第２領域を含む複数の領域に分割し、前記第１変換パラメータに基づいて前記第１領域内の画像が得られるように且つ前記第１及び第２変換パラメータを加重加算して得られる加重加算変換パラメータに基づいて前記第２領域内の画像が得られるように、前記撮影画像から前記変換画像を生成する変換画像生成手段を備えたことを特徴とする。
【００１２】
第１面及び第２面を適切に設定すれば、広範囲の被写界を変換画像上に描画することが可能となる。そして、上述のように構成すれば、第１及び／又は第２変換パラメータを平面射影変換によって導出することが可能となる。故に、カメラの設置誤差の影響を受けにくくすることが可能である。また、加重加算変換パラメータを用いて第２領域内の画像を生成することにより、第１及び第２領域の画像を滑らかに接合することも可能である。
【００１３】
具体的には例えば、前記カメラの設置位置に比較的近い被写体が前記第１領域内の画像に現れ且つ前記設置位置から比較的遠い被写体が前記第２領域内の画像に現れる。
【００１４】
また例えば、前記第２領域内の各点に対応する前記加重加算の重みは、前記第１領域と前記第２領域との境界から各点までの距離に応じて設定される。
【００１５】
これにより、第１及び第２領域の画像の滑らかな接合を実現可能である。
【００１６】
具体的には例えば、前記距離が増加するに従って前記加重加算変換パラメータに対する前記第２変換パラメータの寄与度が増加するように、前記重みを設定すればよい。
【００１７】
また例えば、前記カメラは車両に設置され、前記第１面は前記車両が配置される地面であり、前記変換画像生成手段は、前記第１変換パラメータに従って前記カメラの撮影画像の一部画像を前記車両の上方の仮想視点から見た鳥瞰図画像に変換し、この鳥瞰図画像を前記第１領域内の画像として前記変換画像に含める。
【００１８】
そして、本発明に係る車両には、上記のカメラ及び画像処理装置が設置されている。
【００１９】
また本発明に係る画像処理方法は、カメラの撮影画像を所定の第１面上に投影するための第１変換パラメータと前記撮影画像を前記第１面と異なる所定の第２面上に投影するための第２変換パラメータとを含む複数の変換パラメータに基づいて、前記撮影画像から変換画像を生成する画像処理方法であって、前記変換画像を第１領域及び第２領域を含む複数の領域に分割し、前記第１変換パラメータに基づいて前記第１領域内の画像が得られるように且つ前記第１及び第２変換パラメータを加重加算して得られる加重加算変換パラメータに基づいて前記第２領域内の画像が得られるように、前記撮影画像から前記変換画像を生成することを特徴とする。
【発明の効果】
【００２０】
本発明によれば、広範囲の画像描写を確保しつつ、カメラの設置誤差の影響を受けにくした画像処理を実現する画像処理装置及び画像処理方法を提供することができる。
【００２１】
本発明の意義ないし効果は、以下に示す実施の形態の説明により更に明らかとなろう。ただし、以下の実施の形態は、あくまでも本発明の一つの実施形態であって、本発明ないし各構成要件の用語の意義は、以下の実施の形態に記載されたものに制限されるものではない。
【発明を実施するための最良の形態】
【００２２】
以下、本発明の実施の形態につき、図面を参照して具体的に説明する。参照される各図において、同一の部分には同一の符号を付し、同一の部分に関する重複する説明を原則として省略する。
【００２３】
図１（ａ）は、自動車である車両１００を上方から見た平面図である。図１（ｂ）は、車両１００を側方から見た平面図である。車両１００は、地面上に配置されているものとする。車両１００の後部には、車両１００後方の安全確認を支援するためのカメラ１が設置されている。カメラ１は、車両１００の後方側に視野を有するように車両１００に設置される。符号１１０が付された破線扇型領域は、カメラ１の撮影領域を表している。カメラ１の視野に車両１００付近の後方側地面が含まれるように、カメラ１は後方下向きに設置される。尚、車両１００として普通乗用車を例示しているが、車両１００は、普通乗用車以外（トラックなど）であってもよい。
【００２４】
以下の説明において、地面は水平面上にあるものとし、「高さ」は、地面を基準とした高さを表すものとする。図１（ｂ）に示されるｈは、カメラ１の高さ（カメラ１が設置されている地点の高さ）を表す。
【００２５】
図２に、本発明の実施形態に係る視界支援システムの構成ブロック図を示す。カメラ１は、撮影を行い、撮影によって得られた画像（以下、撮影画像とも言う）を表す信号を画像処理装置２に送る。画像処理装置２は、撮影画像から拡張鳥瞰図画像を生成する。但し、拡張鳥瞰図画像の基となる撮影画像に対してレンズ歪み補正などの画像処理を施し、その画像処理後の撮影画像を拡張鳥瞰図画像に変換するものとする。表示装置３は、この拡張鳥瞰図画像を映像として表示する。
【００２６】
本実施形態における拡張鳥瞰図画像は、通常の鳥瞰図画像とは異なる。詳細は後述するが、概略的に言えば、本実施形態における拡張鳥瞰図画像は、車両１００に比較的近い領域において通常の鳥瞰図画像が描かれるように且つ車両１００から比較的遠い領域において原画像（撮影画像そのもの）に近い画像が描かれるように生成された画像である。尚、本実施形態において、「通常の鳥瞰図画像」と「鳥瞰図画像」とは同じものを指す。
【００２７】
鳥瞰図画像は、実際のカメラ１の撮影画像を仮想カメラの視点（仮想視点）から見た画像に変換したものである。より具体的には、鳥瞰図画像は、実際のカメラ１の撮影画像を、地上面を鉛直方向に見下ろした画像に変換したものである。この種の画像変換は、一般に、視点変換とも呼ばれる。
【００２８】
カメラ１として、例えばＣＣＤ（Charge Coupled Devices）を用いたカメラや、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサを用いたカメラが用いられる。画像処理装置２は、例えば集積回路から形成される。表示装置３は、液晶ディスプレイパネル等から形成される。カーナビゲーションシステムなどに含まれる表示装置を、視界支援システムにおける表示装置３として流用しても良い。また、画像処理装置２は、カーナビゲーションシステムの一部として組み込まれうる。画像処理装置２及び表示装置３は、例えば、車両１００の運転席付近に設置される。
【００２９】
図３を参照して、図２の視界支援システムの全体的な動作手順を説明する。図３は、この動作手順を表すフローチャートである。
【００３０】
拡張鳥瞰図画像を生成するためには、撮影画像を拡張鳥瞰図画像に変換するための変換パラメータが必要となる。この変換パラメータを算出するための処理がステップＳ１及びＳ２の処理に相当する。ステップＳ１及びＳ２の処理は、カメラ１の校正段階において、カメラ１の撮影画像に基づき画像処理装置２によって実施される。尚、ステップＳ１及びＳ２の処理にて実行される演算を、画像処理装置２と異なる外部の演算装置（不図示）に実行させるようにしてもよい。つまり、カメラ１の撮影画像に基づいて、外部の演算装置に後述の第１及び第２の変換行例Ｈ1及びＨ2を算出させ、算出された第１及び第２の変換行例Ｈ1及びＨ2を画像処理装置２に与えるようにしてもよい。
【００３１】
ステップＳ１では、平面射影変換によって、カメラ１の撮影画像を通常の鳥瞰図画像に変換するための第１の変換行例Ｈ1を求める。平面射影変換そのものについては公知であり、公知の手法によって第１の変換行例Ｈ1を求めることができる。第１の変換行例Ｈ1を、以下、単にＨ1にて表すこともある。後に述べる、第２の変換行例Ｈ2及び第３の変換行例Ｈ3についても、夫々単にＨ2及びＨ3にて表すことがある。
【００３２】
例えば、図４（ａ）に示すような、平面状の校正プレート１２０を用意し、図４（ｂ）に示す如く、校正プレート１２０の全部又は一部がカメラ１の撮影領域（視野）に収まるように車両１００を配置する。この配置がなされた状態にて、カメラ１が取得した撮影画像を「校正用撮影画像」という。また、校正用撮影画像を、第１の変換行例Ｈ1を用いて座標変換することによって得られる画像を「校正用変換画像」という。ステップＳ１では、校正用撮影画像に基づいて、第１の変換行例Ｈ1が求められる。
【００３３】
校正プレート１２０の表面には、等間隔で縦及び横方向に配列された格子線が形成されており、撮影画像上に現れた、縦の格子線と横の格子線の各交点を画像処理装置２は抽出可能となっている。図４（ａ）及び（ｂ）に示す例では、校正プレート１２０には所謂市松模様が描かれている。この市松模様は、互いに隣接する黒の正方形と白の正方形から形成されており、黒の正方形の一頂点と白の正方形の一頂点が接する点が、縦の格子線と横の格子線の交点に相当している。
【００３４】
画像処理装置２は、校正プレート１２０の表面に形成された上記の各交点を特徴点として捉え、校正用撮影画像に現れている互いに異なる４つの特徴点を抽出して校正用撮影画像における該４つの特徴点の座標値を特定する。以下、図４（ｂ）において符号１２１〜１２４が付された４つの交点を４つの特徴点とする場合を考える。上記の座標値の特定手法は任意である。例えば、エッジ検出処理などを用いて画像処理装置２に４つの特徴点を抽出させて上記座標値を特定するようにしてもよいし、外部から４つの特徴点の画像上の位置を画像処理装置２に教えるようにしてもよい。
【００３５】
校正用撮影画像上における各点の座標を（ｘA，ｙA）にて表し、校正用変換画像上における各点の座標を（ＸA，ＹA）にて表す。ｘA及びＸAは画像の水平方向の座標値であり、ｙA及びＹAは画像の垂直方向の座標値である。校正用撮影画像上における座標（ｘA，ｙA）と校正用変換画像上における座標（ＸA，ＹA）との関係は、第１の変換行例Ｈ1を用いて下記式（１）のように表される。Ｈ1は、一般的に、ホモグラフィ行列とも呼ばれる。Ｈ1は、３行３列の行列であり、その行列の各要素をｈA1〜ｈA9で表す。更に、ｈA9＝１であるとする（ｈA9＝１、となるように行列を正規化する）。また、式（１）より、座標（ｘA，ｙA）と座標（ＸA，ＹA）との関係は、下記式（２ａ）及び（２ｂ）によって表すこともできる。
【００３６】
【数１】
【数２】
【００３７】
画像処理装置２によって特定された４つの特徴点１２１〜１２４の、校正用撮影画像上における座標値を（ｘA1，ｙA1）、（ｘA2，ｙA2）、（ｘA3，ｙA3）及び（ｘA4，ｙA4）とする。また、画像処理装置２が予め認識している既知情報に従い、校正用変換画像上における４つの特徴点の座標値を定める。定められた４つの座標値を（ＸA1，ＹA1）、（ＸA2，ＹA2）、（ＸA3，ＹA3）及び（ＸA4，ＹA4）とする。今、校正パターン１２０上で４つの特徴点１２１〜１２４が描く図形が正方形であるとする。そうすると、Ｈ1はカメラ１の撮影画像を通常の鳥瞰図画像に変換するための変換行例であるので、座標値（ＸA1，ＹA1）、（ＸA2，ＹA2）、（ＸA3，ＹA3）及び（ＸA4，ＹA4）を、例えば、（０，０）、（１，０）、（０，１）及び（１，１）と定義することができる。
【００３８】
校正用撮影画像と校正用変換画像との間で４点の座標値対応関係が分かれば、第１の変換行列Ｈ1は一意に定まる。４点の座標値対応関係に基づきホモグラフィ行列（射影変換行列）としての第１の変換行列Ｈ1を求める手法として、公知の手法を用いればよい。例えば、特開２００４−３４２０６７号公報に記載の手法（特に、段落［００５９］〜［００６９］に記載の手法を参照）を用いればよい。つまり、座標値（ｘA1，ｙA1）、（ｘA2，ｙA2）、（ｘA3，ｙA3）及び（ｘA4，ｙA4）が、夫々、座標値（ＸA1，ＹA1）、（ＸA2，ＹA2）、（ＸA3，ＹA3）及び（ＸA4，ＹA4）に変換されるように、Ｈ1の要素ｈA1〜ｈA8を求める。実際には、この変換の誤差（特開２００４−３４２０６７号公報における評価関数）が最小化されるように要素ｈA1〜ｈA8を求める。
【００３９】
一旦、第１の変換行列Ｈ1が求まれば、上記式（２ａ）及び（２ｂ）に従って撮影画像上の任意の点を鳥瞰図画像上の点に変換することが可能である。尚、４点の座標値対応関係に基づいてＨ1を求める手法を説明したが、勿論、５点以上の座標値対応関係に基づいてＨ1を求めるようにしてもよい。
【００４０】
図５に、カメラ１の撮影画像１３１と、Ｈ1を用いて撮影画像１３１を画像変換することによって得られる鳥瞰図画像１３２と、を示す。図５には、４つの特徴点（図４（ｂ）における特徴点１２１〜１２４）の対応関係も示されている。
【００４１】
図３のステップＳ１にて第１の変換行列Ｈ1を求めた後、ステップＳ２において、第２の変換行例Ｈ2を求める。第２の変換行例Ｈ2の導出法については後に詳説するが、ここで、Ｈ1とＨ2の違いを説明しておく。
【００４２】
第１の変換行列Ｈ1はカメラ１の撮影画像を第１の平面上に投影するための変換行列である一方、第２の変換行列Ｈ2はカメラ１の撮影画像を第１の平面と異なる第２の平面上に投影するための変換行列である。今の例の場合、第１の平面は地面である。図６に、第１及び第２の平面と車両１００との関係を表す平面図を示す。符号１４１が付された平面が第１の平面であり、符号１４２が付された平面が第２の平面である。第２の平面は、第１の平面（地面）に対して斜めの平面であり、第１の平面と平行ではなく且つ第１の平面と直交しない。カメラ１の光軸１５０は、例えば第２の平面に直交する。この場合、第２の平面はカメラ１の撮像面と平行となる。
【００４３】
鳥瞰図画像は、第１の変換行列Ｈ1に基づいて実際のカメラ１の撮影画像を第１の視点から見た画像に変換したものであり、その第１の視点の高さは、カメラ１の高さｈ（図１（ａ））よりも十分に高い。一方、第２の変換行列Ｈ2は、実際のカメラ１の撮影画像を第２の視点から見た画像に変換するための変換行列であり、その第２の視点の高さは、第１の視点の高さよりも低く、例えばカメラ１の高さｈと同じとされる。尚、第１及び第２の視点の水平方向の位置は、カメラ１の水平方向の位置と同じである。
【００４４】
図３のステップＳ１及びＳ２にてＨ1及びＨ2が求められた後、ステップＳ３に移行し、ステップＳ３及びＳ４の処理が繰り返し実行される。ステップＳ１及びＳ２の処理がカメラ１の校正段階において実行されるのに対して、ステップＳ３及びＳ４の処理は、視界支援システムの実稼動時（実際の視界支援の実行時）に実行される。
【００４５】
ステップＳ３では、図２の画像処理装置２が、カメラ１の撮影画像に対し、Ｈ1及びＨ2に基づく画像変換を行って拡張鳥瞰図画像を生成し、その拡張鳥瞰図画像を表す映像信号を表示装置３に送る。ステップＳ３に続くステップＳ４では、表示装置３が、与えられた映像信号を従って映像出力を行うことにより拡張鳥瞰図画像を表示画面上に表示する。
【００４６】
拡張鳥瞰図画像の生成手法について詳説する。拡張鳥瞰図画像を、図７に示す如く、画像の垂直方向に分割して考える。この分割によって得られる２つの領域を、第１領域及び第２領域と呼ぶ。第１領域内の画像と第２領域内の画像とを接合した画像が拡張鳥瞰図画像である。図７において、波線２００は、第１領域と第２領域との境界を表す。
【００４７】
拡張鳥瞰図画像の原点をＯで表す。拡張鳥瞰図画像において、原点Ｏを含む水平ラインを第１水平ラインとする。拡張鳥瞰図画像は、第１〜第ｎ水平ライン上の各画素にて形成される。拡張鳥瞰図画像の上端側に第１水平ラインが配置され、下端側に第ｎ水平ラインが配置される。拡張鳥瞰図画像において、第１水平ラインから第ｎ水平ラインに向かって、順に、第１、第２、第３、・・・、第（ｍ−１）、第ｍ、第（ｍ＋１）、・・・、第（ｎ−１）、第ｎ水平ラインが配列されている。但し、ｍ及びｎは２以上の整数であって、ｍ＜ｎである。例えば、ｍ＝１２０、ｎ＝４８０である。
【００４８】
第２領域内の画像は、第１〜第ｍ水平ライン上の各画素から形成され、第１領域内の画像は、第（ｍ＋１）〜第ｎ水平ライン上の各画素から形成される。そして、拡張鳥瞰図画像の下方側に車両１００に近い領域に位置する被写体が現れるように、拡張鳥瞰図画像は生成される。つまり、カメラ１の撮像素子の中心を通る鉛直線と地面との交点を基準点とし、図８に示す如く、車両１００の後方に向かう方向における基準点からの距離をＤで表した場合、距離Ｄ＝Ｄ1の地面上の点が第ｋ1水平ライン上に現れ、距離Ｄ＝Ｄ2の地面上の点が第ｋ2水平ライン上に現れるように、拡張鳥瞰図画像は生成される。但し、Ｄ1＜Ｄ2且つｋ1＞ｋ2である。
【００４９】
図９に、撮影画像と拡張鳥瞰図画像との関係を示す。図９に示す如く、第１の変換行列Ｈ1を用いて撮影画像の一部領域２１０内の画像を座標変換したものが拡張鳥瞰図画像の第１領域２２０内の画像となり、加重加算変換行列Ｈ3を用いて撮影画像の一部領域２１１内の画像を座標変換したものが拡張鳥瞰図画像の第２領域２２１内の画像となる。一部領域２１０と一部領域２１１は互いに重なり合わない領域であり、一部領域２１０内に車両１００近辺の被写体が現れ、一部領域２１１内に車両１００遠方の被写体が現れる。
【００５０】
加重加算変換行列Ｈ3は、第１の変換行列Ｈ1と第２の変換行列Ｈ2を加重加算（重み付け加算）することによって得られる。即ち、Ｈ3は、下記の式（３）によって表される。
【００５１】
【数３】
【００５２】
ｐ及びｑは、加重加算における重み係数である。常に、ｑ＝１−ｐ且つ０＜ｐ＜１が成立するものとする。Ｈ1による変換画像とＨ2による変換画像とが滑らかにつながるように、境界２００（図７）からの距離に応じてｐ及びｑは変更される。ここで、境界２００からの距離とは、拡張鳥瞰図画像上における、第ｎ水平ラインから第１水平ラインに向かう方向の距離を指すものとする。
【００５３】
具体的には、境界２００からの距離が増加するにつれてｑを増加させてＨ3に対するＨ2の寄与度を増加させ、且つ、境界２００からの距離が減少するにつれてｐを増加させてＨ3に対するＨ1の寄与度を増加させる。即ち、図１０に示す如く、ｅ1＜ｅ2＜ｍとし、第ｅ1水平ラインについてのＨ3をＨ3＝ｐ1Ｈ1＋ｑ1Ｈ2で表し且つ第ｅ2水平ラインについてのＨ3をＨ3＝ｐ2Ｈ1＋ｑ2Ｈ2で表した場合、ｐ1＜ｐ2且つｑ1＞ｑ2が成立するようにｐ及びｑは定められる。
【００５４】
拡張鳥瞰図画像上の各画素に対応する変換行列が定まれば、拡張鳥瞰図画像の各画素の座標値に対応する撮影画像の各画素の座標値も定まる。つまり、撮影画像上のどの点に対して如何なる変換行列を適用すべきかを定めることができる。例えば、図１１に示す如く、撮影画像の一部領域２１０内の各画素の座標値に対してＨ1を適用し、且つ、撮影画像の一部領域２１１ａ内の各画素の座標値に対してＨ3＝ｐ2Ｈ1＋ｑ2Ｈ2を適用し、且つ、撮影画像の一部領域２１１ｂ内の各画素の座標値に対してＨ3＝ｐ1Ｈ1＋ｑ1Ｈ2を適用する、と定める。
【００５５】
一旦、撮影画像の各画素の座標値に対して適用すべき変換行列が定まれば、その変換行列に従って任意の撮影画像を拡張鳥瞰図画像に変換することが可能である。実際には、例えば、上述のように定めた変換行列に従って、撮影画像の各画素の座標値と拡張鳥瞰図画像の各画素の座標値との対応関係を示すテーブルデータを作成し、これを図示されないメモリ（ルックアップテーブル）に格納しておく。そして、このテーブルデータを用いて、撮影画像を拡張鳥瞰図画像に変換するようにする。勿論、カメラ１にて撮影画像が得られる度にＨ1及びＨ3に基づく座標変換演算を行って拡張鳥瞰図画像を生成するようにしても構わない。
【００５６】
図１２に、撮影画像２５１と撮影画像２５１に対応する拡張鳥瞰図画像２５２の表示例を示す。拡張鳥瞰図画像２５２の下方側、即ち車両１００に比較的近い領域２５３では、通常の鳥瞰図画像が表示される。運転者は、この通常の鳥瞰図画像を参照することにより、例えば車両１００と車両後方の障害物との距離（実空間上の距離）を把握することが容易となる。
【００５７】
一般的な鳥瞰変換を用いた場合、車両遠方領域を表示することが困難となるが、拡張鳥瞰図画像では、上方側の領域２５４に鳥瞰図画像よりも原画像（撮影画像）に近い画像が描画されるため、車両遠方に対する視界も支援される。そして、上述の如く加重加算変換行列Ｈ3を定めることにより、拡張鳥瞰図画像において、領域２５３内の画像と領域２５４内の画像が滑らかに接合され、視認性の良い映像表示が可能である。尚、一般的な鳥瞰変換を用いた場合、車両遠方領域において立体物が大きく変形してしまうという問題があるが、その問題も拡張鳥瞰図画像では改善されている。
【００５８】
また、従来の如く透視投影変換を用いる場合は、カメラの設置誤差の影響を受けてしまうが、本実施形態に係る手法では、平面射影変換を用いているためカメラの設置誤差の影響を受けない（或いは受けにくい）。
【００５９】
次に、図３のステップＳ２にて用いることの可能な、第２の変換行列Ｈ2の算出法について詳説する。Ｈ2の算出法として、以下に、第１〜第３算出法を例示する。
【００６０】
各算出法に先立ち、図１３（ａ）及び（ｂ）を参照して、車両１００に対するカメラ１の取り付け状態を考察する。図１３（ａ）は、車両１００を側方から見た平面図であり、図１３（ｂ）は、車両１００を後方から見た平面図である。カメラ１は、車両１００の後端に設置される訳であるが、カメラ１の光軸１５０を回転軸としてカメラ１が回転すると、実空間上で静止した被写体も撮影画像上において回転する。符号３０１は、この回転方向を示している。また、カメラ１が光軸１５０を含む平面上で回転すると（回転方向を符号３０２で表す）、実空間上で静止した被写体は撮影画像上において水平方向に移動する。
【００６１】
［第１算出法］
まず、第１算出法について説明する。第１算出法は、カメラ１が、回転方向３０１及び回転方向３０２の双方において回転しておらず、車両１００の後方に正確に（或いは略正確に）向けられていることを想定している。また更に、撮影画像から拡張鳥瞰図画像を生成する際に、画像を拡大又は縮小しないことを想定している。
【００６２】
このような想定の下、第１算出法では、第２の変換行列Ｈ2を下記式（４）にて表されるように定める。式（４）のＨ2は、無変換の単位行列である。第１算出法を採用する場合、Ｈ2にて撮影画像が投影される平面（図６の第２の平面１４２に対応）は、カメラ１の撮像面に平行な平面（或いは撮像面そのもの）となる。
【００６３】
【数４】
【００６４】
［第２算出法］
次に、第２算出法について説明する。第２算出法は、カメラ１が回転方向３０１に回転していて撮影画像から拡張鳥瞰図画像を生成する際に画像の回転を行う必要がある場合、或いは、カメラ１が回転方向３０２に回転していて撮影画像から拡張鳥瞰図画像を生成する際に画像の水平移動を行う必要がある場合、或いは、撮影画像から拡張鳥瞰図画像を生成する際に画像の拡大又は縮小を行う必要がある場合、或いは、それらの組み合わせを行う必要がある場合を想定している。第２算出法を採用すれば、これらの場合に対応可能である。つまり、カメラ１の多様な設置条件に対応可能である。
【００６５】
このような想定の下、第２算出法では、第２の変換行列Ｈ2を下記式（５）にて表されるように定める。ここで、Ｒは、式（６ａ）で表される、画像の回転を行うための行列であり、θは画像の回転角を表す。Ｔは、式（６ｂ）で表される、画像の水平移動を行うための行列であり、ｔx及びｔyは夫々画像の水平方向の移動量及び垂直方向の移動量を表す。Ｓは、式（６ｃ）で表される、画像の拡大又は縮小を行うための行列であり、ａ及びｂは夫々画像の水平方向の拡大率（又は縮小率）及び垂直方向の拡大率（又は縮小率）を表す。
【００６６】
【数５】
【数６】
【００６７】
ステップＳ１（図３参照）にて第１の変換行列Ｈ1を求める際に利用した校正用撮影画像に基づいて、行列Ｒ、Ｔ及びＳを算出することができる。つまり、ステップＳ１にて特定された、校正用撮影画像上における４つの特徴点の座標値（ｘA1，ｙA1）、（ｘA2，ｙA2）、（ｘA3，ｙA3）及び（ｘA4，ｙA4）を利用して、行列Ｒ、Ｔ及びＳを算出することができる。
【００６８】
例えば、校正用撮影画像上において、この４つの特徴点の内、２つの特徴点（例えば、図４（ｂ）の特徴点１２３及び１２４）間を結ぶ直線の傾きを検出し、この傾きから行列Ｒを決定する。画像処理装置２は、実空間における２つの特徴点の配置位置を表す既知の情報を参照しつつ、検出した傾きに応じて回転角θの値を決定する。
また例えば、校正用撮影画像上における４つの特徴点の座標値から行列Ｔを決定する。少なくとも１点の特徴点の座標値が分かれば、行列Ｔを決定することが可能である。特徴点の水平方向の座標値及び垂直方向の座標値と決定されるべき要素ｔx及びｔyの値との関係は、校正パターン１２０の特性を考慮して予め設定されている。
また例えば、校正用撮影画像上において、この４つの特徴点の内、画像の水平方向に並ぶ２つの特徴点（例えば、図４（ｂ）の特徴点１２３及び１２４）間の画素数を検出し、この画素数から行列Ｓの要素ａを決定する。要素ｂについても同様に決定できる。検出された画素数と決定されるべき要素ａ及びｂの値との関係は、校正パターン１２０の特性を考慮して予め設定されている。
【００６９】
また、校正用撮影画像を利用することなく、車両１００に対するカメラ１の設置条件を表す既知のパラメータに基づいて、行列Ｒ、Ｔ及びＳを算出するようにしてもよい。
【００７０】
［第３算出法］
次に、第３算出法について説明する。第３算出法では、第１の変換行列Ｈ1の算出法と同様に、平面射影変換を利用して第２の変換行列Ｈ2を算出する。つまり、具体的には以下のようにすればよい。
【００７１】
今、校正用撮影画像を、第２の変換行例Ｈ2を用いて座標変換することによって得られる画像を「第２校正用変換画像」といい、第２校正用変換画像上における各点の座標を（ＸB，ＹB）にて表す。そうすると、校正用撮影画像上における座標（ｘA，ｙA）と第２校正用変換画像上における座標（ＸB，ＹB）との関係は、第２の変換行例Ｈ2を用いて下記式（７）のように表される。
【００７２】
【数７】
【００７３】
そして、画像処理装置２が予め認識している既知情報に従い、第２校正用変換画像上における４つの特徴点の座標値を定める。定められた４つの座標値を（ＸB1，ＹB1）、（ＸB2，ＹB2）、（ＸB3，ＹB3）及び（ＸB4，ＹB4）とする。座標値（ＸB1，ＹB1）〜（ＸB4，ＹB4）は、校正用撮影画像上の４つの特徴点を第１の平面１４１にではなく第２の平面１４２に投影したときの座標値である（図６参照）。その後、第１の変換行列Ｈ1を求めた時と同様に、校正用撮影画像と第２校正用変換画像との間における４点の座標値対応関係に基づき、Ｈ2の要素ｈB1〜ｈB8を求めればよい。
【００７４】
＜＜変形等＞＞
上述した説明文中に示した具体的な数値は、単なる例示であって、当然の如く、それらを様々な数値に変更することができる。上述の実施形態の変形例または注釈事項として、以下に、注釈１〜注釈６を記す。各注釈に記載した内容は、矛盾なき限り、任意に組み合わせることが可能である。
【００７５】
［注釈１］
図４（ａ）及び（ｂ）に示したような複数の縦及び横の格子線が形成された校正プレート１２０を利用して平面射影変換を行う手法を上述したが、本発明はこれに限定されない。画像処理装置２が４点以上の特徴点を抽出可能な環境を整えれば、それで足る。
【００７６】
［注釈２］
上述の実施形態では、第１及び第２の平面から成る２つの投影平面を想定し、２つの変換行列（Ｈ1及びＨ2）の導出を介して変換画像としての拡張鳥瞰図画像を生成したが、３以上の投影平面を想定し、３以上の変換行列の導出を介して変換画像を生成するようにしてもよい。３以上の投影平面の内、１つの投影平面が地面であるなら、この変換画像も拡張鳥瞰図画像と呼ぶことができる。
【００７７】
例えば、投影平面として互いに異なる第１〜第３の平面を想定し、校正用撮影画像を第１、第２及び第３の平面に投影するための第１、第２及び第３の変換行列を求める。第１の平面は、例えば地面とする。
【００７８】
そして、例えば図１４（ａ）に示す如く、変換画像を領域３２１〜３２４から成る４つの領域に分割して考える。領域３２１内の画像は、第１の変換行列を用いて、カメラ１の撮影画像内の第１の一部画像を座標変換することにより得られるようにする。領域３２２内の画像は、第１の変換行列と第２の変換行列を加重加算して得られる加重加算変換行列を用いて、カメラ１の撮影画像内の第２の一部画像を座標変換することにより得られるようにする。領域３２３内の画像は、第１の変換行列と第３の変換行列を加重加算して得られる加重加算変換行列を用いて、カメラ１の撮影画像内の第３の一部画像を座標変換することにより得られるようにする。領域３２４内の画像は、第１、第２及び第３の変換行列を加重加算して得られる加重加算変換行列を用いて、カメラ１の撮影画像内の第４の一部画像を座標変換することにより得られるようにする。この場合、カメラ１の撮影画像は、第１〜第４の一部画像を結合した画像に相当する。
【００７９】
図１４（ａ）に示す例では、変換画像を４つの領域３２１〜３２４に分割しているが、変換画像に対する領域の分割の仕方は様々に変形されうる。例えば、図１４（ｂ）に示す如く、変換画像を３つの領域３３１〜３３３に分割するようにしてもよい。領域３３１内の画像は、第１の変換行列を用いて、カメラ１の撮影画像内の第１の一部画像を座標変換することにより得られる。領域３３２内の画像は、第１の変換行列と第２の変換行列を加重加算して得られる加重加算変換行列を用いて、カメラ１の撮影画像内の第２の一部画像を座標変換することにより得られる。領域３３３内の画像は、第１の変換行列と第３の変換行列を加重加算して得られる加重加算変換行列を用いて、カメラ１の撮影画像内の第３の一部画像を座標変換することにより得られる。この場合、カメラ１の撮影画像は、第１〜第３の一部画像を結合した画像に相当する。
【００８０】
図１４（ａ）又は（ｂ）に対応するこれらの場合においても、上述したように、変換画像おける隣接する領域間の境界からの距離に応じて加重加算変換行列を生成する際の重みを徐々に変更するようにするとよい。
【００８１】
［注釈３］
上述の手法は、複数のカメラの撮影画像を合成することにより広範囲の映像を出力するシステムに対しても適用可能である。例えば、車両の前後左右に１台ずつカメラを設置し、合計４台のカメラの撮影画像を幾何変換によって全周鳥瞰図画像に変換して、これを表示部に表示するシステムが既に開発されているが（例えば、特開２００４−２３５９８６号公報参照）、このシステムに本発明の手法を適用することも可能である。全周鳥瞰図画像は車両周辺全周における鳥瞰図画像に相当するが、この全周鳥瞰図画像を生成する際に、複数の変換行列の加重加算を利用した画像変換を適用する。即ち、車両近辺の画像に対しては通常の鳥瞰図画像を生成するように画像変換を行い、車両遠方の画像に対しては複数の変換行列の加重加算して得られる加重加算変換行列を用いて画像変換を行うようにすればよい。
【００８２】
この他、複数のカメラの撮影画像を合成してパノラマ画像を生成及び表示するシステムなどに対しても、本発明は適用可能である。
【００８３】
［注釈４］
車載カメラとしてのカメラ１を用いた視界支援システムを例に挙げて本発明の実施形態を説明したが、画像処理装置２に接続されるべきカメラを車両以外に設置することも可能である。つまり、本発明は、建物などに設置される監視システムに対しても、適用可能である。この種の監視システムにおいても、上述の実施形態と同様、撮影画像から拡張鳥瞰図画像等の変換画像が生成され、該変換画像が表示装置に表示される。
【００８４】
［注釈５］
図２の画像処理装置２の機能は、ハードウェア、ソフトウェア、またはハードウェアとソフトウェアの組み合わせによって実現可能である。画像処理装置２にて実現される機能の全部または一部を、プログラムとして記述し、該プログラムをコンピュータ上で実行することによって、その機能の全部または一部を実現するようにしてもよい。
【００８５】
［注釈６］
例えば、以下のように考えることができる。上述の実施形態において、Ｈ1及びＨ2は夫々第１及び第２変換パラメータとして機能する。図２の画像処理装置２は、カメラ１の撮影画像から変換画像としての拡張鳥瞰図画像を生成する変換画像生成手段を含んでいる。
【図面の簡単な説明】
【００８６】
【図１】本発明の実施形態に係り、カメラが設置された車両を上方から見た平面図（ａ）及び側方から見た平面図（ｂ）である。
【図２】本発明の実施形態に係る視界支援システムの構成ブロック図である。
【図３】図２の視界支援システムの全体的な動作手順を表すフローチャートである。
【図４】図２の視界支援システムに対して校正処理を行う時に用いる校正プレートの平面図（ａ）と、校正処理を行う時における校正プレートと車両との配置関係を示す平面図（ｂ）である。
【図５】図１のカメラの撮影画像と該撮影画像から得られる通常の鳥瞰図画像との関係を示す図である。
【図６】図１のカメラの撮影画像が投影される平面を示す図である。
【図７】図２の画像処理装置にて生成される拡張鳥瞰図画像を表す図である。
【図８】図１の車両後方側の距離を説明するための図である。
【図９】図２のカメラの撮影画像と拡張鳥瞰図画像との間の変換関係を表す図である。
【図１０】図７の拡張鳥瞰図画像の各水平ラインに対応する変換行列を表す図である。
【図１１】図２のカメラの撮影画像と拡張鳥瞰図画像との間の変換関係を表す図である。
【図１２】図２のカメラの撮影画像と該撮影画像から得られる拡張鳥瞰図画像を示す図である。
【図１３】図１の車両に対するカメラの取り付け状態を説明するための図である。
【図１４】複数の変換行列の加重加算を利用してカメラの撮影画像から生成される変換画像の領域分割例を示す図である。
【符号の説明】
【００８７】
１ カメラ
２ 画像処理装置
３ 表示装置
１００ 車両
【技術分野】
【０００１】
本発明は、カメラの撮影画像に対して画像処理を行う画像処理装置及び画像処理方法に関し、特に例えば、車載カメラの撮影画像から鳥瞰図画像に類似或いは関連する画像を生成して表示する車両周辺視界支援技術に関する。また本発明は、その画像処理装置を利用した車両に関する。
【背景技術】
【０００２】
近年の安全意識の高まりに伴って、自動車などの車両にカメラ（車載カメラ）が搭載されることが多くなっている。また、カメラの映像を単に表示するのではなく、画像処理技術を利用して、より人間に優しい映像を見せる研究がなされている。その１つに、斜め下向きに設置されたカメラの撮影画像を、座標変換（換言すれば画像変換）によって地面の上方から眺めたような画像に変換する技術がある（例えば、下記特許文献１参照）。この画像は、一般的に鳥瞰図画像（或いは俯瞰図画像）と呼ばれる。
【０００３】
このような座標変換の手法として、透視投影変換を用いる手法（例えば、下記特許文献２参照）と平面射影変換を用いる手法（例えば、下記特許文献３参照）が知られている。
【０００４】
透視投影変換では、カメラの取り付け角度及びカメラの設置高さなどのカメラ外部情報とカメラの焦点距離（或いは画角）などのカメラ内部情報とに基づいて、撮影画像を設定平面（路面など）上に投影するための変換パラメータを算出する。このため、精度よく座標変換を行うためにはカメラ外部情報を正確に把握することが必要となる。カメラの取り付け角度やカメラの設置高さなどは、事前に設計されていることが多いが、それらの設計値と実際に車両に設置したときのそれらとの間には誤差が生じるため、正確な変換パラメータを計測または推定することは困難であることが多い。つまり、透視投影変換に基づく座標変換は、カメラの設置誤差の影響を受けやすい。
【０００５】
平面射影変換では、撮影領域内に校正パターンを配置し、撮影した校正パターンに基づいて、撮影画像の座標（２次元カメラ座標）と変換画像の座標（２次元世界座標）との対応関係を示す変換行列を求める、という校正作業を行う。この変換行列は、一般的に、ホモグラフィ行列と呼ばれる。平面射影変換によれば、カメラ外部情報やカメラ内部情報を必要とせず、また、実際に撮影された校正パターンに基づいて撮影画像と変換画像との間の対応座標が指定されるため、カメラの設置誤差の影響を受けない（或いは受けにくい）。
【０００６】
透視投影変換又は平面射影変換を介して得た鳥瞰図画像を表示することによって、運転者は車体と障害物の距離を把握しやすくなる。しかしながら、鳥瞰図画像は、その特性上、車両遠方の描画を不得手とする。つまり、単純に鳥瞰図画像を表示するシステムでは、カメラでは撮影されている車両遠方の映像を表示することが困難であるという問題がある。
【０００７】
この問題に対して、車両近辺に対応する画像領域おいては鳥瞰図画像を表示する一方、車両遠方に対応する画像領域においては遠方用画像を表示する技術が提案されている。この技術は例えば特許文献２に記載されており、特許文献２には、更に両画像領域間を滑らかに接合する手法も開示されている。この技術によれば、鳥瞰図画像による車体と障害物の距離の把握容易化という利点を享受しつつ、車両遠方に対する視界をも支援することが可能となる。つまり、広範囲で優れた視認性を得る事が可能となる。
【０００８】
【特許文献１】特開平３−９９９５２号公報
【特許文献２】特開２００６−２８７８９２号公報
【特許文献３】特開２００６−１４８７４５号公報
【発明の開示】
【発明が解決しようとする課題】
【０００９】
しかしながら、この特許文献２に記載の技術の実現に当たっては透視投影変換が必要となるため、カメラの設置誤差の影響を受けてしまう。平面射影変換を用いればカメラの設置誤差を吸収することも可能となるが、平面射影変換を用いたのでは特許文献２に記載の技術を実現できない。
【００１０】
そこで本発明は、広範囲の画像描写を確保しつつ、カメラの設置誤差の影響を受けにくした画像処理を実現する画像処理装置及び画像処理方法を提供することを目的とする。また、本発明は、それらを利用した車両を提供することを目的とする。
【課題を解決するための手段】
【００１１】
本発明に係る画像処理装置は、カメラの撮影画像を所定の第１面上に投影するための第１変換パラメータと前記撮影画像を前記第１面と異なる所定の第２面上に投影するための第２変換パラメータとを含む複数の変換パラメータに基づいて、前記撮影画像から変換画像を生成する画像処理装置であって、前記変換画像を第１領域及び第２領域を含む複数の領域に分割し、前記第１変換パラメータに基づいて前記第１領域内の画像が得られるように且つ前記第１及び第２変換パラメータを加重加算して得られる加重加算変換パラメータに基づいて前記第２領域内の画像が得られるように、前記撮影画像から前記変換画像を生成する変換画像生成手段を備えたことを特徴とする。
【００１２】
第１面及び第２面を適切に設定すれば、広範囲の被写界を変換画像上に描画することが可能となる。そして、上述のように構成すれば、第１及び／又は第２変換パラメータを平面射影変換によって導出することが可能となる。故に、カメラの設置誤差の影響を受けにくくすることが可能である。また、加重加算変換パラメータを用いて第２領域内の画像を生成することにより、第１及び第２領域の画像を滑らかに接合することも可能である。
【００１３】
具体的には例えば、前記カメラの設置位置に比較的近い被写体が前記第１領域内の画像に現れ且つ前記設置位置から比較的遠い被写体が前記第２領域内の画像に現れる。
【００１４】
また例えば、前記第２領域内の各点に対応する前記加重加算の重みは、前記第１領域と前記第２領域との境界から各点までの距離に応じて設定される。
【００１５】
これにより、第１及び第２領域の画像の滑らかな接合を実現可能である。
【００１６】
具体的には例えば、前記距離が増加するに従って前記加重加算変換パラメータに対する前記第２変換パラメータの寄与度が増加するように、前記重みを設定すればよい。
【００１７】
また例えば、前記カメラは車両に設置され、前記第１面は前記車両が配置される地面であり、前記変換画像生成手段は、前記第１変換パラメータに従って前記カメラの撮影画像の一部画像を前記車両の上方の仮想視点から見た鳥瞰図画像に変換し、この鳥瞰図画像を前記第１領域内の画像として前記変換画像に含める。
【００１８】
そして、本発明に係る車両には、上記のカメラ及び画像処理装置が設置されている。
【００１９】
また本発明に係る画像処理方法は、カメラの撮影画像を所定の第１面上に投影するための第１変換パラメータと前記撮影画像を前記第１面と異なる所定の第２面上に投影するための第２変換パラメータとを含む複数の変換パラメータに基づいて、前記撮影画像から変換画像を生成する画像処理方法であって、前記変換画像を第１領域及び第２領域を含む複数の領域に分割し、前記第１変換パラメータに基づいて前記第１領域内の画像が得られるように且つ前記第１及び第２変換パラメータを加重加算して得られる加重加算変換パラメータに基づいて前記第２領域内の画像が得られるように、前記撮影画像から前記変換画像を生成することを特徴とする。
【発明の効果】
【００２０】
本発明によれば、広範囲の画像描写を確保しつつ、カメラの設置誤差の影響を受けにくした画像処理を実現する画像処理装置及び画像処理方法を提供することができる。
【００２１】
本発明の意義ないし効果は、以下に示す実施の形態の説明により更に明らかとなろう。ただし、以下の実施の形態は、あくまでも本発明の一つの実施形態であって、本発明ないし各構成要件の用語の意義は、以下の実施の形態に記載されたものに制限されるものではない。
【発明を実施するための最良の形態】
【００２２】
以下、本発明の実施の形態につき、図面を参照して具体的に説明する。参照される各図において、同一の部分には同一の符号を付し、同一の部分に関する重複する説明を原則として省略する。
【００２３】
図１（ａ）は、自動車である車両１００を上方から見た平面図である。図１（ｂ）は、車両１００を側方から見た平面図である。車両１００は、地面上に配置されているものとする。車両１００の後部には、車両１００後方の安全確認を支援するためのカメラ１が設置されている。カメラ１は、車両１００の後方側に視野を有するように車両１００に設置される。符号１１０が付された破線扇型領域は、カメラ１の撮影領域を表している。カメラ１の視野に車両１００付近の後方側地面が含まれるように、カメラ１は後方下向きに設置される。尚、車両１００として普通乗用車を例示しているが、車両１００は、普通乗用車以外（トラックなど）であってもよい。
【００２４】
以下の説明において、地面は水平面上にあるものとし、「高さ」は、地面を基準とした高さを表すものとする。図１（ｂ）に示されるｈは、カメラ１の高さ（カメラ１が設置されている地点の高さ）を表す。
【００２５】
図２に、本発明の実施形態に係る視界支援システムの構成ブロック図を示す。カメラ１は、撮影を行い、撮影によって得られた画像（以下、撮影画像とも言う）を表す信号を画像処理装置２に送る。画像処理装置２は、撮影画像から拡張鳥瞰図画像を生成する。但し、拡張鳥瞰図画像の基となる撮影画像に対してレンズ歪み補正などの画像処理を施し、その画像処理後の撮影画像を拡張鳥瞰図画像に変換するものとする。表示装置３は、この拡張鳥瞰図画像を映像として表示する。
【００２６】
本実施形態における拡張鳥瞰図画像は、通常の鳥瞰図画像とは異なる。詳細は後述するが、概略的に言えば、本実施形態における拡張鳥瞰図画像は、車両１００に比較的近い領域において通常の鳥瞰図画像が描かれるように且つ車両１００から比較的遠い領域において原画像（撮影画像そのもの）に近い画像が描かれるように生成された画像である。尚、本実施形態において、「通常の鳥瞰図画像」と「鳥瞰図画像」とは同じものを指す。
【００２７】
鳥瞰図画像は、実際のカメラ１の撮影画像を仮想カメラの視点（仮想視点）から見た画像に変換したものである。より具体的には、鳥瞰図画像は、実際のカメラ１の撮影画像を、地上面を鉛直方向に見下ろした画像に変換したものである。この種の画像変換は、一般に、視点変換とも呼ばれる。
【００２８】
カメラ１として、例えばＣＣＤ（Charge Coupled Devices）を用いたカメラや、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサを用いたカメラが用いられる。画像処理装置２は、例えば集積回路から形成される。表示装置３は、液晶ディスプレイパネル等から形成される。カーナビゲーションシステムなどに含まれる表示装置を、視界支援システムにおける表示装置３として流用しても良い。また、画像処理装置２は、カーナビゲーションシステムの一部として組み込まれうる。画像処理装置２及び表示装置３は、例えば、車両１００の運転席付近に設置される。
【００２９】
図３を参照して、図２の視界支援システムの全体的な動作手順を説明する。図３は、この動作手順を表すフローチャートである。
【００３０】
拡張鳥瞰図画像を生成するためには、撮影画像を拡張鳥瞰図画像に変換するための変換パラメータが必要となる。この変換パラメータを算出するための処理がステップＳ１及びＳ２の処理に相当する。ステップＳ１及びＳ２の処理は、カメラ１の校正段階において、カメラ１の撮影画像に基づき画像処理装置２によって実施される。尚、ステップＳ１及びＳ２の処理にて実行される演算を、画像処理装置２と異なる外部の演算装置（不図示）に実行させるようにしてもよい。つまり、カメラ１の撮影画像に基づいて、外部の演算装置に後述の第１及び第２の変換行例Ｈ1及びＨ2を算出させ、算出された第１及び第２の変換行例Ｈ1及びＨ2を画像処理装置２に与えるようにしてもよい。
【００３１】
ステップＳ１では、平面射影変換によって、カメラ１の撮影画像を通常の鳥瞰図画像に変換するための第１の変換行例Ｈ1を求める。平面射影変換そのものについては公知であり、公知の手法によって第１の変換行例Ｈ1を求めることができる。第１の変換行例Ｈ1を、以下、単にＨ1にて表すこともある。後に述べる、第２の変換行例Ｈ2及び第３の変換行例Ｈ3についても、夫々単にＨ2及びＨ3にて表すことがある。
【００３２】
例えば、図４（ａ）に示すような、平面状の校正プレート１２０を用意し、図４（ｂ）に示す如く、校正プレート１２０の全部又は一部がカメラ１の撮影領域（視野）に収まるように車両１００を配置する。この配置がなされた状態にて、カメラ１が取得した撮影画像を「校正用撮影画像」という。また、校正用撮影画像を、第１の変換行例Ｈ1を用いて座標変換することによって得られる画像を「校正用変換画像」という。ステップＳ１では、校正用撮影画像に基づいて、第１の変換行例Ｈ1が求められる。
【００３３】
校正プレート１２０の表面には、等間隔で縦及び横方向に配列された格子線が形成されており、撮影画像上に現れた、縦の格子線と横の格子線の各交点を画像処理装置２は抽出可能となっている。図４（ａ）及び（ｂ）に示す例では、校正プレート１２０には所謂市松模様が描かれている。この市松模様は、互いに隣接する黒の正方形と白の正方形から形成されており、黒の正方形の一頂点と白の正方形の一頂点が接する点が、縦の格子線と横の格子線の交点に相当している。
【００３４】
画像処理装置２は、校正プレート１２０の表面に形成された上記の各交点を特徴点として捉え、校正用撮影画像に現れている互いに異なる４つの特徴点を抽出して校正用撮影画像における該４つの特徴点の座標値を特定する。以下、図４（ｂ）において符号１２１〜１２４が付された４つの交点を４つの特徴点とする場合を考える。上記の座標値の特定手法は任意である。例えば、エッジ検出処理などを用いて画像処理装置２に４つの特徴点を抽出させて上記座標値を特定するようにしてもよいし、外部から４つの特徴点の画像上の位置を画像処理装置２に教えるようにしてもよい。
【００３５】
校正用撮影画像上における各点の座標を（ｘA，ｙA）にて表し、校正用変換画像上における各点の座標を（ＸA，ＹA）にて表す。ｘA及びＸAは画像の水平方向の座標値であり、ｙA及びＹAは画像の垂直方向の座標値である。校正用撮影画像上における座標（ｘA，ｙA）と校正用変換画像上における座標（ＸA，ＹA）との関係は、第１の変換行例Ｈ1を用いて下記式（１）のように表される。Ｈ1は、一般的に、ホモグラフィ行列とも呼ばれる。Ｈ1は、３行３列の行列であり、その行列の各要素をｈA1〜ｈA9で表す。更に、ｈA9＝１であるとする（ｈA9＝１、となるように行列を正規化する）。また、式（１）より、座標（ｘA，ｙA）と座標（ＸA，ＹA）との関係は、下記式（２ａ）及び（２ｂ）によって表すこともできる。
【００３６】
【数１】
【数２】
【００３７】
画像処理装置２によって特定された４つの特徴点１２１〜１２４の、校正用撮影画像上における座標値を（ｘA1，ｙA1）、（ｘA2，ｙA2）、（ｘA3，ｙA3）及び（ｘA4，ｙA4）とする。また、画像処理装置２が予め認識している既知情報に従い、校正用変換画像上における４つの特徴点の座標値を定める。定められた４つの座標値を（ＸA1，ＹA1）、（ＸA2，ＹA2）、（ＸA3，ＹA3）及び（ＸA4，ＹA4）とする。今、校正パターン１２０上で４つの特徴点１２１〜１２４が描く図形が正方形であるとする。そうすると、Ｈ1はカメラ１の撮影画像を通常の鳥瞰図画像に変換するための変換行例であるので、座標値（ＸA1，ＹA1）、（ＸA2，ＹA2）、（ＸA3，ＹA3）及び（ＸA4，ＹA4）を、例えば、（０，０）、（１，０）、（０，１）及び（１，１）と定義することができる。
【００３８】
校正用撮影画像と校正用変換画像との間で４点の座標値対応関係が分かれば、第１の変換行列Ｈ1は一意に定まる。４点の座標値対応関係に基づきホモグラフィ行列（射影変換行列）としての第１の変換行列Ｈ1を求める手法として、公知の手法を用いればよい。例えば、特開２００４−３４２０６７号公報に記載の手法（特に、段落［００５９］〜［００６９］に記載の手法を参照）を用いればよい。つまり、座標値（ｘA1，ｙA1）、（ｘA2，ｙA2）、（ｘA3，ｙA3）及び（ｘA4，ｙA4）が、夫々、座標値（ＸA1，ＹA1）、（ＸA2，ＹA2）、（ＸA3，ＹA3）及び（ＸA4，ＹA4）に変換されるように、Ｈ1の要素ｈA1〜ｈA8を求める。実際には、この変換の誤差（特開２００４−３４２０６７号公報における評価関数）が最小化されるように要素ｈA1〜ｈA8を求める。
【００３９】
一旦、第１の変換行列Ｈ1が求まれば、上記式（２ａ）及び（２ｂ）に従って撮影画像上の任意の点を鳥瞰図画像上の点に変換することが可能である。尚、４点の座標値対応関係に基づいてＨ1を求める手法を説明したが、勿論、５点以上の座標値対応関係に基づいてＨ1を求めるようにしてもよい。
【００４０】
図５に、カメラ１の撮影画像１３１と、Ｈ1を用いて撮影画像１３１を画像変換することによって得られる鳥瞰図画像１３２と、を示す。図５には、４つの特徴点（図４（ｂ）における特徴点１２１〜１２４）の対応関係も示されている。
【００４１】
図３のステップＳ１にて第１の変換行列Ｈ1を求めた後、ステップＳ２において、第２の変換行例Ｈ2を求める。第２の変換行例Ｈ2の導出法については後に詳説するが、ここで、Ｈ1とＨ2の違いを説明しておく。
【００４２】
第１の変換行列Ｈ1はカメラ１の撮影画像を第１の平面上に投影するための変換行列である一方、第２の変換行列Ｈ2はカメラ１の撮影画像を第１の平面と異なる第２の平面上に投影するための変換行列である。今の例の場合、第１の平面は地面である。図６に、第１及び第２の平面と車両１００との関係を表す平面図を示す。符号１４１が付された平面が第１の平面であり、符号１４２が付された平面が第２の平面である。第２の平面は、第１の平面（地面）に対して斜めの平面であり、第１の平面と平行ではなく且つ第１の平面と直交しない。カメラ１の光軸１５０は、例えば第２の平面に直交する。この場合、第２の平面はカメラ１の撮像面と平行となる。
【００４３】
鳥瞰図画像は、第１の変換行列Ｈ1に基づいて実際のカメラ１の撮影画像を第１の視点から見た画像に変換したものであり、その第１の視点の高さは、カメラ１の高さｈ（図１（ａ））よりも十分に高い。一方、第２の変換行列Ｈ2は、実際のカメラ１の撮影画像を第２の視点から見た画像に変換するための変換行列であり、その第２の視点の高さは、第１の視点の高さよりも低く、例えばカメラ１の高さｈと同じとされる。尚、第１及び第２の視点の水平方向の位置は、カメラ１の水平方向の位置と同じである。
【００４４】
図３のステップＳ１及びＳ２にてＨ1及びＨ2が求められた後、ステップＳ３に移行し、ステップＳ３及びＳ４の処理が繰り返し実行される。ステップＳ１及びＳ２の処理がカメラ１の校正段階において実行されるのに対して、ステップＳ３及びＳ４の処理は、視界支援システムの実稼動時（実際の視界支援の実行時）に実行される。
【００４５】
ステップＳ３では、図２の画像処理装置２が、カメラ１の撮影画像に対し、Ｈ1及びＨ2に基づく画像変換を行って拡張鳥瞰図画像を生成し、その拡張鳥瞰図画像を表す映像信号を表示装置３に送る。ステップＳ３に続くステップＳ４では、表示装置３が、与えられた映像信号を従って映像出力を行うことにより拡張鳥瞰図画像を表示画面上に表示する。
【００４６】
拡張鳥瞰図画像の生成手法について詳説する。拡張鳥瞰図画像を、図７に示す如く、画像の垂直方向に分割して考える。この分割によって得られる２つの領域を、第１領域及び第２領域と呼ぶ。第１領域内の画像と第２領域内の画像とを接合した画像が拡張鳥瞰図画像である。図７において、波線２００は、第１領域と第２領域との境界を表す。
【００４７】
拡張鳥瞰図画像の原点をＯで表す。拡張鳥瞰図画像において、原点Ｏを含む水平ラインを第１水平ラインとする。拡張鳥瞰図画像は、第１〜第ｎ水平ライン上の各画素にて形成される。拡張鳥瞰図画像の上端側に第１水平ラインが配置され、下端側に第ｎ水平ラインが配置される。拡張鳥瞰図画像において、第１水平ラインから第ｎ水平ラインに向かって、順に、第１、第２、第３、・・・、第（ｍ−１）、第ｍ、第（ｍ＋１）、・・・、第（ｎ−１）、第ｎ水平ラインが配列されている。但し、ｍ及びｎは２以上の整数であって、ｍ＜ｎである。例えば、ｍ＝１２０、ｎ＝４８０である。
【００４８】
第２領域内の画像は、第１〜第ｍ水平ライン上の各画素から形成され、第１領域内の画像は、第（ｍ＋１）〜第ｎ水平ライン上の各画素から形成される。そして、拡張鳥瞰図画像の下方側に車両１００に近い領域に位置する被写体が現れるように、拡張鳥瞰図画像は生成される。つまり、カメラ１の撮像素子の中心を通る鉛直線と地面との交点を基準点とし、図８に示す如く、車両１００の後方に向かう方向における基準点からの距離をＤで表した場合、距離Ｄ＝Ｄ1の地面上の点が第ｋ1水平ライン上に現れ、距離Ｄ＝Ｄ2の地面上の点が第ｋ2水平ライン上に現れるように、拡張鳥瞰図画像は生成される。但し、Ｄ1＜Ｄ2且つｋ1＞ｋ2である。
【００４９】
図９に、撮影画像と拡張鳥瞰図画像との関係を示す。図９に示す如く、第１の変換行列Ｈ1を用いて撮影画像の一部領域２１０内の画像を座標変換したものが拡張鳥瞰図画像の第１領域２２０内の画像となり、加重加算変換行列Ｈ3を用いて撮影画像の一部領域２１１内の画像を座標変換したものが拡張鳥瞰図画像の第２領域２２１内の画像となる。一部領域２１０と一部領域２１１は互いに重なり合わない領域であり、一部領域２１０内に車両１００近辺の被写体が現れ、一部領域２１１内に車両１００遠方の被写体が現れる。
【００５０】
加重加算変換行列Ｈ3は、第１の変換行列Ｈ1と第２の変換行列Ｈ2を加重加算（重み付け加算）することによって得られる。即ち、Ｈ3は、下記の式（３）によって表される。
【００５１】
【数３】
【００５２】
ｐ及びｑは、加重加算における重み係数である。常に、ｑ＝１−ｐ且つ０＜ｐ＜１が成立するものとする。Ｈ1による変換画像とＨ2による変換画像とが滑らかにつながるように、境界２００（図７）からの距離に応じてｐ及びｑは変更される。ここで、境界２００からの距離とは、拡張鳥瞰図画像上における、第ｎ水平ラインから第１水平ラインに向かう方向の距離を指すものとする。
【００５３】
具体的には、境界２００からの距離が増加するにつれてｑを増加させてＨ3に対するＨ2の寄与度を増加させ、且つ、境界２００からの距離が減少するにつれてｐを増加させてＨ3に対するＨ1の寄与度を増加させる。即ち、図１０に示す如く、ｅ1＜ｅ2＜ｍとし、第ｅ1水平ラインについてのＨ3をＨ3＝ｐ1Ｈ1＋ｑ1Ｈ2で表し且つ第ｅ2水平ラインについてのＨ3をＨ3＝ｐ2Ｈ1＋ｑ2Ｈ2で表した場合、ｐ1＜ｐ2且つｑ1＞ｑ2が成立するようにｐ及びｑは定められる。
【００５４】
拡張鳥瞰図画像上の各画素に対応する変換行列が定まれば、拡張鳥瞰図画像の各画素の座標値に対応する撮影画像の各画素の座標値も定まる。つまり、撮影画像上のどの点に対して如何なる変換行列を適用すべきかを定めることができる。例えば、図１１に示す如く、撮影画像の一部領域２１０内の各画素の座標値に対してＨ1を適用し、且つ、撮影画像の一部領域２１１ａ内の各画素の座標値に対してＨ3＝ｐ2Ｈ1＋ｑ2Ｈ2を適用し、且つ、撮影画像の一部領域２１１ｂ内の各画素の座標値に対してＨ3＝ｐ1Ｈ1＋ｑ1Ｈ2を適用する、と定める。
【００５５】
一旦、撮影画像の各画素の座標値に対して適用すべき変換行列が定まれば、その変換行列に従って任意の撮影画像を拡張鳥瞰図画像に変換することが可能である。実際には、例えば、上述のように定めた変換行列に従って、撮影画像の各画素の座標値と拡張鳥瞰図画像の各画素の座標値との対応関係を示すテーブルデータを作成し、これを図示されないメモリ（ルックアップテーブル）に格納しておく。そして、このテーブルデータを用いて、撮影画像を拡張鳥瞰図画像に変換するようにする。勿論、カメラ１にて撮影画像が得られる度にＨ1及びＨ3に基づく座標変換演算を行って拡張鳥瞰図画像を生成するようにしても構わない。
【００５６】
図１２に、撮影画像２５１と撮影画像２５１に対応する拡張鳥瞰図画像２５２の表示例を示す。拡張鳥瞰図画像２５２の下方側、即ち車両１００に比較的近い領域２５３では、通常の鳥瞰図画像が表示される。運転者は、この通常の鳥瞰図画像を参照することにより、例えば車両１００と車両後方の障害物との距離（実空間上の距離）を把握することが容易となる。
【００５７】
一般的な鳥瞰変換を用いた場合、車両遠方領域を表示することが困難となるが、拡張鳥瞰図画像では、上方側の領域２５４に鳥瞰図画像よりも原画像（撮影画像）に近い画像が描画されるため、車両遠方に対する視界も支援される。そして、上述の如く加重加算変換行列Ｈ3を定めることにより、拡張鳥瞰図画像において、領域２５３内の画像と領域２５４内の画像が滑らかに接合され、視認性の良い映像表示が可能である。尚、一般的な鳥瞰変換を用いた場合、車両遠方領域において立体物が大きく変形してしまうという問題があるが、その問題も拡張鳥瞰図画像では改善されている。
【００５８】
また、従来の如く透視投影変換を用いる場合は、カメラの設置誤差の影響を受けてしまうが、本実施形態に係る手法では、平面射影変換を用いているためカメラの設置誤差の影響を受けない（或いは受けにくい）。
【００５９】
次に、図３のステップＳ２にて用いることの可能な、第２の変換行列Ｈ2の算出法について詳説する。Ｈ2の算出法として、以下に、第１〜第３算出法を例示する。
【００６０】
各算出法に先立ち、図１３（ａ）及び（ｂ）を参照して、車両１００に対するカメラ１の取り付け状態を考察する。図１３（ａ）は、車両１００を側方から見た平面図であり、図１３（ｂ）は、車両１００を後方から見た平面図である。カメラ１は、車両１００の後端に設置される訳であるが、カメラ１の光軸１５０を回転軸としてカメラ１が回転すると、実空間上で静止した被写体も撮影画像上において回転する。符号３０１は、この回転方向を示している。また、カメラ１が光軸１５０を含む平面上で回転すると（回転方向を符号３０２で表す）、実空間上で静止した被写体は撮影画像上において水平方向に移動する。
【００６１】
［第１算出法］
まず、第１算出法について説明する。第１算出法は、カメラ１が、回転方向３０１及び回転方向３０２の双方において回転しておらず、車両１００の後方に正確に（或いは略正確に）向けられていることを想定している。また更に、撮影画像から拡張鳥瞰図画像を生成する際に、画像を拡大又は縮小しないことを想定している。
【００６２】
このような想定の下、第１算出法では、第２の変換行列Ｈ2を下記式（４）にて表されるように定める。式（４）のＨ2は、無変換の単位行列である。第１算出法を採用する場合、Ｈ2にて撮影画像が投影される平面（図６の第２の平面１４２に対応）は、カメラ１の撮像面に平行な平面（或いは撮像面そのもの）となる。
【００６３】
【数４】
【００６４】
［第２算出法］
次に、第２算出法について説明する。第２算出法は、カメラ１が回転方向３０１に回転していて撮影画像から拡張鳥瞰図画像を生成する際に画像の回転を行う必要がある場合、或いは、カメラ１が回転方向３０２に回転していて撮影画像から拡張鳥瞰図画像を生成する際に画像の水平移動を行う必要がある場合、或いは、撮影画像から拡張鳥瞰図画像を生成する際に画像の拡大又は縮小を行う必要がある場合、或いは、それらの組み合わせを行う必要がある場合を想定している。第２算出法を採用すれば、これらの場合に対応可能である。つまり、カメラ１の多様な設置条件に対応可能である。
【００６５】
このような想定の下、第２算出法では、第２の変換行列Ｈ2を下記式（５）にて表されるように定める。ここで、Ｒは、式（６ａ）で表される、画像の回転を行うための行列であり、θは画像の回転角を表す。Ｔは、式（６ｂ）で表される、画像の水平移動を行うための行列であり、ｔx及びｔyは夫々画像の水平方向の移動量及び垂直方向の移動量を表す。Ｓは、式（６ｃ）で表される、画像の拡大又は縮小を行うための行列であり、ａ及びｂは夫々画像の水平方向の拡大率（又は縮小率）及び垂直方向の拡大率（又は縮小率）を表す。
【００６６】
【数５】
【数６】
【００６７】
ステップＳ１（図３参照）にて第１の変換行列Ｈ1を求める際に利用した校正用撮影画像に基づいて、行列Ｒ、Ｔ及びＳを算出することができる。つまり、ステップＳ１にて特定された、校正用撮影画像上における４つの特徴点の座標値（ｘA1，ｙA1）、（ｘA2，ｙA2）、（ｘA3，ｙA3）及び（ｘA4，ｙA4）を利用して、行列Ｒ、Ｔ及びＳを算出することができる。
【００６８】
例えば、校正用撮影画像上において、この４つの特徴点の内、２つの特徴点（例えば、図４（ｂ）の特徴点１２３及び１２４）間を結ぶ直線の傾きを検出し、この傾きから行列Ｒを決定する。画像処理装置２は、実空間における２つの特徴点の配置位置を表す既知の情報を参照しつつ、検出した傾きに応じて回転角θの値を決定する。
また例えば、校正用撮影画像上における４つの特徴点の座標値から行列Ｔを決定する。少なくとも１点の特徴点の座標値が分かれば、行列Ｔを決定することが可能である。特徴点の水平方向の座標値及び垂直方向の座標値と決定されるべき要素ｔx及びｔyの値との関係は、校正パターン１２０の特性を考慮して予め設定されている。
また例えば、校正用撮影画像上において、この４つの特徴点の内、画像の水平方向に並ぶ２つの特徴点（例えば、図４（ｂ）の特徴点１２３及び１２４）間の画素数を検出し、この画素数から行列Ｓの要素ａを決定する。要素ｂについても同様に決定できる。検出された画素数と決定されるべき要素ａ及びｂの値との関係は、校正パターン１２０の特性を考慮して予め設定されている。
【００６９】
また、校正用撮影画像を利用することなく、車両１００に対するカメラ１の設置条件を表す既知のパラメータに基づいて、行列Ｒ、Ｔ及びＳを算出するようにしてもよい。
【００７０】
［第３算出法］
次に、第３算出法について説明する。第３算出法では、第１の変換行列Ｈ1の算出法と同様に、平面射影変換を利用して第２の変換行列Ｈ2を算出する。つまり、具体的には以下のようにすればよい。
【００７１】
今、校正用撮影画像を、第２の変換行例Ｈ2を用いて座標変換することによって得られる画像を「第２校正用変換画像」といい、第２校正用変換画像上における各点の座標を（ＸB，ＹB）にて表す。そうすると、校正用撮影画像上における座標（ｘA，ｙA）と第２校正用変換画像上における座標（ＸB，ＹB）との関係は、第２の変換行例Ｈ2を用いて下記式（７）のように表される。
【００７２】
【数７】
【００７３】
そして、画像処理装置２が予め認識している既知情報に従い、第２校正用変換画像上における４つの特徴点の座標値を定める。定められた４つの座標値を（ＸB1，ＹB1）、（ＸB2，ＹB2）、（ＸB3，ＹB3）及び（ＸB4，ＹB4）とする。座標値（ＸB1，ＹB1）〜（ＸB4，ＹB4）は、校正用撮影画像上の４つの特徴点を第１の平面１４１にではなく第２の平面１４２に投影したときの座標値である（図６参照）。その後、第１の変換行列Ｈ1を求めた時と同様に、校正用撮影画像と第２校正用変換画像との間における４点の座標値対応関係に基づき、Ｈ2の要素ｈB1〜ｈB8を求めればよい。
【００７４】
＜＜変形等＞＞
上述した説明文中に示した具体的な数値は、単なる例示であって、当然の如く、それらを様々な数値に変更することができる。上述の実施形態の変形例または注釈事項として、以下に、注釈１〜注釈６を記す。各注釈に記載した内容は、矛盾なき限り、任意に組み合わせることが可能である。
【００７５】
［注釈１］
図４（ａ）及び（ｂ）に示したような複数の縦及び横の格子線が形成された校正プレート１２０を利用して平面射影変換を行う手法を上述したが、本発明はこれに限定されない。画像処理装置２が４点以上の特徴点を抽出可能な環境を整えれば、それで足る。
【００７６】
［注釈２］
上述の実施形態では、第１及び第２の平面から成る２つの投影平面を想定し、２つの変換行列（Ｈ1及びＨ2）の導出を介して変換画像としての拡張鳥瞰図画像を生成したが、３以上の投影平面を想定し、３以上の変換行列の導出を介して変換画像を生成するようにしてもよい。３以上の投影平面の内、１つの投影平面が地面であるなら、この変換画像も拡張鳥瞰図画像と呼ぶことができる。
【００７７】
例えば、投影平面として互いに異なる第１〜第３の平面を想定し、校正用撮影画像を第１、第２及び第３の平面に投影するための第１、第２及び第３の変換行列を求める。第１の平面は、例えば地面とする。
【００７８】
そして、例えば図１４（ａ）に示す如く、変換画像を領域３２１〜３２４から成る４つの領域に分割して考える。領域３２１内の画像は、第１の変換行列を用いて、カメラ１の撮影画像内の第１の一部画像を座標変換することにより得られるようにする。領域３２２内の画像は、第１の変換行列と第２の変換行列を加重加算して得られる加重加算変換行列を用いて、カメラ１の撮影画像内の第２の一部画像を座標変換することにより得られるようにする。領域３２３内の画像は、第１の変換行列と第３の変換行列を加重加算して得られる加重加算変換行列を用いて、カメラ１の撮影画像内の第３の一部画像を座標変換することにより得られるようにする。領域３２４内の画像は、第１、第２及び第３の変換行列を加重加算して得られる加重加算変換行列を用いて、カメラ１の撮影画像内の第４の一部画像を座標変換することにより得られるようにする。この場合、カメラ１の撮影画像は、第１〜第４の一部画像を結合した画像に相当する。
【００７９】
図１４（ａ）に示す例では、変換画像を４つの領域３２１〜３２４に分割しているが、変換画像に対する領域の分割の仕方は様々に変形されうる。例えば、図１４（ｂ）に示す如く、変換画像を３つの領域３３１〜３３３に分割するようにしてもよい。領域３３１内の画像は、第１の変換行列を用いて、カメラ１の撮影画像内の第１の一部画像を座標変換することにより得られる。領域３３２内の画像は、第１の変換行列と第２の変換行列を加重加算して得られる加重加算変換行列を用いて、カメラ１の撮影画像内の第２の一部画像を座標変換することにより得られる。領域３３３内の画像は、第１の変換行列と第３の変換行列を加重加算して得られる加重加算変換行列を用いて、カメラ１の撮影画像内の第３の一部画像を座標変換することにより得られる。この場合、カメラ１の撮影画像は、第１〜第３の一部画像を結合した画像に相当する。
【００８０】
図１４（ａ）又は（ｂ）に対応するこれらの場合においても、上述したように、変換画像おける隣接する領域間の境界からの距離に応じて加重加算変換行列を生成する際の重みを徐々に変更するようにするとよい。
【００８１】
［注釈３］
上述の手法は、複数のカメラの撮影画像を合成することにより広範囲の映像を出力するシステムに対しても適用可能である。例えば、車両の前後左右に１台ずつカメラを設置し、合計４台のカメラの撮影画像を幾何変換によって全周鳥瞰図画像に変換して、これを表示部に表示するシステムが既に開発されているが（例えば、特開２００４−２３５９８６号公報参照）、このシステムに本発明の手法を適用することも可能である。全周鳥瞰図画像は車両周辺全周における鳥瞰図画像に相当するが、この全周鳥瞰図画像を生成する際に、複数の変換行列の加重加算を利用した画像変換を適用する。即ち、車両近辺の画像に対しては通常の鳥瞰図画像を生成するように画像変換を行い、車両遠方の画像に対しては複数の変換行列の加重加算して得られる加重加算変換行列を用いて画像変換を行うようにすればよい。
【００８２】
この他、複数のカメラの撮影画像を合成してパノラマ画像を生成及び表示するシステムなどに対しても、本発明は適用可能である。
【００８３】
［注釈４］
車載カメラとしてのカメラ１を用いた視界支援システムを例に挙げて本発明の実施形態を説明したが、画像処理装置２に接続されるべきカメラを車両以外に設置することも可能である。つまり、本発明は、建物などに設置される監視システムに対しても、適用可能である。この種の監視システムにおいても、上述の実施形態と同様、撮影画像から拡張鳥瞰図画像等の変換画像が生成され、該変換画像が表示装置に表示される。
【００８４】
［注釈５］
図２の画像処理装置２の機能は、ハードウェア、ソフトウェア、またはハードウェアとソフトウェアの組み合わせによって実現可能である。画像処理装置２にて実現される機能の全部または一部を、プログラムとして記述し、該プログラムをコンピュータ上で実行することによって、その機能の全部または一部を実現するようにしてもよい。
【００８５】
［注釈６］
例えば、以下のように考えることができる。上述の実施形態において、Ｈ1及びＨ2は夫々第１及び第２変換パラメータとして機能する。図２の画像処理装置２は、カメラ１の撮影画像から変換画像としての拡張鳥瞰図画像を生成する変換画像生成手段を含んでいる。
【図面の簡単な説明】
【００８６】
【図１】本発明の実施形態に係り、カメラが設置された車両を上方から見た平面図（ａ）及び側方から見た平面図（ｂ）である。
【図２】本発明の実施形態に係る視界支援システムの構成ブロック図である。
【図３】図２の視界支援システムの全体的な動作手順を表すフローチャートである。
【図４】図２の視界支援システムに対して校正処理を行う時に用いる校正プレートの平面図（ａ）と、校正処理を行う時における校正プレートと車両との配置関係を示す平面図（ｂ）である。
【図５】図１のカメラの撮影画像と該撮影画像から得られる通常の鳥瞰図画像との関係を示す図である。
【図６】図１のカメラの撮影画像が投影される平面を示す図である。
【図７】図２の画像処理装置にて生成される拡張鳥瞰図画像を表す図である。
【図８】図１の車両後方側の距離を説明するための図である。
【図９】図２のカメラの撮影画像と拡張鳥瞰図画像との間の変換関係を表す図である。
【図１０】図７の拡張鳥瞰図画像の各水平ラインに対応する変換行列を表す図である。
【図１１】図２のカメラの撮影画像と拡張鳥瞰図画像との間の変換関係を表す図である。
【図１２】図２のカメラの撮影画像と該撮影画像から得られる拡張鳥瞰図画像を示す図である。
【図１３】図１の車両に対するカメラの取り付け状態を説明するための図である。
【図１４】複数の変換行列の加重加算を利用してカメラの撮影画像から生成される変換画像の領域分割例を示す図である。
【符号の説明】
【００８７】
１ カメラ
２ 画像処理装置
３ 表示装置
１００ 車両
【特許請求の範囲】
【請求項１】
カメラの撮影画像を所定の第１面上に投影するための第１変換パラメータと前記撮影画像を前記第１面と異なる所定の第２面上に投影するための第２変換パラメータとを含む複数の変換パラメータに基づいて、前記撮影画像から変換画像を生成する画像処理装置であって、
前記変換画像を第１領域及び第２領域を含む複数の領域に分割し、前記第１変換パラメータに基づいて前記第１領域内の画像が得られるように且つ前記第１及び第２変換パラメータを加重加算して得られる加重加算変換パラメータに基づいて前記第２領域内の画像が得られるように、前記撮影画像から前記変換画像を生成する変換画像生成手段を備えた
ことを特徴とする画像処理装置。
【請求項２】
前記カメラの設置位置に比較的近い被写体が前記第１領域内の画像に現れ且つ前記設置位置から比較的遠い被写体が前記第２領域内の画像に現れる
ことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記第２領域内の各点に対応する前記加重加算の重みは、前記第１領域と前記第２領域との境界から各点までの距離に応じて設定される
ことを特徴とする請求項１または請求項２に記載の画像処理装置。
【請求項４】
前記距離が増加するに従って前記加重加算変換パラメータに対する前記第２変換パラメータの寄与度が増加するように、前記重みは設定される
ことを特徴とする請求項３に記載の画像処理装置。
【請求項５】
前記カメラは車両に設置され、
前記第１面は前記車両が配置される地面であり、
前記変換画像生成手段は、前記第１変換パラメータに従って前記カメラの撮影画像の一部画像を前記車両の上方の仮想視点から見た鳥瞰図画像に変換し、この鳥瞰図画像を前記第１領域内の画像として前記変換画像に含める
ことを特徴とする請求項１〜請求項４の何れかに記載の画像処理装置。
【請求項６】
請求項１〜請求項５の何れかに記載のカメラ及び画像処理装置が設置された
ことを特徴とする車両。
【請求項７】
カメラの撮影画像を所定の第１面上に投影するための第１変換パラメータと前記撮影画像を前記第１面と異なる所定の第２面上に投影するための第２変換パラメータとを含む複数の変換パラメータに基づいて、前記撮影画像から変換画像を生成する画像処理方法であって、
前記変換画像を第１領域及び第２領域を含む複数の領域に分割し、前記第１変換パラメータに基づいて前記第１領域内の画像が得られるように且つ前記第１及び第２変換パラメータを加重加算して得られる加重加算変換パラメータに基づいて前記第２領域内の画像が得られるように、前記撮影画像から前記変換画像を生成する
ことを特徴とする画像処理方法。
【請求項１】
カメラの撮影画像を所定の第１面上に投影するための第１変換パラメータと前記撮影画像を前記第１面と異なる所定の第２面上に投影するための第２変換パラメータとを含む複数の変換パラメータに基づいて、前記撮影画像から変換画像を生成する画像処理装置であって、
前記変換画像を第１領域及び第２領域を含む複数の領域に分割し、前記第１変換パラメータに基づいて前記第１領域内の画像が得られるように且つ前記第１及び第２変換パラメータを加重加算して得られる加重加算変換パラメータに基づいて前記第２領域内の画像が得られるように、前記撮影画像から前記変換画像を生成する変換画像生成手段を備えた
ことを特徴とする画像処理装置。
【請求項２】
前記カメラの設置位置に比較的近い被写体が前記第１領域内の画像に現れ且つ前記設置位置から比較的遠い被写体が前記第２領域内の画像に現れる
ことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記第２領域内の各点に対応する前記加重加算の重みは、前記第１領域と前記第２領域との境界から各点までの距離に応じて設定される
ことを特徴とする請求項１または請求項２に記載の画像処理装置。
【請求項４】
前記距離が増加するに従って前記加重加算変換パラメータに対する前記第２変換パラメータの寄与度が増加するように、前記重みは設定される
ことを特徴とする請求項３に記載の画像処理装置。
【請求項５】
前記カメラは車両に設置され、
前記第１面は前記車両が配置される地面であり、
前記変換画像生成手段は、前記第１変換パラメータに従って前記カメラの撮影画像の一部画像を前記車両の上方の仮想視点から見た鳥瞰図画像に変換し、この鳥瞰図画像を前記第１領域内の画像として前記変換画像に含める
ことを特徴とする請求項１〜請求項４の何れかに記載の画像処理装置。
【請求項６】
請求項１〜請求項５の何れかに記載のカメラ及び画像処理装置が設置された
ことを特徴とする車両。
【請求項７】
カメラの撮影画像を所定の第１面上に投影するための第１変換パラメータと前記撮影画像を前記第１面と異なる所定の第２面上に投影するための第２変換パラメータとを含む複数の変換パラメータに基づいて、前記撮影画像から変換画像を生成する画像処理方法であって、
前記変換画像を第１領域及び第２領域を含む複数の領域に分割し、前記第１変換パラメータに基づいて前記第１領域内の画像が得られるように且つ前記第１及び第２変換パラメータを加重加算して得られる加重加算変換パラメータに基づいて前記第２領域内の画像が得られるように、前記撮影画像から前記変換画像を生成する
ことを特徴とする画像処理方法。
【図１】
【図２】
【図３】
【図４】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１３】
【図１４】
【図５】
【図１２】
【図２】
【図３】
【図４】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１３】
【図１４】
【図５】
【図１２】
【公開番号】特開２００８−２７１３０８（Ｐ２００８−２７１３０８Ａ）
【公開日】平成２０年１１月６日（２００８．１１．６）
【国際特許分類】
【出願番号】特願２００７−１１３０７９（Ｐ２００７−１１３０７９）
【出願日】平成１９年４月２３日（２００７．４．２３）
【出願人】（０００００１８８９）三洋電機株式会社 (18,308)
【Ｆターム（参考）】
【公開日】平成２０年１１月６日（２００８．１１．６）
【国際特許分類】
【出願日】平成１９年４月２３日（２００７．４．２３）
【出願人】（０００００１８８９）三洋電機株式会社 (18,308)
【Ｆターム（参考）】
[ Back to top ]