画像処理装置並びに視界支援装置及び方法
【課題】共通領域を持つ２つの鳥瞰図画像を合成する際、立体物を二重像とすることなく立体物の消失の問題を回避する。
【解決手段】車両の前部及び左側に設置された前カメラ及び横カメラからの撮像画像の夫々を鳥瞰図画像に変換し、各鳥瞰図画像を合成した合成鳥瞰図画像を表示する。両鳥瞰図画像が重なり合う共通領域に関し、前カメラの画像１１２と横カメラの画像１１１の差分画像１１３を生成して、両鳥瞰図画像において立体物が描画されている差分領域１２３を検出する。両鳥瞰図画像を合成する際、差分領域１２３に関しては、一方の鳥瞰図画像内の画像のみを用いるようにする。
【解決手段】車両の前部及び左側に設置された前カメラ及び横カメラからの撮像画像の夫々を鳥瞰図画像に変換し、各鳥瞰図画像を合成した合成鳥瞰図画像を表示する。両鳥瞰図画像が重なり合う共通領域に関し、前カメラの画像１１２と横カメラの画像１１１の差分画像１１３を生成して、両鳥瞰図画像において立体物が描画されている差分領域１２３を検出する。両鳥瞰図画像を合成する際、差分領域１２３に関しては、一方の鳥瞰図画像内の画像のみを用いるようにする。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、視界支援装置及び視界支援方法に関する。本発明は、特に、車両に設置された複数のカメラの撮像画像から鳥瞰図画像を生成し、各鳥瞰図画像を合成する技術に関する。また本発明は、視界支援装置に用いられる画像処理装置に関する。
【背景技術】
【０００２】
自動車などの運転者にとって、バックするときには死角が生じるため後方確認が難しくなる。そこで、運転者の死角となりやすい車両の後方を監視する車載カメラを装備し、その撮像画像をカーナビゲーション等の画面に表示するシステムが既に開発されている。
【０００３】
また、カメラの映像を単に表示するのではなく、画像処理技術を利用して、より人間に優しい映像を見せる研究がなされている。その１つに、撮影した画像を座標変換することにより、地面の上方から眺めたような鳥瞰図画像を生成して表示するものがある。この鳥瞰図画像を表示することによって、運転者は車両後方の状況を把握し易くなる。
【０００４】
更に、複数のカメラから得た画像を幾何変換によって全周鳥瞰図画像に変換し、これを表示部に表示させる視界支援装置が開発されている（例えば、下記特許文献１及び２参照）。この視界支援装置では、車両全周の状況を上空から見た映像として運転者に提示することができるため、車両の周辺を３６０度死角なくカバーできるという長所がある。
【０００５】
この種の視界支援装置の従来例について説明する。図１７は、車両１００へのカメラの設置状況を表す、車両１００を上方から見た平面図である。図１８は、車両１００を左斜め前方から見た図である。図１８では、各カメラの視野（撮像領域）が模式的に表されている。車両１００は、運転室と運転室より高さのある荷室とから形成されるトラックである。
【０００６】
図１７に示す如く、車両１００の前部、後部、左側部及び右側部に、夫々、カメラ（撮像装置）１Ｆ、１Ｂ、１Ｌ及び１Ｒが取り付けられている。カメラ１Ｆ、１Ｂ、１Ｌ及び１Ｒは、夫々、前カメラ、後カメラ、左横カメラ及び右横カメラに対応する。
【０００７】
視界支援装置では、各カメラより得た撮像画像から鳥瞰図画像を生成し、各鳥瞰図画像を合成することにより、図１９に示すような全周鳥瞰図画像を表示装置に表示する。表示装置の表示画面上において、車両が中央に表示され、その車両の前方、後方、左側及び右側に、夫々、カメラ１Ｆ、１Ｂ、１Ｌ及び１Ｒから得た鳥瞰図画像が表示される。
【０００８】
ところで、各カメラの視野（撮像領域）には、図１８に示すように重なり合う部分が存在する。例えば、車両１００の左斜め前方の所定領域にて、カメラ１Ｆの視野とカメラ１Ｌの視野は重なり合う。この重なり合う部分は、図１９の符号１０１が付された領域に対応する。通常、領域１０１には、カメラ１Ｆの撮像画像に基づく映像若しくはカメラ１Ｌの撮像画像に基づく映像又はそれらの平均化映像などが表示される。
【０００９】
この種の視界支援装置では、地表面で画像が連続性を持つように合成処理を行うため、地表面に描かれた駐車区画の線、標識、文字などは特に問題なく表示される。これは、図１９の領域１０１でも同様である。しかし、地表面に置かれた立体物は、カメラの視点によって見え方が異なるため、それを全周鳥瞰図画像で正確且つ連続的に描写することは、原理的に困難である。
【００１０】
例えば、図２０に示す如く、カメラ１Ｆの視野とカメラ１Ｌの視野が重なり合う部分（空間）に立体物１０２としての人物が存在していた場合を考える。この場合、カメラ１Ｆにて立体物１０２を撮像した画像から鳥瞰図画像を生成した場合、図２１に示す如く、この鳥瞰図画像上で立体物１０２は左方向に倒れた画像となって表れる。一方、カメラ１Ｌにて立体物１０２を撮像した画像から鳥瞰図画像を生成した場合、図２２に示す如く、この鳥瞰図画像上で立体物１０２は前方に倒れた画像となって表れる。
【００１１】
カメラ１Ｆから得た鳥瞰図画像とカメラ１Ｌから得た鳥瞰図画像を合成する際、図２１及び図２２に示すような合成境界１０３を定めて、両鳥瞰図画像を合成境界１０３にて単純に貼り合わせた場合、その合成によって得られる全周鳥瞰図画像において、立体物１０２が消失してしまうという問題がある。
【００１２】
この問題を解決するために、カメラ１Ｆから得た鳥瞰図画像とカメラ１Ｌから得た鳥瞰図画像とが重なる共通領域の画像を、両鳥瞰図画像を平均化することによって生成する、という手法が考えられる。しかしながら、このような平均化を採用すると、全周鳥瞰図画像において立体物が二重像として現れてしまう。また、二重像の各像は背景画像と平均化されるため、立体物と背景の色によっては、立体物が非常に見えにくくなってしまう。
【００１３】
また、下記特許文献１に記載の方法では、共通領域の画像としてカメラ１Ｆから得られた鳥瞰図画像のみを採用した全周鳥瞰図画像と、共通領域の画像としてカメラ１Ｌから得られた鳥瞰図画像のみを採用した全周鳥瞰図画像と、を別個に生成し、これら２種類の全周鳥瞰図画像を左右に並べて同時に表示する。この場合の表示画像は、図２３の表示画像２００のようになる。しかしながら、この方法では、運転者が確認すべき画像が複数枚、同時に表示されるため、混乱が生じて逆に安全性が損なわれる可能性もある。
【００１４】
また、共通領域の画像としてカメラ１Ｆから得られた鳥瞰図画像を採用するか或いはカメラ１Ｌから得られた鳥瞰図画像を採用するかを、手動によって或いは運転操作によって切替えるという方法も考えられる。この場合、図２４に示す、表示画像２０１と表示画像２０２が切替えて表示されることになる。しかしながら、手動による切り替えは煩雑であり、また、運転操作のみに基づいて生成した映像が立体物を把握しやすい映像になるとは限らない。更に、手動や運転操作に基づく切り替えは、合成境界を共通領域の端に移動させることと等価であるため、境界の付近で立体物の表示が消失してしまう可能性が残る。つまり、単純な切り替えで、立体物の消失の問題を回避することは困難である。
【特許文献１】特開２００２−１２５２２４号公報
【特許文献２】特開２００４−２３５９８６号公報
【発明の概要】
【発明が解決しようとする課題】
【００１５】
そこで本発明は、上記のような立体物の消失及び二重像の表示の各問題を解決する視界支援装置及び視界支援方法を提供することを目的とする。また、本発明は、それらに用いられる画像処理装置を提供することを目的とする。
【課題を解決するための手段】
【００１６】
上記目的を達成するために本発明に係る画像処理装置は、ｎ台の撮像装置（ｎは２以上の整数）によって撮像された画像の夫々を仮想視点から見た鳥瞰図画像に変換する視点変換手段と、得られた各鳥瞰図画像を合成して合成鳥瞰図画像を生成する画像合成手段と、を備え、前記合成鳥瞰図画像を表示装置に表示させるための映像信号を生成する画像処理装置において、前記画像合成手段は、複数の撮像装置によって共通して撮像されている共通視野内に高さのある立体物が存在している場合、前記複数の撮像装置から得られる複数の鳥瞰図画像において前記立体物が描画されている各領域の、合成領域に相当する立体物反映領域を検出し、前記合成鳥瞰図画像内の前記立体物反映領域の画像として、前記複数の鳥瞰図画像の内の、１つの鳥瞰図画像内の前記立体物反映領域の画像を採用することを特徴とする。
【００１７】
前記複数の鳥瞰図画像が第１の鳥瞰図画像と第２の鳥瞰図画像から構成される場合、第１の鳥瞰図画像において前記立体物が描画されている領域と、第２の鳥瞰図画像において前記立体物が描画されている領域とを合成した領域を立体物反映領域として検出する。
【００１８】
立体物の描画されている領域を検出して、その領域の画像を合成鳥瞰図画像に適用することにより、合成鳥瞰図画像における立体物の消失の問題は回避されうる。また、前記合成鳥瞰図画像内の前記立体物反映領域の画像として、「前記複数の鳥瞰図画像の内の、１つの鳥瞰図画像」内の前記立体物反映領域の画像を採用することにより、立体物が二重像として表示されるといった問題も回避されうる。
【００１９】
具体的には例えば、前記画像合成手段は、合成の際に前記複数の鳥瞰図画像が重なり合う共通領域の画像を前記複数の鳥瞰図画像間で比較することによって、前記立体物反映領域を検出する。
【００２０】
より具体的には例えば、前記画像合成手段は、合成の際に前記複数の鳥瞰図画像が重なり合う共通領域の画像を前記複数の鳥瞰図画像間で比較することによって、前記共通領域における、前記複数の鳥瞰図画像間の差分領域を特定し、該差分領域を前記立体物反映領域として検出する。
【００２１】
そして、上記画像処理装置と、前記ｎ台の撮像装置、及び、前記表示装置の内の少なくとも一方と、を備えた視界支援装置を構成するとよい。
【００２２】
また、上記目的を達成するために本発明に係る視界支援方法は、ｎ台の撮像装置（ｎは２以上の整数）によって撮像された画像の夫々を仮想視点から見た鳥瞰図画像に変換し、得られた各鳥瞰図画像を合成した合成鳥瞰図画像を表示装置に表示させる視界支援方法において、複数の撮像装置によって共通して撮像されている共通視野内に高さのある立体物が存在している場合、前記複数の撮像装置から得られる複数の鳥瞰図画像において前記立体物が描画されている各領域の、合成領域に相当する立体物反映領域を検出し、前記合成鳥瞰図画像内の前記立体物反映領域の画像として、前記複数の鳥瞰図画像の内の、１つの鳥瞰図画像内の前記立体物反映領域の画像を採用することを特徴とする。
【発明の効果】
【００２３】
本発明によれば、複数の鳥瞰図画像を合成して表示する際の、立体物の消失及び二重像の表示の各問題を解決することが可能となる。
【図面の簡単な説明】
【００２４】
【図１】１台のカメラが設置された車両を横から見た平面図であり、１台のカメラによって撮像された撮像画像から鳥瞰図画像を生成する方法を説明するための図である。
【図２】カメラ座標系ＸＹＺと、カメラの撮像面の座標系ＸbuＹbuと、２次元地面座標系Ｘw Ｚw を含む世界座標系Ｘw Ｙw Ｚw と、の関係を表す図である。
【図３】本発明の実施形態に係る、車両を左斜め前方から見た図である。
【図４】本発明の実施形態に係る、車両を左斜め前方から見た図である。
【図５】本発明の実施形態に係る、各鳥瞰図画像を表す図である。
【図６】図５に示す各鳥瞰図画像を全周鳥瞰図画像の座標上に変換した図である。
【図７】図３に示す前カメラと横カメラの撮像画像から生成される各鳥瞰図画像と、それらの共通領域を明示する図である
【図８】本発明の実施形態に係る、視界支援装置の全体構成図である。
【図９】図８の視界支援装置の処理手順を表すフローチャート図である。
【図１０】図７の共通領域における差分画像及び差分領域を表す図である。
【図１１】各カメラから得た画像にとっての差分領域を表す図である。
【図１２】図８の画像処理部によって生成される全周鳥瞰図画像の例を示す図である。
【図１３】本発明の第２実施形態に係る優先カメラの選択手法を説明するための図であり、図７の共通領域を３つの領域に分割した状態を表す図である。
【図１４】本発明の第２実施形態に係る優先カメラの選択手法を説明するための図であり、図７の共通領域に関する、前カメラ用の重み値と左横カメラの用の重み値を示す図である。
【図１５】本発明の第２実施形態に係る優先カメラの選択手法を説明するための図である。
【図１６】本発明の第２実施形態に係る優先カメラの選択手法を説明するための図であり、図１３の各領域に属する画素数を例示する図である。
【図１７】複数のカメラを車両に設置した状況を表す平面図である。
【図１８】図１７の車両を左斜め前方から見た図である。
【図１９】図１７の各カメラより得た撮像画像から生成される全周鳥瞰図画像を示す図である。
【図２０】図１７の車両を左斜め前方から見た図である。
【図２１】図１９の全周鳥瞰図画像を生成する際の従来手法を説明するための図である。
【図２２】図１９の全周鳥瞰図画像を生成する際の従来手法を説明するための図である。
【図２３】従来手法を用いた場合の表示画像の例を表す図である。
【図２４】従来手法を用いた場合の表示画像の他の例を表す図である。
【発明を実施するための形態】
【００２５】
以下、本発明の実施の形態につき、図面を参照して具体的に説明する。参照される各図において、同一の部分には同一の符号を付し、同一の部分に関する重複する説明を原則として省略する。
＜＜第１実施形態＞＞
本発明の第１実施形態について説明する。
［鳥瞰図画像の生成方法］
まず、１台のカメラによって撮像された撮像画像から鳥瞰図画像を生成する方法について説明する。尚、以下の説明において、地面は水平面上にあるものとし、「高さ」は、地面を基準とした高さを表すものとする。
【００２６】
図１に示すように、車両１００の後部に後方斜め下向きにカメラ１が配置されている場合を考える。車両１００は、例えばトラックである。水平面とカメラ１の光軸とのなす角は、図１にθで表される角度と、θ2で表される角度との２種類がある。角度θ2は、一般的には、見下ろし角または俯角と呼ばれている。今、角度θを、水平面に対するカメラ１の傾き角度として捉える。９０°＜θ＜１８０°、が成立する。
【００２７】
図２は、カメラ座標系ＸＹＺと、カメラ１の撮像面Ｓの座標系ＸbuＹbuと、２次元地面座標系Ｘw Ｚw を含む世界座標系Ｘw Ｙw Ｚw との関係を示している。カメラ座標系ＸＹＺは、Ｘ軸、Ｙ軸及びＺ軸を座標軸とする三次元の座標系である。座標系ＸbuＹbuは、Ｘbu軸及びＹbu軸を座標軸とする二次元の座標系である。２次元地面座標系Ｘw Ｚwは、Ｘw軸及びＺw軸を座標軸とする二次元の座標系である。世界座標系Ｘw ＹwＺwは、Ｘw軸、Ｙw軸及びＺw軸を座標軸とする三次元の座標系である。
【００２８】
カメラ座標系ＸＹＺでは、カメラ１の光学中心を原点Ｏとして、光軸方向にＺ軸が、Ｚ軸に直交しかつ地面に平行な方向にＸ軸が、Ｚ軸およびＸ軸に直交する方向にＹ軸がとられている。撮像面Ｓの座標系ＸbuＹbuでは、撮像面Ｓの中心に原点をとり、撮像面Ｓの横方向にＸbu軸が、撮像面Ｓの縦方向にＹbu軸がとられている。
【００２９】
世界座標系Ｘw Ｙw Ｚw では、カメラ座標系ＸＹＺの原点Ｏを通る鉛直線と地面との交点を原点Ｏw とし、地面と垂直な方向にＹw 軸が、カメラ座標系ＸＹＺのＸ軸と平行な方向にＸw 軸が、Ｘw 軸およびＹw 軸に直交する方向にＺw 軸がとられている。
【００３０】
Ｘw 軸とＸ軸との間の平行移動量はｈであり、その平行移動の方向は鉛直線方向である。そして、Ｚw 軸とＺ軸との成す鈍角の角度は、傾き角度θと一致する。
【００３１】
カメラ座標系ＸＹＺにおける座標を（ｘ，ｙ，ｚ）と表記する。ｘ、ｙ及びｚは、夫々、カメラ座標系ＸＹＺにおける、Ｘ軸成分、Ｙ軸成分及びＺ軸成分である。
【００３２】
世界座標系系Ｘw Ｙw Ｚwにおける座標を（ｘw ，ｙw ，ｚw ）と表記する。ｘw 、ｙw
及びｚwは、夫々、世界座標系系Ｘw Ｙw Ｚwにおける、Ｘw軸成分、Ｙw軸成分及びＺw軸成分である。
【００３３】
二次元地面座標系Ｘw Ｚw における座標を（ｘw ，ｚw ）と表記する。ｘw及びｚwは、夫々、二次元地面座標系Ｘw Ｚwにおける、ＸW軸成分及びＺW軸成分であり、それらは世界座標系系Ｘw Ｙw ＺwにおけるＸW軸成分及びＺW軸成分と一致する。
【００３４】
撮像面Ｓの座標系ＸbuＹbuにおける座標を（ｘbu，ｙbu）と表記する。ｘbu及びｙbuは、夫々、撮像面Ｓの座標系ＸbuＹbuにおける、Ｘbu軸成分及びＹbu軸成分である。
【００３５】
カメラ座標系ＸＹＺの座標（ｘ，ｙ，ｚ）と世界座標系Ｘw Ｙw Ｚw の座標（ｘw ，ｙw ，ｚw ）との間の変換式は、次式（１）で表される。
【００３６】
【数１】
【００３７】
ここで、カメラ１の焦点距離をｆとする。そうすると、撮像面Ｓの座標系ＸbuＹbuの座標（ｘbu，ｙbu）と、カメラ座標系ＸＹＺの座標（ｘ，ｙ，ｚ）との間の変換式は、次式（２）で表される。
【００３８】
【数２】
【００３９】
上記式（１）及び（２）から、撮像面Ｓの座標系ＸbuＹbuの座標（ｘbu，ｙbu）と二次元地面座標系Ｘw Ｚw の座標（ｘw ，ｚw ）との間の変換式（３）が得られる。
【００４０】
【数３】
【００４１】
また、図２には示されていないが、鳥瞰図画像についての座標系である鳥瞰図座標系ＸauＹauを定義する。鳥瞰図座標系ＸauＹauは、Ｘau軸及びＹau軸を座標軸とする二次元の座標系である。鳥瞰図座標系ＸauＹauにおける座標を（ｘau，ｙau）と表記する。鳥瞰図画像は、二次元配列された複数の画素の画素信号によって表され、鳥瞰図画像上における各画素の位置は座標（ｘau，ｙau）によって表される。ｘau及びｙauは、それぞれ鳥瞰図座標系ＸauＹauにおけるＸau軸成分及びＹau軸成分である。
【００４２】
鳥瞰図画像は、実際のカメラの撮像画像を仮想カメラの視点（以下、仮想視点という）から見た画像に変換したものである。より具体的には、鳥瞰図画像は、実際のカメラの撮像画像を、地上面を鉛直方向に見下ろした画像に変換したものである。撮像画像から鳥瞰図画像を生成する際の視点の変換は、一般に、視点変換と呼ばれる。
【００４３】
二次元地面座標系Ｘw Ｚw から仮想カメラの鳥瞰図座標系ＸauＹauへの投影は、平行投影によって行われる。仮想カメラの高さ（即ち、仮想視点の高さ）をＨとすると、二次元地面座標系Ｘw Ｚw の座標（ｘw ，ｚw ）と鳥瞰図座標系ＸauＹauの座標（ｘau，ｙau）との間の変換式は、次式（４）で表される。仮想カメラの高さＨは予め設定されている。更に、式（４）を変形することにより、下式（５）が得られる。
【００４４】
【数４】
【００４５】
【数５】
【００４６】
得られた式（５）を上記式（３）に代入すると、次式（６）が得られる。
【００４７】
【数６】
【００４８】
上記式（６）から、撮像面Ｓの座標系ＸbuＹbuの座標（ｘbu，ｙbu）を、鳥瞰図座標系ＸauＹauの座標（ｘau，ｙau）に変換するための次式（７）が得られる。
【００４９】
【数７】
【００５０】
撮像面Ｓの座標系ＸbuＹbuの座標（ｘbu，ｙbu）は、カメラ１の撮像画像における座標を表すため、上記式（７）を用いることによってカメラ１の撮像画像は鳥瞰図画像に変換される。実際には、カメラ１の撮像画像に対して、適宜、レンズ歪み補正などの画像処理を施し、その画像処理後の撮像画像を上記式（７）を用いて鳥瞰図画像に変換する。
【００５１】
［全周鳥瞰図画像の生成方法の基本的な考え方］
本実施形態において、車両１００へのカメラの設置状況を表す平面図は上述の図１７と同じであるので、重複する図示を割愛する。図３及び図４は、車両１００を左斜め前方から見た図である。
【００５２】
図１７に示す如く、車両１００の前部、後部、左側部及び右側部に、夫々、カメラ（撮像装置）１Ｆ、１Ｂ、１Ｌ及び１Ｒが取り付けられている。以下の説明において、カメラ１Ｆ、１Ｂ、１Ｌ及び１Ｒを、夫々、前カメラ１Ｆ、後カメラ１Ｂ、左横カメラ１Ｌ及び右横カメラ１Ｒと呼ぶこともある。
【００５３】
また、図３及び図４に示す如く、カメラ１Ｆは、例えば車両１００のフロントミラー上部に設置され、カメラ１Ｌは、例えば車両１００の左側面の最上部に設置される。図３及び図４には示されていないが、カメラ１Ｂは、例えば車両１００の後部の最上部に設置され、カメラ１Ｒは、例えば車両１００の右側面の最上部に設置される。
【００５４】
カメラ１Ｆの光軸が車両１００の前方斜め下向きになるように、且つ、カメラ１Ｂの光軸が車両１００の後方斜め下向きになるように、且つ、カメラ１Ｌの光軸が車両１００の左方斜め下向きになるように、且つ、カメラ１Ｒの光軸が車両１００の右方斜め下向きになるように、カメラ１Ｆ、１Ｂ、１Ｌ及び１Ｒは車両１００に設置される。
【００５５】
カメラ１Ｌ及び１Ｒの高さは、カメラ１Ｆの高さよりも高いものとする。また、車両１００は、地面上に位置するものとする。
【００５６】
図３及び図４には、各カメラの視野、即ち、各カメラの撮像領域が示されている。各カメラは、自身の視野内の被写体を撮像した撮像画像を生成する。カメラ１Ｆ、１Ｂ、１Ｌ及び１Ｒの視野を、夫々、１２Ｆ、１２Ｂ、１２Ｌ及び１２Ｒにて表す。尚、視野１２Ｒ及び１２Ｂに関しては、図３及び図４において一部しか示されていない。
【００５７】
カメラ１Ｆの視野１２Ｆには、カメラ１Ｆの設置位置を基準とした、車両１００の前方の所定範囲内に位置する立体物及び車両１００の前方の地面が含まれる。
【００５８】
カメラ１Ｂの視野１２Ｂには、カメラ１Ｂの設置位置を基準とした、車両１００の後方の所定範囲内に位置する立体物及び車両１００の後方の地面が含まれる。
【００５９】
カメラ１Ｌの視野１２Ｌには、カメラ１Ｌの設置位置を基準とした、車両１００の左方の所定範囲内に位置する立体物及び車両１００の左方の地面が含まれる。
【００６０】
カメラ１Ｒの視野１２Ｒには、カメラ１Ｌの設置位置を基準とした、車両１００の右方の所定範囲内に位置する立体物及び車両１００の右方の地面が含まれる。
【００６１】
このように、各カメラの視点は異なり、各カメラの視野（画角）内に収まる被写体は異なる。また、立体物とは、人物などの高さのある物体である。地面を形成する路面などは、高さがないため立体物ではない。
【００６２】
カメラ１Ｆと１Ｌは、車両１００の左斜め前方の所定領域を共通して撮像する。つまり、車両１００の左斜め前方の所定領域にて視野１２Ｆ及び１２Ｌは重なり合う。この重なり合う部分を、共通視野（共通撮像空間）と呼ぶこととする。
【００６３】
同様に、車両１００の右斜め前方の所定領域にて視野１２Ｆと１２Ｒは重なり合ってそれらの共通視野が形成され、車両１００の左斜め後方の所定領域にて視野１２Ｂと１２Ｌは重なり合ってそれらの共通視野が形成され、車両１００の右斜め後方の所定領域にて視野１２Ｂと１２Ｒは重なり合ってそれらの共通視野が形成される。
【００６４】
視野１２Ｆと１２Ｌとの間の共通視野を特に共通視野１３と呼び、この共通視野１３に着目して以下の説明を行うものとする。共通視野１３以外の共通視野に関しても同様の処理が行われる。
【００６５】
図４には、共通視野１３が太線を用いて示されている。共通視野１３は、車両１００の左斜め前方の地面を底面とする円錐に類似した空間となっている。図４に示す如く、この共通視野１３内に立体物１４が存在するものとする。
【００６６】
本実施形態では、図５に示す如く、カメラ１Ｆ、１Ｂ、１Ｌ及び１Ｒから得られる撮像画像から、夫々、上記式（７）を用いて鳥瞰図画像１０Ｆ、１０Ｂ、１０Ｌ及び１０Ｒを生成する。次に、カメラ１Ｂに対応する鳥瞰図画像１０Ｂを基準として、他の３つの鳥瞰図画像１０Ｆ、１０Ｌ及び１０Ｒを回転及び／又は平行移動することにより、それら（１０Ｆ、１０Ｌ及び１０Ｒ）を鳥瞰図画像１０Ｂにおける座標に変換する。これにより、各鳥瞰図画像の座標が、全周鳥瞰図画像における座標に変換される。以下、全周鳥瞰図画像における座標を、「全周鳥瞰図座標」とよぶ。
【００６７】
図６に、全周鳥瞰図座標上に表された鳥瞰図画像１０Ｆ、１０Ｂ、１０Ｌ及び１０Ｒを示す。全周鳥瞰図座標で考えた場合、図６に示す如く、２つの鳥瞰図画像が重なり合う部分が存在する。
【００６８】
図６において、ＣFLの符号が付された斜線領域が、全周鳥瞰図座標上において鳥瞰図画像１０Ｆと１０Ｌが重なり合う部分であり、これを共通領域ＣFLと呼ぶ。鳥瞰図画像１０Ｆにおいて、共通領域ＣFLにはカメラ１Ｆから見た共通視野１３（図４参照）内の被写体の画像が現れ、鳥瞰図画像１０Ｌおいて、共通領域ＣFLにはカメラ１Ｌから見た共通視野１３内の被写体の画像が現れる。尚、共通領域は、複数の鳥瞰図画像が重複する重複領域と呼ぶこともできる。
【００６９】
共通領域ＣFL以外に、鳥瞰図画像１０Ｆと１０Ｒが重なり合う共通領域ＣFRと、鳥瞰図画像１０Ｂと１０Ｌが重なり合う共通領域ＣBLと、鳥瞰図画像１０Ｂと１０Ｒが重なり合う共通領域ＣBRとがあるが、特に、共通視野１３に対応する共通領域ＣFLに着目して本実施形態の説明を行うこととする。
【００７０】
尚、図５及び図６において、ＸＦ軸及びＹＦ軸は、鳥瞰図画像１０Ｆの座標系の座標軸であり、それらは、Ｘau軸及びＹau軸に対応する。同様に、ＸＲ軸及びＹＲ軸は、鳥瞰図画像１０Ｒの座標系の座標軸であり、それらは、Ｘau軸及びＹau軸に対応する。同様に、ＸＬ軸及びＹＬ軸は、鳥瞰図画像１０Ｌの座標系の座標軸であり、それらは、Ｘau軸及びＹau軸に対応する。同様に、ＸＢ軸及びＹＢ軸は、鳥瞰図画像１０Ｂの座標系の座標軸であり、それらは、Ｘau軸及びＹau軸に対応する。
【００７１】
また、図６では、図示の簡略化上、共通領域ＣFLを矩形としているが、実際には共通領域ＣFLは矩形とはならない。また、各鳥瞰図画像も矩形になるとは限らない。図７に、各鳥瞰図画像が現れる領域及び共通領域ＣFLを、より具体的に示す。図７（ａ）及び（ｂ）は、夫々、全周鳥瞰図座標における鳥瞰図画像１０Ｌ及び１０Ｆを表し、図７（ｃ）では、それらの共通領域ＣFLが斜線領域にて示されている。但し、図７（ａ）及び（ｃ）において、車両の後部よりの画像の図示を省略している。この共通領域ＣFLにおいて、２つの鳥瞰図画像を如何に合成するかが本実施形態の特徴である。
【００７２】
［全周鳥瞰図画像の具体的な生成方法］
図８に、本実施形態に係る視界支援装置（車両周辺視界支援装置）の全体構成図を示す。本実施形態に係る視界支援装置は、上述の如く車両１００に取り付けられるカメラ１Ｆ、１Ｂ、１Ｌ及び１Ｒと、それらの各カメラにて得られる撮像画像から全周鳥瞰図画像を生成する画像処理部２と、画像処理部２によって生成された全周鳥瞰図画像を表示する表示部３と、を備える。全周鳥瞰図画像は、基本的には、図１９に示すものと同様である。但し、本実施形態では、上述の共通領域における合成手法に特徴がある。
【００７３】
カメラ１Ｆ、１Ｂ、１Ｌ及び１Ｒとして、例えばＣＣＤ（Charge Coupled Devices）を用いたカメラや、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセン
サを用いたカメラが用いられる。画像処理部２は、例えば集積回路から形成される。表示部３は、液晶ディスプレイパネル等から形成される。カーナビゲーションシステムなどに含まれる表示装置を、視界支援装置における表示部３として流用しても良い。
【００７４】
図９に、図８の視界支援装置の処理手順を表すフローチャートを示す。図９に示すステップＳ２〜Ｓ５の処理は画像処理部２によって実施され、ステップＳ１の処理は各カメラと画像処理部２によって実施され、ステップＳ６の処理は画像処理部２と表示部３によって実施される。
【００７５】
まず、画像処理部２は、各カメラ１Ｆ、１Ｂ、１Ｌ、１Ｒの撮像画像を読み込む（ステップＳ１）。次に、各撮像画像を、変換テーブルデータなどを用いて鳥瞰図画像に変換する（ステップＳ２）。これによって、上述の鳥瞰図画像１０Ｆ、１０Ｂ、１０Ｌ及び１０Ｒが生成される。変換テーブルデータは、上記式（７）に従って予め設定される。尚、この際、各撮像画像にレンズ歪み補正などの必要な画像処理を施してから、鳥瞰図画像に変換するようにしてもよい。
【００７６】
続いて、ステップＳ３において、２つの鳥瞰図画像間の共通領域での差分画像を生成し、該差分画像を基に、２つの鳥瞰図画像間の共通領域における差分領域を検出する。図６を参照して説明したように共通領域は４つ存在するが、共通領域ＣFLに特に着目して説明を行うものとする。他の共通領域についても同様の処理が施される。
【００７７】
共通領域ＣFLに関する差分画像及び差分領域について説明する。上述したように、共通領域ＣFLに対応する共通視野１３に、立体物１４が存在するものとする（図４参照）。
【００７８】
図１０を参照する。図１０において、符号１１１は、左横カメラ１Ｌに対応する鳥瞰図画像１０Ｌ内の共通領域ＣFLの画像を表し、符号１１２は、前カメラ１Ｆに対応する鳥瞰図画像１０Ｆ内の共通領域ＣFLの画像を表す。画像１１１内の斜線が付された領域１２１は、画像１１１における立体物１４の描画領域であり、画像１１２内の斜線が付された領域１２２は、画像１１２における立体物１４の描画領域である。今、説明の簡略化上、画像１１１において、領域１２１以外は一様な地面（路面など）が描画されているものとし、画像１１２において、領域１２２以外は一様な地面（路面など）が描画されているものとする。
【００７９】
ステップＳ３において、画像処理部２は、画像１１１と画像１１２の差分をとることにより、差分画像１１３を生成する。例えば、画像１１１及び１１２を濃淡画像として捉え、画像１１１と画像１１２の差分画像１１３を濃淡画像として生成する。差分画像１１３の各画素の画素値（画素信号の値）は、画像１１１の各画素の画素値と画像１１２の各画素の画素値の差（或いは差の絶対値）にて表される。そして、差分画像１１３から差分領域１２３を特定する。図１０において、差分領域１２３は、差分画像１１３内の、斜線が付された領域である。例えば、差分画像１１３において、差分画像１１３を形成する画素の画素信号の値が所定の閾値以上となっている領域を差分領域１２３とする。画素信号とは、画素の輝度を表す輝度信号、または、画素の色を表す色信号（色差信号など）である。
【００８０】
差分領域１２３は、画像１１１において立体物１４が描画されている領域１２１と、画像１１２において立体物１４が描画されている領域１２２と、の合成領域（立体物反映領域）となる。鳥瞰図画像への変換の際、各鳥瞰図画像が地表面において連続性を有するように所定の変換が行われるため、差分画像１１３では、立体物の存在に関与する領域にのみ或る程度の大きさを有する差分値が得られる。このため、上述の処理によって差分領域１２３を検出することが可能である。また、差分画像１１３において、エッジ検出を行って差分領域１２３を囲む輪郭を検出し、検出された輪郭の内側を差分領域１２３として特定するようにしても良い。また、画像１１１の画像１１２の夫々において個別にエッジ検出を行って、画像１１１と画像１１２の間におけるエッジ検出結果（エッジの有無）の相違を抽出し、相違のある画像部分から差分領域１２３を検出するようにしてもよい。
【００８１】
鳥瞰図画像１０Ｌ及び１０Ｆの夫々における、差分領域１２３について考察する。図１１（ａ）に示す如く、左横カメラ１Ｌに対応する鳥瞰図画像１０Ｌにとって、差分領域１２３は、左横カメラ１Ｌの撮像による立体物１４の描画領域（即ち、領域１２１）と、前カメラ１Ｆから見た場合に立体物１４によって遮蔽される遮蔽領域１２１ａと、から形成される。鳥瞰図画像１０Ｌにおいて、この遮蔽領域１２１ａには地面が現れる。一方、図１１（ｂ）に示す如く、前カメラ１Ｆに対応する鳥瞰図画像１０Ｆにとって、差分領域１２３は、前カメラ１Ｆの撮像による立体物１４の描画領域（即ち、領域１２２）と、左横カメラ１Ｌから見た場合に立体物１４によって遮蔽される遮蔽領域１２２ａと、から形成される。鳥瞰図画像１０Ｆにおいて、この遮蔽領域１２２ａには地面が現れる。
【００８２】
これらの特性を考慮し、鳥瞰図画像１０Ｌと１０Ｆを合成する際、差分領域１２３に関しては、鳥瞰図画像１０Ｌと１０Ｆの何れか一方における画像を採用するようにする（処理の具体例は後述)。これにより、立体物１４を消失させることなく適切に表示すること
が可能となる。
【００８３】
ステップＳ３に続くステップＳ４では、差分領域（差分領域１２３など）の画像として採用されるべき画像を含む鳥瞰図画像を提供する優先カメラが選択される。差分領域１２３に関しては、前カメラ１Ｆと左横カメラ１Ｌの何れか一方が優先カメラとして選択される。例えば、差分領域１２３に関し、より設置位置の高い左横カメラ１Ｌを優先カメラとして選択する。より設置位置の高い左横カメラ１Ｌの方がより高い視点から立体物を見ているため、立体物の全体像を比較的捉えやすいからである。他の差分領域に関しても同様にして優先カメラが選択される。設置位置の高さに基づいて優先カメラを選択する場合、何れのカメラが優先カメラとして選択されるかは、各カメラの高さに応じて事前に定められる。他にも、様々な優先カメラの選択手法が考えられるが、他の選択手法については後に第２実施形態として説明する。
【００８４】
ステップＳ４に続くステップＳ５において、画像処理部２は、ステップＳ３とＳ４の処理結果を参照しつつ、全周鳥瞰図画像を生成する。つまり、図５及び図６等を参照して説明したように各鳥瞰図画像から全周鳥瞰図画像を合成するのであるが、共通領域内の差分領域に関しては、優先カメラの撮像画像に基づく差分領域の画像を採用する。例えば、共通領域ＣFLに関し、ステップＳ３において差分領域１２３が検出され且つステップＳ４において左横カメラ１Ｌが優先カメラとして選択された場合は、全周鳥瞰図画像内の差分領域１２３の画像として、鳥瞰図画像１０Ｌ内の差分領域１２３の画像（即ち、図１１（ａ）の領域１２１と１２１ａとを併せた領域の画像）を採用する。
【００８５】
共通領域ＣFL内の、差分領域１２３を除く領域に関しては、鳥瞰図画像１０Ｆと１０Ｌにおける各画素信号を平均化することによって、全周鳥瞰図画像における該領域（共通領域ＣFL内の、差分領域１２３を除く領域）の画像を生成する。この平均化により、連続的な画像を合成することができる。しかし、差分領域１２３でない領域には立体物が描画されていないため（換言すれば、両鳥瞰図画像間で差がないため）、鳥瞰図画像１０Ｆと１０Ｌの何れか一方のみを用いて合成処理を行うようにしてもよい。つまり、共通領域ＣFL内の、差分領域１２３を除く領域に関しては、鳥瞰図画像１０Ｆと１０Ｌの何れか一方の画像を、そのまま、全周鳥瞰図画像における該領域（共通領域ＣFL内の、差分領域１２３を除く領域）の画像として採用するようにしてもよい。共通領域ＣFLに着目してステップＳ５の処理を説明したが、他の共通領域についても同様に処理される。
【００８６】
図１２に、得られた全周鳥瞰図画像の例を示す。今の例の場合、差分領域１２３に関して左横カメラ１Ｌが優先カメラとなっているので、全周鳥瞰図画像には立体物の全体像が現れている。全周鳥瞰図画像内の共通領域以外の画像に関しては、図６に示すように鳥瞰図画像１０Ｆ、１０Ｂ、１０Ｌ及び１０Ｒが配置される。即ち、全周鳥瞰図画像上において、車両の描画領域の前方、後方、左方及び右方に、夫々、鳥瞰図画像１０Ｆ、１０Ｂ、１０Ｌ及び１０Ｒに基づく画像が描画される。
【００８７】
ステップＳ５に続くステップＳ６において、画像処理部２は、ステップＳ５で生成した全周鳥瞰図画像が表示部３に表示されるように必要な映像信号を生成して表示部３に出力する。これにより、図１２に示されるような全周鳥瞰図画像が表示部３に表示される。ステップＳ６を終えるとステップＳ１に戻り、全周鳥瞰図画像を周期的に最新の画像に更新するべくステップＳ１〜Ｓ６の処理が繰り返される。
【００８８】
本実施例の如く合成処理を行えば立体物が表示画面から消失してしまうといった問題が回避されると共に、立体物を二重像とならずに表すことが可能である。また、立体物が表示される領域以外に関しても、連続的な画像が合成され、車両周辺の状況把握に適した映像を表示することが可能となる。
＜＜第２実施形態＞＞
図９のステップＳ４にて実施される優先カメラの選択手法の他の例を、第２実施形態として説明する。第２実施形態は、優先カメラの選択手法が第１実施形態のそれと異なるだけで、他の点については第１実施形態と同じである。
【００８９】
優先カメラの選択手法の他の例として、第１、第２、第３選択手法を例示する。共通領域ＣFL内の差分領域１２３に着目して、第１〜第３選択手法の説明を行うものとする。勿論、他の差分領域に関しても同様に優先カメラが選択される。第１〜第３選択手法は、矛盾なき限り、任意に組み合わせることが可能である。
［第１選択手法］
第１選択手法について説明する。第１選択手法では、立体物１４と各カメラとの距離が参照される。画像上における差分領域１２３の位置が分かれば、実空間における、立体物１４と前カメラ１Ｆとの距離及び立体物１４と左横カメラ１Ｌとの距離を特定できる。両距離を比較し、距離が短い方のカメラを優先カメラとして選択する。他の条件が同じであれば、距離が短い方のカメラの方が立体物１４をより的確に捉えることができる、と考えられるからである。
［第２選択手法］
第２選択手法について説明する。第２選択手法では、車両１００の進行方向が参照される。進行方向に関する情報は、該情報を検出するための部位（該部位は、例えば車両１００に備えられる）から画像処理部２に与えられる。
【００９０】
例えば、差分領域１２３に関し、車両１００が左折している時には左横カメラ１Ｌを優先カメラとして選択し、車両１００が前進している時には前カメラ１Ｆを優先カメラとして選択する。左折時には、車両１００の左側の映像の必要性は比較的大きい一方で車両１００の前方の映像の必要性は比較的小さい。前進時には、車両１００の左側の映像の必要性は比較的小さい一方で車両１００の前方の映像の必要性は比較的大きい。これを考慮して、上述のように優先カメラを選択する。これにより、車両１００の進行方向をも考慮した適切な映像を表示することが可能となる。
【００９１】
尚、左折と前進に関して例示したが、右折や後退などの運転状態に応じても同様の考え方で優先カメラは選択される。
［第３選択手法］
第３選択手法について説明する。第３選択手法では、共通領域ＣFL内における差分領域１２３の位置に基づいて、優先カメラが選択される。
【００９２】
第３選択手法では、カメラごとに設定された重み値テーブルデータが参照される。共通領域ＣFLに関しては、前カメラ１Ｆに対応する重み値テーブルデータと、左横カメラ１Ｌに対応する重み値テーブルデータが、予め設定されている。
【００９３】
各重み値テーブルデータには、共通領域ＣFLの画像の各画素位置に対応する重み値が定義されている。例えば、共通領域ＣFLを、図１３に示す如く、３つの領域ＡＲ１、ＡＲ２及びＡＲ３に分割する。そして、領域ＡＲ１に属する画素の重み値と、領域ＡＲ２に属する画素の重み値と、領域ＡＲ３に属する画素の重み値と、が各重み値テーブルデータに格納される。
【００９４】
共通領域ＣFLの画像の画素位置との関係で定まる重み値は、異なる重み値テーブルデータ間で異なるように設定されている。図１４に、前カメラ１Ｆに対応する重み値及び左横カメラ１Ｌに対応する重み値の設定例を示す。例えば、前カメラ１Ｆに対応する重み値テーブルデータにおいて、領域ＡＲ１に属する画素の重み値ＷF1は１とされ、領域ＡＲ２に属する画素の重み値ＷF2は２とされ、領域ＡＲ３に属する画素の重み値ＷF3は３とされる。一方、左横カメラ１Ｌに対応する重み値テーブルデータにおいて、領域ＡＲ１に属する画素の重み値ＷL1は２とされ、領域ＡＲ２に属する画素の重み値ＷL2は３とされ、領域ＡＲ３に属する画素の重み値ＷL3は２とされる。
【００９５】
そして、カメラごと（換言すれば、鳥瞰図画像ごと）に、差分領域１２３に属する画素に対応する重み値を合算し、その合算値を重み評価値とする。説明の便宜上、図１５に示す如く、差分領域１２３を、領域１２１（図１０参照）に対応する一部差分領域１２３ａと領域１２２に対応する一部差分領域１２３ｂとに分解して考える。
【００９６】
図１６に、各領域ＡＲ１〜ＡＲ３に属する、一部差分領域１２３ａ内の画素数及び一部差分領域１２３ｂ内の画素数を示す。今、領域ＡＲ１、ＡＲ２及びＡＲ３に属する、一部差分領域１２３ａ内の画素数が、夫々１５、１８及び２であるとし、領域ＡＲ１、ＡＲ２及びＡＲ３に属する、一部差分領域１２３ｂ内の画素数が、夫々１２、５及び０であるとする。
【００９７】
この場合、前カメラ１Ｆに関する重み評価値は、
「ＷF1×（１５＋１２）＋ＷF2×（１８＋５）＋ＷF3×（２＋０）」にて表され、
上述の如く“ＷF1＝１、ＷF2＝２、ＷF3＝３”とした場合、「１×（１５＋１２）＋２×（１８＋５）＋３×（２＋０）＝７９」となる。
【００９８】
一方、左横カメラ１Ｌに関する重み評価値は、
「ＷL1×（１５＋１２）＋ＷL2×（１８＋５）＋ＷL3×（２＋０）」にて表され、
上述の如く“ＷL1＝２、ＷL2＝３、ＷL3＝２”とした場合、「２×（１５＋１２）＋３×（１８＋５）＋２×（２＋０）＝１２７」となる。
【００９９】
そして、算出された両重み評価値の内、大きい方の重み評価値に対応するカメラを優先カメラとして選択する。今の例の場合、７９＜１２７であるため、左横カメラ１Ｌを優先カメラとして選択する。
【０１００】
前カメラ１Ｆは、自身に近い位置の立体物を的確に捉えることができる一方で設置位置が低いことに起因して自身から離れた位置の立体物の全体像を捉えにくい。他方、左横カメラ１Ｌは、立体物をより高い位置から見ることにより立体物の全体像を捉えやすいものの、立体物が前カメラ１Ｆに近い位置にある場合は、その立体物の全体像を捉え難くなる。
【０１０１】
これらを考慮し、前カメラ１Ｆに比較的近い位置に立体物が存在する場合に前カメラ１Ｆが優先カメラとして選択されやすいように、図１４に示す如く、前カメラ１Ｆに近い領域において、前カメラ１Ｆ用の重み値を比較的大きく設定する。一方、前カメラ１Ｆから離れた位置に立体物が存在する場合に左横カメラ１Ｌが優先カメラとして選択されやすいように、前カメラ１Ｆから離れた領域において、左横カメラ１Ｌ用の重み値を比較的大きく設定する。
【０１０２】
このように、重み値を各カメラの設置位置などに応じて設定することにより、立体物の全体像が表示されやすくなる。第３選択手法を採用した場合、共通領域内における差分領域の位置及び形状が異なれば、選択される優先カメラは異なりうる。また、差分領域の形状が同じであっても、共通領域内における差分領域の位置が異なれば、選択される優先カメラは異なりうる。つまり、第３選択手法では、共通領域内における差分領域の位置に応じて（換言すれば、車両１００との関係における立体物の位置に応じて）、優先カメラを選択する。この選択手法を採用することの利点は上述の説明から理解される。
【０１０３】
上述の視界支援装置は、本発明の実施形態の例に過ぎず、本発明は、様々な変形例（又は実施例）を含む。以下に、本発明に関する変形例（又は実施例）として、変形例１〜変形例４を例示する。各変形例に記載した内容は、矛盾なき限り、任意に組み合わせることが可能である。
［変形例１］
上述した説明文中に示した具体的な数値は、単なる例示であって、当然の如く、それらを様々な数値に変更することができる。
［変形例２］
また、図８の画像処理部２は、ハードウェア、ソフトウェア、またはハードウェアとソフトウェアの組み合わせによって実現可能である。画像処理部２にて実現される機能の全部または一部を、プログラムとして記述し、該プログラムをコンピュータ上で実行することによって、その機能の全部または一部を実現するようにしてもよい。
［変形例３］
画像処理部２は、各カメラの撮像画像の夫々を、視点変換によって鳥瞰図画像に変換する視点変換手段と、その変換によって得られた各鳥瞰図画像を合成することにより合成鳥瞰図画像を生成する画像合成手段と、を備えている。合成鳥瞰図画像として、上述の実施形態では全周鳥瞰図画像を例示している。
［変形例４］
上述の実施形態では、車両１００としてトラックを例示しているが、本発明は、車両の種類を問わず、普通乗用車などに対しても適用可能である。
【０１０４】
更に、複数のカメラ（例えば、上述のカメラ１Ｆ、１Ｂ、１Ｌ及び１Ｒ）を車両以外に設置することも可能である。つまり、本発明は、建物などに設置される監視システムに対しても、適用可能である。この種の監視システムにおいても、上述の実施形態と同様、複数のカメラ間に共通視野が存在して、異なる鳥瞰図画像間で共通領域（ＣFLなど）が存在するものとする。各鳥瞰図画像を合成して合成鳥瞰図画像を形成するに際、上述の各実施形態と同様の手法にて共通領域の画像を合成するようにするとよい。
【符号の説明】
【０１０５】
１、１Ｆ、１Ｂ、１Ｌ、１Ｒ カメラ
２ 画像処理部
３ 表示部
１０Ｆ、１０Ｂ、１０Ｌ、１０Ｒ 鳥瞰図画像
１２Ｆ、１２Ｂ、１２Ｌ、１２Ｒ 視野
１３ 共通視野
１４ 立体物
ＣFL 共通領域
１００ 車両
１１３ 差分画像
１２３ 差分領域
【技術分野】
【０００１】
本発明は、視界支援装置及び視界支援方法に関する。本発明は、特に、車両に設置された複数のカメラの撮像画像から鳥瞰図画像を生成し、各鳥瞰図画像を合成する技術に関する。また本発明は、視界支援装置に用いられる画像処理装置に関する。
【背景技術】
【０００２】
自動車などの運転者にとって、バックするときには死角が生じるため後方確認が難しくなる。そこで、運転者の死角となりやすい車両の後方を監視する車載カメラを装備し、その撮像画像をカーナビゲーション等の画面に表示するシステムが既に開発されている。
【０００３】
また、カメラの映像を単に表示するのではなく、画像処理技術を利用して、より人間に優しい映像を見せる研究がなされている。その１つに、撮影した画像を座標変換することにより、地面の上方から眺めたような鳥瞰図画像を生成して表示するものがある。この鳥瞰図画像を表示することによって、運転者は車両後方の状況を把握し易くなる。
【０００４】
更に、複数のカメラから得た画像を幾何変換によって全周鳥瞰図画像に変換し、これを表示部に表示させる視界支援装置が開発されている（例えば、下記特許文献１及び２参照）。この視界支援装置では、車両全周の状況を上空から見た映像として運転者に提示することができるため、車両の周辺を３６０度死角なくカバーできるという長所がある。
【０００５】
この種の視界支援装置の従来例について説明する。図１７は、車両１００へのカメラの設置状況を表す、車両１００を上方から見た平面図である。図１８は、車両１００を左斜め前方から見た図である。図１８では、各カメラの視野（撮像領域）が模式的に表されている。車両１００は、運転室と運転室より高さのある荷室とから形成されるトラックである。
【０００６】
図１７に示す如く、車両１００の前部、後部、左側部及び右側部に、夫々、カメラ（撮像装置）１Ｆ、１Ｂ、１Ｌ及び１Ｒが取り付けられている。カメラ１Ｆ、１Ｂ、１Ｌ及び１Ｒは、夫々、前カメラ、後カメラ、左横カメラ及び右横カメラに対応する。
【０００７】
視界支援装置では、各カメラより得た撮像画像から鳥瞰図画像を生成し、各鳥瞰図画像を合成することにより、図１９に示すような全周鳥瞰図画像を表示装置に表示する。表示装置の表示画面上において、車両が中央に表示され、その車両の前方、後方、左側及び右側に、夫々、カメラ１Ｆ、１Ｂ、１Ｌ及び１Ｒから得た鳥瞰図画像が表示される。
【０００８】
ところで、各カメラの視野（撮像領域）には、図１８に示すように重なり合う部分が存在する。例えば、車両１００の左斜め前方の所定領域にて、カメラ１Ｆの視野とカメラ１Ｌの視野は重なり合う。この重なり合う部分は、図１９の符号１０１が付された領域に対応する。通常、領域１０１には、カメラ１Ｆの撮像画像に基づく映像若しくはカメラ１Ｌの撮像画像に基づく映像又はそれらの平均化映像などが表示される。
【０００９】
この種の視界支援装置では、地表面で画像が連続性を持つように合成処理を行うため、地表面に描かれた駐車区画の線、標識、文字などは特に問題なく表示される。これは、図１９の領域１０１でも同様である。しかし、地表面に置かれた立体物は、カメラの視点によって見え方が異なるため、それを全周鳥瞰図画像で正確且つ連続的に描写することは、原理的に困難である。
【００１０】
例えば、図２０に示す如く、カメラ１Ｆの視野とカメラ１Ｌの視野が重なり合う部分（空間）に立体物１０２としての人物が存在していた場合を考える。この場合、カメラ１Ｆにて立体物１０２を撮像した画像から鳥瞰図画像を生成した場合、図２１に示す如く、この鳥瞰図画像上で立体物１０２は左方向に倒れた画像となって表れる。一方、カメラ１Ｌにて立体物１０２を撮像した画像から鳥瞰図画像を生成した場合、図２２に示す如く、この鳥瞰図画像上で立体物１０２は前方に倒れた画像となって表れる。
【００１１】
カメラ１Ｆから得た鳥瞰図画像とカメラ１Ｌから得た鳥瞰図画像を合成する際、図２１及び図２２に示すような合成境界１０３を定めて、両鳥瞰図画像を合成境界１０３にて単純に貼り合わせた場合、その合成によって得られる全周鳥瞰図画像において、立体物１０２が消失してしまうという問題がある。
【００１２】
この問題を解決するために、カメラ１Ｆから得た鳥瞰図画像とカメラ１Ｌから得た鳥瞰図画像とが重なる共通領域の画像を、両鳥瞰図画像を平均化することによって生成する、という手法が考えられる。しかしながら、このような平均化を採用すると、全周鳥瞰図画像において立体物が二重像として現れてしまう。また、二重像の各像は背景画像と平均化されるため、立体物と背景の色によっては、立体物が非常に見えにくくなってしまう。
【００１３】
また、下記特許文献１に記載の方法では、共通領域の画像としてカメラ１Ｆから得られた鳥瞰図画像のみを採用した全周鳥瞰図画像と、共通領域の画像としてカメラ１Ｌから得られた鳥瞰図画像のみを採用した全周鳥瞰図画像と、を別個に生成し、これら２種類の全周鳥瞰図画像を左右に並べて同時に表示する。この場合の表示画像は、図２３の表示画像２００のようになる。しかしながら、この方法では、運転者が確認すべき画像が複数枚、同時に表示されるため、混乱が生じて逆に安全性が損なわれる可能性もある。
【００１４】
また、共通領域の画像としてカメラ１Ｆから得られた鳥瞰図画像を採用するか或いはカメラ１Ｌから得られた鳥瞰図画像を採用するかを、手動によって或いは運転操作によって切替えるという方法も考えられる。この場合、図２４に示す、表示画像２０１と表示画像２０２が切替えて表示されることになる。しかしながら、手動による切り替えは煩雑であり、また、運転操作のみに基づいて生成した映像が立体物を把握しやすい映像になるとは限らない。更に、手動や運転操作に基づく切り替えは、合成境界を共通領域の端に移動させることと等価であるため、境界の付近で立体物の表示が消失してしまう可能性が残る。つまり、単純な切り替えで、立体物の消失の問題を回避することは困難である。
【特許文献１】特開２００２−１２５２２４号公報
【特許文献２】特開２００４−２３５９８６号公報
【発明の概要】
【発明が解決しようとする課題】
【００１５】
そこで本発明は、上記のような立体物の消失及び二重像の表示の各問題を解決する視界支援装置及び視界支援方法を提供することを目的とする。また、本発明は、それらに用いられる画像処理装置を提供することを目的とする。
【課題を解決するための手段】
【００１６】
上記目的を達成するために本発明に係る画像処理装置は、ｎ台の撮像装置（ｎは２以上の整数）によって撮像された画像の夫々を仮想視点から見た鳥瞰図画像に変換する視点変換手段と、得られた各鳥瞰図画像を合成して合成鳥瞰図画像を生成する画像合成手段と、を備え、前記合成鳥瞰図画像を表示装置に表示させるための映像信号を生成する画像処理装置において、前記画像合成手段は、複数の撮像装置によって共通して撮像されている共通視野内に高さのある立体物が存在している場合、前記複数の撮像装置から得られる複数の鳥瞰図画像において前記立体物が描画されている各領域の、合成領域に相当する立体物反映領域を検出し、前記合成鳥瞰図画像内の前記立体物反映領域の画像として、前記複数の鳥瞰図画像の内の、１つの鳥瞰図画像内の前記立体物反映領域の画像を採用することを特徴とする。
【００１７】
前記複数の鳥瞰図画像が第１の鳥瞰図画像と第２の鳥瞰図画像から構成される場合、第１の鳥瞰図画像において前記立体物が描画されている領域と、第２の鳥瞰図画像において前記立体物が描画されている領域とを合成した領域を立体物反映領域として検出する。
【００１８】
立体物の描画されている領域を検出して、その領域の画像を合成鳥瞰図画像に適用することにより、合成鳥瞰図画像における立体物の消失の問題は回避されうる。また、前記合成鳥瞰図画像内の前記立体物反映領域の画像として、「前記複数の鳥瞰図画像の内の、１つの鳥瞰図画像」内の前記立体物反映領域の画像を採用することにより、立体物が二重像として表示されるといった問題も回避されうる。
【００１９】
具体的には例えば、前記画像合成手段は、合成の際に前記複数の鳥瞰図画像が重なり合う共通領域の画像を前記複数の鳥瞰図画像間で比較することによって、前記立体物反映領域を検出する。
【００２０】
より具体的には例えば、前記画像合成手段は、合成の際に前記複数の鳥瞰図画像が重なり合う共通領域の画像を前記複数の鳥瞰図画像間で比較することによって、前記共通領域における、前記複数の鳥瞰図画像間の差分領域を特定し、該差分領域を前記立体物反映領域として検出する。
【００２１】
そして、上記画像処理装置と、前記ｎ台の撮像装置、及び、前記表示装置の内の少なくとも一方と、を備えた視界支援装置を構成するとよい。
【００２２】
また、上記目的を達成するために本発明に係る視界支援方法は、ｎ台の撮像装置（ｎは２以上の整数）によって撮像された画像の夫々を仮想視点から見た鳥瞰図画像に変換し、得られた各鳥瞰図画像を合成した合成鳥瞰図画像を表示装置に表示させる視界支援方法において、複数の撮像装置によって共通して撮像されている共通視野内に高さのある立体物が存在している場合、前記複数の撮像装置から得られる複数の鳥瞰図画像において前記立体物が描画されている各領域の、合成領域に相当する立体物反映領域を検出し、前記合成鳥瞰図画像内の前記立体物反映領域の画像として、前記複数の鳥瞰図画像の内の、１つの鳥瞰図画像内の前記立体物反映領域の画像を採用することを特徴とする。
【発明の効果】
【００２３】
本発明によれば、複数の鳥瞰図画像を合成して表示する際の、立体物の消失及び二重像の表示の各問題を解決することが可能となる。
【図面の簡単な説明】
【００２４】
【図１】１台のカメラが設置された車両を横から見た平面図であり、１台のカメラによって撮像された撮像画像から鳥瞰図画像を生成する方法を説明するための図である。
【図２】カメラ座標系ＸＹＺと、カメラの撮像面の座標系ＸbuＹbuと、２次元地面座標系Ｘw Ｚw を含む世界座標系Ｘw Ｙw Ｚw と、の関係を表す図である。
【図３】本発明の実施形態に係る、車両を左斜め前方から見た図である。
【図４】本発明の実施形態に係る、車両を左斜め前方から見た図である。
【図５】本発明の実施形態に係る、各鳥瞰図画像を表す図である。
【図６】図５に示す各鳥瞰図画像を全周鳥瞰図画像の座標上に変換した図である。
【図７】図３に示す前カメラと横カメラの撮像画像から生成される各鳥瞰図画像と、それらの共通領域を明示する図である
【図８】本発明の実施形態に係る、視界支援装置の全体構成図である。
【図９】図８の視界支援装置の処理手順を表すフローチャート図である。
【図１０】図７の共通領域における差分画像及び差分領域を表す図である。
【図１１】各カメラから得た画像にとっての差分領域を表す図である。
【図１２】図８の画像処理部によって生成される全周鳥瞰図画像の例を示す図である。
【図１３】本発明の第２実施形態に係る優先カメラの選択手法を説明するための図であり、図７の共通領域を３つの領域に分割した状態を表す図である。
【図１４】本発明の第２実施形態に係る優先カメラの選択手法を説明するための図であり、図７の共通領域に関する、前カメラ用の重み値と左横カメラの用の重み値を示す図である。
【図１５】本発明の第２実施形態に係る優先カメラの選択手法を説明するための図である。
【図１６】本発明の第２実施形態に係る優先カメラの選択手法を説明するための図であり、図１３の各領域に属する画素数を例示する図である。
【図１７】複数のカメラを車両に設置した状況を表す平面図である。
【図１８】図１７の車両を左斜め前方から見た図である。
【図１９】図１７の各カメラより得た撮像画像から生成される全周鳥瞰図画像を示す図である。
【図２０】図１７の車両を左斜め前方から見た図である。
【図２１】図１９の全周鳥瞰図画像を生成する際の従来手法を説明するための図である。
【図２２】図１９の全周鳥瞰図画像を生成する際の従来手法を説明するための図である。
【図２３】従来手法を用いた場合の表示画像の例を表す図である。
【図２４】従来手法を用いた場合の表示画像の他の例を表す図である。
【発明を実施するための形態】
【００２５】
以下、本発明の実施の形態につき、図面を参照して具体的に説明する。参照される各図において、同一の部分には同一の符号を付し、同一の部分に関する重複する説明を原則として省略する。
＜＜第１実施形態＞＞
本発明の第１実施形態について説明する。
［鳥瞰図画像の生成方法］
まず、１台のカメラによって撮像された撮像画像から鳥瞰図画像を生成する方法について説明する。尚、以下の説明において、地面は水平面上にあるものとし、「高さ」は、地面を基準とした高さを表すものとする。
【００２６】
図１に示すように、車両１００の後部に後方斜め下向きにカメラ１が配置されている場合を考える。車両１００は、例えばトラックである。水平面とカメラ１の光軸とのなす角は、図１にθで表される角度と、θ2で表される角度との２種類がある。角度θ2は、一般的には、見下ろし角または俯角と呼ばれている。今、角度θを、水平面に対するカメラ１の傾き角度として捉える。９０°＜θ＜１８０°、が成立する。
【００２７】
図２は、カメラ座標系ＸＹＺと、カメラ１の撮像面Ｓの座標系ＸbuＹbuと、２次元地面座標系Ｘw Ｚw を含む世界座標系Ｘw Ｙw Ｚw との関係を示している。カメラ座標系ＸＹＺは、Ｘ軸、Ｙ軸及びＺ軸を座標軸とする三次元の座標系である。座標系ＸbuＹbuは、Ｘbu軸及びＹbu軸を座標軸とする二次元の座標系である。２次元地面座標系Ｘw Ｚwは、Ｘw軸及びＺw軸を座標軸とする二次元の座標系である。世界座標系Ｘw ＹwＺwは、Ｘw軸、Ｙw軸及びＺw軸を座標軸とする三次元の座標系である。
【００２８】
カメラ座標系ＸＹＺでは、カメラ１の光学中心を原点Ｏとして、光軸方向にＺ軸が、Ｚ軸に直交しかつ地面に平行な方向にＸ軸が、Ｚ軸およびＸ軸に直交する方向にＹ軸がとられている。撮像面Ｓの座標系ＸbuＹbuでは、撮像面Ｓの中心に原点をとり、撮像面Ｓの横方向にＸbu軸が、撮像面Ｓの縦方向にＹbu軸がとられている。
【００２９】
世界座標系Ｘw Ｙw Ｚw では、カメラ座標系ＸＹＺの原点Ｏを通る鉛直線と地面との交点を原点Ｏw とし、地面と垂直な方向にＹw 軸が、カメラ座標系ＸＹＺのＸ軸と平行な方向にＸw 軸が、Ｘw 軸およびＹw 軸に直交する方向にＺw 軸がとられている。
【００３０】
Ｘw 軸とＸ軸との間の平行移動量はｈであり、その平行移動の方向は鉛直線方向である。そして、Ｚw 軸とＺ軸との成す鈍角の角度は、傾き角度θと一致する。
【００３１】
カメラ座標系ＸＹＺにおける座標を（ｘ，ｙ，ｚ）と表記する。ｘ、ｙ及びｚは、夫々、カメラ座標系ＸＹＺにおける、Ｘ軸成分、Ｙ軸成分及びＺ軸成分である。
【００３２】
世界座標系系Ｘw Ｙw Ｚwにおける座標を（ｘw ，ｙw ，ｚw ）と表記する。ｘw 、ｙw
及びｚwは、夫々、世界座標系系Ｘw Ｙw Ｚwにおける、Ｘw軸成分、Ｙw軸成分及びＺw軸成分である。
【００３３】
二次元地面座標系Ｘw Ｚw における座標を（ｘw ，ｚw ）と表記する。ｘw及びｚwは、夫々、二次元地面座標系Ｘw Ｚwにおける、ＸW軸成分及びＺW軸成分であり、それらは世界座標系系Ｘw Ｙw ＺwにおけるＸW軸成分及びＺW軸成分と一致する。
【００３４】
撮像面Ｓの座標系ＸbuＹbuにおける座標を（ｘbu，ｙbu）と表記する。ｘbu及びｙbuは、夫々、撮像面Ｓの座標系ＸbuＹbuにおける、Ｘbu軸成分及びＹbu軸成分である。
【００３５】
カメラ座標系ＸＹＺの座標（ｘ，ｙ，ｚ）と世界座標系Ｘw Ｙw Ｚw の座標（ｘw ，ｙw ，ｚw ）との間の変換式は、次式（１）で表される。
【００３６】
【数１】
【００３７】
ここで、カメラ１の焦点距離をｆとする。そうすると、撮像面Ｓの座標系ＸbuＹbuの座標（ｘbu，ｙbu）と、カメラ座標系ＸＹＺの座標（ｘ，ｙ，ｚ）との間の変換式は、次式（２）で表される。
【００３８】
【数２】
【００３９】
上記式（１）及び（２）から、撮像面Ｓの座標系ＸbuＹbuの座標（ｘbu，ｙbu）と二次元地面座標系Ｘw Ｚw の座標（ｘw ，ｚw ）との間の変換式（３）が得られる。
【００４０】
【数３】
【００４１】
また、図２には示されていないが、鳥瞰図画像についての座標系である鳥瞰図座標系ＸauＹauを定義する。鳥瞰図座標系ＸauＹauは、Ｘau軸及びＹau軸を座標軸とする二次元の座標系である。鳥瞰図座標系ＸauＹauにおける座標を（ｘau，ｙau）と表記する。鳥瞰図画像は、二次元配列された複数の画素の画素信号によって表され、鳥瞰図画像上における各画素の位置は座標（ｘau，ｙau）によって表される。ｘau及びｙauは、それぞれ鳥瞰図座標系ＸauＹauにおけるＸau軸成分及びＹau軸成分である。
【００４２】
鳥瞰図画像は、実際のカメラの撮像画像を仮想カメラの視点（以下、仮想視点という）から見た画像に変換したものである。より具体的には、鳥瞰図画像は、実際のカメラの撮像画像を、地上面を鉛直方向に見下ろした画像に変換したものである。撮像画像から鳥瞰図画像を生成する際の視点の変換は、一般に、視点変換と呼ばれる。
【００４３】
二次元地面座標系Ｘw Ｚw から仮想カメラの鳥瞰図座標系ＸauＹauへの投影は、平行投影によって行われる。仮想カメラの高さ（即ち、仮想視点の高さ）をＨとすると、二次元地面座標系Ｘw Ｚw の座標（ｘw ，ｚw ）と鳥瞰図座標系ＸauＹauの座標（ｘau，ｙau）との間の変換式は、次式（４）で表される。仮想カメラの高さＨは予め設定されている。更に、式（４）を変形することにより、下式（５）が得られる。
【００４４】
【数４】
【００４５】
【数５】
【００４６】
得られた式（５）を上記式（３）に代入すると、次式（６）が得られる。
【００４７】
【数６】
【００４８】
上記式（６）から、撮像面Ｓの座標系ＸbuＹbuの座標（ｘbu，ｙbu）を、鳥瞰図座標系ＸauＹauの座標（ｘau，ｙau）に変換するための次式（７）が得られる。
【００４９】
【数７】
【００５０】
撮像面Ｓの座標系ＸbuＹbuの座標（ｘbu，ｙbu）は、カメラ１の撮像画像における座標を表すため、上記式（７）を用いることによってカメラ１の撮像画像は鳥瞰図画像に変換される。実際には、カメラ１の撮像画像に対して、適宜、レンズ歪み補正などの画像処理を施し、その画像処理後の撮像画像を上記式（７）を用いて鳥瞰図画像に変換する。
【００５１】
［全周鳥瞰図画像の生成方法の基本的な考え方］
本実施形態において、車両１００へのカメラの設置状況を表す平面図は上述の図１７と同じであるので、重複する図示を割愛する。図３及び図４は、車両１００を左斜め前方から見た図である。
【００５２】
図１７に示す如く、車両１００の前部、後部、左側部及び右側部に、夫々、カメラ（撮像装置）１Ｆ、１Ｂ、１Ｌ及び１Ｒが取り付けられている。以下の説明において、カメラ１Ｆ、１Ｂ、１Ｌ及び１Ｒを、夫々、前カメラ１Ｆ、後カメラ１Ｂ、左横カメラ１Ｌ及び右横カメラ１Ｒと呼ぶこともある。
【００５３】
また、図３及び図４に示す如く、カメラ１Ｆは、例えば車両１００のフロントミラー上部に設置され、カメラ１Ｌは、例えば車両１００の左側面の最上部に設置される。図３及び図４には示されていないが、カメラ１Ｂは、例えば車両１００の後部の最上部に設置され、カメラ１Ｒは、例えば車両１００の右側面の最上部に設置される。
【００５４】
カメラ１Ｆの光軸が車両１００の前方斜め下向きになるように、且つ、カメラ１Ｂの光軸が車両１００の後方斜め下向きになるように、且つ、カメラ１Ｌの光軸が車両１００の左方斜め下向きになるように、且つ、カメラ１Ｒの光軸が車両１００の右方斜め下向きになるように、カメラ１Ｆ、１Ｂ、１Ｌ及び１Ｒは車両１００に設置される。
【００５５】
カメラ１Ｌ及び１Ｒの高さは、カメラ１Ｆの高さよりも高いものとする。また、車両１００は、地面上に位置するものとする。
【００５６】
図３及び図４には、各カメラの視野、即ち、各カメラの撮像領域が示されている。各カメラは、自身の視野内の被写体を撮像した撮像画像を生成する。カメラ１Ｆ、１Ｂ、１Ｌ及び１Ｒの視野を、夫々、１２Ｆ、１２Ｂ、１２Ｌ及び１２Ｒにて表す。尚、視野１２Ｒ及び１２Ｂに関しては、図３及び図４において一部しか示されていない。
【００５７】
カメラ１Ｆの視野１２Ｆには、カメラ１Ｆの設置位置を基準とした、車両１００の前方の所定範囲内に位置する立体物及び車両１００の前方の地面が含まれる。
【００５８】
カメラ１Ｂの視野１２Ｂには、カメラ１Ｂの設置位置を基準とした、車両１００の後方の所定範囲内に位置する立体物及び車両１００の後方の地面が含まれる。
【００５９】
カメラ１Ｌの視野１２Ｌには、カメラ１Ｌの設置位置を基準とした、車両１００の左方の所定範囲内に位置する立体物及び車両１００の左方の地面が含まれる。
【００６０】
カメラ１Ｒの視野１２Ｒには、カメラ１Ｌの設置位置を基準とした、車両１００の右方の所定範囲内に位置する立体物及び車両１００の右方の地面が含まれる。
【００６１】
このように、各カメラの視点は異なり、各カメラの視野（画角）内に収まる被写体は異なる。また、立体物とは、人物などの高さのある物体である。地面を形成する路面などは、高さがないため立体物ではない。
【００６２】
カメラ１Ｆと１Ｌは、車両１００の左斜め前方の所定領域を共通して撮像する。つまり、車両１００の左斜め前方の所定領域にて視野１２Ｆ及び１２Ｌは重なり合う。この重なり合う部分を、共通視野（共通撮像空間）と呼ぶこととする。
【００６３】
同様に、車両１００の右斜め前方の所定領域にて視野１２Ｆと１２Ｒは重なり合ってそれらの共通視野が形成され、車両１００の左斜め後方の所定領域にて視野１２Ｂと１２Ｌは重なり合ってそれらの共通視野が形成され、車両１００の右斜め後方の所定領域にて視野１２Ｂと１２Ｒは重なり合ってそれらの共通視野が形成される。
【００６４】
視野１２Ｆと１２Ｌとの間の共通視野を特に共通視野１３と呼び、この共通視野１３に着目して以下の説明を行うものとする。共通視野１３以外の共通視野に関しても同様の処理が行われる。
【００６５】
図４には、共通視野１３が太線を用いて示されている。共通視野１３は、車両１００の左斜め前方の地面を底面とする円錐に類似した空間となっている。図４に示す如く、この共通視野１３内に立体物１４が存在するものとする。
【００６６】
本実施形態では、図５に示す如く、カメラ１Ｆ、１Ｂ、１Ｌ及び１Ｒから得られる撮像画像から、夫々、上記式（７）を用いて鳥瞰図画像１０Ｆ、１０Ｂ、１０Ｌ及び１０Ｒを生成する。次に、カメラ１Ｂに対応する鳥瞰図画像１０Ｂを基準として、他の３つの鳥瞰図画像１０Ｆ、１０Ｌ及び１０Ｒを回転及び／又は平行移動することにより、それら（１０Ｆ、１０Ｌ及び１０Ｒ）を鳥瞰図画像１０Ｂにおける座標に変換する。これにより、各鳥瞰図画像の座標が、全周鳥瞰図画像における座標に変換される。以下、全周鳥瞰図画像における座標を、「全周鳥瞰図座標」とよぶ。
【００６７】
図６に、全周鳥瞰図座標上に表された鳥瞰図画像１０Ｆ、１０Ｂ、１０Ｌ及び１０Ｒを示す。全周鳥瞰図座標で考えた場合、図６に示す如く、２つの鳥瞰図画像が重なり合う部分が存在する。
【００６８】
図６において、ＣFLの符号が付された斜線領域が、全周鳥瞰図座標上において鳥瞰図画像１０Ｆと１０Ｌが重なり合う部分であり、これを共通領域ＣFLと呼ぶ。鳥瞰図画像１０Ｆにおいて、共通領域ＣFLにはカメラ１Ｆから見た共通視野１３（図４参照）内の被写体の画像が現れ、鳥瞰図画像１０Ｌおいて、共通領域ＣFLにはカメラ１Ｌから見た共通視野１３内の被写体の画像が現れる。尚、共通領域は、複数の鳥瞰図画像が重複する重複領域と呼ぶこともできる。
【００６９】
共通領域ＣFL以外に、鳥瞰図画像１０Ｆと１０Ｒが重なり合う共通領域ＣFRと、鳥瞰図画像１０Ｂと１０Ｌが重なり合う共通領域ＣBLと、鳥瞰図画像１０Ｂと１０Ｒが重なり合う共通領域ＣBRとがあるが、特に、共通視野１３に対応する共通領域ＣFLに着目して本実施形態の説明を行うこととする。
【００７０】
尚、図５及び図６において、ＸＦ軸及びＹＦ軸は、鳥瞰図画像１０Ｆの座標系の座標軸であり、それらは、Ｘau軸及びＹau軸に対応する。同様に、ＸＲ軸及びＹＲ軸は、鳥瞰図画像１０Ｒの座標系の座標軸であり、それらは、Ｘau軸及びＹau軸に対応する。同様に、ＸＬ軸及びＹＬ軸は、鳥瞰図画像１０Ｌの座標系の座標軸であり、それらは、Ｘau軸及びＹau軸に対応する。同様に、ＸＢ軸及びＹＢ軸は、鳥瞰図画像１０Ｂの座標系の座標軸であり、それらは、Ｘau軸及びＹau軸に対応する。
【００７１】
また、図６では、図示の簡略化上、共通領域ＣFLを矩形としているが、実際には共通領域ＣFLは矩形とはならない。また、各鳥瞰図画像も矩形になるとは限らない。図７に、各鳥瞰図画像が現れる領域及び共通領域ＣFLを、より具体的に示す。図７（ａ）及び（ｂ）は、夫々、全周鳥瞰図座標における鳥瞰図画像１０Ｌ及び１０Ｆを表し、図７（ｃ）では、それらの共通領域ＣFLが斜線領域にて示されている。但し、図７（ａ）及び（ｃ）において、車両の後部よりの画像の図示を省略している。この共通領域ＣFLにおいて、２つの鳥瞰図画像を如何に合成するかが本実施形態の特徴である。
【００７２】
［全周鳥瞰図画像の具体的な生成方法］
図８に、本実施形態に係る視界支援装置（車両周辺視界支援装置）の全体構成図を示す。本実施形態に係る視界支援装置は、上述の如く車両１００に取り付けられるカメラ１Ｆ、１Ｂ、１Ｌ及び１Ｒと、それらの各カメラにて得られる撮像画像から全周鳥瞰図画像を生成する画像処理部２と、画像処理部２によって生成された全周鳥瞰図画像を表示する表示部３と、を備える。全周鳥瞰図画像は、基本的には、図１９に示すものと同様である。但し、本実施形態では、上述の共通領域における合成手法に特徴がある。
【００７３】
カメラ１Ｆ、１Ｂ、１Ｌ及び１Ｒとして、例えばＣＣＤ（Charge Coupled Devices）を用いたカメラや、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセン
サを用いたカメラが用いられる。画像処理部２は、例えば集積回路から形成される。表示部３は、液晶ディスプレイパネル等から形成される。カーナビゲーションシステムなどに含まれる表示装置を、視界支援装置における表示部３として流用しても良い。
【００７４】
図９に、図８の視界支援装置の処理手順を表すフローチャートを示す。図９に示すステップＳ２〜Ｓ５の処理は画像処理部２によって実施され、ステップＳ１の処理は各カメラと画像処理部２によって実施され、ステップＳ６の処理は画像処理部２と表示部３によって実施される。
【００７５】
まず、画像処理部２は、各カメラ１Ｆ、１Ｂ、１Ｌ、１Ｒの撮像画像を読み込む（ステップＳ１）。次に、各撮像画像を、変換テーブルデータなどを用いて鳥瞰図画像に変換する（ステップＳ２）。これによって、上述の鳥瞰図画像１０Ｆ、１０Ｂ、１０Ｌ及び１０Ｒが生成される。変換テーブルデータは、上記式（７）に従って予め設定される。尚、この際、各撮像画像にレンズ歪み補正などの必要な画像処理を施してから、鳥瞰図画像に変換するようにしてもよい。
【００７６】
続いて、ステップＳ３において、２つの鳥瞰図画像間の共通領域での差分画像を生成し、該差分画像を基に、２つの鳥瞰図画像間の共通領域における差分領域を検出する。図６を参照して説明したように共通領域は４つ存在するが、共通領域ＣFLに特に着目して説明を行うものとする。他の共通領域についても同様の処理が施される。
【００７７】
共通領域ＣFLに関する差分画像及び差分領域について説明する。上述したように、共通領域ＣFLに対応する共通視野１３に、立体物１４が存在するものとする（図４参照）。
【００７８】
図１０を参照する。図１０において、符号１１１は、左横カメラ１Ｌに対応する鳥瞰図画像１０Ｌ内の共通領域ＣFLの画像を表し、符号１１２は、前カメラ１Ｆに対応する鳥瞰図画像１０Ｆ内の共通領域ＣFLの画像を表す。画像１１１内の斜線が付された領域１２１は、画像１１１における立体物１４の描画領域であり、画像１１２内の斜線が付された領域１２２は、画像１１２における立体物１４の描画領域である。今、説明の簡略化上、画像１１１において、領域１２１以外は一様な地面（路面など）が描画されているものとし、画像１１２において、領域１２２以外は一様な地面（路面など）が描画されているものとする。
【００７９】
ステップＳ３において、画像処理部２は、画像１１１と画像１１２の差分をとることにより、差分画像１１３を生成する。例えば、画像１１１及び１１２を濃淡画像として捉え、画像１１１と画像１１２の差分画像１１３を濃淡画像として生成する。差分画像１１３の各画素の画素値（画素信号の値）は、画像１１１の各画素の画素値と画像１１２の各画素の画素値の差（或いは差の絶対値）にて表される。そして、差分画像１１３から差分領域１２３を特定する。図１０において、差分領域１２３は、差分画像１１３内の、斜線が付された領域である。例えば、差分画像１１３において、差分画像１１３を形成する画素の画素信号の値が所定の閾値以上となっている領域を差分領域１２３とする。画素信号とは、画素の輝度を表す輝度信号、または、画素の色を表す色信号（色差信号など）である。
【００８０】
差分領域１２３は、画像１１１において立体物１４が描画されている領域１２１と、画像１１２において立体物１４が描画されている領域１２２と、の合成領域（立体物反映領域）となる。鳥瞰図画像への変換の際、各鳥瞰図画像が地表面において連続性を有するように所定の変換が行われるため、差分画像１１３では、立体物の存在に関与する領域にのみ或る程度の大きさを有する差分値が得られる。このため、上述の処理によって差分領域１２３を検出することが可能である。また、差分画像１１３において、エッジ検出を行って差分領域１２３を囲む輪郭を検出し、検出された輪郭の内側を差分領域１２３として特定するようにしても良い。また、画像１１１の画像１１２の夫々において個別にエッジ検出を行って、画像１１１と画像１１２の間におけるエッジ検出結果（エッジの有無）の相違を抽出し、相違のある画像部分から差分領域１２３を検出するようにしてもよい。
【００８１】
鳥瞰図画像１０Ｌ及び１０Ｆの夫々における、差分領域１２３について考察する。図１１（ａ）に示す如く、左横カメラ１Ｌに対応する鳥瞰図画像１０Ｌにとって、差分領域１２３は、左横カメラ１Ｌの撮像による立体物１４の描画領域（即ち、領域１２１）と、前カメラ１Ｆから見た場合に立体物１４によって遮蔽される遮蔽領域１２１ａと、から形成される。鳥瞰図画像１０Ｌにおいて、この遮蔽領域１２１ａには地面が現れる。一方、図１１（ｂ）に示す如く、前カメラ１Ｆに対応する鳥瞰図画像１０Ｆにとって、差分領域１２３は、前カメラ１Ｆの撮像による立体物１４の描画領域（即ち、領域１２２）と、左横カメラ１Ｌから見た場合に立体物１４によって遮蔽される遮蔽領域１２２ａと、から形成される。鳥瞰図画像１０Ｆにおいて、この遮蔽領域１２２ａには地面が現れる。
【００８２】
これらの特性を考慮し、鳥瞰図画像１０Ｌと１０Ｆを合成する際、差分領域１２３に関しては、鳥瞰図画像１０Ｌと１０Ｆの何れか一方における画像を採用するようにする（処理の具体例は後述)。これにより、立体物１４を消失させることなく適切に表示すること
が可能となる。
【００８３】
ステップＳ３に続くステップＳ４では、差分領域（差分領域１２３など）の画像として採用されるべき画像を含む鳥瞰図画像を提供する優先カメラが選択される。差分領域１２３に関しては、前カメラ１Ｆと左横カメラ１Ｌの何れか一方が優先カメラとして選択される。例えば、差分領域１２３に関し、より設置位置の高い左横カメラ１Ｌを優先カメラとして選択する。より設置位置の高い左横カメラ１Ｌの方がより高い視点から立体物を見ているため、立体物の全体像を比較的捉えやすいからである。他の差分領域に関しても同様にして優先カメラが選択される。設置位置の高さに基づいて優先カメラを選択する場合、何れのカメラが優先カメラとして選択されるかは、各カメラの高さに応じて事前に定められる。他にも、様々な優先カメラの選択手法が考えられるが、他の選択手法については後に第２実施形態として説明する。
【００８４】
ステップＳ４に続くステップＳ５において、画像処理部２は、ステップＳ３とＳ４の処理結果を参照しつつ、全周鳥瞰図画像を生成する。つまり、図５及び図６等を参照して説明したように各鳥瞰図画像から全周鳥瞰図画像を合成するのであるが、共通領域内の差分領域に関しては、優先カメラの撮像画像に基づく差分領域の画像を採用する。例えば、共通領域ＣFLに関し、ステップＳ３において差分領域１２３が検出され且つステップＳ４において左横カメラ１Ｌが優先カメラとして選択された場合は、全周鳥瞰図画像内の差分領域１２３の画像として、鳥瞰図画像１０Ｌ内の差分領域１２３の画像（即ち、図１１（ａ）の領域１２１と１２１ａとを併せた領域の画像）を採用する。
【００８５】
共通領域ＣFL内の、差分領域１２３を除く領域に関しては、鳥瞰図画像１０Ｆと１０Ｌにおける各画素信号を平均化することによって、全周鳥瞰図画像における該領域（共通領域ＣFL内の、差分領域１２３を除く領域）の画像を生成する。この平均化により、連続的な画像を合成することができる。しかし、差分領域１２３でない領域には立体物が描画されていないため（換言すれば、両鳥瞰図画像間で差がないため）、鳥瞰図画像１０Ｆと１０Ｌの何れか一方のみを用いて合成処理を行うようにしてもよい。つまり、共通領域ＣFL内の、差分領域１２３を除く領域に関しては、鳥瞰図画像１０Ｆと１０Ｌの何れか一方の画像を、そのまま、全周鳥瞰図画像における該領域（共通領域ＣFL内の、差分領域１２３を除く領域）の画像として採用するようにしてもよい。共通領域ＣFLに着目してステップＳ５の処理を説明したが、他の共通領域についても同様に処理される。
【００８６】
図１２に、得られた全周鳥瞰図画像の例を示す。今の例の場合、差分領域１２３に関して左横カメラ１Ｌが優先カメラとなっているので、全周鳥瞰図画像には立体物の全体像が現れている。全周鳥瞰図画像内の共通領域以外の画像に関しては、図６に示すように鳥瞰図画像１０Ｆ、１０Ｂ、１０Ｌ及び１０Ｒが配置される。即ち、全周鳥瞰図画像上において、車両の描画領域の前方、後方、左方及び右方に、夫々、鳥瞰図画像１０Ｆ、１０Ｂ、１０Ｌ及び１０Ｒに基づく画像が描画される。
【００８７】
ステップＳ５に続くステップＳ６において、画像処理部２は、ステップＳ５で生成した全周鳥瞰図画像が表示部３に表示されるように必要な映像信号を生成して表示部３に出力する。これにより、図１２に示されるような全周鳥瞰図画像が表示部３に表示される。ステップＳ６を終えるとステップＳ１に戻り、全周鳥瞰図画像を周期的に最新の画像に更新するべくステップＳ１〜Ｓ６の処理が繰り返される。
【００８８】
本実施例の如く合成処理を行えば立体物が表示画面から消失してしまうといった問題が回避されると共に、立体物を二重像とならずに表すことが可能である。また、立体物が表示される領域以外に関しても、連続的な画像が合成され、車両周辺の状況把握に適した映像を表示することが可能となる。
＜＜第２実施形態＞＞
図９のステップＳ４にて実施される優先カメラの選択手法の他の例を、第２実施形態として説明する。第２実施形態は、優先カメラの選択手法が第１実施形態のそれと異なるだけで、他の点については第１実施形態と同じである。
【００８９】
優先カメラの選択手法の他の例として、第１、第２、第３選択手法を例示する。共通領域ＣFL内の差分領域１２３に着目して、第１〜第３選択手法の説明を行うものとする。勿論、他の差分領域に関しても同様に優先カメラが選択される。第１〜第３選択手法は、矛盾なき限り、任意に組み合わせることが可能である。
［第１選択手法］
第１選択手法について説明する。第１選択手法では、立体物１４と各カメラとの距離が参照される。画像上における差分領域１２３の位置が分かれば、実空間における、立体物１４と前カメラ１Ｆとの距離及び立体物１４と左横カメラ１Ｌとの距離を特定できる。両距離を比較し、距離が短い方のカメラを優先カメラとして選択する。他の条件が同じであれば、距離が短い方のカメラの方が立体物１４をより的確に捉えることができる、と考えられるからである。
［第２選択手法］
第２選択手法について説明する。第２選択手法では、車両１００の進行方向が参照される。進行方向に関する情報は、該情報を検出するための部位（該部位は、例えば車両１００に備えられる）から画像処理部２に与えられる。
【００９０】
例えば、差分領域１２３に関し、車両１００が左折している時には左横カメラ１Ｌを優先カメラとして選択し、車両１００が前進している時には前カメラ１Ｆを優先カメラとして選択する。左折時には、車両１００の左側の映像の必要性は比較的大きい一方で車両１００の前方の映像の必要性は比較的小さい。前進時には、車両１００の左側の映像の必要性は比較的小さい一方で車両１００の前方の映像の必要性は比較的大きい。これを考慮して、上述のように優先カメラを選択する。これにより、車両１００の進行方向をも考慮した適切な映像を表示することが可能となる。
【００９１】
尚、左折と前進に関して例示したが、右折や後退などの運転状態に応じても同様の考え方で優先カメラは選択される。
［第３選択手法］
第３選択手法について説明する。第３選択手法では、共通領域ＣFL内における差分領域１２３の位置に基づいて、優先カメラが選択される。
【００９２】
第３選択手法では、カメラごとに設定された重み値テーブルデータが参照される。共通領域ＣFLに関しては、前カメラ１Ｆに対応する重み値テーブルデータと、左横カメラ１Ｌに対応する重み値テーブルデータが、予め設定されている。
【００９３】
各重み値テーブルデータには、共通領域ＣFLの画像の各画素位置に対応する重み値が定義されている。例えば、共通領域ＣFLを、図１３に示す如く、３つの領域ＡＲ１、ＡＲ２及びＡＲ３に分割する。そして、領域ＡＲ１に属する画素の重み値と、領域ＡＲ２に属する画素の重み値と、領域ＡＲ３に属する画素の重み値と、が各重み値テーブルデータに格納される。
【００９４】
共通領域ＣFLの画像の画素位置との関係で定まる重み値は、異なる重み値テーブルデータ間で異なるように設定されている。図１４に、前カメラ１Ｆに対応する重み値及び左横カメラ１Ｌに対応する重み値の設定例を示す。例えば、前カメラ１Ｆに対応する重み値テーブルデータにおいて、領域ＡＲ１に属する画素の重み値ＷF1は１とされ、領域ＡＲ２に属する画素の重み値ＷF2は２とされ、領域ＡＲ３に属する画素の重み値ＷF3は３とされる。一方、左横カメラ１Ｌに対応する重み値テーブルデータにおいて、領域ＡＲ１に属する画素の重み値ＷL1は２とされ、領域ＡＲ２に属する画素の重み値ＷL2は３とされ、領域ＡＲ３に属する画素の重み値ＷL3は２とされる。
【００９５】
そして、カメラごと（換言すれば、鳥瞰図画像ごと）に、差分領域１２３に属する画素に対応する重み値を合算し、その合算値を重み評価値とする。説明の便宜上、図１５に示す如く、差分領域１２３を、領域１２１（図１０参照）に対応する一部差分領域１２３ａと領域１２２に対応する一部差分領域１２３ｂとに分解して考える。
【００９６】
図１６に、各領域ＡＲ１〜ＡＲ３に属する、一部差分領域１２３ａ内の画素数及び一部差分領域１２３ｂ内の画素数を示す。今、領域ＡＲ１、ＡＲ２及びＡＲ３に属する、一部差分領域１２３ａ内の画素数が、夫々１５、１８及び２であるとし、領域ＡＲ１、ＡＲ２及びＡＲ３に属する、一部差分領域１２３ｂ内の画素数が、夫々１２、５及び０であるとする。
【００９７】
この場合、前カメラ１Ｆに関する重み評価値は、
「ＷF1×（１５＋１２）＋ＷF2×（１８＋５）＋ＷF3×（２＋０）」にて表され、
上述の如く“ＷF1＝１、ＷF2＝２、ＷF3＝３”とした場合、「１×（１５＋１２）＋２×（１８＋５）＋３×（２＋０）＝７９」となる。
【００９８】
一方、左横カメラ１Ｌに関する重み評価値は、
「ＷL1×（１５＋１２）＋ＷL2×（１８＋５）＋ＷL3×（２＋０）」にて表され、
上述の如く“ＷL1＝２、ＷL2＝３、ＷL3＝２”とした場合、「２×（１５＋１２）＋３×（１８＋５）＋２×（２＋０）＝１２７」となる。
【００９９】
そして、算出された両重み評価値の内、大きい方の重み評価値に対応するカメラを優先カメラとして選択する。今の例の場合、７９＜１２７であるため、左横カメラ１Ｌを優先カメラとして選択する。
【０１００】
前カメラ１Ｆは、自身に近い位置の立体物を的確に捉えることができる一方で設置位置が低いことに起因して自身から離れた位置の立体物の全体像を捉えにくい。他方、左横カメラ１Ｌは、立体物をより高い位置から見ることにより立体物の全体像を捉えやすいものの、立体物が前カメラ１Ｆに近い位置にある場合は、その立体物の全体像を捉え難くなる。
【０１０１】
これらを考慮し、前カメラ１Ｆに比較的近い位置に立体物が存在する場合に前カメラ１Ｆが優先カメラとして選択されやすいように、図１４に示す如く、前カメラ１Ｆに近い領域において、前カメラ１Ｆ用の重み値を比較的大きく設定する。一方、前カメラ１Ｆから離れた位置に立体物が存在する場合に左横カメラ１Ｌが優先カメラとして選択されやすいように、前カメラ１Ｆから離れた領域において、左横カメラ１Ｌ用の重み値を比較的大きく設定する。
【０１０２】
このように、重み値を各カメラの設置位置などに応じて設定することにより、立体物の全体像が表示されやすくなる。第３選択手法を採用した場合、共通領域内における差分領域の位置及び形状が異なれば、選択される優先カメラは異なりうる。また、差分領域の形状が同じであっても、共通領域内における差分領域の位置が異なれば、選択される優先カメラは異なりうる。つまり、第３選択手法では、共通領域内における差分領域の位置に応じて（換言すれば、車両１００との関係における立体物の位置に応じて）、優先カメラを選択する。この選択手法を採用することの利点は上述の説明から理解される。
【０１０３】
上述の視界支援装置は、本発明の実施形態の例に過ぎず、本発明は、様々な変形例（又は実施例）を含む。以下に、本発明に関する変形例（又は実施例）として、変形例１〜変形例４を例示する。各変形例に記載した内容は、矛盾なき限り、任意に組み合わせることが可能である。
［変形例１］
上述した説明文中に示した具体的な数値は、単なる例示であって、当然の如く、それらを様々な数値に変更することができる。
［変形例２］
また、図８の画像処理部２は、ハードウェア、ソフトウェア、またはハードウェアとソフトウェアの組み合わせによって実現可能である。画像処理部２にて実現される機能の全部または一部を、プログラムとして記述し、該プログラムをコンピュータ上で実行することによって、その機能の全部または一部を実現するようにしてもよい。
［変形例３］
画像処理部２は、各カメラの撮像画像の夫々を、視点変換によって鳥瞰図画像に変換する視点変換手段と、その変換によって得られた各鳥瞰図画像を合成することにより合成鳥瞰図画像を生成する画像合成手段と、を備えている。合成鳥瞰図画像として、上述の実施形態では全周鳥瞰図画像を例示している。
［変形例４］
上述の実施形態では、車両１００としてトラックを例示しているが、本発明は、車両の種類を問わず、普通乗用車などに対しても適用可能である。
【０１０４】
更に、複数のカメラ（例えば、上述のカメラ１Ｆ、１Ｂ、１Ｌ及び１Ｒ）を車両以外に設置することも可能である。つまり、本発明は、建物などに設置される監視システムに対しても、適用可能である。この種の監視システムにおいても、上述の実施形態と同様、複数のカメラ間に共通視野が存在して、異なる鳥瞰図画像間で共通領域（ＣFLなど）が存在するものとする。各鳥瞰図画像を合成して合成鳥瞰図画像を形成するに際、上述の各実施形態と同様の手法にて共通領域の画像を合成するようにするとよい。
【符号の説明】
【０１０５】
１、１Ｆ、１Ｂ、１Ｌ、１Ｒ カメラ
２ 画像処理部
３ 表示部
１０Ｆ、１０Ｂ、１０Ｌ、１０Ｒ 鳥瞰図画像
１２Ｆ、１２Ｂ、１２Ｌ、１２Ｒ 視野
１３ 共通視野
１４ 立体物
ＣFL 共通領域
１００ 車両
１１３ 差分画像
１２３ 差分領域
【特許請求の範囲】
【請求項１】
ｎ台の撮像装置（ｎは２以上の整数）によって撮像された画像の夫々を仮想視点から見た鳥瞰図画像に変換する視点変換手段と、
得られた各鳥瞰図画像を合成して合成鳥瞰図画像を生成する画像合成手段と、を備え、
前記合成鳥瞰図画像を表示装置に表示させるための映像信号を生成する画像処理装置において、
前記画像合成手段は、複数の撮像装置によって共通して撮像されている共通視野内に高さのある立体物が存在している場合、
前記複数の撮像装置から得られる各鳥瞰図画像の共通領域において前記立体物が描画されている領域を合成した立体物反映領域を検出し、
前記複数の画像が重なり合う共通領域を検出し、
前記合成鳥瞰図画像内の前記立体物反映領域の画像を、前記共通領域と前記立体物反映領域の位置に基づいて選択された撮像装置によって撮像された鳥瞰図画像内の前記立体物反映領域の画像とすることを特徴とする画像処理装置。
【請求項１】
ｎ台の撮像装置（ｎは２以上の整数）によって撮像された画像の夫々を仮想視点から見た鳥瞰図画像に変換する視点変換手段と、
得られた各鳥瞰図画像を合成して合成鳥瞰図画像を生成する画像合成手段と、を備え、
前記合成鳥瞰図画像を表示装置に表示させるための映像信号を生成する画像処理装置において、
前記画像合成手段は、複数の撮像装置によって共通して撮像されている共通視野内に高さのある立体物が存在している場合、
前記複数の撮像装置から得られる各鳥瞰図画像の共通領域において前記立体物が描画されている領域を合成した立体物反映領域を検出し、
前記複数の画像が重なり合う共通領域を検出し、
前記合成鳥瞰図画像内の前記立体物反映領域の画像を、前記共通領域と前記立体物反映領域の位置に基づいて選択された撮像装置によって撮像された鳥瞰図画像内の前記立体物反映領域の画像とすることを特徴とする画像処理装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【公開番号】特開２００９−１５３１５６（Ｐ２００９−１５３１５６Ａ）
【公開日】平成２１年７月９日（２００９．７．９）
【国際特許分類】
【出願番号】特願２００９−１１１５８（Ｐ２００９−１１１５８）
【出願日】平成２１年１月２１日（２００９．１．２１）
【分割の表示】特願２００６−２２４００２（Ｐ２００６−２２４００２）の分割
【原出願日】平成１８年８月２１日（２００６．８．２１）
【出願人】（０００００１８８９）三洋電機株式会社 (18,308)
【Ｆターム（参考）】
【公開日】平成２１年７月９日（２００９．７．９）
【国際特許分類】
【出願日】平成２１年１月２１日（２００９．１．２１）
【分割の表示】特願２００６−２２４００２（Ｐ２００６−２２４００２）の分割
【原出願日】平成１８年８月２１日（２００６．８．２１）
【出願人】（０００００１８８９）三洋電機株式会社 (18,308)
【Ｆターム（参考）】
[ Back to top ]