画像生成装置、画像表示システム及び画像表示方法
【課題】重複領域に含まれる物体の像を強調する技術を提供することを目的とする技術に関する。
【解決手段】
複数の撮影画像を合成して、仮想視点から見た車両の周辺の様子を示す合成画像を生成し、かつ、複数の車載カメラのうちの２つの車載カメラの撮影範囲が重なる領域に対応する合成画像の重複領域を生成する際に当該２つの車載カメラの２つの撮影画像を混合して、重複領域に含まれる物体の像を強調する。これにより、重複領域の画像の像をユーザが容易に認識できる。
【解決手段】
複数の撮影画像を合成して、仮想視点から見た車両の周辺の様子を示す合成画像を生成し、かつ、複数の車載カメラのうちの２つの車載カメラの撮影範囲が重なる領域に対応する合成画像の重複領域を生成する際に当該２つの車載カメラの２つの撮影画像を混合して、重複領域に含まれる物体の像を強調する。これにより、重複領域の画像の像をユーザが容易に認識できる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車両に搭載された表示装置に表示させる画像を生成する技術に関する。
【背景技術】
【０００２】
従来より、自動車などの車両に搭載され、車載カメラで車両の周辺を撮影して得られた画像を車室内のディスプレイに表示する画像表示システムが知られている。この画像表示システムを利用することにより、ドライバは車両の周辺の様子をほぼリアルタイムに把握することができる。
【０００３】
また、近年では、車両の異なる位置に配置された複数の車載カメラの複数の撮影画像を利用して、車両の直上などの仮想視点からみた車両の周辺の様子を示す合成画像を生成してディスプレイに表示する画像表示システムも提案されている（例えば、特許文献１参照。）。
【０００４】
このように仮想視点からの合成画像を生成する画像表示システムでは、例えば、車両の前方、左右側方及び後方にそれぞれ車載カメラが配置され、これらの４つの車載カメラで得られた４つの撮影画像を合成して、合成画像を生成することになる。この合成画像の生成に際して、４つの撮影画像を所定の境界線で単純に繋ぎ合わせた場合においては、撮影画像同士の境界部分に被写体の像の不連続性が発生する。このため、撮影画像同士の境界部分に対応する領域に存在する、あるいは、当該領域を通過する物体を認識しにくくなる。
【０００５】
これに対応するため、隣接して配置される２つの車載カメラが撮影する領域に重複する領域を持たせる。そして、合成画像における撮影画像同士の境界部分をこの２つの車載カメラの撮影画像を所定の割合で混合して生成することも提案されている（例えば、特許文献２参照。）。これによれば、撮影画像同士の境界部分における被写体の像の不連続性が緩和され、境界部分に対応する領域にある物体を認識しやすくできる。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００７−３６６６８号公報
【特許文献２】特開２００２−３５４４６８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、２つの車載カメラの撮影画像を混合した場合、混合する前よりも２つの車載カメラの撮影画像の重複領域の画像の輝度値などが低下し、ユーザが撮影画像中の背景の画像と物体の像とを見分けることが困難な場合があった。その結果、重複領域に含まれる物体の像をユーザが正確に認識できない可能性があった。
【０００８】
本発明は、上記課題に鑑みてなされたものであり、重複領域に含まれる物体の像を容易に認識できる技術を提供することを目的とする。
【課題を解決するための手段】
【０００９】
上記課題を解決するため、請求項１の発明は、車両に搭載された表示装置に表示させる画像を生成する画像生成装置であって、前記車両の異なる位置に配置された複数の車載カメラの複数の撮影画像を取得する取得手段と、前記複数の撮影画像を合成して、仮想視点から見た前記車両の周辺の様子を示す合成画像を生成し、かつ、前記複数の車載カメラのうちの２つの車載カメラの撮影範囲が重なる領域に対応する前記合成画像の重複領域を生成する際に該２つの車載カメラの２つの撮影画像を混合する生成手段と前記重複領域に含まれる物体の像を強調する強調手段と、前記合成画像を前記表示装置に出力して表示させる出力手段と、を備える。
【００１０】
また、請求項２の発明は、請求項１に記載の画像生成装置において、前記強調手段は、前記重複領域に含まれるエッジを強調する。
【００１１】
また、請求項３の発明は、請求項１または２に記載の画像処理装置において、前記強調手段は、前記重複領域の全体のコントラストを強調する。
【００１２】
また、請求項４の発明は、請求項１または２に記載の画像処理装置において、前記複数の撮影画像中の前記物体の像を検出する検出手段、をさらに備え、前記強調手段は、前記物体の像のみのコントラストを強調する。
【００１３】
また、請求項５の発明は、請求項１に記載の画像処理装置において、前記複数の撮影画像中の前記物体の像を検出する検出手段、をさらに備え、前記強調手段は、少なくとも一部が前記重複領域に含まれる前記物体の像を強調する。
【００１４】
また、請求項６の発明は、車両に搭載された表示装置に生成した画像を表示させる画像表示システムであって、前記車両の異なる位置に配置された複数の車載カメラの複数の撮影画像を取得する取得手段と、前記複数の撮影画像を合成して、仮想視点から見た前記車両の周辺の様子を示す合成画像を生成し、かつ、前記複数の車載カメラのうちの２つの車載カメラの撮影範囲が重なる領域に対応する前記合成画像の重複領域を生成する際に該２つの車載カメラの２つの撮影画像を混合する生成手段と前記重複領域に含まれる物体の像を強調する強調手段と、前記合成画像を表示する表示手段と、を備える。
【００１５】
さらに、請求項７の発明は、車両に搭載された表示装置に表示させる画像を生成する画像表示方法であって、（ａ）前記車両の異なる位置に配置された複数の車載カメラの複数の撮影画像を取得する工程と、（ｂ）前記複数の撮影画像を合成して、仮想視点から見た前記車両の周辺の様子を示す合成画像を生成し、かつ、前記複数の車載カメラのうちの２つの車載カメラの撮影範囲が重なる領域に対応する前記合成画像の重複領域を生成する際に該２つの車載カメラの２つの撮影画像を混合する工程と、（ｃ）前記重複領域に含まれる物体の像を強調する工程と、（ｄ）前記合成画像を前記表示装置に表示する工程と、を備える。
【発明の効果】
【００１６】
請求項１ないし７の発明によれば、重複領域に含まれる物体の像を強調することで、重複領域の画像の像をユーザが容易に認識できる。
【００１７】
また、特に請求項２の発明によれば、強調手段は、重複領域に含まれるエッジを強調することで、重複領域の中の物体の輪郭をユーザが容易に認識できる。
【００１８】
また、特に請求項３の発明によれば、強調手段は、前記重複領域の全体のコントラストを強調することで、重複領域内の物体を含めた重複領域全体をユーザが容易に認識できる。
【００１９】
また、特に請求項４の発明によれば、強調手段は、前記物体の像のみのコントラストを強調することで、重複領域内の物体の像をユーザが容易に認識できる。
【００２０】
さらに、特に請求項５の発明によれば、強調手段は、少なくとも一部が重複領域に含まれる物体の像を強調することで、物体の像の一部が重複領域外であっても物体の像全体をユーザがより認識しやすくなる。
【図面の簡単な説明】
【００２１】
【図１】図１は、画像表示システムの構成を示すブロック図である。
【図２】図２は、車載カメラが車両に配置される位置を示す図である。
【図３】図３は、合成画像を生成する手法を説明するための図である。
【図４】図４は、立体曲面において撮影画像が対応する範囲を示す図である。
【図５】図５は、立体曲面のフロントカメラの撮影画像を示す図である。
【図６】図６は、立体曲面の左サイドカメラの撮影画像を示す図である。
【図７】図７は、撮影画像を混合させた状態を示す図である。
【図８】図８は、物体の像のエッジを強調した状態を示す図である。
【図９】図９は、表示部に表示される合成画像の例を示す図である。
【図１０】図１０は、エッジ強調の処理フローチャートである。
【図１１】図１１は、コントラスト強調処理における画像の信号の入出力値を示した図である。
【図１２】図１２は、コントラスト強調の処理フローチャートを示す。
【図１３】図１３は、第３の実施の形態の画像表示システムの構成を示すブロック図である。
【図１４】図１４は、物体検出に伴うコントラスト強調の処理フローチャートである。
【図１５】図１５は、立体曲面の撮影画像を示す図である。
【図１６】図１６は、立体曲面の撮影画像を示す図である。
【図１７】図１７は、撮影画像を混合させた状態を示す図である。
【図１８】図１８は、物体の像を強調した状態を示す図である。
【図１９】図１９は、重複領域と非重複領域のエッジ強調の処理を説明した図である。
【図２０】図２０は、表示部に表示される合成画像の例を示した図である。
【図２１】図２１は、物体検出に伴うエッジ強調の処理フローチャートである。
【発明を実施するための形態】
【００２２】
以下、図面を参照しつつ本発明の実施の形態について説明する。
【００２３】
＜１．第１の実施の形態＞
＜１−１．システム構成＞
図１は、第１の実施の形態の画像表示システム１２０の構成を示すブロック図である。この画像表示システム１２０は、車両（本実施の形態では、自動車）に搭載されるものであり、車両の周辺を撮影して画像を生成して車室内に表示する機能を有している。画像表示システム１２０のユーザ（代表的にはドライバ）は、この画像表示システム１２０を利用することにより、当該車両の周辺の様子をほぼリアルタイムに把握できるようになっている。
【００２４】
図１に示すように、画像表示システム１２０は、車両の周辺を示す画像を生成する画像生成装置１００と、車両に乗車するユーザに対して各種情報を表示するナビゲーション装置２０とを主に備えている。画像生成装置１００で生成された画像は、ナビゲーション装置２０において表示される。
【００２５】
ナビゲーション装置２０は、ユーザに対しナビゲーション案内を行うものであり、タッチパネル機能を備えた液晶などのディスプレイ２１と、ユーザが操作を行う操作部２２と、装置全体を制御する制御部２３と、画像生成装置１００との間で通信を行う通信部２４とを主に備えている。
【００２６】
ディスプレイ２１の画面がユーザから視認可能なように、ナビゲーション装置２０は車両のインストルメントパネルなどに設置される。ユーザからの各種の指示は、操作部２２とタッチパネルとしてのディスプレイ２１とによって受け付けられる。制御部２３は、ＣＰＵ、ＲＡＭ及びＲＯＭなどを備えたコンピュータとして構成され、所定のプログラムに従ってＣＰＵが演算処理を行うことでナビゲーション機能を含む各種の機能が実現される。
【００２７】
ナビゲーション装置２０は、通信部２４により画像生成装置１００と通信可能に接続され、画像生成装置１００との間で各種の制御信号の送受信や、画像生成装置１００で生成された画像の受信が可能となっている。ディスプレイ２１には、制御部２３の制御により、通常はナビゲーション装置２０単体の機能に基づく画像が表示されるが、所定の条件下で画像生成装置１００で生成された車両の周辺の様子を示す画像が表示される。これにより、ナビゲーション装置２０は、画像生成装置１００で生成された画像を受信して表示する表示装置としても機能する。
【００２８】
画像生成装置１００は、その本体部１０が画像を生成する機能を有するＥＣＵ（Electronic Control Unit）として構成され、車両の所定の位置に配置される。画像生成装置１００は、車両の周辺を撮影する撮影部５を備えており、この撮影部５で車両の周辺を撮影して得られる撮影画像に基づいて仮想視点からみた合成画像を生成する。
【００２９】
撮影部５は、本体部１０に電気的に接続され本体部１０からの信号に基づいて動作する。撮影部５は、車載カメラであるフロントカメラ５１、バックカメラ５２、左サイドカメラ５３及び右サイドカメラ５４を備えている。各車載カメラ５１〜５４は、レンズと撮像素子とを備えており電子的に画像を取得する。
【００３０】
これらの複数の車載カメラ５１〜５４は、車両の異なる位置にそれぞれ配置される。図２は、車載カメラ５１〜５４が車両９に配置される位置を示す図である。
【００３１】
図２に示すように、フロントカメラ５１は、車両９の前端にあるナンバープレート取付位置の近傍に設けられ、その光軸５１ａは車両９の直進方向に向けられている。バックカメラ５２は、車両９の後端にあるナンバープレート取付位置の近傍に設けられ、その光軸５２ａは車両９の直進方向の逆方向に向けられている。これらフロントカメラ５１やバックカメラ５２の取り付け位置は、左右略中央であることが望ましいが、左右中央から左右方向に多少ずれた位置であってもよい。
【００３２】
また、左サイドカメラ５３は左側のドアミラー９３に設けられ、その光軸５３ａは車両９の左右方向（直進方向に直交する方向）に沿って車両９の左側に向けられている。一方、右サイドカメラ５４は右側のドアミラー９３に設けられ、その光軸５４ａは車両９の左右方向に沿って車両９の右側に向けられている。
【００３３】
これらの車載カメラ５１〜５４のレンズとしては魚眼レンズなどが採用されており、車載カメラ５１〜５４は１８０度以上の画角αを有している。このため、４つの車載カメラ５１〜５４を利用することで、車両９の全周囲の撮影が可能となっている。
【００３４】
また、図中においてハッチングで示す領域ＬＡ１〜ＬＡ４は、隣接して配置される２つの車載カメラの撮影範囲が重なる領域である。具体的には、車両９の前方左側の領域ＬＡ１は、フロントカメラ５１及び左サイドカメラ５３の撮影範囲が重なる領域である。また、車両９の前方右側の領域ＬＡ２は、フロントカメラ５１及び右サイドカメラ５４の撮影範囲が重なる領域である。また、車両９の後方左側の領域ＬＡ３は、バックカメラ５２及び左サイドカメラ５３の撮影範囲が重なる領域である。さらに、車両９の後方右側の領域ＬＡ４は、バックカメラ５２及び右サイドカメラ５４の撮影範囲が重なる領域である。
【００３５】
図１に戻り、画像生成装置１００の本体部１０は、装置全体を制御する制御部１と、撮影部５で取得された撮影画像を処理して表示用の画像を生成する画像生成部３と、ナビゲーション装置２０との間で通信を行うナビ通信部４２とを主に備えている。
【００３６】
ナビゲーション装置２０の操作部２２やディスプレイ２１によって受け付けられたユーザからの各種の指示は、制御信号としてナビ通信部４２によって受け付けられて制御部１に入力される。これにより、画像生成装置１００は、ナビゲーション装置２０に対するユーザの操作に応答した動作が可能となっている。
【００３７】
画像生成部３は、各種の画像処理が可能なハードウェア回路として構成されており、撮影画像調整部３１、合成画像生成部３２、および、画像強調部３３を主な機能として備えている。
【００３８】
撮影画像調整部３１は、撮影部５で取得された撮影画像を対象とし、表示に利用するための調整を行うものである。具体的には、撮影画像調整部３１は、撮影画像に対して、歪み補正、拡大縮小、及び、切り出しなどの画像処理を行う。
【００３９】
合成画像生成部３２は、撮影部５の複数の車載カメラ５１〜５４で取得された複数の撮影画像に基づいて、車両の周辺の任意の仮想視点からみた車両の周辺の少なくとも一部の領域を示す合成画像を生成する。合成画像生成部３２が合成画像を生成する手法については後述する。
【００４０】
また、合成画像生成部３２は、撮影部５の複数の車載カメラ５１〜５４のうちの２つの車載カメラの撮影範囲が重なる領域（図２に示すＬ１〜Ｌ４）に対応する合成画像の重複領域（図４に示すＯＡ１〜ＯＡ４）を生成する際に２つの車載カメラの２つの撮影画像を混合する処理を行う。つまり、複数の撮影画像に基づいて合成画像を生成する場合に、車両９０の周辺において撮影範囲が重なる領域に対応する画像中の領域については、画素の値（例えば、輝度値）を変更してから２つの撮影画像を混合する処理を行う。
【００４１】
画像強調部３３は、重複領域に含まれる物体の像を強調する処理を行う。物体の像の強調処理の例としては、物体の像のエッジを強調したり、物体のコントラストを強調する処理がある。物体の像を強調する処理の詳細については後述する。尚、本発明において物体とは、障害物のような立体物に限るものではなく、路面に形成された白線等平面状の物体も含むものであり、背景色に対して色や輝度等に違いを有する全ての物体を含むものである。
【００４２】
このように画像生成部３で生成された合成画像はさらに表示用の画像に調整され、その後、ナビ通信部４２によってナビゲーション装置２０に出力される。これにより、被写体として車両の周辺の領域を含む画像がナビゲーション装置２０のディスプレイ２１に表示されることになる。
【００４３】
制御部１は、ＣＰＵ、ＲＡＭ及びＲＯＭなどを備えたコンピュータとして構成され、所定のプログラムに従ってＣＰＵが演算処理を行うことで各種の制御機能が実現される。図中に示す、画像制御部１１は、このようにして実現される制御部１の機能のうちの一部を示している。
【００４４】
画像制御部１１は、画像生成部３によって実行される画像処理を制御するものである。例えば、画像制御部１１は、合成画像生成部３２が生成する合成画像の生成に必要な各種パラメータ、及び、画像強調部３３が物体の像などを強調する場合に必要な各種パラメータなどを指示する。
【００４５】
また、画像生成装置１００の本体部１０は、不揮発性メモリ４０、及び、信号入力部４１をさらに備えており、これらは制御部１に接続されている。
【００４６】
不揮発性メモリ４０は、電源オフ時においても記憶内容を維持可能なフラッシュメモリなどで構成されている。不揮発性メモリ４０には、車種別データ４ａが記憶されている。車種別データ４ａは、合成画像生成部３２が合成画像を生成する際に必要となる車両の種別に応じたデータなどである。
【００４７】
また、信号入力部４１は、車両に設けられた各種装置からの信号を入力する。この信号入力部４１を介して、画像表示システム１２０の外部からの信号が制御部１に入力される。具体的には、シフトセンサ８１、および、車速度センサ８２などから、各種情報を示す信号が制御部１に入力される。
【００４８】
シフトセンサ８１からは、車両の変速装置のシフトレバーの操作の位置、すなわち、”Ｐ（駐車）”，”Ｄ（前進）”，”Ｎ（中立）”，”Ｒ（後退）”などのシフトポジションが入力される。車速度センサ８２からは、その時点の車両９の走行速度（ｋｍ／ｈ）が入力される。
【００４９】
＜１−２．合成画像の生成＞
次に、画像生成部３の合成画像生成部３２が、撮影部５で得られた複数の撮影画像に基づいて任意の仮想視点からみた車両９の周辺の様子を示す合成画像を生成する手法について説明する。合成画像を生成する際には、不揮発性メモリ４０に予め記憶された車種別データ４ａが利用される。図３は、合成画像を生成する手法を説明するための図である。
【００５０】
撮影部５の４つの車載カメラ５１〜５４で同時に撮影が行われると、フロントカメラ５１で車両９の前方を示す撮影画像Ｐ１、バックカメラ５２で車両９の後方を示す撮影画像Ｐ２、左サイドカメラ５３で車両９の左側方を示す撮影画像Ｐ３、右サイドカメラ５４で車両９の右側方を示す撮影画像Ｐ４がそれぞれ取得される。これら４つの撮影画像Ｐ１〜Ｐ４には、撮影時点の車両９の全周囲を示す情報が含まれていることになる。
【００５１】
次に、４つの撮影画像Ｐ１〜Ｐ４の各画素が、仮想的な三次元空間における立体曲面ＳＰに投影される。立体曲面ＳＰは、例えば略半球状（お椀形状）をしており、その中心部分（お椀の底部分）が車両９が存在する位置として定められている。撮影画像Ｐ１〜Ｐ４に含まれる各画素の位置と、この立体曲面ＳＰの各画素の位置とは予め対応関係が定められている。このため、立体曲面ＳＰの各画素の値は、この対応関係と撮影画像Ｐ１〜Ｐ４に含まれる各画素の値とに基づいて決定できる。
【００５２】
撮影画像Ｐ１〜Ｐ４の各画素の位置と立体曲面ＳＰの各画素の位置との対応関係は、車両９における４つの車載カメラ５１〜５４の配置（相互間距離、地上高さ、光軸角度等）に依存する。このため、この対応関係を示すテーブルデータが、不揮発性メモリ４０に記憶された車種別データ４ａに含まれている。
【００５３】
また、車種別データ４ａに含まれる車体の形状やサイズを示すポリゴンデータが利用され、車両９の三次元形状を示すポリゴンモデルである車両像９０が仮想的に構成される。そして、構成された車両像９０は、立体曲面ＳＰが設定される三次元空間において、車両９の位置と定められた略半球状の中心部分に配置される。
【００５４】
また、立体曲面ＳＰが存在する三次元空間に対して、制御部１の画像制御部１１により仮想視点ＶＰが設定される。仮想視点ＶＰは、視点位置と視野方向とで規定され、この三次元空間における車両９の周辺に相当する任意の視点位置に任意の視野方向に向けて設定される。
【００５５】
そして、設定された仮想視点ＶＰに応じて、立体曲面ＳＰにおける必要な領域が画像として切り出される。仮想視点ＶＰと、立体曲面ＳＰにおける必要な領域との関係は予め定められており、テーブルデータとして不揮発性メモリ４０等に予め記憶されている。一方で、設定された仮想視点ＶＰに応じてポリゴンで構成された車両像９０に関してレンダリングがなされ、その結果となる二次元の車両像９０が、切り出された画像に対して重畳される。これにより、任意の仮想視点からみた車両９及びその車両９の周辺の様子を示す合成画像が生成されることになる。
【００５６】
例えば、視点位置が車両９の位置の略中央の直上位置で、視野方向が略直下方向とした仮想視点ＶＰ１を設定した場合は、車両９の略直上から車両９を見下ろすように、車両９（実際には車両像９０）及び車両９の周辺の様子を示す合成画像（俯瞰画像）ＣＰ１が生成される。また、図中に示すように、視点位置が車両９の位置の左後方で、視野方向が車両９における略前方とした仮想視点ＶＰ２を設定した場合は、車両９の左後方からその周辺全体を見渡すように、車両９（実際には車両像９０）及び車両９の周辺の様子を示す合成画像ＣＰ２が生成される。
【００５７】
なお、実際に合成画像を生成する場合においては、立体曲面ＳＰの全ての画素の値を決定する必要はなく、設定された仮想視点ＶＰに対応して合成画像の生成に必要となる領域の画素の値のみを撮影画像Ｐ１〜Ｐ４に基づいて決定することで、処理速度を向上できる。
【００５８】
前述のように、隣接して配置される２つの車載カメラにおいては重複して撮影可能な領域ＬＡ１〜ＬＡ２が存在する（図２参照。）。立体曲面ＳＰにおいては、この重複して撮影可能な領域ＬＡ１〜ＬＡ２に対応する部分が存在する。当該部分については、２つの撮影画像と重複して対応付けられるため、以下「重複領域」という。合成画像は、立体曲面ＳＰの一部を切り出して生成されることから、この立体曲面ＳＰの重複領域は、合成画像の重複領域であるともいえる。なお、合成画像の重複領域の範囲を示すデータは車種別データ４ａに含まれている。そのため、合成画像生成部３２は、合成画像の重複領域を特定して対象の重複領域の画素の値を所定の割合の値に変更して２つの撮影画像を混合する処理を行うことが可能となる。
【００５９】
図４は、立体曲面ＳＰにおいて、４つの撮影画像Ｐ１〜Ｐ４がそれぞれ対応する範囲を示す図である。図４中においては、４つの撮影画像Ｐ１〜Ｐ４がそれぞれ対応する範囲を、当該撮影画像と同じ符号を付した矢印で示している。
【００６０】
図４に示すように、立体曲面ＳＰには４つの重複領域ＯＡ１〜ＯＡ４が存在している。具体的には、車両像９０の前方左側の重複領域ＯＡ１は、車両９の前方左側の領域ＬＡ１に対応し、前方の撮影画像Ｐ１の範囲と左側方の撮影画像Ｐ３の範囲との双方が重なる領域に該当する。
【００６１】
また、車両像９０の前方右側の重複領域ＯＡ２は、車両９の前方右側の領域ＬＡ２に対応し、前方の撮影画像Ｐ１の範囲と右側方の撮影画像Ｐ４の範囲との双方が重なる領域に該当する。
【００６２】
また、車両像９０の後方左側の重複領域ＯＡ３は、車両９の後方左側の領域ＬＡ３に対応し、後方の撮影画像Ｐ２の範囲と左側方の撮影画像Ｐ３の範囲との双方が重なる領域に該当する。
【００６３】
また、車両像９０の後方右側の重複領域ＯＡ４は、車両９の後方右側の領域ＬＡ４に対応し、後方の撮影画像Ｐ２の範囲と右側方の撮影画像Ｐ４の範囲との双方が重なる領域に該当する。
【００６４】
これらの立体曲面ＳＰの重複領域ＯＡ１〜ＯＡ４の画素の値については、それぞれ対応する２つの撮影画像の画素の値を組み合わせて用いて導出される。例えば、撮影画像Ｐ１の重複領域ＯＡ１に該当する領域と、撮影画像Ｐ３の重複領域ＯＡ１に該当する領域との画素の値を、同じ割合（０．５：０．５）で混合して合成画像の重複領域を生成する。また、例えば撮影画像Ｐ２の重複領域ＯＡ３に該当する領域と、撮影画像Ｐ３の重複領域ＯＡ３に該当する領域の画素の値とを、同じ割合で混合して合成画像の重複領域を生成する。
【００６５】
なお、重複領域ＯＡ１〜ＯＡ４に関する画像の処理については左右対称としているため、以下の説明では左側の重複領域ＯＡ１、ＯＡ３と同様に右側の重複領域ＯＡ２、ＯＡ４に関しても左右反転して同様の処理がなされる。
【００６６】
図４に示す非重複領域ＳＰ１〜ＳＰ４は撮影画像Ｐ１からＰ４の範囲から重複領域ＯＡ１〜ＯＡ４を除いた一の車載カメラによる撮影領域を示している。つまり、非重複領域ＳＰ１は、フロントカメラ５１で撮影した撮影画像Ｐ１の範囲から重複領域ＯＡ１、および、ＯＡ２を除いた領域が該当する。また、非重複領域ＳＰ２はバックカメラ５２で撮影した撮影画像ＳＰ２の範囲から重複領域ＯＡ３、および、ＯＡ４を除いた領域が該当する。また、非重複領域ＳＰ３は左サイドカメラ５３で撮影した撮影画像ＳＰ３の範囲から重複領域ＯＡ１、および、ＯＡ３を除いた領域が該当する。さらに、非重複領域ＳＰ４は、右サイドカメラ５４で撮影した撮影画像Ｐ４の範囲から重複領域ＯＡ２、および、ＯＡ４を除いた領域が該当する。
【００６７】
＜１−３．エッジ強調処理＞
次に重複領域に含まれる物体の像を強調する方法について説明する。なお、以下では重複領域ＯＡ１における物体の像の強調処理について述べるが、重複領域ＯＡ１以外の他の重複領域ＯＡ２〜ＯＡ４についても、重複領域ＯＡ１と同様の処理が可能である。
【００６８】
図５は、立体曲面ＳＰの撮影画像Ｐ１を示す図である。撮影画像Ｐ１には物体の像Ｔ１１ａが映し出されている。そして、像Ｔ１１ａは立体曲面ＳＰ内では撮影画像Ｐ１の重複領域ＯＡ１に含まれており、その他の重複領域、および、非重複領域には含まれていない。
【００６９】
図６は、立体曲面ＳＰの撮影画像Ｐ３を示す図である。撮影画像Ｐ３には物体の像Ｔ１１ｂが映し出されている。そして、像Ｔ１１ｂは立体曲面ＳＰ内では撮影画像Ｐ３の重複領域ＯＡ１に含まれており、その他の重複領域、および、非重複領域には含まれていない。
【００７０】
図７は撮影画像Ｐ１と撮影画像Ｐ３とを混合させた状態を示す図である。重複領域ＯＡ１には、像Ｔ１１ａと像Ｔ１１ｂとが重複した状態で物体の像Ｔ１１として映し出されている。像Ｔ１１に含まれる像Ｔ１１ａと像Ｔ１１ｂとは重複領域ＯＡ１内で略同じ位置で重なり合った状態で重複領域ＯＡ１内に映し出されている。また、重複領域ＯＡ１では撮影画像Ｐ１の画素の値（例えば、輝度値）と、撮影画像Ｐ３の画素の値とが略半分ずつの割合（０．５：０．５）で、両方の撮影画像を合成画像生成部３２が混合する。
【００７１】
なお、撮影画像Ｐ１と撮影画像Ｐ３の２つの撮影画像を合成画像生成部３２が混合する場合、物体の画像上の画素位置が撮影画像Ｐ１と撮影画像Ｐ３とでズレることがあるため混合する２つの撮影画像の画素の値（代表的には、輝度値）が混合前と比べて低くなるため重複領域内の像Ｔ１１がぼやけたり、にじんだりして映し出されることが多い。そのため、重複領域ＯＡ１内の背景と物体の像ＴＡ１１との区別が困難となる、このような重複領域ＯＡ１を含む合成画像をユーザが視認した場合に、ユーザは重複領域ＯＡ１の像Ｔ１１の位置を正確に認識できない可能性がある。
【００７２】
このため、画像表示システム１２０では、画像強調部３３が像Ｔ１１のエッジを強調することで、像Ｔ１１を認識しやすくしている。
【００７３】
図８は、像Ｔ１１のエッジを強調した状態を示す図である。像Ｔ１１の強調処理としては、重複領域ＯＡ１に映し出された像Ｔ１１のエッジを画像強調部３３が強調する。つまり、重複領域ＯＡ１の画像中の一の画素の値と、その一の画素に隣接する画素の値とに差がある場合は、当該差の値を現在の差の値よりも大きい値に画像強調部３３が処理を行う。つまり、像Ｔ１１の輪郭となるエッジにおける隣接する画素間の値の差を現在の値よりも大きい値に変更する処理を画像強調部３３が行う。このように像Ｔ１１のエッジが強調されることで、重複領域の画像の像をユーザが容易に認識できる。
【００７４】
図９は、表示部２１に表示される合成画像の例を示す。表示部２１中の像Ｔ１１は、車両像９０の前方に表示されている。画像中の像Ｔ１１の位置は領域ＬＡ１に対応した立体曲面ＳＰの重複領域ＯＡ１内にある。また、像Ｔ１１の輪郭は、画像中の背景のなどより画像中で強調して表示されている。これにより、重複領域の中の物体の輪郭をユーザが容易に認識できる。
＜１−４．処理フローチャート＞
図１０はエッジ強調の処理フローチャートを示す。撮影部５で取得された撮影画像を対象とし、撮影画像調整部３１が表示に利用するための調整を行い（ステップＳ１０１）ステップＳ１０２の処理に進む。
【００７５】
ステップＳ１０２では、合成画像生成部３２が、撮影画像調整部３１により調整された撮影画像に基づいて、車両の周辺の任意の仮想視点からみた車両の周辺の少なくとも一部の領域を示す合成画像を生成する。また、合成画像生成部３２は、合成画像を生成する際に２つの車載カメラの２つの撮影画像を混合する処理を行い（ステップＳ１０２）、ステップＳ１０３の処理に進む。
【００７６】
ステップＳ１０３では、画像強調部３３が重複領域に含まれる物体の像を強調する処理（物体の像のエッジ強調処理）を行い（ステップＳ１０３）、ステップＳ１０４の処理に進む。
【００７７】
ステップＳ１０４では、制御部１がナビ通信部４２を介してナビゲーション装置２０に合成画像を送信する（ステップＳ１０５）。
【００７８】
＜２．第２の実施の形態＞
＜２−１．コントラスト強調処理＞
次に、第２の実施の形態について説明する。第２の実施の形態における画像表示システムの構成・処理は、第１の実施の形態とほぼ同様であるが一部のみが相違しているため、以下、第１の実施の形態との相違点を中心に説明する。第２の実施の形態では、画像強調部３３は重複領域に含まれる像の強調をコントラスト強調により行う。
【００７９】
図１１は、コントラスト強調処理における画像の信号の入出力値を示した図である。図１１のグラフの横軸は撮影部５から画像強調部３３に入力された画像信号の輝度値を示し、縦軸は画像強調部３３に入力された画像信号が強調された後の画像信号の輝度値を示している。
【００８０】
図１１のグラフ線（トーンカーブ）Ｒ１は、撮影画像の各画素の信号の入力値と出力値との比が１：１の場合を示している。例えば輝度値が６０ｃｄ／ｍ２の信号が入力された場合は、入力と同じ輝度値の６０ｃｄ／ｍ２の信号が出力される。また、輝度値が１６０ｃｄ／ｍ２の信号が入力された場合は、入力と同じ輝度値の１６０ｃｄ／ｍ２の信号が出力される。このように入力された信号の輝度値と同じ値で出力される信号は、非重複領域ＳＰ１〜ＳＰ４の信号である。つまり、非重複領域ＳＰ１〜ＳＰ４に対応する信号は、コントラストについては変更されずに出力される。
【００８１】
次に、図１１のグラフ線（トーンカーブ）Ｒ２では、画像信号の入力値と出力値が１：１の関係になく、例えば輝度値が６０ｃｄ／ｍ２の信号が入力された場合は、入力と異なる輝度値の９０ｃｄ／ｍ２の信号が出力される。また、輝度値が１６０ｃｄ／ｍ２の信号が入力された場合は、入力と異なる輝度値の２４０ｃｄ／ｍ２の信号が出力される。つまり、入力値と出力値の比は１：１．５となっている。このように、入力された信号の輝度値と異なる値に画像強調部３３が補正して出力される信号は、重複領域ＯＡ１〜ＯＡ４の信号である。
【００８２】
つまり、重複領域ＯＡ１〜ＯＡ４に対応する信号は、画像強調部３３により明るい部分がより明るくなるようにコントラスト補正がなされる。これにより、重複領域内の物体を含めた重複領域全体をユーザが容易に認識できる。また、車両９０のユーザは重複領域における物体の位置を正確に認識できる。
【００８３】
なお、図１１に示した非重複領域全体のグラフ線Ｒ１、および、重複領域全体のグラフ線Ｒ２は車種別データ４ａに含まれ不揮発性メモリ４０に記録されている。また、図１１の重複領域全体のグラフ線Ｒ２は一次関数（直線）として示されているが、それ以外の例えば、二次関数（曲線）の入出力値であってもよい。
＜２−２．処理フローチャート＞
図１２は、コントラスト強調の処理フローチャートを示す。図１２に示す処理フローチャートは第１の実施の形態で説明した図１０の処理フローチャートのステップＳ１０３のエッジ強調をコントラスト強調（ステップＳ２０３）に変更したものである。その他の処理は図１０のフローチャートの処理と同様の処理である。
【００８４】
ステップＳ１０２において、合成画像生成部３２が、車両の周辺の任意の仮想視点からみた車両の周辺の少なくとも一部の領域を示す合成画像を生成する。また、合成画像生成部３２は、合成画像を生成する際に２つの車載カメラの２つの撮影画像を混合する処理を行い（ステップＳ１０２）、ステップＳ２０３の処理に進む。
【００８５】
ステップＳ２０３では、画像強調部３３が重複領域の全体のコントラストを強調する処理を行い（ステップＳ２０３）、ステップＳ１０４の処理に進む。
【００８６】
＜３．第３の実施の形態＞
次に、第３の実施の形態について説明する。第３の実施の形態における画像表示システムの構成・処理は、第２の実施の形態とほぼ同様であるが一部のみが相違しているため、以下、第２の実施の形態との相違点を中心に説明する。第３の実施の形態では、撮影画像中の重複領域の物体の像を検出する構成が新たに備えられている。そのため、第３の実施の形態では重複領域ＯＡ１〜ＯＡ４の物体の像の位置を検出し、重複領域内の物体の像のみのコントラストを強調する処理が可能である。
＜３−１．システム構成＞
図１３は、第３の実施の形態の画像表示システム１２０ａの構成を示すブロック図である。画像表示システム１２０ａの画像処理装置１００ａに含まれる本体部１０ａは、制御部１ａを備えている。制御部１ａは物体検出部１２ａを備えている。
【００８７】
物体検出部１２ａは撮影画像Ｐ１〜Ｐ４の重複領域ＯＡ１〜ＯＡ４の物体の像をエッジに基づいて検出する。詳細には、重複領域に含まれる一の画素の値とその一の画素に隣接する重複領域に含まれる他の画素の値との差を導出し、両方の画素の値の差が所定の閾値以上となる画素を検出することでエッジを検出する。そして、このようなエッジを複数検出して、重複領域内のエッジに囲まれた領域を物体の像として検出する。このように検出された物体の像のみのコントラストを画像強調部３３が強調する処理を行う。つまり、画像強調部３３が物体の像の明るい部分がより明るくなるように物体の像のコントラスト補正を行う。これにより、重複領域内の物体の像をユーザが容易に認識できる。
＜３−２．処理フローチャート＞
図１４は、物体検出に伴うコントラスト強調の処理フローチャートを示す。図１４に示す処理フローチャートは第２の実施の形態で説明した図１２の処理フローチャートにステップＳ３０１の物体検出の処理を追加したものである。そして、図１２のステップＳ２０３のコントラスト強調の処理対象を重複領域ＯＡ１の全体から重複領域ＯＡ１内の物体とした点が異なる。その他の処理については図１２のフローチャートの処理と同様の処理である。
【００８８】
ステップＳ１０２において、合成画像生成部３２が、車両の周辺の任意の仮想視点からみた車両の周辺の少なくとも一部の領域を示す合成画像を生成する。また、合成画像生成部３２は、合成画像を生成する際に２つの車載カメラの２つの撮影画像を混合する処理を行い（ステップＳ１０２）、ステップＳ３０１の処理に進む。
【００８９】
ステップＳ３０１では、複数の撮影画像中の物体の像を物体検出部１２ａが検出する（ステップＳ３０１）。つまり、物体検出部１２ａは重複領域ＯＡ１中の物体の像の検出を行い（ステップＳ３０１）、ステップＳ３０３の処理に進む。
【００９０】
ステップＳ３０３では、物体検出部１２ａにより重複領域ＯＡ１内の位置が検出された物体のコントラストのみを画像強調部３３が強調する。すなわち、検出された物体の像に含まれる画素のみを対象として、図１１のグラフ線Ｒ２に従って輝度値を変換する。
＜４．第４の実施の形態＞
次に、第４の実施の形態について説明する。第４の実施の形態における画像表示システムの構成・処理は、第１の実施の形態とほぼ同様であるが一部のみが相違しているため、以下、第１の実施の形態との相違点を中心に説明する。第４の実施の形態では、複数の撮影画像中の物体の像の位置を検出する構成が新たに備えられている。そのため、複数の撮影画像中の物体の像を検出し、少なくとも一部が重複領域ＯＡ１〜ＯＡ４のいずれかの領域に含まれる物体の像を強調できる。
＜４−１．システム構成＞
第４の実施の形態の画像表示システム構成は図１３に示す第３の実施の形態のシステム構成と同じである。
【００９１】
なお、第４の実施の形態における物体検出部１２ａは撮影画像Ｐ１〜Ｐ４の重複領域ＯＡ１〜ＯＡ４のいずれかに少なくとも一部が含まれる物体の像を検出する。詳細には、撮影画像Ｐ１〜Ｐ４に含まれる一画素の値とその一の画素と隣接する他の画素の値との差を導出し、両方の画素の値の差が所定の閾値以上となる画素を検出することでエッジを検出する。このようなエッジを複数検出して、撮影画像Ｐ１〜Ｐ４中のエッジに囲まれた領域を物体の像として検出する。そして、検出された物体の像のうち全体が重複領域に含まれる、あるいは一部が重複領域に含まれ、残りが非重複領域に含まれるものを検出する。
【００９２】
＜４−２．エッジ強調処理＞
次に、少なくとも一部が重複領域に含まれる物体の像を強調する方法について説明する。なお、以下では重複領域ＯＡ１における物体の像の強調処理について述べるが、重複領域ＯＡ１以外の他の重複領域ＯＡ２〜ＯＡ４についても、重複領域ＯＡ１と同様の処理が可能である。
【００９３】
図１５は、立体曲面ＳＰの撮影画像Ｐ１を示す図である。撮影画像Ｐ１には物体の像Ｔ１２ａが映し出されている。そして、立体曲面ＳＰ内では撮影画像Ｐ１の重複領域ＯＡ１に像Ｔ１２ａの一部が含まれており、残りの部分が非重複領域ＳＰ１に含まれている。
【００９４】
図１６は、立体曲面ＳＰの撮影画像Ｐ３を示す図である。撮影画像Ｐ３には物体の像Ｔ１２ｂが映し出されている。そして、立体曲面ＳＰ内では撮影画像Ｐ３の重複領域ＯＡ１に像Ｔ１２ｂの全部が含まれており、その他の重複領域、および、非重複領域には含まれていない。
【００９５】
図１７は、撮影画像Ｐ１と撮影画像Ｐ３とを混合させた状態を示す図である。重複領域ＯＡ１には、像Ｔ１２ａと像Ｔ１２ｂとは重複領域ＯＡ１内で略同じ位置で重なり合った状態で物体の像Ｔ１２の一部が映し出されている。また、像Ｔ１２の残りの部分は非重複領域ＳＰ１内に映し出されており、重複領域ＯＡ１と非重複領域ＳＰ１の領域にまたがって物体の像Ｔ１２が映し出されている。なお、重複領域ＯＡ１と非重複領域ＳＰ１とにまたがった位置に物体の像Ｔ１２が存在することは物体検出部１２ａの物体検出処理により検出される。また、重複領域ＯＡ１では撮影画像Ｐ１の画素の値（代表的には、輝度値）と、撮影画像Ｐ３の画素の値とが略半分ずつの割合（０．５：０．５）で、両方の撮影画像を合成画像生成部３２が混合する。
【００９６】
そして、画像表示システム１２０ａでは画像強調部３３が像Ｔ１２のエッジを強調することで像Ｔ１２を認識しやすくしている。
【００９７】
図１８は、像Ｔ１２を強調した状態を示す図である。像Ｔ１２の強調処理としては、重複領域ＯＡ１と非重複領域ＳＰ１とにまたがって映し出された像Ｔ１２のエッジを画像強調部３３が強調する。つまり、重複領域ＯＡ１の画像中の一の画素の値と、その一の画素に隣接する他の画素の値とに差がある場合は、当該差の値を現在の差の値よりも大きい値に変更する処理を画像強調部３３が行う。つまり、像Ｔ１２の輪郭となるエッジにおける隣接する画素間の値の差を現在の値よりも大きい値に変更する処理を画像強調部３３が行う。このように物体の像Ｔ１２のエッジが強調されることで、物体の像の一部が重複領域外であっても物体の像全体をユーザがより認識しやすくなる。
＜４−３．重複領域と非重複領域とのエッジ強調＞
次に重複領域ＯＡ１と非重複領域ＳＰ１とにまたがった位置に存在する像Ｔ１２の強調処理について詳細に説明する。図１９は、重複領域ＯＡ１と非重複領域ＳＰ１とのエッジ強調の処理を説明した図である。なお、像Ｔ１２は例えば車両であり、以下においては、図中に示すｘｙ座標軸を用いて、方向を適宜示す。このｘｙ座標軸は像Ｔ１２に対して相対的に固定されるものであり、像Ｔ１２の車幅方向がｘ軸方向、像Ｔ１２の進行方向がｙ方向にそれぞれ対応する。詳細には、像Ｔ１２の左方向が−ｘ方向、像Ｔ１２の右方向が＋ｘ方向となる。また像Ｔ１２が前進する方向が＋ｙ方向、像Ｔ１２の後退する方向が−ｙ方向となる。
【００９８】
図１９の左側に示すエッジ強調前のグラフは像Ｔ１２に含まれる画素ＶＬａ，ＶＬｂ，ＶＬｃのそれぞれの隣接する画素との輝度差を示しており、例えばそれぞれの隣接する画素との輝度差は、画素ＶＬａが２０ｃｄ／ｍ２、ＶＬｂが２０ｃｄ／ｍ２、ＶＬｃが４０ｃｄ／ｍ２である。なお、それぞれの画素は、像Ｔ１２に含まれるエッジＬａ、Ｌｂ、および、Ｌｃに含まれる画素である。つまり、各画素はエッジＬａ、Ｌｂ、および、Ｌｃのそれぞれのｙ軸上の座標が同じ位置で、ｘ軸上の座標がそれぞれのエッジの位置に対応する。したがって、エッジＬａ上の画素ＶＬａ、エッジＬｂ上の画素ＶＬｂ、エッジＬｃ上の画素ＶＬｃの隣接する画素との輝度差がそれぞれグラフに示されている。なお、これらの３つ画素の値のうち画素ＶＬａ、及び、ＶＬｂは重複領域ＯＡ１に含まれ、画素ＶＬｃは非重複領域ＳＰ１に含まれる。
【００９９】
それぞれの画素（ＶＬａ、ＶＬｂ、および、ＶＬｃ）と隣接する画素との輝度差を大きくする処理であるエッジ強調処理を画像強調部３３が実施した結果を図１９の右側のエッジ強調後のグラフに示す。ここで、重複領域ＯＡ１に含まれる画素ＶＬａおよびＶＬｂは、強調前の輝度差が２０ｃｄ／ｍ２に対して強調後の輝度差は４倍の８０ｃｄ／ｍ２となっている。また、非重複領域ＳＰ１に含まれる画素ＶＬｃは、強調前の輝度差が４０ｃｄ／ｍ２に対して強調後の輝度差は２倍の８０ｃｄ／ｍ２となっている。つまり、隣接画素との輝度差の強調度合いが非重複領域ＳＰ１の強調の度合いよりも重複領域ＯＡ１の強調の度合いが大きい。これは、重複領域ＯＡ１は撮影画像Ｐ１と撮影画像Ｐ３との重複する領域の画像を混合する際に輝度値を含む画素の値を０．５：０．５の割合として混合しているため、非重複領域ＳＰ１の画像と比べて重複領域ＯＡ１に含まれる画素の輝度差は混合前と比べて低い値となっているためである。
【０１００】
このように、重複領域ＯＡ１と非重複領域ＳＰ１とのそれぞれにまたがって存在する物体の像Ｔ１２のエッジを構成する画素と隣接する画素との輝度差を大きな値とすることで重複領域ＯＡ１と非重複領域ＳＰ１との両方の領域において像Ｔ１２の輪郭が強調される。これにより、物体の像の一部が重複領域外であっても物体の像全体をユーザがより認識しやすくなる。
【０１０１】
図２０は、表示部２１に表示される合成画像の例を示した図である。表示部２１中の像Ｔ１２は、車両像９０の前方に表示されている。像Ｔ１２の位置は領域ＬＡ１および領域ＬＡ１に隣接する領域ＬＡ２に対応する重複領域ＯＡ１および非重複領域ＳＰ１の位置である。また、像Ｔ１２の輪郭は、画像中の背景などよりも画像中で強調して表示されている。これにより、ユーザは画像中の物体の像を正確に認識できる。
【０１０２】
なお、第４の実施の形態の説明は重複領域ＯＡ１と非重複領域ＳＰ１とに物体の像Ｔ１２がまたがって存在する場合に画像強調部３３がエッジを強調する処理について述べた。このようなエッジ強調以外にも重複領域ＯＡ１と非重複領域ＳＰ１とにまたがって存在する物体の像Ｔ１２のみのコントラストを画像強調部３３が強調する処理を行うようにしてもよい。さらに、物体の像Ｔ１２を含む重複領域ＯＡ１全体、および、非重複領域ＳＰ１全体のコントラスト強調を画像強調部３３が行うようにしてもよい。また、本実施の形態では重複領域ＯＡ１と非重複領域ＳＰ１とに物体の像Ｔ１２がまたがって存在する場合のエッジ強調について述べたが、重複領域と非重複領域との組み合わせが異なる撮影画像中にまたがって存在する物体についても同様に強調処理が行える。
＜４−４．処理フローチャート＞
図２１は、物体検出に伴うエッジ強調の処理フローチャートを示す。図２１に示す処理フローチャートは第２の実施の形態で説明した図１０の処理フローチャートにステップＳ４０１の物体検出の処理を追加したものである。また、図１０のステップＳ１０３におけるエッジ処理を重複領域に含まれる物体の像だけでなく、少なくとも一部が重複領域に含まれる物体の像のエッジ強調を行う図２１に示すステップＳ４０３の処理に変更した点が異なる。その他の処理については図１０のフローチャートの処理と同様の処理である。
【０１０３】
ステップＳ１０２において、合成画像生成部３２が、車両の周辺の任意の仮想視点からみた車両の周辺の少なくとも一部の領域を示す合成画像を生成する。また、合成画像生成部３２は、合成画像を生成する際に２つの車載カメラの２つの撮影画像を混合する処理を行い（ステップＳ１０２）、ステップＳ４０１の処理に進む。
【０１０４】
ステップＳ４０１では、複数の撮影画像中の物体の像を物体検出部１２ａが検出する（ステップＳ３０１）。つまり、物体検出部１２ａは重複領域ＯＡ１、および、非重複領域ＰＡ１中の物体の像の検出を行い、ステップＳ４０３の処理に進む。
【０１０５】
ステップＳ４０３では、少なくとも一部が重複領域ＯＡ１に含まれる物体の像Ｔ１２のエッジ強調を行い（ステップＳ４０３）、ステップＳ１０４の処理へ進む。
【０１０６】
＜５．変形例＞
以上、本発明の実施の形態について説明してきたが、この発明は上記実施の形態に限定されるものではなく様々な変形が可能である。以下では、このような変形例について説明する。上記実施の形態で説明した形態及び以下で説明する形態を含む全ての形態は、適宜に組み合わせ可能である。
【０１０７】
上記実施の形態において、物体の像及び物体の像を含む背景を強調する場合に、画素の値のうち主に輝度値を変更することについて述べたが、輝度値以外にも彩度などの他の値を変更するようにしてもよい。
【０１０８】
また、上記実施の形態では、合成画像のエッジ強調、および、合成画像のコントラスト強調の処理について述べたが、これらの処理を合わせて行ってもよい。
【０１０９】
また、上記実施の形態では、エッジ強調処理、および、コントラスト強調処理は合成画像生成後に行うこととして説明したが、合成画像を生成する前の撮影画像を対象として強調処理を行ってもよい。
【０１１０】
また、上記実施の形態では、画像生成装置１００とナビゲーション装置２０とは別の装置であるとして説明したが、画像生成装置１００とナビゲーション装置２０とが同一の筐体内に配置されて一体型の装置として構成されてもよい。
【０１１１】
また、上記実施の形態では、画像生成装置１００で生成された画像を表示する表示装置はナビゲーション装置２０であるとして説明したが、ナビゲーション機能等の特殊な機能を有していない一般的な表示装置であってもよい。
【０１１２】
また、上記実施の形態において、画像生成装置１００の制御部１によって実現されると説明した機能の一部は、ナビゲーション装置２０の制御部２３によって実現されてもよい。
【０１１３】
また、上記実施の形態において、信号入力部４１を介して画像生成装置１００の制御部１に入力されると説明した信号の一部または全部は、ナビゲーション装置２０に入力されるようになっていてもよい。この場合は、ナビ通信部４２を経由して、画像生成装置１００の制御部１に当該信号を入力すればよい。
【０１１４】
また、上記実施の形態では、プログラムに従ったＣＰＵの演算処理によってソフトウェア的に各種の機能が実現されると説明したが、これら機能のうちの一部は電気的なハードウェア回路により実現されてもよい。また逆に、ハードウェア回路によって実現されるとした機能のうちの一部は、ソフトウェア的に実現されてもよい。
【符号の説明】
【０１１５】
１ 制御部
３ 画像生成部
５ 撮影部
１０ 本体部
１１ 画像制御部
２０ ナビゲーション装置
３２ 合成画像生成部
５１ フロントカメラ
５２ バックカメラ
５３ 左サイドカメラ
５４ 右サイドカメラ
【技術分野】
【０００１】
本発明は、車両に搭載された表示装置に表示させる画像を生成する技術に関する。
【背景技術】
【０００２】
従来より、自動車などの車両に搭載され、車載カメラで車両の周辺を撮影して得られた画像を車室内のディスプレイに表示する画像表示システムが知られている。この画像表示システムを利用することにより、ドライバは車両の周辺の様子をほぼリアルタイムに把握することができる。
【０００３】
また、近年では、車両の異なる位置に配置された複数の車載カメラの複数の撮影画像を利用して、車両の直上などの仮想視点からみた車両の周辺の様子を示す合成画像を生成してディスプレイに表示する画像表示システムも提案されている（例えば、特許文献１参照。）。
【０００４】
このように仮想視点からの合成画像を生成する画像表示システムでは、例えば、車両の前方、左右側方及び後方にそれぞれ車載カメラが配置され、これらの４つの車載カメラで得られた４つの撮影画像を合成して、合成画像を生成することになる。この合成画像の生成に際して、４つの撮影画像を所定の境界線で単純に繋ぎ合わせた場合においては、撮影画像同士の境界部分に被写体の像の不連続性が発生する。このため、撮影画像同士の境界部分に対応する領域に存在する、あるいは、当該領域を通過する物体を認識しにくくなる。
【０００５】
これに対応するため、隣接して配置される２つの車載カメラが撮影する領域に重複する領域を持たせる。そして、合成画像における撮影画像同士の境界部分をこの２つの車載カメラの撮影画像を所定の割合で混合して生成することも提案されている（例えば、特許文献２参照。）。これによれば、撮影画像同士の境界部分における被写体の像の不連続性が緩和され、境界部分に対応する領域にある物体を認識しやすくできる。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００７−３６６６８号公報
【特許文献２】特開２００２−３５４４６８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、２つの車載カメラの撮影画像を混合した場合、混合する前よりも２つの車載カメラの撮影画像の重複領域の画像の輝度値などが低下し、ユーザが撮影画像中の背景の画像と物体の像とを見分けることが困難な場合があった。その結果、重複領域に含まれる物体の像をユーザが正確に認識できない可能性があった。
【０００８】
本発明は、上記課題に鑑みてなされたものであり、重複領域に含まれる物体の像を容易に認識できる技術を提供することを目的とする。
【課題を解決するための手段】
【０００９】
上記課題を解決するため、請求項１の発明は、車両に搭載された表示装置に表示させる画像を生成する画像生成装置であって、前記車両の異なる位置に配置された複数の車載カメラの複数の撮影画像を取得する取得手段と、前記複数の撮影画像を合成して、仮想視点から見た前記車両の周辺の様子を示す合成画像を生成し、かつ、前記複数の車載カメラのうちの２つの車載カメラの撮影範囲が重なる領域に対応する前記合成画像の重複領域を生成する際に該２つの車載カメラの２つの撮影画像を混合する生成手段と前記重複領域に含まれる物体の像を強調する強調手段と、前記合成画像を前記表示装置に出力して表示させる出力手段と、を備える。
【００１０】
また、請求項２の発明は、請求項１に記載の画像生成装置において、前記強調手段は、前記重複領域に含まれるエッジを強調する。
【００１１】
また、請求項３の発明は、請求項１または２に記載の画像処理装置において、前記強調手段は、前記重複領域の全体のコントラストを強調する。
【００１２】
また、請求項４の発明は、請求項１または２に記載の画像処理装置において、前記複数の撮影画像中の前記物体の像を検出する検出手段、をさらに備え、前記強調手段は、前記物体の像のみのコントラストを強調する。
【００１３】
また、請求項５の発明は、請求項１に記載の画像処理装置において、前記複数の撮影画像中の前記物体の像を検出する検出手段、をさらに備え、前記強調手段は、少なくとも一部が前記重複領域に含まれる前記物体の像を強調する。
【００１４】
また、請求項６の発明は、車両に搭載された表示装置に生成した画像を表示させる画像表示システムであって、前記車両の異なる位置に配置された複数の車載カメラの複数の撮影画像を取得する取得手段と、前記複数の撮影画像を合成して、仮想視点から見た前記車両の周辺の様子を示す合成画像を生成し、かつ、前記複数の車載カメラのうちの２つの車載カメラの撮影範囲が重なる領域に対応する前記合成画像の重複領域を生成する際に該２つの車載カメラの２つの撮影画像を混合する生成手段と前記重複領域に含まれる物体の像を強調する強調手段と、前記合成画像を表示する表示手段と、を備える。
【００１５】
さらに、請求項７の発明は、車両に搭載された表示装置に表示させる画像を生成する画像表示方法であって、（ａ）前記車両の異なる位置に配置された複数の車載カメラの複数の撮影画像を取得する工程と、（ｂ）前記複数の撮影画像を合成して、仮想視点から見た前記車両の周辺の様子を示す合成画像を生成し、かつ、前記複数の車載カメラのうちの２つの車載カメラの撮影範囲が重なる領域に対応する前記合成画像の重複領域を生成する際に該２つの車載カメラの２つの撮影画像を混合する工程と、（ｃ）前記重複領域に含まれる物体の像を強調する工程と、（ｄ）前記合成画像を前記表示装置に表示する工程と、を備える。
【発明の効果】
【００１６】
請求項１ないし７の発明によれば、重複領域に含まれる物体の像を強調することで、重複領域の画像の像をユーザが容易に認識できる。
【００１７】
また、特に請求項２の発明によれば、強調手段は、重複領域に含まれるエッジを強調することで、重複領域の中の物体の輪郭をユーザが容易に認識できる。
【００１８】
また、特に請求項３の発明によれば、強調手段は、前記重複領域の全体のコントラストを強調することで、重複領域内の物体を含めた重複領域全体をユーザが容易に認識できる。
【００１９】
また、特に請求項４の発明によれば、強調手段は、前記物体の像のみのコントラストを強調することで、重複領域内の物体の像をユーザが容易に認識できる。
【００２０】
さらに、特に請求項５の発明によれば、強調手段は、少なくとも一部が重複領域に含まれる物体の像を強調することで、物体の像の一部が重複領域外であっても物体の像全体をユーザがより認識しやすくなる。
【図面の簡単な説明】
【００２１】
【図１】図１は、画像表示システムの構成を示すブロック図である。
【図２】図２は、車載カメラが車両に配置される位置を示す図である。
【図３】図３は、合成画像を生成する手法を説明するための図である。
【図４】図４は、立体曲面において撮影画像が対応する範囲を示す図である。
【図５】図５は、立体曲面のフロントカメラの撮影画像を示す図である。
【図６】図６は、立体曲面の左サイドカメラの撮影画像を示す図である。
【図７】図７は、撮影画像を混合させた状態を示す図である。
【図８】図８は、物体の像のエッジを強調した状態を示す図である。
【図９】図９は、表示部に表示される合成画像の例を示す図である。
【図１０】図１０は、エッジ強調の処理フローチャートである。
【図１１】図１１は、コントラスト強調処理における画像の信号の入出力値を示した図である。
【図１２】図１２は、コントラスト強調の処理フローチャートを示す。
【図１３】図１３は、第３の実施の形態の画像表示システムの構成を示すブロック図である。
【図１４】図１４は、物体検出に伴うコントラスト強調の処理フローチャートである。
【図１５】図１５は、立体曲面の撮影画像を示す図である。
【図１６】図１６は、立体曲面の撮影画像を示す図である。
【図１７】図１７は、撮影画像を混合させた状態を示す図である。
【図１８】図１８は、物体の像を強調した状態を示す図である。
【図１９】図１９は、重複領域と非重複領域のエッジ強調の処理を説明した図である。
【図２０】図２０は、表示部に表示される合成画像の例を示した図である。
【図２１】図２１は、物体検出に伴うエッジ強調の処理フローチャートである。
【発明を実施するための形態】
【００２２】
以下、図面を参照しつつ本発明の実施の形態について説明する。
【００２３】
＜１．第１の実施の形態＞
＜１−１．システム構成＞
図１は、第１の実施の形態の画像表示システム１２０の構成を示すブロック図である。この画像表示システム１２０は、車両（本実施の形態では、自動車）に搭載されるものであり、車両の周辺を撮影して画像を生成して車室内に表示する機能を有している。画像表示システム１２０のユーザ（代表的にはドライバ）は、この画像表示システム１２０を利用することにより、当該車両の周辺の様子をほぼリアルタイムに把握できるようになっている。
【００２４】
図１に示すように、画像表示システム１２０は、車両の周辺を示す画像を生成する画像生成装置１００と、車両に乗車するユーザに対して各種情報を表示するナビゲーション装置２０とを主に備えている。画像生成装置１００で生成された画像は、ナビゲーション装置２０において表示される。
【００２５】
ナビゲーション装置２０は、ユーザに対しナビゲーション案内を行うものであり、タッチパネル機能を備えた液晶などのディスプレイ２１と、ユーザが操作を行う操作部２２と、装置全体を制御する制御部２３と、画像生成装置１００との間で通信を行う通信部２４とを主に備えている。
【００２６】
ディスプレイ２１の画面がユーザから視認可能なように、ナビゲーション装置２０は車両のインストルメントパネルなどに設置される。ユーザからの各種の指示は、操作部２２とタッチパネルとしてのディスプレイ２１とによって受け付けられる。制御部２３は、ＣＰＵ、ＲＡＭ及びＲＯＭなどを備えたコンピュータとして構成され、所定のプログラムに従ってＣＰＵが演算処理を行うことでナビゲーション機能を含む各種の機能が実現される。
【００２７】
ナビゲーション装置２０は、通信部２４により画像生成装置１００と通信可能に接続され、画像生成装置１００との間で各種の制御信号の送受信や、画像生成装置１００で生成された画像の受信が可能となっている。ディスプレイ２１には、制御部２３の制御により、通常はナビゲーション装置２０単体の機能に基づく画像が表示されるが、所定の条件下で画像生成装置１００で生成された車両の周辺の様子を示す画像が表示される。これにより、ナビゲーション装置２０は、画像生成装置１００で生成された画像を受信して表示する表示装置としても機能する。
【００２８】
画像生成装置１００は、その本体部１０が画像を生成する機能を有するＥＣＵ（Electronic Control Unit）として構成され、車両の所定の位置に配置される。画像生成装置１００は、車両の周辺を撮影する撮影部５を備えており、この撮影部５で車両の周辺を撮影して得られる撮影画像に基づいて仮想視点からみた合成画像を生成する。
【００２９】
撮影部５は、本体部１０に電気的に接続され本体部１０からの信号に基づいて動作する。撮影部５は、車載カメラであるフロントカメラ５１、バックカメラ５２、左サイドカメラ５３及び右サイドカメラ５４を備えている。各車載カメラ５１〜５４は、レンズと撮像素子とを備えており電子的に画像を取得する。
【００３０】
これらの複数の車載カメラ５１〜５４は、車両の異なる位置にそれぞれ配置される。図２は、車載カメラ５１〜５４が車両９に配置される位置を示す図である。
【００３１】
図２に示すように、フロントカメラ５１は、車両９の前端にあるナンバープレート取付位置の近傍に設けられ、その光軸５１ａは車両９の直進方向に向けられている。バックカメラ５２は、車両９の後端にあるナンバープレート取付位置の近傍に設けられ、その光軸５２ａは車両９の直進方向の逆方向に向けられている。これらフロントカメラ５１やバックカメラ５２の取り付け位置は、左右略中央であることが望ましいが、左右中央から左右方向に多少ずれた位置であってもよい。
【００３２】
また、左サイドカメラ５３は左側のドアミラー９３に設けられ、その光軸５３ａは車両９の左右方向（直進方向に直交する方向）に沿って車両９の左側に向けられている。一方、右サイドカメラ５４は右側のドアミラー９３に設けられ、その光軸５４ａは車両９の左右方向に沿って車両９の右側に向けられている。
【００３３】
これらの車載カメラ５１〜５４のレンズとしては魚眼レンズなどが採用されており、車載カメラ５１〜５４は１８０度以上の画角αを有している。このため、４つの車載カメラ５１〜５４を利用することで、車両９の全周囲の撮影が可能となっている。
【００３４】
また、図中においてハッチングで示す領域ＬＡ１〜ＬＡ４は、隣接して配置される２つの車載カメラの撮影範囲が重なる領域である。具体的には、車両９の前方左側の領域ＬＡ１は、フロントカメラ５１及び左サイドカメラ５３の撮影範囲が重なる領域である。また、車両９の前方右側の領域ＬＡ２は、フロントカメラ５１及び右サイドカメラ５４の撮影範囲が重なる領域である。また、車両９の後方左側の領域ＬＡ３は、バックカメラ５２及び左サイドカメラ５３の撮影範囲が重なる領域である。さらに、車両９の後方右側の領域ＬＡ４は、バックカメラ５２及び右サイドカメラ５４の撮影範囲が重なる領域である。
【００３５】
図１に戻り、画像生成装置１００の本体部１０は、装置全体を制御する制御部１と、撮影部５で取得された撮影画像を処理して表示用の画像を生成する画像生成部３と、ナビゲーション装置２０との間で通信を行うナビ通信部４２とを主に備えている。
【００３６】
ナビゲーション装置２０の操作部２２やディスプレイ２１によって受け付けられたユーザからの各種の指示は、制御信号としてナビ通信部４２によって受け付けられて制御部１に入力される。これにより、画像生成装置１００は、ナビゲーション装置２０に対するユーザの操作に応答した動作が可能となっている。
【００３７】
画像生成部３は、各種の画像処理が可能なハードウェア回路として構成されており、撮影画像調整部３１、合成画像生成部３２、および、画像強調部３３を主な機能として備えている。
【００３８】
撮影画像調整部３１は、撮影部５で取得された撮影画像を対象とし、表示に利用するための調整を行うものである。具体的には、撮影画像調整部３１は、撮影画像に対して、歪み補正、拡大縮小、及び、切り出しなどの画像処理を行う。
【００３９】
合成画像生成部３２は、撮影部５の複数の車載カメラ５１〜５４で取得された複数の撮影画像に基づいて、車両の周辺の任意の仮想視点からみた車両の周辺の少なくとも一部の領域を示す合成画像を生成する。合成画像生成部３２が合成画像を生成する手法については後述する。
【００４０】
また、合成画像生成部３２は、撮影部５の複数の車載カメラ５１〜５４のうちの２つの車載カメラの撮影範囲が重なる領域（図２に示すＬ１〜Ｌ４）に対応する合成画像の重複領域（図４に示すＯＡ１〜ＯＡ４）を生成する際に２つの車載カメラの２つの撮影画像を混合する処理を行う。つまり、複数の撮影画像に基づいて合成画像を生成する場合に、車両９０の周辺において撮影範囲が重なる領域に対応する画像中の領域については、画素の値（例えば、輝度値）を変更してから２つの撮影画像を混合する処理を行う。
【００４１】
画像強調部３３は、重複領域に含まれる物体の像を強調する処理を行う。物体の像の強調処理の例としては、物体の像のエッジを強調したり、物体のコントラストを強調する処理がある。物体の像を強調する処理の詳細については後述する。尚、本発明において物体とは、障害物のような立体物に限るものではなく、路面に形成された白線等平面状の物体も含むものであり、背景色に対して色や輝度等に違いを有する全ての物体を含むものである。
【００４２】
このように画像生成部３で生成された合成画像はさらに表示用の画像に調整され、その後、ナビ通信部４２によってナビゲーション装置２０に出力される。これにより、被写体として車両の周辺の領域を含む画像がナビゲーション装置２０のディスプレイ２１に表示されることになる。
【００４３】
制御部１は、ＣＰＵ、ＲＡＭ及びＲＯＭなどを備えたコンピュータとして構成され、所定のプログラムに従ってＣＰＵが演算処理を行うことで各種の制御機能が実現される。図中に示す、画像制御部１１は、このようにして実現される制御部１の機能のうちの一部を示している。
【００４４】
画像制御部１１は、画像生成部３によって実行される画像処理を制御するものである。例えば、画像制御部１１は、合成画像生成部３２が生成する合成画像の生成に必要な各種パラメータ、及び、画像強調部３３が物体の像などを強調する場合に必要な各種パラメータなどを指示する。
【００４５】
また、画像生成装置１００の本体部１０は、不揮発性メモリ４０、及び、信号入力部４１をさらに備えており、これらは制御部１に接続されている。
【００４６】
不揮発性メモリ４０は、電源オフ時においても記憶内容を維持可能なフラッシュメモリなどで構成されている。不揮発性メモリ４０には、車種別データ４ａが記憶されている。車種別データ４ａは、合成画像生成部３２が合成画像を生成する際に必要となる車両の種別に応じたデータなどである。
【００４７】
また、信号入力部４１は、車両に設けられた各種装置からの信号を入力する。この信号入力部４１を介して、画像表示システム１２０の外部からの信号が制御部１に入力される。具体的には、シフトセンサ８１、および、車速度センサ８２などから、各種情報を示す信号が制御部１に入力される。
【００４８】
シフトセンサ８１からは、車両の変速装置のシフトレバーの操作の位置、すなわち、”Ｐ（駐車）”，”Ｄ（前進）”，”Ｎ（中立）”，”Ｒ（後退）”などのシフトポジションが入力される。車速度センサ８２からは、その時点の車両９の走行速度（ｋｍ／ｈ）が入力される。
【００４９】
＜１−２．合成画像の生成＞
次に、画像生成部３の合成画像生成部３２が、撮影部５で得られた複数の撮影画像に基づいて任意の仮想視点からみた車両９の周辺の様子を示す合成画像を生成する手法について説明する。合成画像を生成する際には、不揮発性メモリ４０に予め記憶された車種別データ４ａが利用される。図３は、合成画像を生成する手法を説明するための図である。
【００５０】
撮影部５の４つの車載カメラ５１〜５４で同時に撮影が行われると、フロントカメラ５１で車両９の前方を示す撮影画像Ｐ１、バックカメラ５２で車両９の後方を示す撮影画像Ｐ２、左サイドカメラ５３で車両９の左側方を示す撮影画像Ｐ３、右サイドカメラ５４で車両９の右側方を示す撮影画像Ｐ４がそれぞれ取得される。これら４つの撮影画像Ｐ１〜Ｐ４には、撮影時点の車両９の全周囲を示す情報が含まれていることになる。
【００５１】
次に、４つの撮影画像Ｐ１〜Ｐ４の各画素が、仮想的な三次元空間における立体曲面ＳＰに投影される。立体曲面ＳＰは、例えば略半球状（お椀形状）をしており、その中心部分（お椀の底部分）が車両９が存在する位置として定められている。撮影画像Ｐ１〜Ｐ４に含まれる各画素の位置と、この立体曲面ＳＰの各画素の位置とは予め対応関係が定められている。このため、立体曲面ＳＰの各画素の値は、この対応関係と撮影画像Ｐ１〜Ｐ４に含まれる各画素の値とに基づいて決定できる。
【００５２】
撮影画像Ｐ１〜Ｐ４の各画素の位置と立体曲面ＳＰの各画素の位置との対応関係は、車両９における４つの車載カメラ５１〜５４の配置（相互間距離、地上高さ、光軸角度等）に依存する。このため、この対応関係を示すテーブルデータが、不揮発性メモリ４０に記憶された車種別データ４ａに含まれている。
【００５３】
また、車種別データ４ａに含まれる車体の形状やサイズを示すポリゴンデータが利用され、車両９の三次元形状を示すポリゴンモデルである車両像９０が仮想的に構成される。そして、構成された車両像９０は、立体曲面ＳＰが設定される三次元空間において、車両９の位置と定められた略半球状の中心部分に配置される。
【００５４】
また、立体曲面ＳＰが存在する三次元空間に対して、制御部１の画像制御部１１により仮想視点ＶＰが設定される。仮想視点ＶＰは、視点位置と視野方向とで規定され、この三次元空間における車両９の周辺に相当する任意の視点位置に任意の視野方向に向けて設定される。
【００５５】
そして、設定された仮想視点ＶＰに応じて、立体曲面ＳＰにおける必要な領域が画像として切り出される。仮想視点ＶＰと、立体曲面ＳＰにおける必要な領域との関係は予め定められており、テーブルデータとして不揮発性メモリ４０等に予め記憶されている。一方で、設定された仮想視点ＶＰに応じてポリゴンで構成された車両像９０に関してレンダリングがなされ、その結果となる二次元の車両像９０が、切り出された画像に対して重畳される。これにより、任意の仮想視点からみた車両９及びその車両９の周辺の様子を示す合成画像が生成されることになる。
【００５６】
例えば、視点位置が車両９の位置の略中央の直上位置で、視野方向が略直下方向とした仮想視点ＶＰ１を設定した場合は、車両９の略直上から車両９を見下ろすように、車両９（実際には車両像９０）及び車両９の周辺の様子を示す合成画像（俯瞰画像）ＣＰ１が生成される。また、図中に示すように、視点位置が車両９の位置の左後方で、視野方向が車両９における略前方とした仮想視点ＶＰ２を設定した場合は、車両９の左後方からその周辺全体を見渡すように、車両９（実際には車両像９０）及び車両９の周辺の様子を示す合成画像ＣＰ２が生成される。
【００５７】
なお、実際に合成画像を生成する場合においては、立体曲面ＳＰの全ての画素の値を決定する必要はなく、設定された仮想視点ＶＰに対応して合成画像の生成に必要となる領域の画素の値のみを撮影画像Ｐ１〜Ｐ４に基づいて決定することで、処理速度を向上できる。
【００５８】
前述のように、隣接して配置される２つの車載カメラにおいては重複して撮影可能な領域ＬＡ１〜ＬＡ２が存在する（図２参照。）。立体曲面ＳＰにおいては、この重複して撮影可能な領域ＬＡ１〜ＬＡ２に対応する部分が存在する。当該部分については、２つの撮影画像と重複して対応付けられるため、以下「重複領域」という。合成画像は、立体曲面ＳＰの一部を切り出して生成されることから、この立体曲面ＳＰの重複領域は、合成画像の重複領域であるともいえる。なお、合成画像の重複領域の範囲を示すデータは車種別データ４ａに含まれている。そのため、合成画像生成部３２は、合成画像の重複領域を特定して対象の重複領域の画素の値を所定の割合の値に変更して２つの撮影画像を混合する処理を行うことが可能となる。
【００５９】
図４は、立体曲面ＳＰにおいて、４つの撮影画像Ｐ１〜Ｐ４がそれぞれ対応する範囲を示す図である。図４中においては、４つの撮影画像Ｐ１〜Ｐ４がそれぞれ対応する範囲を、当該撮影画像と同じ符号を付した矢印で示している。
【００６０】
図４に示すように、立体曲面ＳＰには４つの重複領域ＯＡ１〜ＯＡ４が存在している。具体的には、車両像９０の前方左側の重複領域ＯＡ１は、車両９の前方左側の領域ＬＡ１に対応し、前方の撮影画像Ｐ１の範囲と左側方の撮影画像Ｐ３の範囲との双方が重なる領域に該当する。
【００６１】
また、車両像９０の前方右側の重複領域ＯＡ２は、車両９の前方右側の領域ＬＡ２に対応し、前方の撮影画像Ｐ１の範囲と右側方の撮影画像Ｐ４の範囲との双方が重なる領域に該当する。
【００６２】
また、車両像９０の後方左側の重複領域ＯＡ３は、車両９の後方左側の領域ＬＡ３に対応し、後方の撮影画像Ｐ２の範囲と左側方の撮影画像Ｐ３の範囲との双方が重なる領域に該当する。
【００６３】
また、車両像９０の後方右側の重複領域ＯＡ４は、車両９の後方右側の領域ＬＡ４に対応し、後方の撮影画像Ｐ２の範囲と右側方の撮影画像Ｐ４の範囲との双方が重なる領域に該当する。
【００６４】
これらの立体曲面ＳＰの重複領域ＯＡ１〜ＯＡ４の画素の値については、それぞれ対応する２つの撮影画像の画素の値を組み合わせて用いて導出される。例えば、撮影画像Ｐ１の重複領域ＯＡ１に該当する領域と、撮影画像Ｐ３の重複領域ＯＡ１に該当する領域との画素の値を、同じ割合（０．５：０．５）で混合して合成画像の重複領域を生成する。また、例えば撮影画像Ｐ２の重複領域ＯＡ３に該当する領域と、撮影画像Ｐ３の重複領域ＯＡ３に該当する領域の画素の値とを、同じ割合で混合して合成画像の重複領域を生成する。
【００６５】
なお、重複領域ＯＡ１〜ＯＡ４に関する画像の処理については左右対称としているため、以下の説明では左側の重複領域ＯＡ１、ＯＡ３と同様に右側の重複領域ＯＡ２、ＯＡ４に関しても左右反転して同様の処理がなされる。
【００６６】
図４に示す非重複領域ＳＰ１〜ＳＰ４は撮影画像Ｐ１からＰ４の範囲から重複領域ＯＡ１〜ＯＡ４を除いた一の車載カメラによる撮影領域を示している。つまり、非重複領域ＳＰ１は、フロントカメラ５１で撮影した撮影画像Ｐ１の範囲から重複領域ＯＡ１、および、ＯＡ２を除いた領域が該当する。また、非重複領域ＳＰ２はバックカメラ５２で撮影した撮影画像ＳＰ２の範囲から重複領域ＯＡ３、および、ＯＡ４を除いた領域が該当する。また、非重複領域ＳＰ３は左サイドカメラ５３で撮影した撮影画像ＳＰ３の範囲から重複領域ＯＡ１、および、ＯＡ３を除いた領域が該当する。さらに、非重複領域ＳＰ４は、右サイドカメラ５４で撮影した撮影画像Ｐ４の範囲から重複領域ＯＡ２、および、ＯＡ４を除いた領域が該当する。
【００６７】
＜１−３．エッジ強調処理＞
次に重複領域に含まれる物体の像を強調する方法について説明する。なお、以下では重複領域ＯＡ１における物体の像の強調処理について述べるが、重複領域ＯＡ１以外の他の重複領域ＯＡ２〜ＯＡ４についても、重複領域ＯＡ１と同様の処理が可能である。
【００６８】
図５は、立体曲面ＳＰの撮影画像Ｐ１を示す図である。撮影画像Ｐ１には物体の像Ｔ１１ａが映し出されている。そして、像Ｔ１１ａは立体曲面ＳＰ内では撮影画像Ｐ１の重複領域ＯＡ１に含まれており、その他の重複領域、および、非重複領域には含まれていない。
【００６９】
図６は、立体曲面ＳＰの撮影画像Ｐ３を示す図である。撮影画像Ｐ３には物体の像Ｔ１１ｂが映し出されている。そして、像Ｔ１１ｂは立体曲面ＳＰ内では撮影画像Ｐ３の重複領域ＯＡ１に含まれており、その他の重複領域、および、非重複領域には含まれていない。
【００７０】
図７は撮影画像Ｐ１と撮影画像Ｐ３とを混合させた状態を示す図である。重複領域ＯＡ１には、像Ｔ１１ａと像Ｔ１１ｂとが重複した状態で物体の像Ｔ１１として映し出されている。像Ｔ１１に含まれる像Ｔ１１ａと像Ｔ１１ｂとは重複領域ＯＡ１内で略同じ位置で重なり合った状態で重複領域ＯＡ１内に映し出されている。また、重複領域ＯＡ１では撮影画像Ｐ１の画素の値（例えば、輝度値）と、撮影画像Ｐ３の画素の値とが略半分ずつの割合（０．５：０．５）で、両方の撮影画像を合成画像生成部３２が混合する。
【００７１】
なお、撮影画像Ｐ１と撮影画像Ｐ３の２つの撮影画像を合成画像生成部３２が混合する場合、物体の画像上の画素位置が撮影画像Ｐ１と撮影画像Ｐ３とでズレることがあるため混合する２つの撮影画像の画素の値（代表的には、輝度値）が混合前と比べて低くなるため重複領域内の像Ｔ１１がぼやけたり、にじんだりして映し出されることが多い。そのため、重複領域ＯＡ１内の背景と物体の像ＴＡ１１との区別が困難となる、このような重複領域ＯＡ１を含む合成画像をユーザが視認した場合に、ユーザは重複領域ＯＡ１の像Ｔ１１の位置を正確に認識できない可能性がある。
【００７２】
このため、画像表示システム１２０では、画像強調部３３が像Ｔ１１のエッジを強調することで、像Ｔ１１を認識しやすくしている。
【００７３】
図８は、像Ｔ１１のエッジを強調した状態を示す図である。像Ｔ１１の強調処理としては、重複領域ＯＡ１に映し出された像Ｔ１１のエッジを画像強調部３３が強調する。つまり、重複領域ＯＡ１の画像中の一の画素の値と、その一の画素に隣接する画素の値とに差がある場合は、当該差の値を現在の差の値よりも大きい値に画像強調部３３が処理を行う。つまり、像Ｔ１１の輪郭となるエッジにおける隣接する画素間の値の差を現在の値よりも大きい値に変更する処理を画像強調部３３が行う。このように像Ｔ１１のエッジが強調されることで、重複領域の画像の像をユーザが容易に認識できる。
【００７４】
図９は、表示部２１に表示される合成画像の例を示す。表示部２１中の像Ｔ１１は、車両像９０の前方に表示されている。画像中の像Ｔ１１の位置は領域ＬＡ１に対応した立体曲面ＳＰの重複領域ＯＡ１内にある。また、像Ｔ１１の輪郭は、画像中の背景のなどより画像中で強調して表示されている。これにより、重複領域の中の物体の輪郭をユーザが容易に認識できる。
＜１−４．処理フローチャート＞
図１０はエッジ強調の処理フローチャートを示す。撮影部５で取得された撮影画像を対象とし、撮影画像調整部３１が表示に利用するための調整を行い（ステップＳ１０１）ステップＳ１０２の処理に進む。
【００７５】
ステップＳ１０２では、合成画像生成部３２が、撮影画像調整部３１により調整された撮影画像に基づいて、車両の周辺の任意の仮想視点からみた車両の周辺の少なくとも一部の領域を示す合成画像を生成する。また、合成画像生成部３２は、合成画像を生成する際に２つの車載カメラの２つの撮影画像を混合する処理を行い（ステップＳ１０２）、ステップＳ１０３の処理に進む。
【００７６】
ステップＳ１０３では、画像強調部３３が重複領域に含まれる物体の像を強調する処理（物体の像のエッジ強調処理）を行い（ステップＳ１０３）、ステップＳ１０４の処理に進む。
【００７７】
ステップＳ１０４では、制御部１がナビ通信部４２を介してナビゲーション装置２０に合成画像を送信する（ステップＳ１０５）。
【００７８】
＜２．第２の実施の形態＞
＜２−１．コントラスト強調処理＞
次に、第２の実施の形態について説明する。第２の実施の形態における画像表示システムの構成・処理は、第１の実施の形態とほぼ同様であるが一部のみが相違しているため、以下、第１の実施の形態との相違点を中心に説明する。第２の実施の形態では、画像強調部３３は重複領域に含まれる像の強調をコントラスト強調により行う。
【００７９】
図１１は、コントラスト強調処理における画像の信号の入出力値を示した図である。図１１のグラフの横軸は撮影部５から画像強調部３３に入力された画像信号の輝度値を示し、縦軸は画像強調部３３に入力された画像信号が強調された後の画像信号の輝度値を示している。
【００８０】
図１１のグラフ線（トーンカーブ）Ｒ１は、撮影画像の各画素の信号の入力値と出力値との比が１：１の場合を示している。例えば輝度値が６０ｃｄ／ｍ２の信号が入力された場合は、入力と同じ輝度値の６０ｃｄ／ｍ２の信号が出力される。また、輝度値が１６０ｃｄ／ｍ２の信号が入力された場合は、入力と同じ輝度値の１６０ｃｄ／ｍ２の信号が出力される。このように入力された信号の輝度値と同じ値で出力される信号は、非重複領域ＳＰ１〜ＳＰ４の信号である。つまり、非重複領域ＳＰ１〜ＳＰ４に対応する信号は、コントラストについては変更されずに出力される。
【００８１】
次に、図１１のグラフ線（トーンカーブ）Ｒ２では、画像信号の入力値と出力値が１：１の関係になく、例えば輝度値が６０ｃｄ／ｍ２の信号が入力された場合は、入力と異なる輝度値の９０ｃｄ／ｍ２の信号が出力される。また、輝度値が１６０ｃｄ／ｍ２の信号が入力された場合は、入力と異なる輝度値の２４０ｃｄ／ｍ２の信号が出力される。つまり、入力値と出力値の比は１：１．５となっている。このように、入力された信号の輝度値と異なる値に画像強調部３３が補正して出力される信号は、重複領域ＯＡ１〜ＯＡ４の信号である。
【００８２】
つまり、重複領域ＯＡ１〜ＯＡ４に対応する信号は、画像強調部３３により明るい部分がより明るくなるようにコントラスト補正がなされる。これにより、重複領域内の物体を含めた重複領域全体をユーザが容易に認識できる。また、車両９０のユーザは重複領域における物体の位置を正確に認識できる。
【００８３】
なお、図１１に示した非重複領域全体のグラフ線Ｒ１、および、重複領域全体のグラフ線Ｒ２は車種別データ４ａに含まれ不揮発性メモリ４０に記録されている。また、図１１の重複領域全体のグラフ線Ｒ２は一次関数（直線）として示されているが、それ以外の例えば、二次関数（曲線）の入出力値であってもよい。
＜２−２．処理フローチャート＞
図１２は、コントラスト強調の処理フローチャートを示す。図１２に示す処理フローチャートは第１の実施の形態で説明した図１０の処理フローチャートのステップＳ１０３のエッジ強調をコントラスト強調（ステップＳ２０３）に変更したものである。その他の処理は図１０のフローチャートの処理と同様の処理である。
【００８４】
ステップＳ１０２において、合成画像生成部３２が、車両の周辺の任意の仮想視点からみた車両の周辺の少なくとも一部の領域を示す合成画像を生成する。また、合成画像生成部３２は、合成画像を生成する際に２つの車載カメラの２つの撮影画像を混合する処理を行い（ステップＳ１０２）、ステップＳ２０３の処理に進む。
【００８５】
ステップＳ２０３では、画像強調部３３が重複領域の全体のコントラストを強調する処理を行い（ステップＳ２０３）、ステップＳ１０４の処理に進む。
【００８６】
＜３．第３の実施の形態＞
次に、第３の実施の形態について説明する。第３の実施の形態における画像表示システムの構成・処理は、第２の実施の形態とほぼ同様であるが一部のみが相違しているため、以下、第２の実施の形態との相違点を中心に説明する。第３の実施の形態では、撮影画像中の重複領域の物体の像を検出する構成が新たに備えられている。そのため、第３の実施の形態では重複領域ＯＡ１〜ＯＡ４の物体の像の位置を検出し、重複領域内の物体の像のみのコントラストを強調する処理が可能である。
＜３−１．システム構成＞
図１３は、第３の実施の形態の画像表示システム１２０ａの構成を示すブロック図である。画像表示システム１２０ａの画像処理装置１００ａに含まれる本体部１０ａは、制御部１ａを備えている。制御部１ａは物体検出部１２ａを備えている。
【００８７】
物体検出部１２ａは撮影画像Ｐ１〜Ｐ４の重複領域ＯＡ１〜ＯＡ４の物体の像をエッジに基づいて検出する。詳細には、重複領域に含まれる一の画素の値とその一の画素に隣接する重複領域に含まれる他の画素の値との差を導出し、両方の画素の値の差が所定の閾値以上となる画素を検出することでエッジを検出する。そして、このようなエッジを複数検出して、重複領域内のエッジに囲まれた領域を物体の像として検出する。このように検出された物体の像のみのコントラストを画像強調部３３が強調する処理を行う。つまり、画像強調部３３が物体の像の明るい部分がより明るくなるように物体の像のコントラスト補正を行う。これにより、重複領域内の物体の像をユーザが容易に認識できる。
＜３−２．処理フローチャート＞
図１４は、物体検出に伴うコントラスト強調の処理フローチャートを示す。図１４に示す処理フローチャートは第２の実施の形態で説明した図１２の処理フローチャートにステップＳ３０１の物体検出の処理を追加したものである。そして、図１２のステップＳ２０３のコントラスト強調の処理対象を重複領域ＯＡ１の全体から重複領域ＯＡ１内の物体とした点が異なる。その他の処理については図１２のフローチャートの処理と同様の処理である。
【００８８】
ステップＳ１０２において、合成画像生成部３２が、車両の周辺の任意の仮想視点からみた車両の周辺の少なくとも一部の領域を示す合成画像を生成する。また、合成画像生成部３２は、合成画像を生成する際に２つの車載カメラの２つの撮影画像を混合する処理を行い（ステップＳ１０２）、ステップＳ３０１の処理に進む。
【００８９】
ステップＳ３０１では、複数の撮影画像中の物体の像を物体検出部１２ａが検出する（ステップＳ３０１）。つまり、物体検出部１２ａは重複領域ＯＡ１中の物体の像の検出を行い（ステップＳ３０１）、ステップＳ３０３の処理に進む。
【００９０】
ステップＳ３０３では、物体検出部１２ａにより重複領域ＯＡ１内の位置が検出された物体のコントラストのみを画像強調部３３が強調する。すなわち、検出された物体の像に含まれる画素のみを対象として、図１１のグラフ線Ｒ２に従って輝度値を変換する。
＜４．第４の実施の形態＞
次に、第４の実施の形態について説明する。第４の実施の形態における画像表示システムの構成・処理は、第１の実施の形態とほぼ同様であるが一部のみが相違しているため、以下、第１の実施の形態との相違点を中心に説明する。第４の実施の形態では、複数の撮影画像中の物体の像の位置を検出する構成が新たに備えられている。そのため、複数の撮影画像中の物体の像を検出し、少なくとも一部が重複領域ＯＡ１〜ＯＡ４のいずれかの領域に含まれる物体の像を強調できる。
＜４−１．システム構成＞
第４の実施の形態の画像表示システム構成は図１３に示す第３の実施の形態のシステム構成と同じである。
【００９１】
なお、第４の実施の形態における物体検出部１２ａは撮影画像Ｐ１〜Ｐ４の重複領域ＯＡ１〜ＯＡ４のいずれかに少なくとも一部が含まれる物体の像を検出する。詳細には、撮影画像Ｐ１〜Ｐ４に含まれる一画素の値とその一の画素と隣接する他の画素の値との差を導出し、両方の画素の値の差が所定の閾値以上となる画素を検出することでエッジを検出する。このようなエッジを複数検出して、撮影画像Ｐ１〜Ｐ４中のエッジに囲まれた領域を物体の像として検出する。そして、検出された物体の像のうち全体が重複領域に含まれる、あるいは一部が重複領域に含まれ、残りが非重複領域に含まれるものを検出する。
【００９２】
＜４−２．エッジ強調処理＞
次に、少なくとも一部が重複領域に含まれる物体の像を強調する方法について説明する。なお、以下では重複領域ＯＡ１における物体の像の強調処理について述べるが、重複領域ＯＡ１以外の他の重複領域ＯＡ２〜ＯＡ４についても、重複領域ＯＡ１と同様の処理が可能である。
【００９３】
図１５は、立体曲面ＳＰの撮影画像Ｐ１を示す図である。撮影画像Ｐ１には物体の像Ｔ１２ａが映し出されている。そして、立体曲面ＳＰ内では撮影画像Ｐ１の重複領域ＯＡ１に像Ｔ１２ａの一部が含まれており、残りの部分が非重複領域ＳＰ１に含まれている。
【００９４】
図１６は、立体曲面ＳＰの撮影画像Ｐ３を示す図である。撮影画像Ｐ３には物体の像Ｔ１２ｂが映し出されている。そして、立体曲面ＳＰ内では撮影画像Ｐ３の重複領域ＯＡ１に像Ｔ１２ｂの全部が含まれており、その他の重複領域、および、非重複領域には含まれていない。
【００９５】
図１７は、撮影画像Ｐ１と撮影画像Ｐ３とを混合させた状態を示す図である。重複領域ＯＡ１には、像Ｔ１２ａと像Ｔ１２ｂとは重複領域ＯＡ１内で略同じ位置で重なり合った状態で物体の像Ｔ１２の一部が映し出されている。また、像Ｔ１２の残りの部分は非重複領域ＳＰ１内に映し出されており、重複領域ＯＡ１と非重複領域ＳＰ１の領域にまたがって物体の像Ｔ１２が映し出されている。なお、重複領域ＯＡ１と非重複領域ＳＰ１とにまたがった位置に物体の像Ｔ１２が存在することは物体検出部１２ａの物体検出処理により検出される。また、重複領域ＯＡ１では撮影画像Ｐ１の画素の値（代表的には、輝度値）と、撮影画像Ｐ３の画素の値とが略半分ずつの割合（０．５：０．５）で、両方の撮影画像を合成画像生成部３２が混合する。
【００９６】
そして、画像表示システム１２０ａでは画像強調部３３が像Ｔ１２のエッジを強調することで像Ｔ１２を認識しやすくしている。
【００９７】
図１８は、像Ｔ１２を強調した状態を示す図である。像Ｔ１２の強調処理としては、重複領域ＯＡ１と非重複領域ＳＰ１とにまたがって映し出された像Ｔ１２のエッジを画像強調部３３が強調する。つまり、重複領域ＯＡ１の画像中の一の画素の値と、その一の画素に隣接する他の画素の値とに差がある場合は、当該差の値を現在の差の値よりも大きい値に変更する処理を画像強調部３３が行う。つまり、像Ｔ１２の輪郭となるエッジにおける隣接する画素間の値の差を現在の値よりも大きい値に変更する処理を画像強調部３３が行う。このように物体の像Ｔ１２のエッジが強調されることで、物体の像の一部が重複領域外であっても物体の像全体をユーザがより認識しやすくなる。
＜４−３．重複領域と非重複領域とのエッジ強調＞
次に重複領域ＯＡ１と非重複領域ＳＰ１とにまたがった位置に存在する像Ｔ１２の強調処理について詳細に説明する。図１９は、重複領域ＯＡ１と非重複領域ＳＰ１とのエッジ強調の処理を説明した図である。なお、像Ｔ１２は例えば車両であり、以下においては、図中に示すｘｙ座標軸を用いて、方向を適宜示す。このｘｙ座標軸は像Ｔ１２に対して相対的に固定されるものであり、像Ｔ１２の車幅方向がｘ軸方向、像Ｔ１２の進行方向がｙ方向にそれぞれ対応する。詳細には、像Ｔ１２の左方向が−ｘ方向、像Ｔ１２の右方向が＋ｘ方向となる。また像Ｔ１２が前進する方向が＋ｙ方向、像Ｔ１２の後退する方向が−ｙ方向となる。
【００９８】
図１９の左側に示すエッジ強調前のグラフは像Ｔ１２に含まれる画素ＶＬａ，ＶＬｂ，ＶＬｃのそれぞれの隣接する画素との輝度差を示しており、例えばそれぞれの隣接する画素との輝度差は、画素ＶＬａが２０ｃｄ／ｍ２、ＶＬｂが２０ｃｄ／ｍ２、ＶＬｃが４０ｃｄ／ｍ２である。なお、それぞれの画素は、像Ｔ１２に含まれるエッジＬａ、Ｌｂ、および、Ｌｃに含まれる画素である。つまり、各画素はエッジＬａ、Ｌｂ、および、Ｌｃのそれぞれのｙ軸上の座標が同じ位置で、ｘ軸上の座標がそれぞれのエッジの位置に対応する。したがって、エッジＬａ上の画素ＶＬａ、エッジＬｂ上の画素ＶＬｂ、エッジＬｃ上の画素ＶＬｃの隣接する画素との輝度差がそれぞれグラフに示されている。なお、これらの３つ画素の値のうち画素ＶＬａ、及び、ＶＬｂは重複領域ＯＡ１に含まれ、画素ＶＬｃは非重複領域ＳＰ１に含まれる。
【００９９】
それぞれの画素（ＶＬａ、ＶＬｂ、および、ＶＬｃ）と隣接する画素との輝度差を大きくする処理であるエッジ強調処理を画像強調部３３が実施した結果を図１９の右側のエッジ強調後のグラフに示す。ここで、重複領域ＯＡ１に含まれる画素ＶＬａおよびＶＬｂは、強調前の輝度差が２０ｃｄ／ｍ２に対して強調後の輝度差は４倍の８０ｃｄ／ｍ２となっている。また、非重複領域ＳＰ１に含まれる画素ＶＬｃは、強調前の輝度差が４０ｃｄ／ｍ２に対して強調後の輝度差は２倍の８０ｃｄ／ｍ２となっている。つまり、隣接画素との輝度差の強調度合いが非重複領域ＳＰ１の強調の度合いよりも重複領域ＯＡ１の強調の度合いが大きい。これは、重複領域ＯＡ１は撮影画像Ｐ１と撮影画像Ｐ３との重複する領域の画像を混合する際に輝度値を含む画素の値を０．５：０．５の割合として混合しているため、非重複領域ＳＰ１の画像と比べて重複領域ＯＡ１に含まれる画素の輝度差は混合前と比べて低い値となっているためである。
【０１００】
このように、重複領域ＯＡ１と非重複領域ＳＰ１とのそれぞれにまたがって存在する物体の像Ｔ１２のエッジを構成する画素と隣接する画素との輝度差を大きな値とすることで重複領域ＯＡ１と非重複領域ＳＰ１との両方の領域において像Ｔ１２の輪郭が強調される。これにより、物体の像の一部が重複領域外であっても物体の像全体をユーザがより認識しやすくなる。
【０１０１】
図２０は、表示部２１に表示される合成画像の例を示した図である。表示部２１中の像Ｔ１２は、車両像９０の前方に表示されている。像Ｔ１２の位置は領域ＬＡ１および領域ＬＡ１に隣接する領域ＬＡ２に対応する重複領域ＯＡ１および非重複領域ＳＰ１の位置である。また、像Ｔ１２の輪郭は、画像中の背景などよりも画像中で強調して表示されている。これにより、ユーザは画像中の物体の像を正確に認識できる。
【０１０２】
なお、第４の実施の形態の説明は重複領域ＯＡ１と非重複領域ＳＰ１とに物体の像Ｔ１２がまたがって存在する場合に画像強調部３３がエッジを強調する処理について述べた。このようなエッジ強調以外にも重複領域ＯＡ１と非重複領域ＳＰ１とにまたがって存在する物体の像Ｔ１２のみのコントラストを画像強調部３３が強調する処理を行うようにしてもよい。さらに、物体の像Ｔ１２を含む重複領域ＯＡ１全体、および、非重複領域ＳＰ１全体のコントラスト強調を画像強調部３３が行うようにしてもよい。また、本実施の形態では重複領域ＯＡ１と非重複領域ＳＰ１とに物体の像Ｔ１２がまたがって存在する場合のエッジ強調について述べたが、重複領域と非重複領域との組み合わせが異なる撮影画像中にまたがって存在する物体についても同様に強調処理が行える。
＜４−４．処理フローチャート＞
図２１は、物体検出に伴うエッジ強調の処理フローチャートを示す。図２１に示す処理フローチャートは第２の実施の形態で説明した図１０の処理フローチャートにステップＳ４０１の物体検出の処理を追加したものである。また、図１０のステップＳ１０３におけるエッジ処理を重複領域に含まれる物体の像だけでなく、少なくとも一部が重複領域に含まれる物体の像のエッジ強調を行う図２１に示すステップＳ４０３の処理に変更した点が異なる。その他の処理については図１０のフローチャートの処理と同様の処理である。
【０１０３】
ステップＳ１０２において、合成画像生成部３２が、車両の周辺の任意の仮想視点からみた車両の周辺の少なくとも一部の領域を示す合成画像を生成する。また、合成画像生成部３２は、合成画像を生成する際に２つの車載カメラの２つの撮影画像を混合する処理を行い（ステップＳ１０２）、ステップＳ４０１の処理に進む。
【０１０４】
ステップＳ４０１では、複数の撮影画像中の物体の像を物体検出部１２ａが検出する（ステップＳ３０１）。つまり、物体検出部１２ａは重複領域ＯＡ１、および、非重複領域ＰＡ１中の物体の像の検出を行い、ステップＳ４０３の処理に進む。
【０１０５】
ステップＳ４０３では、少なくとも一部が重複領域ＯＡ１に含まれる物体の像Ｔ１２のエッジ強調を行い（ステップＳ４０３）、ステップＳ１０４の処理へ進む。
【０１０６】
＜５．変形例＞
以上、本発明の実施の形態について説明してきたが、この発明は上記実施の形態に限定されるものではなく様々な変形が可能である。以下では、このような変形例について説明する。上記実施の形態で説明した形態及び以下で説明する形態を含む全ての形態は、適宜に組み合わせ可能である。
【０１０７】
上記実施の形態において、物体の像及び物体の像を含む背景を強調する場合に、画素の値のうち主に輝度値を変更することについて述べたが、輝度値以外にも彩度などの他の値を変更するようにしてもよい。
【０１０８】
また、上記実施の形態では、合成画像のエッジ強調、および、合成画像のコントラスト強調の処理について述べたが、これらの処理を合わせて行ってもよい。
【０１０９】
また、上記実施の形態では、エッジ強調処理、および、コントラスト強調処理は合成画像生成後に行うこととして説明したが、合成画像を生成する前の撮影画像を対象として強調処理を行ってもよい。
【０１１０】
また、上記実施の形態では、画像生成装置１００とナビゲーション装置２０とは別の装置であるとして説明したが、画像生成装置１００とナビゲーション装置２０とが同一の筐体内に配置されて一体型の装置として構成されてもよい。
【０１１１】
また、上記実施の形態では、画像生成装置１００で生成された画像を表示する表示装置はナビゲーション装置２０であるとして説明したが、ナビゲーション機能等の特殊な機能を有していない一般的な表示装置であってもよい。
【０１１２】
また、上記実施の形態において、画像生成装置１００の制御部１によって実現されると説明した機能の一部は、ナビゲーション装置２０の制御部２３によって実現されてもよい。
【０１１３】
また、上記実施の形態において、信号入力部４１を介して画像生成装置１００の制御部１に入力されると説明した信号の一部または全部は、ナビゲーション装置２０に入力されるようになっていてもよい。この場合は、ナビ通信部４２を経由して、画像生成装置１００の制御部１に当該信号を入力すればよい。
【０１１４】
また、上記実施の形態では、プログラムに従ったＣＰＵの演算処理によってソフトウェア的に各種の機能が実現されると説明したが、これら機能のうちの一部は電気的なハードウェア回路により実現されてもよい。また逆に、ハードウェア回路によって実現されるとした機能のうちの一部は、ソフトウェア的に実現されてもよい。
【符号の説明】
【０１１５】
１ 制御部
３ 画像生成部
５ 撮影部
１０ 本体部
１１ 画像制御部
２０ ナビゲーション装置
３２ 合成画像生成部
５１ フロントカメラ
５２ バックカメラ
５３ 左サイドカメラ
５４ 右サイドカメラ
【特許請求の範囲】
【請求項１】
車両に搭載された表示装置に表示させる画像を生成する画像生成装置であって、
前記車両の異なる位置に配置された複数の車載カメラの複数の撮影画像を取得する取得手段と、
前記複数の撮影画像を合成して、仮想視点から見た前記車両の周辺の様子を示す合成画像を生成し、かつ、前記複数の車載カメラのうちの２つの車載カメラの撮影範囲が重なる領域に対応する前記合成画像の重複領域を生成する際に該２つの車載カメラの２つの撮影画像を混合する生成手段と
前記重複領域に含まれる物体の像を強調する強調手段と、
前記合成画像を前記表示装置に出力して表示させる出力手段と、
を備えることを特徴とする画像生成装置。
【請求項２】
請求項１に記載の画像生成装置において、
前記強調手段は、前記重複領域に含まれるエッジを強調すること、
を特徴とする画像生成装置。
【請求項３】
請求項１または２に記載の画像処理装置において、
前記強調手段は、前記重複領域の全体のコントラストを強調すること、
を特徴とする画像処理装置。
【請求項４】
請求項１または２に記載の画像処理装置において、
前記複数の撮影画像中の前記物体の像を検出する検出手段、
をさらに備え、
前記強調手段は、前記物体の像のみのコントラストを強調すること、
を特徴とする画像処理装置。
【請求項５】
請求項１に記載の画像処理装置において、
前記複数の撮影画像中の前記物体の像を検出する検出手段、
をさらに備え、
前記強調手段は、少なくとも一部が前記重複領域に含まれる前記物体の像を強調することを特徴とする画像処理装置。
【請求項６】
車両に搭載された表示装置に画像を表示させる画像表示システムであって、
前記車両の異なる位置に配置された複数の車載カメラの複数の撮影画像を取得する取得手段と、
前記複数の撮影画像を合成して、仮想視点から見た前記車両の周辺の様子を示す合成画像を生成し、かつ、前記複数の車載カメラのうちの２つの車載カメラの撮影範囲が重なる領域に対応する前記合成画像の重複領域を生成する際に該２つの車載カメラの２つの撮影画像を混合する生成手段と
前記重複領域に含まれる物体の像を強調する強調手段と、
前記合成画像を表示する表示手段と、
を備えることを特徴とする画像表示システム。
【請求項７】
車両に搭載された表示装置に表示させる画像を生成する画像表示方法であって、
（ａ）前記車両の異なる位置に配置された複数の車載カメラの複数の撮影画像を取得する工程と、
（ｂ）前記複数の撮影画像を合成して、仮想視点から見た前記車両の周辺の様子を示す合成画像を生成し、かつ、前記複数の車載カメラのうちの２つの車載カメラの撮影範囲が重なる領域に対応する前記合成画像の重複領域を生成する際に該２つの車載カメラの２つの撮影画像を混合する工程と
（ｃ）前記重複領域に含まれる物体の像を強調する工程と、
（ｄ）前記合成画像を前記表示装置に表示する工程と、
を備えることを特徴とする画像表示方法。
【請求項１】
車両に搭載された表示装置に表示させる画像を生成する画像生成装置であって、
前記車両の異なる位置に配置された複数の車載カメラの複数の撮影画像を取得する取得手段と、
前記複数の撮影画像を合成して、仮想視点から見た前記車両の周辺の様子を示す合成画像を生成し、かつ、前記複数の車載カメラのうちの２つの車載カメラの撮影範囲が重なる領域に対応する前記合成画像の重複領域を生成する際に該２つの車載カメラの２つの撮影画像を混合する生成手段と
前記重複領域に含まれる物体の像を強調する強調手段と、
前記合成画像を前記表示装置に出力して表示させる出力手段と、
を備えることを特徴とする画像生成装置。
【請求項２】
請求項１に記載の画像生成装置において、
前記強調手段は、前記重複領域に含まれるエッジを強調すること、
を特徴とする画像生成装置。
【請求項３】
請求項１または２に記載の画像処理装置において、
前記強調手段は、前記重複領域の全体のコントラストを強調すること、
を特徴とする画像処理装置。
【請求項４】
請求項１または２に記載の画像処理装置において、
前記複数の撮影画像中の前記物体の像を検出する検出手段、
をさらに備え、
前記強調手段は、前記物体の像のみのコントラストを強調すること、
を特徴とする画像処理装置。
【請求項５】
請求項１に記載の画像処理装置において、
前記複数の撮影画像中の前記物体の像を検出する検出手段、
をさらに備え、
前記強調手段は、少なくとも一部が前記重複領域に含まれる前記物体の像を強調することを特徴とする画像処理装置。
【請求項６】
車両に搭載された表示装置に画像を表示させる画像表示システムであって、
前記車両の異なる位置に配置された複数の車載カメラの複数の撮影画像を取得する取得手段と、
前記複数の撮影画像を合成して、仮想視点から見た前記車両の周辺の様子を示す合成画像を生成し、かつ、前記複数の車載カメラのうちの２つの車載カメラの撮影範囲が重なる領域に対応する前記合成画像の重複領域を生成する際に該２つの車載カメラの２つの撮影画像を混合する生成手段と
前記重複領域に含まれる物体の像を強調する強調手段と、
前記合成画像を表示する表示手段と、
を備えることを特徴とする画像表示システム。
【請求項７】
車両に搭載された表示装置に表示させる画像を生成する画像表示方法であって、
（ａ）前記車両の異なる位置に配置された複数の車載カメラの複数の撮影画像を取得する工程と、
（ｂ）前記複数の撮影画像を合成して、仮想視点から見た前記車両の周辺の様子を示す合成画像を生成し、かつ、前記複数の車載カメラのうちの２つの車載カメラの撮影範囲が重なる領域に対応する前記合成画像の重複領域を生成する際に該２つの車載カメラの２つの撮影画像を混合する工程と
（ｃ）前記重複領域に含まれる物体の像を強調する工程と、
（ｄ）前記合成画像を前記表示装置に表示する工程と、
を備えることを特徴とする画像表示方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【公開番号】特開２０１２−１３８８７６（Ｐ２０１２−１３８８７６Ａ）
【公開日】平成２４年７月１９日（２０１２．７．１９）
【国際特許分類】
【出願番号】特願２０１０−２９１６８７（Ｐ２０１０−２９１６８７）
【出願日】平成２２年１２月２８日（２０１０．１２．２８）
【出願人】（０００２３７５９２）富士通テン株式会社 (3,383)
【Ｆターム（参考）】
【公開日】平成２４年７月１９日（２０１２．７．１９）
【国際特許分類】
【出願日】平成２２年１２月２８日（２０１０．１２．２８）
【出願人】（０００２３７５９２）富士通テン株式会社 (3,383)
【Ｆターム（参考）】
[ Back to top ]