画像処理装置
【課題】 車両周辺に存在する立体物を正確に認識し表示することができる「画像処理装置」を提供する。
【解決手段】 画像処理装置１００は、撮像カメラにより撮像された撮像データを受け取り、トップビュー画像を生成する視点変換部１２０と、撮像カメラにより撮像された撮像データから立体物を検出し、立体物を抽出する立体物抽出部１２２と、立体物抽出部１２２により抽出された立体物に応じた立体物画像を生成する立体物画像生成部１２４と、視点変換部１２０により生成されたトップビュー画像に、立体物画像生成部１２４により生成された立体物画像を合成する画像合成部１２６を含んでいる。
【解決手段】 画像処理装置１００は、撮像カメラにより撮像された撮像データを受け取り、トップビュー画像を生成する視点変換部１２０と、撮像カメラにより撮像された撮像データから立体物を検出し、立体物を抽出する立体物抽出部１２２と、立体物抽出部１２２により抽出された立体物に応じた立体物画像を生成する立体物画像生成部１２４と、視点変換部１２０により生成されたトップビュー画像に、立体物画像生成部１２４により生成された立体物画像を合成する画像合成部１２６を含んでいる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車両に搭載された撮像カメラにより撮像された車両周辺の画像を表示する画像処理装置に関し、特に、撮像した画像を車両上方の視点から見下ろした画像に変換し、これを表示する技術に関する。
【背景技術】
【０００２】
自動車への撮像カメラの搭載率の向上に伴い、撮像データを用いたアプリケーションが拡大している。このようなアプリケーションの多くは、運転者の運転を支援し、走行時や駐車時の車両の安全性を向上させるものである。例えば、車両周辺の障害物を撮影し、表示するようなシステムであれば、複数の超広角の撮像カメラを用いて車両の周囲を撮像し、撮像した画像データを合成して自車周辺の３６０°を映し出す。この際、撮像データを車両上方の視点から見下ろした画像（以下、トップビュー画像という）に変換し、これをディスプレイに表示することもできる。
【０００３】
特許文献１は、車両周辺の障害物の有無に応じて、車両周囲の映像の出力方法を変更する技術を開示している。シフトポジションがリバースの位置にあると、俯瞰映像を表示する。このとき、距離センサにより車両周囲に障害物が存在するか否かを判定する。障害物が存在すると判定されると、障害物を写し出す方向の撮像映像に表示を切り替える。
【０００４】
特許文献２は、車両周辺の監視システムに関し、トップビュー画像を生成する際、複数のカメラの視野範囲が重複する範囲では、物体の画像が不鮮明になるため、例外モードにおいて、重複する範囲を写し出す画像を合成せずに個別に表示する。
【０００５】
【特許文献１】特開２００６−２７５５６号
【特許文献２】特開２００２−１９５５６号
【発明の開示】
【発明が解決しようとする課題】
【０００６】
図１は、画像処理装置によるトップビュー画像の生成方法を説明する概念図である。車両１０のサイドミラーに設置された撮像カメラ１２は、車両１０の左側方を撮像し、撮像データを出力する。車両周辺を表示するトップビュー画像は、撮像データが映し出す車両周辺の地面を基準に生成され、表示エリア１４を映し出す。例えば、表示エリア１４内に柱状の立体物１６があった場合、トップビュー画像では、立体物１６は、撮像カメラ１２から地面方向に投影するような間延びし、かつ、上方部が広がった立体物表示１８として映し出される。また、トップビュー画像は、車両周辺の地面を基準として生成されるため、必ずしも立体物１６の全体像を表示できるわけではなく、立体物１６の上方部が広がるように表示されたり、表示されないこともある。
【０００７】
図２は、サイドビュー画像とトップビュー画像の関係を示す図である。サイドビュー画像とは、図１に示すようなサイドミラーに設置された撮像カメラにより撮像された画像である。車両の前方、後方および側方を撮像した撮像データを視点変換しトップビュー画像を生成すると、それぞれの画像の結合部において、立体物が消失したり、変形し表示されたりする。また、例えば、図２（ａ）に示す車両側方を撮像したサイドビュー画像２０には、はっきりと人物像２２が映し出されているにも関わらず、図２（ｂ）に示すトップビュー画像２４には、表示される画面範囲や結合部２６の影響により人物像２２の一部しか表示されない。また、トップビュー画像２４の端の領域部において、図２（ａ）に示す人物像２３が映し出されているにも関わらず、図２（ｂ）に示すトップビュー画像２４には、画像表示範囲が限定されるために、人物像２３の上方部が広がるように表示されたり、かつ、立体物の上方部が表示されないこともある。このため、ユーザは、トップビュー画像から車両の周辺にある立体物が何かを正確に認識することができず、トップビュー画像を駐車支援等に使用する場合に問題があった。
【０００８】
本発明は、上記の課題を解決するために成されたものであり、車両周辺に存在する立体物を正確に認識し表示することができる画像処理装置を提供することを目的とする。
さらに本発明は、撮像データを表示することで運転支援を行うことができるナビゲーションシステムを提供する。
【課題を解決するための手段】
【０００９】
本発明に係る画像処理装置は、自車周辺の画像をディスプレイに表示するものであって、自車周辺を撮像し、撮像データを出力する撮像手段と、前記撮像データを車両上方の視点から見下ろした画像に視点変換する視点変換手段と、前記撮像データに含まれる自車と相対速度がある立体物もしくは周辺環境と相対速度がある立体物を抽出する抽出手段と、前記抽出された立体物に応じた立体物画像を生成する立体物画像生成手段と、前記視点変換された画像に生成された立体物画像を合成する画像合成手段と、画像合成手段により合成された画像をディスプレイに表示する表示手段とを有する。
【００１０】
好ましくは、抽出手段は、立体物の輪郭を抽出し、立体物画像生成手段は、抽出された立体物の輪郭に応じた立体物画像を生成する。また、抽出手段は、立体物の移動方向を抽出し、立体物画像生成手段は、抽出された立体物の移動方向に応じた立体物画像を生成するようにしてもよい。さらに立体物画像生成手段は、抽出された立体物を直接表す立体物画像、立体物の輪郭を強調した立体物画像、または陰影を付加した立体物画像のいずれかを生成することができる。好ましくは画像合成手段は、周辺画像の色から識別されるように立体物画像の色を可変し、周辺画像の色と比較してコントラスト差が大きい立体物画像の色が選択されるようにしてもよい。
【００１１】
好ましくは、抽出手段は、ステレオビジョンの原理を用いて立体物を検出したり、フレーム間差分法またはオプティカルフローを用いて立体物の輪郭情報と移動方向情報を抽出する。好ましくは画像合成手段は、前記抽出手段により抽出された立体物の移動方向、大きさ、および自車からの距離の少なくとも１つに応じて、立体物画像の向きおよび大きさを決定し、また、視点変換された画像に含まれる特定の立体物表示を基準として立体物画像の合成位置を決定することができる。さらに撮像手段は、複数の撮像カメラを含み、自車の前方、後方および側方を撮像し、これらの撮像データが視点変換され、自車を中心とした全方向の画像が表示される。
【００１２】
本発明に係る画像処理プログラムは、自車周辺の画像をディスプレイに表示するものであって、自車周辺を撮像し、前記撮像データに含まれる自車と相対速度がある立体物、もしくは周辺環境と相対速度がある立体物抽出するステップと、抽出された立体物に応じた立体物画像を生成するステップと、撮像データを車両上方の視点から見下ろした画像に視点変換するステップと、視点変換された画像に前記立体物画像を合成するステップと、合成された画像をディスプレイに表示するステップとを有する。
【発明の効果】
【００１３】
本発明によれば、視点変換された画像の結合部の影響により消失または変形し得るような立体物、あるいは視点変換された画像表示範囲の限定により消失または変形し得るような立体物であっても、撮像データから抽出した立体物に応じた立体物画像を生成し、これを視点変換された画像に合成するようにしたので、車両周辺に存在する立体物の存在を的確にユーザに知らせることができ、撮像データによる安全性の高い運転支援を行うことができる。
【発明を実施するための最良の形態】
【００１４】
以下、本発明の最良の実施の形態について図面を参照して詳細に説明する。
【実施例】
【００１５】
図３Ａは、本発明の実施例に係る画像処理装置１００の構成を示すブロック図である。画像処理装置１００は、ユーザが指示を入力する入力部１０２と、車両の速度やギアポジション等の車両の状態を出力する車両状態センサ１０４と、画像処理プログラムに従い各部を制御する制御部１０６と、ディスプレイ１１０にトップビュー画像を表示する表示制御部１０８と、車両周辺を撮像する撮像カメラ１１２〜１１８とを含んで構成される。
【００１６】
図３Ｂは、制御部１０６の機能的な構成を示すブロック図である。制御部１０６は、撮像カメラ１１２〜１１８により撮像された撮像データを受け取り、車両の上方から見下ろすようなトップビュー画像を生成する視点変換部１２０と、撮像カメラ１１２〜１１８により撮像された撮像データに含まれる動きのある立体物、すなわち自車と相対速度がある立体物もしくは周辺環境と相対速度がある立体物を検出し、検出された立体物を抽出する立体物抽出部１２２と、立体物抽出部１２２により抽出された立体物に応じた立体物画像を生成する立体物画像生成部１２４と、視点変換部１２０により生成されたトップビュー画像に立体物画像生成部１２４により生成された立体物画像を合成する画像合成部１２６を含んでいる。
【００１７】
撮像カメラ１１２〜１１８は、例えば、ＣＣＤ撮像素子と１６０°以上の視野角を持つ魚眼レンズを含む光学系を含んで構成されている。撮像カメラ１１２は、図４に示すように、例えば、車両前方のバンパーに取り付けられ、車両の前方を視野角θ１で撮像する。撮像カメラ１１４、１１６は、例えば車両のサイドミラーなどに取り付けられ、そこから車両の側方を視野角θ２、θ３で撮像する。撮像カメラ１１８は、車両の後部バンパーナンバープレート付近などに取り付けられ、車両の後方を視野角θ４で撮像する。撮像カメラ１１２〜１１８の視野角θ１、θ２、θ３、θ４は、それぞれが隣接する視野角と端部がオーバーラップし、撮像カメラ１１２〜１１８により車両の全周辺を撮像できるようになっている。本実施例では、４つの撮像カメラを用いて車両の周辺を撮像するが、これに限らず、より多くの撮像カメラを用いて撮像してもよい。また、撮像カメラの取り付け位置は、必ずしもバンパー、サイドミラーに限るものではない。
【００１８】
制御部１０６は、好ましくはＲＯＭやＲＡＭ等のメモリを含み、メモリに画像処理プログラムを格納している。制御部１０６は、画像処理プログラムに従い、トップビュー画像を表示するとき、当該トップビュー画像に立体物画像生成部１２４により生成された立体物画像を合成する。
【００１９】
次に、画像処理装置１００におけるトップビュー画像の表示動作について図５のフローチャートを参照して説明する。先ず、制御部１０６は、車両状態センサ１０４の出力を監視し、車両が一定の速度以下になったとき、または後進したとき、トップビュー画像の表示モードへ切り替える（ステップＳ１０１）。
【００２０】
立体物抽出部１２２は、撮像カメラ１１２〜１１８によって撮像された撮像データを受取り、撮像データから立体物を検出する（ステップＳ１０２）。車両と車両周辺の立体物との間に相対的な移動がある場合には、２つの撮像カメラによるステレオビジョンの原理を用いて立体物を検出することができる。１つの撮像カメラであっても立体物に動きがある場合や、自車に動きがある場合は、時間差のある画像を用いる単眼ステレオ法により立体物を検出することができる。また、車両と立体物が静止しているとき、あるいは２つの撮像カメラによる検出が難しい場合には、超音波センサ、ミリ波センサなどを併用し、撮像データに含まれる動きのある立体物を検出する。
【００２１】
次に、立体物抽出部１２２は、検出した立体物の抽出を行う。抽出は、立体物の全体であってもよいが、好ましくは立体物の輪郭および立体物の移動方向を抽出する（ステップＳ１０３）。立体物の輪郭および移動方向は、例えば、撮像データのフレーム間差分法を用いて抽出することができる。
【００２２】
図６は、撮像カメラ１１４が撮像した車両左側方の撮像データを示し、図６（ａ）は、ｔ秒時のフレームデータを示し、図６（ｂ）は、ｔ秒から△（デルタ）ｔ秒（微小時間）経過後のフレームデータを示している。図６（ａ）に示すフレームデータ１３０には、例えば、人物像１３２が映し出されており、図６（ｂ）に示すフレームデータ１３４には、△ｔ秒後の人物像１３６が映し出されている。フレームデータ１３０に表示された人物像１３２が立体物として検出されているとき、立体物抽出部１２２は、人物像１３２の輪郭を抽出するとともに、２つのフレームデータ１３２、１３４の差分から人物像１３６の移動ベクトルＶを抽出することができる。
【００２３】
また、図７に示すように△ｔ秒時のフレームデータ１３８に映し出された人物像１４０が、ｔ秒時の人物像１３２よりも拡大され撮像された場合、人物が手前（車両）方向に移動していることが抽出される。立体物の輪郭と移動方向の抽出方法は、フレーム間差分法に限られず、オプティカルフローであってもよい。オプティカルフローとは、画像処理の一種であり、異なる時間に撮影された２枚の画像間で同じ対象の対応付けを行い、その移動量をベクトルデータで示す方法である。
【００２４】
次に、立体物画像生成部１２４は、立体物抽出部１２２により抽出された立体物に応じた立体物画像を生成する（ステップＳ１０４）。立体物画像生成部１２４は、抽出された立体物を直接表すような立体物画像、立体部の輪郭を強調するような立体物画像、立体物の陰影を表す立体物画像を生成することができる。陰影の位置は、立体物の移動方向に応じて決定され、例えば、立体物の移動方向と反対の方向に一定の角度で形成することができる。立体物画像生成部１２４によって生成された立体物画像は、立体物の移動方向とともに画像合成部１２６に出力される。
【００２５】
一方、撮像カメラ１１２〜１１８によって撮像された撮像データは、視点変換部１２０に出力され、視点変換部１２０は、受け取った撮像データを視点変換し、視点変換された撮像画像を結合してトップビュー画像を形成する（ステップＳ１０５）。
【００２６】
それぞれの撮像データは、互いに重複した領域やトップビュー画像に使用しない領域を含んでいる。このため、視点変換部１２０は、各撮像データを車両の上から見下ろしたような視点変換補正をそれぞれ行い、その各々の視点変換画像から、トップビューに仕様する領域を切り出し、結合する。視点変換部１２０は、生成されたトップビュー画像を画像合成部１２６に出力する。
【００２７】
次に、画像合成部１２６は、視点変換部１２０から受け取ったトップビュー画像に、立体物画像生成部１２４から受け取った立体物画像を合成する（ステップＳ１０６）。立体物画像を合成する位置は、撮像データに立体物が含まれた位置に対応させる。また、画像合成部１２６は、立体物の移動方向、大きさ、または自車からの距離に応じて、立体物画像の向きおよび大きさを決定する。
【００２８】
次に、画像合成部１２６は、立体物画像の色を決定する（ステップＳ１０７）。好ましくは、周辺画像と識別可能な色、または周囲の色とのコントラスト差が大きくなるような色を選択し、これを立体物画像に付す。画像合成部１２６は、例えば、予め用意された青色、黄色、赤色等の複数の色から周囲の色彩と最もコントラスト差が大きい色を選択し、立体物画像の色を決定する。最後に、制御部１０６は、表示制御部１０８を介して、画像合成部１２６により立体物画像が合成されたトップビュー画像をディスプレイ１１０に表示する（ステップＳ１０８）。
【００２９】
図８は、立体物画像の合成例を示す図であり、図８（ａ）は、立体物画像を合成する前のトップビュー画像、図８（ｂ）は、立体物画像を合成した後のトップビュー画像を示している。画像合成部１２６は、図８（ａ）に示すようなトップビュー画像において、画像の結合部１５１に立体物表示１５０が含まれているとき、図８（ｂ）に示すように、立体物表示１５０の位置に対応するように立体物画像１５２を合成する。好ましくは立体物画像１５２は、立体物表示１５０に連結するように合成されるか、立体物表示１５０を上書きするように立体物表示１５０上に合成される。これにより、図８(ａ)に示すように、画像の結合部１５１において立体物表示１５０の一部が消失したり、変形しても、図８（ｂ）に示すように、立体物画像１５２により立体物表示１５０の正確な輪郭を表すことができる。
【００３０】
また、画像合成部１２６は、立体物画像１５２の向きを立体物の移動方向に応じて可変するようにしてもよい。例えば、立体物表示１５０の移動方向Ｐが車両と平行であるとき、移動方向と反対方向の上方６０°ぐらいの位置から立体物に光を照射したときに形成される陰影を表示する。さらに、画像合成部１２６は、トップビュー画像に合わせて立体物画像１５２のサイズを調整することができる。
【００３１】
図９は、移動方向に応じたその他の合成例を示す図である。例えば、立体物が車両方向に移動しているとき、立体物表示１５２は、その移動方向に応じて図９（ａ）に示すような向きに合成される。同様に、立体物が車両後方に移動しているとき、図９（ｂ）に示すような向きで立体物画像１５２が合成される。
【００３２】
本実施例の画像処理装置では、立体物画像をトップビュー画像に合成することにより、ユーザは、トップビュー画像の結合部においても立体物を正確に認識することができる。なお、立体物画像を合成することにより、立体物画像の背面にある画像が隠れてしまうことがあるが、この隠された画像がユーザにとって必要な情報である場合には、立体物画像を半透明に表示したり、輪郭だけを表示しその内部を透明にしてもよい。例えば、ユーザは、入力部１０２を操作し、立体物画像の色彩を半透明に選択し、立体物画像によって隠されてしまった画像を確認することができる。
【００３３】
また本実施例では、車両状態センサ１０４の出力に応じて画像処理プログラムが起動したが、これに限られず、ユーザの入力操作に従い画像処理プログラムを起動してもよい。
【００３４】
図１０は、本実施例の画像処理装置を利用したナビゲーションシステムを示す図である。ナビゲーションシステム２００は、ＧＰＳ測位装置２１０、自律航法測位装置２２０、これらの測位装置からの位置情報に基づき自車位置周辺の道路地図をディスプレイ１１０に表示したり、目的地までの経路を探索する制御部２３０、スピーカ２４０、および本実施例に係る画像処理装置１００を含んでいる。
【００３５】
制御部２３０は、自車が一定の速度以上で走行しているとき、自車位置周辺の道路地図をディスプレイ１１０に表示するが、例えば目的地が駐車場であって当該駐車場に接近したような場合、トップビュー画像の表示モードに切替え、ディスプレイ１１０にトップビュー画像を表示し、ユーザの駐車支援を行う。
【００３６】
トップビュー画像の表示モードへの切替えは、自車が停止するとき、自車が発車するとき、駐車場に駐車するとき等を判定して自動的に行うことができるが、ユーザ入力により切替えを行うようにしてもよい。
【００３７】
以上、本発明の好ましい実施の形態について詳述したが、本発明に係る特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。
【産業上の利用可能性】
【００３８】
本発明に係る画像処理装置は、車両の駐車動作時の駐車支援システムとして利用することができる。利用態様として、ナビゲーション装置や他のコンピュータ等の電子装置と機能的に結合することが可能である。
【図面の簡単な説明】
【００３９】
【図１】トップビュー画像の生成方法を説明する概念図である。
【図２】サイドビュー画像とトップビュー画像との関係を示す図である。図２（ａ）は、サイドビュー画像を示す図であり、図２（ｂ）は、トップビュー画像を示す図である。
【図３Ａ】本実施例に係る画像処理装置の構成を示すブロック図である。
【図３Ｂ】制御部の機能的な構成を示すブロック図である。
【図４】車両に取り付けられた撮像カメラの配置を示す平面図である。
【図５】本実施例の画像処理装置のトップビュー画像表示動作を説明するフローチャートである。
【図６】車両側方の撮像データを示す図である。図６（ａ）は、ｔ秒後のフレームを示す図であり、図６（ｂ）は、ｔ秒後から△ｔ秒（微小時間）経過後のフレームを示す図である。
【図７】△ｔ秒（微小時間）経過後のフレームを示す図である。
【図８】立体物画像の合成例を示す図である。図８（ａ）は合成前のトップビュー画像を示す図であり、図８（ｂ）は、合成後のトップビュー画像を示す図である。
【図９】その他の合成例を示す図である。
【図１０】本実施例の画像処理装置を利用したナビゲーションシステムを示す図である。
【００４０】
１００：画像処理装置 １０２：入力部
１０４：車両状態センサ １０６：マイクロコントローラ
１０８：表示制御部 １１０：ディスプレイ
１１２〜１１８：撮像カメラ １２０：視点変換部
１２２：立体物抽出部 １２４：立体物画像生成部
１２６：画像合成部 １３０：フレームデータ
１３２：人物像 １３４：フレームデータ
１３６、１４０：人物像 １５０：立体物表示
１５１：結合部 １５２：立体物画像
【技術分野】
【０００１】
本発明は、車両に搭載された撮像カメラにより撮像された車両周辺の画像を表示する画像処理装置に関し、特に、撮像した画像を車両上方の視点から見下ろした画像に変換し、これを表示する技術に関する。
【背景技術】
【０００２】
自動車への撮像カメラの搭載率の向上に伴い、撮像データを用いたアプリケーションが拡大している。このようなアプリケーションの多くは、運転者の運転を支援し、走行時や駐車時の車両の安全性を向上させるものである。例えば、車両周辺の障害物を撮影し、表示するようなシステムであれば、複数の超広角の撮像カメラを用いて車両の周囲を撮像し、撮像した画像データを合成して自車周辺の３６０°を映し出す。この際、撮像データを車両上方の視点から見下ろした画像（以下、トップビュー画像という）に変換し、これをディスプレイに表示することもできる。
【０００３】
特許文献１は、車両周辺の障害物の有無に応じて、車両周囲の映像の出力方法を変更する技術を開示している。シフトポジションがリバースの位置にあると、俯瞰映像を表示する。このとき、距離センサにより車両周囲に障害物が存在するか否かを判定する。障害物が存在すると判定されると、障害物を写し出す方向の撮像映像に表示を切り替える。
【０００４】
特許文献２は、車両周辺の監視システムに関し、トップビュー画像を生成する際、複数のカメラの視野範囲が重複する範囲では、物体の画像が不鮮明になるため、例外モードにおいて、重複する範囲を写し出す画像を合成せずに個別に表示する。
【０００５】
【特許文献１】特開２００６−２７５５６号
【特許文献２】特開２００２−１９５５６号
【発明の開示】
【発明が解決しようとする課題】
【０００６】
図１は、画像処理装置によるトップビュー画像の生成方法を説明する概念図である。車両１０のサイドミラーに設置された撮像カメラ１２は、車両１０の左側方を撮像し、撮像データを出力する。車両周辺を表示するトップビュー画像は、撮像データが映し出す車両周辺の地面を基準に生成され、表示エリア１４を映し出す。例えば、表示エリア１４内に柱状の立体物１６があった場合、トップビュー画像では、立体物１６は、撮像カメラ１２から地面方向に投影するような間延びし、かつ、上方部が広がった立体物表示１８として映し出される。また、トップビュー画像は、車両周辺の地面を基準として生成されるため、必ずしも立体物１６の全体像を表示できるわけではなく、立体物１６の上方部が広がるように表示されたり、表示されないこともある。
【０００７】
図２は、サイドビュー画像とトップビュー画像の関係を示す図である。サイドビュー画像とは、図１に示すようなサイドミラーに設置された撮像カメラにより撮像された画像である。車両の前方、後方および側方を撮像した撮像データを視点変換しトップビュー画像を生成すると、それぞれの画像の結合部において、立体物が消失したり、変形し表示されたりする。また、例えば、図２（ａ）に示す車両側方を撮像したサイドビュー画像２０には、はっきりと人物像２２が映し出されているにも関わらず、図２（ｂ）に示すトップビュー画像２４には、表示される画面範囲や結合部２６の影響により人物像２２の一部しか表示されない。また、トップビュー画像２４の端の領域部において、図２（ａ）に示す人物像２３が映し出されているにも関わらず、図２（ｂ）に示すトップビュー画像２４には、画像表示範囲が限定されるために、人物像２３の上方部が広がるように表示されたり、かつ、立体物の上方部が表示されないこともある。このため、ユーザは、トップビュー画像から車両の周辺にある立体物が何かを正確に認識することができず、トップビュー画像を駐車支援等に使用する場合に問題があった。
【０００８】
本発明は、上記の課題を解決するために成されたものであり、車両周辺に存在する立体物を正確に認識し表示することができる画像処理装置を提供することを目的とする。
さらに本発明は、撮像データを表示することで運転支援を行うことができるナビゲーションシステムを提供する。
【課題を解決するための手段】
【０００９】
本発明に係る画像処理装置は、自車周辺の画像をディスプレイに表示するものであって、自車周辺を撮像し、撮像データを出力する撮像手段と、前記撮像データを車両上方の視点から見下ろした画像に視点変換する視点変換手段と、前記撮像データに含まれる自車と相対速度がある立体物もしくは周辺環境と相対速度がある立体物を抽出する抽出手段と、前記抽出された立体物に応じた立体物画像を生成する立体物画像生成手段と、前記視点変換された画像に生成された立体物画像を合成する画像合成手段と、画像合成手段により合成された画像をディスプレイに表示する表示手段とを有する。
【００１０】
好ましくは、抽出手段は、立体物の輪郭を抽出し、立体物画像生成手段は、抽出された立体物の輪郭に応じた立体物画像を生成する。また、抽出手段は、立体物の移動方向を抽出し、立体物画像生成手段は、抽出された立体物の移動方向に応じた立体物画像を生成するようにしてもよい。さらに立体物画像生成手段は、抽出された立体物を直接表す立体物画像、立体物の輪郭を強調した立体物画像、または陰影を付加した立体物画像のいずれかを生成することができる。好ましくは画像合成手段は、周辺画像の色から識別されるように立体物画像の色を可変し、周辺画像の色と比較してコントラスト差が大きい立体物画像の色が選択されるようにしてもよい。
【００１１】
好ましくは、抽出手段は、ステレオビジョンの原理を用いて立体物を検出したり、フレーム間差分法またはオプティカルフローを用いて立体物の輪郭情報と移動方向情報を抽出する。好ましくは画像合成手段は、前記抽出手段により抽出された立体物の移動方向、大きさ、および自車からの距離の少なくとも１つに応じて、立体物画像の向きおよび大きさを決定し、また、視点変換された画像に含まれる特定の立体物表示を基準として立体物画像の合成位置を決定することができる。さらに撮像手段は、複数の撮像カメラを含み、自車の前方、後方および側方を撮像し、これらの撮像データが視点変換され、自車を中心とした全方向の画像が表示される。
【００１２】
本発明に係る画像処理プログラムは、自車周辺の画像をディスプレイに表示するものであって、自車周辺を撮像し、前記撮像データに含まれる自車と相対速度がある立体物、もしくは周辺環境と相対速度がある立体物抽出するステップと、抽出された立体物に応じた立体物画像を生成するステップと、撮像データを車両上方の視点から見下ろした画像に視点変換するステップと、視点変換された画像に前記立体物画像を合成するステップと、合成された画像をディスプレイに表示するステップとを有する。
【発明の効果】
【００１３】
本発明によれば、視点変換された画像の結合部の影響により消失または変形し得るような立体物、あるいは視点変換された画像表示範囲の限定により消失または変形し得るような立体物であっても、撮像データから抽出した立体物に応じた立体物画像を生成し、これを視点変換された画像に合成するようにしたので、車両周辺に存在する立体物の存在を的確にユーザに知らせることができ、撮像データによる安全性の高い運転支援を行うことができる。
【発明を実施するための最良の形態】
【００１４】
以下、本発明の最良の実施の形態について図面を参照して詳細に説明する。
【実施例】
【００１５】
図３Ａは、本発明の実施例に係る画像処理装置１００の構成を示すブロック図である。画像処理装置１００は、ユーザが指示を入力する入力部１０２と、車両の速度やギアポジション等の車両の状態を出力する車両状態センサ１０４と、画像処理プログラムに従い各部を制御する制御部１０６と、ディスプレイ１１０にトップビュー画像を表示する表示制御部１０８と、車両周辺を撮像する撮像カメラ１１２〜１１８とを含んで構成される。
【００１６】
図３Ｂは、制御部１０６の機能的な構成を示すブロック図である。制御部１０６は、撮像カメラ１１２〜１１８により撮像された撮像データを受け取り、車両の上方から見下ろすようなトップビュー画像を生成する視点変換部１２０と、撮像カメラ１１２〜１１８により撮像された撮像データに含まれる動きのある立体物、すなわち自車と相対速度がある立体物もしくは周辺環境と相対速度がある立体物を検出し、検出された立体物を抽出する立体物抽出部１２２と、立体物抽出部１２２により抽出された立体物に応じた立体物画像を生成する立体物画像生成部１２４と、視点変換部１２０により生成されたトップビュー画像に立体物画像生成部１２４により生成された立体物画像を合成する画像合成部１２６を含んでいる。
【００１７】
撮像カメラ１１２〜１１８は、例えば、ＣＣＤ撮像素子と１６０°以上の視野角を持つ魚眼レンズを含む光学系を含んで構成されている。撮像カメラ１１２は、図４に示すように、例えば、車両前方のバンパーに取り付けられ、車両の前方を視野角θ１で撮像する。撮像カメラ１１４、１１６は、例えば車両のサイドミラーなどに取り付けられ、そこから車両の側方を視野角θ２、θ３で撮像する。撮像カメラ１１８は、車両の後部バンパーナンバープレート付近などに取り付けられ、車両の後方を視野角θ４で撮像する。撮像カメラ１１２〜１１８の視野角θ１、θ２、θ３、θ４は、それぞれが隣接する視野角と端部がオーバーラップし、撮像カメラ１１２〜１１８により車両の全周辺を撮像できるようになっている。本実施例では、４つの撮像カメラを用いて車両の周辺を撮像するが、これに限らず、より多くの撮像カメラを用いて撮像してもよい。また、撮像カメラの取り付け位置は、必ずしもバンパー、サイドミラーに限るものではない。
【００１８】
制御部１０６は、好ましくはＲＯＭやＲＡＭ等のメモリを含み、メモリに画像処理プログラムを格納している。制御部１０６は、画像処理プログラムに従い、トップビュー画像を表示するとき、当該トップビュー画像に立体物画像生成部１２４により生成された立体物画像を合成する。
【００１９】
次に、画像処理装置１００におけるトップビュー画像の表示動作について図５のフローチャートを参照して説明する。先ず、制御部１０６は、車両状態センサ１０４の出力を監視し、車両が一定の速度以下になったとき、または後進したとき、トップビュー画像の表示モードへ切り替える（ステップＳ１０１）。
【００２０】
立体物抽出部１２２は、撮像カメラ１１２〜１１８によって撮像された撮像データを受取り、撮像データから立体物を検出する（ステップＳ１０２）。車両と車両周辺の立体物との間に相対的な移動がある場合には、２つの撮像カメラによるステレオビジョンの原理を用いて立体物を検出することができる。１つの撮像カメラであっても立体物に動きがある場合や、自車に動きがある場合は、時間差のある画像を用いる単眼ステレオ法により立体物を検出することができる。また、車両と立体物が静止しているとき、あるいは２つの撮像カメラによる検出が難しい場合には、超音波センサ、ミリ波センサなどを併用し、撮像データに含まれる動きのある立体物を検出する。
【００２１】
次に、立体物抽出部１２２は、検出した立体物の抽出を行う。抽出は、立体物の全体であってもよいが、好ましくは立体物の輪郭および立体物の移動方向を抽出する（ステップＳ１０３）。立体物の輪郭および移動方向は、例えば、撮像データのフレーム間差分法を用いて抽出することができる。
【００２２】
図６は、撮像カメラ１１４が撮像した車両左側方の撮像データを示し、図６（ａ）は、ｔ秒時のフレームデータを示し、図６（ｂ）は、ｔ秒から△（デルタ）ｔ秒（微小時間）経過後のフレームデータを示している。図６（ａ）に示すフレームデータ１３０には、例えば、人物像１３２が映し出されており、図６（ｂ）に示すフレームデータ１３４には、△ｔ秒後の人物像１３６が映し出されている。フレームデータ１３０に表示された人物像１３２が立体物として検出されているとき、立体物抽出部１２２は、人物像１３２の輪郭を抽出するとともに、２つのフレームデータ１３２、１３４の差分から人物像１３６の移動ベクトルＶを抽出することができる。
【００２３】
また、図７に示すように△ｔ秒時のフレームデータ１３８に映し出された人物像１４０が、ｔ秒時の人物像１３２よりも拡大され撮像された場合、人物が手前（車両）方向に移動していることが抽出される。立体物の輪郭と移動方向の抽出方法は、フレーム間差分法に限られず、オプティカルフローであってもよい。オプティカルフローとは、画像処理の一種であり、異なる時間に撮影された２枚の画像間で同じ対象の対応付けを行い、その移動量をベクトルデータで示す方法である。
【００２４】
次に、立体物画像生成部１２４は、立体物抽出部１２２により抽出された立体物に応じた立体物画像を生成する（ステップＳ１０４）。立体物画像生成部１２４は、抽出された立体物を直接表すような立体物画像、立体部の輪郭を強調するような立体物画像、立体物の陰影を表す立体物画像を生成することができる。陰影の位置は、立体物の移動方向に応じて決定され、例えば、立体物の移動方向と反対の方向に一定の角度で形成することができる。立体物画像生成部１２４によって生成された立体物画像は、立体物の移動方向とともに画像合成部１２６に出力される。
【００２５】
一方、撮像カメラ１１２〜１１８によって撮像された撮像データは、視点変換部１２０に出力され、視点変換部１２０は、受け取った撮像データを視点変換し、視点変換された撮像画像を結合してトップビュー画像を形成する（ステップＳ１０５）。
【００２６】
それぞれの撮像データは、互いに重複した領域やトップビュー画像に使用しない領域を含んでいる。このため、視点変換部１２０は、各撮像データを車両の上から見下ろしたような視点変換補正をそれぞれ行い、その各々の視点変換画像から、トップビューに仕様する領域を切り出し、結合する。視点変換部１２０は、生成されたトップビュー画像を画像合成部１２６に出力する。
【００２７】
次に、画像合成部１２６は、視点変換部１２０から受け取ったトップビュー画像に、立体物画像生成部１２４から受け取った立体物画像を合成する（ステップＳ１０６）。立体物画像を合成する位置は、撮像データに立体物が含まれた位置に対応させる。また、画像合成部１２６は、立体物の移動方向、大きさ、または自車からの距離に応じて、立体物画像の向きおよび大きさを決定する。
【００２８】
次に、画像合成部１２６は、立体物画像の色を決定する（ステップＳ１０７）。好ましくは、周辺画像と識別可能な色、または周囲の色とのコントラスト差が大きくなるような色を選択し、これを立体物画像に付す。画像合成部１２６は、例えば、予め用意された青色、黄色、赤色等の複数の色から周囲の色彩と最もコントラスト差が大きい色を選択し、立体物画像の色を決定する。最後に、制御部１０６は、表示制御部１０８を介して、画像合成部１２６により立体物画像が合成されたトップビュー画像をディスプレイ１１０に表示する（ステップＳ１０８）。
【００２９】
図８は、立体物画像の合成例を示す図であり、図８（ａ）は、立体物画像を合成する前のトップビュー画像、図８（ｂ）は、立体物画像を合成した後のトップビュー画像を示している。画像合成部１２６は、図８（ａ）に示すようなトップビュー画像において、画像の結合部１５１に立体物表示１５０が含まれているとき、図８（ｂ）に示すように、立体物表示１５０の位置に対応するように立体物画像１５２を合成する。好ましくは立体物画像１５２は、立体物表示１５０に連結するように合成されるか、立体物表示１５０を上書きするように立体物表示１５０上に合成される。これにより、図８(ａ)に示すように、画像の結合部１５１において立体物表示１５０の一部が消失したり、変形しても、図８（ｂ）に示すように、立体物画像１５２により立体物表示１５０の正確な輪郭を表すことができる。
【００３０】
また、画像合成部１２６は、立体物画像１５２の向きを立体物の移動方向に応じて可変するようにしてもよい。例えば、立体物表示１５０の移動方向Ｐが車両と平行であるとき、移動方向と反対方向の上方６０°ぐらいの位置から立体物に光を照射したときに形成される陰影を表示する。さらに、画像合成部１２６は、トップビュー画像に合わせて立体物画像１５２のサイズを調整することができる。
【００３１】
図９は、移動方向に応じたその他の合成例を示す図である。例えば、立体物が車両方向に移動しているとき、立体物表示１５２は、その移動方向に応じて図９（ａ）に示すような向きに合成される。同様に、立体物が車両後方に移動しているとき、図９（ｂ）に示すような向きで立体物画像１５２が合成される。
【００３２】
本実施例の画像処理装置では、立体物画像をトップビュー画像に合成することにより、ユーザは、トップビュー画像の結合部においても立体物を正確に認識することができる。なお、立体物画像を合成することにより、立体物画像の背面にある画像が隠れてしまうことがあるが、この隠された画像がユーザにとって必要な情報である場合には、立体物画像を半透明に表示したり、輪郭だけを表示しその内部を透明にしてもよい。例えば、ユーザは、入力部１０２を操作し、立体物画像の色彩を半透明に選択し、立体物画像によって隠されてしまった画像を確認することができる。
【００３３】
また本実施例では、車両状態センサ１０４の出力に応じて画像処理プログラムが起動したが、これに限られず、ユーザの入力操作に従い画像処理プログラムを起動してもよい。
【００３４】
図１０は、本実施例の画像処理装置を利用したナビゲーションシステムを示す図である。ナビゲーションシステム２００は、ＧＰＳ測位装置２１０、自律航法測位装置２２０、これらの測位装置からの位置情報に基づき自車位置周辺の道路地図をディスプレイ１１０に表示したり、目的地までの経路を探索する制御部２３０、スピーカ２４０、および本実施例に係る画像処理装置１００を含んでいる。
【００３５】
制御部２３０は、自車が一定の速度以上で走行しているとき、自車位置周辺の道路地図をディスプレイ１１０に表示するが、例えば目的地が駐車場であって当該駐車場に接近したような場合、トップビュー画像の表示モードに切替え、ディスプレイ１１０にトップビュー画像を表示し、ユーザの駐車支援を行う。
【００３６】
トップビュー画像の表示モードへの切替えは、自車が停止するとき、自車が発車するとき、駐車場に駐車するとき等を判定して自動的に行うことができるが、ユーザ入力により切替えを行うようにしてもよい。
【００３７】
以上、本発明の好ましい実施の形態について詳述したが、本発明に係る特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。
【産業上の利用可能性】
【００３８】
本発明に係る画像処理装置は、車両の駐車動作時の駐車支援システムとして利用することができる。利用態様として、ナビゲーション装置や他のコンピュータ等の電子装置と機能的に結合することが可能である。
【図面の簡単な説明】
【００３９】
【図１】トップビュー画像の生成方法を説明する概念図である。
【図２】サイドビュー画像とトップビュー画像との関係を示す図である。図２（ａ）は、サイドビュー画像を示す図であり、図２（ｂ）は、トップビュー画像を示す図である。
【図３Ａ】本実施例に係る画像処理装置の構成を示すブロック図である。
【図３Ｂ】制御部の機能的な構成を示すブロック図である。
【図４】車両に取り付けられた撮像カメラの配置を示す平面図である。
【図５】本実施例の画像処理装置のトップビュー画像表示動作を説明するフローチャートである。
【図６】車両側方の撮像データを示す図である。図６（ａ）は、ｔ秒後のフレームを示す図であり、図６（ｂ）は、ｔ秒後から△ｔ秒（微小時間）経過後のフレームを示す図である。
【図７】△ｔ秒（微小時間）経過後のフレームを示す図である。
【図８】立体物画像の合成例を示す図である。図８（ａ）は合成前のトップビュー画像を示す図であり、図８（ｂ）は、合成後のトップビュー画像を示す図である。
【図９】その他の合成例を示す図である。
【図１０】本実施例の画像処理装置を利用したナビゲーションシステムを示す図である。
【００４０】
１００：画像処理装置 １０２：入力部
１０４：車両状態センサ １０６：マイクロコントローラ
１０８：表示制御部 １１０：ディスプレイ
１１２〜１１８：撮像カメラ １２０：視点変換部
１２２：立体物抽出部 １２４：立体物画像生成部
１２６：画像合成部 １３０：フレームデータ
１３２：人物像 １３４：フレームデータ
１３６、１４０：人物像 １５０：立体物表示
１５１：結合部 １５２：立体物画像
【特許請求の範囲】
【請求項１】
自車周辺の画像をディスプレイに表示する画像処理装置であって、
自車周辺を撮像し、撮像データを出力する撮像手段と、
前記撮像データを車両上方の視点から見下ろした画像に視点変換する視点変換手段と、
前記撮像データに含まれる自車と相対速度がある立体物もしくは周辺環境と相対速度がある立体物を抽出する抽出手段と、
前記抽出された立体物に応じた立体物画像を生成する立体物画像生成手段と、
前記視点変換された画像に生成された立体物画像を合成する画像合成手段と、
画像合成手段により合成された画像をディスプレイに表示する表示手段と、
を有する画像処理装置。
【請求項２】
前記抽出手段は、さらに立体物の輪郭を抽出し、前記立体物画像生成手段は、抽出された立体物の輪郭に応じた立体物画像を生成する、請求項１に記載の画像処理装置。
【請求項３】
前記抽出手段は、さらに立体物の移動方向、大きさ、および自車からの距離の少なくとも１つを抽出し、前記立体物画像生成手段は、抽出された立体物の移動方向、大きさ、および自車からの距離の少なくとも１つに応じた立体物画像を生成する、請求項１に記載の画像処理装置。
【請求項４】
前記立体物画像生成手段は、抽出された立体物を直接表す立体物画像、立体物の輪郭を強調した立体物画像、または陰影を付加した立体物画像のいずれかを生成する、請求項１ないし３いずれか１つに記載の画像処理装置。
【請求項５】
前記画像合成手段は、周辺画像の色から識別されるように立体物画像の色を可変する、請求項１ないし４いずれか１つに記載の画像処理装置。
【請求項６】
周辺画像の色と比較してコントラスト差が大きい立体物画像の色が選択される、請求項５に記載の画像処理装置。
【請求項７】
前記画像合成手段は、前記抽出手段により抽出された立体物の移動方向、大きさ、および自車からの距離の少なくとも１つに応じて、立体物画像の向きおよび大きさを決定する、請求項１ないし６いずれか１つに記載の画像処理装置。
【請求項８】
前記画像合成手段は、視点変換された画像に含まれる特定の立体物を基準として、立体物画像の合成位置を決定する、請求項１ないし７いずれか１つに記載の画像処理装置。
【請求項９】
前記撮像手段は、複数の撮像カメラを含み、自車の前方、後方および側方を撮像する、請求項１ないし８いずれか１つに記載の画像処理装置。
【請求項１０】
請求項１ないし９いずれか１つに記載の画像処理装置と、ナビゲーション装置とを含むナビゲーションシステム。
【請求項１１】
前記ナビゲーション装置は、自車が停止しているか否かまたは低速走行しているか否かの少なくとも一方を判定する判定手段を有し、前記表示手段は、前記判定手段により自車が停止または低速走行と判定されたとき合成画像を表示する、請求項１０に記載のナビゲーションシステム。
【請求項１２】
自車周辺の画像をディスプレイに表示する画像処理プログラムであって、
自車周辺を撮像し、撮像データに含まれる自車と相対速度がある立体物もしくは周辺環境と相対速度がある立体物を抽出するステップと、
抽出された立体物に応じた立体物画像を生成するステップと、
撮像データを車両上方の視点から見下ろした画像に視点変換するステップと、
視点変換された画像に前記立体物画像を合成するステップと、
合成された画像をディスプレイに表示するステップと、
を有する画像処理プログラム。
【請求項１３】
前記抽出するステップは、立体物の輪郭を抽出し、前記生成するステップは、抽出された立体物の輪郭に応じた立体物画像を生成する、請求項１２に記載の画像処理プログラム。
【請求項１４】
前記抽出するステップは、立体物の移動方向、大きさ、および自車からの距離の少なくとも１つを抽出し、前記生成するステップは、抽出された立体物の移動方向、大きさ、および自車からの距離の少なくとも１つに応じた立体物画像を生成する、請求項１２に記載の画像処理プログラム。
【請求項１５】
前記生成するステップは、抽出された立体物を直接表す立体物画像、立体物の輪郭を強調した立体物画像、または陰影を付加した立体物画像のいずれかを生成する、請求項１２ないし１４いずれか１つに記載の画像処理プログラム。
【請求項１６】
合成するステップは、周辺画像の色から識別されるように立体物画像の色を可変する、請求項１２ないし１５いずれか１つに記載の画像処理プログラム。
【請求項１７】
合成するステップは、抽出された立体物の移動方向に応じて立体物画像の向きを決定する、請求項１２ないし１６いずれか１つに記載の画像処理プログラム。
【請求項１８】
合成するステップは、視点変換された画像に含まれる特定の立体物を基準として、立体物画像の合成位置を決定する、請求項１２ないし１７いずれか１つに記載の画像処理プログラム。
【請求項１９】
視点変換するステップは、自車の前方、後方および側方の撮像データを視点変換し、自車を中心とする全方向の撮像データを生成する、請求項１２に記載の画像処理プログラム。
【請求項２０】
自車周辺の画像をディスプレイに表示する画像表示方法であって、
自車周辺を撮像し、撮像データに含まれる自車と相対速度がある立体物もしくは周辺環境と相対速度がある立体物を抽出するステップと、
抽出された立体物に応じた立体物画像を生成するステップと、
撮像データを車両上方の視点から見下ろした画像に視点変換するステップと、
視点変換された画像に前記立体物画像を合成するステップと、
合成された画像をディスプレイに表示するステップと、
を有する画像表示方法。
【請求項２１】
ナビゲーション装置において、自車が停止するときまたは低速走行するときに合成された画像を表示する、請求項２０に記載の画像表示方法。
【請求項１】
自車周辺の画像をディスプレイに表示する画像処理装置であって、
自車周辺を撮像し、撮像データを出力する撮像手段と、
前記撮像データを車両上方の視点から見下ろした画像に視点変換する視点変換手段と、
前記撮像データに含まれる自車と相対速度がある立体物もしくは周辺環境と相対速度がある立体物を抽出する抽出手段と、
前記抽出された立体物に応じた立体物画像を生成する立体物画像生成手段と、
前記視点変換された画像に生成された立体物画像を合成する画像合成手段と、
画像合成手段により合成された画像をディスプレイに表示する表示手段と、
を有する画像処理装置。
【請求項２】
前記抽出手段は、さらに立体物の輪郭を抽出し、前記立体物画像生成手段は、抽出された立体物の輪郭に応じた立体物画像を生成する、請求項１に記載の画像処理装置。
【請求項３】
前記抽出手段は、さらに立体物の移動方向、大きさ、および自車からの距離の少なくとも１つを抽出し、前記立体物画像生成手段は、抽出された立体物の移動方向、大きさ、および自車からの距離の少なくとも１つに応じた立体物画像を生成する、請求項１に記載の画像処理装置。
【請求項４】
前記立体物画像生成手段は、抽出された立体物を直接表す立体物画像、立体物の輪郭を強調した立体物画像、または陰影を付加した立体物画像のいずれかを生成する、請求項１ないし３いずれか１つに記載の画像処理装置。
【請求項５】
前記画像合成手段は、周辺画像の色から識別されるように立体物画像の色を可変する、請求項１ないし４いずれか１つに記載の画像処理装置。
【請求項６】
周辺画像の色と比較してコントラスト差が大きい立体物画像の色が選択される、請求項５に記載の画像処理装置。
【請求項７】
前記画像合成手段は、前記抽出手段により抽出された立体物の移動方向、大きさ、および自車からの距離の少なくとも１つに応じて、立体物画像の向きおよび大きさを決定する、請求項１ないし６いずれか１つに記載の画像処理装置。
【請求項８】
前記画像合成手段は、視点変換された画像に含まれる特定の立体物を基準として、立体物画像の合成位置を決定する、請求項１ないし７いずれか１つに記載の画像処理装置。
【請求項９】
前記撮像手段は、複数の撮像カメラを含み、自車の前方、後方および側方を撮像する、請求項１ないし８いずれか１つに記載の画像処理装置。
【請求項１０】
請求項１ないし９いずれか１つに記載の画像処理装置と、ナビゲーション装置とを含むナビゲーションシステム。
【請求項１１】
前記ナビゲーション装置は、自車が停止しているか否かまたは低速走行しているか否かの少なくとも一方を判定する判定手段を有し、前記表示手段は、前記判定手段により自車が停止または低速走行と判定されたとき合成画像を表示する、請求項１０に記載のナビゲーションシステム。
【請求項１２】
自車周辺の画像をディスプレイに表示する画像処理プログラムであって、
自車周辺を撮像し、撮像データに含まれる自車と相対速度がある立体物もしくは周辺環境と相対速度がある立体物を抽出するステップと、
抽出された立体物に応じた立体物画像を生成するステップと、
撮像データを車両上方の視点から見下ろした画像に視点変換するステップと、
視点変換された画像に前記立体物画像を合成するステップと、
合成された画像をディスプレイに表示するステップと、
を有する画像処理プログラム。
【請求項１３】
前記抽出するステップは、立体物の輪郭を抽出し、前記生成するステップは、抽出された立体物の輪郭に応じた立体物画像を生成する、請求項１２に記載の画像処理プログラム。
【請求項１４】
前記抽出するステップは、立体物の移動方向、大きさ、および自車からの距離の少なくとも１つを抽出し、前記生成するステップは、抽出された立体物の移動方向、大きさ、および自車からの距離の少なくとも１つに応じた立体物画像を生成する、請求項１２に記載の画像処理プログラム。
【請求項１５】
前記生成するステップは、抽出された立体物を直接表す立体物画像、立体物の輪郭を強調した立体物画像、または陰影を付加した立体物画像のいずれかを生成する、請求項１２ないし１４いずれか１つに記載の画像処理プログラム。
【請求項１６】
合成するステップは、周辺画像の色から識別されるように立体物画像の色を可変する、請求項１２ないし１５いずれか１つに記載の画像処理プログラム。
【請求項１７】
合成するステップは、抽出された立体物の移動方向に応じて立体物画像の向きを決定する、請求項１２ないし１６いずれか１つに記載の画像処理プログラム。
【請求項１８】
合成するステップは、視点変換された画像に含まれる特定の立体物を基準として、立体物画像の合成位置を決定する、請求項１２ないし１７いずれか１つに記載の画像処理プログラム。
【請求項１９】
視点変換するステップは、自車の前方、後方および側方の撮像データを視点変換し、自車を中心とする全方向の撮像データを生成する、請求項１２に記載の画像処理プログラム。
【請求項２０】
自車周辺の画像をディスプレイに表示する画像表示方法であって、
自車周辺を撮像し、撮像データに含まれる自車と相対速度がある立体物もしくは周辺環境と相対速度がある立体物を抽出するステップと、
抽出された立体物に応じた立体物画像を生成するステップと、
撮像データを車両上方の視点から見下ろした画像に視点変換するステップと、
視点変換された画像に前記立体物画像を合成するステップと、
合成された画像をディスプレイに表示するステップと、
を有する画像表示方法。
【請求項２１】
ナビゲーション装置において、自車が停止するときまたは低速走行するときに合成された画像を表示する、請求項２０に記載の画像表示方法。
【図１】
【図２】
【図３Ａ】
【図３Ｂ】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図２】
【図３Ａ】
【図３Ｂ】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【公開番号】特開２００８−２０５９１４（Ｐ２００８−２０５９１４Ａ）
【公開日】平成２０年９月４日（２００８．９．４）
【国際特許分類】
【出願番号】特願２００７−４０７６５（Ｐ２００７−４０７６５）
【出願日】平成１９年２月２１日（２００７．２．２１）
【出願人】（０００１０１７３２）アルパイン株式会社 (2,424)
【Ｆターム（参考）】
【公開日】平成２０年９月４日（２００８．９．４）
【国際特許分類】
【出願日】平成１９年２月２１日（２００７．２．２１）
【出願人】（０００１０１７３２）アルパイン株式会社 (2,424)
【Ｆターム（参考）】
[ Back to top ]