情報処理システム、サーバ装置、および、車載装置
【課題】車両に対する接近車両の接近状態を車両のユーザが正確に把握することを目的とする技術に関する。
【解決手段】
車両に対する車両の後方から車両に接近する接近車両の位置を導出する。そして、車両の位置と接近車両の位置に応じた仮想視点から見た合成画像を複数のカメラで撮影した撮影画像から生成して、当該合成画像をディスプレイに表示する。これにより、車両に後方から接近する接近車両の位置を車両のユーザが正確に把握できる。
【解決手段】
車両に対する車両の後方から車両に接近する接近車両の位置を導出する。そして、車両の位置と接近車両の位置に応じた仮想視点から見た合成画像を複数のカメラで撮影した撮影画像から生成して、当該合成画像をディスプレイに表示する。これにより、車両に後方から接近する接近車両の位置を車両のユーザが正確に把握できる。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、画像の表示処理に関する。
【背景技術】
【0002】
従来、車両の後方に備えられたカメラで撮影した画像中に車両の後方から接近する接近車両の像が存在する場合、画像中の接近車両の像の位置から車両に対する接近車両の位置を導出していた。そして、過去に検出した接近車両の位置と比べて車両に対する接近車両の位置が近くなった場合に、接近車両が車両に近づいていることをユーザに報知していた。
【0003】
そして、車両と接近車両との距離が所定の距離を下回った場合に、例えば車両のAピラー近傍に備えられたLEDなどの発光体を点灯させて、接近車両が車両に接近していることを車両のユーザに報知していた。このような報知を行う例としては、車両のユーザの操作により車両が走行する車線の変更を行う場合に、車両の移動位置に接近車両が接近しているときは、当該接近車両が存在していることを車両のユーザへ報知していた。このような場合、車両と接近車両との衝突の危険があるとして車両のユーザは車両の車線変更を取り止める場合があった。なお、本発明と関連する技術を説明する資料としては特許文献1がある。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開2004−304416号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかしながら、車線変更を行おうとする車両と接近車両との距離が所定の距離を下回った状態であっても、接近車両の車両に接近する速度が低速の場合は、接近車両が車両の移動位置に移動するよりも車両の移動位置への移動が早く行えるときがあった。つまり、接近車両の車両への接近状態によっては、車両のユーザの操作による車両の走行車線の変更が可能な場合があった。このようなことから車両に対する接近車両の接近状態をユーザが正確に把握できる技術が求められていた。
【0006】
本発明は上記課題に鑑みてなされたものであり、車両に対する接近車両の接近状態を車両のユーザが正確に把握できる技術を提供することを目的とする。
【課題を解決するための手段】
【0007】
上記課題を解決するために、請求項1の発明は、車両で用いられる画像表示システムであって、車両に搭載されたカメラの複数の撮影画像を取得する取得手段と、前記複数の撮影画像を合成して、仮想視点から見た前記車両の周辺の様子を示す合成画像を生成する生成手段と、前記車両の後方から接近する接近車両の存在を検出する検出手段と、前記車両に対する相対的な前記接近車両の位置を導出する導出手段と、前記合成画像を表示する表示手段と、を備え、前記生成手段は、前記車両の位置と前記接近車両の位置に応じた前記仮想視点から見た前記合成画像である特定合成画像を生成する。
【0008】
また、請求項2の発明は、請求項1に記載の画像表示システムにおいて、前記生成手段は、前記仮想視点の視点位置を前記車両の前方とし、前記仮想視点の視野方向を前記車両後方として、前記車両の像および前記接近車両の像を含む前記特定合成画像を生成する。
【0009】
また、請求項3の発明は、請求項1または2のいずれかに記載の画像表示システムにおいて、前記生成手段は、前記接近車両が前記車両に近づくにつれて前記仮想視点の高さを上昇させた前記特定合成画像を生成する。
【0010】
また、請求項4の発明は、請求項1に記載の画像表示システムにおいて、前記生成手段は、前記仮想視点の視点位置を前記接近車両のドライバーの位置とし、前記仮想視点の視野方向を前記車両の存在する方向として、前記特定合成画像を生成する。
【0011】
また、請求項5の発明は、請求項1ないし4のいずれかに記載の画像表示システムにおいて、前記表示手段は、前記接近車両が存在しない場合は前記カメラからの前記撮影画像のうちの一の撮影画像を表示し、前記接近車両が存在する場合は前記一の撮影画像と共に前記特定合成画像を表示する。
【0012】
また、請求項6の発明は、請求項1ないし5のいずれかに記載の画像表示システムにおいて、前記表示手段は、視点位置を前記接近車両のドライバーの位置とし視野方向を前記車両の存在する方向とする前記仮想視点から見た前記特定合成画像と、視点位置を前記車両のドアミラー近傍の位置とし視野方向を前記接近車両の存在する方向とする前記仮想視点から見た前記特定合成画像とを前記車両のユーザの操作に応じて切り替えて表示する。
【0013】
また、請求項7の発明は、請求項5または6のいずれかに記載の画像表示システムにおいて、前記表示手段は、前記車両のユーザの操作に応じて前記一の撮影画像のサイズと前記特定合成画像のサイズとを切り替えて表示する。
【0014】
また、請求項8の発明は、請求項1に記載の画像表示システムにおいて、前記車両の走行車線の変更に伴う前記車両のユーザの操作を検知する操作検知手段をさらに備え、前記表示手段は、前記ユーザの操作が検知された場合に前記特定合成画像を表示する。
【0015】
また、請求項9の発明は、請求項8に記載の画像表示システムにおいて、前記生成手段は、前記仮想視点の位置を前記車両の前方とし、前記仮想視点の視野方向を前記車両後方として、前記車両の像および前記接近車両の像を含む前記特定合成画像を生成する。
【0016】
また、請求項10の発明は、請求項8に記載の画像表示システムにおいて、前記生成手段は、前記仮想視点の視点位置を前記接近車両のドライバーの位置とし、前記仮想視点の視野方向を前記車両の存在する方向として、前記特定合成画像を生成する。
【0017】
また、請求項11の発明は、請求項8に記載の画像表示システムにおいて、前記車両が走行車線を変更して移動する場合の移動位置を予測する予測手段と、前記接近車両が前記移動位置に移動する第1移動時間を演算する演算手段と、前記第1移動時間に基づいて前記車両の前記移動位置への移動の可否を判断する判断手段と、をさらに備え、前記生成手段は、前記移動の可否の判断結果を示す警告画像を前記合成画像に重畳させる。
【0018】
また、請求項12の発明は、請求項11に記載の画像表示システムにおいて、前記生成手段は、前記警告画像を前記移動位置に重畳させる。
【0019】
また、請求項13の発明は、請求項11に記載の画像表示システムにおいて、前記車両が前記移動位置に移動する第2移動時間を計測する計測手段と、前記第2移動時間を学習記憶する記憶手段と、をさらに備え、前記判断手段は、前記第1移動時間と記憶された前記第2移動時間とに基づいて前記移動の可否を判断する。
【0020】
また、請求項14の発明は、請求項8ないし13のいずれかに記載の画像表示システムにおいて、前記ユーザの操作が検知され、かつ、前記接近車両が存在しない場合に、前記生成手段は、前記仮想視点の視点位置を前記車両の前方とし、前記仮想視点の視野方向を前記車両後方として、前記車両の像と隣接車線の像とを含む前記合成画像である車両合成画像を生成し、前記表示手段は、前記車両合成画像を表示する。
【0021】
また、請求項15の発明は、請求項1ないし14のいずれかに記載の画像表示システムにおいて、前記車両の位置を取得する位置取得手段と、前記車両の位置に応じて、前記車両の目的地までのルートを案内する案内情報をユーザに報知する報知手段と、をさらに備え、前記表示手段は、前記報知手段が前記案内情報を報知する場合に、前記合成画像を表示する。
【0022】
また、請求項16の発明は、請求項15に記載の画像表示システムにおいて、前記生成手段は、前記報知手段が報知する前記案内情報の内容に応じて、前記合成画像の前記仮想視点を変更する。
【0023】
また、請求項17の発明は、請求項16に記載の画像表示システムにおいて、前記案内情報は、走行車線の変更を案内する情報と、交差点での方向の変更を案内する情報とを含む。
【0024】
また、請求項18の発明は、車両で用いられる画像処理装置であって、車両に搭載されたカメラの複数の撮影画像を取得する取得手段と、前記複数の撮影画像を合成して、仮想視点から見た前記車両の周辺の様子を示す合成画像を生成する生成手段と、前記車両の後方から接近する接近車両の存在を検出する検出手段と、前記車両に対する相対的な前記接近車両の位置を導出する導出手段と、を備え、前記生成手段は、前記車両の位置と前記接近車両の位置に応じた前記仮想視点から見た前記合成画像である特定合成画像を生成する。
【0025】
また、請求項19の発明は、車両で用いられる画像表示方法であって、(a)車両に搭載されたカメラの複数の撮影画像を取得する工程と、(b)前記複数の撮影画像を合成して、仮想視点から見た前記車両の周辺の様子を示す合成画像を生成する工程と、(c)前記車両の後方から接近する接近車両の存在を検出する工程と、(d)前記車両に対する相対的な前記接近車両の位置を導出する工程と、(e)前記合成画像を表示する表示する工程と、を備え、前記工程(b)は、前記車両の位置と前記接近車両の位置に応じた前記仮想視点から見た前記合成画像である特定合成画像を生成する。
【発明の効果】
【0026】
請求項1の発明によれば、生成手段は、車両の位置と接近車両の相対的な位置に応じた仮想視点から見た合成画像である特定合成画像を生成することで、接近車両の位置を車両のユーザが正確に把握できる。
【0027】
また、請求項2の発明によれば、生成手段は、仮想視点の視点位置を車両の前方とし、仮想視点の視野方向を車両後方として、車両の像および接近車両の像を含む特定合成画像を生成することで、車両前方から見た接近車両の位置を車両のユーザが正確に把握できる。
【0028】
また、請求項3の発明によれば、生成手段は、接近車両が車両に近づくにつれて仮想視点の高さを上昇させた特定合成画像を生成することで、車両の像と接近車両の像とが合成画像中に含まれ、接近車両の位置を車両のユーザが正確に把握できる。
【0029】
また、請求項4の発明によれば、生成手段は、仮想視点の視点位置を接近車両のドライバーの位置とし、仮想視点の視野方向を車両の存在する方向として、特定合成画像を生成することで、接近車両のドライバー視点から車両の位置を車両のユーザは正確に把握できる。
【0030】
また、請求項5の発明によれば、表示手段は、接近車両が存在しない場合はカメラからの撮影画像のうちの一の撮影画像を表示し、接近車両が存在する場合は一の撮影画像と共に特定合成画像を表示することで、車両のユーザは接近車両の存在を早期に認識でき、接近車両の位置を正確に把握できる。
【0031】
また、請求項6の発明によれば、表示手段は、視点位置を接近車両のドライバーの位置とし視野方向を車両の存在する方向とする仮想視点から見た特定合成画像と、視点位置を車両のドアミラー近傍の位置とし視野方向を接近車両の存在する方向とする仮想視点から見た特定合成画像とを車両のユーザの操作に応じて切り替えて表示することで、ユーザの希望する仮想視点からの見た合成画像を表示して、接近車両の位置を正確に把握できる。
【0032】
また、請求項7の発明によれば、表示手段は、車両のユーザの操作に応じて一の撮影画像のサイズと特定合成画像のサイズとを切り替えて表示することで、車両の走行状態に応じて車両のユーザの希望する画像のサイズを他の画像のサイズと比べて調整できる。
【0033】
また、請求項8の発明によれば、表示手段は、ユーザの操作が検知された場合に特定合成画像を表示することで、車両のユーザは接近車両の位置を正確に把握して車両の車線変更の可否を容易に判断できる。
【0034】
また、請求項9の発明によれば、生成手段は、仮想視点の位置を車両の前方とし、仮想視点の視野方向を車両後方として、車両の像および接近車両の像を含む特定合成画像を生成することで、車両前方から見た接近車両の位置を車両のユーザは正確に把握して、車両の車線変更の可否を容易に判断できる。
【0035】
また、請求項10の発明によれば、生成手段は、仮想視点の視点位置を接近車両のドライバーの位置とし、仮想視点の視野方向を車両の存在する方向として、特定合成画像を生成することで、接近車両のドライバー視点から車両の位置を車両のユーザは正確に把握して、車両の車線変更の可否を容易に判断できる。
【0036】
また、請求項11の発明によれば、生成手段は、移動の可否の判断結果を示す警告画像を合成画像に重畳させることで、車両のユーザは接近車両の車両への接近状態を正確に把握して、車両の車線変更の可否を容易に判断できる。
【0037】
また、請求項12の発明によれば、表示手段は、現在の車両の位置に対応する表示態様で撮影画像を表示することで、車両の位置に対応する地点を初めて走行するユーザに撮影画像の最適な表示態様を提供できる。
【0038】
また、請求項13の発明によれば、判断手段は、第1移動時間と記憶された第2移動時間とに基づいて判断することで、車両9の移動位置への移動の可否を車両9のユーザの固有の車線変更時間に応じて、車両9のユーザが容易に判断できる。
【0039】
また、請求項14の発明によれば、生成手段は、ユーザの操作が検知され、かつ、接近車両が存在しない場合に、仮想視点の視点位置を車両の前方とし、仮想視点の視野方向を車両後方として、車両の像を含む合成画像である車両合成画像を生成し、表示手段は、車両合成画像を表示することで、接近車両の存在の有無に関わらず車両の車線変更の可否をユーザが容易に判断できる。
【0040】
また、請求項15の発明によれば、表示手段は、報知手段が案内情報を報知する場合に、合成画像を表示することで、案内情報に対応した仮想視点位置から見た合成画像をユーザが確認できる。
【0041】
また、請求項16の発明によれば、生成手段は、報知手段が報知する案内情報の内容に応じて、合成画像の仮想視点を変更することで、案内情報の内容に対応する車両の走行状況に応じた合成画像を車両のユーザが確認できる。
【0042】
また、請求項17の発明によれば、案内情報は、走行車線の変更を案内する情報と、交差点での方向の変更を案内する情報とを含むことで、走行車線の変更、および、交差点での進行方向の変更に応じた合成画像を車両のユーザが確認できる。
【図面の簡単な説明】
【0043】
【図1】図1は、画像表示システムのブロック図である。
【図2】図2は、車載カメラが車両に配置される位置を示す図である。
【図3】図3は、合成画像を生成する手法を説明するための図である。
【図4】図4は、仮想視点の視点位置を主に説明する図である。
【図5】図5は、仮想視点の視野方向を主に説明する図である。
【図6】図6は、仮想視点の視野方向を主に説明する図である。
【図7】図7は、ディスプレイに表示される仮想視点から見た合成画像を示した図である。
【図8】図8は、ディスプレイに表示される仮想視点から見た合成画像を示した図である。
【図9】図9は、画像処理装置の処理フローチャートである。
【図10】図10は、仮想視点の視点位置を主に説明する図である。
【図11】図11は、仮想視点の視野方向を主に説明する図である。
【図12】図12は、仮想視点の視野方向を主に説明する図である。
【図13】図13は、ディスプレイに表示される仮想視点から見た合成画像を示した図である。
【図14】図14は、ディスプレイに表示される仮想視点から見た合成画像を示した図である。
【図15】図15は、画像表示システムのブロック図である。
【図16】図16は、ディスプレイに表示される仮想視点から見た合成画像を示した図である。
【図17】図17は、画像処理装置の処理フローチャートである。
【図18】図18は、画像処理装置の処理フローチャートである。
【図19】図19は、画像表示システムのブロック図である。
【図20】図20は、車両の車線変更時間の計測の一例を示すグラフである。
【図21】図21は、学習部が車線変更時間を計測する処理フローチャートである。
【図22】図22は、学習部が車線変更時間を計測する処理フローチャートである。
【図23】図23は、仮想視点の視点位置を主に説明する図である。
【図24】図24は、仮想視点の視野方向を主に説明する図である。
【図25】図25は、ディスプレイに表示される仮想視点から見た合成画像を示した図である。
【図26】図26は、画像処理装置の処理フローチャートである。
【図27】図27は、画像処理装置の処理フローチャートである。
【図28】図28は、ディスプレイに表示される仮想視点から見た合成画像を示した図である。
【図29】図29は、画像処理装置の処理フローチャートである。
【図30】図30は、画像処理装置の処理フローチャートである。
【図31】図31は、仮想視点の視点位置を主に説明する図である。
【図32】図32は、仮想視点の視野方向を主に説明する図である。
【図33】図33は、ディスプレイに表示される仮想視点から見た合成画像を示した図である。
【図34】図34は、画像処理装置の処理フローチャートである。
【図35】図35は、画像処理装置の処理フローチャートである。
【図36】図36は、一のカメラの撮影画像と共にディスプレイに表示される合成画像の仮想視点の一例を示している。
【図37】図37は、ディスプレイに表示される画像を示す図である。
【図38】図38は、ディスプレイに表示される画像を示す図である。
【図39】図39は、一の撮影画像と合成画像をディスプレイに共に表示する処理フローチャートである。
【図40】図40は、一の撮影画像と合成画像をディスプレイに共に表示する処理フローチャートである。
【図41】図41は、フロントカメラの撮影画像のサイズと合成画像のサイズとの切替を示す図である。
【図42】図42は、ユーザに案内情報を報知する地点を示す図である。
【図43】図43は、案内情報を報知する地点での仮想視点の視点位置と視野方向の例を示す図である。
【図44】図44は、仮想視点から見た合成画像を示す図である。
【図45】図45は、表示装置が案内情報の報知を行う場合に、画像処理装置が合成画像をディスプレイに表示する処理フローチャートである。
【図46】図46は、表示装置が案内情報の報知を行う場合に、画像処理装置が合成画像をディスプレイに表示する処理フローチャートである。
【発明を実施するための形態】
【0044】
以下、図面を参照しつつ本発明の実施の形態について説明する。
【0045】
<第1の実施の形態>
【0046】
<1.構成>
【0047】
<1−1.画像表示システム>
【0048】
図1は、画像表示システム120のブロック図である。撮影部5が搭載された車両(図2に示す車両9)の周辺を示す周辺画像を生成して画像情報を出力する画像処理装置11と、画像処理装置11から出力された画像を表示する表示装置20とを画像表示システム120は主に有している。
【0049】
表示装置20は、ナビゲーション案内を表示するディスプレイを有するナビゲーション装置、音楽のタイトル情報やテレビの映像などを表示するディスプレイを備えたオーディオ装置、ユーザが携帯し車両9内へ持ち込んで使用可能なスマートフォンなどである。
【0050】
また、表示装置20は装置全体を制御する制御部21と、制御部21の処理データなどを記憶する記憶部22と、画像処理装置11との間で通信を行う通信部23と、タッチパネル機能を備えた液晶などのディスプレイ24と、ユーザが操作を行う操作部25とを備えている。そして、ディスプレイ24の画面がユーザから視認可能なように、表示装置20は車両9のインストルメントパネルなどに設置される。ユーザからの各種の指示は、操作部25とタッチパネルとしてのディスプレイ24とによって受け付けられる。
【0051】
制御部21は、CPU、RAM、および、ROMなどを備えたコンピュータであり、所定のプログラムに従ってCPUが演算処理を行うことでナビゲーション機能を含む各種の機能が実現される。
【0052】
制御部21は、主に表示制御部201、および、位置導出部202の機能を備えている。表示制御部201は、操作部25などからのユーザの操作に伴いディスプレイ24に表示される車載カメラの撮影画像の表示態様を制御する。
【0053】
位置導出部202は、車両9の位置に対応する緯度・経度情報を導出する。このような車両9の位置はGPS(Global Positioning System)衛星からの電波の信号を受信し、受信した信号を制御部21で処理することにより実現される。GPSは、地球を周回する多数のGPS衛星のうち少なくとも3つ以上の衛星からの電波に基づいて車両9の位置を測位するシステムである。
【0054】
記憶部22は、制御部21が表示装置20を制御するプログラムを記憶する。また、記憶部22は、ディスプレイ24に表示される地図画像の情報である地図情報202を記憶する。
【0055】
通信部23は表示装置20と画像処理装置11との通信を行うインターフェースであり、画像処理装置からの画像情報等を受信したり、後述する操作部25がユーザに操作された場合の指示信号を画像処理装置11に送信する。
【0056】
ディスプレイ24は、各種画像を表示する表示部であり、表示制御部201の制御により、通常は表示装置20単体の機能に基づく画像を表示する。そして、所定の条件下で画像処理装置11で生成された車両9の周辺の様子を示す周辺画像を表示する。これにより、表示装置20は、画像処理装置11で生成された周辺画像を受信して表示する装置としても機能する。
【0057】
操作部25は、表示装置20の各種機能を実現するためにユーザが操作を行うものであり、例えば、表示装置20に設けられたハードスイッチなどである。また、操作部25をユーザが操作することでディスプレイ24に表示された車載カメラの撮影画像の表示態様を切り替えることができる。
【0058】
画像処理装置11は、車両9の周辺画像を生成する機能を有するECU(Electronic Control Unit)であり、車両9の所定の位置に配置される。画像処理装置11は、撮影部5で車両9の周辺を撮影して得られる撮影画像に基づいて仮想視点からみた合成画像を生成する画像生成装置として機能する。また、画像処理装置11は撮影部5の一のカメラで撮影された画像を処理する装置としても機能する。撮影部5が備える複数の車載カメラ51、52、53、54は、画像処理装置11とは別の車両9の適位置に配置されるが詳細は後述する。
【0059】
画像処理装置11は、装置全体を制御する制御部1と、撮影部5で取得された撮影画像を処理して表示用の周辺画像を生成する画像処理部3を主に備えている。
【0060】
表示装置20の操作部25、および、ディスプレイ24のいずれかによって受け付けられたユーザからの各種の指示は、表示装置20の通信部23を介して制御信号として通信部61に受け付けられて制御部1に入力される。これにより、画像処理装置11は、表示装置20に対するユーザの操作に応答した動作が可能となっている。
【0061】
画像処理部3は、各種の画像処理が可能なハードウェア回路として構成されており、画像取得部31、合成画像生成部32、および、画像出力部33を主な機能として備えている。
【0062】
画像取得部31は、車両9の周辺を撮影する撮影部5の車載カメラ51、52、53、54で撮影された複数の撮影画像を取得する。
【0063】
合成画像生成部32は、車載カメラ51、52、53、54で取得された複数の撮影画像に基づいて、車両の周辺の任意の仮想視点からみた合成画像を生成する。合成画像生成部32が仮想視点からみた合成画像を生成する手法については後述する。
【0064】
また、画像出力部33は合成画像生成部32において生成された合成画像、および、その他の画像(たとえば、一のカメラで撮影された画像)の少なくとも一の画像を通信部61を介して表示装置20へ送信する。これにより、車両の周辺を示す周辺画像が表示装置20のディスプレイ24に表示される。
【0065】
制御部1は、CPU、RAM、および、ROMなどを備えたコンピュータであり、所定のプログラムに従ってCPUが演算処理を行うことで各種の制御機能が実現される。図中に示す画像制御部111、検出部112、および、導出部113は、このようにして実現される制御部1の機能のうちの一部である。
【0066】
画像制御部111は、画像処理部3によって実行される画像処理を制御するものである。例えば、画像制御部111は、車両9の位置に応じた合成画像の生成に必要な各種パラメータを合成画像生成部32に指示する。このようなパラメータの指示は、例えば撮影画像の表示態様の切り替えに伴うユーザ操作の指示信号を制御部1が受信した場合に、画像制御部111が行う。
【0067】
また、画像制御部111は車両9の位置と車両9の後方から車両9に接近する車両(以下、「接近車両」ともいう。例えば、図4および図5に示す接近車両10)の位置に応じた仮想視点から見た合成画像の生成を合成画像生成部32に指示する。
【0068】
検出部112は、車両9の後方から接近する接近車両10の存在を検出する。つまり、車両9の後方に備えられたバックカメラ52の撮影画像から車両9の後方に存在する接近車両の像(以下、「接近車両像」ともいう。例えば、図7の合成画像PT1および合成画像PT2に示す接近車両像101)をエッジ検出などの処理により検出する。
【0069】
なお、車両9に接近する接近車両10の存在の検出は、検出部112が過去に検出したある車両像の画像中の位置と、今回検出した当該車両像の画像中の位置との差に基づいて行う。また、接近車両10の存在を検出する別の方法としては、過去に検出したある車両像の画像中に占める大きさと今回検出した当該車両像の画像中に占める大きさとを比較により行う。
【0070】
導出部113は、車両9に対する接近車両10の相対的な位置を導出する。つまり、検出部112により検出された画像中の車両像91と接近車両像101との位置の差などから車両9に対する接近車両10の位置(車両9に対する接近車両10の距離、および、車両9に対する接近車両10の方向(角度))を導出する。
【0071】
また、画像処理装置11は、不揮発性メモリ4、通信部61、および、信号入力部62をさらに備えており、これらは制御部1に接続されている。
【0072】
不揮発性メモリ4は、電源オフ時においても記憶内容を維持可能なフラッシュメモリなどで構成されている。不揮発性メモリ4には、車種別情報40が記憶されている。車種別情報40は、合成画像生成部32が合成画像を生成する際に必要となる車両の種別に応じたデータを含んでいる。
【0073】
また、不揮発性メモリ4は、車両9に対する接近車両10の位置に対応する仮想視点VPの視点位置および視野方向の情報である仮想視点情報41が記憶されている。そして、仮想視点VPの視点位置および視野方向を画像制御部111が設定する際に、車両9に対する接近車両10の位置に対応した仮想視点VPの視点位置および視野方向の情報が画像制御部111により不揮発性メモリ4から読み出される。
【0074】
通信部61は、画像処理装置11が表示装置20との間で通信を行うためのインターフェースである。
【0075】
信号入力部62は、車両9に設けられた各種装置からの信号の入力が行われる際のインターフェースである。信号入力部62を介して、画像処理装置11の外部からの信号が制御部1に入力される。具体的には、シフトセンサ81、車速センサ82、方向指示器83、および、操舵角センサ84などから、各種情報を示す信号が制御部1に入力される。
【0076】
シフトセンサ81からは、車両9の変速装置のシフトレバーの操作の位置、すなわち、”P(駐車)”,”D(前進)”,”N(中立)”,”R(後退)”などのシフトポジションが入力される。車速センサ82からは、その時点の車両9の走行速度(km/h)が入力される。
【0077】
方向指示器83からは、ウインカースイッチの操作に基づく方向指示、すなわち、車両9のドライバーが意図する方向指示を示すターン信号が入力される。ウインカースイッチが操作されたときはターン信号が発生し、ターン信号はその操作された方向(左方向あるいは右方向)を示すことになる。ウインカースイッチが中立位置となったときは、ターン信号はオフとなる。
【0078】
操舵角センサ84からは、ユーザが操作したステアリングホイールの操作方向が制御部1に入力される。詳細には、操舵角センサ84には、ユーザが操作したステアリングホイールの回転方向、回転角度、及び、回転速度が信号入力部62を介して制御部1に入力される。
【0079】
<1−3.撮影部>
次に、画像処理装置11の撮影部5について詳細に説明する。撮影部5は、制御部1に電気的に接続され、制御部1からの信号に基づいて動作する。
【0080】
撮影部5は、車載カメラであるフロントカメラ51、バックカメラ52、左サイドカメラ53、および、右サイドカメラ54を備えている。これらの車載カメラ51、52、53、54はそれぞれ、CCDやCMOSなどの撮像素子を備えており電子的に画像を取得する。
【0081】
図2は、車載カメラ51、52、53、54が車両9に配置される位置を示す図である。なお、以下の説明においては、車両9を例に説明を行う。また、方向および向きを示す際に、適宜、図中に示す3次元のXYZ直交座標を用いる。このXYZ軸は車両9に対して相対的に固定される。ここで、X軸方向は車両9の左右方向に沿い、Y軸方向は車両9の直進方向(前後方向)に沿い、Z軸方向は鉛直方向に沿っている。また、便宜上、+X側を車両A1の右側、+Y側を車両A1の後側、+Z側を上側とする。
【0082】
フロントカメラ51は、車両9の前端にあるナンバープレート取付位置の近傍に設けられ、その光軸51aは車両9の直進方向(平面視でY軸方向の−Y側)に向けられている。バックカメラ52は、車両9の後端にあるナンバープレート取付位置の近傍に設けられ、その光軸52aは車両9の直進方向の逆方向(平面視でY軸方向の+Y側)に向けられている。また、左サイドカメラ53は、左のドアミラー93に設けられており、右サイドカメラ54は右のドアミラー94に設けられている。そして、光軸53aは車両9の左方向、光軸54aは車両9の右方向(平面視でX軸方向)に沿って外部に向けられている。なお、フロントカメラ51やバックカメラ52の取り付け位置は、左右略中央であることが望ましいが、左右中央から左右方向に多少ずれた位置であってもよい。
【0083】
これらの車載カメラ51、52、53、54のレンズとしては魚眼レンズなどが採用されており、車載カメラ51、52、53、54は180度以上の画角αを有している。このため、4つの車載カメラ51、52、53、54を利用することで、車両9の全周囲の撮影が可能となっている。
【0084】
<1−4.画像変換処理>
次に、画像処理部3の合成画像生成部32が、撮影部5で得られた複数の撮影画像に基づいて車両9の周辺を任意の仮想視点からみた様子を示す合成画像を生成する手法について説明する。合成画像を生成する際には、不揮発性メモリ4に予め記憶された車種別情報40が利用される。図3は、合成画像を生成する手法を説明するための図である。
【0085】
撮影部5のフロントカメラ51、バックカメラ52、左サイドカメラ53、および、右サイドカメラ54で同時に撮影が行われると、車両9の前方、後方、左側方、および、右側方をそれぞれ示す4つの撮影画像P1〜P4が取得される。すなわち、撮影部5で取得される4つの撮影画像P1〜P4には、撮影時点の車両9の全周囲を示す情報が含まれていることになる。
【0086】
次に、4つの撮影画像P1〜P4の各画素が、仮想的な三次元空間における立体曲面SPに投影される。立体曲面SPは、例えば略半球状(お椀形状)をしており、その中心部分(お椀の底部分)が車両9の存在する位置として定められている。撮影画像P1〜P4に含まれる各画素の位置と、立体曲面SPの各画素の位置とは予め対応関係が定められている。このため、立体曲面SPの各画素の値は、この対応関係と撮影画像P1〜P4に含まれる各画素の値とに基づいて決定できる。
【0087】
撮影画像P1〜P4の各画素の位置と立体曲面SPの各画素の位置との対応関係は、車両9における4つの車載カメラ51、52、53、54の配置(相互間距離、地上高さ、光軸角度等)に依存する。このため、この対応関係を示すテーブルデータが、不揮発性メモリ4に記憶された車種別情報40に含まれている。
【0088】
また、車種別情報40に含まれる車体の形状やサイズを示すポリゴンデータが利用され、車両A1の三次元形状を示すポリゴンモデルである車両像を仮想的に備えている。構成された車両像は、立体曲面SPが設定される三次元空間において、車両9の位置と定められた略半球状の中心部分に配置される。
【0089】
さらに、立体曲面SPが存在する三次元空間に対して、制御部1により仮想視点VPが設定される。仮想視点VPは、視点位置と視野方向とで規定され、この三次元空間における車両9の周辺に相当する任意の視点位置に任意の視野方向に向けて設定される。
【0090】
そして、設定された仮想視点VPに応じて、立体曲面SPにおける必要な領域が画像として切り出される。仮想視点VPと、立体曲面SPにおける必要な領域との関係は予め定められており、テーブルデータとして不揮発性メモリ4等に予め記憶されている。つまり、設定された仮想視点VPに応じて画像の領域が切り出されて、ポリゴンで構成された車両像に関してレンダリングがなされ、その結果となる二次元の車両像が、切り出された画像に対して重畳される。これにより、車両9の周辺を任意の仮想視点からみた様子を示す合成画像が生成されることになる。
【0091】
例えば、視点位置が車両9の位置の略中央の直上位置で、視野方向が略直下方向とした仮想視点VPAを設定した場合は、車両9の略直上から車両9を見下ろすように、車両9(実際には車両像であり、例えば、合成画像PTAに映し出されている車両像91)と車両9の周辺の様子を示す合成画像PTAが生成される。また、図中に示すように、視点位置が車両9の位置の左後方で、視野方向を車両9における略前方とした仮想視点VPBを設定した場合は、車両9の左後方からその周辺全体を見渡すように、車両9(実際には車両像であり、例えば、合成画像PTBに映し出されている車両像91)と車両9の周辺の様子を示す合成画像PTBが生成される。
【0092】
なお、実際に合成画像を生成する場合においては、立体曲面SPの全ての画素の値を決定する必要はなく、設定された仮想視点VPに対応して必要となる領域の画素の値のみを撮影画像P1〜P4に基づいて決定することで、処理速度を向上できる。
<1−5.仮想視点の視点位置と視野方向>
次に車両9と接近車両10の位置に応じた仮想視点の視点位置および視野方向について説明する。図4は、仮想視点VPの視点位置を主に説明する図である。また、図5および図6は、仮想視点VPの視野方向を主に説明する図である。
【0093】
図4には、車幅方向(X軸方向)の車両9の位置と接近車両10の位置との間の略中央の位置で、車両9の前後方向(Y軸方向)に延伸する軸線sh1が示されている。そして、軸線sh1を通り路面に鉛直な平面上で放物線を描くように移動する仮想視点VP1〜4が示されている。詳細には車両9に接近車両10が近づくにつれて、仮想視点VPの視点位置の高さが上昇する。また、仮想視点VPの移動は、車両像91と接近車両像101とが合成画像中に含まれるように行われる。このように仮想視点VPの視点位置を移動させることで、車両9の像と接近車両10の像とが合成画像中に含まれ、接近車両10の位置を車両9のユーザ(以下単位「ユーザ」ともいう。)が正確に把握できる。なお、仮想視点VP3からVP4への移動は、車両9が接近車両10を追い越した場合に行われる。
【0094】
具体的には、例えば仮想視点VP1の視点位置は車両9と接近車両10との距離が30m以上の場合に、仮想視点VP2の視点位置は車両9と接近車両10との距離が30m未満10m以上の場合にそれぞれ画像制御部111により設定される。また、仮想視点VP3の視点位置は車両9と接近車両10との距離が10m未満1m以上の場合に、仮想視点VP4の視点位置は車両9と接近車両10との距離が1m未満となった後、接近車両10が車両9を追い越した場合にそれぞれ画像制御部111により設定される。
【0095】
図5は、仮想視点VP1の視野方向と仮想視点VP2の視野方向とを主に説明する図である。図5の左図に示す仮想視点VP1の視野方向は、車両9の前方(−Y方向)の視点位置から車両9の後方に向けられている。
詳細には、合成画像中の接近車両像101の位置から、直接、車両9までを結ぶ直線CL1を導出部113が導出する。つまり、合成画像中の接近車両像101の位置から、車両9に対する接近車両10の方向と、車両9に対する接近車両10の距離を導出部113が導出する。
【0096】
なお、別の導出方法としては、車両9および接近車両10の前後方向(Y軸方向)における車両9(例えば車体の重心位置CP)と接近車両10(例えば車両9の後方に存在する接近車両で、車両9との距離が最も近い接近車両の車体位置DP)との直線ALを導出部113に導出する。そして、横方向(X方向)に車両9と接近車両10との直線BLを導出部113に導出する。その結果、直線ALと直線BLとから車両9と接近車両10とを結ぶ直線CL1を導出部113が導出するようにしてもよい。このような直線CL1を導出することは、車両9に対する接近車両10の位置を導出することに相当する。
【0097】
そして、直線CL1の略中央となる地点CE1の方向に仮想視点VP1の視野方向が向けられる。このような仮想視点VP1の視点位置および視野方向から見た合成画像には車両9と接近車両10との両方の像が含まれる。そして、ディスプレイ24に表示される画像中の車両像91と接近車両像101の位置から、車両9に対する接近車両10の位置をユーザが正確に把握できる。
【0098】
次に、図5の右図は先に述べた図5の左図よりも接近車両10が車両9に接近した状態を示している。そして、仮想視点VP2は車両9の前方(−Y方向)に視点位置があり、視野方向は車両9後方(+Y方向)となる車両9の位置と接近車両10の位置とを結ぶ直線CL2の略中央の地点CE2に向けられている。また、仮想視点VP2の視点位置は仮想視点VP1よりも高い視点位置となっている。
【0099】
図6は、仮想視点VP3の視野方向と仮想視点VP4の視野方向を主に説明する図である。図6の左図に示す仮想視点VP3の視点位置は車両9と接近車両10とを結ぶ直線CL3の略中央の略直上の位置にあり、視野方向は鉛直下方(+Z方向から−Z方向)の地点CE3に向けられている。
【0100】
図6の右図に示す仮想視点VP4は、視点位置が車両9の後方(+Y方向)で、視野方向が車両9の位置および接近車両10の位置とを結ぶ直線CL4の略中央の地点CE4に向けられている。つまり、仮想視点VP4の視野方向は、車両9の前方(−Y方向)に向けられている。
【0101】
なお、図4から図6で示した視点位置および視野方向の仮想視点VPから見た合成画像には車両9に対応する車両像91と接近車両10に対応する接近車両像101とが含まれる。このように、仮想視点VPの視点位置および視野方向は、車両9と接近車両10との位置に応じた視点位置となる。これにより、接近車両10の位置をユーザが正確に把握できる。
【0102】
<1−6.表示画像>
【0103】
図7および図8は、ディスプレイ24に表示される仮想視点VPから見た合成画像を示した図である。なお、図7および図8に示す合成画像PT1からPT4は時間的に連続した合成画像である。
【0104】
図7に示す合成画像PT1は仮想視点VP1から見た合成画像であり、車両9に対応する車両像91の後方に接近車両10に対応する接近車両像101が映し出されている。合成画像PT2は、仮想視点VP2から見た合成画像であり、車両像91の後方に接近車両像101が映し出されている。そして、合成画像PT2では、合成画像PT1よりも接近車両像101が車両像91に接近した位置にある。このような合成画像の表示により、接近車両の位置をユーザが正確に把握できる。
【0105】
図8の合成画像PT3は仮想視点VP3から見た合成画像であり、車両9および接近車両10の直上の仮想視点位置から鉛直下方を見た車両9に対応する車両像91の側方に接近車両10に対応する接近車両像101が位置している状態の画像が映し出されている。
合成画像PT4では、仮想視点VP4から見た合成画像であり、接近車両像101が車両像91を追い越した状態の画像が映し出されている。図7および図8に示すように仮想視点VP1、VP2、VP3、およびVP4から見た合成画像中には車両9に対応する車両像91と接近車両10に対応する接近車両像101との両方の車両の像が映し出されている。このように車両9に対する接近車両の位置を時系列に表示することで、接近車両の位置を車両9のユーザは正確に把握できる。
【0106】
<1−7.処理フローチャート>
【0107】
図9は、画像処理装置11の処理フローチャートである。ステップS101では、撮影部5のバックカメラ52で撮影された画像中に接近車両10の存在を検出部112が検出した場合(ステップS101がYes)、ステップS102の処理に進む。なお、接近車両10の存在を検出部112が検出していない場合(ステップS101がNo)は、処理を終了する。
【0108】
ステップS102では、車両9に対する接近車両10の位置、つまり、車両9に対する接近車両10の位置を導出部113が導出して(ステップS102)、ステップS103の処理に進む。
【0109】
ステップS103では、車両9に対する接近車両10の位置から仮想視点VPの視点位置、および、視野方向を画像制御部111が設定して(ステップS103)、ステップS104の処理に進む。なお、車両9に対する接近車両10の位置からの仮想視点VPの視点位置および視野方向の設定は、車両9に対する接近車両10の位置に対応する仮想視点VPの視点位置、および、視野方向の情報を不揮発性メモリ4から画像制御部111が読み出して設定する。
【0110】
ステップS104では、仮想視点VPから見た合成画像を合成画像生成部32が生成して(ステップS104)、ステップS105の処理に進む。
ステップS105では、合成画像生成部32により生成された合成画像を通信部61を介して表示装置20に画像出力部33が出力する(ステップS105)。
【0111】
<第2の実施の形態>
【0112】
次に、第2の実施の形態について説明する。第2の実施の形態と第1の実施形態との相違点は、仮想視点の視点位置および視野方向である。つまり、第1の実施の形態では、車両9の位置と接近車両10の位置との間の略中央で車両9の前後方向に延伸する軸線sh1上で放物線を描くように移動する仮想視点VP1〜VP4について説明した。
【0113】
これに対して、第2の実施の形態では図10に示すように車両9の車体の略中央位置にあり、車両9の前後方向(Y軸方向)に延伸する軸線sh2を通り路面の鉛直方向から所定角度(例えば20度)傾いた平面上で放物線を描くように移動する仮想視点VPがVP11からVP14の位置に移動する。なお、その他の構成および処理については第1の実施の形態の構成および処理と同一である。そのため、構成および処理が同一の部分についての記載は省略する。
【0114】
<2−1.仮想視点の視点位置と視野方向>
【0115】
図10は、仮想視点VPの視点位置を主に説明する図である。また、図11および図12は、仮想視点VPの視野方向を主に説明する図である。
【0116】
図10に示すように、仮想視点VPは、車両9の車体の略中央(例えば、フロントバンパーの中央)に位置し、車両9の前後方向(Y軸方向)に延伸する軸線sh2を通り路面の鉛直方向から所定角度傾いた平面上で放物線を描くように、すなわち車両9の左側情報から斜め下方向に見下ろすように、VP11〜VP14の位置に移動する。
詳細には仮想視点VP11からVP12、仮想視点VP12からVP13への視点位置の移動は、車両9に対して接近車両10が近づくにつれて、視点位置の高さが上昇する。また、車両9と接近車両10との直線距離が短くなる(例えば、車両9の後方のバンパー部分と接近車両10の前方のバンパー部分との距離が短くなる)ほど仮想視点VPの位置が車両9の前方から車両9の側方に移動する。
【0117】
そして、車両9と接近車両10との直線距離が更に短くなるほど仮想視点VPの位置が車両9の側方から車両9の後方に移動する。このように視点位置が移動することで、車両9の像と接近車両10の像とが合成画像中に含まれ、接近車両10の位置をユーザが正確に把握できる。
【0118】
なお、仮想視点VP13からVP14への移動は、車両9が接近車両10を追い越した場合に行われる。つまり、仮想視点VPの視点位置は車両9と接近車両10との位置に応じた視点位置となる。
【0119】
また、例えば、仮想視点VP11の視点位置は車両9と接近車両10との距離が30m以上の場合に、仮想視点VP12の視点位置は車両9と接近車両10との距離が30m未満10m以上の場合にそれぞれの仮想視点の視点位置となる。また、仮想視点VP13の視点位置は車両9と接近車両10との距離が10m未満1m以上の場合に、仮想視点VP14の視点位置は車両9と接近車両10との距離が1m未満となった後、接近車両10が車両9を追い越した場合にそれぞれの仮想視点の視点位置となる。
【0120】
図11は、仮想視点VP11の視野方向と仮想視点VP12の視野方向とを主に説明する図である。図11の左図に示す仮想視点VP11は、車両9の左斜め前方の視点位置から車両9の車体の略重心の位置である重心位置CP上を仮想視点VP11の視線が通過する。そして、車両9の後方(+Y方向)にある重心位置CPと接近車両10の位置とを結ぶ直線の略中央の地点CE11に視野が向く視野方向となっている。
【0121】
次に、図11の右図に示す仮想視点VP12は、仮想視点VP11よりもさらに左側に傾いた車両9の前方の視点位置から重心位置CP上を仮想視点VP12の視線が通過し、重心位置CPと接近車両10の位置とを結ぶ直線の略中央の地点CE12に視線が向くような視野方向となっている。
【0122】
図12は、仮想視点VP13の視野方向と仮想視点VP14の視野方向とを主に説明する図である。図12の左図に示す仮想視点VP13は、車両9の左側方(−X方向)の視点位置から重心位置CP上を仮想視点VP13の視線が通過し、重心位置CPと車両9の右側方(+X方向)に存在する接近車両10の位置とを結ぶ直線の略中央の地点CE13に視線が向く視野方向となっている。
【0123】
図12の右図に示す仮想視点VP14は、車両9の後方(+Y方向)の視点位置から重心位置CP上を仮想視点VP14の視線が通過し、重心位置CPと車両9の右斜め前方に存在する接近車両10の位置とを結ぶ略中央の地点CE14に視線が向く視野方向となっている。なお、図10から図12で示した視点位置および視野方向の仮想視点VPから見た合成画像には車両9に対応する車両像91および接近車両10に対応する接近車両像101が含まれる。
【0124】
<2−2.表示画像>
【0125】
図13および図14はディスプレイ24に表示される仮想視点から見た合成画像を示した図である。なお、図7および図8に示す合成画像PT11からPT14は時間的に連続した合成画像である。合成画像PT11は仮想視点VP11から見た合成画像であり、車両像91の後方に接近車両像101が映し出されている。合成画像PT12は、仮想視点VP12から見た合成画像であり、車両像91の後方に接近車両像101が映し出されている。そして、合成画像PT12では、合成画像PT11よりも接近車両像101が車両像91に接近した位置にある。このような合成画像の表示により接近車両の位置を車両のユーザが正確に把握できる。
【0126】
図14の合成画像PT13は仮想視点VP13から見た合成画像であり、車両像91と車両像91の側方の位置に存在する接近車両像101とを含む画像が映し出されている。そして、合成画像PT14では、仮想視点VP14から見た合成画像であり、接近車両像101が車両像91を追い越した状態の画像が映し出されている。このように車両9に対する接近車両の位置を時系列に表示することで、接近車両の位置をユーザは正確に把握できる。
【0127】
<第3の実施の形態>
【0128】
次に、第3の実施の形態について説明する。第3の実施の形態と第1の実施形態との相違点は、車両9の走行車線の変更に伴う車両9のユーザの操作を図15に示す操作検知部114が検知した場合に、車両9と接近車両10の位置に応じた仮想視点から見た合成画像を合成画像生成部32が生成することである。
【0129】
また、第3の実施の形態では、車両9の車線変更の可否の判断結果を示す警告画像を合成画像に重畳させて、表示装置20のディスプレイ24に表示する点が第1の実施の形態で説明した内容と異なる点である。なお、その他の構成および処理については第1の実施の形態の構成および処理と同一である。そのため、構成および処理が同一の部分についての記載は省略する。
【0130】
<3−1.システム構成>
【0131】
図15は、画像表示システム120aのブロック図である。画像処理装置11aの制御部1aは、第1の実施の形態で説明した画像制御部111、検出部112、および、導出部113に加えて、操作検知部114、予測部115、演算部116、および、判断部117を備えている。
【0132】
操作検知部114は、車両9の走行車線の変更に伴うユーザの操作を検知する。例えば、ユーザのウインカースイッチの操作に基づく方向指示、すなわち、方向指示器83からのユーザが意図する方向指示を示すターン信号のオン状態、および、ウインカースイッチが中立位置となった場合のターン信号のオフ状態を検知する。また、別の例として操舵角センサ84からのユーザが操作したステアリングホイールの回転方向、回転角度、および、回転速度の信号を検知する。
【0133】
予測部115は、車両9が走行車線を変更して移動する場合の移動位置を予測する。詳細には車両9がユーザの操作により走行車線を変更する時間の情報である車線変更時間42aを予め不揮発性メモリ4aに記憶する。そして、車両9の移動位置を予測する際に車線変更時間42aを予測部115が読み出して、車線変更時間42aおよび車両9の走行速度などに基づく移動位置の予測を予測部115が行う。
【0134】
ここで、車両9の走行車線を変更する時間とは、ユーザの操作に伴い車両9の走行車線の変更が開始されて、車両9の走行車線の変更が終了するまでの時間である。例えば、ユーザが方向指示器83を操作したターン信号のオン状態を操作検知部114が検知したときから、ステアリングホイールの回転方向が車両9の車線変更を行う方向に変更された後、ステアリングホイールの回転方向が車両9の直進移動する方向(ステアリングホイールの回転角度が略0度となる状態、つまりステアリングホイールが略中立位置となる状態)に変更されるまでの所定の時間(例えば、5秒)である。
【0135】
演算部116は、車両9が走行車線を変更することにより移動する移動位置に接近車両10が移動する時間を演算する。例えば、連続する撮影画像中の接近車両像101の位置の変化から接近車両10の走行速度の情報を演算部116が演算し、当該走行速度の情報から接近車両10の移動位置への移動時間を演算部116が演算する。
【0136】
判断部117は、車両9の移動位置への移動時間と、接近車両10の移動位置への移動時間とから、車両9の移動位置への移動の可否、つまり車両9の車線変更の可否を判断する。なお、車両9の移動位置への移動が困難であると判断部117が判断した場合は、合成画像生成部32に、後述する警告画像が重畳した合成画像を生成する指示信号を判断部117が出力する。
【0137】
なお、判断部117が車両9の移動位置への移動が可能であると判断した場合は、合成画像生成部32への警告画像を表示する指示信号を判断部117が出力しないようにしてもよいし、警告画像以外の画像を表示する指示信号を判断部117が出力するようにしてもよい。ここで、警告画像以外の画像とは、例えば、車両9の移動位置を示す画像(以下、「移動位置画像」ともいう)、および、接近車両10の接近状態を示す画像(以下、「接近状態画像」ともいう。)などのうち少なくとも一つの画像をいう。
不揮発性メモリ4aの車線変更時間42aは、車両9のユーザの操作に伴い車両9が走行車線の変更を開始して走行車線の変更が終了するまでの時間である。
【0138】
<3−2.表示画像>
【0139】
図16はディスプレイ24に表示される仮想視点から見た合成画像を示した図である。合成画像PT1aは仮想視点VP1から見た合成画像であり、車両像91の後方に接近車両像101が映し出されている。そして、車両像91の側方に車両9の車線変更後の位置を示す移動位置画像trが合成画像に重畳して映し出されている。
【0140】
また、接近車両像101の進行方向に表示されている接近状態画像ad1が合成画像に重畳して映し出されている。接近状態画像ad1は、車両像91に対応する車両9が移動位置に移動する時間の間に接近車両像101に対応する接近車両10が移動する移動量を示している。そして、合成画像PT1aに示す接近車両像101の移動位置への接近状態においては、車両像91に対応する車両9は走行する車線の変更が可能となる。このようにユーザは車両9の移動位置に対する車線変更の可否を明確に把握できる。
【0141】
合成画像PT2aは、PT1aとは異なるタイミングで撮影された撮影画像に基づいて生成された合成画像である。合成画像PT2aは仮想視点VP2から見た合成画像であり、車両像91の後方に接近車両像101が映し出されている。合成画像PT2aでは、合成画像PT1aと比べて接近車両10に対応する接近車両像101が車両9に対応する車両像91に接近した状態であり、車両9の車線変更が困難な状態を表している。
【0142】
具体的には、車両像91の側方に、車両9の車線変更後の位置を示す移動位置画像traが合成画像に重畳して映し出されている。このtraは合成画像PT1aに示した移動位置画像trと比べて表示態様が変更されており、車両像91に対応する車両9の移動が困難であることを示す警告画像が重畳された状態となっている。つまり、車両9の移動位置に車両9が移動すると接近車両10と接触する可能性があることを示す警告画像(例えば、移動位置に対応する範囲に対して警告状態を示す色で表示するなど)を重畳させている。これによりユーザは車両9の移動位置に対する車線変更の可否を明確に把握できる。
【0143】
また、接近車両像101の進行方向に表示されている接近状態画像ad2の一部が移動位置画像traの範囲内に含まれるように合成画像に重畳されて映し出されている。これは、車両像91に対応する車両9が移動位置に移動する時間の間に接近車両像101に対応する接近車両10が移動する移動量を示しており、車両9が移動位置へ車線変更すると接近車両10と接触する危険があることを示す警告画像として合成画像に重畳して映し出されている。
【0144】
さらに、車両像91と接近車両像101との間の略中央位置の区画線上に車両像91に対応する車両9の走行車線の変更が困難であることを示す警告ライン像LNが警告画像として合成画像に重畳表示されている。これにより車両9のユーザは接近車両10の接近状態を正確に把握して、車両の車線変更の可否を容易に判断できる。
【0145】
なお、合成画像PT2aに示した警告画像の組み合わせはこれ以外にも他の組み合わせ(例えば、警告ライン像LNのみを重畳して映し出したり、移動位置画像traおよび接近状態画像ad2のみを重畳して映し出す)が可能である。
【0146】
また、第3の実施の形態では車両9の走行車線の変更に伴うユーザの車両9の操作を操作検知部114が検知した場合に車両9に対する接近車両10の位置に応じて合成画像に警告画像を重畳してディスプレイ24に表示する処理について述べた。これに対して、車両9の走行車線の変更に伴うユーザの操作を操作検知部114が検知した場合に、警告画像を重畳した表示を行わずに合成画像(第1の実施の形態で説明した車両9と接近車両10の位置に応じた仮想視点から見た合成画像)のみをディスプレイ24に表示するようにしてもよい。これにより、ユーザは接近車両10の位置を正確に把握して車両9の車線変更の可否を容易に判断できる。
【0147】
<3−3.処理フローチャート>
【0148】
図17および図18は、画像処理装置11aの処理フローチャートである。ステップS201では、車両9の走行車線の変更に伴うユーザの操作を操作検知部114が検知した場合(ステップS201がYes)、ステップS101の処理に進んだ後、ステップS101からステップS104の処理が行われる。そして、ステップS104において仮想視点VPから見た合成画像が生成され、ステップS202の処理に進む。なお、ステップS201の処理において、車両9の走行する車線の変更に伴うユーザの操作を操作検知部114が検知していない場合(ステップS201がNo)は処理を終了する。
【0149】
ステップS202では、車両9の走行車線の変更に伴う移動位置を予測部115が導出して(ステップS202)、ステップS203の処理に進む。
【0150】
ステップS203では、接近車両10の移動位置への移動時間を演算部116が演算して(ステップS203)、ステップS204の処理に進む。
【0151】
ステップS204では、車両9の移動位置への移動時間が接近車両10の移動位置への移動時間よりも長い時間の場合は(ステップS204がYes)、判断部117が合成画像生成部32に警告画像を表示する指示信号を出力して(ステップS205)、ステップS206の処理に進む。なお、車両9の移動位置への移動時間が接近車両10の移動位置への移動時間よりも短い場合(ステップS204がNo)は、ステップS105の処理に進み、ステップS104で生成された合成画像を画像出力部33が表示装置20に出力する(ステップS105)。
【0152】
ステップS206では、合成画像に警告画像を合成画像生成部32が重畳する。そして警告画像が重畳された合成画像が画像出力部33により表示装置20に出力される(ステップS206)。
【0153】
<第4の実施の形態>
【0154】
次に、第4の実施の形態について説明する。第4の実施の形態と第3の実施形態との相違点は、車両9のユーザの複数回の車線変更における車線変更時間からユーザの固有の車線変更時間(例えば、車両9のユーザの車線変更時間の平均値)を学習し、当該時間を不揮発性メモリ4bに記憶しておく点である。つまり、学習とは、車両9のユーザの複数回の車線変更における車線変更時間からユーザの固有の車線変更時間を学習部118が導出することである。
【0155】
また、記憶とは、学習部118により導出された車両9のユーザの固有の車線変更時間を不揮発性メモリ4bの車線変更時間42bとして記憶しておくことである。これにより、判断部117が車両9の移動位置への移動の可否を判断する場合に、ユーザごとの車線変更の際の車両の操作時間に応じた車線変更の可否判断が可能となる。なお、その他の構成および処理については第3の実施の形態の構成および処理と同一である。そのため、構成および処理が同一の部分についての記載は省略する。
【0156】
<4−1.システム構成>
【0157】
図19は、画像表示システム120bのブロック図である。画像処理装置11bの制御部1bは、第3の実施の形態で説明した構成に加えて、学習部118を備えている。学習部118は、ユーザの操作に伴い車両9の走行車線の変更開始から車両9の走行車線の変更終了までの複数回の車線変更に要した時間を積算してユーザの固有の車線変更時間を計測する。
【0158】
不揮発性メモリ4bの車線変更時間42bは学習部118で導出された車線変更時間の情報を記憶する。つまり、一定値の車線変更情報ではなく、ユーザの車線変更動作を学習した結果の値である車線変更時間42bを不揮発性メモリ4bが記憶する。
判断部117は、接近車両10が移動位置に移動する時間と、ユーザの固有の車線変更時間である車線変更時間42bとに基づいて、車両9の移動位置への移動の可否を判断する。これにより、車両9の移動位置への移動の可否をユーザの固有の車線変更時間に応じて、ユーザが容易に判断できる。
【0159】
<4−2.車線変更時間グラフ>
【0160】
図20は、車両9の車線変更時間の計測の一例を示すグラフである。時刻t1において、ユーザが方向指示器83を操作するとターン信号のオン状態が操作検知部14に検出されたことにより、制御部1bの学習部118が車線変更時間の学習を開始する。
次に、方向指示器83のターン信号がオン状態となっている時刻t2で、車両9の走行車線を変更する方向と同じ方向のステアリングホイールの回転角度が操作検知部14に検出される。そして、時刻t3でステアリングホイールの操舵角のグラフの傾きが右下がりとなったところで、ターン信号がオフ状態となる。その後ステアリングホイールの操舵角の角度が略0度(ステアリングホイールが中立位置)となった場合に、時刻t1からt4までの時間を車両9のユーザの1回の車線変更時間として学習部118が学習する。そして、当該車線変更時間をユーザが1回の車線変更に要した時間として不揮発性メモリ4bに記憶される。
【0161】
以降、車両9の車線変更が行われるごとに車線変更時間を学習部118が積算し、その積算時間を車線変更回数で除算して、ユーザの固有の車線変更時間である車線変更時間42bとして不揮発性メモリ4bに記憶する。そして、予測部115が移動位置を予測する場合、および、判断部117が車両9の移動位置への移動の可否を判断する場合などに、不揮発性メモリ4bから車線変更時間42bが読み出される。
【0162】
<4−3.処理フローチャート>
【0163】
図21および図22は学習部118が車線変更時間を計測する処理フローチャートである。ステップ401ではユーザが方向指示器83を操作してターン信号がオン状態となった場合(ステップS401がYes)、ステップS402の処理に進む。なお、ユーザが方向指示器83を操作していない場合(ステップS401がNo)は、処理を終了する。
ステップS402では、ターン信号がオン状態となったことにより、制御部1の方向指示器フラグがオン状態となり(ステップS402)、ステップ403において、車線変更時間の計測を学習部118が開始して(ステップS403)、ステップS404の処理に進む。
【0164】
ステップS404では、方向指示器83の左右いずれかの方向のうち方向指示器83を操作した側へステアリングホイールを操舵した場合(ステップS404がYes)は、ステップS405の処理へ進む。例えば、方向指示器83を右側に操作した場合にステアリングホイールを右側に操舵して、車両9の走行する車線の右側に隣接する走行車線に車両9を移動させる場合である。
なお、方向指示器83の左右いずれかの方向のうち方向指示器83を操作した側へステアリングホイールを操舵していない場合、つまり方向指示器83を操作した側と反対側にステアリングホイールを操舵した場合(ステップS404がNo)は、ステップS406の処理へ進む。
【0165】
ステップS405では、方向指示器83を操作した側に対応するステアリングホイールの操舵フラグをオン状態として(ステップS405)、ステップS406の処理に進む。
【0166】
ステップS406では、方向指示器83を操作した側とは反対側にステアリングホイールを操舵した場合(ステップS406がYes)は、ステップS407の処理に進む。例えば、方向指示器83を右側に操作した場合にステアリングホイールを右側に操作した後に、ステアリングホイールを反対側(左側)に切り返す操作をした場合である。なお、方向指示器83を操作した側とは反対側にステアリングホイールを操舵していない場合(ステップS406がNo)は、ステップS408の処理に進む。
【0167】
ステップS407では、方向指示器83を操作した側とは反対側に対応する反対側操舵フラグをオン状態として、ステップS408の処理に進む。
【0168】
ステップS408では、操舵フラグおよび反対側操舵フラグがオン状態の場合(ステップS408がYes)は、ステップS409の処理に進む。なお、操舵フラグおよび反対側操舵フラグがオン状態ではない場合(ステップS408がNo)は、処理を終了する。
【0169】
ステップS409では、ステアリングホイールの操舵角が略0度の場合(ステップS409がYes)はステップS410の処理に進む。なお、ステアリングホイールの操舵角が略0度ではない場合(ステップS409がNo)は処理を終了する。
【0170】
ステップS410では、ユーザの固有の車線変更時間を学習部118が導出して(ステップS410)、ステップS411に進む。ステップS411では、各フラグをOFF状態とする(ステップS411)。このような処理を車線変更を行うたびに繰り返し行うことで、車両9の移動位置への移動の可否をユーザの車線変更時間の応じて正確に判断できる。
【0171】
<第5の実施の形態>
【0172】
次に、第5の実施の形態について説明する。第5の実施の形態と第3の実施形態との相違点は仮想視点の視点位置が接近車両10のドライバーの位置で、視野方向が車両9の存在する方向となる点である。なお、その他の構成および処理については第3の実施の形態の構成および処理と同一である。そのため、構成および処理が同一の部分についての記載は省略する。
【0173】
<5−1.仮想視点の視点位置および視野方向>
【0174】
図23は、仮想視点VP31の視点位置を主に説明する図である。図23に示すように、接近車両10のドライバーの位置が仮想視点VP31の視点位置となっている。詳細には車両10のドライバーが着座する位置(運転席の位置)が視点位置となっている。なお、接近車両10のドライバーの位置の導出は導出部113が行うが、詳細な説明は次の図24を用いて行う。
【0175】
図24は、仮想視点VP31の視野方向を主に説明する図である。図24に示す仮想視点VP31の視野方向は、車両9の存在する方向である。つまり、接近車両10のドライバーの位置から見る接近車両10の進行方向(−Y方向)と略同一の方向である。
【0176】
ここで、接近車両10のドライバーの位置となる車両9に対する接近車両10の位置の導出は、合成画像中の接近車両像101の画像中の位置から、重心位置CPから接近車両10の位置(例えば接近車両10のフロントバンパーの位置)までを結ぶ直線CLを導出部113が導出する。そして、直線CLに補正値clを加えた直線CLaを導出部113が導出する。この補正値clは、接近車両10の位置(例えば、接近車両10のフロントバンパーの位置)から接近車両10のドライバーの位置である着座位置UPまでの距離である。
【0177】
また、これ以外にも次のように接近車両10のドライバーの位置を導出してもよい。図24に示す車両9に対する接近車両10の前後方向(Y軸方向)の位置を第1の実施の形態の図5に示した直線ALに補正値alを加えた位置として導出部113が導出する。また、車両9に対する接近車両10の横方向(X軸方向)の位置を直線BLに補正値blを加えた位置として導出部113が導出する。そして、例えば三平方の定理などにより車両9の重心位置CPから着座位置UPまでを結ぶ直線CLaを導出部113が導出する。
【0178】
そして、着座位置UPが接近車両10のドライバーの位置となり、この位置が仮想視点VP31の視点位置となる。また、接近車両10の進行方向(−Y方向)と略同一の方向が仮想視点VP31の視野方向となる。
【0179】
なお、補正値cl等の各補正値は、不揮発性メモリ4aに記録されており、例えば、接近車両10のフロントバンパー部分の位置から着座位置UPまでの直線を導出する際に用いられる補正値となる。
【0180】
<5−2.表示画像>
【0181】
図25は、ディスプレイ24に表示される仮想視点VP31から見た合成画像を示した図である。合成画像PT31は仮想視点VP31から見た合成画像であり、車両像91が前方に映し出されている。つまり、接近車両10のドライバーの視点位置で、車両9の存在する視野方向から見た合成画像がディスプレイ24に映し出されている。これにより接近車両10のドライバーの視点で車両9の位置をユーザが正確に把握できる。なお、接近車両10の一部の画像は不揮発性メモリ4bに予め記憶されているイメージ図である。
【0182】
また、合成画像PT31には、前方に移動位置画像traが合成画像に重畳して映し出されており、接近車両10の進行方向に表示されている接近状態画像ad2の一部が移動位置画像traの範囲内に含まれるように合成画像に重畳して映し出されている。さらに、警告ライン像LNが警告画像として合成画像に重畳して映し出されている。このような場合は、ユーザは車両9の車線変更が困難であることが明確に判断できる。
【0183】
<5−3.処理フローチャート>
【0184】
図26および図27は、画像処理装置11aの処理フローチャートである。ステップS102aでは、前の処理のステップS101において検出部112が接近車両10の存在を検出した場合に、接近車両10のドライバーの位置を導出部113が導出して、ステップS103aの処理に進む。
【0185】
ステップS103aでは、仮想視点の視点位置を接近車両10のドライバー位置とし、仮想視点の視野方向を車両9の存在する方向として(ステップS103a)、ステップS104の処理に進む。そして、以降は第3の実施の形態で説明した処理を行う。
【0186】
<第6の実施の形態>
【0187】
次に、第6の実施の形態について説明する。第6の実施の形態と第3の実施形態との相違点は、車両9がユーザの操作により車線変更を行う場合に、検出部112が接近車両10の存在を検出しないときの合成画像の表示について説明した点である。このような場合は、視点位置が車両9の前方で視野方向が車両9の後方となる仮想視点VPから見た合成画像がディスプレイ24に映し出される。
【0188】
<6−1.表示画像>
【0189】
図28は、ディスプレイ24に表示される仮想視点VPから見た合成画像を示した図である。合成画像PT1bには車両像91を含んだ合成画像が映し出されている。合成画像PT1bは、操作検知部114が車両9のユーザの操作を検知した場合に、検出部112が接近車両10の存在を検出していない(接近車両10が車両9の後方に存在しない)ときは、次に示す仮想視点から見た合成画像を合成画像生成部32が生成する。つまり、車両像91の少なくとも一部の像を含み、視点位置を車両9の前方とし、視野方向を車両9の後方とする仮想視点VPから見た合成画像を合成画像生成部32が生成する。これにより接近車両10の存在の有無に関わらず車両9の車線変更の可否をユーザが容易に判断できる。
【0190】
<6−2.処理フローチャート>
【0191】
図29および図30は、画像処理装置11aの処理フローチャートである。ステップS101において、接近車両10の存在を検出部112が検出していない場合(ステップS101がNo)は、ステップS301の処理に進む。
ステップS301では、仮想視点VPの視点位置および視野方向を画像制御部111が設定する(ステップS301)。つまり、車両像91の少なくとも一部の像を含み、視点位置を車両9の前方とし、視野方向を車両9の後方とする仮想視点VPを画像制御部111が設定する。そして、仮想視点VPから見た合成画像を合成画像生成部32が生成する(ステップS104)。以降は第3の実施の形態で説明した処理を行う。
【0192】
<第7の実施の形態>
【0193】
次に、第7の実施の形態について説明する。第7の実施の形態と第6の実施形態との相違点は、車両9がユーザの操作により車線変更を行う場合に、視点位置が車両9のドアミラー近傍の位置で、視野方向が車両9の後方となる仮想視点VP41から見た合成画像を合成画像生成部32が生成することである。
【0194】
<7−1.仮想視点の視点位置および視野方向>
【0195】
図31は、仮想視点VP41の視点位置を主に説明する図である。図31に示すように、仮想視点VP41の視点位置は車両9のドアミラー近傍の位置がとなっている。なお、図31では右側(+X方向)の車線に車両9が走行車線の変更を行う場合について説明しているため、右側(+X方向)のドラミラー近傍に仮想視点VP41の視点位置が設定されるが、左側(−X方向)に車両9が走行車線の変更を行う場合は、左側(−X方向)にドアミラー近傍に仮想視点の視点位置を設定してもよい。
【0196】
図32は、仮想視点VP41の視野方向を主に説明する図である。図32に示す仮想視点VP41は車両9のドアミラー近傍を視点位置とし、視野方向を車両9の後方(+Y方向)としている。つまり車両9の進行方向(−Y方向)と反対の方向に視野が向けられている。
【0197】
<7−2.表示画像>
【0198】
図33は、ディスプレイ24に表示される仮想視点VP41から見た合成画像を示した図である。合成画像P41は仮想視点VP41から見た合成画像であり、車両9の右側のドアミラーに映し出される像を含む合成画像として表示されている。これにより接近車両が存在しない場合でも車両9の車線変更の可否をユーザが容易に判断できる。
<7−3.処理フローチャート>
図34および図35は、画像処理装置11aの処理フローチャートである。ステップS101において、接近車両10の存在を検出部112が検出していない場合(ステップS101がNo)は、ステップS401の処理に進む。
【0199】
ステップS401では、車両9のドアミラー近傍となる視点位置で、視野方向が車両9の後方となる仮想視点VP41の視点位置および視野方向を画像制御部111が設定する(ステップS401)。そして、仮想視点VP41から見た合成画像を合成画像生成部32が生成する(ステップS104)。以降は第6の実施の形態で説明した処理を行う。
【0200】
<第8の実施の形態>
【0201】
次に、第8の実施の形態について説明する。第8の実施の形態は、フロントカメラ51などの一のカメラで撮影した撮影画像をディスプレイ24に表示する。そして、一のカメラの撮影画像がディスプレイ24に表示されている場合に、接近車両10の存在が検出部112により検出されたときは、車両9と接近車両10の位置に応じた仮想視点から見た合成画像を一のカメラで撮影した画像と共にディスプレイ24に表示する。
【0202】
ここで、車両9と接近車両10の位置に応じた仮想視点は、例えば、視点位置を接近車両10のドライバーの位置とし、視野方向を車両9の存在する方向とする仮想視点(例えば図36に示す仮想視点VP52a)である。また、例えば視点位置を車両9のドアミラー近傍の位置とし、視野方向を接近車両10の存在する方向とする仮想視点(例えば図36に示す仮想視点VP52b)である。これらの仮想視点は後述するようにユーザの操作に応じて変更され、この変更によりディスプレイ24に表示される合成画像の表示態様が切り替えられる。これによりユーザは接近車両10の存在を早期に認識でき、接近車両10の位置を正確に判断できる。
【0203】
<8−1.仮想視点の視点位置および視野方向>
図36は、一のカメラの撮影画像と共にディスプレイ24に表示される合成画像の仮想視点の一例を示している。詳細には視点位置を接近車両10のドライバーの位置とし、視野方向を車両9の存在する方向とする仮想視点VP52aと、視点位置を車両9のドアミラー近傍の位置とし、視野方向を接近車両10の存在する方向とする仮想視点VP52bが示されている。そして、これらの仮想視点はユーザの操作に応じて変更され、この変更によりディスプレイ24に表示される合成画像の表示態様が切り替えられる。
【0204】
<8−2.表示画像>
【0205】
図37および図38はディスプレイ24に表示される画像を示す図である。なお、図37および図38の画像PT51、PT51a、および、PT51bは時間的に連続した画像である。画像PT51は車両9に備えられたフロントカメラのみで撮影した撮影画像であり、車両9の前方(−Y方向)を走行する前方車両の車両像102(以下、「前方車両像102」ともいう)がディスプレイ24に映し出されている。画像PT51には後述するような合成画像は重畳表示されていない。つまり、車両9の後方から接近する接近車両10の存在が検出部112により検出されていない。
【0206】
次に、画像PT51aは、検出部112が接近車両10の存在を検出した場合にディスプレイ24に表示される画像を示している。画像TP51aには、前方車両像102が表示されており、この画像PT51aに,接近車両10のドライバーの位置の仮想視点VP52aから見た合成画像PT52aが重畳して映し出されている。つまり、画像PT51aと共に合成画像PT52aがディスプレイ24に映し出されている。これにより、ユーザは接近車両10の存在を早期に認識でき、接近車両10の位置を正確に把握できる。
【0207】
なお、この合成画像PT52の仮想視点の視点位置は接近車両10のドライバーの位置であり、視野方向は接近車両10の存在する方向である。そして、車両9に対する接近車両10の位置において、その距離が所定の距離を下回っているため、車両像91を含むような視野方向(接近車両10のドライバーの位置から見て左斜め前方の方向)の仮想視点から見た合成画像となっている。
【0208】
また、画像PT51aには相手視点ボタンB1、および、自車視点ボタンB2とが重畳して表示されている。この相手視点ボタンB1、および、自車視点ボタンB2のいずれかのボタンをユーザが操作することにより各ボタンに対応した仮想視点から見た合成画像がディスプレイ24に映し出される。つまり、フロントカメラ51で撮影された撮影画像と共に合成画像がディスプレイ24に映し出される。
【0209】
画像PT51aでは相手視点ボタンB1が選択されているため、接近車両10のドライバーの位置の仮想視点VP52aから見た合成画像PT52aが、画像PT51aと共にディスプレイ24に映し出されている。
【0210】
次に、図38に示す画像PT51bでは、ユーザの操作により、自車視点ボタンB2が選択されている。そして、このユーザ操作に応じてフロントカメラの撮影画像と共にディスプレイ24に映し出される合成画像が、合成画像PT52aから合成画像PT52bに切り替えられる。これにより、ユーザの希望する仮想視点から見た合成画像を表示して、接近車両の位置を正確に把握できる。
【0211】
<8−3.処理フローチャート>
【0212】
図39および図40は、一の撮影画像と共に合成画像をディスプレイ24に表示する処理フローチャートである。ステップS501では、フロントカメラ51で撮影された撮影画像が画像処理部3で処理され(ステップS501)、画像出力部33から通信部61を介して表示装置20に出力され(ステップS502)、ステップS101の処理に進む。
【0213】
ステップS101では、接近車両10の存在を検出部112が検出した場合(ステップS101がYes)、ステップS503の処理に進み、車両9と接近車両10の位置に応じた仮想視点から見た合成画像を画像出力部33が通信部61を介して表示装置20に出力して(ステップS503)、ステップS504の処理に進む。これにより、フロントカメラ51で撮影された撮影画像と共に合成画像がディスプレイ24に表示される。
【0214】
なお、合成画像の仮想視点の視点位置、および、視野方向は、過去に接近車両を検出部が検出した際にユーザの操作により選択された仮想視点の視点位置、および、視野方向から見た合成画像がディスプレイ24に表示される。
【0215】
また、ステップS101で、検出部112が接近車両10の存在を検出していない場合(ステップS101がNo)は、処理を終了する。
【0216】
ステップS504に戻り、ディスプレイ24にフロントカメラ51により撮影された撮影画像の画像PT51aと共に、合成画像PT52bがディスプレイ24に映し出されている場合に、ユーザの操作により相手視点ボタンB1が選択されたとき(ステップS504がYes)は、ステップS505の処理に進む。
【0217】
なお、相手視点ボタンB1がユーザの操作により選択されていない場合(ステップS504がNo)は、ステップS507の処理に進む。また、過去のユーザの操作により既に相手視点ボタンB1が選択されている場合も同様の処理を行う。
【0218】
ステップS505では、接近車両10のドライバーの位置の仮想視点VP52aから見た合成画像PT52aが合成画像生成部32により生成され(ステップS505)、ステップS506の処理に進む。
【0219】
ステップS506では、合成画像PT52aが画像出力部33により表示装置20に出力され(ステップS506)、ステップS507の処理に進む。
【0220】
ステップS507では、ディスプレイ24にフロントカメラ51により撮影された撮影画像の画像PT51aと共に、仮想視点VP52aから見た合成画像PT52aがディスプレイ24に映し出されている場合に、ユーザの操作により自車視点ボタンB2が選択されたとき(ステップS507がYes)は、ステップS508の処理に進む。
【0221】
なお、自車視点ボタンB2がユーザの操作により選択されていない場合(ステップS507がNo)は、処理を終了する。また、過去のユーザの操作により既に自車視点ボタンB2が選択されている場合も同様の処理を行う。
【0222】
ステップS508では、車両9のドアミラー近傍の仮想視点VP52bから見た合成画像PT52bが合成画像生成部32により生成され(ステップS508)、ステップS509の処理に進む。
【0223】
ステップS509では、合成画像PT52bが画像出力部33により表示装置20に出力される(ステップS509)。
【0224】
<第9の実施の形態>
【0225】
次に、第9の実施の形態について説明する。第9の実施の形態では、第8の実施の形態で説明した車両9のフロントカメラ51で撮影された画像のサイズと合成画像のサイズとをユーザの操作により切り替えてディスプレイ24に表示する。
【0226】
<9−1.表示画像>
【0227】
図41は、フロントカメラ51の撮影画像のサイズと合成画像のサイズとの切替を示す図である。図41の上図では、フロントカメラ51で撮影された画像PT51cと共に、車両9と接近車両10の位置に応じた仮想視点から見た合成画像PT52cがディスプレイ24に映し出されている状態を示している。なお、画像PT51cはディスプレイ24の画面の大きさと略同じサイズの画像でディスプレイ24に表示され、合成画像PT52cは、画像PT51cの略1/10のサイズでディスプレイ24に表示されている。
【0228】
なお、ユーザの操作により一の撮影画像のサイズと合成画像のサイズとを切り替えてディスプレイ24に表示する画像切替ボタンB3が画像PT51cに重畳して表示されている。
【0229】
そして、図41の下図には、画像切替ボタンB3がユーザに操作された場合、合成画像PT52cのサイズをユーザの画像切替ボタンB3の操作前の画像PT51cと略同じサイズとする。つまり、切替前の合成画像PT52cのサイズよりも拡大された合成画像PT52dとしてディスプレイ24に映し出す。
【0230】
また、このような画像切替に伴い、画像PT51cのサイズを車両9のユーザの画像切替ボタンB3の操作前の合成画像PT52cと略同じサイズとする。つまり、切替前の画像PT51cよりも縮小された画像PT51dとしてディスプレイ24に映し出す。これにより、車両9の走行状態に応じて、ユーザの希望する画像のサイズを他の画像のサイズと比べて調整できる。
【0231】
<第10の実施の形態>
【0232】
次に、第10の実施の形態について説明する。第10の実施の形態では、車両9が表示装置20のナビテーション機能を用いて車両9を走行させる場合に、表示装置20からのユーザへの案内情報の報知に応じて、仮想視点から見た合成画像をユーザに提供するものである。
【0233】
この実施の形態の目的は、次の内容である。表示装置20に表示されたナビゲーション画面により目的地までの経路案内に沿ってユーザが車両9を走行させている場合に、車両9の進路変更を行う必要がない地点でナビゲーション画像から別の画像(例えば、仮想視点から見た合成画像)に表示装置20画像が切り替わるときがある。このような場合、ユーザは本来見たいナビゲーション画像が見ることができないため、煩わしさを感じることがある。そのため、以下の第10の実施の形態では、ユーザが車両9を操作する上で必要となるタイミングで表示装置20に仮想視点から見た合成画像を表示する構成について説明する。
【0234】
<10−1.案内情報地点>
【0235】
図42は、ユーザに案内情報を報知する地点を示す図である。図42では道路の左車線LAを車両9が走行しており、区画線で区切られた右車線RBを車両9の後方に位置する接近車両10が走行している。そして、車両9のユーザの操作により車両9が到達する目的地が表示装置20に設定された場合の当該目的地に到達するために走行すべきルートである経路RUが示されている。
【0236】
次に、車両9が経路RUに沿って走行する場合、左車線LA上の地点PN1に車両9が接近したときに、車両9の位置を左車線LAから右車線RBに変更する旨の案内情報が表示装置20からユーザに報知される。そして、このような案内情報が報知される場合に、仮想視点から見た合成画像(例えば、接近車両10のドライバーの視点位置で、車両9の存在する視野方向の仮想視点から見た合成画像)が合成画像生成部32により生成される。生成された合成画像はディスプレイ24に映し出される。このように、表示装置20から報知される案内情報に対応した仮想視点位置から見た合成画像をユーザが確認できる。
【0237】
また、交差点CR上の地点PN2に車両9が接近した場合に、交差点CRで車両9を右折させ、右車線RBから車線MCに車両9を移動させる旨の案内情報が表示装置20からユーザに報知される。そして、このような案内情報が報知される場合に、仮想視点から見た合成画像(例えば、車両9に対応する車両像91の少なくとも一部を含むように視点位置を車両9の前方とし、視野方向を車両9の後方とする仮想視点から見た合成画像)が合成画像生成部32により生成される。これにより、車両9の走行車線の変更、および、交差点での進行方向の変更に応じた合成画像をユーザが確認できる。
【0238】
なお、案内情報を報知する地点に車両9が接近した場合とは、例えば車両9と案内情報を報知する地点との直線の距離が50mとなった場合をいうが、これ以外の距離としてもよい。
【0239】
<10−2.仮想視点の視点位置と視野方向>
【0240】
図43は、案内情報を報知する地点での仮想視点の視点位置と視野方向の例を示す図である。図43の左図は、車両9が地点PN1に接近した場合に車両9が左車線LAから右車線RBに車線変更する案内の報知がユーザへ行われたときに、合成画像が生成される仮想視点VP61の視点位置と視野方向を示すものである。詳細には、仮想視点VP61は接近車両10のドライバーの視点位置で、車両9の存在する視野方向の仮想視点であり、この仮想視点VP61から見た合成画像が合成画像生成部32により生成される。
【0241】
また、図43の右図は、車両9が地点PN2に接近した場合に車両9が右車線RBから交差点CRを右折して車線MCに移動する案内情報の報知がユーザに行われたときに、合成画像が生成される仮想視点VP62の視点位置と視野方向を示すものである。詳細には、仮想視点VP62は車両9に対応する車両像91の少なくとも一部を含むように視点位置を車両9の前方とし、視野方向を車両9の後方とする仮想視点である。そして、この仮想視点VP62から見た合成画像が合成画像生成部32により生成される。
【0242】
<10−3.表示画像>
【0243】
図44は、仮想視点VP61およびVP62から見た合成画像を示す図である。合成画像PT61は車両9の車線変更の案内情報がユーザに報知される場合に、ディスプレイ24に映し出される合成画像である。詳細には、接近車両10のドライバーの仮想視点から見た合成画像であり、接近車両10の前方を走行する車両9の車両像91aがディスプレイ24に映し出されている。また、車両9が左車線LAから右車線RBに車線変更する場合の車両9の移動位置である移動位置画像trがディスプレイ24に映し出されている。また、接近車両像101の進行方向を示す接近状態画像ad1が合成画像に重畳して映し出されている。
【0244】
また、合成画像PT62は、車両9の交差点での方向変更の案内情報がユーザに報知される場合に、ディスプレイ24に映し出される合成画像である。詳細には、仮想視点VP62は車両9に対応する車両像91の少なくとも一部を含むように車両9の前方から後方の仮想視点から見た合成画像であり、車両9に対応する車両像91bを含む画像が映し出されている。このようにユーザに報知される案内情報の内容に応じて、合成画像の仮想視点を変更する。これにより、案内情報の内容に対応する車両の走行状況に応じた合成画像をユーザが確認できる。
【0245】
なお、合成画像PT62には接近車両10に対応する接近車両像101が画像中に映し出されていないが、接近車両10が車両9に接近している場合は、接近車両に対応する接近車両像101を含む合成画像を映し出すようにしてもよい。
<10−4.処理フローチャート>
図45および図46は、表示装置20が案内情報の報知を行う場合に、画像処理装置11aが合成画像をディスプレイ24に表示する処理フローチャートである。ステップS601では、車両9に備えられた車載カメラで撮影した車両9の周辺の撮影画像を画像処理装置11aが取得して(ステップS601)、ステップS602の処理に進む。
【0246】
ステップS602では、車両9が目的地までの経路RUに沿って走行する場合に,表示装置20からユーザに報知する案内情報を画像処理装置11aが取得して(ステップS602)、ステップS603の処理に進む。
【0247】
ステップS603では、ユーザへの第1案内情報(例えば、車両9の走行車線の変更に対応した案内情報)を表示装置20から通信部23を介して画像処理装置11aが取得した場合(ステップS603がYes)は、ステップS604の処理に進む。なお、ユーザへの第1案内情報を表示装置20から通信部23を介して画像処理装置11aが取得していない場合(ステップS603がNo)は処理を終了する。
【0248】
ステップS604では、車両9に備えられたバックカメラ52により車両9の後方から接近する接近車両10の存在が検出部112により検知された場合(ステップS604がYes)は、ステップS605に進む。
【0249】
ステップS605では、接近車両10が存在するため第1仮想視点(例えば、接近車両10のドライバーの視点位置で、車両9の存在する視野方向の仮想視点VP61)が画像処理装置11aにより設定され(ステップS605)、ステップS607の処理に進む。
【0250】
ステップS604に戻り、バックカメラ52で撮影された画像により車両9の後方から接近する接近車両10の存在が検出部112により検知されていない場合(ステップS604がNo)は、ステップS606の処理に進む。
【0251】
ステップS606では、接近車両10が存在しないため、第2仮想視点(例えば、車両9に対応する車両像91の少なくとも一部を含むように視点位置を車両9の前方とし、視野方向を車両9の後方とする仮想視点VP62)が画像処理装置11aにより設定され(ステップS606)、ステップS607の処理に進む。
【0252】
ステップS607では、画像処理装置11aにより設定された仮想視点から見た合成画像を合成画像生成部32が生成し(ステップS607)、通信部61を介して表示装置20に合成画像が出力され(ステップS608)、ステップS609の処理に進む。
【0253】
ステップS609では、ユーザへの第2案内情報(例えば、交差点を右折する車両9の進行方向の変更に対応した案内情報)を表示装置20から通信部23を介して画像処理装置11aが取得した場合(ステップS609がYes)は、ステップS610の処理に進む。なお、ユーザへの第2案内情報を表示装置20から通信部23を介して画像処理装置11aが取得していない場合(ステップS609がNo)は処理を終了する。
【0254】
ステップS610では、車両9に備えられたバックカメラ52で撮影された画像により車両9の後方から接近する接近車両10の存在が検出部112により検知された場合(ステップS610がYes)は、ステップS611に進む。
【0255】
ステップS611では、接近車両10が存在するため第1仮想視点(例えば、接近車両10のドライバーの視点位置で、車両9の存在する視野方向の仮想視点VP61)が画像処理装置11aにより設定され(ステップS611)、ステップS613の処理に進む。
【0256】
ステップS610に戻って、バックカメラ52により車両9の後方から接近する接近車両10の存在が検出部112により検知されていない場合(ステップS610がNo)は、ステップS612の処理に進む。
【0257】
ステップS612では、接近車両10が存在しないため、第2仮想視点(例えば、車両9に対応する車両像91の少なくとも一部を含むように視点位置を車両9の前方とし、視野方向を車両9の後方とする仮想視点VP62)が画像処理装置11aにより設定され(ステップS612)、ステップS613の処理に進む。
【0258】
ステップS613では、画像処理装置11aにより設定された仮想視点から見た合成画像を合成画像生成部32が生成し(ステップS613)、通信部61を介して表示装置20に合成画像が出力される(ステップS614)。
【0259】
<変形例>
【0260】
以上、本発明の実施の形態について説明してきたが、この発明は上記実施の形態に限定されるものではなく様々な変形が可能である。以下では、このような変形例について説明する。なお、上記実施の形態で説明した形態、および、以下で説明する形態を含む全ての形態は、適宜に組み合わせ可能である。
【0261】
上記実施の形態において、接近車両10とは車両9の後方を走行する車両で、かつ、車両9の走行する車線に隣接する車線を走行する車両以外にも、車両9の後方を走行する車両で、かつ、車両9の走行する車線と同じ車線を走行する車両も含む。
【0262】
上記実施の形態において、接近車両10とは車両9の後方を走行する車両以外に車両9の側方を走行する車両も含む。
【0263】
上記実施の形態において、不揮発性メモリ4に仮想視点情報41を予め記録しておき、仮想視点VPの視点位置および視野方向を設定する場合に、画像処理部3が読み出すことについて説明した。これ以外にも仮想視点VPの視点位置および視野方向を設定する場合に、車両9に対する接近車両10の位置に基づいて画像制御部111が仮想視点の視点位置および視野方向を演算して導出するようにしてもよい。
【0264】
また、上記実施の形態において、検出部112が、車両9の後方からの接近車両10の存在を検出する場合、車両9の後方に備えられたバックカメラ52の撮影画像から画像中の車両9の後方に存在する接近車両10を検出することを説明した。そのほかにもバックカメラ以外の他のカメラを接近車両10の存在を検出するカメラとして用いてもよい。
【0265】
また、上記実施の形態において、接近車両10の存在の検出、および、車両9に対する接近車両10の位置情報の取得は、車両9に車両9の外部に送信した送信波のうち物体から反射した反射波を受信して、車両9からの物体の距離、角度、および、相対速度の情報を取得するレーダ装置などの装置を車両9に備えて行ってもよい。
【0266】
また、上記実施の形態において、接近車両10が存在する車線は車両9の走行する右側(+X方向)に隣接する車線について述べたが、車両9の走行する左側(−X方向)に隣接する車線に接近車両10が存在する場合も上記実施の形態の内容を同様に適用できる。
【0267】
また、上記実施の形態において、車両像91および接近車両像101が合成画像中に含まれる場合とは、車両像91および接近車両像101の全体像だけでなく一部の像だけでもよい。
【0268】
また、上記実施の形態において、ディスプレイ24に表示される合成画像中の車両像91、および、接近車両像101の少なくとも一の像の位置を鏡に映したような位置としてもよい。
【0269】
また、上記実施の形態において、車両9の左右それぞれの方向から接近する接近車両が存在する場合は、車両9との前後方向(Y軸方向)の直線の値が小さい(車両9に最も接近している)接近車両10を導出部113が導出する。そして、当該接近車両と車両9との位置を結ぶ横方向(X軸方向)の直線の略中央の位置を仮想視点VPの視点位置とし、車両9の後方(+Y方向)を視野方向としてもよい。
【0270】
また、上記実施の形態において、車両9に対する接近車両10の位置に応じて、仮想視点から見た合成画像をディスプレイ24に表示を行わないようにしてもよい。つまり、車両9に対する接近車両10の位置が所定の位置よりも大きく離れている場合は、車両9と接近車両10との衝突の危険性が少ないため、ディスプレイ24に合成画像を表示しないようにしてもよい。
【0271】
また、上記実施の形態において、車両9に対する接近車両10の位置に応じて合成画像中に表示される車両像91および接近車両像101の少なくともいずれか一つの画像のサイズを変更するようにしてもよい。
【0272】
また、第1の実施の形態において、軸線sh1は、例えば車両9が走行する車線と接近車両10が走行する車線を区画する区画線である。
【0273】
また、第2の実施の形態において、仮想視点VPの移動を軸線sh2を基準に反時計回りの方向としたが、車両9に対する接近車両10の位置に応じて、仮想視点VPの移動を軸線sh2を基準に時計回りとしてもよい。
【0274】
また、第1および第2の実施の形態において、車両9の走行車線の変更に伴うユーザの操作を操作検知部114が検知した場合に、合成画像生成部32が合成画像を生成し、生成された合成画像をディスプレイ24に表示するようにしてもよい。
【0275】
また、第3の実施の形態において、接近車両10が車両9の移動位置へ到達する時間、および、接近車両10と車両9との位置の少なくともいずれか一の条件に応じて合成画像に重畳表示させる警告画像の種類および数など変更するようにしてもよい。
【0276】
また、第3の実施の形態において、車両9の走行車線変更に伴う動作の有無の判断処理(ステップS201の処理)を接近車両10の存在の有無を判定する処理(ステップS101の処理)の前に行うようにしたが、当該処理を別の処理位置で行うようにしてもよい。例えば、車両9の移動時間と接近車両10の移動時間とを比較する処理(ステップS204の処理)の前にステップS201の処理を行うようにしてもよい。
【0277】
また、第3および第4の実施の形態において、車両9の走行する車線と隣接車線とを区画する区画線の画像の位置の変化により車両9の車線変更時間を導出するようにしてもよい。
【0278】
また、第4の実施の形態において、学習部118が車線変更時間を導出する際にステアリングホイールの操舵角の情報を用いる説明を行ったが、ステアリングホイールの操舵角の角速度の情報を用いて処理を行ってもよい。
【0279】
また、第4の実施の形態において、車両9のユーザの車線変更時間は車両9の速度ごとに記録してもよい。例えば、車両9の速度を低速(例えば40km/h)、中速(例えば60km/h)、高速(例えば80km/h)の速度帯に分けて、各速度帯ごとのユーザの車線変更時間を記録してもよい。また、車両9の車線変更時間を車載カメラで撮影した区画線の画像に基づいて導出してもよい。
【0280】
また、第5の実施の形態において、画像処理装置11bに操作検知部114、予測部115、演算部116、および、判断部117を備え、車両9が車線変更する場合で、かつ、所定の条件を満たしたときに警告画像を表示するものとして説明した。これに対して、操作検知部114、予測部115、演算部116、および、判断部117を備えずに、接近車両10が検出部112により検出された場合に接近車両10のドライバーの位置の仮想視点から見た合成画像を合成画像生成部32が生成して、表示装置20のディスプレイ24に表示するようにしてもよい。
【0281】
また、第7の実施の形態において、仮想視点VP41から見た合成画像を生成は、接近車両10の存在を検出部112が検出していない場合に行うこととして説明したが、接近車両10の存在を検出部112が検出している場合に行うようにしてもよい。
【0282】
また、第8および第9の実施の形態において、フロントカメラ51により撮影された画像(例えば画像PT51a)を車両9と共に、接近車両10の位置に応じた仮想視点から見た合成画像をディスプレイ24に映し出す構成について説明した。これに対して、画像PT51aはフロントカメラ51により撮影された画像に限定されることなく、それ以外の一のカメラ(例えば、左サイドカメラ53など)で撮影した画像であってもよい。
【0283】
また、第8および第9の実施の形態において、車両9の前方を走行する前方車両と車両9との距離が所定の距離を下回った場合に、フロントカメラ51の画像中の前方車両像102の周囲を囲う枠の画像を表示するようにしてもよい。これによりユーザは前方車両と衝突を回避するための車両9に対する操作を行える。
【0284】
また、第10の実施の形態において、表示装置20を用いて目的地を設定した場合に表示装置20からユーザに案内情報を報知する場合について述べた。これに対して、目的地を設定していない場合に表示装置20からユーザに案内情報が報知される場合に、合成画像生成部32が仮想視点から見た合成画像を生成するようにしてもよい。例えば、表示装置20を用いた目的地の設定がなされていない場合に、車両9が走行する車線の先で車線数が減少するときに、予め車線変更を行う必要がある旨の案内情報に対応する仮想視点から見た合成画像をディスプレイ24に映し出すようにしてもよい。
【0285】
また、第10の実施の形態において、第1仮想視点設定および第2仮想視点設定として説明した仮想視点VP61およびVP62の視点位置および視野方向は一例であり、その他の視点位置および視野方向とする仮想視点から見た合成画像を生成するようにしてもよい。例えば、視点位置が車両9の車体の略中央、かつ、略直上の位置にあり、視野方向が車両9の鉛直下方に向けられている仮想視点である。
【0286】
また、第10の実施の形態において、案内情報に対応した仮想視点から見た合成画像をディスプレイ24に映し出す場合、一の合成画像のみでなく仮想視点の視点位置等が異なる複数の合成画像をディスプレイ24に映し出すようにしてもよい。
【符号の説明】
【0287】
1・・・・・制御部
3・・・・・画像処理部
5・・・・・撮影部
10・・・・画像処理装置
20・・・・表示装置
【技術分野】
【0001】
本発明は、画像の表示処理に関する。
【背景技術】
【0002】
従来、車両の後方に備えられたカメラで撮影した画像中に車両の後方から接近する接近車両の像が存在する場合、画像中の接近車両の像の位置から車両に対する接近車両の位置を導出していた。そして、過去に検出した接近車両の位置と比べて車両に対する接近車両の位置が近くなった場合に、接近車両が車両に近づいていることをユーザに報知していた。
【0003】
そして、車両と接近車両との距離が所定の距離を下回った場合に、例えば車両のAピラー近傍に備えられたLEDなどの発光体を点灯させて、接近車両が車両に接近していることを車両のユーザに報知していた。このような報知を行う例としては、車両のユーザの操作により車両が走行する車線の変更を行う場合に、車両の移動位置に接近車両が接近しているときは、当該接近車両が存在していることを車両のユーザへ報知していた。このような場合、車両と接近車両との衝突の危険があるとして車両のユーザは車両の車線変更を取り止める場合があった。なお、本発明と関連する技術を説明する資料としては特許文献1がある。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開2004−304416号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかしながら、車線変更を行おうとする車両と接近車両との距離が所定の距離を下回った状態であっても、接近車両の車両に接近する速度が低速の場合は、接近車両が車両の移動位置に移動するよりも車両の移動位置への移動が早く行えるときがあった。つまり、接近車両の車両への接近状態によっては、車両のユーザの操作による車両の走行車線の変更が可能な場合があった。このようなことから車両に対する接近車両の接近状態をユーザが正確に把握できる技術が求められていた。
【0006】
本発明は上記課題に鑑みてなされたものであり、車両に対する接近車両の接近状態を車両のユーザが正確に把握できる技術を提供することを目的とする。
【課題を解決するための手段】
【0007】
上記課題を解決するために、請求項1の発明は、車両で用いられる画像表示システムであって、車両に搭載されたカメラの複数の撮影画像を取得する取得手段と、前記複数の撮影画像を合成して、仮想視点から見た前記車両の周辺の様子を示す合成画像を生成する生成手段と、前記車両の後方から接近する接近車両の存在を検出する検出手段と、前記車両に対する相対的な前記接近車両の位置を導出する導出手段と、前記合成画像を表示する表示手段と、を備え、前記生成手段は、前記車両の位置と前記接近車両の位置に応じた前記仮想視点から見た前記合成画像である特定合成画像を生成する。
【0008】
また、請求項2の発明は、請求項1に記載の画像表示システムにおいて、前記生成手段は、前記仮想視点の視点位置を前記車両の前方とし、前記仮想視点の視野方向を前記車両後方として、前記車両の像および前記接近車両の像を含む前記特定合成画像を生成する。
【0009】
また、請求項3の発明は、請求項1または2のいずれかに記載の画像表示システムにおいて、前記生成手段は、前記接近車両が前記車両に近づくにつれて前記仮想視点の高さを上昇させた前記特定合成画像を生成する。
【0010】
また、請求項4の発明は、請求項1に記載の画像表示システムにおいて、前記生成手段は、前記仮想視点の視点位置を前記接近車両のドライバーの位置とし、前記仮想視点の視野方向を前記車両の存在する方向として、前記特定合成画像を生成する。
【0011】
また、請求項5の発明は、請求項1ないし4のいずれかに記載の画像表示システムにおいて、前記表示手段は、前記接近車両が存在しない場合は前記カメラからの前記撮影画像のうちの一の撮影画像を表示し、前記接近車両が存在する場合は前記一の撮影画像と共に前記特定合成画像を表示する。
【0012】
また、請求項6の発明は、請求項1ないし5のいずれかに記載の画像表示システムにおいて、前記表示手段は、視点位置を前記接近車両のドライバーの位置とし視野方向を前記車両の存在する方向とする前記仮想視点から見た前記特定合成画像と、視点位置を前記車両のドアミラー近傍の位置とし視野方向を前記接近車両の存在する方向とする前記仮想視点から見た前記特定合成画像とを前記車両のユーザの操作に応じて切り替えて表示する。
【0013】
また、請求項7の発明は、請求項5または6のいずれかに記載の画像表示システムにおいて、前記表示手段は、前記車両のユーザの操作に応じて前記一の撮影画像のサイズと前記特定合成画像のサイズとを切り替えて表示する。
【0014】
また、請求項8の発明は、請求項1に記載の画像表示システムにおいて、前記車両の走行車線の変更に伴う前記車両のユーザの操作を検知する操作検知手段をさらに備え、前記表示手段は、前記ユーザの操作が検知された場合に前記特定合成画像を表示する。
【0015】
また、請求項9の発明は、請求項8に記載の画像表示システムにおいて、前記生成手段は、前記仮想視点の位置を前記車両の前方とし、前記仮想視点の視野方向を前記車両後方として、前記車両の像および前記接近車両の像を含む前記特定合成画像を生成する。
【0016】
また、請求項10の発明は、請求項8に記載の画像表示システムにおいて、前記生成手段は、前記仮想視点の視点位置を前記接近車両のドライバーの位置とし、前記仮想視点の視野方向を前記車両の存在する方向として、前記特定合成画像を生成する。
【0017】
また、請求項11の発明は、請求項8に記載の画像表示システムにおいて、前記車両が走行車線を変更して移動する場合の移動位置を予測する予測手段と、前記接近車両が前記移動位置に移動する第1移動時間を演算する演算手段と、前記第1移動時間に基づいて前記車両の前記移動位置への移動の可否を判断する判断手段と、をさらに備え、前記生成手段は、前記移動の可否の判断結果を示す警告画像を前記合成画像に重畳させる。
【0018】
また、請求項12の発明は、請求項11に記載の画像表示システムにおいて、前記生成手段は、前記警告画像を前記移動位置に重畳させる。
【0019】
また、請求項13の発明は、請求項11に記載の画像表示システムにおいて、前記車両が前記移動位置に移動する第2移動時間を計測する計測手段と、前記第2移動時間を学習記憶する記憶手段と、をさらに備え、前記判断手段は、前記第1移動時間と記憶された前記第2移動時間とに基づいて前記移動の可否を判断する。
【0020】
また、請求項14の発明は、請求項8ないし13のいずれかに記載の画像表示システムにおいて、前記ユーザの操作が検知され、かつ、前記接近車両が存在しない場合に、前記生成手段は、前記仮想視点の視点位置を前記車両の前方とし、前記仮想視点の視野方向を前記車両後方として、前記車両の像と隣接車線の像とを含む前記合成画像である車両合成画像を生成し、前記表示手段は、前記車両合成画像を表示する。
【0021】
また、請求項15の発明は、請求項1ないし14のいずれかに記載の画像表示システムにおいて、前記車両の位置を取得する位置取得手段と、前記車両の位置に応じて、前記車両の目的地までのルートを案内する案内情報をユーザに報知する報知手段と、をさらに備え、前記表示手段は、前記報知手段が前記案内情報を報知する場合に、前記合成画像を表示する。
【0022】
また、請求項16の発明は、請求項15に記載の画像表示システムにおいて、前記生成手段は、前記報知手段が報知する前記案内情報の内容に応じて、前記合成画像の前記仮想視点を変更する。
【0023】
また、請求項17の発明は、請求項16に記載の画像表示システムにおいて、前記案内情報は、走行車線の変更を案内する情報と、交差点での方向の変更を案内する情報とを含む。
【0024】
また、請求項18の発明は、車両で用いられる画像処理装置であって、車両に搭載されたカメラの複数の撮影画像を取得する取得手段と、前記複数の撮影画像を合成して、仮想視点から見た前記車両の周辺の様子を示す合成画像を生成する生成手段と、前記車両の後方から接近する接近車両の存在を検出する検出手段と、前記車両に対する相対的な前記接近車両の位置を導出する導出手段と、を備え、前記生成手段は、前記車両の位置と前記接近車両の位置に応じた前記仮想視点から見た前記合成画像である特定合成画像を生成する。
【0025】
また、請求項19の発明は、車両で用いられる画像表示方法であって、(a)車両に搭載されたカメラの複数の撮影画像を取得する工程と、(b)前記複数の撮影画像を合成して、仮想視点から見た前記車両の周辺の様子を示す合成画像を生成する工程と、(c)前記車両の後方から接近する接近車両の存在を検出する工程と、(d)前記車両に対する相対的な前記接近車両の位置を導出する工程と、(e)前記合成画像を表示する表示する工程と、を備え、前記工程(b)は、前記車両の位置と前記接近車両の位置に応じた前記仮想視点から見た前記合成画像である特定合成画像を生成する。
【発明の効果】
【0026】
請求項1の発明によれば、生成手段は、車両の位置と接近車両の相対的な位置に応じた仮想視点から見た合成画像である特定合成画像を生成することで、接近車両の位置を車両のユーザが正確に把握できる。
【0027】
また、請求項2の発明によれば、生成手段は、仮想視点の視点位置を車両の前方とし、仮想視点の視野方向を車両後方として、車両の像および接近車両の像を含む特定合成画像を生成することで、車両前方から見た接近車両の位置を車両のユーザが正確に把握できる。
【0028】
また、請求項3の発明によれば、生成手段は、接近車両が車両に近づくにつれて仮想視点の高さを上昇させた特定合成画像を生成することで、車両の像と接近車両の像とが合成画像中に含まれ、接近車両の位置を車両のユーザが正確に把握できる。
【0029】
また、請求項4の発明によれば、生成手段は、仮想視点の視点位置を接近車両のドライバーの位置とし、仮想視点の視野方向を車両の存在する方向として、特定合成画像を生成することで、接近車両のドライバー視点から車両の位置を車両のユーザは正確に把握できる。
【0030】
また、請求項5の発明によれば、表示手段は、接近車両が存在しない場合はカメラからの撮影画像のうちの一の撮影画像を表示し、接近車両が存在する場合は一の撮影画像と共に特定合成画像を表示することで、車両のユーザは接近車両の存在を早期に認識でき、接近車両の位置を正確に把握できる。
【0031】
また、請求項6の発明によれば、表示手段は、視点位置を接近車両のドライバーの位置とし視野方向を車両の存在する方向とする仮想視点から見た特定合成画像と、視点位置を車両のドアミラー近傍の位置とし視野方向を接近車両の存在する方向とする仮想視点から見た特定合成画像とを車両のユーザの操作に応じて切り替えて表示することで、ユーザの希望する仮想視点からの見た合成画像を表示して、接近車両の位置を正確に把握できる。
【0032】
また、請求項7の発明によれば、表示手段は、車両のユーザの操作に応じて一の撮影画像のサイズと特定合成画像のサイズとを切り替えて表示することで、車両の走行状態に応じて車両のユーザの希望する画像のサイズを他の画像のサイズと比べて調整できる。
【0033】
また、請求項8の発明によれば、表示手段は、ユーザの操作が検知された場合に特定合成画像を表示することで、車両のユーザは接近車両の位置を正確に把握して車両の車線変更の可否を容易に判断できる。
【0034】
また、請求項9の発明によれば、生成手段は、仮想視点の位置を車両の前方とし、仮想視点の視野方向を車両後方として、車両の像および接近車両の像を含む特定合成画像を生成することで、車両前方から見た接近車両の位置を車両のユーザは正確に把握して、車両の車線変更の可否を容易に判断できる。
【0035】
また、請求項10の発明によれば、生成手段は、仮想視点の視点位置を接近車両のドライバーの位置とし、仮想視点の視野方向を車両の存在する方向として、特定合成画像を生成することで、接近車両のドライバー視点から車両の位置を車両のユーザは正確に把握して、車両の車線変更の可否を容易に判断できる。
【0036】
また、請求項11の発明によれば、生成手段は、移動の可否の判断結果を示す警告画像を合成画像に重畳させることで、車両のユーザは接近車両の車両への接近状態を正確に把握して、車両の車線変更の可否を容易に判断できる。
【0037】
また、請求項12の発明によれば、表示手段は、現在の車両の位置に対応する表示態様で撮影画像を表示することで、車両の位置に対応する地点を初めて走行するユーザに撮影画像の最適な表示態様を提供できる。
【0038】
また、請求項13の発明によれば、判断手段は、第1移動時間と記憶された第2移動時間とに基づいて判断することで、車両9の移動位置への移動の可否を車両9のユーザの固有の車線変更時間に応じて、車両9のユーザが容易に判断できる。
【0039】
また、請求項14の発明によれば、生成手段は、ユーザの操作が検知され、かつ、接近車両が存在しない場合に、仮想視点の視点位置を車両の前方とし、仮想視点の視野方向を車両後方として、車両の像を含む合成画像である車両合成画像を生成し、表示手段は、車両合成画像を表示することで、接近車両の存在の有無に関わらず車両の車線変更の可否をユーザが容易に判断できる。
【0040】
また、請求項15の発明によれば、表示手段は、報知手段が案内情報を報知する場合に、合成画像を表示することで、案内情報に対応した仮想視点位置から見た合成画像をユーザが確認できる。
【0041】
また、請求項16の発明によれば、生成手段は、報知手段が報知する案内情報の内容に応じて、合成画像の仮想視点を変更することで、案内情報の内容に対応する車両の走行状況に応じた合成画像を車両のユーザが確認できる。
【0042】
また、請求項17の発明によれば、案内情報は、走行車線の変更を案内する情報と、交差点での方向の変更を案内する情報とを含むことで、走行車線の変更、および、交差点での進行方向の変更に応じた合成画像を車両のユーザが確認できる。
【図面の簡単な説明】
【0043】
【図1】図1は、画像表示システムのブロック図である。
【図2】図2は、車載カメラが車両に配置される位置を示す図である。
【図3】図3は、合成画像を生成する手法を説明するための図である。
【図4】図4は、仮想視点の視点位置を主に説明する図である。
【図5】図5は、仮想視点の視野方向を主に説明する図である。
【図6】図6は、仮想視点の視野方向を主に説明する図である。
【図7】図7は、ディスプレイに表示される仮想視点から見た合成画像を示した図である。
【図8】図8は、ディスプレイに表示される仮想視点から見た合成画像を示した図である。
【図9】図9は、画像処理装置の処理フローチャートである。
【図10】図10は、仮想視点の視点位置を主に説明する図である。
【図11】図11は、仮想視点の視野方向を主に説明する図である。
【図12】図12は、仮想視点の視野方向を主に説明する図である。
【図13】図13は、ディスプレイに表示される仮想視点から見た合成画像を示した図である。
【図14】図14は、ディスプレイに表示される仮想視点から見た合成画像を示した図である。
【図15】図15は、画像表示システムのブロック図である。
【図16】図16は、ディスプレイに表示される仮想視点から見た合成画像を示した図である。
【図17】図17は、画像処理装置の処理フローチャートである。
【図18】図18は、画像処理装置の処理フローチャートである。
【図19】図19は、画像表示システムのブロック図である。
【図20】図20は、車両の車線変更時間の計測の一例を示すグラフである。
【図21】図21は、学習部が車線変更時間を計測する処理フローチャートである。
【図22】図22は、学習部が車線変更時間を計測する処理フローチャートである。
【図23】図23は、仮想視点の視点位置を主に説明する図である。
【図24】図24は、仮想視点の視野方向を主に説明する図である。
【図25】図25は、ディスプレイに表示される仮想視点から見た合成画像を示した図である。
【図26】図26は、画像処理装置の処理フローチャートである。
【図27】図27は、画像処理装置の処理フローチャートである。
【図28】図28は、ディスプレイに表示される仮想視点から見た合成画像を示した図である。
【図29】図29は、画像処理装置の処理フローチャートである。
【図30】図30は、画像処理装置の処理フローチャートである。
【図31】図31は、仮想視点の視点位置を主に説明する図である。
【図32】図32は、仮想視点の視野方向を主に説明する図である。
【図33】図33は、ディスプレイに表示される仮想視点から見た合成画像を示した図である。
【図34】図34は、画像処理装置の処理フローチャートである。
【図35】図35は、画像処理装置の処理フローチャートである。
【図36】図36は、一のカメラの撮影画像と共にディスプレイに表示される合成画像の仮想視点の一例を示している。
【図37】図37は、ディスプレイに表示される画像を示す図である。
【図38】図38は、ディスプレイに表示される画像を示す図である。
【図39】図39は、一の撮影画像と合成画像をディスプレイに共に表示する処理フローチャートである。
【図40】図40は、一の撮影画像と合成画像をディスプレイに共に表示する処理フローチャートである。
【図41】図41は、フロントカメラの撮影画像のサイズと合成画像のサイズとの切替を示す図である。
【図42】図42は、ユーザに案内情報を報知する地点を示す図である。
【図43】図43は、案内情報を報知する地点での仮想視点の視点位置と視野方向の例を示す図である。
【図44】図44は、仮想視点から見た合成画像を示す図である。
【図45】図45は、表示装置が案内情報の報知を行う場合に、画像処理装置が合成画像をディスプレイに表示する処理フローチャートである。
【図46】図46は、表示装置が案内情報の報知を行う場合に、画像処理装置が合成画像をディスプレイに表示する処理フローチャートである。
【発明を実施するための形態】
【0044】
以下、図面を参照しつつ本発明の実施の形態について説明する。
【0045】
<第1の実施の形態>
【0046】
<1.構成>
【0047】
<1−1.画像表示システム>
【0048】
図1は、画像表示システム120のブロック図である。撮影部5が搭載された車両(図2に示す車両9)の周辺を示す周辺画像を生成して画像情報を出力する画像処理装置11と、画像処理装置11から出力された画像を表示する表示装置20とを画像表示システム120は主に有している。
【0049】
表示装置20は、ナビゲーション案内を表示するディスプレイを有するナビゲーション装置、音楽のタイトル情報やテレビの映像などを表示するディスプレイを備えたオーディオ装置、ユーザが携帯し車両9内へ持ち込んで使用可能なスマートフォンなどである。
【0050】
また、表示装置20は装置全体を制御する制御部21と、制御部21の処理データなどを記憶する記憶部22と、画像処理装置11との間で通信を行う通信部23と、タッチパネル機能を備えた液晶などのディスプレイ24と、ユーザが操作を行う操作部25とを備えている。そして、ディスプレイ24の画面がユーザから視認可能なように、表示装置20は車両9のインストルメントパネルなどに設置される。ユーザからの各種の指示は、操作部25とタッチパネルとしてのディスプレイ24とによって受け付けられる。
【0051】
制御部21は、CPU、RAM、および、ROMなどを備えたコンピュータであり、所定のプログラムに従ってCPUが演算処理を行うことでナビゲーション機能を含む各種の機能が実現される。
【0052】
制御部21は、主に表示制御部201、および、位置導出部202の機能を備えている。表示制御部201は、操作部25などからのユーザの操作に伴いディスプレイ24に表示される車載カメラの撮影画像の表示態様を制御する。
【0053】
位置導出部202は、車両9の位置に対応する緯度・経度情報を導出する。このような車両9の位置はGPS(Global Positioning System)衛星からの電波の信号を受信し、受信した信号を制御部21で処理することにより実現される。GPSは、地球を周回する多数のGPS衛星のうち少なくとも3つ以上の衛星からの電波に基づいて車両9の位置を測位するシステムである。
【0054】
記憶部22は、制御部21が表示装置20を制御するプログラムを記憶する。また、記憶部22は、ディスプレイ24に表示される地図画像の情報である地図情報202を記憶する。
【0055】
通信部23は表示装置20と画像処理装置11との通信を行うインターフェースであり、画像処理装置からの画像情報等を受信したり、後述する操作部25がユーザに操作された場合の指示信号を画像処理装置11に送信する。
【0056】
ディスプレイ24は、各種画像を表示する表示部であり、表示制御部201の制御により、通常は表示装置20単体の機能に基づく画像を表示する。そして、所定の条件下で画像処理装置11で生成された車両9の周辺の様子を示す周辺画像を表示する。これにより、表示装置20は、画像処理装置11で生成された周辺画像を受信して表示する装置としても機能する。
【0057】
操作部25は、表示装置20の各種機能を実現するためにユーザが操作を行うものであり、例えば、表示装置20に設けられたハードスイッチなどである。また、操作部25をユーザが操作することでディスプレイ24に表示された車載カメラの撮影画像の表示態様を切り替えることができる。
【0058】
画像処理装置11は、車両9の周辺画像を生成する機能を有するECU(Electronic Control Unit)であり、車両9の所定の位置に配置される。画像処理装置11は、撮影部5で車両9の周辺を撮影して得られる撮影画像に基づいて仮想視点からみた合成画像を生成する画像生成装置として機能する。また、画像処理装置11は撮影部5の一のカメラで撮影された画像を処理する装置としても機能する。撮影部5が備える複数の車載カメラ51、52、53、54は、画像処理装置11とは別の車両9の適位置に配置されるが詳細は後述する。
【0059】
画像処理装置11は、装置全体を制御する制御部1と、撮影部5で取得された撮影画像を処理して表示用の周辺画像を生成する画像処理部3を主に備えている。
【0060】
表示装置20の操作部25、および、ディスプレイ24のいずれかによって受け付けられたユーザからの各種の指示は、表示装置20の通信部23を介して制御信号として通信部61に受け付けられて制御部1に入力される。これにより、画像処理装置11は、表示装置20に対するユーザの操作に応答した動作が可能となっている。
【0061】
画像処理部3は、各種の画像処理が可能なハードウェア回路として構成されており、画像取得部31、合成画像生成部32、および、画像出力部33を主な機能として備えている。
【0062】
画像取得部31は、車両9の周辺を撮影する撮影部5の車載カメラ51、52、53、54で撮影された複数の撮影画像を取得する。
【0063】
合成画像生成部32は、車載カメラ51、52、53、54で取得された複数の撮影画像に基づいて、車両の周辺の任意の仮想視点からみた合成画像を生成する。合成画像生成部32が仮想視点からみた合成画像を生成する手法については後述する。
【0064】
また、画像出力部33は合成画像生成部32において生成された合成画像、および、その他の画像(たとえば、一のカメラで撮影された画像)の少なくとも一の画像を通信部61を介して表示装置20へ送信する。これにより、車両の周辺を示す周辺画像が表示装置20のディスプレイ24に表示される。
【0065】
制御部1は、CPU、RAM、および、ROMなどを備えたコンピュータであり、所定のプログラムに従ってCPUが演算処理を行うことで各種の制御機能が実現される。図中に示す画像制御部111、検出部112、および、導出部113は、このようにして実現される制御部1の機能のうちの一部である。
【0066】
画像制御部111は、画像処理部3によって実行される画像処理を制御するものである。例えば、画像制御部111は、車両9の位置に応じた合成画像の生成に必要な各種パラメータを合成画像生成部32に指示する。このようなパラメータの指示は、例えば撮影画像の表示態様の切り替えに伴うユーザ操作の指示信号を制御部1が受信した場合に、画像制御部111が行う。
【0067】
また、画像制御部111は車両9の位置と車両9の後方から車両9に接近する車両(以下、「接近車両」ともいう。例えば、図4および図5に示す接近車両10)の位置に応じた仮想視点から見た合成画像の生成を合成画像生成部32に指示する。
【0068】
検出部112は、車両9の後方から接近する接近車両10の存在を検出する。つまり、車両9の後方に備えられたバックカメラ52の撮影画像から車両9の後方に存在する接近車両の像(以下、「接近車両像」ともいう。例えば、図7の合成画像PT1および合成画像PT2に示す接近車両像101)をエッジ検出などの処理により検出する。
【0069】
なお、車両9に接近する接近車両10の存在の検出は、検出部112が過去に検出したある車両像の画像中の位置と、今回検出した当該車両像の画像中の位置との差に基づいて行う。また、接近車両10の存在を検出する別の方法としては、過去に検出したある車両像の画像中に占める大きさと今回検出した当該車両像の画像中に占める大きさとを比較により行う。
【0070】
導出部113は、車両9に対する接近車両10の相対的な位置を導出する。つまり、検出部112により検出された画像中の車両像91と接近車両像101との位置の差などから車両9に対する接近車両10の位置(車両9に対する接近車両10の距離、および、車両9に対する接近車両10の方向(角度))を導出する。
【0071】
また、画像処理装置11は、不揮発性メモリ4、通信部61、および、信号入力部62をさらに備えており、これらは制御部1に接続されている。
【0072】
不揮発性メモリ4は、電源オフ時においても記憶内容を維持可能なフラッシュメモリなどで構成されている。不揮発性メモリ4には、車種別情報40が記憶されている。車種別情報40は、合成画像生成部32が合成画像を生成する際に必要となる車両の種別に応じたデータを含んでいる。
【0073】
また、不揮発性メモリ4は、車両9に対する接近車両10の位置に対応する仮想視点VPの視点位置および視野方向の情報である仮想視点情報41が記憶されている。そして、仮想視点VPの視点位置および視野方向を画像制御部111が設定する際に、車両9に対する接近車両10の位置に対応した仮想視点VPの視点位置および視野方向の情報が画像制御部111により不揮発性メモリ4から読み出される。
【0074】
通信部61は、画像処理装置11が表示装置20との間で通信を行うためのインターフェースである。
【0075】
信号入力部62は、車両9に設けられた各種装置からの信号の入力が行われる際のインターフェースである。信号入力部62を介して、画像処理装置11の外部からの信号が制御部1に入力される。具体的には、シフトセンサ81、車速センサ82、方向指示器83、および、操舵角センサ84などから、各種情報を示す信号が制御部1に入力される。
【0076】
シフトセンサ81からは、車両9の変速装置のシフトレバーの操作の位置、すなわち、”P(駐車)”,”D(前進)”,”N(中立)”,”R(後退)”などのシフトポジションが入力される。車速センサ82からは、その時点の車両9の走行速度(km/h)が入力される。
【0077】
方向指示器83からは、ウインカースイッチの操作に基づく方向指示、すなわち、車両9のドライバーが意図する方向指示を示すターン信号が入力される。ウインカースイッチが操作されたときはターン信号が発生し、ターン信号はその操作された方向(左方向あるいは右方向)を示すことになる。ウインカースイッチが中立位置となったときは、ターン信号はオフとなる。
【0078】
操舵角センサ84からは、ユーザが操作したステアリングホイールの操作方向が制御部1に入力される。詳細には、操舵角センサ84には、ユーザが操作したステアリングホイールの回転方向、回転角度、及び、回転速度が信号入力部62を介して制御部1に入力される。
【0079】
<1−3.撮影部>
次に、画像処理装置11の撮影部5について詳細に説明する。撮影部5は、制御部1に電気的に接続され、制御部1からの信号に基づいて動作する。
【0080】
撮影部5は、車載カメラであるフロントカメラ51、バックカメラ52、左サイドカメラ53、および、右サイドカメラ54を備えている。これらの車載カメラ51、52、53、54はそれぞれ、CCDやCMOSなどの撮像素子を備えており電子的に画像を取得する。
【0081】
図2は、車載カメラ51、52、53、54が車両9に配置される位置を示す図である。なお、以下の説明においては、車両9を例に説明を行う。また、方向および向きを示す際に、適宜、図中に示す3次元のXYZ直交座標を用いる。このXYZ軸は車両9に対して相対的に固定される。ここで、X軸方向は車両9の左右方向に沿い、Y軸方向は車両9の直進方向(前後方向)に沿い、Z軸方向は鉛直方向に沿っている。また、便宜上、+X側を車両A1の右側、+Y側を車両A1の後側、+Z側を上側とする。
【0082】
フロントカメラ51は、車両9の前端にあるナンバープレート取付位置の近傍に設けられ、その光軸51aは車両9の直進方向(平面視でY軸方向の−Y側)に向けられている。バックカメラ52は、車両9の後端にあるナンバープレート取付位置の近傍に設けられ、その光軸52aは車両9の直進方向の逆方向(平面視でY軸方向の+Y側)に向けられている。また、左サイドカメラ53は、左のドアミラー93に設けられており、右サイドカメラ54は右のドアミラー94に設けられている。そして、光軸53aは車両9の左方向、光軸54aは車両9の右方向(平面視でX軸方向)に沿って外部に向けられている。なお、フロントカメラ51やバックカメラ52の取り付け位置は、左右略中央であることが望ましいが、左右中央から左右方向に多少ずれた位置であってもよい。
【0083】
これらの車載カメラ51、52、53、54のレンズとしては魚眼レンズなどが採用されており、車載カメラ51、52、53、54は180度以上の画角αを有している。このため、4つの車載カメラ51、52、53、54を利用することで、車両9の全周囲の撮影が可能となっている。
【0084】
<1−4.画像変換処理>
次に、画像処理部3の合成画像生成部32が、撮影部5で得られた複数の撮影画像に基づいて車両9の周辺を任意の仮想視点からみた様子を示す合成画像を生成する手法について説明する。合成画像を生成する際には、不揮発性メモリ4に予め記憶された車種別情報40が利用される。図3は、合成画像を生成する手法を説明するための図である。
【0085】
撮影部5のフロントカメラ51、バックカメラ52、左サイドカメラ53、および、右サイドカメラ54で同時に撮影が行われると、車両9の前方、後方、左側方、および、右側方をそれぞれ示す4つの撮影画像P1〜P4が取得される。すなわち、撮影部5で取得される4つの撮影画像P1〜P4には、撮影時点の車両9の全周囲を示す情報が含まれていることになる。
【0086】
次に、4つの撮影画像P1〜P4の各画素が、仮想的な三次元空間における立体曲面SPに投影される。立体曲面SPは、例えば略半球状(お椀形状)をしており、その中心部分(お椀の底部分)が車両9の存在する位置として定められている。撮影画像P1〜P4に含まれる各画素の位置と、立体曲面SPの各画素の位置とは予め対応関係が定められている。このため、立体曲面SPの各画素の値は、この対応関係と撮影画像P1〜P4に含まれる各画素の値とに基づいて決定できる。
【0087】
撮影画像P1〜P4の各画素の位置と立体曲面SPの各画素の位置との対応関係は、車両9における4つの車載カメラ51、52、53、54の配置(相互間距離、地上高さ、光軸角度等)に依存する。このため、この対応関係を示すテーブルデータが、不揮発性メモリ4に記憶された車種別情報40に含まれている。
【0088】
また、車種別情報40に含まれる車体の形状やサイズを示すポリゴンデータが利用され、車両A1の三次元形状を示すポリゴンモデルである車両像を仮想的に備えている。構成された車両像は、立体曲面SPが設定される三次元空間において、車両9の位置と定められた略半球状の中心部分に配置される。
【0089】
さらに、立体曲面SPが存在する三次元空間に対して、制御部1により仮想視点VPが設定される。仮想視点VPは、視点位置と視野方向とで規定され、この三次元空間における車両9の周辺に相当する任意の視点位置に任意の視野方向に向けて設定される。
【0090】
そして、設定された仮想視点VPに応じて、立体曲面SPにおける必要な領域が画像として切り出される。仮想視点VPと、立体曲面SPにおける必要な領域との関係は予め定められており、テーブルデータとして不揮発性メモリ4等に予め記憶されている。つまり、設定された仮想視点VPに応じて画像の領域が切り出されて、ポリゴンで構成された車両像に関してレンダリングがなされ、その結果となる二次元の車両像が、切り出された画像に対して重畳される。これにより、車両9の周辺を任意の仮想視点からみた様子を示す合成画像が生成されることになる。
【0091】
例えば、視点位置が車両9の位置の略中央の直上位置で、視野方向が略直下方向とした仮想視点VPAを設定した場合は、車両9の略直上から車両9を見下ろすように、車両9(実際には車両像であり、例えば、合成画像PTAに映し出されている車両像91)と車両9の周辺の様子を示す合成画像PTAが生成される。また、図中に示すように、視点位置が車両9の位置の左後方で、視野方向を車両9における略前方とした仮想視点VPBを設定した場合は、車両9の左後方からその周辺全体を見渡すように、車両9(実際には車両像であり、例えば、合成画像PTBに映し出されている車両像91)と車両9の周辺の様子を示す合成画像PTBが生成される。
【0092】
なお、実際に合成画像を生成する場合においては、立体曲面SPの全ての画素の値を決定する必要はなく、設定された仮想視点VPに対応して必要となる領域の画素の値のみを撮影画像P1〜P4に基づいて決定することで、処理速度を向上できる。
<1−5.仮想視点の視点位置と視野方向>
次に車両9と接近車両10の位置に応じた仮想視点の視点位置および視野方向について説明する。図4は、仮想視点VPの視点位置を主に説明する図である。また、図5および図6は、仮想視点VPの視野方向を主に説明する図である。
【0093】
図4には、車幅方向(X軸方向)の車両9の位置と接近車両10の位置との間の略中央の位置で、車両9の前後方向(Y軸方向)に延伸する軸線sh1が示されている。そして、軸線sh1を通り路面に鉛直な平面上で放物線を描くように移動する仮想視点VP1〜4が示されている。詳細には車両9に接近車両10が近づくにつれて、仮想視点VPの視点位置の高さが上昇する。また、仮想視点VPの移動は、車両像91と接近車両像101とが合成画像中に含まれるように行われる。このように仮想視点VPの視点位置を移動させることで、車両9の像と接近車両10の像とが合成画像中に含まれ、接近車両10の位置を車両9のユーザ(以下単位「ユーザ」ともいう。)が正確に把握できる。なお、仮想視点VP3からVP4への移動は、車両9が接近車両10を追い越した場合に行われる。
【0094】
具体的には、例えば仮想視点VP1の視点位置は車両9と接近車両10との距離が30m以上の場合に、仮想視点VP2の視点位置は車両9と接近車両10との距離が30m未満10m以上の場合にそれぞれ画像制御部111により設定される。また、仮想視点VP3の視点位置は車両9と接近車両10との距離が10m未満1m以上の場合に、仮想視点VP4の視点位置は車両9と接近車両10との距離が1m未満となった後、接近車両10が車両9を追い越した場合にそれぞれ画像制御部111により設定される。
【0095】
図5は、仮想視点VP1の視野方向と仮想視点VP2の視野方向とを主に説明する図である。図5の左図に示す仮想視点VP1の視野方向は、車両9の前方(−Y方向)の視点位置から車両9の後方に向けられている。
詳細には、合成画像中の接近車両像101の位置から、直接、車両9までを結ぶ直線CL1を導出部113が導出する。つまり、合成画像中の接近車両像101の位置から、車両9に対する接近車両10の方向と、車両9に対する接近車両10の距離を導出部113が導出する。
【0096】
なお、別の導出方法としては、車両9および接近車両10の前後方向(Y軸方向)における車両9(例えば車体の重心位置CP)と接近車両10(例えば車両9の後方に存在する接近車両で、車両9との距離が最も近い接近車両の車体位置DP)との直線ALを導出部113に導出する。そして、横方向(X方向)に車両9と接近車両10との直線BLを導出部113に導出する。その結果、直線ALと直線BLとから車両9と接近車両10とを結ぶ直線CL1を導出部113が導出するようにしてもよい。このような直線CL1を導出することは、車両9に対する接近車両10の位置を導出することに相当する。
【0097】
そして、直線CL1の略中央となる地点CE1の方向に仮想視点VP1の視野方向が向けられる。このような仮想視点VP1の視点位置および視野方向から見た合成画像には車両9と接近車両10との両方の像が含まれる。そして、ディスプレイ24に表示される画像中の車両像91と接近車両像101の位置から、車両9に対する接近車両10の位置をユーザが正確に把握できる。
【0098】
次に、図5の右図は先に述べた図5の左図よりも接近車両10が車両9に接近した状態を示している。そして、仮想視点VP2は車両9の前方(−Y方向)に視点位置があり、視野方向は車両9後方(+Y方向)となる車両9の位置と接近車両10の位置とを結ぶ直線CL2の略中央の地点CE2に向けられている。また、仮想視点VP2の視点位置は仮想視点VP1よりも高い視点位置となっている。
【0099】
図6は、仮想視点VP3の視野方向と仮想視点VP4の視野方向を主に説明する図である。図6の左図に示す仮想視点VP3の視点位置は車両9と接近車両10とを結ぶ直線CL3の略中央の略直上の位置にあり、視野方向は鉛直下方(+Z方向から−Z方向)の地点CE3に向けられている。
【0100】
図6の右図に示す仮想視点VP4は、視点位置が車両9の後方(+Y方向)で、視野方向が車両9の位置および接近車両10の位置とを結ぶ直線CL4の略中央の地点CE4に向けられている。つまり、仮想視点VP4の視野方向は、車両9の前方(−Y方向)に向けられている。
【0101】
なお、図4から図6で示した視点位置および視野方向の仮想視点VPから見た合成画像には車両9に対応する車両像91と接近車両10に対応する接近車両像101とが含まれる。このように、仮想視点VPの視点位置および視野方向は、車両9と接近車両10との位置に応じた視点位置となる。これにより、接近車両10の位置をユーザが正確に把握できる。
【0102】
<1−6.表示画像>
【0103】
図7および図8は、ディスプレイ24に表示される仮想視点VPから見た合成画像を示した図である。なお、図7および図8に示す合成画像PT1からPT4は時間的に連続した合成画像である。
【0104】
図7に示す合成画像PT1は仮想視点VP1から見た合成画像であり、車両9に対応する車両像91の後方に接近車両10に対応する接近車両像101が映し出されている。合成画像PT2は、仮想視点VP2から見た合成画像であり、車両像91の後方に接近車両像101が映し出されている。そして、合成画像PT2では、合成画像PT1よりも接近車両像101が車両像91に接近した位置にある。このような合成画像の表示により、接近車両の位置をユーザが正確に把握できる。
【0105】
図8の合成画像PT3は仮想視点VP3から見た合成画像であり、車両9および接近車両10の直上の仮想視点位置から鉛直下方を見た車両9に対応する車両像91の側方に接近車両10に対応する接近車両像101が位置している状態の画像が映し出されている。
合成画像PT4では、仮想視点VP4から見た合成画像であり、接近車両像101が車両像91を追い越した状態の画像が映し出されている。図7および図8に示すように仮想視点VP1、VP2、VP3、およびVP4から見た合成画像中には車両9に対応する車両像91と接近車両10に対応する接近車両像101との両方の車両の像が映し出されている。このように車両9に対する接近車両の位置を時系列に表示することで、接近車両の位置を車両9のユーザは正確に把握できる。
【0106】
<1−7.処理フローチャート>
【0107】
図9は、画像処理装置11の処理フローチャートである。ステップS101では、撮影部5のバックカメラ52で撮影された画像中に接近車両10の存在を検出部112が検出した場合(ステップS101がYes)、ステップS102の処理に進む。なお、接近車両10の存在を検出部112が検出していない場合(ステップS101がNo)は、処理を終了する。
【0108】
ステップS102では、車両9に対する接近車両10の位置、つまり、車両9に対する接近車両10の位置を導出部113が導出して(ステップS102)、ステップS103の処理に進む。
【0109】
ステップS103では、車両9に対する接近車両10の位置から仮想視点VPの視点位置、および、視野方向を画像制御部111が設定して(ステップS103)、ステップS104の処理に進む。なお、車両9に対する接近車両10の位置からの仮想視点VPの視点位置および視野方向の設定は、車両9に対する接近車両10の位置に対応する仮想視点VPの視点位置、および、視野方向の情報を不揮発性メモリ4から画像制御部111が読み出して設定する。
【0110】
ステップS104では、仮想視点VPから見た合成画像を合成画像生成部32が生成して(ステップS104)、ステップS105の処理に進む。
ステップS105では、合成画像生成部32により生成された合成画像を通信部61を介して表示装置20に画像出力部33が出力する(ステップS105)。
【0111】
<第2の実施の形態>
【0112】
次に、第2の実施の形態について説明する。第2の実施の形態と第1の実施形態との相違点は、仮想視点の視点位置および視野方向である。つまり、第1の実施の形態では、車両9の位置と接近車両10の位置との間の略中央で車両9の前後方向に延伸する軸線sh1上で放物線を描くように移動する仮想視点VP1〜VP4について説明した。
【0113】
これに対して、第2の実施の形態では図10に示すように車両9の車体の略中央位置にあり、車両9の前後方向(Y軸方向)に延伸する軸線sh2を通り路面の鉛直方向から所定角度(例えば20度)傾いた平面上で放物線を描くように移動する仮想視点VPがVP11からVP14の位置に移動する。なお、その他の構成および処理については第1の実施の形態の構成および処理と同一である。そのため、構成および処理が同一の部分についての記載は省略する。
【0114】
<2−1.仮想視点の視点位置と視野方向>
【0115】
図10は、仮想視点VPの視点位置を主に説明する図である。また、図11および図12は、仮想視点VPの視野方向を主に説明する図である。
【0116】
図10に示すように、仮想視点VPは、車両9の車体の略中央(例えば、フロントバンパーの中央)に位置し、車両9の前後方向(Y軸方向)に延伸する軸線sh2を通り路面の鉛直方向から所定角度傾いた平面上で放物線を描くように、すなわち車両9の左側情報から斜め下方向に見下ろすように、VP11〜VP14の位置に移動する。
詳細には仮想視点VP11からVP12、仮想視点VP12からVP13への視点位置の移動は、車両9に対して接近車両10が近づくにつれて、視点位置の高さが上昇する。また、車両9と接近車両10との直線距離が短くなる(例えば、車両9の後方のバンパー部分と接近車両10の前方のバンパー部分との距離が短くなる)ほど仮想視点VPの位置が車両9の前方から車両9の側方に移動する。
【0117】
そして、車両9と接近車両10との直線距離が更に短くなるほど仮想視点VPの位置が車両9の側方から車両9の後方に移動する。このように視点位置が移動することで、車両9の像と接近車両10の像とが合成画像中に含まれ、接近車両10の位置をユーザが正確に把握できる。
【0118】
なお、仮想視点VP13からVP14への移動は、車両9が接近車両10を追い越した場合に行われる。つまり、仮想視点VPの視点位置は車両9と接近車両10との位置に応じた視点位置となる。
【0119】
また、例えば、仮想視点VP11の視点位置は車両9と接近車両10との距離が30m以上の場合に、仮想視点VP12の視点位置は車両9と接近車両10との距離が30m未満10m以上の場合にそれぞれの仮想視点の視点位置となる。また、仮想視点VP13の視点位置は車両9と接近車両10との距離が10m未満1m以上の場合に、仮想視点VP14の視点位置は車両9と接近車両10との距離が1m未満となった後、接近車両10が車両9を追い越した場合にそれぞれの仮想視点の視点位置となる。
【0120】
図11は、仮想視点VP11の視野方向と仮想視点VP12の視野方向とを主に説明する図である。図11の左図に示す仮想視点VP11は、車両9の左斜め前方の視点位置から車両9の車体の略重心の位置である重心位置CP上を仮想視点VP11の視線が通過する。そして、車両9の後方(+Y方向)にある重心位置CPと接近車両10の位置とを結ぶ直線の略中央の地点CE11に視野が向く視野方向となっている。
【0121】
次に、図11の右図に示す仮想視点VP12は、仮想視点VP11よりもさらに左側に傾いた車両9の前方の視点位置から重心位置CP上を仮想視点VP12の視線が通過し、重心位置CPと接近車両10の位置とを結ぶ直線の略中央の地点CE12に視線が向くような視野方向となっている。
【0122】
図12は、仮想視点VP13の視野方向と仮想視点VP14の視野方向とを主に説明する図である。図12の左図に示す仮想視点VP13は、車両9の左側方(−X方向)の視点位置から重心位置CP上を仮想視点VP13の視線が通過し、重心位置CPと車両9の右側方(+X方向)に存在する接近車両10の位置とを結ぶ直線の略中央の地点CE13に視線が向く視野方向となっている。
【0123】
図12の右図に示す仮想視点VP14は、車両9の後方(+Y方向)の視点位置から重心位置CP上を仮想視点VP14の視線が通過し、重心位置CPと車両9の右斜め前方に存在する接近車両10の位置とを結ぶ略中央の地点CE14に視線が向く視野方向となっている。なお、図10から図12で示した視点位置および視野方向の仮想視点VPから見た合成画像には車両9に対応する車両像91および接近車両10に対応する接近車両像101が含まれる。
【0124】
<2−2.表示画像>
【0125】
図13および図14はディスプレイ24に表示される仮想視点から見た合成画像を示した図である。なお、図7および図8に示す合成画像PT11からPT14は時間的に連続した合成画像である。合成画像PT11は仮想視点VP11から見た合成画像であり、車両像91の後方に接近車両像101が映し出されている。合成画像PT12は、仮想視点VP12から見た合成画像であり、車両像91の後方に接近車両像101が映し出されている。そして、合成画像PT12では、合成画像PT11よりも接近車両像101が車両像91に接近した位置にある。このような合成画像の表示により接近車両の位置を車両のユーザが正確に把握できる。
【0126】
図14の合成画像PT13は仮想視点VP13から見た合成画像であり、車両像91と車両像91の側方の位置に存在する接近車両像101とを含む画像が映し出されている。そして、合成画像PT14では、仮想視点VP14から見た合成画像であり、接近車両像101が車両像91を追い越した状態の画像が映し出されている。このように車両9に対する接近車両の位置を時系列に表示することで、接近車両の位置をユーザは正確に把握できる。
【0127】
<第3の実施の形態>
【0128】
次に、第3の実施の形態について説明する。第3の実施の形態と第1の実施形態との相違点は、車両9の走行車線の変更に伴う車両9のユーザの操作を図15に示す操作検知部114が検知した場合に、車両9と接近車両10の位置に応じた仮想視点から見た合成画像を合成画像生成部32が生成することである。
【0129】
また、第3の実施の形態では、車両9の車線変更の可否の判断結果を示す警告画像を合成画像に重畳させて、表示装置20のディスプレイ24に表示する点が第1の実施の形態で説明した内容と異なる点である。なお、その他の構成および処理については第1の実施の形態の構成および処理と同一である。そのため、構成および処理が同一の部分についての記載は省略する。
【0130】
<3−1.システム構成>
【0131】
図15は、画像表示システム120aのブロック図である。画像処理装置11aの制御部1aは、第1の実施の形態で説明した画像制御部111、検出部112、および、導出部113に加えて、操作検知部114、予測部115、演算部116、および、判断部117を備えている。
【0132】
操作検知部114は、車両9の走行車線の変更に伴うユーザの操作を検知する。例えば、ユーザのウインカースイッチの操作に基づく方向指示、すなわち、方向指示器83からのユーザが意図する方向指示を示すターン信号のオン状態、および、ウインカースイッチが中立位置となった場合のターン信号のオフ状態を検知する。また、別の例として操舵角センサ84からのユーザが操作したステアリングホイールの回転方向、回転角度、および、回転速度の信号を検知する。
【0133】
予測部115は、車両9が走行車線を変更して移動する場合の移動位置を予測する。詳細には車両9がユーザの操作により走行車線を変更する時間の情報である車線変更時間42aを予め不揮発性メモリ4aに記憶する。そして、車両9の移動位置を予測する際に車線変更時間42aを予測部115が読み出して、車線変更時間42aおよび車両9の走行速度などに基づく移動位置の予測を予測部115が行う。
【0134】
ここで、車両9の走行車線を変更する時間とは、ユーザの操作に伴い車両9の走行車線の変更が開始されて、車両9の走行車線の変更が終了するまでの時間である。例えば、ユーザが方向指示器83を操作したターン信号のオン状態を操作検知部114が検知したときから、ステアリングホイールの回転方向が車両9の車線変更を行う方向に変更された後、ステアリングホイールの回転方向が車両9の直進移動する方向(ステアリングホイールの回転角度が略0度となる状態、つまりステアリングホイールが略中立位置となる状態)に変更されるまでの所定の時間(例えば、5秒)である。
【0135】
演算部116は、車両9が走行車線を変更することにより移動する移動位置に接近車両10が移動する時間を演算する。例えば、連続する撮影画像中の接近車両像101の位置の変化から接近車両10の走行速度の情報を演算部116が演算し、当該走行速度の情報から接近車両10の移動位置への移動時間を演算部116が演算する。
【0136】
判断部117は、車両9の移動位置への移動時間と、接近車両10の移動位置への移動時間とから、車両9の移動位置への移動の可否、つまり車両9の車線変更の可否を判断する。なお、車両9の移動位置への移動が困難であると判断部117が判断した場合は、合成画像生成部32に、後述する警告画像が重畳した合成画像を生成する指示信号を判断部117が出力する。
【0137】
なお、判断部117が車両9の移動位置への移動が可能であると判断した場合は、合成画像生成部32への警告画像を表示する指示信号を判断部117が出力しないようにしてもよいし、警告画像以外の画像を表示する指示信号を判断部117が出力するようにしてもよい。ここで、警告画像以外の画像とは、例えば、車両9の移動位置を示す画像(以下、「移動位置画像」ともいう)、および、接近車両10の接近状態を示す画像(以下、「接近状態画像」ともいう。)などのうち少なくとも一つの画像をいう。
不揮発性メモリ4aの車線変更時間42aは、車両9のユーザの操作に伴い車両9が走行車線の変更を開始して走行車線の変更が終了するまでの時間である。
【0138】
<3−2.表示画像>
【0139】
図16はディスプレイ24に表示される仮想視点から見た合成画像を示した図である。合成画像PT1aは仮想視点VP1から見た合成画像であり、車両像91の後方に接近車両像101が映し出されている。そして、車両像91の側方に車両9の車線変更後の位置を示す移動位置画像trが合成画像に重畳して映し出されている。
【0140】
また、接近車両像101の進行方向に表示されている接近状態画像ad1が合成画像に重畳して映し出されている。接近状態画像ad1は、車両像91に対応する車両9が移動位置に移動する時間の間に接近車両像101に対応する接近車両10が移動する移動量を示している。そして、合成画像PT1aに示す接近車両像101の移動位置への接近状態においては、車両像91に対応する車両9は走行する車線の変更が可能となる。このようにユーザは車両9の移動位置に対する車線変更の可否を明確に把握できる。
【0141】
合成画像PT2aは、PT1aとは異なるタイミングで撮影された撮影画像に基づいて生成された合成画像である。合成画像PT2aは仮想視点VP2から見た合成画像であり、車両像91の後方に接近車両像101が映し出されている。合成画像PT2aでは、合成画像PT1aと比べて接近車両10に対応する接近車両像101が車両9に対応する車両像91に接近した状態であり、車両9の車線変更が困難な状態を表している。
【0142】
具体的には、車両像91の側方に、車両9の車線変更後の位置を示す移動位置画像traが合成画像に重畳して映し出されている。このtraは合成画像PT1aに示した移動位置画像trと比べて表示態様が変更されており、車両像91に対応する車両9の移動が困難であることを示す警告画像が重畳された状態となっている。つまり、車両9の移動位置に車両9が移動すると接近車両10と接触する可能性があることを示す警告画像(例えば、移動位置に対応する範囲に対して警告状態を示す色で表示するなど)を重畳させている。これによりユーザは車両9の移動位置に対する車線変更の可否を明確に把握できる。
【0143】
また、接近車両像101の進行方向に表示されている接近状態画像ad2の一部が移動位置画像traの範囲内に含まれるように合成画像に重畳されて映し出されている。これは、車両像91に対応する車両9が移動位置に移動する時間の間に接近車両像101に対応する接近車両10が移動する移動量を示しており、車両9が移動位置へ車線変更すると接近車両10と接触する危険があることを示す警告画像として合成画像に重畳して映し出されている。
【0144】
さらに、車両像91と接近車両像101との間の略中央位置の区画線上に車両像91に対応する車両9の走行車線の変更が困難であることを示す警告ライン像LNが警告画像として合成画像に重畳表示されている。これにより車両9のユーザは接近車両10の接近状態を正確に把握して、車両の車線変更の可否を容易に判断できる。
【0145】
なお、合成画像PT2aに示した警告画像の組み合わせはこれ以外にも他の組み合わせ(例えば、警告ライン像LNのみを重畳して映し出したり、移動位置画像traおよび接近状態画像ad2のみを重畳して映し出す)が可能である。
【0146】
また、第3の実施の形態では車両9の走行車線の変更に伴うユーザの車両9の操作を操作検知部114が検知した場合に車両9に対する接近車両10の位置に応じて合成画像に警告画像を重畳してディスプレイ24に表示する処理について述べた。これに対して、車両9の走行車線の変更に伴うユーザの操作を操作検知部114が検知した場合に、警告画像を重畳した表示を行わずに合成画像(第1の実施の形態で説明した車両9と接近車両10の位置に応じた仮想視点から見た合成画像)のみをディスプレイ24に表示するようにしてもよい。これにより、ユーザは接近車両10の位置を正確に把握して車両9の車線変更の可否を容易に判断できる。
【0147】
<3−3.処理フローチャート>
【0148】
図17および図18は、画像処理装置11aの処理フローチャートである。ステップS201では、車両9の走行車線の変更に伴うユーザの操作を操作検知部114が検知した場合(ステップS201がYes)、ステップS101の処理に進んだ後、ステップS101からステップS104の処理が行われる。そして、ステップS104において仮想視点VPから見た合成画像が生成され、ステップS202の処理に進む。なお、ステップS201の処理において、車両9の走行する車線の変更に伴うユーザの操作を操作検知部114が検知していない場合(ステップS201がNo)は処理を終了する。
【0149】
ステップS202では、車両9の走行車線の変更に伴う移動位置を予測部115が導出して(ステップS202)、ステップS203の処理に進む。
【0150】
ステップS203では、接近車両10の移動位置への移動時間を演算部116が演算して(ステップS203)、ステップS204の処理に進む。
【0151】
ステップS204では、車両9の移動位置への移動時間が接近車両10の移動位置への移動時間よりも長い時間の場合は(ステップS204がYes)、判断部117が合成画像生成部32に警告画像を表示する指示信号を出力して(ステップS205)、ステップS206の処理に進む。なお、車両9の移動位置への移動時間が接近車両10の移動位置への移動時間よりも短い場合(ステップS204がNo)は、ステップS105の処理に進み、ステップS104で生成された合成画像を画像出力部33が表示装置20に出力する(ステップS105)。
【0152】
ステップS206では、合成画像に警告画像を合成画像生成部32が重畳する。そして警告画像が重畳された合成画像が画像出力部33により表示装置20に出力される(ステップS206)。
【0153】
<第4の実施の形態>
【0154】
次に、第4の実施の形態について説明する。第4の実施の形態と第3の実施形態との相違点は、車両9のユーザの複数回の車線変更における車線変更時間からユーザの固有の車線変更時間(例えば、車両9のユーザの車線変更時間の平均値)を学習し、当該時間を不揮発性メモリ4bに記憶しておく点である。つまり、学習とは、車両9のユーザの複数回の車線変更における車線変更時間からユーザの固有の車線変更時間を学習部118が導出することである。
【0155】
また、記憶とは、学習部118により導出された車両9のユーザの固有の車線変更時間を不揮発性メモリ4bの車線変更時間42bとして記憶しておくことである。これにより、判断部117が車両9の移動位置への移動の可否を判断する場合に、ユーザごとの車線変更の際の車両の操作時間に応じた車線変更の可否判断が可能となる。なお、その他の構成および処理については第3の実施の形態の構成および処理と同一である。そのため、構成および処理が同一の部分についての記載は省略する。
【0156】
<4−1.システム構成>
【0157】
図19は、画像表示システム120bのブロック図である。画像処理装置11bの制御部1bは、第3の実施の形態で説明した構成に加えて、学習部118を備えている。学習部118は、ユーザの操作に伴い車両9の走行車線の変更開始から車両9の走行車線の変更終了までの複数回の車線変更に要した時間を積算してユーザの固有の車線変更時間を計測する。
【0158】
不揮発性メモリ4bの車線変更時間42bは学習部118で導出された車線変更時間の情報を記憶する。つまり、一定値の車線変更情報ではなく、ユーザの車線変更動作を学習した結果の値である車線変更時間42bを不揮発性メモリ4bが記憶する。
判断部117は、接近車両10が移動位置に移動する時間と、ユーザの固有の車線変更時間である車線変更時間42bとに基づいて、車両9の移動位置への移動の可否を判断する。これにより、車両9の移動位置への移動の可否をユーザの固有の車線変更時間に応じて、ユーザが容易に判断できる。
【0159】
<4−2.車線変更時間グラフ>
【0160】
図20は、車両9の車線変更時間の計測の一例を示すグラフである。時刻t1において、ユーザが方向指示器83を操作するとターン信号のオン状態が操作検知部14に検出されたことにより、制御部1bの学習部118が車線変更時間の学習を開始する。
次に、方向指示器83のターン信号がオン状態となっている時刻t2で、車両9の走行車線を変更する方向と同じ方向のステアリングホイールの回転角度が操作検知部14に検出される。そして、時刻t3でステアリングホイールの操舵角のグラフの傾きが右下がりとなったところで、ターン信号がオフ状態となる。その後ステアリングホイールの操舵角の角度が略0度(ステアリングホイールが中立位置)となった場合に、時刻t1からt4までの時間を車両9のユーザの1回の車線変更時間として学習部118が学習する。そして、当該車線変更時間をユーザが1回の車線変更に要した時間として不揮発性メモリ4bに記憶される。
【0161】
以降、車両9の車線変更が行われるごとに車線変更時間を学習部118が積算し、その積算時間を車線変更回数で除算して、ユーザの固有の車線変更時間である車線変更時間42bとして不揮発性メモリ4bに記憶する。そして、予測部115が移動位置を予測する場合、および、判断部117が車両9の移動位置への移動の可否を判断する場合などに、不揮発性メモリ4bから車線変更時間42bが読み出される。
【0162】
<4−3.処理フローチャート>
【0163】
図21および図22は学習部118が車線変更時間を計測する処理フローチャートである。ステップ401ではユーザが方向指示器83を操作してターン信号がオン状態となった場合(ステップS401がYes)、ステップS402の処理に進む。なお、ユーザが方向指示器83を操作していない場合(ステップS401がNo)は、処理を終了する。
ステップS402では、ターン信号がオン状態となったことにより、制御部1の方向指示器フラグがオン状態となり(ステップS402)、ステップ403において、車線変更時間の計測を学習部118が開始して(ステップS403)、ステップS404の処理に進む。
【0164】
ステップS404では、方向指示器83の左右いずれかの方向のうち方向指示器83を操作した側へステアリングホイールを操舵した場合(ステップS404がYes)は、ステップS405の処理へ進む。例えば、方向指示器83を右側に操作した場合にステアリングホイールを右側に操舵して、車両9の走行する車線の右側に隣接する走行車線に車両9を移動させる場合である。
なお、方向指示器83の左右いずれかの方向のうち方向指示器83を操作した側へステアリングホイールを操舵していない場合、つまり方向指示器83を操作した側と反対側にステアリングホイールを操舵した場合(ステップS404がNo)は、ステップS406の処理へ進む。
【0165】
ステップS405では、方向指示器83を操作した側に対応するステアリングホイールの操舵フラグをオン状態として(ステップS405)、ステップS406の処理に進む。
【0166】
ステップS406では、方向指示器83を操作した側とは反対側にステアリングホイールを操舵した場合(ステップS406がYes)は、ステップS407の処理に進む。例えば、方向指示器83を右側に操作した場合にステアリングホイールを右側に操作した後に、ステアリングホイールを反対側(左側)に切り返す操作をした場合である。なお、方向指示器83を操作した側とは反対側にステアリングホイールを操舵していない場合(ステップS406がNo)は、ステップS408の処理に進む。
【0167】
ステップS407では、方向指示器83を操作した側とは反対側に対応する反対側操舵フラグをオン状態として、ステップS408の処理に進む。
【0168】
ステップS408では、操舵フラグおよび反対側操舵フラグがオン状態の場合(ステップS408がYes)は、ステップS409の処理に進む。なお、操舵フラグおよび反対側操舵フラグがオン状態ではない場合(ステップS408がNo)は、処理を終了する。
【0169】
ステップS409では、ステアリングホイールの操舵角が略0度の場合(ステップS409がYes)はステップS410の処理に進む。なお、ステアリングホイールの操舵角が略0度ではない場合(ステップS409がNo)は処理を終了する。
【0170】
ステップS410では、ユーザの固有の車線変更時間を学習部118が導出して(ステップS410)、ステップS411に進む。ステップS411では、各フラグをOFF状態とする(ステップS411)。このような処理を車線変更を行うたびに繰り返し行うことで、車両9の移動位置への移動の可否をユーザの車線変更時間の応じて正確に判断できる。
【0171】
<第5の実施の形態>
【0172】
次に、第5の実施の形態について説明する。第5の実施の形態と第3の実施形態との相違点は仮想視点の視点位置が接近車両10のドライバーの位置で、視野方向が車両9の存在する方向となる点である。なお、その他の構成および処理については第3の実施の形態の構成および処理と同一である。そのため、構成および処理が同一の部分についての記載は省略する。
【0173】
<5−1.仮想視点の視点位置および視野方向>
【0174】
図23は、仮想視点VP31の視点位置を主に説明する図である。図23に示すように、接近車両10のドライバーの位置が仮想視点VP31の視点位置となっている。詳細には車両10のドライバーが着座する位置(運転席の位置)が視点位置となっている。なお、接近車両10のドライバーの位置の導出は導出部113が行うが、詳細な説明は次の図24を用いて行う。
【0175】
図24は、仮想視点VP31の視野方向を主に説明する図である。図24に示す仮想視点VP31の視野方向は、車両9の存在する方向である。つまり、接近車両10のドライバーの位置から見る接近車両10の進行方向(−Y方向)と略同一の方向である。
【0176】
ここで、接近車両10のドライバーの位置となる車両9に対する接近車両10の位置の導出は、合成画像中の接近車両像101の画像中の位置から、重心位置CPから接近車両10の位置(例えば接近車両10のフロントバンパーの位置)までを結ぶ直線CLを導出部113が導出する。そして、直線CLに補正値clを加えた直線CLaを導出部113が導出する。この補正値clは、接近車両10の位置(例えば、接近車両10のフロントバンパーの位置)から接近車両10のドライバーの位置である着座位置UPまでの距離である。
【0177】
また、これ以外にも次のように接近車両10のドライバーの位置を導出してもよい。図24に示す車両9に対する接近車両10の前後方向(Y軸方向)の位置を第1の実施の形態の図5に示した直線ALに補正値alを加えた位置として導出部113が導出する。また、車両9に対する接近車両10の横方向(X軸方向)の位置を直線BLに補正値blを加えた位置として導出部113が導出する。そして、例えば三平方の定理などにより車両9の重心位置CPから着座位置UPまでを結ぶ直線CLaを導出部113が導出する。
【0178】
そして、着座位置UPが接近車両10のドライバーの位置となり、この位置が仮想視点VP31の視点位置となる。また、接近車両10の進行方向(−Y方向)と略同一の方向が仮想視点VP31の視野方向となる。
【0179】
なお、補正値cl等の各補正値は、不揮発性メモリ4aに記録されており、例えば、接近車両10のフロントバンパー部分の位置から着座位置UPまでの直線を導出する際に用いられる補正値となる。
【0180】
<5−2.表示画像>
【0181】
図25は、ディスプレイ24に表示される仮想視点VP31から見た合成画像を示した図である。合成画像PT31は仮想視点VP31から見た合成画像であり、車両像91が前方に映し出されている。つまり、接近車両10のドライバーの視点位置で、車両9の存在する視野方向から見た合成画像がディスプレイ24に映し出されている。これにより接近車両10のドライバーの視点で車両9の位置をユーザが正確に把握できる。なお、接近車両10の一部の画像は不揮発性メモリ4bに予め記憶されているイメージ図である。
【0182】
また、合成画像PT31には、前方に移動位置画像traが合成画像に重畳して映し出されており、接近車両10の進行方向に表示されている接近状態画像ad2の一部が移動位置画像traの範囲内に含まれるように合成画像に重畳して映し出されている。さらに、警告ライン像LNが警告画像として合成画像に重畳して映し出されている。このような場合は、ユーザは車両9の車線変更が困難であることが明確に判断できる。
【0183】
<5−3.処理フローチャート>
【0184】
図26および図27は、画像処理装置11aの処理フローチャートである。ステップS102aでは、前の処理のステップS101において検出部112が接近車両10の存在を検出した場合に、接近車両10のドライバーの位置を導出部113が導出して、ステップS103aの処理に進む。
【0185】
ステップS103aでは、仮想視点の視点位置を接近車両10のドライバー位置とし、仮想視点の視野方向を車両9の存在する方向として(ステップS103a)、ステップS104の処理に進む。そして、以降は第3の実施の形態で説明した処理を行う。
【0186】
<第6の実施の形態>
【0187】
次に、第6の実施の形態について説明する。第6の実施の形態と第3の実施形態との相違点は、車両9がユーザの操作により車線変更を行う場合に、検出部112が接近車両10の存在を検出しないときの合成画像の表示について説明した点である。このような場合は、視点位置が車両9の前方で視野方向が車両9の後方となる仮想視点VPから見た合成画像がディスプレイ24に映し出される。
【0188】
<6−1.表示画像>
【0189】
図28は、ディスプレイ24に表示される仮想視点VPから見た合成画像を示した図である。合成画像PT1bには車両像91を含んだ合成画像が映し出されている。合成画像PT1bは、操作検知部114が車両9のユーザの操作を検知した場合に、検出部112が接近車両10の存在を検出していない(接近車両10が車両9の後方に存在しない)ときは、次に示す仮想視点から見た合成画像を合成画像生成部32が生成する。つまり、車両像91の少なくとも一部の像を含み、視点位置を車両9の前方とし、視野方向を車両9の後方とする仮想視点VPから見た合成画像を合成画像生成部32が生成する。これにより接近車両10の存在の有無に関わらず車両9の車線変更の可否をユーザが容易に判断できる。
【0190】
<6−2.処理フローチャート>
【0191】
図29および図30は、画像処理装置11aの処理フローチャートである。ステップS101において、接近車両10の存在を検出部112が検出していない場合(ステップS101がNo)は、ステップS301の処理に進む。
ステップS301では、仮想視点VPの視点位置および視野方向を画像制御部111が設定する(ステップS301)。つまり、車両像91の少なくとも一部の像を含み、視点位置を車両9の前方とし、視野方向を車両9の後方とする仮想視点VPを画像制御部111が設定する。そして、仮想視点VPから見た合成画像を合成画像生成部32が生成する(ステップS104)。以降は第3の実施の形態で説明した処理を行う。
【0192】
<第7の実施の形態>
【0193】
次に、第7の実施の形態について説明する。第7の実施の形態と第6の実施形態との相違点は、車両9がユーザの操作により車線変更を行う場合に、視点位置が車両9のドアミラー近傍の位置で、視野方向が車両9の後方となる仮想視点VP41から見た合成画像を合成画像生成部32が生成することである。
【0194】
<7−1.仮想視点の視点位置および視野方向>
【0195】
図31は、仮想視点VP41の視点位置を主に説明する図である。図31に示すように、仮想視点VP41の視点位置は車両9のドアミラー近傍の位置がとなっている。なお、図31では右側(+X方向)の車線に車両9が走行車線の変更を行う場合について説明しているため、右側(+X方向)のドラミラー近傍に仮想視点VP41の視点位置が設定されるが、左側(−X方向)に車両9が走行車線の変更を行う場合は、左側(−X方向)にドアミラー近傍に仮想視点の視点位置を設定してもよい。
【0196】
図32は、仮想視点VP41の視野方向を主に説明する図である。図32に示す仮想視点VP41は車両9のドアミラー近傍を視点位置とし、視野方向を車両9の後方(+Y方向)としている。つまり車両9の進行方向(−Y方向)と反対の方向に視野が向けられている。
【0197】
<7−2.表示画像>
【0198】
図33は、ディスプレイ24に表示される仮想視点VP41から見た合成画像を示した図である。合成画像P41は仮想視点VP41から見た合成画像であり、車両9の右側のドアミラーに映し出される像を含む合成画像として表示されている。これにより接近車両が存在しない場合でも車両9の車線変更の可否をユーザが容易に判断できる。
<7−3.処理フローチャート>
図34および図35は、画像処理装置11aの処理フローチャートである。ステップS101において、接近車両10の存在を検出部112が検出していない場合(ステップS101がNo)は、ステップS401の処理に進む。
【0199】
ステップS401では、車両9のドアミラー近傍となる視点位置で、視野方向が車両9の後方となる仮想視点VP41の視点位置および視野方向を画像制御部111が設定する(ステップS401)。そして、仮想視点VP41から見た合成画像を合成画像生成部32が生成する(ステップS104)。以降は第6の実施の形態で説明した処理を行う。
【0200】
<第8の実施の形態>
【0201】
次に、第8の実施の形態について説明する。第8の実施の形態は、フロントカメラ51などの一のカメラで撮影した撮影画像をディスプレイ24に表示する。そして、一のカメラの撮影画像がディスプレイ24に表示されている場合に、接近車両10の存在が検出部112により検出されたときは、車両9と接近車両10の位置に応じた仮想視点から見た合成画像を一のカメラで撮影した画像と共にディスプレイ24に表示する。
【0202】
ここで、車両9と接近車両10の位置に応じた仮想視点は、例えば、視点位置を接近車両10のドライバーの位置とし、視野方向を車両9の存在する方向とする仮想視点(例えば図36に示す仮想視点VP52a)である。また、例えば視点位置を車両9のドアミラー近傍の位置とし、視野方向を接近車両10の存在する方向とする仮想視点(例えば図36に示す仮想視点VP52b)である。これらの仮想視点は後述するようにユーザの操作に応じて変更され、この変更によりディスプレイ24に表示される合成画像の表示態様が切り替えられる。これによりユーザは接近車両10の存在を早期に認識でき、接近車両10の位置を正確に判断できる。
【0203】
<8−1.仮想視点の視点位置および視野方向>
図36は、一のカメラの撮影画像と共にディスプレイ24に表示される合成画像の仮想視点の一例を示している。詳細には視点位置を接近車両10のドライバーの位置とし、視野方向を車両9の存在する方向とする仮想視点VP52aと、視点位置を車両9のドアミラー近傍の位置とし、視野方向を接近車両10の存在する方向とする仮想視点VP52bが示されている。そして、これらの仮想視点はユーザの操作に応じて変更され、この変更によりディスプレイ24に表示される合成画像の表示態様が切り替えられる。
【0204】
<8−2.表示画像>
【0205】
図37および図38はディスプレイ24に表示される画像を示す図である。なお、図37および図38の画像PT51、PT51a、および、PT51bは時間的に連続した画像である。画像PT51は車両9に備えられたフロントカメラのみで撮影した撮影画像であり、車両9の前方(−Y方向)を走行する前方車両の車両像102(以下、「前方車両像102」ともいう)がディスプレイ24に映し出されている。画像PT51には後述するような合成画像は重畳表示されていない。つまり、車両9の後方から接近する接近車両10の存在が検出部112により検出されていない。
【0206】
次に、画像PT51aは、検出部112が接近車両10の存在を検出した場合にディスプレイ24に表示される画像を示している。画像TP51aには、前方車両像102が表示されており、この画像PT51aに,接近車両10のドライバーの位置の仮想視点VP52aから見た合成画像PT52aが重畳して映し出されている。つまり、画像PT51aと共に合成画像PT52aがディスプレイ24に映し出されている。これにより、ユーザは接近車両10の存在を早期に認識でき、接近車両10の位置を正確に把握できる。
【0207】
なお、この合成画像PT52の仮想視点の視点位置は接近車両10のドライバーの位置であり、視野方向は接近車両10の存在する方向である。そして、車両9に対する接近車両10の位置において、その距離が所定の距離を下回っているため、車両像91を含むような視野方向(接近車両10のドライバーの位置から見て左斜め前方の方向)の仮想視点から見た合成画像となっている。
【0208】
また、画像PT51aには相手視点ボタンB1、および、自車視点ボタンB2とが重畳して表示されている。この相手視点ボタンB1、および、自車視点ボタンB2のいずれかのボタンをユーザが操作することにより各ボタンに対応した仮想視点から見た合成画像がディスプレイ24に映し出される。つまり、フロントカメラ51で撮影された撮影画像と共に合成画像がディスプレイ24に映し出される。
【0209】
画像PT51aでは相手視点ボタンB1が選択されているため、接近車両10のドライバーの位置の仮想視点VP52aから見た合成画像PT52aが、画像PT51aと共にディスプレイ24に映し出されている。
【0210】
次に、図38に示す画像PT51bでは、ユーザの操作により、自車視点ボタンB2が選択されている。そして、このユーザ操作に応じてフロントカメラの撮影画像と共にディスプレイ24に映し出される合成画像が、合成画像PT52aから合成画像PT52bに切り替えられる。これにより、ユーザの希望する仮想視点から見た合成画像を表示して、接近車両の位置を正確に把握できる。
【0211】
<8−3.処理フローチャート>
【0212】
図39および図40は、一の撮影画像と共に合成画像をディスプレイ24に表示する処理フローチャートである。ステップS501では、フロントカメラ51で撮影された撮影画像が画像処理部3で処理され(ステップS501)、画像出力部33から通信部61を介して表示装置20に出力され(ステップS502)、ステップS101の処理に進む。
【0213】
ステップS101では、接近車両10の存在を検出部112が検出した場合(ステップS101がYes)、ステップS503の処理に進み、車両9と接近車両10の位置に応じた仮想視点から見た合成画像を画像出力部33が通信部61を介して表示装置20に出力して(ステップS503)、ステップS504の処理に進む。これにより、フロントカメラ51で撮影された撮影画像と共に合成画像がディスプレイ24に表示される。
【0214】
なお、合成画像の仮想視点の視点位置、および、視野方向は、過去に接近車両を検出部が検出した際にユーザの操作により選択された仮想視点の視点位置、および、視野方向から見た合成画像がディスプレイ24に表示される。
【0215】
また、ステップS101で、検出部112が接近車両10の存在を検出していない場合(ステップS101がNo)は、処理を終了する。
【0216】
ステップS504に戻り、ディスプレイ24にフロントカメラ51により撮影された撮影画像の画像PT51aと共に、合成画像PT52bがディスプレイ24に映し出されている場合に、ユーザの操作により相手視点ボタンB1が選択されたとき(ステップS504がYes)は、ステップS505の処理に進む。
【0217】
なお、相手視点ボタンB1がユーザの操作により選択されていない場合(ステップS504がNo)は、ステップS507の処理に進む。また、過去のユーザの操作により既に相手視点ボタンB1が選択されている場合も同様の処理を行う。
【0218】
ステップS505では、接近車両10のドライバーの位置の仮想視点VP52aから見た合成画像PT52aが合成画像生成部32により生成され(ステップS505)、ステップS506の処理に進む。
【0219】
ステップS506では、合成画像PT52aが画像出力部33により表示装置20に出力され(ステップS506)、ステップS507の処理に進む。
【0220】
ステップS507では、ディスプレイ24にフロントカメラ51により撮影された撮影画像の画像PT51aと共に、仮想視点VP52aから見た合成画像PT52aがディスプレイ24に映し出されている場合に、ユーザの操作により自車視点ボタンB2が選択されたとき(ステップS507がYes)は、ステップS508の処理に進む。
【0221】
なお、自車視点ボタンB2がユーザの操作により選択されていない場合(ステップS507がNo)は、処理を終了する。また、過去のユーザの操作により既に自車視点ボタンB2が選択されている場合も同様の処理を行う。
【0222】
ステップS508では、車両9のドアミラー近傍の仮想視点VP52bから見た合成画像PT52bが合成画像生成部32により生成され(ステップS508)、ステップS509の処理に進む。
【0223】
ステップS509では、合成画像PT52bが画像出力部33により表示装置20に出力される(ステップS509)。
【0224】
<第9の実施の形態>
【0225】
次に、第9の実施の形態について説明する。第9の実施の形態では、第8の実施の形態で説明した車両9のフロントカメラ51で撮影された画像のサイズと合成画像のサイズとをユーザの操作により切り替えてディスプレイ24に表示する。
【0226】
<9−1.表示画像>
【0227】
図41は、フロントカメラ51の撮影画像のサイズと合成画像のサイズとの切替を示す図である。図41の上図では、フロントカメラ51で撮影された画像PT51cと共に、車両9と接近車両10の位置に応じた仮想視点から見た合成画像PT52cがディスプレイ24に映し出されている状態を示している。なお、画像PT51cはディスプレイ24の画面の大きさと略同じサイズの画像でディスプレイ24に表示され、合成画像PT52cは、画像PT51cの略1/10のサイズでディスプレイ24に表示されている。
【0228】
なお、ユーザの操作により一の撮影画像のサイズと合成画像のサイズとを切り替えてディスプレイ24に表示する画像切替ボタンB3が画像PT51cに重畳して表示されている。
【0229】
そして、図41の下図には、画像切替ボタンB3がユーザに操作された場合、合成画像PT52cのサイズをユーザの画像切替ボタンB3の操作前の画像PT51cと略同じサイズとする。つまり、切替前の合成画像PT52cのサイズよりも拡大された合成画像PT52dとしてディスプレイ24に映し出す。
【0230】
また、このような画像切替に伴い、画像PT51cのサイズを車両9のユーザの画像切替ボタンB3の操作前の合成画像PT52cと略同じサイズとする。つまり、切替前の画像PT51cよりも縮小された画像PT51dとしてディスプレイ24に映し出す。これにより、車両9の走行状態に応じて、ユーザの希望する画像のサイズを他の画像のサイズと比べて調整できる。
【0231】
<第10の実施の形態>
【0232】
次に、第10の実施の形態について説明する。第10の実施の形態では、車両9が表示装置20のナビテーション機能を用いて車両9を走行させる場合に、表示装置20からのユーザへの案内情報の報知に応じて、仮想視点から見た合成画像をユーザに提供するものである。
【0233】
この実施の形態の目的は、次の内容である。表示装置20に表示されたナビゲーション画面により目的地までの経路案内に沿ってユーザが車両9を走行させている場合に、車両9の進路変更を行う必要がない地点でナビゲーション画像から別の画像(例えば、仮想視点から見た合成画像)に表示装置20画像が切り替わるときがある。このような場合、ユーザは本来見たいナビゲーション画像が見ることができないため、煩わしさを感じることがある。そのため、以下の第10の実施の形態では、ユーザが車両9を操作する上で必要となるタイミングで表示装置20に仮想視点から見た合成画像を表示する構成について説明する。
【0234】
<10−1.案内情報地点>
【0235】
図42は、ユーザに案内情報を報知する地点を示す図である。図42では道路の左車線LAを車両9が走行しており、区画線で区切られた右車線RBを車両9の後方に位置する接近車両10が走行している。そして、車両9のユーザの操作により車両9が到達する目的地が表示装置20に設定された場合の当該目的地に到達するために走行すべきルートである経路RUが示されている。
【0236】
次に、車両9が経路RUに沿って走行する場合、左車線LA上の地点PN1に車両9が接近したときに、車両9の位置を左車線LAから右車線RBに変更する旨の案内情報が表示装置20からユーザに報知される。そして、このような案内情報が報知される場合に、仮想視点から見た合成画像(例えば、接近車両10のドライバーの視点位置で、車両9の存在する視野方向の仮想視点から見た合成画像)が合成画像生成部32により生成される。生成された合成画像はディスプレイ24に映し出される。このように、表示装置20から報知される案内情報に対応した仮想視点位置から見た合成画像をユーザが確認できる。
【0237】
また、交差点CR上の地点PN2に車両9が接近した場合に、交差点CRで車両9を右折させ、右車線RBから車線MCに車両9を移動させる旨の案内情報が表示装置20からユーザに報知される。そして、このような案内情報が報知される場合に、仮想視点から見た合成画像(例えば、車両9に対応する車両像91の少なくとも一部を含むように視点位置を車両9の前方とし、視野方向を車両9の後方とする仮想視点から見た合成画像)が合成画像生成部32により生成される。これにより、車両9の走行車線の変更、および、交差点での進行方向の変更に応じた合成画像をユーザが確認できる。
【0238】
なお、案内情報を報知する地点に車両9が接近した場合とは、例えば車両9と案内情報を報知する地点との直線の距離が50mとなった場合をいうが、これ以外の距離としてもよい。
【0239】
<10−2.仮想視点の視点位置と視野方向>
【0240】
図43は、案内情報を報知する地点での仮想視点の視点位置と視野方向の例を示す図である。図43の左図は、車両9が地点PN1に接近した場合に車両9が左車線LAから右車線RBに車線変更する案内の報知がユーザへ行われたときに、合成画像が生成される仮想視点VP61の視点位置と視野方向を示すものである。詳細には、仮想視点VP61は接近車両10のドライバーの視点位置で、車両9の存在する視野方向の仮想視点であり、この仮想視点VP61から見た合成画像が合成画像生成部32により生成される。
【0241】
また、図43の右図は、車両9が地点PN2に接近した場合に車両9が右車線RBから交差点CRを右折して車線MCに移動する案内情報の報知がユーザに行われたときに、合成画像が生成される仮想視点VP62の視点位置と視野方向を示すものである。詳細には、仮想視点VP62は車両9に対応する車両像91の少なくとも一部を含むように視点位置を車両9の前方とし、視野方向を車両9の後方とする仮想視点である。そして、この仮想視点VP62から見た合成画像が合成画像生成部32により生成される。
【0242】
<10−3.表示画像>
【0243】
図44は、仮想視点VP61およびVP62から見た合成画像を示す図である。合成画像PT61は車両9の車線変更の案内情報がユーザに報知される場合に、ディスプレイ24に映し出される合成画像である。詳細には、接近車両10のドライバーの仮想視点から見た合成画像であり、接近車両10の前方を走行する車両9の車両像91aがディスプレイ24に映し出されている。また、車両9が左車線LAから右車線RBに車線変更する場合の車両9の移動位置である移動位置画像trがディスプレイ24に映し出されている。また、接近車両像101の進行方向を示す接近状態画像ad1が合成画像に重畳して映し出されている。
【0244】
また、合成画像PT62は、車両9の交差点での方向変更の案内情報がユーザに報知される場合に、ディスプレイ24に映し出される合成画像である。詳細には、仮想視点VP62は車両9に対応する車両像91の少なくとも一部を含むように車両9の前方から後方の仮想視点から見た合成画像であり、車両9に対応する車両像91bを含む画像が映し出されている。このようにユーザに報知される案内情報の内容に応じて、合成画像の仮想視点を変更する。これにより、案内情報の内容に対応する車両の走行状況に応じた合成画像をユーザが確認できる。
【0245】
なお、合成画像PT62には接近車両10に対応する接近車両像101が画像中に映し出されていないが、接近車両10が車両9に接近している場合は、接近車両に対応する接近車両像101を含む合成画像を映し出すようにしてもよい。
<10−4.処理フローチャート>
図45および図46は、表示装置20が案内情報の報知を行う場合に、画像処理装置11aが合成画像をディスプレイ24に表示する処理フローチャートである。ステップS601では、車両9に備えられた車載カメラで撮影した車両9の周辺の撮影画像を画像処理装置11aが取得して(ステップS601)、ステップS602の処理に進む。
【0246】
ステップS602では、車両9が目的地までの経路RUに沿って走行する場合に,表示装置20からユーザに報知する案内情報を画像処理装置11aが取得して(ステップS602)、ステップS603の処理に進む。
【0247】
ステップS603では、ユーザへの第1案内情報(例えば、車両9の走行車線の変更に対応した案内情報)を表示装置20から通信部23を介して画像処理装置11aが取得した場合(ステップS603がYes)は、ステップS604の処理に進む。なお、ユーザへの第1案内情報を表示装置20から通信部23を介して画像処理装置11aが取得していない場合(ステップS603がNo)は処理を終了する。
【0248】
ステップS604では、車両9に備えられたバックカメラ52により車両9の後方から接近する接近車両10の存在が検出部112により検知された場合(ステップS604がYes)は、ステップS605に進む。
【0249】
ステップS605では、接近車両10が存在するため第1仮想視点(例えば、接近車両10のドライバーの視点位置で、車両9の存在する視野方向の仮想視点VP61)が画像処理装置11aにより設定され(ステップS605)、ステップS607の処理に進む。
【0250】
ステップS604に戻り、バックカメラ52で撮影された画像により車両9の後方から接近する接近車両10の存在が検出部112により検知されていない場合(ステップS604がNo)は、ステップS606の処理に進む。
【0251】
ステップS606では、接近車両10が存在しないため、第2仮想視点(例えば、車両9に対応する車両像91の少なくとも一部を含むように視点位置を車両9の前方とし、視野方向を車両9の後方とする仮想視点VP62)が画像処理装置11aにより設定され(ステップS606)、ステップS607の処理に進む。
【0252】
ステップS607では、画像処理装置11aにより設定された仮想視点から見た合成画像を合成画像生成部32が生成し(ステップS607)、通信部61を介して表示装置20に合成画像が出力され(ステップS608)、ステップS609の処理に進む。
【0253】
ステップS609では、ユーザへの第2案内情報(例えば、交差点を右折する車両9の進行方向の変更に対応した案内情報)を表示装置20から通信部23を介して画像処理装置11aが取得した場合(ステップS609がYes)は、ステップS610の処理に進む。なお、ユーザへの第2案内情報を表示装置20から通信部23を介して画像処理装置11aが取得していない場合(ステップS609がNo)は処理を終了する。
【0254】
ステップS610では、車両9に備えられたバックカメラ52で撮影された画像により車両9の後方から接近する接近車両10の存在が検出部112により検知された場合(ステップS610がYes)は、ステップS611に進む。
【0255】
ステップS611では、接近車両10が存在するため第1仮想視点(例えば、接近車両10のドライバーの視点位置で、車両9の存在する視野方向の仮想視点VP61)が画像処理装置11aにより設定され(ステップS611)、ステップS613の処理に進む。
【0256】
ステップS610に戻って、バックカメラ52により車両9の後方から接近する接近車両10の存在が検出部112により検知されていない場合(ステップS610がNo)は、ステップS612の処理に進む。
【0257】
ステップS612では、接近車両10が存在しないため、第2仮想視点(例えば、車両9に対応する車両像91の少なくとも一部を含むように視点位置を車両9の前方とし、視野方向を車両9の後方とする仮想視点VP62)が画像処理装置11aにより設定され(ステップS612)、ステップS613の処理に進む。
【0258】
ステップS613では、画像処理装置11aにより設定された仮想視点から見た合成画像を合成画像生成部32が生成し(ステップS613)、通信部61を介して表示装置20に合成画像が出力される(ステップS614)。
【0259】
<変形例>
【0260】
以上、本発明の実施の形態について説明してきたが、この発明は上記実施の形態に限定されるものではなく様々な変形が可能である。以下では、このような変形例について説明する。なお、上記実施の形態で説明した形態、および、以下で説明する形態を含む全ての形態は、適宜に組み合わせ可能である。
【0261】
上記実施の形態において、接近車両10とは車両9の後方を走行する車両で、かつ、車両9の走行する車線に隣接する車線を走行する車両以外にも、車両9の後方を走行する車両で、かつ、車両9の走行する車線と同じ車線を走行する車両も含む。
【0262】
上記実施の形態において、接近車両10とは車両9の後方を走行する車両以外に車両9の側方を走行する車両も含む。
【0263】
上記実施の形態において、不揮発性メモリ4に仮想視点情報41を予め記録しておき、仮想視点VPの視点位置および視野方向を設定する場合に、画像処理部3が読み出すことについて説明した。これ以外にも仮想視点VPの視点位置および視野方向を設定する場合に、車両9に対する接近車両10の位置に基づいて画像制御部111が仮想視点の視点位置および視野方向を演算して導出するようにしてもよい。
【0264】
また、上記実施の形態において、検出部112が、車両9の後方からの接近車両10の存在を検出する場合、車両9の後方に備えられたバックカメラ52の撮影画像から画像中の車両9の後方に存在する接近車両10を検出することを説明した。そのほかにもバックカメラ以外の他のカメラを接近車両10の存在を検出するカメラとして用いてもよい。
【0265】
また、上記実施の形態において、接近車両10の存在の検出、および、車両9に対する接近車両10の位置情報の取得は、車両9に車両9の外部に送信した送信波のうち物体から反射した反射波を受信して、車両9からの物体の距離、角度、および、相対速度の情報を取得するレーダ装置などの装置を車両9に備えて行ってもよい。
【0266】
また、上記実施の形態において、接近車両10が存在する車線は車両9の走行する右側(+X方向)に隣接する車線について述べたが、車両9の走行する左側(−X方向)に隣接する車線に接近車両10が存在する場合も上記実施の形態の内容を同様に適用できる。
【0267】
また、上記実施の形態において、車両像91および接近車両像101が合成画像中に含まれる場合とは、車両像91および接近車両像101の全体像だけでなく一部の像だけでもよい。
【0268】
また、上記実施の形態において、ディスプレイ24に表示される合成画像中の車両像91、および、接近車両像101の少なくとも一の像の位置を鏡に映したような位置としてもよい。
【0269】
また、上記実施の形態において、車両9の左右それぞれの方向から接近する接近車両が存在する場合は、車両9との前後方向(Y軸方向)の直線の値が小さい(車両9に最も接近している)接近車両10を導出部113が導出する。そして、当該接近車両と車両9との位置を結ぶ横方向(X軸方向)の直線の略中央の位置を仮想視点VPの視点位置とし、車両9の後方(+Y方向)を視野方向としてもよい。
【0270】
また、上記実施の形態において、車両9に対する接近車両10の位置に応じて、仮想視点から見た合成画像をディスプレイ24に表示を行わないようにしてもよい。つまり、車両9に対する接近車両10の位置が所定の位置よりも大きく離れている場合は、車両9と接近車両10との衝突の危険性が少ないため、ディスプレイ24に合成画像を表示しないようにしてもよい。
【0271】
また、上記実施の形態において、車両9に対する接近車両10の位置に応じて合成画像中に表示される車両像91および接近車両像101の少なくともいずれか一つの画像のサイズを変更するようにしてもよい。
【0272】
また、第1の実施の形態において、軸線sh1は、例えば車両9が走行する車線と接近車両10が走行する車線を区画する区画線である。
【0273】
また、第2の実施の形態において、仮想視点VPの移動を軸線sh2を基準に反時計回りの方向としたが、車両9に対する接近車両10の位置に応じて、仮想視点VPの移動を軸線sh2を基準に時計回りとしてもよい。
【0274】
また、第1および第2の実施の形態において、車両9の走行車線の変更に伴うユーザの操作を操作検知部114が検知した場合に、合成画像生成部32が合成画像を生成し、生成された合成画像をディスプレイ24に表示するようにしてもよい。
【0275】
また、第3の実施の形態において、接近車両10が車両9の移動位置へ到達する時間、および、接近車両10と車両9との位置の少なくともいずれか一の条件に応じて合成画像に重畳表示させる警告画像の種類および数など変更するようにしてもよい。
【0276】
また、第3の実施の形態において、車両9の走行車線変更に伴う動作の有無の判断処理(ステップS201の処理)を接近車両10の存在の有無を判定する処理(ステップS101の処理)の前に行うようにしたが、当該処理を別の処理位置で行うようにしてもよい。例えば、車両9の移動時間と接近車両10の移動時間とを比較する処理(ステップS204の処理)の前にステップS201の処理を行うようにしてもよい。
【0277】
また、第3および第4の実施の形態において、車両9の走行する車線と隣接車線とを区画する区画線の画像の位置の変化により車両9の車線変更時間を導出するようにしてもよい。
【0278】
また、第4の実施の形態において、学習部118が車線変更時間を導出する際にステアリングホイールの操舵角の情報を用いる説明を行ったが、ステアリングホイールの操舵角の角速度の情報を用いて処理を行ってもよい。
【0279】
また、第4の実施の形態において、車両9のユーザの車線変更時間は車両9の速度ごとに記録してもよい。例えば、車両9の速度を低速(例えば40km/h)、中速(例えば60km/h)、高速(例えば80km/h)の速度帯に分けて、各速度帯ごとのユーザの車線変更時間を記録してもよい。また、車両9の車線変更時間を車載カメラで撮影した区画線の画像に基づいて導出してもよい。
【0280】
また、第5の実施の形態において、画像処理装置11bに操作検知部114、予測部115、演算部116、および、判断部117を備え、車両9が車線変更する場合で、かつ、所定の条件を満たしたときに警告画像を表示するものとして説明した。これに対して、操作検知部114、予測部115、演算部116、および、判断部117を備えずに、接近車両10が検出部112により検出された場合に接近車両10のドライバーの位置の仮想視点から見た合成画像を合成画像生成部32が生成して、表示装置20のディスプレイ24に表示するようにしてもよい。
【0281】
また、第7の実施の形態において、仮想視点VP41から見た合成画像を生成は、接近車両10の存在を検出部112が検出していない場合に行うこととして説明したが、接近車両10の存在を検出部112が検出している場合に行うようにしてもよい。
【0282】
また、第8および第9の実施の形態において、フロントカメラ51により撮影された画像(例えば画像PT51a)を車両9と共に、接近車両10の位置に応じた仮想視点から見た合成画像をディスプレイ24に映し出す構成について説明した。これに対して、画像PT51aはフロントカメラ51により撮影された画像に限定されることなく、それ以外の一のカメラ(例えば、左サイドカメラ53など)で撮影した画像であってもよい。
【0283】
また、第8および第9の実施の形態において、車両9の前方を走行する前方車両と車両9との距離が所定の距離を下回った場合に、フロントカメラ51の画像中の前方車両像102の周囲を囲う枠の画像を表示するようにしてもよい。これによりユーザは前方車両と衝突を回避するための車両9に対する操作を行える。
【0284】
また、第10の実施の形態において、表示装置20を用いて目的地を設定した場合に表示装置20からユーザに案内情報を報知する場合について述べた。これに対して、目的地を設定していない場合に表示装置20からユーザに案内情報が報知される場合に、合成画像生成部32が仮想視点から見た合成画像を生成するようにしてもよい。例えば、表示装置20を用いた目的地の設定がなされていない場合に、車両9が走行する車線の先で車線数が減少するときに、予め車線変更を行う必要がある旨の案内情報に対応する仮想視点から見た合成画像をディスプレイ24に映し出すようにしてもよい。
【0285】
また、第10の実施の形態において、第1仮想視点設定および第2仮想視点設定として説明した仮想視点VP61およびVP62の視点位置および視野方向は一例であり、その他の視点位置および視野方向とする仮想視点から見た合成画像を生成するようにしてもよい。例えば、視点位置が車両9の車体の略中央、かつ、略直上の位置にあり、視野方向が車両9の鉛直下方に向けられている仮想視点である。
【0286】
また、第10の実施の形態において、案内情報に対応した仮想視点から見た合成画像をディスプレイ24に映し出す場合、一の合成画像のみでなく仮想視点の視点位置等が異なる複数の合成画像をディスプレイ24に映し出すようにしてもよい。
【符号の説明】
【0287】
1・・・・・制御部
3・・・・・画像処理部
5・・・・・撮影部
10・・・・画像処理装置
20・・・・表示装置
【特許請求の範囲】
【請求項1】
車両で用いられる画像表示システムであって、
車両に搭載されたカメラの複数の撮影画像を取得する取得手段と、
前記複数の撮影画像を合成して、仮想視点から見た前記車両の周辺の様子を示す合成画像を生成する生成手段と、
前記車両の後方から接近する接近車両の存在を検出する検出手段と、
前記車両に対する相対的な前記接近車両の位置を導出する導出手段と、
前記合成画像を表示する表示手段と、
を備え、
前記生成手段は、前記車両の位置と前記接近車両の位置に応じた前記仮想視点から見た前記合成画像である特定合成画像を生成すること、
を特徴とする画像表示システム。
【請求項2】
請求項1に記載の画像表示システムにおいて、
前記生成手段は、前記仮想視点の視点位置を前記車両の前方とし、前記仮想視点の視野方向を前記車両後方として、前記車両の像および前記接近車両の像を含む前記特定合成画像を生成すること、
を特徴とする画像表示システム。
【請求項3】
請求項1または2のいずれかに記載の画像表示システムにおいて、
前記生成手段は、前記接近車両が前記車両に近づくにつれて前記仮想視点の高さを上昇させた前記特定合成画像を生成すること、
を特徴とする画像表示システム。
【請求項4】
請求項1に記載の画像表示システムにおいて、
前記生成手段は、前記仮想視点の視点位置を前記接近車両のドライバーの位置とし、前記仮想視点の視野方向を前記車両の存在する方向として、前記特定合成画像を生成すること、
を特徴とする画像表示システム。
【請求項5】
請求項1ないし4のいずれかに記載の画像表示システムにおいて、
前記表示手段は、前記接近車両が存在しない場合は前記カメラからの前記撮影画像のうちの一の撮影画像を表示し、前記接近車両が存在する場合は前記一の撮影画像と共に前記特定合成画像を表示すること、
を特徴とする画像表示システム。
【請求項6】
請求項1ないし5のいずれかに記載の画像表示システムにおいて、
前記表示手段は、視点位置を前記接近車両のドライバーの位置とし視野方向を前記車両の存在する方向とする前記仮想視点から見た前記特定合成画像と、視点位置を前記車両のドアミラー近傍の位置とし視野方向を前記接近車両の存在する方向とする前記仮想視点から見た前記特定合成画像とを前記車両のユーザの操作に応じて切り替えて表示すること、
を特徴とする画像表示システム。
【請求項7】
請求項5または6のいずれかに記載の画像表示システムにおいて、
前記表示手段は、前記車両のユーザの操作に応じて前記一の撮影画像のサイズと前記特定合成画像のサイズとを切り替えて表示すること、
を特徴とする画像表示システム。
【請求項8】
請求項1に記載の画像表示システムにおいて、
前記車両の走行車線の変更に伴う前記車両のユーザの操作を検知する操作検知手段をさらに備え、
前記表示手段は、前記ユーザの操作が検知された場合に前記特定合成画像を表示すること、
を特徴とする画像表示システム。
【請求項9】
請求項8に記載の画像表示システムにおいて、
前記生成手段は、前記仮想視点の位置を前記車両の前方とし、前記仮想視点の視野方向を前記車両後方として、前記車両の像および前記接近車両の像を含む前記特定合成画像を生成すること、
を特徴とする画像表示システム。
【請求項10】
請求項8に記載の画像表示システムにおいて、
前記生成手段は、前記仮想視点の視点位置を前記接近車両のドライバーの位置とし、前記仮想視点の視野方向を前記車両の存在する方向として、前記特定合成画像を生成すること、
を特徴とする画像表示システム。
【請求項11】
請求項8に記載の画像表示システムにおいて、
前記車両が走行車線を変更して移動する場合の移動位置を予測する予測手段と、
前記接近車両が前記移動位置に移動する第1移動時間を演算する演算手段と、
前記第1移動時間に基づいて前記車両の前記移動位置への移動の可否を判断する判断手段と、
をさらに備え、
前記生成手段は、前記移動の可否の判断結果を示す警告画像を前記合成画像に重畳させること、
を特徴とする画像表示システム。
【請求項12】
請求項11に記載の画像表示システムにおいて、
前記生成手段は、前記警告画像を前記移動位置に重畳させること、
を特徴とする画像表示システム。
【請求項13】
請求項11に記載の画像表示システムにおいて、
前記車両が前記移動位置に移動する第2移動時間を計測する計測手段と、
前記第2移動時間を学習記憶する記憶手段と、
をさらに備え、
前記判断手段は、前記第1移動時間と記憶された前記第2移動時間とに基づいて前記移動の可否を判断すること、
を特徴とする画像表示システム。
【請求項14】
請求項8ないし13のいずれかに記載の画像表示システムにおいて、
前記ユーザの操作が検知され、かつ、前記接近車両が存在しない場合に、
前記生成手段は、前記仮想視点の視点位置を前記車両の前方とし、前記仮想視点の視野方向を前記車両後方として、前記車両の像と隣接車線の像とを含む前記合成画像である車両合成画像を生成し、
前記表示手段は、前記車両合成画像を表示すること、
を特徴とする画像表示システム。
【請求項15】
請求項1ないし14のいずれかに記載の画像表示システムにおいて、
前記車両の位置を取得する位置取得手段と、
前記車両の位置に応じて、前記車両の目的地までのルートを案内する案内情報をユーザに報知する報知手段と、
をさらに備え、
前記表示手段は、前記報知手段が前記案内情報を報知する場合に、前記合成画像を表示することを特徴とする画像表示システム。
【請求項16】
請求項15に記載の画像表示システムにおいて、
前記生成手段は、前記報知手段が報知する前記案内情報の内容に応じて、前記合成画像の前記仮想視点を変更すること、
を特徴とする画像表示システム。
【請求項17】
請求項16に記載の画像表示システムにおいて、
前記案内情報は、走行車線の変更を案内する情報と、交差点での方向の変更を案内する情報とを含むことを特徴とする画像表示システム。
【請求項18】
車両で用いられる画像処理装置であって、
車両に搭載されたカメラの複数の撮影画像を取得する取得手段と、
前記複数の撮影画像を合成して、仮想視点から見た前記車両の周辺の様子を示す合成画像を生成する生成手段と、
前記車両の後方から接近する接近車両の存在を検出する検出手段と、
前記車両に対する相対的な前記接近車両の位置を導出する導出手段と、
を備え、
前記生成手段は、前記車両の位置と前記接近車両の位置に応じた前記仮想視点から見た前記合成画像である特定合成画像を生成すること、
を特徴とする画像処理装置。
【請求項19】
車両で用いられる画像表示方法であって、
(a)車両に搭載されたカメラの複数の撮影画像を取得する工程と、
(b)前記複数の撮影画像を合成して、仮想視点から見た前記車両の周辺の様子を示す合成画像を生成する工程と、
(c)前記車両の後方から接近する接近車両の存在を検出する工程と、
(d)前記車両に対する相対的な前記接近車両の位置を導出する工程と、
(e)前記合成画像を表示する表示する工程と、
を備え、
前記工程(b)は、前記車両の位置と前記接近車両の位置に応じた前記仮想視点から見た前記合成画像である特定合成画像を生成すること、
を特徴とする画像表示方法。
【請求項1】
車両で用いられる画像表示システムであって、
車両に搭載されたカメラの複数の撮影画像を取得する取得手段と、
前記複数の撮影画像を合成して、仮想視点から見た前記車両の周辺の様子を示す合成画像を生成する生成手段と、
前記車両の後方から接近する接近車両の存在を検出する検出手段と、
前記車両に対する相対的な前記接近車両の位置を導出する導出手段と、
前記合成画像を表示する表示手段と、
を備え、
前記生成手段は、前記車両の位置と前記接近車両の位置に応じた前記仮想視点から見た前記合成画像である特定合成画像を生成すること、
を特徴とする画像表示システム。
【請求項2】
請求項1に記載の画像表示システムにおいて、
前記生成手段は、前記仮想視点の視点位置を前記車両の前方とし、前記仮想視点の視野方向を前記車両後方として、前記車両の像および前記接近車両の像を含む前記特定合成画像を生成すること、
を特徴とする画像表示システム。
【請求項3】
請求項1または2のいずれかに記載の画像表示システムにおいて、
前記生成手段は、前記接近車両が前記車両に近づくにつれて前記仮想視点の高さを上昇させた前記特定合成画像を生成すること、
を特徴とする画像表示システム。
【請求項4】
請求項1に記載の画像表示システムにおいて、
前記生成手段は、前記仮想視点の視点位置を前記接近車両のドライバーの位置とし、前記仮想視点の視野方向を前記車両の存在する方向として、前記特定合成画像を生成すること、
を特徴とする画像表示システム。
【請求項5】
請求項1ないし4のいずれかに記載の画像表示システムにおいて、
前記表示手段は、前記接近車両が存在しない場合は前記カメラからの前記撮影画像のうちの一の撮影画像を表示し、前記接近車両が存在する場合は前記一の撮影画像と共に前記特定合成画像を表示すること、
を特徴とする画像表示システム。
【請求項6】
請求項1ないし5のいずれかに記載の画像表示システムにおいて、
前記表示手段は、視点位置を前記接近車両のドライバーの位置とし視野方向を前記車両の存在する方向とする前記仮想視点から見た前記特定合成画像と、視点位置を前記車両のドアミラー近傍の位置とし視野方向を前記接近車両の存在する方向とする前記仮想視点から見た前記特定合成画像とを前記車両のユーザの操作に応じて切り替えて表示すること、
を特徴とする画像表示システム。
【請求項7】
請求項5または6のいずれかに記載の画像表示システムにおいて、
前記表示手段は、前記車両のユーザの操作に応じて前記一の撮影画像のサイズと前記特定合成画像のサイズとを切り替えて表示すること、
を特徴とする画像表示システム。
【請求項8】
請求項1に記載の画像表示システムにおいて、
前記車両の走行車線の変更に伴う前記車両のユーザの操作を検知する操作検知手段をさらに備え、
前記表示手段は、前記ユーザの操作が検知された場合に前記特定合成画像を表示すること、
を特徴とする画像表示システム。
【請求項9】
請求項8に記載の画像表示システムにおいて、
前記生成手段は、前記仮想視点の位置を前記車両の前方とし、前記仮想視点の視野方向を前記車両後方として、前記車両の像および前記接近車両の像を含む前記特定合成画像を生成すること、
を特徴とする画像表示システム。
【請求項10】
請求項8に記載の画像表示システムにおいて、
前記生成手段は、前記仮想視点の視点位置を前記接近車両のドライバーの位置とし、前記仮想視点の視野方向を前記車両の存在する方向として、前記特定合成画像を生成すること、
を特徴とする画像表示システム。
【請求項11】
請求項8に記載の画像表示システムにおいて、
前記車両が走行車線を変更して移動する場合の移動位置を予測する予測手段と、
前記接近車両が前記移動位置に移動する第1移動時間を演算する演算手段と、
前記第1移動時間に基づいて前記車両の前記移動位置への移動の可否を判断する判断手段と、
をさらに備え、
前記生成手段は、前記移動の可否の判断結果を示す警告画像を前記合成画像に重畳させること、
を特徴とする画像表示システム。
【請求項12】
請求項11に記載の画像表示システムにおいて、
前記生成手段は、前記警告画像を前記移動位置に重畳させること、
を特徴とする画像表示システム。
【請求項13】
請求項11に記載の画像表示システムにおいて、
前記車両が前記移動位置に移動する第2移動時間を計測する計測手段と、
前記第2移動時間を学習記憶する記憶手段と、
をさらに備え、
前記判断手段は、前記第1移動時間と記憶された前記第2移動時間とに基づいて前記移動の可否を判断すること、
を特徴とする画像表示システム。
【請求項14】
請求項8ないし13のいずれかに記載の画像表示システムにおいて、
前記ユーザの操作が検知され、かつ、前記接近車両が存在しない場合に、
前記生成手段は、前記仮想視点の視点位置を前記車両の前方とし、前記仮想視点の視野方向を前記車両後方として、前記車両の像と隣接車線の像とを含む前記合成画像である車両合成画像を生成し、
前記表示手段は、前記車両合成画像を表示すること、
を特徴とする画像表示システム。
【請求項15】
請求項1ないし14のいずれかに記載の画像表示システムにおいて、
前記車両の位置を取得する位置取得手段と、
前記車両の位置に応じて、前記車両の目的地までのルートを案内する案内情報をユーザに報知する報知手段と、
をさらに備え、
前記表示手段は、前記報知手段が前記案内情報を報知する場合に、前記合成画像を表示することを特徴とする画像表示システム。
【請求項16】
請求項15に記載の画像表示システムにおいて、
前記生成手段は、前記報知手段が報知する前記案内情報の内容に応じて、前記合成画像の前記仮想視点を変更すること、
を特徴とする画像表示システム。
【請求項17】
請求項16に記載の画像表示システムにおいて、
前記案内情報は、走行車線の変更を案内する情報と、交差点での方向の変更を案内する情報とを含むことを特徴とする画像表示システム。
【請求項18】
車両で用いられる画像処理装置であって、
車両に搭載されたカメラの複数の撮影画像を取得する取得手段と、
前記複数の撮影画像を合成して、仮想視点から見た前記車両の周辺の様子を示す合成画像を生成する生成手段と、
前記車両の後方から接近する接近車両の存在を検出する検出手段と、
前記車両に対する相対的な前記接近車両の位置を導出する導出手段と、
を備え、
前記生成手段は、前記車両の位置と前記接近車両の位置に応じた前記仮想視点から見た前記合成画像である特定合成画像を生成すること、
を特徴とする画像処理装置。
【請求項19】
車両で用いられる画像表示方法であって、
(a)車両に搭載されたカメラの複数の撮影画像を取得する工程と、
(b)前記複数の撮影画像を合成して、仮想視点から見た前記車両の周辺の様子を示す合成画像を生成する工程と、
(c)前記車両の後方から接近する接近車両の存在を検出する工程と、
(d)前記車両に対する相対的な前記接近車両の位置を導出する工程と、
(e)前記合成画像を表示する表示する工程と、
を備え、
前記工程(b)は、前記車両の位置と前記接近車両の位置に応じた前記仮想視点から見た前記合成画像である特定合成画像を生成すること、
を特徴とする画像表示方法。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】
【図24】
【図25】
【図26】
【図27】
【図28】
【図29】
【図30】
【図31】
【図32】
【図33】
【図34】
【図35】
【図36】
【図37】
【図38】
【図39】
【図40】
【図41】
【図42】
【図43】
【図44】
【図45】
【図46】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】
【図24】
【図25】
【図26】
【図27】
【図28】
【図29】
【図30】
【図31】
【図32】
【図33】
【図34】
【図35】
【図36】
【図37】
【図38】
【図39】
【図40】
【図41】
【図42】
【図43】
【図44】
【図45】
【図46】
【公開番号】特開2012−253428(P2012−253428A)
【公開日】平成24年12月20日(2012.12.20)
【国際特許分類】
【出願番号】特願2011−122387(P2011−122387)
【出願日】平成23年5月31日(2011.5.31)
【出願人】(000237592)富士通テン株式会社 (3,383)
【Fターム(参考)】
【公開日】平成24年12月20日(2012.12.20)
【国際特許分類】
【出願日】平成23年5月31日(2011.5.31)
【出願人】(000237592)富士通テン株式会社 (3,383)
【Fターム(参考)】
[ Back to top ]