画像処理装置
【構成】カメラＣＭ＿０〜ＣＭ＿３は、路面を移動する車両の互いに異なる位置に設けられて、車両の周囲を表す被写界像Ｐ＿０〜Ｐ＿３を出力する。ＣＰＵ１２ｐは、出力された被写界像Ｐ＿０〜Ｐ＿３に基づいて路面に対する全周鳥瞰画像を作成し、作成された全周鳥瞰画像を表示装置２４の画面に表示する。ＣＰＵ１２ｐはまた、全周鳥瞰画像の作成処理と並列して車両の位置を検出し、検出された位置とデータベース２２の地図データとに基づいてナビゲーション情報を作成し、そして作成されたナビゲーション情報を表示装置２４の画面に表示する。
【効果】車両１００の周囲の安全性およびナビゲーション情報の両方を同一画面で確認することができ、操縦支援性能が向上する。
【効果】車両１００の周囲の安全性およびナビゲーション情報の両方を同一画面で確認することができ、操縦支援性能が向上する。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、画像処理装置に関し、特に、移動体に設けられたカメラによって捉えられた被写界を表す画像をナビゲーション情報とともに画面に表示する、画像処理装置に関する。
【背景技術】
【０００２】
この種の装置の一例が、特許文献１に開示されている。この背景技術によれば、自動車の進行方向の景色は、自動車のノーズに取り付けられたカメラによって捉えられる。画像合成部は、ナビゲーション情報要素をカメラによって捉えられた実写画像に合成し、合成画像を表示器に表示する。これによって、運転手は自動車の現在位置や進行経路をより感覚的に把握することができる。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開平１１−１０８６８４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかし、ナビゲーション情報要素と合成される実写画像は、自動車の進行方向の景色を表すに過ぎない。このため、背景技術では、操縦支援性能に限界がある。
【０００５】
それゆえに、この発明の主たる目的は、操縦支援性能を向上させることができる、画像処理装置を提供することである。
【課題を解決するための手段】
【０００６】
この発明に従う画像処理装置(10：実施例で相当する参照符号。以下同じ)は、基準面を移動する移動体(100)の互いに異なる位置に設けられて移動体の周囲を表す被写界像を出力する複数のカメラ(CM_0~CM_3)、複数のカメラから出力された被写界像に基づいて基準面に対する鳥瞰画像を作成する第１作成手段(S21)、第１作成手段によって作成された鳥瞰画像をモニタ画面に表示する第１表示手段(S31~S33, S39~S47)、第１作成手段の作成処理と並列して移動体の位置を検出する検出手段(S23)、検出手段の検出結果と地図情報とに基づいてナビゲーション情報を作成する第２作成手段(S27, S35, S53, S57)、および第２作成手段によって作成されたナビゲーション情報を第１表示手段の表示処理に関連してモニタ画面に表示する第２表示手段(S29, S37, S55, S59)を備える。
【０００７】
好ましくは、ナビゲーション情報は地図画像を含み、第１表示手段は鳥瞰画像を地図画像に多重する第１多重手段(S47)を含む。
【０００８】
さらに好ましくは、移動体および基準面はそれぞれ車両および路面に相当し、第１表示手段は路面ペイントを参照して鳥瞰画像の多重位置を決定する決定手段(S43, S45)をさらに含む。より好ましくは、決定手段は移動体の向きをさらに参照して多重位置を決定する。
【０００９】
好ましくは、ナビゲーション情報は目的地までのルートを可視的に示すルート情報を含み、第２表示手段はルート情報を地図画像および／または鳥瞰画像に多重する第２多重手段(S55,S59)を含む。
【００１０】
好ましくは、移動体の周辺から障害物が検出されたとき警告を発生する発生手段(S61~S63)がさらに備えられる。
【発明の効果】
【００１１】
この発明によれば、鳥瞰画像は、移動体の互いに異なる位置に設けられた複数のカメラからの出力に基づいて作成され、移動体の周囲を再現する。移動体の位置と地図情報とに基づいて作成されたナビゲーション情報は、このような鳥瞰画像とともにモニタ画面に表示される。これによって、移動体の周囲の安全性およびナビゲーション情報の両方を同一画面で確認することができ、操縦支援性能が向上する。
【００１２】
この発明の上述の目的，その他の目的，特徴および利点は、図面を参照して行う以下の実施例の詳細な説明から一層明らかとなろう。
【図面の簡単な説明】
【００１３】
【図１】この発明の基本的構成を示すブロック図である。
【図２】この発明の一実施例の構成を示すブロック図である。
【図３】図２実施例が搭載された車両の一例を示す斜視図である。
【図４】車両に取り付けられた複数のカメラによって捉えられる視野を示す図解図である。
【図５】カメラの出力に基づく鳥瞰画像の作成動作の一部を示す図解図である。
【図６】表示装置によって表示される運転支援画像の一例を示す図解図である。
【図７】（Ａ）は並列表示モードに対応して表示される運転支援画像の一例を示す図解図であり、（Ｂ）は多重表示モードに対応して表示される運転支援画像の一例を示す図解図である。
【図８】障害物が検知されたときに表示される警告の一例を示す図解図である。
【図９】図２実施例に適用されるＣＰＵの動作の一部を示すフロー図である。
【図１０】図２実施例に適用されるＣＰＵの動作の他の一部を示すフロー図である。
【図１１】図２実施例に適用されるＣＰＵの動作のその他の一部を示すフロー図である。
【図１２】図２実施例に適用されるＣＰＵの動作のさらにその他の一部を示すフロー図である。
【図１３】（Ａ）は他の実施例において表示される運転支援画像の一例を示す図解図である。（Ｂ）は他の実施例において表示される運転支援画像の一例を示す図解図である。
【図１４】は他の実施例に適用されるＣＰＵの動作の一部を示すフロー図である。
【図１５】は他の実施例に適用されるＣＰＵの動作の一部を示すフロー図である。
【発明を実施するための形態】
【００１４】
以下、この発明の実施の形態を図面を参照しながら説明する。
［基本的構成］
図１を参照して、この発明の画像処理装置は、基本的に次のように構成される。複数のカメラ１，１，…は、基準面を移動する移動体の互いに異なる位置に設けられて、移動体の周囲を表す被写界像を出力する。第１作成手段２は、複数のカメラ１，１，…から出力された被写界像に基づいて、基準面に対する鳥瞰画像を作成する。第１表示手段３は、第１作成手段２によって作成された鳥瞰画像をモニタ画面７に表示する。検出手段４は、第１作成手段２の作成処理と並列して移動体の位置を検出する。第２作成手段５は、検出手段４の検出結果と地図情報とに基づいてナビゲーション情報を作成する。第２表示手段６は、第２作成手段５によって作成されたナビゲーション情報を第１表示手段３の表示処理に関連してモニタ画面７に表示する。
【００１５】
鳥瞰画像は、移動体の互いに異なる位置に設けられた複数のカメラ１，１，…からの出力に基づいて作成され、移動体の周囲を再現する。移動体の位置と地図情報とに基づいて作成されたナビゲーション情報は、このような鳥瞰画像とともにモニタ画面７に表示される。これによって、移動体の周囲の安全性およびナビゲーション情報の両方を同一画面で確認することができ、操縦支援性能が向上する。
［実施例］
図２に示すこの実施例の操縦支援装置１０は、４個のカメラＣＭ＿０〜ＣＭ＿３を含む。カメラＣＭ＿０〜ＣＭ＿３はそれぞれ、被写界像Ｐ＿０〜Ｐ＿３を１／３０秒毎に出力する。出力された被写界像Ｐ＿０〜Ｐ＿３は、画像処理回路１２に与えられる。
【００１６】
図３を参照して、カメラＣＭ＿０は、カメラＣＭ＿０の光軸が車両１００の前方斜め下向きに延びる姿勢で、車両１００の前上側部に設置される。カメラＣＭ＿１は、カメラＣＭ＿１の光軸が車両１００の右方斜め下向きに延びる姿勢で、車両１００の右上側部に設置される。カメラＣＭ＿２は、カメラＣＭ＿２の光軸が車両１００の後方斜め下向きに延びる姿勢で、車両１００の後上側部に設置される。カメラＣＭ＿３は、カメラＣＭ＿３の光軸が車両１００の左方斜め下向きに延びる姿勢で、車両１００の左上側部に設置される。車両１００の周辺の被写界は、このようなカメラＣＭ＿０〜ＣＭ＿３によって、路面に斜めに交差する方向から捉えられる。
【００１７】
図４に示すように、カメラＣＭ＿０は車両１００の前方向を捉える視野ＶＷ＿０を有し、カメラＣＭ＿１は車両１００の右方向を捉える視野ＶＷ＿１を有し、カメラＣＭ＿２は車両１００の後方向を捉える視野ＶＷ＿２を有し、そしてカメラＣＭ＿３は車両１００の左方向を捉える視野ＶＷ＿３を有する。なお、視野ＶＷ＿０およびＶＷ＿１は共通視野ＣＶＷ＿０を有し、視野ＶＷ＿１およびＶＷ＿２は共通視野ＣＶＷ＿１を有し、視野ＶＷ＿２およびＶＷ＿３は共通視野ＣＶＷ＿２を有し、そして視野ＶＷ＿３およびＶＷ＿０は共通視野ＣＶＷ＿３を有する。
【００１８】
図２に戻って、画像処理回路１２に設けられたＣＰＵ１２ｐは、カメラＣＭ＿０から出力された被写界像Ｐ＿０に基づいて鳥瞰画像ＢＥＶ＿０を生成し、カメラＣＭ＿１から出力された被写界像Ｐ＿１に基づいて鳥瞰画像ＢＥＶ＿１を生成する。ＣＰＵ１２ｐはまた、カメラＣ＿２から出力された被写界像Ｐ＿２に基づいて鳥瞰画像ＢＥＶ＿２を生成し、カメラＣ＿３から出力された被写界像Ｐ＿３に基づいて鳥瞰画像ＢＥＶ＿３を生成する。
【００１９】
図５から分かるように、鳥瞰画像ＢＥＶ＿０は視野ＶＷ＿０を鉛直方向に見下ろす仮想カメラによって捉えられた画像に相当し、鳥瞰画像ＢＥＶ＿１は視野ＶＷ＿１を鉛直方向に見下ろす仮想カメラによって捉えられた画像に相当する。また、鳥瞰画像ＢＥＶ＿２は視野ＶＷ＿２を鉛直方向に見下ろす仮想カメラによって捉えられた画像に相当し、鳥瞰画像ＢＥＶ＿３は視野ＶＷ＿３を鉛直方向に見下ろす仮想カメラによって捉えられた画像に相当する。生成された鳥瞰画像ＢＥＶ＿０〜ＢＥＶ＿３は、メモリ１４のワークエリア１４ｗに保持される。
【００２０】
ＣＰＵ１２ｐは続いて、図４に示す再現ブロックＢＬＫに対応する切り出し線ＣＴ＿０〜ＣＴ＿３を鳥瞰画像ＢＥＶ＿０〜ＢＥＶ＿３上で定義し、定義された切り出し線ＣＴ＿０〜ＣＴ＿３よりも内側に存在する一部の画像を合成して全周鳥瞰画像を作成し、そして車両１００の上部を模した車両画像ＧＬ１を全周鳥瞰画像の中央に貼り付ける。こうして、図６に示す運転支援画像ＡＲＶがワークエリア１４ｗ上で完成する。
【００２１】
ＣＰＵ１２ｐは、このような運転支援画像ＡＲＶの作成処理と並列して、ＧＰＳ装置２０の出力に基づいて車両１００の現在位置を検出し、さらに現時点の表示モードが並列表示モードおよび多重表示モードのいずれであるかを判別する。なお、表示モードは、操作パネル２８に対するモード切換操作に応答して、並列表示モードと多重表示モードとの間で切り換えられる。
【００２２】
現時点の表示モードが並列表示モードであれば、ＣＰＵ１２ｐは、車両１００の現在位置とその周辺を表す広域地図画像ＭＰ１をデータベース２２に保存された地図データに基づいて作成する。作成された広域地図画像ＭＰ１は、メモリ１４に形成された表示エリア１４ｍの右側に図７（Ａ）に示す要領で展開される。ＣＰＵ１２ｐは続いて、ワークエリア１４ｗに保持された運転支援画像ＡＲＶの倍率を並列表示モードに適合するように調整し、調整された倍率を有する運転支援画像ＡＲＶを表示エリア１４ｍの左側に図７（Ａ）に示す要領で展開する。
【００２３】
車両１００の運転席に設定された表示装置２４は、こうして表示エリア１４ｍに展開された広域地図画像ＭＰ１および運転支援画像ＡＲＶを繰り返し読み出し、読み出された広域地図画像ＭＰ１および運転支援画像ＡＲＶを図７（Ａ）に示す要領で同一画面に表示する。
【００２４】
一方、現時点の表示モードが多重表示モードであれば、ＣＰＵ１２ｐは、車両１００の現在位置とその周辺を表す狭域地図画像ＭＰ２をデータベース２２に保存された地図データに基づいて作成する。作成された狭域地図画像ＭＰ２は、表示エリア１４ｍの全面に図７（Ｂ）に示す要領で展開される。
【００２５】
ＣＰＵ１２ｐは続いて、運転支援画像ＡＲＶの倍率を多重表示モードに適合するように調整し、ＧＰＳ装置２０の出力に基づいて現時点の車両１００の向きを検出し、そして運転支援画像ＡＲＶに表われた路面ペイントをパターン認識によって検出する。運転支援画像ＡＲＶの多重位置は、車両１００の向きと路面ペイントとに基づいて決定され、調整された倍率を有する運転支援画像ＡＲＶは決定された多重位置に図７（Ｂ）に示す要領で多重される。
【００２６】
より詳しく説明すると、運転支援画像ＡＲＶの倍率は、運転支援画像ＡＲＶ上の路面の幅が狭域地図画像上の路面の幅と一致するように調整される。また、運転支援画像の多重位置は、運転支援画像ＡＲＶ上の路面ペイントが狭域地図画像上の路面ペイントに沿うように調整される。なお、車両１００の向きは、車両画像Ｇ１が狭域地図画像上の反対車線の路面に多重される事態を回避するために参照される。
【００２７】
表示装置２４は、こうして表示エリア１４ｍに展開された狭域地図画像ＭＰ２および運転支援画像ＡＲＶを繰り返し読み出し、読み出された狭域地図画像ＭＰ２および運転支援画像ＡＲＶを画面に表示する。
【００２８】
図２に示す操作パネル２８上で目的地の設定操作が行われると、ＣＰＵ１２ｐは、ＧＰＳ装置２０の出力に基づいて現在位置を検出し、検出された現在位置とデータベース２２に保存された地図データとに基づいて目的地までのルートを設定する。
【００２９】
現時点の表示モードが並列表示モードであれば、ＣＰＵ１２ｐは、目的地までのルートを広域で示すルート情報ＲＴ１を作成し、作成されたルート情報ＲＴ１を表示エリア１４ｍに展開された広域地図画像ＭＰ１に多重する。一方、現時点の表示モードが多重表示モードであれば、ＣＰＵ１２ｐは、目的地までのルートを狭域で示すルート情報ＲＴ２を作成し、作成されたルート情報ＲＴ２を表示エリア１４ｍに展開された運転支援画像ＡＲＶに多重する。ルート情報ＲＴ１は図７（Ａ）に示す要領で多重され、ルート情報ＲＴ２は、図７（Ｂ）に示す要領で多重される。こうして多重されたルート情報ＲＴ１またはＲＴ２も、表示装置２４の画面に表示される。
【００３０】
なお、この実施例では、広域地図画像ＭＰ１，狭域地図画像ＭＰ２，ルート情報ＲＴ１，ルート情報ＲＴ２を“ナビゲーション情報”と総称する。
【００３１】
ＣＰＵ１２ｐはさらに、運転支援画像ＡＲＶを参照して、車両１００の周囲から障害物を繰り返し探索する。障害物ＯＢＪが発見されると、ＣＰＵ１２ｐは、表示エリア１４ｍに展開された運転支援画像ＡＲＶに警告情報ＡＲＭを多重する。警告情報ＡＲＭは、障害物ＯＢＪの位置に対応して図８に示す要領で多重される。こうして多重された警告情報ＡＲＭもまた、表示装置２４の画面に表示される。
【００３２】
ＣＰＵ１２ｐは、図９に示すルート制御タスクおよび図１０〜図１２に示す表示制御タスクを含む複数のタスクを並列的に実行する。なお、これらのタスクに対応する制御プログラムは、フラッシュメモリ２６に記憶される。
【００３３】
図９を参照して、ステップＳ１ではフラグＦＬＧを“０”に設定する。フラグＦＬＧは目的地の設定／非設定を識別するためのフラグであり、ＦＬＧ＝０が“非設定”を示す一方、ＦＬＧ＝１が“設定”を示す。ステップＳ３では操作パネル２８上で目的地の設定操作が行われたか否かを判別し、ステップＳ５では操作パネル２８上で設定解除操作が行われたか否かを判別する。
【００３４】
ステップＳ３でＹＥＳであればステップＳ７に進み、ＧＰＳ装置２０の出力に基づいて現在位置を検出する。ステップＳ９では、検出された現在位置とデータベース２２に保存された地図データとに基づいて目的地までのルートを設定する。ステップＳ９の処理が完了するとステップＳ１１でフラグＦＬＧを“１”に設定し、その後にステップＳ３に戻る。
【００３５】
ステップＳ５でＹＥＳであればステップＳ１３に進み、目的地までのルートの設定を解除する。ステップＳ１３の処理が完了すると、ステップＳ１５でフラグＦＬＧを“０”に設定し、その後にステップＳ３に戻る。
【００３６】
図１０を参照して、ステップＳ２１では、カメラＣＭ＿０〜ＣＭ＿３から出力された被写界像Ｐ＿０〜Ｐ＿３に基づいて運転支援画像ＡＲＶを作成する。ステップＳ２３では、ＧＰＳ装置２０の出力に基づいて車両１００の現在位置を検出する。ステップＳ２５では現時点の表示モードが並列表示モードおよび多重表示モードのいずれであるかを判別する。判別結果が並列表示モードであればステップＳ２７に進む一方、判別結果が多重表示モードであればステップＳ３５に進む。
【００３７】
ステップＳ２７では、車両１００の現在位置とその周辺を表す広域地図画像ＭＰ１をデータベース２２に保存された地図データに基づいて作成する。ステップＳ２９では、作成された広域地図画像ＭＰ１を表示エリア１４ｍの右側に展開する。ステップＳ３１では、ステップＳ２１で作成された運転支援画像ＡＲＶの倍率を並列表示モードに適合するように調整する。ステップＳ３３では、調整された倍率を有する運転支援画像ＡＲＶを表示エリア１４ｍの左側に展開する。ステップＳ３３の処理が完了すると、ステップＳ４９に進む。
【００３８】
ステップＳ３５では、車両１００の現在位置とその周辺を表す狭域地図画像ＭＰ２をデータベース２２に保存された地図データに基づいて作成する。ステップＳ３７では、作成された狭域地図画像ＭＰ２を表示エリア１４ｍの全面に展開する。ステップＳ３９では、ステップＳ２１で作成された運転支援画像ＡＲＶの倍率を多重表示モードに適合するように調整する。
【００３９】
ステップＳ４１ではＧＰＳ装置２０の出力に基づいて現時点の車両１００の向きを検出し、ステップＳ４３では運転支援画像ＡＲＶに表われた路面ペイントをパターン認識によって検出する。ステップＳ４５では、ステップＳ４１で検出された車両１００の向きとステップＳ４３で検出された路面ペイントとに基づいて運転支援画像ＡＲＶの多重位置を決定する。ステップＳ４７では、ステップＳ３９で調整された倍率を有する運転支援画像ＡＲＶをステップＳ４５で決定された位置に多重する。ステップＳ４７の処理が完了すると、ステップＳ４９に進む。
【００４０】
ステップＳ４９では、フラグＦＬＧが“１”を示すか否かをステップＳ４９で判別する。判別結果がＮＯであればそのままステップＳ６１に進み、判別結果がＹＥＳであればステップＳ５１〜Ｓ５９を経てステップＳ６１に進む。
【００４１】
ステップＳ５１では、現時点の表示モードが並列表示モードおよび多重表示モードのいずれであるかを判別する。現時点の表示モードが並列表示モードであればステップＳ５３に進み、目的地までのルートを広域で示すルート情報ＲＴ１を作成する。ステップＳ５５では、作成されたルート情報ＲＴ１をステップＳ２９で展開された広域地図画像ＭＰ１に多重する。現時点の表示モードが多重表示モードであればステップＳ５７に進み、目的地までのルートを狭域で示すルート情報ＲＴ２を作成する。ステップＳ５９では、作成されたルート情報ＲＴ２をステップＳ４７で展開された運転支援画像ＡＲＶに多重する。
【００４２】
ステップＳ６１では、車両１００の周囲に障害物ＯＢＪが存在するか否かを判別する。判別結果がＮＯであればそのままステップＳ２１に戻る一方、判別結果がＹＥＳであればステップＳ６３で警告情報ＡＲＭを運転支援画像ＡＲＶに多重してからステップＳ２１に戻る。警告情報ＡＲＭは、障害物ＯＢＪの位置に対応して運転支援画像ＡＲＶに多重される。
【００４３】
以上の説明から分かるように、カメラＣＭ＿０〜ＣＭ＿３は、路面を移動する車両１００の互いに異なる位置に設けられて、車両１００の周囲を表す被写界像Ｐ＿０〜Ｐ＿３を出力する。ＣＰＵ１２ｐは、出力された被写界像Ｐ＿０〜Ｐ＿３に基づいて運転支援画像ＡＲＶを作成し(S21)、作成された運転支援画像ＡＲＶを表示装置２４の画面に表示する(S31~S33, S39~S47)。ＣＰＵ１２ｐはまた、運転支援画像ＡＲＶの作成処理と並列して車両１００の位置を検出し(S23)、検出された位置とデータベース２２の地図データとに基づいてナビゲーション情報（地図画像，ルート情報）を作成し(S27, S35, S53, S57)、そして作成されたナビゲーション情報を表示装置２４の画面に表示する(S29, S37, S55, S59)。
【００４４】
運転支援画像ＡＲＶは、車両１００の互いに異なる位置に設けられたカメラＣＭ＿０〜ＣＭ＿３からの出力に基づいて作成され、車両１００の周囲を再現する。車両１００の位置と地図データとに基づいて作成されたナビゲーション情報は、このような運転支援画像ＡＲＶとともに表示装置２４に表示される。これによって、車両１００の周囲の安全性およびナビゲーション情報の両方を同一画面で確認することができ、操縦支援性能が向上する。
【００４５】
なお、この実施例では、ルート情報ＲＴ１を広域地図画像ＭＰ１に多重し、運転支援画像ＡＲＶを狭域地図画像ＭＰ２に多重し、ルート情報ＲＴ２を運転支援画像ＡＲＶに多重し、そして警告情報ＡＲＭを運転支援画像ＡＲＶに多重するようにしている。ここで、多重画像の透過率は０％に限られるものではなく、１％〜９９％の範囲で適宜調整するようにしてもよい。
【００４６】
また、この実施例では、移動体として路面を走行する車両を想定しているが、この発明は海面を航行する船舶にも適用することができる。 さらに、この実施例では、モード切換操作によって代替的に選択される並列表示モードおよび多重表示モードを準備し、並列表示モードにおいて広域地図画像ＭＰ１および運転支援画像ＡＲＶを並列表示する一方、多重モードにおいて狭域地図画像ＭＰ２および運転支援画像ＡＲＶを多重表示するようにしている。
【００４７】
しかし、車両１００が左折または右折すべき交差点から離れているときに高域地図画像ＭＰ１をモニタ画面の全域に表示しかつ高域のルート情報ＲＴ１を高域地図画像ＭＰ１をモニタ画面の全域に表示しかつ高域のルート情報ＲＴ１を高域地図画像ＭＰ１に多重する（図１３（Ａ）参照）一方、車両１００が左折または右折すべき交差点に近づいたときに高域地図画像ＭＰ１および運転支援画像ＡＲＶをモニタ画面に並列表示しかつ高域のルート情報ＲＴ１および狭域のルート情報を高域地図画像ＭＰ１および運転支援画像ＡＲＶにそれぞれ多重する（図１３（Ｂ）参照）ようにしてもよい。
【００４８】
この場合、図９〜図１２に示すフロー図に従う処理に代えて図１４〜図１５に示すフロー図に従う処理が実行される。
【００４９】
図１４を参照して、ステップＳ７１では、カメラＣＭ＿０〜ＣＭ＿３から出力された被写界像Ｐ＿０〜Ｐ＿３に基づいて運転支援画像ＡＲＶを作成する。ステップＳ７３では、車両１００の現在位置とその周辺を表す高域地図画像ＭＰ１をデータベース２２に保存された地図データに基づいて作成する。ステップＳ７５では、フラグＦＬＧが“１”を示すか否かを判別する。判別結果がＮＯであればステップＳ７７に進み、ステップＳ７３で作成された高域地図画像ＭＰ１を表示エリア１４ｍの前面に展開する。ステップＳ７７の処理が完了すると、ステップＳ７１に戻る。
【００５０】
ステップＳ７５の判別結果がＹＥＳであれば、ステップＳ７９に進み、ＧＰＳ装置２０の出力に基づいて車両１００の現在位置を検出する。ステップ８１では目的地までのルートを広域で示すルート情報ＲＴ１を作成し、ステップＳ８３では作成されたルート情報ＲＴ１をステップＳ７７で展開された広域地図画像ＭＰ１に多重する。ステップＳ８５では、左折または右折すべき次の交差点までの距離を車両１００の現在位置、広域地図画像ＭＰ１およびルート情報ＲＴ１に基づいて算出する。ステップＳ８７では算出された距離が閾値ＴＨ（＝たとえば５ｍ）以下であるか否かを判別し、判別結果がＮＯであればステップＳ７７の処理を経てステップＳ７１に戻る一方、判別結果がＹＳＥであればステップＳ８９に進む。
【００５１】
ステップＳ８９では、ステップＳ７３で作成された広域地図画像ＭＰ１を表示エリア１４ｍの右側に展開する。ステップＳ９１ではステップＳ７１で作成された運転支援画像ＡＲＶの倍率を調整し、ステップＳ９３では調整された倍率を有する運転支援画像ＡＲＶを表示エリア１４ｍの左側に展開する。ステップＳ９５では目的地までのルートを狭域で示すルート情報ＲＴ２を作成し、ステップＳ９７では作成されたルート情報ＲＴ２をステップＳ９３で展開された運転支援画像ＡＲＶに多重する。多重処理が完了すると、ステップＳ７１に戻る。
【００５２】
このように、運転支援画像ＡＲＶは、車両１００から左折または右折すべき交差点までの距離が閾値ＴＨを下回るタイミング（つまり、車両１００が交差転に差し掛かるタイミング）でモニタ画面に並列表示される。運転手は、交差点の右折時または左折時のような車両１００の周囲の安全確認が重要な情況で、車両１００の周辺をモニタ画面を通して視認できる。こうして、運転支援性能が向上する。
【符号の説明】
【００５３】
１０ …操縦支援装置
ＣＭ＿０〜ＣＭ＿３ …カメラ
１２ …画像処理回路
１４ …メモリ
１２ｐ …ＣＰＵ
２０ …ＧＰＳ装置
１８ …表示装置
２６ …フラッシュメモリ
１００ …車両
【技術分野】
【０００１】
この発明は、画像処理装置に関し、特に、移動体に設けられたカメラによって捉えられた被写界を表す画像をナビゲーション情報とともに画面に表示する、画像処理装置に関する。
【背景技術】
【０００２】
この種の装置の一例が、特許文献１に開示されている。この背景技術によれば、自動車の進行方向の景色は、自動車のノーズに取り付けられたカメラによって捉えられる。画像合成部は、ナビゲーション情報要素をカメラによって捉えられた実写画像に合成し、合成画像を表示器に表示する。これによって、運転手は自動車の現在位置や進行経路をより感覚的に把握することができる。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開平１１−１０８６８４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかし、ナビゲーション情報要素と合成される実写画像は、自動車の進行方向の景色を表すに過ぎない。このため、背景技術では、操縦支援性能に限界がある。
【０００５】
それゆえに、この発明の主たる目的は、操縦支援性能を向上させることができる、画像処理装置を提供することである。
【課題を解決するための手段】
【０００６】
この発明に従う画像処理装置(10：実施例で相当する参照符号。以下同じ)は、基準面を移動する移動体(100)の互いに異なる位置に設けられて移動体の周囲を表す被写界像を出力する複数のカメラ(CM_0~CM_3)、複数のカメラから出力された被写界像に基づいて基準面に対する鳥瞰画像を作成する第１作成手段(S21)、第１作成手段によって作成された鳥瞰画像をモニタ画面に表示する第１表示手段(S31~S33, S39~S47)、第１作成手段の作成処理と並列して移動体の位置を検出する検出手段(S23)、検出手段の検出結果と地図情報とに基づいてナビゲーション情報を作成する第２作成手段(S27, S35, S53, S57)、および第２作成手段によって作成されたナビゲーション情報を第１表示手段の表示処理に関連してモニタ画面に表示する第２表示手段(S29, S37, S55, S59)を備える。
【０００７】
好ましくは、ナビゲーション情報は地図画像を含み、第１表示手段は鳥瞰画像を地図画像に多重する第１多重手段(S47)を含む。
【０００８】
さらに好ましくは、移動体および基準面はそれぞれ車両および路面に相当し、第１表示手段は路面ペイントを参照して鳥瞰画像の多重位置を決定する決定手段(S43, S45)をさらに含む。より好ましくは、決定手段は移動体の向きをさらに参照して多重位置を決定する。
【０００９】
好ましくは、ナビゲーション情報は目的地までのルートを可視的に示すルート情報を含み、第２表示手段はルート情報を地図画像および／または鳥瞰画像に多重する第２多重手段(S55,S59)を含む。
【００１０】
好ましくは、移動体の周辺から障害物が検出されたとき警告を発生する発生手段(S61~S63)がさらに備えられる。
【発明の効果】
【００１１】
この発明によれば、鳥瞰画像は、移動体の互いに異なる位置に設けられた複数のカメラからの出力に基づいて作成され、移動体の周囲を再現する。移動体の位置と地図情報とに基づいて作成されたナビゲーション情報は、このような鳥瞰画像とともにモニタ画面に表示される。これによって、移動体の周囲の安全性およびナビゲーション情報の両方を同一画面で確認することができ、操縦支援性能が向上する。
【００１２】
この発明の上述の目的，その他の目的，特徴および利点は、図面を参照して行う以下の実施例の詳細な説明から一層明らかとなろう。
【図面の簡単な説明】
【００１３】
【図１】この発明の基本的構成を示すブロック図である。
【図２】この発明の一実施例の構成を示すブロック図である。
【図３】図２実施例が搭載された車両の一例を示す斜視図である。
【図４】車両に取り付けられた複数のカメラによって捉えられる視野を示す図解図である。
【図５】カメラの出力に基づく鳥瞰画像の作成動作の一部を示す図解図である。
【図６】表示装置によって表示される運転支援画像の一例を示す図解図である。
【図７】（Ａ）は並列表示モードに対応して表示される運転支援画像の一例を示す図解図であり、（Ｂ）は多重表示モードに対応して表示される運転支援画像の一例を示す図解図である。
【図８】障害物が検知されたときに表示される警告の一例を示す図解図である。
【図９】図２実施例に適用されるＣＰＵの動作の一部を示すフロー図である。
【図１０】図２実施例に適用されるＣＰＵの動作の他の一部を示すフロー図である。
【図１１】図２実施例に適用されるＣＰＵの動作のその他の一部を示すフロー図である。
【図１２】図２実施例に適用されるＣＰＵの動作のさらにその他の一部を示すフロー図である。
【図１３】（Ａ）は他の実施例において表示される運転支援画像の一例を示す図解図である。（Ｂ）は他の実施例において表示される運転支援画像の一例を示す図解図である。
【図１４】は他の実施例に適用されるＣＰＵの動作の一部を示すフロー図である。
【図１５】は他の実施例に適用されるＣＰＵの動作の一部を示すフロー図である。
【発明を実施するための形態】
【００１４】
以下、この発明の実施の形態を図面を参照しながら説明する。
［基本的構成］
図１を参照して、この発明の画像処理装置は、基本的に次のように構成される。複数のカメラ１，１，…は、基準面を移動する移動体の互いに異なる位置に設けられて、移動体の周囲を表す被写界像を出力する。第１作成手段２は、複数のカメラ１，１，…から出力された被写界像に基づいて、基準面に対する鳥瞰画像を作成する。第１表示手段３は、第１作成手段２によって作成された鳥瞰画像をモニタ画面７に表示する。検出手段４は、第１作成手段２の作成処理と並列して移動体の位置を検出する。第２作成手段５は、検出手段４の検出結果と地図情報とに基づいてナビゲーション情報を作成する。第２表示手段６は、第２作成手段５によって作成されたナビゲーション情報を第１表示手段３の表示処理に関連してモニタ画面７に表示する。
【００１５】
鳥瞰画像は、移動体の互いに異なる位置に設けられた複数のカメラ１，１，…からの出力に基づいて作成され、移動体の周囲を再現する。移動体の位置と地図情報とに基づいて作成されたナビゲーション情報は、このような鳥瞰画像とともにモニタ画面７に表示される。これによって、移動体の周囲の安全性およびナビゲーション情報の両方を同一画面で確認することができ、操縦支援性能が向上する。
［実施例］
図２に示すこの実施例の操縦支援装置１０は、４個のカメラＣＭ＿０〜ＣＭ＿３を含む。カメラＣＭ＿０〜ＣＭ＿３はそれぞれ、被写界像Ｐ＿０〜Ｐ＿３を１／３０秒毎に出力する。出力された被写界像Ｐ＿０〜Ｐ＿３は、画像処理回路１２に与えられる。
【００１６】
図３を参照して、カメラＣＭ＿０は、カメラＣＭ＿０の光軸が車両１００の前方斜め下向きに延びる姿勢で、車両１００の前上側部に設置される。カメラＣＭ＿１は、カメラＣＭ＿１の光軸が車両１００の右方斜め下向きに延びる姿勢で、車両１００の右上側部に設置される。カメラＣＭ＿２は、カメラＣＭ＿２の光軸が車両１００の後方斜め下向きに延びる姿勢で、車両１００の後上側部に設置される。カメラＣＭ＿３は、カメラＣＭ＿３の光軸が車両１００の左方斜め下向きに延びる姿勢で、車両１００の左上側部に設置される。車両１００の周辺の被写界は、このようなカメラＣＭ＿０〜ＣＭ＿３によって、路面に斜めに交差する方向から捉えられる。
【００１７】
図４に示すように、カメラＣＭ＿０は車両１００の前方向を捉える視野ＶＷ＿０を有し、カメラＣＭ＿１は車両１００の右方向を捉える視野ＶＷ＿１を有し、カメラＣＭ＿２は車両１００の後方向を捉える視野ＶＷ＿２を有し、そしてカメラＣＭ＿３は車両１００の左方向を捉える視野ＶＷ＿３を有する。なお、視野ＶＷ＿０およびＶＷ＿１は共通視野ＣＶＷ＿０を有し、視野ＶＷ＿１およびＶＷ＿２は共通視野ＣＶＷ＿１を有し、視野ＶＷ＿２およびＶＷ＿３は共通視野ＣＶＷ＿２を有し、そして視野ＶＷ＿３およびＶＷ＿０は共通視野ＣＶＷ＿３を有する。
【００１８】
図２に戻って、画像処理回路１２に設けられたＣＰＵ１２ｐは、カメラＣＭ＿０から出力された被写界像Ｐ＿０に基づいて鳥瞰画像ＢＥＶ＿０を生成し、カメラＣＭ＿１から出力された被写界像Ｐ＿１に基づいて鳥瞰画像ＢＥＶ＿１を生成する。ＣＰＵ１２ｐはまた、カメラＣ＿２から出力された被写界像Ｐ＿２に基づいて鳥瞰画像ＢＥＶ＿２を生成し、カメラＣ＿３から出力された被写界像Ｐ＿３に基づいて鳥瞰画像ＢＥＶ＿３を生成する。
【００１９】
図５から分かるように、鳥瞰画像ＢＥＶ＿０は視野ＶＷ＿０を鉛直方向に見下ろす仮想カメラによって捉えられた画像に相当し、鳥瞰画像ＢＥＶ＿１は視野ＶＷ＿１を鉛直方向に見下ろす仮想カメラによって捉えられた画像に相当する。また、鳥瞰画像ＢＥＶ＿２は視野ＶＷ＿２を鉛直方向に見下ろす仮想カメラによって捉えられた画像に相当し、鳥瞰画像ＢＥＶ＿３は視野ＶＷ＿３を鉛直方向に見下ろす仮想カメラによって捉えられた画像に相当する。生成された鳥瞰画像ＢＥＶ＿０〜ＢＥＶ＿３は、メモリ１４のワークエリア１４ｗに保持される。
【００２０】
ＣＰＵ１２ｐは続いて、図４に示す再現ブロックＢＬＫに対応する切り出し線ＣＴ＿０〜ＣＴ＿３を鳥瞰画像ＢＥＶ＿０〜ＢＥＶ＿３上で定義し、定義された切り出し線ＣＴ＿０〜ＣＴ＿３よりも内側に存在する一部の画像を合成して全周鳥瞰画像を作成し、そして車両１００の上部を模した車両画像ＧＬ１を全周鳥瞰画像の中央に貼り付ける。こうして、図６に示す運転支援画像ＡＲＶがワークエリア１４ｗ上で完成する。
【００２１】
ＣＰＵ１２ｐは、このような運転支援画像ＡＲＶの作成処理と並列して、ＧＰＳ装置２０の出力に基づいて車両１００の現在位置を検出し、さらに現時点の表示モードが並列表示モードおよび多重表示モードのいずれであるかを判別する。なお、表示モードは、操作パネル２８に対するモード切換操作に応答して、並列表示モードと多重表示モードとの間で切り換えられる。
【００２２】
現時点の表示モードが並列表示モードであれば、ＣＰＵ１２ｐは、車両１００の現在位置とその周辺を表す広域地図画像ＭＰ１をデータベース２２に保存された地図データに基づいて作成する。作成された広域地図画像ＭＰ１は、メモリ１４に形成された表示エリア１４ｍの右側に図７（Ａ）に示す要領で展開される。ＣＰＵ１２ｐは続いて、ワークエリア１４ｗに保持された運転支援画像ＡＲＶの倍率を並列表示モードに適合するように調整し、調整された倍率を有する運転支援画像ＡＲＶを表示エリア１４ｍの左側に図７（Ａ）に示す要領で展開する。
【００２３】
車両１００の運転席に設定された表示装置２４は、こうして表示エリア１４ｍに展開された広域地図画像ＭＰ１および運転支援画像ＡＲＶを繰り返し読み出し、読み出された広域地図画像ＭＰ１および運転支援画像ＡＲＶを図７（Ａ）に示す要領で同一画面に表示する。
【００２４】
一方、現時点の表示モードが多重表示モードであれば、ＣＰＵ１２ｐは、車両１００の現在位置とその周辺を表す狭域地図画像ＭＰ２をデータベース２２に保存された地図データに基づいて作成する。作成された狭域地図画像ＭＰ２は、表示エリア１４ｍの全面に図７（Ｂ）に示す要領で展開される。
【００２５】
ＣＰＵ１２ｐは続いて、運転支援画像ＡＲＶの倍率を多重表示モードに適合するように調整し、ＧＰＳ装置２０の出力に基づいて現時点の車両１００の向きを検出し、そして運転支援画像ＡＲＶに表われた路面ペイントをパターン認識によって検出する。運転支援画像ＡＲＶの多重位置は、車両１００の向きと路面ペイントとに基づいて決定され、調整された倍率を有する運転支援画像ＡＲＶは決定された多重位置に図７（Ｂ）に示す要領で多重される。
【００２６】
より詳しく説明すると、運転支援画像ＡＲＶの倍率は、運転支援画像ＡＲＶ上の路面の幅が狭域地図画像上の路面の幅と一致するように調整される。また、運転支援画像の多重位置は、運転支援画像ＡＲＶ上の路面ペイントが狭域地図画像上の路面ペイントに沿うように調整される。なお、車両１００の向きは、車両画像Ｇ１が狭域地図画像上の反対車線の路面に多重される事態を回避するために参照される。
【００２７】
表示装置２４は、こうして表示エリア１４ｍに展開された狭域地図画像ＭＰ２および運転支援画像ＡＲＶを繰り返し読み出し、読み出された狭域地図画像ＭＰ２および運転支援画像ＡＲＶを画面に表示する。
【００２８】
図２に示す操作パネル２８上で目的地の設定操作が行われると、ＣＰＵ１２ｐは、ＧＰＳ装置２０の出力に基づいて現在位置を検出し、検出された現在位置とデータベース２２に保存された地図データとに基づいて目的地までのルートを設定する。
【００２９】
現時点の表示モードが並列表示モードであれば、ＣＰＵ１２ｐは、目的地までのルートを広域で示すルート情報ＲＴ１を作成し、作成されたルート情報ＲＴ１を表示エリア１４ｍに展開された広域地図画像ＭＰ１に多重する。一方、現時点の表示モードが多重表示モードであれば、ＣＰＵ１２ｐは、目的地までのルートを狭域で示すルート情報ＲＴ２を作成し、作成されたルート情報ＲＴ２を表示エリア１４ｍに展開された運転支援画像ＡＲＶに多重する。ルート情報ＲＴ１は図７（Ａ）に示す要領で多重され、ルート情報ＲＴ２は、図７（Ｂ）に示す要領で多重される。こうして多重されたルート情報ＲＴ１またはＲＴ２も、表示装置２４の画面に表示される。
【００３０】
なお、この実施例では、広域地図画像ＭＰ１，狭域地図画像ＭＰ２，ルート情報ＲＴ１，ルート情報ＲＴ２を“ナビゲーション情報”と総称する。
【００３１】
ＣＰＵ１２ｐはさらに、運転支援画像ＡＲＶを参照して、車両１００の周囲から障害物を繰り返し探索する。障害物ＯＢＪが発見されると、ＣＰＵ１２ｐは、表示エリア１４ｍに展開された運転支援画像ＡＲＶに警告情報ＡＲＭを多重する。警告情報ＡＲＭは、障害物ＯＢＪの位置に対応して図８に示す要領で多重される。こうして多重された警告情報ＡＲＭもまた、表示装置２４の画面に表示される。
【００３２】
ＣＰＵ１２ｐは、図９に示すルート制御タスクおよび図１０〜図１２に示す表示制御タスクを含む複数のタスクを並列的に実行する。なお、これらのタスクに対応する制御プログラムは、フラッシュメモリ２６に記憶される。
【００３３】
図９を参照して、ステップＳ１ではフラグＦＬＧを“０”に設定する。フラグＦＬＧは目的地の設定／非設定を識別するためのフラグであり、ＦＬＧ＝０が“非設定”を示す一方、ＦＬＧ＝１が“設定”を示す。ステップＳ３では操作パネル２８上で目的地の設定操作が行われたか否かを判別し、ステップＳ５では操作パネル２８上で設定解除操作が行われたか否かを判別する。
【００３４】
ステップＳ３でＹＥＳであればステップＳ７に進み、ＧＰＳ装置２０の出力に基づいて現在位置を検出する。ステップＳ９では、検出された現在位置とデータベース２２に保存された地図データとに基づいて目的地までのルートを設定する。ステップＳ９の処理が完了するとステップＳ１１でフラグＦＬＧを“１”に設定し、その後にステップＳ３に戻る。
【００３５】
ステップＳ５でＹＥＳであればステップＳ１３に進み、目的地までのルートの設定を解除する。ステップＳ１３の処理が完了すると、ステップＳ１５でフラグＦＬＧを“０”に設定し、その後にステップＳ３に戻る。
【００３６】
図１０を参照して、ステップＳ２１では、カメラＣＭ＿０〜ＣＭ＿３から出力された被写界像Ｐ＿０〜Ｐ＿３に基づいて運転支援画像ＡＲＶを作成する。ステップＳ２３では、ＧＰＳ装置２０の出力に基づいて車両１００の現在位置を検出する。ステップＳ２５では現時点の表示モードが並列表示モードおよび多重表示モードのいずれであるかを判別する。判別結果が並列表示モードであればステップＳ２７に進む一方、判別結果が多重表示モードであればステップＳ３５に進む。
【００３７】
ステップＳ２７では、車両１００の現在位置とその周辺を表す広域地図画像ＭＰ１をデータベース２２に保存された地図データに基づいて作成する。ステップＳ２９では、作成された広域地図画像ＭＰ１を表示エリア１４ｍの右側に展開する。ステップＳ３１では、ステップＳ２１で作成された運転支援画像ＡＲＶの倍率を並列表示モードに適合するように調整する。ステップＳ３３では、調整された倍率を有する運転支援画像ＡＲＶを表示エリア１４ｍの左側に展開する。ステップＳ３３の処理が完了すると、ステップＳ４９に進む。
【００３８】
ステップＳ３５では、車両１００の現在位置とその周辺を表す狭域地図画像ＭＰ２をデータベース２２に保存された地図データに基づいて作成する。ステップＳ３７では、作成された狭域地図画像ＭＰ２を表示エリア１４ｍの全面に展開する。ステップＳ３９では、ステップＳ２１で作成された運転支援画像ＡＲＶの倍率を多重表示モードに適合するように調整する。
【００３９】
ステップＳ４１ではＧＰＳ装置２０の出力に基づいて現時点の車両１００の向きを検出し、ステップＳ４３では運転支援画像ＡＲＶに表われた路面ペイントをパターン認識によって検出する。ステップＳ４５では、ステップＳ４１で検出された車両１００の向きとステップＳ４３で検出された路面ペイントとに基づいて運転支援画像ＡＲＶの多重位置を決定する。ステップＳ４７では、ステップＳ３９で調整された倍率を有する運転支援画像ＡＲＶをステップＳ４５で決定された位置に多重する。ステップＳ４７の処理が完了すると、ステップＳ４９に進む。
【００４０】
ステップＳ４９では、フラグＦＬＧが“１”を示すか否かをステップＳ４９で判別する。判別結果がＮＯであればそのままステップＳ６１に進み、判別結果がＹＥＳであればステップＳ５１〜Ｓ５９を経てステップＳ６１に進む。
【００４１】
ステップＳ５１では、現時点の表示モードが並列表示モードおよび多重表示モードのいずれであるかを判別する。現時点の表示モードが並列表示モードであればステップＳ５３に進み、目的地までのルートを広域で示すルート情報ＲＴ１を作成する。ステップＳ５５では、作成されたルート情報ＲＴ１をステップＳ２９で展開された広域地図画像ＭＰ１に多重する。現時点の表示モードが多重表示モードであればステップＳ５７に進み、目的地までのルートを狭域で示すルート情報ＲＴ２を作成する。ステップＳ５９では、作成されたルート情報ＲＴ２をステップＳ４７で展開された運転支援画像ＡＲＶに多重する。
【００４２】
ステップＳ６１では、車両１００の周囲に障害物ＯＢＪが存在するか否かを判別する。判別結果がＮＯであればそのままステップＳ２１に戻る一方、判別結果がＹＥＳであればステップＳ６３で警告情報ＡＲＭを運転支援画像ＡＲＶに多重してからステップＳ２１に戻る。警告情報ＡＲＭは、障害物ＯＢＪの位置に対応して運転支援画像ＡＲＶに多重される。
【００４３】
以上の説明から分かるように、カメラＣＭ＿０〜ＣＭ＿３は、路面を移動する車両１００の互いに異なる位置に設けられて、車両１００の周囲を表す被写界像Ｐ＿０〜Ｐ＿３を出力する。ＣＰＵ１２ｐは、出力された被写界像Ｐ＿０〜Ｐ＿３に基づいて運転支援画像ＡＲＶを作成し(S21)、作成された運転支援画像ＡＲＶを表示装置２４の画面に表示する(S31~S33, S39~S47)。ＣＰＵ１２ｐはまた、運転支援画像ＡＲＶの作成処理と並列して車両１００の位置を検出し(S23)、検出された位置とデータベース２２の地図データとに基づいてナビゲーション情報（地図画像，ルート情報）を作成し(S27, S35, S53, S57)、そして作成されたナビゲーション情報を表示装置２４の画面に表示する(S29, S37, S55, S59)。
【００４４】
運転支援画像ＡＲＶは、車両１００の互いに異なる位置に設けられたカメラＣＭ＿０〜ＣＭ＿３からの出力に基づいて作成され、車両１００の周囲を再現する。車両１００の位置と地図データとに基づいて作成されたナビゲーション情報は、このような運転支援画像ＡＲＶとともに表示装置２４に表示される。これによって、車両１００の周囲の安全性およびナビゲーション情報の両方を同一画面で確認することができ、操縦支援性能が向上する。
【００４５】
なお、この実施例では、ルート情報ＲＴ１を広域地図画像ＭＰ１に多重し、運転支援画像ＡＲＶを狭域地図画像ＭＰ２に多重し、ルート情報ＲＴ２を運転支援画像ＡＲＶに多重し、そして警告情報ＡＲＭを運転支援画像ＡＲＶに多重するようにしている。ここで、多重画像の透過率は０％に限られるものではなく、１％〜９９％の範囲で適宜調整するようにしてもよい。
【００４６】
また、この実施例では、移動体として路面を走行する車両を想定しているが、この発明は海面を航行する船舶にも適用することができる。 さらに、この実施例では、モード切換操作によって代替的に選択される並列表示モードおよび多重表示モードを準備し、並列表示モードにおいて広域地図画像ＭＰ１および運転支援画像ＡＲＶを並列表示する一方、多重モードにおいて狭域地図画像ＭＰ２および運転支援画像ＡＲＶを多重表示するようにしている。
【００４７】
しかし、車両１００が左折または右折すべき交差点から離れているときに高域地図画像ＭＰ１をモニタ画面の全域に表示しかつ高域のルート情報ＲＴ１を高域地図画像ＭＰ１をモニタ画面の全域に表示しかつ高域のルート情報ＲＴ１を高域地図画像ＭＰ１に多重する（図１３（Ａ）参照）一方、車両１００が左折または右折すべき交差点に近づいたときに高域地図画像ＭＰ１および運転支援画像ＡＲＶをモニタ画面に並列表示しかつ高域のルート情報ＲＴ１および狭域のルート情報を高域地図画像ＭＰ１および運転支援画像ＡＲＶにそれぞれ多重する（図１３（Ｂ）参照）ようにしてもよい。
【００４８】
この場合、図９〜図１２に示すフロー図に従う処理に代えて図１４〜図１５に示すフロー図に従う処理が実行される。
【００４９】
図１４を参照して、ステップＳ７１では、カメラＣＭ＿０〜ＣＭ＿３から出力された被写界像Ｐ＿０〜Ｐ＿３に基づいて運転支援画像ＡＲＶを作成する。ステップＳ７３では、車両１００の現在位置とその周辺を表す高域地図画像ＭＰ１をデータベース２２に保存された地図データに基づいて作成する。ステップＳ７５では、フラグＦＬＧが“１”を示すか否かを判別する。判別結果がＮＯであればステップＳ７７に進み、ステップＳ７３で作成された高域地図画像ＭＰ１を表示エリア１４ｍの前面に展開する。ステップＳ７７の処理が完了すると、ステップＳ７１に戻る。
【００５０】
ステップＳ７５の判別結果がＹＥＳであれば、ステップＳ７９に進み、ＧＰＳ装置２０の出力に基づいて車両１００の現在位置を検出する。ステップ８１では目的地までのルートを広域で示すルート情報ＲＴ１を作成し、ステップＳ８３では作成されたルート情報ＲＴ１をステップＳ７７で展開された広域地図画像ＭＰ１に多重する。ステップＳ８５では、左折または右折すべき次の交差点までの距離を車両１００の現在位置、広域地図画像ＭＰ１およびルート情報ＲＴ１に基づいて算出する。ステップＳ８７では算出された距離が閾値ＴＨ（＝たとえば５ｍ）以下であるか否かを判別し、判別結果がＮＯであればステップＳ７７の処理を経てステップＳ７１に戻る一方、判別結果がＹＳＥであればステップＳ８９に進む。
【００５１】
ステップＳ８９では、ステップＳ７３で作成された広域地図画像ＭＰ１を表示エリア１４ｍの右側に展開する。ステップＳ９１ではステップＳ７１で作成された運転支援画像ＡＲＶの倍率を調整し、ステップＳ９３では調整された倍率を有する運転支援画像ＡＲＶを表示エリア１４ｍの左側に展開する。ステップＳ９５では目的地までのルートを狭域で示すルート情報ＲＴ２を作成し、ステップＳ９７では作成されたルート情報ＲＴ２をステップＳ９３で展開された運転支援画像ＡＲＶに多重する。多重処理が完了すると、ステップＳ７１に戻る。
【００５２】
このように、運転支援画像ＡＲＶは、車両１００から左折または右折すべき交差点までの距離が閾値ＴＨを下回るタイミング（つまり、車両１００が交差転に差し掛かるタイミング）でモニタ画面に並列表示される。運転手は、交差点の右折時または左折時のような車両１００の周囲の安全確認が重要な情況で、車両１００の周辺をモニタ画面を通して視認できる。こうして、運転支援性能が向上する。
【符号の説明】
【００５３】
１０ …操縦支援装置
ＣＭ＿０〜ＣＭ＿３ …カメラ
１２ …画像処理回路
１４ …メモリ
１２ｐ …ＣＰＵ
２０ …ＧＰＳ装置
１８ …表示装置
２６ …フラッシュメモリ
１００ …車両
【特許請求の範囲】
【請求項１】
基準面を移動する移動体の互いに異なる位置に設けられて前記移動体の周囲を表す被写界像を出力する複数のカメラ、
前記複数のカメラから出力された被写界像に基づいて前記基準面に対する鳥瞰画像を作成する第１作成手段、
前記第１作成手段によって作成された鳥瞰画像をモニタ画面に表示する第１表示手段、
前記第１作成手段の作成処理と並列して前記移動体の位置を検出する検出手段、
前記検出手段の検出結果と地図情報とに基づいてナビゲーション情報を作成する第２作成手段、および
前記第２作成手段によって作成されたナビゲーション情報を前記第１表示手段の表示処理に関連して前記モニタ画面に表示する第２表示手段を備える、画像処理装置。
【請求項２】
前記ナビゲーション情報は地図画像を含み、
前記第１表示手段は前記鳥瞰画像を前記地図画像に多重する第１多重手段を含む、請求項１記載の画像処理装置。
【請求項３】
前記移動体および前記基準面はそれぞれ車両および路面に相当し、
前記第１表示手段は路面ペイントを参照して前記鳥瞰画像の多重位置を決定する決定手段をさらに含む、請求項２記載の画像処理装置。
【請求項４】
前記決定手段は前記移動体の向きをさらに参照して前記多重位置を決定する、請求項３記載の画像処理装置。
【請求項５】
前記ナビゲーション情報は目的地までのルートを可視的に示すルート情報を含み、
前記第２表示手段は前記ルート情報を前記地図画像および／または前記鳥瞰画像に多重する第２多重手段を含む、請求項１ないし４のいずれかに記載の画像処理装置。
【請求項６】
前記移動体の周辺から障害物が検出されたとき警告を発生する発生手段をさらに備える、請求項１ないし５のいずれかに記載の画像処理装置。
【請求項７】
前記移動体および前記基準面はそれぞれ車両および路面に相当し、
前記検出手段の検出結果と地図情報にとに基づいて前記移動体から左折または右折すべき交差点までの距離を算出する算出手段および
前記算出手段によって算出された距離に応じて前記第１表示手段の表示処理を許可または制限する制御手段を備える請求項１記載の画像処理装置。
【請求項１】
基準面を移動する移動体の互いに異なる位置に設けられて前記移動体の周囲を表す被写界像を出力する複数のカメラ、
前記複数のカメラから出力された被写界像に基づいて前記基準面に対する鳥瞰画像を作成する第１作成手段、
前記第１作成手段によって作成された鳥瞰画像をモニタ画面に表示する第１表示手段、
前記第１作成手段の作成処理と並列して前記移動体の位置を検出する検出手段、
前記検出手段の検出結果と地図情報とに基づいてナビゲーション情報を作成する第２作成手段、および
前記第２作成手段によって作成されたナビゲーション情報を前記第１表示手段の表示処理に関連して前記モニタ画面に表示する第２表示手段を備える、画像処理装置。
【請求項２】
前記ナビゲーション情報は地図画像を含み、
前記第１表示手段は前記鳥瞰画像を前記地図画像に多重する第１多重手段を含む、請求項１記載の画像処理装置。
【請求項３】
前記移動体および前記基準面はそれぞれ車両および路面に相当し、
前記第１表示手段は路面ペイントを参照して前記鳥瞰画像の多重位置を決定する決定手段をさらに含む、請求項２記載の画像処理装置。
【請求項４】
前記決定手段は前記移動体の向きをさらに参照して前記多重位置を決定する、請求項３記載の画像処理装置。
【請求項５】
前記ナビゲーション情報は目的地までのルートを可視的に示すルート情報を含み、
前記第２表示手段は前記ルート情報を前記地図画像および／または前記鳥瞰画像に多重する第２多重手段を含む、請求項１ないし４のいずれかに記載の画像処理装置。
【請求項６】
前記移動体の周辺から障害物が検出されたとき警告を発生する発生手段をさらに備える、請求項１ないし５のいずれかに記載の画像処理装置。
【請求項７】
前記移動体および前記基準面はそれぞれ車両および路面に相当し、
前記検出手段の検出結果と地図情報にとに基づいて前記移動体から左折または右折すべき交差点までの距離を算出する算出手段および
前記算出手段によって算出された距離に応じて前記第１表示手段の表示処理を許可または制限する制御手段を備える請求項１記載の画像処理装置。
【図１】
【図２】
【図３】
【図４】
【図６】
【図８】
【図９】
【図５】
【図７】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図２】
【図３】
【図４】
【図６】
【図８】
【図９】
【図５】
【図７】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【公開番号】特開２０１１−２７７３０（Ｐ２０１１−２７７３０Ａ）
【公開日】平成２３年２月１０日（２０１１．２．１０）
【国際特許分類】
【出願番号】特願２０１０−１４７１６８（Ｐ２０１０−１４７１６８）
【出願日】平成２２年６月２９日（２０１０．６．２９）
【出願人】（０００００１８８９）三洋電機株式会社 (18,308)
【Ｆターム（参考）】
【公開日】平成２３年２月１０日（２０１１．２．１０）
【国際特許分類】
【出願日】平成２２年６月２９日（２０１０．６．２９）
【出願人】（０００００１８８９）三洋電機株式会社 (18,308)
【Ｆターム（参考）】
[ Back to top ]