障害物検知支援装置
【課題】車外の障害物の位置を、立体音声により使用者に報知する。
【解決手段】車両１０の外部に設けられ、車両の周囲の状況を画像として取得するカメラ３Ｆ、３Ｒ・・と、車両に対して着脱自在に設けられた画像表示装置１Ｂと、画像表示装置１Ｂの位置を検出する位置検出装置７と、スピーカー２Ｆ、２Ｒを備え、位置検出装置７で検出された位置に基づいて、使用者の視点から画像表示装置１Ｂへ向かう延長線上の、車両周囲状況を、カメラ３Ｆ・・で取得した画像から切り出し、画像表示装置１Ｂのディスプレイに表示するとともに、取得された画像から障害物を検出し、該障害物の位置を立体音声によって、使用者に報知する。
【解決手段】車両１０の外部に設けられ、車両の周囲の状況を画像として取得するカメラ３Ｆ、３Ｒ・・と、車両に対して着脱自在に設けられた画像表示装置１Ｂと、画像表示装置１Ｂの位置を検出する位置検出装置７と、スピーカー２Ｆ、２Ｒを備え、位置検出装置７で検出された位置に基づいて、使用者の視点から画像表示装置１Ｂへ向かう延長線上の、車両周囲状況を、カメラ３Ｆ・・で取得した画像から切り出し、画像表示装置１Ｂのディスプレイに表示するとともに、取得された画像から障害物を検出し、該障害物の位置を立体音声によって、使用者に報知する。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、車両に搭載された障害物検知支援装置に係り、詳しくは、車体の透過画像を表示する障害物検知支援装置に関するものである。
【背景技術】
【０００２】
従来、自動車の運転者が、車両の周囲を視認する際、車体自体の影となって視覚が遮られ、認識できない死角領域が、車両の周囲に存在する。従来では、運転操作の補助として死角領域をカメラ等の画像取得機器で取得し、画像を車内のモニタに映し出す構成が提案されている。例えば、車両後尾に、車両の後尾に近接した領域を映し出すカメラを設置し、後退時には自動的に車内モニタに後方の撮影画像が映し出される構成などが提案されている。
【特許文献１】特開２００２−２６２２８０
【発明の開示】
【発明が解決しようとする課題】
【０００３】
特許文献１に代表されるように、画像が映し出されるモニタは、車両側に固定されている。このため、肉眼で確認したい方向と、モニタの設置位置が一致しない場合には、肉眼で車外を確認し、かつモニタに顔を向けて死角領域を確認するといった煩わしい動作を行う必要がある。
例えば、車両後方の死角領域を映し出すバックモニタでは、後退時に後方を肉眼で確認するために、顔をバックシートの方向へ向けつつ操舵するとともに、死角領域の確認をする際には、運転席の前方に配置されたモニタを見る必要がある。この様に、後退時には、顔を前後に頻繁に向き直らせなければならず、かえって操作が煩雑になるといった問題がある。
【０００４】
また、従来の装置ではモニタは固定されているので、運転者が見たいところを見るためには、本体やリモコンに設置されたジョイスティックやタッチパネル装置を用いてメニュー画面からカメラを切り替え、或は、カメラをパン・チルトさせるといった手段を取っていた。運転者はこれらの手段により、カメラ画像をスクロールさせ、或は、カメラ画像の切り替えを行う必要があり、運転者にとっては大変煩わしいものであった。
この発明は、車外の障害物の位置を、立体音声により使用者に報知することのできる障害物検知支援装置を提供することを目的とする。
【課題を解決するための手段】
【０００５】
以上のような問題を解決する本発明は、以下のような構成を有する。
（１） 車両の周囲を撮像する撮像手段と、
車両に対して着脱可能に設けられ、前記撮像した画像を表示する画像表示面を有するディスプレイと、
該ディスプレイの位置及び画像表示面の方向を検出する位置検出手段と、
前記検出したディスプレイの位置及び画像表示面の方向から前記ディスプレイの使用者位置を特定する使用者特定手段と、
車両周囲に存在する障害物の位置を検知する障害物検知手段と、
車両室内に、前記特定した使用者位置を基準位置として、前記検知した障害物の位置に対する方向から聞こえるように、障害物の存在を報知する報知音を出力制御する報知音出力制御手段と、を備えたことを特徴とする障害物検知支援装置。
【０００６】
（２） 前記報知音出力制御手段は、前記検知した障害物の位置方向と、前記位置検出手段により検出したディスプレイの方向とが一致した場合に、方向が一致したことを報知する音を出力することを特徴とする請求項１記載の障害物検知支援装置。
【０００７】
（３） 前記撮像手段が撮像した画像から、前記位置検出手段により検出した位置関係に基づき、基準点からディスプレイ上の延長線上に存在する車両周囲の画像を抽出する画像抽出手段と、
上記画像抽出手段に基づいて抽出された画像を前記ディスプレイに表示する表示手段と、をさらに有し、
前記報知音出力制御手段は、前記表示した画像中に、前記検知した障害物が存在する場合、障害物が表示画像中に存在することを報知する音を出力することを特徴とする請求項１または２記載の障害物検知支援装置。
【発明の効果】
【０００８】
請求項１に記載の発明によれば、取り外し可能なディスプレイによって、車両の後退駐車時など、振り返って操舵するドライバの習性に合った、判り易い運転を補助する障害物検知支援装置とすることが出来る。特に、障害物検知手段により検知した障害物のある方向と、使用者特定手段により検出した基準位置とに基づき、基準位置に対する障害物の相対位置が、音により報知されるので、出力される音に導かれて、障害物のある方向が分かるものとなる。従って、感覚的に障害物の存在する方向を短時間で認識することができ、取り外し可能なディスプレイにより、聴覚的に認識された障害物の方向へディスプレイの方向を合わせることが容易となる。
【０００９】
請求項２に記載の発明によれば、障害物検知手段により検知した障害物のある方向と、ディスプレイをかざした方向が一致したことが、特別な音パターンによって報知されるので、音の誘導によって容易に障害物の方向とディスプレイの方向を合致させることができる。
【００１０】
請求項３に記載の発明によれば、基準位置からディスプレイの延長線上に存在する車両周囲の画像を抽出し、ディスプレイに表示することが出来るので、障害物検知手段により検知した障害物のある方向と、ディスプレイの方向が一致したことを特別な音声パターンによって報知することと組み合わせることで、音声の誘導によって簡単に障害物の方向を認識することが出来ると共に、その障害物が何であるのか画像情報を得ることが出来る。
【発明を実施するための最良の形態】
【００１１】
次にこの発明の車外情報表示装置１の好適実施形態について説明する。本発明の車外情報表示装置１は、自動車に搭載され、画像取得装置１Ａと画像表示装置１Ｂとを有している。図１は、画像取得装置１Ａの構成を示すブロック図である。画像取得装置１Ａは、車両２に取り付けられ車両の周囲を撮像する撮像手段である複数のカメラ３Ｆ、３Ｒ、３Ｌ、３Ｂ（図１中、カメラ３Ｌ、３Ｂは省略する）と、画像処理等の演算及び制御を行う演算処理装置４Ａと、メモリ５Ａと、画像表示装置１Ｂとの通信を行う通信装置６１Ａと、画像表示装置１Ｂの接続を行う接続部６２Ａと、これらの装置の通信を媒体するシステムバス１１Ａと、音声出力装置２とを備えている。
【００１２】
カメラ３Ｆ、３Ｒ、３Ｌ、３Ｂは、図２に示されているように、車両１０の側面に、外側に向けて設けられている。車両１０において、カメラ３Ｆは車体前部中央に、カメラ３Ｂは、車体後部中央に、カメラ３Ｒは、車体右側面運転席側方に、カメラ３Ｌは、車体左側面運転席側方にそれぞれ設けられている。本実施形態での各カメラは、魚眼レンズであり、１８０°の画角を有している。側面に設けられたカメラ３Ｒ、３Ｌは、車体の中央部でなく、運転席の側方に設けられている。これは、本装置を使用するのは運転者であることが多いので、カメラ３Ｒ、３Ｌの撮影位置を、使用者（運転者）の視点位置に近づけるために、そのような位置としている。後述する視点変換処理をする際に、変換処理の負担が軽減されるとともに、変換後の画像の歪みも抑えることができるからである。
【００１３】
カメラ３Ｆ、３Ｒ、３Ｌ、３Ｂは、それぞれ魚眼レンズを用いており、例えばＣＣＤ（Charge-Coupled Devices）により、光（画像）信号を電気信号に変換する構成を備えている。それぞれのカメラ３Ｆ、３Ｒ、３Ｌ、３Ｂは、Ａ/Ｄ変換器３１Ｆ、３１Ｒ、３１Ｌ、３１Ｂを介してシステムバス１１Ａに各々接続される。カメラ３Ｆは、車両１０の前方にレンズの光軸を向け、その周囲の景色を画像として取得する。カメラ３Ｒは、車両１０の右側方にレンズの光軸を向け、その周囲の景色を画像として取得する。カメラ３Ｌは、車両１０の左側方にレンズの光軸を向け、その周囲の景色を画像として取得する。カメラ３Ｂは、車両１０の後方にレンズの光軸を向け、その周囲の景色を画像として取得する。
【００１４】
各カメラ３Ｆ、３Ｒ、３Ｌ、３Ｂから出力された画像信号は、Ａ／Ｄ変換器３１Ｆ、３１Ｒ、３１Ｌ、３１Ｂによって、それぞれデジタル信号に変換される。また、接続されたカメラ３Ｆ、３Ｒ、３Ｌ、３Ｂが、デジタル信号出力が可能なものである場合には、Ａ／Ｄ変換器３１Ｆ、３１Ｒ、３１Ｌ、３１Ｂには不要である。なお、本実施形態では、上述のように、撮像手段は、魚眼レンズを用いたカメラ４つを有しているが、車両の周囲３６０°の画像を取得できれば、どのようなカメラを用いても構わない。例えば、５つ以上の複数のカメラを、車両の外側に向けて設置してもよく、また、３６０°の画像を取得できるカメラを１つ用いてもよい。
【００１５】
演算処理装置４Ａは、中央処理装置［ＣＰＵ（Central Processing Unit）］４１Ａと、リードオンリーメモリ［ＲＯＭ］４２Ａと、ランダムアクセスメモリ［ＲＡＭ］４３Ａとを備えている。中央処理装置４１Ａは、例えば、画像取込装置１Ａと、画像表示装置１Ｂとの相対位置を演算し、或は、各カメラから取得された画像に基づいて、車体１０周囲の３６０°画像を合成し、或は、合成した画像から画像表示装置１Ｂへ送る画像を切り取り（抽出し）、また、切り取った画像を使用者の視点位置に視点変換し、切り取った画像に、車両の輪郭を合成する、或は画像表示装置１Ｂとのデータの送受信などの処理及び演算を行う。また、取得された画像を原画像とし、駐車場の仕切り白線や黄色線等、障害物ではないと想定されるパターン画像データと比較し、非障害物パターンデータに一致しないものと障害物として判定する、といった障害物検出処理も行う。
ＲＯＭ４２には、例えば、中央処理装置４１が画像処理を行うためのソフトウエア等が格納されており、ＲＡＭ４３は、例えば、各種画像処理等を行う場としてのワーキングエリアとして使用される。
【００１６】
メモリ５Ａは、各カメラ３Ｆ、３Ｒ、３Ｌ、３Ｂが撮影した画像を経時的に連続してそれぞれ記録するカメラ画像バッファ５１Ｆ、５１Ｒ、５１Ｌ、５１Ｂと、描画用画像バッファ５２Ａと、画像処理情報メモリ５３Ａと、車両情報記憶手段である車体データメモリ５４Ａと、ワークメモリ５５Ａと、音声データメモリ２１Ａと、音声パターンデータメモリ２２Ａとを備えている。
【００１７】
描画用画像バッファ５２Ａには、カメラ画像に画像処理を施して生成した画像が保存される。画像処理情報メモリ５３Ａには、視点変換、歪み補正、合成等画像処理を実行するために必要な変数が保存される。例えば、ＧＵＩで構成されたメニュー画面等を介して設定値の入力や変更は適宜可能となっている。車体データメモリ５４Ａには、表示画像に重ねて、車体透過イメージを作るために必要な輪郭情報が格納されている。輪郭情報には、車体の輪郭やタイヤ位置等を表現した3Dモデリングデータまたは3Dに見えるように描かれたビットマップデータなどが保存されている。この車体データメモリ５４Ａに保存されるデータには、カメラ画像または画像処理後のカメラ画像と合成するために使用するマスクデータも含まれる。ワークメモリ５５Ａは、視点変換処理、歪補正処理、ワイヤーフレームの画像合成処理などの画像処理を行う場合のワーキングエリアとして使用される。
【００１８】
音声データメモリ２１Ａには、障害物の位置を知らせる音声のトーン（例えば、男性の声、女性の声、機械的な声）や、音声以外の報知音（高さの異なる数種類の電子音等）が格納されている。音声パターンデータメモリ２２Ａには、障害物の位置を知らせる音声パターンが格納されている。例えば、「障害物が検出されました。」「ディスプレイ方向を右に向けて下さい。」「ディスプレイ方向と障害物の方向が一致しました。」等の案内音声パターンである。
【００１９】
通信装置６１Ａは、画像表示装置１Ｂからのセンサデータ受信、画像表示装置１Ｂへの描画用画像データ送信を行う。通信手段としては、有線と無線があるが、無線の場合は、無線ＬＡＮ（ＩＥＥＥ802．11ａ／ｂ／ｇ）、Ｂｌｕｅｔｏｏｔｈ、赤外線（ＩｒＤＡ）、小電力ＦＭトランスミッター、ＵＷＢ（Ultra Wide Band）、スペクトラム拡散（ＳＳ）等が考えられる。
【００２０】
接続部６２Ａは、接続端子を備え、画像表示装置１Ｂの接続部６２Ｂに設けられた接続端子と接続するものである。画像表示装置１Ｂの接続部６２Ｂと接続することによって、通信装置６１Ａと同様の作用をする。この接続部６２Ａは、例えば、画像表示装置１Ｂと接続するための保持位置として機能する。
【００２１】
一方、画像表示装置１Ｂは、画像処理等の演算及び制御を行う演算処理装置４Ｂと、通信装置６１Ｂと、接続部６２Ｂと、メモリ５Ｂと、位置・角度検出装置７と、Ａ/Ｄ変換装置７１と、表示装置８と、Ｄ／Ａ変換装置８１と、これらの装置の通信を媒体するシステムバス１１Ｂを有している。
【００２２】
音声出力装置２は、車両１０の車両室内に設けられ、音声を位相差出力する立体音声出力手段である少なくとも２以上のスピーカーを備える。本実施形態の場合、図３に示されているように、スピーカーは車両１０の室内に４つ設けられている。車両１０の室内において、スピーカー２Ｆは車体前部中央に、スピーカー２Ｂは車体後部中央に、スピーカー２Ｒは車体右側面運転席側方に、スピーカー２Ｌは車体左側面運転席側方にそれぞれ設けられている。このスピーカー２Ｆ、２Ｂ、２Ｒ、２Ｌの配置は、カメラ３Ｆ、３Ｒ、３Ｌ、３Ｂの配置位置に対応させて、略同じ位置となっている。このような位置にスピーカーを配置することによって、カメラの配線とスピーカーの配線を束ねることができ、カメラとスピーカーの取り付け作業が容易となる。さらに、カメラとスピーカーを一体化し、単一のユニットと（集合体）とすることによって、組立作業が容易となる。
【００２３】
この他、車内の４隅にスピーカーを設けることもできる。通常、車両に搭載されているオーディオ装置は、複数のスピーカーを有しているので、車両に搭載しているオーディオ装置のスピーカーと兼用して用いてもよい。
本実施形態では、図３に示されているように、音声出力装置２はスピーカーを４つ有しているものである。が、障害物のある方向がある程度分かるように最低２つ、例えば、車体中央前後部もしくは車体中央左右側方にスピーカー設けられるものとしても良い。勿論、障害物のある方向がより細かく分かるように、例えば、後部座席左右側方にもそれぞれスピーカーを設け、合計６つのスピーカーから構成されるようにしても良い。
【００２４】
スピーカーが２つの場合には、図示されているように、運転席の左右側に配置する（２Ｒ、２Ｌ）ことによって、障害物の左右方向の位置を把握することができる。そして、前後方向の位置は、報知音の音質（音の高低、発信音の間隔、リズムの違い、メロディの違い）の違いにより、分けて報知することにより、運転者に知らせることができる。例えば、音が高い場合には、前側に障害物があり、低い場合には、後ろ側に障害物があることを意味する。或は、車の進行方向に障害物がある（障害物が近づいている）場合には、報知音を高く、車の進行方向の反対側に障害物がある場合には（障害物が離れている）場合には、報知音を低くすることもできる。また、音声により、車両の前側か、後ろ側かを、案内してもよい。更に、スピーカーを１つ設けた場合には、音声案内によって、障害物の方向を知らせることもできる。例えば、「２時の方向に障害物がある。」「７時方向に障害物がある」等のように案内することができる。
【００２５】
図４は、画像表示装置１Ｂの構成を示すブロック図である。
演算処理装置４Ｂは、中央処理装置［ＣＰＵ（Central Processing Unit）］４１Ｂと、リードオンリーメモリ［ＲＯＭ］４２Ｂと、ランダムアクセスメモリ［ＲＡＭ］４３Ｂとを備えている。中央処理装置４１Ｂは、例えば、位置・角度検出装置７からの位置と角度のデータ等(センサデータ)をメモリ５Ｂへ書き込みおよび演算、データ送受信の制御、画像の描画等を行う。通信装置６１Ｂは、画像取込装置１Ａへのセンサデータ送信、画像表示装置１Ａからの描画用画像データ受信を行う。接続部６２Ｂは、接続端子を備え、画像取得装置１Ａの接続部６２Ａに設けられた接続端子と接続することによって、通信装置６１Ｂと同様の作用をする。
【００２６】
本願発明の位置検出手段および角度検出手段である位置・角度検出装置７は、画像表示装置１Ｂの基準点からの位置および角度を検出する。位置・角度検出装置７は、ジャイロセンサ、加速度センサ、地磁気センサ等により構成される。これらのセンサは画像取得装置1Ａと画像表示装置1Ｂとの相対距離(位置関係)及び相対角度(方向)を算出するために用いるものであり、相対距離及び相対角度を算出できるものであれば、上述のセンサのうち１つの使用でも複数の使用でもかまわない。さらに、本発明は上述のセンサに限られるものではなく、相対距離及び相対角度を検出できるものであれば、どのようなセンサを用いてもかまわない。
【００２７】
ジャイロセンサ、地磁気センサによって、画像表示装置１Ｂの向きが検出され、加速度センサによって移動距離や角度（仰角・俯角）が検出される。さらに、車内に設けられた３つの測量点から、電波・超音波等によって画像表示装置１Ｂの位置を三点測量し、位置検出する方法などが採られる。具体的には、上記センサ類による位置検出と、三点測量による位置検出とを複合的に用いて、位置検出が行われる。この位置検出の演算は、センサ類が検出したデータに基づく演算及び三点測量による演算は、画像取得装置１Ａの中央処理装置１Ａで行われる。さらに、画像表示装置１Ｂの姿勢は、ＧＰＳや電波測量と同じように、画像表示装置１Ｂ側の、同一直線状に存在しない３点の位置をそれぞれ検出することによっても、検出することができる。
【００２８】
上記三点測量による場合、車内に設けられる３つの測量点を、例えば、４つのスピーカーの内の３つの位置の近傍にもうけることができる。このように、スピーカー位置の近くに設けることによって、超音波発信機等の測量機器の配線とスピーカーの配線を束ねることができ、測量機器とスピーカーの取り付け作業が容易となる。さらに、測量機器とスピーカーを一体化し、単一のユニットと（集合体）とすることによって、組立作業が容易となる。これは、同様に、測量点をカメラが配置されている４箇所の内、３箇所の近傍に測量機器を設けても同様であり、また、カメラ、スピーカー及び測量機器をユニット化することにより、より一層組立て作業の効率化を図ることができる。
【００２９】
Ａ/Ｄ変換器７１は、アナログ出力であるセンサ出力を中央処理装置１Ｂが扱えるようにデジタルデータに変換する。なお、位置・角度検出装置７からの出力が予めデジタル出力の場合には、Ａ/Ｄ変換器７１は不要である。
【００３０】
本発明の表示手段である表示装置８は、受信した描画用画像データを表示する。表示装置８は、ディプレイ画面を備え、ディスプレイ画面は、例えば液晶パネルやＥＬパネル等が用いられる。Ｄ／Ａ変換器８１は、表示装置８がアナログ入力の場合、中央処理装置１Ｂが扱うデジタルデータをアナログデータに変換する。表示装置８がデジタル入力対応であれば不要となる。メモリ５Ｂは、センサデータや受信した画像データのバッファリングに用いられる。
【００３１】
以上のように構成された本発明の車外情報表示装置１の作用について、図５に示されているフローチャートに基づき説明する。
システムが起動すると、まず画像取込装置１Ａ及び画像表示装置１Ｂの初期化処理が行われる（ステップＳ１０１、Ｓ２０１）。システム起動は、イグニッションON、スイッチ操作等によって行われ、シフトポジションや車速に応じて動作するといった動作制限を設けても良い。或は、車両の方向を転換する予備動作として行われる動作を検出して、システムが起動する構成としてもよい。また、画像表示装置1Ｂを保持位置（接続部６２Ａ）から離脱させた場合に、即ち、接続部６２Ａと接続部６２Ｂの接続が切り離された場合に、システム起動する構成としてもよい。
【００３２】
画像取込装置１Ａの初期化処理としては、カメラ電源のオンや明るさ・コントラスト設定等のカメラの初期化を行い、画像取込のための準備を行う。また、画像処理に必要となるパラメータを、メモリ５Ａに格納されたデフォルト値を読み出し、或はユーザー入力を促す等の方法で設定する。また、画像表示装置１Ｂの初期化処理としては、位置・角度検出のために用いるセンサ類の初期化が行われ、測定基準点は、保持位置に設定される。
【００３３】
画像表示装置１Ｂであるディスプレイが、画像取込装置１Ａから取り外されたか判断する（ステップＳ１０３、Ｓ２０２）。取り外された場合には、接続部６２Ｂと接続部６２Ａとの接続が切り離され、以後、画像取込装置１Ａの通信装置６１Ａと、画像表示装置１Ｂの通信装置６１Ｂとの間で通信が行われ、データの授受がなされる。即ち、取り外された場合には、通信回線が確立され、回線が接続される（ステップＳ１０５、Ｓ２０３）。
【００３４】
回線が確立すると、画像表示装置１Ｂでは、位置・角度検出装置７により画像表示装置1Ｂの位置・角度の情報を取得する（ステップＳ２０５）。取得される値は、ディスプレイ画面の仰角又は俯角、画面の向き（車に対しての水平方向の回転角度）、移動距離等に関する値である。取得されたデータは、通信装置６１Ｂを介して、画像取込装置１Ａに送信される（ステップＳ２０７）。画像取込装置1Ａ側では、通信装置６１Ａを介して、画像表示装置１Ｂから送信されたセンサデータを受信する（ステップＳ１０７）。受信するセンサデータには、ジャイロセンサによって検出されるディスプレイ画面の角度（仰角又は俯角）、及び画面回転角（車両に対しての水平方向の回転角度）に関するデータ、地磁気センサによってディスプレイ画面の方向（ディスプレイ画面に垂直な直線を水平面内に投影した線Ｌ１（図６）の向きに関するデータ、などがある。
【００３５】
画像取込装置１Ａ側では、各カメラから画像取込を開始する（ステップＳ１０５）。取込まれた画像データはメモリ５Ａに確保されたバッファ５１Ｆ、５１Ｒ、５１Ｌ、５１Ｂに随時格納される。
【００３６】
ステップＳ１０７において受信されたデータに基づいて、画像抽出処理が行われる（ステップＳ１１１）。この画像抽出処理は、図７に示されているサブルーチンに基づき説明する。位置・角度検出装置７に基づき、３点測量により画像表示装置１Ｂの３次元位置を検出する（ステップＳ３０１）。画像表示装置１Ｂの３次元位置は、図６に示されているように、画像表示装置１Ｂの保持位置１０１を起点（Ｘ，Ｙ，Ｚ＝０，０，０）として、ステップＳ１０７で受信した画像表示装置1Ｂの位置・角度検出装置７からの位置の情報、または三点測量等を用いて相対位置を算出することによって、位置特定される（Ｘ，Ｙ，Ｚ＝ｘ1，ｙ1，ｚ1）。このステップＳ３０１によって位置検出手段が構成される。起点は、保持位置でなくとも良く、車内空間の４隅のいずれか、車内空間の中央、ハンドルの位置、運転手の視点位置、バックミラーの位置等、いずれでもよい。
【００３７】
また、画像表示装置１Ｂに設けられたジャイロセンサや加速度センサ、地磁気センサからの値に基づいて、画像表示装置1Ｂの姿勢が特定される（ステップＳ３０２）。姿勢とは、画像表示装置1Ｂのディスプレイ画面の向いている方向であり、この姿勢の特定によって、ディスプレイ画面の仰角又は俯角（傾き）及び回転角が特定される。ステップＳ３０１、Ｓ３０２によって、位置検出手段が構成される。
【００３８】
ステップＳ３０１及びステップＳ３０２で決定された位置及び姿勢から視点位置を特定する（ステップＳ３０３）。この実施形態では、視点位置は、各座席毎に予め定められており、視点位置としての座標が画像処理情報メモリ５３に記憶されている。例えば、運転席１１１には、視点位置Ｅ1が予め座標（ｘｅ1，ｙｅ1，ｚｅ1）として記憶されている。助手席１１２には、視点位置Ｅ2が座標（ｘｅ2，ｙｅ2，ｚｅ2）として、その他３人掛けの後部座席１１３には、視点位置Ｅ３、Ｅ４、Ｅ５が、座席１１４には、視点位置Ｅ６、Ｅ７、Ｅ８がそれぞれ予め決められており、それぞれ固有の座標が記憶されている。そして、各視点位置に応じた領域が予め定められており、どの領域内に画像表示装置1Ｂが含まれているかを判断し、その領域に対応した視点位置が決定される。
【００３９】
この領域は、各座席毎に設定され、座席の第１列目の背もたれよりも前方側の領域であって、運転席と助手席に対応した領域、この領域には、視点位置Ｅ１、Ｅ２がそれぞれ対応している。
第２列目の座席１１３の背もたれと、第１列目の座席１１１、１１２の背もたれとの間に設けられた領域であって、乗車する人間が座る位置に応じて設けられた３つの領域には、視点位置Ｅ３、Ｅ４、Ｅ５がそれぞれ対応している。
第３列目の座席１１４の背もたれと、第２列目の座席１１３の背もたれとの間に設けられた領域であって、乗車する人間が座る位置に応じて設けられた３つの領域には、視点位置Ｅ６、Ｅ７、Ｅ８がそれぞれ対応している。
【００４０】
そして、各領域の境目に画像表示装置1Ｂが位置する場合には、表示装置であるディスプレイ８が表示する側にある視点位置が選択される。このような作用を有するステップＳ３０３によって、視点位置特定手段が構成される。このように、画像表示装置1Ｂの位置と、姿勢が特定されると、視点位置が決定される。この実施形態では、運転席の運転手の視点位置Ｅ１となる。また、視点位置が特定されることによって、使用者の位置も同時に特定されることとなるので、ステップＳ３０３により、使用者特定手段が構成される。
【００４１】
視点位置の特定方法として、既述のように、予め座席位置に応じた視点位置の座標を決めておき、これを記憶しておく構成の他、位置特定された画像表示装置１Ｂのディスプレイ画面８の中心を通る垂直線（軸線）上に位置し、ディスプレイ画面８から所定の距離（例えば、３５〜５０ｃｍ程度の範囲内で予め定められた距離）離れて位置する点を視点位置と想定し、その位置の座標を算出する方法を摂ってもよい。さらに他の方法としては、ディスプレイ画面８が設けられている側において、画像表示装置１Ｂに最も近い視点位置を、８つの視点位置の中から選択する方法としてもよい。
【００４２】
以上のとおり、視点位置Ｅ１が特定されると、該視点位置Ｅ１と、ディスプレイの中央部とを結ぶ直線が特定され、この直線の延長線上において、視点位置Ｅ１からディスプレイ８へ向かう方向が、画像を取得する方向として特定される（ステップＳ３０４）。このステップＳ３０４によって方向検出手段が構成される。
【００４３】
次に、視点位置Ｅ１とディスプレイ８とを結ぶ直線を平面に投影した場合の直線Ｌ1と、車両の軸線（Ｙ軸）との成す角α（回転角）を算出する（ステップＳ３０５）。ステップＳ３０２及びステップＳ３０５により本願発明の角度検出手段が構成される。
次に、角度αに基づき、抽出画像を抽出する画像を取り込むカメラを選択する（ステップＳ３０７）。このステップＳ３０７によって、選択手段が構成される。
【００４４】
角度αについては、図２に示されているように、カメラレンズの光軸の交差点を中心として、前方を0°後方を±180°、左方向をマイナス値、右方向をプラス値と設定する。そして、- 25°<α< 25°の場合には、前方カメラ３Ｆ、-160°<α<-25°の場合には、左側方カメラ３Ｌ、25°<α<160°の場合には、右側方カメラ３Ｒ、-160°<α<-180°の場合又は160°<α<180°の場合には、後方カメラ３Ｂを選択する。このように、切り出す画像の領域、車両の側面のカメラ３Ｒ、３Ｌで取得された画像がより広く、車両の前後のカメラ３Ｆ、３Ｂで取得された画像が狭く構成されている。車両に並走する自転車やオートバイを捕えるためには、側面のカメラの画像が有用であるからである。換言すると、側面のカメラ３Ｒ、３Ｌを原則として用い、これらのカメラで捕えられない領域、即ち、真正面、真後などの領域では、前方に設けられたカメラＦと後方に設けられたカメラＢを用いる。
【００４５】
この他、ステップＳ３０７によって構成さる選択手段の他の実施形態として、撮像方向に向けられたカメラレンズの光軸（ベクトル）と、特定された視点位置から画像表示装置１Ｂへ向かう延長線（ベクトル）との交差角度が、最も小さいカメラを選択する構成としてもよい。カメラの光軸と視線とが最も平行に近いカメラが選択されるので、視点変換された画像の歪みが抑制され、より鮮明な画像を得ることができる。このような選択方法は、魚眼レンズを有さないカメラを多数設け、これらのカメラ画像を繋ぎ合わせて画像を構成する場合に特に有用である。
【００４６】
さらに、その他の方法として、直線Ｌ１が、車体の側面の輪郭線と交差する場合には、側面に設けられたカメラ３Ｒ、３Ｌを選択し、車体の正面の輪郭と交差する場合には、正面のカメラ３Ｆを選択し、車体の背面の輪郭と交差する場合には、背面のカメラ３Ｂを選択する構成としてもよい。また、ステップＳ３０５によって検出された角度αではなく、車両に対するディスプレイの向いている方向のカメラを選択する構成としてもよい。
【００４７】
次に、選択されたカメラの魚眼画像内において、抽出する画像の抽出位置を決定する（ステップＳ３０９）。図８に示されているように、選択されたカメラ画像（魚眼画像Ｐｃ１）から、抽出画像Ｐｃ２を決定する。具体的には、カメラ選択に使用した角度αを魚眼画像Ｐｃ１の横方向の座標に変換する。魚眼画像の縦方向の座標については、画像表示装置の仰角または俯角に対応させる。例えば、α=-70°、センサの俯角データが-20°であれば、魚眼画像内の位置では、水平方向20°（＝90°−70°）、垂直方向-20°となる。（ただし、魚眼画像の中心を0°とし、中心から右・上方向を＋値、左・下方向を−値とした場合。）
このようにして抽出される画像の中心点Ｐ０が決定される（ステップＳ３０９）。そして、この中心点Ｐ０を中心とした抽出画像Ｐｃ２が抽出される（ステップＳ３１１）。このステップＳ３０１〜Ｓ３１１によって、画像抽出手段が構成される。
【００４８】
次に、抽出された画像の画像処理が行われる（ステップＳ１１３）。図９は、ステップＳ１１３の画像処理の内容を示すサブルーチンである。抽出画像Ｐｃ２に正像変換処理を行うことで、歪みを補正する（ステップＳ４０１）。次に視点変換処理（ステップＳ４０３）を行い、車体データを合成する画像合成処理（ステップＳ４０５）を行う。
【００４９】
ステップＳ３０３において決められた視点位置（図６においては、運転車の視点位置Ｅ1）が基準点とされる。この視点位置に基づき、ステップＳ４０１で処理された画像を、アフィン変換により、カメラ視点の画像から決められた視点位置からの視点画像になるように画像処理する（ステップＳ４０３）。これにより、取得された画像が、特定された視点位置から見た場合の画像に変換される。このステップＳ４０３によって視点変換手段が構成される。
【００５０】
以上のように視点変換処理を行った後、画像合成処理を行う（ステップＳ４０５）。図１０は、画像合成処理の内容を示すフローチャートである。車体データメモリ５４に格納されている車体輪郭データ、タイヤ設置位置データ等を読み出す（ステップＳ５０１）。これらのデータは、車体輪郭やタイヤなどを、画面に映し出す画像化するために必要なデータである。これらのデータを用いて、ステップＳ３０１〜３０９で得られた画像抽出方向のデータに基づき、ステップＳ３１１で抽出される画像と同じ視線方向の車体輪郭画像を生成する（ステップＳ５０３）。
【００５１】
車体輪郭画像とは、具体的には、例えば、車体の輪郭を示すワイヤーフレーム画像、或は、車体内部を映した半透明画像などがある。これらの画像は、車体全部を表している必要はなく、車体の一部であってもよい。車体と外部状況との位置関係が把握できる程度のものでよい。例えば、窓枠、車輪、テールランプ、ヘッドランプなどの内の１つ又は２つ以上のワイヤーフレーム（又は、半透明画像）でもよい。
【００５２】
生成された車体輪郭画像について、ステップＳ４０３で決定された視点位置に基づき、視点変換処理を行う（ステップＳ５０５）。変換方法は、ステップＳ４０３で行った変換方法と同様である。ステップＳ５０１〜Ｓ５０５によって、輪郭形成手段が構成される。
【００５３】
また、輪郭形成手段は、上記ワイヤーフレームの画像を各使用者毎(座席毎)に格納されていてもよく、その場合には、ステップＳ３０３にて特定された使用者（視点位置）に応じたワイヤーフレームを読み込み合成する。こうすることにより画像処理負荷を軽減することが可能である。
【００５４】
ステップＳ５０５で得られた車体輪郭画像を、視点変換処理（ステップＳ４０３）が終了した、車外画像に合成する（ステップＳ５０７）。このように合成された画像は、車体の輪郭が把握できるとともに、車体を透視して視認できる車外状況が同時に把握できる画像である。ステップＳ５０７によって、画像合成手段が構成される。
【００５５】
上記画像処理におけるステップＳ４０１〜Ｓ４０５は、必ずしも上記順番で行われる必要はなく、これらの３つの処理が行われるのであれば、処理の順番は、特に限定されない。例えば、視点変換、画像合成をした後、正像変換してもよく、最初又は最後に視点変換を行ってもよい。
【００５６】
次に、障害物位置検出処理が行われる（ステップＳ１１５）。この処理は車両周囲に存在する障害物を、カメラ３Ｆ、３Ｒ、３Ｌ、３Ｂから取得された画像に基づいて検出する処理である。ステップＳ１０９で取り込んだ画像を原画像として使用する。また、予めテンプレートとして、駐車場の仕切り白線や黄色線等障害物ではないと想定されるパターン画像のデータを、メモリ５４Ａなどに記憶されている。取り込んだ原画像を複数のブロックに分割し（ステップＳ６０１）、分割したブロック中を解析する（ステップＳ６０３）。即ち、分割したブロックの中に、上記予め記憶されているテンプレートの非障害物パターンデータに類似あるいは一致するパターンが存在するか判断する（ステップＳ６０５）。
【００５７】
非障害物と一致しないパターンが存在しない場合には、リターンされる。存在した場合、それは障害物である可能性がある。その擬似障害物は連続したエッジの切り出し処理により、その大きさと形状、位置を特定する（ステップＳ６０７）。ステップＳ６０７で特定された大きさ、形状、位置に基づいて、さらに擬似障害物が、真性障害物であるか判断する（ステップＳ６０９）。例えば車両の駐車を妨げない程度の大きさ（数十センチメートル以下）のものであれば、ゴミとして無視する等、障害物認識としての精度を高める。また、障害物の位置が、車両の進行方向に対して逆側に位置する場合、車両の進行の障害にならないので、障害物と判定しない。なお、障害物と判定されなかった場合には、リターンされる。ステップＳ６０１〜Ｓ６０９によって、障害物検知手段が構成される。
【００５８】
障害物であると判定された場合には、障害物の位置と、取り外した画像表示装置１Ｂの保持者との相対位置を計算する（ステップＳ６１１）。計算された相対位置に基づき、保持者に対して、障害物の存在する方向から音が聞こえるように特定の報知音を、スピーカーから発する（ステップＳ６１２）。即ち、左右のスピーカー２Ｒ、２Ｌの位相差出力によって、障害物の左右方向の位置が特定され、前後のスピーカー２Ｆ、２Ｂの位相差出力によって、前後方向の位置が特定される。即ち、４つのスピーカー２Ｆ、２Ｂ、２Ｒ、２Ｌから発せられる音によって合成される立体音（又は音声）によって、障害物の位置が聴覚により把握することができる。ここで、スピーカー２Ｆ、２Ｂ、２Ｒ、２Ｌから発せられる音は、既述の通り、電子音や、音声などである。
【００５９】
画像表示装置１Ｂの向きと、ステップＳ６１１で特定された障害物の位置が一致しているか、判断する（ステップＳ６１３）。即ち、図６に示されているように、画像表示装置１Ｂの軸線Ｌ1上に障害物が位置しているか否かを判断する。一致していない場合には、相対位置から計算した位相差を元に立体音声の警告を出力する（ステップＳ６１５）。
【００６０】
つまり、画像表示装置１Ｂの向きを、障害物が位置している向きに向けるように、誘導する音声を出力する。例えば、「右方向に向けてください」「もう少し右です。」などである。或は、音声を用いない場合には、間欠的に発せられる音により障害物の位置と画像表示装置１Ｂの向きを一致させるように導く構成としてもよい。例えば、一定の間隔で音を発生させ（例えば、「ピーピーピー・・・・」）、画像表示装置１Ｂの向きが、障害物の位置に近づくに従って、音が発生する間隔を短く（例えば「ピ、ピ、ピ・・・・」）変化させる。保持者は、音の間隔が短く変化するに従って、向きが障害物に近づいていることを知ることができる。そして、障害物の位置に向きが合致した場合には、「ピーーー」といった、連続音に変化させ、或は音の音色を変化させる。この音の変化によって、使用者は、画像表示装置１Ｂが障害物の方向に合致いてることを知ることができ、換言すると、ディスプレイ画面８内に障害物が映し出されていることを知ることができる。
【００６１】
一方、画像表示装置１Ｂの向きと、ステップＳ６１１で特定された障害物の位置が一致している場合には、その旨を報知音により保持者に知らせる（ステップＳ６１７）。具体的には、発せられる音の音質やメロディを変える。或は、音声により報知する。音声の例としては、「障害物が映し出されています」などである。上記ステップＳ６１１〜Ｓ６１７及び音声出力装置２によって、報知音出力制御手段が構成される。
【００６２】
以上のように生成された描画データを、通信装置６１Ａを介して、画像表示装置１Ｂへ送信する（ステップＳ１１７）。画像表示装置１Ｂでは、画像取込装置1Ａから送信された描画データを通信装置６１Ｂを介して受信する（ステップＳ２０９）。受信した描画データをディスプレイ画面８に画像表示する（ステップＳ２１１）。このステップＳ２１１によって表示手段が構成される。図１２に示されているように、ディスプレイ画面８に表示された画像８２は、そのディスプレイ画面８を見ている使用者にとっては、その視線の延長線上にある車外画像に、車体の輪郭Ｂｄが重ねて表示されたものである。つまり、車体によって死角となっている車外の状況を把握することができ、かつ、車体との位置関係も把握することが容易となる。
【００６３】
その後、画像取込装置1Ａ及び画像表示装置1Ｂともに、終了トリガーが検出されたか判断する（ステップＳ１１９及びＳ２１３）。終了トリガーには、スイッチのＯＦＦ操作、イグニッションスイッチのＯＦＦ、シフトポジションや車速が予め定められた動作条件からはずれた場合、或は、画像表示装置１Ｂの保持位置（接続部６２Ａ）へのセット等がある。これらの動作があった場合には、画像取込装置1Ａと画像表示装置1Ｂとの通信は必要がなくなったものとして、通信装置６１Ａと通信装置６１Ｂと通信回線は絶たれる（ステップＳ１２１及びＳ２１５）。
【００６４】
終了トリガーが検出されない場合には、画像取込装置1Ａでは、ステップＳ１０７へ、画像表示装置1Ｂでは、ステップＳ２０５へ、それぞれリターンされ、画像表示動作が継続される。
既述のように、画像表示装置１Ｂは、保持位置に対して着脱自在に構成されている。そして、保持位置に固定された状態では、より鮮明な画像を画像表示面に表示することができるとともに、画像表示装置１Ｂのみを、他の装置の表示画面として用いることもできる。
【図面の簡単な説明】
【００６５】
【図１】画像取込装置の構成を示すブロック図である。
【図２】カメラ取り付け位置を示す、車両の平面図である。
【図３】車内のスピーカー取り付け配置を示す模式図である。
【図４】画像表示装置の構成を示すブロック図である。
【図５】フローチャートである。
【図６】車内の座席配置を示す模式図である。
【図７】画像抽出処理の内容を示すフローチャートである。
【図８】魚眼レンズの画像図である。
【図９】画像処理の内容を示すフローチャートである。
【図１０】画像合成処理の内容を示すフローチャートである。
【図１１】障害物位置検出処理の内容を示すフローチャートである。
【図１２】表示画像図である。
【符号の説明】
【００６６】
１Ａ 画像取込装置
１Ｂ 画像表示装置
２Ｆ、２Ｒ、２Ｌ、２Ｂ スピーカー
３Ｆ、３Ｒ、３Ｌ、３Ｂ カメラ
８ 表示装置（ディスプレイ画面）
【技術分野】
【０００１】
この発明は、車両に搭載された障害物検知支援装置に係り、詳しくは、車体の透過画像を表示する障害物検知支援装置に関するものである。
【背景技術】
【０００２】
従来、自動車の運転者が、車両の周囲を視認する際、車体自体の影となって視覚が遮られ、認識できない死角領域が、車両の周囲に存在する。従来では、運転操作の補助として死角領域をカメラ等の画像取得機器で取得し、画像を車内のモニタに映し出す構成が提案されている。例えば、車両後尾に、車両の後尾に近接した領域を映し出すカメラを設置し、後退時には自動的に車内モニタに後方の撮影画像が映し出される構成などが提案されている。
【特許文献１】特開２００２−２６２２８０
【発明の開示】
【発明が解決しようとする課題】
【０００３】
特許文献１に代表されるように、画像が映し出されるモニタは、車両側に固定されている。このため、肉眼で確認したい方向と、モニタの設置位置が一致しない場合には、肉眼で車外を確認し、かつモニタに顔を向けて死角領域を確認するといった煩わしい動作を行う必要がある。
例えば、車両後方の死角領域を映し出すバックモニタでは、後退時に後方を肉眼で確認するために、顔をバックシートの方向へ向けつつ操舵するとともに、死角領域の確認をする際には、運転席の前方に配置されたモニタを見る必要がある。この様に、後退時には、顔を前後に頻繁に向き直らせなければならず、かえって操作が煩雑になるといった問題がある。
【０００４】
また、従来の装置ではモニタは固定されているので、運転者が見たいところを見るためには、本体やリモコンに設置されたジョイスティックやタッチパネル装置を用いてメニュー画面からカメラを切り替え、或は、カメラをパン・チルトさせるといった手段を取っていた。運転者はこれらの手段により、カメラ画像をスクロールさせ、或は、カメラ画像の切り替えを行う必要があり、運転者にとっては大変煩わしいものであった。
この発明は、車外の障害物の位置を、立体音声により使用者に報知することのできる障害物検知支援装置を提供することを目的とする。
【課題を解決するための手段】
【０００５】
以上のような問題を解決する本発明は、以下のような構成を有する。
（１） 車両の周囲を撮像する撮像手段と、
車両に対して着脱可能に設けられ、前記撮像した画像を表示する画像表示面を有するディスプレイと、
該ディスプレイの位置及び画像表示面の方向を検出する位置検出手段と、
前記検出したディスプレイの位置及び画像表示面の方向から前記ディスプレイの使用者位置を特定する使用者特定手段と、
車両周囲に存在する障害物の位置を検知する障害物検知手段と、
車両室内に、前記特定した使用者位置を基準位置として、前記検知した障害物の位置に対する方向から聞こえるように、障害物の存在を報知する報知音を出力制御する報知音出力制御手段と、を備えたことを特徴とする障害物検知支援装置。
【０００６】
（２） 前記報知音出力制御手段は、前記検知した障害物の位置方向と、前記位置検出手段により検出したディスプレイの方向とが一致した場合に、方向が一致したことを報知する音を出力することを特徴とする請求項１記載の障害物検知支援装置。
【０００７】
（３） 前記撮像手段が撮像した画像から、前記位置検出手段により検出した位置関係に基づき、基準点からディスプレイ上の延長線上に存在する車両周囲の画像を抽出する画像抽出手段と、
上記画像抽出手段に基づいて抽出された画像を前記ディスプレイに表示する表示手段と、をさらに有し、
前記報知音出力制御手段は、前記表示した画像中に、前記検知した障害物が存在する場合、障害物が表示画像中に存在することを報知する音を出力することを特徴とする請求項１または２記載の障害物検知支援装置。
【発明の効果】
【０００８】
請求項１に記載の発明によれば、取り外し可能なディスプレイによって、車両の後退駐車時など、振り返って操舵するドライバの習性に合った、判り易い運転を補助する障害物検知支援装置とすることが出来る。特に、障害物検知手段により検知した障害物のある方向と、使用者特定手段により検出した基準位置とに基づき、基準位置に対する障害物の相対位置が、音により報知されるので、出力される音に導かれて、障害物のある方向が分かるものとなる。従って、感覚的に障害物の存在する方向を短時間で認識することができ、取り外し可能なディスプレイにより、聴覚的に認識された障害物の方向へディスプレイの方向を合わせることが容易となる。
【０００９】
請求項２に記載の発明によれば、障害物検知手段により検知した障害物のある方向と、ディスプレイをかざした方向が一致したことが、特別な音パターンによって報知されるので、音の誘導によって容易に障害物の方向とディスプレイの方向を合致させることができる。
【００１０】
請求項３に記載の発明によれば、基準位置からディスプレイの延長線上に存在する車両周囲の画像を抽出し、ディスプレイに表示することが出来るので、障害物検知手段により検知した障害物のある方向と、ディスプレイの方向が一致したことを特別な音声パターンによって報知することと組み合わせることで、音声の誘導によって簡単に障害物の方向を認識することが出来ると共に、その障害物が何であるのか画像情報を得ることが出来る。
【発明を実施するための最良の形態】
【００１１】
次にこの発明の車外情報表示装置１の好適実施形態について説明する。本発明の車外情報表示装置１は、自動車に搭載され、画像取得装置１Ａと画像表示装置１Ｂとを有している。図１は、画像取得装置１Ａの構成を示すブロック図である。画像取得装置１Ａは、車両２に取り付けられ車両の周囲を撮像する撮像手段である複数のカメラ３Ｆ、３Ｒ、３Ｌ、３Ｂ（図１中、カメラ３Ｌ、３Ｂは省略する）と、画像処理等の演算及び制御を行う演算処理装置４Ａと、メモリ５Ａと、画像表示装置１Ｂとの通信を行う通信装置６１Ａと、画像表示装置１Ｂの接続を行う接続部６２Ａと、これらの装置の通信を媒体するシステムバス１１Ａと、音声出力装置２とを備えている。
【００１２】
カメラ３Ｆ、３Ｒ、３Ｌ、３Ｂは、図２に示されているように、車両１０の側面に、外側に向けて設けられている。車両１０において、カメラ３Ｆは車体前部中央に、カメラ３Ｂは、車体後部中央に、カメラ３Ｒは、車体右側面運転席側方に、カメラ３Ｌは、車体左側面運転席側方にそれぞれ設けられている。本実施形態での各カメラは、魚眼レンズであり、１８０°の画角を有している。側面に設けられたカメラ３Ｒ、３Ｌは、車体の中央部でなく、運転席の側方に設けられている。これは、本装置を使用するのは運転者であることが多いので、カメラ３Ｒ、３Ｌの撮影位置を、使用者（運転者）の視点位置に近づけるために、そのような位置としている。後述する視点変換処理をする際に、変換処理の負担が軽減されるとともに、変換後の画像の歪みも抑えることができるからである。
【００１３】
カメラ３Ｆ、３Ｒ、３Ｌ、３Ｂは、それぞれ魚眼レンズを用いており、例えばＣＣＤ（Charge-Coupled Devices）により、光（画像）信号を電気信号に変換する構成を備えている。それぞれのカメラ３Ｆ、３Ｒ、３Ｌ、３Ｂは、Ａ/Ｄ変換器３１Ｆ、３１Ｒ、３１Ｌ、３１Ｂを介してシステムバス１１Ａに各々接続される。カメラ３Ｆは、車両１０の前方にレンズの光軸を向け、その周囲の景色を画像として取得する。カメラ３Ｒは、車両１０の右側方にレンズの光軸を向け、その周囲の景色を画像として取得する。カメラ３Ｌは、車両１０の左側方にレンズの光軸を向け、その周囲の景色を画像として取得する。カメラ３Ｂは、車両１０の後方にレンズの光軸を向け、その周囲の景色を画像として取得する。
【００１４】
各カメラ３Ｆ、３Ｒ、３Ｌ、３Ｂから出力された画像信号は、Ａ／Ｄ変換器３１Ｆ、３１Ｒ、３１Ｌ、３１Ｂによって、それぞれデジタル信号に変換される。また、接続されたカメラ３Ｆ、３Ｒ、３Ｌ、３Ｂが、デジタル信号出力が可能なものである場合には、Ａ／Ｄ変換器３１Ｆ、３１Ｒ、３１Ｌ、３１Ｂには不要である。なお、本実施形態では、上述のように、撮像手段は、魚眼レンズを用いたカメラ４つを有しているが、車両の周囲３６０°の画像を取得できれば、どのようなカメラを用いても構わない。例えば、５つ以上の複数のカメラを、車両の外側に向けて設置してもよく、また、３６０°の画像を取得できるカメラを１つ用いてもよい。
【００１５】
演算処理装置４Ａは、中央処理装置［ＣＰＵ（Central Processing Unit）］４１Ａと、リードオンリーメモリ［ＲＯＭ］４２Ａと、ランダムアクセスメモリ［ＲＡＭ］４３Ａとを備えている。中央処理装置４１Ａは、例えば、画像取込装置１Ａと、画像表示装置１Ｂとの相対位置を演算し、或は、各カメラから取得された画像に基づいて、車体１０周囲の３６０°画像を合成し、或は、合成した画像から画像表示装置１Ｂへ送る画像を切り取り（抽出し）、また、切り取った画像を使用者の視点位置に視点変換し、切り取った画像に、車両の輪郭を合成する、或は画像表示装置１Ｂとのデータの送受信などの処理及び演算を行う。また、取得された画像を原画像とし、駐車場の仕切り白線や黄色線等、障害物ではないと想定されるパターン画像データと比較し、非障害物パターンデータに一致しないものと障害物として判定する、といった障害物検出処理も行う。
ＲＯＭ４２には、例えば、中央処理装置４１が画像処理を行うためのソフトウエア等が格納されており、ＲＡＭ４３は、例えば、各種画像処理等を行う場としてのワーキングエリアとして使用される。
【００１６】
メモリ５Ａは、各カメラ３Ｆ、３Ｒ、３Ｌ、３Ｂが撮影した画像を経時的に連続してそれぞれ記録するカメラ画像バッファ５１Ｆ、５１Ｒ、５１Ｌ、５１Ｂと、描画用画像バッファ５２Ａと、画像処理情報メモリ５３Ａと、車両情報記憶手段である車体データメモリ５４Ａと、ワークメモリ５５Ａと、音声データメモリ２１Ａと、音声パターンデータメモリ２２Ａとを備えている。
【００１７】
描画用画像バッファ５２Ａには、カメラ画像に画像処理を施して生成した画像が保存される。画像処理情報メモリ５３Ａには、視点変換、歪み補正、合成等画像処理を実行するために必要な変数が保存される。例えば、ＧＵＩで構成されたメニュー画面等を介して設定値の入力や変更は適宜可能となっている。車体データメモリ５４Ａには、表示画像に重ねて、車体透過イメージを作るために必要な輪郭情報が格納されている。輪郭情報には、車体の輪郭やタイヤ位置等を表現した3Dモデリングデータまたは3Dに見えるように描かれたビットマップデータなどが保存されている。この車体データメモリ５４Ａに保存されるデータには、カメラ画像または画像処理後のカメラ画像と合成するために使用するマスクデータも含まれる。ワークメモリ５５Ａは、視点変換処理、歪補正処理、ワイヤーフレームの画像合成処理などの画像処理を行う場合のワーキングエリアとして使用される。
【００１８】
音声データメモリ２１Ａには、障害物の位置を知らせる音声のトーン（例えば、男性の声、女性の声、機械的な声）や、音声以外の報知音（高さの異なる数種類の電子音等）が格納されている。音声パターンデータメモリ２２Ａには、障害物の位置を知らせる音声パターンが格納されている。例えば、「障害物が検出されました。」「ディスプレイ方向を右に向けて下さい。」「ディスプレイ方向と障害物の方向が一致しました。」等の案内音声パターンである。
【００１９】
通信装置６１Ａは、画像表示装置１Ｂからのセンサデータ受信、画像表示装置１Ｂへの描画用画像データ送信を行う。通信手段としては、有線と無線があるが、無線の場合は、無線ＬＡＮ（ＩＥＥＥ802．11ａ／ｂ／ｇ）、Ｂｌｕｅｔｏｏｔｈ、赤外線（ＩｒＤＡ）、小電力ＦＭトランスミッター、ＵＷＢ（Ultra Wide Band）、スペクトラム拡散（ＳＳ）等が考えられる。
【００２０】
接続部６２Ａは、接続端子を備え、画像表示装置１Ｂの接続部６２Ｂに設けられた接続端子と接続するものである。画像表示装置１Ｂの接続部６２Ｂと接続することによって、通信装置６１Ａと同様の作用をする。この接続部６２Ａは、例えば、画像表示装置１Ｂと接続するための保持位置として機能する。
【００２１】
一方、画像表示装置１Ｂは、画像処理等の演算及び制御を行う演算処理装置４Ｂと、通信装置６１Ｂと、接続部６２Ｂと、メモリ５Ｂと、位置・角度検出装置７と、Ａ/Ｄ変換装置７１と、表示装置８と、Ｄ／Ａ変換装置８１と、これらの装置の通信を媒体するシステムバス１１Ｂを有している。
【００２２】
音声出力装置２は、車両１０の車両室内に設けられ、音声を位相差出力する立体音声出力手段である少なくとも２以上のスピーカーを備える。本実施形態の場合、図３に示されているように、スピーカーは車両１０の室内に４つ設けられている。車両１０の室内において、スピーカー２Ｆは車体前部中央に、スピーカー２Ｂは車体後部中央に、スピーカー２Ｒは車体右側面運転席側方に、スピーカー２Ｌは車体左側面運転席側方にそれぞれ設けられている。このスピーカー２Ｆ、２Ｂ、２Ｒ、２Ｌの配置は、カメラ３Ｆ、３Ｒ、３Ｌ、３Ｂの配置位置に対応させて、略同じ位置となっている。このような位置にスピーカーを配置することによって、カメラの配線とスピーカーの配線を束ねることができ、カメラとスピーカーの取り付け作業が容易となる。さらに、カメラとスピーカーを一体化し、単一のユニットと（集合体）とすることによって、組立作業が容易となる。
【００２３】
この他、車内の４隅にスピーカーを設けることもできる。通常、車両に搭載されているオーディオ装置は、複数のスピーカーを有しているので、車両に搭載しているオーディオ装置のスピーカーと兼用して用いてもよい。
本実施形態では、図３に示されているように、音声出力装置２はスピーカーを４つ有しているものである。が、障害物のある方向がある程度分かるように最低２つ、例えば、車体中央前後部もしくは車体中央左右側方にスピーカー設けられるものとしても良い。勿論、障害物のある方向がより細かく分かるように、例えば、後部座席左右側方にもそれぞれスピーカーを設け、合計６つのスピーカーから構成されるようにしても良い。
【００２４】
スピーカーが２つの場合には、図示されているように、運転席の左右側に配置する（２Ｒ、２Ｌ）ことによって、障害物の左右方向の位置を把握することができる。そして、前後方向の位置は、報知音の音質（音の高低、発信音の間隔、リズムの違い、メロディの違い）の違いにより、分けて報知することにより、運転者に知らせることができる。例えば、音が高い場合には、前側に障害物があり、低い場合には、後ろ側に障害物があることを意味する。或は、車の進行方向に障害物がある（障害物が近づいている）場合には、報知音を高く、車の進行方向の反対側に障害物がある場合には（障害物が離れている）場合には、報知音を低くすることもできる。また、音声により、車両の前側か、後ろ側かを、案内してもよい。更に、スピーカーを１つ設けた場合には、音声案内によって、障害物の方向を知らせることもできる。例えば、「２時の方向に障害物がある。」「７時方向に障害物がある」等のように案内することができる。
【００２５】
図４は、画像表示装置１Ｂの構成を示すブロック図である。
演算処理装置４Ｂは、中央処理装置［ＣＰＵ（Central Processing Unit）］４１Ｂと、リードオンリーメモリ［ＲＯＭ］４２Ｂと、ランダムアクセスメモリ［ＲＡＭ］４３Ｂとを備えている。中央処理装置４１Ｂは、例えば、位置・角度検出装置７からの位置と角度のデータ等(センサデータ)をメモリ５Ｂへ書き込みおよび演算、データ送受信の制御、画像の描画等を行う。通信装置６１Ｂは、画像取込装置１Ａへのセンサデータ送信、画像表示装置１Ａからの描画用画像データ受信を行う。接続部６２Ｂは、接続端子を備え、画像取得装置１Ａの接続部６２Ａに設けられた接続端子と接続することによって、通信装置６１Ｂと同様の作用をする。
【００２６】
本願発明の位置検出手段および角度検出手段である位置・角度検出装置７は、画像表示装置１Ｂの基準点からの位置および角度を検出する。位置・角度検出装置７は、ジャイロセンサ、加速度センサ、地磁気センサ等により構成される。これらのセンサは画像取得装置1Ａと画像表示装置1Ｂとの相対距離(位置関係)及び相対角度(方向)を算出するために用いるものであり、相対距離及び相対角度を算出できるものであれば、上述のセンサのうち１つの使用でも複数の使用でもかまわない。さらに、本発明は上述のセンサに限られるものではなく、相対距離及び相対角度を検出できるものであれば、どのようなセンサを用いてもかまわない。
【００２７】
ジャイロセンサ、地磁気センサによって、画像表示装置１Ｂの向きが検出され、加速度センサによって移動距離や角度（仰角・俯角）が検出される。さらに、車内に設けられた３つの測量点から、電波・超音波等によって画像表示装置１Ｂの位置を三点測量し、位置検出する方法などが採られる。具体的には、上記センサ類による位置検出と、三点測量による位置検出とを複合的に用いて、位置検出が行われる。この位置検出の演算は、センサ類が検出したデータに基づく演算及び三点測量による演算は、画像取得装置１Ａの中央処理装置１Ａで行われる。さらに、画像表示装置１Ｂの姿勢は、ＧＰＳや電波測量と同じように、画像表示装置１Ｂ側の、同一直線状に存在しない３点の位置をそれぞれ検出することによっても、検出することができる。
【００２８】
上記三点測量による場合、車内に設けられる３つの測量点を、例えば、４つのスピーカーの内の３つの位置の近傍にもうけることができる。このように、スピーカー位置の近くに設けることによって、超音波発信機等の測量機器の配線とスピーカーの配線を束ねることができ、測量機器とスピーカーの取り付け作業が容易となる。さらに、測量機器とスピーカーを一体化し、単一のユニットと（集合体）とすることによって、組立作業が容易となる。これは、同様に、測量点をカメラが配置されている４箇所の内、３箇所の近傍に測量機器を設けても同様であり、また、カメラ、スピーカー及び測量機器をユニット化することにより、より一層組立て作業の効率化を図ることができる。
【００２９】
Ａ/Ｄ変換器７１は、アナログ出力であるセンサ出力を中央処理装置１Ｂが扱えるようにデジタルデータに変換する。なお、位置・角度検出装置７からの出力が予めデジタル出力の場合には、Ａ/Ｄ変換器７１は不要である。
【００３０】
本発明の表示手段である表示装置８は、受信した描画用画像データを表示する。表示装置８は、ディプレイ画面を備え、ディスプレイ画面は、例えば液晶パネルやＥＬパネル等が用いられる。Ｄ／Ａ変換器８１は、表示装置８がアナログ入力の場合、中央処理装置１Ｂが扱うデジタルデータをアナログデータに変換する。表示装置８がデジタル入力対応であれば不要となる。メモリ５Ｂは、センサデータや受信した画像データのバッファリングに用いられる。
【００３１】
以上のように構成された本発明の車外情報表示装置１の作用について、図５に示されているフローチャートに基づき説明する。
システムが起動すると、まず画像取込装置１Ａ及び画像表示装置１Ｂの初期化処理が行われる（ステップＳ１０１、Ｓ２０１）。システム起動は、イグニッションON、スイッチ操作等によって行われ、シフトポジションや車速に応じて動作するといった動作制限を設けても良い。或は、車両の方向を転換する予備動作として行われる動作を検出して、システムが起動する構成としてもよい。また、画像表示装置1Ｂを保持位置（接続部６２Ａ）から離脱させた場合に、即ち、接続部６２Ａと接続部６２Ｂの接続が切り離された場合に、システム起動する構成としてもよい。
【００３２】
画像取込装置１Ａの初期化処理としては、カメラ電源のオンや明るさ・コントラスト設定等のカメラの初期化を行い、画像取込のための準備を行う。また、画像処理に必要となるパラメータを、メモリ５Ａに格納されたデフォルト値を読み出し、或はユーザー入力を促す等の方法で設定する。また、画像表示装置１Ｂの初期化処理としては、位置・角度検出のために用いるセンサ類の初期化が行われ、測定基準点は、保持位置に設定される。
【００３３】
画像表示装置１Ｂであるディスプレイが、画像取込装置１Ａから取り外されたか判断する（ステップＳ１０３、Ｓ２０２）。取り外された場合には、接続部６２Ｂと接続部６２Ａとの接続が切り離され、以後、画像取込装置１Ａの通信装置６１Ａと、画像表示装置１Ｂの通信装置６１Ｂとの間で通信が行われ、データの授受がなされる。即ち、取り外された場合には、通信回線が確立され、回線が接続される（ステップＳ１０５、Ｓ２０３）。
【００３４】
回線が確立すると、画像表示装置１Ｂでは、位置・角度検出装置７により画像表示装置1Ｂの位置・角度の情報を取得する（ステップＳ２０５）。取得される値は、ディスプレイ画面の仰角又は俯角、画面の向き（車に対しての水平方向の回転角度）、移動距離等に関する値である。取得されたデータは、通信装置６１Ｂを介して、画像取込装置１Ａに送信される（ステップＳ２０７）。画像取込装置1Ａ側では、通信装置６１Ａを介して、画像表示装置１Ｂから送信されたセンサデータを受信する（ステップＳ１０７）。受信するセンサデータには、ジャイロセンサによって検出されるディスプレイ画面の角度（仰角又は俯角）、及び画面回転角（車両に対しての水平方向の回転角度）に関するデータ、地磁気センサによってディスプレイ画面の方向（ディスプレイ画面に垂直な直線を水平面内に投影した線Ｌ１（図６）の向きに関するデータ、などがある。
【００３５】
画像取込装置１Ａ側では、各カメラから画像取込を開始する（ステップＳ１０５）。取込まれた画像データはメモリ５Ａに確保されたバッファ５１Ｆ、５１Ｒ、５１Ｌ、５１Ｂに随時格納される。
【００３６】
ステップＳ１０７において受信されたデータに基づいて、画像抽出処理が行われる（ステップＳ１１１）。この画像抽出処理は、図７に示されているサブルーチンに基づき説明する。位置・角度検出装置７に基づき、３点測量により画像表示装置１Ｂの３次元位置を検出する（ステップＳ３０１）。画像表示装置１Ｂの３次元位置は、図６に示されているように、画像表示装置１Ｂの保持位置１０１を起点（Ｘ，Ｙ，Ｚ＝０，０，０）として、ステップＳ１０７で受信した画像表示装置1Ｂの位置・角度検出装置７からの位置の情報、または三点測量等を用いて相対位置を算出することによって、位置特定される（Ｘ，Ｙ，Ｚ＝ｘ1，ｙ1，ｚ1）。このステップＳ３０１によって位置検出手段が構成される。起点は、保持位置でなくとも良く、車内空間の４隅のいずれか、車内空間の中央、ハンドルの位置、運転手の視点位置、バックミラーの位置等、いずれでもよい。
【００３７】
また、画像表示装置１Ｂに設けられたジャイロセンサや加速度センサ、地磁気センサからの値に基づいて、画像表示装置1Ｂの姿勢が特定される（ステップＳ３０２）。姿勢とは、画像表示装置1Ｂのディスプレイ画面の向いている方向であり、この姿勢の特定によって、ディスプレイ画面の仰角又は俯角（傾き）及び回転角が特定される。ステップＳ３０１、Ｓ３０２によって、位置検出手段が構成される。
【００３８】
ステップＳ３０１及びステップＳ３０２で決定された位置及び姿勢から視点位置を特定する（ステップＳ３０３）。この実施形態では、視点位置は、各座席毎に予め定められており、視点位置としての座標が画像処理情報メモリ５３に記憶されている。例えば、運転席１１１には、視点位置Ｅ1が予め座標（ｘｅ1，ｙｅ1，ｚｅ1）として記憶されている。助手席１１２には、視点位置Ｅ2が座標（ｘｅ2，ｙｅ2，ｚｅ2）として、その他３人掛けの後部座席１１３には、視点位置Ｅ３、Ｅ４、Ｅ５が、座席１１４には、視点位置Ｅ６、Ｅ７、Ｅ８がそれぞれ予め決められており、それぞれ固有の座標が記憶されている。そして、各視点位置に応じた領域が予め定められており、どの領域内に画像表示装置1Ｂが含まれているかを判断し、その領域に対応した視点位置が決定される。
【００３９】
この領域は、各座席毎に設定され、座席の第１列目の背もたれよりも前方側の領域であって、運転席と助手席に対応した領域、この領域には、視点位置Ｅ１、Ｅ２がそれぞれ対応している。
第２列目の座席１１３の背もたれと、第１列目の座席１１１、１１２の背もたれとの間に設けられた領域であって、乗車する人間が座る位置に応じて設けられた３つの領域には、視点位置Ｅ３、Ｅ４、Ｅ５がそれぞれ対応している。
第３列目の座席１１４の背もたれと、第２列目の座席１１３の背もたれとの間に設けられた領域であって、乗車する人間が座る位置に応じて設けられた３つの領域には、視点位置Ｅ６、Ｅ７、Ｅ８がそれぞれ対応している。
【００４０】
そして、各領域の境目に画像表示装置1Ｂが位置する場合には、表示装置であるディスプレイ８が表示する側にある視点位置が選択される。このような作用を有するステップＳ３０３によって、視点位置特定手段が構成される。このように、画像表示装置1Ｂの位置と、姿勢が特定されると、視点位置が決定される。この実施形態では、運転席の運転手の視点位置Ｅ１となる。また、視点位置が特定されることによって、使用者の位置も同時に特定されることとなるので、ステップＳ３０３により、使用者特定手段が構成される。
【００４１】
視点位置の特定方法として、既述のように、予め座席位置に応じた視点位置の座標を決めておき、これを記憶しておく構成の他、位置特定された画像表示装置１Ｂのディスプレイ画面８の中心を通る垂直線（軸線）上に位置し、ディスプレイ画面８から所定の距離（例えば、３５〜５０ｃｍ程度の範囲内で予め定められた距離）離れて位置する点を視点位置と想定し、その位置の座標を算出する方法を摂ってもよい。さらに他の方法としては、ディスプレイ画面８が設けられている側において、画像表示装置１Ｂに最も近い視点位置を、８つの視点位置の中から選択する方法としてもよい。
【００４２】
以上のとおり、視点位置Ｅ１が特定されると、該視点位置Ｅ１と、ディスプレイの中央部とを結ぶ直線が特定され、この直線の延長線上において、視点位置Ｅ１からディスプレイ８へ向かう方向が、画像を取得する方向として特定される（ステップＳ３０４）。このステップＳ３０４によって方向検出手段が構成される。
【００４３】
次に、視点位置Ｅ１とディスプレイ８とを結ぶ直線を平面に投影した場合の直線Ｌ1と、車両の軸線（Ｙ軸）との成す角α（回転角）を算出する（ステップＳ３０５）。ステップＳ３０２及びステップＳ３０５により本願発明の角度検出手段が構成される。
次に、角度αに基づき、抽出画像を抽出する画像を取り込むカメラを選択する（ステップＳ３０７）。このステップＳ３０７によって、選択手段が構成される。
【００４４】
角度αについては、図２に示されているように、カメラレンズの光軸の交差点を中心として、前方を0°後方を±180°、左方向をマイナス値、右方向をプラス値と設定する。そして、- 25°<α< 25°の場合には、前方カメラ３Ｆ、-160°<α<-25°の場合には、左側方カメラ３Ｌ、25°<α<160°の場合には、右側方カメラ３Ｒ、-160°<α<-180°の場合又は160°<α<180°の場合には、後方カメラ３Ｂを選択する。このように、切り出す画像の領域、車両の側面のカメラ３Ｒ、３Ｌで取得された画像がより広く、車両の前後のカメラ３Ｆ、３Ｂで取得された画像が狭く構成されている。車両に並走する自転車やオートバイを捕えるためには、側面のカメラの画像が有用であるからである。換言すると、側面のカメラ３Ｒ、３Ｌを原則として用い、これらのカメラで捕えられない領域、即ち、真正面、真後などの領域では、前方に設けられたカメラＦと後方に設けられたカメラＢを用いる。
【００４５】
この他、ステップＳ３０７によって構成さる選択手段の他の実施形態として、撮像方向に向けられたカメラレンズの光軸（ベクトル）と、特定された視点位置から画像表示装置１Ｂへ向かう延長線（ベクトル）との交差角度が、最も小さいカメラを選択する構成としてもよい。カメラの光軸と視線とが最も平行に近いカメラが選択されるので、視点変換された画像の歪みが抑制され、より鮮明な画像を得ることができる。このような選択方法は、魚眼レンズを有さないカメラを多数設け、これらのカメラ画像を繋ぎ合わせて画像を構成する場合に特に有用である。
【００４６】
さらに、その他の方法として、直線Ｌ１が、車体の側面の輪郭線と交差する場合には、側面に設けられたカメラ３Ｒ、３Ｌを選択し、車体の正面の輪郭と交差する場合には、正面のカメラ３Ｆを選択し、車体の背面の輪郭と交差する場合には、背面のカメラ３Ｂを選択する構成としてもよい。また、ステップＳ３０５によって検出された角度αではなく、車両に対するディスプレイの向いている方向のカメラを選択する構成としてもよい。
【００４７】
次に、選択されたカメラの魚眼画像内において、抽出する画像の抽出位置を決定する（ステップＳ３０９）。図８に示されているように、選択されたカメラ画像（魚眼画像Ｐｃ１）から、抽出画像Ｐｃ２を決定する。具体的には、カメラ選択に使用した角度αを魚眼画像Ｐｃ１の横方向の座標に変換する。魚眼画像の縦方向の座標については、画像表示装置の仰角または俯角に対応させる。例えば、α=-70°、センサの俯角データが-20°であれば、魚眼画像内の位置では、水平方向20°（＝90°−70°）、垂直方向-20°となる。（ただし、魚眼画像の中心を0°とし、中心から右・上方向を＋値、左・下方向を−値とした場合。）
このようにして抽出される画像の中心点Ｐ０が決定される（ステップＳ３０９）。そして、この中心点Ｐ０を中心とした抽出画像Ｐｃ２が抽出される（ステップＳ３１１）。このステップＳ３０１〜Ｓ３１１によって、画像抽出手段が構成される。
【００４８】
次に、抽出された画像の画像処理が行われる（ステップＳ１１３）。図９は、ステップＳ１１３の画像処理の内容を示すサブルーチンである。抽出画像Ｐｃ２に正像変換処理を行うことで、歪みを補正する（ステップＳ４０１）。次に視点変換処理（ステップＳ４０３）を行い、車体データを合成する画像合成処理（ステップＳ４０５）を行う。
【００４９】
ステップＳ３０３において決められた視点位置（図６においては、運転車の視点位置Ｅ1）が基準点とされる。この視点位置に基づき、ステップＳ４０１で処理された画像を、アフィン変換により、カメラ視点の画像から決められた視点位置からの視点画像になるように画像処理する（ステップＳ４０３）。これにより、取得された画像が、特定された視点位置から見た場合の画像に変換される。このステップＳ４０３によって視点変換手段が構成される。
【００５０】
以上のように視点変換処理を行った後、画像合成処理を行う（ステップＳ４０５）。図１０は、画像合成処理の内容を示すフローチャートである。車体データメモリ５４に格納されている車体輪郭データ、タイヤ設置位置データ等を読み出す（ステップＳ５０１）。これらのデータは、車体輪郭やタイヤなどを、画面に映し出す画像化するために必要なデータである。これらのデータを用いて、ステップＳ３０１〜３０９で得られた画像抽出方向のデータに基づき、ステップＳ３１１で抽出される画像と同じ視線方向の車体輪郭画像を生成する（ステップＳ５０３）。
【００５１】
車体輪郭画像とは、具体的には、例えば、車体の輪郭を示すワイヤーフレーム画像、或は、車体内部を映した半透明画像などがある。これらの画像は、車体全部を表している必要はなく、車体の一部であってもよい。車体と外部状況との位置関係が把握できる程度のものでよい。例えば、窓枠、車輪、テールランプ、ヘッドランプなどの内の１つ又は２つ以上のワイヤーフレーム（又は、半透明画像）でもよい。
【００５２】
生成された車体輪郭画像について、ステップＳ４０３で決定された視点位置に基づき、視点変換処理を行う（ステップＳ５０５）。変換方法は、ステップＳ４０３で行った変換方法と同様である。ステップＳ５０１〜Ｓ５０５によって、輪郭形成手段が構成される。
【００５３】
また、輪郭形成手段は、上記ワイヤーフレームの画像を各使用者毎(座席毎)に格納されていてもよく、その場合には、ステップＳ３０３にて特定された使用者（視点位置）に応じたワイヤーフレームを読み込み合成する。こうすることにより画像処理負荷を軽減することが可能である。
【００５４】
ステップＳ５０５で得られた車体輪郭画像を、視点変換処理（ステップＳ４０３）が終了した、車外画像に合成する（ステップＳ５０７）。このように合成された画像は、車体の輪郭が把握できるとともに、車体を透視して視認できる車外状況が同時に把握できる画像である。ステップＳ５０７によって、画像合成手段が構成される。
【００５５】
上記画像処理におけるステップＳ４０１〜Ｓ４０５は、必ずしも上記順番で行われる必要はなく、これらの３つの処理が行われるのであれば、処理の順番は、特に限定されない。例えば、視点変換、画像合成をした後、正像変換してもよく、最初又は最後に視点変換を行ってもよい。
【００５６】
次に、障害物位置検出処理が行われる（ステップＳ１１５）。この処理は車両周囲に存在する障害物を、カメラ３Ｆ、３Ｒ、３Ｌ、３Ｂから取得された画像に基づいて検出する処理である。ステップＳ１０９で取り込んだ画像を原画像として使用する。また、予めテンプレートとして、駐車場の仕切り白線や黄色線等障害物ではないと想定されるパターン画像のデータを、メモリ５４Ａなどに記憶されている。取り込んだ原画像を複数のブロックに分割し（ステップＳ６０１）、分割したブロック中を解析する（ステップＳ６０３）。即ち、分割したブロックの中に、上記予め記憶されているテンプレートの非障害物パターンデータに類似あるいは一致するパターンが存在するか判断する（ステップＳ６０５）。
【００５７】
非障害物と一致しないパターンが存在しない場合には、リターンされる。存在した場合、それは障害物である可能性がある。その擬似障害物は連続したエッジの切り出し処理により、その大きさと形状、位置を特定する（ステップＳ６０７）。ステップＳ６０７で特定された大きさ、形状、位置に基づいて、さらに擬似障害物が、真性障害物であるか判断する（ステップＳ６０９）。例えば車両の駐車を妨げない程度の大きさ（数十センチメートル以下）のものであれば、ゴミとして無視する等、障害物認識としての精度を高める。また、障害物の位置が、車両の進行方向に対して逆側に位置する場合、車両の進行の障害にならないので、障害物と判定しない。なお、障害物と判定されなかった場合には、リターンされる。ステップＳ６０１〜Ｓ６０９によって、障害物検知手段が構成される。
【００５８】
障害物であると判定された場合には、障害物の位置と、取り外した画像表示装置１Ｂの保持者との相対位置を計算する（ステップＳ６１１）。計算された相対位置に基づき、保持者に対して、障害物の存在する方向から音が聞こえるように特定の報知音を、スピーカーから発する（ステップＳ６１２）。即ち、左右のスピーカー２Ｒ、２Ｌの位相差出力によって、障害物の左右方向の位置が特定され、前後のスピーカー２Ｆ、２Ｂの位相差出力によって、前後方向の位置が特定される。即ち、４つのスピーカー２Ｆ、２Ｂ、２Ｒ、２Ｌから発せられる音によって合成される立体音（又は音声）によって、障害物の位置が聴覚により把握することができる。ここで、スピーカー２Ｆ、２Ｂ、２Ｒ、２Ｌから発せられる音は、既述の通り、電子音や、音声などである。
【００５９】
画像表示装置１Ｂの向きと、ステップＳ６１１で特定された障害物の位置が一致しているか、判断する（ステップＳ６１３）。即ち、図６に示されているように、画像表示装置１Ｂの軸線Ｌ1上に障害物が位置しているか否かを判断する。一致していない場合には、相対位置から計算した位相差を元に立体音声の警告を出力する（ステップＳ６１５）。
【００６０】
つまり、画像表示装置１Ｂの向きを、障害物が位置している向きに向けるように、誘導する音声を出力する。例えば、「右方向に向けてください」「もう少し右です。」などである。或は、音声を用いない場合には、間欠的に発せられる音により障害物の位置と画像表示装置１Ｂの向きを一致させるように導く構成としてもよい。例えば、一定の間隔で音を発生させ（例えば、「ピーピーピー・・・・」）、画像表示装置１Ｂの向きが、障害物の位置に近づくに従って、音が発生する間隔を短く（例えば「ピ、ピ、ピ・・・・」）変化させる。保持者は、音の間隔が短く変化するに従って、向きが障害物に近づいていることを知ることができる。そして、障害物の位置に向きが合致した場合には、「ピーーー」といった、連続音に変化させ、或は音の音色を変化させる。この音の変化によって、使用者は、画像表示装置１Ｂが障害物の方向に合致いてることを知ることができ、換言すると、ディスプレイ画面８内に障害物が映し出されていることを知ることができる。
【００６１】
一方、画像表示装置１Ｂの向きと、ステップＳ６１１で特定された障害物の位置が一致している場合には、その旨を報知音により保持者に知らせる（ステップＳ６１７）。具体的には、発せられる音の音質やメロディを変える。或は、音声により報知する。音声の例としては、「障害物が映し出されています」などである。上記ステップＳ６１１〜Ｓ６１７及び音声出力装置２によって、報知音出力制御手段が構成される。
【００６２】
以上のように生成された描画データを、通信装置６１Ａを介して、画像表示装置１Ｂへ送信する（ステップＳ１１７）。画像表示装置１Ｂでは、画像取込装置1Ａから送信された描画データを通信装置６１Ｂを介して受信する（ステップＳ２０９）。受信した描画データをディスプレイ画面８に画像表示する（ステップＳ２１１）。このステップＳ２１１によって表示手段が構成される。図１２に示されているように、ディスプレイ画面８に表示された画像８２は、そのディスプレイ画面８を見ている使用者にとっては、その視線の延長線上にある車外画像に、車体の輪郭Ｂｄが重ねて表示されたものである。つまり、車体によって死角となっている車外の状況を把握することができ、かつ、車体との位置関係も把握することが容易となる。
【００６３】
その後、画像取込装置1Ａ及び画像表示装置1Ｂともに、終了トリガーが検出されたか判断する（ステップＳ１１９及びＳ２１３）。終了トリガーには、スイッチのＯＦＦ操作、イグニッションスイッチのＯＦＦ、シフトポジションや車速が予め定められた動作条件からはずれた場合、或は、画像表示装置１Ｂの保持位置（接続部６２Ａ）へのセット等がある。これらの動作があった場合には、画像取込装置1Ａと画像表示装置1Ｂとの通信は必要がなくなったものとして、通信装置６１Ａと通信装置６１Ｂと通信回線は絶たれる（ステップＳ１２１及びＳ２１５）。
【００６４】
終了トリガーが検出されない場合には、画像取込装置1Ａでは、ステップＳ１０７へ、画像表示装置1Ｂでは、ステップＳ２０５へ、それぞれリターンされ、画像表示動作が継続される。
既述のように、画像表示装置１Ｂは、保持位置に対して着脱自在に構成されている。そして、保持位置に固定された状態では、より鮮明な画像を画像表示面に表示することができるとともに、画像表示装置１Ｂのみを、他の装置の表示画面として用いることもできる。
【図面の簡単な説明】
【００６５】
【図１】画像取込装置の構成を示すブロック図である。
【図２】カメラ取り付け位置を示す、車両の平面図である。
【図３】車内のスピーカー取り付け配置を示す模式図である。
【図４】画像表示装置の構成を示すブロック図である。
【図５】フローチャートである。
【図６】車内の座席配置を示す模式図である。
【図７】画像抽出処理の内容を示すフローチャートである。
【図８】魚眼レンズの画像図である。
【図９】画像処理の内容を示すフローチャートである。
【図１０】画像合成処理の内容を示すフローチャートである。
【図１１】障害物位置検出処理の内容を示すフローチャートである。
【図１２】表示画像図である。
【符号の説明】
【００６６】
１Ａ 画像取込装置
１Ｂ 画像表示装置
２Ｆ、２Ｒ、２Ｌ、２Ｂ スピーカー
３Ｆ、３Ｒ、３Ｌ、３Ｂ カメラ
８ 表示装置（ディスプレイ画面）
【特許請求の範囲】
【請求項１】
車両の周囲を撮像する撮像手段と、
車両に対して着脱可能に設けられ、前記撮像した画像を表示する画像表示面を有するディスプレイと、
該ディスプレイの位置及び画像表示面の方向を検出する位置検出手段と、
前記検出したディスプレイの位置及び画像表示面の方向から前記ディスプレイの使用者位置を特定する使用者特定手段と、
車両周囲に存在する障害物の位置を検知する障害物検知手段と、
車両室内に、前記特定した使用者位置を基準位置として、前記検知した障害物の位置に対する方向から聞こえるように、障害物の存在を報知する報知音を出力制御する報知音出力制御手段と、を備えたことを特徴とする障害物検知支援装置。
【請求項２】
前記報知音出力制御手段は、前記検知した障害物の位置方向と、前記位置検出手段により検出したディスプレイの方向とが一致した場合に、方向が一致したことを報知する音を出力することを特徴とする請求項１記載の障害物検知支援装置。
【請求項３】
前記撮像手段が撮像した画像から、前記位置検出手段により検出した位置関係に基づき、基準位置からディスプレイ上の延長線上に存在する車両周囲の画像を抽出する画像抽出手段と、
上記画像抽出手段に基づいて抽出された画像を前記ディスプレイに表示する表示手段と、をさらに有し、
前記報知音出力制御手段は、前記表示した画像中に、前記検知した障害物が存在する場合、障害物が表示画像中に存在することを報知する音を出力することを特徴とする請求項１または２記載の障害物検知支援装置。
【請求項１】
車両の周囲を撮像する撮像手段と、
車両に対して着脱可能に設けられ、前記撮像した画像を表示する画像表示面を有するディスプレイと、
該ディスプレイの位置及び画像表示面の方向を検出する位置検出手段と、
前記検出したディスプレイの位置及び画像表示面の方向から前記ディスプレイの使用者位置を特定する使用者特定手段と、
車両周囲に存在する障害物の位置を検知する障害物検知手段と、
車両室内に、前記特定した使用者位置を基準位置として、前記検知した障害物の位置に対する方向から聞こえるように、障害物の存在を報知する報知音を出力制御する報知音出力制御手段と、を備えたことを特徴とする障害物検知支援装置。
【請求項２】
前記報知音出力制御手段は、前記検知した障害物の位置方向と、前記位置検出手段により検出したディスプレイの方向とが一致した場合に、方向が一致したことを報知する音を出力することを特徴とする請求項１記載の障害物検知支援装置。
【請求項３】
前記撮像手段が撮像した画像から、前記位置検出手段により検出した位置関係に基づき、基準位置からディスプレイ上の延長線上に存在する車両周囲の画像を抽出する画像抽出手段と、
上記画像抽出手段に基づいて抽出された画像を前記ディスプレイに表示する表示手段と、をさらに有し、
前記報知音出力制御手段は、前記表示した画像中に、前記検知した障害物が存在する場合、障害物が表示画像中に存在することを報知する音を出力することを特徴とする請求項１または２記載の障害物検知支援装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【公開番号】特開２００６−１１５１６（Ｐ２００６−１１５１６Ａ）
【公開日】平成１８年１月１２日（２００６．１．１２）
【国際特許分類】
【出願番号】特願２００４−１８３５２７（Ｐ２００４−１８３５２７）
【出願日】平成１６年６月２２日（２００４．６．２２）
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．Ｂｌｕｅｔｏｏｔｈ
【出願人】（５９１２６１５０９）株式会社エクォス・リサーチ (1,360)
【Ｆターム（参考）】
【公開日】平成１８年１月１２日（２００６．１．１２）
【国際特許分類】
【出願日】平成１６年６月２２日（２００４．６．２２）
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．Ｂｌｕｅｔｏｏｔｈ
【出願人】（５９１２６１５０９）株式会社エクォス・リサーチ (1,360)
【Ｆターム（参考）】
[ Back to top ]