車両周囲表示装置、車両周囲表示方法
【課題】 従来、車載装置において、車両の周囲を画像として表示するとともに、コーナーセンサー等により障害物の存在を検知して、車両の周囲の画像上に当該コーナーセンサーが障害物を検知した旨の表示を行う技術がある。しかし、そのような技術では、障害物が付近に存在することを示すことはできるが、運転者は障害物の具体的な形状をイメージし難い。
本発明の目的は、運転者に車両の周囲の立体物の配置状況をよりわかりやすく示す技術を提供することにある。
【解決手段】
本発明の車両周囲表示装置は、車両の周囲を撮像するとともに車両の周囲に存在する立体物の高さを検知して、立体物の高さが車両にとって危険な高さにある場合に、画像に含まれる危険な障害物を特徴付けて表示する。
本発明の目的は、運転者に車両の周囲の立体物の配置状況をよりわかりやすく示す技術を提供することにある。
【解決手段】
本発明の車両周囲表示装置は、車両の周囲を撮像するとともに車両の周囲に存在する立体物の高さを検知して、立体物の高さが車両にとって危険な高さにある場合に、画像に含まれる危険な障害物を特徴付けて表示する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車載装置の車両周囲画像の表示に関するものである。
【背景技術】
【０００２】
従来、車載装置において、車両の周囲を画像として表示するとともに、コーナーセンサー等により障害物の存在を検知して、車両の周囲の画像上に当該コーナーセンサーが障害物を検知した旨の表示を行う技術がある。
【０００３】
特許文献１には、このような車載装置についての技術が記載されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００７−１８０６２２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
上記のような車載装置では、障害物が付近に存在することを示すことはできるが、運転者は障害物の高さが分からず、具体的な状況を想定し難い。
【０００６】
本発明の目的は、運転者に車両の周囲の立体物の状況をよりわかりやすく示す技術を提供することにある。
【課題を解決するための手段】
【０００７】
上記課題を解決すべく、本発明に係る車両周囲表示装置は、車両の周囲を撮像する撮像手段と、前記車両の周囲に存在する立体物の高さを検知する立体物高さ検知手段と、前記立体物高さ検知手段により検知した立体物の高さに基づいて、前記立体物が危険な障害物であるか否かを判定する危険判定手段と、前記撮像手段にて撮像した画像を危険判定手段により危険と判定された障害物について特徴付けて表示する表示手段と、を備えたことを特徴とする。
【０００８】
また、本発明の車両周囲表示方法は、車両に搭載される車載装置による車両周囲表示方法であって、前記車載装置は、車両の周囲を撮像する撮像手段と、前記車両の周囲に存在する立体物の高さを検知する立体物高さ検知手段と、を備え、前記立体物高さ検知手段により検知した立体物の高さに基づいて、前記立体物が危険な障害物であるか否かを判定する危険判定ステップと、前記撮像手段にて撮像した画像を危険判定ステップにおいて危険と判定された障害物について特徴付けて表示する表示ステップと、を実施することを特徴とする。
【図面の簡単な説明】
【０００９】
【図１】図１は、ナビゲーション装置の概略構成図である。
【図２】図２は、カメラの搭載位置と障害物センサの搭載位置とを示す図である。
【図３】図３は、撮像画像を地上面に投影する様子を示す図である。
【図４】図４は、演算処理部の機能構成図である。
【図５】図５は、取得情報テーブルの構成を示す図である。
【図６】図６は、危険物表示処理のフロー図である。
【図７】図７は、画面表示例を示す図である。
【図８】図８は、変形例に係る画面表示例を示す図である。
【図９】図９は、別の変形例に係る障害物の高さの算出原理を説明する図である。
【発明を実施するための形態】
【００１０】
以下に、本発明の一実施形態を適用した車載装置であるナビゲーション装置１００について、図面を参照して説明する。
【００１１】
図１に、ナビゲーション装置１００の構成図を示す。
【００１２】
ナビゲーション装置１００は、演算処理部１と、ディスプレイ２と、記憶装置３と、音声入出力装置４（音声入力装置としてマイクロフォン４１、音声出力装置としてスピーカ４２を備える）と、入力装置５と、ＲＯＭ装置６と、車速センサ７と、ジャイロセンサ８と、ＧＰＳ(Global Positioning System)受信装置９と、ＦＭ多重放送受信装置１０と、ビーコン受信装置１１と、カメラ１２と、障害物センサ１３と、を備えている。
【００１３】
演算処理部１は、様々な処理を行う中心的ユニットである。例えば各種センサ７,８やＧＰＳ受信装置９、ＦＭ多重放送受信装置１０等から出力される情報を基にして現在地を検出する。また、得られた現在地情報に基づいて、表示に必要な地図データを記憶装置３あるいはＲＯＭ装置６から読み出す。
【００１４】
また、演算処理部１は、読み出した地図データをグラフィックス展開し、そこに現在地を示すマークを重ねてディスプレイ２へ表示する。また、記憶装置３あるいはＲＯＭ装置６に記憶されている地図データ等を用いて、ユーザから指示された出発地（現在地）と目的地とを結ぶ最適な経路（推奨経路）を探索する。また、スピーカ４２やディスプレイ２を用いてユーザを誘導する。
【００１５】
また、演算処理部１は、カメラ１２および障害物センサ１３を用いて、車両の周囲の画像に対し、障害物の高さを反映させた画像を作成し、ディスプレイ２に表示させる。
【００１６】
その際、演算処理部１は、車両と接触する可能性のある障害物を強調して表示する。
【００１７】
ナビゲーション装置１００の演算処理部１は、各デバイス間をバス２５で接続した構成である。演算処理部１は、数値演算及び各デバイスを制御するといった様々な処理を実行するＣＰＵ(Central Processing Unit)２１と、記憶装置３から読み出した地図データ、演算データなどを格納するＲＡＭ(Random Access Memory)２２と、プログラムやデータを格納するＲＯＭ(Read Only Memory)２３と、各種ハードウェアを演算処理部１と接続するためのＩ／Ｆ（インターフェイス）２４と、を有する。
【００１８】
図２（ａ）は、車両３００の後方に取り付けられたカメラ１２を示す。カメラ１２は、やや下を向いており、車両の後方の地上面をＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサ等の撮像素子を用いて撮像する。
【００１９】
図２（ｂ）は、車両３００の後方に取り付けられた障害物センサ１３の具体例を示す。障害物センサ１３Ｕは、車両３００の背面の上方に取り付けられており、障害物センサ１３Ｌは、車両３００の背面の下方に取り付けられている。
【００２０】
また、障害物センサ１３Ｕ、１３Ｌは、地面と水平に超音波（電波または光でもよい）を発射して立体物６０、６１、６２により反射される反射波を捉え、障害物との距離を特定する。
【００２１】
また、障害物センサ１３Ｕ、１３Ｌは、地面と水平を保ったまま左右に所定の範囲まで動いて障害物を検知することが可能であり、その向きと障害物との距離とを取得することができる。
【００２２】
図３は、図２（ａ）のカメラ１２にて撮像した画像を用いた地上投影画像の生成方法を説明するための図である。後述するカメラ画像処理部１０５は、カメラ１２の視点Ｐの位置（車両内の所定位置を原点とする三次元空間における座標位置）と撮像方向（視線方向）Ｋを求める。そして、カメラ画像処理部１０５は、撮像画像５１０を、カメラ１２の視点Ｐの位置から撮像方向Ｋに向けて、地上面５２０に投影し、地上投影画像５３０を生成する。なお、撮像方向Ｋは、撮像画像５１０の中心と垂直に交わる。また、カメラ１２の視点Ｐから撮像画像５１０までの距離は、予め定められている。こうして生成される地上投影画像５３０は、車両の上空から車両周辺を鳥瞰したような画像となる。
【００２３】
図４は、演算処理部１の機能ブロック図である。
【００２４】
図示するように、演算処理部１は、主制御部１０１と、入力受付部１０２と、出力処理部１０３と、カメラ制御部１０４と、カメラ画像処理部１０５と、障害物距離高さ検知部１０６と、障害物合成部１０７と、危険度判定部１０８と、を有する。
【００２５】
主制御部１０１は、様々な処理を行う中心的な機能部であり、処理内容に応じて、他の処理部を制御する。また、ＧＰＳ受信装置９等の情報に基づき、現在位置を特定する。また、随時、走行した日付および時刻と、位置と、を対応付けて、リンクごとに走行履歴を記憶装置３に記憶する。さらに、各処理部からの要求に応じて、現在時刻を出力する。
【００２６】
入力受付部１０２は、入力装置５またはマイクロフォン４１を介して入力された使用者からの指示を受け付け、その要求内容に対応する処理を実行するように演算処理部１の各部を制御する。例えば、使用者が推奨経路の探索を要求したときは、目的地を設定するため、地図をディスプレイ２に表示する処理を出力処理部１０３に要求する。
【００２７】
出力処理部１０３は、表示させる画面情報を受け取り、ディスプレイ２に描画するための信号に変換してディスプレイ２に対して描画する指示を行う。例えば、カメラ画像処理部１０５により出力指示された画像等をディスプレイ２に描画させる。
【００２８】
カメラ制御部１０４は、カメラ１２の動作を制御する。例えば、カメラ１２の撮像の開始・終了のタイミングを設定する。また、撮像した画像のカメラ画像処理部１０５への送信を制御する。
【００２９】
カメラ画像処理部１０５は、カメラ１２で撮像した画像を、画像データとして取得する。そして、取得した画像を、表示のための画像（地上投影画像）に変換する。
【００３０】
障害物距離高さ検知部１０６は、障害物センサ１３を用いて、障害物を検知し、その障害物の方向と、障害物までの距離と、障害物の高さと、を特定する。
【００３１】
障害物合成部１０７は、障害物距離高さ検知部１０６により検知した障害物の位置と高さとを、カメラ１２で撮像した画像に重畳させて（合成して）表示する画像データを作成する。
【００３２】
危険度判定部１０８は、車両の特性から、障害物が車両にとって危険か否かを判定する。
【００３３】
なお、上記した演算処理部１の各機能部、すなわち主制御部１０１、入力受付部１０２、出力処理部１０３、カメラ制御部１０４、カメラ画像処理部１０５、障害物距離高さ検知部１０６、障害物合成部１０７、危険度判定部１０８は、ＣＰＵ２１が所定のプログラムを読み込み実行することにより構築される。そのため、ＲＡＭ２２には、各機能部の処理を実現するためのプログラムが記憶されている。
【００３４】
なお、上記した各構成要素は、ナビゲーション装置１００の構成を理解容易にするために、主な処理内容に応じて分類したものである。そのため、構成要素の分類の仕方やその名称によって、本願発明が制限されることはない。ナビゲーション装置１００の構成は、処理内容に応じて、さらに多くの構成要素に分類することもできる。また、１つの構成要素がさらに多くの処理を実行するように分類することもできる。
【００３５】
また、各機能部は、ハードウェア（ＡＳＩＣ、ＧＰＵなど）により構築されてもよい。また、各機能部の処理が一つのハードウェアで実行されてもよいし、複数のハードウェアで実行されてもよい。
【００３６】
図１の説明に戻る。
【００３７】
ディスプレイ２は、演算処理部１等で生成されたグラフィックス情報を表示するユニットである。ディスプレイ２は、液晶ディスプレイ、有機ＥＬディスプレイなどで構成される。
【００３８】
記憶装置３は、ＨＤＤ（Hard Disk Drive）や不揮発性メモリカードといった、少なくとも読み書きが可能な記憶媒体で構成される。
【００３９】
この記憶媒体には、少なくとも、通常の経路探索装置に必要な地図データ（地図上の道路を構成するリンクのリンクデータを含む）と、カメラ１２や障害物センサ１３により検出した情報を格納する取得情報テーブル２００と、が記憶されている。
【００４０】
図５は、取得情報テーブル２００の構成を示す図である。取得情報テーブル２００は、車両の方向ごとに、所定のタイミングで取得したカメラ１２による画像データと、障害物センサ１３により取得した障害物の方向と、障害物との距離と、障害物の高さと、を格納するテーブルである。
【００４１】
取得情報テーブル２００は、方向を特定する方向２０１と、時を特定する時２０２と、カメラ１２により撮像した画像データであるカメラ画像を格納するカメラ画像２０３と、障害物センサ１３ごとに、検知した障害物の方向と、障害物との距離と、障害物の高さとを特定する情報を格納するセンサＡ２０４と、センサＢ２０５と、を含んでいる。
【００４２】
なお、センサＡ２０４と、センサＢ２０５とに限らず、障害物センサ１３の実装数に応じた欄を有する。
【００４３】
すなわち、取得情報テーブル２００には、所定の方向、時間について、周囲に存在した事物の状態を特定するための情報が格納される。
【００４４】
図１に戻って説明する。音声入出力装置４は、音声入力装置としてマイクロフォン４１と、音声出力装置としてスピーカ４２と、を備える。マイクロフォン４１は、使用者やその他の搭乗者が発した声などのナビゲーション装置１００の外部の音声を取得する。
【００４５】
スピーカ４２は、演算処理部１で生成された使用者へのメッセージを音声信号として出力する。マイクロフォン４１とスピーカ４２は、車両の所定の部位に、別個に配されている。ただし、一体の筐体に収納されていても良い。ナビゲーション装置１００は、マイクロフォン４１及びスピーカ４２を、それぞれ複数備えることができる。
【００４６】
入力装置５は、使用者からの指示を使用者による操作を介して受け付ける装置である。入力装置５は、タッチパネル５１と、ダイヤルスイッチ５２と、その他のハードスイッチ（図示しない）であるスクロールキー、縮尺変更キーなどで構成される。
【００４７】
タッチパネル５１は、ディスプレイ２の表示面側に搭載され、表示画面を透視可能である。タッチパネル５１は、ディスプレイ２に表示された画像のＸＹ座標と対応したタッチ位置を特定し、タッチ位置を座標に変換して出力する。タッチパネル５１は、感圧式または静電式の入力検出素子などにより構成される。
【００４８】
ダイヤルスイッチ５２は、時計回り及び反時計回りに回転可能に構成され、所定の角度の回転ごとにパルス信号を発生し、演算処理部１に出力する。演算処理部１では、パルス信号の数から、回転角度を求める。
【００４９】
ＲＯＭ装置６は、ＣＤ-ＲＯＭやＤＶＤ-ＲＯＭ等のＲＯＭ（Read Only Memory）や、ＩＣ（Integrated Circuit）カードといった、少なくとも読み取りが可能な記憶媒体で構成されている。この記憶媒体には、例えば、動画データや、音声データなどが記憶されている。
【００５０】
車速センサ７,ジャイロセンサ８およびＧＰＳ受信装置９は、ナビゲーション装置１００で現在地（自車位置）を検出するために使用されるものである。
【００５１】
車速センサ７は、車速を算出するのに用いる値を出力するセンサである。
【００５２】
ジャイロセンサ８は、光ファイバジャイロや振動ジャイロ等で構成され、移動体の回転による角速度を検出するものである。
【００５３】
ＧＰＳ受信装置９は、ＧＰＳ衛星からの信号を受信し移動体とＧＰＳ衛星間の距離と距離の変化率とを３個以上の衛星に対して測定することで移動体の現在位置、進行速度および進行方位を測定するものである。
【００５４】
ＦＭ多重放送受信装置１０は、ＦＭ多重放送局から送られてくるＦＭ多重放送信号を受信する。ＦＭ多重放送には、ＶＩＣＳ（Vehicle Information Communication System：登録商標）情報の概略現況交通情報、規制情報、ＳＡ／ＰＡ（サービスエリア／パーキングエリア）情報、駐車場情報、天気情報などやＦＭ多重一般情報としてラジオ局が提供する文字情報などがある。
【００５５】
ビーコン受信装置１１は、ＶＩＣＳ情報などの概略現況交通情報、規制情報、ＳＡ／ＰＡ（サービスエリア／パーキングエリア）情報、駐車場情報、天気情報や緊急警報などを受信する。例えば、光により通信する光ビーコン、電波により通信する電波ビーコン等の受信装置である。
【００５６】
カメラ１２、障害物センサ１３は、上述したとおりである。
【００５７】
［動作の説明］
次に、ナビゲーション装置１００の動作について説明する。
【００５８】
図６は、ナビゲーション装置１００が、カメラ１２と障害物センサ１３とにより検出した車両の周囲の画像を出力する危険物表示処理の処理フロー図である。
【００５９】
このフローは、使用者から入力受付部１０２を介して、車両周辺の画像を表示するように要求された場合、または車両が後進（バック走行）する場合に行われる。
【００６０】
まず、ナビゲーション装置１００は、カメラ１２により撮像した画像を取得する（ステップＳ００１）。
【００６１】
具体的には、カメラ画像制御部１０４は、カメラ１２に撮像を行うように指示し、カメラ画像処理部１０５は、カメラ１２から、撮像して得られた画像（「カメラ画像」という）を取得する。
【００６２】
次に、カメラ画像処理部１０５は、カメラ画像を地上面に投影する（ステップＳ００２）。具体的には、カメラ画像処理部１０５は、ステップＳ００１にて取得したカメラ画像に基づき、図３で示した方法により、地上面にカメラ画像を投影して、投影画像を生成する。また、カメラ画像処理部１０５は、取得情報テーブル２００の方向２０１にカメラ画像の方向を特定する情報（例えば「後」など）を格納し、時２０２にカメラ画像を取得した時間を特定する情報を格納し、カメラ画像２０３に生成した投影画像を格納する。
【００６３】
次に、障害物距離高さ検知部１０６は、障害物センサ１３から情報を取得する（ステップＳ００３）。具体的には、障害物距離高さ検知部１０６は、障害物センサ１３に対して、障害物の検知を行うよう指示する。障害物センサ１３は、反射波により得られる対象物の存在位置に、障害物が存在すると検知する。
【００６４】
次に、障害物距離高さ検知部１０６は、障害物の距離、位置、高さを特定する（ステップＳ００４）。具体的には、障害物距離高さ検知部１０６は、ステップＳ００３にて検知した障害物までの距離と、反射波の方向と、障害物センサ１３の取り付けられた高さと、に応じて、障害物の距離、位置、高さを特定する。
【００６５】
例えば、障害物センサ１３Ｌが地上高２０ｃｍの高さに取り付けられていて、障害物センサ１３Ｕが地上高７０ｃｍの高さに取り付けられている場合において、障害物センサ１３Ｌは、車両の第一の方向に向って後ろ２ｍの距離に障害物となる立体物を検知し、障害物センサ１３Ｕは車両の第二の方向に向って後ろ３ｍの距離に障害物となる立体物を検知した場合を説明する。
【００６６】
この場合、障害物距離高さ検知部１０６は、車両の後ろ方向について、手前（車両の後ろ２ｍの位置）の第一の方向に高さ２０ｃｍ以上７０ｃｍ未満の障害物が存在し、その奥（車両の後ろ３ｍの位置）の第二の方向に高さ７０ｃｍ以上の障害物が存在すると特定する。
【００６７】
あわせて、障害物距離高さ検知部１０６は、取得情報テーブル２００の方向２０１と障害物センサで検知する方向を特定する情報（例えば「後」など）とが対応し、時２０２と障害物センサで検知した時間とが対応するようなレコードを特定し、障害物センサ１３の検知結果を格納する。なお、障害物センサ１３が複数存在する場合（障害物センサ１３Ｕ、１３Ｌ等）には、センサごとに対応付けて検知結果を格納する。
【００６８】
次に、障害物合成部１０７は、投影画像に障害物を合成する（ステップＳ００５）。具体的には、障害物合成部１０７は、ステップＳ００２にて得た投影画像に、ステップＳ００４にて特定した障害物のそれぞれを重ね合わせて、投影画像に映る物体のうち障害物の位置に存在する立体物を障害物として特定して、障害物センサ１３にて検知した障害物の高さを当該立体物の高さと関連付ける。
【００６９】
次に、危険度判定部１０８は、障害物の高さから、危険度を算出する（ステップＳ００６）。具体的には、危険度判定部１０８は、ステップＳ００５にて関連付けた立体物ごとに、ステップＳ００５にて関連付けられた高さを取得し、車両と接触する可能性があるか否かを判定することで、危険度を算出する。例えば、障害物の高さが２０ｃｍ以上７０ｃｍ未満の場合には、車両３００と接触する可能性のある高さであるため、危険であると判定する。
【００７０】
次に、出力処理部１０３は、危険度と共に、立体物の高さを示す投影画像を出力する（ステップＳ００７）。具体的には、出力処理部１０３は、ステップＳ００５にて合成した画像の上に、ステップＳ００６にて算出した危険度または危険度に応じた警告情報を重ねて、ディスプレイ２に表示出力する。
【００７１】
以上が、危険物表示処理の処理内容である。危険物表示処理を行う事によって、ナビゲーション装置１００は、カメラにより取得した周囲の画像に映る障害物の高さを画面上に示すことができるようになる。そのため、運転者はより周囲の状況を把握し易くなる。
【００７２】
次に、危険物表示処理により表示される画面の例を、図７に示す。図７（ａ）は、車両３００が、その後方に存在する立体物６０、６１、６２に向かって後進している状況を示している。なお、立体物６０は、高さが２０ｃｍ未満であり、立体物６１は、高さが２０ｃｍ以上７０ｃｍ未満であり、立体物６２は、高さが７０ｃｍ以上である。
【００７３】
図７（ｂ）に示す画面４００は、危険物表示処理により車両３００の周囲の画像を表示した例である。
【００７４】
画面４００には、車両３００に相当する車両画像４０１が表示され、その後方の所定の範囲（障害物センサ１３およびカメラ１２により周囲の状況が取得できる範囲）が障害物検知範囲４１０として表示される。
【００７５】
画面４００においては、図７（ａ）に示した立体物６０は、カメラ画像を投影画像に投影するステップＳ００２の処理により障害物４６０として若干変形されて鳥瞰的に表示される。同様に、図７（ａ）に示した立体物６１、６２は、それぞれ障害物４６１、４６２として若干変形されて鳥瞰的に表示される。
【００７６】
画面４００においては、障害物４６０は、その高さが２０ｃｍ未満であるために、障害物として認識されず、通常の立体物と同様にして表示される（説明の便宜のため、図７（ｂ）上は点線で表示）。
【００７７】
また、障害物４６１は、その高さが２０ｃｍ以上７０ｃｍ未満であるために、危険な障害物として認識される。そのため、運転者の注意を引くように、例えば輪郭を強調され、あるいは通常よりもコントラストを高く着色されて、障害物として表示される（説明の便宜のため、図７（ｂ）上は斜線で表示）。
【００７８】
また、障害物４６２は、その高さが７０ｃｍ以上であるために、障害物４６１と同様に危険な障害物として認識される。そのため、運転者の注意を引くように、例えば輪郭を強調され、あるいは通常よりもコントラストを高く着色されて、障害物として表示される（説明の便宜のため、図７（ｂ）上は横線で表示）。
【００７９】
その他、障害物４６１、４６２を表示すると共に、運転者に注意喚起を促すための音声（ブザー音や、音声言語によるアナウンス等）を出力する。
【００８０】
以上、本発明の一実施形態について説明した。
【００８１】
なお、図５に示した処理の順番は、本発明の目的が達成できる範囲において適宜変更が可能である。例えば、障害物センサ１３の情報取得処理（ステップＳ００３、Ｓ００４）はＳ００１やＳ００２の処理より先に行うこともできる。
【００８２】
本発明の一実施形態によると、ナビゲーション装置１００は、運転者に車両の周囲の立体物の配置状況をよりわかりやすく示すことができる。
【００８３】
本発明は、上記実施形態に制限されない。上記実施形態は、本発明の技術的思想の範囲内で様々な変形が可能である。
【００８４】
例えば、上記実施形態の危険物表示処理のステップＳ００６〜Ｓ００７において、検知した障害物の全てについて危険度を算出しているが、これに限られるものではない。
【００８５】
すなわち、危険度判定部１０８は、ステップＳ００６において、車両３００の進行方向も加味して危険度を算出するようにしてもよい。
【００８６】
具体的には、車両３００のハンドルの切れ角（舵角）と、車両３００の大きさ等の情報から、車両３００の軌跡を予測し、当該軌跡に沿って車両３００が走行した場合に接触する可能性がある障害物について、危険度を算出するようにしてもよい。
【００８７】
図８に、当該変形を適用したナビゲーション装置において示される画面５００について説明する。図８（ａ）、図８（ｂ）に示される画面５００は、ともに、図７（ａ）と同様の状況における画面表示例である。
【００８８】
図８（ａ）では、画面６００には、車両３００に相当する車両画像６０１が表示され、その後方の所定の範囲（障害物センサ１３およびカメラ１２により周囲の状況が取得できる範囲）が障害物検知範囲６１０として表示される。
【００８９】
画面６００においては、図７（ａ）に示した立体物６０は、カメラ画像を投影画像に投影するステップＳ００２の処理により障害物６６０として若干変形されて鳥瞰的に表示される。同様に、図７（ａ）に示した立体物６１、６２は、それぞれ障害物６６１、６６２として若干変形されて鳥瞰的に表示される。
【００９０】
ここで、車両３００がハンドルを右に切っている場合には、危険度判定部１０８は、ステップＳ００６において、車両３００の走行速度を考慮して進行方向を算出し、ステップＳ００７において軌跡６２０を表示する。
【００９１】
軌跡６２０のとおりに車両３００が走行すると、車両３００は障害物６６１と接触する可能性が高いため、危険度判定部１０８は、例えば「進路注意 接触するおそれがあります」との注意喚起のメッセージである注意表示６０２により運転者の注意を喚起する。
【００９２】
なお、その際、例えば接触する可能性が低い障害物６６２の強調表示をやめて、通常の立体物の表示としてもよい。
【００９３】
図８（ｂ）に示した画面６０３は、図８（ａ）に示した画面６００と基本的に同じであるが、車両３００がハンドルを左に切っている点で相違する。
【００９４】
この場合、危険度判定部１０８は、ステップＳ００６において、車両３００の走行速度を考慮して進行方向を算出し、ステップＳ００７において軌跡６３０を表示する。
【００９５】
軌跡６３０のとおりに車両３００が走行すると、車両３００は障害物６６１、障害物６６２と接触する可能性は低いため、危険度判定部１０８は、注意喚起のメッセージである注意表示６０２の表示を行わない。これにより、運転者に必要以上の緊張を与えない。
【００９６】
なお、その際、例えば接触する可能性が低い障害物６６１、障害物６６２の強調表示をやめて、通常の立体物の表示としてもよい。
【００９７】
このように変形することで、運転者は、より安全に、より的確に車両３００の操作を行うことができるようになる。
【００９８】
また、上記実施形態の障害物センサ１３は、地面と水平に超音波等を発射して障害物により反射される反射波を捉え、障害物との距離を特定するものであるが、これに限られない。例えば、垂直方向に複数の角度で超音波等を発射して、それぞれの反射波から障害物の形状や距離を特定するものであってもよい。
【００９９】
その場合には、危険物表示処理のステップＳ００４において、障害物の距離と高さを、以下の原理を用いて算出する。
【０１００】
図９は、このような障害物センサ１３を用いた場合の動作の原理を示す図である。なお、図９（ａ）に示すように、車両３００の背面に高さ方向に複数の角度で超音波を発射する障害物センサ１３Ｍを設け、立体物６０、６１、６２の位置と、高さとを特定するものとする。
【０１０１】
図９（ｂ）に示すように、例えば障害物センサ１３Ｍと、立体物６１の頂との距離が、Ｌｓ（７０１）であり、超音波を発射した角度（水平面に対する角度）がθ（７０２）である場合について説明する。
【０１０２】
障害物センサ１３Ｍの高さＨ（７０６）から、障害物センサ１３Ｍと、立体物６１の頂との高さの差であるＨｓ（７０５）を減算すると、立体物６１の頂の高さＴ（７０３）を求めることができる。なお、Ｈｓ（７０５）は、Ｌｓ（７０１）とｓｉｎ（θ）の積により求めることが可能である。また、Ｈ（７０６）は、予めナビゲーション装置１００に設定される値であるとする。
【０１０３】
また、障害物センサ１３Ｍと立体物６１との地表面上での距離Ｌ（７０４）は、Ｌｓ（７０１）とｃｏｓ（θ）の積により求めることが可能である。
【０１０４】
このようにして、垂直方向に複数の角度で超音波等を発射して、それぞれの反射波から障害物の形状や距離を特定する障害物センサ１３Ｍによって障害物までの距離と、障害物の高さと、を特定することができる。
【０１０５】
このように変形することで、複数の障害物センサ１３Ｕ、１３Ｌを一つにまとめることが可能となり、部品点数を少なくすることができる。また、一体化されたカメラ１２と障害物センサ１３とを用いることで、機器の配置の自由度を高めることができる。
【０１０６】
さらには、上記障害物センサ１３Ｍを用いることによって、車両３００の後方にある窪み等の地表面に突出しない障害物を検知することも可能である。
【０１０７】
また、上記実施形態では、車両の後方を検出する対象の範囲としたが、これに限られず、車両のルーフ等の車両の周囲にカメラ１２と障害物センサ１３とを配置して、車両３００の全方位（前、右、左、後等、全周囲）を対象としてカメラ画像を取得して座標変換処理を行い、車両の上方からの視点の立体画像を表示するものであってもよい。
【０１０８】
また、上記実施形態では、危険物表示処理のステップＳ００７にて、危険度と共に投影画像を出力しているが、これに限られない。例えば、投影画像に、さらに注意喚起を行うためのアニメーション（障害物の接近をグラフィカルに表示する画像）を表示させるようにしてもよい。
【０１０９】
以上が、変形の例である。
【０１１０】
なお、上記の実施形態では、本発明をナビゲーション装置に適用した例について説明したが、本発明はナビゲーション装置と別体の構成でもよく、また、ナビゲーション装置に限らず、車載の機器全般に適用することができる。
【符号の説明】
【０１１１】
１・・・演算処理部、２・・・ディスプレイ、３・・・記憶装置、４・・・音声出入力装置、５・・・入力装置、６・・・ＲＯＭ装置、７・・・車速センサ、８・・・ジャイロセンサ、９・・・ＧＰＳ受信装置、１０・・・ＦＭ多重放送受信装置、１１・・・ビーコン受信装置、１２・・・カメラ、１３，１３Ｕ，１３Ｌ・・・障害物センサ、２１・・・ＣＰＵ、２２・・・ＲＡＭ、２３・・・ＲＯＭ、２４・・・Ｉ／Ｆ、２５・・・バス、４１・・・マイクロフォン、４２・・・スピーカ、５１・・・タッチパネル、５２・・・ダイヤルスイッチ、６０、６１、６２・・・立体物、１００・・・ナビゲーション装置、１０１・・・主制御部、１０２・・・入力受付部、１０３・・・出力処理部、１０４・・・カメラ制御部、１０５・・・カメラ画像処理部、１０６・・・障害物距離高さ検知部、１０７・・・障害物合成部、１０８・・・危険度判定部、２００・・・取得情報テーブル、３００・・・車両
【技術分野】
【０００１】
本発明は、車載装置の車両周囲画像の表示に関するものである。
【背景技術】
【０００２】
従来、車載装置において、車両の周囲を画像として表示するとともに、コーナーセンサー等により障害物の存在を検知して、車両の周囲の画像上に当該コーナーセンサーが障害物を検知した旨の表示を行う技術がある。
【０００３】
特許文献１には、このような車載装置についての技術が記載されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００７−１８０６２２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
上記のような車載装置では、障害物が付近に存在することを示すことはできるが、運転者は障害物の高さが分からず、具体的な状況を想定し難い。
【０００６】
本発明の目的は、運転者に車両の周囲の立体物の状況をよりわかりやすく示す技術を提供することにある。
【課題を解決するための手段】
【０００７】
上記課題を解決すべく、本発明に係る車両周囲表示装置は、車両の周囲を撮像する撮像手段と、前記車両の周囲に存在する立体物の高さを検知する立体物高さ検知手段と、前記立体物高さ検知手段により検知した立体物の高さに基づいて、前記立体物が危険な障害物であるか否かを判定する危険判定手段と、前記撮像手段にて撮像した画像を危険判定手段により危険と判定された障害物について特徴付けて表示する表示手段と、を備えたことを特徴とする。
【０００８】
また、本発明の車両周囲表示方法は、車両に搭載される車載装置による車両周囲表示方法であって、前記車載装置は、車両の周囲を撮像する撮像手段と、前記車両の周囲に存在する立体物の高さを検知する立体物高さ検知手段と、を備え、前記立体物高さ検知手段により検知した立体物の高さに基づいて、前記立体物が危険な障害物であるか否かを判定する危険判定ステップと、前記撮像手段にて撮像した画像を危険判定ステップにおいて危険と判定された障害物について特徴付けて表示する表示ステップと、を実施することを特徴とする。
【図面の簡単な説明】
【０００９】
【図１】図１は、ナビゲーション装置の概略構成図である。
【図２】図２は、カメラの搭載位置と障害物センサの搭載位置とを示す図である。
【図３】図３は、撮像画像を地上面に投影する様子を示す図である。
【図４】図４は、演算処理部の機能構成図である。
【図５】図５は、取得情報テーブルの構成を示す図である。
【図６】図６は、危険物表示処理のフロー図である。
【図７】図７は、画面表示例を示す図である。
【図８】図８は、変形例に係る画面表示例を示す図である。
【図９】図９は、別の変形例に係る障害物の高さの算出原理を説明する図である。
【発明を実施するための形態】
【００１０】
以下に、本発明の一実施形態を適用した車載装置であるナビゲーション装置１００について、図面を参照して説明する。
【００１１】
図１に、ナビゲーション装置１００の構成図を示す。
【００１２】
ナビゲーション装置１００は、演算処理部１と、ディスプレイ２と、記憶装置３と、音声入出力装置４（音声入力装置としてマイクロフォン４１、音声出力装置としてスピーカ４２を備える）と、入力装置５と、ＲＯＭ装置６と、車速センサ７と、ジャイロセンサ８と、ＧＰＳ(Global Positioning System)受信装置９と、ＦＭ多重放送受信装置１０と、ビーコン受信装置１１と、カメラ１２と、障害物センサ１３と、を備えている。
【００１３】
演算処理部１は、様々な処理を行う中心的ユニットである。例えば各種センサ７,８やＧＰＳ受信装置９、ＦＭ多重放送受信装置１０等から出力される情報を基にして現在地を検出する。また、得られた現在地情報に基づいて、表示に必要な地図データを記憶装置３あるいはＲＯＭ装置６から読み出す。
【００１４】
また、演算処理部１は、読み出した地図データをグラフィックス展開し、そこに現在地を示すマークを重ねてディスプレイ２へ表示する。また、記憶装置３あるいはＲＯＭ装置６に記憶されている地図データ等を用いて、ユーザから指示された出発地（現在地）と目的地とを結ぶ最適な経路（推奨経路）を探索する。また、スピーカ４２やディスプレイ２を用いてユーザを誘導する。
【００１５】
また、演算処理部１は、カメラ１２および障害物センサ１３を用いて、車両の周囲の画像に対し、障害物の高さを反映させた画像を作成し、ディスプレイ２に表示させる。
【００１６】
その際、演算処理部１は、車両と接触する可能性のある障害物を強調して表示する。
【００１７】
ナビゲーション装置１００の演算処理部１は、各デバイス間をバス２５で接続した構成である。演算処理部１は、数値演算及び各デバイスを制御するといった様々な処理を実行するＣＰＵ(Central Processing Unit)２１と、記憶装置３から読み出した地図データ、演算データなどを格納するＲＡＭ(Random Access Memory)２２と、プログラムやデータを格納するＲＯＭ(Read Only Memory)２３と、各種ハードウェアを演算処理部１と接続するためのＩ／Ｆ（インターフェイス）２４と、を有する。
【００１８】
図２（ａ）は、車両３００の後方に取り付けられたカメラ１２を示す。カメラ１２は、やや下を向いており、車両の後方の地上面をＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサ等の撮像素子を用いて撮像する。
【００１９】
図２（ｂ）は、車両３００の後方に取り付けられた障害物センサ１３の具体例を示す。障害物センサ１３Ｕは、車両３００の背面の上方に取り付けられており、障害物センサ１３Ｌは、車両３００の背面の下方に取り付けられている。
【００２０】
また、障害物センサ１３Ｕ、１３Ｌは、地面と水平に超音波（電波または光でもよい）を発射して立体物６０、６１、６２により反射される反射波を捉え、障害物との距離を特定する。
【００２１】
また、障害物センサ１３Ｕ、１３Ｌは、地面と水平を保ったまま左右に所定の範囲まで動いて障害物を検知することが可能であり、その向きと障害物との距離とを取得することができる。
【００２２】
図３は、図２（ａ）のカメラ１２にて撮像した画像を用いた地上投影画像の生成方法を説明するための図である。後述するカメラ画像処理部１０５は、カメラ１２の視点Ｐの位置（車両内の所定位置を原点とする三次元空間における座標位置）と撮像方向（視線方向）Ｋを求める。そして、カメラ画像処理部１０５は、撮像画像５１０を、カメラ１２の視点Ｐの位置から撮像方向Ｋに向けて、地上面５２０に投影し、地上投影画像５３０を生成する。なお、撮像方向Ｋは、撮像画像５１０の中心と垂直に交わる。また、カメラ１２の視点Ｐから撮像画像５１０までの距離は、予め定められている。こうして生成される地上投影画像５３０は、車両の上空から車両周辺を鳥瞰したような画像となる。
【００２３】
図４は、演算処理部１の機能ブロック図である。
【００２４】
図示するように、演算処理部１は、主制御部１０１と、入力受付部１０２と、出力処理部１０３と、カメラ制御部１０４と、カメラ画像処理部１０５と、障害物距離高さ検知部１０６と、障害物合成部１０７と、危険度判定部１０８と、を有する。
【００２５】
主制御部１０１は、様々な処理を行う中心的な機能部であり、処理内容に応じて、他の処理部を制御する。また、ＧＰＳ受信装置９等の情報に基づき、現在位置を特定する。また、随時、走行した日付および時刻と、位置と、を対応付けて、リンクごとに走行履歴を記憶装置３に記憶する。さらに、各処理部からの要求に応じて、現在時刻を出力する。
【００２６】
入力受付部１０２は、入力装置５またはマイクロフォン４１を介して入力された使用者からの指示を受け付け、その要求内容に対応する処理を実行するように演算処理部１の各部を制御する。例えば、使用者が推奨経路の探索を要求したときは、目的地を設定するため、地図をディスプレイ２に表示する処理を出力処理部１０３に要求する。
【００２７】
出力処理部１０３は、表示させる画面情報を受け取り、ディスプレイ２に描画するための信号に変換してディスプレイ２に対して描画する指示を行う。例えば、カメラ画像処理部１０５により出力指示された画像等をディスプレイ２に描画させる。
【００２８】
カメラ制御部１０４は、カメラ１２の動作を制御する。例えば、カメラ１２の撮像の開始・終了のタイミングを設定する。また、撮像した画像のカメラ画像処理部１０５への送信を制御する。
【００２９】
カメラ画像処理部１０５は、カメラ１２で撮像した画像を、画像データとして取得する。そして、取得した画像を、表示のための画像（地上投影画像）に変換する。
【００３０】
障害物距離高さ検知部１０６は、障害物センサ１３を用いて、障害物を検知し、その障害物の方向と、障害物までの距離と、障害物の高さと、を特定する。
【００３１】
障害物合成部１０７は、障害物距離高さ検知部１０６により検知した障害物の位置と高さとを、カメラ１２で撮像した画像に重畳させて（合成して）表示する画像データを作成する。
【００３２】
危険度判定部１０８は、車両の特性から、障害物が車両にとって危険か否かを判定する。
【００３３】
なお、上記した演算処理部１の各機能部、すなわち主制御部１０１、入力受付部１０２、出力処理部１０３、カメラ制御部１０４、カメラ画像処理部１０５、障害物距離高さ検知部１０６、障害物合成部１０７、危険度判定部１０８は、ＣＰＵ２１が所定のプログラムを読み込み実行することにより構築される。そのため、ＲＡＭ２２には、各機能部の処理を実現するためのプログラムが記憶されている。
【００３４】
なお、上記した各構成要素は、ナビゲーション装置１００の構成を理解容易にするために、主な処理内容に応じて分類したものである。そのため、構成要素の分類の仕方やその名称によって、本願発明が制限されることはない。ナビゲーション装置１００の構成は、処理内容に応じて、さらに多くの構成要素に分類することもできる。また、１つの構成要素がさらに多くの処理を実行するように分類することもできる。
【００３５】
また、各機能部は、ハードウェア（ＡＳＩＣ、ＧＰＵなど）により構築されてもよい。また、各機能部の処理が一つのハードウェアで実行されてもよいし、複数のハードウェアで実行されてもよい。
【００３６】
図１の説明に戻る。
【００３７】
ディスプレイ２は、演算処理部１等で生成されたグラフィックス情報を表示するユニットである。ディスプレイ２は、液晶ディスプレイ、有機ＥＬディスプレイなどで構成される。
【００３８】
記憶装置３は、ＨＤＤ（Hard Disk Drive）や不揮発性メモリカードといった、少なくとも読み書きが可能な記憶媒体で構成される。
【００３９】
この記憶媒体には、少なくとも、通常の経路探索装置に必要な地図データ（地図上の道路を構成するリンクのリンクデータを含む）と、カメラ１２や障害物センサ１３により検出した情報を格納する取得情報テーブル２００と、が記憶されている。
【００４０】
図５は、取得情報テーブル２００の構成を示す図である。取得情報テーブル２００は、車両の方向ごとに、所定のタイミングで取得したカメラ１２による画像データと、障害物センサ１３により取得した障害物の方向と、障害物との距離と、障害物の高さと、を格納するテーブルである。
【００４１】
取得情報テーブル２００は、方向を特定する方向２０１と、時を特定する時２０２と、カメラ１２により撮像した画像データであるカメラ画像を格納するカメラ画像２０３と、障害物センサ１３ごとに、検知した障害物の方向と、障害物との距離と、障害物の高さとを特定する情報を格納するセンサＡ２０４と、センサＢ２０５と、を含んでいる。
【００４２】
なお、センサＡ２０４と、センサＢ２０５とに限らず、障害物センサ１３の実装数に応じた欄を有する。
【００４３】
すなわち、取得情報テーブル２００には、所定の方向、時間について、周囲に存在した事物の状態を特定するための情報が格納される。
【００４４】
図１に戻って説明する。音声入出力装置４は、音声入力装置としてマイクロフォン４１と、音声出力装置としてスピーカ４２と、を備える。マイクロフォン４１は、使用者やその他の搭乗者が発した声などのナビゲーション装置１００の外部の音声を取得する。
【００４５】
スピーカ４２は、演算処理部１で生成された使用者へのメッセージを音声信号として出力する。マイクロフォン４１とスピーカ４２は、車両の所定の部位に、別個に配されている。ただし、一体の筐体に収納されていても良い。ナビゲーション装置１００は、マイクロフォン４１及びスピーカ４２を、それぞれ複数備えることができる。
【００４６】
入力装置５は、使用者からの指示を使用者による操作を介して受け付ける装置である。入力装置５は、タッチパネル５１と、ダイヤルスイッチ５２と、その他のハードスイッチ（図示しない）であるスクロールキー、縮尺変更キーなどで構成される。
【００４７】
タッチパネル５１は、ディスプレイ２の表示面側に搭載され、表示画面を透視可能である。タッチパネル５１は、ディスプレイ２に表示された画像のＸＹ座標と対応したタッチ位置を特定し、タッチ位置を座標に変換して出力する。タッチパネル５１は、感圧式または静電式の入力検出素子などにより構成される。
【００４８】
ダイヤルスイッチ５２は、時計回り及び反時計回りに回転可能に構成され、所定の角度の回転ごとにパルス信号を発生し、演算処理部１に出力する。演算処理部１では、パルス信号の数から、回転角度を求める。
【００４９】
ＲＯＭ装置６は、ＣＤ-ＲＯＭやＤＶＤ-ＲＯＭ等のＲＯＭ（Read Only Memory）や、ＩＣ（Integrated Circuit）カードといった、少なくとも読み取りが可能な記憶媒体で構成されている。この記憶媒体には、例えば、動画データや、音声データなどが記憶されている。
【００５０】
車速センサ７,ジャイロセンサ８およびＧＰＳ受信装置９は、ナビゲーション装置１００で現在地（自車位置）を検出するために使用されるものである。
【００５１】
車速センサ７は、車速を算出するのに用いる値を出力するセンサである。
【００５２】
ジャイロセンサ８は、光ファイバジャイロや振動ジャイロ等で構成され、移動体の回転による角速度を検出するものである。
【００５３】
ＧＰＳ受信装置９は、ＧＰＳ衛星からの信号を受信し移動体とＧＰＳ衛星間の距離と距離の変化率とを３個以上の衛星に対して測定することで移動体の現在位置、進行速度および進行方位を測定するものである。
【００５４】
ＦＭ多重放送受信装置１０は、ＦＭ多重放送局から送られてくるＦＭ多重放送信号を受信する。ＦＭ多重放送には、ＶＩＣＳ（Vehicle Information Communication System：登録商標）情報の概略現況交通情報、規制情報、ＳＡ／ＰＡ（サービスエリア／パーキングエリア）情報、駐車場情報、天気情報などやＦＭ多重一般情報としてラジオ局が提供する文字情報などがある。
【００５５】
ビーコン受信装置１１は、ＶＩＣＳ情報などの概略現況交通情報、規制情報、ＳＡ／ＰＡ（サービスエリア／パーキングエリア）情報、駐車場情報、天気情報や緊急警報などを受信する。例えば、光により通信する光ビーコン、電波により通信する電波ビーコン等の受信装置である。
【００５６】
カメラ１２、障害物センサ１３は、上述したとおりである。
【００５７】
［動作の説明］
次に、ナビゲーション装置１００の動作について説明する。
【００５８】
図６は、ナビゲーション装置１００が、カメラ１２と障害物センサ１３とにより検出した車両の周囲の画像を出力する危険物表示処理の処理フロー図である。
【００５９】
このフローは、使用者から入力受付部１０２を介して、車両周辺の画像を表示するように要求された場合、または車両が後進（バック走行）する場合に行われる。
【００６０】
まず、ナビゲーション装置１００は、カメラ１２により撮像した画像を取得する（ステップＳ００１）。
【００６１】
具体的には、カメラ画像制御部１０４は、カメラ１２に撮像を行うように指示し、カメラ画像処理部１０５は、カメラ１２から、撮像して得られた画像（「カメラ画像」という）を取得する。
【００６２】
次に、カメラ画像処理部１０５は、カメラ画像を地上面に投影する（ステップＳ００２）。具体的には、カメラ画像処理部１０５は、ステップＳ００１にて取得したカメラ画像に基づき、図３で示した方法により、地上面にカメラ画像を投影して、投影画像を生成する。また、カメラ画像処理部１０５は、取得情報テーブル２００の方向２０１にカメラ画像の方向を特定する情報（例えば「後」など）を格納し、時２０２にカメラ画像を取得した時間を特定する情報を格納し、カメラ画像２０３に生成した投影画像を格納する。
【００６３】
次に、障害物距離高さ検知部１０６は、障害物センサ１３から情報を取得する（ステップＳ００３）。具体的には、障害物距離高さ検知部１０６は、障害物センサ１３に対して、障害物の検知を行うよう指示する。障害物センサ１３は、反射波により得られる対象物の存在位置に、障害物が存在すると検知する。
【００６４】
次に、障害物距離高さ検知部１０６は、障害物の距離、位置、高さを特定する（ステップＳ００４）。具体的には、障害物距離高さ検知部１０６は、ステップＳ００３にて検知した障害物までの距離と、反射波の方向と、障害物センサ１３の取り付けられた高さと、に応じて、障害物の距離、位置、高さを特定する。
【００６５】
例えば、障害物センサ１３Ｌが地上高２０ｃｍの高さに取り付けられていて、障害物センサ１３Ｕが地上高７０ｃｍの高さに取り付けられている場合において、障害物センサ１３Ｌは、車両の第一の方向に向って後ろ２ｍの距離に障害物となる立体物を検知し、障害物センサ１３Ｕは車両の第二の方向に向って後ろ３ｍの距離に障害物となる立体物を検知した場合を説明する。
【００６６】
この場合、障害物距離高さ検知部１０６は、車両の後ろ方向について、手前（車両の後ろ２ｍの位置）の第一の方向に高さ２０ｃｍ以上７０ｃｍ未満の障害物が存在し、その奥（車両の後ろ３ｍの位置）の第二の方向に高さ７０ｃｍ以上の障害物が存在すると特定する。
【００６７】
あわせて、障害物距離高さ検知部１０６は、取得情報テーブル２００の方向２０１と障害物センサで検知する方向を特定する情報（例えば「後」など）とが対応し、時２０２と障害物センサで検知した時間とが対応するようなレコードを特定し、障害物センサ１３の検知結果を格納する。なお、障害物センサ１３が複数存在する場合（障害物センサ１３Ｕ、１３Ｌ等）には、センサごとに対応付けて検知結果を格納する。
【００６８】
次に、障害物合成部１０７は、投影画像に障害物を合成する（ステップＳ００５）。具体的には、障害物合成部１０７は、ステップＳ００２にて得た投影画像に、ステップＳ００４にて特定した障害物のそれぞれを重ね合わせて、投影画像に映る物体のうち障害物の位置に存在する立体物を障害物として特定して、障害物センサ１３にて検知した障害物の高さを当該立体物の高さと関連付ける。
【００６９】
次に、危険度判定部１０８は、障害物の高さから、危険度を算出する（ステップＳ００６）。具体的には、危険度判定部１０８は、ステップＳ００５にて関連付けた立体物ごとに、ステップＳ００５にて関連付けられた高さを取得し、車両と接触する可能性があるか否かを判定することで、危険度を算出する。例えば、障害物の高さが２０ｃｍ以上７０ｃｍ未満の場合には、車両３００と接触する可能性のある高さであるため、危険であると判定する。
【００７０】
次に、出力処理部１０３は、危険度と共に、立体物の高さを示す投影画像を出力する（ステップＳ００７）。具体的には、出力処理部１０３は、ステップＳ００５にて合成した画像の上に、ステップＳ００６にて算出した危険度または危険度に応じた警告情報を重ねて、ディスプレイ２に表示出力する。
【００７１】
以上が、危険物表示処理の処理内容である。危険物表示処理を行う事によって、ナビゲーション装置１００は、カメラにより取得した周囲の画像に映る障害物の高さを画面上に示すことができるようになる。そのため、運転者はより周囲の状況を把握し易くなる。
【００７２】
次に、危険物表示処理により表示される画面の例を、図７に示す。図７（ａ）は、車両３００が、その後方に存在する立体物６０、６１、６２に向かって後進している状況を示している。なお、立体物６０は、高さが２０ｃｍ未満であり、立体物６１は、高さが２０ｃｍ以上７０ｃｍ未満であり、立体物６２は、高さが７０ｃｍ以上である。
【００７３】
図７（ｂ）に示す画面４００は、危険物表示処理により車両３００の周囲の画像を表示した例である。
【００７４】
画面４００には、車両３００に相当する車両画像４０１が表示され、その後方の所定の範囲（障害物センサ１３およびカメラ１２により周囲の状況が取得できる範囲）が障害物検知範囲４１０として表示される。
【００７５】
画面４００においては、図７（ａ）に示した立体物６０は、カメラ画像を投影画像に投影するステップＳ００２の処理により障害物４６０として若干変形されて鳥瞰的に表示される。同様に、図７（ａ）に示した立体物６１、６２は、それぞれ障害物４６１、４６２として若干変形されて鳥瞰的に表示される。
【００７６】
画面４００においては、障害物４６０は、その高さが２０ｃｍ未満であるために、障害物として認識されず、通常の立体物と同様にして表示される（説明の便宜のため、図７（ｂ）上は点線で表示）。
【００７７】
また、障害物４６１は、その高さが２０ｃｍ以上７０ｃｍ未満であるために、危険な障害物として認識される。そのため、運転者の注意を引くように、例えば輪郭を強調され、あるいは通常よりもコントラストを高く着色されて、障害物として表示される（説明の便宜のため、図７（ｂ）上は斜線で表示）。
【００７８】
また、障害物４６２は、その高さが７０ｃｍ以上であるために、障害物４６１と同様に危険な障害物として認識される。そのため、運転者の注意を引くように、例えば輪郭を強調され、あるいは通常よりもコントラストを高く着色されて、障害物として表示される（説明の便宜のため、図７（ｂ）上は横線で表示）。
【００７９】
その他、障害物４６１、４６２を表示すると共に、運転者に注意喚起を促すための音声（ブザー音や、音声言語によるアナウンス等）を出力する。
【００８０】
以上、本発明の一実施形態について説明した。
【００８１】
なお、図５に示した処理の順番は、本発明の目的が達成できる範囲において適宜変更が可能である。例えば、障害物センサ１３の情報取得処理（ステップＳ００３、Ｓ００４）はＳ００１やＳ００２の処理より先に行うこともできる。
【００８２】
本発明の一実施形態によると、ナビゲーション装置１００は、運転者に車両の周囲の立体物の配置状況をよりわかりやすく示すことができる。
【００８３】
本発明は、上記実施形態に制限されない。上記実施形態は、本発明の技術的思想の範囲内で様々な変形が可能である。
【００８４】
例えば、上記実施形態の危険物表示処理のステップＳ００６〜Ｓ００７において、検知した障害物の全てについて危険度を算出しているが、これに限られるものではない。
【００８５】
すなわち、危険度判定部１０８は、ステップＳ００６において、車両３００の進行方向も加味して危険度を算出するようにしてもよい。
【００８６】
具体的には、車両３００のハンドルの切れ角（舵角）と、車両３００の大きさ等の情報から、車両３００の軌跡を予測し、当該軌跡に沿って車両３００が走行した場合に接触する可能性がある障害物について、危険度を算出するようにしてもよい。
【００８７】
図８に、当該変形を適用したナビゲーション装置において示される画面５００について説明する。図８（ａ）、図８（ｂ）に示される画面５００は、ともに、図７（ａ）と同様の状況における画面表示例である。
【００８８】
図８（ａ）では、画面６００には、車両３００に相当する車両画像６０１が表示され、その後方の所定の範囲（障害物センサ１３およびカメラ１２により周囲の状況が取得できる範囲）が障害物検知範囲６１０として表示される。
【００８９】
画面６００においては、図７（ａ）に示した立体物６０は、カメラ画像を投影画像に投影するステップＳ００２の処理により障害物６６０として若干変形されて鳥瞰的に表示される。同様に、図７（ａ）に示した立体物６１、６２は、それぞれ障害物６６１、６６２として若干変形されて鳥瞰的に表示される。
【００９０】
ここで、車両３００がハンドルを右に切っている場合には、危険度判定部１０８は、ステップＳ００６において、車両３００の走行速度を考慮して進行方向を算出し、ステップＳ００７において軌跡６２０を表示する。
【００９１】
軌跡６２０のとおりに車両３００が走行すると、車両３００は障害物６６１と接触する可能性が高いため、危険度判定部１０８は、例えば「進路注意 接触するおそれがあります」との注意喚起のメッセージである注意表示６０２により運転者の注意を喚起する。
【００９２】
なお、その際、例えば接触する可能性が低い障害物６６２の強調表示をやめて、通常の立体物の表示としてもよい。
【００９３】
図８（ｂ）に示した画面６０３は、図８（ａ）に示した画面６００と基本的に同じであるが、車両３００がハンドルを左に切っている点で相違する。
【００９４】
この場合、危険度判定部１０８は、ステップＳ００６において、車両３００の走行速度を考慮して進行方向を算出し、ステップＳ００７において軌跡６３０を表示する。
【００９５】
軌跡６３０のとおりに車両３００が走行すると、車両３００は障害物６６１、障害物６６２と接触する可能性は低いため、危険度判定部１０８は、注意喚起のメッセージである注意表示６０２の表示を行わない。これにより、運転者に必要以上の緊張を与えない。
【００９６】
なお、その際、例えば接触する可能性が低い障害物６６１、障害物６６２の強調表示をやめて、通常の立体物の表示としてもよい。
【００９７】
このように変形することで、運転者は、より安全に、より的確に車両３００の操作を行うことができるようになる。
【００９８】
また、上記実施形態の障害物センサ１３は、地面と水平に超音波等を発射して障害物により反射される反射波を捉え、障害物との距離を特定するものであるが、これに限られない。例えば、垂直方向に複数の角度で超音波等を発射して、それぞれの反射波から障害物の形状や距離を特定するものであってもよい。
【００９９】
その場合には、危険物表示処理のステップＳ００４において、障害物の距離と高さを、以下の原理を用いて算出する。
【０１００】
図９は、このような障害物センサ１３を用いた場合の動作の原理を示す図である。なお、図９（ａ）に示すように、車両３００の背面に高さ方向に複数の角度で超音波を発射する障害物センサ１３Ｍを設け、立体物６０、６１、６２の位置と、高さとを特定するものとする。
【０１０１】
図９（ｂ）に示すように、例えば障害物センサ１３Ｍと、立体物６１の頂との距離が、Ｌｓ（７０１）であり、超音波を発射した角度（水平面に対する角度）がθ（７０２）である場合について説明する。
【０１０２】
障害物センサ１３Ｍの高さＨ（７０６）から、障害物センサ１３Ｍと、立体物６１の頂との高さの差であるＨｓ（７０５）を減算すると、立体物６１の頂の高さＴ（７０３）を求めることができる。なお、Ｈｓ（７０５）は、Ｌｓ（７０１）とｓｉｎ（θ）の積により求めることが可能である。また、Ｈ（７０６）は、予めナビゲーション装置１００に設定される値であるとする。
【０１０３】
また、障害物センサ１３Ｍと立体物６１との地表面上での距離Ｌ（７０４）は、Ｌｓ（７０１）とｃｏｓ（θ）の積により求めることが可能である。
【０１０４】
このようにして、垂直方向に複数の角度で超音波等を発射して、それぞれの反射波から障害物の形状や距離を特定する障害物センサ１３Ｍによって障害物までの距離と、障害物の高さと、を特定することができる。
【０１０５】
このように変形することで、複数の障害物センサ１３Ｕ、１３Ｌを一つにまとめることが可能となり、部品点数を少なくすることができる。また、一体化されたカメラ１２と障害物センサ１３とを用いることで、機器の配置の自由度を高めることができる。
【０１０６】
さらには、上記障害物センサ１３Ｍを用いることによって、車両３００の後方にある窪み等の地表面に突出しない障害物を検知することも可能である。
【０１０７】
また、上記実施形態では、車両の後方を検出する対象の範囲としたが、これに限られず、車両のルーフ等の車両の周囲にカメラ１２と障害物センサ１３とを配置して、車両３００の全方位（前、右、左、後等、全周囲）を対象としてカメラ画像を取得して座標変換処理を行い、車両の上方からの視点の立体画像を表示するものであってもよい。
【０１０８】
また、上記実施形態では、危険物表示処理のステップＳ００７にて、危険度と共に投影画像を出力しているが、これに限られない。例えば、投影画像に、さらに注意喚起を行うためのアニメーション（障害物の接近をグラフィカルに表示する画像）を表示させるようにしてもよい。
【０１０９】
以上が、変形の例である。
【０１１０】
なお、上記の実施形態では、本発明をナビゲーション装置に適用した例について説明したが、本発明はナビゲーション装置と別体の構成でもよく、また、ナビゲーション装置に限らず、車載の機器全般に適用することができる。
【符号の説明】
【０１１１】
１・・・演算処理部、２・・・ディスプレイ、３・・・記憶装置、４・・・音声出入力装置、５・・・入力装置、６・・・ＲＯＭ装置、７・・・車速センサ、８・・・ジャイロセンサ、９・・・ＧＰＳ受信装置、１０・・・ＦＭ多重放送受信装置、１１・・・ビーコン受信装置、１２・・・カメラ、１３，１３Ｕ，１３Ｌ・・・障害物センサ、２１・・・ＣＰＵ、２２・・・ＲＡＭ、２３・・・ＲＯＭ、２４・・・Ｉ／Ｆ、２５・・・バス、４１・・・マイクロフォン、４２・・・スピーカ、５１・・・タッチパネル、５２・・・ダイヤルスイッチ、６０、６１、６２・・・立体物、１００・・・ナビゲーション装置、１０１・・・主制御部、１０２・・・入力受付部、１０３・・・出力処理部、１０４・・・カメラ制御部、１０５・・・カメラ画像処理部、１０６・・・障害物距離高さ検知部、１０７・・・障害物合成部、１０８・・・危険度判定部、２００・・・取得情報テーブル、３００・・・車両
【特許請求の範囲】
【請求項１】
車両に搭載される車両周囲表示装置であって、
車両の周囲を撮像する撮像手段と、
前記車両の周囲に存在する立体物の高さを検知する立体物高さ検知手段と、
前記立体物高さ検知手段により検知した立体物の高さに基づいて、前記立体物が危険な障害物であるか否かを判定する危険判定手段と、
前記撮像手段にて撮像した画像を危険判定手段により危険と判定された障害物について特徴付けて表示する表示手段と、
を備えたことを特徴とする車両周囲表示装置。
【請求項２】
請求項１に記載の車両周囲表示装置であって、
前記表示手段は、前記危険と判定された障害物を、前記立体物高さ検知手段により検知した立体物の高さに応じて着色して表示する、
ことを特徴とする車両周囲表示装置。
【請求項３】
請求項１または２に記載の車両周囲表示装置であって、
前記表示手段は、前記危険と判定された障害物を、前記立体物高さ検知手段により検知した立体物の高さに応じて点滅させて表示する、
ことを特徴とする車両周囲表示装置。
【請求項４】
請求項１〜３のいずれか一項に記載の車両周囲表示装置であって、さらに、
前記立体物高さ検知手段により検出した立体物が、前記車両と接触する可能性があるか否かを予測する接触予測手段を備え、
前記表示手段は、前記立体物が前記接触予測手段により接触する可能性があると予測された場合に、前記危険と判定された障害物を特徴付けて表示する、
ことを特徴とする車両周囲表示装置。
【請求項５】
請求項４に記載の車両周囲表示装置であって、
前記接触予測手段は、前記車両の予測される軌跡上に前記立体物が存在する場合に、前記車両と接触する可能性があると予測する、
ことを特徴とする車両周囲表示装置。
【請求項６】
請求項１〜５のいずれか一項に記載の車両周囲表示装置であって、
前記表示手段は、複数の前記撮像手段により撮像した画像を座標変換して前記車両上方からの視点の画像を作成し、作成した画像に含まれる前記危険と判定された障害物を特徴付けて表示する、
ことを特徴とする車両周囲表示装置。
【請求項７】
請求項１〜６のいずれか一項に記載の車両周囲表示装置であって、
前記立体物高さ検知手段は、前記車両の周囲に存在する立体物の高さと共に、方向と距離とを検知し、
前記表示手段は、前記撮像手段により撮像した画像に含まれる立体物のうち、前記立体物高さ検知手段により取得した前記立体物の方向と距離とに対応する立体物を、前記危険と判定された障害物として特定する、
ことを特徴とする車両周囲表示装置。
【請求項８】
請求項１〜７のいずれか一項に記載の車両周囲表示装置であって、さらに、
前記危険と判定された障害物の存在を音声により運転者に知らせる音声出力手段、
を備えることを特徴とする車両周囲表示装置。
【請求項９】
車両に搭載される車載装置による車両周囲表示方法であって、
前記車載装置は、
車両の周囲を撮像する撮像手段と、
前記車両の周囲に存在する立体物の高さを検知する立体物高さ検知手段と、を備え、
前記立体物高さ検知手段により検知した立体物の高さに基づいて、前記立体物が危険な障害物であるか否かを判定する危険判定ステップと、
前記撮像手段にて撮像した画像を危険判定ステップにおいて危険と判定された障害物について特徴付けて表示する表示ステップと、
を実施することを特徴とする車両周囲表示方法。
【請求項１０】
請求項９に記載の車両周囲表示方法であって、
前記表示ステップでは、前記危険と判定された障害物を、前記立体物高さ検知手段により検知した立体物の高さに応じて着色して表示する、
ことを特徴とする車両周囲表示方法。
【請求項１１】
請求項９または１０に記載の車両周囲表示方法であって、
前記表示ステップでは、前記危険と判定された障害物を、前記立体物高さ検知手段により検知した立体物の高さに応じて点滅させて表示する、
ことを特徴とする車両周囲表示方法。
【請求項１２】
請求項９〜１１のいずれか一項に記載の車両周囲表示方法であって、
前記車載装置は、さらに、
前記立体物高さ検知手段により検出した立体物が、前記車両と接触する可能性があるか否かを予測する接触予測ステップを実施し、
前記表示ステップでは、前記立体物が前記接触予測ステップにより接触する可能性があると予測された場合に、前記危険と判定された障害物を特徴付けて表示する、
ことを特徴とする車両周囲表示方法。
【請求項１３】
請求項１２に記載の車両周囲表示方法であって、
前記接触予測ステップでは、前記車両の予測される軌跡上に前記立体物が存在する場合に、前記車両と接触する可能性があると予測する、
ことを特徴とする車両周囲表示方法。
【請求項１４】
請求項９〜１３のいずれか一項に記載の車両周囲表示方法であって、
前記表示ステップでは、複数の前記撮像手段により撮像した画像を座標変換して前記車両上方からの視点の画像を作成し、作成した画像に含まれる前記危険と判定された障害物を特徴付けて表示する、
ことを特徴とする車両周囲表示方法。
【請求項１５】
請求項９〜１４のいずれか一項に記載の車両周囲表示方法であって、
前記立体物高さ検知手段は、前記車両の周囲に存在する立体物の高さと共に、方向と距離とを検知し、
前記表示ステップでは、前記撮像手段により撮像した画像に含まれる立体物のうち、前記立体物高さ検知手段により取得した前記立体物の方向と距離とに対応する立体物を、前記危険と判定された障害物として特定する、
ことを特徴とする車両周囲表示方法。
【請求項１６】
請求項９〜１５のいずれか一項に記載の車両周囲表示方法であって、
前記車載装置は、さらに、
音声出力手段を備え、
前記表示ステップにおいて、前記音声出力手段により前記危険と判定された障害物の存在を音声により運転者に知らせる、
ことを特徴とする車両周囲表示方法。
【請求項１】
車両に搭載される車両周囲表示装置であって、
車両の周囲を撮像する撮像手段と、
前記車両の周囲に存在する立体物の高さを検知する立体物高さ検知手段と、
前記立体物高さ検知手段により検知した立体物の高さに基づいて、前記立体物が危険な障害物であるか否かを判定する危険判定手段と、
前記撮像手段にて撮像した画像を危険判定手段により危険と判定された障害物について特徴付けて表示する表示手段と、
を備えたことを特徴とする車両周囲表示装置。
【請求項２】
請求項１に記載の車両周囲表示装置であって、
前記表示手段は、前記危険と判定された障害物を、前記立体物高さ検知手段により検知した立体物の高さに応じて着色して表示する、
ことを特徴とする車両周囲表示装置。
【請求項３】
請求項１または２に記載の車両周囲表示装置であって、
前記表示手段は、前記危険と判定された障害物を、前記立体物高さ検知手段により検知した立体物の高さに応じて点滅させて表示する、
ことを特徴とする車両周囲表示装置。
【請求項４】
請求項１〜３のいずれか一項に記載の車両周囲表示装置であって、さらに、
前記立体物高さ検知手段により検出した立体物が、前記車両と接触する可能性があるか否かを予測する接触予測手段を備え、
前記表示手段は、前記立体物が前記接触予測手段により接触する可能性があると予測された場合に、前記危険と判定された障害物を特徴付けて表示する、
ことを特徴とする車両周囲表示装置。
【請求項５】
請求項４に記載の車両周囲表示装置であって、
前記接触予測手段は、前記車両の予測される軌跡上に前記立体物が存在する場合に、前記車両と接触する可能性があると予測する、
ことを特徴とする車両周囲表示装置。
【請求項６】
請求項１〜５のいずれか一項に記載の車両周囲表示装置であって、
前記表示手段は、複数の前記撮像手段により撮像した画像を座標変換して前記車両上方からの視点の画像を作成し、作成した画像に含まれる前記危険と判定された障害物を特徴付けて表示する、
ことを特徴とする車両周囲表示装置。
【請求項７】
請求項１〜６のいずれか一項に記載の車両周囲表示装置であって、
前記立体物高さ検知手段は、前記車両の周囲に存在する立体物の高さと共に、方向と距離とを検知し、
前記表示手段は、前記撮像手段により撮像した画像に含まれる立体物のうち、前記立体物高さ検知手段により取得した前記立体物の方向と距離とに対応する立体物を、前記危険と判定された障害物として特定する、
ことを特徴とする車両周囲表示装置。
【請求項８】
請求項１〜７のいずれか一項に記載の車両周囲表示装置であって、さらに、
前記危険と判定された障害物の存在を音声により運転者に知らせる音声出力手段、
を備えることを特徴とする車両周囲表示装置。
【請求項９】
車両に搭載される車載装置による車両周囲表示方法であって、
前記車載装置は、
車両の周囲を撮像する撮像手段と、
前記車両の周囲に存在する立体物の高さを検知する立体物高さ検知手段と、を備え、
前記立体物高さ検知手段により検知した立体物の高さに基づいて、前記立体物が危険な障害物であるか否かを判定する危険判定ステップと、
前記撮像手段にて撮像した画像を危険判定ステップにおいて危険と判定された障害物について特徴付けて表示する表示ステップと、
を実施することを特徴とする車両周囲表示方法。
【請求項１０】
請求項９に記載の車両周囲表示方法であって、
前記表示ステップでは、前記危険と判定された障害物を、前記立体物高さ検知手段により検知した立体物の高さに応じて着色して表示する、
ことを特徴とする車両周囲表示方法。
【請求項１１】
請求項９または１０に記載の車両周囲表示方法であって、
前記表示ステップでは、前記危険と判定された障害物を、前記立体物高さ検知手段により検知した立体物の高さに応じて点滅させて表示する、
ことを特徴とする車両周囲表示方法。
【請求項１２】
請求項９〜１１のいずれか一項に記載の車両周囲表示方法であって、
前記車載装置は、さらに、
前記立体物高さ検知手段により検出した立体物が、前記車両と接触する可能性があるか否かを予測する接触予測ステップを実施し、
前記表示ステップでは、前記立体物が前記接触予測ステップにより接触する可能性があると予測された場合に、前記危険と判定された障害物を特徴付けて表示する、
ことを特徴とする車両周囲表示方法。
【請求項１３】
請求項１２に記載の車両周囲表示方法であって、
前記接触予測ステップでは、前記車両の予測される軌跡上に前記立体物が存在する場合に、前記車両と接触する可能性があると予測する、
ことを特徴とする車両周囲表示方法。
【請求項１４】
請求項９〜１３のいずれか一項に記載の車両周囲表示方法であって、
前記表示ステップでは、複数の前記撮像手段により撮像した画像を座標変換して前記車両上方からの視点の画像を作成し、作成した画像に含まれる前記危険と判定された障害物を特徴付けて表示する、
ことを特徴とする車両周囲表示方法。
【請求項１５】
請求項９〜１４のいずれか一項に記載の車両周囲表示方法であって、
前記立体物高さ検知手段は、前記車両の周囲に存在する立体物の高さと共に、方向と距離とを検知し、
前記表示ステップでは、前記撮像手段により撮像した画像に含まれる立体物のうち、前記立体物高さ検知手段により取得した前記立体物の方向と距離とに対応する立体物を、前記危険と判定された障害物として特定する、
ことを特徴とする車両周囲表示方法。
【請求項１６】
請求項９〜１５のいずれか一項に記載の車両周囲表示方法であって、
前記車載装置は、さらに、
音声出力手段を備え、
前記表示ステップにおいて、前記音声出力手段により前記危険と判定された障害物の存在を音声により運転者に知らせる、
ことを特徴とする車両周囲表示方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【公開番号】特開２０１１−１０９１７０（Ｐ２０１１−１０９１７０Ａ）
【公開日】平成２３年６月２日（２０１１．６．２）
【国際特許分類】
【出願番号】特願２００９−２５８９１９（Ｐ２００９−２５８９１９）
【出願日】平成２１年１１月１２日（２００９．１１．１２）
【出願人】（０００００１４８７）クラリオン株式会社 (1,722)
【Ｆターム（参考）】
【公開日】平成２３年６月２日（２０１１．６．２）
【国際特許分類】
【出願日】平成２１年１１月１２日（２００９．１１．１２）
【出願人】（０００００１４８７）クラリオン株式会社 (1,722)
【Ｆターム（参考）】
[ Back to top ]