車載用表示システムおよび表示方法
【課題】 車内の携帯型ディスプレイに表示された施設や建物の目的物の認識を容易に行うことができる「車載用表示システムおよび表示方法」を提供する。
【解決手段】 車載用表示システムは、自車周辺を撮像する撮像部20と、ディスプレイを含む携帯型端末装置50と、携帯型端末装置50の方向を検出する方向検出部121と、検出方向に基づき撮像データを切り出す切り出し部122と、自車位置およびディスプレイ50Aの検出方向に基づき地図データから施設情報を検索する施設検索部123と、切り出された撮像データQ1と検索された施設情報52をディスプレイ50Aに表示する表示制御部とを有する。
【解決手段】 車載用表示システムは、自車周辺を撮像する撮像部20と、ディスプレイを含む携帯型端末装置50と、携帯型端末装置50の方向を検出する方向検出部121と、検出方向に基づき撮像データを切り出す切り出し部122と、自車位置およびディスプレイ50Aの検出方向に基づき地図データから施設情報を検索する施設検索部123と、切り出された撮像データQ1と検索された施設情報52をディスプレイ50Aに表示する表示制御部とを有する。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、撮像カメラで車外を撮像した撮像データを車内の携帯型ディスプレイに表示するための表示システムに関する。
【背景技術】
【0002】
車両の後部やサイドミラーに車載カメラを設置し、車両周辺を撮像した撮像データをディスプレイに表示するビューシステムの実用化が進められている。撮像データは、一般に車内に固定されたディスプレイに表示されるが、これ以外にも、車内空間を移動可能な携帯電話機や携帯型端末装置のようなディスプレイへの表示も検討されている。例えば特許文献1は、任意の方向の車外状況を、車内の使用者の視点位置から見た画像として画像表示装置に表示する車外状況表示装置を開示している。より詳細には、車両に対して着脱自在に設けられた画像表示装置の位置を検出し、検出された位置に基づいて、画像表示装置へ向かう延長線上の車外状況を、車載カメラで取得して画像から切り出し、切り出した画像を画像表示装置に表示する。
【0003】
【特許文献1】特開2005−184142号公報
【発明の開示】
【発明が解決しようとする課題】
【0004】
特許文献1に示すように、車内で移動可能なディスプレイに車外の状況を撮像した画像を表示することが可能である。しかしながら、移動式のディスプレイを向けた方向に、車両のボディなどの障害物が存在するような場合には、ディスプレイに表示された施設や建物を実際に肉眼で確認することができないため、観光名所の建物などを探すのに時間がかかってしまうという課題がある。特に、リアシートの乗員は、フロントシートの乗員に比べて視界が狭くなるため目的物を探し難い。また、大型のバスなどでは、座席位置によって視界が大きく異なるため、座席によって目的物の探し易さが異なる。さらに移動式のディスプレイの場合、表示サイズが小さいため、そこに映された映像から建物や施設を視認することが難しい場合もある。
【0005】
本発明は、このような従来の課題を解決し、車内で方向を変えることができる可動ディスプレイに表示される施設や建物の認識を容易に行うことができる車載用表示システムおよび表示方法を提供することを目的とする。
【課題を解決するための手段】
【0006】
本発明に係る車載用表示システムは、自車周辺を撮像し、撮像した撮像データを出力する撮像手段と、自車内で方向を変えることができる可動ディスプレイと、可動ディスプレイの方向を検出する検出手段と、前記検出された可動ディスプレイの方向に基づき撮像データを切り出す切り出し手段と、建物や施設に関する施設情報を含む地図データを記憶する記憶手段と、自車位置を検出する自車位置検出手段と、前記検出された自車位置および前記検出された可動ディスプレイの方向に基づき前記記憶手段に記憶された地図データから施設情報を検索する検索手段と、前記切り出された撮像データと前記検索された施設情報を可動ディスプレイに表示する表示制御手段とを有する。
【0007】
好ましくは前記表示制御手段は、検索された施設情報に含まれる施設名称をリスト状に表示する。好ましくは、前記表示制御手段は、撮像データに映された建物または施設に対応する施設情報を表示する。
【0008】
本発明に係る車載用表示システムは、自車周辺を撮像し、撮像した撮像データを出力する撮像手段と、自車内で方向を変えることができる可動ディスプレイと、可動ディスプレイの方向を検出する検出手段と、前記検出された可動ディスプレイの方向に基づき撮像データを切り出す切り出し手段と、建物や施設に関する施設情報を含む地図データを記憶する記憶手段と、自車位置を検出する自車位置検出手段と、目的施設を入力する入力手段と、前記記憶手段に記憶された地図データを参照して目的施設の位置を検出する位置検出手段と、前記切り出された撮像データを可動ディスプレイに表示する表示制御手段と、前記検出された可動ディスプレイの方向と前記検出された目的施設の位置とを比較し、可動ディスプレイに目的施設の施設情報が表示されるように可動ディスプレイの方向の変化を誘導する誘導手段とを有する。
【0009】
好ましくは、可動ディスプレイは、携帯通信端末または携帯電子処理端末に設けられたディスプレイであり、前記表示制御手段は、撮像データおよび施設情報を無線通信を介して携帯通信端末または携帯電子処理端末に提供する。
【0010】
本発明に係る表示方法は、自車内で方向を変えることができる可動ディスプレイに、可動ディスプレイが向けられた方向の車外の撮像データを表示するものであって、自車周辺を撮像し、その撮像データを提供するステップと、基準となる方向に対して可動ディスプレイが向けられた方向を検出するステップと、検出された可動ディスプレイの方向に基づき撮像データを切り出すステップと、自車位置および検出された可動ディスプレイの方向に基づきナビゲーションに利用される施設情報を検索するステップと、切り出された撮像データと検索された施設情報を可動ディスプレイに表示するステップとを有する。
【0011】
本発明に係る表示方法は、自車内で方向を変えることができる可動ディスプレイに、可動ディスプレイが向けられた方向の車外の撮像データを表示するものであって、目的施設を入力するステップと、基準となる方向に対して可動ディスプレイが向けられた方向を検出するステップと、可動ディスプレイの方向に基づき自車周辺を撮像した撮像データの切り出しを行うステップと、ナビゲーションに利用される地図データを参照して目的施設の位置を検索するステップと、切り出された撮像データを可動ディスプレイに表示するとき、切り出された撮像データに目的施設が表示されるように、可動ディスプレイの方向の変化を誘導するステップとを有する。
【発明の効果】
【0012】
本発明によれば、可動ディスプレイに表示される撮像データに応じた施設情報を併せて表示するようにしたので、映し出された建物や施設の認識が容易になる。さらに、目的施設を探す場合には、可動ディスプレイをどの方向に向ければ良いかを示す誘導(ガイド)を与えるようにしたので、目的施設を短時間で容易に見つけることができる。
【発明を実施するための最良の形態】
【0013】
本発明の実施の形態では、車載ナビゲーション装置の情報と車載カメラの映像との組合せにより、同乗者に対してスピーディにモバイルシースルー映像(車外の状況を車内の可動ディスプレイへ映すこと)を提供することを特徴とする。以下、本発明の最良の実施の形態について図面を参照して詳細に説明する。
【実施例】
【0014】
図1は、本発明の実施例に係る車載用表示システムの構成を示すブロック図である。車載用表示システム10は、自車周辺および車内を撮像する撮像部20と、ユーザからの指示を入力する入力部30と、地図データなどの各種データを記憶する記憶部40と、撮像部20で撮像された自車周辺の撮像データを表示可能な携帯型端末装置50と、音声を出力する音声出力部60と、目的地までの道路案内を行うナビゲーション機能部70と、各部を制御する制御部80とを有している。
【0015】
撮像部20は、図2に示すように、自車周辺の約360度の範囲を撮像する車外撮像カメラ22a、22b、22c、22dと、車内を撮像する車内撮像カメラを含んでいる。車外撮像カメラ22a〜22dおよび車内撮像カメラは、好ましくは視野角が大きい魚眼レンズを有する。車外撮像カメラ22a〜22dは、自車の前後のバンパーおよび左右のドアミラーに取り付けられ、車外撮像カメラ22a、22bは視野角θ1、車外撮像カメラ22c、22dは視野角θ2であり、これらの視野角を重複させることで車両の全周囲を撮像する。
【0016】
携帯型端末装置50は、特に制限されないが、車内で自由に方向を変えることができ、撮像データなどのデータを制御部80とデータ通信する通信機能と、撮像データをディスプレイに表示する表示機能とを備えている。例えば、携帯電話機、携帯電子端末、ノート型パソコンなどを用いることができる。
【0017】
入力部30、記憶部40、音声出力部60は、車載用表示システム10が独自に備えるものであって良いし、車内にオーディオシステム、ビデオシステム、ナビゲーションシステムが搭載されている場合には、それらのシステムと共用されるものであってもよい。
【0018】
ナビゲーション機能部70は、GPS衛星やジャイロセンサ等の自律航法センサからの測位データにより自車位置を検出する自車位置検出機能と、検出された自車位置周辺の地図データを記憶部40から読出しこれをディスプレイに表示する表示機能と、自車位置から目的地までの誘導経路を検索し最適な誘導経路により案内を行う機能などを備えている。ナビゲーション機能部70によって利用される地図データ等は、ナビゲーション機能部70が備えるものであってもいし、記憶部40に格納されるものであってもよい。ここでは、地図データは、記憶部40に格納されているものとする。
【0019】
地図データは、道路や地形に関する道路地図データ、建物や施設などに関する施設データを含み、道路地図データは、リンクデータや交差点データなどを含んでいる。施設データは、例えば図3に示すような階層構造のデータを含んでいる。すなわち、施設データは、複数の施設ジャンルと、各施設ジャンルに属する施設名称とを含み、各施設名称は、施設座標、施設住所、施設ポリゴン等を含んでいる。施設ジャンルは、例えば、観光地、宿泊地、遊園地、駅、レストラン等がある。施設名称および施設住所は、それらを示すテキスト情報を含み、施設座標は、緯度、経度情報を含んでいる。施設ポリゴンは、施設を識別するための外観形状データであって、2次元または3次元ポリゴンデータを用いることができる。
【0020】
次に、制御部80について説明する。制御部80は、マイクロコントローラまたはマイクロコンピュータなどを用いて構成され、ROMやRAM等のメモリにプログラムを格納し、プログラムを実行することで種々の動作を制御する。
【0021】
図4は、制御部80の機能ブロック図である。制御部80は、携帯型端末装置またはそのディスプレイが向いている方向を検出する方向検出部121と、撮像データの切り出しを行う切り出し部122と、携帯型端末装置の方向と自車位置から施設情報を検索する施設検索部123と、切り出された撮像データと検索された施設情報を合成した合成画像を作成する画像合成部124とを含む。
【0022】
本例では、方向検出部121は、車内撮像カメラで撮像された撮像データを用いて携帯型端末装置50の方向を検出する。このため、車内撮像カメラは、好ましくは車内の全域を見渡せる位置、例えば車両の天井に設置され、車内を上方から撮像する。図5は、車内撮像カメラにより車内を撮像したときの模式的な撮像例である。図中、Dは運転席、P1は助手席、P2、P3は後部座席、Mは自車の進行方向、αは、進行方向Mが基準線Bと成す角度(ここでは、直角である)、Sは、携帯型端末装置50が向いている方向、βは、方向Sが基準線Bと成す角度である。なお、基準線Bは、特に制限されないが、例えば自車の前輪を連結する軸と平行は方向とすれば、自車の進行方向は、基準線Bと常に直交する。
【0023】
方向検出部121は、図5に示すような車内撮像データを受取り、これを画像解析する。これにより、携帯型端末装置50の位置を検出し、携帯型端末装置50の方向を検出する。ここでは、携帯型端末装置50が薄型の矩形状の外観を有し、その一面にディスプレイ50Aが設置されているものとし、ディスプレイ50Aと直交する方向が携帯型端末装置50の方向Sとする。従って、方向検出部121は、携帯型端末装置50の方向S、すなわち方向Sが基準線Bと成す角度βを検出する。
【0024】
切り出し部122は、車外撮像カメラ22a〜22dから自車周辺の車外撮像データを受け取り、方向検出部121で検出された携帯型端末装置50の方向Sに基づき車外撮像データの切り出しを行う。図6は、撮像データの切り出し方法を示している。車外撮像カメラ22a〜22dにより自車位置Oを中心として、360度の範囲の車外撮像データQが得られる。携帯型端末装置50が方向Sを向いているとき、方向Sを中心にそれぞれγの切り出し角度に相当する撮像データQ1が切り出される。切り出し角度γは、携帯型端末装置のディスプレイの大きさや解像度に応じて適宜選択することができる。
【0025】
施設検索部123は、記憶部40が記憶された施設データから、携帯型携帯端末装置50に提示すべき施設データを検索する。施設検索部123は、好ましくは、切り出された撮像データQ1、すなわち、切り出し角度2γ内に存在する施設データを検索する。図7は、施設データの検索方法を示している。図中のrは、自車位置Oを中心とする撮像可能な距離である。施設検索部123は、ナビゲーション機能部70から得た自車位置(緯度、経度の座標)と、撮像距離rと、携帯型端末装置50の方向Sを中心とする切り出し角度2αとによって囲まれた検索領域(ハッチングで示す)内に、施設データの施設座標(図3を参照)が存在するか否かを検索し、該当する施設名称、施設ポリゴン等の施設情報を抽出する。
【0026】
なお、施設情報の検索方法は、これ以外にも、例えばナビゲーション機能部30から得られた自車位置を中心とする周辺施設検索結果を利用することも可能である。この場合、周辺施設検索結果で得られた施設の座標位置から、切り出し角度2γ内に属する施設を抽出するようにしてもよい。さらに施設の抽出は、必ずしも切り出し角度2γ内に制限することなく、これより広い角度に含まれる施設を抽出するようにしてもよい。
【0027】
画像合成部124は、切り出された撮像データQ1と、施設検索部123により検索された施設情報を合成する。合成された画像は、携帯型端末装置50のディスプレイに表示される。図8は、合成された画像の表示例である。携帯型端末装置50のディスプレイ50Aには、携帯型端末装置50の方向Sの延長線上にある車外の撮像データQ1が一定のスケールで表示される。さらに、ディスプレイ50Aには、撮像データQ1内に含まれる施設の施設名称を示す施設リスト52が表示される。施設リスト52には、幾つかの施設名称が縦方向に並んで表示されているが、施設名称の数が多いときには、施設名称をスクロールさせてもよい。施設リスト52は、撮像データQ1の映像を遮蔽しない位置に合成されることが望ましく、例えば、撮像データQ1の上下または左右の端部に合成される。
【0028】
次に、本実施例の車載用表示システムの動作を図9のフローチャートを参照して説明する。先ず、撮像部20により自車周辺および車内の撮像を開始する(ステップS101)。次に、方向検出部121は、車内の撮像データを用いて、携帯型端末装置50がどの方向に向いているかを検出する(ステップS102)。次に、切り出し部122は、方向検出部121によって検出された方向Sに基づき、図6に示したように切り出し角2γにて車外撮像データの切り出しを行う(ステップS103)。
【0029】
次に、施設検索部123は、ナビゲーション機能部70から自車位置情報を受け取り、図6に示したように、自車位置情報、携帯型端末装置50の方向Sおよび撮像距離rの範囲内に存在する施設情報を地図データから検索する(ステップS104)。そして、施設検索部123は、検索された複数の施設名を含む施設リストを作成する(ステップS105)。
【0030】
次に、画像合成部124は、切り出された撮像データQ1と作成した施設リスト52を合成した画像を作成し(ステップS106)、この合成された画像が携帯型端末装置50のディスプレイ50Aに表示される(ステップS107)。これにより、携帯型端末装置50のディスプレイ50Aには、その延長線上または利用者の視線方向の車外の撮像データが表示され、併せて表示されている建物や施設に関する施設名称が表示されるため、車外を目視することができないような場合、あるいはディスプレイ50Aの表示サイズが小さく建物を視認することが困難な場合であっても、撮像データに映し出された建物や施設から目的施設を容易に探すことができる。また、施設名称の表示とともに、音声出力部60から施設名称を音声出力させても良い。
【0031】
上記実施例では、施設名称のリストを表示したが、これは一例であり、施設情報は、他の形態で表示されてもよい。例えば、施設名称とともに、あるいは施設名称に代えて施設ジャンルや施設住所を表示してもよい。さらに、施設情報に含まれる施設ポリゴンを利用して、実際の撮像データの建物や施設とパターンマッチングを行い、個々の施設または建物を識別し、それらに対して施設名称を表示するようにしてもよい。例えば、図10に示すように、個々の識別された施設や建物に、「東京タワー」、「Aビル」、「Bビル」のように対応する施設名称を表示する。これにより、撮像データに映されている個々の施設や建物の詳細を知ることができる。
【0032】
次に、本発明の第2の実施例について説明する。第2の実施例は、ユーザによって入力された目的施設の検索を誘導する機能を備えている。図11は、第2の実施例に係る制御部80の機能ブロック図であり、第1の実施例と同様のものには、同一参照番号を付してある。
【0033】
車載用表示システム10の入力部30から、ユーザは、目的施設を入力することができる。目的施設が入力されると、目的施設の位置検出部125は、記憶部40の地図データを参照し、目的施設に一致する施設データの座標位置を検出する。さらに位置検出部125は、目的施設の座標位置を自車位置Oを基準としたときの位置ベクトルに変換する。
【0034】
誘導部126は、目的施設の位置ベクトルと携帯型端末装置50の方向M(または角度β)とを比較し、切り出された撮像データQ1内に目的施設が映るように、携帯型端末装置の回転方向のガイドを行う。例えば、図12に示すように、目的施設がT1の位置にあるならば、携帯型端末装置50を反時計方向に回転を誘導させ、目的施設T1が切り出し角2γ内に含まれるようにし、他方、目的施設がT2の位置にあるならば、携帯型端末装置50を時計方向に回転を誘導させ、目的施設T2が切り出し角2γ内に含まれるようにする。言い換えれば、携帯型端末装置50の方向Sが基準Bと成す角βと、目的施設が基準Bと成す角β1との差が小さくなる方向に、携帯型端末装置の回転を誘導する。
【0035】
図13は、携帯型端末装置50のディスプレイに表示される誘導例である。
同図に示すように、ディスプレイ50Aには、目的施設T1またはT2への方向を矢印Yで示す誘導画像が合成して表示される。このとき、音声出力部60は、「携帯型端末装置を左方向に回転させてください」などの音声ガイドを行うようにしてもよい。そして、目的施設T1またはT2が切り出された撮像データQ1内に映されたとき、目的施設の施設名称を表示する。図13の例では、「東京タワー」が目的施設の名称として表示されている。これにより、目的施設の方向が分からない場合であっても、誘導に従って携帯型端末装置を回転させることで、撮像データ内に目的施設を確認することができ、同時に、自車からどの方向に視線を向ければよいかを容易に知ることができる。
【0036】
以上、本発明の好ましい実施の形態について詳述したが、本発明は、特定の実施形態に限定されるものではなく、特許請求項の範囲に記載された要旨の範囲内において、種々の変形・変更が可能である。
【図面の簡単な説明】
【0037】
【図1】本発明の実施例に係る車載用表示システムの構成を示すブロック図である。
【図2】図1に示す撮像部の車外撮像カメラの設置例である。
【図3】施設データの例を示す図である。
【図4】図1に示す制御部の機能ブロック図である。
【図5】図1に示す撮像部の車内撮像カメラによる撮像例を示す図である。
【図6】撮像データの切り出し方法を示す図である。
【図7】施設データの検索方法を示す図である。
【図8】切り出された撮像データと施設情報の合成画像の例である。
【図9】本実施例に係る車載用表示システムの動作を示すフローチャートである。
【図10】本実施例の施設情報の他の表示例である。
【図11】本発明の第2の実施例に係る制御部の機能ブロック図である。
【図12】第2の実施例における誘導部の動作を説明する図である。
【図13】第2の実施例に係る合成画像の表示例である。
【符号の説明】
【0038】
10:車載用表示装置 20:撮像部
30:入力部 40:記憶部
50:携帯型端末装置 50A:ディスプレイ
52:施設情報 60:音声出力部
70:ナビゲーション機能部 80:制御部
M:自車の進行方向 S:携帯型端末装置の方向
B:基準線 α:進行方向Mが基準線と成す角度
β:方向Sが基準線と成す角度 γ:切り出し角
r:撮像可能な距離 Q:自車周辺の撮像データ
Q1:切り出された撮像データ T1、T2:目的施設の位置
【技術分野】
【0001】
本発明は、撮像カメラで車外を撮像した撮像データを車内の携帯型ディスプレイに表示するための表示システムに関する。
【背景技術】
【0002】
車両の後部やサイドミラーに車載カメラを設置し、車両周辺を撮像した撮像データをディスプレイに表示するビューシステムの実用化が進められている。撮像データは、一般に車内に固定されたディスプレイに表示されるが、これ以外にも、車内空間を移動可能な携帯電話機や携帯型端末装置のようなディスプレイへの表示も検討されている。例えば特許文献1は、任意の方向の車外状況を、車内の使用者の視点位置から見た画像として画像表示装置に表示する車外状況表示装置を開示している。より詳細には、車両に対して着脱自在に設けられた画像表示装置の位置を検出し、検出された位置に基づいて、画像表示装置へ向かう延長線上の車外状況を、車載カメラで取得して画像から切り出し、切り出した画像を画像表示装置に表示する。
【0003】
【特許文献1】特開2005−184142号公報
【発明の開示】
【発明が解決しようとする課題】
【0004】
特許文献1に示すように、車内で移動可能なディスプレイに車外の状況を撮像した画像を表示することが可能である。しかしながら、移動式のディスプレイを向けた方向に、車両のボディなどの障害物が存在するような場合には、ディスプレイに表示された施設や建物を実際に肉眼で確認することができないため、観光名所の建物などを探すのに時間がかかってしまうという課題がある。特に、リアシートの乗員は、フロントシートの乗員に比べて視界が狭くなるため目的物を探し難い。また、大型のバスなどでは、座席位置によって視界が大きく異なるため、座席によって目的物の探し易さが異なる。さらに移動式のディスプレイの場合、表示サイズが小さいため、そこに映された映像から建物や施設を視認することが難しい場合もある。
【0005】
本発明は、このような従来の課題を解決し、車内で方向を変えることができる可動ディスプレイに表示される施設や建物の認識を容易に行うことができる車載用表示システムおよび表示方法を提供することを目的とする。
【課題を解決するための手段】
【0006】
本発明に係る車載用表示システムは、自車周辺を撮像し、撮像した撮像データを出力する撮像手段と、自車内で方向を変えることができる可動ディスプレイと、可動ディスプレイの方向を検出する検出手段と、前記検出された可動ディスプレイの方向に基づき撮像データを切り出す切り出し手段と、建物や施設に関する施設情報を含む地図データを記憶する記憶手段と、自車位置を検出する自車位置検出手段と、前記検出された自車位置および前記検出された可動ディスプレイの方向に基づき前記記憶手段に記憶された地図データから施設情報を検索する検索手段と、前記切り出された撮像データと前記検索された施設情報を可動ディスプレイに表示する表示制御手段とを有する。
【0007】
好ましくは前記表示制御手段は、検索された施設情報に含まれる施設名称をリスト状に表示する。好ましくは、前記表示制御手段は、撮像データに映された建物または施設に対応する施設情報を表示する。
【0008】
本発明に係る車載用表示システムは、自車周辺を撮像し、撮像した撮像データを出力する撮像手段と、自車内で方向を変えることができる可動ディスプレイと、可動ディスプレイの方向を検出する検出手段と、前記検出された可動ディスプレイの方向に基づき撮像データを切り出す切り出し手段と、建物や施設に関する施設情報を含む地図データを記憶する記憶手段と、自車位置を検出する自車位置検出手段と、目的施設を入力する入力手段と、前記記憶手段に記憶された地図データを参照して目的施設の位置を検出する位置検出手段と、前記切り出された撮像データを可動ディスプレイに表示する表示制御手段と、前記検出された可動ディスプレイの方向と前記検出された目的施設の位置とを比較し、可動ディスプレイに目的施設の施設情報が表示されるように可動ディスプレイの方向の変化を誘導する誘導手段とを有する。
【0009】
好ましくは、可動ディスプレイは、携帯通信端末または携帯電子処理端末に設けられたディスプレイであり、前記表示制御手段は、撮像データおよび施設情報を無線通信を介して携帯通信端末または携帯電子処理端末に提供する。
【0010】
本発明に係る表示方法は、自車内で方向を変えることができる可動ディスプレイに、可動ディスプレイが向けられた方向の車外の撮像データを表示するものであって、自車周辺を撮像し、その撮像データを提供するステップと、基準となる方向に対して可動ディスプレイが向けられた方向を検出するステップと、検出された可動ディスプレイの方向に基づき撮像データを切り出すステップと、自車位置および検出された可動ディスプレイの方向に基づきナビゲーションに利用される施設情報を検索するステップと、切り出された撮像データと検索された施設情報を可動ディスプレイに表示するステップとを有する。
【0011】
本発明に係る表示方法は、自車内で方向を変えることができる可動ディスプレイに、可動ディスプレイが向けられた方向の車外の撮像データを表示するものであって、目的施設を入力するステップと、基準となる方向に対して可動ディスプレイが向けられた方向を検出するステップと、可動ディスプレイの方向に基づき自車周辺を撮像した撮像データの切り出しを行うステップと、ナビゲーションに利用される地図データを参照して目的施設の位置を検索するステップと、切り出された撮像データを可動ディスプレイに表示するとき、切り出された撮像データに目的施設が表示されるように、可動ディスプレイの方向の変化を誘導するステップとを有する。
【発明の効果】
【0012】
本発明によれば、可動ディスプレイに表示される撮像データに応じた施設情報を併せて表示するようにしたので、映し出された建物や施設の認識が容易になる。さらに、目的施設を探す場合には、可動ディスプレイをどの方向に向ければ良いかを示す誘導(ガイド)を与えるようにしたので、目的施設を短時間で容易に見つけることができる。
【発明を実施するための最良の形態】
【0013】
本発明の実施の形態では、車載ナビゲーション装置の情報と車載カメラの映像との組合せにより、同乗者に対してスピーディにモバイルシースルー映像(車外の状況を車内の可動ディスプレイへ映すこと)を提供することを特徴とする。以下、本発明の最良の実施の形態について図面を参照して詳細に説明する。
【実施例】
【0014】
図1は、本発明の実施例に係る車載用表示システムの構成を示すブロック図である。車載用表示システム10は、自車周辺および車内を撮像する撮像部20と、ユーザからの指示を入力する入力部30と、地図データなどの各種データを記憶する記憶部40と、撮像部20で撮像された自車周辺の撮像データを表示可能な携帯型端末装置50と、音声を出力する音声出力部60と、目的地までの道路案内を行うナビゲーション機能部70と、各部を制御する制御部80とを有している。
【0015】
撮像部20は、図2に示すように、自車周辺の約360度の範囲を撮像する車外撮像カメラ22a、22b、22c、22dと、車内を撮像する車内撮像カメラを含んでいる。車外撮像カメラ22a〜22dおよび車内撮像カメラは、好ましくは視野角が大きい魚眼レンズを有する。車外撮像カメラ22a〜22dは、自車の前後のバンパーおよび左右のドアミラーに取り付けられ、車外撮像カメラ22a、22bは視野角θ1、車外撮像カメラ22c、22dは視野角θ2であり、これらの視野角を重複させることで車両の全周囲を撮像する。
【0016】
携帯型端末装置50は、特に制限されないが、車内で自由に方向を変えることができ、撮像データなどのデータを制御部80とデータ通信する通信機能と、撮像データをディスプレイに表示する表示機能とを備えている。例えば、携帯電話機、携帯電子端末、ノート型パソコンなどを用いることができる。
【0017】
入力部30、記憶部40、音声出力部60は、車載用表示システム10が独自に備えるものであって良いし、車内にオーディオシステム、ビデオシステム、ナビゲーションシステムが搭載されている場合には、それらのシステムと共用されるものであってもよい。
【0018】
ナビゲーション機能部70は、GPS衛星やジャイロセンサ等の自律航法センサからの測位データにより自車位置を検出する自車位置検出機能と、検出された自車位置周辺の地図データを記憶部40から読出しこれをディスプレイに表示する表示機能と、自車位置から目的地までの誘導経路を検索し最適な誘導経路により案内を行う機能などを備えている。ナビゲーション機能部70によって利用される地図データ等は、ナビゲーション機能部70が備えるものであってもいし、記憶部40に格納されるものであってもよい。ここでは、地図データは、記憶部40に格納されているものとする。
【0019】
地図データは、道路や地形に関する道路地図データ、建物や施設などに関する施設データを含み、道路地図データは、リンクデータや交差点データなどを含んでいる。施設データは、例えば図3に示すような階層構造のデータを含んでいる。すなわち、施設データは、複数の施設ジャンルと、各施設ジャンルに属する施設名称とを含み、各施設名称は、施設座標、施設住所、施設ポリゴン等を含んでいる。施設ジャンルは、例えば、観光地、宿泊地、遊園地、駅、レストラン等がある。施設名称および施設住所は、それらを示すテキスト情報を含み、施設座標は、緯度、経度情報を含んでいる。施設ポリゴンは、施設を識別するための外観形状データであって、2次元または3次元ポリゴンデータを用いることができる。
【0020】
次に、制御部80について説明する。制御部80は、マイクロコントローラまたはマイクロコンピュータなどを用いて構成され、ROMやRAM等のメモリにプログラムを格納し、プログラムを実行することで種々の動作を制御する。
【0021】
図4は、制御部80の機能ブロック図である。制御部80は、携帯型端末装置またはそのディスプレイが向いている方向を検出する方向検出部121と、撮像データの切り出しを行う切り出し部122と、携帯型端末装置の方向と自車位置から施設情報を検索する施設検索部123と、切り出された撮像データと検索された施設情報を合成した合成画像を作成する画像合成部124とを含む。
【0022】
本例では、方向検出部121は、車内撮像カメラで撮像された撮像データを用いて携帯型端末装置50の方向を検出する。このため、車内撮像カメラは、好ましくは車内の全域を見渡せる位置、例えば車両の天井に設置され、車内を上方から撮像する。図5は、車内撮像カメラにより車内を撮像したときの模式的な撮像例である。図中、Dは運転席、P1は助手席、P2、P3は後部座席、Mは自車の進行方向、αは、進行方向Mが基準線Bと成す角度(ここでは、直角である)、Sは、携帯型端末装置50が向いている方向、βは、方向Sが基準線Bと成す角度である。なお、基準線Bは、特に制限されないが、例えば自車の前輪を連結する軸と平行は方向とすれば、自車の進行方向は、基準線Bと常に直交する。
【0023】
方向検出部121は、図5に示すような車内撮像データを受取り、これを画像解析する。これにより、携帯型端末装置50の位置を検出し、携帯型端末装置50の方向を検出する。ここでは、携帯型端末装置50が薄型の矩形状の外観を有し、その一面にディスプレイ50Aが設置されているものとし、ディスプレイ50Aと直交する方向が携帯型端末装置50の方向Sとする。従って、方向検出部121は、携帯型端末装置50の方向S、すなわち方向Sが基準線Bと成す角度βを検出する。
【0024】
切り出し部122は、車外撮像カメラ22a〜22dから自車周辺の車外撮像データを受け取り、方向検出部121で検出された携帯型端末装置50の方向Sに基づき車外撮像データの切り出しを行う。図6は、撮像データの切り出し方法を示している。車外撮像カメラ22a〜22dにより自車位置Oを中心として、360度の範囲の車外撮像データQが得られる。携帯型端末装置50が方向Sを向いているとき、方向Sを中心にそれぞれγの切り出し角度に相当する撮像データQ1が切り出される。切り出し角度γは、携帯型端末装置のディスプレイの大きさや解像度に応じて適宜選択することができる。
【0025】
施設検索部123は、記憶部40が記憶された施設データから、携帯型携帯端末装置50に提示すべき施設データを検索する。施設検索部123は、好ましくは、切り出された撮像データQ1、すなわち、切り出し角度2γ内に存在する施設データを検索する。図7は、施設データの検索方法を示している。図中のrは、自車位置Oを中心とする撮像可能な距離である。施設検索部123は、ナビゲーション機能部70から得た自車位置(緯度、経度の座標)と、撮像距離rと、携帯型端末装置50の方向Sを中心とする切り出し角度2αとによって囲まれた検索領域(ハッチングで示す)内に、施設データの施設座標(図3を参照)が存在するか否かを検索し、該当する施設名称、施設ポリゴン等の施設情報を抽出する。
【0026】
なお、施設情報の検索方法は、これ以外にも、例えばナビゲーション機能部30から得られた自車位置を中心とする周辺施設検索結果を利用することも可能である。この場合、周辺施設検索結果で得られた施設の座標位置から、切り出し角度2γ内に属する施設を抽出するようにしてもよい。さらに施設の抽出は、必ずしも切り出し角度2γ内に制限することなく、これより広い角度に含まれる施設を抽出するようにしてもよい。
【0027】
画像合成部124は、切り出された撮像データQ1と、施設検索部123により検索された施設情報を合成する。合成された画像は、携帯型端末装置50のディスプレイに表示される。図8は、合成された画像の表示例である。携帯型端末装置50のディスプレイ50Aには、携帯型端末装置50の方向Sの延長線上にある車外の撮像データQ1が一定のスケールで表示される。さらに、ディスプレイ50Aには、撮像データQ1内に含まれる施設の施設名称を示す施設リスト52が表示される。施設リスト52には、幾つかの施設名称が縦方向に並んで表示されているが、施設名称の数が多いときには、施設名称をスクロールさせてもよい。施設リスト52は、撮像データQ1の映像を遮蔽しない位置に合成されることが望ましく、例えば、撮像データQ1の上下または左右の端部に合成される。
【0028】
次に、本実施例の車載用表示システムの動作を図9のフローチャートを参照して説明する。先ず、撮像部20により自車周辺および車内の撮像を開始する(ステップS101)。次に、方向検出部121は、車内の撮像データを用いて、携帯型端末装置50がどの方向に向いているかを検出する(ステップS102)。次に、切り出し部122は、方向検出部121によって検出された方向Sに基づき、図6に示したように切り出し角2γにて車外撮像データの切り出しを行う(ステップS103)。
【0029】
次に、施設検索部123は、ナビゲーション機能部70から自車位置情報を受け取り、図6に示したように、自車位置情報、携帯型端末装置50の方向Sおよび撮像距離rの範囲内に存在する施設情報を地図データから検索する(ステップS104)。そして、施設検索部123は、検索された複数の施設名を含む施設リストを作成する(ステップS105)。
【0030】
次に、画像合成部124は、切り出された撮像データQ1と作成した施設リスト52を合成した画像を作成し(ステップS106)、この合成された画像が携帯型端末装置50のディスプレイ50Aに表示される(ステップS107)。これにより、携帯型端末装置50のディスプレイ50Aには、その延長線上または利用者の視線方向の車外の撮像データが表示され、併せて表示されている建物や施設に関する施設名称が表示されるため、車外を目視することができないような場合、あるいはディスプレイ50Aの表示サイズが小さく建物を視認することが困難な場合であっても、撮像データに映し出された建物や施設から目的施設を容易に探すことができる。また、施設名称の表示とともに、音声出力部60から施設名称を音声出力させても良い。
【0031】
上記実施例では、施設名称のリストを表示したが、これは一例であり、施設情報は、他の形態で表示されてもよい。例えば、施設名称とともに、あるいは施設名称に代えて施設ジャンルや施設住所を表示してもよい。さらに、施設情報に含まれる施設ポリゴンを利用して、実際の撮像データの建物や施設とパターンマッチングを行い、個々の施設または建物を識別し、それらに対して施設名称を表示するようにしてもよい。例えば、図10に示すように、個々の識別された施設や建物に、「東京タワー」、「Aビル」、「Bビル」のように対応する施設名称を表示する。これにより、撮像データに映されている個々の施設や建物の詳細を知ることができる。
【0032】
次に、本発明の第2の実施例について説明する。第2の実施例は、ユーザによって入力された目的施設の検索を誘導する機能を備えている。図11は、第2の実施例に係る制御部80の機能ブロック図であり、第1の実施例と同様のものには、同一参照番号を付してある。
【0033】
車載用表示システム10の入力部30から、ユーザは、目的施設を入力することができる。目的施設が入力されると、目的施設の位置検出部125は、記憶部40の地図データを参照し、目的施設に一致する施設データの座標位置を検出する。さらに位置検出部125は、目的施設の座標位置を自車位置Oを基準としたときの位置ベクトルに変換する。
【0034】
誘導部126は、目的施設の位置ベクトルと携帯型端末装置50の方向M(または角度β)とを比較し、切り出された撮像データQ1内に目的施設が映るように、携帯型端末装置の回転方向のガイドを行う。例えば、図12に示すように、目的施設がT1の位置にあるならば、携帯型端末装置50を反時計方向に回転を誘導させ、目的施設T1が切り出し角2γ内に含まれるようにし、他方、目的施設がT2の位置にあるならば、携帯型端末装置50を時計方向に回転を誘導させ、目的施設T2が切り出し角2γ内に含まれるようにする。言い換えれば、携帯型端末装置50の方向Sが基準Bと成す角βと、目的施設が基準Bと成す角β1との差が小さくなる方向に、携帯型端末装置の回転を誘導する。
【0035】
図13は、携帯型端末装置50のディスプレイに表示される誘導例である。
同図に示すように、ディスプレイ50Aには、目的施設T1またはT2への方向を矢印Yで示す誘導画像が合成して表示される。このとき、音声出力部60は、「携帯型端末装置を左方向に回転させてください」などの音声ガイドを行うようにしてもよい。そして、目的施設T1またはT2が切り出された撮像データQ1内に映されたとき、目的施設の施設名称を表示する。図13の例では、「東京タワー」が目的施設の名称として表示されている。これにより、目的施設の方向が分からない場合であっても、誘導に従って携帯型端末装置を回転させることで、撮像データ内に目的施設を確認することができ、同時に、自車からどの方向に視線を向ければよいかを容易に知ることができる。
【0036】
以上、本発明の好ましい実施の形態について詳述したが、本発明は、特定の実施形態に限定されるものではなく、特許請求項の範囲に記載された要旨の範囲内において、種々の変形・変更が可能である。
【図面の簡単な説明】
【0037】
【図1】本発明の実施例に係る車載用表示システムの構成を示すブロック図である。
【図2】図1に示す撮像部の車外撮像カメラの設置例である。
【図3】施設データの例を示す図である。
【図4】図1に示す制御部の機能ブロック図である。
【図5】図1に示す撮像部の車内撮像カメラによる撮像例を示す図である。
【図6】撮像データの切り出し方法を示す図である。
【図7】施設データの検索方法を示す図である。
【図8】切り出された撮像データと施設情報の合成画像の例である。
【図9】本実施例に係る車載用表示システムの動作を示すフローチャートである。
【図10】本実施例の施設情報の他の表示例である。
【図11】本発明の第2の実施例に係る制御部の機能ブロック図である。
【図12】第2の実施例における誘導部の動作を説明する図である。
【図13】第2の実施例に係る合成画像の表示例である。
【符号の説明】
【0038】
10:車載用表示装置 20:撮像部
30:入力部 40:記憶部
50:携帯型端末装置 50A:ディスプレイ
52:施設情報 60:音声出力部
70:ナビゲーション機能部 80:制御部
M:自車の進行方向 S:携帯型端末装置の方向
B:基準線 α:進行方向Mが基準線と成す角度
β:方向Sが基準線と成す角度 γ:切り出し角
r:撮像可能な距離 Q:自車周辺の撮像データ
Q1:切り出された撮像データ T1、T2:目的施設の位置
【特許請求の範囲】
【請求項1】
自車周辺を撮像し、撮像した撮像データを出力する撮像手段と、
自車内で方向を変えることができる可動ディスプレイと、
可動ディスプレイの方向を検出する検出手段と、
前記検出された可動ディスプレイの方向に基づき撮像データを切り出す切り出し手段と、
建物や施設に関する施設情報を含む地図データを記憶する記憶手段と、
自車位置を検出する自車位置検出手段と、
前記検出された自車位置および前記検出された可動ディスプレイの方向に基づき前記記憶手段に記憶された地図データから施設情報を検索する検索手段と、
前記切り出された撮像データと前記検索された施設情報を可動ディスプレイに表示する表示制御手段と、
を有する車載用表示システム。
【請求項2】
前記表示制御手段は、検索された施設情報に含まれる施設名称をリスト状に表示する、請求項1に記載の車載用表示システム。
【請求項3】
前記表示制御手段は、撮像データに映された建物または施設に対応する施設情報を表示する、請求項1に記載の車載用表示システム。
【請求項4】
自車周辺を撮像し、撮像した撮像データを出力する撮像手段と、
自車内で方向を変えることができる可動ディスプレイと、
可動ディスプレイの方向を検出する検出手段と、
前記検出された可動ディスプレイの方向に基づき撮像データを切り出す切り出し手段と、
建物や施設に関する施設情報を含む地図データを記憶する記憶手段と、
自車位置を検出する自車位置検出手段と、
目的施設を入力する入力手段と、
前記記憶手段に記憶された地図データを参照して目的施設の位置を検出する位置検出手段と、
前記切り出された撮像データを可動ディスプレイに表示する表示制御手段と、
前記検出された可動ディスプレイの方向と前記検出された目的施設の位置とを比較し、可動ディスプレイに目的施設の施設情報が表示されるように可動ディスプレイの方向の変化を誘導する誘導手段と、
を有する車載用表示システム。
【請求項5】
可動ディスプレイは、携帯通信端末または携帯電子処理端末に設けられたディスプレイであり、前記表示制御手段は、撮像データおよび施設情報を無線通信を介して携帯通信端末または携帯電子処理端末に提供する、請求項1ないし4いずれか1つに記載の車載用表示システム。
【請求項6】
自車内で方向を変えることができる可動ディスプレイに、可動ディスプレイが向けられた方向の車外の撮像データを表示する表示方法であって、
自車周辺を撮像し、その撮像データを提供するステップと、
基準となる方向に対して可動ディスプレイが向けられた方向を検出するステップと、
検出された可動ディスプレイの方向に基づき撮像データを切り出すステップと、
自車位置および検出された可動ディスプレイの方向に基づきナビゲーションに利用される施設情報を検索するステップと、
切り出された撮像データと検索された施設情報を可動ディスプレイに表示するステップと、
を有する表示方法。
【請求項7】
自車内で方向を変えることができる可動ディスプレイに、可動ディスプレイが向けられた方向の車外の撮像データを表示する表示方法であって、
目的施設を入力するステップと、
基準となる方向に対して可動ディスプレイが向けられた方向を検出するステップと、
可動ディスプレイの方向に基づき自車周辺を撮像した撮像データの切り出しを行うステップと、
ナビゲーションに利用される地図データを参照して目的施設の位置を検索するステップと、
切り出された撮像データを可動ディスプレイに表示するとき、切り出された撮像データに目的施設が表示されるように、可動ディスプレイの方向の変化を誘導するステップと、
を有する表示方法。
【請求項1】
自車周辺を撮像し、撮像した撮像データを出力する撮像手段と、
自車内で方向を変えることができる可動ディスプレイと、
可動ディスプレイの方向を検出する検出手段と、
前記検出された可動ディスプレイの方向に基づき撮像データを切り出す切り出し手段と、
建物や施設に関する施設情報を含む地図データを記憶する記憶手段と、
自車位置を検出する自車位置検出手段と、
前記検出された自車位置および前記検出された可動ディスプレイの方向に基づき前記記憶手段に記憶された地図データから施設情報を検索する検索手段と、
前記切り出された撮像データと前記検索された施設情報を可動ディスプレイに表示する表示制御手段と、
を有する車載用表示システム。
【請求項2】
前記表示制御手段は、検索された施設情報に含まれる施設名称をリスト状に表示する、請求項1に記載の車載用表示システム。
【請求項3】
前記表示制御手段は、撮像データに映された建物または施設に対応する施設情報を表示する、請求項1に記載の車載用表示システム。
【請求項4】
自車周辺を撮像し、撮像した撮像データを出力する撮像手段と、
自車内で方向を変えることができる可動ディスプレイと、
可動ディスプレイの方向を検出する検出手段と、
前記検出された可動ディスプレイの方向に基づき撮像データを切り出す切り出し手段と、
建物や施設に関する施設情報を含む地図データを記憶する記憶手段と、
自車位置を検出する自車位置検出手段と、
目的施設を入力する入力手段と、
前記記憶手段に記憶された地図データを参照して目的施設の位置を検出する位置検出手段と、
前記切り出された撮像データを可動ディスプレイに表示する表示制御手段と、
前記検出された可動ディスプレイの方向と前記検出された目的施設の位置とを比較し、可動ディスプレイに目的施設の施設情報が表示されるように可動ディスプレイの方向の変化を誘導する誘導手段と、
を有する車載用表示システム。
【請求項5】
可動ディスプレイは、携帯通信端末または携帯電子処理端末に設けられたディスプレイであり、前記表示制御手段は、撮像データおよび施設情報を無線通信を介して携帯通信端末または携帯電子処理端末に提供する、請求項1ないし4いずれか1つに記載の車載用表示システム。
【請求項6】
自車内で方向を変えることができる可動ディスプレイに、可動ディスプレイが向けられた方向の車外の撮像データを表示する表示方法であって、
自車周辺を撮像し、その撮像データを提供するステップと、
基準となる方向に対して可動ディスプレイが向けられた方向を検出するステップと、
検出された可動ディスプレイの方向に基づき撮像データを切り出すステップと、
自車位置および検出された可動ディスプレイの方向に基づきナビゲーションに利用される施設情報を検索するステップと、
切り出された撮像データと検索された施設情報を可動ディスプレイに表示するステップと、
を有する表示方法。
【請求項7】
自車内で方向を変えることができる可動ディスプレイに、可動ディスプレイが向けられた方向の車外の撮像データを表示する表示方法であって、
目的施設を入力するステップと、
基準となる方向に対して可動ディスプレイが向けられた方向を検出するステップと、
可動ディスプレイの方向に基づき自車周辺を撮像した撮像データの切り出しを行うステップと、
ナビゲーションに利用される地図データを参照して目的施設の位置を検索するステップと、
切り出された撮像データを可動ディスプレイに表示するとき、切り出された撮像データに目的施設が表示されるように、可動ディスプレイの方向の変化を誘導するステップと、
を有する表示方法。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【公開番号】特開2010−122135(P2010−122135A)
【公開日】平成22年6月3日(2010.6.3)
【国際特許分類】
【出願番号】特願2008−297641(P2008−297641)
【出願日】平成20年11月21日(2008.11.21)
【出願人】(000101732)アルパイン株式会社 (2,424)
【Fターム(参考)】
【公開日】平成22年6月3日(2010.6.3)
【国際特許分類】
【出願日】平成20年11月21日(2008.11.21)
【出願人】(000101732)アルパイン株式会社 (2,424)
【Fターム(参考)】
[ Back to top ]