説明

表示装置、制御方法、プログラム、及び記憶媒体

【課題】実写画像を最大限利用し、利用者の利便性を向上させることが可能な表示装置を提供する。
【解決手段】表示装置は、移動体に搭載され、カメラと電磁的に接続する。表示装置は、記憶部と、重畳表示判定手段と、表示制御手段と、を備える。記憶部は、地図情報を記憶する。重畳表示判定手段は、カメラから取得された実写画像に基づき、当該実写画像を構成する一部に、地図情報に基づき生成した当該一部に対応する描画画像を重畳する重畳表示をすべきか否か判定する。表示制御手段は、重畳表示判定手段が重畳表示をすべきと判断した場合、重畳表示を行い、重畳表示判定手段が重畳表示をする必要がないと判断した場合、実写画像に基づく表示を行う。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、表示装置による使用者への情報提示の制御技術に関する。
【背景技術】
【0002】
従来から、ナビゲーション装置において、車両外部の様子を示す実写画像を画面上に表示する技術が知られている。例えば、特許文献1には、車両外部の状況に応じて、地図情報を用いた地図画像または車両外部の様子を示す実写画像のいずれを優先して表示するかを自動的に切り替えることが可能なナビゲーション装置が開示されている。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】国際公開WO2006/309019
【発明の概要】
【発明が解決しようとする課題】
【0004】
一般に、実写画像を表示し経路案内を行う場合、実写画像が運転者の実際に視覚する景色と一致するため、地図情報を用いた地図画像と比較して運転者の理解が容易になるという利点がある。しかし、特許文献1の技術によれば、実写画像の一部のみが見えにくい場合であっても、地図情報を用いた地図画像に表示が切り替わってしまう。
【0005】
本発明が、上記のような課題を解決するためになされたものであり、実写画像を最大限利用し、利用者の利便性を向上させることが可能な表示装置を提供することを目的とする。
【課題を解決するための手段】
【0006】
請求項1に記載の発明は、カメラと電磁的に接続した表示装置であって、地図情報を記憶する記憶部と、前記カメラから取得された実写画像に基づき、当該実写画像を構成する一部に、前記地図情報に基づき生成した当該一部に対応する描画画像を重畳する重畳表示をすべきか否か判定する重畳表示判定手段と、前記重畳表示判定手段が前記重畳表示をすべきと判断した場合、前記重畳表示を行い、前記重畳表示判定手段が前記重畳表示をする必要がないと判断した場合、前記実写画像に基づく表示を行う表示制御手段と、を備えることを特徴とする。
【0007】
請求項9に記載の発明は、カメラと電磁的に接続し、地図情報を記憶する記憶部を備えた表示装置が実行する制御方法であって、前記カメラから取得された実写画像に基づき、当該実写画像を構成する一部に、前記地図情報に基づき生成した当該一部に対応する描画画像を重畳する重畳表示をすべきか否か判定する重畳表示判定工程と、前記重畳表示判定工程が前記重畳表示をすべきと判断した場合、前記重畳表示を行い、前記重畳表示判定工程が前記重畳表示をする必要がないと判断した場合、前記実写画像に基づく表示を行う表示制御工程と、を備えることを特徴とする。
【0008】
請求項10に記載の発明は、カメラと電磁的に接続し、地図情報を記憶する記憶部を備えた表示装置に搭載され実行されるプログラムであって、前記カメラから取得された実写画像に基づき、当該実写画像を構成する一部に、前記地図情報に基づき生成した当該一部に対応する描画画像を重畳する重畳表示をすべきか否か判定する重畳表示判定手段と、前記重畳表示判定手段が前記重畳表示をすべきと判断した場合、前記重畳表示を行い、前記重畳表示判定手段が前記重畳表示をする必要がないと判断した場合、前記実写画像に基づく表示を行う表示制御手段、として前記表示装置を機能させることを特徴とする。
【図面の簡単な説明】
【0009】
【図1】本実施例に係るナビゲーション装置の概略構成の一例である。
【図2】本実施例に係るナビゲーション装置の機能ブロックの一例である。
【図3】実写案内画像及びCG案内画像の表示例である。
【図4】実写案内画像にCG案内画像の一部を重畳表示させた場合の表示例である。
【図5】本実施例の処理手順を示すフローチャートの一例である。
【発明を実施するための形態】
【0010】
本発明の1つの観点では、カメラと電磁的に接続した表示装置であって、地図情報を記憶する記憶部と、前記カメラから取得された実写画像に基づき、当該実写画像を構成する一部に、前記地図情報に基づき生成した当該一部に対応する描画画像を重畳する重畳表示をすべきか否か判定する重畳表示判定手段と、前記重畳表示判定手段が前記重畳表示をすべきと判断した場合、前記重畳表示を行い、前記重畳表示判定手段が前記重畳表示をする必要がないと判断した場合、前記実写画像に基づく表示を行う表示制御手段と、を備える。
【0011】
上記の表示装置は、カメラと電磁的に接続する。表示装置は、記憶部と、重畳表示判定手段と、表示制御手段と、を備える。記憶部は、地図情報を記憶する。重畳表示判定手段は、カメラから取得された実写画像に基づき、当該実写画像を構成する一部に、地図情報に基づき生成した当該一部に対応する描画画像を重畳する重畳表示をすべきか否か判定する。例えば、重畳表示判定手段は、カメラから取得された実写画像の輝度、コントラスト等に基づき、重畳表示をすべきか否か判定する。表示制御手段は、重畳表示判定手段が重畳表示をすべきと判断した場合、重畳表示を行い、重畳表示判定手段が重畳表示をする必要がないと判断した場合、実写画像に基づく表示を行う。即ち、表示制御手段は、原則、カメラから取得された実写画像に基づき表示を行う。そして、表示制御手段は、見えづらい等の重畳表示をすべき場合には、重畳表示により地図情報に基づく描画画像を重畳させて視認性を担保する。このようにすることで、表示装置は、実写画像を最大限活用することができると共に、重畳表示により視認性を担保することができる。従って、表示装置は、使用者の利便性を向上させることができる。
【0012】
上記の表示装置の一態様では、前記重畳表示判定手段は、前記実写画像を複数のエリアに区分けし、当該エリアごとに前記重畳表示をすべきか否かの判定を行い、前記表示制御手段は、前記重畳表示判定手段が前記重畳表示をすべきと判定した前記エリアを対象に、前記重畳表示を行う。この態様では、重畳表示判定手段は、重畳表示をすべきか否かの判断を所定のエリアごとに行う。そして、表示制御手段は、重畳表示をすべきと判定されたエリアの全体又は一部について重畳表示を行う。このようにすることで、表示装置は、重畳表示をすべき箇所を詳細に特定して重畳表示をすることができると共に、実写画像に基づく表示を最大限活用することができる。
【0013】
上記の表示装置の他の一態様では、前記重畳表示判定手段は、現在時刻が属する時間帯に基づき前記重畳表示をすべきか否か判定し、前記表示制御手段は、前記重畳表示判定手段が前記重畳表示をすべきと判断した場合、前記時間帯に基づき前記重畳表示を行う。この態様では、重畳表示判定手段は、現在時刻に基づき、実写画像に基づく表示が見えにくいか否か判定する。そして、表示制御手段は、現在時刻に基づき、重畳表示を行う。即ち、表示制御手段は、現在時刻に基づき重畳表示を行う箇所を特定する。一般に、現在時刻が属する時間帯によって、実写画像に基づく表示の視認性の良し悪し及び視認性の悪い箇所が異なる。従って、表示装置は、現在時刻に基づき、実写画像に基づく表示の視認性の良し悪しを推定し、重畳表示を行うことができる。
【0014】
上記の表示装置の他の一態様では、前記重畳表示判定手段は、前記実写画像の輝度に基づき、前記重畳表示をすべきか否か判定する。一般に、カメラが逆光にある場合など、輝度が極度に高い場合には、眩しい状態と等しくなり、視認性が低い。同様に、夜間に街灯がない道路を走行中の場合など、輝度が極度に低い場合には、実写画像全体が暗くなり、視認性が低い。従って、この態様では、表示装置は、実写画像の輝度に基づき重畳表示をすべきか否か判定することで、実写画像を最大限活用しつつ、視認性を確保することができる。
【0015】
上記の表示装置の他の一態様では、前記重畳表示判定手段は、前記実写画像のコントラストに基づき、前記重畳表示をすべきか否か判定する。一般に、コントラストが極度に低い場合には、ぼやけた画像となり、視認性が低い。従って、この態様では、表示装置は、実写画像のコントラストに基づき重畳表示をすべきか否か判定することで、実写画像を最大限活用しつつ、視認性を確保することができる。
【0016】
上記の表示装置の他の一態様では、前記重畳表示判定手段は、前記実写画像と、前記地図情報に基づき生成した描画画像との比較に基づき、前記重畳表示をすべきか否か判定する。この態様によっても、表示装置は、重畳表示をすべきか否か判定し、視認性を確保することができる。
【0017】
上記の表示装置の他の一態様では、前記重畳表示判定手段は、前記移動体のヘッドライトの設定と連動する表示画面の明るさの設定に基づき、前記重畳表示をすべきか否か判定する。一般に、運転者の視界の悪化に応じて、運転者はヘッドライトを点灯させる。従って、この態様により、表示装置は、実写画像に基づく表示の視認性の悪化を推定することができ、必要な場合に重畳表示を行うことができる。
【0018】
上記の表示装置の他の一態様では、前記重畳表示判定手段は、前記重畳表示に関する設定に基づき、前記重畳表示をすべきか否か判定する。この態様では、重畳表示判定手段は、重畳表示に関する設定に基づき、重畳表示を行うことで、より使用者の意図に即して重畳表示を行うことができる。
【0019】
本発明の他の観点では、カメラと電磁的に接続し、地図情報を記憶する記憶部を備えた表示装置が実行する制御方法であって、前記カメラから取得された実写画像に基づき、当該実写画像を構成する一部に、前記地図情報に基づき生成した当該一部に対応する描画画像を重畳する重畳表示をすべきか否か判定する重畳表示判定工程と、前記重畳表示判定工程が前記重畳表示をすべきと判断した場合、前記重畳表示を行い、前記重畳表示判定工程が前記重畳表示をする必要がないと判断した場合、前記実写画像に基づく表示を行う表示制御工程と、を備える。表示装置は、この方法を使用することで、実写画像を最大限活用することができると共に、重畳表示により視認性を担保することができる。
【0020】
本発明のさらに別の観点では、カメラと電磁的に接続し、地図情報を記憶する記憶部を備えた表示装置に搭載され実行されるプログラムであって、前記カメラから取得された実写画像に基づき、当該実写画像を構成する一部に、前記地図情報に基づき生成した当該一部に対応する描画画像を重畳する重畳表示をすべきか否か判定する重畳表示判定手段と、前記重畳表示判定手段が前記重畳表示をすべきと判断した場合、前記重畳表示を行い、前記重畳表示判定手段が前記重畳表示をする必要がないと判断した場合、前記実写画像に基づく表示を行う表示制御手段、として前記表示装置を機能させる。表示装置は、このプログラムを搭載して実行することで、実写画像を最大限活用することができると共に、重畳表示により視認性を担保することができる。好適には、上記プログラムは、記憶媒体に記憶される。
【実施例】
【0021】
以下、図面を参照して本発明の好適な実施例について説明する。まず、本発明の各実施例に共通するナビゲーション装置の概略構成について説明する。
【0022】
なお、以後の説明では、ナビゲーション装置1が搭載された車両を、「搭載車両」と呼ぶ。また、「使用者」とは、搭載車両の運転者の他、搭載車両の乗員も含むものとする。
【0023】
[概略構成]
図1は、本発明に係る表示装置を適用したナビゲーション装置1の概略構成を示す。図1に示すように、ナビゲーション装置1は、自立測位装置10、GPS受信機18、システムコントローラ20、ディスクドライブ31、データ記憶ユニット36、通信用インタフェース37、通信装置38、表示ユニット40、音声出力ユニット50、入力装置60及びカメラ61を備える。
【0024】
自立測位装置10は、加速度センサ11、角速度センサ12及び距離センサ13を備える。加速度センサ11は、例えば圧電素子からなり、搭載車両の加速度を検出し、加速度データを出力する。角速度センサ12は、例えば振動ジャイロからなり、搭載車両の方向変換時における搭載車両の角速度を検出し、角速度データ及び相対方位データを出力する。距離センサ13は、搭載車両の車輪の回転に伴って発生されているパルス信号からなる車速パルスを計測する。
【0025】
GPS受信機18は、複数のGPS衛星から、測位用データを含む下り回線データを搬送する電波19を受信する。測位用データは、緯度及び経度情報等から車両の絶対的な位置(以後、「現在地」とも呼ぶ。)を検出するために用いられる。
【0026】
システムコントローラ20は、インタフェース21、CPU(Central Processing Unit)22、ROM(Read Only Memory)23及びRAM(Random Access Memory)24を含んでおり、ナビゲーション装置1全体の制御を行う。
【0027】
インタフェース21は、加速度センサ11、角速度センサ12及び距離センサ13並びにGPS受信機18とのインタフェース動作を行う。そして、これらから、車速パルス、加速度データ、相対方位データ、角速度データ、GPS測位データ、絶対方位データ等をシステムコントローラ20に入力する。CPU22は、システムコントローラ20全体を制御する。ROM23は、システムコントローラ20を制御する制御プログラム等が格納された図示しない不揮発性メモリ等を有する。RAM24は、入力装置60を介して使用者により予め設定された経路データ等の各種データを読み出し可能に格納したり、CPU22に対してワーキングエリアを提供したりする。なお、これらのシステムコントローラ20の各要素が実行する具体的な処理については、後述する。
【0028】
システムコントローラ20、CD−ROMドライブ又はDVD−ROMドライブなどのディスクドライブ31、データ記憶ユニット36、通信用インタフェース37、表示ユニット40、音声出力ユニット50、入力装置60及びカメラ61は、バスライン30を介して相互に接続されている。
【0029】
ディスクドライブ31は、システムコントローラ20の制御の下、CD又はDVDといったディスク33から、音楽データ、映像データなどのコンテンツデータを読み出し、出力する。なお、ディスクドライブ31は、CD−ROMドライブ又はDVD−ROMドライブのうち、いずれか一方としてもよいし、CD及びDVDコンパチブルのドライブとしてもよい。
【0030】
データ記憶ユニット36は、例えば、HDDなどにより構成され、地図データなどのナビゲーション処理に用いられる各種データを記憶するユニットである。
【0031】
通信装置38は、例えば、FMチューナやビーコンレシーバ、携帯電話や専用の通信カードなどにより構成され、VICSセンタ、又は各車両の走行履歴を蓄積管理して渋滞情報を提供するサーバなどから配信される渋滞情報その他交通情報を電波39より取得する。そしてインタフェース37は、通信装置38のインタフェース動作を行い、交通情報をシステムコントローラ20等に入力する。
【0032】
表示ユニット40は、システムコントローラ20の制御の下、各種表示データをディスプレイなどの表示装置に表示する。具体的には、システムコントローラ20は、データ記憶ユニット36から地図データを読み出す。表示ユニット40は、システムコントローラ20によってデータ記憶ユニット36から読み出された地図データなどを表示画面上に表示する。表示ユニット40は、バスライン30を介してCPU22から送られる制御データに基づいて表示ユニット40全体の制御を行うグラフィックコントローラ41と、VRAM(Video RAM)等のメモリからなり即時表示可能な画像情報を一時的に記憶するバッファメモリ42と、グラフィックコントローラ41から出力される画像データに基づいて、液晶、CRT(Cathode Ray Tube)等のディスプレイ44を表示制御する表示制御部43と、ディスプレイ44とを備える。ディスプレイ44は、画像表示部として機能し、例えば対角5〜10インチ程度の液晶表示装置等からなり、車内のフロントパネル付近に装着される。
【0033】
音声出力ユニット50は、システムコントローラ20の制御の下、CD−ROMドライブ31又はDVD−ROM32、若しくはRAM24等からバスライン30を介して送られる音声デジタルデータのD/A(Digital to Analog)変換を行うD/Aコンバータ51と、D/Aコンバータ51から出力される音声アナログ信号を増幅する増幅器(AMP)52と、増幅された音声アナログ信号を音声に変換して車内に出力するスピーカ53とを備えて構成されている。
【0034】
入力装置60は、各種コマンドやデータを入力するための、キー、スイッチ、ボタン、リモコン、音声入力装置等から構成されている。入力装置60は、車内に搭載された当該車載用電子システムの本体のフロントパネルやディスプレイ44の周囲に配置される。また、ディスプレイ44がタッチパネル方式の場合、ディスプレイ44の表示画面上に設けられたタッチパネルも入力装置60として機能する。
【0035】
カメラ61は、一定の画角を有し、画角内の被写体を撮影する光学機械である。本実施例では、カメラ61は、搭載車両の前方に向けられ、搭載車両が走行する道路を撮像可能な位置に載置される。そして、カメラ61は、所定の間隔ごとに画像(以後、「画像Fi」と呼ぶ。)を生成し、システムコントローラ20へ供給する。
【0036】
なお、図1のシステムコントローラ20は、本発明における重畳表示判定手段、及び表示制御手段に相当する。
【0037】
また、以後では、「実写案内画像Fg」とは、画像Fiに基づき生成された地図案内画像を指す。具体的には、実写案内画像Fgは、画像Fiと同一であってもよく、画像Fiに所定の画像処理が付された画像であってもよい。後者の場合、実写案内画像Fgは、例えば画像Fiに経路案内用の進行方向を示す矢印等が付加された画像が該当する。また、「CG(Computer Graphic)案内画像Fc」とは、画像Fiを用いずデータ記憶ユニット36に記憶された地図情報及び各種センサに基づき検出された情報に基づきシステムコントローラ20が生成した地図案内画像を指す。なお、CG案内画像Fcは、本発明における描画画像の一例に相当する。ただし、本発明における描画画像はこれに限定されず、人工的に作成された画像であればよい。描画画像の他の例としては、手書きで描かれた画像などが挙げられる。
【0038】
[制御方法]
次に、システムコントローラ20が実行する処理について説明する。概略的には、システムコントローラ20は、原則的に、実写案内画像Fgにより表示を行う。そして、システムコントローラ20は、実写案内画像Fgが使用者にとって見えにくいと判断した場合には、実写案内画像Fgに、CG案内画像Fcの一部を重畳させた表示(以後、「重畳表示」と呼ぶ。)を行う。これにより、システムコントローラ20は、実写案内画像Fgを最大限活用し、ユーザの視認性を向上させる。
【0039】
これについて、図2を参照して具体的に説明する。図2は、システムコントローラ20の機能ブロックを示す図の一例である。図2に示すように、システムコントローラ20は、重畳表示判定部201と、表示制御部202と、を備える。
【0040】
重畳表示判定部201は、カメラ61から供給される画像Fiに基づき、実写案内画像Fgが使用者に見えにくいか否か、即ち視認性が低いか否か判定する。具体的には、重畳表示判定部201は、画像Fiの明るさ(輝度)、画像Fiのコントラスト、及び画像FiとCG案内画像Fcとの比較の3つの判定基準を任意に組み合わせて、重畳表示をすべきか否か判定する。さらに、重畳表示判定部201は、重畳表示をすべきか否かを判断するために直接的又は間接的に関連する使用者のナビゲーション装置1又は搭載車両への設定(以後、単に「重畳表示関連設定」と呼ぶ。)を確認し、重畳表示をすべきか否かさらに判定する。重畳表示判定部201が実行する処理の具体的内容については、後述する。
【0041】
表示制御部202は、重畳表示判定部201の判断に基づき、表示ユニット40に表示させる表示を制御する。具体的には、表示制御部202は、重畳表示判定部201が重畳表示すべきと判断した場合、重畳表示により表示を行う。一方、表示制御部202は、重畳表示判定部201が重畳表示する必要がないと判断した場合、実写案内画像Fgに基づき表示する。表示制御部202が実行する処理については、表示画面例のセクションでさらに詳しく説明する。
【0042】
(重畳表示判定方法)
次に、重畳表示判定部201が実行する処理について詳細説明する。以下では、画像Fiに基づく視認性の判定方式(以後、「画像判定方式」と呼ぶ。)について説明した後、重畳表示関連設定に基づく視認性の判定方式について説明する。重畳表示判定部201は、以下の各判断条件を、論理積又は論理和の条件として、即ち、アンド条件又はオア条件として、任意に組み合わせて重畳表示すべきか否か判断してもよい。
【0043】
1.画像判定方式
以下では、画像判断方式の具体例を説明する。
【0044】
1−1.輝度に基づく判定
重畳表示判定部201は、画像Fiの輝度に基づき重畳表示すべきか否か判定する。これにより、重畳表示判定部201は、画像Fiが視認性の低い輝度を有する場合に重畳表示すべきと判断する。
【0045】
これについて具体的に説明する。例えば、重畳表示判定部201は、画像Fi中の各画素のRGB(Red Green Blue)値のR値とG値とB値との平均値を当該画素の輝度として算出する。即ち、重畳表示判定部201は、画像Fiの画素ごとに、赤の度合いを示すR値と緑の度合いを示すG値と青の度合いを示すB値との平均を算出する。
【0046】
そして、重畳表示判定部201は、例えば、算出した各画素の輝度に基づき、さらにそれらの平均、中央値、などの画像Fiの輝度を示す代表値を算出する。そして、重畳表示判定部201は、当該代表値が所定の上限値(以後、「上限輝度LlimH」と呼ぶ。)より大きい場合、又は、代表値が所定の下限値(以後、「下限輝度LlimL」と呼ぶ。)より小さい場合、実写案内画像Fgの視認性が低いと判断する。上限輝度LlimH及び下限輝度LlimLは、それぞれ、使用者の視認性を損なう虞がない輝度の上限及び下限に相当し、例えば実験等に基づき予め定められ、システムコントローラ20のメモリに予め記憶される。一方、重畳表示判定部201は、上述の代表値が下限輝度LlimL以上上限輝度LlimH以下の場合、重畳表示を行う必要がないと判断する。
【0047】
他の例では、重畳表示判定部201は、各画素の輝度と上限輝度LlimH及び下限輝度LlimLとを比較する。そして、重畳表示判定部201は、上限輝度LlimHより輝度が大きい画素及び下限輝度LlimLより輝度が小さい画素の総計が、比較を行った画像Fiの画素数に占める割合を算出する。そして、重畳表示判定部201は、当該割合が所定率以上あった場合には、重畳表示すべきと判断する。上述の所定率は、例えば実験等に基づき視認性が低下する虞がある割合の下限に定められ、システムコントローラ20のメモリに記憶される。一方、重畳表示判定部201は、上述の割合が所定率未満の場合、重畳表示を行う必要がないと判断する。
【0048】
1−2.コントラストに基づく判定
重畳表示判定部201は、画像Fiのコントラストに基づき重畳表示すべきか否か判定する。これにより、重畳表示判定部201は、画像Fiが視認性の低いコントラストを有する場合に重畳表示すべきと判断する。
【0049】
これについて第1の例から第3の例を用いて具体的に説明する。重畳表示判定部201は、第1の例乃至第3の例を任意に組み合わせてコントラストが低いか否か判定してもよい。
【0050】
第1の例では、重畳表示判定部201は、画像Fiの各画素のRGB値をそれぞれ取得し、これらのRGB値の最大値(以後、「最大値Ma」と呼ぶ。)及び最小値(以後、「最小値Mi」と呼ぶ。)をそれぞれ特定する。ここで、「RGB値」とは、例えば、R値、G値、B値の各々の値を指すものであってもよく、これらのうち少なくともいずれか1つを指すものであってもよい。以下の説明でも同様とする。いずれの場合であっても、最大値Maと最小値Miの組は、色ごとに決定される。
【0051】
そして、重畳表示判定部201は、最大値Maと最小値Miとの差分が所定の閾値(以後、「閾値Sth1」と呼ぶ。)以下の場合、重畳表示すべきと判定する。即ち、以下の式(1)が成立する場合、重畳表示判定部201は、視認性を担保可能な下限値よりコントラストが低く、重畳表示すべきと判断する。
【0052】
|Ma−Mi|<Sth1 式(1)
一方、重畳表示判定部201は、式(1)が成立しない場合、コントラストが一定以上に保たれており、重畳表示する必要がないと判断する。
【0053】
なお、重畳表示判定部201は、R値、G値、B値のうち、複数の値で最大値Ma及び最小値Miの組を算出した場合には、いずれの組も式(1)が成立した場合に重畳表示すべきと判定してもよく、いずれか1の組で式(1)が成立した場合に重畳表示すべきと判定してもよい。
【0054】
第2の例では、重畳表示判定部201は、画像Fiの各画素のRGB値と、当該画素に隣接する画素のRGB値と、の差分(以後、「差分H」と呼ぶ。)を計算し、差分Hの平均値に基づき重畳表示すべきか否か判定する。具体的には、重畳表示判定部201は、算出した差分Hの数を「C」、算出した差分Hの合算値を「T」、差分Hの平均値の閾値を「Sth2」とし、以下の式(2)が成立する場合、視認性を担保可能な下限値よりコントラストが低く、重畳表示すべきと判断する。
【0055】
T/C<Sth2 式(2)
一方、重畳表示判定部201は、式(2)が成立しない場合、コントラストが一定以上に保たれており、重畳表示する必要がないと判定する。
【0056】
第3の例では、重畳表示判定部201は、各差分Hと所定の閾値(以後、「閾値Sth3」と呼ぶ。)とを比較し、閾値Sth3よりも小さい差分Hの数(以後、「コントラスト低差分数Nl」と呼ぶ。)を計算する。そして、重畳表示判定部201は、コントラスト低差分数Nlが所定の閾値(以後、「閾値Sth4」と呼ぶ。)より大きい場合、重畳表示すべきと判断する。一方、重畳表示判定部201は、閾値Sth3より大きい差分Hの数が閾値Sth4以下の場合、重畳表示する必要はないと判断する。
【0057】
1−3.CG案内画像Fcに基づく判定
重畳表示判定部201は、CG案内画像Fcのうち道路を表示する部分(以後、「道路表示エリア」と呼ぶ。)を特定し、画像Fi中の道路表示エリアに相当する画素のRGB値に基づき重畳表示すべきか否か判定する。
【0058】
これについて具体的に説明する。まず、重畳表示判定部201は、CG案内画像Fcの道路表示エリアを特定する。この場合、重畳表示判定部201が使用するCG案内画像Fcは、画像Fiと同一の大きさとなるように調整され、運転者の視点に基づき生成された画像である。
【0059】
そして、重畳表示判定部201は、画像Fiで道路表示エリアに対応する画素を特定し、当該画素のRGB値が所定の値域(以後、「値域W」と呼ぶ。)に属するか否か判定する。値域Wは、視認性が確保されている場合に道路が取り得るRGB値の値域であり、例えば、R値、G値、B値ごとに設定される。そして、重畳表示判定部201は、値域Wと比較した画像Fiの画素数のうち、値域Wに属しないと判断した画素数の割合が所定率以上ある場合、重畳表示すべきと判断する。そして、この場合、表示制御部202は、実写案内画像Fgに、CG案内画像Fcの道路表示エリアを重畳させて表示する。一方、重畳表示判定部201は、上述の割合が所定率未満の場合、重畳表示する必要がないと判断する。そして、この場合、表示制御部202は、実写案内画像Fgを表示ユニット40に出力する。
【0060】
2.重畳表示関連設定に基づく判定
以下では、重畳表示関連設定に基づき重畳表示すべきか否かを判定する具体例を説明する。
【0061】
2−1.イルミネーション設定に基づく判定
重畳表示判定部201は、搭載車両のヘッドライトの設定と連動して設定される表示ユニット40の表示画面の明るさの設定(以後、「イルミネーション設定」と呼ぶ。)がオンの場合、重畳表示すべきと判断する。ここで、「イルミネーション設定がオン」であるとは、例えば、搭載車両のヘッドライトがオンとなり、これに連動して表示画面のバックライトがオンとなった場合を指す。
【0062】
一般に、イルミネーション設定がオンの場合、運転者の視野が狭まっていることが推定される。従って、この場合、実写案内画像Fgの視認性も低くなっていることが推定される。以上を勘案し、重畳表示判定部201は、イルミネーション設定がオンの場合、実写案内画像Fgのみの表示では視認性を担保できないと判断し、重畳表示を行うべきと判断する。
【0063】
2−2.時刻に基づく判定
重畳表示判定部201は、現在時刻に基づき、実写案内画像Fgの視認性を推定し、重畳表示をすべきか否か判定する。具体的には、重畳表示判定部201は、実写案内画像Fgの視認性に基づき1日の時間帯を複数に分類し、現在時刻がどの時間帯に属するか判定する。そして、重畳表示判定部201は、現在時刻が実写案内画像Fgの視認性が低い時間帯に属すると判断した場合、重畳表示をすべきと判断する。一方、重畳表示判定部201は、現在時刻が実写案内画像Fgのみによる表示でも視認性が十分保たれる時間帯に属すると判断した場合、重畳表示をする必要がないと判断する。
【0064】
なお、この場合、表示制御部202は、時間帯ごとに重畳表示の態様を変えてもよい。例えば、時間帯が「明け方」、「昼間」、「夕方」、「夜間」と分類されていた場合、表示制御部202は、現在時刻が属する時間帯ごとに重畳表示を行う対象を変える。具体的には表示制御部202は、「明け方」及び「夕方」の時間帯では信号機が視認しにくい可能性があると判断し、現在時刻が同時間帯に属する場合、信号機を実写案内画像Fgに重畳させる。一方、表示制御部202は、「夜間」の時間帯では信号機に加え道路も視認しにくい可能性があると判断し、現在時刻が同時間帯に属する場合、信号機及び道路を実写案内画像Fgに重畳させる。そして、現在時刻が「昼間」の時間帯に属する場合、表示制御部202は、重畳表示を行う必要がないと判断し、実写案内画像Fgを表示ユニット40に出力させる。
【0065】
2−3.ユーザ設定に基づく判定
重畳表示判定部201は、重畳表示に関するユーザ設定がなされていた場合、当該ユーザ設定に基づき重畳表示を行う。ここで、「重畳表示に関するユーザ設定」とは、例えば、走行履歴がないまたは走行履歴が所定回数以内の道路を走行する場合には、横断歩道及び踏み切り部分を重畳表示させる旨の設定、登録地点である印を常に重畳表示する旨の設定等が該当する。これにより、重畳表示判定部201は、ユーザの意図に即した表示を実行することができる。
【0066】
[表示画面例]
次に、図3を参照して本実施例で表示ユニット40が出力する表示画面について説明する。なお、ここでは、一例として、上述した、「1−3.CG案内画像Fcに基づく判定」に基づき重畳表示を行うか否かを判定し、重畳表示を行う場合について説明する。
【0067】
図3(a)は、CG案内画像Fcに基づく表示画面71Aのイメージ図を示す。表示画面71Aは、道路表示エリア72Aと、上空表示エリア73Aと、道路表示エリア以外の土地を示す土地表示エリア74Aとを備える。また、図3(b)は、実写案内画像Fgに基づく表示画面71Bのイメージ図を示す。表示画面71Bは、道路表示エリア72Bと、上空表示エリア73Bと、土地表示エリア74Bと、建築物表示エリア75Bと、を備える。図3(b)に示すように、表示画面71Bでは、建築物表示エリア75Bにより、道路の一部が隠れている。
【0068】
ここで、重畳表示判定部201は、まず表示画面71Aに示されるCG案内画像Fcから道路表示エリア72Aを特定する。そして、重畳表示判定部201は、表示画面71Aに示される実写案内画像Fg中から道路表示エリア72Aに相当するエリアである道路表示エリア72Bを特定し、道路表示エリア72B中の画素に基づき、重畳表示を行うか否か判定する。ここでは、重畳表示判定部201は、重畳表示を行うべきと判断したものとする。
【0069】
図4は、表示ユニット40により実際に出力された表示画面71Cを示す。図4に示すように、表示制御部202は、表示画面71Bに、道路表示エリア72Aを重畳表示させて表示画面71Cを生成している。この結果、表示画面71Cは、表示画面71Bでは隠れて見えなかった道路の一部を道路表示エリア72Aにより明確に表示している。
【0070】
このように、システムコントローラ20は、使用者が見えにくいと判断した場合に重畳表示を行うことで、実写案内画像Fgを最大限利用しつつ、視認性を確保することができる。
【0071】
[処理フロー]
次に、システムコントローラ20が実行する処理手順について図5を用いて説明する。図5は、システムコントローラ20が実行する処理手順を示すフローチャートの一例である。システムコントローラ20は、図5に示すフローチャートの処理を、所定の周期に従い繰り返し実行する。
【0072】
まず、システムコントローラ20は、コントラストに基づく判定を行う(ステップS101)。具体的には、システムコントローラ20は、最大値Ma、最小値Mi及び閾値Sth1に基づき、式(1)が成立するか否か判定する。そして、式(1)が成立する場合(ステップS101;Yes)、システムコントローラ20は、時刻に基づく判定を行う(ステップS102)。一方、式(1)が成立しない場合(ステップS101;No)、システムコントローラ20は、実写案内画像Fgにより表示を行う(ステップS103)。即ち、この場合、システムコントローラ20は、実写案内画像Fgに視認性を損なわない程度にコントラストが高いと判断し、重畳表示を行わない。
【0073】
次に、システムコントローラ20は、現在時刻が昼間の時間帯に該当するか否か判定する(ステップS102)。そして、現在時刻が昼間の時間帯に該当すると判定した場合(ステップS102;Yes)、システムコントローラ20は、実写案内画像Fgにより表示を行う(ステップS103)。即ち、この場合、システムコントローラ20は、現在が昼間の時間帯に該当し、実写案内画像Fgのみに基づく表示であっても視認性が担保されると判断する。
【0074】
一方、現在時刻が昼間の時間帯でないと判断した場合(ステップS102;No)、システムコントローラ20は、次に、現在時刻が夜間の時間帯に該当するか否か判定する(ステップS104)。そして、システムコントローラ20は、現在時刻が夜間の時間帯に該当すると判断した場合(ステップS104;Yes)、実写案内画像Fgのみでは視認性を十分に保てないと判断し、信号を重畳表示させる(ステップS105)。ここで、「信号」とは、信号機全体であってもよく、信号機のうち信号表示部分のみを指すものであってもよい。さらに、システムコントローラ20は、道路を重畳表示させる(ステップS106)。これにより、夜間の時間帯に走行する場合であっても、信号及び道路が重畳表示されることにより、運転者は、視認性を損なうことなく、ナビゲーション装置1の表示を参照して走行を継続することができる。
【0075】
一方、システムコントローラ20は、現在時刻が夜間の時間帯に該当しないと判断した場合(ステップS104;No)、現在時刻が夕方又は明け方の時間帯であると認定する(ステップS107)。そして、システムコントローラ20は、信号を重畳表示させる(ステップS108)。即ち、この場合、システムコントローラ20は、信号の視認性が低下するおそれがあると判断し、重畳表示により視認性の低下を抑制する。
【0076】
次に、システムコントローラ20は、ユーザ設定があるか否か判定する(ステップS109)。具体的には、システムコントローラ20は、踏み切り表示をオンにすべき旨のユーザ設定があるか否か判定する。そして、踏み切り表示をオンにすべき旨のユーザ設定がある場合(ステップS109;Yes)、システムコントローラ20は、さらに踏み切りを重畳表示させる。これにより、システムコントローラ20は、より使用者の意図に適った表示を行うことができる。一方、踏み切り表示をオンにすべき旨のユーザ設定がない場合(ステップS109;No)、システムコントローラ20は、フローチャートの処理を終了する。
【0077】
[変形例]
以下、本実施例の各変形例について説明する。なお、これらの各変形例は、任意に組み合わせて上述の実施例に適用することが可能である。
【0078】
(変形例1)
上述の(重畳表示判定方法)の説明では、重畳表示判定部201は、原則的に、画像Fiの全体に基づき、重畳表示すべきか否か判定していた。しかし、本発明が適用可能な方法は、これに限定されない。これに代えて、重畳表示判定部201は、画像Fiを複数のエリアに区分けし、当該エリアごとに重畳表示が必要か否かを判定してもよい。
【0079】
例えば、重畳表示判定部201は、画像Fiに表示された対象の種別に基づき画像Fiのエリアを区分けし、各エリアで重畳表示すべきか否か判定する。具体的には、重畳表示判定部201は、図3(b)に示す画像Fiを取得した場合、道路表示エリア72Bと、上空表示エリア73Bと、土地表示エリア74Bと、建物表示エリア75Bと、の4つのエリアをそれぞれ領域分割等の周知の画像処理に基づき、又は対応する運転者の視点に即したCG案内画像Fcに基づき特定する。そして、重畳表示判定部201は、4つのエリアのそれぞれについて、上述した輝度に基づく判定、コントラストに基づく判定、又は/及びCG案内画像Fcに基づく判定を行い、各エリアに重畳表示が必要であるか否かを判定する。そして、表示制御部202は、重畳表示すべきと判断されたエリアの全部又は一部について、CG案内画像Fcに基づき重畳表示を行う。具体的には、表示制御部202は、重畳表示すべきと判断されたエリアの全範囲を重畳表示させてもよく、当該エリア中の特定の範囲のみを重畳表示させてもよい。後者の場合、例えば、重畳表示判定部201は、道路表示エリア72Bを重畳表示するとき、道路の車線のみを重畳表示させてもよい。なお、重畳表示判定部201は、上空表示エリア73Bなど特定のエリアについて、重畳表示すべきか否かを判断する対象から除外してもよい。これについては、後述する(変形例3)で別途説明する。
【0080】
他の例では、重畳表示判定部201は、画像Fiに予め複数の固定のエリアを定めておき、当該エリアごとに重畳表示すべきか否か判定する。例えば、重畳表示判定部201は、画像Fiを、主に走行中の道路が表示される中央エリアと、中央エリアの左側に位置する左側エリアと、中央エリアの右側に位置する右側エリアと、主に上空が表示される上空エリアと、に予め区分けしておく。そして、重畳表示判定部201は、エリアごとに重畳表示が必要であるか否か判定する。そして、表示制御部202は、重畳表示すべきと判断されたエリア中の全範囲又は道路等に限定した一部の範囲について、CG案内画像Fcに基づき重畳表示を行う。
【0081】
(変形例2)
上述の「1−3.CG案内画像Fcに基づく判定」の説明では、重畳表示判定部201は、道路表示エリアを対象に重畳表示すべきか否か判定していた。しかし、本発明が適用可能な方法は、これに限定されない。これに代えて、またはこれに加えて、重畳表示判定部201は、建物などの道路表示エリア以外も含めた任意のエリア(以後、単に「任意エリア」と呼ぶ。)を対象に重畳表示すべきか否か判断してもよい。
【0082】
この場合、例えば、重畳表示判定部201は、任意エリアをCG案内画像Fcから特定する。そして、重畳表示判定部201は、特定した任意エリアが視認性を確保した状態で取り得るRGB値の値域と、特定した任意エリアに対応する画像Fi中の各画素のRGB値と、を比較する。上述の値域は、例えば予め実験等に基づき定められ、ROM23等のメモリに記憶される。そして、比較した画素のうち、RGB値が上述の値域から外れた画素の割合が所定率以上の場合、重畳表示判定部201は、重畳表示をすべきと判断する。そして、この場合、表示制御部202は、任意エリアの重畳表示を行う。
【0083】
これによっても、好適に、システムコントローラ20は、道路表示エリア以外を対象に、重畳表示を行うことができる。
【0084】
なお、重畳表示判定部201は、道路表示エリアを対象に重畳表示すべきか否か判定する場合であっても、CG案内画像Fcに表示される全ての道路ではなくそのうちの一部の道路を道路表示エリアと定めて重畳表示すべきか否か判定してもよい。ここで、「一部の道路」とは、例えば経路案内により走行が予定されている道路などが該当する。
【0085】
(変形例3)
「1−1.輝度に基づく判定」及び、「1−2.コントラストに基づく判定」の説明では、重畳表示判定部201は、画像Fi中で画像処理の対象となるエリアを限定していなかった。これに代えて、重畳表示判定部201は、画像処理を行う画素を限定してもよい。
【0086】
例えば、重畳表示判定部201は、図3(a)に示す表示画面71Aを取得した場合、上空表示エリア73Aを特定し、当該エリア以外のエリアに限定して、輝度に基づく判定又は/及びコントラストに基づく判定を行う。即ち、重畳表示判定部201は、重畳表示をすべきか否かの判定に、上空表示エリア73Aを用いない。これによっても、好適に、本発明を実施することができる。
【0087】
なお、「1−3.CG案内画像Fcに基づく判定」でも同様に、重畳表示判定部201は、道路表示エリアからさらに処理対象とする部分を限定してもよい。例えば、重畳表示判定部201は、例えば経路案内により走行が予定されている道路の表示部分に範囲を限定して処理を実行してもよい。
【産業上の利用可能性】
【0088】
本発明は、車載用ナビゲーション装置、PND(Personal Navigation Device)、その他表示機能を有する端末に好適に適用することができる。
【符号の説明】
【0089】
1 ナビゲーション装置
10 自立測位装置
12 GPS受信機
20 システムコントローラ
22 CPU
36 データ記憶ユニット
38 通信装置
40 表示ユニット
44 ディスプレイ
60 入力装置

【特許請求の範囲】
【請求項1】
カメラと電磁的に接続した表示装置であって、
地図情報を記憶する記憶部と、
前記カメラから取得された実写画像に基づき、当該実写画像を構成する一部に、前記地図情報に基づき生成した当該一部に対応する描画画像を重畳する重畳表示をすべきか否か判定する重畳表示判定手段と、
前記重畳表示判定手段が前記重畳表示をすべきと判断した場合、前記重畳表示を行い、前記重畳表示判定手段が前記重畳表示をする必要がないと判断した場合、前記実写画像に基づく表示を行う表示制御手段と、
を備えることを特徴とする表示装置。
【請求項2】
前記重畳表示判定手段は、前記実写画像を複数のエリアに区分けし、当該エリアごとに前記重畳表示をすべきか否かの判定を行い、
前記表示制御手段は、前記重畳表示判定手段が前記重畳表示をすべきと判定した前記エリアを対象に、前記重畳表示を行うことを特徴とする請求項1に記載の表示装置。
【請求項3】
前記重畳表示判定手段は、現在時刻が属する時間帯に基づき前記重畳表示をすべきか否か判定し、
前記表示制御手段は、前記重畳表示判定手段が前記重畳表示をすべきと判断した場合、前記時間帯に基づき前記重畳表示を行うことを特徴とする請求項1または2に記載の表示装置。
【請求項4】
前記重畳表示判定手段は、前記実写画像の輝度に基づき、前記重畳表示をすべきか否か判定することを特徴とする請求項1乃至3のいずれか一項に記載の表示装置。
【請求項5】
前記重畳表示判定手段は、前記実写画像のコントラストに基づき、前記重畳表示をすべきか否か判定することを特徴とする請求項1乃至4のいずれか一項に記載の表示装置。
【請求項6】
前記重畳表示判定手段は、前記実写画像と、前記地図情報に基づき生成した描画画像との比較に基づき、前記重畳表示をすべきか否か判定することを特徴とする請求項1乃至5のいずれか一項に記載の表示装置。
【請求項7】
前記重畳表示判定手段は、前記移動体のヘッドライトの設定と連動する表示画面の明るさの設定に基づき、前記重畳表示をすべきか否か判定することを特徴とする請求項1乃至6のいずれか一項に記載の表示装置。
【請求項8】
前記重畳表示判定手段は、前記重畳表示に関する設定に基づき、前記重畳表示をすべきか否か判定することを特徴とする請求項1乃至7のいずれか一項に記載の表示装置。
【請求項9】
カメラと電磁的に接続し、地図情報を記憶する記憶部を備えた表示装置が実行する制御方法であって、
前記カメラから取得された実写画像に基づき、当該実写画像を構成する一部に、前記地図情報に基づき生成した当該一部に対応する描画画像を重畳する重畳表示をすべきか否か判定する重畳表示判定工程と、
前記重畳表示判定工程が前記重畳表示をすべきと判断した場合、前記重畳表示を行い、前記重畳表示判定工程が前記重畳表示をする必要がないと判断した場合、前記実写画像に基づく表示を行う表示制御工程と、
を備えることを特徴とする制御方法。
【請求項10】
カメラと電磁的に接続し、地図情報を記憶する記憶部を備えた表示装置に搭載され実行されるプログラムであって、
前記カメラから取得された実写画像に基づき、当該実写画像を構成する一部に、前記地図情報に基づき生成した当該一部に対応する描画画像を重畳する重畳表示をすべきか否か判定する重畳表示判定手段と、
前記重畳表示判定手段が前記重畳表示をすべきと判断した場合、前記重畳表示を行い、前記重畳表示判定手段が前記重畳表示をする必要がないと判断した場合、前記実写画像に基づく表示を行う表示制御手段、
として前記表示装置を機能させることを特徴とするプログラム。
【請求項11】
請求項10に記載のプログラムを記憶したことを特徴とする記憶媒体。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate


【公開番号】特開2011−179875(P2011−179875A)
【公開日】平成23年9月15日(2011.9.15)
【国際特許分類】
【出願番号】特願2010−42291(P2010−42291)
【出願日】平成22年2月26日(2010.2.26)
【公序良俗違反の表示】
(特許庁注:以下のものは登録商標)
1.VICS
【出願人】(000005016)パイオニア株式会社 (3,620)
【出願人】(500403929)パイオニアシステムテクノロジー株式会社 (58)
【Fターム(参考)】