カメラ情報を有するナビゲーションデバイス
本発明は、ナビゲーションデバイス(10)に関する。ナビゲーションデバイス(10)は、ナビゲーションディレクション(3、4、5)をディスプレイ(18)上に表示するように構成される。ナビゲーションデバイス(10)は、カメラ(24)から出力を受信するように更に構成される。ナビゲーションデバイス(10)は、カメラ(24)からの出力のカメラ画像とナビゲーションディレクション(3、4、5)との組合せをディスプレイ(18)上に表示するように更に構成される。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、ナビゲーションディレクション(Navigation directions)をディスプレイ上に表示するように構成されるナビゲーションデバイスに関する。
【0002】
また、本発明は、そのようなナビゲーションデバイスを具備する車両及びナビゲーションディレクションを提供する方法に関する。更に本発明は、コンピュータプログラム及びデータ記憶媒体に関する。
【背景技術】
【0003】
GPS(Global Positioning System)に基づく従来のナビゲーションデバイスは周知であり、車載ナビゲーションシステムとして広く採用されている。そのようなGPSに基づくナビゲーションデバイスは、自身の地球上における位置を測定する能力を有する外部(又は内部)のGPS受信機と通信を行う機能を含む演算装置に関係する。更に、演算装置は、出発地の住所と目的地の住所との間のルートを判定する能力を有する。出発地の住所と目的地の住所は、演算装置のユーザにより入力される。通常、演算装置は、地図データベースから出発地の住所の場所と目的地の住所の場所との間の「最善」又は「最適」なルートを計算することがソフトウェアにより可能になる。「最善」又は「最適」なルートは、所定の基準に基づいて決められ、必ずしも最速又は最短のルートである必要はない。
【0004】
ナビゲーションデバイスは、通常は車両のダッシュボードに搭載されるが、車両に搭載されたコンピュータ又は自動車のラジオの一部として構成されてもよい。ナビゲーションデバイスは、PDA等の携帯型のシステム(の一部)であってもよい。
【0005】
GPS受信機から得られる位置情報を使用することにより、演算装置は、定期的に自装置の位置を判定し、車両の現在の位置をユーザに対して表示できる。ナビゲーションデバイスは、地図データを格納するメモリ素子及び地図データの選択部分を表示するディスプレイを具備してもよい。
【0006】
更にナビゲーションデバイスは、ディスプレイ上に表示され且つ/又はスピーカからの可聴信号として生成される適切なナビゲーション指示により判定されたルートの案内の方法を指示できる(例えば、「100m先を左折する」)。達成される動作を示す図形(例えば、前方を左折することを示す左矢印)は、ステータスバーに表示され、地図自体には該当する分岐点/曲がり角等に重ね合わされる。
【0007】
運転者がナビゲーションシステムにより計算されたルートに沿って自動車を運転している時に、運転者によりルートの再計算が開始されることを許容する車載ナビゲーションシステムが知られている。これは、車両が建築工事又は交通渋滞に直面した場合に有用である。
【0008】
ナビゲーションデバイスにより展開されるルート計算アルゴリズムの種類をユーザが選択できることが周知であり、例えば、「通常」モード及び「高速」モード(最短時間でルートを計算するが、通常モード程多くの代替ルートを調査しない)から選択する。
【0009】
また、ユーザが規定した基準でルートを計算できることが周知である。例えば、ユーザは、景色のよいルートがデバイスにより計算されることを好む。デバイスのソフトウェアは、種々のルートを計算し、例えば、景色が美しい所としてタグ付けされる興味のある場所(名所(POI)として知られた場所)をルートに沿って最も多く含むルートを更に有利に重み付けする。
【0010】
従来技術において、ナビゲーションデバイスは、殆どの地図がそうであるように、実世界の高度に様式化された表現又は概略的な表現である地図を表示する。多くの人は、実世界の非常に抽象的な表現を容易に認識及び理解できるものとして解釈することが困難であることが分かる。ナビゲーションデバイスは、車両の上方及び/又は後方から見られるように、地図の(半)3次元投影を表示することが周知である。これは、表示された地図データを実世界のユーザの視覚に対応するようにしてユーザに更に容易に解釈させるために行なわれる。しかし、そのような(半)遠近図は、様式化された表現又は概略的な表現であり、ユーザによる解釈が依然として比較的に困難である。
【0011】
人がディスプレイ上に示される方向に容易に且つ迅速に従うことを可能にする必要性は、車載ナビゲーションシステムとして使用できるようなパーソナルナビゲーションシステムにおいて特に重大である。車両の運転者は、主に道路及び交通に注意を向けるべきであり、表示される地図データを見て解釈する時間は可能な限り少なくする必要があることは理解される。
【特許文献1】米国特許第5,627,915号公報
【特許文献2】米国特許出願公開第2001/0043717号
【発明の開示】
【発明が解決しようとする課題】
【0012】
従って、本発明の目的は、上述の問題のうち少なくとも1つを克服し且つ容易な解釈を可能にする指示をユーザに対して表示するナビゲーションデバイスを提供することである。
【課題を解決するための手段】
【0013】
この目的を達成するために、本発明は、上述に従うナビゲーションデバイスを提供する。ナビゲーションデバイスは、カメラから出力を受信するように更に構成され、ナビゲーションデバイスは、カメラからの出力のカメラ画像とナビゲーションディレクションとの組合せをディスプレイ上に表示するように構成されることを特徴とする。
【0014】
ナビゲーションディレクションをカメラ画像上に重ね合わせるか又は組み合わせることにより、使用し易いビューが運転者に提示され、容易で迅速な解釈を可能にする。ユーザにより見られるように、カメラ画像が現実のビューの1対1の表現であるため、ユーザは実世界の抽象的な表現を解釈する必要がない。カメラからの出力とナビゲーションディレクションとの組合せは、一方を他方に重ね合わせたもの等の全ての種類の組合せであり、ディスプレイの異なる部分に同時に示す。しかし、組合せは時間的な組合せであってもよい。すなわち、カメラ出力及びナビゲーションディレクションを交互に示す。これは、所定の時間間隔(例えば、5秒)後に変更されてもよく、あるいはユーザによる入力の結果として変更されてもよい。
【0015】
更なる実施形態によると、本発明は、カメラがナビゲーションデバイスと一体的に構成されるナビゲーションデバイスに関する。そのようなナビゲーションデバイスは、外部のカメラ出力を要求しない。ナビゲーションデバイスは、カメラが正面の画面を通して画像を提供するように、例えば単純に車両のダッシュボードに搭載される。
【0016】
更なる実施形態によると、本発明は、ナビゲーションディレクションがハードディスク、読み出し専用メモリ、電気的消去可能プログラマブルROM及びランダムアクセスメモリ等の少なくとも1つの記憶装置に格納される位置矢印、ルート、矢印、興味のある場所、道路、建物、ベクトルデータ等の地図データのうちの1つ以上であるナビゲーションデバイスに関する。全ての種類のナビゲーションディレクションが表示される。尚、それらのナビゲーションディレクションは、ナビゲーション(ルートを見つけること)に本質的に必要でない情報を提供してもよく、追加の情報をユーザに更に提供してもよい。
【0017】
更なる実施形態によると、本発明は、ナビゲーションディレクションの位置がカメラ画像の対応する部分に対して所定の空間関係になるように、カメラ画像上にナビゲーションディレクションを重ね合わせるように更に構成されるナビゲーションデバイスに関する。全てのナビゲーションディレクションがカメラ画像の対応する項目の実際の位置と一致するように表示されるため、これによりユーザは非常に容易に解釈される画像を提供される。例えば、右折を示す矢印は、カメラ画像において可視である曲がり角と一致するように、カメラ画像上に重ね合わされてもよい。
【0018】
更なる実施形態によると、本発明は、処理ユニット、位置決め装置及び姿勢センサを具備するナビゲーションデバイスに関する。位置決め装置及び姿勢センサは、処理ユニットと通信するように構成される。処理ユニットは、カメラ24及び/又はナビゲーションデバイスの位置及び姿勢を計算するために、位置決め装置及び姿勢センサからの読み取り値を使用するように構成される。カメラ及び/又はナビゲーションデバイスの位置及び姿勢は、ディスプレイ上のナビゲーションディレクションの位置に基づき処理ユニットにより計算される。カメラ及び/又はナビゲーションデバイスの正確な位置及び姿勢を知ることにより、カメラ出力へのナビゲーションディレクションのより正確な重ね合わせが可能になる。
【0019】
更なる実施形態によると、本発明は、位置決め装置がGPS、欧州のガリレオシステム又は任意の他のグローバルナビゲーションサテライトシステム等の位置検知技術、あるいは地上ビーコンに基づく位置検知技術を使用して地理的な場所を判定するナビゲーションデバイスに関する。
【0020】
更なる実施形態によると、本発明は、処理ユニットが時間的に連続するポイントにおいて位置決め装置により判定されるカメラ及び/又はナビゲーションデバイスの位置を比較することにより、使用中に略垂直である第1の回転軸に対するカメラの姿勢を計算するナビゲーションデバイスに関する。時間的に連続するポイントにおけるカメラ及び/又はナビゲーションデバイスの位置を比較することにより、カメラ及び/又はナビゲーションデバイスの移動方向が計算される。これにより、カメラの姿勢及び姿勢の変化が計算される。
【0021】
更なる実施形態によると、本発明は、コンパスの読み取り値を処理ユニットに提供するコンパスを具備するナビゲーションデバイスに関する。処理ユニットは、コンパスの読み取り値に基づいて使用中に略垂直である第1の回転軸に対するカメラの姿勢を計算するように構成される。コンパスは、カメラの姿勢を判定する容易で有利な方法を提供する。
【0022】
更なる実施形態によると、本発明は、姿勢センサが第2の回転軸及び第3の回転軸に対するカメラの姿勢を判定する傾斜センサを具備するナビゲーションデバイスに関する。第2の回転軸及び第3の回転軸は、使用中に略水平である。カメラ画像に対してナビゲーションディレクションをより正確に組み合わせるか又は重ね合わせるために、カメラの回転姿勢は第2の方向及び/又は第3の方向に対して測定される。
【0023】
更なる実施形態によると、本発明は、ナビゲーションディレクションの位置がカメラ画像の対応する部分に対して所定の空間関係になるようにナビゲーションディレクションをカメラ画像上に重ね合わせるために、処理ユニットがパターン認識技術を使用するナビゲーションデバイスに関する。パターン認識技術を使用することにより、ナビゲーションディレクションは、カメラの正確な姿勢を知ることなくカメラ出力上に組み合わされるか且つ/又は重ね合わされる。表示されるカメラ画像上のナビゲーションディレクションの位置は、パターン認識技術を単独で使用することにより判定されてもよいが、パターン認識技術は、カメラの判定された姿勢と組み合わされて使用されてもよく、それにより正確度は向上する。
【0024】
更なる実施形態によると、本発明は、ナビゲーションデバイスがパターン認識技術に対する入力として地図データを使用するナビゲーションデバイスに関する。例えば道路のおおよその位置が地図データから分かる場合、その道路を認識するのが更に容易なので、パターン認識技術は地図データを使用することにより簡単化されてもよい。これにより、パターン認識はより正確になり且つ/又は計算時間が節約される。
【0025】
更なる実施形態によると、本発明は、校正修正を受信し、それら校正修正を格納し且つナビゲーションディレクション及びカメラ画像を組み合わせる時に校正修正を適用するように構成されるナビゲーションデバイスに関する。これは、ナビゲーションディレクションがカメラ画像上に重ね合わされてカメラ画像に対して所定の空間関係を有するように、ナビゲーションディレクションが組み合わされる場合に特に有利である。校正修正は、オフセット誤差を除去するために使用されてもよい。
【0026】
更なる実施形態によると、本発明は、カメラ設定を受信するか又は読み込み且つカメラ設定を使用してディスプレイ上のナビゲーションディレクションの位置を計算するように構成されるナビゲーションデバイスに関する。種々のカメラ設定の結果、種々のカメラ出力が得られてもよい。ナビゲーションデバイスにそれらカメラ設定を提供することにより、ナビゲーションディレクションとカメラ画像との組合せの正確度が更に向上する。
【0027】
更なる実施形態によると、本発明は、2つ以上のカメラから出力を受信し且つディスプレイ上に表示される出力の1つを選択するように構成されるナビゲーションデバイスに関する。異なる遠近図を提供する2つ以上のカメラ出力は、例えば数学を使用してパターン認識の品質を向上するためにパターン認識技術により使用されてもよい。2つ以上のカメラは、異なるカメラアングルから選択するオプションをユーザに提供するために使用されてもよい。
【0028】
更なる実施形態によると、本発明は、カメラが人間の目に可視である電磁スペクトルの範囲外の電磁放射を感知可能であるナビゲーションデバイスに関する。
【0029】
更なる実施形態によると、本発明は、カメラが赤外線カメラであるナビゲーションデバイスに関する。そのようなカメラにより、夜間のナビゲーションデバイスの使用が可能になる。
【0030】
更なる実施形態によると、本発明は、カメラがズームイン及び/又はズームアウトするように構成されるナビゲーションデバイスに関する。これにより、ユーザは好みによってカメラビューを調整できる。
【0031】
更なる実施形態によると、本発明は、カメラが例えばナビゲーションデバイス/車両の速度に応じてズームイン又はズームアウトするように構成されるナビゲーションデバイスに関する。これにより、ナビゲーションデバイスの速度に対して自動的に調整されるカメラ出力が提供される。従って、ナビゲーションデバイスの速度が相対的に速い場合、カメラは更に前方のより適切なビューをユーザに与えるためにズームインしてもよい。
【0032】
更なる面によると、本発明は、上述によるナビゲーションデバイスを具備するダッシュボードに関する。
【0033】
更なる面によると、本発明は、上述によるナビゲーションデバイスを具備する車両に関する。
【0034】
更なる面によると、本発明は、車両の傾斜を判定する車両傾斜センサを具備し、車両傾斜読み取り値をナビゲーションデバイスに提供する車両に関する。これは、車両の傾斜を測定する有利な方法である。
【0035】
更なる面によると、本発明は、ナビゲーションディレクションを提供する方法に関する。方法は、
−ディスプレイ上にナビゲーションディレクションを表示することから成り、
−カメラから出力を受信することと、
−カメラからの出力のカメラ画像とカメラ画像上のナビゲーションディレクションとの組合せをディスプレイ上に表示することとを含むことを特徴する。
【0036】
更なる面によると、本発明は、コンピュータ構成にロードされた時に上記方法を実行するように構成されるコンピュータプログラムに関する。
【0037】
更なる面によると、本発明は、上述のようなコンピュータプログラムを含むデータ記憶媒体に関する。
【発明を実施するための最良の形態】
【0038】
添付の概略図を参照して、本発明の実施形態を例として説明する。図中、対応する図中符号は対応する部分を示す。
【0039】
図1は、算術演算を行なうプロセッサユニット11を具備するナビゲーションデバイス10の一実施形態を示す概略ブロック図である。プロセッサユニット11は、ハードディスク12、読み出し専用メモリ(ROM)13、電気的消去可能プログラマブルROM(EEPROM)14及びランダムアクセスメモリ(RAM)15等の命令及びデータを格納する記憶装置と通信するように構成される。記憶装置は、地図データを含んでもよい。この地図データは、2次元地図データ(緯度及び経度)であってもよいが、第3の次元(高度)を含んでもよい。地図データは、ガソリンスタンド、興味のある場所に関する情報等の追加の情報を更に含んでもよい。また、地図データは、道路沿いの建物及び物体の形状に関する情報を含んでもよい。
【0040】
プロセッサユニット11は、キーボード16及びマウス17等の1つ以上の入力装置と通信するように構成されてもよい。キーボード16は、例えば、タッチスクリーンであるディスプレイ18に提供される仮想キーボードであってもよい。プロセッサユニット11は、例えば、フロッピディスク20又はCD ROM21を読み取るために、ディスプレイ18、スピーカ29及び1つ以上の読み取り装置19等の1つ以上の出力装置と通信するように更に構成されてもよい。ディスプレイ18は、従来のコンピュータディスプレイ(例えば、LCD)であってもよく、あるいは計測データを自動車のフロントガラスに投影するために使用されるヘッドアップディスプレイ等の投影型ディスプレイであってもよい。ディスプレイ18は、タッチスクリーンとして機能するように構成されるディスプレイであってもよい。タッチスクリーンは、ユーザが指でディスプレイ18に触れることにより命令及び/又は情報を入力することを可能にする。
【0041】
プロセッサユニット11は、入出力装置25を使用して他の演算装置又は通信装置と通信するように更に構成されてもよい。入出力装置25は、ネットワーク27を介して通信を行なえるように構成されて示される。
【0042】
スピーカ29は、ナビゲーションデバイス10の一部として構成されてもよい。ナビゲーションデバイス10が車載ナビゲーションデバイスとして使用される場合、ナビゲーションデバイス10は、自動車のラジオ及びボードコンピュータ等のスピーカを使用してもよい。
【0043】
プロセッサユニット11は、ナビゲーションデバイス10の位置に関する情報を提供するGPS受信機等の位置決め装置23と通信するように更に構成されてもよい。本実施形態によると、位置決め装置23はGPSに基づく位置決め装置23である。しかし、ナビゲーションデバイス10には、任意の種類の位置検知技術を実装してもよく、GPSに限定されないと理解されるであろう。従って、ナビゲーションデバイス10は、欧州のガリレオシステム等の他の種類のGNSS(global navigation satellite system:グローバルナビゲーションサテライトシステム)を使用して実現することもできる。同様に、ナビゲーションデバイス10は、衛星を使用する位置/速度システムに限定されず、地上ビーコン又はデバイスが地理的な場所を判定することを可能にする任意の他の種類のシステムを使用しても同様に展開される。
【0044】
しかし、当業者に周知の更なる及び/又は他の記憶装置、入力装置及び読み取り装置が提供されてもよいことが理解されるべきである。更に、それら装置のうち1つ以上の装置は、必要に応じてプロセッサユニット11から物理的に遠く離れて配置されてもよい。プロセッサユニット11は1つのボックスで示されるが、当業者には周知であるように、互いに遠く離れて配置され且つ1つの主プロセッサにより制御されるか又は同時に機能するいくつかの処理ユニットを含んでもよい。
【0045】
ナビゲーションデバイス10は、コンピュータシステムとして示されるが、本明細書で説明される機能を実行するように構成されるアナログ及び/又はデジタル及び/又はソフトウェア技術を使用する任意の信号処理システムであってもよい。図1に示すナビゲーションデバイス10は、複数の構成要素から構成されるものとして示すが、単一のデバイスとして構成されてもよいことが理解されるであろう。
【0046】
ナビゲーションデバイス10は、Navigatorと呼ばれるTomTom B.V.のナビゲーションソフトウェア等のナビゲーションソフトウェアを使用してもよい。ナビゲータソフトウェアは、Compaq iPaq等のタッチスクリーンの(すなわち、スタイラスで制御される)PocketPC搭載PDAデバイス、並びに一体型GPS受信機23を有するデバイス上で実行してもよい。組み合わされたPDA及びGPS受信機システムは、車載ナビゲーションシステムとして使用されるものとして設計される。本発明は、一体型GPS受信機/コンピュータ/ディスプレイを有するデバイス、あるいは車両以外による使用(例えば、歩行者)又は自動車以外の車両(例えば、航空機)に対して設計されたデバイス等のナビゲーションデバイス10の任意の他の構成で実現されてもよい。
【0047】
図2は、上述のようなナビゲーションデバイス10を示す。
【0048】
ナビゲータソフトウェアは、ナビゲーションデバイス10上で実行する場合、図2に示すようにディスプレイ18に通常のナビゲーションモード画面をナビゲーションデバイス10に表示させる。このビューは、テキスト、記号、音声ガイダンス及び動画地図の組合せを使用して運転指示を提供してもよい。重要なユーザインタフェース要素は、3D地図が画面の殆どを占有することである。尚、その地図は2D地図として示されてもよい。
【0049】
地図は、ナビゲーションデバイス10が動く方向が常に「上姿勢」になるように回転されたナビゲーションデバイス10の位置及びその周囲を示す。ステータスバー2は、画面の下1/4に渡ってもよい。ナビゲーションデバイス10の現在の場所(ナビゲーションデバイス10自体が従来のGPS位置探索を使用して判定する)及びその姿勢(移動する方向から推測される)は、位置矢印3により示される。デバイスにより計算されたルート4(メモリ素子11、12、13、14、15の地図データベースに格納された地図データに適用されるメモリ素子11、12、13、14、15に格納されたルート計算アルゴリズムを使用して)は、陰影をつけた経路で示される。ルート4において、全ての主な動作(例えば、角、交差点、ロータリー等を曲がる)は、ルート4に重なる矢印5により概略的に示される。ステータスバー2は、左側に次の動作6(ここでは、右折)を示す概略的なアイコンを更に含む。ステータスバー2は、デバイスにより計算されたルート全体のデータベース(すなわち、選択されるルートを規定する全ての道路及び関連する動作のリスト)から抽出される次の動作までの距離(すなわち、右折−ここでは距離は190メートル)を更に示す。ステータスバー2は、現在の道路名8、到着までの推定時間9(ここでは、35分)、実際の推定到着時間25(4:50pm)及び目的地までの距離26(31.6Km)を更に示す。ステータスバー2は、移動電話と同様の信号強度指標でGPS信号強度等の追加の情報を更に示してもよい。
【0050】
上述したように、ナビゲーションデバイスは、ユーザがナビゲーションメニュー(不図示)を呼び出すことを可能にするタッチスクリーン等の入力装置を具備してもよい。このメニューから、他のナビゲーション機能は開始又は制御される。非常に容易に呼び出される(例えば、地図の表示からメニュー画面まで1ステップである)メニュー画面からナビゲーション機能を選択することを可能にすることにより、ユーザ対話が非常に簡単化されて高速且つ容易になる。ナビゲーションメニューは、ユーザが目的地を入力するオプションを含む。
【0051】
ナビゲーションデバイス10自体の実際の物理的な構造は、一体型GPS受信機23又は外部GPS受信機からのGPSデータ出力以外は任意の従来の携帯型のコンピュータと基本的に異ならない。従って、メモリ素子12、13、14、15は、ルート計算アルゴリズム、地図データベース及びユーザインタフェースソフトウェアを格納する。プロセッサユニット12は、ユーザ入力を解釈及び処理し(例えば、出発地及び目的地の住所を入力するためのタッチスクリーン、並びに全ての他の制御入力を使用して)、最適なルートを計算するルート計算アルゴリズムを展開する。「最適」は、最短時間又は最短距離、あるいは他のユーザに関係する要素等の基準を示してもよい。
【0052】
更に詳細には、ユーザは、タッチスクリーン18、キーボード16等の提供された入力装置を使用して、ナビゲーションデバイス10上で実行するナビゲーションソフトウェアにユーザの出発位置及び要求する目的地を入力する。ユーザは、移動ルートを計算する方法を選択する。ルートを非常に迅速に計算するがルートが最短ではない可能性のある「高速」モード;全ての可能なルートを調べ且つ最短のルートを見つけるが計算時間がより長い「フル」モード等の種々のモードが提供される。例えば、特に美しい景色としてマーク付けされた殆どの名所(興味のある位置)を通過するか又は子供が興味を持つ可能性のある殆どの名所を通過する景色のよいルート、あるいは分岐点が最も少ないルートをユーザが規定する等、他のオプションが可能である。
【0053】
道路自体は、ナビゲーションデバイス10上で実行するナビゲーションソフトウェアの一部である(又は、ナビゲーションソフトウェアによりアクセスされる)地図データベースにおいて線−すなわちベクトル(例えば、道路の始点、終点、方向であり、道路全体は、各々が始点/終点方向パラメータにより一意に規定される数百の部分から構成される)として記述される。地図は、そのような道路ベクトル、興味のある場所(名所)、道路名、公園の境界や川の境界等の他の地理的特徴の集合であり、それらはベクトルに関して規定される。全ての地図の特徴(例えば、道路ベクトル、名所等)は、GPS座標系に対応するか又は関連する座標系で規定され、GPSシステムを介して判定されるデバイスの位置を地図に示される該当の道路に配置することを可能にする。
【0054】
ルート計算は、ナビゲーションソフトウェアの一部である複雑なアルゴリズムを使用する。アルゴリズムは、大量の潜在的に異なるルートに点数をつけるために適用される。ナビゲーションソフトウェアは、景色のよいルート、歴史博物館及びスピードカメラなしとユーザが規定したフルモードスキャン等の基準(又はデバイスのデフォルト)に対してそれらルートを評価する。規定された基準に最もよく適合するルートは、プロセッサユニット11により計算され、ベクトル、道路名及びベクトルの終点で行なわれる動作のシーケンス(例えば、100メートル先でx通りを左折する等、ルートの各道路に沿う所定の距離に対応する)としてメモリ素子12、13、14、15のデータベースに格納される。
【0055】
図3は、本発明によるナビゲーションデバイス10を示す概略ブロック図である。図中、図1及び図2と同様に、対応する図中符号は対応する部分を示す。
【0056】
本発明によると、カメラ24は、プロセッサユニット11にリアルタイム出力を提供するように構成されて提供される。カメラ24は、使用中、ユーザの前方の道路を記録するように位置付けられる。自動車に位置付けられる場合、カメラ24は車両の前方の道路を記録するように位置付けられる。カメラ24は、ナビゲーションデバイス10と一体化されてもよく、あるいはナビゲーションデバイス10とは物理的に別個であってもよい。別個である場合、カメラ24はケーブル又は無線接続を介してプロセッサユニット11に接続されてもよい。カメラ24は、例えばヘッドライトに近接して車両の前面に又は車両の屋根に位置付けられてもよい。
【0057】
ナビゲーションデバイス10は、ユーザが異なるカメラアングル間で切り替えられるように2つ以上のカメラ24を提供されてもよい。リヤビューカメラが更に提供されてもよい。カメラは、デジタルカメラ又はアナログカメラ等の任意の種類のカメラであってもよい。カメラ24により記録される画像は、ディスプレイ18に表示される。
【0058】
カメラ24は、人間の目に可視である電磁スペクトルの範囲外の電磁放射を感知可能であるカメラであってもよい。カメラは、夜間の使用を可能にする赤外線カメラであってもよい。
【0059】
図4は、自動車のダッシュボードに位置付けられるナビゲーションデバイス10の一例を示す。ナビゲーションデバイス10は、自動車の前方の道路に向けられるカメラ24を具備する。図4は、ディスプレイ18がユーザに面していることを更に示す。
【0060】
本発明によると、ナビゲーションデバイス10は、カメラからのリアルタイム出力をディスプレイ18上に表示し、1つ以上のナビゲーションディレクションを組み合わせるか又は重ね合わせるように構成される。ナビゲーションディレクションは、位置矢印3、ルート4、矢印5、興味のある場所、道路、建物及びナビゲーションデバイス10に格納される全ての更なるナビゲーションディレクションのうちの1つ以上であってもよい。これは、道路を記述するベクトルデータ等の地図データ自体を含んでもよい。これが達成される方法を以下に更に詳細に説明する。
【0061】
カメラ24により提供される画像は、道路の凹凸、エンジンによる車両の振動等により安定しない。従って、ナビゲーションデバイス10には、安定した画像を提供するためにそれらの不要な振動を除去するソフトウェアを提供されてもよい。カメラ24により提供される画像の不要な振動を除去するソフトウェアは、ビデオカメラにおいて広く使用される。ビデオカメラにおいて、そのソフトウェアはステディカムという名前で使用される。これは当業者には周知である。
【0062】
カメラ24からの出力は更に処理され、画質が向上されてもよい。この処理は、輝度、コントラストを調整することを含んでもよいが、任意の適切なフィルタであってもよい。フィルタは、雨の状況における画質を向上させるために使用されてもよい。
【0063】
カメラ24からの出力は、リアルタイムでディスプレイ上に表示されるが、例えば0.5秒毎等のある特定の時点で更新される静止画として表示されてもよい。連続する更新の間の適切な時間間隔は、ナビゲーションデバイス10の車両の速度、移動方向の変化(曲がる)に依存して判定されてもよい。
【0064】
また、ナビゲーションデバイスは、例えば、ナビゲーションデバイス/車両の速度に依存してズームイン又はズームアウトを実行するように構成されてもよい。このズーム動作は、ズーム動作を実行するように指示を与える制御信号をカメラ24に送出することにより実行されてもよい。しかし、ズーム動作は、ディスプレイ18において受信カメラ出力の一部を拡大して表示することにより実行されてもよい。
【0065】
(第1の実施形態)
図5は、本発明の第1の例を示す。図5は、ナビゲーションデバイス10により表示されるカメラ24により記録された画像の静止画を示す。図示されるように、右折を示す矢印5はプロセッサユニット11により重ね合わされる。本実施形態によると、使用し易い画像がユーザに対して表示され、容易に解釈できる。本実施形態は、複雑な数学的処理及びデータ処理が必要ないという利点を有する。
【0066】
図5に示すナビゲーションディレクションの代わりに、遠近形状の矢印等の遠近形状のナビゲーションディレクションを含む上述のような他のナビゲーションディレクションが表示されてもよい。
【0067】
(第2の実施形態)
図6は、カメラ24により記録された画像の別の静止画を示す。この例によると、ナビゲーションデバイス10はルート4及び矢印5を重ね合わせる。ルート4及び矢印5は、ディスプレイ18上でのそれらの位置がカメラ24により提供される画像と一致するように重ね合わされる。図6は、ルート4がディスプレイ18に示される道路と一致するように表示されることを明確に示す。また、矢印5は、カメラ24により提供される画像において右折を正確に示すように表示される。
【0068】
図5に示す実施形態は、カメラ24により提供される画像と例えば矢印5であるナビゲーションディレクションとを重ね合わせるか又は組み合わせることにより容易に達成されることが理解されるであろう。しかし、図6に提供される画像を作成するため、カメラ24により提供される画像とナビゲーションディレクションとを合致させるには、更に複雑なデータ処理が必要とされる。これを以下に更に詳細に説明する。
【0069】
カメラ画像の対応する部分に対して所定の空間関係を有するようにナビゲーションディレクションを重ね合わせるために、正確なカメラの位置、方向及びカメラ設定を知る必要がある。この全ての情報が分かる場合、処理ユニット11は、例えばディスプレイ18上の道路の位置を計算し、ルート4を重ね合わせる。
【0070】
第1に、カメラ24の位置が判定される必要がある。これは、処理ユニット11及び/又は位置決め装置23により判定されるGPS情報を使用することにより単純に行なわれてもよい。ナビゲーションデバイス10及びカメラ24の位置情報は、従来の用途に従ってナビゲーションデバイス10において既に利用可能である。
【0071】
第2に、カメラ24の姿勢が判定される必要がある。これは、処理ユニット11と通信するように構成された姿勢センサを使用して行なわれる。姿勢センサは、位置決め装置23及び傾斜センサ27、28であってもよい。傾斜センサ27、28はジャイロスコープであってもよい。
【0072】
図7は、本発明の一実施形態によるカメラ24を示す。図7に示すように、第1の回転方向は、軸Cに対して判定される必要がある。また、これは、処理ユニット11及び/又は位置決め装置23により判定されるGPS情報を使用して単純に行なわれてもよい。時間的に連続するポイントにおけるナビゲーションデバイス10の位置を比較することにより、ナビゲーションデバイス10の動く方向が判定される。この情報は、従来の用途に従ってナビゲーションデバイス10において既に利用可能である。カメラ24がナビゲーションデバイス10の移動の方向を向いていると仮定する。しかし、更に以下に説明するように、必ずしも上記仮定に当てはまる必要はない。
【0073】
カメラ24の第1の回転方向Cは、ナビゲーションデバイス又はカメラ24により構成される(電子)コンパスを使用して判定されてもよい。コンパスは、電子コンパスでもよく又はアナログコンパスでもよい。コンパスが提供するコンパス読み取り値は、処理ユニット11に通信される。処理ユニット11は、コンパス読み取り値に基づいてカメラ24の第1の回転方向を判定する。
【0074】
カメラ24の姿勢を更に判定するために、図7に示すように、カメラ24は傾斜センサ27、28を提供されてもよい。傾斜センサ27、28は、カメラ24の傾斜を測定するように構成される。第1の傾斜センサ27は、図7の曲線の矢印Aにより示される第2の回転方向への傾斜、すなわち図の表面に対して略垂直な軸を中心とする回転を測定するように構成される。第2の回転方向への傾斜は、ディスプレイ18上に表示されるカメラ画像における水平線の高さを判定する。表示されるカメラ画像に対するそのような回転の影響を図8aに概略的に示す。
【0075】
第2の傾斜センサ28は、点線Bにより図7に示されるカメラ24の中心軸である第3の回転軸を中心とする回転の結果として生じる傾斜を測定するように構成される。表示されるカメラ画像に対するそのような回転の影響を図8bに概略的に示す。
【0076】
使用中、第1の回転軸は略垂直であり、第2の回転軸及び第3の回転軸は、第1の回転軸に対して及び互いに対して略垂直である。
【0077】
傾斜センサ27、28により判定される傾斜値は、プロセッサユニット11に通信される。傾斜センサ27及び28は、単一の一体型傾斜センサとして構成されてもよい。
【0078】
また、カメラ設定、特にカメラ24のレンズのズーム係数、カメラアングル、焦点距離等は、プロセッサユニット11に通信されてもよい。
【0079】
カメラ24の位置、方向及び設定を記述するためにプロセッサユニット11が入手可能である情報に基づいて、プロセッサユニット11は、メモリ素子11、12、13、14、15に格納される地図データに対応する道路、踏み切り、分岐、興味のある場所等がディスプレイ18に表示される位置を判定する。
【0080】
その情報に基づいて、プロセッサユニット11は、ルート4、矢印5、興味のある場所(名所)等のナビゲーションディレクションがカメラビューと一致するように、プロセッサユニット11により表示されるカメラ画像上にそれらナビゲーションディレクションを重ね合わせてもよい。ナビゲーションディレクションが道路表面上に浮かんで見えるように、あるいは道路表面に対して他の所定の空間関係を有するように、ナビゲーションディレクションを重ね合わせることは有用である。
【0081】
ナビゲーションデバイス10が分岐点又は曲がり角(あるいは他の方向変化)までの距離を計算するため、ナビゲーションデバイス10は、ディスプレイ18上に表示されるナビゲーションディレクションの形成方法と、カメラ24からの出力に示される方向が変化する実際の場所に対応するようにナビゲーションディレクションが位置付けられるべき場所とをほぼ正確に算出できる。
【0082】
しかし、いくつかの理由により誤差が発生する可能性がある。第1の場所において、ナビゲーションデバイス10は、多くの方法で車両のダッシュボードに搭載される。例えば、時間的に連続するポイントにおけるナビゲーションデバイス10の位置を比較することにより軸Cに対するカメラ24の第1の回転方向を判定する場合、カメラ24は直進方向に向けられると仮定される。しかし、カメラ24が車両と完璧に位置合わせされない場合、重ね合わされたナビゲーションディレクションの不一致が発生する恐れがある。
【0083】
上述のように、カメラ24が内蔵のコンパスを提供される場合、軸Cに対するカメラの第1の回転姿勢は、ナビゲーションデバイス10の判定された移動方向とコンパスの読み取り値とを比較することにより計算される。しかし、誤差は依然として存在し、その結果、重ね合わされたナビゲーションディレクションとカメラ出力との間の不一致が生じる恐れがある。
【0084】
また、傾斜センサ27、28は、絶対傾斜ではなく相対傾斜のみを測定できてもよい。これは、カメラ画像上のナビゲーションディレクションの正確な位置付けを可能にするために、ナビゲーションデバイス10が校正される必要があることを意味する。
【0085】
それら誤差を補償するために、ナビゲーションデバイス10は、ユーザが表示されたカメラ画像に対して表示された画像の相対位置を調整することを可能にするメニューオプションを提供してもよい。この調整は、ナビゲーションディレクションが表示される位置を変更することにより及び/又はカメラ画像が表示される位置を変更することにより及び/又はカメラ24の姿勢を変更することにより、ナビゲーションデバイス10により実行されてもよい。最後のオプションとして、カメラ24はその姿勢を変更するために動作装置を提供されてもよい。カメラ24は、ナビゲーションデバイス10に依存せずに動作されてもよい。カメラ24がナビゲーションデバイス10と一体形成される場合、動作装置は、ナビゲーションデバイス10の姿勢又はナビゲーションデバイス10に対するカメラ24の姿勢を変更してもよい。
【0086】
ユーザは、ナビゲーションディレクションをカメラ画像と合致させるために、ナビゲーションディレクションの位置を校正するのに矢印キーを単純に使用してもよい。例えば、図7に示すように、カメラ24が軸Cを中心に左に傾斜するように位置付けられる場合、ナビゲーションディレクションは、カメラ画像の対応する部分より右側になる。ユーザは、ナビゲーションディレクションを左方向にドラッグするために左矢印キーを使用することによりこの誤差を修正できる。ナビゲーションデバイス10は、表示されるカメラ画像に対して重ね合わされたナビゲーションディレクションの表示される回転姿勢を調整するオプションをユーザに提供するように更に構成されてもよい。
【0087】
ナビゲーションデバイス10は、例えば、カメラ24の異なる高さにより生じる遠近図の不一致を修正するオプションをユーザに提供するように更に構成されてもよい。自動車の上部に位置付けられるカメラ24は、ダッシュボード上に又は車両のヘッドライト間に位置付けられるカメラ24とは異なる道路のビュー(異なる遠近形状)を提供する。3D方向(例えば、3D矢印)又は道路のベクトル表現等のナビゲーションディレクションをカメラビューに適合させるために、ナビゲーションディレクションの遠近変形が適用される必要がある。この遠近変形は、カメラ24の高さ、カメラ設定及び図7に示す矢印Aの方向のカメラ24の第2の回転方向に依存する。
【0088】
プロセッサユニット11は、入力された校正修正を格納し、同様の校正修正を更に表示される全ての画像に適用する。カメラ24の測定された位置、方向及び姿勢の全ての更なる変更は、プロセッサユニット11により処理され、ナビゲーションディレクションの正確な重ね合わせを継続して保証する。これにより、車両の方向の変化によるカメラの動き、あるいは速度ランプ、急な曲がり角、加速、ブレーキ等及びカメラ24の姿勢に影響を与える他の原因によるカメラの動きを正確に補償することが可能になる。
【0089】
図9は、本発明の第2の実施形態によるナビゲーションデバイス10の機能性を示すフローチャートである。フローチャートに示すステップは、処理ユニット11により実行されてもよい。尚、目的地の住所の入力、ルートの選択等に関する全てのステップは従来技術において周知であるため、図9においては省略される。
【0090】
第1のステップ101において、ナビゲーションデバイス10の電源が投入され、ユーザはカメラ様式を選択する。これは、図9において「開始」で示される。
【0091】
第2のステップ102において、処理ユニット11は、ナビゲーションデバイス10の位置を判定する。これは、上述のように、GPSデバイス等の位置決め装置23からの入力を使用して行なわれる。
【0092】
次のステップ103において、処理ユニット11は、ナビゲーションデバイス10の移動の方向を判定する。これに対しても、位置決め装置23からの入力が使用される。
【0093】
次のステップ104において、カメラ24の姿勢及びカメラ設定が処理ユニット11により判定される。位置決め装置23からの入力が使用される。また、カメラ24の姿勢を判定するために、傾斜センサ27、28からの入力が使用される。
【0094】
ステップ105によると、カメラ画像は、処理ユニット11によりディスプレイ18上に表示される。ステップ106において、処理ユニット11は、選択された数のナビゲーションディレクション(位置矢印3、ルート4、矢印5、興味のある場所、道路、地図データ等)を重ね合わせる。これを行なうために、収集された全ての情報が使用され、表示されるナビゲーションディレクションの位置及び形状を計算する。必要に応じて、ユーザは重ね合わされたナビゲーションディレクションの位置及び/又は形状を調整することによりその計算値を校正してもよい。このオプションのステップは、ステップ107により示される。
【0095】
ステップ102〜107は、使用中に必要な回数又は所望の回数だけ繰り返されてもよい。
【0096】
方向の矢印5に加えて他の種類の仮想記号は、メモリ素子12、13、14、15に格納されてもよい。例えば、メモリ素子12、13、14、15に格納された道路名、交通標識、制限速度、スピードカメラ又は興味のある場所に関連するアイコンが格納されてもよい。それら全ては、仮想記号が関連する実世界の特徴に対応する、表示されるカメラ画像における空間位置を使用してカメラ24からの出力上に重ね合わされる。従って、処理ユニット11は、実世界の特徴に対する位置データを含んだ2D地図データをナビゲーションソフトウェアから取得でき、ビデオ出力において重ね合わされる場合に正確に配置されるようにする幾何学的変換を適用できる。
【0097】
例えば、ナビゲーションデバイス10を載せた車両が坂道を上る又は下る場合、傾斜センサ27、28は、図7に示される矢印Aの方向への傾斜を検出する。しかし、ナビゲーションディレクションがカメラ画像と一致するようにナビゲーションディレクションをカメラ画像上に正確に重ね合わせるために、その傾斜は修正されるべきではない。これは、高度情報を含む地図データをナビゲーションデバイスに提供することにより構成される。地図の高度データに基づいて、ナビゲーションデバイス10は、車両が移動している道路の姿勢に一致するカメラ24の傾斜を計算する。この予測した傾斜は、傾斜センサ27、28により検出された傾斜と比較される。予測した傾斜と検出した傾斜との差は、重ね合わされたナビゲーションディレクションの位置を調整するために使用される。
【0098】
地図データが高度情報を含まない場合、車両は、車両傾斜センサ30を提供されてもよい。車両傾斜センサ30は、車両傾斜読み取り値を処理ユニット11に提供するように構成される。車両傾斜センサ30の読み取り値は、傾斜センサ27、28の読み取り値と比較され、不要な振動による差は、重ね合わされたナビゲーションディレクションの位置を調整するために使用される。
【0099】
先に説明し且つ示した例に対する全ての種類の変形例が考慮されることが理解されるであろう。
【0100】
図10は、地図データが建物等の道路沿いの物体を記述するデータを含む一例を示す。この例によると、建物上に重ね合わされるナビゲーションディレクション3、4、5は、破線又は点滅する線により示される。これにより、それら線で示さなければ建物により視界を遮られる地図データ、ルート4及び矢印5をユーザは視認できる。
【0101】
(第3の実施形態)
第3の実施形態によると、ナビゲーションディレクションは、パターン認識技術を使用することによりカメラ画像上に重ね合わされる。
【0102】
近年、ビデオ出力における実際の物体を識別するための画像フレーム(例えば、カメラ24により提供されるようなビデオ出力)のリアルタイム解析の分野は非常に進歩している。文献は、この分野において非常に広範囲にわたる。例えば、米国特許第5,627,915号公報(Princeton Video Image Inc.)を参照してもよい。この特許文献において、スポーツ競技場等のシーンからの映像はパターン認識ソフトウェアにより解析され、オペレータは競技場のコントラストの高い領域を手動で示し(例えば、競技場にマーク付けされた線、競技場の端、掲示板)、ソフトウェアはそれらコントラストの高いランドマークを使用して競技場全体の幾何学モデルを構築する。ソフトウェアは、それらのランドマークを探すリアルタイムビデオ出力を解析できる。その後、ソフトウェアはコンピュータが生成した格納された画像(例えば、掲示板の広告)を取得でき、画像合成技術を使用して幾何学モデルを参照して規定された場所においてビデオ出力に挿入される場合に、画像が映像の閲覧者にとって全体的に自然なシーンの一部に見えるように、格納された画像に幾何学的変換を適用する。
【0103】
Facet Technologyの米国特許出願公開第2001/0043717号を参照すると、道路標識を認識するために移動中の車両から得られる映像を解析できるシステムが開示される。
【0104】
一般的に、実世界の特徴を認識するためのリアルタイム映像の解析に適用されるパターン認識技術は、十分に確立された広範な分野である。
【0105】
一実現例において、ナビゲーションデバイス10は、カメラ24からのビデオ出力において実世界の特徴を認識するためにパターン認識ソフトウェアを展開し、ビデオ出力において認識された実世界の特徴に対して所定の空間関係でナビゲーションディレクション(矢印5等)をディスプレイ18上に表示する。例えば、ビデオ出力は、ナビゲーションデバイス10が移動している現在の道路を示してもよく、ナビゲーションディレクションは、その道路に重ね合わされる3D方向(例えば、3D矢印)である。道路の曲がり角及び他の特徴は、グラフィカルに表されるか又はアイコンで表され、それらが関連する実世界の特徴に重なるように位置付けられる。
【0106】
処理ユニット11は、高い視覚コントラストを有し且つ所定の道路と関連付けられる特徴を認識できるようにプログラムされてもよい。特徴は、一貫した方向に動く車両であってもよく又は道路標示(例えば、外側線、中央線等)であってもよい。
【0107】
尚、ナビゲーションデバイス10は、高い視覚コントラストを有し且つ道路と関連付けられる特徴を認識できるようにプログラムされる。例えば、特徴は一貫した方向に動く車両であってもよく又は道路標示であってもよい。
【0108】
例えば、ナビゲーションデバイス10は、前方の道路の幾何学モデルによりプログラムされる。モデルは単に2本の線である。モデルは、上述のように、地図データを形成するために格納されたベクトルデータであってもよい。
【0109】
使用中、パターン認識ソフトウェアは、格納された幾何学モデル(例えば、2本の線)に対応するカメラ24により提供されたリアルタイムビデオストリームにおいて視覚的特徴を探す。パターン認識ソフトウェアは、それら特徴を見つけると、前方の道路を事実上認識したことになる。通常、これは、格納されたモデルに合致するように、迅速な移動及び変換がビデオ出力(例えば、2本の線)において認識された特徴に適用されることを要求する。移動は、認識された特徴を格納されたモデルと略位置合わせするためのx−y移動である。変換は、異なるカメラの高さ及び2つの線の間の相対的な姿勢に対応し、異なるカメラのビューアングル及びカメラと道路との間の相対的な角度に対応するように短縮法で描くことを含む。同様に、変換は、認識された特徴に対して格納されたモデルを位置合わせし且つ形成するために適用される。
【0110】
パターン認識アルゴリズムが、入力として地図データを有することが有利であることは、当業者によって理解されるであろう。アルゴリズムが認識するパターンに関する知識を事前に有している場合、パターンの認識は容易且つ迅速に行なわれる。この知識は、入手可能な地図データから容易に取得される。
【0111】
変換が分かれば、任意のビデオフレームにおける道路の遠近、形状或いは姿勢に対応するように、事前に格納された矢印アイコンの遠近、形状或いは姿勢を形成することは比較的簡単な問題である(種々の幾何学的変換がこれに適する)。従来の画像合成を使用してディスプレイに示される道路上に方向を示す矢印を重ね合わせる。矢印が道路表面上に浮かんで見えるように、あるいは道路表面に対して他の所定の空間関係を有するように、矢印を重ね合わせることは有用である。
【0112】
ナビゲーションデバイス10が分岐点又は曲がり角(あるいは他の方向の変化)までの距離を計算するため、ナビゲーションデバイス10は、ビデオ出力に示される方向の変化の実際の場所に対応するように、ディスプレイ18に表示されるナビゲーションディレクションが形成される方法をほぼ正確に算出できる。
【0113】
ナビゲーションデバイス10は、上述の実施形態の組合せを使用してもよいことが理解されるであろう。例えば、ナビゲーションデバイスは、ディスプレイ18上のナビゲーションディレクションのおおよその位置を判定するために姿勢及び位置の測定値を使用してもよく、また、ディスプレイ18上のナビゲーションディレクションの位置を判定するためにパターン認識技術を使用してもよい。
【0114】
上述の実施形態に対する多くの代替例及び変形例が考慮されることが理解されるであろう。例えば、別の特徴は、デバイスのメモリ12、13、14、15に格納された道路名、交通標識(例えば、一方通行、進入禁止、出口番号、地名等)、制限速度、スピードカメラ及び興味のある場所の指示がビデオ出力上に重ね合わされることである。すなわち、ビデオフレームにおけるこの「仮想記号」の空間位置は、その仮想記号が関連する実世界の特徴に対応する。従って、制限速度(例えば、テキスト「30mph」)は、制限速度が30mphの道路の道路表面に重なって見えるか又は道路表面の一部として見えるように重ね合わされる。特定の種類の交通標識を表すアイコンは、実世界の標識が有益な場所に現れるようにビデオストリーム上に重ね合わされる。
【0115】
方向の矢印5に加えて他の種類の仮想記号は、メモリ素子12、13、14、15に格納されてもよい。例えば、道路名、交通標識、制限速度、スピードカメラ、バス停、博物館、番地又は興味のある場所に関連するアイコンは、メモリ素子12、13、14、15に格納されてもよい。これら全ては、仮想記号が関連する実世界の特徴に対応する表示される映像における空間位置を使用してビデオ出力上に重ね合わされる。従って、ソフトウェアは、実世界の特徴に対する位置データを含んだ2D地図データをナビゲーションソフトウェアから取得でき、ビデオ出力において重ね合わされる場合に正確に配置されるようにする幾何学的変換を適用できる。
【0116】
更に別の例によると、パターン認識技術は、例えば他の車両又はトラック等の道路上の物体を認識するように更に構成されてもよい。そのようなオブジェクトが認識される場合、表示されるルート4は、図11に示すように点線で示されてもよい。これにより、ユーザが更に容易に解釈する画像が提供される。
【0117】
(第4の実施形態)
第4の実施形態によると、カメラ24からの出力、並びに位置矢印3、ルート4、矢印5、興味のある場所(名所)、道路、建物、例えばベクトルデータである地図データ等のナビゲーションディレクションは、重ね合わされないが組み合わされてディスプレイ18に示される。
【0118】
この組み合わせは、カメラ出力を表示する第1の部分と、ナビゲーションディレクションを表示する第2の部分とにディスプレイを分割することにより達成されてもよい。しかし、組み合わせが時間で実行されてもよい。すなわち、ナビゲーションデバイスは、カメラ出力及びナビゲーションディレクションを順に連続的に示すように構成されてもよい。これは、第1の期間に(例えば、2秒間)カメラ出力を示し、次に第2の期間に(例えば、2秒間)ナビゲーションディレクションを示すことにより達成されてもよい。しかし、ナビゲーションデバイスは、ユーザの要望に応じてカメラ出力とナビゲーションディレクションとを切り替えるオプションをユーザに提供してもよい。
【0119】
当然、2つ以上のカメラが使用されてもよい。ユーザは、第1のカメラ出力から第2のカメラ出力へ切り替えるオプションを提供されてもよい。ユーザは、ディスプレイ18上に2つ以上のカメラ出力を同時に表示することを選択してもよい。
【0120】
更に別の例によると、ユーザはズームイン又はズームアウトしてもよい。ズームアウトする場合、更に多くのナビゲーションデバイス10の環境がディスプレイ18上に表示されるようになる。ユーザは、例えば、図2に示すようなナビゲーションデバイス10の位置を含むヘリコプタービューを選択してもよいことが理解されるであろう。そのようなビューは、背後から見られるナビゲーションデバイス10(又は車両)の画像を提供する。当然、そのようなビューは、ナビゲーションデバイス10又は車両上に固定されたカメラにより提供されない。従って、ナビゲーションデバイス10は、図12に示すような画像の一部のみが地図データ及びナビゲーションディレクションにより囲まれたカメラビューである画像を提供してもよい。
【0121】
本発明の特定の実施形態を説明したが、本発明は上述した以外の方法で実現されてもよいことが理解されるであろう。例えば、本発明は、先に開示された方法を記述する機械可読命令の1つ以上のシーケンスを含むコンピュータプログラムの形態をとってもよく、あるいはそのようなコンピュータプログラムを格納したデータ記憶媒体(例えば、半導体メモリ、磁気ディスク又は光ディスク)の形態をとってもよい。任意のソフトウェアコンポーネントがハードウェアコンポーネントとして形成されてもよいことは、当業者には理解されるであろう。
【0122】
上記説明は、例示することを意図しており、限定することを意図しない。従って、以下の請求の範囲から逸脱せずに、説明された本発明に対して変形が行なわれてもよいことが当業者には明らかとなるであろう。
【図面の簡単な説明】
【0123】
【図1】ナビゲーションデバイスを概略的に示す概略ブロック図である。
【図2】ナビゲーションデバイスを概略的に示す概略図である。
【図3】本発明の一実施形態に関わるナビゲーションデバイスを概略的に示す概略ブロック図である。
【図4】本発明の一実施形態に関わるナビゲーションデバイスを具備する車両を概略的に示す図である。
【図5】本発明の一実施形態に関わるナビゲーションデバイスを概略的に示す図である。
【図6】本発明の一実施形態に関わるナビゲーションデバイスを概略的に示す図である。
【図7】本発明の一実施形態に関わるカメラを概略的に示す図である。
【図8a】カメラの異なる傾斜の結果として生じるディスプレイ上でのカメラ画像の異なる動きを概略的に示す図である。
【図8b】カメラの異なる傾斜の結果として生じるディスプレイ上でのカメラ画像の異なる動きを概略的に示す図である。
【図9】本発明の一実施形態に関わるナビゲーションデバイス10の機能性を概略的に示すフローチャートである。
【図10】本発明の一実施形態に関わるナビゲーションデバイスを概略的に示す図である。
【図11】本発明の一実施形態に関わるナビゲーションデバイスを示す図である。
【図12】本発明の更なる実施形態に関わるナビゲーションデバイスを示す図である。
【技術分野】
【0001】
本発明は、ナビゲーションディレクション(Navigation directions)をディスプレイ上に表示するように構成されるナビゲーションデバイスに関する。
【0002】
また、本発明は、そのようなナビゲーションデバイスを具備する車両及びナビゲーションディレクションを提供する方法に関する。更に本発明は、コンピュータプログラム及びデータ記憶媒体に関する。
【背景技術】
【0003】
GPS(Global Positioning System)に基づく従来のナビゲーションデバイスは周知であり、車載ナビゲーションシステムとして広く採用されている。そのようなGPSに基づくナビゲーションデバイスは、自身の地球上における位置を測定する能力を有する外部(又は内部)のGPS受信機と通信を行う機能を含む演算装置に関係する。更に、演算装置は、出発地の住所と目的地の住所との間のルートを判定する能力を有する。出発地の住所と目的地の住所は、演算装置のユーザにより入力される。通常、演算装置は、地図データベースから出発地の住所の場所と目的地の住所の場所との間の「最善」又は「最適」なルートを計算することがソフトウェアにより可能になる。「最善」又は「最適」なルートは、所定の基準に基づいて決められ、必ずしも最速又は最短のルートである必要はない。
【0004】
ナビゲーションデバイスは、通常は車両のダッシュボードに搭載されるが、車両に搭載されたコンピュータ又は自動車のラジオの一部として構成されてもよい。ナビゲーションデバイスは、PDA等の携帯型のシステム(の一部)であってもよい。
【0005】
GPS受信機から得られる位置情報を使用することにより、演算装置は、定期的に自装置の位置を判定し、車両の現在の位置をユーザに対して表示できる。ナビゲーションデバイスは、地図データを格納するメモリ素子及び地図データの選択部分を表示するディスプレイを具備してもよい。
【0006】
更にナビゲーションデバイスは、ディスプレイ上に表示され且つ/又はスピーカからの可聴信号として生成される適切なナビゲーション指示により判定されたルートの案内の方法を指示できる(例えば、「100m先を左折する」)。達成される動作を示す図形(例えば、前方を左折することを示す左矢印)は、ステータスバーに表示され、地図自体には該当する分岐点/曲がり角等に重ね合わされる。
【0007】
運転者がナビゲーションシステムにより計算されたルートに沿って自動車を運転している時に、運転者によりルートの再計算が開始されることを許容する車載ナビゲーションシステムが知られている。これは、車両が建築工事又は交通渋滞に直面した場合に有用である。
【0008】
ナビゲーションデバイスにより展開されるルート計算アルゴリズムの種類をユーザが選択できることが周知であり、例えば、「通常」モード及び「高速」モード(最短時間でルートを計算するが、通常モード程多くの代替ルートを調査しない)から選択する。
【0009】
また、ユーザが規定した基準でルートを計算できることが周知である。例えば、ユーザは、景色のよいルートがデバイスにより計算されることを好む。デバイスのソフトウェアは、種々のルートを計算し、例えば、景色が美しい所としてタグ付けされる興味のある場所(名所(POI)として知られた場所)をルートに沿って最も多く含むルートを更に有利に重み付けする。
【0010】
従来技術において、ナビゲーションデバイスは、殆どの地図がそうであるように、実世界の高度に様式化された表現又は概略的な表現である地図を表示する。多くの人は、実世界の非常に抽象的な表現を容易に認識及び理解できるものとして解釈することが困難であることが分かる。ナビゲーションデバイスは、車両の上方及び/又は後方から見られるように、地図の(半)3次元投影を表示することが周知である。これは、表示された地図データを実世界のユーザの視覚に対応するようにしてユーザに更に容易に解釈させるために行なわれる。しかし、そのような(半)遠近図は、様式化された表現又は概略的な表現であり、ユーザによる解釈が依然として比較的に困難である。
【0011】
人がディスプレイ上に示される方向に容易に且つ迅速に従うことを可能にする必要性は、車載ナビゲーションシステムとして使用できるようなパーソナルナビゲーションシステムにおいて特に重大である。車両の運転者は、主に道路及び交通に注意を向けるべきであり、表示される地図データを見て解釈する時間は可能な限り少なくする必要があることは理解される。
【特許文献1】米国特許第5,627,915号公報
【特許文献2】米国特許出願公開第2001/0043717号
【発明の開示】
【発明が解決しようとする課題】
【0012】
従って、本発明の目的は、上述の問題のうち少なくとも1つを克服し且つ容易な解釈を可能にする指示をユーザに対して表示するナビゲーションデバイスを提供することである。
【課題を解決するための手段】
【0013】
この目的を達成するために、本発明は、上述に従うナビゲーションデバイスを提供する。ナビゲーションデバイスは、カメラから出力を受信するように更に構成され、ナビゲーションデバイスは、カメラからの出力のカメラ画像とナビゲーションディレクションとの組合せをディスプレイ上に表示するように構成されることを特徴とする。
【0014】
ナビゲーションディレクションをカメラ画像上に重ね合わせるか又は組み合わせることにより、使用し易いビューが運転者に提示され、容易で迅速な解釈を可能にする。ユーザにより見られるように、カメラ画像が現実のビューの1対1の表現であるため、ユーザは実世界の抽象的な表現を解釈する必要がない。カメラからの出力とナビゲーションディレクションとの組合せは、一方を他方に重ね合わせたもの等の全ての種類の組合せであり、ディスプレイの異なる部分に同時に示す。しかし、組合せは時間的な組合せであってもよい。すなわち、カメラ出力及びナビゲーションディレクションを交互に示す。これは、所定の時間間隔(例えば、5秒)後に変更されてもよく、あるいはユーザによる入力の結果として変更されてもよい。
【0015】
更なる実施形態によると、本発明は、カメラがナビゲーションデバイスと一体的に構成されるナビゲーションデバイスに関する。そのようなナビゲーションデバイスは、外部のカメラ出力を要求しない。ナビゲーションデバイスは、カメラが正面の画面を通して画像を提供するように、例えば単純に車両のダッシュボードに搭載される。
【0016】
更なる実施形態によると、本発明は、ナビゲーションディレクションがハードディスク、読み出し専用メモリ、電気的消去可能プログラマブルROM及びランダムアクセスメモリ等の少なくとも1つの記憶装置に格納される位置矢印、ルート、矢印、興味のある場所、道路、建物、ベクトルデータ等の地図データのうちの1つ以上であるナビゲーションデバイスに関する。全ての種類のナビゲーションディレクションが表示される。尚、それらのナビゲーションディレクションは、ナビゲーション(ルートを見つけること)に本質的に必要でない情報を提供してもよく、追加の情報をユーザに更に提供してもよい。
【0017】
更なる実施形態によると、本発明は、ナビゲーションディレクションの位置がカメラ画像の対応する部分に対して所定の空間関係になるように、カメラ画像上にナビゲーションディレクションを重ね合わせるように更に構成されるナビゲーションデバイスに関する。全てのナビゲーションディレクションがカメラ画像の対応する項目の実際の位置と一致するように表示されるため、これによりユーザは非常に容易に解釈される画像を提供される。例えば、右折を示す矢印は、カメラ画像において可視である曲がり角と一致するように、カメラ画像上に重ね合わされてもよい。
【0018】
更なる実施形態によると、本発明は、処理ユニット、位置決め装置及び姿勢センサを具備するナビゲーションデバイスに関する。位置決め装置及び姿勢センサは、処理ユニットと通信するように構成される。処理ユニットは、カメラ24及び/又はナビゲーションデバイスの位置及び姿勢を計算するために、位置決め装置及び姿勢センサからの読み取り値を使用するように構成される。カメラ及び/又はナビゲーションデバイスの位置及び姿勢は、ディスプレイ上のナビゲーションディレクションの位置に基づき処理ユニットにより計算される。カメラ及び/又はナビゲーションデバイスの正確な位置及び姿勢を知ることにより、カメラ出力へのナビゲーションディレクションのより正確な重ね合わせが可能になる。
【0019】
更なる実施形態によると、本発明は、位置決め装置がGPS、欧州のガリレオシステム又は任意の他のグローバルナビゲーションサテライトシステム等の位置検知技術、あるいは地上ビーコンに基づく位置検知技術を使用して地理的な場所を判定するナビゲーションデバイスに関する。
【0020】
更なる実施形態によると、本発明は、処理ユニットが時間的に連続するポイントにおいて位置決め装置により判定されるカメラ及び/又はナビゲーションデバイスの位置を比較することにより、使用中に略垂直である第1の回転軸に対するカメラの姿勢を計算するナビゲーションデバイスに関する。時間的に連続するポイントにおけるカメラ及び/又はナビゲーションデバイスの位置を比較することにより、カメラ及び/又はナビゲーションデバイスの移動方向が計算される。これにより、カメラの姿勢及び姿勢の変化が計算される。
【0021】
更なる実施形態によると、本発明は、コンパスの読み取り値を処理ユニットに提供するコンパスを具備するナビゲーションデバイスに関する。処理ユニットは、コンパスの読み取り値に基づいて使用中に略垂直である第1の回転軸に対するカメラの姿勢を計算するように構成される。コンパスは、カメラの姿勢を判定する容易で有利な方法を提供する。
【0022】
更なる実施形態によると、本発明は、姿勢センサが第2の回転軸及び第3の回転軸に対するカメラの姿勢を判定する傾斜センサを具備するナビゲーションデバイスに関する。第2の回転軸及び第3の回転軸は、使用中に略水平である。カメラ画像に対してナビゲーションディレクションをより正確に組み合わせるか又は重ね合わせるために、カメラの回転姿勢は第2の方向及び/又は第3の方向に対して測定される。
【0023】
更なる実施形態によると、本発明は、ナビゲーションディレクションの位置がカメラ画像の対応する部分に対して所定の空間関係になるようにナビゲーションディレクションをカメラ画像上に重ね合わせるために、処理ユニットがパターン認識技術を使用するナビゲーションデバイスに関する。パターン認識技術を使用することにより、ナビゲーションディレクションは、カメラの正確な姿勢を知ることなくカメラ出力上に組み合わされるか且つ/又は重ね合わされる。表示されるカメラ画像上のナビゲーションディレクションの位置は、パターン認識技術を単独で使用することにより判定されてもよいが、パターン認識技術は、カメラの判定された姿勢と組み合わされて使用されてもよく、それにより正確度は向上する。
【0024】
更なる実施形態によると、本発明は、ナビゲーションデバイスがパターン認識技術に対する入力として地図データを使用するナビゲーションデバイスに関する。例えば道路のおおよその位置が地図データから分かる場合、その道路を認識するのが更に容易なので、パターン認識技術は地図データを使用することにより簡単化されてもよい。これにより、パターン認識はより正確になり且つ/又は計算時間が節約される。
【0025】
更なる実施形態によると、本発明は、校正修正を受信し、それら校正修正を格納し且つナビゲーションディレクション及びカメラ画像を組み合わせる時に校正修正を適用するように構成されるナビゲーションデバイスに関する。これは、ナビゲーションディレクションがカメラ画像上に重ね合わされてカメラ画像に対して所定の空間関係を有するように、ナビゲーションディレクションが組み合わされる場合に特に有利である。校正修正は、オフセット誤差を除去するために使用されてもよい。
【0026】
更なる実施形態によると、本発明は、カメラ設定を受信するか又は読み込み且つカメラ設定を使用してディスプレイ上のナビゲーションディレクションの位置を計算するように構成されるナビゲーションデバイスに関する。種々のカメラ設定の結果、種々のカメラ出力が得られてもよい。ナビゲーションデバイスにそれらカメラ設定を提供することにより、ナビゲーションディレクションとカメラ画像との組合せの正確度が更に向上する。
【0027】
更なる実施形態によると、本発明は、2つ以上のカメラから出力を受信し且つディスプレイ上に表示される出力の1つを選択するように構成されるナビゲーションデバイスに関する。異なる遠近図を提供する2つ以上のカメラ出力は、例えば数学を使用してパターン認識の品質を向上するためにパターン認識技術により使用されてもよい。2つ以上のカメラは、異なるカメラアングルから選択するオプションをユーザに提供するために使用されてもよい。
【0028】
更なる実施形態によると、本発明は、カメラが人間の目に可視である電磁スペクトルの範囲外の電磁放射を感知可能であるナビゲーションデバイスに関する。
【0029】
更なる実施形態によると、本発明は、カメラが赤外線カメラであるナビゲーションデバイスに関する。そのようなカメラにより、夜間のナビゲーションデバイスの使用が可能になる。
【0030】
更なる実施形態によると、本発明は、カメラがズームイン及び/又はズームアウトするように構成されるナビゲーションデバイスに関する。これにより、ユーザは好みによってカメラビューを調整できる。
【0031】
更なる実施形態によると、本発明は、カメラが例えばナビゲーションデバイス/車両の速度に応じてズームイン又はズームアウトするように構成されるナビゲーションデバイスに関する。これにより、ナビゲーションデバイスの速度に対して自動的に調整されるカメラ出力が提供される。従って、ナビゲーションデバイスの速度が相対的に速い場合、カメラは更に前方のより適切なビューをユーザに与えるためにズームインしてもよい。
【0032】
更なる面によると、本発明は、上述によるナビゲーションデバイスを具備するダッシュボードに関する。
【0033】
更なる面によると、本発明は、上述によるナビゲーションデバイスを具備する車両に関する。
【0034】
更なる面によると、本発明は、車両の傾斜を判定する車両傾斜センサを具備し、車両傾斜読み取り値をナビゲーションデバイスに提供する車両に関する。これは、車両の傾斜を測定する有利な方法である。
【0035】
更なる面によると、本発明は、ナビゲーションディレクションを提供する方法に関する。方法は、
−ディスプレイ上にナビゲーションディレクションを表示することから成り、
−カメラから出力を受信することと、
−カメラからの出力のカメラ画像とカメラ画像上のナビゲーションディレクションとの組合せをディスプレイ上に表示することとを含むことを特徴する。
【0036】
更なる面によると、本発明は、コンピュータ構成にロードされた時に上記方法を実行するように構成されるコンピュータプログラムに関する。
【0037】
更なる面によると、本発明は、上述のようなコンピュータプログラムを含むデータ記憶媒体に関する。
【発明を実施するための最良の形態】
【0038】
添付の概略図を参照して、本発明の実施形態を例として説明する。図中、対応する図中符号は対応する部分を示す。
【0039】
図1は、算術演算を行なうプロセッサユニット11を具備するナビゲーションデバイス10の一実施形態を示す概略ブロック図である。プロセッサユニット11は、ハードディスク12、読み出し専用メモリ(ROM)13、電気的消去可能プログラマブルROM(EEPROM)14及びランダムアクセスメモリ(RAM)15等の命令及びデータを格納する記憶装置と通信するように構成される。記憶装置は、地図データを含んでもよい。この地図データは、2次元地図データ(緯度及び経度)であってもよいが、第3の次元(高度)を含んでもよい。地図データは、ガソリンスタンド、興味のある場所に関する情報等の追加の情報を更に含んでもよい。また、地図データは、道路沿いの建物及び物体の形状に関する情報を含んでもよい。
【0040】
プロセッサユニット11は、キーボード16及びマウス17等の1つ以上の入力装置と通信するように構成されてもよい。キーボード16は、例えば、タッチスクリーンであるディスプレイ18に提供される仮想キーボードであってもよい。プロセッサユニット11は、例えば、フロッピディスク20又はCD ROM21を読み取るために、ディスプレイ18、スピーカ29及び1つ以上の読み取り装置19等の1つ以上の出力装置と通信するように更に構成されてもよい。ディスプレイ18は、従来のコンピュータディスプレイ(例えば、LCD)であってもよく、あるいは計測データを自動車のフロントガラスに投影するために使用されるヘッドアップディスプレイ等の投影型ディスプレイであってもよい。ディスプレイ18は、タッチスクリーンとして機能するように構成されるディスプレイであってもよい。タッチスクリーンは、ユーザが指でディスプレイ18に触れることにより命令及び/又は情報を入力することを可能にする。
【0041】
プロセッサユニット11は、入出力装置25を使用して他の演算装置又は通信装置と通信するように更に構成されてもよい。入出力装置25は、ネットワーク27を介して通信を行なえるように構成されて示される。
【0042】
スピーカ29は、ナビゲーションデバイス10の一部として構成されてもよい。ナビゲーションデバイス10が車載ナビゲーションデバイスとして使用される場合、ナビゲーションデバイス10は、自動車のラジオ及びボードコンピュータ等のスピーカを使用してもよい。
【0043】
プロセッサユニット11は、ナビゲーションデバイス10の位置に関する情報を提供するGPS受信機等の位置決め装置23と通信するように更に構成されてもよい。本実施形態によると、位置決め装置23はGPSに基づく位置決め装置23である。しかし、ナビゲーションデバイス10には、任意の種類の位置検知技術を実装してもよく、GPSに限定されないと理解されるであろう。従って、ナビゲーションデバイス10は、欧州のガリレオシステム等の他の種類のGNSS(global navigation satellite system:グローバルナビゲーションサテライトシステム)を使用して実現することもできる。同様に、ナビゲーションデバイス10は、衛星を使用する位置/速度システムに限定されず、地上ビーコン又はデバイスが地理的な場所を判定することを可能にする任意の他の種類のシステムを使用しても同様に展開される。
【0044】
しかし、当業者に周知の更なる及び/又は他の記憶装置、入力装置及び読み取り装置が提供されてもよいことが理解されるべきである。更に、それら装置のうち1つ以上の装置は、必要に応じてプロセッサユニット11から物理的に遠く離れて配置されてもよい。プロセッサユニット11は1つのボックスで示されるが、当業者には周知であるように、互いに遠く離れて配置され且つ1つの主プロセッサにより制御されるか又は同時に機能するいくつかの処理ユニットを含んでもよい。
【0045】
ナビゲーションデバイス10は、コンピュータシステムとして示されるが、本明細書で説明される機能を実行するように構成されるアナログ及び/又はデジタル及び/又はソフトウェア技術を使用する任意の信号処理システムであってもよい。図1に示すナビゲーションデバイス10は、複数の構成要素から構成されるものとして示すが、単一のデバイスとして構成されてもよいことが理解されるであろう。
【0046】
ナビゲーションデバイス10は、Navigatorと呼ばれるTomTom B.V.のナビゲーションソフトウェア等のナビゲーションソフトウェアを使用してもよい。ナビゲータソフトウェアは、Compaq iPaq等のタッチスクリーンの(すなわち、スタイラスで制御される)PocketPC搭載PDAデバイス、並びに一体型GPS受信機23を有するデバイス上で実行してもよい。組み合わされたPDA及びGPS受信機システムは、車載ナビゲーションシステムとして使用されるものとして設計される。本発明は、一体型GPS受信機/コンピュータ/ディスプレイを有するデバイス、あるいは車両以外による使用(例えば、歩行者)又は自動車以外の車両(例えば、航空機)に対して設計されたデバイス等のナビゲーションデバイス10の任意の他の構成で実現されてもよい。
【0047】
図2は、上述のようなナビゲーションデバイス10を示す。
【0048】
ナビゲータソフトウェアは、ナビゲーションデバイス10上で実行する場合、図2に示すようにディスプレイ18に通常のナビゲーションモード画面をナビゲーションデバイス10に表示させる。このビューは、テキスト、記号、音声ガイダンス及び動画地図の組合せを使用して運転指示を提供してもよい。重要なユーザインタフェース要素は、3D地図が画面の殆どを占有することである。尚、その地図は2D地図として示されてもよい。
【0049】
地図は、ナビゲーションデバイス10が動く方向が常に「上姿勢」になるように回転されたナビゲーションデバイス10の位置及びその周囲を示す。ステータスバー2は、画面の下1/4に渡ってもよい。ナビゲーションデバイス10の現在の場所(ナビゲーションデバイス10自体が従来のGPS位置探索を使用して判定する)及びその姿勢(移動する方向から推測される)は、位置矢印3により示される。デバイスにより計算されたルート4(メモリ素子11、12、13、14、15の地図データベースに格納された地図データに適用されるメモリ素子11、12、13、14、15に格納されたルート計算アルゴリズムを使用して)は、陰影をつけた経路で示される。ルート4において、全ての主な動作(例えば、角、交差点、ロータリー等を曲がる)は、ルート4に重なる矢印5により概略的に示される。ステータスバー2は、左側に次の動作6(ここでは、右折)を示す概略的なアイコンを更に含む。ステータスバー2は、デバイスにより計算されたルート全体のデータベース(すなわち、選択されるルートを規定する全ての道路及び関連する動作のリスト)から抽出される次の動作までの距離(すなわち、右折−ここでは距離は190メートル)を更に示す。ステータスバー2は、現在の道路名8、到着までの推定時間9(ここでは、35分)、実際の推定到着時間25(4:50pm)及び目的地までの距離26(31.6Km)を更に示す。ステータスバー2は、移動電話と同様の信号強度指標でGPS信号強度等の追加の情報を更に示してもよい。
【0050】
上述したように、ナビゲーションデバイスは、ユーザがナビゲーションメニュー(不図示)を呼び出すことを可能にするタッチスクリーン等の入力装置を具備してもよい。このメニューから、他のナビゲーション機能は開始又は制御される。非常に容易に呼び出される(例えば、地図の表示からメニュー画面まで1ステップである)メニュー画面からナビゲーション機能を選択することを可能にすることにより、ユーザ対話が非常に簡単化されて高速且つ容易になる。ナビゲーションメニューは、ユーザが目的地を入力するオプションを含む。
【0051】
ナビゲーションデバイス10自体の実際の物理的な構造は、一体型GPS受信機23又は外部GPS受信機からのGPSデータ出力以外は任意の従来の携帯型のコンピュータと基本的に異ならない。従って、メモリ素子12、13、14、15は、ルート計算アルゴリズム、地図データベース及びユーザインタフェースソフトウェアを格納する。プロセッサユニット12は、ユーザ入力を解釈及び処理し(例えば、出発地及び目的地の住所を入力するためのタッチスクリーン、並びに全ての他の制御入力を使用して)、最適なルートを計算するルート計算アルゴリズムを展開する。「最適」は、最短時間又は最短距離、あるいは他のユーザに関係する要素等の基準を示してもよい。
【0052】
更に詳細には、ユーザは、タッチスクリーン18、キーボード16等の提供された入力装置を使用して、ナビゲーションデバイス10上で実行するナビゲーションソフトウェアにユーザの出発位置及び要求する目的地を入力する。ユーザは、移動ルートを計算する方法を選択する。ルートを非常に迅速に計算するがルートが最短ではない可能性のある「高速」モード;全ての可能なルートを調べ且つ最短のルートを見つけるが計算時間がより長い「フル」モード等の種々のモードが提供される。例えば、特に美しい景色としてマーク付けされた殆どの名所(興味のある位置)を通過するか又は子供が興味を持つ可能性のある殆どの名所を通過する景色のよいルート、あるいは分岐点が最も少ないルートをユーザが規定する等、他のオプションが可能である。
【0053】
道路自体は、ナビゲーションデバイス10上で実行するナビゲーションソフトウェアの一部である(又は、ナビゲーションソフトウェアによりアクセスされる)地図データベースにおいて線−すなわちベクトル(例えば、道路の始点、終点、方向であり、道路全体は、各々が始点/終点方向パラメータにより一意に規定される数百の部分から構成される)として記述される。地図は、そのような道路ベクトル、興味のある場所(名所)、道路名、公園の境界や川の境界等の他の地理的特徴の集合であり、それらはベクトルに関して規定される。全ての地図の特徴(例えば、道路ベクトル、名所等)は、GPS座標系に対応するか又は関連する座標系で規定され、GPSシステムを介して判定されるデバイスの位置を地図に示される該当の道路に配置することを可能にする。
【0054】
ルート計算は、ナビゲーションソフトウェアの一部である複雑なアルゴリズムを使用する。アルゴリズムは、大量の潜在的に異なるルートに点数をつけるために適用される。ナビゲーションソフトウェアは、景色のよいルート、歴史博物館及びスピードカメラなしとユーザが規定したフルモードスキャン等の基準(又はデバイスのデフォルト)に対してそれらルートを評価する。規定された基準に最もよく適合するルートは、プロセッサユニット11により計算され、ベクトル、道路名及びベクトルの終点で行なわれる動作のシーケンス(例えば、100メートル先でx通りを左折する等、ルートの各道路に沿う所定の距離に対応する)としてメモリ素子12、13、14、15のデータベースに格納される。
【0055】
図3は、本発明によるナビゲーションデバイス10を示す概略ブロック図である。図中、図1及び図2と同様に、対応する図中符号は対応する部分を示す。
【0056】
本発明によると、カメラ24は、プロセッサユニット11にリアルタイム出力を提供するように構成されて提供される。カメラ24は、使用中、ユーザの前方の道路を記録するように位置付けられる。自動車に位置付けられる場合、カメラ24は車両の前方の道路を記録するように位置付けられる。カメラ24は、ナビゲーションデバイス10と一体化されてもよく、あるいはナビゲーションデバイス10とは物理的に別個であってもよい。別個である場合、カメラ24はケーブル又は無線接続を介してプロセッサユニット11に接続されてもよい。カメラ24は、例えばヘッドライトに近接して車両の前面に又は車両の屋根に位置付けられてもよい。
【0057】
ナビゲーションデバイス10は、ユーザが異なるカメラアングル間で切り替えられるように2つ以上のカメラ24を提供されてもよい。リヤビューカメラが更に提供されてもよい。カメラは、デジタルカメラ又はアナログカメラ等の任意の種類のカメラであってもよい。カメラ24により記録される画像は、ディスプレイ18に表示される。
【0058】
カメラ24は、人間の目に可視である電磁スペクトルの範囲外の電磁放射を感知可能であるカメラであってもよい。カメラは、夜間の使用を可能にする赤外線カメラであってもよい。
【0059】
図4は、自動車のダッシュボードに位置付けられるナビゲーションデバイス10の一例を示す。ナビゲーションデバイス10は、自動車の前方の道路に向けられるカメラ24を具備する。図4は、ディスプレイ18がユーザに面していることを更に示す。
【0060】
本発明によると、ナビゲーションデバイス10は、カメラからのリアルタイム出力をディスプレイ18上に表示し、1つ以上のナビゲーションディレクションを組み合わせるか又は重ね合わせるように構成される。ナビゲーションディレクションは、位置矢印3、ルート4、矢印5、興味のある場所、道路、建物及びナビゲーションデバイス10に格納される全ての更なるナビゲーションディレクションのうちの1つ以上であってもよい。これは、道路を記述するベクトルデータ等の地図データ自体を含んでもよい。これが達成される方法を以下に更に詳細に説明する。
【0061】
カメラ24により提供される画像は、道路の凹凸、エンジンによる車両の振動等により安定しない。従って、ナビゲーションデバイス10には、安定した画像を提供するためにそれらの不要な振動を除去するソフトウェアを提供されてもよい。カメラ24により提供される画像の不要な振動を除去するソフトウェアは、ビデオカメラにおいて広く使用される。ビデオカメラにおいて、そのソフトウェアはステディカムという名前で使用される。これは当業者には周知である。
【0062】
カメラ24からの出力は更に処理され、画質が向上されてもよい。この処理は、輝度、コントラストを調整することを含んでもよいが、任意の適切なフィルタであってもよい。フィルタは、雨の状況における画質を向上させるために使用されてもよい。
【0063】
カメラ24からの出力は、リアルタイムでディスプレイ上に表示されるが、例えば0.5秒毎等のある特定の時点で更新される静止画として表示されてもよい。連続する更新の間の適切な時間間隔は、ナビゲーションデバイス10の車両の速度、移動方向の変化(曲がる)に依存して判定されてもよい。
【0064】
また、ナビゲーションデバイスは、例えば、ナビゲーションデバイス/車両の速度に依存してズームイン又はズームアウトを実行するように構成されてもよい。このズーム動作は、ズーム動作を実行するように指示を与える制御信号をカメラ24に送出することにより実行されてもよい。しかし、ズーム動作は、ディスプレイ18において受信カメラ出力の一部を拡大して表示することにより実行されてもよい。
【0065】
(第1の実施形態)
図5は、本発明の第1の例を示す。図5は、ナビゲーションデバイス10により表示されるカメラ24により記録された画像の静止画を示す。図示されるように、右折を示す矢印5はプロセッサユニット11により重ね合わされる。本実施形態によると、使用し易い画像がユーザに対して表示され、容易に解釈できる。本実施形態は、複雑な数学的処理及びデータ処理が必要ないという利点を有する。
【0066】
図5に示すナビゲーションディレクションの代わりに、遠近形状の矢印等の遠近形状のナビゲーションディレクションを含む上述のような他のナビゲーションディレクションが表示されてもよい。
【0067】
(第2の実施形態)
図6は、カメラ24により記録された画像の別の静止画を示す。この例によると、ナビゲーションデバイス10はルート4及び矢印5を重ね合わせる。ルート4及び矢印5は、ディスプレイ18上でのそれらの位置がカメラ24により提供される画像と一致するように重ね合わされる。図6は、ルート4がディスプレイ18に示される道路と一致するように表示されることを明確に示す。また、矢印5は、カメラ24により提供される画像において右折を正確に示すように表示される。
【0068】
図5に示す実施形態は、カメラ24により提供される画像と例えば矢印5であるナビゲーションディレクションとを重ね合わせるか又は組み合わせることにより容易に達成されることが理解されるであろう。しかし、図6に提供される画像を作成するため、カメラ24により提供される画像とナビゲーションディレクションとを合致させるには、更に複雑なデータ処理が必要とされる。これを以下に更に詳細に説明する。
【0069】
カメラ画像の対応する部分に対して所定の空間関係を有するようにナビゲーションディレクションを重ね合わせるために、正確なカメラの位置、方向及びカメラ設定を知る必要がある。この全ての情報が分かる場合、処理ユニット11は、例えばディスプレイ18上の道路の位置を計算し、ルート4を重ね合わせる。
【0070】
第1に、カメラ24の位置が判定される必要がある。これは、処理ユニット11及び/又は位置決め装置23により判定されるGPS情報を使用することにより単純に行なわれてもよい。ナビゲーションデバイス10及びカメラ24の位置情報は、従来の用途に従ってナビゲーションデバイス10において既に利用可能である。
【0071】
第2に、カメラ24の姿勢が判定される必要がある。これは、処理ユニット11と通信するように構成された姿勢センサを使用して行なわれる。姿勢センサは、位置決め装置23及び傾斜センサ27、28であってもよい。傾斜センサ27、28はジャイロスコープであってもよい。
【0072】
図7は、本発明の一実施形態によるカメラ24を示す。図7に示すように、第1の回転方向は、軸Cに対して判定される必要がある。また、これは、処理ユニット11及び/又は位置決め装置23により判定されるGPS情報を使用して単純に行なわれてもよい。時間的に連続するポイントにおけるナビゲーションデバイス10の位置を比較することにより、ナビゲーションデバイス10の動く方向が判定される。この情報は、従来の用途に従ってナビゲーションデバイス10において既に利用可能である。カメラ24がナビゲーションデバイス10の移動の方向を向いていると仮定する。しかし、更に以下に説明するように、必ずしも上記仮定に当てはまる必要はない。
【0073】
カメラ24の第1の回転方向Cは、ナビゲーションデバイス又はカメラ24により構成される(電子)コンパスを使用して判定されてもよい。コンパスは、電子コンパスでもよく又はアナログコンパスでもよい。コンパスが提供するコンパス読み取り値は、処理ユニット11に通信される。処理ユニット11は、コンパス読み取り値に基づいてカメラ24の第1の回転方向を判定する。
【0074】
カメラ24の姿勢を更に判定するために、図7に示すように、カメラ24は傾斜センサ27、28を提供されてもよい。傾斜センサ27、28は、カメラ24の傾斜を測定するように構成される。第1の傾斜センサ27は、図7の曲線の矢印Aにより示される第2の回転方向への傾斜、すなわち図の表面に対して略垂直な軸を中心とする回転を測定するように構成される。第2の回転方向への傾斜は、ディスプレイ18上に表示されるカメラ画像における水平線の高さを判定する。表示されるカメラ画像に対するそのような回転の影響を図8aに概略的に示す。
【0075】
第2の傾斜センサ28は、点線Bにより図7に示されるカメラ24の中心軸である第3の回転軸を中心とする回転の結果として生じる傾斜を測定するように構成される。表示されるカメラ画像に対するそのような回転の影響を図8bに概略的に示す。
【0076】
使用中、第1の回転軸は略垂直であり、第2の回転軸及び第3の回転軸は、第1の回転軸に対して及び互いに対して略垂直である。
【0077】
傾斜センサ27、28により判定される傾斜値は、プロセッサユニット11に通信される。傾斜センサ27及び28は、単一の一体型傾斜センサとして構成されてもよい。
【0078】
また、カメラ設定、特にカメラ24のレンズのズーム係数、カメラアングル、焦点距離等は、プロセッサユニット11に通信されてもよい。
【0079】
カメラ24の位置、方向及び設定を記述するためにプロセッサユニット11が入手可能である情報に基づいて、プロセッサユニット11は、メモリ素子11、12、13、14、15に格納される地図データに対応する道路、踏み切り、分岐、興味のある場所等がディスプレイ18に表示される位置を判定する。
【0080】
その情報に基づいて、プロセッサユニット11は、ルート4、矢印5、興味のある場所(名所)等のナビゲーションディレクションがカメラビューと一致するように、プロセッサユニット11により表示されるカメラ画像上にそれらナビゲーションディレクションを重ね合わせてもよい。ナビゲーションディレクションが道路表面上に浮かんで見えるように、あるいは道路表面に対して他の所定の空間関係を有するように、ナビゲーションディレクションを重ね合わせることは有用である。
【0081】
ナビゲーションデバイス10が分岐点又は曲がり角(あるいは他の方向変化)までの距離を計算するため、ナビゲーションデバイス10は、ディスプレイ18上に表示されるナビゲーションディレクションの形成方法と、カメラ24からの出力に示される方向が変化する実際の場所に対応するようにナビゲーションディレクションが位置付けられるべき場所とをほぼ正確に算出できる。
【0082】
しかし、いくつかの理由により誤差が発生する可能性がある。第1の場所において、ナビゲーションデバイス10は、多くの方法で車両のダッシュボードに搭載される。例えば、時間的に連続するポイントにおけるナビゲーションデバイス10の位置を比較することにより軸Cに対するカメラ24の第1の回転方向を判定する場合、カメラ24は直進方向に向けられると仮定される。しかし、カメラ24が車両と完璧に位置合わせされない場合、重ね合わされたナビゲーションディレクションの不一致が発生する恐れがある。
【0083】
上述のように、カメラ24が内蔵のコンパスを提供される場合、軸Cに対するカメラの第1の回転姿勢は、ナビゲーションデバイス10の判定された移動方向とコンパスの読み取り値とを比較することにより計算される。しかし、誤差は依然として存在し、その結果、重ね合わされたナビゲーションディレクションとカメラ出力との間の不一致が生じる恐れがある。
【0084】
また、傾斜センサ27、28は、絶対傾斜ではなく相対傾斜のみを測定できてもよい。これは、カメラ画像上のナビゲーションディレクションの正確な位置付けを可能にするために、ナビゲーションデバイス10が校正される必要があることを意味する。
【0085】
それら誤差を補償するために、ナビゲーションデバイス10は、ユーザが表示されたカメラ画像に対して表示された画像の相対位置を調整することを可能にするメニューオプションを提供してもよい。この調整は、ナビゲーションディレクションが表示される位置を変更することにより及び/又はカメラ画像が表示される位置を変更することにより及び/又はカメラ24の姿勢を変更することにより、ナビゲーションデバイス10により実行されてもよい。最後のオプションとして、カメラ24はその姿勢を変更するために動作装置を提供されてもよい。カメラ24は、ナビゲーションデバイス10に依存せずに動作されてもよい。カメラ24がナビゲーションデバイス10と一体形成される場合、動作装置は、ナビゲーションデバイス10の姿勢又はナビゲーションデバイス10に対するカメラ24の姿勢を変更してもよい。
【0086】
ユーザは、ナビゲーションディレクションをカメラ画像と合致させるために、ナビゲーションディレクションの位置を校正するのに矢印キーを単純に使用してもよい。例えば、図7に示すように、カメラ24が軸Cを中心に左に傾斜するように位置付けられる場合、ナビゲーションディレクションは、カメラ画像の対応する部分より右側になる。ユーザは、ナビゲーションディレクションを左方向にドラッグするために左矢印キーを使用することによりこの誤差を修正できる。ナビゲーションデバイス10は、表示されるカメラ画像に対して重ね合わされたナビゲーションディレクションの表示される回転姿勢を調整するオプションをユーザに提供するように更に構成されてもよい。
【0087】
ナビゲーションデバイス10は、例えば、カメラ24の異なる高さにより生じる遠近図の不一致を修正するオプションをユーザに提供するように更に構成されてもよい。自動車の上部に位置付けられるカメラ24は、ダッシュボード上に又は車両のヘッドライト間に位置付けられるカメラ24とは異なる道路のビュー(異なる遠近形状)を提供する。3D方向(例えば、3D矢印)又は道路のベクトル表現等のナビゲーションディレクションをカメラビューに適合させるために、ナビゲーションディレクションの遠近変形が適用される必要がある。この遠近変形は、カメラ24の高さ、カメラ設定及び図7に示す矢印Aの方向のカメラ24の第2の回転方向に依存する。
【0088】
プロセッサユニット11は、入力された校正修正を格納し、同様の校正修正を更に表示される全ての画像に適用する。カメラ24の測定された位置、方向及び姿勢の全ての更なる変更は、プロセッサユニット11により処理され、ナビゲーションディレクションの正確な重ね合わせを継続して保証する。これにより、車両の方向の変化によるカメラの動き、あるいは速度ランプ、急な曲がり角、加速、ブレーキ等及びカメラ24の姿勢に影響を与える他の原因によるカメラの動きを正確に補償することが可能になる。
【0089】
図9は、本発明の第2の実施形態によるナビゲーションデバイス10の機能性を示すフローチャートである。フローチャートに示すステップは、処理ユニット11により実行されてもよい。尚、目的地の住所の入力、ルートの選択等に関する全てのステップは従来技術において周知であるため、図9においては省略される。
【0090】
第1のステップ101において、ナビゲーションデバイス10の電源が投入され、ユーザはカメラ様式を選択する。これは、図9において「開始」で示される。
【0091】
第2のステップ102において、処理ユニット11は、ナビゲーションデバイス10の位置を判定する。これは、上述のように、GPSデバイス等の位置決め装置23からの入力を使用して行なわれる。
【0092】
次のステップ103において、処理ユニット11は、ナビゲーションデバイス10の移動の方向を判定する。これに対しても、位置決め装置23からの入力が使用される。
【0093】
次のステップ104において、カメラ24の姿勢及びカメラ設定が処理ユニット11により判定される。位置決め装置23からの入力が使用される。また、カメラ24の姿勢を判定するために、傾斜センサ27、28からの入力が使用される。
【0094】
ステップ105によると、カメラ画像は、処理ユニット11によりディスプレイ18上に表示される。ステップ106において、処理ユニット11は、選択された数のナビゲーションディレクション(位置矢印3、ルート4、矢印5、興味のある場所、道路、地図データ等)を重ね合わせる。これを行なうために、収集された全ての情報が使用され、表示されるナビゲーションディレクションの位置及び形状を計算する。必要に応じて、ユーザは重ね合わされたナビゲーションディレクションの位置及び/又は形状を調整することによりその計算値を校正してもよい。このオプションのステップは、ステップ107により示される。
【0095】
ステップ102〜107は、使用中に必要な回数又は所望の回数だけ繰り返されてもよい。
【0096】
方向の矢印5に加えて他の種類の仮想記号は、メモリ素子12、13、14、15に格納されてもよい。例えば、メモリ素子12、13、14、15に格納された道路名、交通標識、制限速度、スピードカメラ又は興味のある場所に関連するアイコンが格納されてもよい。それら全ては、仮想記号が関連する実世界の特徴に対応する、表示されるカメラ画像における空間位置を使用してカメラ24からの出力上に重ね合わされる。従って、処理ユニット11は、実世界の特徴に対する位置データを含んだ2D地図データをナビゲーションソフトウェアから取得でき、ビデオ出力において重ね合わされる場合に正確に配置されるようにする幾何学的変換を適用できる。
【0097】
例えば、ナビゲーションデバイス10を載せた車両が坂道を上る又は下る場合、傾斜センサ27、28は、図7に示される矢印Aの方向への傾斜を検出する。しかし、ナビゲーションディレクションがカメラ画像と一致するようにナビゲーションディレクションをカメラ画像上に正確に重ね合わせるために、その傾斜は修正されるべきではない。これは、高度情報を含む地図データをナビゲーションデバイスに提供することにより構成される。地図の高度データに基づいて、ナビゲーションデバイス10は、車両が移動している道路の姿勢に一致するカメラ24の傾斜を計算する。この予測した傾斜は、傾斜センサ27、28により検出された傾斜と比較される。予測した傾斜と検出した傾斜との差は、重ね合わされたナビゲーションディレクションの位置を調整するために使用される。
【0098】
地図データが高度情報を含まない場合、車両は、車両傾斜センサ30を提供されてもよい。車両傾斜センサ30は、車両傾斜読み取り値を処理ユニット11に提供するように構成される。車両傾斜センサ30の読み取り値は、傾斜センサ27、28の読み取り値と比較され、不要な振動による差は、重ね合わされたナビゲーションディレクションの位置を調整するために使用される。
【0099】
先に説明し且つ示した例に対する全ての種類の変形例が考慮されることが理解されるであろう。
【0100】
図10は、地図データが建物等の道路沿いの物体を記述するデータを含む一例を示す。この例によると、建物上に重ね合わされるナビゲーションディレクション3、4、5は、破線又は点滅する線により示される。これにより、それら線で示さなければ建物により視界を遮られる地図データ、ルート4及び矢印5をユーザは視認できる。
【0101】
(第3の実施形態)
第3の実施形態によると、ナビゲーションディレクションは、パターン認識技術を使用することによりカメラ画像上に重ね合わされる。
【0102】
近年、ビデオ出力における実際の物体を識別するための画像フレーム(例えば、カメラ24により提供されるようなビデオ出力)のリアルタイム解析の分野は非常に進歩している。文献は、この分野において非常に広範囲にわたる。例えば、米国特許第5,627,915号公報(Princeton Video Image Inc.)を参照してもよい。この特許文献において、スポーツ競技場等のシーンからの映像はパターン認識ソフトウェアにより解析され、オペレータは競技場のコントラストの高い領域を手動で示し(例えば、競技場にマーク付けされた線、競技場の端、掲示板)、ソフトウェアはそれらコントラストの高いランドマークを使用して競技場全体の幾何学モデルを構築する。ソフトウェアは、それらのランドマークを探すリアルタイムビデオ出力を解析できる。その後、ソフトウェアはコンピュータが生成した格納された画像(例えば、掲示板の広告)を取得でき、画像合成技術を使用して幾何学モデルを参照して規定された場所においてビデオ出力に挿入される場合に、画像が映像の閲覧者にとって全体的に自然なシーンの一部に見えるように、格納された画像に幾何学的変換を適用する。
【0103】
Facet Technologyの米国特許出願公開第2001/0043717号を参照すると、道路標識を認識するために移動中の車両から得られる映像を解析できるシステムが開示される。
【0104】
一般的に、実世界の特徴を認識するためのリアルタイム映像の解析に適用されるパターン認識技術は、十分に確立された広範な分野である。
【0105】
一実現例において、ナビゲーションデバイス10は、カメラ24からのビデオ出力において実世界の特徴を認識するためにパターン認識ソフトウェアを展開し、ビデオ出力において認識された実世界の特徴に対して所定の空間関係でナビゲーションディレクション(矢印5等)をディスプレイ18上に表示する。例えば、ビデオ出力は、ナビゲーションデバイス10が移動している現在の道路を示してもよく、ナビゲーションディレクションは、その道路に重ね合わされる3D方向(例えば、3D矢印)である。道路の曲がり角及び他の特徴は、グラフィカルに表されるか又はアイコンで表され、それらが関連する実世界の特徴に重なるように位置付けられる。
【0106】
処理ユニット11は、高い視覚コントラストを有し且つ所定の道路と関連付けられる特徴を認識できるようにプログラムされてもよい。特徴は、一貫した方向に動く車両であってもよく又は道路標示(例えば、外側線、中央線等)であってもよい。
【0107】
尚、ナビゲーションデバイス10は、高い視覚コントラストを有し且つ道路と関連付けられる特徴を認識できるようにプログラムされる。例えば、特徴は一貫した方向に動く車両であってもよく又は道路標示であってもよい。
【0108】
例えば、ナビゲーションデバイス10は、前方の道路の幾何学モデルによりプログラムされる。モデルは単に2本の線である。モデルは、上述のように、地図データを形成するために格納されたベクトルデータであってもよい。
【0109】
使用中、パターン認識ソフトウェアは、格納された幾何学モデル(例えば、2本の線)に対応するカメラ24により提供されたリアルタイムビデオストリームにおいて視覚的特徴を探す。パターン認識ソフトウェアは、それら特徴を見つけると、前方の道路を事実上認識したことになる。通常、これは、格納されたモデルに合致するように、迅速な移動及び変換がビデオ出力(例えば、2本の線)において認識された特徴に適用されることを要求する。移動は、認識された特徴を格納されたモデルと略位置合わせするためのx−y移動である。変換は、異なるカメラの高さ及び2つの線の間の相対的な姿勢に対応し、異なるカメラのビューアングル及びカメラと道路との間の相対的な角度に対応するように短縮法で描くことを含む。同様に、変換は、認識された特徴に対して格納されたモデルを位置合わせし且つ形成するために適用される。
【0110】
パターン認識アルゴリズムが、入力として地図データを有することが有利であることは、当業者によって理解されるであろう。アルゴリズムが認識するパターンに関する知識を事前に有している場合、パターンの認識は容易且つ迅速に行なわれる。この知識は、入手可能な地図データから容易に取得される。
【0111】
変換が分かれば、任意のビデオフレームにおける道路の遠近、形状或いは姿勢に対応するように、事前に格納された矢印アイコンの遠近、形状或いは姿勢を形成することは比較的簡単な問題である(種々の幾何学的変換がこれに適する)。従来の画像合成を使用してディスプレイに示される道路上に方向を示す矢印を重ね合わせる。矢印が道路表面上に浮かんで見えるように、あるいは道路表面に対して他の所定の空間関係を有するように、矢印を重ね合わせることは有用である。
【0112】
ナビゲーションデバイス10が分岐点又は曲がり角(あるいは他の方向の変化)までの距離を計算するため、ナビゲーションデバイス10は、ビデオ出力に示される方向の変化の実際の場所に対応するように、ディスプレイ18に表示されるナビゲーションディレクションが形成される方法をほぼ正確に算出できる。
【0113】
ナビゲーションデバイス10は、上述の実施形態の組合せを使用してもよいことが理解されるであろう。例えば、ナビゲーションデバイスは、ディスプレイ18上のナビゲーションディレクションのおおよその位置を判定するために姿勢及び位置の測定値を使用してもよく、また、ディスプレイ18上のナビゲーションディレクションの位置を判定するためにパターン認識技術を使用してもよい。
【0114】
上述の実施形態に対する多くの代替例及び変形例が考慮されることが理解されるであろう。例えば、別の特徴は、デバイスのメモリ12、13、14、15に格納された道路名、交通標識(例えば、一方通行、進入禁止、出口番号、地名等)、制限速度、スピードカメラ及び興味のある場所の指示がビデオ出力上に重ね合わされることである。すなわち、ビデオフレームにおけるこの「仮想記号」の空間位置は、その仮想記号が関連する実世界の特徴に対応する。従って、制限速度(例えば、テキスト「30mph」)は、制限速度が30mphの道路の道路表面に重なって見えるか又は道路表面の一部として見えるように重ね合わされる。特定の種類の交通標識を表すアイコンは、実世界の標識が有益な場所に現れるようにビデオストリーム上に重ね合わされる。
【0115】
方向の矢印5に加えて他の種類の仮想記号は、メモリ素子12、13、14、15に格納されてもよい。例えば、道路名、交通標識、制限速度、スピードカメラ、バス停、博物館、番地又は興味のある場所に関連するアイコンは、メモリ素子12、13、14、15に格納されてもよい。これら全ては、仮想記号が関連する実世界の特徴に対応する表示される映像における空間位置を使用してビデオ出力上に重ね合わされる。従って、ソフトウェアは、実世界の特徴に対する位置データを含んだ2D地図データをナビゲーションソフトウェアから取得でき、ビデオ出力において重ね合わされる場合に正確に配置されるようにする幾何学的変換を適用できる。
【0116】
更に別の例によると、パターン認識技術は、例えば他の車両又はトラック等の道路上の物体を認識するように更に構成されてもよい。そのようなオブジェクトが認識される場合、表示されるルート4は、図11に示すように点線で示されてもよい。これにより、ユーザが更に容易に解釈する画像が提供される。
【0117】
(第4の実施形態)
第4の実施形態によると、カメラ24からの出力、並びに位置矢印3、ルート4、矢印5、興味のある場所(名所)、道路、建物、例えばベクトルデータである地図データ等のナビゲーションディレクションは、重ね合わされないが組み合わされてディスプレイ18に示される。
【0118】
この組み合わせは、カメラ出力を表示する第1の部分と、ナビゲーションディレクションを表示する第2の部分とにディスプレイを分割することにより達成されてもよい。しかし、組み合わせが時間で実行されてもよい。すなわち、ナビゲーションデバイスは、カメラ出力及びナビゲーションディレクションを順に連続的に示すように構成されてもよい。これは、第1の期間に(例えば、2秒間)カメラ出力を示し、次に第2の期間に(例えば、2秒間)ナビゲーションディレクションを示すことにより達成されてもよい。しかし、ナビゲーションデバイスは、ユーザの要望に応じてカメラ出力とナビゲーションディレクションとを切り替えるオプションをユーザに提供してもよい。
【0119】
当然、2つ以上のカメラが使用されてもよい。ユーザは、第1のカメラ出力から第2のカメラ出力へ切り替えるオプションを提供されてもよい。ユーザは、ディスプレイ18上に2つ以上のカメラ出力を同時に表示することを選択してもよい。
【0120】
更に別の例によると、ユーザはズームイン又はズームアウトしてもよい。ズームアウトする場合、更に多くのナビゲーションデバイス10の環境がディスプレイ18上に表示されるようになる。ユーザは、例えば、図2に示すようなナビゲーションデバイス10の位置を含むヘリコプタービューを選択してもよいことが理解されるであろう。そのようなビューは、背後から見られるナビゲーションデバイス10(又は車両)の画像を提供する。当然、そのようなビューは、ナビゲーションデバイス10又は車両上に固定されたカメラにより提供されない。従って、ナビゲーションデバイス10は、図12に示すような画像の一部のみが地図データ及びナビゲーションディレクションにより囲まれたカメラビューである画像を提供してもよい。
【0121】
本発明の特定の実施形態を説明したが、本発明は上述した以外の方法で実現されてもよいことが理解されるであろう。例えば、本発明は、先に開示された方法を記述する機械可読命令の1つ以上のシーケンスを含むコンピュータプログラムの形態をとってもよく、あるいはそのようなコンピュータプログラムを格納したデータ記憶媒体(例えば、半導体メモリ、磁気ディスク又は光ディスク)の形態をとってもよい。任意のソフトウェアコンポーネントがハードウェアコンポーネントとして形成されてもよいことは、当業者には理解されるであろう。
【0122】
上記説明は、例示することを意図しており、限定することを意図しない。従って、以下の請求の範囲から逸脱せずに、説明された本発明に対して変形が行なわれてもよいことが当業者には明らかとなるであろう。
【図面の簡単な説明】
【0123】
【図1】ナビゲーションデバイスを概略的に示す概略ブロック図である。
【図2】ナビゲーションデバイスを概略的に示す概略図である。
【図3】本発明の一実施形態に関わるナビゲーションデバイスを概略的に示す概略ブロック図である。
【図4】本発明の一実施形態に関わるナビゲーションデバイスを具備する車両を概略的に示す図である。
【図5】本発明の一実施形態に関わるナビゲーションデバイスを概略的に示す図である。
【図6】本発明の一実施形態に関わるナビゲーションデバイスを概略的に示す図である。
【図7】本発明の一実施形態に関わるカメラを概略的に示す図である。
【図8a】カメラの異なる傾斜の結果として生じるディスプレイ上でのカメラ画像の異なる動きを概略的に示す図である。
【図8b】カメラの異なる傾斜の結果として生じるディスプレイ上でのカメラ画像の異なる動きを概略的に示す図である。
【図9】本発明の一実施形態に関わるナビゲーションデバイス10の機能性を概略的に示すフローチャートである。
【図10】本発明の一実施形態に関わるナビゲーションデバイスを概略的に示す図である。
【図11】本発明の一実施形態に関わるナビゲーションデバイスを示す図である。
【図12】本発明の更なる実施形態に関わるナビゲーションデバイスを示す図である。
【特許請求の範囲】
【請求項1】
ナビゲーションディレクション(3、4、5)をディスプレイ(18)上に表示するように構成されるナビゲーションデバイス(10)であって、
前記ナビゲーションデバイス(10)は、カメラ(24)から出力を受信するように更に構成され、前記ナビゲーションデバイス(10)は、前記カメラ(24)からの出力のカメラ画像と前記ディスプレイ(18)上の前記ナビゲーションディレクション(3、4、5)との組合せを表示するように構成される
ことを特徴とするナビゲーションデバイス。
【請求項2】
前記カメラは、前記ナビゲーションデバイスと一体構成される
請求項1記載のナビゲーションデバイス。
【請求項3】
前記ナビゲーションディレクションは、ハードディスク(12)、読み出し専用メモリ(13)、電気的消去可能プログラマブルROM(14)及びランダムアクセスメモリ(15)等の少なくとも1つの記憶装置に格納される位置矢印(3)、ルート(4)、矢印(5)、興味のある場所(名所)、道路、建物、ベクトルデータ等の地図データのうちの1つ以上である
請求項1又は2記載のナビゲーションデバイス。
【請求項4】
前記ナビゲーションディレクション(3、4、5)の位置が前記カメラ画像の対応する部分に対して所定の空間関係になるように、前記カメラ画像上に前記ナビゲーションディレクション(3、4、5)を重ね合わせるように更に構成される
請求項1から3のいずれか1項に記載のナビゲーションデバイス。
【請求項5】
前記ナビゲーションデバイス(10)は、処理ユニット(11)、位置決め装置(23)及び姿勢センサ(23、27、28)を具備し、前記位置決め装置(23)及び前記姿勢センサ(27、28)は、前記処理ユニット(11)と通信するように構成され、
前記処理ユニット(11)は、前記カメラ(24)及び/又は前記ナビゲーションデバイス(10)の位置及び姿勢を計算するために、前記位置決め装置(23)及び前記姿勢センサ(23、27、28)からの読み取り値を使用するように構成され、
前記カメラ(24)及び/又は前記ナビゲーションデバイス(10)の位置及び姿勢は、前記ディスプレイ(18)上の前記ナビゲーションディレクションの位置に基づき前記処理ユニットにより計算される
請求項1から4のいずれか1項に記載のナビゲーションデバイス。
【請求項6】
前記位置決め装置(23)は、GPS、欧州のガリレオシステム又は任意の他のグローバルナビゲーションサテライトシステム等の位置検知技術、あるいは地上ビーコンに基づく位置検知技術を使用して地理的な場所を判定する
請求項5記載のナビゲーションデバイス。
【請求項7】
前記処理ユニット(11)は、時間的に連続するポイントにおいて前記位置決め装置(23)により判定される前記カメラ(24)及び/又は前記ナビゲーションデバイス(10)の前記位置を比較することにより、使用中に略垂直である第1の回転軸(C)に対する前記カメラ(24)の前記姿勢を計算する
請求項5又は6記載のナビゲーションデバイス。
【請求項8】
前記ナビゲーションデバイス(10)は、コンパスの読み取り値を前記処理ユニット(11)に提供するコンパスを具備し、
前記処理ユニット(11)は、前記コンパスの読み取り値に基づいて使用中に略垂直である第1の回転軸(C)に対する前記カメラ(24)の前記姿勢を計算するように構成される
請求項5又は6記載のナビゲーションデバイス。
【請求項9】
前記姿勢センサは、第2の回転軸及び第3の回転軸に対する前記カメラ(24)の前記姿勢を判定するための傾斜センサ(27、28)を具備し、前記第2の回転軸及び前記第3の回転軸は、使用中に略水平である
請求項5から8のいずれか1項に記載のナビゲーションデバイス。
【請求項10】
前記処理ユニット(11)は、前記ナビゲーションディレクション(3、4、5)の前記位置が前記カメラ画像の対応する部分に対して所定の空間関係になるように前記カメラ画像上に前記ナビゲーションディレクション(3、4、5)を重ね合わせるためにパターン認識技術を使用する
請求項1から9のいずれか1項に記載のナビゲーションデバイス。
【請求項11】
前記ナビゲーションデバイスは、前記パターン認識技術のための入力として地図データを使用する
請求項10記載のナビゲーションデバイス。
【請求項12】
前記処理ユニット(11)は、カメラ出力における振動を補償するためにステディカム技術を使用する
請求項1から11のいずれか1項に記載のナビゲーションデバイス。
【請求項13】
前記ナビゲーションデバイス(10)は、校正修正を受信し、それら校正修正を格納し、前記ナビゲーションディレクション(3、4、5)及び前記カメラ画像を組み合わせる時に前記校正修正を適用するように構成される
請求項1から12のいずれか1項に記載のナビゲーションデバイス。
【請求項14】
前記ナビゲーションデバイスは、カメラ設定を受信又は読み込み且つ前記カメラ設定を使用して前記ディスプレイ(18)上の前記ナビゲーションディレクション(3、4、5)の前記位置を計算するように構成される
請求項1から13のいずれか1項に記載のナビゲーションデバイス。
【請求項15】
前記ナビゲーションデバイス(10)は、2つ以上のカメラ(24)から出力を受信するように更に構成され、
前記ナビゲーションデバイス(10)は、前記ディスプレイ(18)上に表示される前記出力の1つを選択するように構成される
請求項1から14のいずれか1項に記載のナビゲーションデバイス。
【請求項16】
前記カメラ(24)は、人間の目に可視である電磁スペクトルの範囲外の電磁放射を感知可能である
請求項1から15のいずれか1項に記載のナビゲーションデバイス。
【請求項17】
前記カメラ(24)は、赤外線カメラである
請求項16記載のナビゲーションデバイス。
【請求項18】
前記カメラ(24)は、ズームイン及び/又はズームアウトするように構成される
請求項1から17のいずれか1項に記載のナビゲーションデバイス。
【請求項19】
前記カメラは、前記ナビゲーションデバイス/車両の速度に依存してズームイン又はズームアウトするように
構成される請求項18記載のナビゲーションデバイス。
【請求項20】
請求項1から19のいずれか1項に記載のナビゲーションデバイス(10)を具備するダッシュボード。
【請求項21】
請求項1から20のいずれか1項に記載のナビゲーションデバイス(10)を具備する車両。
【請求項22】
前記車両は、前記車両の傾斜を判定するために車両傾斜センサ(30)を具備し、前記ナビゲーションデバイス(10)に車両傾斜読み取り値を提供する
請求項21記載の車両。
【請求項23】
ナビゲーションディレクション(3、4、5)をディスプレイ(18)上に表示することを含むナビゲーションディレクションの提供方法であって、
−カメラ(24)から出力を受信することと、
−前記カメラ(24)からの出力のカメラ画像と前記ナビゲーションディレクション(3、4、5)との組合せを前記ディスプレイ(18)上に表示することと
を含むことを特徴とする方法。
【請求項24】
コンピュータ構成にロードされた時に請求項23記載の方法を実行するように構成されるコンピュータプログラム。
【請求項25】
請求項24記載のコンピュータプログラムを含むデータ記憶媒体。
【請求項1】
ナビゲーションディレクション(3、4、5)をディスプレイ(18)上に表示するように構成されるナビゲーションデバイス(10)であって、
前記ナビゲーションデバイス(10)は、カメラ(24)から出力を受信するように更に構成され、前記ナビゲーションデバイス(10)は、前記カメラ(24)からの出力のカメラ画像と前記ディスプレイ(18)上の前記ナビゲーションディレクション(3、4、5)との組合せを表示するように構成される
ことを特徴とするナビゲーションデバイス。
【請求項2】
前記カメラは、前記ナビゲーションデバイスと一体構成される
請求項1記載のナビゲーションデバイス。
【請求項3】
前記ナビゲーションディレクションは、ハードディスク(12)、読み出し専用メモリ(13)、電気的消去可能プログラマブルROM(14)及びランダムアクセスメモリ(15)等の少なくとも1つの記憶装置に格納される位置矢印(3)、ルート(4)、矢印(5)、興味のある場所(名所)、道路、建物、ベクトルデータ等の地図データのうちの1つ以上である
請求項1又は2記載のナビゲーションデバイス。
【請求項4】
前記ナビゲーションディレクション(3、4、5)の位置が前記カメラ画像の対応する部分に対して所定の空間関係になるように、前記カメラ画像上に前記ナビゲーションディレクション(3、4、5)を重ね合わせるように更に構成される
請求項1から3のいずれか1項に記載のナビゲーションデバイス。
【請求項5】
前記ナビゲーションデバイス(10)は、処理ユニット(11)、位置決め装置(23)及び姿勢センサ(23、27、28)を具備し、前記位置決め装置(23)及び前記姿勢センサ(27、28)は、前記処理ユニット(11)と通信するように構成され、
前記処理ユニット(11)は、前記カメラ(24)及び/又は前記ナビゲーションデバイス(10)の位置及び姿勢を計算するために、前記位置決め装置(23)及び前記姿勢センサ(23、27、28)からの読み取り値を使用するように構成され、
前記カメラ(24)及び/又は前記ナビゲーションデバイス(10)の位置及び姿勢は、前記ディスプレイ(18)上の前記ナビゲーションディレクションの位置に基づき前記処理ユニットにより計算される
請求項1から4のいずれか1項に記載のナビゲーションデバイス。
【請求項6】
前記位置決め装置(23)は、GPS、欧州のガリレオシステム又は任意の他のグローバルナビゲーションサテライトシステム等の位置検知技術、あるいは地上ビーコンに基づく位置検知技術を使用して地理的な場所を判定する
請求項5記載のナビゲーションデバイス。
【請求項7】
前記処理ユニット(11)は、時間的に連続するポイントにおいて前記位置決め装置(23)により判定される前記カメラ(24)及び/又は前記ナビゲーションデバイス(10)の前記位置を比較することにより、使用中に略垂直である第1の回転軸(C)に対する前記カメラ(24)の前記姿勢を計算する
請求項5又は6記載のナビゲーションデバイス。
【請求項8】
前記ナビゲーションデバイス(10)は、コンパスの読み取り値を前記処理ユニット(11)に提供するコンパスを具備し、
前記処理ユニット(11)は、前記コンパスの読み取り値に基づいて使用中に略垂直である第1の回転軸(C)に対する前記カメラ(24)の前記姿勢を計算するように構成される
請求項5又は6記載のナビゲーションデバイス。
【請求項9】
前記姿勢センサは、第2の回転軸及び第3の回転軸に対する前記カメラ(24)の前記姿勢を判定するための傾斜センサ(27、28)を具備し、前記第2の回転軸及び前記第3の回転軸は、使用中に略水平である
請求項5から8のいずれか1項に記載のナビゲーションデバイス。
【請求項10】
前記処理ユニット(11)は、前記ナビゲーションディレクション(3、4、5)の前記位置が前記カメラ画像の対応する部分に対して所定の空間関係になるように前記カメラ画像上に前記ナビゲーションディレクション(3、4、5)を重ね合わせるためにパターン認識技術を使用する
請求項1から9のいずれか1項に記載のナビゲーションデバイス。
【請求項11】
前記ナビゲーションデバイスは、前記パターン認識技術のための入力として地図データを使用する
請求項10記載のナビゲーションデバイス。
【請求項12】
前記処理ユニット(11)は、カメラ出力における振動を補償するためにステディカム技術を使用する
請求項1から11のいずれか1項に記載のナビゲーションデバイス。
【請求項13】
前記ナビゲーションデバイス(10)は、校正修正を受信し、それら校正修正を格納し、前記ナビゲーションディレクション(3、4、5)及び前記カメラ画像を組み合わせる時に前記校正修正を適用するように構成される
請求項1から12のいずれか1項に記載のナビゲーションデバイス。
【請求項14】
前記ナビゲーションデバイスは、カメラ設定を受信又は読み込み且つ前記カメラ設定を使用して前記ディスプレイ(18)上の前記ナビゲーションディレクション(3、4、5)の前記位置を計算するように構成される
請求項1から13のいずれか1項に記載のナビゲーションデバイス。
【請求項15】
前記ナビゲーションデバイス(10)は、2つ以上のカメラ(24)から出力を受信するように更に構成され、
前記ナビゲーションデバイス(10)は、前記ディスプレイ(18)上に表示される前記出力の1つを選択するように構成される
請求項1から14のいずれか1項に記載のナビゲーションデバイス。
【請求項16】
前記カメラ(24)は、人間の目に可視である電磁スペクトルの範囲外の電磁放射を感知可能である
請求項1から15のいずれか1項に記載のナビゲーションデバイス。
【請求項17】
前記カメラ(24)は、赤外線カメラである
請求項16記載のナビゲーションデバイス。
【請求項18】
前記カメラ(24)は、ズームイン及び/又はズームアウトするように構成される
請求項1から17のいずれか1項に記載のナビゲーションデバイス。
【請求項19】
前記カメラは、前記ナビゲーションデバイス/車両の速度に依存してズームイン又はズームアウトするように
構成される請求項18記載のナビゲーションデバイス。
【請求項20】
請求項1から19のいずれか1項に記載のナビゲーションデバイス(10)を具備するダッシュボード。
【請求項21】
請求項1から20のいずれか1項に記載のナビゲーションデバイス(10)を具備する車両。
【請求項22】
前記車両は、前記車両の傾斜を判定するために車両傾斜センサ(30)を具備し、前記ナビゲーションデバイス(10)に車両傾斜読み取り値を提供する
請求項21記載の車両。
【請求項23】
ナビゲーションディレクション(3、4、5)をディスプレイ(18)上に表示することを含むナビゲーションディレクションの提供方法であって、
−カメラ(24)から出力を受信することと、
−前記カメラ(24)からの出力のカメラ画像と前記ナビゲーションディレクション(3、4、5)との組合せを前記ディスプレイ(18)上に表示することと
を含むことを特徴とする方法。
【請求項24】
コンピュータ構成にロードされた時に請求項23記載の方法を実行するように構成されるコンピュータプログラム。
【請求項25】
請求項24記載のコンピュータプログラムを含むデータ記憶媒体。
【図1】
【図2】
【図3】
【図4】
【図7】
【図8a】
【図8b】
【図9】
【図5】
【図6】
【図10】
【図11】
【図12】
【図2】
【図3】
【図4】
【図7】
【図8a】
【図8b】
【図9】
【図5】
【図6】
【図10】
【図11】
【図12】
【公表番号】特表2008−542746(P2008−542746A)
【公表日】平成20年11月27日(2008.11.27)
【国際特許分類】
【出願番号】特願2008−514570(P2008−514570)
【出願日】平成17年6月6日(2005.6.6)
【国際出願番号】PCT/NL2005/000405
【国際公開番号】WO2006/132522
【国際公開日】平成18年12月14日(2006.12.14)
【出願人】(307043223)トムトム インターナショナル ベスローテン フエンノートシャップ (144)
【Fターム(参考)】
【公表日】平成20年11月27日(2008.11.27)
【国際特許分類】
【出願日】平成17年6月6日(2005.6.6)
【国際出願番号】PCT/NL2005/000405
【国際公開番号】WO2006/132522
【国際公開日】平成18年12月14日(2006.12.14)
【出願人】(307043223)トムトム インターナショナル ベスローテン フエンノートシャップ (144)
【Fターム(参考)】
[ Back to top ]