ナビゲーションデータを三次元で表示する方法
本発明は、プロセッサ（１１）およびプロセッサ（１１）にアクセス可能であるメモリ（１２、１３、１４、１５）を備えるコンピュータ装置（１０）に関する。メモリ（１２、１３、１４、１５）は、プロセッサ（１１）に、（ａ）表示されるべき画像を取得させる、（ｂ）画像に関する深さ情報を取得させる、（ｃ）深さ情報を使用して画像における少なくとも１つの領域を識別させる、（ｄ）少なくとも１つの識別された領域に対する表示モードを選択させる、ように構成されたデータおよび命令を備えるコンピュータプログラムを備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ナビゲーション目的で画像を生成するコンピュータ装置、方法、前記コンピュータ装置にそのようの方法を実行させることを許可し、コンピュータ装置によってロードされ得るデータおよび命令を備えるコンピュータプログラム、およびそのようなコンピュータプログラムを備えるデータ記憶媒体に関する。
【背景技術】
【０００２】
ナビゲーションシステムは過去２０年でより大衆的となっている。長年に渡って、これらのシステムは、道路のセンターラインの単純な幾何学的表示から、ユーザをナビゲートするのを補助するために現実世界の現実的な画像／写真の提供へと進化してきた。
【０００３】
米国のフィリップス・コーポレーション（Ｕ.Ｓ. Ｐｈｉｌｉｐｓ Ｃｏｒｐ）による米国特許第５１１５３９８号明細書は、画像ピックアップ部、例えば車載のビデオカメラ、により生成されるローカル車両環境の前方画像を生成する工程を備えるナビゲーションデータを表示する方法およびシステムを記述している。撮像された画像は表示部に表示される。移動方向を示すナビゲーションデータから形成される指示信号がその表示された画像に重ね合わされる。組み合わせモジュールが、表示部に表示される組み合わせ信号を形成するようにその指示信号およびその環境の画像を組み合わせるために提供される。
【０００４】
トムトム・インターナショナル・べステーロン・フエンノートシャップ（ＴｏｍＴｏｍ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｂ. Ｖ.）による国際公開第２００６１３２５２２号もナビゲーション命令をカメラ画像に重ね合わせることを記述している。重ね合わされたナビゲーション命令の所在地とカメラ画像とを合致させるために、パターン認識技術が使用される。ナビゲーション情報を重ね合わせる代替方法が欧州特許出願公開第１７５１４９９号明細書に記述されている。
【０００５】
米国特許第６２８５３１７号明細書は、ローカル・シーン（ｌｏｃａｌ ｓｃｅｎｅ）の上にオーバーレイとして表示される方向情報を生成するように構成される移動車両のためのナビゲーションシステムを記述している。ローカル・シーンの情報プロバイダ、例えば移動車両に車載した使用に適応したビデオカメラによって、ローカル・シーンが提供されてもよい。ビデオカメラを調整することによって、すなわち、カメラの視覚を決定し、ある倍率によって所望の表示画面を有する投影スクリーン上に投影される全てのポイントを縮尺することによって、ローカル・シーンに方向情報がマッピングされる。また、自動車に取り付けられたカメラの地面に対する高さが測定され、それに応じて三次元ナビゲーションソフトウェアにおける視点の高さが変更される。この手順はかなり煩わしいことが理解されるだろう。また、このナビゲーションシステムは、カメラによって撮像されたローカル・シーン中に含まれる、他の車両等の、オブジェクトを処理することはできない。先行技術によれば、例えば、カメラによって撮像された画像にパターン認識技術を使用することによって、ユーザに、ナビゲーション目的の機能強化された透視画像を提供するために、比較的大型のコンピュータの処理能力が必要とされる。
【発明の概要】
【０００６】
本発明の目的は、上で認識された問題のうち少なくとも１つを取り除く方法およびコンピュータ装置を提供することである。
【０００７】
ある側面によれば、プロセッサおよび前記プロセッサにアクセス可能であるメモリを備えるコンピュータ装置が提供され、前記メモリは、前記プロセッサに，（ａ）表示されるべき画像を取得させる、（ｂ）前記画像に関する深さ情報を取得させる、（ｃ）深さ情報を使用して前記画像における少なくとも１つの領域を識別させる、（ｄ）少なくとも１つの識別された領域に対する表示モードを選択させる、ことを可能にするように構成されたデータおよび命令を備えるコンピュータプログラムを備える。
【０００８】
ある側面によれば、（ａ）表示されるべき画像を取得する工程、（ｂ）前記画像に関する深さ情報を取得する工程、（ｃ）深さ情報を使用して前記画像における少なくとも１つの領域を識別する工程、（ｄ）少なくとも１つの識別された領域に対する表示モードを選択する工程（例として、以下を参照されたい）を備える、ナビゲーション目的の画像を生成する方法が提供される。
【０００９】
ある側面によれば、コンピュータ装置にそのようの方法を実行させることを許可し、前記コンピュータ装置によってロードされ得るデータおよび命令を備えるコンピュータプログラムが提供される。
【００１０】
ある側面によれば、そのようなコンピュータプログラムを備えるデータ記憶媒体が提供される。実施形態は、高性能且つコンピュータの時間を消費するパターン認識技術を使用する必要なしに、ナビゲーション情報を画像に重ね合わせるための簡便に適用可能な解決策を提供する。実施形態は、より良く解釈可能な組み合わせ画像を提供するために、他の車両、歩行者、および同様のもの等の、画像中に含まれる一時的なオブジェクトを考慮に入れることをさらに提供する。
【図面の簡単な説明】
【００１１】
本発明は、本発明の実施形態を示すことのみが意図されるが、その範囲を限定するものではない、いくつかの図面を参照して詳細に説明されるだろう。本発明の範囲は、付属の請求項およびその技術的均等物によって定義される。
【図１】図１は、コンピュータ装置を概略的に描写する。
【図２】図２は、実施形態に従ったフロー図を概略的に描写する。
【図３ａ】、
【図３ｂ】図３ａおよび３ｂは、実施形態に従った画像および深さ情報を概略的に描写する。
【図４】図４は、実施形態に従ったフロー図を概略的に描写する。
【図５ａ】、
【図５ｂ】、
【図６ａ】、
【図６ｂ】、
【図７ａ】、
【図７ｂ】、
【図８ａ】、
【図８ｂ】、
【図９】図５ａ、５ｂ、６ａ、６ｂ、７ａ、７ｂ、８ａ、８ｂおよび９は組み合わせ画像を概略的に描写する。
【図１０ａ】、
【図１０ｂ】図１０ａおよび１０ｂは、実施形態をさらに説明するための画像を示す。
【発明を実施するための形態】
【００１２】
以下で提供される実施形態は、ナビゲーション目的のためにユーザに機能強化された画像を提供する方法を記述する。画像は、ユーザを正しい方向に向かわせナビゲートするのを補助する、機能強化された方法で示される、交通状況または道路ネットワークの一部を示してもよい。
【００１３】
画像は、例えばあるナビゲーション情報を画像における特定の領域に重ね合わせることによって、または、画像のいくつかの領域を異なる色設定で表示することによって、機能強化されてもよい。さらなる例が以下で記述されるだろう。一般に、機能強化された画像は、画像の異なる領域を異なる表示モードで表示することによって創出される。このように、ナビゲーション命令またはナビゲーション情報をユーザに与えるより直観的な方法が取得され得る。
【００１４】
画像における異なる領域を異なる表示モードで表示するために、これらの異なる領域がまず識別される必要がある。実施形態によれば、これは、特定の画像に関する深さ画像情報（三次元情報）を取得することによって達成される。深さ情報は異なる領域を識別するために使用され、また、画像にマッピングされる。領域は、交通標識、建物、他の車両、通行人に対応する。ひとたび異なる領域が識別され且つ認識されると、異なる領域は、異なる表示モードで表示され得る。
【００１５】
深さ情報を使用することによって、複雑なパターン認識技術を画像に適用する必要がなくなる。このように、よりユーザフレンドリーな結果を取得する一方で、比較的重い計算が回避される。
【００１６】
コンピュータ装置
図１では、実施形態を実行するために適した、可能性があるコンピュータ装置１０の外観が与えられる。コンピュータ装置１０は算術演算を実行するためのプロセッサ１１を備える。
【００１７】
プロセッサ１１は、ハードディスク１２、読み出し専用メモリ（ＲＯＭ）１３、電気的消去可能ＲＯＭ（ＥＥＰＲＯＭ）１４、およびランダム・アクセス・メモリ（ＲＡＭ）１５を含む、複数のメモリ構成要素と接続される。これらのメモリの種類の全ては必ずしも備える必要はない。さらにその上、これらのメモリ構成要素は、物理的にプロセッサ１１の近くに位置している必要はなく、プロセッサ１１から離れて配置されてもよい。プロセッサ１１は、キーボード１６、およびマウス１７のように、ユーザにより命令、データ等を入力する手段と接続されてもよい。当業者にとって既知である、タッチスクリーン、トラックボール、および／または音声変換器等の、他の入力手段も備えてもよい。
【００１８】
プロセッサ１１と接続された読み出し部１９が提供される。読み出し部１９は、フロッピー（登録商標）ディスク２０またはＣＤＲＯＭ２１のようなデータ記憶媒体からデータを読み出し、場合によってはそのデータ記憶媒体にデータを書き込むように、構成される。他のデータ記憶媒体は、当業者にとって既知であるように、テープ、ＤＶＤ、ＣＤ−Ｒ，ＤＶＤ−Ｒ、メモリースティック等であってもよい。
【００１９】
プロセッサ１１は、ディスプレイ１８、例えばモニターまたはＬＣＤ（液晶ディスプレイ）スクリーン、または当業者にとって既知である他の種類のディスプレイと接続されるだけではなく、出力データを紙にプリントするプリンタ２３とも接続される。プロセッサ１１は、スピーカ２９と接続されてもよい。
【００２０】
コンピュータ装置１０は、以下でより詳細に説明されるように、フォトカメラ、ビデオカメラ、三次元カメラ等の、カメラＣＡをさらに備えてもよく、または、カメラＣＡと通信するように構成されてもよい。コンピュータ装置１０は、プロセッサ１１による使用のための現在位置等についての位置情報を決定する測位システムＰＳをさらに備えてもよい。測位システムＰＳは、以下のうち１つ以上を備えてもよい。
【００２１】
・ＧＰＳ（グローバル・ポジショニング・システム）部等の全地球的航法衛星システム（ＧＮＳＳ）。
【００２２】
・１つ以上のホイール２の回転数を感知することによって自動車が移動した距離を測定するオドメータ（走行距離計）等のＤＭＩ（距離測定機器）。
【００２３】
・回転加速度を測定するように構成された３つのジャイロ部、および、３つの直交方向に沿った３つの並進加速装置等の、ＩＭＵ（慣性計測装置）。
【００２４】
プロセッサ１１は、入力／出力手段２５によって、ネットワーク２７、例えば公衆交換電話網（ＰＳＴＮ）、ローカル・エリア・ネットワーク（ＬＡＮ）、ワイド・エリア・ネットワーク（ＷＡＮ）、インターネット等と接続されてもよい。プロセッサ１１は、ネットワーク２７を介して他の通信装置と通信するように構成されてもよい。これらの接続は、車両はストリートを縦断する間にデータを収集するので、リアルタイムに全てが接続されていないかもしれない。
【００２５】
データ記憶媒体２０、２１は、実施形態に従った方法を実行する機能をプロセッサに提供するように構成されたデータおよび命令の形式でコンピュータプログラムを備えてもよい。しかしながら、そのようなコンピュータプログラムは、あるいは、通信ネットワーク２７を介してダウンロードされてもよい。プロセッサ１１は、スタンドアロン（独立型）システムとして、または、大型コンピュータのサブタスクを実行するようにそれぞれが構成された複数の並行動作プロセッサとして、実施されてもよい。本発明の機能の一部は、ネットワーク２７を介してプロセッサ１１と通信する遠隔プロセッサによって実行されてもよい。自動車の中で適用される場合、コンピュータ装置１０は図１に示される全ての構成要素を有する必要がないことが観察される。例えば、その場合コンピュータ装置１０はスピーカおよびプリンタを有する必要はない。自動車の中での実施に関する限り、コンピュータ装置１０は少なくとも、プロセッサ１１、適当なプログラムを格納するいくつかのメモリ１２、１３、１４，１５、および操作者から命令およびデータを受信し、操作者に出力データを示すいくつかの種類のインタフェースを備えてもよい。
【００２６】
このコンピュータ装置１０はナビゲーション装置として機能するように構成されてもよいことが理解されるだろう。
【００２７】
カメラ／深さセンサ
この文脈で使用される画像という用語は、交通状況の、写真等の、画像に言及している。これらの画像は、フォトカメラまたはビデオカメラ等の、カメラＣＡを使用することによって取得されてもよい。カメラＣＡはナビゲーション装置の一部であってもよい。しかしながら、カメラＣＡはナビゲーション装置から離れて提供されてもよく、ナビゲーション装置と通信するように構成されてもよい。ナビゲーション装置は、画像を撮像するためにカメラＣＡに命令を送信するように構成されてもよく、カメラＣＡからそのような画像を受信するように構成されてもよい。同時に、カメラＣＡはナビゲーション装置から命令を受信するとすぐに画像を撮像し、この画像をナビゲーション装置に送信するように構成されてもよい。カメラＣＡおよびナビゲーション装置は、通信するために、例えばブルートゥースを使用して、通信リンクをセットアップするように構成されてもよい。
【００２８】
カメラＣＡは、画像および深さ情報を撮像するように構成されている三次元カメラ３ＣＡであってもよい。三次元カメラ３ＣＡは、例えば、２つのレンズシステム、および、処理部を備えるステレオカメラ（立体視）であってもよい。そのようなステレオカメラは、異なる透視ポイントから撮られたおおよそ同じ画像を提供して、同時に２つの画像を撮像してもよい。この差異は、深さ情報を計算する処理部によって使用され得る。三次元カメラ３ＣＡの使用は、画像および深さ情報を同時に提供し、深さ情報は実質的に画像の全ての画素に対して適用可能である。
【００２９】
さらなる実施形態によれば、カメラＣＡは単一のレンズシステムを備えるが、一連の画像を解析することによって深さ情報を読み出す。カメラＣＡは、連続した時間に少なくとも２つの画像を撮像するように構成され、各画像は、異なる透視ポイントから撮られたおおよそ同じ画像を提供する。この場合も先と同様に、視点の差異は、深さ情報を計算するために使用され得る。これを行うために、ナビゲーション装置は、異なる画像間の視点の差異を計算するために測位システムからの位置情報を使用する。この実施形態は、この場合も先と同様に、画像および深さ情報を同時に提供し、深さ情報は、実質的に画像の全ての画素に対して利用可能である。さらなる実施形態によれば、深さ情報は、ナビゲーション装置を備える、または、深さ情報をナビゲーション装置に提供するように構成された、１つ以上のスキャナまたはレーザスキャナ（不図示）等の深さセンサを使用することによって取得される。レーザスキャナ３（ｊ）は、周囲に関する深さ情報を備える、レーザサンプルを得、建築用ブロック、木、交通標識、停車中の自動車、人々等に関する深さ情報を含んでもよい。
【００３０】
レーザスキャナ３（ｊ）は、マイクロプロセッサμＰとも接続されてもよく、これらのレーザサンプルをマイクロプロセッサμＰへ送信してもよい。カメラは、例えば飛行機または衛星から撮られた航空画像も生成してもよい。これらの画像は、垂直下方ビューを提供してもよく、または、角度のある下方ビューを提供してもよく、すなわち、透視ビューまたは鳥瞰ビューを提供してもよい。
【００３１】
図３ａは、画像の例を示し、図３ｂは対応する深さ情報の例を示す。深さ情報は、図３ａに示される画像に対応している。図３ａおよび３ｂに示される画像および深さ情報は、三次元カメラを使用して取得されるが、通常のカメラ、または、カメラおよび適切に統合されたレーザスキャナまたはレーダの組み合わせ、を使用して取得された、一連の画像を解析することによって取得されてもよい。図３ａおよび３ｂに示されるように、これは必要条件ではないことが理解されるけれども、実質的にそれぞれの画像の画素に対して深さ情報が利用可能である。
【００３２】
実施形態
ある実施形態によれば、プロセッサ１１およびプロセッサ１１へアクセス可能なメモリ１２、１３、１４、１５を備えるコンピュータ装置１０が提供され、メモリ１２、１３、１４、１５は、プロセッサ１１に、（ａ）表示されるべき画像を取得させる、（ｂ）その画像に関する深さ情報を取得させる、（ｃ）その深さ情報を使用してその画像における少なくとも１つの領域を識別させる、（ｄ）少なくとも１つの識別された領域に対する表示モードを選択させる（例として以下を参照されたい）、ように構成されたデータおよび命令を備えるコンピュータプログラムを備える。
【００３３】
実施形態は、（ｅ）機能強化された画像を生成すること、をさらに備える。
【００３４】
この後に、機能強化された画像はディスプレイ１８に表示されてもよい。ここで記述されるアクションは、ループで実行されてもよく、すなわち、予め定められた時間間隔で、または、ある動きが検出された後またはある距離が移動した後に、等の予め定められた時間で繰り返されてもよいことが理解されるだろう。ループは、拡張された画像が十分に更新されることを確実にするかもしれない。
【００３５】
実際、画像はビデオ供給の一部であってもよい。その場合、アクションは、滑らかで一貫したビューをユーザに提供するために少なくとも十分な頻度で、そのビデオ供給のそれぞれの新しい画像に対して実行されてもよい。
【００３６】
コンピュータ装置１０は、手持ちサイズのコンピュータ装置、ナビゲーション装置、携帯電話、パームトップ・コンピュータ装置、ラップトップ・コンピュータ装置、（車両に内蔵された）内蔵型ナビゲーション装置、デスクトップ・コンピュータ装置等のあらゆる種類のコンピュータ装置であってもよい。
【００３７】
実施形態は、出発地から目的地まで、ナビゲーション方向をユーザに提供するナビゲーション装置に関し、現在位置をユーザに示すように、または、世界の特定の一部のビュー（例えば、グーグルマップ）を提供するように、構成されるナビゲーション装置にも関する。
【００３８】
従って、（ａ）表示されるべき画像を取得する工程、（ｂ）その画像に関する深さ情報を取得する工程と、（ｃ）深さ情報を使用して画像における少なくとも１つの領域を識別する工程、（ｄ）少なくとも１つの識別された領域に対する表示モードを選択する工程（例として、以下を参照されたい）を備える、ナビゲーション目的の画像を生成する方法に関する実施形態が提供される。実施形態は、（ｅ）機能強化された画像を生成する工程を備えてもよい。
【００３９】
この後に、機能強化された画像はディスプレイ１８に表示されてもよい。アクション（ａ）、（ｂ）、（ｃ）、（ｄ）、（ｅ）は、以下でより詳細に説明される。異なるアクションを実行する順序は、可能であれば変更してもよいことが理解されるだろう。
【００４０】
記述される実施形態は、そのような方法を実行するように構成されたコンピュータ装置１０に関し、そのような方法の機能をユーザに提供するウェブベースのナビゲーションツール（グーグルマップまたは同様のもの）等のソフトウェアツールにも関する。
【００４１】
アクション（ａ）
アクション（ａ）は、表示されるべき画像を取得する工程を備える。
【００４２】
画像は、例えば交通状況を示す、世界の一部の写真であってもよい。上で説明されるように、画像はフォトカメラまたはビデオカメラ等のカメラＣＡを使用することによって取得されてもよい。カメラＣＡは、コンピュータ装置１０（例えば、ナビゲーション装置）の一部であってもよく、または、コンピュータ装置１０が画像を受信し得る遠隔カメラＣＡであってもよい。
【００４３】
遠隔カメラＣＡの例は、例えば航空画像を提供する衛星または航空機に取り付けられたカメラである。これらの画像は、垂直下方ビューを提供してもよく、または、角度のある下方ビュー、すなわち、透視ビューまたは鳥瞰ビューを提供してもよい。
【００４４】
遠隔カメラＣＡの別の例は、車両に（例えば車両の正面に）内蔵されたカメラであり、または、道路の側面に沿って配置されたカメラである。そのようなカメラは、適切な通信リンク、例えばブルートゥースまたはインターネットベースの通信リンク、を使用して、例えばコンピュータ装置１０と通信してもよい。カメラは、画像および深さ情報を撮像するように構成されている三次元カメラ３ＣＡであってもよく、深さ情報はアクション（ｂ）で使用され得る。
【００４５】
画像は、コンピュータ装置１０によって備えられるメモリ１２、１３、１４、１５から、または、コンピュータ装置１０がそこから画像を取得するように構成される遠隔メモリから、も取得されてもよい。そのような遠隔メモリは、ブルートゥースまたはインターネットベースの通信リンク等の、適切な通信リンクを使用して、例えばコンピュータ装置１０と通信してもよい。
【００４６】
（遠隔）メモリに格納された画像は、コンピュータ装置１０に、例えば位置センサからの位置情報に基づいて正確な画像を選択させることを可能にする、位置および方向を関連付けていてもよい。そこで、ある実施形態によれば、コンピュータ装置は、画像を取得するように構成されたカメラＣＡを備える。
【００４７】
さらなる実施形態によれば、プロセッサ１１は、
−遠隔カメラ、
−メモリ１２、１３、１４、１５、
−遠隔メモリ、
のうちの１つから画像を取得するように構成される。
【００４８】
アクション（ｂ）
アクション（ｂ）は、画像に関して深さ情報を取得する工程を備える。コンピュータ装置１０は、異なる透視ポイントから撮られた少なくとも２つの画像から深さ情報を計算するように構成されてもよい。これらの少なくとも２つの画像は、上述したアクション（ａ）に従って取得されてもよく、従って、例えば（遠隔）カメラおよび（遠隔）メモリから取得されてもよい。
【００４９】
少なくとも２つの画像は、上で説明したような三次元カメラ（ステレオカメラ）から取得されてもよい。少なくとも２つの画像は、異なる透視ポイントから一連の画像を生成する単一のレンズのカメラから取得されてもよい。コンピュータ装置１０は、２つの画像を解析して深さ情報を取得するように構成されてもよい。
【００５０】
コンピュータ装置１０は、スキャナ、レーザセンサ、レーダ等の、上述のような深さセンサから深さ情報を取得するようにも構成されてもよい。
【００５１】
また、コンピュータ装置１０は、深さ情報を備えるデジタルマップデータベースから深さ情報を取得するように構成されてもよい。デジタルマップデータベースは、コンピュータ装置１０のメモリ１２、１３、１４、１５に格納された三次元マップデータベースであってもよく、または、コンピュータ装置１０によってアクセス可能な遠隔メモリに格納されてもよい。そのような三次元デジタルマップデータベースは、建物、交通標識、橋等のオブジェクトの所在地および形状についての情報を備えてもよい。この情報は深さ情報として使用されてもよい。従って、ある実施形態によれば、コンピュータ装置は、カメラによって取得される少なくとも２つの画像を解析することによって深さ情報を取得するように構成され、そのカメラはステレオカメラであってもよい。さらなる実施形態によれば、コンピュータ装置は深さ情報を取得するように構成されたスキャナを備える。また、コンピュータ装置はデジタルマップデータベースから深さ情報を取得するように構成されてもよい。
【００５２】
アクション（ｃ）
アクション（ｃ）は、深さ情報を使用して画像における少なくとも１つの領域を識別する工程を備える。画像における識別されるべき領域は、交通標識、建物、他の車両、通行人等に関する領域等の、画像内の異なるオブジェクトに関してもよい。これらのオブジェクトは、以下で説明されるように、別の表示モードでこれらに領域を表示することを可能にするために、識別され得る。
【００５３】
異なる種類の領域を識別するために、異なる領域識別ルールが採用されてもよい。例えば、交通標識を識別するために、識別ルールは、平らであり、実質的に道路と垂直であり、ある予め定められたサイズを有する、深さ情報における領域を検索していてもよい。同時に、他の車両を識別するために、識別ルールは、平らではなく、深さ情報に数メートルの変化を示し、ある予め定められたサイズを有する、領域を検索していてもよい。
【００５４】
異なる領域は、深さ情報を使用することによって比較的容易に識別されるかもしれないことがここでは留意される。しかしながら、画像に適用される画像認識技術も使用されてもよい。これらの画像に適用される画像認識技術は、
−深さ情報を使用した領域の識別に加えて、ここで両方の技術は独立して（順次または並行して）使用され、異なる結果がより良い最終結果を生成するために比較される、または、
−お互い共同して、
使用されてもよい。
【００５５】
この最後のオプションは、例えば、深さ情報を使用して、交通標識として最も可能性のある領域を識別する工程を含んでもよく、識別された領域が本当に交通標識を表すかどうかを決定するために、目的のはっきりした方法で従来の画像認識技術を画像に適用してもよい。
【００５６】
画像内の少なくとも１つの領域の識別は、深さ情報を使用することによって容易になることが留意されるべきである。画像に関する深さ情報を使用することによって、領域は、ただ画像それ自体が使用される場合よりもはるかに容易に識別され得る。実際、オブジェクト／領域はただ深さ情報を使用することによって、識別され得る。ひとたびオブジェクト／領域が深さ情報の範囲で識別されると、画像内の対応領域が、深さ情報を画像に単に合致させることによって識別され得る。
【００５７】
このマッチングは、深さ情報および画像の両方が類似のソース（カメラ）から撮られる場合に比較的容易である。しかしながら、もし異なるソースから撮られるなら、このマッチングは、較正アクションを適用することによって、または、画像に対応する視点および深さ情報に対応する視点の相互の方向および位置を使用していくつかの計算を実行することによっても実行され得る。
【００５８】
例として、深さ情報の使用無しに画像における交通標識を識別することを試みる場合、ある形状を有し且つある色を有する画像内の領域を認識するために、パターン認識技術が使用されるだろう。
【００５９】
深さ情報が使用される場合、交通標識は、実質的に同じ深さ情報（例えば８,５６ｍ）を有する画素の集合を、深さ情報で検索することによって、はるかに容易に識別され得、一方、その深さ情報でのその画素集合の周囲は、実質的により高い深さ情報（例えば３４,６２ｍ）を有する。
【００６０】
交通標識が深さ情報の範囲でひとたび識別されると、画像における対応する領域も容易に識別され得る。
【００６１】
深さ情報を使用して異なる領域を識別することは、多くの方法で行われ得、そのうちの１つは、深さ情報が可能性のある交通標識を識別するために使用される、以下の例によって説明されるだろう。
【００６２】
例えば、第１のアクションでは、ナビゲーション装置または道路からはるかに離れている全ての深さ情報画素が除去される。第２のアクションでは、平面オブジェクト、例えば、実質的に同じ距離（深さ値、例えば２８メートル）を有し、従って表面を提供する深さ情報画素の集合、を探索するために、残りの点で検索が実行されてもよい。
【００６３】
第３のアクションでは、識別された平面オブジェクトの形状が決定されてもよい。その形状が（円形、長方形、三角形等の）予め定められた形状に一致する場合、平面オブジェクトは交通標識として識別される。もしそうでないなら、その識別された平面オブジェクトは標識であるとは見なされない。
【００６４】
類似のアプローチは、他のオブジェクトを認識するために使用され得る。例えば、車両を認識するために、ある次元（高さ／幅）を有する点群に対して検索が行われてもよい。大規模建物（図１０ａ、１０ｂを参照されたい）の一部である店を認識するために、道路と直角であり、建物の外形の範囲内のある所在地にある平面オブジェクトに対して検索が行われてもよい。建物の範囲内のある所在地は、予めメモリに格納されてもよく、デジタルマップデータベースの一部であってもよい。
【００６５】
上述したように、深さ情報を使用した領域の識別に加えて、またはそれと共に、画像に適用される画像認識技術も実施されてもよい。画像に適用されるこれらの画像認識技術は、
−画像分割、
−パターン認識、
−形状を検出するための能動輪郭、
−形状係数、
等のあらゆる既知の適切なアルゴリズムを使用してもよい。
【００６６】
アクション（ｄ）
ある実施形態によれば、表示モードを選択する工程は、以下の表示モードのうち少なくとも１つから表示モードを選択する工程を備える。
【００６７】
−カラーモード、
−重ね合わせモード。
【００６８】
これらのモードは以下でより詳細に説明されるだろう。
【００６９】
カラーモード
画像における異なる領域は、異なるカラーモードで表示されてもよい。例えば、交通標識として識別された領域は輝かしいカラーモードで表示され得、一方、他の領域はつや消し処理をした（例えば、輝かしくないカラーを有する）表示モードで表示されてもよい。また、画像において識別された領域は、セピアカラーモードで表示されてもよく、一方、他の領域はフルカラーモードで表示されてもよい。あるいは、画像において識別された領域は、黒および白で表示されてもよく、一方、他の領域はフルカラーモードで表示されてもよい。カラーモードという用語は、黒および白の画像を表示する異なる方法にも言及する。例えば、１つの領域は、黒および白のみを使用して表示され、他の領域は、黒、白およびグレー調も使用して表示される。
【００７０】
もちろん、多くのバリエーションが考えられる。
【００７１】
実際、異なる領域に対して異なるカラーモードを適用することは、異なる領域に対して異なる表示パラメータを設定することによって、確立されてもよく、表示パラメータは、カラーパラメータ、明度、輝度、ＲＧＢ値等を含んでもよい。
【００７２】
重ね合わせモード
ある実施形態によれば、ナビゲーション情報が画像に重ね合わされる。ナビゲーション情報は、ナビゲーション情報が予め定められたオブジェクトとのある空間的な関係を画像内で有する方法で、重ね合わされる。これを行う方法の簡単な説明が最初に提供される。
【００７３】
ある実施形態によれば、プロセッサ１１およびプロセッサ１１にアクセス可能なメモリ１２、１３、１４、１５を備えるコンピュータ装置１０であって、メモリは、プロセッサ１１に、
（１）ナビゲーション情報を取得させる、
（２）ナビゲーション情報に対応する画像を取得させる、
（３）画像およびナビゲーション情報の少なくとも一部を表示させる、そのナビゲーション情報の少なくとも一部は画像に重ね合わされ、
ことを可能にするように構成されたデータおよび命令を備えるコンピュータプログラムを備え、プロセッサ１１は、
（２−１）画像に対応する深さ情報を取得し、深さ情報を使用してアクション（３）を実行することをさらに許可される。
【００７４】
コンピュータ装置１０は、図１を参照して上で説明されたコンピュータ装置と一致してもよい。コンピュータ装置１０は、手持ちサイズのまたは内蔵型のナビゲーション装置等の、ナビゲーション装置であってもよい。メモリはナビゲーション装置の一部であってもよく、遠隔に配置されてもよく、またはこの２つの可能性の組み合わせであってもよい。
【００７５】
従って、ナビゲーション情報を表示する方法が提供され、その方法は、
（１）ナビゲーション情報を取得する工程と、
（２）ナビゲーション情報に対応する画像を取得する工程と、（２−１）画像に対応する深さ情報を取得してアクション（３）を実行する工程と、
（３）少なくとも一部のナビゲーション情報が画像に重ね合わされる、画像およびナビゲーション情報の少なくとも一部を表示する工程と、を備える。その方法は必ずしもこの特定の順序で実行される必要はないことが理解されるだろう。
【００７６】
画像に加えて、
−ナビゲーション命令、
−デジタルマップデータベースの選択、
−名称、
−標識、
−道路配置、
−建物、
−建物の外観、
−駐車場、
−関心地点、
−インジケータ、
等のナビゲーション情報が表示されてもよい。
【００７７】
ナビゲーション情報は、実行されるべきあるターンまたは操作を示す矢印等のあらゆる種類のナビゲーション命令を備えてもよい。ナビゲーション情報は、移動方向に見られるような現在位置近傍を示す、選択のデジタルマップデータベースまたはレンダリングされた画像またはデータベースにおけるオブジェクト等の、選択のデジタルマップデータベースをさらに備えてもよい。デジタルマップデータベースは、ストリートの名称、都市名等の名称を備えてもよい。ナビゲーション情報は標識、例えば、交通標識（停止標識、ストリート標識）の表現または広告パネルを示す絵文字、も備えてもよい。さらにその上、ナビゲーション情報は、場合により、車線、線状配列（車線分割線、車線区分線）、道路無効化、例えば道路上のオイルまたは砂、道路の穴、スピードランプのような道路上のオブジェクト、および、店、美術館、ホテル等の関心地点、を備える道路の配置の表現である、道路配置を備えてもよい。ナビゲーション情報は、ユーザが正しい方向へ向かうのを補助するために表示されてもよい建物または建物の外観を示す画像等の、表示された場合にユーザに彼／彼女をナビゲートするのを補助する情報を提供するあらゆる他の種類のナビゲーション情報を備えてもよいことが理解されるだろう。また、ナビゲーション情報は駐車場という指標を備えてもよい。ナビゲーション情報はまた、ユーザの注意を画像におけるあるオブジェクトに向けさせるために重ね合わされた、インジケータであってもよい。インジケータは、例えば、ユーザの注意を交通標識に向けさせるために、その交通標識の周囲で重ね合わされる円または正方形であってもよい。
【００７８】
コンピュータ装置は、ユーザを正しい方向へ向かわせるのを補助し、ナビゲートするために、全ての種類のナビゲーション情報を計算してもよいナビゲーション機能を実行するように構成されてもよい。ナビゲーション機能は、測位システムを使用して、現在位置に対応するデジタルマップデータベースの一部を表示して、現在の位置を決定してもよい。ナビゲーション機能は、ストリートの名称、関心地点についての情報等の、表示されるべき現在位置と関連したナビゲーション情報を読み出す工程をさらに備えてもよい。
【００７９】
ナビゲーション機能は、出発地住所または現在位置から、特定の目的地の位置までのルートを計算する工程と、表示されるべきナビゲーション命令を計算する工程とをさらに備えてもよい。
【００８０】
ある実施形態によれば、画像は、ナビゲーション情報が関係する位置の画像である。従って、ナビゲーション情報が特定のジャンクションで取られるべき右折を示す矢印である場合、画像はそのジャンクションのビューを提供してもよい。実際、ユーザがそのジャンクションに近づくビュー方向に見られるようなジャンクションのビューを提供してもよい。
【００８１】
コンピュータ装置がメモリまたは遠隔メモリからそのような画像を取得するように構成される場合、コンピュータ装置は位置情報を選択して正しい画像を選択してもよい。それぞれの画像は、対応する位置情報と関連して格納されてもよい。位置情報に加えて、ビュー方向またはユーザの移動方向に対応する画像を選択するために方向情報が使用されてもよい。
【００８２】
ある実施形態によれば、アクション（２）はカメラから画像を取得する工程を備える。方法は、画像を生成する内蔵型カメラを備えるナビゲーション装置によって実行されてもよい。方法は、遠隔カメラから画像を受信するように構成されたナビゲーション装置によっても実行されてもよい。遠隔カメラは、例えば車両に取り付けられたカメラであってもよい。
【００８３】
それ故、コンピュータ装置はカメラを備えてもよくまたはカメラにアクセスしてもよく、アクション（２）はカメラから画像を取得する工程を備えてもよい。
【００８４】
さらなる実施形態によれば、アクション（２）は、メモリから画像を取得する工程を備えてもよい。メモリは画像を有するデータベースを備えてもよい。画像は、正しい画像、例えばナビゲーション情報に対応する画像の選択を可能にするために、ナビゲーション装置の位置情報および方向情報と関連して格納されてもよい。メモリは、方法を実行するコンピュータ装置（例えばナビゲーション装置）によって備えられてもよく、またはそれによってアクセス可能であってもよい。
【００８５】
コンピュータ装置は従ってメモリから画像を取得するように構成されてもよい。
【００８６】
ある実施形態によれば、アクション（２）で取得された画像は、アクション（２−１）での使用のために、画像に対応する深さ情報を備える。このことは図３ａおよび図３ｂを参照して以下でより詳細に説明される。
【００８７】
ある実施形態によれば、アクション（２）は、三次元カメラから画像を取得する工程を備える。三次元カメラは、画像および深さ情報を同時に撮像するように構成されてもよい。
【００８８】
上述したように、深さ情報を提供するために２つのレンズを有するカメラを使用して、立体視として既知の技術がこのために使用されてもよい。代替案によれば、深さセンサ（例えばレーザスキャナ）を備えるカメラがこのために使用されてもよい。それ故、コンピュータ装置１０は、三次元カメラ（ステレオカメラ）を備えてもよく、アクション（２）は三次元カメラから画像を取得する工程を備えてもよい。ある実施形態によれば、アクション（２−１）は、一連の画像を解析することによって深さ情報を読み出す工程を備える。これを行うために、アクション（２）は、（通常のカメラを使用して、すなわち三次元カメラではなく）異なる位置と関連した少なくとも２つの画像を取得する工程を備えてもよい。従って、アクション（２）は、１以上の画像を撮像するために、または、１以上の画像をメモリから読み出すために、カメラまたは同様のものを使用する工程を備えてもよい。アクション（２−１）は前のアクション（２）で取得された画像を取得する工程も備えてもよい。
【００８９】
一連の画像は解析されてもよく、画像の範囲内の異なる領域および／または画素に対して深さ情報を取得するために使用されてもよい。
【００９０】
従って、コンピュータ装置（例えばナビゲーション装置）は、一連の画像を解析することによって深さ情報を読み出す工程を備えるアクション（２−１）を実行するように構成されてもよい。
【００９１】
ある実施形態によれば、アクション（２−１）は、三次元マップデータベース等のデジタルマップデータベースから深さ情報を読み出す工程を備える。三次元マップデータベースは、ナビゲーション装置のメモリに格納されてもよく、または、（例えばインターネットまたは携帯電話ネットワークを使用して）ナビゲーション装置によってアクセス可能な遠隔メモリに格納されてもよい。三次元マップデータベースは、道路ネットワーク、ストリートの名称、一方通行のストリート、関心地点（ＰＯＦ）等についての情報を備えてもよく、建物、建物の入口／出口、木等のオブジェクトの所在地および三次元形状についての情報も含む。カメラの現在位置および方向を組み合わせて、ナビゲーション装置は、特定の画像と関連した深さ情報を計算し得る。車両またはナビゲーション装置に取り付けられたカメラから画像が取得される場合、カメラまたは車両からの位置情報および方向情報が必要とされる。これは、適切な慣性計測装置（ＩＭＵ）および／またはＧＰＳを使用することによって、および／または、このためのあらゆる他の適切なデバイスを使用することによって、提供されてもよい。
【００９２】
従って、コンピュータ装置（例えばナビゲーション装置）は、デジタルマップデータベースから深さ情報を読み出す工程を備えるアクション（２−１）を実行するように構成されてもよい。デジタルマップデータベースは、メモリに格納された三次元マップデータベースであってもよい。
【００９３】
深さ情報を読み出すためにデジタルマップデータベースを使用する場合、深さ情報を計算し、十分な正確性を持ってこれを画像にマッピングすることができるために、正確な位置情報および方向情報が要求されることが理解されるだろう。
【００９４】
ある実施形態によれば、アクション（２−１）は、深さセンサから深さ情報を取得する工程を備える。これは、内蔵型深さセンサであってもよく、または、コンピュータ装置と通信するように構成された遠隔深さセンサであってもよい。両方の場合で、深さ情報は画像にマッピングされなければならない。
【００９５】
一般に、画像への深さ情報のマッピングは、図４を参照してより詳細に説明されるアクション（３−１）および／または（３−３）で行われる。
【００９６】
図３ａは、アクション（２）で取得されてもよい画像を示し、図３ｂは、アクション（２−１）で取得されてもよい深さ情報を示す。深さ情報は図３ａに示される画像に対応する。図３ａおよび３ｂに示される画像および深さ情報は、三次元カメラを使用して取得されるが、通常のカメラまたは、カメラおよび適切に組み込まれたレーザスキャナまたはレーダの組み合わせを使用して取得された一連の画像を解析することによっても取得されてもよい。図３ａおよび３ｂに見られるように、このことは必要条件ではないことが理解されるけれども、実質的に各画像の画素に対して深さ情報が利用可能である。
【００９７】
画像およびナビゲーション情報の直観的な統合を達成するために、ジオ変換モジュールが提供されてもよく、それは、透視変換（perspective transformation）を使用してナビゲーション情報を変換して画像の視野と合致させるために、現在の位置および方向についての情報、画像の位置および深さ情報を使用してもよい。
【００９８】
画像および深さ情報は（三次元カメラ、外部データベースまたは一連の画像等の）ソースから得られ、深さ情報解析モジュールによって使用される。深さ情報解析モジュールは、深さ情報を使用して画像における領域を識別する。そのような領域は、例えば建物、道路表面、交通信号等と関係してもよい。
【００９９】
深さ情報解析モジュールおよびジオ変換モジュールの結果は、画像および重ね合わされたナビゲーション情報の組み合わせである組み合わせ画像を構成するために、構成モジュールによって使用される。構成モジュールは、異なる領域に対して異なるフィルタおよび／または異なる透明性を使用して、深さ情報解析モジュールからの領域と、ジオ変換されたナビゲーション情報とをマージして１つにまとめる。組み合わせ画像は、ナビゲーション装置のディスプレイ１８に出力されてもよい。
【０１００】
図４は、ある実施形態に従ったフロー図を示す。図４は、上述したようなアクション（３）のより詳細な実施形態を提供する。
【０１０１】
図４に示されるモジュールは、ソフトウェアモジュールだけでなくハードウェアモジュールであってもよいことが理解されるだろう。
【０１０２】
図４は、上述したようなアクション（１）、（２）および（２−１）を示し、その後に、より詳細に示され、アクション（３−１）、（３−２）および（３−３）を備えるアクション（３）が続く。
【０１０３】
ある実施形態によれば、アクション（３）は、（３−１）ナビゲーション情報に関してジオ変換アクションを実行する工程、を備える。
【０１０４】
このジオ変換アクションは、ナビゲーション情報が正確に画像に重ね合わされることを保証するために、ナビゲーション情報に関して実行されてもよい。これを達成するために、ジオ変換アクションは、ナビゲーション情報を、例えば、画像のｘ、ｙを現実世界における位置と関係付ける、および、画像を取得するために使用されるカメラの位置、方向および較正係数から得られる、座標である、画像と関連したローカル座標に変換する。ナビゲーション情報をローカル座標に変換することによって、ナビゲーション情報の形状が、画像の透視ビューと合致するように適合される。まさに二次元画像への三次元現実の透視投影であるので、当業者は、ローカル座標へのそのような変換がどのようにして実行され得るかを理解するだろう。また、ナビゲーション情報をローカル座標へ変換することによって、ナビゲーション情報が正確な位置で画像に重ね合わされることが保証される。
【０１０５】
このジオ変換アクションを実行するために、以下の入力が使用されてもよい。
【０１０６】
−深さ情報、
−ナビゲーション情報、
−位置および方向情報。
【０１０７】
場合により、カメラの較正情報も必要とされる。
【０１０８】
従って、ある実施形態によれば、（３）は、（３−１）ナビゲーション情報に関してジオ変換アクションを実行する工程を備え、ジオ変換アクションは、ナビゲーション情報をローカル座標に変換する工程を備える。これを行うことによって、ナビゲーション情報の方向だけでなく位置も、画像の視野に適合される。深さ情報を使用することによって、丘、スロープ、ナビゲーション装置／カメラの方向等を考慮して、ローカル座標へのこの変換が正確に実行されることが保証される。アクション（３−１）は、慣性計測装置（ＩＭＵ）等の、さらなる位置／方向システムからの入力を使用することによって、はるかに正確に実行されてもよい。
【０１０９】
そのようなＩＭＵからの情報は、ジオ変換アクションの結果を確認するおよび／または改良するために、追加の情報源として使用されてもよい。
【０１１０】
従って、コンピュータ装置は、（３−１）ナビゲーション情報に関してジオ変換アクションを実行する工程を備えるアクション（３）を実行するように較正されてもよい。
【０１１１】
アクション（３−１）は、 “標準”座標からローカル座標へナビゲーション情報を変換する工程を備えてもよい。
【０１１２】
さらなる実施形態によれば、アクション（３）は（３−２）深さ情報解析アクションを実行する工程を備える。この深さ情報解析アクションを実行するために、深さ情報が入力として使用されてもよい。
【０１１３】
ある実施形態によれば、アクション（３−２）は、画像における領域を識別する工程と、それぞれの識別された領域に対して、ナビゲーション情報を表示する方法を適合させる工程とを備える。
【０１１４】
深さ情報を使用することによって、異なる領域を識別することは比較的容易である。深さ情報において三次元点群が識別され得、比較的単純なパターン認識技術が、そのような点群がどのような種類の（車両、通行人、建物等の）オブジェクトを表すかを識別するために使用されてもよい。
【０１１５】
ある領域に対して、深さ情報解析アクションは、ナビゲーション情報がその特定の領域に画像によって表示されるオブジェクトの背後に存在することを示すために、透明な方法でナビゲーション情報を表示すること、または、画像におけるその領域に対してナビゲーション情報を少しも表示しないことを決定してもよい。ある領域は例えば交通信号または車両または建物であってもよい。透明な方法でナビゲーション情報を表示することによって、または、少しもナビゲーション情報を表示しないことによって、よりユーザフレンドリーで直観的なビューがユーザに対して創出される。
【０１１６】
それ故、コンピュータ装置は、（３−２）深さ情報解析アクションを実行する工程を備えるアクション（３−２）を実行するように構成されてもよい。
【０１１７】
アクション（３−２）は、画像における領域を識別する工程と、画像においてそれぞれ識別された領域に対してナビゲーション情報を表示する方法を適合させる工程とを備えてもよい。
【０１１８】
アクション（３−１）および（３−２）は、同時におよびお互いに相互作用して実行されてもよいことが理解されるだろう。言い換えると、深さ情報解析モジュールおよびジオ変換モジュールは、お互いに相互作用してもよい。そのような相互作用の例は、深さ情報解析モジュールおよび情報解析モジュールが、深さ情報に基づいてピッチ情報およびスロープ情報を計算してもよいことである。従って、同じピッチ値およびスロープ値の両方を計算する代わりに、モジュールのうちの１つは、スロープおよび／またはピッチを計算して使用してもよく、これは、両方の結果が一貫しているかどうかを確認するための追加の情報源である。最後に、アクション（３−３）において、組み合わせ画像が構成され、例えば、ナビゲーション装置のディスプレイ１８に出力される。このことは、構成モジュールによって行われてもよい。
【０１１９】
もちろん多くの他の種類のナビゲーション情報が画像に重ね合わされ得る。少なくとも１つの領域に対する表示モードは、どのようにナビゲーション情報が与えられるかを決定してもよい。例えば、ナビゲーション情報（例えば右折を示す矢印）は、矢印が交通標識、建物または車両の背後を通ることを視聴者に示すために、透明な方法で、または点線で、交通標識、建物または車両として識別された領域において与えられてもよく、その結果直観的な外観を創出する。これよりも多くの例が以下で提供される。
【０１２０】
従って、表示モードを選択する工程は、重ね合わせモードを選択する工程を含んでもよく、重ね合わせモードは、ナビゲーション情報がある識別された領域に表示される方法を決定する。
【０１２１】
アクション（ｅ）
アクション（ｅ）は最後に機能強化された画像を生成する工程を備える。もちろん、機能強化された画像の生成の後に、機能強化された画像は、それをユーザに与えるためにディスプレイ１８に表示されてもよい。
【０１２２】
例
以下に多数の例が示される。これらの例の組み合わせも採用されてもよく、より多くの例および変形が考えられてもよいことが理解されるだろう。
【０１２３】
重ね合わせモードの例
図５ａ乃至９を参照して以下で記述される例は全て、重ね合わせモードが異なる領域に対して設定される実施形態に関する。
【０１２４】
図５ａは、深さ情報を使用せずに、すなわち、ナビゲーション情報を二次元画像に描画して、ナビゲーション装置によって提供されてもよい結果ビューを描写する。
【０１２５】
図５ｂは、上述のような方法を実行する場合にナビゲーション装置によって提供されてもよい結果ビューを描写する。深さ情報を使用することによって、車両および標識だけではなく、右側の建物等のオブジェクトを認識ことが可能となる。従って、ナビゲーション情報は、例えばオブジェクトの背後に隠されるように、異なる領域に対して他の表示モードで表示され得、または、度の透明性で描画され得る。
【０１２６】
実施形態は、あいまいな操作決定等の、起こり得るあいまいなナビゲーション命令を提供する可能性を低減する。実施形態に従った深さ情報を使用することなく、ナビゲーション装置によって提供されてもよい組み合わせ画像を描写する図６ａを例えば参照されたい。実施形態に従った深さ情報を使用することによって、ユーザが最初のターンではなく第２のターンで右折すべきであることを明確に示す、図６ｂに示されるような組み合わせ画像が示されてもよい。右側の建物は、異なる領域として認識され、ナビゲーション情報（矢印）の表示モードはその領域に対して変更され、建物の背後に姿を消すことを示すために、実際には全く表示されない。
【０１２７】
実施形態の別の利点は、ジオ変換アクションは（矢印等の）ナビゲーション情報の再形成を可能にするという事実である。これが行われない場合、図７ａに示されるような組み合わせ画像が生じるかもしれないが、一方、ジオ変換アクション／モジュールの使用は、矢印が実際の道路表面にはるかに良く従う図７ｂに示される組み合わせ画像に帰結するかもしれない。ジオ変換アクション／モジュールは、画像を撮像するカメラの方向によって引き起こされるかもしれないスロープの影響およびピッチの影響を除去する。図７ｂの例では、矢印は、確実に可能ではあるけれども、建物の背後に隠されないことが留意される。
【０１２８】
上述したように、ナビゲーション情報は道路配置を備えてもよい。図８ａは、実施形態に従った深さ情報を使用せずに、ナビゲーション装置によって提供されてもよい組み合わせ画像を示す。図に示すように、道路配置は、車両および歩行者のようなオブジェクトを重複して表示される。実施形態を使用する場合、そのようなオブジェクトを備える画像における領域を識別すること、およびこの領域の範囲内の道路配置を表示しないこと（すなわち高度の透明性で表示することが可能である。この結果は図８ｂに示される。
【０１２９】
図９は、別の例を示す。この例によれば、ナビゲーション情報は、画像における標識に対応する標識であり、アクション（ｃ）において、ナビゲーション情報である標識が、ナビゲーション情報である標識は画像における標識よりもはるかに大きくなるように、画像に重ね合わされる。図９に示されるように、ナビゲーション情報である標識は、画像における標識から逸脱する位置に重ね合わされてもよい。ナビゲーション情報である標識が（ユーザにとって未だに視認可能でないかもしれない）画像における標識と関連付けられていることをさらに示すために、どの標識が重ね合わされているかを強調するために、線４０が重ね合わされてもよい。線４０は、画像における標識の実際の位置を示す線をさらに備えてもよい。
【０１３０】
従って、この実施形態によれば、アクション（ｃ）は、重ね合わされたナビゲーション情報と、画像におけるオブジェクトとの間の関係を示すために、線４０を表示する工程をさらに備える。もちろん、代替案によれば、ナビゲーション情報である標識は、画像における標識と重複するように重ね合わされてもよい。
【０１３１】
重ね合わせ線または画像における標識と重複するような重ね合わせは、深さ情報を使用することによって、比較的容易かつ正確に行われ得ることが理解されるだろう。
【０１３２】
カラーモードの例
図１０ａは、ここで提供される実施形態を採用することなく表示されるかもしれない画像の例を示す。
【０１３３】
図１０ｂは、実施形態の１つを採用した後に、すなわち、深さ情報を使用してバー−ビヤホール−タバコ−店の所在地を決定した後に提供されてもよい、同じ画像の例を示す。この店は領域として識別され、従って第１のカラーモード（黒−白）で表示され得、一方、他の領域は第２のカラーモード（グレー調を伴う黒−白）で表示される。深さ情報は、店の直接ビューをブロックする木、オートバイ、交通標識等の他の領域を容易に識別することを可能にする。これらの他の領域は従って、直観的な外観を提供する、第２のカラーモードで表示され得る。
【０１３４】
コンピュータプログラムおよび記憶媒体
ある実施形態によれば、コンピュータ装置１０が記述された何れかの方法を実行するのを可能にさせる、コンピュータ装置によってロードされ得るデータおよび命令を備えるコンピュータプログラムが提供される。コンピュータ装置は、図１を参照して上述されたようなコンピュータ装置１０であってもよい。
【０１３５】
さらなる実施形態によれば、そのようなコンピュータプログラムを備える記憶媒体が提供される。
【０１３６】
所見
重ね合わせという用語は、ある項目が他の項目上に表示されることを示すためだけには使用されず、画像の内容と関連して画像の範囲内の予め定められた位置にナビゲーション情報が配置され得ることを示すために使用されることが理解されるだろう。このように、画像の内容との空間的な関係であるように、ナビゲーション情報を重ね合わせることが可能である。従って、画像およびナビゲーション情報を１つにまとめる代わりに、ナビゲーション情報は、ナビゲーション情報が画像の内容と論理的な関係を有するように画像の範囲内に正確に配置され得る。
【０１３７】
上の記述は、例示的であり、限定的ではないことが意図される。従って、以下に並べられた請求の範囲を逸脱せずに記述されるような修正が発明についてなされてもよいことが当業者にとって明らかであろう。
【技術分野】
【０００１】
本発明は、ナビゲーション目的で画像を生成するコンピュータ装置、方法、前記コンピュータ装置にそのようの方法を実行させることを許可し、コンピュータ装置によってロードされ得るデータおよび命令を備えるコンピュータプログラム、およびそのようなコンピュータプログラムを備えるデータ記憶媒体に関する。
【背景技術】
【０００２】
ナビゲーションシステムは過去２０年でより大衆的となっている。長年に渡って、これらのシステムは、道路のセンターラインの単純な幾何学的表示から、ユーザをナビゲートするのを補助するために現実世界の現実的な画像／写真の提供へと進化してきた。
【０００３】
米国のフィリップス・コーポレーション（Ｕ.Ｓ. Ｐｈｉｌｉｐｓ Ｃｏｒｐ）による米国特許第５１１５３９８号明細書は、画像ピックアップ部、例えば車載のビデオカメラ、により生成されるローカル車両環境の前方画像を生成する工程を備えるナビゲーションデータを表示する方法およびシステムを記述している。撮像された画像は表示部に表示される。移動方向を示すナビゲーションデータから形成される指示信号がその表示された画像に重ね合わされる。組み合わせモジュールが、表示部に表示される組み合わせ信号を形成するようにその指示信号およびその環境の画像を組み合わせるために提供される。
【０００４】
トムトム・インターナショナル・べステーロン・フエンノートシャップ（ＴｏｍＴｏｍ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｂ. Ｖ.）による国際公開第２００６１３２５２２号もナビゲーション命令をカメラ画像に重ね合わせることを記述している。重ね合わされたナビゲーション命令の所在地とカメラ画像とを合致させるために、パターン認識技術が使用される。ナビゲーション情報を重ね合わせる代替方法が欧州特許出願公開第１７５１４９９号明細書に記述されている。
【０００５】
米国特許第６２８５３１７号明細書は、ローカル・シーン（ｌｏｃａｌ ｓｃｅｎｅ）の上にオーバーレイとして表示される方向情報を生成するように構成される移動車両のためのナビゲーションシステムを記述している。ローカル・シーンの情報プロバイダ、例えば移動車両に車載した使用に適応したビデオカメラによって、ローカル・シーンが提供されてもよい。ビデオカメラを調整することによって、すなわち、カメラの視覚を決定し、ある倍率によって所望の表示画面を有する投影スクリーン上に投影される全てのポイントを縮尺することによって、ローカル・シーンに方向情報がマッピングされる。また、自動車に取り付けられたカメラの地面に対する高さが測定され、それに応じて三次元ナビゲーションソフトウェアにおける視点の高さが変更される。この手順はかなり煩わしいことが理解されるだろう。また、このナビゲーションシステムは、カメラによって撮像されたローカル・シーン中に含まれる、他の車両等の、オブジェクトを処理することはできない。先行技術によれば、例えば、カメラによって撮像された画像にパターン認識技術を使用することによって、ユーザに、ナビゲーション目的の機能強化された透視画像を提供するために、比較的大型のコンピュータの処理能力が必要とされる。
【発明の概要】
【０００６】
本発明の目的は、上で認識された問題のうち少なくとも１つを取り除く方法およびコンピュータ装置を提供することである。
【０００７】
ある側面によれば、プロセッサおよび前記プロセッサにアクセス可能であるメモリを備えるコンピュータ装置が提供され、前記メモリは、前記プロセッサに，（ａ）表示されるべき画像を取得させる、（ｂ）前記画像に関する深さ情報を取得させる、（ｃ）深さ情報を使用して前記画像における少なくとも１つの領域を識別させる、（ｄ）少なくとも１つの識別された領域に対する表示モードを選択させる、ことを可能にするように構成されたデータおよび命令を備えるコンピュータプログラムを備える。
【０００８】
ある側面によれば、（ａ）表示されるべき画像を取得する工程、（ｂ）前記画像に関する深さ情報を取得する工程、（ｃ）深さ情報を使用して前記画像における少なくとも１つの領域を識別する工程、（ｄ）少なくとも１つの識別された領域に対する表示モードを選択する工程（例として、以下を参照されたい）を備える、ナビゲーション目的の画像を生成する方法が提供される。
【０００９】
ある側面によれば、コンピュータ装置にそのようの方法を実行させることを許可し、前記コンピュータ装置によってロードされ得るデータおよび命令を備えるコンピュータプログラムが提供される。
【００１０】
ある側面によれば、そのようなコンピュータプログラムを備えるデータ記憶媒体が提供される。実施形態は、高性能且つコンピュータの時間を消費するパターン認識技術を使用する必要なしに、ナビゲーション情報を画像に重ね合わせるための簡便に適用可能な解決策を提供する。実施形態は、より良く解釈可能な組み合わせ画像を提供するために、他の車両、歩行者、および同様のもの等の、画像中に含まれる一時的なオブジェクトを考慮に入れることをさらに提供する。
【図面の簡単な説明】
【００１１】
本発明は、本発明の実施形態を示すことのみが意図されるが、その範囲を限定するものではない、いくつかの図面を参照して詳細に説明されるだろう。本発明の範囲は、付属の請求項およびその技術的均等物によって定義される。
【図１】図１は、コンピュータ装置を概略的に描写する。
【図２】図２は、実施形態に従ったフロー図を概略的に描写する。
【図３ａ】、
【図３ｂ】図３ａおよび３ｂは、実施形態に従った画像および深さ情報を概略的に描写する。
【図４】図４は、実施形態に従ったフロー図を概略的に描写する。
【図５ａ】、
【図５ｂ】、
【図６ａ】、
【図６ｂ】、
【図７ａ】、
【図７ｂ】、
【図８ａ】、
【図８ｂ】、
【図９】図５ａ、５ｂ、６ａ、６ｂ、７ａ、７ｂ、８ａ、８ｂおよび９は組み合わせ画像を概略的に描写する。
【図１０ａ】、
【図１０ｂ】図１０ａおよび１０ｂは、実施形態をさらに説明するための画像を示す。
【発明を実施するための形態】
【００１２】
以下で提供される実施形態は、ナビゲーション目的のためにユーザに機能強化された画像を提供する方法を記述する。画像は、ユーザを正しい方向に向かわせナビゲートするのを補助する、機能強化された方法で示される、交通状況または道路ネットワークの一部を示してもよい。
【００１３】
画像は、例えばあるナビゲーション情報を画像における特定の領域に重ね合わせることによって、または、画像のいくつかの領域を異なる色設定で表示することによって、機能強化されてもよい。さらなる例が以下で記述されるだろう。一般に、機能強化された画像は、画像の異なる領域を異なる表示モードで表示することによって創出される。このように、ナビゲーション命令またはナビゲーション情報をユーザに与えるより直観的な方法が取得され得る。
【００１４】
画像における異なる領域を異なる表示モードで表示するために、これらの異なる領域がまず識別される必要がある。実施形態によれば、これは、特定の画像に関する深さ画像情報（三次元情報）を取得することによって達成される。深さ情報は異なる領域を識別するために使用され、また、画像にマッピングされる。領域は、交通標識、建物、他の車両、通行人に対応する。ひとたび異なる領域が識別され且つ認識されると、異なる領域は、異なる表示モードで表示され得る。
【００１５】
深さ情報を使用することによって、複雑なパターン認識技術を画像に適用する必要がなくなる。このように、よりユーザフレンドリーな結果を取得する一方で、比較的重い計算が回避される。
【００１６】
コンピュータ装置
図１では、実施形態を実行するために適した、可能性があるコンピュータ装置１０の外観が与えられる。コンピュータ装置１０は算術演算を実行するためのプロセッサ１１を備える。
【００１７】
プロセッサ１１は、ハードディスク１２、読み出し専用メモリ（ＲＯＭ）１３、電気的消去可能ＲＯＭ（ＥＥＰＲＯＭ）１４、およびランダム・アクセス・メモリ（ＲＡＭ）１５を含む、複数のメモリ構成要素と接続される。これらのメモリの種類の全ては必ずしも備える必要はない。さらにその上、これらのメモリ構成要素は、物理的にプロセッサ１１の近くに位置している必要はなく、プロセッサ１１から離れて配置されてもよい。プロセッサ１１は、キーボード１６、およびマウス１７のように、ユーザにより命令、データ等を入力する手段と接続されてもよい。当業者にとって既知である、タッチスクリーン、トラックボール、および／または音声変換器等の、他の入力手段も備えてもよい。
【００１８】
プロセッサ１１と接続された読み出し部１９が提供される。読み出し部１９は、フロッピー（登録商標）ディスク２０またはＣＤＲＯＭ２１のようなデータ記憶媒体からデータを読み出し、場合によってはそのデータ記憶媒体にデータを書き込むように、構成される。他のデータ記憶媒体は、当業者にとって既知であるように、テープ、ＤＶＤ、ＣＤ−Ｒ，ＤＶＤ−Ｒ、メモリースティック等であってもよい。
【００１９】
プロセッサ１１は、ディスプレイ１８、例えばモニターまたはＬＣＤ（液晶ディスプレイ）スクリーン、または当業者にとって既知である他の種類のディスプレイと接続されるだけではなく、出力データを紙にプリントするプリンタ２３とも接続される。プロセッサ１１は、スピーカ２９と接続されてもよい。
【００２０】
コンピュータ装置１０は、以下でより詳細に説明されるように、フォトカメラ、ビデオカメラ、三次元カメラ等の、カメラＣＡをさらに備えてもよく、または、カメラＣＡと通信するように構成されてもよい。コンピュータ装置１０は、プロセッサ１１による使用のための現在位置等についての位置情報を決定する測位システムＰＳをさらに備えてもよい。測位システムＰＳは、以下のうち１つ以上を備えてもよい。
【００２１】
・ＧＰＳ（グローバル・ポジショニング・システム）部等の全地球的航法衛星システム（ＧＮＳＳ）。
【００２２】
・１つ以上のホイール２の回転数を感知することによって自動車が移動した距離を測定するオドメータ（走行距離計）等のＤＭＩ（距離測定機器）。
【００２３】
・回転加速度を測定するように構成された３つのジャイロ部、および、３つの直交方向に沿った３つの並進加速装置等の、ＩＭＵ（慣性計測装置）。
【００２４】
プロセッサ１１は、入力／出力手段２５によって、ネットワーク２７、例えば公衆交換電話網（ＰＳＴＮ）、ローカル・エリア・ネットワーク（ＬＡＮ）、ワイド・エリア・ネットワーク（ＷＡＮ）、インターネット等と接続されてもよい。プロセッサ１１は、ネットワーク２７を介して他の通信装置と通信するように構成されてもよい。これらの接続は、車両はストリートを縦断する間にデータを収集するので、リアルタイムに全てが接続されていないかもしれない。
【００２５】
データ記憶媒体２０、２１は、実施形態に従った方法を実行する機能をプロセッサに提供するように構成されたデータおよび命令の形式でコンピュータプログラムを備えてもよい。しかしながら、そのようなコンピュータプログラムは、あるいは、通信ネットワーク２７を介してダウンロードされてもよい。プロセッサ１１は、スタンドアロン（独立型）システムとして、または、大型コンピュータのサブタスクを実行するようにそれぞれが構成された複数の並行動作プロセッサとして、実施されてもよい。本発明の機能の一部は、ネットワーク２７を介してプロセッサ１１と通信する遠隔プロセッサによって実行されてもよい。自動車の中で適用される場合、コンピュータ装置１０は図１に示される全ての構成要素を有する必要がないことが観察される。例えば、その場合コンピュータ装置１０はスピーカおよびプリンタを有する必要はない。自動車の中での実施に関する限り、コンピュータ装置１０は少なくとも、プロセッサ１１、適当なプログラムを格納するいくつかのメモリ１２、１３、１４，１５、および操作者から命令およびデータを受信し、操作者に出力データを示すいくつかの種類のインタフェースを備えてもよい。
【００２６】
このコンピュータ装置１０はナビゲーション装置として機能するように構成されてもよいことが理解されるだろう。
【００２７】
カメラ／深さセンサ
この文脈で使用される画像という用語は、交通状況の、写真等の、画像に言及している。これらの画像は、フォトカメラまたはビデオカメラ等の、カメラＣＡを使用することによって取得されてもよい。カメラＣＡはナビゲーション装置の一部であってもよい。しかしながら、カメラＣＡはナビゲーション装置から離れて提供されてもよく、ナビゲーション装置と通信するように構成されてもよい。ナビゲーション装置は、画像を撮像するためにカメラＣＡに命令を送信するように構成されてもよく、カメラＣＡからそのような画像を受信するように構成されてもよい。同時に、カメラＣＡはナビゲーション装置から命令を受信するとすぐに画像を撮像し、この画像をナビゲーション装置に送信するように構成されてもよい。カメラＣＡおよびナビゲーション装置は、通信するために、例えばブルートゥースを使用して、通信リンクをセットアップするように構成されてもよい。
【００２８】
カメラＣＡは、画像および深さ情報を撮像するように構成されている三次元カメラ３ＣＡであってもよい。三次元カメラ３ＣＡは、例えば、２つのレンズシステム、および、処理部を備えるステレオカメラ（立体視）であってもよい。そのようなステレオカメラは、異なる透視ポイントから撮られたおおよそ同じ画像を提供して、同時に２つの画像を撮像してもよい。この差異は、深さ情報を計算する処理部によって使用され得る。三次元カメラ３ＣＡの使用は、画像および深さ情報を同時に提供し、深さ情報は実質的に画像の全ての画素に対して適用可能である。
【００２９】
さらなる実施形態によれば、カメラＣＡは単一のレンズシステムを備えるが、一連の画像を解析することによって深さ情報を読み出す。カメラＣＡは、連続した時間に少なくとも２つの画像を撮像するように構成され、各画像は、異なる透視ポイントから撮られたおおよそ同じ画像を提供する。この場合も先と同様に、視点の差異は、深さ情報を計算するために使用され得る。これを行うために、ナビゲーション装置は、異なる画像間の視点の差異を計算するために測位システムからの位置情報を使用する。この実施形態は、この場合も先と同様に、画像および深さ情報を同時に提供し、深さ情報は、実質的に画像の全ての画素に対して利用可能である。さらなる実施形態によれば、深さ情報は、ナビゲーション装置を備える、または、深さ情報をナビゲーション装置に提供するように構成された、１つ以上のスキャナまたはレーザスキャナ（不図示）等の深さセンサを使用することによって取得される。レーザスキャナ３（ｊ）は、周囲に関する深さ情報を備える、レーザサンプルを得、建築用ブロック、木、交通標識、停車中の自動車、人々等に関する深さ情報を含んでもよい。
【００３０】
レーザスキャナ３（ｊ）は、マイクロプロセッサμＰとも接続されてもよく、これらのレーザサンプルをマイクロプロセッサμＰへ送信してもよい。カメラは、例えば飛行機または衛星から撮られた航空画像も生成してもよい。これらの画像は、垂直下方ビューを提供してもよく、または、角度のある下方ビューを提供してもよく、すなわち、透視ビューまたは鳥瞰ビューを提供してもよい。
【００３１】
図３ａは、画像の例を示し、図３ｂは対応する深さ情報の例を示す。深さ情報は、図３ａに示される画像に対応している。図３ａおよび３ｂに示される画像および深さ情報は、三次元カメラを使用して取得されるが、通常のカメラ、または、カメラおよび適切に統合されたレーザスキャナまたはレーダの組み合わせ、を使用して取得された、一連の画像を解析することによって取得されてもよい。図３ａおよび３ｂに示されるように、これは必要条件ではないことが理解されるけれども、実質的にそれぞれの画像の画素に対して深さ情報が利用可能である。
【００３２】
実施形態
ある実施形態によれば、プロセッサ１１およびプロセッサ１１へアクセス可能なメモリ１２、１３、１４、１５を備えるコンピュータ装置１０が提供され、メモリ１２、１３、１４、１５は、プロセッサ１１に、（ａ）表示されるべき画像を取得させる、（ｂ）その画像に関する深さ情報を取得させる、（ｃ）その深さ情報を使用してその画像における少なくとも１つの領域を識別させる、（ｄ）少なくとも１つの識別された領域に対する表示モードを選択させる（例として以下を参照されたい）、ように構成されたデータおよび命令を備えるコンピュータプログラムを備える。
【００３３】
実施形態は、（ｅ）機能強化された画像を生成すること、をさらに備える。
【００３４】
この後に、機能強化された画像はディスプレイ１８に表示されてもよい。ここで記述されるアクションは、ループで実行されてもよく、すなわち、予め定められた時間間隔で、または、ある動きが検出された後またはある距離が移動した後に、等の予め定められた時間で繰り返されてもよいことが理解されるだろう。ループは、拡張された画像が十分に更新されることを確実にするかもしれない。
【００３５】
実際、画像はビデオ供給の一部であってもよい。その場合、アクションは、滑らかで一貫したビューをユーザに提供するために少なくとも十分な頻度で、そのビデオ供給のそれぞれの新しい画像に対して実行されてもよい。
【００３６】
コンピュータ装置１０は、手持ちサイズのコンピュータ装置、ナビゲーション装置、携帯電話、パームトップ・コンピュータ装置、ラップトップ・コンピュータ装置、（車両に内蔵された）内蔵型ナビゲーション装置、デスクトップ・コンピュータ装置等のあらゆる種類のコンピュータ装置であってもよい。
【００３７】
実施形態は、出発地から目的地まで、ナビゲーション方向をユーザに提供するナビゲーション装置に関し、現在位置をユーザに示すように、または、世界の特定の一部のビュー（例えば、グーグルマップ）を提供するように、構成されるナビゲーション装置にも関する。
【００３８】
従って、（ａ）表示されるべき画像を取得する工程、（ｂ）その画像に関する深さ情報を取得する工程と、（ｃ）深さ情報を使用して画像における少なくとも１つの領域を識別する工程、（ｄ）少なくとも１つの識別された領域に対する表示モードを選択する工程（例として、以下を参照されたい）を備える、ナビゲーション目的の画像を生成する方法に関する実施形態が提供される。実施形態は、（ｅ）機能強化された画像を生成する工程を備えてもよい。
【００３９】
この後に、機能強化された画像はディスプレイ１８に表示されてもよい。アクション（ａ）、（ｂ）、（ｃ）、（ｄ）、（ｅ）は、以下でより詳細に説明される。異なるアクションを実行する順序は、可能であれば変更してもよいことが理解されるだろう。
【００４０】
記述される実施形態は、そのような方法を実行するように構成されたコンピュータ装置１０に関し、そのような方法の機能をユーザに提供するウェブベースのナビゲーションツール（グーグルマップまたは同様のもの）等のソフトウェアツールにも関する。
【００４１】
アクション（ａ）
アクション（ａ）は、表示されるべき画像を取得する工程を備える。
【００４２】
画像は、例えば交通状況を示す、世界の一部の写真であってもよい。上で説明されるように、画像はフォトカメラまたはビデオカメラ等のカメラＣＡを使用することによって取得されてもよい。カメラＣＡは、コンピュータ装置１０（例えば、ナビゲーション装置）の一部であってもよく、または、コンピュータ装置１０が画像を受信し得る遠隔カメラＣＡであってもよい。
【００４３】
遠隔カメラＣＡの例は、例えば航空画像を提供する衛星または航空機に取り付けられたカメラである。これらの画像は、垂直下方ビューを提供してもよく、または、角度のある下方ビュー、すなわち、透視ビューまたは鳥瞰ビューを提供してもよい。
【００４４】
遠隔カメラＣＡの別の例は、車両に（例えば車両の正面に）内蔵されたカメラであり、または、道路の側面に沿って配置されたカメラである。そのようなカメラは、適切な通信リンク、例えばブルートゥースまたはインターネットベースの通信リンク、を使用して、例えばコンピュータ装置１０と通信してもよい。カメラは、画像および深さ情報を撮像するように構成されている三次元カメラ３ＣＡであってもよく、深さ情報はアクション（ｂ）で使用され得る。
【００４５】
画像は、コンピュータ装置１０によって備えられるメモリ１２、１３、１４、１５から、または、コンピュータ装置１０がそこから画像を取得するように構成される遠隔メモリから、も取得されてもよい。そのような遠隔メモリは、ブルートゥースまたはインターネットベースの通信リンク等の、適切な通信リンクを使用して、例えばコンピュータ装置１０と通信してもよい。
【００４６】
（遠隔）メモリに格納された画像は、コンピュータ装置１０に、例えば位置センサからの位置情報に基づいて正確な画像を選択させることを可能にする、位置および方向を関連付けていてもよい。そこで、ある実施形態によれば、コンピュータ装置は、画像を取得するように構成されたカメラＣＡを備える。
【００４７】
さらなる実施形態によれば、プロセッサ１１は、
−遠隔カメラ、
−メモリ１２、１３、１４、１５、
−遠隔メモリ、
のうちの１つから画像を取得するように構成される。
【００４８】
アクション（ｂ）
アクション（ｂ）は、画像に関して深さ情報を取得する工程を備える。コンピュータ装置１０は、異なる透視ポイントから撮られた少なくとも２つの画像から深さ情報を計算するように構成されてもよい。これらの少なくとも２つの画像は、上述したアクション（ａ）に従って取得されてもよく、従って、例えば（遠隔）カメラおよび（遠隔）メモリから取得されてもよい。
【００４９】
少なくとも２つの画像は、上で説明したような三次元カメラ（ステレオカメラ）から取得されてもよい。少なくとも２つの画像は、異なる透視ポイントから一連の画像を生成する単一のレンズのカメラから取得されてもよい。コンピュータ装置１０は、２つの画像を解析して深さ情報を取得するように構成されてもよい。
【００５０】
コンピュータ装置１０は、スキャナ、レーザセンサ、レーダ等の、上述のような深さセンサから深さ情報を取得するようにも構成されてもよい。
【００５１】
また、コンピュータ装置１０は、深さ情報を備えるデジタルマップデータベースから深さ情報を取得するように構成されてもよい。デジタルマップデータベースは、コンピュータ装置１０のメモリ１２、１３、１４、１５に格納された三次元マップデータベースであってもよく、または、コンピュータ装置１０によってアクセス可能な遠隔メモリに格納されてもよい。そのような三次元デジタルマップデータベースは、建物、交通標識、橋等のオブジェクトの所在地および形状についての情報を備えてもよい。この情報は深さ情報として使用されてもよい。従って、ある実施形態によれば、コンピュータ装置は、カメラによって取得される少なくとも２つの画像を解析することによって深さ情報を取得するように構成され、そのカメラはステレオカメラであってもよい。さらなる実施形態によれば、コンピュータ装置は深さ情報を取得するように構成されたスキャナを備える。また、コンピュータ装置はデジタルマップデータベースから深さ情報を取得するように構成されてもよい。
【００５２】
アクション（ｃ）
アクション（ｃ）は、深さ情報を使用して画像における少なくとも１つの領域を識別する工程を備える。画像における識別されるべき領域は、交通標識、建物、他の車両、通行人等に関する領域等の、画像内の異なるオブジェクトに関してもよい。これらのオブジェクトは、以下で説明されるように、別の表示モードでこれらに領域を表示することを可能にするために、識別され得る。
【００５３】
異なる種類の領域を識別するために、異なる領域識別ルールが採用されてもよい。例えば、交通標識を識別するために、識別ルールは、平らであり、実質的に道路と垂直であり、ある予め定められたサイズを有する、深さ情報における領域を検索していてもよい。同時に、他の車両を識別するために、識別ルールは、平らではなく、深さ情報に数メートルの変化を示し、ある予め定められたサイズを有する、領域を検索していてもよい。
【００５４】
異なる領域は、深さ情報を使用することによって比較的容易に識別されるかもしれないことがここでは留意される。しかしながら、画像に適用される画像認識技術も使用されてもよい。これらの画像に適用される画像認識技術は、
−深さ情報を使用した領域の識別に加えて、ここで両方の技術は独立して（順次または並行して）使用され、異なる結果がより良い最終結果を生成するために比較される、または、
−お互い共同して、
使用されてもよい。
【００５５】
この最後のオプションは、例えば、深さ情報を使用して、交通標識として最も可能性のある領域を識別する工程を含んでもよく、識別された領域が本当に交通標識を表すかどうかを決定するために、目的のはっきりした方法で従来の画像認識技術を画像に適用してもよい。
【００５６】
画像内の少なくとも１つの領域の識別は、深さ情報を使用することによって容易になることが留意されるべきである。画像に関する深さ情報を使用することによって、領域は、ただ画像それ自体が使用される場合よりもはるかに容易に識別され得る。実際、オブジェクト／領域はただ深さ情報を使用することによって、識別され得る。ひとたびオブジェクト／領域が深さ情報の範囲で識別されると、画像内の対応領域が、深さ情報を画像に単に合致させることによって識別され得る。
【００５７】
このマッチングは、深さ情報および画像の両方が類似のソース（カメラ）から撮られる場合に比較的容易である。しかしながら、もし異なるソースから撮られるなら、このマッチングは、較正アクションを適用することによって、または、画像に対応する視点および深さ情報に対応する視点の相互の方向および位置を使用していくつかの計算を実行することによっても実行され得る。
【００５８】
例として、深さ情報の使用無しに画像における交通標識を識別することを試みる場合、ある形状を有し且つある色を有する画像内の領域を認識するために、パターン認識技術が使用されるだろう。
【００５９】
深さ情報が使用される場合、交通標識は、実質的に同じ深さ情報（例えば８,５６ｍ）を有する画素の集合を、深さ情報で検索することによって、はるかに容易に識別され得、一方、その深さ情報でのその画素集合の周囲は、実質的により高い深さ情報（例えば３４,６２ｍ）を有する。
【００６０】
交通標識が深さ情報の範囲でひとたび識別されると、画像における対応する領域も容易に識別され得る。
【００６１】
深さ情報を使用して異なる領域を識別することは、多くの方法で行われ得、そのうちの１つは、深さ情報が可能性のある交通標識を識別するために使用される、以下の例によって説明されるだろう。
【００６２】
例えば、第１のアクションでは、ナビゲーション装置または道路からはるかに離れている全ての深さ情報画素が除去される。第２のアクションでは、平面オブジェクト、例えば、実質的に同じ距離（深さ値、例えば２８メートル）を有し、従って表面を提供する深さ情報画素の集合、を探索するために、残りの点で検索が実行されてもよい。
【００６３】
第３のアクションでは、識別された平面オブジェクトの形状が決定されてもよい。その形状が（円形、長方形、三角形等の）予め定められた形状に一致する場合、平面オブジェクトは交通標識として識別される。もしそうでないなら、その識別された平面オブジェクトは標識であるとは見なされない。
【００６４】
類似のアプローチは、他のオブジェクトを認識するために使用され得る。例えば、車両を認識するために、ある次元（高さ／幅）を有する点群に対して検索が行われてもよい。大規模建物（図１０ａ、１０ｂを参照されたい）の一部である店を認識するために、道路と直角であり、建物の外形の範囲内のある所在地にある平面オブジェクトに対して検索が行われてもよい。建物の範囲内のある所在地は、予めメモリに格納されてもよく、デジタルマップデータベースの一部であってもよい。
【００６５】
上述したように、深さ情報を使用した領域の識別に加えて、またはそれと共に、画像に適用される画像認識技術も実施されてもよい。画像に適用されるこれらの画像認識技術は、
−画像分割、
−パターン認識、
−形状を検出するための能動輪郭、
−形状係数、
等のあらゆる既知の適切なアルゴリズムを使用してもよい。
【００６６】
アクション（ｄ）
ある実施形態によれば、表示モードを選択する工程は、以下の表示モードのうち少なくとも１つから表示モードを選択する工程を備える。
【００６７】
−カラーモード、
−重ね合わせモード。
【００６８】
これらのモードは以下でより詳細に説明されるだろう。
【００６９】
カラーモード
画像における異なる領域は、異なるカラーモードで表示されてもよい。例えば、交通標識として識別された領域は輝かしいカラーモードで表示され得、一方、他の領域はつや消し処理をした（例えば、輝かしくないカラーを有する）表示モードで表示されてもよい。また、画像において識別された領域は、セピアカラーモードで表示されてもよく、一方、他の領域はフルカラーモードで表示されてもよい。あるいは、画像において識別された領域は、黒および白で表示されてもよく、一方、他の領域はフルカラーモードで表示されてもよい。カラーモードという用語は、黒および白の画像を表示する異なる方法にも言及する。例えば、１つの領域は、黒および白のみを使用して表示され、他の領域は、黒、白およびグレー調も使用して表示される。
【００７０】
もちろん、多くのバリエーションが考えられる。
【００７１】
実際、異なる領域に対して異なるカラーモードを適用することは、異なる領域に対して異なる表示パラメータを設定することによって、確立されてもよく、表示パラメータは、カラーパラメータ、明度、輝度、ＲＧＢ値等を含んでもよい。
【００７２】
重ね合わせモード
ある実施形態によれば、ナビゲーション情報が画像に重ね合わされる。ナビゲーション情報は、ナビゲーション情報が予め定められたオブジェクトとのある空間的な関係を画像内で有する方法で、重ね合わされる。これを行う方法の簡単な説明が最初に提供される。
【００７３】
ある実施形態によれば、プロセッサ１１およびプロセッサ１１にアクセス可能なメモリ１２、１３、１４、１５を備えるコンピュータ装置１０であって、メモリは、プロセッサ１１に、
（１）ナビゲーション情報を取得させる、
（２）ナビゲーション情報に対応する画像を取得させる、
（３）画像およびナビゲーション情報の少なくとも一部を表示させる、そのナビゲーション情報の少なくとも一部は画像に重ね合わされ、
ことを可能にするように構成されたデータおよび命令を備えるコンピュータプログラムを備え、プロセッサ１１は、
（２−１）画像に対応する深さ情報を取得し、深さ情報を使用してアクション（３）を実行することをさらに許可される。
【００７４】
コンピュータ装置１０は、図１を参照して上で説明されたコンピュータ装置と一致してもよい。コンピュータ装置１０は、手持ちサイズのまたは内蔵型のナビゲーション装置等の、ナビゲーション装置であってもよい。メモリはナビゲーション装置の一部であってもよく、遠隔に配置されてもよく、またはこの２つの可能性の組み合わせであってもよい。
【００７５】
従って、ナビゲーション情報を表示する方法が提供され、その方法は、
（１）ナビゲーション情報を取得する工程と、
（２）ナビゲーション情報に対応する画像を取得する工程と、（２−１）画像に対応する深さ情報を取得してアクション（３）を実行する工程と、
（３）少なくとも一部のナビゲーション情報が画像に重ね合わされる、画像およびナビゲーション情報の少なくとも一部を表示する工程と、を備える。その方法は必ずしもこの特定の順序で実行される必要はないことが理解されるだろう。
【００７６】
画像に加えて、
−ナビゲーション命令、
−デジタルマップデータベースの選択、
−名称、
−標識、
−道路配置、
−建物、
−建物の外観、
−駐車場、
−関心地点、
−インジケータ、
等のナビゲーション情報が表示されてもよい。
【００７７】
ナビゲーション情報は、実行されるべきあるターンまたは操作を示す矢印等のあらゆる種類のナビゲーション命令を備えてもよい。ナビゲーション情報は、移動方向に見られるような現在位置近傍を示す、選択のデジタルマップデータベースまたはレンダリングされた画像またはデータベースにおけるオブジェクト等の、選択のデジタルマップデータベースをさらに備えてもよい。デジタルマップデータベースは、ストリートの名称、都市名等の名称を備えてもよい。ナビゲーション情報は標識、例えば、交通標識（停止標識、ストリート標識）の表現または広告パネルを示す絵文字、も備えてもよい。さらにその上、ナビゲーション情報は、場合により、車線、線状配列（車線分割線、車線区分線）、道路無効化、例えば道路上のオイルまたは砂、道路の穴、スピードランプのような道路上のオブジェクト、および、店、美術館、ホテル等の関心地点、を備える道路の配置の表現である、道路配置を備えてもよい。ナビゲーション情報は、ユーザが正しい方向へ向かうのを補助するために表示されてもよい建物または建物の外観を示す画像等の、表示された場合にユーザに彼／彼女をナビゲートするのを補助する情報を提供するあらゆる他の種類のナビゲーション情報を備えてもよいことが理解されるだろう。また、ナビゲーション情報は駐車場という指標を備えてもよい。ナビゲーション情報はまた、ユーザの注意を画像におけるあるオブジェクトに向けさせるために重ね合わされた、インジケータであってもよい。インジケータは、例えば、ユーザの注意を交通標識に向けさせるために、その交通標識の周囲で重ね合わされる円または正方形であってもよい。
【００７８】
コンピュータ装置は、ユーザを正しい方向へ向かわせるのを補助し、ナビゲートするために、全ての種類のナビゲーション情報を計算してもよいナビゲーション機能を実行するように構成されてもよい。ナビゲーション機能は、測位システムを使用して、現在位置に対応するデジタルマップデータベースの一部を表示して、現在の位置を決定してもよい。ナビゲーション機能は、ストリートの名称、関心地点についての情報等の、表示されるべき現在位置と関連したナビゲーション情報を読み出す工程をさらに備えてもよい。
【００７９】
ナビゲーション機能は、出発地住所または現在位置から、特定の目的地の位置までのルートを計算する工程と、表示されるべきナビゲーション命令を計算する工程とをさらに備えてもよい。
【００８０】
ある実施形態によれば、画像は、ナビゲーション情報が関係する位置の画像である。従って、ナビゲーション情報が特定のジャンクションで取られるべき右折を示す矢印である場合、画像はそのジャンクションのビューを提供してもよい。実際、ユーザがそのジャンクションに近づくビュー方向に見られるようなジャンクションのビューを提供してもよい。
【００８１】
コンピュータ装置がメモリまたは遠隔メモリからそのような画像を取得するように構成される場合、コンピュータ装置は位置情報を選択して正しい画像を選択してもよい。それぞれの画像は、対応する位置情報と関連して格納されてもよい。位置情報に加えて、ビュー方向またはユーザの移動方向に対応する画像を選択するために方向情報が使用されてもよい。
【００８２】
ある実施形態によれば、アクション（２）はカメラから画像を取得する工程を備える。方法は、画像を生成する内蔵型カメラを備えるナビゲーション装置によって実行されてもよい。方法は、遠隔カメラから画像を受信するように構成されたナビゲーション装置によっても実行されてもよい。遠隔カメラは、例えば車両に取り付けられたカメラであってもよい。
【００８３】
それ故、コンピュータ装置はカメラを備えてもよくまたはカメラにアクセスしてもよく、アクション（２）はカメラから画像を取得する工程を備えてもよい。
【００８４】
さらなる実施形態によれば、アクション（２）は、メモリから画像を取得する工程を備えてもよい。メモリは画像を有するデータベースを備えてもよい。画像は、正しい画像、例えばナビゲーション情報に対応する画像の選択を可能にするために、ナビゲーション装置の位置情報および方向情報と関連して格納されてもよい。メモリは、方法を実行するコンピュータ装置（例えばナビゲーション装置）によって備えられてもよく、またはそれによってアクセス可能であってもよい。
【００８５】
コンピュータ装置は従ってメモリから画像を取得するように構成されてもよい。
【００８６】
ある実施形態によれば、アクション（２）で取得された画像は、アクション（２−１）での使用のために、画像に対応する深さ情報を備える。このことは図３ａおよび図３ｂを参照して以下でより詳細に説明される。
【００８７】
ある実施形態によれば、アクション（２）は、三次元カメラから画像を取得する工程を備える。三次元カメラは、画像および深さ情報を同時に撮像するように構成されてもよい。
【００８８】
上述したように、深さ情報を提供するために２つのレンズを有するカメラを使用して、立体視として既知の技術がこのために使用されてもよい。代替案によれば、深さセンサ（例えばレーザスキャナ）を備えるカメラがこのために使用されてもよい。それ故、コンピュータ装置１０は、三次元カメラ（ステレオカメラ）を備えてもよく、アクション（２）は三次元カメラから画像を取得する工程を備えてもよい。ある実施形態によれば、アクション（２−１）は、一連の画像を解析することによって深さ情報を読み出す工程を備える。これを行うために、アクション（２）は、（通常のカメラを使用して、すなわち三次元カメラではなく）異なる位置と関連した少なくとも２つの画像を取得する工程を備えてもよい。従って、アクション（２）は、１以上の画像を撮像するために、または、１以上の画像をメモリから読み出すために、カメラまたは同様のものを使用する工程を備えてもよい。アクション（２−１）は前のアクション（２）で取得された画像を取得する工程も備えてもよい。
【００８９】
一連の画像は解析されてもよく、画像の範囲内の異なる領域および／または画素に対して深さ情報を取得するために使用されてもよい。
【００９０】
従って、コンピュータ装置（例えばナビゲーション装置）は、一連の画像を解析することによって深さ情報を読み出す工程を備えるアクション（２−１）を実行するように構成されてもよい。
【００９１】
ある実施形態によれば、アクション（２−１）は、三次元マップデータベース等のデジタルマップデータベースから深さ情報を読み出す工程を備える。三次元マップデータベースは、ナビゲーション装置のメモリに格納されてもよく、または、（例えばインターネットまたは携帯電話ネットワークを使用して）ナビゲーション装置によってアクセス可能な遠隔メモリに格納されてもよい。三次元マップデータベースは、道路ネットワーク、ストリートの名称、一方通行のストリート、関心地点（ＰＯＦ）等についての情報を備えてもよく、建物、建物の入口／出口、木等のオブジェクトの所在地および三次元形状についての情報も含む。カメラの現在位置および方向を組み合わせて、ナビゲーション装置は、特定の画像と関連した深さ情報を計算し得る。車両またはナビゲーション装置に取り付けられたカメラから画像が取得される場合、カメラまたは車両からの位置情報および方向情報が必要とされる。これは、適切な慣性計測装置（ＩＭＵ）および／またはＧＰＳを使用することによって、および／または、このためのあらゆる他の適切なデバイスを使用することによって、提供されてもよい。
【００９２】
従って、コンピュータ装置（例えばナビゲーション装置）は、デジタルマップデータベースから深さ情報を読み出す工程を備えるアクション（２−１）を実行するように構成されてもよい。デジタルマップデータベースは、メモリに格納された三次元マップデータベースであってもよい。
【００９３】
深さ情報を読み出すためにデジタルマップデータベースを使用する場合、深さ情報を計算し、十分な正確性を持ってこれを画像にマッピングすることができるために、正確な位置情報および方向情報が要求されることが理解されるだろう。
【００９４】
ある実施形態によれば、アクション（２−１）は、深さセンサから深さ情報を取得する工程を備える。これは、内蔵型深さセンサであってもよく、または、コンピュータ装置と通信するように構成された遠隔深さセンサであってもよい。両方の場合で、深さ情報は画像にマッピングされなければならない。
【００９５】
一般に、画像への深さ情報のマッピングは、図４を参照してより詳細に説明されるアクション（３−１）および／または（３−３）で行われる。
【００９６】
図３ａは、アクション（２）で取得されてもよい画像を示し、図３ｂは、アクション（２−１）で取得されてもよい深さ情報を示す。深さ情報は図３ａに示される画像に対応する。図３ａおよび３ｂに示される画像および深さ情報は、三次元カメラを使用して取得されるが、通常のカメラまたは、カメラおよび適切に組み込まれたレーザスキャナまたはレーダの組み合わせを使用して取得された一連の画像を解析することによっても取得されてもよい。図３ａおよび３ｂに見られるように、このことは必要条件ではないことが理解されるけれども、実質的に各画像の画素に対して深さ情報が利用可能である。
【００９７】
画像およびナビゲーション情報の直観的な統合を達成するために、ジオ変換モジュールが提供されてもよく、それは、透視変換（perspective transformation）を使用してナビゲーション情報を変換して画像の視野と合致させるために、現在の位置および方向についての情報、画像の位置および深さ情報を使用してもよい。
【００９８】
画像および深さ情報は（三次元カメラ、外部データベースまたは一連の画像等の）ソースから得られ、深さ情報解析モジュールによって使用される。深さ情報解析モジュールは、深さ情報を使用して画像における領域を識別する。そのような領域は、例えば建物、道路表面、交通信号等と関係してもよい。
【００９９】
深さ情報解析モジュールおよびジオ変換モジュールの結果は、画像および重ね合わされたナビゲーション情報の組み合わせである組み合わせ画像を構成するために、構成モジュールによって使用される。構成モジュールは、異なる領域に対して異なるフィルタおよび／または異なる透明性を使用して、深さ情報解析モジュールからの領域と、ジオ変換されたナビゲーション情報とをマージして１つにまとめる。組み合わせ画像は、ナビゲーション装置のディスプレイ１８に出力されてもよい。
【０１００】
図４は、ある実施形態に従ったフロー図を示す。図４は、上述したようなアクション（３）のより詳細な実施形態を提供する。
【０１０１】
図４に示されるモジュールは、ソフトウェアモジュールだけでなくハードウェアモジュールであってもよいことが理解されるだろう。
【０１０２】
図４は、上述したようなアクション（１）、（２）および（２−１）を示し、その後に、より詳細に示され、アクション（３−１）、（３−２）および（３−３）を備えるアクション（３）が続く。
【０１０３】
ある実施形態によれば、アクション（３）は、（３−１）ナビゲーション情報に関してジオ変換アクションを実行する工程、を備える。
【０１０４】
このジオ変換アクションは、ナビゲーション情報が正確に画像に重ね合わされることを保証するために、ナビゲーション情報に関して実行されてもよい。これを達成するために、ジオ変換アクションは、ナビゲーション情報を、例えば、画像のｘ、ｙを現実世界における位置と関係付ける、および、画像を取得するために使用されるカメラの位置、方向および較正係数から得られる、座標である、画像と関連したローカル座標に変換する。ナビゲーション情報をローカル座標に変換することによって、ナビゲーション情報の形状が、画像の透視ビューと合致するように適合される。まさに二次元画像への三次元現実の透視投影であるので、当業者は、ローカル座標へのそのような変換がどのようにして実行され得るかを理解するだろう。また、ナビゲーション情報をローカル座標へ変換することによって、ナビゲーション情報が正確な位置で画像に重ね合わされることが保証される。
【０１０５】
このジオ変換アクションを実行するために、以下の入力が使用されてもよい。
【０１０６】
−深さ情報、
−ナビゲーション情報、
−位置および方向情報。
【０１０７】
場合により、カメラの較正情報も必要とされる。
【０１０８】
従って、ある実施形態によれば、（３）は、（３−１）ナビゲーション情報に関してジオ変換アクションを実行する工程を備え、ジオ変換アクションは、ナビゲーション情報をローカル座標に変換する工程を備える。これを行うことによって、ナビゲーション情報の方向だけでなく位置も、画像の視野に適合される。深さ情報を使用することによって、丘、スロープ、ナビゲーション装置／カメラの方向等を考慮して、ローカル座標へのこの変換が正確に実行されることが保証される。アクション（３−１）は、慣性計測装置（ＩＭＵ）等の、さらなる位置／方向システムからの入力を使用することによって、はるかに正確に実行されてもよい。
【０１０９】
そのようなＩＭＵからの情報は、ジオ変換アクションの結果を確認するおよび／または改良するために、追加の情報源として使用されてもよい。
【０１１０】
従って、コンピュータ装置は、（３−１）ナビゲーション情報に関してジオ変換アクションを実行する工程を備えるアクション（３）を実行するように較正されてもよい。
【０１１１】
アクション（３−１）は、 “標準”座標からローカル座標へナビゲーション情報を変換する工程を備えてもよい。
【０１１２】
さらなる実施形態によれば、アクション（３）は（３−２）深さ情報解析アクションを実行する工程を備える。この深さ情報解析アクションを実行するために、深さ情報が入力として使用されてもよい。
【０１１３】
ある実施形態によれば、アクション（３−２）は、画像における領域を識別する工程と、それぞれの識別された領域に対して、ナビゲーション情報を表示する方法を適合させる工程とを備える。
【０１１４】
深さ情報を使用することによって、異なる領域を識別することは比較的容易である。深さ情報において三次元点群が識別され得、比較的単純なパターン認識技術が、そのような点群がどのような種類の（車両、通行人、建物等の）オブジェクトを表すかを識別するために使用されてもよい。
【０１１５】
ある領域に対して、深さ情報解析アクションは、ナビゲーション情報がその特定の領域に画像によって表示されるオブジェクトの背後に存在することを示すために、透明な方法でナビゲーション情報を表示すること、または、画像におけるその領域に対してナビゲーション情報を少しも表示しないことを決定してもよい。ある領域は例えば交通信号または車両または建物であってもよい。透明な方法でナビゲーション情報を表示することによって、または、少しもナビゲーション情報を表示しないことによって、よりユーザフレンドリーで直観的なビューがユーザに対して創出される。
【０１１６】
それ故、コンピュータ装置は、（３−２）深さ情報解析アクションを実行する工程を備えるアクション（３−２）を実行するように構成されてもよい。
【０１１７】
アクション（３−２）は、画像における領域を識別する工程と、画像においてそれぞれ識別された領域に対してナビゲーション情報を表示する方法を適合させる工程とを備えてもよい。
【０１１８】
アクション（３−１）および（３−２）は、同時におよびお互いに相互作用して実行されてもよいことが理解されるだろう。言い換えると、深さ情報解析モジュールおよびジオ変換モジュールは、お互いに相互作用してもよい。そのような相互作用の例は、深さ情報解析モジュールおよび情報解析モジュールが、深さ情報に基づいてピッチ情報およびスロープ情報を計算してもよいことである。従って、同じピッチ値およびスロープ値の両方を計算する代わりに、モジュールのうちの１つは、スロープおよび／またはピッチを計算して使用してもよく、これは、両方の結果が一貫しているかどうかを確認するための追加の情報源である。最後に、アクション（３−３）において、組み合わせ画像が構成され、例えば、ナビゲーション装置のディスプレイ１８に出力される。このことは、構成モジュールによって行われてもよい。
【０１１９】
もちろん多くの他の種類のナビゲーション情報が画像に重ね合わされ得る。少なくとも１つの領域に対する表示モードは、どのようにナビゲーション情報が与えられるかを決定してもよい。例えば、ナビゲーション情報（例えば右折を示す矢印）は、矢印が交通標識、建物または車両の背後を通ることを視聴者に示すために、透明な方法で、または点線で、交通標識、建物または車両として識別された領域において与えられてもよく、その結果直観的な外観を創出する。これよりも多くの例が以下で提供される。
【０１２０】
従って、表示モードを選択する工程は、重ね合わせモードを選択する工程を含んでもよく、重ね合わせモードは、ナビゲーション情報がある識別された領域に表示される方法を決定する。
【０１２１】
アクション（ｅ）
アクション（ｅ）は最後に機能強化された画像を生成する工程を備える。もちろん、機能強化された画像の生成の後に、機能強化された画像は、それをユーザに与えるためにディスプレイ１８に表示されてもよい。
【０１２２】
例
以下に多数の例が示される。これらの例の組み合わせも採用されてもよく、より多くの例および変形が考えられてもよいことが理解されるだろう。
【０１２３】
重ね合わせモードの例
図５ａ乃至９を参照して以下で記述される例は全て、重ね合わせモードが異なる領域に対して設定される実施形態に関する。
【０１２４】
図５ａは、深さ情報を使用せずに、すなわち、ナビゲーション情報を二次元画像に描画して、ナビゲーション装置によって提供されてもよい結果ビューを描写する。
【０１２５】
図５ｂは、上述のような方法を実行する場合にナビゲーション装置によって提供されてもよい結果ビューを描写する。深さ情報を使用することによって、車両および標識だけではなく、右側の建物等のオブジェクトを認識ことが可能となる。従って、ナビゲーション情報は、例えばオブジェクトの背後に隠されるように、異なる領域に対して他の表示モードで表示され得、または、度の透明性で描画され得る。
【０１２６】
実施形態は、あいまいな操作決定等の、起こり得るあいまいなナビゲーション命令を提供する可能性を低減する。実施形態に従った深さ情報を使用することなく、ナビゲーション装置によって提供されてもよい組み合わせ画像を描写する図６ａを例えば参照されたい。実施形態に従った深さ情報を使用することによって、ユーザが最初のターンではなく第２のターンで右折すべきであることを明確に示す、図６ｂに示されるような組み合わせ画像が示されてもよい。右側の建物は、異なる領域として認識され、ナビゲーション情報（矢印）の表示モードはその領域に対して変更され、建物の背後に姿を消すことを示すために、実際には全く表示されない。
【０１２７】
実施形態の別の利点は、ジオ変換アクションは（矢印等の）ナビゲーション情報の再形成を可能にするという事実である。これが行われない場合、図７ａに示されるような組み合わせ画像が生じるかもしれないが、一方、ジオ変換アクション／モジュールの使用は、矢印が実際の道路表面にはるかに良く従う図７ｂに示される組み合わせ画像に帰結するかもしれない。ジオ変換アクション／モジュールは、画像を撮像するカメラの方向によって引き起こされるかもしれないスロープの影響およびピッチの影響を除去する。図７ｂの例では、矢印は、確実に可能ではあるけれども、建物の背後に隠されないことが留意される。
【０１２８】
上述したように、ナビゲーション情報は道路配置を備えてもよい。図８ａは、実施形態に従った深さ情報を使用せずに、ナビゲーション装置によって提供されてもよい組み合わせ画像を示す。図に示すように、道路配置は、車両および歩行者のようなオブジェクトを重複して表示される。実施形態を使用する場合、そのようなオブジェクトを備える画像における領域を識別すること、およびこの領域の範囲内の道路配置を表示しないこと（すなわち高度の透明性で表示することが可能である。この結果は図８ｂに示される。
【０１２９】
図９は、別の例を示す。この例によれば、ナビゲーション情報は、画像における標識に対応する標識であり、アクション（ｃ）において、ナビゲーション情報である標識が、ナビゲーション情報である標識は画像における標識よりもはるかに大きくなるように、画像に重ね合わされる。図９に示されるように、ナビゲーション情報である標識は、画像における標識から逸脱する位置に重ね合わされてもよい。ナビゲーション情報である標識が（ユーザにとって未だに視認可能でないかもしれない）画像における標識と関連付けられていることをさらに示すために、どの標識が重ね合わされているかを強調するために、線４０が重ね合わされてもよい。線４０は、画像における標識の実際の位置を示す線をさらに備えてもよい。
【０１３０】
従って、この実施形態によれば、アクション（ｃ）は、重ね合わされたナビゲーション情報と、画像におけるオブジェクトとの間の関係を示すために、線４０を表示する工程をさらに備える。もちろん、代替案によれば、ナビゲーション情報である標識は、画像における標識と重複するように重ね合わされてもよい。
【０１３１】
重ね合わせ線または画像における標識と重複するような重ね合わせは、深さ情報を使用することによって、比較的容易かつ正確に行われ得ることが理解されるだろう。
【０１３２】
カラーモードの例
図１０ａは、ここで提供される実施形態を採用することなく表示されるかもしれない画像の例を示す。
【０１３３】
図１０ｂは、実施形態の１つを採用した後に、すなわち、深さ情報を使用してバー−ビヤホール−タバコ−店の所在地を決定した後に提供されてもよい、同じ画像の例を示す。この店は領域として識別され、従って第１のカラーモード（黒−白）で表示され得、一方、他の領域は第２のカラーモード（グレー調を伴う黒−白）で表示される。深さ情報は、店の直接ビューをブロックする木、オートバイ、交通標識等の他の領域を容易に識別することを可能にする。これらの他の領域は従って、直観的な外観を提供する、第２のカラーモードで表示され得る。
【０１３４】
コンピュータプログラムおよび記憶媒体
ある実施形態によれば、コンピュータ装置１０が記述された何れかの方法を実行するのを可能にさせる、コンピュータ装置によってロードされ得るデータおよび命令を備えるコンピュータプログラムが提供される。コンピュータ装置は、図１を参照して上述されたようなコンピュータ装置１０であってもよい。
【０１３５】
さらなる実施形態によれば、そのようなコンピュータプログラムを備える記憶媒体が提供される。
【０１３６】
所見
重ね合わせという用語は、ある項目が他の項目上に表示されることを示すためだけには使用されず、画像の内容と関連して画像の範囲内の予め定められた位置にナビゲーション情報が配置され得ることを示すために使用されることが理解されるだろう。このように、画像の内容との空間的な関係であるように、ナビゲーション情報を重ね合わせることが可能である。従って、画像およびナビゲーション情報を１つにまとめる代わりに、ナビゲーション情報は、ナビゲーション情報が画像の内容と論理的な関係を有するように画像の範囲内に正確に配置され得る。
【０１３７】
上の記述は、例示的であり、限定的ではないことが意図される。従って、以下に並べられた請求の範囲を逸脱せずに記述されるような修正が発明についてなされてもよいことが当業者にとって明らかであろう。
【特許請求の範囲】
【請求項１】
プロセッサ（１１）および前記プロセッサにアクセス可能なメモリ（１２、１３、１４、１５）を備えるコンピュータ装置（１０）であって、前記メモリは、前記プロセッサ（１１）が、
（ａ）表示されるべき画像を取得する、
（ｂ）前記画像に関する深さ情報を取得する、
（ｃ）深さ情報を使用して前記画像において少なくとも１つの領域を識別する、
（ｄ）少なくとも１つの識別された領域に対する表示モードを選択する、
ことを可能にするように構成されたデータおよび命令を備えるコンピュータプログラムを備えることを特徴とするコンピュータ装置。
【請求項２】
前記プロセッサは、
（ｅ）機能強化された画像を生成する
ようにさらに構成されることを特徴とする請求項１に記載のコンピュータ装置。
【請求項３】
前記コンピュータ装置は、画像を取得するように構成されたカメラ（ＣＡ）を備えることを特徴とする請求項１または２に記載のコンピュータ装置。
【請求項４】
前記プロセッサ（１１）は、
−遠隔カメラ、
−メモリ（１２、１３、１４、１５）、
−遠隔メモリ、
のうちの１つから画像を取得するように構成されることを特徴とする請求項１乃至３の何れか１項に記載のコンピュータ装置。
【請求項５】
前記コンピュータ装置は、カメラによって取得された少なくとも２つの画像を解析することによって、深さ情報を取得するように構成されることを特徴とする請求項１乃至４の何れか１項に記載のコンピュータ装置。
【請求項６】
前記カメラがステレオカメラであることを特徴とする請求項５に記載のコンピュータ装置。
【請求項７】
前記コンピュータ装置は、深さ情報を取得するように構成されたスキャナを備えることを特徴とする請求項１乃至６の何れか１項に記載のコンピュータ装置。
【請求項８】
前記コンピュータ装置は、デジタルマップデータベースから深さ情報を取得するように構成されることを特徴とする請求項１乃至７の何れか１項に記載のコンピュータ装置。
【請求項９】
表示モードを選択することは、以下の表示モード、
−カラーモード、
−重ね合わせモード、
のうち少なくとも１つから表示モードを選択することを備えることを特徴とする請求項１乃至８の何れか１項に記載のコンピュータ装置。
【請求項１０】
ナビゲーション目的の画像を生成する方法であって、
（ａ）表示されるべき画像を取得する工程と、
（ｂ）前記画像に関する深さ情報を取得する工程と、
（ｃ）深さ情報を取得して前記画像において少なくとも１つの領域を識別する工程と、
（ｄ）少なくとも１つの識別された領域に対する表示モードを選択する工程と、
を備えることを特徴とする方法。
【請求項１１】
コンピュータ装置が請求項１０に記載の方法を実行することを可能にする、前記コンピュータ装置によってロードされ得るデータおよび命令を備えることを特徴とするコンピュータプログラム。
【請求項１２】
請求項１１に記載のコンピュータプログラムを備えることを特徴とするデータ記憶媒体。
【請求項１】
プロセッサ（１１）および前記プロセッサにアクセス可能なメモリ（１２、１３、１４、１５）を備えるコンピュータ装置（１０）であって、前記メモリは、前記プロセッサ（１１）が、
（ａ）表示されるべき画像を取得する、
（ｂ）前記画像に関する深さ情報を取得する、
（ｃ）深さ情報を使用して前記画像において少なくとも１つの領域を識別する、
（ｄ）少なくとも１つの識別された領域に対する表示モードを選択する、
ことを可能にするように構成されたデータおよび命令を備えるコンピュータプログラムを備えることを特徴とするコンピュータ装置。
【請求項２】
前記プロセッサは、
（ｅ）機能強化された画像を生成する
ようにさらに構成されることを特徴とする請求項１に記載のコンピュータ装置。
【請求項３】
前記コンピュータ装置は、画像を取得するように構成されたカメラ（ＣＡ）を備えることを特徴とする請求項１または２に記載のコンピュータ装置。
【請求項４】
前記プロセッサ（１１）は、
−遠隔カメラ、
−メモリ（１２、１３、１４、１５）、
−遠隔メモリ、
のうちの１つから画像を取得するように構成されることを特徴とする請求項１乃至３の何れか１項に記載のコンピュータ装置。
【請求項５】
前記コンピュータ装置は、カメラによって取得された少なくとも２つの画像を解析することによって、深さ情報を取得するように構成されることを特徴とする請求項１乃至４の何れか１項に記載のコンピュータ装置。
【請求項６】
前記カメラがステレオカメラであることを特徴とする請求項５に記載のコンピュータ装置。
【請求項７】
前記コンピュータ装置は、深さ情報を取得するように構成されたスキャナを備えることを特徴とする請求項１乃至６の何れか１項に記載のコンピュータ装置。
【請求項８】
前記コンピュータ装置は、デジタルマップデータベースから深さ情報を取得するように構成されることを特徴とする請求項１乃至７の何れか１項に記載のコンピュータ装置。
【請求項９】
表示モードを選択することは、以下の表示モード、
−カラーモード、
−重ね合わせモード、
のうち少なくとも１つから表示モードを選択することを備えることを特徴とする請求項１乃至８の何れか１項に記載のコンピュータ装置。
【請求項１０】
ナビゲーション目的の画像を生成する方法であって、
（ａ）表示されるべき画像を取得する工程と、
（ｂ）前記画像に関する深さ情報を取得する工程と、
（ｃ）深さ情報を取得して前記画像において少なくとも１つの領域を識別する工程と、
（ｄ）少なくとも１つの識別された領域に対する表示モードを選択する工程と、
を備えることを特徴とする方法。
【請求項１１】
コンピュータ装置が請求項１０に記載の方法を実行することを可能にする、前記コンピュータ装置によってロードされ得るデータおよび命令を備えることを特徴とするコンピュータプログラム。
【請求項１２】
請求項１１に記載のコンピュータプログラムを備えることを特徴とするデータ記憶媒体。
【図１】
【図２】
【図３ａ】
【図３ｂ】
【図４】
【図５ａ】
【図５ｂ】
【図６ａ】
【図６ｂ】
【図７ａ】
【図７ｂ】
【図８ａ】
【図８ｂ】
【図９】
【図１０ａ】
【図１０ｂ】
【図２】
【図３ａ】
【図３ｂ】
【図４】
【図５ａ】
【図５ｂ】
【図６ａ】
【図６ｂ】
【図７ａ】
【図７ｂ】
【図８ａ】
【図８ｂ】
【図９】
【図１０ａ】
【図１０ｂ】
【公表番号】特表２０１１−５２９５６８（Ｐ２０１１−５２９５６８Ａ）
【公表日】平成２３年１２月８日（２０１１．１２．８）
【国際特許分類】
【出願番号】特願２０１１−５２０３３０（Ｐ２０１１−５２０３３０）
【出願日】平成２０年７月３１日（２００８．７．３１）
【国際出願番号】ＰＣＴ／ＥＰ２００８／０６００８９
【国際公開番号】ＷＯ２０１０／０１２３１０
【国際公開日】平成２２年２月４日（２０１０．２．４）
【出願人】（５０９０９７５６３）テレ アトラス ベスローテン フエンノートシャップ (23)
【氏名又は名称原語表記】Ｔｅｌｅ Ａｔｌａｓ Ｂ．Ｖ．
【Ｆターム（参考）】
【公表日】平成２３年１２月８日（２０１１．１２．８）
【国際特許分類】
【出願日】平成２０年７月３１日（２００８．７．３１）
【国際出願番号】ＰＣＴ／ＥＰ２００８／０６００８９
【国際公開番号】ＷＯ２０１０／０１２３１０
【国際公開日】平成２２年２月４日（２０１０．２．４）
【出願人】（５０９０９７５６３）テレ アトラス ベスローテン フエンノートシャップ (23)
【氏名又は名称原語表記】Ｔｅｌｅ Ａｔｌａｓ Ｂ．Ｖ．
【Ｆターム（参考）】
[ Back to top ]