車両用表示処理システムおよび車両用表示処理方法並びにプログラム
【課題】表示部に表示させたい風景画像をより容易に指示可能とする。
【解決手段】車載カメラにより連続的に撮影された風景画像を取得し、風景画像のそれぞれを撮影時刻に関連付けて画像データＤＢに記憶させ、風景画像の撮影開始から撮影終了までの撮影時間に対応するタイムバー７２と、タイムバー７２上の位置をユーザにより指示可能に示すスライダー７３と、風景画像を撮影した際の走行経路沿いに存在するランドマークをタイムバー７２上の対応する位置にて示すランドマークアイコン７４ａ〜７４ｄと、を含む指示表示画像７１をディスプレイに表示させ、さらに、風景画像のうちタイムバー７２上のスライダー７３の位置に対応する撮影時刻に関連付けられた風景画像をディスプレイに表示させる。これにより、走行経路上のランドマークの時系列的な位置を把握した状態で表示する風景画像を指示可能となる。
【解決手段】車載カメラにより連続的に撮影された風景画像を取得し、風景画像のそれぞれを撮影時刻に関連付けて画像データＤＢに記憶させ、風景画像の撮影開始から撮影終了までの撮影時間に対応するタイムバー７２と、タイムバー７２上の位置をユーザにより指示可能に示すスライダー７３と、風景画像を撮影した際の走行経路沿いに存在するランドマークをタイムバー７２上の対応する位置にて示すランドマークアイコン７４ａ〜７４ｄと、を含む指示表示画像７１をディスプレイに表示させ、さらに、風景画像のうちタイムバー７２上のスライダー７３の位置に対応する撮影時刻に関連付けられた風景画像をディスプレイに表示させる。これにより、走行経路上のランドマークの時系列的な位置を把握した状態で表示する風景画像を指示可能となる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車両用表示処理システムおよび車両用表示処理方法並びにプログラムに関し、詳しくは、表示部に画像を表示させる車両用表示処理システムおよび車両用表示処理方法並びにプログラムに関する。
【背景技術】
【０００２】
従来、この種の車両用表示処理システムとしては、ドライブレコーダのメモリーカードに車両前方の常時記録画像を必要な情報と共に記録し、記録した常時記録画像を再生装置の表示部に表示する際に、車両加速度の急変などのイベントがマークされた時間グラフを作成し、マークが選択されたときに該当するイベントの発生時刻の数秒前から画像を再生するものが提案されている（例えば、特許文献１参照）。このシステムでは、これにより、常時記録画像中の見たい画像に容易にたどり着くことができるものとしている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１０−１３０５７７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、上述したような車両加速度の急変などのイベントによっては、運転者などの利用者は走行中に視認していた車両前方の風景を思い出すことができず、記録した風景画像を再生するときに、見たい画像に容易にたどり着くことができない場合があった。例えば、ナビゲーションシステムにおいて、地図上で地点登録する際に過去に撮影した風景画像を参考にする場合、車両加速度の急変などのイベントからは見たい画像に容易にたどり着くことができず、地点登録するのに時間を要する場合があった。
【０００５】
本発明の車両用表示処理システムおよび車両用表示処理方法並びにプログラムは、表示部に表示させたい風景画像をより容易に指示可能とすることを主目的とする。
【課題を解決するための手段】
【０００６】
本発明の車両用表示処理システムおよび車両用表示処理方法並びにプログラムは、上述の主目的を達成するために以下の手段を採った。
【０００７】
本発明の車両用表示処理システムは、
表示部に画像を表示させる車両用表示処理システムであって、
車両前方の風景を撮影する車載カメラにより連続的に撮影された風景画像を取得する風景画像取得手段と、
前記連続的に撮影された風景画像のそれぞれを撮影時刻に関連付けて記憶部に記憶させる風景画像記憶処理手段と、
前記連続的に撮影された風景画像の撮影開始から撮影終了までの撮影時刻を時系列的に線として示す時系列的線アイテムと、前記時系列的線アイテム上の位置を利用者により指示可能に示す時刻位置アイテムと、前記連続的な風景画像を撮影した際の走行経路沿いに存在するランドマークを前記時系列的線アイテム上の対応する位置にて示すランドマークアイテムと、を含む時系列的指示表示を前記表示部の表示領域のうち予め定められた指示表示領域に表示させる共に、前記連続的な風景画像のうち前記時系列的線アイテム上の前記時刻位置アイテムの位置に対応する撮影時刻に関連付けられた風景画像を前記表示部の表示領域のうち予め定められた風景画像表示領域に表示させる表示処理手段と、
を備えることを要旨とする。
【０００８】
この本発明の車両用表示処理システムでは、車両前方の風景を撮影する車載カメラにより連続的に撮影された風景画像を取得し、連続的に撮影された風景画像のそれぞれを撮影時刻に関連付けて記憶部に記憶させる。そして、連続的に撮影された風景画像の撮影開始から撮影終了までの撮影時刻を時系列的に線として示す時系列的線アイテムと、時系列的線アイテム上の位置を利用者により指示可能に示す時刻位置アイテムと、連続的な風景画像を撮影した際の走行経路沿いに存在するランドマークを時系列的線アイテム上の対応する位置にて示すランドマークアイテムと、を含む時系列的指示表示を表示部の表示領域のうち予め定められた指示表示領域に表示させる。さらに、連続的な風景画像のうち時系列的線アイテム上の時刻位置アイテムの位置に対応する撮影時刻に関連付けられた風景画像を表示部の表示領域のうち予め定められた風景画像表示領域に表示させる。したがって、表示部の指示表示領域において、風景画像を撮影した際の走行経路沿いに存在するランドマークを示すランドマークアイテムが時系列的線アイテム上の対応する位置に表示されている状態で、利用者は時系列的線アイテム上の時刻位置アイテムの位置を指示（例えば、変更指示や選択指示）可能となる。これにより、走行経路上のランドマークの時系列的な位置を把握した状態で、利用者は連続的に（即ち、動画として）撮影された風景画像のうち風景画像表示領域に表示する風景画像を指示することができる。この結果、ランドマークが走行中に運転者などの利用者により視認されると記憶に残りやすいことを考えると、表示部に表示させたい風景画像をより容易に指示可能とすることができる。ここで、「ランドマーク」は、目印となり得る地点や対象物であり、施設や建造物，景勝地などが含まれる。なお、「撮影時刻」は、年月日または月日を表す日付と時分秒または時分を表す時刻との組み合わせにより表されるものとしてもよいし、時分秒または時分を表す時刻により表されるものとしてもよい。
【０００９】
こうした本発明の車両用表示処理システムにおいて、前記風景画像記憶処理手段は、前記連続的に撮影された風景画像のそれぞれを、前記撮影時刻と共に撮影時の地図上の自車位置を示す撮影位置に関連付けて前記記憶部に記憶させ、前記表示処理手段は、前記時系列的指示表示の前記指示表示領域への表示および前記風景画像の前記風景画像表示領域への表示に加えて、前記時系列的線アイテム上の前記時刻位置アイテムの位置に対応する撮影時刻と共に風景画像に関連付けられた撮影位置を、該撮影位置周辺の地図と共に、前記表示部の表示領域のうち予め定められた地図表示領域に表示させる、ものとすることもできる。こうすれば、表示部に表示させたい風景画像と共にその撮影位置を含む地図を表示させることができる。ここで、撮影位置周辺の地図は、予め定められた縮尺のものとすることができ、該地図上のランドマークを該地図の縮尺に応じて含むものとすることができる。また、撮影位置周辺の地図は、例えば、地点登録用に表示させるものとすることもできる。撮影位置周辺の地図を地点登録用に表示させる場合、利用者は撮影位置からの風景画像を見ながらその撮影位置周辺の地図上の任意の地点の地点登録を行なうことができる。
【００１０】
この表示部に撮影位置を撮影位置周辺の地図と共に表示させる態様の本発明の車両用表示処理システムにおいて、前記表示処理手段は、前記指示表示領域上で表示されている前記ランドマークアイテムのうちいずれかが選択されたときには、該選択されたランドマークアイテムの前記時系列的線アイテム上の位置に対応するよう前記時刻位置アイテムの前記時系列的線アイテム上の位置を変更する、ものとすることもできる。こうすれば、ランドマークアイテムを選択することによって、走行経路上のランドマークに対応する撮影時刻の風景画像を表示することができると共に、その風景画像の撮影位置を含む地図を表示することができる。ここで、撮影位置周辺の地図は、例えば、予め定められた縮尺のものや、該地図上のランドマークを該地図の縮尺に応じて含むもの、地点登録用に表示させるものなどとすることができる。撮影位置周辺の地図を地点登録用に表示させる場合、利用者は選択したランドマークに対応する撮影時刻の風景画像を見ながらその撮影位置周辺の地図上の任意の地点の地点登録を行なうことができる。この場合にランドマークが走行中に運転者などの利用者により視認されると記憶に残りやすいことを考えると、利用者はより容易に地点登録を行なうことができる。
【００１１】
この選択されたランドマークアイテムの位置に応じて時刻位置アイテムの位置を変更する態様の本発明の車両用表示処理システムにおいて、前記表示部に表示された地図上で利用者により選択される任意の地点を登録地点として地点登録を行なう地点登録手段と、目的地が設定されたときに該設定された目的地への経路案内を行なう経路案内手段と、を備え、前記地点登録手段は、前記表示手段の前記指示表示領域上で表示されている前記ランドマークアイテムのうちいずれかの選択を伴って地点登録を行なうときには、前記登録地点を前記選択されたランドマークアイテムが示す前記ランドマークに関連付けて地点登録を行ない、前記経路案内手段は、前記ランドマークに関連付けられた前記登録地点を目的地に設定して経路案内を行なうときには、前記登録地点に関連付けられたランドマークを地図表示と音声出力との少なくとも一方による案内に用いて経路案内を行なう、ものとすることもできる。こうすれば、ランドマークを登録地点に関連付けると共に登録地点に関連付けられたランドマークを用いて経路案内を行なうことができる。また、ランドマークは走行中に運転者などの利用者により視認されると記憶に残りやすいことを考えると、ランドマークアイテムの選択を伴って地点登録が行なわれたときのランドマークと登録地点とは、利用者の記憶の中で互いに関連性が高いと考えることができる。したがって、こうして登録地点に関連付けられたランドマークを用いて経路案内を行なうことにより、より適正に経路案内を行なうことができる。ここで、表示されているランドマークアイテムのうちいずれかの選択を伴って地点登録を行なうときとしては、ランドマークアイテムの選択により選択されたランドマークアイテムに対応するランドマークを含む地図が地図表示領域に表示されている状態から所定の地図表示処理（例えば、地図の縮尺を変更したり地図をスクロールさせたりするなど、地点登録処理を中止しない処理）が行なわれる範囲内で地点登録を行なうときなどが含まれる。
【００１２】
この登録地点をランドマークに関連付けて地点登録を行ない経路案内を行なう態様の本発明の車両用表示処理システムにおいて、前記登録地点に関連付けられたランドマークから前記登録地点までの距離と交差点での右左折数との少なくとも一方に基づく走行の困難さの程度が所定程度未満か否かを判定する走行困難程度判定手段を備え、前記地点登録手段は、前記走行の困難さの程度が前記所定程度未満と判定されたときにのみ前記登録地点を前記ランドマークに関連付けて地点登録を行なう、ものとすることもできる。この場合、前記地点登録手段は、前記走行の困難さの程度が前記所定程度以上と判定されたときには前記登録地点を前記ランドマークに関連付けることなく地点登録を行なう、ものとすることができる。こうすれば、選択されたランドマークアイテムに対応するランドマークのうちランドマークから登録地点までの走行の困難さの程度が高いランドマークが経路案内に用いられるのを抑制することができる。ここで、「所定程度」としては、前記ランドマークを前記登録地点への経路案内に用いるのが有効でない範囲の下限値として予め定められたものなどを用いることができる。
【００１３】
また、本発明の車両用表示処理システムにおいて、前記風景画像に対して所定の画像認識処理を施すことにより前記ランドマークを認識するランドマーク認識手段を備え、前記表示処理手段は、前記ランドマーク認識手段により認識された前記ランドマークを前記時系列的線アイテム上の対応する位置にて示す前記ランドマークアイテムを、前記指示表示領域に表示させる、ものとすることもできる。こうすれば、車両の走行中に運転手などの利用者から実際に視認された可能性が高いランドマークを示すランドマークアイテムを時系列的線アイテム上に表示させることができる。この場合、前記ランドマーク認識手段は、複数種類のランドマークのうち予め選択された特定種類のランドマークを認識する、ものとすることもできる。こうすれば、ランドマークを認識するための所定の画像認識処理による演算量を抑制することができる。また、利用者が視認したときに特に記憶に残りやすいランドマークを特定種類のランドマークとして予め選択しておくことにより、利用者は表示部に表示させたい風景画像をより容易に指示することができる。
【００１４】
さらに、本発明の車両用表示処理システムにおいて、前記表示処理手段は、前記指示表示領域上で表示されている前記ランドマークアイテムのうちいずれかが選択されたときには、前記選択されたランドマークアイテムの前記時系列的線アイテム上の位置に対応する撮影時刻を含む所定時間を前記時系列的線アイテムが表示する時間範囲として前記指示表示領域への表示を行なう、ものとすることもできる。こうすれば、連続的に撮影された風景画像の撮影開始から撮影終了までの時間が比較的長い場合、ランドマークアイテムを選択することによって、時系列的線アイテム上のランドマークアイテムの位置に対応する撮影時刻を識別しやすくすることができる。ここで、「所定時間」としては、時系列的線アイテム上で撮影時刻を識別しやすい時間として予め定められたものなどを用いることができる。
【００１５】
あるいは、本発明の車両用表示処理システムにおいて、前記時系列的指示表示は、前記連続的な風景画像の撮影開始から撮影終了までの時間に対応するタイムバーと前記タイムバー上をスライド可能なスライダーとをそれぞれ前記時系列的線アイテムと前記時刻位置アイテムとして含む、ものとすることもできる。
【００１６】
また、本発明の車両用表示処理システムにおいて、前記時系列的指示表示は、前記連続的な風景画像の撮影開始から撮影終了までの地図上の車両の走行経路を示す撮影経路と該撮影経路上で位置を変更可能な所定マークとをそれぞれ前記時系列的線アイテムと前記時刻位置アイテムとして含むと共に、前記指示表示領域に前記撮影経路の全体を表示可能な最大縮尺による地図である、ものとすることもできる。ここで、「所定マーク」は、車両を示すマークなどを用いることができる。
【００１７】
本発明の車両用表示処理方法は、
表示部に画像を表示させる車両用表示処理方法であって、
（ａ）車両前方の風景を撮影する車載カメラにより連続的に撮影された風景画像を取得するステップと、
（ｂ）前記連続的に撮影された風景画像のそれぞれを撮影時刻に関連付けて記憶部に記憶させるステップと、
（ｃ）前記連続的に撮影された風景画像の撮影開始から撮影終了までの撮影時刻を時系列的に線として示す時系列的線アイテムと、前記時系列的線アイテム上の位置を利用者により指示可能に示す時刻位置アイテムと、前記連続的な風景画像を撮影した際の走行経路沿いに存在するランドマークを前記時系列的線アイテム上の対応する位置にて示すランドマークアイテムと、を含む時系列的指示表示を前記表示部の表示領域のうち予め定められた指示表示領域に表示させる共に、前記連続的な風景画像のうち前記時系列的線アイテム上の前記時刻位置アイテムの位置に対応する撮影時刻に関連付けられた風景画像を前記表示部の表示領域のうち予め定められた風景画像表示領域に表示させるステップと、
を含むことを特徴とする。
【００１８】
この本発明の車両用表示処理方法では、表示部の指示表示領域において、風景画像を撮影した際の走行経路沿いに存在するランドマークを示すランドマークアイテムが時系列的線アイテム上の対応する位置に表示されている状態で、利用者は時系列的線アイテム上の時刻位置アイテムの位置を指示（例えば、変更指示や選択指示）可能となる。これにより、走行経路上のランドマークの時系列的な位置を把握した状態で、利用者は連続的に（即ち、動画として）撮影された風景画像のうち風景画像表示領域に表示する風景画像を指示することができる。この結果、ランドマークが走行中に運転者などの利用者により視認されると記憶に残りやすいことを考えると、表示部に表示させたい風景画像をより容易に指示可能とすることができる。ここで、「ランドマーク」は、目印となり得る地点や対象物であり、施設や建造物，景勝地などが含まれる。なお、「撮影時刻」は、年月日または月日を表す日付と時分秒または時分を表す時刻との組み合わせにより表されるものとしてもよいし、時分秒または時分を表す時刻により表されるものとしてもよい。
【００１９】
本発明のプログラムは、上述した車両用表示処理方法の各ステップを１以上のコンピュータに実現させるためのものである。このプログラムは、コンピュータが読み取り可能な記録媒体（例えばハードディスク、ＲＯＭ、ＦＤ、ＣＤ、ＤＶＤなど）に記録されていてもよいし、伝送媒体（インターネットやＬＡＮなどの通信網）を介してあるコンピュータから別のコンピュータへ配信されてもよいし、その他どのような形で授受されてもよい。このプログラムを一つのコンピュータに実行させるか又は複数のコンピュータに分担して実行させれば、上述した車両用表示処理方法の各ステップが実現されるため、その表示処理方法と同様の作用効果が得られる。
【図面の簡単な説明】
【００２０】
【図１】本発明の一実施例としてのナビゲーション装置２０を含むナビゲーションシステム１０の構成の概略を示す構成図である。
【図２】電子制御ユニット３０の地点登録処理部６４により画像処理部６８と連携して実行される風景画像処理ルーチンの一例を示すフローチャートである。
【図３】電子制御ユニット３０の地点登録処理部６４により実行される地点登録処理ルーチンの一例を示すフローチャートである。
【図４】電子制御ユニット３０の経路案内処理部６６により実行される経路案内処理ルーチンの一例を示すフローチャートである。
【図５】風景画像をその撮影情報と共にＨＤＤ４０に記憶する様子の一例とＨＤＤ４０に記憶されたデータの一例と示す説明図である。
【図６】撮影経路指定用画面７０の一例を示す説明図である。
【図７】ディスプレイ２２の表示領域２３のうち指示表示領域２３ａと風景画像表示領域２３ｂと地図表示領域２３ｃとの組み合わせの一例を示す説明図である。
【図８】指示表示画像７１と風景画像７６と地図画像７８との組み合わせの一例を示す説明図である。
【図９】ランドマークアイテムの選択を伴わずに地点登録を行なう様子の一例を示す説明図である。
【図１０】タイムバー７２上のランドマークアイコン７４ｂが選択されたときの表示の様子の一例を示す説明図である。
【図１１】ランドマークアイコン７４ｂの選択を伴って地点登録を行なったときの様子の一例を示す説明図である。
【図１２】ランドマークアイコン８６に対応する選択ランドマークを用いて経路案内を行なう様子の一例を示す説明図である。
【図１３】ランドマークアイコン８９に対応する選択されなかったランドマークを用いずに経路案内を行なう様子の一例を示す説明図である。
【図１４】登録地点（目的地）に関連付けられた選択ランドマークを用いた経路案内が禁止されるときの様子の一例を説明する説明図である。
【図１５】登録地点（目的地）に関連付けられた選択ランドマークを用いた経路案内が許可されるときの様子の一例を説明する説明図である。
【図１６】変形例の指示表示画像１７１を表示する様子を示す説明図である。
【図１７】変形例の指示表示画像２７１を表示する様子を示す説明図である。
【図１８】変形例の指示表示画像３７１を表示する様子を示す説明図である。
【図１９】変形例の風景画像４７６を表示する様子を示す説明図である。
【発明を実施するための形態】
【００２１】
次に、本発明を実施するための形態を実施例を用いて説明する。
【実施例】
【００２２】
図１は、本発明の一実施例としてのナビゲーション装置２０を含むナビゲーションシステム１０の構成の概略を示す構成図である。実施例のナビゲーションシステム１０は、図示しない車両（自動車）に搭載された各種センサを中心とする車載装置１２と、図示しない車載バッテリからの電力供給を受けて作動するナビゲーション装置２０とを備える。実施例のナビゲーション装置２０は、図示するように、文字や画像を表示する矩形状の画面を有する例えば液晶ディスプレイや有機エレクトロルミネッセンスディスプレイなどとして構成されたディスプレイ２２と、ディスプレイ２２の画面に取り付けられた例えば抵抗膜方式や静電容量方式などによるタッチパネル２４と、装置全体をコントロールする電子制御ユニット３０と、各種アプリケーションソフトウェアや地図データなどを記憶する大容量メモリとしてのハードディスクドライブ（以下、ＨＤＤという）４０とを備える。
【００２３】
電子制御ユニット３０は、ＣＰＵ３２を中心とするマイクロプロセッサとして構成されており、ＣＰＵ３２の他に各種処理プログラムを記憶するＲＯＭ３４と、データを一時的に記憶するＲＡＭ３６と、記憶したデータを保持する不揮発性のフラッシュメモリ３８と、図示しない入出力ポートとを備える。電子制御ユニット３０には、操作者のタッチ位置を検出するタッチパネル２４からの信号やＨＤＤ４０から読み出したデータの他に、車載装置１２からの各種信号が車内ネットワーク経由で入力ポートを介して入力されている。車載装置１２からの信号としては、ＧＰＳ（Global Positioning System）衛星からの信号をＧＰＳアンテナを介して受信するＧＰＳ受信機５０からの信号，車両の駆動軸や車輪が一定量回転する毎にパルス信号を出力する車速センサ５２からの信号，車両の進行方位やその変化を検出する例えばジャイロセンサにより構成された方位センサ５４からの信号，車両前方に設置されて車両前方の風景画像を動画や静止画として撮影可能なカメラ５６からの信号（撮影画像）などがある。電子制御ユニット３０からは、ディスプレイ２２への表示信号やアンプを内蔵したスピーカ２６への音声信号，ＨＤＤ４０に書き込むデータなどが出力ポートを介して出力されている。
【００２４】
実施例のナビゲーション装置２０では、電子制御ユニット３０は、ＨＤＤ４０から必要なアプリケーションソフトウェアや地図データを読み出して各種処理を実行する。例えば、ハードウェア又はソフトウェア或いはその組み合わせにより実現される機能を表す図１の機能ブロックに示すように、電子制御ユニット３０は、ＧＰＳ受信機５０からの信号や方位センサ５４からの信号などに基づいて車両の現在位置である自車位置を特定するロケーション処理部６０によるロケーション処理，地図データを用いてディスプレイ２２に地図を表示する地図表示処理部６２による地図表示処理，地図上の任意の地点を登録地点として地点登録を行なう地点登録処理部６４による地点登録処理，自車位置などの出発地から登録地点などの目的地への走行経路を探索して地図表示処理部６２による地図表示やスピーカ２６からの音声出力により経路案内を行なう経路案内処理部６６による経路案内処理，これらの処理に用いられる画像処理部６８による各種画像処理などを実行する。なお、地図データは、ＨＤＤ４０の地図データ用データベース（以下、地図データＤＢという）４２に記憶されており、地図データＤＢ４２には、道路情報や施設情報などが含まれる。道路情報には、例えば各道路の両端のノードが示す地図上の位置（緯度及び経度），各道路の距離，地域（市街地，郊外），種別（一般道路，高速道路），勾配，信号機の数などが含まれる。また、施設情報には、ランドマークに関する情報が含まれる。ランドマークは、施設や建造物，景勝地などを含み、より具体的には、特徴的な店舗のマーク（店舗壁面や看板に付されたマークなど）や建造物の形状などを含む、目印となり得る地点や対象物である。
【００２５】
電子制御ユニット３０による地点登録処理は、基本的には、ディスプレイ２２に地点登録可能に表示されている所定の縮尺以上（詳細側）の地図上で、タッチパネル２４の操作としてユーザが任意の地点をタッチしたときに、タッチした地点の地図上の位置（緯度及び経度）をフラッシュメモリ３８の所定領域に登録地点として記憶することにより行なわれる。登録地点は、ユーザにより必要に応じて入力される名称や地図上で非表示とすることも可能なアイコン（マーク）の情報などと共に記憶される。また、実施例の地点登録処理では、車両の走行中にカメラ５６により車両前方の風景画像を連続的に（動画として）撮影して撮影情報と共にＨＤＤ４０に記憶しておくことにより、記憶した風景画像の動画を再生しながら風景画像の撮影位置周辺の地図を地点登録可能にディスプレイ２２に表示し、ユーザが地図上で任意の地点をタッチしたときに、タッチした地点をフラッシュメモリ３８の所定領域に登録地点として記憶することも行なわれる。風景画像に関するデータは、ＨＤＤ４０の風景画像データ用データベース（以下、画像データＤＢという）４４に記憶される。
【００２６】
次に、こうして構成された実施例のナビゲーション装置２０の動作、特に、動画撮影された風景画像を記憶する際と、動画撮影された風景画像を再生しながら地点登録を行なう際と、登録地点への経路案内を行なう際との動作について説明する。図２は、電子制御ユニット３０の地点登録処理部６４により画像処理部６８と連携して実行される風景画像処理ルーチンの一例を示すフローチャートであり、図３は、電子制御ユニット３０の地点登録処理部６４により実行される地点登録処理ルーチンの一例を示すフローチャートであり、図４は、電子制御ユニット３０の経路案内処理部６６により実行される経路案内処理ルーチンの一例を示すフローチャートである。図２のルーチンは、ユーザにより風景画像の撮影開始が指示されてから撮影終了が指示されるまでの車両の走行中に所定時間毎に繰り返し実行され、図３のルーチンは、ユーザにより地点登録の処理開始が指示されたときに実行され、図４のルーチンは、ユーザにより目的地が設定されたときに実行される。図２のルーチンの実行間隔である所定時間は、カメラ５６により撮影される動画としての風景画像の撮影時および再生時のフレームレートの逆数に相当する時間（例えば、数十ｍｓｅｃ毎や数百ｍｓｅｃ）として予め定められたものが用いられる。以下、風景画像処理，地点登録処理，経路案内処理の順に説明する。
【００２７】
図３の風景画像処理ルーチンが実行されると、電子制御ユニット３０のＣＰＵ３２は、まず、本ルーチンが実行されたときにカメラ５６により撮影された１枚の風景画像，この風景画像を撮影したときの自車位置（以下、撮影位置という）および日時（以下、撮影時刻という），ランドマークの予め定められた特定種類を示す情報（以下、特定種類ランドマーク情報という）など風景画像処理に必要なデータを入力し（ステップＳ１００）、入力した風景画像と撮影位置と撮影時刻とを互いに関連付けてＨＤＤ４０に記憶する処理を実行する（ステップＳ１１０）。ここで、風景画像は、カメラ５６により動画として連続的に撮影される画像の１つをカメラ５６から入力するものとした。風景画像の撮影位置は、本ルーチンが実行されたときにロケーション処理部６０により特定されている自車位置を入力するものとした。風景画像の撮影時刻は、図示しないタイマにより計時されて年月日時分秒（例えば、１ｍｓｅｃ単位）により表されている現在時刻を入力するものとした。また、特定種類ランドマーク情報は、図示しない特定種類ランドマーク選択ルーチンを予め実行することにより、地図表示可能な複数種類のランドマークのうちユーザにより選択された特定種類のランドマークを示す情報として、フラッシュメモリ３８に記憶されたものを入力するものとした。
【００２８】
図５に、風景画像をその撮影情報と共にＨＤＤ４０に記憶する様子の一例とＨＤＤ４０に記憶されたデータの一例とを示す。図示するように、カメラ５６により撮影された風景画像は、ＨＤＤ４０の画像データＤＢ４４に撮影位置や撮影時刻などの撮影情報と共に順次記憶される。また、ＨＤＤ４０の地図データＤＢ４２には、ランドマークに関する情報として、ランドマーク毎に、ランドマークの種類，地図上の位置（緯度及び経度），地図表示等に用いられるアイコン（マーク），風景画像の中からランドマークを認識するための所定の画像認識処理に用いられる照合データなどの組み合わせからなるデータが記憶されている。図中、地図データＤＢ４２には、種類が「Ａ店」，「Ｂ店」，「Ｃ社」，「Ｄビル」のランドマークについての計４組の情報が例示されている。以下、実施例では、地図表示可能な複数種類のランドマークのうち、「Ａ店」，「Ｂ店」，「Ｃ社」，「Ｄビル」の４種類のランドマークがユーザにより予め選択された特定種類のランドマークであるものとして、説明を行なう。また、図中、画像データＤＢ４４に記憶される撮影情報の一部としての特定種類ランドマーク情報は、撮影情報の一部として記憶される場合と撮影情報の一部として記憶されない場合があるが、詳しくは、後述する。
【００２９】
こうしてデータを入力して記憶すると、地図データＤＢ４２の地図データを用いて、車両の走行道路沿いで風景画像の撮影位置（自車位置）から予め定められた認識可能距離内に特定種類のランドマークがあるか否かを確認し（ステップＳ１２０）、地図データを用いて撮影位置から認識可能距離内に特定種類のランドマークがないことが確認された場合には（ステップＳ１３０）、そのまま風景画像処理ルーチンを終了する。ここで、認識可能距離は、実施例では、走行中に運転者により車両前方にランドマークが存在するのを視認可能な距離範囲の上限値として予め実験などにより求められたもの（例えば、数十メートルや百数十メートルなど）を用いるものとした。また、車両の走行道路沿いにランドマークがあるか否かや、ランドマークが撮影位置から認識可能距離内にあるか否か、ランドマークが特定種類のものであるか否かは、地図データＤＢ４２の道路情報（道路の位置や距離の情報）と施設情報（ランドマークの種類や位置の情報）とを用いて確認することができる。こうして撮影位置から認識可能距離内に特定種類のランドマークがないことが確認されて、本ルーチンを終了したときには、走行中に車両からみた風景画像の１枚が撮影位置と撮影時刻と共にＨＤＤ４０の画像データＤＢ４４に記憶されたことになる。この場合、撮影情報の一部として特定種類ランドマーク情報は記憶されない。なお、実施例では、ＨＤＤ４０における画像データＤＢ４４の記憶容量は、風景画像の撮影開始から撮影終了までの走行を複数回行なってデータを記憶することが可能な程度に十分大きな容量であるものとし、画像データＤＢ４４の記憶容量の全てが使用された場合には、時系列上で最も古い１回分の走行に対応する風景画像とその撮影情報とを画像データＤＢ４４から削除するものとした。
【００３０】
地図データを用いて撮影位置から認識可能距離内に特定種類のランドマークがあることが確認された場合には（ステップＳ１３０）、入力して記憶した風景画像に対してランドマーク認識用に予め定められた画像認識処理（以下、ランドマーク用画像認識処理という）を施すことによって（ステップＳ１４０）、風景画像の中に特定種類のランドマークがあるか否かを判定する（ステップＳ１５０）。このランドマーク用画像認識処理による判定は、例えば、以下のように行なうことができる。まず、撮影された風景画像のうち特定種類のランドマークが存在する可能性がある領域の画像を切り出し、切り出した画像に対してエッジ検出処理などを施すことにより特徴点を抽出して二値化した特徴点画像を作成し、作成した特徴点画像に対してノイズ除去処理などを施して、判定用データを作成する。そして、作成した判定用データの中に、特定種類のランドマークの特徴点を抽出して二値化した照合データ（図５の地図データＤＢ４２参照）に相当する部分があるか否かを調べ、判定用データの中に照合データに相当する部分があると判定されたときに、風景画像の中に特定種類のランドマークがあると判定する。なお、ランドマーク用画像認識処理としてのエッジ検出処理やノイズ除去処理などは、画像認識処理における周知な手法であるため、これ以上詳細な説明は省略する。
【００３１】
ランドマーク用画像認識処理によっても風景画像の中に特定種類のランドマークがあると認識（判定）されないときには（ステップＳ１４０，Ｓ１５０）、ランドマークは地図上に存在するが運転者から視認可能でないと判断し、そのまま風景画像処理ルーチンを終了する。一方、ランドマーク用画像認識処理によって風景画像の中に特定種類のランドマークがあると認識（判定）されたときには（ステップＳ１４０，Ｓ１５０）、地図上存在するランドマークは運転者から視認可能と判断し、特定種類ランドマーク情報を風景画像の撮影時刻に関連付けて、風景画像と共に撮影情報の一部として記憶して（ステップＳ１６０）、風景画像処理ルーチンを終了する。こうしてランドマーク用画像認識処理により風景画像の中に特定種類のランドマークがあると認識されて、本ルーチンを終了したときには、走行中に車両からみた風景画像の１枚が撮影位置と撮影時刻と特定種類ランドマーク情報と共にＨＤＤ４０の画像データＤＢ４４に記憶されたことになる。この風景画像処理では、撮影位置から認識可能距離内に特定種類のランドマークがあることが地図データを用いて確認された場合にのみ、風景画像に対してランドマーク用画像認識処理を施して特定種類のランドマークの有無を判定するから、風景画像に対するランドマークを認識するための画像認識処理による演算量を抑制することができる。なお、図２の風景画像処理ルーチンは、ステップＳ１４０の所定の画像認識処理が画像処理部６８により実行される点を除いて、電子制御ユニット３０の地点登録処理部６４により実行される。以上、風景画像処理について説明した。次に、地点登録処理について説明する。
【００３２】
図４の地点登録処理ルーチンが実行されると、電子制御ユニット３０のＣＰＵ３２は、まず、カメラ５６により風景画像を撮影した際の撮影開始から撮影終了までの走行経路（以下、撮影経路ともいう）が指定された場合であるか否かを調べ（ステップＳ２００）、撮影経路が指定された場合でないときには、地点登録処理としての通常処理を行なって（ステップＳ２１０）、地点登録処理ルーチンを終了する。ここで、通常処理は、前述したように、ディスプレイ２２地点登録可能に表示されている所定の縮尺以上（詳細側）の地図上で、タッチパネル２４の操作としてユーザが任意の地点をタッチしたときに、タッチした地点の地図上の位置（緯度及び経度）をフラッシュメモリ３８の所定領域に登録地点として記憶することにより行なわれる。また、撮影経路が指定された場合であるか否かの判定は、実施例では、図６に例示する撮影経路指定用画面７０の１つ以上（図６の例では２つ）の撮影経路指定ボタン７０ａ，７０ｂのうちのいずれかがタッチされ選択されて本ルーチンが実行されたか否かを判定することにより行なうものとした。図６中、撮影経路指定ボタン７０ａは、２０１１年８月１日の１３時５分から同日の１５時３６分までを風景画像の撮影開始時刻と撮影終了時刻として走行した際の走行経路に相当するものであり、撮影経路指定ボタン７０ｂは、撮影経路指定ボタン７０ａに相当する走行経路よりも前に走行した際の走行経路に相当するものである。なお、撮影経路指定ボタン７０ａ，７０ｂの表示に必要な情報は、画像データＤＢ４４の情報などを用いて作成することができる。
【００３３】
撮影経路が指定された場合であるときには、指定された撮影経路における風景画像の撮影時刻のうちディスプレイ２２に表示すべき風景画像の撮影時刻（以下、表示対象撮影時刻という）を指示するための指示表示画像と、表示対象撮影時刻に対応する風景画像と、表示対象撮影時刻に対応する地図画像との各初期状態のものを、それぞれディスプレイ２２の表示領域のうち予め定められた指示表示領域と風景画像表示領域と地図画像表示領域とに表示する初期表示を行ない（ステップＳ２２０）、指示表示画像の更新をスタートする（具体的には、後述するタイムバー上のスライダーの移動をスタートする）（ステップＳ２３０）。このとき、実施例では、指示表示画像の更新に伴って撮影経路における撮影開始時刻から表示対象撮影時刻の更新が自動的にスタートするものとした。さらに、この表示対象撮影時刻に対応するように、ディスプレイ２２に表示される風景画像の再生と地図画像の更新とをスタートする（ステップＳ２４０）。図７に、ディスプレイ２２の表示領域２３のうち指示表示領域２３ａと風景画像表示領域２３ｂと地図表示領域２３ｃとの組み合わせの一例を示し、図８に、指示表示画像７１と風景画像７６と地図画像７８との組み合わせの一例を示す。ステップＳ２２０での各画像の初期表示は、表示対象撮影時刻の初期値（撮影開始時刻）に対応する画像を表示することにより行なわれ、ステップＳ２３０，Ｓ２４０での各画像の再生や更新は、指定された撮影経路における撮影開始時刻から撮影終了時刻までの範囲で更新（変更）される表示対象撮影時刻に対応するものを表示することにより行なわれる。各画像や表示対象撮影時刻について、次に詳しく説明する。
【００３４】
図７に示すように、実施例では、矩形上の表示領域２３の下端に沿って指示表示領域２３ａが延在し、指示表示領域２３ａの背面を含めて表示領域２３の右側半分を風景画像表示領域が占めると共に、同じく指示表示領域２３ａの背面を含めて表示領域２３の左側半分を地図表示領域２３ｃが占めるものとした。また、図８に示すように、指示表示画像７１は、指定された撮影経路（図８の例では、図６の撮影経路指定ボタン７０ａに相当する経路）において動画として撮影された風景画像の撮影開始時刻（図８の例では、１３時５分）から撮影終了時刻（図８の例では、１５時３６分）までの撮影時間に対応するタイムバー７２と、ユーザのドラッグ操作によってタイムバー７２上をスライド可能であると共に時間経過に応じてタイムバー７２上を左から右方向にスライドするスライダー７３と、指定された撮影経路沿いに地図データ上存在するランドマークのうち図２の風景画像処理ルーチンでランドマーク用画像認識処理によって認識されたランドマーク（具体的には、画像データＤＢ４４に撮影情報の一部として記憶された特定種類ランドマーク情報に対応するランドマーク）をタイムバー７２上の対応する位置にて示すランドマークアイコン７４ａ〜７４ｄとを含んでいる。
【００３５】
表示対象撮影時刻は、実施例では、図８に示すように、タイムバー７２上のスライダー７３の位置に対応する撮影時刻となり、タイムバー７２上のスライダー７３の位置によって定められる。ここで、スライダー７３は、その機能から、動画として撮影された風景画像のうち風景画像表示領域２３ｂに表示する風景画像の撮影時刻（表示対象撮影時刻）に対応するタイムバー７２上の位置をユーザにより指示可能に示すものということができる。また、タイムバー７２上のランドマークアイコン７４ａ〜７４ｄの表示は、画像データＤＢ４４に記憶された撮影経路における風景画像の撮影開始時刻から撮影終了時刻までの撮影時刻のうち、撮影情報の一部として特定種類ランドマーク情報が記憶された風景画像を選択すると共に、選択した風景画像の撮影時刻と特定種類ランドマーク情報とを読み出し、タイムバー４２が表示する時間範囲のうち読み出した撮影時刻に対応する位置に、読み出した特定種類ランドマーク情報に対応するランドマークを示すアイコンを地図データＤＢ４２から読み出して表示することにより行なうことができる。なお、実施例では、画像データＤＢ４４に記憶された風景画像とその撮影情報とを用いる結果として、タイムバー７２上に同じランドマークアイテムが連続的に複数表示されてランドマークアイテムの視認性が低下することのないように、同じランドマークアイテムが連続する範囲のうち最初のランドマークアイテムのみをタイムバー７２上に表示するものとした。さらに、図８に例示する風景画像７６としては、指定された撮影経路において動画として撮影された風景画像のうちタイムバー７２上のスライダー７３の位置に対応する撮影時刻（表示対象撮影時刻）の風景画像として画像データＤＢ４４に記憶されたものが表示される。また、図８に例示する地図画像７８としては、タイムバー７２上のスライダー７３の位置に対応する撮影時刻（表示対象撮影時刻）と共に撮影情報の一部として画像データＤＢ４４に記憶されている撮影位置を予め定められた撮影位置マーク７９（予め定められたマークであれば如何なる図形等のマークを用いてもよいが、図８の例では、地図表示に用いられる自車位置を示すマーク）で示すと共に、この撮影位置を例えば地図の中心や中心よりやや下方などに含む予め定められた地点登録用の縮尺の地図が、地図データを用いて、風景画像の撮影時の車両の進行方向を地図表示領域２３ｃの上方に向けて（いわゆるヘディングアップで）表示される。地点登録用の縮尺は、地図画像７８上で地点登録可能な（即ち、施設や家屋などの建物を登録地点として選択可能な）範囲の縮尺として予め定められたものである。以下の説明では、図８に例示したタイムバー７２とスライダー７３とランドマークアイコン７４ａ〜７４ｄとを含む指示表示画像７１を用いるものとする。
【００３６】
こうしてタイムバー７２上をスライダー７３がスライド（移動）すると共にスライダー７３の位置に対応する表示対象撮影時刻の更新に従って風景画像の再生（動画再生）と地図画像の更新（地図のスクロールと撮影位置マーク７９の地図上の移動）とをスタートすると、表示対象撮影時刻が撮影経路での撮影終了時刻になるなどにより地点登録処理を終了するか否かを判定し（ステップＳ２５０）、地点登録処理を終了しないと判定されたときには、タッチパネル２４の操作があったか否かを判定し（ステップＳ２６０）、タッチパネル２４の操作がなかったと判定されたときには、ステップＳ２５０に戻る。こうしてステップＳ２５０，Ｓ２６０の処理を繰り返している最中に、ステップＳ２５０で表示時刻が撮影終了時刻になるなどにより地点登録処理を終了すると判定されたときには、登録地点をフラッシュメモリ３８に新たに記憶することなく、地点登録処理ルーチンを終了する。
【００３７】
ステップＳ２６０でタッチパネル２４の操作があったと判定されたときには、その操作が地点登録要求の操作であったか否かを判定し（ステップＳ２７０）、地点登録要求の操作でなかったときには、その操作がタイムバー７２上のランドマークアイコン７４ａ〜７４ｄのいずれかの選択であったか否かを判定する（ステップＳ２８０）。ここで、地点登録要求の操作であったか否かの判定は、地図上で地点登録可能な施設や家屋などの建物がタッチされたか否かを判定することにより行なうことができる。また、ランドマークアイコン７４ａ〜７４ｄのいずれかの選択であったか否かの判定は、指示表示画像７１におけるランドマークアイコン７４ａ〜７４ｄがタッチされたか否かを判定することにより行なうことができる。
【００３８】
タッチパネル２４の操作が地点登録要求の操作でなくランドマークアイコン７４ａ〜７４ｄのいずれかの選択でもないとき、例えば、タイムバー７２上のスライダー７３のドラッグ操作や地図のスクロール操作，地図の縮尺の変更操作，風景画像の動画再生の一時停止などのときには、操作に対応する処理を行なって（ステップＳ２９０）、ステップＳ２５０に戻る。例えば、タイムバー７２上のスライダー７３のドラッグ操作が行なわれたときには、タイムバー上７２のスライダー７３の位置に対応する撮影時刻が表示対象撮影時刻となるため、この表示対象撮影時刻の風景画像を表示すると共に、この表示対象撮影時刻に対応する撮影位置に撮影位置マークを示す地点登録用の縮尺の地図画像を表示し、スライダー７３の移動に伴う表示対象撮影時刻の更新に従って風景画像の動画再生と地図画像の更新とを再びスタートする。
【００３９】
ステップＳ２７０で地点登録要求の操作であったと判定されたときには、初期値としては値０が設定され本ルーチンでタイムバー７２上のランドマークアイコン７４ａ〜７４ｄの１つが選択されたときに値１が設定される選択フラグＦ１を調べ（ステップＳ３００）、選択フラグＦ１が値０のときには、ランドマークアイコン７４ａ〜７４ｄは選択されなかったと判断し、地点登録が要求された地点を登録地点としてフラッシュメモリ３８の所定領域に記憶する地点登録を行なって（ステップＳ３１０）、地点登録処理ルーチンを終了する。図９に、ランドマークアイテムの選択を伴わずに地点登録を行なう様子の一例を示す。図中、タイムバー７２上のスライダー７３の位置は、時間経過やユーザのドラッグ操作によって「Ｂ店」のランドマークアイコン７４ｂの位置まで移動したときの状態を示す。このとき、風景画像８０には、「Ｂ店」のランドマーク８１とユーザが地点登録を要求する建物８２とが含まれている。また、地図画像８４には、撮影位置マーク８５と「Ｂ店」のランドマークアイコン８６と建物８２を示す建物画像８７とが含まれている。図９の地図画像８４において、建物画像８７がタッチされたときには、建物８２の地図上の位置を登録地点として地点登録が行なわれる。
【００４０】
ステップＳ２８０でランドマークアイコン７４ａ〜７４ｄのいずれかが選択されたと判定されたときには、選択フラグＦ１に値１を設定し（ステップＳ３２０）、タイムバー７２上の選択されたランドマークアイテムの位置に対応するように、タイムバー７２上のスライダー７３の位置を変更する（ステップＳ３３０）。このとき、タイムバー７２上のスライダー７３の位置に対応する撮影時刻が表示対象撮影時刻となる。続いて、タイムバー７２の指示表示領域２３ａでの大きさを変更することなく、タイムバー７２が表示する時間範囲を、表示対象撮影時刻を例えば中心や中心より少し前などに含む予め定められた選択時表示範囲時間に変更し（ステップＳ３４０）、表示する時間範囲が変更されたタイムバー７２上でスライダー７３の移動をスタートして表示対象撮影時刻の更新をスタートすると共に表示対象撮影時刻の更新に従って風景画像の再生と地図画像の更新とをスタートし（ステップＳ３５０）、ステップＳ２５０の処理に戻る。ここで、選択時表示範囲時間は、タイムバー７２上の選択されたランドマークアイテムに対応する撮影時刻（表示対象撮影時刻）の前後で比較的細かい時間指定が容易となるように、即ち撮影時刻の識別がしやすくなるように予め定められたもの（例えば、１０分や３０分，１時間など）である。図１０に、タイムバー７２上のランドマークアイコン７４ｂが選択されたときの表示の様子の一例を示す。図１０では、図９と同様に、タイムバー７２上のランドマークアイコン７４ｂの位置に対応する撮影時刻（表示対象撮影時刻）の風景画像８０と地図画像８４とを表示している。ただし、図１０では、図９とは異なり、タイムバー７２が表示する時間範囲が表示対象撮影時刻を含む選択時表示範囲時間（図１０では、表示対象撮影時刻を中心に含む３０分）の範囲となっており、タイムバー７２上には４つのうち２つのランドマークアイコン７４ｂ，７４ｃのみが表示されている。
【００４１】
こうしてランドマークアイテムが選択されて選択フラグＦ１に値１が設定されている状態で、タッチパネル２４の操作が地点登録要求の操作であったと判定されたときには（ステップＳ２７０）、選択フラグＦ１が値１と判定されるから（ステップＳ３００）、選択フラグＦ１に値１が設定されたときに選択されていたランドマークアイテムが示すランドマーク（以下、選択ランドマークという）と地点登録が要求された地点（以下、要求地点という）との間の地図上のコストＣを計算する（ステップＳ３６０）。ここで、選択ランドマークと要求地点との間のコストＣは、選択ランドマークから要求地点まで走行する際の走行の困難さの程度を示すものであり、実施例では、地図データを用いて、選択ランドマークから要求地点までの距離が長いほど大きくなると共に、選択ランドマークから要求地点までの交差点での右左折数が多いほど大きくなるように計算するものとした。なお、後者の右左折数は、経路案内処理部６６により探索される選択ランドマークから要求地点までの走行経路における交差点での右左折数に基づくものを用いることができる。
【００４２】
続いて、計算したコストＣと閾値Ｃｒｅｆとを比較し（ステップＳ３７０）、コストＣが閾値Ｃｒｅｆ以上のときには、要求地点を登録地点として地点登録を行ない（ステップＳ３１０）、コストＣが閾値Ｃｒｅｆ未満のときには、要求地点を登録地点として地点登録を行なうと共に登録地点と選択ランドマークを示す情報とを互いに関連付けてフラッシュメモリ３８の所定領域に記憶して（ステップＳ３８０）、地点登録処理ルーチンを終了する。ここで、コストＣと比較する閾値Ｃｒｅｆは、選択ランドマークを要求地点への経路案内に用いることが有効であるか否かを判断するためのものであり、選択ランドマークを要求地点への経路案内に用いることが有効でない範囲の下限値などとして予め実験などにより定められたものを用いることができる。こうしてランドマークアイコン７４ａ〜７４ｄのうちいずれかの選択を伴って地点登録を行なうときには、選択されたランドマークアイテムに対応する選択ランドマークと登録地点とを関連付けて記憶するから、次に説明するように、登録地点への経路案内に選択ランドマークを用いることができる。なお、実施例では、地点登録要求がなされたときに選択フラグＦ１が値１のときには、コストＣに応じて登録地点と選択ランドマークとを関連付けて記憶するものとしたが、ランドマークアイテムが選択されて値１が設定された選択フラグＦ１は、ランドマークアイテムの選択により選択ランドマークを含む地図画像が表示されている状態から所定の地図表示処理（例えば、地図のスクロールや地図の縮尺の変更など、地点登録処理を中止しない処理）が行なわれる範囲内で地点登録を行なうときには、値１から変更されないものとした。また、実施例では、ランドマークアイテムが複数回選択されてから地点登録が行なわれたときには、最後に選択されたランドマークアイテムに対応する選択ランドマークのみを登録地点と関連付けて記憶するものとした。図１１に、ランドマークアイコン７４ｂの選択を伴って地点登録を行なったときの様子の一例を示す。図１１の例は、タイムバー７２上のランドマークアイコン７４ｂが選択されたときの図１０の状態の直後に建物８２が地点登録されたときの様子を示している。図中、建物画像８７には登録地点であることを示すフラッグ８８が表示されている。以上、地点登録処理について説明した。次に、経路案内処理について説明する。
【００４３】
図４の経路案内処理ルーチンが実行されると、電子制御ユニット３０のＣＰＵ３２は、まず、ユーザにより設定された目的地を入力し（ステップＳ４００）、入力した目的地が前述の選択ランドマークに関連付けられてフラッシュメモリ３８の所定領域に記憶された登録地点の１つであるか否かを判定する（ステップＳ４１０）。目的地が選択ランドマークに関連付けられた登録地点でないときには、経路案内処理としての通常処理を行なって（ステップＳ４２０）、経路案内処理ルーチンを終了する。ここで、通常処理は、ロケーション処理により特定された自車位置などの出発地から設定された目的地への走行経路を地図データを用いて探索すると共に探索した走行経路を地図表示処理部６２による地図表示やスピーカ２６からの音声出力によって案内することにより行なわれる。
【００４４】
目的地が選択ランドマークに関連付けられた登録地点であるときには、選択ランドマークを用いた地図表示処理部６２による地図表示とスピーカ２６からの音声出力とによって、出発地から目的地への経路案内を行なって（ステップＳ４２０）、経路案内処理ルーチンを終了する。ここで、選択ランドマークを用いた地図表示としては、例えば、選択ランドマークに対応する地図上のアイコンを点滅させたり、選択ランドマークから目的地までの経路を特に強調（経路の色や模様の変更，経路の点滅，通常より太い道路表示など）したりすることなどが考えられる。また、選択ランドマークを用いた音声出力としては、例えば、走行経路上で自車位置が選択ランドマークまで所定の近距離以下の範囲に近づいたときに、その選択ランドマークから目的地までの距離を報知したり、選択ランドマークから目的地までの経路を例えば右左折の順序を含めて説明したりすることなどが考えられる。図１２に、ランドマークアイコン８６に対応する選択ランドマークを用いて経路案内する様子の一例を示す。図中、建物画像８７が示す地点は、ランドマークアイコン８６に対応する選択ランドマークに関連付けられて記憶された登録地点である。図１２の例では、選択ランドマークから登録地点（目的地）までの経路が強調されており、選択ランドマークから登録地点（目的地）までの距離が報知されている。なお、実施例では、図１３に示すように、互いに関連付けられた選択ランドマークと登録地点（目的地）との他に走行経路沿いに風景画像処理によって認識されたランドマーク（図中、ランドマークアイコン８９に対応する「Ａ店」）があった場合でも、こうしたランドマークが登録地点（目的地）と関連付けられていないため、ランドマークの地図表示は行なわれても、特に経路案内には用いられないことになる。
【００４５】
いま、ユーザが車両の走行中に地点登録したい地点を見つけたが、運転中であるためにナビゲーション装置２０を操作して地点登録することができない場合を考える。この場合、ユーザは車両を停止（駐車など）して、過去の走行中に撮影した風景画像を再生することにより地点登録したい場所を思い出そうとすることが考えられるが、例えば風景画像の撮影時刻を指示可能なタイムバー７２上のスライダー７３を操作するのみでは、特に土地勘がない地域を走行した場合などに、見たい画像を容易に表示させることができず、地点登録を容易に行なうことができない場合が生じる。これに対し、実施例のナビゲーション装置２０では、タイムバー７２上の対応する位置に風景画像の中から画像認識したランドマークのアイコンを表示する、即ち、走行中にユーザから視認された可能性が高いランドマークのアイコンを表示するから、ランドマークがユーザの記憶に残りやすいことを考えると、ユーザはランドマークアイコンを目印として表示させたい風景画像をより容易に指示することができる。そして、風景画像と共に風景画像の撮影時の自車位置としての撮影位置とその周辺の地図とを表示するから、ユーザは、風景画像を見ながら地図上で地点登録を行なうことができる。
【００４６】
さらに、実施例のナビゲーション装置２０では、ランドマークアイコンの１つの選択を伴って地点登録が行なわれたときには、選択ランドマークと登録地点とを関連付けて記憶して、選択ランドマークを登録地点への経路案内に用いている。こうして選択ランドマークと登録地点とが関連付けられたときは、ユーザの記憶の中で両者の関連性が特に高いと考えることができる。したがって、こうして登録地点に関連付けられた選択ランドマークを用いて経路案内を行なうことにより、ユーザにとってより利便性が高く適正な経路案内を行なうことができる。しかも、実施例のナビゲーション装置２０では、選択ランドマークから登録地点までのコストＣが閾値Ｃｒｅｆ以上のときには、こうした関連付けによる記憶は行なわないものとしたから、ユーザの記憶の中で関連性が高い組み合わせであっても、実際に登録地点への経路案内に用いるのが必ずしも有効でない（例えば、距離が遠い，交差点での右左折数が多く経路が複雑となる）選択ランドマークが、経路案内に用いられるのを抑制することができる。また、実施例のナビゲーション装置２０では、ユーザにより選択された特定種類のランドマークを風景画像の中から画像認識するから、ランドマーク用画像認識処理の演算量を抑制することができるのに加え、ユーザが車室内から視認したときに特に記憶に残りやすい（例えば、愛着があるなどの）特定種類のランドマークを予め選択しておくことができ、こうして選択されてから認識されたランドマークを示すランドマークアイテムを参照することにより、ユーザは見たい風景画像や地図画像をより容易に指示することができる。
【００４７】
なお、実施例では、図１４に示すように、ランドマークアイコン９０ａに対応する選択ランドマーク（図中下方の「Ａ店」）と登録地点（目的地）９０ｂとが関連付けられている場合でも、選択ランドマークの所定距離内に同じ種類のランドマーク（図中、ランドマークアイコン９０ｃに対応する「Ａ店」）がある場合には、原則として選択ランドマークを用いた経路案内を禁止するものとした。これは、選択ランドマークを用いた経路案内によって、ユーザが混乱する場合があるためである。ただし、図１５に示すように、ランドマークアイコン９０ａに対応する選択ランドマーク（図中下方の「Ａ店」）と登録地点（目的地）９０ｂとが関連付けられている場合において、選択ランドマークの所定距離内に同じ種類のランドマーク（図中、ランドマークアイコン９０ｄに対応する「Ａ店」）がある場合でも、いずれのランドマークを用いた経路案内を行なっても音声出力による案内に違いが生じない場合には、選択ランドマークを用いた経路案内を許可するものとした。
【００４８】
以上説明した実施例のナビゲーション装置２０によれば、車載されたカメラ５６により連続的に撮影された風景画像を取得し、連続的に撮影された風景画像のそれぞれを撮影時刻に関連付けて画像データＤＢ４４に記憶させ、連続的に撮影された風景画像の撮影開始から撮影終了までの撮影時間に対応するタイムバー７２と、タイムバー７２上の位置をユーザにより指示可能に示すスライダー７３と、連続的な風景画像を撮影した際の走行経路沿いに存在するランドマークをタイムバー７２上の対応する位置にて示すランドマークアイコン７４ａ〜７４ｄと、を含む指示表示画像７１をディスプレイ２２の表示領域２３のうち予め定められた指示表示領域２３ａに表示させ、さらに、連続的な風景画像のうちタイムバー７２上のスライダー７３の位置に対応する撮影時刻に関連付けられた風景画像をディスプレイ２２の表示領域２３のうち予め定められた風景画像表示領域２３ｂに表示させるから、走行経路上のランドマークの時系列的な位置を把握した状態で、ユーザは連続的に動画として撮影された風景画像のうち風景画像表示領域２３ｂに表示する風景画像を指示することができる。この結果、ランドマークが走行中に運転者などのユーザにより視認されると記憶に残りやすいことを考えると、ディスプレイ２２に表示させたい風景画像をより容易に指示可能とすることができる。
【００４９】
また、実施例のナビゲーション装置２０によれば、タイムバー７２上のスライダー７３の位置に対応する撮影時刻と共に風景画像に関連付けられた撮影位置を、その撮影位置周辺の地図と共に、ディスプレイ２２の表示領域２３のうち予め定められた地図表示領域２３ｃに表示させるから、ディスプレイ２２に表示させたい風景画像と共にその撮影位置を含む地図を表示させることができ、地点登録を行なうことができる。さらに、指示表示領域２３ａ上で表示されているランドマークアイコン７４ａ〜７４ｄのうちいずれかが選択されたときには、選択されたランドマークアイテムのタイムバー７２上の位置に対応するようスライダー７３のタイムバー７２上の位置を変更するから、ランドマークアイテムを選択することによって、走行経路上のランドマークに対応する撮影時刻の風景画像と地図画像とを表示させることができ、ユーザはより容易に地点登録を行なうことができる。
【００５０】
しかも、実施例のナビゲーション装置２０によれば、ディスプレイ２２の指示表示領域２３ａ上で表示されているランドマークアイコン７４ａ〜７４ｄのうちいずれかの選択を伴って地点登録を行なうときには、登録地点を選択されたランドマークアイテムが示す選択ランドマークに関連付けて地点登録を行ない、その選択ランドマークに関連付けられた登録地点を目的地に設定して経路案内を行なうときには、登録地点に関連付けられた選択ランドマークを地図表示と音声出力とによる案内に用いて経路案内を行なうから、ランドマークは走行中に運転者などのユーザにより視認されると記憶に残りやすいことを考えると、より適正に経路案内を行なうことができる。
【００５１】
実施例のナビゲーション装置２０では、タイムバー７２上のランドマークアイテムの選択を伴って地点登録が行なわれたときには、選択されたランドマークアイテムに対応する選択ランドマークと登録地点とを関連付けて記憶するものとしたが、タイムバー７２上のランドマークアイテムの選択を伴わずに地点登録が行なわれたときでも、ランドマークと登録地点とを関連付けて記憶するものとしてもよい。例えば、図９を用いて説明すると、タイムバー７２上のスライダー７３が２つのランドマークアイコン７４ｂ，７４ｃの間のときに地点登録が行なわれたときに、撮影経路における登録地点の手前側のランドマークアイコン７４ｂを登録地点と関連付けて記憶したり、撮影経路における登録地点の両側の２つのランドマークアイコン７４ｂ，７４ｃと登録地点とを関連づけて記憶したりするなどとしてもよい。
【００５２】
実施例のナビゲーション装置２０では、選択ランドマークと関連付けられた登録地点を目的地として経路案内を行なうときには、選択ランドマークを地図表示と音声出力とによる案内に用いて経路案内を行なうものとしたが、選択ランドマークを地図表示による案内のみに用いて経路案内を行なうものとしてもよいし、選択ランドマークを音声出力による案内のみに用いて経路案内を行なうものとしてもよい。
【００５３】
実施例のナビゲーション装置２０では、選択ランドマークから登録地点までのコストＣが閾値Ｃｒｅｆ以上のときには、選択ランドマークを登録地点に関連付けて記憶しないものとしたが、こうしたコストＣの大小に拘わらず（コストＣを計算することなく）、選択ランドマークを登録地点に関連付けて記憶するものとしてもよい。
【００５４】
実施例のナビゲーション装置２０では、カメラ５６により撮影された風景画像に対してランドマーク用画像認識処理を施すことによって風景画像の中にあると認識されたランドマークを風景画像の撮影時刻と関連付けて記憶することにより、タイムバー７２上の対応する位置に認識されたランドマークのランドマークアイテムを表示するものとしたが、風景画像に対してランドマーク用画像認識処理を施すことなく、地図データを用いて撮影経路沿いに存在するランドマークを認識すると共にこうして認識したランドマークのランドマークアイテムをタイムバー７２上の対応する位置に表示するものとしてもよい。
【００５５】
実施例のナビゲーション装置２０では、ユーザにより予め選択された特定種類のランドマークが風景画像の中にあると認識されたときに、認識された特定種類のランドマークを風景画像の撮影時刻に関連付けて記憶するものとしたが、特定種類のランドマークに限ることなく、地図データ上全ての種類のランドマークのいずれかについて風景画像の中にあると認識されたときに、認識されたランドマークを風景画像の撮影時刻に関連付けて記憶するものとしてもよい。
【００５６】
実施例のナビゲーション装置２０では、タイムバー７２上のランドマークアイテムのいずれかが選択されたときには、タイムバー７２が表示する時間範囲を表示対象撮影時刻を含む選択時表示範囲時間に変更するものとしたが、こうしたタイムバー７２が表示する時間範囲の変更は行なわないものとしてもよい。また、タイムバー７２が表示する時間範囲は、タッチパネル２４の操作（タイムバー７２上で２本の指を話したり近づけたりする操作など）によってユーザが自由に変更できるようにするものとしても構わない。
【００５７】
実施例のナビゲーション装置２０では、カメラ５６による風景画像の撮影は、ユーザにより撮影開始が指示されてから撮影終了が指示されるまでの車両の走行中に行なわれるものとしたが、ナビゲーション装置２０がオンされたときに開始してオフされたときに終了するなどとしてもよい。
【００５８】
実施例のナビゲーション装置２０では、風景画像は動画として再生されると共に地図画像はスクロール表示されるものとしたが、風景画像や地図画像が初期表示されたときや、タイムバー７２上のスライダー７３がドラッグ操作されたとき、タイムバー７２上のランドマークアイテムが選択されたときなどに、風景画像を一旦静止画として表示し、タイムバー７２上のスライダー７３のドラッグ操作に応じて静止画のまま風景画像を更新したり地図画像をスクロール表示させるものとしてもよい。この場合、ユーザの指示により動画として再生が開始されたときに、風景画像の再生と地図画像のスクロール表示とを開始するなどとしてもよい。
【００５９】
実施例のナビゲーション装置２０では、タイムバー７２は、風景画像の撮影開始から撮影終了までの撮影時間に対応するものであってディスプレイ２２の指示表示領域２３ａの全体に一定の長さで表示されるものとしたが、例えば、図１６に例示するように、風景画像の撮影開始から撮影終了までの撮影時間の長さに応じて指示表示領域２３ａ内で長さが異なるタイムバー１７２としてもよい。即ち、タイムバー１７２とスライダー１７３とランドマークアイテムとを含む指示表示画像１７１は、そのサイズが撮影時間の長さによって異なるものとしてもよい。
【００６０】
実施例のナビゲーション装置２０では、地点登録する際に、タイムバー７２とスライダー７３とランドマークアイテムとを含む指示表示画像７１は、表示領域２３の下端に延在する指示表示領域２３ａに表示されるものとしたが、例えば、図１７に例示するように、表示領域２３の右端や左端などに縦方向を長手方向として、タイムバー１７２とスライダー１７３とランドマークアイテムとを含む指示表示画像２７１を表示するなどとしてもよい。また、こうして表示されるタイムバーは、直線に限られず、曲線により表示されるものとしてもよい。即ち、指示表示画像が例えば環形など曲線的に表示されるものとしてもよい。
【００６１】
実施例のナビゲーション装置２０では、地点登録する際に、タイムバー７２とスライダー７３とランドマークアイテムとを含む指示表示画像７１と、表示対象撮影時刻に対応する風景画像７６，８０と、表示対象撮影時刻に対応する地図画像７８，８４とを表示するものとしたが、風景画像の撮影開始から撮影終了までを時系列的な線として示すアイテムと、表示する風景画像の撮影時刻に対応する時系列上の位置を指示可能に示すアイテムと、ランドマークアイテムとを含む指示表示画像と、風景画像とを少なくとも表示すればよい。したがって、図１８に例示するように、風景画像３７６を表示領域２３の一部（図の例では右側半分）に表示すると共に、風景画像の撮影開始から撮影終了までの地図上の車両の走行経路を示す撮影経路３７２と、撮影経路３７２上でユーザがタッチパネル２４の操作により位置を変更可能な撮影位置マーク３７３と、ランドマークアイテム３７４ａ〜３７４ｄと、を含む指示表示画像３７１を、表示領域２３の一部（図の例では左側半分）に撮影経路３７２の全体を表示可能な最大縮尺による地図として表示するものとしてもよい。即ち、表示する風景画像の撮影時刻を指示することができる指示表示画像は、タイムバー７２やスライダー７３を含むものに限られない。また、図１８の例の場合でも、実施例のナビゲーション装置２０と同様に、風景画像記憶処理を実行することができ、地点登録に際して、地図画像３７１をタッチパネル２４の操作（２本の指を話したり近づけたりする操作など）で縮尺変更可能とし、ランドマークアイテムが選択されたときに撮影時刻に対応するように風景画像３７６を更新したり、選択ランドマークと登録地点とを関連付けて記憶させたり、経路案内処理に際して選択ランドマークを登録地点への経路案内に用いたりすることができる。
【００６２】
実施例のナビゲーション装置２０では、地点登録する際に、タイムバー７２とスライダー７３とランドマークアイテムとを含む指示表示画像７１と、表示時刻に対応する風景画像７６，８０と、表示時刻に対応する地図画像７８，８４とを表示するものとしたが、地点登録する際であるか否かに拘わらず、風景画像の撮影開始から撮影終了までを時系列的な線として示すアイテムと、表示する風景画像の撮影時刻に対応する時系列上の位置を指示可能に示すアイテムと、ランドマークアイテムとを含む指示表示画像と、風景画像とを少なくとも表示すればよい。したがって、図１９に例示するように、地図画像を表示することなく、指示表示画像７１と、表示領域２３の概ね全体に表示される風景画像４７６とを表示するものとしても構わない。
【００６３】
実施例では、本発明の車両用表示処理システムをディスプレイ２２やＨＤＤ４０を備えるナビゲーション装置２０に適用して説明したが、例えば、ディスプレイを備えるナビゲーション装置と通信可能に接続されたサーバに電子制御ユニット３０の地点登録処理部６４の機能と経路案内処理部６６の機能と風景画像処理等に必要な画像処理部６８の機能の一部とを行なわせるようにして、このサーバを本発明の車両用表示処理システムとして機能させるものとしてもよいし、ナビゲーション装置とサーバとで機能を分担することにより全体として車両用表示処理システムを構成するものとしてもよい。また、ナビゲーション装置２０に代えて、デジタルカメラや携帯端末，ドライブレコーダなどの機器を本発明の車両用表示処理システムとして機能させるものとしてもよい。この場合、こうした機器を車室内に設置してこの機器が備えるカメラにより撮影される風景画像を用いて風景画像処理や地点登録処理，経路案内処理を行なうようにしてもよい。
【００６４】
また、実施例では、本発明の車両用表示処理システムをナビゲーション装置２０に適用して説明したが、車両用表示処理方法の形態としてもよいし、こうした車両用表示処理方法の各ステップを１以上のコンピュータに実現させるためのプログラムの形態としてもよい。また、こうしたプログラムを記録媒体に記憶させた形態としても構わない。
【００６５】
実施例の主要な要素と課題を解決するための手段の欄に記載した発明の主要な要素との対応関係について説明する。実施例では、ディスプレイ２２が「表示部」に相当し、ＨＤＤ４０（画像データＤＢ４４）が「記憶部」に相当し、図２の風景画像処理ルーチンのステップＳ１００の処理を実行する電子制御ユニット３０の地点登録処理部６４が「風景画像取得手段」に相当し、図２の風景画像処理ルーチンのステップＳ１１０の処理を実行する電子制御ユニット３０の地点登録処理部６４が「風景画像記憶処理手段」に相当し、図３の地点登録処理ルーチンのステップＳ２２０〜Ｓ２４０の処理を実行する電子制御ユニット３０の地点登録処理部６４が「表示処理手段」に相当する。また、図３の地点登録処理ルーチンのステップＳ２１０，Ｓ３１０，Ｓ３８０の処理を実行する電子制御ユニット３０の地点登録処理部６４が「地点登録手段」に相当し、図４の経路案内処理ルーチンを実行する電子制御ユニット３０の経路案内処理部６６が「経路案内手段」に相当し、図３の地点登録処理ルーチンのステップＳ３６０，Ｓ３７０の処理を実行する電子制御ユニット３０の地点登録処理部６４が「走行困難程度判定手段」に相当し、図２の風景画像処理ルーチンのステップＳ１４０の処理を実行する電子制御ユニット３０の画像処理部６８が「ランドマーク認識手段」に相当する。
【００６６】
なお、実施例の主要な要素と課題を解決するための手段の欄に記載した発明の主要な要素との対応関係は、実施例が課題を解決するための手段の欄に記載した発明を実施するための形態を具体的に説明するための一例であることから、課題を解決するための手段の欄に記載した発明の要素を限定するものではない。即ち、課題を解決するための手段の欄に記載した発明についての解釈はその欄の記載に基づいて行なわれるべきものであり、実施例は課題を解決するための手段の欄に記載した発明の具体的な一例に過ぎないものである。
【００６７】
以上、本発明を実施するための形態について実施例を用いて説明したが、本発明はこうした実施例に何等限定されるものではなく、本発明の要旨を逸脱しない範囲内において、種々なる形態で実施し得ることは勿論である。
【産業上の利用可能性】
【００６８】
本発明は、車両用表示処理システムの製造産業などに利用可能である。
【符号の説明】
【００６９】
１０ ナビゲーションシステム、１２ 車載装置、２０ ナビゲーション装置、２２ ディスプレイ、２３ 表示領域、２３ａ 指示表示領域、２３ｂ 風景画像表示領域、２３ｃ 地図表示領域、２４ タッチパネル、２６ スピーカ、３０ 電子制御ユニット、３２ ＣＰＵ、３４ ＲＯＭ、３６ ＲＡＭ、３８ フラッシュメモリ、４０ ハードディスクドライブ（ＨＤＤ）、５０ ＧＰＳ受信機、５２ 車速センサ、５４ 方位センサ、５６ カメラ、６０ ロケーション処理部、６２ 地図表示処理部、６４ 地点登録処理部、６６ 経路案内処理部、６８ 画像処理部、７０ 撮影経路指定用画面、７０ａ，７０ｂ 撮影経路指定ボタン、７１，１７１，２７１，３７１ 指示表示画像、７２，１７２ タイムバー、７３，１７３ スライダー、７４ａ〜７４ｄ，８６，８９，９０ａ，９０ｃ，９０ｄ，３７４ａ〜３７４ｄ ランドマークアイコン、７６，８０，３７６，４７６ 風景画像、７８，８４ 地図画像、７９，８５ 撮影位置マーク、８１ ランドマーク、８２ 建物、８７ 建物画像、８８ フラッグ、９０ｂ 登録地点、３７２ 撮影経路、３７３ 撮影位置マーク。
【技術分野】
【０００１】
本発明は、車両用表示処理システムおよび車両用表示処理方法並びにプログラムに関し、詳しくは、表示部に画像を表示させる車両用表示処理システムおよび車両用表示処理方法並びにプログラムに関する。
【背景技術】
【０００２】
従来、この種の車両用表示処理システムとしては、ドライブレコーダのメモリーカードに車両前方の常時記録画像を必要な情報と共に記録し、記録した常時記録画像を再生装置の表示部に表示する際に、車両加速度の急変などのイベントがマークされた時間グラフを作成し、マークが選択されたときに該当するイベントの発生時刻の数秒前から画像を再生するものが提案されている（例えば、特許文献１参照）。このシステムでは、これにより、常時記録画像中の見たい画像に容易にたどり着くことができるものとしている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１０−１３０５７７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、上述したような車両加速度の急変などのイベントによっては、運転者などの利用者は走行中に視認していた車両前方の風景を思い出すことができず、記録した風景画像を再生するときに、見たい画像に容易にたどり着くことができない場合があった。例えば、ナビゲーションシステムにおいて、地図上で地点登録する際に過去に撮影した風景画像を参考にする場合、車両加速度の急変などのイベントからは見たい画像に容易にたどり着くことができず、地点登録するのに時間を要する場合があった。
【０００５】
本発明の車両用表示処理システムおよび車両用表示処理方法並びにプログラムは、表示部に表示させたい風景画像をより容易に指示可能とすることを主目的とする。
【課題を解決するための手段】
【０００６】
本発明の車両用表示処理システムおよび車両用表示処理方法並びにプログラムは、上述の主目的を達成するために以下の手段を採った。
【０００７】
本発明の車両用表示処理システムは、
表示部に画像を表示させる車両用表示処理システムであって、
車両前方の風景を撮影する車載カメラにより連続的に撮影された風景画像を取得する風景画像取得手段と、
前記連続的に撮影された風景画像のそれぞれを撮影時刻に関連付けて記憶部に記憶させる風景画像記憶処理手段と、
前記連続的に撮影された風景画像の撮影開始から撮影終了までの撮影時刻を時系列的に線として示す時系列的線アイテムと、前記時系列的線アイテム上の位置を利用者により指示可能に示す時刻位置アイテムと、前記連続的な風景画像を撮影した際の走行経路沿いに存在するランドマークを前記時系列的線アイテム上の対応する位置にて示すランドマークアイテムと、を含む時系列的指示表示を前記表示部の表示領域のうち予め定められた指示表示領域に表示させる共に、前記連続的な風景画像のうち前記時系列的線アイテム上の前記時刻位置アイテムの位置に対応する撮影時刻に関連付けられた風景画像を前記表示部の表示領域のうち予め定められた風景画像表示領域に表示させる表示処理手段と、
を備えることを要旨とする。
【０００８】
この本発明の車両用表示処理システムでは、車両前方の風景を撮影する車載カメラにより連続的に撮影された風景画像を取得し、連続的に撮影された風景画像のそれぞれを撮影時刻に関連付けて記憶部に記憶させる。そして、連続的に撮影された風景画像の撮影開始から撮影終了までの撮影時刻を時系列的に線として示す時系列的線アイテムと、時系列的線アイテム上の位置を利用者により指示可能に示す時刻位置アイテムと、連続的な風景画像を撮影した際の走行経路沿いに存在するランドマークを時系列的線アイテム上の対応する位置にて示すランドマークアイテムと、を含む時系列的指示表示を表示部の表示領域のうち予め定められた指示表示領域に表示させる。さらに、連続的な風景画像のうち時系列的線アイテム上の時刻位置アイテムの位置に対応する撮影時刻に関連付けられた風景画像を表示部の表示領域のうち予め定められた風景画像表示領域に表示させる。したがって、表示部の指示表示領域において、風景画像を撮影した際の走行経路沿いに存在するランドマークを示すランドマークアイテムが時系列的線アイテム上の対応する位置に表示されている状態で、利用者は時系列的線アイテム上の時刻位置アイテムの位置を指示（例えば、変更指示や選択指示）可能となる。これにより、走行経路上のランドマークの時系列的な位置を把握した状態で、利用者は連続的に（即ち、動画として）撮影された風景画像のうち風景画像表示領域に表示する風景画像を指示することができる。この結果、ランドマークが走行中に運転者などの利用者により視認されると記憶に残りやすいことを考えると、表示部に表示させたい風景画像をより容易に指示可能とすることができる。ここで、「ランドマーク」は、目印となり得る地点や対象物であり、施設や建造物，景勝地などが含まれる。なお、「撮影時刻」は、年月日または月日を表す日付と時分秒または時分を表す時刻との組み合わせにより表されるものとしてもよいし、時分秒または時分を表す時刻により表されるものとしてもよい。
【０００９】
こうした本発明の車両用表示処理システムにおいて、前記風景画像記憶処理手段は、前記連続的に撮影された風景画像のそれぞれを、前記撮影時刻と共に撮影時の地図上の自車位置を示す撮影位置に関連付けて前記記憶部に記憶させ、前記表示処理手段は、前記時系列的指示表示の前記指示表示領域への表示および前記風景画像の前記風景画像表示領域への表示に加えて、前記時系列的線アイテム上の前記時刻位置アイテムの位置に対応する撮影時刻と共に風景画像に関連付けられた撮影位置を、該撮影位置周辺の地図と共に、前記表示部の表示領域のうち予め定められた地図表示領域に表示させる、ものとすることもできる。こうすれば、表示部に表示させたい風景画像と共にその撮影位置を含む地図を表示させることができる。ここで、撮影位置周辺の地図は、予め定められた縮尺のものとすることができ、該地図上のランドマークを該地図の縮尺に応じて含むものとすることができる。また、撮影位置周辺の地図は、例えば、地点登録用に表示させるものとすることもできる。撮影位置周辺の地図を地点登録用に表示させる場合、利用者は撮影位置からの風景画像を見ながらその撮影位置周辺の地図上の任意の地点の地点登録を行なうことができる。
【００１０】
この表示部に撮影位置を撮影位置周辺の地図と共に表示させる態様の本発明の車両用表示処理システムにおいて、前記表示処理手段は、前記指示表示領域上で表示されている前記ランドマークアイテムのうちいずれかが選択されたときには、該選択されたランドマークアイテムの前記時系列的線アイテム上の位置に対応するよう前記時刻位置アイテムの前記時系列的線アイテム上の位置を変更する、ものとすることもできる。こうすれば、ランドマークアイテムを選択することによって、走行経路上のランドマークに対応する撮影時刻の風景画像を表示することができると共に、その風景画像の撮影位置を含む地図を表示することができる。ここで、撮影位置周辺の地図は、例えば、予め定められた縮尺のものや、該地図上のランドマークを該地図の縮尺に応じて含むもの、地点登録用に表示させるものなどとすることができる。撮影位置周辺の地図を地点登録用に表示させる場合、利用者は選択したランドマークに対応する撮影時刻の風景画像を見ながらその撮影位置周辺の地図上の任意の地点の地点登録を行なうことができる。この場合にランドマークが走行中に運転者などの利用者により視認されると記憶に残りやすいことを考えると、利用者はより容易に地点登録を行なうことができる。
【００１１】
この選択されたランドマークアイテムの位置に応じて時刻位置アイテムの位置を変更する態様の本発明の車両用表示処理システムにおいて、前記表示部に表示された地図上で利用者により選択される任意の地点を登録地点として地点登録を行なう地点登録手段と、目的地が設定されたときに該設定された目的地への経路案内を行なう経路案内手段と、を備え、前記地点登録手段は、前記表示手段の前記指示表示領域上で表示されている前記ランドマークアイテムのうちいずれかの選択を伴って地点登録を行なうときには、前記登録地点を前記選択されたランドマークアイテムが示す前記ランドマークに関連付けて地点登録を行ない、前記経路案内手段は、前記ランドマークに関連付けられた前記登録地点を目的地に設定して経路案内を行なうときには、前記登録地点に関連付けられたランドマークを地図表示と音声出力との少なくとも一方による案内に用いて経路案内を行なう、ものとすることもできる。こうすれば、ランドマークを登録地点に関連付けると共に登録地点に関連付けられたランドマークを用いて経路案内を行なうことができる。また、ランドマークは走行中に運転者などの利用者により視認されると記憶に残りやすいことを考えると、ランドマークアイテムの選択を伴って地点登録が行なわれたときのランドマークと登録地点とは、利用者の記憶の中で互いに関連性が高いと考えることができる。したがって、こうして登録地点に関連付けられたランドマークを用いて経路案内を行なうことにより、より適正に経路案内を行なうことができる。ここで、表示されているランドマークアイテムのうちいずれかの選択を伴って地点登録を行なうときとしては、ランドマークアイテムの選択により選択されたランドマークアイテムに対応するランドマークを含む地図が地図表示領域に表示されている状態から所定の地図表示処理（例えば、地図の縮尺を変更したり地図をスクロールさせたりするなど、地点登録処理を中止しない処理）が行なわれる範囲内で地点登録を行なうときなどが含まれる。
【００１２】
この登録地点をランドマークに関連付けて地点登録を行ない経路案内を行なう態様の本発明の車両用表示処理システムにおいて、前記登録地点に関連付けられたランドマークから前記登録地点までの距離と交差点での右左折数との少なくとも一方に基づく走行の困難さの程度が所定程度未満か否かを判定する走行困難程度判定手段を備え、前記地点登録手段は、前記走行の困難さの程度が前記所定程度未満と判定されたときにのみ前記登録地点を前記ランドマークに関連付けて地点登録を行なう、ものとすることもできる。この場合、前記地点登録手段は、前記走行の困難さの程度が前記所定程度以上と判定されたときには前記登録地点を前記ランドマークに関連付けることなく地点登録を行なう、ものとすることができる。こうすれば、選択されたランドマークアイテムに対応するランドマークのうちランドマークから登録地点までの走行の困難さの程度が高いランドマークが経路案内に用いられるのを抑制することができる。ここで、「所定程度」としては、前記ランドマークを前記登録地点への経路案内に用いるのが有効でない範囲の下限値として予め定められたものなどを用いることができる。
【００１３】
また、本発明の車両用表示処理システムにおいて、前記風景画像に対して所定の画像認識処理を施すことにより前記ランドマークを認識するランドマーク認識手段を備え、前記表示処理手段は、前記ランドマーク認識手段により認識された前記ランドマークを前記時系列的線アイテム上の対応する位置にて示す前記ランドマークアイテムを、前記指示表示領域に表示させる、ものとすることもできる。こうすれば、車両の走行中に運転手などの利用者から実際に視認された可能性が高いランドマークを示すランドマークアイテムを時系列的線アイテム上に表示させることができる。この場合、前記ランドマーク認識手段は、複数種類のランドマークのうち予め選択された特定種類のランドマークを認識する、ものとすることもできる。こうすれば、ランドマークを認識するための所定の画像認識処理による演算量を抑制することができる。また、利用者が視認したときに特に記憶に残りやすいランドマークを特定種類のランドマークとして予め選択しておくことにより、利用者は表示部に表示させたい風景画像をより容易に指示することができる。
【００１４】
さらに、本発明の車両用表示処理システムにおいて、前記表示処理手段は、前記指示表示領域上で表示されている前記ランドマークアイテムのうちいずれかが選択されたときには、前記選択されたランドマークアイテムの前記時系列的線アイテム上の位置に対応する撮影時刻を含む所定時間を前記時系列的線アイテムが表示する時間範囲として前記指示表示領域への表示を行なう、ものとすることもできる。こうすれば、連続的に撮影された風景画像の撮影開始から撮影終了までの時間が比較的長い場合、ランドマークアイテムを選択することによって、時系列的線アイテム上のランドマークアイテムの位置に対応する撮影時刻を識別しやすくすることができる。ここで、「所定時間」としては、時系列的線アイテム上で撮影時刻を識別しやすい時間として予め定められたものなどを用いることができる。
【００１５】
あるいは、本発明の車両用表示処理システムにおいて、前記時系列的指示表示は、前記連続的な風景画像の撮影開始から撮影終了までの時間に対応するタイムバーと前記タイムバー上をスライド可能なスライダーとをそれぞれ前記時系列的線アイテムと前記時刻位置アイテムとして含む、ものとすることもできる。
【００１６】
また、本発明の車両用表示処理システムにおいて、前記時系列的指示表示は、前記連続的な風景画像の撮影開始から撮影終了までの地図上の車両の走行経路を示す撮影経路と該撮影経路上で位置を変更可能な所定マークとをそれぞれ前記時系列的線アイテムと前記時刻位置アイテムとして含むと共に、前記指示表示領域に前記撮影経路の全体を表示可能な最大縮尺による地図である、ものとすることもできる。ここで、「所定マーク」は、車両を示すマークなどを用いることができる。
【００１７】
本発明の車両用表示処理方法は、
表示部に画像を表示させる車両用表示処理方法であって、
（ａ）車両前方の風景を撮影する車載カメラにより連続的に撮影された風景画像を取得するステップと、
（ｂ）前記連続的に撮影された風景画像のそれぞれを撮影時刻に関連付けて記憶部に記憶させるステップと、
（ｃ）前記連続的に撮影された風景画像の撮影開始から撮影終了までの撮影時刻を時系列的に線として示す時系列的線アイテムと、前記時系列的線アイテム上の位置を利用者により指示可能に示す時刻位置アイテムと、前記連続的な風景画像を撮影した際の走行経路沿いに存在するランドマークを前記時系列的線アイテム上の対応する位置にて示すランドマークアイテムと、を含む時系列的指示表示を前記表示部の表示領域のうち予め定められた指示表示領域に表示させる共に、前記連続的な風景画像のうち前記時系列的線アイテム上の前記時刻位置アイテムの位置に対応する撮影時刻に関連付けられた風景画像を前記表示部の表示領域のうち予め定められた風景画像表示領域に表示させるステップと、
を含むことを特徴とする。
【００１８】
この本発明の車両用表示処理方法では、表示部の指示表示領域において、風景画像を撮影した際の走行経路沿いに存在するランドマークを示すランドマークアイテムが時系列的線アイテム上の対応する位置に表示されている状態で、利用者は時系列的線アイテム上の時刻位置アイテムの位置を指示（例えば、変更指示や選択指示）可能となる。これにより、走行経路上のランドマークの時系列的な位置を把握した状態で、利用者は連続的に（即ち、動画として）撮影された風景画像のうち風景画像表示領域に表示する風景画像を指示することができる。この結果、ランドマークが走行中に運転者などの利用者により視認されると記憶に残りやすいことを考えると、表示部に表示させたい風景画像をより容易に指示可能とすることができる。ここで、「ランドマーク」は、目印となり得る地点や対象物であり、施設や建造物，景勝地などが含まれる。なお、「撮影時刻」は、年月日または月日を表す日付と時分秒または時分を表す時刻との組み合わせにより表されるものとしてもよいし、時分秒または時分を表す時刻により表されるものとしてもよい。
【００１９】
本発明のプログラムは、上述した車両用表示処理方法の各ステップを１以上のコンピュータに実現させるためのものである。このプログラムは、コンピュータが読み取り可能な記録媒体（例えばハードディスク、ＲＯＭ、ＦＤ、ＣＤ、ＤＶＤなど）に記録されていてもよいし、伝送媒体（インターネットやＬＡＮなどの通信網）を介してあるコンピュータから別のコンピュータへ配信されてもよいし、その他どのような形で授受されてもよい。このプログラムを一つのコンピュータに実行させるか又は複数のコンピュータに分担して実行させれば、上述した車両用表示処理方法の各ステップが実現されるため、その表示処理方法と同様の作用効果が得られる。
【図面の簡単な説明】
【００２０】
【図１】本発明の一実施例としてのナビゲーション装置２０を含むナビゲーションシステム１０の構成の概略を示す構成図である。
【図２】電子制御ユニット３０の地点登録処理部６４により画像処理部６８と連携して実行される風景画像処理ルーチンの一例を示すフローチャートである。
【図３】電子制御ユニット３０の地点登録処理部６４により実行される地点登録処理ルーチンの一例を示すフローチャートである。
【図４】電子制御ユニット３０の経路案内処理部６６により実行される経路案内処理ルーチンの一例を示すフローチャートである。
【図５】風景画像をその撮影情報と共にＨＤＤ４０に記憶する様子の一例とＨＤＤ４０に記憶されたデータの一例と示す説明図である。
【図６】撮影経路指定用画面７０の一例を示す説明図である。
【図７】ディスプレイ２２の表示領域２３のうち指示表示領域２３ａと風景画像表示領域２３ｂと地図表示領域２３ｃとの組み合わせの一例を示す説明図である。
【図８】指示表示画像７１と風景画像７６と地図画像７８との組み合わせの一例を示す説明図である。
【図９】ランドマークアイテムの選択を伴わずに地点登録を行なう様子の一例を示す説明図である。
【図１０】タイムバー７２上のランドマークアイコン７４ｂが選択されたときの表示の様子の一例を示す説明図である。
【図１１】ランドマークアイコン７４ｂの選択を伴って地点登録を行なったときの様子の一例を示す説明図である。
【図１２】ランドマークアイコン８６に対応する選択ランドマークを用いて経路案内を行なう様子の一例を示す説明図である。
【図１３】ランドマークアイコン８９に対応する選択されなかったランドマークを用いずに経路案内を行なう様子の一例を示す説明図である。
【図１４】登録地点（目的地）に関連付けられた選択ランドマークを用いた経路案内が禁止されるときの様子の一例を説明する説明図である。
【図１５】登録地点（目的地）に関連付けられた選択ランドマークを用いた経路案内が許可されるときの様子の一例を説明する説明図である。
【図１６】変形例の指示表示画像１７１を表示する様子を示す説明図である。
【図１７】変形例の指示表示画像２７１を表示する様子を示す説明図である。
【図１８】変形例の指示表示画像３７１を表示する様子を示す説明図である。
【図１９】変形例の風景画像４７６を表示する様子を示す説明図である。
【発明を実施するための形態】
【００２１】
次に、本発明を実施するための形態を実施例を用いて説明する。
【実施例】
【００２２】
図１は、本発明の一実施例としてのナビゲーション装置２０を含むナビゲーションシステム１０の構成の概略を示す構成図である。実施例のナビゲーションシステム１０は、図示しない車両（自動車）に搭載された各種センサを中心とする車載装置１２と、図示しない車載バッテリからの電力供給を受けて作動するナビゲーション装置２０とを備える。実施例のナビゲーション装置２０は、図示するように、文字や画像を表示する矩形状の画面を有する例えば液晶ディスプレイや有機エレクトロルミネッセンスディスプレイなどとして構成されたディスプレイ２２と、ディスプレイ２２の画面に取り付けられた例えば抵抗膜方式や静電容量方式などによるタッチパネル２４と、装置全体をコントロールする電子制御ユニット３０と、各種アプリケーションソフトウェアや地図データなどを記憶する大容量メモリとしてのハードディスクドライブ（以下、ＨＤＤという）４０とを備える。
【００２３】
電子制御ユニット３０は、ＣＰＵ３２を中心とするマイクロプロセッサとして構成されており、ＣＰＵ３２の他に各種処理プログラムを記憶するＲＯＭ３４と、データを一時的に記憶するＲＡＭ３６と、記憶したデータを保持する不揮発性のフラッシュメモリ３８と、図示しない入出力ポートとを備える。電子制御ユニット３０には、操作者のタッチ位置を検出するタッチパネル２４からの信号やＨＤＤ４０から読み出したデータの他に、車載装置１２からの各種信号が車内ネットワーク経由で入力ポートを介して入力されている。車載装置１２からの信号としては、ＧＰＳ（Global Positioning System）衛星からの信号をＧＰＳアンテナを介して受信するＧＰＳ受信機５０からの信号，車両の駆動軸や車輪が一定量回転する毎にパルス信号を出力する車速センサ５２からの信号，車両の進行方位やその変化を検出する例えばジャイロセンサにより構成された方位センサ５４からの信号，車両前方に設置されて車両前方の風景画像を動画や静止画として撮影可能なカメラ５６からの信号（撮影画像）などがある。電子制御ユニット３０からは、ディスプレイ２２への表示信号やアンプを内蔵したスピーカ２６への音声信号，ＨＤＤ４０に書き込むデータなどが出力ポートを介して出力されている。
【００２４】
実施例のナビゲーション装置２０では、電子制御ユニット３０は、ＨＤＤ４０から必要なアプリケーションソフトウェアや地図データを読み出して各種処理を実行する。例えば、ハードウェア又はソフトウェア或いはその組み合わせにより実現される機能を表す図１の機能ブロックに示すように、電子制御ユニット３０は、ＧＰＳ受信機５０からの信号や方位センサ５４からの信号などに基づいて車両の現在位置である自車位置を特定するロケーション処理部６０によるロケーション処理，地図データを用いてディスプレイ２２に地図を表示する地図表示処理部６２による地図表示処理，地図上の任意の地点を登録地点として地点登録を行なう地点登録処理部６４による地点登録処理，自車位置などの出発地から登録地点などの目的地への走行経路を探索して地図表示処理部６２による地図表示やスピーカ２６からの音声出力により経路案内を行なう経路案内処理部６６による経路案内処理，これらの処理に用いられる画像処理部６８による各種画像処理などを実行する。なお、地図データは、ＨＤＤ４０の地図データ用データベース（以下、地図データＤＢという）４２に記憶されており、地図データＤＢ４２には、道路情報や施設情報などが含まれる。道路情報には、例えば各道路の両端のノードが示す地図上の位置（緯度及び経度），各道路の距離，地域（市街地，郊外），種別（一般道路，高速道路），勾配，信号機の数などが含まれる。また、施設情報には、ランドマークに関する情報が含まれる。ランドマークは、施設や建造物，景勝地などを含み、より具体的には、特徴的な店舗のマーク（店舗壁面や看板に付されたマークなど）や建造物の形状などを含む、目印となり得る地点や対象物である。
【００２５】
電子制御ユニット３０による地点登録処理は、基本的には、ディスプレイ２２に地点登録可能に表示されている所定の縮尺以上（詳細側）の地図上で、タッチパネル２４の操作としてユーザが任意の地点をタッチしたときに、タッチした地点の地図上の位置（緯度及び経度）をフラッシュメモリ３８の所定領域に登録地点として記憶することにより行なわれる。登録地点は、ユーザにより必要に応じて入力される名称や地図上で非表示とすることも可能なアイコン（マーク）の情報などと共に記憶される。また、実施例の地点登録処理では、車両の走行中にカメラ５６により車両前方の風景画像を連続的に（動画として）撮影して撮影情報と共にＨＤＤ４０に記憶しておくことにより、記憶した風景画像の動画を再生しながら風景画像の撮影位置周辺の地図を地点登録可能にディスプレイ２２に表示し、ユーザが地図上で任意の地点をタッチしたときに、タッチした地点をフラッシュメモリ３８の所定領域に登録地点として記憶することも行なわれる。風景画像に関するデータは、ＨＤＤ４０の風景画像データ用データベース（以下、画像データＤＢという）４４に記憶される。
【００２６】
次に、こうして構成された実施例のナビゲーション装置２０の動作、特に、動画撮影された風景画像を記憶する際と、動画撮影された風景画像を再生しながら地点登録を行なう際と、登録地点への経路案内を行なう際との動作について説明する。図２は、電子制御ユニット３０の地点登録処理部６４により画像処理部６８と連携して実行される風景画像処理ルーチンの一例を示すフローチャートであり、図３は、電子制御ユニット３０の地点登録処理部６４により実行される地点登録処理ルーチンの一例を示すフローチャートであり、図４は、電子制御ユニット３０の経路案内処理部６６により実行される経路案内処理ルーチンの一例を示すフローチャートである。図２のルーチンは、ユーザにより風景画像の撮影開始が指示されてから撮影終了が指示されるまでの車両の走行中に所定時間毎に繰り返し実行され、図３のルーチンは、ユーザにより地点登録の処理開始が指示されたときに実行され、図４のルーチンは、ユーザにより目的地が設定されたときに実行される。図２のルーチンの実行間隔である所定時間は、カメラ５６により撮影される動画としての風景画像の撮影時および再生時のフレームレートの逆数に相当する時間（例えば、数十ｍｓｅｃ毎や数百ｍｓｅｃ）として予め定められたものが用いられる。以下、風景画像処理，地点登録処理，経路案内処理の順に説明する。
【００２７】
図３の風景画像処理ルーチンが実行されると、電子制御ユニット３０のＣＰＵ３２は、まず、本ルーチンが実行されたときにカメラ５６により撮影された１枚の風景画像，この風景画像を撮影したときの自車位置（以下、撮影位置という）および日時（以下、撮影時刻という），ランドマークの予め定められた特定種類を示す情報（以下、特定種類ランドマーク情報という）など風景画像処理に必要なデータを入力し（ステップＳ１００）、入力した風景画像と撮影位置と撮影時刻とを互いに関連付けてＨＤＤ４０に記憶する処理を実行する（ステップＳ１１０）。ここで、風景画像は、カメラ５６により動画として連続的に撮影される画像の１つをカメラ５６から入力するものとした。風景画像の撮影位置は、本ルーチンが実行されたときにロケーション処理部６０により特定されている自車位置を入力するものとした。風景画像の撮影時刻は、図示しないタイマにより計時されて年月日時分秒（例えば、１ｍｓｅｃ単位）により表されている現在時刻を入力するものとした。また、特定種類ランドマーク情報は、図示しない特定種類ランドマーク選択ルーチンを予め実行することにより、地図表示可能な複数種類のランドマークのうちユーザにより選択された特定種類のランドマークを示す情報として、フラッシュメモリ３８に記憶されたものを入力するものとした。
【００２８】
図５に、風景画像をその撮影情報と共にＨＤＤ４０に記憶する様子の一例とＨＤＤ４０に記憶されたデータの一例とを示す。図示するように、カメラ５６により撮影された風景画像は、ＨＤＤ４０の画像データＤＢ４４に撮影位置や撮影時刻などの撮影情報と共に順次記憶される。また、ＨＤＤ４０の地図データＤＢ４２には、ランドマークに関する情報として、ランドマーク毎に、ランドマークの種類，地図上の位置（緯度及び経度），地図表示等に用いられるアイコン（マーク），風景画像の中からランドマークを認識するための所定の画像認識処理に用いられる照合データなどの組み合わせからなるデータが記憶されている。図中、地図データＤＢ４２には、種類が「Ａ店」，「Ｂ店」，「Ｃ社」，「Ｄビル」のランドマークについての計４組の情報が例示されている。以下、実施例では、地図表示可能な複数種類のランドマークのうち、「Ａ店」，「Ｂ店」，「Ｃ社」，「Ｄビル」の４種類のランドマークがユーザにより予め選択された特定種類のランドマークであるものとして、説明を行なう。また、図中、画像データＤＢ４４に記憶される撮影情報の一部としての特定種類ランドマーク情報は、撮影情報の一部として記憶される場合と撮影情報の一部として記憶されない場合があるが、詳しくは、後述する。
【００２９】
こうしてデータを入力して記憶すると、地図データＤＢ４２の地図データを用いて、車両の走行道路沿いで風景画像の撮影位置（自車位置）から予め定められた認識可能距離内に特定種類のランドマークがあるか否かを確認し（ステップＳ１２０）、地図データを用いて撮影位置から認識可能距離内に特定種類のランドマークがないことが確認された場合には（ステップＳ１３０）、そのまま風景画像処理ルーチンを終了する。ここで、認識可能距離は、実施例では、走行中に運転者により車両前方にランドマークが存在するのを視認可能な距離範囲の上限値として予め実験などにより求められたもの（例えば、数十メートルや百数十メートルなど）を用いるものとした。また、車両の走行道路沿いにランドマークがあるか否かや、ランドマークが撮影位置から認識可能距離内にあるか否か、ランドマークが特定種類のものであるか否かは、地図データＤＢ４２の道路情報（道路の位置や距離の情報）と施設情報（ランドマークの種類や位置の情報）とを用いて確認することができる。こうして撮影位置から認識可能距離内に特定種類のランドマークがないことが確認されて、本ルーチンを終了したときには、走行中に車両からみた風景画像の１枚が撮影位置と撮影時刻と共にＨＤＤ４０の画像データＤＢ４４に記憶されたことになる。この場合、撮影情報の一部として特定種類ランドマーク情報は記憶されない。なお、実施例では、ＨＤＤ４０における画像データＤＢ４４の記憶容量は、風景画像の撮影開始から撮影終了までの走行を複数回行なってデータを記憶することが可能な程度に十分大きな容量であるものとし、画像データＤＢ４４の記憶容量の全てが使用された場合には、時系列上で最も古い１回分の走行に対応する風景画像とその撮影情報とを画像データＤＢ４４から削除するものとした。
【００３０】
地図データを用いて撮影位置から認識可能距離内に特定種類のランドマークがあることが確認された場合には（ステップＳ１３０）、入力して記憶した風景画像に対してランドマーク認識用に予め定められた画像認識処理（以下、ランドマーク用画像認識処理という）を施すことによって（ステップＳ１４０）、風景画像の中に特定種類のランドマークがあるか否かを判定する（ステップＳ１５０）。このランドマーク用画像認識処理による判定は、例えば、以下のように行なうことができる。まず、撮影された風景画像のうち特定種類のランドマークが存在する可能性がある領域の画像を切り出し、切り出した画像に対してエッジ検出処理などを施すことにより特徴点を抽出して二値化した特徴点画像を作成し、作成した特徴点画像に対してノイズ除去処理などを施して、判定用データを作成する。そして、作成した判定用データの中に、特定種類のランドマークの特徴点を抽出して二値化した照合データ（図５の地図データＤＢ４２参照）に相当する部分があるか否かを調べ、判定用データの中に照合データに相当する部分があると判定されたときに、風景画像の中に特定種類のランドマークがあると判定する。なお、ランドマーク用画像認識処理としてのエッジ検出処理やノイズ除去処理などは、画像認識処理における周知な手法であるため、これ以上詳細な説明は省略する。
【００３１】
ランドマーク用画像認識処理によっても風景画像の中に特定種類のランドマークがあると認識（判定）されないときには（ステップＳ１４０，Ｓ１５０）、ランドマークは地図上に存在するが運転者から視認可能でないと判断し、そのまま風景画像処理ルーチンを終了する。一方、ランドマーク用画像認識処理によって風景画像の中に特定種類のランドマークがあると認識（判定）されたときには（ステップＳ１４０，Ｓ１５０）、地図上存在するランドマークは運転者から視認可能と判断し、特定種類ランドマーク情報を風景画像の撮影時刻に関連付けて、風景画像と共に撮影情報の一部として記憶して（ステップＳ１６０）、風景画像処理ルーチンを終了する。こうしてランドマーク用画像認識処理により風景画像の中に特定種類のランドマークがあると認識されて、本ルーチンを終了したときには、走行中に車両からみた風景画像の１枚が撮影位置と撮影時刻と特定種類ランドマーク情報と共にＨＤＤ４０の画像データＤＢ４４に記憶されたことになる。この風景画像処理では、撮影位置から認識可能距離内に特定種類のランドマークがあることが地図データを用いて確認された場合にのみ、風景画像に対してランドマーク用画像認識処理を施して特定種類のランドマークの有無を判定するから、風景画像に対するランドマークを認識するための画像認識処理による演算量を抑制することができる。なお、図２の風景画像処理ルーチンは、ステップＳ１４０の所定の画像認識処理が画像処理部６８により実行される点を除いて、電子制御ユニット３０の地点登録処理部６４により実行される。以上、風景画像処理について説明した。次に、地点登録処理について説明する。
【００３２】
図４の地点登録処理ルーチンが実行されると、電子制御ユニット３０のＣＰＵ３２は、まず、カメラ５６により風景画像を撮影した際の撮影開始から撮影終了までの走行経路（以下、撮影経路ともいう）が指定された場合であるか否かを調べ（ステップＳ２００）、撮影経路が指定された場合でないときには、地点登録処理としての通常処理を行なって（ステップＳ２１０）、地点登録処理ルーチンを終了する。ここで、通常処理は、前述したように、ディスプレイ２２地点登録可能に表示されている所定の縮尺以上（詳細側）の地図上で、タッチパネル２４の操作としてユーザが任意の地点をタッチしたときに、タッチした地点の地図上の位置（緯度及び経度）をフラッシュメモリ３８の所定領域に登録地点として記憶することにより行なわれる。また、撮影経路が指定された場合であるか否かの判定は、実施例では、図６に例示する撮影経路指定用画面７０の１つ以上（図６の例では２つ）の撮影経路指定ボタン７０ａ，７０ｂのうちのいずれかがタッチされ選択されて本ルーチンが実行されたか否かを判定することにより行なうものとした。図６中、撮影経路指定ボタン７０ａは、２０１１年８月１日の１３時５分から同日の１５時３６分までを風景画像の撮影開始時刻と撮影終了時刻として走行した際の走行経路に相当するものであり、撮影経路指定ボタン７０ｂは、撮影経路指定ボタン７０ａに相当する走行経路よりも前に走行した際の走行経路に相当するものである。なお、撮影経路指定ボタン７０ａ，７０ｂの表示に必要な情報は、画像データＤＢ４４の情報などを用いて作成することができる。
【００３３】
撮影経路が指定された場合であるときには、指定された撮影経路における風景画像の撮影時刻のうちディスプレイ２２に表示すべき風景画像の撮影時刻（以下、表示対象撮影時刻という）を指示するための指示表示画像と、表示対象撮影時刻に対応する風景画像と、表示対象撮影時刻に対応する地図画像との各初期状態のものを、それぞれディスプレイ２２の表示領域のうち予め定められた指示表示領域と風景画像表示領域と地図画像表示領域とに表示する初期表示を行ない（ステップＳ２２０）、指示表示画像の更新をスタートする（具体的には、後述するタイムバー上のスライダーの移動をスタートする）（ステップＳ２３０）。このとき、実施例では、指示表示画像の更新に伴って撮影経路における撮影開始時刻から表示対象撮影時刻の更新が自動的にスタートするものとした。さらに、この表示対象撮影時刻に対応するように、ディスプレイ２２に表示される風景画像の再生と地図画像の更新とをスタートする（ステップＳ２４０）。図７に、ディスプレイ２２の表示領域２３のうち指示表示領域２３ａと風景画像表示領域２３ｂと地図表示領域２３ｃとの組み合わせの一例を示し、図８に、指示表示画像７１と風景画像７６と地図画像７８との組み合わせの一例を示す。ステップＳ２２０での各画像の初期表示は、表示対象撮影時刻の初期値（撮影開始時刻）に対応する画像を表示することにより行なわれ、ステップＳ２３０，Ｓ２４０での各画像の再生や更新は、指定された撮影経路における撮影開始時刻から撮影終了時刻までの範囲で更新（変更）される表示対象撮影時刻に対応するものを表示することにより行なわれる。各画像や表示対象撮影時刻について、次に詳しく説明する。
【００３４】
図７に示すように、実施例では、矩形上の表示領域２３の下端に沿って指示表示領域２３ａが延在し、指示表示領域２３ａの背面を含めて表示領域２３の右側半分を風景画像表示領域が占めると共に、同じく指示表示領域２３ａの背面を含めて表示領域２３の左側半分を地図表示領域２３ｃが占めるものとした。また、図８に示すように、指示表示画像７１は、指定された撮影経路（図８の例では、図６の撮影経路指定ボタン７０ａに相当する経路）において動画として撮影された風景画像の撮影開始時刻（図８の例では、１３時５分）から撮影終了時刻（図８の例では、１５時３６分）までの撮影時間に対応するタイムバー７２と、ユーザのドラッグ操作によってタイムバー７２上をスライド可能であると共に時間経過に応じてタイムバー７２上を左から右方向にスライドするスライダー７３と、指定された撮影経路沿いに地図データ上存在するランドマークのうち図２の風景画像処理ルーチンでランドマーク用画像認識処理によって認識されたランドマーク（具体的には、画像データＤＢ４４に撮影情報の一部として記憶された特定種類ランドマーク情報に対応するランドマーク）をタイムバー７２上の対応する位置にて示すランドマークアイコン７４ａ〜７４ｄとを含んでいる。
【００３５】
表示対象撮影時刻は、実施例では、図８に示すように、タイムバー７２上のスライダー７３の位置に対応する撮影時刻となり、タイムバー７２上のスライダー７３の位置によって定められる。ここで、スライダー７３は、その機能から、動画として撮影された風景画像のうち風景画像表示領域２３ｂに表示する風景画像の撮影時刻（表示対象撮影時刻）に対応するタイムバー７２上の位置をユーザにより指示可能に示すものということができる。また、タイムバー７２上のランドマークアイコン７４ａ〜７４ｄの表示は、画像データＤＢ４４に記憶された撮影経路における風景画像の撮影開始時刻から撮影終了時刻までの撮影時刻のうち、撮影情報の一部として特定種類ランドマーク情報が記憶された風景画像を選択すると共に、選択した風景画像の撮影時刻と特定種類ランドマーク情報とを読み出し、タイムバー４２が表示する時間範囲のうち読み出した撮影時刻に対応する位置に、読み出した特定種類ランドマーク情報に対応するランドマークを示すアイコンを地図データＤＢ４２から読み出して表示することにより行なうことができる。なお、実施例では、画像データＤＢ４４に記憶された風景画像とその撮影情報とを用いる結果として、タイムバー７２上に同じランドマークアイテムが連続的に複数表示されてランドマークアイテムの視認性が低下することのないように、同じランドマークアイテムが連続する範囲のうち最初のランドマークアイテムのみをタイムバー７２上に表示するものとした。さらに、図８に例示する風景画像７６としては、指定された撮影経路において動画として撮影された風景画像のうちタイムバー７２上のスライダー７３の位置に対応する撮影時刻（表示対象撮影時刻）の風景画像として画像データＤＢ４４に記憶されたものが表示される。また、図８に例示する地図画像７８としては、タイムバー７２上のスライダー７３の位置に対応する撮影時刻（表示対象撮影時刻）と共に撮影情報の一部として画像データＤＢ４４に記憶されている撮影位置を予め定められた撮影位置マーク７９（予め定められたマークであれば如何なる図形等のマークを用いてもよいが、図８の例では、地図表示に用いられる自車位置を示すマーク）で示すと共に、この撮影位置を例えば地図の中心や中心よりやや下方などに含む予め定められた地点登録用の縮尺の地図が、地図データを用いて、風景画像の撮影時の車両の進行方向を地図表示領域２３ｃの上方に向けて（いわゆるヘディングアップで）表示される。地点登録用の縮尺は、地図画像７８上で地点登録可能な（即ち、施設や家屋などの建物を登録地点として選択可能な）範囲の縮尺として予め定められたものである。以下の説明では、図８に例示したタイムバー７２とスライダー７３とランドマークアイコン７４ａ〜７４ｄとを含む指示表示画像７１を用いるものとする。
【００３６】
こうしてタイムバー７２上をスライダー７３がスライド（移動）すると共にスライダー７３の位置に対応する表示対象撮影時刻の更新に従って風景画像の再生（動画再生）と地図画像の更新（地図のスクロールと撮影位置マーク７９の地図上の移動）とをスタートすると、表示対象撮影時刻が撮影経路での撮影終了時刻になるなどにより地点登録処理を終了するか否かを判定し（ステップＳ２５０）、地点登録処理を終了しないと判定されたときには、タッチパネル２４の操作があったか否かを判定し（ステップＳ２６０）、タッチパネル２４の操作がなかったと判定されたときには、ステップＳ２５０に戻る。こうしてステップＳ２５０，Ｓ２６０の処理を繰り返している最中に、ステップＳ２５０で表示時刻が撮影終了時刻になるなどにより地点登録処理を終了すると判定されたときには、登録地点をフラッシュメモリ３８に新たに記憶することなく、地点登録処理ルーチンを終了する。
【００３７】
ステップＳ２６０でタッチパネル２４の操作があったと判定されたときには、その操作が地点登録要求の操作であったか否かを判定し（ステップＳ２７０）、地点登録要求の操作でなかったときには、その操作がタイムバー７２上のランドマークアイコン７４ａ〜７４ｄのいずれかの選択であったか否かを判定する（ステップＳ２８０）。ここで、地点登録要求の操作であったか否かの判定は、地図上で地点登録可能な施設や家屋などの建物がタッチされたか否かを判定することにより行なうことができる。また、ランドマークアイコン７４ａ〜７４ｄのいずれかの選択であったか否かの判定は、指示表示画像７１におけるランドマークアイコン７４ａ〜７４ｄがタッチされたか否かを判定することにより行なうことができる。
【００３８】
タッチパネル２４の操作が地点登録要求の操作でなくランドマークアイコン７４ａ〜７４ｄのいずれかの選択でもないとき、例えば、タイムバー７２上のスライダー７３のドラッグ操作や地図のスクロール操作，地図の縮尺の変更操作，風景画像の動画再生の一時停止などのときには、操作に対応する処理を行なって（ステップＳ２９０）、ステップＳ２５０に戻る。例えば、タイムバー７２上のスライダー７３のドラッグ操作が行なわれたときには、タイムバー上７２のスライダー７３の位置に対応する撮影時刻が表示対象撮影時刻となるため、この表示対象撮影時刻の風景画像を表示すると共に、この表示対象撮影時刻に対応する撮影位置に撮影位置マークを示す地点登録用の縮尺の地図画像を表示し、スライダー７３の移動に伴う表示対象撮影時刻の更新に従って風景画像の動画再生と地図画像の更新とを再びスタートする。
【００３９】
ステップＳ２７０で地点登録要求の操作であったと判定されたときには、初期値としては値０が設定され本ルーチンでタイムバー７２上のランドマークアイコン７４ａ〜７４ｄの１つが選択されたときに値１が設定される選択フラグＦ１を調べ（ステップＳ３００）、選択フラグＦ１が値０のときには、ランドマークアイコン７４ａ〜７４ｄは選択されなかったと判断し、地点登録が要求された地点を登録地点としてフラッシュメモリ３８の所定領域に記憶する地点登録を行なって（ステップＳ３１０）、地点登録処理ルーチンを終了する。図９に、ランドマークアイテムの選択を伴わずに地点登録を行なう様子の一例を示す。図中、タイムバー７２上のスライダー７３の位置は、時間経過やユーザのドラッグ操作によって「Ｂ店」のランドマークアイコン７４ｂの位置まで移動したときの状態を示す。このとき、風景画像８０には、「Ｂ店」のランドマーク８１とユーザが地点登録を要求する建物８２とが含まれている。また、地図画像８４には、撮影位置マーク８５と「Ｂ店」のランドマークアイコン８６と建物８２を示す建物画像８７とが含まれている。図９の地図画像８４において、建物画像８７がタッチされたときには、建物８２の地図上の位置を登録地点として地点登録が行なわれる。
【００４０】
ステップＳ２８０でランドマークアイコン７４ａ〜７４ｄのいずれかが選択されたと判定されたときには、選択フラグＦ１に値１を設定し（ステップＳ３２０）、タイムバー７２上の選択されたランドマークアイテムの位置に対応するように、タイムバー７２上のスライダー７３の位置を変更する（ステップＳ３３０）。このとき、タイムバー７２上のスライダー７３の位置に対応する撮影時刻が表示対象撮影時刻となる。続いて、タイムバー７２の指示表示領域２３ａでの大きさを変更することなく、タイムバー７２が表示する時間範囲を、表示対象撮影時刻を例えば中心や中心より少し前などに含む予め定められた選択時表示範囲時間に変更し（ステップＳ３４０）、表示する時間範囲が変更されたタイムバー７２上でスライダー７３の移動をスタートして表示対象撮影時刻の更新をスタートすると共に表示対象撮影時刻の更新に従って風景画像の再生と地図画像の更新とをスタートし（ステップＳ３５０）、ステップＳ２５０の処理に戻る。ここで、選択時表示範囲時間は、タイムバー７２上の選択されたランドマークアイテムに対応する撮影時刻（表示対象撮影時刻）の前後で比較的細かい時間指定が容易となるように、即ち撮影時刻の識別がしやすくなるように予め定められたもの（例えば、１０分や３０分，１時間など）である。図１０に、タイムバー７２上のランドマークアイコン７４ｂが選択されたときの表示の様子の一例を示す。図１０では、図９と同様に、タイムバー７２上のランドマークアイコン７４ｂの位置に対応する撮影時刻（表示対象撮影時刻）の風景画像８０と地図画像８４とを表示している。ただし、図１０では、図９とは異なり、タイムバー７２が表示する時間範囲が表示対象撮影時刻を含む選択時表示範囲時間（図１０では、表示対象撮影時刻を中心に含む３０分）の範囲となっており、タイムバー７２上には４つのうち２つのランドマークアイコン７４ｂ，７４ｃのみが表示されている。
【００４１】
こうしてランドマークアイテムが選択されて選択フラグＦ１に値１が設定されている状態で、タッチパネル２４の操作が地点登録要求の操作であったと判定されたときには（ステップＳ２７０）、選択フラグＦ１が値１と判定されるから（ステップＳ３００）、選択フラグＦ１に値１が設定されたときに選択されていたランドマークアイテムが示すランドマーク（以下、選択ランドマークという）と地点登録が要求された地点（以下、要求地点という）との間の地図上のコストＣを計算する（ステップＳ３６０）。ここで、選択ランドマークと要求地点との間のコストＣは、選択ランドマークから要求地点まで走行する際の走行の困難さの程度を示すものであり、実施例では、地図データを用いて、選択ランドマークから要求地点までの距離が長いほど大きくなると共に、選択ランドマークから要求地点までの交差点での右左折数が多いほど大きくなるように計算するものとした。なお、後者の右左折数は、経路案内処理部６６により探索される選択ランドマークから要求地点までの走行経路における交差点での右左折数に基づくものを用いることができる。
【００４２】
続いて、計算したコストＣと閾値Ｃｒｅｆとを比較し（ステップＳ３７０）、コストＣが閾値Ｃｒｅｆ以上のときには、要求地点を登録地点として地点登録を行ない（ステップＳ３１０）、コストＣが閾値Ｃｒｅｆ未満のときには、要求地点を登録地点として地点登録を行なうと共に登録地点と選択ランドマークを示す情報とを互いに関連付けてフラッシュメモリ３８の所定領域に記憶して（ステップＳ３８０）、地点登録処理ルーチンを終了する。ここで、コストＣと比較する閾値Ｃｒｅｆは、選択ランドマークを要求地点への経路案内に用いることが有効であるか否かを判断するためのものであり、選択ランドマークを要求地点への経路案内に用いることが有効でない範囲の下限値などとして予め実験などにより定められたものを用いることができる。こうしてランドマークアイコン７４ａ〜７４ｄのうちいずれかの選択を伴って地点登録を行なうときには、選択されたランドマークアイテムに対応する選択ランドマークと登録地点とを関連付けて記憶するから、次に説明するように、登録地点への経路案内に選択ランドマークを用いることができる。なお、実施例では、地点登録要求がなされたときに選択フラグＦ１が値１のときには、コストＣに応じて登録地点と選択ランドマークとを関連付けて記憶するものとしたが、ランドマークアイテムが選択されて値１が設定された選択フラグＦ１は、ランドマークアイテムの選択により選択ランドマークを含む地図画像が表示されている状態から所定の地図表示処理（例えば、地図のスクロールや地図の縮尺の変更など、地点登録処理を中止しない処理）が行なわれる範囲内で地点登録を行なうときには、値１から変更されないものとした。また、実施例では、ランドマークアイテムが複数回選択されてから地点登録が行なわれたときには、最後に選択されたランドマークアイテムに対応する選択ランドマークのみを登録地点と関連付けて記憶するものとした。図１１に、ランドマークアイコン７４ｂの選択を伴って地点登録を行なったときの様子の一例を示す。図１１の例は、タイムバー７２上のランドマークアイコン７４ｂが選択されたときの図１０の状態の直後に建物８２が地点登録されたときの様子を示している。図中、建物画像８７には登録地点であることを示すフラッグ８８が表示されている。以上、地点登録処理について説明した。次に、経路案内処理について説明する。
【００４３】
図４の経路案内処理ルーチンが実行されると、電子制御ユニット３０のＣＰＵ３２は、まず、ユーザにより設定された目的地を入力し（ステップＳ４００）、入力した目的地が前述の選択ランドマークに関連付けられてフラッシュメモリ３８の所定領域に記憶された登録地点の１つであるか否かを判定する（ステップＳ４１０）。目的地が選択ランドマークに関連付けられた登録地点でないときには、経路案内処理としての通常処理を行なって（ステップＳ４２０）、経路案内処理ルーチンを終了する。ここで、通常処理は、ロケーション処理により特定された自車位置などの出発地から設定された目的地への走行経路を地図データを用いて探索すると共に探索した走行経路を地図表示処理部６２による地図表示やスピーカ２６からの音声出力によって案内することにより行なわれる。
【００４４】
目的地が選択ランドマークに関連付けられた登録地点であるときには、選択ランドマークを用いた地図表示処理部６２による地図表示とスピーカ２６からの音声出力とによって、出発地から目的地への経路案内を行なって（ステップＳ４２０）、経路案内処理ルーチンを終了する。ここで、選択ランドマークを用いた地図表示としては、例えば、選択ランドマークに対応する地図上のアイコンを点滅させたり、選択ランドマークから目的地までの経路を特に強調（経路の色や模様の変更，経路の点滅，通常より太い道路表示など）したりすることなどが考えられる。また、選択ランドマークを用いた音声出力としては、例えば、走行経路上で自車位置が選択ランドマークまで所定の近距離以下の範囲に近づいたときに、その選択ランドマークから目的地までの距離を報知したり、選択ランドマークから目的地までの経路を例えば右左折の順序を含めて説明したりすることなどが考えられる。図１２に、ランドマークアイコン８６に対応する選択ランドマークを用いて経路案内する様子の一例を示す。図中、建物画像８７が示す地点は、ランドマークアイコン８６に対応する選択ランドマークに関連付けられて記憶された登録地点である。図１２の例では、選択ランドマークから登録地点（目的地）までの経路が強調されており、選択ランドマークから登録地点（目的地）までの距離が報知されている。なお、実施例では、図１３に示すように、互いに関連付けられた選択ランドマークと登録地点（目的地）との他に走行経路沿いに風景画像処理によって認識されたランドマーク（図中、ランドマークアイコン８９に対応する「Ａ店」）があった場合でも、こうしたランドマークが登録地点（目的地）と関連付けられていないため、ランドマークの地図表示は行なわれても、特に経路案内には用いられないことになる。
【００４５】
いま、ユーザが車両の走行中に地点登録したい地点を見つけたが、運転中であるためにナビゲーション装置２０を操作して地点登録することができない場合を考える。この場合、ユーザは車両を停止（駐車など）して、過去の走行中に撮影した風景画像を再生することにより地点登録したい場所を思い出そうとすることが考えられるが、例えば風景画像の撮影時刻を指示可能なタイムバー７２上のスライダー７３を操作するのみでは、特に土地勘がない地域を走行した場合などに、見たい画像を容易に表示させることができず、地点登録を容易に行なうことができない場合が生じる。これに対し、実施例のナビゲーション装置２０では、タイムバー７２上の対応する位置に風景画像の中から画像認識したランドマークのアイコンを表示する、即ち、走行中にユーザから視認された可能性が高いランドマークのアイコンを表示するから、ランドマークがユーザの記憶に残りやすいことを考えると、ユーザはランドマークアイコンを目印として表示させたい風景画像をより容易に指示することができる。そして、風景画像と共に風景画像の撮影時の自車位置としての撮影位置とその周辺の地図とを表示するから、ユーザは、風景画像を見ながら地図上で地点登録を行なうことができる。
【００４６】
さらに、実施例のナビゲーション装置２０では、ランドマークアイコンの１つの選択を伴って地点登録が行なわれたときには、選択ランドマークと登録地点とを関連付けて記憶して、選択ランドマークを登録地点への経路案内に用いている。こうして選択ランドマークと登録地点とが関連付けられたときは、ユーザの記憶の中で両者の関連性が特に高いと考えることができる。したがって、こうして登録地点に関連付けられた選択ランドマークを用いて経路案内を行なうことにより、ユーザにとってより利便性が高く適正な経路案内を行なうことができる。しかも、実施例のナビゲーション装置２０では、選択ランドマークから登録地点までのコストＣが閾値Ｃｒｅｆ以上のときには、こうした関連付けによる記憶は行なわないものとしたから、ユーザの記憶の中で関連性が高い組み合わせであっても、実際に登録地点への経路案内に用いるのが必ずしも有効でない（例えば、距離が遠い，交差点での右左折数が多く経路が複雑となる）選択ランドマークが、経路案内に用いられるのを抑制することができる。また、実施例のナビゲーション装置２０では、ユーザにより選択された特定種類のランドマークを風景画像の中から画像認識するから、ランドマーク用画像認識処理の演算量を抑制することができるのに加え、ユーザが車室内から視認したときに特に記憶に残りやすい（例えば、愛着があるなどの）特定種類のランドマークを予め選択しておくことができ、こうして選択されてから認識されたランドマークを示すランドマークアイテムを参照することにより、ユーザは見たい風景画像や地図画像をより容易に指示することができる。
【００４７】
なお、実施例では、図１４に示すように、ランドマークアイコン９０ａに対応する選択ランドマーク（図中下方の「Ａ店」）と登録地点（目的地）９０ｂとが関連付けられている場合でも、選択ランドマークの所定距離内に同じ種類のランドマーク（図中、ランドマークアイコン９０ｃに対応する「Ａ店」）がある場合には、原則として選択ランドマークを用いた経路案内を禁止するものとした。これは、選択ランドマークを用いた経路案内によって、ユーザが混乱する場合があるためである。ただし、図１５に示すように、ランドマークアイコン９０ａに対応する選択ランドマーク（図中下方の「Ａ店」）と登録地点（目的地）９０ｂとが関連付けられている場合において、選択ランドマークの所定距離内に同じ種類のランドマーク（図中、ランドマークアイコン９０ｄに対応する「Ａ店」）がある場合でも、いずれのランドマークを用いた経路案内を行なっても音声出力による案内に違いが生じない場合には、選択ランドマークを用いた経路案内を許可するものとした。
【００４８】
以上説明した実施例のナビゲーション装置２０によれば、車載されたカメラ５６により連続的に撮影された風景画像を取得し、連続的に撮影された風景画像のそれぞれを撮影時刻に関連付けて画像データＤＢ４４に記憶させ、連続的に撮影された風景画像の撮影開始から撮影終了までの撮影時間に対応するタイムバー７２と、タイムバー７２上の位置をユーザにより指示可能に示すスライダー７３と、連続的な風景画像を撮影した際の走行経路沿いに存在するランドマークをタイムバー７２上の対応する位置にて示すランドマークアイコン７４ａ〜７４ｄと、を含む指示表示画像７１をディスプレイ２２の表示領域２３のうち予め定められた指示表示領域２３ａに表示させ、さらに、連続的な風景画像のうちタイムバー７２上のスライダー７３の位置に対応する撮影時刻に関連付けられた風景画像をディスプレイ２２の表示領域２３のうち予め定められた風景画像表示領域２３ｂに表示させるから、走行経路上のランドマークの時系列的な位置を把握した状態で、ユーザは連続的に動画として撮影された風景画像のうち風景画像表示領域２３ｂに表示する風景画像を指示することができる。この結果、ランドマークが走行中に運転者などのユーザにより視認されると記憶に残りやすいことを考えると、ディスプレイ２２に表示させたい風景画像をより容易に指示可能とすることができる。
【００４９】
また、実施例のナビゲーション装置２０によれば、タイムバー７２上のスライダー７３の位置に対応する撮影時刻と共に風景画像に関連付けられた撮影位置を、その撮影位置周辺の地図と共に、ディスプレイ２２の表示領域２３のうち予め定められた地図表示領域２３ｃに表示させるから、ディスプレイ２２に表示させたい風景画像と共にその撮影位置を含む地図を表示させることができ、地点登録を行なうことができる。さらに、指示表示領域２３ａ上で表示されているランドマークアイコン７４ａ〜７４ｄのうちいずれかが選択されたときには、選択されたランドマークアイテムのタイムバー７２上の位置に対応するようスライダー７３のタイムバー７２上の位置を変更するから、ランドマークアイテムを選択することによって、走行経路上のランドマークに対応する撮影時刻の風景画像と地図画像とを表示させることができ、ユーザはより容易に地点登録を行なうことができる。
【００５０】
しかも、実施例のナビゲーション装置２０によれば、ディスプレイ２２の指示表示領域２３ａ上で表示されているランドマークアイコン７４ａ〜７４ｄのうちいずれかの選択を伴って地点登録を行なうときには、登録地点を選択されたランドマークアイテムが示す選択ランドマークに関連付けて地点登録を行ない、その選択ランドマークに関連付けられた登録地点を目的地に設定して経路案内を行なうときには、登録地点に関連付けられた選択ランドマークを地図表示と音声出力とによる案内に用いて経路案内を行なうから、ランドマークは走行中に運転者などのユーザにより視認されると記憶に残りやすいことを考えると、より適正に経路案内を行なうことができる。
【００５１】
実施例のナビゲーション装置２０では、タイムバー７２上のランドマークアイテムの選択を伴って地点登録が行なわれたときには、選択されたランドマークアイテムに対応する選択ランドマークと登録地点とを関連付けて記憶するものとしたが、タイムバー７２上のランドマークアイテムの選択を伴わずに地点登録が行なわれたときでも、ランドマークと登録地点とを関連付けて記憶するものとしてもよい。例えば、図９を用いて説明すると、タイムバー７２上のスライダー７３が２つのランドマークアイコン７４ｂ，７４ｃの間のときに地点登録が行なわれたときに、撮影経路における登録地点の手前側のランドマークアイコン７４ｂを登録地点と関連付けて記憶したり、撮影経路における登録地点の両側の２つのランドマークアイコン７４ｂ，７４ｃと登録地点とを関連づけて記憶したりするなどとしてもよい。
【００５２】
実施例のナビゲーション装置２０では、選択ランドマークと関連付けられた登録地点を目的地として経路案内を行なうときには、選択ランドマークを地図表示と音声出力とによる案内に用いて経路案内を行なうものとしたが、選択ランドマークを地図表示による案内のみに用いて経路案内を行なうものとしてもよいし、選択ランドマークを音声出力による案内のみに用いて経路案内を行なうものとしてもよい。
【００５３】
実施例のナビゲーション装置２０では、選択ランドマークから登録地点までのコストＣが閾値Ｃｒｅｆ以上のときには、選択ランドマークを登録地点に関連付けて記憶しないものとしたが、こうしたコストＣの大小に拘わらず（コストＣを計算することなく）、選択ランドマークを登録地点に関連付けて記憶するものとしてもよい。
【００５４】
実施例のナビゲーション装置２０では、カメラ５６により撮影された風景画像に対してランドマーク用画像認識処理を施すことによって風景画像の中にあると認識されたランドマークを風景画像の撮影時刻と関連付けて記憶することにより、タイムバー７２上の対応する位置に認識されたランドマークのランドマークアイテムを表示するものとしたが、風景画像に対してランドマーク用画像認識処理を施すことなく、地図データを用いて撮影経路沿いに存在するランドマークを認識すると共にこうして認識したランドマークのランドマークアイテムをタイムバー７２上の対応する位置に表示するものとしてもよい。
【００５５】
実施例のナビゲーション装置２０では、ユーザにより予め選択された特定種類のランドマークが風景画像の中にあると認識されたときに、認識された特定種類のランドマークを風景画像の撮影時刻に関連付けて記憶するものとしたが、特定種類のランドマークに限ることなく、地図データ上全ての種類のランドマークのいずれかについて風景画像の中にあると認識されたときに、認識されたランドマークを風景画像の撮影時刻に関連付けて記憶するものとしてもよい。
【００５６】
実施例のナビゲーション装置２０では、タイムバー７２上のランドマークアイテムのいずれかが選択されたときには、タイムバー７２が表示する時間範囲を表示対象撮影時刻を含む選択時表示範囲時間に変更するものとしたが、こうしたタイムバー７２が表示する時間範囲の変更は行なわないものとしてもよい。また、タイムバー７２が表示する時間範囲は、タッチパネル２４の操作（タイムバー７２上で２本の指を話したり近づけたりする操作など）によってユーザが自由に変更できるようにするものとしても構わない。
【００５７】
実施例のナビゲーション装置２０では、カメラ５６による風景画像の撮影は、ユーザにより撮影開始が指示されてから撮影終了が指示されるまでの車両の走行中に行なわれるものとしたが、ナビゲーション装置２０がオンされたときに開始してオフされたときに終了するなどとしてもよい。
【００５８】
実施例のナビゲーション装置２０では、風景画像は動画として再生されると共に地図画像はスクロール表示されるものとしたが、風景画像や地図画像が初期表示されたときや、タイムバー７２上のスライダー７３がドラッグ操作されたとき、タイムバー７２上のランドマークアイテムが選択されたときなどに、風景画像を一旦静止画として表示し、タイムバー７２上のスライダー７３のドラッグ操作に応じて静止画のまま風景画像を更新したり地図画像をスクロール表示させるものとしてもよい。この場合、ユーザの指示により動画として再生が開始されたときに、風景画像の再生と地図画像のスクロール表示とを開始するなどとしてもよい。
【００５９】
実施例のナビゲーション装置２０では、タイムバー７２は、風景画像の撮影開始から撮影終了までの撮影時間に対応するものであってディスプレイ２２の指示表示領域２３ａの全体に一定の長さで表示されるものとしたが、例えば、図１６に例示するように、風景画像の撮影開始から撮影終了までの撮影時間の長さに応じて指示表示領域２３ａ内で長さが異なるタイムバー１７２としてもよい。即ち、タイムバー１７２とスライダー１７３とランドマークアイテムとを含む指示表示画像１７１は、そのサイズが撮影時間の長さによって異なるものとしてもよい。
【００６０】
実施例のナビゲーション装置２０では、地点登録する際に、タイムバー７２とスライダー７３とランドマークアイテムとを含む指示表示画像７１は、表示領域２３の下端に延在する指示表示領域２３ａに表示されるものとしたが、例えば、図１７に例示するように、表示領域２３の右端や左端などに縦方向を長手方向として、タイムバー１７２とスライダー１７３とランドマークアイテムとを含む指示表示画像２７１を表示するなどとしてもよい。また、こうして表示されるタイムバーは、直線に限られず、曲線により表示されるものとしてもよい。即ち、指示表示画像が例えば環形など曲線的に表示されるものとしてもよい。
【００６１】
実施例のナビゲーション装置２０では、地点登録する際に、タイムバー７２とスライダー７３とランドマークアイテムとを含む指示表示画像７１と、表示対象撮影時刻に対応する風景画像７６，８０と、表示対象撮影時刻に対応する地図画像７８，８４とを表示するものとしたが、風景画像の撮影開始から撮影終了までを時系列的な線として示すアイテムと、表示する風景画像の撮影時刻に対応する時系列上の位置を指示可能に示すアイテムと、ランドマークアイテムとを含む指示表示画像と、風景画像とを少なくとも表示すればよい。したがって、図１８に例示するように、風景画像３７６を表示領域２３の一部（図の例では右側半分）に表示すると共に、風景画像の撮影開始から撮影終了までの地図上の車両の走行経路を示す撮影経路３７２と、撮影経路３７２上でユーザがタッチパネル２４の操作により位置を変更可能な撮影位置マーク３７３と、ランドマークアイテム３７４ａ〜３７４ｄと、を含む指示表示画像３７１を、表示領域２３の一部（図の例では左側半分）に撮影経路３７２の全体を表示可能な最大縮尺による地図として表示するものとしてもよい。即ち、表示する風景画像の撮影時刻を指示することができる指示表示画像は、タイムバー７２やスライダー７３を含むものに限られない。また、図１８の例の場合でも、実施例のナビゲーション装置２０と同様に、風景画像記憶処理を実行することができ、地点登録に際して、地図画像３７１をタッチパネル２４の操作（２本の指を話したり近づけたりする操作など）で縮尺変更可能とし、ランドマークアイテムが選択されたときに撮影時刻に対応するように風景画像３７６を更新したり、選択ランドマークと登録地点とを関連付けて記憶させたり、経路案内処理に際して選択ランドマークを登録地点への経路案内に用いたりすることができる。
【００６２】
実施例のナビゲーション装置２０では、地点登録する際に、タイムバー７２とスライダー７３とランドマークアイテムとを含む指示表示画像７１と、表示時刻に対応する風景画像７６，８０と、表示時刻に対応する地図画像７８，８４とを表示するものとしたが、地点登録する際であるか否かに拘わらず、風景画像の撮影開始から撮影終了までを時系列的な線として示すアイテムと、表示する風景画像の撮影時刻に対応する時系列上の位置を指示可能に示すアイテムと、ランドマークアイテムとを含む指示表示画像と、風景画像とを少なくとも表示すればよい。したがって、図１９に例示するように、地図画像を表示することなく、指示表示画像７１と、表示領域２３の概ね全体に表示される風景画像４７６とを表示するものとしても構わない。
【００６３】
実施例では、本発明の車両用表示処理システムをディスプレイ２２やＨＤＤ４０を備えるナビゲーション装置２０に適用して説明したが、例えば、ディスプレイを備えるナビゲーション装置と通信可能に接続されたサーバに電子制御ユニット３０の地点登録処理部６４の機能と経路案内処理部６６の機能と風景画像処理等に必要な画像処理部６８の機能の一部とを行なわせるようにして、このサーバを本発明の車両用表示処理システムとして機能させるものとしてもよいし、ナビゲーション装置とサーバとで機能を分担することにより全体として車両用表示処理システムを構成するものとしてもよい。また、ナビゲーション装置２０に代えて、デジタルカメラや携帯端末，ドライブレコーダなどの機器を本発明の車両用表示処理システムとして機能させるものとしてもよい。この場合、こうした機器を車室内に設置してこの機器が備えるカメラにより撮影される風景画像を用いて風景画像処理や地点登録処理，経路案内処理を行なうようにしてもよい。
【００６４】
また、実施例では、本発明の車両用表示処理システムをナビゲーション装置２０に適用して説明したが、車両用表示処理方法の形態としてもよいし、こうした車両用表示処理方法の各ステップを１以上のコンピュータに実現させるためのプログラムの形態としてもよい。また、こうしたプログラムを記録媒体に記憶させた形態としても構わない。
【００６５】
実施例の主要な要素と課題を解決するための手段の欄に記載した発明の主要な要素との対応関係について説明する。実施例では、ディスプレイ２２が「表示部」に相当し、ＨＤＤ４０（画像データＤＢ４４）が「記憶部」に相当し、図２の風景画像処理ルーチンのステップＳ１００の処理を実行する電子制御ユニット３０の地点登録処理部６４が「風景画像取得手段」に相当し、図２の風景画像処理ルーチンのステップＳ１１０の処理を実行する電子制御ユニット３０の地点登録処理部６４が「風景画像記憶処理手段」に相当し、図３の地点登録処理ルーチンのステップＳ２２０〜Ｓ２４０の処理を実行する電子制御ユニット３０の地点登録処理部６４が「表示処理手段」に相当する。また、図３の地点登録処理ルーチンのステップＳ２１０，Ｓ３１０，Ｓ３８０の処理を実行する電子制御ユニット３０の地点登録処理部６４が「地点登録手段」に相当し、図４の経路案内処理ルーチンを実行する電子制御ユニット３０の経路案内処理部６６が「経路案内手段」に相当し、図３の地点登録処理ルーチンのステップＳ３６０，Ｓ３７０の処理を実行する電子制御ユニット３０の地点登録処理部６４が「走行困難程度判定手段」に相当し、図２の風景画像処理ルーチンのステップＳ１４０の処理を実行する電子制御ユニット３０の画像処理部６８が「ランドマーク認識手段」に相当する。
【００６６】
なお、実施例の主要な要素と課題を解決するための手段の欄に記載した発明の主要な要素との対応関係は、実施例が課題を解決するための手段の欄に記載した発明を実施するための形態を具体的に説明するための一例であることから、課題を解決するための手段の欄に記載した発明の要素を限定するものではない。即ち、課題を解決するための手段の欄に記載した発明についての解釈はその欄の記載に基づいて行なわれるべきものであり、実施例は課題を解決するための手段の欄に記載した発明の具体的な一例に過ぎないものである。
【００６７】
以上、本発明を実施するための形態について実施例を用いて説明したが、本発明はこうした実施例に何等限定されるものではなく、本発明の要旨を逸脱しない範囲内において、種々なる形態で実施し得ることは勿論である。
【産業上の利用可能性】
【００６８】
本発明は、車両用表示処理システムの製造産業などに利用可能である。
【符号の説明】
【００６９】
１０ ナビゲーションシステム、１２ 車載装置、２０ ナビゲーション装置、２２ ディスプレイ、２３ 表示領域、２３ａ 指示表示領域、２３ｂ 風景画像表示領域、２３ｃ 地図表示領域、２４ タッチパネル、２６ スピーカ、３０ 電子制御ユニット、３２ ＣＰＵ、３４ ＲＯＭ、３６ ＲＡＭ、３８ フラッシュメモリ、４０ ハードディスクドライブ（ＨＤＤ）、５０ ＧＰＳ受信機、５２ 車速センサ、５４ 方位センサ、５６ カメラ、６０ ロケーション処理部、６２ 地図表示処理部、６４ 地点登録処理部、６６ 経路案内処理部、６８ 画像処理部、７０ 撮影経路指定用画面、７０ａ，７０ｂ 撮影経路指定ボタン、７１，１７１，２７１，３７１ 指示表示画像、７２，１７２ タイムバー、７３，１７３ スライダー、７４ａ〜７４ｄ，８６，８９，９０ａ，９０ｃ，９０ｄ，３７４ａ〜３７４ｄ ランドマークアイコン、７６，８０，３７６，４７６ 風景画像、７８，８４ 地図画像、７９，８５ 撮影位置マーク、８１ ランドマーク、８２ 建物、８７ 建物画像、８８ フラッグ、９０ｂ 登録地点、３７２ 撮影経路、３７３ 撮影位置マーク。
【特許請求の範囲】
【請求項１】
表示部に画像を表示させる車両用表示処理システムであって、
車両前方の風景を撮影する車載カメラにより連続的に撮影された風景画像を取得する風景画像取得手段と、
前記連続的に撮影された風景画像のそれぞれを撮影時刻に関連付けて記憶部に記憶させる風景画像記憶処理手段と、
前記連続的に撮影された風景画像の撮影開始から撮影終了までの撮影時刻を時系列的に線として示す時系列的線アイテムと、前記時系列的線アイテム上の位置を利用者により指示可能に示す時刻位置アイテムと、前記連続的な風景画像を撮影した際の走行経路沿いに存在するランドマークを前記時系列的線アイテム上の対応する位置にて示すランドマークアイテムと、を含む時系列的指示表示を前記表示部の表示領域のうち予め定められた指示表示領域に表示させる共に、前記連続的な風景画像のうち前記時系列的線アイテム上の前記時刻位置アイテムの位置に対応する撮影時刻に関連付けられた風景画像を前記表示部の表示領域のうち予め定められた風景画像表示領域に表示させる表示処理手段と、
を備える車両用表示処理システム。
【請求項２】
請求項１記載の車両用表示処理システムであって、
前記風景画像記憶処理手段は、前記連続的に撮影された風景画像のそれぞれを、前記撮影時刻と共に撮影時の地図上の自車位置を示す撮影位置に関連付けて前記記憶部に記憶させ、
前記表示処理手段は、前記時系列的指示表示の前記指示表示領域への表示および前記風景画像の前記風景画像表示領域への表示に加えて、前記時系列的線アイテム上の前記時刻位置アイテムの位置に対応する撮影時刻と共に風景画像に関連付けられた撮影位置を、該撮影位置周辺の地図と共に、前記表示部の表示領域のうち予め定められた地図表示領域に表示させる、
車両用表示処理システム。
【請求項３】
請求項２記載の車両用表示処理システムであって、
前記表示処理手段は、前記指示表示領域上で表示されている前記ランドマークアイテムのうちいずれかが選択されたときには、該選択されたランドマークアイテムの前記時系列的線アイテム上の位置に対応するよう前記時刻位置アイテムの前記時系列的線アイテム上の位置を変更する、
車両用表示処理システム。
【請求項４】
請求項３記載の車両用表示処理システムであって、
前記表示部に表示された地図上で利用者により選択される任意の地点を登録地点として地点登録を行なう地点登録手段と、
目的地が設定されたときに該設定された目的地への経路案内を行なう経路案内手段と、
を備え、
前記地点登録手段は、前記表示手段の前記指示表示領域上で表示されている前記ランドマークアイテムのうちいずれかの選択を伴って地点登録を行なうときには、前記登録地点を前記選択されたランドマークアイテムが示す前記ランドマークに関連付けて地点登録を行ない、
前記経路案内手段は、前記ランドマークに関連付けられた前記登録地点を目的地に設定して経路案内を行なうときには、前記登録地点に関連付けられたランドマークを地図表示と音声出力との少なくとも一方による案内に用いて経路案内を行なう、
車両用表示処理システム。
【請求項５】
請求項４記載の車両用表示処理システムであって、
前記登録地点に関連付けられたランドマークから前記登録地点までの距離と交差点での右左折数との少なくとも一方に基づく走行の困難さの程度が所定程度未満か否かを判定する走行困難程度判定手段
を備え、
前記地点登録手段は、前記走行の困難さの程度が前記所定程度未満と判定されたときにのみ前記登録地点を前記ランドマークに関連付けて地点登録を行なう、
車両用表示処理システム。
【請求項６】
請求項１ないし５のいずれか１つの請求項に記載の車両用表示処理システムであって、
前記風景画像に対して所定の画像認識処理を施すことにより前記ランドマークを認識するランドマーク認識手段
を備え、
前記表示処理手段は、前記ランドマーク認識手段により認識された前記ランドマークを前記時系列的線アイテム上の対応する位置にて示す前記ランドマークアイテムを、前記指示表示領域に表示させる、
車両用表示処理システム。
【請求項７】
請求項６記載の車両用表示処理システムであって、
前記ランドマーク認識手段は、複数種類のランドマークのうち予め選択された特定種類のランドマークを認識する、
車両用表示処理システム。
【請求項８】
請求項１ないし７のいずれか１つの請求項に記載の車両用表示処理システムであって、
前記表示処理手段は、前記指示表示領域上で表示されている前記ランドマークアイテムのうちいずれかが選択されたときには、前記選択されたランドマークアイテムの前記時系列的線アイテム上の位置に対応する撮影時刻を含む所定時間を前記時系列的線アイテムが表示する時間範囲として前記指示表示領域への表示を行なう、
車両用表示処理システム。
【請求項９】
請求項１ないし８のいずれか１つの請求項に記載の車両用表示処理システムであって、
前記時系列的指示表示は、前記連続的な風景画像の撮影開始から撮影終了までの時間に対応するタイムバーと前記タイムバー上をスライド可能なスライダーとをそれぞれ前記時系列的線アイテムと前記時刻位置アイテムとして含む、
車両用表示処理システム。
【請求項１０】
請求項１記載の車両用表示処理システムであって、
前記時系列的指示表示は、前記連続的に撮影された風景画像の撮影開始から撮影終了までの地図上の車両の走行経路を示す撮影経路と該撮影経路上で位置を変更可能な所定マークとをそれぞれ前記時系列的線アイテムと前記時刻位置アイテムとして含むと共に、前記指示表示領域に前記撮影経路の全体を表示可能な最大縮尺による地図である、
車両用表示処理システム。
【請求項１１】
表示部に画像を表示させる車両用表示処理方法であって、
（ａ）車両前方の風景を撮影する車載カメラにより連続的に撮影された風景画像を取得するステップと、
（ｂ）前記連続的に撮影された風景画像のそれぞれを撮影時刻に関連付けて記憶部に記憶させるステップと、
（ｃ）前記連続的に撮影された風景画像の撮影開始から撮影終了までの撮影時刻を時系列的に線として示す時系列的線アイテムと、前記時系列的線アイテム上の位置を利用者により指示可能に示す時刻位置アイテムと、前記連続的な風景画像を撮影した際の走行経路沿いに存在するランドマークを前記時系列的線アイテム上の対応する位置にて示すランドマークアイテムと、を含む時系列的指示表示を前記表示部の表示領域のうち予め定められた指示表示領域に表示させる共に、前記連続的な風景画像のうち前記時系列的線アイテム上の前記時刻位置アイテムの位置に対応する撮影時刻に関連付けられた風景画像を前記表示部の表示領域のうち予め定められた風景画像表示領域に表示させるステップと、
を含む車両用表示処理方法。
【請求項１２】
請求項１１記載の車両用表示処理方法の各ステップを１以上のコンピュータに実現させるためのプログラム。
【請求項１】
表示部に画像を表示させる車両用表示処理システムであって、
車両前方の風景を撮影する車載カメラにより連続的に撮影された風景画像を取得する風景画像取得手段と、
前記連続的に撮影された風景画像のそれぞれを撮影時刻に関連付けて記憶部に記憶させる風景画像記憶処理手段と、
前記連続的に撮影された風景画像の撮影開始から撮影終了までの撮影時刻を時系列的に線として示す時系列的線アイテムと、前記時系列的線アイテム上の位置を利用者により指示可能に示す時刻位置アイテムと、前記連続的な風景画像を撮影した際の走行経路沿いに存在するランドマークを前記時系列的線アイテム上の対応する位置にて示すランドマークアイテムと、を含む時系列的指示表示を前記表示部の表示領域のうち予め定められた指示表示領域に表示させる共に、前記連続的な風景画像のうち前記時系列的線アイテム上の前記時刻位置アイテムの位置に対応する撮影時刻に関連付けられた風景画像を前記表示部の表示領域のうち予め定められた風景画像表示領域に表示させる表示処理手段と、
を備える車両用表示処理システム。
【請求項２】
請求項１記載の車両用表示処理システムであって、
前記風景画像記憶処理手段は、前記連続的に撮影された風景画像のそれぞれを、前記撮影時刻と共に撮影時の地図上の自車位置を示す撮影位置に関連付けて前記記憶部に記憶させ、
前記表示処理手段は、前記時系列的指示表示の前記指示表示領域への表示および前記風景画像の前記風景画像表示領域への表示に加えて、前記時系列的線アイテム上の前記時刻位置アイテムの位置に対応する撮影時刻と共に風景画像に関連付けられた撮影位置を、該撮影位置周辺の地図と共に、前記表示部の表示領域のうち予め定められた地図表示領域に表示させる、
車両用表示処理システム。
【請求項３】
請求項２記載の車両用表示処理システムであって、
前記表示処理手段は、前記指示表示領域上で表示されている前記ランドマークアイテムのうちいずれかが選択されたときには、該選択されたランドマークアイテムの前記時系列的線アイテム上の位置に対応するよう前記時刻位置アイテムの前記時系列的線アイテム上の位置を変更する、
車両用表示処理システム。
【請求項４】
請求項３記載の車両用表示処理システムであって、
前記表示部に表示された地図上で利用者により選択される任意の地点を登録地点として地点登録を行なう地点登録手段と、
目的地が設定されたときに該設定された目的地への経路案内を行なう経路案内手段と、
を備え、
前記地点登録手段は、前記表示手段の前記指示表示領域上で表示されている前記ランドマークアイテムのうちいずれかの選択を伴って地点登録を行なうときには、前記登録地点を前記選択されたランドマークアイテムが示す前記ランドマークに関連付けて地点登録を行ない、
前記経路案内手段は、前記ランドマークに関連付けられた前記登録地点を目的地に設定して経路案内を行なうときには、前記登録地点に関連付けられたランドマークを地図表示と音声出力との少なくとも一方による案内に用いて経路案内を行なう、
車両用表示処理システム。
【請求項５】
請求項４記載の車両用表示処理システムであって、
前記登録地点に関連付けられたランドマークから前記登録地点までの距離と交差点での右左折数との少なくとも一方に基づく走行の困難さの程度が所定程度未満か否かを判定する走行困難程度判定手段
を備え、
前記地点登録手段は、前記走行の困難さの程度が前記所定程度未満と判定されたときにのみ前記登録地点を前記ランドマークに関連付けて地点登録を行なう、
車両用表示処理システム。
【請求項６】
請求項１ないし５のいずれか１つの請求項に記載の車両用表示処理システムであって、
前記風景画像に対して所定の画像認識処理を施すことにより前記ランドマークを認識するランドマーク認識手段
を備え、
前記表示処理手段は、前記ランドマーク認識手段により認識された前記ランドマークを前記時系列的線アイテム上の対応する位置にて示す前記ランドマークアイテムを、前記指示表示領域に表示させる、
車両用表示処理システム。
【請求項７】
請求項６記載の車両用表示処理システムであって、
前記ランドマーク認識手段は、複数種類のランドマークのうち予め選択された特定種類のランドマークを認識する、
車両用表示処理システム。
【請求項８】
請求項１ないし７のいずれか１つの請求項に記載の車両用表示処理システムであって、
前記表示処理手段は、前記指示表示領域上で表示されている前記ランドマークアイテムのうちいずれかが選択されたときには、前記選択されたランドマークアイテムの前記時系列的線アイテム上の位置に対応する撮影時刻を含む所定時間を前記時系列的線アイテムが表示する時間範囲として前記指示表示領域への表示を行なう、
車両用表示処理システム。
【請求項９】
請求項１ないし８のいずれか１つの請求項に記載の車両用表示処理システムであって、
前記時系列的指示表示は、前記連続的な風景画像の撮影開始から撮影終了までの時間に対応するタイムバーと前記タイムバー上をスライド可能なスライダーとをそれぞれ前記時系列的線アイテムと前記時刻位置アイテムとして含む、
車両用表示処理システム。
【請求項１０】
請求項１記載の車両用表示処理システムであって、
前記時系列的指示表示は、前記連続的に撮影された風景画像の撮影開始から撮影終了までの地図上の車両の走行経路を示す撮影経路と該撮影経路上で位置を変更可能な所定マークとをそれぞれ前記時系列的線アイテムと前記時刻位置アイテムとして含むと共に、前記指示表示領域に前記撮影経路の全体を表示可能な最大縮尺による地図である、
車両用表示処理システム。
【請求項１１】
表示部に画像を表示させる車両用表示処理方法であって、
（ａ）車両前方の風景を撮影する車載カメラにより連続的に撮影された風景画像を取得するステップと、
（ｂ）前記連続的に撮影された風景画像のそれぞれを撮影時刻に関連付けて記憶部に記憶させるステップと、
（ｃ）前記連続的に撮影された風景画像の撮影開始から撮影終了までの撮影時刻を時系列的に線として示す時系列的線アイテムと、前記時系列的線アイテム上の位置を利用者により指示可能に示す時刻位置アイテムと、前記連続的な風景画像を撮影した際の走行経路沿いに存在するランドマークを前記時系列的線アイテム上の対応する位置にて示すランドマークアイテムと、を含む時系列的指示表示を前記表示部の表示領域のうち予め定められた指示表示領域に表示させる共に、前記連続的な風景画像のうち前記時系列的線アイテム上の前記時刻位置アイテムの位置に対応する撮影時刻に関連付けられた風景画像を前記表示部の表示領域のうち予め定められた風景画像表示領域に表示させるステップと、
を含む車両用表示処理方法。
【請求項１２】
請求項１１記載の車両用表示処理方法の各ステップを１以上のコンピュータに実現させるためのプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【公開番号】特開２０１３−３２９４９（Ｐ２０１３−３２９４９Ａ）
【公開日】平成２５年２月１４日（２０１３．２．１４）
【国際特許分類】
【出願番号】特願２０１１−１６８６６７（Ｐ２０１１−１６８６６７）
【出願日】平成２３年８月１日（２０１１．８．１）
【出願人】（０００１００７６８）アイシン・エィ・ダブリュ株式会社 (3,717)
【Ｆターム（参考）】
【公開日】平成２５年２月１４日（２０１３．２．１４）
【国際特許分類】
【出願日】平成２３年８月１日（２０１１．８．１）
【出願人】（０００１００７６８）アイシン・エィ・ダブリュ株式会社 (3,717)
【Ｆターム（参考）】
[ Back to top ]