画像処理装置、画像処理方法、画像処理プログラム及びその記録媒体
【課題】撮影画像を利用しつつ、簡易な構成で、リアリティ溢れる画像表示を提供する。
【解決手段】非マッピング対象画像データPNDに対しては、画像加工部234が指定日時及び指定天気に対応した加工処理を行い、マッピング対象画像データPMDに対しては、テクスチャマッピング部235が、指定地点、指定日時、指定天気に対応するテクスチャマッピング処理を行う。合成部236は、これらの処理画像データを合成し、表示用画像データPPDとして、表示画像切替部113Aへ送る。表示画像切替部113Aは、ナビゲーション処理部からの切替指令SECに従い、ナビゲーション画像データに表示用画像データPPDを重ねた重畳画像データを作成し、表示ユニットへ出力する。これにより、表示ユニットには、目的地点の撮影画像に対して到達予想時の昼夜感、天候感、四季感を付加した画像を含む画像が表示される。
【解決手段】非マッピング対象画像データPNDに対しては、画像加工部234が指定日時及び指定天気に対応した加工処理を行い、マッピング対象画像データPMDに対しては、テクスチャマッピング部235が、指定地点、指定日時、指定天気に対応するテクスチャマッピング処理を行う。合成部236は、これらの処理画像データを合成し、表示用画像データPPDとして、表示画像切替部113Aへ送る。表示画像切替部113Aは、ナビゲーション処理部からの切替指令SECに従い、ナビゲーション画像データに表示用画像データPPDを重ねた重畳画像データを作成し、表示ユニットへ出力する。これにより、表示ユニットには、目的地点の撮影画像に対して到達予想時の昼夜感、天候感、四季感を付加した画像を含む画像が表示される。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、画像処理装置、画像処理方法、画像処理プログラム、及び、当該画像処理プログラムを記録した記録媒体に関する。
【背景技術】
【0002】
従来から、ナビゲーション装置が広く普及している。そして、近年におけるナビゲーション装置の技術の発展は目覚しく、エンターテイメント性を向上させる機能や、利用者に対してより分りやすくナビゲートするための機能が備えられている。こうしたナビゲーション装置の中には、これらの機能をさらに発揮させるため、表示面に、単に移動経路画像を表示させるだけでなく、昼夜感や天候感を考慮した目的地点画像や移動経路画像を表示させる技術を備えたものが登場してきている。
【0003】
かかるナビゲーション装置における表示画像に対する技術としては、3次元仮想画像に対して、昼夜感、天候感、四季感を付加するものがある(特許文献1参照:以下、「従来例1」と呼ぶ)。また、かかる表示画像に対する技術としては、撮影地点周辺の地図情報と、指定された天気状態で撮影された撮影画像と、仮想天気画面とを合成するものもある(特許文献2参照:以下、「従来例2」と呼ぶ)。
【0004】
【特許文献1】特開平9−62179号公報
【特許文献2】特開平11−211486号公報
【発明の開示】
【発明が解決しようとする課題】
【0005】
上記の従来例1の技術は、3次元仮想画像に対して昼夜感、天候感等を付加するため、実景色である撮影画像を利用した場合と比べて、リアリティという点においては劣ることになる。また、上記の従来例2の技術は、リアリティを向上させるために実景色である撮影画像を利用するが、この撮影画像は指定された天気状態で撮影されたものでなければならないので、予め撮影しておく画像の種類が非常に多くなってしまい、画像データ記憶のために多くの記憶資源が必要となる。
【0006】
このため、簡易な構成で、昼夜感や天候感を考慮したリアリティ溢れる画像の表示を行うことができる技術が待望されている。かかる要請に応えることが、本発明が解決すべき課題の一つに挙げられる。
【0007】
本発明は、上記の事情を鑑みてなされたものであり、カメラ等で撮影した実景色の撮影画像を利用しつつ、簡易な構成で、リアリティ溢れる画像を表示することができる画像処理装置及び画像処理方法を提供することを目的とする。
【課題を解決するための手段】
【0008】
請求項1に記載の発明は、画像を表示する表示手段と;撮影画像と、前記撮影画像の撮影が行われた撮影地点の情報、撮影日時の情報、撮影時天気の情報を含む撮影画像属性情報とを、対応付けて記憶する撮影画像記憶手段と;前記撮影地点と、表示地点として指定された指定地点とが一致すると推定される場合に、表示に際して反映すべき日時として指定された指定日時と前記撮影日時とが許容範囲内で一致するとともに、表示に際して反映すべき天気として指定された指定天気と前記撮影時天気とが許容範囲内で一致するか否かを判定する判定手段と;前記判定手段による判定の結果が否定的であった場合に、前記撮影画像に対して前記指定日時及び前記指定天気に対応した加工処理を行った画像を表示用画像として生成する表示画像処理手段と;前記表示用画像を反映した画像の前記表示手段への表示制御を行う表示制御手段と;を備えることを特徴とする画像処理装置である。
【0009】
請求項17に記載の発明は、撮影画像と、前記撮影画像の撮影が行われた撮影地点の情報、撮影日時の情報、撮影時天気の情報を含む撮影画像属性情報とを、対応付けて記憶する撮影情報記憶工程と;前記撮影地点と、表示地点として指定された指定地点とが一致すると推定される場合に、表示に際して反映すべき日時として指定された指定日時と前記撮影日時とが許容範囲内で一致するとともに、表示に際して反映すべき天気として指定された指定天気と前記撮影時天気とが許容範囲内で一致するか否かを判定する判定工程と;前記判定工程における判定の結果が否定的であった場合に、前記撮影画像に対して前記指定日時及び前記指定天気に対応した加工処理を行った画像を表示用画像として生成する表示画像処理工程と;前記表示用画像を反映した画像の表示制御を行う表示制御工程と;を備えることを特徴とする画像処理方法である。
【0010】
請求項18に記載の発明は、請求項17に記載の誘導案内方法を演算手段に実行させる、ことを特徴とする画像処理プログラムである。
【0011】
請求項19に記載の発明は、請求項18に記載の画像処理プログラムが、演算手段により読み取り可能に記録されている、ことを特徴とする記録媒体である。
【発明を実施するための最良の形態】
【0012】
以下、本発明の一実施形態を、添付図面を参照して説明する。なお、以下の説明においては、同一の又は同等の要素には同一の符号を付し、重複する説明は省略する。
【0013】
[第1実施形態]
まず、本発明の第1実施形態について、図1〜図11を主に参照しつつ説明する。
【0014】
<構成>
図1には、第1実施形態に係る画像処理装置としての機能を有する車両搭載用のナビゲーション装置100Aの概略的な構成がブロック図にて示されている。
【0015】
この図1に示されるように、ナビゲーション装置100Aは、制御ユニット110Aと、撮影画像記憶手段、及び、テクスチャ記憶手段としての記憶装置120Aとを備えている。
【0016】
また、ナビゲーション装置100Aは、音出力ユニット130と、表示手段としての表示ユニット140と、操作入力手段としての操作入力ユニット150とを備えている。
【0017】
さらに、ナビゲーション装置100Aは、位置検出手段の一部としての走行センサインターフェイス部160と、計時手段、及び、位置検出手段の一部としてのGPS(Global Positioning System)受信ユニット170と、天気情報取得手段としての外部通信ユニット180と、撮影手段としてのカメラユニット190とを備えている。
【0018】
なお、上記の制御ユニット110A以外の要素120〜190は、制御ユニット110Aに接続されている。また、走行センサインターフェイス部160は、車両に搭載された走行センサユニット910とも接続されている。
【0019】
制御ユニット110Aは、ナビゲーション装置100Aの全体を統括制御する。この制御ユニット110Aの詳細については、後述する。
【0020】
記憶装置120Aは、不揮発性の記憶装置であるハードディスク装置等から構成される。記憶装置120A内には、記憶領域として、ナビゲーション情報記憶領域121、画像処理情報記憶領域125などが存在する。
【0021】
ナビゲーション情報記憶領域121には、地図情報記憶領域122等の記憶領域が含まれている。ここで、地図情報記憶領域122には、道路データ、道路ネットワークデータ、背景データ等が記憶されている。これらのデータは、地図情報MPIとして制御ユニット110Aからの制御により、読み出される。
【0022】
画像処理情報記憶領域125には、様々な画像データ等が記憶されており、制御ユニット110Aからの制御によりアクセスされ、読み込み/書き込みが可能になっている。この画像処理情報記憶領域125には、図2に示されるように、撮影画像データベース(以下、「撮影画像DB」とも記す)記憶領域126と、部分画像データベース(以下、「部分画像DB」とも記す)記憶領域127と、テクスチャデータベース(以下、「テクスチャDB」とも記す)記憶領域128とが含まれている。
【0023】
撮影画像DB記憶領域126には、撮影画像データPID1〜PIDNと、画像属性情報テーブルPTBとが記憶されている。
【0024】
撮影画像データPIDj(j=1〜N)は、カメラユニット190等で撮影された様々な目的地点や当該目的地点までの移動経路上における通過地点等の画像データである。撮影画像DB記憶領域126に記憶されている撮影画像の例が、図3に示されている。
【0025】
画像属性情報テーブルPTBは、上記の撮影画像データPIDj(j=1〜N)を管理するために利用される。この画像属性情報テーブルPTBには、各撮影画像データPIDjと対応付けて、撮影画像の撮影が行われた撮影地点の情報、撮影日時の情報、撮影時天気の情報が登録されている。撮影地点の情報は、撮影画像を撮影した位置であってもよいし、撮影画像に撮影されている被写体の固有名称であってもよい。また、この撮影地点の情報には、撮影した位置や被写体の固有名称に加え、撮影方角も含まれている。
【0026】
部分画像DB記憶領域127には、上記の撮影画像データPIDjから抽出したマッピング対象画像データPMDjk(j=1〜N;k=1〜P)と、非マッピング対象画像データPNDjm(j=1〜N;m=1〜Q)とが記憶されている。ここで、マッピング対象画像データPMDjkとは、撮影画像データPIDjに含まれるテクスチャマッピング処理を行う可能性のある部分を抽出したデータであり、例えば、撮影画像データPIDjから、「空」部分、「山」部分、「道路」部分、「地面・土」部分等を抽出した画像データである。
【0027】
また、非マッピング対象画像データPNDjmとは、撮影画像データPIDjに含まれるテクスチャマッピング処理を行わない部分を抽出したデータであり、例えば、撮影画像データPIDjから、「建物」部分等を抽出した画像データである(図3及び図15参照)。
【0028】
なお、以下の説明においては、P個のマッピング対象画像データPMDj1,…,PMDjpをまとめてPMDjとも記す。また、Q個の非マッピング対象画像データPNDj1,…,PNDjQをまとめてPNDjとも記す。
【0029】
また、N個の撮影画像データPIDj(j=1〜N)、マッピング対象画像データPMDj,非マッピング対象画像データPNDjのうち、特定した1個の画像データのみを表すときは、それぞれ、撮影画像データPID、マッピング対象画像データPMD、非マッピング対象画像データPNDとも記す。
【0030】
テクスチャDB記憶領域128には、上記のマッピング対象画像データPMDjに対してテクスチャマッピング処理を行うためのテクスチャデータ群が記憶されている。このテクスチャデータ群には、地域ごと、季節ごと、時刻ごと、天気ごと等に分類された、複数の「空」部分テクスチャデータTXD1、「山」部分テクスチャデータTXD2、「地面・土」部分テクスチャデータTXD3、…、「道路」部分テクスチャデータTXDRの様々なテクスチャデータが含まれている。本実施形態においては、例えば、地域は「北海道、北東北、…、九州本土、沖縄」、季節は「春、夏、秋、冬」、時刻は「朝、昼、夕、晩、夜」、天気は「晴、曇、雨、雪、雷」のそれぞれに分類されている。
【0031】
制御ユニット110Aは、テクスチャDB記憶領域128にアクセスして、このテクスチャデータ群に含まれる各カテゴリーに分類されたテクスチャデータの内から、所望のテクスチャデータだけを選択する。こうして選択されたテクスチャデータは、選択テクスチャデータTXD(1個以上のテクスチャデータの集まり)として、制御ユニット110Aにより読み出される。
【0032】
図1に戻り、音出力ユニット130は、例えば、(i)制御ユニット110Aから受信した案内音声データAODをアナログ信号に変換するDA変換器(Digital to Analog Converter)と、(ii)当該DA変換器から出力されたアナログ信号を増幅する増幅器と、(iii)増幅されたアナログ信号を音声に変換するスピーカとを備えて構成されている。この音出力ユニット130は、制御ユニット110Aによる制御のもとで、車両の進行方向、走行状況、交通状況等の案内音声を出力する。
【0033】
表示ユニット140は、(i)液晶パネル、有機EL(Electro Luminescence)パネル、PDP(Plasma Display Panel)等の表示デバイスと、(ii)制御ユニット110Aから送出された表示制御データに基づいて、表示ユニット140全体の制御を行うグラフィックレンダラ等の表示コントローラと、(iii)表示画像データを記憶する表示画像メモリ等を備えて構成されている。この表示ユニット140は、制御ユニット110Aによる制御のもとで、地図情報、ルート情報等のナビゲーション画像、撮影画像、操作ガイダンス情報等を表示する。
【0034】
操作入力ユニット150は、ナビゲーション装置100Aの本体部に設けられたキー部、あるいはキー部を備えるリモート入力装置等により構成される。ここで、本体部に設けられたキー部としては、表示ユニット140の表示デバイスに設けられたタッチパネルを用いることができる。なお、キー部を有する構成に代えて、又は併用して音声認識技術を利用して音声にて入力する構成を採用することもできる。
【0035】
この操作入力ユニット150を利用者が操作することにより、ナビゲーション装置100Aの動作内容の設定が行われる。例えば、目的地の設定、情報の検索設定、車両の走行状況の表示設定、カメラユニット190による画像の撮影指示等を、利用者が操作入力ユニット150を利用して行う。こうした入力内容は、操作入力データIPDとして、操作入力ユニット150から制御ユニット110Aへ向けて送られる。
【0036】
走行センサインターフェイス部160は、制御ユニット110Aと車両に搭載された走行センサユニット910との間におけるデータ授受に関して利用される。ここで、走行センサユニット910は、(i)車両の移動速度を検出する車速センサと、(ii)車両に作用している加速度を検出する加速度センサと、(iii)車両の角速度を検出する角速度センサとを備えている。ここで、車速センサは、車軸や車輪の回転により出力されるパルス信号を検出する。また、加速度センサは、例えば、3次元方向の加速度を検出する。また、角速度センサは、例えば、いわゆるジャイロセンサとして構成され、角速度を検出する。これらの検出結果は、走行センサインターフェイス部160を介して、走行センサデータDTDとして制御ユニット110Aへ向けて送られる。
【0037】
GPS受信ユニット170は、複数のGPS衛星からの電波の受信結果に基づいて、車両の現在位置の擬似座標値を算出する。また、GPS受信ユニット170は、GPS衛星から送出された時刻情報に基づいて、現在時刻を計時する。これらの現在位置および現在時刻に関する情報は、GPSデータGPDとして制御ユニット110Aへ送られる。
【0038】
外部通信ユニット180は、無線通信部を備えており、制御ユニット110Aによる制御のもとで、携帯電話網等の移動通信網を介して、外部と通信する際に使用される。この外部通信ユニット180を介して、位置を指定した天気情報の取得要求を天気情報サーバへ送ることにより、指定した位置の所望の時刻における天気情報が取得される。かかる取得された天気情報は、通信データETDとして、外部通信ユニット180から制御ユニット110Aへ向けて送られる。
【0039】
カメラユニット190は、不図示の車載カメラと、データ処理部とを備えて構成されている。車載カメラは、例えば、ルームミラーの裏側に配置される。そして、車載カメラは、制御ユニット110Aからの撮影指令SHCに従い、車両の進行方向の画像を撮影する。データ処理部は、車載カメラによる撮影結果をデジタル画像データに変換する。こうして撮影されたデジタル画像データは、カメラ画像データCIDとして、カメラユニット190から制御ユニット110Aへ向けて送られる。
【0040】
次に、制御ユニット110Aについて説明する。上述したように、制御ユニット110Aは、ナビゲーション装置100Aの全体を統括制御する。この制御ユニット110Aは、図4に示されるように、ナビゲーション処理部111Aと、画像処理部112と、表示画像切替部113Aとを備えている。
【0041】
ナビゲーション処理部111Aは、図5に示されるように、表示制御手段、到達日時予測手段、目的地距離算出手段、通過日時予測手段、及び、通過地距離算出手段としての統括処理部211Aを備えている。また、ナビゲーション処理部111Aは、ナビゲーション画像生成部212Aを備えている。
【0042】
このように構成されたナビゲーション処理部111Aは、上述した構成要素120〜190を直接的又は間接的に利用して、利用者にナビゲーション情報を提供する。例えば、ナビゲーション処理に対する操作入力ユニット150からの入力結果に沿って、走行センサインターフェイス部160を介して得られた走行センサデータDTD及びGPS受信ユニット170からの出力であるGPSデータGPDを利用して必要なナビゲーション利用情報を適宜読み出す。そして、ナビゲーション処理部111Aは、(a)利用者が指定する地域の地図を表示ユニット140の表示デバイスに表示するための地図表示、(b)車両が地図上のどこに位置するのか、また、どの方角に向かっているのかを算出し、表示ユニット140の表示デバイスに表示して利用者に提示するマップマッチング、(c)現在車両が存在する位置から、利用者が指定する任意の位置である目的地までの最適ルート検索、(d)設定されたルートに沿って目的地まで運転するときに、目的地への到達予想時刻や、進行すべき方向を的確にアドバイスするために行われる、表示ユニット140の表示デバイスへの案内表示のための制御、及び、音出力ユニット130のスピーカから音声案内を出力するための制御等を行う。以下、ナビゲーション処理部111Aを構成する統括処理部211A、ナビゲーション画像生成部212Aについて詳述する。
【0043】
統括処理部211Aは、利用者が指定した出発地点や目的地点等の情報に基づいて、出発地点から目的地点へ到る走行経路の計画をする「ドライブプランモード」と、車両の走行中に目的地点への走行経路を表示デバイス等で案内する「走行経路案内モード」の両モードにおいて、ナビゲーション処理部111Aの上記の機能を統括処理する。
【0044】
かかる「ドライブプランモード」の動作に際して、統括処理部211Aは、利用者により操作入力ユニット150を利用して入力された出発地点、出発日時、経由地点、目的地点等のドライブプランに必要な情報を受ける。そして、統括処理部211Aは、これらの情報をもとにしてドライブプランを行い、出発地点から目的地点までの最適な移動経路を検索する。
【0045】
引き続き、統括処理部211Aは、記憶装置120Aの撮影画像DB記憶領域126にアクセスして、画像属性情報テーブルPTBを読み取る。統括処理部211Aは、検索した目的地点までの移動経路上に、画像属性情報テーブルPTBに登録されている撮影地点が存在するか否かを調べ、撮影地点が存在する場合には、当該撮影地点を不図示の記憶領域に一時的に記憶する。なお、以下の構成の説明においては、画像属性情報テーブルPTBに、撮影地点として目的地点P0と、当該目的地点P0までの移動経路上の通過地点P1が登録されているものとする。
【0046】
統括処理部211Aは、当該目的地点P0に到着する日時と、移動経路上における通過地点P1を通過する日時を予測する。また、統括処理部211Aは、目的地点P0に到着する予測日時における天気情報と、通過地点P1を通過する予測日時における天気情報を、外部通信ユニット180から取得する。こうして予測した目的地点P0と通過地点P1における日時情報と天気情報は、地点情報とともに表示デバイス等を通じて、利用者に通知される。そして、利用者がこれらの情報に基づいた目的地点P0や通過地点P1の撮影画像を表示すべき旨の指示を、操作入力ユニット150を利用して行うと、統括処理部211Aは、指定された地点における情報(指定地点、指定日時、指定天気)を、指定日時等情報INAとして画像処理部112へ向けて送る。また、統括処理部211Aは、当該情報の送付と同時に、表示画像切替部113Aへ向けて、表示ユニット140へ送る画像データをナビゲーション画像データMPDから後述する重畳画像データに切替えるべき旨の切替指令SECを発行する。
【0047】
一方、「走行経路案内モード」の動作に際して、統括処理部211Aは、GPS受信ユニット170からの出力であるGPSデータGPD等に基づいて、車両と目的地点P0との間の距離DIS1を算出する。そして、統括処理部211Aは、距離DIS1が第1所定距離以下となった場合に、目的地点P0到達時の日時を算出するとともに、目的地点P0到達時における目的地点P0の天気情報を取得する。引き続き、統括処理部211Aは、目的地点P0に関する情報(指定地点、指定日時、指定天気)を、指定日時等情報INAとして画像処理部112へ向けて送る。また、統括処理部211Aは、当該情報の送付と同時に、表示画像切替部113Aへ向けて、表示ユニット140へ送る画像データをナビゲーション画像データMPDから重畳画像データに切替えるべき旨の切替指令SECを発行する。
【0048】
また、「走行経路案内モード」の動作に際して、統括処理部211Aは、車両と通過地点P1との間の距離DIS2を算出する。そして、統括処理部211Aは、距離DIS2が第2所定距離以下となった場合に、通過地点P1通過時の日時を算出するとともに、通過地点P1通過時における通過地点P1の天気情報を取得する。引き続き、統括処理部211Aは、通過地点P1に関する情報(指定地点、指定日時、指定天気)を、指定日時等情報INAとして画像処理部112へ向けて送る。また、統括処理部211Aは、当該情報送付と同時に、表示画像切替部113Aへ向けて、表示ユニット140へ送る画像データをナビゲーション画像データMPDから重畳画像データに切替えるべき旨の切替指令SECを発行する。
【0049】
なお、上記の第1所定距離及び第2所定距離の値は、実験、シミュレーション、経験等に基づいて、予め定められる。
【0050】
また、統括処理部211Aは、上記の動作モードに関係なく、利用者により操作入力ユニット150を利用して入力された画像の撮影指示を操作入力データIPDとして受けるようになっている。統括処理部211Aは、当該指示内容の操作入力データIPDを受けると、撮影指令SHCをカメラユニット190へ発行するとともに、画像処理部112へ向けて発行する。
【0051】
また、統括処理部211Aは、当該撮影指令SHCの発行と同時に、画像処理部112へ向けて撮影日時等情報INFを送る。この撮影日時等情報INFには、撮影画像の撮影が行われた撮影地点の情報、撮影日時の情報、撮影時天気の情報が含まれている。ここで、撮影地点の情報は、走行センサインターフェイス部160を介して得られた走行センサデータDTDやGPS受信ユニット170からの出力であるGPSデータGPDに基づいて、取得される。撮影日時の情報は、GPS受信ユニット170からの出力であるGPSデータGPDに基づいて、取得される、また、撮影時天気の情報は、外部通信ユニット180からの通信データETDとして取得される。
【0052】
ナビゲーション画像生成部212Aは、上記の(a)及び(d)の機能を実現するための画像データの生成を行う。このナビゲーション画像生成部212Aは、統括処理部211Aを介してナビゲーション画像の生成に必要な情報MPFを受け、ナビゲーション画像データMPDを生成する。こうして生成されたナビゲーション画像データMPDは、表示画像切替部113Aへ向けて送られる。以上が、ナビゲーション処理部111Aの構成である。
【0053】
次に、図4に戻り、画像処理部112について説明する。画像処理部112は、撮影画像の取得、及び、取得した撮影画像の解析に関する処理を行う。この画像処理部112は、図6に示されるように、画像取得部220と、画像解析部230とを備えている。
【0054】
画像取得部220は、撮影画像の取得に関する処理を行う。この画像取得部220は、図7に示されるように、抽出手段としての部分画像抽出部221と、属性情報作成部222とを備えている。
【0055】
部分画像抽出部221は、ナビゲーション処理部111Aからの撮影指令SHCを受けると、カメラユニット190から送られてくるカメラ画像データCIDの解析処理を開始する。部分画像抽出部221は、この解析処理に際し、適切なアルゴリズムにより、カメラ画像データCIDから、前述したマッピング対象画像データPMDと非マッピング対象画像データPNDとを抽出する。こうして抽出された各画像データは、記憶装置120Aの部分画像DB記憶領域127に書き込まれる。
【0056】
また、部分画像抽出部221は、カメラユニット190から送られてくるカメラ画像データCIDを、撮影画像データPIDとして記憶装置120Aの撮影画像DB記憶領域126に書き込む。
【0057】
属性情報作成部222は、ナビゲーション処理部111Aからの撮影日時等情報INFを受ける。そして、属性情報作成部222は、撮影画像DB記憶領域126にアクセスして、当該撮影日時等情報INFの内容を、撮影画像データPIDと対応付ける形式で、画像属性情報テーブルPTBのリストに新規に登録する。
【0058】
画像解析部230は、取得した撮影画像の解析に関する処理を行う。この画像解析部230は、図8に示されるように、判定手段としての判定部231と、画像選択部232と、表示画像処理手段としての表示画像処理部233とを備えている。
【0059】
判定部231は、ナビゲーション処理部111Aからの指定日時等情報INAを受けるとともに、撮影画像DB記憶領域126にアクセスして画像属性情報テーブルPTBを読み取る。そして、判定部231は、画像属性情報テーブルPTBに登録されている撮影画像の撮影地点の情報を参照して、指定日時等情報INAに含まれる指定地点と、撮影地点とが一致する撮影画像を検索する。
【0060】
引き続き、判定部231は、指定日時等情報INAに含まれる指定日時と検索された撮影画像の撮影日時とが許容範囲内で一致するとともに、指定日時等情報INAに含まれる指定天気と検索された撮影画像の撮影時天気とが許容範囲内で一致するか否かを判定する。この判定の結果が肯定的であった場合には、判定部231は、画像選択部232及び表示画像処理部233へ向けて、肯定的である旨および指定日時等情報INAの内容を含む判定報告DECを送る。一方、この判定の結果が否定的であった場合には、判定部231は、画像選択部232及び表示画像処理部233へ向けて、否定的である旨および指定日時等情報INAの内容を含む判定報告DECを送る。
【0061】
画像選択部232は、判定部231における判定の結果が肯定的である旨の判定報告DECを受けた場合には、撮影画像DB記憶領域126にアクセスして、指定日時等情報INAに含まれる指定地点と一致する撮影画像データPIDを選択して読み出す。こうして読み出された撮影画像データPIDは、表示画像処理部233へ向けて送られる。
【0062】
一方、画像選択部232は、当該判定の結果が否定的である旨の判定報告DECを受けた場合には、部分画像DB記憶領域127にアクセスして、指定日時等情報INAに含まれる指定地点と一致するマッピング対象画像データPMDと非マッピング対象画像データPNDを選択して読み出す。こうして読み出されたマッピング対象画像データPMDと非マッピング対象画像データPNDは、表示画像処理部233へ向けて送られる。
【0063】
表示画像処理部233は、図9に示されるように、画像加工部234と、テクスチャマッピング部235と、合成部236と、切替部237とを備えている。
【0064】
画像加工部234は、判定部231からの判定の結果が否定的である旨の判定報告DECを受けたときに、処理を行う。この画像加工部234は、画像選択部232から非マッピング対象画像データPNDを受ける。そして、画像加工部234は、適切なアルゴリズムにより、非マッピング対象画像データPNDに対して、指定日時等情報INAに含まれる指定日時及び指定天気に対応した加工処理を行う。具体的には、非マッピング対象画像データPNDに対して、明るさ、コントラスト、色合い等の補正を行ったり、非マッピング対象画像データPNDに照明光などが検出されれば、時刻によっては照明光を無くす処理等を行う。こうして加工処理された画像データは、加工画像データSNDとして、画像加工部234から合成部236へ向けて送られる。
【0065】
テクスチャマッピング部235は、上記の画像加工部234と同様に、判定部231からの判定の結果が否定的である旨の判定報告DECを受けたときに、処理を行う。このテクスチャマッピング部235は、画像選択部232からマッピング対象画像PMDを受ける。また、テクスチャマッピング部235は、テクスチャDB記憶領域128にアクセスして、指定日時等情報INAに含まれる指定地点、指定日時、指定天気に適合する「空」部分、「山」部分、「道路」部分、「地面・土」部分等のテクスチャデータを、選択テクスチャデータTXDとして取得する。
【0066】
引き続き、テクスチャマッピング部235は、マッピング対象画像PMDに「空」部分があれば、選択した「空」部分のテクスチャデータを貼り付け、マッピング対象画像PMDに「山」部分があれば、選択した「山」部分のテクスチャデータを貼り付ける等のテクスチャマッピング処理を行う。こうしてテクスチャマッピング処理された画像データは、テクスチャ処理画像データSMDとして、テクスチャマッピング部235から合成部236へ向けて送られる。
【0067】
合成部236は、画像加工部234からの加工画像データSNDを受けるとともに、テクスチャマッピング部235からのテクスチャ処理画像SMDを受ける。そして、合成部236は、これらの画像データを合成して、合成画像データSCDを生成する。
【0068】
図10(A)には原画像である撮影画像の例が示され、図10(B)及び図10(C)には当該撮影画像に対して表示画像処理を行った合成画像の例が示されている。図10(B)及び図10(C)は、非マッピング対象画像部分に対して指定日時及び指定天気に対応した加工処理を行うとともに、マッピング対象画像部分に対して指定地点、指定日時、指定天気に適合する「空」部分、「山」部分等のテクスチャを貼り付けたものである。なお、この撮影画像は、車載カメラを西の方角に向けて撮影したものとする。
【0069】
図10(B)の合成画像は、例えば、地域「北海道」、季節「夏」、時刻「夜」、天気「晴」に適合するように表示画像処理された画像である。この図10(B)の合成画像には、時刻が「夜」であるため、撮影画像(図10(A)参照)に表示されている「山」が表示されていない。
【0070】
また、図10(C)の合成画像は、例えば、地域「北海道」、季節「夏」、時刻「夕」、天気「晴」に適合するように表示画像処理された画像である。この図10(C)の合成画像には、時刻が「夕」であるため、夕日が表示されている。
【0071】
こうして生成された合成画像データSCDは、合成部236から切替部237へ向けて送られる。
【0072】
切替部237は、判定部231からの判定の結果が肯定的である旨の判定報告DECを受けたときは、画像選択部232からの撮影画像データPIDを受け、当該データを表示用画像データPPDとして表示画像切替部113Aへ向けて出力する。一方、切替部237は、判定部231からの判定の結果が否定的である旨の判定報告DECを受けたときは、合成部236からの合成画像データSCDを受け、当該データを表示用画像データPPDとして表示画像切替部113Aへ向けて出力する。以上が、画像処理部112の構成である。
【0073】
図4に戻り、表示画像切替部113Aは、表示ユニット140の表示デバイスに表示する画像の切替え処理等を行う。この表示画像切替部113Aは、ナビゲーション処理部111Aからのナビゲーション画像データMPDを受けるとともに、画像処理部112からの表示用画像データPPDを受ける。表示画像切替部113Aは、通常、ナビゲーション画像データMPDを、表示画像データIMDとして表示ユニット140へ向けて出力する。一方、表示画像切替部113Aは、ナビゲーション処理部111Aからの切替指令SECを受けたときは、ナビゲーション画像データMPDに表示用画像データPPDを重ねた重畳画像データを作成し、当該画像データを、表示画像データIMDとして表示ユニット140へ向けて出力する(図11参照)。
【0074】
<動作>
次に、上記のように構成されたナビゲーション装置100Aの動作について、撮影画像の取得、及び、取得した撮影画像を利用した画像処理の動作に主に着目して説明する。
【0075】
《撮影画像の取得動作》
まず、カメラユニット190を用いた撮影画像の取得処理に関する動作について説明する。
【0076】
利用者が、操作入力ユニット150に画像の撮影指示を入力することにより、撮影画像の取得処理に関する動作が開始する。
【0077】
こうして操作入力ユニット150に画像の撮影指示が入力されると、その旨が操作入力データIPDとしてナビゲーション処理部111Aの統括処理部211Aへ向けて送られる(図5参照)。統括処理部211Aは、当該指示内容の操作入力データIPDを受けると、撮影指令SHCを、カメラユニット190へ発行するとともに、画像処理部112の画像取得部220(より詳しくは、部分画像抽出部221)へ向けて発行する(図6参照)。
【0078】
また、統括処理部211Aは、この撮影指令SHCの発行と同時に、画像取得部220(より詳しくは、属性情報作成部222)へ向けて撮影日時等情報INFを送る。この撮影日時等情報INFには、撮影画像の撮影が行われるときの撮影地点の情報、撮影日時の情報、撮影時天気の情報が含まれている。
【0079】
統括処理部211Aからの撮影指令SHCをカメラユニット190が受けると、車載カメラが、車両の前方方向の画像を撮影する。こうして車載カメラで撮影された撮影結果はデジタル画像データに変換され、カメラ画像データCIDとして画像取得部220の部分画像抽出部221へ向けて送られる(図7参照)。
【0080】
部分画像抽出部221は、統括処理部211Aからの撮影指令SHCを受けると、カメラユニット190から送られてくるカメラ画像データCIDの解析処理を開始する。部分画像抽出部221は、この解析処理に際して、適切なアルゴリズムにより、カメラ画像データCIDから、マッピング対象画像データPMDと非マッピング対象画像データPNDとを抽出する。こうして抽出されたマッピング対象画像データPMDと非マッピング対象画像データPNDは、部分画像DB記憶領域127に書き込まれる。
【0081】
また、部分画像抽出部221は、カメラユニット190から送られてくるカメラ画像データCIDを、撮影画像データPIDとして撮影画像DB記憶領域126に書き込む。
【0082】
一方、属性情報作成部222は、統括処理部211Aからの撮影日時等情報INFを受けると、撮影画像DB記憶領域126にアクセスして、当該撮影日時等情報INFの内容を、撮影画像データPIDと対応付ける形式で、画像属性情報テーブルPTBのリストに新規に登録する。これにより、撮影画像の取得時における動作が終了する。
【0083】
《ドライブプランモード時における動作》
次いで、ドライブプランモード時における取得した撮影画像を利用した画像処理の動作について説明する。
【0084】
前提として、図2に示される画像処理情報記憶領域125には、ドライブプランにおいて検索される移動経路上(目的地点P0を除く)の撮影画像は記憶されておらず、図3に示される目的地点P0の撮影画像のみが、当該撮影画像の撮影地点の情報、撮影日時の情報、撮影時天気の情報を登録した画像属性情報テーブルPTBとともに、記憶されているものとする。
【0085】
利用者が、操作入力ユニット150に、出発地点、出発日時、経由地点、目的地点等のドライブプランに必要な情報を入力することにより、ドライブプランモード時における画像処理に関する動作が開始する。
【0086】
これらのドライブプランに必要な情報は、操作入力データIPDとして統括処理部211Aへ向けて送られる。統括処理部211Aは、これらの情報をもとにしてドライブプランを行い、出発地点から目的地点までの最適な移動経路を検索する。
【0087】
統括処理部211Aは、移動経路の検索後に、撮影画像DB記憶領域126にアクセスして、画像属性情報テーブルPTBを読み出す。そして、統括処理部211Aは、検索した移動経路上に、画像属性情報テーブルPTBに登録されている撮影地点が存在するか否かを調査する。統括処理部211Aは、この調査により、画像属性情報テーブルPTBに登録されている撮影地点の中から、目的地点P0を見つけ出す。
【0088】
引き続き、統括処理部211Aは、目的地点P0に到達する日時を算出するとともに、目的地点P0に到達する日時における天気情報を外部通信ユニット180から取得する。こうして得られた目的地点P0の地点情報、日時情報、天気情報は、表示デバイス等を通じて利用者に報告される。
【0089】
利用者が、これらの情報に基づいた目的地点P0の撮影画像を表示すべき指示を、操作入力ユニット150を利用して行うと、統括処理部211Aは、その旨を操作入力データIPDとして受ける。統括処理部211Aは、当該内容の操作入力データIPDを受けると、指定された指定地点(目的地点P0の撮影地点)、指定日時(目的地点P0に到達する日時)、指定天気(目的地点P0に到達する日時における天気)を、指定日時等情報INAとして画像処理部112の画像解析部230(より詳しくは、判定部231)へ向けて送る。
【0090】
また、統括処理部211Aは、当該情報の送付と同時に、表示画像切替部113Aへ向けて、表示ユニット140へ送る画像データをナビゲーション画像データMPDから重畳画像データに切替えるべき旨の切替指令SECを発行する。
【0091】
なお、画像処理情報記憶領域125に、目的地点を含む移動経路上の撮影画像が記憶されていない場合には、統括処理部211Aは、上記の画像解析部230へ向けての指定日時等情報INAの送付、及び、表示画像切替部113Aへ向けての切替指令SECの発行は行わない。
【0092】
画像解析部230の判定部231は、統括処理部211Aからの指定日時等情報INAを受けると、撮影画像DB記憶領域126にアクセスして画像属性情報テーブルPTBを読み込む。そして、判定部231は、画像属性情報テーブルPTBに登録されている撮影画像の撮影地点の情報を参照し、指定日時等情報INAに含まれる指定地点と、撮影地点とが一致する撮影画像を検索する。
【0093】
次いで、判定部231は、指定日時等情報INAに含まれる指定日時と撮影画像の撮影日時とが許容範囲内で一致するとともに、指定日時等情報INAに含まれる指定天気と撮影画像の撮影時天気とが許容範囲内で一致するか否かを判定する。この判断の結果が肯定的であった場合には、判定部231は、画像選択部232と表示画像処理部233へ向けて、肯定的である旨の判定報告DECを送る。一方、この判定の結果が否定的であった場合には、判定部231は、画像選択部232と表示画像処理部233へ向けて、否定的である旨の判定報告DECを送る(図8参照)。なお、この判定報告DECには、当該判定結果とともに、指定日時等情報INAの内容が含まれている。
【0094】
画像選択部232は、判定報告DECの内容が肯定的であるときは、撮影画像DB記憶領域126にアクセスして、指定日時等情報INAに含まれる指定地点と一致する撮影画像データPIDを読み出す。一方、画像選択部232は、判定報告DECの内容が否定的であるときは、部分画像DB記憶領域127にアクセスして、指定日時等情報INAに含まれる指定地点と一致するマッピング対象画像データPMDと非マッピング対象画像データPNDを読み出す。こうして読み出された各画像データは、表示画像処理部233へ向けて送られる。
【0095】
表示画像処理部233は、前述した判定報告DECの内容が肯定的であるときは、撮影画像データPIDを表示用画像データPPDとして、表示画像切替部113Aへ向けて送る。
【0096】
一方、判定報告DECの内容が否定的であるときは、表示画像処理部233の画像加工部234が、非マッピング対象画像データPNDに対して指定日時等情報INAに含まれる指定日時及び指定天気に対応した加工処理を行うとともに、表示画像処理部233のテクスチャマッピング部235が、マッピング対象画像データPMDに対して指定日時等情報INAに含まれる指定地点、指定日時、指定天気に対応するテクスチャ処理を行う。そして、合成部236が、加工処理を行った加工画像データSNDと、テクスチャマッピング処理を行ったマッピング処理画像データSMDとを合成する。合成結果である合成画像データSCDは、表示用画像データPPDとして表示画像切替部113Aへ向けて送られる(図9参照)。
【0097】
表示画像切替部113Aは、統括処理部211Aからの切替指令SECに従い、ナビゲーション画像データMPDに表示用画像データPPDを重ねた重畳画像データを作成し、当該画像データを、表示画像データIMDとして表示ユニット140へ向けて出力する。これにより、表示ユニット140の表示デバイスには、前述した図11に示されるような画像が表示される。
【0098】
《走行経路案内モード時における動作》
次に、走行経路案内モード時における取得した撮影画像を利用した画像処理の動作について説明する。
【0099】
前提として、車両は前述したドライブプランモードにおいて計画された移動経路に従って、目的地点へ向けて走行しているものとする。また、前述したように、画像処理情報記憶領域125には、ドライブプランにおいて検索された移動経路上(目的地点P0を除く)の撮影画像は記憶されておらず、図3に示される目的地点P0の撮影画像のみが、当該撮影画像の撮影地点の情報、撮影日時の情報、撮影時天気の情報を登録した画像属性情報テーブルPTBとともに、記憶されているものとする。
【0100】
統括処理部211Aは、車両の走行中、常時、車両と目的地点P0との間の距離DIS1を算出する。そして、統括処理部211Aは、距離DIS1が第1所定距離以下となったか否かを判定し、判定の結果が否定的であった場合には、この判定処理が繰り返される。
【0101】
一方、この判定の結果が肯定的になると、統括処理部211Aは、目的地点P0到達時の日時を算出するとともに、目的地点P0到達時における目的地点P0の天気情報を取得する。そして、統括処理部211Aは、目的地点P0の地点情報(指定地点)、及び、取得した日時情報(指定日時)と天気情報(指定天気)を、指定日時等情報INAとして画像解析部230へ向けて送る。また、統括処理部211Aは、表示画像切替部113Aへ向けて、切替指令SECを発行する。
【0102】
指定日時等情報INAを受けた画像解析部230では、前述した「ドライブプランモード」における動作と同様に、まず、判定部231において、撮影画像DB記憶領域126にアクセスして画像属性情報テーブルPTBを参照し、撮影地点と指定地点とが一致する撮影画像を検索する。次いで、判定部231は、指定日時等情報INAに含まれる指定日時と検索した撮影画像の撮影日時とが許容範囲内で一致するとともに、指定日時等情報INAに含まれる指定天気と検索した撮影画像の撮影時天気とが許容範囲内で一致するか否かを判定する。
【0103】
この判定の結果が肯定的であった場合には、画像解析部230の画像選択部232が、撮影画像DB記憶領域126にアクセスして、指定地点と撮影地点とが一致する撮影画像データPIDを読み出す。そして、表示画像処理部233が、当該撮影画像データPIDを表示用画像データPPDとして、表示画像切替部113Aへ向けて送る。
【0104】
一方、判定部231における判定の結果が否定的であった場合には、画像選択部232が、部分画像DB記憶領域127にアクセスして、指定地点と撮影地点とが一致するマッピング対象画像データPMDと非マッピング対象画像データPNDを読み出す。そして、表示画像処理部233が、非マッピング対象画像データPNDに対しては、指定日時及び指定天気に対応した加工処理を行い、マッピング対象画像データPMDに対しては、指定地点、指定日時、指定天気に対応するテクスチャマッピング処理を行う。そして、表示画像処理部233は、これらの処理画像データを合成し、合成結果である合成画像データSCDを表示用画像データPPDとして、表示画像切替部113Aへ向けて送る。
【0105】
表示画像切替部113Aは、統括処理部211Aからの切替指令SECに従い、ナビゲーション画像データMPDに表示用画像データPPDを重ねた重畳画像データを作成し、当該画像データを、表示画像データIMDとして表示ユニット140へ向けて出力する。これにより、表示ユニット140の表示デバイスには、前述した図11に示されるような画像が表示される。
【0106】
なお、上記の説明では、画像処理情報記憶領域125には、ドライブプランにおいて検索された移動経路上(目的地点P0を除く)の撮影画像は記憶されていないとしたが、画像処理情報記憶領域125内に、検索された移動経路上の通過地点P1の撮影画像が存在すれば、統括処理部211Aは、車両の走行中、常時、車両と通過地点P1との間の距離DIS2を算出する。
【0107】
そして、統括処理部211Aは、距離DIS2が第2所定距離以下となったか否かを判定し、この判定の結果が肯定的になると、通過地点P1通過時の日時を算出するとともに、通過地点P1通過時における通過地点P1の天気情報を取得する。そして、統括処理部211Aは、通過地点P1の地点情報(指定地点)、及び、取得した日時情報(指定日時)と天気情報(指定天気)を、指定日時等情報INAとして画像解析部230へ向けて送る。また、統括処理部211Aは、表示画像切替部113Aへ向けて、切替指令SECを発行する。
【0108】
画像解析部230と表示画像切替部113Aは、前述した目的地点P0の撮影画像に対するのと同様に処理を行う。この結果、通過地点P1の撮影画像に対して表示画像処理を施した表示用画像をナビゲーション画像に重畳させた重畳画像が、表示ユニット140に表示される。
【0109】
また、この通過地点P1の撮影画像に対する処理動作においては、車両が当該通過地点P1を通過した際には、統括処理部211Aからの切替指令SECにより、表示ユニット140に表示される画像が、重畳画像から、ナビゲーション画像に切替る。
【0110】
以上説明したように、本第1実施形態では、統括処理部211Aが、ドライブプランにおいて検索した移動経路上に、画像属性情報テーブルPTBに登録されている撮影地点が存在するか否かを調査する。そして、統括処理部211Aは、目的地点P0等が撮影地点として画像属性情報テーブルPTBに登録されている場合には、当該目的地点P0に到着する日時を予測するとともに、当該目的地点P0に到着する予測日時における天気情報を取得する。こうして得られた地点、日時、天気の情報(指定地点、指定日時、指定天気)は、指定日時等情報INAとして画像処理部112へ向けて送られる。
【0111】
画像処理部112では、判定部231が、画像属性情報テーブルPTBを参照し、撮影地点と指定地点とが一致する撮影画像を検索する。次いで、判定部231は、指定日時等情報INAに含まれる指定日時と撮影日時とが許容範囲内で一致するとともに、指定日時等情報INAに含まれる指定天気と撮影時天気とが許容範囲内で一致するか否かを判定する。
【0112】
この判定の結果が否定的であった場合には、画像選択部232が、部分画像DB記憶領域127にアクセスして、指定地点と撮影地点とが一致するマッピング対象画像データPMDと非マッピング対象画像データPNDを読み出す。そして、表示画像処理部233が、非マッピング対象画像データPNDに対しては、指定日時及び指定天気に対応した加工処理を行い、マッピング対象画像データPMDに対しては、指定地点、指定日時、指定天気に対応するテクスチャマッピング処理を行う。そして、表示画像処理部233は、これらの処理画像データを合成し、合成結果である合成画像データSCDを表示用画像データPPDとして、表示画像切替部113Aへ向けて送る。
【0113】
表示画像切替部113Aは、統括処理部211Aからの切替指令SECに従い、ナビゲーション画像データMPDに表示用画像データPPDを重ねた重畳画像データを作成し、当該画像データを、表示画像データIMDとして表示ユニット140へ向けて出力する。これにより、表示ユニット140には、目的地点P0の撮影画像に対して到達予想時の昼夜感、天候感、四季感を付加した画像を含む画像が表示される。このため、カメラ等で撮影した撮影画像から、リアリティ溢れる画像を利用者に提供することができる。
【0114】
また、本第1実施形態では、車両の走行経路案内時に、統括処理部211Aは、車両と目的地点P0との間の距離DIS1を算出する。そして、統括処理部211Aは、距離DIS1が第1所定距離以下となった場合に、上述した画像処理に関する制御を行い、この結果、表示ユニット140には、目的地点P0の撮影画像に対して到達時の昼夜感、天候感、四季感を付加した画像を含む画像が表示される。このため、撮影画像から、リアリティ溢れる画像を利用者に提供することができる。
【0115】
また、本第1実施形態では、1つの撮影地点に対して撮影画像データPIDが1個存在すれば、表示画像処理部233における画像処理により、異なる昼夜感、天候感、四季感の画像を生成することができる。このため、保存する撮影画像データPIDを減らすことができ、ハードディスク資源等を有効活用することができる。
【0116】
また、本第1実施形態では、カメラユニット190の車載カメラが車両の前方を撮影し、カメラ画像データCIDを取得する。そして、画像取得部220における処理により、撮影画像データPID等が記憶装置120Aに保存される。これらの画像は、前述した処理により表示ユニット140に表示されることがある。このため、利用者が好む目的地点や、分かりにくい目的地点、通過地点等を予め撮影しておくことで、ルートプラン時や走行経路案内時に当該画像データを有効活用することができる。
【0117】
したがって、本第1実施形態によれば、記憶資源の増加を抑制した簡易な構成で、カメラ等で撮影した撮影画像を利用して、リアリティ溢れる画像を表示することができる。
【0118】
[第2実施形態]
次に、本発明の第2実施形態について、図12〜図17を主に参照しつつ説明する。
【0119】
<構成>
図12には、第2実施形態に係る画像処理装置としての機能を有する車両搭載用のナビゲーション装置100Bの概略的な構成がブロック図にて示されている。以下、上記の第1実施形態に係るナビゲーション装置100Aとの相違点に主に着目して、ナビゲーション装置100Bの構成を説明する。
【0120】
この図12に示されるように、ナビゲーション装置100Bは、ナビゲーション装置100Aと比べて、制御ユニット110Aに代えて制御ユニット110Bを備える点と、記憶装置120Aに代えて撮影画像記憶手段、部分画像記憶手段、テクスチャ記憶手段、及び、3次元モデル情報記憶手段としての記憶装置120Bを備える点とが異なっている。
【0121】
制御ユニット110Bは、ナビゲーション装置100Bの全体を統括制御する。この制御ユニット110Bの詳細については、後述する。
【0122】
記憶装置120Bは、記憶装置120Aと比べて、ナビゲーション情報記憶領域121内に、地図情報記憶領域122に代えて3次元地図モデル情報(「3D情報」)記憶領域123が含まれている点が異なっている。ここで、3D情報記憶領域123には、3次元の道路データ、道路ネットワークデータ、構造物データ、背景データ等が記憶されている。
【0123】
次に、制御ユニット110Bについて説明する。上述したように、制御ユニット110Bは、ナビゲーション装置100Bの全体を統括制御する。この制御ユニット110Bは、図13に示されるように、第1実施形態における制御ユニット110Aと比べて、ナビゲーション処理部111Aに代えてナビゲーション処理部111Bを備える点と、表示画像切替部113Aに代えて画像形状変形手段としての画像形状変形部113Bを備える点とが異なっている。
【0124】
ナビゲーション処理部111Bは、図14に示されるように、第1実施形態におけるナビゲーション処理部111Aと比べて、統括処理部211Aに代えて統括処理部211Bを備える点と、ナビゲーション画像生成部212Aに代えてナビゲーション画像生成部212Bを備える点とが異なっている。
【0125】
統括処理部211Bは、第1実施形態における統括処理部211Aと同様に、ドライブプランモード」と、「走行経路案内モード」の両モードにおいて、ナビゲーション処理部111Bの機能を統括処理する。この統括処理部211Bは、統括処理部211Aと比べて、3D情報記憶領域123に記憶されているデータ等に基づいた情報MTFを、ナビゲーション画像生成部212Bへ向けて送る点が異なっている。
【0126】
ナビゲーション画像生成部212Bは、第1実施形態におけるナビゲーション画像生成部212Aと比べて、統括処理部211Bを介して3次元のナビゲーション画像の生成に必要な情報MTFを受け、3次元のナビゲーション画像データ(以下、「3Dナビゲーション画像データ」とも記す)MTDを生成する点が異なっている。こうして生成された3次元のナビゲーション画像データMTDは、画像形状変形部113Bへ向けて送られる。
【0127】
図13に戻り、画像形状変形部113Bは、ナビゲーション処理部111Bからの3Dナビゲーション画像データMTDを受けるとともに、画像処理部112からの表示用画像データPPDを受ける。そして、画像形状変形部113Bは、ナビゲーション処理部111Bからの切替指令SECを受けると、3Dナビゲーション画像における表示用画像に対応する領域を選び出す。引き続き、画像形状変形部113Bは、表示用画像に対して当該領域に適合する変形を行い、当該領域に、変形させた表示用画像を貼り付ける。こうして生成された画像データ(以下、当該画像データを「3D重畳画像データ」とも記す)は、表示画像データIMDとして表示ユニット140へ向けて出力される。
【0128】
<動作>
次に、上記のように構成されたナビゲーション装置100Bの動作について、撮影画像を利用した画像処理の動作に主に着目して説明する。
【0129】
なお、撮影画像の取得における動作は、第1実施形態において説明した《撮影画像の取得動作》と同様であるため、省略する。
【0130】
《ドライブプランモード時における動作》
まず、ドライブプランモード時における撮影画像を利用した画像処理の動作について説明する。
【0131】
前提として、図2に示される画像処理情報記憶領域125には、ドライブプランにおいて検索される移動経路上(目的地点P2を除く)の撮影画像は記憶されておらず、図15に示される目的地点P2の撮影画像のみが、当該撮影画像の撮影地点の情報、撮影日時の情報、撮影時天気の情報を登録した画像属性情報テーブルPTBとともに、記憶されているものとする。
【0132】
第1実施形態におけるナビゲーション装置100Aと同様に、利用者が、操作入力ユニット150に、出発地点、出発日時、経由地点、目的地点等のドライブプランに必要な情報を入力することにより、ドライブプランモード時における画像処理に関する動作が開始する。
【0133】
これらのドライブプランに必要な情報は、ナビゲーション処理部111Bの統括処理部211Bへ向けて送られる。そして、統括処理部211Bは、これらの情報をもとにしてドライブプランを行い、出発地点から目的地点までの最適な移動経路を検索する。
【0134】
統括処理部211Bは、移動経路の検索後に、撮影画像DB記憶領域126にアクセスして、検索した移動経路上に、画像属性情報テーブルPTBに登録されている撮影地点が存在するか否かを調査する。統括処理部211Bは、この調査により、画像属性情報テーブルPTBに登録されている複数の撮影地点の中から、目的地点P2を見つけ出す。
【0135】
引き続き、統括処理部211Bは、目的地点P2に到達する日時を予測するとともに、目的地点P2に到達する日時における天気情報を、外部通信ユニット180から取得する。こうして得られた目的地点P2の地点情報、日時情報、天気情報は、表示デバイス等を通じて利用者に報告される。
【0136】
利用者が、これらの情報に基づいた目的地点P2の撮影画像を表示すべき指示を、操作入力ユニット150を利用して行うと、統括処理部211Bがその旨を操作入力データIPDとして受ける。統括処理部211Bは、当該内容の操作入力データIPDを受けると、指定位置(目的地点P2)、指定日時(目的地点P2に到達する日時)、指定天気(目的地点P2に到達する日時における天気)を、指定日時等情報INAとして判定部231へ向けて送る。
【0137】
また、統括処理部211Bは、当該情報の送付と同時に、画像形状変形部113Bへ向けて、切替指令SECを発行する。
【0138】
なお、画像処理情報記憶領域125に、目的地点を含む移動経路上の撮影画像が記憶されていない場合には、統括処理部211Bは、上記の画像解析部230へ向けての指定日時等情報INAの送付、及び、画像形状変形部113Bへ向けての切替指令SECの発行は行わない。
【0139】
判定部231は、統括処理部211Bからの指定日時等情報INAを受けると、画像属性情報テーブルPTBに登録されている撮影地点の情報を参照し、指定日時等情報INAに含まれる指定地点と、撮影地点とが一致する撮影画像を検索する。
【0140】
次いで、判定部231は、指定日時と撮影日時とが許容範囲内で一致するとともに、指定天気と撮影時天気とが許容範囲内で一致するか否かを判定する。この判断の結果が肯定的であった場合には、判定部231は、画像選択部232と表示画像処理部233へ向けて、肯定的である旨の判定報告DECを送る。一方、この判定の結果が否定的であった場合には、判定部231は、画像選択部232と表示画像処理部233へ向けて、否定的である旨の判定報告DECを送る。なお、この判定報告DECには、当該判定結果とともに、指定日時等情報INAが含まれている。
【0141】
画像選択部232は、判定報告DECの内容が肯定的であるときは、撮影画像DB記憶領域126にアクセスして、指定地点と一致する撮影画像データPIDを読み出す。一方、画像選択部232は、判定報告DECの内容が否定的であるときは、部分画像DB記憶領域127にアクセスして、指定地点と一致するマッピング対象画像データPMDと非マッピング対象画像データPNDを読み出す。こうして読み出された画像データは、表示画像処理部233へ向けて送られる。
【0142】
表示画像処理部233は、前述した判定報告DECの内容が肯定的であるときは、撮影画像データPIDを表示用画像データPPDとして、画像形状変形部113Bへ向けて送る。
【0143】
一方、判定報告DECの内容が否定的であるときは、画像加工部234が、非マッピング対象画像データPNDに対して指定日時及び指定天気に対応した加工処理を行うとともに、テクスチャマッピング部235が、マッピング対象画像データPMDに対して指定地点、指定日時、指定天気に対応するテクスチャ処理を行う。そして、合成部236が、加工処理を行った加工画像データSNDと、テクスチャマッピング処理を行ったマッピング処理画像データSMDとを合成し、合成結果である合成画像データSCDを表示用画像データPPDとして、画像形状変形部113Bへ向けて送る。
【0144】
画像形状変形部113Bは、通常は、ナビゲーション処理部111Bから送られてくる3Dナビゲーション画像データMTDを、表示画像データIMDとして表示ユニット140へ向けて出力する。このときは、例えば、図16に示されるような画像が、表示ユニット140に表示されている。画像形状変形部113Bは、統括処理部211Bからの切替指令SECを受けると、3Dナビゲーション画像データMTDと表示用画像データPPDを基にして3D重畳画像データを作成し、当該画像データを、表示画像データIMDとして表示ユニット140へ向けて出力する。これにより、表示ユニット140の表示デバイスには、例えば、図17に示されるような画像が表示される。
【0145】
なお、上記の指定地点、指定日時、指定天気のそれぞれ、「東京○△ビル」、「10月25日、16時」、「曇」となっており、図17に示される画像には、地域「東京」、季節「秋」、時刻「夕」、天気「曇」に適合するように表示画像処理が、非マッピング対象画像である「建物」部分とマッピング対象画像である「空」部分に対して施されている。
【0146】
《走行経路案内モード時における動作》
次に、走行経路案内モード時における撮影画像を利用した画像処理の動作について説明する。
【0147】
前提として、第1実施形態の場合と同様に、車両はドライブプランモードにおいて計画された移動経路に従って、目的地点へ向けて走行しているものとする。また、画像処理情報記憶領域125には、ドライブプランにおいて検索された移動経路上(目的地点P2を除く)の撮影画像は記憶されておらず、図15に示される目的地点P2の撮影画像のみが、当該撮影画像の撮影地点の情報、撮影日時の情報、撮影時天気の情報を登録した画像属性情報テーブルPTBとともに、記憶されているものとする。
【0148】
統括処理部211Bは、車両と目的地点P2との間の距離DIS1を算出する。そして、統括処理部211Bは、距離DIS1が第1所定距離以下となったか否かを判定し、この判定の結果が否定的であった場合には、この判定処理が繰り返される。
【0149】
一方、この判定の結果が肯定的になると、統括処理部211Bは、目的地点P2到達時の日時を算出するとともに、目的地点P2到達時における目的地点P2の天気情報を取得する。そして、統括処理部211Bは、目的地点P2の地点情報(指定地点)、及び、取得した日時情報(指定日時)と天気情報(指定天気)を、指定日時等情報INAとして画像解析部230へ向けて送る。また、統括処理部211Bは、画像形状変形部113Bへ向けて、切替指令SECを発行する。
【0150】
指定日時等情報INAを受けた画像解析部230では、判定部231において、画像属性情報テーブルPTBに登録されている撮影画像の中から、撮影地点と指定地点とが一致する撮影画像を検索する。次いで、判定部231は、指定日時と検索した撮影画像の撮影日時とが許容範囲内で一致するとともに、指定天気と検索した撮影画像の撮影時天気とが許容範囲内で一致するか否かを判定する。
【0151】
この判定の結果が肯定的であった場合には、画像選択部232が、撮影画像DB記憶領域126にアクセスして、指定地点と撮影地点とが一致する撮影画像データPIDを読み出す。そして、表示画像処理部233が、当該撮影画像データPIDを表示用画像データPPDとして、画像形状変形部113Bへ向けて送る。
【0152】
一方、判定部231における判定の結果が否定的であった場合には、画像選択部232が、部分画像DB記憶領域127にアクセスして、指定地点と撮影地点とが一致するマッピング対象画像データPMDと非マッピング対象画像データPNDを読み出す。そして、表示画像処理部233が、非マッピング対象画像データPNDに対しては、指定日時及び指定天気に対応した加工処理を行い、マッピング対象画像データPMDに対しては、指定地点、指定日時、指定天気に対応するテクスチャ処理を行う。そして、表示画像処理部233は、これらの処理画像データを合成し、合成結果である合成画像データSCDを表示用画像データPPDとして、画像形状変形部113Bへ向けて送る。
【0153】
画像形状変形部113Bは、統括処理部211Bからの切替指令SECに従い、3Dナビゲーション画像データMTDと表示用画像データPPDを基にして3D重畳画像データを作成し、当該画像データを、表示画像データIMDとして表示ユニット140へ向けて出力する。これにより、表示ユニット140の表示デバイスには、例えば、図17に示されるような画像が表示される。
【0154】
なお、上記の説明では、画像処理情報記憶領域125には、ドライブプランにおいて検索された移動経路上(目的地点P2を除く)の撮影画像は記憶されていないとしたが、画像処理情報記憶領域125内に、検索された移動経路上の通過地点P3の撮影画像が存在すれば、統括処理部211Bは、車両の走行中、常時、車両と通過地点P3との間の距離DIS2を算出する。
【0155】
そして、統括処理部211Bは、距離DIS2が第2所定距離以下となったか否かを判定し、この判定の結果が肯定的になると、通過地点P3通過時の日時を算出するとともに、通過地点P3通過時における通過地点P3の天気情報を取得する。そして、統括処理部211Bは、通過地点P3の地点情報(指定地点)、及び、取得した日時情報(指定日時)と天気情報(指定天気)を、指定日時等情報INAとして画像解析部230へ向けて送る。また、統括処理部211Bは、画像形状変形部113Bへ向けて、切替指令SECを発行する。
【0156】
画像解析部230と画像形状変形部113Bは、前述した目的地点P2の撮影画像に対するのと同様に処理を行う。この結果、通過地点P3の撮影画像に対して表示画像処理を施した表示用画像と3Dナビゲーション画像とを基にして作成された3D重畳画像が、表示ユニット140に表示される。
【0157】
また、この通過地点P3の撮影画像に対する処理動作においては、車両が当該通過地点P3を通過した際には、統括処理部211Bからの切替指令SECにより、表示ユニット140に表示される画像が、3D重畳画像から3Dナビゲーション画像に切替る。
【0158】
以上説明したように、本第2実施形態では、統括処理部211Bが、ドライブプランにおいて検索した移動経路上に、画像属性情報テーブルPTBに登録されている撮影地点が存在するか否かを調査する。そして、統括処理部211Bは、目的地点P2等が撮影地点として画像属性情報テーブルPTBに登録されている場合には、当該目的地点P2に到着する日時を予測するとともに、当該目的地点P2に到着する予測日時における天気情報を取得する。こうして得られた地点、日時、天気の情報(指定地点、指定日時、指定天気)は、指定日時等情報INAとして画像処理部112へ向けて送られる。
【0159】
画像処理部112では、判定部231が、画像属性情報テーブルPTBを参照し、撮影地点と指定地点とが一致する撮影画像を検索する。次いで、判定部231は、指定日時等情報INAに含まれる指定日時と撮影日時とが許容範囲内で一致するとともに、指定日時等情報INAに含まれる指定天気と撮影時天気とが許容範囲内で一致するか否かを判定する。
【0160】
この判定の結果が否定的であった場合には、画像選択部232が、部分画像DB記憶領域127にアクセスして、指定地点と撮影地点とが一致するマッピング対象画像データPMDと非マッピング対象画像データPNDを読み出す。そして、表示画像処理部233が、非マッピング対象画像データPNDに対しては、指定日時及び指定天気に対応した加工処理を行い、マッピング対象画像データPMDに対しては、指定地点、指定日時、指定天気に対応するテクスチャマッピング処理を行う。そして、表示画像処理部233は、これらの処理画像データを合成し、合成結果である合成画像データSCDを表示用画像データPPDとして、画像形状変形部113Bへ向けて送る。
【0161】
画像形状変形部113Bは、統括処理部211Bからの切替指令SECに従い、3Dナビゲーション画像データMTDと表示用画像データPPDを基にして3次元重畳画像データを作成し、当該画像データを、表示画像データIMDとして表示ユニット140へ向けて出力する。これにより、表示ユニット140には、目的地点P2の撮影画像に対して到達予想時の昼夜感、天候感、四季感を付加した画像を含む3次元の画像が表示される。このため、カメラ等で撮影した撮影画像から、リアリティ溢れる3次元の画像を利用者に提供することができる。
【0162】
また、本第2実施形態では、車両の走行経路案内時に、統括処理部211Bは、車両と目的地点P2との間の距離DIS1を算出する。そして、統括処理部211Bは、距離DIS1が第1所定距離以下となった場合に、上述した画像処理に関する制御を行い、この結果、表示ユニット140には、目的地点P2の撮影画像に対して到達時の昼夜感、天候感、四季感を付加した画像を含む3次元の画像が表示される。このため、撮影画像から、リアリティ溢れる3次元の画像を利用者に提供することができる。
【0163】
また、本第2実施形態では、1つの撮影地点に対して撮影画像データPIDが1個存在すれば、表示画像処理部233における画像処理により、異なる昼夜感、天候感、四季感の画像を生成することができる。このため、保存する撮影画像データPIDを減らすことができ、ハードディスク資源等を有効活用することができる。
【0164】
また、本第2実施形態では、カメラユニット190の車載カメラが車両の前方を撮影し、カメラ画像データCIDを取得する。そして、画像取得部220における処理により、撮影画像データPID等が記憶装置120Bに保存される。これらの画像は、前述した処理により表示ユニット140に表示されことがある。このため、利用者が好む目的地点や、分かりにくい目的地点、通過地点等を予め撮影しておくことで、ルートプラン時や走行経路案内時に当該画像データを有効活用することができる。
【0165】
したがって、本第2実施形態によれば、記憶資源の増加を抑制した簡易な構成で、カメラ等で撮影した撮影画像を利用して、リアリティ溢れる画像を表示することができる。
【0166】
[実施形態の変形]
本発明は、上記の実施形態に限定されるものではなく、様々な変形が可能である。
【0167】
例えば、上記の第1及び第2実施形態では、車載カメラは1個であり、車両の前方方向を撮影することとした。これに対して、車載カメラが撮影する方向は、いかなる方向であってもよいし、車載カメラの数は何個であってもよい。
【0168】
また、第1実施形態においては、前方カメラ、後方カメラ、あるいは全方位カメラを使用することにより、立体画像や360度パノラマビュー画像を表示ユニット140に表示させるものであってもよい。
【0169】
また、上記の第1及び第2実施形態では、撮影画像データPIDj(j=1〜N)は、カメラユニット190が撮影した画像データであるとしたが、撮影画像データPIDjは工場出荷時において予め記憶されているものや、利用者がデジタルカメラ等で撮影したものであってもよい。また、この撮影画像データPIDjは、インターネットなどのネットワークを介した配送の形態で取得したものであってもよい。
【0170】
また、上記の第1及び第2実施形態では、画像属性情報テーブルPTBには、各撮影画像データPIDjと対応付けて、撮影画像の撮影が行われた撮影地点の情報、撮影日時の情報、撮影時天気の情報が登録されているとした。これに対して、画像属性情報テーブルPTBには、上記の要素に加え、テクスチャデータと対応付けるための、地域、季節、時刻、天気を登録してもよい。
【0171】
また、上記の第1及び第2実施形態では、計時手段としてGPS受信ユニット170を採用したが、制御ユニット内にリアルタイムクロック(RTC:Real Time Clock)を備えるようにし、このRTCが計時手段をして機能してもよい。
【0172】
また、上記の第1及び第2実施形態では、車両に搭載されるナビゲーション装置に本発明を適用したが、携帯電話装置や家庭内で使用する映像装置、さらには、高速道路のサービスエリアや公共施設等に設置されている地域情報サービスに利用される映像装置等にも本発明を適用することができる。
【0173】
なお、上記の実施形態における制御ユニット110A,110Bの一部又は全部を中央処理装置(CPU:Central Processing Unit)、DSP(Digital Signal Processor)、読出専用メモリ(ROM:Read Only Memory)、ランダムアクセスメモリ(RAM:Random Access Memory)等を備えた演算手段としてのコンピュータとして構成し、予め用意されたプログラムを当該コンピュータで実行することにより、上記の実施形態における処理の一部又は全部を実行するようにしてもよい。このプログラムはハードディスク、CD−ROM、DVD等のコンピュータで読み取り可能な記録媒体に記録され、当該コンピュータによって記録媒体から読み出されて実行される。また、このプログラムは、CD−ROM、DVD等の可搬型記録媒体に記録された形態で取得されるようにしてもよいし、インターネットなどのネットワークを介した配送の形態で取得されるようにしてもよい。
【図面の簡単な説明】
【0174】
【図1】本発明の第1実施形態に係るナビゲーション装置の構成を概略的に示すブロック図である。
【図2】図1の画像処理情報記憶領域の構成を示す図である。
【図3】撮影画像の例(その1)である。
【図4】図1の制御ユニットの構成を示すブロック図である。
【図5】図4のナビゲーション処理部の構成を示すブロック図である。
【図6】図4の画像処理部の構成を示すブロック図である。
【図7】図6の画像取得部の構成を示すブロック図である。
【図8】図6の画像解析部の構成を示すブロック図である。
【図9】図8の表示画像処理部の構成を示すブロック図である。
【図10】図3の撮影画像に対して表示画像処理を行った表示用画像の例である。
【図11】表示デバイスに表示される重畳画像の例である。
【図12】本発明の第2実施形態に係るナビゲーション装置の構成を概略的に示すブロック図である。
【図13】図12の制御ユニットの構成を示すブロック図である。
【図14】図13のナビゲーション処理部の構成を示すブロック図である。
【図15】撮影画像の例(その2)である。
【図16】表示デバイスに表示される3次元ナビゲーション画像の例である。
【図17】表示デバイスに表示される3次元重畳画像の例である。
【符号の説明】
【0175】
100A,100B … ナビゲーション装置(画像処理装置)
113B … 画像形状変形部(画像形状変形手段)
120A … 記憶装置(撮影画像記憶手段、テクスチャ記憶手段)
120B … 記憶装置(撮影画像記憶手段、テクスチャ記憶手段、3次元
モデル情報記憶手段)
140 … 表示ユニット(表示手段)
150 … 操作入力ユニット(操作入力手段)
160 … 走行センサインターフェイス部(位置検出手段の一部)
170 … GPS受信ユニット(計時手段、位置検出手段の一部)
180 … 外部通信ユニット(天気情報取得手段)
190 … カメラユニット(撮影手段)
211A,211B … 統括処理部(表示制御手段、到達日時予測手段、目的地距離
算出手段、通過日時予測手段、通過地距離算出手段)
221 … 部分画像抽出部(抽出手段)
231 … 判定部(判定手段)
233 … 表示画像処理部(表示画像処理手段)
【技術分野】
【0001】
本発明は、画像処理装置、画像処理方法、画像処理プログラム、及び、当該画像処理プログラムを記録した記録媒体に関する。
【背景技術】
【0002】
従来から、ナビゲーション装置が広く普及している。そして、近年におけるナビゲーション装置の技術の発展は目覚しく、エンターテイメント性を向上させる機能や、利用者に対してより分りやすくナビゲートするための機能が備えられている。こうしたナビゲーション装置の中には、これらの機能をさらに発揮させるため、表示面に、単に移動経路画像を表示させるだけでなく、昼夜感や天候感を考慮した目的地点画像や移動経路画像を表示させる技術を備えたものが登場してきている。
【0003】
かかるナビゲーション装置における表示画像に対する技術としては、3次元仮想画像に対して、昼夜感、天候感、四季感を付加するものがある(特許文献1参照:以下、「従来例1」と呼ぶ)。また、かかる表示画像に対する技術としては、撮影地点周辺の地図情報と、指定された天気状態で撮影された撮影画像と、仮想天気画面とを合成するものもある(特許文献2参照:以下、「従来例2」と呼ぶ)。
【0004】
【特許文献1】特開平9−62179号公報
【特許文献2】特開平11−211486号公報
【発明の開示】
【発明が解決しようとする課題】
【0005】
上記の従来例1の技術は、3次元仮想画像に対して昼夜感、天候感等を付加するため、実景色である撮影画像を利用した場合と比べて、リアリティという点においては劣ることになる。また、上記の従来例2の技術は、リアリティを向上させるために実景色である撮影画像を利用するが、この撮影画像は指定された天気状態で撮影されたものでなければならないので、予め撮影しておく画像の種類が非常に多くなってしまい、画像データ記憶のために多くの記憶資源が必要となる。
【0006】
このため、簡易な構成で、昼夜感や天候感を考慮したリアリティ溢れる画像の表示を行うことができる技術が待望されている。かかる要請に応えることが、本発明が解決すべき課題の一つに挙げられる。
【0007】
本発明は、上記の事情を鑑みてなされたものであり、カメラ等で撮影した実景色の撮影画像を利用しつつ、簡易な構成で、リアリティ溢れる画像を表示することができる画像処理装置及び画像処理方法を提供することを目的とする。
【課題を解決するための手段】
【0008】
請求項1に記載の発明は、画像を表示する表示手段と;撮影画像と、前記撮影画像の撮影が行われた撮影地点の情報、撮影日時の情報、撮影時天気の情報を含む撮影画像属性情報とを、対応付けて記憶する撮影画像記憶手段と;前記撮影地点と、表示地点として指定された指定地点とが一致すると推定される場合に、表示に際して反映すべき日時として指定された指定日時と前記撮影日時とが許容範囲内で一致するとともに、表示に際して反映すべき天気として指定された指定天気と前記撮影時天気とが許容範囲内で一致するか否かを判定する判定手段と;前記判定手段による判定の結果が否定的であった場合に、前記撮影画像に対して前記指定日時及び前記指定天気に対応した加工処理を行った画像を表示用画像として生成する表示画像処理手段と;前記表示用画像を反映した画像の前記表示手段への表示制御を行う表示制御手段と;を備えることを特徴とする画像処理装置である。
【0009】
請求項17に記載の発明は、撮影画像と、前記撮影画像の撮影が行われた撮影地点の情報、撮影日時の情報、撮影時天気の情報を含む撮影画像属性情報とを、対応付けて記憶する撮影情報記憶工程と;前記撮影地点と、表示地点として指定された指定地点とが一致すると推定される場合に、表示に際して反映すべき日時として指定された指定日時と前記撮影日時とが許容範囲内で一致するとともに、表示に際して反映すべき天気として指定された指定天気と前記撮影時天気とが許容範囲内で一致するか否かを判定する判定工程と;前記判定工程における判定の結果が否定的であった場合に、前記撮影画像に対して前記指定日時及び前記指定天気に対応した加工処理を行った画像を表示用画像として生成する表示画像処理工程と;前記表示用画像を反映した画像の表示制御を行う表示制御工程と;を備えることを特徴とする画像処理方法である。
【0010】
請求項18に記載の発明は、請求項17に記載の誘導案内方法を演算手段に実行させる、ことを特徴とする画像処理プログラムである。
【0011】
請求項19に記載の発明は、請求項18に記載の画像処理プログラムが、演算手段により読み取り可能に記録されている、ことを特徴とする記録媒体である。
【発明を実施するための最良の形態】
【0012】
以下、本発明の一実施形態を、添付図面を参照して説明する。なお、以下の説明においては、同一の又は同等の要素には同一の符号を付し、重複する説明は省略する。
【0013】
[第1実施形態]
まず、本発明の第1実施形態について、図1〜図11を主に参照しつつ説明する。
【0014】
<構成>
図1には、第1実施形態に係る画像処理装置としての機能を有する車両搭載用のナビゲーション装置100Aの概略的な構成がブロック図にて示されている。
【0015】
この図1に示されるように、ナビゲーション装置100Aは、制御ユニット110Aと、撮影画像記憶手段、及び、テクスチャ記憶手段としての記憶装置120Aとを備えている。
【0016】
また、ナビゲーション装置100Aは、音出力ユニット130と、表示手段としての表示ユニット140と、操作入力手段としての操作入力ユニット150とを備えている。
【0017】
さらに、ナビゲーション装置100Aは、位置検出手段の一部としての走行センサインターフェイス部160と、計時手段、及び、位置検出手段の一部としてのGPS(Global Positioning System)受信ユニット170と、天気情報取得手段としての外部通信ユニット180と、撮影手段としてのカメラユニット190とを備えている。
【0018】
なお、上記の制御ユニット110A以外の要素120〜190は、制御ユニット110Aに接続されている。また、走行センサインターフェイス部160は、車両に搭載された走行センサユニット910とも接続されている。
【0019】
制御ユニット110Aは、ナビゲーション装置100Aの全体を統括制御する。この制御ユニット110Aの詳細については、後述する。
【0020】
記憶装置120Aは、不揮発性の記憶装置であるハードディスク装置等から構成される。記憶装置120A内には、記憶領域として、ナビゲーション情報記憶領域121、画像処理情報記憶領域125などが存在する。
【0021】
ナビゲーション情報記憶領域121には、地図情報記憶領域122等の記憶領域が含まれている。ここで、地図情報記憶領域122には、道路データ、道路ネットワークデータ、背景データ等が記憶されている。これらのデータは、地図情報MPIとして制御ユニット110Aからの制御により、読み出される。
【0022】
画像処理情報記憶領域125には、様々な画像データ等が記憶されており、制御ユニット110Aからの制御によりアクセスされ、読み込み/書き込みが可能になっている。この画像処理情報記憶領域125には、図2に示されるように、撮影画像データベース(以下、「撮影画像DB」とも記す)記憶領域126と、部分画像データベース(以下、「部分画像DB」とも記す)記憶領域127と、テクスチャデータベース(以下、「テクスチャDB」とも記す)記憶領域128とが含まれている。
【0023】
撮影画像DB記憶領域126には、撮影画像データPID1〜PIDNと、画像属性情報テーブルPTBとが記憶されている。
【0024】
撮影画像データPIDj(j=1〜N)は、カメラユニット190等で撮影された様々な目的地点や当該目的地点までの移動経路上における通過地点等の画像データである。撮影画像DB記憶領域126に記憶されている撮影画像の例が、図3に示されている。
【0025】
画像属性情報テーブルPTBは、上記の撮影画像データPIDj(j=1〜N)を管理するために利用される。この画像属性情報テーブルPTBには、各撮影画像データPIDjと対応付けて、撮影画像の撮影が行われた撮影地点の情報、撮影日時の情報、撮影時天気の情報が登録されている。撮影地点の情報は、撮影画像を撮影した位置であってもよいし、撮影画像に撮影されている被写体の固有名称であってもよい。また、この撮影地点の情報には、撮影した位置や被写体の固有名称に加え、撮影方角も含まれている。
【0026】
部分画像DB記憶領域127には、上記の撮影画像データPIDjから抽出したマッピング対象画像データPMDjk(j=1〜N;k=1〜P)と、非マッピング対象画像データPNDjm(j=1〜N;m=1〜Q)とが記憶されている。ここで、マッピング対象画像データPMDjkとは、撮影画像データPIDjに含まれるテクスチャマッピング処理を行う可能性のある部分を抽出したデータであり、例えば、撮影画像データPIDjから、「空」部分、「山」部分、「道路」部分、「地面・土」部分等を抽出した画像データである。
【0027】
また、非マッピング対象画像データPNDjmとは、撮影画像データPIDjに含まれるテクスチャマッピング処理を行わない部分を抽出したデータであり、例えば、撮影画像データPIDjから、「建物」部分等を抽出した画像データである(図3及び図15参照)。
【0028】
なお、以下の説明においては、P個のマッピング対象画像データPMDj1,…,PMDjpをまとめてPMDjとも記す。また、Q個の非マッピング対象画像データPNDj1,…,PNDjQをまとめてPNDjとも記す。
【0029】
また、N個の撮影画像データPIDj(j=1〜N)、マッピング対象画像データPMDj,非マッピング対象画像データPNDjのうち、特定した1個の画像データのみを表すときは、それぞれ、撮影画像データPID、マッピング対象画像データPMD、非マッピング対象画像データPNDとも記す。
【0030】
テクスチャDB記憶領域128には、上記のマッピング対象画像データPMDjに対してテクスチャマッピング処理を行うためのテクスチャデータ群が記憶されている。このテクスチャデータ群には、地域ごと、季節ごと、時刻ごと、天気ごと等に分類された、複数の「空」部分テクスチャデータTXD1、「山」部分テクスチャデータTXD2、「地面・土」部分テクスチャデータTXD3、…、「道路」部分テクスチャデータTXDRの様々なテクスチャデータが含まれている。本実施形態においては、例えば、地域は「北海道、北東北、…、九州本土、沖縄」、季節は「春、夏、秋、冬」、時刻は「朝、昼、夕、晩、夜」、天気は「晴、曇、雨、雪、雷」のそれぞれに分類されている。
【0031】
制御ユニット110Aは、テクスチャDB記憶領域128にアクセスして、このテクスチャデータ群に含まれる各カテゴリーに分類されたテクスチャデータの内から、所望のテクスチャデータだけを選択する。こうして選択されたテクスチャデータは、選択テクスチャデータTXD(1個以上のテクスチャデータの集まり)として、制御ユニット110Aにより読み出される。
【0032】
図1に戻り、音出力ユニット130は、例えば、(i)制御ユニット110Aから受信した案内音声データAODをアナログ信号に変換するDA変換器(Digital to Analog Converter)と、(ii)当該DA変換器から出力されたアナログ信号を増幅する増幅器と、(iii)増幅されたアナログ信号を音声に変換するスピーカとを備えて構成されている。この音出力ユニット130は、制御ユニット110Aによる制御のもとで、車両の進行方向、走行状況、交通状況等の案内音声を出力する。
【0033】
表示ユニット140は、(i)液晶パネル、有機EL(Electro Luminescence)パネル、PDP(Plasma Display Panel)等の表示デバイスと、(ii)制御ユニット110Aから送出された表示制御データに基づいて、表示ユニット140全体の制御を行うグラフィックレンダラ等の表示コントローラと、(iii)表示画像データを記憶する表示画像メモリ等を備えて構成されている。この表示ユニット140は、制御ユニット110Aによる制御のもとで、地図情報、ルート情報等のナビゲーション画像、撮影画像、操作ガイダンス情報等を表示する。
【0034】
操作入力ユニット150は、ナビゲーション装置100Aの本体部に設けられたキー部、あるいはキー部を備えるリモート入力装置等により構成される。ここで、本体部に設けられたキー部としては、表示ユニット140の表示デバイスに設けられたタッチパネルを用いることができる。なお、キー部を有する構成に代えて、又は併用して音声認識技術を利用して音声にて入力する構成を採用することもできる。
【0035】
この操作入力ユニット150を利用者が操作することにより、ナビゲーション装置100Aの動作内容の設定が行われる。例えば、目的地の設定、情報の検索設定、車両の走行状況の表示設定、カメラユニット190による画像の撮影指示等を、利用者が操作入力ユニット150を利用して行う。こうした入力内容は、操作入力データIPDとして、操作入力ユニット150から制御ユニット110Aへ向けて送られる。
【0036】
走行センサインターフェイス部160は、制御ユニット110Aと車両に搭載された走行センサユニット910との間におけるデータ授受に関して利用される。ここで、走行センサユニット910は、(i)車両の移動速度を検出する車速センサと、(ii)車両に作用している加速度を検出する加速度センサと、(iii)車両の角速度を検出する角速度センサとを備えている。ここで、車速センサは、車軸や車輪の回転により出力されるパルス信号を検出する。また、加速度センサは、例えば、3次元方向の加速度を検出する。また、角速度センサは、例えば、いわゆるジャイロセンサとして構成され、角速度を検出する。これらの検出結果は、走行センサインターフェイス部160を介して、走行センサデータDTDとして制御ユニット110Aへ向けて送られる。
【0037】
GPS受信ユニット170は、複数のGPS衛星からの電波の受信結果に基づいて、車両の現在位置の擬似座標値を算出する。また、GPS受信ユニット170は、GPS衛星から送出された時刻情報に基づいて、現在時刻を計時する。これらの現在位置および現在時刻に関する情報は、GPSデータGPDとして制御ユニット110Aへ送られる。
【0038】
外部通信ユニット180は、無線通信部を備えており、制御ユニット110Aによる制御のもとで、携帯電話網等の移動通信網を介して、外部と通信する際に使用される。この外部通信ユニット180を介して、位置を指定した天気情報の取得要求を天気情報サーバへ送ることにより、指定した位置の所望の時刻における天気情報が取得される。かかる取得された天気情報は、通信データETDとして、外部通信ユニット180から制御ユニット110Aへ向けて送られる。
【0039】
カメラユニット190は、不図示の車載カメラと、データ処理部とを備えて構成されている。車載カメラは、例えば、ルームミラーの裏側に配置される。そして、車載カメラは、制御ユニット110Aからの撮影指令SHCに従い、車両の進行方向の画像を撮影する。データ処理部は、車載カメラによる撮影結果をデジタル画像データに変換する。こうして撮影されたデジタル画像データは、カメラ画像データCIDとして、カメラユニット190から制御ユニット110Aへ向けて送られる。
【0040】
次に、制御ユニット110Aについて説明する。上述したように、制御ユニット110Aは、ナビゲーション装置100Aの全体を統括制御する。この制御ユニット110Aは、図4に示されるように、ナビゲーション処理部111Aと、画像処理部112と、表示画像切替部113Aとを備えている。
【0041】
ナビゲーション処理部111Aは、図5に示されるように、表示制御手段、到達日時予測手段、目的地距離算出手段、通過日時予測手段、及び、通過地距離算出手段としての統括処理部211Aを備えている。また、ナビゲーション処理部111Aは、ナビゲーション画像生成部212Aを備えている。
【0042】
このように構成されたナビゲーション処理部111Aは、上述した構成要素120〜190を直接的又は間接的に利用して、利用者にナビゲーション情報を提供する。例えば、ナビゲーション処理に対する操作入力ユニット150からの入力結果に沿って、走行センサインターフェイス部160を介して得られた走行センサデータDTD及びGPS受信ユニット170からの出力であるGPSデータGPDを利用して必要なナビゲーション利用情報を適宜読み出す。そして、ナビゲーション処理部111Aは、(a)利用者が指定する地域の地図を表示ユニット140の表示デバイスに表示するための地図表示、(b)車両が地図上のどこに位置するのか、また、どの方角に向かっているのかを算出し、表示ユニット140の表示デバイスに表示して利用者に提示するマップマッチング、(c)現在車両が存在する位置から、利用者が指定する任意の位置である目的地までの最適ルート検索、(d)設定されたルートに沿って目的地まで運転するときに、目的地への到達予想時刻や、進行すべき方向を的確にアドバイスするために行われる、表示ユニット140の表示デバイスへの案内表示のための制御、及び、音出力ユニット130のスピーカから音声案内を出力するための制御等を行う。以下、ナビゲーション処理部111Aを構成する統括処理部211A、ナビゲーション画像生成部212Aについて詳述する。
【0043】
統括処理部211Aは、利用者が指定した出発地点や目的地点等の情報に基づいて、出発地点から目的地点へ到る走行経路の計画をする「ドライブプランモード」と、車両の走行中に目的地点への走行経路を表示デバイス等で案内する「走行経路案内モード」の両モードにおいて、ナビゲーション処理部111Aの上記の機能を統括処理する。
【0044】
かかる「ドライブプランモード」の動作に際して、統括処理部211Aは、利用者により操作入力ユニット150を利用して入力された出発地点、出発日時、経由地点、目的地点等のドライブプランに必要な情報を受ける。そして、統括処理部211Aは、これらの情報をもとにしてドライブプランを行い、出発地点から目的地点までの最適な移動経路を検索する。
【0045】
引き続き、統括処理部211Aは、記憶装置120Aの撮影画像DB記憶領域126にアクセスして、画像属性情報テーブルPTBを読み取る。統括処理部211Aは、検索した目的地点までの移動経路上に、画像属性情報テーブルPTBに登録されている撮影地点が存在するか否かを調べ、撮影地点が存在する場合には、当該撮影地点を不図示の記憶領域に一時的に記憶する。なお、以下の構成の説明においては、画像属性情報テーブルPTBに、撮影地点として目的地点P0と、当該目的地点P0までの移動経路上の通過地点P1が登録されているものとする。
【0046】
統括処理部211Aは、当該目的地点P0に到着する日時と、移動経路上における通過地点P1を通過する日時を予測する。また、統括処理部211Aは、目的地点P0に到着する予測日時における天気情報と、通過地点P1を通過する予測日時における天気情報を、外部通信ユニット180から取得する。こうして予測した目的地点P0と通過地点P1における日時情報と天気情報は、地点情報とともに表示デバイス等を通じて、利用者に通知される。そして、利用者がこれらの情報に基づいた目的地点P0や通過地点P1の撮影画像を表示すべき旨の指示を、操作入力ユニット150を利用して行うと、統括処理部211Aは、指定された地点における情報(指定地点、指定日時、指定天気)を、指定日時等情報INAとして画像処理部112へ向けて送る。また、統括処理部211Aは、当該情報の送付と同時に、表示画像切替部113Aへ向けて、表示ユニット140へ送る画像データをナビゲーション画像データMPDから後述する重畳画像データに切替えるべき旨の切替指令SECを発行する。
【0047】
一方、「走行経路案内モード」の動作に際して、統括処理部211Aは、GPS受信ユニット170からの出力であるGPSデータGPD等に基づいて、車両と目的地点P0との間の距離DIS1を算出する。そして、統括処理部211Aは、距離DIS1が第1所定距離以下となった場合に、目的地点P0到達時の日時を算出するとともに、目的地点P0到達時における目的地点P0の天気情報を取得する。引き続き、統括処理部211Aは、目的地点P0に関する情報(指定地点、指定日時、指定天気)を、指定日時等情報INAとして画像処理部112へ向けて送る。また、統括処理部211Aは、当該情報の送付と同時に、表示画像切替部113Aへ向けて、表示ユニット140へ送る画像データをナビゲーション画像データMPDから重畳画像データに切替えるべき旨の切替指令SECを発行する。
【0048】
また、「走行経路案内モード」の動作に際して、統括処理部211Aは、車両と通過地点P1との間の距離DIS2を算出する。そして、統括処理部211Aは、距離DIS2が第2所定距離以下となった場合に、通過地点P1通過時の日時を算出するとともに、通過地点P1通過時における通過地点P1の天気情報を取得する。引き続き、統括処理部211Aは、通過地点P1に関する情報(指定地点、指定日時、指定天気)を、指定日時等情報INAとして画像処理部112へ向けて送る。また、統括処理部211Aは、当該情報送付と同時に、表示画像切替部113Aへ向けて、表示ユニット140へ送る画像データをナビゲーション画像データMPDから重畳画像データに切替えるべき旨の切替指令SECを発行する。
【0049】
なお、上記の第1所定距離及び第2所定距離の値は、実験、シミュレーション、経験等に基づいて、予め定められる。
【0050】
また、統括処理部211Aは、上記の動作モードに関係なく、利用者により操作入力ユニット150を利用して入力された画像の撮影指示を操作入力データIPDとして受けるようになっている。統括処理部211Aは、当該指示内容の操作入力データIPDを受けると、撮影指令SHCをカメラユニット190へ発行するとともに、画像処理部112へ向けて発行する。
【0051】
また、統括処理部211Aは、当該撮影指令SHCの発行と同時に、画像処理部112へ向けて撮影日時等情報INFを送る。この撮影日時等情報INFには、撮影画像の撮影が行われた撮影地点の情報、撮影日時の情報、撮影時天気の情報が含まれている。ここで、撮影地点の情報は、走行センサインターフェイス部160を介して得られた走行センサデータDTDやGPS受信ユニット170からの出力であるGPSデータGPDに基づいて、取得される。撮影日時の情報は、GPS受信ユニット170からの出力であるGPSデータGPDに基づいて、取得される、また、撮影時天気の情報は、外部通信ユニット180からの通信データETDとして取得される。
【0052】
ナビゲーション画像生成部212Aは、上記の(a)及び(d)の機能を実現するための画像データの生成を行う。このナビゲーション画像生成部212Aは、統括処理部211Aを介してナビゲーション画像の生成に必要な情報MPFを受け、ナビゲーション画像データMPDを生成する。こうして生成されたナビゲーション画像データMPDは、表示画像切替部113Aへ向けて送られる。以上が、ナビゲーション処理部111Aの構成である。
【0053】
次に、図4に戻り、画像処理部112について説明する。画像処理部112は、撮影画像の取得、及び、取得した撮影画像の解析に関する処理を行う。この画像処理部112は、図6に示されるように、画像取得部220と、画像解析部230とを備えている。
【0054】
画像取得部220は、撮影画像の取得に関する処理を行う。この画像取得部220は、図7に示されるように、抽出手段としての部分画像抽出部221と、属性情報作成部222とを備えている。
【0055】
部分画像抽出部221は、ナビゲーション処理部111Aからの撮影指令SHCを受けると、カメラユニット190から送られてくるカメラ画像データCIDの解析処理を開始する。部分画像抽出部221は、この解析処理に際し、適切なアルゴリズムにより、カメラ画像データCIDから、前述したマッピング対象画像データPMDと非マッピング対象画像データPNDとを抽出する。こうして抽出された各画像データは、記憶装置120Aの部分画像DB記憶領域127に書き込まれる。
【0056】
また、部分画像抽出部221は、カメラユニット190から送られてくるカメラ画像データCIDを、撮影画像データPIDとして記憶装置120Aの撮影画像DB記憶領域126に書き込む。
【0057】
属性情報作成部222は、ナビゲーション処理部111Aからの撮影日時等情報INFを受ける。そして、属性情報作成部222は、撮影画像DB記憶領域126にアクセスして、当該撮影日時等情報INFの内容を、撮影画像データPIDと対応付ける形式で、画像属性情報テーブルPTBのリストに新規に登録する。
【0058】
画像解析部230は、取得した撮影画像の解析に関する処理を行う。この画像解析部230は、図8に示されるように、判定手段としての判定部231と、画像選択部232と、表示画像処理手段としての表示画像処理部233とを備えている。
【0059】
判定部231は、ナビゲーション処理部111Aからの指定日時等情報INAを受けるとともに、撮影画像DB記憶領域126にアクセスして画像属性情報テーブルPTBを読み取る。そして、判定部231は、画像属性情報テーブルPTBに登録されている撮影画像の撮影地点の情報を参照して、指定日時等情報INAに含まれる指定地点と、撮影地点とが一致する撮影画像を検索する。
【0060】
引き続き、判定部231は、指定日時等情報INAに含まれる指定日時と検索された撮影画像の撮影日時とが許容範囲内で一致するとともに、指定日時等情報INAに含まれる指定天気と検索された撮影画像の撮影時天気とが許容範囲内で一致するか否かを判定する。この判定の結果が肯定的であった場合には、判定部231は、画像選択部232及び表示画像処理部233へ向けて、肯定的である旨および指定日時等情報INAの内容を含む判定報告DECを送る。一方、この判定の結果が否定的であった場合には、判定部231は、画像選択部232及び表示画像処理部233へ向けて、否定的である旨および指定日時等情報INAの内容を含む判定報告DECを送る。
【0061】
画像選択部232は、判定部231における判定の結果が肯定的である旨の判定報告DECを受けた場合には、撮影画像DB記憶領域126にアクセスして、指定日時等情報INAに含まれる指定地点と一致する撮影画像データPIDを選択して読み出す。こうして読み出された撮影画像データPIDは、表示画像処理部233へ向けて送られる。
【0062】
一方、画像選択部232は、当該判定の結果が否定的である旨の判定報告DECを受けた場合には、部分画像DB記憶領域127にアクセスして、指定日時等情報INAに含まれる指定地点と一致するマッピング対象画像データPMDと非マッピング対象画像データPNDを選択して読み出す。こうして読み出されたマッピング対象画像データPMDと非マッピング対象画像データPNDは、表示画像処理部233へ向けて送られる。
【0063】
表示画像処理部233は、図9に示されるように、画像加工部234と、テクスチャマッピング部235と、合成部236と、切替部237とを備えている。
【0064】
画像加工部234は、判定部231からの判定の結果が否定的である旨の判定報告DECを受けたときに、処理を行う。この画像加工部234は、画像選択部232から非マッピング対象画像データPNDを受ける。そして、画像加工部234は、適切なアルゴリズムにより、非マッピング対象画像データPNDに対して、指定日時等情報INAに含まれる指定日時及び指定天気に対応した加工処理を行う。具体的には、非マッピング対象画像データPNDに対して、明るさ、コントラスト、色合い等の補正を行ったり、非マッピング対象画像データPNDに照明光などが検出されれば、時刻によっては照明光を無くす処理等を行う。こうして加工処理された画像データは、加工画像データSNDとして、画像加工部234から合成部236へ向けて送られる。
【0065】
テクスチャマッピング部235は、上記の画像加工部234と同様に、判定部231からの判定の結果が否定的である旨の判定報告DECを受けたときに、処理を行う。このテクスチャマッピング部235は、画像選択部232からマッピング対象画像PMDを受ける。また、テクスチャマッピング部235は、テクスチャDB記憶領域128にアクセスして、指定日時等情報INAに含まれる指定地点、指定日時、指定天気に適合する「空」部分、「山」部分、「道路」部分、「地面・土」部分等のテクスチャデータを、選択テクスチャデータTXDとして取得する。
【0066】
引き続き、テクスチャマッピング部235は、マッピング対象画像PMDに「空」部分があれば、選択した「空」部分のテクスチャデータを貼り付け、マッピング対象画像PMDに「山」部分があれば、選択した「山」部分のテクスチャデータを貼り付ける等のテクスチャマッピング処理を行う。こうしてテクスチャマッピング処理された画像データは、テクスチャ処理画像データSMDとして、テクスチャマッピング部235から合成部236へ向けて送られる。
【0067】
合成部236は、画像加工部234からの加工画像データSNDを受けるとともに、テクスチャマッピング部235からのテクスチャ処理画像SMDを受ける。そして、合成部236は、これらの画像データを合成して、合成画像データSCDを生成する。
【0068】
図10(A)には原画像である撮影画像の例が示され、図10(B)及び図10(C)には当該撮影画像に対して表示画像処理を行った合成画像の例が示されている。図10(B)及び図10(C)は、非マッピング対象画像部分に対して指定日時及び指定天気に対応した加工処理を行うとともに、マッピング対象画像部分に対して指定地点、指定日時、指定天気に適合する「空」部分、「山」部分等のテクスチャを貼り付けたものである。なお、この撮影画像は、車載カメラを西の方角に向けて撮影したものとする。
【0069】
図10(B)の合成画像は、例えば、地域「北海道」、季節「夏」、時刻「夜」、天気「晴」に適合するように表示画像処理された画像である。この図10(B)の合成画像には、時刻が「夜」であるため、撮影画像(図10(A)参照)に表示されている「山」が表示されていない。
【0070】
また、図10(C)の合成画像は、例えば、地域「北海道」、季節「夏」、時刻「夕」、天気「晴」に適合するように表示画像処理された画像である。この図10(C)の合成画像には、時刻が「夕」であるため、夕日が表示されている。
【0071】
こうして生成された合成画像データSCDは、合成部236から切替部237へ向けて送られる。
【0072】
切替部237は、判定部231からの判定の結果が肯定的である旨の判定報告DECを受けたときは、画像選択部232からの撮影画像データPIDを受け、当該データを表示用画像データPPDとして表示画像切替部113Aへ向けて出力する。一方、切替部237は、判定部231からの判定の結果が否定的である旨の判定報告DECを受けたときは、合成部236からの合成画像データSCDを受け、当該データを表示用画像データPPDとして表示画像切替部113Aへ向けて出力する。以上が、画像処理部112の構成である。
【0073】
図4に戻り、表示画像切替部113Aは、表示ユニット140の表示デバイスに表示する画像の切替え処理等を行う。この表示画像切替部113Aは、ナビゲーション処理部111Aからのナビゲーション画像データMPDを受けるとともに、画像処理部112からの表示用画像データPPDを受ける。表示画像切替部113Aは、通常、ナビゲーション画像データMPDを、表示画像データIMDとして表示ユニット140へ向けて出力する。一方、表示画像切替部113Aは、ナビゲーション処理部111Aからの切替指令SECを受けたときは、ナビゲーション画像データMPDに表示用画像データPPDを重ねた重畳画像データを作成し、当該画像データを、表示画像データIMDとして表示ユニット140へ向けて出力する(図11参照)。
【0074】
<動作>
次に、上記のように構成されたナビゲーション装置100Aの動作について、撮影画像の取得、及び、取得した撮影画像を利用した画像処理の動作に主に着目して説明する。
【0075】
《撮影画像の取得動作》
まず、カメラユニット190を用いた撮影画像の取得処理に関する動作について説明する。
【0076】
利用者が、操作入力ユニット150に画像の撮影指示を入力することにより、撮影画像の取得処理に関する動作が開始する。
【0077】
こうして操作入力ユニット150に画像の撮影指示が入力されると、その旨が操作入力データIPDとしてナビゲーション処理部111Aの統括処理部211Aへ向けて送られる(図5参照)。統括処理部211Aは、当該指示内容の操作入力データIPDを受けると、撮影指令SHCを、カメラユニット190へ発行するとともに、画像処理部112の画像取得部220(より詳しくは、部分画像抽出部221)へ向けて発行する(図6参照)。
【0078】
また、統括処理部211Aは、この撮影指令SHCの発行と同時に、画像取得部220(より詳しくは、属性情報作成部222)へ向けて撮影日時等情報INFを送る。この撮影日時等情報INFには、撮影画像の撮影が行われるときの撮影地点の情報、撮影日時の情報、撮影時天気の情報が含まれている。
【0079】
統括処理部211Aからの撮影指令SHCをカメラユニット190が受けると、車載カメラが、車両の前方方向の画像を撮影する。こうして車載カメラで撮影された撮影結果はデジタル画像データに変換され、カメラ画像データCIDとして画像取得部220の部分画像抽出部221へ向けて送られる(図7参照)。
【0080】
部分画像抽出部221は、統括処理部211Aからの撮影指令SHCを受けると、カメラユニット190から送られてくるカメラ画像データCIDの解析処理を開始する。部分画像抽出部221は、この解析処理に際して、適切なアルゴリズムにより、カメラ画像データCIDから、マッピング対象画像データPMDと非マッピング対象画像データPNDとを抽出する。こうして抽出されたマッピング対象画像データPMDと非マッピング対象画像データPNDは、部分画像DB記憶領域127に書き込まれる。
【0081】
また、部分画像抽出部221は、カメラユニット190から送られてくるカメラ画像データCIDを、撮影画像データPIDとして撮影画像DB記憶領域126に書き込む。
【0082】
一方、属性情報作成部222は、統括処理部211Aからの撮影日時等情報INFを受けると、撮影画像DB記憶領域126にアクセスして、当該撮影日時等情報INFの内容を、撮影画像データPIDと対応付ける形式で、画像属性情報テーブルPTBのリストに新規に登録する。これにより、撮影画像の取得時における動作が終了する。
【0083】
《ドライブプランモード時における動作》
次いで、ドライブプランモード時における取得した撮影画像を利用した画像処理の動作について説明する。
【0084】
前提として、図2に示される画像処理情報記憶領域125には、ドライブプランにおいて検索される移動経路上(目的地点P0を除く)の撮影画像は記憶されておらず、図3に示される目的地点P0の撮影画像のみが、当該撮影画像の撮影地点の情報、撮影日時の情報、撮影時天気の情報を登録した画像属性情報テーブルPTBとともに、記憶されているものとする。
【0085】
利用者が、操作入力ユニット150に、出発地点、出発日時、経由地点、目的地点等のドライブプランに必要な情報を入力することにより、ドライブプランモード時における画像処理に関する動作が開始する。
【0086】
これらのドライブプランに必要な情報は、操作入力データIPDとして統括処理部211Aへ向けて送られる。統括処理部211Aは、これらの情報をもとにしてドライブプランを行い、出発地点から目的地点までの最適な移動経路を検索する。
【0087】
統括処理部211Aは、移動経路の検索後に、撮影画像DB記憶領域126にアクセスして、画像属性情報テーブルPTBを読み出す。そして、統括処理部211Aは、検索した移動経路上に、画像属性情報テーブルPTBに登録されている撮影地点が存在するか否かを調査する。統括処理部211Aは、この調査により、画像属性情報テーブルPTBに登録されている撮影地点の中から、目的地点P0を見つけ出す。
【0088】
引き続き、統括処理部211Aは、目的地点P0に到達する日時を算出するとともに、目的地点P0に到達する日時における天気情報を外部通信ユニット180から取得する。こうして得られた目的地点P0の地点情報、日時情報、天気情報は、表示デバイス等を通じて利用者に報告される。
【0089】
利用者が、これらの情報に基づいた目的地点P0の撮影画像を表示すべき指示を、操作入力ユニット150を利用して行うと、統括処理部211Aは、その旨を操作入力データIPDとして受ける。統括処理部211Aは、当該内容の操作入力データIPDを受けると、指定された指定地点(目的地点P0の撮影地点)、指定日時(目的地点P0に到達する日時)、指定天気(目的地点P0に到達する日時における天気)を、指定日時等情報INAとして画像処理部112の画像解析部230(より詳しくは、判定部231)へ向けて送る。
【0090】
また、統括処理部211Aは、当該情報の送付と同時に、表示画像切替部113Aへ向けて、表示ユニット140へ送る画像データをナビゲーション画像データMPDから重畳画像データに切替えるべき旨の切替指令SECを発行する。
【0091】
なお、画像処理情報記憶領域125に、目的地点を含む移動経路上の撮影画像が記憶されていない場合には、統括処理部211Aは、上記の画像解析部230へ向けての指定日時等情報INAの送付、及び、表示画像切替部113Aへ向けての切替指令SECの発行は行わない。
【0092】
画像解析部230の判定部231は、統括処理部211Aからの指定日時等情報INAを受けると、撮影画像DB記憶領域126にアクセスして画像属性情報テーブルPTBを読み込む。そして、判定部231は、画像属性情報テーブルPTBに登録されている撮影画像の撮影地点の情報を参照し、指定日時等情報INAに含まれる指定地点と、撮影地点とが一致する撮影画像を検索する。
【0093】
次いで、判定部231は、指定日時等情報INAに含まれる指定日時と撮影画像の撮影日時とが許容範囲内で一致するとともに、指定日時等情報INAに含まれる指定天気と撮影画像の撮影時天気とが許容範囲内で一致するか否かを判定する。この判断の結果が肯定的であった場合には、判定部231は、画像選択部232と表示画像処理部233へ向けて、肯定的である旨の判定報告DECを送る。一方、この判定の結果が否定的であった場合には、判定部231は、画像選択部232と表示画像処理部233へ向けて、否定的である旨の判定報告DECを送る(図8参照)。なお、この判定報告DECには、当該判定結果とともに、指定日時等情報INAの内容が含まれている。
【0094】
画像選択部232は、判定報告DECの内容が肯定的であるときは、撮影画像DB記憶領域126にアクセスして、指定日時等情報INAに含まれる指定地点と一致する撮影画像データPIDを読み出す。一方、画像選択部232は、判定報告DECの内容が否定的であるときは、部分画像DB記憶領域127にアクセスして、指定日時等情報INAに含まれる指定地点と一致するマッピング対象画像データPMDと非マッピング対象画像データPNDを読み出す。こうして読み出された各画像データは、表示画像処理部233へ向けて送られる。
【0095】
表示画像処理部233は、前述した判定報告DECの内容が肯定的であるときは、撮影画像データPIDを表示用画像データPPDとして、表示画像切替部113Aへ向けて送る。
【0096】
一方、判定報告DECの内容が否定的であるときは、表示画像処理部233の画像加工部234が、非マッピング対象画像データPNDに対して指定日時等情報INAに含まれる指定日時及び指定天気に対応した加工処理を行うとともに、表示画像処理部233のテクスチャマッピング部235が、マッピング対象画像データPMDに対して指定日時等情報INAに含まれる指定地点、指定日時、指定天気に対応するテクスチャ処理を行う。そして、合成部236が、加工処理を行った加工画像データSNDと、テクスチャマッピング処理を行ったマッピング処理画像データSMDとを合成する。合成結果である合成画像データSCDは、表示用画像データPPDとして表示画像切替部113Aへ向けて送られる(図9参照)。
【0097】
表示画像切替部113Aは、統括処理部211Aからの切替指令SECに従い、ナビゲーション画像データMPDに表示用画像データPPDを重ねた重畳画像データを作成し、当該画像データを、表示画像データIMDとして表示ユニット140へ向けて出力する。これにより、表示ユニット140の表示デバイスには、前述した図11に示されるような画像が表示される。
【0098】
《走行経路案内モード時における動作》
次に、走行経路案内モード時における取得した撮影画像を利用した画像処理の動作について説明する。
【0099】
前提として、車両は前述したドライブプランモードにおいて計画された移動経路に従って、目的地点へ向けて走行しているものとする。また、前述したように、画像処理情報記憶領域125には、ドライブプランにおいて検索された移動経路上(目的地点P0を除く)の撮影画像は記憶されておらず、図3に示される目的地点P0の撮影画像のみが、当該撮影画像の撮影地点の情報、撮影日時の情報、撮影時天気の情報を登録した画像属性情報テーブルPTBとともに、記憶されているものとする。
【0100】
統括処理部211Aは、車両の走行中、常時、車両と目的地点P0との間の距離DIS1を算出する。そして、統括処理部211Aは、距離DIS1が第1所定距離以下となったか否かを判定し、判定の結果が否定的であった場合には、この判定処理が繰り返される。
【0101】
一方、この判定の結果が肯定的になると、統括処理部211Aは、目的地点P0到達時の日時を算出するとともに、目的地点P0到達時における目的地点P0の天気情報を取得する。そして、統括処理部211Aは、目的地点P0の地点情報(指定地点)、及び、取得した日時情報(指定日時)と天気情報(指定天気)を、指定日時等情報INAとして画像解析部230へ向けて送る。また、統括処理部211Aは、表示画像切替部113Aへ向けて、切替指令SECを発行する。
【0102】
指定日時等情報INAを受けた画像解析部230では、前述した「ドライブプランモード」における動作と同様に、まず、判定部231において、撮影画像DB記憶領域126にアクセスして画像属性情報テーブルPTBを参照し、撮影地点と指定地点とが一致する撮影画像を検索する。次いで、判定部231は、指定日時等情報INAに含まれる指定日時と検索した撮影画像の撮影日時とが許容範囲内で一致するとともに、指定日時等情報INAに含まれる指定天気と検索した撮影画像の撮影時天気とが許容範囲内で一致するか否かを判定する。
【0103】
この判定の結果が肯定的であった場合には、画像解析部230の画像選択部232が、撮影画像DB記憶領域126にアクセスして、指定地点と撮影地点とが一致する撮影画像データPIDを読み出す。そして、表示画像処理部233が、当該撮影画像データPIDを表示用画像データPPDとして、表示画像切替部113Aへ向けて送る。
【0104】
一方、判定部231における判定の結果が否定的であった場合には、画像選択部232が、部分画像DB記憶領域127にアクセスして、指定地点と撮影地点とが一致するマッピング対象画像データPMDと非マッピング対象画像データPNDを読み出す。そして、表示画像処理部233が、非マッピング対象画像データPNDに対しては、指定日時及び指定天気に対応した加工処理を行い、マッピング対象画像データPMDに対しては、指定地点、指定日時、指定天気に対応するテクスチャマッピング処理を行う。そして、表示画像処理部233は、これらの処理画像データを合成し、合成結果である合成画像データSCDを表示用画像データPPDとして、表示画像切替部113Aへ向けて送る。
【0105】
表示画像切替部113Aは、統括処理部211Aからの切替指令SECに従い、ナビゲーション画像データMPDに表示用画像データPPDを重ねた重畳画像データを作成し、当該画像データを、表示画像データIMDとして表示ユニット140へ向けて出力する。これにより、表示ユニット140の表示デバイスには、前述した図11に示されるような画像が表示される。
【0106】
なお、上記の説明では、画像処理情報記憶領域125には、ドライブプランにおいて検索された移動経路上(目的地点P0を除く)の撮影画像は記憶されていないとしたが、画像処理情報記憶領域125内に、検索された移動経路上の通過地点P1の撮影画像が存在すれば、統括処理部211Aは、車両の走行中、常時、車両と通過地点P1との間の距離DIS2を算出する。
【0107】
そして、統括処理部211Aは、距離DIS2が第2所定距離以下となったか否かを判定し、この判定の結果が肯定的になると、通過地点P1通過時の日時を算出するとともに、通過地点P1通過時における通過地点P1の天気情報を取得する。そして、統括処理部211Aは、通過地点P1の地点情報(指定地点)、及び、取得した日時情報(指定日時)と天気情報(指定天気)を、指定日時等情報INAとして画像解析部230へ向けて送る。また、統括処理部211Aは、表示画像切替部113Aへ向けて、切替指令SECを発行する。
【0108】
画像解析部230と表示画像切替部113Aは、前述した目的地点P0の撮影画像に対するのと同様に処理を行う。この結果、通過地点P1の撮影画像に対して表示画像処理を施した表示用画像をナビゲーション画像に重畳させた重畳画像が、表示ユニット140に表示される。
【0109】
また、この通過地点P1の撮影画像に対する処理動作においては、車両が当該通過地点P1を通過した際には、統括処理部211Aからの切替指令SECにより、表示ユニット140に表示される画像が、重畳画像から、ナビゲーション画像に切替る。
【0110】
以上説明したように、本第1実施形態では、統括処理部211Aが、ドライブプランにおいて検索した移動経路上に、画像属性情報テーブルPTBに登録されている撮影地点が存在するか否かを調査する。そして、統括処理部211Aは、目的地点P0等が撮影地点として画像属性情報テーブルPTBに登録されている場合には、当該目的地点P0に到着する日時を予測するとともに、当該目的地点P0に到着する予測日時における天気情報を取得する。こうして得られた地点、日時、天気の情報(指定地点、指定日時、指定天気)は、指定日時等情報INAとして画像処理部112へ向けて送られる。
【0111】
画像処理部112では、判定部231が、画像属性情報テーブルPTBを参照し、撮影地点と指定地点とが一致する撮影画像を検索する。次いで、判定部231は、指定日時等情報INAに含まれる指定日時と撮影日時とが許容範囲内で一致するとともに、指定日時等情報INAに含まれる指定天気と撮影時天気とが許容範囲内で一致するか否かを判定する。
【0112】
この判定の結果が否定的であった場合には、画像選択部232が、部分画像DB記憶領域127にアクセスして、指定地点と撮影地点とが一致するマッピング対象画像データPMDと非マッピング対象画像データPNDを読み出す。そして、表示画像処理部233が、非マッピング対象画像データPNDに対しては、指定日時及び指定天気に対応した加工処理を行い、マッピング対象画像データPMDに対しては、指定地点、指定日時、指定天気に対応するテクスチャマッピング処理を行う。そして、表示画像処理部233は、これらの処理画像データを合成し、合成結果である合成画像データSCDを表示用画像データPPDとして、表示画像切替部113Aへ向けて送る。
【0113】
表示画像切替部113Aは、統括処理部211Aからの切替指令SECに従い、ナビゲーション画像データMPDに表示用画像データPPDを重ねた重畳画像データを作成し、当該画像データを、表示画像データIMDとして表示ユニット140へ向けて出力する。これにより、表示ユニット140には、目的地点P0の撮影画像に対して到達予想時の昼夜感、天候感、四季感を付加した画像を含む画像が表示される。このため、カメラ等で撮影した撮影画像から、リアリティ溢れる画像を利用者に提供することができる。
【0114】
また、本第1実施形態では、車両の走行経路案内時に、統括処理部211Aは、車両と目的地点P0との間の距離DIS1を算出する。そして、統括処理部211Aは、距離DIS1が第1所定距離以下となった場合に、上述した画像処理に関する制御を行い、この結果、表示ユニット140には、目的地点P0の撮影画像に対して到達時の昼夜感、天候感、四季感を付加した画像を含む画像が表示される。このため、撮影画像から、リアリティ溢れる画像を利用者に提供することができる。
【0115】
また、本第1実施形態では、1つの撮影地点に対して撮影画像データPIDが1個存在すれば、表示画像処理部233における画像処理により、異なる昼夜感、天候感、四季感の画像を生成することができる。このため、保存する撮影画像データPIDを減らすことができ、ハードディスク資源等を有効活用することができる。
【0116】
また、本第1実施形態では、カメラユニット190の車載カメラが車両の前方を撮影し、カメラ画像データCIDを取得する。そして、画像取得部220における処理により、撮影画像データPID等が記憶装置120Aに保存される。これらの画像は、前述した処理により表示ユニット140に表示されることがある。このため、利用者が好む目的地点や、分かりにくい目的地点、通過地点等を予め撮影しておくことで、ルートプラン時や走行経路案内時に当該画像データを有効活用することができる。
【0117】
したがって、本第1実施形態によれば、記憶資源の増加を抑制した簡易な構成で、カメラ等で撮影した撮影画像を利用して、リアリティ溢れる画像を表示することができる。
【0118】
[第2実施形態]
次に、本発明の第2実施形態について、図12〜図17を主に参照しつつ説明する。
【0119】
<構成>
図12には、第2実施形態に係る画像処理装置としての機能を有する車両搭載用のナビゲーション装置100Bの概略的な構成がブロック図にて示されている。以下、上記の第1実施形態に係るナビゲーション装置100Aとの相違点に主に着目して、ナビゲーション装置100Bの構成を説明する。
【0120】
この図12に示されるように、ナビゲーション装置100Bは、ナビゲーション装置100Aと比べて、制御ユニット110Aに代えて制御ユニット110Bを備える点と、記憶装置120Aに代えて撮影画像記憶手段、部分画像記憶手段、テクスチャ記憶手段、及び、3次元モデル情報記憶手段としての記憶装置120Bを備える点とが異なっている。
【0121】
制御ユニット110Bは、ナビゲーション装置100Bの全体を統括制御する。この制御ユニット110Bの詳細については、後述する。
【0122】
記憶装置120Bは、記憶装置120Aと比べて、ナビゲーション情報記憶領域121内に、地図情報記憶領域122に代えて3次元地図モデル情報(「3D情報」)記憶領域123が含まれている点が異なっている。ここで、3D情報記憶領域123には、3次元の道路データ、道路ネットワークデータ、構造物データ、背景データ等が記憶されている。
【0123】
次に、制御ユニット110Bについて説明する。上述したように、制御ユニット110Bは、ナビゲーション装置100Bの全体を統括制御する。この制御ユニット110Bは、図13に示されるように、第1実施形態における制御ユニット110Aと比べて、ナビゲーション処理部111Aに代えてナビゲーション処理部111Bを備える点と、表示画像切替部113Aに代えて画像形状変形手段としての画像形状変形部113Bを備える点とが異なっている。
【0124】
ナビゲーション処理部111Bは、図14に示されるように、第1実施形態におけるナビゲーション処理部111Aと比べて、統括処理部211Aに代えて統括処理部211Bを備える点と、ナビゲーション画像生成部212Aに代えてナビゲーション画像生成部212Bを備える点とが異なっている。
【0125】
統括処理部211Bは、第1実施形態における統括処理部211Aと同様に、ドライブプランモード」と、「走行経路案内モード」の両モードにおいて、ナビゲーション処理部111Bの機能を統括処理する。この統括処理部211Bは、統括処理部211Aと比べて、3D情報記憶領域123に記憶されているデータ等に基づいた情報MTFを、ナビゲーション画像生成部212Bへ向けて送る点が異なっている。
【0126】
ナビゲーション画像生成部212Bは、第1実施形態におけるナビゲーション画像生成部212Aと比べて、統括処理部211Bを介して3次元のナビゲーション画像の生成に必要な情報MTFを受け、3次元のナビゲーション画像データ(以下、「3Dナビゲーション画像データ」とも記す)MTDを生成する点が異なっている。こうして生成された3次元のナビゲーション画像データMTDは、画像形状変形部113Bへ向けて送られる。
【0127】
図13に戻り、画像形状変形部113Bは、ナビゲーション処理部111Bからの3Dナビゲーション画像データMTDを受けるとともに、画像処理部112からの表示用画像データPPDを受ける。そして、画像形状変形部113Bは、ナビゲーション処理部111Bからの切替指令SECを受けると、3Dナビゲーション画像における表示用画像に対応する領域を選び出す。引き続き、画像形状変形部113Bは、表示用画像に対して当該領域に適合する変形を行い、当該領域に、変形させた表示用画像を貼り付ける。こうして生成された画像データ(以下、当該画像データを「3D重畳画像データ」とも記す)は、表示画像データIMDとして表示ユニット140へ向けて出力される。
【0128】
<動作>
次に、上記のように構成されたナビゲーション装置100Bの動作について、撮影画像を利用した画像処理の動作に主に着目して説明する。
【0129】
なお、撮影画像の取得における動作は、第1実施形態において説明した《撮影画像の取得動作》と同様であるため、省略する。
【0130】
《ドライブプランモード時における動作》
まず、ドライブプランモード時における撮影画像を利用した画像処理の動作について説明する。
【0131】
前提として、図2に示される画像処理情報記憶領域125には、ドライブプランにおいて検索される移動経路上(目的地点P2を除く)の撮影画像は記憶されておらず、図15に示される目的地点P2の撮影画像のみが、当該撮影画像の撮影地点の情報、撮影日時の情報、撮影時天気の情報を登録した画像属性情報テーブルPTBとともに、記憶されているものとする。
【0132】
第1実施形態におけるナビゲーション装置100Aと同様に、利用者が、操作入力ユニット150に、出発地点、出発日時、経由地点、目的地点等のドライブプランに必要な情報を入力することにより、ドライブプランモード時における画像処理に関する動作が開始する。
【0133】
これらのドライブプランに必要な情報は、ナビゲーション処理部111Bの統括処理部211Bへ向けて送られる。そして、統括処理部211Bは、これらの情報をもとにしてドライブプランを行い、出発地点から目的地点までの最適な移動経路を検索する。
【0134】
統括処理部211Bは、移動経路の検索後に、撮影画像DB記憶領域126にアクセスして、検索した移動経路上に、画像属性情報テーブルPTBに登録されている撮影地点が存在するか否かを調査する。統括処理部211Bは、この調査により、画像属性情報テーブルPTBに登録されている複数の撮影地点の中から、目的地点P2を見つけ出す。
【0135】
引き続き、統括処理部211Bは、目的地点P2に到達する日時を予測するとともに、目的地点P2に到達する日時における天気情報を、外部通信ユニット180から取得する。こうして得られた目的地点P2の地点情報、日時情報、天気情報は、表示デバイス等を通じて利用者に報告される。
【0136】
利用者が、これらの情報に基づいた目的地点P2の撮影画像を表示すべき指示を、操作入力ユニット150を利用して行うと、統括処理部211Bがその旨を操作入力データIPDとして受ける。統括処理部211Bは、当該内容の操作入力データIPDを受けると、指定位置(目的地点P2)、指定日時(目的地点P2に到達する日時)、指定天気(目的地点P2に到達する日時における天気)を、指定日時等情報INAとして判定部231へ向けて送る。
【0137】
また、統括処理部211Bは、当該情報の送付と同時に、画像形状変形部113Bへ向けて、切替指令SECを発行する。
【0138】
なお、画像処理情報記憶領域125に、目的地点を含む移動経路上の撮影画像が記憶されていない場合には、統括処理部211Bは、上記の画像解析部230へ向けての指定日時等情報INAの送付、及び、画像形状変形部113Bへ向けての切替指令SECの発行は行わない。
【0139】
判定部231は、統括処理部211Bからの指定日時等情報INAを受けると、画像属性情報テーブルPTBに登録されている撮影地点の情報を参照し、指定日時等情報INAに含まれる指定地点と、撮影地点とが一致する撮影画像を検索する。
【0140】
次いで、判定部231は、指定日時と撮影日時とが許容範囲内で一致するとともに、指定天気と撮影時天気とが許容範囲内で一致するか否かを判定する。この判断の結果が肯定的であった場合には、判定部231は、画像選択部232と表示画像処理部233へ向けて、肯定的である旨の判定報告DECを送る。一方、この判定の結果が否定的であった場合には、判定部231は、画像選択部232と表示画像処理部233へ向けて、否定的である旨の判定報告DECを送る。なお、この判定報告DECには、当該判定結果とともに、指定日時等情報INAが含まれている。
【0141】
画像選択部232は、判定報告DECの内容が肯定的であるときは、撮影画像DB記憶領域126にアクセスして、指定地点と一致する撮影画像データPIDを読み出す。一方、画像選択部232は、判定報告DECの内容が否定的であるときは、部分画像DB記憶領域127にアクセスして、指定地点と一致するマッピング対象画像データPMDと非マッピング対象画像データPNDを読み出す。こうして読み出された画像データは、表示画像処理部233へ向けて送られる。
【0142】
表示画像処理部233は、前述した判定報告DECの内容が肯定的であるときは、撮影画像データPIDを表示用画像データPPDとして、画像形状変形部113Bへ向けて送る。
【0143】
一方、判定報告DECの内容が否定的であるときは、画像加工部234が、非マッピング対象画像データPNDに対して指定日時及び指定天気に対応した加工処理を行うとともに、テクスチャマッピング部235が、マッピング対象画像データPMDに対して指定地点、指定日時、指定天気に対応するテクスチャ処理を行う。そして、合成部236が、加工処理を行った加工画像データSNDと、テクスチャマッピング処理を行ったマッピング処理画像データSMDとを合成し、合成結果である合成画像データSCDを表示用画像データPPDとして、画像形状変形部113Bへ向けて送る。
【0144】
画像形状変形部113Bは、通常は、ナビゲーション処理部111Bから送られてくる3Dナビゲーション画像データMTDを、表示画像データIMDとして表示ユニット140へ向けて出力する。このときは、例えば、図16に示されるような画像が、表示ユニット140に表示されている。画像形状変形部113Bは、統括処理部211Bからの切替指令SECを受けると、3Dナビゲーション画像データMTDと表示用画像データPPDを基にして3D重畳画像データを作成し、当該画像データを、表示画像データIMDとして表示ユニット140へ向けて出力する。これにより、表示ユニット140の表示デバイスには、例えば、図17に示されるような画像が表示される。
【0145】
なお、上記の指定地点、指定日時、指定天気のそれぞれ、「東京○△ビル」、「10月25日、16時」、「曇」となっており、図17に示される画像には、地域「東京」、季節「秋」、時刻「夕」、天気「曇」に適合するように表示画像処理が、非マッピング対象画像である「建物」部分とマッピング対象画像である「空」部分に対して施されている。
【0146】
《走行経路案内モード時における動作》
次に、走行経路案内モード時における撮影画像を利用した画像処理の動作について説明する。
【0147】
前提として、第1実施形態の場合と同様に、車両はドライブプランモードにおいて計画された移動経路に従って、目的地点へ向けて走行しているものとする。また、画像処理情報記憶領域125には、ドライブプランにおいて検索された移動経路上(目的地点P2を除く)の撮影画像は記憶されておらず、図15に示される目的地点P2の撮影画像のみが、当該撮影画像の撮影地点の情報、撮影日時の情報、撮影時天気の情報を登録した画像属性情報テーブルPTBとともに、記憶されているものとする。
【0148】
統括処理部211Bは、車両と目的地点P2との間の距離DIS1を算出する。そして、統括処理部211Bは、距離DIS1が第1所定距離以下となったか否かを判定し、この判定の結果が否定的であった場合には、この判定処理が繰り返される。
【0149】
一方、この判定の結果が肯定的になると、統括処理部211Bは、目的地点P2到達時の日時を算出するとともに、目的地点P2到達時における目的地点P2の天気情報を取得する。そして、統括処理部211Bは、目的地点P2の地点情報(指定地点)、及び、取得した日時情報(指定日時)と天気情報(指定天気)を、指定日時等情報INAとして画像解析部230へ向けて送る。また、統括処理部211Bは、画像形状変形部113Bへ向けて、切替指令SECを発行する。
【0150】
指定日時等情報INAを受けた画像解析部230では、判定部231において、画像属性情報テーブルPTBに登録されている撮影画像の中から、撮影地点と指定地点とが一致する撮影画像を検索する。次いで、判定部231は、指定日時と検索した撮影画像の撮影日時とが許容範囲内で一致するとともに、指定天気と検索した撮影画像の撮影時天気とが許容範囲内で一致するか否かを判定する。
【0151】
この判定の結果が肯定的であった場合には、画像選択部232が、撮影画像DB記憶領域126にアクセスして、指定地点と撮影地点とが一致する撮影画像データPIDを読み出す。そして、表示画像処理部233が、当該撮影画像データPIDを表示用画像データPPDとして、画像形状変形部113Bへ向けて送る。
【0152】
一方、判定部231における判定の結果が否定的であった場合には、画像選択部232が、部分画像DB記憶領域127にアクセスして、指定地点と撮影地点とが一致するマッピング対象画像データPMDと非マッピング対象画像データPNDを読み出す。そして、表示画像処理部233が、非マッピング対象画像データPNDに対しては、指定日時及び指定天気に対応した加工処理を行い、マッピング対象画像データPMDに対しては、指定地点、指定日時、指定天気に対応するテクスチャ処理を行う。そして、表示画像処理部233は、これらの処理画像データを合成し、合成結果である合成画像データSCDを表示用画像データPPDとして、画像形状変形部113Bへ向けて送る。
【0153】
画像形状変形部113Bは、統括処理部211Bからの切替指令SECに従い、3Dナビゲーション画像データMTDと表示用画像データPPDを基にして3D重畳画像データを作成し、当該画像データを、表示画像データIMDとして表示ユニット140へ向けて出力する。これにより、表示ユニット140の表示デバイスには、例えば、図17に示されるような画像が表示される。
【0154】
なお、上記の説明では、画像処理情報記憶領域125には、ドライブプランにおいて検索された移動経路上(目的地点P2を除く)の撮影画像は記憶されていないとしたが、画像処理情報記憶領域125内に、検索された移動経路上の通過地点P3の撮影画像が存在すれば、統括処理部211Bは、車両の走行中、常時、車両と通過地点P3との間の距離DIS2を算出する。
【0155】
そして、統括処理部211Bは、距離DIS2が第2所定距離以下となったか否かを判定し、この判定の結果が肯定的になると、通過地点P3通過時の日時を算出するとともに、通過地点P3通過時における通過地点P3の天気情報を取得する。そして、統括処理部211Bは、通過地点P3の地点情報(指定地点)、及び、取得した日時情報(指定日時)と天気情報(指定天気)を、指定日時等情報INAとして画像解析部230へ向けて送る。また、統括処理部211Bは、画像形状変形部113Bへ向けて、切替指令SECを発行する。
【0156】
画像解析部230と画像形状変形部113Bは、前述した目的地点P2の撮影画像に対するのと同様に処理を行う。この結果、通過地点P3の撮影画像に対して表示画像処理を施した表示用画像と3Dナビゲーション画像とを基にして作成された3D重畳画像が、表示ユニット140に表示される。
【0157】
また、この通過地点P3の撮影画像に対する処理動作においては、車両が当該通過地点P3を通過した際には、統括処理部211Bからの切替指令SECにより、表示ユニット140に表示される画像が、3D重畳画像から3Dナビゲーション画像に切替る。
【0158】
以上説明したように、本第2実施形態では、統括処理部211Bが、ドライブプランにおいて検索した移動経路上に、画像属性情報テーブルPTBに登録されている撮影地点が存在するか否かを調査する。そして、統括処理部211Bは、目的地点P2等が撮影地点として画像属性情報テーブルPTBに登録されている場合には、当該目的地点P2に到着する日時を予測するとともに、当該目的地点P2に到着する予測日時における天気情報を取得する。こうして得られた地点、日時、天気の情報(指定地点、指定日時、指定天気)は、指定日時等情報INAとして画像処理部112へ向けて送られる。
【0159】
画像処理部112では、判定部231が、画像属性情報テーブルPTBを参照し、撮影地点と指定地点とが一致する撮影画像を検索する。次いで、判定部231は、指定日時等情報INAに含まれる指定日時と撮影日時とが許容範囲内で一致するとともに、指定日時等情報INAに含まれる指定天気と撮影時天気とが許容範囲内で一致するか否かを判定する。
【0160】
この判定の結果が否定的であった場合には、画像選択部232が、部分画像DB記憶領域127にアクセスして、指定地点と撮影地点とが一致するマッピング対象画像データPMDと非マッピング対象画像データPNDを読み出す。そして、表示画像処理部233が、非マッピング対象画像データPNDに対しては、指定日時及び指定天気に対応した加工処理を行い、マッピング対象画像データPMDに対しては、指定地点、指定日時、指定天気に対応するテクスチャマッピング処理を行う。そして、表示画像処理部233は、これらの処理画像データを合成し、合成結果である合成画像データSCDを表示用画像データPPDとして、画像形状変形部113Bへ向けて送る。
【0161】
画像形状変形部113Bは、統括処理部211Bからの切替指令SECに従い、3Dナビゲーション画像データMTDと表示用画像データPPDを基にして3次元重畳画像データを作成し、当該画像データを、表示画像データIMDとして表示ユニット140へ向けて出力する。これにより、表示ユニット140には、目的地点P2の撮影画像に対して到達予想時の昼夜感、天候感、四季感を付加した画像を含む3次元の画像が表示される。このため、カメラ等で撮影した撮影画像から、リアリティ溢れる3次元の画像を利用者に提供することができる。
【0162】
また、本第2実施形態では、車両の走行経路案内時に、統括処理部211Bは、車両と目的地点P2との間の距離DIS1を算出する。そして、統括処理部211Bは、距離DIS1が第1所定距離以下となった場合に、上述した画像処理に関する制御を行い、この結果、表示ユニット140には、目的地点P2の撮影画像に対して到達時の昼夜感、天候感、四季感を付加した画像を含む3次元の画像が表示される。このため、撮影画像から、リアリティ溢れる3次元の画像を利用者に提供することができる。
【0163】
また、本第2実施形態では、1つの撮影地点に対して撮影画像データPIDが1個存在すれば、表示画像処理部233における画像処理により、異なる昼夜感、天候感、四季感の画像を生成することができる。このため、保存する撮影画像データPIDを減らすことができ、ハードディスク資源等を有効活用することができる。
【0164】
また、本第2実施形態では、カメラユニット190の車載カメラが車両の前方を撮影し、カメラ画像データCIDを取得する。そして、画像取得部220における処理により、撮影画像データPID等が記憶装置120Bに保存される。これらの画像は、前述した処理により表示ユニット140に表示されことがある。このため、利用者が好む目的地点や、分かりにくい目的地点、通過地点等を予め撮影しておくことで、ルートプラン時や走行経路案内時に当該画像データを有効活用することができる。
【0165】
したがって、本第2実施形態によれば、記憶資源の増加を抑制した簡易な構成で、カメラ等で撮影した撮影画像を利用して、リアリティ溢れる画像を表示することができる。
【0166】
[実施形態の変形]
本発明は、上記の実施形態に限定されるものではなく、様々な変形が可能である。
【0167】
例えば、上記の第1及び第2実施形態では、車載カメラは1個であり、車両の前方方向を撮影することとした。これに対して、車載カメラが撮影する方向は、いかなる方向であってもよいし、車載カメラの数は何個であってもよい。
【0168】
また、第1実施形態においては、前方カメラ、後方カメラ、あるいは全方位カメラを使用することにより、立体画像や360度パノラマビュー画像を表示ユニット140に表示させるものであってもよい。
【0169】
また、上記の第1及び第2実施形態では、撮影画像データPIDj(j=1〜N)は、カメラユニット190が撮影した画像データであるとしたが、撮影画像データPIDjは工場出荷時において予め記憶されているものや、利用者がデジタルカメラ等で撮影したものであってもよい。また、この撮影画像データPIDjは、インターネットなどのネットワークを介した配送の形態で取得したものであってもよい。
【0170】
また、上記の第1及び第2実施形態では、画像属性情報テーブルPTBには、各撮影画像データPIDjと対応付けて、撮影画像の撮影が行われた撮影地点の情報、撮影日時の情報、撮影時天気の情報が登録されているとした。これに対して、画像属性情報テーブルPTBには、上記の要素に加え、テクスチャデータと対応付けるための、地域、季節、時刻、天気を登録してもよい。
【0171】
また、上記の第1及び第2実施形態では、計時手段としてGPS受信ユニット170を採用したが、制御ユニット内にリアルタイムクロック(RTC:Real Time Clock)を備えるようにし、このRTCが計時手段をして機能してもよい。
【0172】
また、上記の第1及び第2実施形態では、車両に搭載されるナビゲーション装置に本発明を適用したが、携帯電話装置や家庭内で使用する映像装置、さらには、高速道路のサービスエリアや公共施設等に設置されている地域情報サービスに利用される映像装置等にも本発明を適用することができる。
【0173】
なお、上記の実施形態における制御ユニット110A,110Bの一部又は全部を中央処理装置(CPU:Central Processing Unit)、DSP(Digital Signal Processor)、読出専用メモリ(ROM:Read Only Memory)、ランダムアクセスメモリ(RAM:Random Access Memory)等を備えた演算手段としてのコンピュータとして構成し、予め用意されたプログラムを当該コンピュータで実行することにより、上記の実施形態における処理の一部又は全部を実行するようにしてもよい。このプログラムはハードディスク、CD−ROM、DVD等のコンピュータで読み取り可能な記録媒体に記録され、当該コンピュータによって記録媒体から読み出されて実行される。また、このプログラムは、CD−ROM、DVD等の可搬型記録媒体に記録された形態で取得されるようにしてもよいし、インターネットなどのネットワークを介した配送の形態で取得されるようにしてもよい。
【図面の簡単な説明】
【0174】
【図1】本発明の第1実施形態に係るナビゲーション装置の構成を概略的に示すブロック図である。
【図2】図1の画像処理情報記憶領域の構成を示す図である。
【図3】撮影画像の例(その1)である。
【図4】図1の制御ユニットの構成を示すブロック図である。
【図5】図4のナビゲーション処理部の構成を示すブロック図である。
【図6】図4の画像処理部の構成を示すブロック図である。
【図7】図6の画像取得部の構成を示すブロック図である。
【図8】図6の画像解析部の構成を示すブロック図である。
【図9】図8の表示画像処理部の構成を示すブロック図である。
【図10】図3の撮影画像に対して表示画像処理を行った表示用画像の例である。
【図11】表示デバイスに表示される重畳画像の例である。
【図12】本発明の第2実施形態に係るナビゲーション装置の構成を概略的に示すブロック図である。
【図13】図12の制御ユニットの構成を示すブロック図である。
【図14】図13のナビゲーション処理部の構成を示すブロック図である。
【図15】撮影画像の例(その2)である。
【図16】表示デバイスに表示される3次元ナビゲーション画像の例である。
【図17】表示デバイスに表示される3次元重畳画像の例である。
【符号の説明】
【0175】
100A,100B … ナビゲーション装置(画像処理装置)
113B … 画像形状変形部(画像形状変形手段)
120A … 記憶装置(撮影画像記憶手段、テクスチャ記憶手段)
120B … 記憶装置(撮影画像記憶手段、テクスチャ記憶手段、3次元
モデル情報記憶手段)
140 … 表示ユニット(表示手段)
150 … 操作入力ユニット(操作入力手段)
160 … 走行センサインターフェイス部(位置検出手段の一部)
170 … GPS受信ユニット(計時手段、位置検出手段の一部)
180 … 外部通信ユニット(天気情報取得手段)
190 … カメラユニット(撮影手段)
211A,211B … 統括処理部(表示制御手段、到達日時予測手段、目的地距離
算出手段、通過日時予測手段、通過地距離算出手段)
221 … 部分画像抽出部(抽出手段)
231 … 判定部(判定手段)
233 … 表示画像処理部(表示画像処理手段)
【特許請求の範囲】
【請求項1】
画像を表示する表示手段と;
撮影画像と、前記撮影画像の撮影が行われた撮影地点の情報、撮影日時の情報、撮影時天気の情報を含む撮影画像属性情報とを、対応付けて記憶する撮影画像記憶手段と;
前記撮影地点と、表示地点として指定された指定地点とが一致すると推定される場合に、表示に際して反映すべき日時として指定された指定日時と前記撮影日時とが許容範囲内で一致するとともに、表示に際して反映すべき天気として指定された指定天気と前記撮影時天気とが許容範囲内で一致するか否かを判定する判定手段と;
前記判定手段による判定の結果が否定的であった場合に、前記撮影画像に対して前記指定日時及び前記指定天気に対応した加工処理を行った画像を表示用画像として生成する表示画像処理手段と;
前記表示用画像を反映した画像の前記表示手段への表示制御を行う表示制御手段と;
を備えることを特徴とする画像処理装置。
【請求項2】
前記撮影画像から、テクスチャマッピング処理を行う可能性のあるマッピング対象画像と、テクスチャマッピング処理を行わない非マッピング対象画像とを抽出する抽出手段と;
前記マッピング対象画像に対して、テクスチャマッピング処理を行うときに考慮すべき地域、季節、時刻、天気ごとに分類されたテクスチャを記憶するテクスチャ記憶手段と;を更に備え、
前記表示画像処理手段は、前記判定手段による判定の結果が否定的であった場合に、前記非マッピング対象画像に対して前記指定日時及び前記指定天気に対応した加工処理を行った加工画像を生成するとともに、前記マッピング対象画像に対して前記指定日時、前記指定天気及び前記指定地点が属する地域に対応するテクスチャマッピング処理を行ったテクスチャ処理画像を生成した後に、前記加工画像と前記テクスチャ処理画像とを組み合せた画像を表示用画像として生成する、
ことを特徴とする請求項1に記載の画像処理装置。
【請求項3】
前記表示画像処理手段は、前記判定手段による判定の結果が肯定的であった場合には、前記撮影画像を前記表示用画像として生成する、ことを特徴とする請求項1又は2に記載の画像処理装置。
【請求項4】
前記撮影地点の情報は、前記撮影画像を撮影した位置である、ことを特徴とする請求項1〜3のいずれか一項に記載の画像処理装置。
【請求項5】
前記撮影地点の情報は、前記撮影画像に撮影されている被写体の固有名称情報である、ことを特徴とする請求項1〜3のいずれか一項に記載の画像処理装置。
【請求項6】
日時を計時する計時手段を更に備え、
前記計時手段による計時結果が前記指定日時として前記表示画像処理手段に通知される、
ことを特徴とする請求項1〜5のいずれか一項に記載の画像処理装置。
【請求項7】
前記指定地点の前記指定日時における天気情報を取得する天気情報取得手段を更に備え、
前記天気情報取得手段により取得された前記指定地点の前記指定日時における天気情報が、前記指定天気として前記表示画像処理手段に通知される、
ことを特徴とする請求項1〜6のいずれか一項に記載の画像処理装置。
【請求項8】
操作入力が行われる操作入力手段を更に備え、
前記操作入力手段への入力より指定された地点、日時及び天気の少なくとも1つに対応する入力内容が、前記指定地点、前記指定日時及び前記指定天気の少なくとも1つとして前記表示画像処理手段に通知される、
ことを特徴とする請求項1〜7のいずれか一項に記載の画像処理装置。
【請求項9】
前記指定地点の画像の3次元モデル情報を記憶する3次元モデル情報記憶手段と;
前記3次元モデル情報に基づいて生成された画像における前記撮影画像に対応する領域に、前記対応する領域の形状に適合させる変形を、前記表示用画像に対して施して、前記領域に貼り付ける画像形状変形手段と;
を更に備えることを特徴とする請求項1〜8のいずれか一項に記載の画像処理装置。
【請求項10】
移動体に搭載される、ことを特徴とする請求項1〜9のいずれか一項に記載の画像処理装置。
【請求項11】
周辺画像を取得する撮影手段を更に備え、
前記撮影手段による撮影結果が、前記撮影画像として前記撮影画像記憶手段に記憶される、
ことを特徴とする請求項10に記載の画像処理装置。
【請求項12】
前記移動体の現在位置を検出する位置検出手段を更に備え、
前記位置検出手段による検出結果が、前記指定地点として前記表示画像処理手段に通知される、ことを特徴とする請求項10又は11に記載の画像処理装置。
【請求項13】
前記移動体の目的地点の到達日時を予測する到着日時予測手段を更に備え、
前記到着日時予測手段による予測結果が、前記指定日時として前記表示画像処理手段に通知される、ことを特徴とする請求項12に記載の画像処理装置。
【請求項14】
前記移動体と前記目的地点との間の距離を算出する目的地距離算出手段を更に備え、
前記表示制御手段は、前記目的地距離算出手段による算出結果が第1所定距離以下となった場合に、前記表示用画像を反映した画像を前記表示手段に表示させる、
ことを特徴とする請求項13に記載の画像処理装置。
【請求項15】
前記移動体の目的地点までの移動経路上における通過地点の通過日時を予測する通過日時予測手段を更に備え、
前記通過日時予測手段による予測結果が、前記指定日時として前記表示画像処理手段に通知される、ことを特徴とする請求項12〜14のいずれか一項に記載の画像処理装置。
【請求項16】
前記移動体の今後の移動経路上に前記通過地点が存在する場合に、前記移動体と前記通過地点との間の距離を算出する通過地距離算出手段を更に備え、
前記表示制御手段は、前記通過地距離算出手段による算出結果が第2所定距離以下となった場合に、前記表示用画像を反映した画像を前記表示手段に表示させる、
ことを特徴とする請求項15に記載の画像処理装置。
【請求項17】
撮影画像と、前記撮影画像の撮影が行われた撮影地点の情報、撮影日時の情報、撮影時天気の情報を含む撮影画像属性情報とを、対応付けて記憶する撮影情報記憶工程と;
前記撮影地点と、表示地点として指定された指定地点とが一致すると推定される場合に、表示に際して反映すべき日時として指定された指定日時と前記撮影日時とが許容範囲内で一致するとともに、表示に際して反映すべき天気として指定された指定天気と前記撮影時天気とが許容範囲内で一致するか否かを判定する判定工程と;
前記判定工程における判定の結果が否定的であった場合に、前記撮影画像に対して前記指定日時及び前記指定天気に対応した加工処理を行った画像を表示用画像として生成する表示画像処理工程と;
前記表示用画像を反映した画像の表示制御を行う表示制御工程と;
を備えることを特徴とする画像処理方法。
【請求項18】
請求項17に記載の画像処理方法を演算手段に実行させる、ことを特徴とする画像処理プログラム。
【請求項19】
請求項18に記載の画像処理プログラムが、演算手段により読み取り可能に記録されている、ことを特徴とする記録媒体。
【請求項1】
画像を表示する表示手段と;
撮影画像と、前記撮影画像の撮影が行われた撮影地点の情報、撮影日時の情報、撮影時天気の情報を含む撮影画像属性情報とを、対応付けて記憶する撮影画像記憶手段と;
前記撮影地点と、表示地点として指定された指定地点とが一致すると推定される場合に、表示に際して反映すべき日時として指定された指定日時と前記撮影日時とが許容範囲内で一致するとともに、表示に際して反映すべき天気として指定された指定天気と前記撮影時天気とが許容範囲内で一致するか否かを判定する判定手段と;
前記判定手段による判定の結果が否定的であった場合に、前記撮影画像に対して前記指定日時及び前記指定天気に対応した加工処理を行った画像を表示用画像として生成する表示画像処理手段と;
前記表示用画像を反映した画像の前記表示手段への表示制御を行う表示制御手段と;
を備えることを特徴とする画像処理装置。
【請求項2】
前記撮影画像から、テクスチャマッピング処理を行う可能性のあるマッピング対象画像と、テクスチャマッピング処理を行わない非マッピング対象画像とを抽出する抽出手段と;
前記マッピング対象画像に対して、テクスチャマッピング処理を行うときに考慮すべき地域、季節、時刻、天気ごとに分類されたテクスチャを記憶するテクスチャ記憶手段と;を更に備え、
前記表示画像処理手段は、前記判定手段による判定の結果が否定的であった場合に、前記非マッピング対象画像に対して前記指定日時及び前記指定天気に対応した加工処理を行った加工画像を生成するとともに、前記マッピング対象画像に対して前記指定日時、前記指定天気及び前記指定地点が属する地域に対応するテクスチャマッピング処理を行ったテクスチャ処理画像を生成した後に、前記加工画像と前記テクスチャ処理画像とを組み合せた画像を表示用画像として生成する、
ことを特徴とする請求項1に記載の画像処理装置。
【請求項3】
前記表示画像処理手段は、前記判定手段による判定の結果が肯定的であった場合には、前記撮影画像を前記表示用画像として生成する、ことを特徴とする請求項1又は2に記載の画像処理装置。
【請求項4】
前記撮影地点の情報は、前記撮影画像を撮影した位置である、ことを特徴とする請求項1〜3のいずれか一項に記載の画像処理装置。
【請求項5】
前記撮影地点の情報は、前記撮影画像に撮影されている被写体の固有名称情報である、ことを特徴とする請求項1〜3のいずれか一項に記載の画像処理装置。
【請求項6】
日時を計時する計時手段を更に備え、
前記計時手段による計時結果が前記指定日時として前記表示画像処理手段に通知される、
ことを特徴とする請求項1〜5のいずれか一項に記載の画像処理装置。
【請求項7】
前記指定地点の前記指定日時における天気情報を取得する天気情報取得手段を更に備え、
前記天気情報取得手段により取得された前記指定地点の前記指定日時における天気情報が、前記指定天気として前記表示画像処理手段に通知される、
ことを特徴とする請求項1〜6のいずれか一項に記載の画像処理装置。
【請求項8】
操作入力が行われる操作入力手段を更に備え、
前記操作入力手段への入力より指定された地点、日時及び天気の少なくとも1つに対応する入力内容が、前記指定地点、前記指定日時及び前記指定天気の少なくとも1つとして前記表示画像処理手段に通知される、
ことを特徴とする請求項1〜7のいずれか一項に記載の画像処理装置。
【請求項9】
前記指定地点の画像の3次元モデル情報を記憶する3次元モデル情報記憶手段と;
前記3次元モデル情報に基づいて生成された画像における前記撮影画像に対応する領域に、前記対応する領域の形状に適合させる変形を、前記表示用画像に対して施して、前記領域に貼り付ける画像形状変形手段と;
を更に備えることを特徴とする請求項1〜8のいずれか一項に記載の画像処理装置。
【請求項10】
移動体に搭載される、ことを特徴とする請求項1〜9のいずれか一項に記載の画像処理装置。
【請求項11】
周辺画像を取得する撮影手段を更に備え、
前記撮影手段による撮影結果が、前記撮影画像として前記撮影画像記憶手段に記憶される、
ことを特徴とする請求項10に記載の画像処理装置。
【請求項12】
前記移動体の現在位置を検出する位置検出手段を更に備え、
前記位置検出手段による検出結果が、前記指定地点として前記表示画像処理手段に通知される、ことを特徴とする請求項10又は11に記載の画像処理装置。
【請求項13】
前記移動体の目的地点の到達日時を予測する到着日時予測手段を更に備え、
前記到着日時予測手段による予測結果が、前記指定日時として前記表示画像処理手段に通知される、ことを特徴とする請求項12に記載の画像処理装置。
【請求項14】
前記移動体と前記目的地点との間の距離を算出する目的地距離算出手段を更に備え、
前記表示制御手段は、前記目的地距離算出手段による算出結果が第1所定距離以下となった場合に、前記表示用画像を反映した画像を前記表示手段に表示させる、
ことを特徴とする請求項13に記載の画像処理装置。
【請求項15】
前記移動体の目的地点までの移動経路上における通過地点の通過日時を予測する通過日時予測手段を更に備え、
前記通過日時予測手段による予測結果が、前記指定日時として前記表示画像処理手段に通知される、ことを特徴とする請求項12〜14のいずれか一項に記載の画像処理装置。
【請求項16】
前記移動体の今後の移動経路上に前記通過地点が存在する場合に、前記移動体と前記通過地点との間の距離を算出する通過地距離算出手段を更に備え、
前記表示制御手段は、前記通過地距離算出手段による算出結果が第2所定距離以下となった場合に、前記表示用画像を反映した画像を前記表示手段に表示させる、
ことを特徴とする請求項15に記載の画像処理装置。
【請求項17】
撮影画像と、前記撮影画像の撮影が行われた撮影地点の情報、撮影日時の情報、撮影時天気の情報を含む撮影画像属性情報とを、対応付けて記憶する撮影情報記憶工程と;
前記撮影地点と、表示地点として指定された指定地点とが一致すると推定される場合に、表示に際して反映すべき日時として指定された指定日時と前記撮影日時とが許容範囲内で一致するとともに、表示に際して反映すべき天気として指定された指定天気と前記撮影時天気とが許容範囲内で一致するか否かを判定する判定工程と;
前記判定工程における判定の結果が否定的であった場合に、前記撮影画像に対して前記指定日時及び前記指定天気に対応した加工処理を行った画像を表示用画像として生成する表示画像処理工程と;
前記表示用画像を反映した画像の表示制御を行う表示制御工程と;
を備えることを特徴とする画像処理方法。
【請求項18】
請求項17に記載の画像処理方法を演算手段に実行させる、ことを特徴とする画像処理プログラム。
【請求項19】
請求項18に記載の画像処理プログラムが、演算手段により読み取り可能に記録されている、ことを特徴とする記録媒体。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図12】
【図13】
【図14】
【図16】
【図10】
【図11】
【図15】
【図17】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図12】
【図13】
【図14】
【図16】
【図10】
【図11】
【図15】
【図17】
【公開番号】特開2009−162697(P2009−162697A)
【公開日】平成21年7月23日(2009.7.23)
【国際特許分類】
【出願番号】特願2008−2599(P2008−2599)
【出願日】平成20年1月9日(2008.1.9)
【出願人】(000005016)パイオニア株式会社 (3,620)
【Fターム(参考)】
【公開日】平成21年7月23日(2009.7.23)
【国際特許分類】
【出願日】平成20年1月9日(2008.1.9)
【出願人】(000005016)パイオニア株式会社 (3,620)
【Fターム(参考)】
[ Back to top ]