画像表示装置およびナビゲーション装置
【課題】簡易な構成で、撮像した画像から移動体の進行方向の画像を抽出して表示することのできる画像表示装置およびナビゲーション装置を提供する。
【解決手段】移動体に備えられ、前記移動体の進行方向の画像を含む画像を撮像する撮像手段と、撮像された前記画像内の前記進行方向をあらわす基準位置を特定する基準位置特定手段と、撮像された前記画像から、前記基準位置を基準とする所定範囲の画像を抽出する画像抽出手段と、抽出された前記画像を表示する画像表示手段と、を備えることを特徴とする。
【解決手段】移動体に備えられ、前記移動体の進行方向の画像を含む画像を撮像する撮像手段と、撮像された前記画像内の前記進行方向をあらわす基準位置を特定する基準位置特定手段と、撮像された前記画像から、前記基準位置を基準とする所定範囲の画像を抽出する画像抽出手段と、抽出された前記画像を表示する画像表示手段と、を備えることを特徴とする。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像表示装置およびナビゲーション装置に関し、特に、移動体に備えられた撮像手段により移動体の進行方向の画像を含む画像を撮像し、前記画像から進行方向の所定範囲の画像を抽出して表示する画像表示装置およびナビゲーション装置に関する。
【背景技術】
【０００２】
移動体、例えば、車両に撮像手段を搭載し、その撮像手段を用いて車外の画像を撮像し、その画像を処理して車内のモニタに表示させ、車両の走行を支援する装置が種々提案されている。例えば、車両の前方に配置した撮像手段により前方の赤外線画像を撮像してモニタに表示させ、夜間走行の際にユーザが視認しづらい歩行者の位置等を確認可能とした装置、車両の後方に配置した撮像手段により撮像した後方画像をモニタに表示させ、バックする際の後方確認を支援する装置、車両の左右のフロントフェンダに配置した撮像手段により左右の画像を撮像し、その画像をモニタに表示させ、交差点での左右確認を支援する装置等が実用化されている。
【０００３】
一方、車両の走行を支援するものとして、ＧＰＳ（Global Positioning System）に代表される全世界航法衛星システム（ＧＮＳＳ：Global Navigation Satellite Systems）を利用して車両の現在位置を検出し、地図情報とともにモニタに表示させ、また、現在位置または出発地から目的地までの経路を探索してモニタに表示させ、ユーザを目的地まで案内するナビゲーション装置が知られている。
【０００４】
そこで、上述した各支援装置に用いられる撮像手段とナビゲーション装置とを連結し、撮像手段により撮像した進行方向の画像に対して、ナビゲーション装置により探索した経路を重ね合わせてモニタに表示させるようにすれば、実際の画像に基づいて、より分かり易い経路案内を行うことが可能となる。
【０００５】
ところで、ナビゲーション装置には、いわゆる「ポータブルナビゲーション装置」と称される、移動体に対して着脱自在に構成された可搬型の装置がある。このようなポータブルナビゲーション装置の場合、予め車両に搭載されている撮像手段から画像情報を取得するには、ポータブルナビゲーション装置と撮像手段との間で信号処理が必要となるため、配線や信号の送受信手段等の構成が複雑化する欠点がある。そこで、ポータブルナビゲーション装置に撮像手段を搭載して一体化すれば、上記の問題を解消することができる。
【０００６】
しかしながら、ポータブルナビゲーション装置は、例えば、モニタをドライバの方に向ける等、車両に対して任意の角度で取り付けることがあるため、ポータブルナビゲーション装置に撮像手段を一体化させた場合、撮像範囲が左右または上下にずれてしまい、進行方向の画像を正しく撮像できないおそれがある。
【０００７】
この場合、ポータブルナビゲーション装置に対して撮像手段を可動に構成したり、モニタの向きに依存しないように、撮像手段をポータブルナビゲーション装置から分離して構成することも可能であるが、構成が複雑となり、費用が大幅に増加する不具合がある。また、撮像手段に広角レンズを装着し、ポータブルナビゲーション装置の取付位置に係わらず、前方の広い範囲の画像を撮像するように構成することも考えられる。しかしながら、画角を広げると、必要な前方画像だけでなく、例えば、車両のダッシュボードやサイドミラー等の不要部分の画像が多く含まれてしまうため、進行方向の画像を表示して経路案内を支援する、という本来の目的には適さないものになってしまう。
【０００８】
これらの課題を解決するために利用可能な技術として、下記特許文献１（特開２００３−１７９９１５号公報）に開示された「車両周辺視認装置」がある。この装置は、車両の左右のフロントフェンダに配置した広角レンズを有する撮像手段により左右方向の画像を撮像し、各画像からセンタラインや路側に対応する複数の直線を抽出して、これらの直線の交点である消失点を求め、消失点を中心とする所定範囲の領域を画像から抽出して拡大表示することにより、車両の走向路と交差する左右の道路状況を把握可能としたものである。
【０００９】
また、前記課題を解決するために利用可能な他の技術として、下記特許文献２（特開２００８−２５７３７８号公報）に開示された「物体検出装置」がある。この装置は、車両に搭載した撮像手段により車両周辺の時系列画像を撮像し、各画像から静止物体の移動ベクトルを求め、静止物体の移動ベクトルからその発生点である消失点を算出し、消失点に基づいて自車両以外の移動物体である障害物が存在する可能性のある注意領域を設定し、注意領域内の移動ベクトルに基づいて障害物の有無を検出するようにしたものである。
【先行技術文献】
【特許文献】
【００１０】
【特許文献１】特開２００３−１７９９１５号公報（段落［００１２］〜［００１４］、［００２２］〜［００２５］）
【特許文献２】特開２００８−２５７３７８号公報（段落［００２３］、［００３８］、［００４２］、［００６１］）
【発明の概要】
【発明が解決しようとする課題】
【００１１】
しかしながら、上記特許文献１は、交差点における左右の道路の画像を抽出するものであり、車両の進行方向の画像を抽出するものではない。また、画像内に直線を構成するセンタラインや路側が存在していないと、消失点を求めることができない。
【００１２】
一方、上記特許文献２では、画像内にセンタライン等が存在していない場合であっても、進行方向の消失点を求めることができる。しかしながら、特許文献２は、消失点を基準に注意領域を設定し、注意領域における障害物の有無を検出するものであって、進行方向の画像を撮像された画像から切り出して表示するようにしたものではない。特許文献２の場合、表示された画像内にダッシュボードや車両のサイドミラー等の余分なものが表示されるため、これらの画像を用いて分かり易い経路案内を行うことは困難である。
【００１３】
本発明は、上記の問題点を解消することを課題とするものであり、移動体に備えられた撮像手段の方向を調整することがなく、簡易な構成で、撮像した画像から移動体の進行方向の画像を含む画像を抽出して表示することのできる画像表示装置を提供することを目的とする。
【００１４】
また、本発明は、撮像した画像から移動体の進行方向の画像を抽出して表示し、分かり易い経路案内を行うことのできるナビゲーション装置を提供することを目的とするものである。
【課題を解決するための手段】
【００１５】
前記課題を解決するために、本願の請求項１にかかる発明は、移動体に備えられ、前記移動体の進行方向の画像を含む画像を撮像する撮像手段と、撮像された前記画像内の前記進行方向をあらわす基準位置を特定する基準位置特定手段と、撮像された前記画像から、前記基準位置を基準とする所定範囲の画像を抽出する画像抽出手段と、抽出された前記画像を表示する画像表示手段と、を備えることを特徴とする。
【００１６】
また、本願の請求項２にかかる発明は、請求項１記載の画像表示装置において、前記撮像手段は、時系列の画像を撮像し、前記基準位置特定手段は、撮像された前記時系列の画像に基づいて移動ベクトルを算出し、前記移動ベクトルから前記基準位置を特定することを特徴とする。
【００１７】
また、本願の請求項３にかかる発明は、請求項１記載の画像表示装置において、前記移動体に対する前記画像表示装置の取付角度を検出する取付角度検出手段を備え、前記基準位置特定手段は、検出された前記取付角度から前記基準位置を特定することを特徴とする。
【００１８】
また、本願の請求項４にかかる発明は、請求項１〜３のいずれか１項に記載の画像表示装置において、前記撮像手段は、前記画像表示装置と一体に構成され、前記画像表示装置は、前記移動体に対して着脱自在に設置されることを特徴とする。
【００１９】
また、本願の請求項５にかかる発明は、請求項１〜４のいずれか１項に記載の画像表示装置において、前記画像表示手段は、抽出された前記画像を拡大して表示することを特徴とする。
【００２０】
本願の請求項６にかかる発明は、地図情報に基づき、目的地までの経路を探索する経路探索手段と、移動体に備えられ、前記移動体の進行方向の画像を含む画像を撮像する撮像手段と、撮像された前記画像内の前記進行方向をあらわす基準位置を特定する基準位置特定手段と、撮像された前記画像から、前記基準位置を基準とする所定範囲の画像を抽出する画像抽出手段と、抽出された前記画像を、前記経路とともに表示する画像表示手段と、を備えることを特徴とする。
【００２１】
また、本願の請求項７にかかる発明は、請求項６に記載の画像表示装置を用いたナビゲーション装置において、前記撮像手段は、前記ナビゲーション装置と一体に構成され、前記ナビゲーション装置は、前記移動体に対して着脱自在に設置されることを特徴とする。
【発明の効果】
【００２２】
請求項１にかかる発明においては、移動体に備えられ、前記移動体の進行方向の画像を含む画像を撮像する撮像手段と、撮像された前記画像内の前記進行方向をあらわす基準位置を特定する基準位置特定手段と、撮像された前記画像から、前記基準位置を基準とする所定範囲の画像を抽出する画像抽出手段と、抽出された前記画像を表示する画像表示手段と、を備える。
【００２３】
このように構成することにより、移動体に設置された撮像手段の方向を調整する必要がなく、撮像された画像から移動体の進行方向の画像を抽出して表示することができる。撮像手段の位置の調整機構が不要であるため、簡易な構成で廉価な画像表示装置を提供することができる。
【００２４】
請求項２にかかる発明においては、請求項１にかかる発明において、撮像手段により撮像した時系列の画像から移動ベクトルを算出し、この移動ベクトルから基準位置を特定することができる。
【００２５】
請求項３にかかる発明においては、請求項１にかかる発明において、移動体に対する画像表示装置の取付角度を取付角度検出手段により検出して基準位置を特定することができる。
【００２６】
請求項４にかかる発明においては、請求項１〜３のいずれか１項に記載の発明において、画像表示装置と一体に構成される撮像手段を備える画像表示装置は、移動体に対して着脱自在とすることができる。
【００２７】
請求項５にかかる発明においては、請求項１〜４のいずれか１項に記載の発明において、抽出された進行方向の画像は、拡大して画像表示手段に表示させることができる。
【００２８】
請求項６にかかる発明においては、地図情報に基づき、目的地までの経路を探索する経路探索手段と、移動体に備えられ、前記移動体の進行方向の画像を含む画像を撮像する撮像手段と、撮像された前記画像内の前記進行方向をあらわす基準位置を特定する基準位置特定手段と、撮像された前記画像から、前記基準位置を基準とする所定範囲の画像を抽出する画像抽出手段と、抽出された前記画像を、前記経路とともに表示する画像表示手段と、を備える。
【００２９】
このように構成することにより、移動体に設置された撮像手段の方向を調整する必要がなく、撮像された画像から移動体の進行方向の画像を抽出し、探索された経路を重ね合わせた状態で画像表示手段に表示し、分かり易い経路案内を行うことができる。従って、ユーザは、表示された進行方向の画像と経路とに基づき、容易に目的地に向かって移動することができる。
【００３０】
請求項７にかかる発明においては、請求項６に記載の発明において、ナビゲーション装置と撮像手段は一体に構成され、ナビゲーション装置は移動体に対して着脱自在とすることができる。
【図面の簡単な説明】
【００３１】
【図１】本発明の実施例１にかかるナビゲーション装置が搭載された移動体の説明図である。
【図２】本発明の実施例１にかかるナビゲーション装置のブロック図である。
【図３】図２に示すナビゲーション装置の処理フローチャートである。
【図４】図２に示すナビゲーション装置が備える撮像手段により撮像された移動体の進行方向の画像を含む撮像画像の説明図である。
【図５】図４に示す画像から抽出された移動体の進行方向の画像を含む所定範囲の画像の説明図である。
【図６】本発明の実施例２にかかるナビゲーション装置のブロック図である。
【発明を実施するための形態】
【００３２】
以下、本発明の具体例を実施例及び図面を用いて詳細に説明する。ただし、以下に示す実施例は、本発明の技術思想を具体化するための画像表示装置およびそれを用いたナビゲーション装置を例示して説明するものであって、本発明をこの画像表示装置およびそれを用いたナビゲーション装置に特定することを意図するものではなく特許請求の範囲に示した技術思想を逸脱することなくその他の画像表示装置およびそれを用いたナビゲーション装置にも等しく適用し得るものである。
【実施例１】
【００３３】
図１は、本発明の実施例１にかかるナビゲーション装置が搭載された移動体である車両２の説明図である。
【００３４】
進行方向４に向かって走行する車両２には、車両２の現在位置および目的地までの経路を案内するとともに、車両２の進行方向４の方向の画像を表示するためのナビゲーション装置１０が設置される。
【００３５】
ナビゲーション装置１０は、車両２に対して着脱自在に構成される、いわゆるポータブルナビゲーション装置であり、進行方向４の方向の画像を含む画像を撮像する後述するＣＣＤカメラ等の撮像手段を備える。撮像手段による進行方向４の方向を含む画像の撮像方向６は、車両２に対するナビゲーション装置１０の設置状態に応じた角度θだけ進行方向４からずれているものとする。なお、進行方向４の方向の画像とは、後述する基準位置を基準とした所定範囲の画像である。また、以下の説明では、進行方向４の方向の画像を含む画像を、進行方向４を含む画像と表現する。
【００３６】
図２は、実施例１のナビゲーション装置１０のブロック図である。ナビゲーション装置１０は、制御手段１２、現在位置検出手段２０、経路探索手段２２、地図情報記憶手段２４、撮像手段２６、基準位置特定手段２８、画像抽出手段３０、入力手段３２および出力手段３４を備えて構成される。
【００３７】
制御手段１２は、ＣＰＵ１４、ＲＯＭ１６、ＲＡＭ１８を備えて構成されており、ＲＯＭ１６および／またはＲＡＭ１８に記憶された制御プログラムをＣＰＵ１４が実行することにより、下記に説明する各部の動作を制御・統括する。
【００３８】
現在位置検出手段２０は、地球上空を周回している複数のＧＰＳ衛星からの信号を所定の時間間隔で受信し、この信号に含まれている時刻情報および衛星位置情報に基づいて車両２の現在位置を算出する。また、現在位置検出手段２０は、車両２に搭載されている速度センサ、加速度センサ、ジャイロスコープ等の自律航法センサにより検出した速度情報、加速度情報、角速度情報等に従い、車両２の現在位置を算出するものであってもよい。
【００３９】
自律航法センサを備えることで、ＧＰＳ衛星信号を受信できないトンネルや地下街、地下駐車場、建物内の駐車場、または、高層ビル街等、ＧＰＳ衛星信号の反射によるマルチパスの影響を受ける場所でも、ジャイロスコープや加速度センサからの出力によりナビゲーション装置１０の現在位置を算出することができる。なお、これらの自律航法センサは、現在位置検出手段２０がＧＰＳ衛星から受信した信号に基づいて算出した現在位置を補正するためにも利用可能である。
【００４０】
経路探索手段２２は、後述する入力手段３２を用いてユーザが入力した経路探索条件に従い、後述する地図情報記憶手段２４に記憶されている地図情報を参照して最適な経路（案内経路）を探索するものである。経路探索手段２２は、出発地または現在位置に対応する道路のノードから目的地に対応するノードに至るまでのリンクをダイクストラ法等の手法によって探索し、リンク長（リンクコスト）や所要時間を累積し、総リンク長（走行距離）または総所要時間が最短となる経路を案内経路として探索する。
【００４１】
地図情報記憶手段２４は、道路データ、建物データ、背景データ、テキストデータから構成される地図情報を保持する。道路データは、道路をその屈曲点、分岐点等の結節点をノードとするノードデータと、それぞれのノード間を結ぶ経路をリンクとしたリンクデータとから構成される。ノードデータは、ノード番号、ノードの位置座標（緯度・経度）、交差点情報や交差点名称を示す情報等のノード属性、さらに接続リンク本数、接続リンク番号のデータを含んで構成される。また、リンクデータは、リンクの始点および終点となるノード番号、高速道路や一般道や街路等を区別するための道路種別、それぞれの道路の本線や連結路、分岐路を区別するための道路種別、距離および／または所要時間、国道○号線のような道路名称、進行方向のデータを含んで構成される。リンクデータには、上記に加えて、リンク属性として橋、トンネル、踏切、料金所等のデータが付与される。
【００４２】
建物データは、建物の少なくとも３点からなる位置座標（緯度・経度）、駅、ビル、民家等の建物の種別、表示色のデータを含んで構成される。また背景データは、海岸線、湖沼、河川形状、山林等の背景画像データとなる少なくとも３点からなる位置座標（緯度・経度）、表示色のデータを含んで構成される。テキストデータは、それぞれの地名や河川名等の文字（名称）、およびその座標（緯度・経度）のデータを含んで構成される。
【００４３】
なお、ナビゲーション装置１０は、地図情報をナビゲーション装置１０に内蔵したスタンドアロン型のものとしているが、本発明はこれに限定されることはない。例えば、ナビゲーション装置１０に通信手段（図示せず）を設け、ナビゲーション装置１０の外部の情報提供サーバ（図示せず）に接続して通信を行い、情報提供サーバに備えられた地図データベースから案内経路に関連付けられた地図情報を取得するようにしてもよい。
【００４４】
その場合、ナビゲーション装置１０は出発地または現在位置と目的地とを指定し、これを経路探索条件として情報提供サーバに送信し、経路探索を依頼する。情報提供サーバは、経路探索手段を備え、ナビゲーション装置１０から受信した出発地または現在位置と目的地とを経路探索条件として経路探索を行い、探索結果と探索結果に関連付けられた地図情報をナビゲーション装置１０へ送信する。
【００４５】
撮像手段２６は、車両２の進行方向４の画像を撮像するものであり、ＣＣＤカメラ等により構成することができる。撮像手段２６は、車両２に対して着脱自在であるナビゲーション装置１０に一体構成される（固定される）ものであり、進行方向４の画像を含む広範囲の画像を撮像するため、広角レンズを備える。また、広角レンズを備える代わりに、複数台の撮像手段２６をナビゲーション装置１０に配置し、撮像した複数の画像を合成することにより、広範囲の画像を生成するように構成してもよい。
【００４６】
広角レンズ、あるいは、複数台の撮像手段２６を用いることで、ナビゲーション装置１０に一体構成された撮像手段２６の撮像方向６が車両２の進行方向４と異なる方向であっても（図１参照）、進行方向４を含む画像を撮像することができる。
【００４７】
基準位置特定手段２８は、撮像手段２６が撮像した進行方向４を含む時系列画像から、静止物体の複数の移動ベクトル（オプティカルフロー）を算出し、移動ベクトルの延長上の交点である消失点を求め、この消失点を進行方向４をあらわす基準位置として特定するものである。なお、基準位置は、消失点から予め設定した距離だけ離間した点であってもよい。
【００４８】
画像抽出手段３０は、基準位置特定手段２８で特定された基準位置を基準として、撮像手段２６が撮像した画像の上下、左右の所定範囲の画像を抽出するものである。
【００４９】
入力手段３２は、経路探索を行うために、ユーザが出発地、目的地等の経路探索条件をナビゲーション装置１０に入力するためのキーやタッチパネルから構成される。また、入力手段３２は、後述する出力手段に表示させる画像を選択指示する手段とすることもできる。なお、出力手段３４に選択的に表示させる画像としては、例えば、地図情報記憶手段２４から読み込んだ地図情報に基づく地図画像、経路探索手段２２により探索した案内経路、撮像手段２６が撮像した車両２の進行方向４の撮像画像（動画、静止画を含む。）等を挙げることができる。
【００５０】
出力手段３４（画像表示手段）は、車両２の現在位置、地図画像、案内経路、撮像手段２６による撮像画像等を表示する液晶表示パネルと、ユーザに対して音声で必要な情報を提供するスピーカとから構成される。なお、出力手段３４は、撮像手段２６と一体となってナビゲーション装置１０に搭載されており、車両２にナビゲーション装置１０を設置した際の出力手段３４（液晶表示パネル）の向きと、撮像手段２６の撮像方向とは、相対的な関係、例えば、１８０度異なる向きにある。なお、これに限ることはなく、例えば、出力手段３４（液晶表示パネル）の向きに対して９０度の方向が撮像方向であってもよい。
【００５１】
次に、以上のように構成されるナビゲーション装置１０の処理動作につき、図３に示すフローチャートに従って説明する。
【００５２】
まず、準備段階として、車両２の所定位置にナビゲーション装置１０を設置する。この場合、ナビゲーション装置１０は、ユーザであるドライバが出力手段３４の画像を視認し易い方向となるように、ある程度自由に設置することができる。従って、出力手段３４と一体に構成される撮像手段２６による撮像方向６は、図１に示すように、出力手段３４の向きに応じて、車両２の進行方向４に対して角度θだけ異なる方向となる場合がある。
【００５３】
ナビゲーション装置１０を車両２に設置した後、ユーザは、ナビゲーション装置１０の入力手段３２を用いて、案内経路を探索するための探索条件、例えば、出発地、目的地、経由地等を入力する（ステップＳ１０１）。
【００５４】
探索条件が入力されると、経路探索手段２２は、地図情報記憶手段２４に記憶されている地図情報を参照して、出発地から目的地までの最適な経路を探索する（ステップＳ１０２）。最適な経路は、出発地に対応する道路のノードから目的地に対応する道路のノードに至るまでのリンクをダイクストラ法等の手法によって探索し、時間、距離等のリンクコストの累積値が最小となる案内経路として探索することができる。
【００５５】
探索された案内経路は、制御手段１２により地図情報記憶手段２４から読み出した地図情報に基づく地図画像とともに、ナビゲーション装置１０の液晶表示パネル等の出力手段３４に表示される（ステップＳ１０３）。また、現在位置検出手段２０は、ＧＰＳ衛星から時刻情報および衛星位置情報を含む信号を受信し、これらの情報に基づいて車両２の現在位置を算出し、制御手段１２により地図画像および案内経路とともに出力手段３４に表示される。ユーザは、出力手段３４に表示された地図画像、現在位置および案内経路に従い、所望の目的地までの走行を開始する（ステップＳ１０４）。
【００５６】
一方、車両２の走行が開始されると、撮像手段２６は、車両２の進行方向４の画像を含む画像の撮像を開始する（ステップＳ１０５）。画像の撮像は、予め設定された所定の時間間隔で行われる。撮像された各時刻の画像は、制御手段１２のＲＡＭ１８に一時的に記憶される。
【００５７】
次に、制御手段１２は、撮像手段２６によって撮像された画像の出力手段３４への表示要求があるか否かを判定する（ステップＳ１０６）。この表示要求は、ユーザが入力手段３２を用いてナビゲーション装置１０に任意のタイミングで要求してもよいが、現在位置検出手段２０により検出された車両２の現在位置が、例えば、案内経路上の交差点やその他の分岐地点に近づいたときに、表示要求信号を自動生成して制御手段１２に通知するようにしてもよい。すなわち、制御手段１２が地図情報、案内経路および現在位置などに基づき、出力手段３４に、撮像された画像を表示させるべきか否かを自己判断してもよい。
【００５８】
表示要求が無い場合（ステップＳ１０６、ＮＯ）、出力手段３４は、地図画像、案内経路および現在位置を表示する一方、撮像手段２６は、進行方向４を含む画像の撮像を継続する。ユーザは、出力手段３４に表示されている地図画像および案内経路に従い、目的地に向かって走行する。
【００５９】
一方、制御手段１２が表示要求有りと判定すると（ステップＳ１０６、ＹＥＳ）、基準位置特定手段２８は、撮像された画像を処理して車両２の進行方向４をあらわす基準位置を特定する処理を行う。
【００６０】
そこで、基準位置特定手段２８は、時刻ｔに撮像した画像と、時刻ｔよりも所定時間前の時刻ｔ′に撮像した画像とをＲＡＭ１８から読み込み（ステップＳ１０７）、これらの画像を用いて、画像内の静止物体の移動ベクトル（オプティカルフロー）を算出する（ステップＳ１０８）。この場合、移動ベクトルは、時間的に連続する２つの画像間において、同一物体の輝度変化が小さいことを条件として、同程度の輝度を有する点の移動として算出することができる。
【００６１】
図４は、撮像手段２６により撮像された画像３５内の静止物体３６ａ〜３６ｃの任意の点３８ａ〜３８ｃを通る移動ベクトルＶａ〜Ｖｃの説明図である。これらの移動ベクトルＶａ〜Ｖｃの延長線は、車両２が進行方向４に走行するとき、画像の消失点４０で交差する。この消失点４０は、車両２の進行方向４の延長線上に有る。そこで、算出された複数の移動ベクトルの交点として、消失点４０を算出する（ステップＳ１０９）。
【００６２】
ここで、例えば、図１に示すように、車両２に設置したナビゲーション装置１０に搭載されている撮像手段２６の撮像方向６が、車両２の進行方向４に対して左側に角度θだけずれている場合、図４に示すように、撮像画像３５は、車両２の進行方向４の画像を含む画像が角度θに相当する分だけ右側にずれて撮像されることになる。
【００６３】
そこで、撮像画像３５のずれを考慮して、画像抽出手段３０は、算出した消失点４０を基準位置とする所定範囲の画像領域４２を撮像画像３５に設定し、この画像領域４２の画像を撮像画像３５から抽出する（ステップＳ１１０）。なお、所定範囲の画像領域４２は、例えば、消失点４０を中心とする上下左右の所定のピクセル数の画像として抽出することができる。出力手段３４は、図５に示すように、画像抽出手段３０によって抽出された撮像画像４４を表示するとともに、経路探索手段２２によって探索された案内経路４６を撮像画像４４に重ね合わせて表示する（ステップＳ１１１）。なお、撮像画像４４は、出力手段３４に拡大して表示させるようにしてもよい。
【００６４】
ステップＳ１０５〜Ｓ１１１の処理は、経路案内が終了し、車両２が目的地に到達するまで継続される（ステップＳ１１２）。
【００６５】
このように、出力手段３４には、車両２の走行に関係しない、むしろ、判断の邪魔となる可能性のある余分な画像（図４に示す画像領域４２以外の画像）が除去された撮像画像４４が表示されるとともに、案内経路４６が撮像画像４４に重ね合わせて表示されるため、例えば、多数の建物等があるような複雑な交差点であっても、ユーザは、案内経路４６に従って容易に所望の方向に走行することができる。
【実施例２】
【００６６】
図６は、実施例２のナビゲーション装置５０のブロック図である。実施例１のナビゲーション装置１０との相違点は、ナビゲーション装置５０が取付角度検出手段２７を備える点である。その他の構成については、ナビゲーション装置１０と略同じであるため、同一の構成要素に同一の参照符号を付し、詳細な説明は省略する。
【００６７】
取付角度検出手段２７は、例えば、車両２またはナビゲーション装置５０に搭載されている自律航法センサを構成する加速度センサや、車両２に対するナビゲーション装置５０の取付角度を直接計測する角度検出手段とすることができる。
【００６８】
実施例１のステップＳ１０１〜Ｓ１０６の処理と同様にして、探索した案内経路に従って走行しながら撮像手段２６により画像を撮像する。撮像画像の表示要求があると、取付角度検出手段２７は、ナビゲーション装置５０の車両２に対する取付角度を求める。基準位置特定手段２８は、求められたナビゲーション装置５０の取付角度に基づき、撮像画像３５における画像領域４２（図４）を切り取るための基準位置を算出する。次いで、画像抽出手段３０は、算出された基準位置に従い、撮像画像３５から画像領域４２を抽出する。抽出された画像領域４２の撮像画像４４は、実施例１と同様にして、案内経路４６とともに出力手段３４に表示される。なお、ナビゲーション装置５０の車両２に対する取付角度は、従来から知られている種々の方法を用いることで算出可能である。
【００６９】
例えば、撮像手段２６で撮像される画像は、撮像方向６を中心として左右に＋４５°〜−４５°の範囲が撮像でき、撮像方向６を中心として上下に＋３０°〜−３０°の範囲が撮像できるものとすると、進行方向４（車両２）に対して、ナビゲーション装置５０の取り付け角度が、左に１５°、下に５°であれば、撮像された画像の中心から、撮影された画像の左右の幅の１／６（１５°／９０°）の距離を右に移動させ、さらに、移動させた位置から撮影された画像の上下の幅の１／１２（５°／６０°）の距離を上に移動させた位置を基準位置として算出することができる。
【００７０】
なお、本発明は、上述した実施例に限定されるものではなく、本発明の要旨を逸脱しない範囲で変更することが可能である。
【００７１】
例えば、撮像手段２６を有するナビゲーション装置１０、５０は、車両２に予め固定されたものであってもよい。この場合、車両２に対する撮像手段２６の取付位置に誤差がある場合、あるいは、ナビゲーション装置１０の向きを変更することで、撮像方向６が進行方向４と異なる方向となる場合において、撮像画像３５から進行方向４を含む画像領域４２の撮像画像４４を抽出して出力手段３４に表示させることができる。
【００７２】
また、進行方向４の基準位置を特定する方法として、特許文献１の場合と同様に、道路のセンタラインや路側のラインに基づいて特定するようにしてもよい。なお、センタライン等に基づいて基準位置を特定する場合、車両２は、進行方向４に走行している必要はない。
【００７３】
また、撮像手段２６により撮像され出力手段３４に表示させる撮像画像４４は、連続的に撮像された画像に基づく動画であることが望ましいが、ナビゲーション装置１０、５０の処理能力によっては、所定のタイミングで撮像された静止画を逐次表示するものであってもよい。
【００７４】
また、出力手段３４に地図画像および案内経路を表示させて走行し、撮像画像の表示要求があった場合に、撮像手段２６により撮像した画像に表示を切り替えることとしたが、地図画像に代えて、基準位置を基準とする所定範囲の撮像画像を案内経路とともに常時表示させるようにしてもよい。
【００７５】
さらに、本発明の画像表示装置及びそれを用いたナビゲーション装置が適用される移動体には、車両２以外の移動体、例えば、ナビゲーション装置１０、５０を所持して移動する歩行者を含めることも可能である。
【符号の説明】
【００７６】
２・・・車両
４・・・進行方向
６・・・撮像方向
１０、５０・・・ナビゲーション装置
１２・・・制御手段
２０・・・現在位置検出手段
２２・・・経路探索手段
２４・・・地図情報記憶手段
２６・・・撮像手段
２７・・・取付角度検出手段
２８・・・基準位置特定手段
３０・・・画像抽出手段
３２・・・入力手段
３４・・・出力手段
３５、４４・・・撮像画像
３６ａ〜３６ｃ・・・静止物体
３８ａ〜３８ｃ・・・点
４０・・・消失点
４２・・・画像領域
４６・・・案内経路
【技術分野】
【０００１】
本発明は、画像表示装置およびナビゲーション装置に関し、特に、移動体に備えられた撮像手段により移動体の進行方向の画像を含む画像を撮像し、前記画像から進行方向の所定範囲の画像を抽出して表示する画像表示装置およびナビゲーション装置に関する。
【背景技術】
【０００２】
移動体、例えば、車両に撮像手段を搭載し、その撮像手段を用いて車外の画像を撮像し、その画像を処理して車内のモニタに表示させ、車両の走行を支援する装置が種々提案されている。例えば、車両の前方に配置した撮像手段により前方の赤外線画像を撮像してモニタに表示させ、夜間走行の際にユーザが視認しづらい歩行者の位置等を確認可能とした装置、車両の後方に配置した撮像手段により撮像した後方画像をモニタに表示させ、バックする際の後方確認を支援する装置、車両の左右のフロントフェンダに配置した撮像手段により左右の画像を撮像し、その画像をモニタに表示させ、交差点での左右確認を支援する装置等が実用化されている。
【０００３】
一方、車両の走行を支援するものとして、ＧＰＳ（Global Positioning System）に代表される全世界航法衛星システム（ＧＮＳＳ：Global Navigation Satellite Systems）を利用して車両の現在位置を検出し、地図情報とともにモニタに表示させ、また、現在位置または出発地から目的地までの経路を探索してモニタに表示させ、ユーザを目的地まで案内するナビゲーション装置が知られている。
【０００４】
そこで、上述した各支援装置に用いられる撮像手段とナビゲーション装置とを連結し、撮像手段により撮像した進行方向の画像に対して、ナビゲーション装置により探索した経路を重ね合わせてモニタに表示させるようにすれば、実際の画像に基づいて、より分かり易い経路案内を行うことが可能となる。
【０００５】
ところで、ナビゲーション装置には、いわゆる「ポータブルナビゲーション装置」と称される、移動体に対して着脱自在に構成された可搬型の装置がある。このようなポータブルナビゲーション装置の場合、予め車両に搭載されている撮像手段から画像情報を取得するには、ポータブルナビゲーション装置と撮像手段との間で信号処理が必要となるため、配線や信号の送受信手段等の構成が複雑化する欠点がある。そこで、ポータブルナビゲーション装置に撮像手段を搭載して一体化すれば、上記の問題を解消することができる。
【０００６】
しかしながら、ポータブルナビゲーション装置は、例えば、モニタをドライバの方に向ける等、車両に対して任意の角度で取り付けることがあるため、ポータブルナビゲーション装置に撮像手段を一体化させた場合、撮像範囲が左右または上下にずれてしまい、進行方向の画像を正しく撮像できないおそれがある。
【０００７】
この場合、ポータブルナビゲーション装置に対して撮像手段を可動に構成したり、モニタの向きに依存しないように、撮像手段をポータブルナビゲーション装置から分離して構成することも可能であるが、構成が複雑となり、費用が大幅に増加する不具合がある。また、撮像手段に広角レンズを装着し、ポータブルナビゲーション装置の取付位置に係わらず、前方の広い範囲の画像を撮像するように構成することも考えられる。しかしながら、画角を広げると、必要な前方画像だけでなく、例えば、車両のダッシュボードやサイドミラー等の不要部分の画像が多く含まれてしまうため、進行方向の画像を表示して経路案内を支援する、という本来の目的には適さないものになってしまう。
【０００８】
これらの課題を解決するために利用可能な技術として、下記特許文献１（特開２００３−１７９９１５号公報）に開示された「車両周辺視認装置」がある。この装置は、車両の左右のフロントフェンダに配置した広角レンズを有する撮像手段により左右方向の画像を撮像し、各画像からセンタラインや路側に対応する複数の直線を抽出して、これらの直線の交点である消失点を求め、消失点を中心とする所定範囲の領域を画像から抽出して拡大表示することにより、車両の走向路と交差する左右の道路状況を把握可能としたものである。
【０００９】
また、前記課題を解決するために利用可能な他の技術として、下記特許文献２（特開２００８−２５７３７８号公報）に開示された「物体検出装置」がある。この装置は、車両に搭載した撮像手段により車両周辺の時系列画像を撮像し、各画像から静止物体の移動ベクトルを求め、静止物体の移動ベクトルからその発生点である消失点を算出し、消失点に基づいて自車両以外の移動物体である障害物が存在する可能性のある注意領域を設定し、注意領域内の移動ベクトルに基づいて障害物の有無を検出するようにしたものである。
【先行技術文献】
【特許文献】
【００１０】
【特許文献１】特開２００３−１７９９１５号公報（段落［００１２］〜［００１４］、［００２２］〜［００２５］）
【特許文献２】特開２００８−２５７３７８号公報（段落［００２３］、［００３８］、［００４２］、［００６１］）
【発明の概要】
【発明が解決しようとする課題】
【００１１】
しかしながら、上記特許文献１は、交差点における左右の道路の画像を抽出するものであり、車両の進行方向の画像を抽出するものではない。また、画像内に直線を構成するセンタラインや路側が存在していないと、消失点を求めることができない。
【００１２】
一方、上記特許文献２では、画像内にセンタライン等が存在していない場合であっても、進行方向の消失点を求めることができる。しかしながら、特許文献２は、消失点を基準に注意領域を設定し、注意領域における障害物の有無を検出するものであって、進行方向の画像を撮像された画像から切り出して表示するようにしたものではない。特許文献２の場合、表示された画像内にダッシュボードや車両のサイドミラー等の余分なものが表示されるため、これらの画像を用いて分かり易い経路案内を行うことは困難である。
【００１３】
本発明は、上記の問題点を解消することを課題とするものであり、移動体に備えられた撮像手段の方向を調整することがなく、簡易な構成で、撮像した画像から移動体の進行方向の画像を含む画像を抽出して表示することのできる画像表示装置を提供することを目的とする。
【００１４】
また、本発明は、撮像した画像から移動体の進行方向の画像を抽出して表示し、分かり易い経路案内を行うことのできるナビゲーション装置を提供することを目的とするものである。
【課題を解決するための手段】
【００１５】
前記課題を解決するために、本願の請求項１にかかる発明は、移動体に備えられ、前記移動体の進行方向の画像を含む画像を撮像する撮像手段と、撮像された前記画像内の前記進行方向をあらわす基準位置を特定する基準位置特定手段と、撮像された前記画像から、前記基準位置を基準とする所定範囲の画像を抽出する画像抽出手段と、抽出された前記画像を表示する画像表示手段と、を備えることを特徴とする。
【００１６】
また、本願の請求項２にかかる発明は、請求項１記載の画像表示装置において、前記撮像手段は、時系列の画像を撮像し、前記基準位置特定手段は、撮像された前記時系列の画像に基づいて移動ベクトルを算出し、前記移動ベクトルから前記基準位置を特定することを特徴とする。
【００１７】
また、本願の請求項３にかかる発明は、請求項１記載の画像表示装置において、前記移動体に対する前記画像表示装置の取付角度を検出する取付角度検出手段を備え、前記基準位置特定手段は、検出された前記取付角度から前記基準位置を特定することを特徴とする。
【００１８】
また、本願の請求項４にかかる発明は、請求項１〜３のいずれか１項に記載の画像表示装置において、前記撮像手段は、前記画像表示装置と一体に構成され、前記画像表示装置は、前記移動体に対して着脱自在に設置されることを特徴とする。
【００１９】
また、本願の請求項５にかかる発明は、請求項１〜４のいずれか１項に記載の画像表示装置において、前記画像表示手段は、抽出された前記画像を拡大して表示することを特徴とする。
【００２０】
本願の請求項６にかかる発明は、地図情報に基づき、目的地までの経路を探索する経路探索手段と、移動体に備えられ、前記移動体の進行方向の画像を含む画像を撮像する撮像手段と、撮像された前記画像内の前記進行方向をあらわす基準位置を特定する基準位置特定手段と、撮像された前記画像から、前記基準位置を基準とする所定範囲の画像を抽出する画像抽出手段と、抽出された前記画像を、前記経路とともに表示する画像表示手段と、を備えることを特徴とする。
【００２１】
また、本願の請求項７にかかる発明は、請求項６に記載の画像表示装置を用いたナビゲーション装置において、前記撮像手段は、前記ナビゲーション装置と一体に構成され、前記ナビゲーション装置は、前記移動体に対して着脱自在に設置されることを特徴とする。
【発明の効果】
【００２２】
請求項１にかかる発明においては、移動体に備えられ、前記移動体の進行方向の画像を含む画像を撮像する撮像手段と、撮像された前記画像内の前記進行方向をあらわす基準位置を特定する基準位置特定手段と、撮像された前記画像から、前記基準位置を基準とする所定範囲の画像を抽出する画像抽出手段と、抽出された前記画像を表示する画像表示手段と、を備える。
【００２３】
このように構成することにより、移動体に設置された撮像手段の方向を調整する必要がなく、撮像された画像から移動体の進行方向の画像を抽出して表示することができる。撮像手段の位置の調整機構が不要であるため、簡易な構成で廉価な画像表示装置を提供することができる。
【００２４】
請求項２にかかる発明においては、請求項１にかかる発明において、撮像手段により撮像した時系列の画像から移動ベクトルを算出し、この移動ベクトルから基準位置を特定することができる。
【００２５】
請求項３にかかる発明においては、請求項１にかかる発明において、移動体に対する画像表示装置の取付角度を取付角度検出手段により検出して基準位置を特定することができる。
【００２６】
請求項４にかかる発明においては、請求項１〜３のいずれか１項に記載の発明において、画像表示装置と一体に構成される撮像手段を備える画像表示装置は、移動体に対して着脱自在とすることができる。
【００２７】
請求項５にかかる発明においては、請求項１〜４のいずれか１項に記載の発明において、抽出された進行方向の画像は、拡大して画像表示手段に表示させることができる。
【００２８】
請求項６にかかる発明においては、地図情報に基づき、目的地までの経路を探索する経路探索手段と、移動体に備えられ、前記移動体の進行方向の画像を含む画像を撮像する撮像手段と、撮像された前記画像内の前記進行方向をあらわす基準位置を特定する基準位置特定手段と、撮像された前記画像から、前記基準位置を基準とする所定範囲の画像を抽出する画像抽出手段と、抽出された前記画像を、前記経路とともに表示する画像表示手段と、を備える。
【００２９】
このように構成することにより、移動体に設置された撮像手段の方向を調整する必要がなく、撮像された画像から移動体の進行方向の画像を抽出し、探索された経路を重ね合わせた状態で画像表示手段に表示し、分かり易い経路案内を行うことができる。従って、ユーザは、表示された進行方向の画像と経路とに基づき、容易に目的地に向かって移動することができる。
【００３０】
請求項７にかかる発明においては、請求項６に記載の発明において、ナビゲーション装置と撮像手段は一体に構成され、ナビゲーション装置は移動体に対して着脱自在とすることができる。
【図面の簡単な説明】
【００３１】
【図１】本発明の実施例１にかかるナビゲーション装置が搭載された移動体の説明図である。
【図２】本発明の実施例１にかかるナビゲーション装置のブロック図である。
【図３】図２に示すナビゲーション装置の処理フローチャートである。
【図４】図２に示すナビゲーション装置が備える撮像手段により撮像された移動体の進行方向の画像を含む撮像画像の説明図である。
【図５】図４に示す画像から抽出された移動体の進行方向の画像を含む所定範囲の画像の説明図である。
【図６】本発明の実施例２にかかるナビゲーション装置のブロック図である。
【発明を実施するための形態】
【００３２】
以下、本発明の具体例を実施例及び図面を用いて詳細に説明する。ただし、以下に示す実施例は、本発明の技術思想を具体化するための画像表示装置およびそれを用いたナビゲーション装置を例示して説明するものであって、本発明をこの画像表示装置およびそれを用いたナビゲーション装置に特定することを意図するものではなく特許請求の範囲に示した技術思想を逸脱することなくその他の画像表示装置およびそれを用いたナビゲーション装置にも等しく適用し得るものである。
【実施例１】
【００３３】
図１は、本発明の実施例１にかかるナビゲーション装置が搭載された移動体である車両２の説明図である。
【００３４】
進行方向４に向かって走行する車両２には、車両２の現在位置および目的地までの経路を案内するとともに、車両２の進行方向４の方向の画像を表示するためのナビゲーション装置１０が設置される。
【００３５】
ナビゲーション装置１０は、車両２に対して着脱自在に構成される、いわゆるポータブルナビゲーション装置であり、進行方向４の方向の画像を含む画像を撮像する後述するＣＣＤカメラ等の撮像手段を備える。撮像手段による進行方向４の方向を含む画像の撮像方向６は、車両２に対するナビゲーション装置１０の設置状態に応じた角度θだけ進行方向４からずれているものとする。なお、進行方向４の方向の画像とは、後述する基準位置を基準とした所定範囲の画像である。また、以下の説明では、進行方向４の方向の画像を含む画像を、進行方向４を含む画像と表現する。
【００３６】
図２は、実施例１のナビゲーション装置１０のブロック図である。ナビゲーション装置１０は、制御手段１２、現在位置検出手段２０、経路探索手段２２、地図情報記憶手段２４、撮像手段２６、基準位置特定手段２８、画像抽出手段３０、入力手段３２および出力手段３４を備えて構成される。
【００３７】
制御手段１２は、ＣＰＵ１４、ＲＯＭ１６、ＲＡＭ１８を備えて構成されており、ＲＯＭ１６および／またはＲＡＭ１８に記憶された制御プログラムをＣＰＵ１４が実行することにより、下記に説明する各部の動作を制御・統括する。
【００３８】
現在位置検出手段２０は、地球上空を周回している複数のＧＰＳ衛星からの信号を所定の時間間隔で受信し、この信号に含まれている時刻情報および衛星位置情報に基づいて車両２の現在位置を算出する。また、現在位置検出手段２０は、車両２に搭載されている速度センサ、加速度センサ、ジャイロスコープ等の自律航法センサにより検出した速度情報、加速度情報、角速度情報等に従い、車両２の現在位置を算出するものであってもよい。
【００３９】
自律航法センサを備えることで、ＧＰＳ衛星信号を受信できないトンネルや地下街、地下駐車場、建物内の駐車場、または、高層ビル街等、ＧＰＳ衛星信号の反射によるマルチパスの影響を受ける場所でも、ジャイロスコープや加速度センサからの出力によりナビゲーション装置１０の現在位置を算出することができる。なお、これらの自律航法センサは、現在位置検出手段２０がＧＰＳ衛星から受信した信号に基づいて算出した現在位置を補正するためにも利用可能である。
【００４０】
経路探索手段２２は、後述する入力手段３２を用いてユーザが入力した経路探索条件に従い、後述する地図情報記憶手段２４に記憶されている地図情報を参照して最適な経路（案内経路）を探索するものである。経路探索手段２２は、出発地または現在位置に対応する道路のノードから目的地に対応するノードに至るまでのリンクをダイクストラ法等の手法によって探索し、リンク長（リンクコスト）や所要時間を累積し、総リンク長（走行距離）または総所要時間が最短となる経路を案内経路として探索する。
【００４１】
地図情報記憶手段２４は、道路データ、建物データ、背景データ、テキストデータから構成される地図情報を保持する。道路データは、道路をその屈曲点、分岐点等の結節点をノードとするノードデータと、それぞれのノード間を結ぶ経路をリンクとしたリンクデータとから構成される。ノードデータは、ノード番号、ノードの位置座標（緯度・経度）、交差点情報や交差点名称を示す情報等のノード属性、さらに接続リンク本数、接続リンク番号のデータを含んで構成される。また、リンクデータは、リンクの始点および終点となるノード番号、高速道路や一般道や街路等を区別するための道路種別、それぞれの道路の本線や連結路、分岐路を区別するための道路種別、距離および／または所要時間、国道○号線のような道路名称、進行方向のデータを含んで構成される。リンクデータには、上記に加えて、リンク属性として橋、トンネル、踏切、料金所等のデータが付与される。
【００４２】
建物データは、建物の少なくとも３点からなる位置座標（緯度・経度）、駅、ビル、民家等の建物の種別、表示色のデータを含んで構成される。また背景データは、海岸線、湖沼、河川形状、山林等の背景画像データとなる少なくとも３点からなる位置座標（緯度・経度）、表示色のデータを含んで構成される。テキストデータは、それぞれの地名や河川名等の文字（名称）、およびその座標（緯度・経度）のデータを含んで構成される。
【００４３】
なお、ナビゲーション装置１０は、地図情報をナビゲーション装置１０に内蔵したスタンドアロン型のものとしているが、本発明はこれに限定されることはない。例えば、ナビゲーション装置１０に通信手段（図示せず）を設け、ナビゲーション装置１０の外部の情報提供サーバ（図示せず）に接続して通信を行い、情報提供サーバに備えられた地図データベースから案内経路に関連付けられた地図情報を取得するようにしてもよい。
【００４４】
その場合、ナビゲーション装置１０は出発地または現在位置と目的地とを指定し、これを経路探索条件として情報提供サーバに送信し、経路探索を依頼する。情報提供サーバは、経路探索手段を備え、ナビゲーション装置１０から受信した出発地または現在位置と目的地とを経路探索条件として経路探索を行い、探索結果と探索結果に関連付けられた地図情報をナビゲーション装置１０へ送信する。
【００４５】
撮像手段２６は、車両２の進行方向４の画像を撮像するものであり、ＣＣＤカメラ等により構成することができる。撮像手段２６は、車両２に対して着脱自在であるナビゲーション装置１０に一体構成される（固定される）ものであり、進行方向４の画像を含む広範囲の画像を撮像するため、広角レンズを備える。また、広角レンズを備える代わりに、複数台の撮像手段２６をナビゲーション装置１０に配置し、撮像した複数の画像を合成することにより、広範囲の画像を生成するように構成してもよい。
【００４６】
広角レンズ、あるいは、複数台の撮像手段２６を用いることで、ナビゲーション装置１０に一体構成された撮像手段２６の撮像方向６が車両２の進行方向４と異なる方向であっても（図１参照）、進行方向４を含む画像を撮像することができる。
【００４７】
基準位置特定手段２８は、撮像手段２６が撮像した進行方向４を含む時系列画像から、静止物体の複数の移動ベクトル（オプティカルフロー）を算出し、移動ベクトルの延長上の交点である消失点を求め、この消失点を進行方向４をあらわす基準位置として特定するものである。なお、基準位置は、消失点から予め設定した距離だけ離間した点であってもよい。
【００４８】
画像抽出手段３０は、基準位置特定手段２８で特定された基準位置を基準として、撮像手段２６が撮像した画像の上下、左右の所定範囲の画像を抽出するものである。
【００４９】
入力手段３２は、経路探索を行うために、ユーザが出発地、目的地等の経路探索条件をナビゲーション装置１０に入力するためのキーやタッチパネルから構成される。また、入力手段３２は、後述する出力手段に表示させる画像を選択指示する手段とすることもできる。なお、出力手段３４に選択的に表示させる画像としては、例えば、地図情報記憶手段２４から読み込んだ地図情報に基づく地図画像、経路探索手段２２により探索した案内経路、撮像手段２６が撮像した車両２の進行方向４の撮像画像（動画、静止画を含む。）等を挙げることができる。
【００５０】
出力手段３４（画像表示手段）は、車両２の現在位置、地図画像、案内経路、撮像手段２６による撮像画像等を表示する液晶表示パネルと、ユーザに対して音声で必要な情報を提供するスピーカとから構成される。なお、出力手段３４は、撮像手段２６と一体となってナビゲーション装置１０に搭載されており、車両２にナビゲーション装置１０を設置した際の出力手段３４（液晶表示パネル）の向きと、撮像手段２６の撮像方向とは、相対的な関係、例えば、１８０度異なる向きにある。なお、これに限ることはなく、例えば、出力手段３４（液晶表示パネル）の向きに対して９０度の方向が撮像方向であってもよい。
【００５１】
次に、以上のように構成されるナビゲーション装置１０の処理動作につき、図３に示すフローチャートに従って説明する。
【００５２】
まず、準備段階として、車両２の所定位置にナビゲーション装置１０を設置する。この場合、ナビゲーション装置１０は、ユーザであるドライバが出力手段３４の画像を視認し易い方向となるように、ある程度自由に設置することができる。従って、出力手段３４と一体に構成される撮像手段２６による撮像方向６は、図１に示すように、出力手段３４の向きに応じて、車両２の進行方向４に対して角度θだけ異なる方向となる場合がある。
【００５３】
ナビゲーション装置１０を車両２に設置した後、ユーザは、ナビゲーション装置１０の入力手段３２を用いて、案内経路を探索するための探索条件、例えば、出発地、目的地、経由地等を入力する（ステップＳ１０１）。
【００５４】
探索条件が入力されると、経路探索手段２２は、地図情報記憶手段２４に記憶されている地図情報を参照して、出発地から目的地までの最適な経路を探索する（ステップＳ１０２）。最適な経路は、出発地に対応する道路のノードから目的地に対応する道路のノードに至るまでのリンクをダイクストラ法等の手法によって探索し、時間、距離等のリンクコストの累積値が最小となる案内経路として探索することができる。
【００５５】
探索された案内経路は、制御手段１２により地図情報記憶手段２４から読み出した地図情報に基づく地図画像とともに、ナビゲーション装置１０の液晶表示パネル等の出力手段３４に表示される（ステップＳ１０３）。また、現在位置検出手段２０は、ＧＰＳ衛星から時刻情報および衛星位置情報を含む信号を受信し、これらの情報に基づいて車両２の現在位置を算出し、制御手段１２により地図画像および案内経路とともに出力手段３４に表示される。ユーザは、出力手段３４に表示された地図画像、現在位置および案内経路に従い、所望の目的地までの走行を開始する（ステップＳ１０４）。
【００５６】
一方、車両２の走行が開始されると、撮像手段２６は、車両２の進行方向４の画像を含む画像の撮像を開始する（ステップＳ１０５）。画像の撮像は、予め設定された所定の時間間隔で行われる。撮像された各時刻の画像は、制御手段１２のＲＡＭ１８に一時的に記憶される。
【００５７】
次に、制御手段１２は、撮像手段２６によって撮像された画像の出力手段３４への表示要求があるか否かを判定する（ステップＳ１０６）。この表示要求は、ユーザが入力手段３２を用いてナビゲーション装置１０に任意のタイミングで要求してもよいが、現在位置検出手段２０により検出された車両２の現在位置が、例えば、案内経路上の交差点やその他の分岐地点に近づいたときに、表示要求信号を自動生成して制御手段１２に通知するようにしてもよい。すなわち、制御手段１２が地図情報、案内経路および現在位置などに基づき、出力手段３４に、撮像された画像を表示させるべきか否かを自己判断してもよい。
【００５８】
表示要求が無い場合（ステップＳ１０６、ＮＯ）、出力手段３４は、地図画像、案内経路および現在位置を表示する一方、撮像手段２６は、進行方向４を含む画像の撮像を継続する。ユーザは、出力手段３４に表示されている地図画像および案内経路に従い、目的地に向かって走行する。
【００５９】
一方、制御手段１２が表示要求有りと判定すると（ステップＳ１０６、ＹＥＳ）、基準位置特定手段２８は、撮像された画像を処理して車両２の進行方向４をあらわす基準位置を特定する処理を行う。
【００６０】
そこで、基準位置特定手段２８は、時刻ｔに撮像した画像と、時刻ｔよりも所定時間前の時刻ｔ′に撮像した画像とをＲＡＭ１８から読み込み（ステップＳ１０７）、これらの画像を用いて、画像内の静止物体の移動ベクトル（オプティカルフロー）を算出する（ステップＳ１０８）。この場合、移動ベクトルは、時間的に連続する２つの画像間において、同一物体の輝度変化が小さいことを条件として、同程度の輝度を有する点の移動として算出することができる。
【００６１】
図４は、撮像手段２６により撮像された画像３５内の静止物体３６ａ〜３６ｃの任意の点３８ａ〜３８ｃを通る移動ベクトルＶａ〜Ｖｃの説明図である。これらの移動ベクトルＶａ〜Ｖｃの延長線は、車両２が進行方向４に走行するとき、画像の消失点４０で交差する。この消失点４０は、車両２の進行方向４の延長線上に有る。そこで、算出された複数の移動ベクトルの交点として、消失点４０を算出する（ステップＳ１０９）。
【００６２】
ここで、例えば、図１に示すように、車両２に設置したナビゲーション装置１０に搭載されている撮像手段２６の撮像方向６が、車両２の進行方向４に対して左側に角度θだけずれている場合、図４に示すように、撮像画像３５は、車両２の進行方向４の画像を含む画像が角度θに相当する分だけ右側にずれて撮像されることになる。
【００６３】
そこで、撮像画像３５のずれを考慮して、画像抽出手段３０は、算出した消失点４０を基準位置とする所定範囲の画像領域４２を撮像画像３５に設定し、この画像領域４２の画像を撮像画像３５から抽出する（ステップＳ１１０）。なお、所定範囲の画像領域４２は、例えば、消失点４０を中心とする上下左右の所定のピクセル数の画像として抽出することができる。出力手段３４は、図５に示すように、画像抽出手段３０によって抽出された撮像画像４４を表示するとともに、経路探索手段２２によって探索された案内経路４６を撮像画像４４に重ね合わせて表示する（ステップＳ１１１）。なお、撮像画像４４は、出力手段３４に拡大して表示させるようにしてもよい。
【００６４】
ステップＳ１０５〜Ｓ１１１の処理は、経路案内が終了し、車両２が目的地に到達するまで継続される（ステップＳ１１２）。
【００６５】
このように、出力手段３４には、車両２の走行に関係しない、むしろ、判断の邪魔となる可能性のある余分な画像（図４に示す画像領域４２以外の画像）が除去された撮像画像４４が表示されるとともに、案内経路４６が撮像画像４４に重ね合わせて表示されるため、例えば、多数の建物等があるような複雑な交差点であっても、ユーザは、案内経路４６に従って容易に所望の方向に走行することができる。
【実施例２】
【００６６】
図６は、実施例２のナビゲーション装置５０のブロック図である。実施例１のナビゲーション装置１０との相違点は、ナビゲーション装置５０が取付角度検出手段２７を備える点である。その他の構成については、ナビゲーション装置１０と略同じであるため、同一の構成要素に同一の参照符号を付し、詳細な説明は省略する。
【００６７】
取付角度検出手段２７は、例えば、車両２またはナビゲーション装置５０に搭載されている自律航法センサを構成する加速度センサや、車両２に対するナビゲーション装置５０の取付角度を直接計測する角度検出手段とすることができる。
【００６８】
実施例１のステップＳ１０１〜Ｓ１０６の処理と同様にして、探索した案内経路に従って走行しながら撮像手段２６により画像を撮像する。撮像画像の表示要求があると、取付角度検出手段２７は、ナビゲーション装置５０の車両２に対する取付角度を求める。基準位置特定手段２８は、求められたナビゲーション装置５０の取付角度に基づき、撮像画像３５における画像領域４２（図４）を切り取るための基準位置を算出する。次いで、画像抽出手段３０は、算出された基準位置に従い、撮像画像３５から画像領域４２を抽出する。抽出された画像領域４２の撮像画像４４は、実施例１と同様にして、案内経路４６とともに出力手段３４に表示される。なお、ナビゲーション装置５０の車両２に対する取付角度は、従来から知られている種々の方法を用いることで算出可能である。
【００６９】
例えば、撮像手段２６で撮像される画像は、撮像方向６を中心として左右に＋４５°〜−４５°の範囲が撮像でき、撮像方向６を中心として上下に＋３０°〜−３０°の範囲が撮像できるものとすると、進行方向４（車両２）に対して、ナビゲーション装置５０の取り付け角度が、左に１５°、下に５°であれば、撮像された画像の中心から、撮影された画像の左右の幅の１／６（１５°／９０°）の距離を右に移動させ、さらに、移動させた位置から撮影された画像の上下の幅の１／１２（５°／６０°）の距離を上に移動させた位置を基準位置として算出することができる。
【００７０】
なお、本発明は、上述した実施例に限定されるものではなく、本発明の要旨を逸脱しない範囲で変更することが可能である。
【００７１】
例えば、撮像手段２６を有するナビゲーション装置１０、５０は、車両２に予め固定されたものであってもよい。この場合、車両２に対する撮像手段２６の取付位置に誤差がある場合、あるいは、ナビゲーション装置１０の向きを変更することで、撮像方向６が進行方向４と異なる方向となる場合において、撮像画像３５から進行方向４を含む画像領域４２の撮像画像４４を抽出して出力手段３４に表示させることができる。
【００７２】
また、進行方向４の基準位置を特定する方法として、特許文献１の場合と同様に、道路のセンタラインや路側のラインに基づいて特定するようにしてもよい。なお、センタライン等に基づいて基準位置を特定する場合、車両２は、進行方向４に走行している必要はない。
【００７３】
また、撮像手段２６により撮像され出力手段３４に表示させる撮像画像４４は、連続的に撮像された画像に基づく動画であることが望ましいが、ナビゲーション装置１０、５０の処理能力によっては、所定のタイミングで撮像された静止画を逐次表示するものであってもよい。
【００７４】
また、出力手段３４に地図画像および案内経路を表示させて走行し、撮像画像の表示要求があった場合に、撮像手段２６により撮像した画像に表示を切り替えることとしたが、地図画像に代えて、基準位置を基準とする所定範囲の撮像画像を案内経路とともに常時表示させるようにしてもよい。
【００７５】
さらに、本発明の画像表示装置及びそれを用いたナビゲーション装置が適用される移動体には、車両２以外の移動体、例えば、ナビゲーション装置１０、５０を所持して移動する歩行者を含めることも可能である。
【符号の説明】
【００７６】
２・・・車両
４・・・進行方向
６・・・撮像方向
１０、５０・・・ナビゲーション装置
１２・・・制御手段
２０・・・現在位置検出手段
２２・・・経路探索手段
２４・・・地図情報記憶手段
２６・・・撮像手段
２７・・・取付角度検出手段
２８・・・基準位置特定手段
３０・・・画像抽出手段
３２・・・入力手段
３４・・・出力手段
３５、４４・・・撮像画像
３６ａ〜３６ｃ・・・静止物体
３８ａ〜３８ｃ・・・点
４０・・・消失点
４２・・・画像領域
４６・・・案内経路
【特許請求の範囲】
【請求項１】
移動体に備えられ、前記移動体の進行方向の画像を含む画像を撮像する撮像手段と、
撮像された前記画像内の前記進行方向をあらわす基準位置を特定する基準位置特定手段と、
撮像された前記画像から、前記基準位置を基準とする所定範囲の画像を抽出する画像抽出手段と、
抽出された前記画像を表示する画像表示手段と、
を備えることを特徴とする画像表示装置。
【請求項２】
前記撮像手段は、時系列の画像を撮像し、
前記基準位置特定手段は、撮像された前記時系列の画像に基づいて移動ベクトルを算出し、前記移動ベクトルから前記基準位置を特定することを特徴とする請求項１に記載の画像表示装置。
【請求項３】
前記移動体に対する前記画像表示装置の取付角度を検出する取付角度検出手段を備え、
前記基準位置特定手段は、検出された前記取付角度から前記基準位置を特定することを特徴とする請求項１に記載の画像表示装置。
【請求項４】
前記撮像手段は、前記画像表示装置と一体に構成され、前記画像表示装置は、前記移動体に対して着脱自在に設置されることを特徴とする請求項１〜３のいずれか１項に記載の画像表示装置。
【請求項５】
前記画像表示手段は、抽出された前記画像を拡大して表示することを特徴とする請求項１〜４のいずれか１項に記載の画像表示装置。
【請求項６】
地図情報に基づき、目的地までの経路を探索する経路探索手段と、
移動体に備えられ、前記移動体の進行方向の画像を含む画像を撮像する撮像手段と、
撮像された前記画像内の前記進行方向をあらわす基準位置を特定する基準位置特定手段と、
撮像された前記画像から、前記基準位置を基準とする所定範囲の画像を抽出する画像抽出手段と、
抽出された前記画像を、前記経路とともに表示する画像表示手段と、
を備えることを特徴とするナビゲーション装置。
【請求項７】
前記撮像手段は、前記ナビゲーション装置と一体に構成され、前記ナビゲーション装置は、前記移動体に対して着脱自在に設置されることを特徴とする請求項６に記載のナビゲーション装置。
【請求項１】
移動体に備えられ、前記移動体の進行方向の画像を含む画像を撮像する撮像手段と、
撮像された前記画像内の前記進行方向をあらわす基準位置を特定する基準位置特定手段と、
撮像された前記画像から、前記基準位置を基準とする所定範囲の画像を抽出する画像抽出手段と、
抽出された前記画像を表示する画像表示手段と、
を備えることを特徴とする画像表示装置。
【請求項２】
前記撮像手段は、時系列の画像を撮像し、
前記基準位置特定手段は、撮像された前記時系列の画像に基づいて移動ベクトルを算出し、前記移動ベクトルから前記基準位置を特定することを特徴とする請求項１に記載の画像表示装置。
【請求項３】
前記移動体に対する前記画像表示装置の取付角度を検出する取付角度検出手段を備え、
前記基準位置特定手段は、検出された前記取付角度から前記基準位置を特定することを特徴とする請求項１に記載の画像表示装置。
【請求項４】
前記撮像手段は、前記画像表示装置と一体に構成され、前記画像表示装置は、前記移動体に対して着脱自在に設置されることを特徴とする請求項１〜３のいずれか１項に記載の画像表示装置。
【請求項５】
前記画像表示手段は、抽出された前記画像を拡大して表示することを特徴とする請求項１〜４のいずれか１項に記載の画像表示装置。
【請求項６】
地図情報に基づき、目的地までの経路を探索する経路探索手段と、
移動体に備えられ、前記移動体の進行方向の画像を含む画像を撮像する撮像手段と、
撮像された前記画像内の前記進行方向をあらわす基準位置を特定する基準位置特定手段と、
撮像された前記画像から、前記基準位置を基準とする所定範囲の画像を抽出する画像抽出手段と、
抽出された前記画像を、前記経路とともに表示する画像表示手段と、
を備えることを特徴とするナビゲーション装置。
【請求項７】
前記撮像手段は、前記ナビゲーション装置と一体に構成され、前記ナビゲーション装置は、前記移動体に対して着脱自在に設置されることを特徴とする請求項６に記載のナビゲーション装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図２】
【図３】
【図４】
【図５】
【図６】
【公開番号】特開２０１２−５２８５２（Ｐ２０１２−５２８５２Ａ）
【公開日】平成２４年３月１５日（２０１２．３．１５）
【国際特許分類】
【出願番号】特願２０１０−１９４００６（Ｐ２０１０−１９４００６）
【出願日】平成２２年８月３１日（２０１０．８．３１）
【出願人】（０００００１８８９）三洋電機株式会社 (18,308)
【出願人】（０００２１４８９２）三洋電機コンシューマエレクトロニクス株式会社 (1,582)
【Ｆターム（参考）】
【公開日】平成２４年３月１５日（２０１２．３．１５）
【国際特許分類】
【出願日】平成２２年８月３１日（２０１０．８．３１）
【出願人】（０００００１８８９）三洋電機株式会社 (18,308)
【出願人】（０００２１４８９２）三洋電機コンシューマエレクトロニクス株式会社 (1,582)
【Ｆターム（参考）】
[ Back to top ]