説明

端末装置、端末装置によって実行される画像表示方法及び画像表示プログラム

【課題】カメラの撮影方向と車両の進行方向との関係に基づいて、実写案内画像及び地図案内画像のいずれを優先して表示させるかを適切に切り替えることが可能な端末装置を提供する。
【解決手段】移動体に取り付けられる端末装置は、撮影手段と、撮影手段の撮影方向と移動体の進行方向との関係に基づいて、撮影手段によって撮影された撮影画像を用いた実写案内画像と、地図情報を用いた地図案内画像とのいずれを優先して表示させるかの判定を行う判定手段と、判定手段による判定に基づいて、実写案内画像及び地図案内画像のうちの一方の画像を表示させる制御を行う表示制御手段と、を備える。これにより、実写案内画像及び地図案内画像のいずれを優先して表示させるかを適切に切り替えることができる。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、経路案内機能を有する端末装置に関する。
【背景技術】
【0002】
この種の技術が、例えば特許文献1及び2に記載されている。特許文献1には、ナビゲーション機能付き携帯端末装置において、車内に装備されているハンズフリー機器に携帯端末装置が接続された際に、ナビゲーション機能を選択的に起動させる技術が記載されている。特許文献2には、車両外部の状況に応じて、地図情報を用いた地図画像または車両外部の様子を示す実写画像のいずれを優先して表示するかを自動的に切り替える技術が記載されている。車両外部の状況としては、前方障害物(車両等)による遮蔽度や、外部の明るさや、雨や、霧や、先行車両までの距離や、道路の属性や、目印(信号、コンビニ等)の有無などが挙げられている。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開2007−163386号公報
【特許文献2】WO2007−129382号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
近年、「スマートフォン」と呼ばれる高機能携帯電話などの携帯型端末装置を、「クレードル」と呼ばれる保持装置を介して車両に設置し、利用する技術が提案されている。また、スマートフォンのカメラによる実写画像を用いた「ARナビ(AR:Augmented Reality)」などと呼ばれるナビゲーションが提案されている。ARナビは、カメラによる実写画像の上に、目的地までの方向や距離などの経路案内のための画像を重ねて表示するものである。そのため、ARナビを利用する場合には、カメラの撮影方向が車両の進行方向に一致していることが望ましいと言える。つまり、カメラの撮影方向が車両の進行方向からずれている場合には、ARナビを適切に行うことが困難になるものと考えられる。
【0005】
このようなことから、上記した特許文献1及び2に記載された技術を、スマートフォン及びクレードルを有するシステムに好適に適用することは困難であると考えられる。具体的には、特許文献1に記載された技術を適用した場合には、スマートフォンがクレードルに接続された際にARナビが起動されることとなるが、この際にカメラの撮影方向が進行方向からずれている場合には、ARナビを適切に実行することができないと言える。また、特許文献2に記載された技術を適用した場合には、車両外部の状況に基づいてARナビを優先して表示するか否かの判断が行われることとなるが、カメラの撮影方向が車両の進行方向とずれるような状況については考慮されていないため、ARナビを適切に実行することができない場合があると言える。
【0006】
本発明が解決しようとする課題としては、上記のものが一例として挙げられる。本発明は、カメラの撮影方向と車両の進行方向との関係に基づいて、実写案内画像及び地図案内画像のいずれを優先して表示させるかを適切に切り替えることが可能な端末装置、端末装置によって実行される画像表示方法及び画像表示プログラムを提供することを目的とする。
【課題を解決するための手段】
【0007】
請求項1に記載の発明は、目的地への経路案内を行う端末装置であって、撮影手段と、前記端末装置の傾きを検出する検出手段と、前記撮影手段によって撮影された画像上に経路案内のための画像が表示された実写案内画像、及び地図上に経路案内のための画像が表示された地図案内画像を表示可能な表示手段を制御する表示制御手段と、を有し、前記表示制御手段は、前記端末装置の傾きに基づいて、前記実写案内画像及び前記地図案内画像のうちの一方を優先して前記表示手段に表示させる制御を行う
【0008】
請求項に記載の発明は、目的地への経路案内を行い、撮影手段を有する端末装置によって実行される画像表示方法であって、前記端末装置の傾きを検出する検出工程と、前記撮影手段によって撮影された画像上に経路案内のための画像が表示された実写案内画像、及び地図上に経路案内のための画像が表示された地図案内画像を表示可能な表示手段を制御する表示制御工程と、を有し、前記表示制御工程は、前記端末装置の傾きに基づいて、前記実写案内画像及び前記地図案内画像のうちの一方を優先して前記表示手段に表示させる制御を行う
【0009】
請求項に記載の発明は、目的地への経路案内を行い、撮影手段とコンピュータとを有する端末装置によって実行される画像表示プログラムであって、前記端末装置の傾きを検出する検出手段、前記撮影手段によって撮影された画像上に経路案内のための画像が表示された実写案内画像、及び地図上に経路案内のための画像が表示された地図案内画像を表示可能な表示手段を制御する表示制御手段として前記コンピュータを機能させ、前記表示制御手段は、前記端末装置の傾きに基づいて、前記実写案内画像及び前記地図案内画像のうちの一方を優先して前記表示手段に表示させる制御を行う
【0010】
請求項7に記載の発明では、記録媒体は、請求項6に記載の画像表示プログラムを記録したことを特徴とする。
【図面の簡単な説明】
【0011】
【図1】端末保持装置に保持された状態にある端末装置を示す。
【図2】端末ホルダを回転させた状態の例を示す。
【図3】端末装置の概略構成を示す。
【図4】車室内に設置された状態にある端末保持装置及び端末装置の一例を示す。
【図5】撮影方向と進行方向とのずれを判断する方法の具体例を説明するための図を示す。
【図6】ナビゲーションのアプリケーションを起動する場合に実行される処理フローを示す。
【図7】ARナビの実行中に行われる処理フローを示す。
【図8】撮影方向と進行方向とのずれを判断する方法の一例を説明するための図を示す。
【図9】変形例5を説明するための図を示す。
【発明を実施するための形態】
【0012】
本発明の1つの観点では、移動体に取り付けられる端末装置は、撮影手段と、前記撮影手段の撮影方向と前記移動体の進行方向との関係に基づいて、前記撮影手段によって撮影された撮影画像を用いた実写案内画像と、地図情報を用いた地図案内画像とのいずれを優先して表示させるかの判定を行う判定手段と、前記判定手段による前記判定に基づいて、前記実写案内画像及び前記地図案内画像のうちの一方の画像を表示させる制御を行う表示制御手段と、を備える。
【0013】
上記の端末装置は、移動体に取り付けられ、カメラなどの撮影手段によって移動体の前方を撮影する。また、端末装置は、現在地から目的地までの経路案内(ナビゲーション)を行う機能を有する。判定手段は、撮影手段の撮影方向と移動体の進行方向との関係に基づいて、撮影手段によって撮影された撮影画像を用いた実写案内画像と、地図情報を用いた地図案内画像とのいずれを優先して表示させるかの判定を行う。具体的には、判定手段は、撮影方向と進行方向とのずれを判断することによって、このような判定を行う。そして、表示制御手段は、判定手段による判定結果に基づいて、実写案内画像及び地図案内画像のうちの一方の画像を表示させる制御を行う。上記の端末装置によれば、実写案内画像及び地図案内画像のうちで表示させる案内画像を適切に切り替えることができる。
【0014】
上記の端末装置の一態様では、前記判定手段は、前記撮影方向と前記進行方向とのずれが所定範囲内である場合には前記実写案内画像を優先して表示させると判定し、前記ずれが前記所定範囲外である場合には前記地図案内画像を優先して表示させると判定する。
【0015】
この態様によれば、撮影方向が進行方向からずれているような状況において、不適切な実写案内画像が表示されてしまうことを抑制することができる。つまり、適切な実写案内画像を表示できるような状況においてのみ、実写案内画像を優先的に切り替えて表示させることができる。
【0016】
好適には、前記判定手段は、前記撮影画像に含まれる白線の画像に基づいて、前記撮影方向と前記進行方向とのずれを判断することができる。
【0017】
また、好適には、前記判定手段は、前記端末装置及び/又は前記端末装置を保持可能に構成された保持装置に設けられたセンサの出力を取得し、当該センサの出力に基づいて、前記撮影方向と前記進行方向とのずれを判断することができる。
【0018】
更に、好適には、判定手段は、上記のようなセンサの出力と、撮影画像に含まれる白線の画像の両方を考慮して、撮影方向と進行方向とのずれを判断することもできる。これにより、撮影方向と進行方向とのずれを精度良く判断することが可能となる。
【0019】
上記の端末装置の他の一態様では、前記表示制御手段は、経路案内のための目的地が設定されていない場合には、前記地図案内画像を表示させる。これにより、ユーザは、地図案内画像を用いて目的地を設定することができる。
【0020】
上記の端末装置の他の一態様では、前記表示制御手段は、前記判定手段が前記判定を行っている最中は、前記地図案内画像を表示させる。この態様では、適切な実写案内画像を表示できるか否かの判断が不確定である状況においては、ユーザの便宜の観点から、実写案内画像を表示させずに、地図案内画像を表示させることができる。
【0021】
上記の端末装置の他の一態様では、前記表示制御手段は、前記実写案内画像を表示している際に前記端末装置に対する操作が行われた場合、前記実写案内画像から前記地図案内画像へ切り替える。この態様では、端末装置に対する操作が行われた場合には撮影方向が変わる傾向にあり、適切な実写案内画像を表示できない可能性があるため、表示画像を地図案内画像に切り替えることができる。
【0022】
本発明の他の観点では、移動体に取り付けられ、撮影手段を有する端末装置によって実行される画像表示方法は、前記撮影手段の撮影方向と前記移動体の進行方向との関係に基づいて、前記撮影手段によって撮影された撮影画像を用いた実写案内画像と、地図情報を用いた地図案内画像とのいずれを優先して表示させるかの判定を行う判定工程と、前記判定工程での前記判定に基づいて、前記実写案内画像及び前記地図案内画像のうちの一方の画像を表示させる制御を行う表示制御工程と、を備える。
【0023】
また、本発明の他の観点では、移動体に取り付けられ、撮影手段を有すると共にコンピュータを有する端末装置によって実行される画像表示プログラムは、前記コンピュータを、前記撮影手段の撮影方向と前記移動体の進行方向との関係に基づいて、前記撮影手段によって撮影された撮影画像を用いた実写案内画像と、地図情報を用いた地図案内画像とのいずれを優先して表示させるかの判定を行う判定手段、前記判定手段による前記判定に基づいて、前記実写案内画像及び前記地図案内画像のうちの一方の画像を表示させる制御を行う表示制御手段、として機能させる。
【0024】
上記の画像表示方法及び画像表示プログラムによっても、実写案内画像及び地図案内画像のうちで表示させる案内画像を適切に切り替えることができる。
【0025】
本発明の更に他の観点では、端末装置は、撮影手段と、前記端末装置の傾きを検出する検出手段と、前記撮影手段の撮影方向と前記端末装置の傾きとの関係に基づいて、前記撮影手段によって撮影された撮影画像を用いた実写案内画像と、地図情報を用いた地図案内画像とのいずれを優先して表示させるかの判定を行う判定手段と、前記判定手段による前記判定に基づいて、前記実写案内画像及び前記地図案内画像のうちの一方の画像を優先して表示させる制御を行う表示制御手段と、を備える。
【0026】
上記の端末装置によれば、ユーザが端末装置を携帯して利用する場合(例えば歩行者が端末装置を用いて経路案内を利用する場合)に、実写案内画像及び地図案内画像のうちで表示させる案内画像を適切に切り替えることができる。
【0027】
上記の端末装置の一態様では、前記検出手段は、水平面に対する前記撮影手段の撮影方向の傾きを検出し、前記判定手段は、前記撮影方向の傾きが水平面に対して所定の範囲内である場合に、前記実写案内画像を優先して表示させ、前記撮影方向の傾きが水平面に対して所定の範囲外である場合に、前記地図案内画像を優先して表示させると判定する。
【実施例】
【0028】
以下、図面を参照して本発明の好適な実施例について説明する。
【0029】
[装置構成]
まず、本実施例に係る端末装置の構成について説明する。
【0030】
図1は、端末保持装置1に保持された状態にある端末装置2を示している。図1(a)は正面図を示しており、図1(b)は側面図を示しており、図1(c)は背面図を示している。
【0031】
端末保持装置1は、主に、ベース11と、ヒンジ12と、アーム13と、基板ホルダ15と、端末ホルダ16とを備える。端末保持装置1は、いわゆるクレードルとして機能し、スマートフォンなどの端末装置2が取り付けられる。
【0032】
ベース11は、端末保持装置1を車両などの移動体に取り付ける際の土台として機能する。例えば、ベース11の下面には粘着テープや吸盤などが設けられ、ベース11はその粘着テープ等により車両のダッシュボードなどの設置面5に固定される。
【0033】
アーム13は、ヒンジ12に固定されるとともに、ベース11に対して回転可能に取り付けられている。ヒンジ12の回転により、アーム13は端末装置2の前後方向、つまり図1(b)の矢印41及び42の方向に回動する。つまり、車両の設置面5に固定されたベース11に対してヒンジ12を介してアーム13を回転させることにより、設置面5に対する基板ホルダ15及び端末ホルダ16の設置角度が調整可能となっている。
【0034】
基板ホルダ15は、カバー15aと、ボールリンク15bと、センサ基板15cと、センサ15dとを備える。ボールリンク15bは、アーム13の上端に取り付けられており、アーム13に対して基板ホルダ15を任意の角度で保持する。カバー15aは、基板ホルダ15の下端に設けられており、アーム13に対する基板ホルダ15の回転を規制する役割を有する。基板ホルダ15の内部にはセンサ基板15cが設けられており、センサ基板15cにはセンサ15dが設けられている。センサ15dの好適な一例は、移動体の水平回りの角速度又は加速度の少なくとも一方を検出するジャイロセンサである。
【0035】
端末ホルダ16は、端末装置2を保持するホルダである。端末ホルダ16は、コネクタ16a及び配線16bを有する。コネクタ16aは、端末ホルダ16の前面、即ち端末装置2が設置される面の底部に設けられ、端末装置2を端末ホルダ16に設置する際に、端末装置2のコネクタと接続される。コネクタ16aは、配線16bによりセンサ基板15cと電気的に接続されている。よって、センサ15dによる検出信号は、センサ基板15c、配線16b及びコネクタ16aを通じて端末装置2へ供給される。
【0036】
端末装置2は、端末装置2本体の前面側であり液晶表示パネルなどの表示部25を有する前面2aと、端末装置2本体の背面側の背面2bとを備える。通常、端末装置2は矩形の平板形状に構成されており、前面2aと背面2bとが略平行に構成されている。
【0037】
端末ホルダ16は前面側に接触面16cを有する。端末装置2を端末ホルダ16に取り付けた際、接触面16cは、端末装置2の背面2bに当接し、端末装置2の背面2bを支持する。なお、図1に示す例では、端末ホルダ16の接触面16cは、その全面が端末装置2の背面2bと接触するように構成されている。この代わりに、接触面16cのうちの1カ所又は数カ所を部分的に突出させ、その突出した部分のみが端末装置2の背面2bに当接する構造としても構わない。
【0038】
端末装置2の背面2bには、カメラ29が設けられている。また、端末保持装置1の端末ホルダ16には、端末装置2が端末保持装置1に保持された状態においてカメラ29の対向する位置に、孔部17が形成されている。孔部17は、カメラ29のレンズの径よりも大きな径に構成されている。これにより、端末装置2が端末保持装置1に保持された状態において、カメラ29は、端末ホルダ16の外壁に阻害されることなく、端末ホルダ16の後ろ側を撮影することができる。具体的には、カメラ29は車両の外部などを撮影する。
【0039】
なお、図1に示す例では、端末ホルダ16は、端末装置2の背面2bの略全面を覆うように構成され、端末装置2のカメラ29の対向する位置に孔部17が形成されている。この代わりに、端末装置2が端末保持装置1に保持された状態にて、端末装置2においてカメラ29が設けられた位置よりも下方の面のみを覆うように、端末ホルダ16を構成することができる。1つの例では、端末ホルダ16の接触面16cを、端末装置2のカメラ29が設けられた位置よりも下方の位置まで延在するような形状(言い換えると、端末装置2のカメラ29が設けられた位置よりも上方に接触面16cが存在しないような形状)に構成することができる。このような他の例では、端末保持装置1に孔部17を形成する必要はない。
【0040】
また、図1に示す例では、端末装置2の背面2bの左右方向における略中心線上にカメラ29が設けられているが、このような位置にカメラ29を設けることに限定はされない。例えば、背面2bの左右方向における中心線からある程度離れた位置にカメラ29を設けても良い。この場合には、端末ホルダ16に孔部17を形成する代わりに、端末装置2が端末保持装置1に保持された状態にて、端末装置2においてカメラ29が設けられた位置を含む部分に切り欠き部を形成することとしても良い。
【0041】
次に、基板ホルダ15に対する端末ホルダ16の回転機能について説明する。端末装置2を保持する端末ホルダ16は、基板ホルダ15に対して、90度単位で回転可能である。即ち、図1(a)の状態を回転角0度とした場合、端末ホルダ16は、時計回り又は反時計回りに0度、90度、180度、270度の4つの角度に回転した状態で固定することが可能である。なお、回転角90度毎に固定可能とした理由は、通常、端末装置2を見る際に、ユーザは表示部25を縦長又は横長に配置した状態で使用するためである。なお、前述のように、端末装置2は通常、矩形の平板形状を有しており、「縦長に配置」とは、表示部25の長手方向が縦となるような配置であり、「横長に配置」とは、表示部25の長手方向が横となるような配置である。
【0042】
図2に端末ホルダ16を回転させた状態の例を示す。端末保持装置1を正面側から見た場合、図2(a)の状態から矢印の方向に端末ホルダ16を90度回転させると、図2(b)に示す状態となる。また、端末保持装置1を背面側から見た場合、図2(c)の状態から矢印の方向に端末ホルダを90度回転させると、図2(d)に示す状態となる。
【0043】
構造的には、例えば基板ホルダ15の略中央に回転軸(図示せず)を設け、この回転軸に対して端末ホルダ16を固定することにより、基板ホルダ15に対して端末ホルダ16を回転可能とすることができる。また、基板ホルダ15と端末ホルダ16が相互に当接する面において、回転角90度毎に相互にはまり合う凹凸又は溝と突起などを設けることにより、90度毎の回転角位置において端末ホルダ16を固定することができる。なお、このような構造は単なる一例であり、センサ基板15cに対して端末ホルダ16を回転角90度毎に固定できれば、他の構造を採用しても構わない。
【0044】
次に、図3は、端末装置2の構成を概略的に示している。図3に示すように、端末装置2は、主に、CPU21と、ROM22と、RAM23と、通信部24と、表示部25と、スピーカ26と、マイク27と、操作部28と、カメラ29とを有する。端末装置2は、スマートフォンなどの通話機能を有する携帯型端末装置である。例えば、端末装置2は、端末保持装置1に保持された状態で、車両の運転者が表示部25を視認できるようなダッシュボード上の位置に設置される。
【0045】
CPU(Central Processing Unit)21は、端末装置2全体についての制御を行う。例えば、CPU21は、地図情報などを取得して、目的地までの経路案内(ナビゲーション)を行うための処理を実行する。この場合、CPU21は、経路案内を行うための案内画像を表示部25に表示させる。当該案内画像は、後述する実写案内画像又は地図案内画像が挙げられる。
【0046】
ROM(Read Only Memory)22は、端末装置2を制御するための制御プログラム等が格納された図示しない不揮発性メモリ等を有する。RAM(Random Access Memory)23は、操作部26を介してユーザにより設定されたデータを読み出し可能に格納したり、CPU21に対してワーキングエリアを提供したりする。なお、端末装置2内にROM22やRAM23以外の記憶部を設けて、当該記憶部に、地図情報や施設データなどの経路案内処理に用いられる各種データを記憶させておくこととしても良い。
【0047】
通信部24は、通信網を介して他の端末装置2と無線通信を行うことが可能に構成されている。また、通信部24は、例えばVICSセンタなどのサーバと無線通信を行うことが可能に構成されている。通信部24は、このようなサーバから、例えば地図情報や渋滞情報などのデータを受信することができる。
【0048】
表示部25は、例えば液晶ディスプレイなどにより構成され、ユーザに対して文字、画像などを表示する。スピーカ26は、ユーザに対する音声出力を行う。マイク27は、ユーザによって発せられた音声などを集音する。
【0049】
操作部28は、端末装置2の筐体に設けられた操作ボタンやタッチパネル式入力装置などにより構成することができ、ユーザによる各種の選択、指示が入力される。なお、表示部25がタッチパネル方式である場合には、表示部25の表示画面上に設けられたタッチパネルも操作部28として機能する。
【0050】
カメラ29は、例えばCCDカメラにより構成され、図1に示したように端末装置2の背面2bに設けられている。基本的には、カメラ29の光軸(レンズの中心から垂直方向に伸びる軸)の方向は、端末装置2の背面2bの垂直方向(言い換えると法線方向)に一致する。なお、カメラ29を、端末装置2の背面2bだけでなく、端末装置2の前面2aにも設けても良い。
【0051】
なお、カメラ29は本発明における撮影手段の一例に相当し、CPU21は本発明における判定手段及び表示制御手段の一例に相当する(詳細は後述する)。
【0052】
次に、図4は、車両3の車室内に設置された状態にある端末保持装置1及び端末装置2の一例を示している。図4に示すように、端末保持装置1は車両3のダッシュボードなどの設置面5に固定され、このように固定された状態にある端末保持装置1によって端末装置2が保持される。また、図4中の破線で示すように、端末装置2は、カメラ29によって、車両3の進行方向を撮影する。
【0053】
本明細書では、カメラ29の「撮影方向」は、カメラ29が向いている方向を意味し、より詳しくはカメラ29のレンズにおける光軸の方向に相当する。また、本明細書では、車両3の「進行方向」とは、車両3の前後方向(具体的には前方方向)を意味するものとする。この「進行方向」は、車両3が実際に進行している方向だけでなく、車両3が進行するであろう方向(車両3が進行すると予想される方向)も含むものとする。つまり、「進行方向」を定義する上で、車両3は必ずしも走行している必要はなく、車両3は停止していても良い。
【0054】
[表示制御方法]
次に、本実施例に係る表示制御方法について説明する。本実施例では、端末装置2内のCPU21は、目的地への経路案内を行う場合において、カメラ29による撮影画像(実写画像)を用いた実写案内画像と、地図情報を用いた地図案内画像(以下、「通常地図画像」とも呼ぶ。)との間で、表示画像を切り替える処理を行う。言い換えると、CPU21は、経路案内を行う場合に、カメラ29による撮影画像を用いたARナビと、地図情報などを用いた通常のナビゲーション(以下、単に「通常ナビ」とも呼ぶ。)との間で、実行するナビゲーションの種類を切り替える。この場合、CPU21は、カメラ29の撮影方向と車両3の進行方向との関係に基づいて、このような切り替えを行う。
【0055】
なお、「地図案内画像(通常地図画像)」は、地図情報に基づいて生成される、車両3の位置周辺の地図画像に相当する。また、「地図案内画像(通常地図画像)」は、経路案内のための画像(例えば探索された道路が目立つように示された画像など)が当該地図画像上に表示された画像、及び、このような経路案内のための画像が表示されていない、単に当該地図画像が表示された画像の両方を含むものとする。
【0056】
ここで、上記のような切り替えを行う理由について簡単に説明する。前述したように、端末保持装置1を介して端末装置2を車両3に設置した状態で、端末装置2のカメラ29によって撮影された車両前方の画像を用いて経路案内を行う「ARナビ」が知られている。ARナビは、カメラ29による撮影画像の上に、目的地までの方向や距離などの経路案内のための画像を重ねて表示させるものである(このような表示画像が、上記した「実写案内画像」に相当する)。そのため、ARナビを適切に行うためには、カメラ29の撮影方向が車両3の進行方向に一致していることが望ましいと言える。つまり、カメラ29の撮影方向が車両3の進行方向からずれている場合には、ARナビを適切に行うことが困難になるものと考えられる。
【0057】
本実施例では、以上説明した内容を勘案して、ARナビを適切に行えないような状況において、具体的にはカメラ29の撮影方向が車両3の進行方向からずれていると判断できるような状況において、ARナビが実行されないようにする、つまり実写案内画像が表示されないようにする。これを実現すべく、端末装置2内のCPU21は、カメラ29の撮影方向と車両3の進行方向とのずれに基づいて、実写案内画像と地図案内画像とのいずれを優先して表示させるかを判定する、言い換えるとARナビと通常ナビとのいずれを優先して実行すべきかを判定する。具体的には、CPU21は、撮影方向と進行方向とのずれが所定範囲内と判断される場合には、実写案内画像を優先して表示させると決定し、撮影方向と進行方向とのずれが所定範囲外と判断される場合には、地図案内画像を優先して表示させると決定する。なお、当該判断に用いられる「所定範囲」は、例えば、ARナビを適切に行えるか否かの観点に基づいて予め設定される。
【0058】
次に、カメラ29の撮影方向と車両3の進行方向とのずれを判断する方法の具体例について説明する。
【0059】
端末装置2内のCPU21は、カメラ29による撮影画像に対して画像処理を行うことで、撮影画像内における道路上の白線の画像を認識し、当該白線の画像に基づいて、カメラ29の撮影方向と車両3の進行方向とのずれを判断する。1つの例では、CPU21は、車両3が走行開始してからある程度の距離を走行した後に得られた複数の撮影画像を用い、複数の撮影画像内の白線の画像の変化に基づいて、撮影方向と進行方向とのずれについての判断を行う。この例では、CPU21は、複数の撮影画像において白線の画像がほとんど変化していない場合(例えば白線の位置や角度などの変化量が所定値未満である場合)には、撮影方向が進行方向からほとんどずれていないと判断する。この場合には、CPU21は、撮影方向と進行方向とのずれが所定範囲内と判断し、実写案内画像を優先して表示させると決定する。
【0060】
これに対して、CPU21は、複数の撮影画像において白線の画像が変化している場合(例えば白線の位置や角度などの変化量が所定値以上である場合)には、撮影方向が進行方向からずれていると判断する。また、CPU21は、複数の撮影画像内に白線の画像が含まれていない場合には、撮影方向が進行方向からずれていると判断する。このような場合には、CPU21は、撮影方向と進行方向とのずれが所定範囲外と判断し、地図案内画像を優先して表示させると決定する。
【0061】
次に、図5を参照して、上記した撮影方向と進行方向とのずれを判断する方法の適用例について説明する。図5(a)及び図5(b)は、カメラ29による撮影画像の一例を示す図である。具体的には、図5(a)は、カメラ29の撮影方向が車両3の進行方向からほとんどずれていない場合(つまりカメラ29の撮影方向が車両3の進行方向に概ね一致している場合)に撮影された撮影画像の一例を示しており、図5(b)は、カメラ29の撮影方向が車両3の進行方向からずれている場合に撮影された撮影画像の一例を示している。
【0062】
図5(a)に示すような撮影画像が得られた場合には、撮影画像内の白線の画像50がほとんど変化しないため、CPU21は、撮影方向と進行方向とのずれが所定範囲内と判断する。これに対して、図5(b)に示すような撮影画像が得られた場合には、撮影画像内に白線の画像が含まれていないため、CPU21は、撮影方向と進行方向とのずれが所定範囲外と判断する。なお、図5(a)及び図5(b)に示したような撮影画像は、撮影方向と進行方向とのずれを判断するために用いられ、基本的には、当該判断が行われている最中には表示部25に表示されない。
【0063】
以上説明したように、本実施例によれば、カメラ29の撮影方向と車両3の進行方向とのずれを適切に判断することによって、実写案内画像及び地図案内画像のうちで表示させる案内画像を適切に切り替えることができる。これにより、カメラ29の撮影方向が車両3の進行方向からずれているような状況において、不適切な実写案内画像が表示されてしまうことを抑制することができる。つまり、本実施例によれば、適切な実写案内画像を表示できるような状況においてのみ、実写案内画像を優先的に切り替えて表示させることができる。
【0064】
なお、上記のように、複数の撮影画像内の白線の変化に基づいて、撮影方向と進行方向とのずれを判断することに限定はされない。他の例では、撮影画像内の白線の位置や角度に基づいて、撮影方向と進行方向とのずれについての判断を行うことができる。この例では、CPU21は、白線が撮影画像の所定範囲内に位置する場合や、白線の傾きが所定範囲内の角度である場合には、撮影方向と進行方向とのずれが所定範囲内と判断する。これに対して、CPU21は、白線が撮影画像の所定範囲内に位置しない場合や、白線の傾きが所定範囲内の角度でない場合には、撮影方向と進行方向とのずれが所定範囲外と判断する。
【0065】
なお、上記のようにして、撮影方向と進行方向とのずれに基づいて優先的に表示させる決定がされた場合であっても、ユーザによる設定などによっては、優先的に表示させる決定がされた案内画像が表示されない場合もある。例えば、CPU21は、撮影方向と進行方向とのずれが所定範囲内であるため実写案内画像を優先して表示させると決定した場合であっても、自動的にARナビに切り替える設定がオフにされている場合には、実写案内画像を表示させずに、地図案内画像を表示させる。
【0066】
[処理フロー]
次に、図6及び図7を参照して、本実施例においてCPU21によって実行される処理フローについて説明する。
【0067】
図6は、本実施例において、ナビゲーション(ARナビ又は通常ナビ)のアプリケーションを起動する場合に実行される処理フローを示す。なお、当該処理フローは、端末装置2内のCPU21がROM22などに記憶されたプログラムを実行することにより実現される。
【0068】
まず、ステップS101では、CPU21は、通常地図画像を表示部25に表示させる。具体的には、CPU21は、通信部24を介してサーバから取得された地図情報や、記憶部に記憶された地図情報などに基づいて、通常地図画像を生成して表示部25に表示させる。このように処理フローの開始時に実写案内画像でなく通常地図画像を表示させるのは、例えば目的地の設定などの操作を通常地図画像上で行わせるためである。また、処理フローの開始時においては、実写案内画像を表示させる必要性は特にないと考えられるからである。ステップS101の後、処理はステップS102に進む。
【0069】
ステップS102では、CPU21は、端末装置2が端末保持装置1に取り付けられたか否かを判定する。例えば、端末装置2の取り付け及び取り外しを検出するセンサを端末保持装置1などに設けておき、CPU21は、当該センサからの出力信号を取得して、ステップS102の判定を行うことができる。端末装置2が端末保持装置1に取り付けられた場合(ステップS102;Yes)、処理はステップS103に進み、端末装置2が端末保持装置1に取り付けられていない場合(ステップS102;No)、処理はステップS102に戻る。
【0070】
ステップS103では、CPU21は、目的地の設定が行われたか否かを判定する。具体的には、CPU21は、ユーザが操作部28などを操作することで目的地の入力を行ったか否かを判定する。このような判定を行うのは、目的地の設定は、経路案内を開始するための条件の1つとなっているからである。目的地が設定されている場合(ステップS103;Yes)、処理はステップS106に進み、目的地が設定されていない場合(ステップS103;No)、処理はステップS103に戻る。
【0071】
なお、ステップS102の判定とステップS103の判定とを、実行する順序を逆にしても良い。つまり、目的地の設定が行われたか否かを判定した後に(具体的には目的地が設定されていると判定された場合に)、端末装置2が端末保持装置1に取り付けられたか否かを判定することとしても良い。
【0072】
ステップS106では、CPU21は、ARナビ自動切り替え設定がオンとなっているか否かを判定する。つまり、CPU21は、ユーザによって、自動的にARナビに切り替える設定がなされているか否かを判定する。ARナビ自動切り替え設定がオンである場合(ステップS106;Yes)、処理はステップS107に進む。
【0073】
ステップS107では、CPU21は、カメラ29を制御することで撮影を行わせる。そして、CPU21は、カメラ29によって撮影された撮影画像を取得する。この後、処理はステップS108に進む。なお、CPU21は、ARナビを起動するまでは、撮影画像を表示部25に表示させずに、内部で撮影画像に対する画像処理を行う。つまり、撮影画像は、後述するカメラ29の撮影方向と車両3の進行方向とのずれを判断する処理を行う際に用いられるが、CPU21は、このような処理を行っている最中には撮影画像を表示させない。この最中には、CPU21は、通常地図画像を表示させる。
【0074】
ステップS108では、CPU21は、通常ナビで経路案内を開始する。具体的には、CPU21は、地図情報などに基づいて現在地から目的地までの経路探索を行い、探索された経路に基づいた地図案内画像(通常地図画像)を表示部25に表示させる。このように、ARナビ自動切り替え設定がオンであるにも関わらず、通常ナビで経路案内を開始しているのは、現段階ではARナビを適切に行えるか否かの判断が不確定であるからである。つまり、ARナビを適切に行えるかの判断が不確定である状況においては、ユーザの便宜を考えると、実写案内画像を表示させるよりも、通常の地図案内画像を表示させたほうが望ましいと考えられるからである。ステップS108の後、処理はステップS109に進む。
【0075】
なお、ステップS107の処理とステップS108の処理とを、実行する順序を逆にしても良いし、ステップS107の処理とステップS108の処理とを同時に行っても良い。つまり、通常ナビで経路案内を開始した後にカメラ29で撮影することとしても良いし、通常ナビで経路案内を開始すると同時にカメラ29で撮影することとしても良い。
【0076】
ステップS109では、CPU21は、カメラ29の撮影方向が車両3の進行方向に概ね一致しているか否かを判定する。言い換えると、CPU21は、カメラ29の撮影方向と車両3の進行方向とのずれが所定範囲内であるか否かを判定する。例えば、CPU21は、上記したように、撮影画像に対して画像処理を行うことで撮影画像内の道路上に存在する白線の画像を認識し、当該白線の画像に基づいて撮影方向と進行方向とのずれについての判定を行う。この例では、CPU21は、車両3がある程度の距離を走行した際に得られた複数の撮影画像を用い、複数の撮影画像内の白線の変化に基づいて、撮影方向と進行方向とのずれについての判定を行う。CPU21は、複数の撮影画像において白線の画像がほとんど変化していない場合には、撮影方向が進行方向に概ね一致していると判定する(ステップS109;Yes)、言い換えると撮影方向と進行方向とのずれが所定範囲内と判断する。この場合には、CPU21は、ARナビを適切に行える状況であると判断し、ARナビを起動する(ステップS111)。具体的には、CPU21は、カメラ29による撮影画像の上に、経路案内するための画像を重ねて示した実写案内画像を表示部25に表示させる。そして、処理は終了する。
【0077】
これに対して、CPU21は、複数の撮影画像において白線の画像が変化している場合には、撮影方向が進行方向からずれていると判定する(ステップS109;No)、言い換えると撮影方向と進行方向とのずれが所定範囲外と判断する。この場合には、CPU21は、通常ナビによる経路案内を継続する(ステップS110)。言い換えると、CPU21は、通常地図画像を継続して表示させる。そして、処理はステップS109に戻る。つまり、撮影方向が進行方向に概ね一致するまで、具体的にはユーザによる撮影方向の調整によって撮影方向が進行方向に概ね一致するまで、ステップS109及びS110の処理が繰り返し実行される。ユーザは、ARナビ自動切り替え設定をオンに設定したにも関わらず、通常地図画像が継続されて表示されている場合には、撮影方向が進行方向に概ね一致していないと判断して、撮影方向の調整を行うことができる。つまり、ユーザは、表示されている案内画面の種類を確認しながら、撮影方向の調整を行うことができる。
【0078】
一方で、ARナビ自動切り替え設定がオンでない場合(ステップS106;No)、処理はステップS112に進む。ステップS112では、CPU21は、上記のステップS108と同様の手順で、通常ナビで経路案内を開始する。そして、処理は終了する。なお、このような通常ナビは、車両3が目的地に到着するまで実行される。
【0079】
次に、図7を参照して、ARナビの実行中に行われる処理フローについて説明する。具体的には、当該処理フローは、上記したステップS111の後に実行される。なお、当該処理フローも、端末装置2内のCPU21がROM22などに記憶されたプログラムを実行することにより実現される。
【0080】
まず、ステップS201では、CPU21は、ユーザによって、端末装置2に対する操作が行われたか否かを判定する。つまり、CPU21は、ARナビの実行中に、ユーザによって操作部28などに対する操作が行われたか否かを判定する。例えば、実写案内画像から通常地図画像へ切り替えるための切り替えボタンを押し下げる操作や、目的地を再設定するためのボタンを押し下げる操作などが行われたか否かを判定する。端末装置2に対する操作が行われた場合(ステップS201;Yes)、処理はステップS202に進む。
【0081】
ステップS202では、CPU21は、ARナビを終了し、表示画像を実写案内画像から通常地図画像へ切り替える。こうする理由は以下の通りである。まず、実写案内画像から通常地図画像へ切り替えるための切り替えボタンが押し下げられた場合には、速やかに実写案内画像から通常地図画像へ切り替えるべきと考えられるからである。また、当該切り替えボタンの代わりに、目的地を再設定するためのボタンが押し下げられた場合には、目的地の再設定などの操作を通常地図画像上で行わせることが望ましいと考えられるからである。更に、端末装置2における全てのボタンが操作された場合に言えることとして、端末装置2に対する操作が行われると、カメラ29の撮影方向が変わることで、撮影方向が進行方向からずれる傾向にあるからである。つまり、適切な実写案内画像を表示できない可能性があるからである。
【0082】
ステップS202の後、処理は図6に示したステップS103に進む。この場合には、図6に示した手順と同様の手順で、ステップS103以降の処理が行われる。こうしているのは、上記したような端末装置2に対する操作が行われた場合には、目的地の設定が行われたか否かの判定(ステップS103)や、カメラ29の撮影方向が車両3の進行方向に概ね一致しているか否かの判定(ステップS109)などを、再度行うことが望ましいからである。つまり、上記したような端末装置2に対する操作が行われた場合には、目的地の設定や、端末保持装置1の傾きの調整や、カメラ29の撮影方向の調整などを、ユーザに再度行わせることが望ましいからである。
【0083】
一方、端末装置2に対する操作が行われていない場合(ステップS201;No)、処理はステップS203に進む。ステップS203では、CPU21は、端末装置2が端末保持装置1から取り外されたか否かを判定する。例えば、端末装置2の取り付け及び取り外しを検出するセンサを端末保持装置1などに設けておき、CPU21は、当該センサからの出力信号を取得して、ステップS203の判定を行うことができる。端末装置2が端末保持装置1から取り外された場合(ステップS203;Yes)、処理はステップS204に進む。
【0084】
ステップS204では、CPU21は、ARナビを終了し、表示画像を実写案内画像から通常地図画像へ切り替える。こうするのは、端末装置2が端末保持装置1から取り外された場合には、ユーザが実写案内画像を参照して経路案内を利用することは考え難いからである、つまり実写案内画像を表示させる必要性は特にないと考えられるからである。
【0085】
ステップS204の後、処理は図6に示したステップS102に進む。つまり、端末装置2が端末保持装置1に取り付けられたか否かの判定(ステップS102)が再度行われる。そして、端末装置2が端末保持装置1に取り付けられた場合(ステップS102;Yes)、図6に示した手順と同様の手順で、ステップS103以降の処理が行われる。こうしているのは、端末装置2が端末保持装置1から取り外された後に端末保持装置1に取り付けられた場合には、目的地の設定が行われたか否かの判定(ステップS103)や、端末保持装置1が地面に対して略水平又は略垂直であるか否かの判定(ステップS104)や、カメラ29の撮影方向が車両3の進行方向に概ね一致しているか否かの判定(ステップS109)などを、再度行うことが望ましいからである。つまり、端末装置2が端末保持装置1から取り外された後に端末保持装置1に取り付けられた場合には、端末保持装置1の傾きの調整や、カメラ29の撮影方向の調整などを、ユーザに再度行わせることが望ましいからである。
【0086】
一方、端末装置2が端末保持装置1から取り外されていない場合(ステップS203;No)、処理はステップS205に進む。ステップS205では、CPU21は、車両3が目的地に到着したか否かを判定する。目的地に到着した場合(ステップS205;Yes)、CPU21は、ARナビを終了し、表示画像を実写案内画像から通常地図画像へ切り替える(ステップS206)。この後、処理は終了する。これに対して、目的地に到着していない場合(ステップS205;No)、処理はステップS201に戻る。
【0087】
以上説明した処理フローによれば、実写案内画像及び地図案内画像(通常地図画像)のうちで表示させる案内画像を適切に切り替えることができる。具体的には、ユーザが切り替え操作することなく、状況に応じた適切な案内画面を優先的に自動的に切り換えて表示させることができる。
【0088】
[変形例]
以下では、上記した実施例の変形例について説明する。
【0089】
(変形例1)
上記では、撮影画像内における道路上の白線の画像に基づいて撮影方向と進行方向とのずれを判断する例を示した。変形例1では、撮影画像内の白線を用いる代わりに、撮影画像内で道路の画像が占める割合に基づいて、撮影方向と進行方向とのずれを判断する。具体的には、変形例1では、CPU21は、撮影画像を画像分析することで撮影画像内で道路の画像が占める割合を求め、求められた割合と所定値とを比較することで、撮影方向と進行方向とのずれを判断する。CPU21は、求められた割合が所定値以上であれば、撮影方向と進行方向とのずれが所定範囲内と判断して、実写案内画像を優先して表示させると決定する。これに対して、CPU21は、求められた割合が所定値未満であれば、撮影方向と進行方向とのずれが所定範囲外と判断して、地図案内画像を優先して表示させると決定する。
【0090】
(変形例2)
変形例2では、撮影画像内の白線や、撮影画像内で道路が占める割合を用いる代わりに、撮影画像内での道路の画像の位置に基づいて、撮影方向と進行方向とのずれを判断する。具体的には、変形例2では、CPU21は、撮影画像を画像分析することで撮影画像内における道路の画像を認識し、当該道路の画像が撮影画像の所定範囲内に位置するか否かによって、撮影方向と進行方向とのずれを判断する。CPU21は、道路の画像が撮影画像の所定範囲内に位置する場合、例えば道路の画像が撮影画像の概ね中央の領域に位置する場合、撮影方向と進行方向とのずれが所定範囲内と判断して、実写案内画像を優先して表示させると決定する。これに対して、CPU21は、道路の画像が撮影画像の所定範囲内に位置しない場合、例えば道路の画像が撮影画像の端の領域に位置する場合、撮影方向と進行方向とのずれが所定範囲外と判断して、地図案内画像を優先して表示させると決定する。
【0091】
(変形例3)
変形例3では、上記した実施例及び変形例1、2のように撮影画像を画像分析することで撮影方向と進行方向とのずれを判断する代わりに、端末装置2及び/又は端末保持装置1に設けられたセンサの出力に基づいて、撮影方向と進行方向とのずれを判断する。具体的には、変形例3では、CPU21は、車両3の走行状態(速度、加速度、位置など)を検出するセンサの出力に基づいて、撮影方向と進行方向とのずれを判断する。1つの例では、CPU21は、端末保持装置1に設けられ、少なくとも2次元方向の速度を検出可能なセンサ(直接的に速度を検出するセンサに限られず、間接的に速度を検出可能なセンサも含む)の出力に基づいて進行方向を求めることで、撮影方向と進行方向とのずれを判断する。
【0092】
ここで、図8を参照して、撮影方向と進行方向とのずれを判断する方法の一例について説明する。
【0093】
図8(a)は、端末保持装置1に保持された状態にある端末装置2を上方から観察した図を示している。なお、図8(a)では、説明の便宜上、端末保持装置1及び端末装置2を簡略化して図示している。図8(a)に示すように、端末保持装置1の基板ホルダ15内にはセンサ15dが設けられている。センサ15dは、2次元方向の加速度を検出可能に構成された加速度センサ(言い換えるとGセンサ)である。以下では、「センサ15d」を「加速度センサ15d」と表記する。前述したように、端末装置2が端末保持装置1に保持された状態(詳しくは端末装置2のコネクタと端末ホルダ16内のコネクタ16aとが接続された状態)において、加速度センサ15dの出力信号は、基板ホルダ15内のセンサ基板15c、端末ホルダ16内の配線16b及びコネクタ16aを通じて端末装置2へ供給される。この場合、端末装置2内のCPU21が、加速度センサ15dの出力信号を取得する。
【0094】
具体的には、加速度センサ15dは、図8(a)に示すようなX方向の加速度及びY方向の加速度を検出する。加速度センサ15dは、端末保持装置1に固定され、端末保持装置1に取り付けられる端末装置2のカメラ29との位置関係は一定であるので、加速度センサ15dが加速度を検出するX方向及びY方向とカメラ29の撮影方向とは一定の関係にある。なお、図8(a)に示すように、X方向と撮影方向とが一致するように構成されているものとする。
【0095】
図8(b)は、図8(a)と同様に、端末保持装置1に保持された状態にある端末装置2を示しているが、ここでは、端末装置2が車両3の進行方向を向いていない状態、つまりカメラ29の撮影方向が車両3の進行方向に一致していない状態の図を示している。端末保持装置1に端末装置2が保持された状態においては、端末保持装置1の向きは端末装置2の向きに一致する。そのため、端末保持装置1内の加速度センサ15dによって、端末装置2の向き(具体的には端末装置2内のカメラ29の撮影方向)を適切に検出することができると言える。
【0096】
図8(c)は、図8(b)中の加速度センサ15dのみを図示したものである。加速度センサ15dは、図8(c)に示すようなX方向及びY方向についての2次元方向の加速度を検出する。X方向は、カメラ29の撮影方向に対応する。車両3の進行方向に対してカメラ29の撮影方向がずれていると、加速度センサ15dによって検出されるX方向の加速度とY方向の加速度との比から、車両3の進行方向に対するカメラ29の撮影方向(X方向)のずれ角θを算出することができる。ずれ角θは、以下の式(1)より算出することができる。
ずれ角θ=arctan(Y方向の加速度/X方向の加速度) 式(1)
具体的には、ずれ角θは、端末装置2内のCPU21によって算出される。この場合、CPU21は、加速度センサ15dによって検出されたX方向の加速度及びY方向の加速度に対応する出力信号を取得し、当該出力信号に基づいてずれ角θを算出する。
【0097】
そして、CPU21は、ずれ角θが所定角度未満である場合には、カメラ29の撮影方向と車両3の進行方向とのずれが所定範囲内であると判定し、ずれ角θが当該所定角度以上である場合には、カメラ29の撮影方向と車両3の進行方向とのずれが所定範囲外であると判定する。
【0098】
なお、上記のように加速度センサ15dなどのセンサの出力のみに基づいて撮影方向と進行方向とのずれを判断することに限定はされず、センサの出力だけでなく、実施例及び変形例1、2のように撮影画像を画像分析した結果に基づいて、撮影方向と進行方向とのずれを判断しても良い。つまり、センサの出力と、実施例及び変形例1、2のいずれか1以上の手法によって撮影画像を画像分析した結果とを組み合わせて用いて、撮影方向と進行方向とのずれを判断しても良い。こうすることで、撮影方向は進行方向に概ね一致しているが、カメラ29の前に障害物がある場合などにおいて、誤って実写案内画像から地図案内画像へ切り替えられてしまうことを防止することが可能となる。
【0099】
(変形例4)
変形例4では、CPU21は、ARナビの実行中に、定期的に(つまり所定周期で繰り返し)、撮影方向と進行方向とのずれに対する判定を行うことで、実写案内画像と地図案内画像とを切り替える表示制御を行う。これにより、撮影方向と進行方向とのずれが生じた際に、速やかに実写案内画像から地図案内画像へ切り替えることができる。
【0100】
(変形例5)
上記した実施例は、本発明を、端末保持装置1に搭載された状態にある端末装置2(つまり、端末保持装置1を介して移動体に搭載された状態にある端末装置2)に対して適用したものであった。これに対して、変形例5は、ユーザが単に携帯する端末装置2に対して適用されるものである。例えば、変形例5は、歩行者が端末装置2を用いて経路案内を利用する場合に適用される。
【0101】
図9を参照して、変形例5について具体的に説明する。図9(a)に示すように、ユーザが歩行中などに実写案内画像によるARナビを利用する場合には、カメラ29の撮影方向が略水平であることが望ましいので、ユーザは端末装置2を縦にする傾向にある。つまり、ユーザは、端末装置2の傾きを地面に対して略垂直にした状態で、端末装置2を利用する傾向にある。これに対して、図9(b)に示すように、ユーザが歩行中などに地図案内画像による通常ナビを利用する場合には、地図案内画像を見やすくするために(その他の理由としては、図9(a)のように縦にした状態で保持すると疲れるといった理由が挙げられる)、ユーザは端末装置2を寝かせる傾向にある。つまり、ユーザは、端末装置2の傾きを地面に対して水平に近付けた状態で、端末装置2を利用する傾向にある。
【0102】
以上のことから、変形例5では、端末装置2のCPU21は、カメラ29の撮影方向と端末装置2の傾きとの関係に基づいて、実写案内画像と地図案内画像とのいずれを優先して表示させるかを判定する、言い換えるとARナビと通常ナビとのいずれを優先して実行すべきかを判定する。具体的には、CPU21は、カメラ29の撮影方向の傾きが水平面に対して所定の範囲内である場合には、実写案内画像を優先して表示させると決定し、カメラ29の撮影方向の傾きが水平面に対して所定の範囲外である場合には、地図案内画像を優先して表示させると決定する。
【0103】
なお、このような判定に用いられる「所定の範囲」は、実際の歩行者によるARナビ及び通常ナビの利用時における端末装置2の傾きを勘案して予め設定される。また、CPU21は、移動体の水平回りの角速度又は加速度の少なくとも一方を検出するセンサ15d(ジャイロセンサ)の出力に基づいて、カメラ29の撮影方向の傾きを求める。
【0104】
(変形例6)
上記では本発明を車両に適用する例を示したが、本発明の適用はこれに限定されない。本発明は、車両の他に、船や、ヘリコプターや、飛行機などの種々の移動体に適用することができる。
【0105】
以上に述べたように、実施例は、上述した実施例に限られるものではなく、特許請求の範囲及び明細書全体から読み取れる発明の要旨あるいは思想に反しない範囲で適宜変更可能である。
【産業上の利用可能性】
【0106】
本発明は、通話機能を有する携帯電話や、経路案内を行うナビゲーション装置に利用することができる。
【符号の説明】
【0107】
1 端末保持装置
2 端末装置
3 車両
15 基板ホルダ
16 端末ホルダ
21 CPU
25 表示部
28 操作部
29 カメラ

【特許請求の範囲】
【請求項1】
目的地への経路案内を行う端末装置であって、
撮影手段と、
前記端末装置の傾きを検出する検出手段と、
前記撮影手段によって撮影された画像上に経路案内のための画像が表示された実写案内画像、及び地図上に経路案内のための画像が表示された地図案内画像を表示可能な表示手段を制御する表示制御手段と、を有し、
前記表示制御手段は、前記端末装置の傾きに基づいて、前記実写案内画像及び前記地図案内画像のうちの一方を優先して前記表示手段に表示させる制御を行うことを特徴とする端末装置。
【請求項2】
前記検出手段は、前記撮影手段の撮影方向の傾きを検出し、
前記表示制御手段は、前記撮影手段の撮影方向の傾きが地面に水平である場合に、前記実写案内画像を前記表示手段に表示させることを特徴とする請求項1に記載の端末装置。
【請求項3】
前記検出手段は、前記撮影手段の撮影方向の傾きを検出し、
前記表示制御手段は、前記撮影手段の撮影方向の傾きが水平面に対して予め設定した範囲内である場合に、前記実写案内画像を前記表示手段に表示させ、前記撮影手段の撮影方向の傾きが水平面に対して前記予め設定した範囲外である場合に、前記地図案内画像を前記表示手段に表示させることを特徴とする請求項1に記載の端末装置。
【請求項4】
前記実写案内画像の表示を無効に設定する設定手段を更に備え、
前記表示制御手段は、前記実写案内画像の表示が無効に設定されている際には、前記実写案内画像の表示が優先される場合であっても、前記実写案内画像を前記表示手段に表示させないことを特徴とする請求項1乃至3のいずれか一項に記載の端末装置。
【請求項5】
目的地への経路案内を行い、撮影手段を有する端末装置によって実行される画像表示方法であって、
前記端末装置の傾きを検出する検出工程と、
前記撮影手段によって撮影された画像上に経路案内のための画像が表示された実写案内画像、及び地図上に経路案内のための画像が表示された地図案内画像を表示可能な表示手段を制御する表示制御工程と、を有し、
前記表示制御工程は、前記端末装置の傾きに基づいて、前記実写案内画像及び前記地図案内画像のうちの一方を優先して前記表示手段に表示させる制御を行うことを特徴とする画像表示方法。
【請求項6】
目的地への経路案内を行い、撮影手段とコンピュータとを有する端末装置によって実行される画像表示プログラムであって、
前記端末装置の傾きを検出する検出手段、
前記撮影手段によって撮影された画像上に経路案内のための画像が表示された実写案内画像、及び地図上に経路案内のための画像が表示された地図案内画像を表示可能な表示手段を制御する表示制御手段として前記コンピュータを機能させ、
前記表示制御手段は、前記端末装置の傾きに基づいて、前記実写案内画像及び前記地図案内画像のうちの一方を優先して前記表示手段に表示させる制御を行うことを特徴とする画像表示プログラム。
【請求項7】
請求項6に記載の画像表示プログラムを記録したことを特徴とする記録媒体。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate

【図9】
image rotate


【公開番号】特開2012−230115(P2012−230115A)
【公開日】平成24年11月22日(2012.11.22)
【国際特許分類】
【出願番号】特願2012−149646(P2012−149646)
【出願日】平成24年7月3日(2012.7.3)
【分割の表示】特願2011−170118(P2011−170118)の分割
【原出願日】平成22年11月18日(2010.11.18)
【公序良俗違反の表示】
(特許庁注:以下のものは登録商標)
1.VICS
【出願人】(000005016)パイオニア株式会社 (3,620)
【Fターム(参考)】