車載システム
【課題】携帯装置が備える拡張現実アプリケーションの機能を利用できる「車載システム」を提供する。
【解決手段】車載装置１のＡＲクライアントアプリケーション１１１は、ナビゲーションアプリケーション１１０から現在位置と現在の前方方向とを取得し、これらを指定情報として、フロントカメラ１０７撮影領域内の地点に対して登録されたエアタグ情報を、スマートフォン２のＡＲアプリケーション２１２の機能を利用してＡＲサーバ４から取得する。そして、取得したエアタグ情報を、フロントカメラ１０７で撮影した自動車前方の画像上の、エアタグ情報が登録されている地点が写り込む位置に表示する（ａ１）。
【解決手段】車載装置１のＡＲクライアントアプリケーション１１１は、ナビゲーションアプリケーション１１０から現在位置と現在の前方方向とを取得し、これらを指定情報として、フロントカメラ１０７撮影領域内の地点に対して登録されたエアタグ情報を、スマートフォン２のＡＲアプリケーション２１２の機能を利用してＡＲサーバ４から取得する。そして、取得したエアタグ情報を、フロントカメラ１０７で撮影した自動車前方の画像上の、エアタグ情報が登録されている地点が写り込む位置に表示する（ａ１）。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、自動車内ユーザに拡張現実を提供する技術に関するものである。
【背景技術】
【０００２】
拡張現実を提供する技術としては、カメラを備えた携帯電話端末であって、通信を介してサーバから取得した携帯電話端末の周辺の地点の情報を、カメラで実空間の周辺の風景を撮影した映像上の当該地点に対応する位置に重畳表示する拡張現実アプリケーションを備えた携帯電話端末の技術が知られている（たとえば、特許文献１）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１０-２３８０９６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
自動車内において、運転者は、自身の携帯電話端末のカメラを操作して風景を撮影することはできない。また、運転者でない他の同乗者であっても、自動車のボディ等が障害となって、携帯電話端末のカメラを操作して良好に自動車外部の風景を撮影することが困難であることが多い。そして、このために、自動車の搭乗者は、上述した拡張現実アプリケーションを備えた携帯電話端末を所持していても、これを充分に活用することができない。
【０００５】
そこで、本発明は、自動車内において携帯装置が備える拡張現実提供機能を利用可能とすることを課題とする。
【課題を解決するための手段】
【０００６】
前記課題達成のために、本発明は、内蔵カメラと、拡張現実提供機能とを備えた携帯装置が接続される、自動車に搭載される車載システムであって、前記拡張現実提供機能は、指定位置と指定方位とを指定したエアタグ情報要求に応じて当該指定位置から指定方位方向を観察した場合に観察される領域内の地点に関係づけられたエアタグ情報を提供するサーバに、前記指定位置として当該携帯装置の現在位置を指定し、前記指定方位として前記内蔵カメラの撮影方向の方位を指定した前記エアタグ情報要求を発行して、当該サーバから前記エアタグ情報を取得すると共に、取得したエアタグ情報を、前記内蔵カメラで撮影した撮影画像上の当該エアタグ情報が関係づけられた地点に対応する位置に配置した拡張現実画像を表示する機能である車載システムに、前記自動車の外部を撮影するカメラと、前記自動車の現在位置を算出する現在位置算出手段と、前記カメラの撮影方向の方位を算出する撮影方向算出手段と、前記現在位置算出手段が算出した前記自動車の現在位置を指定位置とし、前記撮影方向算出手段が算出した前記カメラの撮影方向の方位を前記指定方位とする前記エアタグ情報要求を、前記携帯装置の前記拡張現実提供機能を介して前記サーバに発行すると共に、当該発行した前記エアタグ情報要求に応じて前記サーバから前記携帯装置の前記拡張現実提供機能に提供されたエアタグ情報を取得するエアタグ情報取得手段と、前記エアタグ情報取得手段が取得したエアタグ情報を、前記カメラで撮影した撮影画像上の当該エアタグ情報が関係づけられた地点に対応する位置に配置した画像を表示する拡張現実画像表示手段とを設けたものである。
【０００７】
ここで、このような車載システムには、さらに、地図を記憶した地図記憶手段と、前記エアタグ情報取得手段が取得したエアタグ情報を、前記地図記憶手段に記憶されている地図を表した地図画像上の当該エアタグ情報が関係づけられた地点に対応する位置に配置した画像を表示する地図表示手段とを設けるようにしてもよい。
【０００８】
また、このような車載システムは、当該車載システムに、前記自動車の走行速度を検出する車速検出手段を備え、前記拡張現実画像表示手段において、前記車速検出手段が検出した車速が所定速度を超える場合に、前記現在位置算出手段が算出した現在位置との距離が所定距離以内である地点に関係づけられた前記エアタグ情報の、前記カメラで撮影した撮影画像上への配置を行わないように構成してもよい。
【０００９】
また、このような車載システムは、当該車載システムに、前記自動車の走行速度を検出する車速検出手段を設け、前記拡張現実画像表示手段において、前記車速検出手段が検出した車速が所定速度未満である場合に、前記現在位置算出手段が算出した現在位置との距離が所定距離を超える地点に関係づけられた前記エアタグ情報の、前記カメラで撮影した撮影画像上への配置を行わないように構成してもよい。
【００１０】
また、このような車載システムは、当該車載システムに、地図を記憶した地図記憶手段と、前記地図記憶手段が記憶した地図に基づいてユーザから設定された目的地までのルートを探索し、ユーザに対して案内するルート案内手段とを設け、前記拡張現実画像表示手段において、前記ルートとの距離が所定距離を超える地点に関係づけられた前記エアタグ情報の、前記カメラで撮影した撮影画像上への配置を行わないように構成しても良い。
【００１１】
また、このような車載システムは、当該車載システムに、地図を記憶した地図記憶手段と、前記地図記憶手段が記憶した地図と前記現在位置算出手段が算出した現在位置とに基づいて、前記自動車の交差点への接近を検出する交差点接近検出手段とを設け、前記拡張現実画像表示手段において、前記交差点接近検出手段が前記交差点への接近を検出した場合に、前記エアタグ情報の前記カメラで撮影した撮影画像上への配置を行わないように構成してもよい。
【００１２】
これらのような車載システムによれば、車載システムが備えるカメラを、携帯装置が備える内蔵カメラに代えて用いた拡張現実を、携帯装置が備える拡張現実提供機能を利用して、ユーザに提供することができる。
また、前記課題達成のために、本発明は、内蔵カメラと、拡張現実提供機能とを備えた携帯装置が接続される、自動車に搭載される車載システムであって、前記拡張現実提供機能は、指定位置と指定方位とを指定したエアタグ情報要求に応じて当該指定位置から指定方位方向を観察した場合に観察される領域内の地点に関係づけられたエアタグ情報を提供するサーバに、前記指定位置として当該携帯装置の現在位置を指定し、前記指定方位として前記内蔵カメラの撮影方向の方位を指定した前記エアタグ情報要求を発行して、当該サーバから前記エアタグ情報を取得すると共に、取得したエアタグ情報を、前記内蔵カメラで撮影した撮影画像上の当該エアタグ情報が関係づけられた地点に対応する位置に配置した拡張現実画像を表示する機能である車載システムに、地図を記憶した地図記憶手段と、前記自動車の現在位置を算出する現在位置算出手段と、前記自動車の前方方向の方位を算出する進行方向算出手段と、前記現在位置算出手段が算出した前記自動車の現在位置を指定位置とし、前記進行方向算出手段が算出した前記前方方向の方位を前記指定方位とする前記エアタグ情報要求を、前記携帯装置の前記拡張現実提供機能を介して前記サーバに発行すると共に、当該発行した前記エアタグ情報要求に応じて前記サーバから前記携帯装置の前記拡張現実提供機能に提供されたエアタグ情報を取得するエアタグ情報取得手段と、前記エアタグ情報取得手段が取得したエアタグ情報を、前記地図記憶手段に記憶されている地図を表した地図画像上の当該エアタグ情報が関係づけられた地点に対応する位置に配置した画像を表示する地図表示手段と設けたものである。
【００１３】
ここで、このような車載システムは、当該車載システムに、前記自動車の走行速度を検出する車速検出手段を備え、前記地図画像表示手段において、前記車速検出手段が検出した車速が所定速度を超える場合に、前記現在位置算出手段が算出した現在位置との距離が所定距離以内である地点に関係づけられた前記エアタグ情報の、前記地図画像上への配置を行わないように構成してもよい。
【００１４】
また、このような車載システムは、当該車載システムに、前記自動車の走行速度を検出する車速検出手段を設け、前記地図画像表示手段において、前記車速検出手段が検出した車速が所定速度未満である場合に、前記現在位置算出手段が算出した現在位置との距離が所定距離を超える地点に関係づけられた前記エアタグ情報の、前記地図画像上への配置を行わないように構成してもよい。
【００１５】
また、このような車載システムは、当該車載システムに、前記地図記憶手段が記憶した地図に基づいてユーザから設定された目的地までのルートを探索し、ユーザに対して案内するルート案内手段を設け、前記地図画像表示手段において、前記ルートとの距離が所定距離を超える地点に関係づけられた前記エアタグ情報の、前記地図画像上への配置を行わないように構成してもよい。
【００１６】
また、このような車載システムは、当該車載システムに、前記地図記憶手段が記憶した地図と前記現在位置算出手段が算出した現在位置とに基づいて、前記自動車の交差点への接近を検出する交差点接近検出手段を設け、前記地図画像表示手段において、前記交差点接近検出手段が前記交差点への接近を検出した場合に、前記エアタグ情報の前記地図画像上への配置を行わないことように構成してもよい。
【００１７】
これらのような車載システムによれば、エアタグ情報を、地図を携帯装置が備える内蔵カメラで撮影した画像に代えて用いた形態で、携帯装置が備える拡張現実提供機能を利用して、ユーザに提供することができる。
【発明の効果】
【００１８】
以上のように、本発明によれば、自動車内において携帯装置の拡張現実提供機能を利用可能とすることができる。
【図面の簡単な説明】
【００１９】
【図１】本発明の実施形態に係る拡張現実システムの構成を示すブロック図である。
【図２】本発明の実施形態に係る車載装置とスマートフォンの構成を示すブロック図である。
【図３】本発明の実施形態に係るエアタグ情報とスマートフォンの拡張現実機能を示す図である。
【図４】本発明の実施形態に係るエアタグ情報取得処理とエアタグ情報表示処理を示すフローチャートである。
【図５】本発明の実施形態に係るエアタグ情報表示処理の処理例を示す図である。
【発明を実施するための形態】
【００２０】
以下、本発明の実施形態について説明する。
図１に本実施形態に係る拡張現実システムの構成を示す。
図示するように、拡張現実システムは、自動車に搭載される車載装置１、車載装置１と接続可能な携帯装置であるスマートフォン２、スマートフォン２が移動体通信網３を介してアクセス可能なＡＲ（AR： Augmented Reality/拡張現実）サーバ４とを含んで構成される。
【００２１】
次に、図２に車載装置１とスマートフォン２の構成を示す。
図示するように、スマートフォン２は、ＧＰＳ受信機２０１、電子コンパス２０２、記憶部２０３、移動体通信網３にアクセスするための移動通信装置２０４、操作部２０５、ディスプレイ２０６、マイクやスピーカなどを備えた音声入出力部２０７、カメラ２０８、車載装置１と接続するためのホストインタフェース２０９、スマートフォン２のＯＳであるところのＳＰ-オペレーティングシステム２１０、ＳＰ-オペレーティングシステム２１０によって管理されＳＰ-オペレーティングシステム２１０上で稼働する複数のアプリケーションを備えている。
【００２２】
ここで、スマートフォン２は、このＳＰ-オペレーティングシステム２１０上で稼働するアプリケーションとして、移動通信装置２０４や音声入出力部２０７や操作部２０５を用いた移動電話機能を提供する移動電話アプリケーション２１１と、ＡＲアプリケーション２１２と、その他のアプリケーション２１３とを備えている。
【００２３】
一方、車載装置１は、ＧＰＳ受信機１０１、ジャイロセンサ１０２、車速センサ１０３、記憶装置１０４、入力装置１０５、表示装置１０６、図１に示すように車両前方を撮影するフロントカメラ１０７、スマートフォン２と接続するためのデバイスインタフェース１０８、車載装置１のＯＳであるところのＨ-オペレーティングシステム１０９、Ｈ-オペレーティングシステム１０９によって管理されＨ-オペレーティングシステム１０９上で稼働する複数のアプリケーションを備えている。
【００２４】
ここで、車載装置１は、Ｈ-オペレーティングシステム１０９上で稼働するアプリケーションとして、ナビゲーションアプリケーション１１０と、ＡＲクライアントアプリケーション１１１と、その他のアプリケーション１１２とを備えている。
ここで、ナビゲーションアプリケーション１１０は、記憶装置１０４に記録されている地図データを用いて、ＧＰＳ受信機１０１やジャイロセンサ１０２や車速センサ１０３を利用した、自車の現在位置や自車の現在の前方方向の算出や、ユーザからの目的地の設定の受け付けや、設定された目的地までのルートの探索や、現在位置周辺の地図上に現在位置や現在の前方方向を表すマークや目的地までのルートを表したナビゲーション画面の出力などを行う。
【００２５】
以下、このような拡張現実システムにおける拡張現実の提供動作について説明する。
まず、スマートフォン２が車載装置１に接続されずに単体で使用されているときの、拡張現実の提供動作について説明する。
スマートフォン２のＡＲアプリケーション２１２は、ＧＰＳ受信機２０１からスマートフォン２の現在位置を、電子コンパス２０２からスマートフォン２のカメラ２０８が向いている方位（撮影方向の方位）を取得し、取得した現在位置を指定位置、取得した方位を指定方位とし、移動体通信装置を介してＡＲサーバに、指定位置と指定方位との情報を指定情報として伴うエアタグ情報要求を発行する。
【００２６】
一方、ＡＲサーバ４には、図３ａに示すエアタグ情報が蓄積されている。
エアタグ情報は、当該エアタグ情報が関係づけられている座標と、提供情報とを含む。提供情報は、タイトルと、詳細情報とを含むことができ、詳細情報としては、テキスト、音声、画像、動画などを用いることができる。ただし、以下では、詳細情報がテキストである場合を例にとり説明を行う。なお、ここで、詳細情報がテキストである場合、タイトルとしては詳細情報のテキストの先頭の所定文字数分の文字列を用いるようにしてもよい。
【００２７】
さて、ＡＲサーバ４は、スマートフォン２からエアタグ情報要求を受け取ると、エアタグ情報要求に伴う指定情報の指定位置から所定の視野角で指定方位方向を見たときに、視野内に含まれることとなる領域内の座標であって、指定位置から所定距離内の座標が登録されているエアタグ情報を抽出し、エアタグ情報要求の応答としてスマートフォン２に送信する。
【００２８】
そして、エアタグ情報を受け取ったスマートフォン２は、エアタグ情報を記憶部２０３に記憶する。そして、図３ｂに示すように、カメラ２０８で撮影した映像をディスプレイ２０６に表示するとともに、カメラ２０８で撮影した映像に写り込むエリア内の座標が登録されているエアタグ情報を記憶部２０３から読み出し、読み出した各エアタグ情報に対応する吹出３０１を、表示したカメラ２０８の映像上に表示し、各吹出３０１の中に、当該吹出３０１に対応するエアタグ情報に登録されているタイトルを表示する。こで、各吹出３０１は、当該吹出３０１に対応するエアタグ情報に登録されている座標が写り込むこととなる、表示したカメラ２０８の映像中の位置から吹き出すように設ける。
【００２９】
そして、操作部２０５を用いて、いずれかの吹出３０１がユーザによって選択されたならば、図３ｃに示すように、選択された吹出３０１に対応するエアタグ情報の詳細情報３１１を表示する。なお、図３ｃは、図３ｂの「DD店」のタイトルの吹出３０１がユーザによって選択され、「DD店」のタイトルのエアタグ情報の詳細情報３１１が表示されているようすを表している。
【００３０】
以上、スマートフォン２が車載装置１に接続されずに単体で使用されているときの、拡張現実の提供動作について説明した。
次に、スマートフォン２が車載装置１に接続されて使用されているときの、拡張現実の提供動作について説明する。
車載装置１のＡＲクライアントアプリケーション１１１は、スマートフォン２が車載装置１に接続されて使用されているときに、拡張現実の提供のためにエアタグ情報取得処理と、エアタグ表示処理とを行う。
まず、エアタグ情報取得処理について説明する。
図４ａに、このエアタグ情報取得処理の手順を示す。
図示するように、この処理では、ＡＲクライアントアプリケーション１１１は、ナビゲーションアプリケーション１１０から、ナビゲーションアプリケーション１１０が上述のように算出している自車の現在位置と自車の現在の前方方向の方位とを取得する（ステップ４０２）。
そして、取得した現在位置を指定位置、取得した現在の前方方向の方位を指定方位とする指定情報と共にエアタグ情報の取得要求を、スマートフォン２のＡＲアプリケーション２１２に発行する（ステップ４０４）。
一方、スマートフォン２のＡＲアプリケーション２１２は、エアタグ情報の取得要求を車載装置１のＡＲクライアントアプリケーション１１１から受け取ったならば、エアタグ情報の取得要求と共に受け取った指定情報として伴うエアタグ情報要求をＡＲサーバ４に送信し、上述のようにＡＲサーバ４からエアタグ情報を取得し、取得したエアタグ情報を、エアタグ情報の取得要求の応答として車載装置１のＡＲクライアントアプリケーション１１１に送信する。
【００３１】
そして、車載装置１のＡＲクライアントアプリケーション１１１は、このようにしてエアタグ情報をスマートフォン２のＡＲアプリケーション２１２から取得したならば（ステップ４０６）、取得したエアタグ情報を記憶装置１０４に保存し（ステップ４０８）、ステップ４０２からの処理に戻る。
【００３２】
以上、車載装置１のＡＲクライアントアプリケーション１１１が行うエアタグ情報取得処理について説明した。
次に、車載装置１のＡＲクライアントアプリケーション１１１が行うエアタグ表示処理について説明する。
図４ｂに、このエアタグ表示処理の手順を示す。
図示するように、この処理において、車載装置１のＡＲクライアントアプリケーション１１１は、現在の動作モードとして、カメラモードとナビゲーションモードのいずれが設定されているかを調べる（ステップ４５２）。
ここで、ユーザは、ＡＲクライアントアプリケーション１１１の動作モードを、カメラモードとナビゲーションモードとのうちのいずれかに任意に設定、切り替えることができる。
そして、カメラモードが設定されている場合には、図５ａ１に示すように、フロントカメラ１０７が撮影した画像であるカメラ画像５０１を表示装置１０６にメイン画像として表示し（ステップ４５４）、カメラモードが設定されていない場合、すなわち、ナビゲーションモードが設定されている場合には、図５ｂ１に示すように、ナビゲーションアプリケーション１１０が出力する上述したナビゲーション画面５１１を表示装置１０６にメイン画像として表示する（ステップ４５６）。
【００３３】
そして、次にエアタグ情報のフィルタ条件を以下のように算出する（ステップ４５８）。
すなわち、動作モードがカメラモードである場合には、現在のフロントカメラ１０７の撮影範囲内の座標が登録されていることをフィルタ条件として設定し、動作モードがナビゲーションモードである場合には、ナビゲーション画面５１１に含まれる地図の範囲内の座標が登録されていることをフィルタ条件として設定する。
【００３４】
そして、記憶装置１０４からフィルタ条件を満たすエアタグ情報を抽出する（ステップ４６０）。
また、図５ａ１、ｂ１に示すように、抽出した各エアタグ情報に対応する吹出３０１を、表示したメイン画像上に表示し、各吹出３０１の中に、当該吹出３０１に対応するエアタグ情報に登録されているタイトルを表示する（ステップ４６２）。
ここで、動作モードがカメラモードである場合には、図５ａ１に示すように、各吹出３０１は、当該吹出３０１に対応するエアタグ情報に登録されている座標が写り込む、メイン画像として表示したカメラ画像５０１中の位置から吹き出すように設ける。一方、動作モードがナビゲーションモードである場合には、図５ｂ１に示すように、各吹出３０１は、当該吹出３０１に対応するエアタグ情報に登録されている座標に対応する、ナビゲーション画面に含まれる地図上の位置から吹き出すように設ける。
【００３５】
そして、動作モードの切り替えが発生しているかどうかを調べ（ステップ４６４）、切替が発生している場合にはステップ４５２からの処理に戻り、発生していない場合にはステップ４５８からの処理に戻る。
以上、車載装置１のＡＲクライアントアプリケーション１１１が行うエアタグ表示処理について説明した。
ここで、車載装置１のＡＲクライアントアプリケーション１１１は、このようなエアタグ表示処理によって表示した、いずれかの吹出３０１が、入力装置１０５を介して、ユーザによって選択されたならば、図５ａ２、ｂ２に示すように、選択された吹出３０１に対応するエアタグ情報の詳細情報３１１を表示する処理も行う。なお、図５ａ２は、図５ａ１の「cccc」のタイトルの吹出３０１がユーザによって選択され、「cccc」のタイトルのエアタグ情報の詳細情報３１１が表示されているようすを、図５ｂ２は、図５ｂ１の「dddd」のタイトルの吹出３０１がユーザによって選択され、「dddd」のタイトルのエアタグ情報の詳細情報３１１が表示されているようすを表している。
【００３６】
以上、本発明の実施形態について説明した。
以上のように、本実施形態によれば、車載装置１が備えるフロントカメラ１０７を、スマートフォン２が備えるカメラ２０８に代えて用いた拡張現実を、スマートフォン２が備えるＡＲアプリケーション２１２の機能を利用して、ユーザに提供することができる。
また、エアタグ情報を、ナビゲーション画面５１１をスマートフォン２が備えるカメラ２０８の撮影画像に代えて用いた形態で、スマートフォン２が備えるＡＲアプリケーション２１２の機能を利用して、ユーザに提供することができる。
ところで、以上の実施形態における車載装置１のＡＲクライアントアプリケーション１１１が行うエアタグ表示処理のステップ４５８におけるフィルタ条件としては、以下のような追加条件を設定し、動作モードがカメラモードである場合には、現在のフロントカメラ１０７の撮影範囲内の座標が登録されており、かつ、追加条件を満たすことをフィルタ条件として設定し、動作モードがナビゲーションモードである場合には、ナビゲーション画面５１１に含まれる地図の範囲内の座標が登録されており、かつ、追加条件を満たすことをフィルタ条件として設定するようにしてもよい。
【００３７】
すなわち、たとえば、車速センサ１０３より求まる自車速度が所定速度（たとえば、30km/h）未満である場合には、ナビゲーションアプリケーション１１０が算出している現在位置より所定距離（たとえば、１００ｍ）以内の座標が登録されていることを追加条件とし、車速センサ１０３より求まる自車速度が所定速度（たとえば、80km/h）以上である場合には、ナビゲーションアプリケーション１１０が算出している現在位置より所定距離範囲（たとえば、１００ｍから３００ｍ）以内の座標が登録されていることを追加条件として設定するようにしてもよい。
【００３８】
または、ナビゲーションアプリケーション１１０において、上述した目的地までのルートが設定されている場合には、ルートから所定距離（たとえば、１００ｍ）以内の座標が登録されていること追加条件として設定するようにしてもよい。
これらのようにすることにより、およそユーザが利用しない、または、利用できない地点についてのエアタグ情報を表示して、表示装置１０６の表示を煩雑化してしまうことを抑制できる。
また、以上の実施形態における車載装置１のＡＲクライアントアプリケーション１１１が行うエアタグ表示処理では、交差点周辺を走行している場合や、交差点周辺を低速で走行している場合には、上述した吹出３０１によるエアタグ情報の表示を行わずにメイン画像のみを表示するようにしてもよい。
【００３９】
このようにすることにより、交差点通過時のメイン画像を用いたユーザの周辺確認を妨げないようにすることができる。
また、以上の実施形態では、ＡＲクライアントアプリケーション１１１において、自動車の前方方向を指定方位としてＡＲサーバ４からエアタグ情報を取得するようにしたが、フロントカメラ１０７の撮影方向と自動車の前方方向が異なる場合には、フロントカメラ１０７の撮影方向を指定方位としてＡＲサーバ４からエアタグ情報を取得するようにしてもよい。
【００４０】
また、以上の実施形態は、動作モードとしてカメラモードとナビゲーションモードの双方を設ける場合について説明したが、動作モードとしては、カメラモードとナビゲーションモードの一方のみを行うようにしてもよい。
また、この場合において、動作モードとしてカメラモードのみを設ける場合には、フロントカメラ１０７の撮影方向を指定方位としてＡＲサーバ４からエアタグ情報を取得するようにする。また、動作モードとしてナビゲーションモードのみを設ける場合には、自動車の前方方向を指定方位としてＡＲサーバ４からエアタグ情報を取得するようにする。また、動作モードとしてナビゲーションモードのみを設ける場合には、ＡＲクライアントアプリケーション１１１の機能は、ナビゲーションアプリケーション１１０の機能として設けるようにしてもよい。
【００４１】
なお、以上の実施形態は、スマートフォン２に代えて、移動電話機やＰＤＡやポータブルゲーム機やポータブルプレイヤなどのＡＲアプリケーション２１２を備えた任意の携帯装置を用いる場合に同様に適用することができる。
【符号の説明】
【００４２】
１…車載装置、２…スマートフォン、３…移動体通信網、４…ＡＲサーバ、１０１…ＧＰＳ受信機、１０２…ジャイロセンサ、１０３…車速センサ、１０４…記憶装置、１０５…入力装置、１０６…表示装置、１０７…フロントカメラ、１０８…デバイスインタフェース、１０９…Ｈ-オペレーティングシステム、１１０…ナビゲーションアプリケーション、１１１…ＡＲクライアントアプリケーション、２０１…ＧＰＳ受信機、２０２…電子コンパス、２０３…記憶部、２０４…移動通信装置、２０５…操作部、２０６…ディスプレイ、２０７…音声入出力部、２０８…カメラ、２０９…ホストインタフェース、２１０…ＳＰ-オペレーティングシステム、２１１…移動電話アプリケーション、２１２…ＡＲアプリケーション、３０１…吹出、５０１…カメラ画像、５１１…ナビゲーション画面。
【技術分野】
【０００１】
本発明は、自動車内ユーザに拡張現実を提供する技術に関するものである。
【背景技術】
【０００２】
拡張現実を提供する技術としては、カメラを備えた携帯電話端末であって、通信を介してサーバから取得した携帯電話端末の周辺の地点の情報を、カメラで実空間の周辺の風景を撮影した映像上の当該地点に対応する位置に重畳表示する拡張現実アプリケーションを備えた携帯電話端末の技術が知られている（たとえば、特許文献１）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１０-２３８０９６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
自動車内において、運転者は、自身の携帯電話端末のカメラを操作して風景を撮影することはできない。また、運転者でない他の同乗者であっても、自動車のボディ等が障害となって、携帯電話端末のカメラを操作して良好に自動車外部の風景を撮影することが困難であることが多い。そして、このために、自動車の搭乗者は、上述した拡張現実アプリケーションを備えた携帯電話端末を所持していても、これを充分に活用することができない。
【０００５】
そこで、本発明は、自動車内において携帯装置が備える拡張現実提供機能を利用可能とすることを課題とする。
【課題を解決するための手段】
【０００６】
前記課題達成のために、本発明は、内蔵カメラと、拡張現実提供機能とを備えた携帯装置が接続される、自動車に搭載される車載システムであって、前記拡張現実提供機能は、指定位置と指定方位とを指定したエアタグ情報要求に応じて当該指定位置から指定方位方向を観察した場合に観察される領域内の地点に関係づけられたエアタグ情報を提供するサーバに、前記指定位置として当該携帯装置の現在位置を指定し、前記指定方位として前記内蔵カメラの撮影方向の方位を指定した前記エアタグ情報要求を発行して、当該サーバから前記エアタグ情報を取得すると共に、取得したエアタグ情報を、前記内蔵カメラで撮影した撮影画像上の当該エアタグ情報が関係づけられた地点に対応する位置に配置した拡張現実画像を表示する機能である車載システムに、前記自動車の外部を撮影するカメラと、前記自動車の現在位置を算出する現在位置算出手段と、前記カメラの撮影方向の方位を算出する撮影方向算出手段と、前記現在位置算出手段が算出した前記自動車の現在位置を指定位置とし、前記撮影方向算出手段が算出した前記カメラの撮影方向の方位を前記指定方位とする前記エアタグ情報要求を、前記携帯装置の前記拡張現実提供機能を介して前記サーバに発行すると共に、当該発行した前記エアタグ情報要求に応じて前記サーバから前記携帯装置の前記拡張現実提供機能に提供されたエアタグ情報を取得するエアタグ情報取得手段と、前記エアタグ情報取得手段が取得したエアタグ情報を、前記カメラで撮影した撮影画像上の当該エアタグ情報が関係づけられた地点に対応する位置に配置した画像を表示する拡張現実画像表示手段とを設けたものである。
【０００７】
ここで、このような車載システムには、さらに、地図を記憶した地図記憶手段と、前記エアタグ情報取得手段が取得したエアタグ情報を、前記地図記憶手段に記憶されている地図を表した地図画像上の当該エアタグ情報が関係づけられた地点に対応する位置に配置した画像を表示する地図表示手段とを設けるようにしてもよい。
【０００８】
また、このような車載システムは、当該車載システムに、前記自動車の走行速度を検出する車速検出手段を備え、前記拡張現実画像表示手段において、前記車速検出手段が検出した車速が所定速度を超える場合に、前記現在位置算出手段が算出した現在位置との距離が所定距離以内である地点に関係づけられた前記エアタグ情報の、前記カメラで撮影した撮影画像上への配置を行わないように構成してもよい。
【０００９】
また、このような車載システムは、当該車載システムに、前記自動車の走行速度を検出する車速検出手段を設け、前記拡張現実画像表示手段において、前記車速検出手段が検出した車速が所定速度未満である場合に、前記現在位置算出手段が算出した現在位置との距離が所定距離を超える地点に関係づけられた前記エアタグ情報の、前記カメラで撮影した撮影画像上への配置を行わないように構成してもよい。
【００１０】
また、このような車載システムは、当該車載システムに、地図を記憶した地図記憶手段と、前記地図記憶手段が記憶した地図に基づいてユーザから設定された目的地までのルートを探索し、ユーザに対して案内するルート案内手段とを設け、前記拡張現実画像表示手段において、前記ルートとの距離が所定距離を超える地点に関係づけられた前記エアタグ情報の、前記カメラで撮影した撮影画像上への配置を行わないように構成しても良い。
【００１１】
また、このような車載システムは、当該車載システムに、地図を記憶した地図記憶手段と、前記地図記憶手段が記憶した地図と前記現在位置算出手段が算出した現在位置とに基づいて、前記自動車の交差点への接近を検出する交差点接近検出手段とを設け、前記拡張現実画像表示手段において、前記交差点接近検出手段が前記交差点への接近を検出した場合に、前記エアタグ情報の前記カメラで撮影した撮影画像上への配置を行わないように構成してもよい。
【００１２】
これらのような車載システムによれば、車載システムが備えるカメラを、携帯装置が備える内蔵カメラに代えて用いた拡張現実を、携帯装置が備える拡張現実提供機能を利用して、ユーザに提供することができる。
また、前記課題達成のために、本発明は、内蔵カメラと、拡張現実提供機能とを備えた携帯装置が接続される、自動車に搭載される車載システムであって、前記拡張現実提供機能は、指定位置と指定方位とを指定したエアタグ情報要求に応じて当該指定位置から指定方位方向を観察した場合に観察される領域内の地点に関係づけられたエアタグ情報を提供するサーバに、前記指定位置として当該携帯装置の現在位置を指定し、前記指定方位として前記内蔵カメラの撮影方向の方位を指定した前記エアタグ情報要求を発行して、当該サーバから前記エアタグ情報を取得すると共に、取得したエアタグ情報を、前記内蔵カメラで撮影した撮影画像上の当該エアタグ情報が関係づけられた地点に対応する位置に配置した拡張現実画像を表示する機能である車載システムに、地図を記憶した地図記憶手段と、前記自動車の現在位置を算出する現在位置算出手段と、前記自動車の前方方向の方位を算出する進行方向算出手段と、前記現在位置算出手段が算出した前記自動車の現在位置を指定位置とし、前記進行方向算出手段が算出した前記前方方向の方位を前記指定方位とする前記エアタグ情報要求を、前記携帯装置の前記拡張現実提供機能を介して前記サーバに発行すると共に、当該発行した前記エアタグ情報要求に応じて前記サーバから前記携帯装置の前記拡張現実提供機能に提供されたエアタグ情報を取得するエアタグ情報取得手段と、前記エアタグ情報取得手段が取得したエアタグ情報を、前記地図記憶手段に記憶されている地図を表した地図画像上の当該エアタグ情報が関係づけられた地点に対応する位置に配置した画像を表示する地図表示手段と設けたものである。
【００１３】
ここで、このような車載システムは、当該車載システムに、前記自動車の走行速度を検出する車速検出手段を備え、前記地図画像表示手段において、前記車速検出手段が検出した車速が所定速度を超える場合に、前記現在位置算出手段が算出した現在位置との距離が所定距離以内である地点に関係づけられた前記エアタグ情報の、前記地図画像上への配置を行わないように構成してもよい。
【００１４】
また、このような車載システムは、当該車載システムに、前記自動車の走行速度を検出する車速検出手段を設け、前記地図画像表示手段において、前記車速検出手段が検出した車速が所定速度未満である場合に、前記現在位置算出手段が算出した現在位置との距離が所定距離を超える地点に関係づけられた前記エアタグ情報の、前記地図画像上への配置を行わないように構成してもよい。
【００１５】
また、このような車載システムは、当該車載システムに、前記地図記憶手段が記憶した地図に基づいてユーザから設定された目的地までのルートを探索し、ユーザに対して案内するルート案内手段を設け、前記地図画像表示手段において、前記ルートとの距離が所定距離を超える地点に関係づけられた前記エアタグ情報の、前記地図画像上への配置を行わないように構成してもよい。
【００１６】
また、このような車載システムは、当該車載システムに、前記地図記憶手段が記憶した地図と前記現在位置算出手段が算出した現在位置とに基づいて、前記自動車の交差点への接近を検出する交差点接近検出手段を設け、前記地図画像表示手段において、前記交差点接近検出手段が前記交差点への接近を検出した場合に、前記エアタグ情報の前記地図画像上への配置を行わないことように構成してもよい。
【００１７】
これらのような車載システムによれば、エアタグ情報を、地図を携帯装置が備える内蔵カメラで撮影した画像に代えて用いた形態で、携帯装置が備える拡張現実提供機能を利用して、ユーザに提供することができる。
【発明の効果】
【００１８】
以上のように、本発明によれば、自動車内において携帯装置の拡張現実提供機能を利用可能とすることができる。
【図面の簡単な説明】
【００１９】
【図１】本発明の実施形態に係る拡張現実システムの構成を示すブロック図である。
【図２】本発明の実施形態に係る車載装置とスマートフォンの構成を示すブロック図である。
【図３】本発明の実施形態に係るエアタグ情報とスマートフォンの拡張現実機能を示す図である。
【図４】本発明の実施形態に係るエアタグ情報取得処理とエアタグ情報表示処理を示すフローチャートである。
【図５】本発明の実施形態に係るエアタグ情報表示処理の処理例を示す図である。
【発明を実施するための形態】
【００２０】
以下、本発明の実施形態について説明する。
図１に本実施形態に係る拡張現実システムの構成を示す。
図示するように、拡張現実システムは、自動車に搭載される車載装置１、車載装置１と接続可能な携帯装置であるスマートフォン２、スマートフォン２が移動体通信網３を介してアクセス可能なＡＲ（AR： Augmented Reality/拡張現実）サーバ４とを含んで構成される。
【００２１】
次に、図２に車載装置１とスマートフォン２の構成を示す。
図示するように、スマートフォン２は、ＧＰＳ受信機２０１、電子コンパス２０２、記憶部２０３、移動体通信網３にアクセスするための移動通信装置２０４、操作部２０５、ディスプレイ２０６、マイクやスピーカなどを備えた音声入出力部２０７、カメラ２０８、車載装置１と接続するためのホストインタフェース２０９、スマートフォン２のＯＳであるところのＳＰ-オペレーティングシステム２１０、ＳＰ-オペレーティングシステム２１０によって管理されＳＰ-オペレーティングシステム２１０上で稼働する複数のアプリケーションを備えている。
【００２２】
ここで、スマートフォン２は、このＳＰ-オペレーティングシステム２１０上で稼働するアプリケーションとして、移動通信装置２０４や音声入出力部２０７や操作部２０５を用いた移動電話機能を提供する移動電話アプリケーション２１１と、ＡＲアプリケーション２１２と、その他のアプリケーション２１３とを備えている。
【００２３】
一方、車載装置１は、ＧＰＳ受信機１０１、ジャイロセンサ１０２、車速センサ１０３、記憶装置１０４、入力装置１０５、表示装置１０６、図１に示すように車両前方を撮影するフロントカメラ１０７、スマートフォン２と接続するためのデバイスインタフェース１０８、車載装置１のＯＳであるところのＨ-オペレーティングシステム１０９、Ｈ-オペレーティングシステム１０９によって管理されＨ-オペレーティングシステム１０９上で稼働する複数のアプリケーションを備えている。
【００２４】
ここで、車載装置１は、Ｈ-オペレーティングシステム１０９上で稼働するアプリケーションとして、ナビゲーションアプリケーション１１０と、ＡＲクライアントアプリケーション１１１と、その他のアプリケーション１１２とを備えている。
ここで、ナビゲーションアプリケーション１１０は、記憶装置１０４に記録されている地図データを用いて、ＧＰＳ受信機１０１やジャイロセンサ１０２や車速センサ１０３を利用した、自車の現在位置や自車の現在の前方方向の算出や、ユーザからの目的地の設定の受け付けや、設定された目的地までのルートの探索や、現在位置周辺の地図上に現在位置や現在の前方方向を表すマークや目的地までのルートを表したナビゲーション画面の出力などを行う。
【００２５】
以下、このような拡張現実システムにおける拡張現実の提供動作について説明する。
まず、スマートフォン２が車載装置１に接続されずに単体で使用されているときの、拡張現実の提供動作について説明する。
スマートフォン２のＡＲアプリケーション２１２は、ＧＰＳ受信機２０１からスマートフォン２の現在位置を、電子コンパス２０２からスマートフォン２のカメラ２０８が向いている方位（撮影方向の方位）を取得し、取得した現在位置を指定位置、取得した方位を指定方位とし、移動体通信装置を介してＡＲサーバに、指定位置と指定方位との情報を指定情報として伴うエアタグ情報要求を発行する。
【００２６】
一方、ＡＲサーバ４には、図３ａに示すエアタグ情報が蓄積されている。
エアタグ情報は、当該エアタグ情報が関係づけられている座標と、提供情報とを含む。提供情報は、タイトルと、詳細情報とを含むことができ、詳細情報としては、テキスト、音声、画像、動画などを用いることができる。ただし、以下では、詳細情報がテキストである場合を例にとり説明を行う。なお、ここで、詳細情報がテキストである場合、タイトルとしては詳細情報のテキストの先頭の所定文字数分の文字列を用いるようにしてもよい。
【００２７】
さて、ＡＲサーバ４は、スマートフォン２からエアタグ情報要求を受け取ると、エアタグ情報要求に伴う指定情報の指定位置から所定の視野角で指定方位方向を見たときに、視野内に含まれることとなる領域内の座標であって、指定位置から所定距離内の座標が登録されているエアタグ情報を抽出し、エアタグ情報要求の応答としてスマートフォン２に送信する。
【００２８】
そして、エアタグ情報を受け取ったスマートフォン２は、エアタグ情報を記憶部２０３に記憶する。そして、図３ｂに示すように、カメラ２０８で撮影した映像をディスプレイ２０６に表示するとともに、カメラ２０８で撮影した映像に写り込むエリア内の座標が登録されているエアタグ情報を記憶部２０３から読み出し、読み出した各エアタグ情報に対応する吹出３０１を、表示したカメラ２０８の映像上に表示し、各吹出３０１の中に、当該吹出３０１に対応するエアタグ情報に登録されているタイトルを表示する。こで、各吹出３０１は、当該吹出３０１に対応するエアタグ情報に登録されている座標が写り込むこととなる、表示したカメラ２０８の映像中の位置から吹き出すように設ける。
【００２９】
そして、操作部２０５を用いて、いずれかの吹出３０１がユーザによって選択されたならば、図３ｃに示すように、選択された吹出３０１に対応するエアタグ情報の詳細情報３１１を表示する。なお、図３ｃは、図３ｂの「DD店」のタイトルの吹出３０１がユーザによって選択され、「DD店」のタイトルのエアタグ情報の詳細情報３１１が表示されているようすを表している。
【００３０】
以上、スマートフォン２が車載装置１に接続されずに単体で使用されているときの、拡張現実の提供動作について説明した。
次に、スマートフォン２が車載装置１に接続されて使用されているときの、拡張現実の提供動作について説明する。
車載装置１のＡＲクライアントアプリケーション１１１は、スマートフォン２が車載装置１に接続されて使用されているときに、拡張現実の提供のためにエアタグ情報取得処理と、エアタグ表示処理とを行う。
まず、エアタグ情報取得処理について説明する。
図４ａに、このエアタグ情報取得処理の手順を示す。
図示するように、この処理では、ＡＲクライアントアプリケーション１１１は、ナビゲーションアプリケーション１１０から、ナビゲーションアプリケーション１１０が上述のように算出している自車の現在位置と自車の現在の前方方向の方位とを取得する（ステップ４０２）。
そして、取得した現在位置を指定位置、取得した現在の前方方向の方位を指定方位とする指定情報と共にエアタグ情報の取得要求を、スマートフォン２のＡＲアプリケーション２１２に発行する（ステップ４０４）。
一方、スマートフォン２のＡＲアプリケーション２１２は、エアタグ情報の取得要求を車載装置１のＡＲクライアントアプリケーション１１１から受け取ったならば、エアタグ情報の取得要求と共に受け取った指定情報として伴うエアタグ情報要求をＡＲサーバ４に送信し、上述のようにＡＲサーバ４からエアタグ情報を取得し、取得したエアタグ情報を、エアタグ情報の取得要求の応答として車載装置１のＡＲクライアントアプリケーション１１１に送信する。
【００３１】
そして、車載装置１のＡＲクライアントアプリケーション１１１は、このようにしてエアタグ情報をスマートフォン２のＡＲアプリケーション２１２から取得したならば（ステップ４０６）、取得したエアタグ情報を記憶装置１０４に保存し（ステップ４０８）、ステップ４０２からの処理に戻る。
【００３２】
以上、車載装置１のＡＲクライアントアプリケーション１１１が行うエアタグ情報取得処理について説明した。
次に、車載装置１のＡＲクライアントアプリケーション１１１が行うエアタグ表示処理について説明する。
図４ｂに、このエアタグ表示処理の手順を示す。
図示するように、この処理において、車載装置１のＡＲクライアントアプリケーション１１１は、現在の動作モードとして、カメラモードとナビゲーションモードのいずれが設定されているかを調べる（ステップ４５２）。
ここで、ユーザは、ＡＲクライアントアプリケーション１１１の動作モードを、カメラモードとナビゲーションモードとのうちのいずれかに任意に設定、切り替えることができる。
そして、カメラモードが設定されている場合には、図５ａ１に示すように、フロントカメラ１０７が撮影した画像であるカメラ画像５０１を表示装置１０６にメイン画像として表示し（ステップ４５４）、カメラモードが設定されていない場合、すなわち、ナビゲーションモードが設定されている場合には、図５ｂ１に示すように、ナビゲーションアプリケーション１１０が出力する上述したナビゲーション画面５１１を表示装置１０６にメイン画像として表示する（ステップ４５６）。
【００３３】
そして、次にエアタグ情報のフィルタ条件を以下のように算出する（ステップ４５８）。
すなわち、動作モードがカメラモードである場合には、現在のフロントカメラ１０７の撮影範囲内の座標が登録されていることをフィルタ条件として設定し、動作モードがナビゲーションモードである場合には、ナビゲーション画面５１１に含まれる地図の範囲内の座標が登録されていることをフィルタ条件として設定する。
【００３４】
そして、記憶装置１０４からフィルタ条件を満たすエアタグ情報を抽出する（ステップ４６０）。
また、図５ａ１、ｂ１に示すように、抽出した各エアタグ情報に対応する吹出３０１を、表示したメイン画像上に表示し、各吹出３０１の中に、当該吹出３０１に対応するエアタグ情報に登録されているタイトルを表示する（ステップ４６２）。
ここで、動作モードがカメラモードである場合には、図５ａ１に示すように、各吹出３０１は、当該吹出３０１に対応するエアタグ情報に登録されている座標が写り込む、メイン画像として表示したカメラ画像５０１中の位置から吹き出すように設ける。一方、動作モードがナビゲーションモードである場合には、図５ｂ１に示すように、各吹出３０１は、当該吹出３０１に対応するエアタグ情報に登録されている座標に対応する、ナビゲーション画面に含まれる地図上の位置から吹き出すように設ける。
【００３５】
そして、動作モードの切り替えが発生しているかどうかを調べ（ステップ４６４）、切替が発生している場合にはステップ４５２からの処理に戻り、発生していない場合にはステップ４５８からの処理に戻る。
以上、車載装置１のＡＲクライアントアプリケーション１１１が行うエアタグ表示処理について説明した。
ここで、車載装置１のＡＲクライアントアプリケーション１１１は、このようなエアタグ表示処理によって表示した、いずれかの吹出３０１が、入力装置１０５を介して、ユーザによって選択されたならば、図５ａ２、ｂ２に示すように、選択された吹出３０１に対応するエアタグ情報の詳細情報３１１を表示する処理も行う。なお、図５ａ２は、図５ａ１の「cccc」のタイトルの吹出３０１がユーザによって選択され、「cccc」のタイトルのエアタグ情報の詳細情報３１１が表示されているようすを、図５ｂ２は、図５ｂ１の「dddd」のタイトルの吹出３０１がユーザによって選択され、「dddd」のタイトルのエアタグ情報の詳細情報３１１が表示されているようすを表している。
【００３６】
以上、本発明の実施形態について説明した。
以上のように、本実施形態によれば、車載装置１が備えるフロントカメラ１０７を、スマートフォン２が備えるカメラ２０８に代えて用いた拡張現実を、スマートフォン２が備えるＡＲアプリケーション２１２の機能を利用して、ユーザに提供することができる。
また、エアタグ情報を、ナビゲーション画面５１１をスマートフォン２が備えるカメラ２０８の撮影画像に代えて用いた形態で、スマートフォン２が備えるＡＲアプリケーション２１２の機能を利用して、ユーザに提供することができる。
ところで、以上の実施形態における車載装置１のＡＲクライアントアプリケーション１１１が行うエアタグ表示処理のステップ４５８におけるフィルタ条件としては、以下のような追加条件を設定し、動作モードがカメラモードである場合には、現在のフロントカメラ１０７の撮影範囲内の座標が登録されており、かつ、追加条件を満たすことをフィルタ条件として設定し、動作モードがナビゲーションモードである場合には、ナビゲーション画面５１１に含まれる地図の範囲内の座標が登録されており、かつ、追加条件を満たすことをフィルタ条件として設定するようにしてもよい。
【００３７】
すなわち、たとえば、車速センサ１０３より求まる自車速度が所定速度（たとえば、30km/h）未満である場合には、ナビゲーションアプリケーション１１０が算出している現在位置より所定距離（たとえば、１００ｍ）以内の座標が登録されていることを追加条件とし、車速センサ１０３より求まる自車速度が所定速度（たとえば、80km/h）以上である場合には、ナビゲーションアプリケーション１１０が算出している現在位置より所定距離範囲（たとえば、１００ｍから３００ｍ）以内の座標が登録されていることを追加条件として設定するようにしてもよい。
【００３８】
または、ナビゲーションアプリケーション１１０において、上述した目的地までのルートが設定されている場合には、ルートから所定距離（たとえば、１００ｍ）以内の座標が登録されていること追加条件として設定するようにしてもよい。
これらのようにすることにより、およそユーザが利用しない、または、利用できない地点についてのエアタグ情報を表示して、表示装置１０６の表示を煩雑化してしまうことを抑制できる。
また、以上の実施形態における車載装置１のＡＲクライアントアプリケーション１１１が行うエアタグ表示処理では、交差点周辺を走行している場合や、交差点周辺を低速で走行している場合には、上述した吹出３０１によるエアタグ情報の表示を行わずにメイン画像のみを表示するようにしてもよい。
【００３９】
このようにすることにより、交差点通過時のメイン画像を用いたユーザの周辺確認を妨げないようにすることができる。
また、以上の実施形態では、ＡＲクライアントアプリケーション１１１において、自動車の前方方向を指定方位としてＡＲサーバ４からエアタグ情報を取得するようにしたが、フロントカメラ１０７の撮影方向と自動車の前方方向が異なる場合には、フロントカメラ１０７の撮影方向を指定方位としてＡＲサーバ４からエアタグ情報を取得するようにしてもよい。
【００４０】
また、以上の実施形態は、動作モードとしてカメラモードとナビゲーションモードの双方を設ける場合について説明したが、動作モードとしては、カメラモードとナビゲーションモードの一方のみを行うようにしてもよい。
また、この場合において、動作モードとしてカメラモードのみを設ける場合には、フロントカメラ１０７の撮影方向を指定方位としてＡＲサーバ４からエアタグ情報を取得するようにする。また、動作モードとしてナビゲーションモードのみを設ける場合には、自動車の前方方向を指定方位としてＡＲサーバ４からエアタグ情報を取得するようにする。また、動作モードとしてナビゲーションモードのみを設ける場合には、ＡＲクライアントアプリケーション１１１の機能は、ナビゲーションアプリケーション１１０の機能として設けるようにしてもよい。
【００４１】
なお、以上の実施形態は、スマートフォン２に代えて、移動電話機やＰＤＡやポータブルゲーム機やポータブルプレイヤなどのＡＲアプリケーション２１２を備えた任意の携帯装置を用いる場合に同様に適用することができる。
【符号の説明】
【００４２】
１…車載装置、２…スマートフォン、３…移動体通信網、４…ＡＲサーバ、１０１…ＧＰＳ受信機、１０２…ジャイロセンサ、１０３…車速センサ、１０４…記憶装置、１０５…入力装置、１０６…表示装置、１０７…フロントカメラ、１０８…デバイスインタフェース、１０９…Ｈ-オペレーティングシステム、１１０…ナビゲーションアプリケーション、１１１…ＡＲクライアントアプリケーション、２０１…ＧＰＳ受信機、２０２…電子コンパス、２０３…記憶部、２０４…移動通信装置、２０５…操作部、２０６…ディスプレイ、２０７…音声入出力部、２０８…カメラ、２０９…ホストインタフェース、２１０…ＳＰ-オペレーティングシステム、２１１…移動電話アプリケーション、２１２…ＡＲアプリケーション、３０１…吹出、５０１…カメラ画像、５１１…ナビゲーション画面。
【特許請求の範囲】
【請求項１】
内蔵カメラと、拡張現実提供機能とを備えた携帯装置が接続される、自動車に搭載される車載システムであって、かつ、
前記拡張現実提供機能は、指定位置と指定方位とを指定したエアタグ情報要求に応じて当該指定位置から指定方位方向を観察した場合に観察される領域内の地点に関係づけられたエアタグ情報を提供するサーバに、前記指定位置として当該携帯装置の現在位置を指定し、前記指定方位として前記内蔵カメラの撮影方向の方位を指定した前記エアタグ情報要求を発行して、当該サーバから前記エアタグ情報を取得すると共に、取得したエアタグ情報を、前記内蔵カメラで撮影した撮影画像上の当該エアタグ情報が関係づけられた地点に対応する位置に配置した拡張現実画像を表示する機能である車載システムであって、
前記自動車の外部を撮影するカメラと、
前記自動車の現在位置を算出する現在位置算出手段と、
前記カメラの撮影方向の方位を算出する撮影方向算出手段と、
前記現在位置算出手段が算出した前記自動車の現在位置を指定位置とし、前記撮影方向算出手段が算出した前記カメラの撮影方向の方位を前記指定方位とする前記エアタグ情報要求を、前記携帯装置の前記拡張現実提供機能を介して前記サーバに発行すると共に、当該発行した前記エアタグ情報要求に応じて前記サーバから前記携帯装置の前記拡張現実提供機能に提供されたエアタグ情報を取得するエアタグ情報取得手段と、
前記エアタグ情報取得手段が取得したエアタグ情報を、前記カメラで撮影した撮影画像上の当該エアタグ情報が関係づけられた地点に対応する位置に配置した画像を表示する拡張現実画像表示手段とを有することを特徴とする車載システム。
【請求項２】
内蔵カメラと、拡張現実提供機能とを備えた携帯装置が接続される、自動車に搭載される車載システムであって、かつ、
前記拡張現実提供機能は、指定位置と指定方位とを指定したエアタグ情報要求に応じて当該指定位置から指定方位方向を観察した場合に観察される領域内の地点に関係づけられたエアタグ情報を提供するサーバに、前記指定位置として当該携帯装置の現在位置を指定し、前記指定方位として前記内蔵カメラの撮影方向の方位を指定した前記エアタグ情報要求を発行して、当該サーバから前記エアタグ情報を取得すると共に、取得したエアタグ情報を、前記内蔵カメラで撮影した撮影画像上の当該エアタグ情報が関係づけられた地点に対応する位置に配置した拡張現実画像を表示する機能である車載システムであって、
地図を記憶した地図記憶手段と、
前記自動車の現在位置を算出する現在位置算出手段と、
前記自動車の前方方向の方位を算出する進行方向算出手段と、
前記現在位置算出手段が算出した前記自動車の現在位置を指定位置とし、前記進行方向算出手段が算出した前記前方方向の方位を前記指定方位とする前記エアタグ情報要求を、前記携帯装置の前記拡張現実提供機能を介して前記サーバに発行すると共に、当該発行した前記エアタグ情報要求に応じて前記サーバから前記携帯装置の前記拡張現実提供機能に提供されたエアタグ情報を取得するエアタグ情報取得手段と、
前記エアタグ情報取得手段が取得したエアタグ情報を、前記地図記憶手段に記憶されている地図を表した地図画像上の当該エアタグ情報が関係づけられた地点に対応する位置に配置した画像を表示する地図表示手段とを有することを特徴とする車載システム。
【請求項３】
請求項１記載の車載システムであって、
地図を記憶した地図記憶手段と、
前記エアタグ情報取得手段が取得したエアタグ情報を、前記地図記憶手段に記憶されている地図を表した地図画像上の当該エアタグ情報が関係づけられた地点に対応する位置に配置した画像を表示する地図表示手段とを有することを特徴とする車載システム。
【請求項４】
請求項１記載の車載システムであって、
前記自動車の走行速度を検出する車速検出手段を有し、
前記拡張現実画像表示手段は、前記車速検出手段が検出した車速が所定速度を超える場合に、前記現在位置算出手段が算出した現在位置との距離が所定距離以内である地点に関係づけられた前記エアタグ情報の、前記カメラで撮影した撮影画像上への配置を行わないことを特徴とする車載システム。
【請求項５】
請求項１記載の車載システムであって、
前記自動車の走行速度を検出する車速検出手段を有し、
前記拡張現実画像表示手段は、前記車速検出手段が検出した車速が所定速度未満である場合に、前記現在位置算出手段が算出した現在位置との距離が所定距離を超える地点に関係づけられた前記エアタグ情報の、前記カメラで撮影した撮影画像上への配置を行わないことを特徴とする車載システム。
【請求項６】
請求項１記載の車載システムであって、
地図を記憶した地図記憶手段と、
前記地図記憶手段が記憶した地図に基づいてユーザから設定された目的地までのルートを探索し、ユーザに対して案内するルート案内手段とを有し、
前記拡張現実画像表示手段は、前記ルートとの距離が所定距離を超える地点に関係づけられた前記エアタグ情報の、前記カメラで撮影した撮影画像上への配置を行わないことを特徴とする車載システム。
【請求項７】
請求項１記載の車載システムであって、
地図を記憶した地図記憶手段と、
前記地図記憶手段が記憶した地図と前記現在位置算出手段が算出した現在位置とに基づいて、前記自動車の交差点への接近を検出する交差点接近検出手段とを有し、
前記拡張現実画像表示手段は、前記交差点接近検出手段が前記交差点への接近を検出した場合に、前記エアタグ情報の前記カメラで撮影した撮影画像上への配置を行わないことを特徴とする車載システム。
【請求項８】
請求項２記載の車載システムであって、
前記自動車の走行速度を検出する車速検出手段を有し、
前記地図画像表示手段は、前記車速検出手段が検出した車速が所定速度を超える場合に、前記現在位置算出手段が算出した現在位置との距離が所定距離以内である地点に関係づけられた前記エアタグ情報の、前記地図画像上への配置を行わないことを特徴とする車載システム。
【請求項９】
請求項２記載の車載システムであって、
前記自動車の走行速度を検出する車速検出手段を有し、
前記地図画像表示手段は、前記車速検出手段が検出した車速が所定速度未満である場合に、前記現在位置算出手段が算出した現在位置との距離が所定距離を超える地点に関係づけられた前記エアタグ情報の、前記地図画像上への配置を行わないことを特徴とする車載システム。
【請求項１０】
請求項２記載の車載システムであって、
前記地図記憶手段が記憶した地図に基づいてユーザから設定された目的地までのルートを探索し、ユーザに対して案内するルート案内手段を有し、
前記地図画像表示手段は、前記ルートとの距離が所定距離を超える地点に関係づけられた前記エアタグ情報の、前記地図画像上への配置を行わないことを特徴とする車載システム。
【請求項１１】
請求項２記載の車載システムであって、
前記地図記憶手段が記憶した地図と前記現在位置算出手段が算出した現在位置とに基づいて、前記自動車の交差点への接近を検出する交差点接近検出手段を有し、
前記地図画像表示手段は、前記交差点接近検出手段が前記交差点への接近を検出した場合に、前記エアタグ情報の前記地図画像上への配置を行わないことを特徴とする車載システム。
【請求項１】
内蔵カメラと、拡張現実提供機能とを備えた携帯装置が接続される、自動車に搭載される車載システムであって、かつ、
前記拡張現実提供機能は、指定位置と指定方位とを指定したエアタグ情報要求に応じて当該指定位置から指定方位方向を観察した場合に観察される領域内の地点に関係づけられたエアタグ情報を提供するサーバに、前記指定位置として当該携帯装置の現在位置を指定し、前記指定方位として前記内蔵カメラの撮影方向の方位を指定した前記エアタグ情報要求を発行して、当該サーバから前記エアタグ情報を取得すると共に、取得したエアタグ情報を、前記内蔵カメラで撮影した撮影画像上の当該エアタグ情報が関係づけられた地点に対応する位置に配置した拡張現実画像を表示する機能である車載システムであって、
前記自動車の外部を撮影するカメラと、
前記自動車の現在位置を算出する現在位置算出手段と、
前記カメラの撮影方向の方位を算出する撮影方向算出手段と、
前記現在位置算出手段が算出した前記自動車の現在位置を指定位置とし、前記撮影方向算出手段が算出した前記カメラの撮影方向の方位を前記指定方位とする前記エアタグ情報要求を、前記携帯装置の前記拡張現実提供機能を介して前記サーバに発行すると共に、当該発行した前記エアタグ情報要求に応じて前記サーバから前記携帯装置の前記拡張現実提供機能に提供されたエアタグ情報を取得するエアタグ情報取得手段と、
前記エアタグ情報取得手段が取得したエアタグ情報を、前記カメラで撮影した撮影画像上の当該エアタグ情報が関係づけられた地点に対応する位置に配置した画像を表示する拡張現実画像表示手段とを有することを特徴とする車載システム。
【請求項２】
内蔵カメラと、拡張現実提供機能とを備えた携帯装置が接続される、自動車に搭載される車載システムであって、かつ、
前記拡張現実提供機能は、指定位置と指定方位とを指定したエアタグ情報要求に応じて当該指定位置から指定方位方向を観察した場合に観察される領域内の地点に関係づけられたエアタグ情報を提供するサーバに、前記指定位置として当該携帯装置の現在位置を指定し、前記指定方位として前記内蔵カメラの撮影方向の方位を指定した前記エアタグ情報要求を発行して、当該サーバから前記エアタグ情報を取得すると共に、取得したエアタグ情報を、前記内蔵カメラで撮影した撮影画像上の当該エアタグ情報が関係づけられた地点に対応する位置に配置した拡張現実画像を表示する機能である車載システムであって、
地図を記憶した地図記憶手段と、
前記自動車の現在位置を算出する現在位置算出手段と、
前記自動車の前方方向の方位を算出する進行方向算出手段と、
前記現在位置算出手段が算出した前記自動車の現在位置を指定位置とし、前記進行方向算出手段が算出した前記前方方向の方位を前記指定方位とする前記エアタグ情報要求を、前記携帯装置の前記拡張現実提供機能を介して前記サーバに発行すると共に、当該発行した前記エアタグ情報要求に応じて前記サーバから前記携帯装置の前記拡張現実提供機能に提供されたエアタグ情報を取得するエアタグ情報取得手段と、
前記エアタグ情報取得手段が取得したエアタグ情報を、前記地図記憶手段に記憶されている地図を表した地図画像上の当該エアタグ情報が関係づけられた地点に対応する位置に配置した画像を表示する地図表示手段とを有することを特徴とする車載システム。
【請求項３】
請求項１記載の車載システムであって、
地図を記憶した地図記憶手段と、
前記エアタグ情報取得手段が取得したエアタグ情報を、前記地図記憶手段に記憶されている地図を表した地図画像上の当該エアタグ情報が関係づけられた地点に対応する位置に配置した画像を表示する地図表示手段とを有することを特徴とする車載システム。
【請求項４】
請求項１記載の車載システムであって、
前記自動車の走行速度を検出する車速検出手段を有し、
前記拡張現実画像表示手段は、前記車速検出手段が検出した車速が所定速度を超える場合に、前記現在位置算出手段が算出した現在位置との距離が所定距離以内である地点に関係づけられた前記エアタグ情報の、前記カメラで撮影した撮影画像上への配置を行わないことを特徴とする車載システム。
【請求項５】
請求項１記載の車載システムであって、
前記自動車の走行速度を検出する車速検出手段を有し、
前記拡張現実画像表示手段は、前記車速検出手段が検出した車速が所定速度未満である場合に、前記現在位置算出手段が算出した現在位置との距離が所定距離を超える地点に関係づけられた前記エアタグ情報の、前記カメラで撮影した撮影画像上への配置を行わないことを特徴とする車載システム。
【請求項６】
請求項１記載の車載システムであって、
地図を記憶した地図記憶手段と、
前記地図記憶手段が記憶した地図に基づいてユーザから設定された目的地までのルートを探索し、ユーザに対して案内するルート案内手段とを有し、
前記拡張現実画像表示手段は、前記ルートとの距離が所定距離を超える地点に関係づけられた前記エアタグ情報の、前記カメラで撮影した撮影画像上への配置を行わないことを特徴とする車載システム。
【請求項７】
請求項１記載の車載システムであって、
地図を記憶した地図記憶手段と、
前記地図記憶手段が記憶した地図と前記現在位置算出手段が算出した現在位置とに基づいて、前記自動車の交差点への接近を検出する交差点接近検出手段とを有し、
前記拡張現実画像表示手段は、前記交差点接近検出手段が前記交差点への接近を検出した場合に、前記エアタグ情報の前記カメラで撮影した撮影画像上への配置を行わないことを特徴とする車載システム。
【請求項８】
請求項２記載の車載システムであって、
前記自動車の走行速度を検出する車速検出手段を有し、
前記地図画像表示手段は、前記車速検出手段が検出した車速が所定速度を超える場合に、前記現在位置算出手段が算出した現在位置との距離が所定距離以内である地点に関係づけられた前記エアタグ情報の、前記地図画像上への配置を行わないことを特徴とする車載システム。
【請求項９】
請求項２記載の車載システムであって、
前記自動車の走行速度を検出する車速検出手段を有し、
前記地図画像表示手段は、前記車速検出手段が検出した車速が所定速度未満である場合に、前記現在位置算出手段が算出した現在位置との距離が所定距離を超える地点に関係づけられた前記エアタグ情報の、前記地図画像上への配置を行わないことを特徴とする車載システム。
【請求項１０】
請求項２記載の車載システムであって、
前記地図記憶手段が記憶した地図に基づいてユーザから設定された目的地までのルートを探索し、ユーザに対して案内するルート案内手段を有し、
前記地図画像表示手段は、前記ルートとの距離が所定距離を超える地点に関係づけられた前記エアタグ情報の、前記地図画像上への配置を行わないことを特徴とする車載システム。
【請求項１１】
請求項２記載の車載システムであって、
前記地図記憶手段が記憶した地図と前記現在位置算出手段が算出した現在位置とに基づいて、前記自動車の交差点への接近を検出する交差点接近検出手段を有し、
前記地図画像表示手段は、前記交差点接近検出手段が前記交差点への接近を検出した場合に、前記エアタグ情報の前記地図画像上への配置を行わないことを特徴とする車載システム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図２】
【図３】
【図４】
【図５】
【公開番号】特開２０１２−２４４５０９（Ｐ２０１２−２４４５０９Ａ）
【公開日】平成２４年１２月１０日（２０１２．１２．１０）
【国際特許分類】
【出願番号】特願２０１１−１１４３４８（Ｐ２０１１−１１４３４８）
【出願日】平成２３年５月２３日（２０１１．５．２３）
【出願人】（０００１０１７３２）アルパイン株式会社 (2,424)
【Ｆターム（参考）】
【公開日】平成２４年１２月１０日（２０１２．１２．１０）
【国際特許分類】
【出願日】平成２３年５月２３日（２０１１．５．２３）
【出願人】（０００１０１７３２）アルパイン株式会社 (2,424)
【Ｆターム（参考）】
[ Back to top ]