説明

情報提供システム及び端末装置

【課題】現場において対象物の確認を容易にする。
【解決手段】端末装置とサーバとを備える情報提供システムであって、前記端末装置は、現在位置の位置情報及び周辺の画像を取得し、前記サーバに、前記位置情報を送信することによって、情報の提供を要求し、前記サーバは、前記端末装置から前記情報の提供の要求を受信した場合、前記受信した要求に含まれる位置情報をキーとして前記データベースを検索し、当該位置情報によって示される位置から所定の範囲内に設置された設備の情報を取得し、前記取得した設備の情報と前記端末装置の位置との間の距離を計算し、前記計算された距離に従って、前記取得した設備の情報を順位付けし、前記順位付けされた設備の情報を、前記端末装置に送信し、前記端末装置は、前記サーバで付与された順位付けに従って、前記周辺の画像上で、距離が近いものが手前に重畳するように、前記設備の情報の表示をする。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、情報提供システムに関し、特に対象物の画像と関連させて該対象物の情報を表示する技術に関する。
【背景技術】
【0002】
現場に設置された対象物の調査や、該対象物の点検をする際に、該対象物の設置場所が記載された地図を持ち歩く必要がある。また、設置された対象物の情報は、営業所または本社のサーバに蓄積されていることから、社内では該サーバにアクセスすることによって、設置された対象物の情報を確認することが可能であるが、現場で対象物の情報を確認することは困難であった。
【0003】
このため、例えば、配電線・電柱等の情報を現場にて確認するための技術として、特許文献1に記載される電力復旧誘導装置が提案されている。この特許文献1に記載される電力復旧誘導装置では、監視している配電線についての電柱の各種情報に基づいて作業者が携帯する地図表示部の表示画面上に電柱が配設される地図に重畳させて表示している。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開平9−261896号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかし、前述したように、現場の作業者は重い地図を持ち歩かなければならず、地図上での位置の確認が困難であった。また、作業者が持ち歩く地図上に対象物の情報を記載しても、社内のサーバに蓄積された情報が更新されている場合、現場で最新の情報にアクセスすることは困難であった。さらに、特許文献1に記載された技術では、対象物の情報を地図に重畳させて表示することから、紙の地図と同様に、地図上での位置の確認が困難であった。また、対象物を地図に重畳させて表示する場合、測位の誤差や地図の誤差を補正することができず、対象物の表示が不正確な場合があった。
【0006】
本発明は、現場の画像と重畳させて対象物の情報を表示することによって、対象物とその情報を正確に確認することを目的とする。
【課題を解決するための手段】
【0007】
本願において開示される発明の代表的な一例を示せば以下の通りである。すなわち、端末装置と、前記端末装置に情報を提供するサーバとを備える情報提供システムであって、前記サーバは、プログラムを実行するプロセッサと、プログラムを格納するメモリと、前記端末装置に提供される情報を格納するデータベースとを有する計算機であり、前記端末装置は、プログラムを実行するプロセッサと、プログラムを格納するメモリと、周辺の画像を撮影するカメラと、前記端末装置の位置情報を取得する測位装置とを有する通信装置であり、前記端末装置は、現在位置の位置情報及び周辺の画像を取得し、前記サーバに、前記位置情報を送信することによって、情報の提供を要求し、前記サーバは、前記端末装置から前記情報の提供の要求を受信した場合、前記受信した要求に含まれる位置情報をキーとして前記データベースを検索し、当該位置情報によって示される位置から所定の範囲内に設置された設備の情報を取得し、前記取得した設備の情報と前記端末装置の位置との間の距離を計算し、前記計算された距離に従って、前記取得した設備の情報を順位付けし、前記順位付けされた設備の情報を、前記端末装置に送信し、前記端末装置は、前記サーバで付与された順位付けに従って、前記周辺の画像上で、距離が近いものが手前に重畳するように、前記設備の情報の表示をする。
【0008】
また、前記端末装置は、前記周辺の画像に含まれる画像を認識するための画像認識用パターンを保持し、前記周辺の画像に含まれる画像を前記画像認識用パターンと照合することによって、前記周辺の画像上の設備の表示の誤差を計算し、前記計算された誤差を前記端末装置のメモリに書き込む。
【発明の効果】
【0009】
本発明の代表的な実施の形態によれば、位置情報をキーとして、設備の情報を参照することができるので、社外でも設備の情報を確認することができる。また、画像を用いて、位置情報を補正するための誤差を計算するので、設備が表示される位置の精度を向上させることができる。
【図面の簡単な説明】
【0010】
【図1】本発明の実施形態の情報提供システムの構成のブロック図である。
【図2】本実施形態の情報提供サーバ100の構成のブロック図である。
【図3】本実施形態の端末200の構成のブロック図である。
【図4】本実施形態の設備情報データベース110の説明図である。
【図5】本実施形態のメニュー処理のフローチャートである。
【図6A】本実施形態のリアルモード処理のフローチャートである。
【図6B】本実施形態のリアルモード処理のフローチャートである。
【図7A】本実施形態のマップモード処理のフローチャートである。
【図7B】本実施形態のマップモード処理のフローチャートである。
【図8】本実施形態の設備情報画面処理のフローチャートである。
【図9】本実施形態の設備情報更新処理のフローチャートである。
【図10】本実施形態の地図情報更新処理のフローチャートである。
【図11】本実施形態の画面遷移図の説明図である。
【図12】本実施形態のリアルタイム画面1103の説明図である。
【図13】本実施形態のマップ画面1104の説明図である。
【図14】本実施形態の設備情報詳細画面1105の説明図である。
【図15】本実施形態のリアルモード処理のシーケンス図である。
【図16】本実施形態のマップモード処理のシーケンス図である。
【図17】本実施形態の現在位置補正処理のフローチャートである。
【図18】本実施形態の現在位置補正処理の説明図である。
【図19】本実施形態の設備位置補正処理のフローチャートである。
【図20】本実施形態の表示位置テーブル217の説明図である。
【発明を実施するための形態】
【0011】
図1は、本発明の実施形態の情報提供システムの構成を示すブロック図である。
【0012】
本実施形態の情報提供システムは、情報提供サーバ100、端末200及びネットワーク300を備える。
【0013】
情報提供サーバ100は、プロセッサ、メモリ、記憶装置及びネットワークインターフェースを備え、社内(本社又は営業所)に設置される計算機である。情報提供サーバ100の記憶装置は、設備情報データベース110及び地図情報データベース120を格納する。情報提供サーバ100に格納される設備情報データベース110及び地図情報データベース120によってマスタデータベースが構成される。なお、情報提供サーバ1の構成は、図2を用いて後述する。
【0014】
端末200は、プロセッサ、メモリ及びネットワークインターフェースを備え、作業員が作業現場で設備の情報を取得するために使用する端末装置である。また、端末200は、GPSユニット206及びカメラ209を備える。端末200の記憶装置は、設備情報データベース212及び地図情報データベース213を格納する。情報提供サーバ100に格納される設備情報データベース110及び地図情報データベース120によってキャッシュデータベースが構成される。なお、端末200の構成は、図3を用いて後述する。
【0015】
ネットワーク300は、情報提供サーバ100と端末200とを接続する。本実施形態の端末200は現場で使用されるので、通常、ネットワーク300は無線通信網であり、例えば、携帯電話網、Wi−Fi網、WiMAX網などを用いることができる。
【0016】
既存システム400は、プロセッサ、メモリ、記憶装置及びネットワークインターフェースを備え、社内(本社又は営業所)に設置される計算機であり、情報提供サーバ100に情報を提供する。既存システム400の記憶装置は、設備情報データベース410及び地図情報データベース420を格納する。既存システム400に格納される設備情報データベース410及び地図情報データベース420によって既存データベースが構成される。
【0017】
図2は、本実施形態の情報提供サーバ100の構成を示すブロック図である。
【0018】
情報提供サーバ100は、プロセッサ101、RAM102、記憶装置103及びネットワークインターフェース104を備える計算機である。
【0019】
プロセッサ101は、RAM102に格納されたプログラムを実行することによって、情報提供サーバ100の動作を制御する。RAM102は、プロセッサ101によって実行されるプログラムと、該プログラムの実行に必要なデータを格納する。RAM102は、フラッシュメモリ等によって構成される不揮発性記憶領域を含み、該不揮発性記憶領域には、情報提供サーバ100の動作を制御するために必要な固定的なデータ(例えば、BIOSなど)が格納される。記憶装置103は、磁気ディスクドライブやフラッシュメモリ(SSD)などの不揮発性記憶装置であり、設備情報データベース110及び地図情報データベース120を格納する。ネットワークインターフェース104は、ネットワーク300を経由して他の装置と通信するためのプロトコルを制御する。
【0020】
図3は、本実施形態の端末200の構成を示すブロック図である。
【0021】
端末200は、プロセッサ201、メモリ210、ディスプレイ202、操作部203、送受信機204、アンテナ205、GPSユニット206、磁気センサ207、加速度センサ208及びカメラ209を備える通信端末であり、例えば、携帯電話機、スマートフォン、ネットブックコンピュータなどである。
【0022】
プロセッサ201は、メモリ210に格納されたプログラムを実行することによって、端末200の動作を制御する。メモリ210は、プロセッサ201によって実行されるプログラムを格納する。メモリ210は、フラッシュメモリ等によって構成される不揮発性記憶領域を含み、該不揮発性記憶領域には、キャッシュデータベース211、選択中設備情報214、位置補正データ215及び設定情報ファイル216が格納される。キャッシュデータベース211は、設備情報データベース212及び地図情報データベース213を含む。
【0023】
選択中設備情報214は、リアルタイム画面(図11の1103)又はマップ画面(図11の1104)において、設備アイコンが選択されると、当該選択された設備の設備IDを格納し、他の画面に遷移した後も選択された設備の情報を引き継いで表示するために用いられる。
【0024】
位置補正データ215は、現在位置補正処理(図17)によって計算された現在位置と地図上の位置との差(緯度、経度の差)を格納する。認識用パターン216は、設備位置補正処理(図18)において、周辺画像に含まれる設備の画像を認識するために用いられるもので、例えば、認識用画像の特徴量を格納する。表示位置テーブル217は、設備位置補正処理(図18)によって計算された設備アイコンの位置の補正量を格納する。
【0025】
ディスプレイ202は、端末200から使用者に情報を提示するための表示画面であり、例えば、液晶表示パネルによって構成される。操作部203は、使用者が端末200に操作の指示を与えるヒューマンインターフェースであり、例えば、ディスプレイ202に重畳して設けられたタッチパネルによって構成されたソフトウェア的なキーボードでも、ディスプレイ202と別に設けられたハードウェア的な操作キーでもよい。
【0026】
なお、本実施の形態の端末200は、ハードウェアによる操作キーとして、望ましくは、[メニュー]キー、[ホーム]キー、[戻る]キー、[検索]キーを備える。なお、これらのキーの一部又は全部をソフトウェアキーボードによって実現してもよい。
【0027】
[メニュー]キーは、端末200の機能メニューを呼び出すために操作されるキーである。[ホーム]キーは、端末200のホーム画面(図11の1101)を呼び出すために操作されるキーである。[戻る]キーは、遷移元の画面に戻るために操作されるキーである。[検索]キーは、端末200内のプログラム及びデータを検索する際に操作されるキーである。
【0028】
無線送受信機204は、無線通信回線を経由してネットワーク300と接続するためのネットワークインターフェースであり、例えば、携帯電話ネットワーク、無線LAN、WiMAXなどの公衆無線通信網へ接続できればよい。アンテナ205は、無線送受信機204に接続され、ネットワーク300内の無線基地局との間で無線信号を送受信する。
【0029】
GPSユニット206は、GPS衛星からの信号を受信して、端末200の位置(緯度、経度、標高)を計算する。なお、本実施の形態では、GPSを用いて端末200の位置を測定したが、他の方法(例えば、受信可能な無線LAN基地局のID、更新可能なICタグのID)を用いて端末200の位置を測定してもよい。
【0030】
磁気センサ207は、例えば、ホール素子によって構成され、直交する3軸の地磁気の成分を検出することによって、端末200の向きを検出する。加速度センサ208は、直交する3軸の加速度を検出することによって、端末200の動きを検出する。また、加速度センサ208は、直交する3軸の重力加速度の成分を検出することによって、端末200の鉛直方向からの傾きを検出する。なお、磁気センサ207及び加速度センサ208によって、電子コンパスが構成される。
【0031】
カメラ209は、CMOSセンサやCCDカメラによって構成され、端末200の周辺の風景画像を撮影して、画像データを出力する装置である。
【0032】
図4は、本実施形態の設備情報データベース110の構成を説明する図である。
【0033】
なお、図4では、設備情報データベース110は、項番111、項目名称112、必須113及び備考114を含み、設備ごとにこれらの項目が含まれるエントリが格納される。
【0034】
項番111は、設備情報データベース110に含まれる項目を一意に識別するための識別子である。項目名称112は、当該項目に格納されるデータの種類を示す。必須113は、当該項目のデータが各エントリに必須であるかを示すフラグである。備考114は、当該項目のデータの内容である。
【0035】
なお、項番11の距離のデータは、後述する距離データ有効フラグが設定された場合にのみ参照される。
【0036】
図4では、設備情報データベース110について説明したが、端末200のキャッシュデータベース211の設備情報データベース212は、情報提供サーバ100のマスタデータベースの設備情報データベース110の一部によって構成されるので、両設備情報データベース110、212は同じ構成である。
【0037】
なお、情報提供サーバ100のマスタデータベースの設備情報データベース110及び地図情報データベース120は、既存システム400の設備情報データベース410及び地図情報データベース420からデータの提供を受けて更新される。なお、既存システム400から情報提供サーバ100へのデータの提供は、情報提供サーバ100からのリクエストによるものでも、バッチ処理によるものでもよい。
【0038】
図5は、本実施形態のメニュー処理のフローチャートである。このメニュー処理は端末200のプロセッサ201によって実行される。
【0039】
ホーム画面(図11の1101)から電力設備情報処理の起動が選択される(利用者が電力設備情報のアイコンをタップする)とメニュー処理を開始し、まず、設備情報更新処理及び地図情報更新処理を起動する(501、502)。
【0040】
設備情報更新処理は、メニュー処理、マップモード処理、リアルモード処理、設備情報画面処理などのバックグラウンドで動作し、端末200の位置の変化に応じて、情報提供サーバ100から設備情報を取得し、キャッシュデータベースの設備情報データベース212を更新する処理である。なお、設備情報更新処理の詳細は、図9を用いて後述する。
【0041】
地図情報更新処理は、メニュー処理、マップモード処理、リアルモード処理、設備情報画面処理などのバックグラウンドで動作し、端末200の位置の変化に応じて、情報提供サーバ100から地図情報を取得し、キャッシュデータベースの地図情報データベース213を更新する処理である。なお、地図情報更新処理の詳細は、図10を用いて後述する。
【0042】
その後、メニュー画面をディスプレイ202に表示する(503)。メニュー画面は、図11の1102に示すように、リアルモードか、マップモードかを選択するためのアイコンを含む。
【0043】
その後、利用者がリアルモードのアイコンをタップすることによって、リアルモードを選択すると(504でYes)、リアルモード処理を実行する(505)。リアルモード処理の詳細は、図6A、図6Bを用いて説明する。一方、利用者がマップモードのアイコンをタップすることによって、マップモードを選択すると(506でYes)、マップモード処理を実行する(507)。マップモード処理の詳細は、図7A、図7Bを用いて説明する。
【0044】
さらに、メニュー画面で利用者が[ホーム]キー(又は、[戻る]キー)を操作することによって、電力設備情報処理の終了を選択すると(508でYes)、設備情報更新処理及び地図情報更新処理を終了し(509、510)、メニュー画面を閉じて、メニュー処理を終了する(511)。
【0045】
なお、利用者による操作が検出されなければ(508でNo)、ステップ504に戻り、利用者による操作を待つ。
【0046】
図6A及び図6Bは、本実施形態のリアルモード処理のフローチャートである。このリアルモード処理は、メニュー処理のステップ505において起動され、端末200のプロセッサ201によって実行される。
【0047】
メニュー画面において、リアルモードが選択されると、リアルモード処理を開始し、まず、リアルタイム画面(図11の1103)を表示する(601)。
【0048】
その後、GPSユニット206から、端末200の現在の位置の情報を取得し(602)、取得した位置情報から所定の範囲内の設備の情報をキャッシュDBの設備情報データベース212から取得する(603)。この設備の情報を取得する範囲は、リアルモード処理によって表示される周辺画像の領域から所定の周囲の領域とする。
【0049】
この設備情報の取得は現在位置からの距離が遠いものから近いものへの順に取得するとよい。これは、設備情報を周辺画像上に表示する際に、近いものが手前になるように重畳させて表示するため、キャッシュDBから取得した設備情報が距離の遠い順に並んでいると、取得した設備情報を並び替える必要がないからである。
【0050】
その後、カメラ209に現在位置の周辺の画像の撮影を指示し、撮影された周辺画像をカメラ209から取得する(604)。さらに、電子コンパス(磁気センサ207、加速度センサ208)端末200の方向及び鉛直方向からの傾きを取得する(605)。
【0051】
その後、リアルタイム画面を表示する(606)。リアルタイム画面は、図12に示すように、画像表示領域1210及びアイコン表示領域1220を含む。
【0052】
画像表示領域1210には、設備アイコン1211及び設備概要1212が周辺画像に重畳して表示される。アイコン表示領域1220には、マップ画面へ遷移するためのアイコン1221が表示される。さらに、リアルタイム画面には、現在位置1213及び設備レーダ1214が表示される。この現在位置1213及び設備レーダ1214は、画像表示領域1210、アイコン表示領域1220のいずれに表示してもよい。
【0053】
設備アイコン1211は、周辺画像中の設備の位置に表示されるマークである。設備概要1212は、当該設備の概要を示し、図12では設備ID(電柱番号)が吹き出し形式で表示される。この設備概要をタップすることによって、設備情報画面処理(図8)が起動し、当該設備の詳細な情報を見ることができる。
【0054】
現在位置1213は、GPSユニット206から取得した、当該端末200の経度及び緯度、さらに、磁気センサ207から取得した、当該端末200の方位を示す。設備レーダ1214は、選択された設備の方向を表示する。
【0055】
なお、リアルタイム画面は、画像更新の停止及び再開を切り替え可能なボタンを含んでもよい。
【0056】
ステップ606のリアルタイム画面の表示は、具体的には、以下の手順で行う。まず、カメラ209が撮影した周辺画像を描画し、現在位置からの距離が遠い順に設備アイコン1211を描画する。さらに、選択中設備情報214を参照し、選択中設備情報214に設備の情報が格納されている、すなわち、設備が選択されている場合、設備概要1212を描画し、当該選択されている設備の方向を示す設備レーダー1214を描画する。なお、設備が選択されていない(選択中設備情報214に設備の情報が格納されていない)場合、設備概要1212を描画しなくても、最も近い設備の概要1212を描画してもよい。
【0057】
その後、キャッシュDBの設備情報データベース212を参照し、設備概要を表示中の設備があるか否かを判定し(607)、設備概要を表示中に、設備概要の吹き出しが選択されると(608でYes)、設備情報画面処理(図8)を起動し、当該選択された設備の詳細な情報を表示する(609)。
【0058】
一方、設備概要が表示されていなければ、キャッシュDBの設備情報データベース212から読み出し、RAM210にバッファされている設備情報を、現在位置からの距離が近ものから遠いものの順に並び替える(610)。これは、画面タップにより設備を選択する場合、より近くに存在するものを選択する可能性が高いためである。
【0059】
その後、設備アイコン1211が選択されると(611でYes)、選択された設備の設備IDを選択中設備情報214に書き込み、設備概要の吹き出し1212を表示する(612)。
【0060】
また、マップモードアイコン1221が選択されると(613でYes)、マップモード処理(図7A、図7B)を起動し、マップ画面に設備の情報を表示する(614)。
【0061】
また、[戻る]キーが操作されると(615でYes)、リアルタイム画面を閉じて、リアルモード処理を終了し、メニュー処理に戻る(616)。なお、[戻る]キーの操作ではなく、戻るアイコンを画面上に表示し、当該戻るアイコンがタップされるとリアルモード処理を終了してもよい。
【0062】
なお、利用者からの操作が検出されなければ(615でNo)、一定時間が経過したか否かをタイマによって判定し、一定時間が経過した後(617)、ステップ602に戻り、GPSユニット206から位置情報を取得するステップから処理を繰り返す。なお、一定時間が経過していなくても、端末200が所定の閾値以上の距離を移動した場合、及び、更新イベントを受信した場合には、ステップ602に戻ってもよい。
【0063】
図7A及び図7Bは、本実施形態のマップモード処理のフローチャートである。このマップモード処理は、メニュー処理のステップ507において起動され、端末200のプロセッサ201によって実行される。
【0064】
メニュー画面において、マップモードが選択されると、マップモード処理を開始し、まず、マップ画面(図11の1104)を表示する(701)。
【0065】
その後、GPSユニット206から、端末200の現在の位置の情報を取得し(702)、取得した位置情報から所定の範囲内の設備の情報をキャッシュDBの設備情報データベース212から取得する(703)。この設備の情報を取得する範囲は、マップモード処理によって表示される地図の領域から所定の周囲の領域とする。
【0066】
この設備情報の取得は現在位置からの距離が遠いものから近いものへの順に取得するとよい。これは、設備情報を周辺画像上に表示する際に、近いものが手前になるように重畳させて表示するため、キャッシュDBから取得した設備情報が距離の遠い順に並んでいると、取得した設備情報を並び替える必要がないからである。
【0067】
その後、取得した位置情報から所定の範囲内の地図データを、キャッシュDBの地図データベース213から取得する(704)。さらに、電子コンパス(磁気センサ207、加速度センサ208)から端末200の方向及び鉛直方向からの傾きを取得する(705)。
【0068】
その後、マップ画面を表示する(706)。マップ画面は、図13に示すように、地図表示領域1310及びアイコン表示領域1320を含む。地図表示領域1310には、設備アイコン1311、設備概要1312、現在位置マーカ1313が地図に重畳して表示される。アイコン表示領域1320には、リアルタイム画面へ遷移するためのアイコン1321、現在位置補正アイコン1322が表示される。現在位置補正アイコン1322がタップされると、現在位置補正処理(図17)が実行される。さらに、マップ画面には、リアルタイム画面と同様に、現在位置(緯度、経度、方位)が表示されてもよい。
【0069】
設備アイコン1311は、周辺画像中の設備の位置に表示されるマークである。設備概要1312は、当該設備の概要を示し、図13では設備ID(電柱番号)が吹き出し形式で表示される。この設備概要をタップすることによって、設備情報画面処理(図8)が起動し、当該設備の詳細な情報を見ることができる。
【0070】
ステップ706のマップ画面の表示は、具体的には、以下の手順で行う。まず、地図データベース213から取得した地図データを描画し、描画された地図上に設備アイコン1311を描画する。なお、設備アイコン1311は現在位置からの距離が遠い順に描画すると、設備アイコン1311が密集している場合によい。また、GPSユニット206から取得した現在の位置に基づいて現在位置マーカ1313を描画する。さらに、選択中設備情報214を参照し、選択中設備情報214に設備の情報が格納されている、すなわち、設備が選択されている場合、設備概要1312を描画する。なお、設備が選択されていない(選択中設備情報214に設備の情報が格納されていない)場合、設備概要1312を描画しなくても、最も近い設備の概要1312を描画してもよい。
【0071】
その後、キャッシュDBの設備情報データベース212を参照し、設備概要を表示中の設備があるか否かを判定し(707)、設備概要を表示中に、設備概要の吹き出しが選択されると(708でYes)、設備情報画面処理(図8)を起動し、当該選択された設備の詳細な情報を表示する(709)。
【0072】
一方、設備概要が表示されていなければ、キャッシュDBの設備情報データベース212から読み出し、RAM210にバッファされている設備情報を、現在位置からの距離が近ものから遠いものの順に並び替える(710)。これは、画面タップにより設備を選択する場合、より近くに存在するものを選択する可能性が高いためである。
【0073】
その後、設備アイコン1311が選択されると(711でYes)、選択された設備の設備IDを選択中設備情報214に書き込み、設備概要の吹き出し1212を表示する(712)。
【0074】
また、リアルモードアイコン1321が選択されると(713でYes)、リアルモード処理(図6A、図6B)を起動し、リアルタイム画面に設備の情報を表示する(714)。
【0075】
また、[戻る]キーが操作されると(715でYes)、マップ画面を閉じて、マップモード処理を終了し、メニュー処理に戻る(716)。なお、[戻る]キーの操作ではなく、戻るアイコンを画面上に表示し、当該戻るアイコンがタップされるとマップモード処理を終了してもよい。
【0076】
なお、利用者からの操作が検出されなければ(715でNo)、一定時間が経過したか否かをタイマによって判定し、一定時間が経過した後(717)、ステップ702に戻り、GPSユニット206から位置情報を取得するステップから処理を繰り返す。なお、一定時間が経過していなくても、端末200が所定の閾値以上の距離を移動した場合、及び、更新イベントを受信した場合には、ステップ702に戻ってもよい。
【0077】
図8は、本実施形態の設備情報画面処理のフローチャートである。この設備情報画面処理は、リアルモード処理のステップ609、マップモード処理のステップ709において起動され、端末200のプロセッサ201によって実行される。
【0078】
リアルタイム画面又はマップ画面において、設備概要の吹き出しが選択されると設備情報画面処理を開始し、設備概要を表示中の設備の設備情報をRAM210から取得する(801)。
【0079】
その後、設備情報詳細画面(図11の1105)を表示して、RAM210から取得した設備情報を表示する(802)。
【0080】
その後、[戻る]キーが操作されると(803でYes)、設備情報詳細画面を閉じて、設備情報画面処理を終了し、呼出元のリアルモード処理又はマップモード処理に戻る(804)。なお、[戻る]キーの操作ではなく、戻るアイコンを画面上に表示し、当該戻るアイコンがタップされると設備情報画面処理を終了してもよい。
【0081】
図9は、本実施形態の設備情報更新処理のフローチャートである。この設備情報更新処理は、メニュー処理のステップ501において起動され、端末200のプロセッサ201によって実行される。
【0082】
まず、端末200の現在の位置の情報をGPSユニット206から取得する(901)。
【0083】
そして、前回設備情報を更新した際の位置の情報からの移動距離が所定の基準距離未満であれば(902でNo)、設備情報を更新する必要がないので、ステップ901に戻り、さらに、端末200の現在の位置の情報を取得する。一方、前回設備情報を更新した際の位置の情報から移動距離が所定の基準距離以上であれば(902でYes)、設備情報を更新する必要があるので、ステップ903に進む。
【0084】
そして、まず、情報提供サーバ100と接続し(903)、取得した位置情報をキーとして、マスタデータベースの設備情報データベース110を検索して、取得した位置情報から所定の範囲内の設備の情報を取得する(904)。このとき、要求された情報がマスタデータベースの設備情報データベース110に格納されていない場合、情報提供サーバ100は、端末200から要求された情報を既存システム400に要求する。その後、情報提供サーバ100との接続を切断する(905)。
【0085】
その後、情報提供サーバ100から取得した設備の情報をキャッシュデータベースの設備情報データベース212に書き込み(906)、設備情報が更新されたことをリアルモード処理(図6A、図6B)及びマップモード処理(図7A、図7B)に通知する(907)。リアルモード処理及びマップモード処理は、設備情報の更新が通知されると、更新された設備情報を設備情報データベース212から読み出し、各々、リアルタイム画面、マップ画面を更新する。
【0086】
その後、タイマによって一定時間が経過したか否かを判定し、一定時間が経過した後(908)、設備情報更新処理を終了するか否かを判定する(909)。メニュー処理のステップ509において、設備情報更新処理の終了が指示された場合、設備情報更新処理を終了する(910)。一方、設備情報更新処理を終了しない場合、ステップ901に戻り、さらに、端末200の現在の位置の情報を取得する。
【0087】
図10は、本実施形態の地図情報更新処理のフローチャートである。この地図情報更新処理は、メニュー処理のステップ502において起動され、端末200のプロセッサ201によって実行される。
【0088】
まず、端末200の現在の位置の情報をGPSユニット206から取得する(1001)。
【0089】
そして、前回地図情報を更新した際の位置の情報からの移動距離が所定の基準距離未満であれば(1002でNo)、地図情報を更新する必要がないので、ステップ1001に戻り、さらに、端末200の現在の位置の情報を取得する。一方、前回地図情報を更新した際の位置の情報から移動距離が所定の基準距離以上であれば(1002でYes)、地図情報を更新する必要があるので、ステップ1003に進む。
【0090】
そして、まず、情報提供サーバ100と接続し(1003)、取得した位置情報をキーとして、マスタデータベースの地図情報データベース120を検索して、取得した位置情報から所定の範囲内の設備の情報を取得する(1004)。このとき、要求された情報がマスタデータベースの地図情報データベース120に格納されていない場合、情報提供サーバ100は、端末200から要求された情報を既存システム400に要求する。その後、情報提供サーバ100との接続を切断する(1005)。
【0091】
その後、情報提供サーバ100から取得した設備の情報をキャッシュデータベースの地図情報データベース213に書き込み(1006)、地図情報が更新されたことをリアルモード処理(図6A、図6B)及びマップモード処理(図7A、図7B)に通知する(1007)。リアルモード処理及びマップモード処理は、地図情報の更新が通知されると、更新された地図情報を地図情報データベース213から読み出し、各々、リアルタイム画面、マップ画面を更新する。
【0092】
その後、タイマによって一定時間が経過したか否かを判定し、一定時間が経過した後(1008)、地図情報更新処理を終了するか否かを判定する(1009)。メニュー処理のステップ510において、地図情報更新処理の終了が指示された場合、地図情報更新処理を終了する(1010)。一方、地図情報更新処理を終了しない場合、ステップ1001に戻り、さらに、端末200の現在の位置の情報を取得する。
【0093】
図11は、本実施形態の画面遷移図を説明する図である。
【0094】
端末200が起動すると、ホーム画面1101が表示される。ホーム画面1101には、電力設備情報のアイコンが含まれる。利用者が電力設備情報のアイコンをタップすることによって、メニュー処理(図5)が起動し、メニュー画面1102が表示される。
【0095】
メニュー画面1102には、リアルモードアイコン及びマップモードアイコンが含まれる。利用者がリアルモードのアイコンをタップすることによって、リアルモード処理(図6A、図6B)が起動し、リアルタイム画面1103が表示される。また、利用者がマップモードのアイコンをタップすることによって、マップモード処理(図7A、図7B)が起動し、マップ画面1104が表示される。リアルタイム画面1103及びマップ画面1104の詳細は、各々、図12及び図13を用いて前述したとおりである。
【0096】
リアルタイム画面1103及びマップ画面1104において、設備概要の吹き出しが選択されると、設備情報画面処理(図8)が起動し、設備情報詳細画面1105(図14)が表示される。
【0097】
なお、各画面において[戻る]キーが操作されると、直前の画面に戻る。メニュー画面において[戻る]キーが操作されると、メニュー画面1102を閉じ、メニュー処理を終了する。なお、[戻る]キーの操作ではなく、戻るアイコンを画面上に表示し、当該戻るアイコンがタップされると前述の処理をしてもよい。
【0098】
図14は、本実施形態の設備情報詳細画面1105を説明する図である。
【0099】
設備情報詳細画面1105は、設備の種類(電柱)、当該設備に付帯する設備(トランス、開閉器など)、設備ID(電柱番号)、製造番号、製造メーカ、型名、設置場所(緯度、経度)などが表示される。
【0100】
図15は、本実施形態のリアルモード処理のシーケンス図である。
【0101】
まず、ホーム画面1101において電力設備情報のアイコンがタップされるとメニュー処理を開始し、メニュー画面1102を表示し(1501)、設備情報更新処理を開始する(1502)。メニュー画面1102においてリアルモードのアイコンがタップされるとリアルモード処理を開始し、リアルタイム画面1103を表示する(1503)。
【0102】
その後、設備情報更新処理は、所定のタイミング(例えば、所定時間間隔)で、情報提供サーバ100に接続し、設備情報配布処理を呼び出す。このとき、端末200の現在位置の情報が設備情報配布処理に送信される(1504)。設備情報配布処理は、端末200の設備情報更新処理から呼び出されると、端末200から送信された位置情報をキーとして、マスタデータベースの設備情報データベース110に検索を指示する(1505)。
【0103】
設備情報データベース110は、検索指示によって指定された位置から所定の範囲内の設備の情報を抽出し、設備情報配布処理に返信する(1506)。このとき、要求された情報が設備情報データベース110に格納されていない場合、設備情報配布処理は、設備情報更新処理から要求された情報を既存システム400に要求する。設備情報配布処理は、設備情報データベース110から取得した設備の情報を、端末200の設備情報更新処理に返信する(1507)。
【0104】
設備情報更新処理は、設備情報配布処理から受信した設備の情報を、キャッシュデータベースの設備情報データベース212に書き込む(1508)。設備情報データベース212は、設備の情報を更新した後、更新の終了を設備情報更新処理に返信する(1509)。設備情報更新処理は、設備情報データベース212の更新を、リアルモード処理に通知する(1510)。
【0105】
リアルモード処理は、設備情報データベースの更新の通知を受信すると、設備情報データベース212を参照し(1511)、設備情報データベース212から、リアルタイム画面に表示する設備情報の提供を受ける(1512)。その後、リアルモード処理は、設備情報更新処理にACKメッセージを送信する(1513)。
【0106】
なお、1504〜1513の処理は、前述したように所定時間間隔で繰り返し実行される他、端末200が所定の閾値以上の距離を移動した場合や、更新イベントを受信した場合にも実行される。
【0107】
その後、リアルタイム画面において、設備概要の吹き出しがタップされると、設備情報画面処理を開始する(1514)。設備情報画面処理は、設備情報データベース212を参照し(1515)、設備情報データベース212から、設備情報詳細画面に表示する設備情報の提供を受ける(1516)。その後、設備情報画面処理は、[戻る]キーの操作を検出すると、設備情報詳細画面を閉じて、設備情報画面処理を終了し、リアルモード処理に戻り、リアルタイム画面を表示する(1517)。
【0108】
リアルモード処理は、[戻る]キーの操作を検出すると、リアルタイム画面を閉じて、リアルモード処理を終了し、メニュー処理に戻り、メニュー画面を表示する(1518)。
【0109】
メニュー処理は、[ホーム]キーの操作を検出すると、メニュー画面を閉じて、メニュー処理を終了する(1519)。
【0110】
図16は、本実施形態のマップモード処理のシーケンス図である。
【0111】
まず、ホーム画面1101において電力設備情報のアイコンがタップされるとメニュー処理を開始し、メニュー画面1102を表示し(1601)、設備情報更新処理及び地図情報更新処理を開始する(1602)。メニュー画面1102においてマップモードのアイコンがタップされるとマップモード処理を開始し、マップ画面1103を表示する(1603)。
【0112】
その後、設備情報更新処理は、所定のタイミング(例えば、所定時間間隔)で、情報提供サーバ100に接続し、設備情報配布処理を呼び出す。このとき、端末200の現在位置の情報が設備情報配布処理に送信される(1604)。設備情報配布処理は、端末200の設備情報更新処理から呼び出されると、端末200から送信された位置情報をキーとして、マスタデータベースの設備情報データベース110に検索を指示する(1605)。
【0113】
設備情報データベース110は、検索指示によって指定された位置から所定の範囲内の設備の情報を抽出し、設備情報配布処理に返信する(1606)。このとき、要求された情報が設備情報データベース110に格納されていない場合、設備情報配布処理は、設備情報更新処理から要求された情報を既存システム400に要求する。設備情報配布処理は、設備情報データベース110から取得した設備の情報を、端末200の設備情報更新処理に返信する(1607)。
【0114】
設備情報更新処理は、設備情報配布処理から受信した設備の情報を、キャッシュデータベースの設備情報データベース212に書き込む(1608)。設備情報データベース212は、設備の情報を更新した後、更新の終了を設備情報更新処理に返信する(1609)。
【0115】
また、地図情報更新処理は、情報提供サーバ100に接続し、地図情報配布処理を呼び出す。このとき、端末200の現在位置の情報が地図情報配布処理に送信される(1610)。地図情報配布処理は、端末200の地図情報更新処理から呼び出されると、端末200から送信された位置情報をキーとして、マスタデータベースの地図情報データベース120に検索を指示する(1611)。
【0116】
地図情報データベース120は、検索指示によって指定された位置から所定の範囲内の地図の情報を抽出し、地図情報配布処理に返信する(1612)。このとき、要求された情報が地図情報データベース120に格納されていない場合、地図情報配布処理は、地図情報更新処理から要求された情報を既存システム400に要求する。地図情報配布処理は、地図情報データベース120から取得した設備の情報を、端末200の地図情報更新処理に返信する(1613)。
【0117】
地図情報更新処理は、地図情報配布処理から受信した地図の情報を、キャッシュデータベースの地図情報データベース213に書き込む(1614)。地図情報データベース213は、地図の情報を更新した後、更新の終了を地図情報更新処理に返信する(1615)。設備情報更新処理及び地図情報更新処理は、設備情報データベース212及び地図情報データベース213の更新を、マップモード処理に通知する(1616)。なお、本実施の形態では、設備情報データベース212及び地図情報データベース213の両方が更新された後に、データベースの更新をマップモード処理に通知したが、設備情報データベース212及び地図設備情報データベース213の一方が更新された後に、データベースの更新をマップモード処理に通知してもよい。
【0118】
マップモード処理は、データベースの更新の通知を受信すると、設備情報データベース212を参照し(1617)、設備情報データベース212から、マップタイム画面に表示する設備情報の提供を受ける(1618)。また、マップモード処理は、地図情報データベース213を参照し(1619)、地図情報データベース212から、マップタイム画面に表示する設備情報の提供を受ける(1620)。その後、マップモード処理は、設備情報更新処理及び地図情報更新処理にACKメッセージを送信する(1621)。
【0119】
なお、1604〜1621の処理は、前述したように所定時間間隔で繰り返し実行される他、端末200が所定の閾値以上の距離を移動した場合や、更新イベントを受信した場合にも実行される。
【0120】
また、設備情報データベース212及び地図情報データベース213は、同じタイミングで更新されても、異なるタイミング(例えば、異なる周期)で更新されてもよい。
【0121】
その後、マップ画面において、設備概要の吹き出しがタップされると、設備情報画面処理を開始する(1622)。設備情報画面処理は、設備情報データベース212を参照し(1623)、 設備情報データベース212から、設備情報詳細画面に表示する設備情報の提供を受ける(1624)。その後、設備情報画面処理は、[戻る]キーの操作を検出すると、設備情報詳細画面を閉じて、設備情報画面処理を終了し、マップモード処理に戻り、リアルタイム画面を表示する(1625)。
【0122】
マップモード処理は、[戻る]キーの操作を検出すると、マップ画面を閉じて、マップモード処理を終了し、メニュー処理に戻り、メニュー画面を表示する(1626)。
【0123】
メニュー処理は、[ホーム]キーの操作を検出すると、メニュー画面を閉じて、メニュー処理を終了する(1627)。
【0124】
図17は、本実施形態の現在位置補正処理のフローチャートである。
【0125】
現在位置補正処理は、現在位置補正アイコン1322がタップされ、現在位置補正モードがONになることによって起動される。現在位置補正処理では、まず、現在位置マーカ1313Aのマップ画面1104上の座標を取得する(1701)。
【0126】
その後、図18に示すように、ユーザが現在位置マーカを真の現在位置に画面上で移動(ドラッグ)した後、ドラッグ後の現在位置マーカ1313Bのマップ画面上の座標を取得する(1702)。
【0127】
その後、現在位置マーカのドラッグ前の座標とドラッグ後の座標との差を計算し、座標の差を緯度・経度の差に変換し(1703)、計算された緯度・経度の差を位置補正データ215に格納する(1704)。
【0128】
この位置補正データ215は、マップ画面及びリアルタイム画面を描画する際に参照され、GPSユニット206から出力された位置情報を、位置補正データ215に格納された経度、緯度だけ補正して、地図及び周辺画像を描画する。
【0129】
図19は、本実施形態の設備位置補正処理のフローチャートである。
【0130】
設備位置補正処理は、設備位置補正モードがONになっている場合に、リアルモード処理において、リアルタイム画面の描画毎に実行される。設備位置補正モードのON、OFFの切り替えは、例えば、設定画面(図示省略)において、設定することができる。
【0131】
まず、リアルタイム画面に表示する設備(設備アイコン)の位置をキャッシュデータベースの設備情報データベース212から取得し(1901)、リアルタイム画面上の仮表示位置の中心の座標を計算する(1902)。
【0132】
その後、リアルタイム画面に表示される周辺画像を解析して、当該周辺画像に含まれる設備(例えば、電柱、トランスなど)の画像を認識する(1903)。例えば、周辺画像を解析して、当該周辺画像に含まれる画像を抽出し、抽出された画像の特徴量を計算する。そして、計算された画像の特徴量と、認識用パターン216に格納されている画像の特徴量とを比較して、認識用パターン216と類似する画像を周辺画像から認識し、当該認識された画像に外接する矩形又は円を定め、その位置をRAM210に保存する。
【0133】
その後、当該設備アイコンの表示位置の候補があるか否かを判定する(1904)。
【0134】
その結果、ステップ1903において認識された画像、すなわち、当該設備アイコンの表示位置の候補がなければ、当該設備アイコンの表示位置を補正することができないので、当該設備アイコンを仮表示位置に半透明で表示する(1909)。尚、仮表示位置への設備アイコンの描画は、半透明でなくても、位置が補正された設備アイコンと区別できる形態で表示すればよい。この様に、補正されなかった設備アイコンと補正された設備アイコンとを別な形態で表示することによって、補正の有無(すなわち、位置誤差の程度)を分かりやすく表示することができる。
【0135】
一方、ステップ1903において認識された画像、すなわち、当該設備アイコンの表示位置の候補があれば、当該設備アイコンの表示位置を補正することができるので、認識された各画像(すなわち、当該画像に外接する矩形又は円)の中心の座標を計算し(1905)、認識された各画像の中心座標と、仮表示位置の中心座標との距離を計算し(1906)、中心位置間の距離が最も短い画像(表示位置候補)を選択する(1907)。この様に、最も距離が近い表示位置候補を選択することによって、利用者に補正位置を選択させることなく、自動的に設備の正しい位置を決定し、適切な補正をすることができる。
【0136】
そして、選択された表示位置候補の中心座標を表示位置テーブル217に格納する。
【0137】
表示位置テーブル217に表示位置候補の中心座標を格納することによって、リアルタイム画面の描画時に表示位置テーブル219が参照されると、表示位置テーブル217に格納された座標に設備アイコンが表示される。
【0138】
図20は、本実施形態の表示位置テーブル217を説明する図である。
【0139】
表示位置テーブル217は、表示オブジェクトを一意に識別するための識別子2171、表示オブジェクトが表示される画面上の座標2172、表示オブジェクトが画面上に表示される大きさ2173、及び表示形態2174を含む。表示形態2174は、表示オブジェクトが通常の表示がされるか、半透明(すなわち、別な表示形態)で表示されるかを示すフラグである。
【0140】
以上説明したように、本発明の実施形態によると、AR(拡張現実)技術を用いて、現場の画像に重畳させて、設備データベースの情報を表示するので、社外でも設備の情報を確認することができる。
【0141】
また、地図上で現在位置を補正するので、現在位置の精度を向上させることができる。さらに、画像認識技術を用いて、位置情報を補正するので、正確な位置に設備の情報を表示することができる。
【0142】
以上本発明の実施形態について、電柱等の電力設備の情報を提供する情報提供システムについて説明したが、本発明の情報提供システムは、電力設備の情報の提供に限らず、その他、現地に設置された物の情報を提供する場合(例えば、工場、発電所などのプラント、ガス又は水道の配給設備)にも適用することができる。
【符号の説明】
【0143】
100 情報提供サーバ
200 端末
300 ネットワーク
400 既存システム

【特許請求の範囲】
【請求項1】
端末装置と、前記端末装置に情報を提供するサーバとを備える情報提供システムであって、
前記サーバは、プログラムを実行するプロセッサと、プログラムを格納するメモリと、前記端末装置に提供される情報を格納するデータベースとを有する計算機であり、
前記端末装置は、プログラムを実行するプロセッサと、プログラムを格納するメモリと、周辺の画像を撮影するカメラと、前記端末装置の位置情報を取得する測位装置とを有する通信装置であり、
前記端末装置は、
現在位置の位置情報及び周辺の画像を取得し、
前記サーバに、前記位置情報を送信することによって、情報の提供を要求し、
前記サーバは、
前記端末装置から前記情報の提供の要求を受信した場合、前記受信した要求に含まれる位置情報をキーとして前記データベースを検索し、
当該位置情報によって示される位置から所定の範囲内に設置された設備の情報を取得し、
前記取得した設備の情報と前記端末装置の位置との間の距離を計算し、
前記計算された距離に従って、前記取得した設備の情報を順位付けし、
前記順位付けされた設備の情報を、前記端末装置に送信し、
前記端末装置は、前記サーバで付与された順位付けに従って、前記周辺の画像上で、距離が近いものが手前に重畳するように、前記設備の情報の表示をすることを特徴とする情報提供システム。
【請求項2】
前記端末装置は、
前記周辺の画像に含まれる画像を認識するための画像認識用パターンを保持し、
前記周辺の画像に含まれる画像と前記画像認識用パターンとを照合することによって、前記周辺の画像上の設備の表示の誤差を計算し、
前記計算された誤差を前記端末装置のメモリに書き込むことを特徴とする請求項1に記載の情報提供システム。
【請求項3】
前記端末装置は、
前記取得した設備の情報に基づいて、前記設備を前記周辺の画像上に表示する仮位置を計算し、
前記周辺の画像に含まれる画像と前記画像認識用パターンと照合することによって、所定の設備であると判定される1以上の画像を前記周辺の画像から特定し、
前記特定された1以上の画像の位置と前記計算された仮位置との間の距離を計算し、
前記計算された距離が最も短い前記特定された画像を選択し、
前記選択された画像の位置と前記仮表示位置との差によって、前記誤差を計算することを特徴とする請求項2に記載の情報提供システム。
【請求項4】
前記端末装置は、
前記取得した設備の情報に基づいて、前記設備を前記周辺の画像上に表示する仮位置を計算し、
前記周辺の画像に含まれる画像と前記画像認識用パターンとを照合することによって、前記周辺の画像に含まれる画像が所定の設備のものであるか否かを判定し、
前記周辺の画像に前記所定の設備の画像が含まれると判定した場合、前記所定の設備であると判定した画像の位置に当該設備の表示をし、
前記周辺の画像に前記所定の設備の画像が含まれないと判定した場合、前記仮位置に前記設備の表示をすることを特徴とする請求項2又は3に記載の情報提供システム。
【請求項5】
前記端末装置は、
前記取得した設備の情報に基づいて、前記設備を前記周辺の画像上に表示する仮位置を計算し、
前記画像認識用パターンと照合することによって、所定の設備であると判定した画像の位置に当該設備の表示をする場合と、前記仮位置に前記設備の表示をする場合とで、異なる表示形態で前記設備の表示をすることを特徴とする請求項2から4のいずれか一つに記載の情報提供システム。
【請求項6】
端末装置に提供される情報を格納するデータベースを有するサーバに接続される端末装置であって、
プログラムを実行するプロセッサと、前記プログラムを格納するメモリと、前記サーバと通信をする通信部と、周辺の画像を撮影するカメラと、前記端末装置の位置情報を取得する測位装置とを有し、
現在位置の位置情報及び周辺の画像を取得し、
前記サーバに、前記位置情報を送信することによって、情報の提供を要求し、
前記要求に含まれる位置情報によって示される位置から所定の範囲内に設置された設備の情報であって、当該設備の位置と前記端末装置の位置との間の距離に従って順位付けされた設備の情報を、前記サーバから取得し、
前記サーバで付与された順位付けに従って、前記周辺の画像上で、距離が近いものが手前に重畳するように、前記設備の情報の表示をすることを特徴とする端末装置。
【請求項7】
前記端末装置は、
前記周辺の画像に含まれる画像を認識するための画像認識用パターンを保持し、
前記周辺の画像に含まれる画像と前記画像認識用パターンとを照合することによって、前記周辺の画像上の設備の表示の誤差を計算し、
前記計算された誤差を前記メモリに書き込むことを特徴とする請求項6に記載の端末装置。
【請求項8】
前記端末装置は、
前記取得した設備の情報に基づいて、前記設備を前記周辺の画像上に表示する仮位置を計算し、
前記周辺の画像に含まれる画像と前記画像認識用パターンとを照合することによって、所定の設備であると判定される1以上の画像を前記周辺の画像から特定し、
前記特定された1以上の画像の位置と前記計算された仮位置との間の距離を計算し、
前記計算された距離が最も短い前記特定された画像を選択し、
前記選択された画像の位置と前記仮表示位置との差によって、前記誤差を計算することを特徴とする請求項7に記載の端末装置。
【請求項9】
前記端末装置は、
前記取得した設備の情報に基づいて、前記設備を前記周辺の画像上に表示する仮位置を計算し、
前記周辺の画像に含まれる画像と前記画像認識用パターンとを照合することによって、前記周辺の画像に含まれる画像が所定の設備のものであるか否かを判定し、
前記周辺の画像に前記所定の設備の画像が含まれると判定した場合、前記所定の設備であると判定した画像の位置に当該設備の表示をし、
前記周辺の画像に前記所定の設備の画像が含まれないと判定した場合、前記仮位置に前記設備の表示をすることを特徴とする請求項7又は8に記載の端末装置。
【請求項10】
前記端末装置は、
前記取得した設備の情報に基づいて、前記設備を前記周辺の画像上に表示する仮位置を計算し、
前記画像認識用パターンと照合することによって、所定の設備であると判定した画像の位置に当該設備の表示をする場合と、前記仮位置に前記設備の表示をする場合とで、異なる表示形態で前記設備の表示をすることを特徴とする請求項7から9のいずれか一つに記載の端末装置。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6A】
image rotate

【図6B】
image rotate

【図7A】
image rotate

【図7B】
image rotate

【図8】
image rotate

【図9】
image rotate

【図10】
image rotate

【図14】
image rotate

【図15】
image rotate

【図16】
image rotate

【図19】
image rotate

【図20】
image rotate

【図11】
image rotate

【図12】
image rotate

【図13】
image rotate

【図17】
image rotate

【図18】
image rotate