映像表示システム、携帯端末システム、携帯端末装置及びサーバ並びにその映像表示方法
【課題】表示中の映像内に表示情報をリアルタイムで表示する。
【解決手段】被写施設をカメラ２５で撮影し、その映像をディスプレイ２６で表示する。表示中の映像内の特徴点をキー２２のポインタデバイスで指示する。また、被写施設の特徴点情報のための要求情報をキー２２から入力してサーバ４０へ送信する。上記指示の情報及びサーバ４０から返送される被写施設の特徴点情報を受け取る動画処理機能２４１及び物体認識機能２４２で実写映像内の上記指示に対応する表示情報を生成する。この表示情報を情報付加機能２４３によってディスプレイ２６に表示中の映像内に表示させる。
【解決手段】被写施設をカメラ２５で撮影し、その映像をディスプレイ２６で表示する。表示中の映像内の特徴点をキー２２のポインタデバイスで指示する。また、被写施設の特徴点情報のための要求情報をキー２２から入力してサーバ４０へ送信する。上記指示の情報及びサーバ４０から返送される被写施設の特徴点情報を受け取る動画処理機能２４１及び物体認識機能２４２で実写映像内の上記指示に対応する表示情報を生成する。この表示情報を情報付加機能２４３によってディスプレイ２６に表示中の映像内に表示させる。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、映像表示システム及びその方法、携帯端末システム及びその方法、携帯端末装置及びその方法、サーバ並びにその制御プログラム及び記録媒体に関し、詳しくは、撮影された映像上に表示情報をリアルタイムで重畳表示する映像表示システム及びその方法、携帯端末システム及びその方法、携帯端末装置及びその方法、サーバ並びにその制御プログラム及び記録媒体に関する。
【背景技術】
【０００２】
従来から、現実空間と仮想空間とを融合した環境である複合実実感（ＭＲ：Mixed Reality）に関する研究が盛んに行われている。この研究の中には、現実空間に仮想空間の物体を重畳して現実の感覚を増強するＡＲ（Augmented Reality）が注目されている。このＡＲで研究されている装置として、実写画像又は実景画像と、コンピュータクラフィクス（ＣＧ：Computer Graphics）画像とを重畳表示可能な頭部装着装置（ＨＭＤ：Head Mount Display）が提案されている。
【０００３】
特許文献１には、環境内を移動する携帯型端末装置に搭載の撮像手段で撮像されて表示手段に表示されている実写画像に、前記環境内の要素に関する要素情報を重畳表示する関連技術が記載されている。
この関連技術は、利用者が移動する環境内の所要位置に要素情報発信装置を設置する一方、携帯型端末装置に要素情報取得手段と、撮影手段と、位置測定手段と、姿勢測定手段と、表示手段と、重畳描画処理手段とを設け、利用者が環境内の要素に近づいたときに、位置測定手段により測定された位置情報及び姿勢測定手段により測定された姿勢情報とに基づいて、撮像手段によって撮像されて表示手段の画面上に表示されている実写画像に要素情報取得手段で取得される要素情報を重ね合わせて表示する情報提供システムである。
また、この関連技術と同様に、カメラ又は撮像手段で撮影した撮映された映像全体との関係でその映像に所要の表示データを表示中の映像に重畳表示する乃至は導出する関連技術が、特許文献２乃至特許文献４に記載されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００４−１０２８３５号公報
【特許文献２】特開２００６−３２９９６７号公報
【特許文献３】特開２００７−２９２６６４号公報
【特許文献４】特開２００８−１２３０２８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ところで、上述した特許文献１に記載の情報提供システムは、表示手段の画面上に表示されている実写画像に要素情報取得手段で取得される要素情報を重ね合わせて表示することはできるが、その重畳表示に、環境内の所要位置に要素情報発信装置を設置する一方、携帯型端末装置に要素情報取得手段を設けなければならない上、要素情報取得手段で取得された要素情報の重ね合わせ制御を行うのに位置測定手段及び姿勢測定手段を設けて、初めて、その所期の目的を達成し得る構成となっている。
【０００６】
したがって、実写画像上への要素情報の重畳表示は、上述の限定的な条件の下でしか、為し得えず、そのような条件無しで或るいはその他の条件によれば、重畳表示が可能になるか否かについては残されている問題であると言える。
また、特許文献２乃至特許文献３に記載される関連技術も、撮影された映像とその撮影対象物との関連でその映像内への表示情報の表示についての示唆は見出せない。
【０００７】
この発明は、上述の事情に鑑みてなされたもので、被写体を撮影した映像内の任意の位置へ被写体との関連で決まる所要の表示情報をリアルタイムで表示し得る映像表示システム及びその方法、携帯端末システム及びその方法、携帯端末装置及びその方法、サーバ並びにその制御プログラム及び記録媒体を提供することを目的としている。
【課題を解決するための手段】
【０００８】
上記課題を解決するために、この発明の第１の構成は、被写体を撮影した映像内に表示情報を表示する映像表示システムに係り、被写体を撮影した映像を表示する表示手段と、該表示手段に表示されている映像内の特徴点を指示する指示手段と、該指示手段の指示に基づいて該指示に対応する表示情報を、上記表示手段に表示されている映像内に表示させる表示制御手段とを備えることを特徴としている。
【０００９】
この発明の第２の構成は、被写体を端末装置で撮影した映像内に表示情報を表示する携帯端末システムに係り、被写施設を撮影した映像を表示する端末装置の表示手段と、該表示手段に表示されている映像内の特徴点を指示する上記端末装置の指示手段と、該指示手段の指示に基づいて該指示に対応する表示情報を、上記表示手段に表示されている映像内に表示させる表示制御手段とを備えることを特徴としている。
【００１０】
この発明の第３の構成は、被写体を撮影した映像内に表示情報を表示する映像表示方法に係り、被写体を撮影手段で撮影し、撮影した映像を表示手段に表示し、
表示手段に表示されている映像内の特徴点を指示手段で指示し、該指示手段の指示に基づいて該指示に対応する表示情報を、上記表示手段に表示されている映像内に表示させることを特徴としている。
【００１１】
この発明の第３の構成は、被写体を端末装置で撮影した映像内に表示情報を表示する携帯端末システムの映像表示方法に係り、被写体を端末装置の撮影手段で撮影し、撮影した映像を上記端末装置の表示手段に表示し、表示手段に表示されている映像内の特徴点を上記端末装置の指示手段で指示し、該指示手段の指示に基づいて該指示に対応する表示情報を、上記表示手段に表示されている映像内に表示させることを特徴としている。
【発明の効果】
【００１２】
この発明によれば、表示手段に表示されている映像内の特徴点の指示で、その映像内に表示情報をリアルタイムで表示することができる。
【図面の簡単な説明】
【００１３】
【図１】この発明の実施形態１である携帯端末システムの電気的構成を示すブロック図である。
【図２】同携帯端末システムで用いる携帯端末装置の電気的構成を示すブロック図である。
【図３】同携帯端末装置での表示と該表示画面に映し出されているスタジアムの一部とを関連付けて示す図である。
【図４】この発明の実施形態２である携帯端末システムの電気的構成を示すブロック図である。
【図５】この発明の実施形態３である携帯端末装置の電気的構成を示すブロック図である。
【発明を実施するための形態】
【実施形態１】
【００１４】
図１は、この発明の実施形態１である携帯端末システムの電気的構成を示すブロック図、図２は、同携帯端末システムで用いる携帯端末装置の電気的構成を示すブロック図、また、図３は、同携帯端末装置での表示と該表示画面に映し出されているスタジアムの一部とを関連付けて示す図である。
【００１５】
この実施形態の携帯端末システム１０は、ユーザが所持して使用中の携帯電話機等の端末装置の表示画面上に表示されている映像内の所要位置に、その映像について自己の知りたい情報を重畳表示し得るシステムに係り、図１に示すように、携帯電話機等の端末装置２０と、情報通信網３０と、サーバ４０とから概略構成されている。
【００１６】
端末装置２０は、図２に示すように、無線制御部２１と、キー２２と、メモリ２３と、中央処理装置２４と、カメラ２５と、ディスプレイ２６とを有して構成されている。無線制御部２１には、後述する基地局と電波を送受信するアンテナ２７が着脱自在に設けられている。
無線制御部２１は、アンテナ２７で送受信される通信信号とメモリ２３のデジタル情報との間の授受を制御する手段である。
【００１７】
キー２２は、タッチパネルやポインタデバイスを含んで構成され、キー２２の操作によりカメラ２５で撮像しようとする任意の施設（被写施設）、例えば、スタジアムに関する情報（スタジアム名、座席位置、観戦スポーツ等の情報）（被写施設の特徴点情報の返送をサーバ４０に要求する要求情報）を入力する手段であり、そのタッチパネル或るいはポインタデバイスは、後述するディスプレイ２６の画面上に映し出されている映像内の任意の特徴点を任意に指示し、その指示情報を一旦メモリ２３に記憶させて中央処理装置２４での演算処理に供するための入力手段である。ここで、特徴点とは、表示中の映像内に付加したい表示情報を付加したい表示情報を導出するための映像中の任意の位置、例えば、競技者の位置、ゴールの位置等である。
メモリ２３は、上述した無線制御部２１に接続されるほか、キー２２、中央処理装置２４、カメラ２５及びディスプレイ２６に接続されてこれら各部との間で授受されるデジタル情報を記憶する記憶部である。
【００１８】
中央処理装置２４は、動画処理機能２４１、物体認識機能２４２及び情報付加機能２４３を有して構成される。動画処理機能２４１、物体認識機能２４２及び情報付加機能２４３は、メモリ２３等に記憶されるプログラムを読み出してプロセッサ（図示せず）で実行することにより、各機能の手順を遂行するように構成されている。
動画処理機能２４１は、メモリ２３に記憶されている指示情報に基づいてディスプレイ２６の画面上に表示されている競技者等を特徴点として認識する機能である。
【００１９】
物体認識機能２４２は、動画処理機能２４１での認識に基づいてその特徴点の位置を決定して特徴点情報として出力するほか、後述するサーバ４０から受信される施設情報（特徴点情報）に基づいて、ディスプレイ２６の画面上に表示されているスタジアム等内の施設部分（特徴点）、例えば、ゴールの位置を決定する機能である。
情報付加機能２４３は、物体認識機能２４２で決定されて出力される１又は複数の特徴点情報に基づいてディスプレイ２６の画面上に表示されている映像内に付加したい表示情報及びその表示位置、例えば、競技者等からゴールまでの距離及びその表示位置を求めてディスプレイ２６に出力する機能である。
カメラ２５は、スタジアム等の施設内の任意の施設部分を選択的に撮像する撮影手段である。
ディスプレイ２６は、カメラ２５で撮像される映像（実写映像）及びその実写映像内にユーザが希望する所要の表示情報を表示する表示手段である。
【００２０】
情報通信網３０は、図１に示すように、複数の基地局３１と、複数の交換局（ウェブアクセス）３２と、ＬＡＮ（Local Area Network）やＷＡＮ（Wide Area Network）等のネットワーク３３とから構成され、端末装置２０とサーバ４０との間に通信回線を形成するための通信回線網である。
サーバ４０は、情報通信網３０の、例えば、基地局３１Ｓと無線通信回線で接続されるもので、ネットワーク接続部４０１と情報処理機能４０２とを有して構成されている。
【００２１】
サーバ４０のネットワーク接続部４０１は、無線通話回線を介して情報の送受信処理を行うインタフェース部である。この実施形態において受信される情報は、端末装置２０から送信されるスタジアム等に関する要求情報（スタジアム名、座席位置、観戦スポーツ識別等）で、また、送信される情報は、スタジアム等の実写映像内にユーザが付加したい表示情報の生成に必要な施設情報（スタジアム乃至は被写体の距離情報、位置情報等）（以下、スタジアム乃至は被写体の特徴点情報ともいう。後述）である。
情報処理機能４０２は、ネットワーク接続部４０１から渡されるスタジアム等に関する要求情報及び図示しないサーバ４０内のメモリ等に予め保存されているスタジアム等の設計情報（設計データ）に基づいて、スタジアム等の実写映像内にユーザが付加したい表示情報の生成に必要な施設情報を生成してネットワーク接続部４０１へ渡すデジタル処理手段で、その機能は、サーバ４０内の記憶手段（図示せず）に記憶されるプログラムをプロセッサ（図示せず）で実行することにより、上記生成の処理を行うようにして構成されている。
【００２２】
次に、図１乃至図３を参照して、この実施形態の動作について説明する。
スタジアム等に赴いてそこで行われている競技、例えば、サッカーを観戦する場合を例に採って説明する。説明の都合上、携帯電話機２０が在圏するサービスエリアの基地局を情報通信網３０内の基地局３１のうちの基地局３１Ｔとする。また、サーバ４０に対して通信サービスを提供する基地局を情報通信網３０内の基地局３１のうちの基地局３１Ｔとする。
【００２３】
スタジアムに入場した観客であるユーザが所持する携帯電話機２０を用いて行われているサッカーの戦観に入っているとする。そのときに、そのユーザは、携帯電話機２０のキー２２を操作し、スタジアムに関する情報であるスタジアム名、座席位置、観戦スポーツ等の情報（要求情報）を入力する。
【００２４】
この要求情報は、キー２２から中央処理装置２４の制御の下にメモリ２３に書き込まれた後、無線制御部２１へ送られる。無線制御部２１は、入力されたデジタルの要求情報を無線送信信号に変換してアンテナ２７を介して電波として発射される。
その電波は基地局３１Ｔで受信され、基地局３１Ｔで復調されたデジタルの要求情報は、情報通信網３０の交換局３２を経て基地局３１Ｓへ伝送される。その要求情報は、無線通話回線を介してサーバ４０へ送信される。
【００２５】
上記要求情報がサーバ４０のネットワーク接続部４０１で受信されると、その要求情報は、情報処理機能４０２に渡される。
要求情報を受け取った情報処理機能４０２は、要求情報及びスタジアムの設計情報に基づいて当該スタジアムの施設情報を演算生成する。この情報（スタジアムの特徴点情報）は、ユーザが所持する携帯電話機２０で撮影されディスプレイ２６の画面に映し出されている映像（実写映像）内に、ユーザが付加して観たい表示情報の生成に必要な情報である。
情報処理機能４０２から出力された特徴点情報は、情報処理機能４０２からネットワーク接続部４０１、そして無線通話回線を介して基地局３１Ｓへ送信される。
【００２６】
基地局３１Ｓで受信された特徴点情報は、情報通信網３０を介してその基地局３１Ｔへ伝送され、基地局３１Ｔから無線通話回線を介して電波で携帯電話機２０へ送信される。
携帯電話機２０では、そのアンテナ２７で電波を受信し、受信信号を無線制御部２１でデジタル信号の特徴点情報に変換され、その特徴点情報は、中央演算装置２４の制御の下に、メモリ２３に記憶される。
【００２７】
このようにして特徴点情報が携帯電話機２０に与えられると共に、そのユーザが競技場内の自己が観たい実況場面へ携帯電話機２０のカメラ２５を向け、その実況場面の映像がディスプレイ２６の画面上に映し出されている状態において、その画面上の特徴点であって、その実況場面で自己が特に関心を持つ特徴点、すなわち、自己が知りたい情報に関わる特徴点を、ユーザがキー２２のタッチパネル又はポインタデバイスを介して指示する。
【００２８】
すると、その特徴点情報（以下、実写映像上の特徴点という）は、中央処理装置２４の制御の下に、メモリ２３に記憶される。その後に、中央処理装置２４は、メモリ２３からスタジアムの特徴点情報と実写映像上の特徴点情報とを読み出して動画処理機能２４１及び物体認識機能２４２での処理に供する。
動画処理機能２４１及び物体認識機能２４２は、供給されるスタジアムの特徴点情報と実写映像上の特徴点情報とに基づいてスタジアム内の第１の場所と第２の場所との距離を測定する。この測定は、次のようにして行われる。
【００２９】
実写映像上で指示された２つの特徴点に対応するスタジアム内の２つの特徴点（上記の第１の場所と第２の場所）に関わる特徴点情報（スタジアムの特徴点データ）は、上述したように、サーバ４０から携帯電話機２０に渡され、物体認識機能２４２でその位置が認識され決定されている一方、実写映像上の特徴点情報（特徴点データ）、すなわち、スタジアムの特徴点情報に対応する特徴点情報は、ポインタデバイスで指示されて入力され、動画処理機能２４１で認識され、物体認識機能２４２で認識され、その位置が決定される。
【００３０】
こうして物体認識機能２４２で決定される各特徴点情報は、情報付加機能２４３に渡され、情報付加機能２４３において上述の第１の場所と第２の場所との距離を距離情報として求められる。そして、情報付加機能２４３は、ディスプレイ２６に表示中の実写映像情報内の指示された特徴点又はその近傍の映像情報に上記距離情報を設定し、その距離情報を含む実写映像情報をディスプレイ２６へ出力する。ディスプレイ２６は、上記距離情報を含む実写映像情報に応答して表示されている実写映像内の上記指定の特徴点又はその近傍に上記距離情報を可視表示させる。
【００３１】
例えば、図３に示すように、携帯電話機２０のディスプレイ２６の画面上に映っている競技者ｐ１とゴールｐ２とをポインタデバイスで指示すると、その特徴点情報は、動画処理機能２４１で認識され、各指示位置（特徴点情報）は、物体認識機能２４２で決定される。
このときには、スタジアムのグランドで競技しているプレーヤーＰ１及びゴールＰ２の特徴点情報は、携帯電話機２０からサーバ４０へ送信されたスタジアムに関する要求情報に基づいてサーバ４０で演算生成され、そしてサーバ４０から情報通信網３０を介して携帯電話機２０へ返送されている。したがって、上記指示に対応するプレーヤーＰ１及びゴールＰ２の特徴点を物体認識機能２４２が認識し、プレーヤーＰ１及びゴールＰ２の位置（特徴点情報）を決定する。
【００３２】
携帯電話機２０の情報付加機能２４３では、物体認識機能２４２での決定結果に基づいてプレーヤーＰ１からゴールＰ２までの距離情報を演算し、その距離情報を表示中の実写映像情報内の上記指示対応の映像情報領域に設定する。こうして生成される映像情報は、ディスプレイ２６へ供給されてその画面に表示される。
このようにして、ユーザが表示を希望した情報、すなわち、プレーヤーＰ１からゴールＰ２までの距離を、ディスプレイ２６の画面上に表示させることができる。
【００３３】
このように、この実施形態によれば、ディスプレイ上に表示されている実写映像内の特徴点を指示することにより、ユーザが知りたい表示情報をその指示点近傍にリアルタイムで表示することができる。
【実施形態２】
【００３４】
図４は、この発明の実施形態２である携帯端末システムの電気的構成を示すブロック図である。
この実施形態の構成が、実施形態１のそれと大きく異なる点は、ユーザがディスプレイの表示画面上に表示したい表示情報をサーバ側で生成して携帯端末装置へ送信するようにした点である。
したがって、この実施形態の携帯端末システム１０Ａは、図４に示すように、携帯電話機２０Ａから撮影した動画像、指示情報及び施設指定情報（後述）をセキュリティサーバ４０Ａへ送信すると共に、実施形態１の携帯電話機２０に設けられる動画処理機能２４１、物体認識機能２４２及び情報付加機能２４３をセキュリティサーバ４０Ａに動画処理機能４０３、物体認識機能４０４及び情報付加機能４０５として設けるようにして構成される。
【００３５】
動画処理機能４０３、物体認識機能４０４及び情報付加機能４０５は、実施形態１と同様に構成され、その機能も実施形態１と同様であるので、その逐一の説明は省略する。
また、この実施形態のその他の構成は、実施形態１の構成と同じであるので、その構成についての逐一の説明は省略する。
【００３６】
次に、図４を参照して、この実施形態の動作について説明する。
その基本的な動作は、以下に述べる点を除き、実施形態１と同じであるので、その相違点についてのみ説明する。その相違点は、携帯電話機２０Ａのカメラ２５で撮影した動画像をメモリ２３、無線制御部２１、そしてアンテナ２７から情報通信網３０を介してセキュリティサーバ４０Ａへ送信する。また、実施形態１での要求情報に相当する施設指定情報（被写施設の指定情報）及びポイントデバイスで指示した指示情報も、同様にしてセキュリティサーバ４０Ａへ送信される。
【００３７】
一方、セキュリティサーバ４０Ａでは、送信されて来る動画像並びに指示情報及び施設指定情報をネットワーク接続部４０１を介して受信する。受信された動画像及び指示情報は、動画処理機能４０３で実施形態１と同様の処理をし、その結果を物体認識機能４０４に渡す。物体認識機能４０４では、受信される施設指定情報とセキュリティサーバ４０Ａに予め記憶されている被写施設の設計データとに基づいて被写施設の特徴点情報を演算すると共に、この演算結果と動画処理機能４０３から渡された結果とに基づいて指示情報に対応する特徴点の位置（特徴点情報（実写映像上の特徴点情報ともいう）を演算する。これら両特徴点情報が情報付加機能４０５に渡され、情報付加機能４０５は上記指示情報に対応する表示情報を生成し、この表示情報を設定した映像情報を出力する。
【００３８】
セキュリティサーバ４０Ａで生成された映像情報は、ネットワーク接続部４０１から情報通信網３０を介して携帯電話機２０Ａへ送信され、実施形態１と同様にして、携帯電話機２０Ａのディスプレイ２６の画面上に表示されている映像（動画像）内の上記指示に対応する位置に表示情報はリアルタイムで表示される。
【００３９】
このように、この実施形態によっても、セキュリティサーバで生成された指示に対応する表示情報を携帯電話機の画面上に表示されている映像（動画像）内の上記指示に対応する位置にリアルタイムで表示することができる。
【実施形態３】
【００４０】
図５は、この発明の実施形態３である携帯端末装置の電気的構成を示すブロック図である。
この実施形態の構成が、実施形態１のそれと大きく異なる点は、ユーザがディスプレイの表示画面上に表示したい表示情報の生成処理を携帯端末装置ですべて行なってその表示画面上に表示されている映像内に表示情報を表示するようにした点である。
したがって、この実施形態の携帯端末装置１０Ｂは、図５に示すように、携帯電話機２０Ｂに、実施形態１の携帯電話機２０に設けられる動画処理機能２４１、物体認識機能２４２及び情報付加機能２４３のほかに、実施形態１のサーバ４０に設けられる情報処理機能４０２に相当する情報処理機能２４４を設けると共に、サーバ４０に予め記憶される被写施設の設計データを記憶するメモリカード５０を着脱自在に設けて構成される。メモリカード５０に記憶される被写施設の設計データは、１つ又はユーザが希望する数の被写施設についてのものである。
【００４１】
情報処理機能２４４は、実施形態１と同様に構成され、その機能も実施形態１と同様であるので、その逐一の説明は省略する。
また、この実施形態のその他の構成は、実施形態１の構成と同じであるので、その構成についての逐一の説明は省略する。
【００４２】
次に、図５を参照して、この実施形態の動作について説明する。
その基本的な動作は、以下に述べる点を除き、実施形態１と同じであるので、その相違点についてのみ説明する。その相違点は、実施形態１でサーバ４０から携帯電話機２０へ送られて来るユーザ希望の被写施設についての特徴点情報を携帯電話機２０Ｂにおいて演算するようにした点である。
すなわち、情報処理機能２４４における、携帯電話機２０Ｂで撮影中の被写施設についての特徴点情報の生成は、基本的には実施形態１と同様であるが、この実施形態では上記表示情報の生成に先だって、メモリカード５０の読み出しを行い、被写施設の設計データに基づいて行われる。生成された被写施設の特徴点情報は、実施形態１と同様、物体認識機能２４２から実写映像上の特徴点情報と共に、情報付加機能２４３に渡される。
【００４３】
上述のようにして生成された表示情報は、実施形態１と同様にして、情報付加機能２４３においてディスプレイ２６の画面上への表示に用いられている映像情報内の上記指示に対応する情報領域に設定され、この設定後の映像情報がディスプレイ２６へ供給されてそこに可視表示される。したがって、ユーザは、自己の希望する映像表示を見ることができる。
【００４４】
このように、この実施形態によれば、ディスプレイに表示したい表示情報の生成処理を携帯電話機ですべて行い、そのディスプレイの画面上に表示中の映像内の指示に対応する位置に表示情報をリアルタイムで表示することができる。
【００４５】
以上、この発明の実施形態を、図面を参照して詳述してきたが、この発明の具体的な構成は、これらの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計の変更等があってもそれらはこの発明に含まれる。
例えば、上記各実施形態の構成のほか、表示情報を指示対応に記憶しておき、表示画面内の任意の映像位置を指示したとき、この指示に応答して表示情報を読み出して指示対応の画面内位置に表示する構成でもよい。
また、ディスプレイへの表示情報の表示タイミング、表示位置、表示の大きさを変更するように構成してもよい。
【００４６】
また、動画処理機能２４１での処理で取り扱われる映像フレーム数を用いて時間データを導出し、競技者の移動速度を測定してその速度表示をディスプレイに行うようにしてもよい。
また、実施形態３において、メモリカードに記憶する記憶情報を設計データでなく、被写施設の指定情報に基づいて読み出し可能に記憶される被写施設の特徴点情報としてもよい。
【産業上の利用可能性】
【００４７】
ここに開示している映像表示システム及びその方法、携帯端末システム及びその方法、携帯端末装置及びその方法、サーバ並びにその制御プログラム及び記録媒体は、表示中の映像内に意図する表示情報をリアルタイムで重畳表示したい各種の表示系乃至は表示装置、情報処理装置、例えば、観光地、公共機関等の案内情報を付加するシステムで利用し得る。
【符号の説明】
【００４８】
１０、１０Ａ 携帯端末システム（映像表示システム）
１０Ｂ 携帯端末装置（映像表示システム）
２０、２０Ａ、２０Ｂ 端末装置
２１ 無線制御部
２２ キー（指示手段）
２３ メモリ２３（表示制御手段の一部）
２４ 中央処理装置（表示制御手段の一部）
２５ カメラ
２６ ディスプレイ（表示手段）
３０ 情報通信網（通信回線）
４０ サーバ
２４１ 動画処理機能（表示制御手段の一部）
２４２ 物体認識機能（表示制御手段の一部）
２４３ 情報付加機能（表示制御手段の一部）
２４４ 情報処理機能（表示制御手段の一部）
４０１ ネットワーク接続部
４０２ 情報処理機能（表示制御手段の一部）
４０３ 動画処理機能（表示制御手段の一部）
４０４ 物体認識機能（表示制御手段の一部）
４０５ 情報付加機能（表示制御手段の残部）
【技術分野】
【０００１】
この発明は、映像表示システム及びその方法、携帯端末システム及びその方法、携帯端末装置及びその方法、サーバ並びにその制御プログラム及び記録媒体に関し、詳しくは、撮影された映像上に表示情報をリアルタイムで重畳表示する映像表示システム及びその方法、携帯端末システム及びその方法、携帯端末装置及びその方法、サーバ並びにその制御プログラム及び記録媒体に関する。
【背景技術】
【０００２】
従来から、現実空間と仮想空間とを融合した環境である複合実実感（ＭＲ：Mixed Reality）に関する研究が盛んに行われている。この研究の中には、現実空間に仮想空間の物体を重畳して現実の感覚を増強するＡＲ（Augmented Reality）が注目されている。このＡＲで研究されている装置として、実写画像又は実景画像と、コンピュータクラフィクス（ＣＧ：Computer Graphics）画像とを重畳表示可能な頭部装着装置（ＨＭＤ：Head Mount Display）が提案されている。
【０００３】
特許文献１には、環境内を移動する携帯型端末装置に搭載の撮像手段で撮像されて表示手段に表示されている実写画像に、前記環境内の要素に関する要素情報を重畳表示する関連技術が記載されている。
この関連技術は、利用者が移動する環境内の所要位置に要素情報発信装置を設置する一方、携帯型端末装置に要素情報取得手段と、撮影手段と、位置測定手段と、姿勢測定手段と、表示手段と、重畳描画処理手段とを設け、利用者が環境内の要素に近づいたときに、位置測定手段により測定された位置情報及び姿勢測定手段により測定された姿勢情報とに基づいて、撮像手段によって撮像されて表示手段の画面上に表示されている実写画像に要素情報取得手段で取得される要素情報を重ね合わせて表示する情報提供システムである。
また、この関連技術と同様に、カメラ又は撮像手段で撮影した撮映された映像全体との関係でその映像に所要の表示データを表示中の映像に重畳表示する乃至は導出する関連技術が、特許文献２乃至特許文献４に記載されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００４−１０２８３５号公報
【特許文献２】特開２００６−３２９９６７号公報
【特許文献３】特開２００７−２９２６６４号公報
【特許文献４】特開２００８−１２３０２８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ところで、上述した特許文献１に記載の情報提供システムは、表示手段の画面上に表示されている実写画像に要素情報取得手段で取得される要素情報を重ね合わせて表示することはできるが、その重畳表示に、環境内の所要位置に要素情報発信装置を設置する一方、携帯型端末装置に要素情報取得手段を設けなければならない上、要素情報取得手段で取得された要素情報の重ね合わせ制御を行うのに位置測定手段及び姿勢測定手段を設けて、初めて、その所期の目的を達成し得る構成となっている。
【０００６】
したがって、実写画像上への要素情報の重畳表示は、上述の限定的な条件の下でしか、為し得えず、そのような条件無しで或るいはその他の条件によれば、重畳表示が可能になるか否かについては残されている問題であると言える。
また、特許文献２乃至特許文献３に記載される関連技術も、撮影された映像とその撮影対象物との関連でその映像内への表示情報の表示についての示唆は見出せない。
【０００７】
この発明は、上述の事情に鑑みてなされたもので、被写体を撮影した映像内の任意の位置へ被写体との関連で決まる所要の表示情報をリアルタイムで表示し得る映像表示システム及びその方法、携帯端末システム及びその方法、携帯端末装置及びその方法、サーバ並びにその制御プログラム及び記録媒体を提供することを目的としている。
【課題を解決するための手段】
【０００８】
上記課題を解決するために、この発明の第１の構成は、被写体を撮影した映像内に表示情報を表示する映像表示システムに係り、被写体を撮影した映像を表示する表示手段と、該表示手段に表示されている映像内の特徴点を指示する指示手段と、該指示手段の指示に基づいて該指示に対応する表示情報を、上記表示手段に表示されている映像内に表示させる表示制御手段とを備えることを特徴としている。
【０００９】
この発明の第２の構成は、被写体を端末装置で撮影した映像内に表示情報を表示する携帯端末システムに係り、被写施設を撮影した映像を表示する端末装置の表示手段と、該表示手段に表示されている映像内の特徴点を指示する上記端末装置の指示手段と、該指示手段の指示に基づいて該指示に対応する表示情報を、上記表示手段に表示されている映像内に表示させる表示制御手段とを備えることを特徴としている。
【００１０】
この発明の第３の構成は、被写体を撮影した映像内に表示情報を表示する映像表示方法に係り、被写体を撮影手段で撮影し、撮影した映像を表示手段に表示し、
表示手段に表示されている映像内の特徴点を指示手段で指示し、該指示手段の指示に基づいて該指示に対応する表示情報を、上記表示手段に表示されている映像内に表示させることを特徴としている。
【００１１】
この発明の第３の構成は、被写体を端末装置で撮影した映像内に表示情報を表示する携帯端末システムの映像表示方法に係り、被写体を端末装置の撮影手段で撮影し、撮影した映像を上記端末装置の表示手段に表示し、表示手段に表示されている映像内の特徴点を上記端末装置の指示手段で指示し、該指示手段の指示に基づいて該指示に対応する表示情報を、上記表示手段に表示されている映像内に表示させることを特徴としている。
【発明の効果】
【００１２】
この発明によれば、表示手段に表示されている映像内の特徴点の指示で、その映像内に表示情報をリアルタイムで表示することができる。
【図面の簡単な説明】
【００１３】
【図１】この発明の実施形態１である携帯端末システムの電気的構成を示すブロック図である。
【図２】同携帯端末システムで用いる携帯端末装置の電気的構成を示すブロック図である。
【図３】同携帯端末装置での表示と該表示画面に映し出されているスタジアムの一部とを関連付けて示す図である。
【図４】この発明の実施形態２である携帯端末システムの電気的構成を示すブロック図である。
【図５】この発明の実施形態３である携帯端末装置の電気的構成を示すブロック図である。
【発明を実施するための形態】
【実施形態１】
【００１４】
図１は、この発明の実施形態１である携帯端末システムの電気的構成を示すブロック図、図２は、同携帯端末システムで用いる携帯端末装置の電気的構成を示すブロック図、また、図３は、同携帯端末装置での表示と該表示画面に映し出されているスタジアムの一部とを関連付けて示す図である。
【００１５】
この実施形態の携帯端末システム１０は、ユーザが所持して使用中の携帯電話機等の端末装置の表示画面上に表示されている映像内の所要位置に、その映像について自己の知りたい情報を重畳表示し得るシステムに係り、図１に示すように、携帯電話機等の端末装置２０と、情報通信網３０と、サーバ４０とから概略構成されている。
【００１６】
端末装置２０は、図２に示すように、無線制御部２１と、キー２２と、メモリ２３と、中央処理装置２４と、カメラ２５と、ディスプレイ２６とを有して構成されている。無線制御部２１には、後述する基地局と電波を送受信するアンテナ２７が着脱自在に設けられている。
無線制御部２１は、アンテナ２７で送受信される通信信号とメモリ２３のデジタル情報との間の授受を制御する手段である。
【００１７】
キー２２は、タッチパネルやポインタデバイスを含んで構成され、キー２２の操作によりカメラ２５で撮像しようとする任意の施設（被写施設）、例えば、スタジアムに関する情報（スタジアム名、座席位置、観戦スポーツ等の情報）（被写施設の特徴点情報の返送をサーバ４０に要求する要求情報）を入力する手段であり、そのタッチパネル或るいはポインタデバイスは、後述するディスプレイ２６の画面上に映し出されている映像内の任意の特徴点を任意に指示し、その指示情報を一旦メモリ２３に記憶させて中央処理装置２４での演算処理に供するための入力手段である。ここで、特徴点とは、表示中の映像内に付加したい表示情報を付加したい表示情報を導出するための映像中の任意の位置、例えば、競技者の位置、ゴールの位置等である。
メモリ２３は、上述した無線制御部２１に接続されるほか、キー２２、中央処理装置２４、カメラ２５及びディスプレイ２６に接続されてこれら各部との間で授受されるデジタル情報を記憶する記憶部である。
【００１８】
中央処理装置２４は、動画処理機能２４１、物体認識機能２４２及び情報付加機能２４３を有して構成される。動画処理機能２４１、物体認識機能２４２及び情報付加機能２４３は、メモリ２３等に記憶されるプログラムを読み出してプロセッサ（図示せず）で実行することにより、各機能の手順を遂行するように構成されている。
動画処理機能２４１は、メモリ２３に記憶されている指示情報に基づいてディスプレイ２６の画面上に表示されている競技者等を特徴点として認識する機能である。
【００１９】
物体認識機能２４２は、動画処理機能２４１での認識に基づいてその特徴点の位置を決定して特徴点情報として出力するほか、後述するサーバ４０から受信される施設情報（特徴点情報）に基づいて、ディスプレイ２６の画面上に表示されているスタジアム等内の施設部分（特徴点）、例えば、ゴールの位置を決定する機能である。
情報付加機能２４３は、物体認識機能２４２で決定されて出力される１又は複数の特徴点情報に基づいてディスプレイ２６の画面上に表示されている映像内に付加したい表示情報及びその表示位置、例えば、競技者等からゴールまでの距離及びその表示位置を求めてディスプレイ２６に出力する機能である。
カメラ２５は、スタジアム等の施設内の任意の施設部分を選択的に撮像する撮影手段である。
ディスプレイ２６は、カメラ２５で撮像される映像（実写映像）及びその実写映像内にユーザが希望する所要の表示情報を表示する表示手段である。
【００２０】
情報通信網３０は、図１に示すように、複数の基地局３１と、複数の交換局（ウェブアクセス）３２と、ＬＡＮ（Local Area Network）やＷＡＮ（Wide Area Network）等のネットワーク３３とから構成され、端末装置２０とサーバ４０との間に通信回線を形成するための通信回線網である。
サーバ４０は、情報通信網３０の、例えば、基地局３１Ｓと無線通信回線で接続されるもので、ネットワーク接続部４０１と情報処理機能４０２とを有して構成されている。
【００２１】
サーバ４０のネットワーク接続部４０１は、無線通話回線を介して情報の送受信処理を行うインタフェース部である。この実施形態において受信される情報は、端末装置２０から送信されるスタジアム等に関する要求情報（スタジアム名、座席位置、観戦スポーツ識別等）で、また、送信される情報は、スタジアム等の実写映像内にユーザが付加したい表示情報の生成に必要な施設情報（スタジアム乃至は被写体の距離情報、位置情報等）（以下、スタジアム乃至は被写体の特徴点情報ともいう。後述）である。
情報処理機能４０２は、ネットワーク接続部４０１から渡されるスタジアム等に関する要求情報及び図示しないサーバ４０内のメモリ等に予め保存されているスタジアム等の設計情報（設計データ）に基づいて、スタジアム等の実写映像内にユーザが付加したい表示情報の生成に必要な施設情報を生成してネットワーク接続部４０１へ渡すデジタル処理手段で、その機能は、サーバ４０内の記憶手段（図示せず）に記憶されるプログラムをプロセッサ（図示せず）で実行することにより、上記生成の処理を行うようにして構成されている。
【００２２】
次に、図１乃至図３を参照して、この実施形態の動作について説明する。
スタジアム等に赴いてそこで行われている競技、例えば、サッカーを観戦する場合を例に採って説明する。説明の都合上、携帯電話機２０が在圏するサービスエリアの基地局を情報通信網３０内の基地局３１のうちの基地局３１Ｔとする。また、サーバ４０に対して通信サービスを提供する基地局を情報通信網３０内の基地局３１のうちの基地局３１Ｔとする。
【００２３】
スタジアムに入場した観客であるユーザが所持する携帯電話機２０を用いて行われているサッカーの戦観に入っているとする。そのときに、そのユーザは、携帯電話機２０のキー２２を操作し、スタジアムに関する情報であるスタジアム名、座席位置、観戦スポーツ等の情報（要求情報）を入力する。
【００２４】
この要求情報は、キー２２から中央処理装置２４の制御の下にメモリ２３に書き込まれた後、無線制御部２１へ送られる。無線制御部２１は、入力されたデジタルの要求情報を無線送信信号に変換してアンテナ２７を介して電波として発射される。
その電波は基地局３１Ｔで受信され、基地局３１Ｔで復調されたデジタルの要求情報は、情報通信網３０の交換局３２を経て基地局３１Ｓへ伝送される。その要求情報は、無線通話回線を介してサーバ４０へ送信される。
【００２５】
上記要求情報がサーバ４０のネットワーク接続部４０１で受信されると、その要求情報は、情報処理機能４０２に渡される。
要求情報を受け取った情報処理機能４０２は、要求情報及びスタジアムの設計情報に基づいて当該スタジアムの施設情報を演算生成する。この情報（スタジアムの特徴点情報）は、ユーザが所持する携帯電話機２０で撮影されディスプレイ２６の画面に映し出されている映像（実写映像）内に、ユーザが付加して観たい表示情報の生成に必要な情報である。
情報処理機能４０２から出力された特徴点情報は、情報処理機能４０２からネットワーク接続部４０１、そして無線通話回線を介して基地局３１Ｓへ送信される。
【００２６】
基地局３１Ｓで受信された特徴点情報は、情報通信網３０を介してその基地局３１Ｔへ伝送され、基地局３１Ｔから無線通話回線を介して電波で携帯電話機２０へ送信される。
携帯電話機２０では、そのアンテナ２７で電波を受信し、受信信号を無線制御部２１でデジタル信号の特徴点情報に変換され、その特徴点情報は、中央演算装置２４の制御の下に、メモリ２３に記憶される。
【００２７】
このようにして特徴点情報が携帯電話機２０に与えられると共に、そのユーザが競技場内の自己が観たい実況場面へ携帯電話機２０のカメラ２５を向け、その実況場面の映像がディスプレイ２６の画面上に映し出されている状態において、その画面上の特徴点であって、その実況場面で自己が特に関心を持つ特徴点、すなわち、自己が知りたい情報に関わる特徴点を、ユーザがキー２２のタッチパネル又はポインタデバイスを介して指示する。
【００２８】
すると、その特徴点情報（以下、実写映像上の特徴点という）は、中央処理装置２４の制御の下に、メモリ２３に記憶される。その後に、中央処理装置２４は、メモリ２３からスタジアムの特徴点情報と実写映像上の特徴点情報とを読み出して動画処理機能２４１及び物体認識機能２４２での処理に供する。
動画処理機能２４１及び物体認識機能２４２は、供給されるスタジアムの特徴点情報と実写映像上の特徴点情報とに基づいてスタジアム内の第１の場所と第２の場所との距離を測定する。この測定は、次のようにして行われる。
【００２９】
実写映像上で指示された２つの特徴点に対応するスタジアム内の２つの特徴点（上記の第１の場所と第２の場所）に関わる特徴点情報（スタジアムの特徴点データ）は、上述したように、サーバ４０から携帯電話機２０に渡され、物体認識機能２４２でその位置が認識され決定されている一方、実写映像上の特徴点情報（特徴点データ）、すなわち、スタジアムの特徴点情報に対応する特徴点情報は、ポインタデバイスで指示されて入力され、動画処理機能２４１で認識され、物体認識機能２４２で認識され、その位置が決定される。
【００３０】
こうして物体認識機能２４２で決定される各特徴点情報は、情報付加機能２４３に渡され、情報付加機能２４３において上述の第１の場所と第２の場所との距離を距離情報として求められる。そして、情報付加機能２４３は、ディスプレイ２６に表示中の実写映像情報内の指示された特徴点又はその近傍の映像情報に上記距離情報を設定し、その距離情報を含む実写映像情報をディスプレイ２６へ出力する。ディスプレイ２６は、上記距離情報を含む実写映像情報に応答して表示されている実写映像内の上記指定の特徴点又はその近傍に上記距離情報を可視表示させる。
【００３１】
例えば、図３に示すように、携帯電話機２０のディスプレイ２６の画面上に映っている競技者ｐ１とゴールｐ２とをポインタデバイスで指示すると、その特徴点情報は、動画処理機能２４１で認識され、各指示位置（特徴点情報）は、物体認識機能２４２で決定される。
このときには、スタジアムのグランドで競技しているプレーヤーＰ１及びゴールＰ２の特徴点情報は、携帯電話機２０からサーバ４０へ送信されたスタジアムに関する要求情報に基づいてサーバ４０で演算生成され、そしてサーバ４０から情報通信網３０を介して携帯電話機２０へ返送されている。したがって、上記指示に対応するプレーヤーＰ１及びゴールＰ２の特徴点を物体認識機能２４２が認識し、プレーヤーＰ１及びゴールＰ２の位置（特徴点情報）を決定する。
【００３２】
携帯電話機２０の情報付加機能２４３では、物体認識機能２４２での決定結果に基づいてプレーヤーＰ１からゴールＰ２までの距離情報を演算し、その距離情報を表示中の実写映像情報内の上記指示対応の映像情報領域に設定する。こうして生成される映像情報は、ディスプレイ２６へ供給されてその画面に表示される。
このようにして、ユーザが表示を希望した情報、すなわち、プレーヤーＰ１からゴールＰ２までの距離を、ディスプレイ２６の画面上に表示させることができる。
【００３３】
このように、この実施形態によれば、ディスプレイ上に表示されている実写映像内の特徴点を指示することにより、ユーザが知りたい表示情報をその指示点近傍にリアルタイムで表示することができる。
【実施形態２】
【００３４】
図４は、この発明の実施形態２である携帯端末システムの電気的構成を示すブロック図である。
この実施形態の構成が、実施形態１のそれと大きく異なる点は、ユーザがディスプレイの表示画面上に表示したい表示情報をサーバ側で生成して携帯端末装置へ送信するようにした点である。
したがって、この実施形態の携帯端末システム１０Ａは、図４に示すように、携帯電話機２０Ａから撮影した動画像、指示情報及び施設指定情報（後述）をセキュリティサーバ４０Ａへ送信すると共に、実施形態１の携帯電話機２０に設けられる動画処理機能２４１、物体認識機能２４２及び情報付加機能２４３をセキュリティサーバ４０Ａに動画処理機能４０３、物体認識機能４０４及び情報付加機能４０５として設けるようにして構成される。
【００３５】
動画処理機能４０３、物体認識機能４０４及び情報付加機能４０５は、実施形態１と同様に構成され、その機能も実施形態１と同様であるので、その逐一の説明は省略する。
また、この実施形態のその他の構成は、実施形態１の構成と同じであるので、その構成についての逐一の説明は省略する。
【００３６】
次に、図４を参照して、この実施形態の動作について説明する。
その基本的な動作は、以下に述べる点を除き、実施形態１と同じであるので、その相違点についてのみ説明する。その相違点は、携帯電話機２０Ａのカメラ２５で撮影した動画像をメモリ２３、無線制御部２１、そしてアンテナ２７から情報通信網３０を介してセキュリティサーバ４０Ａへ送信する。また、実施形態１での要求情報に相当する施設指定情報（被写施設の指定情報）及びポイントデバイスで指示した指示情報も、同様にしてセキュリティサーバ４０Ａへ送信される。
【００３７】
一方、セキュリティサーバ４０Ａでは、送信されて来る動画像並びに指示情報及び施設指定情報をネットワーク接続部４０１を介して受信する。受信された動画像及び指示情報は、動画処理機能４０３で実施形態１と同様の処理をし、その結果を物体認識機能４０４に渡す。物体認識機能４０４では、受信される施設指定情報とセキュリティサーバ４０Ａに予め記憶されている被写施設の設計データとに基づいて被写施設の特徴点情報を演算すると共に、この演算結果と動画処理機能４０３から渡された結果とに基づいて指示情報に対応する特徴点の位置（特徴点情報（実写映像上の特徴点情報ともいう）を演算する。これら両特徴点情報が情報付加機能４０５に渡され、情報付加機能４０５は上記指示情報に対応する表示情報を生成し、この表示情報を設定した映像情報を出力する。
【００３８】
セキュリティサーバ４０Ａで生成された映像情報は、ネットワーク接続部４０１から情報通信網３０を介して携帯電話機２０Ａへ送信され、実施形態１と同様にして、携帯電話機２０Ａのディスプレイ２６の画面上に表示されている映像（動画像）内の上記指示に対応する位置に表示情報はリアルタイムで表示される。
【００３９】
このように、この実施形態によっても、セキュリティサーバで生成された指示に対応する表示情報を携帯電話機の画面上に表示されている映像（動画像）内の上記指示に対応する位置にリアルタイムで表示することができる。
【実施形態３】
【００４０】
図５は、この発明の実施形態３である携帯端末装置の電気的構成を示すブロック図である。
この実施形態の構成が、実施形態１のそれと大きく異なる点は、ユーザがディスプレイの表示画面上に表示したい表示情報の生成処理を携帯端末装置ですべて行なってその表示画面上に表示されている映像内に表示情報を表示するようにした点である。
したがって、この実施形態の携帯端末装置１０Ｂは、図５に示すように、携帯電話機２０Ｂに、実施形態１の携帯電話機２０に設けられる動画処理機能２４１、物体認識機能２４２及び情報付加機能２４３のほかに、実施形態１のサーバ４０に設けられる情報処理機能４０２に相当する情報処理機能２４４を設けると共に、サーバ４０に予め記憶される被写施設の設計データを記憶するメモリカード５０を着脱自在に設けて構成される。メモリカード５０に記憶される被写施設の設計データは、１つ又はユーザが希望する数の被写施設についてのものである。
【００４１】
情報処理機能２４４は、実施形態１と同様に構成され、その機能も実施形態１と同様であるので、その逐一の説明は省略する。
また、この実施形態のその他の構成は、実施形態１の構成と同じであるので、その構成についての逐一の説明は省略する。
【００４２】
次に、図５を参照して、この実施形態の動作について説明する。
その基本的な動作は、以下に述べる点を除き、実施形態１と同じであるので、その相違点についてのみ説明する。その相違点は、実施形態１でサーバ４０から携帯電話機２０へ送られて来るユーザ希望の被写施設についての特徴点情報を携帯電話機２０Ｂにおいて演算するようにした点である。
すなわち、情報処理機能２４４における、携帯電話機２０Ｂで撮影中の被写施設についての特徴点情報の生成は、基本的には実施形態１と同様であるが、この実施形態では上記表示情報の生成に先だって、メモリカード５０の読み出しを行い、被写施設の設計データに基づいて行われる。生成された被写施設の特徴点情報は、実施形態１と同様、物体認識機能２４２から実写映像上の特徴点情報と共に、情報付加機能２４３に渡される。
【００４３】
上述のようにして生成された表示情報は、実施形態１と同様にして、情報付加機能２４３においてディスプレイ２６の画面上への表示に用いられている映像情報内の上記指示に対応する情報領域に設定され、この設定後の映像情報がディスプレイ２６へ供給されてそこに可視表示される。したがって、ユーザは、自己の希望する映像表示を見ることができる。
【００４４】
このように、この実施形態によれば、ディスプレイに表示したい表示情報の生成処理を携帯電話機ですべて行い、そのディスプレイの画面上に表示中の映像内の指示に対応する位置に表示情報をリアルタイムで表示することができる。
【００４５】
以上、この発明の実施形態を、図面を参照して詳述してきたが、この発明の具体的な構成は、これらの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計の変更等があってもそれらはこの発明に含まれる。
例えば、上記各実施形態の構成のほか、表示情報を指示対応に記憶しておき、表示画面内の任意の映像位置を指示したとき、この指示に応答して表示情報を読み出して指示対応の画面内位置に表示する構成でもよい。
また、ディスプレイへの表示情報の表示タイミング、表示位置、表示の大きさを変更するように構成してもよい。
【００４６】
また、動画処理機能２４１での処理で取り扱われる映像フレーム数を用いて時間データを導出し、競技者の移動速度を測定してその速度表示をディスプレイに行うようにしてもよい。
また、実施形態３において、メモリカードに記憶する記憶情報を設計データでなく、被写施設の指定情報に基づいて読み出し可能に記憶される被写施設の特徴点情報としてもよい。
【産業上の利用可能性】
【００４７】
ここに開示している映像表示システム及びその方法、携帯端末システム及びその方法、携帯端末装置及びその方法、サーバ並びにその制御プログラム及び記録媒体は、表示中の映像内に意図する表示情報をリアルタイムで重畳表示したい各種の表示系乃至は表示装置、情報処理装置、例えば、観光地、公共機関等の案内情報を付加するシステムで利用し得る。
【符号の説明】
【００４８】
１０、１０Ａ 携帯端末システム（映像表示システム）
１０Ｂ 携帯端末装置（映像表示システム）
２０、２０Ａ、２０Ｂ 端末装置
２１ 無線制御部
２２ キー（指示手段）
２３ メモリ２３（表示制御手段の一部）
２４ 中央処理装置（表示制御手段の一部）
２５ カメラ
２６ ディスプレイ（表示手段）
３０ 情報通信網（通信回線）
４０ サーバ
２４１ 動画処理機能（表示制御手段の一部）
２４２ 物体認識機能（表示制御手段の一部）
２４３ 情報付加機能（表示制御手段の一部）
２４４ 情報処理機能（表示制御手段の一部）
４０１ ネットワーク接続部
４０２ 情報処理機能（表示制御手段の一部）
４０３ 動画処理機能（表示制御手段の一部）
４０４ 物体認識機能（表示制御手段の一部）
４０５ 情報付加機能（表示制御手段の残部）
【特許請求の範囲】
【請求項１】
被写体を撮影した映像を表示する表示手段と、
該表示手段に表示されている映像内の特徴点を指示する指示手段と、
該指示手段の指示に基づいて該指示に対応する表示情報を、前記表示手段に表示されている映像内に表示させる表示制御手段とを備えることを特徴とする映像表示システム。
【請求項２】
前記表示制御手段は、
前記映像内の前記指示に対応する特徴点情報を出力する第１の特徴情報出力手段と、
前記被写体の特徴点情報を要求する情報要求手段と、
該情報要求手段から出力される要求情報に基づいて前記被写体の特徴点情報を出力する第２の特徴情報出力手段とを備えて、
前記第１の前記特徴情報出力手段から出力される前記指示に対応する特徴点情報と第２の前記特徴情報出力手段から出力される前記被写体の特徴点情報とに基づいて前記指示に対応する表示情報を、前記表示手段に表示されている映像内に表示させることを特徴とする請求項１記載の映像表示システム。
【請求項３】
前記被写体は、被写施設であり、前記第２の特徴情報出力手段は、前記被写施設の設計データを記憶する設計データ出力手段と、該設計データ出力手段から出力される前記設計データと前記情報要求手段から出力される前記要求情報とに基づいて前記被写施設の特徴点情報を演算する演算手段とで構成されることを特徴とする請求項２記載の映像表示システム。
【請求項４】
前記被写体は、被写施設であり、前記第２の特徴情報出力手段は、前記情報要求手段から出力される前記要求情報と前記被写施設の特徴点情報とを対応付けて記憶する情報記憶手段と、前記情報要求手段から出力される前記要求情報に基づいて前記被写体の特徴点情報を読み出す読み出し手段とで構成されることを特徴とする請求項２記載の映像表示システム。
【請求項５】
前記設計データ出力手段は、外付けの記録媒体であることを特徴とする請求項３記載の映像表示システム。
【請求項６】
前記情報記憶手段は、外付けの記録媒体であることを特徴とする請求項４記載の映像表示システム。
【請求項７】
被写施設を撮影した映像を表示する端末装置の表示手段と、
該表示手段に表示されている映像内の特徴点を指示する前記端末装置の指示手段と、
該指示手段の指示に基づいて該指示に対応する表示情報を、前記表示手段に表示されている映像内に表示させる表示制御手段とを備えることを特徴とする携帯端末システム。
【請求項８】
前記表示制御手段は、
前記映像内の前記指示に対応する特徴点情報を出力する第１の特徴情報出力手段及び前記被写施設の特徴点情報を要求する情報要求手段を前記携帯端末装置に設ける一方、
前記情報要求手段から出力される要求情報に基づいて前記被写施設の特徴点情報を出力する第２の特徴情報出力手段を、前記携帯端末装置に通信回線を介して接続されるサーバに設けると共に、
前記第１の前記特徴情報出力手段から出力される前記指示に対応する特徴点情報と第２の前記特徴情報出力手段から出力される前記被写施設の特徴点情報とに基づいて前記指示に対応する表示情報を生成し、生成された該表示情報を前記表示手段に表示されている映像内に表示させる制御手段を前記端末装置に設けて構成されることを特徴とする請求項７記載の携帯端末システム。
【請求項９】
前記表示制御手段は、
前記被写施設についての指定を出力する被写施設指定手段を前記端末装置に設ける一方、
前記映像内の前記指示に対応する特徴点情報を出力する第１の特徴情報出力手段と、
前記被写施設指定手段から出力される前記指定に基づいて前記被写施設の特徴点情報を出力する第２の特徴情報出力手段と、
前記第１の特徴情報出力手段から出力される前記指示に対応する前記特徴点情報と前記第２の特徴情報出力手段から出力される前記被写施設の前記特徴点情報とに基づいて前記指示に対応する表示情報を生成し、該表示情報を前記携帯端末装置からの映像情報に重畳した映像情報を出力する処理手段とを前記端末装置に通信回線を介して接続されるサーバに設けて構成されることを特徴とする請求項７記載の携帯端末システム。
【請求項１０】
前記第２の特徴情報出力手段は、前記被写施設の設計データを記憶する設計データ出力手段と、該設計データ出力手段から出力される前記設計データと前記情報要求手段から出力される前記要求情報とに基づいて前記被写施設の前記特徴点情報を演算する演算手段とを有して構成されることを特徴とする請求項８又は９記載の携帯端末システム。
【請求項１１】
前記第２の特徴情報出力手段は、前記情報要求手段から出力される前記要求情報と前記被写施設の特徴点情報とを対応付けて記憶する情報記憶手段と、前記情報要求手段から出力される前記要求情報に基づいて前記被写施設の前記特徴点情報を読み出す読み出し手段とを有して構成されることを特徴とする請求項８又は９記載の携帯端末システム。
【請求項１２】
前記表示制御手段は、前記指示に対応する特徴点を認識する物体認識手段と、認識された特徴点の特徴点情報を出力する動画処理手段と、前記表示施設の特徴点情報を出力する情報処理手段と、前記動画処理手段から出力される特徴点情報と前記施設情報処理手段から出力される特徴点情報とに基づいて前記表示情報を生成し、生成された該表示情報を映像情報内に付加する情報付加手段とを有して構成されることを特徴とする請求項８又は９記載の携帯端末システム。
【請求項１３】
被写施設を撮影した映像を表示する表示手段と、
該表示手段に表示されている映像内の特徴点を指示する指示手段と、
前記映像内の前記指示に対応する特徴点情報を出力する第１の特徴情報出力手段と、
前記被写施設の特徴点情報を要求する情報要求手段と、
前記第１の特徴情報出力手段から出力される前記指示に対応する特徴点情報と前記情報要求手段から出力される要求情報に基づいてサーバから返送される前記被写施設の前記特徴点情報とに基づいて前記指示に対応する表示情報を、前記表示手段に表示されている映像内に表示させる表示制御手段とを備えることを特徴とする携帯端末装置。
【請求項１４】
被写施設を撮影した映像を表示する表示手段と、
該表示手段に表示されている映像内の特徴点を指示する指示手段と、
前記被写施設についての指定を行う被写施設指定手段と、
前記指示手段から出力される指示情報と前記被写施設指定手段から出力される指定情報とに基づいてサーバから返送される前記指示に対応する表示情報を、前記表示手段に表示されている映像内に表示させる表示制御手段とを備えることを特徴とする携帯端末装置。
【請求項１５】
前記表示制御手段は、前記映像内の前記指示に対応する特徴点情報を出力する第１の特徴情報出力手段と、前記被写施設の特徴点情報を要求する情報要求手段と、前記第１の特徴情報出力手段から出力される前記指示に対応する特徴点情報と前記情報要求手段から出力される前記要求情報に応答してサーバから返送される前記被写施設の特徴点情報とに基づいて前記指示に対応する表示情報を、前記表示手段に表示されている映像内に表示させる制御手段とを有することを特徴とする請求項１３記載の携帯端末装置。
【請求項１６】
前記表示制御手段は、前記指示に対応する特徴点を認識する物体認識手段と、認識された特徴点の特徴点情報を出力する動画処理手段と、前被写施設の特徴点情報を出力する情報処理手段と、前記動画処理手段から出力される特徴点情報と前記情報処理手段から出力される特徴点情報とに基づいて前記表示情報を生成し、生成された該表示情報を前記表示手段での表示に用いられる映像情報内に付加する情報付加手段とを有して構成されることを特徴とする請求項１３又は１４記載の携帯端末装置。
【請求項１７】
被写施設を撮影した映像を表示する表示手段と、
該表示手段に表示されている映像内の特徴点を指示する指示手段と、
前記映像内の前記指示に対応する特徴点情報を出力する第１の特徴情報出力手段と、
前記被写施設についての指定を行う施設指定手段と、
前記被写施設の設計データを記憶する設計データ出力手段と、
前記施設指定手段から出力される前記指定情報に基づいて前記設計データ出力手段から前記設計データを読み出し、読み出された前記設計データに基づいて前記被写施設の特徴点情報を出力する第２の特徴情報出力手段と、
前記第１の特徴情報出力手段から出力される前記指示に対応する特徴点情報と前記第２の特徴情報出力手段から出力される前記被写施設の特徴点情報とに基づいて前記指示に対応する表示情報を、前記表示手段に表示されている映像内に表示させる表示制御手段とを備えることを特徴とする携帯端末装置。
【請求項１８】
被写施設を撮影した映像を表示する表示手段と、
該表示手段に表示されている映像内の特徴点を指示する指示手段と、
前記映像内の前記指示に対応する特徴点情報を出力する第１の特徴情報出力手段と、
前記被写施設の特徴点情報を要求する情報要求手段と、
該情報要求手段から出力される前記要求情報と前記被写施設の特徴点情報とを対応付けて記憶する情報記憶手段と、
前記情報要求手段から出力される前記要求情報に基づいて前記情報記憶手段から前記被写施設の前記特徴点情報を読み出す第２の特徴情報出力手段と、
前記第１の特徴情報出力手段から出力される前記指示に対応する特徴点情報と前記第２の特徴情報出力手段から出力される前記被写施設の特徴点情報とに基づいて前記指示に対応する表示情報を、前記表示手段に表示されている映像内に表示させる表示制御手段とを備えることを特徴とする携帯端末装置。
【請求項１９】
前記設計データ出力手段は、外付けの記録媒体であることを特徴とする請求項１７記載の携帯端末装置。
【請求項２０】
前記情報記憶手段は、外付けの記録媒体であることを特徴とする請求項１８記載の携帯端末装置。
【請求項２１】
被写施設の指定情報と設計データとを対応させて記録する記録媒体。
【請求項２２】
被写施設の特徴点情報と該特徴点情報の読み出し要求情報とを対応させて記録する記録媒体。
【請求項２３】
被写施設の指定情報と設計データとを対応させて記録する記憶手段と、
前記指定情報と前記記憶手段から読み出される設計データとに基づいて前記被写施設の特徴点情報を演算する情報処理手段とを備えることを特徴とするサーバ。
【請求項２４】
被写施設の特徴点情報と該特徴点情報の読み出し要求情報とを対応させて記録する記憶手段と、
前記読み出し要求情報に基づいて前記記憶手段の読み出しを行う読み出し手段とを備えることを特徴とするサーバ。
【請求項２５】
映像内の指示に対応する特徴点情報を出力する第１の特徴情報出力手段と、
被写施設の指定に基づいて前記被写施設の特徴点情報を出力する第２の特徴情報出力手段と、
前記第１の特徴情報出力手段から出力される前記指示に対応する前記特徴点情報と前記第２の特徴情報出力手段から出力される前記被写施設の前記特徴点情報とに基づいて前記指示に対応する表示情報を生成し、該表示情報を端末装置からの映像情報に重畳した映像情報を出力する処理手段とを備えることを特徴とするサーバ
【請求項２６】
被写体を撮影手段で撮影し、
撮影した映像を表示手段に表示し、
表示手段に表示されている映像内の特徴点を指示手段で指示し、
該指示手段の指示に基づいて該指示に対応する表示情報を、前記表示手段に表示されている映像内に表示させることを特徴とする映像表示方法。
【請求項２７】
前記表示情報の、表示されている前記映像内への表示は、
前記指示に対応する特徴点情報を出力し、
前記被写体の特徴点情報を要求し、
要求される要求情報に基づいて前記被写体の特徴点情報を出力し、
前記指示に対応する前記特徴点情報と前記被写体の前記特徴点情報とに基づいて前記指示に対応する表示情報を、表示されている前記映像内に表示させることを特徴とする請求項２６記載の映像表示方法。
【請求項２８】
前記被写体は、被写施設であり、前記被写体の前記特徴点情報は、前記被写施設の設計データと前記要求情報とに基づいて生成されることを特徴とする請求項２７記載の映像表示方法。
【請求項２９】
前記被写体は、被写施設であり、前記被写体の前記特徴点情報は、前記要求情報と前記被写施設の特徴点情報とを対応付けて記憶しておき、前記要求情報に基づいて記憶されている前記被写施設の特徴点情報を読み出して得ることを特徴とする請求項２７記載の映像表示方法。
【請求項３０】
被写体を端末装置の撮影手段で撮影し、
撮影した映像を前記端末装置の表示手段に表示し、
表示手段に表示されている映像内の特徴点を前記端末装置の指示手段で指示し、
該指示手段の指示に基づいて該指示に対応する表示情報を、前記表示手段に表示されている映像内に表示させることを特徴とする携帯端末システムの映像表示方法。
【請求項３１】
前記表示情報の、表示されている前記映像内への表示は、
前記指示に対応する特徴点情報を出力し、
前記被写体の特徴点情報を前記端末装置からサーバへ要求し、
該サーバが要求される要求情報に基づいて前記被写体の特徴点情報を前記端末装置へ返送し、
前記指示に対応する前記特徴点情報と前記被写体の前記特徴点情報とに基づいて前記指示に対応する表示情報を、表示されている前記映像内に表示させることを特徴とする請求項３０記載の携帯端末システムの映像表示方法。
【請求項３２】
前記表示情報の、表示されている前記映像内への表示は、
前記指示に対応する指示情報と前記被写体を指定する指定情報とを前記端末装置からサーバへ送信し、
該サーバが受信する前記指示情報と前記指定情報とに基づいて前記指示に対応する表示情報を生成して前記端末装置へ送信して、前記表示情報を表示されている前記映像内に表示させることを特徴とする請求項３０記載の携帯端末システムの映像表示方法。
【請求項３３】
前記被写体は、被写施設であり、前記被写体の特徴点情報は、前記被写施設の設計データと前記要求情報とに基づいて生成されることを特徴とする請求項３１記載の携帯端末システムの映像表示方法。
【請求項３４】
前記被写体は、被写施設であり、前記被写体の特徴点情報は、前記要求情報と前記被写施設の特徴点情報とを対応付けて記憶しておき、前記要求情報に基づいて記憶されている前記被写施設の特徴点情報を読み出して得ることを特徴とする請求項３１記載の携帯端末システムの映像表示方法。
【請求項３５】
被写施設の設計データと該被写施設についての指定とを対応させて記憶手段に記録しておき、
被写施設を撮影した映像を表示手段に表示し、
該表示手段に表示されている前記映像内の特徴点を指示手段で指示し、
前記映像内の前記指示に対応する特徴点情報を出力すると共に、
前記被写施設を指定し、
該指定と前記記憶手段から読み出される設計データとに基づいて前記被写施設の特徴点情報を演算し、
出力される前記指示に対応する特徴点情報と演算される前記被写施設の特徴点情報とに基づいて前記指示に対応する表示情報を、表示されている前記映像内に表示させることを特徴とする携帯端末装置の映像表示方法。
【請求項３６】
被写施設の特徴点情報と該被写施設についての指定とを対応させて記憶手段に記録しておき、
被写施設を撮影した映像を表示手段に表示し、
該表示手段に表示されている前記映像内の特徴点を指示手段で指示し、
前記映像内の前記指示に対応する特徴点情報を出力する一方、
前記被写施設を指定して該指定に対応する前記被写施設の特徴点情報を前記記憶手段から読み出し、
出力される前記指示に対応する特徴点情報と読み出される前記被写施設の特徴点情報とに基づいて前記指示に対応する表示情報を、表示されている前記映像内に表示させることを特徴とする携帯端末装置の映像表示方法。
【請求項３７】
コンピュータに請求項１乃至６のうちのいずれか一に記載の映像表示システムを制御させることを特徴とする制御プログラム。
【請求項３８】
コンピュータに請求項７乃至１２のうちのいずれか一に記載の携帯端末システムを制御させることを特徴とする制御プログラム。
【請求項３９】
コンピュータに請求項１３乃至２０のうちのいずれか一に記載の携帯端末装置を制御させることを特徴とする制御プログラム。
【請求項４０】
コンピュータに請求項２３乃至２５のうちのいずれか一に記載のサーバを制御させることを特徴とする制御プログラム。
【請求項４１】
コンピュータに請求項２６乃至２９のうちのいずれか一に記載の映像表示方法を実行させることを特徴とする制御プログラム。
【請求項４２】
コンピュータに請求項３０乃至３４のうちのいずれか一に記載の携帯端末システムの映像表示方法を実行させることを特徴とする制御プログラム。
【請求項４３】
コンピュータに請求項３５又は３６記載の携帯端末装置の映像表示方法を実行させることを特徴とする制御プログラム。
【請求項１】
被写体を撮影した映像を表示する表示手段と、
該表示手段に表示されている映像内の特徴点を指示する指示手段と、
該指示手段の指示に基づいて該指示に対応する表示情報を、前記表示手段に表示されている映像内に表示させる表示制御手段とを備えることを特徴とする映像表示システム。
【請求項２】
前記表示制御手段は、
前記映像内の前記指示に対応する特徴点情報を出力する第１の特徴情報出力手段と、
前記被写体の特徴点情報を要求する情報要求手段と、
該情報要求手段から出力される要求情報に基づいて前記被写体の特徴点情報を出力する第２の特徴情報出力手段とを備えて、
前記第１の前記特徴情報出力手段から出力される前記指示に対応する特徴点情報と第２の前記特徴情報出力手段から出力される前記被写体の特徴点情報とに基づいて前記指示に対応する表示情報を、前記表示手段に表示されている映像内に表示させることを特徴とする請求項１記載の映像表示システム。
【請求項３】
前記被写体は、被写施設であり、前記第２の特徴情報出力手段は、前記被写施設の設計データを記憶する設計データ出力手段と、該設計データ出力手段から出力される前記設計データと前記情報要求手段から出力される前記要求情報とに基づいて前記被写施設の特徴点情報を演算する演算手段とで構成されることを特徴とする請求項２記載の映像表示システム。
【請求項４】
前記被写体は、被写施設であり、前記第２の特徴情報出力手段は、前記情報要求手段から出力される前記要求情報と前記被写施設の特徴点情報とを対応付けて記憶する情報記憶手段と、前記情報要求手段から出力される前記要求情報に基づいて前記被写体の特徴点情報を読み出す読み出し手段とで構成されることを特徴とする請求項２記載の映像表示システム。
【請求項５】
前記設計データ出力手段は、外付けの記録媒体であることを特徴とする請求項３記載の映像表示システム。
【請求項６】
前記情報記憶手段は、外付けの記録媒体であることを特徴とする請求項４記載の映像表示システム。
【請求項７】
被写施設を撮影した映像を表示する端末装置の表示手段と、
該表示手段に表示されている映像内の特徴点を指示する前記端末装置の指示手段と、
該指示手段の指示に基づいて該指示に対応する表示情報を、前記表示手段に表示されている映像内に表示させる表示制御手段とを備えることを特徴とする携帯端末システム。
【請求項８】
前記表示制御手段は、
前記映像内の前記指示に対応する特徴点情報を出力する第１の特徴情報出力手段及び前記被写施設の特徴点情報を要求する情報要求手段を前記携帯端末装置に設ける一方、
前記情報要求手段から出力される要求情報に基づいて前記被写施設の特徴点情報を出力する第２の特徴情報出力手段を、前記携帯端末装置に通信回線を介して接続されるサーバに設けると共に、
前記第１の前記特徴情報出力手段から出力される前記指示に対応する特徴点情報と第２の前記特徴情報出力手段から出力される前記被写施設の特徴点情報とに基づいて前記指示に対応する表示情報を生成し、生成された該表示情報を前記表示手段に表示されている映像内に表示させる制御手段を前記端末装置に設けて構成されることを特徴とする請求項７記載の携帯端末システム。
【請求項９】
前記表示制御手段は、
前記被写施設についての指定を出力する被写施設指定手段を前記端末装置に設ける一方、
前記映像内の前記指示に対応する特徴点情報を出力する第１の特徴情報出力手段と、
前記被写施設指定手段から出力される前記指定に基づいて前記被写施設の特徴点情報を出力する第２の特徴情報出力手段と、
前記第１の特徴情報出力手段から出力される前記指示に対応する前記特徴点情報と前記第２の特徴情報出力手段から出力される前記被写施設の前記特徴点情報とに基づいて前記指示に対応する表示情報を生成し、該表示情報を前記携帯端末装置からの映像情報に重畳した映像情報を出力する処理手段とを前記端末装置に通信回線を介して接続されるサーバに設けて構成されることを特徴とする請求項７記載の携帯端末システム。
【請求項１０】
前記第２の特徴情報出力手段は、前記被写施設の設計データを記憶する設計データ出力手段と、該設計データ出力手段から出力される前記設計データと前記情報要求手段から出力される前記要求情報とに基づいて前記被写施設の前記特徴点情報を演算する演算手段とを有して構成されることを特徴とする請求項８又は９記載の携帯端末システム。
【請求項１１】
前記第２の特徴情報出力手段は、前記情報要求手段から出力される前記要求情報と前記被写施設の特徴点情報とを対応付けて記憶する情報記憶手段と、前記情報要求手段から出力される前記要求情報に基づいて前記被写施設の前記特徴点情報を読み出す読み出し手段とを有して構成されることを特徴とする請求項８又は９記載の携帯端末システム。
【請求項１２】
前記表示制御手段は、前記指示に対応する特徴点を認識する物体認識手段と、認識された特徴点の特徴点情報を出力する動画処理手段と、前記表示施設の特徴点情報を出力する情報処理手段と、前記動画処理手段から出力される特徴点情報と前記施設情報処理手段から出力される特徴点情報とに基づいて前記表示情報を生成し、生成された該表示情報を映像情報内に付加する情報付加手段とを有して構成されることを特徴とする請求項８又は９記載の携帯端末システム。
【請求項１３】
被写施設を撮影した映像を表示する表示手段と、
該表示手段に表示されている映像内の特徴点を指示する指示手段と、
前記映像内の前記指示に対応する特徴点情報を出力する第１の特徴情報出力手段と、
前記被写施設の特徴点情報を要求する情報要求手段と、
前記第１の特徴情報出力手段から出力される前記指示に対応する特徴点情報と前記情報要求手段から出力される要求情報に基づいてサーバから返送される前記被写施設の前記特徴点情報とに基づいて前記指示に対応する表示情報を、前記表示手段に表示されている映像内に表示させる表示制御手段とを備えることを特徴とする携帯端末装置。
【請求項１４】
被写施設を撮影した映像を表示する表示手段と、
該表示手段に表示されている映像内の特徴点を指示する指示手段と、
前記被写施設についての指定を行う被写施設指定手段と、
前記指示手段から出力される指示情報と前記被写施設指定手段から出力される指定情報とに基づいてサーバから返送される前記指示に対応する表示情報を、前記表示手段に表示されている映像内に表示させる表示制御手段とを備えることを特徴とする携帯端末装置。
【請求項１５】
前記表示制御手段は、前記映像内の前記指示に対応する特徴点情報を出力する第１の特徴情報出力手段と、前記被写施設の特徴点情報を要求する情報要求手段と、前記第１の特徴情報出力手段から出力される前記指示に対応する特徴点情報と前記情報要求手段から出力される前記要求情報に応答してサーバから返送される前記被写施設の特徴点情報とに基づいて前記指示に対応する表示情報を、前記表示手段に表示されている映像内に表示させる制御手段とを有することを特徴とする請求項１３記載の携帯端末装置。
【請求項１６】
前記表示制御手段は、前記指示に対応する特徴点を認識する物体認識手段と、認識された特徴点の特徴点情報を出力する動画処理手段と、前被写施設の特徴点情報を出力する情報処理手段と、前記動画処理手段から出力される特徴点情報と前記情報処理手段から出力される特徴点情報とに基づいて前記表示情報を生成し、生成された該表示情報を前記表示手段での表示に用いられる映像情報内に付加する情報付加手段とを有して構成されることを特徴とする請求項１３又は１４記載の携帯端末装置。
【請求項１７】
被写施設を撮影した映像を表示する表示手段と、
該表示手段に表示されている映像内の特徴点を指示する指示手段と、
前記映像内の前記指示に対応する特徴点情報を出力する第１の特徴情報出力手段と、
前記被写施設についての指定を行う施設指定手段と、
前記被写施設の設計データを記憶する設計データ出力手段と、
前記施設指定手段から出力される前記指定情報に基づいて前記設計データ出力手段から前記設計データを読み出し、読み出された前記設計データに基づいて前記被写施設の特徴点情報を出力する第２の特徴情報出力手段と、
前記第１の特徴情報出力手段から出力される前記指示に対応する特徴点情報と前記第２の特徴情報出力手段から出力される前記被写施設の特徴点情報とに基づいて前記指示に対応する表示情報を、前記表示手段に表示されている映像内に表示させる表示制御手段とを備えることを特徴とする携帯端末装置。
【請求項１８】
被写施設を撮影した映像を表示する表示手段と、
該表示手段に表示されている映像内の特徴点を指示する指示手段と、
前記映像内の前記指示に対応する特徴点情報を出力する第１の特徴情報出力手段と、
前記被写施設の特徴点情報を要求する情報要求手段と、
該情報要求手段から出力される前記要求情報と前記被写施設の特徴点情報とを対応付けて記憶する情報記憶手段と、
前記情報要求手段から出力される前記要求情報に基づいて前記情報記憶手段から前記被写施設の前記特徴点情報を読み出す第２の特徴情報出力手段と、
前記第１の特徴情報出力手段から出力される前記指示に対応する特徴点情報と前記第２の特徴情報出力手段から出力される前記被写施設の特徴点情報とに基づいて前記指示に対応する表示情報を、前記表示手段に表示されている映像内に表示させる表示制御手段とを備えることを特徴とする携帯端末装置。
【請求項１９】
前記設計データ出力手段は、外付けの記録媒体であることを特徴とする請求項１７記載の携帯端末装置。
【請求項２０】
前記情報記憶手段は、外付けの記録媒体であることを特徴とする請求項１８記載の携帯端末装置。
【請求項２１】
被写施設の指定情報と設計データとを対応させて記録する記録媒体。
【請求項２２】
被写施設の特徴点情報と該特徴点情報の読み出し要求情報とを対応させて記録する記録媒体。
【請求項２３】
被写施設の指定情報と設計データとを対応させて記録する記憶手段と、
前記指定情報と前記記憶手段から読み出される設計データとに基づいて前記被写施設の特徴点情報を演算する情報処理手段とを備えることを特徴とするサーバ。
【請求項２４】
被写施設の特徴点情報と該特徴点情報の読み出し要求情報とを対応させて記録する記憶手段と、
前記読み出し要求情報に基づいて前記記憶手段の読み出しを行う読み出し手段とを備えることを特徴とするサーバ。
【請求項２５】
映像内の指示に対応する特徴点情報を出力する第１の特徴情報出力手段と、
被写施設の指定に基づいて前記被写施設の特徴点情報を出力する第２の特徴情報出力手段と、
前記第１の特徴情報出力手段から出力される前記指示に対応する前記特徴点情報と前記第２の特徴情報出力手段から出力される前記被写施設の前記特徴点情報とに基づいて前記指示に対応する表示情報を生成し、該表示情報を端末装置からの映像情報に重畳した映像情報を出力する処理手段とを備えることを特徴とするサーバ
【請求項２６】
被写体を撮影手段で撮影し、
撮影した映像を表示手段に表示し、
表示手段に表示されている映像内の特徴点を指示手段で指示し、
該指示手段の指示に基づいて該指示に対応する表示情報を、前記表示手段に表示されている映像内に表示させることを特徴とする映像表示方法。
【請求項２７】
前記表示情報の、表示されている前記映像内への表示は、
前記指示に対応する特徴点情報を出力し、
前記被写体の特徴点情報を要求し、
要求される要求情報に基づいて前記被写体の特徴点情報を出力し、
前記指示に対応する前記特徴点情報と前記被写体の前記特徴点情報とに基づいて前記指示に対応する表示情報を、表示されている前記映像内に表示させることを特徴とする請求項２６記載の映像表示方法。
【請求項２８】
前記被写体は、被写施設であり、前記被写体の前記特徴点情報は、前記被写施設の設計データと前記要求情報とに基づいて生成されることを特徴とする請求項２７記載の映像表示方法。
【請求項２９】
前記被写体は、被写施設であり、前記被写体の前記特徴点情報は、前記要求情報と前記被写施設の特徴点情報とを対応付けて記憶しておき、前記要求情報に基づいて記憶されている前記被写施設の特徴点情報を読み出して得ることを特徴とする請求項２７記載の映像表示方法。
【請求項３０】
被写体を端末装置の撮影手段で撮影し、
撮影した映像を前記端末装置の表示手段に表示し、
表示手段に表示されている映像内の特徴点を前記端末装置の指示手段で指示し、
該指示手段の指示に基づいて該指示に対応する表示情報を、前記表示手段に表示されている映像内に表示させることを特徴とする携帯端末システムの映像表示方法。
【請求項３１】
前記表示情報の、表示されている前記映像内への表示は、
前記指示に対応する特徴点情報を出力し、
前記被写体の特徴点情報を前記端末装置からサーバへ要求し、
該サーバが要求される要求情報に基づいて前記被写体の特徴点情報を前記端末装置へ返送し、
前記指示に対応する前記特徴点情報と前記被写体の前記特徴点情報とに基づいて前記指示に対応する表示情報を、表示されている前記映像内に表示させることを特徴とする請求項３０記載の携帯端末システムの映像表示方法。
【請求項３２】
前記表示情報の、表示されている前記映像内への表示は、
前記指示に対応する指示情報と前記被写体を指定する指定情報とを前記端末装置からサーバへ送信し、
該サーバが受信する前記指示情報と前記指定情報とに基づいて前記指示に対応する表示情報を生成して前記端末装置へ送信して、前記表示情報を表示されている前記映像内に表示させることを特徴とする請求項３０記載の携帯端末システムの映像表示方法。
【請求項３３】
前記被写体は、被写施設であり、前記被写体の特徴点情報は、前記被写施設の設計データと前記要求情報とに基づいて生成されることを特徴とする請求項３１記載の携帯端末システムの映像表示方法。
【請求項３４】
前記被写体は、被写施設であり、前記被写体の特徴点情報は、前記要求情報と前記被写施設の特徴点情報とを対応付けて記憶しておき、前記要求情報に基づいて記憶されている前記被写施設の特徴点情報を読み出して得ることを特徴とする請求項３１記載の携帯端末システムの映像表示方法。
【請求項３５】
被写施設の設計データと該被写施設についての指定とを対応させて記憶手段に記録しておき、
被写施設を撮影した映像を表示手段に表示し、
該表示手段に表示されている前記映像内の特徴点を指示手段で指示し、
前記映像内の前記指示に対応する特徴点情報を出力すると共に、
前記被写施設を指定し、
該指定と前記記憶手段から読み出される設計データとに基づいて前記被写施設の特徴点情報を演算し、
出力される前記指示に対応する特徴点情報と演算される前記被写施設の特徴点情報とに基づいて前記指示に対応する表示情報を、表示されている前記映像内に表示させることを特徴とする携帯端末装置の映像表示方法。
【請求項３６】
被写施設の特徴点情報と該被写施設についての指定とを対応させて記憶手段に記録しておき、
被写施設を撮影した映像を表示手段に表示し、
該表示手段に表示されている前記映像内の特徴点を指示手段で指示し、
前記映像内の前記指示に対応する特徴点情報を出力する一方、
前記被写施設を指定して該指定に対応する前記被写施設の特徴点情報を前記記憶手段から読み出し、
出力される前記指示に対応する特徴点情報と読み出される前記被写施設の特徴点情報とに基づいて前記指示に対応する表示情報を、表示されている前記映像内に表示させることを特徴とする携帯端末装置の映像表示方法。
【請求項３７】
コンピュータに請求項１乃至６のうちのいずれか一に記載の映像表示システムを制御させることを特徴とする制御プログラム。
【請求項３８】
コンピュータに請求項７乃至１２のうちのいずれか一に記載の携帯端末システムを制御させることを特徴とする制御プログラム。
【請求項３９】
コンピュータに請求項１３乃至２０のうちのいずれか一に記載の携帯端末装置を制御させることを特徴とする制御プログラム。
【請求項４０】
コンピュータに請求項２３乃至２５のうちのいずれか一に記載のサーバを制御させることを特徴とする制御プログラム。
【請求項４１】
コンピュータに請求項２６乃至２９のうちのいずれか一に記載の映像表示方法を実行させることを特徴とする制御プログラム。
【請求項４２】
コンピュータに請求項３０乃至３４のうちのいずれか一に記載の携帯端末システムの映像表示方法を実行させることを特徴とする制御プログラム。
【請求項４３】
コンピュータに請求項３５又は３６記載の携帯端末装置の映像表示方法を実行させることを特徴とする制御プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図２】
【図３】
【図４】
【図５】
【公開番号】特開２０１０−１９８１０４（Ｐ２０１０−１９８１０４Ａ）
【公開日】平成２２年９月９日（２０１０．９．９）
【国際特許分類】
【出願番号】特願２００９−３９４２６（Ｐ２００９−３９４２６）
【出願日】平成２１年２月２３日（２００９．２．２３）
【出願人】（０００００４２３７）日本電気株式会社 (19,353)
【Ｆターム（参考）】
【公開日】平成２２年９月９日（２０１０．９．９）
【国際特許分類】
【出願日】平成２１年２月２３日（２００９．２．２３）
【出願人】（０００００４２３７）日本電気株式会社 (19,353)
【Ｆターム（参考）】
[ Back to top ]