拡張現実提供端末機及び方法
【課題】マーカーをデジタルマーカーで実現し、ユーザが所望の時点でデジタルマーカーを編集して客体の種類及び動作などを変更できるようにする拡張現実提供端末機及び方法を提供する。
【解決手段】端末機ユーザの入力によってデジタルマーカーを編集し、該編集されたデジタルマーカーに対応する客体を定義するデジタルマーカー編集部と、前記デジタルマーカー編集部において編集された前記デジタルマーカーと該編集された前記デジタルマーカーに対応する前記客体を格納するメモリ部と、前記デジタルマーカー編集部において編集された前記デジタルマーカーを表示し、前記メモリ部に格納されている前記デジタルマーカーのうちから前記端末機ユーザによって選択された前記デジタルマーカーを表示する画面表示部と、を含むことを特徴とする拡張現実提供端末機。
【解決手段】端末機ユーザの入力によってデジタルマーカーを編集し、該編集されたデジタルマーカーに対応する客体を定義するデジタルマーカー編集部と、前記デジタルマーカー編集部において編集された前記デジタルマーカーと該編集された前記デジタルマーカーに対応する前記客体を格納するメモリ部と、前記デジタルマーカー編集部において編集された前記デジタルマーカーを表示し、前記メモリ部に格納されている前記デジタルマーカーのうちから前記端末機ユーザによって選択された前記デジタルマーカーを表示する画面表示部と、を含むことを特徴とする拡張現実提供端末機。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、拡張現実提供端末機及び方法に係り、より詳細には、デジタルマーカーを利用して拡張現実を提供できるようにする拡張現実提供端末機及び方法に関する。
【背景技術】
【０００２】
一般に、拡張現実（Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ）とは、ユーザの目で見る現実世界と付加情報をもつ仮想世界とを合わせて一つの映像で表示する技術であって、拡張現実技術を利用して現実世界を背景に仮想世界を合成するためには、予め設定されたパターンをもつマーカーまたは現実世界に存在する建物や造形物などを認識する過程が必要である。
【０００３】
マーカーを認識する場合、従来は、端末機に備えられているカメラを利用して黒地に白色のパターンからなるマーカーを含む現実世界を撮影し、該撮影したマーカーの白色のパターンを認識した後、該認識したパターンに対応する客体をマーカーの位置に表示されるように現実世界と合成した後に画面に表示していた。
【０００４】
従来、拡張現実のために使用されるマーカーは、紙のような媒体に描かれた、または出力されたアナログ的なマーカーであった。このため、従来のアナログマーカーでは、ユーザの操作にて客体の位置を変更することはできたが、他の種類の客体に変えたり客体の動きを制御したりするためには、紙を交換し、別の紙に描かれたアナログマーカーを使用する必要があるという不都合があった。
【発明の概要】
【発明が解決しようとする課題】
【０００５】
本発明は、上述したような問題点を解決するために、マーカーをデジタルマーカーで実現し、ユーザが所望の時点でデジタルマーカーを編集して客体の種類及び動作などを変更できるようにする拡張現実提供端末機及び方法を提供することを目的とする。
【課題を解決するための手段】
【０００６】
上述したような目的を達成するための本発明の一実施形態による拡張現実提供端末機は、端末機ユーザの入力によってデジタルマーカーを編集し、該編集されたデジタルマーカーに対応する客体を定義するデジタルマーカー編集部と、上記デジタルマーカー編集部にて編集されたデジタルマーカーと該編集されたデジタルマーカーに対応する客体を格納するメモリ部と、上記デジタルマーカー編集部にて編集されるデジタルマーカーを表示し、上記メモリ部に格納されているデジタルマーカーのうちの端末機ユーザによって選択されたデジタルマーカーを表示する画面表示部と、を含む。
【０００７】
本発明の他の実施形態による拡張現実提供端末機は、それぞれのデジタルマーカーとデジタルマーカーに対応する客体を格納しているメモリ部と、他端末機の画面表示部に表示されたデジタルマーカーを撮影するカメラ部と、上記カメラ部にて撮影されたデジタルマーカーを認識し、該認識されたデジタルマーカーに対応する客体を上記メモリ部から読み出す制御部と、上記制御部からの客体を上記カメラ部にて獲得したリアルタイム映像画面と合成して画面表示部に表示する映像処理部と、を含む。
【０００８】
本発明のまた他の実施形態による拡張現実提供端末機は、端末機ユーザの入力によってデジタルマーカーを編集し、該編集されたデジタルマーカーに対応する客体を定義するデジタルマーカー編集部と、上記デジタルマーカー編集部にて編集されたデジタルマーカーと該編集されたデジタルマーカーに対応する客体を格納するメモリ部と、上記デジタルマーカー編集部にて編集されるデジタルマーカーを表示し、上記メモリ部に格納されているデジタルマーカーのうちの端末機ユーザによって選択されたデジタルマーカーを表示する画面表示部と、他端末機の画面表示部に表示されたデジタルマーカーを撮影するカメラ部と、上記カメラ部にて撮影されたデジタルマーカーを認識して上記デジタルマーカーに対応する客体を上記メモリ部から読み出す制御部と、上記制御部からの客体を上記カメラ部にて獲得したリアルタイム映像画面と合成して上記画面表示部に表示する映像処理部と、を含む。
【０００９】
本発明の一実施形態による拡張現実提供方法は、デジタルマーカー編集モードにおいて端末機ユーザの入力によってデジタルマーカーを編集し、該編集されたデジタルマーカーに対応する客体を定義し、上記編集されたデジタルマーカーと該編集されたデジタルマーカーに対応する客体をメモリ部に格納し、上記メモリ部に格納されたデジタルマーカーのうちの端末機ユーザによって選択されたデジタルマーカーを画面表示部に表示する。
【００１０】
本発明の他の実施形態による拡張現実提供方法は、カメラを利用して他端末機の画面表示部に表示されたデジタルマーカーを撮影し、上記撮影されたデジタルマーカーを認識して上記デジタルマーカーに対応する客体をメモリ部から読み出し、上記客体を上記カメラにて獲得したリアルタイム映像画面と合成して画面表示部に表示する。
【発明の効果】
【００１１】
本発明の拡張現実提供端末機及び方法によれば、デジタルマーカーを利用して拡張現実を提供することにより、デジタルマーカーの編集によって客体の種類及び動作などを変更してユーザとインタラクティブな動作を行うことができる。
【図面の簡単な説明】
【００１２】
【図１】本発明の一実施形態に係るデジタルマーカーを例示的に示す図である。
【図２】本発明の一実施形態に係る拡張現実提供端末機の構成を概略的に示す図である。
【図３】本発明の他の実施形態に係る拡張現実提供端末機の構成を概略的に示す図である。
【図４】本発明の他の実施形態に係る拡張現実提供端末機の構成を概略的に示す図である。
【図５】本発明の一実施形態に係る拡張現実提供方法を説明するためのフローチャートである。
【図６】本発明の一実施形態において編集されるデジタルマーカーを例示的に示す図である。
【図７】本発明の他の実施形態による拡張現実提供方法を説明するためのフローチャートである。
【発明を実施するための形態】
【００１３】
以下、添付の図面を参照して本発明の好適な実施形態による拡張現実提供端末機及び方法について詳細に説明する。
【００１４】
図１は、本発明の一実施形態に係るデジタルマーカーを例示的に示す図であって、本発明に係るデジタルマーカーは、端末機ユーザの入力によって模様、大きさ、位置、色などが編集されて客体の種類（例えば、自動車、ロボット、恐竜、人形、汽車、飛行機、動物、文字、数字など）を定義し変更する客体選択領域ａと、端末機ユーザの入力によって模様、大きさ、位置、色などが編集されて客体の動作（例えば、客体が恐竜である場合、左手パンチ、右手パンチ、左足キック、右足キックなど）を定義し変更する客体動作選択領域ｂと、端末機ユーザの入力によって模様、大きさ、位置、色などが編集されて客体が表示される画面の背景色を定義し変更する背景色選択領域ｃと、を含んでなる。
【００１５】
これによって、端末機ユーザは、デジタルマーカーの各領域を編集して客体の種類、動作、背景色などを定義及び変更することができる。
【００１６】
図２は、本発明の一実施形態に係る拡張現実提供端末機の構成を概略的に示す図である。
【００１７】
図２の拡張現実提供端末機１０において、デジタルマーカー編集部１１は、デジタルマーカー編集モードにおいて端末機ユーザの入力によってデジタルマーカーを編集し、それに対応する客体を定義する。ここで、端末機ユーザの入力は、端末機へのキー入力またはタッチ入力などで行ってもよい。
【００１８】
上述したデジタルマーカー編集部１１は、画面表示部１５に表示されているデジタルマーカーを変更するために端末機ユーザからの入力情報を利用して、画面表示部１５に表示されているデジタルマーカーを変更する。
【００１９】
また、デジタルマーカー編集部１１は、近距離無線通信部１７を介した他端末機１００からの入力情報（デジタルマーカーを編集するための入力情報）を利用して、画面表示部１５に表示されているデジタルマーカーを変更する。
【００２０】
また、デジタルマーカー編集部１１は、有線／無線通信部１９を介して接続された拡張現実提供サーバー２００からの入力情報（デジタルマーカーを編集するための入力情報）を利用して、画面表示部１５に表示されているデジタルマーカーを変更する。
【００２１】
一方、メモリ部１３は、デジタルマーカー編集部１１にて編集されたデジタルマーカーと該編集されたデジタルマーカーに対応する客体を格納する。
【００２２】
上述したメモリ部１３は、デジタルマーカー編集部１１にて編集されたデジタルマーカーを順次に格納しておき、客体の動作が連続して見えるようにすることができる。
【００２３】
画面表示部１５は、デジタルマーカー編集部１１にて編集されるデジタルマーカーを表示し、メモリ部１３に格納されているデジタルマーカーのうち、端末機ユーザによって選択されたデジタルマーカーを表示する。
【００２４】
近距離無線通信部１７は、デジタルマーカー編集部１１にて編集されてメモリ部１３に格納されている、デジタルマーカーのうち端末機ユーザによって選択されたデジタルマーカーと、該選択されたデジタルマーカーに対応する客体を、近距離無線通信技術を利用して他端末機１００へ伝送する。
【００２５】
上述したように、拡張現実提供端末機１０において編集したデジタルマーカーと該編集したデジタルマーカーに対応する客体を近距離無線通信技術を利用して他端末機１００へ伝送することにより、デジタルマーカーとデジタルマーカーに対応する客体とを他端末機１００と共有することができるようになる。
【００２６】
また、近距離無線通信部１７は、他端末機１００からのデジタルマーカーを変更するための入力情報をデジタルマーカー編集部１１へ転送する。
【００２７】
有線／無線通信部１９は、デジタルマーカー編集部１１にて編集されてメモリ部１３に格納されているデジタルマーカーのうちの端末機ユーザによって選択されたデジタルマーカーと該選択されたデジタルマーカーに対応する客体を有線／無線通信網を介して接続された拡張現実提供サーバー２００に伝送し登録する。
【００２８】
上述したように、拡張現実提供サーバー２００へ自身が編集したデジタル客体と該編集したデジタルマーカーに対応する客体を伝送し登録することにより、拡張現実提供サーバー２００を介してデジタルマーカーとそれに対応する客体とを他端末機１００と共有することができるようになる。
【００２９】
また、有線／無線通信部１９は、拡張現実提供サーバー２００を介した他端末機１００からのデジタルマーカーを変更するための入力情報をデジタルマーカー編集部１１へ転送する。
【００３０】
図３は、本発明の他の実施形態に係る拡張現実提供端末機の構成を概略的に示す図である。
【００３１】
図３において、メモリ部２１は、それぞれのデジタルマーカーとそれぞれのデジタルマーカーに対応する客体、すなわち、近距離無線通信部２５を介して他端末機１００から伝送されたデジタルマーカーと該デジタルマーカーに対応する客体、有線／無線通信部２６を介して拡張現実提供サーバー２００からダウンロードしたデジタルマーカーと該ダウンロードしたデジタルマーカーに対応する客体を格納する。
【００３２】
カメラ部２２は、他端末機１００の画面表示部に表示されたデジタルマーカーを撮影する。
【００３３】
制御部２３は、カメラ部２２にて撮影されたデジタルマーカーを認識し、該認識されたデジタルマーカーに対応する客体をメモリ部２１から読み出し、該認識されたデジタルマーカーに対応する客体を映像処理部２４へ転送する。
【００３４】
映像処理部２４は、制御部２３から転送された該客体をカメラ部２２にて獲得したリアルタイム映像画面と合成して画面表示部２５にオーバーラップして表示する。
【００３５】
近距離無線通信部２６は、近距離無線通信技術を利用して他端末機１００からデジタルマーカーと該デジタルマーカーに対応する客体の送信を受けてメモリ部２１に格納し、他端末機１００の画面表示部に表示されたデジタルマーカーを変更するために端末機ユーザから入力された入力情報を近距離無線通信技術を利用して他端末機１００へ伝送する。
【００３６】
有線／無線通信部２７は、有線／無線通信網を介して接続された拡張現実提供サーバー２００から他端末機１００が登録したデジタルマーカーと該登録したデジタルマーカーに対応する客体をダウンロードしてメモリ部２１に格納し、他端末機１００の画面表示部に表示されたデジタルマーカーを変更するために端末機ユーザから入力された入力情報を、接続された拡張現実提供サーバー２００を介して他端末機１００へ伝送する。
【００３７】
図４は、本発明のまた他の実施形態に係る拡張現実提供端末機の構成を概略的に示す図である。
【００３８】
図４において、デジタルマーカー編集部３１は、デジタルマーカー編集モードにおいて端末機ユーザの入力によってデジタルマーカーを編集し、該編集したデジタルマーカーに対応する客体を定義する。
【００３９】
上述したデジタルマーカー編集部３１は、画面表示部３６に表示されているデジタルマーカーを変更するために端末機ユーザから入力された入力情報を利用して、画面表示部３６に表示されているデジタルマーカーを編集する。また、上記デジタルマーカー編集部３１は、近距離無線通信部３７を介した他端末機１００からのデジタルマーカーを変更するための入力情報を利用して、画面表示部３７に表示されているデジタルマーカーを変更し、有線／無線通信部３８を介して接続された拡張現実提供サーバー２００からのデジタルマーカーを変更するための入力情報を利用して、画面表示部３６に表示されているデジタルマーカーを変更する。
【００４０】
メモリ部３２は、デジタルマーカー編集部３１にて編集されたデジタルマーカーと該編集されたデジタルマーカーに対応する客体、近距離無線通信部３７を介した他端末機１００からのデジタルマーカーと該デジタルマーカーに対応する客体、有線／無線通信部３８を介して拡張現実提供サーバー２００からダウンロードしたデジタルマーカーと該ダウンロードしたデジタルマーカーに対応する客体を格納する。
【００４１】
画面表示部３６は、デジタルマーカー編集部３１にて編集されるデジタルマーカーを表示し、メモリ部３２に格納されているデジタルマーカーのうちの端末機ユーザによって選択されたデジタルマーカーを表示する。
【００４２】
カメラ部３３は、他端末機１００の画面表示部に表示されたデジタルマーカーを撮影する。
【００４３】
制御部３４は、カメラ部３３にて撮影されたデジタルマーカーを認識した後、該認識されたデジタルマーカーに対応する客体をメモリ部３２から読み出し、該認識されたデジタルマーカーに対応する客体を映像処理部３５へ転送する。
【００４４】
映像処理部３５は、制御部３４からの客体をカメラ部３３にて獲得したリアルタイム映像画面と合成して画面表示部３６に表示する。
【００４５】
近距離無線通信部３７は、デジタルマーカー編集部３１にて編集されてメモリ部３２に格納されているデジタルマーカーのうちの端末機ユーザによって選択されたデジタルマーカーと該選択されたデジタルマーカーに対応する客体を、近距離無線通信技術を利用して他端末機１００へ伝送する一方、近距離無線通信技術を利用した他端末機１００からのデジタルマーカーと該デジタルマーカーに対応する客体をメモリ部３２に格納し、他端末機１００からの画面表示部３６に表示されているデジタルマーカーを変更するための入力情報をデジタルマーカー編集部３１へ転送する。また、上記近距離無線通信部３７は、他端末機１００の画面表示部に表示されたデジタルマーカーを変更するために端末機ユーザから入力された入力情報を、近距離無線通信技術を利用して他端末機１００へ伝送する。
【００４６】
有線／無線通信部３８は、デジタルマーカー編集部３１にて編集されてメモリ部３２に格納されているデジタルマーカーのうちの端末機ユーザによって選択されたデジタルマーカーと該選択されたデジタルマーカーに対応する客体を、有線／無線通信網を介して接続された拡張現実提供サーバー２００へ伝送し、拡張現実提供サーバー２００から他端末機１００が登録したデジタルマーカーと該登録したデジタルマーカーに対応する客体をダウンロードしてメモリ部３２に格納し、拡張現実提供サーバー２００を介した他端末機１００からの画面表示部３６に表示されているデジタルマーカーを変更するための入力情報をデジタルマーカー編集部３１へ転送する。また、上記有線／無線通信部３８は、他端末機１００の画面表示部に表示されたデジタルマーカーを変更するために端末機ユーザから入力された入力情報を、接続された拡張現実提供サーバー２００を介して他端末機１００へ伝送する。
【００４７】
図５は、本発明の一実施形態に係る拡張現実提供方法を説明するためのフローチャートであって、図５を図２とともに参照して説明を進めることにする。
【００４８】
拡張現実提供端末機１０は、デジタルマーカー編集モードにおいて端末機ユーザの入力によってデジタルマーカーを編集し、該編集されたデジタルマーカーに対応する客体を定義する（ステップＳ１０）。
【００４９】
上記ステップＳ１０において端末機ユーザは、図６に示すように、デジタルマーカーの客体選択領域ａを編集した後、上記デジタルマーカーに対応する客体の種類を定義し、客体動作選択領域ｂを編集した後、当該客体の動作を定義し、背景色選択領域ｃを編集した後、当該客体が表示される画面の背景色を定義する。
【００５０】
しかる後、上記ステップＳ１０において編集されたデジタルマーカーと該編集されたデジタルマーカーに対応する客体をメモリ部１３に格納する（ステップＳ１２）。
【００５１】
次いで、端末機ユーザからメモリ部１３に格納されているデジタルマーカーのうちの一つが選択されると（ステップＳ１４）、拡張現実提供端末機１０は、該選択されたデジタルマーカーを画面表示部１５に表示し（ステップＳ１６）、画面表示部１５にデジタルマーカーが表示されている状態で、端末機ユーザからデジタルマーカーを変更するための入力情報が入力されると（ステップＳ１８）、拡張現実提供端末機１０は、端末機ユーザから入力された入力情報を利用して、画面表示部１５に表示されているデジタルマーカーを変更する（ステップＳ２０）。
【００５２】
一方、画面表示部１５にデジタルマーカーが表示されている状態で、近距離無線通信部１７を介して他端末機１００から画面表示部１５に表示されたデジタルマーカーを変更するための入力情報が受信されると（ステップＳ２２）、拡張現実提供端末機１０は、近距離無線通信部１７を介した他端末機１００からの入力情報を利用して、画面表示部１５に表示されているデジタルマーカーを変更する（ステップＳ２４）。
【００５３】
一方、画面表示部１５にデジタルマーカーが表示されている状態で、有線／無線通信部１９を介して拡張現実提供サーバー２００から画面表示部１５に表示されたデジタルマーカーを変更するための入力情報が受信されると（ステップＳ２６）、拡張現実提供端末機１０は、有線／無線通信部１９を介した拡張現実提供サーバー２００からの入力情報を利用して、画面表示部１５に表示されているデジタルマーカーを変更する（ステップＳ２８）。
【００５４】
端末機ユーザから近距離無線通信を利用したデジタルマーカーの伝送要求を受けると（ステップＳ３０）、拡張現実提供端末機１０において、メモリ部１３に格納されているデジタルマーカーから近距離無線通信技術を利用して伝送したいデジタルマーカーが選択され（ステップＳ３２）、該選択されたデジタルマーカーとそれに対応する客体を近距離無線通信部１７を介して他端末機１００へ伝送する（ステップＳ３４）。
【００５５】
上記ステップＳ３４において近距離無線通信技術を利用して拡張現実提供端末機１０からデジタルマーカーとそれに対応する客体の伝送を受けた他端末機１００は、拡張現実提供端末機１０からのデジタルマーカーとそれに対応する客体をメモリ部に格納する。
【００５６】
端末機ユーザから拡張現実提供サーバー２００へのデジタルマーカーの登録要求を受けると（ステップＳ３６）、拡張現実提供端末機１０は、メモリ部１３に格納されているデジタルマーカーから拡張現実提供サーバー２００へ登録するデジタルマーカーが選択され（ステップＳ３８）、該選択されたデジタルマーカーとそれに対応する客体を有線／無線通信部１９を介して拡張現実提供サーバー２００へ伝送し登録する（ステップＳ４０）。
【００５７】
上記ステップＳ４０において、拡張現実提供端末機１０が有線／無線通信網を介して接続された拡張現実提供サーバー２００へ自身が編集したデジタルマーカーと該編集したデジタルマーカーに対応する客体を伝送し登録すると、有線／無線通信網を介して拡張現実提供サーバー２００に接続した他端末機１００が、拡張現実提供端末機１０が拡張現実提供サーバー２００に登録しておいたデジタルマーカーと該登録したデジタルマーカーに対応する客体をダウンロードし、該ダウンロードしたデジタルマーカーとそれに対応する客体をメモリ部に格納することができる。
【００５８】
図７は、本発明の他の実施形態に係る拡張現実提供方法を説明するためのフローチャートであり、図７を図３とともに参照して説明を進めることにする。
【００５９】
他端末機１００の画面表示部に表示されたデジタルマーカーを拡張現実提供端末機２０に備えられているカメラを利用して撮影すると（ステップＳ５０）、該撮影されたデジタルマーカーを制御部２３で認識し、該認識されたデジタルマーカーに対応する客体をメモリ部２１から読み出す（ステップＳ５２）。
【００６０】
上記ステップＳ５２において読み出した客体を、カメラで撮影したリアルタイム映像画面と合成して画面表示部２５に表示する（ステップＳ５４）。
【００６１】
端末機ユーザから他端末機１００の画面表示部に表示されているデジタルマーカーを変更するための入力情報が入力されると（ステップ５６）、該端末機ユーザから入力された入力情報を近距離無線通信部２６を介して他端末機１００へ伝送する（ステップＳ５８）。
【００６２】
上記ステップS５８において、近距離無線通信技術を利用して拡張現実提供端末機２０から画面表示部に表示されているデジタルマーカーを変更するための入力情報の伝送を受けた他端末機１００は、該入力情報を利用して画面表示部に表示されているデジタルマーカーを変更する。
【００６３】
拡張現実提供端末機２０は、他端末機１００の画面表示部上において変更されたデジタルマーカーを撮影し（ステップＳ６０）、該撮影されたデジタルマーカーを新たに認識し、該新たに認識されたデジタルマーカーに対応する客体をメモリ部２１から読み出す（ステップＳ６２）。
【００６４】
上記ステップＳ６２においてメモリ部２１から読み出した客体を、カメラにて獲得したリアルタイム映像画面と合成して画面表示部２５に表示する（ステップＳ６４）。
【００６５】
例えば、近距離無線通信技術により拡張現実提供端末機２０が他端末機１００へ伝送した入力情報を利用して他端末機１００の画面表示部に表示されるデジタルマーカーの客体選択領域ａが変更された場合は、客体が、例えば、恐竜から自動車に変更されて表示され、デジタルマーカーの客体動作選択領域ｂが変更された場合は、表示中の恐竜の右手パンチが動作し、デジタルマーカーの背景色選択領域ｃが変更された場合は、客体が表示される背景の色が、例えば、青色から白色に変更される。
【００６６】
上述したような本発明の拡張現実提供端末機及び方法は、各種のサービスに適用することができるが、その例として、モバイルフォン、ＰＣ、ＰＭＰ（Ｐｏｒｔａｂｌｅ Ｍｅｄｉａ Ｐｌａｙｅｒ）、ＭＩＤ（Ｍｏｂｌｉｅ Ｉｎｔｅｒｎｅｔ Ｄｅｖｉｃｅ）などのように画面表示部を備える第１の端末機がデジタルマーカー編集時に編集されたデジタルマーカーに対応する客体を、自動車、ロボット、恐竜、人形、汽車、飛行機、動物、ハングル、英語、数字などと定義し、編集されたデジタルマーカーとそれに対応する客体をカメラが備えられた第２の端末機と共有した後、第１の端末機が画面表示部にデジタルマーカーを表示すると、第２の端末機がカメラにてデジタルマーカーを撮影し、該撮影されたデジタルマーカーを認識し、該認識されたデジタルマーカーに対応する客体（自動車、ロボット、恐竜、人形、汽車、飛行機、動物、ハングル、英語、数字など）をカメラにて獲得したリアルタイム映像画面と合成して画面表示部に表示し、キー操作やタッチ画面操作（近距離無線通信を利用したリモートコントロールを含む）などによってデジタルマーカーを変更することで客体の動作を変更させ、子供達のおもちゃ用に使用できるようにしたり、客体がハングル、英語、数字などの場合は、文字を変更させ、子供達が面白くハングル、英語、数字などを学べるようにしたりすることができる。
【００６７】
また、他の例において、第１の端末機でのデジタルマーカーの編集の際に該編集されたデジタルマーカーに対応する客体を服、アクセサリーなどと定義し、編集されたデジタルマーカーと該編集されたデジタルマーカーに対応する客体を、カメラが備えられた第２の端末機と共有した後、第１の端末機の画面表示部をユーザ自身に向けた状態でデジタルマーカーを表示すると、第２の端末機がカメラにてデジタルマーカーを撮影し、該撮影されたデジタルマーカーを認識し、該認識されたデジタルマーカーに対応する客体（服、アクセサリーなど）をカメラにて獲得したリアルタイム映像画面と合成して画面表示部に表示することにより、ユーザが仮想で服、アクセサリーなどを着用してみることができるようにし、また、キー操作やタッチ画面操作（近距離無線通信を利用したリモートコントロールを含む）などによってデジタルマーカーを変更することにより、仮想で着用する服、アクセサリーなどを変更してもよい。
【００６８】
また、他の例において、第１の端末機でのデジタルマーカーの編集の際に該編集されたデジタルマーカーに対応する客体を「休暇中」、「食事中」、「会議中」などのようなメッセージとして定義し、編集されたデジタルマーカーとそれに対応する客体をカメラが備えられた第２の端末機と共有した後、第１の端末機ユーザが該第１の端末機の画面表示部にデジタルマーカーを表示させてから席をはずすと、第２の端末機がカメラにてデジタルマーカーを撮影し、該撮影されたデジタルマーカーを認識し、該認識されたデジタルマーカーに対応するメッセージ（「休暇中」、「食事中」、「会議中」）などを確認することができるようになる。このとき、第１の端末機ユーザは、第３の端末機に有線／無線通信網を介して拡張現実提供サーバー２００に接続した後、該接続された拡張現実提供サーバー２００を介して第１端末機の画面表示部に表示されているデジタルマーカーを変更するようにしてもよい。
【００６９】
また、他の例において、第１の端末機でのデジタルマーカーの編集の際に編集されたデジタルマーカーに対応する客体として数学、英語、国語、社会、科学などの問題を定義し、編集されたデジタルマーカーとそれに対応する客体をカメラが備えられた第２の端末機と共有した後に、第１の端末機の画面表示部にデジタルマーカーを表示すると、第２の端末機がカメラで撮影されたデジタルマーカーを認識し、該認識されたデジタルマーカーに対応する問題を画面表示部に表示し、キー操作やタッチ画面操作（近距離無線通信を利用したリモートコントロールを含む）などによってデジタルマーカーを変更して問題に対する答えを入力すると、第２の端末機が入力した答えに応じて第１の端末機がフィードバックを付与するようにしてもよい。
【００７０】
また、他の例において、第１の端末機でのデジタルマーカーの編集の際に編集されたデジタルマーカーに対応する客体を価格と定義し、編集されたデジタルマーカーと該編集されたデジタルマーカーに対応する客体をカメラが備えられた第２の端末機と共有した後、競売入札者が自身の所望する価格に対応するデジタルマーカーを第１の端末機の画面表示部に表示すると、仲卸業者は第２の端末機のカメラにて撮影されたデジタルマーカーに対応する価格を見て最低価格（または最高価格）を申し出た競売入札者に落札させるようにしてもよい。
【００７１】
また、他の例において、銀行において順番待ち札に代えてデジタルマーカーを顧客のモバイルフォンに伝送し、銀行職員が拡張現実で次の順番の顧客を確認できるようにし、顧客ごとにユニークなデジタルマーカーを発行して拡張現実で簡易に顧客に対する情報（貸し出し、預金、カード発行など）を確認することができるようにしてもよい。
【００７２】
また、他の例において、第１の端末機でのデジタルマーカーの編集の際に編集されたデジタルマーカーに対応する客体をプロポーズに使うテキストや顔文字などと定義し、編集されたデジタルマーカーとそれに対応する客体をカメラが備えられた第２の端末機と共有した後、第１の端末機の画面表示部にデジタルマーカーを表示すると、第２の端末機がカメラにて撮影されたデジタルマーカーに対応するテキストや顔文字などをカメラにて獲得したリアルタイム映像画面と合成して画面表示部に表示し、キー操作やタッチ画面操作（近距離無線通信を利用したリモートコントロールを含む）などによってデジタルマーカーを変更しそれに対応するテキストや顔文字などを表示することにより、恋人にプロポーズができるようにしてもよい。
【００７３】
また、他の例において、第１の端末機でのデジタルマーカーの編集の際に編集されたデジタルマーカーに対応する客体を名刺と定義し、編集されたデジタルマーカーとそれに対応する客体をカメラが備えられた第２の端末機と共有した後、第１の端末機の画面表示部にデジタルマーカーを表示すると、第２の端末機がカメラにて撮影されたデジタルマーカーに対応する名刺を画面表示部に表示することにより、相手に自身の情報をビジュアルに見せることができるようにしてもよい。
【００７４】
また、他の例において、家中の出入り口の両側に２台の携帯電話を向かい合うように設置した後、２台の携帯電話のうちの１台を第１の端末機として画面表示部にデジタルマーカーを表示するようにし、２台の携帯電話のうちのもう１台を第２の端末機として、そのカメラによりデジタルマーカーを持続的に撮影し、該撮影されたデジタルマーカーに対応する仮想の線をカメラにて獲得したリアルタイム映像画面と合成して画面表示部に表示し、人の出入りにより仮想の線が切れると、警報音を鳴らすようにしてもよい。
【００７５】
また、他の例において、第１の端末機でのデジタルマーカーの編集の際に編集されたデジタルマーカーに対応する客体をゴルフ、テコンド、テニス、格闘技、ボーリングなどのスポーツ動作と定義し、編集されたデジタルマーカーとそれに対応する客体をカメラが備えられた第２の端末機と共有した後、第１の端末機が画面表示部にデジタルマーカーを表示すると、第２の端末機がカメラにて撮影されたデジタルマーカーに対応するスポーツ動作をカメラにて獲得したリアルタイム映像画面と合成して画面表示部に表示し、キー操作やタッチ画面操作（近距離無線通信を利用したリモートコントロールを含む）などによってデジタルマーカーを変更することにより、スポーツ動作を予め定義された順に変更しつつ見ることができるようにしてもよい。
【００７６】
また、他の例において、第１の端末機でのデジタルマーカーの編集の際に編集されたデジタルマーカーに対応する客体を教育に必要な客体（例えば、瞻星台（Ｃｈｅｏｍｓｅｏｎｇｄａｅ）、多宝塔（Ｄａｂｏｔａｐ）、釈迦塔（Ｓｅｏｋｇａｔａｐ）、エッフェル塔、スフィンクス、ピラミッドなど）として定義し、編集されたデジタルマーカーとそれに対応する客体とをカメラが備えられた第２の端末機と共有した後、第１の端末機が画面表示部にデジタルマーカーを表示すると、第２の端末機がカメラにて撮影されたデジタルマーカーに対応する客体を画面表示部に表示することにより、教育の場で特定の客体に対する説明をする時、キー操作やタッチ画面操作（近距離無線通信を利用したリモートコントロールを含む）などによって説明する客体を変更することにより、学生たちに説明する事物客体を視覚的に見せながら授業を進めることができるようにしてもよい。
【００７７】
以上で説明したような提供したいサービスに応じて編集されたデジタルマーカーとそれに対応する客体とを、オンラインの拡張現実提供サーバーを介して取引して流通させてもよい。
【００７８】
本発明の拡張現実提供端末機及び拡張現実提供方法は、上述した実施形態に限定されず、本発明の技術的思想が及ぶ範囲内で種々に変形して実施することができる。
【符号の説明】
【００７９】
１０ 拡張現実提供端末機
１１ デジタルマーカー編集部
１３ メモリ部
１５ 画面表示部
１７ 近距離無線通信部
１９ 有線／無線通信部
２１ メモリ部
２２ カメラ部
２３ 制御部
２４ 映像処理部
２５ 画面表示部
２６ 近距離無線通信部
２７ 有線／無線通信部
１００ 他端末機
２００ 拡張現実提供サーバー
【技術分野】
【０００１】
本発明は、拡張現実提供端末機及び方法に係り、より詳細には、デジタルマーカーを利用して拡張現実を提供できるようにする拡張現実提供端末機及び方法に関する。
【背景技術】
【０００２】
一般に、拡張現実（Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ）とは、ユーザの目で見る現実世界と付加情報をもつ仮想世界とを合わせて一つの映像で表示する技術であって、拡張現実技術を利用して現実世界を背景に仮想世界を合成するためには、予め設定されたパターンをもつマーカーまたは現実世界に存在する建物や造形物などを認識する過程が必要である。
【０００３】
マーカーを認識する場合、従来は、端末機に備えられているカメラを利用して黒地に白色のパターンからなるマーカーを含む現実世界を撮影し、該撮影したマーカーの白色のパターンを認識した後、該認識したパターンに対応する客体をマーカーの位置に表示されるように現実世界と合成した後に画面に表示していた。
【０００４】
従来、拡張現実のために使用されるマーカーは、紙のような媒体に描かれた、または出力されたアナログ的なマーカーであった。このため、従来のアナログマーカーでは、ユーザの操作にて客体の位置を変更することはできたが、他の種類の客体に変えたり客体の動きを制御したりするためには、紙を交換し、別の紙に描かれたアナログマーカーを使用する必要があるという不都合があった。
【発明の概要】
【発明が解決しようとする課題】
【０００５】
本発明は、上述したような問題点を解決するために、マーカーをデジタルマーカーで実現し、ユーザが所望の時点でデジタルマーカーを編集して客体の種類及び動作などを変更できるようにする拡張現実提供端末機及び方法を提供することを目的とする。
【課題を解決するための手段】
【０００６】
上述したような目的を達成するための本発明の一実施形態による拡張現実提供端末機は、端末機ユーザの入力によってデジタルマーカーを編集し、該編集されたデジタルマーカーに対応する客体を定義するデジタルマーカー編集部と、上記デジタルマーカー編集部にて編集されたデジタルマーカーと該編集されたデジタルマーカーに対応する客体を格納するメモリ部と、上記デジタルマーカー編集部にて編集されるデジタルマーカーを表示し、上記メモリ部に格納されているデジタルマーカーのうちの端末機ユーザによって選択されたデジタルマーカーを表示する画面表示部と、を含む。
【０００７】
本発明の他の実施形態による拡張現実提供端末機は、それぞれのデジタルマーカーとデジタルマーカーに対応する客体を格納しているメモリ部と、他端末機の画面表示部に表示されたデジタルマーカーを撮影するカメラ部と、上記カメラ部にて撮影されたデジタルマーカーを認識し、該認識されたデジタルマーカーに対応する客体を上記メモリ部から読み出す制御部と、上記制御部からの客体を上記カメラ部にて獲得したリアルタイム映像画面と合成して画面表示部に表示する映像処理部と、を含む。
【０００８】
本発明のまた他の実施形態による拡張現実提供端末機は、端末機ユーザの入力によってデジタルマーカーを編集し、該編集されたデジタルマーカーに対応する客体を定義するデジタルマーカー編集部と、上記デジタルマーカー編集部にて編集されたデジタルマーカーと該編集されたデジタルマーカーに対応する客体を格納するメモリ部と、上記デジタルマーカー編集部にて編集されるデジタルマーカーを表示し、上記メモリ部に格納されているデジタルマーカーのうちの端末機ユーザによって選択されたデジタルマーカーを表示する画面表示部と、他端末機の画面表示部に表示されたデジタルマーカーを撮影するカメラ部と、上記カメラ部にて撮影されたデジタルマーカーを認識して上記デジタルマーカーに対応する客体を上記メモリ部から読み出す制御部と、上記制御部からの客体を上記カメラ部にて獲得したリアルタイム映像画面と合成して上記画面表示部に表示する映像処理部と、を含む。
【０００９】
本発明の一実施形態による拡張現実提供方法は、デジタルマーカー編集モードにおいて端末機ユーザの入力によってデジタルマーカーを編集し、該編集されたデジタルマーカーに対応する客体を定義し、上記編集されたデジタルマーカーと該編集されたデジタルマーカーに対応する客体をメモリ部に格納し、上記メモリ部に格納されたデジタルマーカーのうちの端末機ユーザによって選択されたデジタルマーカーを画面表示部に表示する。
【００１０】
本発明の他の実施形態による拡張現実提供方法は、カメラを利用して他端末機の画面表示部に表示されたデジタルマーカーを撮影し、上記撮影されたデジタルマーカーを認識して上記デジタルマーカーに対応する客体をメモリ部から読み出し、上記客体を上記カメラにて獲得したリアルタイム映像画面と合成して画面表示部に表示する。
【発明の効果】
【００１１】
本発明の拡張現実提供端末機及び方法によれば、デジタルマーカーを利用して拡張現実を提供することにより、デジタルマーカーの編集によって客体の種類及び動作などを変更してユーザとインタラクティブな動作を行うことができる。
【図面の簡単な説明】
【００１２】
【図１】本発明の一実施形態に係るデジタルマーカーを例示的に示す図である。
【図２】本発明の一実施形態に係る拡張現実提供端末機の構成を概略的に示す図である。
【図３】本発明の他の実施形態に係る拡張現実提供端末機の構成を概略的に示す図である。
【図４】本発明の他の実施形態に係る拡張現実提供端末機の構成を概略的に示す図である。
【図５】本発明の一実施形態に係る拡張現実提供方法を説明するためのフローチャートである。
【図６】本発明の一実施形態において編集されるデジタルマーカーを例示的に示す図である。
【図７】本発明の他の実施形態による拡張現実提供方法を説明するためのフローチャートである。
【発明を実施するための形態】
【００１３】
以下、添付の図面を参照して本発明の好適な実施形態による拡張現実提供端末機及び方法について詳細に説明する。
【００１４】
図１は、本発明の一実施形態に係るデジタルマーカーを例示的に示す図であって、本発明に係るデジタルマーカーは、端末機ユーザの入力によって模様、大きさ、位置、色などが編集されて客体の種類（例えば、自動車、ロボット、恐竜、人形、汽車、飛行機、動物、文字、数字など）を定義し変更する客体選択領域ａと、端末機ユーザの入力によって模様、大きさ、位置、色などが編集されて客体の動作（例えば、客体が恐竜である場合、左手パンチ、右手パンチ、左足キック、右足キックなど）を定義し変更する客体動作選択領域ｂと、端末機ユーザの入力によって模様、大きさ、位置、色などが編集されて客体が表示される画面の背景色を定義し変更する背景色選択領域ｃと、を含んでなる。
【００１５】
これによって、端末機ユーザは、デジタルマーカーの各領域を編集して客体の種類、動作、背景色などを定義及び変更することができる。
【００１６】
図２は、本発明の一実施形態に係る拡張現実提供端末機の構成を概略的に示す図である。
【００１７】
図２の拡張現実提供端末機１０において、デジタルマーカー編集部１１は、デジタルマーカー編集モードにおいて端末機ユーザの入力によってデジタルマーカーを編集し、それに対応する客体を定義する。ここで、端末機ユーザの入力は、端末機へのキー入力またはタッチ入力などで行ってもよい。
【００１８】
上述したデジタルマーカー編集部１１は、画面表示部１５に表示されているデジタルマーカーを変更するために端末機ユーザからの入力情報を利用して、画面表示部１５に表示されているデジタルマーカーを変更する。
【００１９】
また、デジタルマーカー編集部１１は、近距離無線通信部１７を介した他端末機１００からの入力情報（デジタルマーカーを編集するための入力情報）を利用して、画面表示部１５に表示されているデジタルマーカーを変更する。
【００２０】
また、デジタルマーカー編集部１１は、有線／無線通信部１９を介して接続された拡張現実提供サーバー２００からの入力情報（デジタルマーカーを編集するための入力情報）を利用して、画面表示部１５に表示されているデジタルマーカーを変更する。
【００２１】
一方、メモリ部１３は、デジタルマーカー編集部１１にて編集されたデジタルマーカーと該編集されたデジタルマーカーに対応する客体を格納する。
【００２２】
上述したメモリ部１３は、デジタルマーカー編集部１１にて編集されたデジタルマーカーを順次に格納しておき、客体の動作が連続して見えるようにすることができる。
【００２３】
画面表示部１５は、デジタルマーカー編集部１１にて編集されるデジタルマーカーを表示し、メモリ部１３に格納されているデジタルマーカーのうち、端末機ユーザによって選択されたデジタルマーカーを表示する。
【００２４】
近距離無線通信部１７は、デジタルマーカー編集部１１にて編集されてメモリ部１３に格納されている、デジタルマーカーのうち端末機ユーザによって選択されたデジタルマーカーと、該選択されたデジタルマーカーに対応する客体を、近距離無線通信技術を利用して他端末機１００へ伝送する。
【００２５】
上述したように、拡張現実提供端末機１０において編集したデジタルマーカーと該編集したデジタルマーカーに対応する客体を近距離無線通信技術を利用して他端末機１００へ伝送することにより、デジタルマーカーとデジタルマーカーに対応する客体とを他端末機１００と共有することができるようになる。
【００２６】
また、近距離無線通信部１７は、他端末機１００からのデジタルマーカーを変更するための入力情報をデジタルマーカー編集部１１へ転送する。
【００２７】
有線／無線通信部１９は、デジタルマーカー編集部１１にて編集されてメモリ部１３に格納されているデジタルマーカーのうちの端末機ユーザによって選択されたデジタルマーカーと該選択されたデジタルマーカーに対応する客体を有線／無線通信網を介して接続された拡張現実提供サーバー２００に伝送し登録する。
【００２８】
上述したように、拡張現実提供サーバー２００へ自身が編集したデジタル客体と該編集したデジタルマーカーに対応する客体を伝送し登録することにより、拡張現実提供サーバー２００を介してデジタルマーカーとそれに対応する客体とを他端末機１００と共有することができるようになる。
【００２９】
また、有線／無線通信部１９は、拡張現実提供サーバー２００を介した他端末機１００からのデジタルマーカーを変更するための入力情報をデジタルマーカー編集部１１へ転送する。
【００３０】
図３は、本発明の他の実施形態に係る拡張現実提供端末機の構成を概略的に示す図である。
【００３１】
図３において、メモリ部２１は、それぞれのデジタルマーカーとそれぞれのデジタルマーカーに対応する客体、すなわち、近距離無線通信部２５を介して他端末機１００から伝送されたデジタルマーカーと該デジタルマーカーに対応する客体、有線／無線通信部２６を介して拡張現実提供サーバー２００からダウンロードしたデジタルマーカーと該ダウンロードしたデジタルマーカーに対応する客体を格納する。
【００３２】
カメラ部２２は、他端末機１００の画面表示部に表示されたデジタルマーカーを撮影する。
【００３３】
制御部２３は、カメラ部２２にて撮影されたデジタルマーカーを認識し、該認識されたデジタルマーカーに対応する客体をメモリ部２１から読み出し、該認識されたデジタルマーカーに対応する客体を映像処理部２４へ転送する。
【００３４】
映像処理部２４は、制御部２３から転送された該客体をカメラ部２２にて獲得したリアルタイム映像画面と合成して画面表示部２５にオーバーラップして表示する。
【００３５】
近距離無線通信部２６は、近距離無線通信技術を利用して他端末機１００からデジタルマーカーと該デジタルマーカーに対応する客体の送信を受けてメモリ部２１に格納し、他端末機１００の画面表示部に表示されたデジタルマーカーを変更するために端末機ユーザから入力された入力情報を近距離無線通信技術を利用して他端末機１００へ伝送する。
【００３６】
有線／無線通信部２７は、有線／無線通信網を介して接続された拡張現実提供サーバー２００から他端末機１００が登録したデジタルマーカーと該登録したデジタルマーカーに対応する客体をダウンロードしてメモリ部２１に格納し、他端末機１００の画面表示部に表示されたデジタルマーカーを変更するために端末機ユーザから入力された入力情報を、接続された拡張現実提供サーバー２００を介して他端末機１００へ伝送する。
【００３７】
図４は、本発明のまた他の実施形態に係る拡張現実提供端末機の構成を概略的に示す図である。
【００３８】
図４において、デジタルマーカー編集部３１は、デジタルマーカー編集モードにおいて端末機ユーザの入力によってデジタルマーカーを編集し、該編集したデジタルマーカーに対応する客体を定義する。
【００３９】
上述したデジタルマーカー編集部３１は、画面表示部３６に表示されているデジタルマーカーを変更するために端末機ユーザから入力された入力情報を利用して、画面表示部３６に表示されているデジタルマーカーを編集する。また、上記デジタルマーカー編集部３１は、近距離無線通信部３７を介した他端末機１００からのデジタルマーカーを変更するための入力情報を利用して、画面表示部３７に表示されているデジタルマーカーを変更し、有線／無線通信部３８を介して接続された拡張現実提供サーバー２００からのデジタルマーカーを変更するための入力情報を利用して、画面表示部３６に表示されているデジタルマーカーを変更する。
【００４０】
メモリ部３２は、デジタルマーカー編集部３１にて編集されたデジタルマーカーと該編集されたデジタルマーカーに対応する客体、近距離無線通信部３７を介した他端末機１００からのデジタルマーカーと該デジタルマーカーに対応する客体、有線／無線通信部３８を介して拡張現実提供サーバー２００からダウンロードしたデジタルマーカーと該ダウンロードしたデジタルマーカーに対応する客体を格納する。
【００４１】
画面表示部３６は、デジタルマーカー編集部３１にて編集されるデジタルマーカーを表示し、メモリ部３２に格納されているデジタルマーカーのうちの端末機ユーザによって選択されたデジタルマーカーを表示する。
【００４２】
カメラ部３３は、他端末機１００の画面表示部に表示されたデジタルマーカーを撮影する。
【００４３】
制御部３４は、カメラ部３３にて撮影されたデジタルマーカーを認識した後、該認識されたデジタルマーカーに対応する客体をメモリ部３２から読み出し、該認識されたデジタルマーカーに対応する客体を映像処理部３５へ転送する。
【００４４】
映像処理部３５は、制御部３４からの客体をカメラ部３３にて獲得したリアルタイム映像画面と合成して画面表示部３６に表示する。
【００４５】
近距離無線通信部３７は、デジタルマーカー編集部３１にて編集されてメモリ部３２に格納されているデジタルマーカーのうちの端末機ユーザによって選択されたデジタルマーカーと該選択されたデジタルマーカーに対応する客体を、近距離無線通信技術を利用して他端末機１００へ伝送する一方、近距離無線通信技術を利用した他端末機１００からのデジタルマーカーと該デジタルマーカーに対応する客体をメモリ部３２に格納し、他端末機１００からの画面表示部３６に表示されているデジタルマーカーを変更するための入力情報をデジタルマーカー編集部３１へ転送する。また、上記近距離無線通信部３７は、他端末機１００の画面表示部に表示されたデジタルマーカーを変更するために端末機ユーザから入力された入力情報を、近距離無線通信技術を利用して他端末機１００へ伝送する。
【００４６】
有線／無線通信部３８は、デジタルマーカー編集部３１にて編集されてメモリ部３２に格納されているデジタルマーカーのうちの端末機ユーザによって選択されたデジタルマーカーと該選択されたデジタルマーカーに対応する客体を、有線／無線通信網を介して接続された拡張現実提供サーバー２００へ伝送し、拡張現実提供サーバー２００から他端末機１００が登録したデジタルマーカーと該登録したデジタルマーカーに対応する客体をダウンロードしてメモリ部３２に格納し、拡張現実提供サーバー２００を介した他端末機１００からの画面表示部３６に表示されているデジタルマーカーを変更するための入力情報をデジタルマーカー編集部３１へ転送する。また、上記有線／無線通信部３８は、他端末機１００の画面表示部に表示されたデジタルマーカーを変更するために端末機ユーザから入力された入力情報を、接続された拡張現実提供サーバー２００を介して他端末機１００へ伝送する。
【００４７】
図５は、本発明の一実施形態に係る拡張現実提供方法を説明するためのフローチャートであって、図５を図２とともに参照して説明を進めることにする。
【００４８】
拡張現実提供端末機１０は、デジタルマーカー編集モードにおいて端末機ユーザの入力によってデジタルマーカーを編集し、該編集されたデジタルマーカーに対応する客体を定義する（ステップＳ１０）。
【００４９】
上記ステップＳ１０において端末機ユーザは、図６に示すように、デジタルマーカーの客体選択領域ａを編集した後、上記デジタルマーカーに対応する客体の種類を定義し、客体動作選択領域ｂを編集した後、当該客体の動作を定義し、背景色選択領域ｃを編集した後、当該客体が表示される画面の背景色を定義する。
【００５０】
しかる後、上記ステップＳ１０において編集されたデジタルマーカーと該編集されたデジタルマーカーに対応する客体をメモリ部１３に格納する（ステップＳ１２）。
【００５１】
次いで、端末機ユーザからメモリ部１３に格納されているデジタルマーカーのうちの一つが選択されると（ステップＳ１４）、拡張現実提供端末機１０は、該選択されたデジタルマーカーを画面表示部１５に表示し（ステップＳ１６）、画面表示部１５にデジタルマーカーが表示されている状態で、端末機ユーザからデジタルマーカーを変更するための入力情報が入力されると（ステップＳ１８）、拡張現実提供端末機１０は、端末機ユーザから入力された入力情報を利用して、画面表示部１５に表示されているデジタルマーカーを変更する（ステップＳ２０）。
【００５２】
一方、画面表示部１５にデジタルマーカーが表示されている状態で、近距離無線通信部１７を介して他端末機１００から画面表示部１５に表示されたデジタルマーカーを変更するための入力情報が受信されると（ステップＳ２２）、拡張現実提供端末機１０は、近距離無線通信部１７を介した他端末機１００からの入力情報を利用して、画面表示部１５に表示されているデジタルマーカーを変更する（ステップＳ２４）。
【００５３】
一方、画面表示部１５にデジタルマーカーが表示されている状態で、有線／無線通信部１９を介して拡張現実提供サーバー２００から画面表示部１５に表示されたデジタルマーカーを変更するための入力情報が受信されると（ステップＳ２６）、拡張現実提供端末機１０は、有線／無線通信部１９を介した拡張現実提供サーバー２００からの入力情報を利用して、画面表示部１５に表示されているデジタルマーカーを変更する（ステップＳ２８）。
【００５４】
端末機ユーザから近距離無線通信を利用したデジタルマーカーの伝送要求を受けると（ステップＳ３０）、拡張現実提供端末機１０において、メモリ部１３に格納されているデジタルマーカーから近距離無線通信技術を利用して伝送したいデジタルマーカーが選択され（ステップＳ３２）、該選択されたデジタルマーカーとそれに対応する客体を近距離無線通信部１７を介して他端末機１００へ伝送する（ステップＳ３４）。
【００５５】
上記ステップＳ３４において近距離無線通信技術を利用して拡張現実提供端末機１０からデジタルマーカーとそれに対応する客体の伝送を受けた他端末機１００は、拡張現実提供端末機１０からのデジタルマーカーとそれに対応する客体をメモリ部に格納する。
【００５６】
端末機ユーザから拡張現実提供サーバー２００へのデジタルマーカーの登録要求を受けると（ステップＳ３６）、拡張現実提供端末機１０は、メモリ部１３に格納されているデジタルマーカーから拡張現実提供サーバー２００へ登録するデジタルマーカーが選択され（ステップＳ３８）、該選択されたデジタルマーカーとそれに対応する客体を有線／無線通信部１９を介して拡張現実提供サーバー２００へ伝送し登録する（ステップＳ４０）。
【００５７】
上記ステップＳ４０において、拡張現実提供端末機１０が有線／無線通信網を介して接続された拡張現実提供サーバー２００へ自身が編集したデジタルマーカーと該編集したデジタルマーカーに対応する客体を伝送し登録すると、有線／無線通信網を介して拡張現実提供サーバー２００に接続した他端末機１００が、拡張現実提供端末機１０が拡張現実提供サーバー２００に登録しておいたデジタルマーカーと該登録したデジタルマーカーに対応する客体をダウンロードし、該ダウンロードしたデジタルマーカーとそれに対応する客体をメモリ部に格納することができる。
【００５８】
図７は、本発明の他の実施形態に係る拡張現実提供方法を説明するためのフローチャートであり、図７を図３とともに参照して説明を進めることにする。
【００５９】
他端末機１００の画面表示部に表示されたデジタルマーカーを拡張現実提供端末機２０に備えられているカメラを利用して撮影すると（ステップＳ５０）、該撮影されたデジタルマーカーを制御部２３で認識し、該認識されたデジタルマーカーに対応する客体をメモリ部２１から読み出す（ステップＳ５２）。
【００６０】
上記ステップＳ５２において読み出した客体を、カメラで撮影したリアルタイム映像画面と合成して画面表示部２５に表示する（ステップＳ５４）。
【００６１】
端末機ユーザから他端末機１００の画面表示部に表示されているデジタルマーカーを変更するための入力情報が入力されると（ステップ５６）、該端末機ユーザから入力された入力情報を近距離無線通信部２６を介して他端末機１００へ伝送する（ステップＳ５８）。
【００６２】
上記ステップS５８において、近距離無線通信技術を利用して拡張現実提供端末機２０から画面表示部に表示されているデジタルマーカーを変更するための入力情報の伝送を受けた他端末機１００は、該入力情報を利用して画面表示部に表示されているデジタルマーカーを変更する。
【００６３】
拡張現実提供端末機２０は、他端末機１００の画面表示部上において変更されたデジタルマーカーを撮影し（ステップＳ６０）、該撮影されたデジタルマーカーを新たに認識し、該新たに認識されたデジタルマーカーに対応する客体をメモリ部２１から読み出す（ステップＳ６２）。
【００６４】
上記ステップＳ６２においてメモリ部２１から読み出した客体を、カメラにて獲得したリアルタイム映像画面と合成して画面表示部２５に表示する（ステップＳ６４）。
【００６５】
例えば、近距離無線通信技術により拡張現実提供端末機２０が他端末機１００へ伝送した入力情報を利用して他端末機１００の画面表示部に表示されるデジタルマーカーの客体選択領域ａが変更された場合は、客体が、例えば、恐竜から自動車に変更されて表示され、デジタルマーカーの客体動作選択領域ｂが変更された場合は、表示中の恐竜の右手パンチが動作し、デジタルマーカーの背景色選択領域ｃが変更された場合は、客体が表示される背景の色が、例えば、青色から白色に変更される。
【００６６】
上述したような本発明の拡張現実提供端末機及び方法は、各種のサービスに適用することができるが、その例として、モバイルフォン、ＰＣ、ＰＭＰ（Ｐｏｒｔａｂｌｅ Ｍｅｄｉａ Ｐｌａｙｅｒ）、ＭＩＤ（Ｍｏｂｌｉｅ Ｉｎｔｅｒｎｅｔ Ｄｅｖｉｃｅ）などのように画面表示部を備える第１の端末機がデジタルマーカー編集時に編集されたデジタルマーカーに対応する客体を、自動車、ロボット、恐竜、人形、汽車、飛行機、動物、ハングル、英語、数字などと定義し、編集されたデジタルマーカーとそれに対応する客体をカメラが備えられた第２の端末機と共有した後、第１の端末機が画面表示部にデジタルマーカーを表示すると、第２の端末機がカメラにてデジタルマーカーを撮影し、該撮影されたデジタルマーカーを認識し、該認識されたデジタルマーカーに対応する客体（自動車、ロボット、恐竜、人形、汽車、飛行機、動物、ハングル、英語、数字など）をカメラにて獲得したリアルタイム映像画面と合成して画面表示部に表示し、キー操作やタッチ画面操作（近距離無線通信を利用したリモートコントロールを含む）などによってデジタルマーカーを変更することで客体の動作を変更させ、子供達のおもちゃ用に使用できるようにしたり、客体がハングル、英語、数字などの場合は、文字を変更させ、子供達が面白くハングル、英語、数字などを学べるようにしたりすることができる。
【００６７】
また、他の例において、第１の端末機でのデジタルマーカーの編集の際に該編集されたデジタルマーカーに対応する客体を服、アクセサリーなどと定義し、編集されたデジタルマーカーと該編集されたデジタルマーカーに対応する客体を、カメラが備えられた第２の端末機と共有した後、第１の端末機の画面表示部をユーザ自身に向けた状態でデジタルマーカーを表示すると、第２の端末機がカメラにてデジタルマーカーを撮影し、該撮影されたデジタルマーカーを認識し、該認識されたデジタルマーカーに対応する客体（服、アクセサリーなど）をカメラにて獲得したリアルタイム映像画面と合成して画面表示部に表示することにより、ユーザが仮想で服、アクセサリーなどを着用してみることができるようにし、また、キー操作やタッチ画面操作（近距離無線通信を利用したリモートコントロールを含む）などによってデジタルマーカーを変更することにより、仮想で着用する服、アクセサリーなどを変更してもよい。
【００６８】
また、他の例において、第１の端末機でのデジタルマーカーの編集の際に該編集されたデジタルマーカーに対応する客体を「休暇中」、「食事中」、「会議中」などのようなメッセージとして定義し、編集されたデジタルマーカーとそれに対応する客体をカメラが備えられた第２の端末機と共有した後、第１の端末機ユーザが該第１の端末機の画面表示部にデジタルマーカーを表示させてから席をはずすと、第２の端末機がカメラにてデジタルマーカーを撮影し、該撮影されたデジタルマーカーを認識し、該認識されたデジタルマーカーに対応するメッセージ（「休暇中」、「食事中」、「会議中」）などを確認することができるようになる。このとき、第１の端末機ユーザは、第３の端末機に有線／無線通信網を介して拡張現実提供サーバー２００に接続した後、該接続された拡張現実提供サーバー２００を介して第１端末機の画面表示部に表示されているデジタルマーカーを変更するようにしてもよい。
【００６９】
また、他の例において、第１の端末機でのデジタルマーカーの編集の際に編集されたデジタルマーカーに対応する客体として数学、英語、国語、社会、科学などの問題を定義し、編集されたデジタルマーカーとそれに対応する客体をカメラが備えられた第２の端末機と共有した後に、第１の端末機の画面表示部にデジタルマーカーを表示すると、第２の端末機がカメラで撮影されたデジタルマーカーを認識し、該認識されたデジタルマーカーに対応する問題を画面表示部に表示し、キー操作やタッチ画面操作（近距離無線通信を利用したリモートコントロールを含む）などによってデジタルマーカーを変更して問題に対する答えを入力すると、第２の端末機が入力した答えに応じて第１の端末機がフィードバックを付与するようにしてもよい。
【００７０】
また、他の例において、第１の端末機でのデジタルマーカーの編集の際に編集されたデジタルマーカーに対応する客体を価格と定義し、編集されたデジタルマーカーと該編集されたデジタルマーカーに対応する客体をカメラが備えられた第２の端末機と共有した後、競売入札者が自身の所望する価格に対応するデジタルマーカーを第１の端末機の画面表示部に表示すると、仲卸業者は第２の端末機のカメラにて撮影されたデジタルマーカーに対応する価格を見て最低価格（または最高価格）を申し出た競売入札者に落札させるようにしてもよい。
【００７１】
また、他の例において、銀行において順番待ち札に代えてデジタルマーカーを顧客のモバイルフォンに伝送し、銀行職員が拡張現実で次の順番の顧客を確認できるようにし、顧客ごとにユニークなデジタルマーカーを発行して拡張現実で簡易に顧客に対する情報（貸し出し、預金、カード発行など）を確認することができるようにしてもよい。
【００７２】
また、他の例において、第１の端末機でのデジタルマーカーの編集の際に編集されたデジタルマーカーに対応する客体をプロポーズに使うテキストや顔文字などと定義し、編集されたデジタルマーカーとそれに対応する客体をカメラが備えられた第２の端末機と共有した後、第１の端末機の画面表示部にデジタルマーカーを表示すると、第２の端末機がカメラにて撮影されたデジタルマーカーに対応するテキストや顔文字などをカメラにて獲得したリアルタイム映像画面と合成して画面表示部に表示し、キー操作やタッチ画面操作（近距離無線通信を利用したリモートコントロールを含む）などによってデジタルマーカーを変更しそれに対応するテキストや顔文字などを表示することにより、恋人にプロポーズができるようにしてもよい。
【００７３】
また、他の例において、第１の端末機でのデジタルマーカーの編集の際に編集されたデジタルマーカーに対応する客体を名刺と定義し、編集されたデジタルマーカーとそれに対応する客体をカメラが備えられた第２の端末機と共有した後、第１の端末機の画面表示部にデジタルマーカーを表示すると、第２の端末機がカメラにて撮影されたデジタルマーカーに対応する名刺を画面表示部に表示することにより、相手に自身の情報をビジュアルに見せることができるようにしてもよい。
【００７４】
また、他の例において、家中の出入り口の両側に２台の携帯電話を向かい合うように設置した後、２台の携帯電話のうちの１台を第１の端末機として画面表示部にデジタルマーカーを表示するようにし、２台の携帯電話のうちのもう１台を第２の端末機として、そのカメラによりデジタルマーカーを持続的に撮影し、該撮影されたデジタルマーカーに対応する仮想の線をカメラにて獲得したリアルタイム映像画面と合成して画面表示部に表示し、人の出入りにより仮想の線が切れると、警報音を鳴らすようにしてもよい。
【００７５】
また、他の例において、第１の端末機でのデジタルマーカーの編集の際に編集されたデジタルマーカーに対応する客体をゴルフ、テコンド、テニス、格闘技、ボーリングなどのスポーツ動作と定義し、編集されたデジタルマーカーとそれに対応する客体をカメラが備えられた第２の端末機と共有した後、第１の端末機が画面表示部にデジタルマーカーを表示すると、第２の端末機がカメラにて撮影されたデジタルマーカーに対応するスポーツ動作をカメラにて獲得したリアルタイム映像画面と合成して画面表示部に表示し、キー操作やタッチ画面操作（近距離無線通信を利用したリモートコントロールを含む）などによってデジタルマーカーを変更することにより、スポーツ動作を予め定義された順に変更しつつ見ることができるようにしてもよい。
【００７６】
また、他の例において、第１の端末機でのデジタルマーカーの編集の際に編集されたデジタルマーカーに対応する客体を教育に必要な客体（例えば、瞻星台（Ｃｈｅｏｍｓｅｏｎｇｄａｅ）、多宝塔（Ｄａｂｏｔａｐ）、釈迦塔（Ｓｅｏｋｇａｔａｐ）、エッフェル塔、スフィンクス、ピラミッドなど）として定義し、編集されたデジタルマーカーとそれに対応する客体とをカメラが備えられた第２の端末機と共有した後、第１の端末機が画面表示部にデジタルマーカーを表示すると、第２の端末機がカメラにて撮影されたデジタルマーカーに対応する客体を画面表示部に表示することにより、教育の場で特定の客体に対する説明をする時、キー操作やタッチ画面操作（近距離無線通信を利用したリモートコントロールを含む）などによって説明する客体を変更することにより、学生たちに説明する事物客体を視覚的に見せながら授業を進めることができるようにしてもよい。
【００７７】
以上で説明したような提供したいサービスに応じて編集されたデジタルマーカーとそれに対応する客体とを、オンラインの拡張現実提供サーバーを介して取引して流通させてもよい。
【００７８】
本発明の拡張現実提供端末機及び拡張現実提供方法は、上述した実施形態に限定されず、本発明の技術的思想が及ぶ範囲内で種々に変形して実施することができる。
【符号の説明】
【００７９】
１０ 拡張現実提供端末機
１１ デジタルマーカー編集部
１３ メモリ部
１５ 画面表示部
１７ 近距離無線通信部
１９ 有線／無線通信部
２１ メモリ部
２２ カメラ部
２３ 制御部
２４ 映像処理部
２５ 画面表示部
２６ 近距離無線通信部
２７ 有線／無線通信部
１００ 他端末機
２００ 拡張現実提供サーバー
【特許請求の範囲】
【請求項１】
端末機ユーザの入力によってデジタルマーカーを編集し、該編集されたデジタルマーカーに対応する客体を定義するデジタルマーカー編集部と、
前記デジタルマーカー編集部において編集された前記デジタルマーカーと該編集された前記デジタルマーカーに対応する前記客体を格納するメモリ部と、
前記デジタルマーカー編集部において編集された前記デジタルマーカーを表示し、前記メモリ部に格納されている前記デジタルマーカーのうちから前記端末機ユーザによって選択された前記デジタルマーカーを表示する画面表示部と、
を含むことを特徴とする拡張現実提供端末機。
【請求項２】
前記デジタルマーカーは、前記端末機ユーザの入力によって編集されて前記客体の種類を定義する客体選択領域と、前記端末機ユーザの入力によって編集されて前記客体の動作を定義する客体動作選択領域を含むことを特徴とする請求項１に記載の拡張現実提供端末機。
【請求項３】
前記デジタルマーカーは、前記端末機ユーザの入力によって編集されて前記客体が表示される画面の背景色を定義する背景色選択領域をさらに含むことを特徴とする請求項２に記載の拡張現実提供端末機。
【請求項４】
前記メモリ部に格納されている前記デジタルマーカーのうちから前記端末機ユーザによって選択された前記デジタルマーカーと該選択された前記デジタルマーカーに対応する前記客体を近距離無線通信技術を利用して他端末機へ送信し、
近距離無線通信技術により前記他端末機から受信した前記画面表示部に表示されている前記デジタルマーカーを変更するための入力情報を前記デジタルマーカー編集部へ転送する近距離無線通信部をさらに含むことを特徴とする請求項１に記載の拡張現実提供端末機。
【請求項５】
前記デジタルマーカー編集部は、前記他端末機からの前記入力情報を利用して前記画面表示部に表示されているデジタルマーカーを変更することを特徴とする請求項４に記載の拡張現実提供端末機。
【請求項６】
前記メモリ部に格納されている前記デジタルマーカーのうちから前記端末機ユーザによって選択された前記デジタルマーカーと該選択された前記デジタルマーカーに対応する前記客体とを有線／無線通信網を介して接続された拡張現実提供サーバーへ伝送し、前記拡張現実提供サーバーからの前記画面表示部に表示されているデジタルマーカーを変更するための前記入力情報を前記デジタルマーカー編集部へ転送する有線／無線通信部をさらに含むことを特徴とする請求項１に記載の拡張現実提供端末機。
【請求項７】
デジタルマーカーと各デジタルマーカーに対応する客体とを格納するメモリ部と、
他端末機の画面表示部に表示された前記デジタルマーカーを撮影するカメラ部と、
前記カメラ部により撮影された前記デジタルマーカーを認識し、該認識された前記デジタルマーカーに対応する前記客体を前記メモリ部から読み出す制御部と、
前記制御部に読み出された前記客体を前記カメラ部において獲得したリアルタイム映像画面と合成して画面表示部に表示する映像処理部と、
を含むことを特徴とする拡張現実提供端末機。
【請求項８】
近距離無線通信技術により前記他端末機から受信した前記デジタルマーカーと前記デジタルマーカーに対応する前記客体とを前記メモリ部に格納し、前記他端末機の画面表示部に表示されたデジタルマーカーを変更するために前記端末機ユーザから入力された入力情報を前記他端末機へ送信する近距離無線通信部をさらに含むことを特徴とする請求項７に記載の拡張現実提供端末機。
【請求項９】
有線／無線通信網を介して接続された拡張現実提供サーバーから前記他端末機が登録した前記デジタルマーカーと該登録された前記デジタルマーカーに対応する前記客体をダウンロードし、前記他端末機の画面表示部に表示された前記デジタルマーカーを変更するために前記端末機ユーザにより入力された前記入力情報を前記拡張現実提供サーバーを介して前記他端末機へ伝送する有線／無線通信部をさらに含むことを特徴とする請求項７に記載の拡張現実提供端末機。
【請求項１０】
端末機ユーザの入力によってデジタルマーカーを編集し、該編集されたデジタルマーカーに対応する客体を定義するデジタルマーカー編集部と、
前記デジタルマーカー編集部において編集された前記デジタルマーカーと該編集された前記デジタルマーカーに対応する前記客体とを格納するメモリ部と、
前記デジタルマーカー編集部において編集されるデジタルマーカーを表示し、前記メモリ部に格納されているデジタルマーカーのうちから前記端末機ユーザによって選択された前記デジタルマーカーを表示する画面表示部と、
他端末機の画面表示部に表示された前記デジタルマーカーを撮影するカメラ部と、
前記カメラ部により撮影された前記デジタルマーカーを認識して前記デジタルマーカーに対応する前記客体を前記メモリ部から読み出す制御部と、
前記制御部に読み出された前記客体を前記カメラ部において獲得したリアルタイム映像画面と合成して前記画面表示部に表示する映像処理部と、
を含むことを特徴とする拡張現実提供端末機。
【請求項１１】
前記メモリ部に格納されている前記デジタルマーカーのうちから前記端末機ユーザによって選択された前記デジタルマーカーと該選択された前記デジタルマーカーに対応する前記客体とを近距離無線通信技術を利用して前記他端末機へ送信し、前記他端末機から前記デジタルマーカーと前記デジタルマーカーに対応する前記客体とを受信して前記メモリ部に格納し、他端末機から受信した前記デジタルマーカーを変更するための入力情報を前記デジタルマーカー編集部へ転送し、前記他端末機の画面表示部に表示される前記デジタルマーカーを変更するために前記端末機ユーザから入力された入力情報を前記他端末機へ送信する近距離無線通信部をさらに含むことを特徴とする請求項１０に記載の拡張現実提供端末機。
【請求項１２】
前記メモリ部に格納されている前記デジタルマーカーのうちから前記端末機ユーザによって選択された前記デジタルマーカーと該選択された前記デジタルマーカーに対応する前記客体とを有線／無線通信網を介して接続された拡張現実提供サーバーへ伝送し、前記拡張現実提供サーバーから前記他端末機により登録された前記デジタルマーカーと該登録された前記デジタルマーカーに対応する客体とをダウンロードして前記メモリ部に格納し、前記拡張現実提供サーバーを介した前記他端末機からの前記デジタルマーカーを変更するための入力情報を前記デジタルマーカー編集部へ転送し、前記他端末機の画面表示部に表示されたデジタルマーカーを変更するために前記端末機ユーザから入力された入力情報を前記拡張現実提供サーバーを介して前記他端末機へ伝送する有線／無線通信部をさらに含むことを特徴とする請求項１０に記載の拡張現実提供端末機。
【請求項１３】
前記端末機ユーザは、キー入力またはタッチ入力により入力を行うことを特徴とする請求項１０に記載の拡張現実提供端末機。
【請求項１４】
デジタルマーカー編集モードにおける端末機ユーザによる入力に基づきデジタルマーカーを編集し、該編集されたデジタルマーカーに対応する客体を定義し、
前記編集された前記デジタルマーカーと該編集された前記デジタルマーカーに対応する前記客体とをメモリ部に格納し、
前記メモリ部に格納された前記デジタルマーカーのうちから前記端末機ユーザによって選択された前記デジタルマーカーを画面表示部に表示する
ことを特徴とする拡張現実提供方法。
【請求項１５】
さらに、前記端末機ユーザから前記画面表示部に表示された前記デジタルマーカーを変更するための入力情報を受信し、
前記入力情報を利用して、前記デジタルマーカーを変更することを特徴とする請求項１４に記載の拡張現実提供方法。
【請求項１６】
さらに、近距離無線通信技術を利用して他端末機から前記画面表示部に表示されたデジタルマーカーを変更するための入力情報を受信し、
前記入力情報を利用して、前記デジタルマーカーを変更することを特徴とする請求項１４に記載の拡張現実提供方法。
【請求項１７】
さらに、有線／無線通信網を介して接続された拡張現実提供サーバーから前記画面表示部に表示された前記デジタルマーカーを変更するための入力情報を受信し、
前記入力情報を利用して前記デジタルマーカーを変更することを特徴とする請求項１４に記載の拡張現実提供方法。
【請求項１８】
さらに、前記メモリ部に格納されている前記デジタルマーカーのうちから端末機ユーザによって選択された前記デジタルマーカーと該選択された前記デジタルマーカーに対応する前記客体とを近距離無線通信技術を利用して他端末機へ送信することを特徴とする請求項１４に記載の拡張現実提供方法。
【請求項１９】
さらに、前記他端末機は、前記近距離無線通信技術を利用して送信された前記デジタルマーカーと前記デジタルマーカーに対応する前記客体とを受信し、前記デジタルマーカーと前記デジタルマーカーに対応する前記客体とをメモリ部に格納することを特徴とする請求項１８に記載の拡張現実提供方法。
【請求項２０】
さらに、前記メモリ部に格納されている前記デジタルマーカーのうちから前記端末機ユーザによって選択された前記デジタルマーカーと該選択された前記デジタルマーカーに対応する前記客体とを有線／無線通信網を介して接続された拡張現実提供サーバーへ送信し登録することを特徴とする請求項１４に記載の拡張現実提供方法。
【請求項２１】
さらに、有線／無線通信網を介して前記拡張現実提供サーバーに接続した他端末機が前記拡張現実提供サーバーに登録されている前記デジタルマーカーと該登録された前記デジタルマーカーに対応する前記客体をダウンロードし、
前記ダウンロードした前記デジタルマーカーとそれに対応する前記客体とをメモリ部に格納することを特徴とする請求項２０に記載の拡張現実提供方法。
【請求項２２】
カメラを利用して他端末機の画面表示部に表示されたデジタルマーカーを撮影し、
前記撮影されたデジタルマーカーを認識して前記デジタルマーカーに対応する前記客体をメモリ部から読み出し、
前記客体を前記カメラにおいて獲得したリアルタイム映像画面と合成して画面表示部に表示する
ことを特徴とする拡張現実提供方法。
【請求項２３】
さらに、前記他端末機の画面表示部に表示される前記デジタルマーカーを変更するために端末機ユーザから入力された入力情報を近距離無線通信技術を利用して前記他端末機へ送信し、
前記入力情報を利用して前記他端末機の画面表示部上において変更された前記デジタルマーカーを撮影し、
前記撮影されたデジタルマーカーを新たに認識して前記デジタルマーカーに対応する前記客体をメモリ部から読み出し、
前記客体を前記カメラにて獲得したリアルタイム映像画面と合成して前記画面表示部に表示する
ことを特徴とする請求項２２に記載の拡張現実提供方法。
【請求項１】
端末機ユーザの入力によってデジタルマーカーを編集し、該編集されたデジタルマーカーに対応する客体を定義するデジタルマーカー編集部と、
前記デジタルマーカー編集部において編集された前記デジタルマーカーと該編集された前記デジタルマーカーに対応する前記客体を格納するメモリ部と、
前記デジタルマーカー編集部において編集された前記デジタルマーカーを表示し、前記メモリ部に格納されている前記デジタルマーカーのうちから前記端末機ユーザによって選択された前記デジタルマーカーを表示する画面表示部と、
を含むことを特徴とする拡張現実提供端末機。
【請求項２】
前記デジタルマーカーは、前記端末機ユーザの入力によって編集されて前記客体の種類を定義する客体選択領域と、前記端末機ユーザの入力によって編集されて前記客体の動作を定義する客体動作選択領域を含むことを特徴とする請求項１に記載の拡張現実提供端末機。
【請求項３】
前記デジタルマーカーは、前記端末機ユーザの入力によって編集されて前記客体が表示される画面の背景色を定義する背景色選択領域をさらに含むことを特徴とする請求項２に記載の拡張現実提供端末機。
【請求項４】
前記メモリ部に格納されている前記デジタルマーカーのうちから前記端末機ユーザによって選択された前記デジタルマーカーと該選択された前記デジタルマーカーに対応する前記客体を近距離無線通信技術を利用して他端末機へ送信し、
近距離無線通信技術により前記他端末機から受信した前記画面表示部に表示されている前記デジタルマーカーを変更するための入力情報を前記デジタルマーカー編集部へ転送する近距離無線通信部をさらに含むことを特徴とする請求項１に記載の拡張現実提供端末機。
【請求項５】
前記デジタルマーカー編集部は、前記他端末機からの前記入力情報を利用して前記画面表示部に表示されているデジタルマーカーを変更することを特徴とする請求項４に記載の拡張現実提供端末機。
【請求項６】
前記メモリ部に格納されている前記デジタルマーカーのうちから前記端末機ユーザによって選択された前記デジタルマーカーと該選択された前記デジタルマーカーに対応する前記客体とを有線／無線通信網を介して接続された拡張現実提供サーバーへ伝送し、前記拡張現実提供サーバーからの前記画面表示部に表示されているデジタルマーカーを変更するための前記入力情報を前記デジタルマーカー編集部へ転送する有線／無線通信部をさらに含むことを特徴とする請求項１に記載の拡張現実提供端末機。
【請求項７】
デジタルマーカーと各デジタルマーカーに対応する客体とを格納するメモリ部と、
他端末機の画面表示部に表示された前記デジタルマーカーを撮影するカメラ部と、
前記カメラ部により撮影された前記デジタルマーカーを認識し、該認識された前記デジタルマーカーに対応する前記客体を前記メモリ部から読み出す制御部と、
前記制御部に読み出された前記客体を前記カメラ部において獲得したリアルタイム映像画面と合成して画面表示部に表示する映像処理部と、
を含むことを特徴とする拡張現実提供端末機。
【請求項８】
近距離無線通信技術により前記他端末機から受信した前記デジタルマーカーと前記デジタルマーカーに対応する前記客体とを前記メモリ部に格納し、前記他端末機の画面表示部に表示されたデジタルマーカーを変更するために前記端末機ユーザから入力された入力情報を前記他端末機へ送信する近距離無線通信部をさらに含むことを特徴とする請求項７に記載の拡張現実提供端末機。
【請求項９】
有線／無線通信網を介して接続された拡張現実提供サーバーから前記他端末機が登録した前記デジタルマーカーと該登録された前記デジタルマーカーに対応する前記客体をダウンロードし、前記他端末機の画面表示部に表示された前記デジタルマーカーを変更するために前記端末機ユーザにより入力された前記入力情報を前記拡張現実提供サーバーを介して前記他端末機へ伝送する有線／無線通信部をさらに含むことを特徴とする請求項７に記載の拡張現実提供端末機。
【請求項１０】
端末機ユーザの入力によってデジタルマーカーを編集し、該編集されたデジタルマーカーに対応する客体を定義するデジタルマーカー編集部と、
前記デジタルマーカー編集部において編集された前記デジタルマーカーと該編集された前記デジタルマーカーに対応する前記客体とを格納するメモリ部と、
前記デジタルマーカー編集部において編集されるデジタルマーカーを表示し、前記メモリ部に格納されているデジタルマーカーのうちから前記端末機ユーザによって選択された前記デジタルマーカーを表示する画面表示部と、
他端末機の画面表示部に表示された前記デジタルマーカーを撮影するカメラ部と、
前記カメラ部により撮影された前記デジタルマーカーを認識して前記デジタルマーカーに対応する前記客体を前記メモリ部から読み出す制御部と、
前記制御部に読み出された前記客体を前記カメラ部において獲得したリアルタイム映像画面と合成して前記画面表示部に表示する映像処理部と、
を含むことを特徴とする拡張現実提供端末機。
【請求項１１】
前記メモリ部に格納されている前記デジタルマーカーのうちから前記端末機ユーザによって選択された前記デジタルマーカーと該選択された前記デジタルマーカーに対応する前記客体とを近距離無線通信技術を利用して前記他端末機へ送信し、前記他端末機から前記デジタルマーカーと前記デジタルマーカーに対応する前記客体とを受信して前記メモリ部に格納し、他端末機から受信した前記デジタルマーカーを変更するための入力情報を前記デジタルマーカー編集部へ転送し、前記他端末機の画面表示部に表示される前記デジタルマーカーを変更するために前記端末機ユーザから入力された入力情報を前記他端末機へ送信する近距離無線通信部をさらに含むことを特徴とする請求項１０に記載の拡張現実提供端末機。
【請求項１２】
前記メモリ部に格納されている前記デジタルマーカーのうちから前記端末機ユーザによって選択された前記デジタルマーカーと該選択された前記デジタルマーカーに対応する前記客体とを有線／無線通信網を介して接続された拡張現実提供サーバーへ伝送し、前記拡張現実提供サーバーから前記他端末機により登録された前記デジタルマーカーと該登録された前記デジタルマーカーに対応する客体とをダウンロードして前記メモリ部に格納し、前記拡張現実提供サーバーを介した前記他端末機からの前記デジタルマーカーを変更するための入力情報を前記デジタルマーカー編集部へ転送し、前記他端末機の画面表示部に表示されたデジタルマーカーを変更するために前記端末機ユーザから入力された入力情報を前記拡張現実提供サーバーを介して前記他端末機へ伝送する有線／無線通信部をさらに含むことを特徴とする請求項１０に記載の拡張現実提供端末機。
【請求項１３】
前記端末機ユーザは、キー入力またはタッチ入力により入力を行うことを特徴とする請求項１０に記載の拡張現実提供端末機。
【請求項１４】
デジタルマーカー編集モードにおける端末機ユーザによる入力に基づきデジタルマーカーを編集し、該編集されたデジタルマーカーに対応する客体を定義し、
前記編集された前記デジタルマーカーと該編集された前記デジタルマーカーに対応する前記客体とをメモリ部に格納し、
前記メモリ部に格納された前記デジタルマーカーのうちから前記端末機ユーザによって選択された前記デジタルマーカーを画面表示部に表示する
ことを特徴とする拡張現実提供方法。
【請求項１５】
さらに、前記端末機ユーザから前記画面表示部に表示された前記デジタルマーカーを変更するための入力情報を受信し、
前記入力情報を利用して、前記デジタルマーカーを変更することを特徴とする請求項１４に記載の拡張現実提供方法。
【請求項１６】
さらに、近距離無線通信技術を利用して他端末機から前記画面表示部に表示されたデジタルマーカーを変更するための入力情報を受信し、
前記入力情報を利用して、前記デジタルマーカーを変更することを特徴とする請求項１４に記載の拡張現実提供方法。
【請求項１７】
さらに、有線／無線通信網を介して接続された拡張現実提供サーバーから前記画面表示部に表示された前記デジタルマーカーを変更するための入力情報を受信し、
前記入力情報を利用して前記デジタルマーカーを変更することを特徴とする請求項１４に記載の拡張現実提供方法。
【請求項１８】
さらに、前記メモリ部に格納されている前記デジタルマーカーのうちから端末機ユーザによって選択された前記デジタルマーカーと該選択された前記デジタルマーカーに対応する前記客体とを近距離無線通信技術を利用して他端末機へ送信することを特徴とする請求項１４に記載の拡張現実提供方法。
【請求項１９】
さらに、前記他端末機は、前記近距離無線通信技術を利用して送信された前記デジタルマーカーと前記デジタルマーカーに対応する前記客体とを受信し、前記デジタルマーカーと前記デジタルマーカーに対応する前記客体とをメモリ部に格納することを特徴とする請求項１８に記載の拡張現実提供方法。
【請求項２０】
さらに、前記メモリ部に格納されている前記デジタルマーカーのうちから前記端末機ユーザによって選択された前記デジタルマーカーと該選択された前記デジタルマーカーに対応する前記客体とを有線／無線通信網を介して接続された拡張現実提供サーバーへ送信し登録することを特徴とする請求項１４に記載の拡張現実提供方法。
【請求項２１】
さらに、有線／無線通信網を介して前記拡張現実提供サーバーに接続した他端末機が前記拡張現実提供サーバーに登録されている前記デジタルマーカーと該登録された前記デジタルマーカーに対応する前記客体をダウンロードし、
前記ダウンロードした前記デジタルマーカーとそれに対応する前記客体とをメモリ部に格納することを特徴とする請求項２０に記載の拡張現実提供方法。
【請求項２２】
カメラを利用して他端末機の画面表示部に表示されたデジタルマーカーを撮影し、
前記撮影されたデジタルマーカーを認識して前記デジタルマーカーに対応する前記客体をメモリ部から読み出し、
前記客体を前記カメラにおいて獲得したリアルタイム映像画面と合成して画面表示部に表示する
ことを特徴とする拡張現実提供方法。
【請求項２３】
さらに、前記他端末機の画面表示部に表示される前記デジタルマーカーを変更するために端末機ユーザから入力された入力情報を近距離無線通信技術を利用して前記他端末機へ送信し、
前記入力情報を利用して前記他端末機の画面表示部上において変更された前記デジタルマーカーを撮影し、
前記撮影されたデジタルマーカーを新たに認識して前記デジタルマーカーに対応する前記客体をメモリ部から読み出し、
前記客体を前記カメラにて獲得したリアルタイム映像画面と合成して前記画面表示部に表示する
ことを特徴とする請求項２２に記載の拡張現実提供方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【公開番号】特開２０１１−１５９２７４（Ｐ２０１１−１５９２７４Ａ）
【公開日】平成２３年８月１８日（２０１１．８．１８）
【国際特許分類】
【出願番号】特願２０１０−１９１１３７（Ｐ２０１０−１９１１３７）
【出願日】平成２２年８月２７日（２０１０．８．２７）
【出願人】（５０５４６３１０２）パンテック カンパニー リミテッド (89)
【Ｆターム（参考）】
【公開日】平成２３年８月１８日（２０１１．８．１８）
【国際特許分類】
【出願日】平成２２年８月２７日（２０１０．８．２７）
【出願人】（５０５４６３１０２）パンテック カンパニー リミテッド (89)
【Ｆターム（参考）】
[ Back to top ]