Notice: Undefined variable: fterm_desc_sub in /mnt/www/biblio_conv.php on line 353
ポータブル端末で拡張現実サービスを提供するための方法、及びポータブル端末装置
説明

ポータブル端末で拡張現実サービスを提供するための方法、及びポータブル端末装置

【課題】マーカーを正確に認知していない場合でも、拡張現実サービスを受けられる様にする。
【解決手段】周辺情報を用いて拡張現実サービス画面を構成する過程と、前記拡張現実サービス画面を考慮して認識可能な少なくとも一つのマーカー(Marker)を確認する過程と、前記認識可能な少なくとも一つのマーカーを考慮してガイド画面を構成する過程と、前記拡張現実サービス画面の一部分に前記ガイド画面を追加表示する過程と、を備える。

【発明の詳細な説明】
【技術分野】
【0001】
本発明はポータブル端末で拡張現実サービス(Augmented Reality Service)を提供するための方法、及びこれを具現するポータブル端末装置に関する。
【背景技術】
【0002】
拡張現実はサービス端末が実際の空間で認識した実際の情報と仮想客体を合成して表示する技術を示す。ここで、実際の情報は、サービス端末の周辺映像、周辺音及び位置情報などを含む。
【0003】
サービス端末は外部から提供を受けている実際の情報とマーカー(Marker)のマッチングの可否に応じて拡張現実サービスを提供できる。例えば、サービス端末が外部の環境から獲得した実際の情報とマーカーがマッチングする場合、サービス端末は実際の情報とマッチングしたマーカーの付加情報を再生する。ここで、マーカーは拡張現実サービスのための付加情報がマッピングされている客体情報を示す。
【0004】
前述のようにサービス端末は拡張現実サービスを通じて多様な付加情報を提供できる利点がある。
しかし、サービス端末のユーザーが拡張現実サービスのためのマーカーを正確に認知していない場合、サービス端末のユーザーは拡張現実サービスに使用するために何回かの試行錯誤を経験しなければならないという問題が発生する場合がある。
【先行技術文献】
【特許文献】
【0005】
【特許文献1】大韓民国公開特許公報No.10−2005−0055506
【発明の概要】
【発明が解決しようとする課題】
【0006】
従って、本発明の目的は、サービス端末のユーザーが拡張現実サービスのためのマーカーを正確に認知していない場合でも、試行錯誤を経験することなくポータブル端末で拡張現実サービスを享受できる方法、及び、これを具現するポータブル端末装置を提供することにある。
【0007】
本発明の他の目的は、ポータブル端末で拡張現実サービスのためのマーカー情報をユーザーに提供するための方法、及びこれを具現するポータブル端末装置を提供することにある。
本発明のまた他の目的は、ポータブル端末で拡張現実サービスに対するガイド画面を提供するための方法、及びこれを具現するポータブル端末装置を提供することにある。
本発明のまた他の目的は、ポータブル端末で拡張現実サービスのためのマーカー情報を備えているガイド画面を提供するための方法、及びこれを具現するポータブル端末装置を提供することにある。
本発明のまた他の目的は、ポータブル端末で拡張現実サービスの付加情報に対するビューポート(View Port)を設定するための方法、及びこれを具現するポータブル端末装置を提供することにある。
本発明のまた他の目的は、ポータブル端末で既設定されたビューポート情報によって拡張現実サービスの付加情報を表示するための方法、及びこれを具現するポータブル端末装置を提供することにある。
【課題を解決するための手段】
【0008】
本発明の目的を果たすための本発明の第1見地によると、ポータブル端末で拡張現実サービスを提供するための方法は、周辺情報を用いて拡張現実サービス画面を構成する過程と、前記拡張現実サービス画面を考慮して認識可能な少なくとも一つのマーカーを確認する過程と、前記認識可能な少なくとも一つのマーカーを考慮してガイド画面を構成する過程と、前記拡張現実サービス画面の一部分に前記ガイド画面を追加表示する過程と、を備えている。
【0009】
また好ましくは、前記ガイド画面に備えられるマーカーとマッチングする拡張現実サービス画面を認識している場合、前記マーカーに対する拡張現実付加情報を確認する過程と、前記拡張現実付加情報に対するビューポートが設定されている場合、前記ビューポートの設定情報によって前記拡張現実付加情報を画面に表示する過程をさらに備えている。
【0010】
本発明の第2見地によると、ポータブル端末装置は、周辺情報を用いて拡張現実サービス画面を構成して、前記拡張現実サービス画面を考慮して認識可能な少なくとも一つのマーカーを確認して、前記認識可能な少なくとも一つのマーカーを考慮してガイド画面を構成する制御部と、前記拡張現実サービス画面の一部分に前記ガイド画面を追加表示する表示部と、を備える。
【0011】
また好ましくは、前記制御部は、前記表示部を通じてマーカーにマッチングした拡張現実サービス画面を認識している場合、前記マーカーに対する拡張現実付加情報を確認して、前記拡張現実付加情報に対するビューポートが設定された場合、前記ビューポートの設定情報によって前記拡張現実付加情報を画面に表示するように制御する。
【発明の効果】
【0012】
本発明によるポータブル端末で拡張現実サービスを提供するための方法では、認識可能な少なくとも一つのマーカーを考慮してガイド画面を構成しているので、サービス端末のユーザーは、拡張現実サービスのためのマーカーを正確に認知していない場合でも、試行錯誤を経験することなくポータブル端末で拡張現実サービスを享受できる。
【図面の簡単な説明】
【0013】
【図1】本発明によるポータブル端末のブロック構成を示す図面であり、
【図2】本発明の実施例によるポータブル端末でガイド画面を表示するための手続きを示す図面であり、
【図3】本発明の他の実施例によるポータブル端末でガイド画面を表示するための手続きを示す図面であり、
【図4】本発明の実施例によるポータブル端末でガイド画面を構成するための手続きを示す図面であり、
【図5】本発明の実施例によるポータブル端末でガイド画面を通じて拡張現実付加情報を提供するための手続きを示す図面であり、
【図6】本発明の実施例によるポータブル端末で拡張現実付加情報を提供するための手続きを示す図面であり、
【図7】本発明の他の実施例によるポータブル端末で拡張現実付加情報を提供するための手続きを示す図面であり、
【図8】本発明の実施例によるガイド画面の構成を示す図面である。
【発明を実施するための形態】
【0014】
以下、本発明の好ましい実施例を添付の図面を参照して詳しく説明する。そして、本発明を説明する際に、関係する公知機能あるいは構成に対して具体的な説明を詳述すると本発明の要旨を却って不明確にしてしまうと判断された場合、その詳細な説明は略する。また、後述の説明で使われる用語は本発明での機能を考慮して定義された用語であり、これはユーザー、運用者の意図又は慣例などによって変わり得る。従って、その定義は本明細書の全般にわたっている内容をベースに判断されなければならない。
【0015】
以下、本発明はポータブル端末で拡張現実サービスを提供するための技術に対して説明する。
以下の説明でポータブル端末は、拡張現実サービスを提供する移動通信端末、PDA(Personal Digital Assistant)、ラップトップ(Laptop)、スマートフォン(Smart Phone)、ネットブック(Netbook)、携帯インターネット機器(MID:Mobile Internet Device)、ウルトラモバイルPC(UMPC:Ultra Mobile PC)、タブレットPC(Tablet Personal Computer)などの電子装置を備える。
以下の説明でポータブル端末は、カメラを通じて獲得した映像情報を用いて拡張現実サービスを提供するものと仮定する。
【0016】
図1は本発明によるポータブル端末のブロック構成を示している。
図示したように、ポータブル端末は制御部100、保存部110、表示部120、入力部130、オーディオ処理部140、通信部150及びカメラ部160を備える。
制御部100はポータブル端末の全体的な動作制御を実行する。
制御部100はカメラ部160から提供された映像と仮想客体を合成して拡張現実サービスを提供する。例えば、制御部100はカメラ部160から提供された映像を備える拡張現実構成情報を用いて拡張現実サービス画面を構成する。以後、拡張現実サービス画面とマーカーがマッチングする場合、制御部100は拡張現実サービス画面にマッチングするマーカーに対する拡張現実付加情報を再生するように制御する。もし、拡張現実付加情報に対するビューポートが設定されている場合、制御部100はビューポートの設定情報によって拡張現実付加情報を出力するように制御する。ここで、マーカーは拡張現実サービスのための付加情報がマッピングされた客体情報を示す。ビューポートの設定情報は拡張現実付加情報に対する再生情報を備える。拡張現実付加情報は、拡張現実付加情報の出力角度、出力サイズ、出力色相、再生開始位置、再生速度の中で少なくとも一つを備える。
【0017】
また、制御部100は拡張現実サービスを提供する場合、ガイド構成部102で構成しているガイド画面を拡張現実サービス画面とともに出力するように制御する。例えば、制御部100は図2又は図3に示したように、拡張現実サービスのためのガイド画面を拡張現実サービス画面とともに提供するように制御する。
【0018】
さらに、ポータブル端末のユーザーによってガイド画面に表示されたマーカーが選択される場合、制御部100はユーザーによって選択されたマーカーに対する拡張現実付加情報を再生するように制御する。もし、拡張現実付加情報に対するビューポートが設定される場合、制御部100はビューポートの設定情報によって拡張現実付加情報を再生するように制御する。
【0019】
ガイド構成部102は、制御部100で拡張現実サービスのために認識可能な認識対象の情報を備えるガイド画面を構成する。例えば、ガイド構成部102は制御部100で拡張現実サービスを提供するために収集した拡張現実構成情報をもとに拡張現実サービスのためのマーカーを確認する。以後、ガイド構成部102は制御部100で認識できる全てのマーカーを備えるようにガイド画面を構成する。別の例として、ガイド構成部102は制御部100で認識できる複数のマーカーの中で既設定された数のマーカーを備えるようにガイド画面を構成することもできる。
【0020】
保存部110はポータブル端末の動作を制御するためのプログラムを保存するプログラム保存部及びプログラムの実行中に発生するデータを保存するデータ保存部から構成される。例えば、保存部110は拡張現実サービスのための少なくとも一つのマーカーを保存する。
【0021】
表示部120は、制御部100の制御によってポータブル端末の状態情報、ユーザーが入力する文字、動画像(moving picture)及び静止画像(still picture)などを表示する。例えば、表示部120は制御部100の制御によって図8に示すように、拡張現実サービス画面800とガイド構成部102で構成しているガイド画面810を表示する。別の例として、表示部120は制御部100の制御によって拡張現実付加情報の再生画面を表示する。もし、拡張現実付加情報に対するビューポートが設定された場合、表示部120はビューポートの設定情報によって拡張現実付加情報に対する再生画面を表示する。
【0022】
さらに、表示部120がタッチスクリーンで構成されている場合、表示部120はタッチパネルを通じて感知されたタッチ情報を制御部100に提供するタッチ入力部をさらに備えることもできる。
【0023】
入力部130は、ユーザーの選択によって発生する入力データを制御部100に提供する。例えば、入力部130はポータブル端末の制御のための制御ボタンのみを備えて構成される。別の例として、入力部130はユーザーから入力データの提供を受けるためのキーパッドで構成されることもできる。
【0024】
オーディオ処理部140は、オーディオ信号の入出力を制御する。例えば、オーディオ処理部140は制御部100から提供されたオーディオ信号を、スピーカーを通じて外部に送出し、マイクから提供されたオーディオ信号を制御部100に提供する。
【0025】
通信部150は、音声及びデータ通信のためにアンテナを通じて送受信される信号を処理する。
カメラ部160は、被写体を撮影した画像データをデジタルデータに変換して、前記デジタルデータから獲得した静止画を制御部100に提供する。
【0026】
前述のように、ガイド構成部102は制御部100で認識できる複数のマーカーの中で既設定された数のマーカーを備えるようにガイド画面を構成することもできる。例えば、ガイド構成部102は制御部100で認識できる複数のマーカーの中で認識確率が高い少なくとも一つのマーカーを備えるようにガイド画面を構成する。ここで、マーカーの認識確率は、ポータブル端末とマーカーとの距離、マーカーの認識回数の中で少なくとも一つを考慮して決定できる。
【0027】
以下、ポータブル端末でガイド画面を提供するための方法について説明する。
図2は本発明の実施例によるポータブル端末でガイド画面を表示するための手続きを示している。
【0028】
図2を参照すると、ポータブル端末は201段階で拡張現実サービスを提供するかどうかを確認する。例えば、ポータブル端末はユーザーの操作によって拡張現実応用プログラムを実行するかどうかを確認する。
拡張現実サービスを提供していない場合、ポータブル端末は本アルゴリズムを終了する。
【0029】
一方、拡張現実サービスを提供する場合、ポータブル端末は203段階に進行して拡張現実構成情報を収集する。例えば、ポータブル端末は周辺映像、周辺音、前記ポータブル端末の動き情報及び前記ポータブル端末の位置情報などの拡張現実構成情報を収集する。
【0030】
拡張現実構成情報を収集した後、ポータブル端末は205段階に進行して拡張現実構成情報を用いて拡張現実サービスのためにユーザーに提供する拡張現実サービス画面を構成する。
【0031】
以後、ポータブル端末は207段階に進行してガイド情報を提供するかどうかを確認する。例えば、ポータブル端末はガイド情報の提供メニューが設定されているかどうかを確認する。ここで、ガイド情報は、ポータブル端末のユーザーが拡張現実付加情報に対するマーカーを容易に認識するように、ポータブル端末で認識できるマーカーをユーザーに提供するサービスを示す。
【0032】
ガイド情報を提供する場合、ポータブル端末は209段階に進行して認識可能な少なくとも一つのマーカーを確認する。例えば、ポータブル端末は実行中の拡張現実応用プログラムによってポータブル端末で認識可能な少なくとも一つのマーカーを確認する。別の例として、ポータブル端末は拡張現実構成情報を考慮してポータブル端末で認識可能な少なくとも一つのマーカーを確認することもできる。
【0033】
認識可能なマーカーを確認した後、ポータブル端末は211段階に進行して認識可能な少なくとも一つのマーカーを備えるガイド画面を構成する。例えば、ポータブル端末は認識可能な全てのマーカーを備えるようにガイド画面を構成する。別の例として、ポータブル端末は認識可能な複数のマーカーの中で既設定された数のマーカーを備えるようにガイド画面を構成することもできる。この時、ポータブル端末はマーカーの認識確率を考慮してガイド画面に追加するマーカーを選択する。ここで、マーカーの認識確率は、ポータブル端末とマーカーとの距離、マーカーの認識回数の中で少なくとも一つを考慮して決定する。
【0034】
ガイド画面を構成した後、ポータブル端末は213段階に進行して205段階で構成した拡張現実サービス画面とガイド画面を一緒に表示部120に表示する。例えば、ポータブル端末は図8に示すように拡張現実サービス画面800とガイド画面810を一緒に表示する。
【0035】
一方、207段階でガイド情報を提供していない場合、ポータブル端末は215段階に進行して205段階で構成した拡張現実サービス画面を表示部120に表示する。
以後、ポータブル端末は本アルゴリズムを終了する。
【0036】
図3は本発明の他の実施例によるポータブル端末でガイド画面を表示するための手続きを示している。
図3を参照すると、ポータブル端末は301段階で拡張現実サービスを提供するかどうかを確認する。例えば、ポータブル端末はユーザーの操作によって拡張現実応用プログラムを実行するかどうかを確認する。
拡張現実サービスを提供していない場合、ポータブル端末は本アルゴリズムを終了する。
【0037】
一方、拡張現実サービスを提供する場合、ポータブル端末は303段階に進行して拡張現実構成情報を収集する。例えば、ポータブル端末は周辺映像、周辺音、前記ポータブル端末の動き情報及び前記ポータブル端末の位置情報などの拡張現実構成情報を収集する。
【0038】
拡張現実構成情報を収集した後、ポータブル端末は305段階に進行して拡張現実構成情報を用いて拡張現実サービスのためにユーザーに提供する拡張現実サービス画面を構成する。
【0039】
拡張現実サービス画面を構成した後、ポータブル端末は307段階に進行して拡張現実サービス画面を表示部120に表示する。
以後、ポータブル端末は309段階に進行してガイド情報を提供するかどうかを確認する。例えば、ポータブル端末はガイド情報の提供メニューが設定されているかどうかを確認する。
ガイド情報を提供していない場合、ポータブル端末は本アルゴリズムを終了する。
【0040】
一方、ガイド情報を提供する場合、ポータブル端末は311段階に進行して認識可能なマーカーを確認する。例えば、ポータブル端末は実行中の拡張現実応用プログラムによってポータブル端末で認識可能な少なくとも一つのマーカーを確認する。別の例として、ポータブル端末は拡張現実構成情報を考慮してポータブル端末で認識可能な少なくとも一つのマーカーを確認することもできる。
【0041】
認識可能なマーカーを確認した後、ポータブル端末は313段階に進行してポータブル端末で認識可能なマーカーを備えるガイド画面を構成する。例えば、ポータブル端末は認識可能な全てのマーカーを備えるようにガイド画面を構成する。別の例として、ポータブル端末は認識可能な複数のマーカーの中で既設定された数のマーカーを備えるようにガイド画面を構成することもできる。この時、ポータブル端末はマーカーの認識確率を考慮してガイド画面に追加するマーカーを選択する。ここで、マーカーの認識確率は、ポータブル端末とマーカーとの距離、マーカーの認識回数の中で少なくとも一つを考慮して決定することができる。
【0042】
ガイド画面を構成した後、ポータブル端末は315段階に進行して307段階で表示部120に表示する拡張現実サービス画面にガイド画面を追加する。例えば、ポータブル端末は図8に示すように表示部120に表示されている拡張現実サービス画面800にガイド画面810を追加する。
以後、ポータブル端末は本アルゴリズムを終了する。
【0043】
前述の実施例でポータブル端末は拡張現実サービス画面とガイド画面を一緒に表示部120に表示する。もし、拡張現実サービス画面がマーカーとマッチングする拡張現実付加情報を再生する場合、ポータブル端末はガイド画面を表示していない。以後、ポータブル端末は拡張現実付加情報の再生が終了すると、ガイド画面を再表示する。別の例として、ポータブル端末は拡張現実付加情報の再生時、他のマーカーを備えるガイド画面を持続的に表示することもできる。
【0044】
前述の図2と図3に示すようにポータブル端末はガイド情報を提供する場合、拡張現実サービス画面にガイド画面を追加して表示する。この時、ポータブル端末は図4に示すようにガイド画面を構成する。
図4は本発明の実施例によるポータブル端末でガイド画面を構成するための手続きを示している。以下の説明でポータブル端末は図3の313段階でガイド画面を構成するものと仮定する。
【0045】
図4を参照すると、ポータブル端末は図3の311段階で認識可能なマーカーを確認した後、401段階に進行して認識可能なマーカーの数を確認する。例えば、ポータブル端末は認識可能なマーカーの数が一つなのかを確認する。
【0046】
認識可能なマーカーが一つの場合、ポータブル端末は405段階に進行してガイド画面構成情報を確認する。例えば、ポータブル端末は保存部110に保存されたガイド画面構成情報を確認する。別の例として、ポータブル端末は周辺の明るさ、ポータブル端末の動きなどを含んでいる周辺情報を考慮してガイド画面構成情報を決定することもできる。ここで、ガイド画面構成情報はガイド画面のサイズ、ガイド画面の透明度、ガイド画面の色相の中で少なくとも一つを備えている。
【0047】
一方、認識可能なマーカーが多数の場合、ポータブル端末は403段階に進行して認識可能な複数のマーカーの中でガイド画面に含まれる少なくとも一つのマーカーを選択する。例えば、ポータブル端末は認識可能な複数のマーカーの中で認識確率が高い少なくとも一つのマーカーを選択する。ここで、マーカーの認識確率は、ポータブル端末とマーカーとの距離、マーカーの認識回数の中で少なくとも一つを考慮して決定される。
【0048】
以後、ポータブル端末は405段階に進行してガイド画面構成情報を確認する。ここで、ガイド画面構成情報はガイド画面のサイズ、ガイド画面の透明度、ガイド画面の色相の中で少なくとも一つを備えている。
【0049】
ガイド画面構成情報を確認した後、ポータブル端末は407段階に進行してガイド画面構成情報によって少なくとも一つのマーカーを備えるガイド画面を構成する。
【0050】
以後、ポータブル端末は図3の315段階に進行して表示部120に表示している拡張現実サービス画面にガイド画面を追加する。
前述の実施例でポータブル端末は認識可能なマーカーの数が多数の場合、ガイド画面に含ませる少なくとも一つのマーカーを選択する。
【0051】
他の実施例でポータブル端末は認識可能な全てのマーカーを備えるようにガイド画面を構成することもできる。
前述のようにポータブル端末は、ポータブル端末のユーザーの拡張現実付加情報の認識を助けるために少なくとも一つのマーカーを備えるガイド画面を提供する。この時、ポータブル端末はガイド画面を用いて下記の図5に示すように拡張現実付加情報を提供することもできる。
【0052】
図5は本発明の実施例によるポータブル端末でガイド画面を通じて拡張現実付加情報を提供するための手続きを示している。
図5を参照すると、ポータブル端末は501段階でガイド画面を表示部120に表示する。例えば、ポータブル端末は図2に示すように拡張現実サービス画面とガイド画面を一緒に表示部120に表示する。別の例として、ポータブル端末は図3に示すように表示部120に表示されている拡張現実サービス画面にガイド画面を追加表示することもできる。
【0053】
以後、ポータブル端末は503段階に進行してユーザーによってガイド画面に表示されたマーカーが選択されているかどうかを確認する。
ユーザーによってガイド画面に表示されたマーカーが選択されていない場合、ポータブル端末は501段階に進行してガイド画面を表示部120に表示する。
【0054】
一方、ユーザーがガイド画面に表示されたマーカーを選択した場合、ポータブル端末は505段階に進行してユーザーによって選択されたマーカーを考慮して拡張現実サービス画面を変更する。例えば、ポータブル端末はユーザーによって選択されたマーカーとマッチングするように拡張現実サービス画面を変更する。
【0055】
以後、ポータブル端末は507段階に進行して503段階で選択したマーカーに対する拡張現実付加情報を再生する。
以後、ポータブル端末は本アルゴリズムを終了する。
【0056】
前述の実施例でポータブル端末はユーザーによってガイド画面に表示されたマーカーが選択されている場合、ユーザーによって選択されたマーカーとマッチングするように拡張現実サービス画面を変更する。
【0057】
他の実施例でポータブル端末はユーザーによってガイド画面に表示されたマーカーが選択されている場合、拡張現実サービス画面を変更しないで、選択したマーカーに対する拡張現実付加情報を再生することもできる。
以下、ポータブル端末で拡張現実付加情報を再生するための方法について説明する。
【0058】
図6は本発明の実施例によるポータブル端末で拡張現実付加情報を提供するための手続きを示している。
図6を参照すると、ポータブル端末は601段階で拡張現実サービスを提供するかどうかを確認する。例えば、ポータブル端末はユーザーの操作によって拡張現実応用プログラムを実行するかどうかを確認する。
【0059】
一方、拡張現実サービスを提供する場合、ポータブル端末は603段階に進行して拡張現実構成情報を収集する。例えば、ポータブル端末は周辺映像、周辺音、前記ポータブル端末の動き情報及び前記ポータブル端末の位置情報などの拡張現実構成情報を収集する。
【0060】
拡張現実構成情報を収集した後、ポータブル端末は605段階に進行して拡張現実構成情報を用いて拡張現実サービスのためにユーザーに提供する拡張現実サービス画面を構成して表示部120に表示する。この時、ポータブル端末は図2又は図3に示すように認識可能なマーカーを備えるガイド画面を拡張現実サービス画面とともに表示することもできる。
【0061】
以後、ポータブル端末は607段階に進行して認識可能なマーカーとマッチングする拡張現実サービス画面が認識されているかどうかを確認する。
マーカーとマッチングする拡張現実サービス画面が認識された場合、ポータブル端末は609段階に進行して607段階で拡張現実サービス画面とマッチングしたものと認識したマーカーの拡張現実付加情報に対するビューポートが設定されているかどうかを確認する。
【0062】
マーカーの拡張現実付加情報に対するビューポートが設定されている場合、ポータブル端末は611段階に進行して607段階で拡張現実サービス画面とマッチングしたものと認識したマーカーの拡張現実付加情報に対するビューポートの設定情報を確認する。ここで、ビューポートの設定情報は拡張現実付加情報の出力時、拡張現実付加情報に対する出力角度、出力サイズ、出力色相、再生開始位置、再生速度などを備えている。
【0063】
ビューポートの設定情報を確認した後、ポータブル端末は613段階に進行してビューポートの設定情報によって607段階で拡張現実サービス画面とマッチングしたものと認識したマーカーに対する拡張現実付加情報を再生する。例えば、拡張現実付加情報が3Dイメージである場合、ポータブル端末はビューポートの設定情報に備えられている出力角度及び出力サイズを考慮して拡張現実付加情報を再生する。
【0064】
以後、ポータブル端末は615段階に進行してビューポートの設定イベントが発生しているかどうかを確認する。例えば、ポータブル端末は613段階で再生する拡張現実付加情報に対するビューポートを再設定するためのビューポートの設定メニューがポータブル端末のユーザーによって選択されているかどうかを確認する。
ビューポートの設定イベントが発生していない場合、ポータブル端末は613段階に進行して611段階で確認したビューポートの設定情報によって拡張現実付加情報を再生する。
【0065】
一方、ビューポートの設定イベントが発生した場合、ポータブル端末は617段階に進行して拡張現実付加情報に対するビューポートの設定情報を再設定する。例えば、ビューポートの設定イベントが発生した場合、ポータブル端末はビューポートコントロールインターフェースを表示部120に表示する。以後、ポータブル端末はビューポートコントロールインターフェースを通じてユーザーから提供されたビューポートの設定情報を保存する。この時、ポータブル端末はビューポートコントロールインターフェースを通じてユーザーから提供されたビューポートの設定情報によって613段階で表示した拡張現実付加情報の表示画面を変更する。
【0066】
一方、609段階でマーカーの拡張現実付加情報に対するビューポートが設定されていない場合、ポータブル端末は619段階に進行して607段階で拡張現実サービス画面とマッチングしたものと認識したマーカーに対する拡張現実付加情報を再生する。例えば、ポータブル端末はポータブル端末の状態情報を考慮して拡張現実付加情報を表示する。
【0067】
以後、ポータブル端末は621段階に進行してビューポートの設定イベントが発生しているかどうかを確認する。例えば、ポータブル端末は619段階で再生する拡張現実付加情報に対するビューポートを設定するためのビューポートの設定メニューがポータブル端末のユーザーによって選択されているかどうかを確認する。
【0068】
ビューポートの設定イベントが発生していない場合、ポータブル端末は619段階に進行して607段階で拡張現実サービス画面とマッチングしたものと認識したマーカーに対する拡張現実付加情報を再生する。
【0069】
一方、ビューポートの設定イベントが発生した場合、ポータブル端末は623段階に進行して拡張現実付加情報に対するビューポートの設定情報を設定する。例えば、ビューポートの設定イベントが発生した場合、ポータブル端末はビューポートコントロールインターフェースを表示部120に表示する。以後、ポータブル端末はビューポートコントロールインターフェースを通じてユーザーから提供されたビューポートの設定情報を保存する。この時、ポータブル端末はビューポートコントロールインターフェースを通じてユーザーから提供されたビューポートの設定情報によって619段階で表示した拡張現実付加情報の表示画面を変更する。
以後、ポータブル端末は本アルゴリズムを終了する。
【0070】
前述の実施例でポータブル端末は拡張現実付加情報の再生中ビューポートを設定する。
他の実施例でポータブル端末は図7に示すように拡張現実サービスの前に設定されたビューポートの設定情報によって拡張現実付加情報を再生させることもできる。
【0071】
図7は本発明の他の実施例によるポータブル端末で拡張現実付加情報を提供するための手続きを示している。
図7を参照すると、ポータブル端末は701段階で拡張現実サービスを提供するかどうかを確認する。例えば、ポータブル端末はユーザーの操作によって拡張現実応用プログラムを実行するかどうかを確認する。
拡張現実サービスを提供していない場合、ポータブル端末は本アルゴリズムを終了する。
【0072】
一方、拡張現実サービスを提供する場合、ポータブル端末は703段階に進行して拡張現実構成情報を収集する。例えば、ポータブル端末は周辺映像、周辺音、前記ポータブル端末の動き情報及び前記ポータブル端末の位置情報などの拡張現実構成情報を収集する。
【0073】
拡張現実構成情報を収集した後、ポータブル端末は705段階に進行して拡張現実構成情報を用いて拡張現実サービスのためにユーザーに提供する拡張現実サービス画面を構成して表示部120に表示する。この時、ポータブル端末は図2又は図3に示すように認識可能なマーカーを備えるガイド画面を拡張現実サービス画面とともに表示することもできる。
【0074】
以後、ポータブル端末は707段階に進行してマーカーとマッチングする拡張現実サービス画面が認識されているかどうかを確認する。
マーカーが認識された場合、ポータブル端末は709段階に進行して拡張現実付加情報に対するビューポートが設定されているかどうかを確認する。
【0075】
ビューポートが設定された場合、ポータブル端末は711段階に進行して既設定されたビューポートの設定情報を確認する。ここで、ビューポートの設定情報は拡張現実付加情報の出力時、拡張現実付加情報に対する出力角度、出力サイズ、出力色相、再生開始位置、再生速度などを備えている。
【0076】
ビューポートの設定情報を確認した後、ポータブル端末は713段階に進行してビューポートの設定情報によって707段階で拡張現実サービス画面とマッチングしたものと認識したマーカーに対する拡張現実付加情報を再生する。例えば、拡張現実付加情報が3Dイメージである場合、ポータブル端末はビューポートの設定情報に備えられている出力角度及び出力サイズを考慮して拡張現実付加情報を再生する。
以後、ポータブル端末は本アルゴリズムを終了する。
【0077】
前述のように拡張現実サービスを提供するポータブル端末で拡張現実サービスのためのマーカー情報を備えるガイド画面を提供することで、ポータブル端末のユーザーが拡張現実サービスのための付加情報を容易に再生できる利点がある。
【0078】
また、拡張現実サービスを提供するポータブル端末で認識した拡張現実サービスのための付加情報をビューポートの設定情報によって再生することで、ポータブル端末のユーザーの拡張現実サービスに対する活用度を向上できる利点がある。
【0079】
一方、本発明の詳細な説明では、具体的な実施例について説明したが、本発明の範囲から外れない限度内で様々な変形が可能である。従って、本発明の範囲は説明した実施例に限定してはならず、特許請求の範囲及び、この特許請求の範囲と均等なものなどによって決められなければならない。
【符号の説明】
【0080】
100 制御部
102 ガイド構成部
110 保存部
120 表示部
130 入力部
140 オーディオ処理部
150 通信部
160 カメラ部
800 拡張現実サービス画面
810 ガイド画面

【特許請求の範囲】
【請求項1】
ポータブル端末で拡張現実サービスを提供するための方法において、
周辺情報を用いて拡張現実サービス画面を構成する過程と、
前記拡張現実サービス画面を考慮して認識可能な少なくとも一つのマーカーを確認する過程と、
前記認識可能な少なくとも一つのマーカーを考慮してガイド画面を構成する過程と、
前記拡張現実サービス画面の一部分に前記ガイド画面を追加表示する過程と、を備えることを特徴とする方法。
【請求項2】
前記周辺情報は、周辺映像、周辺音、前記ポータブル端末の動き情報及び前記ポータブル端末の位置情報の中で少なくとも一つを備えることを特徴とする請求項1に記載の方法。
【請求項3】
前記ガイド画面を構成する過程は、
前記認識可能な少なくとも一つのマーカーを備えるガイド画面を構成する過程を備えることを特徴とする請求項1に記載の方法。
【請求項4】
前記ガイド画面を構成する過程は、
マーカーの認識確率を考慮して前記認識可能な複数のマーカーの中で少なくとも一つのマーカーを選択する過程と、
前記選択した少なくとも一つのマーカーを備えるガイド画面を構成する過程を備えて、
前記マーカーの認識確率は、前記ポータブル端末とマーカーとの距離、マーカーの認識回数の中で少なくとも一つを考慮して決定することを特徴とする請求項1に記載の方法。
【請求項5】
前記ガイド画面を構成する過程は、
ガイド画面構成情報を確認する過程と、
前記ガイド画面構成情報によって少なくとも一つのマーカーを備えるガイド画面を構成する過程を備えて、
前記ガイド画面構成情報は、ガイド画面のサイズ、ガイド画面の透明度及びガイド画面の色相の中で少なくとも一つを備えることを特徴とする請求項1に記載の方法。
【請求項6】
前記ガイド画面構成情報を確認する過程は、
前記ポータブル端末の周辺の明るさ及び前記ポータブル端末の動きの中で少なくとも一つを考慮してガイド画面構成情報を決定する過程を備えることを特徴とする請求項5に記載の方法。
【請求項7】
前記ガイド画面に表示されたマーカーが選択されている場合、前記マーカーに対する拡張現実付加情報を再生させる過程をさらに備えることを特徴とする請求項1に記載の方法。
【請求項8】
前記ガイド画面に備えられるマーカーとマッチングする拡張現実サービス画面を認識した場合、前記マーカーに対する拡張現実付加情報を確認する過程と、
前記拡張現実付加情報に対するビューポートが設定されている場合、前記ビューポートの設定情報によって前記拡張現実付加情報を画面に表示する過程と、をさらに備えて、
前記ビューポートの設定情報は、拡張現実付加情報に対する出力角度、出力サイズ、出力色相、再生開始位置、再生速度の中で少なくとも一つを備えることを特徴とする請求項1に記載の方法。
【請求項9】
前記拡張現実付加情報を画面に表示した後、ビューポートの設定イベントが発生しているかどうかを確認する過程と、
前記ビューポートの設定イベントが発生した場合、ビューポートの設定値を確認する過程と、
前記ビューポートの設定値によって前記拡張現実付加情報の表示画面を変更する過程と、をさらに備えることを特徴とする請求項8に記載の方法。
【請求項10】
前記ビューポートの設定値を保存する過程を備えることを特徴とする請求項9に記載の方法。
【請求項11】
周辺情報を用いて拡張現実サービス画面を構成し、前記拡張現実サービス画面を考慮して認識可能な少なくとも一つのマーカーを確認し、前記認識可能な少なくとも一つのマーカーを考慮してガイド画面を構成する制御部と、
前記拡張現実サービス画面の一部分に前記ガイド画面を追加表示する表示部と、を備えることを特徴とするポータブル端末装置。
【請求項12】
前記制御部は、周辺映像、周辺音、前記ポータブル端末装置の動き情報及び前記ポータブル端末装置の位置情報の中で少なくとも一つを備える周辺情報を用いて拡張現実サービス画面を構成することを特徴とする請求項11に記載のポータブル端末装置。
【請求項13】
前記制御部は、前記認識可能な少なくとも一つのマーカーを備えるガイド画面を構成することを特徴とする請求項11に記載のポータブル端末装置。
【請求項14】
前記制御部は、マーカーの認識確率を考慮して前記認識可能な複数のマーカーの中で少なくとも一つのマーカーを選択して、前記選択した少なくとも一つのマーカーを備えるガイド画面を構成し、
前記マーカーの認識確率は、前記ポータブル端末装置と該当のマーカーとの距離、該当のマーカーの認識回数の中で少なくとも一つを考慮して決定することを特徴とする請求項11に記載のポータブル端末装置。
【請求項15】
前記制御部は、ガイド画面構成情報によって少なくとも一つのマーカーを備えるガイド画面を構成し、
前記ガイド画面構成情報は、ガイド画面のサイズ、ガイド画面の透明度及びガイド画面の色相の中で少なくとも一つを備えることを特徴とする請求項11に記載のポータブル端末装置。
【請求項16】
前記制御部は、前記ポータブル端末装置の周辺の明るさ及び前記ポータブル端末装置の動きの中で少なくとも一つを考慮してガイド画面構成情報を決定することを特徴とする請求項15に記載のポータブル端末装置。
【請求項17】
前記制御部は、前記ガイド画面に表示されたマーカーが選択されている場合、前記マーカーに対する拡張現実付加情報を再生することを特徴とする請求項11に記載のポータブル端末装置。
【請求項18】
前記制御部は、前記表示部を通じてマーカーにマッチングした拡張現実サービス画面を認識した場合、前記マーカーに対する拡張現実付加情報を確認して、
前記拡張現実付加情報に対するビューポートが設定されている場合、前記ビューポートの設定情報によって前記拡張現実付加情報を画面に表示するように制御し、
前記ビューポートの設定情報は、拡張現実付加情報に対する出力角度、出力サイズ、出力色相、再生開始位置、再生速度の中で少なくとも一つを備えることを特徴とする請求項11に記載のポータブル端末装置。
【請求項19】
前記制御部は、前記表示部に表示した拡張現実付加情報に対するビューポートの設定イベントが発生した場合、入力部を通じて提供されたビューポートの設定値によって前記表示部に表示された前記拡張現実付加情報の表示を変更することを特徴とする請求項18に記載のポータブル端末装置。
【請求項20】
前記制御部は、前記ビューポートの設定値を保存部に保存することを特徴とする請求項19に記載のポータブル端末装置。
【請求項21】
ポータブル端末で拡張現実サービスを提供するための方法において、
周辺情報を用いて拡張現実サービス画面を構成する過程と、
前記拡張現実サービス画面を考慮して認識可能な少なくとも一つのマーカーを確認する過程と、
ガイド画面構成情報を確認する過程と、
前記ガイド画面構成情報によって前記認識可能な少なくとも一つのマーカーを含むガイド画面を構成する過程と、を含み、
前記周辺情報は、周辺映像、周辺音、前記ポータブル端末の動き情報及び前記ポータブル端末の位置情報の中で少なくとも一つを含み、
前記ガイド画面構成情報は、ガイド画面のサイズ、ガイド画面の透明度及びガイド画面の色相の中で少なくとも一つを含み、
前記拡張現実サービス画面の一部分に前記ガイド画面を追加表示する過程を含む、ことを特徴とする方法。
【請求項22】
周辺情報を用いて拡張現実サービス画面を構成する手段と、
前記拡張現実サービス画面を考慮して認識可能な少なくとも一つのマーカーを確認する手段と、
前記認識可能な少なくとも一つのマーカーを考慮してガイド画面を構成する手段と、
前記拡張現実サービス画面の一部分に前記ガイド画面を追加表示する手段と、を含むことを特徴とするポータブル端末装置。



【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate


【公開番号】特開2013−109768(P2013−109768A)
【公開日】平成25年6月6日(2013.6.6)
【国際特許分類】
【出願番号】特願2012−256842(P2012−256842)
【出願日】平成24年11月22日(2012.11.22)
【出願人】(390019839)三星電子株式会社 (8,520)
【氏名又は名称原語表記】Samsung Electronics Co.,Ltd.
【住所又は居所原語表記】129,Samsung−ro,Yeongtong−gu,Suwon−si,Gyeonggi−do,Republic of Korea
【Fターム(参考)】