頭部装着型表示装置及びクライアント装置
【課題】 クライアント装置に表示される操作画面による操作に基づいて処理を行うことで、クライアント装置と連係して動作する頭部装着型表示装置及びクライアント装置等を提供すること。
【解決手段】 頭部装着型表示装置200は表示画像の表示を行う表示部220と、クライアント装置100及び外部サーバシステム400と通信を行う通信部230と、処理部210を含み、通信部230は頭部装着型表示装置200の操作画面がクライアント装置100の表示部120に表示され、操作画面の操作でクライアント装置100から頭部装着型表示装置200に対してHTTPリクエストが送信された場合に、HTTPリクエストを受信し、処理部210はHTTPリクエストに対応するコマンドを実行し、通信部230はコマンドの実行結果をクライアント装置100に対してHTTPレスポンスとして返信する。
【解決手段】 頭部装着型表示装置200は表示画像の表示を行う表示部220と、クライアント装置100及び外部サーバシステム400と通信を行う通信部230と、処理部210を含み、通信部230は頭部装着型表示装置200の操作画面がクライアント装置100の表示部120に表示され、操作画面の操作でクライアント装置100から頭部装着型表示装置200に対してHTTPリクエストが送信された場合に、HTTPリクエストを受信し、処理部210はHTTPリクエストに対応するコマンドを実行し、通信部230はコマンドの実行結果をクライアント装置100に対してHTTPレスポンスとして返信する。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、頭部装着型表示装置及びクライアント装置等に関する。
【背景技術】
【0002】
近年、表示デバイスとしてHMD(Head Mounted Display、頭部装着型表示装置)が用いられるようになっている。しかしながら、HMDは頭部に装着するという特性上、機器を大きくすることは好ましくない。そのため、HMDを操作するための操作部(例えば操作ボタン等)が簡素な構成になってしまい、複雑な操作を行うことが困難である。
【0003】
また、モバイル環境におけるクライアント装置として、携帯電話等が広く普及している。携帯電話等は、ネットワークに接続したりすることで、多くのコンテンツを取得することが可能であるが、表示部(ディスプレイ)の大きさに限界があり、十分な表示ができないという問題がある。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開平10−233772号公報
【特許文献2】特開2000−122957号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
特許文献1では、例えば企業内等のネットワークにおいて、ネットワークに接続している各端末に対して、HTML文書等の同報送信を行い、データを共有する技術が開示されている。しかし、特許文献1に開示されている技術は、データの共有のための同報送信に関するものであり、各端末に表示されるデータは同じものとなる。そのため、複数の端末にデータを送信し表示する点では本発明と同様であるが、表示部の大きさ等の問題を解決するための技術とはならない。
【0006】
特許文献2では、クライアント側を複数の端末で構成し、データを複数の端末で連携して表示する技術が開示されている。しかし、特許文献2では、インターネットに接続する端末が1つに限定されている。
【0007】
また、特許文献1、特許文献2ともに、クライアント装置として頭部装着型表示装置のことが考慮されておらず、頭部装着型表示装置の操作部に関する問題に対処する手法ではない。
【0008】
本発明の幾つかの態様によれば、クライアント装置に表示される操作画面による操作に基づいて処理を行うことで、クライアント装置と連係して動作する頭部装着型表示装置及びクライアント装置等を提供することができる。
【0009】
また、本発明の幾つかの態様によれば、頭部装着型表示装置の表示部と、クライアント装置の表示部とに関連する表示データを表示することで、複数画面の連携表示を行う頭部装着型表示装置及びクライアント装置等を提供することができる。
【課題を解決するための手段】
【0010】
本発明の一態様は、表示画像の表示を行う表示部と、クライアント装置及び外部サーバシステムとの間で通信を行う通信部と、処理部と、を含み、前記通信部は、頭部装着型表示装置を操作するための操作画面が、前記クライアント装置の表示部に表示され、前記クライアント装置の前記表示部に表示される前記操作画面の操作に基づいて、前記クライアント装置から頭部装着型表示装置に対してHTTP(Hypertext Transfer Protocol)リクエストが送信された場合に、送信された前記HTTPリクエストを受信し、前記処理部は、受信した前記HTTPリクエストに対応するコマンドを実行し、前記通信部は、前記処理部における前記コマンドの実行結果を、前記クライアント装置に対してHTTPレスポンスとして返信する頭部装着型表示装置に関係する。
【0011】
本発明の一態様では、頭部装着型表示装置は、クライアント装置に表示される操作画面での操作に基づいて、クライアント装置からHTTPリクエストを受信し、受信したHTTPリクエストに基づいてコマンド処理が行われる。そして、コマンドの実行結果をHTTPレスポンスとしてクライアント装置に返す。よって、クライアント装置と連係して動作する頭部装着型表示装置、特に、クライアント装置によって操作可能な頭部装着型表示装置を実現すること等ができる。
【0012】
また、本発明の一態様では、前記通信部は、前記クライアント装置の前記表示部に前記操作画面が表示され、前記操作画面においてアプリケーション実行のためのパラメータが設定される場合に、前記パラメータを含む前記HTTPリクエストを受信し、前記処理部は、前記パラメータに基づいてパラメータ設定された前記アプリケーションを実行する処理を行ってもよい。
【0013】
これにより、クライアント装置により設定されたパラメータに基づいて、頭部装着型表示装置においてアプリケーションを実行することが可能になる。
【0014】
また、本発明の一態様では、前記処理部は、前記アプリケーションを実行することで前記通信部を介して前記外部サーバシステムから取得したデータに基づいて、頭部装着型表示装置用表示データと、クライアント装置用表示データとを生成し、前記表示部は、頭部装着型表示装置用表示データに基づいて、表示を行い、前記通信部は、前記クライアント装置に対して、前記HTTPレスポンスとして前記クライアント装置用表示データを送信してもよい。
【0015】
これにより、頭部装着型表示装置用表示データとクライアント装置用表示データとを生成し、頭部装着型表示装置用表示データは自身の表示部で表示し、クライアント装置用表示データはクライアント装置に送信することができる。よって、複数の表示部を用いた連携表示等が可能になる。
【0016】
また、本発明の一態様では、前記処理部は、取得した前記データに基づいて、第1〜第N(Nは整数)の頭部装着型表示装置用表示データと、第1〜第Nのクライアント装置用表示データとを生成し、前記表示部は、前記第1〜第Nの頭部装着型表示装置用表示データのうち第i(iは1≦i≦Nを満たす整数)の頭部装着型表示装置用表示データと、前記第1〜第Nのクライアント装置用表示データのうち第iのクライアント装置用表示データとが関連するデータである場合に、前記第1〜第Nの頭部装着型表示装置用表示データを所与の表示間隔で順次表示し、前記通信部は、前記表示部に第iの頭部装着型表示装置用表示データが表示されている場合に、前記第1〜第Nのクライアント装置用表示データのうち、前記第iのクライアント装置用表示データを、前記クライアント装置に対して送信してもよい。
【0017】
これにより、頭部装着型表示装置用表示データ及びクライアント装置用表示データが複数ある場合に、頭部装着型表示装置に表示されるデータと、クライアント装置に表示されるデータとが、関連するデータであるようにすることが可能になる。
【0018】
また、本発明の一態様では、前記通信部は、前記クライアント装置からの、前記アプリケーションを実行するための前記パラメータの送信が前記HTTPリクエストとして行われた場合に、前記クライアント装置に対する前記クライアント装置用表示データの送信を、前記HTTPリクエストに対応する前記HTTPレスポンスとして返してもよい。
【0019】
これにより、HTTPリクエストとHTTPレスポンスとの対応付けを明確にすることが可能になる。
【0020】
また、本発明の一態様では、前記通信部は、前記クライアント装置からの前記HTTPリクエストが、所与のURL(Uniform Resource Locator)で指示されるコンテンツの表示指示であった場合に、前記所与のURLに対応するコンテンツに対してアクセスを行って、前記コンテンツを受信し、前記表示部は、受信した前記コンテンツを表示してもよい。
【0021】
これにより、クライアント装置からURLに対応するコンテンツの表示指示をHTTPリクエストとして受信した場合には、当該コンテンツを表示することが可能になる。
【0022】
また、本発明の一態様では、前記処理部は、前記クライアント装置からの前記HTTPリクエストが、前記表示画像におけるカーソルの移動コマンド、カーソルにより指示されるコンテンツの選択コマンド及び前画面への戻り指示コマンドのうちの少なくとも1つのコマンドであった場合に、前記HTTPリクエストに基づいて、前記コマンドの実行処理を行い、前記表示部は、前記コマンドの実行処理に従って、前記表示画像を更新し、更新後の表示画像を表示してもよい。
【0023】
これにより、クライアント装置から、カーソルの移動コマンド、カーソルにより指示されるコンテンツの選択コマンド及び前画面への戻り指示コマンドのうちの少なくとも1つのコマンドをHTTPリクエストとして受信した場合には、当該コマンドを実行することが可能になる。
【0024】
また、本発明の一態様では、前記クライアント装置において表示される前記操作画面情報のテンプレートを記憶するテンプレート記憶部を含み、前記処理部は、前記テンプレート記憶部に記憶された前記操作画面情報の前記テンプレートに対して、頭部装着型表示装置の前記アドレス情報を埋め込むことにより前記操作画面情報を生成してもよい。
【0025】
これにより、テンプレートを用いることで、操作画面情報の生成処理を簡単化すること等が可能になる。
【0026】
また、本発明の一態様では、前記テンプレート記憶部は、前記頭部装着型表示装置において実行されるアプリケーションのテンプレートを記憶し、前記通信部は、前記クライアント装置の前記表示部に表示された前記操作画面において設定されたアプリケーションを実行するためのパラメータを受信し、前記処理部は、前記テンプレート記憶部に記憶された前記アプリケーションの前記テンプレートに対して、前記通信部が受信した前記パラメータを埋め込むことで、頭部装着型表示装置において実行される前記アプリケーションを生成してもよい。
【0027】
これにより、テンプレートを用いることで、アプリケーションの生成処理を簡単化すること等が可能になる。
【0028】
また、本発明の一態様では、前記処理部は、前記通信部が、前記クライアント装置からの前記HTTPリクエストとして、初期接続リクエストを受信した場合に、前記操作画面を前記クライアント装置の前記表示部に表示するための情報である操作画面情報を生成し、前記通信部は、前記処理部が生成した前記操作画面情報を前記HTTPレスポンスとして前記クライアント装置に対して送信してもよい。
【0029】
これにより、クライアント装置から初期接続リクエストがあった場合には、操作画面情報をレスポンスとして返すことで、クライアント装置による頭部装着型表示装置の操作等が可能になる。
【0030】
また、本発明の一態様では、前記表示部は、前記表示画像として、頭部装着型表示装置のアドレス情報を表示し、前記通信部は、前記表示部に表示された前記アドレス情報に基づいて行われた、前記クライアント装置からのWebブラウザを用いたリクエストを前記初期接続リクエストとして受信し、前記処理部は、前記操作画面情報を生成し、前記通信部は、前記処理部が生成した前記操作画面情報を前記HTTPレスポンスとして前記クライアント装置に対して送信してもよい。
【0031】
これにより、クライアント装置においてWebブラウザが用いられる場合にも、初期接続リクエストを行うことが可能になる。
【0032】
また、本発明の一態様では、前記通信部は、前記HTTPリクエストとして、前記クライアント装置からHTML(Hypertext Markup Language)で記述された画面情報を受信し、前記表示部は、受信した前記HTMLで記述された前記画面情報に基づいて生成された表示画像を表示してもよい。
【0033】
これにより、頭部装着型表示装置をクライアント装置のセカンダリディスプレイとして用いること等が可能になる。
【0034】
また、本発明の他の態様は、表示画像の表示を行う表示部と、他のクライアント装置及び外部サーバシステムとの間で通信を行う通信部と、処理部と、を含み、前記通信部は、自身のクライアント装置を操作するための操作画面が、前記他のクライアント装置の表示部に表示され、前記他のクライアント装置の前記表示部に表示される前記操作画面の操作に基づいて、前記他のクライアント装置から自身のクライアント装置に対してHTTPリクエストが送信された場合に、送信された前記HTTPリクエストを受信し、前記処理部は、受信した前記HTTPリクエストに対応するコマンドを実行し、前記通信部は、前記処理部における前記コマンドの実行結果を、前記他のクライアント装置に対してHTTPレスポンスとして返信するクライアント装置に関係する。
【図面の簡単な説明】
【0035】
【図1】第1の実施形態のシステム構成例。
【図2】第1の実施形態の処理を説明するフローチャート。
【図3】頭部装着型表示装置の表示部に表示される表示画像の例。
【図4】図4(A)、図4(B)は操作画面情報をテンプレートから生成する例。
【図5】頭部装着型表示装置の表示部、及び、クライアント装置の表示部に表示される画像の例。
【図6】第2の実施形態のシステム構成例。
【図7】第2の実施形態の処理の例を説明する図。
【図8】第2の実施形態の処理を説明するフローチャート。
【図9】頭部装着型表示装置の表示部に表示される表示画像の他の例。
【図10】図10(A)、図10(B)はアプリケーション実行用情報をテンプレートから生成する例。
【図11】外部サーバシステムから取得するデータの例。
【図12】頭部装着型表示装置の表示部、及び、クライアント装置の表示部に表示される画像の他の例。
【発明を実施するための形態】
【0036】
以下、本実施形態について説明する。なお、以下に説明する本実施形態は、特許請求の範囲に記載された本発明の内容を不当に限定するものではない。また本実施形態で説明される構成の全てが、本発明の必須構成要件であるとは限らない。
【0037】
1.本実施形態の手法
まず、本実施形態の手法について説明する。近年、表示装置として用いられている頭部装着型表示装置(HMD、Head Mounted Display)は、頭部に装着するという特性上、大きさ等に制限が加わり、結果として簡素な構成の操作部しか持てないことが多い。そのため携帯電話等のモバイル機器に比べて、操作のためのインターフェースが充実しておらず、複雑な操作が難しいという問題がある。
【0038】
また、一般的なモバイル機器(例えば携帯電話等)は、表示部の大きさが小さいことが多く、十分な表示を行うことが困難である。
【0039】
そこで本出願人は、同一のLAN環境内にある頭部装着型表示装置とクライアント装置(例えば携帯電話等)を連携させる手法を提案する。具体的には、頭部装着型表示装置は、クライアント装置からのHTTPリクエストを受信し、受信したHTTPリクエストに対応したコマンドを実行した上で、コマンドの実行結果をHTTPレスポンスとしてクライアント装置に対して返す。HTTPリクエストとして、操作指示コマンドを用いれば、クライアント装置から頭部装着型表示装置を操作することが可能になり、頭部装着型表示装置の操作部の問題に対応することができる。また、それぞれの機器が有する表示部に、関連したデータを表示する処理を行って、データの複数画面連携表示をすることで、クライアント装置(モバイル機器、携帯電話等)の表示部の問題に対応することができる。
【0040】
以下、第1の実施形態及び第2の実施形態について説明する。第1の実施形態では、頭部装着型表示装置の操作部(リモコン)としてクライアント装置を用いる手法について説明する。また第2の実施形態では、グルメアプリケーション(レストラン検索アプリケーション)を具体例として、外部サーバシステムから取得してきたデータに基づいて、頭部装着型表示装置とクライアント装置の表示部を用いた複数画面連携表示を行う手法について説明する。
【0041】
2.第1の実施形態
頭部装着型表示装置の操作部(リモコン)としてクライアント装置を用いる手法について説明する。具体的には、システム構成例を説明した後、フローチャートを用いて処理の詳細について説明する。
【0042】
2.1 システム構成例
図1に本実施形態に係る頭部装着型表示装置を含むシステムの構成例を示す。システムは、クライアント装置100と、頭部装着型表示装置200と、ゲートウェイ300と、外部サーバシステム400とを含む。ただし、図1の構成に限定されず、これらの一部の構成要素を省略したり、他の構成要素を追加するなどの種々の変形実施が可能である。このうち、クライアント装置100と、頭部装着型表示装置200はユーザにより所持される。またゲートウェイ300は、単体で存在し、ユーザに所持されてもよいし所持されなくてもよい。また、クライアント装置100或いは頭部装着型表示装置200のいずれかがゲートウェイ300を内蔵してもよい。
【0043】
クライアント装置100は、操作部150と、表示部120と、通信部130とを含む。操作部150は、種々の操作を行うためのものであり、例えばタッチパネルや操作キー等により構成される。表示部120は、表示画像の表示を行う。通信部130は、ゲートウェイ300を介して、頭部装着型表示装置200との通信を行う。また、ゲートウェイ300及びネットワーク10を介して外部サーバシステムとの通信を行ってもよい。
【0044】
頭部装着型表示装置200は、処理部210と、表示部220と、通信部230と、テンプレート記憶部240とを含む。処理部210は種々の処理を行う。例えば、クライアント装置からのHTTPリクエストに対応したコマンドの実行処理を行う。表示部220は、表示画像の表示を行う。通信部230は、ゲートウェイ300を介して、クライアント装置100との通信を行う。また、ゲートウェイ300及びネットワーク10を介して外部サーバシステム400との通信を行ってもよい。テンプレート記憶部240は、クライアント装置100の表示部120に表示されるコンテンツのテンプレートを記憶する。例えば、頭部装着型表示装置200を操作するための操作画面のテンプレート等を記憶する。
【0045】
ゲートウェイ300は、NAPT(Network Address Port Translation)等を用いて、複数の端末をネットワーク10に接続可能にする。また、DHCP(Dynamic Host Configuration Protocol)サーバの機能を有し、接続される機器(ここではクライアント装置100と頭部装着型表示装置200)に対して、動的にプライベートIPアドレスを割り当ててもよい。
【0046】
2.2 処理の詳細
次に、図2のフローチャートを用いて処理の詳細について説明する。この処理が開始されると、まず頭部装着型表示装置200の電源がONにされる(S101)。そして、頭部装着型表示装置200の表示部220に、図3に示したように、頭部装着型表示装置200のURLを表示する(S102)。そして、表示部220に表示されたURLに基づいて、クライアント装置100から頭部装着型表示装置200へ接続が行われる(S103)。
【0047】
クライアント装置100からの接続が行われると、頭部装着型表示装置200の処理部210は、テンプレート記憶部240から操作画面情報のテンプレートを読み出し、読み出したテンプレートに対して頭部装着型表示装置200のURLを埋め込むことで、操作画面情報を生成する。
【0048】
具体的なテンプレートと埋め込み処理の例を図4(A)、図4(B)に示す。図4(A)、図4(B)の例では、テンプレートとなるHTML文書(図4の(A))の一部にコマンドがあり、当該コマンドの一部が{{HMD_URL}}というタグになっている。テンプレートから生成される操作画面情報(図4の(B))は、タグの箇所に頭部装着型表示装置のURL(IPアドレス)を埋め込むことで生成されるHTML文書となる。
【0049】
そして通信部230は、生成した操作画面情報をクライアント装置100に対して送信し(S104)、クライアント装置100は、受信した操作画面情報に基づいて、表示部120に操作画面を表示する(S105)。操作画面の具体例と、当該操作画面により操作される頭部装着型表示装置200に表示される画面の具体例を図5に示す。
【0050】
図5のA1に示したように、クライアント装置100の表示部120には、例えばテキスト入力エリアと移動ボタン、十字キーと確定ボタン及び戻るボタン等が表示される。テキスト入力エリアに接続したいサイトのURLを入力して、移動ボタンを押すことで、図5のA2に示したように頭部装着型表示装置200の表示部220に、対応するコンテンツが表示される。表示部220にコンテンツが表示されている状態で、十字キーを押すことで、ページ送りを行ったり、コンテンツ内のリンクを選択したりすることができる。コンテンツ内のリンクを選択する例を図5のA2の破線に示す。リンクが選択されている状態で確定ボタンが押されると、対応するリンク先へ移動する。また、戻るボタンが押されることで前の表示画面に戻ることができる。
【0051】
なお、以上のS101〜S105の処理は、クライアント装置100がWebブラウザを用いて接続を行うという前提での流れである。つまり、同じLAN環境内の他の端末のIPアドレスを取得できないという条件下での処理であり、Webブラウザではない専用アプリケーションを用いた場合には、処理を簡単化することが可能である。
【0052】
例えば、S102及びS103における表示されたURLの入力を行わずに、専用アプリケーション(同一LAN環境内の他の端末のIPアドレスを知ることができる)により、頭部装着型表示装置200への接続を行ってもよい。さらに簡略化する場合には、S101〜S105を省略して、クライアント装置100において操作画面情報を生成するステップを設けてもよい。クライアント装置100は、頭部装着型表示装置200のIPアドレスを知ることができたなら、自身で直接操作画面情報を生成し、表示部120に操作画面を表示してもよい。その場合、テンプレートとなる情報は頭部装着型表示装置200のテンプレート記憶部240ではなく、クライアント装置100が保持しておく必要がある。
【0053】
操作画面を表示部120に表示したら、当該操作画面における操作に基づいて、クライアント装置100は頭部装着型表示装置200に対してコマンドを送信する(S106)。ここで送信されるコマンドとは、具体的には以下の様になる。
【0054】
(1)http://192.168.0.2/?command=open&url=http://news.com
(2)http://192.168.0.2/?command=key&action=up
(1)(2)の例でわかるように、コマンドはURLの形式であり、HTTPリクエストとして送信される。文字列「http://」のあとに頭部装着型表示装置200のURL(ここではIPアドレス192.168.0.2)が記述され、文字列「/?」の後に各パラメータの名称と値が「=」で結ばれ記述される。また、パラメータが複数ある場合には「&」を挟んで表記する。
【0055】
上述の(1)のコマンドでは、パラメータcommandの値をopenに設定し、パラメータurlの値をhttp://news.comに設定した上で、その情報を192.168.0.2に対応する端末に送信している。これは上述した操作画面の例で言えば、テキスト入力エリアに「http://news.com」と入力し、移動ボタンを押す操作により頭部装着型表示装置200に送信されるコマンドとなる。
【0056】
また、上述の(2)のコマンドでは、パラメータcommandの値をkeyに設定し、パラメータactionの値をupに設定している。これは上述した操作画面の例で言えば、十字キーの上ボタンを押す操作により送信されるコマンドとなる。また、commandの値がkeyである(つまりキー操作コマンドである)ときには、actionの値を変更することで、他のキー操作に対応するコマンドを送信することが可能である。例えばactionの値をdown、left、rightにすれば十字キーの下、左、右を押す操作になり、enter、backにすれば選択ボタン、戻るボタンを押す操作になる例が考えられる。
【0057】
以上のようなコマンドを受信すると、頭部装着型表示装置200は、まず当該コマンドが指定URLを開くコマンドであるかの判定を行う(S107)。具体的には、HTTPリクエストである上述のコマンドのうち、パラメータcommandの値をチェックし、値がopenであればYesと判定し、それ以外の場合はNoと判定する。Yesの場合には、指定されたURL(パラメータurlの値として設定されたもの)に対応するサイトにゲートウェイ300を介してアクセスし、コンテンツを表示部220に表示する(S108)。
【0058】
S107においてNoと判定された場合には、次に受信したコマンドがキー操作コマンドであるかの判定を行う(S109)。具体的にはHTTPリクエストである上述のコマンドのうち、パラメータcommandの値をチェックし、値がkeyであればYesと判定し、それ以外の場合はNoと判定する。Yesの場合にはコマンド(パラメータactionの値)に応じて、ページ送りやリンク選択、リンク先への移動及び前画面への戻り処理のいずれかの処理を行う(S110)。S109でNoと判定された場合及びS108、S110の処理が終了した場合には、S111に移行しコマンドの実行結果(成功もしくは失敗)をクライアント装置100に対してHTTPレスポンスとして返信する。
【0059】
クライアント装置100は、受信したコマンド実行結果の判定を行い(S112)、成功の場合にはS106に戻って操作を継続し、失敗の場合にはS113に移行して表示部120にエラーが生じた旨を表示する。
【0060】
以上の本実施形態では、図1に示したように、頭部装着型表示装置200は、表示画像の表示を行う表示部220と、通信部230と、処理部210とを含む。通信部230は、クライアント装置100及び外部サーバシステム400との間で通信を行う。ここで、頭部装着型表示装置200を操作するための操作画面が、クライアント装置100の表示部120に表示され、表示された当該操作画面の操作に基づいて、クライアント装置100から頭部装着型表示装置200に対してHTTPリクエストが送信される場合を考える。このとき頭部装着型表示装置200の通信部230はHTTPリクエストを受信し、処理部210は受信したHTTPリクエストに対応するコマンドを実行し、通信部230は処理部210におけるコマンドの実行結果をクライアント装置100に対してHTTPレスポンスとして返信する。
【0061】
ここで、HTTP(Hypertext Transfer Protocol)リクエストとは例えば、上述した(1)、(2)のようなhttpから始まる文字列をWebブラウザに入力し実行した場合に、WebブラウザからWebサーバに対して送信されるリクエストのことである。具体的にはメソッド名、対象となるコンテンツのURL(httpから始まる文字列等)、HTTPのバージョンからなるリクエスト行を含むものであり、例えば以下のリクエストが考えられる。
【0062】
GET http://192.168.0.2/?command=key&action=up HTTP/1.1
上述の例では、GETメソッドを用いているが、HTTPにはその他にもPOSTメソッドやHEADメソッド等が規定されている。上述のリクエスト行の他に言語やデータ形式を記述するヘッダ部が記述されることもある。また、POSTメソッド等ではサーバに送信するデータを記述するボディ部が記述されることもある。なお、HTTPリクエストを送信する主体はWebブラウザに限定されるものではなく、HTTPを使用可能な専用アプリケーションであってもよい。
【0063】
これにより、頭部装着型表示装置200とクライアント装置100とが、連携して動作することが可能になる。特に、クライアント装置からの要求(HTTPリクエスト)に対して頭部装着型表示装置200が処理を行い、結果(HTTPレスポンス)を返すという形態になる。よって、一例としてはHTTPリクエストがクライアント装置100の表示部120に表示された操作画面での操作の結果として送信された頭部装着型表示装置200に対する操作要求(操作コマンド)である場合には、クライアント装置100を用いて頭部装着型表示装置200を操作すること等が可能になる。頭部装着型表示装置200は頭部に装着するという制約上、複雑な操作が可能な操作部を持つことが難しいということに鑑みれば、他の機器(クライアント装置100としては例えば携帯電話等が考えられる)から操作を行えるということは非常に有用である。本実施形態においては、HTTPリクエストは頭部装着型表示装置200に対する操作要求であり、頭部装着型表示装置200で行われるコマンド処理はWebアクセス処理等になる。また、HTTPレスポンスは、コマンド処理の結果(成功か失敗)である。また、後述する第2の実施形態では、HTTPリクエストは頭部装着型表示装置200に対する操作要求(特にアプリケーションのパラメータ設定の要求)であり、コマンド処理はアプリケーション(Webアプリケーション)の実行になる。また、HTTPレスポンスは、アプリケーションの実行の結果取得、生成された表示データ等が返されることになる。
【0064】
本実施形態では、上述してきたように通信のプロトコルとしてHTTPが用いられる。そしてクライアント側においてHTTPを利用可能なアプリケーションとしてWebブラウザが広く知られている。つまり、HTTPを利用する利点として、Webブラウザが利用可能である点が挙げられる。携帯電話等のように、通信機能を有する端末には標準的にWebブラウザが搭載されている(或いは容易に導入可能である)現状に鑑みれば、Webブラウザが利用可能であるということはすなわち、本実施形態で用いられるクライアント装置100として、専用の端末を用意する必要がなく汎用的な端末を用いることが可能であることを示している。
【0065】
なお、以上では利用する通信プロトコルはHTTPであるものとして説明してきたが、本発明におけるHTTPは、狭義のHTTPだけでなくHTTPを発展させた規格(例えばHTTPS等)や同様の思想に基づく規格を含むものである。例えば、セキュリティ機能を考えた場合にはHTTPS(Hypertext Transfer Protocol over Secure Socket Layer)を用いてもよい。狭義のHTTPはメッセージが平文で送られるのに対して、HTTPSでは認証処理やメッセージの暗号化処理が行われることになる。そのため、HTTPSを用いることでクライアントとサーバ間の通信における盗聴を抑止すること等が可能になる。例えば、外部サーバシステム400からのデータの取得等の際に、ユーザ名とパスワードを用いた認証処理が行われるような場合には、当該ユーザ名及びパスワードを第三者に悪用されないためにも、HTTPSを用いることが望ましい。また、ゲートウェイ300を介したクライアント装置100と頭部装着型表示装置200の接続が、ホットスポット等の不特定多数が利用可能な状況で行われる場合にもHTTPSの利用が考えられる。なお、WebブラウザはHTTPと共にHTTPSもサポートしていることから、上述のHTTPを用いる利点は、HTTPSを用いた場合にもそのまま当てはまることになる。
【0066】
また、クライアント装置100からのHTTPリクエストが、所与のURLで指示されるコンテンツの表示指示である場合に、通信部230は、所与のURLに対応するコンテンツに対してアクセスを行い、コンテンツを受信する。そして、表示部220は、受信したコンテンツを表示する。
【0067】
これにより、クライアント装置100を用いた頭部装着型表示装置200の操作例として、所与のURLに対応するコンテンツへのアクセス処理を行うことが可能になる。具体的には、図5のA1に示した操作画面において、テキスト入力エリアにアクセス対象となるコンテンツのURLを入力した上で、移動ボタンを押した場合に、入力したURLに対応するコンテンツを頭部装着型表示装置200の表示部220に表示すること等ができる。
【0068】
また、クライアント装置からのHTTPリクエストが、表示画像(頭部装着型表示装置200の表示部220に表示される画像)におけるカーソルの移動コマンド、カーソルにより指示されるコンテンツの選択コマンド及び前画面への戻り指示コマンドのうちの少なくとも1つのコマンドである場合を考える。このとき、処理部210はHTTPリクエストに基づいて、コマンドの実行処理を行い、表示部220はコマンドの実行結果に従って表示画像を更新し、更新後の表示画像を表示する。
【0069】
これにより、クライアント装置100を用いた頭部装着型表示装置200の操作例として、カーソルの移動コマンド、カーソルにより指示されるコンテンツの選択コマンド及び前画面への戻り指示コマンドのうちの少なくとも1つのコマンドの実行が可能となる。具体的には、図5のA1に示した操作画面において、十字キーを操作することにより、表示画像上のカーソル(図5のA2の例ではリンクの周囲を覆う破線で表示されている)を移動させることができる。また、確定ボタンを押すことで、カーソルにより指示されるコンテンツ(例えばリンク先のコンテンツ)を選択することもできるし、戻るボタンを押すことで、表示画像を1つ前の状態に戻ることもできる。ただし、可能な操作はこれに限定されるものではなく、画面のスクロール処理や、表示タブの選択処理(表示画面がタブ表示可能な場合等)等の処理も可能である。つまり、操作画面の形式を切り替えたり、ボタンに割り当てられる機能を切り替えたりすることで任意の操作が可能となる。
【0070】
また、図1に示したように、頭部装着型表示装置200は、テンプレートを記憶するテンプレート記憶部240を含む。ここでテンプレートとは、クライアント装置100の表示部120で表示される操作画面のための情報である操作画面情報のテンプレートである。そして、処理部210は、操作画面情報のテンプレートに対して、頭部装着型表示装置200のアドレス情報を埋め込むことにより、操作画面情報を生成してもよい。
【0071】
これにより、テンプレートを用いて操作画面情報の生成処理を簡単化することが可能になる。本実施形態においては、ネットワークにつながれた(例えば同一のLAN環境内におかれた)頭部装着型表示装置200とクライアント装置100との間の連携であり、特に、クライアント装置100からのHTTPリクエストを用いて頭部装着型表示装置200で処理を行う。クライアント装置100から送信されるHTTPリクエストは、当然頭部装着型表示装置200に送信されるべきであるから、テンプレートに対して埋め込むのは頭部装着型表示装置200のアドレス情報(例えばIPアドレス)になる。なお、本実施形態のシステムではDHCP(Dynamic Host Configuration Protocol)が用いられるケースが考えられ、その場合頭部装着型表示装置200のIPアドレスが動的に変化する可能性がある。上述のテンプレートに対するアドレス情報の埋め込み処理は、DHCPが用いられる場合に特に効果を発揮し、頭部装着型表示装置200のIPアドレスをテンプレートに埋め込むことで、当該IPアドレスが動的に変化したとしても、それに対応させて操作画面情報も動的に生成することが可能になる。
【0072】
また、通信部230が、クライアント装置100からのHTTPリクエストとして、初期接続リクエストを受信した場合に、処理部210は操作画面情報を生成し、通信部230は処理部210が生成した操作画面情報をHTTPレスポンスとしてクライアント装置に対して送信してもよい。
【0073】
これにより、クライアント装置100からの初期接続リクエスト(例えば最初に接続された際のHTTPリクエスト)に対して、頭部装着型表示装置200は操作画面情報を生成しクライアント装置100に対して送信することが可能になる。つまり、頭部装着型表示装置200とクライアント装置100とが連係して動作を開始する際に、操作画面情報をクライアント装置100に送信することができるため、連係動作の具体例として、クライアント装置100を用いた頭部装着型表示装置200の操作が可能になる。
【0074】
また、表示部220は図3に示したように、表示画像として頭部装着型表示装置200のアドレス情報を表示し、通信部230は表示部220に表示されたアドレス情報に基づいて行われた、クライアント装置からのWebブラウザを用いたリクエストを、初期接続リクエストとして受信してもよい。
【0075】
これにより、クライアント装置100においてWebブラウザが用いられる場合にも、頭部装着型表示装置200とクライアント装置100との連係動作が可能になる。Webブラウザは同一のLAN環境内におかれた他の端末のアドレス情報(IPアドレス)を取得することができない。そのため、クライアント装置100から頭部装着型表示装置200への最初のアクセスは、単純に行うことはできない。そのため、一例として頭部装着型表示装置200(当然自身のIPアドレスは知ることができる)の表示部220に頭部装着型表示装置200のアドレス情報を表示して、クライアント装置100を操作するユーザに対してアクセスを促す手法をとる必要がある。なお、アドレス情報の表示は文字列をそのまま表示してもよいし、当該文字列に対応するQRコード等を表示してもよい。
【0076】
また、通信部230はHTTPリクエストとして、クライアント装置からHTMLで記述された画面情報を受信してもよい。そして、表示部220はHTMLで記述された画面情報に基づいて生成された表示画像を表示する。
【0077】
ここで送信されるHTTPリクエストは例えば以下のようなものである。
http://192.168.0.2/?command=display&content=<html><head><title>title</title></head><body><img src=”http://www.a.com/1.jgp”></body></html>
上述したHTTPリクエストの例と同様に、192.168.0.2は頭部装着型表示装置200のIPアドレスである。パラメータcommandの値をdisplayに設定し、パラメータcontentの値にHTMLの中身をそのまま記述している。つまり、クライアント装置100は、パラメータの1つとしてHTMLで記述された画面情報を送信し、頭部装着型表示装置200は、パラメータcommandの値がdisplayの場合には、パラメータcontentの値をそのまま解釈して表示することになる。
【0078】
これにより、クライアント装置100のセカンダリディスプレイとして頭部装着型表示装置200を用いることが可能になる。具体的にはクライアント装置100として携帯電話(スマートフォン)等を考えた際、携帯電話のアプリケーションを実行することでHTMLファイルを受信することがある。その場合に、受信したHTMLファイルの中身をそのまま上述したHTTPリクエストとして頭部装着型表示装置200に送信すれば、携帯電話のアプリケーションが取得した画面情報をそのまま頭部装着型表示装置200に表示することができる。携帯電話等のモバイルデバイスの表示部は、携帯性の観点から小さいものに限定されるため、携帯電話本体の表示部に加え、頭部装着型表示装置200の表示部も表示に用いて表示領域を拡大することは非常に有用である。なお、この際のHTTPレスポンスは、表示処理の成功・失敗等の情報を返せばよい。
【0079】
また、以上の本実施形態は、表示部と、通信部と、処理部とを含むクライアント装置に関係する。ここでは複数のクライアント装置が連携するシステムを考える。通信部は他のクライアント装置及び外部サーバシステムとの間で通信を行う。そして、自身のクライアント装置を操作するための操作画面が、他のクライアント装置の表示部に表示され、表示された当該操作画面の操作に基づいて、他のクライアント装置100から自身のクライアント装置に対してHTTPリクエストが送信される場合を考える。このとき自身のクライアント装置の通信部はHTTPリクエストを受信し、処理部は受信したHTTPリクエストに対応するコマンドを実行し、通信部は処理部におけるコマンドの実行結果を他のクライアント装置に対してHTTPレスポンスとして返信する。
【0080】
これにより、本実施形態の手法を、頭部装着型表示装置200以外のデバイスに適用することが可能になる。例えば携帯電話、PHS、タブレット端末等、ネットワーク機能と表示部を有する任意のクライアント装置に適用可能である。
【0081】
3.第2の実施形態
グルメアプリケーション(レストラン検索アプリケーション)を具体例として、外部サーバシステムから取得してきたデータに基づいて、頭部装着型表示装置とクライアント装置の表示部を用いた複数画面連携表示を行う手法について説明する。具体的には、システム構成例を説明した後、フローチャートを用いて処理の詳細について説明する。
【0082】
3.1 システム構成例
図6に本実施形態に係る頭部装着型表示装置を含むシステムの構成例を示す。システムは、クライアント装置100と、頭部装着型表示装置200と、ゲートウェイ300と、外部サーバシステム400とを含む。ただし、図6の構成に限定されず、これらの一部の構成要素を省略したり、他の構成要素を追加するなどの種々の変形実施が可能である。
【0083】
図6に示したように、第1の実施形態の構成に加えて、クライアント装置100に位置検出部160が追加された構成になっている。位置検出部160は、GPSやWiFi等を用いてクライアント装置100の現在位置の緯度、経度を取得する。ただし、位置検出部160は、アプリケーションの例であるグルメアプリケーションにおいて用いられるものであり、必須の構成要件ではない。
【0084】
また、第1の実施形態との違いとしては、頭部装着型表示装置200のテンプレート記憶部240に記憶されるテンプレートが、クライアント装置100に送信される操作画面情報用のテンプレートと、頭部装着型表示装置200に置いて実行されるアプリケーション実行用テンプレートの2つになる点が挙げられる。操作画面情報用のテンプレートは、第1の実施形態と同様であり、S104に対応するステップであるS204において用いられる。アプリケーション実行用テンプレートについてはS207で用いられるが、詳細は後述する。
【0085】
また、外部サーバシステム400は、第1の実施形態ではWebサーバ等であったものが、例えばマッシュアップサーバ等が用いられることになる。
【0086】
本実施形態の一例を、図7を用いて説明する。本実施形態ではまず、携帯端末(広義にはクライアント装置100)から検索条件が送られると、HMD(頭部装着型表示装置200)はマッシュアップサーバ(広義には外部サーバシステム400)に対してデータを要求し、データを取得する((1)〜(3))。そして、HMDは自身の表示部に概要を表示するとともに、携帯端末用コンテンツを生成し、携帯端末に送信する。((4)〜(5))。そして携帯端末は(8)に示したように携帯端末用コンテンツ(ここでは地図情報)を表示する。なお、携帯端末用コンテンツが、図7に示したように他のサーバへの参照を含むような場合には、(6)〜(7)に示したように、当該サーバへのアクセスが行われることになる。
【0087】
ただし、図7においては説明を簡略化するためにHMDとマッシュアップサーバ、或いは携帯端末と地図サーバが直接通信している様に描かれているが、厳密にはそうではない。図1に示したように本実施形態では、クライアント装置100及び頭部装着型表示装置200は同一LAN環境内の端末であり、ゲートウェイ300を介してネットワーク10につながっているシステムを想定している。そのため、(2)〜(3)、或いは(6)〜(7)のLANとインターネットを往復するアクセスは、ゲートウェイ300を介して(例えば、NAPT等を利用してアドレスとポート番号の変換をした上で)行われることになる。
【0088】
3.2 処理の詳細
次に、図8のフローチャートを用いて処理の詳細について説明する。この処理が開始されると、まずS201〜S205の処理が行われる。S201〜S205については第1の実施形態のS101〜S105の処理と同様であるため、詳細な説明は省略する。ただし、第1の実施形態においては、S104で送信されS105で表示される操作画面は、頭部装着型表示装置200を操作するためのものであり、例えば図5のA1に示した画面であった。それに対して、本実施形態においては、S104で送信されS205で表示される操作画面は、頭部装着型表示装置200で実行されるアプリケーションの設定を行うための画面であり、例えば図9に示す画面となる点に注意が必要である。また、第1の実施形態のS101〜S105の処理と同様に、本実施形態のS201〜S205の処理もWebブラウザを用いる場合の処理であり、専用アプリケーションを用いる場合には簡単化することができる。
【0089】
操作画面を表示部120に表示したら、当該操作画面における操作に基づいて、クライアント装置100は頭部装着型表示装置200に対してHTTPリクエストを送信する(S206)。ここで送信されるリクエストとは、具体的には以下の様になる。
http://192.168.0.2/?app=gourmet&interval=5000&nosmoking=yes&sort=near&latitude=35&longitude=120
文字列「http://」のあとに頭部装着型表示装置200のURL(ここではIPアドレス192.168.0.2)が記述され、文字列「/?」の後に各パラメータの名称と値が「=」で結ばれ記述される。また、パラメータが複数ある場合には「&」を挟んで表記する。ここで、頭部装着型表示装置200のURLについては第1の実施形態同様、S204におけるテンプレート処理により埋め込まれるものである。
【0090】
ここでは、パラメータとしてapp、interval、nosmoking、sort、latitude、longitudeが設定されている。appは実行するアプリケーションの種別を表し、ここでは値gourmetをとることでグルメアプリケーションを実行する。なお、appの値を変更することでその他のアプリケーションを実行することも可能である。また、intervalで頭部装着型表示装置200の表示部220に表示する情報の更新時間を設定し(ここでは5000ms)、nosmokingでレストラン情報を禁煙席の有無でフィルタリングするかを設定している。sortはレストランのソート順を表し、ここではnearを設定し、近い順に表示する。また、latitude、longitudeにより位置検出部160により取得された緯度、経度の情報を設定している。なお、ここで示したパラメータは一例であり、これ以外のパラメータを用いてもよいことは言うまでもない。
【0091】
そして、パラメータを受信すると処理部210は、テンプレート記憶部240からアプリケーション実行用テンプレートを読み出し、当該アプリケーション実行用テンプレートに対して受信したパラメータを埋め込んだ上で、アプリケーションの実行処理を行う(S207)。具体例を図10(A)、図10(B)に示す。図10(A)がアプリケーション実行用テンプレートの例であり、各パラメータの値に対応する部分が{{SORT}}等になっている。このテンプレートに対して、受信したパラメータを埋め込んで生成されたアプリケーションが図10(B)である。S207においては図10(B)のアプリケーションが実行されることになる。
【0092】
アプリケーションが実行されると、頭部装着型表示装置200は外部サーバシステム400に対してデータを要求する(S208)。外部サーバシステム400は、要求に従ってデータを返す(S209)。ここで外部サーバシステム400が返すデータの形式は例えば、図11に示すようなものである。例えばレストランの名前、緯度、経度、住所及び画像のURLを1件分のデータとして、複数件のデータをまとめて送信する。具体的なデータ形式はJSONPで記述されてもよいし、XMLで記述されてもよい。また、データの要素は、ここで例示した名前、緯度、経度等に限定されないことは言うまでもない。
【0093】
外部サーバシステム400からデータを取得すると、頭部装着型表示装置200は、取得したデータの一部から頭部装着型表示装置用表示データを生成し、表示部220に表示する(S210)。さらにデータの一部からクライアント装置用表示データを生成し、HTTPレスポンスとしてクライアント装置100に返す。なお、ここでのHTTPレスポンスは、S206においてパラメータの送信として行われたHTTPリクエストと対になるものである。
【0094】
クライアント装置100は、受信したクライアント装置用表示データに基づいて、クライアント装置用コンテンツを表示部120に表示する。クライアント装置100の表示部120と、頭部装着型表示装置200の表示部220に表示される画面の例を図12に示す。図12のB2のように、例えば頭部装着型表示装置200ではレストランの概要情報を表示して、図12のB1のように、クライアント装置100ではレストランの地図情報を表示することなどが考えられる。
【0095】
そして、所与の時間が経過すると、1件目のレストランの表示処理が終了し、次のレストランの表示に切り替わる。切り替わるタイミングは、例えば上述のパラメータintervalによって設定され、ここでは、頭部装着型表示装置200及びクライアント装置100は5000ms待機することになる(S213,S214)。所与の時間待機した後に、S210に戻り、2件目のデータを用いて頭部装着型表示装置用表示データを作成し表示部220に概要を表示し、S211でクライアント装置用表示データを作成し送信する。3件目以降についても同様の処理となる。
【0096】
以上の本実施形態では、クライアント装置100の表示部120に操作画面が表示され、操作画面においてアプリケーション実行のためのパラメータが設定される場合に、頭部装着型表示装置200の通信部230はパラメータを含むHTTPリクエストを受信し、処理部210はパラメータに基づいてパラメータ設定されたアプリケーションを実行する。
【0097】
ここで、パラメータとは、上述した例で言えば、app、interval、nosmoking、sort、latitude、longitude等のことであり、アプリケーションの種別及びアプリケーション実行条件を表すパラメータのことである。なお、上記パラメータは例示であり、これ以外のパラメータが用いられてもよいことは言うまでもない。
【0098】
これにより、クライアント装置100の表示部120に表示される操作画面において、アプリケーション実行のためのパラメータを設定することが可能になる。つまり、クライアント装置100から、アプリケーション実行のための操作を行うことができる。簡単な構成になりがちな頭部装着型表示装置200の操作部を、クライアント装置100を用いることで補うという点は第1の実施形態と同様である。
【0099】
また、処理部210はアプリケーションを実行することで通信部230を介して外部サーバシステム400から取得したデータに基づいて、頭部装着型表示装置用表示データと、クライアント装置用表示データとを生成する。そして、表示部220は頭部装着型表示装置用表示データに基づいて表示を行い、通信部230はクライアント装置100に対してHTTPレスポンスとしてクライアント装置用表示データを送信する。
【0100】
これにより、頭部装着型表示装置用表示データとクライアント装置用表示データを生成し、頭部装着型表示装置用表示データを自身の表示部220で表示した上で、クライアント装置用表示データをクライアント装置100に送信することが可能になる。つまり、頭部装着型表示装置200とクライアント装置100の表示部を用いた、複数画面の連携表示を行うことが可能になる。具体的には図11に示したようなデータを取得した際に、名前や画像の情報から、頭部装着型表示装置用表示データとして図12のB2の表示例に対応するデータを生成するとともに、緯度経度の情報からクライアント装置用表示データとして図12のB1の表示例に対応するデータを生成する。結果として図12のような表示が可能になり、複数の表示部で関連する情報を表示できるため、クライアント装置100の表示部120が小さいというデメリット等の解消につながる。
【0101】
また、処理部210は外部サーバシステム400から取得したデータに基づいて、第1〜第Nの頭部装着型表示装置用表示データと、第1〜第Nのクライアント装置用表示データとを生成する。上記データのうち、第iの頭部装着型表示装置用表示データと第iのクライアント装置用表示データとが関連するデータであるとする。その場合に、表示部220は第1〜第Nの頭部装着型表示装置用表示データを所与の表示間隔で順次表示し、通信部230は表示部220に第iの頭部装着型表示装置用表示データが表示されている場合には、第iのクライアント装置用表示データをクライアント装置100に送信する。
【0102】
これにより、図8のS210〜S215に示した処理が可能になる。つまり、図11のように複数件のデータをまとめて取得した際に、表示手法としては1件目からN件目までを所与の表示間隔で自動的に切り替える例が考えられる。その場合、頭部装着型表示装置200に表示される画像と、クライアント装置100に表示される画像とが、関連する情報(グルメアプリの例で言えば同一のレストランに関する情報)でなくてはならない。よって、頭部装着型表示装置200の通信部230は、表示部220で現在表示されている頭部装着型表示装置用表示データと関連するクライアント装置用表示データを、クライアント装置に対して送信する必要がある。
【0103】
また、クライアント装置100からのHTTPリクエストとしてアプリケーションを実行するためのパラメータの送信が行われた場合に、頭部装着型表示装置200の通信部230は当該HTTPリクエストに対するHTTPレスポンスとして、クライアント装置用表示データを送信する。
【0104】
これにより、HTTPリクエストとHTTPレスポンスとの対応付けを明確にすることが可能になる。基本的にHTTPリクエストとHTTPレスポンスは対になるものであり、本実施形態においては、パラメータの送信と、クライアント装置用表示データの送信とが対になる。
【0105】
また、テンプレート記憶部240は頭部装着型表示装置200において実行されるアプリケーションのテンプレートを記憶していてもよい。そして、通信部230はクライアント装置100の表示部120に表示された操作画面において設定されたアプリケーションを実行するためのパラメータを受信する。処理部210はアプリケーションのテンプレートに対して通信部230が受信したパラメータを埋め込むことで、アプリケーションを生成する。
【0106】
これにより、テンプレートを用いてアプリケーションの生成処理を簡単化することが可能になる。アプリケーションは例えば、図10に示したようにJavaScript等によって記述され、設定されたパラメータを{{SORT}}等のタグに埋め込むことでアプリケーションが生成される。つまり、テンプレート記憶部240は本実施形態においては、第1の実施形態で示した操作画面情報用のテンプレートの他に、アプリケーション実行のためのテンプレートを保持していることになる。
【0107】
以上、本発明を適用した2つの実施の形態1,2について説明したが、本発明は、各実施の形態1,2そのままに限定されるものではなく、実施段階では、発明の要旨を逸脱しない範囲内で構成要素を変形して具体化することができる。また、上記した各実施の形態1,2に開示されている複数の構成要素を適宜組み合わせることによって、種々の発明を形成することができる。例えば、各実施の形態1,2に記載した全構成要素からいくつかの構成要素を削除してもよい。さらに、異なる実施の形態で説明した構成要素を適宜組み合わせてもよい。このように、発明の主旨を逸脱しない範囲内において種々の変形や応用が可能である。
【符号の説明】
【0108】
10 ネットワーク、100 クライアント装置、120 表示部、130 通信部、
150 操作部、160 位置検出部、200 頭部装着型表示装置、210 処理部、
220 表示部、230 通信部、240 テンプレート記憶部、
300 ゲートウェイ、400 外部サーバシステム
【技術分野】
【0001】
本発明は、頭部装着型表示装置及びクライアント装置等に関する。
【背景技術】
【0002】
近年、表示デバイスとしてHMD(Head Mounted Display、頭部装着型表示装置)が用いられるようになっている。しかしながら、HMDは頭部に装着するという特性上、機器を大きくすることは好ましくない。そのため、HMDを操作するための操作部(例えば操作ボタン等)が簡素な構成になってしまい、複雑な操作を行うことが困難である。
【0003】
また、モバイル環境におけるクライアント装置として、携帯電話等が広く普及している。携帯電話等は、ネットワークに接続したりすることで、多くのコンテンツを取得することが可能であるが、表示部(ディスプレイ)の大きさに限界があり、十分な表示ができないという問題がある。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開平10−233772号公報
【特許文献2】特開2000−122957号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
特許文献1では、例えば企業内等のネットワークにおいて、ネットワークに接続している各端末に対して、HTML文書等の同報送信を行い、データを共有する技術が開示されている。しかし、特許文献1に開示されている技術は、データの共有のための同報送信に関するものであり、各端末に表示されるデータは同じものとなる。そのため、複数の端末にデータを送信し表示する点では本発明と同様であるが、表示部の大きさ等の問題を解決するための技術とはならない。
【0006】
特許文献2では、クライアント側を複数の端末で構成し、データを複数の端末で連携して表示する技術が開示されている。しかし、特許文献2では、インターネットに接続する端末が1つに限定されている。
【0007】
また、特許文献1、特許文献2ともに、クライアント装置として頭部装着型表示装置のことが考慮されておらず、頭部装着型表示装置の操作部に関する問題に対処する手法ではない。
【0008】
本発明の幾つかの態様によれば、クライアント装置に表示される操作画面による操作に基づいて処理を行うことで、クライアント装置と連係して動作する頭部装着型表示装置及びクライアント装置等を提供することができる。
【0009】
また、本発明の幾つかの態様によれば、頭部装着型表示装置の表示部と、クライアント装置の表示部とに関連する表示データを表示することで、複数画面の連携表示を行う頭部装着型表示装置及びクライアント装置等を提供することができる。
【課題を解決するための手段】
【0010】
本発明の一態様は、表示画像の表示を行う表示部と、クライアント装置及び外部サーバシステムとの間で通信を行う通信部と、処理部と、を含み、前記通信部は、頭部装着型表示装置を操作するための操作画面が、前記クライアント装置の表示部に表示され、前記クライアント装置の前記表示部に表示される前記操作画面の操作に基づいて、前記クライアント装置から頭部装着型表示装置に対してHTTP(Hypertext Transfer Protocol)リクエストが送信された場合に、送信された前記HTTPリクエストを受信し、前記処理部は、受信した前記HTTPリクエストに対応するコマンドを実行し、前記通信部は、前記処理部における前記コマンドの実行結果を、前記クライアント装置に対してHTTPレスポンスとして返信する頭部装着型表示装置に関係する。
【0011】
本発明の一態様では、頭部装着型表示装置は、クライアント装置に表示される操作画面での操作に基づいて、クライアント装置からHTTPリクエストを受信し、受信したHTTPリクエストに基づいてコマンド処理が行われる。そして、コマンドの実行結果をHTTPレスポンスとしてクライアント装置に返す。よって、クライアント装置と連係して動作する頭部装着型表示装置、特に、クライアント装置によって操作可能な頭部装着型表示装置を実現すること等ができる。
【0012】
また、本発明の一態様では、前記通信部は、前記クライアント装置の前記表示部に前記操作画面が表示され、前記操作画面においてアプリケーション実行のためのパラメータが設定される場合に、前記パラメータを含む前記HTTPリクエストを受信し、前記処理部は、前記パラメータに基づいてパラメータ設定された前記アプリケーションを実行する処理を行ってもよい。
【0013】
これにより、クライアント装置により設定されたパラメータに基づいて、頭部装着型表示装置においてアプリケーションを実行することが可能になる。
【0014】
また、本発明の一態様では、前記処理部は、前記アプリケーションを実行することで前記通信部を介して前記外部サーバシステムから取得したデータに基づいて、頭部装着型表示装置用表示データと、クライアント装置用表示データとを生成し、前記表示部は、頭部装着型表示装置用表示データに基づいて、表示を行い、前記通信部は、前記クライアント装置に対して、前記HTTPレスポンスとして前記クライアント装置用表示データを送信してもよい。
【0015】
これにより、頭部装着型表示装置用表示データとクライアント装置用表示データとを生成し、頭部装着型表示装置用表示データは自身の表示部で表示し、クライアント装置用表示データはクライアント装置に送信することができる。よって、複数の表示部を用いた連携表示等が可能になる。
【0016】
また、本発明の一態様では、前記処理部は、取得した前記データに基づいて、第1〜第N(Nは整数)の頭部装着型表示装置用表示データと、第1〜第Nのクライアント装置用表示データとを生成し、前記表示部は、前記第1〜第Nの頭部装着型表示装置用表示データのうち第i(iは1≦i≦Nを満たす整数)の頭部装着型表示装置用表示データと、前記第1〜第Nのクライアント装置用表示データのうち第iのクライアント装置用表示データとが関連するデータである場合に、前記第1〜第Nの頭部装着型表示装置用表示データを所与の表示間隔で順次表示し、前記通信部は、前記表示部に第iの頭部装着型表示装置用表示データが表示されている場合に、前記第1〜第Nのクライアント装置用表示データのうち、前記第iのクライアント装置用表示データを、前記クライアント装置に対して送信してもよい。
【0017】
これにより、頭部装着型表示装置用表示データ及びクライアント装置用表示データが複数ある場合に、頭部装着型表示装置に表示されるデータと、クライアント装置に表示されるデータとが、関連するデータであるようにすることが可能になる。
【0018】
また、本発明の一態様では、前記通信部は、前記クライアント装置からの、前記アプリケーションを実行するための前記パラメータの送信が前記HTTPリクエストとして行われた場合に、前記クライアント装置に対する前記クライアント装置用表示データの送信を、前記HTTPリクエストに対応する前記HTTPレスポンスとして返してもよい。
【0019】
これにより、HTTPリクエストとHTTPレスポンスとの対応付けを明確にすることが可能になる。
【0020】
また、本発明の一態様では、前記通信部は、前記クライアント装置からの前記HTTPリクエストが、所与のURL(Uniform Resource Locator)で指示されるコンテンツの表示指示であった場合に、前記所与のURLに対応するコンテンツに対してアクセスを行って、前記コンテンツを受信し、前記表示部は、受信した前記コンテンツを表示してもよい。
【0021】
これにより、クライアント装置からURLに対応するコンテンツの表示指示をHTTPリクエストとして受信した場合には、当該コンテンツを表示することが可能になる。
【0022】
また、本発明の一態様では、前記処理部は、前記クライアント装置からの前記HTTPリクエストが、前記表示画像におけるカーソルの移動コマンド、カーソルにより指示されるコンテンツの選択コマンド及び前画面への戻り指示コマンドのうちの少なくとも1つのコマンドであった場合に、前記HTTPリクエストに基づいて、前記コマンドの実行処理を行い、前記表示部は、前記コマンドの実行処理に従って、前記表示画像を更新し、更新後の表示画像を表示してもよい。
【0023】
これにより、クライアント装置から、カーソルの移動コマンド、カーソルにより指示されるコンテンツの選択コマンド及び前画面への戻り指示コマンドのうちの少なくとも1つのコマンドをHTTPリクエストとして受信した場合には、当該コマンドを実行することが可能になる。
【0024】
また、本発明の一態様では、前記クライアント装置において表示される前記操作画面情報のテンプレートを記憶するテンプレート記憶部を含み、前記処理部は、前記テンプレート記憶部に記憶された前記操作画面情報の前記テンプレートに対して、頭部装着型表示装置の前記アドレス情報を埋め込むことにより前記操作画面情報を生成してもよい。
【0025】
これにより、テンプレートを用いることで、操作画面情報の生成処理を簡単化すること等が可能になる。
【0026】
また、本発明の一態様では、前記テンプレート記憶部は、前記頭部装着型表示装置において実行されるアプリケーションのテンプレートを記憶し、前記通信部は、前記クライアント装置の前記表示部に表示された前記操作画面において設定されたアプリケーションを実行するためのパラメータを受信し、前記処理部は、前記テンプレート記憶部に記憶された前記アプリケーションの前記テンプレートに対して、前記通信部が受信した前記パラメータを埋め込むことで、頭部装着型表示装置において実行される前記アプリケーションを生成してもよい。
【0027】
これにより、テンプレートを用いることで、アプリケーションの生成処理を簡単化すること等が可能になる。
【0028】
また、本発明の一態様では、前記処理部は、前記通信部が、前記クライアント装置からの前記HTTPリクエストとして、初期接続リクエストを受信した場合に、前記操作画面を前記クライアント装置の前記表示部に表示するための情報である操作画面情報を生成し、前記通信部は、前記処理部が生成した前記操作画面情報を前記HTTPレスポンスとして前記クライアント装置に対して送信してもよい。
【0029】
これにより、クライアント装置から初期接続リクエストがあった場合には、操作画面情報をレスポンスとして返すことで、クライアント装置による頭部装着型表示装置の操作等が可能になる。
【0030】
また、本発明の一態様では、前記表示部は、前記表示画像として、頭部装着型表示装置のアドレス情報を表示し、前記通信部は、前記表示部に表示された前記アドレス情報に基づいて行われた、前記クライアント装置からのWebブラウザを用いたリクエストを前記初期接続リクエストとして受信し、前記処理部は、前記操作画面情報を生成し、前記通信部は、前記処理部が生成した前記操作画面情報を前記HTTPレスポンスとして前記クライアント装置に対して送信してもよい。
【0031】
これにより、クライアント装置においてWebブラウザが用いられる場合にも、初期接続リクエストを行うことが可能になる。
【0032】
また、本発明の一態様では、前記通信部は、前記HTTPリクエストとして、前記クライアント装置からHTML(Hypertext Markup Language)で記述された画面情報を受信し、前記表示部は、受信した前記HTMLで記述された前記画面情報に基づいて生成された表示画像を表示してもよい。
【0033】
これにより、頭部装着型表示装置をクライアント装置のセカンダリディスプレイとして用いること等が可能になる。
【0034】
また、本発明の他の態様は、表示画像の表示を行う表示部と、他のクライアント装置及び外部サーバシステムとの間で通信を行う通信部と、処理部と、を含み、前記通信部は、自身のクライアント装置を操作するための操作画面が、前記他のクライアント装置の表示部に表示され、前記他のクライアント装置の前記表示部に表示される前記操作画面の操作に基づいて、前記他のクライアント装置から自身のクライアント装置に対してHTTPリクエストが送信された場合に、送信された前記HTTPリクエストを受信し、前記処理部は、受信した前記HTTPリクエストに対応するコマンドを実行し、前記通信部は、前記処理部における前記コマンドの実行結果を、前記他のクライアント装置に対してHTTPレスポンスとして返信するクライアント装置に関係する。
【図面の簡単な説明】
【0035】
【図1】第1の実施形態のシステム構成例。
【図2】第1の実施形態の処理を説明するフローチャート。
【図3】頭部装着型表示装置の表示部に表示される表示画像の例。
【図4】図4(A)、図4(B)は操作画面情報をテンプレートから生成する例。
【図5】頭部装着型表示装置の表示部、及び、クライアント装置の表示部に表示される画像の例。
【図6】第2の実施形態のシステム構成例。
【図7】第2の実施形態の処理の例を説明する図。
【図8】第2の実施形態の処理を説明するフローチャート。
【図9】頭部装着型表示装置の表示部に表示される表示画像の他の例。
【図10】図10(A)、図10(B)はアプリケーション実行用情報をテンプレートから生成する例。
【図11】外部サーバシステムから取得するデータの例。
【図12】頭部装着型表示装置の表示部、及び、クライアント装置の表示部に表示される画像の他の例。
【発明を実施するための形態】
【0036】
以下、本実施形態について説明する。なお、以下に説明する本実施形態は、特許請求の範囲に記載された本発明の内容を不当に限定するものではない。また本実施形態で説明される構成の全てが、本発明の必須構成要件であるとは限らない。
【0037】
1.本実施形態の手法
まず、本実施形態の手法について説明する。近年、表示装置として用いられている頭部装着型表示装置(HMD、Head Mounted Display)は、頭部に装着するという特性上、大きさ等に制限が加わり、結果として簡素な構成の操作部しか持てないことが多い。そのため携帯電話等のモバイル機器に比べて、操作のためのインターフェースが充実しておらず、複雑な操作が難しいという問題がある。
【0038】
また、一般的なモバイル機器(例えば携帯電話等)は、表示部の大きさが小さいことが多く、十分な表示を行うことが困難である。
【0039】
そこで本出願人は、同一のLAN環境内にある頭部装着型表示装置とクライアント装置(例えば携帯電話等)を連携させる手法を提案する。具体的には、頭部装着型表示装置は、クライアント装置からのHTTPリクエストを受信し、受信したHTTPリクエストに対応したコマンドを実行した上で、コマンドの実行結果をHTTPレスポンスとしてクライアント装置に対して返す。HTTPリクエストとして、操作指示コマンドを用いれば、クライアント装置から頭部装着型表示装置を操作することが可能になり、頭部装着型表示装置の操作部の問題に対応することができる。また、それぞれの機器が有する表示部に、関連したデータを表示する処理を行って、データの複数画面連携表示をすることで、クライアント装置(モバイル機器、携帯電話等)の表示部の問題に対応することができる。
【0040】
以下、第1の実施形態及び第2の実施形態について説明する。第1の実施形態では、頭部装着型表示装置の操作部(リモコン)としてクライアント装置を用いる手法について説明する。また第2の実施形態では、グルメアプリケーション(レストラン検索アプリケーション)を具体例として、外部サーバシステムから取得してきたデータに基づいて、頭部装着型表示装置とクライアント装置の表示部を用いた複数画面連携表示を行う手法について説明する。
【0041】
2.第1の実施形態
頭部装着型表示装置の操作部(リモコン)としてクライアント装置を用いる手法について説明する。具体的には、システム構成例を説明した後、フローチャートを用いて処理の詳細について説明する。
【0042】
2.1 システム構成例
図1に本実施形態に係る頭部装着型表示装置を含むシステムの構成例を示す。システムは、クライアント装置100と、頭部装着型表示装置200と、ゲートウェイ300と、外部サーバシステム400とを含む。ただし、図1の構成に限定されず、これらの一部の構成要素を省略したり、他の構成要素を追加するなどの種々の変形実施が可能である。このうち、クライアント装置100と、頭部装着型表示装置200はユーザにより所持される。またゲートウェイ300は、単体で存在し、ユーザに所持されてもよいし所持されなくてもよい。また、クライアント装置100或いは頭部装着型表示装置200のいずれかがゲートウェイ300を内蔵してもよい。
【0043】
クライアント装置100は、操作部150と、表示部120と、通信部130とを含む。操作部150は、種々の操作を行うためのものであり、例えばタッチパネルや操作キー等により構成される。表示部120は、表示画像の表示を行う。通信部130は、ゲートウェイ300を介して、頭部装着型表示装置200との通信を行う。また、ゲートウェイ300及びネットワーク10を介して外部サーバシステムとの通信を行ってもよい。
【0044】
頭部装着型表示装置200は、処理部210と、表示部220と、通信部230と、テンプレート記憶部240とを含む。処理部210は種々の処理を行う。例えば、クライアント装置からのHTTPリクエストに対応したコマンドの実行処理を行う。表示部220は、表示画像の表示を行う。通信部230は、ゲートウェイ300を介して、クライアント装置100との通信を行う。また、ゲートウェイ300及びネットワーク10を介して外部サーバシステム400との通信を行ってもよい。テンプレート記憶部240は、クライアント装置100の表示部120に表示されるコンテンツのテンプレートを記憶する。例えば、頭部装着型表示装置200を操作するための操作画面のテンプレート等を記憶する。
【0045】
ゲートウェイ300は、NAPT(Network Address Port Translation)等を用いて、複数の端末をネットワーク10に接続可能にする。また、DHCP(Dynamic Host Configuration Protocol)サーバの機能を有し、接続される機器(ここではクライアント装置100と頭部装着型表示装置200)に対して、動的にプライベートIPアドレスを割り当ててもよい。
【0046】
2.2 処理の詳細
次に、図2のフローチャートを用いて処理の詳細について説明する。この処理が開始されると、まず頭部装着型表示装置200の電源がONにされる(S101)。そして、頭部装着型表示装置200の表示部220に、図3に示したように、頭部装着型表示装置200のURLを表示する(S102)。そして、表示部220に表示されたURLに基づいて、クライアント装置100から頭部装着型表示装置200へ接続が行われる(S103)。
【0047】
クライアント装置100からの接続が行われると、頭部装着型表示装置200の処理部210は、テンプレート記憶部240から操作画面情報のテンプレートを読み出し、読み出したテンプレートに対して頭部装着型表示装置200のURLを埋め込むことで、操作画面情報を生成する。
【0048】
具体的なテンプレートと埋め込み処理の例を図4(A)、図4(B)に示す。図4(A)、図4(B)の例では、テンプレートとなるHTML文書(図4の(A))の一部にコマンドがあり、当該コマンドの一部が{{HMD_URL}}というタグになっている。テンプレートから生成される操作画面情報(図4の(B))は、タグの箇所に頭部装着型表示装置のURL(IPアドレス)を埋め込むことで生成されるHTML文書となる。
【0049】
そして通信部230は、生成した操作画面情報をクライアント装置100に対して送信し(S104)、クライアント装置100は、受信した操作画面情報に基づいて、表示部120に操作画面を表示する(S105)。操作画面の具体例と、当該操作画面により操作される頭部装着型表示装置200に表示される画面の具体例を図5に示す。
【0050】
図5のA1に示したように、クライアント装置100の表示部120には、例えばテキスト入力エリアと移動ボタン、十字キーと確定ボタン及び戻るボタン等が表示される。テキスト入力エリアに接続したいサイトのURLを入力して、移動ボタンを押すことで、図5のA2に示したように頭部装着型表示装置200の表示部220に、対応するコンテンツが表示される。表示部220にコンテンツが表示されている状態で、十字キーを押すことで、ページ送りを行ったり、コンテンツ内のリンクを選択したりすることができる。コンテンツ内のリンクを選択する例を図5のA2の破線に示す。リンクが選択されている状態で確定ボタンが押されると、対応するリンク先へ移動する。また、戻るボタンが押されることで前の表示画面に戻ることができる。
【0051】
なお、以上のS101〜S105の処理は、クライアント装置100がWebブラウザを用いて接続を行うという前提での流れである。つまり、同じLAN環境内の他の端末のIPアドレスを取得できないという条件下での処理であり、Webブラウザではない専用アプリケーションを用いた場合には、処理を簡単化することが可能である。
【0052】
例えば、S102及びS103における表示されたURLの入力を行わずに、専用アプリケーション(同一LAN環境内の他の端末のIPアドレスを知ることができる)により、頭部装着型表示装置200への接続を行ってもよい。さらに簡略化する場合には、S101〜S105を省略して、クライアント装置100において操作画面情報を生成するステップを設けてもよい。クライアント装置100は、頭部装着型表示装置200のIPアドレスを知ることができたなら、自身で直接操作画面情報を生成し、表示部120に操作画面を表示してもよい。その場合、テンプレートとなる情報は頭部装着型表示装置200のテンプレート記憶部240ではなく、クライアント装置100が保持しておく必要がある。
【0053】
操作画面を表示部120に表示したら、当該操作画面における操作に基づいて、クライアント装置100は頭部装着型表示装置200に対してコマンドを送信する(S106)。ここで送信されるコマンドとは、具体的には以下の様になる。
【0054】
(1)http://192.168.0.2/?command=open&url=http://news.com
(2)http://192.168.0.2/?command=key&action=up
(1)(2)の例でわかるように、コマンドはURLの形式であり、HTTPリクエストとして送信される。文字列「http://」のあとに頭部装着型表示装置200のURL(ここではIPアドレス192.168.0.2)が記述され、文字列「/?」の後に各パラメータの名称と値が「=」で結ばれ記述される。また、パラメータが複数ある場合には「&」を挟んで表記する。
【0055】
上述の(1)のコマンドでは、パラメータcommandの値をopenに設定し、パラメータurlの値をhttp://news.comに設定した上で、その情報を192.168.0.2に対応する端末に送信している。これは上述した操作画面の例で言えば、テキスト入力エリアに「http://news.com」と入力し、移動ボタンを押す操作により頭部装着型表示装置200に送信されるコマンドとなる。
【0056】
また、上述の(2)のコマンドでは、パラメータcommandの値をkeyに設定し、パラメータactionの値をupに設定している。これは上述した操作画面の例で言えば、十字キーの上ボタンを押す操作により送信されるコマンドとなる。また、commandの値がkeyである(つまりキー操作コマンドである)ときには、actionの値を変更することで、他のキー操作に対応するコマンドを送信することが可能である。例えばactionの値をdown、left、rightにすれば十字キーの下、左、右を押す操作になり、enter、backにすれば選択ボタン、戻るボタンを押す操作になる例が考えられる。
【0057】
以上のようなコマンドを受信すると、頭部装着型表示装置200は、まず当該コマンドが指定URLを開くコマンドであるかの判定を行う(S107)。具体的には、HTTPリクエストである上述のコマンドのうち、パラメータcommandの値をチェックし、値がopenであればYesと判定し、それ以外の場合はNoと判定する。Yesの場合には、指定されたURL(パラメータurlの値として設定されたもの)に対応するサイトにゲートウェイ300を介してアクセスし、コンテンツを表示部220に表示する(S108)。
【0058】
S107においてNoと判定された場合には、次に受信したコマンドがキー操作コマンドであるかの判定を行う(S109)。具体的にはHTTPリクエストである上述のコマンドのうち、パラメータcommandの値をチェックし、値がkeyであればYesと判定し、それ以外の場合はNoと判定する。Yesの場合にはコマンド(パラメータactionの値)に応じて、ページ送りやリンク選択、リンク先への移動及び前画面への戻り処理のいずれかの処理を行う(S110)。S109でNoと判定された場合及びS108、S110の処理が終了した場合には、S111に移行しコマンドの実行結果(成功もしくは失敗)をクライアント装置100に対してHTTPレスポンスとして返信する。
【0059】
クライアント装置100は、受信したコマンド実行結果の判定を行い(S112)、成功の場合にはS106に戻って操作を継続し、失敗の場合にはS113に移行して表示部120にエラーが生じた旨を表示する。
【0060】
以上の本実施形態では、図1に示したように、頭部装着型表示装置200は、表示画像の表示を行う表示部220と、通信部230と、処理部210とを含む。通信部230は、クライアント装置100及び外部サーバシステム400との間で通信を行う。ここで、頭部装着型表示装置200を操作するための操作画面が、クライアント装置100の表示部120に表示され、表示された当該操作画面の操作に基づいて、クライアント装置100から頭部装着型表示装置200に対してHTTPリクエストが送信される場合を考える。このとき頭部装着型表示装置200の通信部230はHTTPリクエストを受信し、処理部210は受信したHTTPリクエストに対応するコマンドを実行し、通信部230は処理部210におけるコマンドの実行結果をクライアント装置100に対してHTTPレスポンスとして返信する。
【0061】
ここで、HTTP(Hypertext Transfer Protocol)リクエストとは例えば、上述した(1)、(2)のようなhttpから始まる文字列をWebブラウザに入力し実行した場合に、WebブラウザからWebサーバに対して送信されるリクエストのことである。具体的にはメソッド名、対象となるコンテンツのURL(httpから始まる文字列等)、HTTPのバージョンからなるリクエスト行を含むものであり、例えば以下のリクエストが考えられる。
【0062】
GET http://192.168.0.2/?command=key&action=up HTTP/1.1
上述の例では、GETメソッドを用いているが、HTTPにはその他にもPOSTメソッドやHEADメソッド等が規定されている。上述のリクエスト行の他に言語やデータ形式を記述するヘッダ部が記述されることもある。また、POSTメソッド等ではサーバに送信するデータを記述するボディ部が記述されることもある。なお、HTTPリクエストを送信する主体はWebブラウザに限定されるものではなく、HTTPを使用可能な専用アプリケーションであってもよい。
【0063】
これにより、頭部装着型表示装置200とクライアント装置100とが、連携して動作することが可能になる。特に、クライアント装置からの要求(HTTPリクエスト)に対して頭部装着型表示装置200が処理を行い、結果(HTTPレスポンス)を返すという形態になる。よって、一例としてはHTTPリクエストがクライアント装置100の表示部120に表示された操作画面での操作の結果として送信された頭部装着型表示装置200に対する操作要求(操作コマンド)である場合には、クライアント装置100を用いて頭部装着型表示装置200を操作すること等が可能になる。頭部装着型表示装置200は頭部に装着するという制約上、複雑な操作が可能な操作部を持つことが難しいということに鑑みれば、他の機器(クライアント装置100としては例えば携帯電話等が考えられる)から操作を行えるということは非常に有用である。本実施形態においては、HTTPリクエストは頭部装着型表示装置200に対する操作要求であり、頭部装着型表示装置200で行われるコマンド処理はWebアクセス処理等になる。また、HTTPレスポンスは、コマンド処理の結果(成功か失敗)である。また、後述する第2の実施形態では、HTTPリクエストは頭部装着型表示装置200に対する操作要求(特にアプリケーションのパラメータ設定の要求)であり、コマンド処理はアプリケーション(Webアプリケーション)の実行になる。また、HTTPレスポンスは、アプリケーションの実行の結果取得、生成された表示データ等が返されることになる。
【0064】
本実施形態では、上述してきたように通信のプロトコルとしてHTTPが用いられる。そしてクライアント側においてHTTPを利用可能なアプリケーションとしてWebブラウザが広く知られている。つまり、HTTPを利用する利点として、Webブラウザが利用可能である点が挙げられる。携帯電話等のように、通信機能を有する端末には標準的にWebブラウザが搭載されている(或いは容易に導入可能である)現状に鑑みれば、Webブラウザが利用可能であるということはすなわち、本実施形態で用いられるクライアント装置100として、専用の端末を用意する必要がなく汎用的な端末を用いることが可能であることを示している。
【0065】
なお、以上では利用する通信プロトコルはHTTPであるものとして説明してきたが、本発明におけるHTTPは、狭義のHTTPだけでなくHTTPを発展させた規格(例えばHTTPS等)や同様の思想に基づく規格を含むものである。例えば、セキュリティ機能を考えた場合にはHTTPS(Hypertext Transfer Protocol over Secure Socket Layer)を用いてもよい。狭義のHTTPはメッセージが平文で送られるのに対して、HTTPSでは認証処理やメッセージの暗号化処理が行われることになる。そのため、HTTPSを用いることでクライアントとサーバ間の通信における盗聴を抑止すること等が可能になる。例えば、外部サーバシステム400からのデータの取得等の際に、ユーザ名とパスワードを用いた認証処理が行われるような場合には、当該ユーザ名及びパスワードを第三者に悪用されないためにも、HTTPSを用いることが望ましい。また、ゲートウェイ300を介したクライアント装置100と頭部装着型表示装置200の接続が、ホットスポット等の不特定多数が利用可能な状況で行われる場合にもHTTPSの利用が考えられる。なお、WebブラウザはHTTPと共にHTTPSもサポートしていることから、上述のHTTPを用いる利点は、HTTPSを用いた場合にもそのまま当てはまることになる。
【0066】
また、クライアント装置100からのHTTPリクエストが、所与のURLで指示されるコンテンツの表示指示である場合に、通信部230は、所与のURLに対応するコンテンツに対してアクセスを行い、コンテンツを受信する。そして、表示部220は、受信したコンテンツを表示する。
【0067】
これにより、クライアント装置100を用いた頭部装着型表示装置200の操作例として、所与のURLに対応するコンテンツへのアクセス処理を行うことが可能になる。具体的には、図5のA1に示した操作画面において、テキスト入力エリアにアクセス対象となるコンテンツのURLを入力した上で、移動ボタンを押した場合に、入力したURLに対応するコンテンツを頭部装着型表示装置200の表示部220に表示すること等ができる。
【0068】
また、クライアント装置からのHTTPリクエストが、表示画像(頭部装着型表示装置200の表示部220に表示される画像)におけるカーソルの移動コマンド、カーソルにより指示されるコンテンツの選択コマンド及び前画面への戻り指示コマンドのうちの少なくとも1つのコマンドである場合を考える。このとき、処理部210はHTTPリクエストに基づいて、コマンドの実行処理を行い、表示部220はコマンドの実行結果に従って表示画像を更新し、更新後の表示画像を表示する。
【0069】
これにより、クライアント装置100を用いた頭部装着型表示装置200の操作例として、カーソルの移動コマンド、カーソルにより指示されるコンテンツの選択コマンド及び前画面への戻り指示コマンドのうちの少なくとも1つのコマンドの実行が可能となる。具体的には、図5のA1に示した操作画面において、十字キーを操作することにより、表示画像上のカーソル(図5のA2の例ではリンクの周囲を覆う破線で表示されている)を移動させることができる。また、確定ボタンを押すことで、カーソルにより指示されるコンテンツ(例えばリンク先のコンテンツ)を選択することもできるし、戻るボタンを押すことで、表示画像を1つ前の状態に戻ることもできる。ただし、可能な操作はこれに限定されるものではなく、画面のスクロール処理や、表示タブの選択処理(表示画面がタブ表示可能な場合等)等の処理も可能である。つまり、操作画面の形式を切り替えたり、ボタンに割り当てられる機能を切り替えたりすることで任意の操作が可能となる。
【0070】
また、図1に示したように、頭部装着型表示装置200は、テンプレートを記憶するテンプレート記憶部240を含む。ここでテンプレートとは、クライアント装置100の表示部120で表示される操作画面のための情報である操作画面情報のテンプレートである。そして、処理部210は、操作画面情報のテンプレートに対して、頭部装着型表示装置200のアドレス情報を埋め込むことにより、操作画面情報を生成してもよい。
【0071】
これにより、テンプレートを用いて操作画面情報の生成処理を簡単化することが可能になる。本実施形態においては、ネットワークにつながれた(例えば同一のLAN環境内におかれた)頭部装着型表示装置200とクライアント装置100との間の連携であり、特に、クライアント装置100からのHTTPリクエストを用いて頭部装着型表示装置200で処理を行う。クライアント装置100から送信されるHTTPリクエストは、当然頭部装着型表示装置200に送信されるべきであるから、テンプレートに対して埋め込むのは頭部装着型表示装置200のアドレス情報(例えばIPアドレス)になる。なお、本実施形態のシステムではDHCP(Dynamic Host Configuration Protocol)が用いられるケースが考えられ、その場合頭部装着型表示装置200のIPアドレスが動的に変化する可能性がある。上述のテンプレートに対するアドレス情報の埋め込み処理は、DHCPが用いられる場合に特に効果を発揮し、頭部装着型表示装置200のIPアドレスをテンプレートに埋め込むことで、当該IPアドレスが動的に変化したとしても、それに対応させて操作画面情報も動的に生成することが可能になる。
【0072】
また、通信部230が、クライアント装置100からのHTTPリクエストとして、初期接続リクエストを受信した場合に、処理部210は操作画面情報を生成し、通信部230は処理部210が生成した操作画面情報をHTTPレスポンスとしてクライアント装置に対して送信してもよい。
【0073】
これにより、クライアント装置100からの初期接続リクエスト(例えば最初に接続された際のHTTPリクエスト)に対して、頭部装着型表示装置200は操作画面情報を生成しクライアント装置100に対して送信することが可能になる。つまり、頭部装着型表示装置200とクライアント装置100とが連係して動作を開始する際に、操作画面情報をクライアント装置100に送信することができるため、連係動作の具体例として、クライアント装置100を用いた頭部装着型表示装置200の操作が可能になる。
【0074】
また、表示部220は図3に示したように、表示画像として頭部装着型表示装置200のアドレス情報を表示し、通信部230は表示部220に表示されたアドレス情報に基づいて行われた、クライアント装置からのWebブラウザを用いたリクエストを、初期接続リクエストとして受信してもよい。
【0075】
これにより、クライアント装置100においてWebブラウザが用いられる場合にも、頭部装着型表示装置200とクライアント装置100との連係動作が可能になる。Webブラウザは同一のLAN環境内におかれた他の端末のアドレス情報(IPアドレス)を取得することができない。そのため、クライアント装置100から頭部装着型表示装置200への最初のアクセスは、単純に行うことはできない。そのため、一例として頭部装着型表示装置200(当然自身のIPアドレスは知ることができる)の表示部220に頭部装着型表示装置200のアドレス情報を表示して、クライアント装置100を操作するユーザに対してアクセスを促す手法をとる必要がある。なお、アドレス情報の表示は文字列をそのまま表示してもよいし、当該文字列に対応するQRコード等を表示してもよい。
【0076】
また、通信部230はHTTPリクエストとして、クライアント装置からHTMLで記述された画面情報を受信してもよい。そして、表示部220はHTMLで記述された画面情報に基づいて生成された表示画像を表示する。
【0077】
ここで送信されるHTTPリクエストは例えば以下のようなものである。
http://192.168.0.2/?command=display&content=<html><head><title>title</title></head><body><img src=”http://www.a.com/1.jgp”></body></html>
上述したHTTPリクエストの例と同様に、192.168.0.2は頭部装着型表示装置200のIPアドレスである。パラメータcommandの値をdisplayに設定し、パラメータcontentの値にHTMLの中身をそのまま記述している。つまり、クライアント装置100は、パラメータの1つとしてHTMLで記述された画面情報を送信し、頭部装着型表示装置200は、パラメータcommandの値がdisplayの場合には、パラメータcontentの値をそのまま解釈して表示することになる。
【0078】
これにより、クライアント装置100のセカンダリディスプレイとして頭部装着型表示装置200を用いることが可能になる。具体的にはクライアント装置100として携帯電話(スマートフォン)等を考えた際、携帯電話のアプリケーションを実行することでHTMLファイルを受信することがある。その場合に、受信したHTMLファイルの中身をそのまま上述したHTTPリクエストとして頭部装着型表示装置200に送信すれば、携帯電話のアプリケーションが取得した画面情報をそのまま頭部装着型表示装置200に表示することができる。携帯電話等のモバイルデバイスの表示部は、携帯性の観点から小さいものに限定されるため、携帯電話本体の表示部に加え、頭部装着型表示装置200の表示部も表示に用いて表示領域を拡大することは非常に有用である。なお、この際のHTTPレスポンスは、表示処理の成功・失敗等の情報を返せばよい。
【0079】
また、以上の本実施形態は、表示部と、通信部と、処理部とを含むクライアント装置に関係する。ここでは複数のクライアント装置が連携するシステムを考える。通信部は他のクライアント装置及び外部サーバシステムとの間で通信を行う。そして、自身のクライアント装置を操作するための操作画面が、他のクライアント装置の表示部に表示され、表示された当該操作画面の操作に基づいて、他のクライアント装置100から自身のクライアント装置に対してHTTPリクエストが送信される場合を考える。このとき自身のクライアント装置の通信部はHTTPリクエストを受信し、処理部は受信したHTTPリクエストに対応するコマンドを実行し、通信部は処理部におけるコマンドの実行結果を他のクライアント装置に対してHTTPレスポンスとして返信する。
【0080】
これにより、本実施形態の手法を、頭部装着型表示装置200以外のデバイスに適用することが可能になる。例えば携帯電話、PHS、タブレット端末等、ネットワーク機能と表示部を有する任意のクライアント装置に適用可能である。
【0081】
3.第2の実施形態
グルメアプリケーション(レストラン検索アプリケーション)を具体例として、外部サーバシステムから取得してきたデータに基づいて、頭部装着型表示装置とクライアント装置の表示部を用いた複数画面連携表示を行う手法について説明する。具体的には、システム構成例を説明した後、フローチャートを用いて処理の詳細について説明する。
【0082】
3.1 システム構成例
図6に本実施形態に係る頭部装着型表示装置を含むシステムの構成例を示す。システムは、クライアント装置100と、頭部装着型表示装置200と、ゲートウェイ300と、外部サーバシステム400とを含む。ただし、図6の構成に限定されず、これらの一部の構成要素を省略したり、他の構成要素を追加するなどの種々の変形実施が可能である。
【0083】
図6に示したように、第1の実施形態の構成に加えて、クライアント装置100に位置検出部160が追加された構成になっている。位置検出部160は、GPSやWiFi等を用いてクライアント装置100の現在位置の緯度、経度を取得する。ただし、位置検出部160は、アプリケーションの例であるグルメアプリケーションにおいて用いられるものであり、必須の構成要件ではない。
【0084】
また、第1の実施形態との違いとしては、頭部装着型表示装置200のテンプレート記憶部240に記憶されるテンプレートが、クライアント装置100に送信される操作画面情報用のテンプレートと、頭部装着型表示装置200に置いて実行されるアプリケーション実行用テンプレートの2つになる点が挙げられる。操作画面情報用のテンプレートは、第1の実施形態と同様であり、S104に対応するステップであるS204において用いられる。アプリケーション実行用テンプレートについてはS207で用いられるが、詳細は後述する。
【0085】
また、外部サーバシステム400は、第1の実施形態ではWebサーバ等であったものが、例えばマッシュアップサーバ等が用いられることになる。
【0086】
本実施形態の一例を、図7を用いて説明する。本実施形態ではまず、携帯端末(広義にはクライアント装置100)から検索条件が送られると、HMD(頭部装着型表示装置200)はマッシュアップサーバ(広義には外部サーバシステム400)に対してデータを要求し、データを取得する((1)〜(3))。そして、HMDは自身の表示部に概要を表示するとともに、携帯端末用コンテンツを生成し、携帯端末に送信する。((4)〜(5))。そして携帯端末は(8)に示したように携帯端末用コンテンツ(ここでは地図情報)を表示する。なお、携帯端末用コンテンツが、図7に示したように他のサーバへの参照を含むような場合には、(6)〜(7)に示したように、当該サーバへのアクセスが行われることになる。
【0087】
ただし、図7においては説明を簡略化するためにHMDとマッシュアップサーバ、或いは携帯端末と地図サーバが直接通信している様に描かれているが、厳密にはそうではない。図1に示したように本実施形態では、クライアント装置100及び頭部装着型表示装置200は同一LAN環境内の端末であり、ゲートウェイ300を介してネットワーク10につながっているシステムを想定している。そのため、(2)〜(3)、或いは(6)〜(7)のLANとインターネットを往復するアクセスは、ゲートウェイ300を介して(例えば、NAPT等を利用してアドレスとポート番号の変換をした上で)行われることになる。
【0088】
3.2 処理の詳細
次に、図8のフローチャートを用いて処理の詳細について説明する。この処理が開始されると、まずS201〜S205の処理が行われる。S201〜S205については第1の実施形態のS101〜S105の処理と同様であるため、詳細な説明は省略する。ただし、第1の実施形態においては、S104で送信されS105で表示される操作画面は、頭部装着型表示装置200を操作するためのものであり、例えば図5のA1に示した画面であった。それに対して、本実施形態においては、S104で送信されS205で表示される操作画面は、頭部装着型表示装置200で実行されるアプリケーションの設定を行うための画面であり、例えば図9に示す画面となる点に注意が必要である。また、第1の実施形態のS101〜S105の処理と同様に、本実施形態のS201〜S205の処理もWebブラウザを用いる場合の処理であり、専用アプリケーションを用いる場合には簡単化することができる。
【0089】
操作画面を表示部120に表示したら、当該操作画面における操作に基づいて、クライアント装置100は頭部装着型表示装置200に対してHTTPリクエストを送信する(S206)。ここで送信されるリクエストとは、具体的には以下の様になる。
http://192.168.0.2/?app=gourmet&interval=5000&nosmoking=yes&sort=near&latitude=35&longitude=120
文字列「http://」のあとに頭部装着型表示装置200のURL(ここではIPアドレス192.168.0.2)が記述され、文字列「/?」の後に各パラメータの名称と値が「=」で結ばれ記述される。また、パラメータが複数ある場合には「&」を挟んで表記する。ここで、頭部装着型表示装置200のURLについては第1の実施形態同様、S204におけるテンプレート処理により埋め込まれるものである。
【0090】
ここでは、パラメータとしてapp、interval、nosmoking、sort、latitude、longitudeが設定されている。appは実行するアプリケーションの種別を表し、ここでは値gourmetをとることでグルメアプリケーションを実行する。なお、appの値を変更することでその他のアプリケーションを実行することも可能である。また、intervalで頭部装着型表示装置200の表示部220に表示する情報の更新時間を設定し(ここでは5000ms)、nosmokingでレストラン情報を禁煙席の有無でフィルタリングするかを設定している。sortはレストランのソート順を表し、ここではnearを設定し、近い順に表示する。また、latitude、longitudeにより位置検出部160により取得された緯度、経度の情報を設定している。なお、ここで示したパラメータは一例であり、これ以外のパラメータを用いてもよいことは言うまでもない。
【0091】
そして、パラメータを受信すると処理部210は、テンプレート記憶部240からアプリケーション実行用テンプレートを読み出し、当該アプリケーション実行用テンプレートに対して受信したパラメータを埋め込んだ上で、アプリケーションの実行処理を行う(S207)。具体例を図10(A)、図10(B)に示す。図10(A)がアプリケーション実行用テンプレートの例であり、各パラメータの値に対応する部分が{{SORT}}等になっている。このテンプレートに対して、受信したパラメータを埋め込んで生成されたアプリケーションが図10(B)である。S207においては図10(B)のアプリケーションが実行されることになる。
【0092】
アプリケーションが実行されると、頭部装着型表示装置200は外部サーバシステム400に対してデータを要求する(S208)。外部サーバシステム400は、要求に従ってデータを返す(S209)。ここで外部サーバシステム400が返すデータの形式は例えば、図11に示すようなものである。例えばレストランの名前、緯度、経度、住所及び画像のURLを1件分のデータとして、複数件のデータをまとめて送信する。具体的なデータ形式はJSONPで記述されてもよいし、XMLで記述されてもよい。また、データの要素は、ここで例示した名前、緯度、経度等に限定されないことは言うまでもない。
【0093】
外部サーバシステム400からデータを取得すると、頭部装着型表示装置200は、取得したデータの一部から頭部装着型表示装置用表示データを生成し、表示部220に表示する(S210)。さらにデータの一部からクライアント装置用表示データを生成し、HTTPレスポンスとしてクライアント装置100に返す。なお、ここでのHTTPレスポンスは、S206においてパラメータの送信として行われたHTTPリクエストと対になるものである。
【0094】
クライアント装置100は、受信したクライアント装置用表示データに基づいて、クライアント装置用コンテンツを表示部120に表示する。クライアント装置100の表示部120と、頭部装着型表示装置200の表示部220に表示される画面の例を図12に示す。図12のB2のように、例えば頭部装着型表示装置200ではレストランの概要情報を表示して、図12のB1のように、クライアント装置100ではレストランの地図情報を表示することなどが考えられる。
【0095】
そして、所与の時間が経過すると、1件目のレストランの表示処理が終了し、次のレストランの表示に切り替わる。切り替わるタイミングは、例えば上述のパラメータintervalによって設定され、ここでは、頭部装着型表示装置200及びクライアント装置100は5000ms待機することになる(S213,S214)。所与の時間待機した後に、S210に戻り、2件目のデータを用いて頭部装着型表示装置用表示データを作成し表示部220に概要を表示し、S211でクライアント装置用表示データを作成し送信する。3件目以降についても同様の処理となる。
【0096】
以上の本実施形態では、クライアント装置100の表示部120に操作画面が表示され、操作画面においてアプリケーション実行のためのパラメータが設定される場合に、頭部装着型表示装置200の通信部230はパラメータを含むHTTPリクエストを受信し、処理部210はパラメータに基づいてパラメータ設定されたアプリケーションを実行する。
【0097】
ここで、パラメータとは、上述した例で言えば、app、interval、nosmoking、sort、latitude、longitude等のことであり、アプリケーションの種別及びアプリケーション実行条件を表すパラメータのことである。なお、上記パラメータは例示であり、これ以外のパラメータが用いられてもよいことは言うまでもない。
【0098】
これにより、クライアント装置100の表示部120に表示される操作画面において、アプリケーション実行のためのパラメータを設定することが可能になる。つまり、クライアント装置100から、アプリケーション実行のための操作を行うことができる。簡単な構成になりがちな頭部装着型表示装置200の操作部を、クライアント装置100を用いることで補うという点は第1の実施形態と同様である。
【0099】
また、処理部210はアプリケーションを実行することで通信部230を介して外部サーバシステム400から取得したデータに基づいて、頭部装着型表示装置用表示データと、クライアント装置用表示データとを生成する。そして、表示部220は頭部装着型表示装置用表示データに基づいて表示を行い、通信部230はクライアント装置100に対してHTTPレスポンスとしてクライアント装置用表示データを送信する。
【0100】
これにより、頭部装着型表示装置用表示データとクライアント装置用表示データを生成し、頭部装着型表示装置用表示データを自身の表示部220で表示した上で、クライアント装置用表示データをクライアント装置100に送信することが可能になる。つまり、頭部装着型表示装置200とクライアント装置100の表示部を用いた、複数画面の連携表示を行うことが可能になる。具体的には図11に示したようなデータを取得した際に、名前や画像の情報から、頭部装着型表示装置用表示データとして図12のB2の表示例に対応するデータを生成するとともに、緯度経度の情報からクライアント装置用表示データとして図12のB1の表示例に対応するデータを生成する。結果として図12のような表示が可能になり、複数の表示部で関連する情報を表示できるため、クライアント装置100の表示部120が小さいというデメリット等の解消につながる。
【0101】
また、処理部210は外部サーバシステム400から取得したデータに基づいて、第1〜第Nの頭部装着型表示装置用表示データと、第1〜第Nのクライアント装置用表示データとを生成する。上記データのうち、第iの頭部装着型表示装置用表示データと第iのクライアント装置用表示データとが関連するデータであるとする。その場合に、表示部220は第1〜第Nの頭部装着型表示装置用表示データを所与の表示間隔で順次表示し、通信部230は表示部220に第iの頭部装着型表示装置用表示データが表示されている場合には、第iのクライアント装置用表示データをクライアント装置100に送信する。
【0102】
これにより、図8のS210〜S215に示した処理が可能になる。つまり、図11のように複数件のデータをまとめて取得した際に、表示手法としては1件目からN件目までを所与の表示間隔で自動的に切り替える例が考えられる。その場合、頭部装着型表示装置200に表示される画像と、クライアント装置100に表示される画像とが、関連する情報(グルメアプリの例で言えば同一のレストランに関する情報)でなくてはならない。よって、頭部装着型表示装置200の通信部230は、表示部220で現在表示されている頭部装着型表示装置用表示データと関連するクライアント装置用表示データを、クライアント装置に対して送信する必要がある。
【0103】
また、クライアント装置100からのHTTPリクエストとしてアプリケーションを実行するためのパラメータの送信が行われた場合に、頭部装着型表示装置200の通信部230は当該HTTPリクエストに対するHTTPレスポンスとして、クライアント装置用表示データを送信する。
【0104】
これにより、HTTPリクエストとHTTPレスポンスとの対応付けを明確にすることが可能になる。基本的にHTTPリクエストとHTTPレスポンスは対になるものであり、本実施形態においては、パラメータの送信と、クライアント装置用表示データの送信とが対になる。
【0105】
また、テンプレート記憶部240は頭部装着型表示装置200において実行されるアプリケーションのテンプレートを記憶していてもよい。そして、通信部230はクライアント装置100の表示部120に表示された操作画面において設定されたアプリケーションを実行するためのパラメータを受信する。処理部210はアプリケーションのテンプレートに対して通信部230が受信したパラメータを埋め込むことで、アプリケーションを生成する。
【0106】
これにより、テンプレートを用いてアプリケーションの生成処理を簡単化することが可能になる。アプリケーションは例えば、図10に示したようにJavaScript等によって記述され、設定されたパラメータを{{SORT}}等のタグに埋め込むことでアプリケーションが生成される。つまり、テンプレート記憶部240は本実施形態においては、第1の実施形態で示した操作画面情報用のテンプレートの他に、アプリケーション実行のためのテンプレートを保持していることになる。
【0107】
以上、本発明を適用した2つの実施の形態1,2について説明したが、本発明は、各実施の形態1,2そのままに限定されるものではなく、実施段階では、発明の要旨を逸脱しない範囲内で構成要素を変形して具体化することができる。また、上記した各実施の形態1,2に開示されている複数の構成要素を適宜組み合わせることによって、種々の発明を形成することができる。例えば、各実施の形態1,2に記載した全構成要素からいくつかの構成要素を削除してもよい。さらに、異なる実施の形態で説明した構成要素を適宜組み合わせてもよい。このように、発明の主旨を逸脱しない範囲内において種々の変形や応用が可能である。
【符号の説明】
【0108】
10 ネットワーク、100 クライアント装置、120 表示部、130 通信部、
150 操作部、160 位置検出部、200 頭部装着型表示装置、210 処理部、
220 表示部、230 通信部、240 テンプレート記憶部、
300 ゲートウェイ、400 外部サーバシステム
【特許請求の範囲】
【請求項1】
表示画像の表示を行う表示部と、
クライアント装置及び外部サーバシステムとの間で通信を行う通信部と、
処理部と、
を含み、
前記通信部は、
頭部装着型表示装置を操作するための操作画面が、前記クライアント装置の表示部に表示され、前記クライアント装置の前記表示部に表示される前記操作画面の操作に基づいて、前記クライアント装置から頭部装着型表示装置に対してHTTP(Hypertext Transfer Protocol)リクエストが送信された場合に、送信された前記HTTPリクエストを受信し、
前記処理部は、
受信した前記HTTPリクエストに対応するコマンドを実行し、
前記通信部は、
前記処理部における前記コマンドの実行結果を、前記クライアント装置に対してHTTPレスポンスとして返信することを特徴とする頭部装着型表示装置。
【請求項2】
請求項1において、
前記通信部は、
前記クライアント装置の前記表示部に前記操作画面が表示され、前記操作画面においてアプリケーション実行のためのパラメータが設定された場合に、前記パラメータを含む前記HTTPリクエストを受信し、
前記処理部は、
前記パラメータに基づいてパラメータ設定された前記アプリケーションを実行する処理を行うことを特徴とする頭部装着型表示装置。
【請求項3】
請求項2において、
前記処理部は、
前記アプリケーションを実行することで前記通信部を介して前記外部サーバシステムから取得したデータに基づいて、頭部装着型表示装置用表示データと、クライアント装置用表示データとを生成し、
前記表示部は、
頭部装着型表示装置用表示データに基づいて、表示を行い、
前記通信部は、
前記クライアント装置に対して、前記HTTPレスポンスとして前記クライアント装置用表示データを送信することを特徴とする頭部装着型表示装置。
【請求項4】
請求項3において、
前記処理部は、
取得した前記データに基づいて、第1〜第N(Nは整数)の頭部装着型表示装置用表示データと、第1〜第Nのクライアント装置用表示データとを生成し、
前記表示部は、
前記第1〜第Nの頭部装着型表示装置用表示データのうち第i(iは1≦i≦Nを満たす整数)の頭部装着型表示装置用表示データと、前記第1〜第Nのクライアント装置用表示データのうち第iのクライアント装置用表示データとが関連するデータである場合に、前記第1〜第Nの頭部装着型表示装置用表示データを所与の表示間隔で順次表示し、
前記通信部は、
前記表示部に第iの頭部装着型表示装置用表示データが表示されている場合に、前記第1〜第Nのクライアント装置用表示データのうち、前記第iのクライアント装置用表示データを、前記クライアント装置に対して送信することを特徴とする頭部装着型表示装置。
【請求項5】
請求項3又は4において、
前記通信部は、
前記クライアント装置からの、前記アプリケーションを実行するための前記パラメータの送信が前記HTTPリクエストとして行われた場合に、前記クライアント装置に対する前記クライアント装置用表示データの送信を、前記HTTPリクエストに対応する前記HTTPレスポンスとして返すことを特徴とする頭部装着型表示装置。
【請求項6】
請求項1乃至5のいずれかにおいて、
前記通信部は、
前記クライアント装置からの前記HTTPリクエストが、所与のURL(Uniform Resource Locator)で指示されるコンテンツの表示指示であった場合に、前記所与のURLに対応するコンテンツに対してアクセスを行って、前記コンテンツを受信し、
前記表示部は、
受信した前記コンテンツを表示することを特徴とする頭部装着型表示装置。
【請求項7】
請求項1乃至6のいずれかにおいて、
前記処理部は、
前記クライアント装置からの前記HTTPリクエストが、前記表示画像におけるカーソルの移動コマンド、カーソルにより指示されるコンテンツの選択コマンド及び前画面への戻り指示コマンドのうちの少なくとも1つのコマンドであった場合に、前記HTTPリクエストに基づいて、前記コマンドの実行処理を行い、
前記表示部は、
前記コマンドの実行処理に従って、前記表示画像を更新し、更新後の表示画像を表示することを特徴とする頭部装着型表示装置。
【請求項8】
請求項1乃至7のいずれかにおいて、
前記クライアント装置において表示される前記操作画面情報のテンプレートを記憶するテンプレート記憶部を含み、
前記処理部は、
前記テンプレート記憶部に記憶された前記操作画面情報の前記テンプレートに対して、頭部装着型表示装置の前記アドレス情報を埋め込むことにより前記操作画面情報を生成することを特徴とする頭部装着型表示装置。
【請求項9】
請求項8において、
前記テンプレート記憶部は、
前記頭部装着型表示装置において実行されるアプリケーションのテンプレートを記憶し、
前記通信部は、
前記クライアント装置の前記表示部に表示された前記操作画面において設定されたアプリケーションを実行するためのパラメータを受信し、
前記処理部は、
前記テンプレート記憶部に記憶された前記アプリケーションの前記テンプレートに対して、前記通信部が受信した前記パラメータを埋め込むことで、頭部装着型表示装置において実行される前記アプリケーションを生成することを特徴とする頭部装着型表示装置。
【請求項10】
請求項1乃至9のいずれかにおいて、
前記処理部は、
前記通信部が、前記クライアント装置からの前記HTTPリクエストとして、初期接続リクエストを受信した場合に、前記操作画面を前記クライアント装置の前記表示部に表示するための情報である操作画面情報を生成し、
前記通信部は、
前記処理部が生成した前記操作画面情報を前記HTTPレスポンスとして前記クライアント装置に対して送信することを特徴とする頭部装着型表示装置。
【請求項11】
請求項10において、
前記表示部は、
前記表示画像として、頭部装着型表示装置のアドレス情報を表示し、
前記通信部は、
前記表示部に表示された前記アドレス情報に基づいて行われた、前記クライアント装置からのWebブラウザを用いたリクエストを前記初期接続リクエストとして受信し、
前記処理部は、
前記操作画面情報を生成し、
前記通信部は、
前記処理部が生成した前記操作画面情報を前記HTTPレスポンスとして前記クライアント装置に対して送信することを特徴とする頭部装着型表示装置。
【請求項12】
請求項1乃至11のいずれかにおいて、
前記通信部は、
前記HTTPリクエストとして、前記クライアント装置からHTML(Hypertext Markup Language)で記述された画面情報を受信し、
前記表示部は、
受信した前記HTMLで記述された前記画面情報に基づいて生成された表示画像を表示することを特徴とする頭部装着型表示装置。
【請求項13】
表示画像の表示を行う表示部と、
他のクライアント装置及び外部サーバシステムとの間で通信を行う通信部と、
処理部と、
を含み、
前記通信部は、
自身のクライアント装置を操作するための操作画面が、前記他のクライアント装置の表示部に表示され、前記他のクライアント装置の前記表示部に表示される前記操作画面の操作に基づいて、前記他のクライアント装置から自身のクライアント装置に対してHTTPリクエストが送信された場合に、送信された前記HTTPリクエストを受信し、
前記処理部は、
受信した前記HTTPリクエストに対応するコマンドを実行し、
前記通信部は、
前記処理部における前記コマンドの実行結果を、前記他のクライアント装置に対してHTTPレスポンスとして返信することを特徴とするクライアント装置。
【請求項1】
表示画像の表示を行う表示部と、
クライアント装置及び外部サーバシステムとの間で通信を行う通信部と、
処理部と、
を含み、
前記通信部は、
頭部装着型表示装置を操作するための操作画面が、前記クライアント装置の表示部に表示され、前記クライアント装置の前記表示部に表示される前記操作画面の操作に基づいて、前記クライアント装置から頭部装着型表示装置に対してHTTP(Hypertext Transfer Protocol)リクエストが送信された場合に、送信された前記HTTPリクエストを受信し、
前記処理部は、
受信した前記HTTPリクエストに対応するコマンドを実行し、
前記通信部は、
前記処理部における前記コマンドの実行結果を、前記クライアント装置に対してHTTPレスポンスとして返信することを特徴とする頭部装着型表示装置。
【請求項2】
請求項1において、
前記通信部は、
前記クライアント装置の前記表示部に前記操作画面が表示され、前記操作画面においてアプリケーション実行のためのパラメータが設定された場合に、前記パラメータを含む前記HTTPリクエストを受信し、
前記処理部は、
前記パラメータに基づいてパラメータ設定された前記アプリケーションを実行する処理を行うことを特徴とする頭部装着型表示装置。
【請求項3】
請求項2において、
前記処理部は、
前記アプリケーションを実行することで前記通信部を介して前記外部サーバシステムから取得したデータに基づいて、頭部装着型表示装置用表示データと、クライアント装置用表示データとを生成し、
前記表示部は、
頭部装着型表示装置用表示データに基づいて、表示を行い、
前記通信部は、
前記クライアント装置に対して、前記HTTPレスポンスとして前記クライアント装置用表示データを送信することを特徴とする頭部装着型表示装置。
【請求項4】
請求項3において、
前記処理部は、
取得した前記データに基づいて、第1〜第N(Nは整数)の頭部装着型表示装置用表示データと、第1〜第Nのクライアント装置用表示データとを生成し、
前記表示部は、
前記第1〜第Nの頭部装着型表示装置用表示データのうち第i(iは1≦i≦Nを満たす整数)の頭部装着型表示装置用表示データと、前記第1〜第Nのクライアント装置用表示データのうち第iのクライアント装置用表示データとが関連するデータである場合に、前記第1〜第Nの頭部装着型表示装置用表示データを所与の表示間隔で順次表示し、
前記通信部は、
前記表示部に第iの頭部装着型表示装置用表示データが表示されている場合に、前記第1〜第Nのクライアント装置用表示データのうち、前記第iのクライアント装置用表示データを、前記クライアント装置に対して送信することを特徴とする頭部装着型表示装置。
【請求項5】
請求項3又は4において、
前記通信部は、
前記クライアント装置からの、前記アプリケーションを実行するための前記パラメータの送信が前記HTTPリクエストとして行われた場合に、前記クライアント装置に対する前記クライアント装置用表示データの送信を、前記HTTPリクエストに対応する前記HTTPレスポンスとして返すことを特徴とする頭部装着型表示装置。
【請求項6】
請求項1乃至5のいずれかにおいて、
前記通信部は、
前記クライアント装置からの前記HTTPリクエストが、所与のURL(Uniform Resource Locator)で指示されるコンテンツの表示指示であった場合に、前記所与のURLに対応するコンテンツに対してアクセスを行って、前記コンテンツを受信し、
前記表示部は、
受信した前記コンテンツを表示することを特徴とする頭部装着型表示装置。
【請求項7】
請求項1乃至6のいずれかにおいて、
前記処理部は、
前記クライアント装置からの前記HTTPリクエストが、前記表示画像におけるカーソルの移動コマンド、カーソルにより指示されるコンテンツの選択コマンド及び前画面への戻り指示コマンドのうちの少なくとも1つのコマンドであった場合に、前記HTTPリクエストに基づいて、前記コマンドの実行処理を行い、
前記表示部は、
前記コマンドの実行処理に従って、前記表示画像を更新し、更新後の表示画像を表示することを特徴とする頭部装着型表示装置。
【請求項8】
請求項1乃至7のいずれかにおいて、
前記クライアント装置において表示される前記操作画面情報のテンプレートを記憶するテンプレート記憶部を含み、
前記処理部は、
前記テンプレート記憶部に記憶された前記操作画面情報の前記テンプレートに対して、頭部装着型表示装置の前記アドレス情報を埋め込むことにより前記操作画面情報を生成することを特徴とする頭部装着型表示装置。
【請求項9】
請求項8において、
前記テンプレート記憶部は、
前記頭部装着型表示装置において実行されるアプリケーションのテンプレートを記憶し、
前記通信部は、
前記クライアント装置の前記表示部に表示された前記操作画面において設定されたアプリケーションを実行するためのパラメータを受信し、
前記処理部は、
前記テンプレート記憶部に記憶された前記アプリケーションの前記テンプレートに対して、前記通信部が受信した前記パラメータを埋め込むことで、頭部装着型表示装置において実行される前記アプリケーションを生成することを特徴とする頭部装着型表示装置。
【請求項10】
請求項1乃至9のいずれかにおいて、
前記処理部は、
前記通信部が、前記クライアント装置からの前記HTTPリクエストとして、初期接続リクエストを受信した場合に、前記操作画面を前記クライアント装置の前記表示部に表示するための情報である操作画面情報を生成し、
前記通信部は、
前記処理部が生成した前記操作画面情報を前記HTTPレスポンスとして前記クライアント装置に対して送信することを特徴とする頭部装着型表示装置。
【請求項11】
請求項10において、
前記表示部は、
前記表示画像として、頭部装着型表示装置のアドレス情報を表示し、
前記通信部は、
前記表示部に表示された前記アドレス情報に基づいて行われた、前記クライアント装置からのWebブラウザを用いたリクエストを前記初期接続リクエストとして受信し、
前記処理部は、
前記操作画面情報を生成し、
前記通信部は、
前記処理部が生成した前記操作画面情報を前記HTTPレスポンスとして前記クライアント装置に対して送信することを特徴とする頭部装着型表示装置。
【請求項12】
請求項1乃至11のいずれかにおいて、
前記通信部は、
前記HTTPリクエストとして、前記クライアント装置からHTML(Hypertext Markup Language)で記述された画面情報を受信し、
前記表示部は、
受信した前記HTMLで記述された前記画面情報に基づいて生成された表示画像を表示することを特徴とする頭部装着型表示装置。
【請求項13】
表示画像の表示を行う表示部と、
他のクライアント装置及び外部サーバシステムとの間で通信を行う通信部と、
処理部と、
を含み、
前記通信部は、
自身のクライアント装置を操作するための操作画面が、前記他のクライアント装置の表示部に表示され、前記他のクライアント装置の前記表示部に表示される前記操作画面の操作に基づいて、前記他のクライアント装置から自身のクライアント装置に対してHTTPリクエストが送信された場合に、送信された前記HTTPリクエストを受信し、
前記処理部は、
受信した前記HTTPリクエストに対応するコマンドを実行し、
前記通信部は、
前記処理部における前記コマンドの実行結果を、前記他のクライアント装置に対してHTTPレスポンスとして返信することを特徴とするクライアント装置。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【公開番号】特開2012−178097(P2012−178097A)
【公開日】平成24年9月13日(2012.9.13)
【国際特許分類】
【出願番号】特願2011−41314(P2011−41314)
【出願日】平成23年2月28日(2011.2.28)
【公序良俗違反の表示】
(特許庁注:以下のものは登録商標)
1.QRコード
【出願人】(000000376)オリンパス株式会社 (11,466)
【Fターム(参考)】
【公開日】平成24年9月13日(2012.9.13)
【国際特許分類】
【出願日】平成23年2月28日(2011.2.28)
【公序良俗違反の表示】
(特許庁注:以下のものは登録商標)
1.QRコード
【出願人】(000000376)オリンパス株式会社 (11,466)
【Fターム(参考)】
[ Back to top ]