頭部装着型表示装置、情報端末、プログラム、情報記憶媒体及び画像処理システム
【課題】 頭部装着型表示装置に表示する画像を特定するための処理を、設定された制御モードに従って行う頭部装着型表示装置、情報端末等の提供。
【解決手段】 頭部装着型表示装置１００は、情報端末２００と通信を行う通信部１１０と、通信部１１０を介して情報端末２００から受信した画像データを画像記憶領域に記憶する表示バッファ１２０と、頭部姿勢情報を取得する情報取得部１５０と、表示バッファ１２０の画像記憶領域に表示領域を設定する処理部１３０と、設定された表示領域の画像を表示画像として表示する表示部１４０と、を含む。制御モードが第１モードに設定された場合には、通信部１１０は、頭部姿勢情報を情報端末２００に送信する。制御モードが第２モードに設定された場合には、通信部１１０は、処理部１３０は、頭部姿勢情報に基づいて、表示バッファ１２０の画像記憶領域に表示領域を設定する。
【解決手段】 頭部装着型表示装置１００は、情報端末２００と通信を行う通信部１１０と、通信部１１０を介して情報端末２００から受信した画像データを画像記憶領域に記憶する表示バッファ１２０と、頭部姿勢情報を取得する情報取得部１５０と、表示バッファ１２０の画像記憶領域に表示領域を設定する処理部１３０と、設定された表示領域の画像を表示画像として表示する表示部１４０と、を含む。制御モードが第１モードに設定された場合には、通信部１１０は、頭部姿勢情報を情報端末２００に送信する。制御モードが第２モードに設定された場合には、通信部１１０は、処理部１３０は、頭部姿勢情報に基づいて、表示バッファ１２０の画像記憶領域に表示領域を設定する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、頭部装着型表示装置、情報端末、プログラム、情報記憶媒体及び画像処理システム等に関係する。
【背景技術】
【０００２】
近年、携帯電話やＰＤＡ（Personal Digital Assistant）等の携帯電子機器を用いて、タウン情報・マップ情報を提供するサービスが展開されている。具体的には、ナビゲーションサービスや店舗情報の提供サービス等が挙げられる。例えば、店舗情報提供サービスにおいては、ユーザの現在位置をＧＰＳ等の手段を用いて取得したり、ユーザに検索対象位置を入力させた上で、携帯電子機器の画面に表示された地図上に、レストラン等の施設の位置を表示したりする。
【０００３】
しかし、地図を読むのが苦手なユーザもおり、地図上に施設位置を表示するだけの情報提供サービスは、場合によってはわかりにくいという問題があった。
【０００４】
さらに、従来の情報提供サービスには、利用時にユーザの視点（視線方向）が頻繁に上下してしまうという問題点がある。例えば、このような情報提供サービスの画面を参照するためには、手で把持している携帯電子機器に目を落とす必要がある。そのため、移動中に利用しようとした場合（例えば表示画面を参照しつつ、表示された施設へ実際に移動するような場合）、ユーザは道路の安全確認等を行いつつ、携帯電子機器に視線を向けなければならない。これは、ユーザにとって非常に煩わしい。
【０００５】
本来、ユーザの利便性を考えると、情報提供サービスの利用中も視線方向が変わらないことが望ましく、歩行中（ここでは歩行者向けサービスを想定している）であれば、進行方向に視線を向けていることが好ましい。ここで、ユーザの視点を変えずに情報を提供する手法として、ユーザの頭部に装着して用いる画像表示装置であるＨＭＤ（Head Mounted Display）を用いて、ユーザの視界内に表示画面を重畳する手法がある。特許文献１では、ユーザの頭部の動きに応じて、ＨＭＤにおいて表示される画像を制御する手法が開示されている。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開平１０−３４１３８７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
情報端末とＨＭＤ間で通信状態を維持せずにＨＭＤ単体で、情報提供サービスを行う場合には、ＨＭＤの表示バッファや記憶部に記憶できるデータ量に上限があるため、情報提供サービスを行うことができる地域が限られたり、店舗等の詳細な情報をユーザに提供できなかったりするという課題がある。
【０００８】
一方で、情報端末とＨＭＤ間で通信状態を維持しつつ、情報端末とＨＭＤの両方を用いて情報提供サービスを行う場合には、以下のような課題がある。
【０００９】
第１に、ＨＭＤと情報端末間で、センサデータを無線で常に送受信する必要があるため、消費電力が高くなる。
【００１０】
第２に、前述した情報提供サービスを実現するシステムでは、ＨＭＤからセンサデータを受信した情報端末が、表示制御の信号をＨＭＤへ送信する。すなわち、ＨＭＤと情報端末間で双方向の通信が必要となる。そのため、頭の動きに合わせて画面をスクロールするような場合にリアルタイム性が損なわれる場合がある。
【００１１】
本発明の幾つかの態様によれば、頭部装着型表示装置に表示する画像を特定するための処理を、設定された制御モードに従って行うことができる頭部装着型表示装置、情報端末、プログラム、情報記憶媒体及び画像処理システム等を提供することができる。
【００１２】
また、本発明の幾つかの態様によれば、頭部装着型表示装置に表示する画像を特定するための処理を、設定された制御モードに従って行い、システム全体の消費電力を抑制し、要求されるリアルタイム性を満たすことができる頭部装着型表示装置、情報端末、プログラム、情報記憶媒体及び画像処理システム等を提供することができる。
【課題を解決するための手段】
【００１３】
本発明の一態様は、情報端末と通信を行う通信部と、前記通信部を介して前記情報端末から受信した画像データを画像記憶領域に記憶する表示バッファと、頭部姿勢情報を取得する情報取得部と、前記表示バッファの前記画像記憶領域に表示領域を設定する処理部と、設定された前記表示領域の画像を表示画像として表示する表示部と、を含み、制御モードが第１モードに設定された場合には、前記通信部は、前記頭部姿勢情報を前記情報端末に送信し、前記制御モードが第２モードに設定された場合には、前記通信部は、前記頭部姿勢情報を前記情報端末に送信せず、前記処理部は、前記頭部姿勢情報に基づいて、前記表示バッファの前記画像記憶領域に前記表示領域を設定する頭部装着型表示装置に関係する。
【００１４】
これにより、頭部装着型表示装置に表示する画像を特定するための処理を、設定された制御モードに従って行うことができる。
【００１５】
また、本発明の一態様では、前記通信部は、前記制御モードが前記第２モードに設定されている場合には、前記情報端末から表示レイアウトデータと前記画像データとを受信し、前記表示バッファは、前記表示レイアウトデータにより設定された前記画像記憶領域に前記画像データを記憶し、前記処理部は、前記頭部姿勢情報に基づいて、前記画像記憶領域に前記表示領域を設定してもよい。
【００１６】
これにより、制御モードが第２モードに設定されている場合に、情報端末から受信した表示レイアウトデータが示す表示レイアウトで、画像データを表示バッファに記憶することができ、頭部装着型表示装置の表示部に画像を表示すること等が可能となる。
【００１７】
また、情報端末から受信する表示レイアウトデータによって、表示バッファの表示レイアウトを変更すること等が可能となる。
【００１８】
また、本発明の一態様では、前記処理部は、前記頭部姿勢情報により表される頭部姿勢が第１の頭部姿勢である場合には、前記画像記憶領域に第１の表示領域を設定し、前記頭部姿勢が第２の頭部姿勢である場合には、前記画像記憶領域に第２の表示領域を設定し、前記表示部は、前記第１の表示領域が設定された場合には、前記第１の表示領域の画像を前記表示画像として表示し、前記第２の表示領域が設定された場合には、前記第２の表示領域の画像を前記表示画像として表示してもよい。
【００１９】
これにより、頭部姿勢情報に応じて、画像記憶領域上の異なる領域に表示領域を設定すること等が可能になる。すなわち、ユーザの頭部の上下左右の動きに応じて、画像記憶領域上で表示領域をスクロールさせること等が可能となる。
【００２０】
また、本発明の一態様では、前記処理部は、取得された前記頭部姿勢情報に基づいて姿勢変化量を求め、前記姿勢変化量が所定の閾値以上であると判断する場合に、前記表示領域を前記第１の表示領域から前記第２の表示領域に移動させてもよい。
【００２１】
これにより、姿勢変化量と所定の閾値を比較することによって、表示領域を移動させるか否かを判定すること等が可能となる。
【００２２】
また、本発明の一態様では、前記通信部は、前記制御モードが前記第２モードに設定されている場合には、前記頭部姿勢情報を前記情報端末に送信し、送信された前記頭部姿勢情報と位置情報とに対応する複数の画像データを、前記情報端末から受信し、前記表示バッファは、前記表示レイアウトデータにより設定された前記画像記憶領域に前記複数の画像データを記憶してもよい。
【００２３】
これにより、例えば、施設等に関する情報を表す複数の画像を、頭部装着型表示装置の表示バッファの画像記憶領域に記憶し、情報端末と通信を行わずに、頭部装着型表示装置がユーザの頭部姿勢に応じて、表示画像を変えること等が可能になる。
【００２４】
また、本発明の一態様では、前記通信部は、前記画像データと前記画像データに関連付けられたコンテンツＩＤとを受信し、前記表示バッファは、前記各コンテンツＩＤに関連付けられた前記画像データを、前記コンテンツＩＤに対応する前記画像記憶領域の各領域に記憶してもよい。
【００２５】
これにより、同じ種類の内容を表す画像に同一のコンテンツＩＤを割り当てておけば、同じ種類の画像データを画像記憶領域の同じ位置に記憶すること等が可能になる。
【００２６】
また、本発明の他の態様では、頭部装着型表示装置と通信を行う通信部と、画像データを記憶する記憶部と、制御モードの設定処理を行う処理部と、位置情報を検出する位置検出部と、を含み、前記記憶部は、カテゴリＩＤと前記画像データとが関連付けられた第１のデータベースの情報と、前記頭部装着型表示装置から受信した頭部姿勢情報と、前記位置情報との組み合わせに前記カテゴリＩＤが関連付けられた第２のデータベースの情報と、を記憶し、前記通信部は、前記第１のデータベースの情報を前記頭部装着型表示装置に送信し、前記処理部は、前記制御モードを第１モードに設定した場合には、前記頭部姿勢情報と前記位置情報との組み合わせに関連付けられた前記カテゴリＩＤを前記第２のデータベースから取得し、前記通信部は、取得した前記カテゴリＩＤを前記頭部装着型表示装置に送信する情報端末に関係する。
【００２７】
これにより、頭部装着型表示装置の処理部は、取得されたカテゴリＩＤに対応する画像データを第１のデータベースに基づいて特定し、表示バッファの画像記憶領域において、特定した画像データが記憶される領域を表示領域に設定すること等が可能になる。
【００２８】
また、本発明の他の態様では、前記通信部は、前記制御モードが前記第１モードに設定された際に、前記頭部姿勢情報と前記位置情報との組み合わせが前記第２のデータベースに存在しない場合には、前記カテゴリＩＤとしてブランクＩＤを前記頭部装着型表示装置に送信してもよい。
【００２９】
これにより、頭部装着型表示装置の処理部は、ブランクＩＤを取得した場合には、画像記憶領域に表示領域を設定しないこと等が可能になる。
【００３０】
また、本発明の他の態様では、前記記憶部は、前記頭部姿勢情報と前記位置情報との組み合わせに複数の画像データが関連付けられた第３のデータベースを記憶し、前記処理部は、前記制御モードを第２モードに設定した場合には、前記頭部姿勢情報と前記位置情報との組み合わせに関連付けられた前記複数の画像データを、前記第３のデータベースから取得し、前記通信部は、取得した前記複数の画像データを前記頭部装着型表示装置に送信してもよい。
【００３１】
これにより、頭部装着型表示装置の表示バッファは、表示レイアウトデータにより設定された画像記憶領域に複数の画像データを記憶すること等が可能になる。
【００３２】
また、本発明の他の態様では、前記処理部は、前記頭部装着型表示装置から前記通信部を介して受信されたユーザ入力情報に基づいて、前記第１モードから第２モードに、又は前記第２モードから前記第１モードに、前記制御モードを切り替えてもよい。
【００３３】
これにより、例えば、ユーザが施設等の詳細情報を参照したいと考える場合に、ユーザ入力により制御モードを第２モードに変更し、ユーザが移動を再開したため周辺施設の概要情報を参照したいと考える場合にユーザ入力により第１モードに変更すること等が可能になる。
【００３４】
また、本発明の他の態様では、上記各部としてコンピュータを機能させるプログラム、又は該プログラムを記憶したコンピュータ読み取り可能な情報記憶媒体に関係する。
【００３５】
また、本発明の他の態様では、頭部姿勢情報を取得し、画像データを記憶する画像記憶領域に表示領域を設定し、設定された前記表示領域の画像を表示する頭部装着型表示装置と、位置情報の検出処理と制御モードの設定処理を行い、前記頭部装着型表示装置と通信を行う情報端末と、を含み、前記情報端末は、カテゴリＩＤと画像データとが関連付けられた第１のデータベースの情報と、前記頭部姿勢情報と前記位置情報との組み合わせに前記カテゴリＩＤが関連付けられた第２のデータベースの情報とを記憶し、前記第１のデータベースを前記頭部装着型表示装置に送信し、前記情報端末が前記制御モードを第１モードに設定した場合には、前記頭部装着型表示装置は、前記頭部姿勢情報を前記情報端末に送信し、前記情報端末は、受信した前記頭部姿勢情報と前記位置情報との組み合わせに関連付けられた前記カテゴリＩＤを前記第２のデータベースから取得し、取得した前記カテゴリＩＤを前記頭部装着型表示装置に送信し、前記頭部装着型表示装置は、受信した前記カテゴリＩＤに関連付けられた前記画像データを、前記第１のデータベースから特定し、前記画像記憶領域のうち、特定した前記画像データが記憶されている領域を、前記表示領域として設定し、前記情報端末が前記制御モードを第２モードに設定した場合には、前記頭部装着型表示装置は、前記頭部姿勢情報を前記情報端末に送信せず、前記頭部姿勢情報に基づいて、前記画像記憶領域に前記表示領域を設定する画像処理システムに関係する。
【図面の簡単な説明】
【００３６】
【図１】図１（Ａ）、図１（Ｂ）は、本実施形態のシステム構成図。
【図２】図２（Ａ）、図２（Ｂ）は、制御モードの説明図。
【図３】第１モード設定時の処理の流れを説明するシーケンス図。
【図４】図４（Ａ）〜図４（Ｃ）は、アイコン画像の表示例。
【図５】第２モード設定時の処理の流れを説明するシーケンス図。
【図６】図６（Ａ）〜図６（Ｃ）は、表示レイアウト例。
【図７】姿勢変化量に基づき表示領域を移動させる一例を説明するフローチャート。
【図８】図８（Ａ）〜図８（Ｃ）は、詳細情報を表す画像の表示例。
【図９】図９（Ａ）、図９（Ｂ）は、コンテンツＩＤに基づいて画像を配置設定する例。
【図１０】図１０（Ａ）〜図１０（Ｃ）は、データベースの一例。
【発明を実施するための形態】
【００３７】
以下、本実施形態について説明する。まず、本実施形態の概要を説明し、次に本実施形態のシステム構成例について説明する。そして、本実施形態の処理の詳細についてシーケンス図と具体例を用いて詳細に説明し、最後に、本実施形態の手法について説明する。なお、以下に説明する本実施形態は、特許請求の範囲に記載された本発明の内容を不当に限定するものではない。また、本実施形態で説明される構成の全てが、本発明の必須構成要件であるとは限らない。
【００３８】
１．概要
近年、携帯電話やＰＤＡ（Personal Digital Assistant）等の携帯電子機器を用いて、タウン情報・マップ情報を提供するサービスが展開されている。具体的には、ナビゲーションサービスや店舗情報の提供サービス等が挙げられる。例えば、店舗情報提供サービスにおいては、ユーザの現在位置をＧＰＳ等の手段を用いて取得したり、ユーザに検索対象位置を入力させた上で、携帯電子機器の画面に表示された地図上に、レストラン等の施設の位置を表示したりする。
【００３９】
しかし、地図を読むのが苦手なユーザもおり、地図上に施設位置を表示するだけの情報提供サービスは、場合によってはわかりにくいという問題があった。
【００４０】
さらに、従来の情報提供サービスには、利用時にユーザの視点（視線方向）が頻繁に上下してしまうという問題点がある。例えば、このような情報提供サービスの画面を参照するためには、手で把持している携帯電子機器に目を落とす必要がある。そのため、移動中に利用しようとした場合（例えば表示画面を参照しつつ、表示された施設へ実際に移動するような場合）、ユーザは道路の安全確認等を行いつつ、携帯電子機器に視線を向けなければならない。これは、ユーザにとって非常に煩わしい。
【００４１】
本来、ユーザの利便性を考えると、情報提供サービスの利用中も視線方向が変わらないことが望ましく、歩行中（ここでは歩行者向けサービスを想定している）であれば、進行方向に視線を向けていることが好ましい。ここで、ユーザの視点を変えずに情報を提供する手法として、ユーザの頭部に装着して用いる画像表示装置であるＨＭＤ（Head Mounted Display）を用いて、ユーザの視界内に表示画面を重畳する手法がある。特許文献１では、ユーザの頭部の動きに応じて、ＨＭＤにおいて表示される画像を制御する手法が開示されている。
【００４２】
その一手法として、情報端末とＨＭＤ間で通信状態を維持せずにＨＭＤ単体で、情報提供サービスを行う手法がある。しかし、この場合には、ＨＭＤの表示バッファや記憶部に記憶できるデータ量に上限があるため、情報提供サービスを行うことができる地域が限られたり、店舗等の詳細な情報をユーザに提供できなかったりするという課題がある。
【００４３】
一方で、情報端末とＨＭＤ間で通信状態を維持しつつ、情報端末とＨＭＤの両方を用いて情報提供サービスを行う場合には、以下のような課題がある。
【００４４】
第１に、ＨＭＤと情報端末間で、センサデータを無線で常に送受信する必要があるため、消費電力が高くなる。
【００４５】
第２に、前述した情報提供サービスを実現するシステムでは、ＨＭＤからセンサデータを受信した情報端末が、表示制御の信号をＨＭＤへ送信する。すなわち、ＨＭＤと情報端末間で双方向の通信が必要となる。そのため、頭の動きに合わせて画面をスクロールするような場合にリアルタイム性が損なわれる場合がある。
【００４６】
そこで、本実施形態の頭部装着型表示装置（ＨＭＤ）及び情報端末等は、頭部装着型表示装置に表示する画像を特定するための処理を、設定された制御モードに従って行う。
【００４７】
２．システム構成例
まず図１（Ａ）に、ユーザ１０が本実施形態の頭部装着型表示装置（ＨＭＤ）と情報端末を利用している様子を示す。図１（Ａ）においてユーザ１０は、ＨＭＤ１００を頭部に装着しており、情報端末２００を所持している。さらにウェアラブルセンサとして種々のセンサを身につけている。具体的には、加速度センサ５５１や方位センサ５６０がＨＭＤ１００に設けられ、ＧＰＳセンサ５５０が情報端末２００に設けられる。
【００４８】
ＧＰＳセンサ５５０は、ユーザの位置（場所）を検知するセンサである。なおＧＰＳセンサ５５０の代わりに携帯電話の位置情報サービスや周辺にある無線ＬＡＮの位置情報を利用してもよい。
【００４９】
方位センサ５６０は、例えば地磁気センサ等であり、センサの向いている方位を角度（０°〜３６０°）で計測する。地磁気センサは、例えば磁場の強さによって抵抗値やインピーダンス値が増減する素子等で構成され、三軸の地磁気情報を検知する。
【００５０】
加速度センサ５５１は、例えば外力によって抵抗値が増減する素子等で構成され、三軸の加速度情報を検知する。
【００５１】
また、地磁気センサや加速度センサ、ジャイロセンサの機能を併せ持つセンサを用いてもよい。さらに、地磁気情報や加速度情報から、磁北を基準とした偏角を算出し、出力するセンサを用いてもよい。
【００５２】
次に、図１（Ｂ）に本実施形態の頭部装着型表示装置（ＨＭＤ）、情報端末及びこれらを含む画像処理システムの構成例を示す。
【００５３】
頭部装着型表示装置１００は、通信部１１０と、表示バッファ１２０と、処理部１３０と、表示部１４０と、情報取得部１５０と、操作部１６０と、を含む。
【００５４】
また、情報端末２００は、通信部２１０と、記憶部２２０と、処理部２３０と、位置検出部２４０と、を含む。情報端末２００は、例えば、ＰＤＡ、ノート型ＰＣなどの携帯情報端末（モバイルコンピュータ）である。なお、情報端末２００は、携帯電話、腕時計、或いはポータブルオーディオなどとして兼用される機器であってもよい。
【００５５】
本実施形態のＨＭＤ及び画像生成システムは、図１（Ｂ）の構成に限定されず、これらの一部の構成要素を省略したり、他の構成要素を追加したりするなどの種々の変形実施が可能である。なお、本実施形態の画像生成システムの一部の機能は、情報端末２００により実現されるが、例えば情報端末２００とは異なる電子機器により実現してもよい。例えば、本実施形態の画像生成システムの一部の機能は、情報端末２００もしくはＨＭＤ１００と通信により接続されたサーバにより実現されてもよい。
【００５６】
次に各部の接続について説明する。ＨＭＤの通信部１１０と情報端末の通信部２１０は、例えば、ＷｉｆｉやＢｌｕｅｔｏｏｔｈ（登録商標）などの通信規格で互いに情報を送受信する。なお、通信部１１０及び通信部２１０は、有線により通信を行うものであってもよく、無線により通信を行うものであってもよい。
【００５７】
そして、ＨＭＤの通信部１１０は、処理部１３０に接続されている。処理部１３０は、表示バッファ１２０と、情報取得部１５０と、操作部１６０と、に接続されている。表示バッファ１２０は、表示部１４０に接続されている。情報取得部１５０は、処理部１３０に接続されている。
【００５８】
さらに、情報端末の通信部２１０は、処理部２３０に接続されている。処理部２３０は、通信部２１０と、記憶部２２０と、位置検出部２４０と、に接続されている。記憶部２２０は、処理部２３０に接続されている。位置検出部２４０は、処理部２３０に接続されている。
【００５９】
次に各部で行われる処理について説明する。
【００６０】
表示バッファ１２０は、表示部１４０に表示できる画像の解像度の２倍以上の解像度を持つ画像を記憶できる画像記憶領域を持つ。表示バッファ１２０の画像記憶領域は、ＲＡＭ等のメモリやＨＤＤ（ハードディスクドライブ）などにより実現できる。
【００６１】
処理部１３０は、ＨＭＤの各部を制御する。具体的には、処理部１３０は、後述する表示領域の設定処理を行ったり、ユーザ入力情報に応じて情報取得部にセンサ情報の取得の開始・停止を指示したりする。
【００６２】
表示部１４０は、表示バッファ１２０の画像記憶領域に記憶された画像を表示する。表示部１４０は、例えば、ユーザの頭部の近傍に装着されると共に、大きさが瞳孔の大きさよりも小さくなるように設定され、いわゆるシースルービューアの表示部として機能する。
【００６３】
情報取得部１５０は、センサ情報を取得して処理部１３０に通知する。情報取得部１５０は、センサ自体であってもよいし、センサからセンサ情報を取得する機能部であってもよい。
【００６４】
操作部１６０は、ユーザからの入力情報を取得し、処理部１３０に通知する。操作部１６０は、例えばＨＭＤ１００に設けられるボタンやスイッチ等である。なお、操作部１６０は情報端末２００に設けられてもよい。
【００６５】
記憶部２２０は、ＨＭＤの表示部１４０に表示する画像や、データベースを記憶したり、処理部２３０等のワーク領域となるもので、その機能はＲＡＭ等のメモリやＨＤＤなどにより実現できる。
【００６６】
処理部２３０は、情報端末の各部を制御する。また、処理部２３０は、制御モードの設定処理を行う。なお、処理部１３０及び処理部２３０の機能は、各種プロセッサ（ＣＰＵ等）、ＡＳＩＣ（ゲートアレイ等）などのハードウェアや、プログラムなどにより実現できる。
【００６７】
位置検出部２４０は、ユーザの位置情報を取得して処理部２３０に通知する。位置検出部２４０は、ＧＰＳセンサ５５０等のセンサ自体であってもよいし、センサからセンサ情報を取得する機能部であってもよい。
【００６８】
３．処理の詳細
３．１ 制御モードの概要
初めに、制御モードの概要について図２（Ａ）と図２（Ｂ）を用いて説明する。まず、本実施形態における制御モードには、第１モードと第２モードとの２種類がある。
【００６９】
制御モードが第１モードに設定されている場合の処理の様子を図２（Ａ）に示す。この場合には、頭部装着型表示装置（以下、ＨＭＤ）は情報端末に頭部姿勢情報等を送信し、情報端末は受信した頭部姿勢情報に基づいて、表示画像情報を特定する。そして、情報端末は、特定した表示画像情報をＨＭＤに送信する。すなわち、ＨＭＤと情報端末は、互いに通信を行いながら、表示画像を特定する。なお、表示画像情報は、表示画像そのものであってもよいし、本実施形態で用いるように特定の画像を指し示す情報であってもよい。これに関しては後述する。
【００７０】
一方、制御モードが第２モードに設定されている場合の処理の様子を図２（Ｂ）に示す。この場合には、ＨＭＤと情報端末は、処理の開始時には互いに通信を行うが、その後は通信を切断する。そして、ＨＭＤが単独で、頭部姿勢情報に基づいて表示画像を特定する。
【００７１】
以下で、第１モード設定時と第２モード設定時の処理について、具体的に説明する。
【００７２】
３．２ 第１モード設定時の処理の詳細
ここでは、図３のシーケンス図を用いて、第１モード設定時の処理の詳細について説明する。また、本実施形態の画像処理システムを利用している様子を図４（Ａ）に示す。さらに、図４（Ａ）において、制御モードが第１モードに設定されている場合に、ＨＭＤに表示するアイコン画像の一例を図４（Ｂ）に、ＨＭＤの表示バッファの画像記憶領域の一例を図４（Ｃ）に示す。
【００７３】
まず、図４（Ａ）に示す例では、ユーザＵＳの頭部方向がＤＲの方向であり、頭部方向ＤＲの先には郵便局がある。そして、ユーザＵＳの周辺には他にも踏切と、レストランと、トイレなどがある。このような場合にユーザＵＳが本実施形態のＨＭＤと情報端末を用いて、情報提供サービスを利用し始めたとする。
【００７４】
すると、まず、情報端末の処理部は、記憶部からアイコン画像（画像データ又は第１モード用アイコン画像群）と、アイコン画像に関連付けられたカテゴリＩＤを読み出す（Ｓ３０）。
【００７５】
ここで、アイコン画像の具体例として、図４（Ｂ）の画像ＩＩＭや、図４（Ｃ）の画像記憶領域ＩＢ内に記憶される各画像などがある。
【００７６】
また、アイコン画像とカテゴリＩＤとが関連付けられたデータの具体例として、図１０（Ａ）に示す第１のデータベースＤＢ１がある。図１０（Ａ）の第１のデータベースＤＢ１は、例えば、トイレや郵便局、レストラン、駅などの施設の種類別に、固有のカテゴリＩＤが関連付けられている。そして、第１のデータベースＤＢ１は、そのカテゴリＩＤとアイコン画像のファイル名が関連付けられており、カテゴリＩＤを指定すれば対応するアイコン画像を特定することができる。例えば、カテゴリＩＤを２と指定した場合には、「レストラン」に関するアイコンファイル（restautrant.jpg）が示すアイコン画像が特定される。
【００７７】
次に、情報端末の処理部は、通信部を介して、これらのアイコン画像とカテゴリＩＤ（以下、第１のデータベースＤＢ１とする）とをＨＭＤの処理部に送信する（Ｓ３１）。そして、ＨＭＤの処理部は、第１のデータベースＤＢ１を受信し、これを記憶する（Ｓ３２）。なお、ステップＳ３２までに、本実施形態の情報端末は、第１のデータベースを全て送信しているが、第１のデータベースの一部のみを送信してもよいし、ＨＭＤがあらかじめ第１のデータベースを記憶していてもよい。
【００７８】
以上の一連の処理が完了すると、情報端末の処理部は、第１モード用のループ処理の開始指示をＨＭＤの処理部に送信し（Ｓ３４）、第１モード用のループ処理を開始する（Ｓ３６）。
【００７９】
一方、第１モード用のループ処理の開始指示を受信したＨＭＤの処理部は、情報取得部に頭部姿勢情報（方向）取得開始指示を行い（Ｓ３５）、情報取得部から方位や仰角などの頭部姿勢情報を取得する（Ｓ３７）。例えば、図４（Ａ）では、頭部姿勢情報のうちの方位情報は、ＤＲ方向を示す情報となる。
【００８０】
また、情報端末の処理部は、ＨＭＤから頭部姿勢情報を受信するとともに、情報端末に設けられた位置検出部からユーザの位置情報を取得する（Ｓ３８）。位置情報は、ユーザの現在位置の緯度や経度等を表す情報である。
【００８１】
ところで、情報端末の記憶部は、あらかじめ例えば図１０（Ｂ）に示した第２のデータベースを記憶しておく。第２のデータベースは、図１０（Ｂ）に示すように、位置情報（ここでは緯度及び経度）と頭部姿勢情報（ここでは方位及び仰角）との各組み合わせに、カテゴリＩＤが関連付けられたデータ（レコード）の集合である。
【００８２】
そして、情報端末の処理部は、第２のデータベース内において、受信した頭部姿勢情報と取得した位置情報とに対応するデータ（レコード）が存在するか否かを判定し（Ｓ３９）、対応するデータが存在すると判定した場合には、そのデータのカテゴリＩＤを読み出して、ＨＭＤの処理部に通知する（Ｓ４０）。
【００８３】
例えば、図４（Ａ）の場合に、ユーザＵＳの現在位置の緯度が３５．７２４７４１３８０１で、経度が１３９．３６７３４６５２５であり、ユーザＵＳの頭部姿勢の方位が１２４であり、仰角も１２７である場合には、図１０（Ｂ）に示す第２のデータベースＤＢ２からカテゴリＩＤは０であると特定でき、情報端末は特定したカテゴリＩＤ＝０をＨＭＤの処理部に送信する。
【００８４】
一方、ＨＭＤの処理部は、第１のデータベースを用いて、受信したカテゴリＩＤに対応するアイコン画像を特定する。そして、画像記憶領域において、特定したアイコン画像が記憶されている領域を表示領域に設定し、アイコン画像を表示部に表示する（Ｓ４１）。
【００８５】
例えば、前述した例において、ＨＭＤの処理部がカテゴリＩＤ＝０を受信した場合には、図１０（Ａ）に示す第１のデータベースＤＢ１の中からカテゴリＩＤ＝０のデータ（レコード）を検索し、検索したデータから「郵便局」を表すアイコンファイルをする。そして、図４（Ｃ）に示す画像記憶領域ＩＢのうち、特定したアイコンファイルが記憶されている領域を表示領域に設定し、図４（Ｂ）に示すように表示部にアイコン画像ＩＩＭを表示する。
【００８６】
また、情報端末の処理部は、第２のデータベース内において、受信した頭部姿勢情報と取得した位置情報との組み合わせに対応するデータが存在しないと判定した場合には、ブランクＩＤ（空のカテゴリＩＤ）をＨＭＤの処理部に通知する（Ｓ４２）。ブランクＩＤには、第１のデータベースにおいてアイコンファイル（アイコン画像）と関連付けられていない任意の記号や数字を用いればよい。例えば、図１０（Ａ）の例では、ブランクＩＤとして「２５５」などを用いる。
【００８７】
そして、ＨＭＤの処理部は、ブランクＩＤを受信した場合には、画像記憶領域に表示領域を設定せず、ブランク画像を表示部に表示する（Ｓ４３）。もしくは、表示部に画像を表示しない。
【００８８】
ここで、ユーザが操作部を介して、詳細情報表示要求を行った場合には（Ｓ４４）、ＨＭＤの処理部は、第１モードのループ処理終了要求（もしくは第２モードへの遷移要求）を情報端末の処理部へ送信する（Ｓ４５）。
【００８９】
第１モードのループ処理終了要求を受信した情報端末の処理部は、ループ処理を終了し、制御モードを第２モードに設定する（Ｓ４６）。
【００９０】
３．３ 第２モード設定時の処理の詳細
ここでは、図５のシーケンス図を用いて、第２モード設定時の処理の詳細について説明する。
【００９１】
前提として、情報端末の記憶部は、あらかじめ例えば図１０（Ｃ）に示した第３のデータベースを記憶しておく。第３のデータベースは、図１０（Ｃ）に示すように、位置情報（ここでは緯度及び経度）と頭部姿勢情報（ここでは方位及び仰角）との各組み合わせに、複数の画像ファイル名（詳細情報画像ファイル）が関連付けられたデータ（レコード）の集合である。
【００９２】
まず、情報端末の処理部は、制御モードが第２モードに切り替わる直前のユーザの頭部姿勢情報と、位置情報との組み合わせに対応する画像データ（詳細情報画像）を第３のデータベースＤＢ３から読み込む（Ｓ５０）。なお、詳細情報画像の実用例については、後述する。
【００９３】
次に、情報端末の処理部は、表示レイアウトデータを指定して、画像データ（詳細情報画像）とともにＨＭＤへ送信する（Ｓ５１）。そして、ＨＭＤの処理部は、受信した表示レイアウト情報が示す表示レイアウトの画像記憶領域に、受信した画像データを記憶させる。そして、ＨＭＤの処理部は、画像記憶領域に表示領域を設定し、表示部が画像を表示する（Ｓ５２）。
【００９４】
ここで、表示レイアウトデータとは、後述するように表示レイアウトを指し示すデータのことである。
【００９５】
例えば、表示レイアウトデータにより３行×３列の長方形の表示レイアウトを指定した場合の例を、図６（Ａ）〜図６（Ｃ）を用いて説明する。図６（Ａ）にはＨＭＤを装着したユーザＵＳが首を振っている様子を、図６（Ｂ）には表示部に表示する画像ＩＩＭの一例を、図６（Ｃ）には表示バッファの画像記憶領域ＩＢと記憶される画像を示す。
【００９６】
前述したように表示バッファの画像記憶領域ＩＢは、表示部が表示可能な画像の２倍以上の領域（本例では９画面分）を持っており、受信した表示レイアウトデータにより設定された画像記憶領域ＩＢに、情報端末から受信した画像データを記憶する（図６（Ｃ））。そして、表示部には記憶した画像の一部（図６（Ｂ）のＩＩＭ）が表示される。
【００９７】
また、他にも、表示レイアウトとして、１行×９列の横長の長方形や、９行×１列の縦長の長方形等を指定することも可能である。なお、ここでは表示レイアウトの例として３つの例を示したが、表示レイアウト上での画像の配置や、表示バッファの大きさは任意であり、これらの例に限定されるものではない。
【００９８】
次に、情報端末の処理部が第２モードの処理を開始する指示（Ｓ５３）を送信し、ＨＭＤの処理部が第２モードの処理を開始すると（Ｓ５４）、ＨＭＤの情報取得部からＨＭＤの処理部へ方位および仰角などの頭部姿勢情報が送信される（Ｓ５５）。
【００９９】
そして、ＨＭＤの処理部は取得した頭部姿勢情報に基づいて、画面遷移判定処理を行う（Ｓ５６）。画面遷移判定処理の結果、表示する画像をスクロールすると判定された場合には、表示部は画像をスクロールして表示する（Ｓ５７）。
【０１００】
例えば図６（Ｃ）の中央の画像が図６（Ｂ）のように表示画像ＩＩＭとされている時に、図６（Ａ）のＤＲ１方向にユーザＵＳが首を動かした場合について説明する。
【０１０１】
まず、この場合には、画像記憶領域ＩＢの中央の領域が表示領域として設定されており、表示領域の画像が表示部に表示される。この状態で、ＤＲ１方向にユーザＵＳが首を動かした場合には、後述する画面遷移条件を満たした時に、画像記憶領域ＩＢにおいて表示領域をＤＲ１方向に移動させる。その結果、画像記憶領域ＩＢの中央の画像が表示部に表示されていた状態から、ＤＲ１方向にスクロールして画像を表示することが可能となる。ユーザＵＳが首をＤＲ２方向やＤＲ３方向、ＤＲ４方向に動かした場合や、他の表示レイアウトを用いる場合も同様である。
【０１０２】
ここで、画面遷移判定処理の詳細について、図７に示すフローチャートを用いて説明する。
【０１０３】
本実施形態において、ＨＭＤの情報取得部が取得するセンサ情報には、０°〜３６０°の値を示す方位ｄと、０°から２５５°の値を示す仰角ａが含まれる。なお、方位ｄは、０°及び３６０°が北の周期境界条件であり、仰角ａは、ａ＝０°の時に真下を示し、ａ＝１２７°の時に水平を示し、ａ＝２５５°の時に真上を示す。さらに、初期方位をｄｉ、初期仰角をａｉ、初期方位ｄｉと現在の方位ｄの差分と比較する閾値をΔｄ、初期仰角ａｉと現在の仰角ａの差分と比較する閾値をΔａとする。
【０１０４】
まず、ＨＭＤの処理部は、今回の画面遷移判定処理が初回の処理又は後述する初期化割り込み時の処理であるか否かを判定する（Ｓ１）。
【０１０５】
画面遷移判定処理が初回の処理又は後述する初期化割り込み時の処理であると判定した場合には、現在の方位ｄに初期方位ｄｉを、現在の仰角ａに初期仰角ａｉを代入する（Ｓ２）。
【０１０６】
一方、画面遷移判定処理が初回の処理又は後述する初期化割り込み時の処理ではないと判定した場合には、表示レイアウトが正方形であるか否かを判定する（Ｓ３）。なお、正方形の表示レイアウトとは、図６（Ｃ）のように行と列の数が同じ表示レイアウトのことを指す。
【０１０７】
表示レイアウトが正方形であると判定した場合において、（ａｉ−ａ）＞Δａであると判定した場合には（Ｓ４）、上方向へスクロールし（Ｓ５）、（ａｉ−ａ）＞Δａではなく、（ａｉ−ａ）＜−Δａであると判定した場合には（Ｓ６）、下方向へスクロールする（Ｓ７）。
【０１０８】
さらに、（ａｉ−ａ）＜−Δａでもないと判定した場合に、（ｄｉ−ｄ）＞Δｄであると判断する場合には（Ｓ８）、右方向へスクロールし（Ｓ９）、（ｄｉ−ｄ）＜−Δｄであると判断する場合には（Ｓ１０）、左方向へスクロールする（Ｓ１１）。（ｄｉ−ｄ）＜−Δｄでもないと判定した場合には、画面遷移判定処理を終了する。
【０１０９】
一方、表示レイアウトが正方形ではないと判定した場合には、表示レイアウトが垂直か否かを判定する（Ｓ１２）。なお、垂直な表示レイアウトとは、複数の行と１列の表示レイアウトのことを指す。
【０１１０】
表示レイアウトが垂直であると判定した場合において、（ａｉ−ａ）＞Δａであると判定した場合には（Ｓ１３）、上方向へスクロールし（Ｓ１４）、（ａｉ−ａ）＞Δａではなく、（ａｉ−ａ）＜−Δａであると判定した場合には（Ｓ１５）、下方向へスクロールする（Ｓ１６）。（ａｉ−ａ）＜−Δａでもないと判定した場合には、画面遷移判定処理を終了する。
【０１１１】
そして、表示レイアウトが垂直ではないと判定した場合には、表示レイアウトは水平であると判定する。なお、水平な表示レイアウトとは、１行と複数の列の表示レイアウトのことを指す。
【０１１２】
表示レイアウトが水平であると判定した場合において、（ｄｉ−ｄ）＞Δｄであると判定した場合には（Ｓ１７）、右方向へスクロールし（Ｓ１８）、（ｄｉ−ｄ）＞Δｄではなく、（ｄｉ−ｄ）＜−Δｄであると判定した場合には（Ｓ１９）、左方向へスクロールする（Ｓ２０）。（ｄｉ−ｄ）＜−Δｄでもないと判定した場合には、画面遷移判定処理を終了する。
【０１１３】
これにより、頭部の上下左右の動きに応じて、画像記憶領域上で表示領域をスクロールさせることが可能となる。
【０１１４】
ここで、例えば、表示部に表示された施設詳細情報を表す画像と手元の資料とを、ユーザが見比べたい場合など、ユーザが頭部を動かしつつも、特定の表示画像の表示を継続させたい場合がある。しかし、前述した手法を用いた場合には、ユーザの頭部姿勢に連動して、表示画像が切り替わってしまう。
【０１１５】
そこで、本実施形態では、操作部による割り込みによって、第２モード設定時の表示処理ループ（Ｓ５４〜Ｓ５７）及び情報取得部を一時停止および再開することができる（Ｓ５８）。例えば、図６（Ａ）〜図６（Ｃ）の状態で、表示処理ループを一時停止した場合には、図６（Ｃ）の画像記憶領域ＩＢの中央の画像がＨＭＤの表示部に表示されており、例えユーザがＤＲ４方向を向いたとしても表示部に表示される画像は変わらない（ＤＲ１〜ＤＲ３方向の場合も同様）。
【０１１６】
ここで、前述した画面遷移判定処理では、開始時の方位および仰角を保存し、次回以降の方位および仰角との差分が閾値を超えるか否かを判定することにより、スクロールをするか否かを判定しているため、ユーザが直立しておらず、頭部が地面に対して水平・垂直でない状態で表示処理ループが開始された場合には、頭の動きではスクロール不可能な領域ができてしまうという問題がある。
【０１１７】
そこで、本実施形態では、ＨＭＤの操作部から表示処理ループに対して割り込みを行い、その割り込み発生時点での方位と仰角を初期値として利用する（Ｓ５９）。
【０１１８】
そして、第２モードの終了要求（第１モードへの遷移要求）を、ユーザが操作部を介して入力するまで、ＨＭＤの処理部は第２モード設定時の表示処理ループを継続する。第２モードの終了要求が入力された場合には（Ｓ６０）、ＨＭＤの処理部は表示処理ループを終了する（Ｓ６１）。そして、制御モードを第１モードに変更することを情報端末へ通知する（Ｓ６２）。
【０１１９】
次に、詳細情報画像の実用例について、図８（Ａ）〜図８（Ｃ）を用いて説明する。
【０１２０】
まず、詳細情報画像とは、個別の施設等に関する情報を表す画像のことをいう。具体的には、レストランに関する詳細情報画像としては、外観写真の画像やアクセス情報を表す画像、地図画像、レビュー情報を表す画像などがあり、これらを図１０（Ｃ）のような第３のデータベースから読み出し、図８（Ｃ）に示すように、ＨＭＤの表示バッファの画像記憶領域ＩＢに記憶する。
【０１２１】
そして、例えば図８（Ａ）のユーザＵＳが、正面を向いており、図８（Ｃ）の画像記憶領域ＩＢに記憶した詳細情報画像ＤＩＭ２（アクセス情報を表す画像）が表示画像ＩＩＭであるとする。この時に、前述したように、ユーザＵＳが、正面を向いている状態から下方向（ＤＲ１方向）を向いた状態に頭部姿勢を変更した時に、図８（Ｃ）の画像記憶領域上に設定する表示領域も移動させて、詳細情報画像ＤＩＭ３（地図画像）が記憶されている領域を表示領域に設定し、地図画像ＤＩＭ３を表示することができる。
【０１２２】
また、前述した例のように、ユーザが首を振って、表示画像を変更する場合には、表示バッファの画像記憶領域の同じ位置に、同じ種類の情報を示す画像を記憶した方がよい。
【０１２３】
例えば、表示バッファの画像記憶領域の１段目に施設等の外観写真の画像を記憶し、２段目にアクセス情報を表す画像を記憶し、３段目に地図画像を、４段目にレビュー情報を表す画像を記憶する。これによって、詳細情報画像の対象となる施設が異なる場合（例えばレストランＡとレストランＢ、もしくはレストランＡとスーパーマーケットＡなど）であっても、参照したい詳細情報画像を表示するには、どの方向に首を振ればよいか分かりやすくなる。
【０１２４】
そこで、本実施形態では、図９（Ａ）に示すように、各領域ＡＲ１〜ＡＲ４にコンテンツＩＤが関連付けられた画像記憶領域ＩＢを有する表示バッファを用いる。さらに、図９（Ｂ）に示すように、詳細情報画像の種類毎に異なるコンテンツＩＤを関連付ける。例えば、施設等の外観写真の画像にはコンテンツＩＤ＝００１を、アクセス情報を表す画像にはコンテンツＩＤ＝００２を、地図画像にはコンテンツＩＤ＝００３を、レビュー情報を表す画像にはコンテンツＩＤ＝００４を、関連付ける。そして、詳細情報画像を、その詳細情報画像のコンテンツＩＤが関連付けられた画像記憶領域に記憶する。
【０１２５】
これにより、図９（Ｂ）に示す詳細情報画像のうち、画像ＩＭ１とＩＭ６は、第１の画像記憶領域ＡＲ１に、画像ＩＭ４とＩＭ８は、第１の画像記憶領域ＡＲ２に、画像ＩＭ３とＩＭ５は、第１の画像記憶領域ＡＲ３に、画像ＩＭ２とＩＭ７は、第１の画像記憶領域ＡＲ４に、記憶することができる。
【０１２６】
４．本実施形態の手法
４．１ 頭部装着型表示装置
以上の本実施形態の頭部装着型表示装置１００は、情報端末２００と通信を行う通信部１１０と、通信部１１０を介して情報端末２００から受信した画像データを画像記憶領域に記憶する表示バッファ１２０と、頭部姿勢情報を取得する情報取得部１５０と、表示バッファ１２０の画像記憶領域に表示領域を設定する処理部１３０と、設定された表示領域の画像を表示画像として表示する表示部１４０と、を含む。制御モードが第１モードに設定された場合には、通信部１１０は、頭部姿勢情報を情報端末２００に送信する。一方、制御モードが第２モードに設定された場合には、通信部１１０は、頭部姿勢情報を情報端末２００に送信せず、処理部１３０は、頭部姿勢情報に基づいて、表示バッファ１２０の画像記憶領域に表示領域を設定する。
【０１２７】
ここで、表示領域とは、画像記憶領域において、表示部１４０に表示する画像を記憶する領域として特定される領域のことをいう。表示領域は、画像記憶領域のアドレスにより特定される。
【０１２８】
そして、頭部姿勢情報とは、ユーザの頭部姿勢を表す情報である。例えば、頭部姿勢情報は、ユーザの頭部に設けられたセンサにより取得される仰角や方位などの値のことである。
【０１２９】
また、ここで、制御モードとは、頭部装着型表示装置と情報端末とが行う一連の処理内容を決定付けるモードのことを言い、本実施形態における制御モードには、第１モードと第２モードとがある。ただし、制御モードには、第１モードと第２モード以外のモードがあってもよい。
【０１３０】
制御モードのうちの第１モード（同期モード）とは、頭部装着型表示装置と情報端末とが互いに通信を行いながら、画像記憶領域に表示領域を設定するモードのこと等をいう。例えば、図２（Ａ）にその一例を示す。
【０１３１】
一方、第２モード（非同期モード）とは、頭部装着型表示装置と情報端末とが処理の開始時には互いに通信を行うが、その後は、頭部装着型表示装置が単独で、頭部姿勢情報に基づいて画像記憶領域に表示領域を設定するモードのこと等をいう。例えば、図２（Ｂ）にその一例を示す。
【０１３２】
これにより、頭部装着型表示装置に表示する画像を特定するための処理を、設定された制御モードに従って行うことができる。
【０１３３】
また、通信部１１０は、制御モードが第２モードに設定されている場合には、情報端末２００から表示レイアウトデータと画像データとを受信してもよい。そして、表示バッファ１２０は、表示レイアウトデータにより設定された画像記憶領域に画像データを記憶し、処理部１３０は、頭部姿勢情報に基づいて、画像記憶領域に表示領域を設定してもよい。
【０１３４】
ここで、表示レイアウトデータとは、表示レイアウトを指し示すデータのことをいう。また、表示レイアウトとは、表示バッファの画像記憶領域に記憶される画像が表示部１４０に表示される際の、各画像の位置関係を示す情報のことをいう。また、表示レイアウトは、画像記憶領域において、ＨＭＤの表示部１４０と同じ解像度で区切られた各領域の順序情報であってもよい。例えば、表示レイアウトは、図６（Ｃ）に示す３行×３列の正方形（ただし、画像のサイズによっては長方形となる）や、１行×９列の横長の長方形、９行×１列の縦長の長方形などがある。ただし、これらに限定されない。
【０１３５】
これにより、制御モードが第２モードに設定されている場合に、情報端末２００から受信した表示レイアウトデータが示す表示レイアウトで、画像データを表示バッファ１２０に記憶することができ、頭部装着型表示装置１００の表示部１４０に画像を表示することが可能となる。
【０１３６】
また、情報端末２００から受信する表示レイアウトデータによって、表示バッファ１２０の表示レイアウトを変更することが可能となる。
【０１３７】
そして、頭部装着型表示装置１００が、ユーザの頭部姿勢情報に応じて表示バッファ１２０の画像記憶領域に表示領域を設定することが可能となる。
【０１３８】
さらに、頭部姿勢情報を一度情報端末２００に送信し、通知された頭部姿勢情報に基づいて、表示部１４０に表示する画像を情報端末２００が特定する手法に比べて、頭部装着型表示装置１００と情報端末２００間での通信機会を減らすことが可能となり、応答速度の向上を図ることが可能となる。すなわち、情報端末２００と通信をせずに、頭部装着型表示装置１００内部で表示制御を行うため、スクロールのリアルタイム性が向上する。
【０１３９】
また、処理部１３０は、頭部姿勢情報により表される頭部姿勢が第１の頭部姿勢である場合には、画像記憶領域に第１の表示領域を設定し、頭部姿勢が第２の頭部姿勢である場合には、画像記憶領域に第２の表示領域を設定してもよい。そして、表示部１４０は、第１の表示領域が設定された場合には、第１の表示領域の画像を表示画像として表示し、第２の表示領域が設定された場合には、第２の表示領域の画像を表示画像として表示してもよい。
【０１４０】
ここで、第１の表示領域と第２の表示領域は、画像記憶領域内の領域のうち、互いに異なる領域のことをいう。本例では、第１の表示領域と第２の表示領域は、表示レイアウト上で隣接していることが望ましいが、これに限定されない。例えば、図８（Ｂ）では、画像記憶領域ＩＢのうち、画像ＤＩＭ２を記憶する領域が第１の表示領域であり、画像ＤＩＭ１を記憶する領域が第２の表示領域である。
【０１４１】
また、第１の頭部姿勢は、第２の頭部姿勢と異なる頭部姿勢のこという。例えば、図８（Ａ）では、ユーザＵＳが正面を向いている状態が第１の頭部姿勢であり、ユーザＵＳが下方向（ＤＲ１方向）を向いている状態が第２の頭部姿勢である。
【０１４２】
これにより、頭部姿勢情報に応じて、画像記憶領域上の異なる領域に表示領域を設定すること等が可能になる。すなわち、ユーザの頭部の上下左右の動きに応じて、画像記憶領域上で表示領域をスクロールさせること等が可能となる。
【０１４３】
また、処理部１３０は、取得された頭部姿勢情報に基づいて姿勢変化量を求め、姿勢変化量が所定の閾値以上であると判断する場合に、表示領域を第１の表示領域から第２の表示領域に移動させてもよい。
【０１４４】
ここで、姿勢変化量とは、基準頭部姿勢と現在の頭部姿勢との差である。基準頭部姿勢は、初期姿勢のことであってもよい。例えば、図７の初期方位ｄ及び初期仰角ａのこという。
【０１４５】
これにより、姿勢変化量と所定の閾値を比較することによって、表示領域を移動させるか否かを判定すること等が可能となる。
【０１４６】
また、通信部１１０は、制御モードが第２モードに設定されている場合には、頭部姿勢情報を情報端末２００に送信し、送信された頭部姿勢情報と位置情報とに対応する複数の画像データを、情報端末２００から受信してもよい。そして、表示バッファ１２０は、表示レイアウトデータにより設定された画像記憶領域に複数の画像データを記憶してもよい。
【０１４７】
ここで、位置情報とは、ユーザの位置を表す情報のことをいい、例えば、ユーザの現在位置の緯度や経度などの情報のことをいう。
【０１４８】
これにより、例えば、施設等に関する情報を表す複数の画像を、頭部装着型表示装置の表示バッファ１２０の画像記憶領域に記憶し、情報端末と通信を行わずに、頭部装着型表示装置がユーザの頭部姿勢に応じて、表示画像を変えること等が可能になる。
【０１４９】
また、例えばユーザがある地点に立ち止まって、施設等の詳細情報を確認している間は、必ずしも情報端末と通信する必要はないため、このような場合に通信処理にかかる消費電力等を抑制すること等も可能になる。
【０１５０】
また、通信部１１０は、画像データと画像データに関連付けられたコンテンツＩＤとを受信してもよい。そして、表示バッファ１２０は、各コンテンツＩＤに関連付けられた画像データを、コンテンツＩＤに対応する画像記憶領域の各領域に記憶してもよい。
【０１５１】
ここで、コンテンツＩＤとは、画像が表す情報の種類を判別するために用いられる数字や記号等である。具体例を、図９（Ａ）及び（Ｂ）に示す。
【０１５２】
これにより、同じ種類の内容を表す画像に同一のコンテンツＩＤを割り当てておけば、同じ種類の画像データを画像記憶領域の同じ位置に記憶すること等が可能になる。よって、例えば、情報端末から受信した複数の画像データの表示対象となる施設が異なる場合であっても、参照したい詳細情報画像を表示するには、どの方向に首を振ればよいか分かりやすくすること等が可能になる。
【０１５３】
４．２ 情報端末
また、本実施形態の情報端末２００は、頭部装着型表示装置１００と通信を行う通信部２１０と、画像データを記憶する記憶部２２０と、制御モードの設定処理を行う処理部２３０と、位置情報を検出する位置検出部２４０と、を含む。記憶部２２０は、カテゴリＩＤと画像データとが関連付けられた第１のデータベースの情報と、頭部装着型表示装置１００から受信した頭部姿勢情報と、位置情報との組み合わせにカテゴリＩＤが関連付けられた第２のデータベースの情報と、を記憶する。そして、通信部２１０は、第１のデータベースの情報を頭部装着型表示装置１００に送信する。さらに、処理部２３０は、制御モードを第１モードに設定した場合には、頭部姿勢情報と位置情報との組み合わせに関連付けられたカテゴリＩＤを第２のデータベースから取得する。その後、通信部２１０は、取得したカテゴリＩＤを頭部装着型表示装置１００に送信する。
【０１５４】
これにより、頭部装着型表示装置の処理部は、取得されたカテゴリＩＤに対応する画像データを第１のデータベースに基づいて特定し、表示バッファ１２０の画像記憶領域において、特定した画像データが記憶される領域を表示領域に設定すること等が可能になる。
【０１５５】
ここで、カテゴリＩＤとは、例えば、トイレや郵便局、レストラン、駅などの施設の種類別に割り当てられる固有の数字や記号のことをいう。例えば、図１０（Ａ）に示すようなものがある。
【０１５６】
また、第１のデータベースとは、カテゴリＩＤと画像データ情報とが関連付けられたデータ（レコード）の集合（データベース）のことをいう。また、カテゴリＩＤに関連付けられる画像データ情報は、画像データそのものであってもよし、画像データのファイル名などの画像データを特定可能な情報であればよい。例えば、図１０（Ａ）に示すＤＢ１である。
【０１５７】
さらに、第２のデータベースとは、位置情報と頭部姿勢情報との各組み合わせに、カテゴリＩＤが関連付けられたデータ（レコード）の集合（データベース）である。例えば、図１０（Ｂ）に示すＤＢ２である。
【０１５８】
したがって、例えばユーザが移動している場合に、ユーザの現在位置と頭部姿勢に対応する画像を表示すること等が可能となる。頭部装着型表示装置は、前述した第１のデータベースを記憶するだけで良いため、頭部装着型表示装置の記憶容量が問題とならない。また、一度、頭部装着型表示装置が第１のデータベースを受信した後は、頭部装着型表示装置と情報端末間では、頭部姿勢情報とカテゴリＩＤとを送受信するだけですむため、通信コストも抑制すること等が可能となり、要求されるリアルタイム性を満たすことが容易になる。
【０１５９】
また、通信部２１０は、制御モードが第１モードに設定された際に、頭部姿勢情報と位置情報との組み合わせが第２のデータベースに存在しない場合には、カテゴリＩＤとしてブランクＩＤを頭部装着型表示装置１００に送信してもよい。
【０１６０】
ここで、ブランクＩＤとは、第２のデータベース内において、所定の頭部姿勢情報と所定の位置情報との組み合わせに対応するデータが存在しない場合に用いるカテゴリＩＤのことをいう。また、ブランクＩＤには、第１のデータベースにおいてアイコンファイル（アイコン画像）と関連付けられていない任意の記号や数字を用いればよい。例えば、図１０（Ａ）の例では、ブランクＩＤとして「２５５」などを用いる。
【０１６１】
これにより、頭部装着型表示装置の処理部は、ブランクＩＤを取得した場合には、画像記憶領域に表示領域を設定しないこと等が可能になる。
【０１６２】
また、記憶部２２０は、頭部姿勢情報と位置情報との組み合わせに複数の画像データが関連付けられた第３のデータベースを記憶してもよい。そして、処理部２３０は、制御モードを第２モードに設定した場合には、頭部姿勢情報と位置情報との組み合わせに関連付けられた複数の画像データを、第３のデータベースから取得してもよい。さらに、通信部２１０は、取得した複数の画像データを頭部装着型表示装置１００に送信してもよい。
【０１６３】
ここで、第３のデータベースとは、位置情報と頭部姿勢情報との各組み合わせに、複数の画像データ情報が関連付けられたデータ（レコード）の集合（データベース）である。また、カテゴリＩＤに関連付けられる複数の画像データ情報は、画像データそのものであってもよし、画像データのファイル名などの画像データを特定可能な情報であればよい。例えば、図１０（Ｃ）に示すＤＢ３である。また、前述した第２のデータベースと共通項をまとめて、一つのデータベースとしてもよい。
【０１６４】
これにより、頭部装着型表示装置の表示バッファは、表示レイアウトデータにより設定された画像記憶領域に複数の画像データを記憶すること等が可能になる。そして、例えば、情報端末と通信を行わずに、頭部装着型表示装置がユーザの頭部姿勢に応じて、表示画像を変えること等が可能になる。
【０１６５】
また、処理部２３０は、頭部装着型表示装置１００から通信部２１０を介して受信されたユーザ入力情報に基づいて、第１モードから第２モードに、又は第２モードから第１モードに、制御モードを切り替えてもよい。
【０１６６】
ここで、ユーザ入力情報とは、ユーザにより操作部１６０を介して入力される情報のことをいう。
【０１６７】
これにより、例えば、ユーザが施設等の詳細情報を参照したいと考える場合に、ユーザ入力により制御モードを第２モードに変更し、ユーザが移動を再開したため周辺施設の概要情報を参照したいと考える場合にユーザ入力により第１モードに変更すること等が可能になる。
【０１６８】
なお、本実施形態の情報端末等は、プログラムにより実現してもよい。この場合には、ＣＰＵ等のプロセッサがプログラムを実行することで、本実施形態の状態推定装置等が実現される。具体的には、情報記憶媒体に記憶されたプログラムが読み出され、読み出されたプログラムをＣＰＵ等のプロセッサが実行する。ここで、情報記憶媒体（コンピュータにより読み取り可能な媒体）は、プログラムやデータなどを格納するものであり、その機能は、光ディスク（ＤＶＤ、ＣＤ等）、ＨＤＤ（ハードディスクドライブ）、或いはメモリ（カード型メモリ、ＲＯＭ等）などにより実現できる。そして、ＣＰＵ等のプロセッサは、情報記憶媒体に格納されるプログラム（データ）に基づいて本実施形態の種々の処理を行う。即ち、情報記憶媒体には、本実施形態の各部としてコンピュータ（操作部、処理部、記憶部、出力部を備える装置）を機能させるためのプログラム（各部の処理をコンピュータに実行させるためのプログラム）が記憶される。
【０１６９】
以上のように本実施形態について詳細に説明したが、本発明の新規事項および効果から実体的に逸脱しない多くの変形が可能であることは当業者には容易に理解できるであろう。従って、このような変形例はすべて本発明の範囲に含まれるものとする。例えば、明細書又は図面において、少なくとも一度、より広義または同義な異なる用語と共に記載された用語は、明細書又は図面のいかなる箇所においても、その異なる用語に置き換えることができる。また、頭部装着型表示装置、情報端末、プログラム、情報記憶媒体及び画像処理システムの構成、動作も本実施形態で説明したものに限定されず、種々の変形実施が可能である。
【符号の説明】
【０１７０】
１００ 頭部装着型表示装置、１１０ 通信部、１２０ 表示バッファ、
１３０ 処理部、１４０ 表示部、１５０ 情報取得部、１６０ 操作部、
２００ 情報端末、２１０ 通信部、２２０ 記憶部、２３０ 処理部、
２４０ 位置検出部、５５０ ＧＰＳセンサ、５５１ 加速度センサ、
５６０ 方位センサ
【技術分野】
【０００１】
本発明は、頭部装着型表示装置、情報端末、プログラム、情報記憶媒体及び画像処理システム等に関係する。
【背景技術】
【０００２】
近年、携帯電話やＰＤＡ（Personal Digital Assistant）等の携帯電子機器を用いて、タウン情報・マップ情報を提供するサービスが展開されている。具体的には、ナビゲーションサービスや店舗情報の提供サービス等が挙げられる。例えば、店舗情報提供サービスにおいては、ユーザの現在位置をＧＰＳ等の手段を用いて取得したり、ユーザに検索対象位置を入力させた上で、携帯電子機器の画面に表示された地図上に、レストラン等の施設の位置を表示したりする。
【０００３】
しかし、地図を読むのが苦手なユーザもおり、地図上に施設位置を表示するだけの情報提供サービスは、場合によってはわかりにくいという問題があった。
【０００４】
さらに、従来の情報提供サービスには、利用時にユーザの視点（視線方向）が頻繁に上下してしまうという問題点がある。例えば、このような情報提供サービスの画面を参照するためには、手で把持している携帯電子機器に目を落とす必要がある。そのため、移動中に利用しようとした場合（例えば表示画面を参照しつつ、表示された施設へ実際に移動するような場合）、ユーザは道路の安全確認等を行いつつ、携帯電子機器に視線を向けなければならない。これは、ユーザにとって非常に煩わしい。
【０００５】
本来、ユーザの利便性を考えると、情報提供サービスの利用中も視線方向が変わらないことが望ましく、歩行中（ここでは歩行者向けサービスを想定している）であれば、進行方向に視線を向けていることが好ましい。ここで、ユーザの視点を変えずに情報を提供する手法として、ユーザの頭部に装着して用いる画像表示装置であるＨＭＤ（Head Mounted Display）を用いて、ユーザの視界内に表示画面を重畳する手法がある。特許文献１では、ユーザの頭部の動きに応じて、ＨＭＤにおいて表示される画像を制御する手法が開示されている。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開平１０−３４１３８７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
情報端末とＨＭＤ間で通信状態を維持せずにＨＭＤ単体で、情報提供サービスを行う場合には、ＨＭＤの表示バッファや記憶部に記憶できるデータ量に上限があるため、情報提供サービスを行うことができる地域が限られたり、店舗等の詳細な情報をユーザに提供できなかったりするという課題がある。
【０００８】
一方で、情報端末とＨＭＤ間で通信状態を維持しつつ、情報端末とＨＭＤの両方を用いて情報提供サービスを行う場合には、以下のような課題がある。
【０００９】
第１に、ＨＭＤと情報端末間で、センサデータを無線で常に送受信する必要があるため、消費電力が高くなる。
【００１０】
第２に、前述した情報提供サービスを実現するシステムでは、ＨＭＤからセンサデータを受信した情報端末が、表示制御の信号をＨＭＤへ送信する。すなわち、ＨＭＤと情報端末間で双方向の通信が必要となる。そのため、頭の動きに合わせて画面をスクロールするような場合にリアルタイム性が損なわれる場合がある。
【００１１】
本発明の幾つかの態様によれば、頭部装着型表示装置に表示する画像を特定するための処理を、設定された制御モードに従って行うことができる頭部装着型表示装置、情報端末、プログラム、情報記憶媒体及び画像処理システム等を提供することができる。
【００１２】
また、本発明の幾つかの態様によれば、頭部装着型表示装置に表示する画像を特定するための処理を、設定された制御モードに従って行い、システム全体の消費電力を抑制し、要求されるリアルタイム性を満たすことができる頭部装着型表示装置、情報端末、プログラム、情報記憶媒体及び画像処理システム等を提供することができる。
【課題を解決するための手段】
【００１３】
本発明の一態様は、情報端末と通信を行う通信部と、前記通信部を介して前記情報端末から受信した画像データを画像記憶領域に記憶する表示バッファと、頭部姿勢情報を取得する情報取得部と、前記表示バッファの前記画像記憶領域に表示領域を設定する処理部と、設定された前記表示領域の画像を表示画像として表示する表示部と、を含み、制御モードが第１モードに設定された場合には、前記通信部は、前記頭部姿勢情報を前記情報端末に送信し、前記制御モードが第２モードに設定された場合には、前記通信部は、前記頭部姿勢情報を前記情報端末に送信せず、前記処理部は、前記頭部姿勢情報に基づいて、前記表示バッファの前記画像記憶領域に前記表示領域を設定する頭部装着型表示装置に関係する。
【００１４】
これにより、頭部装着型表示装置に表示する画像を特定するための処理を、設定された制御モードに従って行うことができる。
【００１５】
また、本発明の一態様では、前記通信部は、前記制御モードが前記第２モードに設定されている場合には、前記情報端末から表示レイアウトデータと前記画像データとを受信し、前記表示バッファは、前記表示レイアウトデータにより設定された前記画像記憶領域に前記画像データを記憶し、前記処理部は、前記頭部姿勢情報に基づいて、前記画像記憶領域に前記表示領域を設定してもよい。
【００１６】
これにより、制御モードが第２モードに設定されている場合に、情報端末から受信した表示レイアウトデータが示す表示レイアウトで、画像データを表示バッファに記憶することができ、頭部装着型表示装置の表示部に画像を表示すること等が可能となる。
【００１７】
また、情報端末から受信する表示レイアウトデータによって、表示バッファの表示レイアウトを変更すること等が可能となる。
【００１８】
また、本発明の一態様では、前記処理部は、前記頭部姿勢情報により表される頭部姿勢が第１の頭部姿勢である場合には、前記画像記憶領域に第１の表示領域を設定し、前記頭部姿勢が第２の頭部姿勢である場合には、前記画像記憶領域に第２の表示領域を設定し、前記表示部は、前記第１の表示領域が設定された場合には、前記第１の表示領域の画像を前記表示画像として表示し、前記第２の表示領域が設定された場合には、前記第２の表示領域の画像を前記表示画像として表示してもよい。
【００１９】
これにより、頭部姿勢情報に応じて、画像記憶領域上の異なる領域に表示領域を設定すること等が可能になる。すなわち、ユーザの頭部の上下左右の動きに応じて、画像記憶領域上で表示領域をスクロールさせること等が可能となる。
【００２０】
また、本発明の一態様では、前記処理部は、取得された前記頭部姿勢情報に基づいて姿勢変化量を求め、前記姿勢変化量が所定の閾値以上であると判断する場合に、前記表示領域を前記第１の表示領域から前記第２の表示領域に移動させてもよい。
【００２１】
これにより、姿勢変化量と所定の閾値を比較することによって、表示領域を移動させるか否かを判定すること等が可能となる。
【００２２】
また、本発明の一態様では、前記通信部は、前記制御モードが前記第２モードに設定されている場合には、前記頭部姿勢情報を前記情報端末に送信し、送信された前記頭部姿勢情報と位置情報とに対応する複数の画像データを、前記情報端末から受信し、前記表示バッファは、前記表示レイアウトデータにより設定された前記画像記憶領域に前記複数の画像データを記憶してもよい。
【００２３】
これにより、例えば、施設等に関する情報を表す複数の画像を、頭部装着型表示装置の表示バッファの画像記憶領域に記憶し、情報端末と通信を行わずに、頭部装着型表示装置がユーザの頭部姿勢に応じて、表示画像を変えること等が可能になる。
【００２４】
また、本発明の一態様では、前記通信部は、前記画像データと前記画像データに関連付けられたコンテンツＩＤとを受信し、前記表示バッファは、前記各コンテンツＩＤに関連付けられた前記画像データを、前記コンテンツＩＤに対応する前記画像記憶領域の各領域に記憶してもよい。
【００２５】
これにより、同じ種類の内容を表す画像に同一のコンテンツＩＤを割り当てておけば、同じ種類の画像データを画像記憶領域の同じ位置に記憶すること等が可能になる。
【００２６】
また、本発明の他の態様では、頭部装着型表示装置と通信を行う通信部と、画像データを記憶する記憶部と、制御モードの設定処理を行う処理部と、位置情報を検出する位置検出部と、を含み、前記記憶部は、カテゴリＩＤと前記画像データとが関連付けられた第１のデータベースの情報と、前記頭部装着型表示装置から受信した頭部姿勢情報と、前記位置情報との組み合わせに前記カテゴリＩＤが関連付けられた第２のデータベースの情報と、を記憶し、前記通信部は、前記第１のデータベースの情報を前記頭部装着型表示装置に送信し、前記処理部は、前記制御モードを第１モードに設定した場合には、前記頭部姿勢情報と前記位置情報との組み合わせに関連付けられた前記カテゴリＩＤを前記第２のデータベースから取得し、前記通信部は、取得した前記カテゴリＩＤを前記頭部装着型表示装置に送信する情報端末に関係する。
【００２７】
これにより、頭部装着型表示装置の処理部は、取得されたカテゴリＩＤに対応する画像データを第１のデータベースに基づいて特定し、表示バッファの画像記憶領域において、特定した画像データが記憶される領域を表示領域に設定すること等が可能になる。
【００２８】
また、本発明の他の態様では、前記通信部は、前記制御モードが前記第１モードに設定された際に、前記頭部姿勢情報と前記位置情報との組み合わせが前記第２のデータベースに存在しない場合には、前記カテゴリＩＤとしてブランクＩＤを前記頭部装着型表示装置に送信してもよい。
【００２９】
これにより、頭部装着型表示装置の処理部は、ブランクＩＤを取得した場合には、画像記憶領域に表示領域を設定しないこと等が可能になる。
【００３０】
また、本発明の他の態様では、前記記憶部は、前記頭部姿勢情報と前記位置情報との組み合わせに複数の画像データが関連付けられた第３のデータベースを記憶し、前記処理部は、前記制御モードを第２モードに設定した場合には、前記頭部姿勢情報と前記位置情報との組み合わせに関連付けられた前記複数の画像データを、前記第３のデータベースから取得し、前記通信部は、取得した前記複数の画像データを前記頭部装着型表示装置に送信してもよい。
【００３１】
これにより、頭部装着型表示装置の表示バッファは、表示レイアウトデータにより設定された画像記憶領域に複数の画像データを記憶すること等が可能になる。
【００３２】
また、本発明の他の態様では、前記処理部は、前記頭部装着型表示装置から前記通信部を介して受信されたユーザ入力情報に基づいて、前記第１モードから第２モードに、又は前記第２モードから前記第１モードに、前記制御モードを切り替えてもよい。
【００３３】
これにより、例えば、ユーザが施設等の詳細情報を参照したいと考える場合に、ユーザ入力により制御モードを第２モードに変更し、ユーザが移動を再開したため周辺施設の概要情報を参照したいと考える場合にユーザ入力により第１モードに変更すること等が可能になる。
【００３４】
また、本発明の他の態様では、上記各部としてコンピュータを機能させるプログラム、又は該プログラムを記憶したコンピュータ読み取り可能な情報記憶媒体に関係する。
【００３５】
また、本発明の他の態様では、頭部姿勢情報を取得し、画像データを記憶する画像記憶領域に表示領域を設定し、設定された前記表示領域の画像を表示する頭部装着型表示装置と、位置情報の検出処理と制御モードの設定処理を行い、前記頭部装着型表示装置と通信を行う情報端末と、を含み、前記情報端末は、カテゴリＩＤと画像データとが関連付けられた第１のデータベースの情報と、前記頭部姿勢情報と前記位置情報との組み合わせに前記カテゴリＩＤが関連付けられた第２のデータベースの情報とを記憶し、前記第１のデータベースを前記頭部装着型表示装置に送信し、前記情報端末が前記制御モードを第１モードに設定した場合には、前記頭部装着型表示装置は、前記頭部姿勢情報を前記情報端末に送信し、前記情報端末は、受信した前記頭部姿勢情報と前記位置情報との組み合わせに関連付けられた前記カテゴリＩＤを前記第２のデータベースから取得し、取得した前記カテゴリＩＤを前記頭部装着型表示装置に送信し、前記頭部装着型表示装置は、受信した前記カテゴリＩＤに関連付けられた前記画像データを、前記第１のデータベースから特定し、前記画像記憶領域のうち、特定した前記画像データが記憶されている領域を、前記表示領域として設定し、前記情報端末が前記制御モードを第２モードに設定した場合には、前記頭部装着型表示装置は、前記頭部姿勢情報を前記情報端末に送信せず、前記頭部姿勢情報に基づいて、前記画像記憶領域に前記表示領域を設定する画像処理システムに関係する。
【図面の簡単な説明】
【００３６】
【図１】図１（Ａ）、図１（Ｂ）は、本実施形態のシステム構成図。
【図２】図２（Ａ）、図２（Ｂ）は、制御モードの説明図。
【図３】第１モード設定時の処理の流れを説明するシーケンス図。
【図４】図４（Ａ）〜図４（Ｃ）は、アイコン画像の表示例。
【図５】第２モード設定時の処理の流れを説明するシーケンス図。
【図６】図６（Ａ）〜図６（Ｃ）は、表示レイアウト例。
【図７】姿勢変化量に基づき表示領域を移動させる一例を説明するフローチャート。
【図８】図８（Ａ）〜図８（Ｃ）は、詳細情報を表す画像の表示例。
【図９】図９（Ａ）、図９（Ｂ）は、コンテンツＩＤに基づいて画像を配置設定する例。
【図１０】図１０（Ａ）〜図１０（Ｃ）は、データベースの一例。
【発明を実施するための形態】
【００３７】
以下、本実施形態について説明する。まず、本実施形態の概要を説明し、次に本実施形態のシステム構成例について説明する。そして、本実施形態の処理の詳細についてシーケンス図と具体例を用いて詳細に説明し、最後に、本実施形態の手法について説明する。なお、以下に説明する本実施形態は、特許請求の範囲に記載された本発明の内容を不当に限定するものではない。また、本実施形態で説明される構成の全てが、本発明の必須構成要件であるとは限らない。
【００３８】
１．概要
近年、携帯電話やＰＤＡ（Personal Digital Assistant）等の携帯電子機器を用いて、タウン情報・マップ情報を提供するサービスが展開されている。具体的には、ナビゲーションサービスや店舗情報の提供サービス等が挙げられる。例えば、店舗情報提供サービスにおいては、ユーザの現在位置をＧＰＳ等の手段を用いて取得したり、ユーザに検索対象位置を入力させた上で、携帯電子機器の画面に表示された地図上に、レストラン等の施設の位置を表示したりする。
【００３９】
しかし、地図を読むのが苦手なユーザもおり、地図上に施設位置を表示するだけの情報提供サービスは、場合によってはわかりにくいという問題があった。
【００４０】
さらに、従来の情報提供サービスには、利用時にユーザの視点（視線方向）が頻繁に上下してしまうという問題点がある。例えば、このような情報提供サービスの画面を参照するためには、手で把持している携帯電子機器に目を落とす必要がある。そのため、移動中に利用しようとした場合（例えば表示画面を参照しつつ、表示された施設へ実際に移動するような場合）、ユーザは道路の安全確認等を行いつつ、携帯電子機器に視線を向けなければならない。これは、ユーザにとって非常に煩わしい。
【００４１】
本来、ユーザの利便性を考えると、情報提供サービスの利用中も視線方向が変わらないことが望ましく、歩行中（ここでは歩行者向けサービスを想定している）であれば、進行方向に視線を向けていることが好ましい。ここで、ユーザの視点を変えずに情報を提供する手法として、ユーザの頭部に装着して用いる画像表示装置であるＨＭＤ（Head Mounted Display）を用いて、ユーザの視界内に表示画面を重畳する手法がある。特許文献１では、ユーザの頭部の動きに応じて、ＨＭＤにおいて表示される画像を制御する手法が開示されている。
【００４２】
その一手法として、情報端末とＨＭＤ間で通信状態を維持せずにＨＭＤ単体で、情報提供サービスを行う手法がある。しかし、この場合には、ＨＭＤの表示バッファや記憶部に記憶できるデータ量に上限があるため、情報提供サービスを行うことができる地域が限られたり、店舗等の詳細な情報をユーザに提供できなかったりするという課題がある。
【００４３】
一方で、情報端末とＨＭＤ間で通信状態を維持しつつ、情報端末とＨＭＤの両方を用いて情報提供サービスを行う場合には、以下のような課題がある。
【００４４】
第１に、ＨＭＤと情報端末間で、センサデータを無線で常に送受信する必要があるため、消費電力が高くなる。
【００４５】
第２に、前述した情報提供サービスを実現するシステムでは、ＨＭＤからセンサデータを受信した情報端末が、表示制御の信号をＨＭＤへ送信する。すなわち、ＨＭＤと情報端末間で双方向の通信が必要となる。そのため、頭の動きに合わせて画面をスクロールするような場合にリアルタイム性が損なわれる場合がある。
【００４６】
そこで、本実施形態の頭部装着型表示装置（ＨＭＤ）及び情報端末等は、頭部装着型表示装置に表示する画像を特定するための処理を、設定された制御モードに従って行う。
【００４７】
２．システム構成例
まず図１（Ａ）に、ユーザ１０が本実施形態の頭部装着型表示装置（ＨＭＤ）と情報端末を利用している様子を示す。図１（Ａ）においてユーザ１０は、ＨＭＤ１００を頭部に装着しており、情報端末２００を所持している。さらにウェアラブルセンサとして種々のセンサを身につけている。具体的には、加速度センサ５５１や方位センサ５６０がＨＭＤ１００に設けられ、ＧＰＳセンサ５５０が情報端末２００に設けられる。
【００４８】
ＧＰＳセンサ５５０は、ユーザの位置（場所）を検知するセンサである。なおＧＰＳセンサ５５０の代わりに携帯電話の位置情報サービスや周辺にある無線ＬＡＮの位置情報を利用してもよい。
【００４９】
方位センサ５６０は、例えば地磁気センサ等であり、センサの向いている方位を角度（０°〜３６０°）で計測する。地磁気センサは、例えば磁場の強さによって抵抗値やインピーダンス値が増減する素子等で構成され、三軸の地磁気情報を検知する。
【００５０】
加速度センサ５５１は、例えば外力によって抵抗値が増減する素子等で構成され、三軸の加速度情報を検知する。
【００５１】
また、地磁気センサや加速度センサ、ジャイロセンサの機能を併せ持つセンサを用いてもよい。さらに、地磁気情報や加速度情報から、磁北を基準とした偏角を算出し、出力するセンサを用いてもよい。
【００５２】
次に、図１（Ｂ）に本実施形態の頭部装着型表示装置（ＨＭＤ）、情報端末及びこれらを含む画像処理システムの構成例を示す。
【００５３】
頭部装着型表示装置１００は、通信部１１０と、表示バッファ１２０と、処理部１３０と、表示部１４０と、情報取得部１５０と、操作部１６０と、を含む。
【００５４】
また、情報端末２００は、通信部２１０と、記憶部２２０と、処理部２３０と、位置検出部２４０と、を含む。情報端末２００は、例えば、ＰＤＡ、ノート型ＰＣなどの携帯情報端末（モバイルコンピュータ）である。なお、情報端末２００は、携帯電話、腕時計、或いはポータブルオーディオなどとして兼用される機器であってもよい。
【００５５】
本実施形態のＨＭＤ及び画像生成システムは、図１（Ｂ）の構成に限定されず、これらの一部の構成要素を省略したり、他の構成要素を追加したりするなどの種々の変形実施が可能である。なお、本実施形態の画像生成システムの一部の機能は、情報端末２００により実現されるが、例えば情報端末２００とは異なる電子機器により実現してもよい。例えば、本実施形態の画像生成システムの一部の機能は、情報端末２００もしくはＨＭＤ１００と通信により接続されたサーバにより実現されてもよい。
【００５６】
次に各部の接続について説明する。ＨＭＤの通信部１１０と情報端末の通信部２１０は、例えば、ＷｉｆｉやＢｌｕｅｔｏｏｔｈ（登録商標）などの通信規格で互いに情報を送受信する。なお、通信部１１０及び通信部２１０は、有線により通信を行うものであってもよく、無線により通信を行うものであってもよい。
【００５７】
そして、ＨＭＤの通信部１１０は、処理部１３０に接続されている。処理部１３０は、表示バッファ１２０と、情報取得部１５０と、操作部１６０と、に接続されている。表示バッファ１２０は、表示部１４０に接続されている。情報取得部１５０は、処理部１３０に接続されている。
【００５８】
さらに、情報端末の通信部２１０は、処理部２３０に接続されている。処理部２３０は、通信部２１０と、記憶部２２０と、位置検出部２４０と、に接続されている。記憶部２２０は、処理部２３０に接続されている。位置検出部２４０は、処理部２３０に接続されている。
【００５９】
次に各部で行われる処理について説明する。
【００６０】
表示バッファ１２０は、表示部１４０に表示できる画像の解像度の２倍以上の解像度を持つ画像を記憶できる画像記憶領域を持つ。表示バッファ１２０の画像記憶領域は、ＲＡＭ等のメモリやＨＤＤ（ハードディスクドライブ）などにより実現できる。
【００６１】
処理部１３０は、ＨＭＤの各部を制御する。具体的には、処理部１３０は、後述する表示領域の設定処理を行ったり、ユーザ入力情報に応じて情報取得部にセンサ情報の取得の開始・停止を指示したりする。
【００６２】
表示部１４０は、表示バッファ１２０の画像記憶領域に記憶された画像を表示する。表示部１４０は、例えば、ユーザの頭部の近傍に装着されると共に、大きさが瞳孔の大きさよりも小さくなるように設定され、いわゆるシースルービューアの表示部として機能する。
【００６３】
情報取得部１５０は、センサ情報を取得して処理部１３０に通知する。情報取得部１５０は、センサ自体であってもよいし、センサからセンサ情報を取得する機能部であってもよい。
【００６４】
操作部１６０は、ユーザからの入力情報を取得し、処理部１３０に通知する。操作部１６０は、例えばＨＭＤ１００に設けられるボタンやスイッチ等である。なお、操作部１６０は情報端末２００に設けられてもよい。
【００６５】
記憶部２２０は、ＨＭＤの表示部１４０に表示する画像や、データベースを記憶したり、処理部２３０等のワーク領域となるもので、その機能はＲＡＭ等のメモリやＨＤＤなどにより実現できる。
【００６６】
処理部２３０は、情報端末の各部を制御する。また、処理部２３０は、制御モードの設定処理を行う。なお、処理部１３０及び処理部２３０の機能は、各種プロセッサ（ＣＰＵ等）、ＡＳＩＣ（ゲートアレイ等）などのハードウェアや、プログラムなどにより実現できる。
【００６７】
位置検出部２４０は、ユーザの位置情報を取得して処理部２３０に通知する。位置検出部２４０は、ＧＰＳセンサ５５０等のセンサ自体であってもよいし、センサからセンサ情報を取得する機能部であってもよい。
【００６８】
３．処理の詳細
３．１ 制御モードの概要
初めに、制御モードの概要について図２（Ａ）と図２（Ｂ）を用いて説明する。まず、本実施形態における制御モードには、第１モードと第２モードとの２種類がある。
【００６９】
制御モードが第１モードに設定されている場合の処理の様子を図２（Ａ）に示す。この場合には、頭部装着型表示装置（以下、ＨＭＤ）は情報端末に頭部姿勢情報等を送信し、情報端末は受信した頭部姿勢情報に基づいて、表示画像情報を特定する。そして、情報端末は、特定した表示画像情報をＨＭＤに送信する。すなわち、ＨＭＤと情報端末は、互いに通信を行いながら、表示画像を特定する。なお、表示画像情報は、表示画像そのものであってもよいし、本実施形態で用いるように特定の画像を指し示す情報であってもよい。これに関しては後述する。
【００７０】
一方、制御モードが第２モードに設定されている場合の処理の様子を図２（Ｂ）に示す。この場合には、ＨＭＤと情報端末は、処理の開始時には互いに通信を行うが、その後は通信を切断する。そして、ＨＭＤが単独で、頭部姿勢情報に基づいて表示画像を特定する。
【００７１】
以下で、第１モード設定時と第２モード設定時の処理について、具体的に説明する。
【００７２】
３．２ 第１モード設定時の処理の詳細
ここでは、図３のシーケンス図を用いて、第１モード設定時の処理の詳細について説明する。また、本実施形態の画像処理システムを利用している様子を図４（Ａ）に示す。さらに、図４（Ａ）において、制御モードが第１モードに設定されている場合に、ＨＭＤに表示するアイコン画像の一例を図４（Ｂ）に、ＨＭＤの表示バッファの画像記憶領域の一例を図４（Ｃ）に示す。
【００７３】
まず、図４（Ａ）に示す例では、ユーザＵＳの頭部方向がＤＲの方向であり、頭部方向ＤＲの先には郵便局がある。そして、ユーザＵＳの周辺には他にも踏切と、レストランと、トイレなどがある。このような場合にユーザＵＳが本実施形態のＨＭＤと情報端末を用いて、情報提供サービスを利用し始めたとする。
【００７４】
すると、まず、情報端末の処理部は、記憶部からアイコン画像（画像データ又は第１モード用アイコン画像群）と、アイコン画像に関連付けられたカテゴリＩＤを読み出す（Ｓ３０）。
【００７５】
ここで、アイコン画像の具体例として、図４（Ｂ）の画像ＩＩＭや、図４（Ｃ）の画像記憶領域ＩＢ内に記憶される各画像などがある。
【００７６】
また、アイコン画像とカテゴリＩＤとが関連付けられたデータの具体例として、図１０（Ａ）に示す第１のデータベースＤＢ１がある。図１０（Ａ）の第１のデータベースＤＢ１は、例えば、トイレや郵便局、レストラン、駅などの施設の種類別に、固有のカテゴリＩＤが関連付けられている。そして、第１のデータベースＤＢ１は、そのカテゴリＩＤとアイコン画像のファイル名が関連付けられており、カテゴリＩＤを指定すれば対応するアイコン画像を特定することができる。例えば、カテゴリＩＤを２と指定した場合には、「レストラン」に関するアイコンファイル（restautrant.jpg）が示すアイコン画像が特定される。
【００７７】
次に、情報端末の処理部は、通信部を介して、これらのアイコン画像とカテゴリＩＤ（以下、第１のデータベースＤＢ１とする）とをＨＭＤの処理部に送信する（Ｓ３１）。そして、ＨＭＤの処理部は、第１のデータベースＤＢ１を受信し、これを記憶する（Ｓ３２）。なお、ステップＳ３２までに、本実施形態の情報端末は、第１のデータベースを全て送信しているが、第１のデータベースの一部のみを送信してもよいし、ＨＭＤがあらかじめ第１のデータベースを記憶していてもよい。
【００７８】
以上の一連の処理が完了すると、情報端末の処理部は、第１モード用のループ処理の開始指示をＨＭＤの処理部に送信し（Ｓ３４）、第１モード用のループ処理を開始する（Ｓ３６）。
【００７９】
一方、第１モード用のループ処理の開始指示を受信したＨＭＤの処理部は、情報取得部に頭部姿勢情報（方向）取得開始指示を行い（Ｓ３５）、情報取得部から方位や仰角などの頭部姿勢情報を取得する（Ｓ３７）。例えば、図４（Ａ）では、頭部姿勢情報のうちの方位情報は、ＤＲ方向を示す情報となる。
【００８０】
また、情報端末の処理部は、ＨＭＤから頭部姿勢情報を受信するとともに、情報端末に設けられた位置検出部からユーザの位置情報を取得する（Ｓ３８）。位置情報は、ユーザの現在位置の緯度や経度等を表す情報である。
【００８１】
ところで、情報端末の記憶部は、あらかじめ例えば図１０（Ｂ）に示した第２のデータベースを記憶しておく。第２のデータベースは、図１０（Ｂ）に示すように、位置情報（ここでは緯度及び経度）と頭部姿勢情報（ここでは方位及び仰角）との各組み合わせに、カテゴリＩＤが関連付けられたデータ（レコード）の集合である。
【００８２】
そして、情報端末の処理部は、第２のデータベース内において、受信した頭部姿勢情報と取得した位置情報とに対応するデータ（レコード）が存在するか否かを判定し（Ｓ３９）、対応するデータが存在すると判定した場合には、そのデータのカテゴリＩＤを読み出して、ＨＭＤの処理部に通知する（Ｓ４０）。
【００８３】
例えば、図４（Ａ）の場合に、ユーザＵＳの現在位置の緯度が３５．７２４７４１３８０１で、経度が１３９．３６７３４６５２５であり、ユーザＵＳの頭部姿勢の方位が１２４であり、仰角も１２７である場合には、図１０（Ｂ）に示す第２のデータベースＤＢ２からカテゴリＩＤは０であると特定でき、情報端末は特定したカテゴリＩＤ＝０をＨＭＤの処理部に送信する。
【００８４】
一方、ＨＭＤの処理部は、第１のデータベースを用いて、受信したカテゴリＩＤに対応するアイコン画像を特定する。そして、画像記憶領域において、特定したアイコン画像が記憶されている領域を表示領域に設定し、アイコン画像を表示部に表示する（Ｓ４１）。
【００８５】
例えば、前述した例において、ＨＭＤの処理部がカテゴリＩＤ＝０を受信した場合には、図１０（Ａ）に示す第１のデータベースＤＢ１の中からカテゴリＩＤ＝０のデータ（レコード）を検索し、検索したデータから「郵便局」を表すアイコンファイルをする。そして、図４（Ｃ）に示す画像記憶領域ＩＢのうち、特定したアイコンファイルが記憶されている領域を表示領域に設定し、図４（Ｂ）に示すように表示部にアイコン画像ＩＩＭを表示する。
【００８６】
また、情報端末の処理部は、第２のデータベース内において、受信した頭部姿勢情報と取得した位置情報との組み合わせに対応するデータが存在しないと判定した場合には、ブランクＩＤ（空のカテゴリＩＤ）をＨＭＤの処理部に通知する（Ｓ４２）。ブランクＩＤには、第１のデータベースにおいてアイコンファイル（アイコン画像）と関連付けられていない任意の記号や数字を用いればよい。例えば、図１０（Ａ）の例では、ブランクＩＤとして「２５５」などを用いる。
【００８７】
そして、ＨＭＤの処理部は、ブランクＩＤを受信した場合には、画像記憶領域に表示領域を設定せず、ブランク画像を表示部に表示する（Ｓ４３）。もしくは、表示部に画像を表示しない。
【００８８】
ここで、ユーザが操作部を介して、詳細情報表示要求を行った場合には（Ｓ４４）、ＨＭＤの処理部は、第１モードのループ処理終了要求（もしくは第２モードへの遷移要求）を情報端末の処理部へ送信する（Ｓ４５）。
【００８９】
第１モードのループ処理終了要求を受信した情報端末の処理部は、ループ処理を終了し、制御モードを第２モードに設定する（Ｓ４６）。
【００９０】
３．３ 第２モード設定時の処理の詳細
ここでは、図５のシーケンス図を用いて、第２モード設定時の処理の詳細について説明する。
【００９１】
前提として、情報端末の記憶部は、あらかじめ例えば図１０（Ｃ）に示した第３のデータベースを記憶しておく。第３のデータベースは、図１０（Ｃ）に示すように、位置情報（ここでは緯度及び経度）と頭部姿勢情報（ここでは方位及び仰角）との各組み合わせに、複数の画像ファイル名（詳細情報画像ファイル）が関連付けられたデータ（レコード）の集合である。
【００９２】
まず、情報端末の処理部は、制御モードが第２モードに切り替わる直前のユーザの頭部姿勢情報と、位置情報との組み合わせに対応する画像データ（詳細情報画像）を第３のデータベースＤＢ３から読み込む（Ｓ５０）。なお、詳細情報画像の実用例については、後述する。
【００９３】
次に、情報端末の処理部は、表示レイアウトデータを指定して、画像データ（詳細情報画像）とともにＨＭＤへ送信する（Ｓ５１）。そして、ＨＭＤの処理部は、受信した表示レイアウト情報が示す表示レイアウトの画像記憶領域に、受信した画像データを記憶させる。そして、ＨＭＤの処理部は、画像記憶領域に表示領域を設定し、表示部が画像を表示する（Ｓ５２）。
【００９４】
ここで、表示レイアウトデータとは、後述するように表示レイアウトを指し示すデータのことである。
【００９５】
例えば、表示レイアウトデータにより３行×３列の長方形の表示レイアウトを指定した場合の例を、図６（Ａ）〜図６（Ｃ）を用いて説明する。図６（Ａ）にはＨＭＤを装着したユーザＵＳが首を振っている様子を、図６（Ｂ）には表示部に表示する画像ＩＩＭの一例を、図６（Ｃ）には表示バッファの画像記憶領域ＩＢと記憶される画像を示す。
【００９６】
前述したように表示バッファの画像記憶領域ＩＢは、表示部が表示可能な画像の２倍以上の領域（本例では９画面分）を持っており、受信した表示レイアウトデータにより設定された画像記憶領域ＩＢに、情報端末から受信した画像データを記憶する（図６（Ｃ））。そして、表示部には記憶した画像の一部（図６（Ｂ）のＩＩＭ）が表示される。
【００９７】
また、他にも、表示レイアウトとして、１行×９列の横長の長方形や、９行×１列の縦長の長方形等を指定することも可能である。なお、ここでは表示レイアウトの例として３つの例を示したが、表示レイアウト上での画像の配置や、表示バッファの大きさは任意であり、これらの例に限定されるものではない。
【００９８】
次に、情報端末の処理部が第２モードの処理を開始する指示（Ｓ５３）を送信し、ＨＭＤの処理部が第２モードの処理を開始すると（Ｓ５４）、ＨＭＤの情報取得部からＨＭＤの処理部へ方位および仰角などの頭部姿勢情報が送信される（Ｓ５５）。
【００９９】
そして、ＨＭＤの処理部は取得した頭部姿勢情報に基づいて、画面遷移判定処理を行う（Ｓ５６）。画面遷移判定処理の結果、表示する画像をスクロールすると判定された場合には、表示部は画像をスクロールして表示する（Ｓ５７）。
【０１００】
例えば図６（Ｃ）の中央の画像が図６（Ｂ）のように表示画像ＩＩＭとされている時に、図６（Ａ）のＤＲ１方向にユーザＵＳが首を動かした場合について説明する。
【０１０１】
まず、この場合には、画像記憶領域ＩＢの中央の領域が表示領域として設定されており、表示領域の画像が表示部に表示される。この状態で、ＤＲ１方向にユーザＵＳが首を動かした場合には、後述する画面遷移条件を満たした時に、画像記憶領域ＩＢにおいて表示領域をＤＲ１方向に移動させる。その結果、画像記憶領域ＩＢの中央の画像が表示部に表示されていた状態から、ＤＲ１方向にスクロールして画像を表示することが可能となる。ユーザＵＳが首をＤＲ２方向やＤＲ３方向、ＤＲ４方向に動かした場合や、他の表示レイアウトを用いる場合も同様である。
【０１０２】
ここで、画面遷移判定処理の詳細について、図７に示すフローチャートを用いて説明する。
【０１０３】
本実施形態において、ＨＭＤの情報取得部が取得するセンサ情報には、０°〜３６０°の値を示す方位ｄと、０°から２５５°の値を示す仰角ａが含まれる。なお、方位ｄは、０°及び３６０°が北の周期境界条件であり、仰角ａは、ａ＝０°の時に真下を示し、ａ＝１２７°の時に水平を示し、ａ＝２５５°の時に真上を示す。さらに、初期方位をｄｉ、初期仰角をａｉ、初期方位ｄｉと現在の方位ｄの差分と比較する閾値をΔｄ、初期仰角ａｉと現在の仰角ａの差分と比較する閾値をΔａとする。
【０１０４】
まず、ＨＭＤの処理部は、今回の画面遷移判定処理が初回の処理又は後述する初期化割り込み時の処理であるか否かを判定する（Ｓ１）。
【０１０５】
画面遷移判定処理が初回の処理又は後述する初期化割り込み時の処理であると判定した場合には、現在の方位ｄに初期方位ｄｉを、現在の仰角ａに初期仰角ａｉを代入する（Ｓ２）。
【０１０６】
一方、画面遷移判定処理が初回の処理又は後述する初期化割り込み時の処理ではないと判定した場合には、表示レイアウトが正方形であるか否かを判定する（Ｓ３）。なお、正方形の表示レイアウトとは、図６（Ｃ）のように行と列の数が同じ表示レイアウトのことを指す。
【０１０７】
表示レイアウトが正方形であると判定した場合において、（ａｉ−ａ）＞Δａであると判定した場合には（Ｓ４）、上方向へスクロールし（Ｓ５）、（ａｉ−ａ）＞Δａではなく、（ａｉ−ａ）＜−Δａであると判定した場合には（Ｓ６）、下方向へスクロールする（Ｓ７）。
【０１０８】
さらに、（ａｉ−ａ）＜−Δａでもないと判定した場合に、（ｄｉ−ｄ）＞Δｄであると判断する場合には（Ｓ８）、右方向へスクロールし（Ｓ９）、（ｄｉ−ｄ）＜−Δｄであると判断する場合には（Ｓ１０）、左方向へスクロールする（Ｓ１１）。（ｄｉ−ｄ）＜−Δｄでもないと判定した場合には、画面遷移判定処理を終了する。
【０１０９】
一方、表示レイアウトが正方形ではないと判定した場合には、表示レイアウトが垂直か否かを判定する（Ｓ１２）。なお、垂直な表示レイアウトとは、複数の行と１列の表示レイアウトのことを指す。
【０１１０】
表示レイアウトが垂直であると判定した場合において、（ａｉ−ａ）＞Δａであると判定した場合には（Ｓ１３）、上方向へスクロールし（Ｓ１４）、（ａｉ−ａ）＞Δａではなく、（ａｉ−ａ）＜−Δａであると判定した場合には（Ｓ１５）、下方向へスクロールする（Ｓ１６）。（ａｉ−ａ）＜−Δａでもないと判定した場合には、画面遷移判定処理を終了する。
【０１１１】
そして、表示レイアウトが垂直ではないと判定した場合には、表示レイアウトは水平であると判定する。なお、水平な表示レイアウトとは、１行と複数の列の表示レイアウトのことを指す。
【０１１２】
表示レイアウトが水平であると判定した場合において、（ｄｉ−ｄ）＞Δｄであると判定した場合には（Ｓ１７）、右方向へスクロールし（Ｓ１８）、（ｄｉ−ｄ）＞Δｄではなく、（ｄｉ−ｄ）＜−Δｄであると判定した場合には（Ｓ１９）、左方向へスクロールする（Ｓ２０）。（ｄｉ−ｄ）＜−Δｄでもないと判定した場合には、画面遷移判定処理を終了する。
【０１１３】
これにより、頭部の上下左右の動きに応じて、画像記憶領域上で表示領域をスクロールさせることが可能となる。
【０１１４】
ここで、例えば、表示部に表示された施設詳細情報を表す画像と手元の資料とを、ユーザが見比べたい場合など、ユーザが頭部を動かしつつも、特定の表示画像の表示を継続させたい場合がある。しかし、前述した手法を用いた場合には、ユーザの頭部姿勢に連動して、表示画像が切り替わってしまう。
【０１１５】
そこで、本実施形態では、操作部による割り込みによって、第２モード設定時の表示処理ループ（Ｓ５４〜Ｓ５７）及び情報取得部を一時停止および再開することができる（Ｓ５８）。例えば、図６（Ａ）〜図６（Ｃ）の状態で、表示処理ループを一時停止した場合には、図６（Ｃ）の画像記憶領域ＩＢの中央の画像がＨＭＤの表示部に表示されており、例えユーザがＤＲ４方向を向いたとしても表示部に表示される画像は変わらない（ＤＲ１〜ＤＲ３方向の場合も同様）。
【０１１６】
ここで、前述した画面遷移判定処理では、開始時の方位および仰角を保存し、次回以降の方位および仰角との差分が閾値を超えるか否かを判定することにより、スクロールをするか否かを判定しているため、ユーザが直立しておらず、頭部が地面に対して水平・垂直でない状態で表示処理ループが開始された場合には、頭の動きではスクロール不可能な領域ができてしまうという問題がある。
【０１１７】
そこで、本実施形態では、ＨＭＤの操作部から表示処理ループに対して割り込みを行い、その割り込み発生時点での方位と仰角を初期値として利用する（Ｓ５９）。
【０１１８】
そして、第２モードの終了要求（第１モードへの遷移要求）を、ユーザが操作部を介して入力するまで、ＨＭＤの処理部は第２モード設定時の表示処理ループを継続する。第２モードの終了要求が入力された場合には（Ｓ６０）、ＨＭＤの処理部は表示処理ループを終了する（Ｓ６１）。そして、制御モードを第１モードに変更することを情報端末へ通知する（Ｓ６２）。
【０１１９】
次に、詳細情報画像の実用例について、図８（Ａ）〜図８（Ｃ）を用いて説明する。
【０１２０】
まず、詳細情報画像とは、個別の施設等に関する情報を表す画像のことをいう。具体的には、レストランに関する詳細情報画像としては、外観写真の画像やアクセス情報を表す画像、地図画像、レビュー情報を表す画像などがあり、これらを図１０（Ｃ）のような第３のデータベースから読み出し、図８（Ｃ）に示すように、ＨＭＤの表示バッファの画像記憶領域ＩＢに記憶する。
【０１２１】
そして、例えば図８（Ａ）のユーザＵＳが、正面を向いており、図８（Ｃ）の画像記憶領域ＩＢに記憶した詳細情報画像ＤＩＭ２（アクセス情報を表す画像）が表示画像ＩＩＭであるとする。この時に、前述したように、ユーザＵＳが、正面を向いている状態から下方向（ＤＲ１方向）を向いた状態に頭部姿勢を変更した時に、図８（Ｃ）の画像記憶領域上に設定する表示領域も移動させて、詳細情報画像ＤＩＭ３（地図画像）が記憶されている領域を表示領域に設定し、地図画像ＤＩＭ３を表示することができる。
【０１２２】
また、前述した例のように、ユーザが首を振って、表示画像を変更する場合には、表示バッファの画像記憶領域の同じ位置に、同じ種類の情報を示す画像を記憶した方がよい。
【０１２３】
例えば、表示バッファの画像記憶領域の１段目に施設等の外観写真の画像を記憶し、２段目にアクセス情報を表す画像を記憶し、３段目に地図画像を、４段目にレビュー情報を表す画像を記憶する。これによって、詳細情報画像の対象となる施設が異なる場合（例えばレストランＡとレストランＢ、もしくはレストランＡとスーパーマーケットＡなど）であっても、参照したい詳細情報画像を表示するには、どの方向に首を振ればよいか分かりやすくなる。
【０１２４】
そこで、本実施形態では、図９（Ａ）に示すように、各領域ＡＲ１〜ＡＲ４にコンテンツＩＤが関連付けられた画像記憶領域ＩＢを有する表示バッファを用いる。さらに、図９（Ｂ）に示すように、詳細情報画像の種類毎に異なるコンテンツＩＤを関連付ける。例えば、施設等の外観写真の画像にはコンテンツＩＤ＝００１を、アクセス情報を表す画像にはコンテンツＩＤ＝００２を、地図画像にはコンテンツＩＤ＝００３を、レビュー情報を表す画像にはコンテンツＩＤ＝００４を、関連付ける。そして、詳細情報画像を、その詳細情報画像のコンテンツＩＤが関連付けられた画像記憶領域に記憶する。
【０１２５】
これにより、図９（Ｂ）に示す詳細情報画像のうち、画像ＩＭ１とＩＭ６は、第１の画像記憶領域ＡＲ１に、画像ＩＭ４とＩＭ８は、第１の画像記憶領域ＡＲ２に、画像ＩＭ３とＩＭ５は、第１の画像記憶領域ＡＲ３に、画像ＩＭ２とＩＭ７は、第１の画像記憶領域ＡＲ４に、記憶することができる。
【０１２６】
４．本実施形態の手法
４．１ 頭部装着型表示装置
以上の本実施形態の頭部装着型表示装置１００は、情報端末２００と通信を行う通信部１１０と、通信部１１０を介して情報端末２００から受信した画像データを画像記憶領域に記憶する表示バッファ１２０と、頭部姿勢情報を取得する情報取得部１５０と、表示バッファ１２０の画像記憶領域に表示領域を設定する処理部１３０と、設定された表示領域の画像を表示画像として表示する表示部１４０と、を含む。制御モードが第１モードに設定された場合には、通信部１１０は、頭部姿勢情報を情報端末２００に送信する。一方、制御モードが第２モードに設定された場合には、通信部１１０は、頭部姿勢情報を情報端末２００に送信せず、処理部１３０は、頭部姿勢情報に基づいて、表示バッファ１２０の画像記憶領域に表示領域を設定する。
【０１２７】
ここで、表示領域とは、画像記憶領域において、表示部１４０に表示する画像を記憶する領域として特定される領域のことをいう。表示領域は、画像記憶領域のアドレスにより特定される。
【０１２８】
そして、頭部姿勢情報とは、ユーザの頭部姿勢を表す情報である。例えば、頭部姿勢情報は、ユーザの頭部に設けられたセンサにより取得される仰角や方位などの値のことである。
【０１２９】
また、ここで、制御モードとは、頭部装着型表示装置と情報端末とが行う一連の処理内容を決定付けるモードのことを言い、本実施形態における制御モードには、第１モードと第２モードとがある。ただし、制御モードには、第１モードと第２モード以外のモードがあってもよい。
【０１３０】
制御モードのうちの第１モード（同期モード）とは、頭部装着型表示装置と情報端末とが互いに通信を行いながら、画像記憶領域に表示領域を設定するモードのこと等をいう。例えば、図２（Ａ）にその一例を示す。
【０１３１】
一方、第２モード（非同期モード）とは、頭部装着型表示装置と情報端末とが処理の開始時には互いに通信を行うが、その後は、頭部装着型表示装置が単独で、頭部姿勢情報に基づいて画像記憶領域に表示領域を設定するモードのこと等をいう。例えば、図２（Ｂ）にその一例を示す。
【０１３２】
これにより、頭部装着型表示装置に表示する画像を特定するための処理を、設定された制御モードに従って行うことができる。
【０１３３】
また、通信部１１０は、制御モードが第２モードに設定されている場合には、情報端末２００から表示レイアウトデータと画像データとを受信してもよい。そして、表示バッファ１２０は、表示レイアウトデータにより設定された画像記憶領域に画像データを記憶し、処理部１３０は、頭部姿勢情報に基づいて、画像記憶領域に表示領域を設定してもよい。
【０１３４】
ここで、表示レイアウトデータとは、表示レイアウトを指し示すデータのことをいう。また、表示レイアウトとは、表示バッファの画像記憶領域に記憶される画像が表示部１４０に表示される際の、各画像の位置関係を示す情報のことをいう。また、表示レイアウトは、画像記憶領域において、ＨＭＤの表示部１４０と同じ解像度で区切られた各領域の順序情報であってもよい。例えば、表示レイアウトは、図６（Ｃ）に示す３行×３列の正方形（ただし、画像のサイズによっては長方形となる）や、１行×９列の横長の長方形、９行×１列の縦長の長方形などがある。ただし、これらに限定されない。
【０１３５】
これにより、制御モードが第２モードに設定されている場合に、情報端末２００から受信した表示レイアウトデータが示す表示レイアウトで、画像データを表示バッファ１２０に記憶することができ、頭部装着型表示装置１００の表示部１４０に画像を表示することが可能となる。
【０１３６】
また、情報端末２００から受信する表示レイアウトデータによって、表示バッファ１２０の表示レイアウトを変更することが可能となる。
【０１３７】
そして、頭部装着型表示装置１００が、ユーザの頭部姿勢情報に応じて表示バッファ１２０の画像記憶領域に表示領域を設定することが可能となる。
【０１３８】
さらに、頭部姿勢情報を一度情報端末２００に送信し、通知された頭部姿勢情報に基づいて、表示部１４０に表示する画像を情報端末２００が特定する手法に比べて、頭部装着型表示装置１００と情報端末２００間での通信機会を減らすことが可能となり、応答速度の向上を図ることが可能となる。すなわち、情報端末２００と通信をせずに、頭部装着型表示装置１００内部で表示制御を行うため、スクロールのリアルタイム性が向上する。
【０１３９】
また、処理部１３０は、頭部姿勢情報により表される頭部姿勢が第１の頭部姿勢である場合には、画像記憶領域に第１の表示領域を設定し、頭部姿勢が第２の頭部姿勢である場合には、画像記憶領域に第２の表示領域を設定してもよい。そして、表示部１４０は、第１の表示領域が設定された場合には、第１の表示領域の画像を表示画像として表示し、第２の表示領域が設定された場合には、第２の表示領域の画像を表示画像として表示してもよい。
【０１４０】
ここで、第１の表示領域と第２の表示領域は、画像記憶領域内の領域のうち、互いに異なる領域のことをいう。本例では、第１の表示領域と第２の表示領域は、表示レイアウト上で隣接していることが望ましいが、これに限定されない。例えば、図８（Ｂ）では、画像記憶領域ＩＢのうち、画像ＤＩＭ２を記憶する領域が第１の表示領域であり、画像ＤＩＭ１を記憶する領域が第２の表示領域である。
【０１４１】
また、第１の頭部姿勢は、第２の頭部姿勢と異なる頭部姿勢のこという。例えば、図８（Ａ）では、ユーザＵＳが正面を向いている状態が第１の頭部姿勢であり、ユーザＵＳが下方向（ＤＲ１方向）を向いている状態が第２の頭部姿勢である。
【０１４２】
これにより、頭部姿勢情報に応じて、画像記憶領域上の異なる領域に表示領域を設定すること等が可能になる。すなわち、ユーザの頭部の上下左右の動きに応じて、画像記憶領域上で表示領域をスクロールさせること等が可能となる。
【０１４３】
また、処理部１３０は、取得された頭部姿勢情報に基づいて姿勢変化量を求め、姿勢変化量が所定の閾値以上であると判断する場合に、表示領域を第１の表示領域から第２の表示領域に移動させてもよい。
【０１４４】
ここで、姿勢変化量とは、基準頭部姿勢と現在の頭部姿勢との差である。基準頭部姿勢は、初期姿勢のことであってもよい。例えば、図７の初期方位ｄ及び初期仰角ａのこという。
【０１４５】
これにより、姿勢変化量と所定の閾値を比較することによって、表示領域を移動させるか否かを判定すること等が可能となる。
【０１４６】
また、通信部１１０は、制御モードが第２モードに設定されている場合には、頭部姿勢情報を情報端末２００に送信し、送信された頭部姿勢情報と位置情報とに対応する複数の画像データを、情報端末２００から受信してもよい。そして、表示バッファ１２０は、表示レイアウトデータにより設定された画像記憶領域に複数の画像データを記憶してもよい。
【０１４７】
ここで、位置情報とは、ユーザの位置を表す情報のことをいい、例えば、ユーザの現在位置の緯度や経度などの情報のことをいう。
【０１４８】
これにより、例えば、施設等に関する情報を表す複数の画像を、頭部装着型表示装置の表示バッファ１２０の画像記憶領域に記憶し、情報端末と通信を行わずに、頭部装着型表示装置がユーザの頭部姿勢に応じて、表示画像を変えること等が可能になる。
【０１４９】
また、例えばユーザがある地点に立ち止まって、施設等の詳細情報を確認している間は、必ずしも情報端末と通信する必要はないため、このような場合に通信処理にかかる消費電力等を抑制すること等も可能になる。
【０１５０】
また、通信部１１０は、画像データと画像データに関連付けられたコンテンツＩＤとを受信してもよい。そして、表示バッファ１２０は、各コンテンツＩＤに関連付けられた画像データを、コンテンツＩＤに対応する画像記憶領域の各領域に記憶してもよい。
【０１５１】
ここで、コンテンツＩＤとは、画像が表す情報の種類を判別するために用いられる数字や記号等である。具体例を、図９（Ａ）及び（Ｂ）に示す。
【０１５２】
これにより、同じ種類の内容を表す画像に同一のコンテンツＩＤを割り当てておけば、同じ種類の画像データを画像記憶領域の同じ位置に記憶すること等が可能になる。よって、例えば、情報端末から受信した複数の画像データの表示対象となる施設が異なる場合であっても、参照したい詳細情報画像を表示するには、どの方向に首を振ればよいか分かりやすくすること等が可能になる。
【０１５３】
４．２ 情報端末
また、本実施形態の情報端末２００は、頭部装着型表示装置１００と通信を行う通信部２１０と、画像データを記憶する記憶部２２０と、制御モードの設定処理を行う処理部２３０と、位置情報を検出する位置検出部２４０と、を含む。記憶部２２０は、カテゴリＩＤと画像データとが関連付けられた第１のデータベースの情報と、頭部装着型表示装置１００から受信した頭部姿勢情報と、位置情報との組み合わせにカテゴリＩＤが関連付けられた第２のデータベースの情報と、を記憶する。そして、通信部２１０は、第１のデータベースの情報を頭部装着型表示装置１００に送信する。さらに、処理部２３０は、制御モードを第１モードに設定した場合には、頭部姿勢情報と位置情報との組み合わせに関連付けられたカテゴリＩＤを第２のデータベースから取得する。その後、通信部２１０は、取得したカテゴリＩＤを頭部装着型表示装置１００に送信する。
【０１５４】
これにより、頭部装着型表示装置の処理部は、取得されたカテゴリＩＤに対応する画像データを第１のデータベースに基づいて特定し、表示バッファ１２０の画像記憶領域において、特定した画像データが記憶される領域を表示領域に設定すること等が可能になる。
【０１５５】
ここで、カテゴリＩＤとは、例えば、トイレや郵便局、レストラン、駅などの施設の種類別に割り当てられる固有の数字や記号のことをいう。例えば、図１０（Ａ）に示すようなものがある。
【０１５６】
また、第１のデータベースとは、カテゴリＩＤと画像データ情報とが関連付けられたデータ（レコード）の集合（データベース）のことをいう。また、カテゴリＩＤに関連付けられる画像データ情報は、画像データそのものであってもよし、画像データのファイル名などの画像データを特定可能な情報であればよい。例えば、図１０（Ａ）に示すＤＢ１である。
【０１５７】
さらに、第２のデータベースとは、位置情報と頭部姿勢情報との各組み合わせに、カテゴリＩＤが関連付けられたデータ（レコード）の集合（データベース）である。例えば、図１０（Ｂ）に示すＤＢ２である。
【０１５８】
したがって、例えばユーザが移動している場合に、ユーザの現在位置と頭部姿勢に対応する画像を表示すること等が可能となる。頭部装着型表示装置は、前述した第１のデータベースを記憶するだけで良いため、頭部装着型表示装置の記憶容量が問題とならない。また、一度、頭部装着型表示装置が第１のデータベースを受信した後は、頭部装着型表示装置と情報端末間では、頭部姿勢情報とカテゴリＩＤとを送受信するだけですむため、通信コストも抑制すること等が可能となり、要求されるリアルタイム性を満たすことが容易になる。
【０１５９】
また、通信部２１０は、制御モードが第１モードに設定された際に、頭部姿勢情報と位置情報との組み合わせが第２のデータベースに存在しない場合には、カテゴリＩＤとしてブランクＩＤを頭部装着型表示装置１００に送信してもよい。
【０１６０】
ここで、ブランクＩＤとは、第２のデータベース内において、所定の頭部姿勢情報と所定の位置情報との組み合わせに対応するデータが存在しない場合に用いるカテゴリＩＤのことをいう。また、ブランクＩＤには、第１のデータベースにおいてアイコンファイル（アイコン画像）と関連付けられていない任意の記号や数字を用いればよい。例えば、図１０（Ａ）の例では、ブランクＩＤとして「２５５」などを用いる。
【０１６１】
これにより、頭部装着型表示装置の処理部は、ブランクＩＤを取得した場合には、画像記憶領域に表示領域を設定しないこと等が可能になる。
【０１６２】
また、記憶部２２０は、頭部姿勢情報と位置情報との組み合わせに複数の画像データが関連付けられた第３のデータベースを記憶してもよい。そして、処理部２３０は、制御モードを第２モードに設定した場合には、頭部姿勢情報と位置情報との組み合わせに関連付けられた複数の画像データを、第３のデータベースから取得してもよい。さらに、通信部２１０は、取得した複数の画像データを頭部装着型表示装置１００に送信してもよい。
【０１６３】
ここで、第３のデータベースとは、位置情報と頭部姿勢情報との各組み合わせに、複数の画像データ情報が関連付けられたデータ（レコード）の集合（データベース）である。また、カテゴリＩＤに関連付けられる複数の画像データ情報は、画像データそのものであってもよし、画像データのファイル名などの画像データを特定可能な情報であればよい。例えば、図１０（Ｃ）に示すＤＢ３である。また、前述した第２のデータベースと共通項をまとめて、一つのデータベースとしてもよい。
【０１６４】
これにより、頭部装着型表示装置の表示バッファは、表示レイアウトデータにより設定された画像記憶領域に複数の画像データを記憶すること等が可能になる。そして、例えば、情報端末と通信を行わずに、頭部装着型表示装置がユーザの頭部姿勢に応じて、表示画像を変えること等が可能になる。
【０１６５】
また、処理部２３０は、頭部装着型表示装置１００から通信部２１０を介して受信されたユーザ入力情報に基づいて、第１モードから第２モードに、又は第２モードから第１モードに、制御モードを切り替えてもよい。
【０１６６】
ここで、ユーザ入力情報とは、ユーザにより操作部１６０を介して入力される情報のことをいう。
【０１６７】
これにより、例えば、ユーザが施設等の詳細情報を参照したいと考える場合に、ユーザ入力により制御モードを第２モードに変更し、ユーザが移動を再開したため周辺施設の概要情報を参照したいと考える場合にユーザ入力により第１モードに変更すること等が可能になる。
【０１６８】
なお、本実施形態の情報端末等は、プログラムにより実現してもよい。この場合には、ＣＰＵ等のプロセッサがプログラムを実行することで、本実施形態の状態推定装置等が実現される。具体的には、情報記憶媒体に記憶されたプログラムが読み出され、読み出されたプログラムをＣＰＵ等のプロセッサが実行する。ここで、情報記憶媒体（コンピュータにより読み取り可能な媒体）は、プログラムやデータなどを格納するものであり、その機能は、光ディスク（ＤＶＤ、ＣＤ等）、ＨＤＤ（ハードディスクドライブ）、或いはメモリ（カード型メモリ、ＲＯＭ等）などにより実現できる。そして、ＣＰＵ等のプロセッサは、情報記憶媒体に格納されるプログラム（データ）に基づいて本実施形態の種々の処理を行う。即ち、情報記憶媒体には、本実施形態の各部としてコンピュータ（操作部、処理部、記憶部、出力部を備える装置）を機能させるためのプログラム（各部の処理をコンピュータに実行させるためのプログラム）が記憶される。
【０１６９】
以上のように本実施形態について詳細に説明したが、本発明の新規事項および効果から実体的に逸脱しない多くの変形が可能であることは当業者には容易に理解できるであろう。従って、このような変形例はすべて本発明の範囲に含まれるものとする。例えば、明細書又は図面において、少なくとも一度、より広義または同義な異なる用語と共に記載された用語は、明細書又は図面のいかなる箇所においても、その異なる用語に置き換えることができる。また、頭部装着型表示装置、情報端末、プログラム、情報記憶媒体及び画像処理システムの構成、動作も本実施形態で説明したものに限定されず、種々の変形実施が可能である。
【符号の説明】
【０１７０】
１００ 頭部装着型表示装置、１１０ 通信部、１２０ 表示バッファ、
１３０ 処理部、１４０ 表示部、１５０ 情報取得部、１６０ 操作部、
２００ 情報端末、２１０ 通信部、２２０ 記憶部、２３０ 処理部、
２４０ 位置検出部、５５０ ＧＰＳセンサ、５５１ 加速度センサ、
５６０ 方位センサ
【特許請求の範囲】
【請求項１】
情報端末と通信を行う通信部と、
前記通信部を介して前記情報端末から受信した画像データを画像記憶領域に記憶する表示バッファと、
頭部姿勢情報を取得する情報取得部と、
前記表示バッファの前記画像記憶領域に表示領域を設定する処理部と、
設定された前記表示領域の画像を表示画像として表示する表示部と、
を含み、
制御モードが第１モードに設定された場合には、
前記通信部は、
前記頭部姿勢情報を前記情報端末に送信し、
前記制御モードが第２モードに設定された場合には、
前記通信部は、
前記頭部姿勢情報を前記情報端末に送信せず、
前記処理部は、
前記頭部姿勢情報に基づいて、前記表示バッファの前記画像記憶領域に前記表示領域を設定することを特徴とする頭部装着型表示装置。
【請求項２】
請求項１において、
前記通信部は、
前記制御モードが前記第２モードに設定されている場合には、前記情報端末から表示レイアウトデータと前記画像データとを受信し、
前記表示バッファは、
前記表示レイアウトデータにより設定された前記画像記憶領域に前記画像データを記憶し、
前記処理部は、
前記頭部姿勢情報に基づいて、前記画像記憶領域に前記表示領域を設定することを特徴とする頭部装着型表示装置。
【請求項３】
請求項２において、
前記処理部は、
前記頭部姿勢情報により表される頭部姿勢が第１の頭部姿勢である場合には、前記画像記憶領域に第１の表示領域を設定し、
前記頭部姿勢が第２の頭部姿勢である場合には、前記画像記憶領域に第２の表示領域を設定し、
前記表示部は、
前記第１の表示領域が設定された場合には、前記第１の表示領域の画像を前記表示画像として表示し、
前記第２の表示領域が設定された場合には、前記第２の表示領域の画像を前記表示画像として表示することを特徴とする頭部装着型表示装置。
【請求項４】
請求項３において、
前記処理部は、
取得された前記頭部姿勢情報に基づいて姿勢変化量を求め、前記姿勢変化量が所定の閾値以上であると判断する場合に、前記表示領域を前記第１の表示領域から前記第２の表示領域に移動させることを特徴とする頭部装着型表示装置。
【請求項５】
請求項２乃至４のいずれかにおいて、
前記通信部は、
前記制御モードが前記第２モードに設定されている場合には、前記頭部姿勢情報を前記情報端末に送信し、送信された前記頭部姿勢情報と位置情報とに対応する複数の画像データを、前記情報端末から受信し、
前記表示バッファは、
前記表示レイアウトデータにより設定された前記画像記憶領域に前記複数の画像データを記憶することを特徴とする頭部装着型表示装置。
【請求項６】
請求項２乃至５のいずれかにおいて、
前記通信部は、
前記画像データと前記画像データに関連付けられたコンテンツＩＤとを受信し、
前記表示バッファは、
前記各コンテンツＩＤに関連付けられた前記画像データを、前記コンテンツＩＤに対応する前記画像記憶領域の各領域に記憶することを特徴とする頭部装着型表示装置。
【請求項７】
頭部装着型表示装置と通信を行う通信部と、
画像データを記憶する記憶部と、
制御モードの設定処理を行う処理部と、
位置情報を検出する位置検出部と、
を含み、
前記記憶部は、
カテゴリＩＤと前記画像データとが関連付けられた第１のデータベースの情報と、
前記頭部装着型表示装置から受信した頭部姿勢情報と、前記位置情報との組み合わせに前記カテゴリＩＤが関連付けられた第２のデータベースの情報と、を記憶し、
前記通信部は、
前記第１のデータベースの情報を前記頭部装着型表示装置に送信し、
前記処理部は、
前記制御モードを第１モードに設定した場合には、前記頭部姿勢情報と前記位置情報との組み合わせに関連付けられた前記カテゴリＩＤを前記第２のデータベースから取得し、
前記通信部は、
取得した前記カテゴリＩＤを前記頭部装着型表示装置に送信することを特徴とする情報端末。
【請求項８】
請求項７において、
前記通信部は、
前記制御モードが前記第１モードに設定された際に、前記頭部姿勢情報と前記位置情報との組み合わせが前記第２のデータベースに存在しない場合には、前記カテゴリＩＤとしてブランクＩＤを前記頭部装着型表示装置に送信することを特徴とする情報端末。
【請求項９】
請求項７又は８において、
前記記憶部は、
前記頭部姿勢情報と前記位置情報との組み合わせに複数の画像データが関連付けられた第３のデータベースを記憶し、
前記処理部は、
前記制御モードを第２モードに設定した場合には、前記頭部姿勢情報と前記位置情報との組み合わせに関連付けられた前記複数の画像データを、前記第３のデータベースから取得し、
前記通信部は、
取得した前記複数の画像データを前記頭部装着型表示装置に送信することを特徴とする情報端末。
【請求項１０】
請求項７乃至９のいずれかにおいて、
前記処理部は、
前記頭部装着型表示装置から前記通信部を介して受信されたユーザ入力情報に基づいて、前記第１モードから第２モードに、又は前記第２モードから前記第１モードに、前記制御モードを切り替えることを特徴とする情報端末。
【請求項１１】
頭部装着型表示装置と通信を行う通信部と、
画像データを記憶する記憶部と、
制御モードの設定処理を行う処理部と、
位置情報を検出する位置検出部として、
コンピュータを機能させ、
前記記憶部は、
カテゴリＩＤと前記画像データとが関連付けられた第１のデータベースの情報と、
前記頭部装着型表示装置から受信した頭部姿勢情報と、前記位置情報との組み合わせに前記カテゴリＩＤが関連付けられた第２のデータベースの情報と、を記憶し、
前記通信部は、
前記第１のデータベースの情報を前記頭部装着型表示装置に送信し、
前記処理部は、
前記制御モードを第１モードに設定した場合には、前記頭部姿勢情報と前記位置情報との組み合わせに関連付けられた前記カテゴリＩＤを前記第２のデータベースから取得し、
前記通信部は、
取得した前記カテゴリＩＤを前記頭部装着型表示装置に送信することを特徴とするプログラム。
【請求項１２】
コンピュータ読み取り可能な情報記憶媒体であって、請求項１１に記載のプログラムを記憶したことを特徴とする情報記憶媒体。
【請求項１３】
頭部姿勢情報を取得し、画像データを記憶する画像記憶領域に表示領域を設定し、設定された前記表示領域の画像を表示する頭部装着型表示装置と、
位置情報の検出処理と制御モードの設定処理を行い、前記頭部装着型表示装置と通信を行う情報端末と、
を含み、
前記情報端末は、
カテゴリＩＤと画像データとが関連付けられた第１のデータベースの情報と、前記頭部姿勢情報と前記位置情報との組み合わせに前記カテゴリＩＤが関連付けられた第２のデータベースの情報とを記憶し、前記第１のデータベースの情報を前記頭部装着型表示装置に送信し、
前記情報端末が前記制御モードを第１モードに設定した場合には、
前記頭部装着型表示装置は、
前記頭部姿勢情報を前記情報端末に送信し、
前記情報端末は、
受信した前記頭部姿勢情報と前記位置情報との組み合わせに関連付けられた前記カテゴリＩＤを前記第２のデータベースから取得し、取得した前記カテゴリＩＤを前記頭部装着型表示装置に送信し、
前記頭部装着型表示装置は、
受信した前記カテゴリＩＤに関連付けられた前記画像データを、前記第１のデータベースから特定し、前記画像記憶領域のうち、特定した前記画像データが記憶されている領域を、前記表示領域として設定し、
前記情報端末が前記制御モードを第２モードに設定した場合には、
前記頭部装着型表示装置は、
前記頭部姿勢情報を前記情報端末に送信せず、前記頭部姿勢情報に基づいて、前記画像記憶領域に前記表示領域を設定することを特徴とする画像処理システム。
【請求項１】
情報端末と通信を行う通信部と、
前記通信部を介して前記情報端末から受信した画像データを画像記憶領域に記憶する表示バッファと、
頭部姿勢情報を取得する情報取得部と、
前記表示バッファの前記画像記憶領域に表示領域を設定する処理部と、
設定された前記表示領域の画像を表示画像として表示する表示部と、
を含み、
制御モードが第１モードに設定された場合には、
前記通信部は、
前記頭部姿勢情報を前記情報端末に送信し、
前記制御モードが第２モードに設定された場合には、
前記通信部は、
前記頭部姿勢情報を前記情報端末に送信せず、
前記処理部は、
前記頭部姿勢情報に基づいて、前記表示バッファの前記画像記憶領域に前記表示領域を設定することを特徴とする頭部装着型表示装置。
【請求項２】
請求項１において、
前記通信部は、
前記制御モードが前記第２モードに設定されている場合には、前記情報端末から表示レイアウトデータと前記画像データとを受信し、
前記表示バッファは、
前記表示レイアウトデータにより設定された前記画像記憶領域に前記画像データを記憶し、
前記処理部は、
前記頭部姿勢情報に基づいて、前記画像記憶領域に前記表示領域を設定することを特徴とする頭部装着型表示装置。
【請求項３】
請求項２において、
前記処理部は、
前記頭部姿勢情報により表される頭部姿勢が第１の頭部姿勢である場合には、前記画像記憶領域に第１の表示領域を設定し、
前記頭部姿勢が第２の頭部姿勢である場合には、前記画像記憶領域に第２の表示領域を設定し、
前記表示部は、
前記第１の表示領域が設定された場合には、前記第１の表示領域の画像を前記表示画像として表示し、
前記第２の表示領域が設定された場合には、前記第２の表示領域の画像を前記表示画像として表示することを特徴とする頭部装着型表示装置。
【請求項４】
請求項３において、
前記処理部は、
取得された前記頭部姿勢情報に基づいて姿勢変化量を求め、前記姿勢変化量が所定の閾値以上であると判断する場合に、前記表示領域を前記第１の表示領域から前記第２の表示領域に移動させることを特徴とする頭部装着型表示装置。
【請求項５】
請求項２乃至４のいずれかにおいて、
前記通信部は、
前記制御モードが前記第２モードに設定されている場合には、前記頭部姿勢情報を前記情報端末に送信し、送信された前記頭部姿勢情報と位置情報とに対応する複数の画像データを、前記情報端末から受信し、
前記表示バッファは、
前記表示レイアウトデータにより設定された前記画像記憶領域に前記複数の画像データを記憶することを特徴とする頭部装着型表示装置。
【請求項６】
請求項２乃至５のいずれかにおいて、
前記通信部は、
前記画像データと前記画像データに関連付けられたコンテンツＩＤとを受信し、
前記表示バッファは、
前記各コンテンツＩＤに関連付けられた前記画像データを、前記コンテンツＩＤに対応する前記画像記憶領域の各領域に記憶することを特徴とする頭部装着型表示装置。
【請求項７】
頭部装着型表示装置と通信を行う通信部と、
画像データを記憶する記憶部と、
制御モードの設定処理を行う処理部と、
位置情報を検出する位置検出部と、
を含み、
前記記憶部は、
カテゴリＩＤと前記画像データとが関連付けられた第１のデータベースの情報と、
前記頭部装着型表示装置から受信した頭部姿勢情報と、前記位置情報との組み合わせに前記カテゴリＩＤが関連付けられた第２のデータベースの情報と、を記憶し、
前記通信部は、
前記第１のデータベースの情報を前記頭部装着型表示装置に送信し、
前記処理部は、
前記制御モードを第１モードに設定した場合には、前記頭部姿勢情報と前記位置情報との組み合わせに関連付けられた前記カテゴリＩＤを前記第２のデータベースから取得し、
前記通信部は、
取得した前記カテゴリＩＤを前記頭部装着型表示装置に送信することを特徴とする情報端末。
【請求項８】
請求項７において、
前記通信部は、
前記制御モードが前記第１モードに設定された際に、前記頭部姿勢情報と前記位置情報との組み合わせが前記第２のデータベースに存在しない場合には、前記カテゴリＩＤとしてブランクＩＤを前記頭部装着型表示装置に送信することを特徴とする情報端末。
【請求項９】
請求項７又は８において、
前記記憶部は、
前記頭部姿勢情報と前記位置情報との組み合わせに複数の画像データが関連付けられた第３のデータベースを記憶し、
前記処理部は、
前記制御モードを第２モードに設定した場合には、前記頭部姿勢情報と前記位置情報との組み合わせに関連付けられた前記複数の画像データを、前記第３のデータベースから取得し、
前記通信部は、
取得した前記複数の画像データを前記頭部装着型表示装置に送信することを特徴とする情報端末。
【請求項１０】
請求項７乃至９のいずれかにおいて、
前記処理部は、
前記頭部装着型表示装置から前記通信部を介して受信されたユーザ入力情報に基づいて、前記第１モードから第２モードに、又は前記第２モードから前記第１モードに、前記制御モードを切り替えることを特徴とする情報端末。
【請求項１１】
頭部装着型表示装置と通信を行う通信部と、
画像データを記憶する記憶部と、
制御モードの設定処理を行う処理部と、
位置情報を検出する位置検出部として、
コンピュータを機能させ、
前記記憶部は、
カテゴリＩＤと前記画像データとが関連付けられた第１のデータベースの情報と、
前記頭部装着型表示装置から受信した頭部姿勢情報と、前記位置情報との組み合わせに前記カテゴリＩＤが関連付けられた第２のデータベースの情報と、を記憶し、
前記通信部は、
前記第１のデータベースの情報を前記頭部装着型表示装置に送信し、
前記処理部は、
前記制御モードを第１モードに設定した場合には、前記頭部姿勢情報と前記位置情報との組み合わせに関連付けられた前記カテゴリＩＤを前記第２のデータベースから取得し、
前記通信部は、
取得した前記カテゴリＩＤを前記頭部装着型表示装置に送信することを特徴とするプログラム。
【請求項１２】
コンピュータ読み取り可能な情報記憶媒体であって、請求項１１に記載のプログラムを記憶したことを特徴とする情報記憶媒体。
【請求項１３】
頭部姿勢情報を取得し、画像データを記憶する画像記憶領域に表示領域を設定し、設定された前記表示領域の画像を表示する頭部装着型表示装置と、
位置情報の検出処理と制御モードの設定処理を行い、前記頭部装着型表示装置と通信を行う情報端末と、
を含み、
前記情報端末は、
カテゴリＩＤと画像データとが関連付けられた第１のデータベースの情報と、前記頭部姿勢情報と前記位置情報との組み合わせに前記カテゴリＩＤが関連付けられた第２のデータベースの情報とを記憶し、前記第１のデータベースの情報を前記頭部装着型表示装置に送信し、
前記情報端末が前記制御モードを第１モードに設定した場合には、
前記頭部装着型表示装置は、
前記頭部姿勢情報を前記情報端末に送信し、
前記情報端末は、
受信した前記頭部姿勢情報と前記位置情報との組み合わせに関連付けられた前記カテゴリＩＤを前記第２のデータベースから取得し、取得した前記カテゴリＩＤを前記頭部装着型表示装置に送信し、
前記頭部装着型表示装置は、
受信した前記カテゴリＩＤに関連付けられた前記画像データを、前記第１のデータベースから特定し、前記画像記憶領域のうち、特定した前記画像データが記憶されている領域を、前記表示領域として設定し、
前記情報端末が前記制御モードを第２モードに設定した場合には、
前記頭部装着型表示装置は、
前記頭部姿勢情報を前記情報端末に送信せず、前記頭部姿勢情報に基づいて、前記画像記憶領域に前記表示領域を設定することを特徴とする画像処理システム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図１０】
【図８】
【図９】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図１０】
【図８】
【図９】
【公開番号】特開２０１３−９３７０６（Ｐ２０１３−９３７０６Ａ）
【公開日】平成２５年５月１６日（２０１３．５．１６）
【国際特許分類】
【出願番号】特願２０１１−２３３９１５（Ｐ２０１１−２３３９１５）
【出願日】平成２３年１０月２５日（２０１１．１０．２５）
【出願人】（００００００３７６）オリンパス株式会社 (11,466)
【Ｆターム（参考）】
【公開日】平成２５年５月１６日（２０１３．５．１６）
【国際特許分類】
【出願日】平成２３年１０月２５日（２０１１．１０．２５）
【出願人】（００００００３７６）オリンパス株式会社 (11,466)
【Ｆターム（参考）】
[ Back to top ]