頭部装着型表示装置、プログラム及び画像処理システム
【課題】 表示バッファの表示レイアウトを変更することができ、頭部姿勢情報に応じた画像を表示することができる頭部装着型表示装置、プログラム及び画像処理システム等の提供。
【解決手段】 頭部装着型表示装置１００は、画像データと画像の表示レイアウトデータとを情報端末から受信する通信部１１０と、表示レイアウトデータにより設定された画像記憶領域に画像データを記憶する表示バッファ１２０と、表示バッファ１２０の画像記憶領域に表示領域を設定する処理部１３０と、設定された表示領域の画像を表示画像として表示する表示部１４０と、を含む。そして、処理部１３０は、頭部装着型センサから取得される頭部姿勢情報に基づいて、画像記憶領域に表示領域を設定する。
【解決手段】 頭部装着型表示装置１００は、画像データと画像の表示レイアウトデータとを情報端末から受信する通信部１１０と、表示レイアウトデータにより設定された画像記憶領域に画像データを記憶する表示バッファ１２０と、表示バッファ１２０の画像記憶領域に表示領域を設定する処理部１３０と、設定された表示領域の画像を表示画像として表示する表示部１４０と、を含む。そして、処理部１３０は、頭部装着型センサから取得される頭部姿勢情報に基づいて、画像記憶領域に表示領域を設定する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、頭部装着型表示装置、プログラム及び画像処理システム等に関係する。
【背景技術】
【０００２】
近年、携帯電話やＰＤＡ（Personal Digital Assistant）等の携帯電子機器を用いて、タウン情報・マップ情報を提供するサービスが展開されている。具体的には、ナビゲーションサービスや店舗情報の提供サービス等が挙げられる。例えば、店舗情報提供サービスにおいては、ユーザの現在位置をＧＰＳ等の手段を用いて取得したり、ユーザに検索対象位置を入力させた上で、携帯電子機器の画面に表示された地図上に、レストラン等の施設の位置を表示したりする。
【０００３】
しかし、地図を読むのが苦手なユーザもおり、地図上に施設位置を表示するだけの情報提供サービスは、場合によってはわかりにくいという問題があった。
【０００４】
さらに、従来の情報提供サービスには、利用時にユーザの視点（視線方向）が頻繁に上下してしまうという問題点がある。例えば、このような情報提供サービスの画面を参照するためには、手で把持している携帯電子機器に目を落とす必要がある。そのため、移動中に利用しようとした場合（例えば表示画面を参照しつつ、表示された施設へ実際に移動するような場合）、ユーザは道路の安全確認等を行いつつ、携帯電子機器に視線を向けなければならない。これは、ユーザにとって非常に煩わしい。
【０００５】
本来、ユーザの利便性を考えると、情報提供サービスの利用中も視線方向が変わらないことが望ましく、歩行中（ここでは歩行者向けサービスを想定している）であれば、進行方向に視線を向けていることが好ましい。ここで、ユーザの視点を変えずに情報を提供する手法として、ユーザの頭部に装着して用いる画像表示装置であるＨＭＤ（Head Mounted Display）を用いて、ユーザの視界内に表示画面を重畳する手法がある。特許文献１では、ユーザの頭部の動きに応じて、ＨＭＤにおいて表示される画像を制御する手法が開示されている。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開平１０−３４１３８７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
情報端末がＨＭＤへ画像データを無線で送信し、スクロールなどによる画面遷移をＨＭＤから送信されるセンサのデータに応じて、情報端末が制御するシステムには以下のような課題がある。
【０００８】
第１に、ＨＭＤの表示バッファが記憶できるデータ容量には上限があり、かつＨＭＤの表示部は解像度が低いため、ＨＭＤは解像度が高い画像の表示に適していない。
【０００９】
第２に、ＨＭＤと情報端末間で、センサデータを無線で常に送受信する必要があるため、消費電力が高くなる。
【００１０】
第３に、前述したシステムでは、ＨＭＤからセンサデータを受信した情報端末が、表示制御の信号をＨＭＤへ送信する。すなわち、ＨＭＤと情報端末間で双方向の通信が必要となる。そのため、頭の動きに合わせて画面をスクロールするような場合にリアルタイム性が損なわれる場合がある。
【００１１】
本発明の幾つかの態様によれば、表示バッファの表示レイアウトを変更することができ、頭部姿勢情報に応じた画像を表示することができる頭部装着型表示装置、プログラム及び画像処理システム等を提供することができる。
【００１２】
また、本発明の幾つかの態様によれば、表示バッファの表示レイアウトを変更することができ、頭部姿勢情報に応じた画像を表示し、システム全体の消費電力を抑制し、要求されるリアルタイム性を満たすことができる頭部装着型表示装置、プログラム及び画像処理システム等を提供することができる。
【課題を解決するための手段】
【００１３】
本発明の一態様は、画像データと画像の表示レイアウトデータとを情報端末から受信する通信部と、前記表示レイアウトデータにより設定された画像記憶領域に前記画像データを記憶する表示バッファと、前記表示バッファの前記画像記憶領域に表示領域を設定する処理部と、設定された前記表示領域の画像を表示画像として表示する表示部と、を含み、前記処理部は、頭部装着型センサから取得される頭部姿勢情報に基づいて、前記画像記憶領域に前記表示領域を設定する頭部装着型表示装置に関係する。
【００１４】
本発明の一態様では、情報端末から受信した表示レイアウトデータが示す表示レイアウトで、画像データを表示バッファに記憶することができ、頭部装着型表示装置の表示部に画像を表示することが可能となる。
【００１５】
また、情報端末から受信する表示レイアウトデータによって、表示バッファの表示レイアウトを変更することが可能となる。
【００１６】
そして、頭部装着型表示装置が、ユーザの頭部姿勢情報に応じて表示バッファの画像記憶領域に表示領域を設定することが可能となる。
【００１７】
さらに、頭部姿勢情報を一度情報端末に送信し、通知された頭部姿勢情報に基づいて、表示部に表示する画像を情報端末が特定する手法に比べて、頭部装着型表示装置と情報端末間での通信機会を減らすことが可能となり、応答速度の向上を図ることが可能となる。
【００１８】
また、本発明の一態様では、前記処理部は、前記頭部姿勢情報により表される頭部姿勢が第１の頭部姿勢である場合には、前記表示領域として第１の表示領域を設定し、前記頭部姿勢が第２の頭部姿勢である場合には、前記表示領域として第２の表示領域を設定し、前記表示部は、前記第１の表示領域が設定された場合には、前記第１の表示領域の画像を前記表示画像として表示し、前記第２の表示領域が設定された場合には、前記第２の表示領域の画像を前記表示画像として表示してもよい。
【００１９】
これにより、頭部姿勢情報に応じて、画像記憶領域上の異なる領域に表示領域を設定すること等が可能になる。すなわち、ユーザの頭部の上下左右の動きに応じて、画像記憶領域上で表示領域をスクロールさせること等が可能となる。
【００２０】
また、本発明の一態様では、前記処理部は、取得された前記頭部姿勢情報に基づいて姿勢変化量を求め、前記姿勢変化量が所定の閾値以上であると判断する場合に、前記表示領域を前記第１の表示領域から前記第２の表示領域に移動させてもよい。
【００２１】
これにより、姿勢変化量と所定の閾値を比較することによって、表示領域を移動させるか否かを判定すること等が可能となる。
【００２２】
また、本発明の一態様では、前記処理部は、前記画像記憶領域に前記第２の表示領域を設定できないと判断した場合に、前記情報端末に対して画像データの送信要求を行ってもよい。
【００２３】
これにより、表示バッファの画像記憶領域における表示領域の位置によって、表示バッファに記憶された画像データを更新することを判定すること等が可能となり、表示バッファの更新処理を行うこと等が可能となる。
【００２４】
また、本発明の一態様では、前記通信部は、前記送信要求に対応して前記情報端末が送信した前記画像データを前記情報端末から受信し、前記処理部は、受信した前記画像データに基づいて、前記表示バッファに記憶される前記画像データの更新処理を行ってもよい。
【００２５】
これにより、一度に表示バッファに記憶できない高解像度の画像の一部を、表示バッファに記憶すること等が可能となる。さらに、画像データの更新処理を繰り返すことによって、表示領域を複数回スクロールさせること等も可能になる。
【００２６】
また、本発明の一態様では、前記表示バッファは、受信された前記表示レイアウトデータに基づいて、正方形又は長方形の前記画像記憶領域を設定し、設定した前記画像記憶領域に前記画像データを記憶してもよい。
【００２７】
これにより、頭部装着型表示装置の表示部に表示させる画像の内容に応じて、情報端末が表示レイアウトを変更することが可能となる。
【００２８】
また、本発明の一態様では、前記通信部は、前記表示領域の遷移モードを指定する表示領域遷移情報を、前記情報端末から受信し、前記処理部は、受信された前記表示領域遷移情報に基づいて、使用する前記遷移モードを特定し、特定された前記遷移モードで前記表示領域を遷移させてもよい。
【００２９】
これにより、表示領域遷移情報により指定される遷移モードで、表示領域を遷移させること等が可能になる。
【００３０】
また、本発明の一態様では、前記表示バッファは、第１の画像データを第１の領域に記憶し、前記第１の画像データとは画像の縮尺率が異なる第２の画像データを、前記第１の領域の第１の方向側にある第２の領域に記憶し、前記処理部は、前記第１の領域から前記第１の方向側に前記表示領域を移動させて、前記第２の領域を前記表示領域に設定してもよい。
【００３１】
これにより、ユーザが頭部姿勢を変化させることによって、表示部に縮尺率の異なる画像を表示すること等が可能になる。
【００３２】
また、本発明の一態様では、前記表示バッファは、前記第１の画像データと画像の縮尺率が等しい第３の画像データを、前記第１の領域の第２の方向側にある第３の領域に更に記憶し、前記処理部は、前記第１の領域から前記第２の方向側に前記表示領域を移動させて、前記第３の領域を前記表示領域に設定してもよい。
【００３３】
これにより、ユーザが頭部姿勢を変化させることによって、表示部に縮尺率が等しい他の画像を表示すること等が可能になる。
【００３４】
また、本発明の一態様では、前記処理部は、ユーザ入力情報により前記表示領域の設定処理の停止が指示された場合には、前記頭部姿勢情報により表される頭部姿勢の変化が前記表示領域を移動させる変化であった場合でも、前記表示領域の移動を停止してもよい。
【００３５】
これにより、現在の頭部姿勢に関わらず、特定の表示画像を継続して表示させたいとユーザが考えている場合に、操作部を介して、表示領域の設定処理の停止を処理部にユーザが指示すれば、ユーザの頭部姿勢が変わった場合でも、表示画像が切り替わらないようにすること等が可能となる。
【００３６】
また、本発明の一態様では、前記通信部は、前記表示バッファにより前記画像データが記憶された後に、前記情報端末との通信の停止処理を行ってもよい。
【００３７】
これにより、いったん頭部装着型表示装置で表示制御が開始すれば、情報端末と頭部装着型表示装置の接続を切断すること等が可能となり、ユーザは頭部の動きで表示を制御することができるため、画像処理システム全体の消費電力を抑制すること等が可能になる。
【００３８】
また、本発明の一態様では、前記処理部は、基準頭部姿勢の更新指示情報がユーザにより入力された場合には、前記更新指示情報が入力された際における前記頭部姿勢を前記基準頭部姿勢として設定してもよい。
【００３９】
これにより、例えば、ユーザが直立しておらず、頭部が地面に対して水平・垂直でない状態で表示領域の設定処理が開始された場合にも、更新指示情報が入力された際における頭部姿勢を基準頭部姿勢として設定して、頭の動きでスクロール不可能な領域を無くすこと等が可能になる。
【００４０】
また、本発明の他の態様では、上記各部としてコンピュータを機能させるプログラムに関係する。
【００４１】
また、本発明の他の態様では、情報端末と、頭部装着型表示装置と、を含み、前記情報端末は、画像データと画像の表示レイアウトデータとを前記頭部装着型表示装置に送信し、前記頭部装着型表示装置は、前記画像データと前記画像の前記表示レイアウトデータとを前記情報端末から受信し、前記表示レイアウトデータにより設定された画像記憶領域に前記画像データを記憶し、頭部装着型センサから取得される頭部姿勢情報に基づいて、前記表示バッファの前記画像記憶領域に表示領域を設定し、設定された前記表示領域の画像を表示画像として表示する画像処理システムに関係する。
【図面の簡単な説明】
【００４２】
【図１】図１（Ａ）、図１（Ｂ）は、本実施形態のシステム構成図。
【図２】第１の実施形態の処理の流れを説明するシーケンス図。
【図３】図３（Ａ）〜図３（Ｃ）は、画面表示例。
【図４】図４（Ａ）〜図４（Ｃ）は、表示レイアウト例。
【図５】図５（Ａ）〜図５（Ｃ）は、表示レイアウト例。
【図６】姿勢変化量に基づき表示領域を移動させる一例を説明するフローチャート。
【図７】図７（Ａ）〜図７（Ｄ）は、画像データの更新の説明図。
【図８】頭部姿勢方向に基づき縮尺率の異なる画像を表示する例。
【図９】第２の実施形態の処理の流れを説明するシーケンス図。
【図１０】図１０（Ａ）〜図１０（Ｃ）は、遷移モードの説明図。
【発明を実施するための形態】
【００４３】
以下、本実施形態について説明する。まず、本実施形態の概要を説明し、次に本実施形態のシステム構成例について説明する。そして、本実施形態の処理の詳細についてシーケンス図と具体例を用いて詳細に説明し、最後に、本実施形態の手法について説明する。なお、以下に説明する本実施形態は、特許請求の範囲に記載された本発明の内容を不当に限定するものではない。また、本実施形態で説明される構成の全てが、本発明の必須構成要件であるとは限らない。
【００４４】
１．概要
近年、携帯電話やＰＤＡ（Personal Digital Assistant）等の携帯電子機器を用いて、タウン情報・マップ情報を提供するサービスが展開されている。具体的には、ナビゲーションサービスや店舗情報の提供サービス等が挙げられる。例えば、店舗情報提供サービスにおいては、ユーザの現在位置をＧＰＳ等の手段を用いて取得したり、ユーザに検索対象位置を入力させた上で、携帯電子機器の画面に表示された地図上に、レストラン等の施設の位置を表示したりする。
【００４５】
しかし、地図を読むのが苦手なユーザもおり、地図上に施設位置を表示するだけの情報提供サービスは、場合によってはわかりにくいという問題があった。
【００４６】
さらに、従来の情報提供サービスには、利用時にユーザの視点（視線方向）が頻繁に上下してしまうという問題点がある。例えば、このような情報提供サービスの画面を参照するためには、手で把持している携帯電子機器に目を落とす必要がある。そのため、移動中に利用しようとした場合（例えば表示画面を参照しつつ、表示された施設へ実際に移動するような場合）、ユーザは道路の安全確認等を行いつつ、携帯電子機器に視線を向けなければならない。これは、ユーザにとって非常に煩わしい。
【００４７】
本来、ユーザの利便性を考えると、情報提供サービスの利用中も視線方向が変わらないことが望ましく、歩行中（ここでは歩行者向けサービスを想定している）であれば、進行方向に視線を向けていることが好ましい。ここで、ユーザの視点を変えずに情報を提供する手法として、ユーザの頭部に装着して用いる画像表示装置であるＨＭＤ（Head Mounted Display）を用いて、ユーザの視界内に表示画面を重畳する手法がある。
【００４８】
その一手法として、情報端末がＨＭＤへ画像データを無線で送信し、スクロールなどによる画面遷移をＨＭＤから送信されるセンサのデータに応じて、情報端末が制御する手法があるが、この手法を実現するシステムには以下のような課題がある。
【００４９】
第１に、ＨＭＤの表示バッファが記憶できるデータ容量には上限があり、かつＨＭＤの表示部は解像度が低いため、ＨＭＤは解像度が高い画像の表示に適していない。
【００５０】
第２に、ＨＭＤと情報端末間で、センサデータを無線で常に送受信する必要があるため、消費電力が高くなる。
【００５１】
第３に、前述したシステムでは、ＨＭＤからセンサデータを受信した情報端末が、表示制御の信号をＨＭＤへ送信する。すなわち、ＨＭＤと情報端末間で双方向の通信が必要となる。そのため、頭の動きに合わせて画面をスクロールするような場合にリアルタイム性が損なわれる場合がある。
【００５２】
そこで、本実施形態の頭部装着型表示装置（ＨＭＤ）等は、表示バッファの表示レイアウトを変更することができ、情報端末ではなく、頭部装着型表示装置が頭部姿勢情報に応じた画像を特定し、頭部装着型表示装置の表示部に特定した画像を表示する。
【００５３】
２．システム構成例
まず図１（Ａ）に、ユーザ１０が本実施形態の頭部装着型表示装置（ＨＭＤ）を利用している様子を示す。図１（Ａ）においてユーザ１０は、ＨＭＤ１００を頭部に装着しており、情報端末２００を所持している。さらにウェアラブルセンサとして種々のセンサを身につけている。具体的には、加速度センサ５５１や方位センサ５６０がＨＭＤ１００に設けられ、ＧＰＳセンサ５５０が情報端末２００に設けられる。
【００５４】
ＧＰＳセンサ５５０は、ユーザの位置（場所）を検知するセンサである。なおＧＰＳセンサ５５０の代わりに携帯電話の位置情報サービスや周辺にある無線ＬＡＮの位置情報を利用してもよい。
【００５５】
方位センサ５６０は、例えば地磁気センサ等であり、センサの向いている方位を角度（０°〜３６０°）で計測する。地磁気センサは、例えば磁場の強さによって抵抗値やインピーダンス値が増減する素子等で構成され、三軸の地磁気情報を検知する。
【００５６】
加速度センサ５５１は、例えば外力によって抵抗値が増減する素子等で構成され、三軸の加速度情報を検知する。
【００５７】
また、地磁気センサや加速度センサ、ジャイロセンサの機能を併せ持つセンサを用いてもよい。さらに、地磁気情報や加速度情報から、磁北を基準とした偏角を算出し、出力するセンサを用いてもよい。
【００５８】
次に、図１（Ｂ）に本実施形態の頭部装着型表示装置（ＨＭＤ）及びＨＭＤと情報端末を含む画像処理システムの構成例を示す。
【００５９】
頭部装着型表示装置１００は、通信部１１０と、表示バッファ１２０と、処理部１３０と、表示部１４０と、情報取得部１５０と、操作部１６０と、を含む。
【００６０】
また、情報端末２００は、通信部２１０と、記憶部２２０と、処理部２３０と、を含む。情報端末２００は、例えば、ＰＤＡ、ノート型ＰＣなどの携帯情報端末（モバイルコンピュータ）である。なお、情報端末２００は、携帯電話、腕時計、或いはポータブルオーディオなどとして兼用される機器であってもよい。
【００６１】
本実施形態のＨＭＤ及び画像生成システムは、図１（Ｂ）の構成に限定されず、これらの一部の構成要素を省略したり、他の構成要素を追加したりするなどの種々の変形実施が可能である。なお、本実施形態の画像生成システムの一部の機能は、情報端末２００により実現されるが、例えば情報端末２００とは異なる電子機器により実現してもよい。例えば、本実施形態の画像生成システムの一部の機能は、情報端末２００もしくはＨＭＤ１００と通信により接続されたサーバにより実現されてもよい。
【００６２】
次に各部の接続について説明する。ＨＭＤの通信部１１０と情報端末の通信部２１０は、例えば、ＷｉｆｉやＢｌｕｅｔｏｏｔｈ（登録商標）などの通信規格で互いに情報を送受信する。なお、通信部１１０及び通信部２１０は、有線により通信を行うものであってもよく、無線により通信を行うものであってもよい。
【００６３】
そして、ＨＭＤの通信部１１０は、処理部１３０に接続されている。処理部１３０は、表示バッファ１２０と、情報取得部１５０と、操作部１６０と、に接続されている。表示バッファ１２０は、表示部１４０に接続されている。情報取得部１５０は、処理部１３０に接続されている。
【００６４】
さらに、情報端末の通信部２１０は、処理部２３０に接続されている。処理部２３０は、通信部２１０と、記憶部２２０と、に接続されている。記憶部２２０は、処理部２３０に接続されている。
【００６５】
次に各部で行われる処理について説明する。
【００６６】
表示バッファ１２０は、表示部１４０に表示できる画像の解像度の２倍以上の解像度を持つ画像を記憶できる画像記憶領域を持つ。また、表示バッファ１２０の画像記憶領域は、処理部１３０により通知される表示レイアウトに従って、画像データを記憶する。表示バッファ１２０の画像記憶領域は、ＲＡＭ等のメモリやＨＤＤ（ハードディスクドライブ）などにより実現できる。
【００６７】
処理部１３０は、ＨＭＤの各部を制御する。具体的には、処理部１３０は、後述する表示領域の設定処理を行ったり、ユーザ入力情報に応じて情報取得部にセンサ情報の取得の開始・停止を指示したりする。さらに、処理部１３０は、表示バッファに記憶される画像データの再構成処理などを行う。
【００６８】
表示部１４０は、表示バッファ１２０の画像記憶領域に記憶された画像を表示する。表示部１４０は、例えば、ユーザの頭部の近傍に装着されると共に、大きさが瞳孔の大きさよりも小さくなるように設定され、いわゆるシースルービューアの表示部として機能する。
【００６９】
情報取得部１５０は、センサ情報を取得して処理部１３０に通知する。情報取得部１５０は、センサ自体であってもよいし、センサからセンサ情報を取得する機能部であってもよい。
【００７０】
操作部１６０は、ユーザからの入力情報を取得し、処理部１３０に通知する。操作部１６０は、例えばＨＭＤ１００に設けられるボタンやスイッチ等である。なお、操作部１６０は情報端末２００に設けられてもよい。
【００７１】
記憶部２２０は、ＨＭＤの表示部１４０に表示する画像や、データベースを記憶したり、処理部２３０等のワーク領域となるもので、その機能はＲＡＭ等のメモリやＨＤＤなどにより実現できる。
【００７２】
処理部２３０は、情報端末の各部を制御する。なお、処理部１３０及び処理部２３０の機能は、各種プロセッサ（ＣＰＵ等）、ＡＳＩＣ（ゲートアレイ等）などのハードウェアや、プログラムなどにより実現できる。
【００７３】
３．処理の詳細
３．１ 第１の実施形態
以下では、図２のシーケンス図を用いて、第１の実施形態の処理の詳細について説明する。
【００７４】
まず、情報端末の処理部は、記憶部から画像データを読み込んで（Ｓ３０）、表示レイアウトデータを指定して、画像データとともにＨＭＤへ送信する（Ｓ３１）。そして、ＨＭＤの処理部は、画像記憶領域に表示領域を設定し、表示部が画像を表示する。
【００７５】
表示レイアウトデータとは、後述するように表示レイアウトを指し示すデータのことである。
【００７６】
例えば、表示レイアウトデータにより３行×３列の長方形の表示レイアウトを指定した場合の例を、図３（Ａ）〜図３（Ｃ）を用いて説明する。図３（Ａ）にはＨＭＤを装着したユーザＵＳが首を振っている様子を、図３（Ｂ）には表示部に表示する画像ＩＩＭの一例を、図３（Ｃ）には表示バッファの画像記憶領域ＩＢと記憶される画像を示す。
【００７７】
前述したように表示バッファの画像記憶領域ＩＢは、表示部が表示可能な画像の２倍以上の領域（本例では９画面分）を持っており、受信した表示レイアウトデータにより設定された画像記憶領域ＩＢに、情報端末から受信した画像データを記憶する（図３（Ｃ））。そして、表示部には記憶した画像の一部（図３（Ｂ）のＩＩＭ）が表示される。
【００７８】
また、他にも図４（Ａ）〜図４（Ｃ）と図５（Ａ）〜図５（Ｃ）に示すような表示レイアウトを指定することも可能である。図４（Ａ）〜図４（Ｃ）は、１行×９列の横長の長方形の表示レイアウトを指定した場合、図５（Ａ）〜図５（Ｃ）は、９行×１列の縦長の長方形の表示レイアウトを指定した場合を示している。なお、ここでは表示レイアウトの例として３つの例を示したが、表示レイアウト上での画像の配置や、表示バッファの大きさは任意であり、これらの例に限定されるものではない。
【００７９】
次に、情報端末の処理部からの指示（Ｓ３２）によって表示制御を開始すると（Ｓ３３）、ＨＭＤの情報取得部からＨＭＤの処理部へ方位および仰角などの頭部姿勢情報が送信される（Ｓ３４）。
【００８０】
そして、ＨＭＤの処理部は取得した頭部姿勢情報に基づいて、画面遷移判定処理を行う（Ｓ３５）。画面遷移判定処理の結果、表示する画像をスクロールすると判定された場合には、表示部は画像をスクロールして表示する（Ｓ３６）。
【００８１】
例えば図３（Ｃ）の中央の画像が図３（Ｂ）のように表示画像ＩＩＭとされている時に、図３（Ａ）のＤＲ１方向にユーザＵＳが首を動かした場合について説明する。
【００８２】
まず、この場合には、画像記憶領域ＩＢの中央の領域が表示領域として設定されており、表示領域の画像が表示部に表示される。この状態で、ＤＲ１方向にユーザＵＳが首を動かした場合には、後述する画面遷移条件を満たした時に、画像記憶領域ＩＢにおいて表示領域をＤＲ１方向に移動させる。その結果、画像記憶領域ＩＢの中央の画像が表示部に表示されていた状態から、ＤＲ１方向にスクロールして画像を表示することが可能となる。ユーザＵＳが首をＤＲ２方向やＤＲ３方向、ＤＲ４方向に動かした場合や、図４（Ａ）〜図４（Ｃ）と図５（Ａ）〜図５（Ｃ）の場合も同様である。
【００８３】
ここで、画面遷移判定処理の詳細について、図６に示すフローチャートを用いて説明する。
【００８４】
本実施形態において、ＨＭＤの情報取得部が取得するセンサ情報には、０°〜３６０°の値を示す方位ｄと、０°から２５５°の値を示す仰角ａが含まれる。なお、方位ｄは、０°及び３６０°が北の周期境界条件であり、仰角ａは、ａ＝０°の時に真下を示し、ａ＝１２７°の時に水平を示し、ａ＝２５５°の時に真上を示す。さらに、初期方位をｄｉ、初期仰角をａｉ、初期方位ｄｉと現在の方位ｄの差分と比較する閾値をΔｄ、初期仰角ａｉと現在の仰角ａの差分と比較する閾値をΔａとする。
【００８５】
まず、ＨＭＤの処理部は、今回の画面遷移判定処理が初回の処理又は後述する初期化割り込み時の処理であるか否かを判定する（Ｓ１）。
【００８６】
画面遷移判定処理が初回の処理又は後述する初期化割り込み時の処理であると判定した場合には、現在の方位ｄに初期方位ｄｉを、現在の仰角ａに初期仰角ａｉを代入する（Ｓ２）。
【００８７】
一方、画面遷移判定処理が初回の処理又は後述する初期化割り込み時の処理ではないと判定した場合には、表示レイアウトが正方形であるか否かを判定する（Ｓ３）。なお、正方形の表示レイアウトとは、図３（Ｃ）のように行と列の数が同じ表示レイアウトのことを指す。
【００８８】
表示レイアウトが正方形であると判定した場合において、（ａｉ−ａ）＞Δａであると判定した場合には（Ｓ４）、上方向へスクロールし（Ｓ５）、（ａｉ−ａ）＞Δａではなく、（ａｉ−ａ）＜−Δａであると判定した場合には（Ｓ６）、下方向へスクロールする（Ｓ７）。
【００８９】
さらに、（ａｉ−ａ）＜−Δａでもないと判定した場合に、（ｄｉ−ｄ）＞Δｄであると判断する場合には（Ｓ８）、右方向へスクロールし（Ｓ９）、（ｄｉ−ｄ）＜−Δｄであると判断する場合には（Ｓ１０）、左方向へスクロールする（Ｓ１１）。（ｄｉ−ｄ）＜−Δｄでもないと判定した場合には、画面遷移判定処理を終了する。
【００９０】
一方、表示レイアウトが正方形ではないと判定した場合には、表示レイアウトが垂直か否かを判定する（Ｓ１２）。なお、垂直な表示レイアウトとは、図５（Ｃ）のように複数の行と１列の表示レイアウトのことを指す。
【００９１】
表示レイアウトが垂直であると判定した場合において、（ａｉ−ａ）＞Δａであると判定した場合には（Ｓ１３）、上方向へスクロールし（Ｓ１４）、（ａｉ−ａ）＞Δａではなく、（ａｉ−ａ）＜−Δａであると判定した場合には（Ｓ１５）、下方向へスクロールする（Ｓ１６）。（ａｉ−ａ）＜−Δａでもないと判定した場合には、画面遷移判定処理を終了する。
【００９２】
そして、表示レイアウトが垂直ではないと判定した場合には、表示レイアウトは水平であると判定する。なお、水平な表示レイアウトとは、図４（Ｃ）のように１行と複数の列の表示レイアウトのことを指す。
【００９３】
表示レイアウトが水平であると判定した場合において、（ｄｉ−ｄ）＞Δｄであると判定した場合には（Ｓ１７）、右方向へスクロールし（Ｓ１８）、（ｄｉ−ｄ）＞Δｄではなく、（ｄｉ−ｄ）＞−Δｄであると判定した場合には（Ｓ１９）、左方向へスクロールする（Ｓ２０）。（ｄｉ−ｄ）＞−Δｄでもないと判定した場合には、画面遷移判定処理を終了する。
【００９４】
これにより、頭部の上下左右の動きに応じて、画像記憶領域上で表示領域をスクロールさせることが可能となる。
【００９５】
次に、ＨＭＤの処理部は、表示バッファの更新処理（再構成処理）を実施するか否かを判定し（Ｓ３７）、実施すると判定した場合には、情報端末に対して再構成用画像を要求する（Ｓ３８）。そして、再構成用画像要求を受信した情報端末の処理部は、記憶部から画像を読み込み（Ｓ３９）、読み込んだ再構成用画像をＨＭＤの処理部に送信する（Ｓ４０）。そして、表示バッファの画像データの更新処理を行い、更新後の表示バッファに表示領域を設定して、表示部に画像を表示する（Ｓ４１）。
【００９６】
この具体例を図７（Ａ）〜図７（Ｄ）を用いて説明する。前提として本実施形態では、情報端末の記憶部は、例えば図７（Ａ）に示すような画像データを保持しており、ＨＭＤの表示部と同じ解像度で区切られた領域に図７（Ａ）に示すようなＩＤが付与されている。情報端末の処理部は、ＩＤを指定すると、その画像データにアクセスできる。なお、情報端末の記憶部の容量による制限をなくすために、記憶部から読み出すのではなく画像をインターネット上から取得してもよい。また、画像の取得方法に関わらず、情報端末の処理部が画像を取得して、情報端末からＨＭＤへ画像を送信するまでの時間は、ＨＭＤの表示バッファの更新処理を行う最短時間よりも短い必要がある。
【００９７】
また、図７（Ｂ）〜図７（Ｄ）には、９つの領域を有するＨＭＤの表示バッファを示しており、それぞれの領域内の番号は情報端末の記憶部から読み込まれた画像のＩＤを示す。図７（Ｂ）〜図７（Ｄ）のＩＡＲは、ＨＭＤの表示部に実際に表示されている領域を示し、初期状態はＩＤ＝９７の画像を表示し、その時の表示領域の中心座標を原点（０、０）とする。なお、本例では、初期状態としてＩＤ＝９７を使用したが、これに限定されない。また、ＨＭＤの表示部の大きさ（横、縦）を（ｘｌ、ｙｌ）と表し、移動後の表示領域の中心座標を（ｘｃ、ｙｃ）と表すものとする。
【００９８】
この場合に、図７（Ｃ）のように表示領域が上方向へスクロールして移動して、その結果、表示領域の中心座標が閾値を超えた場合に、表示バッファの下段にある８８、９８、Ａ８の画像を破棄する。なお、ここでは、ｙｌ／２を閾値、Δを正の整数とし、ｙｃ＝ｙｌ／２＋Δになった場合を示している。
【００９９】
そして、破棄した画像の代わりに情報端末から図７（Ａ）の８５、９５、Ａ５の画像を読み込んで、図７（Ｄ）のような配置で表示バッファを更新（再構成）し、その後ＨＭＤの表示領域の中心座標を（０、ｙｃ）から（０、−（ｙｌ／２＋Δ））へ移動させる。
【０１００】
上の例は、上方向へスクロールした場合だが、下方向へスクロールする場合には−ｙｌ／２を、左方向へスクロールする場合には−ｘｌ／２を、右方向へスクロールする場合にはｘｌ／２を閾値として用いて、上方向と同様に表示バッファの更新処理を行うことができる。これにより、スクロール先の画像が途切れることなく、ＨＭＤの表示部に画像を表示し続けることが可能となる。なお、本実施形態では、閾値として表示部の解像度の１／２の値を使用したが、これに限定されない。
【０１０１】
また、情報端末の記憶部に記憶されている画像（図７（Ａ）の画像）の端部分の画像が、ＨＭＤの表示バッファに記憶されている場合において、例えば画像が地図であるような場合にはスクロールを停止してもよいし、画像の内容によっては周期境界条件を設けてもよい。
【０１０２】
ここで、例えば、表示部に表示された施設詳細情報を表す画像と手元の資料とを、ユーザが見比べたい場合など、ユーザが頭部を動かしつつも、特定の表示画像の表示を継続させたい場合がある。しかし、前述した手法を用いた場合には、ユーザの頭部姿勢に連動して、表示画像が切り替わってしまう。
【０１０３】
そこで、本実施形態では、操作部による割り込みによって、表示処理ループ（Ｓ３３〜Ｓ４１）及び情報取得部を一時停止および再開することができる（Ｓ４２）。例えば、図３（Ａ）〜図３（Ｃ）の状態で、表示処理ループを一時停止した場合には、図３（Ｃ）の画像記憶領域ＩＢの中央の画像がＨＭＤの表示部に表示されており、例えユーザがＤＲ４方向を向いたとしても表示部に表示される画像は変わらない（ＤＲ１〜ＤＲ３方向の場合も同様）。
【０１０４】
ここで、前述した画面遷移判定処理では、開始時の方位および仰角を保存し、次回以降の方位および仰角との差分が閾値を超えるか否かを判定することにより、スクロールをするか否かを判定しているため、ユーザが直立しておらず、頭部が地面に対して水平・垂直でない状態で表示処理ループが開始された場合には、頭の動きではスクロール不可能な領域ができてしまうという問題がある。
【０１０５】
そこで、本実施形態では、ＨＭＤの操作部から表示処理ループに対して割り込みを行い、その割り込み発生時点での方位と仰角を初期値として利用する（Ｓ４３）。
【０１０６】
最後に、ＨＭＤの処理部は、情報端末の処理部から表示制御終了の要求（Ｓ４４）が送出されるまで、表示処理ループを継続し、ＨＭＤの処理部が表示制御終了の要求を受信した場合には表示処理ループを終了する（Ｓ４５）。
【０１０７】
また、本実施形態の頭部装着型表示装置において、地図などの画像を表示する場合には、広域図や周辺地域の詳細図など、縮尺率の異なる地図を参照したい場合がある。
【０１０８】
そこで、本実施形態の頭部装着型表示装置は、図８に示すように、表示バッファの画像記憶領域ＩＢにおいて、中央の段（上から２段目）Ｌ２に基準となる縮尺率を持つ地図画像を記憶し、中央の段Ｌ２の上段（上から１段目）Ｌ１に拡大地図画像を記憶し、中央の段Ｌ２の下段（上から３段目）Ｌ３に、縮小地図画像を記憶する。なお、本例における拡大地図画像は、中央の段Ｌ２の画像の地図よりも表示範囲が狭い地図を表す他の画像であり、縮小地図画像は、中央の段Ｌ２の画像の地図よりも表示範囲が広い地図を表す他の画像であり、中央の段Ｌ２の画像をそのまま拡大又は縮小した画像ではない。ただし、これに限定されない。
【０１０９】
これにより、例えば画像記憶領域ＩＢの中央の領域ＡＲ５に表示領域ＩＡＲが設定されている状態で、ユーザが頭部を上方向（第１の方向ＤＲ１）に向けると、表示領域ＩＡＲを領域ＡＲ２に移動させて、現在参照している地図の拡大図を表示することができる。一方、ユーザが頭部を下方向（第２の方向ＤＲ２）に向けると、表示領域ＩＡＲを領域ＡＲ８に移動させて、現在参照している地図の縮小図を表示することができる。また、ユーザが右方向（第３の方向ＤＲ３）を向けば、表示領域ＩＡＲを領域ＡＲ６に移動させ、ユーザが左方向（第３の方向ＤＲ３）を向けば、表示領域ＩＡＲを領域ＡＲ４に移動させて、縮尺率をそのままに表示する地域をスクロールすることができる。
【０１１０】
３．２ 第２の実施形態
以下では、図９のシーケンス図を用いて、第２の実施形態の処理の詳細について説明する。
【０１１１】
初めに、情報端末の処理部は、記憶部から画像データを読み込んで（Ｓ５０）、表示領域遷移情報を指定して、画像データとともにＨＭＤへ送信する（Ｓ５１）。そして、処理部は、受信した表示領域遷移情報に基づいて、使用する遷移モードを特定する（Ｓ５２）。その後、送信された画像を表示バッファへ送信し、表示部が画像を表示する。
【０１１２】
ここで、遷移モードとは、処理部が行う一連の処理内容を決定付けるモードのことを言い、遷移モード毎に表示領域の移動方式（又は遷移方式）が異なる。また、表示領域遷移情報とは、使用する遷移モードを指定する情報のことをいう。
【０１１３】
具体的に遷移モードには、図１０（Ａ）に示したスクロール（スライド）移動モードや、図１０（Ｂ）に示した瞬間移動モード、図１０（Ｃ）に示したページめくりモードなどがある。なお、遷移モードはこれらに限定されない。
【０１１４】
まず、スクロール移動モードでは、表示領域を移動させると判断された場合には、表示バッファの画像記憶領域ＩＢに沿って表示領域ＩＡＲを図１０（Ａ）の矢印のようにスライドさせる。
【０１１５】
次に、瞬間移動モードでは、表示領域を移動させると判断された場合には、画像記憶領域ＩＢ内の領域ＩＡＲ１から領域ＩＡＲ２に、図１０（Ｂ）の矢印のように表示領域を一瞬で遷移させる。
【０１１６】
そして、図１０（Ｃ）には、図１０（Ａ）、図１０（Ｂ）とは異なり、ページめくりモードが遷移モードとして設定されている場合において、表示部に表示される画像を示している。ページめくりモードでは、表示画像ＩＩＭが、画像記憶領域内の表示領域ＩＡＲ１の画像である状態から、図１０（Ｃ）に示すように、画像の右下部分から次第に表示領域ＩＡＲ２の画像に変化していき、あたかも本のページをめくっているかのような画像ＩＩＭが表示部に表示される。
【０１１７】
その後、情報端末の処理部からの指示（Ｓ５３）によって表示制御を開始すると（Ｓ５４）、ＨＭＤの情報取得部からＨＭＤの処理部へ方位および仰角などの頭部姿勢情報が送信される（Ｓ５５）。
【０１１８】
そして、ＨＭＤの処理部は取得した頭部姿勢情報に基づいて、画面遷移判定処理を行う（Ｓ５６）。なお、画面遷移判定処理は、第１の実施形態で説明した手法と同様でもよい。そして、画面遷移を行うと判定された場合には、ステップＳ５２において特定した遷移モードで表示領域の遷移を行う（Ｓ５７）。
【０１１９】
最後に、ＨＭＤの処理部は、情報端末の処理部から表示制御終了の要求（Ｓ５８）が送出されるまで、表示処理ループを継続し、ＨＭＤの処理部が表示制御終了の要求を受信した場合には表示処理ループを終了する（Ｓ５９）。
【０１２０】
４．本実施形態の手法
以上の本実施形態では、画像データと画像の表示レイアウトデータとを情報端末２００から受信する通信部１１０と、表示レイアウトデータにより設定された画像記憶領域に画像データを記憶する表示バッファ１２０と、表示バッファ１２０の画像記憶領域に表示領域を設定する処理部１３０と、設定された表示領域の画像を表示画像として表示する表示部１４０と、を含む。そして、処理部１３０は、頭部装着型センサから取得される頭部姿勢情報に基づいて、画像記憶領域に表示領域を設定する。
【０１２１】
ここで、表示レイアウトデータとは、表示レイアウトを指し示すデータのことをいう。また、表示レイアウトとは、表示バッファの画像記憶領域に記憶される画像が表示部に表示される際の、各画像の位置関係を示す情報のことをいう。また、表示レイアウトは、画像記憶領域において、ＨＭＤの表示部と同じ解像度で区切られた各領域の順序情報であってもよい。例えば、表示レイアウトは、図３（Ｃ）に示す３行×３列の正方形（ただし、画像のサイズによっては長方形となる）や、図４（Ｃ）に示す１行×９列の横長の長方形、図５（Ｃ）に示す９行×１列の縦長の長方形などがある。ただし、これらに限定されない。
【０１２２】
また、表示領域とは、画像記憶領域において、表示部に表示する画像を記憶する領域として特定される領域のことをいう。表示領域は、画像記憶領域のアドレスにより特定される。
【０１２３】
さらに、頭部姿勢情報とは、ユーザの頭部姿勢を表す情報である。例えば、頭部姿勢情報は、ユーザの頭部に設けられたセンサにより取得される仰角や方位などの値のことである。
【０１２４】
これにより、情報端末２００から受信した表示レイアウトデータが示す表示レイアウトで、画像データを表示バッファ１２０に記憶することができ、頭部装着型表示装置１００の表示部１４０に画像を表示することが可能となる。
【０１２５】
また、情報端末２００から受信する表示レイアウトデータによって、表示バッファ１２０の表示レイアウトを変更することが可能となる。
【０１２６】
そして、頭部装着型表示装置１００が、ユーザの頭部姿勢情報に応じて表示バッファ１２０の画像記憶領域に表示領域を設定することが可能となる。
【０１２７】
さらに、頭部姿勢情報を一度情報端末２００に送信し、通知された頭部姿勢情報に基づいて、表示部１４０に表示する画像を情報端末２００が特定する手法に比べて、頭部装着型表示装置１００と情報端末２００間での通信機会を減らすことが可能となり、応答速度の向上を図ることが可能となる。すなわち、情報端末２００と通信をせずに、頭部装着型表示装置１００内部で表示制御を行うため、スクロールのリアルタイム性が向上する。
【０１２８】
また、処理部１３０は、頭部姿勢情報により表される頭部姿勢が第１の頭部姿勢である場合には、表示領域として第１の表示領域を設定し、頭部姿勢が第２の頭部姿勢である場合には、表示領域として第２の表示領域を設定してもよい。そして、表示部１４０は、第１の表示領域が設定された場合には、第１の表示領域の画像を表示画像として表示し、第２の表示領域が設定された場合には、第２の表示領域の画像を表示画像として表示してもよい。
【０１２９】
ここで、第１の表示領域と第２の表示領域は、画像記憶領域内の領域のうち、互いに異なる領域のことをいう。本例では、第１の表示領域と第２の表示領域は、表示レイアウト上で隣接していることが望ましいが、これに限定されない。例えば、図１０（Ｂ）では、画像記憶領域ＩＢのうち、領域ＩＡＲ１が第１の表示領域であり、領域ＩＡＲ２が第２の表示領域である。
【０１３０】
また、第１の頭部姿勢は、第２の頭部姿勢と異なる頭部姿勢のこという。例えば、図３（Ａ）では、ユーザＵＳが正面を向いている状態が第１の頭部姿勢であり、ユーザＵＳがＤＲ１方向を向いている状態が第２の頭部姿勢である。
【０１３１】
これにより、頭部姿勢情報に応じて、画像記憶領域上の異なる領域に表示領域を設定すること等が可能になる。すなわち、ユーザの頭部の上下左右の動きに応じて、画像記憶領域上で表示領域をスクロールさせること等が可能となる。
【０１３２】
また、処理部１３０は、取得された頭部姿勢情報に基づいて姿勢変化量を求め、姿勢変化量が所定の閾値以上であると判断する場合に、表示領域を第１の表示領域から第２の表示領域に移動させてもよい。
【０１３３】
ここで、姿勢変化量とは、基準頭部姿勢と現在の頭部姿勢との差である。基準頭部姿勢は、初期姿勢のことであってもよい。例えば、図６の初期方位ｄ及び初期仰角ａのこという。
【０１３４】
これにより、姿勢変化量と所定の閾値を比較することによって、表示領域を移動させるか否かを判定すること等が可能となる。
【０１３５】
ところで、頭部装着型表示装置１００の表示部１４０は、画像が高い解像度を有する場合には画角が小さい場合しか、その画像を表示することができない。
【０１３６】
そこで、処理部１３０は、画像記憶領域に第２の表示領域を設定できないと判断した場合に、情報端末２００に対して画像データの送信要求を行ってもよい。すなわち、処理部１３０は、画像記憶領域に記憶されている画像データの中に、第２の頭部姿勢に対応する画像データがないと判断する場合に、情報端末２００に対して画像データの送信要求を行ってもよい。
【０１３７】
これにより、表示バッファ１２０の画像記憶領域における表示領域の位置によって、表示バッファ１２０に記憶された画像データを更新することを判定すること等が可能となり、後述する表示バッファの更新処理を行うこと等が可能となる。
【０１３８】
また、通信部１１０は、送信要求に対応して前記情報端末が送信した画像データを情報端末２００から受信してもよい。そして、処理部１３０は、受信した画像データに基づいて、表示バッファ１２０に記憶される画像データの更新処理を行ってもよい。
【０１３９】
ここで、画像データの更新処理とは、表示バッファ１２０の画像記憶領域に記憶されている画像データの一部又は全部のデータを破棄し、情報端末２００から新たに受信した画像データを画像記憶領域に記憶させる処理のこと等をいう。例えば、図７（Ｂ）〜図７（Ｄ）を用いて説明した処理が該当する。
【０１４０】
これにより、一度に表示バッファに記憶できない高解像度の画像の一部を、表示バッファ１２０に記憶すること等が可能となる。さらに、画像データの更新処理を繰り返すことによって、表示領域を複数回スクロールさせること等も可能になる。その結果、頭部装着型表示装置１００の表示部１４０でも、画角が大きく、高解像度である画像（一部）を表示すること等が可能になる。
【０１４１】
また、表示バッファ１２０は、受信された表示レイアウトデータに基づいて、正方形又は長方形の画像記憶領域を設定し、設定した画像記憶領域に画像データを記憶してもよい。
【０１４２】
ここで、正方形の表示レイアウトとは、図３（Ｃ）のように行と列の数が同じ表示レイアウトのことを指す。一方、長方形の表示レイアウトとは、図４（Ｃ）や図５（Ｃ）のように行と列の数が異なる表示レイアウトのことを指す。
【０１４３】
これにより、頭部装着型表示装置１００の表示部１４０に表示させる画像の内容に応じて、情報端末２００が表示レイアウトを変更することが可能となる。例えば、マップ画像を表示させる場合には正方形の表示レイアウトを示す表示レイアウトデータを選択したり、タワーなどの縦長の被写体の画像を表示させたりする場合には、縦長の長方形の表示レイアウトデータを選択すること等が可能となる。
【０１４４】
また、通信部１１０は、表示領域の遷移モードを指定する表示領域遷移情報を、情報端末２００から受信してもよい。そして、処理部１３０は、受信された表示領域遷移情報に基づいて、使用する遷移モードを特定し、特定された遷移モードで表示領域を遷移させてもよい。
【０１４５】
ここで、遷移モードとは、処理部が行う一連の処理内容を決定付けるモードのことを言い、遷移モード毎に表示領域の移動方式（又は遷移方式）が異なる。具体的には、図１０（Ａ）に示したスクロール（スライド）移動モードや、図１０（Ｂ）に示した瞬間移動モードや、図１０（Ｃ）に示したページめくりモードなどがある。なお、遷移モードはこれらに限定されない。
【０１４６】
また、表示領域遷移情報とは、使用する遷移モードを指定する情報のことをいう。
【０１４７】
これにより、表示領域遷移情報により指定される遷移モードで、表示領域を遷移させること等が可能になる。
【０１４８】
また、表示バッファ１２０は、第１の画像データを第１の領域に記憶し、第１の画像データとは画像の縮尺率が異なる第２の画像データを、第１の領域の第１の方向側にある第２の領域に記憶してもよい。そして、処理部１３０は、第１の領域から第１の方向側に表示領域を移動させて、第２の領域を表示領域に設定してもよい。
【０１４９】
ここで、第１の画像データと第２の画像データは、互いに画像の縮尺率が異なる画像データのことをいう。例えば、第１の画像データは、図８の画像記憶領域ＩＢの中央の領域ＡＲ５（第１の領域）に記憶される画像データのことを指し、その場合には第２の画像データは、図８の上段Ｌ１の一領域ＡＲ２（第２の領域）に記憶される画像データのことを指す。
【０１５０】
そして、第１の領域とは、画像記憶領域のうち、第１の画像データを記憶する領域のことをいい、第２の領域は、画像記憶領域のうち、第２の画像データを記憶する領域のことをいう。また、第１の領域は第２の領域とは異なる。
【０１５１】
さらに、例えば図８において、第１の方向は上方向のＤＲ１である。これに限定されない。
【０１５２】
これにより、ユーザが頭部姿勢を変化させることによって、表示部に縮尺率の異なる画像を表示すること等が可能になる。例えば、図８のような場合に、画像記憶領域ＩＢの中央の領域ＡＲ５に表示領域ＩＡＲが設定されている状態で、ユーザが頭部を上方向（第１の方向ＤＲ１）に向けた時に、表示領域ＩＡＲを領域ＡＲ２に移動させて、現在参照している地図の拡大図を表示すること等が可能となる。一方、ユーザが頭部を下方向（第２の方向ＤＲ２）に向けた時に、表示領域ＩＡＲを領域ＡＲ８に移動させて、現在参照している地図の縮小図を表示すること等が可能となる。
【０１５３】
また、表示バッファ１２０は、第１の画像データと画像の縮尺率が等しい第３の画像データを、第１の領域の第２の方向側にある第３の領域に更に記憶してもよい。そして、処理部１３０は、第１の領域から第２の方向側に表示領域を移動させて、第３の領域を表示領域に設定してもよい。
【０１５４】
ここで、第３の画像データとは、第１の画像データと画像の縮尺率が等しい画像データのことをいう。また、第３の領域とは、画像記憶領域のうち、第３の画像データを記憶する領域のことをいう。具体的に図８では、第１の画像データが画像記憶領域ＩＢの中央の領域ＡＲ５に記憶されている場合には、第１の画像データと同じ中央段Ｌ２の他の領域（ＡＲ４又はＡＲ６）に記憶される画像データが、第３の画像データとなる。
【０１５５】
さらに、第２の方向は、例えば図８では、右方向ＤＲ３又は左方向ＤＲ４である。本例では、第２の方向（ＤＲ３又はＤＲ４）は、第１の方向ＤＲ１と直交する。ただし、これに限定されない。例えば、第２の画像データを、第１の領域の左右の領域に記憶し、第３の画像データを第１の領域の上下の領域に記憶してもよい。
【０１５６】
これにより、ユーザが頭部姿勢を変化させることによって、表示部に縮尺率が等しい他の画像を表示すること等が可能になる。例えば、図８のような場合に、ユーザが右方向（第３の方向ＤＲ３）を向けば、表示領域ＩＡＲを領域ＡＲ６に移動させ、ユーザが左方向（第３の方向ＤＲ３）を向けば、表示領域ＩＡＲを領域ＡＲ４に移動させて、縮尺率をそのままに表示する地域をスクロールすること等が可能となる。
【０１５７】
また、処理部１３０は、ユーザ入力情報により表示領域の設定処理の停止が指示された場合には、頭部姿勢情報により表される頭部姿勢の変化が表示領域を移動させる変化であった場合でも、表示領域の移動を停止してもよい。
【０１５８】
ここで、ユーザ入力情報とは、ユーザにより操作部１６０を介して入力される情報のことをいう。
【０１５９】
これにより、現在の頭部姿勢に関わらず、特定の表示画像を継続して表示させたいとユーザが考えている場合に、操作部１６０を介して、表示領域の設定処理の停止を処理部１３０にユーザが指示すれば、ユーザの頭部姿勢が変わった場合でも、表示画像が切り替わらないようにすること等が可能となる。
【０１６０】
また、通信部１１０は、表示バッファ１２０により画像データが記憶された後に、情報端末２００との通信の停止処理を行ってもよい。
【０１６１】
これにより、いったん頭部装着型表示装置で表示制御が開始すれば、情報端末２００と頭部装着型表示装置の接続を切断すること等が可能となり、ユーザは頭部の動きで表示を制御することができるため、画像処理システム全体の消費電力を抑制すること等が可能になる。
【０１６２】
また、処理部１３０は、基準頭部姿勢の更新指示情報がユーザにより入力された場合には、更新指示情報が入力された際における頭部姿勢を基準頭部姿勢として設定してもよい。
【０１６３】
ここで、更新指示情報とは、基準頭部姿勢の更新を指示する情報のことをいう。
【０１６４】
これにより、例えば、ユーザが直立しておらず、頭部が地面に対して水平・垂直でない状態で表示領域の設定処理が開始された場合にも、更新指示情報が入力された際における頭部姿勢を基準頭部姿勢として設定して、頭の動きでスクロール不可能な領域を無くすこと等が可能になる。
【０１６５】
なお、本実施形態の頭部装着型表示装置等は、プログラムにより実現してもよい。この場合には、ＣＰＵ等のプロセッサがプログラムを実行することで、本実施形態の頭部装着型表示装置等が実現される。具体的には、情報記憶媒体に記憶されたプログラムが読み出され、読み出されたプログラムをＣＰＵ等のプロセッサが実行する。ここで、情報記憶媒体（コンピュータにより読み取り可能な媒体）は、プログラムやデータなどを格納するものであり、その機能は、光ディスク（ＤＶＤ、ＣＤ等）、ＨＤＤ（ハードディスクドライブ）、或いはメモリ（カード型メモリ、ＲＯＭ等）などにより実現できる。そして、ＣＰＵ等のプロセッサは、情報記憶媒体に格納されるプログラム（データ）に基づいて本実施形態の種々の処理を行う。即ち、情報記憶媒体には、本実施形態の各部としてコンピュータ（操作部、処理部、記憶部、出力部を備える装置）を機能させるためのプログラム（各部の処理をコンピュータに実行させるためのプログラム）が記憶される。
【０１６６】
以上のように本実施形態について詳細に説明したが、本発明の新規事項および効果から実体的に逸脱しない多くの変形が可能であることは当業者には容易に理解できるであろう。従って、このような変形例はすべて本発明の範囲に含まれるものとする。例えば、明細書又は図面において、少なくとも一度、より広義または同義な異なる用語と共に記載された用語は、明細書又は図面のいかなる箇所においても、その異なる用語に置き換えることができる。また頭部装着型表示装置、プログラム及び画像処理システムの構成、動作も本実施形態で説明したものに限定されず、種々の変形実施が可能である。
【符号の説明】
【０１６７】
１００ 頭部装着型表示装置、１１０ 通信部、１２０ 表示バッファ、
１３０ 処理部、１４０ 表示部、１５０ 情報取得部、１６０ 操作部、
２００ 情報端末、２１０ 通信部、２２０ 記憶部、２３０ 処理部、
５５０ ＧＰＳセンサ、５５１ 加速度センサ、５６０ 方位センサ
【技術分野】
【０００１】
本発明は、頭部装着型表示装置、プログラム及び画像処理システム等に関係する。
【背景技術】
【０００２】
近年、携帯電話やＰＤＡ（Personal Digital Assistant）等の携帯電子機器を用いて、タウン情報・マップ情報を提供するサービスが展開されている。具体的には、ナビゲーションサービスや店舗情報の提供サービス等が挙げられる。例えば、店舗情報提供サービスにおいては、ユーザの現在位置をＧＰＳ等の手段を用いて取得したり、ユーザに検索対象位置を入力させた上で、携帯電子機器の画面に表示された地図上に、レストラン等の施設の位置を表示したりする。
【０００３】
しかし、地図を読むのが苦手なユーザもおり、地図上に施設位置を表示するだけの情報提供サービスは、場合によってはわかりにくいという問題があった。
【０００４】
さらに、従来の情報提供サービスには、利用時にユーザの視点（視線方向）が頻繁に上下してしまうという問題点がある。例えば、このような情報提供サービスの画面を参照するためには、手で把持している携帯電子機器に目を落とす必要がある。そのため、移動中に利用しようとした場合（例えば表示画面を参照しつつ、表示された施設へ実際に移動するような場合）、ユーザは道路の安全確認等を行いつつ、携帯電子機器に視線を向けなければならない。これは、ユーザにとって非常に煩わしい。
【０００５】
本来、ユーザの利便性を考えると、情報提供サービスの利用中も視線方向が変わらないことが望ましく、歩行中（ここでは歩行者向けサービスを想定している）であれば、進行方向に視線を向けていることが好ましい。ここで、ユーザの視点を変えずに情報を提供する手法として、ユーザの頭部に装着して用いる画像表示装置であるＨＭＤ（Head Mounted Display）を用いて、ユーザの視界内に表示画面を重畳する手法がある。特許文献１では、ユーザの頭部の動きに応じて、ＨＭＤにおいて表示される画像を制御する手法が開示されている。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開平１０−３４１３８７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
情報端末がＨＭＤへ画像データを無線で送信し、スクロールなどによる画面遷移をＨＭＤから送信されるセンサのデータに応じて、情報端末が制御するシステムには以下のような課題がある。
【０００８】
第１に、ＨＭＤの表示バッファが記憶できるデータ容量には上限があり、かつＨＭＤの表示部は解像度が低いため、ＨＭＤは解像度が高い画像の表示に適していない。
【０００９】
第２に、ＨＭＤと情報端末間で、センサデータを無線で常に送受信する必要があるため、消費電力が高くなる。
【００１０】
第３に、前述したシステムでは、ＨＭＤからセンサデータを受信した情報端末が、表示制御の信号をＨＭＤへ送信する。すなわち、ＨＭＤと情報端末間で双方向の通信が必要となる。そのため、頭の動きに合わせて画面をスクロールするような場合にリアルタイム性が損なわれる場合がある。
【００１１】
本発明の幾つかの態様によれば、表示バッファの表示レイアウトを変更することができ、頭部姿勢情報に応じた画像を表示することができる頭部装着型表示装置、プログラム及び画像処理システム等を提供することができる。
【００１２】
また、本発明の幾つかの態様によれば、表示バッファの表示レイアウトを変更することができ、頭部姿勢情報に応じた画像を表示し、システム全体の消費電力を抑制し、要求されるリアルタイム性を満たすことができる頭部装着型表示装置、プログラム及び画像処理システム等を提供することができる。
【課題を解決するための手段】
【００１３】
本発明の一態様は、画像データと画像の表示レイアウトデータとを情報端末から受信する通信部と、前記表示レイアウトデータにより設定された画像記憶領域に前記画像データを記憶する表示バッファと、前記表示バッファの前記画像記憶領域に表示領域を設定する処理部と、設定された前記表示領域の画像を表示画像として表示する表示部と、を含み、前記処理部は、頭部装着型センサから取得される頭部姿勢情報に基づいて、前記画像記憶領域に前記表示領域を設定する頭部装着型表示装置に関係する。
【００１４】
本発明の一態様では、情報端末から受信した表示レイアウトデータが示す表示レイアウトで、画像データを表示バッファに記憶することができ、頭部装着型表示装置の表示部に画像を表示することが可能となる。
【００１５】
また、情報端末から受信する表示レイアウトデータによって、表示バッファの表示レイアウトを変更することが可能となる。
【００１６】
そして、頭部装着型表示装置が、ユーザの頭部姿勢情報に応じて表示バッファの画像記憶領域に表示領域を設定することが可能となる。
【００１７】
さらに、頭部姿勢情報を一度情報端末に送信し、通知された頭部姿勢情報に基づいて、表示部に表示する画像を情報端末が特定する手法に比べて、頭部装着型表示装置と情報端末間での通信機会を減らすことが可能となり、応答速度の向上を図ることが可能となる。
【００１８】
また、本発明の一態様では、前記処理部は、前記頭部姿勢情報により表される頭部姿勢が第１の頭部姿勢である場合には、前記表示領域として第１の表示領域を設定し、前記頭部姿勢が第２の頭部姿勢である場合には、前記表示領域として第２の表示領域を設定し、前記表示部は、前記第１の表示領域が設定された場合には、前記第１の表示領域の画像を前記表示画像として表示し、前記第２の表示領域が設定された場合には、前記第２の表示領域の画像を前記表示画像として表示してもよい。
【００１９】
これにより、頭部姿勢情報に応じて、画像記憶領域上の異なる領域に表示領域を設定すること等が可能になる。すなわち、ユーザの頭部の上下左右の動きに応じて、画像記憶領域上で表示領域をスクロールさせること等が可能となる。
【００２０】
また、本発明の一態様では、前記処理部は、取得された前記頭部姿勢情報に基づいて姿勢変化量を求め、前記姿勢変化量が所定の閾値以上であると判断する場合に、前記表示領域を前記第１の表示領域から前記第２の表示領域に移動させてもよい。
【００２１】
これにより、姿勢変化量と所定の閾値を比較することによって、表示領域を移動させるか否かを判定すること等が可能となる。
【００２２】
また、本発明の一態様では、前記処理部は、前記画像記憶領域に前記第２の表示領域を設定できないと判断した場合に、前記情報端末に対して画像データの送信要求を行ってもよい。
【００２３】
これにより、表示バッファの画像記憶領域における表示領域の位置によって、表示バッファに記憶された画像データを更新することを判定すること等が可能となり、表示バッファの更新処理を行うこと等が可能となる。
【００２４】
また、本発明の一態様では、前記通信部は、前記送信要求に対応して前記情報端末が送信した前記画像データを前記情報端末から受信し、前記処理部は、受信した前記画像データに基づいて、前記表示バッファに記憶される前記画像データの更新処理を行ってもよい。
【００２５】
これにより、一度に表示バッファに記憶できない高解像度の画像の一部を、表示バッファに記憶すること等が可能となる。さらに、画像データの更新処理を繰り返すことによって、表示領域を複数回スクロールさせること等も可能になる。
【００２６】
また、本発明の一態様では、前記表示バッファは、受信された前記表示レイアウトデータに基づいて、正方形又は長方形の前記画像記憶領域を設定し、設定した前記画像記憶領域に前記画像データを記憶してもよい。
【００２７】
これにより、頭部装着型表示装置の表示部に表示させる画像の内容に応じて、情報端末が表示レイアウトを変更することが可能となる。
【００２８】
また、本発明の一態様では、前記通信部は、前記表示領域の遷移モードを指定する表示領域遷移情報を、前記情報端末から受信し、前記処理部は、受信された前記表示領域遷移情報に基づいて、使用する前記遷移モードを特定し、特定された前記遷移モードで前記表示領域を遷移させてもよい。
【００２９】
これにより、表示領域遷移情報により指定される遷移モードで、表示領域を遷移させること等が可能になる。
【００３０】
また、本発明の一態様では、前記表示バッファは、第１の画像データを第１の領域に記憶し、前記第１の画像データとは画像の縮尺率が異なる第２の画像データを、前記第１の領域の第１の方向側にある第２の領域に記憶し、前記処理部は、前記第１の領域から前記第１の方向側に前記表示領域を移動させて、前記第２の領域を前記表示領域に設定してもよい。
【００３１】
これにより、ユーザが頭部姿勢を変化させることによって、表示部に縮尺率の異なる画像を表示すること等が可能になる。
【００３２】
また、本発明の一態様では、前記表示バッファは、前記第１の画像データと画像の縮尺率が等しい第３の画像データを、前記第１の領域の第２の方向側にある第３の領域に更に記憶し、前記処理部は、前記第１の領域から前記第２の方向側に前記表示領域を移動させて、前記第３の領域を前記表示領域に設定してもよい。
【００３３】
これにより、ユーザが頭部姿勢を変化させることによって、表示部に縮尺率が等しい他の画像を表示すること等が可能になる。
【００３４】
また、本発明の一態様では、前記処理部は、ユーザ入力情報により前記表示領域の設定処理の停止が指示された場合には、前記頭部姿勢情報により表される頭部姿勢の変化が前記表示領域を移動させる変化であった場合でも、前記表示領域の移動を停止してもよい。
【００３５】
これにより、現在の頭部姿勢に関わらず、特定の表示画像を継続して表示させたいとユーザが考えている場合に、操作部を介して、表示領域の設定処理の停止を処理部にユーザが指示すれば、ユーザの頭部姿勢が変わった場合でも、表示画像が切り替わらないようにすること等が可能となる。
【００３６】
また、本発明の一態様では、前記通信部は、前記表示バッファにより前記画像データが記憶された後に、前記情報端末との通信の停止処理を行ってもよい。
【００３７】
これにより、いったん頭部装着型表示装置で表示制御が開始すれば、情報端末と頭部装着型表示装置の接続を切断すること等が可能となり、ユーザは頭部の動きで表示を制御することができるため、画像処理システム全体の消費電力を抑制すること等が可能になる。
【００３８】
また、本発明の一態様では、前記処理部は、基準頭部姿勢の更新指示情報がユーザにより入力された場合には、前記更新指示情報が入力された際における前記頭部姿勢を前記基準頭部姿勢として設定してもよい。
【００３９】
これにより、例えば、ユーザが直立しておらず、頭部が地面に対して水平・垂直でない状態で表示領域の設定処理が開始された場合にも、更新指示情報が入力された際における頭部姿勢を基準頭部姿勢として設定して、頭の動きでスクロール不可能な領域を無くすこと等が可能になる。
【００４０】
また、本発明の他の態様では、上記各部としてコンピュータを機能させるプログラムに関係する。
【００４１】
また、本発明の他の態様では、情報端末と、頭部装着型表示装置と、を含み、前記情報端末は、画像データと画像の表示レイアウトデータとを前記頭部装着型表示装置に送信し、前記頭部装着型表示装置は、前記画像データと前記画像の前記表示レイアウトデータとを前記情報端末から受信し、前記表示レイアウトデータにより設定された画像記憶領域に前記画像データを記憶し、頭部装着型センサから取得される頭部姿勢情報に基づいて、前記表示バッファの前記画像記憶領域に表示領域を設定し、設定された前記表示領域の画像を表示画像として表示する画像処理システムに関係する。
【図面の簡単な説明】
【００４２】
【図１】図１（Ａ）、図１（Ｂ）は、本実施形態のシステム構成図。
【図２】第１の実施形態の処理の流れを説明するシーケンス図。
【図３】図３（Ａ）〜図３（Ｃ）は、画面表示例。
【図４】図４（Ａ）〜図４（Ｃ）は、表示レイアウト例。
【図５】図５（Ａ）〜図５（Ｃ）は、表示レイアウト例。
【図６】姿勢変化量に基づき表示領域を移動させる一例を説明するフローチャート。
【図７】図７（Ａ）〜図７（Ｄ）は、画像データの更新の説明図。
【図８】頭部姿勢方向に基づき縮尺率の異なる画像を表示する例。
【図９】第２の実施形態の処理の流れを説明するシーケンス図。
【図１０】図１０（Ａ）〜図１０（Ｃ）は、遷移モードの説明図。
【発明を実施するための形態】
【００４３】
以下、本実施形態について説明する。まず、本実施形態の概要を説明し、次に本実施形態のシステム構成例について説明する。そして、本実施形態の処理の詳細についてシーケンス図と具体例を用いて詳細に説明し、最後に、本実施形態の手法について説明する。なお、以下に説明する本実施形態は、特許請求の範囲に記載された本発明の内容を不当に限定するものではない。また、本実施形態で説明される構成の全てが、本発明の必須構成要件であるとは限らない。
【００４４】
１．概要
近年、携帯電話やＰＤＡ（Personal Digital Assistant）等の携帯電子機器を用いて、タウン情報・マップ情報を提供するサービスが展開されている。具体的には、ナビゲーションサービスや店舗情報の提供サービス等が挙げられる。例えば、店舗情報提供サービスにおいては、ユーザの現在位置をＧＰＳ等の手段を用いて取得したり、ユーザに検索対象位置を入力させた上で、携帯電子機器の画面に表示された地図上に、レストラン等の施設の位置を表示したりする。
【００４５】
しかし、地図を読むのが苦手なユーザもおり、地図上に施設位置を表示するだけの情報提供サービスは、場合によってはわかりにくいという問題があった。
【００４６】
さらに、従来の情報提供サービスには、利用時にユーザの視点（視線方向）が頻繁に上下してしまうという問題点がある。例えば、このような情報提供サービスの画面を参照するためには、手で把持している携帯電子機器に目を落とす必要がある。そのため、移動中に利用しようとした場合（例えば表示画面を参照しつつ、表示された施設へ実際に移動するような場合）、ユーザは道路の安全確認等を行いつつ、携帯電子機器に視線を向けなければならない。これは、ユーザにとって非常に煩わしい。
【００４７】
本来、ユーザの利便性を考えると、情報提供サービスの利用中も視線方向が変わらないことが望ましく、歩行中（ここでは歩行者向けサービスを想定している）であれば、進行方向に視線を向けていることが好ましい。ここで、ユーザの視点を変えずに情報を提供する手法として、ユーザの頭部に装着して用いる画像表示装置であるＨＭＤ（Head Mounted Display）を用いて、ユーザの視界内に表示画面を重畳する手法がある。
【００４８】
その一手法として、情報端末がＨＭＤへ画像データを無線で送信し、スクロールなどによる画面遷移をＨＭＤから送信されるセンサのデータに応じて、情報端末が制御する手法があるが、この手法を実現するシステムには以下のような課題がある。
【００４９】
第１に、ＨＭＤの表示バッファが記憶できるデータ容量には上限があり、かつＨＭＤの表示部は解像度が低いため、ＨＭＤは解像度が高い画像の表示に適していない。
【００５０】
第２に、ＨＭＤと情報端末間で、センサデータを無線で常に送受信する必要があるため、消費電力が高くなる。
【００５１】
第３に、前述したシステムでは、ＨＭＤからセンサデータを受信した情報端末が、表示制御の信号をＨＭＤへ送信する。すなわち、ＨＭＤと情報端末間で双方向の通信が必要となる。そのため、頭の動きに合わせて画面をスクロールするような場合にリアルタイム性が損なわれる場合がある。
【００５２】
そこで、本実施形態の頭部装着型表示装置（ＨＭＤ）等は、表示バッファの表示レイアウトを変更することができ、情報端末ではなく、頭部装着型表示装置が頭部姿勢情報に応じた画像を特定し、頭部装着型表示装置の表示部に特定した画像を表示する。
【００５３】
２．システム構成例
まず図１（Ａ）に、ユーザ１０が本実施形態の頭部装着型表示装置（ＨＭＤ）を利用している様子を示す。図１（Ａ）においてユーザ１０は、ＨＭＤ１００を頭部に装着しており、情報端末２００を所持している。さらにウェアラブルセンサとして種々のセンサを身につけている。具体的には、加速度センサ５５１や方位センサ５６０がＨＭＤ１００に設けられ、ＧＰＳセンサ５５０が情報端末２００に設けられる。
【００５４】
ＧＰＳセンサ５５０は、ユーザの位置（場所）を検知するセンサである。なおＧＰＳセンサ５５０の代わりに携帯電話の位置情報サービスや周辺にある無線ＬＡＮの位置情報を利用してもよい。
【００５５】
方位センサ５６０は、例えば地磁気センサ等であり、センサの向いている方位を角度（０°〜３６０°）で計測する。地磁気センサは、例えば磁場の強さによって抵抗値やインピーダンス値が増減する素子等で構成され、三軸の地磁気情報を検知する。
【００５６】
加速度センサ５５１は、例えば外力によって抵抗値が増減する素子等で構成され、三軸の加速度情報を検知する。
【００５７】
また、地磁気センサや加速度センサ、ジャイロセンサの機能を併せ持つセンサを用いてもよい。さらに、地磁気情報や加速度情報から、磁北を基準とした偏角を算出し、出力するセンサを用いてもよい。
【００５８】
次に、図１（Ｂ）に本実施形態の頭部装着型表示装置（ＨＭＤ）及びＨＭＤと情報端末を含む画像処理システムの構成例を示す。
【００５９】
頭部装着型表示装置１００は、通信部１１０と、表示バッファ１２０と、処理部１３０と、表示部１４０と、情報取得部１５０と、操作部１６０と、を含む。
【００６０】
また、情報端末２００は、通信部２１０と、記憶部２２０と、処理部２３０と、を含む。情報端末２００は、例えば、ＰＤＡ、ノート型ＰＣなどの携帯情報端末（モバイルコンピュータ）である。なお、情報端末２００は、携帯電話、腕時計、或いはポータブルオーディオなどとして兼用される機器であってもよい。
【００６１】
本実施形態のＨＭＤ及び画像生成システムは、図１（Ｂ）の構成に限定されず、これらの一部の構成要素を省略したり、他の構成要素を追加したりするなどの種々の変形実施が可能である。なお、本実施形態の画像生成システムの一部の機能は、情報端末２００により実現されるが、例えば情報端末２００とは異なる電子機器により実現してもよい。例えば、本実施形態の画像生成システムの一部の機能は、情報端末２００もしくはＨＭＤ１００と通信により接続されたサーバにより実現されてもよい。
【００６２】
次に各部の接続について説明する。ＨＭＤの通信部１１０と情報端末の通信部２１０は、例えば、ＷｉｆｉやＢｌｕｅｔｏｏｔｈ（登録商標）などの通信規格で互いに情報を送受信する。なお、通信部１１０及び通信部２１０は、有線により通信を行うものであってもよく、無線により通信を行うものであってもよい。
【００６３】
そして、ＨＭＤの通信部１１０は、処理部１３０に接続されている。処理部１３０は、表示バッファ１２０と、情報取得部１５０と、操作部１６０と、に接続されている。表示バッファ１２０は、表示部１４０に接続されている。情報取得部１５０は、処理部１３０に接続されている。
【００６４】
さらに、情報端末の通信部２１０は、処理部２３０に接続されている。処理部２３０は、通信部２１０と、記憶部２２０と、に接続されている。記憶部２２０は、処理部２３０に接続されている。
【００６５】
次に各部で行われる処理について説明する。
【００６６】
表示バッファ１２０は、表示部１４０に表示できる画像の解像度の２倍以上の解像度を持つ画像を記憶できる画像記憶領域を持つ。また、表示バッファ１２０の画像記憶領域は、処理部１３０により通知される表示レイアウトに従って、画像データを記憶する。表示バッファ１２０の画像記憶領域は、ＲＡＭ等のメモリやＨＤＤ（ハードディスクドライブ）などにより実現できる。
【００６７】
処理部１３０は、ＨＭＤの各部を制御する。具体的には、処理部１３０は、後述する表示領域の設定処理を行ったり、ユーザ入力情報に応じて情報取得部にセンサ情報の取得の開始・停止を指示したりする。さらに、処理部１３０は、表示バッファに記憶される画像データの再構成処理などを行う。
【００６８】
表示部１４０は、表示バッファ１２０の画像記憶領域に記憶された画像を表示する。表示部１４０は、例えば、ユーザの頭部の近傍に装着されると共に、大きさが瞳孔の大きさよりも小さくなるように設定され、いわゆるシースルービューアの表示部として機能する。
【００６９】
情報取得部１５０は、センサ情報を取得して処理部１３０に通知する。情報取得部１５０は、センサ自体であってもよいし、センサからセンサ情報を取得する機能部であってもよい。
【００７０】
操作部１６０は、ユーザからの入力情報を取得し、処理部１３０に通知する。操作部１６０は、例えばＨＭＤ１００に設けられるボタンやスイッチ等である。なお、操作部１６０は情報端末２００に設けられてもよい。
【００７１】
記憶部２２０は、ＨＭＤの表示部１４０に表示する画像や、データベースを記憶したり、処理部２３０等のワーク領域となるもので、その機能はＲＡＭ等のメモリやＨＤＤなどにより実現できる。
【００７２】
処理部２３０は、情報端末の各部を制御する。なお、処理部１３０及び処理部２３０の機能は、各種プロセッサ（ＣＰＵ等）、ＡＳＩＣ（ゲートアレイ等）などのハードウェアや、プログラムなどにより実現できる。
【００７３】
３．処理の詳細
３．１ 第１の実施形態
以下では、図２のシーケンス図を用いて、第１の実施形態の処理の詳細について説明する。
【００７４】
まず、情報端末の処理部は、記憶部から画像データを読み込んで（Ｓ３０）、表示レイアウトデータを指定して、画像データとともにＨＭＤへ送信する（Ｓ３１）。そして、ＨＭＤの処理部は、画像記憶領域に表示領域を設定し、表示部が画像を表示する。
【００７５】
表示レイアウトデータとは、後述するように表示レイアウトを指し示すデータのことである。
【００７６】
例えば、表示レイアウトデータにより３行×３列の長方形の表示レイアウトを指定した場合の例を、図３（Ａ）〜図３（Ｃ）を用いて説明する。図３（Ａ）にはＨＭＤを装着したユーザＵＳが首を振っている様子を、図３（Ｂ）には表示部に表示する画像ＩＩＭの一例を、図３（Ｃ）には表示バッファの画像記憶領域ＩＢと記憶される画像を示す。
【００７７】
前述したように表示バッファの画像記憶領域ＩＢは、表示部が表示可能な画像の２倍以上の領域（本例では９画面分）を持っており、受信した表示レイアウトデータにより設定された画像記憶領域ＩＢに、情報端末から受信した画像データを記憶する（図３（Ｃ））。そして、表示部には記憶した画像の一部（図３（Ｂ）のＩＩＭ）が表示される。
【００７８】
また、他にも図４（Ａ）〜図４（Ｃ）と図５（Ａ）〜図５（Ｃ）に示すような表示レイアウトを指定することも可能である。図４（Ａ）〜図４（Ｃ）は、１行×９列の横長の長方形の表示レイアウトを指定した場合、図５（Ａ）〜図５（Ｃ）は、９行×１列の縦長の長方形の表示レイアウトを指定した場合を示している。なお、ここでは表示レイアウトの例として３つの例を示したが、表示レイアウト上での画像の配置や、表示バッファの大きさは任意であり、これらの例に限定されるものではない。
【００７９】
次に、情報端末の処理部からの指示（Ｓ３２）によって表示制御を開始すると（Ｓ３３）、ＨＭＤの情報取得部からＨＭＤの処理部へ方位および仰角などの頭部姿勢情報が送信される（Ｓ３４）。
【００８０】
そして、ＨＭＤの処理部は取得した頭部姿勢情報に基づいて、画面遷移判定処理を行う（Ｓ３５）。画面遷移判定処理の結果、表示する画像をスクロールすると判定された場合には、表示部は画像をスクロールして表示する（Ｓ３６）。
【００８１】
例えば図３（Ｃ）の中央の画像が図３（Ｂ）のように表示画像ＩＩＭとされている時に、図３（Ａ）のＤＲ１方向にユーザＵＳが首を動かした場合について説明する。
【００８２】
まず、この場合には、画像記憶領域ＩＢの中央の領域が表示領域として設定されており、表示領域の画像が表示部に表示される。この状態で、ＤＲ１方向にユーザＵＳが首を動かした場合には、後述する画面遷移条件を満たした時に、画像記憶領域ＩＢにおいて表示領域をＤＲ１方向に移動させる。その結果、画像記憶領域ＩＢの中央の画像が表示部に表示されていた状態から、ＤＲ１方向にスクロールして画像を表示することが可能となる。ユーザＵＳが首をＤＲ２方向やＤＲ３方向、ＤＲ４方向に動かした場合や、図４（Ａ）〜図４（Ｃ）と図５（Ａ）〜図５（Ｃ）の場合も同様である。
【００８３】
ここで、画面遷移判定処理の詳細について、図６に示すフローチャートを用いて説明する。
【００８４】
本実施形態において、ＨＭＤの情報取得部が取得するセンサ情報には、０°〜３６０°の値を示す方位ｄと、０°から２５５°の値を示す仰角ａが含まれる。なお、方位ｄは、０°及び３６０°が北の周期境界条件であり、仰角ａは、ａ＝０°の時に真下を示し、ａ＝１２７°の時に水平を示し、ａ＝２５５°の時に真上を示す。さらに、初期方位をｄｉ、初期仰角をａｉ、初期方位ｄｉと現在の方位ｄの差分と比較する閾値をΔｄ、初期仰角ａｉと現在の仰角ａの差分と比較する閾値をΔａとする。
【００８５】
まず、ＨＭＤの処理部は、今回の画面遷移判定処理が初回の処理又は後述する初期化割り込み時の処理であるか否かを判定する（Ｓ１）。
【００８６】
画面遷移判定処理が初回の処理又は後述する初期化割り込み時の処理であると判定した場合には、現在の方位ｄに初期方位ｄｉを、現在の仰角ａに初期仰角ａｉを代入する（Ｓ２）。
【００８７】
一方、画面遷移判定処理が初回の処理又は後述する初期化割り込み時の処理ではないと判定した場合には、表示レイアウトが正方形であるか否かを判定する（Ｓ３）。なお、正方形の表示レイアウトとは、図３（Ｃ）のように行と列の数が同じ表示レイアウトのことを指す。
【００８８】
表示レイアウトが正方形であると判定した場合において、（ａｉ−ａ）＞Δａであると判定した場合には（Ｓ４）、上方向へスクロールし（Ｓ５）、（ａｉ−ａ）＞Δａではなく、（ａｉ−ａ）＜−Δａであると判定した場合には（Ｓ６）、下方向へスクロールする（Ｓ７）。
【００８９】
さらに、（ａｉ−ａ）＜−Δａでもないと判定した場合に、（ｄｉ−ｄ）＞Δｄであると判断する場合には（Ｓ８）、右方向へスクロールし（Ｓ９）、（ｄｉ−ｄ）＜−Δｄであると判断する場合には（Ｓ１０）、左方向へスクロールする（Ｓ１１）。（ｄｉ−ｄ）＜−Δｄでもないと判定した場合には、画面遷移判定処理を終了する。
【００９０】
一方、表示レイアウトが正方形ではないと判定した場合には、表示レイアウトが垂直か否かを判定する（Ｓ１２）。なお、垂直な表示レイアウトとは、図５（Ｃ）のように複数の行と１列の表示レイアウトのことを指す。
【００９１】
表示レイアウトが垂直であると判定した場合において、（ａｉ−ａ）＞Δａであると判定した場合には（Ｓ１３）、上方向へスクロールし（Ｓ１４）、（ａｉ−ａ）＞Δａではなく、（ａｉ−ａ）＜−Δａであると判定した場合には（Ｓ１５）、下方向へスクロールする（Ｓ１６）。（ａｉ−ａ）＜−Δａでもないと判定した場合には、画面遷移判定処理を終了する。
【００９２】
そして、表示レイアウトが垂直ではないと判定した場合には、表示レイアウトは水平であると判定する。なお、水平な表示レイアウトとは、図４（Ｃ）のように１行と複数の列の表示レイアウトのことを指す。
【００９３】
表示レイアウトが水平であると判定した場合において、（ｄｉ−ｄ）＞Δｄであると判定した場合には（Ｓ１７）、右方向へスクロールし（Ｓ１８）、（ｄｉ−ｄ）＞Δｄではなく、（ｄｉ−ｄ）＞−Δｄであると判定した場合には（Ｓ１９）、左方向へスクロールする（Ｓ２０）。（ｄｉ−ｄ）＞−Δｄでもないと判定した場合には、画面遷移判定処理を終了する。
【００９４】
これにより、頭部の上下左右の動きに応じて、画像記憶領域上で表示領域をスクロールさせることが可能となる。
【００９５】
次に、ＨＭＤの処理部は、表示バッファの更新処理（再構成処理）を実施するか否かを判定し（Ｓ３７）、実施すると判定した場合には、情報端末に対して再構成用画像を要求する（Ｓ３８）。そして、再構成用画像要求を受信した情報端末の処理部は、記憶部から画像を読み込み（Ｓ３９）、読み込んだ再構成用画像をＨＭＤの処理部に送信する（Ｓ４０）。そして、表示バッファの画像データの更新処理を行い、更新後の表示バッファに表示領域を設定して、表示部に画像を表示する（Ｓ４１）。
【００９６】
この具体例を図７（Ａ）〜図７（Ｄ）を用いて説明する。前提として本実施形態では、情報端末の記憶部は、例えば図７（Ａ）に示すような画像データを保持しており、ＨＭＤの表示部と同じ解像度で区切られた領域に図７（Ａ）に示すようなＩＤが付与されている。情報端末の処理部は、ＩＤを指定すると、その画像データにアクセスできる。なお、情報端末の記憶部の容量による制限をなくすために、記憶部から読み出すのではなく画像をインターネット上から取得してもよい。また、画像の取得方法に関わらず、情報端末の処理部が画像を取得して、情報端末からＨＭＤへ画像を送信するまでの時間は、ＨＭＤの表示バッファの更新処理を行う最短時間よりも短い必要がある。
【００９７】
また、図７（Ｂ）〜図７（Ｄ）には、９つの領域を有するＨＭＤの表示バッファを示しており、それぞれの領域内の番号は情報端末の記憶部から読み込まれた画像のＩＤを示す。図７（Ｂ）〜図７（Ｄ）のＩＡＲは、ＨＭＤの表示部に実際に表示されている領域を示し、初期状態はＩＤ＝９７の画像を表示し、その時の表示領域の中心座標を原点（０、０）とする。なお、本例では、初期状態としてＩＤ＝９７を使用したが、これに限定されない。また、ＨＭＤの表示部の大きさ（横、縦）を（ｘｌ、ｙｌ）と表し、移動後の表示領域の中心座標を（ｘｃ、ｙｃ）と表すものとする。
【００９８】
この場合に、図７（Ｃ）のように表示領域が上方向へスクロールして移動して、その結果、表示領域の中心座標が閾値を超えた場合に、表示バッファの下段にある８８、９８、Ａ８の画像を破棄する。なお、ここでは、ｙｌ／２を閾値、Δを正の整数とし、ｙｃ＝ｙｌ／２＋Δになった場合を示している。
【００９９】
そして、破棄した画像の代わりに情報端末から図７（Ａ）の８５、９５、Ａ５の画像を読み込んで、図７（Ｄ）のような配置で表示バッファを更新（再構成）し、その後ＨＭＤの表示領域の中心座標を（０、ｙｃ）から（０、−（ｙｌ／２＋Δ））へ移動させる。
【０１００】
上の例は、上方向へスクロールした場合だが、下方向へスクロールする場合には−ｙｌ／２を、左方向へスクロールする場合には−ｘｌ／２を、右方向へスクロールする場合にはｘｌ／２を閾値として用いて、上方向と同様に表示バッファの更新処理を行うことができる。これにより、スクロール先の画像が途切れることなく、ＨＭＤの表示部に画像を表示し続けることが可能となる。なお、本実施形態では、閾値として表示部の解像度の１／２の値を使用したが、これに限定されない。
【０１０１】
また、情報端末の記憶部に記憶されている画像（図７（Ａ）の画像）の端部分の画像が、ＨＭＤの表示バッファに記憶されている場合において、例えば画像が地図であるような場合にはスクロールを停止してもよいし、画像の内容によっては周期境界条件を設けてもよい。
【０１０２】
ここで、例えば、表示部に表示された施設詳細情報を表す画像と手元の資料とを、ユーザが見比べたい場合など、ユーザが頭部を動かしつつも、特定の表示画像の表示を継続させたい場合がある。しかし、前述した手法を用いた場合には、ユーザの頭部姿勢に連動して、表示画像が切り替わってしまう。
【０１０３】
そこで、本実施形態では、操作部による割り込みによって、表示処理ループ（Ｓ３３〜Ｓ４１）及び情報取得部を一時停止および再開することができる（Ｓ４２）。例えば、図３（Ａ）〜図３（Ｃ）の状態で、表示処理ループを一時停止した場合には、図３（Ｃ）の画像記憶領域ＩＢの中央の画像がＨＭＤの表示部に表示されており、例えユーザがＤＲ４方向を向いたとしても表示部に表示される画像は変わらない（ＤＲ１〜ＤＲ３方向の場合も同様）。
【０１０４】
ここで、前述した画面遷移判定処理では、開始時の方位および仰角を保存し、次回以降の方位および仰角との差分が閾値を超えるか否かを判定することにより、スクロールをするか否かを判定しているため、ユーザが直立しておらず、頭部が地面に対して水平・垂直でない状態で表示処理ループが開始された場合には、頭の動きではスクロール不可能な領域ができてしまうという問題がある。
【０１０５】
そこで、本実施形態では、ＨＭＤの操作部から表示処理ループに対して割り込みを行い、その割り込み発生時点での方位と仰角を初期値として利用する（Ｓ４３）。
【０１０６】
最後に、ＨＭＤの処理部は、情報端末の処理部から表示制御終了の要求（Ｓ４４）が送出されるまで、表示処理ループを継続し、ＨＭＤの処理部が表示制御終了の要求を受信した場合には表示処理ループを終了する（Ｓ４５）。
【０１０７】
また、本実施形態の頭部装着型表示装置において、地図などの画像を表示する場合には、広域図や周辺地域の詳細図など、縮尺率の異なる地図を参照したい場合がある。
【０１０８】
そこで、本実施形態の頭部装着型表示装置は、図８に示すように、表示バッファの画像記憶領域ＩＢにおいて、中央の段（上から２段目）Ｌ２に基準となる縮尺率を持つ地図画像を記憶し、中央の段Ｌ２の上段（上から１段目）Ｌ１に拡大地図画像を記憶し、中央の段Ｌ２の下段（上から３段目）Ｌ３に、縮小地図画像を記憶する。なお、本例における拡大地図画像は、中央の段Ｌ２の画像の地図よりも表示範囲が狭い地図を表す他の画像であり、縮小地図画像は、中央の段Ｌ２の画像の地図よりも表示範囲が広い地図を表す他の画像であり、中央の段Ｌ２の画像をそのまま拡大又は縮小した画像ではない。ただし、これに限定されない。
【０１０９】
これにより、例えば画像記憶領域ＩＢの中央の領域ＡＲ５に表示領域ＩＡＲが設定されている状態で、ユーザが頭部を上方向（第１の方向ＤＲ１）に向けると、表示領域ＩＡＲを領域ＡＲ２に移動させて、現在参照している地図の拡大図を表示することができる。一方、ユーザが頭部を下方向（第２の方向ＤＲ２）に向けると、表示領域ＩＡＲを領域ＡＲ８に移動させて、現在参照している地図の縮小図を表示することができる。また、ユーザが右方向（第３の方向ＤＲ３）を向けば、表示領域ＩＡＲを領域ＡＲ６に移動させ、ユーザが左方向（第３の方向ＤＲ３）を向けば、表示領域ＩＡＲを領域ＡＲ４に移動させて、縮尺率をそのままに表示する地域をスクロールすることができる。
【０１１０】
３．２ 第２の実施形態
以下では、図９のシーケンス図を用いて、第２の実施形態の処理の詳細について説明する。
【０１１１】
初めに、情報端末の処理部は、記憶部から画像データを読み込んで（Ｓ５０）、表示領域遷移情報を指定して、画像データとともにＨＭＤへ送信する（Ｓ５１）。そして、処理部は、受信した表示領域遷移情報に基づいて、使用する遷移モードを特定する（Ｓ５２）。その後、送信された画像を表示バッファへ送信し、表示部が画像を表示する。
【０１１２】
ここで、遷移モードとは、処理部が行う一連の処理内容を決定付けるモードのことを言い、遷移モード毎に表示領域の移動方式（又は遷移方式）が異なる。また、表示領域遷移情報とは、使用する遷移モードを指定する情報のことをいう。
【０１１３】
具体的に遷移モードには、図１０（Ａ）に示したスクロール（スライド）移動モードや、図１０（Ｂ）に示した瞬間移動モード、図１０（Ｃ）に示したページめくりモードなどがある。なお、遷移モードはこれらに限定されない。
【０１１４】
まず、スクロール移動モードでは、表示領域を移動させると判断された場合には、表示バッファの画像記憶領域ＩＢに沿って表示領域ＩＡＲを図１０（Ａ）の矢印のようにスライドさせる。
【０１１５】
次に、瞬間移動モードでは、表示領域を移動させると判断された場合には、画像記憶領域ＩＢ内の領域ＩＡＲ１から領域ＩＡＲ２に、図１０（Ｂ）の矢印のように表示領域を一瞬で遷移させる。
【０１１６】
そして、図１０（Ｃ）には、図１０（Ａ）、図１０（Ｂ）とは異なり、ページめくりモードが遷移モードとして設定されている場合において、表示部に表示される画像を示している。ページめくりモードでは、表示画像ＩＩＭが、画像記憶領域内の表示領域ＩＡＲ１の画像である状態から、図１０（Ｃ）に示すように、画像の右下部分から次第に表示領域ＩＡＲ２の画像に変化していき、あたかも本のページをめくっているかのような画像ＩＩＭが表示部に表示される。
【０１１７】
その後、情報端末の処理部からの指示（Ｓ５３）によって表示制御を開始すると（Ｓ５４）、ＨＭＤの情報取得部からＨＭＤの処理部へ方位および仰角などの頭部姿勢情報が送信される（Ｓ５５）。
【０１１８】
そして、ＨＭＤの処理部は取得した頭部姿勢情報に基づいて、画面遷移判定処理を行う（Ｓ５６）。なお、画面遷移判定処理は、第１の実施形態で説明した手法と同様でもよい。そして、画面遷移を行うと判定された場合には、ステップＳ５２において特定した遷移モードで表示領域の遷移を行う（Ｓ５７）。
【０１１９】
最後に、ＨＭＤの処理部は、情報端末の処理部から表示制御終了の要求（Ｓ５８）が送出されるまで、表示処理ループを継続し、ＨＭＤの処理部が表示制御終了の要求を受信した場合には表示処理ループを終了する（Ｓ５９）。
【０１２０】
４．本実施形態の手法
以上の本実施形態では、画像データと画像の表示レイアウトデータとを情報端末２００から受信する通信部１１０と、表示レイアウトデータにより設定された画像記憶領域に画像データを記憶する表示バッファ１２０と、表示バッファ１２０の画像記憶領域に表示領域を設定する処理部１３０と、設定された表示領域の画像を表示画像として表示する表示部１４０と、を含む。そして、処理部１３０は、頭部装着型センサから取得される頭部姿勢情報に基づいて、画像記憶領域に表示領域を設定する。
【０１２１】
ここで、表示レイアウトデータとは、表示レイアウトを指し示すデータのことをいう。また、表示レイアウトとは、表示バッファの画像記憶領域に記憶される画像が表示部に表示される際の、各画像の位置関係を示す情報のことをいう。また、表示レイアウトは、画像記憶領域において、ＨＭＤの表示部と同じ解像度で区切られた各領域の順序情報であってもよい。例えば、表示レイアウトは、図３（Ｃ）に示す３行×３列の正方形（ただし、画像のサイズによっては長方形となる）や、図４（Ｃ）に示す１行×９列の横長の長方形、図５（Ｃ）に示す９行×１列の縦長の長方形などがある。ただし、これらに限定されない。
【０１２２】
また、表示領域とは、画像記憶領域において、表示部に表示する画像を記憶する領域として特定される領域のことをいう。表示領域は、画像記憶領域のアドレスにより特定される。
【０１２３】
さらに、頭部姿勢情報とは、ユーザの頭部姿勢を表す情報である。例えば、頭部姿勢情報は、ユーザの頭部に設けられたセンサにより取得される仰角や方位などの値のことである。
【０１２４】
これにより、情報端末２００から受信した表示レイアウトデータが示す表示レイアウトで、画像データを表示バッファ１２０に記憶することができ、頭部装着型表示装置１００の表示部１４０に画像を表示することが可能となる。
【０１２５】
また、情報端末２００から受信する表示レイアウトデータによって、表示バッファ１２０の表示レイアウトを変更することが可能となる。
【０１２６】
そして、頭部装着型表示装置１００が、ユーザの頭部姿勢情報に応じて表示バッファ１２０の画像記憶領域に表示領域を設定することが可能となる。
【０１２７】
さらに、頭部姿勢情報を一度情報端末２００に送信し、通知された頭部姿勢情報に基づいて、表示部１４０に表示する画像を情報端末２００が特定する手法に比べて、頭部装着型表示装置１００と情報端末２００間での通信機会を減らすことが可能となり、応答速度の向上を図ることが可能となる。すなわち、情報端末２００と通信をせずに、頭部装着型表示装置１００内部で表示制御を行うため、スクロールのリアルタイム性が向上する。
【０１２８】
また、処理部１３０は、頭部姿勢情報により表される頭部姿勢が第１の頭部姿勢である場合には、表示領域として第１の表示領域を設定し、頭部姿勢が第２の頭部姿勢である場合には、表示領域として第２の表示領域を設定してもよい。そして、表示部１４０は、第１の表示領域が設定された場合には、第１の表示領域の画像を表示画像として表示し、第２の表示領域が設定された場合には、第２の表示領域の画像を表示画像として表示してもよい。
【０１２９】
ここで、第１の表示領域と第２の表示領域は、画像記憶領域内の領域のうち、互いに異なる領域のことをいう。本例では、第１の表示領域と第２の表示領域は、表示レイアウト上で隣接していることが望ましいが、これに限定されない。例えば、図１０（Ｂ）では、画像記憶領域ＩＢのうち、領域ＩＡＲ１が第１の表示領域であり、領域ＩＡＲ２が第２の表示領域である。
【０１３０】
また、第１の頭部姿勢は、第２の頭部姿勢と異なる頭部姿勢のこという。例えば、図３（Ａ）では、ユーザＵＳが正面を向いている状態が第１の頭部姿勢であり、ユーザＵＳがＤＲ１方向を向いている状態が第２の頭部姿勢である。
【０１３１】
これにより、頭部姿勢情報に応じて、画像記憶領域上の異なる領域に表示領域を設定すること等が可能になる。すなわち、ユーザの頭部の上下左右の動きに応じて、画像記憶領域上で表示領域をスクロールさせること等が可能となる。
【０１３２】
また、処理部１３０は、取得された頭部姿勢情報に基づいて姿勢変化量を求め、姿勢変化量が所定の閾値以上であると判断する場合に、表示領域を第１の表示領域から第２の表示領域に移動させてもよい。
【０１３３】
ここで、姿勢変化量とは、基準頭部姿勢と現在の頭部姿勢との差である。基準頭部姿勢は、初期姿勢のことであってもよい。例えば、図６の初期方位ｄ及び初期仰角ａのこという。
【０１３４】
これにより、姿勢変化量と所定の閾値を比較することによって、表示領域を移動させるか否かを判定すること等が可能となる。
【０１３５】
ところで、頭部装着型表示装置１００の表示部１４０は、画像が高い解像度を有する場合には画角が小さい場合しか、その画像を表示することができない。
【０１３６】
そこで、処理部１３０は、画像記憶領域に第２の表示領域を設定できないと判断した場合に、情報端末２００に対して画像データの送信要求を行ってもよい。すなわち、処理部１３０は、画像記憶領域に記憶されている画像データの中に、第２の頭部姿勢に対応する画像データがないと判断する場合に、情報端末２００に対して画像データの送信要求を行ってもよい。
【０１３７】
これにより、表示バッファ１２０の画像記憶領域における表示領域の位置によって、表示バッファ１２０に記憶された画像データを更新することを判定すること等が可能となり、後述する表示バッファの更新処理を行うこと等が可能となる。
【０１３８】
また、通信部１１０は、送信要求に対応して前記情報端末が送信した画像データを情報端末２００から受信してもよい。そして、処理部１３０は、受信した画像データに基づいて、表示バッファ１２０に記憶される画像データの更新処理を行ってもよい。
【０１３９】
ここで、画像データの更新処理とは、表示バッファ１２０の画像記憶領域に記憶されている画像データの一部又は全部のデータを破棄し、情報端末２００から新たに受信した画像データを画像記憶領域に記憶させる処理のこと等をいう。例えば、図７（Ｂ）〜図７（Ｄ）を用いて説明した処理が該当する。
【０１４０】
これにより、一度に表示バッファに記憶できない高解像度の画像の一部を、表示バッファ１２０に記憶すること等が可能となる。さらに、画像データの更新処理を繰り返すことによって、表示領域を複数回スクロールさせること等も可能になる。その結果、頭部装着型表示装置１００の表示部１４０でも、画角が大きく、高解像度である画像（一部）を表示すること等が可能になる。
【０１４１】
また、表示バッファ１２０は、受信された表示レイアウトデータに基づいて、正方形又は長方形の画像記憶領域を設定し、設定した画像記憶領域に画像データを記憶してもよい。
【０１４２】
ここで、正方形の表示レイアウトとは、図３（Ｃ）のように行と列の数が同じ表示レイアウトのことを指す。一方、長方形の表示レイアウトとは、図４（Ｃ）や図５（Ｃ）のように行と列の数が異なる表示レイアウトのことを指す。
【０１４３】
これにより、頭部装着型表示装置１００の表示部１４０に表示させる画像の内容に応じて、情報端末２００が表示レイアウトを変更することが可能となる。例えば、マップ画像を表示させる場合には正方形の表示レイアウトを示す表示レイアウトデータを選択したり、タワーなどの縦長の被写体の画像を表示させたりする場合には、縦長の長方形の表示レイアウトデータを選択すること等が可能となる。
【０１４４】
また、通信部１１０は、表示領域の遷移モードを指定する表示領域遷移情報を、情報端末２００から受信してもよい。そして、処理部１３０は、受信された表示領域遷移情報に基づいて、使用する遷移モードを特定し、特定された遷移モードで表示領域を遷移させてもよい。
【０１４５】
ここで、遷移モードとは、処理部が行う一連の処理内容を決定付けるモードのことを言い、遷移モード毎に表示領域の移動方式（又は遷移方式）が異なる。具体的には、図１０（Ａ）に示したスクロール（スライド）移動モードや、図１０（Ｂ）に示した瞬間移動モードや、図１０（Ｃ）に示したページめくりモードなどがある。なお、遷移モードはこれらに限定されない。
【０１４６】
また、表示領域遷移情報とは、使用する遷移モードを指定する情報のことをいう。
【０１４７】
これにより、表示領域遷移情報により指定される遷移モードで、表示領域を遷移させること等が可能になる。
【０１４８】
また、表示バッファ１２０は、第１の画像データを第１の領域に記憶し、第１の画像データとは画像の縮尺率が異なる第２の画像データを、第１の領域の第１の方向側にある第２の領域に記憶してもよい。そして、処理部１３０は、第１の領域から第１の方向側に表示領域を移動させて、第２の領域を表示領域に設定してもよい。
【０１４９】
ここで、第１の画像データと第２の画像データは、互いに画像の縮尺率が異なる画像データのことをいう。例えば、第１の画像データは、図８の画像記憶領域ＩＢの中央の領域ＡＲ５（第１の領域）に記憶される画像データのことを指し、その場合には第２の画像データは、図８の上段Ｌ１の一領域ＡＲ２（第２の領域）に記憶される画像データのことを指す。
【０１５０】
そして、第１の領域とは、画像記憶領域のうち、第１の画像データを記憶する領域のことをいい、第２の領域は、画像記憶領域のうち、第２の画像データを記憶する領域のことをいう。また、第１の領域は第２の領域とは異なる。
【０１５１】
さらに、例えば図８において、第１の方向は上方向のＤＲ１である。これに限定されない。
【０１５２】
これにより、ユーザが頭部姿勢を変化させることによって、表示部に縮尺率の異なる画像を表示すること等が可能になる。例えば、図８のような場合に、画像記憶領域ＩＢの中央の領域ＡＲ５に表示領域ＩＡＲが設定されている状態で、ユーザが頭部を上方向（第１の方向ＤＲ１）に向けた時に、表示領域ＩＡＲを領域ＡＲ２に移動させて、現在参照している地図の拡大図を表示すること等が可能となる。一方、ユーザが頭部を下方向（第２の方向ＤＲ２）に向けた時に、表示領域ＩＡＲを領域ＡＲ８に移動させて、現在参照している地図の縮小図を表示すること等が可能となる。
【０１５３】
また、表示バッファ１２０は、第１の画像データと画像の縮尺率が等しい第３の画像データを、第１の領域の第２の方向側にある第３の領域に更に記憶してもよい。そして、処理部１３０は、第１の領域から第２の方向側に表示領域を移動させて、第３の領域を表示領域に設定してもよい。
【０１５４】
ここで、第３の画像データとは、第１の画像データと画像の縮尺率が等しい画像データのことをいう。また、第３の領域とは、画像記憶領域のうち、第３の画像データを記憶する領域のことをいう。具体的に図８では、第１の画像データが画像記憶領域ＩＢの中央の領域ＡＲ５に記憶されている場合には、第１の画像データと同じ中央段Ｌ２の他の領域（ＡＲ４又はＡＲ６）に記憶される画像データが、第３の画像データとなる。
【０１５５】
さらに、第２の方向は、例えば図８では、右方向ＤＲ３又は左方向ＤＲ４である。本例では、第２の方向（ＤＲ３又はＤＲ４）は、第１の方向ＤＲ１と直交する。ただし、これに限定されない。例えば、第２の画像データを、第１の領域の左右の領域に記憶し、第３の画像データを第１の領域の上下の領域に記憶してもよい。
【０１５６】
これにより、ユーザが頭部姿勢を変化させることによって、表示部に縮尺率が等しい他の画像を表示すること等が可能になる。例えば、図８のような場合に、ユーザが右方向（第３の方向ＤＲ３）を向けば、表示領域ＩＡＲを領域ＡＲ６に移動させ、ユーザが左方向（第３の方向ＤＲ３）を向けば、表示領域ＩＡＲを領域ＡＲ４に移動させて、縮尺率をそのままに表示する地域をスクロールすること等が可能となる。
【０１５７】
また、処理部１３０は、ユーザ入力情報により表示領域の設定処理の停止が指示された場合には、頭部姿勢情報により表される頭部姿勢の変化が表示領域を移動させる変化であった場合でも、表示領域の移動を停止してもよい。
【０１５８】
ここで、ユーザ入力情報とは、ユーザにより操作部１６０を介して入力される情報のことをいう。
【０１５９】
これにより、現在の頭部姿勢に関わらず、特定の表示画像を継続して表示させたいとユーザが考えている場合に、操作部１６０を介して、表示領域の設定処理の停止を処理部１３０にユーザが指示すれば、ユーザの頭部姿勢が変わった場合でも、表示画像が切り替わらないようにすること等が可能となる。
【０１６０】
また、通信部１１０は、表示バッファ１２０により画像データが記憶された後に、情報端末２００との通信の停止処理を行ってもよい。
【０１６１】
これにより、いったん頭部装着型表示装置で表示制御が開始すれば、情報端末２００と頭部装着型表示装置の接続を切断すること等が可能となり、ユーザは頭部の動きで表示を制御することができるため、画像処理システム全体の消費電力を抑制すること等が可能になる。
【０１６２】
また、処理部１３０は、基準頭部姿勢の更新指示情報がユーザにより入力された場合には、更新指示情報が入力された際における頭部姿勢を基準頭部姿勢として設定してもよい。
【０１６３】
ここで、更新指示情報とは、基準頭部姿勢の更新を指示する情報のことをいう。
【０１６４】
これにより、例えば、ユーザが直立しておらず、頭部が地面に対して水平・垂直でない状態で表示領域の設定処理が開始された場合にも、更新指示情報が入力された際における頭部姿勢を基準頭部姿勢として設定して、頭の動きでスクロール不可能な領域を無くすこと等が可能になる。
【０１６５】
なお、本実施形態の頭部装着型表示装置等は、プログラムにより実現してもよい。この場合には、ＣＰＵ等のプロセッサがプログラムを実行することで、本実施形態の頭部装着型表示装置等が実現される。具体的には、情報記憶媒体に記憶されたプログラムが読み出され、読み出されたプログラムをＣＰＵ等のプロセッサが実行する。ここで、情報記憶媒体（コンピュータにより読み取り可能な媒体）は、プログラムやデータなどを格納するものであり、その機能は、光ディスク（ＤＶＤ、ＣＤ等）、ＨＤＤ（ハードディスクドライブ）、或いはメモリ（カード型メモリ、ＲＯＭ等）などにより実現できる。そして、ＣＰＵ等のプロセッサは、情報記憶媒体に格納されるプログラム（データ）に基づいて本実施形態の種々の処理を行う。即ち、情報記憶媒体には、本実施形態の各部としてコンピュータ（操作部、処理部、記憶部、出力部を備える装置）を機能させるためのプログラム（各部の処理をコンピュータに実行させるためのプログラム）が記憶される。
【０１６６】
以上のように本実施形態について詳細に説明したが、本発明の新規事項および効果から実体的に逸脱しない多くの変形が可能であることは当業者には容易に理解できるであろう。従って、このような変形例はすべて本発明の範囲に含まれるものとする。例えば、明細書又は図面において、少なくとも一度、より広義または同義な異なる用語と共に記載された用語は、明細書又は図面のいかなる箇所においても、その異なる用語に置き換えることができる。また頭部装着型表示装置、プログラム及び画像処理システムの構成、動作も本実施形態で説明したものに限定されず、種々の変形実施が可能である。
【符号の説明】
【０１６７】
１００ 頭部装着型表示装置、１１０ 通信部、１２０ 表示バッファ、
１３０ 処理部、１４０ 表示部、１５０ 情報取得部、１６０ 操作部、
２００ 情報端末、２１０ 通信部、２２０ 記憶部、２３０ 処理部、
５５０ ＧＰＳセンサ、５５１ 加速度センサ、５６０ 方位センサ
【特許請求の範囲】
【請求項１】
画像データと画像の表示レイアウトデータとを情報端末から受信する通信部と、
前記表示レイアウトデータにより設定された画像記憶領域に前記画像データを記憶する表示バッファと、
前記表示バッファの前記画像記憶領域に表示領域を設定する処理部と、
設定された前記表示領域の画像を表示画像として表示する表示部と、
を含み、
前記処理部は、
頭部装着型センサから取得される頭部姿勢情報に基づいて、前記画像記憶領域に前記表示領域を設定することを特徴とする頭部装着型表示装置。
【請求項２】
請求項１において、
前記処理部は、
前記頭部姿勢情報により表される頭部姿勢が第１の頭部姿勢である場合には、前記表示領域として第１の表示領域を設定し、
前記頭部姿勢が第２の頭部姿勢である場合には、前記表示領域として第２の表示領域を設定し、
前記表示部は、
前記第１の表示領域が設定された場合には、前記第１の表示領域の画像を前記表示画像として表示し、
前記第２の表示領域が設定された場合には、前記第２の表示領域の画像を前記表示画像として表示することを特徴とする頭部装着型表示装置。
【請求項３】
請求項２において、
前記処理部は、
取得された前記頭部姿勢情報に基づいて姿勢変化量を求め、前記姿勢変化量が所定の閾値以上であると判断する場合に、前記表示領域を前記第１の表示領域から前記第２の表示領域に移動させることを特徴とする頭部装着型表示装置。
【請求項４】
請求項２又は３において、
前記処理部は、
前記画像記憶領域に前記第２の表示領域を設定できないと判断した場合に、前記情報端末に対して画像データの送信要求を行うことを特徴とする頭部装着型表示装置。
【請求項５】
請求項４において、
前記通信部は、
前記送信要求に対応して前記情報端末が送信した前記画像データを前記情報端末から受信し、
前記処理部は、
受信した前記画像データに基づいて、前記表示バッファに記憶される前記画像データの更新処理を行うことを特徴とする頭部装着型表示装置。
【請求項６】
請求項１乃至５のいずれかにおいて、
前記表示バッファは、
受信された前記表示レイアウトデータに基づいて、正方形又は長方形の前記画像記憶領域を設定し、設定した前記画像記憶領域に前記画像データを記憶することを特徴とする頭部装着型表示装置。
【請求項７】
請求項１乃至６のいずれかにおいて、
前記通信部は、
前記表示領域の遷移モードを指定する表示領域遷移情報を、前記情報端末から受信し、
前記処理部は、
受信された前記表示領域遷移情報に基づいて、使用する前記遷移モードを特定し、特定された前記遷移モードで前記表示領域を遷移させることを特徴とする頭部装着型表示装置。
【請求項８】
請求項１乃至７のいずれかにおいて、
前記表示バッファは、
第１の画像データを第１の領域に記憶し、前記第１の画像データとは画像の縮尺率が異なる第２の画像データを、前記第１の領域の第１の方向側にある第２の領域に記憶し、
前記処理部は、
前記第１の領域から前記第１の方向側に前記表示領域を移動させて、前記第２の領域を前記表示領域に設定することを特徴とする頭部装着型表示装置。
【請求項９】
請求項８において、
前記表示バッファは、
前記第１の画像データと画像の縮尺率が等しい第３の画像データを、前記第１の領域の第２の方向側にある第３の領域に更に記憶し、
前記処理部は、
前記第１の領域から前記第２の方向側に前記表示領域を移動させて、前記第３の領域を前記表示領域に設定することを特徴とする頭部装着型表示装置。
【請求項１０】
請求項１乃至９のいずれかにおいて、
前記処理部は、
ユーザ入力情報により前記表示領域の設定処理の停止が指示された場合には、前記頭部姿勢情報により表される頭部姿勢の変化が前記表示領域を移動させる変化であった場合でも、前記表示領域の移動を停止することを特徴とする頭部装着型表示装置。
【請求項１１】
請求項１乃至１０のいずれかにおいて、
前記通信部は、
前記表示バッファにより前記画像データが記憶された後に、前記情報端末との通信の停止処理を行うことを特徴とする頭部装着型表示装置。
【請求項１２】
請求項１乃至１１のいずれかにおいて、
前記処理部は、
基準頭部姿勢の更新指示情報がユーザにより入力された場合には、前記更新指示情報が入力された際における前記頭部姿勢を前記基準頭部姿勢として設定することを特徴とする頭部装着型表示装置。
【請求項１３】
画像データと画像の表示レイアウトデータとを情報端末から受信する通信部と、
前記表示レイアウトデータにより設定された画像記憶領域に前記画像データを記憶する表示バッファと、
前記表示バッファの前記画像記憶領域に表示領域を設定する処理部と、
設定された前記表示領域の画像を表示画像として表示する表示部として、
コンピュータを機能させ、
前記処理部は、
頭部装着型センサから取得される頭部姿勢情報に基づいて、前記画像記憶領域に前記表示領域を設定することを特徴とするプログラム。
【請求項１４】
情報端末と、
頭部装着型表示装置と、
を含み、
前記情報端末は、
画像データと画像の表示レイアウトデータとを前記頭部装着型表示装置に送信し、
前記頭部装着型表示装置は、
前記画像データと前記画像の前記表示レイアウトデータとを前記情報端末から受信し、
前記表示レイアウトデータにより設定された画像記憶領域に前記画像データを記憶し、
頭部装着型センサから取得される頭部姿勢情報に基づいて、前記表示バッファの前記画像記憶領域に表示領域を設定し、
設定された前記表示領域の画像を表示画像として表示することを特徴とする画像処理システム。
【請求項１】
画像データと画像の表示レイアウトデータとを情報端末から受信する通信部と、
前記表示レイアウトデータにより設定された画像記憶領域に前記画像データを記憶する表示バッファと、
前記表示バッファの前記画像記憶領域に表示領域を設定する処理部と、
設定された前記表示領域の画像を表示画像として表示する表示部と、
を含み、
前記処理部は、
頭部装着型センサから取得される頭部姿勢情報に基づいて、前記画像記憶領域に前記表示領域を設定することを特徴とする頭部装着型表示装置。
【請求項２】
請求項１において、
前記処理部は、
前記頭部姿勢情報により表される頭部姿勢が第１の頭部姿勢である場合には、前記表示領域として第１の表示領域を設定し、
前記頭部姿勢が第２の頭部姿勢である場合には、前記表示領域として第２の表示領域を設定し、
前記表示部は、
前記第１の表示領域が設定された場合には、前記第１の表示領域の画像を前記表示画像として表示し、
前記第２の表示領域が設定された場合には、前記第２の表示領域の画像を前記表示画像として表示することを特徴とする頭部装着型表示装置。
【請求項３】
請求項２において、
前記処理部は、
取得された前記頭部姿勢情報に基づいて姿勢変化量を求め、前記姿勢変化量が所定の閾値以上であると判断する場合に、前記表示領域を前記第１の表示領域から前記第２の表示領域に移動させることを特徴とする頭部装着型表示装置。
【請求項４】
請求項２又は３において、
前記処理部は、
前記画像記憶領域に前記第２の表示領域を設定できないと判断した場合に、前記情報端末に対して画像データの送信要求を行うことを特徴とする頭部装着型表示装置。
【請求項５】
請求項４において、
前記通信部は、
前記送信要求に対応して前記情報端末が送信した前記画像データを前記情報端末から受信し、
前記処理部は、
受信した前記画像データに基づいて、前記表示バッファに記憶される前記画像データの更新処理を行うことを特徴とする頭部装着型表示装置。
【請求項６】
請求項１乃至５のいずれかにおいて、
前記表示バッファは、
受信された前記表示レイアウトデータに基づいて、正方形又は長方形の前記画像記憶領域を設定し、設定した前記画像記憶領域に前記画像データを記憶することを特徴とする頭部装着型表示装置。
【請求項７】
請求項１乃至６のいずれかにおいて、
前記通信部は、
前記表示領域の遷移モードを指定する表示領域遷移情報を、前記情報端末から受信し、
前記処理部は、
受信された前記表示領域遷移情報に基づいて、使用する前記遷移モードを特定し、特定された前記遷移モードで前記表示領域を遷移させることを特徴とする頭部装着型表示装置。
【請求項８】
請求項１乃至７のいずれかにおいて、
前記表示バッファは、
第１の画像データを第１の領域に記憶し、前記第１の画像データとは画像の縮尺率が異なる第２の画像データを、前記第１の領域の第１の方向側にある第２の領域に記憶し、
前記処理部は、
前記第１の領域から前記第１の方向側に前記表示領域を移動させて、前記第２の領域を前記表示領域に設定することを特徴とする頭部装着型表示装置。
【請求項９】
請求項８において、
前記表示バッファは、
前記第１の画像データと画像の縮尺率が等しい第３の画像データを、前記第１の領域の第２の方向側にある第３の領域に更に記憶し、
前記処理部は、
前記第１の領域から前記第２の方向側に前記表示領域を移動させて、前記第３の領域を前記表示領域に設定することを特徴とする頭部装着型表示装置。
【請求項１０】
請求項１乃至９のいずれかにおいて、
前記処理部は、
ユーザ入力情報により前記表示領域の設定処理の停止が指示された場合には、前記頭部姿勢情報により表される頭部姿勢の変化が前記表示領域を移動させる変化であった場合でも、前記表示領域の移動を停止することを特徴とする頭部装着型表示装置。
【請求項１１】
請求項１乃至１０のいずれかにおいて、
前記通信部は、
前記表示バッファにより前記画像データが記憶された後に、前記情報端末との通信の停止処理を行うことを特徴とする頭部装着型表示装置。
【請求項１２】
請求項１乃至１１のいずれかにおいて、
前記処理部は、
基準頭部姿勢の更新指示情報がユーザにより入力された場合には、前記更新指示情報が入力された際における前記頭部姿勢を前記基準頭部姿勢として設定することを特徴とする頭部装着型表示装置。
【請求項１３】
画像データと画像の表示レイアウトデータとを情報端末から受信する通信部と、
前記表示レイアウトデータにより設定された画像記憶領域に前記画像データを記憶する表示バッファと、
前記表示バッファの前記画像記憶領域に表示領域を設定する処理部と、
設定された前記表示領域の画像を表示画像として表示する表示部として、
コンピュータを機能させ、
前記処理部は、
頭部装着型センサから取得される頭部姿勢情報に基づいて、前記画像記憶領域に前記表示領域を設定することを特徴とするプログラム。
【請求項１４】
情報端末と、
頭部装着型表示装置と、
を含み、
前記情報端末は、
画像データと画像の表示レイアウトデータとを前記頭部装着型表示装置に送信し、
前記頭部装着型表示装置は、
前記画像データと前記画像の前記表示レイアウトデータとを前記情報端末から受信し、
前記表示レイアウトデータにより設定された画像記憶領域に前記画像データを記憶し、
頭部装着型センサから取得される頭部姿勢情報に基づいて、前記表示バッファの前記画像記憶領域に表示領域を設定し、
設定された前記表示領域の画像を表示画像として表示することを特徴とする画像処理システム。
【図１】
【図２】
【図３】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図４】
【図５】
【図２】
【図３】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図４】
【図５】
【公開番号】特開２０１３−９３７０５（Ｐ２０１３−９３７０５Ａ）
【公開日】平成２５年５月１６日（２０１３．５．１６）
【国際特許分類】
【出願番号】特願２０１１−２３３９１４（Ｐ２０１１−２３３９１４）
【出願日】平成２３年１０月２５日（２０１１．１０．２５）
【出願人】（００００００３７６）オリンパス株式会社 (11,466)
【Ｆターム（参考）】
【公開日】平成２５年５月１６日（２０１３．５．１６）
【国際特許分類】
【出願日】平成２３年１０月２５日（２０１１．１０．２５）
【出願人】（００００００３７６）オリンパス株式会社 (11,466)
【Ｆターム（参考）】
[ Back to top ]