情報処理装置および情報処理方法
【課題】多様な情報処理を容易な操作で実現する。
【解決手段】階層データ４００は、階層データ４０２、４０４、４０６とリンクが設定されており、階層データ４０４は階層データ４０７とリンクが設定されている。まずホームポジションの画像４１０の情報をメインメモリ６０のパンくずリスト４０８に格納する。視点が矢印Ａ、矢印Ｂと移動後、表示画像が階層データ４０４のものに切り替わったら、階層データ４０４の画像４１２の情報をパンくずリスト４０８に追記する。視点が矢印Ｃ、矢印Ｄと移動後、階層データ４０７の領域に入ったら、階層データ４０７の画像４１４の情報をパンくずリスト４０８に追記する。そしてユーザが表示を戻す入力を行う都度、パンくずリスト４０８からＬＩＦＯの方式で最近の画像情報を読み出し、画像の解像度を戻していく（矢印Ｅ、Ｇ、Ｉ）。
【解決手段】階層データ４００は、階層データ４０２、４０４、４０６とリンクが設定されており、階層データ４０４は階層データ４０７とリンクが設定されている。まずホームポジションの画像４１０の情報をメインメモリ６０のパンくずリスト４０８に格納する。視点が矢印Ａ、矢印Ｂと移動後、表示画像が階層データ４０４のものに切り替わったら、階層データ４０４の画像４１２の情報をパンくずリスト４０８に追記する。視点が矢印Ｃ、矢印Ｄと移動後、階層データ４０７の領域に入ったら、階層データ４０７の画像４１４の情報をパンくずリスト４０８に追記する。そしてユーザが表示を戻す入力を行う都度、パンくずリスト４０８からＬＩＦＯの方式で最近の画像情報を読み出し、画像の解像度を戻していく（矢印Ｅ、Ｇ、Ｉ）。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、表示画像に応じたユーザの入力指示に従い情報処理を行う情報処理技術に関する。
【背景技術】
【０００２】
ゲームプログラムを実行するだけでなく、動画を再生できる家庭用エンタテインメントシステムが提案されている。この家庭用エンタテインメントシステムでは、ＧＰＵがポリゴンを用いた三次元画像を生成する（例えば特許文献１参照）。
【０００３】
一方、高精細な写真などのディジタル画像から生成された複数の解像度のタイル画像を用いて、表示画像の拡大／縮小処理や、上下左右方向の移動処理を行う技術が提案されている。この画像処理技術では、原画像サイズを複数段階に縮小して異なる解像度の画像を生成し、各階層の画像を一又は複数のタイル画像に分割して、原画像を階層構造で表現する。通常、最も解像度の低い画像は１つのタイル画像で構成され、最も解像度の高い原画像は、最も多い数のタイル画像で構成される。画像処理装置は、表示画像の拡大処理または縮小処理時に、使用しているタイル画像を、異なる階層のタイル画像に切り替えることで、拡大表示または縮小表示を迅速に行うようにしている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】米国特許第６５６３９９９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
近年は携帯端末などでも表示画面のサイズが拡大し、情報処理装置の種類によらず高精細画像を表示することが可能となってきている。そのため視覚に訴える様々なコンテンツがより身近なものとなった。しかし表示すべき情報が複雑化、高度化すると、それを使いこなすためには様々な知識が必要となってくる。このため、情報の質と操作の容易性とはトレードオフの関係にある場合が多い。また画像を含む複雑なコンテンツを作成するためにはさらに専門的な知識が必要となってくる。
【０００６】
本発明はこのような課題に鑑みてなされたものであり、その目的は、容易な操作で多様な処理を実現することのできる技術を提供することにある。
【課題を解決するための手段】
【０００７】
本発明のある態様は情報処理装置に関する。この情報処理装置は、異なる解像度の画像データを解像度順に階層化して構成される階層データを保持する記憶装置と、画像平面および画像平面からの距離によって定義される仮想空間における視点の移動要求をユーザが操作する入力装置を介して受け付ける入力情報取得部と、視点の移動要求に応じて表示する領域を変化させて階層データから表示画像を生成するとともに、ユーザが入力装置に対して特定の操作を行ったとき、表示中の画像より低い解像度を有する一の基準表示画像を階層データから生成する表示画像処理部と、を備え、基準表示画像は、画像平面からの距離が異なる複数の視点に対応する複数の領域の画像であり、前記一の基準表示画像は、表示中の画像によって基準表示画像から選択されることを特徴とする。
【０００８】
本発明の別の態様は情報処理方法に関する。この情報処理方法は、異なる解像度の画像データを解像度順に階層化して構成される階層データをメモリより読み出し表示装置に出力するステップと、画像平面および画像平面からの距離によって定義される仮想空間における視点の移動要求をユーザが操作する入力装置を介して受け付けるステップと、視点の移動要求に応じて表示装置に表示する領域を変化させるステップと、ユーザが入力装置に対して特定の操作を行ったとき、表示中の画像より低い解像度を有する一の基準表示画像を階層データから生成するステップと、基準表示画像は、画像平面からの距離が異なる複数の視点に対応する複数の領域の画像であり、前記一の基準表示画像は、表示中の画像によって前記基準表示画像から選択されることを特徴とする。
【０００９】
本発明の別の態様はコンテンツのデータ構造に関する。このコンテンツのデータ構造は、異なる解像度の画像データを解像度順に階層化して構成される階層データと、階層データに含まれる画像データであって、階層データから生成した画像を表示中に、ユーザが入力装置に対して特定の操作を行ったときに、当該表示中の画像の領域に応じて、その後の表示対象として選択される、解像度の異なる複数の基準表示画像の情報と、を対応づけたことを特徴とする。
【００１０】
なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システム、コンピュータプログラム、コンピュータプログラムを記録した記録媒体などの間で変換したものもまた、本発明の態様として有効である。
【発明の効果】
【００１１】
本発明によると、容易に表示画像を操作することができる。
【図面の簡単な説明】
【００１２】
【図１】本発明の実施の形態にかかる画像処理システムの使用環境を示す図である。
【図２】図１の画像処理システムに適用できる入力装置の外観構成を示す図である。
【図３】本実施の形態において使用する画像データの階層構造例を示す図である。
【図４】本実施の形態における情報処理装置の構成を示す図である。
【図５】本実施の形態における画像データの流れを模式的に示す図である。
【図６】本実施の形態において表示対象となる複数の階層データの関係を模式的に示す図である。
【図７】本実施の形態における制御部の構成を詳細に示す図である。
【図８】本実施の形態におけるターゲット矩形および境界矩形の定義例を示す図である。
【図９】本実施の形態における境界矩形の倍率の定義例を示す図である。
【図１０】本実施の形態における、画面が境界矩形からはみ出す割合を表すパラメータ「ｏｖｅｒｓｈｏｏｔ」の定義を説明する図である。
【図１１】本実施の形態における、境界矩形が画面からはみ出す割合を表すパラメータ「ｉｎｖｉｓｉｂｉｌｉｔｙ」の定義を説明する図である。
【図１２】本実施の形態において設定ファイルのＸＭＬでの記述例を示す図である。
【図１３】本実施の形態におけるターゲット矩形、境界矩形、およびリンク境界の関係を示す図である。
【図１４】本実施の形態においてパラメータ「ｍａｘ＿ｏｖｅｒｓｈｏｏｔ」を変化させたときのリンク境界の変化を説明するための図である。
【図１５】本実施の形態においてパラメータ「ｍａｘ＿ｉｎｖｉｓｉｂｉｌｉｔｙ」を変化させたときのリンク境界の変化を説明するための図である。
【図１６】本実施の形態において情報処理装置によって表示装置に表示される画像の例を示す図である。
【図１７】本実施の形態において埋め込みオブジェクトとして動画再生の処理を実施する処理手順を示すフローチャートである。
【図１８】本実施の形態において埋め込みオブジェクトとしてストアリンクを動作させる際に表示する画像の例を示す図である。
【図１９】本実施の形態において、埋め込みオブジェクトとして選択受付表示を行った場合の情報処理装置の処理手順を示すフローチャートである。
【図２０】本実施の形態において、視点を任意に移動させたときに表示領域を戻す態様を説明するための図である。
【発明を実施するための形態】
【００１３】
図１は、本発明の実施の形態にかかる情報処理システム１の使用環境を示す。情報処理システム１は、画像処理、動画再生、音声再生、通信などの機能の少なくともいずれかを含むコンテンツを処理する情報処理装置１０と、情報処理装置１０による処理結果を出力する表示装置１２とを備える。表示装置１２は、画像を出力するディスプレイおよび音声を出力するスピーカを有するテレビであってよい。表示装置１２は、情報処理装置１０に有線ケーブルで接続されてよく、また無線ＬＡＮ（Local Area Network）などにより無線接続されてもよい。
【００１４】
情報処理システム１において、情報処理装置１０は、ケーブル１４を介してインターネットなどの外部ネットワークに接続し、階層化された圧縮画像のデータを含むコンテンツのソフトウェアなどをダウンロードして取得してもよい。なお情報処理装置１０は、無線通信により外部ネットワークに接続してもよい。
【００１５】
なお情報処理装置１０は、ゲーム装置やパーソナルコンピュータなどであってもよく、ソフトウェアを各種記録媒体からロードすることで後述する機能を実現してもよい。本実施の形態では、後述する画像処理機構によって、表示装置１２に表示した画像をユーザインターフェースとする。ユーザは入力装置によって表示画像を変化させることにより、情報処理装置１０に対し指示入力を行う。当該指示入力に対し情報処理装置１０が実行する処理は、コンテンツによって異なってよい。具体例は後に述べる。
【００１６】
ユーザが、表示装置１２に表示された画像を見ながら、表示領域の拡大／縮小、上下左右方向へのスクロールを要求する入力を入力装置に対して行うと、入力装置はそれに応じて、表示領域の移動および拡大縮小の要求信号を情報処理装置１０に送信する。情報処理装置１０は当該信号に応じて、表示装置１２の画面内の画像を変化させる。このような表示領域の移動および拡大縮小は、ユーザの仮想的な視点の移動とも捉えることができるため、以後、「視点の移動」と総称する。情報処理装置１０はさらに、あらかじめ定めた規則に従い、画像中の所定の領域と対応づけられた処理を実行する。例えばユーザが所定の領域をズームアップすると、情報処理装置１０は当該領域に対応づけておいた動作を開始する。
【００１７】
図２は、入力装置２０の外観構成例を示す。入力装置２０は、ユーザが操作可能な操作手段として、十字キー２１、アナログスティック２７ａ、２７ｂと、４種の操作ボタン２６を備える。４種の操作ボタン２６は、○ボタン２２、×ボタン２３、□ボタン２４および△ボタン２５で構成される。
【００１８】
情報処理システム１において、入力装置２０の操作手段には、視点の移動、すなわち表示領域の拡大／縮小要求、および上下左右方向へのスクロール要求を入力するための機能が割り当てられる。たとえば、表示領域の拡大／縮小要求の入力機能は、右側のアナログスティック２７ｂに割り当てられる。ユーザはアナログスティック２７ｂを手前に引くことで、表示領域の縮小要求を入力でき、また手前から押すことで、表示領域の拡大要求を入力できる。また、表示領域のスクロールの入力機能は、十字キー２１に割り当てられる。ユーザは十字キー２１を押下することで、十字キー２１を押下した方向へのスクロール要求を入力できる。なお、視点移動要求の入力機能は別の操作手段に割り当てられてもよく、たとえばアナログスティック２７ａに、スクロール要求の入力機能が割り当てられてもよい。
【００１９】
入力装置２０は、入力された視点移動要求信号を情報処理装置１０に伝送する機能をもち、本実施の形態では情報処理装置１０との間で無線通信可能に構成される。入力装置２０と情報処理装置１０は、Bluetooth（ブルートゥース）（登録商標）プロトコルやIEEE802.11プロトコルなどを用いて無線接続を確立してもよい。なお入力装置２０は、情報処理装置１０とケーブルを介して接続して、視点移動要求信号を情報処理装置１０に伝送してもよい。
【００２０】
図３は、本実施の形態において使用する画像データの階層構造例を示す。画像データは、深さ（Ｚ軸）方向に、第０階層３０、第１階層３２、第２階層３４および第３階層３６からなる階層構造を有する。なお同図においては４階層のみ示しているが、階層数はこれに限定されない。以下、このような階層構造をもつ画像データを「階層データ」とよぶ。
【００２１】
図３に示す階層データは４分木の階層構造を有し、各階層は、１以上のタイル画像３８で構成される。すべてのタイル画像３８は同じ画素数をもつ同一サイズに形成され、たとえば２５６×２５６画素を有する。各階層の画像データは、一つの画像を異なる解像度で表現しており、最高解像度をもつ第３階層３６の原画像を複数段階に縮小して、第２階層３４、第１階層３２、第０階層３０の画像データが生成される。たとえば第Ｎ階層の解像度（Ｎは０以上の整数）は、左右（Ｘ軸）方向、上下（Ｙ軸）方向ともに、第（Ｎ＋１）階層の解像度の１／２であってよい。
【００２２】
情報処理装置１０において、階層データは、所定の圧縮形式で圧縮された状態で記憶装置に保持されており、コンテンツの起動に際し記憶装置から読み出されてデコードされる。本実施の形態の情報処理装置１０は、複数種類の圧縮形式に対応したデコード機能を有し、たとえばＳ３ＴＣ形式、ＪＰＥＧ形式、ＪＰＥＧ２０００形式の圧縮データをデコード可能とする。階層データにおいて、圧縮処理は、タイル画像単位に行われていてもよく、また同一階層または複数の階層に含まれる複数のタイル画像単位に行われていてもよい。
【００２３】
階層データの階層構造は、図３に示すように、左右方向をＸ軸、上下方向をＹ軸、深さ方向をＺ軸として設定され、仮想的な３次元空間を構築する。情報処理装置１０は、入力装置２０から供給される視点移動要求信号から表示領域の移動量を導出すると、その移動量を用いて仮想空間におけるフレームの４隅の座標（フレーム座標）を導出する。仮想空間におけるフレーム座標は、表示画像の生成処理に利用される。なお、仮想空間におけるフレーム座標の代わりに、情報処理装置１０は、階層を特定する情報と、その階層におけるテクスチャ座標（ＵＶ座標）を導出してもよい。以下、階層特定情報およびテクスチャ座標の組み合わせも、フレーム座標と呼ぶ。
【００２４】
階層データに含まれる各階層の画像データは仮想空間のＺ軸に対して離散的に存在する。そのため、画像データがない階層間の縮尺率で画像を表示する場合は、Ｚ軸方向で近傍にある画像データを用いる。例えば、表示画像の縮尺率が第２階層３４の近傍にある場合、表示画像は当該第２階層の画像データを用いて作成する。これを実現するためには、各階層の間、例えば中間にソース画像の切り替え境界を設定する。表示画像の縮尺率が当該切り替え境界を越えると、表示画像の生成に用いる画像データを切り替え、当該画像を拡大したり縮小したりして表示する。
【００２５】
図４は情報処理装置１０の構成を示している。情報処理装置１０は、無線インタフェース４０、スイッチ４２、表示処理部４４、ハードディスクドライブ５０、記録媒体装着部５２、ディスクドライブ５４、メインメモリ６０、バッファメモリ７０および制御部１００を有して構成される。表示処理部４４は、表示装置１２のディスプレイに表示するデータをバッファするフレームメモリを有する。
【００２６】
スイッチ４２は、イーサネットスイッチ（イーサネットは登録商標）であって、外部の機器と有線または無線で接続して、データの送受信を行うデバイスである。スイッチ４２は、ケーブル１４を介して外部ネットワークに接続し、階層化された圧縮画像データと、当該画像を用いて様々な機能を実現するための設定ファイルとを含むコンテンツファイルを受信してもよい。コンテンツファイルには、様々な機能を実行するために必要なデータ、例えば圧縮符号化された動画データ、音楽データ、ウェブサイトの名前とＵＲＬ（Uniform Resource Locator）との対応づけデータなどがさらに含まれていてもよい。
【００２７】
またスイッチ４２は無線インタフェース４０に接続し、無線インタフェース４０は、所定の無線通信プロトコルで入力装置２０と接続する。入力装置２０においてユーザから入力された視点移動要求信号は、無線インタフェース４０、スイッチ４２を経由して、制御部１００に供給される。
【００２８】
ハードディスクドライブ５０は、データを記憶する記憶装置として機能する。スイッチ４２を介して受信された各種データは、ハードディスクドライブ５０に格納される。記録媒体装着部５２は、メモリカードなどのリムーバブル記録媒体が装着されると、リムーバブル記録媒体からデータを読み出す。ディスクドライブ５４は、読み出し専用のＲＯＭディスクが装着されると、ＲＯＭディスクを駆動して認識し、データを読み出す。ＲＯＭディスクは、光ディスクや光磁気ディスクなどであってよい。コンテンツファイルはこれらの記録媒体に格納されていてもよい。
【００２９】
制御部１００は、マルチコアＣＰＵを備え、１つのＣＰＵの中に１つの汎用的なプロセッサコアと、複数のシンプルなプロセッサコアを有する。汎用プロセッサコアはＰＰＵ（Power Processing Unit）と呼ばれ、残りのプロセッサコアはＳＰＵ（Synergistic-Processing Unit）と呼ばれる。
【００３０】
制御部１００は、メインメモリ６０およびバッファメモリ７０に接続するメモリコントローラを備える。ＰＰＵはレジスタを有し、演算実行主体としてメインプロセッサを備えて、実行するアプリケーションにおける基本処理単位としてのタスクを各ＳＰＵに効率的に割り当てる。なお、ＰＰＵ自身がタスクを実行してもよい。ＳＰＵはレジスタを有し、演算実行主体としてのサブプロセッサとローカルな記憶領域としてのローカルメモリを備える。ローカルメモリは、バッファメモリ７０として使用されてもよい。
【００３１】
メインメモリ６０およびバッファメモリ７０は記憶装置であり、ＲＡＭ（ランダムアクセスメモリ）として構成される。ＳＰＵは制御ユニットとして専用のＤＭＡ（Direct Memory Access）コントローラをもち、メインメモリ６０とバッファメモリ７０の間のデータ転送を高速に行うことができ、また表示処理部４４におけるフレームメモリとバッファメモリ７０の間で高速なデータ転送を実現できる。本実施の形態の制御部１００は、複数のＳＰＵを並列動作させることで、高速な画像処理機能を実現する。表示処理部４４は、表示装置１２に接続されて、ユーザからの要求に応じた処理結果を出力する。
【００３２】
本実施の形態の情報処理装置１０は、視点の移動に伴い表示画像を円滑に変更するために、あらかじめ圧縮画像データの少なくとも一部をハードディスクドライブ５０からメインメモリ６０にロードしておいてもよい。また、ユーザからの視点移動要求をもとに、将来表示させる領域を予測し、メインメモリ６０にロードした圧縮画像データのさらに一部をデコードしてバッファメモリ７０に格納してもよい。これにより、後の必要なタイミングで、表示画像の生成に使用する画像を瞬時に切り替えることが可能となる。
【００３３】
図５は本実施の形態における画像データの流れを模式的に示している。まずコンテンツファイルに含まれる階層データはハードディスクドライブ５０に格納されている。ハードディスクドライブ５０に代わり、記録媒体装着部５２やディスクドライブ５４に装着された記録媒体が保持していてもよい。あるいは、情報処理装置１０がネットワークを介して接続した画像サーバから階層データをダウンロードするようにしてもよい。ここでの階層データは上述のとおり、Ｓ３ＴＣ形式などによる固定長圧縮、あるいはＪＰＥＧ形式などによる可変長圧縮がなされている。
【００３４】
この階層データのうち、一部の画像データを圧縮した状態のままメインメモリ６０にロードする（Ｓ１０）。ここでロードする領域は、現在の表示画像の仮想空間における近傍や、画像の内容、ユーザの閲覧履歴等に基づいて、高頻度で表示要求がなされると予測される領域など、あらかじめ定めた規則によって決定する。ロードは、視点移動要求がなされたときのみならず、例えば所定の時間間隔で随時行う。これによりロード処理が一時期に集中しないようにする。
【００３５】
次に、メインメモリ６０に格納されている圧縮画像データのうち、表示に必要な領域の画像、または必要と予測される領域の画像のデータをデコードし、バッファメモリ７０に格納する（Ｓ１２）。バッファメモリ７０は、少なくとも２つのバッファ領域７２、７４を含む。各バッファ領域７２、７４のサイズは、フレームメモリ７６のサイズよりも大きく設定され、入力装置２０から視点移動の要求信号が入力された場合に、ある程度の量の移動に対しては、バッファ領域７２、７４に展開した画像データで表示画像を生成できるようにする。
【００３６】
バッファ領域７２、７４の一方は、表示画像の生成に用いる画像を保持するために利用される表示用バッファであり、他方は、以後、必要と予測される画像を準備するために利用されるデコード用バッファである。図５の例では、バッファ領域７２が表示用バッファ、バッファ領域７４がデコード用バッファで、表示領域６８が表示されているものとする。
【００３７】
次に、表示用バッファであるバッファ領域７２に格納された画像のうち表示領域６８の画像を、フレームメモリ７６に描画する（Ｓ１４）。この間に、新たな領域の画像が必要に応じてデコードされ、バッファ領域７４に格納される。格納が完了したタイミングや表示領域６８の移動量などに応じて、表示用バッファとデコード用バッファを切り替える（Ｓ１６）。これにより、表示領域の移動や縮尺率の変更などに対し表示画像をスムーズに切り替えることができる。
【００３８】
これまで述べた処理は、ある画像の表示領域の移動、拡大縮小を行うために、図３で示したような一つの階層データによって構成される仮想空間において、ユーザからの視点移動要求に従いフレーム座標を移動させる態様であった。一方、複数の階層データを表示対象として用意し、表示画像が階層データ間を行き来するようにしてもよい。図６はそのような態様において表示対象となる複数の階層データの関係を模式的に示している。
【００３９】
図中、２つの三角形は異なる階層データ１５０および１５２を示している。それぞれの階層データ１５０、１５２は実際には、図３に示すように解像度の異なる複数の画像データが図のＺ軸方向に離散的に存在する構成を有する。ユーザが入力装置２０によって表示領域の拡大／縮小を要求すると、表示領域、ひいては視点が、図のＺ軸方向に移動することになる。一方、表示領域を上下左右に移動させる要求を行うと、図の水平面を移動することになる。このような仮想空間において、２つの階層データ１５０および１５２が図のように重なり合った画像データを構築する。
【００４０】
そして階層データ１５０の画像を表示中、ユーザが継続的に拡大要求を行うと、視点が矢印ａのように移動し、階層データ１５２の領域に入る、すなわち階層データ間を移動することになる。異なる階層データの領域に進入すると、表示画像を生成するためのデータが階層データ１５０から階層データ１５２へと切り替わる。この処理は、これまで述べた画像表示の処理手順において、メインメモリ６０へロードする対象の階層データを変更するのみで実現できる。
【００４１】
図６のような複数の階層データからなる画像データを構築するために、階層データ１５０と階層データ１５２を切り替えるときの画像の解像度および位置をあらかじめ設定しておく。この設定は図６中、線１５４で表され、これにより階層データの重なり具合が決定できる。同図の例では、Ｚ軸がｚ１なる解像度、線１５４が表す位置において、階層データ１５０から階層データ１５２への切り替えが行われる。以後、このような階層データ間の切り替えを「リンク」と呼ぶ。なお切り替えを行う階層データの画像は縮尺率の異なる同一の画像でもよいし、全く異なる画像でもよい。
【００４２】
さらに、階層データ１５２への表示画像の切り替えに代わり、動画再生、音声再生、表示の加工、表示領域の移動、といった処理を行うようにしてもよい。この場合も、線１５４のように、階層データ１５０に対しリンクポイントを設定しておき、視点が当該ポイントに到達したらそれに対応づけておいた処理を開始する。
【００４３】
このようにすると、ユーザが階層データ１５０の画像を見ながら、ある領域に視点を近づけていくと、その領域に対応づけた情報が表示されたり、動画再生がなされたりする、といった態様を実現できる。このようなポイントを一つの画像データに複数設定すれば、複数の処理の中から選択して動作させるメニュー画面を構築することができる。このように、視点の移動により開始する処理を「埋め込みオブジェクト」と呼ぶ。そして画像データと埋め込みオブジェクトとの関連づけもまた、「リンク」と呼ぶ。
【００４４】
図７は制御部１００の構成を詳細に示している。制御部１００は入力装置２０からユーザが入力した情報を取得する入力情報取得部１０２、表示対象の階層データをハードディスクドライブ５０からロードするロード部１０３、入力に応じて表示領域を決定する表示領域決定部１０４、圧縮画像データをデコードするデコード部１０６、表示画像を描画する表示画像処理部１１４を含む。制御部１００はさらに、視点が設定されたリンクの条件を満たしているか判定するリンク判定部１１６、埋め込みオブジェクトを実行するオブジェクト実行部１１７を含む。
【００４５】
図７において、さまざまな処理を行う機能ブロックとして記載される各要素は、ハードウェア的には、ＣＰＵ（Central Processing Unit）、メモリ、その他のＬＳＩで構成することができ、ソフトウェア的には、メモリにロードされたプログラムなどによって実現される。既述したように、制御部１００は１つのＰＰＵと複数のＳＰＵとを有し、ＰＰＵおよびＳＰＵがそれぞれ単独または協同して、各機能ブロックを構成できる。したがって、これらの機能ブロックがハードウェアのみ、ソフトウェアのみ、またはそれらの組合せによっていろいろな形で実現できることは当業者には理解されるところであり、いずれかに限定されるものではない。
【００４６】
ハードディスクドライブ５０には、階層データ、当該階層データに設定されたリンクの情報などを記載した設定ファイルを含むコンテンツファイルを格納しておく。複数の階層データからなる画像データを表示する場合は、複数の階層データとそれぞれに対応する設定ファイルを格納する。コンテンツファイルにはさらに、埋め込みオブジェクトの処理に必要な動画データ、音声データ、画像モジュールデータ、ゲームなどのアプリケーションプログラムなどを必要に応じて含めてよい。
【００４７】
入力情報取得部１０２は、入力装置２０のユーザによる操作に従い、コンテンツの起動／終了、視点の移動などの要求に係る情報を入力装置２０より取得し、当該情報を必要に応じて表示領域決定部１０４、ロード部１０３に通知する。ロード部１０３は、入力情報取得部１０２からコンテンツの起動要求がなされたことを通知されたら、コンテンツの初期画像の階層データおよびその設定ファイルをハードディスクドライブ５０から読み出し、メインメモリ６０に格納する。
【００４８】
ロード部１０３はさらに、視点の移動先の階層データや埋め込みオブジェクトの実行に必要なデータなどを、必要に応じてハードディスクドライブ５０から読み出し、メインメモリ６０に格納する。表示領域決定部１０４は、入力情報取得部１０２から視点の移動要求がなされたことを通知されたら、視点の移動量を階層データの仮想空間における座標に変換し、表示すべき移動先のフレーム座標を決定する。
【００４９】
デコード部１０６は、メインメモリ６０から圧縮画像データの一部を読み出しデコードし、バッファメモリ７０にデコード後のデータを格納する。デコード部１０６がデコードするデータは、表示領域を含む所定サイズの画像データでよい。あらかじめ広範囲の画像データをデコードし、バッファメモリ７０に格納しておくことにより、メインメモリ６０からの読み出し回数を削減でき、円滑な視点移動を実現できる。
【００５０】
表示画像処理部１１４は、表示領域決定部１０４が決定した、表示すべき領域のフレーム座標を取得し、バッファメモリ７０から対応する画像データを読み出し、表示処理部４４のフレームメモリ７６に描画する。リンク判定部１１６は、メインメモリ６０に格納した、表示中の階層データに対応づけられた設定ファイルを参照し、移動先の視点がリンクの条件を満たしているか否かを判定する。本実施の形態で設定するリンク先は上述のとおり、別の階層データへのリンクと、埋め込みオブジェクトへのリンクがある。
【００５１】
オブジェクト実行部１１７は、リンク判定部１１６が埋め込みオブジェクトへのリンク条件を満たすと判定した場合に、該当する埋め込みオブジェクトを実行する。当該埋め込みオブジェクトを実行するためのプログラムやデータがメインメモリ６０に格納されていなければ、ロード部１０３がハードディスクドライブ５０からメインメモリ６０へロードする。オブジェクト実行部１１７が実行する処理の内容は限定されない。したがってオブジェクト実行部１１７は、視点の位置および設定ファイルの設定に従い、異なる種類の処理を適宜実行してよい。
【００５２】
埋め込みオブジェクトの一つとして、表示中の画像に加工を施す場合は、オブジェクト実行部１１７が表示画像処理部１１４へその旨の要求を行い、表示画像処理部１１４が加工画像を描画する。また、埋め込みオブジェクトの一つとして、表示中の画像に対する視点を移動させる場合は、オブジェクト実行部１１７が表示領域決定部１０４にその旨の要求を行い、表示領域決定部１０４が移動先の表示領域を決定する。動画再生や音声再生を行う場合は、オブジェクト実行部１１７がメインメモリ６０より動画データ、音声データを読み出し、デコードして表示処理部４４に出力したり、表示装置１２のスピーカに出力したりする。
【００５３】
リンク判定部１１６によって、別の階層データへのリンク条件を満たすと判定された場合は、メインメモリ６０にリンク先の階層データが格納されていなければロード部１０３がハードディスクドライブ５０よりロードする。表示領域決定部１０４は、リンク判定部１１６から当該判定結果を取得し、フレーム座標をリンク先の階層データのものに変換し、当該階層データの識別情報とともにデコード部１０６に通知する。デコード部１０６はそれに応じて、リンク先の階層データを処理対象とする。
【００５４】
次に設定ファイルの設定例について説明する。図８〜１１は設定ファイルにおける各データの定義例を説明する図である。図８はターゲット矩形および境界矩形の定義例を示している。図中、ターゲット矩形８２は、画像中、リンクを設定する対象が表示されている領域、あるいはそれに外接する矩形領域である。境界矩形８４は、リンクを有効とする視点の範囲を表す矩形である。すなわち、境界矩形８４に視点が入った場合、ターゲット矩形８２に対するリンクが有効となり、リンク先の別の階層のデータへ表示を切り替えたり、埋め込みオブジェクトが作動したりする。
【００５５】
この例では、左上の頂点の座標を（０，０）、右下の頂点の座標を（Ｗ，Ｈ）とする基準座標系を表す基準矩形８０に対し、ターゲット矩形８２および境界矩形８４を設定している。ここで基準矩形８０は表示対象の画像全体ととらえることができ、座標の単位は例えば画素数とすることができる。まず、基準矩形８０の左上の頂点（０，０）からターゲット矩形８２の中心までの距離をパラメータ「ｃｅｎｔｅｒ」、ターゲット矩形８２の高さをパラメータ「ｈｅｉｇｈｔ」、幅をパラメータ「ｗｉｄｔｈ」とし、これら３つのパラメータでターゲット矩形８２を定義する。
【００５６】
また、ターゲット矩形８２の中心から境界矩形８４の中心までの距離をパラメータ「ｏｆｆｓｅｔ」、ターゲット矩形８２に対する境界矩形８４の倍率をパラメータ「ｓｃａｌｅ」とし、これら２つのパラメータで境界矩形８４を定義する。このとき図に示すように、境界矩形８４の高さはｈｅｉｇｈｔ×ｓｃａｌｅ、幅はｗｉｄｔｈ×ｓｃａｌｅとなる。なおパラメータ「ｃｅｎｔｅｒ」およびパラメータ「ｏｆｆｓｅｔｔ」は横方向、縦方向の成分を有するが同図ではそれをまとめて表している。
【００５７】
図９は境界矩形の倍率の定義例を示している。本実施の形態では、単にある平面上で表示領域を移動するのみならず、画像を拡大、縮小させる、という上記仮想空間内でのＺ軸方向の動きを受け付ける。そこでその動きをリンクの設定に活かすことにより、豊富なバリエーションでユーザが理解しやすいリンクをきめ細かく設定することが可能になる。その設定手法のひとつとして、境界矩形の倍率に上限や下限を設定可能とする。
【００５８】
図９において高さｈ、幅ｗの矩形は表示装置の画面８６を表す。このとき、境界矩形８４を画面８６のアスペクト比、すなわちｈ：ｗになるように縦方向または横方向に伸長した矩形８８の、画面８６に対する倍率を、境界矩形８４の倍率を表すパラメータ「ｚｏｏｍ」とする。このとき、図に示すように矩形８８の縦および横の長さはそれぞれｈ×ｚｏｏｍ、ｗ×ｚｏｏｍとなる。
【００５９】
図１０、１１は境界矩形と画面に映る領域（以後、単に「画面」と呼ぶ）との位置関係の定義例を示している。図１０は、画面が境界矩形からはみ出す割合を表すパラメータ「ｏｖｅｒｓｈｏｏｔ」の定義を説明する図である。図中、画面として３つのパターン、画面８６ａ、画面８６ｂ、画面８６ｃを示している。同図において、「ａ」は画面が境界矩形８４から横方向にはみ出した長さ（画面８６ａ、８６ｂ）、「ｂ」は縦方向にはみ出した長さ（画面８６ｃ）である。このときパラメータ「ｏｖｅｒｓｈｏｏｔ」をｍａｘ（ａ／ｗ，ｂ／ｈ）と定義する。すなわち横方向、縦方向のいずれかにはみ出しているときはその方向における、はみ出した長さ（ａまたはｂ）の画面の長さ（ｗまたはｈ）に対する割合、両方向にはみ出しているときはその割合の大きい方とする。
【００６０】
図１１は、境界矩形が画面からはみ出す割合を表すパラメータ「ｉｎｖｉｓｉｂｉｌｉｔｙ」の定義を説明する図である。図中、境界矩形として３つのパターン、境界矩形８４ａ、境界矩形８４ｂ、境界矩形８４ｃを示している。同図において、「ｃ」は境界矩形が画面８６から横方向にはみ出した長さ（境界矩形８４ａ、８４ｂ）、「ｄ」は縦方向にはみ出した長さ（画面８６ｃ）である。このときパラメータ「ｉｎｖｉｓｉｂｉｌｉｔｙ」をｍａｘ（ｃ／ｗｉｄｔｈ×ｓｃａｌｅ，ｄ／ｈｅｉｇｈｔ×ｓｃａｌｅ）と定義する。すなわち横方向、縦方向のいずれかにはみ出しているときはその方向における、はみ出した長さ（ｃまたはｄ）の境界矩形の長さ（ｗｉｄｔｈ×ｓｃａｌｅまたはｈｅｉｇｈｔ×ｓｃａｌｅ）に対する割合、両方向にはみ出しているときはその割合の大きい方とする。
【００６１】
図１２は上記のようなパラメータを用いた設定ファイルとして、ＸＭＬでの記述例を示している。設定ファイル例２００において（１）〜（４）行目は、対応する階層データのホームポジションに係る記述であり、（３）行目の「ｖｉｅｗ」属性において、パラメータ「ｚｏｏｍ」によりホームポジション表示時の倍率を設定している。ここで「ホームポジション」とは、コンテンツの初期画像であり、さらに、入力装置２０の所定のボタンを押下することにより表示させることが可能な表示領域である。この例では、０．８５倍の倍率での画像をホームポジションとして設定している。
【００６２】
（６）〜（９）行目は表示が可能な範囲に係る記述であり、（８）行目の「ｂｏｕｎｄａｒｙ」属性で視点の範囲を設定している。ここでパラメータ「ｓｔｒｅｔｃｈ」は、階層データのうち最も高解像度の階層の１画素が、画面上で何画素に引き延ばされるかを表す倍率、すなわち表示装置の解像度と画像の解像度の比率である。例えば１９２０×１０８０画素の解像度を有する表示装置に、全体で１９２００×１０８００画素の画像のうち９６０×５４０画素の領域を表示する場合、パラメータ「ｓｔｒｅｃｈ」は「２．０」となる。図１２の例では当該パラメータに対する上限を「ｍａｘ＿ｓｔｒｅｔｃｈ」として設定している。
【００６３】
このような設定を行うことにより、画面上に表示可能な最大倍率は表示装置の解像度によって自動で調整されることになり、表示装置の解像度によらず同様の画質で画像を表示することができる。また表示可能な範囲としてさらに、上述のパラメータ「ｚｏｏｍ」の下限値である「ｍｉｎ＿ｚｏｏｍ」と上述のパラメータ「ｏｖｅｒｓｈｏｏｔ」の上限値である「ｍａｘ＿ｏｖｅｒｓｈｏｏｔ」を設定している。ここでは、パラメータ「ｚｏｏｍ」によって定義される倍率の下限を「０．８５」、画面が画像からはみ出す割合を「０．５」としている。ユーザはこれらの設定の範囲内で、表示領域の移動、拡大／縮小を行うことができる。
【００６４】
（１１）〜（１６）行目は、別の階層データへのリンクに係る記述である。（１２）、（１３）行目は当該リンクのターゲット矩形を設定しており、「ｔａｒｇｅｔ」属性でリンク先の設定ファイルのパスを、「ｄｉｒｅｃｔｉｏｎ」属性で拡大、縮小のいずれの方向でリンク先の階層データへ切り替えるかを設定している。図１２の例では、リンク先の階層データの属性ファイルを「ａ．ｘｍｌ」、リンクの方向が「ｆｏｒｗａｒｄ」、すなわち拡大していく際に切り替える設定としている。なお属性ファイルと階層データは、例えば拡張子を除くファイル名を統一することによって対応づければよい。
【００６５】
さらにターゲット矩形の位置を、上述のパラメータ「ｃｅｎｔｅｒ」の横方向成分、縦方向成分である「ｃｅｎｔｅｒ＿ｘ」、「ｃｅｎｔｅｒ＿ｙ」で設定し、大きさを、上述のパラメータ「ｗｉｄｔｈ」および「ｈｉｇｈｔ」で設定している。
【００６６】
また（１４）、（１５）行目は「ｂｏｕｎｄａｒｙ」属性で当該リンクを有効とする「リンク境界」を設定している。「リンク境界」は、画像平面における「境界矩形」を「ｂｏｕｎｄａｒｙ」属性における設定により仮想空間のＺ軸方向に拡張したものであり、視点がリンク境界に入ったらリンクの条件を満たしている、とする。（１４）行目で「ａｃｔｉｏｎ」属性を「ｊｕｍｐ」とすることで、この設定のリンク境界内に視点が移動した場合に階層データの切り替えを行う設定としている。
【００６７】
図１３はターゲット矩形８２、境界矩形８４、およびリンク境界の関係を示している。同図においてターゲット矩形８２を含む水平面が画像平面、縦方向が図の拡大、縮小、すなわち画像平面に対する視点の距離を表している。ターゲット矩形８２に内接する矩形９０がリンク先の階層データの画像である。また、境界矩形８４はターゲット矩形８２の画像平面において図９のように設定する。
【００６８】
本実施の形態では図のような空間を視点が移動し、ターゲット矩形８２に近づいたときにリンクを有効とする。従って画像平面上での位置のみならず、視点の近さによってもリンクの有効、無効を設定できる。そのため同図に示すようにリンク境界は画像平面に対し立体的になる。
【００６９】
図１２に戻り、設定ファイルの（１５）行目は、境界矩形の大きさを上述のパラメータ「ｓｃａｌｅ」で、位置を上述のパラメータ「ｏｆｆｓｅｔ」の横方向成分、縦方向成分である「ｏｆｆｓｅｔ＿ｘ」、「ｏｆｆｓｅｔ＿ｙ」で設定している。さらに視点の近さによってリンク境界を定義するために、画面が境界矩形からはみ割合の上限「ｍａｘ＿ｏｖｅｒｓｈｏｏｔ」および境界矩形の最小倍率「ｍｉｎ＿ｚｏｏｍ」を設定している。パラメータ「ｍａｘ＿ｏｖｅｒｓｈｏｏｔ」の設定による効果については後に説明する。
【００７０】
（１８）〜（２３）行目は、埋め込みオブジェクトのうち動画再生に係る記述である。（１９）行目では「ｓｏｕｒｃｅ」属性で埋め込む動画ファイルを「ｂ．ｍｐ４」と設定している。（２０）行目では（１３）行目と同様にターゲット矩形を設定している。また（２１）、（２２）行目は、「ｂｏｕｎｄａｒｙ」属性で動画再生を実施するリンク境界を設定している。リンク境界は図１３で示したのと同様である。動画はターゲット矩形の中央に内接する位置と大きさで表示する。
【００７１】
ここで「ａｃｔｉｏｎ」属性を「ｓｈｏｗ」としている（２１）行目は、実際に動画像を表示する前に予備的な画像へ表示を切り替える条件を設定している。予備的な画像表示としては例えば動画の第１フレームを静止画像として表示する。「ａｃｔｉｏｎ」属性を「ｐｌａｙ」としている（２２）行目は、動画を再生して動画像として表示する条件を設定している。これにより、動画タイトルを表示したターゲット矩形をズームアップしていくとまず第１フレームの静止画像が表示され、さらに拡大すると動画が再生される、といった態様を実現できる。
【００７２】
図１２の設定例はこのような場合であり、パラメータ「ｍｉｎ＿ｚｏｏｍ」が「０．２０」のとき第１フレームを表示（（２１）行目）、パラメータ「ｍｉｎ＿ｚｏｏｍ」が「０．３５」のとき動画再生としている。このように２段階の動作を設定可能とすることにより、視点を近づけたのみでむやみに動画像が表示されるといった煩わしさがなくなる。また動画像を表示するまでのタイムラグを第１段階の静止画像表示で吸収することができる。動画再生のリンク境界から視点が脱した場合は動画再生も停止する。このとき、第１段階の静止画像表示に対するリンク境界に視点があるうちは、再生を停止した時点のフレームを静止画像として表示する。
【００７３】
（２１）、（２２）行目ではさらに、それぞれの「ａｃｔｉｏｎ」属性に対し、画面が境界矩形からはみ出す割合の上限「ｍａｘ＿ｏｖｅｒｓｈｏｏｔ」および、境界矩形が画面からはみ出す割合の上限「ｍａｘ＿ｉｎｖｉｓｉｂｉｌｉｔｙ」を設定している。パラメータ「ｍａｘ＿ｉｎｖｉｓｉｂｉｌｉｔｙ」の設定による効果については後に説明する。
【００７４】
（２５）〜（２９）行目は、埋め込みオブジェクトのうち音声再生に係る記述である。（２６）行目では「ｓｏｕｒｃｅ」属性で埋め込む音声ファイルを「ｃ．ｍｐ３」と設定している。（２７）行目では（２０）行目と同様に埋め込みオブジェクトのターゲット矩形を設定している。また（２８）行目は動画再生と同様、「ｂｏｕｎｄａｒｙ」属性で音声再生を実施するリンク境界を設定している。ただし「ａｃｔｉｏｎ」属性は再生を表す「ｐｌａｙ」のみ設定している。
【００７５】
音声再生も動画再生と同様、リンク境界に視点が進入すると再生が開始し、脱出すると再生を停止させる。あるいは元々別の音声が流れていれば、音声を切り替える。なお動画、音声ともに、再生を停止した際に、動画または音声のデータストリーム上の停止ポイントをメインメモリ６０などに記憶しておき、視点が再度リンク境界に進入した場合は、当該位置から再生を開始するレジューム処理を行ってもよい。
【００７６】
（３１）〜（３５）行目は、埋め込みオブジェクトのうちネットワーク上の店舗へのリンク（ストアリンク）に係る記述である。（３２）行目では「ｓｏｕｒｃｅ」属性で店舗の名称などの識別情報を「ｓｔｏｒｅ：ＡＡＡ」と設定している。（３３）行目ではこれまでと同様、ストアリンクのターゲット矩形を設定している。なお店舗の識別情報とＵＲＬなどネットワーク上の位置は、別の対応づけファイルをメインメモリ６０などに格納しておく。
【００７７】
また（３４）行目は「ｂｏｕｎｄａｒｙ」属性で店舗のサイトへの移動を可能とするリンク境界をこれまでと同様に設定している。ここで「ａｃｔｉｏｎ」属性を「ｓｈｏｗ＿ｌｉｎｋ」とすることにより、店舗へのリンクに係る処理を行う設定をしている。リンクに係る処理とは、例えば、店舗のウェブサイトへの移動が可能であることを示すインジケータの表示など、表示画像の加工である。なお（３１）〜（３５）行目の設定は、店舗へのリンクでなくてもよく、ネットワーク上で公開されている店舗以外のサイトやハードディスクに格納したファイルへのリンクなどでもよい。
【００７８】
（３７）〜（６７）行目は、埋め込みオブジェクトのうち選択受付表示に係る記述である。選択受付表示とは、リンクが設定されている領域など、拡大対象となり得る領域を選択肢として強調表示し、ユーザがそのいずれかを選択したら当該領域へ画像を移動する処理である。例えば画像内に複数のリンク設定領域がある場合、それらの領域が選択可能な倍率となった時点で各領域の色を変化させ、選択可能であることを示す。その状態で入力装置２０の十字キー２１などの方向指示キーを押下すると選択対象が移動するようにする。そして○ボタン２２などで選択操作を行うと、選択された領域が画面の中央に来るように視点を移動させたり、ズームアップしたりする。このようにすることで視点の移動を簡略化でき、所望のリンク先や画像の一部へ効率よく移動できる。
【００７９】
（３９）行目は「ｂｏｕｎｄａｒｙ」属性で選択を受け付ける「リンク境界」を設定している。設定するパラメータはこれまでの説明と同様である。（４０）〜（４３）行目、（４４）〜（４７）行目、（４８）〜（５１）行目、（５２）〜（６６）行目はそれぞれ、「ｏｐｔｉｏｎ」属性により選択肢の矩形を指定している。各選択肢は「ｆｒａｍｅ＿ｃｏｌｏｒ」属性で色の指定を行う。これにより選択肢の矩形を強調表示する。また、各矩形の位置および大きさをターゲット矩形と同様に設定する。
【００８０】
さらに、「ｖｉｅｗ」属性により、当該選択肢が選択された場合の表示における視点を設定している。設定に用いるパラメータは上述と同様である。なお（５２）〜（６６）行目の設定による選択肢には、（５５）〜（６５）行目に設定される下位の選択肢があることを示している。これを明示することにより、上位の選択肢の選択受付時には、下位の選択肢を選択肢から除外できる。
【００８１】
次にパラメータ「ｍａｘ＿ｏｖｅｒｓｈｏｏｔ」およびパラメータ「ｍａｘ＿ｉｎｖｉｓｉｂｉｌｉｔｙ」について説明する。図１４はパラメータ「ｍａｘ＿ｏｖｅｒｓｈｏｏｔ」を変化させたときのリンク境界の変化を説明するための図である。枠９４に示すように、同図は視点９６からの視界９８と境界矩形８４の位置関係を横から見た様子を表しており、パラメータ「ｍａｘ＿ｏｖｅｒｓｈｏｏｔ」が０．０、０．２５、０．５、０．７５、１．０と変化したときのリンク境界の変化を示している。
【００８２】
まず「ｍａｘ＿ｏｖｅｒｓｈｏｏｔ」が０．０の場合、すなわち画面が境界矩形からはみ出さないように設定すると、視点９６ａでは視界を表す三角形の底辺、すなわち画面が境界矩形８４の上方の領域に入っているため、画面が境界矩形からはみ出しておらず、当該視点９６ａはリンク境界内となる。一方、視点９６ｂでは、視界を表す三角形の底辺が境界矩形８４の上方の領域からはみ出している、すなわち画面内に境界矩形８４の周囲の領域が入り込んでいるため、当該視点９６ｂはリンク境界外である。なお視点がリンク境界内であれば視点に「○」印、リンク境界外であれば視点に「×」印を記している。
【００８３】
このように考えると、「ｍａｘ＿ｏｖｅｒｓｈｏｏｔ」が０．０を満たす視点集合の境界であるリンク境界はリンク境界９２ａのような形状を有する。パラメータ「ｍａｘ＿ｏｖｅｒｓｈｏｏｔ」が０．２５、０．５、０．７５、１．０の場合も同様に考える。「ｍａｘ＿ｏｖｅｒｓｈｏｏｔ」が０．２５の場合は、画面が境界矩形８４から１／４はみ出していてもリンクを有効とする。すなわちより高い視点から俯瞰して境界矩形８４の周囲が見えていても許容される場合があるため、パラメータ「ｍａｘ＿ｏｖｅｒｓｈｏｏｔ」が０．２５のリンク境界９２ｂはリンク境界９２ａに対して高い形状となる。
【００８４】
同様に、「ｍａｘ＿ｏｖｅｒｓｈｏｏｔ」が０．５、０．７５、１．０と大きくなるとリンク境界９２ｃ、９２ｄ、９２ｅのように形状が変化する。すなわち、視点が高くなるほど境界矩形８４が画面に入りやすくなり、画面のはみ出し量を許容すれば、高い視点ほど条件を満たす視点の範囲が増えていくため、リンク境界は視点が高くなるほど広がる形状となる。このように、パラメータ「ｍａｘ＿ｏｖｅｒｓｈｏｏｔ」を導入することにより、高さ方向を含む３次元空間での視点の移動による、境界矩形、ひいてはリンクを設定した領域の、見かけ上の変化に対し、リンクの有効／無効の境界を設けることができる。
【００８５】
表示領域を縦横方向に移動させようと入力装置２０のアナログスティック２７ａなどを操作する場合、視点の高低によって同じ操作量でも画像の振れ幅が異なる。パラメータ「ｍａｘ＿ｏｖｅｒｓｈｏｏｔ」によって、リンクを有効とする範囲を視点の高さに応じて容易に変化させることができ、視点の高さを加味した動作が可能となる。
【００８６】
図１５はパラメータ「ｍａｘ＿ｉｎｖｉｓｉｂｉｌｉｔｙ」を変化させたときのリンク境界の変化を説明するための図である。同図の表し方は図１４と同様である。まず「ｍａｘ＿ｉｎｖｉｓｉｂｉｌｉｔｙ」が０．０の場合、すなわち境界矩形が画面からはみ出さないように設定すると、視点９６ｃでは視界を表す三角形の底辺、すなわち画面の、下方の領域に境界矩形が入っているため、境界矩形が画面からはみ出しておらず、当該視点９６ｃはリンク境界内となる。一方、視点９６ｄでは、視界を表す三角形の底辺の下方の領域から境界矩形８４がはみ出している、すなわち画面内に境界矩形の周囲の領域が入り込んでいるため、当該視点９６ｄはリンク境界外である。
【００８７】
パラメータ「ｍａｘ＿ｉｎｖｉｓｉｂｉｌｉｔｙ」もパラメータ「ｍａｘ＿ｏｖｅｒｓｈｏｏｔ」と同様、境界矩形が画面に入っているときにリンクを有効とするためのパラメータであるが、視点の高さの変化に対するリンク境界の範囲の変化がパラメータ「ｍａｘ＿ｏｖｅｒｓｈｏｏｔ」とは異なる。例えば「ｍａｘ＿ｉｎｖｉｓｉｂｉｌｉｔｙ」が０．０の場合、視点が低くなり境界矩形８４をアップにしすぎると、境界矩形が画面からはみ出すようになるため、そのような視点はリンク境界内に含まれない。逆に視点が高くなるほど境界矩形が画面からはみ出しにくくなるため、リンク境界内に入る視点の範囲が広くなる。
【００８８】
このように考えると、パラメータ「ｍａｘ＿ｉｎｖｉｓｉｂｉｌｉｔｙ」が０．０を満たす視点集合の境界であるリンク境界はリンク境界９２ｆのような形状を有する。パラメータ「ｍａｘ＿ｉｎｖｉｓｉｂｉｌｉｔｙ」が０．２５、０．５、０．７５、１．０の場合も同様に考える。パラメータ「ｍａｘ＿ｉｎｖｉｓｉｂｉｌｉｔｙ」が０．２５、０．５、０．７５、１．０と大きくなるほど、視点が低くなっても境界矩形８４の画面からのはみ出しが許容されるため、リンク境界の幅が広がっていき、リンク境界９２ｇ、９２ｈ、９２ｉ、９２ｊのように形状が変化する。
【００８９】
本実施の形態では、所定の範囲内であれば、高さ方向を含む３次元空間において自由に視点を移動させることができる。したがって大きな拡大率で表示領域を水平方向に移動させる場合もあり得る。このような操作で偶然、画面が埋め込みオブジェクトを設定した領域内に進入した場合、意図しないタイミングで動画が再生されてしまったりストアリンクの画面が表示されてしまったりすることが考えられる。境界矩形の画面に対するはみ出し割合は、ユーザが意図して境界矩形に画面を合わせたか否かを判断する指標となる。
【００９０】
埋め込みオブジェクトを動作させたいときにはユーザは通常、意図して境界矩形に画面を合わせるため、埋め込みオブジェクトのリンク境界の設定にはパラメータ「ｍａｘ＿ｉｎｖｉｓｉｂｉｌｉｔｙ」が導入されている。一方、別の階層データの画像への切り替えは、高い拡大率における水平方向の視点移動であってもシームレスに実施されることが望ましいため、パラメータ「ｍａｘ＿ｏｖｅｒｓｈｏｏｔ」が有効となる。
【００９１】
次にこれまで述べた構成による情報処理装置１０の動作を説明する。図１６は情報処理装置１０によって表示装置１２に表示される画像の例を示している。表示画像３００は、例えばコンテンツの初期画像である。コンテンツは、例えばゲームなどのソフトウェア、音楽、映画などのプロモーション表示用コンテンツ、ネットワーク上の店舗からなる仮想デパートのコンテンツ、本の内容を表示する仮想図書館のコンテンツや、それらを組み合わせたコンテンツなど様々な態様が考えられる。
【００９２】
設定ファイルにおいて表示画像３００をホームポジションと設定することにより、当該画像を初期画像とする。表示画像３００中には矩形領域３０１、３０２、３０４、３０６、３０８ａ、３１０の６つのリンク、すなわち選択肢が設定されている。リンクの種類は、別の階層データの画像への表示切り替えでも埋め込みオブジェクトでもよい。ターゲット矩形はこれらの矩形領域に外接するように、設定ファイルにおいてリンクごとに設定する。境界矩形やリンク境界も上述のように設定するが、表示画像３００には明示していない。
【００９３】
ユーザは表示画像３００を見ながら入力装置２０を用いて視点を移動させ、興味のある矩形領域をズームアップする。そして視点が当該矩形領域に対して設定されたリンク境界に進入した際、階層データの切り替えや埋め込みオブジェクトの作動など、矩形領域に対応した処理を実施する。
【００９４】
図１７は埋め込みオブジェクトとして動画再生の処理を実施する処理手順を示す。図１２の設定ファイルの例では、動画再生のオブジェクトは、あるフレームを静止画像として表示する段階と、動画像を表示する段階の２段階で実施する。静止画像表示に対し設定したリンク境界を「第１リンク境界」、動画像表示に対し設定したリンク境界を「第２リンク境界」と呼ぶ。まず、視点が第１リンク境界外にある状態において、動画のタイトル画像や広告など、あらかじめ定めておいた標準画像を表示する（Ｓ１８）。この標準画像は初期画像など現在表示中の画像の階層データの一部であり、図１６の表示画像３００中、矩形領域３０１などにおける画像に相当する。
【００９５】
この状態においてリンク判定部１１６は、視点が第１リンク境界に入ったか否かを監視する（Ｓ２０）。ユーザが入力装置２０を操作し、視点が第１リンク境界に入ったら（Ｓ２０のＹ）、その旨をオブジェクト実行部１１７に通知し、オブジェクト実行部１１７はメインメモリ６０の所定の領域を参照してレジュームすべき情報があるか否かを確認する（Ｓ２２）。以前に同じ動画が再生されていた場合、そのときの停止箇所がレジュームポイントとしてメインメモリ６０に格納されている。当該情報があれば（Ｓ２２のＹ）、その情報を読み出す（Ｓ２４）。レジュームすべき情報がなければ（Ｓ２２のＮ）、メインメモリ６０から読み出した動画データの最初のフレームを、レジューム情報があれば（Ｓ２２のＹ、Ｓ２４）レジュームポイントのフレームを描画し、静止画像として表示装置１２に表示する（Ｓ２６）。
【００９６】
それと並行してリンク判定部１１６は、視点が第２リンク境界に入ったか否かを監視する（Ｓ２８）。視点が第２リンク境界に入ったら（Ｓ２８のＹ）、オブジェクト実行部１１７は動画の再生および表示を開始する（Ｓ３０）。ここでもＳ２４でレジュームポイントを読み出していれば当該ポイントから動画を再生する。なお、視点が第２リンク境界に入る前の段階で、静止画像を表示しつつ動画再生処理を投機的に開始してもよい。これによりＳ２８で視点が第２リンク境界に入った時点で円滑に動画を表示できる。
【００９７】
リンク判定部１１６は動画表示と並行して、視点が第２リンク境界から出たか否かを監視する（Ｓ３２）。視点が第２リンク境界から出たら（Ｓ３２のＹ）、オブジェクト実行部１１７は動画再生を停止し、停止させたときのフレームを静止画像として表示する（Ｓ３４）。さらに停止箇所をレジュームポイントとしてメインメモリ６０に記憶させる（Ｓ３６）。さらにリンク判定部１１６は、視点が第１リンク境界から出たか否かを判定する（Ｓ３８）。視点が第１リンク境界から出たら（Ｓ３８のＹ）、表示領域決定部１０４に当該情報が通知され、元の階層データの画像、すなわちＳ１８で表示したタイトル画像などの標準画像が表示される（Ｓ４０）。以上の動作で、リンクが設定された領域がズームアップされたことに対応して、２段階で表示を切り替え、動画再生を行う態様を実現できる。
【００９８】
なおリンク判定部１１６は実際には常に視点の位置を監視し、設定されたリンク領域に対する内外判定を行っているため、例えばＳ２６であるフレームを表示中、視点が第２リンク境界に入らず第１リンク境界から出た場合はそのままＳ４０の標準画像表示のステップへ移行する。
【００９９】
音声再生の処理手順も同様である。このとき、図１２の設定ファイルの例のように、リンク境界を１つとして音声再生、非再生のみの切り替えを行うようにしてもよいし、複数の段階を設け、再生する音声データや音量などを切り替えるようにしてもよい。また図１６の画像が表示されているときにもＢＧＭとして音声を再生しているときは、音声を切り替える際、クロスフェードするように加工を行ってもよい。
【０１００】
また動画および音声のいずれの場合も、元の階層データの画像中、埋め込みオブジェクトが設定されている複数の領域で同じ動画や音声を再生する場合は、レジュームポイントを共通の情報としてもよい。例えば図１６の表示画像３００中、矩形領域３０１〜３１０のいずれをズームアップしていっても、同じ音楽に切り替えるようにし、さらにレジュームポイントを共通とすることにより、矩形領域に関わらず音楽の連続性が保たれ統一感が生まれる。
【０１０１】
レジュームするか否か、レジュームポイントを共通にするか否かは、埋め込みオブジェクトごとにユーザやコンテンツ作成者が設定できるようにしてもよい。また、図１７のＳ２６で、あるフレームを表示する際は、それまで同矩形領域に表示していた標準画像とクロスフェードするように表示してもよい。同様に、隣の矩形領域へ視点を移動した場合にも、表示している静止画像または動画像をクロスフェードさせてもよい。
【０１０２】
図１８は埋め込みオブジェクトとしてストアリンクを動作させる際に表示する画像の例を示している。表示画像３１２は、図１６の表示画像３００のうち、ストアリンクを設定した矩形領域３０８ａに対して設定されたリンク境界に視点が入ったときの画像である。図１２の「ａｃｔｉｏｎ」属性を「ｓｈｏｗ＿ｌｉｎｋ」とすることにより、オブジェクト実行部１１７は、視点がリンク境界へ入った際、図１６の矩形領域３０８ａの画像を図１８の矩形領域３０８ｂの画像へ切り替える。
【０１０３】
矩形領域３０８ｂの画像では、当該店舗のウェブサイトへの移動が可能であることを示す「ストアへＧＯ！」と記載されたインジケータ３１４と、移動を決定するための操作方法として「○ボタンを押して下さい」と記載されたインジケータ３１６とを、元から表示していた店舗情報に加えて表示している。加える画像の内容や配置はデザイン性や入力装置などに鑑み適宜決定する。例えばインジケータ３１４は図１６の表示画像３００の段階で表示しておき、矩形領域３０８ａがズームアップされたら色のみを変化させることにより、ユーザにリンク先への移動が可能であることを示してもよい。
【０１０４】
ユーザは、リンク先への移動が可能となるまで矩形領域３０８ａをズームアップしていき、矩形領域３０８ｂの画像になったらインジケータ３１６の表示に従い入力装置２０の「○ボタン」などを押下することによって、当該店舗のウェブサイト画面を表示させる。ウェブサイトへのアクセスや表示は一般的な技術を適用することができる。
【０１０５】
図１６の表示画像３００において、矩形領域３０１〜３１０は、何らかのリンクが設定された「選択肢」と考えることができる。したがって、図１２に例示した選択受付表示の設定に従い、あるタイミングで矩形領域３０１〜３１０の色を変化させるなどの強調表示を行い、それらが選択肢であることを示すようにしてもよい。強調表示させるタイミングは、設定しておいたリンク境界に視点が入ったときでもよいし、入力装置２０によって所定の入力が行われたときでもよい。
【０１０６】
画面に表示された画像上で選択肢を明らかにし、ユーザによる選択操作を受け付けることにより、ユーザは効率よく所望の矩形領域を選択することができる。また選択された矩形領域が画面中央に移動させたりズームアップしたりするなどの視点の移動を自動で行うことにより、最低限の操作ですぐに階層データの切り替えや埋め込みオブジェクトの処理開始に至ることができる。
【０１０７】
このような動作は、ユーザが画像から矩形領域を選択し、画像の拡大率を上げる方向にショートカットを行うものであるが、拡大率に対し双方向にショートカットを行えるようにしてもよい。例えば、ユーザが選択した矩形領域を自動でズームアップしたあと、入力装置２０の×ボタン２３など所定のキーを操作すると、拡大率を下げて元の表示に戻すようにする。このようにすることで、また別の矩形領域を選択したい場合などに操作の効率が上がる。
【０１０８】
この場合、オブジェクト実行部１１７は、選択入力がなされる都度、その時点でのフレーム座標など表示領域を表すパラメータをメインメモリ６０に記憶させる。そしてユーザが表示を戻すための入力を行った場合に、メインメモリ６０から前の表示領域を表すパラメータを読み出し、表示領域決定部１０４に通知することにより該当領域を表示する。ある選択肢にさらに下位の選択肢がある場合など複数回の選択入力がなされた場合は、その時点での表示領域を表すパラメータを順に記憶しておき、ＬＩＦＯ（Last In First Out）の方式で読み出していく。以後、このようにして記憶した表示領域を表すパラメータのリストを「パンくずリスト」と呼ぶ。
【０１０９】
図１９は、埋め込みオブジェクトとして選択受付表示を行った場合の情報処理装置１０の処理手順を示している。まず図１６に示した表示画像３００が表示された状態で、ユーザは入力装置２０を用いて視点を移動させる。このときリンク判定部１１６は選択受付表示のためのリンク境界に視点が入ったか否かを監視する（Ｓ５０）。視点がリンク境界に入ったら（Ｓ５０のＹ）、オブジェクト実行部１１７は設定ファイルの設定に従い、矩形領域３０１〜３１０の色を変化させるなどの強調表示を行う（Ｓ５２）。そして、ユーザが入力装置２０の十字キー２１などの方向指示キーおよび○ボタン２２などの決定ボタンを操作することによりいずれかの矩形領域が選択されるのを待機する（Ｓ５４）。
【０１１０】
選択入力がなされたら（Ｓ５４のＹ）、オブジェクト実行部１１７はその時点での表示領域に係るパラメータをメインメモリ６０のパンくずリストに書き込む（Ｓ５６）。そして設定ファイルに設定された視点の移動についての情報を表示領域決定部１０４に通知することにより、選択された矩形領域をズームアップするなど表示領域を移動させる（Ｓ５８）。この際、単に表示領域を移動させるばかりでなく、選択された矩形領域に関する説明や広告の画像を追加で表示したり、色を変化させたりといった、当該矩形領域に対応づけて設定した所定の加工を施すようにしてもよい。追加で表示する画像のデータは、矩形領域に対応させてコンテンツに含めておく。その後、当該矩形領域をさらにズームアップするなど視点の移動を行う指示がユーザよりなされた場合は、それに応じた処理を適宜行うが、図１９では図示を省略している。
【０１１１】
ユーザが入力装置２０の×ボタン２３など所定のキーを操作して表示領域を戻す指示入力を行ったら（Ｓ６０のＹ）、オブジェクト実行部１１７は、メインメモリ６０のパンくずリストから最近書き込まれたパラメータを読み出し（Ｓ６２）、表示領域決定部１０４に通知することにより、当該パラメータによって決まる表示領域へ表示を移動する（Ｓ６４）。このような動作により、ユーザの選択入力という明確な意思表示がある場合に効率を重視した表示を行うことができる。
【０１１２】
またユーザの選択入力に応じて、ホームポジション以外の表示領域にもマーキングを行うことにより、高倍率の画像表示で移動先を見失ったり、最初からやり直しになったり、といった非効率な自体を避けることができる。結果として、入力方法に自由度が増すとともに、深い階層構造で選択肢を設けても所望の情報へ効率よく到達できる。
【０１１３】
図１９の動作は選択受付表示に係るものであったが、表示領域を戻す処理は選択受付表示と関係なく実施するようにしてもよい。例えば表示領域決定部１０４が、階層データの切り替え処理とともに戻すポイントのマーキングを行う。図２０は視点を任意に移動させたときに表示領域を戻す態様を説明するための図である。図の表し方は図６と同様であり、階層データ４００は、階層データ４０２、４０４、４０６とリンクが設定されている。また階層データ４０４は階層データ４０７とリンクが設定されている。このような画像データを表示するコンテンツにおいて、まずホームポジションの画像４１０の情報をメインメモリ６０のパンくずリスト４０８に格納する。ここで格納する情報は、フレーム座標でもよいし階層データの識別情報などでもよい。
【０１１４】
ユーザが入力装置２０のアナログスティック２７ａ、２７ｂなどによって仮想空間における視点を矢印Ａ、矢印Ｂのように移動させ、階層データ４０４の領域に入ったとする。これにより表示画像が階層データ４０４のものに切り替わったら、階層データ４０４のホームポジションともいうべき、最も解像度の低い階層の画像４１２の情報をパンくずリスト４０８に追記する。さらにユーザが矢印Ｃ、矢印Ｄのように視点を移動させ、階層データ４０７の領域に入ったら、階層データ４０７の最も解像度の低い階層の画像４１４の情報をパンくずリスト４０８に追記する。
【０１１５】
そしてユーザが表示を戻す入力を行ったら、パンくずリスト４０８からＬＩＦＯの方式で最近の画像情報を読み出し、矢印Ｅのように視点を移動させる。このとき途中経過を表示しながら文字通り視点を「移動」させてもよいし、即座に表示画像を切り替えてもよい。こうすることで、続けて階層データ４０４へ表示を切り替えることもできるし、再度階層データ４０７内で視点を移動させることもできる。図２０の例では、画像４１４を表示後、ユーザが画像を縮小するなどして階層データ４０４へ表示を切り替えている（矢印Ｆ）。
【０１１６】
そして再度、表示を戻す入力を行ったら、パンくずリスト４０８から画像４１２の情報を読み出し、矢印Ｇのように視点を移動させる。そしてユーザがさらに画像を縮小し、階層データ４００の画像内で矢印Ｈのように視点を移動させたあと、表示を戻す入力を行ったら、パンくずリスト４０８から画像４１０の情報を読み出し、矢印Ｉのように視点を移動させる。
【０１１７】
このような動作によって、同一階層データ内でユーザがいかなる視点の移動を行ったかに関わらず、表示を戻す指示入力のみで、同階層データにおいて最低の解像度の画像を表示させることができる。低解像度の画像は、当該階層データの全体を見渡しやすい画像であるとともに、一つ上の階層データへ即座に表示を切り替えることのできる画像である。ユーザは、いきなり初期画像まで戻ってしまうなど大幅な画像の変化によって思考が途切れることなく、階層データごとに統一された画像まで小幅に縮小することができ、移動先を見失わずに効率よく所望の領域へ到達できる。また、戻す指示入力を２回連続して行えば、２つ前の階層データまで戻れる、といったように、視点の移動履歴をおよそ辿りながら段階的に元に戻すことができる。
【０１１８】
なお、図２０の例では、各階層データのうち最低解像度の画像の情報をパンくずリストとして記憶したが、視点の範囲ごとに、最も低解像度の一の基準表示領域を定めればよく、例えば同じ階層データ内で複数の基準表示領域を定めてもよい。この場合も、視点が新たな範囲に入ったら当該範囲に対応する基準表示領域に係る情報をパンくずリストに書き込めば、同様の態様を実現できる。また、選択肢を強調表示する図１９の態様と組み合わせてもよい。この場合、画像４１０、４１２、４１４の情報に加え、選択入力がなされた時点の表示領域の情報を戻り先として記憶する。
【０１１９】
以上述べた本実施の形態によれば、表示画像の拡大縮小を含む視点の移動をきっかけとして、別の階層データへの表示の切り替え、動画再生、音声再生、ネットワーク上の別のサイトへのリンク、選択肢の強調表示などの処理を行う。これによりユーザは、画像を楽しみながら、視点の移動というより感覚的、かつ容易な操作で、所望の処理を情報処理装置に行わせることができる。またこのような多機能なコンテンツを、設定ファイルによる容易な設定で作成できる。
【０１２０】
また画像に対する視点に着目しているため、視点の位置によって細かい設定ができ、単に機能の選択／非選択の２値判定でなく、段階的な処理が可能となる。画面が矩形領域からはみ出す割合、矩形領域が画像からはみ出す割合などを取得することにより、処理の内容に応じて適切なタイミングで所望の処理を動作させることができる。また処理の切り替えにあっては、クロスフェードなどの加工を行うことにより、切り替え前後の画像や音声をシームレスにつなげることができる。これによりユーザは、画像表示の延長上で動画再生などを気軽に試してみることができる。これらのことから、カーソルを用いて処理を選択する場合と比べ、デザイン性に優れ、かつユーザに優しいコンテンツを実現できる。
【０１２１】
さらに選択肢を強調表示して選択可能とすることにより、操作を直接的に行いたい場合にも外観上に大きな変化なく、ユーザのニーズや状況に応じた態様を実現できる。またそのような直接的な選択を行ったか否かに関わらず、現在表示中の画像より低い解像度に戻り先の表示領域を記憶しておき、入力装置の所定の操作により当該領域へ直接戻ることができるようにすることで、画像内の移動を円滑に行え、結果として所望の領域へ到達する効率が上がる。
【０１２２】
以上、本発明を実施の形態をもとに説明した。上記実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。
【０１２３】
例えば本実施の形態では、画像平面と解像度で形成する３次元の仮想空間での表示画面の移動を、画像に対する視点の移動に対応づけて説明したが、２次元の画像平面のうち表示する領域の中心位置と当該領域の大きさを変化させて表示画面とする場合も、当該表示画面を、ユーザの仮想的な視点の移動と捉えることができる。すなわち、２次元平面の表示領域の移動にも本実施の形態を適用でき、同様の効果を得ることができる。
【符号の説明】
【０１２４】
１ 情報処理システム、 １０ 情報処理装置、 １２ 表示装置、 ２０ 入力装置、 ３０ 第０階層、 ３２ 第１階層、 ３４ 第２階層、 ３６ 第３階層、 ３８ タイル画像、 ４４ 表示処理部、 ５０ ハードディスクドライブ、 ６０ メインメモリ、 ７０ バッファメモリ、 ７６ フレームメモリ、 ８０ 基準矩形、 ８２ ターゲット矩形、 ８４ 境界矩形、 ９２ リンク境界、 １００ 制御部、 １０２ 入力情報取得部、 １０３ ロード部、 １０４ 表示領域決定部、 １０６ デコード部、 １１４ 表示画像処理部、 １１６ リンク判定部、 １１７ オブジェクト実行部、 ４０８ パンくずリスト。
【技術分野】
【０００１】
本発明は、表示画像に応じたユーザの入力指示に従い情報処理を行う情報処理技術に関する。
【背景技術】
【０００２】
ゲームプログラムを実行するだけでなく、動画を再生できる家庭用エンタテインメントシステムが提案されている。この家庭用エンタテインメントシステムでは、ＧＰＵがポリゴンを用いた三次元画像を生成する（例えば特許文献１参照）。
【０００３】
一方、高精細な写真などのディジタル画像から生成された複数の解像度のタイル画像を用いて、表示画像の拡大／縮小処理や、上下左右方向の移動処理を行う技術が提案されている。この画像処理技術では、原画像サイズを複数段階に縮小して異なる解像度の画像を生成し、各階層の画像を一又は複数のタイル画像に分割して、原画像を階層構造で表現する。通常、最も解像度の低い画像は１つのタイル画像で構成され、最も解像度の高い原画像は、最も多い数のタイル画像で構成される。画像処理装置は、表示画像の拡大処理または縮小処理時に、使用しているタイル画像を、異なる階層のタイル画像に切り替えることで、拡大表示または縮小表示を迅速に行うようにしている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】米国特許第６５６３９９９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
近年は携帯端末などでも表示画面のサイズが拡大し、情報処理装置の種類によらず高精細画像を表示することが可能となってきている。そのため視覚に訴える様々なコンテンツがより身近なものとなった。しかし表示すべき情報が複雑化、高度化すると、それを使いこなすためには様々な知識が必要となってくる。このため、情報の質と操作の容易性とはトレードオフの関係にある場合が多い。また画像を含む複雑なコンテンツを作成するためにはさらに専門的な知識が必要となってくる。
【０００６】
本発明はこのような課題に鑑みてなされたものであり、その目的は、容易な操作で多様な処理を実現することのできる技術を提供することにある。
【課題を解決するための手段】
【０００７】
本発明のある態様は情報処理装置に関する。この情報処理装置は、異なる解像度の画像データを解像度順に階層化して構成される階層データを保持する記憶装置と、画像平面および画像平面からの距離によって定義される仮想空間における視点の移動要求をユーザが操作する入力装置を介して受け付ける入力情報取得部と、視点の移動要求に応じて表示する領域を変化させて階層データから表示画像を生成するとともに、ユーザが入力装置に対して特定の操作を行ったとき、表示中の画像より低い解像度を有する一の基準表示画像を階層データから生成する表示画像処理部と、を備え、基準表示画像は、画像平面からの距離が異なる複数の視点に対応する複数の領域の画像であり、前記一の基準表示画像は、表示中の画像によって基準表示画像から選択されることを特徴とする。
【０００８】
本発明の別の態様は情報処理方法に関する。この情報処理方法は、異なる解像度の画像データを解像度順に階層化して構成される階層データをメモリより読み出し表示装置に出力するステップと、画像平面および画像平面からの距離によって定義される仮想空間における視点の移動要求をユーザが操作する入力装置を介して受け付けるステップと、視点の移動要求に応じて表示装置に表示する領域を変化させるステップと、ユーザが入力装置に対して特定の操作を行ったとき、表示中の画像より低い解像度を有する一の基準表示画像を階層データから生成するステップと、基準表示画像は、画像平面からの距離が異なる複数の視点に対応する複数の領域の画像であり、前記一の基準表示画像は、表示中の画像によって前記基準表示画像から選択されることを特徴とする。
【０００９】
本発明の別の態様はコンテンツのデータ構造に関する。このコンテンツのデータ構造は、異なる解像度の画像データを解像度順に階層化して構成される階層データと、階層データに含まれる画像データであって、階層データから生成した画像を表示中に、ユーザが入力装置に対して特定の操作を行ったときに、当該表示中の画像の領域に応じて、その後の表示対象として選択される、解像度の異なる複数の基準表示画像の情報と、を対応づけたことを特徴とする。
【００１０】
なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システム、コンピュータプログラム、コンピュータプログラムを記録した記録媒体などの間で変換したものもまた、本発明の態様として有効である。
【発明の効果】
【００１１】
本発明によると、容易に表示画像を操作することができる。
【図面の簡単な説明】
【００１２】
【図１】本発明の実施の形態にかかる画像処理システムの使用環境を示す図である。
【図２】図１の画像処理システムに適用できる入力装置の外観構成を示す図である。
【図３】本実施の形態において使用する画像データの階層構造例を示す図である。
【図４】本実施の形態における情報処理装置の構成を示す図である。
【図５】本実施の形態における画像データの流れを模式的に示す図である。
【図６】本実施の形態において表示対象となる複数の階層データの関係を模式的に示す図である。
【図７】本実施の形態における制御部の構成を詳細に示す図である。
【図８】本実施の形態におけるターゲット矩形および境界矩形の定義例を示す図である。
【図９】本実施の形態における境界矩形の倍率の定義例を示す図である。
【図１０】本実施の形態における、画面が境界矩形からはみ出す割合を表すパラメータ「ｏｖｅｒｓｈｏｏｔ」の定義を説明する図である。
【図１１】本実施の形態における、境界矩形が画面からはみ出す割合を表すパラメータ「ｉｎｖｉｓｉｂｉｌｉｔｙ」の定義を説明する図である。
【図１２】本実施の形態において設定ファイルのＸＭＬでの記述例を示す図である。
【図１３】本実施の形態におけるターゲット矩形、境界矩形、およびリンク境界の関係を示す図である。
【図１４】本実施の形態においてパラメータ「ｍａｘ＿ｏｖｅｒｓｈｏｏｔ」を変化させたときのリンク境界の変化を説明するための図である。
【図１５】本実施の形態においてパラメータ「ｍａｘ＿ｉｎｖｉｓｉｂｉｌｉｔｙ」を変化させたときのリンク境界の変化を説明するための図である。
【図１６】本実施の形態において情報処理装置によって表示装置に表示される画像の例を示す図である。
【図１７】本実施の形態において埋め込みオブジェクトとして動画再生の処理を実施する処理手順を示すフローチャートである。
【図１８】本実施の形態において埋め込みオブジェクトとしてストアリンクを動作させる際に表示する画像の例を示す図である。
【図１９】本実施の形態において、埋め込みオブジェクトとして選択受付表示を行った場合の情報処理装置の処理手順を示すフローチャートである。
【図２０】本実施の形態において、視点を任意に移動させたときに表示領域を戻す態様を説明するための図である。
【発明を実施するための形態】
【００１３】
図１は、本発明の実施の形態にかかる情報処理システム１の使用環境を示す。情報処理システム１は、画像処理、動画再生、音声再生、通信などの機能の少なくともいずれかを含むコンテンツを処理する情報処理装置１０と、情報処理装置１０による処理結果を出力する表示装置１２とを備える。表示装置１２は、画像を出力するディスプレイおよび音声を出力するスピーカを有するテレビであってよい。表示装置１２は、情報処理装置１０に有線ケーブルで接続されてよく、また無線ＬＡＮ（Local Area Network）などにより無線接続されてもよい。
【００１４】
情報処理システム１において、情報処理装置１０は、ケーブル１４を介してインターネットなどの外部ネットワークに接続し、階層化された圧縮画像のデータを含むコンテンツのソフトウェアなどをダウンロードして取得してもよい。なお情報処理装置１０は、無線通信により外部ネットワークに接続してもよい。
【００１５】
なお情報処理装置１０は、ゲーム装置やパーソナルコンピュータなどであってもよく、ソフトウェアを各種記録媒体からロードすることで後述する機能を実現してもよい。本実施の形態では、後述する画像処理機構によって、表示装置１２に表示した画像をユーザインターフェースとする。ユーザは入力装置によって表示画像を変化させることにより、情報処理装置１０に対し指示入力を行う。当該指示入力に対し情報処理装置１０が実行する処理は、コンテンツによって異なってよい。具体例は後に述べる。
【００１６】
ユーザが、表示装置１２に表示された画像を見ながら、表示領域の拡大／縮小、上下左右方向へのスクロールを要求する入力を入力装置に対して行うと、入力装置はそれに応じて、表示領域の移動および拡大縮小の要求信号を情報処理装置１０に送信する。情報処理装置１０は当該信号に応じて、表示装置１２の画面内の画像を変化させる。このような表示領域の移動および拡大縮小は、ユーザの仮想的な視点の移動とも捉えることができるため、以後、「視点の移動」と総称する。情報処理装置１０はさらに、あらかじめ定めた規則に従い、画像中の所定の領域と対応づけられた処理を実行する。例えばユーザが所定の領域をズームアップすると、情報処理装置１０は当該領域に対応づけておいた動作を開始する。
【００１７】
図２は、入力装置２０の外観構成例を示す。入力装置２０は、ユーザが操作可能な操作手段として、十字キー２１、アナログスティック２７ａ、２７ｂと、４種の操作ボタン２６を備える。４種の操作ボタン２６は、○ボタン２２、×ボタン２３、□ボタン２４および△ボタン２５で構成される。
【００１８】
情報処理システム１において、入力装置２０の操作手段には、視点の移動、すなわち表示領域の拡大／縮小要求、および上下左右方向へのスクロール要求を入力するための機能が割り当てられる。たとえば、表示領域の拡大／縮小要求の入力機能は、右側のアナログスティック２７ｂに割り当てられる。ユーザはアナログスティック２７ｂを手前に引くことで、表示領域の縮小要求を入力でき、また手前から押すことで、表示領域の拡大要求を入力できる。また、表示領域のスクロールの入力機能は、十字キー２１に割り当てられる。ユーザは十字キー２１を押下することで、十字キー２１を押下した方向へのスクロール要求を入力できる。なお、視点移動要求の入力機能は別の操作手段に割り当てられてもよく、たとえばアナログスティック２７ａに、スクロール要求の入力機能が割り当てられてもよい。
【００１９】
入力装置２０は、入力された視点移動要求信号を情報処理装置１０に伝送する機能をもち、本実施の形態では情報処理装置１０との間で無線通信可能に構成される。入力装置２０と情報処理装置１０は、Bluetooth（ブルートゥース）（登録商標）プロトコルやIEEE802.11プロトコルなどを用いて無線接続を確立してもよい。なお入力装置２０は、情報処理装置１０とケーブルを介して接続して、視点移動要求信号を情報処理装置１０に伝送してもよい。
【００２０】
図３は、本実施の形態において使用する画像データの階層構造例を示す。画像データは、深さ（Ｚ軸）方向に、第０階層３０、第１階層３２、第２階層３４および第３階層３６からなる階層構造を有する。なお同図においては４階層のみ示しているが、階層数はこれに限定されない。以下、このような階層構造をもつ画像データを「階層データ」とよぶ。
【００２１】
図３に示す階層データは４分木の階層構造を有し、各階層は、１以上のタイル画像３８で構成される。すべてのタイル画像３８は同じ画素数をもつ同一サイズに形成され、たとえば２５６×２５６画素を有する。各階層の画像データは、一つの画像を異なる解像度で表現しており、最高解像度をもつ第３階層３６の原画像を複数段階に縮小して、第２階層３４、第１階層３２、第０階層３０の画像データが生成される。たとえば第Ｎ階層の解像度（Ｎは０以上の整数）は、左右（Ｘ軸）方向、上下（Ｙ軸）方向ともに、第（Ｎ＋１）階層の解像度の１／２であってよい。
【００２２】
情報処理装置１０において、階層データは、所定の圧縮形式で圧縮された状態で記憶装置に保持されており、コンテンツの起動に際し記憶装置から読み出されてデコードされる。本実施の形態の情報処理装置１０は、複数種類の圧縮形式に対応したデコード機能を有し、たとえばＳ３ＴＣ形式、ＪＰＥＧ形式、ＪＰＥＧ２０００形式の圧縮データをデコード可能とする。階層データにおいて、圧縮処理は、タイル画像単位に行われていてもよく、また同一階層または複数の階層に含まれる複数のタイル画像単位に行われていてもよい。
【００２３】
階層データの階層構造は、図３に示すように、左右方向をＸ軸、上下方向をＹ軸、深さ方向をＺ軸として設定され、仮想的な３次元空間を構築する。情報処理装置１０は、入力装置２０から供給される視点移動要求信号から表示領域の移動量を導出すると、その移動量を用いて仮想空間におけるフレームの４隅の座標（フレーム座標）を導出する。仮想空間におけるフレーム座標は、表示画像の生成処理に利用される。なお、仮想空間におけるフレーム座標の代わりに、情報処理装置１０は、階層を特定する情報と、その階層におけるテクスチャ座標（ＵＶ座標）を導出してもよい。以下、階層特定情報およびテクスチャ座標の組み合わせも、フレーム座標と呼ぶ。
【００２４】
階層データに含まれる各階層の画像データは仮想空間のＺ軸に対して離散的に存在する。そのため、画像データがない階層間の縮尺率で画像を表示する場合は、Ｚ軸方向で近傍にある画像データを用いる。例えば、表示画像の縮尺率が第２階層３４の近傍にある場合、表示画像は当該第２階層の画像データを用いて作成する。これを実現するためには、各階層の間、例えば中間にソース画像の切り替え境界を設定する。表示画像の縮尺率が当該切り替え境界を越えると、表示画像の生成に用いる画像データを切り替え、当該画像を拡大したり縮小したりして表示する。
【００２５】
図４は情報処理装置１０の構成を示している。情報処理装置１０は、無線インタフェース４０、スイッチ４２、表示処理部４４、ハードディスクドライブ５０、記録媒体装着部５２、ディスクドライブ５４、メインメモリ６０、バッファメモリ７０および制御部１００を有して構成される。表示処理部４４は、表示装置１２のディスプレイに表示するデータをバッファするフレームメモリを有する。
【００２６】
スイッチ４２は、イーサネットスイッチ（イーサネットは登録商標）であって、外部の機器と有線または無線で接続して、データの送受信を行うデバイスである。スイッチ４２は、ケーブル１４を介して外部ネットワークに接続し、階層化された圧縮画像データと、当該画像を用いて様々な機能を実現するための設定ファイルとを含むコンテンツファイルを受信してもよい。コンテンツファイルには、様々な機能を実行するために必要なデータ、例えば圧縮符号化された動画データ、音楽データ、ウェブサイトの名前とＵＲＬ（Uniform Resource Locator）との対応づけデータなどがさらに含まれていてもよい。
【００２７】
またスイッチ４２は無線インタフェース４０に接続し、無線インタフェース４０は、所定の無線通信プロトコルで入力装置２０と接続する。入力装置２０においてユーザから入力された視点移動要求信号は、無線インタフェース４０、スイッチ４２を経由して、制御部１００に供給される。
【００２８】
ハードディスクドライブ５０は、データを記憶する記憶装置として機能する。スイッチ４２を介して受信された各種データは、ハードディスクドライブ５０に格納される。記録媒体装着部５２は、メモリカードなどのリムーバブル記録媒体が装着されると、リムーバブル記録媒体からデータを読み出す。ディスクドライブ５４は、読み出し専用のＲＯＭディスクが装着されると、ＲＯＭディスクを駆動して認識し、データを読み出す。ＲＯＭディスクは、光ディスクや光磁気ディスクなどであってよい。コンテンツファイルはこれらの記録媒体に格納されていてもよい。
【００２９】
制御部１００は、マルチコアＣＰＵを備え、１つのＣＰＵの中に１つの汎用的なプロセッサコアと、複数のシンプルなプロセッサコアを有する。汎用プロセッサコアはＰＰＵ（Power Processing Unit）と呼ばれ、残りのプロセッサコアはＳＰＵ（Synergistic-Processing Unit）と呼ばれる。
【００３０】
制御部１００は、メインメモリ６０およびバッファメモリ７０に接続するメモリコントローラを備える。ＰＰＵはレジスタを有し、演算実行主体としてメインプロセッサを備えて、実行するアプリケーションにおける基本処理単位としてのタスクを各ＳＰＵに効率的に割り当てる。なお、ＰＰＵ自身がタスクを実行してもよい。ＳＰＵはレジスタを有し、演算実行主体としてのサブプロセッサとローカルな記憶領域としてのローカルメモリを備える。ローカルメモリは、バッファメモリ７０として使用されてもよい。
【００３１】
メインメモリ６０およびバッファメモリ７０は記憶装置であり、ＲＡＭ（ランダムアクセスメモリ）として構成される。ＳＰＵは制御ユニットとして専用のＤＭＡ（Direct Memory Access）コントローラをもち、メインメモリ６０とバッファメモリ７０の間のデータ転送を高速に行うことができ、また表示処理部４４におけるフレームメモリとバッファメモリ７０の間で高速なデータ転送を実現できる。本実施の形態の制御部１００は、複数のＳＰＵを並列動作させることで、高速な画像処理機能を実現する。表示処理部４４は、表示装置１２に接続されて、ユーザからの要求に応じた処理結果を出力する。
【００３２】
本実施の形態の情報処理装置１０は、視点の移動に伴い表示画像を円滑に変更するために、あらかじめ圧縮画像データの少なくとも一部をハードディスクドライブ５０からメインメモリ６０にロードしておいてもよい。また、ユーザからの視点移動要求をもとに、将来表示させる領域を予測し、メインメモリ６０にロードした圧縮画像データのさらに一部をデコードしてバッファメモリ７０に格納してもよい。これにより、後の必要なタイミングで、表示画像の生成に使用する画像を瞬時に切り替えることが可能となる。
【００３３】
図５は本実施の形態における画像データの流れを模式的に示している。まずコンテンツファイルに含まれる階層データはハードディスクドライブ５０に格納されている。ハードディスクドライブ５０に代わり、記録媒体装着部５２やディスクドライブ５４に装着された記録媒体が保持していてもよい。あるいは、情報処理装置１０がネットワークを介して接続した画像サーバから階層データをダウンロードするようにしてもよい。ここでの階層データは上述のとおり、Ｓ３ＴＣ形式などによる固定長圧縮、あるいはＪＰＥＧ形式などによる可変長圧縮がなされている。
【００３４】
この階層データのうち、一部の画像データを圧縮した状態のままメインメモリ６０にロードする（Ｓ１０）。ここでロードする領域は、現在の表示画像の仮想空間における近傍や、画像の内容、ユーザの閲覧履歴等に基づいて、高頻度で表示要求がなされると予測される領域など、あらかじめ定めた規則によって決定する。ロードは、視点移動要求がなされたときのみならず、例えば所定の時間間隔で随時行う。これによりロード処理が一時期に集中しないようにする。
【００３５】
次に、メインメモリ６０に格納されている圧縮画像データのうち、表示に必要な領域の画像、または必要と予測される領域の画像のデータをデコードし、バッファメモリ７０に格納する（Ｓ１２）。バッファメモリ７０は、少なくとも２つのバッファ領域７２、７４を含む。各バッファ領域７２、７４のサイズは、フレームメモリ７６のサイズよりも大きく設定され、入力装置２０から視点移動の要求信号が入力された場合に、ある程度の量の移動に対しては、バッファ領域７２、７４に展開した画像データで表示画像を生成できるようにする。
【００３６】
バッファ領域７２、７４の一方は、表示画像の生成に用いる画像を保持するために利用される表示用バッファであり、他方は、以後、必要と予測される画像を準備するために利用されるデコード用バッファである。図５の例では、バッファ領域７２が表示用バッファ、バッファ領域７４がデコード用バッファで、表示領域６８が表示されているものとする。
【００３７】
次に、表示用バッファであるバッファ領域７２に格納された画像のうち表示領域６８の画像を、フレームメモリ７６に描画する（Ｓ１４）。この間に、新たな領域の画像が必要に応じてデコードされ、バッファ領域７４に格納される。格納が完了したタイミングや表示領域６８の移動量などに応じて、表示用バッファとデコード用バッファを切り替える（Ｓ１６）。これにより、表示領域の移動や縮尺率の変更などに対し表示画像をスムーズに切り替えることができる。
【００３８】
これまで述べた処理は、ある画像の表示領域の移動、拡大縮小を行うために、図３で示したような一つの階層データによって構成される仮想空間において、ユーザからの視点移動要求に従いフレーム座標を移動させる態様であった。一方、複数の階層データを表示対象として用意し、表示画像が階層データ間を行き来するようにしてもよい。図６はそのような態様において表示対象となる複数の階層データの関係を模式的に示している。
【００３９】
図中、２つの三角形は異なる階層データ１５０および１５２を示している。それぞれの階層データ１５０、１５２は実際には、図３に示すように解像度の異なる複数の画像データが図のＺ軸方向に離散的に存在する構成を有する。ユーザが入力装置２０によって表示領域の拡大／縮小を要求すると、表示領域、ひいては視点が、図のＺ軸方向に移動することになる。一方、表示領域を上下左右に移動させる要求を行うと、図の水平面を移動することになる。このような仮想空間において、２つの階層データ１５０および１５２が図のように重なり合った画像データを構築する。
【００４０】
そして階層データ１５０の画像を表示中、ユーザが継続的に拡大要求を行うと、視点が矢印ａのように移動し、階層データ１５２の領域に入る、すなわち階層データ間を移動することになる。異なる階層データの領域に進入すると、表示画像を生成するためのデータが階層データ１５０から階層データ１５２へと切り替わる。この処理は、これまで述べた画像表示の処理手順において、メインメモリ６０へロードする対象の階層データを変更するのみで実現できる。
【００４１】
図６のような複数の階層データからなる画像データを構築するために、階層データ１５０と階層データ１５２を切り替えるときの画像の解像度および位置をあらかじめ設定しておく。この設定は図６中、線１５４で表され、これにより階層データの重なり具合が決定できる。同図の例では、Ｚ軸がｚ１なる解像度、線１５４が表す位置において、階層データ１５０から階層データ１５２への切り替えが行われる。以後、このような階層データ間の切り替えを「リンク」と呼ぶ。なお切り替えを行う階層データの画像は縮尺率の異なる同一の画像でもよいし、全く異なる画像でもよい。
【００４２】
さらに、階層データ１５２への表示画像の切り替えに代わり、動画再生、音声再生、表示の加工、表示領域の移動、といった処理を行うようにしてもよい。この場合も、線１５４のように、階層データ１５０に対しリンクポイントを設定しておき、視点が当該ポイントに到達したらそれに対応づけておいた処理を開始する。
【００４３】
このようにすると、ユーザが階層データ１５０の画像を見ながら、ある領域に視点を近づけていくと、その領域に対応づけた情報が表示されたり、動画再生がなされたりする、といった態様を実現できる。このようなポイントを一つの画像データに複数設定すれば、複数の処理の中から選択して動作させるメニュー画面を構築することができる。このように、視点の移動により開始する処理を「埋め込みオブジェクト」と呼ぶ。そして画像データと埋め込みオブジェクトとの関連づけもまた、「リンク」と呼ぶ。
【００４４】
図７は制御部１００の構成を詳細に示している。制御部１００は入力装置２０からユーザが入力した情報を取得する入力情報取得部１０２、表示対象の階層データをハードディスクドライブ５０からロードするロード部１０３、入力に応じて表示領域を決定する表示領域決定部１０４、圧縮画像データをデコードするデコード部１０６、表示画像を描画する表示画像処理部１１４を含む。制御部１００はさらに、視点が設定されたリンクの条件を満たしているか判定するリンク判定部１１６、埋め込みオブジェクトを実行するオブジェクト実行部１１７を含む。
【００４５】
図７において、さまざまな処理を行う機能ブロックとして記載される各要素は、ハードウェア的には、ＣＰＵ（Central Processing Unit）、メモリ、その他のＬＳＩで構成することができ、ソフトウェア的には、メモリにロードされたプログラムなどによって実現される。既述したように、制御部１００は１つのＰＰＵと複数のＳＰＵとを有し、ＰＰＵおよびＳＰＵがそれぞれ単独または協同して、各機能ブロックを構成できる。したがって、これらの機能ブロックがハードウェアのみ、ソフトウェアのみ、またはそれらの組合せによっていろいろな形で実現できることは当業者には理解されるところであり、いずれかに限定されるものではない。
【００４６】
ハードディスクドライブ５０には、階層データ、当該階層データに設定されたリンクの情報などを記載した設定ファイルを含むコンテンツファイルを格納しておく。複数の階層データからなる画像データを表示する場合は、複数の階層データとそれぞれに対応する設定ファイルを格納する。コンテンツファイルにはさらに、埋め込みオブジェクトの処理に必要な動画データ、音声データ、画像モジュールデータ、ゲームなどのアプリケーションプログラムなどを必要に応じて含めてよい。
【００４７】
入力情報取得部１０２は、入力装置２０のユーザによる操作に従い、コンテンツの起動／終了、視点の移動などの要求に係る情報を入力装置２０より取得し、当該情報を必要に応じて表示領域決定部１０４、ロード部１０３に通知する。ロード部１０３は、入力情報取得部１０２からコンテンツの起動要求がなされたことを通知されたら、コンテンツの初期画像の階層データおよびその設定ファイルをハードディスクドライブ５０から読み出し、メインメモリ６０に格納する。
【００４８】
ロード部１０３はさらに、視点の移動先の階層データや埋め込みオブジェクトの実行に必要なデータなどを、必要に応じてハードディスクドライブ５０から読み出し、メインメモリ６０に格納する。表示領域決定部１０４は、入力情報取得部１０２から視点の移動要求がなされたことを通知されたら、視点の移動量を階層データの仮想空間における座標に変換し、表示すべき移動先のフレーム座標を決定する。
【００４９】
デコード部１０６は、メインメモリ６０から圧縮画像データの一部を読み出しデコードし、バッファメモリ７０にデコード後のデータを格納する。デコード部１０６がデコードするデータは、表示領域を含む所定サイズの画像データでよい。あらかじめ広範囲の画像データをデコードし、バッファメモリ７０に格納しておくことにより、メインメモリ６０からの読み出し回数を削減でき、円滑な視点移動を実現できる。
【００５０】
表示画像処理部１１４は、表示領域決定部１０４が決定した、表示すべき領域のフレーム座標を取得し、バッファメモリ７０から対応する画像データを読み出し、表示処理部４４のフレームメモリ７６に描画する。リンク判定部１１６は、メインメモリ６０に格納した、表示中の階層データに対応づけられた設定ファイルを参照し、移動先の視点がリンクの条件を満たしているか否かを判定する。本実施の形態で設定するリンク先は上述のとおり、別の階層データへのリンクと、埋め込みオブジェクトへのリンクがある。
【００５１】
オブジェクト実行部１１７は、リンク判定部１１６が埋め込みオブジェクトへのリンク条件を満たすと判定した場合に、該当する埋め込みオブジェクトを実行する。当該埋め込みオブジェクトを実行するためのプログラムやデータがメインメモリ６０に格納されていなければ、ロード部１０３がハードディスクドライブ５０からメインメモリ６０へロードする。オブジェクト実行部１１７が実行する処理の内容は限定されない。したがってオブジェクト実行部１１７は、視点の位置および設定ファイルの設定に従い、異なる種類の処理を適宜実行してよい。
【００５２】
埋め込みオブジェクトの一つとして、表示中の画像に加工を施す場合は、オブジェクト実行部１１７が表示画像処理部１１４へその旨の要求を行い、表示画像処理部１１４が加工画像を描画する。また、埋め込みオブジェクトの一つとして、表示中の画像に対する視点を移動させる場合は、オブジェクト実行部１１７が表示領域決定部１０４にその旨の要求を行い、表示領域決定部１０４が移動先の表示領域を決定する。動画再生や音声再生を行う場合は、オブジェクト実行部１１７がメインメモリ６０より動画データ、音声データを読み出し、デコードして表示処理部４４に出力したり、表示装置１２のスピーカに出力したりする。
【００５３】
リンク判定部１１６によって、別の階層データへのリンク条件を満たすと判定された場合は、メインメモリ６０にリンク先の階層データが格納されていなければロード部１０３がハードディスクドライブ５０よりロードする。表示領域決定部１０４は、リンク判定部１１６から当該判定結果を取得し、フレーム座標をリンク先の階層データのものに変換し、当該階層データの識別情報とともにデコード部１０６に通知する。デコード部１０６はそれに応じて、リンク先の階層データを処理対象とする。
【００５４】
次に設定ファイルの設定例について説明する。図８〜１１は設定ファイルにおける各データの定義例を説明する図である。図８はターゲット矩形および境界矩形の定義例を示している。図中、ターゲット矩形８２は、画像中、リンクを設定する対象が表示されている領域、あるいはそれに外接する矩形領域である。境界矩形８４は、リンクを有効とする視点の範囲を表す矩形である。すなわち、境界矩形８４に視点が入った場合、ターゲット矩形８２に対するリンクが有効となり、リンク先の別の階層のデータへ表示を切り替えたり、埋め込みオブジェクトが作動したりする。
【００５５】
この例では、左上の頂点の座標を（０，０）、右下の頂点の座標を（Ｗ，Ｈ）とする基準座標系を表す基準矩形８０に対し、ターゲット矩形８２および境界矩形８４を設定している。ここで基準矩形８０は表示対象の画像全体ととらえることができ、座標の単位は例えば画素数とすることができる。まず、基準矩形８０の左上の頂点（０，０）からターゲット矩形８２の中心までの距離をパラメータ「ｃｅｎｔｅｒ」、ターゲット矩形８２の高さをパラメータ「ｈｅｉｇｈｔ」、幅をパラメータ「ｗｉｄｔｈ」とし、これら３つのパラメータでターゲット矩形８２を定義する。
【００５６】
また、ターゲット矩形８２の中心から境界矩形８４の中心までの距離をパラメータ「ｏｆｆｓｅｔ」、ターゲット矩形８２に対する境界矩形８４の倍率をパラメータ「ｓｃａｌｅ」とし、これら２つのパラメータで境界矩形８４を定義する。このとき図に示すように、境界矩形８４の高さはｈｅｉｇｈｔ×ｓｃａｌｅ、幅はｗｉｄｔｈ×ｓｃａｌｅとなる。なおパラメータ「ｃｅｎｔｅｒ」およびパラメータ「ｏｆｆｓｅｔｔ」は横方向、縦方向の成分を有するが同図ではそれをまとめて表している。
【００５７】
図９は境界矩形の倍率の定義例を示している。本実施の形態では、単にある平面上で表示領域を移動するのみならず、画像を拡大、縮小させる、という上記仮想空間内でのＺ軸方向の動きを受け付ける。そこでその動きをリンクの設定に活かすことにより、豊富なバリエーションでユーザが理解しやすいリンクをきめ細かく設定することが可能になる。その設定手法のひとつとして、境界矩形の倍率に上限や下限を設定可能とする。
【００５８】
図９において高さｈ、幅ｗの矩形は表示装置の画面８６を表す。このとき、境界矩形８４を画面８６のアスペクト比、すなわちｈ：ｗになるように縦方向または横方向に伸長した矩形８８の、画面８６に対する倍率を、境界矩形８４の倍率を表すパラメータ「ｚｏｏｍ」とする。このとき、図に示すように矩形８８の縦および横の長さはそれぞれｈ×ｚｏｏｍ、ｗ×ｚｏｏｍとなる。
【００５９】
図１０、１１は境界矩形と画面に映る領域（以後、単に「画面」と呼ぶ）との位置関係の定義例を示している。図１０は、画面が境界矩形からはみ出す割合を表すパラメータ「ｏｖｅｒｓｈｏｏｔ」の定義を説明する図である。図中、画面として３つのパターン、画面８６ａ、画面８６ｂ、画面８６ｃを示している。同図において、「ａ」は画面が境界矩形８４から横方向にはみ出した長さ（画面８６ａ、８６ｂ）、「ｂ」は縦方向にはみ出した長さ（画面８６ｃ）である。このときパラメータ「ｏｖｅｒｓｈｏｏｔ」をｍａｘ（ａ／ｗ，ｂ／ｈ）と定義する。すなわち横方向、縦方向のいずれかにはみ出しているときはその方向における、はみ出した長さ（ａまたはｂ）の画面の長さ（ｗまたはｈ）に対する割合、両方向にはみ出しているときはその割合の大きい方とする。
【００６０】
図１１は、境界矩形が画面からはみ出す割合を表すパラメータ「ｉｎｖｉｓｉｂｉｌｉｔｙ」の定義を説明する図である。図中、境界矩形として３つのパターン、境界矩形８４ａ、境界矩形８４ｂ、境界矩形８４ｃを示している。同図において、「ｃ」は境界矩形が画面８６から横方向にはみ出した長さ（境界矩形８４ａ、８４ｂ）、「ｄ」は縦方向にはみ出した長さ（画面８６ｃ）である。このときパラメータ「ｉｎｖｉｓｉｂｉｌｉｔｙ」をｍａｘ（ｃ／ｗｉｄｔｈ×ｓｃａｌｅ，ｄ／ｈｅｉｇｈｔ×ｓｃａｌｅ）と定義する。すなわち横方向、縦方向のいずれかにはみ出しているときはその方向における、はみ出した長さ（ｃまたはｄ）の境界矩形の長さ（ｗｉｄｔｈ×ｓｃａｌｅまたはｈｅｉｇｈｔ×ｓｃａｌｅ）に対する割合、両方向にはみ出しているときはその割合の大きい方とする。
【００６１】
図１２は上記のようなパラメータを用いた設定ファイルとして、ＸＭＬでの記述例を示している。設定ファイル例２００において（１）〜（４）行目は、対応する階層データのホームポジションに係る記述であり、（３）行目の「ｖｉｅｗ」属性において、パラメータ「ｚｏｏｍ」によりホームポジション表示時の倍率を設定している。ここで「ホームポジション」とは、コンテンツの初期画像であり、さらに、入力装置２０の所定のボタンを押下することにより表示させることが可能な表示領域である。この例では、０．８５倍の倍率での画像をホームポジションとして設定している。
【００６２】
（６）〜（９）行目は表示が可能な範囲に係る記述であり、（８）行目の「ｂｏｕｎｄａｒｙ」属性で視点の範囲を設定している。ここでパラメータ「ｓｔｒｅｔｃｈ」は、階層データのうち最も高解像度の階層の１画素が、画面上で何画素に引き延ばされるかを表す倍率、すなわち表示装置の解像度と画像の解像度の比率である。例えば１９２０×１０８０画素の解像度を有する表示装置に、全体で１９２００×１０８００画素の画像のうち９６０×５４０画素の領域を表示する場合、パラメータ「ｓｔｒｅｃｈ」は「２．０」となる。図１２の例では当該パラメータに対する上限を「ｍａｘ＿ｓｔｒｅｔｃｈ」として設定している。
【００６３】
このような設定を行うことにより、画面上に表示可能な最大倍率は表示装置の解像度によって自動で調整されることになり、表示装置の解像度によらず同様の画質で画像を表示することができる。また表示可能な範囲としてさらに、上述のパラメータ「ｚｏｏｍ」の下限値である「ｍｉｎ＿ｚｏｏｍ」と上述のパラメータ「ｏｖｅｒｓｈｏｏｔ」の上限値である「ｍａｘ＿ｏｖｅｒｓｈｏｏｔ」を設定している。ここでは、パラメータ「ｚｏｏｍ」によって定義される倍率の下限を「０．８５」、画面が画像からはみ出す割合を「０．５」としている。ユーザはこれらの設定の範囲内で、表示領域の移動、拡大／縮小を行うことができる。
【００６４】
（１１）〜（１６）行目は、別の階層データへのリンクに係る記述である。（１２）、（１３）行目は当該リンクのターゲット矩形を設定しており、「ｔａｒｇｅｔ」属性でリンク先の設定ファイルのパスを、「ｄｉｒｅｃｔｉｏｎ」属性で拡大、縮小のいずれの方向でリンク先の階層データへ切り替えるかを設定している。図１２の例では、リンク先の階層データの属性ファイルを「ａ．ｘｍｌ」、リンクの方向が「ｆｏｒｗａｒｄ」、すなわち拡大していく際に切り替える設定としている。なお属性ファイルと階層データは、例えば拡張子を除くファイル名を統一することによって対応づければよい。
【００６５】
さらにターゲット矩形の位置を、上述のパラメータ「ｃｅｎｔｅｒ」の横方向成分、縦方向成分である「ｃｅｎｔｅｒ＿ｘ」、「ｃｅｎｔｅｒ＿ｙ」で設定し、大きさを、上述のパラメータ「ｗｉｄｔｈ」および「ｈｉｇｈｔ」で設定している。
【００６６】
また（１４）、（１５）行目は「ｂｏｕｎｄａｒｙ」属性で当該リンクを有効とする「リンク境界」を設定している。「リンク境界」は、画像平面における「境界矩形」を「ｂｏｕｎｄａｒｙ」属性における設定により仮想空間のＺ軸方向に拡張したものであり、視点がリンク境界に入ったらリンクの条件を満たしている、とする。（１４）行目で「ａｃｔｉｏｎ」属性を「ｊｕｍｐ」とすることで、この設定のリンク境界内に視点が移動した場合に階層データの切り替えを行う設定としている。
【００６７】
図１３はターゲット矩形８２、境界矩形８４、およびリンク境界の関係を示している。同図においてターゲット矩形８２を含む水平面が画像平面、縦方向が図の拡大、縮小、すなわち画像平面に対する視点の距離を表している。ターゲット矩形８２に内接する矩形９０がリンク先の階層データの画像である。また、境界矩形８４はターゲット矩形８２の画像平面において図９のように設定する。
【００６８】
本実施の形態では図のような空間を視点が移動し、ターゲット矩形８２に近づいたときにリンクを有効とする。従って画像平面上での位置のみならず、視点の近さによってもリンクの有効、無効を設定できる。そのため同図に示すようにリンク境界は画像平面に対し立体的になる。
【００６９】
図１２に戻り、設定ファイルの（１５）行目は、境界矩形の大きさを上述のパラメータ「ｓｃａｌｅ」で、位置を上述のパラメータ「ｏｆｆｓｅｔ」の横方向成分、縦方向成分である「ｏｆｆｓｅｔ＿ｘ」、「ｏｆｆｓｅｔ＿ｙ」で設定している。さらに視点の近さによってリンク境界を定義するために、画面が境界矩形からはみ割合の上限「ｍａｘ＿ｏｖｅｒｓｈｏｏｔ」および境界矩形の最小倍率「ｍｉｎ＿ｚｏｏｍ」を設定している。パラメータ「ｍａｘ＿ｏｖｅｒｓｈｏｏｔ」の設定による効果については後に説明する。
【００７０】
（１８）〜（２３）行目は、埋め込みオブジェクトのうち動画再生に係る記述である。（１９）行目では「ｓｏｕｒｃｅ」属性で埋め込む動画ファイルを「ｂ．ｍｐ４」と設定している。（２０）行目では（１３）行目と同様にターゲット矩形を設定している。また（２１）、（２２）行目は、「ｂｏｕｎｄａｒｙ」属性で動画再生を実施するリンク境界を設定している。リンク境界は図１３で示したのと同様である。動画はターゲット矩形の中央に内接する位置と大きさで表示する。
【００７１】
ここで「ａｃｔｉｏｎ」属性を「ｓｈｏｗ」としている（２１）行目は、実際に動画像を表示する前に予備的な画像へ表示を切り替える条件を設定している。予備的な画像表示としては例えば動画の第１フレームを静止画像として表示する。「ａｃｔｉｏｎ」属性を「ｐｌａｙ」としている（２２）行目は、動画を再生して動画像として表示する条件を設定している。これにより、動画タイトルを表示したターゲット矩形をズームアップしていくとまず第１フレームの静止画像が表示され、さらに拡大すると動画が再生される、といった態様を実現できる。
【００７２】
図１２の設定例はこのような場合であり、パラメータ「ｍｉｎ＿ｚｏｏｍ」が「０．２０」のとき第１フレームを表示（（２１）行目）、パラメータ「ｍｉｎ＿ｚｏｏｍ」が「０．３５」のとき動画再生としている。このように２段階の動作を設定可能とすることにより、視点を近づけたのみでむやみに動画像が表示されるといった煩わしさがなくなる。また動画像を表示するまでのタイムラグを第１段階の静止画像表示で吸収することができる。動画再生のリンク境界から視点が脱した場合は動画再生も停止する。このとき、第１段階の静止画像表示に対するリンク境界に視点があるうちは、再生を停止した時点のフレームを静止画像として表示する。
【００７３】
（２１）、（２２）行目ではさらに、それぞれの「ａｃｔｉｏｎ」属性に対し、画面が境界矩形からはみ出す割合の上限「ｍａｘ＿ｏｖｅｒｓｈｏｏｔ」および、境界矩形が画面からはみ出す割合の上限「ｍａｘ＿ｉｎｖｉｓｉｂｉｌｉｔｙ」を設定している。パラメータ「ｍａｘ＿ｉｎｖｉｓｉｂｉｌｉｔｙ」の設定による効果については後に説明する。
【００７４】
（２５）〜（２９）行目は、埋め込みオブジェクトのうち音声再生に係る記述である。（２６）行目では「ｓｏｕｒｃｅ」属性で埋め込む音声ファイルを「ｃ．ｍｐ３」と設定している。（２７）行目では（２０）行目と同様に埋め込みオブジェクトのターゲット矩形を設定している。また（２８）行目は動画再生と同様、「ｂｏｕｎｄａｒｙ」属性で音声再生を実施するリンク境界を設定している。ただし「ａｃｔｉｏｎ」属性は再生を表す「ｐｌａｙ」のみ設定している。
【００７５】
音声再生も動画再生と同様、リンク境界に視点が進入すると再生が開始し、脱出すると再生を停止させる。あるいは元々別の音声が流れていれば、音声を切り替える。なお動画、音声ともに、再生を停止した際に、動画または音声のデータストリーム上の停止ポイントをメインメモリ６０などに記憶しておき、視点が再度リンク境界に進入した場合は、当該位置から再生を開始するレジューム処理を行ってもよい。
【００７６】
（３１）〜（３５）行目は、埋め込みオブジェクトのうちネットワーク上の店舗へのリンク（ストアリンク）に係る記述である。（３２）行目では「ｓｏｕｒｃｅ」属性で店舗の名称などの識別情報を「ｓｔｏｒｅ：ＡＡＡ」と設定している。（３３）行目ではこれまでと同様、ストアリンクのターゲット矩形を設定している。なお店舗の識別情報とＵＲＬなどネットワーク上の位置は、別の対応づけファイルをメインメモリ６０などに格納しておく。
【００７７】
また（３４）行目は「ｂｏｕｎｄａｒｙ」属性で店舗のサイトへの移動を可能とするリンク境界をこれまでと同様に設定している。ここで「ａｃｔｉｏｎ」属性を「ｓｈｏｗ＿ｌｉｎｋ」とすることにより、店舗へのリンクに係る処理を行う設定をしている。リンクに係る処理とは、例えば、店舗のウェブサイトへの移動が可能であることを示すインジケータの表示など、表示画像の加工である。なお（３１）〜（３５）行目の設定は、店舗へのリンクでなくてもよく、ネットワーク上で公開されている店舗以外のサイトやハードディスクに格納したファイルへのリンクなどでもよい。
【００７８】
（３７）〜（６７）行目は、埋め込みオブジェクトのうち選択受付表示に係る記述である。選択受付表示とは、リンクが設定されている領域など、拡大対象となり得る領域を選択肢として強調表示し、ユーザがそのいずれかを選択したら当該領域へ画像を移動する処理である。例えば画像内に複数のリンク設定領域がある場合、それらの領域が選択可能な倍率となった時点で各領域の色を変化させ、選択可能であることを示す。その状態で入力装置２０の十字キー２１などの方向指示キーを押下すると選択対象が移動するようにする。そして○ボタン２２などで選択操作を行うと、選択された領域が画面の中央に来るように視点を移動させたり、ズームアップしたりする。このようにすることで視点の移動を簡略化でき、所望のリンク先や画像の一部へ効率よく移動できる。
【００７９】
（３９）行目は「ｂｏｕｎｄａｒｙ」属性で選択を受け付ける「リンク境界」を設定している。設定するパラメータはこれまでの説明と同様である。（４０）〜（４３）行目、（４４）〜（４７）行目、（４８）〜（５１）行目、（５２）〜（６６）行目はそれぞれ、「ｏｐｔｉｏｎ」属性により選択肢の矩形を指定している。各選択肢は「ｆｒａｍｅ＿ｃｏｌｏｒ」属性で色の指定を行う。これにより選択肢の矩形を強調表示する。また、各矩形の位置および大きさをターゲット矩形と同様に設定する。
【００８０】
さらに、「ｖｉｅｗ」属性により、当該選択肢が選択された場合の表示における視点を設定している。設定に用いるパラメータは上述と同様である。なお（５２）〜（６６）行目の設定による選択肢には、（５５）〜（６５）行目に設定される下位の選択肢があることを示している。これを明示することにより、上位の選択肢の選択受付時には、下位の選択肢を選択肢から除外できる。
【００８１】
次にパラメータ「ｍａｘ＿ｏｖｅｒｓｈｏｏｔ」およびパラメータ「ｍａｘ＿ｉｎｖｉｓｉｂｉｌｉｔｙ」について説明する。図１４はパラメータ「ｍａｘ＿ｏｖｅｒｓｈｏｏｔ」を変化させたときのリンク境界の変化を説明するための図である。枠９４に示すように、同図は視点９６からの視界９８と境界矩形８４の位置関係を横から見た様子を表しており、パラメータ「ｍａｘ＿ｏｖｅｒｓｈｏｏｔ」が０．０、０．２５、０．５、０．７５、１．０と変化したときのリンク境界の変化を示している。
【００８２】
まず「ｍａｘ＿ｏｖｅｒｓｈｏｏｔ」が０．０の場合、すなわち画面が境界矩形からはみ出さないように設定すると、視点９６ａでは視界を表す三角形の底辺、すなわち画面が境界矩形８４の上方の領域に入っているため、画面が境界矩形からはみ出しておらず、当該視点９６ａはリンク境界内となる。一方、視点９６ｂでは、視界を表す三角形の底辺が境界矩形８４の上方の領域からはみ出している、すなわち画面内に境界矩形８４の周囲の領域が入り込んでいるため、当該視点９６ｂはリンク境界外である。なお視点がリンク境界内であれば視点に「○」印、リンク境界外であれば視点に「×」印を記している。
【００８３】
このように考えると、「ｍａｘ＿ｏｖｅｒｓｈｏｏｔ」が０．０を満たす視点集合の境界であるリンク境界はリンク境界９２ａのような形状を有する。パラメータ「ｍａｘ＿ｏｖｅｒｓｈｏｏｔ」が０．２５、０．５、０．７５、１．０の場合も同様に考える。「ｍａｘ＿ｏｖｅｒｓｈｏｏｔ」が０．２５の場合は、画面が境界矩形８４から１／４はみ出していてもリンクを有効とする。すなわちより高い視点から俯瞰して境界矩形８４の周囲が見えていても許容される場合があるため、パラメータ「ｍａｘ＿ｏｖｅｒｓｈｏｏｔ」が０．２５のリンク境界９２ｂはリンク境界９２ａに対して高い形状となる。
【００８４】
同様に、「ｍａｘ＿ｏｖｅｒｓｈｏｏｔ」が０．５、０．７５、１．０と大きくなるとリンク境界９２ｃ、９２ｄ、９２ｅのように形状が変化する。すなわち、視点が高くなるほど境界矩形８４が画面に入りやすくなり、画面のはみ出し量を許容すれば、高い視点ほど条件を満たす視点の範囲が増えていくため、リンク境界は視点が高くなるほど広がる形状となる。このように、パラメータ「ｍａｘ＿ｏｖｅｒｓｈｏｏｔ」を導入することにより、高さ方向を含む３次元空間での視点の移動による、境界矩形、ひいてはリンクを設定した領域の、見かけ上の変化に対し、リンクの有効／無効の境界を設けることができる。
【００８５】
表示領域を縦横方向に移動させようと入力装置２０のアナログスティック２７ａなどを操作する場合、視点の高低によって同じ操作量でも画像の振れ幅が異なる。パラメータ「ｍａｘ＿ｏｖｅｒｓｈｏｏｔ」によって、リンクを有効とする範囲を視点の高さに応じて容易に変化させることができ、視点の高さを加味した動作が可能となる。
【００８６】
図１５はパラメータ「ｍａｘ＿ｉｎｖｉｓｉｂｉｌｉｔｙ」を変化させたときのリンク境界の変化を説明するための図である。同図の表し方は図１４と同様である。まず「ｍａｘ＿ｉｎｖｉｓｉｂｉｌｉｔｙ」が０．０の場合、すなわち境界矩形が画面からはみ出さないように設定すると、視点９６ｃでは視界を表す三角形の底辺、すなわち画面の、下方の領域に境界矩形が入っているため、境界矩形が画面からはみ出しておらず、当該視点９６ｃはリンク境界内となる。一方、視点９６ｄでは、視界を表す三角形の底辺の下方の領域から境界矩形８４がはみ出している、すなわち画面内に境界矩形の周囲の領域が入り込んでいるため、当該視点９６ｄはリンク境界外である。
【００８７】
パラメータ「ｍａｘ＿ｉｎｖｉｓｉｂｉｌｉｔｙ」もパラメータ「ｍａｘ＿ｏｖｅｒｓｈｏｏｔ」と同様、境界矩形が画面に入っているときにリンクを有効とするためのパラメータであるが、視点の高さの変化に対するリンク境界の範囲の変化がパラメータ「ｍａｘ＿ｏｖｅｒｓｈｏｏｔ」とは異なる。例えば「ｍａｘ＿ｉｎｖｉｓｉｂｉｌｉｔｙ」が０．０の場合、視点が低くなり境界矩形８４をアップにしすぎると、境界矩形が画面からはみ出すようになるため、そのような視点はリンク境界内に含まれない。逆に視点が高くなるほど境界矩形が画面からはみ出しにくくなるため、リンク境界内に入る視点の範囲が広くなる。
【００８８】
このように考えると、パラメータ「ｍａｘ＿ｉｎｖｉｓｉｂｉｌｉｔｙ」が０．０を満たす視点集合の境界であるリンク境界はリンク境界９２ｆのような形状を有する。パラメータ「ｍａｘ＿ｉｎｖｉｓｉｂｉｌｉｔｙ」が０．２５、０．５、０．７５、１．０の場合も同様に考える。パラメータ「ｍａｘ＿ｉｎｖｉｓｉｂｉｌｉｔｙ」が０．２５、０．５、０．７５、１．０と大きくなるほど、視点が低くなっても境界矩形８４の画面からのはみ出しが許容されるため、リンク境界の幅が広がっていき、リンク境界９２ｇ、９２ｈ、９２ｉ、９２ｊのように形状が変化する。
【００８９】
本実施の形態では、所定の範囲内であれば、高さ方向を含む３次元空間において自由に視点を移動させることができる。したがって大きな拡大率で表示領域を水平方向に移動させる場合もあり得る。このような操作で偶然、画面が埋め込みオブジェクトを設定した領域内に進入した場合、意図しないタイミングで動画が再生されてしまったりストアリンクの画面が表示されてしまったりすることが考えられる。境界矩形の画面に対するはみ出し割合は、ユーザが意図して境界矩形に画面を合わせたか否かを判断する指標となる。
【００９０】
埋め込みオブジェクトを動作させたいときにはユーザは通常、意図して境界矩形に画面を合わせるため、埋め込みオブジェクトのリンク境界の設定にはパラメータ「ｍａｘ＿ｉｎｖｉｓｉｂｉｌｉｔｙ」が導入されている。一方、別の階層データの画像への切り替えは、高い拡大率における水平方向の視点移動であってもシームレスに実施されることが望ましいため、パラメータ「ｍａｘ＿ｏｖｅｒｓｈｏｏｔ」が有効となる。
【００９１】
次にこれまで述べた構成による情報処理装置１０の動作を説明する。図１６は情報処理装置１０によって表示装置１２に表示される画像の例を示している。表示画像３００は、例えばコンテンツの初期画像である。コンテンツは、例えばゲームなどのソフトウェア、音楽、映画などのプロモーション表示用コンテンツ、ネットワーク上の店舗からなる仮想デパートのコンテンツ、本の内容を表示する仮想図書館のコンテンツや、それらを組み合わせたコンテンツなど様々な態様が考えられる。
【００９２】
設定ファイルにおいて表示画像３００をホームポジションと設定することにより、当該画像を初期画像とする。表示画像３００中には矩形領域３０１、３０２、３０４、３０６、３０８ａ、３１０の６つのリンク、すなわち選択肢が設定されている。リンクの種類は、別の階層データの画像への表示切り替えでも埋め込みオブジェクトでもよい。ターゲット矩形はこれらの矩形領域に外接するように、設定ファイルにおいてリンクごとに設定する。境界矩形やリンク境界も上述のように設定するが、表示画像３００には明示していない。
【００９３】
ユーザは表示画像３００を見ながら入力装置２０を用いて視点を移動させ、興味のある矩形領域をズームアップする。そして視点が当該矩形領域に対して設定されたリンク境界に進入した際、階層データの切り替えや埋め込みオブジェクトの作動など、矩形領域に対応した処理を実施する。
【００９４】
図１７は埋め込みオブジェクトとして動画再生の処理を実施する処理手順を示す。図１２の設定ファイルの例では、動画再生のオブジェクトは、あるフレームを静止画像として表示する段階と、動画像を表示する段階の２段階で実施する。静止画像表示に対し設定したリンク境界を「第１リンク境界」、動画像表示に対し設定したリンク境界を「第２リンク境界」と呼ぶ。まず、視点が第１リンク境界外にある状態において、動画のタイトル画像や広告など、あらかじめ定めておいた標準画像を表示する（Ｓ１８）。この標準画像は初期画像など現在表示中の画像の階層データの一部であり、図１６の表示画像３００中、矩形領域３０１などにおける画像に相当する。
【００９５】
この状態においてリンク判定部１１６は、視点が第１リンク境界に入ったか否かを監視する（Ｓ２０）。ユーザが入力装置２０を操作し、視点が第１リンク境界に入ったら（Ｓ２０のＹ）、その旨をオブジェクト実行部１１７に通知し、オブジェクト実行部１１７はメインメモリ６０の所定の領域を参照してレジュームすべき情報があるか否かを確認する（Ｓ２２）。以前に同じ動画が再生されていた場合、そのときの停止箇所がレジュームポイントとしてメインメモリ６０に格納されている。当該情報があれば（Ｓ２２のＹ）、その情報を読み出す（Ｓ２４）。レジュームすべき情報がなければ（Ｓ２２のＮ）、メインメモリ６０から読み出した動画データの最初のフレームを、レジューム情報があれば（Ｓ２２のＹ、Ｓ２４）レジュームポイントのフレームを描画し、静止画像として表示装置１２に表示する（Ｓ２６）。
【００９６】
それと並行してリンク判定部１１６は、視点が第２リンク境界に入ったか否かを監視する（Ｓ２８）。視点が第２リンク境界に入ったら（Ｓ２８のＹ）、オブジェクト実行部１１７は動画の再生および表示を開始する（Ｓ３０）。ここでもＳ２４でレジュームポイントを読み出していれば当該ポイントから動画を再生する。なお、視点が第２リンク境界に入る前の段階で、静止画像を表示しつつ動画再生処理を投機的に開始してもよい。これによりＳ２８で視点が第２リンク境界に入った時点で円滑に動画を表示できる。
【００９７】
リンク判定部１１６は動画表示と並行して、視点が第２リンク境界から出たか否かを監視する（Ｓ３２）。視点が第２リンク境界から出たら（Ｓ３２のＹ）、オブジェクト実行部１１７は動画再生を停止し、停止させたときのフレームを静止画像として表示する（Ｓ３４）。さらに停止箇所をレジュームポイントとしてメインメモリ６０に記憶させる（Ｓ３６）。さらにリンク判定部１１６は、視点が第１リンク境界から出たか否かを判定する（Ｓ３８）。視点が第１リンク境界から出たら（Ｓ３８のＹ）、表示領域決定部１０４に当該情報が通知され、元の階層データの画像、すなわちＳ１８で表示したタイトル画像などの標準画像が表示される（Ｓ４０）。以上の動作で、リンクが設定された領域がズームアップされたことに対応して、２段階で表示を切り替え、動画再生を行う態様を実現できる。
【００９８】
なおリンク判定部１１６は実際には常に視点の位置を監視し、設定されたリンク領域に対する内外判定を行っているため、例えばＳ２６であるフレームを表示中、視点が第２リンク境界に入らず第１リンク境界から出た場合はそのままＳ４０の標準画像表示のステップへ移行する。
【００９９】
音声再生の処理手順も同様である。このとき、図１２の設定ファイルの例のように、リンク境界を１つとして音声再生、非再生のみの切り替えを行うようにしてもよいし、複数の段階を設け、再生する音声データや音量などを切り替えるようにしてもよい。また図１６の画像が表示されているときにもＢＧＭとして音声を再生しているときは、音声を切り替える際、クロスフェードするように加工を行ってもよい。
【０１００】
また動画および音声のいずれの場合も、元の階層データの画像中、埋め込みオブジェクトが設定されている複数の領域で同じ動画や音声を再生する場合は、レジュームポイントを共通の情報としてもよい。例えば図１６の表示画像３００中、矩形領域３０１〜３１０のいずれをズームアップしていっても、同じ音楽に切り替えるようにし、さらにレジュームポイントを共通とすることにより、矩形領域に関わらず音楽の連続性が保たれ統一感が生まれる。
【０１０１】
レジュームするか否か、レジュームポイントを共通にするか否かは、埋め込みオブジェクトごとにユーザやコンテンツ作成者が設定できるようにしてもよい。また、図１７のＳ２６で、あるフレームを表示する際は、それまで同矩形領域に表示していた標準画像とクロスフェードするように表示してもよい。同様に、隣の矩形領域へ視点を移動した場合にも、表示している静止画像または動画像をクロスフェードさせてもよい。
【０１０２】
図１８は埋め込みオブジェクトとしてストアリンクを動作させる際に表示する画像の例を示している。表示画像３１２は、図１６の表示画像３００のうち、ストアリンクを設定した矩形領域３０８ａに対して設定されたリンク境界に視点が入ったときの画像である。図１２の「ａｃｔｉｏｎ」属性を「ｓｈｏｗ＿ｌｉｎｋ」とすることにより、オブジェクト実行部１１７は、視点がリンク境界へ入った際、図１６の矩形領域３０８ａの画像を図１８の矩形領域３０８ｂの画像へ切り替える。
【０１０３】
矩形領域３０８ｂの画像では、当該店舗のウェブサイトへの移動が可能であることを示す「ストアへＧＯ！」と記載されたインジケータ３１４と、移動を決定するための操作方法として「○ボタンを押して下さい」と記載されたインジケータ３１６とを、元から表示していた店舗情報に加えて表示している。加える画像の内容や配置はデザイン性や入力装置などに鑑み適宜決定する。例えばインジケータ３１４は図１６の表示画像３００の段階で表示しておき、矩形領域３０８ａがズームアップされたら色のみを変化させることにより、ユーザにリンク先への移動が可能であることを示してもよい。
【０１０４】
ユーザは、リンク先への移動が可能となるまで矩形領域３０８ａをズームアップしていき、矩形領域３０８ｂの画像になったらインジケータ３１６の表示に従い入力装置２０の「○ボタン」などを押下することによって、当該店舗のウェブサイト画面を表示させる。ウェブサイトへのアクセスや表示は一般的な技術を適用することができる。
【０１０５】
図１６の表示画像３００において、矩形領域３０１〜３１０は、何らかのリンクが設定された「選択肢」と考えることができる。したがって、図１２に例示した選択受付表示の設定に従い、あるタイミングで矩形領域３０１〜３１０の色を変化させるなどの強調表示を行い、それらが選択肢であることを示すようにしてもよい。強調表示させるタイミングは、設定しておいたリンク境界に視点が入ったときでもよいし、入力装置２０によって所定の入力が行われたときでもよい。
【０１０６】
画面に表示された画像上で選択肢を明らかにし、ユーザによる選択操作を受け付けることにより、ユーザは効率よく所望の矩形領域を選択することができる。また選択された矩形領域が画面中央に移動させたりズームアップしたりするなどの視点の移動を自動で行うことにより、最低限の操作ですぐに階層データの切り替えや埋め込みオブジェクトの処理開始に至ることができる。
【０１０７】
このような動作は、ユーザが画像から矩形領域を選択し、画像の拡大率を上げる方向にショートカットを行うものであるが、拡大率に対し双方向にショートカットを行えるようにしてもよい。例えば、ユーザが選択した矩形領域を自動でズームアップしたあと、入力装置２０の×ボタン２３など所定のキーを操作すると、拡大率を下げて元の表示に戻すようにする。このようにすることで、また別の矩形領域を選択したい場合などに操作の効率が上がる。
【０１０８】
この場合、オブジェクト実行部１１７は、選択入力がなされる都度、その時点でのフレーム座標など表示領域を表すパラメータをメインメモリ６０に記憶させる。そしてユーザが表示を戻すための入力を行った場合に、メインメモリ６０から前の表示領域を表すパラメータを読み出し、表示領域決定部１０４に通知することにより該当領域を表示する。ある選択肢にさらに下位の選択肢がある場合など複数回の選択入力がなされた場合は、その時点での表示領域を表すパラメータを順に記憶しておき、ＬＩＦＯ（Last In First Out）の方式で読み出していく。以後、このようにして記憶した表示領域を表すパラメータのリストを「パンくずリスト」と呼ぶ。
【０１０９】
図１９は、埋め込みオブジェクトとして選択受付表示を行った場合の情報処理装置１０の処理手順を示している。まず図１６に示した表示画像３００が表示された状態で、ユーザは入力装置２０を用いて視点を移動させる。このときリンク判定部１１６は選択受付表示のためのリンク境界に視点が入ったか否かを監視する（Ｓ５０）。視点がリンク境界に入ったら（Ｓ５０のＹ）、オブジェクト実行部１１７は設定ファイルの設定に従い、矩形領域３０１〜３１０の色を変化させるなどの強調表示を行う（Ｓ５２）。そして、ユーザが入力装置２０の十字キー２１などの方向指示キーおよび○ボタン２２などの決定ボタンを操作することによりいずれかの矩形領域が選択されるのを待機する（Ｓ５４）。
【０１１０】
選択入力がなされたら（Ｓ５４のＹ）、オブジェクト実行部１１７はその時点での表示領域に係るパラメータをメインメモリ６０のパンくずリストに書き込む（Ｓ５６）。そして設定ファイルに設定された視点の移動についての情報を表示領域決定部１０４に通知することにより、選択された矩形領域をズームアップするなど表示領域を移動させる（Ｓ５８）。この際、単に表示領域を移動させるばかりでなく、選択された矩形領域に関する説明や広告の画像を追加で表示したり、色を変化させたりといった、当該矩形領域に対応づけて設定した所定の加工を施すようにしてもよい。追加で表示する画像のデータは、矩形領域に対応させてコンテンツに含めておく。その後、当該矩形領域をさらにズームアップするなど視点の移動を行う指示がユーザよりなされた場合は、それに応じた処理を適宜行うが、図１９では図示を省略している。
【０１１１】
ユーザが入力装置２０の×ボタン２３など所定のキーを操作して表示領域を戻す指示入力を行ったら（Ｓ６０のＹ）、オブジェクト実行部１１７は、メインメモリ６０のパンくずリストから最近書き込まれたパラメータを読み出し（Ｓ６２）、表示領域決定部１０４に通知することにより、当該パラメータによって決まる表示領域へ表示を移動する（Ｓ６４）。このような動作により、ユーザの選択入力という明確な意思表示がある場合に効率を重視した表示を行うことができる。
【０１１２】
またユーザの選択入力に応じて、ホームポジション以外の表示領域にもマーキングを行うことにより、高倍率の画像表示で移動先を見失ったり、最初からやり直しになったり、といった非効率な自体を避けることができる。結果として、入力方法に自由度が増すとともに、深い階層構造で選択肢を設けても所望の情報へ効率よく到達できる。
【０１１３】
図１９の動作は選択受付表示に係るものであったが、表示領域を戻す処理は選択受付表示と関係なく実施するようにしてもよい。例えば表示領域決定部１０４が、階層データの切り替え処理とともに戻すポイントのマーキングを行う。図２０は視点を任意に移動させたときに表示領域を戻す態様を説明するための図である。図の表し方は図６と同様であり、階層データ４００は、階層データ４０２、４０４、４０６とリンクが設定されている。また階層データ４０４は階層データ４０７とリンクが設定されている。このような画像データを表示するコンテンツにおいて、まずホームポジションの画像４１０の情報をメインメモリ６０のパンくずリスト４０８に格納する。ここで格納する情報は、フレーム座標でもよいし階層データの識別情報などでもよい。
【０１１４】
ユーザが入力装置２０のアナログスティック２７ａ、２７ｂなどによって仮想空間における視点を矢印Ａ、矢印Ｂのように移動させ、階層データ４０４の領域に入ったとする。これにより表示画像が階層データ４０４のものに切り替わったら、階層データ４０４のホームポジションともいうべき、最も解像度の低い階層の画像４１２の情報をパンくずリスト４０８に追記する。さらにユーザが矢印Ｃ、矢印Ｄのように視点を移動させ、階層データ４０７の領域に入ったら、階層データ４０７の最も解像度の低い階層の画像４１４の情報をパンくずリスト４０８に追記する。
【０１１５】
そしてユーザが表示を戻す入力を行ったら、パンくずリスト４０８からＬＩＦＯの方式で最近の画像情報を読み出し、矢印Ｅのように視点を移動させる。このとき途中経過を表示しながら文字通り視点を「移動」させてもよいし、即座に表示画像を切り替えてもよい。こうすることで、続けて階層データ４０４へ表示を切り替えることもできるし、再度階層データ４０７内で視点を移動させることもできる。図２０の例では、画像４１４を表示後、ユーザが画像を縮小するなどして階層データ４０４へ表示を切り替えている（矢印Ｆ）。
【０１１６】
そして再度、表示を戻す入力を行ったら、パンくずリスト４０８から画像４１２の情報を読み出し、矢印Ｇのように視点を移動させる。そしてユーザがさらに画像を縮小し、階層データ４００の画像内で矢印Ｈのように視点を移動させたあと、表示を戻す入力を行ったら、パンくずリスト４０８から画像４１０の情報を読み出し、矢印Ｉのように視点を移動させる。
【０１１７】
このような動作によって、同一階層データ内でユーザがいかなる視点の移動を行ったかに関わらず、表示を戻す指示入力のみで、同階層データにおいて最低の解像度の画像を表示させることができる。低解像度の画像は、当該階層データの全体を見渡しやすい画像であるとともに、一つ上の階層データへ即座に表示を切り替えることのできる画像である。ユーザは、いきなり初期画像まで戻ってしまうなど大幅な画像の変化によって思考が途切れることなく、階層データごとに統一された画像まで小幅に縮小することができ、移動先を見失わずに効率よく所望の領域へ到達できる。また、戻す指示入力を２回連続して行えば、２つ前の階層データまで戻れる、といったように、視点の移動履歴をおよそ辿りながら段階的に元に戻すことができる。
【０１１８】
なお、図２０の例では、各階層データのうち最低解像度の画像の情報をパンくずリストとして記憶したが、視点の範囲ごとに、最も低解像度の一の基準表示領域を定めればよく、例えば同じ階層データ内で複数の基準表示領域を定めてもよい。この場合も、視点が新たな範囲に入ったら当該範囲に対応する基準表示領域に係る情報をパンくずリストに書き込めば、同様の態様を実現できる。また、選択肢を強調表示する図１９の態様と組み合わせてもよい。この場合、画像４１０、４１２、４１４の情報に加え、選択入力がなされた時点の表示領域の情報を戻り先として記憶する。
【０１１９】
以上述べた本実施の形態によれば、表示画像の拡大縮小を含む視点の移動をきっかけとして、別の階層データへの表示の切り替え、動画再生、音声再生、ネットワーク上の別のサイトへのリンク、選択肢の強調表示などの処理を行う。これによりユーザは、画像を楽しみながら、視点の移動というより感覚的、かつ容易な操作で、所望の処理を情報処理装置に行わせることができる。またこのような多機能なコンテンツを、設定ファイルによる容易な設定で作成できる。
【０１２０】
また画像に対する視点に着目しているため、視点の位置によって細かい設定ができ、単に機能の選択／非選択の２値判定でなく、段階的な処理が可能となる。画面が矩形領域からはみ出す割合、矩形領域が画像からはみ出す割合などを取得することにより、処理の内容に応じて適切なタイミングで所望の処理を動作させることができる。また処理の切り替えにあっては、クロスフェードなどの加工を行うことにより、切り替え前後の画像や音声をシームレスにつなげることができる。これによりユーザは、画像表示の延長上で動画再生などを気軽に試してみることができる。これらのことから、カーソルを用いて処理を選択する場合と比べ、デザイン性に優れ、かつユーザに優しいコンテンツを実現できる。
【０１２１】
さらに選択肢を強調表示して選択可能とすることにより、操作を直接的に行いたい場合にも外観上に大きな変化なく、ユーザのニーズや状況に応じた態様を実現できる。またそのような直接的な選択を行ったか否かに関わらず、現在表示中の画像より低い解像度に戻り先の表示領域を記憶しておき、入力装置の所定の操作により当該領域へ直接戻ることができるようにすることで、画像内の移動を円滑に行え、結果として所望の領域へ到達する効率が上がる。
【０１２２】
以上、本発明を実施の形態をもとに説明した。上記実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。
【０１２３】
例えば本実施の形態では、画像平面と解像度で形成する３次元の仮想空間での表示画面の移動を、画像に対する視点の移動に対応づけて説明したが、２次元の画像平面のうち表示する領域の中心位置と当該領域の大きさを変化させて表示画面とする場合も、当該表示画面を、ユーザの仮想的な視点の移動と捉えることができる。すなわち、２次元平面の表示領域の移動にも本実施の形態を適用でき、同様の効果を得ることができる。
【符号の説明】
【０１２４】
１ 情報処理システム、 １０ 情報処理装置、 １２ 表示装置、 ２０ 入力装置、 ３０ 第０階層、 ３２ 第１階層、 ３４ 第２階層、 ３６ 第３階層、 ３８ タイル画像、 ４４ 表示処理部、 ５０ ハードディスクドライブ、 ６０ メインメモリ、 ７０ バッファメモリ、 ７６ フレームメモリ、 ８０ 基準矩形、 ８２ ターゲット矩形、 ８４ 境界矩形、 ９２ リンク境界、 １００ 制御部、 １０２ 入力情報取得部、 １０３ ロード部、 １０４ 表示領域決定部、 １０６ デコード部、 １１４ 表示画像処理部、 １１６ リンク判定部、 １１７ オブジェクト実行部、 ４０８ パンくずリスト。
【特許請求の範囲】
【請求項１】
異なる解像度の画像データを解像度順に階層化して構成される階層データを保持する記憶装置と、
画像平面および画像平面からの距離によって定義される仮想空間における視点の移動要求をユーザが操作する入力装置を介して受け付ける入力情報取得部と、
前記視点の移動要求に応じて表示する領域を変化させて前記階層データから表示画像を生成するとともに、ユーザが前記入力装置に対して特定の操作を行ったとき、表示中の画像より低い解像度を有する一の基準表示画像を前記階層データから生成する表示画像処理部と、
を備え、
前記基準表示画像は、画像平面からの距離が異なる複数の視点に対応する複数の領域の画像であり、前記一の基準表示画像は、表示中の画像によって前記基準表示画像から選択されることを特徴とする情報処理装置。
【請求項２】
前記基準表示画像は、前記仮想空間における視点の範囲ごとに定められ、
移動先の視点が新たな範囲に入ったとき当該範囲に対して定められた一の基準表示画像の情報を蓄積して記録するメモリをさらに備え、
前記表示画像処理部は、ユーザが前記特定の操作を行う都度、前記メモリから、読み出されていない基準表示画像の情報のうち最後に記録された情報を読み出すことにより前記一の基準表示画像を生成することを特徴とする請求項１に記載の情報処理装置。
【請求項３】
前記記憶装置は、前記視点に対する所定の条件で表示の切り替えを行う複数の階層データを保持し、
前記表示画像処理部は、ユーザが前記特定の操作を行ったとき、表示中の画像を含む前記階層データのうち最も解像度の低い画像データの画像を前記一の基準表示画像として生成することを特徴とする請求項１または２に記載の情報処理装置。
【請求項４】
前記入力情報取得部は、前記表示画像中に設定された複数の領域からの選択指示を前記入力装置を介してさらに受け付け、
前記メモリは、前記選択指示がなされたとき、その時点での表示画像の情報を前記一の基準表示画像の情報として記録することを特徴とする請求項２に記載の情報処理装置。
【請求項５】
異なる解像度の画像データを解像度順に階層化して構成される階層データをメモリより読み出し表示装置に出力するステップと、
画像平面および画像平面からの距離によって定義される仮想空間における視点の移動要求をユーザが操作する入力装置を介して受け付けるステップと、
前記視点の移動要求に応じて前記表示装置に表示する領域を変化させるステップと、
ユーザが前記入力装置に対して特定の操作を行ったとき、表示中の画像より低い解像度を有する一の基準表示画像を前記階層データから生成するステップと、を含み、
前記基準表示画像は、画像平面からの距離が異なる複数の視点に対応する複数の領域の画像であり、前記一の基準表示画像は、表示中の画像によって前記基準表示画像から選択されることを特徴とする情報処理方法。
【請求項６】
異なる解像度の画像データを解像度順に階層化して構成される階層データをメモリより読み出し表示装置に出力する機能と、
画像平面および画像平面からの距離によって定義される仮想空間における視点の移動要求をユーザが操作する入力装置を介して受け付ける機能と、
前記視点の移動要求に応じて前記表示装置に表示する領域を変化させるステップと、
ユーザが前記入力装置に対して特定の操作を行ったとき、表示中の画像より低い解像度を有する一の基準表示画像を前記階層データから生成する機能と、
をコンピュータに実現させることを特徴とするコンピュータプログラムであって、
前記基準表示画像は、画像平面からの距離が異なる複数の視点に対応する複数の領域の画像であり、前記一の基準表示画像は、表示中の画像によって前記基準表示画像から選択されることを特徴とするコンピュータプログラム。
【請求項７】
異なる解像度の画像データを解像度順に階層化して構成される階層データをメモリより読み出し表示装置に出力する機能と、
画像平面および画像平面からの距離によって定義される仮想空間における視点の移動要求をユーザが操作する入力装置を介して受け付ける機能と、
前記視点の移動要求に応じて前記表示装置に表示する領域を変化させるステップと、
ユーザが前記入力装置に対して特定の操作を行ったとき、表示中の画像より低い解像度を有する一の基準表示画像を前記階層データから生成する機能と、
をコンピュータに実現させることを特徴とするコンピュータプログラムを記録した記録媒体であって、
前記基準表示画像は、画像平面からの距離が異なる複数の視点に対応する複数の領域の画像であり、前記一の基準表示画像は、表示中の画像によって前記基準表示画像から選択されることを特徴とするコンピュータプログラムを記録した記録媒体。
【請求項８】
異なる解像度の画像データを解像度順に階層化して構成される階層データと、
前記階層データに含まれる画像データであって、前記階層データから生成した画像を表示中に、ユーザが入力装置に対して特定の操作を行ったときに、当該表示中の画像の領域に応じて、その後の表示対象として選択される、解像度の異なる複数の基準表示画像の情報と、
を対応づけたことを特徴とするコンテンツのデータ構造。
【請求項９】
請求項８に記載のコンテンツのデータ構造を記録した記録媒体。
【請求項１】
異なる解像度の画像データを解像度順に階層化して構成される階層データを保持する記憶装置と、
画像平面および画像平面からの距離によって定義される仮想空間における視点の移動要求をユーザが操作する入力装置を介して受け付ける入力情報取得部と、
前記視点の移動要求に応じて表示する領域を変化させて前記階層データから表示画像を生成するとともに、ユーザが前記入力装置に対して特定の操作を行ったとき、表示中の画像より低い解像度を有する一の基準表示画像を前記階層データから生成する表示画像処理部と、
を備え、
前記基準表示画像は、画像平面からの距離が異なる複数の視点に対応する複数の領域の画像であり、前記一の基準表示画像は、表示中の画像によって前記基準表示画像から選択されることを特徴とする情報処理装置。
【請求項２】
前記基準表示画像は、前記仮想空間における視点の範囲ごとに定められ、
移動先の視点が新たな範囲に入ったとき当該範囲に対して定められた一の基準表示画像の情報を蓄積して記録するメモリをさらに備え、
前記表示画像処理部は、ユーザが前記特定の操作を行う都度、前記メモリから、読み出されていない基準表示画像の情報のうち最後に記録された情報を読み出すことにより前記一の基準表示画像を生成することを特徴とする請求項１に記載の情報処理装置。
【請求項３】
前記記憶装置は、前記視点に対する所定の条件で表示の切り替えを行う複数の階層データを保持し、
前記表示画像処理部は、ユーザが前記特定の操作を行ったとき、表示中の画像を含む前記階層データのうち最も解像度の低い画像データの画像を前記一の基準表示画像として生成することを特徴とする請求項１または２に記載の情報処理装置。
【請求項４】
前記入力情報取得部は、前記表示画像中に設定された複数の領域からの選択指示を前記入力装置を介してさらに受け付け、
前記メモリは、前記選択指示がなされたとき、その時点での表示画像の情報を前記一の基準表示画像の情報として記録することを特徴とする請求項２に記載の情報処理装置。
【請求項５】
異なる解像度の画像データを解像度順に階層化して構成される階層データをメモリより読み出し表示装置に出力するステップと、
画像平面および画像平面からの距離によって定義される仮想空間における視点の移動要求をユーザが操作する入力装置を介して受け付けるステップと、
前記視点の移動要求に応じて前記表示装置に表示する領域を変化させるステップと、
ユーザが前記入力装置に対して特定の操作を行ったとき、表示中の画像より低い解像度を有する一の基準表示画像を前記階層データから生成するステップと、を含み、
前記基準表示画像は、画像平面からの距離が異なる複数の視点に対応する複数の領域の画像であり、前記一の基準表示画像は、表示中の画像によって前記基準表示画像から選択されることを特徴とする情報処理方法。
【請求項６】
異なる解像度の画像データを解像度順に階層化して構成される階層データをメモリより読み出し表示装置に出力する機能と、
画像平面および画像平面からの距離によって定義される仮想空間における視点の移動要求をユーザが操作する入力装置を介して受け付ける機能と、
前記視点の移動要求に応じて前記表示装置に表示する領域を変化させるステップと、
ユーザが前記入力装置に対して特定の操作を行ったとき、表示中の画像より低い解像度を有する一の基準表示画像を前記階層データから生成する機能と、
をコンピュータに実現させることを特徴とするコンピュータプログラムであって、
前記基準表示画像は、画像平面からの距離が異なる複数の視点に対応する複数の領域の画像であり、前記一の基準表示画像は、表示中の画像によって前記基準表示画像から選択されることを特徴とするコンピュータプログラム。
【請求項７】
異なる解像度の画像データを解像度順に階層化して構成される階層データをメモリより読み出し表示装置に出力する機能と、
画像平面および画像平面からの距離によって定義される仮想空間における視点の移動要求をユーザが操作する入力装置を介して受け付ける機能と、
前記視点の移動要求に応じて前記表示装置に表示する領域を変化させるステップと、
ユーザが前記入力装置に対して特定の操作を行ったとき、表示中の画像より低い解像度を有する一の基準表示画像を前記階層データから生成する機能と、
をコンピュータに実現させることを特徴とするコンピュータプログラムを記録した記録媒体であって、
前記基準表示画像は、画像平面からの距離が異なる複数の視点に対応する複数の領域の画像であり、前記一の基準表示画像は、表示中の画像によって前記基準表示画像から選択されることを特徴とするコンピュータプログラムを記録した記録媒体。
【請求項８】
異なる解像度の画像データを解像度順に階層化して構成される階層データと、
前記階層データに含まれる画像データであって、前記階層データから生成した画像を表示中に、ユーザが入力装置に対して特定の操作を行ったときに、当該表示中の画像の領域に応じて、その後の表示対象として選択される、解像度の異なる複数の基準表示画像の情報と、
を対応づけたことを特徴とするコンテンツのデータ構造。
【請求項９】
請求項８に記載のコンテンツのデータ構造を記録した記録媒体。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【公開番号】特開２０１０−２３１２８３（Ｐ２０１０−２３１２８３Ａ）
【公開日】平成２２年１０月１４日（２０１０．１０．１４）
【国際特許分類】
【出願番号】特願２００９−７５２４４（Ｐ２００９−７５２４４）
【出願日】平成２１年３月２５日（２００９．３．２５）
【出願人】（３９５０１５３１９）株式会社ソニー・コンピュータエンタテインメント (871)
【Ｆターム（参考）】
【公開日】平成２２年１０月１４日（２０１０．１０．１４）
【国際特許分類】
【出願日】平成２１年３月２５日（２００９．３．２５）
【出願人】（３９５０１５３１９）株式会社ソニー・コンピュータエンタテインメント (871)
【Ｆターム（参考）】
[ Back to top ]