情報処理装置
【課題】アプリケーションソフトウェアに画像処理技術をリンクさせた情報処理技術を提供する。
【解決手段】操作画像生成部１１６は、アプリケーションを操作するための操作画像を生成する。アプリケーション実行部１１４は、操作画像に対して入力された操作情報をもとに、アプリケーションを実行する。情報画像生成部１５２は、アプリケーションに関連する情報を含む情報画像を生成する。画像切替部１２０は、ディスプレイの表示画像を、操作画像から情報画像に切り替える。情報画像生成部１５２は、記憶装置に保持された画像データを用いて、操作画像に対応するサムネイル画像を含む情報画像を生成する。
【解決手段】操作画像生成部１１６は、アプリケーションを操作するための操作画像を生成する。アプリケーション実行部１１４は、操作画像に対して入力された操作情報をもとに、アプリケーションを実行する。情報画像生成部１５２は、アプリケーションに関連する情報を含む情報画像を生成する。画像切替部１２０は、ディスプレイの表示画像を、操作画像から情報画像に切り替える。情報画像生成部１５２は、記憶装置に保持された画像データを用いて、操作画像に対応するサムネイル画像を含む情報画像を生成する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ディスプレイに表示する画像を拡大／縮小、または上下左右に移動させる画像処理技術を利用する情報処理装置に関する。
【背景技術】
【０００２】
ゲームプログラムを実行するだけでなく、動画を再生できる家庭用エンタテインメントシステムが提案されている。この家庭用エンタテインメントシステムでは、ＧＰＵがポリゴンを用いた三次元画像を生成する。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】米国特許第６５６３９９９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
従来より、高精細な写真などのディジタル画像から生成された複数の解像度のタイル画像を用いて、表示画像の拡大／縮小処理や、上下左右方向の移動処理を行う技術が提案されている。この画像処理技術では、原画像サイズを複数段階に縮小して異なる解像度の画像を生成し、各階層の画像を一又は複数のタイル画像に分割して、原画像を階層構造で表現する。通常、最も解像度の低い画像は１つのタイル画像で構成され、最も解像度の高い原画像は、最も多い数のタイル画像で構成される。画像処理装置は、表示画像の拡大処理または縮小処理時に、使用しているタイル画像を、異なる階層のタイル画像に切り替えることで、拡大表示または縮小表示を迅速に行うようにしている。
【０００５】
この画像処理技術によると、表示対象となる画像を拡大または縮小した場合であっても、表示解像度を高く維持して、高精細な画像をユーザに提供できる。そこで本発明者は、この画像処理技術の有用性に着目し、この画像処理技術とアプリケーションソフトウェアとをリンクさせることで、アプリケーションソフトウェアの使いやすさの向上など、様々な利益をユーザに与えられることを想到するに至った。
【０００６】
そこで本発明は、アプリケーションソフトウェアに画像処理技術をリンクさせた情報処理技術を提供することを目的とする。
【課題を解決するための手段】
【０００７】
上記課題を解決するために、本発明のある態様の情報処理装置は、アプリケーションを操作するための操作画像を生成する操作画像生成部と、操作画像に対して入力された操作情報をもとに、アプリケーションを実行する実行部と、アプリケーションに関連する情報を含む情報画像を生成する情報画像生成部と、情報画像を生成するための画像データを保持する記憶装置と、ディスプレイの表示画像を、操作画像から情報画像に切り替える画像切替部とを備える。情報画像生成部は、記憶装置に保持された画像データを用いて、操作画像に対応するサムネイル画像を含む情報画像を生成する。
【０００８】
なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システム、記録媒体、コンピュータプログラムなどの間で変換したものもまた、本発明の態様として有効である。
【発明の効果】
【０００９】
本発明によると、アプリケーションソフトウェアに画像処理技術をリンクさせた情報処理技術を提供できる。
【図面の簡単な説明】
【００１０】
【図１】本発明の実施例にかかる情報処理システムの使用環境を示す図である。
【図２】入力装置の外観構成を示す図である。
【図３】情報処理システムにおいて使用する画像データの階層構造を示す図である。
【図４】情報処理装置の機能ブロック図を示す図である。
【図５】画像処理装置における制御部の構成を示す図である。
【図６】ＧＵＩアプリケーションを操作するための操作画像の一例を示す図である。
【図７】図６に示す操作画像に対して設定される電子マニュアルの初期画像を示す図である。
【図８】図７に示す情報画像を縮小表示した例を示す図である。
【図９】図８に示す情報画像を拡大表示した例を示す図である。
【図１０】編集操作画像を示す図である。
【図１１】情報画像アイコンを示す図である。
【図１２】情報画像アイコンが設定された操作項目を選択したときの情報画像の一例を示す図である。
【発明を実施するための形態】
【００１１】
図１は、本発明の実施例にかかる情報処理システム１の使用環境を示す。情報処理システム１は、入力装置２０と、アプリケーションソフトウェアの実行処理および画像処理を実行する情報処理装置１０と、情報処理装置１０による処理結果を出力する表示装置１２とを備える。表示装置１２は、画像を出力するディスプレイおよび音声を出力するスピーカを有するテレビであってよい。また表示装置１２は、コンピュータディスプレイであってもよい。表示装置１２は、情報処理装置１０に有線ケーブルで接続されてよく、また無線ＬＡＮ（Local Area Network）などにより無線接続されてもよい。なお情報処理装置１０、入力装置２０および表示装置１２は、一体に形成されてもよく、たとえば画像処理機能を搭載した携帯端末装置として構成されてもよい。
【００１２】
情報処理システム１において、情報処理装置１０は、ケーブル１４を介してインターネットなどの外部ネットワークに接続し、階層化された圧縮画像データをダウンロードして取得してもよい。なお情報処理装置１０は、無線通信により外部ネットワークに接続してもよい。
【００１３】
情報処理装置１０は、アプリケーションソフトウェア（以下、単に「アプリケーション」と呼ぶ）を実行する。実行するアプリケーションとしては、たとえばＧＵＩ（グラフィカルユーザインタフェース）アプリケーションや、ゲームアプリケーションなど、様々なものが含まれる。情報処理装置１０は、アプリケーションをユーザが操作するための操作画像を、表示装置１２のディスプレイに表示させる。ユーザは、操作画像を見ながら、入力装置２０の操作情報を情報処理装置１０に送信し、情報処理装置１０は、操作画像に対して入力された操作情報をもとに、アプリケーションを実行する。
【００１４】
また情報処理装置１０は、アプリケーションに関連する情報を含む情報画像を生成する画像処理機能も有する。情報処理装置１０は、異なる解像度ごとに少なくとも１つの圧縮したタイル画像を含む画像データを保持しており、この画像データを用いて情報画像を生成する。情報処理装置１０は、ＧＵＩアプリケーションやゲームアプリケーションを実行するゲーム装置であって、画像処理用のプログラムをロードすることで画像処理機能を実現してもよい。また情報処理装置１０は、様々なアプリケーションを実行可能なパーソナルコンピュータであってもよく、画像処理用のプログラムをロードすることで画像処理機能を実現してもよい。
【００１５】
情報処理装置１０は、ユーザから入力装置２０に入力される要求に応じて、表示装置１２のディスプレイに表示する情報画像の拡大／縮小処理や、上下左右方向への移動処理など、情報画像を変更する処理を行う。ユーザが、ディスプレイに表示された情報画像を見ながら入力装置２０を操作すると、入力装置２０が、情報画像の変更要求信号を情報処理装置１０に送信する。
【００１６】
図２は、入力装置２０の外観構成を示す。入力装置２０は、ユーザが操作可能な操作手段として、十字キー２１、アナログスティック２７ａ、２７ｂと、４種の操作ボタン２６を備える。４種の操作ボタン２６は、○ボタン２２、×ボタン２３、□ボタン２４および△ボタン２５から構成される。アプリケーションの実行時、入力装置２０の操作手段に、アプリケーションを操作するための操作画像に対して操作情報を入力するための機能が割り当てられる。
【００１７】
操作画像の表示中、入力装置２０に操作手段には、操作画像に対する操作情報を入力する機能に加えて、操作画像を、アプリケーションに関連する情報を含む情報画像に切り替える要求を入力するための機能が割り当てられる。たとえば、□ボタン２４に、表示画像の切替要求を入力する機能が割り当てられてよい。ディスプレイに操作画像が表示されているとき、ユーザは□ボタン２４を押下すると、表示画像の切替処理が行われて、情報画像がディスプレイに表示されるようになる。
【００１８】
情報処理システム１において、情報処理装置１０が、操作画像を情報画像に切り替えた後は、入力装置２０の操作手段に、情報画像の拡大／縮小要求、および上下左右方向へのスクロール要求を入力するための機能が割り当てられる。たとえば、情報画像の拡大／縮小要求の入力機能は、右側のアナログスティック２７ｂに割り当てられる。ユーザはアナログスティック２７ｂを手前に引くことで、情報画像の縮小要求を入力でき、また手前から押すことで、情報画像の拡大要求を入力できる。また、情報画像のスクロール要求の入力機能は、十字キー２１に割り当てられる。ユーザは十字キー２１を押下することで、十字キー２１を押下した方向のスクロール要求を入力できる。なお、画像変更要求の入力機能は別の操作手段に割り当てられてもよく、たとえばアナログスティック２７ａに、スクロール要求の入力機能が割り当てられてもよい。
【００１９】
入力装置２０は、入力された画像変更要求信号を情報処理装置１０に伝送する機能をもち、本実施例では情報処理装置１０との間で無線通信可能に構成される。入力装置２０と情報処理装置１０は、Bluetooth（ブルートゥース）（登録商標）プロトコルやIEEE802.11プロトコルなどを用いて無線接続を確立してもよい。なお入力装置２０は、情報処理装置１０とケーブルを介して接続して、画像変更要求信号を情報処理装置１０に伝送してもよい。
【００２０】
図３は、情報処理システム１において使用する画像データの階層構造を示す。情報処理装置１０は、この画像データを、情報画像の生成に利用する。画像データは、深さ（Ｚ軸）方向に、第０階層３０、第１階層３２、第２階層３４および第３階層３６を含む階層構造を有し、以下、この階層構造をもつ画像データを「階層データ」とよぶ。なお第４階層以上の高階層があってもよい。図３に示す階層データ２８は４分木の階層構造を有し、各階層は、１以上のタイル画像３８で構成される。すべてのタイル画像３８は同じ画素数をもつ同一サイズに形成され、たとえば２５６×２５６画素を有する。各階層の画像データは、一つの画像を異なる解像度で表現しており、最高解像度をもつ第３階層３６の原画像を複数段階に縮小して、第２階層３４、第１階層３２、第０階層３０の画像データが生成される。たとえば第Ｎ階層の解像度（Ｎは０以上の整数）は、左右（Ｘ軸）方向、上下（Ｙ軸）方向ともに、第（Ｎ＋１）階層の解像度の１／２であってよい。
【００２１】
図３に示す階層データ構造において、深さ（Ｚ軸）方向における位置は、解像度を示し、第０階層３０に近い位置ほど解像度が低く、第３階層３６に近い位置ほど解像度は高い。ディスプレイに表示される画像の大きさに注目すると、深さ方向における位置は、縮尺率に対応し、第３階層３６の表示画像の縮尺率を１とすると、第２階層３４における縮尺率は１／４、第１階層３２における縮尺率は１／１６となり、第０階層３０における縮尺率は１／６４となる。したがって深さ方向において、表示画像が第０階層３０側から第３階層３６側へ向かう方向に変化する場合、表示画像は拡大していき、第３階層３６側から第０階層３０側へ向かう方向に変化する場合は、表示画像は縮小していく。
【００２２】
情報処理装置１０において、階層データ２８は、所定の圧縮形式で圧縮された状態で記憶装置に保持されており、ディスプレイに表示される前に記憶装置から読み出されてデコードされる。階層データにおいて、圧縮処理は、タイル画像単位に行われていてもよく、また同一階層内または異なる階層間において複数のタイル画像単位に行われていてもよい。
【００２３】
階層データ２８の階層構造は、図３に示すように、左右方向をＸ軸、上下方向をＹ軸、深さ方向をＺ軸として設定され、仮想的な３次元空間を構築する。この階層構造において、Ｘ軸およびＹ軸は、原点を等しくする共通の座標系を定義する。情報処理装置１０は、入力装置２０から供給される画像変更要求から情報画像の変更量を導出すると、その変更量を用いて、階層を特定する情報と、その階層におけるテクスチャ座標（ＵＶ座標）を導出する。この階層特定情報およびテクスチャ座標の組み合わせを、空間座標と呼ぶ。仮想空間における空間座標は、情報画像の生成処理に利用される。なお情報処理装置１０は、情報画像の変更量を用いて仮想空間におけるフレーム画像の４隅の座標を導出してもよい。この４隅のフレーム座標も、空間座標と呼ぶ。また情報処理装置１０は、仮想空間におけるフレーム画像の中心座標（Ｘ，Ｙ）と縮尺率ＳＣＡＬＥを導出してもよい。情報処理装置１０は、入力装置２０から供給される画像変更要求信号から、適切な階層のタイル画像３８の使用領域を特定できればよく、いずれの手法を採用してもよい。
【００２４】
図４は、情報処理装置１０の機能ブロック図を示す。情報処理装置１０は、無線インタフェース４０、スイッチ４２、表示処理部４４、ハードディスクドライブ５０、記録媒体装着部５２、ディスクドライブ５４、メインメモリ６０、バッファメモリ７０および制御部１００を有して構成される。表示処理部４４は、表示装置１２のディスプレイに表示するデータをバッファするフレームメモリを有する。
【００２５】
スイッチ４２は、イーサネットスイッチ（イーサネットは登録商標）であって、外部の機器と有線または無線で接続して、データの送受信を行うデバイスである。スイッチ４２は、ケーブル１４を介して外部ネットワークに接続し、画像サーバから階層化された圧縮画像データを受信してもよい。またスイッチ４２は無線インタフェース４０に接続し、無線インタフェース４０は、所定の無線通信プロトコルで入力装置２０と接続する。入力装置２０においてユーザから入力された画像変更要求信号は、無線インタフェース４０、スイッチ４２を経由して、制御部１００に供給される。
【００２６】
ハードディスクドライブ５０は、データを記憶する補助記憶装置として機能する。スイッチ４２を介して受信された圧縮画像データは、ハードディスクドライブ５０に格納されてもよい。表示処理の実行時、ハードディスクドライブ５０に格納された圧縮画像データは、メインメモリ６０に読み出される。記録媒体装着部５２は、メモリカードなどのリムーバブル記録媒体が装着されると、リムーバブル記録媒体からデータを読み出す。ディスクドライブ５４は、読出専用のＲＯＭディスクが装着されると、ＲＯＭディスクを駆動して認識し、データを読み出す。ＲＯＭディスクは、光ディスクや光磁気ディスクなどであってよい。なお圧縮画像データは、ハードディスクドライブ５０にプリインストールされていてもよい。また圧縮画像データは、リムーバブル記録媒体またはＲＯＭディスクに記録されていて、表示処理の実行時に、メインメモリ６０に読み出されてもよい。
【００２７】
制御部１００は、マルチコアＣＰＵを備え、１つのＣＰＵの中に１つの汎用的なプロセッサコアと、複数のシンプルなプロセッサコアを有する。汎用プロセッサコアはＰＰＵ（Power Processing Unit）と呼ばれ、残りのプロセッサコアはＳＰＵ（Synergistic-Processing Unit）と呼ばれる。
【００２８】
制御部１００は、メインメモリ６０およびバッファメモリ７０に接続するメモリコントローラを備える。ＰＰＵはレジスタを有し、演算実行主体としてメインプロセッサを備えて、実行するアプリケーションにおける基本処理単位としてのタスクを各ＳＰＵに効率的に割り当てる。なお、ＰＰＵ自身がタスクを実行してもよい。ＳＰＵはレジスタを有し、演算実行主体としてのサブプロセッサとローカルな記憶領域としてのローカルメモリを備える。ローカルメモリは、バッファメモリ７０として使用されてもよい。メインメモリ６０およびバッファメモリ７０は記憶装置であり、ＲＡＭ（ランダムアクセスメモリ）として構成される。ＳＰＵは制御ユニットとして専用のＤＭＡ（Direct Memory Access）コントローラをもち、メインメモリ６０とバッファメモリ７０の間のデータ転送を高速に行うことができ、また表示処理部４４におけるフレームメモリとバッファメモリ７０の間で高速なデータ転送を実現できる。本実施例の制御部１００は、複数のＳＰＵを並列動作させることで、高速な画像処理機能を実現する。表示処理部４４は、表示装置１２に接続されて、ユーザからの要求に応じた画像処理結果を出力する。
【００２９】
図５は、画像処理装置１０における制御部１００の構成を示す。制御部１００は、アプリケーション処理部１１０、画像切替部１２０、画像データ生成部１３０および情報画像処理部１４０を備える。アプリケーション処理部１１０は、アプリケーションの実行状況を示す操作画像を生成し、操作情報受付部１１２、アプリケーション実行部１１４および操作画像生成部１１６を有する。画像切替部１２０は、操作画像と情報画像の切替処理を実行し、切替要求受付部１２２、切替条件判定部１２４および切替指示部１２６を有する。画像データ生成部１３０は、操作画像のスクリーンキャプチャ機能を有し、操作画像のスクリーンショットを用いて画像データを再構成する。情報画像処理部１４０は、情報画像を生成し、また情報画像の変更を行う機能を有し、変更要求受付部１４２、画像データ取得部１４４、デコード部１４６、変更量導出部１４８、空間座標決定部１５０および情報画像生成部１５２を有する。
【００３０】
図５において、さまざまな処理を行う機能ブロックとして記載される各要素は、ハードウェア的には、ＣＰＵ（Central Processing Unit）、メモリ、その他のＬＳＩで構成することができ、ソフトウェア的には、メモリにロードされたプログラムなどによって実現される。既述したように、制御部１００は１つのＰＰＵと複数のＳＰＵとを有し、ＰＰＵおよびＳＰＵがそれぞれ単独または協同して、各機能ブロックを構成できる。したがって、これらの機能ブロックがハードウェアのみ、ソフトウェアのみ、またはそれらの組合せによっていろいろな形で実現できることは当業者には理解されるところであり、いずれかに限定されるものではない。
【００３１】
情報処理システム１において、情報処理装置１０が、録画したテレビ番組の再生、消去、編集、また別の端末への転送などの操作を行わせるＧＵＩアプリケーションを実行する。このアプリケーションの操作画像には、ディスプレイに録画済みの映像コンテンツのアイコン画像やタイトルなどが表示され、また選択した映像コンテンツに対して用意されている操作項目のリストが表示される。
【００３２】
図６は、ＧＵＩアプリケーションを操作するための操作画像の一例を示す。表示装置１２のディスプレイにおいて、操作画像は、コンテンツ表示領域２００と操作項目表示領域２０２とに分割される。コンテンツ表示領域２００には、ビデオアイコン２０４が配置され、その上下方向に、録画したテレビ番組のコンテンツアイコンが配置される。操作対象となるコンテンツアイコン２０６は、ビデオアイコン２０４の直下に配置される。ユーザは、入力装置２０の十字キー２１を上下方向に操作することで、コンテンツアイコンの配置を変えられる。
【００３３】
操作項目表示領域２０２には、コンテンツに対する操作項目を示す操作項目リスト２１０が表示される。ユーザは、コンテンツ表示領域２００においてコンテンツを選択した後、入力装置２０の所定のボタンを押下することで、操作項目リスト２１０に含まれる操作項目を選択可能となる。操作項目リスト２１０においては、選択インジケータ２１２を上下方向に動かして、所望の操作項目を選択する。図示の例では、「消去」操作が選択されている。以上の処理は、図５に示すアプリケーション処理部１１０により実行される。
【００３４】
アプリケーション処理部１１０において、まず操作画像生成部１１６が、操作画像の初期画像を生成する。初期画像において、コンテンツアイコンの配置は任意に設定されており、また選択インジケータ２１２は、たとえば操作項目リスト２１０における最上位の「再生」操作を指定している。ユーザが入力装置２０を操作すると、操作情報受付部１１２が、その操作情報を受け付け、アプリケーション実行部１１４が、入力された操作情報をもとに、コンテンツアイコンの配置変更指示を生成し、また選択インジケータ２１２の移動指示を生成する。操作画像生成部１１６は、アプリケーション実行部１１４からの指示をもとに操作画像を生成して、表示処理部４４から表示装置１２に操作画像を出力させる。
【００３５】
図６に示す操作画像において、たとえば入力装置２０の○ボタン２２が押下されると、操作情報受付部１１２は、その操作情報を受け付け、アプリケーション実行部１１４が、コンテンツアイコン２０６で特定されるコンテンツの消去処理を実行する。この例では、○ボタン２２に、決定ボタンとしての機能が割り当てられている。
【００３６】
一方、このＧＵＩアプリケーションに不慣れなユーザは、消去処理を実行する前に、消去処理の手順や注意点などの情報を知りたいことが多い。たとえば説明情報２０８で特定される「世界の街から」のコンテンツの中で前半部分だけを消去したいような場合、「消去」操作により一部消去が可能であることを期待していたが、全て消去されてしまったのではユーザも困る。そこでユーザは、消去処理を実行する前に、「消去」操作のマニュアルにアクセスする機会が欲しい。
【００３７】
そこで情報処理装置１０は、アプリケーションに関連する情報を含んだ情報画像をユーザに提供する。本実施例では、情報画像は、ＧＵＩアプリケーションの操作を説明するマニュアル画像である。マニュアル画像を提供することで、ユーザは、「消去」操作についての詳細を知ることができる。操作画像から情報画像への切替処理は、図５に示す画像切替部１２０により実行される。
【００３８】
図６に示す操作画像において、所定の操作入力、たとえば入力装置２０の□ボタン２４が押下されると、切替要求受付部１２２が、その操作情報を、表示画像の切替要求として受け付ける。切替指示部１２６は、□ボタン２４が押下された時点の操作画像の情報をバッファメモリ７０などの記憶装置に保持させる。これは、マニュアルを読み終えたユーザが、元の操作画像に戻れるようにするためである。また切替指示部１２６は、選択された操作項目を示す情報（以下、「選択項目情報」とよぶ）を含む切替指示を情報画像処理部１４０に供給する。
【００３９】
変更要求受付部１４２が切替指示を受け付けると、階層データがハードディスクドライブ５０から読み出されて、メインメモリ６０に保持される。画像データ取得部１４４は、選択項目情報をもとに、情報画像の生成に用いるタイル画像をメインメモリ６０から読み出す。選択項目情報のそれぞれに対して、マニュアル画像の初期画像は予め定められており、したがって画像データ取得部１４４は、読み出すべきタイル画像を特定できる。デコード部１４６は、タイル画像をデコードし、バッファメモリ７０に保持させる。空間座標決定部１５０は、初期画像として予め定められている空間座標により、テクスチャ座標を決定し、情報画像生成部１５２は、テクスチャ座標をもとに、バッファメモリ７０に保持されたタイル画像を用いて、情報画像を生成し、表示処理部４４のフレームメモリ９０に供給する。このとき情報画像生成部１５２は、操作画像に対応するサムネイル画像を含む情報画像を生成する。
【００４０】
図７は、図６に示す操作画像に対して設定される電子マニュアルの初期画像を示す。この初期画像では、「消去」操作についてのマニュアルの一部が表示される。電子マニュアルの初期画像には、操作画像に対応するサムネイル画像２２０が含まれる。情報画像にサムネイル画像２２０が含まれることで、ユーザは、図６に示す操作画像に対する電子マニュアル、すなわち「消去」操作についてのマニュアルが表示されていることを認識できる。
【００４１】
ユーザが入力装置２０のアナログスティック２７や十字キー２１を操作すると、画像変更要求信号が情報処理装置１０に送信される。変更要求受付部１４２は、入力装置２０から、ディスプレイに表示されている情報画像の変更要求信号を受け付ける。
【００４２】
画像データ取得部１４４は、変更要求信号をもとに、情報画像の生成に用いるタイル画像をメインメモリ６０から読み出す。デコード部１４６は、タイル画像をデコードし、バッファメモリ７０に保持させる。たとえば画像データ取得部１４４は、変更要求信号で表示が要求される画像の縮尺率を予測して、将来必要となるであろうタイル画像を先読みして、バッファメモリ７０に保持させることが好ましい。
【００４３】
変更量導出部１４８は、変更要求信号をもとに、表示要求される情報画像の変更量を導出する。情報画像の変更量は、１フレームごとの上下左右方向の移動量および深さ方向の移動量である。空間座標決定部１５０は、前回フレームのテクスチャ座標から、導出された変更量により移動する今回フレームのテクスチャ座標を決定する。情報画像生成部１５２は、テクスチャ座標をもとに、バッファメモリ７０に保持されたタイル画像を用いて、情報画像を生成し、表示処理部４４のフレームメモリ９０に供給する。
【００４４】
ユーザが映像コンテンツを完全に消去したい場合、図７に示す情報画像（マニュアル画像）を下方向にスクロールすることで、「消去」操作のマニュアルを読むことができる。これにより、ユーザは、「消去」操作の内容について十分に理解した上で、「消去」操作を実行する。
【００４５】
図６に示す操作画像から、図７に示す電子マニュアルの初期画像へは、情報画像生成部１５２により直接切り替えられてもよいが、図６に示す操作画像から徐々にズームアウトしていくことで、図７に示す電子マニュアルの初期画像に切り替えられてもよい。
【００４６】
変更要求受付部１４２が切替指示を受け付けると、階層データがハードディスクドライブ５０から読み出されて、メインメモリ６０に保持される。画像データ取得部１４４は、選択項目情報をもとに、図６に示す操作画像と同じ範囲を示す情報画像の生成に用いるタイル画像をメインメモリ６０から読み出す。デコード部１４６は、タイル画像をデコードし、バッファメモリ７０に保持させる。空間座標決定部１５０は、図６に示す操作画像に対応する情報画像のテクスチャ座標を決定し、情報画像生成部１５２は、テクスチャ座標をもとに、バッファメモリ７０に保持されたタイル画像を用いて、図６に示す操作画像と等倍の情報画像を生成し、表示処理部４４のフレームメモリ９０に供給する。このとき情報画像生成部１５２は、図６に示す操作画像のサムネイル画像２２０をディスプレイ全面に表示させる情報画像を生成する。
【００４７】
サムネイル画像２２０は、図６に示す操作画像のテンプレート画像であり、操作画像にきわめて近似するように構成されてはいるが、たとえば操作画像に含まれる説明情報２０８を含んでおらず、同一ではない。そのため情報画像生成部１５２は、図６に示す操作画像からサムネイル画像２２０に切り替える際に、元の操作画像をフェードアウトし、またサムネイル画像２２０をフェードインしてクロスフェードを実行し、画像遷移にともなう不連続さをユーザに感じさせないようにしてもよい。
【００４８】
このように情報画像生成部１５２は、サムネイル画像２２０をディスプレイに全面表示する情報画像を生成した後、サムネイル画像２２０が中央ではない所定の領域に配置されるように、サムネイル画像２２０を縮小していく。具体的に情報画像生成部１５２は、全面表示されたサムネイル画像２２０を縮小していき、図７に示す電子マニュアルの初期画像を生成する。単純に全面表示されたサムネイル画像２２０を縮小していくと、サムネイル画像２２０が中央に配置された電子マニュアルがディスプレイに表示されることになる。一方、電子マニュアルの初期画像を予め設定しておき、全面表示されたサムネイル画像２２０を上下左右の一方向（この場合は画面左下方向）に移動させながら、設定した初期画像となるように表示画像を遷移させることで、ユーザは、違和感を覚えることなく、容易に所望の電子マニュアルにアクセスできるようになる。
【００４９】
一方、電子マニュアルから図６に示す操作画像には、サムネイル画像２２０を拡大表示することで遷移できる。ユーザは、入力装置２０を操作して、サムネイル画像２２０の拡大要求を入力すると、情報画像生成部１５２が、変更要求信号をもとに、サムネイル画像２２０を拡大していく。画像切替部１２０において、切替条件判定部１２４は、情報画像から操作画像への切替条件を保持しており、情報画像の表示中、切替条件の成立の有無を監視している。たとえば切替条件は、サムネイル画像２２０が、所定の縮尺率以上で表示されていることに設定される。切替条件判定部１２４は、情報画像の縮尺率を監視して、所定の縮尺率を超えた場合に、切替条件が成立したことを判定する。また切替条件は、ディスプレイにおけるサムネイル画像２２０の占有率が所定値を超えたことに設定されてもよい。ここで占有率は、ディスプレイの全体画素数のうち、サムネイル画像２２０の画素数が占める割合として定義され、たとえば６０％を超えた場合に、切替条件判定部１２４は、切替条件が成立したことを判定する。切替指示部１２６は、操作画像から情報画像に切り替える直前の操作画像の情報を保持しており、拡大表示されているサムネイル画像２２０が、保持している操作画像情報に対応することを判定すると、操作画像生成部１１６に対して、操作画像情報を含む切替指示をアプリケーション処理部１１０に供給する。
【００５０】
アプリケーション処理部１１０において、操作画像生成部１１６は、供給された操作画像情報をもとに、図６に示す操作画像を生成する。ユーザは、マニュアルで獲得した知識をもとに、コンテンツの「消去」操作を安心して実行できる。
【００５１】
なお、切替条件判定部１２４が切替条件の成立を判定すると、すぐに操作画像生成部１１６が操作画像を生成してもよいが、画像の連続性を担保するように情報画像生成部１５２がサムネイル画像２２０に徐々にズームインする表示画像を生成した後に、操作画像に遷移してもよい。具体的には、情報画像生成部１５２が、切替条件が成立した時点の情報画像から、サムネイル画像２２０を全面表示した情報画像に、表示画像を拡大していき、サムネイル画像２２０が全面表示された時点で、操作画像生成部１１６が、全面表示されたサムネイル画像２２０と図６に示す操作画像との間でクロスフェードを実行する。つまり操作画像生成部１１６は、サムネイル画像２２０をフェードアウトし、また図６に示す操作画像をフェードインしてクロスフェードを実行して、画像遷移にともなう不連続さをユーザに感じさせないようにする。
【００５２】
このように情報画像生成部１５２は、切替条件の成立後、サムネイル画像２２０が全面表示されるように、サムネイル画像２２０を拡大していく。具体的に情報画像生成部１５２は、切替条件成立時点の情報画像を上下左右の一方向に移動させながら、サムネイル画像２２０の全面表示画像に遷移させ、操作画像生成部１１６が、図６に示す操作画像との間でクロスフェードさせることで、ユーザは、違和感を覚えることなく、電子マニュアルから操作画像への切り替わりを容易に認識できるようになる。
【００５３】
なお、情報画像から操作画像への切替要求が、情報画像において、所定の操作入力、たとえば入力装置２０の□ボタン２４が押下されたことで生成されてもよい。入力装置２０の□ボタン２４が押下されると、切替要求受付部１２２が、その操作情報を、表示画像の切替要求として受け付ける。切替指示部１２６は、操作画像生成部１１６に対して、操作画像情報を含む切替指示をアプリケーション処理部１１０に供給し、操作画像生成部１１６が、表示画像を操作画像に切り替える。このとき上記したように、□ボタン２４が押下された時点から、情報画像生成部１５２がサムネイル画像２２０を徐々に拡大して、全面表示させ、操作画像生成部１１６が、図６に示す操作画像との間でクロスフェードを実行して、操作画像を表示させてもよい。
【００５４】
一方、ユーザが映像コンテンツの一部のみを消去したい場合、図７に示す情報画像（マニュアル画像）で「注意してほしいこと」を読むと、「消去」操作では、映像コンテンツの一部消去ができないことを理解する。このときユーザは、「編集」操作のマニュアルを探すべく、情報画像をズームアウト（縮小表示）させる。ユーザは、入力装置２０を操作して、情報画像の縮小要求を入力すると、情報画像生成部１５２が、変更要求信号をもとに、情報画像を縮小していく。
【００５５】
図８は、図７に示す情報画像を縮小表示した例を示す。このズームアウト処理により、ユーザは、電子マニュアルを俯瞰でき、「消去」マニュアルの周辺に配置されている「編集」マニュアルを容易に探すことができる。なお、「消去」操作と「編集」操作とは、互いの操作内容の関連性が高く、「消去」マニュアルを読むユーザが、同時に「編集」マニュアルも読む可能性が高いことから、図８に示すように、電子マニュアル画像上、近接した位置に配置されていることが好ましい。
【００５６】
ユーザは、電子マニュアルを俯瞰することで、興味のある情報を容易に見つけ出すことができる。従来型の電子マニュアルでは、キーワード検索でヒットした情報のみをユーザに提示するものであるが、本実施例の情報処理システム１によると、ユーザが希望する情報だけでなく、電子マニュアルを上下左右にスクロールするだけで、他の情報にもアクセスしやすい環境を実現できるため、ユーザに利便性の高い電子マニュアルシステムを提供できる。
【００５７】
図８に示す縮小表示された情報画像には、図６に示す操作画像に対応するサムネイル画像２２０だけでなく、別の操作画像に対応するサムネイル画像２２２も含まれる。具体的に情報画像生成部１５２は、画像データを用いて、「消去」操作画像に対応するサムネイル画像２２０と、「編集」操作画像に対応するサムネイル画像２２２を含む情報画像を生成する。ユーザは、入力装置２０を操作して、「編集」マニュアル画像の拡大要求を入力すると、情報画像生成部１５２が、変更要求信号をもとに、編集マニュアルを拡大していく。なお、この変更要求信号は、拡大要求と、右方向へのスクロール要求の双方を含む。
【００５８】
図９は、図８に示す情報画像を拡大表示した例を示す。ユーザは、表示されている文字などを読みやすい大きさにするために、この拡大表示を行う。ユーザが、図８に示す消去マニュアルと編集マニュアルの位置関係を予め知っているのであれば、図７に示すマニュアル画像から右方向にスクロールすることで、図９に示すマニュアル画像に到達できる。ユーザは図９に示すマニュアル画像を下方向にスクロールすることで、「編集」操作のマニュアルを読むことができる。これにより、ユーザは、「編集」操作の内容について十分に理解した上で、コンテンツの「編集」操作を実行する。
【００５９】
編集操作画像には、サムネイル画像２２２を拡大表示することで遷移できる。切替条件判定部１２４は、情報画像から操作画像への切替条件が成立したことを判定すると、切替指示部１２６は、拡大表示されているサムネイル画像２２２が、保持している操作画像情報に対応するか判定する。この例では、保持している操作画像情報は、サムネイル画像２２０と対応しており、サムネイル画像２２２には対応していない。したがって、切替指示部１２６は、操作画像情報と、サムネイル画像２２２を特定する識別情報を含む切替指示をアプリケーション処理部１１０に供給する。サムネイル画像２２２を特定する識別情報には、「編集」操作を特定する情報が含まれる。なお、既述したように、図９に示す情報画像において、ユーザが□ボタン２４を押下すると、切替要求受付部１２２が、情報画像から操作画像への切替要求として受け付けてもよい。
【００６０】
アプリケーション処理部１１０において、操作画像生成部１１６は、供給された操作画像情報から、コンテンツとして「世界の街から」が選択されており、またサムネイル画像２２２を特定する識別情報から、操作項目として「編集」操作が選択されたことを認識する。これにより、操作画像生成部１１６は、編集操作画像を生成する。
【００６１】
図１０は、編集操作画像を示す。この編集操作画像では、選択インジケータ２１２が「編集」操作を指定している。ユーザは、マニュアルで獲得した知識をもとに、「編集」操作により、映像コンテンツの一部消去を安心して実行できる。
【００６２】
このように、本実施例の情報処理装置１０は、複数解像度の画像データを利用して電子マニュアルを生成することで、ユーザが直観的に操作でき、また目的とする情報以外の情報にもアクセスが容易な電子マニュアルを実現できる。また、アプリケーションの電子マニュアルにおいて、電子マニュアルに含まれるサムネイル画像を拡大表示することで、アプリケーションに戻ることができるため、アプリケーションと電子マニュアルとをシームレスにリンクさせる新たなサービスをユーザに提供できる。
【００６３】
情報画像において表示されるサムネイル画像は、予め用意されたテンプレート画像であってもよいが、ＧＵＩアプリケーションと、電子マニュアルの繋ぎ目をよりスムーズに表現するために、サムネイル画像を、操作画像のスクリーンショットにより構成してもよい。
【００６４】
切替指示部１２６が、表示画像の切替指示を発行すると、画像データ生成部１３０が操作画像の画像データを取得し、階層データにおいて対応する領域に操作画像の画像データを埋め込んで、階層データを再構成する。これにより、図７に示すサムネイル画像２２０は、図６に示す操作画像の縮小画像となり、サムネイル画像２２０において、「世界の街から」などの説明情報２０８も含まれるようになる。表示画像が、図６に示す操作画像から図７に示す情報画像に遷移しても、サムネイル画像２２０は、操作画像の縮小画像であるため、ユーザは、「世界の街から」のコンテンツを意識しながら、電子マニュアルを読むことができる。このように、動的に階層データを再構成することで、アプリケーションの状況にあわせた電子マニュアルを生成することが可能となる。
【００６５】
また画像データ生成部１３０は、情報画像において、サムネイル画像２２０以外のサムネイル画像（たとえばサムネイル画像２２２）が表示されるときに、対応する操作画像の画像データを取得する。情報画像生成部１５２が、情報画像を生成する際、サムネイル画像２２０以外のサムネイル画像を生成する必要が生じると、操作画像生成部１１６に対して、そのサムネイル画像に対応する操作画像の情報を通知する。操作画像生成部１１６は、この通知を受けると、図６に示す操作画像の情報（たとえば説明情報２０８など）を含めた操作画像を生成し、画像データ生成部１３０に供給する。画像データ生成部１３０は、この画像データを取得し、階層データにおいて対応する領域に操作画像の画像データを埋め込み、階層データを再構成する。これにより、たとえば図８に示すサムネイル画像２２２を、操作画像の縮小画像とすることが可能となる。
【００６６】
なお、操作画像のスクリーンショットの表示は、画像データ生成部１３０による階層データの再構成を行わなくても、たとえば情報画像生成部１５２が、タイル画像を用いて生成した情報画像上の対応する領域に、スクリーンショット画像を上書きすることで実現されてもよい。情報画像生成部１５２は、階層データを用いた情報画像の拡大縮小表示に連動して、スクリーンショット画像も拡大縮小する。これにより、階層データを再構成したときと同じく、操作画像のスクリーンショット画像を、電子マニュアル上でユーザに提示することが可能となる。
【００６７】
なお、アプリケーションの操作は、あくまでも操作画像で行わせるというポリシーのもとで、操作画像のスクリーンショットで構成したサムネイル画像に対して、操作画像とは異なることをユーザに認識させるための画像処理を施してもよい。たとえば操作画像はカラー表示されている場合に、サムネイル画像は白黒表示とすることで、ユーザは、サムネイル画像上でアプリケーションは実行できないことを認識する。また、操作画像に動画アイコンが含まれる場合に、サムネイル画像では、それを静止画アイコンとすることで、操作画像との違いを認識させてもよい。
【００６８】
図１１は、情報画像アイコン２２４を示す。情報画像アイコン２２４は、操作項目リスト２１０に含まれる操作項目のうち、情報画像が用意されているものを特定するためのアイコンである。この例では、「消去」、「おでかけ転送」、「編集」の各操作に対して情報画像アイコン２２４が設けられており、したがって、ユーザは、これらの各操作に対してマニュアル画像が存在していることを認識する。
【００６９】
図１２は、情報画像アイコン２２４が設定された操作項目を選択したときの情報画像の一例を示す。情報画像には、情報画像アイコン２２４に対応するマニュアル画像２２６が含まれる。マニュアル画像２２６は、階層データにより生成されており、ユーザは、マニュアル画像２２６を拡大表示することで、マニュアル画像に含まれる文字などを、読みやすい大きさにできる。
【００７０】
以上、本発明を実施例をもとに説明した。この実施例は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。
【００７１】
実施例では、ユーザがサムネイル画像からアプリケーションを実行できないようにしたが、サムネイル画像の代わりに、アプリケーションの操作画像が縮小されて埋め込まれてもよい。これにより、ユーザは、電子マニュアル上で、直接アプリケーションを実行することができ、電子マニュアルとアプリケーションとの境界を無くした新たなサービスを提供できる。
【００７２】
また実施例では、情報画像において□ボタン２４を押下すると、表示されているサムネイル画像に対応する操作画像に遷移する処理について説明した。変形例では、情報画像に複数のサムネイル画像が含まれる状況を想定する。たとえば、図８に示す情報画像において□ボタン２４が押下されると、切替要求受付部１２２は、表示されているサムネイル画像２２０、２２２のうち、たとえば画素数の多いサムネイル画像に対応する操作画像への切替要求として受け付ける。なお、画素数が同じとき、情報画像に遷移する前の操作画像に対応するサムネイル画像２２０が存在すれば、対応する操作画像への切替要求として受け付ける。一方、情報画像に遷移する前の操作画像に対応するサムネイル画像２２０が存在しなければ、たとえば画面中央付近に存在するサムネイル画像に対応する操作画像への切替要求として受け付けてもよい。このように切替要求受付部１２２は、どのサムネイル画像を選択するかを示す選択条件を保持し、その選択条件を参照して、サムネイル画像を選択し、選択したサムネイル画像に対応する操作画像への切替要求として受け付ける。
【００７３】
また実施例では情報画像生成部１５２が階層データを用いて情報画像を生成する例について説明した。変形例では、情報画像生成部１５２が、たとえばアウトラインフォントなどのデジタルフォントで作成された画像データを用いて、情報画像を生成してもよく、また単に１層の画像データを用いて情報画像を生成してもよい。
【００７４】
また実施例では、アプリケーションとしてＧＵＩアプリケーション、情報画像として電子マニュアルを示したが、当然のことながら、これらとは異なる組み合わせも可能である。たとえば、アプリケーションとして、複数のステージ問題で構成されるゲームアプリケーション、情報画像として、複数のステージ問題を表現したサムネイル画像の組み合わせが、情報処理システム１において実現されてもよい。
【符号の説明】
【００７５】
１・・・情報処理システム、１０・・・情報処理装置、１２・・・表示装置、２０・・・入力装置、４４・・・表示処理部、５０・・・ハードディスクドライブ、６０・・・メインメモリ、７０・・・バッファメモリ、９０・・・フレームメモリ、１００・・・制御部、１１０・・・アプリケーション処理部、１１２・・・操作情報受付部、１１４・・・アプリケーション実行部、１１６・・・操作画像生成部、１２０・・・画像切替部、１２２・・・切替要求受付部、１２４・・・切替条件判定部、１２６・・・切替指示部、１３０・・・画像データ生成部、１４０・・・情報画像処理部、１４２・・・変更要求受付部、１４４・・・画像データ取得部、１４６・・・デコード部、１４８・・・変更量導出部、１５０・・・空間座標決定部、１５２・・・情報画像生成部、２００・・・コンテンツ表示領域、２０２・・・操作項目表示領域、２０４・・・ビデオアイコン、２０６・・・コンテンツアイコン、２０８・・・説明情報、２１０・・・操作項目リスト、２１２・・・選択インジケータ、２２０，２２２・・・サムネイル画像、２２４・・・情報画像アイコン、２２６・・・マニュアル画像。
【技術分野】
【０００１】
本発明は、ディスプレイに表示する画像を拡大／縮小、または上下左右に移動させる画像処理技術を利用する情報処理装置に関する。
【背景技術】
【０００２】
ゲームプログラムを実行するだけでなく、動画を再生できる家庭用エンタテインメントシステムが提案されている。この家庭用エンタテインメントシステムでは、ＧＰＵがポリゴンを用いた三次元画像を生成する。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】米国特許第６５６３９９９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
従来より、高精細な写真などのディジタル画像から生成された複数の解像度のタイル画像を用いて、表示画像の拡大／縮小処理や、上下左右方向の移動処理を行う技術が提案されている。この画像処理技術では、原画像サイズを複数段階に縮小して異なる解像度の画像を生成し、各階層の画像を一又は複数のタイル画像に分割して、原画像を階層構造で表現する。通常、最も解像度の低い画像は１つのタイル画像で構成され、最も解像度の高い原画像は、最も多い数のタイル画像で構成される。画像処理装置は、表示画像の拡大処理または縮小処理時に、使用しているタイル画像を、異なる階層のタイル画像に切り替えることで、拡大表示または縮小表示を迅速に行うようにしている。
【０００５】
この画像処理技術によると、表示対象となる画像を拡大または縮小した場合であっても、表示解像度を高く維持して、高精細な画像をユーザに提供できる。そこで本発明者は、この画像処理技術の有用性に着目し、この画像処理技術とアプリケーションソフトウェアとをリンクさせることで、アプリケーションソフトウェアの使いやすさの向上など、様々な利益をユーザに与えられることを想到するに至った。
【０００６】
そこで本発明は、アプリケーションソフトウェアに画像処理技術をリンクさせた情報処理技術を提供することを目的とする。
【課題を解決するための手段】
【０００７】
上記課題を解決するために、本発明のある態様の情報処理装置は、アプリケーションを操作するための操作画像を生成する操作画像生成部と、操作画像に対して入力された操作情報をもとに、アプリケーションを実行する実行部と、アプリケーションに関連する情報を含む情報画像を生成する情報画像生成部と、情報画像を生成するための画像データを保持する記憶装置と、ディスプレイの表示画像を、操作画像から情報画像に切り替える画像切替部とを備える。情報画像生成部は、記憶装置に保持された画像データを用いて、操作画像に対応するサムネイル画像を含む情報画像を生成する。
【０００８】
なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システム、記録媒体、コンピュータプログラムなどの間で変換したものもまた、本発明の態様として有効である。
【発明の効果】
【０００９】
本発明によると、アプリケーションソフトウェアに画像処理技術をリンクさせた情報処理技術を提供できる。
【図面の簡単な説明】
【００１０】
【図１】本発明の実施例にかかる情報処理システムの使用環境を示す図である。
【図２】入力装置の外観構成を示す図である。
【図３】情報処理システムにおいて使用する画像データの階層構造を示す図である。
【図４】情報処理装置の機能ブロック図を示す図である。
【図５】画像処理装置における制御部の構成を示す図である。
【図６】ＧＵＩアプリケーションを操作するための操作画像の一例を示す図である。
【図７】図６に示す操作画像に対して設定される電子マニュアルの初期画像を示す図である。
【図８】図７に示す情報画像を縮小表示した例を示す図である。
【図９】図８に示す情報画像を拡大表示した例を示す図である。
【図１０】編集操作画像を示す図である。
【図１１】情報画像アイコンを示す図である。
【図１２】情報画像アイコンが設定された操作項目を選択したときの情報画像の一例を示す図である。
【発明を実施するための形態】
【００１１】
図１は、本発明の実施例にかかる情報処理システム１の使用環境を示す。情報処理システム１は、入力装置２０と、アプリケーションソフトウェアの実行処理および画像処理を実行する情報処理装置１０と、情報処理装置１０による処理結果を出力する表示装置１２とを備える。表示装置１２は、画像を出力するディスプレイおよび音声を出力するスピーカを有するテレビであってよい。また表示装置１２は、コンピュータディスプレイであってもよい。表示装置１２は、情報処理装置１０に有線ケーブルで接続されてよく、また無線ＬＡＮ（Local Area Network）などにより無線接続されてもよい。なお情報処理装置１０、入力装置２０および表示装置１２は、一体に形成されてもよく、たとえば画像処理機能を搭載した携帯端末装置として構成されてもよい。
【００１２】
情報処理システム１において、情報処理装置１０は、ケーブル１４を介してインターネットなどの外部ネットワークに接続し、階層化された圧縮画像データをダウンロードして取得してもよい。なお情報処理装置１０は、無線通信により外部ネットワークに接続してもよい。
【００１３】
情報処理装置１０は、アプリケーションソフトウェア（以下、単に「アプリケーション」と呼ぶ）を実行する。実行するアプリケーションとしては、たとえばＧＵＩ（グラフィカルユーザインタフェース）アプリケーションや、ゲームアプリケーションなど、様々なものが含まれる。情報処理装置１０は、アプリケーションをユーザが操作するための操作画像を、表示装置１２のディスプレイに表示させる。ユーザは、操作画像を見ながら、入力装置２０の操作情報を情報処理装置１０に送信し、情報処理装置１０は、操作画像に対して入力された操作情報をもとに、アプリケーションを実行する。
【００１４】
また情報処理装置１０は、アプリケーションに関連する情報を含む情報画像を生成する画像処理機能も有する。情報処理装置１０は、異なる解像度ごとに少なくとも１つの圧縮したタイル画像を含む画像データを保持しており、この画像データを用いて情報画像を生成する。情報処理装置１０は、ＧＵＩアプリケーションやゲームアプリケーションを実行するゲーム装置であって、画像処理用のプログラムをロードすることで画像処理機能を実現してもよい。また情報処理装置１０は、様々なアプリケーションを実行可能なパーソナルコンピュータであってもよく、画像処理用のプログラムをロードすることで画像処理機能を実現してもよい。
【００１５】
情報処理装置１０は、ユーザから入力装置２０に入力される要求に応じて、表示装置１２のディスプレイに表示する情報画像の拡大／縮小処理や、上下左右方向への移動処理など、情報画像を変更する処理を行う。ユーザが、ディスプレイに表示された情報画像を見ながら入力装置２０を操作すると、入力装置２０が、情報画像の変更要求信号を情報処理装置１０に送信する。
【００１６】
図２は、入力装置２０の外観構成を示す。入力装置２０は、ユーザが操作可能な操作手段として、十字キー２１、アナログスティック２７ａ、２７ｂと、４種の操作ボタン２６を備える。４種の操作ボタン２６は、○ボタン２２、×ボタン２３、□ボタン２４および△ボタン２５から構成される。アプリケーションの実行時、入力装置２０の操作手段に、アプリケーションを操作するための操作画像に対して操作情報を入力するための機能が割り当てられる。
【００１７】
操作画像の表示中、入力装置２０に操作手段には、操作画像に対する操作情報を入力する機能に加えて、操作画像を、アプリケーションに関連する情報を含む情報画像に切り替える要求を入力するための機能が割り当てられる。たとえば、□ボタン２４に、表示画像の切替要求を入力する機能が割り当てられてよい。ディスプレイに操作画像が表示されているとき、ユーザは□ボタン２４を押下すると、表示画像の切替処理が行われて、情報画像がディスプレイに表示されるようになる。
【００１８】
情報処理システム１において、情報処理装置１０が、操作画像を情報画像に切り替えた後は、入力装置２０の操作手段に、情報画像の拡大／縮小要求、および上下左右方向へのスクロール要求を入力するための機能が割り当てられる。たとえば、情報画像の拡大／縮小要求の入力機能は、右側のアナログスティック２７ｂに割り当てられる。ユーザはアナログスティック２７ｂを手前に引くことで、情報画像の縮小要求を入力でき、また手前から押すことで、情報画像の拡大要求を入力できる。また、情報画像のスクロール要求の入力機能は、十字キー２１に割り当てられる。ユーザは十字キー２１を押下することで、十字キー２１を押下した方向のスクロール要求を入力できる。なお、画像変更要求の入力機能は別の操作手段に割り当てられてもよく、たとえばアナログスティック２７ａに、スクロール要求の入力機能が割り当てられてもよい。
【００１９】
入力装置２０は、入力された画像変更要求信号を情報処理装置１０に伝送する機能をもち、本実施例では情報処理装置１０との間で無線通信可能に構成される。入力装置２０と情報処理装置１０は、Bluetooth（ブルートゥース）（登録商標）プロトコルやIEEE802.11プロトコルなどを用いて無線接続を確立してもよい。なお入力装置２０は、情報処理装置１０とケーブルを介して接続して、画像変更要求信号を情報処理装置１０に伝送してもよい。
【００２０】
図３は、情報処理システム１において使用する画像データの階層構造を示す。情報処理装置１０は、この画像データを、情報画像の生成に利用する。画像データは、深さ（Ｚ軸）方向に、第０階層３０、第１階層３２、第２階層３４および第３階層３６を含む階層構造を有し、以下、この階層構造をもつ画像データを「階層データ」とよぶ。なお第４階層以上の高階層があってもよい。図３に示す階層データ２８は４分木の階層構造を有し、各階層は、１以上のタイル画像３８で構成される。すべてのタイル画像３８は同じ画素数をもつ同一サイズに形成され、たとえば２５６×２５６画素を有する。各階層の画像データは、一つの画像を異なる解像度で表現しており、最高解像度をもつ第３階層３６の原画像を複数段階に縮小して、第２階層３４、第１階層３２、第０階層３０の画像データが生成される。たとえば第Ｎ階層の解像度（Ｎは０以上の整数）は、左右（Ｘ軸）方向、上下（Ｙ軸）方向ともに、第（Ｎ＋１）階層の解像度の１／２であってよい。
【００２１】
図３に示す階層データ構造において、深さ（Ｚ軸）方向における位置は、解像度を示し、第０階層３０に近い位置ほど解像度が低く、第３階層３６に近い位置ほど解像度は高い。ディスプレイに表示される画像の大きさに注目すると、深さ方向における位置は、縮尺率に対応し、第３階層３６の表示画像の縮尺率を１とすると、第２階層３４における縮尺率は１／４、第１階層３２における縮尺率は１／１６となり、第０階層３０における縮尺率は１／６４となる。したがって深さ方向において、表示画像が第０階層３０側から第３階層３６側へ向かう方向に変化する場合、表示画像は拡大していき、第３階層３６側から第０階層３０側へ向かう方向に変化する場合は、表示画像は縮小していく。
【００２２】
情報処理装置１０において、階層データ２８は、所定の圧縮形式で圧縮された状態で記憶装置に保持されており、ディスプレイに表示される前に記憶装置から読み出されてデコードされる。階層データにおいて、圧縮処理は、タイル画像単位に行われていてもよく、また同一階層内または異なる階層間において複数のタイル画像単位に行われていてもよい。
【００２３】
階層データ２８の階層構造は、図３に示すように、左右方向をＸ軸、上下方向をＹ軸、深さ方向をＺ軸として設定され、仮想的な３次元空間を構築する。この階層構造において、Ｘ軸およびＹ軸は、原点を等しくする共通の座標系を定義する。情報処理装置１０は、入力装置２０から供給される画像変更要求から情報画像の変更量を導出すると、その変更量を用いて、階層を特定する情報と、その階層におけるテクスチャ座標（ＵＶ座標）を導出する。この階層特定情報およびテクスチャ座標の組み合わせを、空間座標と呼ぶ。仮想空間における空間座標は、情報画像の生成処理に利用される。なお情報処理装置１０は、情報画像の変更量を用いて仮想空間におけるフレーム画像の４隅の座標を導出してもよい。この４隅のフレーム座標も、空間座標と呼ぶ。また情報処理装置１０は、仮想空間におけるフレーム画像の中心座標（Ｘ，Ｙ）と縮尺率ＳＣＡＬＥを導出してもよい。情報処理装置１０は、入力装置２０から供給される画像変更要求信号から、適切な階層のタイル画像３８の使用領域を特定できればよく、いずれの手法を採用してもよい。
【００２４】
図４は、情報処理装置１０の機能ブロック図を示す。情報処理装置１０は、無線インタフェース４０、スイッチ４２、表示処理部４４、ハードディスクドライブ５０、記録媒体装着部５２、ディスクドライブ５４、メインメモリ６０、バッファメモリ７０および制御部１００を有して構成される。表示処理部４４は、表示装置１２のディスプレイに表示するデータをバッファするフレームメモリを有する。
【００２５】
スイッチ４２は、イーサネットスイッチ（イーサネットは登録商標）であって、外部の機器と有線または無線で接続して、データの送受信を行うデバイスである。スイッチ４２は、ケーブル１４を介して外部ネットワークに接続し、画像サーバから階層化された圧縮画像データを受信してもよい。またスイッチ４２は無線インタフェース４０に接続し、無線インタフェース４０は、所定の無線通信プロトコルで入力装置２０と接続する。入力装置２０においてユーザから入力された画像変更要求信号は、無線インタフェース４０、スイッチ４２を経由して、制御部１００に供給される。
【００２６】
ハードディスクドライブ５０は、データを記憶する補助記憶装置として機能する。スイッチ４２を介して受信された圧縮画像データは、ハードディスクドライブ５０に格納されてもよい。表示処理の実行時、ハードディスクドライブ５０に格納された圧縮画像データは、メインメモリ６０に読み出される。記録媒体装着部５２は、メモリカードなどのリムーバブル記録媒体が装着されると、リムーバブル記録媒体からデータを読み出す。ディスクドライブ５４は、読出専用のＲＯＭディスクが装着されると、ＲＯＭディスクを駆動して認識し、データを読み出す。ＲＯＭディスクは、光ディスクや光磁気ディスクなどであってよい。なお圧縮画像データは、ハードディスクドライブ５０にプリインストールされていてもよい。また圧縮画像データは、リムーバブル記録媒体またはＲＯＭディスクに記録されていて、表示処理の実行時に、メインメモリ６０に読み出されてもよい。
【００２７】
制御部１００は、マルチコアＣＰＵを備え、１つのＣＰＵの中に１つの汎用的なプロセッサコアと、複数のシンプルなプロセッサコアを有する。汎用プロセッサコアはＰＰＵ（Power Processing Unit）と呼ばれ、残りのプロセッサコアはＳＰＵ（Synergistic-Processing Unit）と呼ばれる。
【００２８】
制御部１００は、メインメモリ６０およびバッファメモリ７０に接続するメモリコントローラを備える。ＰＰＵはレジスタを有し、演算実行主体としてメインプロセッサを備えて、実行するアプリケーションにおける基本処理単位としてのタスクを各ＳＰＵに効率的に割り当てる。なお、ＰＰＵ自身がタスクを実行してもよい。ＳＰＵはレジスタを有し、演算実行主体としてのサブプロセッサとローカルな記憶領域としてのローカルメモリを備える。ローカルメモリは、バッファメモリ７０として使用されてもよい。メインメモリ６０およびバッファメモリ７０は記憶装置であり、ＲＡＭ（ランダムアクセスメモリ）として構成される。ＳＰＵは制御ユニットとして専用のＤＭＡ（Direct Memory Access）コントローラをもち、メインメモリ６０とバッファメモリ７０の間のデータ転送を高速に行うことができ、また表示処理部４４におけるフレームメモリとバッファメモリ７０の間で高速なデータ転送を実現できる。本実施例の制御部１００は、複数のＳＰＵを並列動作させることで、高速な画像処理機能を実現する。表示処理部４４は、表示装置１２に接続されて、ユーザからの要求に応じた画像処理結果を出力する。
【００２９】
図５は、画像処理装置１０における制御部１００の構成を示す。制御部１００は、アプリケーション処理部１１０、画像切替部１２０、画像データ生成部１３０および情報画像処理部１４０を備える。アプリケーション処理部１１０は、アプリケーションの実行状況を示す操作画像を生成し、操作情報受付部１１２、アプリケーション実行部１１４および操作画像生成部１１６を有する。画像切替部１２０は、操作画像と情報画像の切替処理を実行し、切替要求受付部１２２、切替条件判定部１２４および切替指示部１２６を有する。画像データ生成部１３０は、操作画像のスクリーンキャプチャ機能を有し、操作画像のスクリーンショットを用いて画像データを再構成する。情報画像処理部１４０は、情報画像を生成し、また情報画像の変更を行う機能を有し、変更要求受付部１４２、画像データ取得部１４４、デコード部１４６、変更量導出部１４８、空間座標決定部１５０および情報画像生成部１５２を有する。
【００３０】
図５において、さまざまな処理を行う機能ブロックとして記載される各要素は、ハードウェア的には、ＣＰＵ（Central Processing Unit）、メモリ、その他のＬＳＩで構成することができ、ソフトウェア的には、メモリにロードされたプログラムなどによって実現される。既述したように、制御部１００は１つのＰＰＵと複数のＳＰＵとを有し、ＰＰＵおよびＳＰＵがそれぞれ単独または協同して、各機能ブロックを構成できる。したがって、これらの機能ブロックがハードウェアのみ、ソフトウェアのみ、またはそれらの組合せによっていろいろな形で実現できることは当業者には理解されるところであり、いずれかに限定されるものではない。
【００３１】
情報処理システム１において、情報処理装置１０が、録画したテレビ番組の再生、消去、編集、また別の端末への転送などの操作を行わせるＧＵＩアプリケーションを実行する。このアプリケーションの操作画像には、ディスプレイに録画済みの映像コンテンツのアイコン画像やタイトルなどが表示され、また選択した映像コンテンツに対して用意されている操作項目のリストが表示される。
【００３２】
図６は、ＧＵＩアプリケーションを操作するための操作画像の一例を示す。表示装置１２のディスプレイにおいて、操作画像は、コンテンツ表示領域２００と操作項目表示領域２０２とに分割される。コンテンツ表示領域２００には、ビデオアイコン２０４が配置され、その上下方向に、録画したテレビ番組のコンテンツアイコンが配置される。操作対象となるコンテンツアイコン２０６は、ビデオアイコン２０４の直下に配置される。ユーザは、入力装置２０の十字キー２１を上下方向に操作することで、コンテンツアイコンの配置を変えられる。
【００３３】
操作項目表示領域２０２には、コンテンツに対する操作項目を示す操作項目リスト２１０が表示される。ユーザは、コンテンツ表示領域２００においてコンテンツを選択した後、入力装置２０の所定のボタンを押下することで、操作項目リスト２１０に含まれる操作項目を選択可能となる。操作項目リスト２１０においては、選択インジケータ２１２を上下方向に動かして、所望の操作項目を選択する。図示の例では、「消去」操作が選択されている。以上の処理は、図５に示すアプリケーション処理部１１０により実行される。
【００３４】
アプリケーション処理部１１０において、まず操作画像生成部１１６が、操作画像の初期画像を生成する。初期画像において、コンテンツアイコンの配置は任意に設定されており、また選択インジケータ２１２は、たとえば操作項目リスト２１０における最上位の「再生」操作を指定している。ユーザが入力装置２０を操作すると、操作情報受付部１１２が、その操作情報を受け付け、アプリケーション実行部１１４が、入力された操作情報をもとに、コンテンツアイコンの配置変更指示を生成し、また選択インジケータ２１２の移動指示を生成する。操作画像生成部１１６は、アプリケーション実行部１１４からの指示をもとに操作画像を生成して、表示処理部４４から表示装置１２に操作画像を出力させる。
【００３５】
図６に示す操作画像において、たとえば入力装置２０の○ボタン２２が押下されると、操作情報受付部１１２は、その操作情報を受け付け、アプリケーション実行部１１４が、コンテンツアイコン２０６で特定されるコンテンツの消去処理を実行する。この例では、○ボタン２２に、決定ボタンとしての機能が割り当てられている。
【００３６】
一方、このＧＵＩアプリケーションに不慣れなユーザは、消去処理を実行する前に、消去処理の手順や注意点などの情報を知りたいことが多い。たとえば説明情報２０８で特定される「世界の街から」のコンテンツの中で前半部分だけを消去したいような場合、「消去」操作により一部消去が可能であることを期待していたが、全て消去されてしまったのではユーザも困る。そこでユーザは、消去処理を実行する前に、「消去」操作のマニュアルにアクセスする機会が欲しい。
【００３７】
そこで情報処理装置１０は、アプリケーションに関連する情報を含んだ情報画像をユーザに提供する。本実施例では、情報画像は、ＧＵＩアプリケーションの操作を説明するマニュアル画像である。マニュアル画像を提供することで、ユーザは、「消去」操作についての詳細を知ることができる。操作画像から情報画像への切替処理は、図５に示す画像切替部１２０により実行される。
【００３８】
図６に示す操作画像において、所定の操作入力、たとえば入力装置２０の□ボタン２４が押下されると、切替要求受付部１２２が、その操作情報を、表示画像の切替要求として受け付ける。切替指示部１２６は、□ボタン２４が押下された時点の操作画像の情報をバッファメモリ７０などの記憶装置に保持させる。これは、マニュアルを読み終えたユーザが、元の操作画像に戻れるようにするためである。また切替指示部１２６は、選択された操作項目を示す情報（以下、「選択項目情報」とよぶ）を含む切替指示を情報画像処理部１４０に供給する。
【００３９】
変更要求受付部１４２が切替指示を受け付けると、階層データがハードディスクドライブ５０から読み出されて、メインメモリ６０に保持される。画像データ取得部１４４は、選択項目情報をもとに、情報画像の生成に用いるタイル画像をメインメモリ６０から読み出す。選択項目情報のそれぞれに対して、マニュアル画像の初期画像は予め定められており、したがって画像データ取得部１４４は、読み出すべきタイル画像を特定できる。デコード部１４６は、タイル画像をデコードし、バッファメモリ７０に保持させる。空間座標決定部１５０は、初期画像として予め定められている空間座標により、テクスチャ座標を決定し、情報画像生成部１５２は、テクスチャ座標をもとに、バッファメモリ７０に保持されたタイル画像を用いて、情報画像を生成し、表示処理部４４のフレームメモリ９０に供給する。このとき情報画像生成部１５２は、操作画像に対応するサムネイル画像を含む情報画像を生成する。
【００４０】
図７は、図６に示す操作画像に対して設定される電子マニュアルの初期画像を示す。この初期画像では、「消去」操作についてのマニュアルの一部が表示される。電子マニュアルの初期画像には、操作画像に対応するサムネイル画像２２０が含まれる。情報画像にサムネイル画像２２０が含まれることで、ユーザは、図６に示す操作画像に対する電子マニュアル、すなわち「消去」操作についてのマニュアルが表示されていることを認識できる。
【００４１】
ユーザが入力装置２０のアナログスティック２７や十字キー２１を操作すると、画像変更要求信号が情報処理装置１０に送信される。変更要求受付部１４２は、入力装置２０から、ディスプレイに表示されている情報画像の変更要求信号を受け付ける。
【００４２】
画像データ取得部１４４は、変更要求信号をもとに、情報画像の生成に用いるタイル画像をメインメモリ６０から読み出す。デコード部１４６は、タイル画像をデコードし、バッファメモリ７０に保持させる。たとえば画像データ取得部１４４は、変更要求信号で表示が要求される画像の縮尺率を予測して、将来必要となるであろうタイル画像を先読みして、バッファメモリ７０に保持させることが好ましい。
【００４３】
変更量導出部１４８は、変更要求信号をもとに、表示要求される情報画像の変更量を導出する。情報画像の変更量は、１フレームごとの上下左右方向の移動量および深さ方向の移動量である。空間座標決定部１５０は、前回フレームのテクスチャ座標から、導出された変更量により移動する今回フレームのテクスチャ座標を決定する。情報画像生成部１５２は、テクスチャ座標をもとに、バッファメモリ７０に保持されたタイル画像を用いて、情報画像を生成し、表示処理部４４のフレームメモリ９０に供給する。
【００４４】
ユーザが映像コンテンツを完全に消去したい場合、図７に示す情報画像（マニュアル画像）を下方向にスクロールすることで、「消去」操作のマニュアルを読むことができる。これにより、ユーザは、「消去」操作の内容について十分に理解した上で、「消去」操作を実行する。
【００４５】
図６に示す操作画像から、図７に示す電子マニュアルの初期画像へは、情報画像生成部１５２により直接切り替えられてもよいが、図６に示す操作画像から徐々にズームアウトしていくことで、図７に示す電子マニュアルの初期画像に切り替えられてもよい。
【００４６】
変更要求受付部１４２が切替指示を受け付けると、階層データがハードディスクドライブ５０から読み出されて、メインメモリ６０に保持される。画像データ取得部１４４は、選択項目情報をもとに、図６に示す操作画像と同じ範囲を示す情報画像の生成に用いるタイル画像をメインメモリ６０から読み出す。デコード部１４６は、タイル画像をデコードし、バッファメモリ７０に保持させる。空間座標決定部１５０は、図６に示す操作画像に対応する情報画像のテクスチャ座標を決定し、情報画像生成部１５２は、テクスチャ座標をもとに、バッファメモリ７０に保持されたタイル画像を用いて、図６に示す操作画像と等倍の情報画像を生成し、表示処理部４４のフレームメモリ９０に供給する。このとき情報画像生成部１５２は、図６に示す操作画像のサムネイル画像２２０をディスプレイ全面に表示させる情報画像を生成する。
【００４７】
サムネイル画像２２０は、図６に示す操作画像のテンプレート画像であり、操作画像にきわめて近似するように構成されてはいるが、たとえば操作画像に含まれる説明情報２０８を含んでおらず、同一ではない。そのため情報画像生成部１５２は、図６に示す操作画像からサムネイル画像２２０に切り替える際に、元の操作画像をフェードアウトし、またサムネイル画像２２０をフェードインしてクロスフェードを実行し、画像遷移にともなう不連続さをユーザに感じさせないようにしてもよい。
【００４８】
このように情報画像生成部１５２は、サムネイル画像２２０をディスプレイに全面表示する情報画像を生成した後、サムネイル画像２２０が中央ではない所定の領域に配置されるように、サムネイル画像２２０を縮小していく。具体的に情報画像生成部１５２は、全面表示されたサムネイル画像２２０を縮小していき、図７に示す電子マニュアルの初期画像を生成する。単純に全面表示されたサムネイル画像２２０を縮小していくと、サムネイル画像２２０が中央に配置された電子マニュアルがディスプレイに表示されることになる。一方、電子マニュアルの初期画像を予め設定しておき、全面表示されたサムネイル画像２２０を上下左右の一方向（この場合は画面左下方向）に移動させながら、設定した初期画像となるように表示画像を遷移させることで、ユーザは、違和感を覚えることなく、容易に所望の電子マニュアルにアクセスできるようになる。
【００４９】
一方、電子マニュアルから図６に示す操作画像には、サムネイル画像２２０を拡大表示することで遷移できる。ユーザは、入力装置２０を操作して、サムネイル画像２２０の拡大要求を入力すると、情報画像生成部１５２が、変更要求信号をもとに、サムネイル画像２２０を拡大していく。画像切替部１２０において、切替条件判定部１２４は、情報画像から操作画像への切替条件を保持しており、情報画像の表示中、切替条件の成立の有無を監視している。たとえば切替条件は、サムネイル画像２２０が、所定の縮尺率以上で表示されていることに設定される。切替条件判定部１２４は、情報画像の縮尺率を監視して、所定の縮尺率を超えた場合に、切替条件が成立したことを判定する。また切替条件は、ディスプレイにおけるサムネイル画像２２０の占有率が所定値を超えたことに設定されてもよい。ここで占有率は、ディスプレイの全体画素数のうち、サムネイル画像２２０の画素数が占める割合として定義され、たとえば６０％を超えた場合に、切替条件判定部１２４は、切替条件が成立したことを判定する。切替指示部１２６は、操作画像から情報画像に切り替える直前の操作画像の情報を保持しており、拡大表示されているサムネイル画像２２０が、保持している操作画像情報に対応することを判定すると、操作画像生成部１１６に対して、操作画像情報を含む切替指示をアプリケーション処理部１１０に供給する。
【００５０】
アプリケーション処理部１１０において、操作画像生成部１１６は、供給された操作画像情報をもとに、図６に示す操作画像を生成する。ユーザは、マニュアルで獲得した知識をもとに、コンテンツの「消去」操作を安心して実行できる。
【００５１】
なお、切替条件判定部１２４が切替条件の成立を判定すると、すぐに操作画像生成部１１６が操作画像を生成してもよいが、画像の連続性を担保するように情報画像生成部１５２がサムネイル画像２２０に徐々にズームインする表示画像を生成した後に、操作画像に遷移してもよい。具体的には、情報画像生成部１５２が、切替条件が成立した時点の情報画像から、サムネイル画像２２０を全面表示した情報画像に、表示画像を拡大していき、サムネイル画像２２０が全面表示された時点で、操作画像生成部１１６が、全面表示されたサムネイル画像２２０と図６に示す操作画像との間でクロスフェードを実行する。つまり操作画像生成部１１６は、サムネイル画像２２０をフェードアウトし、また図６に示す操作画像をフェードインしてクロスフェードを実行して、画像遷移にともなう不連続さをユーザに感じさせないようにする。
【００５２】
このように情報画像生成部１５２は、切替条件の成立後、サムネイル画像２２０が全面表示されるように、サムネイル画像２２０を拡大していく。具体的に情報画像生成部１５２は、切替条件成立時点の情報画像を上下左右の一方向に移動させながら、サムネイル画像２２０の全面表示画像に遷移させ、操作画像生成部１１６が、図６に示す操作画像との間でクロスフェードさせることで、ユーザは、違和感を覚えることなく、電子マニュアルから操作画像への切り替わりを容易に認識できるようになる。
【００５３】
なお、情報画像から操作画像への切替要求が、情報画像において、所定の操作入力、たとえば入力装置２０の□ボタン２４が押下されたことで生成されてもよい。入力装置２０の□ボタン２４が押下されると、切替要求受付部１２２が、その操作情報を、表示画像の切替要求として受け付ける。切替指示部１２６は、操作画像生成部１１６に対して、操作画像情報を含む切替指示をアプリケーション処理部１１０に供給し、操作画像生成部１１６が、表示画像を操作画像に切り替える。このとき上記したように、□ボタン２４が押下された時点から、情報画像生成部１５２がサムネイル画像２２０を徐々に拡大して、全面表示させ、操作画像生成部１１６が、図６に示す操作画像との間でクロスフェードを実行して、操作画像を表示させてもよい。
【００５４】
一方、ユーザが映像コンテンツの一部のみを消去したい場合、図７に示す情報画像（マニュアル画像）で「注意してほしいこと」を読むと、「消去」操作では、映像コンテンツの一部消去ができないことを理解する。このときユーザは、「編集」操作のマニュアルを探すべく、情報画像をズームアウト（縮小表示）させる。ユーザは、入力装置２０を操作して、情報画像の縮小要求を入力すると、情報画像生成部１５２が、変更要求信号をもとに、情報画像を縮小していく。
【００５５】
図８は、図７に示す情報画像を縮小表示した例を示す。このズームアウト処理により、ユーザは、電子マニュアルを俯瞰でき、「消去」マニュアルの周辺に配置されている「編集」マニュアルを容易に探すことができる。なお、「消去」操作と「編集」操作とは、互いの操作内容の関連性が高く、「消去」マニュアルを読むユーザが、同時に「編集」マニュアルも読む可能性が高いことから、図８に示すように、電子マニュアル画像上、近接した位置に配置されていることが好ましい。
【００５６】
ユーザは、電子マニュアルを俯瞰することで、興味のある情報を容易に見つけ出すことができる。従来型の電子マニュアルでは、キーワード検索でヒットした情報のみをユーザに提示するものであるが、本実施例の情報処理システム１によると、ユーザが希望する情報だけでなく、電子マニュアルを上下左右にスクロールするだけで、他の情報にもアクセスしやすい環境を実現できるため、ユーザに利便性の高い電子マニュアルシステムを提供できる。
【００５７】
図８に示す縮小表示された情報画像には、図６に示す操作画像に対応するサムネイル画像２２０だけでなく、別の操作画像に対応するサムネイル画像２２２も含まれる。具体的に情報画像生成部１５２は、画像データを用いて、「消去」操作画像に対応するサムネイル画像２２０と、「編集」操作画像に対応するサムネイル画像２２２を含む情報画像を生成する。ユーザは、入力装置２０を操作して、「編集」マニュアル画像の拡大要求を入力すると、情報画像生成部１５２が、変更要求信号をもとに、編集マニュアルを拡大していく。なお、この変更要求信号は、拡大要求と、右方向へのスクロール要求の双方を含む。
【００５８】
図９は、図８に示す情報画像を拡大表示した例を示す。ユーザは、表示されている文字などを読みやすい大きさにするために、この拡大表示を行う。ユーザが、図８に示す消去マニュアルと編集マニュアルの位置関係を予め知っているのであれば、図７に示すマニュアル画像から右方向にスクロールすることで、図９に示すマニュアル画像に到達できる。ユーザは図９に示すマニュアル画像を下方向にスクロールすることで、「編集」操作のマニュアルを読むことができる。これにより、ユーザは、「編集」操作の内容について十分に理解した上で、コンテンツの「編集」操作を実行する。
【００５９】
編集操作画像には、サムネイル画像２２２を拡大表示することで遷移できる。切替条件判定部１２４は、情報画像から操作画像への切替条件が成立したことを判定すると、切替指示部１２６は、拡大表示されているサムネイル画像２２２が、保持している操作画像情報に対応するか判定する。この例では、保持している操作画像情報は、サムネイル画像２２０と対応しており、サムネイル画像２２２には対応していない。したがって、切替指示部１２６は、操作画像情報と、サムネイル画像２２２を特定する識別情報を含む切替指示をアプリケーション処理部１１０に供給する。サムネイル画像２２２を特定する識別情報には、「編集」操作を特定する情報が含まれる。なお、既述したように、図９に示す情報画像において、ユーザが□ボタン２４を押下すると、切替要求受付部１２２が、情報画像から操作画像への切替要求として受け付けてもよい。
【００６０】
アプリケーション処理部１１０において、操作画像生成部１１６は、供給された操作画像情報から、コンテンツとして「世界の街から」が選択されており、またサムネイル画像２２２を特定する識別情報から、操作項目として「編集」操作が選択されたことを認識する。これにより、操作画像生成部１１６は、編集操作画像を生成する。
【００６１】
図１０は、編集操作画像を示す。この編集操作画像では、選択インジケータ２１２が「編集」操作を指定している。ユーザは、マニュアルで獲得した知識をもとに、「編集」操作により、映像コンテンツの一部消去を安心して実行できる。
【００６２】
このように、本実施例の情報処理装置１０は、複数解像度の画像データを利用して電子マニュアルを生成することで、ユーザが直観的に操作でき、また目的とする情報以外の情報にもアクセスが容易な電子マニュアルを実現できる。また、アプリケーションの電子マニュアルにおいて、電子マニュアルに含まれるサムネイル画像を拡大表示することで、アプリケーションに戻ることができるため、アプリケーションと電子マニュアルとをシームレスにリンクさせる新たなサービスをユーザに提供できる。
【００６３】
情報画像において表示されるサムネイル画像は、予め用意されたテンプレート画像であってもよいが、ＧＵＩアプリケーションと、電子マニュアルの繋ぎ目をよりスムーズに表現するために、サムネイル画像を、操作画像のスクリーンショットにより構成してもよい。
【００６４】
切替指示部１２６が、表示画像の切替指示を発行すると、画像データ生成部１３０が操作画像の画像データを取得し、階層データにおいて対応する領域に操作画像の画像データを埋め込んで、階層データを再構成する。これにより、図７に示すサムネイル画像２２０は、図６に示す操作画像の縮小画像となり、サムネイル画像２２０において、「世界の街から」などの説明情報２０８も含まれるようになる。表示画像が、図６に示す操作画像から図７に示す情報画像に遷移しても、サムネイル画像２２０は、操作画像の縮小画像であるため、ユーザは、「世界の街から」のコンテンツを意識しながら、電子マニュアルを読むことができる。このように、動的に階層データを再構成することで、アプリケーションの状況にあわせた電子マニュアルを生成することが可能となる。
【００６５】
また画像データ生成部１３０は、情報画像において、サムネイル画像２２０以外のサムネイル画像（たとえばサムネイル画像２２２）が表示されるときに、対応する操作画像の画像データを取得する。情報画像生成部１５２が、情報画像を生成する際、サムネイル画像２２０以外のサムネイル画像を生成する必要が生じると、操作画像生成部１１６に対して、そのサムネイル画像に対応する操作画像の情報を通知する。操作画像生成部１１６は、この通知を受けると、図６に示す操作画像の情報（たとえば説明情報２０８など）を含めた操作画像を生成し、画像データ生成部１３０に供給する。画像データ生成部１３０は、この画像データを取得し、階層データにおいて対応する領域に操作画像の画像データを埋め込み、階層データを再構成する。これにより、たとえば図８に示すサムネイル画像２２２を、操作画像の縮小画像とすることが可能となる。
【００６６】
なお、操作画像のスクリーンショットの表示は、画像データ生成部１３０による階層データの再構成を行わなくても、たとえば情報画像生成部１５２が、タイル画像を用いて生成した情報画像上の対応する領域に、スクリーンショット画像を上書きすることで実現されてもよい。情報画像生成部１５２は、階層データを用いた情報画像の拡大縮小表示に連動して、スクリーンショット画像も拡大縮小する。これにより、階層データを再構成したときと同じく、操作画像のスクリーンショット画像を、電子マニュアル上でユーザに提示することが可能となる。
【００６７】
なお、アプリケーションの操作は、あくまでも操作画像で行わせるというポリシーのもとで、操作画像のスクリーンショットで構成したサムネイル画像に対して、操作画像とは異なることをユーザに認識させるための画像処理を施してもよい。たとえば操作画像はカラー表示されている場合に、サムネイル画像は白黒表示とすることで、ユーザは、サムネイル画像上でアプリケーションは実行できないことを認識する。また、操作画像に動画アイコンが含まれる場合に、サムネイル画像では、それを静止画アイコンとすることで、操作画像との違いを認識させてもよい。
【００６８】
図１１は、情報画像アイコン２２４を示す。情報画像アイコン２２４は、操作項目リスト２１０に含まれる操作項目のうち、情報画像が用意されているものを特定するためのアイコンである。この例では、「消去」、「おでかけ転送」、「編集」の各操作に対して情報画像アイコン２２４が設けられており、したがって、ユーザは、これらの各操作に対してマニュアル画像が存在していることを認識する。
【００６９】
図１２は、情報画像アイコン２２４が設定された操作項目を選択したときの情報画像の一例を示す。情報画像には、情報画像アイコン２２４に対応するマニュアル画像２２６が含まれる。マニュアル画像２２６は、階層データにより生成されており、ユーザは、マニュアル画像２２６を拡大表示することで、マニュアル画像に含まれる文字などを、読みやすい大きさにできる。
【００７０】
以上、本発明を実施例をもとに説明した。この実施例は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。
【００７１】
実施例では、ユーザがサムネイル画像からアプリケーションを実行できないようにしたが、サムネイル画像の代わりに、アプリケーションの操作画像が縮小されて埋め込まれてもよい。これにより、ユーザは、電子マニュアル上で、直接アプリケーションを実行することができ、電子マニュアルとアプリケーションとの境界を無くした新たなサービスを提供できる。
【００７２】
また実施例では、情報画像において□ボタン２４を押下すると、表示されているサムネイル画像に対応する操作画像に遷移する処理について説明した。変形例では、情報画像に複数のサムネイル画像が含まれる状況を想定する。たとえば、図８に示す情報画像において□ボタン２４が押下されると、切替要求受付部１２２は、表示されているサムネイル画像２２０、２２２のうち、たとえば画素数の多いサムネイル画像に対応する操作画像への切替要求として受け付ける。なお、画素数が同じとき、情報画像に遷移する前の操作画像に対応するサムネイル画像２２０が存在すれば、対応する操作画像への切替要求として受け付ける。一方、情報画像に遷移する前の操作画像に対応するサムネイル画像２２０が存在しなければ、たとえば画面中央付近に存在するサムネイル画像に対応する操作画像への切替要求として受け付けてもよい。このように切替要求受付部１２２は、どのサムネイル画像を選択するかを示す選択条件を保持し、その選択条件を参照して、サムネイル画像を選択し、選択したサムネイル画像に対応する操作画像への切替要求として受け付ける。
【００７３】
また実施例では情報画像生成部１５２が階層データを用いて情報画像を生成する例について説明した。変形例では、情報画像生成部１５２が、たとえばアウトラインフォントなどのデジタルフォントで作成された画像データを用いて、情報画像を生成してもよく、また単に１層の画像データを用いて情報画像を生成してもよい。
【００７４】
また実施例では、アプリケーションとしてＧＵＩアプリケーション、情報画像として電子マニュアルを示したが、当然のことながら、これらとは異なる組み合わせも可能である。たとえば、アプリケーションとして、複数のステージ問題で構成されるゲームアプリケーション、情報画像として、複数のステージ問題を表現したサムネイル画像の組み合わせが、情報処理システム１において実現されてもよい。
【符号の説明】
【００７５】
１・・・情報処理システム、１０・・・情報処理装置、１２・・・表示装置、２０・・・入力装置、４４・・・表示処理部、５０・・・ハードディスクドライブ、６０・・・メインメモリ、７０・・・バッファメモリ、９０・・・フレームメモリ、１００・・・制御部、１１０・・・アプリケーション処理部、１１２・・・操作情報受付部、１１４・・・アプリケーション実行部、１１６・・・操作画像生成部、１２０・・・画像切替部、１２２・・・切替要求受付部、１２４・・・切替条件判定部、１２６・・・切替指示部、１３０・・・画像データ生成部、１４０・・・情報画像処理部、１４２・・・変更要求受付部、１４４・・・画像データ取得部、１４６・・・デコード部、１４８・・・変更量導出部、１５０・・・空間座標決定部、１５２・・・情報画像生成部、２００・・・コンテンツ表示領域、２０２・・・操作項目表示領域、２０４・・・ビデオアイコン、２０６・・・コンテンツアイコン、２０８・・・説明情報、２１０・・・操作項目リスト、２１２・・・選択インジケータ、２２０，２２２・・・サムネイル画像、２２４・・・情報画像アイコン、２２６・・・マニュアル画像。
【特許請求の範囲】
【請求項１】
アプリケーションを操作するための操作画像を生成する操作画像生成部と、
操作画像に対して入力された操作情報をもとに、アプリケーションを実行する実行部と、
アプリケーションに関連する情報を含む情報画像を生成する情報画像生成部と、
情報画像を生成するための画像データを保持する記憶装置と、
ディスプレイの表示画像を、操作画像から情報画像に切り替える画像切替部と、を備え、
前記情報画像生成部は、前記記憶装置に保持された画像データを用いて、操作画像に対応するサムネイル画像を含む情報画像を生成することを特徴とする情報処理装置。
【請求項２】
前記画像切替部は、操作画像がディスプレイに表示されているときに、所定の操作入力がなされると、情報画像をディスプレイに表示させることを特徴とする請求項１に記載の情報処理装置。
【請求項３】
ディスプレイに表示されている情報画像の変更要求信号を受け付ける受付部をさらに備え、
前記情報画像生成部は、変更要求信号をもとに、情報画像を変更することを特徴とする請求項１または２に記載の情報処理装置。
【請求項４】
前記情報画像生成部は、変更要求信号をもとに、前記サムネイル画像を拡大した情報画像を生成し、
前記画像切替部は、サムネイル画像が拡大されると、操作画像をディスプレイに表示させることを特徴とする請求項３に記載の情報処理装置。
【請求項５】
前記情報画像生成部は、操作画像に対応するサムネイル画像と、別の操作画像に対応するサムネイル画像を含む情報画像を生成し、
前記画像切替部は、別の操作画像に対応するサムネイル画像が拡大されると、別の操作画像をディスプレイに表示させることを特徴とする請求項３または４に記載の情報処理装置。
【請求項６】
操作画像を含めた画像データを生成する画像データ生成部をさらに備えることを特徴とする請求項１から５のいずれかに記載の情報処理装置。
【請求項７】
コンピュータに、
アプリケーションを操作するための操作画像を生成する機能と、
操作画像に対して入力された操作情報をもとに、アプリケーションを実行する機能と、
アプリケーションに関連する情報を含む情報画像を生成する機能と、
ディスプレイの表示画像を、操作画像から情報画像に切り替える機能と、を実現させるプログラムであって、
情報画像を生成する機能は、情報画像を生成するための画像データを用いて、操作画像に対応するサムネイル画像を含む情報画像を生成する機能を含むことを特徴とするプログラム。
【請求項８】
請求項７に記載のプログラムを記録したコンピュータ読み取り可能な記録媒体。
【請求項１】
アプリケーションを操作するための操作画像を生成する操作画像生成部と、
操作画像に対して入力された操作情報をもとに、アプリケーションを実行する実行部と、
アプリケーションに関連する情報を含む情報画像を生成する情報画像生成部と、
情報画像を生成するための画像データを保持する記憶装置と、
ディスプレイの表示画像を、操作画像から情報画像に切り替える画像切替部と、を備え、
前記情報画像生成部は、前記記憶装置に保持された画像データを用いて、操作画像に対応するサムネイル画像を含む情報画像を生成することを特徴とする情報処理装置。
【請求項２】
前記画像切替部は、操作画像がディスプレイに表示されているときに、所定の操作入力がなされると、情報画像をディスプレイに表示させることを特徴とする請求項１に記載の情報処理装置。
【請求項３】
ディスプレイに表示されている情報画像の変更要求信号を受け付ける受付部をさらに備え、
前記情報画像生成部は、変更要求信号をもとに、情報画像を変更することを特徴とする請求項１または２に記載の情報処理装置。
【請求項４】
前記情報画像生成部は、変更要求信号をもとに、前記サムネイル画像を拡大した情報画像を生成し、
前記画像切替部は、サムネイル画像が拡大されると、操作画像をディスプレイに表示させることを特徴とする請求項３に記載の情報処理装置。
【請求項５】
前記情報画像生成部は、操作画像に対応するサムネイル画像と、別の操作画像に対応するサムネイル画像を含む情報画像を生成し、
前記画像切替部は、別の操作画像に対応するサムネイル画像が拡大されると、別の操作画像をディスプレイに表示させることを特徴とする請求項３または４に記載の情報処理装置。
【請求項６】
操作画像を含めた画像データを生成する画像データ生成部をさらに備えることを特徴とする請求項１から５のいずれかに記載の情報処理装置。
【請求項７】
コンピュータに、
アプリケーションを操作するための操作画像を生成する機能と、
操作画像に対して入力された操作情報をもとに、アプリケーションを実行する機能と、
アプリケーションに関連する情報を含む情報画像を生成する機能と、
ディスプレイの表示画像を、操作画像から情報画像に切り替える機能と、を実現させるプログラムであって、
情報画像を生成する機能は、情報画像を生成するための画像データを用いて、操作画像に対応するサムネイル画像を含む情報画像を生成する機能を含むことを特徴とするプログラム。
【請求項８】
請求項７に記載のプログラムを記録したコンピュータ読み取り可能な記録媒体。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【公開番号】特開２０１１−３０１７（Ｐ２０１１−３０１７Ａ）
【公開日】平成２３年１月６日（２０１１．１．６）
【国際特許分類】
【出願番号】特願２００９−１４５５７８（Ｐ２００９−１４５５７８）
【出願日】平成２１年６月１８日（２００９．６．１８）
【出願人】（３９５０１５３１９）株式会社ソニー・コンピュータエンタテインメント (871)
【Ｆターム（参考）】
【公開日】平成２３年１月６日（２０１１．１．６）
【国際特許分類】
【出願日】平成２１年６月１８日（２００９．６．１８）
【出願人】（３９５０１５３１９）株式会社ソニー・コンピュータエンタテインメント (871)
【Ｆターム（参考）】
[ Back to top ]