情報処理装置
【課題】コンテンツ画像の表示に際して、他のユーザからの入力を表示したり、また自身の入力を反映できるアプリケーションを提供する。
【解決手段】コメントデータ取得部１６０は、表示画像に重ねて表示するためのコメントデータを取得し、重畳処理部１６２は、コメントデータから重畳画像を生成する。コメントデータは、縮尺率または縮尺率に関連する情報を含んでおり、表示条件判定部１６４は、コメントデータに含まれている縮尺率または縮尺率に関連する情報とが所定の関係にあるか判定する。所定の関係にある場合には、重畳画像生成部１６６が、コメントデータに含まれている表示情報を用いて、コメント画像を生成する。
【解決手段】コメントデータ取得部１６０は、表示画像に重ねて表示するためのコメントデータを取得し、重畳処理部１６２は、コメントデータから重畳画像を生成する。コメントデータは、縮尺率または縮尺率に関連する情報を含んでおり、表示条件判定部１６４は、コメントデータに含まれている縮尺率または縮尺率に関連する情報とが所定の関係にあるか判定する。所定の関係にある場合には、重畳画像生成部１６６が、コメントデータに含まれている表示情報を用いて、コメント画像を生成する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ディスプレイに表示する画像を拡大／縮小、または上下左右に移動させる画像処理技術に関する。
【背景技術】
【０００２】
ゲームプログラムを実行するだけでなく、動画を再生できる家庭用エンタテインメント
システムが提案されている。この家庭用エンタテインメントシステムでは、ＧＰＵがポリ
ゴンを用いた三次元画像を生成する（例えば特許文献１参照）。
【０００３】
近年、高精細な写真などのディジタル画像から生成された複数の解像度のタイル画像を用いて、表示画像の拡大／縮小処理や、上下左右方向の移動処理を行う技術が提案されている。この画像処理技術では、原画像サイズを複数段階に縮小して異なる解像度の画像を生成し、各階層の画像を一又は複数のタイル画像に分割して、原画像を階層構造で表現する。通常、最も解像度の低い画像は１つのタイル画像で構成され、最も解像度の高い原画像は、最も多い数のタイル画像で構成される。情報処理装置は、表示画像の拡大処理または縮小処理時に、使用しているタイル画像を、異なる階層のタイル画像に切り替えることで、拡大表示または縮小表示を迅速に行うようにしている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】米国特許第６５６３９９９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ユーザは、コンテンツの画像を拡大することで、コンテンツの細かな箇所を確認でき、コンテンツの画像を縮小することで、コンテンツ全体のバランスを見ることができる。そのため、コンテンツ画像を容易に拡大、縮小できるツールは、そのコンテンツを評価する上で、重要である。このとき、他人の評価も参考にしたいのが通常であり、他人の評価を参照できたり、また、自身の評価を他人に提供できるアプリケーションの開発が望まれている。
【０００６】
本発明はこのような課題に鑑みてなされたものであり、その目的は、コンテンツ画像の表示に際して、他のユーザからの入力を表示したり、また自身の入力を反映できるアプリケーションを提供することにある。
【課題を解決するための手段】
【０００７】
上記課題を解決するために、本発明のある態様の情報処理装置は、全体画像の全部または一部をディスプレイに表示する情報処理装置であって、表示画像の変更指示を受け付ける受付部と、変更指示にしたがって、表示する画像の縮尺率または縮尺率に関連する情報を特定し、全体画像の全部または一部である表示画像を生成する表示画像生成部と、表示画像に重ねて表示するための重畳データを取得する取得部と、重畳データから重畳画像を生成する重畳処理部と、を備える。重畳データは、縮尺率または縮尺率に関連する情報を含んでいる。重畳処理部は、表示画像生成部により生成される表示画像の縮尺率と、重畳データに含まれている縮尺率または縮尺率に関連する情報とが所定の関係にあるか判定する判定部と、重畳データをもとに表示画像上に表示する重畳画像を生成する重畳画像生成部と、を有する。
【０００８】
本発明の別の態様もまた、情報処理装置である。この装置は、全体画像の全部または一部をディスプレイに表示する情報処理装置であって、表示画像の変更指示を受け付ける第１受付部と、変更指示にしたがって、表示する画像の縮尺率または縮尺率に関連する情報を特定し、全体画像の全部または一部である表示画像を生成する表示画像生成部と、ユーザからの入力を受け付ける第２受付部と、第２受付部において受け付けた入力を処理する入力処理部と、を備える。入力処理部は、第２受付部が入力を受け付けた表示画像中の位置を特定する位置情報を取得する位置情報取得部と、位置情報取得部により取得された位置情報と、ユーザからの入力とを対応付ける対応付部と、を有し、位置情報は、第２受付部が入力を受け付けた表示画像の縮尺率または縮尺率に関連する情報を含む。
【０００９】
なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システム、コンピュータプログラムなどの間で変換したものもまた、本発明の態様として有効である。
【発明の効果】
【００１０】
本発明によると、コンテンツ画像の表示に際して、他のユーザからの入力を表示したり、また自身の入力を反映できるアプリケーションを提供できる。
【図面の簡単な説明】
【００１１】
【図１】本発明の実施例にかかる情報処理システムを示す図である。
【図２】入力装置の外観構成を示す図である。
【図３】情報処理システムにおいて使用する画像データの階層構造を示す図である。
【図４】縮尺率の関係を説明するための説明図である。
【図５】階層データにおける座標系を説明するための説明図である。
【図６】情報処理装置の機能ブロック図である。
【図７】情報処理装置における制御部の構成を示す図である。
【図８】コンテンツ閲覧アプリケーションのメニュー画面の一例を示す図である。
【図９】コンテンツ画像の表示処理開始時に出力装置に示される表示画像の一例を示す図である。
【図１０】蓄積サーバに蓄積されているコメントデータの一例を示す図である。
【図１１】重畳画像の表示制御の説明図である。
【図１２】アルファブレンドにおけるαを示す図である。
【図１３】アイコン画像の例を示す図である。
【図１４】初期画像を拡大処理した表示画像の一例を示す図である。
【図１５】コメント画像を含む表示画像の一例を示す図である。
【図１６】コメントをリスト形式で表示する例を示す図である。
【図１７】重畳画像の表示制御のフローチャートを示す図である。
【図１８】表示画像の一例を示す図である。
【図１９】表示画像上に生成されたコメントの書込領域を示す図である。
【図２０】ユーザがテキスト入力を行った状態を示す図である。
【図２１】対応付部で生成されるコメントデータの一例を示す図である。
【発明を実施するための形態】
【００１２】
図１は、本発明の実施例にかかる情報処理システム１を示す。情報処理システム１は、ネットワーク１８で通信可能に接続された情報処理装置１０、画像データ提供サーバ２および蓄積サーバ４を備える。ネットワーク１８は、たとえばＴＣＰ／ＩＰプロトコルを用いるインターネットであってよい。なお、図１には１つの情報処理装置１０を示しているが、複数の情報処理装置１０がネットワーク１８に接続されていてよい。
【００１３】
情報処理装置１０は出力装置１２を有する。出力装置１２は、画像を出力するディスプレイと音声を出力するスピーカを有するテレビであってよく、またコンピュータディスプレイであってもよい。出力装置１２は、情報処理装置１０に有線ケーブルで接続されてよく、また無線ＬＡＮ（Local Area Network）などにより無線接続されてもよい。入力装置２０は、ユーザにより操作されて、情報処理装置１０に対してユーザの操作情報を入力するための入力インタフェースである。
【００１４】
情報処理システム１において、情報処理装置１０は画像処理を実行する機能を有する。情報処理装置１０は、ユーザから入力装置２０に入力される操作情報に応じて、出力装置１２のディスプレイに表示する表示画像の拡大／縮小処理や、上下左右方向への移動処理など、表示画像を変更する処理を行う。
【００１５】
情報処理装置１０は、ＧＵＩアプリケーションやゲームアプリケーションを実行するゲーム装置であって、画像処理用のプログラムをロードすることで画像処理機能を実現してもよい。また情報処理装置１０は、様々なアプリケーションを実行可能なパーソナルコンピュータであってもよく、画像処理用のプログラムをロードすることで画像処理機能を実現してもよい。なお情報処理装置１０、入力装置２０および出力装置１２は、一体に形成されてもよく、たとえば画像処理機能を搭載した携帯端末装置として構成されてもよい。
【００１６】
画像データ提供サーバ２は、一つのコンテンツの全体画像を複数の解像度のタイル画像で表現する階層化された画像データを保持している。画像データ提供サーバ２は、複数のコンテンツの画像データを保持しており、各画像データは、コンテンツを特定する識別情報（以下、「コンテンツＩＤ」とよぶ）により区別される。画像データ提供サーバ２は、情報処理装置１０からの要求に応じて、情報処理装置１０において表示画像の生成に必要なタイル画像を情報処理装置１０に提供する。なお画像データ提供サーバ２は、階層化された画像データの全体を情報処理装置１０に提供してもよい。
【００１７】
情報処理装置１０は、ネットワーク１８に接続し、入力装置２０に入力される操作情報に応じて、画像データ提供サーバ２から表示画像の生成に必要なタイル画像を適宜ダウンロードして取得する。なお情報処理装置１０は、画像データ提供サーバ２から階層化された圧縮画像データの全体をダウンロードして取得してもよい。
【００１８】
蓄積サーバ４は、コンテンツ画像に対して、複数のユーザから入力されたコメントを蓄積している。蓄積サーバ４は、複数のコンテンツについてのコメントデータを保持しており、コメントデータは、コンテンツＩＤに紐付けられている。蓄積サーバ４は、情報処理装置１０からの要求に応じて、コメントデータを情報処理装置１０に提供する。なお、図１において、画像データ提供サーバ２と蓄積サーバ４とを別個のサーバとして示しているが、これらは同じサーバとして構成されてもよい。
【００１９】
情報処理システム１において、情報処理装置１０のユーザは、出力装置１２に表示されたコンテンツ画像上で、他のユーザにより入力されたコメントを参照でき、また、自身でコメントを付加することができる。他のユーザにより入力されたコメントは、蓄積サーバ４に蓄積され、情報処理装置１０が、あるコンテンツの画像データを画像データ提供サーバ２からダウンロードする際に、同じコンテンツＩＤに紐付けられたコメントデータを蓄積サーバ４からダウンロードすることで、他のユーザのコメントを表示できるようになる。
【００２０】
本実施例の情報処理装置１０は、ユーザからの指示に応じて、コンテンツ画像の拡大／縮小処理や、上下左右方向への移動処理を行い、コンテンツ画像の全体の全部または一部を表示する。本実施例において、コンテンツの全体画像は、たとえば１つの雑誌の見開き、すなわち雑誌を開いたときに向き合っている左右の２ページを表現する。ユーザが、入力装置２０を操作して、表示されている画像上でコメントを入力すると、情報処理装置１０は、入力されたコメントと、表示画像中の入力位置とを対応付ける。対応付けたコメントおよび入力位置情報（コメント設定位置情報）はコンテンツＩＤとともに蓄積サーバ４に送信され、蓄積される。
【００２１】
本実施例において、コンテンツ画像は、拡大／縮小処理がなされるため、コメント設定位置情報は、仮想３次元空間における３つのパラメータにて特定される。一例として、コメント設定位置情報は、ＸＹ平面上の一点を表現するＸ座標値、Ｙ座標値と、拡大／縮小の割合（以下、「縮尺率」、とよぶ）とで表現される。本実施例において、コメントを表示するための条件は、表示画像に、コメント設定位置情報のＸ座標値、Ｙ座標値が含まれていることと、表示画像の縮尺率が、コメント設定位置情報の縮尺率の近傍にあることに設定される。
【００２２】
情報処理装置１０は、画像データをダウンロードすると、最初に、コンテンツ画像の全体を出力装置１２に表示する。ユーザは、コンテンツの全体画像を見て、詳細を見たい領域を決めると、入力装置２０を操作して、その領域を拡大表示させる。このとき、その領域にコメントが付加されており、且つ表示画像の縮尺率がコメント設定位置情報の縮尺率の近傍に到達すると、情報処理装置１０が、表示画像上に、コメントを重畳表示する。これにより、ユーザは、他のユーザが付加したコメントを参照できる。なお、表示画像の縮尺率がコメント設定位置情報の縮尺率近傍に到達するまでの間、コメントが存在することをユーザに知らせる何らかのインジケータが表示されてもよい。
【００２３】
図２は、入力装置２０の外観構成を示す。入力装置２０は、ユーザが操作可能な操作手段として、十字キー２１、アナログスティック２７ａ、２７ｂと、４種の操作ボタン２６を備える。４種の操作ボタン２６は、○ボタン２２、×ボタン２３、□ボタン２４および△ボタン２５から構成される。
【００２４】
情報処理システム１において、入力装置２０の操作手段に、表示画像の拡大／縮小指示、および上下左右方向へのスクロール指示を入力するための機能が割り当てられる。たとえば、表示画像の拡大／縮小指示の入力機能は、右側のアナログスティック２７ｂに割り当てられる。ユーザはアナログスティック２７ｂを手前に引くことで、表示画像の縮小指示を入力でき、また手前から押すことで、表示画像の拡大指示を入力できる。表示画像のスクロール指示の入力機能は、アナログスティック２７ａに割り当てられる。ユーザはアナログスティック２７ａを前後左右に倒すことで、表示画像のスクロール指示を入力できる。本実施例において、表示画像の拡大指示や縮小指示、スクロール指示を、まとめて画像変更指示とよぶ。
【００２５】
入力装置２０は、入力された画像変更指示信号を情報処理装置１０に伝送する機能をもち、本実施例では情報処理装置１０との間で無線通信可能に構成される。入力装置２０と情報処理装置１０は、Bluetooth（ブルートゥース）（登録商標）プロトコルやIEEE802.11プロトコルなどを用いて無線接続を確立してもよい。なお入力装置２０は、情報処理装置１０とケーブルを介して接続して、画像変更指示信号を情報処理装置１０に伝送してもよい。
【００２６】
図３は、情報処理システム１において使用する画像データの階層構造を示す。この画像データは画像データ提供サーバ２において保持されており、画像データ提供サーバ２は、情報処理装置１０に対して、表示画像の生成に必要なタイル画像を適宜提供する。なお画像データ提供サーバ２は、情報処理装置１０に対して画像データの階層構造を示す構造データを通知し、情報処理装置１０は、このデータを用いて、入力装置２０の操作情報から、フレーム画像（表示画像）を特定する空間座標を導出してもよい。なお、この階層構造は、すべてのコンテンツにおいて共通化されており、したがって情報処理装置１０は、その共通化された構造データをもとに、以下に示すように空間座標を導出してもよい。
【００２７】
画像データは、深さ（Ｚ軸）方向に、第０階層３０、第１階層３２、第２階層３４および第３階層３６を含む階層構造を有し、以下、この階層構造をもつ画像データを「階層データ」とよぶ。なお第４階層以上の高階層があってもよく、また階層数は３つ以下であってもよいが、少なくとも２つの階層が存在している。図３に示す階層データ２８は４分木の階層構造を有し、各階層は、１以上のタイル画像３８で構成される。すべてのタイル画像３８は同じ画素数をもつ同一サイズに形成され、たとえば２５６×２５６画素を有する。各階層の画像データは、一つの全体画像を異なる解像度で表現しており、最高解像度をもつ第３階層３６の原画像を複数段階に縮小して、第２階層３４、第１階層３２、第０階層３０の画像データが生成される。たとえば第Ｎ階層の解像度（Ｎは０以上の整数）は、左右（Ｘ軸）方向、上下（Ｙ軸）方向ともに、第（Ｎ＋１）階層の解像度の１／２であってよい。
【００２８】
図３に示す階層データ構造において、深さ（Ｚ軸）方向における位置は、解像度を示し、第０階層３０に近い位置ほど解像度が低く、第３階層３６に近い位置ほど解像度は高い。ディスプレイに表示される画像の大きさに注目すると、深さ方向における位置は、縮尺率に対応し、第３階層３６の表示画像を基準として、その縮尺率を１とすると、第２階層３４における縮尺率は１／４、第１階層３２における縮尺率は１／１６となり、第０階層３０における縮尺率は１／６４となる。したがって深さ方向において、表示画像が第０階層３０側から第３階層３６側へ向かう方向に変化する場合、表示画像は拡大していき、第３階層３６側から第０階層３０側へ向かう方向に変化する場合は、表示画像は縮小していく。
【００２９】
画像データ提供サーバ２において、階層データ２８は、所定の圧縮形式で圧縮された状態で記憶装置に保持されている。階層データにおいて、圧縮処理は、タイル画像単位に行われていてもよく、また同一階層内または異なる階層間において複数のタイル画像単位に行われていてもよい。画像データ提供サーバ２は、複数のコンテンツの階層データ２８を保持している。複数の階層データ２８は、コンテンツＩＤで識別される。
【００３０】
階層データ２８の階層構造は、図３に示すように、左右方向をＸ軸、上下方向をＹ軸、深さ方向をＺ軸として設定され、仮想的な３次元空間を構築する。この階層構造において、Ｘ軸およびＹ軸は、原点を等しくする共通の座標系を定義する。情報処理装置１０は、入力装置２０から供給される画像変更指示から表示画像の変更量を導出し、導出した変更量を用いて、階層を特定する情報と、その階層におけるテクスチャ座標（ＵＶ座標）を導出する。この階層特定情報およびテクスチャ座標の組み合わせを、空間座標と呼ぶ。仮想空間における空間座標は、使用するタイル画像の特定処理、および表示画像の生成処理に利用される。なお情報処理装置１０は、表示画像の変更量を用いて仮想空間におけるフレーム画像の４隅の座標を導出してもよい。この４隅のフレーム座標も、空間座標と呼ぶ。また情報処理装置１０は、空間座標として、仮想空間におけるフレーム画像の中心座標（Ｘ，Ｙ）と縮尺率ＳＣＡＬＥを導出してもよい。情報処理装置１０は、入力装置２０から供給される画像変更指示信号から、適切な階層のタイル画像３８の使用領域を特定できればよく、いずれの手法を採用してもよい。
【００３１】
情報処理装置１０が画像データ提供サーバ２から表示画像の生成に必要なタイル画像を適宜ダウンロードして取得する場合、情報処理装置１０は、導出した空間座標を画像データ提供サーバ２に送信し、画像データ提供サーバ２は、空間座標より特定されるタイル画像を情報処理装置１０に提供する。なお画像データ提供サーバ２は、たとえば将来的に必要となるであろうタイル画像を予測により特定し、前もって情報処理装置１０に提供してもよい。なお、情報処理装置１０が、階層データの全体を画像データ提供サーバ２からダウンロードしている場合には、情報処理装置１０が、導出した空間座標から、タイル画像３８の使用領域を特定すればよい。
【００３２】
図４は、縮尺率の関係を説明するための説明図である。この階層データ構造において、各階層はＬ０（第０階層３０）、Ｌ１（第１階層３２）、Ｌ２（第２階層３４）、Ｌ３（第３階層３６）と表現されている。図４に示す階層データ構造において、深さ（Ｚ軸）方向における位置は、解像度を示し、Ｌ０に近い位置ほど解像度が低く、Ｌ３に近い位置ほど解像度は高い。ディスプレイに表示される画像の大きさに注目すると、深さ方向における位置は、縮尺率に対応し、Ｌ３の表示画像の縮尺率を１とすると、Ｌ２における縮尺率は１／４、Ｌ１における縮尺率は１／１６となり、Ｌ０における縮尺率は１／６４となる。
【００３３】
第１境界３１、第２境界３３、第３境界３５の縮尺率は、Ｌ３を基準として定義され、表示画像の生成に使用するタイル画像の階層を定めるための判定基準として利用される。第１境界３１の縮尺率は１／３２に設定され、表示画像の要求縮尺率が１／３２より小さければ、表示画像の生成にＬ０タイル画像が使用される。第２境界３３の縮尺率は１／８に設定され、表示画像の要求縮尺率が１／３２以上であり且つ１／８より小さければ、表示画像の生成にＬ１タイル画像が使用される。同様に第３境界３５の縮尺率は１／２に設定され、表示画像の要求縮尺率が１／８以上であり且つ１／２より小さければ、Ｌ２タイル画像が使用される。また表示画像の要求縮尺率が１／２以上であれば、Ｌ３タイル画像が使用される。したがって情報処理装置１０は、これから表示する画像の要求縮尺率が定まれば、その縮尺率に対応する解像度のタイル画像を画像データ提供サーバ２から取得して、その縮尺率に調整した表示画像を生成することができる。なお、縮尺率は、図３に示す仮想３次元空間において、深さ方向のＺ座標で表現されてもよく、この場合のＺ座標は、情報処理装置１０において、縮尺率に関連する情報として扱うことができる。なお、同様に、縮尺率は、仮想３次元空間において、解像度で表現されてもよく、この場合の解像度も、情報処理装置１０において、縮尺率に関連する情報として扱うことができる。
【００３４】
図５は、階層データにおける座標系を説明するための説明図である。既述したように、各階層の画像データは、Ｘ軸およびＹ軸の原点を等しくした共通の座標系で表現される。ＸＹ平面上の一点（ｘ，ｙ）に注目すると、階層データの仮想３次元空間において、空間座標は、（ｘ，ｙ，ＳＣＡＬＥ）で表現される。具体的に、第０階層３０上の点Ａの座標は（ｘ，ｙ，１／６４）、第１階層３２上の点Ｂの座標は（ｘ，ｙ，１／１６）、第２階層３４上の点Ｃの座標は（ｘ，ｙ，１／４）、第３階層３６の点Ｄの座標は（ｘ，ｙ，１）で、それぞれ表現される。
【００３５】
図６は、情報処理装置１０の機能ブロック図を示す。情報処理装置１０は、無線インタフェース４０、スイッチ４２、表示処理部４４、ハードディスクドライブ５０、記録媒体装着部５２、ディスクドライブ５４、メインメモリ６０、バッファメモリ７０および制御部１００を有して構成される。表示処理部４４は、フレームメモリを利用して、出力装置１２のディスプレイに表示するデータをバッファリングする。後述するが、表示処理部４４は、コンテンツ画像に、重畳画像を重ね合わせて表示する機能をもつ。
【００３６】
スイッチ４２は、イーサネットスイッチ（イーサネットは登録商標）であって、外部の機器と有線または無線で接続して、データの送受信を行うデバイスである。スイッチ４２は、外部のネットワーク１８に接続し、画像データ提供サーバ２からタイル画像データを受信し、蓄積サーバ４からコメントデータを受信する。またスイッチ４２は無線インタフェース４０に接続し、無線インタフェース４０は、所定の無線通信プロトコルで入力装置２０と接続する。入力装置２０においてユーザから入力された画像変更指示信号は、無線インタフェース４０、スイッチ４２を経由して、制御部１００に供給される。
【００３７】
ハードディスクドライブ５０は、データを記憶する補助記憶装置として機能する。スイッチ４２を介して受信された圧縮画像データは、メインメモリ６０に格納されるが、階層データの全体をダウンロードする際には、階層データがハードディスクドライブ５０に格納されてもよい。記録媒体装着部５２は、メモリカードなどのリムーバブル記録媒体が装着されると、リムーバブル記録媒体からデータを読み出す。ディスクドライブ５４は、読出専用のＲＯＭディスクが装着されると、ＲＯＭディスクを駆動して認識し、データを読み出す。ＲＯＭディスクは、光ディスクや光磁気ディスクなどであってよく、圧縮画像データが格納されていてもよい。なお圧縮画像データは、ハードディスクドライブ５０にプリインストールされていてもよい。また圧縮画像データは、リムーバブル記録媒体またはＲＯＭディスクに記録されていて、表示処理の実行時に、メインメモリ６０に読み出されてもよい。
【００３８】
制御部１００は、マルチコアＣＰＵを備え、１つのＣＰＵの中に１つの汎用的なプロセッサコアと、複数のシンプルなプロセッサコアを有する。汎用プロセッサコアはＰＰＵ（Power Processing Unit）と呼ばれ、残りのプロセッサコアはＳＰＵ（Synergistic-Processing Unit）と呼ばれる。
【００３９】
制御部１００は、メインメモリ６０およびバッファメモリ７０に接続するメモリコントローラを備える。ＰＰＵはレジスタを有し、演算実行主体としてメインプロセッサを備えて、実行するアプリケーションにおける基本処理単位としてのタスクを各ＳＰＵに効率的に割り当てる。なお、ＰＰＵ自身がタスクを実行してもよい。ＳＰＵはレジスタを有し、演算実行主体としてのサブプロセッサとローカルな記憶領域としてのローカルメモリを備える。ローカルメモリは、バッファメモリ７０として使用されてもよい。メインメモリ６０およびバッファメモリ７０は記憶装置であり、ＲＡＭ（ランダムアクセスメモリ）として構成される。ＳＰＵは制御ユニットとして専用のＤＭＡ（Direct Memory Access）コントローラをもち、メインメモリ６０とバッファメモリ７０の間のデータ転送を高速に行うことができ、またフレームメモリとバッファメモリ７０の間で高速なデータ転送を実現できる。本実施例の制御部１００は、複数のＳＰＵを並列動作させることで、高速な画像処理機能を実現する。表示処理部４４は、出力装置１２に接続されて、ユーザからの要求に応じた画像処理結果を出力する。
【００４０】
図７は、情報処理装置１０における制御部１００の構成を示す。制御部１００は、入力受付部１１０、送信部１３０、画像処理部１４０およびコメント処理部１８０を備える。入力受付部１１０は、入力装置２０から操作情報を受け付ける機能を有し、変更指示受付部１１２、コメント作成指示受付部１１４、文字入力受付部１１６、サムネイル選択指示受付部１１８および開始指示受付部１２０を有する。画像処理部１４０は、表示画像および重畳画像の生成処理、具体的には表示画像の拡大／縮小、スクロールなどの変更処理や、コメント画像およびアイコン画像の生成処理を実行する機能を有し、画像データ取得部１４２、デコード部１４４、変更量導出部１４６、表示画像生成部１５０、コメントデータ取得部１６０、重畳処理部１６２およびメニュー画像生成部１７４を有する。重畳処理部１６２は、表示条件判定部１６４および重畳画像生成部１６６を有し、重畳画像生成部１６６は、コメント画像生成部１６８およびアイコン生成部１７０を有する。コメント処理部１８０は、ユーザから入力されたコメントを処理する機能を有し、書込領域生成部１８２、位置情報取得部１８４および対応付部１８６を有する。
【００４１】
図７において、さまざまな処理を行う機能ブロックとして記載される各要素は、ハードウェア的には、ＣＰＵ（Central Processing Unit）、メモリ、その他のＬＳＩで構成することができ、ソフトウェア的には、メモリにロードされたプログラムなどによって実現される。既述したように、制御部１００は１つのＰＰＵと複数のＳＰＵとを有し、ＰＰＵおよびＳＰＵがそれぞれ単独または協同して、各機能ブロックを構成できる。したがって、これらの機能ブロックがハードウェアのみ、ソフトウェアのみ、またはそれらの組合せによっていろいろな形で実現できることは当業者には理解されるところであり、いずれかに限定されるものではない。
【００４２】
情報処理システム１において、情報処理装置１０は、コメントの書込および参照を可能とするコンテンツ閲覧アプリケーションを実行する。このアプリケーションでは、まず最初に、メニュー画面として、出力装置１２に、閲覧可能なコンテンツのサムネイル画像が表示される。このサムネイル画像は、静止画像であっても、動画像であってもよい。情報処理装置１０は、画像データ提供サーバ２から、閲覧可能なコンテンツのサムネイル画像を取得する。メニュー画面は、コンテンツのカテゴリ毎に生成されてよい。
【００４３】
図８は、コンテンツ閲覧アプリケーションのメニュー画面の一例を示す。出力装置１２のディスプレイにおいて、メニュー画面には、閲覧可能なコンテンツのカテゴリを選択するためのカテゴリ選択領域２００が設けられる。ユーザは入力装置２０を操作して、カテゴリ選択領域２００に含まれるカテゴリを選択できる。図８では、カテゴリ「ｃａｒ」が選択され、コンテンツ表示領域２０４ａ、２０４ｂ、２０４ｃに、カテゴリ「ｃａｒ」に関して閲覧可能なコンテンツのサムネイル画像が表示されている。ユーザは入力装置２０を操作して、選択枠２０６を動かすことでサムネイル画像を選択でき、選択枠２０６が配置されたサムネイル画像の拡大画像が選択コンテンツ表示領域２０２に表示される。
【００４４】
以上のメニュー画像は、メニュー画像生成部１７４により生成される。メニュー画像生成部１７４は、メニュー画像の生成に必要なメニューデータを、画像データ提供サーバ２から取得する。メニュー画像生成部１７４は、カテゴリ選択領域２００においてカテゴリが選択されると、メニューデータから、選択されたカテゴリに対応付けられたコンテンツＩＤを抽出する。送信部１３０は、抽出されたコンテンツＩＤをスイッチ４２経由で画像データ提供サーバ２に送信し、画像データ提供サーバ２は、コンテンツＩＤに対応付けられたサムネイル画像を情報処理装置１０に提供する。画像データ取得部１４２がサムネイル画像を受け取ると、メニュー画像生成部１７４は、サムネイル画像をコンテンツ表示領域２０４に貼り付ける。
【００４５】
サムネイル選択指示受付部１１８が、コンテンツ表示領域２０４に表示されたサムネイル画像の選択指示すなわち選択枠２０６の移動指示を受け付けると、メニュー画像生成部１７４は、選択枠２０６をコンテンツ表示領域２０４間で動かし、選択コンテンツ表示領域２０２に、選択されたサムネイル画像の拡大画像を表示する。なお、この拡大画像は、画像データ提供サーバ２から提供されてもよい。図８に示すメニュー画面において、ユーザが入力装置２０の○ボタン２２を押下すると、選択コンテンツ表示領域２０２に示されるコンテンツ画像の表示処理が開始される。
【００４６】
図９は、コンテンツ画像の表示処理開始時に出力装置１２に示される表示画像の一例を示す。図８に示すメニュー画面においてユーザが○ボタン２２を押下すると、開始指示受付部１２０が、その操作情報を、表示処理の開始指示として受け付け、画像データ取得部１４２が、画像データ提供サーバ２から、コンテンツ画像の初期画像データを取得する。画像データ提供サーバ２は、情報処理装置１０にて初期画像を生成するためのタイル画像を予め保持しており、画像データ取得部１４２が、送信部１３０から初期画像の取得要求をコンテンツＩＤとともに送信すると、画像データ提供サーバ２は、情報処理装置１０に、そのコンテンツＩＤで特定される初期画像を構成するタイル画像を送信する。
【００４７】
開始指示受付部１２０が表示処理の開始指示を受け付けると、コメントデータ取得部１６０が、蓄積サーバ４から、コメントデータを取得する。コメントデータ取得部１６０は、送信部１３０から、コメントデータの取得要求を、コンテンツＩＤとともに送信すると、蓄積サーバ４は、情報処理装置１０に、そのコンテンツＩＤで特定されるコメントデータを送信する。
【００４８】
図１０は、蓄積サーバ４に蓄積されているコメントデータの一例を示す。図１０においては、コメントデータがテーブル形式で示されているが、ＣＳＶ形式など、所定の形式で蓄積されていてよい。コメントデータは、出力装置１２に表示される画像に重ねて表示するための重畳データであり、識別情報（ＩＤ）、ユーザ名、作成日時、表示情報、設定位置情報、リンク情報の項目を含んで構成される。
【００４９】
ＩＤは、コメントデータを特定する情報であり、コメントの作成日時の古い方より１から順に割り当てられる。ユーザ名は、コメントを作成したユーザを特定する情報であり、表示情報は、ユーザにより入力された文字（コメント）を示す。なお、ここでは表示情報が、ユーザがテキスト入力したコメントである例を示すが、表示情報は、たとえば写真画像や、キャラクタ画像などであってもよい。設定位置情報は、階層データにより構成される仮想３次元空間において、コメントが入力された位置情報を特定する情報である。リンク情報は、コメント同士の間にリンクが張られているか否かを示す情報であり、リンクが張られている場合には、対応するコメントデータのＩＤが記述され、張られていなければ、ヌル値が記述される。
【００５０】
図７に戻って、開始指示受付部１２０が表示処理の開始指示を受け付けると、画像データ取得部１４２が、画像データ提供サーバ２から初期画像用のタイル画像を取得し、またコメントデータ取得部１６０が、蓄積サーバ４からコメントデータを取得する。タイル画像データおよびコメントデータは、メインメモリ６０に記憶される。なお、コメントデータの記憶形式は、テーブル形式であっても、ＣＳＶ形式であっても構わない。続いて表示画像生成部１５０は、取得したタイル画像を用いて、コンテンツ画像の初期画像を生成し、重畳処理部１６２は、取得したコメントデータを用いて、初期画像に重ねる重畳画像を生成する。コンテンツ画像の初期画像は、コンテンツ全体の画像であり、すなわち、本実施例では雑誌の見開き全体の画像である。重畳処理部１６２は、生成した重畳画像を表示処理部４４に供給する。表示処理部４４は、表示画像生成部１５０で生成された表示画像に、重畳処理部１６２で生成された重畳画像を重畳表示して、図９に示すフレーム画像を生成する。
【００５１】
図９において、複数のアイコン画像２２０、２２２、２２４、２２６と、コメント画像２２８とが表示されている。これらのアイコン画像およびコメント画像は、重畳処理部１６２で生成された重畳画像であり、表示処理部４４によりコンテンツ画像に合成されている。コメント画像２２８は、コメントデータに含まれる表示情報から生成され、図１０を参照すると、ＩＤ４のコメントデータの表示情報が表現されている。アイコン画像２２０、２２２、２２４、２２６は、表示情報（すなわち、コメント）の存在を知らせるためのマーク画像であり、アイコン画像が付加されている領域を拡大表示していけば、ユーザは、コメントを見ることができる。なお、アイコン画像２２０、２２２、２２４、２２６のそれぞれは、出力装置１２に表示されている画像の縮尺率と、コメントデータに含まれている縮尺率との関係に応じて、表示態様を決定されている。
【００５２】
以下、重畳処理部１６２の動作について説明する前に、表示画像生成部１５０による表示画像の生成処理について説明する。ユーザが入力装置２０のアナログスティック２７を操作すると、画像変更指示信号が情報処理装置１０に送信される。変更指示受付部１１２は、入力装置２０から、ディスプレイに表示されている表示画像の変更指示信号を受け付ける。
【００５３】
変更量導出部１４６は、変更指示信号をもとに、表示要求される表示画像の変更量を導出する。表示画像の変更量は、階層データの仮想３次元空間において、１フレームごとの表示画像の上下左右方向の移動量および深さ方向の移動量である。表示画像生成部１５０は、前回フレームの空間座標から、導出された変更量により移動する今回フレームの空間座標（位置情報）を決定する。ここで空間座標は、フレーム画像の中心座標（Ｘ，Ｙ）と縮尺率ＳＣＡＬＥで特定される位置情報（Ｘ，Ｙ，ＳＣＡＬＥ）である。変更量導出部１４６は、変更指示信号をもとに変更量（ΔＸ，ΔＹ，ΔＳＣＡＬＥ）を導出し、表示画像生成部１５０は、前回フレームの位置情報（Ｘprev，Ｙprev，ＳＣＡＬＥprev）に変更量（ΔＸ，ΔＹ，ΔＳＣＡＬＥ）を加えて、今回フレームの位置情報（Ｘ，Ｙ，ＳＣＡＬＥ）を決定する。このように、表示画像生成部１５０は、表示する画像の縮尺率ＳＣＡＬＥを特定するが、既述したように、解像度など、縮尺率に関連する情報を特定してもよい。
【００５４】
送信部１３０は、表示画像生成部１５０で決定された空間座標を、画像データ提供サーバ２に送信する。画像データ提供サーバ２は、空間座標を受け取ると、情報処理装置１０にて表示画像を生成するためにタイル画像を変更する必要があるか判定し、タイル画像を変更する必要がある場合には、そのタイル画像を情報処理装置１０に提供する。画像データ取得部１４２はタイル画像を取得すると、メインメモリ６０に保持させる。デコード部１４４は、メインメモリ６０から表示画像の生成に用いるタイル画像を読み出してデコードし、バッファメモリ７０に保持させる。表示画像生成部１５０は、位置情報にもとづいて、バッファメモリ７０に保持されたタイル画像を用いて表示画像（フレーム画像）を生成し、フレームメモリ９０に供給する。生成した表示画像は、コンテンツ画像の全体の全部または一部を表現し、ここで、全体画像の全部とは、図９に示した表示画像であり、全体画像の一部とは、図９に示した表示画像を拡大表示した画像である。
【００５５】
以上のように表示画像生成部１５０が表示画像を生成することで、情報処理装置１０は、表示画像の拡大、縮小処理、またスクロール処理を高速に実行し、スムーズな画像の変化をユーザに提供できる。
【００５６】
次に、重畳処理部１６２の動作について説明する。重畳処理部１６２は、コメントデータから、表示画像に重畳するための重畳画像を生成する。図９に示すように、重畳画像には、コメントを表示するコメント画像と、コメントの存在を知らせるためのアイコン画像とが存在する。
【００５７】
図１０において、設定位置情報は、コメントが入力された位置情報を示し、（ｘ，ｙ，ｓｃｌ）のパラメータを含んでいる。ｘは、コンテンツ画像におけるＸ座標、ｙは、コンテンツ画像におけるＹ座標、ｓｃｌは、コメント入力時点における表示画像の縮尺率を示す。なお、縮尺率の代わりに、解像度など、縮尺率に関連する情報が用いられてもよい。（ｘ，ｙ）は、全体画像における２次元座標を特定する情報である。本実施例の重畳画像の表示制御によると、初期画像を拡大表示して、表示画像の縮尺率が設定位置情報のｓｃｌに近づくと、初期画像において表示されるアイコン画像がコメント画像に切り替えられる。さらに表示画像が拡大表示されて、表示画像の縮尺率が設定位置情報のｓｃｌを超えると、次第にコメント表示が薄くされて、最後には表示画像から消えるように、重畳画像の表示制御が行われる。
【００５８】
図１１は、重畳画像の表示制御の説明図である。重畳画像を表示するための条件は２つある。第１条件は、設定位置情報における２次元座標（ｘ，ｙ）が表示画像に含まれていることであり、第２条件は、表示画像の縮尺率と、設定位置情報における縮尺率ｓｃｌとが所定の関係にあることである。図１１を用いて、第２条件について説明する。
【００５９】
設定位置情報により特定される縮尺率ｓｃｌを基準として、縮尺率１／２×ｓｃｌを下限値、縮尺率２×ｓｃｌを上限値とする範囲Ｒ１が、コメント表示領域に設定される。つまり、
１／２×ｓｃｌ ≦ 表示画像の縮尺率 ≦ ２×ｓｃｌ ・・（条件ａ）
の条件が満足されると、表示画像にコメント画像が重畳表示される。コメント表示領域を、範囲Ｒ１にわたって設定することで、表示画像の拡大／縮小の際に、ユーザがコメントを見落とさないようにできる。
【００６０】
また、縮尺率が下限値よりも小さい領域Ｒ２が、アイコン表示領域に設定される。つまり、
表示画像の縮尺率 ＜ １／２×ｓｃｌ ・・（条件ｂ）
の条件が満足されると、表示画像にアイコン画像が重畳表示される。これにより、表示画像を拡大する際に、ユーザは、注目している領域にコメントが付加されているか知ることができ、アイコン画像が、効果的なインジケータとしての役割を担うことができる。
【００６１】
また、縮尺率が上限値よりも大きい領域Ｒ３が、非表示領域に設定される。つまり、
２×ｓｃｌ ＜ 表示画像の縮尺率 ・・（条件ｃ）
の条件が満足されると、表示画像に、コメント画像およびアイコン画像ともに重畳表示されない。
【００６２】
範囲Ｒ１で特定されるコメント表示領域では、コンテンツの表示画像を背景とし、コメント画像を前景としたアルファブレンドが行われる。背景の画素値をＶａｌｕｅ０、前景の画素値をＶａｌｕｅ１と表現すると、
Ｖａｌｕｅ＝Ｖａｌｕｅ０×（１−α）＋Ｖａｌｕｅ１×α
とする演算により、画素値Ｖａｌｕｅが定められる。
【００６３】
図１２は、アルファブレンドにおけるαを示す。
１／２×ｓｃｌ ≦ 表示画像の縮尺率 ≦ ｓｃｌ・・（条件ｄ）
の条件が満足する場合には、α＝１に設定され、
ｓｃｌ ＜ 表示画像の縮尺率 ≦ ２×ｓｃｌ・・（条件ｅ）
の条件が満足する場合には、α＝１−（表示画像の縮尺率−ｓｃｌ）×（１／ｓｃｌ）に設定される。
【００６４】
図１１に戻って、領域Ｒ２で特定されるアイコン表示領域では、表示画像の縮尺率と、設定位置情報により特定される縮尺率ｓｃｌとの関係に応じて、アイコン画像の表示態様が決定される。具体的には、
１／１０×ｓｃｌ ≦ 表示画像の縮尺率 ＜ １／２×ｓｃｌ・・（条件ｆ）
の条件が満足する場合には、アイコン画像が青に配色され、
表示画像の縮尺率 ＜ １／１０×ｓｃｌ・・（条件ｇ）
の条件が満足する場合には、アイコン画像が赤に配色される。このように、コメントまでの距離に応じてアイコン画像の色を変化させることで、ユーザは、コメントに到達するまでの時間などを推測できる。
なお、表示態様の変化は、配色に限らず、たとえば大きさに変更が加えられてもよい。また、リンクが張られているコメントデータのアイコン画像は、異なる形状で表現されてもよい。
【００６５】
図１３は、アイコン画像の例を示す。図１３（ａ）は、青色のアイコン画像を示し、図１３（ｂ）は、赤色のアイコン画像を示す。図９において、アイコン画像２２２、２２４が青色であり、アイコン画像２２２は、ＩＤ１のコメントデータの存在を示し、アイコン画像２２４は、ＩＤ５のコメントデータの存在を示している。また、アイコン画像２２０は、赤色であり、ＩＤ７のコメントデータの存在を示している。
【００６６】
図１３（ｃ）は、複数のコメントが関連付けられていることを示すアイコン画像を示す。図９において、アイコン画像２２６は、ＩＤ２，ＩＤ３，ＩＤ６のコメントデータの存在を示している。
【００６７】
以上の制御条件の成立の可否は、基本的には表示条件判定部１６４により判定される。まず第１条件の判定処理について説明する。表示条件判定部１６４は、コメントデータに含まれる２次元座標（ｘ，ｙ）が表示画像に含まれるか判定する。表示画像生成部１５０がテクスチャ座標を導出する場合には、表示条件判定部１６４は、そのテクスチャ座標に設定位置情報の２次元座標が含まれているか否かを判定する。いずれにしても表示画像生成部１５０は、フレーム画像の４隅の座標を特定しているため、表示条件判定部１６４は、すべてのコメントデータに含まれる設定位置情報を参照して、該当するコメントデータを抽出する。図９に示すように、表示画像が全体画像である場合には、すべてのコメントデータの２次元座標が表示画像に含まれるため、表示条件判定部１６４は、すべてのコメントデータが第１条件を満足したことを判定する。
【００６８】
次に、第２条件の判定処理について説明する。表示条件判定部１６４は、表示画像生成部１５０により生成される表示画像の縮尺率と、第１条件を満たしたコメントデータに含まれている縮尺率または縮尺率に関連する情報とが所定の関係にあるか判定する。所定の関係とは、コメント画像の生成に関して言えば、上記した（条件ａ）を満たす関係であり、つまり、設定位置情報の縮尺率ｓｃｌを基準として設定される下限および上限で特定される範囲内に、表示画像の縮尺率が含まれるか否かを判定する。表示条件判定部１６４は、表示画像生成部１５０から表示画像の縮尺率ＳＣＡＬＥを取得し、設定位置情報の縮尺率ｓｃｌから上限および下限を演算により求めることで、縮尺率ＳＣＡＬＥがコメント表示領域に入っているか否かを確認する。
【００６９】
たとえば、図９に示す全体画像の縮尺率ＳＣＡＬＥが１／６４（＝０．０１５６２５）であるとすると、ＩＤ４のコメントデータのみが条件ａを満たし、他のコメントデータは条件ａを満たさない。次に、表示条件判定部１６４は、第１条件を満たしたコメントデータが、他の条件ｂ、条件ｃを満たすか判定する。図９に示す全体画像が表示されている場合において、ＩＤ１〜３、５〜７のコメントデータは、条件ｂを満たしている。表示条件判定部１６４は、さらに条件ｂを満たしたコメントデータが、条件ｆ、条件ｇのいずれを満たすか判定する。このとき、ＩＤ１、ＩＤ５のコメントデータが条件ｆを満たし、ＩＤ７のコメントデータが条件ｇを満たしている。なお、互いにリンクが張られている複数のコメントデータ（ＩＤ２，ＩＤ３，ＩＤ６）については、条件ｆ、条件ｇについての判定を行わなくてよい。表示条件判定部１６４は、この判定結果を重畳画像生成部１６６に提供する。
【００７０】
重畳画像生成部１６６は、コメントデータをもとに、表示画像上に表示する重畳画像を生成する。表示条件判定部１６４により、ＩＤ４のコメントデータが条件ａを満たしていることを示す判定結果を提供されると、コメント画像生成部１６８は、ＩＤ４のコメントデータに含まれている表示情報を用いて、コメント画像を生成する。図９において、コメント画像２２８は、ＩＤ４のコメントデータ（図１０参照）をもとに生成されている。コメント画像２２８には、コメントデータに含まれるユーザ名と、表示情報とが含まれる。これにより、ユーザ名とともに、コメントの内容を閲覧することが可能となる。なお、コメント画像２２８には、作成日時が含まれてもよい。
【００７１】
表示条件判定部１６４により、ＩＤ１〜３、５〜７のコメントデータが条件ｂを満たしていることを示す判定結果を提供されると、アイコン生成部１７０は、表示情報の存在を知らせるためのマーク画像（アイコン画像）を生成する。このときアイコン生成部１７０は、表示画像の縮尺率ＳＣＡＬＥと、コメントデータに含まれている縮尺率ｓｃｌとの関係に応じて、アイコン画像の表示態様を決定する。具体的にアイコン生成部１７０は、条件ｆを満たしたＩＤ１、ＩＤ５のコメントデータのアイコン画像を青に色づけし、また条件ｇを満たしたＩＤ７のコメントデータのアイコン画像を赤に色づけする。表示画像の拡大処理中、青色のアイコン画像は、コメント画像がもうすぐ表示されることを示し、赤色のアイコン画像は、コメント画像にはまだまだ到達しないことを示す。赤色のアイコン画像が表示されている場合、表示画像を拡大していくと、アイコン画像が青色に変化し、また拡大処理を続けると、コメント画像の表示が開始されるようになる。
【００７２】
図９に示す全体画像は初期画像であるため、条件ｃを満たすコメントデータは存在しないが、コメント画像が表示された後も、拡大処理を続ける場合には、条件ｃが満たされて、重畳画像生成部１６６は、重畳画像の生成を行わなくなる。
【００７３】
表示画像の縮尺率がコメント表示範囲に含まれ、コメント画像生成部１６８がコメント画像を生成すると、表示処理部４４が、表示画像生成部１５０で生成された表示画像と、コメント画像とをアルファブレンドする。このとき、表示処理部４４は、図１２に示す関係にしたがってαを求めて、表示画像とコメント画像とを合成する。表示処理部４４は、下限（１／２×ｓｃｌ）から所定値の間は、係数αを１に設定し、所定値から上限（２×ｓｃｌ）までの間は、係数αを１から０の間で設定する。これにより、表示画像の拡大処理中、縮尺率が所定値を超えると、コメントが徐々に消えていく演出を実現できる。図１２に示す例では、所定値がｓｃｌに設定されているが、ｓｃｌよりも大きい縮尺率に設定されていてもよい。
【００７４】
図１４は、初期画像を拡大処理した表示画像の一例を示す。図１４に示す表示画像は、初期画像を下方向に移動しつつ、拡大することで生成される。このときの表示画像の縮尺率ＳＣＡＬＥが０．０６であるとする。また、表示条件判定部１６４が、ＩＤ１〜ＩＤ３、ＩＤ５、ＩＤ６のコメントデータの２次元座標が表示画像に含まれていることを判定したとする（第１条件成立）。
【００７５】
続いて表示条件判定部１６４は、第２条件の成立について検証する。ＩＤ１，ＩＤ２，ＩＤ５の設定位置情報の縮尺率は、それぞれ０．０６、０．０６２５、０．０５であり、縮尺率ＳＣＡＬＥが０．０６であることから、ＩＤ１，ＩＤ２，ＩＤ５のコメントデータが条件ａを満たしていることを判定する。また、ＩＤ３，ＩＤ６の設定位置情報の縮尺率は、それぞれ０．２５、０．２５であり、ＩＤ３，ＩＤ６のコメントデータが条件ｂを満たしていることを判定する。表示条件判定部１６４は、この判定結果を重畳画像生成部１６６に提供する。
【００７６】
重畳画像生成部１６６は、コメントデータをもとに、表示画像上に表示する重畳画像を生成する。表示条件判定部１６４により、ＩＤ１，ＩＤ２，ＩＤ５のコメントデータが条件ａを満たしていることを示す判定結果を提供されると、コメント画像生成部１６８は、ＩＤ１，ＩＤ２，ＩＤ５のコメントデータに含まれている表示情報を用いて、コメント画像を生成する。図１４において、コメント画像２３０、２３２、２３４は、それぞれＩＤ１，ＩＤ２，ＩＤ５のコメントデータをもとに生成されている。コメント画像２３０、２３２、２３４には、コメントデータに含まれるユーザ名と、表示情報とが含まれる。これにより、ユーザ名とともに、コメントの内容を閲覧することが可能となる。
【００７７】
コメント画像生成部１６８がコメント画像を生成すると、表示処理部４４が、表示画像生成部１５０で生成された表示画像と、コメント画像とをアルファブレンドする。表示処理部４４は、図１２に示す関係にしたがってαを求めて、表示画像とコメント画像とを合成する。設定位置情報の縮尺率ｓｃｌとしたとき、表示処理部４４は、縮尺率ＳＣＡＬＥが下限（１／２×ｓｃｌ）から所定値ｓｃｌの間は、係数αを１に設定し、所定値ｓｃｌから上限（２×ｓｃｌ）までの間は、係数αを１から０の間で設定する。したがって、ＩＤ１，ＩＤ２のコメント画像２３０、２３２は、係数α＝１でアルファブレンドされ、一方、ＩＤ５のコメント画像２３４は、係数α＝０．８でアルファブレンドされる。したがって、コメント画像２３４は、若干薄くなった状態で表示されることになる。
【００７８】
ＩＤ２のコメントデータから生成されるコメント画像２３２には、リンクが張られており、他のコメントデータが関連付けられている。図１０を参照して、ＩＤ２のコメントデータは、ユーザｂｂｂにより生成されているが、このコメントデータに対して、ユーザｂｂｂにより生成されたＩＤ３のコメントデータと、ユーザａａａにより生成されたＩＤ６のコメントデータが関連付けられている。したがって、アイコン生成部１７０は、対応付けられたコメントの存在を示すためのインジケータ２３６を生成して、コメント画像２３２の近傍に配置する。インジケータ２３６は、ユーザにより選択されると、リンクを張られたコメント画像にジャンプさせる機能をもつ。なお、右向きのインジケータ２３６は、表示されているコメントよりも新しいコメントが存在していることを示す。
【００７９】
重畳処理部１６２は、インジケータ２３６が選択されると、メインメモリ６０に保持されたコメントデータを参照して、指定されたインジケータ２３６のリンク情報を抽出する。ＩＤ２のコメント画像２３２の近傍に表示されたインジケータ２３６が選択された場合、重畳処理部１６２は、ＩＤ２のコメントデータのリンク情報を抽出する。このリンク情報は、ＩＤ３，ＩＤ６のコメントデータを指定しており（図１０参照）、重畳処理部１６２は、２つのコメントデータのうち、たとえば作成日時の古いＩＤ３のコメントデータを選択する。重畳処理部１６２は、ＩＤ３のコメントデータの設定位置情報を表示画像生成部１５０に提供して、表示画像生成部１５０に表示画像を生成させるとともに、コメント画像生成部１６８が、ＩＤ３のコメント画像を生成する。これにより、ＩＤ３のコメント画像が表示される。
【００８０】
図１５は、ＩＤ３のコメント画像を含む表示画像の一例を示す。図１０を参照して、ＩＤ３とＩＤ６のコメントデータの設定位置情報は同じであるため、ＩＤ３のコメント画像が表示されるときには、必ずＩＤ６のコメント画像も表示される。これは、後述するが、ユーザａａａが、ユーザｂｂｂのコメントに応答する形式でコメントを付加したためであり、そのために、ユーザａａａのコメントデータ（ＩＤ６）の設定位置情報が、ユーザｂｂｂのコメントデータ（ＩＤ３）の設定位置情報と同じになっている。このような場合、コメント画像生成部１６８は、１つの表示領域に、２つのコメントを並べたコメント画像を生成する。なお、ＩＤ３とＩＤ６のコメントデータには、ＩＤ２のコメントデータが対応付けられているため、アイコン生成部１７０は、インジケータ２４２を生成して、コメント画像２４０の近傍に配置する。なお、左向きのインジケータ２４２は、表示されているコメントよりも古いコメントが存在していることを示す。
【００８１】
コメント画像２４０では、２つのコメントを並べて表示したが、コメント画像生成部１６８は、別個のコメント画像を生成してもよい。なお、１つの表示領域に複数のコメントを含めることで、コメント同士に何らかの繋がりがあることを、ユーザに認識させることができるため、別個にコメント画像を生成するよりも、効果的である。
【００８２】
図１６は、コメントをリスト形式で表示する例を示す。コメント画像生成部１６８は、作成日時の古い順に上からコメントを並べたコメント画像２４６を生成する。この場合、ユーザがコメントを選択すると、その設定位置情報をもとに、コメントが付加されたときの表示画像にジャンプできる仕組みを用意しておくことが好ましい。ジャンプする仕組みは、上記したとおりである。
【００８３】
図１７は、重畳画像の表示制御のフローチャートを示す。図１７に示すフローチャートにおいては、各部の処理手順を、ステップを意味するＳ（Ｓｔｅｐの頭文字）と数字との組み合わせによって表示する。また、Ｓと数字との組み合わせによって表示した処理で何らかの判断処理が実行され、その判断結果が肯定的であった場合は、Ｙ（Ｙｅｓの頭文字）を付加して、例えば、（Ｓ１０のＹ）と表示し、逆にその判断結果が否定的であった場合は、Ｎ（Ｎｏの頭文字）を付加して、（Ｓ１０のＮ）と表示する。このフローは、各コメントデータに対して、表示画像の変更処理が行われるたびに実行される。
【００８４】
表示条件判定部１６４が、コメントデータの２次元座標が表示画像に含まれるか判定する（Ｓ１０）。表示画像に含まれていない場合には（Ｓ１０のＮ）、そのコメントデータの表示制御は終了する。表示画像に含まれている場合（Ｓ１０のＹ）、表示条件判定部１６４が、表示画像の縮尺率が、コメントデータの縮尺率を基準として設定される下限および上限で特定される範囲内に含まれているか判定する（Ｓ１２）。
【００８５】
表示画像の縮尺率がコメント表示範囲内に含まれている場合（Ｓ１２のＹ）、その表示画像の縮尺率が、下限から所定値の間にあるか判定する（Ｓ１４）。下限から所定値の間にある場合（Ｓ１４のＹ）、表示処理部４４は、αを１に設定し（Ｓ１６）、コメント画像を表示画像に重畳する（Ｓ２０）。一方、表示画像の縮尺率が所定値から上限の間にある場合（Ｓ１４のＮ）、表示処理部４４は、αを１から０の間で設定し（Ｓ１８）、コメント画像と表示画像をアルファブレンドする（Ｓ２０）。
【００８６】
表示画像の縮尺率がコメント表示範囲内に含まれていない場合（Ｓ１２のＮ）、表示条件判定部１６４は、表示画像の縮尺率が、コメント表示範囲の下限よりも小さいか判定する（Ｓ２２）。下限よりも小さい場合（Ｓ２２のＹ）、表示条件判定部１６４は、その表示画像の縮尺率が、所定値以上であるか判定する（Ｓ２４）。所定値以上である場合（Ｓ２４のＹ）、表示処理部４４は、青色アイコン画像を表示画像に重畳する（Ｓ２６）。一方、所定値よりも小さい場合（Ｓ２４のＮ）、表示処理部４４は、赤色アイコン画像を表示画像に重畳する（Ｓ２８）。なお、表示画像の縮尺率が上限よりも大きい場合には（Ｓ２２のＮ）、重畳画像生成部１６６は、重畳画像を生成せず、このコメントデータの表示制御は終了する。なお、図１７にもとづいて重畳画像の表示制御のフローを説明したが、各条件の判定順序は、図１７に示した順序に限定されるものではない。
【００８７】
以上は、蓄積サーバ４から取得したコメントデータの表示制御についての説明であるが、以下に、コメントデータの作成について説明する。出力装置１２にフレーム画像が表示されている状態で、コメント作成指示受付部１１４が、ユーザからコメントの作成指示を受け付ける。図１８は、表示画像の一例を示す。
【００８８】
図１８に示す表示画面において、ユーザが入力装置２０の×ボタン２３を押下すると、コメント作成指示受付部１１４が、コメント作成指示を受け付ける。コメント作成指示はコメント処理部１８０に伝達され、書込領域生成部１８２が、コメントの書込領域を生成する。
【００８９】
図１９は、表示画像上に生成されたコメントの書込領域２５０を示す。書込領域２５０は、たとえば表示画像の中央に作成される。なお、ユーザが表示画像上でカーソルを動かせる場合には、コメントを書き込みたい位置にカーソルを動かし、その後、×ボタン２３を押下することで、書込領域２５０をカーソル位置に配置できる。また、ユーザが、表示画像中央に配置された書込領域２５０を、所望の位置に動かせてもよい。
【００９０】
書込領域生成部１８２は、ソフトウェアキーボードを表示画像上に生成して、ユーザがテキスト入力できる環境を作成する。ユーザは入力装置２０を操作して、ソフトウェアキーボードのキーをクリックし、テキスト入力を行う。なお、図２に示した入力装置２０とは別に、文字キーを入力可能なデバイスを情報処理装置１０に接続してもよい。
【００９１】
図２０は、ユーザがテキスト入力を行った状態を示す。文字入力受付部１１６は、ユーザからの入力を受け付け、書込領域２５０に表示する。また、文字入力受付部１１６は、受け付けた入力をコメント処理部１８０に供給する。コメント処理部１８０は、文字入力受付部１１６において受け付けた入力を処理する。具体的に、コメント処理部１８０は、蓄積サーバ４に送信するコメントデータの作成処理を行う。
【００９２】
位置情報取得部１８４は、文字入力受付部１１６が入力を受け付けた表示画像中の位置を特定する位置情報を取得する。位置情報は、（ｘ，ｙ，ｓｃｌ）のパラメータを含んで構成され、ｘは、コンテンツ画像におけるＸ座標、ｙは、コンテンツ画像におけるＹ座標、ｓｃｌは、コメント入力時点における表示画像の縮尺率である。これらの位置情報は、表示画像生成部１５０から取得する。対応付部１８６は、取得された位置情報と、ユーザからの入力とを対応付け、コメントデータを生成する。
【００９３】
図２１は、対応付部１８６で生成されるコメントデータの一例を示す。図２１に示すコメントデータは、情報処理装置１０から蓄積サーバ４に送信されるデータであり、ユーザ名、作成日時、入力情報、位置情報の項目を含んで構成される。
【００９４】
ユーザ名は、コメントを作成したユーザを特定する情報であり、作成日時は、コメントを作成した日時を特定する情報であり、入力情報は、ユーザにより入力された文字（コメント）を示す。なお、ここでは入力情報が、ユーザがテキスト入力したコメントである例を示すが、入力情報は、たとえば写真画像や、キャラクタ画像などであってもよい。位置情報は、階層データにより構成される仮想３次元空間において、コメントが入力された位置情報を特定する情報である。送信部１３０は、生成されたコメントデータを、コンテンツＩＤとともに蓄積サーバ４に送信する。
【００９５】
図１０に示すコメントデータと比較すると、図２１に示す入力情報は、図１０に示す表示情報に相当し、図２１に示す位置情報は、図１０に示す設定位置情報に相当する。蓄積サーバ４は、図１０に示すコメントデータを受信すると、作成日時にしたがってＩＤを割り当てる。
【００９６】
なお、図２０に示す例では、他のユーザからのコメントが表示されていない状態で、書込領域２５０にテキストが入力された例を示しているが、ユーザは、図１５に示す表示画像上で、コメントを入力することも可能である。
【００９７】
図１５に示す表示画像では、コメント画像２４０が表示画像上に重畳されている。ユーザが入力装置２０を操作して、コメント画像２４０を選択し、×ボタン２３を押下すると、書込領域生成部１８２が、書込領域２５０をコメント画像２４０上に生成する。このとき書込領域生成部１８２は、入力されるコメントを、コメント画像２４０に関連付けることを判定し、対応付部１８６に通知する。これを受けて、対応付部１８６は、リンク情報を付加して、コメントデータを生成する。これにより、蓄積サーバ４は、受信したコメントデータが他のコメントデータに関連付けられていることを認識でき、図１０に示すコメントデータを生成できる。
【００９８】
なお、蓄積サーバ４は、図２１に示す位置情報を参照して、リンク情報を設定してもよい。図２１に示す位置情報は、図１０に示すＩＤ３、ＩＤ６の設定位置情報と同一であり、このような場合には、図２１に示すコメントデータが、ＩＤ３、ＩＤ６のコメントデータに関連付けられていることを判定する。これにより、蓄積サーバ４は、受信したコメントデータが、他のコメントデータに関連付けられていることを認識できる。
【００９９】
なお、図１０に示すコメントデータにおいて、同一のユーザｂｂｂにより生成されたＩＤ２、ＩＤ３のコメントデータの間で、リンクが張られている。これは、ユーザｂｂｂがコメントを書き込む際に、既に書き込んだコメントと明示的に関連付ける操作を行うことで、これらのコメントデータを関連付けることができる。たとえば、ユーザｂｂｂは、コメントを書き込んだ後に、△ボタン２５を押下すると、対応付部１８６が、過去に書き込んだコメントとの関連づけを行う。過去に書き込んだコメントが複数ある場合には、対応付部１８６がそのリストを表示し、ユーザｂｂｂがいずれかを選択することで、選択されたコメントとの関連づけを行うことが可能となる。
【０１００】
以上、本発明を実施例をもとに説明した。上記実施例は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。実施例では、表示画像の生成に階層データを用いたが、たとえば１枚の高解像度のコンテンツ画像データを用いて、表示画像を生成してもよい。
【０１０１】
実施例において、コメントデータと階層データとは別個のものであるとして説明したが、たとえばコメントデータは作成されると、階層データに組み込まれてもよい。これによりファイルの管理が容易になる利点がある。
【符号の説明】
【０１０２】
１・・・情報処理システム、２・・・画像データ提供サーバ、４・・・蓄積サーバ、１０・・・情報処理装置、２８・・・階層データ、３０・・・第０階層、３２・・・第１階層、３４・・・第２階層、３６・・・第３階層、３８・・・タイル画像、４４・・・表示処理部、１００・・・制御部、１１０・・・入力受付部、１１２・・・変更指示受付部、１１４・・・コメント作成指示受付部、１１６・・・文字入力受付部、１１８・・・サムネイル選択指示受付部、１２０・・・開始指示受付部、１３０・・・送信部、１４０・・・画像処理部、１４２・・・画像データ取得部、１４４・・・デコード部、１４６・・・変更量導出部、１５０・・・表示画像生成部、１６０・・・コメントデータ取得部、１６２・・・重畳処理部、１６４・・・表示条件判定部、１６６・・・重畳画像生成部、１６８・・・コメント画像生成部、１７０・・・アイコン生成部、１７４・・・メニュー画像生成部、１８０・・・コメント処理部、１８２・・・書込領域生成部、１８４・・・位置情報取得部、１８６・・・対応付部。
【技術分野】
【０００１】
本発明は、ディスプレイに表示する画像を拡大／縮小、または上下左右に移動させる画像処理技術に関する。
【背景技術】
【０００２】
ゲームプログラムを実行するだけでなく、動画を再生できる家庭用エンタテインメント
システムが提案されている。この家庭用エンタテインメントシステムでは、ＧＰＵがポリ
ゴンを用いた三次元画像を生成する（例えば特許文献１参照）。
【０００３】
近年、高精細な写真などのディジタル画像から生成された複数の解像度のタイル画像を用いて、表示画像の拡大／縮小処理や、上下左右方向の移動処理を行う技術が提案されている。この画像処理技術では、原画像サイズを複数段階に縮小して異なる解像度の画像を生成し、各階層の画像を一又は複数のタイル画像に分割して、原画像を階層構造で表現する。通常、最も解像度の低い画像は１つのタイル画像で構成され、最も解像度の高い原画像は、最も多い数のタイル画像で構成される。情報処理装置は、表示画像の拡大処理または縮小処理時に、使用しているタイル画像を、異なる階層のタイル画像に切り替えることで、拡大表示または縮小表示を迅速に行うようにしている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】米国特許第６５６３９９９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ユーザは、コンテンツの画像を拡大することで、コンテンツの細かな箇所を確認でき、コンテンツの画像を縮小することで、コンテンツ全体のバランスを見ることができる。そのため、コンテンツ画像を容易に拡大、縮小できるツールは、そのコンテンツを評価する上で、重要である。このとき、他人の評価も参考にしたいのが通常であり、他人の評価を参照できたり、また、自身の評価を他人に提供できるアプリケーションの開発が望まれている。
【０００６】
本発明はこのような課題に鑑みてなされたものであり、その目的は、コンテンツ画像の表示に際して、他のユーザからの入力を表示したり、また自身の入力を反映できるアプリケーションを提供することにある。
【課題を解決するための手段】
【０００７】
上記課題を解決するために、本発明のある態様の情報処理装置は、全体画像の全部または一部をディスプレイに表示する情報処理装置であって、表示画像の変更指示を受け付ける受付部と、変更指示にしたがって、表示する画像の縮尺率または縮尺率に関連する情報を特定し、全体画像の全部または一部である表示画像を生成する表示画像生成部と、表示画像に重ねて表示するための重畳データを取得する取得部と、重畳データから重畳画像を生成する重畳処理部と、を備える。重畳データは、縮尺率または縮尺率に関連する情報を含んでいる。重畳処理部は、表示画像生成部により生成される表示画像の縮尺率と、重畳データに含まれている縮尺率または縮尺率に関連する情報とが所定の関係にあるか判定する判定部と、重畳データをもとに表示画像上に表示する重畳画像を生成する重畳画像生成部と、を有する。
【０００８】
本発明の別の態様もまた、情報処理装置である。この装置は、全体画像の全部または一部をディスプレイに表示する情報処理装置であって、表示画像の変更指示を受け付ける第１受付部と、変更指示にしたがって、表示する画像の縮尺率または縮尺率に関連する情報を特定し、全体画像の全部または一部である表示画像を生成する表示画像生成部と、ユーザからの入力を受け付ける第２受付部と、第２受付部において受け付けた入力を処理する入力処理部と、を備える。入力処理部は、第２受付部が入力を受け付けた表示画像中の位置を特定する位置情報を取得する位置情報取得部と、位置情報取得部により取得された位置情報と、ユーザからの入力とを対応付ける対応付部と、を有し、位置情報は、第２受付部が入力を受け付けた表示画像の縮尺率または縮尺率に関連する情報を含む。
【０００９】
なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システム、コンピュータプログラムなどの間で変換したものもまた、本発明の態様として有効である。
【発明の効果】
【００１０】
本発明によると、コンテンツ画像の表示に際して、他のユーザからの入力を表示したり、また自身の入力を反映できるアプリケーションを提供できる。
【図面の簡単な説明】
【００１１】
【図１】本発明の実施例にかかる情報処理システムを示す図である。
【図２】入力装置の外観構成を示す図である。
【図３】情報処理システムにおいて使用する画像データの階層構造を示す図である。
【図４】縮尺率の関係を説明するための説明図である。
【図５】階層データにおける座標系を説明するための説明図である。
【図６】情報処理装置の機能ブロック図である。
【図７】情報処理装置における制御部の構成を示す図である。
【図８】コンテンツ閲覧アプリケーションのメニュー画面の一例を示す図である。
【図９】コンテンツ画像の表示処理開始時に出力装置に示される表示画像の一例を示す図である。
【図１０】蓄積サーバに蓄積されているコメントデータの一例を示す図である。
【図１１】重畳画像の表示制御の説明図である。
【図１２】アルファブレンドにおけるαを示す図である。
【図１３】アイコン画像の例を示す図である。
【図１４】初期画像を拡大処理した表示画像の一例を示す図である。
【図１５】コメント画像を含む表示画像の一例を示す図である。
【図１６】コメントをリスト形式で表示する例を示す図である。
【図１７】重畳画像の表示制御のフローチャートを示す図である。
【図１８】表示画像の一例を示す図である。
【図１９】表示画像上に生成されたコメントの書込領域を示す図である。
【図２０】ユーザがテキスト入力を行った状態を示す図である。
【図２１】対応付部で生成されるコメントデータの一例を示す図である。
【発明を実施するための形態】
【００１２】
図１は、本発明の実施例にかかる情報処理システム１を示す。情報処理システム１は、ネットワーク１８で通信可能に接続された情報処理装置１０、画像データ提供サーバ２および蓄積サーバ４を備える。ネットワーク１８は、たとえばＴＣＰ／ＩＰプロトコルを用いるインターネットであってよい。なお、図１には１つの情報処理装置１０を示しているが、複数の情報処理装置１０がネットワーク１８に接続されていてよい。
【００１３】
情報処理装置１０は出力装置１２を有する。出力装置１２は、画像を出力するディスプレイと音声を出力するスピーカを有するテレビであってよく、またコンピュータディスプレイであってもよい。出力装置１２は、情報処理装置１０に有線ケーブルで接続されてよく、また無線ＬＡＮ（Local Area Network）などにより無線接続されてもよい。入力装置２０は、ユーザにより操作されて、情報処理装置１０に対してユーザの操作情報を入力するための入力インタフェースである。
【００１４】
情報処理システム１において、情報処理装置１０は画像処理を実行する機能を有する。情報処理装置１０は、ユーザから入力装置２０に入力される操作情報に応じて、出力装置１２のディスプレイに表示する表示画像の拡大／縮小処理や、上下左右方向への移動処理など、表示画像を変更する処理を行う。
【００１５】
情報処理装置１０は、ＧＵＩアプリケーションやゲームアプリケーションを実行するゲーム装置であって、画像処理用のプログラムをロードすることで画像処理機能を実現してもよい。また情報処理装置１０は、様々なアプリケーションを実行可能なパーソナルコンピュータであってもよく、画像処理用のプログラムをロードすることで画像処理機能を実現してもよい。なお情報処理装置１０、入力装置２０および出力装置１２は、一体に形成されてもよく、たとえば画像処理機能を搭載した携帯端末装置として構成されてもよい。
【００１６】
画像データ提供サーバ２は、一つのコンテンツの全体画像を複数の解像度のタイル画像で表現する階層化された画像データを保持している。画像データ提供サーバ２は、複数のコンテンツの画像データを保持しており、各画像データは、コンテンツを特定する識別情報（以下、「コンテンツＩＤ」とよぶ）により区別される。画像データ提供サーバ２は、情報処理装置１０からの要求に応じて、情報処理装置１０において表示画像の生成に必要なタイル画像を情報処理装置１０に提供する。なお画像データ提供サーバ２は、階層化された画像データの全体を情報処理装置１０に提供してもよい。
【００１７】
情報処理装置１０は、ネットワーク１８に接続し、入力装置２０に入力される操作情報に応じて、画像データ提供サーバ２から表示画像の生成に必要なタイル画像を適宜ダウンロードして取得する。なお情報処理装置１０は、画像データ提供サーバ２から階層化された圧縮画像データの全体をダウンロードして取得してもよい。
【００１８】
蓄積サーバ４は、コンテンツ画像に対して、複数のユーザから入力されたコメントを蓄積している。蓄積サーバ４は、複数のコンテンツについてのコメントデータを保持しており、コメントデータは、コンテンツＩＤに紐付けられている。蓄積サーバ４は、情報処理装置１０からの要求に応じて、コメントデータを情報処理装置１０に提供する。なお、図１において、画像データ提供サーバ２と蓄積サーバ４とを別個のサーバとして示しているが、これらは同じサーバとして構成されてもよい。
【００１９】
情報処理システム１において、情報処理装置１０のユーザは、出力装置１２に表示されたコンテンツ画像上で、他のユーザにより入力されたコメントを参照でき、また、自身でコメントを付加することができる。他のユーザにより入力されたコメントは、蓄積サーバ４に蓄積され、情報処理装置１０が、あるコンテンツの画像データを画像データ提供サーバ２からダウンロードする際に、同じコンテンツＩＤに紐付けられたコメントデータを蓄積サーバ４からダウンロードすることで、他のユーザのコメントを表示できるようになる。
【００２０】
本実施例の情報処理装置１０は、ユーザからの指示に応じて、コンテンツ画像の拡大／縮小処理や、上下左右方向への移動処理を行い、コンテンツ画像の全体の全部または一部を表示する。本実施例において、コンテンツの全体画像は、たとえば１つの雑誌の見開き、すなわち雑誌を開いたときに向き合っている左右の２ページを表現する。ユーザが、入力装置２０を操作して、表示されている画像上でコメントを入力すると、情報処理装置１０は、入力されたコメントと、表示画像中の入力位置とを対応付ける。対応付けたコメントおよび入力位置情報（コメント設定位置情報）はコンテンツＩＤとともに蓄積サーバ４に送信され、蓄積される。
【００２１】
本実施例において、コンテンツ画像は、拡大／縮小処理がなされるため、コメント設定位置情報は、仮想３次元空間における３つのパラメータにて特定される。一例として、コメント設定位置情報は、ＸＹ平面上の一点を表現するＸ座標値、Ｙ座標値と、拡大／縮小の割合（以下、「縮尺率」、とよぶ）とで表現される。本実施例において、コメントを表示するための条件は、表示画像に、コメント設定位置情報のＸ座標値、Ｙ座標値が含まれていることと、表示画像の縮尺率が、コメント設定位置情報の縮尺率の近傍にあることに設定される。
【００２２】
情報処理装置１０は、画像データをダウンロードすると、最初に、コンテンツ画像の全体を出力装置１２に表示する。ユーザは、コンテンツの全体画像を見て、詳細を見たい領域を決めると、入力装置２０を操作して、その領域を拡大表示させる。このとき、その領域にコメントが付加されており、且つ表示画像の縮尺率がコメント設定位置情報の縮尺率の近傍に到達すると、情報処理装置１０が、表示画像上に、コメントを重畳表示する。これにより、ユーザは、他のユーザが付加したコメントを参照できる。なお、表示画像の縮尺率がコメント設定位置情報の縮尺率近傍に到達するまでの間、コメントが存在することをユーザに知らせる何らかのインジケータが表示されてもよい。
【００２３】
図２は、入力装置２０の外観構成を示す。入力装置２０は、ユーザが操作可能な操作手段として、十字キー２１、アナログスティック２７ａ、２７ｂと、４種の操作ボタン２６を備える。４種の操作ボタン２６は、○ボタン２２、×ボタン２３、□ボタン２４および△ボタン２５から構成される。
【００２４】
情報処理システム１において、入力装置２０の操作手段に、表示画像の拡大／縮小指示、および上下左右方向へのスクロール指示を入力するための機能が割り当てられる。たとえば、表示画像の拡大／縮小指示の入力機能は、右側のアナログスティック２７ｂに割り当てられる。ユーザはアナログスティック２７ｂを手前に引くことで、表示画像の縮小指示を入力でき、また手前から押すことで、表示画像の拡大指示を入力できる。表示画像のスクロール指示の入力機能は、アナログスティック２７ａに割り当てられる。ユーザはアナログスティック２７ａを前後左右に倒すことで、表示画像のスクロール指示を入力できる。本実施例において、表示画像の拡大指示や縮小指示、スクロール指示を、まとめて画像変更指示とよぶ。
【００２５】
入力装置２０は、入力された画像変更指示信号を情報処理装置１０に伝送する機能をもち、本実施例では情報処理装置１０との間で無線通信可能に構成される。入力装置２０と情報処理装置１０は、Bluetooth（ブルートゥース）（登録商標）プロトコルやIEEE802.11プロトコルなどを用いて無線接続を確立してもよい。なお入力装置２０は、情報処理装置１０とケーブルを介して接続して、画像変更指示信号を情報処理装置１０に伝送してもよい。
【００２６】
図３は、情報処理システム１において使用する画像データの階層構造を示す。この画像データは画像データ提供サーバ２において保持されており、画像データ提供サーバ２は、情報処理装置１０に対して、表示画像の生成に必要なタイル画像を適宜提供する。なお画像データ提供サーバ２は、情報処理装置１０に対して画像データの階層構造を示す構造データを通知し、情報処理装置１０は、このデータを用いて、入力装置２０の操作情報から、フレーム画像（表示画像）を特定する空間座標を導出してもよい。なお、この階層構造は、すべてのコンテンツにおいて共通化されており、したがって情報処理装置１０は、その共通化された構造データをもとに、以下に示すように空間座標を導出してもよい。
【００２７】
画像データは、深さ（Ｚ軸）方向に、第０階層３０、第１階層３２、第２階層３４および第３階層３６を含む階層構造を有し、以下、この階層構造をもつ画像データを「階層データ」とよぶ。なお第４階層以上の高階層があってもよく、また階層数は３つ以下であってもよいが、少なくとも２つの階層が存在している。図３に示す階層データ２８は４分木の階層構造を有し、各階層は、１以上のタイル画像３８で構成される。すべてのタイル画像３８は同じ画素数をもつ同一サイズに形成され、たとえば２５６×２５６画素を有する。各階層の画像データは、一つの全体画像を異なる解像度で表現しており、最高解像度をもつ第３階層３６の原画像を複数段階に縮小して、第２階層３４、第１階層３２、第０階層３０の画像データが生成される。たとえば第Ｎ階層の解像度（Ｎは０以上の整数）は、左右（Ｘ軸）方向、上下（Ｙ軸）方向ともに、第（Ｎ＋１）階層の解像度の１／２であってよい。
【００２８】
図３に示す階層データ構造において、深さ（Ｚ軸）方向における位置は、解像度を示し、第０階層３０に近い位置ほど解像度が低く、第３階層３６に近い位置ほど解像度は高い。ディスプレイに表示される画像の大きさに注目すると、深さ方向における位置は、縮尺率に対応し、第３階層３６の表示画像を基準として、その縮尺率を１とすると、第２階層３４における縮尺率は１／４、第１階層３２における縮尺率は１／１６となり、第０階層３０における縮尺率は１／６４となる。したがって深さ方向において、表示画像が第０階層３０側から第３階層３６側へ向かう方向に変化する場合、表示画像は拡大していき、第３階層３６側から第０階層３０側へ向かう方向に変化する場合は、表示画像は縮小していく。
【００２９】
画像データ提供サーバ２において、階層データ２８は、所定の圧縮形式で圧縮された状態で記憶装置に保持されている。階層データにおいて、圧縮処理は、タイル画像単位に行われていてもよく、また同一階層内または異なる階層間において複数のタイル画像単位に行われていてもよい。画像データ提供サーバ２は、複数のコンテンツの階層データ２８を保持している。複数の階層データ２８は、コンテンツＩＤで識別される。
【００３０】
階層データ２８の階層構造は、図３に示すように、左右方向をＸ軸、上下方向をＹ軸、深さ方向をＺ軸として設定され、仮想的な３次元空間を構築する。この階層構造において、Ｘ軸およびＹ軸は、原点を等しくする共通の座標系を定義する。情報処理装置１０は、入力装置２０から供給される画像変更指示から表示画像の変更量を導出し、導出した変更量を用いて、階層を特定する情報と、その階層におけるテクスチャ座標（ＵＶ座標）を導出する。この階層特定情報およびテクスチャ座標の組み合わせを、空間座標と呼ぶ。仮想空間における空間座標は、使用するタイル画像の特定処理、および表示画像の生成処理に利用される。なお情報処理装置１０は、表示画像の変更量を用いて仮想空間におけるフレーム画像の４隅の座標を導出してもよい。この４隅のフレーム座標も、空間座標と呼ぶ。また情報処理装置１０は、空間座標として、仮想空間におけるフレーム画像の中心座標（Ｘ，Ｙ）と縮尺率ＳＣＡＬＥを導出してもよい。情報処理装置１０は、入力装置２０から供給される画像変更指示信号から、適切な階層のタイル画像３８の使用領域を特定できればよく、いずれの手法を採用してもよい。
【００３１】
情報処理装置１０が画像データ提供サーバ２から表示画像の生成に必要なタイル画像を適宜ダウンロードして取得する場合、情報処理装置１０は、導出した空間座標を画像データ提供サーバ２に送信し、画像データ提供サーバ２は、空間座標より特定されるタイル画像を情報処理装置１０に提供する。なお画像データ提供サーバ２は、たとえば将来的に必要となるであろうタイル画像を予測により特定し、前もって情報処理装置１０に提供してもよい。なお、情報処理装置１０が、階層データの全体を画像データ提供サーバ２からダウンロードしている場合には、情報処理装置１０が、導出した空間座標から、タイル画像３８の使用領域を特定すればよい。
【００３２】
図４は、縮尺率の関係を説明するための説明図である。この階層データ構造において、各階層はＬ０（第０階層３０）、Ｌ１（第１階層３２）、Ｌ２（第２階層３４）、Ｌ３（第３階層３６）と表現されている。図４に示す階層データ構造において、深さ（Ｚ軸）方向における位置は、解像度を示し、Ｌ０に近い位置ほど解像度が低く、Ｌ３に近い位置ほど解像度は高い。ディスプレイに表示される画像の大きさに注目すると、深さ方向における位置は、縮尺率に対応し、Ｌ３の表示画像の縮尺率を１とすると、Ｌ２における縮尺率は１／４、Ｌ１における縮尺率は１／１６となり、Ｌ０における縮尺率は１／６４となる。
【００３３】
第１境界３１、第２境界３３、第３境界３５の縮尺率は、Ｌ３を基準として定義され、表示画像の生成に使用するタイル画像の階層を定めるための判定基準として利用される。第１境界３１の縮尺率は１／３２に設定され、表示画像の要求縮尺率が１／３２より小さければ、表示画像の生成にＬ０タイル画像が使用される。第２境界３３の縮尺率は１／８に設定され、表示画像の要求縮尺率が１／３２以上であり且つ１／８より小さければ、表示画像の生成にＬ１タイル画像が使用される。同様に第３境界３５の縮尺率は１／２に設定され、表示画像の要求縮尺率が１／８以上であり且つ１／２より小さければ、Ｌ２タイル画像が使用される。また表示画像の要求縮尺率が１／２以上であれば、Ｌ３タイル画像が使用される。したがって情報処理装置１０は、これから表示する画像の要求縮尺率が定まれば、その縮尺率に対応する解像度のタイル画像を画像データ提供サーバ２から取得して、その縮尺率に調整した表示画像を生成することができる。なお、縮尺率は、図３に示す仮想３次元空間において、深さ方向のＺ座標で表現されてもよく、この場合のＺ座標は、情報処理装置１０において、縮尺率に関連する情報として扱うことができる。なお、同様に、縮尺率は、仮想３次元空間において、解像度で表現されてもよく、この場合の解像度も、情報処理装置１０において、縮尺率に関連する情報として扱うことができる。
【００３４】
図５は、階層データにおける座標系を説明するための説明図である。既述したように、各階層の画像データは、Ｘ軸およびＹ軸の原点を等しくした共通の座標系で表現される。ＸＹ平面上の一点（ｘ，ｙ）に注目すると、階層データの仮想３次元空間において、空間座標は、（ｘ，ｙ，ＳＣＡＬＥ）で表現される。具体的に、第０階層３０上の点Ａの座標は（ｘ，ｙ，１／６４）、第１階層３２上の点Ｂの座標は（ｘ，ｙ，１／１６）、第２階層３４上の点Ｃの座標は（ｘ，ｙ，１／４）、第３階層３６の点Ｄの座標は（ｘ，ｙ，１）で、それぞれ表現される。
【００３５】
図６は、情報処理装置１０の機能ブロック図を示す。情報処理装置１０は、無線インタフェース４０、スイッチ４２、表示処理部４４、ハードディスクドライブ５０、記録媒体装着部５２、ディスクドライブ５４、メインメモリ６０、バッファメモリ７０および制御部１００を有して構成される。表示処理部４４は、フレームメモリを利用して、出力装置１２のディスプレイに表示するデータをバッファリングする。後述するが、表示処理部４４は、コンテンツ画像に、重畳画像を重ね合わせて表示する機能をもつ。
【００３６】
スイッチ４２は、イーサネットスイッチ（イーサネットは登録商標）であって、外部の機器と有線または無線で接続して、データの送受信を行うデバイスである。スイッチ４２は、外部のネットワーク１８に接続し、画像データ提供サーバ２からタイル画像データを受信し、蓄積サーバ４からコメントデータを受信する。またスイッチ４２は無線インタフェース４０に接続し、無線インタフェース４０は、所定の無線通信プロトコルで入力装置２０と接続する。入力装置２０においてユーザから入力された画像変更指示信号は、無線インタフェース４０、スイッチ４２を経由して、制御部１００に供給される。
【００３７】
ハードディスクドライブ５０は、データを記憶する補助記憶装置として機能する。スイッチ４２を介して受信された圧縮画像データは、メインメモリ６０に格納されるが、階層データの全体をダウンロードする際には、階層データがハードディスクドライブ５０に格納されてもよい。記録媒体装着部５２は、メモリカードなどのリムーバブル記録媒体が装着されると、リムーバブル記録媒体からデータを読み出す。ディスクドライブ５４は、読出専用のＲＯＭディスクが装着されると、ＲＯＭディスクを駆動して認識し、データを読み出す。ＲＯＭディスクは、光ディスクや光磁気ディスクなどであってよく、圧縮画像データが格納されていてもよい。なお圧縮画像データは、ハードディスクドライブ５０にプリインストールされていてもよい。また圧縮画像データは、リムーバブル記録媒体またはＲＯＭディスクに記録されていて、表示処理の実行時に、メインメモリ６０に読み出されてもよい。
【００３８】
制御部１００は、マルチコアＣＰＵを備え、１つのＣＰＵの中に１つの汎用的なプロセッサコアと、複数のシンプルなプロセッサコアを有する。汎用プロセッサコアはＰＰＵ（Power Processing Unit）と呼ばれ、残りのプロセッサコアはＳＰＵ（Synergistic-Processing Unit）と呼ばれる。
【００３９】
制御部１００は、メインメモリ６０およびバッファメモリ７０に接続するメモリコントローラを備える。ＰＰＵはレジスタを有し、演算実行主体としてメインプロセッサを備えて、実行するアプリケーションにおける基本処理単位としてのタスクを各ＳＰＵに効率的に割り当てる。なお、ＰＰＵ自身がタスクを実行してもよい。ＳＰＵはレジスタを有し、演算実行主体としてのサブプロセッサとローカルな記憶領域としてのローカルメモリを備える。ローカルメモリは、バッファメモリ７０として使用されてもよい。メインメモリ６０およびバッファメモリ７０は記憶装置であり、ＲＡＭ（ランダムアクセスメモリ）として構成される。ＳＰＵは制御ユニットとして専用のＤＭＡ（Direct Memory Access）コントローラをもち、メインメモリ６０とバッファメモリ７０の間のデータ転送を高速に行うことができ、またフレームメモリとバッファメモリ７０の間で高速なデータ転送を実現できる。本実施例の制御部１００は、複数のＳＰＵを並列動作させることで、高速な画像処理機能を実現する。表示処理部４４は、出力装置１２に接続されて、ユーザからの要求に応じた画像処理結果を出力する。
【００４０】
図７は、情報処理装置１０における制御部１００の構成を示す。制御部１００は、入力受付部１１０、送信部１３０、画像処理部１４０およびコメント処理部１８０を備える。入力受付部１１０は、入力装置２０から操作情報を受け付ける機能を有し、変更指示受付部１１２、コメント作成指示受付部１１４、文字入力受付部１１６、サムネイル選択指示受付部１１８および開始指示受付部１２０を有する。画像処理部１４０は、表示画像および重畳画像の生成処理、具体的には表示画像の拡大／縮小、スクロールなどの変更処理や、コメント画像およびアイコン画像の生成処理を実行する機能を有し、画像データ取得部１４２、デコード部１４４、変更量導出部１４６、表示画像生成部１５０、コメントデータ取得部１６０、重畳処理部１６２およびメニュー画像生成部１７４を有する。重畳処理部１６２は、表示条件判定部１６４および重畳画像生成部１６６を有し、重畳画像生成部１６６は、コメント画像生成部１６８およびアイコン生成部１７０を有する。コメント処理部１８０は、ユーザから入力されたコメントを処理する機能を有し、書込領域生成部１８２、位置情報取得部１８４および対応付部１８６を有する。
【００４１】
図７において、さまざまな処理を行う機能ブロックとして記載される各要素は、ハードウェア的には、ＣＰＵ（Central Processing Unit）、メモリ、その他のＬＳＩで構成することができ、ソフトウェア的には、メモリにロードされたプログラムなどによって実現される。既述したように、制御部１００は１つのＰＰＵと複数のＳＰＵとを有し、ＰＰＵおよびＳＰＵがそれぞれ単独または協同して、各機能ブロックを構成できる。したがって、これらの機能ブロックがハードウェアのみ、ソフトウェアのみ、またはそれらの組合せによっていろいろな形で実現できることは当業者には理解されるところであり、いずれかに限定されるものではない。
【００４２】
情報処理システム１において、情報処理装置１０は、コメントの書込および参照を可能とするコンテンツ閲覧アプリケーションを実行する。このアプリケーションでは、まず最初に、メニュー画面として、出力装置１２に、閲覧可能なコンテンツのサムネイル画像が表示される。このサムネイル画像は、静止画像であっても、動画像であってもよい。情報処理装置１０は、画像データ提供サーバ２から、閲覧可能なコンテンツのサムネイル画像を取得する。メニュー画面は、コンテンツのカテゴリ毎に生成されてよい。
【００４３】
図８は、コンテンツ閲覧アプリケーションのメニュー画面の一例を示す。出力装置１２のディスプレイにおいて、メニュー画面には、閲覧可能なコンテンツのカテゴリを選択するためのカテゴリ選択領域２００が設けられる。ユーザは入力装置２０を操作して、カテゴリ選択領域２００に含まれるカテゴリを選択できる。図８では、カテゴリ「ｃａｒ」が選択され、コンテンツ表示領域２０４ａ、２０４ｂ、２０４ｃに、カテゴリ「ｃａｒ」に関して閲覧可能なコンテンツのサムネイル画像が表示されている。ユーザは入力装置２０を操作して、選択枠２０６を動かすことでサムネイル画像を選択でき、選択枠２０６が配置されたサムネイル画像の拡大画像が選択コンテンツ表示領域２０２に表示される。
【００４４】
以上のメニュー画像は、メニュー画像生成部１７４により生成される。メニュー画像生成部１７４は、メニュー画像の生成に必要なメニューデータを、画像データ提供サーバ２から取得する。メニュー画像生成部１７４は、カテゴリ選択領域２００においてカテゴリが選択されると、メニューデータから、選択されたカテゴリに対応付けられたコンテンツＩＤを抽出する。送信部１３０は、抽出されたコンテンツＩＤをスイッチ４２経由で画像データ提供サーバ２に送信し、画像データ提供サーバ２は、コンテンツＩＤに対応付けられたサムネイル画像を情報処理装置１０に提供する。画像データ取得部１４２がサムネイル画像を受け取ると、メニュー画像生成部１７４は、サムネイル画像をコンテンツ表示領域２０４に貼り付ける。
【００４５】
サムネイル選択指示受付部１１８が、コンテンツ表示領域２０４に表示されたサムネイル画像の選択指示すなわち選択枠２０６の移動指示を受け付けると、メニュー画像生成部１７４は、選択枠２０６をコンテンツ表示領域２０４間で動かし、選択コンテンツ表示領域２０２に、選択されたサムネイル画像の拡大画像を表示する。なお、この拡大画像は、画像データ提供サーバ２から提供されてもよい。図８に示すメニュー画面において、ユーザが入力装置２０の○ボタン２２を押下すると、選択コンテンツ表示領域２０２に示されるコンテンツ画像の表示処理が開始される。
【００４６】
図９は、コンテンツ画像の表示処理開始時に出力装置１２に示される表示画像の一例を示す。図８に示すメニュー画面においてユーザが○ボタン２２を押下すると、開始指示受付部１２０が、その操作情報を、表示処理の開始指示として受け付け、画像データ取得部１４２が、画像データ提供サーバ２から、コンテンツ画像の初期画像データを取得する。画像データ提供サーバ２は、情報処理装置１０にて初期画像を生成するためのタイル画像を予め保持しており、画像データ取得部１４２が、送信部１３０から初期画像の取得要求をコンテンツＩＤとともに送信すると、画像データ提供サーバ２は、情報処理装置１０に、そのコンテンツＩＤで特定される初期画像を構成するタイル画像を送信する。
【００４７】
開始指示受付部１２０が表示処理の開始指示を受け付けると、コメントデータ取得部１６０が、蓄積サーバ４から、コメントデータを取得する。コメントデータ取得部１６０は、送信部１３０から、コメントデータの取得要求を、コンテンツＩＤとともに送信すると、蓄積サーバ４は、情報処理装置１０に、そのコンテンツＩＤで特定されるコメントデータを送信する。
【００４８】
図１０は、蓄積サーバ４に蓄積されているコメントデータの一例を示す。図１０においては、コメントデータがテーブル形式で示されているが、ＣＳＶ形式など、所定の形式で蓄積されていてよい。コメントデータは、出力装置１２に表示される画像に重ねて表示するための重畳データであり、識別情報（ＩＤ）、ユーザ名、作成日時、表示情報、設定位置情報、リンク情報の項目を含んで構成される。
【００４９】
ＩＤは、コメントデータを特定する情報であり、コメントの作成日時の古い方より１から順に割り当てられる。ユーザ名は、コメントを作成したユーザを特定する情報であり、表示情報は、ユーザにより入力された文字（コメント）を示す。なお、ここでは表示情報が、ユーザがテキスト入力したコメントである例を示すが、表示情報は、たとえば写真画像や、キャラクタ画像などであってもよい。設定位置情報は、階層データにより構成される仮想３次元空間において、コメントが入力された位置情報を特定する情報である。リンク情報は、コメント同士の間にリンクが張られているか否かを示す情報であり、リンクが張られている場合には、対応するコメントデータのＩＤが記述され、張られていなければ、ヌル値が記述される。
【００５０】
図７に戻って、開始指示受付部１２０が表示処理の開始指示を受け付けると、画像データ取得部１４２が、画像データ提供サーバ２から初期画像用のタイル画像を取得し、またコメントデータ取得部１６０が、蓄積サーバ４からコメントデータを取得する。タイル画像データおよびコメントデータは、メインメモリ６０に記憶される。なお、コメントデータの記憶形式は、テーブル形式であっても、ＣＳＶ形式であっても構わない。続いて表示画像生成部１５０は、取得したタイル画像を用いて、コンテンツ画像の初期画像を生成し、重畳処理部１６２は、取得したコメントデータを用いて、初期画像に重ねる重畳画像を生成する。コンテンツ画像の初期画像は、コンテンツ全体の画像であり、すなわち、本実施例では雑誌の見開き全体の画像である。重畳処理部１６２は、生成した重畳画像を表示処理部４４に供給する。表示処理部４４は、表示画像生成部１５０で生成された表示画像に、重畳処理部１６２で生成された重畳画像を重畳表示して、図９に示すフレーム画像を生成する。
【００５１】
図９において、複数のアイコン画像２２０、２２２、２２４、２２６と、コメント画像２２８とが表示されている。これらのアイコン画像およびコメント画像は、重畳処理部１６２で生成された重畳画像であり、表示処理部４４によりコンテンツ画像に合成されている。コメント画像２２８は、コメントデータに含まれる表示情報から生成され、図１０を参照すると、ＩＤ４のコメントデータの表示情報が表現されている。アイコン画像２２０、２２２、２２４、２２６は、表示情報（すなわち、コメント）の存在を知らせるためのマーク画像であり、アイコン画像が付加されている領域を拡大表示していけば、ユーザは、コメントを見ることができる。なお、アイコン画像２２０、２２２、２２４、２２６のそれぞれは、出力装置１２に表示されている画像の縮尺率と、コメントデータに含まれている縮尺率との関係に応じて、表示態様を決定されている。
【００５２】
以下、重畳処理部１６２の動作について説明する前に、表示画像生成部１５０による表示画像の生成処理について説明する。ユーザが入力装置２０のアナログスティック２７を操作すると、画像変更指示信号が情報処理装置１０に送信される。変更指示受付部１１２は、入力装置２０から、ディスプレイに表示されている表示画像の変更指示信号を受け付ける。
【００５３】
変更量導出部１４６は、変更指示信号をもとに、表示要求される表示画像の変更量を導出する。表示画像の変更量は、階層データの仮想３次元空間において、１フレームごとの表示画像の上下左右方向の移動量および深さ方向の移動量である。表示画像生成部１５０は、前回フレームの空間座標から、導出された変更量により移動する今回フレームの空間座標（位置情報）を決定する。ここで空間座標は、フレーム画像の中心座標（Ｘ，Ｙ）と縮尺率ＳＣＡＬＥで特定される位置情報（Ｘ，Ｙ，ＳＣＡＬＥ）である。変更量導出部１４６は、変更指示信号をもとに変更量（ΔＸ，ΔＹ，ΔＳＣＡＬＥ）を導出し、表示画像生成部１５０は、前回フレームの位置情報（Ｘprev，Ｙprev，ＳＣＡＬＥprev）に変更量（ΔＸ，ΔＹ，ΔＳＣＡＬＥ）を加えて、今回フレームの位置情報（Ｘ，Ｙ，ＳＣＡＬＥ）を決定する。このように、表示画像生成部１５０は、表示する画像の縮尺率ＳＣＡＬＥを特定するが、既述したように、解像度など、縮尺率に関連する情報を特定してもよい。
【００５４】
送信部１３０は、表示画像生成部１５０で決定された空間座標を、画像データ提供サーバ２に送信する。画像データ提供サーバ２は、空間座標を受け取ると、情報処理装置１０にて表示画像を生成するためにタイル画像を変更する必要があるか判定し、タイル画像を変更する必要がある場合には、そのタイル画像を情報処理装置１０に提供する。画像データ取得部１４２はタイル画像を取得すると、メインメモリ６０に保持させる。デコード部１４４は、メインメモリ６０から表示画像の生成に用いるタイル画像を読み出してデコードし、バッファメモリ７０に保持させる。表示画像生成部１５０は、位置情報にもとづいて、バッファメモリ７０に保持されたタイル画像を用いて表示画像（フレーム画像）を生成し、フレームメモリ９０に供給する。生成した表示画像は、コンテンツ画像の全体の全部または一部を表現し、ここで、全体画像の全部とは、図９に示した表示画像であり、全体画像の一部とは、図９に示した表示画像を拡大表示した画像である。
【００５５】
以上のように表示画像生成部１５０が表示画像を生成することで、情報処理装置１０は、表示画像の拡大、縮小処理、またスクロール処理を高速に実行し、スムーズな画像の変化をユーザに提供できる。
【００５６】
次に、重畳処理部１６２の動作について説明する。重畳処理部１６２は、コメントデータから、表示画像に重畳するための重畳画像を生成する。図９に示すように、重畳画像には、コメントを表示するコメント画像と、コメントの存在を知らせるためのアイコン画像とが存在する。
【００５７】
図１０において、設定位置情報は、コメントが入力された位置情報を示し、（ｘ，ｙ，ｓｃｌ）のパラメータを含んでいる。ｘは、コンテンツ画像におけるＸ座標、ｙは、コンテンツ画像におけるＹ座標、ｓｃｌは、コメント入力時点における表示画像の縮尺率を示す。なお、縮尺率の代わりに、解像度など、縮尺率に関連する情報が用いられてもよい。（ｘ，ｙ）は、全体画像における２次元座標を特定する情報である。本実施例の重畳画像の表示制御によると、初期画像を拡大表示して、表示画像の縮尺率が設定位置情報のｓｃｌに近づくと、初期画像において表示されるアイコン画像がコメント画像に切り替えられる。さらに表示画像が拡大表示されて、表示画像の縮尺率が設定位置情報のｓｃｌを超えると、次第にコメント表示が薄くされて、最後には表示画像から消えるように、重畳画像の表示制御が行われる。
【００５８】
図１１は、重畳画像の表示制御の説明図である。重畳画像を表示するための条件は２つある。第１条件は、設定位置情報における２次元座標（ｘ，ｙ）が表示画像に含まれていることであり、第２条件は、表示画像の縮尺率と、設定位置情報における縮尺率ｓｃｌとが所定の関係にあることである。図１１を用いて、第２条件について説明する。
【００５９】
設定位置情報により特定される縮尺率ｓｃｌを基準として、縮尺率１／２×ｓｃｌを下限値、縮尺率２×ｓｃｌを上限値とする範囲Ｒ１が、コメント表示領域に設定される。つまり、
１／２×ｓｃｌ ≦ 表示画像の縮尺率 ≦ ２×ｓｃｌ ・・（条件ａ）
の条件が満足されると、表示画像にコメント画像が重畳表示される。コメント表示領域を、範囲Ｒ１にわたって設定することで、表示画像の拡大／縮小の際に、ユーザがコメントを見落とさないようにできる。
【００６０】
また、縮尺率が下限値よりも小さい領域Ｒ２が、アイコン表示領域に設定される。つまり、
表示画像の縮尺率 ＜ １／２×ｓｃｌ ・・（条件ｂ）
の条件が満足されると、表示画像にアイコン画像が重畳表示される。これにより、表示画像を拡大する際に、ユーザは、注目している領域にコメントが付加されているか知ることができ、アイコン画像が、効果的なインジケータとしての役割を担うことができる。
【００６１】
また、縮尺率が上限値よりも大きい領域Ｒ３が、非表示領域に設定される。つまり、
２×ｓｃｌ ＜ 表示画像の縮尺率 ・・（条件ｃ）
の条件が満足されると、表示画像に、コメント画像およびアイコン画像ともに重畳表示されない。
【００６２】
範囲Ｒ１で特定されるコメント表示領域では、コンテンツの表示画像を背景とし、コメント画像を前景としたアルファブレンドが行われる。背景の画素値をＶａｌｕｅ０、前景の画素値をＶａｌｕｅ１と表現すると、
Ｖａｌｕｅ＝Ｖａｌｕｅ０×（１−α）＋Ｖａｌｕｅ１×α
とする演算により、画素値Ｖａｌｕｅが定められる。
【００６３】
図１２は、アルファブレンドにおけるαを示す。
１／２×ｓｃｌ ≦ 表示画像の縮尺率 ≦ ｓｃｌ・・（条件ｄ）
の条件が満足する場合には、α＝１に設定され、
ｓｃｌ ＜ 表示画像の縮尺率 ≦ ２×ｓｃｌ・・（条件ｅ）
の条件が満足する場合には、α＝１−（表示画像の縮尺率−ｓｃｌ）×（１／ｓｃｌ）に設定される。
【００６４】
図１１に戻って、領域Ｒ２で特定されるアイコン表示領域では、表示画像の縮尺率と、設定位置情報により特定される縮尺率ｓｃｌとの関係に応じて、アイコン画像の表示態様が決定される。具体的には、
１／１０×ｓｃｌ ≦ 表示画像の縮尺率 ＜ １／２×ｓｃｌ・・（条件ｆ）
の条件が満足する場合には、アイコン画像が青に配色され、
表示画像の縮尺率 ＜ １／１０×ｓｃｌ・・（条件ｇ）
の条件が満足する場合には、アイコン画像が赤に配色される。このように、コメントまでの距離に応じてアイコン画像の色を変化させることで、ユーザは、コメントに到達するまでの時間などを推測できる。
なお、表示態様の変化は、配色に限らず、たとえば大きさに変更が加えられてもよい。また、リンクが張られているコメントデータのアイコン画像は、異なる形状で表現されてもよい。
【００６５】
図１３は、アイコン画像の例を示す。図１３（ａ）は、青色のアイコン画像を示し、図１３（ｂ）は、赤色のアイコン画像を示す。図９において、アイコン画像２２２、２２４が青色であり、アイコン画像２２２は、ＩＤ１のコメントデータの存在を示し、アイコン画像２２４は、ＩＤ５のコメントデータの存在を示している。また、アイコン画像２２０は、赤色であり、ＩＤ７のコメントデータの存在を示している。
【００６６】
図１３（ｃ）は、複数のコメントが関連付けられていることを示すアイコン画像を示す。図９において、アイコン画像２２６は、ＩＤ２，ＩＤ３，ＩＤ６のコメントデータの存在を示している。
【００６７】
以上の制御条件の成立の可否は、基本的には表示条件判定部１６４により判定される。まず第１条件の判定処理について説明する。表示条件判定部１６４は、コメントデータに含まれる２次元座標（ｘ，ｙ）が表示画像に含まれるか判定する。表示画像生成部１５０がテクスチャ座標を導出する場合には、表示条件判定部１６４は、そのテクスチャ座標に設定位置情報の２次元座標が含まれているか否かを判定する。いずれにしても表示画像生成部１５０は、フレーム画像の４隅の座標を特定しているため、表示条件判定部１６４は、すべてのコメントデータに含まれる設定位置情報を参照して、該当するコメントデータを抽出する。図９に示すように、表示画像が全体画像である場合には、すべてのコメントデータの２次元座標が表示画像に含まれるため、表示条件判定部１６４は、すべてのコメントデータが第１条件を満足したことを判定する。
【００６８】
次に、第２条件の判定処理について説明する。表示条件判定部１６４は、表示画像生成部１５０により生成される表示画像の縮尺率と、第１条件を満たしたコメントデータに含まれている縮尺率または縮尺率に関連する情報とが所定の関係にあるか判定する。所定の関係とは、コメント画像の生成に関して言えば、上記した（条件ａ）を満たす関係であり、つまり、設定位置情報の縮尺率ｓｃｌを基準として設定される下限および上限で特定される範囲内に、表示画像の縮尺率が含まれるか否かを判定する。表示条件判定部１６４は、表示画像生成部１５０から表示画像の縮尺率ＳＣＡＬＥを取得し、設定位置情報の縮尺率ｓｃｌから上限および下限を演算により求めることで、縮尺率ＳＣＡＬＥがコメント表示領域に入っているか否かを確認する。
【００６９】
たとえば、図９に示す全体画像の縮尺率ＳＣＡＬＥが１／６４（＝０．０１５６２５）であるとすると、ＩＤ４のコメントデータのみが条件ａを満たし、他のコメントデータは条件ａを満たさない。次に、表示条件判定部１６４は、第１条件を満たしたコメントデータが、他の条件ｂ、条件ｃを満たすか判定する。図９に示す全体画像が表示されている場合において、ＩＤ１〜３、５〜７のコメントデータは、条件ｂを満たしている。表示条件判定部１６４は、さらに条件ｂを満たしたコメントデータが、条件ｆ、条件ｇのいずれを満たすか判定する。このとき、ＩＤ１、ＩＤ５のコメントデータが条件ｆを満たし、ＩＤ７のコメントデータが条件ｇを満たしている。なお、互いにリンクが張られている複数のコメントデータ（ＩＤ２，ＩＤ３，ＩＤ６）については、条件ｆ、条件ｇについての判定を行わなくてよい。表示条件判定部１６４は、この判定結果を重畳画像生成部１６６に提供する。
【００７０】
重畳画像生成部１６６は、コメントデータをもとに、表示画像上に表示する重畳画像を生成する。表示条件判定部１６４により、ＩＤ４のコメントデータが条件ａを満たしていることを示す判定結果を提供されると、コメント画像生成部１６８は、ＩＤ４のコメントデータに含まれている表示情報を用いて、コメント画像を生成する。図９において、コメント画像２２８は、ＩＤ４のコメントデータ（図１０参照）をもとに生成されている。コメント画像２２８には、コメントデータに含まれるユーザ名と、表示情報とが含まれる。これにより、ユーザ名とともに、コメントの内容を閲覧することが可能となる。なお、コメント画像２２８には、作成日時が含まれてもよい。
【００７１】
表示条件判定部１６４により、ＩＤ１〜３、５〜７のコメントデータが条件ｂを満たしていることを示す判定結果を提供されると、アイコン生成部１７０は、表示情報の存在を知らせるためのマーク画像（アイコン画像）を生成する。このときアイコン生成部１７０は、表示画像の縮尺率ＳＣＡＬＥと、コメントデータに含まれている縮尺率ｓｃｌとの関係に応じて、アイコン画像の表示態様を決定する。具体的にアイコン生成部１７０は、条件ｆを満たしたＩＤ１、ＩＤ５のコメントデータのアイコン画像を青に色づけし、また条件ｇを満たしたＩＤ７のコメントデータのアイコン画像を赤に色づけする。表示画像の拡大処理中、青色のアイコン画像は、コメント画像がもうすぐ表示されることを示し、赤色のアイコン画像は、コメント画像にはまだまだ到達しないことを示す。赤色のアイコン画像が表示されている場合、表示画像を拡大していくと、アイコン画像が青色に変化し、また拡大処理を続けると、コメント画像の表示が開始されるようになる。
【００７２】
図９に示す全体画像は初期画像であるため、条件ｃを満たすコメントデータは存在しないが、コメント画像が表示された後も、拡大処理を続ける場合には、条件ｃが満たされて、重畳画像生成部１６６は、重畳画像の生成を行わなくなる。
【００７３】
表示画像の縮尺率がコメント表示範囲に含まれ、コメント画像生成部１６８がコメント画像を生成すると、表示処理部４４が、表示画像生成部１５０で生成された表示画像と、コメント画像とをアルファブレンドする。このとき、表示処理部４４は、図１２に示す関係にしたがってαを求めて、表示画像とコメント画像とを合成する。表示処理部４４は、下限（１／２×ｓｃｌ）から所定値の間は、係数αを１に設定し、所定値から上限（２×ｓｃｌ）までの間は、係数αを１から０の間で設定する。これにより、表示画像の拡大処理中、縮尺率が所定値を超えると、コメントが徐々に消えていく演出を実現できる。図１２に示す例では、所定値がｓｃｌに設定されているが、ｓｃｌよりも大きい縮尺率に設定されていてもよい。
【００７４】
図１４は、初期画像を拡大処理した表示画像の一例を示す。図１４に示す表示画像は、初期画像を下方向に移動しつつ、拡大することで生成される。このときの表示画像の縮尺率ＳＣＡＬＥが０．０６であるとする。また、表示条件判定部１６４が、ＩＤ１〜ＩＤ３、ＩＤ５、ＩＤ６のコメントデータの２次元座標が表示画像に含まれていることを判定したとする（第１条件成立）。
【００７５】
続いて表示条件判定部１６４は、第２条件の成立について検証する。ＩＤ１，ＩＤ２，ＩＤ５の設定位置情報の縮尺率は、それぞれ０．０６、０．０６２５、０．０５であり、縮尺率ＳＣＡＬＥが０．０６であることから、ＩＤ１，ＩＤ２，ＩＤ５のコメントデータが条件ａを満たしていることを判定する。また、ＩＤ３，ＩＤ６の設定位置情報の縮尺率は、それぞれ０．２５、０．２５であり、ＩＤ３，ＩＤ６のコメントデータが条件ｂを満たしていることを判定する。表示条件判定部１６４は、この判定結果を重畳画像生成部１６６に提供する。
【００７６】
重畳画像生成部１６６は、コメントデータをもとに、表示画像上に表示する重畳画像を生成する。表示条件判定部１６４により、ＩＤ１，ＩＤ２，ＩＤ５のコメントデータが条件ａを満たしていることを示す判定結果を提供されると、コメント画像生成部１６８は、ＩＤ１，ＩＤ２，ＩＤ５のコメントデータに含まれている表示情報を用いて、コメント画像を生成する。図１４において、コメント画像２３０、２３２、２３４は、それぞれＩＤ１，ＩＤ２，ＩＤ５のコメントデータをもとに生成されている。コメント画像２３０、２３２、２３４には、コメントデータに含まれるユーザ名と、表示情報とが含まれる。これにより、ユーザ名とともに、コメントの内容を閲覧することが可能となる。
【００７７】
コメント画像生成部１６８がコメント画像を生成すると、表示処理部４４が、表示画像生成部１５０で生成された表示画像と、コメント画像とをアルファブレンドする。表示処理部４４は、図１２に示す関係にしたがってαを求めて、表示画像とコメント画像とを合成する。設定位置情報の縮尺率ｓｃｌとしたとき、表示処理部４４は、縮尺率ＳＣＡＬＥが下限（１／２×ｓｃｌ）から所定値ｓｃｌの間は、係数αを１に設定し、所定値ｓｃｌから上限（２×ｓｃｌ）までの間は、係数αを１から０の間で設定する。したがって、ＩＤ１，ＩＤ２のコメント画像２３０、２３２は、係数α＝１でアルファブレンドされ、一方、ＩＤ５のコメント画像２３４は、係数α＝０．８でアルファブレンドされる。したがって、コメント画像２３４は、若干薄くなった状態で表示されることになる。
【００７８】
ＩＤ２のコメントデータから生成されるコメント画像２３２には、リンクが張られており、他のコメントデータが関連付けられている。図１０を参照して、ＩＤ２のコメントデータは、ユーザｂｂｂにより生成されているが、このコメントデータに対して、ユーザｂｂｂにより生成されたＩＤ３のコメントデータと、ユーザａａａにより生成されたＩＤ６のコメントデータが関連付けられている。したがって、アイコン生成部１７０は、対応付けられたコメントの存在を示すためのインジケータ２３６を生成して、コメント画像２３２の近傍に配置する。インジケータ２３６は、ユーザにより選択されると、リンクを張られたコメント画像にジャンプさせる機能をもつ。なお、右向きのインジケータ２３６は、表示されているコメントよりも新しいコメントが存在していることを示す。
【００７９】
重畳処理部１６２は、インジケータ２３６が選択されると、メインメモリ６０に保持されたコメントデータを参照して、指定されたインジケータ２３６のリンク情報を抽出する。ＩＤ２のコメント画像２３２の近傍に表示されたインジケータ２３６が選択された場合、重畳処理部１６２は、ＩＤ２のコメントデータのリンク情報を抽出する。このリンク情報は、ＩＤ３，ＩＤ６のコメントデータを指定しており（図１０参照）、重畳処理部１６２は、２つのコメントデータのうち、たとえば作成日時の古いＩＤ３のコメントデータを選択する。重畳処理部１６２は、ＩＤ３のコメントデータの設定位置情報を表示画像生成部１５０に提供して、表示画像生成部１５０に表示画像を生成させるとともに、コメント画像生成部１６８が、ＩＤ３のコメント画像を生成する。これにより、ＩＤ３のコメント画像が表示される。
【００８０】
図１５は、ＩＤ３のコメント画像を含む表示画像の一例を示す。図１０を参照して、ＩＤ３とＩＤ６のコメントデータの設定位置情報は同じであるため、ＩＤ３のコメント画像が表示されるときには、必ずＩＤ６のコメント画像も表示される。これは、後述するが、ユーザａａａが、ユーザｂｂｂのコメントに応答する形式でコメントを付加したためであり、そのために、ユーザａａａのコメントデータ（ＩＤ６）の設定位置情報が、ユーザｂｂｂのコメントデータ（ＩＤ３）の設定位置情報と同じになっている。このような場合、コメント画像生成部１６８は、１つの表示領域に、２つのコメントを並べたコメント画像を生成する。なお、ＩＤ３とＩＤ６のコメントデータには、ＩＤ２のコメントデータが対応付けられているため、アイコン生成部１７０は、インジケータ２４２を生成して、コメント画像２４０の近傍に配置する。なお、左向きのインジケータ２４２は、表示されているコメントよりも古いコメントが存在していることを示す。
【００８１】
コメント画像２４０では、２つのコメントを並べて表示したが、コメント画像生成部１６８は、別個のコメント画像を生成してもよい。なお、１つの表示領域に複数のコメントを含めることで、コメント同士に何らかの繋がりがあることを、ユーザに認識させることができるため、別個にコメント画像を生成するよりも、効果的である。
【００８２】
図１６は、コメントをリスト形式で表示する例を示す。コメント画像生成部１６８は、作成日時の古い順に上からコメントを並べたコメント画像２４６を生成する。この場合、ユーザがコメントを選択すると、その設定位置情報をもとに、コメントが付加されたときの表示画像にジャンプできる仕組みを用意しておくことが好ましい。ジャンプする仕組みは、上記したとおりである。
【００８３】
図１７は、重畳画像の表示制御のフローチャートを示す。図１７に示すフローチャートにおいては、各部の処理手順を、ステップを意味するＳ（Ｓｔｅｐの頭文字）と数字との組み合わせによって表示する。また、Ｓと数字との組み合わせによって表示した処理で何らかの判断処理が実行され、その判断結果が肯定的であった場合は、Ｙ（Ｙｅｓの頭文字）を付加して、例えば、（Ｓ１０のＹ）と表示し、逆にその判断結果が否定的であった場合は、Ｎ（Ｎｏの頭文字）を付加して、（Ｓ１０のＮ）と表示する。このフローは、各コメントデータに対して、表示画像の変更処理が行われるたびに実行される。
【００８４】
表示条件判定部１６４が、コメントデータの２次元座標が表示画像に含まれるか判定する（Ｓ１０）。表示画像に含まれていない場合には（Ｓ１０のＮ）、そのコメントデータの表示制御は終了する。表示画像に含まれている場合（Ｓ１０のＹ）、表示条件判定部１６４が、表示画像の縮尺率が、コメントデータの縮尺率を基準として設定される下限および上限で特定される範囲内に含まれているか判定する（Ｓ１２）。
【００８５】
表示画像の縮尺率がコメント表示範囲内に含まれている場合（Ｓ１２のＹ）、その表示画像の縮尺率が、下限から所定値の間にあるか判定する（Ｓ１４）。下限から所定値の間にある場合（Ｓ１４のＹ）、表示処理部４４は、αを１に設定し（Ｓ１６）、コメント画像を表示画像に重畳する（Ｓ２０）。一方、表示画像の縮尺率が所定値から上限の間にある場合（Ｓ１４のＮ）、表示処理部４４は、αを１から０の間で設定し（Ｓ１８）、コメント画像と表示画像をアルファブレンドする（Ｓ２０）。
【００８６】
表示画像の縮尺率がコメント表示範囲内に含まれていない場合（Ｓ１２のＮ）、表示条件判定部１６４は、表示画像の縮尺率が、コメント表示範囲の下限よりも小さいか判定する（Ｓ２２）。下限よりも小さい場合（Ｓ２２のＹ）、表示条件判定部１６４は、その表示画像の縮尺率が、所定値以上であるか判定する（Ｓ２４）。所定値以上である場合（Ｓ２４のＹ）、表示処理部４４は、青色アイコン画像を表示画像に重畳する（Ｓ２６）。一方、所定値よりも小さい場合（Ｓ２４のＮ）、表示処理部４４は、赤色アイコン画像を表示画像に重畳する（Ｓ２８）。なお、表示画像の縮尺率が上限よりも大きい場合には（Ｓ２２のＮ）、重畳画像生成部１６６は、重畳画像を生成せず、このコメントデータの表示制御は終了する。なお、図１７にもとづいて重畳画像の表示制御のフローを説明したが、各条件の判定順序は、図１７に示した順序に限定されるものではない。
【００８７】
以上は、蓄積サーバ４から取得したコメントデータの表示制御についての説明であるが、以下に、コメントデータの作成について説明する。出力装置１２にフレーム画像が表示されている状態で、コメント作成指示受付部１１４が、ユーザからコメントの作成指示を受け付ける。図１８は、表示画像の一例を示す。
【００８８】
図１８に示す表示画面において、ユーザが入力装置２０の×ボタン２３を押下すると、コメント作成指示受付部１１４が、コメント作成指示を受け付ける。コメント作成指示はコメント処理部１８０に伝達され、書込領域生成部１８２が、コメントの書込領域を生成する。
【００８９】
図１９は、表示画像上に生成されたコメントの書込領域２５０を示す。書込領域２５０は、たとえば表示画像の中央に作成される。なお、ユーザが表示画像上でカーソルを動かせる場合には、コメントを書き込みたい位置にカーソルを動かし、その後、×ボタン２３を押下することで、書込領域２５０をカーソル位置に配置できる。また、ユーザが、表示画像中央に配置された書込領域２５０を、所望の位置に動かせてもよい。
【００９０】
書込領域生成部１８２は、ソフトウェアキーボードを表示画像上に生成して、ユーザがテキスト入力できる環境を作成する。ユーザは入力装置２０を操作して、ソフトウェアキーボードのキーをクリックし、テキスト入力を行う。なお、図２に示した入力装置２０とは別に、文字キーを入力可能なデバイスを情報処理装置１０に接続してもよい。
【００９１】
図２０は、ユーザがテキスト入力を行った状態を示す。文字入力受付部１１６は、ユーザからの入力を受け付け、書込領域２５０に表示する。また、文字入力受付部１１６は、受け付けた入力をコメント処理部１８０に供給する。コメント処理部１８０は、文字入力受付部１１６において受け付けた入力を処理する。具体的に、コメント処理部１８０は、蓄積サーバ４に送信するコメントデータの作成処理を行う。
【００９２】
位置情報取得部１８４は、文字入力受付部１１６が入力を受け付けた表示画像中の位置を特定する位置情報を取得する。位置情報は、（ｘ，ｙ，ｓｃｌ）のパラメータを含んで構成され、ｘは、コンテンツ画像におけるＸ座標、ｙは、コンテンツ画像におけるＹ座標、ｓｃｌは、コメント入力時点における表示画像の縮尺率である。これらの位置情報は、表示画像生成部１５０から取得する。対応付部１８６は、取得された位置情報と、ユーザからの入力とを対応付け、コメントデータを生成する。
【００９３】
図２１は、対応付部１８６で生成されるコメントデータの一例を示す。図２１に示すコメントデータは、情報処理装置１０から蓄積サーバ４に送信されるデータであり、ユーザ名、作成日時、入力情報、位置情報の項目を含んで構成される。
【００９４】
ユーザ名は、コメントを作成したユーザを特定する情報であり、作成日時は、コメントを作成した日時を特定する情報であり、入力情報は、ユーザにより入力された文字（コメント）を示す。なお、ここでは入力情報が、ユーザがテキスト入力したコメントである例を示すが、入力情報は、たとえば写真画像や、キャラクタ画像などであってもよい。位置情報は、階層データにより構成される仮想３次元空間において、コメントが入力された位置情報を特定する情報である。送信部１３０は、生成されたコメントデータを、コンテンツＩＤとともに蓄積サーバ４に送信する。
【００９５】
図１０に示すコメントデータと比較すると、図２１に示す入力情報は、図１０に示す表示情報に相当し、図２１に示す位置情報は、図１０に示す設定位置情報に相当する。蓄積サーバ４は、図１０に示すコメントデータを受信すると、作成日時にしたがってＩＤを割り当てる。
【００９６】
なお、図２０に示す例では、他のユーザからのコメントが表示されていない状態で、書込領域２５０にテキストが入力された例を示しているが、ユーザは、図１５に示す表示画像上で、コメントを入力することも可能である。
【００９７】
図１５に示す表示画像では、コメント画像２４０が表示画像上に重畳されている。ユーザが入力装置２０を操作して、コメント画像２４０を選択し、×ボタン２３を押下すると、書込領域生成部１８２が、書込領域２５０をコメント画像２４０上に生成する。このとき書込領域生成部１８２は、入力されるコメントを、コメント画像２４０に関連付けることを判定し、対応付部１８６に通知する。これを受けて、対応付部１８６は、リンク情報を付加して、コメントデータを生成する。これにより、蓄積サーバ４は、受信したコメントデータが他のコメントデータに関連付けられていることを認識でき、図１０に示すコメントデータを生成できる。
【００９８】
なお、蓄積サーバ４は、図２１に示す位置情報を参照して、リンク情報を設定してもよい。図２１に示す位置情報は、図１０に示すＩＤ３、ＩＤ６の設定位置情報と同一であり、このような場合には、図２１に示すコメントデータが、ＩＤ３、ＩＤ６のコメントデータに関連付けられていることを判定する。これにより、蓄積サーバ４は、受信したコメントデータが、他のコメントデータに関連付けられていることを認識できる。
【００９９】
なお、図１０に示すコメントデータにおいて、同一のユーザｂｂｂにより生成されたＩＤ２、ＩＤ３のコメントデータの間で、リンクが張られている。これは、ユーザｂｂｂがコメントを書き込む際に、既に書き込んだコメントと明示的に関連付ける操作を行うことで、これらのコメントデータを関連付けることができる。たとえば、ユーザｂｂｂは、コメントを書き込んだ後に、△ボタン２５を押下すると、対応付部１８６が、過去に書き込んだコメントとの関連づけを行う。過去に書き込んだコメントが複数ある場合には、対応付部１８６がそのリストを表示し、ユーザｂｂｂがいずれかを選択することで、選択されたコメントとの関連づけを行うことが可能となる。
【０１００】
以上、本発明を実施例をもとに説明した。上記実施例は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。実施例では、表示画像の生成に階層データを用いたが、たとえば１枚の高解像度のコンテンツ画像データを用いて、表示画像を生成してもよい。
【０１０１】
実施例において、コメントデータと階層データとは別個のものであるとして説明したが、たとえばコメントデータは作成されると、階層データに組み込まれてもよい。これによりファイルの管理が容易になる利点がある。
【符号の説明】
【０１０２】
１・・・情報処理システム、２・・・画像データ提供サーバ、４・・・蓄積サーバ、１０・・・情報処理装置、２８・・・階層データ、３０・・・第０階層、３２・・・第１階層、３４・・・第２階層、３６・・・第３階層、３８・・・タイル画像、４４・・・表示処理部、１００・・・制御部、１１０・・・入力受付部、１１２・・・変更指示受付部、１１４・・・コメント作成指示受付部、１１６・・・文字入力受付部、１１８・・・サムネイル選択指示受付部、１２０・・・開始指示受付部、１３０・・・送信部、１４０・・・画像処理部、１４２・・・画像データ取得部、１４４・・・デコード部、１４６・・・変更量導出部、１５０・・・表示画像生成部、１６０・・・コメントデータ取得部、１６２・・・重畳処理部、１６４・・・表示条件判定部、１６６・・・重畳画像生成部、１６８・・・コメント画像生成部、１７０・・・アイコン生成部、１７４・・・メニュー画像生成部、１８０・・・コメント処理部、１８２・・・書込領域生成部、１８４・・・位置情報取得部、１８６・・・対応付部。
【特許請求の範囲】
【請求項１】
全体画像の全部または一部をディスプレイに表示する情報処理装置であって、
表示画像の変更指示を受け付ける受付部と、
変更指示にしたがって、表示する画像の縮尺率または縮尺率に関連する情報を特定し、全体画像の全部または一部である表示画像を生成する表示画像生成部と、
表示画像に重ねて表示するための重畳データを取得する取得部と、
重畳データから重畳画像を生成する重畳処理部と、を備え、重畳データは、縮尺率または縮尺率に関連する情報を含んでおり、
前記重畳処理部は、
前記表示画像生成部により生成される表示画像の縮尺率と、重畳データに含まれている縮尺率または縮尺率に関連する情報とが所定の関係にあるか判定する判定部と、
重畳データをもとに表示画像上に表示する重畳画像を生成する重畳画像生成部と、
を有することを特徴とする情報処理装置。
【請求項２】
重畳データは、全体画像における２次元座標を含んでおり、
前記判定部は、重畳データに含まれている２次元座標が表示画像に含まれるか判定することを特徴とする請求項１に記載の情報処理装置。
【請求項３】
重畳データは、表示情報を含んでおり、
前記判定部により、所定の関係にあることが判定されると、前記重畳画像生成部は、重畳データに含まれている表示情報を用いて重畳画像を生成することを特徴とする請求項１または２に記載の情報処理装置。
【請求項４】
前記判定部は、重畳データに含まれている縮尺率または縮尺率に関連する情報を基準として設定される下限および上限で特定される範囲内に、表示画像の縮尺率が含まれるか否かを判定することを特徴とする請求項１から３のいずれかに記載の情報処理装置。
【請求項５】
表示画像の縮尺率が前記範囲内に含まれる場合に、表示画像と重畳画像とをアルファブレンドする表示処理部をさらに備えることを特徴とする請求項４に記載の情報処理装置。
【請求項６】
前記表示処理部は、下限から所定値の間は、係数αを１に設定し、所定値から上限までの間は、係数αを１から０の間で設定することを特徴とする請求項５に記載の情報処理装置。
【請求項７】
前記判定部が、表示画像の縮尺率が下限よりも小さいことを判定すると、前記重畳画像生成部は、表示情報の存在を知らせるためのマーク画像を生成することを特徴とする請求項４から６のいずれかに記載の情報処理装置。
【請求項８】
前記重畳画像生成部は、表示画像の縮尺率と、重畳データに含まれている縮尺率または縮尺率に関連する情報との関係に応じて、マーク画像の表示態様を決定することを特徴とする請求項７に記載の情報処理装置。
【請求項９】
前記判定部が、表示画像の縮尺率が上限よりも大きいことを判定すると、前記重畳画像生成部は、重畳画像の生成を行わないことを特徴とする請求項４から８のいずれかに記載の情報処理装置。
【請求項１０】
全体画像の全部または一部をディスプレイに表示する情報処理装置であって、
表示画像の変更指示を受け付ける第１受付部と、
変更指示にしたがって、表示する画像の縮尺率または縮尺率に関連する情報を特定し、全体画像の全部または一部である表示画像を生成する表示画像生成部と、
ユーザからの入力を受け付ける第２受付部と、
前記第２受付部において受け付けた入力を処理する入力処理部と、を備え、
前記入力処理部は、
前記第２受付部が入力を受け付けた表示画像中の位置を特定する位置情報を取得する位置情報取得部と、
前記位置情報取得部により取得された位置情報と、ユーザからの入力とを対応付ける対応付部と、を有し、前記位置情報は、前記第２受付部が入力を受け付けた表示画像の縮尺率または縮尺率に関連する情報を含むことを特徴とする情報処理装置。
【請求項１１】
前記変更指示は、表示画像の拡大、縮小または移動を指示するものであることを特徴とする請求項１０に記載の情報処理装置。
【請求項１２】
前記第２受付部は、ユーザから、テキスト入力を受け付けることを特徴とする請求項１０または１１に記載の情報処理装置。
【請求項１３】
コンピュータに、画像の少なくとも一部をディスプレイに表示する機能を実現させるコンピュータプログラムであって、
表示画像の変更指示を受け付ける機能と、
変更指示にしたがって、表示する画像の縮尺率または縮尺率に関連する情報を特定し、全体画像の全部または一部である表示画像を生成する機能と、
縮尺率または縮尺率に関連する情報を含み、表示画像に重ねて表示するための重畳データを取得する機能と、
表示画像の縮尺率と、重畳データに含まれている縮尺率または縮尺率に関連する情報とが所定の関係にあるか判定する機能と、
重畳データをもとに表示画像上に表示する重畳画像を生成する機能と、
をコンピュータに実現させることを特徴とするコンピュータプログラム。
【請求項１４】
請求項１３に記載のコンピュータプログラムを記録したコンピュータ読み取り可能な記録媒体。
【請求項１】
全体画像の全部または一部をディスプレイに表示する情報処理装置であって、
表示画像の変更指示を受け付ける受付部と、
変更指示にしたがって、表示する画像の縮尺率または縮尺率に関連する情報を特定し、全体画像の全部または一部である表示画像を生成する表示画像生成部と、
表示画像に重ねて表示するための重畳データを取得する取得部と、
重畳データから重畳画像を生成する重畳処理部と、を備え、重畳データは、縮尺率または縮尺率に関連する情報を含んでおり、
前記重畳処理部は、
前記表示画像生成部により生成される表示画像の縮尺率と、重畳データに含まれている縮尺率または縮尺率に関連する情報とが所定の関係にあるか判定する判定部と、
重畳データをもとに表示画像上に表示する重畳画像を生成する重畳画像生成部と、
を有することを特徴とする情報処理装置。
【請求項２】
重畳データは、全体画像における２次元座標を含んでおり、
前記判定部は、重畳データに含まれている２次元座標が表示画像に含まれるか判定することを特徴とする請求項１に記載の情報処理装置。
【請求項３】
重畳データは、表示情報を含んでおり、
前記判定部により、所定の関係にあることが判定されると、前記重畳画像生成部は、重畳データに含まれている表示情報を用いて重畳画像を生成することを特徴とする請求項１または２に記載の情報処理装置。
【請求項４】
前記判定部は、重畳データに含まれている縮尺率または縮尺率に関連する情報を基準として設定される下限および上限で特定される範囲内に、表示画像の縮尺率が含まれるか否かを判定することを特徴とする請求項１から３のいずれかに記載の情報処理装置。
【請求項５】
表示画像の縮尺率が前記範囲内に含まれる場合に、表示画像と重畳画像とをアルファブレンドする表示処理部をさらに備えることを特徴とする請求項４に記載の情報処理装置。
【請求項６】
前記表示処理部は、下限から所定値の間は、係数αを１に設定し、所定値から上限までの間は、係数αを１から０の間で設定することを特徴とする請求項５に記載の情報処理装置。
【請求項７】
前記判定部が、表示画像の縮尺率が下限よりも小さいことを判定すると、前記重畳画像生成部は、表示情報の存在を知らせるためのマーク画像を生成することを特徴とする請求項４から６のいずれかに記載の情報処理装置。
【請求項８】
前記重畳画像生成部は、表示画像の縮尺率と、重畳データに含まれている縮尺率または縮尺率に関連する情報との関係に応じて、マーク画像の表示態様を決定することを特徴とする請求項７に記載の情報処理装置。
【請求項９】
前記判定部が、表示画像の縮尺率が上限よりも大きいことを判定すると、前記重畳画像生成部は、重畳画像の生成を行わないことを特徴とする請求項４から８のいずれかに記載の情報処理装置。
【請求項１０】
全体画像の全部または一部をディスプレイに表示する情報処理装置であって、
表示画像の変更指示を受け付ける第１受付部と、
変更指示にしたがって、表示する画像の縮尺率または縮尺率に関連する情報を特定し、全体画像の全部または一部である表示画像を生成する表示画像生成部と、
ユーザからの入力を受け付ける第２受付部と、
前記第２受付部において受け付けた入力を処理する入力処理部と、を備え、
前記入力処理部は、
前記第２受付部が入力を受け付けた表示画像中の位置を特定する位置情報を取得する位置情報取得部と、
前記位置情報取得部により取得された位置情報と、ユーザからの入力とを対応付ける対応付部と、を有し、前記位置情報は、前記第２受付部が入力を受け付けた表示画像の縮尺率または縮尺率に関連する情報を含むことを特徴とする情報処理装置。
【請求項１１】
前記変更指示は、表示画像の拡大、縮小または移動を指示するものであることを特徴とする請求項１０に記載の情報処理装置。
【請求項１２】
前記第２受付部は、ユーザから、テキスト入力を受け付けることを特徴とする請求項１０または１１に記載の情報処理装置。
【請求項１３】
コンピュータに、画像の少なくとも一部をディスプレイに表示する機能を実現させるコンピュータプログラムであって、
表示画像の変更指示を受け付ける機能と、
変更指示にしたがって、表示する画像の縮尺率または縮尺率に関連する情報を特定し、全体画像の全部または一部である表示画像を生成する機能と、
縮尺率または縮尺率に関連する情報を含み、表示画像に重ねて表示するための重畳データを取得する機能と、
表示画像の縮尺率と、重畳データに含まれている縮尺率または縮尺率に関連する情報とが所定の関係にあるか判定する機能と、
重畳データをもとに表示画像上に表示する重畳画像を生成する機能と、
をコンピュータに実現させることを特徴とするコンピュータプログラム。
【請求項１４】
請求項１３に記載のコンピュータプログラムを記録したコンピュータ読み取り可能な記録媒体。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【公開番号】特開２０１２−１４７４０４（Ｐ２０１２−１４７４０４Ａ）
【公開日】平成２４年８月２日（２０１２．８．２）
【国際特許分類】
【出願番号】特願２０１１−６３４０（Ｐ２０１１−６３４０）
【出願日】平成２３年１月１４日（２０１１．１．１４）
【出願人】（３１００２１７６６）株式会社ソニー・コンピュータエンタテインメント (417)
【Ｆターム（参考）】
【公開日】平成２４年８月２日（２０１２．８．２）
【国際特許分類】
【出願日】平成２３年１月１４日（２０１１．１．１４）
【出願人】（３１００２１７６６）株式会社ソニー・コンピュータエンタテインメント (417)
【Ｆターム（参考）】
[ Back to top ]