画面出力装置、画面出力システム、および画面出力方法
【課題】ユーザからの指示入力に対する画面表示の応答性を向上させる。
【解決手段】情報処理装置の制御部１００において、入力情報取得部１０２は入力装置２０に対しユーザが行った操作に係る情報を取得する。画面データ生成部１０４はユーザの操作に応じて表示すべき基礎画面のデータを生成する。階層データ生成部１０６は基礎画面のデータから階層データを生成する。フレーム領域決定部１０８は表示するフレーム領域を逐次決定する。更新領域決定部１１０は基礎画面のうち、ユーザの操作に応じて更新すべき領域を決定する。ロード部１１２は表示に必要なデータをハードディスクドライブ５０からロードする。デコード部１１４は画像データをデコードする。表示画像処理部１１６は表示画像を描画する。
【解決手段】情報処理装置の制御部１００において、入力情報取得部１０２は入力装置２０に対しユーザが行った操作に係る情報を取得する。画面データ生成部１０４はユーザの操作に応じて表示すべき基礎画面のデータを生成する。階層データ生成部１０６は基礎画面のデータから階層データを生成する。フレーム領域決定部１０８は表示するフレーム領域を逐次決定する。更新領域決定部１１０は基礎画面のうち、ユーザの操作に応じて更新すべき領域を決定する。ロード部１１２は表示に必要なデータをハードディスクドライブ５０からロードする。デコード部１１４は画像データをデコードする。表示画像処理部１１６は表示画像を描画する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ディスプレイに表示する画像を拡大／縮小、または上下左右に移動させる画像処理技術に関する。
【背景技術】
【０００２】
近年の画像処理技術の発展、ネットワークの充実化などにより、所望の情報を多様な端末を利用して取得し表示させることが可能となっている。例えばユーザが操作する端末と、実際の情報処理を実施する情報処理装置とを分離することにより、簡易な構成の携帯端末などでも所望の情報を表示することのできる技術が提案されている（例えば特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１０−２０１５９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
表示装置の画面を介して情報を得る態様において、所望の情報を効率よく得るためには、画像の表示や更新の効率性が重要な要因となる。ネットワークなどを介して入手できる情報は膨大であり、ユーザからの指示入力に対する画面表示の応答性の向上が望まれている。
【０００５】
本発明はこのような課題に鑑みてなされたものであり、その目的は、ユーザからの指示入力に対する画面表示の応答性を向上させることのできる画像処理技術を提供することにある。
【課題を解決するための手段】
【０００６】
本発明のある態様は画面出力装置に関する。この画面出力装置は、ユーザが入力装置に対して行った指示入力に係る情報を取得する入力情報取得部と、指示入力に応じて表示すべき画像を画面内に配置した基礎画面のデータを生成する画面データ生成部と、基礎画面を異なる解像度で表した複数の画像データを解像度順に階層化して構成される階層データを生成する階層データ生成部と、指示入力のうち画面のスクロール、拡大、縮小の指示入力に応じて、階層データのうち用いるデータを切り替えて出力画面を生成する表示画像処理部と、を備え、階層データ生成部は、指示入力によって基礎画面の少なくとも一部の領域を更新する必要が生じた際、階層データのうち該当する領域を更新することを特徴とする。
【０００７】
本発明の別の態様は画面出力システムに関する。この画面出力システムは、ユーザが操作する、ディスプレイを備えたユーザ端末と、ユーザ端末へのユーザの操作情報をネットワークを介して受信し、それに応じてユーザ端末のディスプレイへ表示すべき画面の画像データをユーザ端末へ送信する情報処理装置と、を備えた画面出力システムであって、情報処理装置は、ユーザの操作に応じてディスプレイへ表示すべき画像を画面内に配置した基礎画面のデータを生成する画面データ生成部と、基礎画面を異なる解像度で表した複数の画像データを解像度順に階層化して構成される階層データを生成する階層データ生成部と、を備え、ユーザ端末は、階層データを構成するデータブロックのうち、ユーザの操作による画面のスクロール、拡大、縮小の指示入力に応じて変化する出力画面の領域に基づいて決定したデータブロックを指定して情報処理装置に画像データを要求するデータ要求部と、要求に従い情報処理装置から送信された画像データを用いてディスプレイに表示する出力画面を生成する表示画像処理部と、を備え、階層データ生成部は、操作によって基礎画面の少なくとも一部の領域を更新する必要が生じた際、階層データのうち該当する領域を更新することを特徴とする。
【０００８】
本発明のさらに別の態様は画面出力方法に関する。この画面出力方法は、ユーザが入力装置に対して行った指示入力に係る情報を取得するステップと、指示入力に応じて表示すべき画像を画面内に配置した基礎画面のデータを生成するステップと、基礎画面を異なる解像度で表した複数の画像データを解像度順に階層化して構成される階層データを生成するステップと、指示入力によって基礎画面の少なくとも一部の領域を更新する必要が生じた際、階層データのうち該当する領域を更新するステップと、指示入力のうち画面のスクロール、拡大、縮小の指示入力に応じて、階層データのうち用いるデータを切り替えて出力画面を生成するステップと、を含むことを特徴とする。
【０００９】
本発明のさらに別の態様も画面出力方法に関する。この画面出力方法は、ユーザ端末へのユーザの操作に応じて、ネットワークを介して接続した情報処理装置が画面の画像データを作成してユーザ端末のディスプレイへ表示させる画面出力方法であって、情報処理装置において、ユーザの操作に応じてユーザ端末のディスプレイへ表示すべき画像を画面内に配置した基礎画面のデータを生成するステップと、基礎画面を異なる解像度で表した複数の画像データを解像度順に階層化して構成される階層データを生成するステップと、ユーザの操作によって基礎画面の少なくとも一部の領域を更新する必要が生じた際、階層データのうち該当する領域を更新するステップと、ユーザ端末において、階層データを構成するデータブロックのうち、操作による画面のスクロール、拡大、縮小の指示入力に応じて変化する出力画面の領域に基づいて決定したデータブロックを指定して情報処理装置に画像データを要求するステップと、要求に従い情報処理装置から送信された画像データを用いて前記ディスプレイに表示する出力画面を生成するステップと、を含むことを特徴とする。
【００１０】
なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システム、コンピュータプログラムなどの間で変換したものもまた、本発明の態様として有効である。
【発明の効果】
【００１１】
本発明によると、ユーザの指示入力に対して応答性および自由度の高い画面表示を実現できる。
【図面の簡単な説明】
【００１２】
【図１】実施の形態１に適用できる情報処理システムの使用環境を示す図である。
【図２】実施の形態１における情報処理装置の構成を示す図である。
【図３】実施の形態１において生成する階層データの概念図である。
【図４】実施の形態１における画像データの先読み処理を説明するための図である。
【図５】実施の形態１における制御部の構成を詳細に示す図である。
【図６】実施の形態１において基礎画面の一部を更新する際のタイル画像の更新手法を説明するための図である。
【図７】実施の形態１における画面表示の処理手順を示すフローチャートである。
【図８】実施の形態２における画面表示システムの構成を示す図である。
【図９】実施の形態２における携帯端末とＰＣの構成を詳細に示す図である。
【図１０】実施の形態２における画面表示の処理手順を示すシーケンス図である。
【図１１】実施の形態２における画面表示の処理手順を示すシーケンス図である。
【発明を実施するための形態】
【００１３】
実施の形態１
図１は本実施の形態を適用できる情報処理システムの使用環境を示す。同図に示すように情報処理システム１ａ、１ｂ、１ｃは、それぞれネットワーク３に接続可能に構成され、情報提供サーバ５とのデータの送受を行う。情報提供サーバ５は情報処理システム１ａ、１ｂ、１ｃからのリクエストに応じてウェブページのデータなど、リクエスト元の情報処理システム１ａ、１ｂ、１ｃにて表示可能な画像のデータや画像表示に必要な情報を送信する。情報処理システム１ａ、１ｂ、１ｃはネットワーク３へ有線または無線で接続する。情報提供サーバ５との接続手法やデータリクエスト、データ受信に係る手続きは一般的な技術を適用することができる。
【００１４】
情報処理システム１ａ、１ｂ、１ｃはそれぞれ、情報提供サーバ５とのデータの送受信や画像処理を実行する情報処理装置１０ａ、１０ｂ、１０ｃと、情報処理装置１０ａ、１０ｂ、１０ｃによる処理結果を出力する表示装置１２ａ、１２ｂ、１２ｃとを備える。表示装置１２ａ、１２ｂ、１２ｃは、画像を出力するディスプレイおよび音声を出力するスピーカを有するテレビであってよい。以後の説明では各符号を総称し、情報処理システム１、情報処理装置１０、表示装置１２とする。表示装置１２は、情報処理装置１０に有線ケーブルで接続されてよく、また無線ＬＡＮ（Local Area Network）などにより無線接続されてもよい。
【００１５】
情報処理装置１０は、ユーザからの要求に応じて表示装置１２に表示させる画像を更新する。当該更新には、メニュー画像や電子データのサムネイル画像からの選択入力に従って新たなウィンドウやファイルの内容を表示する場合や、情報提供サーバ５から取得したウェブページを表示する場合など、情報処理装置がデスクトップに対して行う更新処理でよい。
【００１６】
したがって表示装置１２に画面表示する画像のデータは、ユーザの要求に従い情報提供サーバ５から逐次取得したもののほか、情報処理装置１０が元から保持するデータでもよく、その組み合わせでもよい。情報処理装置１０はそのほか、ユーザからの要求に応じて、表示装置１２に表示させた画面のスクロールや拡大／縮小などの処理も行う。以後の説明では、ユーザの操作によってデスクトップなど画面内に表示する画像そのものを更新する場合を「基礎画面の更新」として、画面のスクロールや拡大／縮小などフレーム領域の更新と区別する。
【００１７】
図２は情報処理装置１０の構成を示している。情報処理装置１０は、入力装置２０、スイッチ４２、表示処理部４４、ハードディスクドライブ５０、記録媒体装着部５２、ディスクドライブ５４、メインメモリ６０、バッファメモリ７０および制御部１００を有して構成される。表示処理部４４は、表示装置１２のディスプレイに表示するデータをバッファするフレームメモリを有する。
【００１８】
入力装置２０はユーザが表示装置１２に表示された画面を見ながら行った要求、例えばカーソルを移動させたり、ファイルやコマンドを選択したりする要求や、画面のスクロール、拡大／縮小の要求を受け付け、制御部１００に信号として伝送する。入力装置２０はポインティングデバイス、マウス、キーボード、タッチパネル、ゲームコントローラ、ボタンなど一般的な入力装置で実現できる。入力装置２０と制御部１００は、Bluetooth（ブルートゥース）（登録商標）プロトコルやIEEE802.11プロトコルなどを用いて無線接続を確立してもよい。またはケーブルを介して接続してもよい。
【００１９】
スイッチ４２は、イーサネットスイッチ（イーサネットは登録商標）であって、外部の機器と有線または無線で接続して、データの送受信を行うデバイスである。スイッチ４２は、ケーブル１４を介して外部のネットワーク３に接続し、情報提供サーバ５から画像データなどを受信できるように構成される。
【００２０】
ハードディスクドライブ５０は、データを記憶する記憶装置として機能する。記録媒体装着部５２は、メモリカードなどのリムーバブル記録媒体が装着されると、リムーバブル記録媒体からデータを読み出す。ディスクドライブ５４は、読み出し専用のＲＯＭディスクが装着されると、ＲＯＭディスクを駆動して認識し、データを読み出す。ＲＯＭディスクは、光ディスクや光磁気ディスクなどであってよい。表示装置１２に表示する画像データ、各処理の実行に必要なプログラムや各種データは、ハードディスクドライブ５０や、リムーバブル記録媒体、ＲＯＭディスクなどに格納されていてよい。
【００２１】
制御部１００は、マルチコアＣＰＵを備え、１つのＣＰＵの中に１つの汎用的なプロセッサコアと、複数のシンプルなプロセッサコアを有する。汎用プロセッサコアはＰＰＵ（PowerPC Processor Unit）と呼ばれ、残りのプロセッサコアはＳＰＵ（Synergistic Processor Unit）と呼ばれる。
【００２２】
制御部１００は、メインメモリ６０およびバッファメモリ７０に接続するメモリコントローラを備える。ＰＰＵはレジスタを有し、演算実行主体としてメインプロセッサを備えて、実行するアプリケーションにおける基本処理単位としてのタスクを各ＳＰＵに効率的に割り当てる。なお、ＰＰＵ自身がタスクを実行してもよい。ＳＰＵはレジスタを有し、演算実行主体としてのサブプロセッサとローカルな記憶領域としてのローカルメモリを備える。ローカルメモリは、バッファメモリ７０として使用されてもよい。
【００２３】
メインメモリ６０およびバッファメモリ７０は記憶装置であり、ＲＡＭ（ランダムアクセスメモリ）として構成される。ＳＰＵは制御ユニットとして専用のＤＭＡ（Direct Memory Access）コントローラをもち、メインメモリ６０とバッファメモリ７０の間のデータ転送を高速に行うことができる。また表示処理部４４におけるフレームメモリとバッファメモリ７０の間で高速なデータ転送を実現できる。本実施の形態の制御部１００は、複数のＳＰＵを並列動作させることで、高速な画像処理機能を実現する。表示処理部４４は、表示装置１２に接続されて、ユーザからの要求に応じた画面を出力する。
【００２４】
本実施の形態において情報処理装置１０は、表示装置１２における表示画面を表す画像データから、当該画面を異なる解像度で表した複数の画像データからなる階層データを生成し、ハードディスクドライブ５０に保持しておく。そしてユーザの指示入力によって画面を拡大／縮小処理する際は、解像度に応じて描画に使用する画像データの階層を切り替える。このようにすることで、画面に表示されている画像の内容に関わらず、拡大や縮小を可能にするとともにその処理を迅速に行う。
【００２５】
例えば表示装置１２を居間のテレビジョンや会議場のプロジェクタなどとした場合、一般的にはパーソナルコンピュータ（ＰＣ）と比較して人と画面との間隔が広くなる。このため通常は、想定される間隔に応じて画面の面積を大きくすることにより、ＰＣと同様の視認性が得られるようにする。しかしながら、ＰＣのディスプレイを目の前にした人と異なり、画面内の注目したい領域に顔を近づけるようなことは容易でないうえ、画面の面積にも制約があるため、必ずしも同じ視認性を得られるわけではない。
【００２６】
そこで本実施の形態では、上述のような階層データを生成することにより表示画面の拡大縮小を自由かつ迅速に行えるようにして、いかなる表示環境においても、注目箇所を詳細に確認したり全体を俯瞰したりできるようにする。本実施の形態で表示対象とする画像はあらかじめ１つの画像として準備されているものに限らず、一般的なＰＣで表示可能ないかなる画面でもよい。
【００２７】
具体的には、表示画面上のアイコンを選択する入力によって当該アイコンが表す記憶領域に格納されたファイルのアイコンを表示したり、当該アイコンが表す文書ファイルや画像ファイルの内容を表示したりする場合が考えられる。あるいは表示画面上のウェブブラウザを操作する入力によって、所望のウェブページを表示したりする場合が考えられる。このような操作によって通常、ＰＣのディスプレイに表示される画面を「基礎画面」とする。
【００２８】
情報処理装置１０は、基礎画面に対して階層データを生成する。そして新たなウィンドウを開く指示入力がなされた場合など、基礎画面の一部を更新する必要が生じた場合、情報処理装置１０は階層データのうち、変化した領域のデータのみを各階層で更新する。基礎画面全体が変化した場合は階層データ全体を更新する。
【００２９】
図３は、本実施の形態において生成する階層データの概念図を示す。階層データは、深さ（Ｚ軸）方向に、第０階層３０、第１階層３２、第２階層３４および第３階層３６からなる階層構造を有する。なお同図においては４階層のみ示しているが、階層数はこれに限定されない。
【００３０】
図３に示す階層データは４分木の階層構造を有し、各階層は１以上のタイル画像３８で構成される。すべてのタイル画像３８は同じ画素数をもつ同一サイズに形成され、たとえば２５６×２５６画素を有する。各階層の画像データは、一つの画像を異なる解像度で表現しており、第３階層３６、第２階層３４、第１階層３２、第０階層３０の順で解像度が小さくなっている。たとえば第Ｎ階層の解像度（Ｎは０以上の整数）は、左右（Ｘ軸）方向、上下（Ｙ軸）方向ともに、第（Ｎ＋１）階層の解像度の１／２であってよい。
【００３１】
階層データは所定の圧縮形式で圧縮された状態でハードディスクドライブ５０に格納しておき、表示装置１２に表示される前にハードディスクドライブ５０から読み出してデコードする。ここで圧縮形式は限定されず、たとえばＳ３ＴＣ形式、ＪＰＥＧ形式、ＪＰＥＧ２０００形式のいずれでもよい。
【００３２】
階層データを生成する基礎画像は、画面の背景画像データ、アイコン、メニュー画像、ウェブページ、テキスト画像、静止画像、動画像など、ユーザの指示入力に応じて画面に表示すべき画像であればその種類および組み合わせは限定されない。情報処理装置１０は例えば基礎画面全体が表示装置１２に表示できるときの画像を第０階層３０とし、それを所定の３段階の解像度へ拡大することで第１階層３２、第２階層３４、第３階層３６を生成する。階層データを作成するときの縮尺の方向はこれに限らず、素材画像の解像度に応じて縮小しても拡大してもよい。
【００３３】
階層データの階層構造は、図３に示すように、左右方向をＸ軸、上下方向をＹ軸、深さ方向をＺ軸として設定され、仮想的な３次元空間を構築する。情報処理装置１０は、入力装置２０から供給される、画面のスクロールや拡大／縮小の指示入力信号からフレームの変更量を導出すると、その変更量を用いて仮想空間におけるフレームの４隅の座標（フレーム座標）を導出する。
【００３４】
仮想空間におけるフレーム座標は、後述するメインメモリ６０への圧縮データのロードおよびフレームの描画処理に利用される。さらに、階層データのうち優先的に更新すべき領域を決定するのに利用される。なお、仮想空間におけるフレーム座標の代わりに、情報処理装置１０は、階層を特定する情報と、その階層におけるテクスチャ座標（ＵＶ座標）を導出してもよい。以下、階層特定情報およびテクスチャ座標の組み合わせも、フレーム座標と呼ぶ。
【００３５】
情報処理装置１０は、画面の拡大／縮小処理やスクロール処理を行う際に表示をスムーズに更新するために、階層データの一部をハードディスクドライブ５０からメインメモリ６０にロードしておく。またそれまでのフレームの移動方向をもとに、将来表示するであろう領域を先読みし、メインメモリ６０にロードした画像データのさらに一部をデコードしてバッファメモリ７０に格納してもよい。これにより、後の必要なタイミングで、フレーム描画に使用する画像を瞬時に切り替えることが可能となる。
【００３６】
図４は、先読み処理を説明するための図である。同図は、階層データの構造を示しており、各階層はＬ０（第０階層）、Ｌ１（第１階層）、Ｌ２（第２階層）、Ｌ３（第３階層）と表現されている。図４に示す階層データ構造において、深さ（Ｚ軸）方向における位置は解像度を示し、Ｌ０に近い位置ほど解像度が低く、Ｌ３に近い位置ほど解像度は高い。なおディスプレイに表示される画像の大きさに注目すると、深さ方向における位置は、縮尺率に対応し、Ｌ３の表示画像の縮尺率を１とすると、Ｌ２における縮尺率は１／４、Ｌ１における縮尺率は１／１６となり、Ｌ０における縮尺率は１／６４となる。
【００３７】
したがって深さ方向において、フレームがＬ０側からＬ３側へ向かう方向に変化する場合、画面は拡大していき、Ｌ３側からＬ０側へ向かう方向に変化する場合は、画面は縮小していく。矢印８０は、ユーザからの指示入力信号が、画面の縮小を要求しており、縮尺率１／４（Ｌ２）をまたいだ様子を示している。情報処理装置１０では、タイル画像３８として用意しているＬ１、Ｌ２の深さ方向の位置を、深さ方向の先読み境界として設定し、指示入力信号が先読み境界をまたぐと、先読み処理を開始する。
【００３８】
画面の縮尺率がＬ２の近傍にある場合、フレームは、Ｌ２（第２階層）のタイル画像を用いて描画される。具体的には、画面の縮尺率が、Ｌ１タイル画像とＬ２タイル画像の切替境界８２と、Ｌ２タイル画像とＬ３タイル画像の切替境界８４の間にある場合に、Ｌ２タイル画像が利用される。したがって、矢印８０に示すように画面の縮小処理が要求されると、Ｌ２のタイル画像が拡大された画像から、縮小された画像に変換されて表示される。一方、指示入力信号から予測される将来必要なタイル画像３８を特定して、デコードしておく。図４の例では、画面の縮小指示によって縮尺率がＬ２をまたいだときに、情報処理装置１０は、縮小方向にあるＬ１の対応するタイル画像３８をハードディスクドライブ５０またはメインメモリ６０から先読みしてデコードし、バッファメモリ７０に書き込む。
【００３９】
なお以上は深さ方向の先読み処理について説明したが、上下左右方向の先読み処理についても同様に処理される。具体的には、バッファメモリ７０に展開されている画像データに先読み境界を設定しておき、画面をスクロールする指示入力信号によって表示位置が先読み境界をまたいだときに、先読み処理が開始されるようにする。
【００４０】
図５は制御部１００の構成を詳細に示している。なお同図においては本実施の形態で述べる画面表示技術に関する機能ブロックのみを示しているが、情報処理装置１０が実行するその他の処理は上述のように特に限定されず、それに応じて発生するさまざまな機能ブロックは図示を省略している。
【００４１】
制御部１００は、入力装置２０に対しユーザが行った操作に係る情報を取得する入力情報取得部１０２、ユーザの操作に応じて表示すべき基礎画面のデータを生成する画面データ生成部１０４、基礎画面のデータから階層データを生成する階層データ生成部１０６、表示するフレーム領域を逐次決定するフレーム領域決定部１０８、基礎画面のうち、ユーザの操作に応じて更新すべき領域を決定する更新領域決定部１１０、表示に必要なデータをハードディスクドライブ５０からロードするロード部１１２、画像データをデコードするデコード部１１４、表示画像を描画する表示画像処理部１１６を含む。
【００４２】
図５および後述の図９において、さまざまな処理を行う機能ブロックとして記載される各要素は、ハードウェア的には、ＣＰＵ（Central Processing Unit）、メモリ、その他のＬＳＩで構成することができ、ソフトウェア的には、メインメモリ６０にロードされたプログラムなどによって実現される。既述したように、制御部１００は１つのＰＰＵと複数のＳＰＵとを有し、ＰＰＵおよびＳＰＵがそれぞれ単独または協働して、各機能ブロックを構成できる。したがって、これらの機能ブロックがハードウェアのみ、ソフトウェアのみ、またはそれらの組合せによっていろいろな形で実現できることは当業者には理解されるところであり、いずれかに限定されるものではない。
【００４３】
入力情報取得部１０２は、ユーザが入力装置２０に入力した、ファイルやアプリケーションの選択などの各種コマンド、画面のスクロール、拡大／縮小などの指示入力に係る情報を入力装置２０より取得する。取得した情報は、必要に応じて画面データ生成部１０４、更新領域決定部１１０、フレーム領域決定部１０８に通知する。
【００４４】
画面データ生成部１０４は、入力情報取得部１０２から通知されたユーザの指示入力の内容に応じて基礎画面のデータを生成する。ここで基礎画面を構成する、背景画像、メニュー画像、アイコン画像、各種アプリケーションを実行した結果表示すべき画像、ウェブページ画像など個々の画像のデータは、その種類に応じてハードディスクドライブ５０や情報提供サーバ５から取得する。画面データ生成部１０４が行う処理は、一般的なＰＣが表示画面を生成する処理と同様でよい。生成した画面データは階層データ生成部１０６に供給する。
【００４５】
階層データ生成部１０６は、画面データ生成部１０４から基礎画面のデータを取得すると、それを所定の解像度に拡大／縮小することにより階層データを生成する。例えば上述のように、一般的なディスプレイにおける解像度を有する基礎画面を第０階層とし、それを所定の解像度に拡大した画像データを生成することで階層データとする。このとき、基礎画面に含まれる素材画像の原画像が第０階層の解像度より大きければ、高解像度側の階層は当該原画像のデータを用いて生成する。生成した階層データはハードディスクドライブ５０に圧縮符号化して格納する。
【００４６】
階層データ生成部１０６はさらに、ユーザの指示入力によって新たなウィンドウが開かれたり閉じられたりするなど、基礎画面の一部を更新する必要が生じた場合に、ハードディスクドライブ５０の階層データを更新する。更新に必要なデータは画面データ生成部１０４から取得する。このとき階層データ生成部１０６は、現在表示しているフレームおよびその近傍、あるいは上述の先読み処理によって表示されると予測される領域など、それまでのフレームとの関係性に基づきあらかじめ定めた規則によって決定できる領域内の更新を優先して行う。
【００４７】
フレーム領域決定部１０８は、ユーザが画面の拡大／縮小やスクロールを指示する入力を行ったとき、フレームレートの設定値によって定まる次の表示更新時刻までの移動量を算出することにより次のフレーム座標を決定する。ここでの移動量は、図３に示した仮想的な３次元空間における移動量である。
【００４８】
更新領域決定部１１０は、上述のように、フレーム領域決定部１０８が決定した次のフレームの領域やその近傍、あるいは直後に表示されると予測できる領域など、それまでのユーザの入力内容から決定できる領域内に更新すべき領域があるか否かを判定する。更新すべき領域がある場合は、あらかじめ各タイル画像に一意に与えられた識別情報のうち、更新すべき領域にかかっているタイル画像の識別情報を階層データ生成部１０６に通知する。またロード部１１２、デコード部１１４、表示画像処理部１１６にも必要に応じて通知する。これにより階層データ生成部１０６は該当するタイル画像の更新を優先的に実施する。
【００４９】
ロード部１１２は、階層データ生成部１０６が生成した階層データの少なくとも一部のタイル画像を必要に応じてハードディスクドライブ５０から読み出しメインメモリ６０に格納する。例えば所定の時間間隔で、現在表示されているフレームの描画に用いられているタイル画像を含む所定範囲内のタイル画像、および上下の階層における対応する領域を構成するタイル画像のうち、メインメモリ６０にロードされていないタイル画像の有無を確認する。該当するタイル画像があればハードディスクドライブ５０からロードする。
【００５０】
ロード部１１２はさらに、メインメモリ６０にロード済みのタイル画像が、ユーザの要求によって更新すべき領域にかかっている場合に、当該タイル画像の識別情報を更新領域決定部１１０から取得し、階層データ生成部１０６が更新済みの当該タイル画像のデータをハードディスクドライブ５０からロードし直す。この処理は、階層データ生成部１０６が直接、メインメモリ６０の該当タイル画像のデータを上書きすることによって行ってもよい。
【００５１】
デコード部１１４は、メインメモリ６０からタイル画像データの一部を読み出しデコードし、バッファメモリ７０にデコード後のデータを格納する。デコード対象のタイル画像は、現在のフレーム領域を含む所定範囲内のタイル画像である。あらかじめ広範囲の画像データをデコードし、バッファメモリ７０に格納しておくことにより、メインメモリ６０からの読み出し回数を削減でき、円滑なフレーム移動を実現できる。またバッファメモリ７０を２重バッファとし、先読み処理によって予測された領域を前もってデコードして格納しておいてもよい。
【００５２】
さらにデコード部１１４は、バッファメモリ７０に格納したデコード済みのタイル画像のいずれかが、ユーザの要求によって更新すべき領域にかかっている場合に、当該タイル画像の識別情報を更新領域決定部１１０から取得する。そして当該タイル画像の更新後のデータをメインメモリ６０から読み出しデコードし直す。
【００５３】
表示画像処理部１１６は、バッファメモリ７０からフレーム領域分の画像データを読み出して、表示処理部４４のフレームメモリに描画する。ユーザが画面のスクロールや拡大／縮小の要求を行っている間は、フレーム領域決定部１０８が逐次決定するフレーム座標に基づいてフレームの画像を更新していく。またフレーム座標に変化がなくても、基礎画面のうちフレーム領域内の画像が更新された場合は、当該情報を更新領域決定部１１０から取得し、バッファメモリ７０から更新後の画像データを再度読み出して画面を更新する。
【００５４】
図６は基礎画面の一部を更新する際のタイル画像の更新手法を説明するための図である。同図において最も外側の矩形の領域１３０は画面データ生成部１０４が作成する基礎画面を表している。階層データ生成部１０６が生成する階層データは、領域１３０の基礎画面を複数の解像度で表した画像データで構成される。基礎画面の領域１３０の内部に表された、２重線の矩形の領域１３４は、現在のフレームの領域とする。すなわち領域１３０で表される基礎画面のうち、領域１３４の部分が拡大表示されている。
【００５５】
ユーザの要求によって基礎画面の一部を更新するときに、上述のように優先的にタイル画像を更新すべき領域を、複数のマス目で構成される領域１３２のように決める。同図の例では当該領域は、現在のフレームの領域１３４にかかるタイル画像で構成される領域、としている。ここで領域１３２を構成するマス目はその一つ一つがタイル画像を表している。なお同図では領域１３２にのみタイル画像の区切りを示しているが、階層データを生成する全ての領域、すなわち基礎画面の領域１３０は全てタイル画像に区切られており、そのそれぞれに対し識別情報が与えられている。
【００５６】
優先的にタイル画像データを更新する領域を決定する規則は上述したものに限らず、例えばバッファメモリ７０にデータが格納されている領域、メインメモリ６０にロードされている領域、表示されると予測される領域、などでもよい。いずれの場合も、現在や過去のフレームの領域から必要性の高い領域を類推するための規則を準備しておく。以後、このような領域を「アクティブ領域」と呼ぶ。
【００５７】
ここで基礎画面の一部である、網掛けされた領域１３６を更新する必要が生じた場合を考える。このとき更新領域決定部１１０は、アクティブ領域１３２を構成するタイル画像のうち、更新すべき領域１３６にかかるタイル画像を検出する。同図においては太線矩形の領域１３８内にある４×４個のタイル画像がそれにあたる。当該検出処理は、同図に示すように、アクティブ領域１３２と更新すべき領域１３６とを統一した座標系で比較することにより容易に実行できる。
【００５８】
そして更新領域決定部１１０は、検出したタイル画像の識別情報を階層データ生成部１０６、ロード部１１２、デコード部１１４、表示画像処理部１１６に適宜通知する。これにより、検出したタイル画像について、ハードディスクドライブ５０における階層データの更新、メインメモリ６０におけるタイル画像データの更新、バッファメモリ７０におけるデコードされたデータの更新、画面の更新、が実現できる。なおアクティブ領域内のタイル画像の更新が終了したら、その他の更新すべきタイル画像も順次更新していく。そのため更新領域決定部１１０は、アクティブ領域以外で更新すべきタイル画像の識別情報も階層データ生成部１０６に通知しておく。
【００５９】
次に上記の構成によって実現できる情報処理装置１０の動作を説明する。図７は本実施の形態における画面表示の処理手順を示すフローチャートである。図７のフローチャートおよび後述する図１０、１１に示すシーケンス図においては、各部の処理手順を、ステップを意味するＳ（Ｓｔｅｐの頭文字）と数字との組み合わせによって表示する。また、Ｓと数字との組み合わせによって表示した処理で何らかの判断処理が実行され、その判断結果が肯定的であった場合は、Ｙ（Ｙｅｓの頭文字）を付加して、例えば、（Ｓ１０のＹ）と表示し、逆にその判断結果が否定的であった場合は、Ｎ（Ｎｏの頭文字）を付加して、（Ｓ１０のＮ）と表示する。
【００６０】
図７のフローチャートにおける処理は、ユーザが情報処理装置１０に対し画面表示開始の指示を入力したときに開始する。このとき情報処理装置１０は、ハードディスクドライブ５０から初期画面のデータをロードし、デコード、描画することによって表示装置１２に初期画面を表示する（Ｓ１０）。初期画面データは階層データに限らず、拡大、縮小を受け付けるか否かに応じて適宜決定してよい。
【００６１】
次にユーザが、初期画面上に表示したカーソルを入力装置２０を用いて操作するなどして、初期画面でない画面を表示させるような画面更新指示を入力すると（Ｓ１２）、画面データ生成部１０４が、画面を構成する各種画像をハードディスクドライブ５０や情報提供サーバ５から適宜取得して配置した、新たな画面のデータを生成する（Ｓ１４）。例えば背景画像上にアイコンやツールバー、カーソルなどをオーバーレイさせた画面のデータを生成する。これが基礎画面となる。
【００６２】
すると階層データ生成部１０６は、基礎画面を所定の解像度で表現した複数の画像データを生成することにより階層データを生成し、ハードディスクドライブ５０に格納する（Ｓ１６）。そしてロード部１１２、デコード部１１４、表示画像処理部１１６の連携処理によって、表示画面が初期画面から基礎画面へ更新される（Ｓ１８）。この状態でユーザによる次の入力を待機する（Ｓ２０のＮ、Ｓ２４のＮ）。
【００６３】
ユーザが入力装置２０を介して何らかの画面操作を行い（Ｓ２０のＹ）、当該操作によって基礎画面を更新する必要が生じたら（Ｓ２２のＹ）、画面データ生成部１０４は更新に必要な画像を新たに取得するなどして画面に配置したデータを生成し（Ｓ１４）、階層データ生成部１０６は更新対象のタイル画像のデータを更新する（Ｓ１６）。このとき上述のように、更新領域決定部１１０が検出した、アクティブ領域に含まれるタイル画像を優先的に更新する。
【００６４】
そしてロード部１１２、デコード部１１４が更新対象のタイル画像について各自データを更新することにより、表示画像処理部１１６が画面を更新する（Ｓ１８）。一方、ユーザが入力装置２０を介して何らかの画面操作を行い（Ｓ２０のＹ）、それが基礎画面を更新するものでなく、画面をスクロールまたは拡大／縮小するものであった場合は（Ｓ２２のＮ）、フレーム領域決定部１０８が順次フレーム座標を決定し、それに応じて表示画像処理部１１６がフレームを描画することにより画面が更新される（Ｓ１８）。
【００６５】
このとき、新たなフレーム領域のうち、バッファメモリ７０にデコードされていない領域が存在したり、メインメモリ６０に格納されていないタイル画像が存在したりする場合は、デコード部１１４やロード部１１２が適宜対象領域について処理を行う。ユーザによる画面操作の入力が行われず（Ｓ２０のＮ）、表示終了の指示入力がなされた場合は（Ｓ２４のＹ）、表示処理を終了する。
【００６６】
以上述べた本実施の形態によれば、ユーザによって表示内容が変化する画面の画像を階層データとしてリアルタイムに生成する。これにより、画面内に表示する画像の種類、数、配置などによらず、画面のスクロール、拡大／縮小が、ユーザによる要求に対して応答性よく実現できる。例えば文書閲覧アプリケーションによって文書を表示した画像の場合、元のテキストデータからフォントを選択して表示する一般的な技術と異なり、文字自体を画像として処理するため、適切なサイズのフォントデータを保持したり代替フォントを利用せずとも拡大／縮小表示が可能となる。
【００６７】
また、新たなウィンドウを開いたりアプリケーションの処理が進捗した場合など、基礎画面を部分的に更新する必要が生じた場合は、更新すべき領域のタイル画像のデータのみを更新することにより効率的に画面を更新する。このとき、現在のフレーム領域に基づき決定できる、表示される確率の高い領域を優先して更新することにより、階層データ更新のために画面出力が遅延する、といった状況が発生しにくくなる。
【００６８】
実施の形態２
実施の形態１では、一つの情報処理装置１０内部で行う表示処理について示した。本実施の形態では、情報処理装置が出力する画面を、当該情報処理装置に直接接続された表示装置に表示する代わりに、ギガビット・イーサネット（登録商標）などのネットワークに接続されたほかのディスプレイシステムのリモートディスプレイに表示する、リモートディスプレイの技術に適用する。この技術は例えば本発明者による特許出願の公開公報、特開２０１０−２０１５９に詳細に記載されている。
【００６９】
図８は本実施の形態における画面表示システムの構成を示している。同図の画面表示システム２００では、ネットワーク９００に接続されたＰＣ２０４が、同じネットワーク９００に接続された携帯端末２０２に画面表示する例を示している。ＰＣ２０４は携帯端末２０２からグラフィカルユーザインタフェース（ＧＵＩ）のデータを受信し、それをもとにキーボード／マウスのコマンドをエミュレートする。ＧＵＩのデータは携帯端末２０２のディスプレイに表示されたウィンドウやアイコンなどに対してＧＵＩを介してなされた操作コマンドなどを含む。
【００７０】
ＰＣ２０４は携帯端末２０２から受信したＧＵＩデータに基づいてキーボードやマウスの操作をエミュレーションすることにより、当該操作を行った場合に生成される信号を生成する。これにより、ＰＣ２０４に接続されたキーボードやマウスなどの入力デバイスを使って当該操作がなされたのと同様に画面データが生成される。ＰＣ２０４はこのようにして生成した画面データを圧縮符号化し携帯端末２０２に送信する。
【００７１】
本実施の形態では、ＰＣ２０４において画面の階層データを生成して保持する。そして携帯端末２０２においてユーザが入力した、画面のスクロールや拡大／縮小の要求に応じて、必要なタイル画像をＰＣ２０４から携帯端末２０２に送信する。その結果、同図に示すように、ＰＣ２０４において基礎画面２５２のデータがユーザの要求に応じてリアルタイムに生成され、携帯端末２０２のディスプレイには少なくともそのうちの一部の画面２５０が表示される。
【００７２】
図９は携帯端末２０２とＰＣ２０４の構成を詳細に示している。なお同図においては本実施の形態で述べる画面表示技術に関する機能ブロックのみを示しているが、実施の形態１と同様、携帯端末２０２やＰＣ２０４が実行するその他の処理は特に限定されず、それに応じて発生するさまざまな機能ブロックは図示を省略している。
【００７３】
携帯端末２０２は、ユーザからの指示入力を受け付ける入力部２０６、入力部２０６に対してユーザが行った操作に係る情報を取得する入力情報取得部２０８、ＧＵＩのデータをＰＣ２０４へ送信するＧＵＩデータ送信部２１０、表示するフレーム領域を逐次決定するフレーム領域決定部２１２、フレーム描画に必要な画像データをＰＣ２０４に対しリクエストするデータリクエスト部２１４、更新すべき領域の情報を記憶する更新領域リスト記憶部２１５を含む。ここで更新すべき領域の情報は、更新すべきタイル画像の識別情報のリストなどであり、以後、「更新領域リスト」と呼ぶ。
【００７４】
携帯端末２０２はさらに、ＰＣ２０４から送信された画像データを受信するデータ受信部２１６、画像データをデコードするデコード部２１８、デコードした画像データを格納するバッファメモリ２２０、表示画像を描画する表示画像処理部２２２、および画面を出力する表示部２２４を含む。
【００７５】
一方、ＰＣ２０４は、携帯端末２０２から送信されたＧＵＩデータをエミュレートするエミュレート部２２６、携帯端末２０２においてなされた操作に応じて基礎画面のデータを生成する画面データ生成部２２８、画面データから階層データを生成する階層データ生成部２３２、更新すべき領域を決定する更新領域決定部２３４、携帯端末２０２からのリクエストに応じて画像データを送信するデータ送信部２３６、生成した階層データを記憶するハードディスクドライブ２３０を含む。ＰＣ２０４はさらに、実施の形態１における情報処理装置１０と同様にメインメモリなどを適宜備えてよいが、ここでは図示を省略している。
【００７６】
携帯端末２０２の入力部２０６、入力情報取得部２０８、フレーム領域決定部２１２はそれぞれ、実施の形態１における入力装置２０、入力情報取得部１０２、フレーム領域決定部１０８と同様の機能を有する。ただし基礎画面の更新を発生させるようなコマンド入力については、その情報が入力情報取得部２０８からＧＵＩデータ送信部２１０に送信され、ＧＵＩデータ送信部２１０がＰＣ２０４へ送信する。
【００７７】
データリクエスト部２１４は、携帯端末２０２の画面表示のために新たなタイル画像が必要となった場合に、当該タイル画像の識別情報をＰＣ２０４に送信することによって画像データをリクエストする。ここで新たなタイル画像が必要になった場合とは、バッファメモリ２２０または図示しないメモリに格納済みのタイル画像以外のタイル画像が必要になった場合、あるいは、格納済みのタイル画像が更新対象に含まれていた場合である。後者の場合が発生したのを検出するために、データリクエスト部２１４は、ユーザが新たな画面操作を行ったときなど所定のタイミングで更新領域リスト記憶部２１５を参照し、格納済みのタイル画像の識別情報が更新領域リストに含まれているか否かを確認する。
【００７８】
格納済みのタイル画像以外のタイル画像が必要になった場合とは、ユーザの操作によってフレームが移動し、格納済みのタイル画像以外の領域に入ったとき、または入ると予測されるときである。このときの対象タイル画像の決定手法は、実施の形態１のロード部１１２によるメインメモリ６０へのロード対象、あるいはデコード部１１４によるデコード対象となるタイル画像の決定手法と同様でよい。
【００７９】
データリクエスト部２１４はさらに、フレームが移動する都度、フレーム座標に基づきアクティブ領域を決定し、その情報をＰＣ２０４へ送信する。アクティブ領域は、実施の形態１において述べたのと同様に、現在のフレームや過去のフレーム移動経路などから、あらかじめ定めた規則に従い決定する。
【００８０】
データ受信部２１６は、ＰＣ２０４から送信されたタイル画像のデータを受信し、デコード部２１８に供給する。あるいは実施の形態１と同様、図示しないメモリに一旦格納してもよい。デコード部２１８、バッファメモリ２２０、表示画像処理部２２２、表示部２２４はそれぞれ、実施の形態１におけるデコード部１１４、バッファメモリ７０、表示画像処理部１１６、表示装置１２と同様に機能する。
【００８１】
ＰＣ２０４のエミュレート部２２６は、携帯端末２０２からＧＵＩのデータを受信しエミュレートしてＰＣ２０４内部で有効な要求信号を発生させる。これによりＰＣ２０４側で、アイコンの選択、ファイルのオープン、ウェブページの表示、アプリケーションの進捗などが、携帯端末２０２で行われた操作に応じて実施される。画面データ生成部２２８、階層データ生成部２３２、更新領域決定部２３４はそれぞれ、実施の形態１の画面データ生成部１０４、階層データ生成部１０６、更新領域決定部１１０と同様に機能する。
【００８２】
ただし更新領域決定部２３４は、携帯端末２０２からアクティブ領域に係る情報を受信し、それに応じて、優先的に更新すべきタイル画像を決定する。そしてその識別情報を更新領域リストとして携帯端末２０２に送信する。データ送信部２３６は、携帯端末２０２のデータリクエスト部２１４から送信された、画像データのリクエストに応じ、リクエスト対象たるタイル画像の最新データをハードディスクドライブ２３０から読み出し携帯端末２０２に送信する。
【００８３】
次に上記の構成によって実現できる画面表示システムの動作を説明する。図１０、１１は本実施の形態における画面表示の処理手順を示すシーケンス図である。なお図が煩雑化しないように時間経過は適宜省略している。また携帯端末２０２でなされる操作の順序はこれに限定されない。このシーケンス図における処理は、ユーザが携帯端末２０２に対し画面表示開始の指示を入力したときに開始する。ユーザが表示開始を指示する入力を行うと（Ｓ３０）、ＧＵＩデータ送信部２１０が当該情報をＰＣ２０４に送信し、ＰＣ２０４のデータ送信部２３６が初期画面のデータを返信する（Ｓ３２）。
【００８４】
すると携帯端末２０２では送信された初期画面のデータをデコード、描画することによってディスプレイに初期画面を表示する（Ｓ３４）。次にユーザが、初期画面上に表示されたカーソルを操作するなどして、初期画面でない画面を表示させるような画面更新指示を入力すると（Ｓ３６）、当該情報はＰＣ２０４に送信され、画面データ生成部２２８が、画面を構成する各種画像をハードディスクドライブ５０や情報提供サーバ５から適宜取得して配置した基礎画面のデータを生成する（Ｓ３８）。
【００８５】
すると階層データ生成部２３２は、基礎画面を所定の解像度で表現した複数の画像データを生成することにより階層データを生成し、ハードディスクドライブ２３０に格納する（Ｓ４０）。そしてデータ送信部２３６が、作成した階層データに含まれるタイル画像のデータを携帯端末２０２に送信する（Ｓ４２）。このとき送信するタイル画像は設定によって様々考えられるが、例えば基礎画面全体を俯瞰できるように、最も解像度の低い第０階層のタイル画像を送信する。
【００８６】
すると携帯端末２０２では、データ受信部２１６、デコード部２１８、表示画像処理部２２２の連携処理によって、表示画面が初期画面から基礎画面へ更新される（Ｓ４４）。次にユーザがフレームの移動、すなわち画面のスクロールや拡大／縮小の指示入力を行うと（Ｓ４６）、フレーム領域決定部２１２が逐次フレーム座標を決定し、表示画像処理部２２２が新たなフレームを描画することにより表示画面が更新される（Ｓ４８）。このとき上述のとおり、必要に応じてＰＣ２０４から新たな画像データを取得し、バッファメモリ２２０にデコード後のデータを格納して描画に用いる。
【００８７】
フレーム領域が上記のように移動したら、携帯端末２０２のデータリクエスト部２１４は、フレーム領域に合わせて新たなアクティブ領域を導出し、当該情報をＰＣ２０４へ送信する（Ｓ５０）。図１１に移り、ユーザが基礎画面を更新する指示入力を行うと（Ｓ５２）、当該情報はＰＣ２０４に送信され、画面データ生成部２２８は更新に必要な画像を新たに取得するなどして基礎画面のデータを更新し（Ｓ５４）、階層データ生成部２３２は更新対象のタイル画像のデータを更新する（Ｓ５６）。このとき上述のように、携帯端末２０２から送信されたアクティブ領域に含まれるタイル画像を更新領域決定部２３４が検出し、当該タイル画像を優先的に更新する。
【００８８】
更新領域決定部２３４はさらに、当該タイル画像の識別情報を更新領域リストとして携帯端末２０２に送信する（Ｓ５８）。携帯端末２０２のデータリクエスト部２１４は、新たなタイル画像が必要になった際や、バッファメモリ２２０などに格納済みのタイル画像の識別情報が更新領域リストに含まれた際に、対象となるタイル画像の識別情報をＰＣ２０４へ送信することにより画像データをリクエストする（Ｓ６０）。
【００８９】
ＰＣ２０４のデータ送信部２３６はリクエストされたタイル画像のデータをハードディスクドライブ２３０から読み出し、携帯端末２０２に送信する（Ｓ６２）。携帯端末２０２のデータ受信部２１６が当該データを受信すると、デコード部２１８、表示画像処理部２２２が必要に応じてデコード、描画することにより表示画面が更新される（Ｓ６４）。
【００９０】
なお携帯端末２０２においてマウスポインタを表示させ、それによってユーザが指示入力を行う場合、ＰＣ２０４においても基礎画面上に当該マウスポインタを表示し連動させてもよい。ただしこの場合、当該マウスポインタの画像は、生成する階層データの画像からは除き、マウスポインタの位置情報のみを、入力されたコマンドの解釈に用いる。一方、ＰＣ２０４にはマウスポインタを表示させず、携帯端末２０２におけるマウスポインタの操作情報のみをＰＣ２０４へ送信するようにしてもよい。いずれも場合も、マウスポインタの画像は携帯端末２０２における画像表示時に重ね合わせて表示する。
【００９１】
以上述べた本実施の形態によれば、携帯端末にてユーザが行った操作をＰＣで実行してその表示画面を携帯端末に表示する画面表示システムにおいて、ユーザの操作によって変化する基礎画面の画像を階層データとして生成しＰＣ側で保持しておく。これにより、画面内に表示する画像の種類、数、配置などによらず、画面のスクロール、拡大／縮小が、ユーザによる要求に対して応答性よく実現できる。
【００９２】
また基礎画面が部分的に更新される場合、携帯端末は、現在のフレーム領域などに基づき決定できる、表示される確率の高い領域のうち、更新された領域を検出してＰＣへリクエストする。これにより必要性の高い画像データのみを迅速に取得でき、メモリなどのリソースの消費を抑えたうえで画面の更新を効率的に実行できる。
【００９３】
以上、本発明を実施の形態をもとに説明した。上記実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。
【符号の説明】
【００９４】
１ 情報処理システム、 １０ 情報処理装置、 １２ 表示装置、 ２０ 入力装置、 ３８ タイル画像、 ５０ ハードディスクドライブ、 ６０ メインメモリ、 ７０ バッファメモリ、 １００ 制御部、 １０２ 入力情報取得部、 １０４ 画面データ生成部、 １０６ 階層データ生成部、 １０８ フレーム領域決定部、 １１０ 更新領域決定部、 １１２ ロード部、 １１４ デコード部、 １１６ 表示画像処理部、 ２００ 画面表示システム、 ２０２ 携帯端末、 ２０４ ＰＣ、 ２０６ 入力部、 ２０８ 入力情報取得部、 ２１０ ＧＵＩデータ送信部、 ２１２ フレーム領域決定部、 ２１４ データリクエスト部、 ２１６ データ受信部、 ２１８ デコード部、 ２２０ バッファメモリ、 ２２２ 表示画像処理部、 表示部２２４、 ２２６ エミュレート部、 ２２８ 画面データ生成部、 ２３０ ハードディスクドライブ、 ２３２ 階層データ生成部、 ２３４ 更新領域決定部、 ２３６ データ送信部。
【技術分野】
【０００１】
本発明は、ディスプレイに表示する画像を拡大／縮小、または上下左右に移動させる画像処理技術に関する。
【背景技術】
【０００２】
近年の画像処理技術の発展、ネットワークの充実化などにより、所望の情報を多様な端末を利用して取得し表示させることが可能となっている。例えばユーザが操作する端末と、実際の情報処理を実施する情報処理装置とを分離することにより、簡易な構成の携帯端末などでも所望の情報を表示することのできる技術が提案されている（例えば特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１０−２０１５９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
表示装置の画面を介して情報を得る態様において、所望の情報を効率よく得るためには、画像の表示や更新の効率性が重要な要因となる。ネットワークなどを介して入手できる情報は膨大であり、ユーザからの指示入力に対する画面表示の応答性の向上が望まれている。
【０００５】
本発明はこのような課題に鑑みてなされたものであり、その目的は、ユーザからの指示入力に対する画面表示の応答性を向上させることのできる画像処理技術を提供することにある。
【課題を解決するための手段】
【０００６】
本発明のある態様は画面出力装置に関する。この画面出力装置は、ユーザが入力装置に対して行った指示入力に係る情報を取得する入力情報取得部と、指示入力に応じて表示すべき画像を画面内に配置した基礎画面のデータを生成する画面データ生成部と、基礎画面を異なる解像度で表した複数の画像データを解像度順に階層化して構成される階層データを生成する階層データ生成部と、指示入力のうち画面のスクロール、拡大、縮小の指示入力に応じて、階層データのうち用いるデータを切り替えて出力画面を生成する表示画像処理部と、を備え、階層データ生成部は、指示入力によって基礎画面の少なくとも一部の領域を更新する必要が生じた際、階層データのうち該当する領域を更新することを特徴とする。
【０００７】
本発明の別の態様は画面出力システムに関する。この画面出力システムは、ユーザが操作する、ディスプレイを備えたユーザ端末と、ユーザ端末へのユーザの操作情報をネットワークを介して受信し、それに応じてユーザ端末のディスプレイへ表示すべき画面の画像データをユーザ端末へ送信する情報処理装置と、を備えた画面出力システムであって、情報処理装置は、ユーザの操作に応じてディスプレイへ表示すべき画像を画面内に配置した基礎画面のデータを生成する画面データ生成部と、基礎画面を異なる解像度で表した複数の画像データを解像度順に階層化して構成される階層データを生成する階層データ生成部と、を備え、ユーザ端末は、階層データを構成するデータブロックのうち、ユーザの操作による画面のスクロール、拡大、縮小の指示入力に応じて変化する出力画面の領域に基づいて決定したデータブロックを指定して情報処理装置に画像データを要求するデータ要求部と、要求に従い情報処理装置から送信された画像データを用いてディスプレイに表示する出力画面を生成する表示画像処理部と、を備え、階層データ生成部は、操作によって基礎画面の少なくとも一部の領域を更新する必要が生じた際、階層データのうち該当する領域を更新することを特徴とする。
【０００８】
本発明のさらに別の態様は画面出力方法に関する。この画面出力方法は、ユーザが入力装置に対して行った指示入力に係る情報を取得するステップと、指示入力に応じて表示すべき画像を画面内に配置した基礎画面のデータを生成するステップと、基礎画面を異なる解像度で表した複数の画像データを解像度順に階層化して構成される階層データを生成するステップと、指示入力によって基礎画面の少なくとも一部の領域を更新する必要が生じた際、階層データのうち該当する領域を更新するステップと、指示入力のうち画面のスクロール、拡大、縮小の指示入力に応じて、階層データのうち用いるデータを切り替えて出力画面を生成するステップと、を含むことを特徴とする。
【０００９】
本発明のさらに別の態様も画面出力方法に関する。この画面出力方法は、ユーザ端末へのユーザの操作に応じて、ネットワークを介して接続した情報処理装置が画面の画像データを作成してユーザ端末のディスプレイへ表示させる画面出力方法であって、情報処理装置において、ユーザの操作に応じてユーザ端末のディスプレイへ表示すべき画像を画面内に配置した基礎画面のデータを生成するステップと、基礎画面を異なる解像度で表した複数の画像データを解像度順に階層化して構成される階層データを生成するステップと、ユーザの操作によって基礎画面の少なくとも一部の領域を更新する必要が生じた際、階層データのうち該当する領域を更新するステップと、ユーザ端末において、階層データを構成するデータブロックのうち、操作による画面のスクロール、拡大、縮小の指示入力に応じて変化する出力画面の領域に基づいて決定したデータブロックを指定して情報処理装置に画像データを要求するステップと、要求に従い情報処理装置から送信された画像データを用いて前記ディスプレイに表示する出力画面を生成するステップと、を含むことを特徴とする。
【００１０】
なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システム、コンピュータプログラムなどの間で変換したものもまた、本発明の態様として有効である。
【発明の効果】
【００１１】
本発明によると、ユーザの指示入力に対して応答性および自由度の高い画面表示を実現できる。
【図面の簡単な説明】
【００１２】
【図１】実施の形態１に適用できる情報処理システムの使用環境を示す図である。
【図２】実施の形態１における情報処理装置の構成を示す図である。
【図３】実施の形態１において生成する階層データの概念図である。
【図４】実施の形態１における画像データの先読み処理を説明するための図である。
【図５】実施の形態１における制御部の構成を詳細に示す図である。
【図６】実施の形態１において基礎画面の一部を更新する際のタイル画像の更新手法を説明するための図である。
【図７】実施の形態１における画面表示の処理手順を示すフローチャートである。
【図８】実施の形態２における画面表示システムの構成を示す図である。
【図９】実施の形態２における携帯端末とＰＣの構成を詳細に示す図である。
【図１０】実施の形態２における画面表示の処理手順を示すシーケンス図である。
【図１１】実施の形態２における画面表示の処理手順を示すシーケンス図である。
【発明を実施するための形態】
【００１３】
実施の形態１
図１は本実施の形態を適用できる情報処理システムの使用環境を示す。同図に示すように情報処理システム１ａ、１ｂ、１ｃは、それぞれネットワーク３に接続可能に構成され、情報提供サーバ５とのデータの送受を行う。情報提供サーバ５は情報処理システム１ａ、１ｂ、１ｃからのリクエストに応じてウェブページのデータなど、リクエスト元の情報処理システム１ａ、１ｂ、１ｃにて表示可能な画像のデータや画像表示に必要な情報を送信する。情報処理システム１ａ、１ｂ、１ｃはネットワーク３へ有線または無線で接続する。情報提供サーバ５との接続手法やデータリクエスト、データ受信に係る手続きは一般的な技術を適用することができる。
【００１４】
情報処理システム１ａ、１ｂ、１ｃはそれぞれ、情報提供サーバ５とのデータの送受信や画像処理を実行する情報処理装置１０ａ、１０ｂ、１０ｃと、情報処理装置１０ａ、１０ｂ、１０ｃによる処理結果を出力する表示装置１２ａ、１２ｂ、１２ｃとを備える。表示装置１２ａ、１２ｂ、１２ｃは、画像を出力するディスプレイおよび音声を出力するスピーカを有するテレビであってよい。以後の説明では各符号を総称し、情報処理システム１、情報処理装置１０、表示装置１２とする。表示装置１２は、情報処理装置１０に有線ケーブルで接続されてよく、また無線ＬＡＮ（Local Area Network）などにより無線接続されてもよい。
【００１５】
情報処理装置１０は、ユーザからの要求に応じて表示装置１２に表示させる画像を更新する。当該更新には、メニュー画像や電子データのサムネイル画像からの選択入力に従って新たなウィンドウやファイルの内容を表示する場合や、情報提供サーバ５から取得したウェブページを表示する場合など、情報処理装置がデスクトップに対して行う更新処理でよい。
【００１６】
したがって表示装置１２に画面表示する画像のデータは、ユーザの要求に従い情報提供サーバ５から逐次取得したもののほか、情報処理装置１０が元から保持するデータでもよく、その組み合わせでもよい。情報処理装置１０はそのほか、ユーザからの要求に応じて、表示装置１２に表示させた画面のスクロールや拡大／縮小などの処理も行う。以後の説明では、ユーザの操作によってデスクトップなど画面内に表示する画像そのものを更新する場合を「基礎画面の更新」として、画面のスクロールや拡大／縮小などフレーム領域の更新と区別する。
【００１７】
図２は情報処理装置１０の構成を示している。情報処理装置１０は、入力装置２０、スイッチ４２、表示処理部４４、ハードディスクドライブ５０、記録媒体装着部５２、ディスクドライブ５４、メインメモリ６０、バッファメモリ７０および制御部１００を有して構成される。表示処理部４４は、表示装置１２のディスプレイに表示するデータをバッファするフレームメモリを有する。
【００１８】
入力装置２０はユーザが表示装置１２に表示された画面を見ながら行った要求、例えばカーソルを移動させたり、ファイルやコマンドを選択したりする要求や、画面のスクロール、拡大／縮小の要求を受け付け、制御部１００に信号として伝送する。入力装置２０はポインティングデバイス、マウス、キーボード、タッチパネル、ゲームコントローラ、ボタンなど一般的な入力装置で実現できる。入力装置２０と制御部１００は、Bluetooth（ブルートゥース）（登録商標）プロトコルやIEEE802.11プロトコルなどを用いて無線接続を確立してもよい。またはケーブルを介して接続してもよい。
【００１９】
スイッチ４２は、イーサネットスイッチ（イーサネットは登録商標）であって、外部の機器と有線または無線で接続して、データの送受信を行うデバイスである。スイッチ４２は、ケーブル１４を介して外部のネットワーク３に接続し、情報提供サーバ５から画像データなどを受信できるように構成される。
【００２０】
ハードディスクドライブ５０は、データを記憶する記憶装置として機能する。記録媒体装着部５２は、メモリカードなどのリムーバブル記録媒体が装着されると、リムーバブル記録媒体からデータを読み出す。ディスクドライブ５４は、読み出し専用のＲＯＭディスクが装着されると、ＲＯＭディスクを駆動して認識し、データを読み出す。ＲＯＭディスクは、光ディスクや光磁気ディスクなどであってよい。表示装置１２に表示する画像データ、各処理の実行に必要なプログラムや各種データは、ハードディスクドライブ５０や、リムーバブル記録媒体、ＲＯＭディスクなどに格納されていてよい。
【００２１】
制御部１００は、マルチコアＣＰＵを備え、１つのＣＰＵの中に１つの汎用的なプロセッサコアと、複数のシンプルなプロセッサコアを有する。汎用プロセッサコアはＰＰＵ（PowerPC Processor Unit）と呼ばれ、残りのプロセッサコアはＳＰＵ（Synergistic Processor Unit）と呼ばれる。
【００２２】
制御部１００は、メインメモリ６０およびバッファメモリ７０に接続するメモリコントローラを備える。ＰＰＵはレジスタを有し、演算実行主体としてメインプロセッサを備えて、実行するアプリケーションにおける基本処理単位としてのタスクを各ＳＰＵに効率的に割り当てる。なお、ＰＰＵ自身がタスクを実行してもよい。ＳＰＵはレジスタを有し、演算実行主体としてのサブプロセッサとローカルな記憶領域としてのローカルメモリを備える。ローカルメモリは、バッファメモリ７０として使用されてもよい。
【００２３】
メインメモリ６０およびバッファメモリ７０は記憶装置であり、ＲＡＭ（ランダムアクセスメモリ）として構成される。ＳＰＵは制御ユニットとして専用のＤＭＡ（Direct Memory Access）コントローラをもち、メインメモリ６０とバッファメモリ７０の間のデータ転送を高速に行うことができる。また表示処理部４４におけるフレームメモリとバッファメモリ７０の間で高速なデータ転送を実現できる。本実施の形態の制御部１００は、複数のＳＰＵを並列動作させることで、高速な画像処理機能を実現する。表示処理部４４は、表示装置１２に接続されて、ユーザからの要求に応じた画面を出力する。
【００２４】
本実施の形態において情報処理装置１０は、表示装置１２における表示画面を表す画像データから、当該画面を異なる解像度で表した複数の画像データからなる階層データを生成し、ハードディスクドライブ５０に保持しておく。そしてユーザの指示入力によって画面を拡大／縮小処理する際は、解像度に応じて描画に使用する画像データの階層を切り替える。このようにすることで、画面に表示されている画像の内容に関わらず、拡大や縮小を可能にするとともにその処理を迅速に行う。
【００２５】
例えば表示装置１２を居間のテレビジョンや会議場のプロジェクタなどとした場合、一般的にはパーソナルコンピュータ（ＰＣ）と比較して人と画面との間隔が広くなる。このため通常は、想定される間隔に応じて画面の面積を大きくすることにより、ＰＣと同様の視認性が得られるようにする。しかしながら、ＰＣのディスプレイを目の前にした人と異なり、画面内の注目したい領域に顔を近づけるようなことは容易でないうえ、画面の面積にも制約があるため、必ずしも同じ視認性を得られるわけではない。
【００２６】
そこで本実施の形態では、上述のような階層データを生成することにより表示画面の拡大縮小を自由かつ迅速に行えるようにして、いかなる表示環境においても、注目箇所を詳細に確認したり全体を俯瞰したりできるようにする。本実施の形態で表示対象とする画像はあらかじめ１つの画像として準備されているものに限らず、一般的なＰＣで表示可能ないかなる画面でもよい。
【００２７】
具体的には、表示画面上のアイコンを選択する入力によって当該アイコンが表す記憶領域に格納されたファイルのアイコンを表示したり、当該アイコンが表す文書ファイルや画像ファイルの内容を表示したりする場合が考えられる。あるいは表示画面上のウェブブラウザを操作する入力によって、所望のウェブページを表示したりする場合が考えられる。このような操作によって通常、ＰＣのディスプレイに表示される画面を「基礎画面」とする。
【００２８】
情報処理装置１０は、基礎画面に対して階層データを生成する。そして新たなウィンドウを開く指示入力がなされた場合など、基礎画面の一部を更新する必要が生じた場合、情報処理装置１０は階層データのうち、変化した領域のデータのみを各階層で更新する。基礎画面全体が変化した場合は階層データ全体を更新する。
【００２９】
図３は、本実施の形態において生成する階層データの概念図を示す。階層データは、深さ（Ｚ軸）方向に、第０階層３０、第１階層３２、第２階層３４および第３階層３６からなる階層構造を有する。なお同図においては４階層のみ示しているが、階層数はこれに限定されない。
【００３０】
図３に示す階層データは４分木の階層構造を有し、各階層は１以上のタイル画像３８で構成される。すべてのタイル画像３８は同じ画素数をもつ同一サイズに形成され、たとえば２５６×２５６画素を有する。各階層の画像データは、一つの画像を異なる解像度で表現しており、第３階層３６、第２階層３４、第１階層３２、第０階層３０の順で解像度が小さくなっている。たとえば第Ｎ階層の解像度（Ｎは０以上の整数）は、左右（Ｘ軸）方向、上下（Ｙ軸）方向ともに、第（Ｎ＋１）階層の解像度の１／２であってよい。
【００３１】
階層データは所定の圧縮形式で圧縮された状態でハードディスクドライブ５０に格納しておき、表示装置１２に表示される前にハードディスクドライブ５０から読み出してデコードする。ここで圧縮形式は限定されず、たとえばＳ３ＴＣ形式、ＪＰＥＧ形式、ＪＰＥＧ２０００形式のいずれでもよい。
【００３２】
階層データを生成する基礎画像は、画面の背景画像データ、アイコン、メニュー画像、ウェブページ、テキスト画像、静止画像、動画像など、ユーザの指示入力に応じて画面に表示すべき画像であればその種類および組み合わせは限定されない。情報処理装置１０は例えば基礎画面全体が表示装置１２に表示できるときの画像を第０階層３０とし、それを所定の３段階の解像度へ拡大することで第１階層３２、第２階層３４、第３階層３６を生成する。階層データを作成するときの縮尺の方向はこれに限らず、素材画像の解像度に応じて縮小しても拡大してもよい。
【００３３】
階層データの階層構造は、図３に示すように、左右方向をＸ軸、上下方向をＹ軸、深さ方向をＺ軸として設定され、仮想的な３次元空間を構築する。情報処理装置１０は、入力装置２０から供給される、画面のスクロールや拡大／縮小の指示入力信号からフレームの変更量を導出すると、その変更量を用いて仮想空間におけるフレームの４隅の座標（フレーム座標）を導出する。
【００３４】
仮想空間におけるフレーム座標は、後述するメインメモリ６０への圧縮データのロードおよびフレームの描画処理に利用される。さらに、階層データのうち優先的に更新すべき領域を決定するのに利用される。なお、仮想空間におけるフレーム座標の代わりに、情報処理装置１０は、階層を特定する情報と、その階層におけるテクスチャ座標（ＵＶ座標）を導出してもよい。以下、階層特定情報およびテクスチャ座標の組み合わせも、フレーム座標と呼ぶ。
【００３５】
情報処理装置１０は、画面の拡大／縮小処理やスクロール処理を行う際に表示をスムーズに更新するために、階層データの一部をハードディスクドライブ５０からメインメモリ６０にロードしておく。またそれまでのフレームの移動方向をもとに、将来表示するであろう領域を先読みし、メインメモリ６０にロードした画像データのさらに一部をデコードしてバッファメモリ７０に格納してもよい。これにより、後の必要なタイミングで、フレーム描画に使用する画像を瞬時に切り替えることが可能となる。
【００３６】
図４は、先読み処理を説明するための図である。同図は、階層データの構造を示しており、各階層はＬ０（第０階層）、Ｌ１（第１階層）、Ｌ２（第２階層）、Ｌ３（第３階層）と表現されている。図４に示す階層データ構造において、深さ（Ｚ軸）方向における位置は解像度を示し、Ｌ０に近い位置ほど解像度が低く、Ｌ３に近い位置ほど解像度は高い。なおディスプレイに表示される画像の大きさに注目すると、深さ方向における位置は、縮尺率に対応し、Ｌ３の表示画像の縮尺率を１とすると、Ｌ２における縮尺率は１／４、Ｌ１における縮尺率は１／１６となり、Ｌ０における縮尺率は１／６４となる。
【００３７】
したがって深さ方向において、フレームがＬ０側からＬ３側へ向かう方向に変化する場合、画面は拡大していき、Ｌ３側からＬ０側へ向かう方向に変化する場合は、画面は縮小していく。矢印８０は、ユーザからの指示入力信号が、画面の縮小を要求しており、縮尺率１／４（Ｌ２）をまたいだ様子を示している。情報処理装置１０では、タイル画像３８として用意しているＬ１、Ｌ２の深さ方向の位置を、深さ方向の先読み境界として設定し、指示入力信号が先読み境界をまたぐと、先読み処理を開始する。
【００３８】
画面の縮尺率がＬ２の近傍にある場合、フレームは、Ｌ２（第２階層）のタイル画像を用いて描画される。具体的には、画面の縮尺率が、Ｌ１タイル画像とＬ２タイル画像の切替境界８２と、Ｌ２タイル画像とＬ３タイル画像の切替境界８４の間にある場合に、Ｌ２タイル画像が利用される。したがって、矢印８０に示すように画面の縮小処理が要求されると、Ｌ２のタイル画像が拡大された画像から、縮小された画像に変換されて表示される。一方、指示入力信号から予測される将来必要なタイル画像３８を特定して、デコードしておく。図４の例では、画面の縮小指示によって縮尺率がＬ２をまたいだときに、情報処理装置１０は、縮小方向にあるＬ１の対応するタイル画像３８をハードディスクドライブ５０またはメインメモリ６０から先読みしてデコードし、バッファメモリ７０に書き込む。
【００３９】
なお以上は深さ方向の先読み処理について説明したが、上下左右方向の先読み処理についても同様に処理される。具体的には、バッファメモリ７０に展開されている画像データに先読み境界を設定しておき、画面をスクロールする指示入力信号によって表示位置が先読み境界をまたいだときに、先読み処理が開始されるようにする。
【００４０】
図５は制御部１００の構成を詳細に示している。なお同図においては本実施の形態で述べる画面表示技術に関する機能ブロックのみを示しているが、情報処理装置１０が実行するその他の処理は上述のように特に限定されず、それに応じて発生するさまざまな機能ブロックは図示を省略している。
【００４１】
制御部１００は、入力装置２０に対しユーザが行った操作に係る情報を取得する入力情報取得部１０２、ユーザの操作に応じて表示すべき基礎画面のデータを生成する画面データ生成部１０４、基礎画面のデータから階層データを生成する階層データ生成部１０６、表示するフレーム領域を逐次決定するフレーム領域決定部１０８、基礎画面のうち、ユーザの操作に応じて更新すべき領域を決定する更新領域決定部１１０、表示に必要なデータをハードディスクドライブ５０からロードするロード部１１２、画像データをデコードするデコード部１１４、表示画像を描画する表示画像処理部１１６を含む。
【００４２】
図５および後述の図９において、さまざまな処理を行う機能ブロックとして記載される各要素は、ハードウェア的には、ＣＰＵ（Central Processing Unit）、メモリ、その他のＬＳＩで構成することができ、ソフトウェア的には、メインメモリ６０にロードされたプログラムなどによって実現される。既述したように、制御部１００は１つのＰＰＵと複数のＳＰＵとを有し、ＰＰＵおよびＳＰＵがそれぞれ単独または協働して、各機能ブロックを構成できる。したがって、これらの機能ブロックがハードウェアのみ、ソフトウェアのみ、またはそれらの組合せによっていろいろな形で実現できることは当業者には理解されるところであり、いずれかに限定されるものではない。
【００４３】
入力情報取得部１０２は、ユーザが入力装置２０に入力した、ファイルやアプリケーションの選択などの各種コマンド、画面のスクロール、拡大／縮小などの指示入力に係る情報を入力装置２０より取得する。取得した情報は、必要に応じて画面データ生成部１０４、更新領域決定部１１０、フレーム領域決定部１０８に通知する。
【００４４】
画面データ生成部１０４は、入力情報取得部１０２から通知されたユーザの指示入力の内容に応じて基礎画面のデータを生成する。ここで基礎画面を構成する、背景画像、メニュー画像、アイコン画像、各種アプリケーションを実行した結果表示すべき画像、ウェブページ画像など個々の画像のデータは、その種類に応じてハードディスクドライブ５０や情報提供サーバ５から取得する。画面データ生成部１０４が行う処理は、一般的なＰＣが表示画面を生成する処理と同様でよい。生成した画面データは階層データ生成部１０６に供給する。
【００４５】
階層データ生成部１０６は、画面データ生成部１０４から基礎画面のデータを取得すると、それを所定の解像度に拡大／縮小することにより階層データを生成する。例えば上述のように、一般的なディスプレイにおける解像度を有する基礎画面を第０階層とし、それを所定の解像度に拡大した画像データを生成することで階層データとする。このとき、基礎画面に含まれる素材画像の原画像が第０階層の解像度より大きければ、高解像度側の階層は当該原画像のデータを用いて生成する。生成した階層データはハードディスクドライブ５０に圧縮符号化して格納する。
【００４６】
階層データ生成部１０６はさらに、ユーザの指示入力によって新たなウィンドウが開かれたり閉じられたりするなど、基礎画面の一部を更新する必要が生じた場合に、ハードディスクドライブ５０の階層データを更新する。更新に必要なデータは画面データ生成部１０４から取得する。このとき階層データ生成部１０６は、現在表示しているフレームおよびその近傍、あるいは上述の先読み処理によって表示されると予測される領域など、それまでのフレームとの関係性に基づきあらかじめ定めた規則によって決定できる領域内の更新を優先して行う。
【００４７】
フレーム領域決定部１０８は、ユーザが画面の拡大／縮小やスクロールを指示する入力を行ったとき、フレームレートの設定値によって定まる次の表示更新時刻までの移動量を算出することにより次のフレーム座標を決定する。ここでの移動量は、図３に示した仮想的な３次元空間における移動量である。
【００４８】
更新領域決定部１１０は、上述のように、フレーム領域決定部１０８が決定した次のフレームの領域やその近傍、あるいは直後に表示されると予測できる領域など、それまでのユーザの入力内容から決定できる領域内に更新すべき領域があるか否かを判定する。更新すべき領域がある場合は、あらかじめ各タイル画像に一意に与えられた識別情報のうち、更新すべき領域にかかっているタイル画像の識別情報を階層データ生成部１０６に通知する。またロード部１１２、デコード部１１４、表示画像処理部１１６にも必要に応じて通知する。これにより階層データ生成部１０６は該当するタイル画像の更新を優先的に実施する。
【００４９】
ロード部１１２は、階層データ生成部１０６が生成した階層データの少なくとも一部のタイル画像を必要に応じてハードディスクドライブ５０から読み出しメインメモリ６０に格納する。例えば所定の時間間隔で、現在表示されているフレームの描画に用いられているタイル画像を含む所定範囲内のタイル画像、および上下の階層における対応する領域を構成するタイル画像のうち、メインメモリ６０にロードされていないタイル画像の有無を確認する。該当するタイル画像があればハードディスクドライブ５０からロードする。
【００５０】
ロード部１１２はさらに、メインメモリ６０にロード済みのタイル画像が、ユーザの要求によって更新すべき領域にかかっている場合に、当該タイル画像の識別情報を更新領域決定部１１０から取得し、階層データ生成部１０６が更新済みの当該タイル画像のデータをハードディスクドライブ５０からロードし直す。この処理は、階層データ生成部１０６が直接、メインメモリ６０の該当タイル画像のデータを上書きすることによって行ってもよい。
【００５１】
デコード部１１４は、メインメモリ６０からタイル画像データの一部を読み出しデコードし、バッファメモリ７０にデコード後のデータを格納する。デコード対象のタイル画像は、現在のフレーム領域を含む所定範囲内のタイル画像である。あらかじめ広範囲の画像データをデコードし、バッファメモリ７０に格納しておくことにより、メインメモリ６０からの読み出し回数を削減でき、円滑なフレーム移動を実現できる。またバッファメモリ７０を２重バッファとし、先読み処理によって予測された領域を前もってデコードして格納しておいてもよい。
【００５２】
さらにデコード部１１４は、バッファメモリ７０に格納したデコード済みのタイル画像のいずれかが、ユーザの要求によって更新すべき領域にかかっている場合に、当該タイル画像の識別情報を更新領域決定部１１０から取得する。そして当該タイル画像の更新後のデータをメインメモリ６０から読み出しデコードし直す。
【００５３】
表示画像処理部１１６は、バッファメモリ７０からフレーム領域分の画像データを読み出して、表示処理部４４のフレームメモリに描画する。ユーザが画面のスクロールや拡大／縮小の要求を行っている間は、フレーム領域決定部１０８が逐次決定するフレーム座標に基づいてフレームの画像を更新していく。またフレーム座標に変化がなくても、基礎画面のうちフレーム領域内の画像が更新された場合は、当該情報を更新領域決定部１１０から取得し、バッファメモリ７０から更新後の画像データを再度読み出して画面を更新する。
【００５４】
図６は基礎画面の一部を更新する際のタイル画像の更新手法を説明するための図である。同図において最も外側の矩形の領域１３０は画面データ生成部１０４が作成する基礎画面を表している。階層データ生成部１０６が生成する階層データは、領域１３０の基礎画面を複数の解像度で表した画像データで構成される。基礎画面の領域１３０の内部に表された、２重線の矩形の領域１３４は、現在のフレームの領域とする。すなわち領域１３０で表される基礎画面のうち、領域１３４の部分が拡大表示されている。
【００５５】
ユーザの要求によって基礎画面の一部を更新するときに、上述のように優先的にタイル画像を更新すべき領域を、複数のマス目で構成される領域１３２のように決める。同図の例では当該領域は、現在のフレームの領域１３４にかかるタイル画像で構成される領域、としている。ここで領域１３２を構成するマス目はその一つ一つがタイル画像を表している。なお同図では領域１３２にのみタイル画像の区切りを示しているが、階層データを生成する全ての領域、すなわち基礎画面の領域１３０は全てタイル画像に区切られており、そのそれぞれに対し識別情報が与えられている。
【００５６】
優先的にタイル画像データを更新する領域を決定する規則は上述したものに限らず、例えばバッファメモリ７０にデータが格納されている領域、メインメモリ６０にロードされている領域、表示されると予測される領域、などでもよい。いずれの場合も、現在や過去のフレームの領域から必要性の高い領域を類推するための規則を準備しておく。以後、このような領域を「アクティブ領域」と呼ぶ。
【００５７】
ここで基礎画面の一部である、網掛けされた領域１３６を更新する必要が生じた場合を考える。このとき更新領域決定部１１０は、アクティブ領域１３２を構成するタイル画像のうち、更新すべき領域１３６にかかるタイル画像を検出する。同図においては太線矩形の領域１３８内にある４×４個のタイル画像がそれにあたる。当該検出処理は、同図に示すように、アクティブ領域１３２と更新すべき領域１３６とを統一した座標系で比較することにより容易に実行できる。
【００５８】
そして更新領域決定部１１０は、検出したタイル画像の識別情報を階層データ生成部１０６、ロード部１１２、デコード部１１４、表示画像処理部１１６に適宜通知する。これにより、検出したタイル画像について、ハードディスクドライブ５０における階層データの更新、メインメモリ６０におけるタイル画像データの更新、バッファメモリ７０におけるデコードされたデータの更新、画面の更新、が実現できる。なおアクティブ領域内のタイル画像の更新が終了したら、その他の更新すべきタイル画像も順次更新していく。そのため更新領域決定部１１０は、アクティブ領域以外で更新すべきタイル画像の識別情報も階層データ生成部１０６に通知しておく。
【００５９】
次に上記の構成によって実現できる情報処理装置１０の動作を説明する。図７は本実施の形態における画面表示の処理手順を示すフローチャートである。図７のフローチャートおよび後述する図１０、１１に示すシーケンス図においては、各部の処理手順を、ステップを意味するＳ（Ｓｔｅｐの頭文字）と数字との組み合わせによって表示する。また、Ｓと数字との組み合わせによって表示した処理で何らかの判断処理が実行され、その判断結果が肯定的であった場合は、Ｙ（Ｙｅｓの頭文字）を付加して、例えば、（Ｓ１０のＹ）と表示し、逆にその判断結果が否定的であった場合は、Ｎ（Ｎｏの頭文字）を付加して、（Ｓ１０のＮ）と表示する。
【００６０】
図７のフローチャートにおける処理は、ユーザが情報処理装置１０に対し画面表示開始の指示を入力したときに開始する。このとき情報処理装置１０は、ハードディスクドライブ５０から初期画面のデータをロードし、デコード、描画することによって表示装置１２に初期画面を表示する（Ｓ１０）。初期画面データは階層データに限らず、拡大、縮小を受け付けるか否かに応じて適宜決定してよい。
【００６１】
次にユーザが、初期画面上に表示したカーソルを入力装置２０を用いて操作するなどして、初期画面でない画面を表示させるような画面更新指示を入力すると（Ｓ１２）、画面データ生成部１０４が、画面を構成する各種画像をハードディスクドライブ５０や情報提供サーバ５から適宜取得して配置した、新たな画面のデータを生成する（Ｓ１４）。例えば背景画像上にアイコンやツールバー、カーソルなどをオーバーレイさせた画面のデータを生成する。これが基礎画面となる。
【００６２】
すると階層データ生成部１０６は、基礎画面を所定の解像度で表現した複数の画像データを生成することにより階層データを生成し、ハードディスクドライブ５０に格納する（Ｓ１６）。そしてロード部１１２、デコード部１１４、表示画像処理部１１６の連携処理によって、表示画面が初期画面から基礎画面へ更新される（Ｓ１８）。この状態でユーザによる次の入力を待機する（Ｓ２０のＮ、Ｓ２４のＮ）。
【００６３】
ユーザが入力装置２０を介して何らかの画面操作を行い（Ｓ２０のＹ）、当該操作によって基礎画面を更新する必要が生じたら（Ｓ２２のＹ）、画面データ生成部１０４は更新に必要な画像を新たに取得するなどして画面に配置したデータを生成し（Ｓ１４）、階層データ生成部１０６は更新対象のタイル画像のデータを更新する（Ｓ１６）。このとき上述のように、更新領域決定部１１０が検出した、アクティブ領域に含まれるタイル画像を優先的に更新する。
【００６４】
そしてロード部１１２、デコード部１１４が更新対象のタイル画像について各自データを更新することにより、表示画像処理部１１６が画面を更新する（Ｓ１８）。一方、ユーザが入力装置２０を介して何らかの画面操作を行い（Ｓ２０のＹ）、それが基礎画面を更新するものでなく、画面をスクロールまたは拡大／縮小するものであった場合は（Ｓ２２のＮ）、フレーム領域決定部１０８が順次フレーム座標を決定し、それに応じて表示画像処理部１１６がフレームを描画することにより画面が更新される（Ｓ１８）。
【００６５】
このとき、新たなフレーム領域のうち、バッファメモリ７０にデコードされていない領域が存在したり、メインメモリ６０に格納されていないタイル画像が存在したりする場合は、デコード部１１４やロード部１１２が適宜対象領域について処理を行う。ユーザによる画面操作の入力が行われず（Ｓ２０のＮ）、表示終了の指示入力がなされた場合は（Ｓ２４のＹ）、表示処理を終了する。
【００６６】
以上述べた本実施の形態によれば、ユーザによって表示内容が変化する画面の画像を階層データとしてリアルタイムに生成する。これにより、画面内に表示する画像の種類、数、配置などによらず、画面のスクロール、拡大／縮小が、ユーザによる要求に対して応答性よく実現できる。例えば文書閲覧アプリケーションによって文書を表示した画像の場合、元のテキストデータからフォントを選択して表示する一般的な技術と異なり、文字自体を画像として処理するため、適切なサイズのフォントデータを保持したり代替フォントを利用せずとも拡大／縮小表示が可能となる。
【００６７】
また、新たなウィンドウを開いたりアプリケーションの処理が進捗した場合など、基礎画面を部分的に更新する必要が生じた場合は、更新すべき領域のタイル画像のデータのみを更新することにより効率的に画面を更新する。このとき、現在のフレーム領域に基づき決定できる、表示される確率の高い領域を優先して更新することにより、階層データ更新のために画面出力が遅延する、といった状況が発生しにくくなる。
【００６８】
実施の形態２
実施の形態１では、一つの情報処理装置１０内部で行う表示処理について示した。本実施の形態では、情報処理装置が出力する画面を、当該情報処理装置に直接接続された表示装置に表示する代わりに、ギガビット・イーサネット（登録商標）などのネットワークに接続されたほかのディスプレイシステムのリモートディスプレイに表示する、リモートディスプレイの技術に適用する。この技術は例えば本発明者による特許出願の公開公報、特開２０１０−２０１５９に詳細に記載されている。
【００６９】
図８は本実施の形態における画面表示システムの構成を示している。同図の画面表示システム２００では、ネットワーク９００に接続されたＰＣ２０４が、同じネットワーク９００に接続された携帯端末２０２に画面表示する例を示している。ＰＣ２０４は携帯端末２０２からグラフィカルユーザインタフェース（ＧＵＩ）のデータを受信し、それをもとにキーボード／マウスのコマンドをエミュレートする。ＧＵＩのデータは携帯端末２０２のディスプレイに表示されたウィンドウやアイコンなどに対してＧＵＩを介してなされた操作コマンドなどを含む。
【００７０】
ＰＣ２０４は携帯端末２０２から受信したＧＵＩデータに基づいてキーボードやマウスの操作をエミュレーションすることにより、当該操作を行った場合に生成される信号を生成する。これにより、ＰＣ２０４に接続されたキーボードやマウスなどの入力デバイスを使って当該操作がなされたのと同様に画面データが生成される。ＰＣ２０４はこのようにして生成した画面データを圧縮符号化し携帯端末２０２に送信する。
【００７１】
本実施の形態では、ＰＣ２０４において画面の階層データを生成して保持する。そして携帯端末２０２においてユーザが入力した、画面のスクロールや拡大／縮小の要求に応じて、必要なタイル画像をＰＣ２０４から携帯端末２０２に送信する。その結果、同図に示すように、ＰＣ２０４において基礎画面２５２のデータがユーザの要求に応じてリアルタイムに生成され、携帯端末２０２のディスプレイには少なくともそのうちの一部の画面２５０が表示される。
【００７２】
図９は携帯端末２０２とＰＣ２０４の構成を詳細に示している。なお同図においては本実施の形態で述べる画面表示技術に関する機能ブロックのみを示しているが、実施の形態１と同様、携帯端末２０２やＰＣ２０４が実行するその他の処理は特に限定されず、それに応じて発生するさまざまな機能ブロックは図示を省略している。
【００７３】
携帯端末２０２は、ユーザからの指示入力を受け付ける入力部２０６、入力部２０６に対してユーザが行った操作に係る情報を取得する入力情報取得部２０８、ＧＵＩのデータをＰＣ２０４へ送信するＧＵＩデータ送信部２１０、表示するフレーム領域を逐次決定するフレーム領域決定部２１２、フレーム描画に必要な画像データをＰＣ２０４に対しリクエストするデータリクエスト部２１４、更新すべき領域の情報を記憶する更新領域リスト記憶部２１５を含む。ここで更新すべき領域の情報は、更新すべきタイル画像の識別情報のリストなどであり、以後、「更新領域リスト」と呼ぶ。
【００７４】
携帯端末２０２はさらに、ＰＣ２０４から送信された画像データを受信するデータ受信部２１６、画像データをデコードするデコード部２１８、デコードした画像データを格納するバッファメモリ２２０、表示画像を描画する表示画像処理部２２２、および画面を出力する表示部２２４を含む。
【００７５】
一方、ＰＣ２０４は、携帯端末２０２から送信されたＧＵＩデータをエミュレートするエミュレート部２２６、携帯端末２０２においてなされた操作に応じて基礎画面のデータを生成する画面データ生成部２２８、画面データから階層データを生成する階層データ生成部２３２、更新すべき領域を決定する更新領域決定部２３４、携帯端末２０２からのリクエストに応じて画像データを送信するデータ送信部２３６、生成した階層データを記憶するハードディスクドライブ２３０を含む。ＰＣ２０４はさらに、実施の形態１における情報処理装置１０と同様にメインメモリなどを適宜備えてよいが、ここでは図示を省略している。
【００７６】
携帯端末２０２の入力部２０６、入力情報取得部２０８、フレーム領域決定部２１２はそれぞれ、実施の形態１における入力装置２０、入力情報取得部１０２、フレーム領域決定部１０８と同様の機能を有する。ただし基礎画面の更新を発生させるようなコマンド入力については、その情報が入力情報取得部２０８からＧＵＩデータ送信部２１０に送信され、ＧＵＩデータ送信部２１０がＰＣ２０４へ送信する。
【００７７】
データリクエスト部２１４は、携帯端末２０２の画面表示のために新たなタイル画像が必要となった場合に、当該タイル画像の識別情報をＰＣ２０４に送信することによって画像データをリクエストする。ここで新たなタイル画像が必要になった場合とは、バッファメモリ２２０または図示しないメモリに格納済みのタイル画像以外のタイル画像が必要になった場合、あるいは、格納済みのタイル画像が更新対象に含まれていた場合である。後者の場合が発生したのを検出するために、データリクエスト部２１４は、ユーザが新たな画面操作を行ったときなど所定のタイミングで更新領域リスト記憶部２１５を参照し、格納済みのタイル画像の識別情報が更新領域リストに含まれているか否かを確認する。
【００７８】
格納済みのタイル画像以外のタイル画像が必要になった場合とは、ユーザの操作によってフレームが移動し、格納済みのタイル画像以外の領域に入ったとき、または入ると予測されるときである。このときの対象タイル画像の決定手法は、実施の形態１のロード部１１２によるメインメモリ６０へのロード対象、あるいはデコード部１１４によるデコード対象となるタイル画像の決定手法と同様でよい。
【００７９】
データリクエスト部２１４はさらに、フレームが移動する都度、フレーム座標に基づきアクティブ領域を決定し、その情報をＰＣ２０４へ送信する。アクティブ領域は、実施の形態１において述べたのと同様に、現在のフレームや過去のフレーム移動経路などから、あらかじめ定めた規則に従い決定する。
【００８０】
データ受信部２１６は、ＰＣ２０４から送信されたタイル画像のデータを受信し、デコード部２１８に供給する。あるいは実施の形態１と同様、図示しないメモリに一旦格納してもよい。デコード部２１８、バッファメモリ２２０、表示画像処理部２２２、表示部２２４はそれぞれ、実施の形態１におけるデコード部１１４、バッファメモリ７０、表示画像処理部１１６、表示装置１２と同様に機能する。
【００８１】
ＰＣ２０４のエミュレート部２２６は、携帯端末２０２からＧＵＩのデータを受信しエミュレートしてＰＣ２０４内部で有効な要求信号を発生させる。これによりＰＣ２０４側で、アイコンの選択、ファイルのオープン、ウェブページの表示、アプリケーションの進捗などが、携帯端末２０２で行われた操作に応じて実施される。画面データ生成部２２８、階層データ生成部２３２、更新領域決定部２３４はそれぞれ、実施の形態１の画面データ生成部１０４、階層データ生成部１０６、更新領域決定部１１０と同様に機能する。
【００８２】
ただし更新領域決定部２３４は、携帯端末２０２からアクティブ領域に係る情報を受信し、それに応じて、優先的に更新すべきタイル画像を決定する。そしてその識別情報を更新領域リストとして携帯端末２０２に送信する。データ送信部２３６は、携帯端末２０２のデータリクエスト部２１４から送信された、画像データのリクエストに応じ、リクエスト対象たるタイル画像の最新データをハードディスクドライブ２３０から読み出し携帯端末２０２に送信する。
【００８３】
次に上記の構成によって実現できる画面表示システムの動作を説明する。図１０、１１は本実施の形態における画面表示の処理手順を示すシーケンス図である。なお図が煩雑化しないように時間経過は適宜省略している。また携帯端末２０２でなされる操作の順序はこれに限定されない。このシーケンス図における処理は、ユーザが携帯端末２０２に対し画面表示開始の指示を入力したときに開始する。ユーザが表示開始を指示する入力を行うと（Ｓ３０）、ＧＵＩデータ送信部２１０が当該情報をＰＣ２０４に送信し、ＰＣ２０４のデータ送信部２３６が初期画面のデータを返信する（Ｓ３２）。
【００８４】
すると携帯端末２０２では送信された初期画面のデータをデコード、描画することによってディスプレイに初期画面を表示する（Ｓ３４）。次にユーザが、初期画面上に表示されたカーソルを操作するなどして、初期画面でない画面を表示させるような画面更新指示を入力すると（Ｓ３６）、当該情報はＰＣ２０４に送信され、画面データ生成部２２８が、画面を構成する各種画像をハードディスクドライブ５０や情報提供サーバ５から適宜取得して配置した基礎画面のデータを生成する（Ｓ３８）。
【００８５】
すると階層データ生成部２３２は、基礎画面を所定の解像度で表現した複数の画像データを生成することにより階層データを生成し、ハードディスクドライブ２３０に格納する（Ｓ４０）。そしてデータ送信部２３６が、作成した階層データに含まれるタイル画像のデータを携帯端末２０２に送信する（Ｓ４２）。このとき送信するタイル画像は設定によって様々考えられるが、例えば基礎画面全体を俯瞰できるように、最も解像度の低い第０階層のタイル画像を送信する。
【００８６】
すると携帯端末２０２では、データ受信部２１６、デコード部２１８、表示画像処理部２２２の連携処理によって、表示画面が初期画面から基礎画面へ更新される（Ｓ４４）。次にユーザがフレームの移動、すなわち画面のスクロールや拡大／縮小の指示入力を行うと（Ｓ４６）、フレーム領域決定部２１２が逐次フレーム座標を決定し、表示画像処理部２２２が新たなフレームを描画することにより表示画面が更新される（Ｓ４８）。このとき上述のとおり、必要に応じてＰＣ２０４から新たな画像データを取得し、バッファメモリ２２０にデコード後のデータを格納して描画に用いる。
【００８７】
フレーム領域が上記のように移動したら、携帯端末２０２のデータリクエスト部２１４は、フレーム領域に合わせて新たなアクティブ領域を導出し、当該情報をＰＣ２０４へ送信する（Ｓ５０）。図１１に移り、ユーザが基礎画面を更新する指示入力を行うと（Ｓ５２）、当該情報はＰＣ２０４に送信され、画面データ生成部２２８は更新に必要な画像を新たに取得するなどして基礎画面のデータを更新し（Ｓ５４）、階層データ生成部２３２は更新対象のタイル画像のデータを更新する（Ｓ５６）。このとき上述のように、携帯端末２０２から送信されたアクティブ領域に含まれるタイル画像を更新領域決定部２３４が検出し、当該タイル画像を優先的に更新する。
【００８８】
更新領域決定部２３４はさらに、当該タイル画像の識別情報を更新領域リストとして携帯端末２０２に送信する（Ｓ５８）。携帯端末２０２のデータリクエスト部２１４は、新たなタイル画像が必要になった際や、バッファメモリ２２０などに格納済みのタイル画像の識別情報が更新領域リストに含まれた際に、対象となるタイル画像の識別情報をＰＣ２０４へ送信することにより画像データをリクエストする（Ｓ６０）。
【００８９】
ＰＣ２０４のデータ送信部２３６はリクエストされたタイル画像のデータをハードディスクドライブ２３０から読み出し、携帯端末２０２に送信する（Ｓ６２）。携帯端末２０２のデータ受信部２１６が当該データを受信すると、デコード部２１８、表示画像処理部２２２が必要に応じてデコード、描画することにより表示画面が更新される（Ｓ６４）。
【００９０】
なお携帯端末２０２においてマウスポインタを表示させ、それによってユーザが指示入力を行う場合、ＰＣ２０４においても基礎画面上に当該マウスポインタを表示し連動させてもよい。ただしこの場合、当該マウスポインタの画像は、生成する階層データの画像からは除き、マウスポインタの位置情報のみを、入力されたコマンドの解釈に用いる。一方、ＰＣ２０４にはマウスポインタを表示させず、携帯端末２０２におけるマウスポインタの操作情報のみをＰＣ２０４へ送信するようにしてもよい。いずれも場合も、マウスポインタの画像は携帯端末２０２における画像表示時に重ね合わせて表示する。
【００９１】
以上述べた本実施の形態によれば、携帯端末にてユーザが行った操作をＰＣで実行してその表示画面を携帯端末に表示する画面表示システムにおいて、ユーザの操作によって変化する基礎画面の画像を階層データとして生成しＰＣ側で保持しておく。これにより、画面内に表示する画像の種類、数、配置などによらず、画面のスクロール、拡大／縮小が、ユーザによる要求に対して応答性よく実現できる。
【００９２】
また基礎画面が部分的に更新される場合、携帯端末は、現在のフレーム領域などに基づき決定できる、表示される確率の高い領域のうち、更新された領域を検出してＰＣへリクエストする。これにより必要性の高い画像データのみを迅速に取得でき、メモリなどのリソースの消費を抑えたうえで画面の更新を効率的に実行できる。
【００９３】
以上、本発明を実施の形態をもとに説明した。上記実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。
【符号の説明】
【００９４】
１ 情報処理システム、 １０ 情報処理装置、 １２ 表示装置、 ２０ 入力装置、 ３８ タイル画像、 ５０ ハードディスクドライブ、 ６０ メインメモリ、 ７０ バッファメモリ、 １００ 制御部、 １０２ 入力情報取得部、 １０４ 画面データ生成部、 １０６ 階層データ生成部、 １０８ フレーム領域決定部、 １１０ 更新領域決定部、 １１２ ロード部、 １１４ デコード部、 １１６ 表示画像処理部、 ２００ 画面表示システム、 ２０２ 携帯端末、 ２０４ ＰＣ、 ２０６ 入力部、 ２０８ 入力情報取得部、 ２１０ ＧＵＩデータ送信部、 ２１２ フレーム領域決定部、 ２１４ データリクエスト部、 ２１６ データ受信部、 ２１８ デコード部、 ２２０ バッファメモリ、 ２２２ 表示画像処理部、 表示部２２４、 ２２６ エミュレート部、 ２２８ 画面データ生成部、 ２３０ ハードディスクドライブ、 ２３２ 階層データ生成部、 ２３４ 更新領域決定部、 ２３６ データ送信部。
【特許請求の範囲】
【請求項１】
ユーザが入力装置に対して行った指示入力に係る情報を取得する入力情報取得部と、
前記指示入力に応じて表示すべき画像を画面内に配置した基礎画面のデータを生成する画面データ生成部と、
前記基礎画面を異なる解像度で表した複数の画像データを解像度順に階層化して構成される階層データを生成する階層データ生成部と、
前記指示入力のうち画面のスクロール、拡大、縮小の指示入力に応じて、前記階層データのうち用いるデータを切り替えて出力画面を生成する表示画像処理部と、
を備え、
前記階層データ生成部は、前記指示入力によって前記基礎画面の少なくとも一部の領域を更新する必要が生じた際、前記階層データのうち該当する領域を更新することを特徴とする画面出力装置。
【請求項２】
前記指示入力によって前記基礎画面の少なくとも一部の領域を更新する必要が生じた際、前記基礎画面のうち前記出力画面の領域を含む所定範囲のアクティブ領域と、更新すべき領域とを比較し、前記アクティブ領域に含まれる更新すべき領域を優先更新領域として、前記階層データ生成部にその情報を通知する更新領域決定部をさらに備え、
前記階層データ生成部は、前記階層データのうち前記優先更新領域のデータを優先して更新することを特徴とする請求項１に記載の画面出力装置。
【請求項３】
前記更新領域決定部は、前記優先更新領域の情報を前記表示画像処理部に通知し、
前記表示画像処理部は、前記優先更新領域の情報に基づき出力画面の更新部分を更新することを特徴とする請求項２に記載の画面出力装置。
【請求項４】
前記階層データのうち前記アクティブ領域に対応する画像データをデコードしたデータを格納するバッファメモリをさらに備え、
前記表示画像処理部は、前記バッファメモリに格納された画像データのうち出力画面の領域のデータを読み出して出力画面を生成することを特徴とする請求項２または３に記載の画面出力装置。
【請求項５】
ユーザが操作する、ディスプレイを備えたユーザ端末と、前記ユーザ端末へのユーザの操作情報をネットワークを介して受信し、それに応じて前記ディスプレイへ表示すべき画面の画像データを前記ユーザ端末へ送信する情報処理装置と、を備えた画面出力システムであって、
前記情報処理装置は、
前記操作に応じて前記ディスプレイへ表示すべき画像を画面内に配置した基礎画面のデータを生成する画面データ生成部と、
前記基礎画面を異なる解像度で表した複数の画像データを解像度順に階層化して構成される階層データを生成する階層データ生成部と、を備え、
前記ユーザ端末は、
前記階層データを構成するデータブロックのうち、前記操作による画面のスクロール、拡大、縮小の指示入力に応じて変化する出力画面の領域に基づいて決定したデータブロックを指定して前記情報処理装置に画像データを要求するデータ要求部と、
前記要求に従い前記情報処理装置から送信された画像データを用いて前記ディスプレイに表示する出力画面を生成する表示画像処理部と、を備え、
前記階層データ生成部は、前記操作によって前記基礎画面の少なくとも一部の領域を更新する必要が生じた際、前記階層データのうち該当する領域を更新することを特徴とする画面出力システム。
【請求項６】
前記情報処理装置は、
前記操作によって前記基礎画面の少なくとも一部の領域を更新する必要が生じた際、前記基礎画面のうち前記出力画面の領域を含む所定範囲のアクティブ領域と、更新すべき領域とを比較し、前記アクティブ領域に含まれる更新すべき領域を優先更新領域として、前記階層データ生成部にその情報を通知する更新領域決定部をさらに備え、
前記階層データ生成部は、前記階層データのうち前記優先更新領域のデータを優先して更新することを特徴とする請求項５に記載の画面出力システム。
【請求項７】
前記更新領域決定部は、前記優先更新領域の情報を前記ユーザ端末に通知し、
前記ユーザ端末の前記データ要求部は、前記情報処理装置から以前に送信された画像データに前記優先更新領域のデータが含まれていた場合に、該当するデータブロックを指定して前記情報処理装置に画像データを要求し、
表示画像処理部は新たに送信された画像データを用いて前記ディスプレイに表示する出力画面を生成することを特徴とする請求項６に記載の画面出力システム。
【請求項８】
前記更新領域決定部は、前記ユーザ端末において、前記操作による画面のスクロール、拡大、縮小の指示入力に応じて出力画面の領域が変化した際、前記アクティブ領域の情報を前記ユーザ端末から取得することを特徴とする請求項６または７に記載の画面出力システム。
【請求項９】
ユーザが入力装置に対して行った指示入力に係る情報を取得するステップと、
前記指示入力に応じて表示すべき画像を画面内に配置した基礎画面のデータを生成するステップと、
前記基礎画面を異なる解像度で表した複数の画像データを解像度順に階層化して構成される階層データを生成するステップと、
前記指示入力によって前記基礎画面の少なくとも一部の領域を更新する必要が生じた際、前記階層データのうち該当する領域を更新するステップと、
前記指示入力のうち画面のスクロール、拡大、縮小の指示入力に応じて、前記階層データのうち用いるデータを切り替えて出力画面を生成するステップと、
を含むことを特徴とする画面出力方法。
【請求項１０】
ユーザ端末へのユーザの操作に応じて、ネットワークを介して接続した情報処理装置が画面の画像データを作成して前記ユーザ端末のディスプレイへ表示させる画面出力方法であって、
前記情報処理装置において、
前記操作に応じて前記ディスプレイへ表示すべき画像を画面内に配置した基礎画面のデータを生成するステップと、
前記基礎画面を異なる解像度で表した複数の画像データを解像度順に階層化して構成される階層データを生成するステップと、
前記操作によって前記基礎画面の少なくとも一部の領域を更新する必要が生じた際、前記階層データのうち該当する領域を更新するステップと、
前記ユーザ端末において、
前記階層データを構成するデータブロックのうち、前記操作による画面のスクロール、拡大、縮小の指示入力に応じて変化する出力画面の領域に基づいて決定したデータブロックを指定して前記情報処理装置に画像データを要求するステップと、
前記要求に従い前記情報処理装置から送信された画像データを用いて前記ディスプレイに表示する出力画面を生成するステップと、
を含むことを特徴とする画面出力方法。
【請求項１１】
ユーザが入力装置に対して行った指示入力に係る情報を取得する機能と、
前記指示入力に応じて表示すべき画像を画面内に配置した基礎画面のデータを生成する機能と、
前記基礎画面を異なる解像度で表した複数の画像データを解像度順に階層化して構成される階層データを生成する機能と、
前記指示入力によって前記基礎画面の少なくとも一部の領域を更新する必要が生じた際、前記階層データのうち該当する領域を更新する機能と、
前記指示入力のうち画面のスクロール、拡大、縮小の指示入力に応じて、前記階層データのうち用いるデータを切り替えて出力画面を生成する機能と、
をコンピュータに実現させることを特徴とするコンピュータプログラム。
【請求項１２】
ネットワークを介して接続したユーザ端末へのユーザの操作に応じて、前記ユーザ端末のディスプレイへ表示すべき画面の画像データを前記ユーザ端末へ送信する機能をコンピュータに実現させるコンピュータプログラムであって、
前記操作に応じて前記ディスプレイへ表示すべき画像を画面内に配置した基礎画面のデータを生成する機能と、
前記基礎画面を異なる解像度で表した複数の画像データを解像度順に階層化して構成される階層データを生成する機能と、
前記操作によって前記基礎画面の少なくとも一部の領域を更新する必要が生じた際、前記階層データのうち該当する領域を更新する機能と、
前記ユーザ端末から、前記階層データを構成するデータブロックのうち、前記操作による画面のスクロール、拡大、縮小の指示入力に応じて変化する出力画面の領域に基づいて決定したデータブロックの指定を受け付け、指定された画像データを前記ユーザ端末へ送信する機能と、
をコンピュータに実現させることを特徴とするコンピュータプログラム。
【請求項１３】
ユーザが入力装置に対して行った指示入力に係る情報を取得する機能と、
前記指示入力に応じて表示すべき画像を画面内に配置した基礎画面のデータを生成する機能と、
前記基礎画面を異なる解像度で表した複数の画像データを解像度順に階層化して構成される階層データを生成する機能と、
前記指示入力によって前記基礎画面の少なくとも一部の領域を更新する必要が生じた際、前記階層データのうち該当する領域を更新する機能と、
前記指示入力のうち画面のスクロール、拡大、縮小の指示入力に応じて、前記階層データのうち用いるデータを切り替えて出力画面を生成する機能と、
をコンピュータに実現させることを特徴とするコンピュータプログラムを記録した記録媒体。
【請求項１４】
ネットワークを介して接続したユーザ端末へのユーザの操作に応じて、前記ユーザ端末のディスプレイへ表示すべき画面の画像データを前記ユーザ端末へ送信する機能をコンピュータに実現させるコンピュータプログラムを記録した記録媒体であって、
前記操作に応じて前記ディスプレイへ表示すべき画像を画面内に配置した基礎画面のデータを生成する機能と、
前記基礎画面を異なる解像度で表した複数の画像データを解像度順に階層化して構成される階層データを生成する機能と、
前記操作によって前記基礎画面の少なくとも一部の領域を更新する必要が生じた際、前記階層データのうち該当する領域を更新する機能と、
前記ユーザ端末から、前記階層データを構成するデータブロックのうち、前記操作による画面のスクロール、拡大、縮小の指示入力に応じて変化する出力画面の領域に基づいて決定したデータブロックの指定を受け付け、指定された画像データを前記ユーザ端末へ送信する機能と、
をコンピュータに実現させることを特徴とするコンピュータプログラムを記録した記録媒体。
【請求項１】
ユーザが入力装置に対して行った指示入力に係る情報を取得する入力情報取得部と、
前記指示入力に応じて表示すべき画像を画面内に配置した基礎画面のデータを生成する画面データ生成部と、
前記基礎画面を異なる解像度で表した複数の画像データを解像度順に階層化して構成される階層データを生成する階層データ生成部と、
前記指示入力のうち画面のスクロール、拡大、縮小の指示入力に応じて、前記階層データのうち用いるデータを切り替えて出力画面を生成する表示画像処理部と、
を備え、
前記階層データ生成部は、前記指示入力によって前記基礎画面の少なくとも一部の領域を更新する必要が生じた際、前記階層データのうち該当する領域を更新することを特徴とする画面出力装置。
【請求項２】
前記指示入力によって前記基礎画面の少なくとも一部の領域を更新する必要が生じた際、前記基礎画面のうち前記出力画面の領域を含む所定範囲のアクティブ領域と、更新すべき領域とを比較し、前記アクティブ領域に含まれる更新すべき領域を優先更新領域として、前記階層データ生成部にその情報を通知する更新領域決定部をさらに備え、
前記階層データ生成部は、前記階層データのうち前記優先更新領域のデータを優先して更新することを特徴とする請求項１に記載の画面出力装置。
【請求項３】
前記更新領域決定部は、前記優先更新領域の情報を前記表示画像処理部に通知し、
前記表示画像処理部は、前記優先更新領域の情報に基づき出力画面の更新部分を更新することを特徴とする請求項２に記載の画面出力装置。
【請求項４】
前記階層データのうち前記アクティブ領域に対応する画像データをデコードしたデータを格納するバッファメモリをさらに備え、
前記表示画像処理部は、前記バッファメモリに格納された画像データのうち出力画面の領域のデータを読み出して出力画面を生成することを特徴とする請求項２または３に記載の画面出力装置。
【請求項５】
ユーザが操作する、ディスプレイを備えたユーザ端末と、前記ユーザ端末へのユーザの操作情報をネットワークを介して受信し、それに応じて前記ディスプレイへ表示すべき画面の画像データを前記ユーザ端末へ送信する情報処理装置と、を備えた画面出力システムであって、
前記情報処理装置は、
前記操作に応じて前記ディスプレイへ表示すべき画像を画面内に配置した基礎画面のデータを生成する画面データ生成部と、
前記基礎画面を異なる解像度で表した複数の画像データを解像度順に階層化して構成される階層データを生成する階層データ生成部と、を備え、
前記ユーザ端末は、
前記階層データを構成するデータブロックのうち、前記操作による画面のスクロール、拡大、縮小の指示入力に応じて変化する出力画面の領域に基づいて決定したデータブロックを指定して前記情報処理装置に画像データを要求するデータ要求部と、
前記要求に従い前記情報処理装置から送信された画像データを用いて前記ディスプレイに表示する出力画面を生成する表示画像処理部と、を備え、
前記階層データ生成部は、前記操作によって前記基礎画面の少なくとも一部の領域を更新する必要が生じた際、前記階層データのうち該当する領域を更新することを特徴とする画面出力システム。
【請求項６】
前記情報処理装置は、
前記操作によって前記基礎画面の少なくとも一部の領域を更新する必要が生じた際、前記基礎画面のうち前記出力画面の領域を含む所定範囲のアクティブ領域と、更新すべき領域とを比較し、前記アクティブ領域に含まれる更新すべき領域を優先更新領域として、前記階層データ生成部にその情報を通知する更新領域決定部をさらに備え、
前記階層データ生成部は、前記階層データのうち前記優先更新領域のデータを優先して更新することを特徴とする請求項５に記載の画面出力システム。
【請求項７】
前記更新領域決定部は、前記優先更新領域の情報を前記ユーザ端末に通知し、
前記ユーザ端末の前記データ要求部は、前記情報処理装置から以前に送信された画像データに前記優先更新領域のデータが含まれていた場合に、該当するデータブロックを指定して前記情報処理装置に画像データを要求し、
表示画像処理部は新たに送信された画像データを用いて前記ディスプレイに表示する出力画面を生成することを特徴とする請求項６に記載の画面出力システム。
【請求項８】
前記更新領域決定部は、前記ユーザ端末において、前記操作による画面のスクロール、拡大、縮小の指示入力に応じて出力画面の領域が変化した際、前記アクティブ領域の情報を前記ユーザ端末から取得することを特徴とする請求項６または７に記載の画面出力システム。
【請求項９】
ユーザが入力装置に対して行った指示入力に係る情報を取得するステップと、
前記指示入力に応じて表示すべき画像を画面内に配置した基礎画面のデータを生成するステップと、
前記基礎画面を異なる解像度で表した複数の画像データを解像度順に階層化して構成される階層データを生成するステップと、
前記指示入力によって前記基礎画面の少なくとも一部の領域を更新する必要が生じた際、前記階層データのうち該当する領域を更新するステップと、
前記指示入力のうち画面のスクロール、拡大、縮小の指示入力に応じて、前記階層データのうち用いるデータを切り替えて出力画面を生成するステップと、
を含むことを特徴とする画面出力方法。
【請求項１０】
ユーザ端末へのユーザの操作に応じて、ネットワークを介して接続した情報処理装置が画面の画像データを作成して前記ユーザ端末のディスプレイへ表示させる画面出力方法であって、
前記情報処理装置において、
前記操作に応じて前記ディスプレイへ表示すべき画像を画面内に配置した基礎画面のデータを生成するステップと、
前記基礎画面を異なる解像度で表した複数の画像データを解像度順に階層化して構成される階層データを生成するステップと、
前記操作によって前記基礎画面の少なくとも一部の領域を更新する必要が生じた際、前記階層データのうち該当する領域を更新するステップと、
前記ユーザ端末において、
前記階層データを構成するデータブロックのうち、前記操作による画面のスクロール、拡大、縮小の指示入力に応じて変化する出力画面の領域に基づいて決定したデータブロックを指定して前記情報処理装置に画像データを要求するステップと、
前記要求に従い前記情報処理装置から送信された画像データを用いて前記ディスプレイに表示する出力画面を生成するステップと、
を含むことを特徴とする画面出力方法。
【請求項１１】
ユーザが入力装置に対して行った指示入力に係る情報を取得する機能と、
前記指示入力に応じて表示すべき画像を画面内に配置した基礎画面のデータを生成する機能と、
前記基礎画面を異なる解像度で表した複数の画像データを解像度順に階層化して構成される階層データを生成する機能と、
前記指示入力によって前記基礎画面の少なくとも一部の領域を更新する必要が生じた際、前記階層データのうち該当する領域を更新する機能と、
前記指示入力のうち画面のスクロール、拡大、縮小の指示入力に応じて、前記階層データのうち用いるデータを切り替えて出力画面を生成する機能と、
をコンピュータに実現させることを特徴とするコンピュータプログラム。
【請求項１２】
ネットワークを介して接続したユーザ端末へのユーザの操作に応じて、前記ユーザ端末のディスプレイへ表示すべき画面の画像データを前記ユーザ端末へ送信する機能をコンピュータに実現させるコンピュータプログラムであって、
前記操作に応じて前記ディスプレイへ表示すべき画像を画面内に配置した基礎画面のデータを生成する機能と、
前記基礎画面を異なる解像度で表した複数の画像データを解像度順に階層化して構成される階層データを生成する機能と、
前記操作によって前記基礎画面の少なくとも一部の領域を更新する必要が生じた際、前記階層データのうち該当する領域を更新する機能と、
前記ユーザ端末から、前記階層データを構成するデータブロックのうち、前記操作による画面のスクロール、拡大、縮小の指示入力に応じて変化する出力画面の領域に基づいて決定したデータブロックの指定を受け付け、指定された画像データを前記ユーザ端末へ送信する機能と、
をコンピュータに実現させることを特徴とするコンピュータプログラム。
【請求項１３】
ユーザが入力装置に対して行った指示入力に係る情報を取得する機能と、
前記指示入力に応じて表示すべき画像を画面内に配置した基礎画面のデータを生成する機能と、
前記基礎画面を異なる解像度で表した複数の画像データを解像度順に階層化して構成される階層データを生成する機能と、
前記指示入力によって前記基礎画面の少なくとも一部の領域を更新する必要が生じた際、前記階層データのうち該当する領域を更新する機能と、
前記指示入力のうち画面のスクロール、拡大、縮小の指示入力に応じて、前記階層データのうち用いるデータを切り替えて出力画面を生成する機能と、
をコンピュータに実現させることを特徴とするコンピュータプログラムを記録した記録媒体。
【請求項１４】
ネットワークを介して接続したユーザ端末へのユーザの操作に応じて、前記ユーザ端末のディスプレイへ表示すべき画面の画像データを前記ユーザ端末へ送信する機能をコンピュータに実現させるコンピュータプログラムを記録した記録媒体であって、
前記操作に応じて前記ディスプレイへ表示すべき画像を画面内に配置した基礎画面のデータを生成する機能と、
前記基礎画面を異なる解像度で表した複数の画像データを解像度順に階層化して構成される階層データを生成する機能と、
前記操作によって前記基礎画面の少なくとも一部の領域を更新する必要が生じた際、前記階層データのうち該当する領域を更新する機能と、
前記ユーザ端末から、前記階層データを構成するデータブロックのうち、前記操作による画面のスクロール、拡大、縮小の指示入力に応じて変化する出力画面の領域に基づいて決定したデータブロックの指定を受け付け、指定された画像データを前記ユーザ端末へ送信する機能と、
をコンピュータに実現させることを特徴とするコンピュータプログラムを記録した記録媒体。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図９】
【図１０】
【図１１】
【図８】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図９】
【図１０】
【図１１】
【図８】
【公開番号】特開２０１２−１４６４０（Ｐ２０１２−１４６４０Ａ）
【公開日】平成２４年１月１９日（２０１２．１．１９）
【国際特許分類】
【出願番号】特願２０１０−１５３２０１（Ｐ２０１０−１５３２０１）
【出願日】平成２２年７月５日（２０１０．７．５）
【出願人】（３１００２１７６６）株式会社ソニー・コンピュータエンタテインメント (417)
【Ｆターム（参考）】
【公開日】平成２４年１月１９日（２０１２．１．１９）
【国際特許分類】
【出願日】平成２２年７月５日（２０１０．７．５）
【出願人】（３１００２１７６６）株式会社ソニー・コンピュータエンタテインメント (417)
【Ｆターム（参考）】
[ Back to top ]