画像データ処理装置、画像データ処理方法およびプログラム
【課題】画像が表示される際のユーザの待ち時間を短縮させるために必要な、デコードされた画像データを用意しておくことができる画像データ処理装置を提供する。
【解決手段】画像データ処理装置１００は、表示装置２００による画像の表示を制御する出力制御デバイス１０６と、出力制御デバイス１０６が表示装置２００の表示画面２０２に表示させたい複数の画像の画像データのそれぞれにデコード優先度を設定するＣＰＵ１１２と、ＣＰＵ１１２により設定されたデコード優先度に従って、画像データのそれぞれにデコード処理を施すデコーダ１０４と、デコード処理が施されたデコード済みの画像データのそれぞれを記憶するＲＡＭ１１４とを備え、ＣＰＵ１１２は、ＲＡＭ１１４に記憶されたデコード済みの画像データのそれぞれに破棄優先度を設定し、設定された破棄優先度に従って、ＲＡＭ１１４に記憶されたデコード済みの画像データの破棄を行う。
【解決手段】画像データ処理装置１００は、表示装置２００による画像の表示を制御する出力制御デバイス１０６と、出力制御デバイス１０６が表示装置２００の表示画面２０２に表示させたい複数の画像の画像データのそれぞれにデコード優先度を設定するＣＰＵ１１２と、ＣＰＵ１１２により設定されたデコード優先度に従って、画像データのそれぞれにデコード処理を施すデコーダ１０４と、デコード処理が施されたデコード済みの画像データのそれぞれを記憶するＲＡＭ１１４とを備え、ＣＰＵ１１２は、ＲＡＭ１１４に記憶されたデコード済みの画像データのそれぞれに破棄優先度を設定し、設定された破棄優先度に従って、ＲＡＭ１１４に記憶されたデコード済みの画像データの破棄を行う。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像データ処理装置、画像データ処理方法およびプログラムに関する。
【背景技術】
【０００２】
ディスプレイなどの表示装置に大量の画像を表示させる機会は数多く存在する。表示装置に大量の画像を表示させる場合、表示させたい画像が表示装置の表示画面に収まりきらないときが多々ある。このとき、表示画面外に位置する画像についても、ユーザの操作などによって表示画面内に入ってきたときにすぐに表示できるように、その画像の画像データについて予め復号化（デコード）を行っておくことが望ましい。
【０００３】
予め画像データのデコードを行うための技術として、例えば特許文献１では、デコードを行う画像データをユーザによる操作の方向に基づいて決定している。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００９−１０９８８０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、上述した特許文献１の技術では、デコードを行う画像データを決定するための操作情報としてユーザ自身が直前に行った１回の操作のみの操作情報を利用しており、当該操作情報はデコードを行う画像データの予測処理を適切に行うための情報としては不十分である。
【０００６】
また、通常の装置では、利用可能なメモリの上限バイト数が存在するため、デコードされた画像データをメモリ上に恒久的に保持しておくことはできない。そのため、メモリの利用バイト数が限界値に達する前に、デコードされた画像データを破棄する必要が生じるが、上述した特許文献１の技術では、画像データを破棄する際にどの画像データを優先的に破棄すべきかの判断を行っていないため、破棄すべきではない画像データが先に破棄されてしまうなどの不都合が生じる場合がある。
【０００７】
そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、画像が表示される際のユーザの待ち時間を短縮させるために必要な、デコードされた画像データを用意しておくことが可能な、新規かつ改良された画像データ処理装置、画像データ処理方法およびプログラムを提供することにある。
【課題を解決するための手段】
【０００８】
上記課題を解決するために、本発明のある観点によれば、表示装置による画像の表示を制御する表示制御部と、前記表示制御部が前記表示装置の表示画面に表示させたい複数の画像の画像データのそれぞれにデコード優先度を設定するデコード優先度設定部と、前記デコード優先度設定部により設定されたデコード優先度に従って、前記画像データのそれぞれにデコード処理を施すデコード部と、前記デコード部によりデコード処理が施されたデコード済みの画像データのそれぞれを記憶する記憶部とを備える画像データ処理装置が提供される。
【０００９】
前記デコード優先度設定部は、前記複数の画像の画像データのそれぞれの位置情報を取得して、取得した位置情報に基づいて、前記複数の画像の画像データのそれぞれにデコード優先度を設定してもよい。
【００１０】
前記デコード優先度設定部は、前記複数の画像の画像データのそれぞれの画素数情報を取得して、取得した画素数情報に基づいて、前記複数の画像の画像データのそれぞれにデコード優先度を設定してもよい。
【００１１】
前記デコード優先度設定部は、ユーザの操作履歴情報を取得して、取得した操作履歴情報に基づいて、前記複数の画像の画像データのそれぞれにデコード優先度を設定してもよい。
【００１２】
前記デコード優先度設定部は、前記複数の画像の画像データのそれぞれのメタ情報を取得して、取得したメタ情報に含まれる表示優先度に基づいて、前記複数の画像の画像データのそれぞれにデコード優先度を設定してもよい。前記デコード優先度設定部は、メタ情報として画像データそのものに埋め込まれているものを利用してもよいし、外部から取得したものを利用してもよい。
【００１３】
前記デコード優先度設定部は、前記複数の画像の画像データのそれぞれの前記表示画面における表示面積情報を取得して、取得した表示面積情報に基づいて、前記複数の画像の画像データのそれぞれにデコード優先度を設定してもよい。
【００１４】
前記記憶部に記憶された前記デコード済みの画像データのそれぞれに破棄優先度を設定する破棄優先度設定部と、前記破棄優先度設定部により設定された破棄優先度に従って、前記記憶部に記憶された前記デコード済みの画像データの破棄を行う破棄部とをさらに備えてもよい。
【００１５】
また、上記課題を解決するために、本発明の別の観点によれば、表示装置による画像の表示を制御する表示制御部と、前記表示制御部が前記表示装置の表示画面に表示させたい複数の画像の画像データのそれぞれにデコード処理を施すデコード部と、前記デコード部によりデコード処理が施されたデコード済みの画像データのそれぞれを記憶する記憶部と、前記記憶部に記憶された前記デコード済みの画像データのそれぞれに破棄優先度を設定する破棄優先度設定部と、前記破棄優先度設定部により設定された破棄優先度に従って、前記記憶部に記憶された前記デコード済みの画像データの破棄を行う破棄部とを備える画像データ処理装置が提供される。
【００１６】
前記破棄優先度設定部は、前記記憶部に記憶された前記デコード済みの画像データのそれぞれの位置情報を取得して、取得した位置情報に基づいて、前記記憶部に記憶された前記デコード済みの画像データのそれぞれに破棄優先度を設定してもよい。
【００１７】
前記破棄優先度設定部は、前記記憶部に記憶された前記デコード済みの画像データのそれぞれの画素数情報を取得して、取得した画素数情報に基づいて、前記記憶部に記憶された前記デコード済みの画像データのそれぞれに破棄優先度を設定してもよい。
【００１８】
前記破棄優先度設定部は、ユーザの操作履歴情報を取得して、取得した操作履歴情報に基づいて、前記記憶部に記憶された前記デコード済みの画像データのそれぞれに破棄優先度を設定してもよい。
【００１９】
前記破棄優先度設定部は、前記記憶部に記憶された前記デコード済みの画像データのそれぞれのメタ情報を取得して、取得したメタ情報に含まれる表示優先度に基づいて、前記記憶部に記憶された前記デコード済みの画像データのそれぞれに破棄優先度を設定してもよい。前記破棄優先度設定部は、メタ情報として画像データそのものに埋め込まれているものを利用してもよいし、外部から取得したものを利用してもよい。
【００２０】
前記破棄優先度設定部は、前記記憶部に記憶された前記デコード済みの画像データのそれぞれの前記表示画面における表示面積情報を取得して、取得した表示面積情報に基づいて、前記記憶部に記憶された前記デコード済みの画像データのそれぞれに破棄優先度を設定してもよい。
【００２１】
前記表示制御部が前記表示装置の表示画面に表示させたい複数の画像の画像データのそれぞれにデコード優先度を設定するデコード優先度設定部をさらに備え、前記デコード部は、前記デコード優先度設定部により設定されたデコード優先度に従って、前記画像データのそれぞれにデコード処理を施してもよい。
【００２２】
また、上記課題を解決するために、本発明の別の観点によれば、表示装置による画像の表示を制御する表示制御ステップと、前記表示制御ステップで前記表示装置の表示画面に表示させたい複数の画像の画像データのそれぞれにデコード優先度を設定するデコード優先度設定ステップと、前記デコード優先度設定ステップで設定されたデコード優先度に従って、前記画像データのそれぞれにデコード処理を施すデコードステップと、前記デコードステップでデコード処理が施されたデコード済みの画像データのそれぞれを記憶部に記憶させる記憶ステップとを有する画像データ処理方法が提供される。
【００２３】
また、上記課題を解決するために、本発明の別の観点によれば、表示装置による画像の表示を制御する表示制御ステップと、前記表示制御ステップで前記表示装置の表示画面に表示させたい複数の画像の画像データのそれぞれにデコード処理を施すデコードステップと、前記デコードステップでデコード処理が施されたデコード済みの画像データのそれぞれを記憶部に記憶させる記憶ステップと、前記記憶ステップで記憶部に記憶された前記デコード済みの画像データのそれぞれに破棄優先度を設定する破棄優先度設定ステップと、前記破棄優先度設定ステップで設定された破棄優先度に従って、前記記憶部に記憶された前記デコード済みの画像データの破棄を行う破棄ステップとを有する画像データ処理方法が提供される。
【００２４】
また、上記課題を解決するために、本発明の別の観点によれば、コンピュータを、表示装置による画像の表示を制御する表示制御部と、前記表示制御部が前記表示装置の表示画面に表示させたい複数の画像の画像データのそれぞれにデコード優先度を設定するデコード優先度設定部と、前記デコード優先度設定部により設定されたデコード優先度に従って、前記画像データのそれぞれにデコード処理を施すデコード部と、前記デコード部によりデコード処理が施されたデコード済みの画像データのそれぞれを記憶する記憶部ととして機能させるためのプログラムが提供される。
【００２５】
また、上記課題を解決するために、本発明の別の観点によれば、コンピュータを、表示装置による画像の表示を制御する表示制御部と、前記表示制御部が前記表示装置の表示画面に表示させたい複数の画像の画像データのそれぞれにデコード処理を施すデコード部と、前記デコード部によりデコード処理が施されたデコード済みの画像データのそれぞれを記憶する記憶部と、前記記憶部に記憶された前記デコード済みの画像データのそれぞれに破棄優先度を設定する破棄優先度設定部と、前記破棄優先度設定部により設定された破棄優先度に従って、前記記憶部に記憶された前記デコード済みの画像データの破棄を行う破棄部ととして機能させるためのプログラムが提供される。
【発明の効果】
【００２６】
以上説明したように本発明によれば、画像が表示される際のユーザの待ち時間を短縮させるために必要な、デコードされた画像データを用意しておくことができる。
【図面の簡単な説明】
【００２７】
【図１】本発明の実施の形態に係る画像データ処理装置を備える画像データ表示システムの構成を概略的に示すブロック図である。
【図２】図１における画像データ処理装置のハードウェア構成を概略的に示すブロック図である。
【図３】図２の画像データ処理装置が実行する画像データデコード処理のフローチャートである。
【図４】図３の画像データデコード処理におけるステップＳ１０４で実行される第１のデコード優先度設定処理のフローチャートである。
【図５】図３の画像データデコード処理におけるステップＳ１０４で実行される第２のデコード優先度設定処理のフローチャートである。
【図６】図３の画像データデコード処理におけるステップＳ１０４で実行される第３のデコード優先度設定処理のフローチャートである。
【図７】図３の画像データデコード処理におけるステップＳ１０４で実行される第４のデコード優先度設定処理のフローチャートである。
【図８】図３の画像データデコード処理におけるステップＳ１０４で実行される第５のデコード優先度設定処理のフローチャートである。
【図９】表示画面に表示される画像を説明するための説明図である。
【図１０】表示画面に表示される画像を説明するための説明図である。
【図１１】表示画面に表示される画像を説明するための説明図である。
【図１２】表示画面に表示される画像を説明するための説明図である。
【図１３】表示画面に表示される画像を説明するための説明図である。
【図１４】（Ａ）および（Ｂ）は、表示画面に表示される画像を説明するための説明図である。
【図１５】表示画面に表示される画像を説明するための説明図である。
【図１６】図２の画像データ処理装置が実行する画像データ破棄処理のフローチャートである。
【図１７】図１６の画像データ破棄処理におけるステップＳ７０４で実行される第１の破棄優先度設定処理のフローチャートである。
【図１８】図１６の画像データ破棄処理におけるステップＳ７０４で実行される第２の破棄優先度設定処理のフローチャートである。
【図１９】図１６の画像データ破棄処理におけるステップＳ７０４で実行される第３の破棄優先度設定処理のフローチャートである。
【図２０】図１６の画像データ破棄処理におけるステップＳ７０４で実行される第４の破棄優先度設定処理のフローチャートである。
【図２１】図１６の画像データ破棄処理におけるステップＳ７０４で実行される第５の破棄優先度設定処理のフローチャートである。
【図２２】上述した一連の処理をプログラムにより実行するコンピュータのハードウェア構成を概略的に示すブロック図である。
【発明を実施するための形態】
【００２８】
以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【００２９】
なお、説明は以下の順序で行うものとする。
１．本発明の実施の形態に係る画像データ処理装置
２．本発明の実施の形態に係る画像データ処理装置が実行する画像データデコード処理
３．本発明の実施の形態に係る画像データ処理装置が実行する画像データ破棄処理
【００３０】
［１．画像データ処理装置］
まず、本発明の実施の形態に係る画像データ処理装置を備える画像データ表示システムについて説明する。図１は、本実施の形態に係る画像データ処理装置を備える画像データ表示システムの構成を概略的に示すブロック図である。
【００３１】
図１において、画像データ表示システム１０は、画像データ処理装置１００と、表示装置２００と、入力デバイス３００とを備える。画像データ処理装置１００は、ケーブルなどを介してディスプレイなどの表示装置２００に接続される。なお、画像データ処理装置１００が無線を利用して外部の表示装置２００に画像データを送信可能であれば、ケーブルなどを利用して画像データ処理装置１００および表示装置２００を接続する必要はない。ユーザは、入力デバイス３００を操作して各種の処理を画像データ処理装置１００に実行させることができる。なお、画像データ処理装置１００、表示装置２００および入力デバイス３００は同一の筐体内に具備されてもよい。
【００３２】
画像データ処理装置１００は、外部から取得した、または内部に記録されている画像データに基づいて、表示装置２００に画像を表示させる。
【００３３】
入力デバイス３００は、画像データ処理装置１００に接続されたマウスやキーボードなどであってもよく、タッチパネルであってもよい。また、入力デバイス３００は、十字キーやトラックボールなどであってもよい。
【００３４】
次に、図１における画像データ処理装置１００のハードウェア構成について説明する。図２は、図１における画像データ処理装置１００のハードウェア構成を概略的に示すブロック図である。
【００３５】
図２において、画像データ処理装置１００は、入力制御デバイス１０２と、デコーダ１０４と、出力制御デバイス１０６と、バス１０８と、蓄積デバイス１１０と、ＣＰＵ１１２と、ＲＡＭ１１４と、ＲＯＭ１１６とを備える。各部はバス１０８を介して接続される。ＲＡＭ１１４は、本発明の記憶部の一例である。
【００３６】
入力制御デバイス１０２は、入力デバイス３００からの信号を受信して、ユーザの操作を検出する。入力制御デバイス１０２は、ユーザの操作の内容を表す情報をバス１０８を介してＣＰＵ１１２に出力する。
【００３７】
デコーダ１０４は、本発明のデコード部の一例であり、ＣＰＵ１１２による制御に従って、画像データを例えば蓄積デバイス１１０からバス１０８を介して読み出して、ＲＡＭ１１４に展開する。そして、デコーダ１０４は、ＲＡＭ１１４に展開した画像データをデコードし、デコード済みの画像データをＲＡＭ１１４に記憶させる。ＲＡＭ１１４が複数の画像のデコード済みの画像データを記憶可能な容量を有するメモリとなる。なお、本実施の形態では、画像データ処理装置１００がデコーダ１０４を備えているが、ＣＰＵ１１２自体がデコーダの機能を有する場合は、デコーダ１０４を備える必要はない。このとき、ＣＰＵ１１２はソフトウェアにより画像データのデコードを行う。
【００３８】
出力制御デバイス１０６は、本発明の表示制御部の一例であり、ＣＰＵ１１２による制御に従って、デコード済みの画像データをＲＡＭ１１４から読み出して、読み出した画像データに基づいて画像を表示装置２００に表示させる。
【００３９】
蓄積デバイス１１０は、ハードディスクやフラッシュメモリなどよりなり、パーソナルコンピュータなどの装置からインタフェース（図示しない）を介して取り込まれた画像データを記録する。なお、画像データ処理装置１００は、インターネット（図示しない）上にあるＷｅｂサーバ（図示しない）などのデバイスから画像データを取得してもよい。
【００４０】
ＣＰＵ１１２は、ＲＯＭ１１６や蓄積デバイス１１０に記憶されているプログラムをＲＡＭ１１４にロードして実行することにより、先読みの処理などを行い、画像データ処理装置１００全体の動作を制御する。なお、「先読み」とは、実際に表示装置２００に表示させている画像とは異なる画像の画像データを蓄積デバイス１１０から読み出してメモリの空いている領域に展開し、デコードなどの処理を適宜施して、表示に用いられるデコード済みの画像データを予め用意しておくことをいう。なお、画像データ処理装置１００は、デコーダ１０４を使用せずにＣＰＵ１１２により画像データのデコード処理などを行ってもよい。なお、ＣＰＵ１１２は、本発明のデコード優先度設定部、破棄優先度設定部、破棄部の一例である。
【００４１】
ところで、表示装置２００に大量の画像を表示させる場合、表示させたい画像が表示装置２００の表示画面２０２（図９参照。）に収まりきらないときが多々ある。このとき、表示画面２０２外に位置する画像についても、ユーザの操作などによって表示画面２０２内に入ってきたときにすぐに表示できるように、その画像の画像データについて予めデコードを行っておくことが望ましい。
【００４２】
また、通常の画像データ処理装置１００では、利用可能なメモリの上限バイト数が存在するため、デコードされた画像データをメモリ上に恒久的に保持しておくことはできない。そのため、メモリの利用バイト数が限界値に達する前に、デコードされた画像データを破棄する必要が生じるが、画像データを破棄する際にどの画像データを優先的に破棄すべきかの判断を行わないと、破棄すべきではない画像データが先に破棄されてしまうなどの不都合が生じる場合がある。
【００４３】
本実施の形態に係る画像データ処理装置は、後述する図３の画像データデコード処理を実行することにより、表示画面２０２外に位置する画像についても、その画像の画像データについて予めデコードを行っておくことができる。また、本実施の形態に係る画像データ処理装置は、後述する図１６の画像データ破棄処理を実行することにより、破棄すべきではない画像データが先に破棄されてしまうことを防止することができる。このように、本実施の形態によれば、画像データが表示される際のユーザの待ち時間を短縮させるために必要な、デコードされた画像データを用意しておくことができる。
【００４４】
［２．画像データ処理装置が実行する画像データデコード処理］
次に、図２の画像データ処理装置１００が実行する画像データデコード処理について説明する。図３は、図２の画像データ処理装置１００が実行する画像データデコード処理のフローチャートである。本処理は、複数の符号化された画像データを表示装置２００の表示画面２０２に表示させる場合に、なるべくユーザに対して画像の描画までの待ち時間を短くするためのものである。
【００４５】
図３において、まず、ユーザにより入力デバイス３００を介した操作が入力されると、画像データ処理装置１００の入力制御デバイス１０２は入力デバイス３００からの信号を受信して、ユーザの操作を検出する。そして、入力制御デバイス１０２は、ユーザの操作の内容を表す情報を画像データ処理装置１００のＣＰＵ１１２に出力する（ステップＳ１０２）。
【００４６】
次いで、画像データ処理装置１００のＣＰＵ１１２は、後述する図４の第１のデコード優先度設定処理、図５の第２のデコード優先度設定処理、図６の第３のデコード優先度設定処理、図７の第４のデコード優先度設定処理および図８の第５のデコード優先度設定処理の少なくともいずれか１つの処理を実行して、入力制御デバイス１０２から入力されたユーザの操作の内容を表す情報に基づいて、表示装置２００に表示させたい全ての画像の画像データのそれぞれにデコード優先度を設定する（ステップＳ１０４）。
【００４７】
次いで、画像データ処理装置１００のデコーダ１０４は、ＣＰＵ１１２による制御に従って、表示装置２００に表示させたい全ての画像の画像データのそれぞれに設定されたデコード優先度に従って、それぞれの画像データのデコードを行い、デコード済みの画像データをＲＡＭ１１４に記憶させて（ステップＳ１０６）、本処理を終了する。
【００４８】
図４は、図３の画像データデコード処理におけるステップＳ１０４で実行される第１のデコード優先度設定処理のフローチャートである。
【００４９】
図４において、画像データ処理装置１００のＣＰＵ１１２は、表示装置２００に表示させたい全ての画像の画像データのそれぞれの位置情報を取得する（ステップＳ２０２）。
【００５０】
次いで、ＣＰＵ１１２は、ステップＳ２０２で取得した位置情報に基づいて、表示画面２０２に近い画像データのデコード優先度を高く設定して（ステップＳ２０４）、本処理を終了する。
【００５１】
例えば、図９に示すように、表示画面２０２に画像＃１〜＃８を表示させたい場合、表示画面２０２の領域内に存在する画像＃３〜＃５はユーザの目に見えるため、可能な限り早くそれらの画像の画像データのデコードを行って表示画面２０２に表示させる必要がある。このため、それらの画像の画像データのデコード優先度を最も高く設定する。また、表示画面２０２の領域外に存在する画像＃１〜＃２、＃６〜＃８については、表示画面２０２から近い画像の方が、将来のスクロールなどのユーザの操作によって表示画面２０２の領域内に入ってくる可能性が高いため、表示画面２０２から遠い画像の画像データと比較して表示画面２０２から近い画像の画像データのデコード優先度を高く設定する。
【００５２】
図５は、図３の画像データデコード処理におけるステップＳ１０４で実行される第２のデコード優先度設定処理のフローチャートである。
【００５３】
図５において、画像データ処理装置１００のＣＰＵ１１２は、表示装置２００に表示させたい全ての画像の画像データのそれぞれの画素数情報を取得する（ステップＳ３０２）。
【００５４】
次いで、ＣＰＵ１１２は、ステップＳ３０２で取得した画素数情報に基づいて、画素数が小さい画像データのデコード優先度を高く設定して（ステップＳ３０４）、本処理を終了する。
【００５５】
例えば、図１０に示すような画像＃１０〜＃１５を図１１に示すように表示画面２０２に表示させる場合、画像＃１０〜＃１５の画像データを図１２に示す順番でデコードすると、全ての画像データのデコードにかかるトータルの経過時間は９秒であり、デコードを開始して４秒の時点では画像＃１０の画像データについてのみデコードが完了している。一方、画像＃１０〜＃１５の画像データを図１３に示す順番でデコードすると、全ての画像データのデコードにかかるトータルの経過時間は図１２に示す順番でデコードした場合と同様に９秒であるが、デコードを開始して４秒の時点では画像＃１２〜＃１５の４枚の画像データのデコードが完了している。一般的に、画素数が大きい画像データよりも、画素数が小さい画像データの方がデコードに要する処理時間が短くなる。したがって、画素数の小さい画像データのデコードを優先して行った方が、より早期の段階で多くの画像データのデコードが完了するため、多くの画像が早くに表示画面２０２に表示されることになり、ユーザの心理的な待ち時間を短縮させることができる。このため、本実施の形態では、画素数が小さい画像データのデコード優先度を高く設定する。
【００５６】
図６は、図３の画像データデコード処理におけるステップＳ１０４で実行される第３のデコード優先度設定処理のフローチャートである。
【００５７】
図６において、画像データ処理装置１００のＣＰＵ１１２は、ユーザの操作履歴情報を取得する（ステップＳ４０２）。
【００５８】
次いで、ＣＰＵ１１２は、ステップＳ４０２で取得したユーザの操作履歴情報に基づいて、表示装置２００に表示させたい全ての画像のうち表示が要求される可能性の高い画像の画像データのデコード優先度を高く設定して（ステップＳ４０４）、本処理を終了する。
【００５９】
例えば、図１４（Ａ）に示すようにユーザがスクロール操作を下方向に行って、またはユーザが下方向に連続してスクロール操作を行って図１４（Ｂ）に示す状態となった場合、次のユーザによるスクロール操作も下方向である可能性が高いため、表示画面２０２に表示しきれない画像のうち表示画面２０２から下方向の画像の画像データのデコード優先度を、上方向の画像の画像データのデコード優先度よりも高く設定する。すなわち、本実施の形態では、ユーザが行った操作履歴の情報に基づいて、次に表示が要求される可能性の高い画像を予測して、その画像の画像データのデコード優先度を高く設定する。
【００６０】
なお、本実施の形態で利用する操作履歴の情報は、現在実行しているアプリケーション内のものだけではなく、他のアプリケーション実行時に行ったユーザの操作履歴の情報を利用することもできる。
【００６１】
また、本実施の形態では、インターネット（図示しない）などを利用して、他のユーザの操作履歴の情報を取得して利用することもできる。例えば、ユーザが行う操作は、表示される内容によって傾向付けられる場合が存在する。広告画像が多数存在するＷｅｂページをユーザがＷｅｂブラウザ上で閲覧するとき、広告を見たくない多くのユーザは、その広告をスクロール操作などによってすぐに表示画面外に追いやってしまうことが予測される。このような、ユーザの操作傾向を共有知としてインターネット上のＷｅｂサーバに保持しておき、その情報をインターネットを介して利用することで、より正確な予測を行うこともできる。
【００６２】
図７は、図３の画像データデコード処理におけるステップＳ１０４で実行される第４のデコード優先度設定処理のフローチャートである。
【００６３】
図７において、画像データ処理装置１００のＣＰＵ１１２は、表示装置２００に表示させたい全ての画像の画像データのそれぞれのメタ情報を取得する（ステップＳ５０２）。
【００６４】
次いで、ＣＰＵ１１２は、ステップＳ５０２で取得したメタ情報に含まれる表示優先度に基づいて、表示優先度が高い画像の画像データのデコード優先度を高く設定して（ステップＳ５０４）、本処理を終了する。
【００６５】
例えば、図１５に示すようなＷｅｂページを表示画面２０２に表示させる場合、ユーザは広告としての画像＃３０、＃３４以外の画像＃３１〜＃３３を閲覧したいと考えられる。このため、広告としての画像＃３０、＃３４の画像データのメタ情報に、表示優先度を低くする情報を付加しておく。これにより、ユーザが閲覧したいと考えられる画像＃３１〜＃３３の画像データのデコードが優先されるため、ユーザが閲覧したい画像が早くに表示画面２０２に表示されることになり、ユーザの心理的な待ち時間を短縮させることができる。このため、本実施の形態では、表示優先度が高い画像データのデコード優先度を高く設定する。
【００６６】
図８は、図３の画像データデコード処理におけるステップＳ１０４で実行される第５のデコード優先度設定処理のフローチャートである。
【００６７】
図８において、画像データ処理装置１００のＣＰＵ１１２は、表示装置２００に表示させたい全ての画像の画像データのそれぞれの表示画面２０２における表示面積情報を取得する（ステップＳ６０２）。
【００６８】
次いで、ＣＰＵ１１２は、ステップＳ６０２で取得した表示面積情報に基づいて、表示面積の大きい画像の画像データのデコード優先度を高く設定して（ステップＳ６０４）、本処理を終了する。
【００６９】
例えば、図１５に示すようなＷｅｂページを表示画面２０２に表示させる場合において、画像＃３１〜＃３３の画像データの画素数が略同じであるようなときは、これらの画像＃３１〜＃３３の画像データのデコードにかかる時間は略同じとなるため、表示面積の大きい画像＃３２の画像データのデコード優先度を画像＃３１や画像＃３３の画像データのデコード優先度よりも高く設定する。これにより、表示面積の大きい画像の画像データのデコードが優先されるため、Ｗｅｂページにおいて表示面積の大きい画像が早くに表示画面２０２に表示されることになり、ユーザの心理的な待ち時間を短縮させることができる。
【００７０】
上述した図３の画像データデコード処理によれば、画像が表示される際のユーザの待ち時間を短縮させるために必要な、デコードされた画像データを用意しておくことができる。
【００７１】
［３．画像データ処理装置が実行する画像データ破棄処理］
次に、図２の画像データ処理装置１００が実行する画像データ破棄処理について説明する。図１６は、図２の画像データ処理装置１００が実行する画像データ破棄処理のフローチャートである。本処理は、複数の符号化された画像データを表示装置２００の表示画面２０２に表示させる場合に、なるべくユーザに対して画像の描画までの待ち時間を短くするためのものである。
【００７２】
また、画像データ処理装置１００において、デコード済みの画像データは、再度デコードを行わなくてもよいように、表示装置２００の表示画面２０２に描画が完了した後においても破棄せずにメモリとしてのＲＡＭ１１４に記憶しておき、再描画の際にはデコード済みの画像データを利用して描画することにより、画像の表示を高速に行う。しかしながら、上述したように通常の画像データ処理装置１００では、利用可能なメモリの上限バイト数が存在するため、デコードされた画像データをメモリ上に恒久的に保持しておくことはできない。本処理は、画像データを破棄する際にどの画像データを優先的に破棄すべきかの判断のための処理である。
【００７３】
図１６において、まず、ユーザにより入力デバイス３００を介した操作が入力されると、画像データ処理装置１００の入力制御デバイス１０２は入力デバイス３００からの信号を受信して、ユーザの操作を検出する。そして、入力制御デバイス１０２は、ユーザの操作の内容を表す情報を画像データ処理装置１００のＣＰＵ１１２に出力する（ステップＳ７０２）。
【００７４】
次いで、画像データ処理装置１００のＣＰＵ１１２は、後述する図１７の第１の破棄優先度設定処理、図１８の第２の破棄優先度設定処理、図１９の第３の破棄優先度設定処理、図２０の第４の破棄優先度設定処理および図２１の第５の破棄優先度設定処理の少なくともいずれか１つの処理を実行して、入力制御デバイス１０２から入力されたユーザの操作の内容を表す情報に基づいて、画像データ処理装置１００のメモリとしてのＲＡＭ１１４に記憶されている、表示に用いられるデコード済みの画像データのそれぞれに破棄優先度を設定する（ステップＳ７０４）。
【００７５】
次いで、画像データ処理装置１００のＣＰＵ１１２は、表示に用いられるデコード済みの画像データのそれぞれに設定された破棄優先度に従って、デコード済みの画像データをＲＡＭ１１４から破棄して（ステップＳ７０６）、本処理を終了する。
【００７６】
図１７は、図１６の画像データ破棄処理におけるステップＳ７０４で実行される第１の破棄優先度設定処理のフローチャートである。
【００７７】
図１７において、画像データ処理装置１００のＣＰＵ１１２は、メモリとしてのＲＡＭ１１４に記憶されている、表示に用いられるデコード済みの画像データのそれぞれの位置情報を取得する（ステップＳ８０２）。
【００７８】
次いで、ＣＰＵ１１２は、ステップＳ８０２で取得した位置情報に基づいて、表示画面２０２に遠い画像データの破棄優先度を高く設定して（ステップＳ８０４）、本処理を終了する。
【００７９】
例えば、図９に示すように、表示画面２０２の領域外に存在する画像＃１〜＃２、＃６〜＃８のデコード済みの画像データがメモリとしてのＲＡＭ１１４に記憶されている場合、表示画面２０２から近い画像の方が、将来のスクロールなどのユーザの操作によって表示画面２０２の領域内に入ってくる可能性が高いため、表示画面２０２から近い画像の画像データと比較して表示画面２０２から遠い画像のデコード済みの画像データの破棄優先度を高く設定する。
【００８０】
図１８は、図１６の画像データ破棄処理におけるステップＳ７０４で実行される第２の破棄優先度設定処理のフローチャートである。
【００８１】
図１８において、画像データ処理装置１００のＣＰＵ１１２は、メモリとしてのＲＡＭ１１４に記憶されている、表示に用いられるデコード済みの画像データのそれぞれの画素数情報を取得する（ステップＳ９０２）。
【００８２】
次いで、ＣＰＵ１１２は、ステップＳ９０２で取得した画素数情報に基づいて、画素数が小さい画像データの破棄優先度を高く設定して（ステップＳ９０４）、本処理を終了する。
【００８３】
例えば、図１０に示すような画像＃１０〜＃１５のデコード済みの画像データがメモリとしてのＲＡＭ１１４に記憶されている場合、画素数が大きい画像データのデコードにかかる時間は画素数が小さい画像データのデコードにかかる時間よりも長くなるため、画素数が小さい画像データの破棄優先度を高く設定する。
【００８４】
図１９は、図１６の画像データ破棄処理におけるステップＳ７０４で実行される第３の破棄優先度設定処理のフローチャートである。
【００８５】
図１９において、画像データ処理装置１００のＣＰＵ１１２は、ユーザの操作履歴情報を取得する（ステップＳ１００２）。
【００８６】
次いで、ＣＰＵ１１２は、ステップＳ１００２で取得したユーザの操作履歴情報に基づいて、メモリとしてのＲＡＭ１１４に記憶されている、表示に用いられるデコード済みの画像データのうち表示が要求される可能性の低い画像の画像データの破棄優先度を高く設定して（ステップＳ１００４）、本処理を終了する。
【００８７】
例えば、図１４（Ａ）に示すようにユーザがスクロール操作を下方向に行って、またはユーザが下方向に連続してスクロール操作を行って図１４（Ｂ）に示す状態となった場合、次のユーザによるスクロール操作も下方向である可能性が高いため、表示画面２０２に表示しきれない画像のうち表示画面２０２から上方向の画像のデコード済みの画像データの破棄優先度を、下方向の画像のデコード済みの画像データの破棄優先度よりも高く設定する。すなわち、本実施の形態では、ユーザが行った操作履歴の情報に基づいて、次に表示が要求される可能性の低い画像を予測して、その画像のデコード済みの画像データの破棄優先度を高く設定する。
【００８８】
なお、本実施の形態で利用する操作履歴の情報は、現在実行しているアプリケーション内のものだけではなく、他のアプリケーション実行時に行ったユーザの操作履歴の情報を利用することもできる。
【００８９】
また、本実施の形態では、インターネット（図示しない）などを利用して、他のユーザの操作履歴の情報を取得して利用することもできる。例えば、ユーザが行う操作は、表示される内容によって傾向付けられる場合が存在する。広告画像が多数存在するＷｅｂページをユーザがＷｅｂブラウザ上で閲覧するとき、広告を見たくない多くのユーザは、その広告をスクロール操作などによってすぐに表示画面外に追いやってしまうことが予測される。このような、ユーザの操作傾向を共有知としてインターネット上のＷｅｂサーバに保持しておき、その情報をインターネットを介して利用することで、より正確な予測を行うこともできる。
【００９０】
図２０は、図１６の画像データ破棄処理におけるステップＳ７０４で実行される第４の破棄優先度設定処理のフローチャートである。
【００９１】
図２０において、画像データ処理装置１００のＣＰＵ１１２は、メモリとしてのＲＡＭ１１４に記憶されている、表示に用いられるデコード済みの画像データのそれぞれのメタ情報を取得する（ステップＳ１１０２）。
【００９２】
次いで、ＣＰＵ１１２は、ステップＳ１１０２で取得したメタ情報に含まれる表示優先度に基づいて、表示優先度が低い画像の画像データの破棄優先度を高く設定して（ステップＳ１１０４）、本処理を終了する。
【００９３】
例えば、図１５に示すようなＷｅｂページを表示画面２０２に表示させる場合、ユーザは広告としての画像＃３０、＃３４以外の画像＃３１〜＃３３を閲覧したいと考えられる。このため、広告としての画像＃３０、＃３４の画像データのメタ情報に、表示優先度を低くする情報を付加しておく。これにより、ユーザが閲覧したいと考えられる画像＃３１〜＃３３以外の画像＃３０、＃３４のデコード済みの画像データの破棄が優先されるため、ユーザが閲覧したい画像が早くに表示画面２０２に表示されることになり、ユーザの心理的な待ち時間を短縮させることができる。このため、本実施の形態では、表示優先度が低い画像データの破棄優先度を高く設定する。
【００９４】
図２１は、図１６の画像データ破棄処理におけるステップＳ７０４で実行される第５の破棄優先度設定処理のフローチャートである。
【００９５】
図２１において、画像データ処理装置１００のＣＰＵ１１２は、メモリとしてのＲＡＭ１１４に記憶されている、表示に用いられるデコード済みの画像データのそれぞれの表示画面２０２における表示面積情報を取得する（ステップＳ１２０２）。
【００９６】
次いで、ＣＰＵ１１２は、ステップＳ１２０２で取得した表示面積情報に基づいて、表示面積の小さい画像の画像データの破棄優先度を高く設定して（ステップＳ１２０４）、本処理を終了する。
【００９７】
例えば、図１５に示すようなＷｅｂページを表示画面２０２に表示させる場合において、画像＃３１〜＃３３の画像データの画素数が略同じであるようなときは、これらの画像＃３１〜＃３３の画像データのデコードにかかる時間は略同じとなるため、表示面積の小さい画像＃３１の画像データの破棄優先度を画像＃３２や画像＃３３の画像データの破棄優先度よりも高く設定する。これにより、Ｗｅｂページにおいて表示面積の大きい画像が早くに表示画面２０２に表示されることになり、ユーザの心理的な待ち時間を短縮させることができる。
【００９８】
上述した図１６の画像データ破棄処理によれば、画像が表示される際のユーザの待ち時間を短縮させるために必要な、デコードされた画像データを用意しておくことができる。
【００９９】
上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することができる。
【０１００】
図２２は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェア構成を概略的に示すブロック図である。
【０１０１】
図２２において、ＣＰＵ５０、ＲＯＭ５２、ＲＡＭ５４は、バス５６により相互に接続されている。
【０１０２】
バス５６には、さらに、入出力インタフェース５８が接続されている。入出力インタフェース５８には、キーボード、マウス、マイクロホンなどよりなる入力部６０、ディスプレイ、スピーカなどよりなる出力部６２、ハードディスクや不揮発性のメモリなどよりなる記憶部６４、ネットワークインタフェースなどよりなる通信部６６、光ディスクや半導体メモリなどのリムーバブルメディア７０を駆動するドライブ６８が接続されている。
【０１０３】
以上のように構成されるコンピュータでは、ＣＰＵ５０が、例えば、記憶部６４に記憶されているプログラムを入出力インタフェース５８及びバス５６を介してＲＡＭ５４にロードして実行することにより、上述した一連の処理が行われる。
【０１０４】
ＣＰＵ５０が実行するプログラムは、例えばリムーバブルメディア７０に記録して、あるいは、ローカルエリアネットワーク、インターネット、デジタル放送といった、有線または無線の伝送媒体を介して提供され、記憶部６４にインストールされる。
【０１０５】
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであってもよいし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであってもよい。
【０１０６】
以上、添付図面を参照しながら本発明の好適な実施の形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。
【符号の説明】
【０１０７】
１０ 画像データ表示システム
１００ 画像データ処理装置
１０２ 入力制御デバイス
１０４ デコーダ
１０６ 出力制御デバイス
１０８ バス
１１０ 蓄積デバイス
１１２ ＣＰＵ
１１４ ＲＡＭ
１１６ ＲＯＭ
２００ 表示装置
２０２ 表示画面
３００ 入力デバイス
【技術分野】
【０００１】
本発明は、画像データ処理装置、画像データ処理方法およびプログラムに関する。
【背景技術】
【０００２】
ディスプレイなどの表示装置に大量の画像を表示させる機会は数多く存在する。表示装置に大量の画像を表示させる場合、表示させたい画像が表示装置の表示画面に収まりきらないときが多々ある。このとき、表示画面外に位置する画像についても、ユーザの操作などによって表示画面内に入ってきたときにすぐに表示できるように、その画像の画像データについて予め復号化（デコード）を行っておくことが望ましい。
【０００３】
予め画像データのデコードを行うための技術として、例えば特許文献１では、デコードを行う画像データをユーザによる操作の方向に基づいて決定している。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００９−１０９８８０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、上述した特許文献１の技術では、デコードを行う画像データを決定するための操作情報としてユーザ自身が直前に行った１回の操作のみの操作情報を利用しており、当該操作情報はデコードを行う画像データの予測処理を適切に行うための情報としては不十分である。
【０００６】
また、通常の装置では、利用可能なメモリの上限バイト数が存在するため、デコードされた画像データをメモリ上に恒久的に保持しておくことはできない。そのため、メモリの利用バイト数が限界値に達する前に、デコードされた画像データを破棄する必要が生じるが、上述した特許文献１の技術では、画像データを破棄する際にどの画像データを優先的に破棄すべきかの判断を行っていないため、破棄すべきではない画像データが先に破棄されてしまうなどの不都合が生じる場合がある。
【０００７】
そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、画像が表示される際のユーザの待ち時間を短縮させるために必要な、デコードされた画像データを用意しておくことが可能な、新規かつ改良された画像データ処理装置、画像データ処理方法およびプログラムを提供することにある。
【課題を解決するための手段】
【０００８】
上記課題を解決するために、本発明のある観点によれば、表示装置による画像の表示を制御する表示制御部と、前記表示制御部が前記表示装置の表示画面に表示させたい複数の画像の画像データのそれぞれにデコード優先度を設定するデコード優先度設定部と、前記デコード優先度設定部により設定されたデコード優先度に従って、前記画像データのそれぞれにデコード処理を施すデコード部と、前記デコード部によりデコード処理が施されたデコード済みの画像データのそれぞれを記憶する記憶部とを備える画像データ処理装置が提供される。
【０００９】
前記デコード優先度設定部は、前記複数の画像の画像データのそれぞれの位置情報を取得して、取得した位置情報に基づいて、前記複数の画像の画像データのそれぞれにデコード優先度を設定してもよい。
【００１０】
前記デコード優先度設定部は、前記複数の画像の画像データのそれぞれの画素数情報を取得して、取得した画素数情報に基づいて、前記複数の画像の画像データのそれぞれにデコード優先度を設定してもよい。
【００１１】
前記デコード優先度設定部は、ユーザの操作履歴情報を取得して、取得した操作履歴情報に基づいて、前記複数の画像の画像データのそれぞれにデコード優先度を設定してもよい。
【００１２】
前記デコード優先度設定部は、前記複数の画像の画像データのそれぞれのメタ情報を取得して、取得したメタ情報に含まれる表示優先度に基づいて、前記複数の画像の画像データのそれぞれにデコード優先度を設定してもよい。前記デコード優先度設定部は、メタ情報として画像データそのものに埋め込まれているものを利用してもよいし、外部から取得したものを利用してもよい。
【００１３】
前記デコード優先度設定部は、前記複数の画像の画像データのそれぞれの前記表示画面における表示面積情報を取得して、取得した表示面積情報に基づいて、前記複数の画像の画像データのそれぞれにデコード優先度を設定してもよい。
【００１４】
前記記憶部に記憶された前記デコード済みの画像データのそれぞれに破棄優先度を設定する破棄優先度設定部と、前記破棄優先度設定部により設定された破棄優先度に従って、前記記憶部に記憶された前記デコード済みの画像データの破棄を行う破棄部とをさらに備えてもよい。
【００１５】
また、上記課題を解決するために、本発明の別の観点によれば、表示装置による画像の表示を制御する表示制御部と、前記表示制御部が前記表示装置の表示画面に表示させたい複数の画像の画像データのそれぞれにデコード処理を施すデコード部と、前記デコード部によりデコード処理が施されたデコード済みの画像データのそれぞれを記憶する記憶部と、前記記憶部に記憶された前記デコード済みの画像データのそれぞれに破棄優先度を設定する破棄優先度設定部と、前記破棄優先度設定部により設定された破棄優先度に従って、前記記憶部に記憶された前記デコード済みの画像データの破棄を行う破棄部とを備える画像データ処理装置が提供される。
【００１６】
前記破棄優先度設定部は、前記記憶部に記憶された前記デコード済みの画像データのそれぞれの位置情報を取得して、取得した位置情報に基づいて、前記記憶部に記憶された前記デコード済みの画像データのそれぞれに破棄優先度を設定してもよい。
【００１７】
前記破棄優先度設定部は、前記記憶部に記憶された前記デコード済みの画像データのそれぞれの画素数情報を取得して、取得した画素数情報に基づいて、前記記憶部に記憶された前記デコード済みの画像データのそれぞれに破棄優先度を設定してもよい。
【００１８】
前記破棄優先度設定部は、ユーザの操作履歴情報を取得して、取得した操作履歴情報に基づいて、前記記憶部に記憶された前記デコード済みの画像データのそれぞれに破棄優先度を設定してもよい。
【００１９】
前記破棄優先度設定部は、前記記憶部に記憶された前記デコード済みの画像データのそれぞれのメタ情報を取得して、取得したメタ情報に含まれる表示優先度に基づいて、前記記憶部に記憶された前記デコード済みの画像データのそれぞれに破棄優先度を設定してもよい。前記破棄優先度設定部は、メタ情報として画像データそのものに埋め込まれているものを利用してもよいし、外部から取得したものを利用してもよい。
【００２０】
前記破棄優先度設定部は、前記記憶部に記憶された前記デコード済みの画像データのそれぞれの前記表示画面における表示面積情報を取得して、取得した表示面積情報に基づいて、前記記憶部に記憶された前記デコード済みの画像データのそれぞれに破棄優先度を設定してもよい。
【００２１】
前記表示制御部が前記表示装置の表示画面に表示させたい複数の画像の画像データのそれぞれにデコード優先度を設定するデコード優先度設定部をさらに備え、前記デコード部は、前記デコード優先度設定部により設定されたデコード優先度に従って、前記画像データのそれぞれにデコード処理を施してもよい。
【００２２】
また、上記課題を解決するために、本発明の別の観点によれば、表示装置による画像の表示を制御する表示制御ステップと、前記表示制御ステップで前記表示装置の表示画面に表示させたい複数の画像の画像データのそれぞれにデコード優先度を設定するデコード優先度設定ステップと、前記デコード優先度設定ステップで設定されたデコード優先度に従って、前記画像データのそれぞれにデコード処理を施すデコードステップと、前記デコードステップでデコード処理が施されたデコード済みの画像データのそれぞれを記憶部に記憶させる記憶ステップとを有する画像データ処理方法が提供される。
【００２３】
また、上記課題を解決するために、本発明の別の観点によれば、表示装置による画像の表示を制御する表示制御ステップと、前記表示制御ステップで前記表示装置の表示画面に表示させたい複数の画像の画像データのそれぞれにデコード処理を施すデコードステップと、前記デコードステップでデコード処理が施されたデコード済みの画像データのそれぞれを記憶部に記憶させる記憶ステップと、前記記憶ステップで記憶部に記憶された前記デコード済みの画像データのそれぞれに破棄優先度を設定する破棄優先度設定ステップと、前記破棄優先度設定ステップで設定された破棄優先度に従って、前記記憶部に記憶された前記デコード済みの画像データの破棄を行う破棄ステップとを有する画像データ処理方法が提供される。
【００２４】
また、上記課題を解決するために、本発明の別の観点によれば、コンピュータを、表示装置による画像の表示を制御する表示制御部と、前記表示制御部が前記表示装置の表示画面に表示させたい複数の画像の画像データのそれぞれにデコード優先度を設定するデコード優先度設定部と、前記デコード優先度設定部により設定されたデコード優先度に従って、前記画像データのそれぞれにデコード処理を施すデコード部と、前記デコード部によりデコード処理が施されたデコード済みの画像データのそれぞれを記憶する記憶部ととして機能させるためのプログラムが提供される。
【００２５】
また、上記課題を解決するために、本発明の別の観点によれば、コンピュータを、表示装置による画像の表示を制御する表示制御部と、前記表示制御部が前記表示装置の表示画面に表示させたい複数の画像の画像データのそれぞれにデコード処理を施すデコード部と、前記デコード部によりデコード処理が施されたデコード済みの画像データのそれぞれを記憶する記憶部と、前記記憶部に記憶された前記デコード済みの画像データのそれぞれに破棄優先度を設定する破棄優先度設定部と、前記破棄優先度設定部により設定された破棄優先度に従って、前記記憶部に記憶された前記デコード済みの画像データの破棄を行う破棄部ととして機能させるためのプログラムが提供される。
【発明の効果】
【００２６】
以上説明したように本発明によれば、画像が表示される際のユーザの待ち時間を短縮させるために必要な、デコードされた画像データを用意しておくことができる。
【図面の簡単な説明】
【００２７】
【図１】本発明の実施の形態に係る画像データ処理装置を備える画像データ表示システムの構成を概略的に示すブロック図である。
【図２】図１における画像データ処理装置のハードウェア構成を概略的に示すブロック図である。
【図３】図２の画像データ処理装置が実行する画像データデコード処理のフローチャートである。
【図４】図３の画像データデコード処理におけるステップＳ１０４で実行される第１のデコード優先度設定処理のフローチャートである。
【図５】図３の画像データデコード処理におけるステップＳ１０４で実行される第２のデコード優先度設定処理のフローチャートである。
【図６】図３の画像データデコード処理におけるステップＳ１０４で実行される第３のデコード優先度設定処理のフローチャートである。
【図７】図３の画像データデコード処理におけるステップＳ１０４で実行される第４のデコード優先度設定処理のフローチャートである。
【図８】図３の画像データデコード処理におけるステップＳ１０４で実行される第５のデコード優先度設定処理のフローチャートである。
【図９】表示画面に表示される画像を説明するための説明図である。
【図１０】表示画面に表示される画像を説明するための説明図である。
【図１１】表示画面に表示される画像を説明するための説明図である。
【図１２】表示画面に表示される画像を説明するための説明図である。
【図１３】表示画面に表示される画像を説明するための説明図である。
【図１４】（Ａ）および（Ｂ）は、表示画面に表示される画像を説明するための説明図である。
【図１５】表示画面に表示される画像を説明するための説明図である。
【図１６】図２の画像データ処理装置が実行する画像データ破棄処理のフローチャートである。
【図１７】図１６の画像データ破棄処理におけるステップＳ７０４で実行される第１の破棄優先度設定処理のフローチャートである。
【図１８】図１６の画像データ破棄処理におけるステップＳ７０４で実行される第２の破棄優先度設定処理のフローチャートである。
【図１９】図１６の画像データ破棄処理におけるステップＳ７０４で実行される第３の破棄優先度設定処理のフローチャートである。
【図２０】図１６の画像データ破棄処理におけるステップＳ７０４で実行される第４の破棄優先度設定処理のフローチャートである。
【図２１】図１６の画像データ破棄処理におけるステップＳ７０４で実行される第５の破棄優先度設定処理のフローチャートである。
【図２２】上述した一連の処理をプログラムにより実行するコンピュータのハードウェア構成を概略的に示すブロック図である。
【発明を実施するための形態】
【００２８】
以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【００２９】
なお、説明は以下の順序で行うものとする。
１．本発明の実施の形態に係る画像データ処理装置
２．本発明の実施の形態に係る画像データ処理装置が実行する画像データデコード処理
３．本発明の実施の形態に係る画像データ処理装置が実行する画像データ破棄処理
【００３０】
［１．画像データ処理装置］
まず、本発明の実施の形態に係る画像データ処理装置を備える画像データ表示システムについて説明する。図１は、本実施の形態に係る画像データ処理装置を備える画像データ表示システムの構成を概略的に示すブロック図である。
【００３１】
図１において、画像データ表示システム１０は、画像データ処理装置１００と、表示装置２００と、入力デバイス３００とを備える。画像データ処理装置１００は、ケーブルなどを介してディスプレイなどの表示装置２００に接続される。なお、画像データ処理装置１００が無線を利用して外部の表示装置２００に画像データを送信可能であれば、ケーブルなどを利用して画像データ処理装置１００および表示装置２００を接続する必要はない。ユーザは、入力デバイス３００を操作して各種の処理を画像データ処理装置１００に実行させることができる。なお、画像データ処理装置１００、表示装置２００および入力デバイス３００は同一の筐体内に具備されてもよい。
【００３２】
画像データ処理装置１００は、外部から取得した、または内部に記録されている画像データに基づいて、表示装置２００に画像を表示させる。
【００３３】
入力デバイス３００は、画像データ処理装置１００に接続されたマウスやキーボードなどであってもよく、タッチパネルであってもよい。また、入力デバイス３００は、十字キーやトラックボールなどであってもよい。
【００３４】
次に、図１における画像データ処理装置１００のハードウェア構成について説明する。図２は、図１における画像データ処理装置１００のハードウェア構成を概略的に示すブロック図である。
【００３５】
図２において、画像データ処理装置１００は、入力制御デバイス１０２と、デコーダ１０４と、出力制御デバイス１０６と、バス１０８と、蓄積デバイス１１０と、ＣＰＵ１１２と、ＲＡＭ１１４と、ＲＯＭ１１６とを備える。各部はバス１０８を介して接続される。ＲＡＭ１１４は、本発明の記憶部の一例である。
【００３６】
入力制御デバイス１０２は、入力デバイス３００からの信号を受信して、ユーザの操作を検出する。入力制御デバイス１０２は、ユーザの操作の内容を表す情報をバス１０８を介してＣＰＵ１１２に出力する。
【００３７】
デコーダ１０４は、本発明のデコード部の一例であり、ＣＰＵ１１２による制御に従って、画像データを例えば蓄積デバイス１１０からバス１０８を介して読み出して、ＲＡＭ１１４に展開する。そして、デコーダ１０４は、ＲＡＭ１１４に展開した画像データをデコードし、デコード済みの画像データをＲＡＭ１１４に記憶させる。ＲＡＭ１１４が複数の画像のデコード済みの画像データを記憶可能な容量を有するメモリとなる。なお、本実施の形態では、画像データ処理装置１００がデコーダ１０４を備えているが、ＣＰＵ１１２自体がデコーダの機能を有する場合は、デコーダ１０４を備える必要はない。このとき、ＣＰＵ１１２はソフトウェアにより画像データのデコードを行う。
【００３８】
出力制御デバイス１０６は、本発明の表示制御部の一例であり、ＣＰＵ１１２による制御に従って、デコード済みの画像データをＲＡＭ１１４から読み出して、読み出した画像データに基づいて画像を表示装置２００に表示させる。
【００３９】
蓄積デバイス１１０は、ハードディスクやフラッシュメモリなどよりなり、パーソナルコンピュータなどの装置からインタフェース（図示しない）を介して取り込まれた画像データを記録する。なお、画像データ処理装置１００は、インターネット（図示しない）上にあるＷｅｂサーバ（図示しない）などのデバイスから画像データを取得してもよい。
【００４０】
ＣＰＵ１１２は、ＲＯＭ１１６や蓄積デバイス１１０に記憶されているプログラムをＲＡＭ１１４にロードして実行することにより、先読みの処理などを行い、画像データ処理装置１００全体の動作を制御する。なお、「先読み」とは、実際に表示装置２００に表示させている画像とは異なる画像の画像データを蓄積デバイス１１０から読み出してメモリの空いている領域に展開し、デコードなどの処理を適宜施して、表示に用いられるデコード済みの画像データを予め用意しておくことをいう。なお、画像データ処理装置１００は、デコーダ１０４を使用せずにＣＰＵ１１２により画像データのデコード処理などを行ってもよい。なお、ＣＰＵ１１２は、本発明のデコード優先度設定部、破棄優先度設定部、破棄部の一例である。
【００４１】
ところで、表示装置２００に大量の画像を表示させる場合、表示させたい画像が表示装置２００の表示画面２０２（図９参照。）に収まりきらないときが多々ある。このとき、表示画面２０２外に位置する画像についても、ユーザの操作などによって表示画面２０２内に入ってきたときにすぐに表示できるように、その画像の画像データについて予めデコードを行っておくことが望ましい。
【００４２】
また、通常の画像データ処理装置１００では、利用可能なメモリの上限バイト数が存在するため、デコードされた画像データをメモリ上に恒久的に保持しておくことはできない。そのため、メモリの利用バイト数が限界値に達する前に、デコードされた画像データを破棄する必要が生じるが、画像データを破棄する際にどの画像データを優先的に破棄すべきかの判断を行わないと、破棄すべきではない画像データが先に破棄されてしまうなどの不都合が生じる場合がある。
【００４３】
本実施の形態に係る画像データ処理装置は、後述する図３の画像データデコード処理を実行することにより、表示画面２０２外に位置する画像についても、その画像の画像データについて予めデコードを行っておくことができる。また、本実施の形態に係る画像データ処理装置は、後述する図１６の画像データ破棄処理を実行することにより、破棄すべきではない画像データが先に破棄されてしまうことを防止することができる。このように、本実施の形態によれば、画像データが表示される際のユーザの待ち時間を短縮させるために必要な、デコードされた画像データを用意しておくことができる。
【００４４】
［２．画像データ処理装置が実行する画像データデコード処理］
次に、図２の画像データ処理装置１００が実行する画像データデコード処理について説明する。図３は、図２の画像データ処理装置１００が実行する画像データデコード処理のフローチャートである。本処理は、複数の符号化された画像データを表示装置２００の表示画面２０２に表示させる場合に、なるべくユーザに対して画像の描画までの待ち時間を短くするためのものである。
【００４５】
図３において、まず、ユーザにより入力デバイス３００を介した操作が入力されると、画像データ処理装置１００の入力制御デバイス１０２は入力デバイス３００からの信号を受信して、ユーザの操作を検出する。そして、入力制御デバイス１０２は、ユーザの操作の内容を表す情報を画像データ処理装置１００のＣＰＵ１１２に出力する（ステップＳ１０２）。
【００４６】
次いで、画像データ処理装置１００のＣＰＵ１１２は、後述する図４の第１のデコード優先度設定処理、図５の第２のデコード優先度設定処理、図６の第３のデコード優先度設定処理、図７の第４のデコード優先度設定処理および図８の第５のデコード優先度設定処理の少なくともいずれか１つの処理を実行して、入力制御デバイス１０２から入力されたユーザの操作の内容を表す情報に基づいて、表示装置２００に表示させたい全ての画像の画像データのそれぞれにデコード優先度を設定する（ステップＳ１０４）。
【００４７】
次いで、画像データ処理装置１００のデコーダ１０４は、ＣＰＵ１１２による制御に従って、表示装置２００に表示させたい全ての画像の画像データのそれぞれに設定されたデコード優先度に従って、それぞれの画像データのデコードを行い、デコード済みの画像データをＲＡＭ１１４に記憶させて（ステップＳ１０６）、本処理を終了する。
【００４８】
図４は、図３の画像データデコード処理におけるステップＳ１０４で実行される第１のデコード優先度設定処理のフローチャートである。
【００４９】
図４において、画像データ処理装置１００のＣＰＵ１１２は、表示装置２００に表示させたい全ての画像の画像データのそれぞれの位置情報を取得する（ステップＳ２０２）。
【００５０】
次いで、ＣＰＵ１１２は、ステップＳ２０２で取得した位置情報に基づいて、表示画面２０２に近い画像データのデコード優先度を高く設定して（ステップＳ２０４）、本処理を終了する。
【００５１】
例えば、図９に示すように、表示画面２０２に画像＃１〜＃８を表示させたい場合、表示画面２０２の領域内に存在する画像＃３〜＃５はユーザの目に見えるため、可能な限り早くそれらの画像の画像データのデコードを行って表示画面２０２に表示させる必要がある。このため、それらの画像の画像データのデコード優先度を最も高く設定する。また、表示画面２０２の領域外に存在する画像＃１〜＃２、＃６〜＃８については、表示画面２０２から近い画像の方が、将来のスクロールなどのユーザの操作によって表示画面２０２の領域内に入ってくる可能性が高いため、表示画面２０２から遠い画像の画像データと比較して表示画面２０２から近い画像の画像データのデコード優先度を高く設定する。
【００５２】
図５は、図３の画像データデコード処理におけるステップＳ１０４で実行される第２のデコード優先度設定処理のフローチャートである。
【００５３】
図５において、画像データ処理装置１００のＣＰＵ１１２は、表示装置２００に表示させたい全ての画像の画像データのそれぞれの画素数情報を取得する（ステップＳ３０２）。
【００５４】
次いで、ＣＰＵ１１２は、ステップＳ３０２で取得した画素数情報に基づいて、画素数が小さい画像データのデコード優先度を高く設定して（ステップＳ３０４）、本処理を終了する。
【００５５】
例えば、図１０に示すような画像＃１０〜＃１５を図１１に示すように表示画面２０２に表示させる場合、画像＃１０〜＃１５の画像データを図１２に示す順番でデコードすると、全ての画像データのデコードにかかるトータルの経過時間は９秒であり、デコードを開始して４秒の時点では画像＃１０の画像データについてのみデコードが完了している。一方、画像＃１０〜＃１５の画像データを図１３に示す順番でデコードすると、全ての画像データのデコードにかかるトータルの経過時間は図１２に示す順番でデコードした場合と同様に９秒であるが、デコードを開始して４秒の時点では画像＃１２〜＃１５の４枚の画像データのデコードが完了している。一般的に、画素数が大きい画像データよりも、画素数が小さい画像データの方がデコードに要する処理時間が短くなる。したがって、画素数の小さい画像データのデコードを優先して行った方が、より早期の段階で多くの画像データのデコードが完了するため、多くの画像が早くに表示画面２０２に表示されることになり、ユーザの心理的な待ち時間を短縮させることができる。このため、本実施の形態では、画素数が小さい画像データのデコード優先度を高く設定する。
【００５６】
図６は、図３の画像データデコード処理におけるステップＳ１０４で実行される第３のデコード優先度設定処理のフローチャートである。
【００５７】
図６において、画像データ処理装置１００のＣＰＵ１１２は、ユーザの操作履歴情報を取得する（ステップＳ４０２）。
【００５８】
次いで、ＣＰＵ１１２は、ステップＳ４０２で取得したユーザの操作履歴情報に基づいて、表示装置２００に表示させたい全ての画像のうち表示が要求される可能性の高い画像の画像データのデコード優先度を高く設定して（ステップＳ４０４）、本処理を終了する。
【００５９】
例えば、図１４（Ａ）に示すようにユーザがスクロール操作を下方向に行って、またはユーザが下方向に連続してスクロール操作を行って図１４（Ｂ）に示す状態となった場合、次のユーザによるスクロール操作も下方向である可能性が高いため、表示画面２０２に表示しきれない画像のうち表示画面２０２から下方向の画像の画像データのデコード優先度を、上方向の画像の画像データのデコード優先度よりも高く設定する。すなわち、本実施の形態では、ユーザが行った操作履歴の情報に基づいて、次に表示が要求される可能性の高い画像を予測して、その画像の画像データのデコード優先度を高く設定する。
【００６０】
なお、本実施の形態で利用する操作履歴の情報は、現在実行しているアプリケーション内のものだけではなく、他のアプリケーション実行時に行ったユーザの操作履歴の情報を利用することもできる。
【００６１】
また、本実施の形態では、インターネット（図示しない）などを利用して、他のユーザの操作履歴の情報を取得して利用することもできる。例えば、ユーザが行う操作は、表示される内容によって傾向付けられる場合が存在する。広告画像が多数存在するＷｅｂページをユーザがＷｅｂブラウザ上で閲覧するとき、広告を見たくない多くのユーザは、その広告をスクロール操作などによってすぐに表示画面外に追いやってしまうことが予測される。このような、ユーザの操作傾向を共有知としてインターネット上のＷｅｂサーバに保持しておき、その情報をインターネットを介して利用することで、より正確な予測を行うこともできる。
【００６２】
図７は、図３の画像データデコード処理におけるステップＳ１０４で実行される第４のデコード優先度設定処理のフローチャートである。
【００６３】
図７において、画像データ処理装置１００のＣＰＵ１１２は、表示装置２００に表示させたい全ての画像の画像データのそれぞれのメタ情報を取得する（ステップＳ５０２）。
【００６４】
次いで、ＣＰＵ１１２は、ステップＳ５０２で取得したメタ情報に含まれる表示優先度に基づいて、表示優先度が高い画像の画像データのデコード優先度を高く設定して（ステップＳ５０４）、本処理を終了する。
【００６５】
例えば、図１５に示すようなＷｅｂページを表示画面２０２に表示させる場合、ユーザは広告としての画像＃３０、＃３４以外の画像＃３１〜＃３３を閲覧したいと考えられる。このため、広告としての画像＃３０、＃３４の画像データのメタ情報に、表示優先度を低くする情報を付加しておく。これにより、ユーザが閲覧したいと考えられる画像＃３１〜＃３３の画像データのデコードが優先されるため、ユーザが閲覧したい画像が早くに表示画面２０２に表示されることになり、ユーザの心理的な待ち時間を短縮させることができる。このため、本実施の形態では、表示優先度が高い画像データのデコード優先度を高く設定する。
【００６６】
図８は、図３の画像データデコード処理におけるステップＳ１０４で実行される第５のデコード優先度設定処理のフローチャートである。
【００６７】
図８において、画像データ処理装置１００のＣＰＵ１１２は、表示装置２００に表示させたい全ての画像の画像データのそれぞれの表示画面２０２における表示面積情報を取得する（ステップＳ６０２）。
【００６８】
次いで、ＣＰＵ１１２は、ステップＳ６０２で取得した表示面積情報に基づいて、表示面積の大きい画像の画像データのデコード優先度を高く設定して（ステップＳ６０４）、本処理を終了する。
【００６９】
例えば、図１５に示すようなＷｅｂページを表示画面２０２に表示させる場合において、画像＃３１〜＃３３の画像データの画素数が略同じであるようなときは、これらの画像＃３１〜＃３３の画像データのデコードにかかる時間は略同じとなるため、表示面積の大きい画像＃３２の画像データのデコード優先度を画像＃３１や画像＃３３の画像データのデコード優先度よりも高く設定する。これにより、表示面積の大きい画像の画像データのデコードが優先されるため、Ｗｅｂページにおいて表示面積の大きい画像が早くに表示画面２０２に表示されることになり、ユーザの心理的な待ち時間を短縮させることができる。
【００７０】
上述した図３の画像データデコード処理によれば、画像が表示される際のユーザの待ち時間を短縮させるために必要な、デコードされた画像データを用意しておくことができる。
【００７１】
［３．画像データ処理装置が実行する画像データ破棄処理］
次に、図２の画像データ処理装置１００が実行する画像データ破棄処理について説明する。図１６は、図２の画像データ処理装置１００が実行する画像データ破棄処理のフローチャートである。本処理は、複数の符号化された画像データを表示装置２００の表示画面２０２に表示させる場合に、なるべくユーザに対して画像の描画までの待ち時間を短くするためのものである。
【００７２】
また、画像データ処理装置１００において、デコード済みの画像データは、再度デコードを行わなくてもよいように、表示装置２００の表示画面２０２に描画が完了した後においても破棄せずにメモリとしてのＲＡＭ１１４に記憶しておき、再描画の際にはデコード済みの画像データを利用して描画することにより、画像の表示を高速に行う。しかしながら、上述したように通常の画像データ処理装置１００では、利用可能なメモリの上限バイト数が存在するため、デコードされた画像データをメモリ上に恒久的に保持しておくことはできない。本処理は、画像データを破棄する際にどの画像データを優先的に破棄すべきかの判断のための処理である。
【００７３】
図１６において、まず、ユーザにより入力デバイス３００を介した操作が入力されると、画像データ処理装置１００の入力制御デバイス１０２は入力デバイス３００からの信号を受信して、ユーザの操作を検出する。そして、入力制御デバイス１０２は、ユーザの操作の内容を表す情報を画像データ処理装置１００のＣＰＵ１１２に出力する（ステップＳ７０２）。
【００７４】
次いで、画像データ処理装置１００のＣＰＵ１１２は、後述する図１７の第１の破棄優先度設定処理、図１８の第２の破棄優先度設定処理、図１９の第３の破棄優先度設定処理、図２０の第４の破棄優先度設定処理および図２１の第５の破棄優先度設定処理の少なくともいずれか１つの処理を実行して、入力制御デバイス１０２から入力されたユーザの操作の内容を表す情報に基づいて、画像データ処理装置１００のメモリとしてのＲＡＭ１１４に記憶されている、表示に用いられるデコード済みの画像データのそれぞれに破棄優先度を設定する（ステップＳ７０４）。
【００７５】
次いで、画像データ処理装置１００のＣＰＵ１１２は、表示に用いられるデコード済みの画像データのそれぞれに設定された破棄優先度に従って、デコード済みの画像データをＲＡＭ１１４から破棄して（ステップＳ７０６）、本処理を終了する。
【００７６】
図１７は、図１６の画像データ破棄処理におけるステップＳ７０４で実行される第１の破棄優先度設定処理のフローチャートである。
【００７７】
図１７において、画像データ処理装置１００のＣＰＵ１１２は、メモリとしてのＲＡＭ１１４に記憶されている、表示に用いられるデコード済みの画像データのそれぞれの位置情報を取得する（ステップＳ８０２）。
【００７８】
次いで、ＣＰＵ１１２は、ステップＳ８０２で取得した位置情報に基づいて、表示画面２０２に遠い画像データの破棄優先度を高く設定して（ステップＳ８０４）、本処理を終了する。
【００７９】
例えば、図９に示すように、表示画面２０２の領域外に存在する画像＃１〜＃２、＃６〜＃８のデコード済みの画像データがメモリとしてのＲＡＭ１１４に記憶されている場合、表示画面２０２から近い画像の方が、将来のスクロールなどのユーザの操作によって表示画面２０２の領域内に入ってくる可能性が高いため、表示画面２０２から近い画像の画像データと比較して表示画面２０２から遠い画像のデコード済みの画像データの破棄優先度を高く設定する。
【００８０】
図１８は、図１６の画像データ破棄処理におけるステップＳ７０４で実行される第２の破棄優先度設定処理のフローチャートである。
【００８１】
図１８において、画像データ処理装置１００のＣＰＵ１１２は、メモリとしてのＲＡＭ１１４に記憶されている、表示に用いられるデコード済みの画像データのそれぞれの画素数情報を取得する（ステップＳ９０２）。
【００８２】
次いで、ＣＰＵ１１２は、ステップＳ９０２で取得した画素数情報に基づいて、画素数が小さい画像データの破棄優先度を高く設定して（ステップＳ９０４）、本処理を終了する。
【００８３】
例えば、図１０に示すような画像＃１０〜＃１５のデコード済みの画像データがメモリとしてのＲＡＭ１１４に記憶されている場合、画素数が大きい画像データのデコードにかかる時間は画素数が小さい画像データのデコードにかかる時間よりも長くなるため、画素数が小さい画像データの破棄優先度を高く設定する。
【００８４】
図１９は、図１６の画像データ破棄処理におけるステップＳ７０４で実行される第３の破棄優先度設定処理のフローチャートである。
【００８５】
図１９において、画像データ処理装置１００のＣＰＵ１１２は、ユーザの操作履歴情報を取得する（ステップＳ１００２）。
【００８６】
次いで、ＣＰＵ１１２は、ステップＳ１００２で取得したユーザの操作履歴情報に基づいて、メモリとしてのＲＡＭ１１４に記憶されている、表示に用いられるデコード済みの画像データのうち表示が要求される可能性の低い画像の画像データの破棄優先度を高く設定して（ステップＳ１００４）、本処理を終了する。
【００８７】
例えば、図１４（Ａ）に示すようにユーザがスクロール操作を下方向に行って、またはユーザが下方向に連続してスクロール操作を行って図１４（Ｂ）に示す状態となった場合、次のユーザによるスクロール操作も下方向である可能性が高いため、表示画面２０２に表示しきれない画像のうち表示画面２０２から上方向の画像のデコード済みの画像データの破棄優先度を、下方向の画像のデコード済みの画像データの破棄優先度よりも高く設定する。すなわち、本実施の形態では、ユーザが行った操作履歴の情報に基づいて、次に表示が要求される可能性の低い画像を予測して、その画像のデコード済みの画像データの破棄優先度を高く設定する。
【００８８】
なお、本実施の形態で利用する操作履歴の情報は、現在実行しているアプリケーション内のものだけではなく、他のアプリケーション実行時に行ったユーザの操作履歴の情報を利用することもできる。
【００８９】
また、本実施の形態では、インターネット（図示しない）などを利用して、他のユーザの操作履歴の情報を取得して利用することもできる。例えば、ユーザが行う操作は、表示される内容によって傾向付けられる場合が存在する。広告画像が多数存在するＷｅｂページをユーザがＷｅｂブラウザ上で閲覧するとき、広告を見たくない多くのユーザは、その広告をスクロール操作などによってすぐに表示画面外に追いやってしまうことが予測される。このような、ユーザの操作傾向を共有知としてインターネット上のＷｅｂサーバに保持しておき、その情報をインターネットを介して利用することで、より正確な予測を行うこともできる。
【００９０】
図２０は、図１６の画像データ破棄処理におけるステップＳ７０４で実行される第４の破棄優先度設定処理のフローチャートである。
【００９１】
図２０において、画像データ処理装置１００のＣＰＵ１１２は、メモリとしてのＲＡＭ１１４に記憶されている、表示に用いられるデコード済みの画像データのそれぞれのメタ情報を取得する（ステップＳ１１０２）。
【００９２】
次いで、ＣＰＵ１１２は、ステップＳ１１０２で取得したメタ情報に含まれる表示優先度に基づいて、表示優先度が低い画像の画像データの破棄優先度を高く設定して（ステップＳ１１０４）、本処理を終了する。
【００９３】
例えば、図１５に示すようなＷｅｂページを表示画面２０２に表示させる場合、ユーザは広告としての画像＃３０、＃３４以外の画像＃３１〜＃３３を閲覧したいと考えられる。このため、広告としての画像＃３０、＃３４の画像データのメタ情報に、表示優先度を低くする情報を付加しておく。これにより、ユーザが閲覧したいと考えられる画像＃３１〜＃３３以外の画像＃３０、＃３４のデコード済みの画像データの破棄が優先されるため、ユーザが閲覧したい画像が早くに表示画面２０２に表示されることになり、ユーザの心理的な待ち時間を短縮させることができる。このため、本実施の形態では、表示優先度が低い画像データの破棄優先度を高く設定する。
【００９４】
図２１は、図１６の画像データ破棄処理におけるステップＳ７０４で実行される第５の破棄優先度設定処理のフローチャートである。
【００９５】
図２１において、画像データ処理装置１００のＣＰＵ１１２は、メモリとしてのＲＡＭ１１４に記憶されている、表示に用いられるデコード済みの画像データのそれぞれの表示画面２０２における表示面積情報を取得する（ステップＳ１２０２）。
【００９６】
次いで、ＣＰＵ１１２は、ステップＳ１２０２で取得した表示面積情報に基づいて、表示面積の小さい画像の画像データの破棄優先度を高く設定して（ステップＳ１２０４）、本処理を終了する。
【００９７】
例えば、図１５に示すようなＷｅｂページを表示画面２０２に表示させる場合において、画像＃３１〜＃３３の画像データの画素数が略同じであるようなときは、これらの画像＃３１〜＃３３の画像データのデコードにかかる時間は略同じとなるため、表示面積の小さい画像＃３１の画像データの破棄優先度を画像＃３２や画像＃３３の画像データの破棄優先度よりも高く設定する。これにより、Ｗｅｂページにおいて表示面積の大きい画像が早くに表示画面２０２に表示されることになり、ユーザの心理的な待ち時間を短縮させることができる。
【００９８】
上述した図１６の画像データ破棄処理によれば、画像が表示される際のユーザの待ち時間を短縮させるために必要な、デコードされた画像データを用意しておくことができる。
【００９９】
上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することができる。
【０１００】
図２２は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェア構成を概略的に示すブロック図である。
【０１０１】
図２２において、ＣＰＵ５０、ＲＯＭ５２、ＲＡＭ５４は、バス５６により相互に接続されている。
【０１０２】
バス５６には、さらに、入出力インタフェース５８が接続されている。入出力インタフェース５８には、キーボード、マウス、マイクロホンなどよりなる入力部６０、ディスプレイ、スピーカなどよりなる出力部６２、ハードディスクや不揮発性のメモリなどよりなる記憶部６４、ネットワークインタフェースなどよりなる通信部６６、光ディスクや半導体メモリなどのリムーバブルメディア７０を駆動するドライブ６８が接続されている。
【０１０３】
以上のように構成されるコンピュータでは、ＣＰＵ５０が、例えば、記憶部６４に記憶されているプログラムを入出力インタフェース５８及びバス５６を介してＲＡＭ５４にロードして実行することにより、上述した一連の処理が行われる。
【０１０４】
ＣＰＵ５０が実行するプログラムは、例えばリムーバブルメディア７０に記録して、あるいは、ローカルエリアネットワーク、インターネット、デジタル放送といった、有線または無線の伝送媒体を介して提供され、記憶部６４にインストールされる。
【０１０５】
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであってもよいし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであってもよい。
【０１０６】
以上、添付図面を参照しながら本発明の好適な実施の形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。
【符号の説明】
【０１０７】
１０ 画像データ表示システム
１００ 画像データ処理装置
１０２ 入力制御デバイス
１０４ デコーダ
１０６ 出力制御デバイス
１０８ バス
１１０ 蓄積デバイス
１１２ ＣＰＵ
１１４ ＲＡＭ
１１６ ＲＯＭ
２００ 表示装置
２０２ 表示画面
３００ 入力デバイス
【特許請求の範囲】
【請求項１】
表示装置による画像の表示を制御する表示制御部と、
前記表示制御部が前記表示装置の表示画面に表示させたい複数の画像の画像データのそれぞれにデコード優先度を設定するデコード優先度設定部と、
前記デコード優先度設定部により設定されたデコード優先度に従って、前記画像データのそれぞれにデコード処理を施すデコード部と、
前記デコード部によりデコード処理が施されたデコード済みの画像データのそれぞれを記憶する記憶部と、
を備える、画像データ処理装置。
【請求項２】
前記デコード優先度設定部は、前記複数の画像の画像データのそれぞれの位置情報を取得して、取得した位置情報に基づいて、前記複数の画像の画像データのそれぞれにデコード優先度を設定する、請求項１に記載の画像データ処理装置。
【請求項３】
前記デコード優先度設定部は、前記複数の画像の画像データのそれぞれの画素数情報を取得して、取得した画素数情報に基づいて、前記複数の画像の画像データのそれぞれにデコード優先度を設定する、請求項１または２に記載の画像データ処理装置。
【請求項４】
前記デコード優先度設定部は、ユーザの操作履歴情報を取得して、取得した操作履歴情報に基づいて、前記複数の画像の画像データのそれぞれにデコード優先度を設定する、請求項１〜３のいずれか１項に記載の画像データ処理装置。
【請求項５】
前記デコード優先度設定部は、前記複数の画像の画像データのそれぞれのメタ情報を取得して、取得したメタ情報に含まれる表示優先度に基づいて、前記複数の画像の画像データのそれぞれにデコード優先度を設定する、請求項１〜４のいずれか１項に記載の画像データ処理装置。
【請求項６】
前記デコード優先度設定部は、前記複数の画像の画像データのそれぞれの前記表示画面における表示面積情報を取得して、取得した表示面積情報に基づいて、前記複数の画像の画像データのそれぞれにデコード優先度を設定する、請求項１〜５のいずれか１項に記載の画像データ処理装置。
【請求項７】
前記記憶部に記憶された前記デコード済みの画像データのそれぞれに破棄優先度を設定する破棄優先度設定部と、
前記破棄優先度設定部により設定された破棄優先度に従って、前記記憶部に記憶された前記デコード済みの画像データの破棄を行う破棄部と、
をさらに備える、請求項１〜６のいずれか１項に記載の画像データ処理装置。
【請求項８】
表示装置による画像の表示を制御する表示制御部と、
前記表示制御部が前記表示装置の表示画面に表示させたい複数の画像の画像データのそれぞれにデコード処理を施すデコード部と、
前記デコード部によりデコード処理が施されたデコード済みの画像データのそれぞれを記憶する記憶部と、
前記記憶部に記憶された前記デコード済みの画像データのそれぞれに破棄優先度を設定する破棄優先度設定部と、
前記破棄優先度設定部により設定された破棄優先度に従って、前記記憶部に記憶された前記デコード済みの画像データの破棄を行う破棄部と、
を備える、画像データ処理装置。
【請求項９】
前記破棄優先度設定部は、前記記憶部に記憶された前記デコード済みの画像データのそれぞれの位置情報を取得して、取得した位置情報に基づいて、前記記憶部に記憶された前記デコード済みの画像データのそれぞれに破棄優先度を設定する、請求項８に記載の画像データ処理装置。
【請求項１０】
前記破棄優先度設定部は、前記記憶部に記憶された前記デコード済みの画像データのそれぞれの画素数情報を取得して、取得した画素数情報に基づいて、前記記憶部に記憶された前記デコード済みの画像データのそれぞれに破棄優先度を設定する、請求項８または９に記載の画像データ処理装置。
【請求項１１】
前記破棄優先度設定部は、ユーザの操作履歴情報を取得して、取得した操作履歴情報に基づいて、前記記憶部に記憶された前記デコード済みの画像データのそれぞれに破棄優先度を設定する、請求項８〜１０のいずれか１項に記載の画像データ処理装置。
【請求項１２】
前記破棄優先度設定部は、前記記憶部に記憶された前記デコード済みの画像データのそれぞれのメタ情報を取得して、取得したメタ情報に含まれる表示優先度に基づいて、前記記憶部に記憶された前記デコード済みの画像データのそれぞれに破棄優先度を設定する、請求項８〜１１のいずれか１項に記載の画像データ処理装置。
【請求項１３】
前記破棄優先度設定部は、前記記憶部に記憶された前記デコード済みの画像データのそれぞれの前記表示画面における表示面積情報を取得して、取得した表示面積情報に基づいて、前記記憶部に記憶された前記デコード済みの画像データのそれぞれに破棄優先度を設定する、請求項８〜１２のいずれか１項に記載の画像データ処理装置。
【請求項１４】
前記表示制御部が前記表示装置の表示画面に表示させたい複数の画像の画像データのそれぞれにデコード優先度を設定するデコード優先度設定部をさらに備え、
前記デコード部は、前記デコード優先度設定部により設定されたデコード優先度に従って、前記画像データのそれぞれにデコード処理を施す、請求項８〜１２のいずれか１項に記載の画像データ処理装置。
【請求項１５】
表示装置による画像の表示を制御する表示制御ステップと、
前記表示制御ステップで前記表示装置の表示画面に表示させたい複数の画像の画像データのそれぞれにデコード優先度を設定するデコード優先度設定ステップと、
前記デコード優先度設定ステップで設定されたデコード優先度に従って、前記画像データのそれぞれにデコード処理を施すデコードステップと、
前記デコードステップでデコード処理が施されたデコード済みの画像データのそれぞれを記憶部に記憶させる記憶ステップと、
を有する、画像データ処理方法。
【請求項１６】
表示装置による画像の表示を制御する表示制御ステップと、
前記表示制御ステップで前記表示装置の表示画面に表示させたい複数の画像の画像データのそれぞれにデコード処理を施すデコードステップと、
前記デコードステップでデコード処理が施されたデコード済みの画像データのそれぞれを記憶部に記憶させる記憶ステップと、
前記記憶ステップで記憶部に記憶された前記デコード済みの画像データのそれぞれに破棄優先度を設定する破棄優先度設定ステップと、
前記破棄優先度設定ステップで設定された破棄優先度に従って、前記記憶部に記憶された前記デコード済みの画像データの破棄を行う破棄ステップと、
を有する、画像データ処理方法。
【請求項１７】
コンピュータを、
表示装置による画像の表示を制御する表示制御部と、
前記表示制御部が前記表示装置の表示画面に表示させたい複数の画像の画像データのそれぞれにデコード優先度を設定するデコード優先度設定部と、
前記デコード優先度設定部により設定されたデコード優先度に従って、前記画像データのそれぞれにデコード処理を施すデコード部と、
前記デコード部によりデコード処理が施されたデコード済みの画像データのそれぞれを記憶する記憶部と、
として機能させるための、プログラム。
【請求項１８】
コンピュータを、
表示装置による画像の表示を制御する表示制御部と、
前記表示制御部が前記表示装置の表示画面に表示させたい複数の画像の画像データのそれぞれにデコード処理を施すデコード部と、
前記デコード部によりデコード処理が施されたデコード済みの画像データのそれぞれを記憶する記憶部と、
前記記憶部に記憶された前記デコード済みの画像データのそれぞれに破棄優先度を設定する破棄優先度設定部と、
前記破棄優先度設定部により設定された破棄優先度に従って、前記記憶部に記憶された前記デコード済みの画像データの破棄を行う破棄部と、
として機能させるための、プログラム。
【請求項１】
表示装置による画像の表示を制御する表示制御部と、
前記表示制御部が前記表示装置の表示画面に表示させたい複数の画像の画像データのそれぞれにデコード優先度を設定するデコード優先度設定部と、
前記デコード優先度設定部により設定されたデコード優先度に従って、前記画像データのそれぞれにデコード処理を施すデコード部と、
前記デコード部によりデコード処理が施されたデコード済みの画像データのそれぞれを記憶する記憶部と、
を備える、画像データ処理装置。
【請求項２】
前記デコード優先度設定部は、前記複数の画像の画像データのそれぞれの位置情報を取得して、取得した位置情報に基づいて、前記複数の画像の画像データのそれぞれにデコード優先度を設定する、請求項１に記載の画像データ処理装置。
【請求項３】
前記デコード優先度設定部は、前記複数の画像の画像データのそれぞれの画素数情報を取得して、取得した画素数情報に基づいて、前記複数の画像の画像データのそれぞれにデコード優先度を設定する、請求項１または２に記載の画像データ処理装置。
【請求項４】
前記デコード優先度設定部は、ユーザの操作履歴情報を取得して、取得した操作履歴情報に基づいて、前記複数の画像の画像データのそれぞれにデコード優先度を設定する、請求項１〜３のいずれか１項に記載の画像データ処理装置。
【請求項５】
前記デコード優先度設定部は、前記複数の画像の画像データのそれぞれのメタ情報を取得して、取得したメタ情報に含まれる表示優先度に基づいて、前記複数の画像の画像データのそれぞれにデコード優先度を設定する、請求項１〜４のいずれか１項に記載の画像データ処理装置。
【請求項６】
前記デコード優先度設定部は、前記複数の画像の画像データのそれぞれの前記表示画面における表示面積情報を取得して、取得した表示面積情報に基づいて、前記複数の画像の画像データのそれぞれにデコード優先度を設定する、請求項１〜５のいずれか１項に記載の画像データ処理装置。
【請求項７】
前記記憶部に記憶された前記デコード済みの画像データのそれぞれに破棄優先度を設定する破棄優先度設定部と、
前記破棄優先度設定部により設定された破棄優先度に従って、前記記憶部に記憶された前記デコード済みの画像データの破棄を行う破棄部と、
をさらに備える、請求項１〜６のいずれか１項に記載の画像データ処理装置。
【請求項８】
表示装置による画像の表示を制御する表示制御部と、
前記表示制御部が前記表示装置の表示画面に表示させたい複数の画像の画像データのそれぞれにデコード処理を施すデコード部と、
前記デコード部によりデコード処理が施されたデコード済みの画像データのそれぞれを記憶する記憶部と、
前記記憶部に記憶された前記デコード済みの画像データのそれぞれに破棄優先度を設定する破棄優先度設定部と、
前記破棄優先度設定部により設定された破棄優先度に従って、前記記憶部に記憶された前記デコード済みの画像データの破棄を行う破棄部と、
を備える、画像データ処理装置。
【請求項９】
前記破棄優先度設定部は、前記記憶部に記憶された前記デコード済みの画像データのそれぞれの位置情報を取得して、取得した位置情報に基づいて、前記記憶部に記憶された前記デコード済みの画像データのそれぞれに破棄優先度を設定する、請求項８に記載の画像データ処理装置。
【請求項１０】
前記破棄優先度設定部は、前記記憶部に記憶された前記デコード済みの画像データのそれぞれの画素数情報を取得して、取得した画素数情報に基づいて、前記記憶部に記憶された前記デコード済みの画像データのそれぞれに破棄優先度を設定する、請求項８または９に記載の画像データ処理装置。
【請求項１１】
前記破棄優先度設定部は、ユーザの操作履歴情報を取得して、取得した操作履歴情報に基づいて、前記記憶部に記憶された前記デコード済みの画像データのそれぞれに破棄優先度を設定する、請求項８〜１０のいずれか１項に記載の画像データ処理装置。
【請求項１２】
前記破棄優先度設定部は、前記記憶部に記憶された前記デコード済みの画像データのそれぞれのメタ情報を取得して、取得したメタ情報に含まれる表示優先度に基づいて、前記記憶部に記憶された前記デコード済みの画像データのそれぞれに破棄優先度を設定する、請求項８〜１１のいずれか１項に記載の画像データ処理装置。
【請求項１３】
前記破棄優先度設定部は、前記記憶部に記憶された前記デコード済みの画像データのそれぞれの前記表示画面における表示面積情報を取得して、取得した表示面積情報に基づいて、前記記憶部に記憶された前記デコード済みの画像データのそれぞれに破棄優先度を設定する、請求項８〜１２のいずれか１項に記載の画像データ処理装置。
【請求項１４】
前記表示制御部が前記表示装置の表示画面に表示させたい複数の画像の画像データのそれぞれにデコード優先度を設定するデコード優先度設定部をさらに備え、
前記デコード部は、前記デコード優先度設定部により設定されたデコード優先度に従って、前記画像データのそれぞれにデコード処理を施す、請求項８〜１２のいずれか１項に記載の画像データ処理装置。
【請求項１５】
表示装置による画像の表示を制御する表示制御ステップと、
前記表示制御ステップで前記表示装置の表示画面に表示させたい複数の画像の画像データのそれぞれにデコード優先度を設定するデコード優先度設定ステップと、
前記デコード優先度設定ステップで設定されたデコード優先度に従って、前記画像データのそれぞれにデコード処理を施すデコードステップと、
前記デコードステップでデコード処理が施されたデコード済みの画像データのそれぞれを記憶部に記憶させる記憶ステップと、
を有する、画像データ処理方法。
【請求項１６】
表示装置による画像の表示を制御する表示制御ステップと、
前記表示制御ステップで前記表示装置の表示画面に表示させたい複数の画像の画像データのそれぞれにデコード処理を施すデコードステップと、
前記デコードステップでデコード処理が施されたデコード済みの画像データのそれぞれを記憶部に記憶させる記憶ステップと、
前記記憶ステップで記憶部に記憶された前記デコード済みの画像データのそれぞれに破棄優先度を設定する破棄優先度設定ステップと、
前記破棄優先度設定ステップで設定された破棄優先度に従って、前記記憶部に記憶された前記デコード済みの画像データの破棄を行う破棄ステップと、
を有する、画像データ処理方法。
【請求項１７】
コンピュータを、
表示装置による画像の表示を制御する表示制御部と、
前記表示制御部が前記表示装置の表示画面に表示させたい複数の画像の画像データのそれぞれにデコード優先度を設定するデコード優先度設定部と、
前記デコード優先度設定部により設定されたデコード優先度に従って、前記画像データのそれぞれにデコード処理を施すデコード部と、
前記デコード部によりデコード処理が施されたデコード済みの画像データのそれぞれを記憶する記憶部と、
として機能させるための、プログラム。
【請求項１８】
コンピュータを、
表示装置による画像の表示を制御する表示制御部と、
前記表示制御部が前記表示装置の表示画面に表示させたい複数の画像の画像データのそれぞれにデコード処理を施すデコード部と、
前記デコード部によりデコード処理が施されたデコード済みの画像データのそれぞれを記憶する記憶部と、
前記記憶部に記憶された前記デコード済みの画像データのそれぞれに破棄優先度を設定する破棄優先度設定部と、
前記破棄優先度設定部により設定された破棄優先度に従って、前記記憶部に記憶された前記デコード済みの画像データの破棄を行う破棄部と、
として機能させるための、プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【公開番号】特開２０１１−２１５９１５（Ｐ２０１１−２１５９１５Ａ）
【公開日】平成２３年１０月２７日（２０１１．１０．２７）
【国際特許分類】
【出願番号】特願２０１０−８３８５４（Ｐ２０１０−８３８５４）
【出願日】平成２２年３月３１日（２０１０．３．３１）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
【公開日】平成２３年１０月２７日（２０１１．１０．２７）
【国際特許分類】
【出願日】平成２２年３月３１日（２０１０．３．３１）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
[ Back to top ]