画像表示装置
【課題】
本発明によれば、画像表示装置のグラフィクス表示の高速処理と高画質化を目的とする。
【解決手段】
画像データをサブバンド分割し得られるサブバンド分割画像を保存した記録媒体と、サブバンド分割画像をサブバンド合成して、サブバンド合成画像を生成するサブバンド合成部と、該サブバンド合成画像よりグラフィクス画像を生成して出力するグラフィクス出力部を備え、サブバンド合成を行うサブバンド成分を変更し前記グラフィクス出力部の描画速度を高速化することを特徴とする画像表示装置。
本発明によれば、画像表示装置のグラフィクス表示の高速処理と高画質化を目的とする。
【解決手段】
画像データをサブバンド分割し得られるサブバンド分割画像を保存した記録媒体と、サブバンド分割画像をサブバンド合成して、サブバンド合成画像を生成するサブバンド合成部と、該サブバンド合成画像よりグラフィクス画像を生成して出力するグラフィクス出力部を備え、サブバンド合成を行うサブバンド成分を変更し前記グラフィクス出力部の描画速度を高速化することを特徴とする画像表示装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像表示装置に関する。
【背景技術】
【０００２】
本技術分野の背景技術として、例えば、特開２００３−１８４１０号公報（特許文献１）がある。該公報には、「この変換符号の画像伸張装置は、既に階層型ウェーブレット変換された符号から自然画像に伸張するときに、ユーザが指定した画像サイズから既にウェーブレット変換された画像符号を参照し、指定された伸張画像サイズに内輪のうち最も大きいかまたは等しい直上階層、および、指定された伸張画像サイズを上回ったもののうち最も小さいかまたは等しい直下階層となる階層番号を求め、最上位階層からこの階層番号＋２の階層までに存在する階層の逆ウェーブレット変換を行うことにより伸張画像を作成する。」と記載されている。
【０００３】
【特許文献１】特開２００３−１８４１０号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
近年、レコーダやデジタルカメラなど画像を記録再生するデジタル機器では、大容量化が進み大量の画像を扱う機会が増えてきている。このような背景があり、ユーザが大量の画像データの中から簡単に目的の画像を探し出すことができるようにするため、グラフィカルユーザインタフェース（GUI）は、複数のサムネイル画像を一画面内に重ねて表示したり、小さいサムネイル画像一画面に大量に表示するなどの高機能化が進んでいる。しかし、これを実現するためには、大量のサムネイル画像を記録媒体から読み出し、拡大縮小して表示しなければいけないため、記録媒体アクセスのバンド幅や拡大縮小部の処理量などがネックとなり、グラフィクス表示の表示速度が低下するという問題がある。
【０００５】
上記特許文献１では、ウェーブレット変換方式を使用し、ユーザが指定した画像サイズに応じて高速に高画質な伸張画像を得る方法について述べている。しかし、画像の処理枚数が増えた場合、その分処理時間が増えるので、表示速度が遅くなってしまうことについては具体的な解決方法が開示されてはいない。本発明では、グラフィクス表示の高速処理と高画質化を実現する画像表示装置を提供することを目的とする。
【課題を解決するための手段】
【０００６】
上記目的は、特許請求の範囲に記載の発明により達成される。
【発明の効果】
【０００７】
本発明によれば、画像表示装置のグラフィクス表示の高速処理と高画質化を実現できる。
【発明を実施するための最良の形態】
【０００８】
以下、本発明の実施の形態を、図面を用いて説明する。
【０００９】
図１は、本発明の第１の実施形態を表す画像表示装置である。この装置はデジタル放送を記録再生できる記録再生装置であり、記録した番組の一覧表示をするためのサムネイル画像を表示する機能について述べる。
【００１０】
図１の記録再生装置は、チューナ部100と、記録媒体101と、デコード部102と、サブバンド分割部103と、サブバンド合成部104と、拡大縮小部105、グラフィック出力部106と、表示機器107とからなる。放送波を記録時は、チューナ部100で受信したＭＰＥＧ２ビデオストリームを、記録媒体101に記録する。記録媒体101に記録されたストリームは、番組一覧表示に使用するサムネイル画像を作るために、デコード部102にて先頭フレームのみをデコードしてデコード画像を生成する。さらに、このデコード画像をサブバンド分割部103でサブバンド分割を行いサブバンド分割画像を作成し、記録媒体101に記録する。ここで、JPEG2000のようにサブバンド分割して圧縮する符号化を用いている場合は、デコード部102はデコード途中のサブバンド分割画像を直接記録媒体101に記録してもよい。
【００１１】
記録媒体101に記録したストリームの再生時は、デコード部102でストリームをデコードし復号画像を生成し、グラフィックス出力部106で前記復号画像から出力画像を生成し、表示機器107に出力する。
【００１２】
一方、どのストリームを再生するか選択するサムネイル画像を表示する時は、記録媒体101からサブバンド分割画像の必要なサブバンド成分のみを読み出し、サブバンド合成部104でサブバンド合成を行い、サブバンド合成画像を生成する。次に拡大縮小部105にて、サブバンド合成画像の拡大縮小を行い、グラフィックス出力部106でグラフィクス画像を生成し、表示機器107に出力する。
【００１３】
次に、サブバンド分割合成方法について説明する。
【００１４】
図２はサブバンド分割合成のフィルタバンクの構成例を表している。点線201はサブバンド分割処理を表す。202と204はローパスフィルタをかけた後、半分にダウンサンプリングを行うことを意味し、203と205はハイパスフィルタをかけた後、半分にダウンサンプリングを行うことを意味する。まず、入力データを203で高域成分に分割してＨ成分のデータを作成する。次に入力データを202で低域成分に分割してＬ成分のデータを作成した後、さらにＬ成分のデータを204で低域成分に分割してＬＬ成分のデータを作成し、Ｌ成分のデータを205で高域成分に分割してＬＨ成分のデータを作成する。
【００１５】
点線202はサブバンド合成処理を表す。207と209は、２倍にアップサンプリングした後に、ローパスフィルタをかけることを意味し、208と210は２倍にアップサンプリングした後に、ハイパスフィルタをかけることを意味する。サブバンド合成は低域成分から順番に合成する。LL成分のデータを207、LH成分のデータを208で処理して足し合わせてL成分のデータを生成する。次にL成分のデータを209で処理したデータと、Ｈ成分を210で処理したデータと足し合わせることで、再構成データを作成する。この、再構成データは、完全再構成可能なローパスフィルタとハイパスフィルタを用いると、入力データと一致する。
【００１６】
図３に図２に記載のフィルタバンクを３６０画素×２４０画素のサムネイル画像に適用した場合のサブバンド分割画像を示す。図２に記載のフィルタバンクを画像に適用する場合、水平方向と垂直方向と２回に分けてサブバンド分割を行うことで図３のサブバンド分割画像を生成できる。前記サブバンド分割画像は、LLLL成分211（９０画素×６０画素）、LLLH成分212（９０画素×６０画素）、LLHL成分213（９０画素×６０画素）、LLHH成分214（９０画素×６０画素）、LH成分215（１８０画素×１２０画素）、HL成分216（１８０画素×１２０画素）、HH成分217（１８０画素×１２０画素）の７つのサブバンド成分に分割される。また、太線で囲んだLLLL成分211とLLLH成分212とLLHL成分213とLLHH成分214を纏めてLL成分218と呼ぶ。左上が低域のサブバンド成分であり、右下に行くほど高域のサブバンド成分となる。ここで、LLLL成分211はサブバンド分割前の画像を縦横共に４分の１にした９０画素×６０画素の縮小画像となる。
【００１７】
次に図３を用いてサブバンド分割画像の合成方法を説明する。サブバンド合成を行う場合は、低域のサブバンド成分から合成していく。例えば、LL成分218のサブバンド合成を行うことで、サブバンド分割前の画像を縦横共に２分の１した１８０画素×１２０画素の縮小画像ができる。さらにこの縮小画像と、LH成分215、HL成分216、HH成分217のサブバンド合成を行うことで、サブバンド分割前の３６０画素×２４０画素のサムネイル画像に復元できる。
【００１８】
本発明は、低域のサブバンド成分のデータのみで縮小画像を作成できることを利用して、サブバンド合成を行うサブバンド成分を変更することで描画速度の高速化を図る。例えば、拡大縮小部の１フレームに処理できるデータ量をＨＤサイズ（１９２０画素×１０８０画素）の画像１枚とする。ここで、１６枚のＨＤサイズの画像を縮小してＨＤサイズのディスプレイに表示しようとすると、１フレームで１枚しか処理できないので１６フレームかかってしまう。一方、サブバンド分割画像を用いた場合、LLLL成分211のみをサブバンド合成することで、拡大縮小部で処理するデータ量は１６分の１となり、１フレームで処理することが可能となる。このように、サブバンド合成を行うサブバンド成分を変更することで、拡大縮小部の処理量を減らすことができるため、描画速度を速くすることができる。画質に関しても、ＨＤサイズのディスプレイに表示する場合は、ＨＤサイズの画像を１６分の１に縮小してディスプレイに表示するため、LLLL成分211のみでサブバンド合成したサブバンド合成画像と解像度は変わらない。よって、高画質化と高速化を実現できる。
【００１９】
次に記録媒体アクセスのバンド幅がネックとなっている例を具体的に説明する。
【００２０】
図４は、同一サイズのサムネイル画像を多数表示し視聴したコンテンツを探し出すグラフィクス表示であり、サムネイル画像のサイズを大サイズと中サイズに切り替える機能を持つ。サムネイル表示300は中サイズのサムネイル画像301を１６枚表示してあり、各々のサムネイル画像のサイズは１８０画素×１２０画素（４：２：０）とする。また、サムネイル表示303は大サイズのサムネイル画像を４枚表示してあり、各々のサムネイル画像のサイズは３６０画素×２４０画素（４：２：０）とする。大サイズのサムネイル表示300は点線302内の中サイズのサムネイル画像４枚を点線305内に拡大表示したものである。
【００２１】
例として、記録媒体にＨＤＤを使用し、その転送速度を３５Ｍｂｙｔｅｓ／ｓｅｃとする。このとき、６０ｆｐｓのテレビにサムネイル画像をリアルタイムで表示する場合について述べる。この３５Ｍｂｙｔｅｓ／ｓｅｃのバンド幅はすべてグラフィクス表示処理に使用できるものとする。３６０画素×２４０画素（４：２：０）のサムネイル画像一枚当たり、約０．１３Ｍｂｙｔｅなので、１フレーム当たり何枚表示できるかを計算すると３５Ｍｂｙｔｅ／ｓｅｃ÷６０ｆｐｓ÷０．１３Ｍｂｙｔｅ≒４.５枚となる。
【００２２】
図５にサムネイル表示300と301の両方のバンド幅を示す。大サイズのサムネイル表示303は、３６０画素×２４０画素のサムネイル画像が４枚なので、４枚ともすべてのサブバンド成分211〜217を記録媒体から読み出して、サブバンド合成を行っても約３１Ｍｂｙｔｅｓ／ｓｅｃとなりリアルタイムで表示できる。一方、中サイズのサムネイル画像は１６枚必要であり、すべてのサブバンド成分211〜217を記録媒体から読み出してサブバンド合成して縮小したのでは、４倍の約１２４Ｍｂｙｔｅｓ／ｓｅｃとなりリアルタイム処理できるバンド幅を超えてしまう。そこで、バンド幅を３５Ｍｂｙｔｅ／ｓｅｃに抑えるため、１枚当たりのサブバンド合成を行うサブバンド成分を４分の１のLL成分218に制限すると、記録媒体アクセスのバンド幅も４分の１の約３１Ｍｂｙｔｅｓ／ｓｅｃとなりリアルタイムで表示できるバンド幅以内に抑えることができる。
【００２３】
このように、サムネイル画像の表示枚数に応じて記録媒体から読み出すサブバンド成分を変更することで、画像の表示枚数が何枚になったとしても、リアルタイム表示可能なバンド幅以下に抑えることができるので、リアルタイム表示することができる。また、サムネイル表示300の画質に関しても、３６０画素×２４０画素のサムネイル画像を１８０画素×１２０画素に縮小する場合と、サブバンド合成を使用し、１８０画素×１２０画素の縮小画像を作成する場合で、画質は同レベルとなる。よって、高速処理と高画質化を実現できる。
【００２４】
さらに、記録媒体アクセスのバンド幅と記録媒体の記録容量に関する利点もある。通常の記録再生装置では、同一のサムネイル画像で大サイズと中サイズのように画像サイズが変わる場合、以下の２つの方法で実現することが考えられる。
（１）大サイズのサムネイル画像304を記録媒体に保存しておき、中サイズのサムネイル画像301を表示する場合は、大サイズのサムネイル画像304を記録媒体から読み出し、縮小する。
（２）中サイズのサムネイル画像301と大サイズのサムネイル画像304すべてを記録媒体に保存しておき、必要なサイズのサムネイル画像を記録媒体から読み出す。
ここで、サムネイル表示300に表示されている、１６枚のサムネイル画像について考える。
【００２５】
記録媒体アクセスのバンド幅に関しては、前記（１）の方法では、約１２４Ｍｂｙｔｅｓ／ｓｅｃとなり、前記（２）の方法では、約３１Ｍｂｙｔｅｓ／ｓｅｃとなる。
【００２６】
一方、記録媒体の保存容量に関しては、前記（１）の方法では、記録媒体の保存容量は大サイズのサムネイル画像（３６０画素×２４０画素、４：２：０）を１６枚分、約２．１Ｍｂｙｔｅですむが、前記（２）の方法では、大サイズのサムネイル画像と中サイズのサムネイル画像（１８０画素×１２０画素、４：２：０）の両方を保存しておかなければいけないため、保存容量は約２．６Ｍｂｙｔｅとなる。
【００２７】
本発明では、サムネイル画像毎にサブバンド分割画像を１枚保存しておけばよいので、記録媒体の記録容量は約２．１Ｍｂｙｔｅとなり、前記（１）と変わらない。さらに、記録媒体アクセスのバンド幅も約３１Ｍｂｙｔｅｓ／ｓｅｃとなり、前記（１）、（２）の方法の両方の利点を得ることができる。
【００２８】
次に、８Ｍｂｙｔｅｓ／ｓｅｃの転送速度のＳＤカードと５Ｍｂｙｔｅｓ／ｓｅｃの転送速度のＳＤカードで大きいサイズのサムネイル表示303をする場合の例を挙げる。
【００２９】
両ＳＤカードともサブバンド成分211〜217を記録媒体から読み出すと、約３１Ｍｂｙｔｅｓ／ｓｅｃとなるのでリアルタイムで表示できない。よって８Ｍｂｙｔｅｓ／ｓｅｃの転送速度のＳＤカードの場合は、LL成分218を記録媒体から読み出すとすると、約７．８Ｍｂｙｔｅｓ／ｓｅｃとなりリアルタイムで表示できる。一方、５Ｍｂｙｔｅｓ／ｓｅｃの転送速度のＳＤカードの場合、LLLL成分211のみを記録媒体から読み出すとすると、約２Ｍｂｙｔｅｓ／ｓｅｃとなり、リアルタイムで表示できる。
【００３０】
このように、記録媒体の転送速度に応じて、記録媒体から読み出すサブバンド成分を変更することで、画質は劣化するがその劣化を最小限に抑えつつ、リアルタイムで表示することが可能となる。
【００３１】
複数のサブバンド分割画像を保存する場合、記録媒体へのアクセスを無駄無く行うためのサブバンド分割画像の保存方法を図６に示す。図６のように複数のサブバンド分割画像のLLLL成分211を集めたデータ群500、複数のサブバンド分割画像のLLLH成分212を集めたデータ群501というように、サブバンド成分毎に記録媒体内の連続したアドレスに保存する。このように保存することにより、例えば、図４の小さいサイズのサムネイル画像301を多数表示する場合に有効である。通常、サブバンド分割画像単位で保存する場合では、飛び飛びのアドレスにアクセスを行うため、データの読み出し単位でデータが割り切れなかった場合、端数のデータを捨てることになる。一方、前記保存方法では、LLLL成分211を連続データとして記録媒体から読み出すことができる。その結果、読み捨てるデータが最小限になり、無駄の無いアクセスが可能となる。
図６の応用例として、固めて保存するサブバンド成分を変更した例を図７に示す。図７はLLLL成分211のデータ群600と、LLLH成分212、LLHL成分213、LLHH成分214のデータ群601と、LH成分215、HL成分216、HH成分217のデータ群602とに分けて保存した例である。このように保存することにより、９０画素×６０画素、１８０画素×１２０画素、３６０画素×２４０画素と３段階のサイズ変更をする場合に、無駄無く記録媒体へのアクセスを行うことができる。なお、この固めて保存するサブバンド成分については使用用途に応じて変更してよい。
【００３２】
図８は、同一画面内で違うサイズのサムネイル画像を表示する場合のグラフィクス表示700である。このグラフィクス表示は、上下にスクロールして視聴したい番組を探し出すときなどに使用する。この例では上下には中サイズのサムネイル画像（１８０画素×１２０画素）701、703を表示し、中央には大サイズのサムネイル画像（３６０画素×１２０画素）702を表示する。
【００３３】
例として、図４のＨＤＤを使用し、ＨＤＤへのアクセスを他のアプリケーションでも行うため、グラフィクス表示処理には半分の１７．５Ｍｂｙｔｅｓ／ｓｅｃのバンド幅しか使用できない場合について述べる。３枚のサムネイル画像ですべてのサブバンド成分211〜217をサブバンド合成するには、約２３Ｍｂｙｔｅｓ／ｓｅｃのバンド幅が必要であるためリアルタイム表示することができない。そこで、画像サイズが大きいものに優先度を置いて記録媒体から読み出すサブバンド成分を変更する。具体的には、大サイズのサムネイル画像702は、すべてのサブバンド成分211〜217を記録媒体から読み出してサブバンド合成する。一方、中サイズのサムネイル画像701、703はLL成分218を記録媒体から読み出してサブバンド合成する。すると、記録媒体アクセスのバンド幅の合計は約１１．５Ｍｂｙｔｅｓ／ｓｅｃとなり、リアルタイム表示することが可能となる。このように、画像のサイズに応じて、記録媒体から読み出すサブバンド成分を、リアルタイム表示可能なバンド幅以内に抑えることで、リアルタイム表示可能となる。また、前記サブバンド合成で作成したサムネイル画像のサイズと表示のサイズが一致しているため、すべての成分でサブバンド合成して縮小した場合と比べて画質は同レベルとなる。よって、高速処理と高画質化を実現できる。
【００３４】
図９は、同一画面内に遠近感を表現するために、後ろに行くにつれてサムネイル画像を徐徐に小さくして表示したグラフィック表示800である。このグラフィクス表示は、左右にスクロールして視聴したい番組を探し出すときなどに使用する。大サイズのサムネイル画像801と中サイズ以下のサムネイル画像802とを、図８の例と同様に画像サイズに応じて記録媒体から読み込むサブバンド成分を変更することで、同様の効果が得られるので説明は省略する。
【００３５】
図１０のグラフィクス表示900は、画面内のサムネイル画像の大きさは３６０画素×２４０画素ですべて同じであり、太線で囲まれたサムネイル画像906はユーザが操作して、選択中のサムネイル画像である。重要度に応じてサブバンド合成するサブバンド成分を変更する例を説明する。図４の例と同様にリアルタイム表示できるバンド幅を３５Ｍｂｙｔｅｓ／ｓｅｃとすると、６枚のサムネイル画像901〜906はすべてのサブバンド成分211〜217を記録媒体から読み出すと、バンド幅は約４６．５Ｍｂｙｔｅｓ／ｓｅｃとなるのでリアルタイム表示することができない。そこで、重要度に応じて記録媒体から読み出すサブバンド成分を変更する。サムネイル画像906は、ユーザが視聴するかを判断するための材料となるため重要度が高くなる。そこで、すべてのサブバンド成分211〜217を記録媒体から読み出して、サブバンド合成を行い高解像度で表示する。一方、その他のサムネイル画像901〜905はどんな番組かが大体分かればよいので重要度は低くなる。そこで、記録媒体からLL成分218のみ記録媒体から読み出して、拡大表示する。その結果、重要なサムネイル画像906の画質は落とさずにバンド幅は約１７．５Ｍｂｙｔｅｓ／ｓｅｃになるのでリアルタイム表示が可能となる。さらに、選択していないサムネイル画像901〜905は、１８０画素かける１２０画素のサブバンド合成画像を３６０画素×１８０画素に拡大表示しているため、ぼやけたサムネイル画像となる。一方、選択中のサムネイル画像ははっきりとしたサムネイル画像となるので、選択中のサムネイル画像にコントラストをつけられるという効果もある。
【００３６】
図１１は、第２の実施形態を表す画像表示装置であり、デジタルカメラやビデオカメラなどの撮影した画像を記録再生する装置である。図１と共通の部分は同様の記号とし、説明を省略する。センサ部108では、入力された光をデジタル画像に変換する機能を持ち、デジタル画像をエンコーダ部109でＭＰＥＧ２やＨ．２６４などでエンコードしてストリームを生成し、ストリームを記録媒体101に書き込む。出力判定部110はどの表示機器に出力しているかを判定する機能を持ち、ＨＤＭＩ端子、Ｄ端子などの外部端子を接続したか否かで判定する。111はＬＣＤなどの低解像度表示機器、112はテレビなどの高解像度表示機器を表す。ビデオカメラを例に出力機器の解像度に応じて、サブバンド合成をするサブバンド成分を変更する場合を説明する。
一般にビデオカメラでは、撮影時にはＬＣＤのような低解像度表示機器の画像を見ながら撮影し、確認のための再生はＬＣＤで行うが、高解像度で表示する必要がない。そこで、出力判定部で外部出力がないと判断した場合は、LLLL成分211のみのサブバンド合成画像で表示する。すると、全体の処理量を１６分の１に抑えることができるため、消費電力も１６分の１に抑えることができる。その結果、記録時間の増加するという効果もある。
【００３７】
図１２は、第３の実施形態を示す画像表示装置である。図1と共通の部分は同様の記号とし、説明を省略する。メモリ113は、サブバンド分割画像を一時的に保持しておくメモリである。これまでの例では、同じサムネイル画像を表示していた場合でも、毎フレーム記録媒体から読み出していたが、メモリを使用することにより、１回記録媒体から読み出したサブバンド成分をメモリに保持しておき、毎フレームメモリに保持したサブバンド成分を使いサブバンド合成画像を作ることができるので、記録媒体アクセスが無くなり消費電力を低減することができる。
【００３８】
さらにサブバンド分割を使用した場合に効果のあるメモリの使用方法を説明する。例えば、図８のグラフィクス表示でリアルタイム表示可能なバンド幅を図４の例の４分の１の８．７５Ｍｂｙｔｅｓ／ｓｅｃと定義する。真ん中の大サイズのサムネイル画像702を作成するためにすべてのサブバンド成分211〜217をサブバンド合成すると、約１１．５Ｍｂｙｔｅｓ／ｓｅｃのバンド幅が必要となるので、リアルタイム表示することができない。同じ解像度でのサムネイル表示を実現しようとすると、通常のサムネイル画像を記録媒体に保存している場合は、１フレーム目で、サムネイル画像のデータの半分を記録媒体から読み出してメモリに保持しておき、２フレーム目で残り半分のデータを記録媒体から読み出してすべてが揃ってから表示する。すると、リアルタイム表示ではなく１フレーム遅延してから表示することになる。一方、サブバンド分割画像を用いた場合は、１フレーム目で３枚のLL成分218を記録媒体から読み込み、サブバンド合成することで、中央の大サイズのサムネイル画像702は拡大表示することになるが表示できる。さらに２フレーム目では、LH成分215、HL成分216、HH成分217を記録媒体から読み込み、メモリの中に蓄えてあるLL成分218と合わせてサブバンド合成することで、中央の大サイズのサムネイル画像702を高解像度で表示することができる。このように、サブバンド分割画像を使用した場合は、段階的に表示できるため、中央の大サイズのサムネイル画像702の画質は落ちるが、リアルタイムで表示することができる。さらに、サムネイル画像を下や上に連続でサムネイル画像をスクロールする場合には、１フレーム期間で処理できる低解像度のサムネイル画像だけを表示し、２フレーム目で本来行う中央のサムネイル画像の高解像度化処理を行わないで、次のスクロール画面の処理をすることで、１フレーム毎にスクロール画面を表示することが可能となる。
【００３９】
他の例として、次に特定の操作を行った場合に記録媒体から読み出されると予想される使用予想サブバンド成分を、記録媒体から読み出してメモリに保持する例を説明する。
【００４０】
例えば、LL成分218を記録媒体から読み出したときは、同じサムネイル画像が表示されていて記録媒体のアクセスが発生しないときに、LH成分215、HL成分216、HH成分217を記録媒体から読み出して、メモリに保持しておく。すると、もし図１３のようにサムネイル画像701が中央に移動した場合でも、新しく、読み込むサブバンド成分は、サムネイル画像1201のLL成分218だけでよくなるため、通常２フレームかけて表示する処理が1フレーム目で表示できるようになる。ここで、前記使用予想サブバンド成分として、図８のサムネイル表示を下にスクロールすると図１３のサムネイル表示のサムネイル画像1201も表示されるので、このサムネイル画像1201のサブバンド成分を予想サブバンドデータとしてメモリに保持してもよいし、図４のようにサムネイル画像の一覧表示の場合、次のページで表示されるサムネイル画像のサブバンド成分をメモリに保持してもよい。
【００４１】
このように、同じサムネイル画像が表示されていて、記録媒体のアクセスが発生しないときに、使用予想サブバンド成分を記録媒体から読み出して、メモリに保持しておくことで、次の操作をした場合、記録媒体アクセスが無くなるので、高速処理が可能となる。
【００４２】
図１４は第４の実施形態を示す画像表示装置である。図１２と同様の構成であるが、メモリ113に保持するデータが異なり、サブバンド合成後の画像または、記録媒体に保存されたサムネイル画像の画像データをメモリに保持する。同じ画像を表示する場合、または、同じ解像度で拡大縮小する場合に記録媒体へのアクセスと、サブバンド合成処理がなくなるため、図１２の場合よりさらに消費電力を抑えることができる。
【００４３】
さらに、図１２の例の使用予想サブバンド成分と同様の手法で次に記録媒体から読み出されると予想される使用予想サブバンド合成画像、または使用予想画像データをメモリに保持しておくことで、次の操作を行った場合、記録媒体アクセスが無くなるので、高速処理が可能となる。
【００４４】
なお、図１４と図１２のメモリ113は、共有して両方のデータを保持してもよいし、別々のメモリを使い各々のデータを保持してもよい。
【図面の簡単な説明】
【００４５】
【図１】第１の実施例の画像表示装置の一例である。
【図２】フィルタバンク構成の一例である。
【図３】サブバンド分割画像の一例である。
【図４】同じサムネイル画像を異なる画像サイズで表示する場合の一例である。
【図５】図４の処理量の一例である。
【図６】メモリの保存方法に関する一例である。
【図７】メモリの保存方法に関する応用例である。
【図８】同一画面内で違うサイズのサムネイル画像を表示する場合のグラフィクス表示の一例である。
【図９】同一画面内でサムネイル画像を徐徐に小さくして表示したグラフィクス表示の一例である。
【図１０】同一画面内の重要度に応じて、解像度を変更する場合のグラフィクス表示の一例である。
【図１１】第２の実施例の画像表示装置の一例である。
【図１２】第３の実施例の画像表示装置の一例である。
【図１３】図７の上部の表示サイズ小のサムネイル画像が中央に移動した場合のグラフィクス表示の一例である。
【図１４】第４の実施例の画像表示装置の一例である。
【符号の説明】
【００４６】
100 チューナ部
101 記録媒体
102 デコード部
103 サブバンド分割部
104 サブバンド合成部
105 拡大縮小部
106 グラフィクス出力部
107 表示機器
【技術分野】
【０００１】
本発明は、画像表示装置に関する。
【背景技術】
【０００２】
本技術分野の背景技術として、例えば、特開２００３−１８４１０号公報（特許文献１）がある。該公報には、「この変換符号の画像伸張装置は、既に階層型ウェーブレット変換された符号から自然画像に伸張するときに、ユーザが指定した画像サイズから既にウェーブレット変換された画像符号を参照し、指定された伸張画像サイズに内輪のうち最も大きいかまたは等しい直上階層、および、指定された伸張画像サイズを上回ったもののうち最も小さいかまたは等しい直下階層となる階層番号を求め、最上位階層からこの階層番号＋２の階層までに存在する階層の逆ウェーブレット変換を行うことにより伸張画像を作成する。」と記載されている。
【０００３】
【特許文献１】特開２００３−１８４１０号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
近年、レコーダやデジタルカメラなど画像を記録再生するデジタル機器では、大容量化が進み大量の画像を扱う機会が増えてきている。このような背景があり、ユーザが大量の画像データの中から簡単に目的の画像を探し出すことができるようにするため、グラフィカルユーザインタフェース（GUI）は、複数のサムネイル画像を一画面内に重ねて表示したり、小さいサムネイル画像一画面に大量に表示するなどの高機能化が進んでいる。しかし、これを実現するためには、大量のサムネイル画像を記録媒体から読み出し、拡大縮小して表示しなければいけないため、記録媒体アクセスのバンド幅や拡大縮小部の処理量などがネックとなり、グラフィクス表示の表示速度が低下するという問題がある。
【０００５】
上記特許文献１では、ウェーブレット変換方式を使用し、ユーザが指定した画像サイズに応じて高速に高画質な伸張画像を得る方法について述べている。しかし、画像の処理枚数が増えた場合、その分処理時間が増えるので、表示速度が遅くなってしまうことについては具体的な解決方法が開示されてはいない。本発明では、グラフィクス表示の高速処理と高画質化を実現する画像表示装置を提供することを目的とする。
【課題を解決するための手段】
【０００６】
上記目的は、特許請求の範囲に記載の発明により達成される。
【発明の効果】
【０００７】
本発明によれば、画像表示装置のグラフィクス表示の高速処理と高画質化を実現できる。
【発明を実施するための最良の形態】
【０００８】
以下、本発明の実施の形態を、図面を用いて説明する。
【０００９】
図１は、本発明の第１の実施形態を表す画像表示装置である。この装置はデジタル放送を記録再生できる記録再生装置であり、記録した番組の一覧表示をするためのサムネイル画像を表示する機能について述べる。
【００１０】
図１の記録再生装置は、チューナ部100と、記録媒体101と、デコード部102と、サブバンド分割部103と、サブバンド合成部104と、拡大縮小部105、グラフィック出力部106と、表示機器107とからなる。放送波を記録時は、チューナ部100で受信したＭＰＥＧ２ビデオストリームを、記録媒体101に記録する。記録媒体101に記録されたストリームは、番組一覧表示に使用するサムネイル画像を作るために、デコード部102にて先頭フレームのみをデコードしてデコード画像を生成する。さらに、このデコード画像をサブバンド分割部103でサブバンド分割を行いサブバンド分割画像を作成し、記録媒体101に記録する。ここで、JPEG2000のようにサブバンド分割して圧縮する符号化を用いている場合は、デコード部102はデコード途中のサブバンド分割画像を直接記録媒体101に記録してもよい。
【００１１】
記録媒体101に記録したストリームの再生時は、デコード部102でストリームをデコードし復号画像を生成し、グラフィックス出力部106で前記復号画像から出力画像を生成し、表示機器107に出力する。
【００１２】
一方、どのストリームを再生するか選択するサムネイル画像を表示する時は、記録媒体101からサブバンド分割画像の必要なサブバンド成分のみを読み出し、サブバンド合成部104でサブバンド合成を行い、サブバンド合成画像を生成する。次に拡大縮小部105にて、サブバンド合成画像の拡大縮小を行い、グラフィックス出力部106でグラフィクス画像を生成し、表示機器107に出力する。
【００１３】
次に、サブバンド分割合成方法について説明する。
【００１４】
図２はサブバンド分割合成のフィルタバンクの構成例を表している。点線201はサブバンド分割処理を表す。202と204はローパスフィルタをかけた後、半分にダウンサンプリングを行うことを意味し、203と205はハイパスフィルタをかけた後、半分にダウンサンプリングを行うことを意味する。まず、入力データを203で高域成分に分割してＨ成分のデータを作成する。次に入力データを202で低域成分に分割してＬ成分のデータを作成した後、さらにＬ成分のデータを204で低域成分に分割してＬＬ成分のデータを作成し、Ｌ成分のデータを205で高域成分に分割してＬＨ成分のデータを作成する。
【００１５】
点線202はサブバンド合成処理を表す。207と209は、２倍にアップサンプリングした後に、ローパスフィルタをかけることを意味し、208と210は２倍にアップサンプリングした後に、ハイパスフィルタをかけることを意味する。サブバンド合成は低域成分から順番に合成する。LL成分のデータを207、LH成分のデータを208で処理して足し合わせてL成分のデータを生成する。次にL成分のデータを209で処理したデータと、Ｈ成分を210で処理したデータと足し合わせることで、再構成データを作成する。この、再構成データは、完全再構成可能なローパスフィルタとハイパスフィルタを用いると、入力データと一致する。
【００１６】
図３に図２に記載のフィルタバンクを３６０画素×２４０画素のサムネイル画像に適用した場合のサブバンド分割画像を示す。図２に記載のフィルタバンクを画像に適用する場合、水平方向と垂直方向と２回に分けてサブバンド分割を行うことで図３のサブバンド分割画像を生成できる。前記サブバンド分割画像は、LLLL成分211（９０画素×６０画素）、LLLH成分212（９０画素×６０画素）、LLHL成分213（９０画素×６０画素）、LLHH成分214（９０画素×６０画素）、LH成分215（１８０画素×１２０画素）、HL成分216（１８０画素×１２０画素）、HH成分217（１８０画素×１２０画素）の７つのサブバンド成分に分割される。また、太線で囲んだLLLL成分211とLLLH成分212とLLHL成分213とLLHH成分214を纏めてLL成分218と呼ぶ。左上が低域のサブバンド成分であり、右下に行くほど高域のサブバンド成分となる。ここで、LLLL成分211はサブバンド分割前の画像を縦横共に４分の１にした９０画素×６０画素の縮小画像となる。
【００１７】
次に図３を用いてサブバンド分割画像の合成方法を説明する。サブバンド合成を行う場合は、低域のサブバンド成分から合成していく。例えば、LL成分218のサブバンド合成を行うことで、サブバンド分割前の画像を縦横共に２分の１した１８０画素×１２０画素の縮小画像ができる。さらにこの縮小画像と、LH成分215、HL成分216、HH成分217のサブバンド合成を行うことで、サブバンド分割前の３６０画素×２４０画素のサムネイル画像に復元できる。
【００１８】
本発明は、低域のサブバンド成分のデータのみで縮小画像を作成できることを利用して、サブバンド合成を行うサブバンド成分を変更することで描画速度の高速化を図る。例えば、拡大縮小部の１フレームに処理できるデータ量をＨＤサイズ（１９２０画素×１０８０画素）の画像１枚とする。ここで、１６枚のＨＤサイズの画像を縮小してＨＤサイズのディスプレイに表示しようとすると、１フレームで１枚しか処理できないので１６フレームかかってしまう。一方、サブバンド分割画像を用いた場合、LLLL成分211のみをサブバンド合成することで、拡大縮小部で処理するデータ量は１６分の１となり、１フレームで処理することが可能となる。このように、サブバンド合成を行うサブバンド成分を変更することで、拡大縮小部の処理量を減らすことができるため、描画速度を速くすることができる。画質に関しても、ＨＤサイズのディスプレイに表示する場合は、ＨＤサイズの画像を１６分の１に縮小してディスプレイに表示するため、LLLL成分211のみでサブバンド合成したサブバンド合成画像と解像度は変わらない。よって、高画質化と高速化を実現できる。
【００１９】
次に記録媒体アクセスのバンド幅がネックとなっている例を具体的に説明する。
【００２０】
図４は、同一サイズのサムネイル画像を多数表示し視聴したコンテンツを探し出すグラフィクス表示であり、サムネイル画像のサイズを大サイズと中サイズに切り替える機能を持つ。サムネイル表示300は中サイズのサムネイル画像301を１６枚表示してあり、各々のサムネイル画像のサイズは１８０画素×１２０画素（４：２：０）とする。また、サムネイル表示303は大サイズのサムネイル画像を４枚表示してあり、各々のサムネイル画像のサイズは３６０画素×２４０画素（４：２：０）とする。大サイズのサムネイル表示300は点線302内の中サイズのサムネイル画像４枚を点線305内に拡大表示したものである。
【００２１】
例として、記録媒体にＨＤＤを使用し、その転送速度を３５Ｍｂｙｔｅｓ／ｓｅｃとする。このとき、６０ｆｐｓのテレビにサムネイル画像をリアルタイムで表示する場合について述べる。この３５Ｍｂｙｔｅｓ／ｓｅｃのバンド幅はすべてグラフィクス表示処理に使用できるものとする。３６０画素×２４０画素（４：２：０）のサムネイル画像一枚当たり、約０．１３Ｍｂｙｔｅなので、１フレーム当たり何枚表示できるかを計算すると３５Ｍｂｙｔｅ／ｓｅｃ÷６０ｆｐｓ÷０．１３Ｍｂｙｔｅ≒４.５枚となる。
【００２２】
図５にサムネイル表示300と301の両方のバンド幅を示す。大サイズのサムネイル表示303は、３６０画素×２４０画素のサムネイル画像が４枚なので、４枚ともすべてのサブバンド成分211〜217を記録媒体から読み出して、サブバンド合成を行っても約３１Ｍｂｙｔｅｓ／ｓｅｃとなりリアルタイムで表示できる。一方、中サイズのサムネイル画像は１６枚必要であり、すべてのサブバンド成分211〜217を記録媒体から読み出してサブバンド合成して縮小したのでは、４倍の約１２４Ｍｂｙｔｅｓ／ｓｅｃとなりリアルタイム処理できるバンド幅を超えてしまう。そこで、バンド幅を３５Ｍｂｙｔｅ／ｓｅｃに抑えるため、１枚当たりのサブバンド合成を行うサブバンド成分を４分の１のLL成分218に制限すると、記録媒体アクセスのバンド幅も４分の１の約３１Ｍｂｙｔｅｓ／ｓｅｃとなりリアルタイムで表示できるバンド幅以内に抑えることができる。
【００２３】
このように、サムネイル画像の表示枚数に応じて記録媒体から読み出すサブバンド成分を変更することで、画像の表示枚数が何枚になったとしても、リアルタイム表示可能なバンド幅以下に抑えることができるので、リアルタイム表示することができる。また、サムネイル表示300の画質に関しても、３６０画素×２４０画素のサムネイル画像を１８０画素×１２０画素に縮小する場合と、サブバンド合成を使用し、１８０画素×１２０画素の縮小画像を作成する場合で、画質は同レベルとなる。よって、高速処理と高画質化を実現できる。
【００２４】
さらに、記録媒体アクセスのバンド幅と記録媒体の記録容量に関する利点もある。通常の記録再生装置では、同一のサムネイル画像で大サイズと中サイズのように画像サイズが変わる場合、以下の２つの方法で実現することが考えられる。
（１）大サイズのサムネイル画像304を記録媒体に保存しておき、中サイズのサムネイル画像301を表示する場合は、大サイズのサムネイル画像304を記録媒体から読み出し、縮小する。
（２）中サイズのサムネイル画像301と大サイズのサムネイル画像304すべてを記録媒体に保存しておき、必要なサイズのサムネイル画像を記録媒体から読み出す。
ここで、サムネイル表示300に表示されている、１６枚のサムネイル画像について考える。
【００２５】
記録媒体アクセスのバンド幅に関しては、前記（１）の方法では、約１２４Ｍｂｙｔｅｓ／ｓｅｃとなり、前記（２）の方法では、約３１Ｍｂｙｔｅｓ／ｓｅｃとなる。
【００２６】
一方、記録媒体の保存容量に関しては、前記（１）の方法では、記録媒体の保存容量は大サイズのサムネイル画像（３６０画素×２４０画素、４：２：０）を１６枚分、約２．１Ｍｂｙｔｅですむが、前記（２）の方法では、大サイズのサムネイル画像と中サイズのサムネイル画像（１８０画素×１２０画素、４：２：０）の両方を保存しておかなければいけないため、保存容量は約２．６Ｍｂｙｔｅとなる。
【００２７】
本発明では、サムネイル画像毎にサブバンド分割画像を１枚保存しておけばよいので、記録媒体の記録容量は約２．１Ｍｂｙｔｅとなり、前記（１）と変わらない。さらに、記録媒体アクセスのバンド幅も約３１Ｍｂｙｔｅｓ／ｓｅｃとなり、前記（１）、（２）の方法の両方の利点を得ることができる。
【００２８】
次に、８Ｍｂｙｔｅｓ／ｓｅｃの転送速度のＳＤカードと５Ｍｂｙｔｅｓ／ｓｅｃの転送速度のＳＤカードで大きいサイズのサムネイル表示303をする場合の例を挙げる。
【００２９】
両ＳＤカードともサブバンド成分211〜217を記録媒体から読み出すと、約３１Ｍｂｙｔｅｓ／ｓｅｃとなるのでリアルタイムで表示できない。よって８Ｍｂｙｔｅｓ／ｓｅｃの転送速度のＳＤカードの場合は、LL成分218を記録媒体から読み出すとすると、約７．８Ｍｂｙｔｅｓ／ｓｅｃとなりリアルタイムで表示できる。一方、５Ｍｂｙｔｅｓ／ｓｅｃの転送速度のＳＤカードの場合、LLLL成分211のみを記録媒体から読み出すとすると、約２Ｍｂｙｔｅｓ／ｓｅｃとなり、リアルタイムで表示できる。
【００３０】
このように、記録媒体の転送速度に応じて、記録媒体から読み出すサブバンド成分を変更することで、画質は劣化するがその劣化を最小限に抑えつつ、リアルタイムで表示することが可能となる。
【００３１】
複数のサブバンド分割画像を保存する場合、記録媒体へのアクセスを無駄無く行うためのサブバンド分割画像の保存方法を図６に示す。図６のように複数のサブバンド分割画像のLLLL成分211を集めたデータ群500、複数のサブバンド分割画像のLLLH成分212を集めたデータ群501というように、サブバンド成分毎に記録媒体内の連続したアドレスに保存する。このように保存することにより、例えば、図４の小さいサイズのサムネイル画像301を多数表示する場合に有効である。通常、サブバンド分割画像単位で保存する場合では、飛び飛びのアドレスにアクセスを行うため、データの読み出し単位でデータが割り切れなかった場合、端数のデータを捨てることになる。一方、前記保存方法では、LLLL成分211を連続データとして記録媒体から読み出すことができる。その結果、読み捨てるデータが最小限になり、無駄の無いアクセスが可能となる。
図６の応用例として、固めて保存するサブバンド成分を変更した例を図７に示す。図７はLLLL成分211のデータ群600と、LLLH成分212、LLHL成分213、LLHH成分214のデータ群601と、LH成分215、HL成分216、HH成分217のデータ群602とに分けて保存した例である。このように保存することにより、９０画素×６０画素、１８０画素×１２０画素、３６０画素×２４０画素と３段階のサイズ変更をする場合に、無駄無く記録媒体へのアクセスを行うことができる。なお、この固めて保存するサブバンド成分については使用用途に応じて変更してよい。
【００３２】
図８は、同一画面内で違うサイズのサムネイル画像を表示する場合のグラフィクス表示700である。このグラフィクス表示は、上下にスクロールして視聴したい番組を探し出すときなどに使用する。この例では上下には中サイズのサムネイル画像（１８０画素×１２０画素）701、703を表示し、中央には大サイズのサムネイル画像（３６０画素×１２０画素）702を表示する。
【００３３】
例として、図４のＨＤＤを使用し、ＨＤＤへのアクセスを他のアプリケーションでも行うため、グラフィクス表示処理には半分の１７．５Ｍｂｙｔｅｓ／ｓｅｃのバンド幅しか使用できない場合について述べる。３枚のサムネイル画像ですべてのサブバンド成分211〜217をサブバンド合成するには、約２３Ｍｂｙｔｅｓ／ｓｅｃのバンド幅が必要であるためリアルタイム表示することができない。そこで、画像サイズが大きいものに優先度を置いて記録媒体から読み出すサブバンド成分を変更する。具体的には、大サイズのサムネイル画像702は、すべてのサブバンド成分211〜217を記録媒体から読み出してサブバンド合成する。一方、中サイズのサムネイル画像701、703はLL成分218を記録媒体から読み出してサブバンド合成する。すると、記録媒体アクセスのバンド幅の合計は約１１．５Ｍｂｙｔｅｓ／ｓｅｃとなり、リアルタイム表示することが可能となる。このように、画像のサイズに応じて、記録媒体から読み出すサブバンド成分を、リアルタイム表示可能なバンド幅以内に抑えることで、リアルタイム表示可能となる。また、前記サブバンド合成で作成したサムネイル画像のサイズと表示のサイズが一致しているため、すべての成分でサブバンド合成して縮小した場合と比べて画質は同レベルとなる。よって、高速処理と高画質化を実現できる。
【００３４】
図９は、同一画面内に遠近感を表現するために、後ろに行くにつれてサムネイル画像を徐徐に小さくして表示したグラフィック表示800である。このグラフィクス表示は、左右にスクロールして視聴したい番組を探し出すときなどに使用する。大サイズのサムネイル画像801と中サイズ以下のサムネイル画像802とを、図８の例と同様に画像サイズに応じて記録媒体から読み込むサブバンド成分を変更することで、同様の効果が得られるので説明は省略する。
【００３５】
図１０のグラフィクス表示900は、画面内のサムネイル画像の大きさは３６０画素×２４０画素ですべて同じであり、太線で囲まれたサムネイル画像906はユーザが操作して、選択中のサムネイル画像である。重要度に応じてサブバンド合成するサブバンド成分を変更する例を説明する。図４の例と同様にリアルタイム表示できるバンド幅を３５Ｍｂｙｔｅｓ／ｓｅｃとすると、６枚のサムネイル画像901〜906はすべてのサブバンド成分211〜217を記録媒体から読み出すと、バンド幅は約４６．５Ｍｂｙｔｅｓ／ｓｅｃとなるのでリアルタイム表示することができない。そこで、重要度に応じて記録媒体から読み出すサブバンド成分を変更する。サムネイル画像906は、ユーザが視聴するかを判断するための材料となるため重要度が高くなる。そこで、すべてのサブバンド成分211〜217を記録媒体から読み出して、サブバンド合成を行い高解像度で表示する。一方、その他のサムネイル画像901〜905はどんな番組かが大体分かればよいので重要度は低くなる。そこで、記録媒体からLL成分218のみ記録媒体から読み出して、拡大表示する。その結果、重要なサムネイル画像906の画質は落とさずにバンド幅は約１７．５Ｍｂｙｔｅｓ／ｓｅｃになるのでリアルタイム表示が可能となる。さらに、選択していないサムネイル画像901〜905は、１８０画素かける１２０画素のサブバンド合成画像を３６０画素×１８０画素に拡大表示しているため、ぼやけたサムネイル画像となる。一方、選択中のサムネイル画像ははっきりとしたサムネイル画像となるので、選択中のサムネイル画像にコントラストをつけられるという効果もある。
【００３６】
図１１は、第２の実施形態を表す画像表示装置であり、デジタルカメラやビデオカメラなどの撮影した画像を記録再生する装置である。図１と共通の部分は同様の記号とし、説明を省略する。センサ部108では、入力された光をデジタル画像に変換する機能を持ち、デジタル画像をエンコーダ部109でＭＰＥＧ２やＨ．２６４などでエンコードしてストリームを生成し、ストリームを記録媒体101に書き込む。出力判定部110はどの表示機器に出力しているかを判定する機能を持ち、ＨＤＭＩ端子、Ｄ端子などの外部端子を接続したか否かで判定する。111はＬＣＤなどの低解像度表示機器、112はテレビなどの高解像度表示機器を表す。ビデオカメラを例に出力機器の解像度に応じて、サブバンド合成をするサブバンド成分を変更する場合を説明する。
一般にビデオカメラでは、撮影時にはＬＣＤのような低解像度表示機器の画像を見ながら撮影し、確認のための再生はＬＣＤで行うが、高解像度で表示する必要がない。そこで、出力判定部で外部出力がないと判断した場合は、LLLL成分211のみのサブバンド合成画像で表示する。すると、全体の処理量を１６分の１に抑えることができるため、消費電力も１６分の１に抑えることができる。その結果、記録時間の増加するという効果もある。
【００３７】
図１２は、第３の実施形態を示す画像表示装置である。図1と共通の部分は同様の記号とし、説明を省略する。メモリ113は、サブバンド分割画像を一時的に保持しておくメモリである。これまでの例では、同じサムネイル画像を表示していた場合でも、毎フレーム記録媒体から読み出していたが、メモリを使用することにより、１回記録媒体から読み出したサブバンド成分をメモリに保持しておき、毎フレームメモリに保持したサブバンド成分を使いサブバンド合成画像を作ることができるので、記録媒体アクセスが無くなり消費電力を低減することができる。
【００３８】
さらにサブバンド分割を使用した場合に効果のあるメモリの使用方法を説明する。例えば、図８のグラフィクス表示でリアルタイム表示可能なバンド幅を図４の例の４分の１の８．７５Ｍｂｙｔｅｓ／ｓｅｃと定義する。真ん中の大サイズのサムネイル画像702を作成するためにすべてのサブバンド成分211〜217をサブバンド合成すると、約１１．５Ｍｂｙｔｅｓ／ｓｅｃのバンド幅が必要となるので、リアルタイム表示することができない。同じ解像度でのサムネイル表示を実現しようとすると、通常のサムネイル画像を記録媒体に保存している場合は、１フレーム目で、サムネイル画像のデータの半分を記録媒体から読み出してメモリに保持しておき、２フレーム目で残り半分のデータを記録媒体から読み出してすべてが揃ってから表示する。すると、リアルタイム表示ではなく１フレーム遅延してから表示することになる。一方、サブバンド分割画像を用いた場合は、１フレーム目で３枚のLL成分218を記録媒体から読み込み、サブバンド合成することで、中央の大サイズのサムネイル画像702は拡大表示することになるが表示できる。さらに２フレーム目では、LH成分215、HL成分216、HH成分217を記録媒体から読み込み、メモリの中に蓄えてあるLL成分218と合わせてサブバンド合成することで、中央の大サイズのサムネイル画像702を高解像度で表示することができる。このように、サブバンド分割画像を使用した場合は、段階的に表示できるため、中央の大サイズのサムネイル画像702の画質は落ちるが、リアルタイムで表示することができる。さらに、サムネイル画像を下や上に連続でサムネイル画像をスクロールする場合には、１フレーム期間で処理できる低解像度のサムネイル画像だけを表示し、２フレーム目で本来行う中央のサムネイル画像の高解像度化処理を行わないで、次のスクロール画面の処理をすることで、１フレーム毎にスクロール画面を表示することが可能となる。
【００３９】
他の例として、次に特定の操作を行った場合に記録媒体から読み出されると予想される使用予想サブバンド成分を、記録媒体から読み出してメモリに保持する例を説明する。
【００４０】
例えば、LL成分218を記録媒体から読み出したときは、同じサムネイル画像が表示されていて記録媒体のアクセスが発生しないときに、LH成分215、HL成分216、HH成分217を記録媒体から読み出して、メモリに保持しておく。すると、もし図１３のようにサムネイル画像701が中央に移動した場合でも、新しく、読み込むサブバンド成分は、サムネイル画像1201のLL成分218だけでよくなるため、通常２フレームかけて表示する処理が1フレーム目で表示できるようになる。ここで、前記使用予想サブバンド成分として、図８のサムネイル表示を下にスクロールすると図１３のサムネイル表示のサムネイル画像1201も表示されるので、このサムネイル画像1201のサブバンド成分を予想サブバンドデータとしてメモリに保持してもよいし、図４のようにサムネイル画像の一覧表示の場合、次のページで表示されるサムネイル画像のサブバンド成分をメモリに保持してもよい。
【００４１】
このように、同じサムネイル画像が表示されていて、記録媒体のアクセスが発生しないときに、使用予想サブバンド成分を記録媒体から読み出して、メモリに保持しておくことで、次の操作をした場合、記録媒体アクセスが無くなるので、高速処理が可能となる。
【００４２】
図１４は第４の実施形態を示す画像表示装置である。図１２と同様の構成であるが、メモリ113に保持するデータが異なり、サブバンド合成後の画像または、記録媒体に保存されたサムネイル画像の画像データをメモリに保持する。同じ画像を表示する場合、または、同じ解像度で拡大縮小する場合に記録媒体へのアクセスと、サブバンド合成処理がなくなるため、図１２の場合よりさらに消費電力を抑えることができる。
【００４３】
さらに、図１２の例の使用予想サブバンド成分と同様の手法で次に記録媒体から読み出されると予想される使用予想サブバンド合成画像、または使用予想画像データをメモリに保持しておくことで、次の操作を行った場合、記録媒体アクセスが無くなるので、高速処理が可能となる。
【００４４】
なお、図１４と図１２のメモリ113は、共有して両方のデータを保持してもよいし、別々のメモリを使い各々のデータを保持してもよい。
【図面の簡単な説明】
【００４５】
【図１】第１の実施例の画像表示装置の一例である。
【図２】フィルタバンク構成の一例である。
【図３】サブバンド分割画像の一例である。
【図４】同じサムネイル画像を異なる画像サイズで表示する場合の一例である。
【図５】図４の処理量の一例である。
【図６】メモリの保存方法に関する一例である。
【図７】メモリの保存方法に関する応用例である。
【図８】同一画面内で違うサイズのサムネイル画像を表示する場合のグラフィクス表示の一例である。
【図９】同一画面内でサムネイル画像を徐徐に小さくして表示したグラフィクス表示の一例である。
【図１０】同一画面内の重要度に応じて、解像度を変更する場合のグラフィクス表示の一例である。
【図１１】第２の実施例の画像表示装置の一例である。
【図１２】第３の実施例の画像表示装置の一例である。
【図１３】図７の上部の表示サイズ小のサムネイル画像が中央に移動した場合のグラフィクス表示の一例である。
【図１４】第４の実施例の画像表示装置の一例である。
【符号の説明】
【００４６】
100 チューナ部
101 記録媒体
102 デコード部
103 サブバンド分割部
104 サブバンド合成部
105 拡大縮小部
106 グラフィクス出力部
107 表示機器
【特許請求の範囲】
【請求項１】
画像データをサブバンド分割し得られるサブバンド分割画像を保存した記録媒体から読み出したサブバンド分割画像をサブバンド合成して、サブバンド合成画像を生成するサブバンド合成部と、
該サブバンド合成画像よりグラフィクス画像を生成して出力するグラフィクス出力部と、
を備え、
サブバンド合成を行うサブバンド成分を変更し前記グラフィクス出力部の描画速度を高速化すること
を特徴とする画像表示装置。
【請求項２】
画像データをサブバンド分割し得られるサブバンド分割画像を保存した記録媒体から読み出したサブバンド分割画像をサブバンド合成して、サブバンド合成画像を生成するサブバンド合成部と、
該サブバンド合成画像よりグラフィクス画像を生成して出力するグラフィクス出力部と、
を備え、
サブバンド合成を行うサブバンド成分を変更して、記録媒体から読み出すデータアクセス量を低減すること
を特徴とする画像表示装置。
【請求項３】
画像データをサブバンド分割し得られるサブバンド分割画像を保存した記録媒体から読み出したサブバンド分割画像をサブバンド合成して、サブバンド合成画像を生成するサブバンド合成部と、
該サブバンド合成画像よりグラフィクス画像を生成して出力するグラフィクス出力部と、
を備え、
記録媒体の転送速度に応じて、サブバンド合成を行うサブバンド成分を変更して、記録媒体から読み出すデータアクセス量を低減すること
を特徴とする画像表示装置。
【請求項４】
請求項１〜３のいずれかに記載の画像表示装置において、
メモリを備え、
前記メモリはサブバンド合成を行うときに前記記録媒体から読み出したサブバンド成分を保持し、サブバンド合成画像を生成した後でサブバンド合成するサブバンド成分を増やしたい場合、前記記録媒体から読み出した高域のサブバンド成分と前記メモリ内に保持したサブバンド成分とでサブバンド合成を行うこと
を特徴とする画像表示装置。
【請求項５】
請求項１〜３のいずれかに記載の画像表示装置において、
メモリを備え、
前記メモリは、次に特定の操作を行った場合に前記記録媒体から読み出されるサブバンド分割画像を使用予想サブバンドデータとして保持すること
を特徴とする画像表示装置。
【請求項６】
請求項１〜３のいずれかに記載の画像表示装置において、
メモリと、拡大縮小部とを備え、
前記メモリはサブバンド合成後の画像を保持し、前記拡大縮小部は前記メモリに保持した画像を拡大縮小すること
を特徴とする画像表示装置。
【請求項７】
請求項１〜６のいずれかに記載の画像表示装置において、
前記記録媒体に複数のサブバンド分割画像を保存する場合、サブバンド分割画像の保存は、同一のサブバンド成分を連続したアドレスに保存すること
を特徴とする画像表示装置。
【請求項８】
画像データを記録した記録媒体から読み出した画像データを保持しておくメモリとを備え、
前記メモリは、次に特定の操作を行った場合に前記記録媒体から読み出される画像データを使用予想画像データとして保持すること
を特徴とする画像表示装置。
【請求項９】
画像データを記録した記録媒体から読み出した画像データを保持しておくメモリと、
画像データの拡大縮小を行う拡大縮小部と、
を備え、
前記メモリは、前記記録媒体から読み出した画像データを保持し、前記拡大縮小部は前記メモリに保持した画像データを拡大縮小すること
を特徴とする画像表示装置。
【請求項１０】
請求項９に記載の画像表示装置において、
前記メモリは、次に特定の操作を行った場合に前記記録媒体から読み出される画像データを使用予想画像データとして保持すること
を特徴とする画像表示装置。
【請求項１１】
請求項１〜７のいずれかに記載の画像表示装置において、
表示機器の解像度を判別する出力機器判別部を備え、
出力機器の解像度に応じてサブバンド合成行うサブバンド成分を変更すること
を特徴とする画像表示装置。
【請求項１】
画像データをサブバンド分割し得られるサブバンド分割画像を保存した記録媒体から読み出したサブバンド分割画像をサブバンド合成して、サブバンド合成画像を生成するサブバンド合成部と、
該サブバンド合成画像よりグラフィクス画像を生成して出力するグラフィクス出力部と、
を備え、
サブバンド合成を行うサブバンド成分を変更し前記グラフィクス出力部の描画速度を高速化すること
を特徴とする画像表示装置。
【請求項２】
画像データをサブバンド分割し得られるサブバンド分割画像を保存した記録媒体から読み出したサブバンド分割画像をサブバンド合成して、サブバンド合成画像を生成するサブバンド合成部と、
該サブバンド合成画像よりグラフィクス画像を生成して出力するグラフィクス出力部と、
を備え、
サブバンド合成を行うサブバンド成分を変更して、記録媒体から読み出すデータアクセス量を低減すること
を特徴とする画像表示装置。
【請求項３】
画像データをサブバンド分割し得られるサブバンド分割画像を保存した記録媒体から読み出したサブバンド分割画像をサブバンド合成して、サブバンド合成画像を生成するサブバンド合成部と、
該サブバンド合成画像よりグラフィクス画像を生成して出力するグラフィクス出力部と、
を備え、
記録媒体の転送速度に応じて、サブバンド合成を行うサブバンド成分を変更して、記録媒体から読み出すデータアクセス量を低減すること
を特徴とする画像表示装置。
【請求項４】
請求項１〜３のいずれかに記載の画像表示装置において、
メモリを備え、
前記メモリはサブバンド合成を行うときに前記記録媒体から読み出したサブバンド成分を保持し、サブバンド合成画像を生成した後でサブバンド合成するサブバンド成分を増やしたい場合、前記記録媒体から読み出した高域のサブバンド成分と前記メモリ内に保持したサブバンド成分とでサブバンド合成を行うこと
を特徴とする画像表示装置。
【請求項５】
請求項１〜３のいずれかに記載の画像表示装置において、
メモリを備え、
前記メモリは、次に特定の操作を行った場合に前記記録媒体から読み出されるサブバンド分割画像を使用予想サブバンドデータとして保持すること
を特徴とする画像表示装置。
【請求項６】
請求項１〜３のいずれかに記載の画像表示装置において、
メモリと、拡大縮小部とを備え、
前記メモリはサブバンド合成後の画像を保持し、前記拡大縮小部は前記メモリに保持した画像を拡大縮小すること
を特徴とする画像表示装置。
【請求項７】
請求項１〜６のいずれかに記載の画像表示装置において、
前記記録媒体に複数のサブバンド分割画像を保存する場合、サブバンド分割画像の保存は、同一のサブバンド成分を連続したアドレスに保存すること
を特徴とする画像表示装置。
【請求項８】
画像データを記録した記録媒体から読み出した画像データを保持しておくメモリとを備え、
前記メモリは、次に特定の操作を行った場合に前記記録媒体から読み出される画像データを使用予想画像データとして保持すること
を特徴とする画像表示装置。
【請求項９】
画像データを記録した記録媒体から読み出した画像データを保持しておくメモリと、
画像データの拡大縮小を行う拡大縮小部と、
を備え、
前記メモリは、前記記録媒体から読み出した画像データを保持し、前記拡大縮小部は前記メモリに保持した画像データを拡大縮小すること
を特徴とする画像表示装置。
【請求項１０】
請求項９に記載の画像表示装置において、
前記メモリは、次に特定の操作を行った場合に前記記録媒体から読み出される画像データを使用予想画像データとして保持すること
を特徴とする画像表示装置。
【請求項１１】
請求項１〜７のいずれかに記載の画像表示装置において、
表示機器の解像度を判別する出力機器判別部を備え、
出力機器の解像度に応じてサブバンド合成行うサブバンド成分を変更すること
を特徴とする画像表示装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【公開番号】特開２０１０−１５２０２７（Ｐ２０１０−１５２０２７Ａ）
【公開日】平成２２年７月８日（２０１０．７．８）
【国際特許分類】
【出願番号】特願２００８−３２９０２３（Ｐ２００８−３２９０２３）
【出願日】平成２０年１２月２５日（２００８．１２．２５）
【出願人】（０００００５１０８）株式会社日立製作所 (27,607)
【Ｆターム（参考）】
【公開日】平成２２年７月８日（２０１０．７．８）
【国際特許分類】
【出願日】平成２０年１２月２５日（２００８．１２．２５）
【出願人】（０００００５１０８）株式会社日立製作所 (27,607)
【Ｆターム（参考）】
[ Back to top ]