動画データ生成装置、動画像表示装置、動画データ生成方法、動画像表示方法、および動画像ファイルのデータ構造
【課題】データサイズを抑えながら表示領域移動が可能な動画像を表示する。
【解決手段】動画像のフレームを複数の解像度で表す階層構造とする。第０階層３０、第１階層３２、第２階層３４、第３階層３６の順で解像度が大きいとすると、時刻ｔ１のフレームを表す階層データでは、第０階層３０および第２階層３４を元画像階層とし、第１階層３２および第３階層３６を差分画像階層とする。この場合、第３階層３６の解像度で領域１２４ａを表示する場合は、第３階層３６が保持する領域１２４ａの差分画像に、第２階層３４が保持する、対応する領域１２６ａの画像を第３階層３６の解像度まで拡大して各画素値を加算する。時刻の経過（ｔ２、ｔ３、・・・）とともに差分画像階層とする階層を切り替える。
【解決手段】動画像のフレームを複数の解像度で表す階層構造とする。第０階層３０、第１階層３２、第２階層３４、第３階層３６の順で解像度が大きいとすると、時刻ｔ１のフレームを表す階層データでは、第０階層３０および第２階層３４を元画像階層とし、第１階層３２および第３階層３６を差分画像階層とする。この場合、第３階層３６の解像度で領域１２４ａを表示する場合は、第３階層３６が保持する領域１２４ａの差分画像に、第２階層３４が保持する、対応する領域１２６ａの画像を第３階層３６の解像度まで拡大して各画素値を加算する。時刻の経過（ｔ２、ｔ３、・・・）とともに差分画像階層とする階層を切り替える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動画像のデータを生成する動画データ生成装置、動画像を表示する動画像表示装置、およびそれらで実現される動画データ生成方法、動画像表示方法に関する。
【背景技術】
【０００２】
ゲームプログラムを実行するだけでなく、動画を再生できる家庭用エンタテインメントシステムが提案されている。この家庭用エンタテインメントシステムでは、ＧＰＵがポリゴンを用いた三次元画像を生成する（例えば特許文献１参照）。
【０００３】
動画、静止画に関わらず、画像をいかに効率よく表示するかは常に重要な問題となる。そのため画像データの圧縮技術、伝送技術、画像処理技術、表示技術など多方面で様々な技術が開発、実用化され、高精細な画像を多様な場面で身近に楽しめるようになってきた。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】米国特許第６５６３９９９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
高精細な画像をユーザの要求に従い応答性よく表示させたい、という要求は常に存在する。例えば表示させた全体画像のうちユーザが着目したい領域を拡大して表示させたり別の領域に表示を移動させたり、といった、ユーザの視点に対し自由度のある画像表示を応答性よく実現するためには、サイズの大きな画像データを短時間で処理しつつランダムアクセスをも可能にしなければならず、さらなる技術の進歩が求められている。
【０００６】
本発明はこのような課題に鑑みてなされたものであり、その目的は、データサイズを抑えながら、ユーザによる表示領域に係る操作入力に対し応答性よく高精細な動画像を表示することのできる画像処理技術を提供することにある。
【課題を解決するための手段】
【０００７】
本発明のある態様は動画データ生成装置に関する。この動画データ生成装置は、動画を表示する画像処理装置において要求される解像度に応じて用いる階層を切り替えて表示画像を生成するために、一の動画を構成する画像フレームを異なる解像度で表した複数の画像列を解像度順に階層化してなる階層動画データを生成する動画データ生成装置であって、各画像フレームを段階的に縮小することによって各階層の画像データを画像フレームごとに生成したうえ、少なくとも１つの階層の画像データに、同じ画像フレームを当該階層より低い解像度で表した別階層の画像の拡大画像との差分を表す差分画像のデータを含めて階層動画データを生成する階層データ生成部と、階層データ生成部が生成した階層動画データを圧縮符号化し記憶装置に格納する圧縮データ生成部と、を備えたことを特徴とする。
【０００８】
本発明の別の態様は動画像表示装置に関する。この動画像表示装置は、一の動画を構成する画像フレームを異なる解像度で表した複数の画像列を解像度順に階層化してなる階層動画データを格納した動画データ記憶部と、表示中の動画における表示領域の移動要求信号を逐次取得する入力情報取得部と、入力情報取得部が取得した移動要求信号によって定まる要求解像度に応じて、階層動画データのうち用いる階層を切り替えながら、移動要求信号に応じた表示画像を画像フレームごとに生成する表示画像処理部と、を備え、階層動画データを構成する階層のうち少なくとも１つの階層の画像データは、同じ画像フレームを当該階層より低い解像度で表した別階層の画像の拡大画像との差分を表す差分画像のデータを含み、表示画像処理部は、表示に用いるデータが差分画像のデータであった場合に、別階層の画像を拡大して加算することにより画像を復元することを特徴とする。
【０００９】
本発明のさらに別の態様は動画データ生成方法に関する。この動画データ生成方法は、動画を表示する画像処理装置において要求される解像度に応じて用いる階層を切り替えて表示画像を生成するために、一の動画を構成する画像フレームを異なる解像度で表した複数の画像列を解像度順に階層化してなる階層動画データを生成する動画データ生成方法であって、一の解像度で表された画像フレーム列からなる動画データを記憶装置から読み出すステップと、各画像フレームを段階的に縮小することによって各階層の画像データを画像フレームごとに生成するステップと、少なくとも１つの階層の画像データに、同じ画像フレームを当該階層より低い解像度で表した別階層の画像の拡大画像との差分を表す差分画像のデータを含めて階層動画データを生成するステップと、階層動画データを圧縮符号化し記憶装置に格納するステップと、を含むことを特徴とする。
【００１０】
本発明のさらに別の態様は動画像表示方法に関する。この動画像表示方法は、一の動画を構成する画像フレームを異なる解像度で表した複数の画像列を解像度順に階層化してなる階層動画データの少なくとも一部を記憶装置から読み出し、それを用いて表示装置への動画表示を開始するステップと、表示中の動画における表示領域の移動要求信号を逐次取得するステップと、移動要求信号によって定まる要求解像度に応じて、階層動画データのうち用いる階層を切り替えながら、移動要求信号に応じた表示画像を画像フレームごとに生成するステップと、生成した表示画像を表示装置に表示するステップと、を含み、階層動画データを構成する階層のうち少なくとも１つの階層の画像データは、同じ画像フレームを当該階層より低い解像度で表した別階層の画像の拡大画像との差分を表す差分画像のデータを含み、表示画像を生成するステップは、表示に用いるデータが差分画像のデータであった場合に、別階層の画像を拡大して加算することにより画像を復元するステップを含むことを特徴とする。
【００１１】
本発明のさらに別の態様は動画像ファイルのデータ構造に関する。このデータ構造は、表示装置に表示するための動画像ファイルのデータ構造であって、ユーザによる表示領域に係る操作入力によって定まる解像度の範囲と、一の動画を構成する画像フレームを異なる解像度で表した複数の画像列を解像度順に階層化してなり、解像度の範囲に応じて階層を切り替えて用いられる階層データであり、少なくとも１つの階層の画像のデータが、同じ画像フレームを当該階層より低い解像度で表した別階層の画像の拡大画像との差分を表す差分画像のデータを含み、表示時に当該別階層の画像を拡大して加算することにより画像を復元する階層データと、を対応づけたことを特徴とする。
【００１２】
なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システム、コンピュータプログラムなどの間で変換したものもまた、本発明の態様として有効である。
【発明の効果】
【００１３】
本発明によると、ユーザの表示領域に係る操作入力に対し円滑に応答できる動画像表示を実現できる。
【図面の簡単な説明】
【００１４】
【図１】本実施の形態に適用できる画像処理システムの使用環境を示す図である。
【図２】図１の画像処理システムに適用できる入力装置の外観構成例を示す図である。
【図３】本実施の形態において処理対象とする動画像の階層データを概念的に示す図である。
【図４】本実施の形態において画像処理装置の構成を示す図である。
【図５】本実施の形態において、階層構造を有する動画データを用いて動画を表示する機能を有する制御部の構成を詳細に示す図である。
【図６】本実施の形態において階層構造を有する動画像データのうち一部の階層を差分画像で表した様子を模式的に示す図である。
【図７】本実施の形態において元画像階層と差分画像階層の割り当てを切り替える態様を説明するための図である。
【図８】本実施の形態における元画像階層と差分画像階層の割り当てスケジュール例を示す図である。
【図９】本実施の形態における元画像階層と差分画像階層の割り当てスケジュール例を示す図である。
【図１０】本実施の形態における元画像階層と差分画像階層の割り当てスケジュールの別の例を示す図である。
【図１１】本実施の形態における元画像階層と差分画像階層の割り当てスケジュールの別の例を示す図である。
【図１２】本実施の形態において動画像のフレームの順をそのまま動画ストリームのデータ順とする場合の動画ストリームの構成を示す図である。
【図１３】本実施の形態においてフレーム列から同じ種類のフレームのデータを抽出してまとめて圧縮する場合の動画ストリームの構成を示す図である。
【図１４】本実施の形態において複数の階層の同じ領域を表すタイル画像のデータをまとめて圧縮する場合の動画ストリームの構成を示す図である。
【図１５】本実施の形態において、圧縮動画データ生成機能を有する制御部およびハードディスクドライブの構成を詳細に示す図である。
【図１６】本実施の形態において圧縮動画データを生成する装置が動画像の圧縮データを生成する処理手順を示すフローチャートである。
【図１７】本実施の形態において画像を表示する装置が動画像を表示するための処理手順を示すフローチャートである。
【発明を実施するための形態】
【００１５】
本実施の形態では動画像表示において、ユーザの視点移動要求に対応した表示領域の移動を可能にする。ここでの視点移動は、画像平面へ視点を近づけたり離したりすることを含み、それに応じて動画像は、再生されつつ拡大および縮小されることになる。このような態様において、ユーザの操作に対し応答性よく円滑に、要求された領域の動画を表示していくことは、解像度の可変範囲を広げるほど、また、画像サイズが大きくなるほど、困難になってくる。
【００１６】
そこで本実施の形態では表示対象の動画像のデータを、動画フレームを複数の解像度で表し解像度順に階層化してなる階層構造とする。また各階層におけるフレームを画像平面で空間分割した単位で動画ストリーム形成する。そして表示領域の移動に応じ、表示に使用する階層および動画ストリームを切り替えることで良好な応答性を得る。以後、このような階層構造を有する動画像データを「階層データ」とも呼ぶ。
【００１７】
まず、このような階層データの基本的な表示態様について説明する。図１は、本実施の形態を適用できる画像処理システム１の使用環境を示す。画像処理システム１は、画像処理ソフトウェアを実行する画像処理装置１０と、画像処理装置１０による処理結果を出力する表示装置１２とを備える。表示装置１２は、画像を出力するディスプレイおよび音声を出力するスピーカを有するテレビであってよい。
【００１８】
表示装置１２は、画像処理装置１０に有線ケーブルで接続されてよく、また無線ＬＡＮ（Local Area Network）などにより無線接続されてもよい。画像処理システム１において、画像処理装置１０は、ケーブル１４を介してインターネットなどの外部ネットワークに接続し、動画像データをダウンロードして取得してもよい。なお画像処理装置１０は、無線通信により外部ネットワークに接続してもよい。
【００１９】
画像処理装置１０は、たとえばゲーム装置やパーソナルコンピュータであってよく、画像処理用のアプリケーションプログラムをロードすることで画像処理機能を実現してもよい。画像処理装置１０は、ユーザからの視点移動要求に応じて、表示装置１２のディスプレイに表示する動画像の拡大／縮小処理や、上下左右方向へのスクロール処理などを行う。以後、このような拡大／縮小を含めた表示領域の変更を「表示領域の移動」と表現する。ユーザが、ディスプレイに表示された画像を見ながら入力装置を操作すると、入力装置が、表示領域移動要求信号を画像処理装置１０に送信する。
【００２０】
図２は、入力装置２０の外観構成例を示す。入力装置２０は、ユーザが操作可能な操作手段として、十字キー２１、アナログスティック２７ａ、２７ｂと、４種の操作ボタン２６を備える。４種の操作ボタン２６は、○ボタン２２、×ボタン２３、□ボタン２４および△ボタン２５から構成される。
【００２１】
画像処理システム１において、入力装置２０の操作手段には、表示画像の拡大／縮小要求、および上下左右方向へのスクロール要求を入力するための機能が割り当てられる。たとえば、表示画像の拡大／縮小要求の入力機能は、右側のアナログスティック２７ｂに割り当てられる。ユーザはアナログスティック２７ｂを手前に引くことで、表示画像の縮小要求を入力でき、また手前から押すことで、表示画像の拡大要求を入力できる。
【００２２】
また、スクロール要求の入力機能は、十字キー２１に割り当てられる。ユーザは十字キー２１を押下することで、十字キー２１を押下した方向へのスクロール要求を入力できる。なお、表示領域移動要求の入力機能は別の操作手段に割り当てられてもよく、たとえばアナログスティック２７ａに、スクロール要求の入力機能が割り当てられてもよい。
【００２３】
入力装置２０は、入力された表示領域移動要求の信号を画像処理装置１０に伝送する機能をもち、本実施の形態では画像処理装置１０との間で無線通信可能に構成される。入力装置２０と画像処理装置１０は、Bluetooth（ブルートゥース）（登録商標）プロトコルやIEEE802.11プロトコルなどを用いて無線接続を確立してもよい。なお入力装置２０は、画像処理装置１０とケーブルを介して接続して、表示領域移動要求の信号を画像処理装置１０に伝送してもよい。
【００２４】
また入力装置２０は図２に示したものに限らず、ユーザが操作するキーボード、タッチパネル、ボタン、対象物の像を撮影するカメラ、音声を取得するマイクなど、ユーザの意思や対象物の動きなどを電子的な情報として取得できるインターフェースであればその種類や外観は限定されない。
【００２５】
図３は、本実施の形態において処理対象とする動画像の階層データを概念的に示している。階層データは、図の上から下へ向かうｚ軸方向に、第０階層３０、第１階層３２、第２階層３４および第３階層３６からなる階層構造を有する。なお同図においては４階層のみ示しているが、階層数はこれに限定されない。上述のとおり各階層は１つの動画像を異なる解像度で表した動画データ、すなわち複数の画像フレームを時系列順に並べたデータで構成される。同図においては各階層を４枚の画像フレームで象徴的に表しているが画像フレームの数は動画像の再生時間やフレームレートによって当然異なる。
【００２６】
階層データは例えば４分木の階層構造を有し、各階層を構成する画像フレームを同一サイズを有する「タイル画像」に分割した場合、第０階層３０は１個のタイル画像、第１階層３２は２×２個のタイル画像、第２階層３４は４×４個のタイル画像、第３階層は８×８個のタイル画像、などとなる。このとき第Ｎ階層の解像度（Ｎは０以上の整数）は、画像平面上で左右（ｘ軸）方向、上下（ｙ軸）方向ともに、第（Ｎ＋１）階層の解像度の１／２となる。階層データは、最高解像度をもつ第３階層３６の動画像をもとに、画像フレームを複数段階に縮小するなどして生成することができる。
【００２７】
動画表示時の視点座標およびそれに対応する表示領域は、図３に示すように、画像の左右方向を表すｘ軸、上下方向を表すｙ軸、解像度を表すｚ軸からなる仮想的な３次元空間で表すことができる。なお上述のとおり本実施の形態では複数の画像フレームが連なる動画像データを階層として準備するため、実際に表示される画像は再生が開始されてからの時間にも依存し、同図では階層ごとに時間軸ｔを表している。
【００２８】
画像処理装置１０は、基本的には時間軸ｔに沿っていずれかの階層の画像フレームを所定のフレームレートで順次描画していく。例えば第０階層３０の解像度の動画像を基準画像として表示する。その過程で入力装置２０から表示領域移動要求信号が供給されたら、当該信号から表示画像の変更量を導出し、その変更量を用いて次のフレームの、仮想空間における４隅の座標（フレーム座標）を導出する。そして当該フレーム座標に対応する画像フレームを描画する。この際、ｚ軸に対し階層の切り替え境界を設けておくことにより、フレーム座標のｚの値に応じて適宜、フレーム描画に用いる動画データの階層を切り替える。
【００２９】
なお、仮想空間におけるフレーム座標の代わりに、画像処理装置１０は、階層を特定する情報と、その階層におけるテクスチャ座標（ＵＶ座標）を導出してもよい。以下、階層特定情報およびテクスチャ座標の組み合わせも、フレーム座標と呼ぶ。
【００３０】
画像処理装置１０において、階層データは、タイル画像の単位で圧縮された状態で保持されている。そしてフレーム描画に必要なデータが読み出されてデコードされる。なお図３は階層データを概念的に表したものであり、データの格納順やフォーマットを限定するものではない。例えば階層データの仮想空間における位置およびフレーム番号と実際の動画データの格納領域とが対応づけてあれば、動画データは任意の領域に格納することができる。
【００３１】
図４は画像処理装置１０の構成を示している。画像処理装置１０は、無線インタフェース４０、スイッチ４２、表示処理部４４、ハードディスクドライブ５０、記録媒体装着部５２、ディスクドライブ５４、メインメモリ６０、バッファメモリ７０および制御部１００を有して構成される。表示処理部４４は、表示装置１２のディスプレイに表示するデータをバッファするフレームメモリを有する。
【００３２】
スイッチ４２は、イーサネットスイッチ（イーサネットは登録商標）であって、外部の機器と有線または無線で接続して、データの送受信を行うデバイスである。スイッチ４２は、ケーブル１４を介して外部ネットワークに接続し、画像サーバから動画データを受信できるように構成される。またスイッチ４２は無線インタフェース４０に接続し、無線インタフェース４０は、所定の無線通信プロトコルで入力装置２０と接続する。入力装置２０においてユーザから入力された表示領域移動要求の信号は、無線インタフェース４０、スイッチ４２を経由して、制御部１００に供給される。
【００３３】
ハードディスクドライブ５０は、データを記憶する記憶装置として機能する。動画データはハードディスクドライブ５０に格納されてもよい。記録媒体装着部５２は、メモリカードなどのリムーバブル記録媒体が装着されると、リムーバブル記録媒体からデータを読み出す。ディスクドライブ５４は、読出専用のＲＯＭディスクが装着されると、ＲＯＭディスクを駆動して認識し、データを読み出す。ＲＯＭディスクは、光ディスクや光磁気ディスクなどであってよい。動画データはこれらの記録媒体に格納されていてもよい。
【００３４】
制御部１００は、マルチコアＣＰＵを備え、１つのＣＰＵの中に１つの汎用的なプロセッサコアと、複数のシンプルなプロセッサコアを有する。汎用プロセッサコアはＰＰＵ（Power Processing Unit）と呼ばれ、残りのプロセッサコアはＳＰＵ（Synergistic-Processing Unit）と呼ばれる。制御部１００はさらにＧＰＵ（Graphics Processing Unit）を備えていてもよい。
【００３５】
制御部１００は、メインメモリ６０およびバッファメモリ７０に接続するメモリコントローラを備える。ＰＰＵはレジスタを有し、演算実行主体としてメインプロセッサを備えて、実行するアプリケーションにおける基本処理単位としてのタスクを各ＳＰＵに効率的に割り当てる。なお、ＰＰＵ自身がタスクを実行してもよい。ＳＰＵはレジスタを有し、演算実行主体としてのサブプロセッサとローカルな記憶領域としてのローカルメモリを備える。ローカルメモリは、バッファメモリ７０として使用されてもよい。
【００３６】
メインメモリ６０およびバッファメモリ７０は記憶装置であり、ＲＡＭ（ランダムアクセスメモリ）として構成される。ＳＰＵは制御ユニットとして専用のＤＭＡ（Direct Memory Access）コントローラをもち、メインメモリ６０とバッファメモリ７０の間のデータ転送を高速に行うことができ、また表示処理部４４におけるフレームメモリとバッファメモリ７０の間で高速なデータ転送を実現できる。本実施の形態の制御部１００は、複数のＳＰＵを並列動作させることで、高速な画像処理機能を実現する。表示処理部４４は、表示装置１２に接続されて、ユーザからの要求に応じた画像処理結果を出力する。
【００３７】
画像処理装置１０は、表示画像の拡大／縮小処理やスクロール処理をスムーズに行うために、現在表示されているフレームに対し空間的、時間的に近接した動画データを逐次、ハードディスクドライブ５０からメインメモリ６０にロードしておく。また、メインメモリ６０にロードした動画データの一部をデコードしてバッファメモリ７０に格納しておく。これにより、動画再生を進捗させつつ表示領域を円滑に移動させることが可能となる。このときロードやデコードの対象となるデータは、それまでの表示領域の移動方向に基づき、以後、必要となる領域を先読みすることによって決定してもよい。
【００３８】
図３に示す階層データにおいて、ｚ軸方向における位置は解像度を示し、第０階層３０に近い位置ほど解像度が低く、第３階層３６に近い位置ほど解像度は高い。ディスプレイに表示される画像の大きさに注目すると、ｚ軸方向における位置は、縮尺率に対応し、第３階層３６の表示画像の縮尺率を１とすると、第２階層３４における縮尺率は１／４、第１階層３２における縮尺率は１／１６、第０階層３０における縮尺率は１／６４となる。
【００３９】
したがってｚ軸方向において、表示画像が第０階層３０側から第３階層３６側へ向かう方向に変化する場合、表示画像は拡大していき、第３階層３６側から第０階層３０側へ向かう方向に変化する場合は、表示画像は縮小していく。例えば表示画像の縮尺率が第２階層３４の近傍にある場合、表示画像は、第２階層３４の動画データを用いて作成される。
【００４０】
具体的には上述のとおり、各階層の中間の縮尺率などにそれぞれ切り替え境界を設ける。例えば表示する画像の縮尺率が、第１階層３２と第２階層３４の間の切り替え境界と、第２階層３４と第３階層３６の間の切り替え境界の間にある場合に、第２階層３４の画像データを利用してフレームを描画する。このとき、第１階層３２と第２階層３４の間の切り替え境界と、第２階層３４の間の縮尺率では、第２階層３４の画像フレームを縮尺して表示する。第２階層３４と第３階層３６の間の切り替え境界と、第２階層３４の間の縮尺率では、第２階層３４の画像フレームを拡大して表示する。
【００４１】
一方、表示領域移動要求信号から予測される将来必要な領域を特定してデコードする場合は、各階層の縮尺率などを先読み境界として設定しておく。例えば、表示領域移動要求信号による要求縮尺率が第２階層３４の縮尺率をまたいだときなどに、縮小方向にある第１階層３２の動画データの少なくとも一部をハードディスクドライブ５０またはメインメモリ６０から先読みしてデコードし、バッファメモリ７０に書き込む。
【００４２】
画像の上下左右方向の先読み処理についても同様である。具体的には、バッファメモリ７０に展開されている画像データに先読み境界を設定しておき、画像変更要求信号による表示位置が先読み境界をまたいだときに、先読み処理が開始されるようにする。このようにすることで、ユーザの表示領域移動の要求に応じ、円滑に解像度および表示位置を変化させつつ動画再生も進んでいく態様を実現できる。
【００４３】
図５は本実施の形態において、階層構造を有する動画データを用いて動画を表示する機能を有する制御部１００ａの構成を詳細に示している。制御部１００ａは、入力装置２０からユーザが入力した情報を取得する入力情報取得部１０２、新たに表示すべき領域のフレーム座標を決定するフレーム座標決定部１１０、新たにロードすべき領域の動画データを決定するロード領域決定部１０６、必要な領域の動画データをハードディスクドライブ５０からロードするロード部１０８を含む。制御部１００ａはさらに、動画データをデコードするデコード部１１２、および画像フレームを描画する表示画像処理部１１４を含む。
【００４４】
図５および後述する図１５において、さまざまな処理を行う機能ブロックとして記載される各要素は、ハードウェア的には、ＣＰＵ（Central Processing Unit）、メモリ、その他のＬＳＩで構成することができ、ソフトウェア的には、メモリにロードされたプログラムなどによって実現される。既述したように、制御部１００は１つのＰＰＵと複数のＳＰＵとを有し、ＰＰＵおよびＳＰＵがそれぞれ単独または協同して、各機能ブロックを構成できる。したがって、これらの機能ブロックがハードウェアのみ、ソフトウェアのみ、またはそれらの組合せによっていろいろな形で実現できることは当業者には理解されるところであり、いずれかに限定されるものではない。
【００４５】
入力情報取得部１０２は、ユーザが入力装置２０に対して入力した、動画再生の開始／終了、表示領域の移動などの要求内容を取得し、フレーム座標決定部１１０に通知する。フレーム座標決定部１１０は、現在の表示領域のフレーム座標とユーザが入力した表示領域移動要求信号に従い、後続のフレーム表示時刻で新たに表示すべき領域のフレーム座標を決定し、ロード領域決定部１０６、デコード部１１２、表示画像処理部１１４に通知する。
【００４６】
ロード領域決定部１０６は、フレーム座標決定部１１０から通知されたフレーム座標に基づき、ハードディスクドライブ５０から新たにロードすべき動画データを特定し、ロード部１０８にロード要求を発行する。本実施の形態では上述のとおり、各階層のフレーム列を、タイル画像単位で独立した動画ストリームとする。結果として基本的に、階層ごとにタイル画像の個数分の動画ストリームが形成される。あるいは後述するように、複数階層の同じ領域を示すデータや複数のタイル画像を１つの動画ストリームに混在させてもよい。
【００４７】
動画データには、タイル画像の階層および位置を表す識別番号と、動画ストリームデータ本体の識別番号とを対応づけた情報を付加しておき、動画再生開始時にメインメモリ６０にロードしておく。ロード領域決定部１０６はフレーム座標に基づきその情報を参照し、必要な領域の動画ストリームの識別番号を取得する。そして該当する動画ストリームのデータがロード済みでなければ、ロード部１０８にロード要求を発行する。またフレーム座標が変化しない場合であっても、動画の進捗に応じて逐次、必要な動画ストリームのデータがロードされるように要求する。動画ストリームを時間方向に分割しておき、分割後の単位でロードするようにしてもよい。
【００４８】
ロード領域決定部１０６は、その時点のフレーム描画に必要な動画ストリームの他、以後必要と予測される動画ストリームを先に述べた先読み処理などにより特定し、ロード部１０８にロード要求を発行してよい。ロード部１０８は、ロード領域決定部１０６からの要求に従い、ハードディスクドライブ５０からの動画ストリームのロード処理を行う。具体的にはロードすべき動画ストリームの識別番号からハードディスクドライブ５０における格納領域を特定し、当該格納領域から読み出したデータをメインメモリ６０に格納する。
【００４９】
デコード部１１２は各時刻のフレーム座標に基づき、メインメモリ６０から必要な動画ストリームのデータを読み出しデコードし、バッファメモリ７０に逐次格納していく。デコード対象は動画ストリーム単位でよく、フレーム座標決定部１１０が決定したフレーム座標の領域が複数の動画ストリームにまたがる場合は当該複数の動画ストリームをデコードしていく。
【００５０】
本実施の形態では後述するように、階層データのうち一部の階層のデータを、それより上層の階層の拡大画像との差分値を表す差分画像で保持することにより、階層データのデータサイズを小さくする。そのためデコード部１１２はさらに、デコードした画像が差分画像であった場合、差分をとるために用いた上層の階層の画像をデコードし、拡大したうえデコード後の差分画像に加算することにより本来の画像データに戻してバッファメモリ７０に格納する。表示画像処理部１１４は、各時刻のフレーム座標に基づきバッファメモリ７０から対応するデータを読み出し、表示処理部４４のフレームメモリに描画していく。
【００５１】
一つの動画再生中に拡大縮小を含め表示領域の移動を許す態様においては、全ての動画ストリームが時間軸を共有し、利用される動画ストリームが切り替えられたか否かに関わらずシームレスにフレーム描画が進捗することが望ましい。そこで上述のとおり、一度の表示に必要な領域やその後に必要と予測される動画ストリームを優先的にロード、デコードし、フレーム描画までに必要な処理の効率を向上させる。また後述するように動画ストリームの構成を工夫することにより、どのタイミングで表示に用いる動画ストリームが切り替えられても、少ないレイテンシでフレーム表示が開始されるようにする。
【００５２】
以上述べた構成とすることで、１フレームがギガピクセルのオーダーを有するような大きなサイズの動画像であっても、全体を見渡したり一部の領域を拡大したり、といったことを自由かつ円滑に行える。さらに動画像を階層構造で準備しておくことで、ディスプレイの解像度や表示サイズ、装置の処理性能などに応じて適切な階層を選択することにより、表示装置によらず同様の外観で動画像を表示できる。
【００５３】
ここで動画像の階層データに含まれる異なる階層の同時刻の画像は、解像度が異なるもののその内容は同じであるため、階層データは常に階層間に冗長性をもつという性質がある。そこで本実施の形態では上述のように、一部の階層のデータを、それより高階層の画像を拡大した画像との差分画像のデータとする。上記階層データの性質に鑑みれば、階層間で差分をとることにより、データサイズを著しく軽減させることができる。
【００５４】
図６は階層構造を有する動画像データのうち一部の階層を差分画像で表した様子を模式的に示している。同図の例では、第０階層３０および第２階層３４が本来の画像データを保持し、第１階層３２と第３階層３６が差分画像のデータを保持しており、本来の画像データを白抜き、差分画像のデータを網掛けで表している。以後の説明では、本来の画像データを保持する階層を「元画像階層」、差分画像のデータを保持する階層を「差分画像階層」と呼ぶ。
【００５５】
ここで第３階層３６の解像度で領域１２０を表示する場合は、第３階層３６が保持する領域１２０の差分画像に、第２階層３４が保持する、対応する領域１２２の画像を第３階層３６の解像度まで拡大して各画素値を加算する。同図の場合、第３階層３６の解像度は第２階層３４の２×２倍であるため、領域１２２の画像を２×２倍する。拡大にはニアレストネイバー法、バイリニア法、バイキュービック法など一般的な補間手法を採用してよい。
【００５６】
このようなデータ構成とすることにより全体的なデータサイズを軽減できるほか、表示に至るまでにデータが通過する伝送経路、すなわち画像処理装置１０における内部バスや、画像サーバと接続するネットワークなどにおいて必要な帯域幅を抑えることができる。これは、表示したい解像度の本来の画像のデータサイズと比較し、当該解像度の差分画像のデータとそれより解像度の低い階層の本来の画像のデータとを足し合わせたデータサイズの方が小さくなるためである。
【００５７】
図６の例では、元画像階層と差分画像階層の割り当てを固定としていた。この場合、上記のように差分画像階層の解像度で画像を表示するときはビットレートが小さくなるため、データの伝送に要する帯域幅を節約できる。一方、元画像階層の解像度で画像を表示している期間においては、差分画像階層を設けない場合と同じビットレートとなり、帯域幅削減の効果が得られない。どの階層を用いた解像度でも変わりなく円滑な表示を行うためには、最大ビットレートに合わせた帯域幅を確保する必要があるため、このような態様では確保すべき帯域幅を軽減することにはつながりにくい。
【００５８】
そこで、元画像階層と差分画像階層の割り当てを所定の規則で切り替えることによりビットレートを平均化し、切り替え期間より長いスパンでみたときの伝送データサイズを抑えて転送に必要な帯域幅を軽減させる。図７は元画像階層と差分画像階層の割り当てを切り替える態様を説明するための図である。同図において横軸が動画像上の時間軸を示しており、時刻ｔ１、ｔ２、ｔ３のときの各フレームのみからなる階層データの構成をそれぞれ示している。
【００５９】
まず時刻ｔ１のフレームを表す階層データでは、第０階層３０および第２階層３４を元画像階層とし、第１階層３２および第３階層３６を差分画像階層としている。この場合、第１階層３２の解像度の画像は、第１階層３２の差分画像と第０階層３０の本来の画像とを加算することによって得られる。また第３階層３６の解像度の画像は、第３階層３６の差分画像と第２階層３４の本来の画像とを加算することによって得られる。
【００６０】
時刻ｔ１より後の時刻ｔ２のフレームを表す階層データでは、第０階層３０、第１階層３２、および第３階層３６を元画像階層とし、第２階層３４を差分画像階層としている。この場合、第２階層３４の解像度の画像は、第２階層３４の差分画像と第１階層３２の本来の画像とを加算することによって得られる。さらに後の時刻ｔ３のフレームを表す階層データは、時刻ｔ１のときと同じ割り当てとなっている。
【００６１】
例えば時刻ｔ１のフレームのうち、第３階層３６の解像度で領域１２４ａを表示する場合、領域１２４ａの差分画像のデータと、第２階層３４の本来の画像のうち対応する領域１２６ａの画像データとを必要とする。時間の経過とともにフレームが進むと同時に表示領域が移動し、時刻ｔ２のフレームのうち、第３階層３６の解像度で領域１２４ｂを表示するとする。この場合、第３階層３６は本来の画像のデータであるから、当該領域１２４ｂのデータのみを必要とする。さらに時間が経過し、時刻ｔ３のフレームのうち、第３階層３６の解像度で領域１２４ｃを表示する場合、領域１２４ｃの差分画像のデータと、第２階層３４の本来の画像のうち対応する領域１２６ｂの画像データとを必要とする。
【００６２】
結果として同図下端に示すように、時刻ｔ１、ｔ２、ｔ３のフレームのうち、第３階層３６の解像度で領域１２４ａ、１２４ｂ、１２４ｃをそれぞれ表示させるためには、第３階層３６の差分画像と第２階層３４の本来の画像のセットからなるデータ１２８ａ、第３階層３６の本来の画像のデータ１２８ｂ、第３階層３６の差分画像と第２階層３４の本来の画像のセットからなるデータ１２８ｃを順次読み出すことになる。
【００６３】
このように元画像階層と差分画像階層を時間的に切り替える構成とすることで、本来の画像のデータ１２８ｂのようなサイズの大きいデータが継続して伝送される確率を低くし、単位時間あたりに伝送すべきデータのサイズ、すなわちビットレートを抑えることができる。なお同図では理解を容易にするため、表示対象を第３階層３６の解像度に固定したが、表示対象の階層を途中で変化させても同様の効果が得られる。
【００６４】
図８から図１１は、元画像階層と差分画像階層の割り当てスケジュール例を示している。これらの図において横軸は時間経過を表しており、第０階層、第１階層、第２階層、・・・をそれぞれ「Ｌｖ０」、「Ｌｖ１」、「Ｌｖ２」、・・・とする階層データにおける割り当ての時間変化を、元画像階層の期間を白抜き、差分画像階層の期間を網掛けの矩形で表している。１つの矩形で表される期間には１つ以上のフレームが表示される。
【００６５】
図８は階層データ全体に渡り、割り当てを切り替えるタイミングを共有する場合を示している。なお第０階層Ｌｖ０はそれより上の階層がないため、常時、元画像階層１５２とする。以後の例も同様である。図８の例では、時刻Ｔ０、Ｔ１、Ｔ２、Ｔ３、Ｔ４、Ｔ５、Ｔ６のタイミングで、１つ以上の階層において切り替えがなされている。すなわち時刻Ｔ０からＴ１の期間において、第０階層Ｌｖ０、第２階層Ｌｖ２が元画像階層１５２、１５６、第１階層Ｌｖ１、第３階層Ｌｖ３、第４階層Ｌｖ４が差分画像階層１５４、１６０、１６２であったものを、時刻Ｔ１において、第２階層Ｌｖ２を差分画像階層１６４へ、第３階層Ｌｖ３を元画像階層１６６へ切り替えている。
【００６６】
時刻Ｔ２では第１階層Ｌｖ１および第４階層Ｌｖ４を元画像階層１６８、１７０へ、第３階層Ｌｖ３を差分画像階層１７２へ切り替えている。時刻Ｔ３では第１階層Ｌｖ１および第４階層Ｌｖ４を差分画像１７４、１７６へ、第２階層Ｌｖ２を元画像階層１７８へ切り替えている。このような切り替えを以降の時間でも繰り返す。すると第０階層Ｌｖ０を別にすると、元画像階層が各時刻で第１階層Ｌｖ１→第２階層Ｌｖ２→第３階層Ｌｖ３→第４階層Ｌｖ４、と切り替わり、それ以外の階層は差分画像階層となる。
【００６７】
なお図８で示した態様は、元画像階層となる階層と差分画像階層となる階層の組み合わせが全階層に共通のタイミングで変化すれば、同時期に元画像階層となる階層数、差分画像となる階層数、およびそれらの配置は、同図に示したものでなくてもよい。図８の例では、どの期間においても差分画像階層が上下に連続することになる。例えば時刻Ｔ２からＴ３の期間では、上下に連続した階層、第２階層Ｌｖ２および第３階層Ｌｖ３が差分画像階層１７９、１７２である。
【００６８】
このように連続する２つ以上の階層が同時期に差分画像階層となるような割り当てとする場合、常にすぐ上の階層からの差分をとって差分画像としてもよいし、元画像階層まで遡り、本来の画像との差分をとって差分画像としてもよい。前者の場合、すぐ上の階層が元画像階層でない限り、差分画像の差分画像を保持することになるため、元画像階層から階層が下になるほど、画像を元に戻すために必要な階層数および加算処理が増えることになるが、データサイズは小さくなる。
【００６９】
後者の場合、画像を元に戻すための階層数および加算処理は一定であるが、元画像階層から階層が下になるほど差分値が大きくなるため、前者と比較しデータサイズが大きくなる。どちらの差分画像とするかは、動画像の内容、表示装置の処理能力、使用できる伝送帯域などに鑑み選択する。また、連続した階層に差分画像階層を割り当てないようにスケジュールを決定してもよい。
【００７０】
図８における切り替えの時刻Ｔ０〜Ｔ６は等間隔としてもよい。この場合、所定のフレーム数ごと、例えば８フレームごとに、少なくともいずれかの階層において切り替えがなされることになる。この場合、差分画像階層をフレーム単位であらかじめ確定できるため、動画表示時に、描画に必要な階層の特定や加算処理の要、不要などを容易に決定でき、制御を単純化できる。
【００７１】
あるいは切り替え時刻の少なくともいずれかを、動画像の特性によって決定してもよい。例えばシーンが切り替わるタイミングを動画データに埋め込まれたシーンチェンジ情報を参照して特定し、その前後のフレーム間で切り替える。シーンチェンジ情報に代わり、差分の大きいフレーム間で切り替えてもよい。後述するように、フレーム間予測符号化など圧縮符号化によってフレーム間に依存性をもたせる場合には、時間方向の冗長性が低いフレーム間で切り替えると都合がよい。
【００７２】
切り替えのタイミングはこれらの他、データサイズの積算量によって決定してもよい。すなわち、第０階層Ｌｖ０以外の階層のうちのいずれかの階層で、切り替え後からのフレームのデータサイズの積算量が所定のしきい値に達したときを次の切り替え時刻とする。画像の大きさは階層によって異なるが、実際に伝送されるデータは階層によらず同程度の数のタイル画像であるため、ここで積算量を算出するデータサイズはタイル画像の面積など、単位面積当たりに換算した値とする。この場合、差分画像はそのデータサイズが小さいため、切り替え時刻は実質的に、元画像階層が保持する本来の画像のデータサイズで決定する。このように実際のデータサイズに基づき切り替え時刻を決定することにより、ビットレートの高いデータの伝送を効率的に分散させることがでる。
【００７３】
つまりこのように切り替え時刻を決定するということは、本来の画像のビットレートが高いほど切り替え頻度を高くしていることに他ならない。ビットレートの高いデータを継続して伝送させると帯域に余裕のない状態が続くため、結果として常時円滑な伝送を行うには広い帯域幅が必要となる。上記のとおりビットレートの高い画像ほど切り替えを早くすることにより、帯域に定常的に余裕分を作っておき、当該余裕分を利用してビットレートの高いデータを送信するようにする。
【００７４】
またビットレートがそれほど高くなく、本来の画像のデータを伝送する場合でも帯域がすぐに逼迫することのない画像は、切り替え頻度を小さくすることにより画像表示時の処理内容の切り替え頻度を小さくし、制御を容易にする。このようにすることで、より直接的かつ効率的に、伝送に必要な帯域幅を減らすことができる。
【００７５】
図９は階層データの階層を区分けしてなるグループごとに切り替えのタイミングを共有する場合を示している。同図の例では、第１階層Ｌｖ１と第２階層Ｌｖ２、第３階層Ｌｖ３と第４階層Ｌｖ４、第５階層Ｌｖ５と第６階層Ｌｖ６というように、上下に位置する２つの階層をそれぞれ１グループ（グループ１８０ａ、１８０ｂ、１８０ｃ）とし、グループ内で切り替えのタイミングを共有している。そしてグループに属する２つの階層に対し、元画像階層と差分画像階層を交互に割り当てる。
【００７６】
例えばグループ１８０ａにおいて、時刻Ｔ０からＴ１の間は、第１階層Ｌｖ１が元画像階層１８２、第２階層Ｌｖ２が差分画像階層１８４、時刻Ｔ１からＴ２の間は逆に、第１階層Ｌｖ１が差分画像階層１８６、第２階層Ｌｖ２が元画像階層１８８、さらに時刻Ｔ２からＴ３の間は第１階層Ｌｖ１が元画像階層１９０、第２階層Ｌｖ２が差分画像階層１９２、・・・というように各切り替え時刻で元画像階層と差分画像階層を入れ替える。その他のグループ１８０ｂ、１８０ｃも同様であるが、切り替え時刻はグループごとに異なってよい。このようにするとどの期間においても、差分画像を元の画像に戻すために必要な元画像階層は、必ず直上のグループに存在することになる。
【００７７】
同図の例では、２階層を１グループとしているため、差分画像を元の画像に戻すために必要な元画像階層は、最大でも２つ上の階層までとなる。このように差分画像階層から元画像階層までの階層数を制限することにより、元の画像に戻すために必要なデータへのアクセス処理や、画像の加算処理の負荷を抑えることができる。
【００７８】
各グループにおける切り替え時刻は、図８で説明した規則のいずれかをグループごとに選択して決定してよい。例えばデータサイズの積算量によって、グループごとに切り替え時刻を決定する。この場合、単位面積当たりのデータサイズは画像が縮小しているほど大きい傾向を有するため、階層が上のグループほどデータサイズの積算量が早くしきい値に達する。
【００７９】
そのため図９に示すように、第１階層Ｌｖ１と第２階層Ｌｖ２のグループ１８０ａの切り替え頻度が最も高く、続いて第３階層Ｌｖ３と第４階層Ｌｖ４のグループ１８０ｂ、第５階層Ｌｖ５と第６階層Ｌｖ６のグループ１８０ｃ、というように切り替え頻度が低くなる。このように階層ごとの特質を加味してそれぞれの切り替え時刻を細かく設定することにより、図８で説明したのと同様の原理により、必要な帯域幅をより効率的に減らすことができる。
【００８０】
なおデータサイズの積算量に対するしきい値をグループごとに変化させてもよい。例えば画像の内容によって、圧縮符号化時に特定の階層のビットレートを他より高く設定する場合がある。特定の階層とは、他の階層より高い頻度で表示に用いられると予測される階層や、ユーザが指定した階層などである。この場合、当該階層を含むグループのしきい値を、設定するビットレートに応じて小さく設定すれば、実際に伝送されるデータのビットレートに即して切り替え頻度を調整できる。
【００８１】
図１０は階層データの階層を区分けしてなるグループごとに切り替えのタイミングを共有する場合の別の例を示している。同図の例では、第１階層Ｌｖ１と第２階層Ｌｖ２、第３階層Ｌｖ３と第４階層Ｌｖ４と第５階層Ｌｖ５、第６階層Ｌｖ６と第７階層Ｌｖ７をそれぞれグループとしており（それぞれグループ１９４ａ、１９４ｂ、および１９４ｃ）、グループに属する階層数が異なる。この場合も図９で示したのと同様、グループごとに切り替え時刻を決定する。
【００８２】
またグループに属する階層が３つ以上であっても、差分画像階層（例えば差分画像階層１９８）から元画像階層（例えば元画像階層１９６、１９９）までの階層数が制限できるように、割り当てスケジュールを工夫する。具体的には、まずグループ内で、同時期に連続して差分画像階層となる階層の数を最大２Ｎに制限する。さらに、各グループにおいて、グループの境界から数えて同時期に連続して差分画像階層となる階層の数が最大でもＮ個となるように制限すれば、当該境界を挟む２つのグループを考慮しても、同時期に連続して差分画像階層となる階層の数は最大２Ｎ個となる。
【００８３】
例えば図１０の場合、グループ内で、連続する複数の階層が同時期に差分画像階層となることはない。また、グループの境界から数えて連続する複数の階層が同時期に差分画像階層となることもない。つまりＮ＝１であり、これにより階層データ全体で見ても、連続して差分画像階層となる階層の数は最大で２Ｎ＝２となる。差分画像階層から元画像階層までの階層数の最大値２Ｎは、上述のとおり表示装置における処理の負荷に影響する。したがって表示装置の処理性能に応じて２Ｎを決定し、それに従い割り当てのスケジューリングを行う。
【００８４】
図１１は図９、図１０の態様において生成した、複数の階層ごとのグループを、さらに画像上の領域ごとにグループ化した場合を示している。すなわち複数の階層の画像を画像上の同じ位置で分割し、同じ部分を表す領域ごとにグループを形成する。同図の例では、第３階層Ｌｖ３の画像を領域Ｌｖ３＿０、Ｌｖ３＿１、・・・などに分割し、第４階層Ｌｖ４の画像を領域Ｌｖ４＿０、Ｌｖ４＿１、・・・などに分割している。
【００８５】
そして、画像上の同じ部分を表す第３階層Ｌｖ３の領域Ｌｖ３＿０と第４階層Ｌｖ４の領域Ｌｖ４＿０を第０領域、第３階層Ｌｖ３の領域Ｌｖ３＿１と第４階層Ｌｖ４の領域Ｌｖ４＿１を第１領域とすると、第３階層Ｌｖ３および第４階層Ｌｖ４のうちの第０領域、第１領域といった領域ごとにグループを形成し（グループ２００ｂ、２００ｃ）、グループ内で切り替えのタイミングを共有する。
【００８６】
このように複数の階層を領域ごとにまとめたグループを画像全体について形成する。同図では分割対象として第３階層Ｌｖ３および第４階層Ｌｖ４のみ示しているが、１つのグループに属する階層は３つ以上でもよい。各グループにおける切り替え時刻は、図９と同様、規則をグループごとに選択して決定してよい。そしてグループごとに決定した切り替え時刻において、グループ内の少なくともいずれかの階層の領域を、元画像階層／差分画像階層で切り替える（例えば元画像階層２０２から差分画像階層２０４へ切り替える）。
【００８７】
例えばデータサイズの積算量によって、グループごとに切り替え時刻を決定する。一つの画像であっても領域によって画像の複雑度が異なるとそのビットレートが異なる。例えば単色に近い青空の領域と車が行き交う道路の領域とではビットレートにも差が生じる。上述のとおりビットレートの高い領域についてはより高頻度に割り当てを切り替えることが望ましいため、結果的に、領域によって適切な切り替え頻度が異なることになる。そこで領域ごとに切り替え時刻を決定することにより、より細かいレベルでの調整が可能となり、画像の内容に即した条件で効率的に使用帯域幅を節約できる。
【００８８】
なお図９で説明したのと同様、データサイズの積算量に対して設定するしきい値はグループごとに異ならせてもよい。ビットレートが領域によって異なるためそれを考慮して切り替え時刻を調整する、という立場から、領域ごとにグループ分けを行う階層は、タイル画像によってビットレートに差が生じやすい、比較的高解像度の階層とする。すなわち第０階層Ｌｖ０、第１階層Ｌｖ１、第２階層Ｌｖ２など低解像度の画像については図１１で示すように領域分割を行わずに１つのグループ２００ａを形成してよい。この場合、第３階層Ｌｖ３や第４階層Ｌｖ４において個別のグループ２００ｂ、２００ｃとした第０領域や第１領域は、第２階層Ｌｖ２において１つのグループに統合される。あるいは画像の内容によっては、第０階層Ｌｖ０を除く全ての階層について領域ごとにグループ分けを行ってもよい。
【００８９】
この態様においても、図１０で説明したように、同時期に連続して差分画像階層となる階層数の許容範囲２Ｎを表示装置の処理性能によって決定する。そして、上記のように分割した領域が統合される境界など、階層構造において上下の関係を有するグループの境界から数えて同時期に連続して差分画像階層となる階層の数が最大でもＮ個となるように割り当てスケジュールを調整する。
【００９０】
本実施の形態では上述の通りタイル画像単位など領域単位で圧縮符号化し、独立した動画ストリームを生成する。表示時には、表示領域を含む動画ストリームのみを個別にデコードして表示画像としてつなげることにより動画像の各フレームを描画する。動画ストリームの時間方向のランダムアクセスを可能にする、すなわち、どの動画ストリームに対しても任意のタイミングで再生を開始できるようにすることにより、動画像に対し表示領域を任意に移動させることができる。
【００９１】
このような態様において上述のように、１つの動画ストリームに本来の画像データと差分画像データを混在させる場合、その切り替えタイミングを考慮した動画ストリームの構成とすることにより、表示時の処理効率を向上させることができる。図１２から図１４は、動画ストリームの構成例を示している。図１２は動画像のフレームの順をそのまま動画ストリームのデータ順とする場合を示している。同図において上段の矩形が圧縮符号化前のフレーム列における、あるタイル画像の領域を取り出してなるタイル画像列を示しており、横軸が動画像上の時間軸である。下段が圧縮符号化後の動画ストリームであり左端がストリームの先頭となる。圧縮符号化前後において、本来の画像データに対応する部分を白抜きで、差分画像データに対応する部分を網掛けで示している。
【００９２】
なお以下の説明において、動画像上の時系列順に並んだ画像という意味が理解しやすいように、フレームから取り出した「タイル画像」も「フレーム」と呼ぶ場合がある。同図の場合、まず圧縮符号化前において、時間方向に本来の画像のフレーム列ｉ１、差分画像のフレーム列ｄ１、本来の画像のフレーム列ｉ２、差分画像のフレーム列ｄ２、・・・が交互に並んでいる。そしてそれぞれを圧縮符号化した圧縮データｉ’１、ｄ’１、ｉ’２、ｄ’２、・・・を、そのままの順序で動画ストリームとする。フレームごとに独立して圧縮符号化を行う場合、すなわち全てのフレームをイントラフレームとする場合は、圧縮符号化後のデータを、フレーム順に単に連結していくのみでよい。
【００９３】
一方、フレーム間予測符号化など画像の時間方向の冗長性を利用して圧縮率を上げる場合は、本来の画像と差分画像という、種類の異なるフレーム列をまたいでデータの依存性が及ばないようにすることが望ましい。すなわち差分画像の圧縮データｄ’１をデコードするために、その前にある、本来の画像の圧縮データｉ’１を用いなくてすむようにする。同様に、本来の画像の圧縮データｉ’２をデコードするために、その前にある、差分画像の圧縮データｄ’１を用いなくてすむようにする。
【００９４】
このようにすることで、どのタイミングでデータアクセスが行われても、当該フレームをデコードするための処理を同じ種類のデータ内で閉じることができ、処理のレイテンシを抑えることができる。そのために、種類が切り替わった直後のフレーム、すなわち圧縮データｉ’１、ｄ’１、ｉ’２、ｄ’２、・・・のそれぞれの先頭フレームのデータを、独立してデコードが可能なイントラフレームとする。このようにフレーム間におけるデータの依存性をリセットするため、画像の種類によって区切られる圧縮データｉ’１、ｄ’１、ｉ’２、ｄ’２、・・・は個別の動画ストリームとすることができる。また本来の画像と差分画像では周波数特性等画像の特性が異なるため、圧縮方式も異ならせてもよい。
【００９５】
図１３はフレーム列から同じ種類のフレームのデータを抽出し、まとめて圧縮することにより１単位の圧縮データを形成する場合を示している。図の示し方はおよそ図１２と同様であるが、同図では、圧縮符号化前の本来の画像のフレーム列と差分画像のフレーム列を上下にずらして示している。時間軸は共通である。このような圧縮符号化前のフレーム列において、本来の画像の連続したフレーム列のまとまりを先頭から複数個（図では５個）抽出し、それらをまとめて新たな時系列を有するフレーム列ｉ３とする。次に、抽出した本来の画像の各フレーム列のまとまりの直後に位置する差分画像のフレーム列のまとまりを同数抽出し、それらをまとめて新たな時系列を有するフレーム列ｄ３とする。
【００９６】
同様に、本来の画像のフレーム列ｉ４、差分画像のフレーム列ｄ４、・・・というようにまとめていく。画像の種類ごとに抽出してまとめたフレーム列ｉ３、ｄ３、ｉ４、ｄ４、・・・をそれぞれ圧縮符号化してなる圧縮データｉ’３、ｄ’３、ｉ’４、ｄ’４、・・・をそれぞれ１単位の圧縮データとする。生成した圧縮データを単位ごとに個別の動画ストリームとしてもよいし、それを生成順に連結して動画ストリームとしてもよい。フレーム列をまとめる際の境界は、フレーム数、またはデータサイズの積算量が所定のしきい値を超えたときとしてもよいし、シーンチェンジが起きたときなど、抽出時に前後していたフレーム列のまとまりのうち先頭フレームなどを比較して差分がしきい値を超えていたときなどとしてもよい。
【００９７】
図１２で説明したように、任意にアクセスされたフレームをデコードする際、デコードに必要なデータが別の種類のフレーム列に及ばないように、圧縮符号化後の動画ストリームにおける各種データの先頭フレームのデータをイントラフレームとすることが望ましい。しかしながら画像のビットレートが高いことなどに起因して、本来の画像と差分画像とを高頻度で切り替えた場合、切り替え直後のフレームを全てイントラフレームとするとイントラフレームの数が増大し圧縮率が低下してしまう。
【００９８】
また、被写体の動きがない場合など時間方向の冗長性が長時間にわたり継続する場合も、本来の画像と差分画像との切り替えタイミングに合わせてイントラフレームを入れることにより無駄に圧縮率を下げてしまう可能性がある。このような場合に、上述のように時間的に不連続な同種類のフレーム列をまとめて１単位の圧縮データとし、イントラフレームとすべきフレームの数を減らすことにより、種類の異なるフレーム列へ依存性が及ばないようにすることと圧縮率の向上とを両立させることができる。
【００９９】
なおこの態様では、圧縮符号化後のデータの順序が本来の動画像におけるフレームの順序と異なるため、圧縮符号化後のデータには、本来のフレームの順序と、圧縮符号化後のデータにおけるデータの出現順とを対応づけた情報を付加しておく。そして動画像の表示時にはそれを参照してデコード後のフレームを本来の順序に戻したうえで表示する。
【０１００】
図１４は複数の階層の同じ領域を表すタイル画像のデータをまとめて圧縮することにより１単位の圧縮データを形成する場合を示している。図の示し方はおよそ図１２と同様であるが、圧縮符号化前のフレーム列として、第０階層Ｌｖ０、第１階層Ｌｖ１、第２階層Ｌｖ２、第３階層Ｌｖ３、第４階層Ｌｖ４の５つの階層のフレーム列を同じ時間軸で示している。また各階層の矩形は１つまたは複数のタイル画像列を象徴的に表している。さらにこの態様における圧縮符号化後のデータは本来の画像データと差分画像データを含むため、差分画像データに対する網掛けとは異なる種類の網掛けで示している。
【０１０１】
１単位の圧縮データとしてまとめる複数の階層の最上層を元画像階層とすることにより、差分画像を元の画像に戻すのに必要なデータを取得するために別の動画ストリームを読み出す必要がなくなり、表示処理を効率的に行える。結果として、どの階層を用いた表示であっても表示までのレイテンシが抑えられ、表示装置において解像度を選択する場合や解像度を可変とする場合に特に有効である。
【０１０２】
なお複数階層の同じ領域を表す画像は、解像度が異なるためその大きさが異なる。したがって、階層データが２×２倍で拡大していくような階層を有する場合、同図に示すように、２階層をまとめるときは上層の１タイル画像分、下層の４タイル画像分をまとめて１単位の圧縮データとする。３階層をまとめるときは最上層の１タイル画像分、中間層の４タイル画像分、最下層の１６タイル画像分をまとめて１単位の圧縮データとする。４つ以上の階層数でも同様である。
【０１０３】
１単位の圧縮データに含まれるフレームは別階層であっても動画像上の同じ期間のフレームである。同図に示すように、まとめる階層において元画像階層と差分画像階層との切り替えがなされない期間のフレームを全て、１単位の圧縮データとしてもよいし、それより短い期間のフレームとしてもよい。後者の場合、フレーム数やデータサイズの積算量にしきい値を設けることによりフレームを区切ってもよい。圧縮符号化後のデータにおけるデータ順は、圧縮符号化前のフレーム番号、階層、および領域と対応がとれていれば、特に限定されない。
【０１０４】
図１４の態様では上述のとおり、差分画像を元の画像に戻す際に元画像階層のデータへのアクセスが容易である、という利点を有する。一方で、元画像階層の解像度で画像を表示する場合でも、必要のない差分画像のデータが一緒に伝送されてしまうことになる。そこでそのような状態が長期間継続しないよう、元画像階層と差分画像階層との切り替え頻度を高くするなどして、１単位の圧縮データに含まれるフレーム数を調整する。
【０１０５】
次に、これまでに説明した圧縮動画データを生成する装置について説明する。本装置も、図４で示した画像処理装置１０と同様の構成で実現できる。以下、制御部１００の構成に主眼を置き説明する。図１５は本実施の形態において、圧縮動画データ生成機能を有する制御部１００ｂおよびハードディスクドライブ５０の構成を詳細に示している。
【０１０６】
制御部１００ｂは、元画像階層と差分画像階層の割り当てスケジュールを決定するスケジューリング部１３０、決定した割り当てスケジュールに従い各階層のデータを生成する階層データ生成部１３２、階層データを所定の規則で圧縮符号化し動画ストリームを生成する圧縮データ生成部１３４を含む。ハードディスクドライブ５０は、処理対象の動画データを格納する動画データ記憶部１３６、および圧縮符号化後の動画データを格納する圧縮データ記憶部１４０を含む。
【０１０７】
動画データ記憶部１３６に格納される処理対象の動画データは、一つの解像度で表された各時刻のフレームを時系列順に並べたフレーム列からなる一般的な動画像データでよい。スケジューリング部１３０は、図８から図１１を参照して説明したようなスケジューリングポリシーのいずれかにより、元画像階層と差分画像階層の割り当てスケジュールを決定する。階層数は元の動画フレームの解像度によって決定する。また上述のような様々なスケジューリングポリシーからどのポリシーを選択するかは、あらかじめ装置において設定がなされていてもよいし、入力装置２０を介してユーザが選択できるようにしてもよい。また、動画データのメタデータとして付加された画像特性や動画の種類などから判定するようにしてもよい。
【０１０８】
階層データ生成部１３２は、動画データ記憶部１３６から処理対象の動画データを読み出し、フレームごとに所定の複数の解像度へ段階的に縮小して本来の画像からなる階層データを生成する。そして、スケジューリング部１３０が決定した割り当てスケジュールに則り、差分画像階層とすべき階層をフレームごとに特定し、元画像階層の本来の画像、または直上の差分画像階層の差分画像からの差分をとることにより、特定した階層のデータを差分画像のデータとする。さらに各階層の画像を所定のサイズに分割してタイル画像とする。
【０１０９】
圧縮データ生成部１３４は、図１２から図１４を参照して説明したいずれかの手法により圧縮符号化を行い動画ストリームを生成する。生成した動画ストリームは圧縮データ記憶部１４０に格納する。この際、動画ストリームの構成に係る情報、例えば動画ストリームにおけるデータの位置と本来の動画フレームの順序とを対応づける情報を動画ストリームのヘッダなどに付加しておく。さらに各階層の画像平面におけるタイル画像の領域と動画ストリームとの対応関係、および、元画像階層と差分画像階層の割り当てスケジュールに係る情報も付加しておく。
【０１１０】
次に、これまで述べた構成を実現するための各装置の動作について説明する。図１６は、圧縮動画データを生成する装置が動画像の圧縮データを生成する処理手順を示している。まずユーザが、ハードディスクドライブ５０の動画データ記憶部１３６に格納された、処理対象の動画データを選択すると（Ｓ１０）、スケジューリング部１３０は、生成する階層数やスケジューリングポリシーなどの初期条件を決定し、それに従い元画像階層と差分画像階層の割り当てスケジュールを決定する（Ｓ１２、Ｓ１４）。
【０１１１】
次に階層データ生成部１３２は、動画データ記憶部１３６から処理対象の動画データを読み出し、各フレームを段階的に縮小することにより階層データを生成する。さらに、差分画像階層については差分画像を生成して階層データを更新したうえ、全階層の画像をタイル画像に分割する。このような階層データを各時刻のフレームごとに生成することにより、図６で示すようにｘ、ｙ、ｚの仮想的な３次元に時間軸が加わった４次元構造の階層データが生成されることになる（Ｓ１６）。
【０１１２】
次に圧縮データ生成部１３４は、図１２から図１４に示したフレーム列の順に画像データを圧縮符号化し動画ストリームを生成する（Ｓ１８）。このとき、全てのタイル画像をイントラフレームとしてもよいし、イントラフレームと、他のフレームへの依存性を有する予測フレームや双方向フレームが混在するようにしてもよい。後者の場合、結果として差分画像階層は、解像度方向の差分画像に対し時間方向の差分もとったデータを保持することになる。また上述のとおり、フレーム列において画像の種類が切り替わった直後のフレームはイントラフレームとする。
【０１１３】
次に圧縮データ生成部１３４は、各階層の画像平面におけるタイル画像の領域と動画ストリームとの対応関係、元画像階層と差分画像階層との割り当てスケジュールに係る情報、動画ストリームの構成に係る情報、を作成し、動画ストリーム群に付加して最終的な圧縮動画データとしハードディスクドライブ５０に格納する（Ｓ２０）。
【０１１４】
図１７は、画像を表示する装置が動画像を表示するための処理手順を示している。まずユーザが入力装置２０を介して動画の再生開始を指示すると、ロード部１０８、デコード部１１２、表示画像処理部１１４、表示処理部４４の協働により表示装置１２において動画像の表示が開始される（Ｓ３０）。動画像圧縮データは、ハードディスクドライブ５０に格納されたものでもよいし、ネットワークを介して動画サーバから取得したものでもよい。
【０１１５】
ユーザが入力装置２０を介して、表示中の動画内のある箇所をズームインしたり、さらに上下左右に視点を動かしたりする操作入力を行い表示領域の移動を要求すると（Ｓ３２のＹ）、フレーム座標決定部１１０は仮想空間における表示領域の移動速度ベクトルを表示領域移動要求信号から算出し、各フレーム表示時刻におけるフレーム座標を順次決定する（Ｓ３４）。
【０１１６】
デコード部１１２は、表示領域が移動したか否かに関わらず（Ｓ３４またはＳ３２のＮ）、次のフレームのフレーム座標のｚ座標から、動画の階層データのうち表示に用いる階層を決定し、さらにｘ座標、ｙ座標から、当該階層のうち表示領域に対応するタイル画像の動画ストリームを特定したうえメインメモリ６０から読み出してデコードし、バッファメモリ７０に格納する（Ｓ３６）。動画ストリームは、ロード領域決定部１０６およびロード部１０８の協働により、メインメモリ６０にロードされている。デコード対象のデータが本来の画像のものであっても差分画像のものであっても、デコード手順は同様である。
【０１１７】
すなわち当該フレームがイントラフレームであればそれを独立にデコードし、それ以外のフレームであれば参照画像を用いてデコードする。また動画ストリームのデータ順が本来の動画のフレーム順と異なっている場合は、動画ストリームに付加された対応情報に基づき対象となるデータを特定しておく。
【０１１８】
次にデコード部は、デコードした画像が差分画像であるか否かを確認する（Ｓ３８）。差分画像であるか否かは、上述のとおり動画像圧縮データに付加された割り当てスケジュールの情報を参照して判断する。また所定のフレーム数で切り替えるなど規則的に切り替えを行う態様においては、フレームの番号などから差分画像階層を特定したうえ、デコードした画像が差分画像であるか否かをその場で導出してもよい。
【０１１９】
差分画像である場合は同じ領域を表す上層の画像をデコードして画素ごとに加算することにより画像を復元し、バッファメモリ７０のデータを更新する（Ｓ４０）。１つ上の階層も差分画像である場合は、階層を上に辿り元画像階層まで遡る。このとき、順次差分画像を加算していくか、直接元画像階層の画像のみを加算するかは、動画データごとに方式として設定してよい。
【０１２０】
次に表示画像処理部１１４は、バッファメモリ７０に格納されたタイル画像のデータを用いて表示領域の画像を表示処理部４４のフレームバッファに描画し、表示処理部４４が表示装置１２に出力することにより各時刻で画像が更新される（Ｓ４２）。以上の処理を、フレームごとに繰り返すことにより、表示領域の移動を許容しつつ動画像が進捗する（Ｓ４４のＮ、Ｓ３２〜Ｓ４２）。動画像の再生が完了したりユーザが再生を停止させたりしたら処理を終了する（Ｓ４４のＹ）。
【０１２１】
以上述べた本実施の形態によれば、動画像の各フレームを複数の解像度で表した階層データとし、階層データをタイル画像ごとの動画ストリームとすることにより、解像度の変更を含めた表示領域の移動に応じて表示に用いる階層および動画ストリームを切り替える。このとき階層データのうち少なくとも１階層を、それより上の階層の画像からの差分画像とする。これにより、動画像を階層データとしてもデータサイズの増大を抑えることができる。
【０１２２】
さらに本来の画像のデータを保持する元画像階層と、差分画像のデータを保持する差分画像階層の割り当てを、階層データを構成する階層中で切り替える。これにより、動画像の一部のデータのみをハードディスクドライブや画像サーバから伝送する態様においても、伝送されるデータのビットレートを平均化でき、伝送に必要な帯域幅を抑えることができる。結果として、少ない帯域幅でも表示領域移動の応答性に支障のないデータ伝送を実現でき、ギガピクセルオーダーの巨大なサイズの画像であっても少ないメモリ容量で表示が可能である。
【０１２３】
また元画像階層と差分画像階層の割り当てスケジュールや、動画ストリームの構成を、動画像の特性や表示装置の処理性能などに応じて最適化できるため、本実施の形態の動画データは、携帯端末から汎用コンピュータまで、幅広い環境において同様に導入することができる。
【０１２４】
以上、本発明を実施の形態をもとに説明した。上記実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。
【０１２５】
例えば本実施の形態では基本的に、ある階層の画像データを、それより解像度の低い階層の画像を拡大した画像との差分画像として保持した。一方、同じ階層の画像、すなわち単一の解像度の画像を領域分割し、ある領域の画像データを、他の領域の画像との差分画像として保持するようにしてもよい。ここで参照される「他の領域の画像」は元画像でも、さらに別の領域あるいは別の階層の画像を元画像とする差分画像でもよい。この場合も差分画像とする領域、元画像とする領域を時間的に入れ替えることによりビットレートを平均化でき、伝送に必要な帯域幅を抑えることができる。この態様は、単色に近い領域や同じパターンの羅列である領域を含む画像などにおいて特に有効である。
【符号の説明】
【０１２６】
１ 画像処理システム、 １０ 画像処理装置、 １２ 表示装置、 ２０ 入力装置、 ３０ 第０階層、 ３２ 第１階層、 ３４ 第２階層、 ３６ 第３階層、 ４４ 表示処理部、 ５０ ハードディスクドライブ、 ６０ メインメモリ、 ７０ バッファメモリ、 １００ 制御部、 １００ｂ 制御部、 １０２ 入力情報取得部、 １０６ ロード領域決定部、 １０８ ロード部、 １１０ フレーム座標決定部、 １１２ デコード部、 １１４ 表示画像処理部、 １３０ スケジューリング部、 １３２ 階層データ生成部、 １３４ 圧縮データ生成部、 １３６ 動画データ記憶部、 １４０ 圧縮データ記憶部。
【技術分野】
【０００１】
本発明は、動画像のデータを生成する動画データ生成装置、動画像を表示する動画像表示装置、およびそれらで実現される動画データ生成方法、動画像表示方法に関する。
【背景技術】
【０００２】
ゲームプログラムを実行するだけでなく、動画を再生できる家庭用エンタテインメントシステムが提案されている。この家庭用エンタテインメントシステムでは、ＧＰＵがポリゴンを用いた三次元画像を生成する（例えば特許文献１参照）。
【０００３】
動画、静止画に関わらず、画像をいかに効率よく表示するかは常に重要な問題となる。そのため画像データの圧縮技術、伝送技術、画像処理技術、表示技術など多方面で様々な技術が開発、実用化され、高精細な画像を多様な場面で身近に楽しめるようになってきた。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】米国特許第６５６３９９９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
高精細な画像をユーザの要求に従い応答性よく表示させたい、という要求は常に存在する。例えば表示させた全体画像のうちユーザが着目したい領域を拡大して表示させたり別の領域に表示を移動させたり、といった、ユーザの視点に対し自由度のある画像表示を応答性よく実現するためには、サイズの大きな画像データを短時間で処理しつつランダムアクセスをも可能にしなければならず、さらなる技術の進歩が求められている。
【０００６】
本発明はこのような課題に鑑みてなされたものであり、その目的は、データサイズを抑えながら、ユーザによる表示領域に係る操作入力に対し応答性よく高精細な動画像を表示することのできる画像処理技術を提供することにある。
【課題を解決するための手段】
【０００７】
本発明のある態様は動画データ生成装置に関する。この動画データ生成装置は、動画を表示する画像処理装置において要求される解像度に応じて用いる階層を切り替えて表示画像を生成するために、一の動画を構成する画像フレームを異なる解像度で表した複数の画像列を解像度順に階層化してなる階層動画データを生成する動画データ生成装置であって、各画像フレームを段階的に縮小することによって各階層の画像データを画像フレームごとに生成したうえ、少なくとも１つの階層の画像データに、同じ画像フレームを当該階層より低い解像度で表した別階層の画像の拡大画像との差分を表す差分画像のデータを含めて階層動画データを生成する階層データ生成部と、階層データ生成部が生成した階層動画データを圧縮符号化し記憶装置に格納する圧縮データ生成部と、を備えたことを特徴とする。
【０００８】
本発明の別の態様は動画像表示装置に関する。この動画像表示装置は、一の動画を構成する画像フレームを異なる解像度で表した複数の画像列を解像度順に階層化してなる階層動画データを格納した動画データ記憶部と、表示中の動画における表示領域の移動要求信号を逐次取得する入力情報取得部と、入力情報取得部が取得した移動要求信号によって定まる要求解像度に応じて、階層動画データのうち用いる階層を切り替えながら、移動要求信号に応じた表示画像を画像フレームごとに生成する表示画像処理部と、を備え、階層動画データを構成する階層のうち少なくとも１つの階層の画像データは、同じ画像フレームを当該階層より低い解像度で表した別階層の画像の拡大画像との差分を表す差分画像のデータを含み、表示画像処理部は、表示に用いるデータが差分画像のデータであった場合に、別階層の画像を拡大して加算することにより画像を復元することを特徴とする。
【０００９】
本発明のさらに別の態様は動画データ生成方法に関する。この動画データ生成方法は、動画を表示する画像処理装置において要求される解像度に応じて用いる階層を切り替えて表示画像を生成するために、一の動画を構成する画像フレームを異なる解像度で表した複数の画像列を解像度順に階層化してなる階層動画データを生成する動画データ生成方法であって、一の解像度で表された画像フレーム列からなる動画データを記憶装置から読み出すステップと、各画像フレームを段階的に縮小することによって各階層の画像データを画像フレームごとに生成するステップと、少なくとも１つの階層の画像データに、同じ画像フレームを当該階層より低い解像度で表した別階層の画像の拡大画像との差分を表す差分画像のデータを含めて階層動画データを生成するステップと、階層動画データを圧縮符号化し記憶装置に格納するステップと、を含むことを特徴とする。
【００１０】
本発明のさらに別の態様は動画像表示方法に関する。この動画像表示方法は、一の動画を構成する画像フレームを異なる解像度で表した複数の画像列を解像度順に階層化してなる階層動画データの少なくとも一部を記憶装置から読み出し、それを用いて表示装置への動画表示を開始するステップと、表示中の動画における表示領域の移動要求信号を逐次取得するステップと、移動要求信号によって定まる要求解像度に応じて、階層動画データのうち用いる階層を切り替えながら、移動要求信号に応じた表示画像を画像フレームごとに生成するステップと、生成した表示画像を表示装置に表示するステップと、を含み、階層動画データを構成する階層のうち少なくとも１つの階層の画像データは、同じ画像フレームを当該階層より低い解像度で表した別階層の画像の拡大画像との差分を表す差分画像のデータを含み、表示画像を生成するステップは、表示に用いるデータが差分画像のデータであった場合に、別階層の画像を拡大して加算することにより画像を復元するステップを含むことを特徴とする。
【００１１】
本発明のさらに別の態様は動画像ファイルのデータ構造に関する。このデータ構造は、表示装置に表示するための動画像ファイルのデータ構造であって、ユーザによる表示領域に係る操作入力によって定まる解像度の範囲と、一の動画を構成する画像フレームを異なる解像度で表した複数の画像列を解像度順に階層化してなり、解像度の範囲に応じて階層を切り替えて用いられる階層データであり、少なくとも１つの階層の画像のデータが、同じ画像フレームを当該階層より低い解像度で表した別階層の画像の拡大画像との差分を表す差分画像のデータを含み、表示時に当該別階層の画像を拡大して加算することにより画像を復元する階層データと、を対応づけたことを特徴とする。
【００１２】
なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システム、コンピュータプログラムなどの間で変換したものもまた、本発明の態様として有効である。
【発明の効果】
【００１３】
本発明によると、ユーザの表示領域に係る操作入力に対し円滑に応答できる動画像表示を実現できる。
【図面の簡単な説明】
【００１４】
【図１】本実施の形態に適用できる画像処理システムの使用環境を示す図である。
【図２】図１の画像処理システムに適用できる入力装置の外観構成例を示す図である。
【図３】本実施の形態において処理対象とする動画像の階層データを概念的に示す図である。
【図４】本実施の形態において画像処理装置の構成を示す図である。
【図５】本実施の形態において、階層構造を有する動画データを用いて動画を表示する機能を有する制御部の構成を詳細に示す図である。
【図６】本実施の形態において階層構造を有する動画像データのうち一部の階層を差分画像で表した様子を模式的に示す図である。
【図７】本実施の形態において元画像階層と差分画像階層の割り当てを切り替える態様を説明するための図である。
【図８】本実施の形態における元画像階層と差分画像階層の割り当てスケジュール例を示す図である。
【図９】本実施の形態における元画像階層と差分画像階層の割り当てスケジュール例を示す図である。
【図１０】本実施の形態における元画像階層と差分画像階層の割り当てスケジュールの別の例を示す図である。
【図１１】本実施の形態における元画像階層と差分画像階層の割り当てスケジュールの別の例を示す図である。
【図１２】本実施の形態において動画像のフレームの順をそのまま動画ストリームのデータ順とする場合の動画ストリームの構成を示す図である。
【図１３】本実施の形態においてフレーム列から同じ種類のフレームのデータを抽出してまとめて圧縮する場合の動画ストリームの構成を示す図である。
【図１４】本実施の形態において複数の階層の同じ領域を表すタイル画像のデータをまとめて圧縮する場合の動画ストリームの構成を示す図である。
【図１５】本実施の形態において、圧縮動画データ生成機能を有する制御部およびハードディスクドライブの構成を詳細に示す図である。
【図１６】本実施の形態において圧縮動画データを生成する装置が動画像の圧縮データを生成する処理手順を示すフローチャートである。
【図１７】本実施の形態において画像を表示する装置が動画像を表示するための処理手順を示すフローチャートである。
【発明を実施するための形態】
【００１５】
本実施の形態では動画像表示において、ユーザの視点移動要求に対応した表示領域の移動を可能にする。ここでの視点移動は、画像平面へ視点を近づけたり離したりすることを含み、それに応じて動画像は、再生されつつ拡大および縮小されることになる。このような態様において、ユーザの操作に対し応答性よく円滑に、要求された領域の動画を表示していくことは、解像度の可変範囲を広げるほど、また、画像サイズが大きくなるほど、困難になってくる。
【００１６】
そこで本実施の形態では表示対象の動画像のデータを、動画フレームを複数の解像度で表し解像度順に階層化してなる階層構造とする。また各階層におけるフレームを画像平面で空間分割した単位で動画ストリーム形成する。そして表示領域の移動に応じ、表示に使用する階層および動画ストリームを切り替えることで良好な応答性を得る。以後、このような階層構造を有する動画像データを「階層データ」とも呼ぶ。
【００１７】
まず、このような階層データの基本的な表示態様について説明する。図１は、本実施の形態を適用できる画像処理システム１の使用環境を示す。画像処理システム１は、画像処理ソフトウェアを実行する画像処理装置１０と、画像処理装置１０による処理結果を出力する表示装置１２とを備える。表示装置１２は、画像を出力するディスプレイおよび音声を出力するスピーカを有するテレビであってよい。
【００１８】
表示装置１２は、画像処理装置１０に有線ケーブルで接続されてよく、また無線ＬＡＮ（Local Area Network）などにより無線接続されてもよい。画像処理システム１において、画像処理装置１０は、ケーブル１４を介してインターネットなどの外部ネットワークに接続し、動画像データをダウンロードして取得してもよい。なお画像処理装置１０は、無線通信により外部ネットワークに接続してもよい。
【００１９】
画像処理装置１０は、たとえばゲーム装置やパーソナルコンピュータであってよく、画像処理用のアプリケーションプログラムをロードすることで画像処理機能を実現してもよい。画像処理装置１０は、ユーザからの視点移動要求に応じて、表示装置１２のディスプレイに表示する動画像の拡大／縮小処理や、上下左右方向へのスクロール処理などを行う。以後、このような拡大／縮小を含めた表示領域の変更を「表示領域の移動」と表現する。ユーザが、ディスプレイに表示された画像を見ながら入力装置を操作すると、入力装置が、表示領域移動要求信号を画像処理装置１０に送信する。
【００２０】
図２は、入力装置２０の外観構成例を示す。入力装置２０は、ユーザが操作可能な操作手段として、十字キー２１、アナログスティック２７ａ、２７ｂと、４種の操作ボタン２６を備える。４種の操作ボタン２６は、○ボタン２２、×ボタン２３、□ボタン２４および△ボタン２５から構成される。
【００２１】
画像処理システム１において、入力装置２０の操作手段には、表示画像の拡大／縮小要求、および上下左右方向へのスクロール要求を入力するための機能が割り当てられる。たとえば、表示画像の拡大／縮小要求の入力機能は、右側のアナログスティック２７ｂに割り当てられる。ユーザはアナログスティック２７ｂを手前に引くことで、表示画像の縮小要求を入力でき、また手前から押すことで、表示画像の拡大要求を入力できる。
【００２２】
また、スクロール要求の入力機能は、十字キー２１に割り当てられる。ユーザは十字キー２１を押下することで、十字キー２１を押下した方向へのスクロール要求を入力できる。なお、表示領域移動要求の入力機能は別の操作手段に割り当てられてもよく、たとえばアナログスティック２７ａに、スクロール要求の入力機能が割り当てられてもよい。
【００２３】
入力装置２０は、入力された表示領域移動要求の信号を画像処理装置１０に伝送する機能をもち、本実施の形態では画像処理装置１０との間で無線通信可能に構成される。入力装置２０と画像処理装置１０は、Bluetooth（ブルートゥース）（登録商標）プロトコルやIEEE802.11プロトコルなどを用いて無線接続を確立してもよい。なお入力装置２０は、画像処理装置１０とケーブルを介して接続して、表示領域移動要求の信号を画像処理装置１０に伝送してもよい。
【００２４】
また入力装置２０は図２に示したものに限らず、ユーザが操作するキーボード、タッチパネル、ボタン、対象物の像を撮影するカメラ、音声を取得するマイクなど、ユーザの意思や対象物の動きなどを電子的な情報として取得できるインターフェースであればその種類や外観は限定されない。
【００２５】
図３は、本実施の形態において処理対象とする動画像の階層データを概念的に示している。階層データは、図の上から下へ向かうｚ軸方向に、第０階層３０、第１階層３２、第２階層３４および第３階層３６からなる階層構造を有する。なお同図においては４階層のみ示しているが、階層数はこれに限定されない。上述のとおり各階層は１つの動画像を異なる解像度で表した動画データ、すなわち複数の画像フレームを時系列順に並べたデータで構成される。同図においては各階層を４枚の画像フレームで象徴的に表しているが画像フレームの数は動画像の再生時間やフレームレートによって当然異なる。
【００２６】
階層データは例えば４分木の階層構造を有し、各階層を構成する画像フレームを同一サイズを有する「タイル画像」に分割した場合、第０階層３０は１個のタイル画像、第１階層３２は２×２個のタイル画像、第２階層３４は４×４個のタイル画像、第３階層は８×８個のタイル画像、などとなる。このとき第Ｎ階層の解像度（Ｎは０以上の整数）は、画像平面上で左右（ｘ軸）方向、上下（ｙ軸）方向ともに、第（Ｎ＋１）階層の解像度の１／２となる。階層データは、最高解像度をもつ第３階層３６の動画像をもとに、画像フレームを複数段階に縮小するなどして生成することができる。
【００２７】
動画表示時の視点座標およびそれに対応する表示領域は、図３に示すように、画像の左右方向を表すｘ軸、上下方向を表すｙ軸、解像度を表すｚ軸からなる仮想的な３次元空間で表すことができる。なお上述のとおり本実施の形態では複数の画像フレームが連なる動画像データを階層として準備するため、実際に表示される画像は再生が開始されてからの時間にも依存し、同図では階層ごとに時間軸ｔを表している。
【００２８】
画像処理装置１０は、基本的には時間軸ｔに沿っていずれかの階層の画像フレームを所定のフレームレートで順次描画していく。例えば第０階層３０の解像度の動画像を基準画像として表示する。その過程で入力装置２０から表示領域移動要求信号が供給されたら、当該信号から表示画像の変更量を導出し、その変更量を用いて次のフレームの、仮想空間における４隅の座標（フレーム座標）を導出する。そして当該フレーム座標に対応する画像フレームを描画する。この際、ｚ軸に対し階層の切り替え境界を設けておくことにより、フレーム座標のｚの値に応じて適宜、フレーム描画に用いる動画データの階層を切り替える。
【００２９】
なお、仮想空間におけるフレーム座標の代わりに、画像処理装置１０は、階層を特定する情報と、その階層におけるテクスチャ座標（ＵＶ座標）を導出してもよい。以下、階層特定情報およびテクスチャ座標の組み合わせも、フレーム座標と呼ぶ。
【００３０】
画像処理装置１０において、階層データは、タイル画像の単位で圧縮された状態で保持されている。そしてフレーム描画に必要なデータが読み出されてデコードされる。なお図３は階層データを概念的に表したものであり、データの格納順やフォーマットを限定するものではない。例えば階層データの仮想空間における位置およびフレーム番号と実際の動画データの格納領域とが対応づけてあれば、動画データは任意の領域に格納することができる。
【００３１】
図４は画像処理装置１０の構成を示している。画像処理装置１０は、無線インタフェース４０、スイッチ４２、表示処理部４４、ハードディスクドライブ５０、記録媒体装着部５２、ディスクドライブ５４、メインメモリ６０、バッファメモリ７０および制御部１００を有して構成される。表示処理部４４は、表示装置１２のディスプレイに表示するデータをバッファするフレームメモリを有する。
【００３２】
スイッチ４２は、イーサネットスイッチ（イーサネットは登録商標）であって、外部の機器と有線または無線で接続して、データの送受信を行うデバイスである。スイッチ４２は、ケーブル１４を介して外部ネットワークに接続し、画像サーバから動画データを受信できるように構成される。またスイッチ４２は無線インタフェース４０に接続し、無線インタフェース４０は、所定の無線通信プロトコルで入力装置２０と接続する。入力装置２０においてユーザから入力された表示領域移動要求の信号は、無線インタフェース４０、スイッチ４２を経由して、制御部１００に供給される。
【００３３】
ハードディスクドライブ５０は、データを記憶する記憶装置として機能する。動画データはハードディスクドライブ５０に格納されてもよい。記録媒体装着部５２は、メモリカードなどのリムーバブル記録媒体が装着されると、リムーバブル記録媒体からデータを読み出す。ディスクドライブ５４は、読出専用のＲＯＭディスクが装着されると、ＲＯＭディスクを駆動して認識し、データを読み出す。ＲＯＭディスクは、光ディスクや光磁気ディスクなどであってよい。動画データはこれらの記録媒体に格納されていてもよい。
【００３４】
制御部１００は、マルチコアＣＰＵを備え、１つのＣＰＵの中に１つの汎用的なプロセッサコアと、複数のシンプルなプロセッサコアを有する。汎用プロセッサコアはＰＰＵ（Power Processing Unit）と呼ばれ、残りのプロセッサコアはＳＰＵ（Synergistic-Processing Unit）と呼ばれる。制御部１００はさらにＧＰＵ（Graphics Processing Unit）を備えていてもよい。
【００３５】
制御部１００は、メインメモリ６０およびバッファメモリ７０に接続するメモリコントローラを備える。ＰＰＵはレジスタを有し、演算実行主体としてメインプロセッサを備えて、実行するアプリケーションにおける基本処理単位としてのタスクを各ＳＰＵに効率的に割り当てる。なお、ＰＰＵ自身がタスクを実行してもよい。ＳＰＵはレジスタを有し、演算実行主体としてのサブプロセッサとローカルな記憶領域としてのローカルメモリを備える。ローカルメモリは、バッファメモリ７０として使用されてもよい。
【００３６】
メインメモリ６０およびバッファメモリ７０は記憶装置であり、ＲＡＭ（ランダムアクセスメモリ）として構成される。ＳＰＵは制御ユニットとして専用のＤＭＡ（Direct Memory Access）コントローラをもち、メインメモリ６０とバッファメモリ７０の間のデータ転送を高速に行うことができ、また表示処理部４４におけるフレームメモリとバッファメモリ７０の間で高速なデータ転送を実現できる。本実施の形態の制御部１００は、複数のＳＰＵを並列動作させることで、高速な画像処理機能を実現する。表示処理部４４は、表示装置１２に接続されて、ユーザからの要求に応じた画像処理結果を出力する。
【００３７】
画像処理装置１０は、表示画像の拡大／縮小処理やスクロール処理をスムーズに行うために、現在表示されているフレームに対し空間的、時間的に近接した動画データを逐次、ハードディスクドライブ５０からメインメモリ６０にロードしておく。また、メインメモリ６０にロードした動画データの一部をデコードしてバッファメモリ７０に格納しておく。これにより、動画再生を進捗させつつ表示領域を円滑に移動させることが可能となる。このときロードやデコードの対象となるデータは、それまでの表示領域の移動方向に基づき、以後、必要となる領域を先読みすることによって決定してもよい。
【００３８】
図３に示す階層データにおいて、ｚ軸方向における位置は解像度を示し、第０階層３０に近い位置ほど解像度が低く、第３階層３６に近い位置ほど解像度は高い。ディスプレイに表示される画像の大きさに注目すると、ｚ軸方向における位置は、縮尺率に対応し、第３階層３６の表示画像の縮尺率を１とすると、第２階層３４における縮尺率は１／４、第１階層３２における縮尺率は１／１６、第０階層３０における縮尺率は１／６４となる。
【００３９】
したがってｚ軸方向において、表示画像が第０階層３０側から第３階層３６側へ向かう方向に変化する場合、表示画像は拡大していき、第３階層３６側から第０階層３０側へ向かう方向に変化する場合は、表示画像は縮小していく。例えば表示画像の縮尺率が第２階層３４の近傍にある場合、表示画像は、第２階層３４の動画データを用いて作成される。
【００４０】
具体的には上述のとおり、各階層の中間の縮尺率などにそれぞれ切り替え境界を設ける。例えば表示する画像の縮尺率が、第１階層３２と第２階層３４の間の切り替え境界と、第２階層３４と第３階層３６の間の切り替え境界の間にある場合に、第２階層３４の画像データを利用してフレームを描画する。このとき、第１階層３２と第２階層３４の間の切り替え境界と、第２階層３４の間の縮尺率では、第２階層３４の画像フレームを縮尺して表示する。第２階層３４と第３階層３６の間の切り替え境界と、第２階層３４の間の縮尺率では、第２階層３４の画像フレームを拡大して表示する。
【００４１】
一方、表示領域移動要求信号から予測される将来必要な領域を特定してデコードする場合は、各階層の縮尺率などを先読み境界として設定しておく。例えば、表示領域移動要求信号による要求縮尺率が第２階層３４の縮尺率をまたいだときなどに、縮小方向にある第１階層３２の動画データの少なくとも一部をハードディスクドライブ５０またはメインメモリ６０から先読みしてデコードし、バッファメモリ７０に書き込む。
【００４２】
画像の上下左右方向の先読み処理についても同様である。具体的には、バッファメモリ７０に展開されている画像データに先読み境界を設定しておき、画像変更要求信号による表示位置が先読み境界をまたいだときに、先読み処理が開始されるようにする。このようにすることで、ユーザの表示領域移動の要求に応じ、円滑に解像度および表示位置を変化させつつ動画再生も進んでいく態様を実現できる。
【００４３】
図５は本実施の形態において、階層構造を有する動画データを用いて動画を表示する機能を有する制御部１００ａの構成を詳細に示している。制御部１００ａは、入力装置２０からユーザが入力した情報を取得する入力情報取得部１０２、新たに表示すべき領域のフレーム座標を決定するフレーム座標決定部１１０、新たにロードすべき領域の動画データを決定するロード領域決定部１０６、必要な領域の動画データをハードディスクドライブ５０からロードするロード部１０８を含む。制御部１００ａはさらに、動画データをデコードするデコード部１１２、および画像フレームを描画する表示画像処理部１１４を含む。
【００４４】
図５および後述する図１５において、さまざまな処理を行う機能ブロックとして記載される各要素は、ハードウェア的には、ＣＰＵ（Central Processing Unit）、メモリ、その他のＬＳＩで構成することができ、ソフトウェア的には、メモリにロードされたプログラムなどによって実現される。既述したように、制御部１００は１つのＰＰＵと複数のＳＰＵとを有し、ＰＰＵおよびＳＰＵがそれぞれ単独または協同して、各機能ブロックを構成できる。したがって、これらの機能ブロックがハードウェアのみ、ソフトウェアのみ、またはそれらの組合せによっていろいろな形で実現できることは当業者には理解されるところであり、いずれかに限定されるものではない。
【００４５】
入力情報取得部１０２は、ユーザが入力装置２０に対して入力した、動画再生の開始／終了、表示領域の移動などの要求内容を取得し、フレーム座標決定部１１０に通知する。フレーム座標決定部１１０は、現在の表示領域のフレーム座標とユーザが入力した表示領域移動要求信号に従い、後続のフレーム表示時刻で新たに表示すべき領域のフレーム座標を決定し、ロード領域決定部１０６、デコード部１１２、表示画像処理部１１４に通知する。
【００４６】
ロード領域決定部１０６は、フレーム座標決定部１１０から通知されたフレーム座標に基づき、ハードディスクドライブ５０から新たにロードすべき動画データを特定し、ロード部１０８にロード要求を発行する。本実施の形態では上述のとおり、各階層のフレーム列を、タイル画像単位で独立した動画ストリームとする。結果として基本的に、階層ごとにタイル画像の個数分の動画ストリームが形成される。あるいは後述するように、複数階層の同じ領域を示すデータや複数のタイル画像を１つの動画ストリームに混在させてもよい。
【００４７】
動画データには、タイル画像の階層および位置を表す識別番号と、動画ストリームデータ本体の識別番号とを対応づけた情報を付加しておき、動画再生開始時にメインメモリ６０にロードしておく。ロード領域決定部１０６はフレーム座標に基づきその情報を参照し、必要な領域の動画ストリームの識別番号を取得する。そして該当する動画ストリームのデータがロード済みでなければ、ロード部１０８にロード要求を発行する。またフレーム座標が変化しない場合であっても、動画の進捗に応じて逐次、必要な動画ストリームのデータがロードされるように要求する。動画ストリームを時間方向に分割しておき、分割後の単位でロードするようにしてもよい。
【００４８】
ロード領域決定部１０６は、その時点のフレーム描画に必要な動画ストリームの他、以後必要と予測される動画ストリームを先に述べた先読み処理などにより特定し、ロード部１０８にロード要求を発行してよい。ロード部１０８は、ロード領域決定部１０６からの要求に従い、ハードディスクドライブ５０からの動画ストリームのロード処理を行う。具体的にはロードすべき動画ストリームの識別番号からハードディスクドライブ５０における格納領域を特定し、当該格納領域から読み出したデータをメインメモリ６０に格納する。
【００４９】
デコード部１１２は各時刻のフレーム座標に基づき、メインメモリ６０から必要な動画ストリームのデータを読み出しデコードし、バッファメモリ７０に逐次格納していく。デコード対象は動画ストリーム単位でよく、フレーム座標決定部１１０が決定したフレーム座標の領域が複数の動画ストリームにまたがる場合は当該複数の動画ストリームをデコードしていく。
【００５０】
本実施の形態では後述するように、階層データのうち一部の階層のデータを、それより上層の階層の拡大画像との差分値を表す差分画像で保持することにより、階層データのデータサイズを小さくする。そのためデコード部１１２はさらに、デコードした画像が差分画像であった場合、差分をとるために用いた上層の階層の画像をデコードし、拡大したうえデコード後の差分画像に加算することにより本来の画像データに戻してバッファメモリ７０に格納する。表示画像処理部１１４は、各時刻のフレーム座標に基づきバッファメモリ７０から対応するデータを読み出し、表示処理部４４のフレームメモリに描画していく。
【００５１】
一つの動画再生中に拡大縮小を含め表示領域の移動を許す態様においては、全ての動画ストリームが時間軸を共有し、利用される動画ストリームが切り替えられたか否かに関わらずシームレスにフレーム描画が進捗することが望ましい。そこで上述のとおり、一度の表示に必要な領域やその後に必要と予測される動画ストリームを優先的にロード、デコードし、フレーム描画までに必要な処理の効率を向上させる。また後述するように動画ストリームの構成を工夫することにより、どのタイミングで表示に用いる動画ストリームが切り替えられても、少ないレイテンシでフレーム表示が開始されるようにする。
【００５２】
以上述べた構成とすることで、１フレームがギガピクセルのオーダーを有するような大きなサイズの動画像であっても、全体を見渡したり一部の領域を拡大したり、といったことを自由かつ円滑に行える。さらに動画像を階層構造で準備しておくことで、ディスプレイの解像度や表示サイズ、装置の処理性能などに応じて適切な階層を選択することにより、表示装置によらず同様の外観で動画像を表示できる。
【００５３】
ここで動画像の階層データに含まれる異なる階層の同時刻の画像は、解像度が異なるもののその内容は同じであるため、階層データは常に階層間に冗長性をもつという性質がある。そこで本実施の形態では上述のように、一部の階層のデータを、それより高階層の画像を拡大した画像との差分画像のデータとする。上記階層データの性質に鑑みれば、階層間で差分をとることにより、データサイズを著しく軽減させることができる。
【００５４】
図６は階層構造を有する動画像データのうち一部の階層を差分画像で表した様子を模式的に示している。同図の例では、第０階層３０および第２階層３４が本来の画像データを保持し、第１階層３２と第３階層３６が差分画像のデータを保持しており、本来の画像データを白抜き、差分画像のデータを網掛けで表している。以後の説明では、本来の画像データを保持する階層を「元画像階層」、差分画像のデータを保持する階層を「差分画像階層」と呼ぶ。
【００５５】
ここで第３階層３６の解像度で領域１２０を表示する場合は、第３階層３６が保持する領域１２０の差分画像に、第２階層３４が保持する、対応する領域１２２の画像を第３階層３６の解像度まで拡大して各画素値を加算する。同図の場合、第３階層３６の解像度は第２階層３４の２×２倍であるため、領域１２２の画像を２×２倍する。拡大にはニアレストネイバー法、バイリニア法、バイキュービック法など一般的な補間手法を採用してよい。
【００５６】
このようなデータ構成とすることにより全体的なデータサイズを軽減できるほか、表示に至るまでにデータが通過する伝送経路、すなわち画像処理装置１０における内部バスや、画像サーバと接続するネットワークなどにおいて必要な帯域幅を抑えることができる。これは、表示したい解像度の本来の画像のデータサイズと比較し、当該解像度の差分画像のデータとそれより解像度の低い階層の本来の画像のデータとを足し合わせたデータサイズの方が小さくなるためである。
【００５７】
図６の例では、元画像階層と差分画像階層の割り当てを固定としていた。この場合、上記のように差分画像階層の解像度で画像を表示するときはビットレートが小さくなるため、データの伝送に要する帯域幅を節約できる。一方、元画像階層の解像度で画像を表示している期間においては、差分画像階層を設けない場合と同じビットレートとなり、帯域幅削減の効果が得られない。どの階層を用いた解像度でも変わりなく円滑な表示を行うためには、最大ビットレートに合わせた帯域幅を確保する必要があるため、このような態様では確保すべき帯域幅を軽減することにはつながりにくい。
【００５８】
そこで、元画像階層と差分画像階層の割り当てを所定の規則で切り替えることによりビットレートを平均化し、切り替え期間より長いスパンでみたときの伝送データサイズを抑えて転送に必要な帯域幅を軽減させる。図７は元画像階層と差分画像階層の割り当てを切り替える態様を説明するための図である。同図において横軸が動画像上の時間軸を示しており、時刻ｔ１、ｔ２、ｔ３のときの各フレームのみからなる階層データの構成をそれぞれ示している。
【００５９】
まず時刻ｔ１のフレームを表す階層データでは、第０階層３０および第２階層３４を元画像階層とし、第１階層３２および第３階層３６を差分画像階層としている。この場合、第１階層３２の解像度の画像は、第１階層３２の差分画像と第０階層３０の本来の画像とを加算することによって得られる。また第３階層３６の解像度の画像は、第３階層３６の差分画像と第２階層３４の本来の画像とを加算することによって得られる。
【００６０】
時刻ｔ１より後の時刻ｔ２のフレームを表す階層データでは、第０階層３０、第１階層３２、および第３階層３６を元画像階層とし、第２階層３４を差分画像階層としている。この場合、第２階層３４の解像度の画像は、第２階層３４の差分画像と第１階層３２の本来の画像とを加算することによって得られる。さらに後の時刻ｔ３のフレームを表す階層データは、時刻ｔ１のときと同じ割り当てとなっている。
【００６１】
例えば時刻ｔ１のフレームのうち、第３階層３６の解像度で領域１２４ａを表示する場合、領域１２４ａの差分画像のデータと、第２階層３４の本来の画像のうち対応する領域１２６ａの画像データとを必要とする。時間の経過とともにフレームが進むと同時に表示領域が移動し、時刻ｔ２のフレームのうち、第３階層３６の解像度で領域１２４ｂを表示するとする。この場合、第３階層３６は本来の画像のデータであるから、当該領域１２４ｂのデータのみを必要とする。さらに時間が経過し、時刻ｔ３のフレームのうち、第３階層３６の解像度で領域１２４ｃを表示する場合、領域１２４ｃの差分画像のデータと、第２階層３４の本来の画像のうち対応する領域１２６ｂの画像データとを必要とする。
【００６２】
結果として同図下端に示すように、時刻ｔ１、ｔ２、ｔ３のフレームのうち、第３階層３６の解像度で領域１２４ａ、１２４ｂ、１２４ｃをそれぞれ表示させるためには、第３階層３６の差分画像と第２階層３４の本来の画像のセットからなるデータ１２８ａ、第３階層３６の本来の画像のデータ１２８ｂ、第３階層３６の差分画像と第２階層３４の本来の画像のセットからなるデータ１２８ｃを順次読み出すことになる。
【００６３】
このように元画像階層と差分画像階層を時間的に切り替える構成とすることで、本来の画像のデータ１２８ｂのようなサイズの大きいデータが継続して伝送される確率を低くし、単位時間あたりに伝送すべきデータのサイズ、すなわちビットレートを抑えることができる。なお同図では理解を容易にするため、表示対象を第３階層３６の解像度に固定したが、表示対象の階層を途中で変化させても同様の効果が得られる。
【００６４】
図８から図１１は、元画像階層と差分画像階層の割り当てスケジュール例を示している。これらの図において横軸は時間経過を表しており、第０階層、第１階層、第２階層、・・・をそれぞれ「Ｌｖ０」、「Ｌｖ１」、「Ｌｖ２」、・・・とする階層データにおける割り当ての時間変化を、元画像階層の期間を白抜き、差分画像階層の期間を網掛けの矩形で表している。１つの矩形で表される期間には１つ以上のフレームが表示される。
【００６５】
図８は階層データ全体に渡り、割り当てを切り替えるタイミングを共有する場合を示している。なお第０階層Ｌｖ０はそれより上の階層がないため、常時、元画像階層１５２とする。以後の例も同様である。図８の例では、時刻Ｔ０、Ｔ１、Ｔ２、Ｔ３、Ｔ４、Ｔ５、Ｔ６のタイミングで、１つ以上の階層において切り替えがなされている。すなわち時刻Ｔ０からＴ１の期間において、第０階層Ｌｖ０、第２階層Ｌｖ２が元画像階層１５２、１５６、第１階層Ｌｖ１、第３階層Ｌｖ３、第４階層Ｌｖ４が差分画像階層１５４、１６０、１６２であったものを、時刻Ｔ１において、第２階層Ｌｖ２を差分画像階層１６４へ、第３階層Ｌｖ３を元画像階層１６６へ切り替えている。
【００６６】
時刻Ｔ２では第１階層Ｌｖ１および第４階層Ｌｖ４を元画像階層１６８、１７０へ、第３階層Ｌｖ３を差分画像階層１７２へ切り替えている。時刻Ｔ３では第１階層Ｌｖ１および第４階層Ｌｖ４を差分画像１７４、１７６へ、第２階層Ｌｖ２を元画像階層１７８へ切り替えている。このような切り替えを以降の時間でも繰り返す。すると第０階層Ｌｖ０を別にすると、元画像階層が各時刻で第１階層Ｌｖ１→第２階層Ｌｖ２→第３階層Ｌｖ３→第４階層Ｌｖ４、と切り替わり、それ以外の階層は差分画像階層となる。
【００６７】
なお図８で示した態様は、元画像階層となる階層と差分画像階層となる階層の組み合わせが全階層に共通のタイミングで変化すれば、同時期に元画像階層となる階層数、差分画像となる階層数、およびそれらの配置は、同図に示したものでなくてもよい。図８の例では、どの期間においても差分画像階層が上下に連続することになる。例えば時刻Ｔ２からＴ３の期間では、上下に連続した階層、第２階層Ｌｖ２および第３階層Ｌｖ３が差分画像階層１７９、１７２である。
【００６８】
このように連続する２つ以上の階層が同時期に差分画像階層となるような割り当てとする場合、常にすぐ上の階層からの差分をとって差分画像としてもよいし、元画像階層まで遡り、本来の画像との差分をとって差分画像としてもよい。前者の場合、すぐ上の階層が元画像階層でない限り、差分画像の差分画像を保持することになるため、元画像階層から階層が下になるほど、画像を元に戻すために必要な階層数および加算処理が増えることになるが、データサイズは小さくなる。
【００６９】
後者の場合、画像を元に戻すための階層数および加算処理は一定であるが、元画像階層から階層が下になるほど差分値が大きくなるため、前者と比較しデータサイズが大きくなる。どちらの差分画像とするかは、動画像の内容、表示装置の処理能力、使用できる伝送帯域などに鑑み選択する。また、連続した階層に差分画像階層を割り当てないようにスケジュールを決定してもよい。
【００７０】
図８における切り替えの時刻Ｔ０〜Ｔ６は等間隔としてもよい。この場合、所定のフレーム数ごと、例えば８フレームごとに、少なくともいずれかの階層において切り替えがなされることになる。この場合、差分画像階層をフレーム単位であらかじめ確定できるため、動画表示時に、描画に必要な階層の特定や加算処理の要、不要などを容易に決定でき、制御を単純化できる。
【００７１】
あるいは切り替え時刻の少なくともいずれかを、動画像の特性によって決定してもよい。例えばシーンが切り替わるタイミングを動画データに埋め込まれたシーンチェンジ情報を参照して特定し、その前後のフレーム間で切り替える。シーンチェンジ情報に代わり、差分の大きいフレーム間で切り替えてもよい。後述するように、フレーム間予測符号化など圧縮符号化によってフレーム間に依存性をもたせる場合には、時間方向の冗長性が低いフレーム間で切り替えると都合がよい。
【００７２】
切り替えのタイミングはこれらの他、データサイズの積算量によって決定してもよい。すなわち、第０階層Ｌｖ０以外の階層のうちのいずれかの階層で、切り替え後からのフレームのデータサイズの積算量が所定のしきい値に達したときを次の切り替え時刻とする。画像の大きさは階層によって異なるが、実際に伝送されるデータは階層によらず同程度の数のタイル画像であるため、ここで積算量を算出するデータサイズはタイル画像の面積など、単位面積当たりに換算した値とする。この場合、差分画像はそのデータサイズが小さいため、切り替え時刻は実質的に、元画像階層が保持する本来の画像のデータサイズで決定する。このように実際のデータサイズに基づき切り替え時刻を決定することにより、ビットレートの高いデータの伝送を効率的に分散させることがでる。
【００７３】
つまりこのように切り替え時刻を決定するということは、本来の画像のビットレートが高いほど切り替え頻度を高くしていることに他ならない。ビットレートの高いデータを継続して伝送させると帯域に余裕のない状態が続くため、結果として常時円滑な伝送を行うには広い帯域幅が必要となる。上記のとおりビットレートの高い画像ほど切り替えを早くすることにより、帯域に定常的に余裕分を作っておき、当該余裕分を利用してビットレートの高いデータを送信するようにする。
【００７４】
またビットレートがそれほど高くなく、本来の画像のデータを伝送する場合でも帯域がすぐに逼迫することのない画像は、切り替え頻度を小さくすることにより画像表示時の処理内容の切り替え頻度を小さくし、制御を容易にする。このようにすることで、より直接的かつ効率的に、伝送に必要な帯域幅を減らすことができる。
【００７５】
図９は階層データの階層を区分けしてなるグループごとに切り替えのタイミングを共有する場合を示している。同図の例では、第１階層Ｌｖ１と第２階層Ｌｖ２、第３階層Ｌｖ３と第４階層Ｌｖ４、第５階層Ｌｖ５と第６階層Ｌｖ６というように、上下に位置する２つの階層をそれぞれ１グループ（グループ１８０ａ、１８０ｂ、１８０ｃ）とし、グループ内で切り替えのタイミングを共有している。そしてグループに属する２つの階層に対し、元画像階層と差分画像階層を交互に割り当てる。
【００７６】
例えばグループ１８０ａにおいて、時刻Ｔ０からＴ１の間は、第１階層Ｌｖ１が元画像階層１８２、第２階層Ｌｖ２が差分画像階層１８４、時刻Ｔ１からＴ２の間は逆に、第１階層Ｌｖ１が差分画像階層１８６、第２階層Ｌｖ２が元画像階層１８８、さらに時刻Ｔ２からＴ３の間は第１階層Ｌｖ１が元画像階層１９０、第２階層Ｌｖ２が差分画像階層１９２、・・・というように各切り替え時刻で元画像階層と差分画像階層を入れ替える。その他のグループ１８０ｂ、１８０ｃも同様であるが、切り替え時刻はグループごとに異なってよい。このようにするとどの期間においても、差分画像を元の画像に戻すために必要な元画像階層は、必ず直上のグループに存在することになる。
【００７７】
同図の例では、２階層を１グループとしているため、差分画像を元の画像に戻すために必要な元画像階層は、最大でも２つ上の階層までとなる。このように差分画像階層から元画像階層までの階層数を制限することにより、元の画像に戻すために必要なデータへのアクセス処理や、画像の加算処理の負荷を抑えることができる。
【００７８】
各グループにおける切り替え時刻は、図８で説明した規則のいずれかをグループごとに選択して決定してよい。例えばデータサイズの積算量によって、グループごとに切り替え時刻を決定する。この場合、単位面積当たりのデータサイズは画像が縮小しているほど大きい傾向を有するため、階層が上のグループほどデータサイズの積算量が早くしきい値に達する。
【００７９】
そのため図９に示すように、第１階層Ｌｖ１と第２階層Ｌｖ２のグループ１８０ａの切り替え頻度が最も高く、続いて第３階層Ｌｖ３と第４階層Ｌｖ４のグループ１８０ｂ、第５階層Ｌｖ５と第６階層Ｌｖ６のグループ１８０ｃ、というように切り替え頻度が低くなる。このように階層ごとの特質を加味してそれぞれの切り替え時刻を細かく設定することにより、図８で説明したのと同様の原理により、必要な帯域幅をより効率的に減らすことができる。
【００８０】
なおデータサイズの積算量に対するしきい値をグループごとに変化させてもよい。例えば画像の内容によって、圧縮符号化時に特定の階層のビットレートを他より高く設定する場合がある。特定の階層とは、他の階層より高い頻度で表示に用いられると予測される階層や、ユーザが指定した階層などである。この場合、当該階層を含むグループのしきい値を、設定するビットレートに応じて小さく設定すれば、実際に伝送されるデータのビットレートに即して切り替え頻度を調整できる。
【００８１】
図１０は階層データの階層を区分けしてなるグループごとに切り替えのタイミングを共有する場合の別の例を示している。同図の例では、第１階層Ｌｖ１と第２階層Ｌｖ２、第３階層Ｌｖ３と第４階層Ｌｖ４と第５階層Ｌｖ５、第６階層Ｌｖ６と第７階層Ｌｖ７をそれぞれグループとしており（それぞれグループ１９４ａ、１９４ｂ、および１９４ｃ）、グループに属する階層数が異なる。この場合も図９で示したのと同様、グループごとに切り替え時刻を決定する。
【００８２】
またグループに属する階層が３つ以上であっても、差分画像階層（例えば差分画像階層１９８）から元画像階層（例えば元画像階層１９６、１９９）までの階層数が制限できるように、割り当てスケジュールを工夫する。具体的には、まずグループ内で、同時期に連続して差分画像階層となる階層の数を最大２Ｎに制限する。さらに、各グループにおいて、グループの境界から数えて同時期に連続して差分画像階層となる階層の数が最大でもＮ個となるように制限すれば、当該境界を挟む２つのグループを考慮しても、同時期に連続して差分画像階層となる階層の数は最大２Ｎ個となる。
【００８３】
例えば図１０の場合、グループ内で、連続する複数の階層が同時期に差分画像階層となることはない。また、グループの境界から数えて連続する複数の階層が同時期に差分画像階層となることもない。つまりＮ＝１であり、これにより階層データ全体で見ても、連続して差分画像階層となる階層の数は最大で２Ｎ＝２となる。差分画像階層から元画像階層までの階層数の最大値２Ｎは、上述のとおり表示装置における処理の負荷に影響する。したがって表示装置の処理性能に応じて２Ｎを決定し、それに従い割り当てのスケジューリングを行う。
【００８４】
図１１は図９、図１０の態様において生成した、複数の階層ごとのグループを、さらに画像上の領域ごとにグループ化した場合を示している。すなわち複数の階層の画像を画像上の同じ位置で分割し、同じ部分を表す領域ごとにグループを形成する。同図の例では、第３階層Ｌｖ３の画像を領域Ｌｖ３＿０、Ｌｖ３＿１、・・・などに分割し、第４階層Ｌｖ４の画像を領域Ｌｖ４＿０、Ｌｖ４＿１、・・・などに分割している。
【００８５】
そして、画像上の同じ部分を表す第３階層Ｌｖ３の領域Ｌｖ３＿０と第４階層Ｌｖ４の領域Ｌｖ４＿０を第０領域、第３階層Ｌｖ３の領域Ｌｖ３＿１と第４階層Ｌｖ４の領域Ｌｖ４＿１を第１領域とすると、第３階層Ｌｖ３および第４階層Ｌｖ４のうちの第０領域、第１領域といった領域ごとにグループを形成し（グループ２００ｂ、２００ｃ）、グループ内で切り替えのタイミングを共有する。
【００８６】
このように複数の階層を領域ごとにまとめたグループを画像全体について形成する。同図では分割対象として第３階層Ｌｖ３および第４階層Ｌｖ４のみ示しているが、１つのグループに属する階層は３つ以上でもよい。各グループにおける切り替え時刻は、図９と同様、規則をグループごとに選択して決定してよい。そしてグループごとに決定した切り替え時刻において、グループ内の少なくともいずれかの階層の領域を、元画像階層／差分画像階層で切り替える（例えば元画像階層２０２から差分画像階層２０４へ切り替える）。
【００８７】
例えばデータサイズの積算量によって、グループごとに切り替え時刻を決定する。一つの画像であっても領域によって画像の複雑度が異なるとそのビットレートが異なる。例えば単色に近い青空の領域と車が行き交う道路の領域とではビットレートにも差が生じる。上述のとおりビットレートの高い領域についてはより高頻度に割り当てを切り替えることが望ましいため、結果的に、領域によって適切な切り替え頻度が異なることになる。そこで領域ごとに切り替え時刻を決定することにより、より細かいレベルでの調整が可能となり、画像の内容に即した条件で効率的に使用帯域幅を節約できる。
【００８８】
なお図９で説明したのと同様、データサイズの積算量に対して設定するしきい値はグループごとに異ならせてもよい。ビットレートが領域によって異なるためそれを考慮して切り替え時刻を調整する、という立場から、領域ごとにグループ分けを行う階層は、タイル画像によってビットレートに差が生じやすい、比較的高解像度の階層とする。すなわち第０階層Ｌｖ０、第１階層Ｌｖ１、第２階層Ｌｖ２など低解像度の画像については図１１で示すように領域分割を行わずに１つのグループ２００ａを形成してよい。この場合、第３階層Ｌｖ３や第４階層Ｌｖ４において個別のグループ２００ｂ、２００ｃとした第０領域や第１領域は、第２階層Ｌｖ２において１つのグループに統合される。あるいは画像の内容によっては、第０階層Ｌｖ０を除く全ての階層について領域ごとにグループ分けを行ってもよい。
【００８９】
この態様においても、図１０で説明したように、同時期に連続して差分画像階層となる階層数の許容範囲２Ｎを表示装置の処理性能によって決定する。そして、上記のように分割した領域が統合される境界など、階層構造において上下の関係を有するグループの境界から数えて同時期に連続して差分画像階層となる階層の数が最大でもＮ個となるように割り当てスケジュールを調整する。
【００９０】
本実施の形態では上述の通りタイル画像単位など領域単位で圧縮符号化し、独立した動画ストリームを生成する。表示時には、表示領域を含む動画ストリームのみを個別にデコードして表示画像としてつなげることにより動画像の各フレームを描画する。動画ストリームの時間方向のランダムアクセスを可能にする、すなわち、どの動画ストリームに対しても任意のタイミングで再生を開始できるようにすることにより、動画像に対し表示領域を任意に移動させることができる。
【００９１】
このような態様において上述のように、１つの動画ストリームに本来の画像データと差分画像データを混在させる場合、その切り替えタイミングを考慮した動画ストリームの構成とすることにより、表示時の処理効率を向上させることができる。図１２から図１４は、動画ストリームの構成例を示している。図１２は動画像のフレームの順をそのまま動画ストリームのデータ順とする場合を示している。同図において上段の矩形が圧縮符号化前のフレーム列における、あるタイル画像の領域を取り出してなるタイル画像列を示しており、横軸が動画像上の時間軸である。下段が圧縮符号化後の動画ストリームであり左端がストリームの先頭となる。圧縮符号化前後において、本来の画像データに対応する部分を白抜きで、差分画像データに対応する部分を網掛けで示している。
【００９２】
なお以下の説明において、動画像上の時系列順に並んだ画像という意味が理解しやすいように、フレームから取り出した「タイル画像」も「フレーム」と呼ぶ場合がある。同図の場合、まず圧縮符号化前において、時間方向に本来の画像のフレーム列ｉ１、差分画像のフレーム列ｄ１、本来の画像のフレーム列ｉ２、差分画像のフレーム列ｄ２、・・・が交互に並んでいる。そしてそれぞれを圧縮符号化した圧縮データｉ’１、ｄ’１、ｉ’２、ｄ’２、・・・を、そのままの順序で動画ストリームとする。フレームごとに独立して圧縮符号化を行う場合、すなわち全てのフレームをイントラフレームとする場合は、圧縮符号化後のデータを、フレーム順に単に連結していくのみでよい。
【００９３】
一方、フレーム間予測符号化など画像の時間方向の冗長性を利用して圧縮率を上げる場合は、本来の画像と差分画像という、種類の異なるフレーム列をまたいでデータの依存性が及ばないようにすることが望ましい。すなわち差分画像の圧縮データｄ’１をデコードするために、その前にある、本来の画像の圧縮データｉ’１を用いなくてすむようにする。同様に、本来の画像の圧縮データｉ’２をデコードするために、その前にある、差分画像の圧縮データｄ’１を用いなくてすむようにする。
【００９４】
このようにすることで、どのタイミングでデータアクセスが行われても、当該フレームをデコードするための処理を同じ種類のデータ内で閉じることができ、処理のレイテンシを抑えることができる。そのために、種類が切り替わった直後のフレーム、すなわち圧縮データｉ’１、ｄ’１、ｉ’２、ｄ’２、・・・のそれぞれの先頭フレームのデータを、独立してデコードが可能なイントラフレームとする。このようにフレーム間におけるデータの依存性をリセットするため、画像の種類によって区切られる圧縮データｉ’１、ｄ’１、ｉ’２、ｄ’２、・・・は個別の動画ストリームとすることができる。また本来の画像と差分画像では周波数特性等画像の特性が異なるため、圧縮方式も異ならせてもよい。
【００９５】
図１３はフレーム列から同じ種類のフレームのデータを抽出し、まとめて圧縮することにより１単位の圧縮データを形成する場合を示している。図の示し方はおよそ図１２と同様であるが、同図では、圧縮符号化前の本来の画像のフレーム列と差分画像のフレーム列を上下にずらして示している。時間軸は共通である。このような圧縮符号化前のフレーム列において、本来の画像の連続したフレーム列のまとまりを先頭から複数個（図では５個）抽出し、それらをまとめて新たな時系列を有するフレーム列ｉ３とする。次に、抽出した本来の画像の各フレーム列のまとまりの直後に位置する差分画像のフレーム列のまとまりを同数抽出し、それらをまとめて新たな時系列を有するフレーム列ｄ３とする。
【００９６】
同様に、本来の画像のフレーム列ｉ４、差分画像のフレーム列ｄ４、・・・というようにまとめていく。画像の種類ごとに抽出してまとめたフレーム列ｉ３、ｄ３、ｉ４、ｄ４、・・・をそれぞれ圧縮符号化してなる圧縮データｉ’３、ｄ’３、ｉ’４、ｄ’４、・・・をそれぞれ１単位の圧縮データとする。生成した圧縮データを単位ごとに個別の動画ストリームとしてもよいし、それを生成順に連結して動画ストリームとしてもよい。フレーム列をまとめる際の境界は、フレーム数、またはデータサイズの積算量が所定のしきい値を超えたときとしてもよいし、シーンチェンジが起きたときなど、抽出時に前後していたフレーム列のまとまりのうち先頭フレームなどを比較して差分がしきい値を超えていたときなどとしてもよい。
【００９７】
図１２で説明したように、任意にアクセスされたフレームをデコードする際、デコードに必要なデータが別の種類のフレーム列に及ばないように、圧縮符号化後の動画ストリームにおける各種データの先頭フレームのデータをイントラフレームとすることが望ましい。しかしながら画像のビットレートが高いことなどに起因して、本来の画像と差分画像とを高頻度で切り替えた場合、切り替え直後のフレームを全てイントラフレームとするとイントラフレームの数が増大し圧縮率が低下してしまう。
【００９８】
また、被写体の動きがない場合など時間方向の冗長性が長時間にわたり継続する場合も、本来の画像と差分画像との切り替えタイミングに合わせてイントラフレームを入れることにより無駄に圧縮率を下げてしまう可能性がある。このような場合に、上述のように時間的に不連続な同種類のフレーム列をまとめて１単位の圧縮データとし、イントラフレームとすべきフレームの数を減らすことにより、種類の異なるフレーム列へ依存性が及ばないようにすることと圧縮率の向上とを両立させることができる。
【００９９】
なおこの態様では、圧縮符号化後のデータの順序が本来の動画像におけるフレームの順序と異なるため、圧縮符号化後のデータには、本来のフレームの順序と、圧縮符号化後のデータにおけるデータの出現順とを対応づけた情報を付加しておく。そして動画像の表示時にはそれを参照してデコード後のフレームを本来の順序に戻したうえで表示する。
【０１００】
図１４は複数の階層の同じ領域を表すタイル画像のデータをまとめて圧縮することにより１単位の圧縮データを形成する場合を示している。図の示し方はおよそ図１２と同様であるが、圧縮符号化前のフレーム列として、第０階層Ｌｖ０、第１階層Ｌｖ１、第２階層Ｌｖ２、第３階層Ｌｖ３、第４階層Ｌｖ４の５つの階層のフレーム列を同じ時間軸で示している。また各階層の矩形は１つまたは複数のタイル画像列を象徴的に表している。さらにこの態様における圧縮符号化後のデータは本来の画像データと差分画像データを含むため、差分画像データに対する網掛けとは異なる種類の網掛けで示している。
【０１０１】
１単位の圧縮データとしてまとめる複数の階層の最上層を元画像階層とすることにより、差分画像を元の画像に戻すのに必要なデータを取得するために別の動画ストリームを読み出す必要がなくなり、表示処理を効率的に行える。結果として、どの階層を用いた表示であっても表示までのレイテンシが抑えられ、表示装置において解像度を選択する場合や解像度を可変とする場合に特に有効である。
【０１０２】
なお複数階層の同じ領域を表す画像は、解像度が異なるためその大きさが異なる。したがって、階層データが２×２倍で拡大していくような階層を有する場合、同図に示すように、２階層をまとめるときは上層の１タイル画像分、下層の４タイル画像分をまとめて１単位の圧縮データとする。３階層をまとめるときは最上層の１タイル画像分、中間層の４タイル画像分、最下層の１６タイル画像分をまとめて１単位の圧縮データとする。４つ以上の階層数でも同様である。
【０１０３】
１単位の圧縮データに含まれるフレームは別階層であっても動画像上の同じ期間のフレームである。同図に示すように、まとめる階層において元画像階層と差分画像階層との切り替えがなされない期間のフレームを全て、１単位の圧縮データとしてもよいし、それより短い期間のフレームとしてもよい。後者の場合、フレーム数やデータサイズの積算量にしきい値を設けることによりフレームを区切ってもよい。圧縮符号化後のデータにおけるデータ順は、圧縮符号化前のフレーム番号、階層、および領域と対応がとれていれば、特に限定されない。
【０１０４】
図１４の態様では上述のとおり、差分画像を元の画像に戻す際に元画像階層のデータへのアクセスが容易である、という利点を有する。一方で、元画像階層の解像度で画像を表示する場合でも、必要のない差分画像のデータが一緒に伝送されてしまうことになる。そこでそのような状態が長期間継続しないよう、元画像階層と差分画像階層との切り替え頻度を高くするなどして、１単位の圧縮データに含まれるフレーム数を調整する。
【０１０５】
次に、これまでに説明した圧縮動画データを生成する装置について説明する。本装置も、図４で示した画像処理装置１０と同様の構成で実現できる。以下、制御部１００の構成に主眼を置き説明する。図１５は本実施の形態において、圧縮動画データ生成機能を有する制御部１００ｂおよびハードディスクドライブ５０の構成を詳細に示している。
【０１０６】
制御部１００ｂは、元画像階層と差分画像階層の割り当てスケジュールを決定するスケジューリング部１３０、決定した割り当てスケジュールに従い各階層のデータを生成する階層データ生成部１３２、階層データを所定の規則で圧縮符号化し動画ストリームを生成する圧縮データ生成部１３４を含む。ハードディスクドライブ５０は、処理対象の動画データを格納する動画データ記憶部１３６、および圧縮符号化後の動画データを格納する圧縮データ記憶部１４０を含む。
【０１０７】
動画データ記憶部１３６に格納される処理対象の動画データは、一つの解像度で表された各時刻のフレームを時系列順に並べたフレーム列からなる一般的な動画像データでよい。スケジューリング部１３０は、図８から図１１を参照して説明したようなスケジューリングポリシーのいずれかにより、元画像階層と差分画像階層の割り当てスケジュールを決定する。階層数は元の動画フレームの解像度によって決定する。また上述のような様々なスケジューリングポリシーからどのポリシーを選択するかは、あらかじめ装置において設定がなされていてもよいし、入力装置２０を介してユーザが選択できるようにしてもよい。また、動画データのメタデータとして付加された画像特性や動画の種類などから判定するようにしてもよい。
【０１０８】
階層データ生成部１３２は、動画データ記憶部１３６から処理対象の動画データを読み出し、フレームごとに所定の複数の解像度へ段階的に縮小して本来の画像からなる階層データを生成する。そして、スケジューリング部１３０が決定した割り当てスケジュールに則り、差分画像階層とすべき階層をフレームごとに特定し、元画像階層の本来の画像、または直上の差分画像階層の差分画像からの差分をとることにより、特定した階層のデータを差分画像のデータとする。さらに各階層の画像を所定のサイズに分割してタイル画像とする。
【０１０９】
圧縮データ生成部１３４は、図１２から図１４を参照して説明したいずれかの手法により圧縮符号化を行い動画ストリームを生成する。生成した動画ストリームは圧縮データ記憶部１４０に格納する。この際、動画ストリームの構成に係る情報、例えば動画ストリームにおけるデータの位置と本来の動画フレームの順序とを対応づける情報を動画ストリームのヘッダなどに付加しておく。さらに各階層の画像平面におけるタイル画像の領域と動画ストリームとの対応関係、および、元画像階層と差分画像階層の割り当てスケジュールに係る情報も付加しておく。
【０１１０】
次に、これまで述べた構成を実現するための各装置の動作について説明する。図１６は、圧縮動画データを生成する装置が動画像の圧縮データを生成する処理手順を示している。まずユーザが、ハードディスクドライブ５０の動画データ記憶部１３６に格納された、処理対象の動画データを選択すると（Ｓ１０）、スケジューリング部１３０は、生成する階層数やスケジューリングポリシーなどの初期条件を決定し、それに従い元画像階層と差分画像階層の割り当てスケジュールを決定する（Ｓ１２、Ｓ１４）。
【０１１１】
次に階層データ生成部１３２は、動画データ記憶部１３６から処理対象の動画データを読み出し、各フレームを段階的に縮小することにより階層データを生成する。さらに、差分画像階層については差分画像を生成して階層データを更新したうえ、全階層の画像をタイル画像に分割する。このような階層データを各時刻のフレームごとに生成することにより、図６で示すようにｘ、ｙ、ｚの仮想的な３次元に時間軸が加わった４次元構造の階層データが生成されることになる（Ｓ１６）。
【０１１２】
次に圧縮データ生成部１３４は、図１２から図１４に示したフレーム列の順に画像データを圧縮符号化し動画ストリームを生成する（Ｓ１８）。このとき、全てのタイル画像をイントラフレームとしてもよいし、イントラフレームと、他のフレームへの依存性を有する予測フレームや双方向フレームが混在するようにしてもよい。後者の場合、結果として差分画像階層は、解像度方向の差分画像に対し時間方向の差分もとったデータを保持することになる。また上述のとおり、フレーム列において画像の種類が切り替わった直後のフレームはイントラフレームとする。
【０１１３】
次に圧縮データ生成部１３４は、各階層の画像平面におけるタイル画像の領域と動画ストリームとの対応関係、元画像階層と差分画像階層との割り当てスケジュールに係る情報、動画ストリームの構成に係る情報、を作成し、動画ストリーム群に付加して最終的な圧縮動画データとしハードディスクドライブ５０に格納する（Ｓ２０）。
【０１１４】
図１７は、画像を表示する装置が動画像を表示するための処理手順を示している。まずユーザが入力装置２０を介して動画の再生開始を指示すると、ロード部１０８、デコード部１１２、表示画像処理部１１４、表示処理部４４の協働により表示装置１２において動画像の表示が開始される（Ｓ３０）。動画像圧縮データは、ハードディスクドライブ５０に格納されたものでもよいし、ネットワークを介して動画サーバから取得したものでもよい。
【０１１５】
ユーザが入力装置２０を介して、表示中の動画内のある箇所をズームインしたり、さらに上下左右に視点を動かしたりする操作入力を行い表示領域の移動を要求すると（Ｓ３２のＹ）、フレーム座標決定部１１０は仮想空間における表示領域の移動速度ベクトルを表示領域移動要求信号から算出し、各フレーム表示時刻におけるフレーム座標を順次決定する（Ｓ３４）。
【０１１６】
デコード部１１２は、表示領域が移動したか否かに関わらず（Ｓ３４またはＳ３２のＮ）、次のフレームのフレーム座標のｚ座標から、動画の階層データのうち表示に用いる階層を決定し、さらにｘ座標、ｙ座標から、当該階層のうち表示領域に対応するタイル画像の動画ストリームを特定したうえメインメモリ６０から読み出してデコードし、バッファメモリ７０に格納する（Ｓ３６）。動画ストリームは、ロード領域決定部１０６およびロード部１０８の協働により、メインメモリ６０にロードされている。デコード対象のデータが本来の画像のものであっても差分画像のものであっても、デコード手順は同様である。
【０１１７】
すなわち当該フレームがイントラフレームであればそれを独立にデコードし、それ以外のフレームであれば参照画像を用いてデコードする。また動画ストリームのデータ順が本来の動画のフレーム順と異なっている場合は、動画ストリームに付加された対応情報に基づき対象となるデータを特定しておく。
【０１１８】
次にデコード部は、デコードした画像が差分画像であるか否かを確認する（Ｓ３８）。差分画像であるか否かは、上述のとおり動画像圧縮データに付加された割り当てスケジュールの情報を参照して判断する。また所定のフレーム数で切り替えるなど規則的に切り替えを行う態様においては、フレームの番号などから差分画像階層を特定したうえ、デコードした画像が差分画像であるか否かをその場で導出してもよい。
【０１１９】
差分画像である場合は同じ領域を表す上層の画像をデコードして画素ごとに加算することにより画像を復元し、バッファメモリ７０のデータを更新する（Ｓ４０）。１つ上の階層も差分画像である場合は、階層を上に辿り元画像階層まで遡る。このとき、順次差分画像を加算していくか、直接元画像階層の画像のみを加算するかは、動画データごとに方式として設定してよい。
【０１２０】
次に表示画像処理部１１４は、バッファメモリ７０に格納されたタイル画像のデータを用いて表示領域の画像を表示処理部４４のフレームバッファに描画し、表示処理部４４が表示装置１２に出力することにより各時刻で画像が更新される（Ｓ４２）。以上の処理を、フレームごとに繰り返すことにより、表示領域の移動を許容しつつ動画像が進捗する（Ｓ４４のＮ、Ｓ３２〜Ｓ４２）。動画像の再生が完了したりユーザが再生を停止させたりしたら処理を終了する（Ｓ４４のＹ）。
【０１２１】
以上述べた本実施の形態によれば、動画像の各フレームを複数の解像度で表した階層データとし、階層データをタイル画像ごとの動画ストリームとすることにより、解像度の変更を含めた表示領域の移動に応じて表示に用いる階層および動画ストリームを切り替える。このとき階層データのうち少なくとも１階層を、それより上の階層の画像からの差分画像とする。これにより、動画像を階層データとしてもデータサイズの増大を抑えることができる。
【０１２２】
さらに本来の画像のデータを保持する元画像階層と、差分画像のデータを保持する差分画像階層の割り当てを、階層データを構成する階層中で切り替える。これにより、動画像の一部のデータのみをハードディスクドライブや画像サーバから伝送する態様においても、伝送されるデータのビットレートを平均化でき、伝送に必要な帯域幅を抑えることができる。結果として、少ない帯域幅でも表示領域移動の応答性に支障のないデータ伝送を実現でき、ギガピクセルオーダーの巨大なサイズの画像であっても少ないメモリ容量で表示が可能である。
【０１２３】
また元画像階層と差分画像階層の割り当てスケジュールや、動画ストリームの構成を、動画像の特性や表示装置の処理性能などに応じて最適化できるため、本実施の形態の動画データは、携帯端末から汎用コンピュータまで、幅広い環境において同様に導入することができる。
【０１２４】
以上、本発明を実施の形態をもとに説明した。上記実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。
【０１２５】
例えば本実施の形態では基本的に、ある階層の画像データを、それより解像度の低い階層の画像を拡大した画像との差分画像として保持した。一方、同じ階層の画像、すなわち単一の解像度の画像を領域分割し、ある領域の画像データを、他の領域の画像との差分画像として保持するようにしてもよい。ここで参照される「他の領域の画像」は元画像でも、さらに別の領域あるいは別の階層の画像を元画像とする差分画像でもよい。この場合も差分画像とする領域、元画像とする領域を時間的に入れ替えることによりビットレートを平均化でき、伝送に必要な帯域幅を抑えることができる。この態様は、単色に近い領域や同じパターンの羅列である領域を含む画像などにおいて特に有効である。
【符号の説明】
【０１２６】
１ 画像処理システム、 １０ 画像処理装置、 １２ 表示装置、 ２０ 入力装置、 ３０ 第０階層、 ３２ 第１階層、 ３４ 第２階層、 ３６ 第３階層、 ４４ 表示処理部、 ５０ ハードディスクドライブ、 ６０ メインメモリ、 ７０ バッファメモリ、 １００ 制御部、 １００ｂ 制御部、 １０２ 入力情報取得部、 １０６ ロード領域決定部、 １０８ ロード部、 １１０ フレーム座標決定部、 １１２ デコード部、 １１４ 表示画像処理部、 １３０ スケジューリング部、 １３２ 階層データ生成部、 １３４ 圧縮データ生成部、 １３６ 動画データ記憶部、 １４０ 圧縮データ記憶部。
【特許請求の範囲】
【請求項１】
動画を表示する画像処理装置において要求される解像度に応じて用いる階層を切り替えて表示画像を生成するために、一の動画を構成する画像フレームを異なる解像度で表した複数の画像列を解像度順に階層化してなる階層動画データを生成する動画データ生成装置であって、
各画像フレームを段階的に縮小することによって各階層の画像データを画像フレームごとに生成したうえ、少なくとも１つの階層の画像データに、同じ画像フレームを当該階層より低い解像度で表した別階層の画像の拡大画像との差分を表す差分画像のデータを含めて階層動画データを生成する階層データ生成部と、
前記階層データ生成部が生成した階層動画データを圧縮符号化し記憶装置に格納する圧縮データ生成部と、
を備えたことを特徴とする動画データ生成装置。
【請求項２】
前記階層動画データにおいて、前記差分画像のデータを含む階層を動画上の時間経過とともに切り替えるための切り替えスケジュールを決定するスケジューリング部をさらに備え、
前記階層データ生成部は、前記スケジューリング部が決定した切り替えスケジュールに従い、差分画像とすべき階層および領域を画像フレームごとに特定したうえ、前記階層動画データを生成することを特徴とする請求項１に記載の動画データ生成装置。
【請求項３】
前記スケジューリング部は、前記差分画像のデータを保持するか否かを階層単位で切り替え、前記差分画像のデータを保持する階層とそれ以外の階層との組み合わせを、前記階層動画データを構成する階層のうち最も解像度の低い階層を除く全ての階層に共通のタイミングで切り替えることを特徴とする請求項２に記載の動画データ生成装置。
【請求項４】
前記スケジューリング部は、前記差分画像のデータを保持するか否かを階層単位で切り替え、前記差分画像のデータを保持する階層とそれ以外の階層との組み合わせを、前記階層動画データを構成する階層のうち最も解像度の低い階層を除く複数の階層を区分けしてなる複数のグループごとに共通のタイミングで切り替えることを特徴とする請求項２に記載の動画データ生成装置。
【請求項５】
前記スケジューリング部は、少なくとも一部の階層において、前記差分画像のデータを保持するか否かを階層内の領域単位で切り替え、前記差分画像のデータを保持する階層とそれ以外の階層との組み合わせを、領域単位で切り替えを行う複数の階層のうち同じ箇所を表す領域ごとに共通のタイミングで切り替えることを特徴とする請求項２に記載の動画データ生成装置。
【請求項６】
前記スケジューリング部は、前記差分画像のデータを保持する階層とそれ以外の階層との組み合わせを、所定の画像フレーム数ごとに切り替えることを特徴とする請求項２から５のいずれかに記載の動画データ生成装置。
【請求項７】
前記スケジューリング部は、動画におけるシーンチェンジのタイミングに係る情報を取得し、当該シーンチェンジのタイミングで、前記差分画像のデータを保持する階層とそれ以外の階層との組み合わせを切り替えることを特徴とする請求項２から５のいずれかに記載の動画データ生成装置。
【請求項８】
前記スケジューリング部は、共通のタイミングで切り替える複数の階層のうちいずれかの階層で、切り替え単位のデータサイズの単位面積当たりの積算量が所定のしきい値に達したタイミングで、前記差分画像のデータを保持する階層とそれ以外の階層との組み合わせを切り替えることを特徴とする請求項２から５のいずれかに記載の動画データ生成装置。
【請求項９】
前記圧縮データ生成部は、前記階層データ生成部が生成した階層動画データにおける各階層の画像を所定サイズで分割してなるタイル画像の時系列データを、前記差分画像のデータか否かによって分類したうえ、分類ごとに所定の規則でまとめることにより新たな時系列データを生成し、当該データの順序で圧縮符号化することを特徴とする請求項１から８のいずれかに記載の動画データ生成装置。
【請求項１０】
前記圧縮データ生成部は、前記階層データ生成部が生成した階層動画データを、各階層の画像を所定サイズで分割してなるタイル画像の時系列データごとに、前記差分画像のデータか否かに関わらず当該時系列の順序で圧縮符号化することを特徴とする請求項１から８のいずれかに記載の動画データ生成装置。
【請求項１１】
前記圧縮データ生成部は、圧縮対象の時系列データのうち、少なくとも、差分画像のデータか否かが切り替わった後の最初のタイル画像のデータを、独立して復号が可能なイントラフレームとすることを特徴とする請求項９または１０に記載の動画データ生成装置。
【請求項１２】
前記圧縮データ生成部は、前記階層データ生成部が生成した階層動画データにおける各階層の画像を所定サイズで分割してなるタイル画像の時系列データを、複数の階層における画像上の同じ領域ごとにまとめて圧縮符号化することにより圧縮データ単位を形成し、
一の圧縮データ単位は、それに含まれる複数の階層のうち最も上の階層が、それ以外の階層が保持する差分画像を復元するために必要な本来の画像のデータを保持するように構成されることを特徴とする請求項１から８のいずれかに記載の動画データ生成装置。
【請求項１３】
一の動画を構成する画像フレームを異なる解像度で表した複数の画像列を解像度順に階層化してなる階層動画データを格納した動画データ記憶部と、
表示中の動画における表示領域の移動要求信号を逐次取得する入力情報取得部と、
前記入力情報取得部が取得した移動要求信号によって定まる要求解像度に応じて、前記階層動画データのうち用いる階層を切り替えながら、前記移動要求信号に応じた表示画像を画像フレームごとに生成する表示画像処理部と、
を備え、
前記階層動画データを構成する階層のうち少なくとも１つの階層の画像データは、同じ画像フレームを当該階層より低い解像度で表した別階層の画像の拡大画像との差分を表す差分画像のデータを含み、
前記表示画像処理部は、表示に用いるデータが差分画像のデータであった場合に、前記別階層の画像を拡大して加算することにより画像を復元することを特徴とする動画像表示装置。
【請求項１４】
前記階層動画データにおいて、前記差分画像のデータを含む階層は動画上の時間経過とともに切り替わり、
前記表示画像処理部は、前記差分画像のデータを含む階層の切り替えスケジュールに係る情報を取得し、それに基づき表示に用いるデータが差分画像のデータであるか否かを特定することを特徴とする請求項１３に記載の動画像表示装置。
【請求項１５】
前記階層動画データにおいて、前記差分画像のデータを含む階層は所定の画像フレーム数ごとに切り替わり、
前記表示画像処理部は、前記所定の画像フレーム数に基づき画像フレームごとに前記差分画像のデータを含む階層を特定することにより、表示に用いるデータが差分画像のデータであるか否かを導出することを特徴とする請求項１４に記載の動画像表示装置。
【請求項１６】
前記動画データ記憶部は、前記階層動画データに対応づけて前記切り替えスケジュールに係る情報をさらに格納し、
前記表示画像処理部は、前記切り替えスケジュールを参照することにより表示に用いるデータが差分画像のデータであるか否かを特定することを特徴とする請求項１４に記載の動画像表示装置。
【請求項１７】
前記階層動画データは、差分画像のデータか否かによって分類された、動画における画像フレームの時系列と異なる時系列データをそれぞれ圧縮符号化した複数の圧縮データ単位を含み、
前記動画データ記憶部は、前記階層動画データに対応づけて、動画における画像フレームの順序と前記圧縮データ単位におけるデータの順序とを対応づけた対応情報をさらに格納し、
前記表示画像処理部は、前記対応情報に基づき、復号したデータを元の画像フレームの順序に戻すことを特徴とする請求項１３から１６のいずれかに記載の動画像表示装置。
【請求項１８】
動画を表示する画像処理装置において要求される解像度に応じて用いる階層を切り替えて表示画像を生成するために、一の動画を構成する画像フレームを異なる解像度で表した複数の画像列を解像度順に階層化してなる階層動画データを生成する動画データ生成方法であって、
一の解像度で表された画像フレーム列からなる動画データを記憶装置から読み出すステップと、
各画像フレームを段階的に縮小することによって各階層の画像データを画像フレームごとに生成するステップと、
少なくとも１つの階層の画像データに、同じ画像フレームを当該階層より低い解像度で表した別階層の画像の拡大画像との差分を表す差分画像のデータを含めて階層動画データを生成するステップと、
前記階層動画データを圧縮符号化し記憶装置に格納するステップと、
を含むことを特徴とする動画データ生成方法。
【請求項１９】
一の動画を構成する画像フレームを異なる解像度で表した複数の画像列を解像度順に階層化してなる階層動画データの少なくとも一部を記憶装置から読み出し、それを用いて表示装置への動画表示を開始するステップと、
表示中の動画における表示領域の移動要求信号を逐次取得するステップと、
前記移動要求信号によって定まる要求解像度に応じて、前記階層動画データのうち用いる階層を切り替えながら、前記移動要求信号に応じた表示画像を画像フレームごとに生成するステップと、
生成した表示画像を前記表示装置に表示するステップと、
を含み、
前記階層動画データを構成する階層のうち少なくとも１つの階層の画像データは、同じ画像フレームを当該階層より低い解像度で表した別階層の画像の拡大画像との差分を表す差分画像のデータを含み、
前記表示画像を生成するステップは、表示に用いるデータが差分画像のデータであった場合に、前記別階層の画像を拡大して加算することにより画像を復元するステップを含むことを特徴とする動画像表示方法。
【請求項２０】
動画を表示する画像処理装置において要求される解像度に応じて用いる階層を切り替えて表示画像を生成するために、一の動画を構成する画像フレームを異なる解像度で表した複数の画像列を解像度順に階層化してなる階層動画データを生成する機能をコンピュータに実現させるコンピュータプログラムであって、
一の解像度で表された画像フレーム列からなる動画データを記憶装置から読み出す機能と、
各画像フレームを段階的に縮小することによって各階層の画像データを画像フレームごとに生成する機能と、
少なくとも１つの階層の画像データに、同じ画像フレームを当該階層より低い解像度で表した別階層の画像の拡大画像との差分を表す差分画像のデータを含めて階層動画データを生成する機能と、
前記階層動画データを圧縮符号化し記憶装置に格納する機能と、
をコンピュータに実現させることを特徴とするコンピュータプログラム。
【請求項２１】
一の動画を構成する画像フレームを異なる解像度で表した複数の画像列を解像度順に階層化してなる階層動画データの少なくとも一部を記憶装置から読み出し、それを用いて表示装置への動画表示を開始する機能と、
表示中の動画における表示領域の移動要求信号を逐次取得する機能と、
前記移動要求信号によって定まる要求解像度に応じて、前記階層動画データのうち用いる階層を切り替えながら、前記移動要求信号に応じた表示画像を画像フレームごとに生成する機能と、
生成した表示画像を前記表示装置に表示する機能と、
をコンピュータに実現させることを特徴とするコンピュータプログラムであって、
前記階層動画データを構成する階層のうち少なくとも１つの階層の画像データは、同じ画像フレームを当該階層より低い解像度で表した別階層の画像の拡大画像との差分を表す差分画像のデータを含み、
前記表示画像を生成する機能は、表示に用いるデータが差分画像のデータであった場合に、前記別階層の画像を拡大して加算することにより画像を復元する機能を含むことを特徴とするコンピュータプログラム。
【請求項２２】
表示装置に表示するための動画像ファイルのデータ構造であって、
ユーザによる表示領域に係る操作入力によって定まる解像度の範囲と、
一の動画を構成する画像フレームを異なる解像度で表した複数の画像列を解像度順に階層化してなり、前記解像度の範囲に応じて階層を切り替えて用いられる階層データであり、少なくとも１つの階層の画像のデータが、同じ画像フレームを当該階層より低い解像度で表した別階層の画像の拡大画像との差分を表す差分画像のデータを含み、表示時に当該別階層の画像を拡大して加算することにより画像を復元する階層データと、
を対応づけたことを特徴とする動画像ファイルのデータ構造。
【請求項２３】
前記階層データにおいて前記差分画像のデータを含む階層は動画上の時間経過とともに切り替わり、
表示時に参照することにより表示に用いるデータが差分画像のデータであるか否かを特定するための、前記差分画像のデータを含む階層の切り替えスケジュールに係る情報をさらに対応づけたことを特徴とする請求項２２に記載の動画像ファイルのデータ構造。
【請求項２４】
請求項２２または請求項２３に記載のデータ構造を有する動画像ファイルを記録した記録媒体。
【請求項１】
動画を表示する画像処理装置において要求される解像度に応じて用いる階層を切り替えて表示画像を生成するために、一の動画を構成する画像フレームを異なる解像度で表した複数の画像列を解像度順に階層化してなる階層動画データを生成する動画データ生成装置であって、
各画像フレームを段階的に縮小することによって各階層の画像データを画像フレームごとに生成したうえ、少なくとも１つの階層の画像データに、同じ画像フレームを当該階層より低い解像度で表した別階層の画像の拡大画像との差分を表す差分画像のデータを含めて階層動画データを生成する階層データ生成部と、
前記階層データ生成部が生成した階層動画データを圧縮符号化し記憶装置に格納する圧縮データ生成部と、
を備えたことを特徴とする動画データ生成装置。
【請求項２】
前記階層動画データにおいて、前記差分画像のデータを含む階層を動画上の時間経過とともに切り替えるための切り替えスケジュールを決定するスケジューリング部をさらに備え、
前記階層データ生成部は、前記スケジューリング部が決定した切り替えスケジュールに従い、差分画像とすべき階層および領域を画像フレームごとに特定したうえ、前記階層動画データを生成することを特徴とする請求項１に記載の動画データ生成装置。
【請求項３】
前記スケジューリング部は、前記差分画像のデータを保持するか否かを階層単位で切り替え、前記差分画像のデータを保持する階層とそれ以外の階層との組み合わせを、前記階層動画データを構成する階層のうち最も解像度の低い階層を除く全ての階層に共通のタイミングで切り替えることを特徴とする請求項２に記載の動画データ生成装置。
【請求項４】
前記スケジューリング部は、前記差分画像のデータを保持するか否かを階層単位で切り替え、前記差分画像のデータを保持する階層とそれ以外の階層との組み合わせを、前記階層動画データを構成する階層のうち最も解像度の低い階層を除く複数の階層を区分けしてなる複数のグループごとに共通のタイミングで切り替えることを特徴とする請求項２に記載の動画データ生成装置。
【請求項５】
前記スケジューリング部は、少なくとも一部の階層において、前記差分画像のデータを保持するか否かを階層内の領域単位で切り替え、前記差分画像のデータを保持する階層とそれ以外の階層との組み合わせを、領域単位で切り替えを行う複数の階層のうち同じ箇所を表す領域ごとに共通のタイミングで切り替えることを特徴とする請求項２に記載の動画データ生成装置。
【請求項６】
前記スケジューリング部は、前記差分画像のデータを保持する階層とそれ以外の階層との組み合わせを、所定の画像フレーム数ごとに切り替えることを特徴とする請求項２から５のいずれかに記載の動画データ生成装置。
【請求項７】
前記スケジューリング部は、動画におけるシーンチェンジのタイミングに係る情報を取得し、当該シーンチェンジのタイミングで、前記差分画像のデータを保持する階層とそれ以外の階層との組み合わせを切り替えることを特徴とする請求項２から５のいずれかに記載の動画データ生成装置。
【請求項８】
前記スケジューリング部は、共通のタイミングで切り替える複数の階層のうちいずれかの階層で、切り替え単位のデータサイズの単位面積当たりの積算量が所定のしきい値に達したタイミングで、前記差分画像のデータを保持する階層とそれ以外の階層との組み合わせを切り替えることを特徴とする請求項２から５のいずれかに記載の動画データ生成装置。
【請求項９】
前記圧縮データ生成部は、前記階層データ生成部が生成した階層動画データにおける各階層の画像を所定サイズで分割してなるタイル画像の時系列データを、前記差分画像のデータか否かによって分類したうえ、分類ごとに所定の規則でまとめることにより新たな時系列データを生成し、当該データの順序で圧縮符号化することを特徴とする請求項１から８のいずれかに記載の動画データ生成装置。
【請求項１０】
前記圧縮データ生成部は、前記階層データ生成部が生成した階層動画データを、各階層の画像を所定サイズで分割してなるタイル画像の時系列データごとに、前記差分画像のデータか否かに関わらず当該時系列の順序で圧縮符号化することを特徴とする請求項１から８のいずれかに記載の動画データ生成装置。
【請求項１１】
前記圧縮データ生成部は、圧縮対象の時系列データのうち、少なくとも、差分画像のデータか否かが切り替わった後の最初のタイル画像のデータを、独立して復号が可能なイントラフレームとすることを特徴とする請求項９または１０に記載の動画データ生成装置。
【請求項１２】
前記圧縮データ生成部は、前記階層データ生成部が生成した階層動画データにおける各階層の画像を所定サイズで分割してなるタイル画像の時系列データを、複数の階層における画像上の同じ領域ごとにまとめて圧縮符号化することにより圧縮データ単位を形成し、
一の圧縮データ単位は、それに含まれる複数の階層のうち最も上の階層が、それ以外の階層が保持する差分画像を復元するために必要な本来の画像のデータを保持するように構成されることを特徴とする請求項１から８のいずれかに記載の動画データ生成装置。
【請求項１３】
一の動画を構成する画像フレームを異なる解像度で表した複数の画像列を解像度順に階層化してなる階層動画データを格納した動画データ記憶部と、
表示中の動画における表示領域の移動要求信号を逐次取得する入力情報取得部と、
前記入力情報取得部が取得した移動要求信号によって定まる要求解像度に応じて、前記階層動画データのうち用いる階層を切り替えながら、前記移動要求信号に応じた表示画像を画像フレームごとに生成する表示画像処理部と、
を備え、
前記階層動画データを構成する階層のうち少なくとも１つの階層の画像データは、同じ画像フレームを当該階層より低い解像度で表した別階層の画像の拡大画像との差分を表す差分画像のデータを含み、
前記表示画像処理部は、表示に用いるデータが差分画像のデータであった場合に、前記別階層の画像を拡大して加算することにより画像を復元することを特徴とする動画像表示装置。
【請求項１４】
前記階層動画データにおいて、前記差分画像のデータを含む階層は動画上の時間経過とともに切り替わり、
前記表示画像処理部は、前記差分画像のデータを含む階層の切り替えスケジュールに係る情報を取得し、それに基づき表示に用いるデータが差分画像のデータであるか否かを特定することを特徴とする請求項１３に記載の動画像表示装置。
【請求項１５】
前記階層動画データにおいて、前記差分画像のデータを含む階層は所定の画像フレーム数ごとに切り替わり、
前記表示画像処理部は、前記所定の画像フレーム数に基づき画像フレームごとに前記差分画像のデータを含む階層を特定することにより、表示に用いるデータが差分画像のデータであるか否かを導出することを特徴とする請求項１４に記載の動画像表示装置。
【請求項１６】
前記動画データ記憶部は、前記階層動画データに対応づけて前記切り替えスケジュールに係る情報をさらに格納し、
前記表示画像処理部は、前記切り替えスケジュールを参照することにより表示に用いるデータが差分画像のデータであるか否かを特定することを特徴とする請求項１４に記載の動画像表示装置。
【請求項１７】
前記階層動画データは、差分画像のデータか否かによって分類された、動画における画像フレームの時系列と異なる時系列データをそれぞれ圧縮符号化した複数の圧縮データ単位を含み、
前記動画データ記憶部は、前記階層動画データに対応づけて、動画における画像フレームの順序と前記圧縮データ単位におけるデータの順序とを対応づけた対応情報をさらに格納し、
前記表示画像処理部は、前記対応情報に基づき、復号したデータを元の画像フレームの順序に戻すことを特徴とする請求項１３から１６のいずれかに記載の動画像表示装置。
【請求項１８】
動画を表示する画像処理装置において要求される解像度に応じて用いる階層を切り替えて表示画像を生成するために、一の動画を構成する画像フレームを異なる解像度で表した複数の画像列を解像度順に階層化してなる階層動画データを生成する動画データ生成方法であって、
一の解像度で表された画像フレーム列からなる動画データを記憶装置から読み出すステップと、
各画像フレームを段階的に縮小することによって各階層の画像データを画像フレームごとに生成するステップと、
少なくとも１つの階層の画像データに、同じ画像フレームを当該階層より低い解像度で表した別階層の画像の拡大画像との差分を表す差分画像のデータを含めて階層動画データを生成するステップと、
前記階層動画データを圧縮符号化し記憶装置に格納するステップと、
を含むことを特徴とする動画データ生成方法。
【請求項１９】
一の動画を構成する画像フレームを異なる解像度で表した複数の画像列を解像度順に階層化してなる階層動画データの少なくとも一部を記憶装置から読み出し、それを用いて表示装置への動画表示を開始するステップと、
表示中の動画における表示領域の移動要求信号を逐次取得するステップと、
前記移動要求信号によって定まる要求解像度に応じて、前記階層動画データのうち用いる階層を切り替えながら、前記移動要求信号に応じた表示画像を画像フレームごとに生成するステップと、
生成した表示画像を前記表示装置に表示するステップと、
を含み、
前記階層動画データを構成する階層のうち少なくとも１つの階層の画像データは、同じ画像フレームを当該階層より低い解像度で表した別階層の画像の拡大画像との差分を表す差分画像のデータを含み、
前記表示画像を生成するステップは、表示に用いるデータが差分画像のデータであった場合に、前記別階層の画像を拡大して加算することにより画像を復元するステップを含むことを特徴とする動画像表示方法。
【請求項２０】
動画を表示する画像処理装置において要求される解像度に応じて用いる階層を切り替えて表示画像を生成するために、一の動画を構成する画像フレームを異なる解像度で表した複数の画像列を解像度順に階層化してなる階層動画データを生成する機能をコンピュータに実現させるコンピュータプログラムであって、
一の解像度で表された画像フレーム列からなる動画データを記憶装置から読み出す機能と、
各画像フレームを段階的に縮小することによって各階層の画像データを画像フレームごとに生成する機能と、
少なくとも１つの階層の画像データに、同じ画像フレームを当該階層より低い解像度で表した別階層の画像の拡大画像との差分を表す差分画像のデータを含めて階層動画データを生成する機能と、
前記階層動画データを圧縮符号化し記憶装置に格納する機能と、
をコンピュータに実現させることを特徴とするコンピュータプログラム。
【請求項２１】
一の動画を構成する画像フレームを異なる解像度で表した複数の画像列を解像度順に階層化してなる階層動画データの少なくとも一部を記憶装置から読み出し、それを用いて表示装置への動画表示を開始する機能と、
表示中の動画における表示領域の移動要求信号を逐次取得する機能と、
前記移動要求信号によって定まる要求解像度に応じて、前記階層動画データのうち用いる階層を切り替えながら、前記移動要求信号に応じた表示画像を画像フレームごとに生成する機能と、
生成した表示画像を前記表示装置に表示する機能と、
をコンピュータに実現させることを特徴とするコンピュータプログラムであって、
前記階層動画データを構成する階層のうち少なくとも１つの階層の画像データは、同じ画像フレームを当該階層より低い解像度で表した別階層の画像の拡大画像との差分を表す差分画像のデータを含み、
前記表示画像を生成する機能は、表示に用いるデータが差分画像のデータであった場合に、前記別階層の画像を拡大して加算することにより画像を復元する機能を含むことを特徴とするコンピュータプログラム。
【請求項２２】
表示装置に表示するための動画像ファイルのデータ構造であって、
ユーザによる表示領域に係る操作入力によって定まる解像度の範囲と、
一の動画を構成する画像フレームを異なる解像度で表した複数の画像列を解像度順に階層化してなり、前記解像度の範囲に応じて階層を切り替えて用いられる階層データであり、少なくとも１つの階層の画像のデータが、同じ画像フレームを当該階層より低い解像度で表した別階層の画像の拡大画像との差分を表す差分画像のデータを含み、表示時に当該別階層の画像を拡大して加算することにより画像を復元する階層データと、
を対応づけたことを特徴とする動画像ファイルのデータ構造。
【請求項２３】
前記階層データにおいて前記差分画像のデータを含む階層は動画上の時間経過とともに切り替わり、
表示時に参照することにより表示に用いるデータが差分画像のデータであるか否かを特定するための、前記差分画像のデータを含む階層の切り替えスケジュールに係る情報をさらに対応づけたことを特徴とする請求項２２に記載の動画像ファイルのデータ構造。
【請求項２４】
請求項２２または請求項２３に記載のデータ構造を有する動画像ファイルを記録した記録媒体。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【公開番号】特開２０１３−３４０７９（Ｐ２０１３−３４０７９Ａ）
【公開日】平成２５年２月１４日（２０１３．２．１４）
【国際特許分類】
【出願番号】特願２０１１−１６８７８５（Ｐ２０１１−１６８７８５）
【出願日】平成２３年８月１日（２０１１．８．１）
【出願人】（３１００２１７６６）株式会社ソニー・コンピュータエンタテインメント (417)
【Ｆターム（参考）】
【公開日】平成２５年２月１４日（２０１３．２．１４）
【国際特許分類】
【出願日】平成２３年８月１日（２０１１．８．１）
【出願人】（３１００２１７６６）株式会社ソニー・コンピュータエンタテインメント (417)
【Ｆターム（参考）】
[ Back to top ]