情報処理装置、情報処理方法、およびプログラム、並びに記録媒体
【課題】多画面に対する画像の表示方式を自在に可変できるようにする。
【解決手段】圧縮符号化画像データ１と画面切替データ２がとが関連付けられて記録媒体に記録される。圧縮符号化画像データ１とは、２画面サイズのオリジナル画像に対応する画像信号が圧縮符号化された結果得られるデータであって、１画面サイズのオリジナル画像に対応するScale Down Data[L]，[R]、および、２画面サイズのオリジナル画像が２つに分割された左側分割画像と右側分割画像のそれぞれに対応するLeft Side DataとRight Side Dataを伸張復号前に個別に抽出可能なデータである。画面切替データ２とは、Left Side Data、Right Side Data、およびScale Down Data[L]，[R]のそれぞれの配置位置を示す[Left Side Data Information]、[Right Side Data Information]および[Scale Down Data Information]のそれぞれを含むデータである。本発明は、２画面を有する携帯端末に適用可能である。
【解決手段】圧縮符号化画像データ１と画面切替データ２がとが関連付けられて記録媒体に記録される。圧縮符号化画像データ１とは、２画面サイズのオリジナル画像に対応する画像信号が圧縮符号化された結果得られるデータであって、１画面サイズのオリジナル画像に対応するScale Down Data[L]，[R]、および、２画面サイズのオリジナル画像が２つに分割された左側分割画像と右側分割画像のそれぞれに対応するLeft Side DataとRight Side Dataを伸張復号前に個別に抽出可能なデータである。画面切替データ２とは、Left Side Data、Right Side Data、およびScale Down Data[L]，[R]のそれぞれの配置位置を示す[Left Side Data Information]、[Right Side Data Information]および[Scale Down Data Information]のそれぞれを含むデータである。本発明は、２画面を有する携帯端末に適用可能である。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報処理装置、情報処理方法、およびプログラム、並びに記録媒体に関し、特に、多画面に対する画像の表示方式を自在に可変することができる、情報処理装置、情報処理方法、およびプログラム、並びに記録媒体に関する。
【背景技術】
【０００２】
近年、例えば電子書籍端末のように、文字だけでなく静止画像や動画像を見開き２画面に表示させる機能（以下、２画面表示機能と称する）を有する携帯端末が考えられている。
【０００３】
なお、以下、２画面全体の解像度を２画面サイズと称する。即ち、２画面サイズとは、２画面全体を構成する画素（表示素子）の数を指す。一般的には、２画面全体において、横方向に連続して並ぶ画素の数をＡと記述し、かつ、縦方向に連続して並ぶ画素の数をＢと記述した場合、２画面サイズはＡ×Ｂといった形態で表現されることが多い。この呼称に伴い、２画面全体を構成する画素の数と同数の画素値から構成される画像データを、以下、２画面サイズの画像データと称する。また、２画面サイズの画像データに対応する画像であって、２画面全体に表示され得る画像を、以下、２画面サイズの画像と称する。
【０００４】
同様に、以下、２画面のうちの一方の画面の解像度を１画面サイズと称する。即ち、１画面サイズとは、２画面のうちの一方の画面を構成する画素の数を指す。この呼称に伴い、２画面のうちの一方を構成する画素の数と同数の画素値から構成される画像データを、１画面サイズの画像データと称する。また、１画面サイズの画像データに対応する画像であって、２画面のうちの一方に表示され得る画像を、以下、１画面サイズの画像と称する。
【０００５】
このような携帯端末の画像の表示方法としては様々な方法が考えられる。例えば、２画面全体に２画面サイズの画像を表示させる第１の表示方法、２画面のうちの一方に１画面サイズの画像を表示させる第２の表示方法、および、２画面のうちの一方に１画面サイズの第１の画像を表示させ、かつ、他方に１画面サイズの第２の画像を表示させる第３の表示方法といったような３つの方法が容易に考えられる。
【０００６】
このため、ユーザは、例えばこれらの第１の表示方法乃至第３の表示方法を切り替えながら、２画面表示機能を有する携帯端末を利用するようになると予想される。
【０００７】
ところで、２画面表示機能を有する携帯端末において、表示対象の静止画像をデータとして記録媒体に記録するための記録フォーマットについては、例えば、特許文献１に開示されている。即ち、特許文献１には、表示対象の静止画像の回転表示や拡大表示を行うことを目的とする記録フォーマットであって、その静止画像を圧縮符号化画像データとして記録媒体に記録するための記録フォーマットが開示されている。
【０００８】
具体的には、２画面サイズの１つの画像（以下、後述する各分割画像に対して、オリジナル画像と称する）を、左側の１画面に表示される画像（以下、左側分割画像と称する）と右側の１画面に表示される画像（以下、右側分割画像と称する）とに分割し、左側分割画像と右側分割画像のそれぞれに対応する１画面サイズの２つの画像データをそれぞれ圧縮符号化し、その結果得られる１画面サイズの２つの圧縮符号化画像データを組として記録媒体に記録する第１の記録フォーマットが、特許文献１に開示されている。また、２画面サイズのオリジナル画像に対応する画像データを圧縮符号化し、その結果得られる２画面サイズの圧縮符号化画像データを記録媒体に記録する第２の記録フォーマットが開示されている。
【０００９】
また、DWT（Discrete Wavelet Transform：離散ウェーブレット変換）を使って、１つの画面内に表示される画像の解像度（サイズ）を変化させる手法については、例えば、特許文献２に開示されている。
【特許文献１】特開平９−２６５６２号公報
【特許文献２】特開２００１−１８９９３６号公報
【発明の開示】
【発明が解決しようとする課題】
【００１０】
しかしながら、上述した特許文献１と特許文献２とを単に組み合わせただけの技術を利用する携帯端末では、上述した第１の表示方法乃至第３の表示方法の切り替え処理を実行する場合、柔軟にかつ無駄な処理なくその切り替え処理を実行することは困難であるという課題があった。この課題は、オリジナル画像が静止画像であっても動画像であっても同様に発生する。
【００１１】
なお、この課題は、次の第１の発生要因乃至第３の発生要因により発生する。
【００１２】
即ち、上述した課題の第１の発生要因とは、動画像に対する技術については、特許文献１と特許文献２のいずれにも開示は勿論、示唆もなされていないことである。
【００１３】
また、上述した課題の第２の発生要因とは、特許文献１の静止画像についての技術を利用して上述した第１の表示方法乃至第３の表示方法を提供する場合には、次の第１の問題と第２の問題が発生することである。
【００１４】
即ち、第１の問題とは、携帯端末が、上述した第１の記録フォーマットに従って記録媒体に記録された圧縮符号化画像データを利用して、上述した第１の表示方法で画像を表示させる場合に発生する問題である。詳細には、この場合、その携帯端末は、１画面サイズの２つの圧縮符号化画像データの組を記録媒体から抽出した後、抽出された１画面サイズの２つの圧縮符号化画像データのそれぞれを伸張復号し、その結果得られる１画面サイズの２つの画像データを再構成するといった一連の処理を実行してはじめて、２画面サイズのオリジナル画像に対応するオリジナルデータを得ることができる。即ち、２画面サイズのオリジナル画像を表示させるためには、このような工数と時間のかかる一連の処理が必要になるということが、第１の問題である。
【００１５】
特に、オリジナル画像が動画像の場合、この第１の問題はより顕著なものとなる。動画像の場合、左側分割画像と右側分割画像のそれぞれに対応する別々の２つの圧縮符号化動画像データを同時に伸張復号して再生の同期を取らないといけないからである。
【００１６】
これに対して、第２の問題とは、携帯端末が、上述した第２の記録フォーマットに従って記録媒体に記録された圧縮符号化画像データを利用して、上述した第２の表示方法または第３の表示方法で画像を表示させる場合に発生する問題である。即ち、この場合、例えば、１画面サイズのオリジナル画像を表示させる場合、携帯端末は、２画面サイズの圧縮符号化画像データを一旦伸張復号し、さらに、その結果得られる２画面サイズの画像データを構成する各画素値のうちの所定の画素値を間引くといった一連の処理を実行してはじめて、１画面サイズのオリジナル画像に対応する画像データを得ることができる。即ち、１画面サイズのオリジナル画像を表示させるためには、このような無駄で時間のかかる一連の処理が必要となるということが、第２の問題である。
【００１７】
特に、これらの一連の処理がソフトウエアにより実行される場合には、この第２の問題はより顕著なものとなる。ソフトウエアによる伸張復号処理は多大な処理時間が必要になるからである。
【００１８】
また、上述した課題の第３の発生要因とは、特許文献２には、上述したように、１つの画面内でサイズ（解像度）を切り替えて静止画像を表示させるための技術としてDWTを使用する技術が単に開示されているだけであり、異なる２つの画像のそれぞれを同時に２画面に表示させる技術や、それらの２画面のうちの一方に１つの画像を表示させる技術については開示は勿論、示唆もなされていないことである。
【００１９】
以上の課題は、２画面表示機能を有する携帯端末に対する課題として説明したが、２画面より多くの多画面に画像を表示させる多画面表示機能を有する携帯端末に対しても全く同様に発生する。
【００２０】
本発明は、このような状況に鑑みてなされたものであり、多画面に対する画像の表示方式を自在に可変することができるようにするものである。
【課題を解決するための手段】
【００２１】
本発明の第１の情報処理装置は、画面サイズが同一の表示画面をＮ個（Ｎは２以上の任意の整数値）有する表示装置に表示させる画像を、データとして記録媒体に記録させることを制御する情報処理装置である。詳細には、第１の情報処理装置は、Ｎ画面サイズのオリジナル画像に対応する画像信号を圧縮符号化した結果得られる圧縮符号化画像データであって、その圧縮符号化画像データの中から、１画面サイズ乃至Ｎ−１画面サイズのオリジナル画像のそれぞれに対応する部分データを伸張復号前に個別に抽出可能な第１の構成を有する圧縮符号化画像データを生成する画像データ生成手段と、画像データ生成手段により生成された圧縮符号化画像データにおける、１画面サイズ乃至Ｎ画面サイズのオリジナル画像のそれぞれに対応する部分データの配置位置を特定可能な第１の位置データを含む特定データを生成する特定データ生成手段と、画像データ生成手段により生成された圧縮符号化画像データと、特定データ生成手段により生成された特定データとを関連付けて記録媒体に記録させることを制御する記録制御手段とを備えることを特徴とする。
【００２２】
画像データ生成手段は、第１の構成に加えてさらに、Ｎ画面サイズのオリジナル画像がＮ個に分割された分割画像のそれぞれに対応する部分データを圧縮符号化画像データの中から伸張復号前に個別に抽出可能な第２の構成を有する圧縮符号化画像データを生成し、特定データ生成手段は、第１の位置データに加えてさらに、画像データ生成手段により生成された圧縮符号化画像データにおける、Ｎ個の分割画像のそれぞれに対応する部分データの配置位置を特定可能な第２の位置データを含む特定データを生成するようにすることができる。
【００２３】
本発明の第１の情報処理方法は、画面サイズが同一の表示画面をＮ個（Ｎは２以上の任意の整数値）有する表示装置に表示させる画像を、データとして記録媒体に記録させることを制御する情報処理装置の情報処理方法である。詳細には、本発明の第１の情報処理方法は、Ｎ画面サイズのオリジナル画像に対応する画像信号を圧縮符号化した結果得られる圧縮符号化画像データであって、その圧縮符号化画像データの中から、１画面サイズ乃至Ｎ−１画面サイズのオリジナル画像のそれぞれに対応する部分データを伸張復号前に個別に抽出可能な構成を有する圧縮符号化画像データを生成する画像データ生成ステップと、画像データ生成ステップの処理により生成された圧縮符号化画像データにおける、１画面サイズ乃至Ｎ画面サイズのオリジナル画像のそれぞれに対応する部分データの配置位置を特定可能な特定データを生成する特定データ生成ステップと、画像データ生成ステップの処理により生成された圧縮符号化画像データと、特定データ生成ステップの処理により生成された特定データとを関連付けて記録媒体に記録させることを制御する記録制御ステップとを含むことを特徴とする。
【００２４】
本発明の第１のプログラムは、画面サイズが同一の表示画面をＮ個（Ｎは２以上の任意の整数値）有する表示装置に表示させる画像を、データとして記録媒体に記録させることを制御するコンピュータに実行させるプログラムである。詳細には、第１のプログラムは、Ｎ画面サイズのオリジナル画像に対応する画像信号を圧縮符号化した結果得られる圧縮符号化画像データであって、その圧縮符号化画像データの中から、１画面サイズ乃至Ｎ−１画面サイズのオリジナル画像のそれぞれに対応する部分データを伸張復号前に個別に抽出可能な構成を有する圧縮符号化画像データを生成する画像データ生成ステップと、画像データ生成ステップの処理により生成された圧縮符号化画像データにおける、１画面サイズ乃至Ｎ画面サイズのオリジナル画像のそれぞれに対応する部分データの配置位置を特定可能な特定データを生成する特定データ生成ステップと、画像データ生成ステップの処理により生成された圧縮符号化画像データと、特定データ生成ステップの処理により生成された特定データとを関連付けて記録媒体に記録させることを制御する記録制御ステップとを含むことを特徴とする。
【００２５】
本発明の第１の情報処理装置および方法、並びに第１のプログラムにおいては、画面サイズが同一の表示画面をＮ個（Ｎは２以上の任意の整数値）有する表示装置に表示させる画像が、データとして記録媒体に記録される。詳細には、Ｎ画面サイズのオリジナル画像に対応する画像信号を圧縮符号化した結果得られる圧縮符号化画像データであって、その圧縮符号化画像データの中から、１画面サイズ乃至Ｎ−１画面サイズのオリジナル画像のそれぞれに対応する部分データを伸張復号前に個別に抽出可能な構成を有する圧縮符号化画像データが記録媒体に記録されるとともに、その圧縮符号化画像データにおける、１画面サイズ乃至Ｎ画面サイズのオリジナル画像のそれぞれに対応する部分データの配置位置を特定可能な特定データも、その圧縮符号化画像データと関連付けられてその記録媒体に記録される。
【００２６】
本発明の第２の情報処理装置は、画面サイズが同一の表示画面をＮ個（Ｎは２以上の任意の整数値）有する表示装置に対して、画像を表示させることを制御する情報処理装置である。詳細には、第２の情報処理装置は、Ｎ画面サイズのオリジナル画像に対応する画像信号が圧縮符号化された結果得られる圧縮符号化画像データであって、１画面サイズ乃至Ｎ−１画面サイズのオリジナル画像のそれぞれに対応する部分データを圧縮符号化画像データの中から伸張復号前に個別に抽出可能な第１の構成を有する圧縮符号化画像データと、１画面サイズ乃至Ｎ−１画面サイズのオリジナル画像のそれぞれに対応する部分データの圧縮符号化画像データにおける配置位置を特定可能な第１の位置データを含む特定データとを関連付けて取得する取得手段と、オリジナル画像の表示を指定するとともに、そのオリジナル画像の表示解像度としてＭ画面サイズ（Ｍは１乃至Ｎのうちの１つ）を指定する指定手段と、指定手段によりＭ画面サイズとしてＮ画面サイズが指定された場合、取得手段により取得された圧縮符号化画像データの全体を抽出し、指定手段によりＭ画面サイズとして１乃至Ｎ−１画面サイズのうちのいずれかひとつが指定された場合、取得手段により取得された特定データに含まれる第１の位置データに基づいて、Ｍ画面サイズのオリジナル画像に対応する部分データの圧縮符号化画像データにおける配置位置を特定し、配置位置が特定された部分データを抽出する抽出手段と、抽出手段により抽出された圧縮符号化画像データまたは部分データを伸張復号し、その結果得られるＭ画面サイズのオリジナル画像に対応する画像データを出力する復号手段と、復号手段から出力された画像データに対応するＭ画面サイズのオリジナル画像を、表示装置のＮ個の表示画面のうちの所定のＭ個の表示画面に表示させることを制御する表示制御手段とを備えることを特徴とする。
【００２７】
取得手段により取得された圧縮符号化データが、第１の構成に加えてさらに、Ｎ画面サイズのオリジナル画像がＮ個に分割された分割画像のそれぞれに対応する部分データを圧縮符号化画像データの中から伸張復号前に個別に抽出可能な第２の構成を有しており、取得手段により取得された特定データが、第１の位置データに加えてさらに、Ｎ個の分割画像のそれぞれに対応する部分データの圧縮符号化画像データにおける配置位置を特定可能な第２の位置データを含んでいる場合、指定手段は、オリジナル画像の表示解像度としてＮ画面サイズを指定したとき、さらに、Ｎ個の分割画像のうちのＯ個（Ｏは、１乃至Ｎのうちの１つ）の分割画像の表示を指定し、抽出手段は、指定手段によりＯ個の分割画像の表示が指定された場合、取得手段により取得された特定データに含まれる第２の位置データに基づいて、Ｏ個の分割画像のそれぞれに対応する部分データの圧縮符号化画像データにおける配置位置を特定し、配置位置が特定されたＯ個の部分データのそれぞれを抽出し、復号手段は、抽出手段により抽出されたＯ個の部分データのそれぞれを伸張復号し、その結果得られるＯ個の分割画像のそれぞれに対応する画像データを出力し、表示制御手段は、復号手段から出力されたＯ個の画像データのそれぞれに対応する分割画像のそれぞれを、表示装置のＮ個の表示画面のうちの所定のＯ個の表示画面のそれぞれに個別に表示させることを制御するようにすることができる。
【００２８】
本発明の第２の情報処理方法は、画面サイズが同一の表示画面をＮ個（Ｎは２以上の任意の整数値）有する表示装置に画像を表示させることを制御する情報処理装置の情報処理方法である。詳細には、第２の情報処理方法は、Ｎ画面サイズのオリジナル画像に対応する画像信号が圧縮符号化された結果得られる圧縮符号化画像データであって、１画面サイズ乃至Ｎ−１画面サイズのオリジナル画像のそれぞれに対応する部分データを圧縮符号化画像データの中から伸張復号前に個別に抽出可能な構成を有する圧縮符号化画像データと、１画面サイズ乃至Ｎ−１画面サイズのオリジナル画像のそれぞれに対応する部分データの圧縮符号化画像データにおける配置位置を特定可能な特定データとを関連付けて取得することを制御する取得制御ステップと、オリジナル画像の表示を指定するとともに、そのオリジナル画像の表示解像度としてＭ画面サイズ（Ｍは１乃至Ｎのうちの１つ）を指定する指定ステップと、指定ステップの処理によりＭ画面サイズとしてＮ画面サイズが指定された場合、取得制御ステップの制御により取得された圧縮符号化画像データの全体を抽出し、指定ステップの処理によりＭ画面サイズとして１乃至Ｎ−１画面サイズのうちのいずれかひとつが指定された場合、取得ステップの制御により取得された特定データに基づいて、Ｍ画面サイズのオリジナル画像に対応する部分データの圧縮符号化画像データにおける配置位置を特定し、配置位置が特定された部分データを抽出する抽出ステップと、抽出ステップの処理により抽出された圧縮符号化画像データまたは部分データを伸張復号し、その結果得られるＭ画面サイズのオリジナル画像に対応する画像データを出力することを制御する復号制御ステップと、復号制御ステップの制御により出力された画像データに対応するＭ画面サイズのオリジナル画像を、表示装置のＮ個の表示画面のうちの所定のＭ個の表示画面に表示させることを制御する表示制御ステップとを含むことを特徴とする。
【００２９】
本発明の第２のプログラムは、画面サイズが同一の表示画面をＮ個（Ｎは２以上の任意の整数値）有する表示装置に画像を表示させることを制御するコンピュータに実行させるプログラムである。詳細には、第２のプログラムは、Ｎ画面サイズのオリジナル画像に対応する画像信号が圧縮符号化された結果得られる圧縮符号化画像データであって、１画面サイズ乃至Ｎ−１画面サイズのオリジナル画像のそれぞれに対応する部分データを圧縮符号化画像データの中から伸張復号前に個別に抽出可能な構成を有する圧縮符号化画像データと、１画面サイズ乃至Ｎ−１画面サイズのオリジナル画像のそれぞれに対応する部分データの圧縮符号化画像データにおける配置位置を特定可能な特定データとを関連付けて取得することを制御する取得制御ステップと、オリジナル画像の表示を指定するとともに、そのオリジナル画像の表示解像度としてＭ画面サイズ（Ｍは１乃至Ｎのうちの１つ）を指定する指定ステップと、指定ステップの処理によりＭ画面サイズとしてＮ画面サイズが指定された場合、取得制御ステップの制御により取得された圧縮符号化画像データの全体を抽出し、指定ステップの処理によりＭ画面サイズとして１乃至Ｎ−１画面サイズのうちのいずれかひとつが指定された場合、取得ステップの制御により取得された特定データに基づいて、Ｍ画面サイズのオリジナル画像に対応する部分データの圧縮符号化画像データにおける配置位置を特定し、配置位置が特定された部分データを抽出する抽出ステップと、抽出ステップの処理により抽出された圧縮符号化画像データまたは部分データを伸張復号し、その結果得られるＭ画面サイズのオリジナル画像に対応する画像データを出力することを制御する復号制御ステップと、復号制御ステップの制御により出力された画像データに対応するＭ画面サイズのオリジナル画像を、表示装置のＮ個の表示画面のうちの所定のＭ個の表示画面に表示させることを制御する表示制御ステップとを含むことを特徴とする。
【００３０】
本発明の第２の情報処理装置および方法、並びに第２のプログラムにおいては、画面サイズが同一の表示画面をＮ個（Ｎは２以上の任意の整数値）有する表示装置に画像が表示される。詳細には、Ｎ画面サイズのオリジナル画像に対応する画像信号が圧縮符号化された結果得られる圧縮符号化画像データであって、１画面サイズ乃至Ｎ−１画面サイズのオリジナル画像のそれぞれに対応する部分データを圧縮符号化画像データの中から伸張復号前に個別に抽出可能な構成を有する圧縮符号化画像データと、１画面サイズ乃至Ｎ−１画面サイズのオリジナル画像のそれぞれに対応する部分データの圧縮符号化画像データにおける配置位置を特定可能な特定データとが関連付けて取得される。その後、オリジナル画像の表示が指定されるとともに、そのオリジナル画像の表示解像度としてＭ画面サイズ（Ｍは１乃至Ｎのうちの１つ）が指定された場合、例えばＭ画面サイズとしてＮ画面サイズが指定された場合、取得された圧縮符号化画像データの全体が抽出される。これに対して、例えばＭ画面サイズとして１乃至Ｎ−１画面サイズのうちのいずれかひとつが指定された場合、取得された特定データに基づいて、Ｍ画面サイズのオリジナル画像に対応する部分データの圧縮符号化画像データにおける配置位置が特定され、配置位置が特定された部分データが抽出する抽出される。そして、抽出された圧縮符号化画像データまたは部分データが伸張復号され、その結果得られる画像データに対応するＭ画面サイズのオリジナル画像が、表示装置のＮ個の表示画面のうちの所定のＭ個の表示画面に表示される。
【００３１】
本発明の記録媒体は、画面サイズが同一の表示画面をＮ個（Ｎは２以上の任意の整数値）有する表示装置に表示させる画像を、データとして記録可能な記録媒体である。この記録媒体には、Ｎ画面サイズのオリジナル画像に対応する画像信号が圧縮符号化された結果得られる圧縮符号化画像データであって、１画面サイズ乃至Ｎ−１画面サイズのオリジナル画像のそれぞれに対応する部分データを圧縮符号化画像データの中から伸張復号前に個別に抽出可能な第１の構成を有する圧縮符号化画像データと、１画面サイズ乃至Ｎ−１画面サイズのオリジナル画像のそれぞれに対応する部分データの圧縮符号化画像データにおける配置位置を特定可能な第１の位置データを含む特定データとが関連付けられて記録されている。その結果、Ｍ画面サイズ（Ｍは、１乃至Ｎ−１のうちの１つ）に対応するオリジナル画像を表示装置に表示させることを制御する情報処理装置により、記録媒体に記録された特定データに含まれる第１の位置データが参照されて、記録媒体に記録された圧縮符号化データの中から、Ｍ画面サイズのオリジナル画像に対応する部分データが抽出される。
【００３２】
この記録媒体に記録されている圧縮符号化データは、第１の構成に加えてさらに、Ｎ画面サイズのオリジナル画像がＮ個に分割された分割画像のそれぞれに対応する部分データを圧縮符号化画像データの中から伸張復号前に個別に抽出可能な第２の構成を有し、記録媒体に記録されている特定データは、第１の位置データに加えてさらに、Ｎ個の分割画像のそれぞれに対応する部分データの圧縮符号化画像データにおける配置位置を特定可能な第２の位置データを含んでおり、Ｎ個の分割画像のうちのＯ個（Ｏは、１乃至Ｎのうちの１つ）の分割画像のそれぞれを表示装置に表示させることを制御する情報処理装置により、記録媒体に記録された特定データに含まれる第２の位置データが参照されて、記録媒体に記録された圧縮符号化データの中から、Ｏ個の分割画像のそれぞれに対応する部分データが抽出される。
【発明の効果】
【００３３】
以上のごとく、本発明によれば、多画面に対する画像の表示を制御することができる。特に、その表示方式を自在に可変することができる。
【発明を実施するための最良の形態】
【００３４】
以下に本発明の実施の形態を説明するが、請求項に記載の構成要件と、発明の実施の形態における具体例との対応関係を例示すると、次のようになる。この記載は、請求項に記載されている発明をサポートする具体例が、発明の実施の形態に記載されていることを確認するためのものである。従って、発明の実施の形態中には記載されているが、構成要件に対応するものとして、ここには記載されていない具体例があったとしても、そのことは、その具体例が、その構成要件に対応するものではないことを意味するものではない。逆に、具体例が構成要件に対応するものとしてここに記載されていたとしても、そのことは、その具体例が、その構成要件以外の構成要件には対応しないものであることを意味するものでもない。
【００３５】
さらに、この記載は、発明の実施の形態に記載されている具体例に対応する発明が、請求項に全て記載されていることを意味するものではない。換言すれば、この記載は、発明の実施の形態に記載されている具体例に対応する発明であって、この出願の請求項には記載されていない発明の存在、すなわち、将来、分割出願されたり、補正により追加される発明の存在を否定するものではない。
【００３６】
本発明によれば第１の情報処理装置が提供される。この第１の情報処理装置（例えば図１３の画像配信装置１０１）は、画面サイズが同一の表示画面をＮ個（Ｎは２以上の任意の整数値）有する表示装置（例えば図１４の画像再生装置１０２内の表示部１５９）に表示させる画像を、データとして記録媒体（例えば、図１３の画像記憶部１１４、図１３のリムーバブル記録媒体１０４、または、図１４の画像再生装置１０２内の画像記憶部１５３。ただし、第１の情報処理装置および方法、並びに第１のプログラムとの対応関係の説明においては、リムーバブル記録媒体１０４とする）に記録させることを制御する情報処理装置である。詳細には、この第１の情報処理装置は、Ｎ画面サイズのオリジナル画像（例えば、Ｎ＝２の場合、図１の２画面サイズのオリジナル画像３）に対応する画像信号を圧縮符号化した結果得られる圧縮符号化画像データ（例えば、図１３の画像記憶部１１４に一旦記憶される圧縮符号化画像データ１２１であって、具体的には例えば図１乃至図６に示される圧縮符号化画像データ１）であって、その圧縮符号化画像データの中から、１画面サイズ乃至Ｎ−１画面サイズの前記オリジナル画像（例えば、図２の１画面サイズのオリジナル画像３Ｃ）のそれぞれに対応する部分データ（例えば、図２の部分データ１Ａと部分データ１Ｂとからなる部分データ５であって、具体的には図６に示されるScale Down Data）を伸張復号前に個別に抽出可能な第１の構成（例えば、図２に示される構成であって、具体的には、図６に示されるようなScale Down Dataを有する構成）を有する前記圧縮符号化画像データを生成する画像データ生成手段（例えば、図１３の圧縮符号化部１１２）と、前記画像データ生成手段により生成された前記圧縮符号化画像データにおける、１画面サイズ乃至Ｎ−１画面サイズの前記オリジナル画像のそれぞれに対応する前記部分データの配置位置を特定可能な第１の位置データ（例えば、図６の Scale Down data Information）を含む特定データ（例えば、図１３の画像記憶部１１４に一旦記憶される画面切替データ１２２であって、具体的には例えば図２乃至図６に示される画面切替データ２）を生成する特定データ生成手段（例えば、図１３の画面切替データ生成部１１３）と、前記画像データ生成手段により生成された前記圧縮符号化画像データと、前記特定データ生成手段により生成された前記特定データとを関連付けて前記記録媒体に記録させることを制御する記録制御手段（例えば、記録媒体が図１３のリムーバブル記録媒体１０４の場合には、図１３の記録制御部１１６）とを備えることを特徴とする。
【００３７】
この第１の情報処理装置において、前記画像データ生成手段は、前記第１の構成に加えてさらに、Ｎ画面サイズの前記オリジナル画像がＮ個に分割された分割画像（例えば、図１の左側分割画像３Ａと右側分割画像３Ｂ）のそれぞれに対応する部分データ（例えば、右側分割画像３Ｂに対応する部分データとは、図３の部分データ１Ｃ、即ち部分データ６であって、具体的には図６に示されるRight Side Data）を前記圧縮符号化画像データの中から伸張復号前に個別に抽出可能な第２の構成（例えば、図３に示される構成であって、具体的には、図６に示されるようなLeft Side DataとRight Side Dataを有する構成）を有する前記圧縮符号化画像データを生成し、前記特定データ生成手段は、前記第１の位置データに加えてさらに、前記画像データ生成手段により生成された前記圧縮符号化画像データにおける、Ｎ個の前記分割画像のそれぞれに対応する前記部分データの配置位置を特定可能な第２の位置データ（例えば、図６の Left Side data InformationとRight Side data Information）を含む前記特定データを生成するようにすることができる。
【００３８】
本発明によれば第１の情報処理方法が提供される。この第１の情報処理方法は、上述した第１の情報処理装置の情報処理方法である。即ち、この第１の情報処理方法は、Ｎ画面サイズのオリジナル画像に対応する画像信号を圧縮符号化した結果得られる圧縮符号化画像データであって、その圧縮符号化画像データの中から、１画面サイズ乃至Ｎ−１画面サイズの前記オリジナル画像のそれぞれに対応する部分データを伸張復号前に個別に抽出可能な構成を有する前記圧縮符号化画像データを生成する画像データ生成ステップ（例えば、図１５のステップＳ１の処理）と、前記画像データ生成ステップの処理により生成された前記圧縮符号化画像データにおける、１画面サイズ乃至Ｎ画面サイズの前記オリジナル画像のそれぞれに対応する前記部分データの配置位置を特定可能な特定データを生成する特定データ生成ステップ（例えば、図１５のステップＳ２の処理）と、前記画像データ生成ステップの処理により生成された前記圧縮符号化画像データと、前記特定データ生成ステップの処理により生成された前記特定データとを関連付けて前記記録媒体に記録させることを制御する記録制御ステップ（例えば、図１５のステップＳ３の処理）とを含むことを特徴とする。
【００３９】
本発明によれば、第１のプログラムが提供される。この第１のプログラムは、上述した第１の情報処理方法に対応するプログラムであって、例えば図１７の構成のコンピュータにより実行される。
【００４０】
本発明によれば、第２の情報処理装置が提供される。この第２の情報処理装置（例えば、図１４の画像再生装置１０２）は、画面サイズが同一の表示画面をＮ個（Ｎは２以上の任意の整数値）有する表示装置（例えば、図１４の表示部１５９）に対して、画像を表示させることを制御する情報処理装置である。詳細には、第２の情報処理装置は、Ｎ画面サイズのオリジナル画像に対応する画像信号が圧縮符号化された結果得られる圧縮符号化画像データ（例えば、図１４の画像記憶部１５３に図示されている圧縮符号化画像データ１２１であって、具体例については第１の情報処理装置で上述したデータに同じ）であって、１画面サイズ乃至Ｎ−１画面サイズの前記オリジナル画像のそれぞれに対応する部分データを前記圧縮符号化画像データの中から伸張復号前に個別に抽出可能な第１の構成を有する前記圧縮符号化画像データと、１画面サイズ乃至Ｎ−１画面サイズの前記オリジナル画像のそれぞれに対応する前記部分データの前記圧縮符号化画像データにおける配置位置を特定可能な第１の位置データを含む特定データ（例えば、図１４の画像記憶部１５３に図示されている画面切替データ１２２であって、具体例については第１の情報処理装置で上述したデータに同じ）とを関連付けて取得する取得手段（例えば、図１４の受信制御部１５１または読み出し制御部１５２）と、前記オリジナル画像の表示を指定するとともに、そのオリジナル画像の表示解像度としてＭ画面サイズ（Ｍは１乃至Ｎのうちの１つ）を指定する指定手段（例えば、図１４の操作部１５４）と、前記指定手段によりＭ画面サイズとしてＮ画面サイズが指定された場合、前記取得手段により取得された前記圧縮符号化画像データの全体を抽出し、前記指定手段によりＭ画面サイズとして１乃至Ｎ−１画面サイズのうちのいずれかひとつが指定された場合、前記取得手段により取得された前記特定データに含まれる前記第１の位置データに基づいて、Ｍ画面サイズの前記オリジナル画像に対応する前記部分データの前記圧縮符号化画像データにおける配置位置を特定し、配置位置が特定された前記部分データを抽出する抽出手段（例えば、図１４の画面切替データ解析部１５５と画像データ抽出部１５６）と、前記抽出手段により抽出された前記圧縮符号化画像データまたは前記部分データを伸張復号し、その結果得られるＭ画面サイズの前記オリジナル画像に対応する画像データを出力する復号手段（例えば、図１４の復号部１５７）と、前記復号手段から出力された前記画像データに対応するＭ画面サイズの前記オリジナル画像を、前記表示装置のＮ個の前記表示画面のうちの所定のＭ個の表示画面に表示させることを制御する表示制御手段（例えば、図１４の表示制御部１５８）とを備えることを特徴とする。なお、前記指定手段により１画面サイズのオリジナル画像の表示が指定された場合における、抽出手段、復号手段、および、表示制御手段の処理は、図２参照のこと。
【００４１】
この第２の情報処理装置において、前記取得手段により取得された前記圧縮符号化データが、前記第１の構成に加えてさらに、Ｎ画面サイズの前記オリジナル画像がＮ個に分割された分割画像のそれぞれに対応する部分データを前記圧縮符号化画像データの中から伸張復号前に個別に抽出可能な第２の構成を有しており、前記取得手段により取得された前記特定データが、前記第１の位置データに加えてさらに、Ｎ個の前記分割画像のそれぞれに対応する前記部分データの前記圧縮符号化画像データにおける配置位置を特定可能な第２の位置データ（具体例については、第１の情報処理装置で上述したデータに同じ）を含んでいる場合、前記指定手段は、前記オリジナル画像の表示解像度としてＮ画面サイズを指定したとき、さらに、Ｎ個の前記分割画像のうちのＯ個（Ｏは、１乃至Ｎのうちの１つ）の分割画像の表示を指定し、前記抽出手段は、前記指定手段によりＯ個の前記分割画像の表示が指定された場合、前記取得手段により取得された前記特定データに含まれる前記第２の位置データに基づいて、Ｏ個の前記分割画像のそれぞれに対応する前記部分データの前記圧縮符号化画像データにおける配置位置を特定し、配置位置が特定されたＯ個の前記部分データのそれぞれを抽出し、復号手段は、前記抽出手段により抽出されたＯ個の前記部分データのそれぞれを伸張復号し、その結果得られるＯ個の前記分割画像のそれぞれに対応する画像データを出力し、前記表示制御手段は、前記復号手段から出力されたＯ個の前記画像データのそれぞれに対応する前記分割画像のそれぞれを、前記表示装置のＮ個の前記表示画面のうちの所定のＯ個の表示画面のそれぞれに個別に表示させることを制御するようにすることができる。なお、前記指定手段により右側分割画像の表示が指定された場合における、抽出手段、復号手段、および、表示制御手段の処理は、図３参照のこと。
【００４２】
本発明によれば、第２の情報処理方法が提供される。この第２の情報処理方法は、上述した第２の情報処理装置の情報処理方法である。即ち、この第２の情報処理方法は、Ｎ画面サイズのオリジナル画像に対応する画像信号が圧縮符号化された結果得られる圧縮符号化画像データであって、１画面サイズ乃至Ｎ−１画面サイズの前記オリジナル画像のそれぞれに対応する部分データを前記圧縮符号化画像データの中から伸張復号前に個別に抽出可能な構成を有する前記圧縮符号化画像データと、１画面サイズ乃至Ｎ−１画面サイズの前記オリジナル画像のそれぞれに対応する前記部分データの前記圧縮符号化画像データにおける配置位置を特定可能な特定データとを関連付けて取得することを制御する取得制御ステップ（例えば、図１６のステップＳ２１の処理）と、前記オリジナル画像の表示を指定するとともに、そのオリジナル画像の表示解像度としてＭ画面サイズ（Ｍは１乃至Ｎのうちの１つ）を指定する指定ステップ（例えば、図１６のステップＳ２２の処理）と、前記指定ステップの処理によりＭ画面サイズとしてＮ画面サイズが指定された場合、前記取得制御ステップの制御により取得された前記圧縮符号化画像データの全体を抽出し、前記指定ステップの処理によりＭ画面サイズとして１乃至Ｎ−１画面サイズのうちのいずれかひとつが指定された場合、前記取得ステップの制御により取得された前記特定データに基づいて、Ｍ画面サイズの前記オリジナル画像に対応する前記部分データの前記圧縮符号化画像データにおける配置位置を特定し、配置位置が特定された前記部分データを抽出する抽出ステップ（例えば、図１６のステップＳ２３とＳ２４の処理）と、前記抽出ステップの処理により抽出された前記圧縮符号化画像データまたは前記部分データを伸張復号し、その結果得られるＭ画面サイズの前記オリジナル画像に対応する画像データを出力することを制御する復号制御ステップ（例えば、図１６のステップＳ２５の処理）と、前記復号制御ステップの制御により出力された前記画像データに対応するＭ画面サイズの前記オリジナル画像を、前記表示装置のＮ個の前記表示画面のうちの所定のＭ個の表示画面に表示させることを制御する表示制御ステップ（例えば、図１６のステップＳ２６の処理）とを含むことを特徴とする。
【００４３】
本発明によれば、第２のプログラムが提供される。この第２のプログラムは、上述した第２の情報処理方法に対応するプログラムであって、例えば図１８の構成のコンピュータにより実行される。
【００４４】
本発明によれば、記録媒体が提供される。この記録媒体（例えば、図１３の画像記憶部１１４、図１３と図１４のリムーバブル記録媒体１０４、または、図１４の画像記憶部１５３）は、画面サイズが同一の表示画面をＮ個（Ｎは２以上の任意の整数値）有する表示装置（例えば、図１４の画像再生装置１０２内の表示部１５９）に表示させる画像を、データとして記録可能な記録媒体である。詳細には、この記録媒体には、Ｎ画面サイズのオリジナル画像に対応する画像信号が圧縮符号化された結果得られる圧縮符号化画像データであって、その圧縮符号化画像データの中から、１画面サイズ乃至Ｎ−１画面サイズの前記オリジナル画像のそれぞれに対応する部分データを伸張復号前に個別に抽出可能な第１の構成を有する前記圧縮符号化画像データ（例えば、図１３の画像記憶部１１４と図１４の画像記憶部１５３に図示されている圧縮符号化画像データ１２１であって、具体例については、第１の情報処理装置で上述したデータに同じ）と、１画面サイズ乃至Ｎ−１画面サイズの前記オリジナル画像のそれぞれに対応する前記部分データの前記圧縮符号化画像データにおける配置位置を特定可能な第１の位置データを含む特定データ（例えば、図１３の画像記憶部１１４と図１４の画像記憶部１５３に図示されている画面切替データ１２２であって、具体例については、第１の情報処理装置で上述したデータに同じ）とが関連付けられて記録されており、Ｍ画面サイズ（Ｍは、１乃至Ｎ−１のうちの１つ）に対応する前記オリジナル画像を前記表示装置に表示させることを制御する情報処理装置（例えば、図１４の画像再生装置１０２）により、前記記録媒体に記録された前記特定データに含まれる前記第１の位置データが参照されて、前記記録媒体に記録された前記圧縮符号化データの中から、Ｍ画面サイズの前記オリジナル画像に対応する前記部分データが抽出されることを特徴とする。
【００４５】
この記録媒体に記録されている前記圧縮符号化データは、前記第１の構成に加えてさらに、Ｎ画面サイズの前記オリジナル画像がＮ個に分割された分割画像のそれぞれに対応する部分データを前記圧縮符号化画像データの中から伸張復号前に個別に抽出可能な第２の構成（上述した第１の情報処理装置で説明した第２の構成に同じ）を有し、前記記録媒体に記録されている前記特定データは、前記第１の位置データに加えてさらに、Ｎ個の前記分割画像のそれぞれに対応する前記部分データの前記圧縮符号化画像データにおける配置位置を特定可能な第２の位置データ（上述した第１の情報処理装置で説明した第２の位置データに同じ）を含んでおり、Ｎ個の前記分割画像のうちのＯ個（Ｏは、１乃至Ｎのうちの１つ）の分割画像のそれぞれを前記表示装置に表示させることを制御する情報処理装置により、前記記録媒体に記録された前記特定データに含まれる前記第２の位置データが参照されて、前記記録媒体に記録された前記圧縮符号化データの中から、Ｏ個の前記分割画像のそれぞれに対応する前記部分データが抽出されるようにすることができる。
【００４６】
次に、本発明の実施の形態について説明する。
【００４７】
はじめに、本発明が適用される記録フォーマットについて説明する。
【００４８】
この本発明の記録フォーマットは、２画面表示機能を有する携帯端末、例えば、後述する図１８の構成を有する携帯端末に対して、上述した第１の表示方法乃至第３の表示方法等幾つかの表示方法（以下、表示方式とも称する）の切り替え処理を柔軟にかつ高速に実行させることを可能とする記録フォーマットである。
【００４９】
なお、繰り返しになるが、第１の表示方法とは、２画面全体に２画面サイズの画像を表示させる表示方法である。第２の表示方法とは、２画面のうちの一方に１画面サイズの画像を表示させる表示方法である。第３の表示方法とは、２画面のうちの一方に、１画面サイズの第１の画像を表示させ、その他方に、１画面サイズの第２の画像を表示させる表示方法である。いずれの表示方法においても、２画面のうちの少なくとも一方に表示される画像は、静止画像であってもよいし、動画像であってもよい。
【００５０】
ところで、この第１の表示方法乃至第３の表示方法を実現するための記録フォーマットとしては、現状、上述した第１の記録フォーマットと第２の記録フォーマットとが存在する。繰り返しになるが、第１の記録フォーマットとは、２画面サイズのオリジナル画像を、１画面サイズの左側分割画像と右側分割画像とのそれぞれに分割し、左側分割画像と右側分割画像とのそれぞれに対応する１画面サイズの２つの画像データのそれぞれを圧縮符号化し、その結果得られる１画面サイズの２つの圧縮符号化画像データを組として記録媒体に記録する記録フォーマットである。また、第２の記録フォーマットとは、オリジナル画像に対応する２画面サイズの画像データを圧縮符号化し、その結果得られる２画面サイズの１つの圧縮符号化画像データを記録媒体に記録する記録フォーマットである。
【００５１】
この場合、第１の記録フォーマットが採用された場合、上述した第１の問題が発生してしまう。即ち、上述したように、２画面サイズのオリジナル画像が第１の記録フォーマットに従って圧縮符号化され、その結果得られる圧縮符号化画像データが記録媒体に記録された場合、その記録媒体に記録された圧縮符号化画像データとは、左側分割画像と右側分割画像のそれぞれに対応する１画面サイズの２つの圧縮符号化画像データのそれぞれとなる。このため、第１の表示方法が採用される場合、その記録媒体から２つの圧縮符号化画像データのそれぞれが取り出されて伸張復号されても、その結果得られる２つの画像データのままでは、２画面サイズのオリジナル画像に対応する画像データとしては使用できず、それらの２つの画像データの再構成が必要になるという第１の問題が発生してしまう。
【００５２】
具体的には例えば、PDA（Personal Digital Assistant）やデジタルカメラといった携帯端末と、パーソナルコンピュータとの間などで行われているように、携帯端末内の記録媒体（携帯端末自身を記録媒体とみなしてもよい）からデータが取り出される場合には、データをそのままコピーする方法が取られている。従って、第１の記録フォーマットに従って記録媒体に記録されたデータは、即ち、１画面サイズの２つの圧縮符号化画像データの組はそのままコピーされて取り出されることになり、取り出される度に、１画面サイズの２つの圧縮符号化画像データの組を伸張復号し、その結果得られる１画面サイズの２つの画像データの組から２画面サイズの画像データを再構成するといった手間がかかる処理が必要となるという第１の問題が発生してしまう。
【００５３】
これに対して、第２の記録フォーマットが採用されれば、第１の問題は発生しなくなり、さらに、オリジナル画像が動画像の場合には、１画面サイズの２つの分割動画像のそれぞれに対応する２つの圧縮符号化動画像データを同時に伸張復号する際に同期を取る必要が生じるという問題も発生しなくなる。
【００５４】
しかしながら、第２の記録フォーマットが採用された場合には、今度は第２の問題が発生してしまう。即ち、上述したように、２画面サイズのオリジナル画像が第２の記録フォーマットに従って圧縮符号化され、その結果得られる圧縮符号化画像データが記録媒体に記録された場合、その記録媒体に記録された圧縮データとは、オリジナル画像に対応する２画面サイズの圧縮符号化画像データとなる。このため、第２の表示方法または第３の表示方法が採用された場合、即ち、１画面サイズのオリジナル画像を表示させる場合、その記録媒体から取りだされた２画面サイズの圧縮符号化画像データを一旦伸張復号し、さらに、その結果得られる２画面サイズの画像データを構成する各画素値のうちの所定の画素値を間引くことで、１画面サイズの画像データを生成するといった無駄で時間のかかる処理が必要になるという第２の問題が発生してしまう。
【００５５】
そこで、本発明者は、このような第１の問題と第２の問題とを同時に解決可能な次のような記録フォーマットを新たに発明した。
【００５６】
即ち、本発明の記録フォーマットにおいては、２画面サイズのオリジナル画像に対応する画像信号を次のような符号化方式に従って圧縮符号化し、その結果得られる２画面サイズの圧縮符号化画像データを記録媒体に記録することが規定されている。これにより、第１の問題が解決される。
【００５７】
本発明の記録フォーマットで採用されている符号化方式とは、２画面サイズの圧縮符号化画像データから、１画面サイズの画像に対応する圧縮符号化画像データ（以下、このようなデータを部分データと称する）の抽出が可能となる符号化方式である。
【００５８】
これにより、第２の問題も発生しなくなる。なぜならば、携帯端末は、２画面サイズの圧縮符号化画像データの中から、１画面サイズの画像に対応する部分データを抽出した後に、その部分データのみを伸張復号するといった簡易で時間のかからない処理を実行することが可能になるからである。なお、ここで言う１画面サイズの画像とは、１画面サイズのオリジナル画像の場合もあるし、２画面サイズのオリジナル画像が２つに分割された１画面サイズの左側分割画像と右側分割画像とのうちの一方の場合もある。
【００５９】
ところで、このような部分データの抽出処理、即ち、記録媒体に記録された２画面サイズの圧縮符号化画像データの中から、１画面サイズの画像に対応する部分データのみを抽出する抽出処理の手法として、例えば次のような手法が考えられる。即ち、圧縮符号化画像データ自身をその都度解析することで、例えばヘッダの内容をその都度解析することで、抽出対象の部分データの配置位置を特定し、配置位置が特定された部分データを抽出するといった手法が考えられる。しかしながら、この手法では、部分データを特定する処理は、重負荷の処理となり、それに伴い、処理時間も長時間になってしまうという新たな課題が発生する。
【００６０】
そこで、上述した従来の課題とともにこの新たな課題も同時に解決するために、本発明の記録フォーマットにおいてはさらに、圧縮符号化画像データに関連付けて、その圧縮符号化画像データから抽出され得る部分データの配置位置を特定可能な特定データも記録媒体に記録させることが規定されているのである。
【００６１】
なお、以下、このような特定データを、「画面切替データ」と称する。換言すると、本明細書においては、特定データと「画面切替データ」とは同義語として取り扱われる。
【００６２】
即ち、本発明の記録フォーマットでは、「圧縮符号化画像データ」と「画面切替データ」とを関連付けて記録媒体に記録することが規定されている。そこで、携帯端末は、記録媒体に記録された「画面切替データ」を参照することで、「圧縮符号化画像データ」の中から抽出対象の部分データを特定し、特定された部分データを抽出するまでの一連の処理を容易かつ短時間に特定することが可能になる。即ち、上述した新たな課題が解決される。
【００６３】
なお、この場合、２画面サイズの圧縮符号化画像データから抽出され得る部分データ、即ち、１画面サイズの画像に対応する部分データとしては、上述したように、１画面サイズのオリジナル画像に対応する第１の部分データ、２画面サイズのオリジナル画像のうちの１画面サイズの左側分割画像に対応する第２の部分データ、および、２画面サイズのオリジナル画像のうちの１画面サイズの右側分割画像に対応する第３の部分データ等様々な部分データが考えられる。
【００６４】
従って、例えば第１の部分データが抽出対象とされる場合には、「画面切替データ」は、例えば「対応する圧縮符号化画像データにおける、第１の部分データの配置位置を示す位置データ（以下、解像度位置データと称する）」を含むことになる。即ち、オリジナル画像の表示サイズを２画面サイズから１画面サイズに切り替える場合等に携帯端末が参照するデータとして、「画面切替データ」には「解像度位置データ」が含まれるのである。
【００６５】
また例えば、第２の部分データまたは第３の部分データが抽出対象とされる場合には、「画面切替データ」は、例えば「対応する圧縮符号化画像データにおける、第２の部分データと第３の部分データのそれぞれの配置位置を示す位置データ（以下、画面分割位置データと称する）」を含むことになる。即ち、例えば２画面サイズのオリジナル画像全体から１画面サイズの左側分割画像若しくは右側分割画像に切り替える場合、或いは、１画面サイズの右側分割画像と１画面サイズの左側分割画像とのうちの一方から他方に切り替える場合等に携帯端末が参照するデータとして、「画面切替データ」には「画面分割位置データ」が含まれるのである。
【００６６】
以上説明したように、本発明の記録フォーマットでは、２画面サイズの「圧縮符号化画像データ」と、それに対応する「画面切替データ」とを関連付けて記録媒体に記録することが規定されている。これにより、携帯端末は、「画面切替データ」を参照することで、「圧縮符号化画像データ」の中から、所望の１画面サイズの画像に対応する部分データを柔軟にかつより高速に抽出することが可能になる。
【００６７】
以下、図１乃至図１１を参照して、本発明の記録フォーマットについてさらに説明する。
【００６８】
はじめに、図１乃至図５を参照して、本発明の記録フォーマットの概略について説明する。
【００６９】
図１乃至図５には、本発明の記録フォーマットに従って図示せぬ記録媒体に記録される圧縮符号化画像データ１が示されている。また、図２乃至図５には、本発明の記録フォーマットに従って圧縮符号化画像データ１とともに記録媒体に記録される画面切替データ２が示されている。また、図１乃至図５には、第１の表示画面４Ａと第２の表示画面４Ｂとを有する表示装置４が示されている。
【００７０】
図１乃至図５の例では、図１に示される左側分割画像３Ａと右側分割画像３Ｂとが並んで形成される画像３がオリジナル画像とされている。また、そのオリジナル画像３に対応する２画面サイズの画像データ（以下、オリジナル画像データと称する）が、本発明の記録フォーマットで採用されている符号化方式に従って圧縮符号化された結果として、圧縮符号化画像データ１が得られたとされている。
【００７１】
従って、図１に図示せぬ携帯端末は、２画面サイズのオリジナル画像３を表示装置４に表示させる場合、圧縮符号化画像データ１全体を記録媒体から読み出して伸張復号し、その結果得られるオリジナル画像データを表示装置４に供給すればよい。これにより、図１に示されるように、表示装置４には、オリジナル画像データに対応する２画面サイズのオリジナル画像３が表示されるのである。即ち、表示装置４のうちの、第１の表示画面４Ａには左側分割画像３Ａが表示されるとともに、第２の表示画面４Ｂには右側分割画像３Ｂが表示されるのである。
【００７２】
さらに、図２に示されるように、圧縮符号化画像データ１は、その中から、１画面サイズのオリジナル画像３Ｃに対応する部分データ５のみを抽出することが可能なように構成されている。具体的には例えば図２の例では、圧縮符号化画像データ１のうちの部分データ１Ａと部分１Ｂとから部分データ５が構成されるように、圧縮符号化画像データ１が構成されている。
【００７３】
また、図２に図示はしないが、画面切替データ２には、上述した「解像度位置データ」として、「部分データ１Ａと部分データ１Ｂのそれぞれの配置位置を示すデータ」が含まれているとする。
【００７４】
従って、図２に図示せぬ携帯端末は、１画面サイズのオリジナル画像３Ｃを表示装置４の２画面のうちの一方、例えば第１の表示画面４Ａに表示する場合、画面切替データ２の「解像度位置データ」を参照することで、圧縮符号化画像データ１のうちの部分データ１Ａと部分データ１Ｂの抽出が必要なことを容易にかつ迅速に認識することができる。さらに、携帯端末は、画面切替データ２の「解像度位置データ」を参照することで、部分データ１Ａと部分データ１Ｂのそれぞれの配置位置を容易にかつ迅速に認識することができる。その結果、携帯端末は、圧縮符号化画像データ１のうちの部分データ１Ａと部分データ１Ｂを記録媒体から読み出し、部分データ１Ａと部分データ１Ｂから構成される部分データ５を伸張復号し、その結果得られる画像データを表示装置４に供給することができる。これにより、図２に示されるように、表示装置４の第１の表示画面４Ａには、供給された画像データに対応する１画面サイズのオリジナル画像３Ｃが表示されるのである。
【００７５】
このように、圧縮符号化画像データ１は、その一部である部分データ１Ａと部分データ１Ｂとが抽出されて伸張復号されると、元の２画面サイズのオリジナル画像３が縮小された１画面サイズのオリジナル画像３Ｃに対応する画像データが得られるように構成されている。そのような構成が可能になる符号化方式、より一般的な表現で言えば、複数の解像度のそれぞれに対応する部分データを個別に抽出可能なように画像データを圧縮符号化する符号化方式は、解像度スケーラビリティーのある符号化方式と称されている。即ち、本発明の記録フォーマットで採用可能な符号化方式のひとつとして、解像度スケーラビリティーのある符号化方式が挙げられる。
【００７６】
換言すると、解像度スケーラビリティーのある符号化方式とは、２画面サイズの圧縮符号化画像データから１画面サイズの部分データを抽出可能にする符号化方式の１形態であって、１画面サイズのオリジナル画像に対応する部分データが個別に抽出可能な符号化方式である。
【００７７】
従って、２画面サイズの圧縮符号化画像データから１画面サイズの部分データを抽出可能にする符号化方式の他の形態として、即ち、本発明の記録フォーマットで採用可能な符号化方式の他の形態として、２画面サイズのオリジナル画像から２つに分割された１画面サイズの左側分割画像と右側分割画像とのそれぞれに対応する部分データが個別に抽出可能な符号化方式も存在することになる。以下、このような符号化方式を、画面分割可能な符号化方式と称する。
【００７８】
なお、オリジナル画像が縦半分に２つに分割された左側分割画像と右側分割画像のそれぞれに対応する部分データを個別に抽出可能な符号化方式のみが、画面分割可能な符号化方式と称されるわけではない。即ち、より一般的な表現で言えば、画面分割可能な符号化方式とは、オリジナル画像が任意の方向に任意の数だけ分割された各部分画像のそれぞれに対応する部分データを個別に抽出可能なように画像データを圧縮符号化する符号化方式を指す。ただし、本実施の形態においては、画面分割可能な符号化方式の一例として、左側分割画像と右側分割画像のそれぞれに対応する部分データを個別に抽出可能な符号化方式が採用されているとする。
【００７９】
以上説明した解像度スケーラビリティーのある符号化方式と画面分割可能な符号化方式とは互いに独立した異なる符号化方式とされてもよい。即ち、本発明の記録フォーマットは、解像度スケーラビリティーのある符号化方式単体を採用してもよいし、或いは、画面分割可能な符号化方式単体を採用してもよい。
【００８０】
ただし、図１乃至図５の例では、本発明の記録フォーマットは解像度スケーラビリティーのある符号化方式と画面分割可能な符号化方式とを併せ持った符号化方式、即ち、解像度スケーラビリティーがあるとともに、画面分割可能な符号化方式が採用されているとする。２画面表示の表示方式がより多く実現可能となるからである。
【００８１】
即ち、図１乃至図５の例では、このような符号化方式に従ってオリジナル画像データが圧縮符号化され、その結果として圧縮符号化画像データ１が得られているとする。この場合、携帯端末は、この圧縮符号化画像データ１を利用することで、図２に示される１画面サイズのオリジナル画像３Ｃのみならず、１画面サイズの図１の左側分割画像３Ａまたは右側分割画像３Ｂを表示装置４の２画面のうちの一方に表示させることもできる。具体的には例えば図３に示されるように、携帯端末は、２画面サイズのオリジナル画像３のうちの右側分割画像３Ｂのみを、表示装置４の第２の表示画面４Ｂに表示させることもできる。
【００８２】
詳細には、圧縮符号化画像データ１は、その中から、１画面サイズの左側分割画像３Ａに対応する部分データ（図示せず）と、図３に示されるような、１画面サイズの右側分割画像３Ｂに対応する部分データ６のそれぞれを個別に抽出可能なように構成されている。具体的には例えば図３の例では、圧縮符号化画像データ１のうちの部分データ１Ｃが部分データ６となるように、圧縮符号化画像データ１は構成されている。
【００８３】
また、図３に図示はしないが、画面切替データ２には、上述した「画面分割位置データ」として、「左側分割画像３Ａに対応する図示せぬ部分データと、右側分割画像３Ｂに対応する部分データ１Ｃのそれぞれの配置位置を示すデータ」が含まれているとする。
【００８４】
従って、図３に図示せぬ携帯端末は、オリジナル画像のうちの右側分割画像３Ｂのみを表示させる場合、画面切替データ２の「画面分割位置データ」を参照することで、圧縮符号化画像データ１のうちの部分データ１Ｃの抽出が必要なことを容易にかつ迅速に認識することができる。さらに、携帯端末は、画面切替データ２の「画面分割位置データ」を参照することで、部分データ１Ｃの配置位置を容易にかつ迅速に認識することができる。その結果、携帯端末は、圧縮符号化画像データ１のうちの部分データ１Ｃを記録媒体から読み出し、読み出された部分データ１Ｃ、即ち、右側分割画像３Ｂに対応する部分データ６を伸張復号し、その結果得られる画像データを表示装置４に供給することができる。これにより、表示装置４の２つの表示画面のうちの一方、例えば図３の例では第２の表示画面４Ｂには、供給された画像データに対応する１画面サイズの右側分割画像３Ｂが表示されるのである。
【００８５】
さらに、例えばいま、２画面サイズの第１のオリジナル画像３に対応する第１の圧縮符号化画像データ１とその画面切替データ２の他、図４や図５に示されるように、２画面サイズの第２のオリジナル画像に対応する第２の圧縮符号化画像データ１１とその画面切替データ１２も記録媒体に記録されているとする。この場合、携帯端末は、表示装置４の２つの画面のうちの一方に、図２の１画面サイズの第１のオリジナル画像３Ｃ、図１の１画面サイズの左側分割画像３Ａ、または、図１の１画面サイズの右側分割画像３Ｂを表示させるとともに、その他方に、１画面サイズの第２のオリジナル画像またはその一部分（１画面サイズの左側分割画像や右側分割画像）を表示させることもできる。
【００８６】
詳細には例えば、図４や図５に示される圧縮符号化画像データ１１も圧縮符号化画像データ１と同様の構成を有しているとする。即ち、図４に示されるように、圧縮符号化画像データ１１も、その中から、１画面サイズの第２のオリジナル画像８Ａに対応する部分データ７を抽出可能なように構成されているとする。具体的には例えば図４の例では、圧縮符号化画像データ１１のうちの部分データ１１Ａと部分データ１１Ｂとから部分データ７が構成されるるように、圧縮符号化画像データ１１が構成されているとする。
【００８７】
また、図４に図示はしないが、画面切替データ１２には、「解像度位置データ」として、「部分データ１１Ａと部分データ１１Ｂのそれぞれの配置位置を示すデータ」が含まれているとする。
【００８８】
従って、図４に図示せぬ携帯端末は、１画面サイズの第２のオリジナル画像８Ａを表示装置４の２画面のうちの一方、例えば第２の表示画面４Ｂに表示させる場合、画面切替データ１２の「解像度位置データ」を参照することで、圧縮符号化画像データ１１のうちの部分データ１１Ａと部分データ１１Ｂの抽出が必要なことを容易にかつ迅速に認識することができる。さらに、携帯端末は、画面切替データ１２の「解像度位置データ」を参照することで、部分データ１１Ａと部分データ１１Ｂのそれぞれの配置位置を容易にかつ迅速に認識することができる。その結果、携帯端末は、圧縮符号化画像データ１１のうちの部分データ１１Ａと部分データ１１Ｂを記録媒体から読み出し、部分データ１１Ａと部分データ１１Ｂから構成される部分データ７を伸張復号し、その結果得られる画像データを表示装置４に供給することができる。
【００８９】
ほぼ同時に、携帯端末はさらに、図２を参照して上述したように、圧縮符号化画像データ１のうちの部分データ１Ａと部分データ１Ｂを記録媒体から読み出し、部分データ１Ａと部分データ１Ｂから構成される部分データ５を伸張復号し、その結果得られる画像データを表示装置４に供給することもできる。
【００９０】
これにより、表示装置４のうちの２つの表示画面のうちの一方には、例えば図４の例では第１の表示画面４Ａには、１画面サイズの第１のオリジナル画像３Ｃが表示されるとともに、その他方には、例えば図４の例では第２の表示画面４Ｂには、１画面サイズの第２のオリジナル画像８Ａが表示されるのである。
【００９１】
さらに、図５に示されるように、圧縮符号化画像データ１１は、その中から、左側分割画像８Ｂに対応する１画面サイズの部分データ９と、右側分割画像に対応する１画面サイズの部分データ（図示せず）とのそれぞれを個別に抽出可能なように構成されているとする。具体的には例えば図５の例では、圧縮符号化画像データ１１のうちの部分データ１１Ｃが部分データ９となるように、圧縮符号化画像データ１１は構成されているとする。
【００９２】
また、図５に図示はしないが、画面切替データ１２には、上述した「画面分割位置データ」として、「左側分割画像８Ｂに対応する部分データ１１Ｃと、図示せぬ右側分割画像の図示せぬ部分データのそれぞれ配置位置を示すデータ」が含まれているとする。
【００９３】
従って、図５に図示せぬ携帯端末は、第２のオリジナル画像のうちの左側分割画像８Ｂのみを表示させる場合、画面切替データ１２の「画面分割位置データ」を参照することで、圧縮符号化画像データ１１のうちの部分データ１１Ｃの抽出が必要なことを容易にかつ迅速に認識することができる。さらに、携帯端末は、画面切替データ１２の「画面分割位置データ」を参照することで、部分データ１１Ｃの配置位置を容易にかつ迅速に認識することができる。その結果、携帯端末は、圧縮符号化画像データ１１のうちの部分データ１１Ｃを記録媒体から読み出し、読み出された部分データ１１Ｃ、即ち、第２のオリジナル画像のうちの左側分割画像８Ｂに対応する部分データ９を伸張復号し、その結果得られる画像データを表示装置４に供給することができる。
【００９４】
ほぼ同時に、携帯端末はさらに、図３を参照して上述したように、圧縮符号化画像データ１のうちの部分データ１Ｃを記録媒体から読み出し、読み出された部分データ１Ｃ、即ち、第１のオリジナル画像のうちの右側分割画像３Ｂに対応する部分データ６を伸張復号し、その結果得られる画像データを表示装置４に供給することができる。
【００９５】
これにより、表示装置４の２つの表示画面のうちの一方には、例えば図４の例では第１の表示画面４Ａには、２画面サイズの第２のオリジナル画像のうちの１画面サイズの左側分割画像８Ｂが表示されるとともに、その他方には、例えば図４の例では第２の表示画面４Ｂには、２画面サイズの第１のオリジナル画像３のうちの１画面サイズの右側分割画像３Ｂが表示されるのである。
【００９６】
以上説明した本発明の記録フォーマットに従って記録媒体に記録される静止画像のデータ、即ち、静止画像に対応する圧縮符号化画像データ１とその画面切替データ２の詳細な構成例が図６に示されている。即ち、図６は、本発明の記録フォーマットに従って記録媒体に記録される静止画像のデータの詳細な構成例を示している。或いは、図６は、本発明が適用される静止画像のデータ構造の例を示しているとも言える。
【００９７】
以下、この図６を参照して、静止画像に対応する圧縮符号化画像データ１と画面切替データ２のそれぞれの詳細な構成例について説明する。
【００９８】
なお、以下、圧縮符号化画像データ１の先頭位置を基準位置０とし、その基準位置０からのオフセット位置を示す値(以下、このような値をoffsetと記述する)を用いて、上述した部分データを表現していく。例えば、図６の例では、圧縮符号化画像データ１は16000バイトのデータとされているので、offsetはバイト単位の値として表現されている。
【００９９】
上述したように、図１の左側分割画像３Ａと右側分割画像３Ｂとが並んで形成される画像３がオリジナル画像とされている。この場合、２画面サイズのオリジナル画像３に対応するオリジナル画像データ（以下、Original Dataと適宜記述する）が、本発明の記録フォーマットで採用されている符号化方式、例えば、解像度スケーラビリティーがあり、かつ画面分割可能な符号化方式に従って圧縮符号化されると、例えば図６に示される構成の２画面サイズの圧縮符号化画像データ１が得られ、その圧縮符号化画像データ１が記録媒体に記録されることになる。
【０１００】
従って、図６には図示せぬ携帯端末は、上述したように、記録媒体に記録された圧縮符号化画像データ１全体を読み出して伸張復号することで、２画面サイズのオリジナル画像データを得ることが可能になる。
【０１０１】
ところで、図６に示されるように、この圧縮符号化画像データ１は、8000バイトのLeft Side Dataと、8000バイトのRight Side Dataとがその順番に並んで構成されている。Left Side Dataとは、図１の１画面サイズの左側分割画像３Ａに対応する部分データである。また、Right Side Dataとは、図１の１画面サイズの右側分割画像３Ｂに対応する部分データである。
【０１０２】
即ち、offsetが0-8000までの範囲に配置されたデータが、左側分割画像３Ａに対応するLeft Side Dataとされている。また、offsetが8000-16000までの範囲に配置されたデータが、右側分割画像３Ｂに対応するRight Side Dataとされている。
【０１０３】
従って、携帯端末は、記録媒体に記録された圧縮符号化画像データ１からLeft Side Dataのみを抽出して伸張復号することで、図１の２画面サイズのオリジナル画像３のうちの１画面サイズの左側分割画像３Ａに対応する画像データを得ることが可能になる。
【０１０４】
このとき、抽出対象のLeft Side Dataの配置位置を携帯端末が容易かつ迅速に特定できるように、図６の例の画面切替データ２には、上述した「画面分割位置データ」の一部として［Left Side Data Information］が含まれている。図６に示されるように、この［Left Side Data Information］には、「0-8000」という情報、即ち、offsetが0-8000までの範囲に配置されるデータがLeft Side Dataであることを示す情報が記述されている。
【０１０５】
同様に、携帯端末は、記録媒体に記録された圧縮符号化画像データ１からRight Side Dataのみを抽出して伸張復号することで、図１の２画面サイズのオリジナル画像３のうちの１画面サイズの右側分割画像３Ｂに対応する画像データを得ることが可能になる。即ち、上述した図３の部分データ１Ｃが、図６のRight Side Dataに対応する。
【０１０６】
このとき、抽出対象のRight Side Dataの配置位置を携帯端末が容易かつ迅速に特定できるように、図６の例の画面切替データ２には、上述した「画面分割位置データ」の一部として［Right Side Data Information］が含まれている。図６に示されるように、この［Right Side Data Information］には、「8000-16000」という情報、即ち、offsetが8000-16000までの範囲に配置されるデータがRight Side Dataであることを示す情報が記述されている。
【０１０７】
即ち、［画面分割位置データ］として、図６の例では、［Right Side Data Information］と［Left Side Data Information］とが設けられている。
【０１０８】
なお、左側分割画像３Ａに対応するLeft Side Dataと、右側分割画像３Ｂに対応するRightSidedataとの並び順は、図６の例に限定されず、図示はしないが、先頭にRight Side Dataが配置され、その後、Left Side Dataが配置されてもよい。ただし、この場合、[Left Side Data Information]には[8000-16000]という情報が、[Right Side Data Information]には[0-8000]という情報が、それぞれ記述されることになる。
【０１０９】
さらに、図６の圧縮符号化画像データ１においては、左側分割画像３Ａに対応するLeft Side Dataの先頭部分（offsetが0-3000の範囲）には、図２の１画面サイズのオリジナル画像３Ｃが表示される場合に利用される部分データとして、3000バイトのScale Down Data[L]が配置されている。
【０１１０】
同様に、圧縮符号化画像データ１においては、右側分割画像３Ｂに対応するRight Side Dataの先頭部分（offsetが8000-11000の範囲）には、１画面サイズのオリジナル画像３Ｃが表示される場合に利用される部分データとして、3000バイトのScale Down Data[R]が配置されている。
【０１１１】
従って、携帯端末は、記録媒体に記録された圧縮符号化画像データ１からScale Down Data[L]とScale Down Data[R]とを抽出し、それらから構成される部分データを伸張復号することで、上述した図２の１画面サイズのオリジナル画像３Ｃに対応する画像データを得ることが可能になる。即ち、上述した図２の部分データ１Ａが図６のScale Down Data[L]に対応し、部分データ１Ｂが図６のScale Down Data[R]に対応する。
【０１１２】
このとき、抽出対象のScale Down Data[L]とScale Down Data[R]の配置位置を携帯端末が容易かつ迅速に特定できるように、図６の例の画面切替データ２には、上述した「解像度位置データ」として［Scale Down Data Information］が含まれている。図６に示されるように、この［Scale Down Data Information］には、「0-3000，8000-11000」という情報、即ち、offsetが0-3000までの範囲に配置されるデータがScale Down Data[L]であり、かつ、offsetが8000-11000までの範囲に配置されるデータがScale Down Data[R]であることを示す情報が記述されている。
【０１１３】
その他、図６の画面切替データ２には、［original Data Information］が含まれている。この［original Data Information］には、オリジナル画像データそのものに関する情報が記述される。例えば図６の例の［original Data Information］には、「Width:640,Height:480」という情報、即ち、２画面サイズとは、横方向のサイズが640画素分であり、かつ縦方向のサイズが480画素分であることを示す情報が記述されている。
【０１１４】
以上、図６を参照して、図１乃至図５の圧縮符号化画像データ１とその画面切替データ２の詳細な構成例を説明した。
【０１１５】
ところで、図４と図５に示される圧縮符号化画像データ１１とその画面切替データ１２とのそれぞれも、図６の圧縮符号化画像データ１と画面切替データ２のそれぞれと基本的に同様の構成となる。ただし、この場合のoffsetは異なることがある。
【０１１６】
即ち、本発明の記録フォーマットの符号化方式として、解像度スケーラビリティーがあり、かつ画面分割可能な符号化方式が採用され、その符号化方式に従って、２画面サイズの所定の静止画像が圧縮符号化された結果得られる圧縮符号化画像データも、図６の圧縮符号化画像データ１と同様の構成となる。ただし、この場合のoffsetは異なることがある。また、その圧縮符号化画像データに対応する画面切替データも、図６の画面切替データ２と基本的に同様の構成となる。
【０１１７】
即ち、結局図６は、解像度スケーラビリティーがあり、かつ画面分割可能な符号化方式を採用した本発明の記録フォーマットに従って記録媒体に記録される静止画像のデータ構造例を示していることになる。
【０１１８】
ところで、以上説明したような解像度スケーラビリティーがあり、かつ、画面分割可能な静止画像に対する符号化方式として、例えばJPEG（Joint Photographic Experts Group）やJPEG2000が採用可能である。即ち、本発明の記録フォーマットの静止画像に対する符号化方式として、JPEGやJPEG2000が採用可能である。
【０１１９】
なぜならば、解像度スケーラビリティーがある符号化方式を実現可能な技術として、JPEGはhierarchicalと称される技術を、JPEG2000はwavelet分割と称される技術を、それぞれ有しているからである。また、画面分割可能な符号化方式を実現可能な技術として、JPEGとJPEG2000とはいずれもタイリングと称される技術を有しているからである。
【０１２０】
例えば、本発明の記録フォーマットの静止画像に対する符号化方式としてJPEG2000が採用された場合には、この記録フォーマットに従って記録媒体に記録される静止画像のデータ、即ち、静止画像に対応する圧縮符号化画像データ１とその画面切替データ２は、図７に示される構成となる。即ち、図７は、JPEG2000が採用された場合における本発明の記録フォーマットに従って記録媒体に記録される静止画像のデータの詳細な構成例を示している。或いは、図７は、JPEG2000が採用された場合における本発明の静止画像のデータ構造の例を示しているとも言える。
【０１２１】
以下、この図７を参照して、JPEG2000の圧縮符号化画像データ１と画面切替データ２のそれぞれの詳細な構成例について説明する。
【０１２２】
上述したように、図１の左側分割画像３Ａと右側分割画像３Ｂとが並んで形成される静止画像３がオリジナル画像とされている。従って、JPEG2000では、左側分割画像３Ａと右側分割画像３Ｂとのそれぞれが１つのタイルとして取り扱われる。
【０１２３】
また、JPEG2000では、各タイルのそれぞれについて、所定の種類の品種に着目して階層符号化を行うことができる。なお、JPEG2000における品質の種類とは、画質、空間解像度、位置（空間領域）、およびコンポーネントを指す。そこで、例えば、空間解像度に着目し、また、その階層数を２レベルとし、即ち、２画面サイズを最高解像度であるレベル１とし、１画面サイズをレベル０として、オリジナル画像データがJPEG2000に従って圧縮符号化されると、図７に示される構成の２画面サイズの圧縮符号化画像データ１が得られ、その圧縮符号化画像データ１が記録媒体に記録されることになる。
【０１２４】
従って、図８に示されるように、同図には図示せぬ携帯端末は、記録媒体に記録された圧縮符号化画像データ１全体を読み出してJPEG2000に従って伸張復号することで、２画面サイズのオリジナル画像データを得ることが可能になる。そして、この画像データが表示装置４に供給されれば、同図に示されるように、２画面サイズのオリジナル画像３が２画面に表示されるのである。即ち、表示装置４のうちの、第１の表示画面４Ａには左側分割画像３Ａが表示され、第２の表示画面４Ｂには右側分割画像３Ｂが表示されるのである。
【０１２５】
図７に戻り、このJPEG2000の圧縮符号化画像データ１は、Main Header,Tile Header[L],Data[L0],Data[L1],Tile Header[R],Data[R0],Data[R1]がその順番に配置されて構成されている。
【０１２６】
Main Headerには、オリジナル画像データ全体に関する各種情報が記述される。これに対して、Tile Headerには、オリジナル画像から分割された各タイルのそれぞれに関する各種情報が記述される。また、所定のタイルについてのTile Headerの後には、そのタイルに対応するData（部分データ）が配置される。即ち、第１のタイルについての、Tile Headerと、その第１のタイルに対応するDataが配置された後、第２のタイルについてのTile Headerと、その第２のタイルに対応するDataが配置されることになる。
【０１２７】
具体的には例えばここでは、図１の２画面サイズのオリジナル画像３が左右２つのタイルに分割され、そのうちの左側のタイルが図１の左側分割画像３Ａと称され、右側のタイルが図１の右側分割画像３Ｂと称されている。従って、例えば図７に示されるように、Main Headerの後には、左側分割画像３Ａに対応するTile Header［L］が配置され、そのTile Header［L］に続いて、左側分割画像３Ａに対応する部分データとして、Data［L0］とData[L1]が配置されることになる。そして、このData［L1］の後に、今度は、右側分割画像３Ｂに対応するTile Header［R］が配置され、そのTile Header［R］に続いて、右側分割画像３Ｂに対応する部分データとして、Data［R0］とData[R1]が配置されることになる。
【０１２８】
ところで、圧縮符号化画像データ１の構成として図６と図７とを比較すると、図６のLeft Side Dataが図７のData[L0]とData[L1]との組に対応し、図６のScale Down Data[L]が図７のData[L0]に対応することがわかる。同様に、図６のRight Side Dataが図７のData[R0]とData[R1]との組に対応し、図６のScale Down Data[R]が図７のData[R0]に対応することがわかる。
【０１２９】
このため、図７においても、図６と同様の構成を有する画面切替データ２が示されている。
【０１３０】
ただし、JPEG2000においては、伸張復号処理のときにMain Headerと対応するTile Headerも必要となるので、解像度レベル１で左側分割画像３Ａを表示させるための伸張復号処理には、Data[L0]とData[L1]だけではなく、Main HeaderとTile Header[L]も必要になる。即ち、解像度レベル１で左側分割画像３Ａを表示させる場合に抽出すべきデータは、offsetがA-Dまでの範囲に配置されているデータとなる。従って、このことを示す情報として、「A-D」という情報が［Left Side Data Information］に記述されているのである。
【０１３１】
なお、オリジナル画像の解像度レベル１での再生とは、上述した図８の２画面サイズのオリジナル画像３の再生を指す。また、オリジナル画像の解像度レベル０での再生とは、後述する図９（または上述した図２）の１画面サイズのオリジナル画像３Ｃの再生を指す。従って、左側分割画像３Ａの解像度レベル１での再生とは、１画面サイズの左側分割画像３Ａの再生を示す。
【０１３２】
同様に、解像度レベル１で右側分割画像３Ｂを表示させるための伸張復号処理には、Data[R0]とData[R1]だけではなく、Main HeaderとTile Header［R］も必要になる。即ち、解像度レベル１で右側分割画像３Ｂを表示させる場合に抽出すべきデータは、offsetがA-Bまでの範囲に配置されているデータ、および、offsetがD-Fまでの範囲に配置されているデータとなる。従って、このことを示す情報として、「A-B，D-F」という情報が［Right Side Data Information］に記述されているのである。なお、左側分割画像３Ａの解像度レベル１での再生と同様に、右側分割画像３Ｂの解像度レベル１での再生とは、１画面サイズの右側分割画像３Ｂの再生を示す。
【０１３３】
また、解像度レベル０でオリジナル画像を表示させるための、即ち、１画面サイズのオリジナル画像３Ｃを表示させるための伸張復号処理には、Data[L0]とData[R0]だけではなく、Main Header，Tile Header［L］, Tile Header［R］も必要になる。即ち、解像度レベル０でオリジナル画像を表示させる場合に抽出すべきデータは、offsetがA-Cまでの範囲に配置されているデータ、および、offsetがD-Eまでの範囲に配置されているデータとなる。従って、このことを示す情報として、「A-C，D-E」という情報が［Scale Down Data Information］に記述されているのである。
【０１３４】
従って、例えば図９に示されるように、同図に図示せぬ携帯端末は、１画面サイズのオリジナル画像３Ｃを表示装置４の２画面のうちの一方、例えば第１の表示画面４Ａに表示させる場合、画面切替データ２の「Scale Down Data Information」を参照することで、JPEG2000の圧縮符号化画像データ１のうちのoffsetがA-Cの範囲に配置される部分データとoffsetがD-Eの範囲に配置される部分データの抽出が必要なことを容易にかつ迅速に認識することができる。その結果、携帯端末は、圧縮符号化画像データ１のうちの認識された２つの部分データを記録媒体から読み出し、それらの２つの部分データから構成される部分データ５、即ち、Main Header,Tile Header[L],Data[L0],Tile Header[R],Data[R0]がその順番に配置されて構成される部分データ５を伸張復号し、その結果得られる画像データを表示装置４に供給することができる。これにより、表示装置４の第１の表示画面４Ａには、供給された画像データに対応する１画面サイズのオリジナル画像３Ｃが表示されるのである。
【０１３５】
また、例えば図１０に示されるように、同図に図示せぬ携帯端末は、２画面サイズのオリジナル画像３のうちの右側分割画像３Ｂのみを表示させる場合、画面切替データ２の「Right Side Data Information」を参照することで、JPEG2000の圧縮符号化画像データ１のうちのoffsetがA-Bの範囲に配置される部分データとoffsetがD-Fの範囲に配置される部分データの抽出が必要なことを容易にかつ迅速に認識することができる。その結果、携帯端末は、圧縮符号化画像データ１のうちの認識された２つの部分データを記録媒体から読み出し、それらの２つの部分データから構成される部分データ６、即ち、Main Header,Tile Header[R],Data[R0],Data[R1]がその順番に配置されて構成される部分データ６を伸張復号し、その結果得られる画像データを表示装置４に供給することができる。これにより、表示装置４の２つの表示画面のうちの一方、例えば図１０の例では第２の表示画面４Ｂには、供給された画像データに対応する１画面サイズの右側分割画像３Ｂが表示されるのである。
【０１３６】
以上、図６乃至図１０を参照して、本発明の記録フォーマットのうちの、静止画像に対する記録フォーマットについて説明した。
【０１３７】
ところで、上述したように、本発明の記録フォーマットは、静止画像のみならず動画像にも対応可能である。
【０１３８】
なお、動画像を構成する単位は、フレームやフィールド等幾つかの単位（以下、このような動画像を構成する単位をまとめてアクセスユニットとも称する）を採用することが可能である。ただし、ここでは、以下、動画像を構成する単位はフレームであるとして説明していく。
【０１３９】
例えば、本発明の記録フォーマットは、動画像データに対する符号化方式として、上述したJPEG2000を採用することが可能である。
【０１４０】
この場合、この記録フォーマットに従って記録媒体に記録されるデータとは、その動画像を構成する各フレームのそれぞれ毎に圧縮符号化され、その結果得られる各フレームのそれぞれに対応する圧縮符号化画像データの組（以下、このような組を圧縮符号化動画像データと称する）と、各フレームのそれぞれに対応する画面切替データの組（以下、このような組を画面切替データ群と称する）となる。
【０１４１】
JPEG2000では、１つのフレームに対応する圧縮符号化画像データとは、他のフレームの画像データを利用することなく、対応するフレームの画像データがそのまま圧縮符号化されたデータである。
【０１４２】
従って、例えばいま、動画像を構成する各フレームのそれぞれが、左側分割画像と右側分割画像といった２つのタイルに分割されてそれらの２つのタイルの個別表示が可能なように、かつ、上述した１画面サイズや２画面サイズといった２レベルでの解像度での表示が可能なように、その動画像がJPEG2000に従って圧縮符号化されたとする。この場合、その結果得られる圧縮符号化動画像データは、各フレームのそれぞれに対応する圧縮符号化画像データの組となるが、各フレームのそれぞれに対応する圧縮符号化画像データは、上述した図７の圧縮符号化画像データ１と基本的に同様の構成をそれぞれ有することになる。これに伴い、各フレームのそれぞれに対応する画面切替データも、図７の画面切替データ２と基本的に同様の構成をそれぞれ有することになる。従って、各フレームのそれぞれに対応する図７の構成を有する画面切替データの組が画面切替データ群となる。
【０１４３】
このようなJPEG2000の他さらに、本発明の記録フォーマットは、動画像データに対する符号化方式として、例えばMPEG４(Moving Picture Experts Group ４)を採用することもできる。
【０１４４】
この場合、この記録フォーマットに従って記録媒体に記録されるデータとは、図１１に示されるような圧縮符号化動画像データ５１と、それに対応する画面切替データ群５２となる。即ち、図１１は、MPEG4が採用された場合における本発明の記録フォーマットに従って記録媒体に記録される動画像のデータの詳細な構成例を示している。或いは、図１１は、MPEG4が採用された場合における本発明の動画像のデータ構造の例を示しているとも言える。
【０１４５】
以下、この図１１を参照して、MPEG4の圧縮符号化動画像データ５１と画面切替データ群５２のそれぞれの詳細な構成例について説明する。
【０１４６】
図１１に示されるように、MPEG4の圧縮符号化動画像データ５１は、各フレームのそれぞれに対応する圧縮符号化データが再生順番に配置されて構成される。例えば図１１の例では、１番目のフレームに対応する圧縮符号化データとして、オフセットが0-8000の範囲にOrginal Data1が配置されている。それに続いて、２番目のフレームに対応する圧縮符号化データとして、オフセットが8000-16000の範囲にOrginal Data２が配置されている。それに続いて、３番目のフレームに対応する圧縮符号化データとして、オフセットが16000-24000の範囲にOrginal Data３が配置されている。それらに続いて、以下、図１１には図示されていないが、４番目以降の各フレームのそれぞれに対応する圧縮符号化データが順次配置されていくことになる。
【０１４７】
ところで、MPEG４とは、解像度スケーラビリティーのある符号化方式のひとつである。なぜならば、解像度スケーラビリティーのある符号化方式を実現可能な技術として、MPEG４はFGS(Fine Granularity Scalable）を有しているからである。
【０１４８】
このため、Original Data1の先頭部分（offsetが0-3000の範囲）には、3000バイトのScale Down Data1が配置されている。即ち、例えばいま、Original Data1が抽出されて伸張復号されると、１番目のフレームに対応する２画面サイズの（解像度レベル１の）画像データが得られるとする。この場合、図６で説明したように、Scale Down Data1が抽出されて伸張復号されると、１番目のフレームに対応する１画面サイズの（解像度レベル０の）画像データが得られることになる。
【０１４９】
従って、Original Data1、または、Scale Down Data１の配置位置を携帯端末が容易かつ迅速に特定できるように、図１１の例の画面切替データ群５２には、［Original Data 1 Information］と［Scale Down Data 1 Information］からなる画面切替データ５２Ｂ、即ち、１番目のフレームに対応する画面切替データ５２Ｂが含まれている。
【０１５０】
図１１に示されるように、画面切替データ５２Ｂのうちの［Original Data 1 Information］には、「0-8000」という情報、即ち、offsetが0-8000までの範囲に配置されるデータが、１番目のフレームに対応する２画面サイズ（オリジナルサイズ）の圧縮符号化画像データであることを示す情報が記述されている。また、画面切替データ５２Ｂのうちの［Scale Down Data 1 Information］には、「0-3000」という情報、即ち、offsetが0-3000までの範囲に配置されるデータが、１番目のフレームに対応する１画面サイズの（解像度が落とされた）圧縮符号化画像データであることを示す情報が記述されている。
【０１５１】
なお、圧縮符号化動画像データ５１全体から見た場合、Original Data1も、Scale Down Data１も、圧縮符号化動画像データ５１の中から抽出対象となり得る部分データであると言える。従って、画面切替データ群５２全体から見た場合、即ち、画面切替データ群５２とは１つの画面切替データ５２であると捉えた場合、画面切替データ５２Ｂとは、Original Data1とScale Down Data１といったそれぞれの部分データの配置位置を示す位置データ５２Ｂであるとも言える。
【０１５２】
このことは、他のフレームについても同様である。即ち、圧縮符号化動画像データ５１から見た場合、Original Data2、Scale Down Data2、Original Data3、および、Scale Down Data3はいずれも部分データであると言える。また、画面切替データ群５２から見た場合、後述する２番目のフレームの画面切替データ５２Ｃと３番目のフレームの画面切替データ５２Ｄとはいずれも位置データであると言える。さらに、このことは、上述したJPEG2000の圧縮符号化動画像データとそれに対応する画面切替データ群についても同様である。
【０１５３】
ところで、MPEG4では、Ｉピクチャ（Intra-Picture）、Ｐピクチャ（Predictive-Picture）、およびＢピクチャ（Bidirectionally Predictive-Picture）のうちのいずれかの予測モードで各フレームの画像データのそれぞれが予測され、それらの予測誤差のそれぞれが符号化（エンコード）される。従って、その結果得られるIピクチャの符号化データ、Ｐピクチャの符号化データ、および、Ｂピクチャの符号化データのうちのいずれかが、各フレームのそれぞれの圧縮符号化データになる。
【０１５４】
Ｉピクチャの符号化データとは、対応する１フレーム分の画像データが、他のフレームの画像データを利用することなくそのまま符号化された結果得られるデータである。一方、Ｐピクチャの符号化データとは、基本的には、対応する１フレーム分の画像データと、それより時間的に先行するＩピクチャまたはＰピクチャの画像データとの差分が符号化された結果得られるデータである。また、Ｂピクチャの符号化データは、基本的には、対応する１フレーム分の画像データと、時間的に先行するＩピクチャ若しくはＰピクチャの画像データまたは後行するＩピクチャ若しくはＰピクチャからの画像データとの差分が符号化された結果得られるデータである。
【０１５５】
従って、MPEG４に従って動画像信号が圧縮符号化された結果得られた図１１の圧縮符号化動画像データ５１についても全く同様に、Original Data1,Original Data2,Original Data3といった各フレームのそれぞれの圧縮符号化画像データは、Ｉピクチャの符号化データ、Ｐピクチャの符号化データ、および、Ｂピクチャの符号化データのうちのいずれかとなる。
【０１５６】
従って、携帯端末は、圧縮符号化動画像データ５１のうちの、処理対象のフレームの圧縮符号化画像データを伸張復号して、処理対象のフレームの画像データを復元する場合、その圧縮符号化画像データがＢピクチャまたはＰピクチャの符号化データであるときには、処理対象の前後のフレームの画像データを利用しなければならない。このため、図１１の例の画面切替データ群５２内の各フレームのそれぞれに対応する画面切替データ５２Ｂ乃至５２Ｄ等には、対応するフレームのタイプを示す情報、即ち、Ｉピクチャを示す「Ｉ」、Ｐピクチャを示す「Ｐ」、および、Ｂピクチャを示す「Ｂ」のうちのいずれかが含まれているのである。例えば、画面切替データ５２Ｂの［Original Data 1 Information］と［Scale Down Data 1 Information］のそれぞれには「Ｉ」が含まれていることから、１番目のフレームはＩピクチャであることがわかる。
【０１５７】
ところで、以上のOriginal Data1と同様に、Original Data2の先頭部分（offsetが8000-11000の範囲）には、3000バイトのScale Down Data2が配置されている。従って、Original Data2が抽出されて伸張復号されると、２番目のフレームに対応する２画面サイズの画像データが得られるのに対して、Scale Down Data2が抽出されて伸張復号されると、２番目のフレームに対応する１画面サイズの画像データが得られることになる。
【０１５８】
このとき、抽出対象となり得るOriginal Data2、または、Scale Down Data2の配置位置を携帯端末が容易かつ迅速に特定できるように、図１１の例の画面切替データ群５２には、［Original Data 2 Information］と［Scale Down Data 2 Information］からなる画面切替データ５２Ｃ、即ち、２番目のフレームに対応する画面切替データ５２Ｃが含まれている。
【０１５９】
図１１に示されるように、画面切替データ５２Ｃのうちの［Original Data 2 Information］には、「8000-16000」という情報、即ち、offsetが8000-16000までの範囲に配置されるデータが、２番目のフレームに対応する２画面サイズの圧縮符号化画像データであることを示す情報が記述されている。また、画面切替データ５２Ｃのうちの［Scale Down Data 2 Information］には、「8000-11000」という情報、即ち、offsetが8000-11000までの範囲に配置されるデータが、２番目のフレームに対応する１画面サイズの圧縮符号化画像データであることを示す情報が記述されている。
【０１６０】
また、画面切替データ５２Ｃの［Original Data 2 Information］と［Scale Down Data 2 Information］のそれぞれには、２番目のフレームのタイプがＰピクチャであることを示す「Ｐ」という情報が記述されている。
【０１６１】
以上のOriginal Data1やOriginal Data2と同様に、Original Data3の先頭部分（offsetが16000-19000の範囲）には、3000バイトのScale Down Data3が配置されている。従って、Original Data3が抽出されて伸張復号されると、３番目のフレームに対応する２画面サイズの画像データが得られるのに対して、Scale Down Data3が抽出されて伸張復号されると、３番目のフレームに対応する１画面サイズの画像データが得られることになる。
【０１６２】
このとき、抽出対象となり得るOriginal Data3、または、Scale Down Data3の配置位置を携帯端末が容易かつ迅速に特定できるように、図１１の例の画面切替データ群５２には、［Original Data 3 Information］と［Scale Down Data 3 Information］からなる画面切替データ５２Ｄ、即ち、３番目のフレームに対応する画面切替データ５２Ｄが含まれている。
【０１６３】
図１１に示されるように、画面切替データ５２Ｄのうちの［Original Data 3 Information］には、「16000-24000」という情報、即ち、offsetが16000-24000までの範囲に配置されるデータが、３番目のフレームに対応する２画面サイズの圧縮符号化画像データであることを示す情報が記述されている。また、画面切替データ５２Ｄのうちの［Scale Down Data 3 Information］には、「16000-19000」という情報、即ち、offsetが16000-19000までの範囲に配置されるデータが、３番目のフレームに対応する１画面サイズの圧縮符号化画像データであることを示す情報が記述されている。
【０１６４】
また、画面切替データ５２Ｄの［Original Data 3 Information］と［Scale Down Data 3 Information］のそれぞれには、３番目のフレームのタイプがＢピクチャであることを示す「Ｂ」という情報が記述されている。
【０１６５】
以下、図１１には図示はされていないが、画面切替データ５２Ｄに続いて、４番目以降の各フレームのそれぞれに対応する画面切替データも再生順番に従って順次配置されていくことになる。
【０１６６】
また、図１１の画面切替データ群５２には、その先頭に［original Data Information］が含まれている。この［original Data Information］には、オリジナル画像データに共通する情報、即ち、各フレームのそれぞれに対応する２画面サイズの画像データにに共通する情報が記述される。例えば図１１の例の［original Data Information］には、「Width:640,Height:480」という情報、即ち、２画面サイズとは、横方向のサイズが640画素分であり、かつ縦方向のサイズが480画素分であることを示す情報が記述されている。
【０１６７】
なお、上述した図１１の例では、MPEG4の動画像を構成する各フレームのそれぞれのタイプは、対応するフレームの画面切替データに記述されていたが、この［Original Data Information］にまとめて記述されてもよい。
【０１６８】
また、上述した図１１の例では、MPEG4の圧縮符号化動画像データ５１には、図６の例と対比させるために、各フレーム毎のScale Down DataとOriginal Dataとが含まれるとしたが、実際には、Scale Down Dataは「Base-Layerデータ」で、Original Dataは「B ase-Layerデータ」と「Enhancement-Layerデータ」との組み合わせで、それぞれ構成されることになる。
【０１６９】
以上、図１乃至図１１を参照して、本発明の記録フォーマットについて説明した。
【０１７０】
このように、本発明の記録フォーマットに従って記録媒体に記録される圧縮符号化画像データ、即ち、２画面サイズの圧縮符号化画像データは、次のような特徴を有している。即ち、２画面サイズのオリジナル画像が２つに分割された１画面サイズの左側分割画像若しくは右側分割画像、または、１画面サイズ（縮小サイズ）のオリジナル画像に対応する部分データのそれぞれが、圧縮符号化画像データ全体の伸張復号を伴うことなく抽出可能となる特徴が、２画面サイズの圧縮符号化画像データが有する特徴である。
【０１７１】
さらに、本発明の記録フォーマットにおいては、これらの部分データを容易にかつ柔軟に取り出せるように、先頭からのオフセットサイズ等の各部分データの配置位置を示す画面切替データが、対応する符号化画像データとともに記録媒体に記録されることが規定されている。
【０１７２】
これにより、携帯端末は、必要な部分データのみを容易にアクセスして抽出することができるようになり、その結果、必要以上のデータを伸張復号するという無駄な処理を実行することなく、最低限のデータだけを伸張符号することができる。
【０１７３】
ただし、この画面切替データは、対応する圧縮符号化画像データとは別のファイルに保存されていてもよいし、或いは、対応する圧縮符号化画像データ内のユーザ定義領域などに書き込まれていてもよい。即ち、画像切替データの記録場所は、圧縮符号化画像データから部分データを抽出するときに携帯端末が参照可能な場所であれば特に限定されない。
【０１７４】
さらに、本発明の記録フォーマットに従って記録媒体に記録される対象が動画像の場合、即ち、圧縮符号化動画像データが記録媒体に記録される場合、各フレーム（ピクチャ）毎に１つの画面切替データが作成され、それらの画面切替データの組が画面切替データ群として、圧縮符号化動画像データと関連付けられて記録媒体に記録される。従って、携帯端末は、この画面切替データ群を参照することで、静止画像と同様に再生開始時から、２画面表示の様々な表示形方式うちの任意の表示方式で動画像を再生できるととともに、再生途中での表示方式の切り替えも容易に行うことができる。
【０１７５】
なお、上述した動画像の例では、各フレームデータ、即ち、各フレームのそれぞれに対応する圧縮符号化画像データのサイズがそれぞれ異なる可能性を考慮して、各フレームデータ毎に１つの画面切替データを設けるようにしたが（上述した図１１参照）、各フレームデータのサイズを統一することで、即ち、各フレーム毎のoriginal DataとScale Down Dataのそれぞれのサイズを統一することで、画面切替データを１つにまとめることができる。
【０１７６】
次に、図１２乃至図１８を参照して、このような本発明の記録フォーマットを利用する情報処理システム、即ち、本発明が適用される情報処理システムについて説明する。
【０１７７】
図１２は、本発明が適用される情報処理システムの構成の一例を示す図である。
【０１７８】
図１２に示されるように、この情報処理システムは、画像配信装置（サーバ）１０１と、これまで携帯端末と称していた画像再生装置（クライアント）１０２とから構成される。
【０１７９】
画像配信装置１０１は、上述した本発明の記録フォーマットに従って２画面サイズのオリジナル画像データを圧縮符号化し、その結果得られる２画面サイズの圧縮符号化画像データを所定の記録媒体に記録させるとともに、その圧縮符号化画像データに対応する上述した画面切替データをその記録媒体に記録させる。
【０１８０】
なお、圧縮符号化画像データと画面切替データとが記録される記録媒体は、画像配信装置１０１自身（例えば、後述する図１３の画像記憶部１１４）でもよいし、リムーバブル記録媒体１０４でもよいし、或いは、画像再生装置１０２（例えば、後述する図１４の画像記憶部１５３）でもよい。
【０１８１】
ただし、ここでは、後述する図１３に示されるように、圧縮符号化画像データと画面切替データは、画像配信装置１０１内の画像記憶部１１４に一旦記録されるとする。
【０１８２】
即ち、画像配信装置１０１は、圧縮符号化画像データと画面切替データとを内部の画像記憶部１１４に一旦記録させた後、必要に応じて、リムーバブル記録媒体１０４に記録させたり、或いは、ネットワーク１０３を介して画像再生装置１０２に配信することになる。
【０１８３】
従って、画像再生装置１０２側から見れば、圧縮符号化画像データと画面切替データとは、画像配信装置１０１からネットワーク１０３またはリムーバブル記録媒体１０４を介して配信されてくることになる。
【０１８４】
画像再生装置１０２は、このようにして画像配信装置１０１から配信された圧縮符号化画像データと画面切替データとを用いて、オリジナル画像を所望の再生方式（表示方式）で再生することができる。
【０１８５】
例えば、画像再生装置１０２は、２画面サイズのオリジナル画像を２画面全体に表示させる場合には、圧縮符号化画像データ全体を伸張復号し、その結果得られる画像データを表示装置（例えば後述する図１４の表示部１５９）に適する形態の画像信号に変換し、その画像信号を表示装置に供給する、といった第１の処理を実行することができる。これにより、表示装置の２画面全体には、２画面サイズのオリジナル画像が表示されるのである（例えば上述した図１参照）。
【０１８６】
また例えば、画像再生装置１０２は、１画面サイズの（解像度が落とされた）オリジナル画像を、２画面のうちの一方に表示させる場合には、画面切替データを参照して、圧縮符号化画像データの中から対応する部分データのみを抽出して伸張復号し、その結果得られる画像データを表示装置に適する形態の画像信号に変換し、その画像信号を表示装置に供給する、といった第２の処理を実行することができる。これにより、表示装置の２画面のうちの一方には、１画面サイズのオリジナル画像が表示されるのである（例えば上述した図２参照）。
【０１８７】
また例えば、画像再生装置１０２は、２画面サイズのオリジナル画像が２つに分割された１画面サイズの左側分割画像と右側分割画像とのうちの一方を、２画面のうちの一方に表示させる場合には、画面切替データを参照して、圧縮符号化画像データの中から対応する部分データのみを抽出して伸張復号し、その結果得られる画像データを表示装置に適する形態の画像信号に変換し、その画像信号を表示装置に供給する、といった第３の処理を実行することができる。これにより、表示装置の２画面のうちの一方には、１画面サイズの左側分割画像または右側分割画像が表示されるのである（例えば上述した図３参照）。
【０１８８】
さらに、例えば、第１のオリジナル画像に対応する第１の圧縮符号化画像データとその第１の画面切替データの他、第２のオリジナル画像に対応する第２の圧縮符号化画像データとその第２の画面切替データも画像再生装置１０２に配信されたとする。この場合、上述したように、画像再生装置１０２は、第１の画面切替データを参照して上述した第２の処理と第３の処理のうちの一方を第１の圧縮符号化画像データに施すとともに、第２の画面切替データを参照して上述した第２の処理と第３の処理のうちの一方を第２の圧縮符号化画像データに施すことができる。その結果、表示装置の２画面のうちの一方には、第１のオリジナル画像またはその一部分（左側分割画像や右側分割画像）が表示され、他方には、第２のオリジナル画像またはその一部分が表示されるのである。
【０１８９】
このような情報処理システムを構成する画像配信装置１０１と画像再生装置１０２のそれぞれの機能的構成例が、図１３と図１４のそれぞれに示されている。そこで、以下、はじめに、図１３を参照して、画像配信装置１０１の機能的構成例を説明し、その次に、図１４を参照して、画像再生装置１０２の機能的構成例について説明する。
【０１９０】
図１３に示されるように、画像配信装置１０１には、切替設定部１１１乃至記録制御部１１６が設けられている。
【０１９１】
切替設定部１１１は、図１４の画像再生装置１０２によりオリジナル画像が再生される場合に切り替えられる可能性のある表示方式を設定し、その設定を示す情報（以下、切替設定情報と称する）を圧縮符号化部１１２に供給する。図１４の画像再生装置１０２によりオリジナル画像が再生される場合に切り替えられる可能性のある表示方式とは、例えば上述した例では、２画面サイズのオリジナル画像が表示される表示方式（以下、オリジナル表示方式と称する）、２画面サイズのオリジナル画像が２つに分割された左側分割画像と右側分割画像とのうちの一方が表示される表示方式（以下、分割画面表示方式と称する）、および、１画面サイズの（解像度が落とされた）オリジナル画像が表示される表示方式（以下、縮小表示方式と称する）を指す。
【０１９２】
圧縮符号化部１１２は、切替設定部１１１から供給された切替設定情報に基づいて、入力画像信号を圧縮符号化し、その結果得られる圧縮符号化画像データ１２１を画像記憶部１１４に記憶させるとともに、画面切替データ生成部１１３に供給する。
【０１９３】
この場合、圧縮符合化部１１２は、上述した本発明の記録フォーマットで採用されている符号化方式に従って入力画像信号を圧縮符号化する。
【０１９４】
詳細には例えば、静止画像の入力画像信号が入力された場合には、圧縮符合化部１１２は、上述したようにJPEGやJPEG2000に従って入力画像信号を圧縮符号化する。
【０１９５】
具体的には例えばいま、２画面サイズのオリジナル静止画像に対応する入力画像信号として入力され、上述したオリジナル表示方式、分割画面表示方式、および、縮小表示方式を示す情報が切替設定情報として切替設定部１１１により設定され、かつ、圧縮符号化部１１２にはJPEG2000が採用されているとする。この場合、圧縮符合化部１１２は、空間解像度に着目し、また、その階層数を２レベルとし、即ち、２画面サイズを最高解像度であるレベル１とし、１画面サイズをレベル０として、入力画像信号をJPEG2000に従って圧縮符号化する。すると、例えば上述した図７の圧縮符号化画像データ１と同様の構成の圧縮符号化画像データ１２１が得られることになる。圧縮符合化部１１２は、その圧縮符号化画像データ１２１を画像記憶部１１４に記憶させるとともに、画面切替データ生成部１１３に供給する。
【０１９６】
また、例えば、動画像の入力画像信号が入力された場合には、圧縮符合化部１１２は、上述したようにJPEG2000やMPEG４に従って入力画像信号を圧縮符号化する。
【０１９７】
具体的には例えばいま、２画面サイズの複数のオリジナル静止画像から構成される動画像に対応する入力画像信号として入力され、上述したオリジナル表示方式と分割画面表示方式を示す情報が切替設定情報として切替設定部１１１により設定され、かつ、圧縮符号化部１１２にはMPEG4が採用されているとする。この場合、圧縮符合化部１１２は、入力画像信号をフレームを単位としてMPEG4に従って圧縮符号化する。すると、例えば上述した図１１の圧縮符号化動画像データ５１と同様の構成の圧縮符号化画像データ１２１が得られることになる。圧縮符合化部１１２は、その圧縮符号化画像データ１２１を画像記憶部１１４に記憶させるとともに、画面切替データ生成部１１３に供給する。
【０１９８】
画面切替データ生成部１１３は、圧縮符号化部１１２から供給された圧縮符号化画像データ１２１に対応する画面切替データ１２２を生成し、画像記憶部１１４に記憶させる。
【０１９９】
具体的には例えば、上述した図７の圧縮符号化画像データ１と同様の構成の圧縮符号化画像データ１２１が供給された場合には、画面切替データ生成部１１３は、図７の画面切替データ２と同様の構成の画面切替データ１２２を生成し、画像記憶部１１４に記憶させる。
【０２００】
また例えば、上述した図１１の圧縮符号化動画像データ５１と同様の構成の圧縮符号化画像データ１２１が供給された場合には、画面切替データ生成部１１３は、図１１の画面切替データ群５２と同様の構成の画面切替データ（群）１２２を生成し、画像記憶部１１４に記憶させる。
【０２０１】
このようにして、画像データ１２１とそれに対応する画面切替データ１２２とが関連付けられて画像記憶部１１４に一旦記憶される。即ち、上述したように、画像記憶部１１４は、本発明の記録フォーマットに従ってデータが記録される記録媒体のひとつである。
【０２０２】
送信制御部１１５は、圧縮符号化画像データ１２１と画面切替データ１２２とを画像記憶部１１４から読み出し、ネットワーク１０３を介して画像再生装置１０２に送信する制御を行う。
【０２０３】
記録制御部１１６は、圧縮符号化画像データ１２１と画面切替データ１２２とを画像記憶部１１４から読み出し、リムーバブル記録媒体１０４に記録させる制御を行う。圧縮符号化画像データ１２１と画面切替データ１２２とが記録されたリムーバブル記録媒体１０４は、画像再生装置１０２の管理者（ユーザ等）に提供される。
【０２０４】
即ち、上述したように、リムーバブル記録媒体１０４も、本発明の記録フォーマットに従ってデータが記録される記録媒体のひとつである。
【０２０５】
以上、図１３を参照して、画像配信装置１０１の機能的構成例について説明した。次に、図１４を参照して、画像再生装置１０２の機能的構成例について説明する。
【０２０６】
図１４に示されるように、画像再生装置１０２には、受信制御部１５１乃至表示部１５９が設けられている。
【０２０７】
受信制御部１５１は、画像配信装置１０１から配信された圧縮符号化画像データ１２１と画面切替データ１２２とをネットワーク１０３を介して受信し、画像記憶部１５３に記憶させる制御を行う。
【０２０８】
読み出し制御部１５２は、リムーバブル記録媒体１０４に記録された圧縮符号化画像データ１２１と画面切替データ１２２とを読み出し、画像記憶部１５３に記憶させる制御を行う。
【０２０９】
このようにして、画像記憶部１５３には、画像データ１２１とそれに対応する画面切替データ１２２とが関連付けられて記憶される。即ち、上述したように、画像記憶部１５３も、本発明の記録フォーマットに従ってデータが記録される記録媒体のひとつである。
【０２１０】
操作部１５４は、例えば、キーボード、マウス、その他入力インタフェースで構成される。ユーザは操作部１５４を操作することで、様々な情報を画像再生装置１０２に入力させることができる。
【０２１１】
具体的には例えば、上述したように、ユーザは、操作部１５４を利用することで、画像記憶部１５３に記憶されている圧縮符号化画像データ１２１に対応するオリジナル画像の表示を指示するとともに、その際の表示方式も指示することができる。この場合のユーザの指示を示す情報は、図１４に示されるように、操作部１５４から画面切替データ解析部１５５に供給される。
【０２１２】
なお、ユーザが指示可能な表示方式とは、例えば上述した例では、２画面サイズのオリジナル画像が表示されるオリジナル表示方式、２画面サイズのオリジナル画像が２つに分割された左側分割画像と右側分割画像とのうちの一方が表示される分割画面表示方式、および、１画面サイズの（解像度が落とされた）オリジナル画像が表示される縮小表示方式を指す。
【０２１３】
さらに、第１のオリジナル画像に対応する圧縮符号化画像データ１２１と、第２のオリジナル画像に対応する圧縮符号化画像データ１２１とが画像記憶部１５３に記憶されている場合、ユーザは操作部１５４を操作して、第１のオリジナル画像の表示方式として上述した縮小表示方式と分割画面表示方式とのうちのいずれか一方を指示するとともに、第２のオリジナル画像の表示方式として同じく縮小表示方式と分割画面表示方式とのうちのいずれか一方を指示することができる。これにより、後述する表示部１５９の２つの表示画面のうちの一方には、例えば表示画面１５９Ａには、第１のオリジナル画像またはその一部分（左側分割画像や右側分割画像）が表示され、その他方には、例えば表示画面１５９Ｂには、第２のオリジナル画像またはその一部分が表示されるのである。
【０２１４】
画面切替データ解析部１５９は、画像記憶部１５３に記憶されている圧縮符号化画像データ１２１の中から抽出すべき部分データを、操作部１５４から指示された表示方式と、その圧縮符号化画像データ１２１に対応する画面切替データ１２２とに基づいて特定する。画面切替データ解析部１５９の特定結果は、画像データ抽出部１５６に供給される。
【０２１５】
画像データ抽出部１５６は、画像記憶部１５３に記憶されている圧縮符号化画像データ１２１の中から、画面切替データ解析部１５５により特定された部分データ、即ち、操作部１５４から指示された表示方式でオリジナル画像を表示させるために必要となる部分データを抽出し、復号部１５７に供給する。なお、操作部１５４から指示された表示方式が、２画面サイズのオリジナル画像が表示されるオリジナル表示方式である場合には、画像データ抽出部１５６は、圧縮符号化画像データ１２１の全てを画像記憶部１５３から読み出し、復号部１５７に供給する。
【０２１６】
復号部１５７は、画像データ抽出部１５６から供給された圧縮符号化画像データ１２１またはその一部分である部分データを、本発明の記録フォーマットで採用されている符号化方式に対応する復号方式に従って伸張復号し、その結果得られる画像データを表示制御部１５８に供給する。なお、上述したように、本発明の記録フォーマットで採用されている符号化方式とは、静止画像の場合には例えばJPEGやJPEG2000であり、動画像の場合には例えばJPEG2000やMPEG４である。
【０２１７】
表示制御部１５８は、復号部１５７から供給された画像データに対応する画像を、表示部１５９の２つの表示画面１５９Ａと表示画面１５９Ｂのうちの少なくとも一方に表示させる制御を行う。
【０２１８】
表示部１５９は、例えば、CRT（Cathode Ray Tub）や液晶型表示装置で構成され、２つの表示画面１５９Ａと表示画面１５９Ｂを有する。なお、ここでは、表示部１５９は、画像再生装置１０２の一構成要素とされているが、画像再生装置１０２の構成要素である必要は特にない。即ち、表示部１５９は外部の表示装置であってもよい。
【０２１９】
上述した図１乃至図３の具体例を用いて、画面切替データ解析部１５５乃至表示部１５９についてさらに説明する。
【０２２０】
即ち、例えばいま、圧縮符号化画像データ１２１として上述した図１乃至図３の圧縮符号化画像データ１が画像記憶部１５３に記憶されるとともに、それに対応する画面切替データ１２２として図２と図３の画面切替データ２が画像記憶部１５３に記憶されているとする。
【０２２１】
この場合、操作部１５４から指示された表示方式が、例えば２画面サイズのオリジナル画像が表示されるオリジナル表示方式であれば、図１に示されるように、画面切替データ解析部１５５は、抽出すべきデータは圧縮符号化画像データ１の全てであることを画像データ抽出部１５６に通知する。すると、画像データ抽出部１５６は、圧縮符号化画像データ１の全てを画像記憶部１５３から読み出し、復号部１５７に供給する。復号部１５７は、圧縮符号化画像データ１を伸張復号し、その結果得られる画像データを表示制御部１５８に供給する。表示制御部１５８は、その画像データに対応する図１の２画面サイズのオリジナル画像３、即ち、左側分割画像３Ａと右側分割画像３Ｂが並んで形成される画像３を、表示部１５９の表示画面１５９Ａと表示画面１５９Ｂの２画面全体に表示させる。即ち、例えば図１４の表示画面１５９Ａが図１の表示画面４Ａに対応し、かつ、図１４の表示画面１５９Ｂが図１の表示画面４Ｂに対応する場合、表示画面１５９Ａには、図１の左側分割画像３Ａが表示されるとともに、表示画面１５９Ｂには、図１の右側分割画像３Ｂが表示されるのである。
【０２２２】
また、操作部１５４から指示された表示方式が、例えば１画面サイズの（解像度が落とされた）オリジナル画像が表示される縮小表示方式であれば、図２に示されるように、画面切替データ解析部１５５は、画面切替データ２を参照して、抽出すべきデータは、圧縮符号化画像データ１のうちの部分データ１Ａと部分データ１Ｂとであることを画像データ抽出部１５６に通知する。すると、画像データ抽出部１５６は、圧縮符号化画像データ１のうちの部分データ１Ａと部分データ１Ｂとを画像記憶部１５３から読み出し、それらからなる部分データ５を復号部１５７に供給する。復号部１５７は、部分データ５を伸張復号し、その結果得られる画像データを表示制御部１５８に供給する。表示制御部１５８は、その画像データに対応する図２の１画面サイズのオリジナル画像３Ｃを、表示部１５９の表示画面１５９Ａと表示画面１５９Ｂのうちの一方に表示させる。即ち、例えば図１４の表示画面１５９Ａが図２の表示画面４Ａに対応し、かつ、図１４の表示画面１５９Ｂが図２の表示画面４Ｂに対応する場合、表示画面１５９Ａには、図２の１画面サイズのオリジナル画像３Ｃが表示されるのである。
【０２２３】
また、操作部１５４から指示された表示方式が、例えば２画面サイズのオリジナル画像が２つに分割された左側分割画像と右側分割画像とのうちの一方、具体的には例えば右側分割画像が表示される分割画面表示方式であれば、図３に示されるように、画面切替データ解析部１５５は、画面切替データ２を参照して、抽出すべきデータは、圧縮符号化画像データ１のうちの部分データ１Ｃであることを画像データ抽出部１５６に通知する。すると、画像データ抽出部１５６は、圧縮符号化画像データ１のうちの部分データ１Ｃを画像記憶部１５３から読み出し、その部分データ１Ｃ、即ち部分データ６を復号部１５７に供給する。復号部１５７は、部分データ６を伸張復号し、その結果得られる画像データを表示制御部１５８に供給する。表示制御部１５８は、その画像データに対応する図３の１画面サイズの右側分割画像３Ｂを、表示部１５９の表示画面１５９Ａと表示画面１５９Ｂのうちの一方に表示させる。即ち、例えば図１４の表示画面１５９Ａが図３の表示画面４Ａに対応し、かつ、図１４の表示画面１５９Ｂが図３の表示画面４Ｂに対応する場合、表示画面１５９Ｂには、図３の１画面サイズの右側分割画像３Ｂが表示されるのである。
【０２２４】
以上、図１３と図１４のそれぞれを参照して、画像配信装置１０１と画像再生装置１０２のそれぞれの機能的構成例について説明した。
【０２２５】
このような画像配信装置１０１が実行する処理のうちの、本発明の記録フォーマットに従って画像データを記録媒体に記録させる処理（以下、記録処理と称する）が図１５のフローチャートに示されている。また、このような画像再生装置１０２が実行する処理のうちの、本発明の記録フォーマットに従って記録媒体に記録された画像データに対応する動画像を再生（表示）する処理（以下、再生処理と称する）が図１６のフローチャートに示されている。
【０２２６】
そこで、以下、図１５と図１６のフローチャートのそれぞれを参照して、画像配信装置１０１の記録処理と、画像再生装置１０２の再生処理のそれぞれについてその順番に個別に説明していく。
【０２２７】
図１５のフローチャートのステップＳ１において、図１３の画像配信装置１０１の圧縮符号化部１１２は、切替設定部１１１から供給された切替設定情報に基づいて、入力画像信号を圧縮符号化し、その結果得られる圧縮符号化画像データ１２１を画像記憶部１１４に一旦記録する。
【０２２８】
この圧縮符号化画像データ１２１は画面切替データ生成部１１３にも供給される。すると、ステップＳ２において、画面切替データ生成部１１３は、その圧縮符号化画像データ１２１に対応する画面切替データ１２２を生成し、その圧縮符号化画像データ１２１に関連付けて画像記憶部１１４に一旦記録する。
【０２２９】
なお、記録対象の記録媒体が画像記憶部１１４であれば、ステップＳ２の処理が終了すると、後述するステップＳ３の処理は実行されずに記録処理は終了となる。
【０２３０】
これに対して、記録対象の記録媒体がリムーバブル記録媒体１０４または画像再生装置１０２内の図１４の画像記憶部１５３である場合、ステップＳ３の処理が実行される。
【０２３１】
例えば、記録対象の記録媒体がリムーバブル記録媒体１０４の場合、ステップＳ３において、記録制御部１１６は、圧縮符号化画像データ１２１と画面切替データ１２２とを画像記憶部１１４から読み出し、リムーバブル記録媒体１０４（他の記録媒体）に記録する。これにより、記録処理は終了となる。
【０２３２】
また例えば、記録対象の記録媒体が画像再生装置１０２内の図１４の画像記憶部１５３の場合、ステップＳ３において、送信制御部１１５は、圧縮符号化画像データ１２１と画面切替データ１２２とを画像記憶部１１４から読み出し、ネットワーク１０３を介して画像再生装置１０２に配信することで、その画像再生装置１０２内の画像記憶部１５３に（他の記録媒体）に記録する。これにより、記録処理は終了となる。
【０２３３】
なお、、記録対象の記録媒体が画像再生装置１０２内の図１４の画像記憶部１５３の場合、より正確には、後述する図１６のステップＳ２１の処理で、受信制御部１５１が、圧縮符号化画像データ１２１と画面切替データ１２２とを受信して、画像記憶部１５３に記録させることになる。
【０２３４】
以上、図１５のフローチャートを参照して、画像配信装置１０１の記録処理について説明していく。
【０２３５】
次に、図１６のフローチャートを参照して、図１４の画像再生装置１０２の再生処理について説明していく。
【０２３６】
ステップＳ２１において、受信制御部１５１または読み出し制御部１５２は、画像配信装置１０１から配信された圧縮符号化画像データ１２１と画面切替データ１２２とを取得して画像記憶部１５３に記憶させる。
【０２３７】
その後、ユーザが操作部１５４を操作して、その圧縮符号化画像データ１２１に対応するオリジナル画像（以下、表示対象画像とも称する）の再生を指示するとともに、その表示方式を指示すると、処理はステップＳ２２に進む。
【０２３８】
なお、ここでは、画像記憶部１５３に記録された圧縮符号化画像データ１２１は、２画面サイズの複数のフレームから構成される動画像（オリジナル画像）に対応する圧縮符号化画像データであるとする。即ち、表示対象画像は動画像であるとする。
【０２３９】
ステップＳ２２において、画面切替データ解析部１５５は、操作部１５４の操作内容に基づいて、表示対象画像とその表示方式を設定する。
【０２４０】
例えば図１４の例では、表示対象画像として、画像記憶部１５３に記録された圧縮符号化画像データ１２１に対応する動画像が設定される。
【０２４１】
表示対象画像が１つのオリジナル画像である場合、例えば表示方式として、上述したように、２画面サイズのフレームが表示されるオリジナル表示方式、２画面サイズのフレームが２つに分割された左側分割画像と右側分割画像とのうちの一方が表示される分割画面表示方式、および、１画面サイズの（解像度が落とされた）フレームが表示される縮小表示方式のうちのいずれかが設定される。
【０２４２】
ステップＳ２３において、画面切替データ解析部１５５は、画像記憶部１５３に記録された圧縮符号化画像データ１２１のうちの抽出すべき部分データ、即ち、ステップＳ２２の処理で設定された表示対象画像（動画像の場合には例えば次のフレーム）を同じくステップＳ２２の処理で設定された表示方式で表示部１５９に表示させるために必要な部分データを、画像記憶部１５３に記憶された画面切替データ１２２に基づいて特定する。
【０２４３】
ステップＳ２４において、画像データ抽出部１５６は、画像記憶部１５３に記憶された圧縮符号化画像データ１２１の中から、ステップＳ２３の処理で画面切替データ解析部１５５により特定された部分データを抽出する。
【０２４４】
なお、表示方式として、２画面サイズのフレームが表示されるオリジナル表示方式が設定されている場合には、ステップＳ２４の処理で、圧縮符号化画像データ１２１全体が画像記憶部１５３から読み出される（抽出される）。即ち、ステップＳ２４に記載の部分データとは、上述した部分データの他、圧縮符号化画像データ１２１全体も含む広い概念の部分データを指す。
【０２４５】
ステップＳ２５において、復号部１５７は、ステップＳ２４の処理で画像データ抽出部１５６により抽出された部分データ（圧縮符号化画像データ１２１全体も含む）を伸張復号する。
【０２４６】
ステップＳ２６において、表示制御部１５８は、ステップＳ２５の処理で復号部１５７により伸張復号された結果得られる画像データに対応する表示対象画像（次のフレーム）を、ステップＳ２２の処理で設定された表示方式で表示部１５９に表示させる。
【０２４７】
例えば、表示方式として、２画面サイズのフレームが表示されるオリジナル表示方式が設定されている場合、２画面サイズの次のフレームが、表示部１５９の表示画面１５９Ａと表示画面１５９Ｂの２画面全体に表示される。
【０２４８】
また例えば、表示方式として、１画面サイズの（解像度が落とされた）フレームが表示される縮小表示方式が設定されている場合、１画面サイズの次のフレームが、表示部１５９の表示画面１５９Ａと表示画面１５９Ｂのうちの一方に表示される。
【０２４９】
また例えば、表示方式として、２画面サイズのフレームが２つに分割された左側分割画像と右側分割画像とのうちの一方が表示される分割画面表示方式が設定されている場合、２画面サイズの次のフレームが２つに分割された１画面サイズの左側分割画像と右側分割画像とのうちの一方が、表示部１５９の表示画面１５９Ａと表示画面１５９Ｂのうちの一方に表示される。
【０２５０】
このようにして、次のフレームまたはその一部分（左側分割画像や右側分割画像）が表示部１５９に表示されると、ステップＳ２７において、画面切替データ解析部１５５は、全フレームを表示したか否かを判定する。
【０２５１】
ステップＳ２７において、全フレームを表示したと判定されると、この再生処理は終了となる。
【０２５２】
これに対して、ステップＳ２７において、全フレームをまだ表示していないと判定されると、処理はステップＳ２８に進む。そして、ステップＳ２８において、画面切替データ解析部１５５は、操作部１５４から再生終了が指示されたか否かを判定する。
【０２５３】
ステップＳ２８において、操作部１５４から再生終了が指示されたと判定された場合、この再生処理は終了となる。
【０２５４】
これに対して、ステップＳ２８において、操作部１５４から再生終了がまだ指示されていないと判定された場合、処理はステップＳ２９に進む。そして、ステップＳ２９において、画面切替データ解析部１５５は、操作部１５４から設定変更が指示されたか否かを判定する。
【０２５５】
ステップＳ２９において、操作部１５４から設定変更が指示されていないと判定された場合、処理はステップＳ２３に戻され、それ以降の処理が繰り返される。即ち、さらに次のフレームも、その直前のフレームと同一の表示方式で表示部１５９に表示されることになる。
【０２５６】
これに対して、ステップＳ２９において、操作部１５４から設定変更が指示されたと判定された場合、処理はステップＳ２２に戻され、それ以降の処理が繰り返される。即ち、ステップＳ２２の処理で、さらに次のフレームの表示方式が、直前のフレームの表示方式から別の表示方式に切り替えられ、ステップＳ２３乃至Ｓ２６の処理が実行されて、さらに次のフレームが、切り替えられた表示方式で表示部１５９に表示されることになる。
【０２５７】
このように、画像再生装置１０２は、図１６のフローチャートに従って再生処理を実行することで、フレーム毎に表示方式を切り替えることが容易にできる。
【０２５８】
以上、図１６のフローチャートを参照して、画像再生装置１０２の動画像の再生処理について説明した。
【０２５９】
なお、画像記憶部１５３に記憶されている圧縮符号化画像データ１２１が静止画像に対応する圧縮符号化画像データである場合、即ち、表示対象画像が静止画像の場合、画像再生装置１０２は、上述したステップＳ２２乃至Ｓ２６の処理を単に１度行えばよい。即ち、画像再生装置１０２は、動画像を構成する各フレームのうちの表示対象のフレームに対する再生処理と基本的に同様の処理を１回行えばよい。
【０２６０】
ところで、上述した一連の処理は、ハードウエアにより実行させることもできるが、ソフトウエアにより実行させることができる。或いは、ハードウエアとソフトウエアの組み合わせにより実行させることができる。
【０２６１】
この場合、図１２の画像配信装置１０１は、例えば図１７に示されるように構成することができる。また、図１２の画像再生装置１０２は、例えば図１８に示されるように構成することができる。
【０２６２】
図１７の画像配信装置１０１において、CPU（Central Processing Unit）２０１は、ROM（Read Only Memory）２０２に記録されているプログラム、または記憶部２０９からRAM（Random Access Memory）２０３にロードされたプログラムに従って各種の処理を実行する。RAM２０３にはまた、CPU２０１が各種の処理を実行する上において必要なデータなども適宜記憶される。
【０２６３】
この場合、CPU２０１が実行するプログラムとは、例えば図１３の画面切替データ生成部１１３と同様の機能を実現するプログラムを指す。また、後述する圧縮符号化部２０４が構成要素として仮に含まれていない場合には、それに対応する機能、即ち、図１３の圧縮符号化部１１２と同様の機能を実現するプログラムも、CPU２０１により実行される。
【０２６４】
CPU２０１、ROM２０２、およびRAM２０３は、バス２０５を介して相互に接続されている。このバス２０５にはまた、圧縮符合化部２０４と入出力インタフェース２０６も接続されている。
【０２６５】
圧縮符合化部２０４は、図１３の圧縮符号化部１１２と同様の機能を有するハードウエアである。
【０２６６】
入出力インタフェース２０６には、入力部２０７、ディスプレイなどよりなる出力部２０８、記憶部２０９、および、通信部２１０が接続されている。
【０２６７】
入力部２０７は、例えばキーボード、マウスなどより構成され、そのうちの少なくとも一部は、図１３の切替設定部１１１に対応する。
【０２６８】
記憶部２０９は、例えばハードディスクなどで構成され、そのうちの少なくとも一部の領域は、図１３の画像記憶部１１４として利用される。
【０２６９】
通信部２１０は、例えばモデム、ターミナルアダプタなどより構成され、図１２のネットワーク１０３やインターネットを含むネットワークを介して、図１２の画像再生装置１０２を含む他の情報処理装置との通信処理を行う。即ち、通信部２１０は、図１３の送信制御部１１５のうちの少なくとも一部に対応する。少なくとも一部としたのは、送信制御部１１５は、通信部２１０の他、例えばそれを制御するプログラム等から構成される場合もあるからである。
【０２７０】
入出力インタフェース２０６にはまた、必要に応じてドライブ２１１が接続され、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどよりなるリムーバブル記録媒体２１２が適宜装着され、それらから読み出されたコンピュータプログラムが、必要に応じて記憶部２０９にインストールされる。
【０２７１】
さらに、リムーバブル記録媒体２１２として図１３のリムーバブル記録媒体１０４がドライブ２１１に装着された場合には、ドライブ２１１は、図１３の圧縮符号化画像データ１２１と画面切替データ１２２とを関連付けてリムーバブル記録媒体１０４に記録することができる。即ち、ドライブ２１１は、図１３の記録制御部１１６のうちの少なくとも一部に対応する。少なくとも一部としたのは、記録制御部１１６は、ドライブ２１１の他、例えばそれを制御するプログラム等から構成される場合もあるからである。
【０２７２】
以上、図１７を参照して、図１２の画像配信装置１０１のハードウエア構成例について説明した。次に、図１８を参照して、図１２の画像再生装置１０２のハードウエア構成例について説明する。
【０２７３】
図１８の画像再生装置１０２において、CPU３０１は、ROM３０２に記録されているプログラム、または記憶部３０５からRAM３０４にロードされたプログラムに従って各種の処理を実行する。RAM３０４にはまた、CPU３０１が各種の処理を実行する上において必要なデータなども適宜記憶される。
【０２７４】
CPU３０１には操作部３０２が接続されている。操作部３０２は、図１４の操作部１５４に対応する。即ち、ユーザが操作部３０２を操作することで、その操作内容を示す信号がCPU３０１に供給される。従って、CPU３０１は、その信号を適宜参照しながら各種プログラムを実行することになる。
【０２７５】
この場合、CPU３０１が実行するプログラムとは、例えば図１４の画面切替データ解析部１５５、および画像データ抽出部１５６のそれぞれと同様の機能を実現するプログラムを指す。また、後述する復号部３０６が構成要素として仮に含まれていない場合には、それに対応する機能、即ち、図１４の復号部１５７と同様の機能を実現するプログラムも、CPU３０１により実行される。
【０２７６】
CPU３０１、ROM３０３、およびRAM３０４は、バス３０７を介して相互に接続されている。このバス３０７にはまた、記憶部３０５、復号部３０６、表示制御部３０８、および通信部３１０が接続されている。
【０２７７】
記憶部３０５は、例えばハードディスクなどで構成され、そのうちの少なくとも一部の領域は、図１４の画像記憶部１５３として利用される。
【０２７８】
復号部３０６は、図１４の復号部１５７と同様の機能を有するハードウエアである。
【０２７９】
表示制御部３０８は、図１４の表示部１５９に対応する表示部３０９に画像を表示させることを制御する。即ち、表示制御部３０８は、図１４の表示制御部１５８のうちの少なくとも一部に対応する。少なくとも一部としたのは、図１４の表示制御部１５８は、図１８の表示制御部３０８の他、例えばそれを制御するプログラム等から構成される場合もあるからである。
【０２８０】
通信部３１０は、例えばモデム、ターミナルアダプタなどより構成され、図１２のネットワーク１０３やインターネットを含むネットワークを介して、図１２の画像配信装置１０１を含む他の情報処理装置との通信処理を行う。即ち、通信部３１０は、図１４の受信制御部１５１のうちの少なくとも一部に対応する。少なくとも一部としたのは、受信制御部１５１は、通信部３１０の他、例えばそれを制御するプログラム等から構成される場合もあるからである。
【０２８１】
バス３０７にはまた、必要に応じてドライブ３１１が接続され、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどよりなるリムーバブル記録媒体３１２が適宜装着され、それらから読み出されたコンピュータプログラムが、必要に応じて記憶部３０５にインストールされる。
【０２８２】
さらに、リムーバブル記録媒体３１２として、図１４の圧縮符号化画像データ１２１と画面切替データ１２２とが記録されたリムーバブル記録媒体１０４が装着された場合には、ドライブ３１１は、圧縮符号化画像データ１２１と画面切替データ１２２とをリムーバブル記録媒体１０４から読み出して、記憶部３０５の一領域（図１４の画像記憶部１５３に相当する領域）に記憶させることができる。即ち、ドライブ３１１は、図１４の読み出し制御部１５２のうちの少なくとも一部に対応する。少なくとも一部としたのは、読み出し制御部１５２は、ドライブ３１１の他、例えばそれを制御するプログラム等から構成される場合もあるからである。
【０２８３】
以上、図１７と図１８のそれぞれを参照して、図１２の画像配信装置１０１と画像再生装置１０２とのそれぞれのハードウエア構成例について説明した。
【０２８４】
ところで、上述した例は、表示装置の表示画面は２画面であることが前提とされた例であるが、表示装置の表示画面がＮ画面（Ｎは２以上の任意の整数値）であっても、上述した一連の処理を全く同様に実行できる画像配信装置と画像再生装置とを容易に実現可能である。
【０２８５】
例えば、本発明が適用される画像配信装置とは、結局、次のような構成を備えていればよい。
【０２８６】
即ち、本発明が適用される画像配信装置は、画面サイズが同一の表示画面をＮ個有する表示装置に表示させる画像を、データとして記録媒体に記録させることを制御する情報処理装置であればよく、詳細には、Ｎ画面サイズのオリジナル画像に対応する画像信号を圧縮符号化した結果得られる圧縮符号化画像データであって、その圧縮符号化画像データの中から、１画面サイズ乃至Ｎ−１画面サイズのオリジナル画像のそれぞれに対応する部分データを伸張復号前に個別に抽出可能な第１の構成を有する圧縮符号化画像データを生成する画像データ生成手段と、画像データ生成手段により生成された圧縮符号化画像データにおける、１画面サイズ乃至Ｎ−１画面サイズのオリジナル画像のそれぞれに対応する部分データの配置位置を特定可能な第１の位置データを含む特定データを生成する特定データ生成手段と、画像データ生成手段により生成された圧縮符号化画像データと、特定データ生成手段により生成された特定データとを関連付けて記録媒体に記録させることを制御する記録制御手段とを備えていればよい。
【０２８７】
さらに、本発明が適用される画像配信装置は、上述した構成に対して、次のような構成をさらに備えてもよい。即ち、画像データ生成手段は、第１の構成に加えてさらに、圧縮符号化画像データの中から、Ｎ画面サイズのオリジナル画像がＮ個に分割された分割画像のそれぞれに対応する部分データを伸張復号前に個別に抽出可能な第２の構成を有する圧縮符号化画像データを生成し、特定データ生成手段は、第１の位置データに加えてさらに、画像データ生成手段により生成された圧縮符号化画像データにおける、Ｎ個の分割画像のそれぞれに対応する部分データの配置位置を特定可能な第２の位置データを含む特定データを生成するような構成を、本発明が適用される画像配信装置は備えていてもよい。
【０２８８】
また、例えば、本発明が適用される画像再生装置とは、結局、次のような構成を備えていればよい。
【０２８９】
即ち、本発明が適用される画像再生装置は、画面サイズが同一の表示画面をＮ個有する表示装置に対して、画像を表示させることを制御する情報処理装置であればよく、詳細には、Ｎ画面サイズのオリジナル画像に対応する画像信号が圧縮符号化された結果得られる圧縮符号化画像データであって、その圧縮符号化画像データの中から１画面サイズ乃至Ｎ−１画面サイズの前記オリジナル画像のそれぞれに対応する部分データを伸張復号前に個別に抽出可能な第１の構成を有する圧縮符号化画像データと、圧縮符号化画像データにおける１画面サイズ乃至Ｎ−１画面サイズのオリジナル画像のそれぞれに対応する部分データの配置位置を特定可能な第１の位置データを含む特定データとを関連付けて取得する取得手段と、オリジナル画像の表示を指定するとともに、そのオリジナル画像の表示解像度としてＭ画面サイズ（Ｍは１乃至Ｎのうちの１つ）を指定する指定手段と、指定手段によりＭ画面サイズとしてＮ画面サイズが指定された場合、取得手段により取得された圧縮符号化画像データの全体を抽出し、指定手段によりＭ画面サイズとして１乃至Ｎ−１画面サイズのうちのいずれかひとつが指定された場合、取得手段により取得された特定データに含まれる第１の位置データに基づいて、圧縮符号化画像データにおけるＭ画面サイズのオリジナル画像に対応する部分データの配置位置を特定し、配置位置が特定された部分データを抽出する抽出手段と、抽出手段により抽出された圧縮符号化画像データまたは部分データを伸張復号し、その結果得られるＭ画面サイズのオリジナル画像に対応する画像データを出力する復号手段と、復号手段から出力された画像データに対応するＭ画面サイズのオリジナル画像を、表示装置のＮ個の表示画面のうちの所定のＭ個の表示画面に表示させることを制御する表示制御手段とを備えていればよい。
【０２９０】
さらに、本発明が適用される画像再生装置は、上述した構成に対して、次のような構成をさらに備えてもよい。即ち、取得手段により取得された圧縮符号化データが、第１の構成に加えてさらに、圧縮符号化画像データの中からＮ画面サイズのオリジナル画像がＮ個に分割された分割画像のそれぞれに対応する部分データを伸張復号前に個別に抽出可能な第２の構成を有しており、取得手段により取得された特定データが、第１の位置データに加えてさらに、圧縮符号化画像データにおけるＮ個の分割画像のそれぞれに対応する部分データの配置位置を特定可能な第２の位置データを含んでいる場合、指定手段は、オリジナル画像の表示解像度としてＮ画面サイズを指定したとき、さらに、Ｎ個の分割画像のうちのＯ個（Ｏは、１乃至Ｎのうちの１つ）の分割画像の表示を指定し、抽出手段は、指定手段によりＯ個の分割画像の表示が指定された場合、取得手段により取得された特定データに含まれる第２の位置データに基づいて、圧縮符号化画像データにおけるＯ個の分割画像のそれぞれに対応する部分データの配置位置を特定し、配置位置が特定されたＯ個の部分データのそれぞれを抽出し、復号手段は、抽出手段により抽出されたＯ個の部分データのそれぞれを伸張復号し、その結果得られるＯ個の分割画像のそれぞれに対応する画像データを出力し、表示制御手段は、復号手段から出力されたＯ個の画像データのそれぞれに対応する分割画像のそれぞれを、表示装置のＮ個の表示画面のうちの所定のＯ個の表示画面のそれぞれに個別に表示させることを制御するようにすればよい。
【０２９１】
以上の内容をまとめると、本発明が適用される画像配信装置と画像再生装置とのそれぞれは、上述したような圧縮符号化画像データと特定データとを関連付けて記録することが規定されている記録フォーマット、即ち、本発明が適用される記録フォーマットに従ってデータを処理する情報処理装置であればよい。換言すると、本発明が適用される画像配信装置と画像再生装置とのそれぞれは、本発明が適用される記録フォーマットに従って圧縮符号化画像データと特定データとが記録された記録媒体、即ち、本発明が適用される記録媒体を取り扱うことが可能な情報処理装置であればよい。
【０２９２】
ただし、解像度の設定は、上述した例では、１画面サイズ乃至Ｎ画面サイズのうちのいずれかとされたが、他の画面サイズでも構わない。同様に、オリジナル画像の分割個数、即ち、分割画像の個数も、上述した例では、Ｎ個とされたが、Ｎ以外の任意の整数値で構わない。
【０２９３】
ところで、２画面に対する上述した一連の処理のみならず、Ｎ画面に対する上述した一連の処理もソフトウエアにより実行させる場合には、そのソフトウエアを構成するプログラムが、専用のハードウエアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、ネットワークや記録媒体からインストールされる。
【０２９４】
このようなプログラムを含む記録媒体は、図１７や図１８に示されるように、装置本体とは別に、ユーザにプログラムを提供するために配布される、プログラムが記録されている磁気ディスク（フロッピディスクを含む）、光ディスク（CD-ROM(Compact Disk-Read Only Memory),DVD(Digital Versatile Disk)を含む）、光磁気ディスク（ＭＤ（Mini-Disk）を含む）、もしくは半導体メモリなどよりなるリムーバブル記録媒体（パッケージメディア）２１２またはリムーバブル記録媒体３１２により構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに提供される、プログラムが記録されているROM２０２またはROM３０３や、記憶部２０９または記憶部３０５に含まれるハードディスクなどで構成される。
【０２９５】
なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、その順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【０２９６】
また、本明細書において、システムとは、複数の装置や処理部により構成される装置全体を表すものである。
【図面の簡単な説明】
【０２９７】
【図１】本発明が適用される記録フォーマットを説明する図である。
【図２】本発明が適用される記録フォーマットを説明する図である。
【図３】本発明が適用される記録フォーマットを説明する図である。
【図４】本発明が適用される記録フォーマットを説明する図である。
【図５】本発明が適用される記録フォーマットを説明する図である。
【図６】本発明が適用される記録フォーマットのうちの、静止画像に対する記録フォーマットの例を説明する図である。
【図７】図６の記録フォーマットのうちの、符号化方式としてJPEG2000が採用された場合の記録フォーマットの例を説明する図である。
【図８】図７の記録フォーマットを説明する図である。
【図９】図７の記録フォーマットを説明する図である。
【図１０】図７の記録フォーマットを説明する図である。
【図１１】本発明が適用される記録フォーマットのうちの、動画像に対する記録フォーマットの例を説明する図である。
【図１２】本発明が適用される情報処理システムの構成例を示すブロック図である。
【図１３】図１２の情報処理システムのうちの画像配信装置の機能的構成例を示す機能ブロック図である。
【図１４】図１２の情報処理システムのうちの画像再生装置の機能的構成例を示す機能ブロック図である。
【図１５】図１３の画像配信装置の記録処理の例を説明するフローチャートである。
【図１６】図１４の画像再生装置の再生処理の例を説明するフローチャートである。
【図１７】図１２の情報処理システムのうちの画像配信装置のハードウエア構成例を示すブロック図である。
【図１８】図１２の情報処理システムのうちの画像再生装置のハードウエア構成例を示すブロック図である。
【符号の説明】
【０２９８】
１ 圧縮符号化画像データ， １Ａ，１Ｂ，１Ｃ 部分データ， ２ 画面切替データ， ３ ２画面サイズの（第１の）オリジナル画像， ３Ａ １画面サイズの左側分割画像３Ａ １画面サイズの右側分割画像， ３Ｃ １画面サイズの（第１の）オリジナル画像， ４ 表示装置， ４Ａ，４Ｂ 表示画面， ５，６，７ 部分データ， ８Ａ １画面サイズの第２のオリジナル画像， ８Ｂ 左側分割画像， ５１ 圧縮符号化動画像データ， ５２ 画面切替データ群， １０１ 画像配信装置（サーバ）， １０２ 画像再生装置（クライアント）， １０３ ネットワーク， １０４ リムーバブル記録媒体， １１１ 切替設定部， １１２ 圧縮符号化部， １１３ 画面切替データ生成部， １１４ 画像記憶部， １１５ 送信制御部， １１６ 記録制御部， １２１ 圧縮符号化画像データ１２１ 画面切替データ， １５１ 受信制御部， １５２ 読み出し制御部， １５３ 画像記憶部， １５４ 操作部， １５５ 画面切替データ解析部， １５６ 画像データ抽出部， １５７ 復号部， １５８ 表示制御部， １５９ 表示部， １５９Ａ，１５９Ｂ 表示画面， ２０１ ＣＰＵ， ２０２ ＲＯＭ， ２０４ 圧縮符合化部， ２０７ 入力部， ２０９ 記憶部， ２１０ 通信部， ２１１ ドライブ， ２１２ リムーバブル記録媒体， ３０１ ＣＰＵ， ３０２ 操作部， ３０３ ＲＯＭ， ３０５ 記憶部， ３０６ 復号部， ３０８ 表示制御部， ３０９ 表示部， ３０９Ａ，３０９Ｂ 表示画面， ３１０ 通信部， ３１１ ドライブ， ３１２ リムーバブル記録媒体
【技術分野】
【０００１】
本発明は、情報処理装置、情報処理方法、およびプログラム、並びに記録媒体に関し、特に、多画面に対する画像の表示方式を自在に可変することができる、情報処理装置、情報処理方法、およびプログラム、並びに記録媒体に関する。
【背景技術】
【０００２】
近年、例えば電子書籍端末のように、文字だけでなく静止画像や動画像を見開き２画面に表示させる機能（以下、２画面表示機能と称する）を有する携帯端末が考えられている。
【０００３】
なお、以下、２画面全体の解像度を２画面サイズと称する。即ち、２画面サイズとは、２画面全体を構成する画素（表示素子）の数を指す。一般的には、２画面全体において、横方向に連続して並ぶ画素の数をＡと記述し、かつ、縦方向に連続して並ぶ画素の数をＢと記述した場合、２画面サイズはＡ×Ｂといった形態で表現されることが多い。この呼称に伴い、２画面全体を構成する画素の数と同数の画素値から構成される画像データを、以下、２画面サイズの画像データと称する。また、２画面サイズの画像データに対応する画像であって、２画面全体に表示され得る画像を、以下、２画面サイズの画像と称する。
【０００４】
同様に、以下、２画面のうちの一方の画面の解像度を１画面サイズと称する。即ち、１画面サイズとは、２画面のうちの一方の画面を構成する画素の数を指す。この呼称に伴い、２画面のうちの一方を構成する画素の数と同数の画素値から構成される画像データを、１画面サイズの画像データと称する。また、１画面サイズの画像データに対応する画像であって、２画面のうちの一方に表示され得る画像を、以下、１画面サイズの画像と称する。
【０００５】
このような携帯端末の画像の表示方法としては様々な方法が考えられる。例えば、２画面全体に２画面サイズの画像を表示させる第１の表示方法、２画面のうちの一方に１画面サイズの画像を表示させる第２の表示方法、および、２画面のうちの一方に１画面サイズの第１の画像を表示させ、かつ、他方に１画面サイズの第２の画像を表示させる第３の表示方法といったような３つの方法が容易に考えられる。
【０００６】
このため、ユーザは、例えばこれらの第１の表示方法乃至第３の表示方法を切り替えながら、２画面表示機能を有する携帯端末を利用するようになると予想される。
【０００７】
ところで、２画面表示機能を有する携帯端末において、表示対象の静止画像をデータとして記録媒体に記録するための記録フォーマットについては、例えば、特許文献１に開示されている。即ち、特許文献１には、表示対象の静止画像の回転表示や拡大表示を行うことを目的とする記録フォーマットであって、その静止画像を圧縮符号化画像データとして記録媒体に記録するための記録フォーマットが開示されている。
【０００８】
具体的には、２画面サイズの１つの画像（以下、後述する各分割画像に対して、オリジナル画像と称する）を、左側の１画面に表示される画像（以下、左側分割画像と称する）と右側の１画面に表示される画像（以下、右側分割画像と称する）とに分割し、左側分割画像と右側分割画像のそれぞれに対応する１画面サイズの２つの画像データをそれぞれ圧縮符号化し、その結果得られる１画面サイズの２つの圧縮符号化画像データを組として記録媒体に記録する第１の記録フォーマットが、特許文献１に開示されている。また、２画面サイズのオリジナル画像に対応する画像データを圧縮符号化し、その結果得られる２画面サイズの圧縮符号化画像データを記録媒体に記録する第２の記録フォーマットが開示されている。
【０００９】
また、DWT（Discrete Wavelet Transform：離散ウェーブレット変換）を使って、１つの画面内に表示される画像の解像度（サイズ）を変化させる手法については、例えば、特許文献２に開示されている。
【特許文献１】特開平９−２６５６２号公報
【特許文献２】特開２００１−１８９９３６号公報
【発明の開示】
【発明が解決しようとする課題】
【００１０】
しかしながら、上述した特許文献１と特許文献２とを単に組み合わせただけの技術を利用する携帯端末では、上述した第１の表示方法乃至第３の表示方法の切り替え処理を実行する場合、柔軟にかつ無駄な処理なくその切り替え処理を実行することは困難であるという課題があった。この課題は、オリジナル画像が静止画像であっても動画像であっても同様に発生する。
【００１１】
なお、この課題は、次の第１の発生要因乃至第３の発生要因により発生する。
【００１２】
即ち、上述した課題の第１の発生要因とは、動画像に対する技術については、特許文献１と特許文献２のいずれにも開示は勿論、示唆もなされていないことである。
【００１３】
また、上述した課題の第２の発生要因とは、特許文献１の静止画像についての技術を利用して上述した第１の表示方法乃至第３の表示方法を提供する場合には、次の第１の問題と第２の問題が発生することである。
【００１４】
即ち、第１の問題とは、携帯端末が、上述した第１の記録フォーマットに従って記録媒体に記録された圧縮符号化画像データを利用して、上述した第１の表示方法で画像を表示させる場合に発生する問題である。詳細には、この場合、その携帯端末は、１画面サイズの２つの圧縮符号化画像データの組を記録媒体から抽出した後、抽出された１画面サイズの２つの圧縮符号化画像データのそれぞれを伸張復号し、その結果得られる１画面サイズの２つの画像データを再構成するといった一連の処理を実行してはじめて、２画面サイズのオリジナル画像に対応するオリジナルデータを得ることができる。即ち、２画面サイズのオリジナル画像を表示させるためには、このような工数と時間のかかる一連の処理が必要になるということが、第１の問題である。
【００１５】
特に、オリジナル画像が動画像の場合、この第１の問題はより顕著なものとなる。動画像の場合、左側分割画像と右側分割画像のそれぞれに対応する別々の２つの圧縮符号化動画像データを同時に伸張復号して再生の同期を取らないといけないからである。
【００１６】
これに対して、第２の問題とは、携帯端末が、上述した第２の記録フォーマットに従って記録媒体に記録された圧縮符号化画像データを利用して、上述した第２の表示方法または第３の表示方法で画像を表示させる場合に発生する問題である。即ち、この場合、例えば、１画面サイズのオリジナル画像を表示させる場合、携帯端末は、２画面サイズの圧縮符号化画像データを一旦伸張復号し、さらに、その結果得られる２画面サイズの画像データを構成する各画素値のうちの所定の画素値を間引くといった一連の処理を実行してはじめて、１画面サイズのオリジナル画像に対応する画像データを得ることができる。即ち、１画面サイズのオリジナル画像を表示させるためには、このような無駄で時間のかかる一連の処理が必要となるということが、第２の問題である。
【００１７】
特に、これらの一連の処理がソフトウエアにより実行される場合には、この第２の問題はより顕著なものとなる。ソフトウエアによる伸張復号処理は多大な処理時間が必要になるからである。
【００１８】
また、上述した課題の第３の発生要因とは、特許文献２には、上述したように、１つの画面内でサイズ（解像度）を切り替えて静止画像を表示させるための技術としてDWTを使用する技術が単に開示されているだけであり、異なる２つの画像のそれぞれを同時に２画面に表示させる技術や、それらの２画面のうちの一方に１つの画像を表示させる技術については開示は勿論、示唆もなされていないことである。
【００１９】
以上の課題は、２画面表示機能を有する携帯端末に対する課題として説明したが、２画面より多くの多画面に画像を表示させる多画面表示機能を有する携帯端末に対しても全く同様に発生する。
【００２０】
本発明は、このような状況に鑑みてなされたものであり、多画面に対する画像の表示方式を自在に可変することができるようにするものである。
【課題を解決するための手段】
【００２１】
本発明の第１の情報処理装置は、画面サイズが同一の表示画面をＮ個（Ｎは２以上の任意の整数値）有する表示装置に表示させる画像を、データとして記録媒体に記録させることを制御する情報処理装置である。詳細には、第１の情報処理装置は、Ｎ画面サイズのオリジナル画像に対応する画像信号を圧縮符号化した結果得られる圧縮符号化画像データであって、その圧縮符号化画像データの中から、１画面サイズ乃至Ｎ−１画面サイズのオリジナル画像のそれぞれに対応する部分データを伸張復号前に個別に抽出可能な第１の構成を有する圧縮符号化画像データを生成する画像データ生成手段と、画像データ生成手段により生成された圧縮符号化画像データにおける、１画面サイズ乃至Ｎ画面サイズのオリジナル画像のそれぞれに対応する部分データの配置位置を特定可能な第１の位置データを含む特定データを生成する特定データ生成手段と、画像データ生成手段により生成された圧縮符号化画像データと、特定データ生成手段により生成された特定データとを関連付けて記録媒体に記録させることを制御する記録制御手段とを備えることを特徴とする。
【００２２】
画像データ生成手段は、第１の構成に加えてさらに、Ｎ画面サイズのオリジナル画像がＮ個に分割された分割画像のそれぞれに対応する部分データを圧縮符号化画像データの中から伸張復号前に個別に抽出可能な第２の構成を有する圧縮符号化画像データを生成し、特定データ生成手段は、第１の位置データに加えてさらに、画像データ生成手段により生成された圧縮符号化画像データにおける、Ｎ個の分割画像のそれぞれに対応する部分データの配置位置を特定可能な第２の位置データを含む特定データを生成するようにすることができる。
【００２３】
本発明の第１の情報処理方法は、画面サイズが同一の表示画面をＮ個（Ｎは２以上の任意の整数値）有する表示装置に表示させる画像を、データとして記録媒体に記録させることを制御する情報処理装置の情報処理方法である。詳細には、本発明の第１の情報処理方法は、Ｎ画面サイズのオリジナル画像に対応する画像信号を圧縮符号化した結果得られる圧縮符号化画像データであって、その圧縮符号化画像データの中から、１画面サイズ乃至Ｎ−１画面サイズのオリジナル画像のそれぞれに対応する部分データを伸張復号前に個別に抽出可能な構成を有する圧縮符号化画像データを生成する画像データ生成ステップと、画像データ生成ステップの処理により生成された圧縮符号化画像データにおける、１画面サイズ乃至Ｎ画面サイズのオリジナル画像のそれぞれに対応する部分データの配置位置を特定可能な特定データを生成する特定データ生成ステップと、画像データ生成ステップの処理により生成された圧縮符号化画像データと、特定データ生成ステップの処理により生成された特定データとを関連付けて記録媒体に記録させることを制御する記録制御ステップとを含むことを特徴とする。
【００２４】
本発明の第１のプログラムは、画面サイズが同一の表示画面をＮ個（Ｎは２以上の任意の整数値）有する表示装置に表示させる画像を、データとして記録媒体に記録させることを制御するコンピュータに実行させるプログラムである。詳細には、第１のプログラムは、Ｎ画面サイズのオリジナル画像に対応する画像信号を圧縮符号化した結果得られる圧縮符号化画像データであって、その圧縮符号化画像データの中から、１画面サイズ乃至Ｎ−１画面サイズのオリジナル画像のそれぞれに対応する部分データを伸張復号前に個別に抽出可能な構成を有する圧縮符号化画像データを生成する画像データ生成ステップと、画像データ生成ステップの処理により生成された圧縮符号化画像データにおける、１画面サイズ乃至Ｎ画面サイズのオリジナル画像のそれぞれに対応する部分データの配置位置を特定可能な特定データを生成する特定データ生成ステップと、画像データ生成ステップの処理により生成された圧縮符号化画像データと、特定データ生成ステップの処理により生成された特定データとを関連付けて記録媒体に記録させることを制御する記録制御ステップとを含むことを特徴とする。
【００２５】
本発明の第１の情報処理装置および方法、並びに第１のプログラムにおいては、画面サイズが同一の表示画面をＮ個（Ｎは２以上の任意の整数値）有する表示装置に表示させる画像が、データとして記録媒体に記録される。詳細には、Ｎ画面サイズのオリジナル画像に対応する画像信号を圧縮符号化した結果得られる圧縮符号化画像データであって、その圧縮符号化画像データの中から、１画面サイズ乃至Ｎ−１画面サイズのオリジナル画像のそれぞれに対応する部分データを伸張復号前に個別に抽出可能な構成を有する圧縮符号化画像データが記録媒体に記録されるとともに、その圧縮符号化画像データにおける、１画面サイズ乃至Ｎ画面サイズのオリジナル画像のそれぞれに対応する部分データの配置位置を特定可能な特定データも、その圧縮符号化画像データと関連付けられてその記録媒体に記録される。
【００２６】
本発明の第２の情報処理装置は、画面サイズが同一の表示画面をＮ個（Ｎは２以上の任意の整数値）有する表示装置に対して、画像を表示させることを制御する情報処理装置である。詳細には、第２の情報処理装置は、Ｎ画面サイズのオリジナル画像に対応する画像信号が圧縮符号化された結果得られる圧縮符号化画像データであって、１画面サイズ乃至Ｎ−１画面サイズのオリジナル画像のそれぞれに対応する部分データを圧縮符号化画像データの中から伸張復号前に個別に抽出可能な第１の構成を有する圧縮符号化画像データと、１画面サイズ乃至Ｎ−１画面サイズのオリジナル画像のそれぞれに対応する部分データの圧縮符号化画像データにおける配置位置を特定可能な第１の位置データを含む特定データとを関連付けて取得する取得手段と、オリジナル画像の表示を指定するとともに、そのオリジナル画像の表示解像度としてＭ画面サイズ（Ｍは１乃至Ｎのうちの１つ）を指定する指定手段と、指定手段によりＭ画面サイズとしてＮ画面サイズが指定された場合、取得手段により取得された圧縮符号化画像データの全体を抽出し、指定手段によりＭ画面サイズとして１乃至Ｎ−１画面サイズのうちのいずれかひとつが指定された場合、取得手段により取得された特定データに含まれる第１の位置データに基づいて、Ｍ画面サイズのオリジナル画像に対応する部分データの圧縮符号化画像データにおける配置位置を特定し、配置位置が特定された部分データを抽出する抽出手段と、抽出手段により抽出された圧縮符号化画像データまたは部分データを伸張復号し、その結果得られるＭ画面サイズのオリジナル画像に対応する画像データを出力する復号手段と、復号手段から出力された画像データに対応するＭ画面サイズのオリジナル画像を、表示装置のＮ個の表示画面のうちの所定のＭ個の表示画面に表示させることを制御する表示制御手段とを備えることを特徴とする。
【００２７】
取得手段により取得された圧縮符号化データが、第１の構成に加えてさらに、Ｎ画面サイズのオリジナル画像がＮ個に分割された分割画像のそれぞれに対応する部分データを圧縮符号化画像データの中から伸張復号前に個別に抽出可能な第２の構成を有しており、取得手段により取得された特定データが、第１の位置データに加えてさらに、Ｎ個の分割画像のそれぞれに対応する部分データの圧縮符号化画像データにおける配置位置を特定可能な第２の位置データを含んでいる場合、指定手段は、オリジナル画像の表示解像度としてＮ画面サイズを指定したとき、さらに、Ｎ個の分割画像のうちのＯ個（Ｏは、１乃至Ｎのうちの１つ）の分割画像の表示を指定し、抽出手段は、指定手段によりＯ個の分割画像の表示が指定された場合、取得手段により取得された特定データに含まれる第２の位置データに基づいて、Ｏ個の分割画像のそれぞれに対応する部分データの圧縮符号化画像データにおける配置位置を特定し、配置位置が特定されたＯ個の部分データのそれぞれを抽出し、復号手段は、抽出手段により抽出されたＯ個の部分データのそれぞれを伸張復号し、その結果得られるＯ個の分割画像のそれぞれに対応する画像データを出力し、表示制御手段は、復号手段から出力されたＯ個の画像データのそれぞれに対応する分割画像のそれぞれを、表示装置のＮ個の表示画面のうちの所定のＯ個の表示画面のそれぞれに個別に表示させることを制御するようにすることができる。
【００２８】
本発明の第２の情報処理方法は、画面サイズが同一の表示画面をＮ個（Ｎは２以上の任意の整数値）有する表示装置に画像を表示させることを制御する情報処理装置の情報処理方法である。詳細には、第２の情報処理方法は、Ｎ画面サイズのオリジナル画像に対応する画像信号が圧縮符号化された結果得られる圧縮符号化画像データであって、１画面サイズ乃至Ｎ−１画面サイズのオリジナル画像のそれぞれに対応する部分データを圧縮符号化画像データの中から伸張復号前に個別に抽出可能な構成を有する圧縮符号化画像データと、１画面サイズ乃至Ｎ−１画面サイズのオリジナル画像のそれぞれに対応する部分データの圧縮符号化画像データにおける配置位置を特定可能な特定データとを関連付けて取得することを制御する取得制御ステップと、オリジナル画像の表示を指定するとともに、そのオリジナル画像の表示解像度としてＭ画面サイズ（Ｍは１乃至Ｎのうちの１つ）を指定する指定ステップと、指定ステップの処理によりＭ画面サイズとしてＮ画面サイズが指定された場合、取得制御ステップの制御により取得された圧縮符号化画像データの全体を抽出し、指定ステップの処理によりＭ画面サイズとして１乃至Ｎ−１画面サイズのうちのいずれかひとつが指定された場合、取得ステップの制御により取得された特定データに基づいて、Ｍ画面サイズのオリジナル画像に対応する部分データの圧縮符号化画像データにおける配置位置を特定し、配置位置が特定された部分データを抽出する抽出ステップと、抽出ステップの処理により抽出された圧縮符号化画像データまたは部分データを伸張復号し、その結果得られるＭ画面サイズのオリジナル画像に対応する画像データを出力することを制御する復号制御ステップと、復号制御ステップの制御により出力された画像データに対応するＭ画面サイズのオリジナル画像を、表示装置のＮ個の表示画面のうちの所定のＭ個の表示画面に表示させることを制御する表示制御ステップとを含むことを特徴とする。
【００２９】
本発明の第２のプログラムは、画面サイズが同一の表示画面をＮ個（Ｎは２以上の任意の整数値）有する表示装置に画像を表示させることを制御するコンピュータに実行させるプログラムである。詳細には、第２のプログラムは、Ｎ画面サイズのオリジナル画像に対応する画像信号が圧縮符号化された結果得られる圧縮符号化画像データであって、１画面サイズ乃至Ｎ−１画面サイズのオリジナル画像のそれぞれに対応する部分データを圧縮符号化画像データの中から伸張復号前に個別に抽出可能な構成を有する圧縮符号化画像データと、１画面サイズ乃至Ｎ−１画面サイズのオリジナル画像のそれぞれに対応する部分データの圧縮符号化画像データにおける配置位置を特定可能な特定データとを関連付けて取得することを制御する取得制御ステップと、オリジナル画像の表示を指定するとともに、そのオリジナル画像の表示解像度としてＭ画面サイズ（Ｍは１乃至Ｎのうちの１つ）を指定する指定ステップと、指定ステップの処理によりＭ画面サイズとしてＮ画面サイズが指定された場合、取得制御ステップの制御により取得された圧縮符号化画像データの全体を抽出し、指定ステップの処理によりＭ画面サイズとして１乃至Ｎ−１画面サイズのうちのいずれかひとつが指定された場合、取得ステップの制御により取得された特定データに基づいて、Ｍ画面サイズのオリジナル画像に対応する部分データの圧縮符号化画像データにおける配置位置を特定し、配置位置が特定された部分データを抽出する抽出ステップと、抽出ステップの処理により抽出された圧縮符号化画像データまたは部分データを伸張復号し、その結果得られるＭ画面サイズのオリジナル画像に対応する画像データを出力することを制御する復号制御ステップと、復号制御ステップの制御により出力された画像データに対応するＭ画面サイズのオリジナル画像を、表示装置のＮ個の表示画面のうちの所定のＭ個の表示画面に表示させることを制御する表示制御ステップとを含むことを特徴とする。
【００３０】
本発明の第２の情報処理装置および方法、並びに第２のプログラムにおいては、画面サイズが同一の表示画面をＮ個（Ｎは２以上の任意の整数値）有する表示装置に画像が表示される。詳細には、Ｎ画面サイズのオリジナル画像に対応する画像信号が圧縮符号化された結果得られる圧縮符号化画像データであって、１画面サイズ乃至Ｎ−１画面サイズのオリジナル画像のそれぞれに対応する部分データを圧縮符号化画像データの中から伸張復号前に個別に抽出可能な構成を有する圧縮符号化画像データと、１画面サイズ乃至Ｎ−１画面サイズのオリジナル画像のそれぞれに対応する部分データの圧縮符号化画像データにおける配置位置を特定可能な特定データとが関連付けて取得される。その後、オリジナル画像の表示が指定されるとともに、そのオリジナル画像の表示解像度としてＭ画面サイズ（Ｍは１乃至Ｎのうちの１つ）が指定された場合、例えばＭ画面サイズとしてＮ画面サイズが指定された場合、取得された圧縮符号化画像データの全体が抽出される。これに対して、例えばＭ画面サイズとして１乃至Ｎ−１画面サイズのうちのいずれかひとつが指定された場合、取得された特定データに基づいて、Ｍ画面サイズのオリジナル画像に対応する部分データの圧縮符号化画像データにおける配置位置が特定され、配置位置が特定された部分データが抽出する抽出される。そして、抽出された圧縮符号化画像データまたは部分データが伸張復号され、その結果得られる画像データに対応するＭ画面サイズのオリジナル画像が、表示装置のＮ個の表示画面のうちの所定のＭ個の表示画面に表示される。
【００３１】
本発明の記録媒体は、画面サイズが同一の表示画面をＮ個（Ｎは２以上の任意の整数値）有する表示装置に表示させる画像を、データとして記録可能な記録媒体である。この記録媒体には、Ｎ画面サイズのオリジナル画像に対応する画像信号が圧縮符号化された結果得られる圧縮符号化画像データであって、１画面サイズ乃至Ｎ−１画面サイズのオリジナル画像のそれぞれに対応する部分データを圧縮符号化画像データの中から伸張復号前に個別に抽出可能な第１の構成を有する圧縮符号化画像データと、１画面サイズ乃至Ｎ−１画面サイズのオリジナル画像のそれぞれに対応する部分データの圧縮符号化画像データにおける配置位置を特定可能な第１の位置データを含む特定データとが関連付けられて記録されている。その結果、Ｍ画面サイズ（Ｍは、１乃至Ｎ−１のうちの１つ）に対応するオリジナル画像を表示装置に表示させることを制御する情報処理装置により、記録媒体に記録された特定データに含まれる第１の位置データが参照されて、記録媒体に記録された圧縮符号化データの中から、Ｍ画面サイズのオリジナル画像に対応する部分データが抽出される。
【００３２】
この記録媒体に記録されている圧縮符号化データは、第１の構成に加えてさらに、Ｎ画面サイズのオリジナル画像がＮ個に分割された分割画像のそれぞれに対応する部分データを圧縮符号化画像データの中から伸張復号前に個別に抽出可能な第２の構成を有し、記録媒体に記録されている特定データは、第１の位置データに加えてさらに、Ｎ個の分割画像のそれぞれに対応する部分データの圧縮符号化画像データにおける配置位置を特定可能な第２の位置データを含んでおり、Ｎ個の分割画像のうちのＯ個（Ｏは、１乃至Ｎのうちの１つ）の分割画像のそれぞれを表示装置に表示させることを制御する情報処理装置により、記録媒体に記録された特定データに含まれる第２の位置データが参照されて、記録媒体に記録された圧縮符号化データの中から、Ｏ個の分割画像のそれぞれに対応する部分データが抽出される。
【発明の効果】
【００３３】
以上のごとく、本発明によれば、多画面に対する画像の表示を制御することができる。特に、その表示方式を自在に可変することができる。
【発明を実施するための最良の形態】
【００３４】
以下に本発明の実施の形態を説明するが、請求項に記載の構成要件と、発明の実施の形態における具体例との対応関係を例示すると、次のようになる。この記載は、請求項に記載されている発明をサポートする具体例が、発明の実施の形態に記載されていることを確認するためのものである。従って、発明の実施の形態中には記載されているが、構成要件に対応するものとして、ここには記載されていない具体例があったとしても、そのことは、その具体例が、その構成要件に対応するものではないことを意味するものではない。逆に、具体例が構成要件に対応するものとしてここに記載されていたとしても、そのことは、その具体例が、その構成要件以外の構成要件には対応しないものであることを意味するものでもない。
【００３５】
さらに、この記載は、発明の実施の形態に記載されている具体例に対応する発明が、請求項に全て記載されていることを意味するものではない。換言すれば、この記載は、発明の実施の形態に記載されている具体例に対応する発明であって、この出願の請求項には記載されていない発明の存在、すなわち、将来、分割出願されたり、補正により追加される発明の存在を否定するものではない。
【００３６】
本発明によれば第１の情報処理装置が提供される。この第１の情報処理装置（例えば図１３の画像配信装置１０１）は、画面サイズが同一の表示画面をＮ個（Ｎは２以上の任意の整数値）有する表示装置（例えば図１４の画像再生装置１０２内の表示部１５９）に表示させる画像を、データとして記録媒体（例えば、図１３の画像記憶部１１４、図１３のリムーバブル記録媒体１０４、または、図１４の画像再生装置１０２内の画像記憶部１５３。ただし、第１の情報処理装置および方法、並びに第１のプログラムとの対応関係の説明においては、リムーバブル記録媒体１０４とする）に記録させることを制御する情報処理装置である。詳細には、この第１の情報処理装置は、Ｎ画面サイズのオリジナル画像（例えば、Ｎ＝２の場合、図１の２画面サイズのオリジナル画像３）に対応する画像信号を圧縮符号化した結果得られる圧縮符号化画像データ（例えば、図１３の画像記憶部１１４に一旦記憶される圧縮符号化画像データ１２１であって、具体的には例えば図１乃至図６に示される圧縮符号化画像データ１）であって、その圧縮符号化画像データの中から、１画面サイズ乃至Ｎ−１画面サイズの前記オリジナル画像（例えば、図２の１画面サイズのオリジナル画像３Ｃ）のそれぞれに対応する部分データ（例えば、図２の部分データ１Ａと部分データ１Ｂとからなる部分データ５であって、具体的には図６に示されるScale Down Data）を伸張復号前に個別に抽出可能な第１の構成（例えば、図２に示される構成であって、具体的には、図６に示されるようなScale Down Dataを有する構成）を有する前記圧縮符号化画像データを生成する画像データ生成手段（例えば、図１３の圧縮符号化部１１２）と、前記画像データ生成手段により生成された前記圧縮符号化画像データにおける、１画面サイズ乃至Ｎ−１画面サイズの前記オリジナル画像のそれぞれに対応する前記部分データの配置位置を特定可能な第１の位置データ（例えば、図６の Scale Down data Information）を含む特定データ（例えば、図１３の画像記憶部１１４に一旦記憶される画面切替データ１２２であって、具体的には例えば図２乃至図６に示される画面切替データ２）を生成する特定データ生成手段（例えば、図１３の画面切替データ生成部１１３）と、前記画像データ生成手段により生成された前記圧縮符号化画像データと、前記特定データ生成手段により生成された前記特定データとを関連付けて前記記録媒体に記録させることを制御する記録制御手段（例えば、記録媒体が図１３のリムーバブル記録媒体１０４の場合には、図１３の記録制御部１１６）とを備えることを特徴とする。
【００３７】
この第１の情報処理装置において、前記画像データ生成手段は、前記第１の構成に加えてさらに、Ｎ画面サイズの前記オリジナル画像がＮ個に分割された分割画像（例えば、図１の左側分割画像３Ａと右側分割画像３Ｂ）のそれぞれに対応する部分データ（例えば、右側分割画像３Ｂに対応する部分データとは、図３の部分データ１Ｃ、即ち部分データ６であって、具体的には図６に示されるRight Side Data）を前記圧縮符号化画像データの中から伸張復号前に個別に抽出可能な第２の構成（例えば、図３に示される構成であって、具体的には、図６に示されるようなLeft Side DataとRight Side Dataを有する構成）を有する前記圧縮符号化画像データを生成し、前記特定データ生成手段は、前記第１の位置データに加えてさらに、前記画像データ生成手段により生成された前記圧縮符号化画像データにおける、Ｎ個の前記分割画像のそれぞれに対応する前記部分データの配置位置を特定可能な第２の位置データ（例えば、図６の Left Side data InformationとRight Side data Information）を含む前記特定データを生成するようにすることができる。
【００３８】
本発明によれば第１の情報処理方法が提供される。この第１の情報処理方法は、上述した第１の情報処理装置の情報処理方法である。即ち、この第１の情報処理方法は、Ｎ画面サイズのオリジナル画像に対応する画像信号を圧縮符号化した結果得られる圧縮符号化画像データであって、その圧縮符号化画像データの中から、１画面サイズ乃至Ｎ−１画面サイズの前記オリジナル画像のそれぞれに対応する部分データを伸張復号前に個別に抽出可能な構成を有する前記圧縮符号化画像データを生成する画像データ生成ステップ（例えば、図１５のステップＳ１の処理）と、前記画像データ生成ステップの処理により生成された前記圧縮符号化画像データにおける、１画面サイズ乃至Ｎ画面サイズの前記オリジナル画像のそれぞれに対応する前記部分データの配置位置を特定可能な特定データを生成する特定データ生成ステップ（例えば、図１５のステップＳ２の処理）と、前記画像データ生成ステップの処理により生成された前記圧縮符号化画像データと、前記特定データ生成ステップの処理により生成された前記特定データとを関連付けて前記記録媒体に記録させることを制御する記録制御ステップ（例えば、図１５のステップＳ３の処理）とを含むことを特徴とする。
【００３９】
本発明によれば、第１のプログラムが提供される。この第１のプログラムは、上述した第１の情報処理方法に対応するプログラムであって、例えば図１７の構成のコンピュータにより実行される。
【００４０】
本発明によれば、第２の情報処理装置が提供される。この第２の情報処理装置（例えば、図１４の画像再生装置１０２）は、画面サイズが同一の表示画面をＮ個（Ｎは２以上の任意の整数値）有する表示装置（例えば、図１４の表示部１５９）に対して、画像を表示させることを制御する情報処理装置である。詳細には、第２の情報処理装置は、Ｎ画面サイズのオリジナル画像に対応する画像信号が圧縮符号化された結果得られる圧縮符号化画像データ（例えば、図１４の画像記憶部１５３に図示されている圧縮符号化画像データ１２１であって、具体例については第１の情報処理装置で上述したデータに同じ）であって、１画面サイズ乃至Ｎ−１画面サイズの前記オリジナル画像のそれぞれに対応する部分データを前記圧縮符号化画像データの中から伸張復号前に個別に抽出可能な第１の構成を有する前記圧縮符号化画像データと、１画面サイズ乃至Ｎ−１画面サイズの前記オリジナル画像のそれぞれに対応する前記部分データの前記圧縮符号化画像データにおける配置位置を特定可能な第１の位置データを含む特定データ（例えば、図１４の画像記憶部１５３に図示されている画面切替データ１２２であって、具体例については第１の情報処理装置で上述したデータに同じ）とを関連付けて取得する取得手段（例えば、図１４の受信制御部１５１または読み出し制御部１５２）と、前記オリジナル画像の表示を指定するとともに、そのオリジナル画像の表示解像度としてＭ画面サイズ（Ｍは１乃至Ｎのうちの１つ）を指定する指定手段（例えば、図１４の操作部１５４）と、前記指定手段によりＭ画面サイズとしてＮ画面サイズが指定された場合、前記取得手段により取得された前記圧縮符号化画像データの全体を抽出し、前記指定手段によりＭ画面サイズとして１乃至Ｎ−１画面サイズのうちのいずれかひとつが指定された場合、前記取得手段により取得された前記特定データに含まれる前記第１の位置データに基づいて、Ｍ画面サイズの前記オリジナル画像に対応する前記部分データの前記圧縮符号化画像データにおける配置位置を特定し、配置位置が特定された前記部分データを抽出する抽出手段（例えば、図１４の画面切替データ解析部１５５と画像データ抽出部１５６）と、前記抽出手段により抽出された前記圧縮符号化画像データまたは前記部分データを伸張復号し、その結果得られるＭ画面サイズの前記オリジナル画像に対応する画像データを出力する復号手段（例えば、図１４の復号部１５７）と、前記復号手段から出力された前記画像データに対応するＭ画面サイズの前記オリジナル画像を、前記表示装置のＮ個の前記表示画面のうちの所定のＭ個の表示画面に表示させることを制御する表示制御手段（例えば、図１４の表示制御部１５８）とを備えることを特徴とする。なお、前記指定手段により１画面サイズのオリジナル画像の表示が指定された場合における、抽出手段、復号手段、および、表示制御手段の処理は、図２参照のこと。
【００４１】
この第２の情報処理装置において、前記取得手段により取得された前記圧縮符号化データが、前記第１の構成に加えてさらに、Ｎ画面サイズの前記オリジナル画像がＮ個に分割された分割画像のそれぞれに対応する部分データを前記圧縮符号化画像データの中から伸張復号前に個別に抽出可能な第２の構成を有しており、前記取得手段により取得された前記特定データが、前記第１の位置データに加えてさらに、Ｎ個の前記分割画像のそれぞれに対応する前記部分データの前記圧縮符号化画像データにおける配置位置を特定可能な第２の位置データ（具体例については、第１の情報処理装置で上述したデータに同じ）を含んでいる場合、前記指定手段は、前記オリジナル画像の表示解像度としてＮ画面サイズを指定したとき、さらに、Ｎ個の前記分割画像のうちのＯ個（Ｏは、１乃至Ｎのうちの１つ）の分割画像の表示を指定し、前記抽出手段は、前記指定手段によりＯ個の前記分割画像の表示が指定された場合、前記取得手段により取得された前記特定データに含まれる前記第２の位置データに基づいて、Ｏ個の前記分割画像のそれぞれに対応する前記部分データの前記圧縮符号化画像データにおける配置位置を特定し、配置位置が特定されたＯ個の前記部分データのそれぞれを抽出し、復号手段は、前記抽出手段により抽出されたＯ個の前記部分データのそれぞれを伸張復号し、その結果得られるＯ個の前記分割画像のそれぞれに対応する画像データを出力し、前記表示制御手段は、前記復号手段から出力されたＯ個の前記画像データのそれぞれに対応する前記分割画像のそれぞれを、前記表示装置のＮ個の前記表示画面のうちの所定のＯ個の表示画面のそれぞれに個別に表示させることを制御するようにすることができる。なお、前記指定手段により右側分割画像の表示が指定された場合における、抽出手段、復号手段、および、表示制御手段の処理は、図３参照のこと。
【００４２】
本発明によれば、第２の情報処理方法が提供される。この第２の情報処理方法は、上述した第２の情報処理装置の情報処理方法である。即ち、この第２の情報処理方法は、Ｎ画面サイズのオリジナル画像に対応する画像信号が圧縮符号化された結果得られる圧縮符号化画像データであって、１画面サイズ乃至Ｎ−１画面サイズの前記オリジナル画像のそれぞれに対応する部分データを前記圧縮符号化画像データの中から伸張復号前に個別に抽出可能な構成を有する前記圧縮符号化画像データと、１画面サイズ乃至Ｎ−１画面サイズの前記オリジナル画像のそれぞれに対応する前記部分データの前記圧縮符号化画像データにおける配置位置を特定可能な特定データとを関連付けて取得することを制御する取得制御ステップ（例えば、図１６のステップＳ２１の処理）と、前記オリジナル画像の表示を指定するとともに、そのオリジナル画像の表示解像度としてＭ画面サイズ（Ｍは１乃至Ｎのうちの１つ）を指定する指定ステップ（例えば、図１６のステップＳ２２の処理）と、前記指定ステップの処理によりＭ画面サイズとしてＮ画面サイズが指定された場合、前記取得制御ステップの制御により取得された前記圧縮符号化画像データの全体を抽出し、前記指定ステップの処理によりＭ画面サイズとして１乃至Ｎ−１画面サイズのうちのいずれかひとつが指定された場合、前記取得ステップの制御により取得された前記特定データに基づいて、Ｍ画面サイズの前記オリジナル画像に対応する前記部分データの前記圧縮符号化画像データにおける配置位置を特定し、配置位置が特定された前記部分データを抽出する抽出ステップ（例えば、図１６のステップＳ２３とＳ２４の処理）と、前記抽出ステップの処理により抽出された前記圧縮符号化画像データまたは前記部分データを伸張復号し、その結果得られるＭ画面サイズの前記オリジナル画像に対応する画像データを出力することを制御する復号制御ステップ（例えば、図１６のステップＳ２５の処理）と、前記復号制御ステップの制御により出力された前記画像データに対応するＭ画面サイズの前記オリジナル画像を、前記表示装置のＮ個の前記表示画面のうちの所定のＭ個の表示画面に表示させることを制御する表示制御ステップ（例えば、図１６のステップＳ２６の処理）とを含むことを特徴とする。
【００４３】
本発明によれば、第２のプログラムが提供される。この第２のプログラムは、上述した第２の情報処理方法に対応するプログラムであって、例えば図１８の構成のコンピュータにより実行される。
【００４４】
本発明によれば、記録媒体が提供される。この記録媒体（例えば、図１３の画像記憶部１１４、図１３と図１４のリムーバブル記録媒体１０４、または、図１４の画像記憶部１５３）は、画面サイズが同一の表示画面をＮ個（Ｎは２以上の任意の整数値）有する表示装置（例えば、図１４の画像再生装置１０２内の表示部１５９）に表示させる画像を、データとして記録可能な記録媒体である。詳細には、この記録媒体には、Ｎ画面サイズのオリジナル画像に対応する画像信号が圧縮符号化された結果得られる圧縮符号化画像データであって、その圧縮符号化画像データの中から、１画面サイズ乃至Ｎ−１画面サイズの前記オリジナル画像のそれぞれに対応する部分データを伸張復号前に個別に抽出可能な第１の構成を有する前記圧縮符号化画像データ（例えば、図１３の画像記憶部１１４と図１４の画像記憶部１５３に図示されている圧縮符号化画像データ１２１であって、具体例については、第１の情報処理装置で上述したデータに同じ）と、１画面サイズ乃至Ｎ−１画面サイズの前記オリジナル画像のそれぞれに対応する前記部分データの前記圧縮符号化画像データにおける配置位置を特定可能な第１の位置データを含む特定データ（例えば、図１３の画像記憶部１１４と図１４の画像記憶部１５３に図示されている画面切替データ１２２であって、具体例については、第１の情報処理装置で上述したデータに同じ）とが関連付けられて記録されており、Ｍ画面サイズ（Ｍは、１乃至Ｎ−１のうちの１つ）に対応する前記オリジナル画像を前記表示装置に表示させることを制御する情報処理装置（例えば、図１４の画像再生装置１０２）により、前記記録媒体に記録された前記特定データに含まれる前記第１の位置データが参照されて、前記記録媒体に記録された前記圧縮符号化データの中から、Ｍ画面サイズの前記オリジナル画像に対応する前記部分データが抽出されることを特徴とする。
【００４５】
この記録媒体に記録されている前記圧縮符号化データは、前記第１の構成に加えてさらに、Ｎ画面サイズの前記オリジナル画像がＮ個に分割された分割画像のそれぞれに対応する部分データを前記圧縮符号化画像データの中から伸張復号前に個別に抽出可能な第２の構成（上述した第１の情報処理装置で説明した第２の構成に同じ）を有し、前記記録媒体に記録されている前記特定データは、前記第１の位置データに加えてさらに、Ｎ個の前記分割画像のそれぞれに対応する前記部分データの前記圧縮符号化画像データにおける配置位置を特定可能な第２の位置データ（上述した第１の情報処理装置で説明した第２の位置データに同じ）を含んでおり、Ｎ個の前記分割画像のうちのＯ個（Ｏは、１乃至Ｎのうちの１つ）の分割画像のそれぞれを前記表示装置に表示させることを制御する情報処理装置により、前記記録媒体に記録された前記特定データに含まれる前記第２の位置データが参照されて、前記記録媒体に記録された前記圧縮符号化データの中から、Ｏ個の前記分割画像のそれぞれに対応する前記部分データが抽出されるようにすることができる。
【００４６】
次に、本発明の実施の形態について説明する。
【００４７】
はじめに、本発明が適用される記録フォーマットについて説明する。
【００４８】
この本発明の記録フォーマットは、２画面表示機能を有する携帯端末、例えば、後述する図１８の構成を有する携帯端末に対して、上述した第１の表示方法乃至第３の表示方法等幾つかの表示方法（以下、表示方式とも称する）の切り替え処理を柔軟にかつ高速に実行させることを可能とする記録フォーマットである。
【００４９】
なお、繰り返しになるが、第１の表示方法とは、２画面全体に２画面サイズの画像を表示させる表示方法である。第２の表示方法とは、２画面のうちの一方に１画面サイズの画像を表示させる表示方法である。第３の表示方法とは、２画面のうちの一方に、１画面サイズの第１の画像を表示させ、その他方に、１画面サイズの第２の画像を表示させる表示方法である。いずれの表示方法においても、２画面のうちの少なくとも一方に表示される画像は、静止画像であってもよいし、動画像であってもよい。
【００５０】
ところで、この第１の表示方法乃至第３の表示方法を実現するための記録フォーマットとしては、現状、上述した第１の記録フォーマットと第２の記録フォーマットとが存在する。繰り返しになるが、第１の記録フォーマットとは、２画面サイズのオリジナル画像を、１画面サイズの左側分割画像と右側分割画像とのそれぞれに分割し、左側分割画像と右側分割画像とのそれぞれに対応する１画面サイズの２つの画像データのそれぞれを圧縮符号化し、その結果得られる１画面サイズの２つの圧縮符号化画像データを組として記録媒体に記録する記録フォーマットである。また、第２の記録フォーマットとは、オリジナル画像に対応する２画面サイズの画像データを圧縮符号化し、その結果得られる２画面サイズの１つの圧縮符号化画像データを記録媒体に記録する記録フォーマットである。
【００５１】
この場合、第１の記録フォーマットが採用された場合、上述した第１の問題が発生してしまう。即ち、上述したように、２画面サイズのオリジナル画像が第１の記録フォーマットに従って圧縮符号化され、その結果得られる圧縮符号化画像データが記録媒体に記録された場合、その記録媒体に記録された圧縮符号化画像データとは、左側分割画像と右側分割画像のそれぞれに対応する１画面サイズの２つの圧縮符号化画像データのそれぞれとなる。このため、第１の表示方法が採用される場合、その記録媒体から２つの圧縮符号化画像データのそれぞれが取り出されて伸張復号されても、その結果得られる２つの画像データのままでは、２画面サイズのオリジナル画像に対応する画像データとしては使用できず、それらの２つの画像データの再構成が必要になるという第１の問題が発生してしまう。
【００５２】
具体的には例えば、PDA（Personal Digital Assistant）やデジタルカメラといった携帯端末と、パーソナルコンピュータとの間などで行われているように、携帯端末内の記録媒体（携帯端末自身を記録媒体とみなしてもよい）からデータが取り出される場合には、データをそのままコピーする方法が取られている。従って、第１の記録フォーマットに従って記録媒体に記録されたデータは、即ち、１画面サイズの２つの圧縮符号化画像データの組はそのままコピーされて取り出されることになり、取り出される度に、１画面サイズの２つの圧縮符号化画像データの組を伸張復号し、その結果得られる１画面サイズの２つの画像データの組から２画面サイズの画像データを再構成するといった手間がかかる処理が必要となるという第１の問題が発生してしまう。
【００５３】
これに対して、第２の記録フォーマットが採用されれば、第１の問題は発生しなくなり、さらに、オリジナル画像が動画像の場合には、１画面サイズの２つの分割動画像のそれぞれに対応する２つの圧縮符号化動画像データを同時に伸張復号する際に同期を取る必要が生じるという問題も発生しなくなる。
【００５４】
しかしながら、第２の記録フォーマットが採用された場合には、今度は第２の問題が発生してしまう。即ち、上述したように、２画面サイズのオリジナル画像が第２の記録フォーマットに従って圧縮符号化され、その結果得られる圧縮符号化画像データが記録媒体に記録された場合、その記録媒体に記録された圧縮データとは、オリジナル画像に対応する２画面サイズの圧縮符号化画像データとなる。このため、第２の表示方法または第３の表示方法が採用された場合、即ち、１画面サイズのオリジナル画像を表示させる場合、その記録媒体から取りだされた２画面サイズの圧縮符号化画像データを一旦伸張復号し、さらに、その結果得られる２画面サイズの画像データを構成する各画素値のうちの所定の画素値を間引くことで、１画面サイズの画像データを生成するといった無駄で時間のかかる処理が必要になるという第２の問題が発生してしまう。
【００５５】
そこで、本発明者は、このような第１の問題と第２の問題とを同時に解決可能な次のような記録フォーマットを新たに発明した。
【００５６】
即ち、本発明の記録フォーマットにおいては、２画面サイズのオリジナル画像に対応する画像信号を次のような符号化方式に従って圧縮符号化し、その結果得られる２画面サイズの圧縮符号化画像データを記録媒体に記録することが規定されている。これにより、第１の問題が解決される。
【００５７】
本発明の記録フォーマットで採用されている符号化方式とは、２画面サイズの圧縮符号化画像データから、１画面サイズの画像に対応する圧縮符号化画像データ（以下、このようなデータを部分データと称する）の抽出が可能となる符号化方式である。
【００５８】
これにより、第２の問題も発生しなくなる。なぜならば、携帯端末は、２画面サイズの圧縮符号化画像データの中から、１画面サイズの画像に対応する部分データを抽出した後に、その部分データのみを伸張復号するといった簡易で時間のかからない処理を実行することが可能になるからである。なお、ここで言う１画面サイズの画像とは、１画面サイズのオリジナル画像の場合もあるし、２画面サイズのオリジナル画像が２つに分割された１画面サイズの左側分割画像と右側分割画像とのうちの一方の場合もある。
【００５９】
ところで、このような部分データの抽出処理、即ち、記録媒体に記録された２画面サイズの圧縮符号化画像データの中から、１画面サイズの画像に対応する部分データのみを抽出する抽出処理の手法として、例えば次のような手法が考えられる。即ち、圧縮符号化画像データ自身をその都度解析することで、例えばヘッダの内容をその都度解析することで、抽出対象の部分データの配置位置を特定し、配置位置が特定された部分データを抽出するといった手法が考えられる。しかしながら、この手法では、部分データを特定する処理は、重負荷の処理となり、それに伴い、処理時間も長時間になってしまうという新たな課題が発生する。
【００６０】
そこで、上述した従来の課題とともにこの新たな課題も同時に解決するために、本発明の記録フォーマットにおいてはさらに、圧縮符号化画像データに関連付けて、その圧縮符号化画像データから抽出され得る部分データの配置位置を特定可能な特定データも記録媒体に記録させることが規定されているのである。
【００６１】
なお、以下、このような特定データを、「画面切替データ」と称する。換言すると、本明細書においては、特定データと「画面切替データ」とは同義語として取り扱われる。
【００６２】
即ち、本発明の記録フォーマットでは、「圧縮符号化画像データ」と「画面切替データ」とを関連付けて記録媒体に記録することが規定されている。そこで、携帯端末は、記録媒体に記録された「画面切替データ」を参照することで、「圧縮符号化画像データ」の中から抽出対象の部分データを特定し、特定された部分データを抽出するまでの一連の処理を容易かつ短時間に特定することが可能になる。即ち、上述した新たな課題が解決される。
【００６３】
なお、この場合、２画面サイズの圧縮符号化画像データから抽出され得る部分データ、即ち、１画面サイズの画像に対応する部分データとしては、上述したように、１画面サイズのオリジナル画像に対応する第１の部分データ、２画面サイズのオリジナル画像のうちの１画面サイズの左側分割画像に対応する第２の部分データ、および、２画面サイズのオリジナル画像のうちの１画面サイズの右側分割画像に対応する第３の部分データ等様々な部分データが考えられる。
【００６４】
従って、例えば第１の部分データが抽出対象とされる場合には、「画面切替データ」は、例えば「対応する圧縮符号化画像データにおける、第１の部分データの配置位置を示す位置データ（以下、解像度位置データと称する）」を含むことになる。即ち、オリジナル画像の表示サイズを２画面サイズから１画面サイズに切り替える場合等に携帯端末が参照するデータとして、「画面切替データ」には「解像度位置データ」が含まれるのである。
【００６５】
また例えば、第２の部分データまたは第３の部分データが抽出対象とされる場合には、「画面切替データ」は、例えば「対応する圧縮符号化画像データにおける、第２の部分データと第３の部分データのそれぞれの配置位置を示す位置データ（以下、画面分割位置データと称する）」を含むことになる。即ち、例えば２画面サイズのオリジナル画像全体から１画面サイズの左側分割画像若しくは右側分割画像に切り替える場合、或いは、１画面サイズの右側分割画像と１画面サイズの左側分割画像とのうちの一方から他方に切り替える場合等に携帯端末が参照するデータとして、「画面切替データ」には「画面分割位置データ」が含まれるのである。
【００６６】
以上説明したように、本発明の記録フォーマットでは、２画面サイズの「圧縮符号化画像データ」と、それに対応する「画面切替データ」とを関連付けて記録媒体に記録することが規定されている。これにより、携帯端末は、「画面切替データ」を参照することで、「圧縮符号化画像データ」の中から、所望の１画面サイズの画像に対応する部分データを柔軟にかつより高速に抽出することが可能になる。
【００６７】
以下、図１乃至図１１を参照して、本発明の記録フォーマットについてさらに説明する。
【００６８】
はじめに、図１乃至図５を参照して、本発明の記録フォーマットの概略について説明する。
【００６９】
図１乃至図５には、本発明の記録フォーマットに従って図示せぬ記録媒体に記録される圧縮符号化画像データ１が示されている。また、図２乃至図５には、本発明の記録フォーマットに従って圧縮符号化画像データ１とともに記録媒体に記録される画面切替データ２が示されている。また、図１乃至図５には、第１の表示画面４Ａと第２の表示画面４Ｂとを有する表示装置４が示されている。
【００７０】
図１乃至図５の例では、図１に示される左側分割画像３Ａと右側分割画像３Ｂとが並んで形成される画像３がオリジナル画像とされている。また、そのオリジナル画像３に対応する２画面サイズの画像データ（以下、オリジナル画像データと称する）が、本発明の記録フォーマットで採用されている符号化方式に従って圧縮符号化された結果として、圧縮符号化画像データ１が得られたとされている。
【００７１】
従って、図１に図示せぬ携帯端末は、２画面サイズのオリジナル画像３を表示装置４に表示させる場合、圧縮符号化画像データ１全体を記録媒体から読み出して伸張復号し、その結果得られるオリジナル画像データを表示装置４に供給すればよい。これにより、図１に示されるように、表示装置４には、オリジナル画像データに対応する２画面サイズのオリジナル画像３が表示されるのである。即ち、表示装置４のうちの、第１の表示画面４Ａには左側分割画像３Ａが表示されるとともに、第２の表示画面４Ｂには右側分割画像３Ｂが表示されるのである。
【００７２】
さらに、図２に示されるように、圧縮符号化画像データ１は、その中から、１画面サイズのオリジナル画像３Ｃに対応する部分データ５のみを抽出することが可能なように構成されている。具体的には例えば図２の例では、圧縮符号化画像データ１のうちの部分データ１Ａと部分１Ｂとから部分データ５が構成されるように、圧縮符号化画像データ１が構成されている。
【００７３】
また、図２に図示はしないが、画面切替データ２には、上述した「解像度位置データ」として、「部分データ１Ａと部分データ１Ｂのそれぞれの配置位置を示すデータ」が含まれているとする。
【００７４】
従って、図２に図示せぬ携帯端末は、１画面サイズのオリジナル画像３Ｃを表示装置４の２画面のうちの一方、例えば第１の表示画面４Ａに表示する場合、画面切替データ２の「解像度位置データ」を参照することで、圧縮符号化画像データ１のうちの部分データ１Ａと部分データ１Ｂの抽出が必要なことを容易にかつ迅速に認識することができる。さらに、携帯端末は、画面切替データ２の「解像度位置データ」を参照することで、部分データ１Ａと部分データ１Ｂのそれぞれの配置位置を容易にかつ迅速に認識することができる。その結果、携帯端末は、圧縮符号化画像データ１のうちの部分データ１Ａと部分データ１Ｂを記録媒体から読み出し、部分データ１Ａと部分データ１Ｂから構成される部分データ５を伸張復号し、その結果得られる画像データを表示装置４に供給することができる。これにより、図２に示されるように、表示装置４の第１の表示画面４Ａには、供給された画像データに対応する１画面サイズのオリジナル画像３Ｃが表示されるのである。
【００７５】
このように、圧縮符号化画像データ１は、その一部である部分データ１Ａと部分データ１Ｂとが抽出されて伸張復号されると、元の２画面サイズのオリジナル画像３が縮小された１画面サイズのオリジナル画像３Ｃに対応する画像データが得られるように構成されている。そのような構成が可能になる符号化方式、より一般的な表現で言えば、複数の解像度のそれぞれに対応する部分データを個別に抽出可能なように画像データを圧縮符号化する符号化方式は、解像度スケーラビリティーのある符号化方式と称されている。即ち、本発明の記録フォーマットで採用可能な符号化方式のひとつとして、解像度スケーラビリティーのある符号化方式が挙げられる。
【００７６】
換言すると、解像度スケーラビリティーのある符号化方式とは、２画面サイズの圧縮符号化画像データから１画面サイズの部分データを抽出可能にする符号化方式の１形態であって、１画面サイズのオリジナル画像に対応する部分データが個別に抽出可能な符号化方式である。
【００７７】
従って、２画面サイズの圧縮符号化画像データから１画面サイズの部分データを抽出可能にする符号化方式の他の形態として、即ち、本発明の記録フォーマットで採用可能な符号化方式の他の形態として、２画面サイズのオリジナル画像から２つに分割された１画面サイズの左側分割画像と右側分割画像とのそれぞれに対応する部分データが個別に抽出可能な符号化方式も存在することになる。以下、このような符号化方式を、画面分割可能な符号化方式と称する。
【００７８】
なお、オリジナル画像が縦半分に２つに分割された左側分割画像と右側分割画像のそれぞれに対応する部分データを個別に抽出可能な符号化方式のみが、画面分割可能な符号化方式と称されるわけではない。即ち、より一般的な表現で言えば、画面分割可能な符号化方式とは、オリジナル画像が任意の方向に任意の数だけ分割された各部分画像のそれぞれに対応する部分データを個別に抽出可能なように画像データを圧縮符号化する符号化方式を指す。ただし、本実施の形態においては、画面分割可能な符号化方式の一例として、左側分割画像と右側分割画像のそれぞれに対応する部分データを個別に抽出可能な符号化方式が採用されているとする。
【００７９】
以上説明した解像度スケーラビリティーのある符号化方式と画面分割可能な符号化方式とは互いに独立した異なる符号化方式とされてもよい。即ち、本発明の記録フォーマットは、解像度スケーラビリティーのある符号化方式単体を採用してもよいし、或いは、画面分割可能な符号化方式単体を採用してもよい。
【００８０】
ただし、図１乃至図５の例では、本発明の記録フォーマットは解像度スケーラビリティーのある符号化方式と画面分割可能な符号化方式とを併せ持った符号化方式、即ち、解像度スケーラビリティーがあるとともに、画面分割可能な符号化方式が採用されているとする。２画面表示の表示方式がより多く実現可能となるからである。
【００８１】
即ち、図１乃至図５の例では、このような符号化方式に従ってオリジナル画像データが圧縮符号化され、その結果として圧縮符号化画像データ１が得られているとする。この場合、携帯端末は、この圧縮符号化画像データ１を利用することで、図２に示される１画面サイズのオリジナル画像３Ｃのみならず、１画面サイズの図１の左側分割画像３Ａまたは右側分割画像３Ｂを表示装置４の２画面のうちの一方に表示させることもできる。具体的には例えば図３に示されるように、携帯端末は、２画面サイズのオリジナル画像３のうちの右側分割画像３Ｂのみを、表示装置４の第２の表示画面４Ｂに表示させることもできる。
【００８２】
詳細には、圧縮符号化画像データ１は、その中から、１画面サイズの左側分割画像３Ａに対応する部分データ（図示せず）と、図３に示されるような、１画面サイズの右側分割画像３Ｂに対応する部分データ６のそれぞれを個別に抽出可能なように構成されている。具体的には例えば図３の例では、圧縮符号化画像データ１のうちの部分データ１Ｃが部分データ６となるように、圧縮符号化画像データ１は構成されている。
【００８３】
また、図３に図示はしないが、画面切替データ２には、上述した「画面分割位置データ」として、「左側分割画像３Ａに対応する図示せぬ部分データと、右側分割画像３Ｂに対応する部分データ１Ｃのそれぞれの配置位置を示すデータ」が含まれているとする。
【００８４】
従って、図３に図示せぬ携帯端末は、オリジナル画像のうちの右側分割画像３Ｂのみを表示させる場合、画面切替データ２の「画面分割位置データ」を参照することで、圧縮符号化画像データ１のうちの部分データ１Ｃの抽出が必要なことを容易にかつ迅速に認識することができる。さらに、携帯端末は、画面切替データ２の「画面分割位置データ」を参照することで、部分データ１Ｃの配置位置を容易にかつ迅速に認識することができる。その結果、携帯端末は、圧縮符号化画像データ１のうちの部分データ１Ｃを記録媒体から読み出し、読み出された部分データ１Ｃ、即ち、右側分割画像３Ｂに対応する部分データ６を伸張復号し、その結果得られる画像データを表示装置４に供給することができる。これにより、表示装置４の２つの表示画面のうちの一方、例えば図３の例では第２の表示画面４Ｂには、供給された画像データに対応する１画面サイズの右側分割画像３Ｂが表示されるのである。
【００８５】
さらに、例えばいま、２画面サイズの第１のオリジナル画像３に対応する第１の圧縮符号化画像データ１とその画面切替データ２の他、図４や図５に示されるように、２画面サイズの第２のオリジナル画像に対応する第２の圧縮符号化画像データ１１とその画面切替データ１２も記録媒体に記録されているとする。この場合、携帯端末は、表示装置４の２つの画面のうちの一方に、図２の１画面サイズの第１のオリジナル画像３Ｃ、図１の１画面サイズの左側分割画像３Ａ、または、図１の１画面サイズの右側分割画像３Ｂを表示させるとともに、その他方に、１画面サイズの第２のオリジナル画像またはその一部分（１画面サイズの左側分割画像や右側分割画像）を表示させることもできる。
【００８６】
詳細には例えば、図４や図５に示される圧縮符号化画像データ１１も圧縮符号化画像データ１と同様の構成を有しているとする。即ち、図４に示されるように、圧縮符号化画像データ１１も、その中から、１画面サイズの第２のオリジナル画像８Ａに対応する部分データ７を抽出可能なように構成されているとする。具体的には例えば図４の例では、圧縮符号化画像データ１１のうちの部分データ１１Ａと部分データ１１Ｂとから部分データ７が構成されるるように、圧縮符号化画像データ１１が構成されているとする。
【００８７】
また、図４に図示はしないが、画面切替データ１２には、「解像度位置データ」として、「部分データ１１Ａと部分データ１１Ｂのそれぞれの配置位置を示すデータ」が含まれているとする。
【００８８】
従って、図４に図示せぬ携帯端末は、１画面サイズの第２のオリジナル画像８Ａを表示装置４の２画面のうちの一方、例えば第２の表示画面４Ｂに表示させる場合、画面切替データ１２の「解像度位置データ」を参照することで、圧縮符号化画像データ１１のうちの部分データ１１Ａと部分データ１１Ｂの抽出が必要なことを容易にかつ迅速に認識することができる。さらに、携帯端末は、画面切替データ１２の「解像度位置データ」を参照することで、部分データ１１Ａと部分データ１１Ｂのそれぞれの配置位置を容易にかつ迅速に認識することができる。その結果、携帯端末は、圧縮符号化画像データ１１のうちの部分データ１１Ａと部分データ１１Ｂを記録媒体から読み出し、部分データ１１Ａと部分データ１１Ｂから構成される部分データ７を伸張復号し、その結果得られる画像データを表示装置４に供給することができる。
【００８９】
ほぼ同時に、携帯端末はさらに、図２を参照して上述したように、圧縮符号化画像データ１のうちの部分データ１Ａと部分データ１Ｂを記録媒体から読み出し、部分データ１Ａと部分データ１Ｂから構成される部分データ５を伸張復号し、その結果得られる画像データを表示装置４に供給することもできる。
【００９０】
これにより、表示装置４のうちの２つの表示画面のうちの一方には、例えば図４の例では第１の表示画面４Ａには、１画面サイズの第１のオリジナル画像３Ｃが表示されるとともに、その他方には、例えば図４の例では第２の表示画面４Ｂには、１画面サイズの第２のオリジナル画像８Ａが表示されるのである。
【００９１】
さらに、図５に示されるように、圧縮符号化画像データ１１は、その中から、左側分割画像８Ｂに対応する１画面サイズの部分データ９と、右側分割画像に対応する１画面サイズの部分データ（図示せず）とのそれぞれを個別に抽出可能なように構成されているとする。具体的には例えば図５の例では、圧縮符号化画像データ１１のうちの部分データ１１Ｃが部分データ９となるように、圧縮符号化画像データ１１は構成されているとする。
【００９２】
また、図５に図示はしないが、画面切替データ１２には、上述した「画面分割位置データ」として、「左側分割画像８Ｂに対応する部分データ１１Ｃと、図示せぬ右側分割画像の図示せぬ部分データのそれぞれ配置位置を示すデータ」が含まれているとする。
【００９３】
従って、図５に図示せぬ携帯端末は、第２のオリジナル画像のうちの左側分割画像８Ｂのみを表示させる場合、画面切替データ１２の「画面分割位置データ」を参照することで、圧縮符号化画像データ１１のうちの部分データ１１Ｃの抽出が必要なことを容易にかつ迅速に認識することができる。さらに、携帯端末は、画面切替データ１２の「画面分割位置データ」を参照することで、部分データ１１Ｃの配置位置を容易にかつ迅速に認識することができる。その結果、携帯端末は、圧縮符号化画像データ１１のうちの部分データ１１Ｃを記録媒体から読み出し、読み出された部分データ１１Ｃ、即ち、第２のオリジナル画像のうちの左側分割画像８Ｂに対応する部分データ９を伸張復号し、その結果得られる画像データを表示装置４に供給することができる。
【００９４】
ほぼ同時に、携帯端末はさらに、図３を参照して上述したように、圧縮符号化画像データ１のうちの部分データ１Ｃを記録媒体から読み出し、読み出された部分データ１Ｃ、即ち、第１のオリジナル画像のうちの右側分割画像３Ｂに対応する部分データ６を伸張復号し、その結果得られる画像データを表示装置４に供給することができる。
【００９５】
これにより、表示装置４の２つの表示画面のうちの一方には、例えば図４の例では第１の表示画面４Ａには、２画面サイズの第２のオリジナル画像のうちの１画面サイズの左側分割画像８Ｂが表示されるとともに、その他方には、例えば図４の例では第２の表示画面４Ｂには、２画面サイズの第１のオリジナル画像３のうちの１画面サイズの右側分割画像３Ｂが表示されるのである。
【００９６】
以上説明した本発明の記録フォーマットに従って記録媒体に記録される静止画像のデータ、即ち、静止画像に対応する圧縮符号化画像データ１とその画面切替データ２の詳細な構成例が図６に示されている。即ち、図６は、本発明の記録フォーマットに従って記録媒体に記録される静止画像のデータの詳細な構成例を示している。或いは、図６は、本発明が適用される静止画像のデータ構造の例を示しているとも言える。
【００９７】
以下、この図６を参照して、静止画像に対応する圧縮符号化画像データ１と画面切替データ２のそれぞれの詳細な構成例について説明する。
【００９８】
なお、以下、圧縮符号化画像データ１の先頭位置を基準位置０とし、その基準位置０からのオフセット位置を示す値(以下、このような値をoffsetと記述する)を用いて、上述した部分データを表現していく。例えば、図６の例では、圧縮符号化画像データ１は16000バイトのデータとされているので、offsetはバイト単位の値として表現されている。
【００９９】
上述したように、図１の左側分割画像３Ａと右側分割画像３Ｂとが並んで形成される画像３がオリジナル画像とされている。この場合、２画面サイズのオリジナル画像３に対応するオリジナル画像データ（以下、Original Dataと適宜記述する）が、本発明の記録フォーマットで採用されている符号化方式、例えば、解像度スケーラビリティーがあり、かつ画面分割可能な符号化方式に従って圧縮符号化されると、例えば図６に示される構成の２画面サイズの圧縮符号化画像データ１が得られ、その圧縮符号化画像データ１が記録媒体に記録されることになる。
【０１００】
従って、図６には図示せぬ携帯端末は、上述したように、記録媒体に記録された圧縮符号化画像データ１全体を読み出して伸張復号することで、２画面サイズのオリジナル画像データを得ることが可能になる。
【０１０１】
ところで、図６に示されるように、この圧縮符号化画像データ１は、8000バイトのLeft Side Dataと、8000バイトのRight Side Dataとがその順番に並んで構成されている。Left Side Dataとは、図１の１画面サイズの左側分割画像３Ａに対応する部分データである。また、Right Side Dataとは、図１の１画面サイズの右側分割画像３Ｂに対応する部分データである。
【０１０２】
即ち、offsetが0-8000までの範囲に配置されたデータが、左側分割画像３Ａに対応するLeft Side Dataとされている。また、offsetが8000-16000までの範囲に配置されたデータが、右側分割画像３Ｂに対応するRight Side Dataとされている。
【０１０３】
従って、携帯端末は、記録媒体に記録された圧縮符号化画像データ１からLeft Side Dataのみを抽出して伸張復号することで、図１の２画面サイズのオリジナル画像３のうちの１画面サイズの左側分割画像３Ａに対応する画像データを得ることが可能になる。
【０１０４】
このとき、抽出対象のLeft Side Dataの配置位置を携帯端末が容易かつ迅速に特定できるように、図６の例の画面切替データ２には、上述した「画面分割位置データ」の一部として［Left Side Data Information］が含まれている。図６に示されるように、この［Left Side Data Information］には、「0-8000」という情報、即ち、offsetが0-8000までの範囲に配置されるデータがLeft Side Dataであることを示す情報が記述されている。
【０１０５】
同様に、携帯端末は、記録媒体に記録された圧縮符号化画像データ１からRight Side Dataのみを抽出して伸張復号することで、図１の２画面サイズのオリジナル画像３のうちの１画面サイズの右側分割画像３Ｂに対応する画像データを得ることが可能になる。即ち、上述した図３の部分データ１Ｃが、図６のRight Side Dataに対応する。
【０１０６】
このとき、抽出対象のRight Side Dataの配置位置を携帯端末が容易かつ迅速に特定できるように、図６の例の画面切替データ２には、上述した「画面分割位置データ」の一部として［Right Side Data Information］が含まれている。図６に示されるように、この［Right Side Data Information］には、「8000-16000」という情報、即ち、offsetが8000-16000までの範囲に配置されるデータがRight Side Dataであることを示す情報が記述されている。
【０１０７】
即ち、［画面分割位置データ］として、図６の例では、［Right Side Data Information］と［Left Side Data Information］とが設けられている。
【０１０８】
なお、左側分割画像３Ａに対応するLeft Side Dataと、右側分割画像３Ｂに対応するRightSidedataとの並び順は、図６の例に限定されず、図示はしないが、先頭にRight Side Dataが配置され、その後、Left Side Dataが配置されてもよい。ただし、この場合、[Left Side Data Information]には[8000-16000]という情報が、[Right Side Data Information]には[0-8000]という情報が、それぞれ記述されることになる。
【０１０９】
さらに、図６の圧縮符号化画像データ１においては、左側分割画像３Ａに対応するLeft Side Dataの先頭部分（offsetが0-3000の範囲）には、図２の１画面サイズのオリジナル画像３Ｃが表示される場合に利用される部分データとして、3000バイトのScale Down Data[L]が配置されている。
【０１１０】
同様に、圧縮符号化画像データ１においては、右側分割画像３Ｂに対応するRight Side Dataの先頭部分（offsetが8000-11000の範囲）には、１画面サイズのオリジナル画像３Ｃが表示される場合に利用される部分データとして、3000バイトのScale Down Data[R]が配置されている。
【０１１１】
従って、携帯端末は、記録媒体に記録された圧縮符号化画像データ１からScale Down Data[L]とScale Down Data[R]とを抽出し、それらから構成される部分データを伸張復号することで、上述した図２の１画面サイズのオリジナル画像３Ｃに対応する画像データを得ることが可能になる。即ち、上述した図２の部分データ１Ａが図６のScale Down Data[L]に対応し、部分データ１Ｂが図６のScale Down Data[R]に対応する。
【０１１２】
このとき、抽出対象のScale Down Data[L]とScale Down Data[R]の配置位置を携帯端末が容易かつ迅速に特定できるように、図６の例の画面切替データ２には、上述した「解像度位置データ」として［Scale Down Data Information］が含まれている。図６に示されるように、この［Scale Down Data Information］には、「0-3000，8000-11000」という情報、即ち、offsetが0-3000までの範囲に配置されるデータがScale Down Data[L]であり、かつ、offsetが8000-11000までの範囲に配置されるデータがScale Down Data[R]であることを示す情報が記述されている。
【０１１３】
その他、図６の画面切替データ２には、［original Data Information］が含まれている。この［original Data Information］には、オリジナル画像データそのものに関する情報が記述される。例えば図６の例の［original Data Information］には、「Width:640,Height:480」という情報、即ち、２画面サイズとは、横方向のサイズが640画素分であり、かつ縦方向のサイズが480画素分であることを示す情報が記述されている。
【０１１４】
以上、図６を参照して、図１乃至図５の圧縮符号化画像データ１とその画面切替データ２の詳細な構成例を説明した。
【０１１５】
ところで、図４と図５に示される圧縮符号化画像データ１１とその画面切替データ１２とのそれぞれも、図６の圧縮符号化画像データ１と画面切替データ２のそれぞれと基本的に同様の構成となる。ただし、この場合のoffsetは異なることがある。
【０１１６】
即ち、本発明の記録フォーマットの符号化方式として、解像度スケーラビリティーがあり、かつ画面分割可能な符号化方式が採用され、その符号化方式に従って、２画面サイズの所定の静止画像が圧縮符号化された結果得られる圧縮符号化画像データも、図６の圧縮符号化画像データ１と同様の構成となる。ただし、この場合のoffsetは異なることがある。また、その圧縮符号化画像データに対応する画面切替データも、図６の画面切替データ２と基本的に同様の構成となる。
【０１１７】
即ち、結局図６は、解像度スケーラビリティーがあり、かつ画面分割可能な符号化方式を採用した本発明の記録フォーマットに従って記録媒体に記録される静止画像のデータ構造例を示していることになる。
【０１１８】
ところで、以上説明したような解像度スケーラビリティーがあり、かつ、画面分割可能な静止画像に対する符号化方式として、例えばJPEG（Joint Photographic Experts Group）やJPEG2000が採用可能である。即ち、本発明の記録フォーマットの静止画像に対する符号化方式として、JPEGやJPEG2000が採用可能である。
【０１１９】
なぜならば、解像度スケーラビリティーがある符号化方式を実現可能な技術として、JPEGはhierarchicalと称される技術を、JPEG2000はwavelet分割と称される技術を、それぞれ有しているからである。また、画面分割可能な符号化方式を実現可能な技術として、JPEGとJPEG2000とはいずれもタイリングと称される技術を有しているからである。
【０１２０】
例えば、本発明の記録フォーマットの静止画像に対する符号化方式としてJPEG2000が採用された場合には、この記録フォーマットに従って記録媒体に記録される静止画像のデータ、即ち、静止画像に対応する圧縮符号化画像データ１とその画面切替データ２は、図７に示される構成となる。即ち、図７は、JPEG2000が採用された場合における本発明の記録フォーマットに従って記録媒体に記録される静止画像のデータの詳細な構成例を示している。或いは、図７は、JPEG2000が採用された場合における本発明の静止画像のデータ構造の例を示しているとも言える。
【０１２１】
以下、この図７を参照して、JPEG2000の圧縮符号化画像データ１と画面切替データ２のそれぞれの詳細な構成例について説明する。
【０１２２】
上述したように、図１の左側分割画像３Ａと右側分割画像３Ｂとが並んで形成される静止画像３がオリジナル画像とされている。従って、JPEG2000では、左側分割画像３Ａと右側分割画像３Ｂとのそれぞれが１つのタイルとして取り扱われる。
【０１２３】
また、JPEG2000では、各タイルのそれぞれについて、所定の種類の品種に着目して階層符号化を行うことができる。なお、JPEG2000における品質の種類とは、画質、空間解像度、位置（空間領域）、およびコンポーネントを指す。そこで、例えば、空間解像度に着目し、また、その階層数を２レベルとし、即ち、２画面サイズを最高解像度であるレベル１とし、１画面サイズをレベル０として、オリジナル画像データがJPEG2000に従って圧縮符号化されると、図７に示される構成の２画面サイズの圧縮符号化画像データ１が得られ、その圧縮符号化画像データ１が記録媒体に記録されることになる。
【０１２４】
従って、図８に示されるように、同図には図示せぬ携帯端末は、記録媒体に記録された圧縮符号化画像データ１全体を読み出してJPEG2000に従って伸張復号することで、２画面サイズのオリジナル画像データを得ることが可能になる。そして、この画像データが表示装置４に供給されれば、同図に示されるように、２画面サイズのオリジナル画像３が２画面に表示されるのである。即ち、表示装置４のうちの、第１の表示画面４Ａには左側分割画像３Ａが表示され、第２の表示画面４Ｂには右側分割画像３Ｂが表示されるのである。
【０１２５】
図７に戻り、このJPEG2000の圧縮符号化画像データ１は、Main Header,Tile Header[L],Data[L0],Data[L1],Tile Header[R],Data[R0],Data[R1]がその順番に配置されて構成されている。
【０１２６】
Main Headerには、オリジナル画像データ全体に関する各種情報が記述される。これに対して、Tile Headerには、オリジナル画像から分割された各タイルのそれぞれに関する各種情報が記述される。また、所定のタイルについてのTile Headerの後には、そのタイルに対応するData（部分データ）が配置される。即ち、第１のタイルについての、Tile Headerと、その第１のタイルに対応するDataが配置された後、第２のタイルについてのTile Headerと、その第２のタイルに対応するDataが配置されることになる。
【０１２７】
具体的には例えばここでは、図１の２画面サイズのオリジナル画像３が左右２つのタイルに分割され、そのうちの左側のタイルが図１の左側分割画像３Ａと称され、右側のタイルが図１の右側分割画像３Ｂと称されている。従って、例えば図７に示されるように、Main Headerの後には、左側分割画像３Ａに対応するTile Header［L］が配置され、そのTile Header［L］に続いて、左側分割画像３Ａに対応する部分データとして、Data［L0］とData[L1]が配置されることになる。そして、このData［L1］の後に、今度は、右側分割画像３Ｂに対応するTile Header［R］が配置され、そのTile Header［R］に続いて、右側分割画像３Ｂに対応する部分データとして、Data［R0］とData[R1]が配置されることになる。
【０１２８】
ところで、圧縮符号化画像データ１の構成として図６と図７とを比較すると、図６のLeft Side Dataが図７のData[L0]とData[L1]との組に対応し、図６のScale Down Data[L]が図７のData[L0]に対応することがわかる。同様に、図６のRight Side Dataが図７のData[R0]とData[R1]との組に対応し、図６のScale Down Data[R]が図７のData[R0]に対応することがわかる。
【０１２９】
このため、図７においても、図６と同様の構成を有する画面切替データ２が示されている。
【０１３０】
ただし、JPEG2000においては、伸張復号処理のときにMain Headerと対応するTile Headerも必要となるので、解像度レベル１で左側分割画像３Ａを表示させるための伸張復号処理には、Data[L0]とData[L1]だけではなく、Main HeaderとTile Header[L]も必要になる。即ち、解像度レベル１で左側分割画像３Ａを表示させる場合に抽出すべきデータは、offsetがA-Dまでの範囲に配置されているデータとなる。従って、このことを示す情報として、「A-D」という情報が［Left Side Data Information］に記述されているのである。
【０１３１】
なお、オリジナル画像の解像度レベル１での再生とは、上述した図８の２画面サイズのオリジナル画像３の再生を指す。また、オリジナル画像の解像度レベル０での再生とは、後述する図９（または上述した図２）の１画面サイズのオリジナル画像３Ｃの再生を指す。従って、左側分割画像３Ａの解像度レベル１での再生とは、１画面サイズの左側分割画像３Ａの再生を示す。
【０１３２】
同様に、解像度レベル１で右側分割画像３Ｂを表示させるための伸張復号処理には、Data[R0]とData[R1]だけではなく、Main HeaderとTile Header［R］も必要になる。即ち、解像度レベル１で右側分割画像３Ｂを表示させる場合に抽出すべきデータは、offsetがA-Bまでの範囲に配置されているデータ、および、offsetがD-Fまでの範囲に配置されているデータとなる。従って、このことを示す情報として、「A-B，D-F」という情報が［Right Side Data Information］に記述されているのである。なお、左側分割画像３Ａの解像度レベル１での再生と同様に、右側分割画像３Ｂの解像度レベル１での再生とは、１画面サイズの右側分割画像３Ｂの再生を示す。
【０１３３】
また、解像度レベル０でオリジナル画像を表示させるための、即ち、１画面サイズのオリジナル画像３Ｃを表示させるための伸張復号処理には、Data[L0]とData[R0]だけではなく、Main Header，Tile Header［L］, Tile Header［R］も必要になる。即ち、解像度レベル０でオリジナル画像を表示させる場合に抽出すべきデータは、offsetがA-Cまでの範囲に配置されているデータ、および、offsetがD-Eまでの範囲に配置されているデータとなる。従って、このことを示す情報として、「A-C，D-E」という情報が［Scale Down Data Information］に記述されているのである。
【０１３４】
従って、例えば図９に示されるように、同図に図示せぬ携帯端末は、１画面サイズのオリジナル画像３Ｃを表示装置４の２画面のうちの一方、例えば第１の表示画面４Ａに表示させる場合、画面切替データ２の「Scale Down Data Information」を参照することで、JPEG2000の圧縮符号化画像データ１のうちのoffsetがA-Cの範囲に配置される部分データとoffsetがD-Eの範囲に配置される部分データの抽出が必要なことを容易にかつ迅速に認識することができる。その結果、携帯端末は、圧縮符号化画像データ１のうちの認識された２つの部分データを記録媒体から読み出し、それらの２つの部分データから構成される部分データ５、即ち、Main Header,Tile Header[L],Data[L0],Tile Header[R],Data[R0]がその順番に配置されて構成される部分データ５を伸張復号し、その結果得られる画像データを表示装置４に供給することができる。これにより、表示装置４の第１の表示画面４Ａには、供給された画像データに対応する１画面サイズのオリジナル画像３Ｃが表示されるのである。
【０１３５】
また、例えば図１０に示されるように、同図に図示せぬ携帯端末は、２画面サイズのオリジナル画像３のうちの右側分割画像３Ｂのみを表示させる場合、画面切替データ２の「Right Side Data Information」を参照することで、JPEG2000の圧縮符号化画像データ１のうちのoffsetがA-Bの範囲に配置される部分データとoffsetがD-Fの範囲に配置される部分データの抽出が必要なことを容易にかつ迅速に認識することができる。その結果、携帯端末は、圧縮符号化画像データ１のうちの認識された２つの部分データを記録媒体から読み出し、それらの２つの部分データから構成される部分データ６、即ち、Main Header,Tile Header[R],Data[R0],Data[R1]がその順番に配置されて構成される部分データ６を伸張復号し、その結果得られる画像データを表示装置４に供給することができる。これにより、表示装置４の２つの表示画面のうちの一方、例えば図１０の例では第２の表示画面４Ｂには、供給された画像データに対応する１画面サイズの右側分割画像３Ｂが表示されるのである。
【０１３６】
以上、図６乃至図１０を参照して、本発明の記録フォーマットのうちの、静止画像に対する記録フォーマットについて説明した。
【０１３７】
ところで、上述したように、本発明の記録フォーマットは、静止画像のみならず動画像にも対応可能である。
【０１３８】
なお、動画像を構成する単位は、フレームやフィールド等幾つかの単位（以下、このような動画像を構成する単位をまとめてアクセスユニットとも称する）を採用することが可能である。ただし、ここでは、以下、動画像を構成する単位はフレームであるとして説明していく。
【０１３９】
例えば、本発明の記録フォーマットは、動画像データに対する符号化方式として、上述したJPEG2000を採用することが可能である。
【０１４０】
この場合、この記録フォーマットに従って記録媒体に記録されるデータとは、その動画像を構成する各フレームのそれぞれ毎に圧縮符号化され、その結果得られる各フレームのそれぞれに対応する圧縮符号化画像データの組（以下、このような組を圧縮符号化動画像データと称する）と、各フレームのそれぞれに対応する画面切替データの組（以下、このような組を画面切替データ群と称する）となる。
【０１４１】
JPEG2000では、１つのフレームに対応する圧縮符号化画像データとは、他のフレームの画像データを利用することなく、対応するフレームの画像データがそのまま圧縮符号化されたデータである。
【０１４２】
従って、例えばいま、動画像を構成する各フレームのそれぞれが、左側分割画像と右側分割画像といった２つのタイルに分割されてそれらの２つのタイルの個別表示が可能なように、かつ、上述した１画面サイズや２画面サイズといった２レベルでの解像度での表示が可能なように、その動画像がJPEG2000に従って圧縮符号化されたとする。この場合、その結果得られる圧縮符号化動画像データは、各フレームのそれぞれに対応する圧縮符号化画像データの組となるが、各フレームのそれぞれに対応する圧縮符号化画像データは、上述した図７の圧縮符号化画像データ１と基本的に同様の構成をそれぞれ有することになる。これに伴い、各フレームのそれぞれに対応する画面切替データも、図７の画面切替データ２と基本的に同様の構成をそれぞれ有することになる。従って、各フレームのそれぞれに対応する図７の構成を有する画面切替データの組が画面切替データ群となる。
【０１４３】
このようなJPEG2000の他さらに、本発明の記録フォーマットは、動画像データに対する符号化方式として、例えばMPEG４(Moving Picture Experts Group ４)を採用することもできる。
【０１４４】
この場合、この記録フォーマットに従って記録媒体に記録されるデータとは、図１１に示されるような圧縮符号化動画像データ５１と、それに対応する画面切替データ群５２となる。即ち、図１１は、MPEG4が採用された場合における本発明の記録フォーマットに従って記録媒体に記録される動画像のデータの詳細な構成例を示している。或いは、図１１は、MPEG4が採用された場合における本発明の動画像のデータ構造の例を示しているとも言える。
【０１４５】
以下、この図１１を参照して、MPEG4の圧縮符号化動画像データ５１と画面切替データ群５２のそれぞれの詳細な構成例について説明する。
【０１４６】
図１１に示されるように、MPEG4の圧縮符号化動画像データ５１は、各フレームのそれぞれに対応する圧縮符号化データが再生順番に配置されて構成される。例えば図１１の例では、１番目のフレームに対応する圧縮符号化データとして、オフセットが0-8000の範囲にOrginal Data1が配置されている。それに続いて、２番目のフレームに対応する圧縮符号化データとして、オフセットが8000-16000の範囲にOrginal Data２が配置されている。それに続いて、３番目のフレームに対応する圧縮符号化データとして、オフセットが16000-24000の範囲にOrginal Data３が配置されている。それらに続いて、以下、図１１には図示されていないが、４番目以降の各フレームのそれぞれに対応する圧縮符号化データが順次配置されていくことになる。
【０１４７】
ところで、MPEG４とは、解像度スケーラビリティーのある符号化方式のひとつである。なぜならば、解像度スケーラビリティーのある符号化方式を実現可能な技術として、MPEG４はFGS(Fine Granularity Scalable）を有しているからである。
【０１４８】
このため、Original Data1の先頭部分（offsetが0-3000の範囲）には、3000バイトのScale Down Data1が配置されている。即ち、例えばいま、Original Data1が抽出されて伸張復号されると、１番目のフレームに対応する２画面サイズの（解像度レベル１の）画像データが得られるとする。この場合、図６で説明したように、Scale Down Data1が抽出されて伸張復号されると、１番目のフレームに対応する１画面サイズの（解像度レベル０の）画像データが得られることになる。
【０１４９】
従って、Original Data1、または、Scale Down Data１の配置位置を携帯端末が容易かつ迅速に特定できるように、図１１の例の画面切替データ群５２には、［Original Data 1 Information］と［Scale Down Data 1 Information］からなる画面切替データ５２Ｂ、即ち、１番目のフレームに対応する画面切替データ５２Ｂが含まれている。
【０１５０】
図１１に示されるように、画面切替データ５２Ｂのうちの［Original Data 1 Information］には、「0-8000」という情報、即ち、offsetが0-8000までの範囲に配置されるデータが、１番目のフレームに対応する２画面サイズ（オリジナルサイズ）の圧縮符号化画像データであることを示す情報が記述されている。また、画面切替データ５２Ｂのうちの［Scale Down Data 1 Information］には、「0-3000」という情報、即ち、offsetが0-3000までの範囲に配置されるデータが、１番目のフレームに対応する１画面サイズの（解像度が落とされた）圧縮符号化画像データであることを示す情報が記述されている。
【０１５１】
なお、圧縮符号化動画像データ５１全体から見た場合、Original Data1も、Scale Down Data１も、圧縮符号化動画像データ５１の中から抽出対象となり得る部分データであると言える。従って、画面切替データ群５２全体から見た場合、即ち、画面切替データ群５２とは１つの画面切替データ５２であると捉えた場合、画面切替データ５２Ｂとは、Original Data1とScale Down Data１といったそれぞれの部分データの配置位置を示す位置データ５２Ｂであるとも言える。
【０１５２】
このことは、他のフレームについても同様である。即ち、圧縮符号化動画像データ５１から見た場合、Original Data2、Scale Down Data2、Original Data3、および、Scale Down Data3はいずれも部分データであると言える。また、画面切替データ群５２から見た場合、後述する２番目のフレームの画面切替データ５２Ｃと３番目のフレームの画面切替データ５２Ｄとはいずれも位置データであると言える。さらに、このことは、上述したJPEG2000の圧縮符号化動画像データとそれに対応する画面切替データ群についても同様である。
【０１５３】
ところで、MPEG4では、Ｉピクチャ（Intra-Picture）、Ｐピクチャ（Predictive-Picture）、およびＢピクチャ（Bidirectionally Predictive-Picture）のうちのいずれかの予測モードで各フレームの画像データのそれぞれが予測され、それらの予測誤差のそれぞれが符号化（エンコード）される。従って、その結果得られるIピクチャの符号化データ、Ｐピクチャの符号化データ、および、Ｂピクチャの符号化データのうちのいずれかが、各フレームのそれぞれの圧縮符号化データになる。
【０１５４】
Ｉピクチャの符号化データとは、対応する１フレーム分の画像データが、他のフレームの画像データを利用することなくそのまま符号化された結果得られるデータである。一方、Ｐピクチャの符号化データとは、基本的には、対応する１フレーム分の画像データと、それより時間的に先行するＩピクチャまたはＰピクチャの画像データとの差分が符号化された結果得られるデータである。また、Ｂピクチャの符号化データは、基本的には、対応する１フレーム分の画像データと、時間的に先行するＩピクチャ若しくはＰピクチャの画像データまたは後行するＩピクチャ若しくはＰピクチャからの画像データとの差分が符号化された結果得られるデータである。
【０１５５】
従って、MPEG４に従って動画像信号が圧縮符号化された結果得られた図１１の圧縮符号化動画像データ５１についても全く同様に、Original Data1,Original Data2,Original Data3といった各フレームのそれぞれの圧縮符号化画像データは、Ｉピクチャの符号化データ、Ｐピクチャの符号化データ、および、Ｂピクチャの符号化データのうちのいずれかとなる。
【０１５６】
従って、携帯端末は、圧縮符号化動画像データ５１のうちの、処理対象のフレームの圧縮符号化画像データを伸張復号して、処理対象のフレームの画像データを復元する場合、その圧縮符号化画像データがＢピクチャまたはＰピクチャの符号化データであるときには、処理対象の前後のフレームの画像データを利用しなければならない。このため、図１１の例の画面切替データ群５２内の各フレームのそれぞれに対応する画面切替データ５２Ｂ乃至５２Ｄ等には、対応するフレームのタイプを示す情報、即ち、Ｉピクチャを示す「Ｉ」、Ｐピクチャを示す「Ｐ」、および、Ｂピクチャを示す「Ｂ」のうちのいずれかが含まれているのである。例えば、画面切替データ５２Ｂの［Original Data 1 Information］と［Scale Down Data 1 Information］のそれぞれには「Ｉ」が含まれていることから、１番目のフレームはＩピクチャであることがわかる。
【０１５７】
ところで、以上のOriginal Data1と同様に、Original Data2の先頭部分（offsetが8000-11000の範囲）には、3000バイトのScale Down Data2が配置されている。従って、Original Data2が抽出されて伸張復号されると、２番目のフレームに対応する２画面サイズの画像データが得られるのに対して、Scale Down Data2が抽出されて伸張復号されると、２番目のフレームに対応する１画面サイズの画像データが得られることになる。
【０１５８】
このとき、抽出対象となり得るOriginal Data2、または、Scale Down Data2の配置位置を携帯端末が容易かつ迅速に特定できるように、図１１の例の画面切替データ群５２には、［Original Data 2 Information］と［Scale Down Data 2 Information］からなる画面切替データ５２Ｃ、即ち、２番目のフレームに対応する画面切替データ５２Ｃが含まれている。
【０１５９】
図１１に示されるように、画面切替データ５２Ｃのうちの［Original Data 2 Information］には、「8000-16000」という情報、即ち、offsetが8000-16000までの範囲に配置されるデータが、２番目のフレームに対応する２画面サイズの圧縮符号化画像データであることを示す情報が記述されている。また、画面切替データ５２Ｃのうちの［Scale Down Data 2 Information］には、「8000-11000」という情報、即ち、offsetが8000-11000までの範囲に配置されるデータが、２番目のフレームに対応する１画面サイズの圧縮符号化画像データであることを示す情報が記述されている。
【０１６０】
また、画面切替データ５２Ｃの［Original Data 2 Information］と［Scale Down Data 2 Information］のそれぞれには、２番目のフレームのタイプがＰピクチャであることを示す「Ｐ」という情報が記述されている。
【０１６１】
以上のOriginal Data1やOriginal Data2と同様に、Original Data3の先頭部分（offsetが16000-19000の範囲）には、3000バイトのScale Down Data3が配置されている。従って、Original Data3が抽出されて伸張復号されると、３番目のフレームに対応する２画面サイズの画像データが得られるのに対して、Scale Down Data3が抽出されて伸張復号されると、３番目のフレームに対応する１画面サイズの画像データが得られることになる。
【０１６２】
このとき、抽出対象となり得るOriginal Data3、または、Scale Down Data3の配置位置を携帯端末が容易かつ迅速に特定できるように、図１１の例の画面切替データ群５２には、［Original Data 3 Information］と［Scale Down Data 3 Information］からなる画面切替データ５２Ｄ、即ち、３番目のフレームに対応する画面切替データ５２Ｄが含まれている。
【０１６３】
図１１に示されるように、画面切替データ５２Ｄのうちの［Original Data 3 Information］には、「16000-24000」という情報、即ち、offsetが16000-24000までの範囲に配置されるデータが、３番目のフレームに対応する２画面サイズの圧縮符号化画像データであることを示す情報が記述されている。また、画面切替データ５２Ｄのうちの［Scale Down Data 3 Information］には、「16000-19000」という情報、即ち、offsetが16000-19000までの範囲に配置されるデータが、３番目のフレームに対応する１画面サイズの圧縮符号化画像データであることを示す情報が記述されている。
【０１６４】
また、画面切替データ５２Ｄの［Original Data 3 Information］と［Scale Down Data 3 Information］のそれぞれには、３番目のフレームのタイプがＢピクチャであることを示す「Ｂ」という情報が記述されている。
【０１６５】
以下、図１１には図示はされていないが、画面切替データ５２Ｄに続いて、４番目以降の各フレームのそれぞれに対応する画面切替データも再生順番に従って順次配置されていくことになる。
【０１６６】
また、図１１の画面切替データ群５２には、その先頭に［original Data Information］が含まれている。この［original Data Information］には、オリジナル画像データに共通する情報、即ち、各フレームのそれぞれに対応する２画面サイズの画像データにに共通する情報が記述される。例えば図１１の例の［original Data Information］には、「Width:640,Height:480」という情報、即ち、２画面サイズとは、横方向のサイズが640画素分であり、かつ縦方向のサイズが480画素分であることを示す情報が記述されている。
【０１６７】
なお、上述した図１１の例では、MPEG4の動画像を構成する各フレームのそれぞれのタイプは、対応するフレームの画面切替データに記述されていたが、この［Original Data Information］にまとめて記述されてもよい。
【０１６８】
また、上述した図１１の例では、MPEG4の圧縮符号化動画像データ５１には、図６の例と対比させるために、各フレーム毎のScale Down DataとOriginal Dataとが含まれるとしたが、実際には、Scale Down Dataは「Base-Layerデータ」で、Original Dataは「B ase-Layerデータ」と「Enhancement-Layerデータ」との組み合わせで、それぞれ構成されることになる。
【０１６９】
以上、図１乃至図１１を参照して、本発明の記録フォーマットについて説明した。
【０１７０】
このように、本発明の記録フォーマットに従って記録媒体に記録される圧縮符号化画像データ、即ち、２画面サイズの圧縮符号化画像データは、次のような特徴を有している。即ち、２画面サイズのオリジナル画像が２つに分割された１画面サイズの左側分割画像若しくは右側分割画像、または、１画面サイズ（縮小サイズ）のオリジナル画像に対応する部分データのそれぞれが、圧縮符号化画像データ全体の伸張復号を伴うことなく抽出可能となる特徴が、２画面サイズの圧縮符号化画像データが有する特徴である。
【０１７１】
さらに、本発明の記録フォーマットにおいては、これらの部分データを容易にかつ柔軟に取り出せるように、先頭からのオフセットサイズ等の各部分データの配置位置を示す画面切替データが、対応する符号化画像データとともに記録媒体に記録されることが規定されている。
【０１７２】
これにより、携帯端末は、必要な部分データのみを容易にアクセスして抽出することができるようになり、その結果、必要以上のデータを伸張復号するという無駄な処理を実行することなく、最低限のデータだけを伸張符号することができる。
【０１７３】
ただし、この画面切替データは、対応する圧縮符号化画像データとは別のファイルに保存されていてもよいし、或いは、対応する圧縮符号化画像データ内のユーザ定義領域などに書き込まれていてもよい。即ち、画像切替データの記録場所は、圧縮符号化画像データから部分データを抽出するときに携帯端末が参照可能な場所であれば特に限定されない。
【０１７４】
さらに、本発明の記録フォーマットに従って記録媒体に記録される対象が動画像の場合、即ち、圧縮符号化動画像データが記録媒体に記録される場合、各フレーム（ピクチャ）毎に１つの画面切替データが作成され、それらの画面切替データの組が画面切替データ群として、圧縮符号化動画像データと関連付けられて記録媒体に記録される。従って、携帯端末は、この画面切替データ群を参照することで、静止画像と同様に再生開始時から、２画面表示の様々な表示形方式うちの任意の表示方式で動画像を再生できるととともに、再生途中での表示方式の切り替えも容易に行うことができる。
【０１７５】
なお、上述した動画像の例では、各フレームデータ、即ち、各フレームのそれぞれに対応する圧縮符号化画像データのサイズがそれぞれ異なる可能性を考慮して、各フレームデータ毎に１つの画面切替データを設けるようにしたが（上述した図１１参照）、各フレームデータのサイズを統一することで、即ち、各フレーム毎のoriginal DataとScale Down Dataのそれぞれのサイズを統一することで、画面切替データを１つにまとめることができる。
【０１７６】
次に、図１２乃至図１８を参照して、このような本発明の記録フォーマットを利用する情報処理システム、即ち、本発明が適用される情報処理システムについて説明する。
【０１７７】
図１２は、本発明が適用される情報処理システムの構成の一例を示す図である。
【０１７８】
図１２に示されるように、この情報処理システムは、画像配信装置（サーバ）１０１と、これまで携帯端末と称していた画像再生装置（クライアント）１０２とから構成される。
【０１７９】
画像配信装置１０１は、上述した本発明の記録フォーマットに従って２画面サイズのオリジナル画像データを圧縮符号化し、その結果得られる２画面サイズの圧縮符号化画像データを所定の記録媒体に記録させるとともに、その圧縮符号化画像データに対応する上述した画面切替データをその記録媒体に記録させる。
【０１８０】
なお、圧縮符号化画像データと画面切替データとが記録される記録媒体は、画像配信装置１０１自身（例えば、後述する図１３の画像記憶部１１４）でもよいし、リムーバブル記録媒体１０４でもよいし、或いは、画像再生装置１０２（例えば、後述する図１４の画像記憶部１５３）でもよい。
【０１８１】
ただし、ここでは、後述する図１３に示されるように、圧縮符号化画像データと画面切替データは、画像配信装置１０１内の画像記憶部１１４に一旦記録されるとする。
【０１８２】
即ち、画像配信装置１０１は、圧縮符号化画像データと画面切替データとを内部の画像記憶部１１４に一旦記録させた後、必要に応じて、リムーバブル記録媒体１０４に記録させたり、或いは、ネットワーク１０３を介して画像再生装置１０２に配信することになる。
【０１８３】
従って、画像再生装置１０２側から見れば、圧縮符号化画像データと画面切替データとは、画像配信装置１０１からネットワーク１０３またはリムーバブル記録媒体１０４を介して配信されてくることになる。
【０１８４】
画像再生装置１０２は、このようにして画像配信装置１０１から配信された圧縮符号化画像データと画面切替データとを用いて、オリジナル画像を所望の再生方式（表示方式）で再生することができる。
【０１８５】
例えば、画像再生装置１０２は、２画面サイズのオリジナル画像を２画面全体に表示させる場合には、圧縮符号化画像データ全体を伸張復号し、その結果得られる画像データを表示装置（例えば後述する図１４の表示部１５９）に適する形態の画像信号に変換し、その画像信号を表示装置に供給する、といった第１の処理を実行することができる。これにより、表示装置の２画面全体には、２画面サイズのオリジナル画像が表示されるのである（例えば上述した図１参照）。
【０１８６】
また例えば、画像再生装置１０２は、１画面サイズの（解像度が落とされた）オリジナル画像を、２画面のうちの一方に表示させる場合には、画面切替データを参照して、圧縮符号化画像データの中から対応する部分データのみを抽出して伸張復号し、その結果得られる画像データを表示装置に適する形態の画像信号に変換し、その画像信号を表示装置に供給する、といった第２の処理を実行することができる。これにより、表示装置の２画面のうちの一方には、１画面サイズのオリジナル画像が表示されるのである（例えば上述した図２参照）。
【０１８７】
また例えば、画像再生装置１０２は、２画面サイズのオリジナル画像が２つに分割された１画面サイズの左側分割画像と右側分割画像とのうちの一方を、２画面のうちの一方に表示させる場合には、画面切替データを参照して、圧縮符号化画像データの中から対応する部分データのみを抽出して伸張復号し、その結果得られる画像データを表示装置に適する形態の画像信号に変換し、その画像信号を表示装置に供給する、といった第３の処理を実行することができる。これにより、表示装置の２画面のうちの一方には、１画面サイズの左側分割画像または右側分割画像が表示されるのである（例えば上述した図３参照）。
【０１８８】
さらに、例えば、第１のオリジナル画像に対応する第１の圧縮符号化画像データとその第１の画面切替データの他、第２のオリジナル画像に対応する第２の圧縮符号化画像データとその第２の画面切替データも画像再生装置１０２に配信されたとする。この場合、上述したように、画像再生装置１０２は、第１の画面切替データを参照して上述した第２の処理と第３の処理のうちの一方を第１の圧縮符号化画像データに施すとともに、第２の画面切替データを参照して上述した第２の処理と第３の処理のうちの一方を第２の圧縮符号化画像データに施すことができる。その結果、表示装置の２画面のうちの一方には、第１のオリジナル画像またはその一部分（左側分割画像や右側分割画像）が表示され、他方には、第２のオリジナル画像またはその一部分が表示されるのである。
【０１８９】
このような情報処理システムを構成する画像配信装置１０１と画像再生装置１０２のそれぞれの機能的構成例が、図１３と図１４のそれぞれに示されている。そこで、以下、はじめに、図１３を参照して、画像配信装置１０１の機能的構成例を説明し、その次に、図１４を参照して、画像再生装置１０２の機能的構成例について説明する。
【０１９０】
図１３に示されるように、画像配信装置１０１には、切替設定部１１１乃至記録制御部１１６が設けられている。
【０１９１】
切替設定部１１１は、図１４の画像再生装置１０２によりオリジナル画像が再生される場合に切り替えられる可能性のある表示方式を設定し、その設定を示す情報（以下、切替設定情報と称する）を圧縮符号化部１１２に供給する。図１４の画像再生装置１０２によりオリジナル画像が再生される場合に切り替えられる可能性のある表示方式とは、例えば上述した例では、２画面サイズのオリジナル画像が表示される表示方式（以下、オリジナル表示方式と称する）、２画面サイズのオリジナル画像が２つに分割された左側分割画像と右側分割画像とのうちの一方が表示される表示方式（以下、分割画面表示方式と称する）、および、１画面サイズの（解像度が落とされた）オリジナル画像が表示される表示方式（以下、縮小表示方式と称する）を指す。
【０１９２】
圧縮符号化部１１２は、切替設定部１１１から供給された切替設定情報に基づいて、入力画像信号を圧縮符号化し、その結果得られる圧縮符号化画像データ１２１を画像記憶部１１４に記憶させるとともに、画面切替データ生成部１１３に供給する。
【０１９３】
この場合、圧縮符合化部１１２は、上述した本発明の記録フォーマットで採用されている符号化方式に従って入力画像信号を圧縮符号化する。
【０１９４】
詳細には例えば、静止画像の入力画像信号が入力された場合には、圧縮符合化部１１２は、上述したようにJPEGやJPEG2000に従って入力画像信号を圧縮符号化する。
【０１９５】
具体的には例えばいま、２画面サイズのオリジナル静止画像に対応する入力画像信号として入力され、上述したオリジナル表示方式、分割画面表示方式、および、縮小表示方式を示す情報が切替設定情報として切替設定部１１１により設定され、かつ、圧縮符号化部１１２にはJPEG2000が採用されているとする。この場合、圧縮符合化部１１２は、空間解像度に着目し、また、その階層数を２レベルとし、即ち、２画面サイズを最高解像度であるレベル１とし、１画面サイズをレベル０として、入力画像信号をJPEG2000に従って圧縮符号化する。すると、例えば上述した図７の圧縮符号化画像データ１と同様の構成の圧縮符号化画像データ１２１が得られることになる。圧縮符合化部１１２は、その圧縮符号化画像データ１２１を画像記憶部１１４に記憶させるとともに、画面切替データ生成部１１３に供給する。
【０１９６】
また、例えば、動画像の入力画像信号が入力された場合には、圧縮符合化部１１２は、上述したようにJPEG2000やMPEG４に従って入力画像信号を圧縮符号化する。
【０１９７】
具体的には例えばいま、２画面サイズの複数のオリジナル静止画像から構成される動画像に対応する入力画像信号として入力され、上述したオリジナル表示方式と分割画面表示方式を示す情報が切替設定情報として切替設定部１１１により設定され、かつ、圧縮符号化部１１２にはMPEG4が採用されているとする。この場合、圧縮符合化部１１２は、入力画像信号をフレームを単位としてMPEG4に従って圧縮符号化する。すると、例えば上述した図１１の圧縮符号化動画像データ５１と同様の構成の圧縮符号化画像データ１２１が得られることになる。圧縮符合化部１１２は、その圧縮符号化画像データ１２１を画像記憶部１１４に記憶させるとともに、画面切替データ生成部１１３に供給する。
【０１９８】
画面切替データ生成部１１３は、圧縮符号化部１１２から供給された圧縮符号化画像データ１２１に対応する画面切替データ１２２を生成し、画像記憶部１１４に記憶させる。
【０１９９】
具体的には例えば、上述した図７の圧縮符号化画像データ１と同様の構成の圧縮符号化画像データ１２１が供給された場合には、画面切替データ生成部１１３は、図７の画面切替データ２と同様の構成の画面切替データ１２２を生成し、画像記憶部１１４に記憶させる。
【０２００】
また例えば、上述した図１１の圧縮符号化動画像データ５１と同様の構成の圧縮符号化画像データ１２１が供給された場合には、画面切替データ生成部１１３は、図１１の画面切替データ群５２と同様の構成の画面切替データ（群）１２２を生成し、画像記憶部１１４に記憶させる。
【０２０１】
このようにして、画像データ１２１とそれに対応する画面切替データ１２２とが関連付けられて画像記憶部１１４に一旦記憶される。即ち、上述したように、画像記憶部１１４は、本発明の記録フォーマットに従ってデータが記録される記録媒体のひとつである。
【０２０２】
送信制御部１１５は、圧縮符号化画像データ１２１と画面切替データ１２２とを画像記憶部１１４から読み出し、ネットワーク１０３を介して画像再生装置１０２に送信する制御を行う。
【０２０３】
記録制御部１１６は、圧縮符号化画像データ１２１と画面切替データ１２２とを画像記憶部１１４から読み出し、リムーバブル記録媒体１０４に記録させる制御を行う。圧縮符号化画像データ１２１と画面切替データ１２２とが記録されたリムーバブル記録媒体１０４は、画像再生装置１０２の管理者（ユーザ等）に提供される。
【０２０４】
即ち、上述したように、リムーバブル記録媒体１０４も、本発明の記録フォーマットに従ってデータが記録される記録媒体のひとつである。
【０２０５】
以上、図１３を参照して、画像配信装置１０１の機能的構成例について説明した。次に、図１４を参照して、画像再生装置１０２の機能的構成例について説明する。
【０２０６】
図１４に示されるように、画像再生装置１０２には、受信制御部１５１乃至表示部１５９が設けられている。
【０２０７】
受信制御部１５１は、画像配信装置１０１から配信された圧縮符号化画像データ１２１と画面切替データ１２２とをネットワーク１０３を介して受信し、画像記憶部１５３に記憶させる制御を行う。
【０２０８】
読み出し制御部１５２は、リムーバブル記録媒体１０４に記録された圧縮符号化画像データ１２１と画面切替データ１２２とを読み出し、画像記憶部１５３に記憶させる制御を行う。
【０２０９】
このようにして、画像記憶部１５３には、画像データ１２１とそれに対応する画面切替データ１２２とが関連付けられて記憶される。即ち、上述したように、画像記憶部１５３も、本発明の記録フォーマットに従ってデータが記録される記録媒体のひとつである。
【０２１０】
操作部１５４は、例えば、キーボード、マウス、その他入力インタフェースで構成される。ユーザは操作部１５４を操作することで、様々な情報を画像再生装置１０２に入力させることができる。
【０２１１】
具体的には例えば、上述したように、ユーザは、操作部１５４を利用することで、画像記憶部１５３に記憶されている圧縮符号化画像データ１２１に対応するオリジナル画像の表示を指示するとともに、その際の表示方式も指示することができる。この場合のユーザの指示を示す情報は、図１４に示されるように、操作部１５４から画面切替データ解析部１５５に供給される。
【０２１２】
なお、ユーザが指示可能な表示方式とは、例えば上述した例では、２画面サイズのオリジナル画像が表示されるオリジナル表示方式、２画面サイズのオリジナル画像が２つに分割された左側分割画像と右側分割画像とのうちの一方が表示される分割画面表示方式、および、１画面サイズの（解像度が落とされた）オリジナル画像が表示される縮小表示方式を指す。
【０２１３】
さらに、第１のオリジナル画像に対応する圧縮符号化画像データ１２１と、第２のオリジナル画像に対応する圧縮符号化画像データ１２１とが画像記憶部１５３に記憶されている場合、ユーザは操作部１５４を操作して、第１のオリジナル画像の表示方式として上述した縮小表示方式と分割画面表示方式とのうちのいずれか一方を指示するとともに、第２のオリジナル画像の表示方式として同じく縮小表示方式と分割画面表示方式とのうちのいずれか一方を指示することができる。これにより、後述する表示部１５９の２つの表示画面のうちの一方には、例えば表示画面１５９Ａには、第１のオリジナル画像またはその一部分（左側分割画像や右側分割画像）が表示され、その他方には、例えば表示画面１５９Ｂには、第２のオリジナル画像またはその一部分が表示されるのである。
【０２１４】
画面切替データ解析部１５９は、画像記憶部１５３に記憶されている圧縮符号化画像データ１２１の中から抽出すべき部分データを、操作部１５４から指示された表示方式と、その圧縮符号化画像データ１２１に対応する画面切替データ１２２とに基づいて特定する。画面切替データ解析部１５９の特定結果は、画像データ抽出部１５６に供給される。
【０２１５】
画像データ抽出部１５６は、画像記憶部１５３に記憶されている圧縮符号化画像データ１２１の中から、画面切替データ解析部１５５により特定された部分データ、即ち、操作部１５４から指示された表示方式でオリジナル画像を表示させるために必要となる部分データを抽出し、復号部１５７に供給する。なお、操作部１５４から指示された表示方式が、２画面サイズのオリジナル画像が表示されるオリジナル表示方式である場合には、画像データ抽出部１５６は、圧縮符号化画像データ１２１の全てを画像記憶部１５３から読み出し、復号部１５７に供給する。
【０２１６】
復号部１５７は、画像データ抽出部１５６から供給された圧縮符号化画像データ１２１またはその一部分である部分データを、本発明の記録フォーマットで採用されている符号化方式に対応する復号方式に従って伸張復号し、その結果得られる画像データを表示制御部１５８に供給する。なお、上述したように、本発明の記録フォーマットで採用されている符号化方式とは、静止画像の場合には例えばJPEGやJPEG2000であり、動画像の場合には例えばJPEG2000やMPEG４である。
【０２１７】
表示制御部１５８は、復号部１５７から供給された画像データに対応する画像を、表示部１５９の２つの表示画面１５９Ａと表示画面１５９Ｂのうちの少なくとも一方に表示させる制御を行う。
【０２１８】
表示部１５９は、例えば、CRT（Cathode Ray Tub）や液晶型表示装置で構成され、２つの表示画面１５９Ａと表示画面１５９Ｂを有する。なお、ここでは、表示部１５９は、画像再生装置１０２の一構成要素とされているが、画像再生装置１０２の構成要素である必要は特にない。即ち、表示部１５９は外部の表示装置であってもよい。
【０２１９】
上述した図１乃至図３の具体例を用いて、画面切替データ解析部１５５乃至表示部１５９についてさらに説明する。
【０２２０】
即ち、例えばいま、圧縮符号化画像データ１２１として上述した図１乃至図３の圧縮符号化画像データ１が画像記憶部１５３に記憶されるとともに、それに対応する画面切替データ１２２として図２と図３の画面切替データ２が画像記憶部１５３に記憶されているとする。
【０２２１】
この場合、操作部１５４から指示された表示方式が、例えば２画面サイズのオリジナル画像が表示されるオリジナル表示方式であれば、図１に示されるように、画面切替データ解析部１５５は、抽出すべきデータは圧縮符号化画像データ１の全てであることを画像データ抽出部１５６に通知する。すると、画像データ抽出部１５６は、圧縮符号化画像データ１の全てを画像記憶部１５３から読み出し、復号部１５７に供給する。復号部１５７は、圧縮符号化画像データ１を伸張復号し、その結果得られる画像データを表示制御部１５８に供給する。表示制御部１５８は、その画像データに対応する図１の２画面サイズのオリジナル画像３、即ち、左側分割画像３Ａと右側分割画像３Ｂが並んで形成される画像３を、表示部１５９の表示画面１５９Ａと表示画面１５９Ｂの２画面全体に表示させる。即ち、例えば図１４の表示画面１５９Ａが図１の表示画面４Ａに対応し、かつ、図１４の表示画面１５９Ｂが図１の表示画面４Ｂに対応する場合、表示画面１５９Ａには、図１の左側分割画像３Ａが表示されるとともに、表示画面１５９Ｂには、図１の右側分割画像３Ｂが表示されるのである。
【０２２２】
また、操作部１５４から指示された表示方式が、例えば１画面サイズの（解像度が落とされた）オリジナル画像が表示される縮小表示方式であれば、図２に示されるように、画面切替データ解析部１５５は、画面切替データ２を参照して、抽出すべきデータは、圧縮符号化画像データ１のうちの部分データ１Ａと部分データ１Ｂとであることを画像データ抽出部１５６に通知する。すると、画像データ抽出部１５６は、圧縮符号化画像データ１のうちの部分データ１Ａと部分データ１Ｂとを画像記憶部１５３から読み出し、それらからなる部分データ５を復号部１５７に供給する。復号部１５７は、部分データ５を伸張復号し、その結果得られる画像データを表示制御部１５８に供給する。表示制御部１５８は、その画像データに対応する図２の１画面サイズのオリジナル画像３Ｃを、表示部１５９の表示画面１５９Ａと表示画面１５９Ｂのうちの一方に表示させる。即ち、例えば図１４の表示画面１５９Ａが図２の表示画面４Ａに対応し、かつ、図１４の表示画面１５９Ｂが図２の表示画面４Ｂに対応する場合、表示画面１５９Ａには、図２の１画面サイズのオリジナル画像３Ｃが表示されるのである。
【０２２３】
また、操作部１５４から指示された表示方式が、例えば２画面サイズのオリジナル画像が２つに分割された左側分割画像と右側分割画像とのうちの一方、具体的には例えば右側分割画像が表示される分割画面表示方式であれば、図３に示されるように、画面切替データ解析部１５５は、画面切替データ２を参照して、抽出すべきデータは、圧縮符号化画像データ１のうちの部分データ１Ｃであることを画像データ抽出部１５６に通知する。すると、画像データ抽出部１５６は、圧縮符号化画像データ１のうちの部分データ１Ｃを画像記憶部１５３から読み出し、その部分データ１Ｃ、即ち部分データ６を復号部１５７に供給する。復号部１５７は、部分データ６を伸張復号し、その結果得られる画像データを表示制御部１５８に供給する。表示制御部１５８は、その画像データに対応する図３の１画面サイズの右側分割画像３Ｂを、表示部１５９の表示画面１５９Ａと表示画面１５９Ｂのうちの一方に表示させる。即ち、例えば図１４の表示画面１５９Ａが図３の表示画面４Ａに対応し、かつ、図１４の表示画面１５９Ｂが図３の表示画面４Ｂに対応する場合、表示画面１５９Ｂには、図３の１画面サイズの右側分割画像３Ｂが表示されるのである。
【０２２４】
以上、図１３と図１４のそれぞれを参照して、画像配信装置１０１と画像再生装置１０２のそれぞれの機能的構成例について説明した。
【０２２５】
このような画像配信装置１０１が実行する処理のうちの、本発明の記録フォーマットに従って画像データを記録媒体に記録させる処理（以下、記録処理と称する）が図１５のフローチャートに示されている。また、このような画像再生装置１０２が実行する処理のうちの、本発明の記録フォーマットに従って記録媒体に記録された画像データに対応する動画像を再生（表示）する処理（以下、再生処理と称する）が図１６のフローチャートに示されている。
【０２２６】
そこで、以下、図１５と図１６のフローチャートのそれぞれを参照して、画像配信装置１０１の記録処理と、画像再生装置１０２の再生処理のそれぞれについてその順番に個別に説明していく。
【０２２７】
図１５のフローチャートのステップＳ１において、図１３の画像配信装置１０１の圧縮符号化部１１２は、切替設定部１１１から供給された切替設定情報に基づいて、入力画像信号を圧縮符号化し、その結果得られる圧縮符号化画像データ１２１を画像記憶部１１４に一旦記録する。
【０２２８】
この圧縮符号化画像データ１２１は画面切替データ生成部１１３にも供給される。すると、ステップＳ２において、画面切替データ生成部１１３は、その圧縮符号化画像データ１２１に対応する画面切替データ１２２を生成し、その圧縮符号化画像データ１２１に関連付けて画像記憶部１１４に一旦記録する。
【０２２９】
なお、記録対象の記録媒体が画像記憶部１１４であれば、ステップＳ２の処理が終了すると、後述するステップＳ３の処理は実行されずに記録処理は終了となる。
【０２３０】
これに対して、記録対象の記録媒体がリムーバブル記録媒体１０４または画像再生装置１０２内の図１４の画像記憶部１５３である場合、ステップＳ３の処理が実行される。
【０２３１】
例えば、記録対象の記録媒体がリムーバブル記録媒体１０４の場合、ステップＳ３において、記録制御部１１６は、圧縮符号化画像データ１２１と画面切替データ１２２とを画像記憶部１１４から読み出し、リムーバブル記録媒体１０４（他の記録媒体）に記録する。これにより、記録処理は終了となる。
【０２３２】
また例えば、記録対象の記録媒体が画像再生装置１０２内の図１４の画像記憶部１５３の場合、ステップＳ３において、送信制御部１１５は、圧縮符号化画像データ１２１と画面切替データ１２２とを画像記憶部１１４から読み出し、ネットワーク１０３を介して画像再生装置１０２に配信することで、その画像再生装置１０２内の画像記憶部１５３に（他の記録媒体）に記録する。これにより、記録処理は終了となる。
【０２３３】
なお、、記録対象の記録媒体が画像再生装置１０２内の図１４の画像記憶部１５３の場合、より正確には、後述する図１６のステップＳ２１の処理で、受信制御部１５１が、圧縮符号化画像データ１２１と画面切替データ１２２とを受信して、画像記憶部１５３に記録させることになる。
【０２３４】
以上、図１５のフローチャートを参照して、画像配信装置１０１の記録処理について説明していく。
【０２３５】
次に、図１６のフローチャートを参照して、図１４の画像再生装置１０２の再生処理について説明していく。
【０２３６】
ステップＳ２１において、受信制御部１５１または読み出し制御部１５２は、画像配信装置１０１から配信された圧縮符号化画像データ１２１と画面切替データ１２２とを取得して画像記憶部１５３に記憶させる。
【０２３７】
その後、ユーザが操作部１５４を操作して、その圧縮符号化画像データ１２１に対応するオリジナル画像（以下、表示対象画像とも称する）の再生を指示するとともに、その表示方式を指示すると、処理はステップＳ２２に進む。
【０２３８】
なお、ここでは、画像記憶部１５３に記録された圧縮符号化画像データ１２１は、２画面サイズの複数のフレームから構成される動画像（オリジナル画像）に対応する圧縮符号化画像データであるとする。即ち、表示対象画像は動画像であるとする。
【０２３９】
ステップＳ２２において、画面切替データ解析部１５５は、操作部１５４の操作内容に基づいて、表示対象画像とその表示方式を設定する。
【０２４０】
例えば図１４の例では、表示対象画像として、画像記憶部１５３に記録された圧縮符号化画像データ１２１に対応する動画像が設定される。
【０２４１】
表示対象画像が１つのオリジナル画像である場合、例えば表示方式として、上述したように、２画面サイズのフレームが表示されるオリジナル表示方式、２画面サイズのフレームが２つに分割された左側分割画像と右側分割画像とのうちの一方が表示される分割画面表示方式、および、１画面サイズの（解像度が落とされた）フレームが表示される縮小表示方式のうちのいずれかが設定される。
【０２４２】
ステップＳ２３において、画面切替データ解析部１５５は、画像記憶部１５３に記録された圧縮符号化画像データ１２１のうちの抽出すべき部分データ、即ち、ステップＳ２２の処理で設定された表示対象画像（動画像の場合には例えば次のフレーム）を同じくステップＳ２２の処理で設定された表示方式で表示部１５９に表示させるために必要な部分データを、画像記憶部１５３に記憶された画面切替データ１２２に基づいて特定する。
【０２４３】
ステップＳ２４において、画像データ抽出部１５６は、画像記憶部１５３に記憶された圧縮符号化画像データ１２１の中から、ステップＳ２３の処理で画面切替データ解析部１５５により特定された部分データを抽出する。
【０２４４】
なお、表示方式として、２画面サイズのフレームが表示されるオリジナル表示方式が設定されている場合には、ステップＳ２４の処理で、圧縮符号化画像データ１２１全体が画像記憶部１５３から読み出される（抽出される）。即ち、ステップＳ２４に記載の部分データとは、上述した部分データの他、圧縮符号化画像データ１２１全体も含む広い概念の部分データを指す。
【０２４５】
ステップＳ２５において、復号部１５７は、ステップＳ２４の処理で画像データ抽出部１５６により抽出された部分データ（圧縮符号化画像データ１２１全体も含む）を伸張復号する。
【０２４６】
ステップＳ２６において、表示制御部１５８は、ステップＳ２５の処理で復号部１５７により伸張復号された結果得られる画像データに対応する表示対象画像（次のフレーム）を、ステップＳ２２の処理で設定された表示方式で表示部１５９に表示させる。
【０２４７】
例えば、表示方式として、２画面サイズのフレームが表示されるオリジナル表示方式が設定されている場合、２画面サイズの次のフレームが、表示部１５９の表示画面１５９Ａと表示画面１５９Ｂの２画面全体に表示される。
【０２４８】
また例えば、表示方式として、１画面サイズの（解像度が落とされた）フレームが表示される縮小表示方式が設定されている場合、１画面サイズの次のフレームが、表示部１５９の表示画面１５９Ａと表示画面１５９Ｂのうちの一方に表示される。
【０２４９】
また例えば、表示方式として、２画面サイズのフレームが２つに分割された左側分割画像と右側分割画像とのうちの一方が表示される分割画面表示方式が設定されている場合、２画面サイズの次のフレームが２つに分割された１画面サイズの左側分割画像と右側分割画像とのうちの一方が、表示部１５９の表示画面１５９Ａと表示画面１５９Ｂのうちの一方に表示される。
【０２５０】
このようにして、次のフレームまたはその一部分（左側分割画像や右側分割画像）が表示部１５９に表示されると、ステップＳ２７において、画面切替データ解析部１５５は、全フレームを表示したか否かを判定する。
【０２５１】
ステップＳ２７において、全フレームを表示したと判定されると、この再生処理は終了となる。
【０２５２】
これに対して、ステップＳ２７において、全フレームをまだ表示していないと判定されると、処理はステップＳ２８に進む。そして、ステップＳ２８において、画面切替データ解析部１５５は、操作部１５４から再生終了が指示されたか否かを判定する。
【０２５３】
ステップＳ２８において、操作部１５４から再生終了が指示されたと判定された場合、この再生処理は終了となる。
【０２５４】
これに対して、ステップＳ２８において、操作部１５４から再生終了がまだ指示されていないと判定された場合、処理はステップＳ２９に進む。そして、ステップＳ２９において、画面切替データ解析部１５５は、操作部１５４から設定変更が指示されたか否かを判定する。
【０２５５】
ステップＳ２９において、操作部１５４から設定変更が指示されていないと判定された場合、処理はステップＳ２３に戻され、それ以降の処理が繰り返される。即ち、さらに次のフレームも、その直前のフレームと同一の表示方式で表示部１５９に表示されることになる。
【０２５６】
これに対して、ステップＳ２９において、操作部１５４から設定変更が指示されたと判定された場合、処理はステップＳ２２に戻され、それ以降の処理が繰り返される。即ち、ステップＳ２２の処理で、さらに次のフレームの表示方式が、直前のフレームの表示方式から別の表示方式に切り替えられ、ステップＳ２３乃至Ｓ２６の処理が実行されて、さらに次のフレームが、切り替えられた表示方式で表示部１５９に表示されることになる。
【０２５７】
このように、画像再生装置１０２は、図１６のフローチャートに従って再生処理を実行することで、フレーム毎に表示方式を切り替えることが容易にできる。
【０２５８】
以上、図１６のフローチャートを参照して、画像再生装置１０２の動画像の再生処理について説明した。
【０２５９】
なお、画像記憶部１５３に記憶されている圧縮符号化画像データ１２１が静止画像に対応する圧縮符号化画像データである場合、即ち、表示対象画像が静止画像の場合、画像再生装置１０２は、上述したステップＳ２２乃至Ｓ２６の処理を単に１度行えばよい。即ち、画像再生装置１０２は、動画像を構成する各フレームのうちの表示対象のフレームに対する再生処理と基本的に同様の処理を１回行えばよい。
【０２６０】
ところで、上述した一連の処理は、ハードウエアにより実行させることもできるが、ソフトウエアにより実行させることができる。或いは、ハードウエアとソフトウエアの組み合わせにより実行させることができる。
【０２６１】
この場合、図１２の画像配信装置１０１は、例えば図１７に示されるように構成することができる。また、図１２の画像再生装置１０２は、例えば図１８に示されるように構成することができる。
【０２６２】
図１７の画像配信装置１０１において、CPU（Central Processing Unit）２０１は、ROM（Read Only Memory）２０２に記録されているプログラム、または記憶部２０９からRAM（Random Access Memory）２０３にロードされたプログラムに従って各種の処理を実行する。RAM２０３にはまた、CPU２０１が各種の処理を実行する上において必要なデータなども適宜記憶される。
【０２６３】
この場合、CPU２０１が実行するプログラムとは、例えば図１３の画面切替データ生成部１１３と同様の機能を実現するプログラムを指す。また、後述する圧縮符号化部２０４が構成要素として仮に含まれていない場合には、それに対応する機能、即ち、図１３の圧縮符号化部１１２と同様の機能を実現するプログラムも、CPU２０１により実行される。
【０２６４】
CPU２０１、ROM２０２、およびRAM２０３は、バス２０５を介して相互に接続されている。このバス２０５にはまた、圧縮符合化部２０４と入出力インタフェース２０６も接続されている。
【０２６５】
圧縮符合化部２０４は、図１３の圧縮符号化部１１２と同様の機能を有するハードウエアである。
【０２６６】
入出力インタフェース２０６には、入力部２０７、ディスプレイなどよりなる出力部２０８、記憶部２０９、および、通信部２１０が接続されている。
【０２６７】
入力部２０７は、例えばキーボード、マウスなどより構成され、そのうちの少なくとも一部は、図１３の切替設定部１１１に対応する。
【０２６８】
記憶部２０９は、例えばハードディスクなどで構成され、そのうちの少なくとも一部の領域は、図１３の画像記憶部１１４として利用される。
【０２６９】
通信部２１０は、例えばモデム、ターミナルアダプタなどより構成され、図１２のネットワーク１０３やインターネットを含むネットワークを介して、図１２の画像再生装置１０２を含む他の情報処理装置との通信処理を行う。即ち、通信部２１０は、図１３の送信制御部１１５のうちの少なくとも一部に対応する。少なくとも一部としたのは、送信制御部１１５は、通信部２１０の他、例えばそれを制御するプログラム等から構成される場合もあるからである。
【０２７０】
入出力インタフェース２０６にはまた、必要に応じてドライブ２１１が接続され、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどよりなるリムーバブル記録媒体２１２が適宜装着され、それらから読み出されたコンピュータプログラムが、必要に応じて記憶部２０９にインストールされる。
【０２７１】
さらに、リムーバブル記録媒体２１２として図１３のリムーバブル記録媒体１０４がドライブ２１１に装着された場合には、ドライブ２１１は、図１３の圧縮符号化画像データ１２１と画面切替データ１２２とを関連付けてリムーバブル記録媒体１０４に記録することができる。即ち、ドライブ２１１は、図１３の記録制御部１１６のうちの少なくとも一部に対応する。少なくとも一部としたのは、記録制御部１１６は、ドライブ２１１の他、例えばそれを制御するプログラム等から構成される場合もあるからである。
【０２７２】
以上、図１７を参照して、図１２の画像配信装置１０１のハードウエア構成例について説明した。次に、図１８を参照して、図１２の画像再生装置１０２のハードウエア構成例について説明する。
【０２７３】
図１８の画像再生装置１０２において、CPU３０１は、ROM３０２に記録されているプログラム、または記憶部３０５からRAM３０４にロードされたプログラムに従って各種の処理を実行する。RAM３０４にはまた、CPU３０１が各種の処理を実行する上において必要なデータなども適宜記憶される。
【０２７４】
CPU３０１には操作部３０２が接続されている。操作部３０２は、図１４の操作部１５４に対応する。即ち、ユーザが操作部３０２を操作することで、その操作内容を示す信号がCPU３０１に供給される。従って、CPU３０１は、その信号を適宜参照しながら各種プログラムを実行することになる。
【０２７５】
この場合、CPU３０１が実行するプログラムとは、例えば図１４の画面切替データ解析部１５５、および画像データ抽出部１５６のそれぞれと同様の機能を実現するプログラムを指す。また、後述する復号部３０６が構成要素として仮に含まれていない場合には、それに対応する機能、即ち、図１４の復号部１５７と同様の機能を実現するプログラムも、CPU３０１により実行される。
【０２７６】
CPU３０１、ROM３０３、およびRAM３０４は、バス３０７を介して相互に接続されている。このバス３０７にはまた、記憶部３０５、復号部３０６、表示制御部３０８、および通信部３１０が接続されている。
【０２７７】
記憶部３０５は、例えばハードディスクなどで構成され、そのうちの少なくとも一部の領域は、図１４の画像記憶部１５３として利用される。
【０２７８】
復号部３０６は、図１４の復号部１５７と同様の機能を有するハードウエアである。
【０２７９】
表示制御部３０８は、図１４の表示部１５９に対応する表示部３０９に画像を表示させることを制御する。即ち、表示制御部３０８は、図１４の表示制御部１５８のうちの少なくとも一部に対応する。少なくとも一部としたのは、図１４の表示制御部１５８は、図１８の表示制御部３０８の他、例えばそれを制御するプログラム等から構成される場合もあるからである。
【０２８０】
通信部３１０は、例えばモデム、ターミナルアダプタなどより構成され、図１２のネットワーク１０３やインターネットを含むネットワークを介して、図１２の画像配信装置１０１を含む他の情報処理装置との通信処理を行う。即ち、通信部３１０は、図１４の受信制御部１５１のうちの少なくとも一部に対応する。少なくとも一部としたのは、受信制御部１５１は、通信部３１０の他、例えばそれを制御するプログラム等から構成される場合もあるからである。
【０２８１】
バス３０７にはまた、必要に応じてドライブ３１１が接続され、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどよりなるリムーバブル記録媒体３１２が適宜装着され、それらから読み出されたコンピュータプログラムが、必要に応じて記憶部３０５にインストールされる。
【０２８２】
さらに、リムーバブル記録媒体３１２として、図１４の圧縮符号化画像データ１２１と画面切替データ１２２とが記録されたリムーバブル記録媒体１０４が装着された場合には、ドライブ３１１は、圧縮符号化画像データ１２１と画面切替データ１２２とをリムーバブル記録媒体１０４から読み出して、記憶部３０５の一領域（図１４の画像記憶部１５３に相当する領域）に記憶させることができる。即ち、ドライブ３１１は、図１４の読み出し制御部１５２のうちの少なくとも一部に対応する。少なくとも一部としたのは、読み出し制御部１５２は、ドライブ３１１の他、例えばそれを制御するプログラム等から構成される場合もあるからである。
【０２８３】
以上、図１７と図１８のそれぞれを参照して、図１２の画像配信装置１０１と画像再生装置１０２とのそれぞれのハードウエア構成例について説明した。
【０２８４】
ところで、上述した例は、表示装置の表示画面は２画面であることが前提とされた例であるが、表示装置の表示画面がＮ画面（Ｎは２以上の任意の整数値）であっても、上述した一連の処理を全く同様に実行できる画像配信装置と画像再生装置とを容易に実現可能である。
【０２８５】
例えば、本発明が適用される画像配信装置とは、結局、次のような構成を備えていればよい。
【０２８６】
即ち、本発明が適用される画像配信装置は、画面サイズが同一の表示画面をＮ個有する表示装置に表示させる画像を、データとして記録媒体に記録させることを制御する情報処理装置であればよく、詳細には、Ｎ画面サイズのオリジナル画像に対応する画像信号を圧縮符号化した結果得られる圧縮符号化画像データであって、その圧縮符号化画像データの中から、１画面サイズ乃至Ｎ−１画面サイズのオリジナル画像のそれぞれに対応する部分データを伸張復号前に個別に抽出可能な第１の構成を有する圧縮符号化画像データを生成する画像データ生成手段と、画像データ生成手段により生成された圧縮符号化画像データにおける、１画面サイズ乃至Ｎ−１画面サイズのオリジナル画像のそれぞれに対応する部分データの配置位置を特定可能な第１の位置データを含む特定データを生成する特定データ生成手段と、画像データ生成手段により生成された圧縮符号化画像データと、特定データ生成手段により生成された特定データとを関連付けて記録媒体に記録させることを制御する記録制御手段とを備えていればよい。
【０２８７】
さらに、本発明が適用される画像配信装置は、上述した構成に対して、次のような構成をさらに備えてもよい。即ち、画像データ生成手段は、第１の構成に加えてさらに、圧縮符号化画像データの中から、Ｎ画面サイズのオリジナル画像がＮ個に分割された分割画像のそれぞれに対応する部分データを伸張復号前に個別に抽出可能な第２の構成を有する圧縮符号化画像データを生成し、特定データ生成手段は、第１の位置データに加えてさらに、画像データ生成手段により生成された圧縮符号化画像データにおける、Ｎ個の分割画像のそれぞれに対応する部分データの配置位置を特定可能な第２の位置データを含む特定データを生成するような構成を、本発明が適用される画像配信装置は備えていてもよい。
【０２８８】
また、例えば、本発明が適用される画像再生装置とは、結局、次のような構成を備えていればよい。
【０２８９】
即ち、本発明が適用される画像再生装置は、画面サイズが同一の表示画面をＮ個有する表示装置に対して、画像を表示させることを制御する情報処理装置であればよく、詳細には、Ｎ画面サイズのオリジナル画像に対応する画像信号が圧縮符号化された結果得られる圧縮符号化画像データであって、その圧縮符号化画像データの中から１画面サイズ乃至Ｎ−１画面サイズの前記オリジナル画像のそれぞれに対応する部分データを伸張復号前に個別に抽出可能な第１の構成を有する圧縮符号化画像データと、圧縮符号化画像データにおける１画面サイズ乃至Ｎ−１画面サイズのオリジナル画像のそれぞれに対応する部分データの配置位置を特定可能な第１の位置データを含む特定データとを関連付けて取得する取得手段と、オリジナル画像の表示を指定するとともに、そのオリジナル画像の表示解像度としてＭ画面サイズ（Ｍは１乃至Ｎのうちの１つ）を指定する指定手段と、指定手段によりＭ画面サイズとしてＮ画面サイズが指定された場合、取得手段により取得された圧縮符号化画像データの全体を抽出し、指定手段によりＭ画面サイズとして１乃至Ｎ−１画面サイズのうちのいずれかひとつが指定された場合、取得手段により取得された特定データに含まれる第１の位置データに基づいて、圧縮符号化画像データにおけるＭ画面サイズのオリジナル画像に対応する部分データの配置位置を特定し、配置位置が特定された部分データを抽出する抽出手段と、抽出手段により抽出された圧縮符号化画像データまたは部分データを伸張復号し、その結果得られるＭ画面サイズのオリジナル画像に対応する画像データを出力する復号手段と、復号手段から出力された画像データに対応するＭ画面サイズのオリジナル画像を、表示装置のＮ個の表示画面のうちの所定のＭ個の表示画面に表示させることを制御する表示制御手段とを備えていればよい。
【０２９０】
さらに、本発明が適用される画像再生装置は、上述した構成に対して、次のような構成をさらに備えてもよい。即ち、取得手段により取得された圧縮符号化データが、第１の構成に加えてさらに、圧縮符号化画像データの中からＮ画面サイズのオリジナル画像がＮ個に分割された分割画像のそれぞれに対応する部分データを伸張復号前に個別に抽出可能な第２の構成を有しており、取得手段により取得された特定データが、第１の位置データに加えてさらに、圧縮符号化画像データにおけるＮ個の分割画像のそれぞれに対応する部分データの配置位置を特定可能な第２の位置データを含んでいる場合、指定手段は、オリジナル画像の表示解像度としてＮ画面サイズを指定したとき、さらに、Ｎ個の分割画像のうちのＯ個（Ｏは、１乃至Ｎのうちの１つ）の分割画像の表示を指定し、抽出手段は、指定手段によりＯ個の分割画像の表示が指定された場合、取得手段により取得された特定データに含まれる第２の位置データに基づいて、圧縮符号化画像データにおけるＯ個の分割画像のそれぞれに対応する部分データの配置位置を特定し、配置位置が特定されたＯ個の部分データのそれぞれを抽出し、復号手段は、抽出手段により抽出されたＯ個の部分データのそれぞれを伸張復号し、その結果得られるＯ個の分割画像のそれぞれに対応する画像データを出力し、表示制御手段は、復号手段から出力されたＯ個の画像データのそれぞれに対応する分割画像のそれぞれを、表示装置のＮ個の表示画面のうちの所定のＯ個の表示画面のそれぞれに個別に表示させることを制御するようにすればよい。
【０２９１】
以上の内容をまとめると、本発明が適用される画像配信装置と画像再生装置とのそれぞれは、上述したような圧縮符号化画像データと特定データとを関連付けて記録することが規定されている記録フォーマット、即ち、本発明が適用される記録フォーマットに従ってデータを処理する情報処理装置であればよい。換言すると、本発明が適用される画像配信装置と画像再生装置とのそれぞれは、本発明が適用される記録フォーマットに従って圧縮符号化画像データと特定データとが記録された記録媒体、即ち、本発明が適用される記録媒体を取り扱うことが可能な情報処理装置であればよい。
【０２９２】
ただし、解像度の設定は、上述した例では、１画面サイズ乃至Ｎ画面サイズのうちのいずれかとされたが、他の画面サイズでも構わない。同様に、オリジナル画像の分割個数、即ち、分割画像の個数も、上述した例では、Ｎ個とされたが、Ｎ以外の任意の整数値で構わない。
【０２９３】
ところで、２画面に対する上述した一連の処理のみならず、Ｎ画面に対する上述した一連の処理もソフトウエアにより実行させる場合には、そのソフトウエアを構成するプログラムが、専用のハードウエアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、ネットワークや記録媒体からインストールされる。
【０２９４】
このようなプログラムを含む記録媒体は、図１７や図１８に示されるように、装置本体とは別に、ユーザにプログラムを提供するために配布される、プログラムが記録されている磁気ディスク（フロッピディスクを含む）、光ディスク（CD-ROM(Compact Disk-Read Only Memory),DVD(Digital Versatile Disk)を含む）、光磁気ディスク（ＭＤ（Mini-Disk）を含む）、もしくは半導体メモリなどよりなるリムーバブル記録媒体（パッケージメディア）２１２またはリムーバブル記録媒体３１２により構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに提供される、プログラムが記録されているROM２０２またはROM３０３や、記憶部２０９または記憶部３０５に含まれるハードディスクなどで構成される。
【０２９５】
なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、その順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【０２９６】
また、本明細書において、システムとは、複数の装置や処理部により構成される装置全体を表すものである。
【図面の簡単な説明】
【０２９７】
【図１】本発明が適用される記録フォーマットを説明する図である。
【図２】本発明が適用される記録フォーマットを説明する図である。
【図３】本発明が適用される記録フォーマットを説明する図である。
【図４】本発明が適用される記録フォーマットを説明する図である。
【図５】本発明が適用される記録フォーマットを説明する図である。
【図６】本発明が適用される記録フォーマットのうちの、静止画像に対する記録フォーマットの例を説明する図である。
【図７】図６の記録フォーマットのうちの、符号化方式としてJPEG2000が採用された場合の記録フォーマットの例を説明する図である。
【図８】図７の記録フォーマットを説明する図である。
【図９】図７の記録フォーマットを説明する図である。
【図１０】図７の記録フォーマットを説明する図である。
【図１１】本発明が適用される記録フォーマットのうちの、動画像に対する記録フォーマットの例を説明する図である。
【図１２】本発明が適用される情報処理システムの構成例を示すブロック図である。
【図１３】図１２の情報処理システムのうちの画像配信装置の機能的構成例を示す機能ブロック図である。
【図１４】図１２の情報処理システムのうちの画像再生装置の機能的構成例を示す機能ブロック図である。
【図１５】図１３の画像配信装置の記録処理の例を説明するフローチャートである。
【図１６】図１４の画像再生装置の再生処理の例を説明するフローチャートである。
【図１７】図１２の情報処理システムのうちの画像配信装置のハードウエア構成例を示すブロック図である。
【図１８】図１２の情報処理システムのうちの画像再生装置のハードウエア構成例を示すブロック図である。
【符号の説明】
【０２９８】
１ 圧縮符号化画像データ， １Ａ，１Ｂ，１Ｃ 部分データ， ２ 画面切替データ， ３ ２画面サイズの（第１の）オリジナル画像， ３Ａ １画面サイズの左側分割画像３Ａ １画面サイズの右側分割画像， ３Ｃ １画面サイズの（第１の）オリジナル画像， ４ 表示装置， ４Ａ，４Ｂ 表示画面， ５，６，７ 部分データ， ８Ａ １画面サイズの第２のオリジナル画像， ８Ｂ 左側分割画像， ５１ 圧縮符号化動画像データ， ５２ 画面切替データ群， １０１ 画像配信装置（サーバ）， １０２ 画像再生装置（クライアント）， １０３ ネットワーク， １０４ リムーバブル記録媒体， １１１ 切替設定部， １１２ 圧縮符号化部， １１３ 画面切替データ生成部， １１４ 画像記憶部， １１５ 送信制御部， １１６ 記録制御部， １２１ 圧縮符号化画像データ１２１ 画面切替データ， １５１ 受信制御部， １５２ 読み出し制御部， １５３ 画像記憶部， １５４ 操作部， １５５ 画面切替データ解析部， １５６ 画像データ抽出部， １５７ 復号部， １５８ 表示制御部， １５９ 表示部， １５９Ａ，１５９Ｂ 表示画面， ２０１ ＣＰＵ， ２０２ ＲＯＭ， ２０４ 圧縮符合化部， ２０７ 入力部， ２０９ 記憶部， ２１０ 通信部， ２１１ ドライブ， ２１２ リムーバブル記録媒体， ３０１ ＣＰＵ， ３０２ 操作部， ３０３ ＲＯＭ， ３０５ 記憶部， ３０６ 復号部， ３０８ 表示制御部， ３０９ 表示部， ３０９Ａ，３０９Ｂ 表示画面， ３１０ 通信部， ３１１ ドライブ， ３１２ リムーバブル記録媒体
【特許請求の範囲】
【請求項１】
画面サイズが同一の表示画面をＮ個（Ｎは２以上の任意の整数値）有する表示装置に表示させる画像を、データとして記録媒体に記録させることを制御する情報処理装置において、
Ｎ画面サイズのオリジナル画像に対応する画像信号を圧縮符号化した結果得られる圧縮符号化画像データであって、その圧縮符号化画像データの中から、１画面サイズ乃至Ｎ−１画面サイズの前記オリジナル画像のそれぞれに対応する部分データを伸張復号前に個別に抽出可能な第１の構成を有する前記圧縮符号化画像データを生成する画像データ生成手段と、
前記画像データ生成手段により生成された前記圧縮符号化画像データにおける、１画面サイズ乃至Ｎ−１画面サイズの前記オリジナル画像のそれぞれに対応する前記部分データの配置位置を特定可能な第１の位置データを含む特定データを生成する特定データ生成手段と、
前記画像データ生成手段により生成された前記圧縮符号化画像データと、前記特定データ生成手段により生成された前記特定データとを関連付けて前記記録媒体に記録させることを制御する記録制御手段と
を備えることを特徴とする情報処理装置。
【請求項２】
前記画像データ生成手段は、前記第１の構成に加えてさらに、Ｎ画面サイズの前記オリジナル画像がＮ個に分割された分割画像のそれぞれに対応する部分データを前記圧縮符号化画像データの中から伸張復号前に個別に抽出可能な第２の構成を有する前記圧縮符号化画像データを生成し、
前記特定データ生成手段は、前記第１の位置データに加えてさらに、前記画像データ生成手段により生成された前記圧縮符号化画像データにおける、Ｎ個の前記分割画像のそれぞれに対応する前記部分データの配置位置を特定可能な第２の位置データを含む前記特定データを生成する
ことを特徴とする請求項１に記載の情報処理装置。
【請求項３】
画面サイズが同一の表示画面をＮ個（Ｎは２以上の任意の整数値）有する表示装置に表示させる画像を、データとして記録媒体に記録させることを制御する情報処理装置の情報処理方法において、
Ｎ画面サイズのオリジナル画像に対応する画像信号を圧縮符号化した結果得られる圧縮符号化画像データであって、その圧縮符号化画像データの中から、１画面サイズ乃至Ｎ−１画面サイズの前記オリジナル画像のそれぞれに対応する部分データを伸張復号前に個別に抽出可能な構成を有する前記圧縮符号化画像データを生成する画像データ生成ステップと、
前記画像データ生成ステップの処理により生成された前記圧縮符号化画像データにおける、１画面サイズ乃至Ｎ−１画面サイズの前記オリジナル画像のそれぞれに対応する前記部分データの配置位置を特定可能な特定データを生成する特定データ生成ステップと、
前記画像データ生成ステップの処理により生成された前記圧縮符号化画像データと、前記特定データ生成ステップの処理により生成された前記特定データとを関連付けて前記記録媒体に記録させることを制御する記録制御ステップと
を含むことを特徴とする情報処理方法。
【請求項４】
画面サイズが同一の表示画面をＮ個（Ｎは２以上の任意の整数値）有する表示装置に表示させる画像を、データとして記録媒体に記録させることを制御するコンピュータに実行させるプログラムであって、
Ｎ画面サイズのオリジナル画像に対応する画像信号を圧縮符号化した結果得られる圧縮符号化画像データであって、その圧縮符号化画像データの中から、１画面サイズ乃至Ｎ−１画面サイズの前記オリジナル画像のそれぞれに対応する部分データを伸張復号前に個別に抽出可能な構成を有する前記圧縮符号化画像データを生成する画像データ生成ステップと、
前記画像データ生成ステップの処理により生成された前記圧縮符号化画像データにおける、１画面サイズ乃至Ｎ−１画面サイズの前記オリジナル画像のそれぞれに対応する前記部分データの配置位置を特定可能な特定データを生成する特定データ生成ステップと、
前記画像データ生成ステップの処理により生成された前記圧縮符号化画像データと、前記特定データ生成ステップの処理により生成された前記特定データとを関連付けて前記記録媒体に記録させることを制御する記録制御ステップと
を含むことを特徴とするプログラム。
【請求項５】
画面サイズが同一の表示画面をＮ個（Ｎは２以上の任意の整数値）有する表示装置に対して、画像を表示させることを制御する情報処理装置において、
Ｎ画面サイズのオリジナル画像に対応する画像信号が圧縮符号化された結果得られる圧縮符号化画像データであって、１画面サイズ乃至Ｎ−１画面サイズの前記オリジナル画像のそれぞれに対応する部分データを前記圧縮符号化画像データの中から伸張復号前に個別に抽出可能な第１の構成を有する前記圧縮符号化画像データと、１画面サイズ乃至Ｎ−１画面サイズの前記オリジナル画像のそれぞれに対応する前記部分データの前記圧縮符号化画像データにおける配置位置を特定可能な第１の位置データを含む特定データとを関連付けて取得する取得手段と、
前記オリジナル画像の表示を指定するとともに、そのオリジナル画像の表示解像度としてＭ画面サイズ（Ｍは１乃至Ｎのうちの１つ）を指定する指定手段と、
前記指定手段によりＭ画面サイズとしてＮ画面サイズが指定された場合、前記取得手段により取得された前記圧縮符号化画像データの全体を抽出し、前記指定手段によりＭ画面サイズとして１乃至Ｎ−１画面サイズのうちのいずれかひとつが指定された場合、前記取得手段により取得された前記特定データに含まれる前記第１の位置データに基づいて、Ｍ画面サイズの前記オリジナル画像に対応する前記部分データの前記圧縮符号化画像データにおける配置位置を特定し、配置位置が特定された前記部分データを抽出する抽出手段と、
前記抽出手段により抽出された前記圧縮符号化画像データまたは前記部分データを伸張復号し、その結果得られるＭ画面サイズの前記オリジナル画像に対応する画像データを出力する復号手段と、
前記復号手段から出力された前記画像データに対応するＭ画面サイズの前記オリジナル画像を、前記表示装置のＮ個の前記表示画面のうちの所定のＭ個の表示画面に表示させることを制御する表示制御手段と
を備えることを特徴とする情報処理装置。
【請求項６】
前記取得手段により取得された前記圧縮符号化データが、前記第１の構成に加えてさらに、Ｎ画面サイズの前記オリジナル画像がＮ個に分割された分割画像のそれぞれに対応する部分データを前記圧縮符号化画像データの中から伸張復号前に個別に抽出可能な第２の構成を有しており、前記取得手段により取得された前記特定データが、前記第１の位置データに加えてさらに、Ｎ個の前記分割画像のそれぞれに対応する前記部分データの前記圧縮符号化画像データにおける配置位置を特定可能な第２の位置データを含んでいる場合、
前記指定手段は、前記オリジナル画像の表示解像度としてＮ画面サイズを指定したとき、さらに、Ｎ個の前記分割画像のうちのＯ個（Ｏは、１乃至Ｎのうちの１つ）の分割画像の表示を指定し、
前記抽出手段は、前記指定手段によりＯ個の前記分割画像の表示が指定された場合、前記取得手段により取得された前記特定データに含まれる前記第２の位置データに基づいて、Ｏ個の前記分割画像のそれぞれに対応する前記部分データの前記圧縮符号化画像データにおける配置位置を特定し、配置位置が特定されたＯ個の前記部分データのそれぞれを抽出し、
前記復号手段は、前記抽出手段により抽出されたＯ個の前記部分データのそれぞれを伸張復号し、その結果得られるＯ個の前記分割画像のそれぞれに対応する画像データを出力し、
前記表示制御手段は、前記復号手段から出力されたＯ個の前記画像データのそれぞれに対応する前記分割画像のそれぞれを、前記表示装置のＮ個の前記表示画面のうちの所定のＯ個の表示画面のそれぞれに個別に表示させることを制御する
ことを特徴とする請求項５に記載の情報処理装置。
【請求項７】
画面サイズが同一の表示画面をＮ個（Ｎは２以上の任意の整数値）有する表示装置に対して、画像を表示させることを制御する情報処理装置の情報処理方法において、
Ｎ画面サイズのオリジナル画像に対応する画像信号が圧縮符号化された結果得られる圧縮符号化画像データであって、１画面サイズ乃至Ｎ−１画面サイズの前記オリジナル画像のそれぞれに対応する部分データを前記圧縮符号化画像データの中から伸張復号前に個別に抽出可能な構成を有する前記圧縮符号化画像データと、１画面サイズ乃至Ｎ−１画面サイズの前記オリジナル画像のそれぞれに対応する前記部分データの前記圧縮符号化画像データにおける配置位置を特定可能な特定データとを関連付けて取得することを制御する取得制御ステップと、
前記オリジナル画像の表示を指定するとともに、そのオリジナル画像の表示解像度としてＭ画面サイズ（Ｍは１乃至Ｎのうちの１つ）を指定する指定ステップと、
前記指定ステップの処理によりＭ画面サイズとしてＮ画面サイズが指定された場合、前記取得制御ステップの制御により取得された前記圧縮符号化画像データの全体を抽出し、前記指定ステップの処理によりＭ画面サイズとして１乃至Ｎ−１画面サイズのうちのいずれかひとつが指定された場合、前記取得ステップの制御により取得された前記特定データに基づいて、Ｍ画面サイズの前記オリジナル画像に対応する前記部分データの前記圧縮符号化画像データにおける配置位置を特定し、配置位置が特定された前記部分データを抽出する抽出ステップと、
前記抽出ステップの処理により抽出された前記圧縮符号化画像データまたは前記部分データを伸張復号し、その結果得られるＭ画面サイズの前記オリジナル画像に対応する画像データを出力することを制御する復号制御ステップと、
前記復号制御ステップの制御により出力された前記画像データに対応するＭ画面サイズの前記オリジナル画像を、前記表示装置のＮ個の前記表示画面のうちの所定のＭ個の表示画面に表示させることを制御する表示制御ステップと
を含むことを特徴とする情報処理方法。
【請求項８】
画面サイズが同一の表示画面をＮ個（Ｎは２以上の任意の整数値）有する表示装置に対して、画像を表示させることを制御するコンピュータに実行させるプログラムであって、
Ｎ画面サイズのオリジナル画像に対応する画像信号が圧縮符号化された結果得られる圧縮符号化画像データであって、１画面サイズ乃至Ｎ−１画面サイズの前記オリジナル画像のそれぞれに対応する部分データを前記圧縮符号化画像データの中から伸張復号前に個別に抽出可能な構成を有する前記圧縮符号化画像データと、１画面サイズ乃至Ｎ−１画面サイズの前記オリジナル画像のそれぞれに対応する前記部分データの前記圧縮符号化画像データにおける配置位置を特定可能な特定データを取得することを制御する取得制御ステップと、
前記オリジナル画像の表示を指定するとともに、そのオリジナル画像の表示解像度としてＭ画面サイズ（Ｍは１乃至Ｎのうちの１つ）を指定する指定ステップと、
前記指定ステップの処理によりＭ画面サイズとしてＮ画面サイズが指定された場合、前記取得制御ステップの制御により取得された前記圧縮符号化画像データの全体を抽出し、前記指定ステップの処理によりＭ画面サイズとして１乃至Ｎ−１画面サイズのうちのいずれかひとつが指定された場合、前記取得ステップの制御により取得された前記特定データに基づいて、Ｍ画面サイズの前記オリジナル画像に対応する前記部分データの前記圧縮符号化画像データにおける配置位置を特定し、配置位置が特定された前記部分データを抽出する抽出ステップと、
前記抽出ステップの処理により抽出された前記圧縮符号化画像データまたは前記部分データを伸張復号し、その結果得られるＭ画面サイズの前記オリジナル画像に対応する画像データを出力することを制御する復号制御ステップと、
前記復号制御ステップの制御により出力された前記画像データに対応するＭ画面サイズの前記オリジナル画像を、前記表示装置のＮ個の前記表示画面のうちの所定のＭ個の表示画面に表示させることを制御する表示制御ステップと
を含むことを特徴とするプログラム。
【請求項９】
画面サイズが同一の表示画面をＮ個（Ｎは２以上の任意の整数値）有する表示装置に表示させる画像を、データとして記録可能な記録媒体において、
Ｎ画面サイズのオリジナル画像に対応する画像信号が圧縮符号化された結果得られる圧縮符号化画像データであって、１画面サイズ乃至Ｎ−１画面サイズの前記オリジナル画像のそれぞれに対応する部分データを前記圧縮符号化画像データの中から伸張復号前に個別に抽出可能な第１の構成を有する前記圧縮符号化画像データと、
１画面サイズ乃至Ｎ−１画面サイズの前記オリジナル画像のそれぞれに対応する前記部分データの前記圧縮符号化画像データにおける配置位置を特定可能な第１の位置データを含む特定データと
が関連付けられて記録されており、
Ｍ画面サイズ（Ｍは、１乃至Ｎ−１のうちの１つ）に対応する前記オリジナル画像を前記表示装置に表示させることを制御する情報処理装置により、前記記録媒体に記録された前記特定データに含まれる前記第１の位置データが参照されて、前記記録媒体に記録された前記圧縮符号化データの中から、Ｍ画面サイズの前記オリジナル画像に対応する前記部分データが抽出される
ことを特徴とする記録媒体。
【請求項１０】
前記記録媒体に記録されている前記圧縮符号化データは、前記第１の構成に加えてさらに、Ｎ画面サイズの前記オリジナル画像がＮ個に分割された分割画像のそれぞれに対応する部分データを前記圧縮符号化画像データの中から伸張復号前に個別に抽出可能な第２の構成を有し、
前記記録媒体に記録されている前記特定データは、前記第１の位置データに加えてさらに、Ｎ個の前記分割画像のそれぞれに対応する前記部分データの前記圧縮符号化画像データにおける配置位置を特定可能な第２の位置データを含んでおり、
Ｎ個の前記分割画像のうちのＯ個（Ｏは、１乃至Ｎのうちの１つ）の分割画像のそれぞれを前記表示装置に表示させることを制御する情報処理装置により、前記記録媒体に記録された前記特定データに含まれる前記第２の位置データが参照されて、前記記録媒体に記録された前記圧縮符号化データの中から、Ｏ個の前記分割画像のそれぞれに対応する前記部分データが抽出される
ことを特徴とする請求項９に記載の記録媒体。
【請求項１】
画面サイズが同一の表示画面をＮ個（Ｎは２以上の任意の整数値）有する表示装置に表示させる画像を、データとして記録媒体に記録させることを制御する情報処理装置において、
Ｎ画面サイズのオリジナル画像に対応する画像信号を圧縮符号化した結果得られる圧縮符号化画像データであって、その圧縮符号化画像データの中から、１画面サイズ乃至Ｎ−１画面サイズの前記オリジナル画像のそれぞれに対応する部分データを伸張復号前に個別に抽出可能な第１の構成を有する前記圧縮符号化画像データを生成する画像データ生成手段と、
前記画像データ生成手段により生成された前記圧縮符号化画像データにおける、１画面サイズ乃至Ｎ−１画面サイズの前記オリジナル画像のそれぞれに対応する前記部分データの配置位置を特定可能な第１の位置データを含む特定データを生成する特定データ生成手段と、
前記画像データ生成手段により生成された前記圧縮符号化画像データと、前記特定データ生成手段により生成された前記特定データとを関連付けて前記記録媒体に記録させることを制御する記録制御手段と
を備えることを特徴とする情報処理装置。
【請求項２】
前記画像データ生成手段は、前記第１の構成に加えてさらに、Ｎ画面サイズの前記オリジナル画像がＮ個に分割された分割画像のそれぞれに対応する部分データを前記圧縮符号化画像データの中から伸張復号前に個別に抽出可能な第２の構成を有する前記圧縮符号化画像データを生成し、
前記特定データ生成手段は、前記第１の位置データに加えてさらに、前記画像データ生成手段により生成された前記圧縮符号化画像データにおける、Ｎ個の前記分割画像のそれぞれに対応する前記部分データの配置位置を特定可能な第２の位置データを含む前記特定データを生成する
ことを特徴とする請求項１に記載の情報処理装置。
【請求項３】
画面サイズが同一の表示画面をＮ個（Ｎは２以上の任意の整数値）有する表示装置に表示させる画像を、データとして記録媒体に記録させることを制御する情報処理装置の情報処理方法において、
Ｎ画面サイズのオリジナル画像に対応する画像信号を圧縮符号化した結果得られる圧縮符号化画像データであって、その圧縮符号化画像データの中から、１画面サイズ乃至Ｎ−１画面サイズの前記オリジナル画像のそれぞれに対応する部分データを伸張復号前に個別に抽出可能な構成を有する前記圧縮符号化画像データを生成する画像データ生成ステップと、
前記画像データ生成ステップの処理により生成された前記圧縮符号化画像データにおける、１画面サイズ乃至Ｎ−１画面サイズの前記オリジナル画像のそれぞれに対応する前記部分データの配置位置を特定可能な特定データを生成する特定データ生成ステップと、
前記画像データ生成ステップの処理により生成された前記圧縮符号化画像データと、前記特定データ生成ステップの処理により生成された前記特定データとを関連付けて前記記録媒体に記録させることを制御する記録制御ステップと
を含むことを特徴とする情報処理方法。
【請求項４】
画面サイズが同一の表示画面をＮ個（Ｎは２以上の任意の整数値）有する表示装置に表示させる画像を、データとして記録媒体に記録させることを制御するコンピュータに実行させるプログラムであって、
Ｎ画面サイズのオリジナル画像に対応する画像信号を圧縮符号化した結果得られる圧縮符号化画像データであって、その圧縮符号化画像データの中から、１画面サイズ乃至Ｎ−１画面サイズの前記オリジナル画像のそれぞれに対応する部分データを伸張復号前に個別に抽出可能な構成を有する前記圧縮符号化画像データを生成する画像データ生成ステップと、
前記画像データ生成ステップの処理により生成された前記圧縮符号化画像データにおける、１画面サイズ乃至Ｎ−１画面サイズの前記オリジナル画像のそれぞれに対応する前記部分データの配置位置を特定可能な特定データを生成する特定データ生成ステップと、
前記画像データ生成ステップの処理により生成された前記圧縮符号化画像データと、前記特定データ生成ステップの処理により生成された前記特定データとを関連付けて前記記録媒体に記録させることを制御する記録制御ステップと
を含むことを特徴とするプログラム。
【請求項５】
画面サイズが同一の表示画面をＮ個（Ｎは２以上の任意の整数値）有する表示装置に対して、画像を表示させることを制御する情報処理装置において、
Ｎ画面サイズのオリジナル画像に対応する画像信号が圧縮符号化された結果得られる圧縮符号化画像データであって、１画面サイズ乃至Ｎ−１画面サイズの前記オリジナル画像のそれぞれに対応する部分データを前記圧縮符号化画像データの中から伸張復号前に個別に抽出可能な第１の構成を有する前記圧縮符号化画像データと、１画面サイズ乃至Ｎ−１画面サイズの前記オリジナル画像のそれぞれに対応する前記部分データの前記圧縮符号化画像データにおける配置位置を特定可能な第１の位置データを含む特定データとを関連付けて取得する取得手段と、
前記オリジナル画像の表示を指定するとともに、そのオリジナル画像の表示解像度としてＭ画面サイズ（Ｍは１乃至Ｎのうちの１つ）を指定する指定手段と、
前記指定手段によりＭ画面サイズとしてＮ画面サイズが指定された場合、前記取得手段により取得された前記圧縮符号化画像データの全体を抽出し、前記指定手段によりＭ画面サイズとして１乃至Ｎ−１画面サイズのうちのいずれかひとつが指定された場合、前記取得手段により取得された前記特定データに含まれる前記第１の位置データに基づいて、Ｍ画面サイズの前記オリジナル画像に対応する前記部分データの前記圧縮符号化画像データにおける配置位置を特定し、配置位置が特定された前記部分データを抽出する抽出手段と、
前記抽出手段により抽出された前記圧縮符号化画像データまたは前記部分データを伸張復号し、その結果得られるＭ画面サイズの前記オリジナル画像に対応する画像データを出力する復号手段と、
前記復号手段から出力された前記画像データに対応するＭ画面サイズの前記オリジナル画像を、前記表示装置のＮ個の前記表示画面のうちの所定のＭ個の表示画面に表示させることを制御する表示制御手段と
を備えることを特徴とする情報処理装置。
【請求項６】
前記取得手段により取得された前記圧縮符号化データが、前記第１の構成に加えてさらに、Ｎ画面サイズの前記オリジナル画像がＮ個に分割された分割画像のそれぞれに対応する部分データを前記圧縮符号化画像データの中から伸張復号前に個別に抽出可能な第２の構成を有しており、前記取得手段により取得された前記特定データが、前記第１の位置データに加えてさらに、Ｎ個の前記分割画像のそれぞれに対応する前記部分データの前記圧縮符号化画像データにおける配置位置を特定可能な第２の位置データを含んでいる場合、
前記指定手段は、前記オリジナル画像の表示解像度としてＮ画面サイズを指定したとき、さらに、Ｎ個の前記分割画像のうちのＯ個（Ｏは、１乃至Ｎのうちの１つ）の分割画像の表示を指定し、
前記抽出手段は、前記指定手段によりＯ個の前記分割画像の表示が指定された場合、前記取得手段により取得された前記特定データに含まれる前記第２の位置データに基づいて、Ｏ個の前記分割画像のそれぞれに対応する前記部分データの前記圧縮符号化画像データにおける配置位置を特定し、配置位置が特定されたＯ個の前記部分データのそれぞれを抽出し、
前記復号手段は、前記抽出手段により抽出されたＯ個の前記部分データのそれぞれを伸張復号し、その結果得られるＯ個の前記分割画像のそれぞれに対応する画像データを出力し、
前記表示制御手段は、前記復号手段から出力されたＯ個の前記画像データのそれぞれに対応する前記分割画像のそれぞれを、前記表示装置のＮ個の前記表示画面のうちの所定のＯ個の表示画面のそれぞれに個別に表示させることを制御する
ことを特徴とする請求項５に記載の情報処理装置。
【請求項７】
画面サイズが同一の表示画面をＮ個（Ｎは２以上の任意の整数値）有する表示装置に対して、画像を表示させることを制御する情報処理装置の情報処理方法において、
Ｎ画面サイズのオリジナル画像に対応する画像信号が圧縮符号化された結果得られる圧縮符号化画像データであって、１画面サイズ乃至Ｎ−１画面サイズの前記オリジナル画像のそれぞれに対応する部分データを前記圧縮符号化画像データの中から伸張復号前に個別に抽出可能な構成を有する前記圧縮符号化画像データと、１画面サイズ乃至Ｎ−１画面サイズの前記オリジナル画像のそれぞれに対応する前記部分データの前記圧縮符号化画像データにおける配置位置を特定可能な特定データとを関連付けて取得することを制御する取得制御ステップと、
前記オリジナル画像の表示を指定するとともに、そのオリジナル画像の表示解像度としてＭ画面サイズ（Ｍは１乃至Ｎのうちの１つ）を指定する指定ステップと、
前記指定ステップの処理によりＭ画面サイズとしてＮ画面サイズが指定された場合、前記取得制御ステップの制御により取得された前記圧縮符号化画像データの全体を抽出し、前記指定ステップの処理によりＭ画面サイズとして１乃至Ｎ−１画面サイズのうちのいずれかひとつが指定された場合、前記取得ステップの制御により取得された前記特定データに基づいて、Ｍ画面サイズの前記オリジナル画像に対応する前記部分データの前記圧縮符号化画像データにおける配置位置を特定し、配置位置が特定された前記部分データを抽出する抽出ステップと、
前記抽出ステップの処理により抽出された前記圧縮符号化画像データまたは前記部分データを伸張復号し、その結果得られるＭ画面サイズの前記オリジナル画像に対応する画像データを出力することを制御する復号制御ステップと、
前記復号制御ステップの制御により出力された前記画像データに対応するＭ画面サイズの前記オリジナル画像を、前記表示装置のＮ個の前記表示画面のうちの所定のＭ個の表示画面に表示させることを制御する表示制御ステップと
を含むことを特徴とする情報処理方法。
【請求項８】
画面サイズが同一の表示画面をＮ個（Ｎは２以上の任意の整数値）有する表示装置に対して、画像を表示させることを制御するコンピュータに実行させるプログラムであって、
Ｎ画面サイズのオリジナル画像に対応する画像信号が圧縮符号化された結果得られる圧縮符号化画像データであって、１画面サイズ乃至Ｎ−１画面サイズの前記オリジナル画像のそれぞれに対応する部分データを前記圧縮符号化画像データの中から伸張復号前に個別に抽出可能な構成を有する前記圧縮符号化画像データと、１画面サイズ乃至Ｎ−１画面サイズの前記オリジナル画像のそれぞれに対応する前記部分データの前記圧縮符号化画像データにおける配置位置を特定可能な特定データを取得することを制御する取得制御ステップと、
前記オリジナル画像の表示を指定するとともに、そのオリジナル画像の表示解像度としてＭ画面サイズ（Ｍは１乃至Ｎのうちの１つ）を指定する指定ステップと、
前記指定ステップの処理によりＭ画面サイズとしてＮ画面サイズが指定された場合、前記取得制御ステップの制御により取得された前記圧縮符号化画像データの全体を抽出し、前記指定ステップの処理によりＭ画面サイズとして１乃至Ｎ−１画面サイズのうちのいずれかひとつが指定された場合、前記取得ステップの制御により取得された前記特定データに基づいて、Ｍ画面サイズの前記オリジナル画像に対応する前記部分データの前記圧縮符号化画像データにおける配置位置を特定し、配置位置が特定された前記部分データを抽出する抽出ステップと、
前記抽出ステップの処理により抽出された前記圧縮符号化画像データまたは前記部分データを伸張復号し、その結果得られるＭ画面サイズの前記オリジナル画像に対応する画像データを出力することを制御する復号制御ステップと、
前記復号制御ステップの制御により出力された前記画像データに対応するＭ画面サイズの前記オリジナル画像を、前記表示装置のＮ個の前記表示画面のうちの所定のＭ個の表示画面に表示させることを制御する表示制御ステップと
を含むことを特徴とするプログラム。
【請求項９】
画面サイズが同一の表示画面をＮ個（Ｎは２以上の任意の整数値）有する表示装置に表示させる画像を、データとして記録可能な記録媒体において、
Ｎ画面サイズのオリジナル画像に対応する画像信号が圧縮符号化された結果得られる圧縮符号化画像データであって、１画面サイズ乃至Ｎ−１画面サイズの前記オリジナル画像のそれぞれに対応する部分データを前記圧縮符号化画像データの中から伸張復号前に個別に抽出可能な第１の構成を有する前記圧縮符号化画像データと、
１画面サイズ乃至Ｎ−１画面サイズの前記オリジナル画像のそれぞれに対応する前記部分データの前記圧縮符号化画像データにおける配置位置を特定可能な第１の位置データを含む特定データと
が関連付けられて記録されており、
Ｍ画面サイズ（Ｍは、１乃至Ｎ−１のうちの１つ）に対応する前記オリジナル画像を前記表示装置に表示させることを制御する情報処理装置により、前記記録媒体に記録された前記特定データに含まれる前記第１の位置データが参照されて、前記記録媒体に記録された前記圧縮符号化データの中から、Ｍ画面サイズの前記オリジナル画像に対応する前記部分データが抽出される
ことを特徴とする記録媒体。
【請求項１０】
前記記録媒体に記録されている前記圧縮符号化データは、前記第１の構成に加えてさらに、Ｎ画面サイズの前記オリジナル画像がＮ個に分割された分割画像のそれぞれに対応する部分データを前記圧縮符号化画像データの中から伸張復号前に個別に抽出可能な第２の構成を有し、
前記記録媒体に記録されている前記特定データは、前記第１の位置データに加えてさらに、Ｎ個の前記分割画像のそれぞれに対応する前記部分データの前記圧縮符号化画像データにおける配置位置を特定可能な第２の位置データを含んでおり、
Ｎ個の前記分割画像のうちのＯ個（Ｏは、１乃至Ｎのうちの１つ）の分割画像のそれぞれを前記表示装置に表示させることを制御する情報処理装置により、前記記録媒体に記録された前記特定データに含まれる前記第２の位置データが参照されて、前記記録媒体に記録された前記圧縮符号化データの中から、Ｏ個の前記分割画像のそれぞれに対応する前記部分データが抽出される
ことを特徴とする請求項９に記載の記録媒体。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【公開番号】特開２００６−２５２２７（Ｐ２００６−２５２２７Ａ）
【公開日】平成１８年１月２６日（２００６．１．２６）
【国際特許分類】
【出願番号】特願２００４−２０１９８９（Ｐ２００４−２０１９８９）
【出願日】平成１６年７月８日（２００４．７．８）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
【公開日】平成１８年１月２６日（２００６．１．２６）
【国際特許分類】
【出願日】平成１６年７月８日（２００４．７．８）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
[ Back to top ]