画像処理装置、情報記録媒体、および画像処理方法、並びにプログラム
【課題】ＭＰ４ファイルの格納データに対するデータ処理に必要となる情報をＭＰ４ファイルの管理情報から取得可能とする構成を提供する。
【解決手段】ＭＰ４ファイルに格納されたデータの再生処理において実行する様々なデータ処理、例えば３次元画像表示処理や、暗号化データの復号処理など、様々な異なるカテゴリのデータ処理に適用する情報をＭＰ４ファイルの管理情報中に階層化して記録する構成とした。この構成により、ＭＰ４ファイルに格納されたデータの再生、例えば暗号化された３次元画像データの表示処理などにおいて実行が必要となる異なるカテゴリのデータ処理の各々に必要となる様々な情報を、ＭＰ４ファイルの管理情報から確実に取得することが可能となり、スムーズなデータ再生処理が可能となる。
【解決手段】ＭＰ４ファイルに格納されたデータの再生処理において実行する様々なデータ処理、例えば３次元画像表示処理や、暗号化データの復号処理など、様々な異なるカテゴリのデータ処理に適用する情報をＭＰ４ファイルの管理情報中に階層化して記録する構成とした。この構成により、ＭＰ４ファイルに格納されたデータの再生、例えば暗号化された３次元画像データの表示処理などにおいて実行が必要となる異なるカテゴリのデータ処理の各々に必要となる様々な情報を、ＭＰ４ファイルの管理情報から確実に取得することが可能となり、スムーズなデータ再生処理が可能となる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、情報記録媒体、および画像処理方法、並びにプログラムに関する。さらに詳細には、３次元画像（３Ｄ画像）表示用の画像の記録や再生を行う画像処理装置、情報記録媒体、および画像処理方法、並びにプログラムに関する。
【背景技術】
【０００２】
立体視可能な画像、いわゆる３次元画像（３Ｄ画像またはステレオ画像とも呼ばれる）を生成するためには、異なる視点から撮影した画像、すなわち左目用画像と右目用画像が必要となる。これらの異なる視点からの撮影画像を利用することで３次元画像の表示が可能となる。
【０００３】
３次元画像（３Ｄ画像）の表示方式には様々な方式がある。例えば偏光フィルタや、色フィルタにより左右の眼各々によって観察する画像を分離するパッシブ眼鏡方式に対応した表示方式、あるいは、液晶シャッターを左右交互に開閉して観察する画像を左右の眼交互に時間的に分離するアクティブ眼鏡方式に対応した表示方式などがある。いずれの表示方式においても、左目用画像と右目用画像が利用される。
【０００４】
３次元画像（３Ｄ画像）に限らず、カメラによって撮影された静止画や動画等の画像データはメディアに対する記録処理に際して、あるいはデータ送信に際して様々な符号化（圧縮）フォーマットに従って符号化される。すなわちデータ量を削減して記録あるいは送信される。
【０００５】
符号化フォーマットには、例えば静止画符号化フォーマットを規定したＪＰＥＧや、主に動画を対象とした符号化フォーマットであるＭＰＥＧなど様々な規格がある。例えば引用文献１（特開２００４−３３４８３３）の図１０には、３次元静止画画像の記録処理に用いるフォーマット例が記載されている。
【０００６】
昨今は、ＨＤ（Ｈｉｇｈ Ｄｅｆｉｎｉｔｉｏｎ）画像など高精細画像の利用が進み、圧縮率の高い符号化方式が利用されている。それらの符号化データの格納ファイル形式の1つの方式としてＭＰ４ファイルフォーマット（ISO/IEC 14496-14）（以下、ＭＰ４という）がある。
ＭＰ４は、ＭＰＥＧ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）４形式の圧縮動画データの格納ファイル形式である。ＭＰ４はＩＳＯ／ＩＥＣ１４４９６に規定された規格である。ＭＰ４はＭＰＥＧ−４形式の動画のみならず、ＭＰＥＧ−２やＭＰＥＧ−１の動画、ＡＡＣやＭＰ３などの音声、ＪＰＥＧやＰＮＧなどの静止画など、様々な形式の画像および音声データを格納可能としたフォーマットである。
【０００７】
このようにＭＰ４ファイルには様々な形式の符号化データを格納可能であり、ＭＰ４では、ＭＰ４ファイルに格納した符号化データの形式や種類についての管理情報を記録する領域が設定されている。符号化データの復号処理を行なう場合には、ＭＰ４ファイル内の管理情報の確認処理が実行される。
【０００８】
しかし、現行のＭＰ４フォーマットの管理情報規定には、ＭＰ４ファイルに格納された画像が３次元（３Ｄ）画像であるのか、２次元（２Ｄ）画像であるかを識別するための情報の格納領域が規定されていないという問題がある。
【０００９】
ＭＰ４ファイルを記録メディアから読み出して再生しようとする装置、あるいは通信手段を介して受信して再生しようとする装置は、ＭＰ４ファイルの管理情報から格納画像が３次元（３Ｄ）画像であるのか、２次元（２Ｄ）画像であるかを識別することができない。従って、実際に画像を取得し解析または再生しなければ３次元画像データであるか２次元画データであるかが把握できない。結果として例えば３次元画像の表示機能を持たない表示装置に３次元画像データが誤って表示されてしまうといった事態が発生する。
【００１０】
また、上述したように３次元画像の表示方式には様々な方式があるが、再生装置や表示装置の多くは、一部の方式のみに対応した画像再生または表示が可能な構成を持つ。従って、現行のＭＰ４フォーマットに従った管理情報のみでは、自装置において再生または表示可能な３次元画像であるか否かについての確認もできない。
すなわち、現行のＭＰ４ファイルの管理情報のみでは、画像データを取得してデータ構成を確認するか、あるいは、実際に再生や表示処理を実行してみないと、自装置が処理可能なデータであるか否かについて確認できないといった問題がある。
【先行技術文献】
【特許文献】
【００１１】
【特許文献１】特開２００４−３３４８３３号公報
【発明の概要】
【発明が解決しようとする課題】
【００１２】
本発明は、例えば、上述の問題点に鑑みてなされたものであり、ＭＰ４フォーマットに従ったファイルの管理情報中に、ＭＰ４ファイルに格納された画像データに３次元画像が含まれるか、あるいは３次元画像の方式等の３次元画像管理情報を記録する。この構成により、再生装置や表示装置において、ＭＰ４ファイルから実データを取得する以前に格納データが３次元画像であるか２次元画像であるかを把握可能とし、さらに３次元画像の方式等を確認することを可能として、誤った再生処理や表示処理を防止し、正しい再生処理を実行可能とした画像処理装置、情報記録媒体、および画像処理方法、並びにプログラムを提供することを目的とするものである。
【００１３】
また、本発明は、ＭＰ４ファイルに格納されたデータの再生処理において実行する様々なデータ処理、例えば上記の３次元画像表示処理の他、暗号化データの復号処理など、様々な異なるカテゴリのデータ処理に適用する情報をＭＰ４ファイルの管理情報中に階層化して記録することで、各データ処理に必要となる情報を確実に提供することを可能とした画像処理装置、情報記録媒体、および画像処理方法、並びにプログラムを提供することを目的とするものである。
【課題を解決するための手段】
【００１４】
本発明の第１の側面は、
画像データの符号化処理を実行するエンコード部と、
前記エンコード部の生成した符号化データと、該符号化データの管理情報を含む符号化データ格納ファイルを生成するファイル生成部を有し、
前記ファイル生成部は、
前記符号化データの再生処理時のデータ処理に適用する情報をデータ処理のカテゴリ単位で設定したデータ構成情報を生成し、複数のカテゴリ単位のデータ構成情報を階層化して前記管理情報中に記録したファイルを生成する画像処理装置にある。
【００１５】
さらに、本発明の画像処理装置の一実施態様において、前記カテゴリ単位のデータ構成情報の少なくとも１つは、前記ファイル生成部の生成ファイルの格納画像データに３次元画像データが含まれるか否かを判別可能とした３次元画像管理情報である。
【００１６】
さらに、本発明の画像処理装置の一実施態様において、前記カテゴリ単位のデータ構成情報の少なくとも１つは、前記ファイル生成部の生成ファイルの格納画像データに含まれる３次元画像データの３次元画像記録方式を判別可能とした３次元画像管理情報である。
【００１７】
さらに、本発明の画像処理装置の一実施態様において、前記カテゴリ単位のデータ構成情報の少なくとも１つは、前記ファイル生成部の生成ファイルの格納画像データに含まれる３次元画像データの３次元画像記録方式が、
（ａ）フレームシーケンシャル方式、
（ｂ）サイドバイサイド方式、
（ｃ）トップアンドボトム方式、
上記（ａ）〜（ｃ）のいずれの方式に従った３次元画像データであるかを判別可能とした３次元画像管理情報である。
【００１８】
さらに、本発明の画像処理装置の一実施態様において、前記カテゴリ単位のデータ構成情報の少なくとも１つは、前記ファイル生成部の生成ファイルの格納画像データの暗号化態様情報であり、前記ファイル生成部は、暗号化態様情報を含む第１のデータ構成情報と、３次元画像管理情報を含む第２のデータ構成情報を階層化して前記管理情報中に記録したファイルを生成する。
【００１９】
さらに、本発明の画像処理装置の一実施態様において、前記ファイル生成部は、ＭＰ４ファイルの生成を実行する構成であり、ＭＰ４ファイルのＡＶコーデックボックスの下位に前記データ構成情報を階層化して記録したファイルを生成する。
【００２０】
さらに、本発明の画像処理装置の一実施態様において、前記ファイル生成部は、ＭＰ４ファイルのＡＶコーデックボックスの下位に前記データ構成情報を含むスキーム情報ボックスを階層化して記録したファイルを生成する。
【００２１】
さらに、本発明の画像処理装置の一実施態様において、前記ファイル生成部は、ＭＰ４ファイルに格納する画像データの区分データであるトラック単位またはサンプル単位の区分データ単位で前記スキーム情報ボックスを設定して記録する処理を行う。
【００２２】
さらに、本発明の第２の側面は、
画像データの符号化データと、該符号化データの管理情報を含む符号化データ格納ファイルを解析するファイル解析部と、
前記ファイルに格納された画像データの再生処理に際して複数の異なるカテゴリのデータ処理を実行するデータ処理部を有し、
前記ファイルの管理情報は、データ処理のカテゴリ単位で各処理の実行に必要となるデータ構成情報を階層化して記録した構成を有し、
前記ファイル解析部は、前記ファイルの管理情報の階層化されたデータ構成情報を取得し、
前記データ処理部は、前記ファイル解析部の取得したデータ構成情報を適用して複数の異なるカテゴリのデータ処理を実行する画像処理装置にある。
【００２３】
さらに、本発明の画像処理装置の一実施態様において、前記カテゴリ単位のデータ構成情報の少なくとも１つは、前記ファイルの格納画像データに３次元画像データが含まれるか否かを判別可能とした３次元画像管理情報である。
【００２４】
さらに、本発明の画像処理装置の一実施態様において、前記カテゴリ単位のデータ構成情報の少なくとも１つは、前記ファイルの格納画像データに含まれる３次元画像データの３次元画像記録方式を判別可能とした３次元画像管理情報である。
【００２５】
さらに、本発明の画像処理装置の一実施態様において、前記カテゴリ単位のデータ構成情報の少なくとも１つは、前記ファイルの格納画像データに含まれる３次元画像データの３次元画像記録方式が、
（ａ）フレームシーケンシャル方式、
（ｂ）サイドバイサイド方式、
（ｃ）トップアンドボトム方式、
上記（ａ）〜（ｃ）のいずれの方式に従った３次元画像データであるかを判別可能とした３次元画像管理情報である。
【００２６】
さらに、本発明の画像処理装置の一実施態様において、前記カテゴリ単位のデータ構成情報の少なくとも１つは、前記ファイル生成部の生成ファイルの格納画像データの暗号化態様情報であり、前記ファイル解析部は、暗号化態様情報を含む第１のデータ構成情報と、３次元画像管理情報を含む第２のデータ構成情報を前記管理情報から取得する。
【００２７】
さらに、本発明の画像処理装置の一実施態様において、前記ファイルは、ＭＰ４ファイルであり、前記ファイル解析部は、ＭＰ４ファイルのＡＶコーデックボックスの下位に階層化して記録されたスキーム情報ボックスから各データ処理カテゴリ単位のデータ構成情報を取得する。
【００２８】
さらに、本発明の画像処理装置の一実施態様において、前記ファイル解析部は、ＭＰ４ファイルに格納された画像データの区分データであるトラック単位またはサンプル単位の区分データ単位で前記スキーム情報ボックスを取得する。
【００２９】
さらに、本発明の第３の側面は、
画像データの符号化データと、該符号化データの管理情報を含むＭＰ４ファイルを記録した情報記録媒体であり、
前記管理情報は、前記符号化データの再生処理時のデータ処理に適用する情報をデータ処理のカテゴリ単位で設定したデータ構成情報を階層化して記録した構成であり、
ＭＰ４ファイルを読み取り再生する装置において、階層化されたデータ構成情報を順次取得して、取得したデータ構成情報を適用して複数の異なるカテゴリのデータ処理を実行することを可能としたことを特徴とする情報記録媒体にある。
【００３０】
さらに、本発明の第４の側面は、
画像処理装置において実行する画像処理方法であり、
エンコード部が、画像データの符号化処理を実行するエンコード処理ステップと、
ファイル生成部が、前記エンコード部の生成した符号化データと、該符号化データの管理情報を含む符号化データ格納ファイルを生成するファイル生成ステップを有し、
前記ファイル生成ステップは、
前記符号化データの再生処理時のデータ処理に適用する情報をデータ処理のカテゴリ単位で設定したデータ構成情報を生成し、複数のカテゴリ単位のデータ構成情報を階層化して前記管理情報中に記録したファイルを生成するステップを含む画像処理方法にある。
【００３１】
さらに、本発明の第５の側面は、
画像処理装置において実行する画像処理方法であり、
ファイル解析部が、画像データの符号化データと、該符号化データの管理情報を含む符号化データ格納ファイルを解析するファイル解析ステップと、
データ処理部が、前記ファイルに格納された画像データの再生処理に際して複数の異なるカテゴリのデータ処理を実行するデータ処理ステップを有し、
前記ファイルの管理情報は、データ処理のカテゴリ単位で各処理の実行に必要となるデータ構成情報を階層化して記録した構成を有し、
前記ファイル解析ステップは、前記ファイルの管理情報の階層化されたデータ構成情報を取得するステップを含み、
前記データ処理ステップは、前記ファイル解析部の取得したデータ構成情報を適用して複数の異なるカテゴリのデータ処理を実行するステップを含む画像処理方法にある。
【００３２】
さらに、本発明の第６の側面は、
画像処理装置において画像処理を実行させるプログラムであり、
エンコード部に、画像データの符号化処理を実行させるエンコード処理ステップと、
ファイル生成部に、前記エンコード部の生成した符号化データと、該符号化データの管理情報を含む符号化データ格納ファイルを生成させるファイル生成ステップを有し、
前記ファイル生成ステップは、
前記符号化データの再生処理時のデータ処理に適用する情報をデータ処理のカテゴリ単位で設定したデータ構成情報を生成し、複数のカテゴリ単位のデータ構成情報を階層化して前記管理情報中に記録したファイルを生成するステップを含むプログラムにある。
【００３３】
さらに、本発明の第７の側面は、
画像処理装置において画像処理を実行させるプログラムであり、
ファイル解析部に、画像データの符号化データと、該符号化データの管理情報を含む符号化データ格納ファイルを解析させるファイル解析ステップと、
データ処理部に、前記ファイルに格納された画像データの再生処理に際して複数の異なるカテゴリのデータ処理を実行させるデータ処理ステップを有し、
前記ファイルの管理情報は、データ処理のカテゴリ単位で各処理の実行に必要となるデータ構成情報を階層化して記録した構成を有し、
前記ファイル解析ステップは、前記ファイルの管理情報の階層化されたデータ構成情報を取得するステップを含み、
前記データ処理ステップは、前記ファイル解析部の取得したデータ構成情報を適用して複数の異なるカテゴリのデータ処理を実行するステップを含むプログラムにある。
【００３４】
なお、本発明のプログラムは、例えば、様々なプログラム・コードを実行可能な情報処理装置やコンピュータ・システムに対して、コンピュータ可読な形式で提供する記憶媒体、通信媒体によって提供可能なプログラムである。このようなプログラムをコンピュータ可読な形式で提供することにより、情報処理装置やコンピュータ・システム上でプログラムに応じた処理が実現される。
【００３５】
本発明のさらに他の目的、特徴や利点は、後述する本発明の実施例や添付する図面に基づくより詳細な説明によって明らかになるであろう。なお、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。
【発明の効果】
【００３６】
本発明の一実施例の構成によれば、ＭＰ４ファイルに格納されたデータの再生処理において実行する様々なデータ処理、例えば３次元画像表示処理や、暗号化データの復号処理など、様々な異なるカテゴリのデータ処理に適用する情報をＭＰ４ファイルの管理情報中に階層化して記録する構成とした。この構成により、ＭＰ４ファイルに格納されたデータの再生、例えば暗号化された３次元画像データの表示処理などにおいて実行が必要となる異なるカテゴリのデータ処理の各々に必要となる様々な情報を、ＭＰ４ファイルの管理情報から確実に取得することが可能となり、スムーズなデータ再生処理が可能となる。
【図面の簡単な説明】
【００３７】
【図１】ＭＰ４ファイルフォーマットの基本構成について説明する図である。
【図２】ＭＰ４ファイルのプロファイルボックス（ｕｕｉｄ（ＰＲＯＦ））に３次元画像識別情報を記録する実施例について説明する図である。
【図３】ＭＰ４ファイルのプロファイルボックス（ｕｕｉｄ（ＰＲＯＦ））に記録する３次元画像識別情報の具体的なフラグの設定例について説明する図である。
【図４】ＭＰ４ファイルのＡＶコーデックボックス（ａｖｃ１）に３次元画像識別情報を記録する実施例について説明する図である。
【図５】フレームシーケンシャル方式［ＦＳ：Ｆｒａｍｅ Ｓｅｑｕｅｎｔｉａｌ］に従ったデータ復元処理と再生処理方法を説明する図である。
【図６】サイドバイサイド方式［ＳｂＳ：Ｓｉｄｅ ｂｙ Ｓｉｄｅ］に従ったデータ復元処理と再生処理方法を説明する図である。
【図７】トップアンドボトム方式［Ｔ＆Ｂ：Ｔｏｐ＆Ｂｏｔｔｏｍ］に従ったデータ復元処理と再生処理方法を説明する図である。
【図８】ＡＶコーデックボックス内に設定するステレオビデオ情報ボックスに記録する３次元画像詳細情報としてのフレーム構成情報のデータ設定例について説明する図である。
【図９】ＡＶコーデックボックス内に設定するステレオビデオ情報ボックスに記録する３次元画像詳細情報としてのフレーム構成情報のデータ設定例について説明する図である。
【図１０】ＭＰ４ファイルのＡＶコーデックボックスの拡張構成として規定されるスキーム情報ボックス（ｓｉｎｆ）を利用して３次元画像識別情報を記録する実施例について説明する図である。
【図１１】ＭＰ４ファイルのＡＶコーデックボックスの拡張構成として規定されるスキーム情報ボックス（ｓｉｎｆ）を利用して３次元画像識別情報を記録する実施例について説明する図である。
【図１２】本発明の画像処理装置の実行する画像データの記録処理シーケンスを説明するフローチャートを示す図である。
【図１３】本発明の画像処理装置の実行する画像データの再生処理シーケンスを説明するフローチャートを示す図である。
【図１４】本発明の画像処理装置の構成例について説明する図である。
【発明を実施するための形態】
【００３８】
以下、図面を参照しながら、本発明の画像処理装置、情報記録媒体、および画像処理方法、並びにプログラムについて説明する。説明は以下の項目順に行う。
１．ＭＰ４ファイルフォーマットの基本構成について
２．３次元画像管理情報をＭＰ４ファイルの管理情報中に記録する構成について
２Ａ．（１）プロファイルボックス（ｕｕｉｄ（ＰＲＯＦ））に３次元画像識別情報を記録する実施例（実施例１）
２Ｂ．（２）ＡＶコーデックボックス（ａｖｃ１）に３次元画像詳細情報を記録する実施例（実施例２）
２Ｃ．（３）ＡＶコーデックボックス（ａｖｃ１）の拡張構成として規定されるスキーム情報ボックス（ｓｉｎｆ）を利用して３次元画像詳細情報を記録する実施例（実施例３）
３．画像処理装置の実行する画像処理シーケンスについて
４．本発明の画像処理装置の構成例について
【００３９】
［１．ＭＰ４ファイルフォーマットの基本構成について］
まず、図１を参照して現行のＭＰ４ファイルフォーマットの基本構成について説明する。前述したように、ＭＰ４は、ＭＰＥＧ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）４形式の符号化データの格納ファイル形式であり、ＩＳＯ／ＩＥＣ１４４９６に規定されている。ＭＰ４はＭＰＥＧ−４形式の動画のみならず、ＭＰＥＧ−２やＭＰＥＧ−１の動画、ＡＡＣやＭＰ３などの音声、ＪＰＥＧやＰＮＧなどの静止画など、様々な形式の画像および音声データを格納可能な構成を持つ。
【００４０】
ＩＳＯ／ＩＥＣ１４４９６に規定されたＭＰ４ファイルフォーマットは、オブジェクト指向のデータ構造を有する。各オブジェクトはボックス（ｂｏｘ）と呼ばれる。図１は一般的な画像および音声データからなるＡＶ（Ａｕｄｉｏ Ｖｉｄｅｏ）データを格納したＭＰ４ファイル１００の構成例を示す図である。ＭＰ４ファイル１００は、図１に示すように以下の各ボックスを有する。
（１）ファイルタイプボックス（ｆｔｙｐ）１０１、
（２）プロファイルボックス（ｕｕｉｄ（ＰＲＯＦ））１０２、
（３）ムービーボックス（ｍｏｏｖ）１０３、
（４）実データボックス（ｍｄａｔ）１０４、
これらのボックスを有する。
【００４１】
（１）ファイルタイプボックス（ｆｔｙｐ）１０１には、ファイルタイプについての記録情報が含まれる。
（２）プロファイルボックス（ｕｕｉｄ（ＰＲＯＦ））１０２には、例えば、フレームレートなどのファイル情報が記録される。
（３）ムービーボックス（ｍｏｏｖ）１０３には、格納データの管理情報（メタデータ）が記録される。
（４）実データボックス（ｍｄａｔ）１０４には、符号化された（圧縮）画像や音声データなど実データが記録される。
【００４２】
実際の再生対象となる画像データや音声データは、（４）実データボックス（ｍｄａｔ）１０４に格納される。（１）〜（３）の各情報、すなわち、ファイルタイプボックス（ｆｔｙｐ）１０１、（２）プロファイルボックス（ｕｕｉｄ（ＰＲＯＦ））１０２、（３）ムービーボックス（ｍｏｏｖ）１０３、これらの各ボックスには、実データの索引情報や属性情報等の管理情報が格納される。なお、属性情報には実データボックス（ｍｄａｔ）１０４に格納される実データの復号処理（伸張処理）に適用するための情報などが含まれる。また実データが暗号化されている場合は、その復号処理に適用する情報等も記録される。
【００４３】
なお、ムービーボックス（ｍｏｏｖ）１０３には、実データボックス（ｍｄａｔ）１０４に格納された実データの区分データであるトラック単位で管理データ（メタデータ）が記録される。
トラックは、例えば、画像データに対応するビデオトラック、音声データに対応するオーディオトラック等がある。なお、日本語対応の第１オーディオトラック、英語対応の第２オーディオトラックなどの設定も可能である。また、異なる画像に対応する第１ビデオトラック、第２ビデオトラック等、細分化したトラック設定も可能である。
【００４４】
なお、図１に示すムービーボックス（ｍｏｏｖ）１０３には、１つのトラック（ｔｒａｋ（ｖｉｄｅｏ ｔｒａｃｋ））に対応するメタデータを格納した１つのトラックボックス１１１のみを示しているが、これはトラックボックスの代表例を示したものである。実際には、ムービーボックス（ｍｏｏｖ）１０３には、図１に示すトラックボックス１１１と同じ形式のボックスがトラック数に応じて格納される。
【００４５】
トラックボックス１１１には実データの区分領域として設定されるトラック単位のデータ対応のメタデータが記録される。
トラックボックス１１１内には、サンプルディスクリプションボックス(ｓｔｓｄ)１１２、さらにその下位にＡＶコーデックボックス（ａｖｃ１）１１３が格納される。
【００４６】
トラックをさらに区分した領域がサンプルであり、１以上のサンプルによって１つのトラックが設定される。
すなわち実データは１以上のトラックによって構成され、１トラックはさらに１以上のサンプルによって構成される。
【００４７】
図１には、トラックボックス１１１の中に１つのサンプルディスクリプションボックス(ｓｔｓｄ)１１２を示している。トラックボックスには必ず１つのサンプルディスクリプションボックス(ｓｔｓｄ)が存在する。
【００４８】
サンプルディスクリプションボックス(ｓｔｓｄ)１１２の下位ボックスが、ＡＶコーデックボックス（ａｖｃ１）１１３であり、ＡＶコーデックボックス（ａｖｃ１）１１３にサンプル対応の実データのコーデック詳細情報、すなわち、実データの要素であるサンプルの復号再生処理に必要とする詳細情報（コーデック情報）が記録される。なお、このＡＶコーデックボックス（ａｖｃ１）１１３には、ＭＰ４の復号処理に関する情報のみならず、例えば暗号化態様に関する情報などの記録も可能である。
【００４９】
ＭＰ４ファイルをＤＶＤ等のメディアから読み出して再生する装置、あるいはＭＰ４ファイルを、通信手段を介して受信して再生する装置は図１に示す構成を持つＭＰ４ファイルの管理情報、すなわち、ファイルタイプボックス（ｆｔｙｐ）１０１、プロファイルボックス（ｕｕｉｄ（ＰＲＯＦ））、ムービーボックス（ｍｏｏｖ）１０３の少なくともいずれかに格納された管理情報を読み取り、実データボックス（ｍｄａｔ）１０４に格納された実データの詳細について確認する。この管理情報の確認処理によってトラックおよびサンプル単位で詳細なコーデック情報を取得して、その情報に従った復号処理を実行する。このような処理によりＭＰ４データの復号および再生処理を行うことができる。
【００５０】
しかし、前述したように、現行のＭＰ４フォーマットの管理情報には、ＭＰ４ファイルに格納された画像が３次元（３Ｄ）画像であるのか、２次元（２Ｄ）画像であるかを識別するための情報を記録する領域が規定されていない。
【００５１】
従って、ＭＰ４ファイルを記録メディアから読み出して再生しようとする装置、あるいは通信手段を介して受信して再生しようとする装置は、実際に画像を取得し解析または再生しなければＭＰ４ファイルの格納データが３次元画像データであるのか２次元画データであるのかを把握できない。結果として例えば３次元画像の表示機能を持たない表示装置に３次元画像データが誤って表示されてしまうといった事態が発生する。また、前述したように現行の管理情報のみでは自装置において再生または表示可能な３次元画像であるか否かについての確認もできない。
【００５２】
このように現行のＭＰ４のフォーマットを利用した場合、ＭＰ４ファイルに格納された画像が３次元画像である場合、実際に実データボックス（ｍｄａｔ）１０４から画像データを取得してデータ構成を確認するか、あるいは、実際に再生や表示処理を実行してみないと、自装置が処理可能なデータであるか否かについて確認できないといった問題がある。
【００５３】
［２．３次元画像管理情報をＭＰ４ファイルの管理情報中に記録する構成について］
以下では、上述した問題を解決する構成として、３次元画像についての管理情報をＭＰ４ファイルの管理情報中に記録する複数の実施例について、以下説明する。
以下に示す３つの実施例について、順次説明する。
（１）プロファイルボックス（ｕｕｉｄ（ＰＲＯＦ））に３次元画像識別情報を記録する実施例（実施例１）
（２）ＡＶコーデックボックス（ａｖｃ１）に３次元画像識別情報を記録する実施例（実施例２）
（３）ＡＶコーデックボックス（ａｖｃ１）の拡張構成として規定されるスキーム情報ボックス（ｓｉｎｆ）を利用して３次元画像識別情報を記録する実施例（実施例３）
なお、これらの各実施例は単独の構成としても実施可能であるが、複数の実施例を組み合わせて利用する構成も可能である。
【００５４】
［２Ａ．（１）プロファイルボックス（ｕｕｉｄ（ＰＲＯＦ））に３次元画像識別情報を記録する実施例（実施例１）］
まず、図２を参照してプロファイルボックス（ｕｕｉｄ（ＰＲＯＦ））に３次元画像識別情報を記録する実施例について説明する。
【００５５】
図２は、本実施例で提案するプロファイルボックス（ｕｕｉｄ（ＰＲＯＦ））に含まれるビデオ管理フラグ（ｖｉｄｅｏ＿ａｔｔｒｉｂｕｔｅ＿ｆｌａｇ）の上位１６ビット（０００１ｈ〜００１０ｈ）の構成を示す図である。なお（ｈ）は１６進数の表記であることを意味している。
【００５６】
図２に示すビデオ管理フラグ（ｖｉｄｅｏ＿ａｔｔｒｉｂｕｔｅ＿ｆｌａｇ）の上位１６ビット中、前半（０００１ｈ〜０００４ｈ）のデータは、従来のＭＰ４において既に規定されているフィールドであり、例えば以下のデータ領域として規定されている。
０００１ｈ：ＩＤＲ（Ｉｎｓｔａｎｔａｎｅｏｕｓ Ｄｅｃｏｄｅｒ Ｒｅｆｒｅｓｈ）フレーム間隔情報、
０００２ｈ：リカバリポイントＳＥＩメッセージの有無情報、
これらはＭＰ４の復号に適用する情報である。
０００４ｈ〜はリザーブ領域である。
【００５７】
本実施例では、ビデオ管理フラグ（ｖｉｄｅｏ＿ａｔｔｒｉｂｕｔｅ＿ｆｌａｇ）の上位１６ビット（０００１ｈ〜００１０ｈ）の後半部にＭＰ４ファイルの実データボックス（ｍｄａｔ）（図１参照）に格納された画像データが３次元画像を含むか否かの情報を格納する。
【００５８】
具体的には、図２に示すように以下の３次元画像識別情報を格納する。
０００８ｈ：ステレオビデオフラグ（ｓｔｅｒｅｏ ｖｉｄｅｏ ｆｌａｇ）２０１、
００１０ｈ：ミックスステレオビデオフラグ（Ｍｉｘｅｄ ｓｔｅｒｅｏ ｖｉｄｅｏ ｆｌａｇ）２０２、
これらの各フラグを３次元画像識別情報として設定する。
【００５９】
各フラグの値の具体的な内容について図３を参照して説明する。
ＭＰ４ファイルに格納される画像データの態様としては、図３に示すように３パターンある。
（ａ）ＭＰ４ファイルに格納された画像データが全て３次元画像（ステレオ画像）
（ｂ）ＭＰ４ファイルに格納された画像データが全て２次元画像
（ｃ）ＭＰ４ファイルに格納された画像データが３次元画像（ステレオ画像）と２次元画像の混在データ
これらの３パターンである。
【００６０】
ステレオビデオフラグ２０１は、ＭＰ４ファイルに格納されたすべての画像データに３次元画像が含まれる場合はビット値＝１、含まれない場合はビット値＝０との設定とする。
従って、図３に示す
（ａ）ＭＰ４ファイルに格納された画像データが全て３次元画像（ステレオ画像）
この（ａ）の場合にのみ、ビット値＝１となる。
また、
（ｂ）ＭＰ４ファイルに格納された画像データが全て２次元画像
（ｃ）ＭＰ４ファイルに格納された画像データが３次元画像（ステレオ画像）と２次元画像の混在データ
これら（ｂ），（ｃ）の場合はビット値＝０となる。
【００６１】
一方、ミックスステレオビデオフラグ２０２は、ＭＰ４ファイルに格納された画像データが３次元画像と２次元画像の混在データである場合はビット値＝１、それ以外は、ビット値＝０との設定とする。
従って、図３に示す
（ｃ）ＭＰ４ファイルに格納された画像データが３次元画像（ステレオ画像）と２次元画像の混在データ
この（ｃ）の場合にのみビット値＝１となる。
また、
（ａ）ＭＰ４ファイルに格納された画像データが全て３次元画像（ステレオ画像）
（ｂ）ＭＰ４ファイルに格納された画像データが全て２次元画像
これら（ａ），（ｂ）の場合には、ビット値＝０となる。
【００６２】
これらのフラグ設定により、以下のデータ識別が可能となる。
（ケース１）
ステレオビデオフラグ＝１、ミックスステレオビデオフラグ＝０、
この場合は、
（ａ）ＭＰ４ファイルに格納された画像データが全て３次元画像（ステレオ画像）
であると判定する。
【００６３】
（ケース２）
ステレオビデオフラグ＝０、ミックスステレオビデオフラグ＝０、
この場合は、
（ｂ）ＭＰ４ファイルに格納された画像データが全て２次元画像
であると判定する。
【００６４】
（ケース３）
ステレオビデオフラグ＝０、ミックスステレオビデオフラグ＝１、
この場合は、
（ｃ）ＭＰ４ファイルに格納された画像データが３次元画像（ステレオ画像）と２次元画像の混在データ
であると判定する。
【００６５】
このように、本実施例の構成により、ＭＰ４ファイルのプロファイルボックス（ｕｕｉｄ（ＰＲＯＦ））のビデオ管理フラグ（ｖｉｄｅｏ＿ａｔｔｒｉｂｕｔｅ＿ｆｌａｇ）に設けられたステレオビデオフラグ２０１と、ミックスステレオビデオフラグ２０２のフラグ設定を確認するのみで、ＭＰ４ファイルに格納された画像データの３次元画像情報を得ることができる。具体的には、ＭＰ４ファイルに格納された画像データが下記のいずれのタイプであるかを確認することが可能となる。
（タイプａ）３次元画像のみから構成されている、
（タイプｂ）２次元画像のみから構成されている、
（タイプｃ）３次元画像と２次元画像の混在データである、
これらの各タイプを判別することが可能となる。
【００６６】
なお、図３に示すビット値の設定例は一例であり、この逆のビット値の設定としてもよく、上記の各タイプの判別が可能なビット値設定とする様々な設定が可能である。
【００６７】
ＭＰ４ファイルを記録メディアから読み出して再生しようとする装置、あるいは通信手段を介してＭＰ４ファイルを受信して再生しようとする装置は、ＭＰ４ファイルの実データボックス（ｍｄａｔ）から実際に画像を取得する以前にプロファイルボックス（ｕｕｉｄ（ＰＲＯＦ））内に設定されたステレオビデオフラグ２０１と、ミックスステレオビデオフラグ２０２のフラグ設定を確認することで、ＭＰ４ファイルの格納データの３次元画像情報を取得することが可能となる。従って、例えば３次元画像の表示機能を持たない表示装置に３次元画像データが誤って表示されてしまうといった事態を防止できる。
【００６８】
［２Ｂ．（２）ＡＶコーデックボックス（ａｖｃ１）に３次元画像詳細情報を記録する実施例（実施例２）］
次に、図４を参照してＡＶコーデックボックス（ａｖｃ１）に３次元画像詳細情報を記録する実施例について説明する。
【００６９】
なお、先に図１を参照して説明したように、ＡＶコーデックボックス（ａｖｃ１）は、ムービーボックス（ｍｏｏｖ）の下位のトラックボックス１１１のさらに下位のサンプルディスクリプションボックス(ｓｔｓｄ)の下位に設定されるボックスである。
ＡＶコーデックボックス（ａｖｃ１）は、先に説明したように、実データボックス（ｍｄａｔ）に格納される実データを区分した区分データであるサンプルのコーデック情報等が記録されるボックスである。
【００７０】
なお、この場合はトラックに含まれるサンプルの全てのコーデック情報がＡＶコーデックボックス（ａｖｃ１）に設定されることになる。サンプルディスクリプションボックス(ｓｔｓｄ)の下位には１または複数のＡＶコーデックボックス（ａｖｃ１）の設定が可能である。ただし、内容が同じ場合は複数設定する必要はない。つまり、サンプル数とＡＶコーデックボックスの数は一致する必要はなく、サンプル数が複数でもＡＶコーデックボックスを1つとする設定などが可能である。
【００７１】
本実施例２では、このＡＶコーデックボックス（ａｖｃ１）に３次元画像詳細情報を記録する。図４に、本実施例に係るＡＶコーデックボックス（ａｖｃ１）のデータ構成例を示す。
【００７２】
図４に示すデータ領域３０１の情報は、従来のＭＰ４ファイルフォーマットに既に規定されているコーデック情報格納領域である。このデータ領域３０１には、以下の各情報ボックスが設定される。
ＡＶＣＣｏｎｆｉｇｕｒａｔｉｏｎＢｏｘ
ＭＰＥＧ４ＢｉｔＲａｔｅＢｏｘ
ＭＰＥＧ４ＥｘｔｅｎｔｉｏｎＤｅｓｃｒｉｐｔｏｒＢｏｘ
これらのボックスにはＭＰ４符号化データの復号処理に必要となる情報、すなわちコーデック情報が記録される。これらのコーデック情報は２次元画像にも３次元画像に共通に利用される。
【００７３】
本実施例では、これら既存のコーデック情報ボックスに加え、図４に示すように、
ステレオビデオ情報ボックス（Ｓｔｅｒｅｏ Ｖｉｄｅｏ Ｄｅｓｃｒｉｐｔｉｏｎ Ｂｏｘ）３０２
を追加する。
ステレオビデオ情報ボックス３０２には、ＭＰ４ファイルの実データボックス（ｍｄａｔ）（図１参照）に格納された画像データに３次元画像が含まれるか否かの情報や、３次元画像が含まれる場合、その３次元画像データに関する詳細情報を記録する。詳細情報には例えば３次元画像の表示方式情報などが含まれる。
【００７４】
前述したように、３次元画像（３Ｄ画像）の表示方式には様々な方式がある。例えば、偏光フィルタや、色フィルタにより左右の眼各々によって観察する画像を分離するパッシブ眼鏡方式に対応した方式、あるいは、液晶シャッターを左右交互に開閉して観察する画像を左右の眼交互に時間的に分離するアクティブ眼鏡方式に対応した方式などがある。例えばこれらの各表示方式に応じて、ＭＰ４ファイルに格納される記録データの記録形式も異なってくる。
ステレオビデオ情報ボックス３０２には、ＭＰ４ファイルの実データボックス（ｍｄａｔ）（図１参照）に格納された画像データがいずれの方式に対応した記録データであるかについての情報も含まれる。
【００７５】
なお、３次元画像データの記録方式としては、例えば、
フレームシーケンシャル（Ｆｒａｍｅ Ｓｅｑｕｅｎｔｉａｌ）方式、
サイドバイサイド（Ｓｉｄｅ ｂｙ Ｓｉｄｅ）方式、
トップアンドボトム（Ｔｏｐ＆Ｂｏｔｔｏｍ）方式、
などがある。
【００７６】
フレームシーケンシャル（Ｆｒａｍｅ Ｓｅｑｕｅｎｔｉａｌ）方式は、左目用画像（Ｌ画像）と右目用画像（Ｒ画像）のフレームをＬ、Ｒ、Ｌ、Ｒ、・・・と交互に記録した方式である。
サイドバイサイド（Ｓｉｄｅ ｂｙ Ｓｉｄｅ）方式は、ＬＲ画像を１フレーム画像中の左右に分割して記録した方式である。
トップアンドボトム（Ｔｏｐ＆Ｂｏｔｔｏｍ）方式は、ＬＲ画像を１フレーム画像中の上下に分割して記録した方式である。
これらの画像記録方式など、３次元画像の再生や表示処理に利用される３次元画像詳細情報がステレオビデオ情報ボックス３０２に記録される。
【００７７】
ＭＰ４ファイルを記録メディアまたは通信手段等を介して取得して再生しようとする装置は、ＭＰ４ファイルの実データボックス（ｍｄａｔ）から実際に画像を取得する以前に、ＡＶコーデックボックス（ａｖｃ１）に設定されたステレオビデオ情報ボックス３０２の３次元画像情報を取得することで、ＭＰ４ファイルの格納データの３次元画像データがどのような記録方式や表示方式に対応したデータであるか等の３次元画像の再生や表示処理に適用する詳細情報を取得することが可能となる。
【００７８】
従って、例えば３次元画像の表示機能を持たない表示装置に３次元画像データが誤って表示されてしまうといった事態を防止できる。また、自装置において再生または表示可能な３次元画像であるか否かについての確認も可能となるので、自装置が処理可能なデータであることの確認を行った後に、ＭＰ４ファイルの格納データを取り出して復号、再生処理を開始することが可能となり、無駄な処理の実行を排除することが可能となる。
【００７９】
ＡＶコーデックボックス（ａｖｃ１）に対する３次元画像詳細情報の記録形式としては様々な設定が可能であるが、以下、その一例について説明する。
Ａｄｖａｎｃｅｄ Ｖｉｄｅｏ Ｃｏｄｉｎｇ（ＭＰＥＧ４−ＡＶＣ）を規定したＩＳＯ／ＩＥＣ１４４９６においては、既に通常のコーデック情報として、再生用の各画像フレームを構築するためのフレーム構成情報（Ｆｒａｍｅ Ｐａｃｋｉｎｇ Ａｒａｎｇｅｍｅｎｔ ＳＥＩ）を規定している。
【００８０】
以下、説明する３次元画像詳細情報の記録形式の一例は、この既存のフレーム構成情報（Ｆｒａｍｅ Ｐａｃｋｉｎｇ Ａｒｒａｎｇｅｍｅｎｔ ＳＥＩ）とほぼ同様の形式を用いた例である。
【００８１】
ステレオビデオ情報ボックス３０２に記録する３次元画像詳細情報の一例であるフレーム構成情報（Ｆｒａｍｅ Ｐａｃｋｉｎｇ Ａｒｒａｎｇｅｍｅｎｔ ＳＥＩ）の具体的なデータ設定例について、以下説明する。
なお、以下の例では、３次元画像の以下の記録方式、すなわち、
（ａ）フレームシーケンシャル方式［ＦＳ］、
（ｂ）サイドバイサイド方式［ＳｂＳ］、
（ｃ）トップアンドボトム方式［Ｔ＆Ｂ］、
これら、異なる３次元画像の記録方式に対応するフレーム構成情報の設定例について説明する。
【００８２】
３次元画像詳細情報の設定例の説明の前に、まず図５〜図７を参照して以下の３次元画像のデータ復元処理と再生処理方法について説明する。
（ａ）フレームシーケンシャル方式［ＦＳ］、
（ｂ）サイドバイサイド方式［ＳｂＳ］、
（ｃ）トップアンドボトム方式［Ｔ＆Ｂ］、
【００８３】
図５は、（ａ）フレームシーケンシャル方式［ＦＳ：Ｆｒａｍｅ Ｓｅｑｕｅｎｔｉａｌ］に従ったデータ復元処理と再生処理方法を説明する図である。
図５にはＭＰ４のデコード結果として得られるデコード画像フレーム３２１と、表示画像フレーム３２２を示している。
フレームシーケンシャル方式では左目用画像（Ｌ画像）と、右目用画像（Ｒ画像）がＬＲＬＲＬＲ・・・と交互に記録される。従って、ＭＰ４デコード結果から得られる画像は。表示画像フレーム３２２としてのＬ画像、Ｒ画像として利用される。
【００８４】
図６は、（ｂ）サイドバイサイド方式［ＳｂＳ：Ｓｉｄｅ ｂｙ Ｓｉｄｅ］に従ったデータ復元処理と再生処理方法を説明する図である。
図６には、
ＭＰ４デコード結果画像３３１、
アンパックＬ画像（フレーム０）３３２、
アンパックＲ画像（フレーム１）３３３、
表示用Ｌ画像（フレーム０）３３４、
表示用Ｒ画像（フレーム１）３３５、
これらの画像データを示している。
【００８５】
サイドバイサイド方式［ＳｂＳ：Ｓｉｄｅ ｂｙ Ｓｉｄｅ］では、ＭＰ４デコード結果画像３３１に示すように、左目用画像（Ｌ画像）と、右目用画像（Ｒ画像）が１つの画像フレームの左右に区分された領域に格納される。
この画像から、まず、アンパック処理を実行して、アンパックＬ画像（フレーム０）３３２、アンパックＲ画像（フレーム１）３３３を生成する。さらに、伸張処理（アップコンバート）を実行して表示用Ｌ画像（フレーム０）３３４と、表示用Ｒ画像（フレーム１）３３５を生成する。
このようにフレーム０，フレーム１が１組の画像フレームとして設定される、
【００８６】
図７は、（ｃ）トップアンドボトム方式［Ｔ＆Ｂ：Ｔｏｐ＆Ｂｏｔｔｏｍ］に従ったデータ復元処理と再生処理方法を説明する図である。
図７には、
ＭＰ４デコード結果画像３４１、
アンパックＬ画像（フレーム０）３４２、
アンパックＲ画像（フレーム１）３４３、
表示用Ｌ画像（フレーム０）３４４、
表示用Ｒ画像（フレーム１）３４５、
これらの画像データを示している。
【００８７】
トップアンドボトム方式［Ｔ＆Ｂ：Ｔｏｐ＆Ｂｏｔｔｏｍ］では、ＭＰ４デコード結果画像３４１に示すように、左目用画像（Ｌ画像）と、右目用画像（Ｒ画像）が１つの画像フレームの上下に区分された領域に格納される。
この画像から、まず、アンパック処理を実行して、アンパックＬ画像（フレーム０）３４２、アンパックＲ画像（フレーム１）３４３を生成する。さらに、伸張処理（アップコンバート）を実行して表示用Ｌ画像（フレーム０）３４４と、表示用Ｒ画像（フレーム１）３４５を生成する。
トップアンドボトム方式でも、フレーム０，フレーム１が１組の画像フレームとして設定される、
【００８８】
このように、３次元画像の再生、表示を実行する装置では３次元画像の方式に従った処理を行うことが必要である。本実施例の構成では、ＭＰ４ファイルに格納された画像がどの方式に従った３次元画像であるかを識別するための詳細情報をステレオビデオ情報ボックス３０２内にフレーム構成情報（Ｆｒａｍｅ Ｐａｃｋｉｎｇ Ａｒｒａｎｇｅｍｅｎｔ ＳＥＩ）として記録する。
【００８９】
図８、図９を参照して、ＡＶコーデックボックス内に設定するステレオビデオ情報ボックス３０２に記録する３次元画像詳細情報としてのフレーム構成情報のデータ設定例について説明する。
図８、図９は、ＭＰ４ファイルに格納された３次元画像が以下の３種類の方式に対応する場合のデータ設定例を示す図である。
（ａ）フレームシーケンシャル方式［ＦＳ］、
（ｂ）サイドバイサイド方式［ＳｂＳ］、
（ｃ）トップアンドボトム方式［Ｔ＆Ｂ］、
これらの各方式に対応するフレーム構成（Ｆｒａｍｅ Ｐａｃｋｉｎｇ Ａｒｒａｎｇｅｍｅｎｔ ＳＥＩ）情報のデータ設定例である。
【００９０】
以下、図８に示す３次元画像詳細情報としてのフレーム構成情報の各データについて説明する。
フレームパッキングアレンジメントキャンセルフラグ
（frame_packing_arrangement_cancel_flag）
このフラグが１の場合、フレーム構成情報を使用しないことを示す。
ステレオビデオ情報ボックス３０２内に記録する３次元画像情報としてのフレーム構成情報の場合、フレームシーケンシャル方式［ＦＳ］、サイドバイサイド方式［ＳｂＳ］、トップアンドボトム方式［Ｔ＆Ｂ］、いずれの方式においても、このフレーム構成情報を使用することを示す０を設定する。なお、［０ｂ］の（ｂ）は、２進数の表記であることを意味している。
【００９１】
５点系サンプリングフラグ
（quincux_sampling_flag）
このフラグが１の場合、画像フレームのサンプリングポイントが３×３画素の５点に設定されていることを示す。
このフラグは主に復号処理におけるサンプリング位置を示す情報として用いられる。
ステレオビデオ情報ボックス３０２内に記録する３次元画像情報としてのフレーム構成情報の場合、フレームシーケンシャル方式［ＦＳ］、サイドバイサイド方式［ＳｂＳ］、トップアンドボトム方式［Ｔ＆Ｂ］、いずれの方式においても、このフラグは０に設定する。
【００９２】
コンテンツ説明タイプ
（content_interpretation_type）
このフィールドの値としては例えば０〜２の各値をとり、
０＝フレーム相互の関係がない場合の設定値、
１＝３次元（ステレオ）画像用のフレーム構成情報であり、フレーム０が左目用フレーム、フレーム１が右目用フレームである場合の設定値、
２＝３次元（ステレオ）画像用のフレーム構成情報であり、フレーム０が右目用フレーム、フレーム１が左目用フレームである場合の設定値、
これらのコンテンツ説明タイプ情報が記録される。
ステレオビデオ情報ボックス３０２内に記録する３次元画像情報としてのフレーム構成情報の場合、フレームシーケンシャル方式［ＦＳ］、サイドバイサイド方式［ＳｂＳ］、トップアンドボトム方式［Ｔ＆Ｂ］、いずれの方式においても、このフラグは１に設定する。
【００９３】
スペーシャルフリッピングフラグ
（spatial_fliping_flag）
スペーシャルフリップフラグ
（frame0_flipped_flag）
これらのフラグは、画像フレームの構成方向、例えば水平方向または垂直方向に連結してフレームを構成するかの情報を格納する。
このフラグ設定は２次元画像のアップコンバート（伸張処理）の態様を決定するために用いられる。
ステレオビデオ情報ボックス３０２内に記録する３次元画像情報としてのフレーム構成情報の場合、これらのフラグは利用せず、これらのフラグ値は０に設定する。
【００９４】
フィールドビューフラグ
（field_views_flag）
フレームのインターリービング処理の態様についての情報が記録される。
ステレオビデオ情報ボックス３０２内に記録する３次元画像情報としてのフレーム構成情報の場合、このフラグは利用せず、このフラグ値は０に設定する。
【００９５】
フレームパッキングアレンジメントリザーブバイト
（frame_packing_arrangement_reserved_byte）
フレームパッキングアレンジメントリピテーションバイト
（frame_packing_arrangement_repetition_period）
フレームパッキングアレンジメントエクステンションバイト
（frame_packing_arrangement_extension_flag）
これらのフィールドは、リザーブ、繰り返しデータ、拡張データの記録フィールドである。
ステレオビデオ情報ボックス３０２内に記録する３次元画像情報としてのフレーム構成情報の場合、これらのフラグは利用せず、これらのフラグ値は０に設定する。
【００９６】
図９も、以下の３次元画像の３つの記録タイプ、
（ａ）フレームシーケンシャル方式［ＦＳ］、
（ｂ）サイドバイサイド方式［ＳｂＳ］、
（ｃ）トップアンドボトム方式［Ｔ＆Ｂ］、
これらの３つの形式に対応するフレーム構成（Ｆｒａｍｅ Ｐａｃｋｉｎｇ Ａｒｒａｎｇｅｍｅｎｔ ＳＥＩ）情報の設定例を示す図である。
【００９７】
フレーム構成タイプ
（frame_packing_arrangement_type）
このフィールドには、３次元画像のタイプによって異なる値を設定する。
例えば、
（ａ）フレームシーケンシャル方式［ＦＳ］＝０００１０１ｂ（５）、
（ｂ）サイドバイサイド方式［ＳｂＳ］＝０００００１１ｂ（３）、
（ｃ）トップアンドボトム方式［Ｔ＆Ｂ］＝００００１００ｂ（４）、
再生装置は、このフィールドの設定値に基づいて、トラックに格納された３次元画像が、どの方式の３次元画像データであるかを判別することができる。すなわち、トラックに格納された３次元画像が、フレームシーケンシャル方式［ＦＳ］、サイバイサイド方式［ＳｂＳ］、トップアンドボトム方式［Ｔ＆Ｂ］、いずれの方式の３次元画像データであるかについて判別することが可能となる。
【００９８】
現フレーム＝フレーム０フラグ
（current_frame_is_frame0_flag）
このフィールドにはＭＰ４デコード結果として得られる現フレームがフレーム０に対応するフレームであるか否かの情報が記録される。
３次元画像がＬ画像，Ｒ画像，Ｌ画像，Ｒ画像フレームの繰り返しとして記録される「（ａ）フレームシーケンシャル方式［ＦＳ］」の場合は、デコード結果として得られるフレーム単位で左目用画像（Ｌ画像）であるか右目用画像（Ｒ画像）であるかを判別することが必要となる。
従って、（ａ）フレームシーケンシャル方式［ＦＳ］の場合は、このフィールドに、
右目用画像（Ｒ画像）＝０、
左目用画像（Ｌ画像）＝１、
例えば上記の値を設定する。
【００９９】
その他の方式、（ｂ）サイドバイサイド方式［ＳｂＳ］と、（ｃ）トップアンドボトム方式［Ｔ＆Ｂ］の各方式では、図６、図７を参照して説明したようにＭＰ４デコード結果として得られるフレームに基づいて、左目用画像（Ｌ画像＝フレーム０）と右目用画像（Ｒ画像＝フレーム１）の双方を生成するので、ＭＰ４デコード結果に対する判別処理は不要となるので、このフィールドの値は０に設定する。
【０１００】
フレーム０セルフコンテインドフラグ
（frame0_self_contained_flag）
フレーム１セルフコンテインドフラグ
（frame1_self_contained_flag）
これらはフレーム０，１の設定されたフレーム間で相互のフレームを参照すべきである場合にフラグの値として１を設定する。
ステレオビデオ情報ボックス３０２内に記録する３次元画像情報としてのフレーム構成情報の場合、フレームシーケンシャル方式［ＦＳ］、サイドバイサイド方式［ＳｂＳ］、トップアンドボトム方式［Ｔ＆Ｂ］、いずれの方式においてもこの情報は不要であり、このフラグの値は０に設定する。
【０１０１】
フレーム０グリッドポジションＸ
（frame0_grid_position_x）
フレーム０グリッドポジションＹ
（frame0_grid_position_y）
フレーム１グリッドポジションＸ
（frame1_grid_position_x）
フレーム１グリッドポジションＹ
（frame1_grid_position_y）
これらは画像フレームの構成処理に際して参照する画素位置を示すためのデータフィールドである。
【０１０２】
ステレオビデオ情報ボックス３０２内に記録する３次元画像情報としてのフレーム構成情報の場合は、フレームシーケンシャル方式［ＦＳ］ではＮ／Ａ（無効値）、サイドバイサイド方式［ＳｂＳ］、トップアンドボトム方式［Ｔ＆Ｂ］ではフラグ値＝０を設定する。
例えば、図６、図７を参照して説明したサイドバイサイド方式［ＳｂＳ］、トップアンドボトム方式［Ｔ＆Ｂ］ではすべてフラグ値＝０を設定する。これは、フレーム０，１とも(Ｘ，Ｙ)＝（０，０）で指定される左上端の座標位置に参照位置が設定されていることを示している。
【０１０３】
図８、図９を参照して説明したように、ステレオビデオ情報ボックス３０２内のフレーム構成（Ｆｒａｍｅ Ｐａｃｋｉｎｇ Ａｒｒａｎｇｅｍｅｎｔ ＳＥＩ）情報には、
（ａ）フレームシーケンシャル方式［ＦＳ］、
（ｂ）サイドバイサイド方式［ＳｂＳ］、
（ｃ）トップアンドボトム方式［Ｔ＆Ｂ］、
これらの各方式に対応するフレーム構成情報（Ｆｒａｍｅ Ｐａｃｋｉｎｇ Ａｒｒａｎｇｅｍｅｎｔ ＳＥＩ）の設定値がそれぞれ設定される。
【０１０４】
３次元画像の再生、表示を実行する装置は、ステレオビデオ情報ボックス３０２内の３次元画像詳細情報を参照することで、ＭＰ４ファイルに格納された画像がどの方式に従った３次元画像であるかを識別することが可能となる。
すなわち、例えば図８、図９を参照して説明したフレーム構成情報（Ｆｒａｍｅ Ｐａｃｋｉｎｇ Ａｒｒａｎｇｅｍｅｎｔ ＳＥＩ）の設定値を参照することで、ＭＰ４ファイルに格納された画像がどの方式に従った３次元画像であるかを識別可能となり、格納画像の方式に対応した復元処理を実行して正しい３次元画像表示用データを生成して再生、表示することが可能となる。
【０１０５】
従って、例えば３次元画像の表示機能を持たない表示装置に３次元画像データが誤って表示されてしまうといった事態を防止できる。
また、自装置の実行可能な３次元画像表示処理に応じたデータが記録されているかについても予め知ることが可能となり、自装置において処理可能であると判断された場合にのみ、実データボックス（ｍｄａｔ）１０４（図１参照）に格納された実データを取得してエンコード等の処理を開始することができ、無駄な処理を実行してしまう事態を避けることが可能となる。
【０１０６】
なお、上記実施例では、
（ａ）フレームシーケンシャル方式［ＦＳ］、
（ｂ）サイドバイサイド方式［ＳｂＳ］、
（ｃ）トップアンドボトム方式［Ｔ＆Ｂ］、
これらの各方式に対応する３次元画像詳細情報を記録した例について説明したが、その他の方式に従った情報を記録する構成としてもよい。また、図８、図９を参照して説明したフレーム構成情報（Ｆｒａｍｅ Ｐａｃｋｉｎｇ Ａｒｒａｎｇｅｍｅｎｔ ＳＥＩ）に限らず、その他の形式で３次元画像詳細情報を作成してＡＶコーデックボックス（ａｖｃ１）に記録する構成としてもよい。
【０１０７】
［２Ｃ．（３）ＡＶコーデックボックス（ａｖｃ１）の拡張構成として規定されるスキーム情報ボックス（ｓｉｎｆ）を利用して３次元画像詳細情報を記録する実施例（実施例３）］
次に、図１０以下を参照してＭＰ４ファイルのＡＶコーデックボックス（ａｖｃ１）の拡張構成として規定されるスキーム情報ボックス（ｓｉｎｆ）を利用して３次元画像詳細情報を記録する実施例について説明する。
【０１０８】
なお、先に図１を参照して説明したように、ＡＶコーデックボックス（ａｖｃ１）は、ムービーボックス（ｍｏｏｖ）の下位のトラックボックス１１１のさらに下位のサンプルディスクリプションボックス(ｓｔｓｄ)の下位に設定されるボックスである。
ＡＶコーデックボックス（ａｖｃ１）は、先に説明したように、実データボックス（ｍｄａｔ）に格納される実データを区分したデータであるサンプルのコーデック情報等が記録されるボックスである。
【０１０９】
なお、この場合はトラックに含まれるサンプルの全てのコーデック情報がＡＶコーデックボックス（ａｖｃ１）に設定されることになる。サンプルディスクリプションボックス(ｓｔｓｄ)の下位には１または複数のＡＶコーデックボックス（ａｖｃ１）の設定が可能である。ただし、内容が同じ場合は複数設定する必要はない。つまり、サンプル数とＡＶコーデックボックスの数は一致する必要はなく、サンプル数が複数でもＡＶコーデックボックスを1つとする設定などが可能である。
【０１１０】
本実施例３では、実施例２と同様、このＡＶコーデックボックス（ａｖｃ１）に３次元画像詳細情報を記録する。ただし、本実施例３ではＡＶコーデックボックス（ａｖｃ１）の拡張構成として規定されるスキーム情報ボックス（ｓｉｎｆ）を利用して３次元画像詳細情報を記録する。
【０１１１】
ＭＰ４のファイルフォーマットを規定するＩＳＯ／ＩＥＣ１４４９６では、ＭＰ４に格納されるデータが例えば暗号化データとして格納されるなど、ＭＰ４ファイルの格納データが何らかの変換データとして記録されている場合、そのデータについてのデータ構成情報を記録するための領域としてスキーム情報ボックス（ｓｉｎｆ）を規定している。例えば、ＭＰ４ファイルの格納データが暗号化された変換データとして記録されている場合、その暗号化態様情報を記録するための領域としてスキーム情報ボックス（ｓｉｎｆ）を規定している。
【０１１２】
なお、ＭＰ４のファイルフォーマットを規定するＩＳＯ／ＩＥＣ１４４９６の現行規定においては、データ構成情報を格納するスキーム情報ボックス（ｓｉｎｆ）は、ＡＶコーデックボックス（ａｖｃ１）の下位に１つ設定することができると規定している。
例えばＭＰ４格納データが暗号化データである場合、再生装置はＡＶコーデックボックス（ａｖｃ１）内に設定されたスキーム情報ボックス（ｓｉｎｆ）を参照することで、暗号化データの復号に必要となる情報を得ることが可能となる。
【０１１３】
本実施例では、このスキーム情報ボックスを利用する。すなわち、３次元（ステレオ）画像についてのデータ構成情報を格納したスキーム情報ボックスを定義する。
図１０を参照して、３次元（ステレオ）画像についてのデータ構成情報、すなわち３次元画像詳細情報をスキーム情報ボックス（ｓｉｎｆ）に格納する例について説明する。
【０１１４】
図１０には、
（ａ）ＭＰ４ファイル４００、
（ｂ）ＡＶコーデックボックス（ａｖｃ１）４０１、
（ｃ）３次元画像情報スキーム情報ボックス４１０を含むＡＶコーデックボックス４０５、
これらのデータ構成を示している。
【０１１５】
例えばＭＰ４ファイル４００に３次元画像が含まれない場合、３次元画像詳細情報を記録したスキーム情報ボックス（ｓｉｎｆ）は設定されず、ＭＰ４ファイル内のＡＶコーデックボックス（ａｖｃ１）は、例えば図１０（ｂ）に示すようなＡＶコーデックボックス（ａｖｃ１）４０１、すなわちＡＶＣデータ構成情報を格納したＡＶＣデータ構成情報ボックス［ＡＶＣＣｏｎｆｉｇｕｒａｔｉｏｎＢｏｘ］４０２のみを有するデータ構成となる。ＡＶＣデータ構成情報ボックス［ＡＶＣＣｏｎｆｉｇｕｒａｔｉｏｎＢｏｘ］４０２には、ＭＰ４データの復号処理に必要となるコーデック情報が記録される。
【０１１６】
ＭＰ４ファイルに３次元画像が含まれる場合、図１０（ｂ）に示すＡＶコーデックボックス（ａｖｃ１）４０１は、図１０（ｃ）に示す３次元画像情報スキーム情報ボックス４１０を含むＡＶコーデックボックス４０５として設定する。
【０１１７】
なお、図１０（ｂ）に示す３次元画像情報スキーム情報ボックスを含まないＡＶコーデックボックス（ａｖｃ１）４０１のボックス名に相当するコード（４ＣＣ：ｆｏｕｒ−ｃｈａｒａｃｔｅｒ−ｃｏｄｅ）は［ａｖｃ１］であるが、
図１０（ｃ）に示す３次元画像情報スキーム情報ボックス４１０を含むＡＶコーデックボックス４０５は、ボックス名に相当するコード（４ＣＣ：ｆｏｕｒ−ｃｈａｒａｃｔｅｒ−ｃｏｄｅ）をステレオビデオデータに関する情報を含むことを示す［ｓｔｅｖ］に変更する。すなわち、ボックス名（４ＣＣ）から３次元画像情報スキーム情報ボックス４１０を含むＡＶコーデックボックス４０５であることが判別可能となる。なお、ボックス名（４ＣＣ）はＡＶコーデックボックス４０５のファイル名に対応しており、再生装置は、ファイル名から３次元画像情報スキーム情報ボックスを含むＡＶコーデックボックスであることを判別できる。
【０１１８】
３次元画像情報スキーム情報ボックス４１０は、
フォーマット情報ボックス（ｆｒｍａ）４１１、
スキームタイプボックス（ＳｃｈｅｍｅＴｙｐｅＢｏｘ）４１２、
スキーム詳細情報ボックス（ＳｃｈｅｍｅＩｎｆｏｒｍａｔｉｏｎＢｏｘ）４１３、
これらの各ボックスを有する。
【０１１９】
フォーマット情報ボックス（ｆｒｍａ）４１１はフォーマット情報を記録している、例えばＡＶＣフォーマットに従ったデータであることを示す場合、
ｄａｔａ＿ｆｏｒｍａｔ＝'ａｖｃ１'
このようなフォーマット情報が記録される。
【０１２０】
スキームタイプボックス（ＳｃｈｅｍｅＴｙｐｅＢｏｘ）４１２には、このスキーム情報ボックス４１０のタイプを示す情報が記録される。本例では、スキーム情報ボックス４１０は３次元画像の詳細情報を格納したスキーム情報ボックスであるので、スキームタイプボックス（ＳｃｈｅｍｅＴｙｐｅＢｏｘ）４１２には、３次元画像詳細情報を格納したスキーム情報ボックスであることを示すタイプ情報が記録される。
【０１２１】
スキーム詳細情報ボックス（ＳｃｈｅｍｅＩｎｆｏｒｍａｔｉｏｎＢｏｘ）４１３には、具体的な３次元画像の詳細情報が記録される。スキーム詳細情報ボックス（ＳｃｈｅｍｅＩｎｆｏｒｍａｔｉｏｎＢｏｘ）４１３に格納される３次元画像詳細情報は、先の実施例２において説明したフレーム構成情報（Ｆｒａｍｅ Ｐａｃｋｉｎｇ Ａｒｒａｎｇｅｍｅｎｔ ＳＥＩ）と同様の情報を含むものである。３次元画像の再生、表示処理を実行する際に必要となる情報が記録されている。
具体的には、例えば、
（ａ）フレームシーケンシャル方式［ＦＳ］、
（ｂ）サイドバイサイド方式［ＳｂＳ］、
（ｃ）トップアンドボトム方式［Ｔ＆Ｂ］、
これらの各方式に対応する３次元画像詳細情報が記録される。
【０１２２】
３次元画像の再生、表示を実行する装置は、ＡＶコーデックボックス（ａｖｃ１）の下位情報として設定された３次元画像情報スキーム情報ボックス４１０のスキーム詳細情報ボックス（ＳｃｈｅｍｅＩｎｆｏｒｍａｔｉｏｎＢｏｘ）４１３から３次元画像詳細情報を取得することで、ＭＰ４ファイルに格納された画像がどの方式に従った３次元画像であるかを識別することが可能となる。再生装置は、３次元画像情報スキーム情報ボックス４１０のスキーム詳細情報ボックス（ＳｃｈｅｍｅＩｎｆｏｒｍａｔｉｏｎＢｏｘ）４１３の記録情報を参照して、格納画像の方式に対応した復元処理を実行して正しい３次元画像表示用データを生成して再生、表示することが可能となる。
【０１２３】
従って、例えば３次元画像の表示機能を持たない表示装置に３次元画像データが誤って表示されてしまうといった事態を防止できる。
また、自装置の実行可能な３次元画像表示処理に応じたデータが記録されているかについても予め知ることが可能となり、自装置において処理可能であると判断された場合にのみ、実データボックス（ｍｄａｔ）１０４（図１参照）に格納された実データを取得してエンコード等の処理を開始することができ、無駄な処理を実行してしまう事態を避けることが可能となる。
【０１２４】
次に、図１１を参照して、ＭＰ４ファイルの実データボックス（ｍｄａｔ）に格納されたデータが３次元画像データであり、さらに暗号化データでもある場合のスキーム情報ボックスの利用構成について説明する。
【０１２５】
図１１には、
（ｃ）３次元画像情報スキーム情報ボックス４１０を含むＡＶコーデックボックス４０５、
（ｄ）３次元画像情報スキーム情報ボックス４１０を入れ子として階層化して設定した暗号化情報スキーム情報ボックス４２０を持つＡＶコーデックボックス４０７、
これらのデータ構成を示している。
（ｃ）のデータは、図１０（ｃ）のデータと同じ構成を持つＡＶコーデックボックス４０５である。
【０１２６】
ＭＰ４ファイルに格納された実データが３次元画像であり、さらに暗号化されている場合、再生装置は、第１のデータ構成情報（３次元画像詳細情報）のみならず、第２のデータ構成情報（暗号化情報）が必要となる。
図１１に示す例では、これらの個別のデータ構成情報を個別のスキーム情報ボックスとして設定して、これらを階層化して記録する構成としている。
【０１２７】
図１１に示す例では、複数のスキーム情報ボックス（ｓｉｎｆ）を階層化（入れ子状態）してＡＶコーデックボックスに格納している。
すなわち、図１１（ｄ）に示すＡＶコーデックボックス（ｅｎｃｖ）４０７に示すように、
（１）３次元（ステレオ）画像についてのデータ構成情報（３次元画像詳細情報）を格納する第１のスキーム情報ボックス（ｓｉｎｆ）４１０、
（２）暗号化処理についてのデータ構成情報（暗号化態様情報）を格納する第２のスキーム情報ボックス（ｓｉｎｆ）４２０、
これら２つのスキーム情報ボックスを階層化、すなわち入れ子状態に設定してＡＶコーデックボックスに格納している。
【０１２８】
本実施例では、図１１（ｄ）に示すように、３次元（ステレオ）画像についてのデータ構成情報（３次元画像詳細情報）を格納した第１のスキーム情報ボックス（ｓｉｎｆ）４１０を、暗号化処理についてのデータ構成情報（暗号化態様情報）を格納した第２のスキーム情報ボックス（ｓｉｎｆ）４２０のフォーマット情報ボックス（ｆｒｍａ）の下位に設定したボックスとしている。
【０１２９】
なお、図１０（ｂ）に示す３次元画像情報スキーム情報ボックスを含まないＡＶコーデックボックス（ａｖｃ１）４０１のボックス名に相当するコード（４ＣＣ：ｆｏｕｒ−ｃｈａｒａｃｔｅｒ−ｃｏｄｅ）は［ａｖｃ１］であり、図１１（ｃ）に示す３次元画像情報スキーム情報ボックス４１０を含むＡＶコーデックボックス４０５は、ボックス名に相当するコード（４ＣＣ：ｆｏｕｒ−ｃｈａｒａｃｔｅｒ−ｃｏｄｅ）がステレオビデオデータに関する情報を含むことを示す［ｓｔｅｖ］である。
【０１３０】
さらに、図１１（ｄ）に示す３次元画像情報スキーム情報ボックス４１０を入れ子として含む暗号化情報スキーム情報ボックス４２０を持つＡＶコーデックボックス４０７は、ボックス名に相当するコード（４ＣＣ：ｆｏｕｒ−ｃｈａｒａｃｔｅｒ−ｃｏｄｅ）を暗号化ビデオデータに関する情報を含むことを示す［ｅｎｃｖ］として設定する。これにより、ボックス名（４ＣＣ）から暗号化情報スキーム情報ボックス４２０を含むＡＶコーデックボックス４０５であることが判別可能となる。
【０１３１】
第１のスキーム情報ボックス（ｓｉｎｆ）４１０には、３次元（ステレオ）画像についてのデータ構成情報（３次元画像詳細情報）を格納する。
第１のスキーム情報ボックス（ｓｉｎｆ）４１０は、先に図１０を参照して説明したと同様のボックス、すなわち、
フォーマット情報ボックス（ｆｒｍａ）４１１、
スキームタイプボックス（ＳｃｈｅｍｅＴｙｐｅＢｏｘ）４１２、
スキーム詳細情報ボックス（ＳｃｈｅｍｅＩｎｆｏｒｍａｔｉｏｎＢｏｘ）４１３、
これらの各ボックスを有する。
【０１３２】
フォーマット情報ボックス（ｆｒｍａ）４１１はフォーマット情報を記録している、例えばＡＶＣフォーマットに従ったデータであることを示す場合、
ｄａｔａ＿ｆｏｒｍａｔ＝'ａｖｃ１'
このようなフォーマット情報が記録される。
【０１３３】
スキームタイプボックス（ＳｃｈｅｍｅＴｙｐｅＢｏｘ）４１２には、このスキーム情報ボックス４１０のタイプを示す情報が記録される。本例では、スキーム情報ボックス４１０は３次元画像の詳細情報を格納したスキーム情報ボックスであるので、スキームタイプボックス（ＳｃｈｅｍｅＴｙｐｅＢｏｘ）４１２には、３次元画像の詳細情報を格納したスキーム情報ボックスであることを示すタイプ情報が記録される。
【０１３４】
スキーム詳細情報ボックス（ＳｃｈｅｍｅＩｎｆｏｒｍａｔｉｏｎＢｏｘ）４１３には、具体的な３次元画像の詳細情報が記録される。スキーム詳細情報ボックス（ＳｃｈｅｍｅＩｎｆｏｒｍａｔｉｏｎＢｏｘ）４１３に格納される３次元画像詳細情報は、先の実施例２において説明したフレーム構成情報（Ｆｒａｍｅ Ｐａｃｋｉｎｇ Ａｒｒａｎｇｅｍｅｎｔ ＳＥＩ）と同様の情報を含むものである。
すなわち、例えば、
（ａ）フレームシーケンシャル方式［ＦＳ］、
（ｂ）サイドバイサイド方式［ＳｂＳ］、
（ｃ）トップアンドボトム方式［Ｔ＆Ｂ］、
これらの各方式に対応する３次元画像詳細情報を記録する。
【０１３５】
再生装置は、この第１のスキーム情報ボックス（ｓｉｎｆ）４１０に格納された３次元画像詳細情報を参照することで、ＭＰ４ファイルの実データボックス（ｍｄａｔ）に格納された３次元画像の詳細情報を得ることが可能となる。
【０１３６】
また、第２のスキーム情報ボックス（ｓｉｎｆ）４２０には、暗号化処理についてのデータ構成情報（暗号化態様情報）を格納する。
第２のスキーム情報ボックス（ｓｉｎｆ）４２０は、
フォーマット情報ボックス（ｆｒｍａ）４２１、
スキームタイプボックス（ＳｃｈｅｍｅＴｙｐｅＢｏｘ）４２２、
スキーム詳細情報ボックス（ＳｃｈｅｍｅＩｎｆｏｒｍａｔｉｏｎＢｏｘ）４２３、
これらの各ボックスを有する。
【０１３７】
フォーマット情報ボックス（ｆｒｍａ）４２１は、３次元（ステレオ）画像についてのデータ構成情報（３次元画像詳細情報）を格納した第１のスキーム情報ボックス（ｓｉｎｆ）４１０を下位階層のデータ、すなわち入れ子状態として保持している。
さらに、フォーマット情報を記録している。この例では、３次元（ステレオ）画像についてのデータ構成情報（３次元画像詳細情報）を格納した第１のスキーム情報ボックス（ｓｉｎｆ）４１０を格納していることを示すフォーマットデータとして、
ｄａｔａ＿ｆｏｒｍａｔ＝'ｓｔｅｖ'
このようなフォーマット情報が記録される。
【０１３８】
スキームタイプボックス（ＳｃｈｅｍｅＴｙｐｅＢｏｘ）４２２には、このスキーム情報ボックス４２０のタイプを示す情報が記録される。本例では、スキーム情報ボックス４２０は暗号化処理についての詳細情報を格納したスキーム情報ボックスであるので、スキームタイプボックス（ＳｃｈｅｍｅＴｙｐｅＢｏｘ）４２２には、暗号化詳細情報を格納したスキーム情報ボックスであることを示す情報が記録される。
【０１３９】
スキーム詳細情報ボックス（ＳｃｈｅｍｅＩｎｆｏｒｍａｔｉｏｎＢｏｘ）４２３には、具体的な暗号化処理の詳細情報が記録される。スキーム詳細情報ボックス（ＳｃｈｅｍｅＩｎｆｏｒｍａｔｉｏｎＢｏｘ）４２３に格納される暗号化情報は、再生装置において暗号化データを復号するために必要となる情報が記録される。
【０１４０】
再生装置は、この第２のスキーム情報ボックス（ｓｉｎｆ）４２０に格納された暗号化態様情報を参照して、ＭＰ４ファイルの実データボックス（ｍｄａｔ）に格納されたデータの復号処理に必要な情報を得ることが可能となる。
【０１４１】
再生処理や表示処理を行う場合に、異なるデータ構成情報、すなわち３次元画像情報や暗号化情報等のように、異なるデータ構成情報が必要となる場合、図１１（ｄ）に示すようにそれぞれのデータ構成情報に対応するスキーム情報ボックスを設定し、これらを階層化構成（入れ子）としてＡＶコーデックボックス内に記録する。
このようなデータ構成情報記録処理を行うことで、ＭＰ４ファイルに格納された実データの再生、表示処理に必要となる全ての情報をＡＶコーデックボックスから取得することが可能となる。
【０１４２】
なお、図１１を参照して説明した例は、以下の２つのスキーム情報ボックス、すなわち、
（１）３次元（ステレオ）画像についてのデータ構成情報（３次元画像詳細情報）を格納する第１のスキーム情報ボックス（ｓｉｎｆ）４１０、
（２）暗号化処理についてのデータ構成情報（暗号化態様情報）を格納する第２のスキーム情報ボックス（ｓｉｎｆ）４２０、
これら２つの異なるデータ構成情報に対応するスキーム情報ボックスを階層化、すなわち入れ子状態に設定してＡＶコーデックボックスに格納した例である。
【０１４３】
この他にもＭＰ４ファイルに格納した実データに関する様々なデータ構成情報について、例えば３以上の複数階層に設定した多数のスキーム情報ボックスを設定することが可能である。本実施例のようにスキーム情報ボックスの階層化（入れ子）構成を用いることで、再生、表示処理の際に必要となる様々なデータ構成情報やデータ変換情報をいくつでも設定して管理情報として記録することが可能となる。
【０１４４】
再生装置は、これらの管理情報を取得することで、ＭＰ４ファイルに格納された実データを誤りなく再生、表示することが可能となる。
【０１４５】
［３．画像処理装置の実行する画像処理シーケンスについて］
次に、本発明の一実施例に係る画像処理装置の実行する画像処理シーケンスについて、図１２、図１３に示すフローチャートを参照して説明する。
図１２は、画像データの記録処理シーケンスを説明するフローチャートである。
図１３は、画像データの再生処理シーケンスを説明するフローチャートである。
【０１４６】
まず、図１２に示すフローチャートを参照して画像データの記録処理シーケンスについて説明する。
この図１２に示すフローチャートに従った処理は、例えば画像を撮影し記録メディアに記録する処理を実行するカメラ等の撮像装置において実行される。例えば撮像装置に備えられたＣＰＵ等の制御部の制御の下で実行される処理である。
図１２に示すフローチャートの各ステップの処理について説明する。
【０１４７】
ステップＳ１０１において、例えば撮影処理によって取得され記録メディアに記録する予定のデータが３次元画像データを含むか否かを判定する。
ステップＳ１０１において、メディアへの記録予定データに３次元画像データが含まれる場合は、ステップＳ１０１の判定はＹｅｓとなり、ステップＳ１０２に進む。
【０１４８】
ステップＳ１０２では、ＭＰ４ファイルのプロファイルボックスに３次元画像識別情報を記録する。
この処理は、先に説明した［［３−１．（１）プロファイルボックス（ｕｕｉｄ（ＰＲＯＦ））に３次元画像識別情報を記録する実施例（実施例１）］に対応する処理である。すなわち、図２、図３を参照して説明した処理である。
【０１４９】
図２を参照して説明した以下のフラグ、すなわち、
ステレオビデオフラグ（ｓｔｅｒｅｏ ｖｉｄｅｏ ｆｌａｇ）２０１、
ミックスステレオビデオフラグ（Ｍｉｘｅｄ ｓｔｅｒｅｏ ｖｉｄｅｏ ｆｌａｇ）２０２、
これらの各フラグの値として、記録予定データの種類に応じて図３に示すフラグの値を設定する。
【０１５０】
次に、ステップＳ１０３において、記録予定の３次元画像データの方式を判定する。なお、このフローでは、Ａ、Ｂ、Ｃの３タイプについて判別する例としている。これらは、例えば、先の実施例２，３において説明した以下の３タイプに対応する。
（ａ）フレームシーケンシャル方式［ＦＳ］、
（ｂ）サイドバイサイド方式［ＳｂＳ］、
（ｃ）トップアンドボトム方式［Ｔ＆Ｂ］、
これらの各方式に対応する。
【０１５１】
ステップＳ１０３の判定が方式Ａと判定された場合は、ステップＳ１０４に進み、ＭＰ４ファイルのＡＶコーデックボックスに方式Ａに対応する３次元画像詳細情報を記録する。
また、ステップＳ１０３の判定が方式Ｂと判定された場合は、ステップＳ１０５に進み、ＭＰ４ファイルのＡＶコーデックボックスに方式Ｂに対応する３次元画像詳細情報を記録する。
また、ステップＳ１０３の判定が方式Ｃと判定された場合は、ステップＳ１０６に進み、ＭＰ４ファイルのＡＶコーデックボックスに方式Ｃに対応する３次元画像詳細情報を記録する。
【０１５２】
このステップＳ１０４〜Ｓ１０６の処理は、先に説明した実施例２または実施例３の処理に対応する。
すなわち、前述の［３−２．（２）ＡＶコーデックボックス（ａｖｃ１）に３次元画像詳細情報を記録する実施例（実施例２）］、または、［３−３．（３）ＡＶコーデックボックス（ａｖｃ１）の拡張構成として規定されるスキーム情報ボックス（ｓｉｎｆ）を利用して３次元画像詳細情報を記録する実施例（実施例３）］、これらの処理に対応する。
なお、実施例２の処理または実施例３の処理のいずれかを実行する構成としてもよいし、両者を実行する構成としてもよい。
【０１５３】
なお、ＡＶコーデックボックスは図１を参照して説明したように、ムービーボックス（ｍｏｏｖ）の下位のトラックボックスのさらに下位のサンプルディスクリプションボックス(ｓｔｓｄ)の下位に設定されるコーデック情報を格納したボックスである。
【０１５４】
実施例２の処理では、図４〜図９を参照して説明したように、ＡＶコーデックボックスにステレオビデオ情報ボックス３０２（図４参照）を設定し、ここに、例えば図８、図９を参照して説明した３次元画像詳細情報としてのフレーム構成情報を記録する。図８、図９を参照して説明したように、３次元画像の方式に応じて異なるデータが記録される。
【０１５５】
また、実施例３の処理を行う場合は、図１０、図１１を参照して説明したようにスキーム情報ボックスを設定して、スキーム情報ボックス内に３次元画像詳細情報を記録する。この場合も３次元画像の方式に応じて異なるデータが記録される。
【０１５６】
これらステップＳ１０４〜Ｓ１０６の処理の完了後、ステップＳ１０７に進み、ＭＰ４ファイルを完成させて、メディアに対する記録処理を実行する。
【０１５７】
なお、ステップＳ１０１において、取得データに３次元画像データを含まないと判定した場合は、ステップＳ１０１の判定はＮｏの判定となり、ステップＳ１１０に進む。ステップＳ１１０では、ＭＰ４ファイルのプロファイルボックスに２次元画像識別情報を記録する。
【０１５８】
この処理は、先に説明した［［３−１．（１）プロファイルボックス（ｕｕｉｄ（ＰＲＯＦ））に３次元画像識別情報を記録する実施例（実施例１）］に対応する処理である。すなわち、図２、図３を参照して説明した処理である。すなわち、図２に示す、以下のフラグ、
ステレオビデオフラグ（ｓｔｅｒｅｏ ｖｉｄｅｏ ｆｌａｇ）２０１、
ミックスステレオビデオフラグ（Ｍｉｘｅｄ ｓｔｅｒｅｏ ｖｉｄｅｏ ｆｌａｇ）２０２、
これらの各フラグの値として、記録予定データが２次元画像データのみであることを示すフラグの値を設定する。その後、ステップＳ１０７に進み、ＭＰ４ファイルを完成させて、メディアに対する記録処理を実行する。
【０１５９】
なお、図１２に示すフローは、記録メディアに対するデータ記録処理におけるＭＰ４ファイルの作成処理例として説明したが、通信データとしてＭＰ４ファイルを生成する場合も同様の処理シーケンスでＭＰ４ファイルの作成処理を行えばよい。
【０１６０】
また、図１２に示すフローでは、前述の実施例１のプロファイルボックスの３次元画像識別情報と、実施例２または３のＡＶコーデックボックスの３次元画像詳細情報の双方を読み取る設定例として説明したが、実施例１のプロファイルボックスの３次元画像識別情報のみを読み取って利用する処理を行う構成としてもよいし、実施例２または３のＡＶコーデックボックスの３次元画像詳細情報のみを読み取って利用する処理を行う構成としてもよい。
【０１６１】
次に、図１３に示すフローチャートを参照して画像データの再生処理シーケンスについて説明する。
この図１３に示すフローチャートに従った処理は、例えば記録メディアから読み取ったＭＰ４ファイル、あるいは通信データとして受信したＭＰ４ファイルに対する処理を実行する再生装置において実行される。例えば再生装置に備えられたＣＰＵ等の制御部の制御の下に実行される処理である。
図１３に示すフローチャートの各ステップの処理について説明する。
【０１６２】
まず、ステップＳ２０１においてＭＰ４ファイルのプロファイルボックス（ＰＲＯＦ）の情報を取得する。
この処理は、先に説明した［［３−１．（１）プロファイルボックス（ｕｕｉｄ（ＰＲＯＦ））に３次元画像識別情報を記録する実施例（実施例１）］に対応する処理である。すなわち、図２、図３を参照して説明したＭＰ４ファイルのプロファイルボックス（ＰＲＯＦ）の情報を取得する処理である。
【０１６３】
具体的には、図２に示す以下のフラグ、すなわち、
ステレオビデオフラグ（ｓｔｅｒｅｏ ｖｉｄｅｏ ｆｌａｇ）２０１、
ミックスステレオビデオフラグ（Ｍｉｘｅｄ ｓｔｅｒｅｏ ｖｉｄｅｏ ｆｌａｇ）２０２、
これらの各フラグの値を読み取る。
【０１６４】
先に図３を参照して説明したように、フラグ設定値により、以下のデータ識別が可能となる。
（ケース１）
ステレオビデオフラグ＝１、ミックスステレオビデオフラグ＝０、
この場合は、
（ａ）ＭＰ４ファイルに格納された画像データが全て３次元画像（ステレオ画像）
であると判定する。
【０１６５】
（ケース２）
ステレオビデオフラグ＝０、ミックスステレオビデオフラグ＝０、
この場合は、
（ｂ）ＭＰ４ファイルに格納された画像データが全て２次元画像
であると判定する。
【０１６６】
（ケース３）
ステレオビデオフラグ＝０、ミックスステレオビデオフラグ＝１、
この場合は、
（ｃ）ＭＰ４ファイルに格納された画像データが３次元画像（ステレオ画像）と２次元画像の混在データ
であると判定する。
【０１６７】
ステップＳ２０１におけるプロファイルボックスの３次元画像識別情報としてのフラグ読み取りにより、ステップＳ２０２において、３次元画像データが含まれないと判定した場合は、ステップＳ２１０に進み、ＭＰ４ファイルから２次元画像データを取得して再生、表示を実行する。
【０１６８】
一方、ステップＳ２０２において、３次元画像データが含まれると判定した場合は、ステップＳ２０３に進む。
ステップＳ２０３では、ＭＰ４ファイルのＡＶコーデックボックスの情報を取得する。
この処理は、前述の［３−２．（２）ＡＶコーデックボックス（ａｖｃ１）に３次元画像詳細情報を記録する実施例（実施例２）］、または、［３−３．（３）ＡＶコーデックボックス（ａｖｃ１）の拡張構成として規定されるスキーム情報ボックス（ｓｉｎｆ）を利用して３次元画像詳細情報を記録する実施例（実施例３）］、これらの記録データを読み取る処理に対応する。
【０１６９】
例えば、実施例２に対応する３次元情報記録処理が行われている場合、図４〜図９を参照して説明したように、ＡＶコーデックボックスにステレオビデオ情報ボックス３０２（図４参照）が設定され、ここに、例えば図８、図９を参照して説明した３次元画像詳細情報としてのフレーム構成情報が記録されている。ステップＳ２０３では、このステレオビデオ情報ボックス３０２（図４参照）から３次元画像詳細情報を読み取る。
【０１７０】
例えば、例えば図８、図９を参照して説明した３次元画像詳細情報としてのフレーム構成情報の設定値を読み取ることで、再生予定データが、
（ａ）フレームシーケンシャル方式［ＦＳ］、
（ｂ）サイドバイサイド方式［ＳｂＳ］、
（ｃ）トップアンドボトム方式［Ｔ＆Ｂ］、
これらのいずれの方式に従ったデータであるかを判別することが可能となる。
【０１７１】
また、実施例３に対応する３次元情報記録処理が行われている場合、図１０、図１１を参照して説明したようにスキーム情報ボックスがＡＶコーデックボックスの下位データとして記録されており、このスキーム情報ボックスから３次元画像詳細情報を読み取る。
【０１７２】
少なくとも実施例２または実施例３のいずれかの方式に従って記録された３次元画像詳細情報を取得して、再生予定データの３次元画像方式を確認することが可能となる。この確認により、ステップＳ２０４の方式判定処理を実行する。すなわち、ＡＶコーデックボックスから取得した３次元画像詳細情報に基づいて、ステップＳ２０４において、再生予定データが方式Ａ，Ｂ，Ｃのいずれであるかを判定する。
【０１７３】
方式Ａに対応する３次元画像データであると判定した場合は、ステップＳ２０５に進み、方式Ａに対応する画像のデコード（復号、復元処理）を行い、再生、表示処理を実行する。
方式Ｂに対応する３次元画像データであると判定した場合は、ステップＳ２０６に進み、方式Ｂに対応する画像のデコード（復号、復元処理）を行い、再生、表示処理を実行する。
方式Ｃに対応する３次元画像データであると判定した場合は、ステップＳ２０７に進み、方式Ｃに対応する画像のデコード（復号、復元処理）を行い、再生、表示処理を実行する。
【０１７４】
このように、本発明に従った処理を行うことで、画像処理装置は、ＭＰ４ファイルに格納されたデータに３次元画像が含まれるか否か、さらに３次元画像データが含まれる場合、その記録再生方式について、ＭＰ４ファイル内の管理情報としてのプロファイルボックスやＡＶコーデックボックスから取得することが可能となる。
従って、ＭＰ４ファイルの実データを取得して解析、あるいは再生処理を実行する前に、自装置の再生可能な３次元画像データであるか否かを確認することが可能となり、再生可能であると判定した場合にのみ実データを取得し、方式に応じた処理に従って、正しいデコード、再生処理を実行することが可能となる。
【０１７５】
なお、図１３に示すフローでは、前述の実施例１〜３において説明したＭＰ４ファイルにおいて、実施例１のプロファイルボックスの３次元画像識別情報と、実施例２または３のＡＶコーデックボックスの３次元画像詳細情報の双方を記録したＭＰ４ファイルを生成する例として説明したが、実施例１のプロファイルボックスの３次元画像識別情報のみを記録する処理を行う構成としてもよいし、実施例２または３のＡＶコーデックボックスの３次元画像詳細情報のみを記録する処理を行う構成としてもよい。
【０１７６】
［４．本発明の画像処理装置の構成例について］
次に、本発明の画像処理装置の構成例について図１４を参照して説明する。図１４に示すのは本発明の画像処理装置の一実施例としての撮像装置５００の構成例である。撮像装置５００は、３次元画像表示に適用する異なる視点からの画像を撮影する機能を持ち、ユーザのモード設定により、２次元画像と３次元画像の撮影を切り替え可能な構成を持つ。
【０１７７】
撮像部５０１は、例えば異なる位置に設定された複数のレンズ部を有し、同時に異なる視点からの画像を撮影可能な構成である。３次元画像撮影モードの設定時には、複数のレンズ部を介して撮影した画像を入力する。２次元画像撮影モードの設定時には、１つのレンズ部を介して撮影した画像のみを入力する。
【０１７８】
画像信号処理部５０２はホワイトバランス調整などの撮影画像データの信号処理を実行する。
データ符号化部５０３は、ＭＰ４ファイルを生成する。入力データが３次元画像である場合は、前処理部５１１において各方式に従って前処理を実行する。具体的には、例えば図５〜図７を参照して説明した各方式、すなわち、
（ａ）フレームシーケンシャル方式［ＦＳ］、
（ｂ）サイドバイサイド方式［ＳｂＳ］、
（ｃ）トップアンドボトム方式［Ｔ＆Ｂ］、
これらの各方式に従って、撮影画像からＭＰ４デコード用画像を生成する。例えば、図６に示すサイドバイサイド方式［ＳｂＳ］に従って記録データを生成する場合、撮影画像は図６の右側に示す表示用Ｌ画像（フレーム０）３３４と、表示用Ｒ画像（フレーム１）３３５に対応する２つの画像であり、これらの画像を適用して図６の左側に示すＭＰ４デコード結果画像３３１に対応する画像フレームを生成する。
【０１７９】
このデータをエンコード部５１２に入力してＭＰ４フォーマットに従った符号化（エンコード）処理を実行する。さらに、ファイル生成部５１３は、先に実施例１〜実施例３において説明した３次元画像識別情報のプロファイルボックスに対する記録処理や、３次元画像詳細情報のＡＶコーデックボックスに対する記録処理等を実行してＭＰ４ファイルを生成する。
【０１８０】
ファイル生成部５１３は、エンコード部５１２の生成した画像データの符号化データと、該符号化データの管理情報を含む符号化データ格納ファイルであるＭＰ４ファイルを生成する。
ファイル生成部５１３は、ＭＰ４ファイル生成に際して、ファイルに格納する画像データに３次元画像データが含まれるか否かを示す３次元画像識別情報をＭＰ４ファイルのプロファイルボックスに記録する。
３次元画像識別情報をＭＰ４ファイルのプロファイルボックスに記録する処理は先に実施例１を参照して説明した処理に対応する。
【０１８１】
また、ファイル生成部５１３は、ファイル格納画像データに３次元画像データが含まれる場合、３次元画像の方式を判別可能とする３次元画像詳細情報をＡＶコーデックボックスに記録する。
３次元画像詳細情報をＡＶコーデックボックスに記録する処理は先に実施例２，３を参照して説明した処理に対応する。
【０１８２】
例えば、実施例３に対応する処理を実行する場合、ファイル生成部５１３は、符号化データの再生処理時のデータ処理に適用する情報をデータ処理のカテゴリ単位で設定したデータ構成情報を含むスキーム情報ボックスを生成し、複数のカテゴリ単位のスキーム情報ボックスを階層化して管理情報中に記録したファイルを生成する。
なお、ファイル生成部５１３は、ＭＰ４ファイルに格納する画像データの区分データであるトラック単位またはサンプル単位の区分データ単位で３次元画像詳細情報を記録する処理を行う
【０１８３】
データ符号化部５０３において生成したＭＰ４ファイルは、記録部５０４に提供され、フラッシュメモリやＨＤＤ、ＤＶＤ等の記録メディア５３０に記録される。
あるいは、データ符号化部５０３において生成したＭＰ４ファイルは、通信部５０５に提供され、パケット化されて送信処理が行われる。
【０１８４】
なお、このデータ記録処理によって記録メディア５３０には、画像データの符号化データと、符号化データの管理情報を含むＭＰ４ファイルが記録される。ＭＰ４ファイルに含まれる管理情報には、画像データに３次元画像データが含まれるか否かを示す３次元画像識別情報や、３次元画像の方式を判別可能な３次元画像詳細情報が含まれる。従って、この記録メディア５３０からＭＰ４ファイルを読み取り再生する装置は、管理情報を参照して自装置における再生可能性を判定することが可能となる。
【０１８５】
例えば、記録メディア５３０には、先に説明した実施例３のスキーム情報ボックスの階層化構成を持つ管理情報が含まれるＭＰ４ファイルが記録される。すなわち、記録メディア５３０に記録されるＭＰ４ファィルの管理情報は、符号化データの再生処理時のデータ処理に適用する情報をデータ処理のカテゴリ単位で設定したデータ構成情報を階層化して記録した構成となる。このような情報記録媒体である記録メディア５３０からＭＰ４ファイルを読み取り再生する装置は、階層化されたデータ構成情報を順次取得して、取得したデータ構成情報を適用して複数の異なるカテゴリのデータ処理を実行することが可能となる。
【０１８６】
次に、記録メディア５３０に記録されたＭＰ４ファイル、あるいは通信部５０５を介して受信したＭＰ４ファイルの再生処理について説明する。フラッシュメモリやＨＤＤ、ＤＶＤ等の記録メディア５３０に記録されたＭＰ４ファイルは、再生部５０６を介して読み取られてデータ復号部５０７に提供される。同様に、通信部５０５を介して受信したＭＰ４ファイルもデータ復号部５０７に提供される。
【０１８７】
データ復号部５０７のファイル解析部５２１は、まず受領したＭＰ４ファイルの管理情報、すなわち、先に図１を参照して説明したファイルタイプボックス（ｆｔｙｐ）、プロファイルボックス（ｕｕｉｄ（ＰＲＯＦ））、ムービーボックス（ｍｏｏｖ）、これらの各ボックスに記録された管理情報を取得する。
【０１８８】
先に実施例１を参照して説明したように、プロファイルボックス（ｕｕｉｄ（ＰＲＯＦ））にはＭＰ４ファイルの実データボックス（ｍｄａｔ）に格納された画像データに３次元画像が含まれるか否かを示す３次元画像識別情報が記録されている。図２、図３を参照して説明した情報である。
【０１８９】
また、実施例２，３を参照して説明したように、ムービーボックス（ｍｏｏｖ）の下位にあるＡＶコーデックボックスには、３次元画像詳細情報、すなわち、ＭＰ４ファイルの実データボックス（ｍｄａｔ）に格納された画像データが３次元画像データである場合、その３次元画像データの記録、再生方式に関する詳細情報が記録されている。これは、図４〜図１１を参照して説明した情報である。例えば実施例２，３の構成が利用されたＭＰ４ファイルの解析を行う場合、ファイル解析部５２１は、例えばＭＰ４ファイルに格納された画像データの区分データであるトラック単位またはサンプル単位の区分データ単位で情報を取得する。
【０１９０】
データ復号部５０７のファイル解析部５２１は、これらＭＰ４ファイル内の管理情報を解析してＭＰ４ファイルの実データボックス（ｍｄａｔ）に格納された画像データに３次元画像が含まれるか否か、さらに、３次元画像が含まれる場合、その方式について確認する。
【０１９１】
その後、確認情報とともに、ＭＰ４ファイルはデコード部５２２に提供される。なお、ファイル解析部５２１のＭＰ４ファイル解析結果から、ＭＰ４ファイルの格納データが撮像装置５００において再生可能な方式に対応しないと判断された場合は、その後の処理、すなわちデコード処理等は実行されない。これらの処理制御は制御部５７０においてメモリ５７１に格納されたプログラムに従って実行される。制御部５７０は、ＭＰ４ファイルの３次元画像管理情報を適用して自装置における再生可能性を判定し、再生可能と判定した後にデコード部５２２における画像データの復号処理を開始させる制御を行う。
【０１９２】
ファイル解析部５２１のＭＰ４ファイル解析結果に基づいて、ＭＰ４ファイルの格納データが撮像装置５００において再生可能な方式に対応すると判断された場合は、デコード部５２２において、ＭＰ４データの復号（テコード）処理が開始される。さらに、３次元画像方式情報、およびデコード結果が表示情報生成部５２３に提供される。
【０１９３】
表示情報生成部５２３は、３次元画像方式情報、すなわち、ＭＰ４ファイル格納データが、例えば、下記のいずれの方式に対応するかに応じて、各方式に従った画像の復元処理（図５〜図７参照）を実行する。
（ａ）フレームシーケンシャル方式［ＦＳ］、
（ｂ）サイドバイサイド方式［ＳｂＳ］、
（ｃ）トップアンドボトム方式［Ｔ＆Ｂ］、
これらの各方式に従って、左目用画像（Ｌ画像）、右目用画像（Ｒ画像）をせいせいする。
データ復号部５０７の生成した表示用画像は表示部５５０に提供されて、画像表示が行われる。
【０１９４】
なお、表示情報生成部５２３は、３次元画像表示に適用するための左目用画像と右目用画像の生成を行うデータ処理部のた、例えば暗号化データの復号処理を実行するデータ処理部など、様々なカテゴリのデータ処理を実行するデータ処理部によって構成される。表示情報生成部５２３は、ＭＰ４ファイルに格納された画像データの再生処理に際して実行される複数の異なるカテゴリのデータ処理を実行するデータ処理部によって構成される。
【０１９５】
先に説明した実施例３の階層化されたスキーム情報ボックスを持つ管理情報を含むＭＰ４ファイルを利用した処理では、ファイル解析部５２１は、ＭＰ４ファイルの管理情報の階層化されたデータ構成情報を取得し、デコード部５２２や表示情報生成部５２３は、ファイル解析部５２１の取得したカテゴリ単位のデータ構成情報からなスキーム情報ボックスに含まれる情報を適用して複数の異なるカテゴリのデータ処理を実行する。
【０１９６】
なお、これらの各構成部の処理の制御は制御部５７０において実行される。制御部５８０はメモリ５７１に予め格納されたプログラムに従って、撮影処理データ記録処理、通信データの生成、データ送受信処理、データ再生処理、表示処理等の制御を実行する。データ記録あるいはデータ送信処理に際しては、先に図１２のフローチャートを参照して説明した処理シーケンスに従った処理制御を実行し、データ再生処理に際しては、先に図１３のフローチャートを参照して説明した処理シーケンスに従った処理制御を実行する。
【０１９７】
以上、特定の実施例を参照しながら、本発明について詳解してきた。しかしながら、本発明の要旨を逸脱しない範囲で当業者が実施例の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、限定的に解釈されるべきではない。本発明の要旨を判断するためには、特許請求の範囲の欄を参酌すべきである。
【０１９８】
また、明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させるか、あるいは、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。例えば、プログラムは記録媒体に予め記録しておくことができる。記録媒体からコンピュータにインストールする他、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、インターネットといったネットワークを介してプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。
【０１９９】
なお、明細書に記載された各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。また、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。
【産業上の利用可能性】
【０２００】
以上、説明したように、本発明の一実施例の構成によれば、ＭＰ４ファイルに格納されたデータの再生処理において実行する様々なデータ処理、例えば３次元画像表示処理や、暗号化データの復号処理など、様々な異なるカテゴリのデータ処理に適用する情報をＭＰ４ファイルの管理情報中に階層化して記録する構成とした。この構成により、ＭＰ４ファイルに格納されたデータの再生、例えば暗号化された３次元画像データの表示処理などにおいて実行が必要となる異なるカテゴリのデータ処理の各々に必要となる様々な情報を、ＭＰ４ファイルの管理情報から確実に取得することが可能となり、スムーズなデータ再生処理が可能となる。
【符号の説明】
【０２０１】
１００ ＭＰ４ファイル
１０１ ファイルタイプボックス（ｆｔｙｐ）
１０２ プロファイルボックス（ｕｕｉｄ（ｐｒｏｆ））
１０３ ムービーボックス（ｍｏｏｖ）
１０４ 実データボックス（ｍｄａｔ）
１１１ トラックボックス（ｔｒａｋ）
１１２ サンプルディスクリプションボックス(ｓｔｓｄ)
１１３ ＡＶコーデックボックス
２０１ ステレオビデオフラグ（ｓｔｅｒｅｏ ｖｉｄｅｏ ｆｌａｇ）
２０２ ミックスステレオビデオフラグ（Ｍｉｘｅｄ ｓｔｅｒｅｏ ｖｉｄｅｏ ｆｌａｇ）
３０１ データ領域
３０２ ステレオビデオ情報ボックス（Ｓｔｅｒｅｏ Ｖｉｄｅｏ Ｄｅｓｃｒｉｐｔｉｏｎ Ｂｏｘ）
３２１ デコード画像フレーム
３２２ 表示画像フレーム
３３１ ＭＰ４デコード結果画像
３３２ アンパックＬ画像（フレーム０）
３３３ アンパックＲ画像（フレーム１）
３３４ 表示用Ｌ画像（フレーム０）
３３５ 表示用Ｒ画像（フレーム１）
３４１ ＭＰ４デコード結果画像
３４２ アンパックＬ画像（フレーム０）
３４３ アンパックＲ画像（フレーム１）
３４４ 表示用Ｌ画像（フレーム０）
３４５ 表示用Ｒ画像（フレーム１）
４００ ＭＰ４ファイル
４０１ ＡＶコーデックボックス（ａｖｃ１）
４０２ ＡＶＣデータ構成情報ボックス［ＡＶＣＣｏｎｆｉｇｕｒａｔｉｏｎＢｏｘ］
４０５ ＡＶコーデックボックス
４０７ ＡＶコーデックボックス（ｅｎｃｖ）
４１０ ３次元画像情報スキーム情報ボックス
４１１ フォーマット情報ボックス（ｆｒｍａ）
４１２ スキームタイプボックス（ＳｃｈｅｍｅＴｙｐｅＢｏｘ）
４１３ スキーム詳細情報ボックス（ＳｃｈｅｍｅＩｎｆｏｒｍａｔｉｏｎＢｏｘ）
４２０ 暗号化情報スキーム情報ボックス
４２１ フォーマット情報ボックス（ｆｒｍａ）
４２２ スキームタイプボックス（ＳｃｈｅｍｅＴｙｐｅＢｏｘ）
４２３ スキーム詳細情報ボックス（ＳｃｈｅｍｅＩｎｆｏｒｍａｔｉｏｎＢｏｘ）
５００ 撮像装置
５０１ 撮像部
５０２ 画像信号処理部
５０３ データ符号化部
５０４ 記録部
５０５ 通信部
５０６ 再生部
５０７ データ復号部
５１１ 前処理部
５１２ エンコード部
５１３ ファイル生成部
５２１ ファイル解析部
５２２ デコード部
５２３ 表示情報生成部
５３０ 記録メディア
５５０ 表示部
５７０ 制御部
５７１ メモリ
【技術分野】
【０００１】
本発明は、画像処理装置、情報記録媒体、および画像処理方法、並びにプログラムに関する。さらに詳細には、３次元画像（３Ｄ画像）表示用の画像の記録や再生を行う画像処理装置、情報記録媒体、および画像処理方法、並びにプログラムに関する。
【背景技術】
【０００２】
立体視可能な画像、いわゆる３次元画像（３Ｄ画像またはステレオ画像とも呼ばれる）を生成するためには、異なる視点から撮影した画像、すなわち左目用画像と右目用画像が必要となる。これらの異なる視点からの撮影画像を利用することで３次元画像の表示が可能となる。
【０００３】
３次元画像（３Ｄ画像）の表示方式には様々な方式がある。例えば偏光フィルタや、色フィルタにより左右の眼各々によって観察する画像を分離するパッシブ眼鏡方式に対応した表示方式、あるいは、液晶シャッターを左右交互に開閉して観察する画像を左右の眼交互に時間的に分離するアクティブ眼鏡方式に対応した表示方式などがある。いずれの表示方式においても、左目用画像と右目用画像が利用される。
【０００４】
３次元画像（３Ｄ画像）に限らず、カメラによって撮影された静止画や動画等の画像データはメディアに対する記録処理に際して、あるいはデータ送信に際して様々な符号化（圧縮）フォーマットに従って符号化される。すなわちデータ量を削減して記録あるいは送信される。
【０００５】
符号化フォーマットには、例えば静止画符号化フォーマットを規定したＪＰＥＧや、主に動画を対象とした符号化フォーマットであるＭＰＥＧなど様々な規格がある。例えば引用文献１（特開２００４−３３４８３３）の図１０には、３次元静止画画像の記録処理に用いるフォーマット例が記載されている。
【０００６】
昨今は、ＨＤ（Ｈｉｇｈ Ｄｅｆｉｎｉｔｉｏｎ）画像など高精細画像の利用が進み、圧縮率の高い符号化方式が利用されている。それらの符号化データの格納ファイル形式の1つの方式としてＭＰ４ファイルフォーマット（ISO/IEC 14496-14）（以下、ＭＰ４という）がある。
ＭＰ４は、ＭＰＥＧ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）４形式の圧縮動画データの格納ファイル形式である。ＭＰ４はＩＳＯ／ＩＥＣ１４４９６に規定された規格である。ＭＰ４はＭＰＥＧ−４形式の動画のみならず、ＭＰＥＧ−２やＭＰＥＧ−１の動画、ＡＡＣやＭＰ３などの音声、ＪＰＥＧやＰＮＧなどの静止画など、様々な形式の画像および音声データを格納可能としたフォーマットである。
【０００７】
このようにＭＰ４ファイルには様々な形式の符号化データを格納可能であり、ＭＰ４では、ＭＰ４ファイルに格納した符号化データの形式や種類についての管理情報を記録する領域が設定されている。符号化データの復号処理を行なう場合には、ＭＰ４ファイル内の管理情報の確認処理が実行される。
【０００８】
しかし、現行のＭＰ４フォーマットの管理情報規定には、ＭＰ４ファイルに格納された画像が３次元（３Ｄ）画像であるのか、２次元（２Ｄ）画像であるかを識別するための情報の格納領域が規定されていないという問題がある。
【０００９】
ＭＰ４ファイルを記録メディアから読み出して再生しようとする装置、あるいは通信手段を介して受信して再生しようとする装置は、ＭＰ４ファイルの管理情報から格納画像が３次元（３Ｄ）画像であるのか、２次元（２Ｄ）画像であるかを識別することができない。従って、実際に画像を取得し解析または再生しなければ３次元画像データであるか２次元画データであるかが把握できない。結果として例えば３次元画像の表示機能を持たない表示装置に３次元画像データが誤って表示されてしまうといった事態が発生する。
【００１０】
また、上述したように３次元画像の表示方式には様々な方式があるが、再生装置や表示装置の多くは、一部の方式のみに対応した画像再生または表示が可能な構成を持つ。従って、現行のＭＰ４フォーマットに従った管理情報のみでは、自装置において再生または表示可能な３次元画像であるか否かについての確認もできない。
すなわち、現行のＭＰ４ファイルの管理情報のみでは、画像データを取得してデータ構成を確認するか、あるいは、実際に再生や表示処理を実行してみないと、自装置が処理可能なデータであるか否かについて確認できないといった問題がある。
【先行技術文献】
【特許文献】
【００１１】
【特許文献１】特開２００４−３３４８３３号公報
【発明の概要】
【発明が解決しようとする課題】
【００１２】
本発明は、例えば、上述の問題点に鑑みてなされたものであり、ＭＰ４フォーマットに従ったファイルの管理情報中に、ＭＰ４ファイルに格納された画像データに３次元画像が含まれるか、あるいは３次元画像の方式等の３次元画像管理情報を記録する。この構成により、再生装置や表示装置において、ＭＰ４ファイルから実データを取得する以前に格納データが３次元画像であるか２次元画像であるかを把握可能とし、さらに３次元画像の方式等を確認することを可能として、誤った再生処理や表示処理を防止し、正しい再生処理を実行可能とした画像処理装置、情報記録媒体、および画像処理方法、並びにプログラムを提供することを目的とするものである。
【００１３】
また、本発明は、ＭＰ４ファイルに格納されたデータの再生処理において実行する様々なデータ処理、例えば上記の３次元画像表示処理の他、暗号化データの復号処理など、様々な異なるカテゴリのデータ処理に適用する情報をＭＰ４ファイルの管理情報中に階層化して記録することで、各データ処理に必要となる情報を確実に提供することを可能とした画像処理装置、情報記録媒体、および画像処理方法、並びにプログラムを提供することを目的とするものである。
【課題を解決するための手段】
【００１４】
本発明の第１の側面は、
画像データの符号化処理を実行するエンコード部と、
前記エンコード部の生成した符号化データと、該符号化データの管理情報を含む符号化データ格納ファイルを生成するファイル生成部を有し、
前記ファイル生成部は、
前記符号化データの再生処理時のデータ処理に適用する情報をデータ処理のカテゴリ単位で設定したデータ構成情報を生成し、複数のカテゴリ単位のデータ構成情報を階層化して前記管理情報中に記録したファイルを生成する画像処理装置にある。
【００１５】
さらに、本発明の画像処理装置の一実施態様において、前記カテゴリ単位のデータ構成情報の少なくとも１つは、前記ファイル生成部の生成ファイルの格納画像データに３次元画像データが含まれるか否かを判別可能とした３次元画像管理情報である。
【００１６】
さらに、本発明の画像処理装置の一実施態様において、前記カテゴリ単位のデータ構成情報の少なくとも１つは、前記ファイル生成部の生成ファイルの格納画像データに含まれる３次元画像データの３次元画像記録方式を判別可能とした３次元画像管理情報である。
【００１７】
さらに、本発明の画像処理装置の一実施態様において、前記カテゴリ単位のデータ構成情報の少なくとも１つは、前記ファイル生成部の生成ファイルの格納画像データに含まれる３次元画像データの３次元画像記録方式が、
（ａ）フレームシーケンシャル方式、
（ｂ）サイドバイサイド方式、
（ｃ）トップアンドボトム方式、
上記（ａ）〜（ｃ）のいずれの方式に従った３次元画像データであるかを判別可能とした３次元画像管理情報である。
【００１８】
さらに、本発明の画像処理装置の一実施態様において、前記カテゴリ単位のデータ構成情報の少なくとも１つは、前記ファイル生成部の生成ファイルの格納画像データの暗号化態様情報であり、前記ファイル生成部は、暗号化態様情報を含む第１のデータ構成情報と、３次元画像管理情報を含む第２のデータ構成情報を階層化して前記管理情報中に記録したファイルを生成する。
【００１９】
さらに、本発明の画像処理装置の一実施態様において、前記ファイル生成部は、ＭＰ４ファイルの生成を実行する構成であり、ＭＰ４ファイルのＡＶコーデックボックスの下位に前記データ構成情報を階層化して記録したファイルを生成する。
【００２０】
さらに、本発明の画像処理装置の一実施態様において、前記ファイル生成部は、ＭＰ４ファイルのＡＶコーデックボックスの下位に前記データ構成情報を含むスキーム情報ボックスを階層化して記録したファイルを生成する。
【００２１】
さらに、本発明の画像処理装置の一実施態様において、前記ファイル生成部は、ＭＰ４ファイルに格納する画像データの区分データであるトラック単位またはサンプル単位の区分データ単位で前記スキーム情報ボックスを設定して記録する処理を行う。
【００２２】
さらに、本発明の第２の側面は、
画像データの符号化データと、該符号化データの管理情報を含む符号化データ格納ファイルを解析するファイル解析部と、
前記ファイルに格納された画像データの再生処理に際して複数の異なるカテゴリのデータ処理を実行するデータ処理部を有し、
前記ファイルの管理情報は、データ処理のカテゴリ単位で各処理の実行に必要となるデータ構成情報を階層化して記録した構成を有し、
前記ファイル解析部は、前記ファイルの管理情報の階層化されたデータ構成情報を取得し、
前記データ処理部は、前記ファイル解析部の取得したデータ構成情報を適用して複数の異なるカテゴリのデータ処理を実行する画像処理装置にある。
【００２３】
さらに、本発明の画像処理装置の一実施態様において、前記カテゴリ単位のデータ構成情報の少なくとも１つは、前記ファイルの格納画像データに３次元画像データが含まれるか否かを判別可能とした３次元画像管理情報である。
【００２４】
さらに、本発明の画像処理装置の一実施態様において、前記カテゴリ単位のデータ構成情報の少なくとも１つは、前記ファイルの格納画像データに含まれる３次元画像データの３次元画像記録方式を判別可能とした３次元画像管理情報である。
【００２５】
さらに、本発明の画像処理装置の一実施態様において、前記カテゴリ単位のデータ構成情報の少なくとも１つは、前記ファイルの格納画像データに含まれる３次元画像データの３次元画像記録方式が、
（ａ）フレームシーケンシャル方式、
（ｂ）サイドバイサイド方式、
（ｃ）トップアンドボトム方式、
上記（ａ）〜（ｃ）のいずれの方式に従った３次元画像データであるかを判別可能とした３次元画像管理情報である。
【００２６】
さらに、本発明の画像処理装置の一実施態様において、前記カテゴリ単位のデータ構成情報の少なくとも１つは、前記ファイル生成部の生成ファイルの格納画像データの暗号化態様情報であり、前記ファイル解析部は、暗号化態様情報を含む第１のデータ構成情報と、３次元画像管理情報を含む第２のデータ構成情報を前記管理情報から取得する。
【００２７】
さらに、本発明の画像処理装置の一実施態様において、前記ファイルは、ＭＰ４ファイルであり、前記ファイル解析部は、ＭＰ４ファイルのＡＶコーデックボックスの下位に階層化して記録されたスキーム情報ボックスから各データ処理カテゴリ単位のデータ構成情報を取得する。
【００２８】
さらに、本発明の画像処理装置の一実施態様において、前記ファイル解析部は、ＭＰ４ファイルに格納された画像データの区分データであるトラック単位またはサンプル単位の区分データ単位で前記スキーム情報ボックスを取得する。
【００２９】
さらに、本発明の第３の側面は、
画像データの符号化データと、該符号化データの管理情報を含むＭＰ４ファイルを記録した情報記録媒体であり、
前記管理情報は、前記符号化データの再生処理時のデータ処理に適用する情報をデータ処理のカテゴリ単位で設定したデータ構成情報を階層化して記録した構成であり、
ＭＰ４ファイルを読み取り再生する装置において、階層化されたデータ構成情報を順次取得して、取得したデータ構成情報を適用して複数の異なるカテゴリのデータ処理を実行することを可能としたことを特徴とする情報記録媒体にある。
【００３０】
さらに、本発明の第４の側面は、
画像処理装置において実行する画像処理方法であり、
エンコード部が、画像データの符号化処理を実行するエンコード処理ステップと、
ファイル生成部が、前記エンコード部の生成した符号化データと、該符号化データの管理情報を含む符号化データ格納ファイルを生成するファイル生成ステップを有し、
前記ファイル生成ステップは、
前記符号化データの再生処理時のデータ処理に適用する情報をデータ処理のカテゴリ単位で設定したデータ構成情報を生成し、複数のカテゴリ単位のデータ構成情報を階層化して前記管理情報中に記録したファイルを生成するステップを含む画像処理方法にある。
【００３１】
さらに、本発明の第５の側面は、
画像処理装置において実行する画像処理方法であり、
ファイル解析部が、画像データの符号化データと、該符号化データの管理情報を含む符号化データ格納ファイルを解析するファイル解析ステップと、
データ処理部が、前記ファイルに格納された画像データの再生処理に際して複数の異なるカテゴリのデータ処理を実行するデータ処理ステップを有し、
前記ファイルの管理情報は、データ処理のカテゴリ単位で各処理の実行に必要となるデータ構成情報を階層化して記録した構成を有し、
前記ファイル解析ステップは、前記ファイルの管理情報の階層化されたデータ構成情報を取得するステップを含み、
前記データ処理ステップは、前記ファイル解析部の取得したデータ構成情報を適用して複数の異なるカテゴリのデータ処理を実行するステップを含む画像処理方法にある。
【００３２】
さらに、本発明の第６の側面は、
画像処理装置において画像処理を実行させるプログラムであり、
エンコード部に、画像データの符号化処理を実行させるエンコード処理ステップと、
ファイル生成部に、前記エンコード部の生成した符号化データと、該符号化データの管理情報を含む符号化データ格納ファイルを生成させるファイル生成ステップを有し、
前記ファイル生成ステップは、
前記符号化データの再生処理時のデータ処理に適用する情報をデータ処理のカテゴリ単位で設定したデータ構成情報を生成し、複数のカテゴリ単位のデータ構成情報を階層化して前記管理情報中に記録したファイルを生成するステップを含むプログラムにある。
【００３３】
さらに、本発明の第７の側面は、
画像処理装置において画像処理を実行させるプログラムであり、
ファイル解析部に、画像データの符号化データと、該符号化データの管理情報を含む符号化データ格納ファイルを解析させるファイル解析ステップと、
データ処理部に、前記ファイルに格納された画像データの再生処理に際して複数の異なるカテゴリのデータ処理を実行させるデータ処理ステップを有し、
前記ファイルの管理情報は、データ処理のカテゴリ単位で各処理の実行に必要となるデータ構成情報を階層化して記録した構成を有し、
前記ファイル解析ステップは、前記ファイルの管理情報の階層化されたデータ構成情報を取得するステップを含み、
前記データ処理ステップは、前記ファイル解析部の取得したデータ構成情報を適用して複数の異なるカテゴリのデータ処理を実行するステップを含むプログラムにある。
【００３４】
なお、本発明のプログラムは、例えば、様々なプログラム・コードを実行可能な情報処理装置やコンピュータ・システムに対して、コンピュータ可読な形式で提供する記憶媒体、通信媒体によって提供可能なプログラムである。このようなプログラムをコンピュータ可読な形式で提供することにより、情報処理装置やコンピュータ・システム上でプログラムに応じた処理が実現される。
【００３５】
本発明のさらに他の目的、特徴や利点は、後述する本発明の実施例や添付する図面に基づくより詳細な説明によって明らかになるであろう。なお、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。
【発明の効果】
【００３６】
本発明の一実施例の構成によれば、ＭＰ４ファイルに格納されたデータの再生処理において実行する様々なデータ処理、例えば３次元画像表示処理や、暗号化データの復号処理など、様々な異なるカテゴリのデータ処理に適用する情報をＭＰ４ファイルの管理情報中に階層化して記録する構成とした。この構成により、ＭＰ４ファイルに格納されたデータの再生、例えば暗号化された３次元画像データの表示処理などにおいて実行が必要となる異なるカテゴリのデータ処理の各々に必要となる様々な情報を、ＭＰ４ファイルの管理情報から確実に取得することが可能となり、スムーズなデータ再生処理が可能となる。
【図面の簡単な説明】
【００３７】
【図１】ＭＰ４ファイルフォーマットの基本構成について説明する図である。
【図２】ＭＰ４ファイルのプロファイルボックス（ｕｕｉｄ（ＰＲＯＦ））に３次元画像識別情報を記録する実施例について説明する図である。
【図３】ＭＰ４ファイルのプロファイルボックス（ｕｕｉｄ（ＰＲＯＦ））に記録する３次元画像識別情報の具体的なフラグの設定例について説明する図である。
【図４】ＭＰ４ファイルのＡＶコーデックボックス（ａｖｃ１）に３次元画像識別情報を記録する実施例について説明する図である。
【図５】フレームシーケンシャル方式［ＦＳ：Ｆｒａｍｅ Ｓｅｑｕｅｎｔｉａｌ］に従ったデータ復元処理と再生処理方法を説明する図である。
【図６】サイドバイサイド方式［ＳｂＳ：Ｓｉｄｅ ｂｙ Ｓｉｄｅ］に従ったデータ復元処理と再生処理方法を説明する図である。
【図７】トップアンドボトム方式［Ｔ＆Ｂ：Ｔｏｐ＆Ｂｏｔｔｏｍ］に従ったデータ復元処理と再生処理方法を説明する図である。
【図８】ＡＶコーデックボックス内に設定するステレオビデオ情報ボックスに記録する３次元画像詳細情報としてのフレーム構成情報のデータ設定例について説明する図である。
【図９】ＡＶコーデックボックス内に設定するステレオビデオ情報ボックスに記録する３次元画像詳細情報としてのフレーム構成情報のデータ設定例について説明する図である。
【図１０】ＭＰ４ファイルのＡＶコーデックボックスの拡張構成として規定されるスキーム情報ボックス（ｓｉｎｆ）を利用して３次元画像識別情報を記録する実施例について説明する図である。
【図１１】ＭＰ４ファイルのＡＶコーデックボックスの拡張構成として規定されるスキーム情報ボックス（ｓｉｎｆ）を利用して３次元画像識別情報を記録する実施例について説明する図である。
【図１２】本発明の画像処理装置の実行する画像データの記録処理シーケンスを説明するフローチャートを示す図である。
【図１３】本発明の画像処理装置の実行する画像データの再生処理シーケンスを説明するフローチャートを示す図である。
【図１４】本発明の画像処理装置の構成例について説明する図である。
【発明を実施するための形態】
【００３８】
以下、図面を参照しながら、本発明の画像処理装置、情報記録媒体、および画像処理方法、並びにプログラムについて説明する。説明は以下の項目順に行う。
１．ＭＰ４ファイルフォーマットの基本構成について
２．３次元画像管理情報をＭＰ４ファイルの管理情報中に記録する構成について
２Ａ．（１）プロファイルボックス（ｕｕｉｄ（ＰＲＯＦ））に３次元画像識別情報を記録する実施例（実施例１）
２Ｂ．（２）ＡＶコーデックボックス（ａｖｃ１）に３次元画像詳細情報を記録する実施例（実施例２）
２Ｃ．（３）ＡＶコーデックボックス（ａｖｃ１）の拡張構成として規定されるスキーム情報ボックス（ｓｉｎｆ）を利用して３次元画像詳細情報を記録する実施例（実施例３）
３．画像処理装置の実行する画像処理シーケンスについて
４．本発明の画像処理装置の構成例について
【００３９】
［１．ＭＰ４ファイルフォーマットの基本構成について］
まず、図１を参照して現行のＭＰ４ファイルフォーマットの基本構成について説明する。前述したように、ＭＰ４は、ＭＰＥＧ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）４形式の符号化データの格納ファイル形式であり、ＩＳＯ／ＩＥＣ１４４９６に規定されている。ＭＰ４はＭＰＥＧ−４形式の動画のみならず、ＭＰＥＧ−２やＭＰＥＧ−１の動画、ＡＡＣやＭＰ３などの音声、ＪＰＥＧやＰＮＧなどの静止画など、様々な形式の画像および音声データを格納可能な構成を持つ。
【００４０】
ＩＳＯ／ＩＥＣ１４４９６に規定されたＭＰ４ファイルフォーマットは、オブジェクト指向のデータ構造を有する。各オブジェクトはボックス（ｂｏｘ）と呼ばれる。図１は一般的な画像および音声データからなるＡＶ（Ａｕｄｉｏ Ｖｉｄｅｏ）データを格納したＭＰ４ファイル１００の構成例を示す図である。ＭＰ４ファイル１００は、図１に示すように以下の各ボックスを有する。
（１）ファイルタイプボックス（ｆｔｙｐ）１０１、
（２）プロファイルボックス（ｕｕｉｄ（ＰＲＯＦ））１０２、
（３）ムービーボックス（ｍｏｏｖ）１０３、
（４）実データボックス（ｍｄａｔ）１０４、
これらのボックスを有する。
【００４１】
（１）ファイルタイプボックス（ｆｔｙｐ）１０１には、ファイルタイプについての記録情報が含まれる。
（２）プロファイルボックス（ｕｕｉｄ（ＰＲＯＦ））１０２には、例えば、フレームレートなどのファイル情報が記録される。
（３）ムービーボックス（ｍｏｏｖ）１０３には、格納データの管理情報（メタデータ）が記録される。
（４）実データボックス（ｍｄａｔ）１０４には、符号化された（圧縮）画像や音声データなど実データが記録される。
【００４２】
実際の再生対象となる画像データや音声データは、（４）実データボックス（ｍｄａｔ）１０４に格納される。（１）〜（３）の各情報、すなわち、ファイルタイプボックス（ｆｔｙｐ）１０１、（２）プロファイルボックス（ｕｕｉｄ（ＰＲＯＦ））１０２、（３）ムービーボックス（ｍｏｏｖ）１０３、これらの各ボックスには、実データの索引情報や属性情報等の管理情報が格納される。なお、属性情報には実データボックス（ｍｄａｔ）１０４に格納される実データの復号処理（伸張処理）に適用するための情報などが含まれる。また実データが暗号化されている場合は、その復号処理に適用する情報等も記録される。
【００４３】
なお、ムービーボックス（ｍｏｏｖ）１０３には、実データボックス（ｍｄａｔ）１０４に格納された実データの区分データであるトラック単位で管理データ（メタデータ）が記録される。
トラックは、例えば、画像データに対応するビデオトラック、音声データに対応するオーディオトラック等がある。なお、日本語対応の第１オーディオトラック、英語対応の第２オーディオトラックなどの設定も可能である。また、異なる画像に対応する第１ビデオトラック、第２ビデオトラック等、細分化したトラック設定も可能である。
【００４４】
なお、図１に示すムービーボックス（ｍｏｏｖ）１０３には、１つのトラック（ｔｒａｋ（ｖｉｄｅｏ ｔｒａｃｋ））に対応するメタデータを格納した１つのトラックボックス１１１のみを示しているが、これはトラックボックスの代表例を示したものである。実際には、ムービーボックス（ｍｏｏｖ）１０３には、図１に示すトラックボックス１１１と同じ形式のボックスがトラック数に応じて格納される。
【００４５】
トラックボックス１１１には実データの区分領域として設定されるトラック単位のデータ対応のメタデータが記録される。
トラックボックス１１１内には、サンプルディスクリプションボックス(ｓｔｓｄ)１１２、さらにその下位にＡＶコーデックボックス（ａｖｃ１）１１３が格納される。
【００４６】
トラックをさらに区分した領域がサンプルであり、１以上のサンプルによって１つのトラックが設定される。
すなわち実データは１以上のトラックによって構成され、１トラックはさらに１以上のサンプルによって構成される。
【００４７】
図１には、トラックボックス１１１の中に１つのサンプルディスクリプションボックス(ｓｔｓｄ)１１２を示している。トラックボックスには必ず１つのサンプルディスクリプションボックス(ｓｔｓｄ)が存在する。
【００４８】
サンプルディスクリプションボックス(ｓｔｓｄ)１１２の下位ボックスが、ＡＶコーデックボックス（ａｖｃ１）１１３であり、ＡＶコーデックボックス（ａｖｃ１）１１３にサンプル対応の実データのコーデック詳細情報、すなわち、実データの要素であるサンプルの復号再生処理に必要とする詳細情報（コーデック情報）が記録される。なお、このＡＶコーデックボックス（ａｖｃ１）１１３には、ＭＰ４の復号処理に関する情報のみならず、例えば暗号化態様に関する情報などの記録も可能である。
【００４９】
ＭＰ４ファイルをＤＶＤ等のメディアから読み出して再生する装置、あるいはＭＰ４ファイルを、通信手段を介して受信して再生する装置は図１に示す構成を持つＭＰ４ファイルの管理情報、すなわち、ファイルタイプボックス（ｆｔｙｐ）１０１、プロファイルボックス（ｕｕｉｄ（ＰＲＯＦ））、ムービーボックス（ｍｏｏｖ）１０３の少なくともいずれかに格納された管理情報を読み取り、実データボックス（ｍｄａｔ）１０４に格納された実データの詳細について確認する。この管理情報の確認処理によってトラックおよびサンプル単位で詳細なコーデック情報を取得して、その情報に従った復号処理を実行する。このような処理によりＭＰ４データの復号および再生処理を行うことができる。
【００５０】
しかし、前述したように、現行のＭＰ４フォーマットの管理情報には、ＭＰ４ファイルに格納された画像が３次元（３Ｄ）画像であるのか、２次元（２Ｄ）画像であるかを識別するための情報を記録する領域が規定されていない。
【００５１】
従って、ＭＰ４ファイルを記録メディアから読み出して再生しようとする装置、あるいは通信手段を介して受信して再生しようとする装置は、実際に画像を取得し解析または再生しなければＭＰ４ファイルの格納データが３次元画像データであるのか２次元画データであるのかを把握できない。結果として例えば３次元画像の表示機能を持たない表示装置に３次元画像データが誤って表示されてしまうといった事態が発生する。また、前述したように現行の管理情報のみでは自装置において再生または表示可能な３次元画像であるか否かについての確認もできない。
【００５２】
このように現行のＭＰ４のフォーマットを利用した場合、ＭＰ４ファイルに格納された画像が３次元画像である場合、実際に実データボックス（ｍｄａｔ）１０４から画像データを取得してデータ構成を確認するか、あるいは、実際に再生や表示処理を実行してみないと、自装置が処理可能なデータであるか否かについて確認できないといった問題がある。
【００５３】
［２．３次元画像管理情報をＭＰ４ファイルの管理情報中に記録する構成について］
以下では、上述した問題を解決する構成として、３次元画像についての管理情報をＭＰ４ファイルの管理情報中に記録する複数の実施例について、以下説明する。
以下に示す３つの実施例について、順次説明する。
（１）プロファイルボックス（ｕｕｉｄ（ＰＲＯＦ））に３次元画像識別情報を記録する実施例（実施例１）
（２）ＡＶコーデックボックス（ａｖｃ１）に３次元画像識別情報を記録する実施例（実施例２）
（３）ＡＶコーデックボックス（ａｖｃ１）の拡張構成として規定されるスキーム情報ボックス（ｓｉｎｆ）を利用して３次元画像識別情報を記録する実施例（実施例３）
なお、これらの各実施例は単独の構成としても実施可能であるが、複数の実施例を組み合わせて利用する構成も可能である。
【００５４】
［２Ａ．（１）プロファイルボックス（ｕｕｉｄ（ＰＲＯＦ））に３次元画像識別情報を記録する実施例（実施例１）］
まず、図２を参照してプロファイルボックス（ｕｕｉｄ（ＰＲＯＦ））に３次元画像識別情報を記録する実施例について説明する。
【００５５】
図２は、本実施例で提案するプロファイルボックス（ｕｕｉｄ（ＰＲＯＦ））に含まれるビデオ管理フラグ（ｖｉｄｅｏ＿ａｔｔｒｉｂｕｔｅ＿ｆｌａｇ）の上位１６ビット（０００１ｈ〜００１０ｈ）の構成を示す図である。なお（ｈ）は１６進数の表記であることを意味している。
【００５６】
図２に示すビデオ管理フラグ（ｖｉｄｅｏ＿ａｔｔｒｉｂｕｔｅ＿ｆｌａｇ）の上位１６ビット中、前半（０００１ｈ〜０００４ｈ）のデータは、従来のＭＰ４において既に規定されているフィールドであり、例えば以下のデータ領域として規定されている。
０００１ｈ：ＩＤＲ（Ｉｎｓｔａｎｔａｎｅｏｕｓ Ｄｅｃｏｄｅｒ Ｒｅｆｒｅｓｈ）フレーム間隔情報、
０００２ｈ：リカバリポイントＳＥＩメッセージの有無情報、
これらはＭＰ４の復号に適用する情報である。
０００４ｈ〜はリザーブ領域である。
【００５７】
本実施例では、ビデオ管理フラグ（ｖｉｄｅｏ＿ａｔｔｒｉｂｕｔｅ＿ｆｌａｇ）の上位１６ビット（０００１ｈ〜００１０ｈ）の後半部にＭＰ４ファイルの実データボックス（ｍｄａｔ）（図１参照）に格納された画像データが３次元画像を含むか否かの情報を格納する。
【００５８】
具体的には、図２に示すように以下の３次元画像識別情報を格納する。
０００８ｈ：ステレオビデオフラグ（ｓｔｅｒｅｏ ｖｉｄｅｏ ｆｌａｇ）２０１、
００１０ｈ：ミックスステレオビデオフラグ（Ｍｉｘｅｄ ｓｔｅｒｅｏ ｖｉｄｅｏ ｆｌａｇ）２０２、
これらの各フラグを３次元画像識別情報として設定する。
【００５９】
各フラグの値の具体的な内容について図３を参照して説明する。
ＭＰ４ファイルに格納される画像データの態様としては、図３に示すように３パターンある。
（ａ）ＭＰ４ファイルに格納された画像データが全て３次元画像（ステレオ画像）
（ｂ）ＭＰ４ファイルに格納された画像データが全て２次元画像
（ｃ）ＭＰ４ファイルに格納された画像データが３次元画像（ステレオ画像）と２次元画像の混在データ
これらの３パターンである。
【００６０】
ステレオビデオフラグ２０１は、ＭＰ４ファイルに格納されたすべての画像データに３次元画像が含まれる場合はビット値＝１、含まれない場合はビット値＝０との設定とする。
従って、図３に示す
（ａ）ＭＰ４ファイルに格納された画像データが全て３次元画像（ステレオ画像）
この（ａ）の場合にのみ、ビット値＝１となる。
また、
（ｂ）ＭＰ４ファイルに格納された画像データが全て２次元画像
（ｃ）ＭＰ４ファイルに格納された画像データが３次元画像（ステレオ画像）と２次元画像の混在データ
これら（ｂ），（ｃ）の場合はビット値＝０となる。
【００６１】
一方、ミックスステレオビデオフラグ２０２は、ＭＰ４ファイルに格納された画像データが３次元画像と２次元画像の混在データである場合はビット値＝１、それ以外は、ビット値＝０との設定とする。
従って、図３に示す
（ｃ）ＭＰ４ファイルに格納された画像データが３次元画像（ステレオ画像）と２次元画像の混在データ
この（ｃ）の場合にのみビット値＝１となる。
また、
（ａ）ＭＰ４ファイルに格納された画像データが全て３次元画像（ステレオ画像）
（ｂ）ＭＰ４ファイルに格納された画像データが全て２次元画像
これら（ａ），（ｂ）の場合には、ビット値＝０となる。
【００６２】
これらのフラグ設定により、以下のデータ識別が可能となる。
（ケース１）
ステレオビデオフラグ＝１、ミックスステレオビデオフラグ＝０、
この場合は、
（ａ）ＭＰ４ファイルに格納された画像データが全て３次元画像（ステレオ画像）
であると判定する。
【００６３】
（ケース２）
ステレオビデオフラグ＝０、ミックスステレオビデオフラグ＝０、
この場合は、
（ｂ）ＭＰ４ファイルに格納された画像データが全て２次元画像
であると判定する。
【００６４】
（ケース３）
ステレオビデオフラグ＝０、ミックスステレオビデオフラグ＝１、
この場合は、
（ｃ）ＭＰ４ファイルに格納された画像データが３次元画像（ステレオ画像）と２次元画像の混在データ
であると判定する。
【００６５】
このように、本実施例の構成により、ＭＰ４ファイルのプロファイルボックス（ｕｕｉｄ（ＰＲＯＦ））のビデオ管理フラグ（ｖｉｄｅｏ＿ａｔｔｒｉｂｕｔｅ＿ｆｌａｇ）に設けられたステレオビデオフラグ２０１と、ミックスステレオビデオフラグ２０２のフラグ設定を確認するのみで、ＭＰ４ファイルに格納された画像データの３次元画像情報を得ることができる。具体的には、ＭＰ４ファイルに格納された画像データが下記のいずれのタイプであるかを確認することが可能となる。
（タイプａ）３次元画像のみから構成されている、
（タイプｂ）２次元画像のみから構成されている、
（タイプｃ）３次元画像と２次元画像の混在データである、
これらの各タイプを判別することが可能となる。
【００６６】
なお、図３に示すビット値の設定例は一例であり、この逆のビット値の設定としてもよく、上記の各タイプの判別が可能なビット値設定とする様々な設定が可能である。
【００６７】
ＭＰ４ファイルを記録メディアから読み出して再生しようとする装置、あるいは通信手段を介してＭＰ４ファイルを受信して再生しようとする装置は、ＭＰ４ファイルの実データボックス（ｍｄａｔ）から実際に画像を取得する以前にプロファイルボックス（ｕｕｉｄ（ＰＲＯＦ））内に設定されたステレオビデオフラグ２０１と、ミックスステレオビデオフラグ２０２のフラグ設定を確認することで、ＭＰ４ファイルの格納データの３次元画像情報を取得することが可能となる。従って、例えば３次元画像の表示機能を持たない表示装置に３次元画像データが誤って表示されてしまうといった事態を防止できる。
【００６８】
［２Ｂ．（２）ＡＶコーデックボックス（ａｖｃ１）に３次元画像詳細情報を記録する実施例（実施例２）］
次に、図４を参照してＡＶコーデックボックス（ａｖｃ１）に３次元画像詳細情報を記録する実施例について説明する。
【００６９】
なお、先に図１を参照して説明したように、ＡＶコーデックボックス（ａｖｃ１）は、ムービーボックス（ｍｏｏｖ）の下位のトラックボックス１１１のさらに下位のサンプルディスクリプションボックス(ｓｔｓｄ)の下位に設定されるボックスである。
ＡＶコーデックボックス（ａｖｃ１）は、先に説明したように、実データボックス（ｍｄａｔ）に格納される実データを区分した区分データであるサンプルのコーデック情報等が記録されるボックスである。
【００７０】
なお、この場合はトラックに含まれるサンプルの全てのコーデック情報がＡＶコーデックボックス（ａｖｃ１）に設定されることになる。サンプルディスクリプションボックス(ｓｔｓｄ)の下位には１または複数のＡＶコーデックボックス（ａｖｃ１）の設定が可能である。ただし、内容が同じ場合は複数設定する必要はない。つまり、サンプル数とＡＶコーデックボックスの数は一致する必要はなく、サンプル数が複数でもＡＶコーデックボックスを1つとする設定などが可能である。
【００７１】
本実施例２では、このＡＶコーデックボックス（ａｖｃ１）に３次元画像詳細情報を記録する。図４に、本実施例に係るＡＶコーデックボックス（ａｖｃ１）のデータ構成例を示す。
【００７２】
図４に示すデータ領域３０１の情報は、従来のＭＰ４ファイルフォーマットに既に規定されているコーデック情報格納領域である。このデータ領域３０１には、以下の各情報ボックスが設定される。
ＡＶＣＣｏｎｆｉｇｕｒａｔｉｏｎＢｏｘ
ＭＰＥＧ４ＢｉｔＲａｔｅＢｏｘ
ＭＰＥＧ４ＥｘｔｅｎｔｉｏｎＤｅｓｃｒｉｐｔｏｒＢｏｘ
これらのボックスにはＭＰ４符号化データの復号処理に必要となる情報、すなわちコーデック情報が記録される。これらのコーデック情報は２次元画像にも３次元画像に共通に利用される。
【００７３】
本実施例では、これら既存のコーデック情報ボックスに加え、図４に示すように、
ステレオビデオ情報ボックス（Ｓｔｅｒｅｏ Ｖｉｄｅｏ Ｄｅｓｃｒｉｐｔｉｏｎ Ｂｏｘ）３０２
を追加する。
ステレオビデオ情報ボックス３０２には、ＭＰ４ファイルの実データボックス（ｍｄａｔ）（図１参照）に格納された画像データに３次元画像が含まれるか否かの情報や、３次元画像が含まれる場合、その３次元画像データに関する詳細情報を記録する。詳細情報には例えば３次元画像の表示方式情報などが含まれる。
【００７４】
前述したように、３次元画像（３Ｄ画像）の表示方式には様々な方式がある。例えば、偏光フィルタや、色フィルタにより左右の眼各々によって観察する画像を分離するパッシブ眼鏡方式に対応した方式、あるいは、液晶シャッターを左右交互に開閉して観察する画像を左右の眼交互に時間的に分離するアクティブ眼鏡方式に対応した方式などがある。例えばこれらの各表示方式に応じて、ＭＰ４ファイルに格納される記録データの記録形式も異なってくる。
ステレオビデオ情報ボックス３０２には、ＭＰ４ファイルの実データボックス（ｍｄａｔ）（図１参照）に格納された画像データがいずれの方式に対応した記録データであるかについての情報も含まれる。
【００７５】
なお、３次元画像データの記録方式としては、例えば、
フレームシーケンシャル（Ｆｒａｍｅ Ｓｅｑｕｅｎｔｉａｌ）方式、
サイドバイサイド（Ｓｉｄｅ ｂｙ Ｓｉｄｅ）方式、
トップアンドボトム（Ｔｏｐ＆Ｂｏｔｔｏｍ）方式、
などがある。
【００７６】
フレームシーケンシャル（Ｆｒａｍｅ Ｓｅｑｕｅｎｔｉａｌ）方式は、左目用画像（Ｌ画像）と右目用画像（Ｒ画像）のフレームをＬ、Ｒ、Ｌ、Ｒ、・・・と交互に記録した方式である。
サイドバイサイド（Ｓｉｄｅ ｂｙ Ｓｉｄｅ）方式は、ＬＲ画像を１フレーム画像中の左右に分割して記録した方式である。
トップアンドボトム（Ｔｏｐ＆Ｂｏｔｔｏｍ）方式は、ＬＲ画像を１フレーム画像中の上下に分割して記録した方式である。
これらの画像記録方式など、３次元画像の再生や表示処理に利用される３次元画像詳細情報がステレオビデオ情報ボックス３０２に記録される。
【００７７】
ＭＰ４ファイルを記録メディアまたは通信手段等を介して取得して再生しようとする装置は、ＭＰ４ファイルの実データボックス（ｍｄａｔ）から実際に画像を取得する以前に、ＡＶコーデックボックス（ａｖｃ１）に設定されたステレオビデオ情報ボックス３０２の３次元画像情報を取得することで、ＭＰ４ファイルの格納データの３次元画像データがどのような記録方式や表示方式に対応したデータであるか等の３次元画像の再生や表示処理に適用する詳細情報を取得することが可能となる。
【００７８】
従って、例えば３次元画像の表示機能を持たない表示装置に３次元画像データが誤って表示されてしまうといった事態を防止できる。また、自装置において再生または表示可能な３次元画像であるか否かについての確認も可能となるので、自装置が処理可能なデータであることの確認を行った後に、ＭＰ４ファイルの格納データを取り出して復号、再生処理を開始することが可能となり、無駄な処理の実行を排除することが可能となる。
【００７９】
ＡＶコーデックボックス（ａｖｃ１）に対する３次元画像詳細情報の記録形式としては様々な設定が可能であるが、以下、その一例について説明する。
Ａｄｖａｎｃｅｄ Ｖｉｄｅｏ Ｃｏｄｉｎｇ（ＭＰＥＧ４−ＡＶＣ）を規定したＩＳＯ／ＩＥＣ１４４９６においては、既に通常のコーデック情報として、再生用の各画像フレームを構築するためのフレーム構成情報（Ｆｒａｍｅ Ｐａｃｋｉｎｇ Ａｒａｎｇｅｍｅｎｔ ＳＥＩ）を規定している。
【００８０】
以下、説明する３次元画像詳細情報の記録形式の一例は、この既存のフレーム構成情報（Ｆｒａｍｅ Ｐａｃｋｉｎｇ Ａｒｒａｎｇｅｍｅｎｔ ＳＥＩ）とほぼ同様の形式を用いた例である。
【００８１】
ステレオビデオ情報ボックス３０２に記録する３次元画像詳細情報の一例であるフレーム構成情報（Ｆｒａｍｅ Ｐａｃｋｉｎｇ Ａｒｒａｎｇｅｍｅｎｔ ＳＥＩ）の具体的なデータ設定例について、以下説明する。
なお、以下の例では、３次元画像の以下の記録方式、すなわち、
（ａ）フレームシーケンシャル方式［ＦＳ］、
（ｂ）サイドバイサイド方式［ＳｂＳ］、
（ｃ）トップアンドボトム方式［Ｔ＆Ｂ］、
これら、異なる３次元画像の記録方式に対応するフレーム構成情報の設定例について説明する。
【００８２】
３次元画像詳細情報の設定例の説明の前に、まず図５〜図７を参照して以下の３次元画像のデータ復元処理と再生処理方法について説明する。
（ａ）フレームシーケンシャル方式［ＦＳ］、
（ｂ）サイドバイサイド方式［ＳｂＳ］、
（ｃ）トップアンドボトム方式［Ｔ＆Ｂ］、
【００８３】
図５は、（ａ）フレームシーケンシャル方式［ＦＳ：Ｆｒａｍｅ Ｓｅｑｕｅｎｔｉａｌ］に従ったデータ復元処理と再生処理方法を説明する図である。
図５にはＭＰ４のデコード結果として得られるデコード画像フレーム３２１と、表示画像フレーム３２２を示している。
フレームシーケンシャル方式では左目用画像（Ｌ画像）と、右目用画像（Ｒ画像）がＬＲＬＲＬＲ・・・と交互に記録される。従って、ＭＰ４デコード結果から得られる画像は。表示画像フレーム３２２としてのＬ画像、Ｒ画像として利用される。
【００８４】
図６は、（ｂ）サイドバイサイド方式［ＳｂＳ：Ｓｉｄｅ ｂｙ Ｓｉｄｅ］に従ったデータ復元処理と再生処理方法を説明する図である。
図６には、
ＭＰ４デコード結果画像３３１、
アンパックＬ画像（フレーム０）３３２、
アンパックＲ画像（フレーム１）３３３、
表示用Ｌ画像（フレーム０）３３４、
表示用Ｒ画像（フレーム１）３３５、
これらの画像データを示している。
【００８５】
サイドバイサイド方式［ＳｂＳ：Ｓｉｄｅ ｂｙ Ｓｉｄｅ］では、ＭＰ４デコード結果画像３３１に示すように、左目用画像（Ｌ画像）と、右目用画像（Ｒ画像）が１つの画像フレームの左右に区分された領域に格納される。
この画像から、まず、アンパック処理を実行して、アンパックＬ画像（フレーム０）３３２、アンパックＲ画像（フレーム１）３３３を生成する。さらに、伸張処理（アップコンバート）を実行して表示用Ｌ画像（フレーム０）３３４と、表示用Ｒ画像（フレーム１）３３５を生成する。
このようにフレーム０，フレーム１が１組の画像フレームとして設定される、
【００８６】
図７は、（ｃ）トップアンドボトム方式［Ｔ＆Ｂ：Ｔｏｐ＆Ｂｏｔｔｏｍ］に従ったデータ復元処理と再生処理方法を説明する図である。
図７には、
ＭＰ４デコード結果画像３４１、
アンパックＬ画像（フレーム０）３４２、
アンパックＲ画像（フレーム１）３４３、
表示用Ｌ画像（フレーム０）３４４、
表示用Ｒ画像（フレーム１）３４５、
これらの画像データを示している。
【００８７】
トップアンドボトム方式［Ｔ＆Ｂ：Ｔｏｐ＆Ｂｏｔｔｏｍ］では、ＭＰ４デコード結果画像３４１に示すように、左目用画像（Ｌ画像）と、右目用画像（Ｒ画像）が１つの画像フレームの上下に区分された領域に格納される。
この画像から、まず、アンパック処理を実行して、アンパックＬ画像（フレーム０）３４２、アンパックＲ画像（フレーム１）３４３を生成する。さらに、伸張処理（アップコンバート）を実行して表示用Ｌ画像（フレーム０）３４４と、表示用Ｒ画像（フレーム１）３４５を生成する。
トップアンドボトム方式でも、フレーム０，フレーム１が１組の画像フレームとして設定される、
【００８８】
このように、３次元画像の再生、表示を実行する装置では３次元画像の方式に従った処理を行うことが必要である。本実施例の構成では、ＭＰ４ファイルに格納された画像がどの方式に従った３次元画像であるかを識別するための詳細情報をステレオビデオ情報ボックス３０２内にフレーム構成情報（Ｆｒａｍｅ Ｐａｃｋｉｎｇ Ａｒｒａｎｇｅｍｅｎｔ ＳＥＩ）として記録する。
【００８９】
図８、図９を参照して、ＡＶコーデックボックス内に設定するステレオビデオ情報ボックス３０２に記録する３次元画像詳細情報としてのフレーム構成情報のデータ設定例について説明する。
図８、図９は、ＭＰ４ファイルに格納された３次元画像が以下の３種類の方式に対応する場合のデータ設定例を示す図である。
（ａ）フレームシーケンシャル方式［ＦＳ］、
（ｂ）サイドバイサイド方式［ＳｂＳ］、
（ｃ）トップアンドボトム方式［Ｔ＆Ｂ］、
これらの各方式に対応するフレーム構成（Ｆｒａｍｅ Ｐａｃｋｉｎｇ Ａｒｒａｎｇｅｍｅｎｔ ＳＥＩ）情報のデータ設定例である。
【００９０】
以下、図８に示す３次元画像詳細情報としてのフレーム構成情報の各データについて説明する。
フレームパッキングアレンジメントキャンセルフラグ
（frame_packing_arrangement_cancel_flag）
このフラグが１の場合、フレーム構成情報を使用しないことを示す。
ステレオビデオ情報ボックス３０２内に記録する３次元画像情報としてのフレーム構成情報の場合、フレームシーケンシャル方式［ＦＳ］、サイドバイサイド方式［ＳｂＳ］、トップアンドボトム方式［Ｔ＆Ｂ］、いずれの方式においても、このフレーム構成情報を使用することを示す０を設定する。なお、［０ｂ］の（ｂ）は、２進数の表記であることを意味している。
【００９１】
５点系サンプリングフラグ
（quincux_sampling_flag）
このフラグが１の場合、画像フレームのサンプリングポイントが３×３画素の５点に設定されていることを示す。
このフラグは主に復号処理におけるサンプリング位置を示す情報として用いられる。
ステレオビデオ情報ボックス３０２内に記録する３次元画像情報としてのフレーム構成情報の場合、フレームシーケンシャル方式［ＦＳ］、サイドバイサイド方式［ＳｂＳ］、トップアンドボトム方式［Ｔ＆Ｂ］、いずれの方式においても、このフラグは０に設定する。
【００９２】
コンテンツ説明タイプ
（content_interpretation_type）
このフィールドの値としては例えば０〜２の各値をとり、
０＝フレーム相互の関係がない場合の設定値、
１＝３次元（ステレオ）画像用のフレーム構成情報であり、フレーム０が左目用フレーム、フレーム１が右目用フレームである場合の設定値、
２＝３次元（ステレオ）画像用のフレーム構成情報であり、フレーム０が右目用フレーム、フレーム１が左目用フレームである場合の設定値、
これらのコンテンツ説明タイプ情報が記録される。
ステレオビデオ情報ボックス３０２内に記録する３次元画像情報としてのフレーム構成情報の場合、フレームシーケンシャル方式［ＦＳ］、サイドバイサイド方式［ＳｂＳ］、トップアンドボトム方式［Ｔ＆Ｂ］、いずれの方式においても、このフラグは１に設定する。
【００９３】
スペーシャルフリッピングフラグ
（spatial_fliping_flag）
スペーシャルフリップフラグ
（frame0_flipped_flag）
これらのフラグは、画像フレームの構成方向、例えば水平方向または垂直方向に連結してフレームを構成するかの情報を格納する。
このフラグ設定は２次元画像のアップコンバート（伸張処理）の態様を決定するために用いられる。
ステレオビデオ情報ボックス３０２内に記録する３次元画像情報としてのフレーム構成情報の場合、これらのフラグは利用せず、これらのフラグ値は０に設定する。
【００９４】
フィールドビューフラグ
（field_views_flag）
フレームのインターリービング処理の態様についての情報が記録される。
ステレオビデオ情報ボックス３０２内に記録する３次元画像情報としてのフレーム構成情報の場合、このフラグは利用せず、このフラグ値は０に設定する。
【００９５】
フレームパッキングアレンジメントリザーブバイト
（frame_packing_arrangement_reserved_byte）
フレームパッキングアレンジメントリピテーションバイト
（frame_packing_arrangement_repetition_period）
フレームパッキングアレンジメントエクステンションバイト
（frame_packing_arrangement_extension_flag）
これらのフィールドは、リザーブ、繰り返しデータ、拡張データの記録フィールドである。
ステレオビデオ情報ボックス３０２内に記録する３次元画像情報としてのフレーム構成情報の場合、これらのフラグは利用せず、これらのフラグ値は０に設定する。
【００９６】
図９も、以下の３次元画像の３つの記録タイプ、
（ａ）フレームシーケンシャル方式［ＦＳ］、
（ｂ）サイドバイサイド方式［ＳｂＳ］、
（ｃ）トップアンドボトム方式［Ｔ＆Ｂ］、
これらの３つの形式に対応するフレーム構成（Ｆｒａｍｅ Ｐａｃｋｉｎｇ Ａｒｒａｎｇｅｍｅｎｔ ＳＥＩ）情報の設定例を示す図である。
【００９７】
フレーム構成タイプ
（frame_packing_arrangement_type）
このフィールドには、３次元画像のタイプによって異なる値を設定する。
例えば、
（ａ）フレームシーケンシャル方式［ＦＳ］＝０００１０１ｂ（５）、
（ｂ）サイドバイサイド方式［ＳｂＳ］＝０００００１１ｂ（３）、
（ｃ）トップアンドボトム方式［Ｔ＆Ｂ］＝００００１００ｂ（４）、
再生装置は、このフィールドの設定値に基づいて、トラックに格納された３次元画像が、どの方式の３次元画像データであるかを判別することができる。すなわち、トラックに格納された３次元画像が、フレームシーケンシャル方式［ＦＳ］、サイバイサイド方式［ＳｂＳ］、トップアンドボトム方式［Ｔ＆Ｂ］、いずれの方式の３次元画像データであるかについて判別することが可能となる。
【００９８】
現フレーム＝フレーム０フラグ
（current_frame_is_frame0_flag）
このフィールドにはＭＰ４デコード結果として得られる現フレームがフレーム０に対応するフレームであるか否かの情報が記録される。
３次元画像がＬ画像，Ｒ画像，Ｌ画像，Ｒ画像フレームの繰り返しとして記録される「（ａ）フレームシーケンシャル方式［ＦＳ］」の場合は、デコード結果として得られるフレーム単位で左目用画像（Ｌ画像）であるか右目用画像（Ｒ画像）であるかを判別することが必要となる。
従って、（ａ）フレームシーケンシャル方式［ＦＳ］の場合は、このフィールドに、
右目用画像（Ｒ画像）＝０、
左目用画像（Ｌ画像）＝１、
例えば上記の値を設定する。
【００９９】
その他の方式、（ｂ）サイドバイサイド方式［ＳｂＳ］と、（ｃ）トップアンドボトム方式［Ｔ＆Ｂ］の各方式では、図６、図７を参照して説明したようにＭＰ４デコード結果として得られるフレームに基づいて、左目用画像（Ｌ画像＝フレーム０）と右目用画像（Ｒ画像＝フレーム１）の双方を生成するので、ＭＰ４デコード結果に対する判別処理は不要となるので、このフィールドの値は０に設定する。
【０１００】
フレーム０セルフコンテインドフラグ
（frame0_self_contained_flag）
フレーム１セルフコンテインドフラグ
（frame1_self_contained_flag）
これらはフレーム０，１の設定されたフレーム間で相互のフレームを参照すべきである場合にフラグの値として１を設定する。
ステレオビデオ情報ボックス３０２内に記録する３次元画像情報としてのフレーム構成情報の場合、フレームシーケンシャル方式［ＦＳ］、サイドバイサイド方式［ＳｂＳ］、トップアンドボトム方式［Ｔ＆Ｂ］、いずれの方式においてもこの情報は不要であり、このフラグの値は０に設定する。
【０１０１】
フレーム０グリッドポジションＸ
（frame0_grid_position_x）
フレーム０グリッドポジションＹ
（frame0_grid_position_y）
フレーム１グリッドポジションＸ
（frame1_grid_position_x）
フレーム１グリッドポジションＹ
（frame1_grid_position_y）
これらは画像フレームの構成処理に際して参照する画素位置を示すためのデータフィールドである。
【０１０２】
ステレオビデオ情報ボックス３０２内に記録する３次元画像情報としてのフレーム構成情報の場合は、フレームシーケンシャル方式［ＦＳ］ではＮ／Ａ（無効値）、サイドバイサイド方式［ＳｂＳ］、トップアンドボトム方式［Ｔ＆Ｂ］ではフラグ値＝０を設定する。
例えば、図６、図７を参照して説明したサイドバイサイド方式［ＳｂＳ］、トップアンドボトム方式［Ｔ＆Ｂ］ではすべてフラグ値＝０を設定する。これは、フレーム０，１とも(Ｘ，Ｙ)＝（０，０）で指定される左上端の座標位置に参照位置が設定されていることを示している。
【０１０３】
図８、図９を参照して説明したように、ステレオビデオ情報ボックス３０２内のフレーム構成（Ｆｒａｍｅ Ｐａｃｋｉｎｇ Ａｒｒａｎｇｅｍｅｎｔ ＳＥＩ）情報には、
（ａ）フレームシーケンシャル方式［ＦＳ］、
（ｂ）サイドバイサイド方式［ＳｂＳ］、
（ｃ）トップアンドボトム方式［Ｔ＆Ｂ］、
これらの各方式に対応するフレーム構成情報（Ｆｒａｍｅ Ｐａｃｋｉｎｇ Ａｒｒａｎｇｅｍｅｎｔ ＳＥＩ）の設定値がそれぞれ設定される。
【０１０４】
３次元画像の再生、表示を実行する装置は、ステレオビデオ情報ボックス３０２内の３次元画像詳細情報を参照することで、ＭＰ４ファイルに格納された画像がどの方式に従った３次元画像であるかを識別することが可能となる。
すなわち、例えば図８、図９を参照して説明したフレーム構成情報（Ｆｒａｍｅ Ｐａｃｋｉｎｇ Ａｒｒａｎｇｅｍｅｎｔ ＳＥＩ）の設定値を参照することで、ＭＰ４ファイルに格納された画像がどの方式に従った３次元画像であるかを識別可能となり、格納画像の方式に対応した復元処理を実行して正しい３次元画像表示用データを生成して再生、表示することが可能となる。
【０１０５】
従って、例えば３次元画像の表示機能を持たない表示装置に３次元画像データが誤って表示されてしまうといった事態を防止できる。
また、自装置の実行可能な３次元画像表示処理に応じたデータが記録されているかについても予め知ることが可能となり、自装置において処理可能であると判断された場合にのみ、実データボックス（ｍｄａｔ）１０４（図１参照）に格納された実データを取得してエンコード等の処理を開始することができ、無駄な処理を実行してしまう事態を避けることが可能となる。
【０１０６】
なお、上記実施例では、
（ａ）フレームシーケンシャル方式［ＦＳ］、
（ｂ）サイドバイサイド方式［ＳｂＳ］、
（ｃ）トップアンドボトム方式［Ｔ＆Ｂ］、
これらの各方式に対応する３次元画像詳細情報を記録した例について説明したが、その他の方式に従った情報を記録する構成としてもよい。また、図８、図９を参照して説明したフレーム構成情報（Ｆｒａｍｅ Ｐａｃｋｉｎｇ Ａｒｒａｎｇｅｍｅｎｔ ＳＥＩ）に限らず、その他の形式で３次元画像詳細情報を作成してＡＶコーデックボックス（ａｖｃ１）に記録する構成としてもよい。
【０１０７】
［２Ｃ．（３）ＡＶコーデックボックス（ａｖｃ１）の拡張構成として規定されるスキーム情報ボックス（ｓｉｎｆ）を利用して３次元画像詳細情報を記録する実施例（実施例３）］
次に、図１０以下を参照してＭＰ４ファイルのＡＶコーデックボックス（ａｖｃ１）の拡張構成として規定されるスキーム情報ボックス（ｓｉｎｆ）を利用して３次元画像詳細情報を記録する実施例について説明する。
【０１０８】
なお、先に図１を参照して説明したように、ＡＶコーデックボックス（ａｖｃ１）は、ムービーボックス（ｍｏｏｖ）の下位のトラックボックス１１１のさらに下位のサンプルディスクリプションボックス(ｓｔｓｄ)の下位に設定されるボックスである。
ＡＶコーデックボックス（ａｖｃ１）は、先に説明したように、実データボックス（ｍｄａｔ）に格納される実データを区分したデータであるサンプルのコーデック情報等が記録されるボックスである。
【０１０９】
なお、この場合はトラックに含まれるサンプルの全てのコーデック情報がＡＶコーデックボックス（ａｖｃ１）に設定されることになる。サンプルディスクリプションボックス(ｓｔｓｄ)の下位には１または複数のＡＶコーデックボックス（ａｖｃ１）の設定が可能である。ただし、内容が同じ場合は複数設定する必要はない。つまり、サンプル数とＡＶコーデックボックスの数は一致する必要はなく、サンプル数が複数でもＡＶコーデックボックスを1つとする設定などが可能である。
【０１１０】
本実施例３では、実施例２と同様、このＡＶコーデックボックス（ａｖｃ１）に３次元画像詳細情報を記録する。ただし、本実施例３ではＡＶコーデックボックス（ａｖｃ１）の拡張構成として規定されるスキーム情報ボックス（ｓｉｎｆ）を利用して３次元画像詳細情報を記録する。
【０１１１】
ＭＰ４のファイルフォーマットを規定するＩＳＯ／ＩＥＣ１４４９６では、ＭＰ４に格納されるデータが例えば暗号化データとして格納されるなど、ＭＰ４ファイルの格納データが何らかの変換データとして記録されている場合、そのデータについてのデータ構成情報を記録するための領域としてスキーム情報ボックス（ｓｉｎｆ）を規定している。例えば、ＭＰ４ファイルの格納データが暗号化された変換データとして記録されている場合、その暗号化態様情報を記録するための領域としてスキーム情報ボックス（ｓｉｎｆ）を規定している。
【０１１２】
なお、ＭＰ４のファイルフォーマットを規定するＩＳＯ／ＩＥＣ１４４９６の現行規定においては、データ構成情報を格納するスキーム情報ボックス（ｓｉｎｆ）は、ＡＶコーデックボックス（ａｖｃ１）の下位に１つ設定することができると規定している。
例えばＭＰ４格納データが暗号化データである場合、再生装置はＡＶコーデックボックス（ａｖｃ１）内に設定されたスキーム情報ボックス（ｓｉｎｆ）を参照することで、暗号化データの復号に必要となる情報を得ることが可能となる。
【０１１３】
本実施例では、このスキーム情報ボックスを利用する。すなわち、３次元（ステレオ）画像についてのデータ構成情報を格納したスキーム情報ボックスを定義する。
図１０を参照して、３次元（ステレオ）画像についてのデータ構成情報、すなわち３次元画像詳細情報をスキーム情報ボックス（ｓｉｎｆ）に格納する例について説明する。
【０１１４】
図１０には、
（ａ）ＭＰ４ファイル４００、
（ｂ）ＡＶコーデックボックス（ａｖｃ１）４０１、
（ｃ）３次元画像情報スキーム情報ボックス４１０を含むＡＶコーデックボックス４０５、
これらのデータ構成を示している。
【０１１５】
例えばＭＰ４ファイル４００に３次元画像が含まれない場合、３次元画像詳細情報を記録したスキーム情報ボックス（ｓｉｎｆ）は設定されず、ＭＰ４ファイル内のＡＶコーデックボックス（ａｖｃ１）は、例えば図１０（ｂ）に示すようなＡＶコーデックボックス（ａｖｃ１）４０１、すなわちＡＶＣデータ構成情報を格納したＡＶＣデータ構成情報ボックス［ＡＶＣＣｏｎｆｉｇｕｒａｔｉｏｎＢｏｘ］４０２のみを有するデータ構成となる。ＡＶＣデータ構成情報ボックス［ＡＶＣＣｏｎｆｉｇｕｒａｔｉｏｎＢｏｘ］４０２には、ＭＰ４データの復号処理に必要となるコーデック情報が記録される。
【０１１６】
ＭＰ４ファイルに３次元画像が含まれる場合、図１０（ｂ）に示すＡＶコーデックボックス（ａｖｃ１）４０１は、図１０（ｃ）に示す３次元画像情報スキーム情報ボックス４１０を含むＡＶコーデックボックス４０５として設定する。
【０１１７】
なお、図１０（ｂ）に示す３次元画像情報スキーム情報ボックスを含まないＡＶコーデックボックス（ａｖｃ１）４０１のボックス名に相当するコード（４ＣＣ：ｆｏｕｒ−ｃｈａｒａｃｔｅｒ−ｃｏｄｅ）は［ａｖｃ１］であるが、
図１０（ｃ）に示す３次元画像情報スキーム情報ボックス４１０を含むＡＶコーデックボックス４０５は、ボックス名に相当するコード（４ＣＣ：ｆｏｕｒ−ｃｈａｒａｃｔｅｒ−ｃｏｄｅ）をステレオビデオデータに関する情報を含むことを示す［ｓｔｅｖ］に変更する。すなわち、ボックス名（４ＣＣ）から３次元画像情報スキーム情報ボックス４１０を含むＡＶコーデックボックス４０５であることが判別可能となる。なお、ボックス名（４ＣＣ）はＡＶコーデックボックス４０５のファイル名に対応しており、再生装置は、ファイル名から３次元画像情報スキーム情報ボックスを含むＡＶコーデックボックスであることを判別できる。
【０１１８】
３次元画像情報スキーム情報ボックス４１０は、
フォーマット情報ボックス（ｆｒｍａ）４１１、
スキームタイプボックス（ＳｃｈｅｍｅＴｙｐｅＢｏｘ）４１２、
スキーム詳細情報ボックス（ＳｃｈｅｍｅＩｎｆｏｒｍａｔｉｏｎＢｏｘ）４１３、
これらの各ボックスを有する。
【０１１９】
フォーマット情報ボックス（ｆｒｍａ）４１１はフォーマット情報を記録している、例えばＡＶＣフォーマットに従ったデータであることを示す場合、
ｄａｔａ＿ｆｏｒｍａｔ＝'ａｖｃ１'
このようなフォーマット情報が記録される。
【０１２０】
スキームタイプボックス（ＳｃｈｅｍｅＴｙｐｅＢｏｘ）４１２には、このスキーム情報ボックス４１０のタイプを示す情報が記録される。本例では、スキーム情報ボックス４１０は３次元画像の詳細情報を格納したスキーム情報ボックスであるので、スキームタイプボックス（ＳｃｈｅｍｅＴｙｐｅＢｏｘ）４１２には、３次元画像詳細情報を格納したスキーム情報ボックスであることを示すタイプ情報が記録される。
【０１２１】
スキーム詳細情報ボックス（ＳｃｈｅｍｅＩｎｆｏｒｍａｔｉｏｎＢｏｘ）４１３には、具体的な３次元画像の詳細情報が記録される。スキーム詳細情報ボックス（ＳｃｈｅｍｅＩｎｆｏｒｍａｔｉｏｎＢｏｘ）４１３に格納される３次元画像詳細情報は、先の実施例２において説明したフレーム構成情報（Ｆｒａｍｅ Ｐａｃｋｉｎｇ Ａｒｒａｎｇｅｍｅｎｔ ＳＥＩ）と同様の情報を含むものである。３次元画像の再生、表示処理を実行する際に必要となる情報が記録されている。
具体的には、例えば、
（ａ）フレームシーケンシャル方式［ＦＳ］、
（ｂ）サイドバイサイド方式［ＳｂＳ］、
（ｃ）トップアンドボトム方式［Ｔ＆Ｂ］、
これらの各方式に対応する３次元画像詳細情報が記録される。
【０１２２】
３次元画像の再生、表示を実行する装置は、ＡＶコーデックボックス（ａｖｃ１）の下位情報として設定された３次元画像情報スキーム情報ボックス４１０のスキーム詳細情報ボックス（ＳｃｈｅｍｅＩｎｆｏｒｍａｔｉｏｎＢｏｘ）４１３から３次元画像詳細情報を取得することで、ＭＰ４ファイルに格納された画像がどの方式に従った３次元画像であるかを識別することが可能となる。再生装置は、３次元画像情報スキーム情報ボックス４１０のスキーム詳細情報ボックス（ＳｃｈｅｍｅＩｎｆｏｒｍａｔｉｏｎＢｏｘ）４１３の記録情報を参照して、格納画像の方式に対応した復元処理を実行して正しい３次元画像表示用データを生成して再生、表示することが可能となる。
【０１２３】
従って、例えば３次元画像の表示機能を持たない表示装置に３次元画像データが誤って表示されてしまうといった事態を防止できる。
また、自装置の実行可能な３次元画像表示処理に応じたデータが記録されているかについても予め知ることが可能となり、自装置において処理可能であると判断された場合にのみ、実データボックス（ｍｄａｔ）１０４（図１参照）に格納された実データを取得してエンコード等の処理を開始することができ、無駄な処理を実行してしまう事態を避けることが可能となる。
【０１２４】
次に、図１１を参照して、ＭＰ４ファイルの実データボックス（ｍｄａｔ）に格納されたデータが３次元画像データであり、さらに暗号化データでもある場合のスキーム情報ボックスの利用構成について説明する。
【０１２５】
図１１には、
（ｃ）３次元画像情報スキーム情報ボックス４１０を含むＡＶコーデックボックス４０５、
（ｄ）３次元画像情報スキーム情報ボックス４１０を入れ子として階層化して設定した暗号化情報スキーム情報ボックス４２０を持つＡＶコーデックボックス４０７、
これらのデータ構成を示している。
（ｃ）のデータは、図１０（ｃ）のデータと同じ構成を持つＡＶコーデックボックス４０５である。
【０１２６】
ＭＰ４ファイルに格納された実データが３次元画像であり、さらに暗号化されている場合、再生装置は、第１のデータ構成情報（３次元画像詳細情報）のみならず、第２のデータ構成情報（暗号化情報）が必要となる。
図１１に示す例では、これらの個別のデータ構成情報を個別のスキーム情報ボックスとして設定して、これらを階層化して記録する構成としている。
【０１２７】
図１１に示す例では、複数のスキーム情報ボックス（ｓｉｎｆ）を階層化（入れ子状態）してＡＶコーデックボックスに格納している。
すなわち、図１１（ｄ）に示すＡＶコーデックボックス（ｅｎｃｖ）４０７に示すように、
（１）３次元（ステレオ）画像についてのデータ構成情報（３次元画像詳細情報）を格納する第１のスキーム情報ボックス（ｓｉｎｆ）４１０、
（２）暗号化処理についてのデータ構成情報（暗号化態様情報）を格納する第２のスキーム情報ボックス（ｓｉｎｆ）４２０、
これら２つのスキーム情報ボックスを階層化、すなわち入れ子状態に設定してＡＶコーデックボックスに格納している。
【０１２８】
本実施例では、図１１（ｄ）に示すように、３次元（ステレオ）画像についてのデータ構成情報（３次元画像詳細情報）を格納した第１のスキーム情報ボックス（ｓｉｎｆ）４１０を、暗号化処理についてのデータ構成情報（暗号化態様情報）を格納した第２のスキーム情報ボックス（ｓｉｎｆ）４２０のフォーマット情報ボックス（ｆｒｍａ）の下位に設定したボックスとしている。
【０１２９】
なお、図１０（ｂ）に示す３次元画像情報スキーム情報ボックスを含まないＡＶコーデックボックス（ａｖｃ１）４０１のボックス名に相当するコード（４ＣＣ：ｆｏｕｒ−ｃｈａｒａｃｔｅｒ−ｃｏｄｅ）は［ａｖｃ１］であり、図１１（ｃ）に示す３次元画像情報スキーム情報ボックス４１０を含むＡＶコーデックボックス４０５は、ボックス名に相当するコード（４ＣＣ：ｆｏｕｒ−ｃｈａｒａｃｔｅｒ−ｃｏｄｅ）がステレオビデオデータに関する情報を含むことを示す［ｓｔｅｖ］である。
【０１３０】
さらに、図１１（ｄ）に示す３次元画像情報スキーム情報ボックス４１０を入れ子として含む暗号化情報スキーム情報ボックス４２０を持つＡＶコーデックボックス４０７は、ボックス名に相当するコード（４ＣＣ：ｆｏｕｒ−ｃｈａｒａｃｔｅｒ−ｃｏｄｅ）を暗号化ビデオデータに関する情報を含むことを示す［ｅｎｃｖ］として設定する。これにより、ボックス名（４ＣＣ）から暗号化情報スキーム情報ボックス４２０を含むＡＶコーデックボックス４０５であることが判別可能となる。
【０１３１】
第１のスキーム情報ボックス（ｓｉｎｆ）４１０には、３次元（ステレオ）画像についてのデータ構成情報（３次元画像詳細情報）を格納する。
第１のスキーム情報ボックス（ｓｉｎｆ）４１０は、先に図１０を参照して説明したと同様のボックス、すなわち、
フォーマット情報ボックス（ｆｒｍａ）４１１、
スキームタイプボックス（ＳｃｈｅｍｅＴｙｐｅＢｏｘ）４１２、
スキーム詳細情報ボックス（ＳｃｈｅｍｅＩｎｆｏｒｍａｔｉｏｎＢｏｘ）４１３、
これらの各ボックスを有する。
【０１３２】
フォーマット情報ボックス（ｆｒｍａ）４１１はフォーマット情報を記録している、例えばＡＶＣフォーマットに従ったデータであることを示す場合、
ｄａｔａ＿ｆｏｒｍａｔ＝'ａｖｃ１'
このようなフォーマット情報が記録される。
【０１３３】
スキームタイプボックス（ＳｃｈｅｍｅＴｙｐｅＢｏｘ）４１２には、このスキーム情報ボックス４１０のタイプを示す情報が記録される。本例では、スキーム情報ボックス４１０は３次元画像の詳細情報を格納したスキーム情報ボックスであるので、スキームタイプボックス（ＳｃｈｅｍｅＴｙｐｅＢｏｘ）４１２には、３次元画像の詳細情報を格納したスキーム情報ボックスであることを示すタイプ情報が記録される。
【０１３４】
スキーム詳細情報ボックス（ＳｃｈｅｍｅＩｎｆｏｒｍａｔｉｏｎＢｏｘ）４１３には、具体的な３次元画像の詳細情報が記録される。スキーム詳細情報ボックス（ＳｃｈｅｍｅＩｎｆｏｒｍａｔｉｏｎＢｏｘ）４１３に格納される３次元画像詳細情報は、先の実施例２において説明したフレーム構成情報（Ｆｒａｍｅ Ｐａｃｋｉｎｇ Ａｒｒａｎｇｅｍｅｎｔ ＳＥＩ）と同様の情報を含むものである。
すなわち、例えば、
（ａ）フレームシーケンシャル方式［ＦＳ］、
（ｂ）サイドバイサイド方式［ＳｂＳ］、
（ｃ）トップアンドボトム方式［Ｔ＆Ｂ］、
これらの各方式に対応する３次元画像詳細情報を記録する。
【０１３５】
再生装置は、この第１のスキーム情報ボックス（ｓｉｎｆ）４１０に格納された３次元画像詳細情報を参照することで、ＭＰ４ファイルの実データボックス（ｍｄａｔ）に格納された３次元画像の詳細情報を得ることが可能となる。
【０１３６】
また、第２のスキーム情報ボックス（ｓｉｎｆ）４２０には、暗号化処理についてのデータ構成情報（暗号化態様情報）を格納する。
第２のスキーム情報ボックス（ｓｉｎｆ）４２０は、
フォーマット情報ボックス（ｆｒｍａ）４２１、
スキームタイプボックス（ＳｃｈｅｍｅＴｙｐｅＢｏｘ）４２２、
スキーム詳細情報ボックス（ＳｃｈｅｍｅＩｎｆｏｒｍａｔｉｏｎＢｏｘ）４２３、
これらの各ボックスを有する。
【０１３７】
フォーマット情報ボックス（ｆｒｍａ）４２１は、３次元（ステレオ）画像についてのデータ構成情報（３次元画像詳細情報）を格納した第１のスキーム情報ボックス（ｓｉｎｆ）４１０を下位階層のデータ、すなわち入れ子状態として保持している。
さらに、フォーマット情報を記録している。この例では、３次元（ステレオ）画像についてのデータ構成情報（３次元画像詳細情報）を格納した第１のスキーム情報ボックス（ｓｉｎｆ）４１０を格納していることを示すフォーマットデータとして、
ｄａｔａ＿ｆｏｒｍａｔ＝'ｓｔｅｖ'
このようなフォーマット情報が記録される。
【０１３８】
スキームタイプボックス（ＳｃｈｅｍｅＴｙｐｅＢｏｘ）４２２には、このスキーム情報ボックス４２０のタイプを示す情報が記録される。本例では、スキーム情報ボックス４２０は暗号化処理についての詳細情報を格納したスキーム情報ボックスであるので、スキームタイプボックス（ＳｃｈｅｍｅＴｙｐｅＢｏｘ）４２２には、暗号化詳細情報を格納したスキーム情報ボックスであることを示す情報が記録される。
【０１３９】
スキーム詳細情報ボックス（ＳｃｈｅｍｅＩｎｆｏｒｍａｔｉｏｎＢｏｘ）４２３には、具体的な暗号化処理の詳細情報が記録される。スキーム詳細情報ボックス（ＳｃｈｅｍｅＩｎｆｏｒｍａｔｉｏｎＢｏｘ）４２３に格納される暗号化情報は、再生装置において暗号化データを復号するために必要となる情報が記録される。
【０１４０】
再生装置は、この第２のスキーム情報ボックス（ｓｉｎｆ）４２０に格納された暗号化態様情報を参照して、ＭＰ４ファイルの実データボックス（ｍｄａｔ）に格納されたデータの復号処理に必要な情報を得ることが可能となる。
【０１４１】
再生処理や表示処理を行う場合に、異なるデータ構成情報、すなわち３次元画像情報や暗号化情報等のように、異なるデータ構成情報が必要となる場合、図１１（ｄ）に示すようにそれぞれのデータ構成情報に対応するスキーム情報ボックスを設定し、これらを階層化構成（入れ子）としてＡＶコーデックボックス内に記録する。
このようなデータ構成情報記録処理を行うことで、ＭＰ４ファイルに格納された実データの再生、表示処理に必要となる全ての情報をＡＶコーデックボックスから取得することが可能となる。
【０１４２】
なお、図１１を参照して説明した例は、以下の２つのスキーム情報ボックス、すなわち、
（１）３次元（ステレオ）画像についてのデータ構成情報（３次元画像詳細情報）を格納する第１のスキーム情報ボックス（ｓｉｎｆ）４１０、
（２）暗号化処理についてのデータ構成情報（暗号化態様情報）を格納する第２のスキーム情報ボックス（ｓｉｎｆ）４２０、
これら２つの異なるデータ構成情報に対応するスキーム情報ボックスを階層化、すなわち入れ子状態に設定してＡＶコーデックボックスに格納した例である。
【０１４３】
この他にもＭＰ４ファイルに格納した実データに関する様々なデータ構成情報について、例えば３以上の複数階層に設定した多数のスキーム情報ボックスを設定することが可能である。本実施例のようにスキーム情報ボックスの階層化（入れ子）構成を用いることで、再生、表示処理の際に必要となる様々なデータ構成情報やデータ変換情報をいくつでも設定して管理情報として記録することが可能となる。
【０１４４】
再生装置は、これらの管理情報を取得することで、ＭＰ４ファイルに格納された実データを誤りなく再生、表示することが可能となる。
【０１４５】
［３．画像処理装置の実行する画像処理シーケンスについて］
次に、本発明の一実施例に係る画像処理装置の実行する画像処理シーケンスについて、図１２、図１３に示すフローチャートを参照して説明する。
図１２は、画像データの記録処理シーケンスを説明するフローチャートである。
図１３は、画像データの再生処理シーケンスを説明するフローチャートである。
【０１４６】
まず、図１２に示すフローチャートを参照して画像データの記録処理シーケンスについて説明する。
この図１２に示すフローチャートに従った処理は、例えば画像を撮影し記録メディアに記録する処理を実行するカメラ等の撮像装置において実行される。例えば撮像装置に備えられたＣＰＵ等の制御部の制御の下で実行される処理である。
図１２に示すフローチャートの各ステップの処理について説明する。
【０１４７】
ステップＳ１０１において、例えば撮影処理によって取得され記録メディアに記録する予定のデータが３次元画像データを含むか否かを判定する。
ステップＳ１０１において、メディアへの記録予定データに３次元画像データが含まれる場合は、ステップＳ１０１の判定はＹｅｓとなり、ステップＳ１０２に進む。
【０１４８】
ステップＳ１０２では、ＭＰ４ファイルのプロファイルボックスに３次元画像識別情報を記録する。
この処理は、先に説明した［［３−１．（１）プロファイルボックス（ｕｕｉｄ（ＰＲＯＦ））に３次元画像識別情報を記録する実施例（実施例１）］に対応する処理である。すなわち、図２、図３を参照して説明した処理である。
【０１４９】
図２を参照して説明した以下のフラグ、すなわち、
ステレオビデオフラグ（ｓｔｅｒｅｏ ｖｉｄｅｏ ｆｌａｇ）２０１、
ミックスステレオビデオフラグ（Ｍｉｘｅｄ ｓｔｅｒｅｏ ｖｉｄｅｏ ｆｌａｇ）２０２、
これらの各フラグの値として、記録予定データの種類に応じて図３に示すフラグの値を設定する。
【０１５０】
次に、ステップＳ１０３において、記録予定の３次元画像データの方式を判定する。なお、このフローでは、Ａ、Ｂ、Ｃの３タイプについて判別する例としている。これらは、例えば、先の実施例２，３において説明した以下の３タイプに対応する。
（ａ）フレームシーケンシャル方式［ＦＳ］、
（ｂ）サイドバイサイド方式［ＳｂＳ］、
（ｃ）トップアンドボトム方式［Ｔ＆Ｂ］、
これらの各方式に対応する。
【０１５１】
ステップＳ１０３の判定が方式Ａと判定された場合は、ステップＳ１０４に進み、ＭＰ４ファイルのＡＶコーデックボックスに方式Ａに対応する３次元画像詳細情報を記録する。
また、ステップＳ１０３の判定が方式Ｂと判定された場合は、ステップＳ１０５に進み、ＭＰ４ファイルのＡＶコーデックボックスに方式Ｂに対応する３次元画像詳細情報を記録する。
また、ステップＳ１０３の判定が方式Ｃと判定された場合は、ステップＳ１０６に進み、ＭＰ４ファイルのＡＶコーデックボックスに方式Ｃに対応する３次元画像詳細情報を記録する。
【０１５２】
このステップＳ１０４〜Ｓ１０６の処理は、先に説明した実施例２または実施例３の処理に対応する。
すなわち、前述の［３−２．（２）ＡＶコーデックボックス（ａｖｃ１）に３次元画像詳細情報を記録する実施例（実施例２）］、または、［３−３．（３）ＡＶコーデックボックス（ａｖｃ１）の拡張構成として規定されるスキーム情報ボックス（ｓｉｎｆ）を利用して３次元画像詳細情報を記録する実施例（実施例３）］、これらの処理に対応する。
なお、実施例２の処理または実施例３の処理のいずれかを実行する構成としてもよいし、両者を実行する構成としてもよい。
【０１５３】
なお、ＡＶコーデックボックスは図１を参照して説明したように、ムービーボックス（ｍｏｏｖ）の下位のトラックボックスのさらに下位のサンプルディスクリプションボックス(ｓｔｓｄ)の下位に設定されるコーデック情報を格納したボックスである。
【０１５４】
実施例２の処理では、図４〜図９を参照して説明したように、ＡＶコーデックボックスにステレオビデオ情報ボックス３０２（図４参照）を設定し、ここに、例えば図８、図９を参照して説明した３次元画像詳細情報としてのフレーム構成情報を記録する。図８、図９を参照して説明したように、３次元画像の方式に応じて異なるデータが記録される。
【０１５５】
また、実施例３の処理を行う場合は、図１０、図１１を参照して説明したようにスキーム情報ボックスを設定して、スキーム情報ボックス内に３次元画像詳細情報を記録する。この場合も３次元画像の方式に応じて異なるデータが記録される。
【０１５６】
これらステップＳ１０４〜Ｓ１０６の処理の完了後、ステップＳ１０７に進み、ＭＰ４ファイルを完成させて、メディアに対する記録処理を実行する。
【０１５７】
なお、ステップＳ１０１において、取得データに３次元画像データを含まないと判定した場合は、ステップＳ１０１の判定はＮｏの判定となり、ステップＳ１１０に進む。ステップＳ１１０では、ＭＰ４ファイルのプロファイルボックスに２次元画像識別情報を記録する。
【０１５８】
この処理は、先に説明した［［３−１．（１）プロファイルボックス（ｕｕｉｄ（ＰＲＯＦ））に３次元画像識別情報を記録する実施例（実施例１）］に対応する処理である。すなわち、図２、図３を参照して説明した処理である。すなわち、図２に示す、以下のフラグ、
ステレオビデオフラグ（ｓｔｅｒｅｏ ｖｉｄｅｏ ｆｌａｇ）２０１、
ミックスステレオビデオフラグ（Ｍｉｘｅｄ ｓｔｅｒｅｏ ｖｉｄｅｏ ｆｌａｇ）２０２、
これらの各フラグの値として、記録予定データが２次元画像データのみであることを示すフラグの値を設定する。その後、ステップＳ１０７に進み、ＭＰ４ファイルを完成させて、メディアに対する記録処理を実行する。
【０１５９】
なお、図１２に示すフローは、記録メディアに対するデータ記録処理におけるＭＰ４ファイルの作成処理例として説明したが、通信データとしてＭＰ４ファイルを生成する場合も同様の処理シーケンスでＭＰ４ファイルの作成処理を行えばよい。
【０１６０】
また、図１２に示すフローでは、前述の実施例１のプロファイルボックスの３次元画像識別情報と、実施例２または３のＡＶコーデックボックスの３次元画像詳細情報の双方を読み取る設定例として説明したが、実施例１のプロファイルボックスの３次元画像識別情報のみを読み取って利用する処理を行う構成としてもよいし、実施例２または３のＡＶコーデックボックスの３次元画像詳細情報のみを読み取って利用する処理を行う構成としてもよい。
【０１６１】
次に、図１３に示すフローチャートを参照して画像データの再生処理シーケンスについて説明する。
この図１３に示すフローチャートに従った処理は、例えば記録メディアから読み取ったＭＰ４ファイル、あるいは通信データとして受信したＭＰ４ファイルに対する処理を実行する再生装置において実行される。例えば再生装置に備えられたＣＰＵ等の制御部の制御の下に実行される処理である。
図１３に示すフローチャートの各ステップの処理について説明する。
【０１６２】
まず、ステップＳ２０１においてＭＰ４ファイルのプロファイルボックス（ＰＲＯＦ）の情報を取得する。
この処理は、先に説明した［［３−１．（１）プロファイルボックス（ｕｕｉｄ（ＰＲＯＦ））に３次元画像識別情報を記録する実施例（実施例１）］に対応する処理である。すなわち、図２、図３を参照して説明したＭＰ４ファイルのプロファイルボックス（ＰＲＯＦ）の情報を取得する処理である。
【０１６３】
具体的には、図２に示す以下のフラグ、すなわち、
ステレオビデオフラグ（ｓｔｅｒｅｏ ｖｉｄｅｏ ｆｌａｇ）２０１、
ミックスステレオビデオフラグ（Ｍｉｘｅｄ ｓｔｅｒｅｏ ｖｉｄｅｏ ｆｌａｇ）２０２、
これらの各フラグの値を読み取る。
【０１６４】
先に図３を参照して説明したように、フラグ設定値により、以下のデータ識別が可能となる。
（ケース１）
ステレオビデオフラグ＝１、ミックスステレオビデオフラグ＝０、
この場合は、
（ａ）ＭＰ４ファイルに格納された画像データが全て３次元画像（ステレオ画像）
であると判定する。
【０１６５】
（ケース２）
ステレオビデオフラグ＝０、ミックスステレオビデオフラグ＝０、
この場合は、
（ｂ）ＭＰ４ファイルに格納された画像データが全て２次元画像
であると判定する。
【０１６６】
（ケース３）
ステレオビデオフラグ＝０、ミックスステレオビデオフラグ＝１、
この場合は、
（ｃ）ＭＰ４ファイルに格納された画像データが３次元画像（ステレオ画像）と２次元画像の混在データ
であると判定する。
【０１６７】
ステップＳ２０１におけるプロファイルボックスの３次元画像識別情報としてのフラグ読み取りにより、ステップＳ２０２において、３次元画像データが含まれないと判定した場合は、ステップＳ２１０に進み、ＭＰ４ファイルから２次元画像データを取得して再生、表示を実行する。
【０１６８】
一方、ステップＳ２０２において、３次元画像データが含まれると判定した場合は、ステップＳ２０３に進む。
ステップＳ２０３では、ＭＰ４ファイルのＡＶコーデックボックスの情報を取得する。
この処理は、前述の［３−２．（２）ＡＶコーデックボックス（ａｖｃ１）に３次元画像詳細情報を記録する実施例（実施例２）］、または、［３−３．（３）ＡＶコーデックボックス（ａｖｃ１）の拡張構成として規定されるスキーム情報ボックス（ｓｉｎｆ）を利用して３次元画像詳細情報を記録する実施例（実施例３）］、これらの記録データを読み取る処理に対応する。
【０１６９】
例えば、実施例２に対応する３次元情報記録処理が行われている場合、図４〜図９を参照して説明したように、ＡＶコーデックボックスにステレオビデオ情報ボックス３０２（図４参照）が設定され、ここに、例えば図８、図９を参照して説明した３次元画像詳細情報としてのフレーム構成情報が記録されている。ステップＳ２０３では、このステレオビデオ情報ボックス３０２（図４参照）から３次元画像詳細情報を読み取る。
【０１７０】
例えば、例えば図８、図９を参照して説明した３次元画像詳細情報としてのフレーム構成情報の設定値を読み取ることで、再生予定データが、
（ａ）フレームシーケンシャル方式［ＦＳ］、
（ｂ）サイドバイサイド方式［ＳｂＳ］、
（ｃ）トップアンドボトム方式［Ｔ＆Ｂ］、
これらのいずれの方式に従ったデータであるかを判別することが可能となる。
【０１７１】
また、実施例３に対応する３次元情報記録処理が行われている場合、図１０、図１１を参照して説明したようにスキーム情報ボックスがＡＶコーデックボックスの下位データとして記録されており、このスキーム情報ボックスから３次元画像詳細情報を読み取る。
【０１７２】
少なくとも実施例２または実施例３のいずれかの方式に従って記録された３次元画像詳細情報を取得して、再生予定データの３次元画像方式を確認することが可能となる。この確認により、ステップＳ２０４の方式判定処理を実行する。すなわち、ＡＶコーデックボックスから取得した３次元画像詳細情報に基づいて、ステップＳ２０４において、再生予定データが方式Ａ，Ｂ，Ｃのいずれであるかを判定する。
【０１７３】
方式Ａに対応する３次元画像データであると判定した場合は、ステップＳ２０５に進み、方式Ａに対応する画像のデコード（復号、復元処理）を行い、再生、表示処理を実行する。
方式Ｂに対応する３次元画像データであると判定した場合は、ステップＳ２０６に進み、方式Ｂに対応する画像のデコード（復号、復元処理）を行い、再生、表示処理を実行する。
方式Ｃに対応する３次元画像データであると判定した場合は、ステップＳ２０７に進み、方式Ｃに対応する画像のデコード（復号、復元処理）を行い、再生、表示処理を実行する。
【０１７４】
このように、本発明に従った処理を行うことで、画像処理装置は、ＭＰ４ファイルに格納されたデータに３次元画像が含まれるか否か、さらに３次元画像データが含まれる場合、その記録再生方式について、ＭＰ４ファイル内の管理情報としてのプロファイルボックスやＡＶコーデックボックスから取得することが可能となる。
従って、ＭＰ４ファイルの実データを取得して解析、あるいは再生処理を実行する前に、自装置の再生可能な３次元画像データであるか否かを確認することが可能となり、再生可能であると判定した場合にのみ実データを取得し、方式に応じた処理に従って、正しいデコード、再生処理を実行することが可能となる。
【０１７５】
なお、図１３に示すフローでは、前述の実施例１〜３において説明したＭＰ４ファイルにおいて、実施例１のプロファイルボックスの３次元画像識別情報と、実施例２または３のＡＶコーデックボックスの３次元画像詳細情報の双方を記録したＭＰ４ファイルを生成する例として説明したが、実施例１のプロファイルボックスの３次元画像識別情報のみを記録する処理を行う構成としてもよいし、実施例２または３のＡＶコーデックボックスの３次元画像詳細情報のみを記録する処理を行う構成としてもよい。
【０１７６】
［４．本発明の画像処理装置の構成例について］
次に、本発明の画像処理装置の構成例について図１４を参照して説明する。図１４に示すのは本発明の画像処理装置の一実施例としての撮像装置５００の構成例である。撮像装置５００は、３次元画像表示に適用する異なる視点からの画像を撮影する機能を持ち、ユーザのモード設定により、２次元画像と３次元画像の撮影を切り替え可能な構成を持つ。
【０１７７】
撮像部５０１は、例えば異なる位置に設定された複数のレンズ部を有し、同時に異なる視点からの画像を撮影可能な構成である。３次元画像撮影モードの設定時には、複数のレンズ部を介して撮影した画像を入力する。２次元画像撮影モードの設定時には、１つのレンズ部を介して撮影した画像のみを入力する。
【０１７８】
画像信号処理部５０２はホワイトバランス調整などの撮影画像データの信号処理を実行する。
データ符号化部５０３は、ＭＰ４ファイルを生成する。入力データが３次元画像である場合は、前処理部５１１において各方式に従って前処理を実行する。具体的には、例えば図５〜図７を参照して説明した各方式、すなわち、
（ａ）フレームシーケンシャル方式［ＦＳ］、
（ｂ）サイドバイサイド方式［ＳｂＳ］、
（ｃ）トップアンドボトム方式［Ｔ＆Ｂ］、
これらの各方式に従って、撮影画像からＭＰ４デコード用画像を生成する。例えば、図６に示すサイドバイサイド方式［ＳｂＳ］に従って記録データを生成する場合、撮影画像は図６の右側に示す表示用Ｌ画像（フレーム０）３３４と、表示用Ｒ画像（フレーム１）３３５に対応する２つの画像であり、これらの画像を適用して図６の左側に示すＭＰ４デコード結果画像３３１に対応する画像フレームを生成する。
【０１７９】
このデータをエンコード部５１２に入力してＭＰ４フォーマットに従った符号化（エンコード）処理を実行する。さらに、ファイル生成部５１３は、先に実施例１〜実施例３において説明した３次元画像識別情報のプロファイルボックスに対する記録処理や、３次元画像詳細情報のＡＶコーデックボックスに対する記録処理等を実行してＭＰ４ファイルを生成する。
【０１８０】
ファイル生成部５１３は、エンコード部５１２の生成した画像データの符号化データと、該符号化データの管理情報を含む符号化データ格納ファイルであるＭＰ４ファイルを生成する。
ファイル生成部５１３は、ＭＰ４ファイル生成に際して、ファイルに格納する画像データに３次元画像データが含まれるか否かを示す３次元画像識別情報をＭＰ４ファイルのプロファイルボックスに記録する。
３次元画像識別情報をＭＰ４ファイルのプロファイルボックスに記録する処理は先に実施例１を参照して説明した処理に対応する。
【０１８１】
また、ファイル生成部５１３は、ファイル格納画像データに３次元画像データが含まれる場合、３次元画像の方式を判別可能とする３次元画像詳細情報をＡＶコーデックボックスに記録する。
３次元画像詳細情報をＡＶコーデックボックスに記録する処理は先に実施例２，３を参照して説明した処理に対応する。
【０１８２】
例えば、実施例３に対応する処理を実行する場合、ファイル生成部５１３は、符号化データの再生処理時のデータ処理に適用する情報をデータ処理のカテゴリ単位で設定したデータ構成情報を含むスキーム情報ボックスを生成し、複数のカテゴリ単位のスキーム情報ボックスを階層化して管理情報中に記録したファイルを生成する。
なお、ファイル生成部５１３は、ＭＰ４ファイルに格納する画像データの区分データであるトラック単位またはサンプル単位の区分データ単位で３次元画像詳細情報を記録する処理を行う
【０１８３】
データ符号化部５０３において生成したＭＰ４ファイルは、記録部５０４に提供され、フラッシュメモリやＨＤＤ、ＤＶＤ等の記録メディア５３０に記録される。
あるいは、データ符号化部５０３において生成したＭＰ４ファイルは、通信部５０５に提供され、パケット化されて送信処理が行われる。
【０１８４】
なお、このデータ記録処理によって記録メディア５３０には、画像データの符号化データと、符号化データの管理情報を含むＭＰ４ファイルが記録される。ＭＰ４ファイルに含まれる管理情報には、画像データに３次元画像データが含まれるか否かを示す３次元画像識別情報や、３次元画像の方式を判別可能な３次元画像詳細情報が含まれる。従って、この記録メディア５３０からＭＰ４ファイルを読み取り再生する装置は、管理情報を参照して自装置における再生可能性を判定することが可能となる。
【０１８５】
例えば、記録メディア５３０には、先に説明した実施例３のスキーム情報ボックスの階層化構成を持つ管理情報が含まれるＭＰ４ファイルが記録される。すなわち、記録メディア５３０に記録されるＭＰ４ファィルの管理情報は、符号化データの再生処理時のデータ処理に適用する情報をデータ処理のカテゴリ単位で設定したデータ構成情報を階層化して記録した構成となる。このような情報記録媒体である記録メディア５３０からＭＰ４ファイルを読み取り再生する装置は、階層化されたデータ構成情報を順次取得して、取得したデータ構成情報を適用して複数の異なるカテゴリのデータ処理を実行することが可能となる。
【０１８６】
次に、記録メディア５３０に記録されたＭＰ４ファイル、あるいは通信部５０５を介して受信したＭＰ４ファイルの再生処理について説明する。フラッシュメモリやＨＤＤ、ＤＶＤ等の記録メディア５３０に記録されたＭＰ４ファイルは、再生部５０６を介して読み取られてデータ復号部５０７に提供される。同様に、通信部５０５を介して受信したＭＰ４ファイルもデータ復号部５０７に提供される。
【０１８７】
データ復号部５０７のファイル解析部５２１は、まず受領したＭＰ４ファイルの管理情報、すなわち、先に図１を参照して説明したファイルタイプボックス（ｆｔｙｐ）、プロファイルボックス（ｕｕｉｄ（ＰＲＯＦ））、ムービーボックス（ｍｏｏｖ）、これらの各ボックスに記録された管理情報を取得する。
【０１８８】
先に実施例１を参照して説明したように、プロファイルボックス（ｕｕｉｄ（ＰＲＯＦ））にはＭＰ４ファイルの実データボックス（ｍｄａｔ）に格納された画像データに３次元画像が含まれるか否かを示す３次元画像識別情報が記録されている。図２、図３を参照して説明した情報である。
【０１８９】
また、実施例２，３を参照して説明したように、ムービーボックス（ｍｏｏｖ）の下位にあるＡＶコーデックボックスには、３次元画像詳細情報、すなわち、ＭＰ４ファイルの実データボックス（ｍｄａｔ）に格納された画像データが３次元画像データである場合、その３次元画像データの記録、再生方式に関する詳細情報が記録されている。これは、図４〜図１１を参照して説明した情報である。例えば実施例２，３の構成が利用されたＭＰ４ファイルの解析を行う場合、ファイル解析部５２１は、例えばＭＰ４ファイルに格納された画像データの区分データであるトラック単位またはサンプル単位の区分データ単位で情報を取得する。
【０１９０】
データ復号部５０７のファイル解析部５２１は、これらＭＰ４ファイル内の管理情報を解析してＭＰ４ファイルの実データボックス（ｍｄａｔ）に格納された画像データに３次元画像が含まれるか否か、さらに、３次元画像が含まれる場合、その方式について確認する。
【０１９１】
その後、確認情報とともに、ＭＰ４ファイルはデコード部５２２に提供される。なお、ファイル解析部５２１のＭＰ４ファイル解析結果から、ＭＰ４ファイルの格納データが撮像装置５００において再生可能な方式に対応しないと判断された場合は、その後の処理、すなわちデコード処理等は実行されない。これらの処理制御は制御部５７０においてメモリ５７１に格納されたプログラムに従って実行される。制御部５７０は、ＭＰ４ファイルの３次元画像管理情報を適用して自装置における再生可能性を判定し、再生可能と判定した後にデコード部５２２における画像データの復号処理を開始させる制御を行う。
【０１９２】
ファイル解析部５２１のＭＰ４ファイル解析結果に基づいて、ＭＰ４ファイルの格納データが撮像装置５００において再生可能な方式に対応すると判断された場合は、デコード部５２２において、ＭＰ４データの復号（テコード）処理が開始される。さらに、３次元画像方式情報、およびデコード結果が表示情報生成部５２３に提供される。
【０１９３】
表示情報生成部５２３は、３次元画像方式情報、すなわち、ＭＰ４ファイル格納データが、例えば、下記のいずれの方式に対応するかに応じて、各方式に従った画像の復元処理（図５〜図７参照）を実行する。
（ａ）フレームシーケンシャル方式［ＦＳ］、
（ｂ）サイドバイサイド方式［ＳｂＳ］、
（ｃ）トップアンドボトム方式［Ｔ＆Ｂ］、
これらの各方式に従って、左目用画像（Ｌ画像）、右目用画像（Ｒ画像）をせいせいする。
データ復号部５０７の生成した表示用画像は表示部５５０に提供されて、画像表示が行われる。
【０１９４】
なお、表示情報生成部５２３は、３次元画像表示に適用するための左目用画像と右目用画像の生成を行うデータ処理部のた、例えば暗号化データの復号処理を実行するデータ処理部など、様々なカテゴリのデータ処理を実行するデータ処理部によって構成される。表示情報生成部５２３は、ＭＰ４ファイルに格納された画像データの再生処理に際して実行される複数の異なるカテゴリのデータ処理を実行するデータ処理部によって構成される。
【０１９５】
先に説明した実施例３の階層化されたスキーム情報ボックスを持つ管理情報を含むＭＰ４ファイルを利用した処理では、ファイル解析部５２１は、ＭＰ４ファイルの管理情報の階層化されたデータ構成情報を取得し、デコード部５２２や表示情報生成部５２３は、ファイル解析部５２１の取得したカテゴリ単位のデータ構成情報からなスキーム情報ボックスに含まれる情報を適用して複数の異なるカテゴリのデータ処理を実行する。
【０１９６】
なお、これらの各構成部の処理の制御は制御部５７０において実行される。制御部５８０はメモリ５７１に予め格納されたプログラムに従って、撮影処理データ記録処理、通信データの生成、データ送受信処理、データ再生処理、表示処理等の制御を実行する。データ記録あるいはデータ送信処理に際しては、先に図１２のフローチャートを参照して説明した処理シーケンスに従った処理制御を実行し、データ再生処理に際しては、先に図１３のフローチャートを参照して説明した処理シーケンスに従った処理制御を実行する。
【０１９７】
以上、特定の実施例を参照しながら、本発明について詳解してきた。しかしながら、本発明の要旨を逸脱しない範囲で当業者が実施例の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、限定的に解釈されるべきではない。本発明の要旨を判断するためには、特許請求の範囲の欄を参酌すべきである。
【０１９８】
また、明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させるか、あるいは、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。例えば、プログラムは記録媒体に予め記録しておくことができる。記録媒体からコンピュータにインストールする他、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、インターネットといったネットワークを介してプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。
【０１９９】
なお、明細書に記載された各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。また、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。
【産業上の利用可能性】
【０２００】
以上、説明したように、本発明の一実施例の構成によれば、ＭＰ４ファイルに格納されたデータの再生処理において実行する様々なデータ処理、例えば３次元画像表示処理や、暗号化データの復号処理など、様々な異なるカテゴリのデータ処理に適用する情報をＭＰ４ファイルの管理情報中に階層化して記録する構成とした。この構成により、ＭＰ４ファイルに格納されたデータの再生、例えば暗号化された３次元画像データの表示処理などにおいて実行が必要となる異なるカテゴリのデータ処理の各々に必要となる様々な情報を、ＭＰ４ファイルの管理情報から確実に取得することが可能となり、スムーズなデータ再生処理が可能となる。
【符号の説明】
【０２０１】
１００ ＭＰ４ファイル
１０１ ファイルタイプボックス（ｆｔｙｐ）
１０２ プロファイルボックス（ｕｕｉｄ（ｐｒｏｆ））
１０３ ムービーボックス（ｍｏｏｖ）
１０４ 実データボックス（ｍｄａｔ）
１１１ トラックボックス（ｔｒａｋ）
１１２ サンプルディスクリプションボックス(ｓｔｓｄ)
１１３ ＡＶコーデックボックス
２０１ ステレオビデオフラグ（ｓｔｅｒｅｏ ｖｉｄｅｏ ｆｌａｇ）
２０２ ミックスステレオビデオフラグ（Ｍｉｘｅｄ ｓｔｅｒｅｏ ｖｉｄｅｏ ｆｌａｇ）
３０１ データ領域
３０２ ステレオビデオ情報ボックス（Ｓｔｅｒｅｏ Ｖｉｄｅｏ Ｄｅｓｃｒｉｐｔｉｏｎ Ｂｏｘ）
３２１ デコード画像フレーム
３２２ 表示画像フレーム
３３１ ＭＰ４デコード結果画像
３３２ アンパックＬ画像（フレーム０）
３３３ アンパックＲ画像（フレーム１）
３３４ 表示用Ｌ画像（フレーム０）
３３５ 表示用Ｒ画像（フレーム１）
３４１ ＭＰ４デコード結果画像
３４２ アンパックＬ画像（フレーム０）
３４３ アンパックＲ画像（フレーム１）
３４４ 表示用Ｌ画像（フレーム０）
３４５ 表示用Ｒ画像（フレーム１）
４００ ＭＰ４ファイル
４０１ ＡＶコーデックボックス（ａｖｃ１）
４０２ ＡＶＣデータ構成情報ボックス［ＡＶＣＣｏｎｆｉｇｕｒａｔｉｏｎＢｏｘ］
４０５ ＡＶコーデックボックス
４０７ ＡＶコーデックボックス（ｅｎｃｖ）
４１０ ３次元画像情報スキーム情報ボックス
４１１ フォーマット情報ボックス（ｆｒｍａ）
４１２ スキームタイプボックス（ＳｃｈｅｍｅＴｙｐｅＢｏｘ）
４１３ スキーム詳細情報ボックス（ＳｃｈｅｍｅＩｎｆｏｒｍａｔｉｏｎＢｏｘ）
４２０ 暗号化情報スキーム情報ボックス
４２１ フォーマット情報ボックス（ｆｒｍａ）
４２２ スキームタイプボックス（ＳｃｈｅｍｅＴｙｐｅＢｏｘ）
４２３ スキーム詳細情報ボックス（ＳｃｈｅｍｅＩｎｆｏｒｍａｔｉｏｎＢｏｘ）
５００ 撮像装置
５０１ 撮像部
５０２ 画像信号処理部
５０３ データ符号化部
５０４ 記録部
５０５ 通信部
５０６ 再生部
５０７ データ復号部
５１１ 前処理部
５１２ エンコード部
５１３ ファイル生成部
５２１ ファイル解析部
５２２ デコード部
５２３ 表示情報生成部
５３０ 記録メディア
５５０ 表示部
５７０ 制御部
５７１ メモリ
【特許請求の範囲】
【請求項１】
画像データの符号化処理を実行するエンコード部と、
前記エンコード部の生成した符号化データと、該符号化データの管理情報を含む符号化データ格納ファイルを生成するファイル生成部を有し、
前記ファイル生成部は、
前記符号化データの再生処理時のデータ処理に適用する情報をデータ処理のカテゴリ単位で設定したデータ構成情報を生成し、複数のカテゴリ単位のデータ構成情報を階層化して前記管理情報中に記録したファイルを生成する画像処理装置。
【請求項２】
前記カテゴリ単位のデータ構成情報の少なくとも１つは、前記ファイル生成部の生成ファイルの格納画像データに３次元画像データが含まれるか否かを判別可能とした３次元画像管理情報である請求項１に記載の画像処理装置。
【請求項３】
前記カテゴリ単位のデータ構成情報の少なくとも１つは、前記ファイル生成部の生成ファイルの格納画像データに含まれる３次元画像データの３次元画像記録方式を判別可能とした３次元画像管理情報である請求項１に記載の画像処理装置。
【請求項４】
前記カテゴリ単位のデータ構成情報の少なくとも１つは、前記ファイル生成部の生成ファイルの格納画像データに含まれる３次元画像データの３次元画像記録方式が、
（ａ）フレームシーケンシャル方式、
（ｂ）サイドバイサイド方式、
（ｃ）トップアンドボトム方式、
上記（ａ）〜（ｃ）のいずれの方式に従った３次元画像データであるかを判別可能とした３次元画像管理情報である請求項３に記載の画像処理装置。
【請求項５】
前記カテゴリ単位のデータ構成情報の少なくとも１つは、前記ファイル生成部の生成ファイルの格納画像データの暗号化態様情報であり、
前記ファイル生成部は、
暗号化態様情報を含む第１のデータ構成情報と、３次元画像管理情報を含む第２のデータ構成情報を階層化して前記管理情報中に記録したファイルを生成する請求項２〜４いずれかに記載の画像処理装置。
【請求項６】
前記ファイル生成部は、
ＭＰ４ファイルの生成を実行する構成であり、ＭＰ４ファイルのＡＶコーデックボックスの下位に前記データ構成情報を階層化して記録したファイルを生成する請求項１〜５いずれかに記載の画像処理装置。
【請求項７】
前記ファイル生成部は、
ＭＰ４ファイルのＡＶコーデックボックスの下位に前記データ構成情報を含むスキーム情報ボックスを階層化して記録したファイルを生成する請求項６に記載の画像処理装置。
【請求項８】
前記ファイル生成部は、
ＭＰ４ファイルに格納する画像データの区分データであるトラック単位またはサンプル単位の区分データ単位で前記スキーム情報ボックスを設定して記録する処理を行う請求項７に記載の画像処理装置。
【請求項９】
画像データの符号化データと、該符号化データの管理情報を含む符号化データ格納ファイルを解析するファイル解析部と、
前記ファイルに格納された画像データの再生処理に際して複数の異なるカテゴリのデータ処理を実行するデータ処理部を有し、
前記ファイルの管理情報は、データ処理のカテゴリ単位で各処理の実行に必要となるデータ構成情報を階層化して記録した構成を有し、
前記ファイル解析部は、前記ファイルの管理情報の階層化されたデータ構成情報を取得し、
前記データ処理部は、前記ファイル解析部の取得したデータ構成情報を適用して複数の異なるカテゴリのデータ処理を実行する画像処理装置。
【請求項１０】
前記カテゴリ単位のデータ構成情報の少なくとも１つは、前記ファイルの格納画像データに３次元画像データが含まれるか否かを判別可能とした３次元画像管理情報である請求項９に記載の画像処理装置。
【請求項１１】
前記カテゴリ単位のデータ構成情報の少なくとも１つは、前記ファイルの格納画像データに含まれる３次元画像データの３次元画像記録方式を判別可能とした３次元画像管理情報である請求項９に記載の画像処理装置。
【請求項１２】
前記カテゴリ単位のデータ構成情報の少なくとも１つは、前記ファイルの格納画像データに含まれる３次元画像データの３次元画像記録方式が、
（ａ）フレームシーケンシャル方式、
（ｂ）サイドバイサイド方式、
（ｃ）トップアンドボトム方式、
上記（ａ）〜（ｃ）のいずれの方式に従った３次元画像データであるかを判別可能とした３次元画像管理情報である請求項１１に記載の画像処理装置。
【請求項１３】
前記カテゴリ単位のデータ構成情報の少なくとも１つは、前記ファイル生成部の生成ファイルの格納画像データの暗号化態様情報であり、
前記ファイル解析部は、
暗号化態様情報を含む第１のデータ構成情報と、３次元画像管理情報を含む第２のデータ構成情報を前記管理情報から取得する請求項１０〜１２いずれかに記載の画像処理装置。
【請求項１４】
前記ファイルは、ＭＰ４ファイルであり、
前記ファイル解析部は、
ＭＰ４ファイルのＡＶコーデックボックスの下位に階層化して記録されたスキーム情報ボックスから各データ処理カテゴリ単位のデータ構成情報を取得する請求項９〜１３いずれかに記載の画像処理装置。
【請求項１５】
前記ファイル解析部は、
ＭＰ４ファイルに格納された画像データの区分データであるトラック単位またはサンプル単位の区分データ単位で前記スキーム情報ボックスを取得する請求項１４に記載の画像処理装置。
【請求項１６】
画像データの符号化データと、該符号化データの管理情報を含むＭＰ４ファイルを記録した情報記録媒体であり、
前記管理情報は、前記符号化データの再生処理時のデータ処理に適用する情報をデータ処理のカテゴリ単位で設定したデータ構成情報を階層化して記録した構成であり、
ＭＰ４ファイルを読み取り再生する装置において、階層化されたデータ構成情報を順次取得して、取得したデータ構成情報を適用して複数の異なるカテゴリのデータ処理を実行することを可能としたことを特徴とする情報記録媒体。
【請求項１７】
画像処理装置において実行する画像処理方法であり、
エンコード部が、画像データの符号化処理を実行するエンコード処理ステップと、
ファイル生成部が、前記エンコード部の生成した符号化データと、該符号化データの管理情報を含む符号化データ格納ファイルを生成するファイル生成ステップを有し、
前記ファイル生成ステップは、
前記符号化データの再生処理時のデータ処理に適用する情報をデータ処理のカテゴリ単位で設定したデータ構成情報を生成し、複数のカテゴリ単位のデータ構成情報を階層化して前記管理情報中に記録したファイルを生成するステップを含む画像処理方法。
【請求項１８】
画像処理装置において実行する画像処理方法であり、
ファイル解析部が、画像データの符号化データと、該符号化データの管理情報を含む符号化データ格納ファイルを解析するファイル解析ステップと、
データ処理部が、前記ファイルに格納された画像データの再生処理に際して複数の異なるカテゴリのデータ処理を実行するデータ処理ステップを有し、
前記ファイルの管理情報は、データ処理のカテゴリ単位で各処理の実行に必要となるデータ構成情報を階層化して記録した構成を有し、
前記ファイル解析ステップは、前記ファイルの管理情報の階層化されたデータ構成情報を取得するステップを含み、
前記データ処理ステップは、前記ファイル解析部の取得したデータ構成情報を適用して複数の異なるカテゴリのデータ処理を実行するステップを含む画像処理方法。
【請求項１９】
画像処理装置において画像処理を実行させるプログラムであり、
エンコード部に、画像データの符号化処理を実行させるエンコード処理ステップと、
ファイル生成部に、前記エンコード部の生成した符号化データと、該符号化データの管理情報を含む符号化データ格納ファイルを生成させるファイル生成ステップを有し、
前記ファイル生成ステップは、
前記符号化データの再生処理時のデータ処理に適用する情報をデータ処理のカテゴリ単位で設定したデータ構成情報を生成し、複数のカテゴリ単位のデータ構成情報を階層化して前記管理情報中に記録したファイルを生成するステップを含むプログラム。
【請求項２０】
画像処理装置において画像処理を実行させるプログラムであり、
ファイル解析部に、画像データの符号化データと、該符号化データの管理情報を含む符号化データ格納ファイルを解析させるファイル解析ステップと、
データ処理部に、前記ファイルに格納された画像データの再生処理に際して複数の異なるカテゴリのデータ処理を実行させるデータ処理ステップを有し、
前記ファイルの管理情報は、データ処理のカテゴリ単位で各処理の実行に必要となるデータ構成情報を階層化して記録した構成を有し、
前記ファイル解析ステップは、前記ファイルの管理情報の階層化されたデータ構成情報を取得するステップを含み、
前記データ処理ステップは、前記ファイル解析部の取得したデータ構成情報を適用して複数の異なるカテゴリのデータ処理を実行するステップを含むプログラム。
【請求項１】
画像データの符号化処理を実行するエンコード部と、
前記エンコード部の生成した符号化データと、該符号化データの管理情報を含む符号化データ格納ファイルを生成するファイル生成部を有し、
前記ファイル生成部は、
前記符号化データの再生処理時のデータ処理に適用する情報をデータ処理のカテゴリ単位で設定したデータ構成情報を生成し、複数のカテゴリ単位のデータ構成情報を階層化して前記管理情報中に記録したファイルを生成する画像処理装置。
【請求項２】
前記カテゴリ単位のデータ構成情報の少なくとも１つは、前記ファイル生成部の生成ファイルの格納画像データに３次元画像データが含まれるか否かを判別可能とした３次元画像管理情報である請求項１に記載の画像処理装置。
【請求項３】
前記カテゴリ単位のデータ構成情報の少なくとも１つは、前記ファイル生成部の生成ファイルの格納画像データに含まれる３次元画像データの３次元画像記録方式を判別可能とした３次元画像管理情報である請求項１に記載の画像処理装置。
【請求項４】
前記カテゴリ単位のデータ構成情報の少なくとも１つは、前記ファイル生成部の生成ファイルの格納画像データに含まれる３次元画像データの３次元画像記録方式が、
（ａ）フレームシーケンシャル方式、
（ｂ）サイドバイサイド方式、
（ｃ）トップアンドボトム方式、
上記（ａ）〜（ｃ）のいずれの方式に従った３次元画像データであるかを判別可能とした３次元画像管理情報である請求項３に記載の画像処理装置。
【請求項５】
前記カテゴリ単位のデータ構成情報の少なくとも１つは、前記ファイル生成部の生成ファイルの格納画像データの暗号化態様情報であり、
前記ファイル生成部は、
暗号化態様情報を含む第１のデータ構成情報と、３次元画像管理情報を含む第２のデータ構成情報を階層化して前記管理情報中に記録したファイルを生成する請求項２〜４いずれかに記載の画像処理装置。
【請求項６】
前記ファイル生成部は、
ＭＰ４ファイルの生成を実行する構成であり、ＭＰ４ファイルのＡＶコーデックボックスの下位に前記データ構成情報を階層化して記録したファイルを生成する請求項１〜５いずれかに記載の画像処理装置。
【請求項７】
前記ファイル生成部は、
ＭＰ４ファイルのＡＶコーデックボックスの下位に前記データ構成情報を含むスキーム情報ボックスを階層化して記録したファイルを生成する請求項６に記載の画像処理装置。
【請求項８】
前記ファイル生成部は、
ＭＰ４ファイルに格納する画像データの区分データであるトラック単位またはサンプル単位の区分データ単位で前記スキーム情報ボックスを設定して記録する処理を行う請求項７に記載の画像処理装置。
【請求項９】
画像データの符号化データと、該符号化データの管理情報を含む符号化データ格納ファイルを解析するファイル解析部と、
前記ファイルに格納された画像データの再生処理に際して複数の異なるカテゴリのデータ処理を実行するデータ処理部を有し、
前記ファイルの管理情報は、データ処理のカテゴリ単位で各処理の実行に必要となるデータ構成情報を階層化して記録した構成を有し、
前記ファイル解析部は、前記ファイルの管理情報の階層化されたデータ構成情報を取得し、
前記データ処理部は、前記ファイル解析部の取得したデータ構成情報を適用して複数の異なるカテゴリのデータ処理を実行する画像処理装置。
【請求項１０】
前記カテゴリ単位のデータ構成情報の少なくとも１つは、前記ファイルの格納画像データに３次元画像データが含まれるか否かを判別可能とした３次元画像管理情報である請求項９に記載の画像処理装置。
【請求項１１】
前記カテゴリ単位のデータ構成情報の少なくとも１つは、前記ファイルの格納画像データに含まれる３次元画像データの３次元画像記録方式を判別可能とした３次元画像管理情報である請求項９に記載の画像処理装置。
【請求項１２】
前記カテゴリ単位のデータ構成情報の少なくとも１つは、前記ファイルの格納画像データに含まれる３次元画像データの３次元画像記録方式が、
（ａ）フレームシーケンシャル方式、
（ｂ）サイドバイサイド方式、
（ｃ）トップアンドボトム方式、
上記（ａ）〜（ｃ）のいずれの方式に従った３次元画像データであるかを判別可能とした３次元画像管理情報である請求項１１に記載の画像処理装置。
【請求項１３】
前記カテゴリ単位のデータ構成情報の少なくとも１つは、前記ファイル生成部の生成ファイルの格納画像データの暗号化態様情報であり、
前記ファイル解析部は、
暗号化態様情報を含む第１のデータ構成情報と、３次元画像管理情報を含む第２のデータ構成情報を前記管理情報から取得する請求項１０〜１２いずれかに記載の画像処理装置。
【請求項１４】
前記ファイルは、ＭＰ４ファイルであり、
前記ファイル解析部は、
ＭＰ４ファイルのＡＶコーデックボックスの下位に階層化して記録されたスキーム情報ボックスから各データ処理カテゴリ単位のデータ構成情報を取得する請求項９〜１３いずれかに記載の画像処理装置。
【請求項１５】
前記ファイル解析部は、
ＭＰ４ファイルに格納された画像データの区分データであるトラック単位またはサンプル単位の区分データ単位で前記スキーム情報ボックスを取得する請求項１４に記載の画像処理装置。
【請求項１６】
画像データの符号化データと、該符号化データの管理情報を含むＭＰ４ファイルを記録した情報記録媒体であり、
前記管理情報は、前記符号化データの再生処理時のデータ処理に適用する情報をデータ処理のカテゴリ単位で設定したデータ構成情報を階層化して記録した構成であり、
ＭＰ４ファイルを読み取り再生する装置において、階層化されたデータ構成情報を順次取得して、取得したデータ構成情報を適用して複数の異なるカテゴリのデータ処理を実行することを可能としたことを特徴とする情報記録媒体。
【請求項１７】
画像処理装置において実行する画像処理方法であり、
エンコード部が、画像データの符号化処理を実行するエンコード処理ステップと、
ファイル生成部が、前記エンコード部の生成した符号化データと、該符号化データの管理情報を含む符号化データ格納ファイルを生成するファイル生成ステップを有し、
前記ファイル生成ステップは、
前記符号化データの再生処理時のデータ処理に適用する情報をデータ処理のカテゴリ単位で設定したデータ構成情報を生成し、複数のカテゴリ単位のデータ構成情報を階層化して前記管理情報中に記録したファイルを生成するステップを含む画像処理方法。
【請求項１８】
画像処理装置において実行する画像処理方法であり、
ファイル解析部が、画像データの符号化データと、該符号化データの管理情報を含む符号化データ格納ファイルを解析するファイル解析ステップと、
データ処理部が、前記ファイルに格納された画像データの再生処理に際して複数の異なるカテゴリのデータ処理を実行するデータ処理ステップを有し、
前記ファイルの管理情報は、データ処理のカテゴリ単位で各処理の実行に必要となるデータ構成情報を階層化して記録した構成を有し、
前記ファイル解析ステップは、前記ファイルの管理情報の階層化されたデータ構成情報を取得するステップを含み、
前記データ処理ステップは、前記ファイル解析部の取得したデータ構成情報を適用して複数の異なるカテゴリのデータ処理を実行するステップを含む画像処理方法。
【請求項１９】
画像処理装置において画像処理を実行させるプログラムであり、
エンコード部に、画像データの符号化処理を実行させるエンコード処理ステップと、
ファイル生成部に、前記エンコード部の生成した符号化データと、該符号化データの管理情報を含む符号化データ格納ファイルを生成させるファイル生成ステップを有し、
前記ファイル生成ステップは、
前記符号化データの再生処理時のデータ処理に適用する情報をデータ処理のカテゴリ単位で設定したデータ構成情報を生成し、複数のカテゴリ単位のデータ構成情報を階層化して前記管理情報中に記録したファイルを生成するステップを含むプログラム。
【請求項２０】
画像処理装置において画像処理を実行させるプログラムであり、
ファイル解析部に、画像データの符号化データと、該符号化データの管理情報を含む符号化データ格納ファイルを解析させるファイル解析ステップと、
データ処理部に、前記ファイルに格納された画像データの再生処理に際して複数の異なるカテゴリのデータ処理を実行させるデータ処理ステップを有し、
前記ファイルの管理情報は、データ処理のカテゴリ単位で各処理の実行に必要となるデータ構成情報を階層化して記録した構成を有し、
前記ファイル解析ステップは、前記ファイルの管理情報の階層化されたデータ構成情報を取得するステップを含み、
前記データ処理ステップは、前記ファイル解析部の取得したデータ構成情報を適用して複数の異なるカテゴリのデータ処理を実行するステップを含むプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【公開番号】特開２０１１−１４２５８６（Ｐ２０１１−１４２５８６Ａ）
【公開日】平成２３年７月２１日（２０１１．７．２１）
【国際特許分類】
【出願番号】特願２０１０−３２７５（Ｐ２０１０−３２７５）
【出願日】平成２２年１月８日（２０１０．１．８）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
【公開日】平成２３年７月２１日（２０１１．７．２１）
【国際特許分類】
【出願日】平成２２年１月８日（２０１０．１．８）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
[ Back to top ]