立体画像表示装置およびその方法
【課題】色情報が最適となるように立体画像用データを補間して表示することが可能な立体画像表示装置を提供すること。
【解決手段】フォーマット変換部１０８ａおよび１０８ｂは、逆多重化部１０６によって抽出された左眼用画像および右眼用画像の色情報の補間方法を参照して、デコーダ１０７ａおよび１０７ｂによって復号された左眼用画像および右眼用画像の色情報を補間して所定フォーマットの画像に変換する。合成部１０９は、フォーマット変換部１０８ａおよび１０８ｂによって変換された左眼用画像および右眼用画像を合成する。表示部１１０は、合成部１０９によって合成された画像に応じて立体画像を表示する。したがって、色情報が最適となるように立体画像用データを補間してより立体に見えやすい画像を表示することが可能となる。
【解決手段】フォーマット変換部１０８ａおよび１０８ｂは、逆多重化部１０６によって抽出された左眼用画像および右眼用画像の色情報の補間方法を参照して、デコーダ１０７ａおよび１０７ｂによって復号された左眼用画像および右眼用画像の色情報を補間して所定フォーマットの画像に変換する。合成部１０９は、フォーマット変換部１０８ａおよび１０８ｂによって変換された左眼用画像および右眼用画像を合成する。表示部１１０は、合成部１０９によって合成された画像に応じて立体画像を表示する。したがって、色情報が最適となるように立体画像用データを補間してより立体に見えやすい画像を表示することが可能となる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、立体画像用の左眼用画像および右眼用画像を作成して表示する技術に関し、特に、符号化データを復号してフォーマット変換を行った後に立体画像を表示する立体画像表示装置およびその方法に関する。
【背景技術】
【０００２】
近年、立体画像を表示する技術が盛んに研究されている。その１つとして、ユーザの左眼と右眼との視差を利用して立体画像を作成し、表示する立体画像装置を挙げることができる。
【０００３】
図６は、従来の立体画像装置における画像データの作成方法を説明するための図である。この立体画像装置は、立体画像を作成する立体画像作成装置と、立体画像作成装置によって作成された立体画像を表示する立体画像表示装置とに分けられる。
【０００４】
立体画像作成装置は、画像データ作成時に２台のカメラで左眼用と右眼用との画像を各々撮影する。そして、図６（ａ）に示すように、１画素毎に画素を間引いて、左眼用画像および右眼用画像の水平方向のサイズを各々１／２にする。次に、水平方向に半分のサイズになった左眼用画像と右眼用画像とを各々符号化し、これらの符号化データを多重化し、多重化データを伝送、または記録媒体に記録する。
【０００５】
立体画像表示装置は、立体画像作成装置によって作成された多重化データを受信または記録媒体から読出し、左眼用画像と右眼用画像とを各々再生する。そして、図６（ｂ）に示すように、左眼用画像（Ｌ）と右眼用画像（Ｒ）とを１画素ずつ水平方向に交互に並べたり、図６（ｃ）に示すように、１ライン毎に垂直方向に交互に並べたりして、立体表示用の画像を作成する。立体画像表示装置は、レンチキュラ方式、パララクスバリア方式、シャッタ（時分割）方式等を用いて、ユーザの左眼には左眼用の画像だけが見え、ユーザの右眼には右眼用の画像だけが見えるようにすることで、ユーザに画像を立体として見せることができる。
【０００６】
このような立体画像装置の一例としては、特開平１１−１８１１１号公報に開示された立体映像伝送装置を挙げることができる。この特開平１１−１８１１１号公報に開示された立体映像伝送装置においては、圧縮回路が左眼用画像および右眼用画像をそれぞれ１画素毎に間引き処理を行なって、画像を水平走査線方向に圧縮する。
【０００７】
たとえば、図６（ｄ）に示すように、撮影した画像の左から偶数番目のＲＧＢ画素値のみを抽出して、左眼用画像と右眼用画像とを作成する。また、図６（ｅ）に示すように、左眼用画像と右眼用画像とのＲＧＢのうち、画素のＧ値をＲＢ値に対して１画素分ずらして間引くことによって、左眼用画像と右眼用画像とを作成している。ここで、図６（ｄ）および図６（ｅ）に示すＲ、Ｇ、Ｂの後に付加されている数字は、１ライン上でのＲ、Ｇ、Ｂの各座標を示している。
【特許文献１】特開平１１−１８１１１号公報
【発明の開示】
【発明が解決しようとする課題】
【０００８】
しかし、画像、特に動画像を伝送、または記録媒体に記録する場合には、画像のデータ量が非常に大きいため符号化処理を施すのが一般的である。一般的な符号化アルゴリズムであるＭＰＥＧ（Moving Picture Experts Group）−１、ＭＰＥＧ−２、ＭＰＥＧ−４、およびデジタルビデオカメラで使われるＤＶ方式の圧縮は、全て入力画像データとしてＹＵＶデータが用いられる。
【０００９】
また、カメラで撮影された画像もＲＧＢデータであるとは限らず、ＹＵＶデータであることが多い。さらには、ＹＵＶデータのフォーマットは、４：４：４、４：２：２、４：２：０、４：１：１等のように１種類ではないため、入力画像がＹＵＶデータであってもフォーマットが異なり、従来の立体画像表示装置が正しく立体画像を表示するためには適切なフォーマット変換が必要な場合があるといった問題点があった。
【００１０】
本発明は、上記問題点を解決するためになされたものであり、その目的は、色情報が最適となるように立体画像用データを補間して表示することが可能な立体画像表示装置およびその方法を提供することである。
【課題を解決するための手段】
【００１１】
本発明のある局面に従えば、輝度情報と色情報とが分離された左眼用画像および右眼用画像を合成して表示する立体画像表示装置であって、多重化されたデータを逆多重化して、符号化された左眼用画像と、符号化された右眼用画像と、左眼用画像および右眼用画像の色情報の補間方法とを抽出するための逆多重化手段と、逆多重化手段によって抽出された符号化された左眼用画像および符号化された右眼用画像を復号するための復号手段と、逆多重化手段によって抽出された左眼用画像および右眼用画像の色情報の補間方法を参照して、復号手段によって復号された左眼用画像および右眼用画像の色情報を補間して所定フォーマットの画像に変換するためのフォーマット変換手段と、フォーマット変換手段によって変換された左眼用画像および右眼用画像を合成するための合成手段と、合成手段によって合成された画像に応じて立体画像を表示するための表示手段とを含む。
【００１２】
本発明の別の局面に従えば、立体画像表示装置は、輝度情報と色情報とが分離された左眼用画像および右眼用画像を合成して表示する立体画像表示装置であって、多重化されたデータを逆多重化して、符号化された左眼用画像と、符号化された右眼用画像と、左眼用画像および右眼用画像のサンプリングした画素の位置に関する情報とを抽出するための逆多重化手段と、逆多重化手段によって抽出された符号化された左眼用画像および符号化された右眼用画像を復号するための復号手段と、逆多重化手段によって抽出された左眼用画像および右眼用画像のサンプリングした画素の位置に関する情報を参照して、復号手段によって復号された左眼用画像および右眼用画像を水平方向に拡大して所定フォーマットの画像に変換するためのフォーマット変換手段と、フォーマット変換手段によって変換された左眼用画像および右眼用画像を合成するための合成手段と、合成手段によって合成された画像に応じて立体画像を表示するための表示手段とを含む。
【００１３】
本発明のさらに別の局面に従えば、輝度情報と色情報とが分離された左眼用画像および右眼用画像を合成して表示する立体画像表示方法であって、多重化されたデータを逆多重化して、符号化された左眼用画像と、符号化された右眼用画像と、左眼用画像および右眼用画像の色情報の補間方法とを抽出するステップと、抽出された符号化された左眼用画像および符号化された右眼用画像を復号するステップと、抽出された左眼用画像および右眼用画像の色情報の補間方法を参照して、復号された左眼用画像および右眼用画像の色情報を補間して所定フォーマットの画像に変換するステップと、所定フォーマットに変換された左眼用画像および右眼用画像を合成するステップと、合成された画像に応じて立体画像を表示するステップとを含む。
【００１４】
本発明のさらに別の局面に従えば、輝度情報と色情報とが分離された左眼用画像および右眼用画像を合成して表示する立体画像表示方法であって、多重化されたデータを逆多重化して、符号化された左眼用画像と、符号化された右眼用画像と、左眼用画像および右眼用画像のサンプリングした画素の位置に関する情報とを抽出するステップと、抽出された符号化された左眼用画像および符号化された右眼用画像を復号するステップと、抽出された左眼用画像および右眼用画像のサンプリングした画素の位置に関する情報を参照して、復号された左眼用画像および右眼用画像を水平方向に拡大して所定フォーマットの画像に変換するステップと、所定フォーマットに変換された左眼用画像および右眼用画像を合成するステップと、合成された画像に応じて立体画像を表示するステップとを含む。
【発明の効果】
【００１５】
本発明のある局面によれば、フォーマット変換手段が、色情報の補間方法を参照して、左眼用画像および右眼用画像の色情報を補間して所定フォーマットの画像に変換するので、色情報が最適となるように立体画像用データを補間してより立体に見えやすい画像を表示することが可能となった。
【００１６】
本発明の別の局面によれば、フォーマット変換手段が、サンプリングした画素の位置に関する情報を参照して、左眼用画像および右眼用画像を水平方向に拡大して所定フォーマットの画像に変換するので、立体画像作成装置と立体画像表示装置とで位相のずれを防ぐことが可能となった。
【発明を実施するための最良の形態】
【００１７】
（第１の実施の形態）
図１は、本発明の第１の実施の形態における立体画像装置の概略構成を示すブロック図である。この立体画像装置は、立体画像作成装置（以下、立体画像用データ作成部と呼ぶ。）１１１と、立体画像表示装置（以下、立体画像用データ表示部と呼ぶ。）１１２とを含む。
【００１８】
立体画像用データ作成部１１１は、カメラ１０１ａおよび１０１ｂと、左眼用画像作成部１０２と、右眼用画像作成部１０３と、エンコーダ１０４ａおよび１０４ｂと、多重化部１０５とを含む。カメラ１０１ａは、左眼用の画像を撮影する。また、カメラ１０１ｂは、右眼用の画像を撮影する。
【００１９】
左眼用画像作成部１０２は、カメラ１０１ａによって撮影された左眼用の画像データを、エンコーダ１０４ａがエンコード可能なフォーマットに変換する。同様にして、右眼用画像作成部１０３は、カメラ１０１ｂによって撮影された右眼用の画像データを、エンコーダ１０４ｂがエンコード可能なフォーマットに変換する。
【００２０】
エンコーダ１０４ａは、ＭＰＥＧ−１、ＭＰＥＧ−２、ＭＰＥＧ−４、ＤＶ圧縮方式等のアルゴリズムを利用して、カメラ１０１ａによって撮影された画像をエンコードする。エンコーダ１０４ｂは、エンコーダ１０４ａと同様のアルゴリズムを利用して、カメラ１０１ｂによって撮影された画像をエンコードする。
【００２１】
多重化部１０５は、エンコーダ１０４ａによってエンコードされた左眼用画像の符号化データ、エンコーダ１０４ｂによってエンコードされた右眼用画像の符号化データ、および各種制御情報を多重化する。多重化部１０５によって多重化されたデータは、立体画像用データ表示部１１２に送信されたり、記録メディアに記録されたりする。
【００２２】
また、立体画像用データ表示部１１２は、逆多重化部１０６と、デコーダ１０７ａおよび１０７ｂと、フォーマット変換部１０８ａおよび１０８ｂと、合成部１０９と、表示部１１０とを含む。
【００２３】
逆多重化部１０６は、立体画像用データ作成部１１１から受信した多重化データや、記録メディアから読出した多重化データを逆多重化し、左眼用画像の符号化データ、右眼用画像の符号化データおよび各種制御情報を抽出する。抽出された左眼用画像の符号化データはデコーダ１０７ａに転送され、右眼用画像の符号化データはデコーダ１０７ｂに転送され、制御情報はフォーマット変換部１０８ａおよび１０８ｂに転送される。
【００２４】
デコーダ１０７ａは、エンコーダ１０４ａに対応しており、ＭＰＥＧ−１、ＭＰＥＧ−２、ＭＰＥＧ−４、ＤＶ圧縮方式等のアルゴリズムを利用して、逆多重化部１０６から受けた左眼用画像の符号化データを復号する。デコーダ１０７ｂは、エンコーダ１０４ｂに対応しており、デコーダ１０７ａと同様のアルゴリズムを利用して、逆多重化部１０６から受けた右眼用画像の符号化データを復号する。
【００２５】
フォーマット変換部１０８ａは、逆多重化部１０６から受けた制御情報を参照して、デコーダ１０７ａによって復号された左眼用画像を、表示部１１０が表示可能なフォーマットに変換する。同様に、フォーマット変換部１０８ｂは、逆多重化部１０６から受けた制御情報を参照して、デコーダ１０７ｂによって復号された右眼用画像を、表示部１１０が表示可能なフォーマットに変換する。
【００２６】
合成部１０９は、フォーマット変換部１０８ａによってフォーマット変換された左眼用画像と、フォーマット変換部１０８ｂによってフォーマット変換された右眼用画像とを合成し、立体画像用データを作成する。
【００２７】
表示部１１０は、ＬＣＤ（Liquid Crystal Display）モジュールなどによって構成され、レンチキュラ方式、パララクスバリア方式、シャッタ（時分割）方式などを用いて、立体画像を表示する。
【００２８】
図２および図３は、各種画像フォーマットの一例を示す図である。各画素の上の数値はその画素の左端からの座標を表しており、本明細書では画素の位置を画像の左端からの座標で表すことにする。また、特に断らない限り、Ｕ成分とＶ成分とをまとめてＣ（クロマ成分）と表すことにする。なお、図２においては、ＹとＣとの関係が全てのラインで同じなので、１ラインのみを記載している。
【００２９】
図２（ａ）は、ＹＵＶ４：２：２フォーマットを示す図であり、Ｙに対してＣを水平方向に１／２に削減したものである。図２（ｄ）は、ＹＵＶ４：１：１フォーマットを示す図であり、Ｙに対してＣを水平方向に１／４に削減したものである。図３（ａ）はＹＵＶ４：２：０（ＭＰＥＧ−２用）フォーマットを示す図であり、Ｙに対してＣを水平方向に１／２、垂直方向に１／２に削減したものである。
【００３０】
図２（ａ）および図２（ｄ）に示すように、ＹＵＶ４：２：２フォーマットやＹＵＶ４：１：１フォーマットにおいては、各ライン上でＹとＣとが同じ位置でサンプリングされている。しかし、図３（ａ）に示すように、ＹＵＶ４：２：０（ＭＰＥＧ−２用）フォーマットにおいては、Ｃを垂直方向にも間引くために、ＹとＣとの垂直方向のサンプリング位置は異なっている。ここで、図３（ａ）の左端の数値は、その画素の画像の上端からの座標を示す数値である。
【００３１】
図２（ａ）と図３（ａ）とを比較すればわかるように、水平方向のＹとＣとの関係では、ＹＵＶ４：２：２フォーマットとＹＵＶ４：２：０（ＭＰＥＧ−２用）フォーマットとが同じである。本発明においては水平方向の処理しか関係しないため、以下の説明ではＹＵＶ４：２：２フォーマットの中にＹＵＶ４：２：０（ＭＰＥＧ−２用）フォーマットを含めることにする。
【００３２】
本実施の形態においては、カメラ１０１ａおよび１０１ｂが、ＹＵＶ４：２：２フォーマットのデータを出力する場合のものである。左眼用画像作成部１０２および右眼用画像作成部１０３は、図２（ａ）に示す画像データが入力されると、この画像データに対して水平方向に１／２の間引きを行なう。間引きを行なった後の画像データもＹＵＶ４：２：２フォーマットである場合には、図２（ｂ）または図２（ｃ）に示すものとなる。また、間引きを行なった後の画像データがＹＵＶ４：１：１フォーマットである場合には、図２（ｅ）または図２（ｆ）に示すものとなる。
【００３３】
ここで、間引き処理をする前の座標ｉの画素のＹをＹ（ｉ）、座標ｉの画素のＣをＣ（ｉ）と表すことにする。図２（ｂ）においては、Ｙ（０）、Ｙ（２）、Ｙ（４）、Ｙ（６）、Ｙ（８）…が存在すると共に、Ｃ（０）、Ｃ（４）、Ｃ（８）…が存在する。また、図２（ｃ）においては、Ｙ（１）、Ｙ（３）、Ｙ（５）、Ｙ（７）、Ｙ（９）…が存在すると共に、Ｃ（１）、Ｃ（５）、Ｃ（９）…が存在する。
【００３４】
図２（ｂ）と図２（ｃ）との違いは、偶数番目の画素をサンプリングするか、奇数番目の画素をサンプリングするかの違いである。左眼用画像と右眼用画像との組合わせにおいて、左眼用画像として図２（ｂ）に示す画像を使い、右眼用画像として図２（ｃ）に示す画像を使うようにしてもよい。また、左眼用画像として図２（ｃ）に示す画像を使い、右眼用画像として図２（ｂ）に示す画像を使うようにしてもよい。
【００３５】
また、左眼用画像および右眼用画像の双方とも図２（ｂ）に示す画像を使ってもよいし、双方とも図２（ｃ）に示す画像を使ってもよい。左眼用画像と右眼用画像との組み合わせの選択は自由である。本発明の実施の形態２以降についても同様である。
【００３６】
また、間引いた後の画像として、図２（ｂ）に示す画像を使う場合には、ＹおよびＣともサンプリング前の同じ位置のデータをそのまま使えばよい。間引いた後の画像として、図２（ｃ）に示す画像を使う場合にも、Ｙはサンプリング前の同じ位置のデータをそのまま使えばよい。しかし、間引いた後の画像として、図２（ｃ）に示す画像を使う場合には、Ｃに関してはサンプリング前後で位置が異なり、サンプリング前の同じ位置のデータが存在しない。したがって、図２（ｃ）に示す画像のＣは、サンプリング前のＣ（０）、Ｃ（２）、Ｃ（４）、Ｃ（６）、Ｃ（８）…からＣ（１）、Ｃ（５）、Ｃ（９）…を計算する必要がある。
【００３７】
たとえば、図２（ａ）に示す画像のＣをＣａと表し、図２（ｃ）に示す画像のＣをＣｃと表すと、ＣａとＣｃとの関係は次に示す式（１）〜（３）のいずれかとなる。
【００３８】
Ｃｃ（ｉ＊４＋１）＝Ｃａ（ｉ＊４） …（１）
Ｃｃ（ｉ＊４＋１）＝Ｃａ（ｉ＊４＋２） …（２）
Ｃｃ（ｉ＊４＋１）＝（Ｃａ（ｉ＊４）＋Ｃａ（ｉ＊４＋２））／２
…（３）
ここで、Ｃａ（ｉ）は図２（ａ）に示す画像の座標ｉの画素のＣ、Ｃｃ（ｉ）は図２（ｃ）に示す画像の座標ｉの画素のＣを表している。式（１）、式（２）または式（３）のように、図２（ｃ）に示す画像のＣの位置に対応する画素の、サンプリング前の近傍の画素値を使って計算することになる。すなわち、式（１）は左隣のＣの画素値を用いる場合、式（２）は右隣のＣの画素値を用いる場合、式（３）は両隣のＣの平均画素値を用いる場合を示している。
【００３９】
同様に、左眼用画像作成部１０２および右眼用画像作成部１０３がＹＵＶ４：１：１フォーマットで画像を作成する場合も、左眼用画像と右眼用画像との組み合わせの選択は自由である。間引いた後の画像として、図２（ｅ）に示す画像を使う場合には、ＹおよびＣともサンプリング前の同じ位置のデータをそのまま使えばよい。間引いた後の画像として、図２（ｆ）に示す画像を使う場合にも、Ｙはサンプリング前の同じ位置のデータをそのまま使えばよい。しかし、間引いた後の画像として、図２（ｆ）に示す画像を使う場合には、画素のＣに関してはサンプリング前後で位置が異なるため、サンプリング前の同じ位置のデータが存在しない。従って、図２（ｆ）に示す画像のＣについては、サンプリング前のＣ（０）、Ｃ（２）、Ｃ（４）、Ｃ（６）、Ｃ（８）…から、Ｃ（１）、Ｃ（９）…を計算する必要がある。
【００４０】
たとえば、図２（ａ）に示す画像のＣをＣａと表し、図２（ｆ）に示す画像のＣをＣｆと表すと、ＣａとＣｆとの関係は次に示す式（４）〜（６）のいずれかとなる。
【００４１】
Ｃｆ（ｉ＊８＋１）＝Ｃａ（ｉ＊８） …（４）
Ｃｆ（ｉ＊８＋１）＝Ｃａ（ｉ＊８＋２） …（５）
Ｃｆ（ｉ＊８＋１）＝（Ｃａ（ｉ＊８）＋Ｃａ（ｉ＊８＋２））／２
…（６）
ここで、Ｃａ（ｉ）は図２（ａ）に示す画像の座標ｉの画素のＣ、Ｃｆ（ｉ）は図２（ｆ）に示す画像の座標ｉの画素のＣを表している。式（４）、式（５）または式（６）に示すように、図２（ｆ）のＣの位置に対応する画素の、サンプリング前の近傍の画素値を使って計算することになる。すなわち、式（４）は左隣のＣの画素値を用いる場合、式（５）は右隣のＣの画素値を用いる場合、式（６）は両隣のＣの平均画素値を用いる場合を示している。
【００４２】
２台のカメラ１０１ａおよび１０１ｂで撮影した画像を、各々左眼用画像と右眼用画像とに変換するために、図２（ｂ）および図２（ｃ）に示す画像（ＹＵＶ４：１：１フォーマットの場合には、図２（ｅ）および図２（ｆ）に示す画像）のいずれを選択するかについては、ユーザが状況に応じて選択する。そして、いずれを選択したかを示すフラグが多重化部１０５に出力される。多重化部１０５は、このフラグを制御情報として左眼用画像の符号化データおよび右眼用画像の符号化データに多重化する。
【００４３】
光軸を並行にして撮影する場合には、左眼用画像として図２（ｂ）に示す画像（ＹＵＶ４：１：１フォーマットの場合には、図２（ｅ）に示す画像）、右眼用画像として図２（ｃ）に示す画像（ＹＵＶフォーマット４：１：１の場合には、図２（ｆ）に示す画像）を選択すると、高い精度の画像が得られる。
【００４４】
また、左眼用画像および右眼用画像とも、図２（ｂ）に示す画像（ＹＵＶ４：１：１フォーマットの場合には、図２（ｅ）に示す画像）を選択すると、処理が簡単である。このように、ユーザがその都度、状況にあった画像を選択するようにすればよい。
【００４５】
以上説明したように、本実施の形態における立体画像装置においては、カメラ１０１ａおよび１０１ｂが撮影した画像がＹＵＶ４：２：２フォーマットの場合に、左眼用画像作成部１０２および右眼用画像作成部１０３が左眼用画像および右眼用画像を作成するときに、間引き処理を行なって作成される画像の色情報の位置に合わせて色情報を計算するようにしたので、精度の高い立体画像を作成することが可能となった。
【００４６】
また、画像がどのＹＵＶフォーマットに相当するかを示す情報およびどの位置の画素を符号化したかを示す情報を含んだ制御情報を、左眼用画像の符号化データおよび右眼用画像の符号化データに多重化するようにしたので、立体画像用データ表示部１１２が立体画像を表示するときに、どの組合わせの画像が立体に見えやすいか等をユーザが決定する際の利便性を向上させることが可能となった。また、どの組合せが立体に見えやすいかの情報を立体画像用データ作成部１１１にフィードバックすることによって、左眼用画像作成部１０２および右眼用画像作成部１０３における左眼用画像および右眼用画像の選択を容易に行なうことが可能となる。
【００４７】
（第２の実施の形態）
本発明の第２の実施の形態における立体画像装置の概略構成は、図１に示す第１の実施の形態における立体画像装置の概略構成と同様である。したがって、重複する構成および機能の詳細な説明は繰返さない。
【００４８】
本実施の形態においては、カメラ１０１ａおよび１０１ｂが、ＹＵＶ４：１：１フォーマットの画像データを出力する場合のものである。左眼用画像作成部１０２および右眼用画像作成部１０３は、図２（ｄ）に示す画像データが入力されると、この画像データに対して水平方向に１／２の間引きを行なう。間引きを行なった後の画像データもＹＵＶ４：１：１フォーマットである場合には、図２（ｅ）または図２（ｆ）に示すものとなる。
【００４９】
間引いた後の画像として、図２（ｅ）に示す画像を使う場合には、ＹおよびＣともサンプリング前の同じ位置のデータをそのまま使えばよい。間引いた後の画像として、図２（ｆ）に示す画像を使う場合にも、Ｙはサンプリング前の同じ位置のデータをそのまま使えばよい。しかし、間引いた後の画像として、図２（ｆ）に示す画像を使う場合には、Ｃに関してはサンプリング前後で位置が異なり、サンプリング前の同じ位置のデータが存在しない。したがって、図２（ｆ）に示す画像のＣは、サンプリング前のＣ（０）、Ｃ（４）、Ｃ（８）…からＣ（１）、Ｃ（９）…を計算する必要がある。
【００５０】
たとえば、図２（ｄ）に示す画像のＣをＣｄと表し、図２（ｆ）に示す画像のＣをＣｆと表すと、ＣｄとＣｆとの関係は次に示す式（７）〜式（９）のいずれかとなる。
【００５１】
Ｃｆ（ｉ＊８＋１）＝Ｃｄ（ｉ＊８） …（７）
Ｃｆ（ｉ＊８＋１）＝Ｃｄ（ｉ＊８＋４） …（８）
Ｃｆ（ｉ＊８＋１）＝Ｃｄ（ｉ＊８）＊Ｗ１＋Ｃｄ（ｉ＊８＋４）＊Ｗ２ …（９）
ここで、Ｃｄ（ｉ）は図２（ｄ）に示す画像の座標ｉの画素のＣ、Ｃｆ（ｉ）は図２（ｆ）に示す画像の座標ｉの画素のＣを表している。また、Ｗ１およびＷ２は重み係数であり、Ｗ１＋Ｗ２＝１である。式（７）、式（８）または式（９）のように、図２（ｆ）に示す画像のＣの位置に対応する画素の、サンプリング前の近傍の画素値を使って計算することになる。すなわち、式（７）は左隣のＣの画素値を用いる場合、式（８）は右隣のＣの画素値を用いる場合、式（９）は両隣のＣの平均画素値を用いる場合である。
【００５２】
ＹＵＶ４：１：１フォーマットの場合はもともとＣの情報が少なく、水平方向に１／２に間引くと情報量がさらに少なくなるので、間引いた後の画像が図２（ｅ）に示す画像の場合でも、Ｃに関してはサンプリング前の近傍画素の重み付和等を計算した方が画質はよくなる。
【００５３】
２台のカメラ１０１ａおよび１０１ｂで撮影した画像を、各々左眼用画像と右眼用画像とに変換するために、図２（ｅ）および図２（ｆ）に示す画像のいずれを選択するかについては、ユーザが状況に応じて選択する。そして、いずれを選択したかを示すフラグが多重化部１０５に出力される。多重化部１０５は、このフラグを制御情報として左眼用画像の符号化データおよび右眼用画像の符号化データに多重化する。
【００５４】
光軸を並行にして撮影する場合には、左眼用画像として図２（ｅ）に示す画像、右眼用画像として図２（ｆ）に示す画像を選択すると、高い精度の画像が得られる。また、左眼用画像および右眼用画像とも、図２（ｅ）に示す画像を選択すると、処理が簡単である。このように、ユーザがその都度、状況にあった画像を選択するようにすればよい。
【００５５】
以上説明したように、本実施の形態における立体画像装置においては、カメラ１０１ａおよび１０１ｂが撮影した画像がＹＵＶ４：１：１フォーマットの場合に、左眼用画像作成部１０２および右眼用画像作成部１０３が左眼用画像および右眼用画像を作成するときに、間引き処理を行なって作成される画像の色情報の位置に合わせて色情報を計算するようにしたので、精度の高い立体画像を作成することが可能となった。
【００５６】
また、画像がどのＹＵＶフォーマットに相当するかを示す情報およびどの位置の画素を符号化したかを示す情報を含んだ制御情報を、左眼用画像の符号化データおよび右眼用画像の符号化データに多重化するようにしたので、立体画像用データ表示部１１２が立体画像を表示するときに、どの組合わせの画像が立体に見えやすいか等をユーザが決定する際の利便性を向上させることが可能となった。また、どの組合せが立体に見えやすいかの情報を立体画像用データ作成部１１１にフィードバックすることによって、左眼用画像作成部１０２および右眼用画像作成部１０３における左眼用画像および右眼用画像の選択を容易に行なうことが可能となる等、第１の実施の形態において説明した効果と同様の効果を得ることが可能となった。
【００５７】
（第３の実施の形態）
本発明の第３の実施の形態における立体画像装置の概略構成は、図１に示す第１の実施の形態における立体画像装置の概略構成と同様である。したがって、重複する構成および機能の詳細な説明は繰返さない。
【００５８】
本実施の形態において、カメラ１０１ａおよび１０１ｂが、ＹＵＶ４：２：０（ＭＰＥＧ−１用）フォーマットのデータを出力する場合のものである。左眼用画像作成部１０２および右眼用画像作成部１０３は、図３（ｂ）に示す画像データが入力されると、この画像データに対して水平方向に１／２の間引きを行なう。間引きを行なった後の画像データもＹＵＶ４：２：０フォーマットである場合には、図３（ｃ）または図３（ｄ）に示すものとなる。
【００５９】
また、間引いた後の画像として、図３（ｃ）および図３（ｄ）のいずれに示す画像を使う場合にも、Ｙはサンプリング前の同じ位置のデータをそのまま使えばよい。しかし、Ｃに関してはサンプリング前後で位置が異なり、サンプリング前の同じ位置のデータが存在しない。
【００６０】
したがって、図３（ｃ）に示す画像のＣは、サンプリング前のＣ（０＿１）、Ｃ（２＿３）、Ｃ（４＿５）、Ｃ（６＿７）、Ｃ（８＿９）…からＣ（１）、Ｃ（５）、Ｃ（９）…を計算する必要がある。ここで、Ｃ（ｉ＿（ｉ＋１））は座標ｉと座標（ｉ＋１）の中間位置を意味する。
【００６１】
たとえば、図３（ｂ）に示す画像のＣをＣｂと表し、図３（ｃ）に示す画像のＣをＣｃと表すと、ＣｂとＣｃとの関係は次に示す式（１０）〜（１２）のいずれかとなる。
【００６２】
Ｃｃ（ｉ＊４＋１）＝Ｃｂ（（ｉ＊４）＿（ｉ＊４＋１））…（１０）
Ｃｃ（ｉ＊４＋１）＝Ｃｂ（（ｉ＊４＋２）＿（ｉ＊４＋３））…（１１）
Ｃｃ（ｉ＊４＋１）＝Ｃｂ（（ｉ＊４）＿（ｉ＊４＋１））＊Ｗ１＋Ｃｂ（（ｉ＊４＋２）＿（ｉ＊４＋３））＊Ｗ２ …（１２）
ここで、Ｃｃ（ｉ）は図３（ｃ）の座標ｉのＣを表している。また、Ｗ１およびＷ２は重み係数であり、Ｗ１＋Ｗ２＝１である。
【００６３】
また、図３（ｄ）に示す画像のＣは、サンプリング前のＣ（０＿１）、Ｃ（２＿３）、Ｃ（４＿５）、Ｃ（６＿７）、Ｃ（８＿９）…からＣ（２）、Ｃ（６）、Ｃ（１０）…を計算する必要がある。
【００６４】
たとえば、図３（ｂ）に示す画像のＣをＣｂと表し、図３（ｄ）に示す画像のＣをＣｄと表すと、ＣｂとＣｄとの関係は次に示す式（１３）〜（１５）のいずれかとなる。
【００６５】
Ｃｄ（ｉ＊４＋２）＝Ｃｂ（（ｉ＊４）＿（ｉ＊４＋１）） …（１３）
Ｃｄ（ｉ＊４＋２）＝Ｃｂ（（ｉ＊４＋２）＿（ｉ＊４＋３））…（１４）
Ｃｄ（ｉ＊４＋２）＝Ｃｂ（（ｉ＊４）＿（ｉ＊４＋１））＊Ｗ１＋Ｃｂ（（ｉ＊４＋２）＿（ｉ＊４＋３））＊Ｗ２ …（１５）
ここで、Ｃｄ（ｉ）は図３（ｄ）の座標ｉのＣを表している。Ｗ１およびＷ２は重み係数であり、Ｗ１＋Ｗ２＝１である。
【００６６】
式（１０）〜（１５）に示すように、図３（ｂ）のＣの位置に対応する画素の、サンプリング前の近傍の画素値を使って計算することになる。すなわち、式（１０）および式（１３）は左隣のＣの画素値を用いる場合、式（１１）および式（１４）は右隣のＣの画素値を用いる場合、式（１２）および式（１５）は両隣のＣの平均画素値を用いる場合である。
【００６７】
２台のカメラ１０１ａおよび１０１ｂで撮影した画像を、各々左眼用画像と右眼用画像とに変換するために、図３（ｃ）および図３（ｄ）に示す画像のいずれを選択するかについては、ユーザが状況に応じて選択する。そして、いずれを選択したかを示すフラグが多重化部１０５に出力される。多重化部１０５は、このフラグを制御情報として左眼用画像の符号化データおよび右眼用画像の符号化データに多重化する。
【００６８】
光軸を並行にして撮影する場合には、左眼用画像として図３（ｃ）に示す画像、右眼用画像として図３（ｄ）に示す画像を選択すると、高い精度の画像が得られる。また、左眼用画像および右眼用画像とも、図３（ｃ）を選択すると、処理が簡単である。このように、ユーザがその都度、状況にあった画像を選択するようにすればよい。
【００６９】
以上説明したように、本実施の形態における立体画像装置においては、カメラ１０１ａおよび１０１ｂが撮影した画像がＹＵＶ４：２：０（ＭＰＥＧ−１用）フォーマットの場合に、左眼用画像作成部１０２および右眼用画像作成部１０３が左眼用画像および右眼用画像を作成するときに、間引き処理を行なって作成される画像の色情報の位置に合わせて色情報を計算するようにしたので、精度の高い立体画像を作成することが可能となった。
【００７０】
また、画像がどのＹＵＶフォーマットに相当するかを示す情報およびどの位置の画素を符号化したかを示す情報を含んだ制御情報を、左眼用画像の符号化データおよび右眼用画像の符号化データに多重化するようにしたので、立体画像用データ表示部１１２が立体画像を表示するときに、どの組合わせの画像が立体に見えやすいか等をユーザが決定する際の利便性を向上させることが可能となった。また、どの組合せが立体に見えやすいかの情報を立体画像用データ作成部１１１にフィードバックすることによって、左眼用画像作成部１０２および右眼用画像作成部１０３における左眼用画像および右眼用画像の選択を容易に行なうことが可能となる等、第１の実施の形態において説明した効果と同様の効果を得ることが可能となった。
【００７１】
なお、本発明の第１の実施の形態から第３の実施の形態を通じて、立体画像用データ作成部１１１と立体画像用データ表示部１１２とで通信をする場合は、左眼用画像と右眼用画像との組合せを立体画像用データ作成部１１１で変更して、立体画像用データ表示部１１２で最も立体に見えやすい組合せがわかった時点で、その組合わせを立体画像用データ表示部１１２からフィードバックしてもらい、いずれを選択したかを示すフラグを多重化部１０５で多重化してもよい。
【００７２】
（第４の実施の形態）
本発明の第４の実施の形態における立体画像装置の概略構成は、図１に示す第１の実施の形態における立体画像装置の概略構成と同様である。したがって、重複する構成および機能の詳細な説明は繰返さない。
【００７３】
本実施の形態においては、表示部１１０がレンチキュラ方式やパララクスバリア方式に対応している場合のものである。デコーダ１０７ａおよび１０７ｂから図２（ｂ）に示すＹＵＶ４：２：２フォーマットの画像データが出力され、フォーマット変換部１０８ａおよび１０８ｂがその画像データを、ＹＵＶ４：４：４フォーマットの画像データに拡張する。
【００７４】
図４は、第４の実施の形態におけるフォーマット変換部１０８ａおよび１０８ｂの補間処理を説明するための図である。図４（ａ）に示すように、デコーダ１０７ａおよび１０７ｂからの出力データは、座標２、座標６…における画素のＣを含まない。図４（ｃ）は、この画素のＣを補間した一例を示している。
【００７５】
たとえば、図４（ｃ）に示す画像のＣをＣｃと表し、図４（ａ）に示す画像のＣをＣａと表すと、ＣｃとＣａとの関係は次に示す式（１６）〜（１８）のいずれかとなる。なお、式（１６）および式（１７）は近傍の画素値をそのままコピーする場合を示しており、式（１８）は複数の画素値の重み付和を計算する場合を示している。
【００７６】
Ｃｃ（４＊ｉ＋２）＝Ｃａ（４＊ｉ） …（１６）
Ｃｃ（４＊ｉ＋２）＝Ｃａ（４＊ｉ＋４） …（１７）
Ｃｃ（４＊ｉ＋２）＝Ｗ１＊Ｃａ（４＊ｉ）＋Ｗ２＊Ｃａ（４＊ｉ＋４） …（１８）
ここで、Ｃｃ（ｉ）は図４（ｃ）に示す画像の座標ｉの画素のＣ、Ｃａ（ｉ）は図４（ａ）に示す画像の座標ｉの画素のＣを表している。また、Ｗ１およびＷ２は重み係数であり、Ｗ１＋Ｗ２＝１である。
【００７７】
また、デコーダ１０７ａおよび１０７ｂから図２（ｃ）に示すＹＵＶ４：２：２フォーマットの画像データが出力される場合、式（１６）〜式（１８）は以下のようになる。
【００７８】
Ｃｄ（４＊ｉ＋３）＝Ｃｃ（４＊ｉ＋１） …（１９）
Ｃｄ（４＊ｉ＋３）＝Ｃｃ（４＊ｉ＋５） …（２０）
Ｃｄ（４＊ｉ＋３）＝Ｗ１＊Ｃｃ（４＊ｉ＋１）＋Ｗ２＊Ｃｃ（４＊ｉ＋５） …（２１）
ここで、Ｃｄ（ｉ）は図４（ｄ）に示す画像の座標ｉの画素のＣ、Ｃｃ（ｉ）は図２（ｃ）に示す画像の座標ｉの画素のＣを表している。また、Ｗ１およびＷ２は重み係数であり、Ｗ１＋Ｗ２＝１である。式（１６）および式（１９）は左隣のＣの画素値を用いる場合、式（１７）および式（２０）は右隣のＣの画素値を用いる場合、式（１８）および式（２１）は両隣のＣの平均画素値を用いる場合を示している。
【００７９】
次に、デコーダ１０７ａおよび１０７ｂから図２（ｅ）に示すＹＵＶ４：１：１フォーマットの画像データが出力され、フォーマット変換部１０８ａおよび１０８ｂがＹＵＶ４：４：４フォーマットの画像データに拡張する場合について説明する。
【００８０】
図４（ｂ）に示すように、デコーダ１０７ａおよび１０７ｂの出力データは座標２、座標４、座標６…における画素のＣを含まない。図４（ｃ）は、この画素のＣを補間した一例を示している。
【００８１】
たとえば、図４（ｃ）に示す画像のＣをＣｃと表し、図４（ｂ）に示す画像のＣをＣｂと表すと、ＣｃとＣｂとの関係は次に示す式（２２）〜式（２４）のいずれかとなる。なお、式（２２）および式（２３）は近傍の画素値をそのままコピーする場合を示しており、式（２４）は複数の画素値の重み付和を計算する場合を示している。
【００８２】
Ｃｃ（８＊ｉ＋２＊ｋ）＝Ｃｂ（８＊ｉ） …（２２）
Ｃｃ（８＊ｉ＋２＊ｋ）＝Ｃｂ（８＊ｉ＋８） …（２３）
Ｃｃ（８＊ｉ＋２＊ｋ）＝Ｗ１＊Ｃｂ（８＊ｉ）＋Ｗ２＊Ｃｂ（８＊ｉ＋８） …（２４）
ここで、Ｃｃ（ｉ）は図４（ｃ）に示す画像の座標ｉの画素のＣ、Ｃｂ（ｉ）は図４（ｂ）に示す画像の座標ｉの画素のＣを表している。また、Ｗ１およびＷ２は重み係数であり、Ｗ１＋Ｗ２＝１、ｋ＝１、２、３である。
【００８３】
また、デコーダ１０７ａおよび１０７ｂから図２（ｆ）に示すＹＵＶ４：１：１フォーマットの画像データが出力される場合、式（２２）〜式（２４）は以下のようになる。
【００８４】
Ｃｄ（８＊ｉ＋２＊ｋ＋１）＝Ｃｆ（８＊ｉ＋１） …（２５）
Ｃｄ（８＊ｉ＋２＊ｋ＋１）＝Ｃｆ（８＊ｉ＋９） …（２６）
Ｃｄ（８＊ｉ＋２＊ｋ＋１）＝Ｗ１＊Ｃｆ（８＊ｉ＋１）＋Ｗ２＊Ｃｆ（ ８＊ｉ＋９） …（２７）
ここで、Ｃｄ（ｉ）は図４（ｄ）に示す画像の座標ｉの画素のＣ、Ｃｆ（ｉ）は図２（ｆ）に示す画像の座標ｉの画素のＣを表している。また、Ｗ１およびＷ２は重み係数であり、Ｗ１＋Ｗ２＝１、ｋ＝１、２、３である。
【００８５】
補間画素の計算方法の選び方は、どの計算方法を選択した時に立体として見えやすいかが判断基準となる。図１の表示部１１０の特性に大きく依存する場合には、立体画像用データ表示部１１２で一意に決まっていればよい。また、ユーザの個人差に大きく依存する場合は、立体画像用データ表示部１１２内でユーザが補間方法を選択するようにしてもよい。
【００８６】
また、最適な補間方法が、立体画像用データ作成部１１１が作成するデータに依存する場合には、最適な補間方法を示す情報を多重化部１０５であらかじめ多重化しておく。そして、立体画像用データ表示部１１２内の逆多重化部１０６でこの情報を取り出し、これに従ってフォーマット変換部１０８ａおよび１０８ｂが補間方法を選択するようにしてもよい。
【００８７】
合成部１０９は、ＹＵＶ４：４：４フォーマットに変換した画像データを、図４（ｅ）に示すように、左眼用画像と右眼用画像とを１画素列ずつ水平方向に交互に並べて、表示用の画像を作成する。この表示用画像を表示部１１０に表示することで、ユーザは立体画像を見ることができる。
【００８８】
以上説明したように、本実施の形態における立体画像装置においては、フォーマット変換部１０８ａおよび１０８ｂがＹＵＶ４：２：２フォーマットの画像データまたはＹＵＶ４：１：１フォーマットの画像データを補間して、ＹＵＶ４：４：４フォーマットの画像データを生成するようにしたので、表示部１１０がレンチキュラ方式やパララクスバリア方式に対応している場合に、精度の高い立体画像を表示することが可能となった。
【００８９】
また、どのように色情報を補間するかを示す制御情報を、左眼用画像の符号化データおよび右眼用画像の符号化データに多重化するようにしたので、立体画像用データ表示部１１２が立体画像を表示するときに、色情報が最適となるように画像を補間することが可能となった。
【００９０】
（第５の実施の形態）
本発明の第５の実施の形態における立体画像装置の概略構成は、図１に示す第１の実施の形態における立体画像装置の概略構成と同様である。したがって、重複する構成および機能の詳細な説明は繰返さない。
【００９１】
本実施の形態においては、表示部１１０がシャッタ（時分割）方式に対応している場合のものである。
【００９２】
図５は、第５の実施の形態におけるフォーマット変換部１０８ａおよび１０８ｂの補間処理を説明するための図である。図５（ｄ）に示すように、垂直方向に１ラインずつ左眼用画像と右眼用画像とを交互に並べるため、デコーダ１０７ａおよび１０７ｂの出力データを垂直方向に１／２に間引き、水平方向には２倍に拡大する（左眼用画像および右眼用画像を作成する前のサイズに戻す）ことが必要である。
【００９３】
したがって、フォーマット変換部１０８ａおよび１０８ｂは、第４の実施の形態において説明したのと同様の方法で、ＹＵＶ４：４：４フォーマットの画像データとなるようにＣを補間する以外に、ＹＵＶともに垂直方向に１／２に間引き、さらに水平方向に２倍に拡大する処理が新たに必要である。
【００９４】
図５（ａ）は、図２（ｂ）または図２（ｅ）に示す画像データを第４の実施の形態と同様の方法でＹＵＶ４：４：４フォーマットの画像データに変換した場合を示しており、図４（ｃ）に対応している。また、図５（ｂ）は、図２（ｃ）または図２（ｆ）に示す画像データを第４の実施の形態と同様の方法でＹＵＶ４：４：４フォーマットの画像データに変換した場合を示しており、図４（ｄ）に対応している。
【００９５】
ここで、図２（ｂ）および図２（ｅ）は、左眼用画像作成部１０２および右眼用画像作成部１０３が、偶数番目の画素をサンプリングして作成されたものである。また、図２（ｃ）および図２（ｆ）は、左眼用画像作成部１０２および右眼用画像作成部１０３が奇数番目の画素をサンプリングして作成されたものである。このいずれのサンプリング方法を選択したかを示すフラグが、多重化部１０５で符号化データの中に多重化される。
【００９６】
そのため、第４の実施の形態においてＣが補間された画素を、フォーマット変換部１０８ａおよび１０８ｂがこのフラグにしたがって配置する。すなわち、図４（ｃ）の場合には図５（ａ）に示すように各画素を配置し、図４（ｄ）の場合には図５（ｂ）に示すように各画素を配置することによって、ＹおよびＣともに水平方向に補間する画素を計算する。これによって、立体画像データ作成部１１１と立体画像データ表示部１１２とで位相がずれるのを防ぐことができる。
【００９７】
以上は、ＹＵＶ４：２：２フォーマットまたはＹＵＶ４：１：１フォーマットについての説明であったが、図３（ｃ）および図３（ｄ）に示すようなＹＵＶ４：２：０（ＭＰＥＧ−１用）フォーマットの場合も同様である。
【００９８】
なお、以上の説明において、まず画像データをＹＵＶ４：４：４フォーマットに変換した後、垂直方向に間引き、水平方向に拡大して左眼用画像および右眼用画像を作成したが、処理の順番はこれに限らず、例えば、水平方向に拡大した後、垂直方向の間引きをするような順序であってもよい。
【００９９】
合成部１１０は、このようにして作成された画像を図５（ｄ）に示すように、左眼用画像（Ｌ）と右眼用画像（Ｒ）とを垂直方向に１ラインずつ交互に配置して、立体表示用画像を作成する。
【０１００】
以上説明したように、本実施の形態における立体画像装置においては、フォーマット変換部１０８ａおよび１０８ｂがＹＵＶ４：４：４フォーマットの画像データとなるように補間した後、ＹＵＶを垂直方向に１／２に間引き、さらに水平方向に２倍に拡大するようにしたので、表示部１１０がシャッタ（時分割）方式に対応している場合に、精度の高い立体画像を表示することが可能となった。
【０１０１】
また、サンプリングした画素の位置を示す制御情報を、左眼用画像の符号化データおよび右眼用画像の符号化データに多重化するようにしたので、立体画像用データ表示部１１２が立体画像を表示するときに、色情報が最適となるように画像を補間することができるとともに、立体画像データ作成部１１１と立体画像データ表示部１１２とで位相がずれるのを防止することが可能となった。
【０１０２】
なお、以上の実施の形態においては、２眼視の場合について説明したが、これに限らずＮ眼視（Ｎ≧２）の場合にも同様である。
【０１０３】
今回開示された実施の形態は、すべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。
【図面の簡単な説明】
【０１０４】
【図１】本発明の第１の実施の形態における立体画像装置の概略構成を示すブロック図である。
【図２】ＹＵＶ４：２：２フォーマットおよびＹＵＶ４：１：１フォーマットの一例を示す図である。
【図３】ＹＵＶ４：２：０フォーマットの一例を示す図である。
【図４】第４の実施の形態におけるフォーマット変換部１０８ａおよび１０８ｂの補間処理を説明するための図である。
【図５】第５の実施の形態におけるフォーマット変換部１０８ａおよび１０８ｂの補間処理を説明するための図である。
【図６】従来の立体画像装置における画像データの作成方法を説明するための図である。
【符号の説明】
【０１０５】
１０１ａ，１０１ｂ カメラ、１０２ 左眼用画像作成部、１０３ 右眼用画像作成部、１０４ａ，１０４ｂ エンコーダ、１０５ 多重化部、１０６ 逆多重化部、１０７ａ，１０７ｂ デコーダ、１０８ａ，１０８ｂ フォーマット変換部、１０９ 合成部、１１０ 表示部、１１１ 立体画像用データ作成部、１１２ 立体画像用データ表示部。
【技術分野】
【０００１】
本発明は、立体画像用の左眼用画像および右眼用画像を作成して表示する技術に関し、特に、符号化データを復号してフォーマット変換を行った後に立体画像を表示する立体画像表示装置およびその方法に関する。
【背景技術】
【０００２】
近年、立体画像を表示する技術が盛んに研究されている。その１つとして、ユーザの左眼と右眼との視差を利用して立体画像を作成し、表示する立体画像装置を挙げることができる。
【０００３】
図６は、従来の立体画像装置における画像データの作成方法を説明するための図である。この立体画像装置は、立体画像を作成する立体画像作成装置と、立体画像作成装置によって作成された立体画像を表示する立体画像表示装置とに分けられる。
【０００４】
立体画像作成装置は、画像データ作成時に２台のカメラで左眼用と右眼用との画像を各々撮影する。そして、図６（ａ）に示すように、１画素毎に画素を間引いて、左眼用画像および右眼用画像の水平方向のサイズを各々１／２にする。次に、水平方向に半分のサイズになった左眼用画像と右眼用画像とを各々符号化し、これらの符号化データを多重化し、多重化データを伝送、または記録媒体に記録する。
【０００５】
立体画像表示装置は、立体画像作成装置によって作成された多重化データを受信または記録媒体から読出し、左眼用画像と右眼用画像とを各々再生する。そして、図６（ｂ）に示すように、左眼用画像（Ｌ）と右眼用画像（Ｒ）とを１画素ずつ水平方向に交互に並べたり、図６（ｃ）に示すように、１ライン毎に垂直方向に交互に並べたりして、立体表示用の画像を作成する。立体画像表示装置は、レンチキュラ方式、パララクスバリア方式、シャッタ（時分割）方式等を用いて、ユーザの左眼には左眼用の画像だけが見え、ユーザの右眼には右眼用の画像だけが見えるようにすることで、ユーザに画像を立体として見せることができる。
【０００６】
このような立体画像装置の一例としては、特開平１１−１８１１１号公報に開示された立体映像伝送装置を挙げることができる。この特開平１１−１８１１１号公報に開示された立体映像伝送装置においては、圧縮回路が左眼用画像および右眼用画像をそれぞれ１画素毎に間引き処理を行なって、画像を水平走査線方向に圧縮する。
【０００７】
たとえば、図６（ｄ）に示すように、撮影した画像の左から偶数番目のＲＧＢ画素値のみを抽出して、左眼用画像と右眼用画像とを作成する。また、図６（ｅ）に示すように、左眼用画像と右眼用画像とのＲＧＢのうち、画素のＧ値をＲＢ値に対して１画素分ずらして間引くことによって、左眼用画像と右眼用画像とを作成している。ここで、図６（ｄ）および図６（ｅ）に示すＲ、Ｇ、Ｂの後に付加されている数字は、１ライン上でのＲ、Ｇ、Ｂの各座標を示している。
【特許文献１】特開平１１−１８１１１号公報
【発明の開示】
【発明が解決しようとする課題】
【０００８】
しかし、画像、特に動画像を伝送、または記録媒体に記録する場合には、画像のデータ量が非常に大きいため符号化処理を施すのが一般的である。一般的な符号化アルゴリズムであるＭＰＥＧ（Moving Picture Experts Group）−１、ＭＰＥＧ−２、ＭＰＥＧ−４、およびデジタルビデオカメラで使われるＤＶ方式の圧縮は、全て入力画像データとしてＹＵＶデータが用いられる。
【０００９】
また、カメラで撮影された画像もＲＧＢデータであるとは限らず、ＹＵＶデータであることが多い。さらには、ＹＵＶデータのフォーマットは、４：４：４、４：２：２、４：２：０、４：１：１等のように１種類ではないため、入力画像がＹＵＶデータであってもフォーマットが異なり、従来の立体画像表示装置が正しく立体画像を表示するためには適切なフォーマット変換が必要な場合があるといった問題点があった。
【００１０】
本発明は、上記問題点を解決するためになされたものであり、その目的は、色情報が最適となるように立体画像用データを補間して表示することが可能な立体画像表示装置およびその方法を提供することである。
【課題を解決するための手段】
【００１１】
本発明のある局面に従えば、輝度情報と色情報とが分離された左眼用画像および右眼用画像を合成して表示する立体画像表示装置であって、多重化されたデータを逆多重化して、符号化された左眼用画像と、符号化された右眼用画像と、左眼用画像および右眼用画像の色情報の補間方法とを抽出するための逆多重化手段と、逆多重化手段によって抽出された符号化された左眼用画像および符号化された右眼用画像を復号するための復号手段と、逆多重化手段によって抽出された左眼用画像および右眼用画像の色情報の補間方法を参照して、復号手段によって復号された左眼用画像および右眼用画像の色情報を補間して所定フォーマットの画像に変換するためのフォーマット変換手段と、フォーマット変換手段によって変換された左眼用画像および右眼用画像を合成するための合成手段と、合成手段によって合成された画像に応じて立体画像を表示するための表示手段とを含む。
【００１２】
本発明の別の局面に従えば、立体画像表示装置は、輝度情報と色情報とが分離された左眼用画像および右眼用画像を合成して表示する立体画像表示装置であって、多重化されたデータを逆多重化して、符号化された左眼用画像と、符号化された右眼用画像と、左眼用画像および右眼用画像のサンプリングした画素の位置に関する情報とを抽出するための逆多重化手段と、逆多重化手段によって抽出された符号化された左眼用画像および符号化された右眼用画像を復号するための復号手段と、逆多重化手段によって抽出された左眼用画像および右眼用画像のサンプリングした画素の位置に関する情報を参照して、復号手段によって復号された左眼用画像および右眼用画像を水平方向に拡大して所定フォーマットの画像に変換するためのフォーマット変換手段と、フォーマット変換手段によって変換された左眼用画像および右眼用画像を合成するための合成手段と、合成手段によって合成された画像に応じて立体画像を表示するための表示手段とを含む。
【００１３】
本発明のさらに別の局面に従えば、輝度情報と色情報とが分離された左眼用画像および右眼用画像を合成して表示する立体画像表示方法であって、多重化されたデータを逆多重化して、符号化された左眼用画像と、符号化された右眼用画像と、左眼用画像および右眼用画像の色情報の補間方法とを抽出するステップと、抽出された符号化された左眼用画像および符号化された右眼用画像を復号するステップと、抽出された左眼用画像および右眼用画像の色情報の補間方法を参照して、復号された左眼用画像および右眼用画像の色情報を補間して所定フォーマットの画像に変換するステップと、所定フォーマットに変換された左眼用画像および右眼用画像を合成するステップと、合成された画像に応じて立体画像を表示するステップとを含む。
【００１４】
本発明のさらに別の局面に従えば、輝度情報と色情報とが分離された左眼用画像および右眼用画像を合成して表示する立体画像表示方法であって、多重化されたデータを逆多重化して、符号化された左眼用画像と、符号化された右眼用画像と、左眼用画像および右眼用画像のサンプリングした画素の位置に関する情報とを抽出するステップと、抽出された符号化された左眼用画像および符号化された右眼用画像を復号するステップと、抽出された左眼用画像および右眼用画像のサンプリングした画素の位置に関する情報を参照して、復号された左眼用画像および右眼用画像を水平方向に拡大して所定フォーマットの画像に変換するステップと、所定フォーマットに変換された左眼用画像および右眼用画像を合成するステップと、合成された画像に応じて立体画像を表示するステップとを含む。
【発明の効果】
【００１５】
本発明のある局面によれば、フォーマット変換手段が、色情報の補間方法を参照して、左眼用画像および右眼用画像の色情報を補間して所定フォーマットの画像に変換するので、色情報が最適となるように立体画像用データを補間してより立体に見えやすい画像を表示することが可能となった。
【００１６】
本発明の別の局面によれば、フォーマット変換手段が、サンプリングした画素の位置に関する情報を参照して、左眼用画像および右眼用画像を水平方向に拡大して所定フォーマットの画像に変換するので、立体画像作成装置と立体画像表示装置とで位相のずれを防ぐことが可能となった。
【発明を実施するための最良の形態】
【００１７】
（第１の実施の形態）
図１は、本発明の第１の実施の形態における立体画像装置の概略構成を示すブロック図である。この立体画像装置は、立体画像作成装置（以下、立体画像用データ作成部と呼ぶ。）１１１と、立体画像表示装置（以下、立体画像用データ表示部と呼ぶ。）１１２とを含む。
【００１８】
立体画像用データ作成部１１１は、カメラ１０１ａおよび１０１ｂと、左眼用画像作成部１０２と、右眼用画像作成部１０３と、エンコーダ１０４ａおよび１０４ｂと、多重化部１０５とを含む。カメラ１０１ａは、左眼用の画像を撮影する。また、カメラ１０１ｂは、右眼用の画像を撮影する。
【００１９】
左眼用画像作成部１０２は、カメラ１０１ａによって撮影された左眼用の画像データを、エンコーダ１０４ａがエンコード可能なフォーマットに変換する。同様にして、右眼用画像作成部１０３は、カメラ１０１ｂによって撮影された右眼用の画像データを、エンコーダ１０４ｂがエンコード可能なフォーマットに変換する。
【００２０】
エンコーダ１０４ａは、ＭＰＥＧ−１、ＭＰＥＧ−２、ＭＰＥＧ−４、ＤＶ圧縮方式等のアルゴリズムを利用して、カメラ１０１ａによって撮影された画像をエンコードする。エンコーダ１０４ｂは、エンコーダ１０４ａと同様のアルゴリズムを利用して、カメラ１０１ｂによって撮影された画像をエンコードする。
【００２１】
多重化部１０５は、エンコーダ１０４ａによってエンコードされた左眼用画像の符号化データ、エンコーダ１０４ｂによってエンコードされた右眼用画像の符号化データ、および各種制御情報を多重化する。多重化部１０５によって多重化されたデータは、立体画像用データ表示部１１２に送信されたり、記録メディアに記録されたりする。
【００２２】
また、立体画像用データ表示部１１２は、逆多重化部１０６と、デコーダ１０７ａおよび１０７ｂと、フォーマット変換部１０８ａおよび１０８ｂと、合成部１０９と、表示部１１０とを含む。
【００２３】
逆多重化部１０６は、立体画像用データ作成部１１１から受信した多重化データや、記録メディアから読出した多重化データを逆多重化し、左眼用画像の符号化データ、右眼用画像の符号化データおよび各種制御情報を抽出する。抽出された左眼用画像の符号化データはデコーダ１０７ａに転送され、右眼用画像の符号化データはデコーダ１０７ｂに転送され、制御情報はフォーマット変換部１０８ａおよび１０８ｂに転送される。
【００２４】
デコーダ１０７ａは、エンコーダ１０４ａに対応しており、ＭＰＥＧ−１、ＭＰＥＧ−２、ＭＰＥＧ−４、ＤＶ圧縮方式等のアルゴリズムを利用して、逆多重化部１０６から受けた左眼用画像の符号化データを復号する。デコーダ１０７ｂは、エンコーダ１０４ｂに対応しており、デコーダ１０７ａと同様のアルゴリズムを利用して、逆多重化部１０６から受けた右眼用画像の符号化データを復号する。
【００２５】
フォーマット変換部１０８ａは、逆多重化部１０６から受けた制御情報を参照して、デコーダ１０７ａによって復号された左眼用画像を、表示部１１０が表示可能なフォーマットに変換する。同様に、フォーマット変換部１０８ｂは、逆多重化部１０６から受けた制御情報を参照して、デコーダ１０７ｂによって復号された右眼用画像を、表示部１１０が表示可能なフォーマットに変換する。
【００２６】
合成部１０９は、フォーマット変換部１０８ａによってフォーマット変換された左眼用画像と、フォーマット変換部１０８ｂによってフォーマット変換された右眼用画像とを合成し、立体画像用データを作成する。
【００２７】
表示部１１０は、ＬＣＤ（Liquid Crystal Display）モジュールなどによって構成され、レンチキュラ方式、パララクスバリア方式、シャッタ（時分割）方式などを用いて、立体画像を表示する。
【００２８】
図２および図３は、各種画像フォーマットの一例を示す図である。各画素の上の数値はその画素の左端からの座標を表しており、本明細書では画素の位置を画像の左端からの座標で表すことにする。また、特に断らない限り、Ｕ成分とＶ成分とをまとめてＣ（クロマ成分）と表すことにする。なお、図２においては、ＹとＣとの関係が全てのラインで同じなので、１ラインのみを記載している。
【００２９】
図２（ａ）は、ＹＵＶ４：２：２フォーマットを示す図であり、Ｙに対してＣを水平方向に１／２に削減したものである。図２（ｄ）は、ＹＵＶ４：１：１フォーマットを示す図であり、Ｙに対してＣを水平方向に１／４に削減したものである。図３（ａ）はＹＵＶ４：２：０（ＭＰＥＧ−２用）フォーマットを示す図であり、Ｙに対してＣを水平方向に１／２、垂直方向に１／２に削減したものである。
【００３０】
図２（ａ）および図２（ｄ）に示すように、ＹＵＶ４：２：２フォーマットやＹＵＶ４：１：１フォーマットにおいては、各ライン上でＹとＣとが同じ位置でサンプリングされている。しかし、図３（ａ）に示すように、ＹＵＶ４：２：０（ＭＰＥＧ−２用）フォーマットにおいては、Ｃを垂直方向にも間引くために、ＹとＣとの垂直方向のサンプリング位置は異なっている。ここで、図３（ａ）の左端の数値は、その画素の画像の上端からの座標を示す数値である。
【００３１】
図２（ａ）と図３（ａ）とを比較すればわかるように、水平方向のＹとＣとの関係では、ＹＵＶ４：２：２フォーマットとＹＵＶ４：２：０（ＭＰＥＧ−２用）フォーマットとが同じである。本発明においては水平方向の処理しか関係しないため、以下の説明ではＹＵＶ４：２：２フォーマットの中にＹＵＶ４：２：０（ＭＰＥＧ−２用）フォーマットを含めることにする。
【００３２】
本実施の形態においては、カメラ１０１ａおよび１０１ｂが、ＹＵＶ４：２：２フォーマットのデータを出力する場合のものである。左眼用画像作成部１０２および右眼用画像作成部１０３は、図２（ａ）に示す画像データが入力されると、この画像データに対して水平方向に１／２の間引きを行なう。間引きを行なった後の画像データもＹＵＶ４：２：２フォーマットである場合には、図２（ｂ）または図２（ｃ）に示すものとなる。また、間引きを行なった後の画像データがＹＵＶ４：１：１フォーマットである場合には、図２（ｅ）または図２（ｆ）に示すものとなる。
【００３３】
ここで、間引き処理をする前の座標ｉの画素のＹをＹ（ｉ）、座標ｉの画素のＣをＣ（ｉ）と表すことにする。図２（ｂ）においては、Ｙ（０）、Ｙ（２）、Ｙ（４）、Ｙ（６）、Ｙ（８）…が存在すると共に、Ｃ（０）、Ｃ（４）、Ｃ（８）…が存在する。また、図２（ｃ）においては、Ｙ（１）、Ｙ（３）、Ｙ（５）、Ｙ（７）、Ｙ（９）…が存在すると共に、Ｃ（１）、Ｃ（５）、Ｃ（９）…が存在する。
【００３４】
図２（ｂ）と図２（ｃ）との違いは、偶数番目の画素をサンプリングするか、奇数番目の画素をサンプリングするかの違いである。左眼用画像と右眼用画像との組合わせにおいて、左眼用画像として図２（ｂ）に示す画像を使い、右眼用画像として図２（ｃ）に示す画像を使うようにしてもよい。また、左眼用画像として図２（ｃ）に示す画像を使い、右眼用画像として図２（ｂ）に示す画像を使うようにしてもよい。
【００３５】
また、左眼用画像および右眼用画像の双方とも図２（ｂ）に示す画像を使ってもよいし、双方とも図２（ｃ）に示す画像を使ってもよい。左眼用画像と右眼用画像との組み合わせの選択は自由である。本発明の実施の形態２以降についても同様である。
【００３６】
また、間引いた後の画像として、図２（ｂ）に示す画像を使う場合には、ＹおよびＣともサンプリング前の同じ位置のデータをそのまま使えばよい。間引いた後の画像として、図２（ｃ）に示す画像を使う場合にも、Ｙはサンプリング前の同じ位置のデータをそのまま使えばよい。しかし、間引いた後の画像として、図２（ｃ）に示す画像を使う場合には、Ｃに関してはサンプリング前後で位置が異なり、サンプリング前の同じ位置のデータが存在しない。したがって、図２（ｃ）に示す画像のＣは、サンプリング前のＣ（０）、Ｃ（２）、Ｃ（４）、Ｃ（６）、Ｃ（８）…からＣ（１）、Ｃ（５）、Ｃ（９）…を計算する必要がある。
【００３７】
たとえば、図２（ａ）に示す画像のＣをＣａと表し、図２（ｃ）に示す画像のＣをＣｃと表すと、ＣａとＣｃとの関係は次に示す式（１）〜（３）のいずれかとなる。
【００３８】
Ｃｃ（ｉ＊４＋１）＝Ｃａ（ｉ＊４） …（１）
Ｃｃ（ｉ＊４＋１）＝Ｃａ（ｉ＊４＋２） …（２）
Ｃｃ（ｉ＊４＋１）＝（Ｃａ（ｉ＊４）＋Ｃａ（ｉ＊４＋２））／２
…（３）
ここで、Ｃａ（ｉ）は図２（ａ）に示す画像の座標ｉの画素のＣ、Ｃｃ（ｉ）は図２（ｃ）に示す画像の座標ｉの画素のＣを表している。式（１）、式（２）または式（３）のように、図２（ｃ）に示す画像のＣの位置に対応する画素の、サンプリング前の近傍の画素値を使って計算することになる。すなわち、式（１）は左隣のＣの画素値を用いる場合、式（２）は右隣のＣの画素値を用いる場合、式（３）は両隣のＣの平均画素値を用いる場合を示している。
【００３９】
同様に、左眼用画像作成部１０２および右眼用画像作成部１０３がＹＵＶ４：１：１フォーマットで画像を作成する場合も、左眼用画像と右眼用画像との組み合わせの選択は自由である。間引いた後の画像として、図２（ｅ）に示す画像を使う場合には、ＹおよびＣともサンプリング前の同じ位置のデータをそのまま使えばよい。間引いた後の画像として、図２（ｆ）に示す画像を使う場合にも、Ｙはサンプリング前の同じ位置のデータをそのまま使えばよい。しかし、間引いた後の画像として、図２（ｆ）に示す画像を使う場合には、画素のＣに関してはサンプリング前後で位置が異なるため、サンプリング前の同じ位置のデータが存在しない。従って、図２（ｆ）に示す画像のＣについては、サンプリング前のＣ（０）、Ｃ（２）、Ｃ（４）、Ｃ（６）、Ｃ（８）…から、Ｃ（１）、Ｃ（９）…を計算する必要がある。
【００４０】
たとえば、図２（ａ）に示す画像のＣをＣａと表し、図２（ｆ）に示す画像のＣをＣｆと表すと、ＣａとＣｆとの関係は次に示す式（４）〜（６）のいずれかとなる。
【００４１】
Ｃｆ（ｉ＊８＋１）＝Ｃａ（ｉ＊８） …（４）
Ｃｆ（ｉ＊８＋１）＝Ｃａ（ｉ＊８＋２） …（５）
Ｃｆ（ｉ＊８＋１）＝（Ｃａ（ｉ＊８）＋Ｃａ（ｉ＊８＋２））／２
…（６）
ここで、Ｃａ（ｉ）は図２（ａ）に示す画像の座標ｉの画素のＣ、Ｃｆ（ｉ）は図２（ｆ）に示す画像の座標ｉの画素のＣを表している。式（４）、式（５）または式（６）に示すように、図２（ｆ）のＣの位置に対応する画素の、サンプリング前の近傍の画素値を使って計算することになる。すなわち、式（４）は左隣のＣの画素値を用いる場合、式（５）は右隣のＣの画素値を用いる場合、式（６）は両隣のＣの平均画素値を用いる場合を示している。
【００４２】
２台のカメラ１０１ａおよび１０１ｂで撮影した画像を、各々左眼用画像と右眼用画像とに変換するために、図２（ｂ）および図２（ｃ）に示す画像（ＹＵＶ４：１：１フォーマットの場合には、図２（ｅ）および図２（ｆ）に示す画像）のいずれを選択するかについては、ユーザが状況に応じて選択する。そして、いずれを選択したかを示すフラグが多重化部１０５に出力される。多重化部１０５は、このフラグを制御情報として左眼用画像の符号化データおよび右眼用画像の符号化データに多重化する。
【００４３】
光軸を並行にして撮影する場合には、左眼用画像として図２（ｂ）に示す画像（ＹＵＶ４：１：１フォーマットの場合には、図２（ｅ）に示す画像）、右眼用画像として図２（ｃ）に示す画像（ＹＵＶフォーマット４：１：１の場合には、図２（ｆ）に示す画像）を選択すると、高い精度の画像が得られる。
【００４４】
また、左眼用画像および右眼用画像とも、図２（ｂ）に示す画像（ＹＵＶ４：１：１フォーマットの場合には、図２（ｅ）に示す画像）を選択すると、処理が簡単である。このように、ユーザがその都度、状況にあった画像を選択するようにすればよい。
【００４５】
以上説明したように、本実施の形態における立体画像装置においては、カメラ１０１ａおよび１０１ｂが撮影した画像がＹＵＶ４：２：２フォーマットの場合に、左眼用画像作成部１０２および右眼用画像作成部１０３が左眼用画像および右眼用画像を作成するときに、間引き処理を行なって作成される画像の色情報の位置に合わせて色情報を計算するようにしたので、精度の高い立体画像を作成することが可能となった。
【００４６】
また、画像がどのＹＵＶフォーマットに相当するかを示す情報およびどの位置の画素を符号化したかを示す情報を含んだ制御情報を、左眼用画像の符号化データおよび右眼用画像の符号化データに多重化するようにしたので、立体画像用データ表示部１１２が立体画像を表示するときに、どの組合わせの画像が立体に見えやすいか等をユーザが決定する際の利便性を向上させることが可能となった。また、どの組合せが立体に見えやすいかの情報を立体画像用データ作成部１１１にフィードバックすることによって、左眼用画像作成部１０２および右眼用画像作成部１０３における左眼用画像および右眼用画像の選択を容易に行なうことが可能となる。
【００４７】
（第２の実施の形態）
本発明の第２の実施の形態における立体画像装置の概略構成は、図１に示す第１の実施の形態における立体画像装置の概略構成と同様である。したがって、重複する構成および機能の詳細な説明は繰返さない。
【００４８】
本実施の形態においては、カメラ１０１ａおよび１０１ｂが、ＹＵＶ４：１：１フォーマットの画像データを出力する場合のものである。左眼用画像作成部１０２および右眼用画像作成部１０３は、図２（ｄ）に示す画像データが入力されると、この画像データに対して水平方向に１／２の間引きを行なう。間引きを行なった後の画像データもＹＵＶ４：１：１フォーマットである場合には、図２（ｅ）または図２（ｆ）に示すものとなる。
【００４９】
間引いた後の画像として、図２（ｅ）に示す画像を使う場合には、ＹおよびＣともサンプリング前の同じ位置のデータをそのまま使えばよい。間引いた後の画像として、図２（ｆ）に示す画像を使う場合にも、Ｙはサンプリング前の同じ位置のデータをそのまま使えばよい。しかし、間引いた後の画像として、図２（ｆ）に示す画像を使う場合には、Ｃに関してはサンプリング前後で位置が異なり、サンプリング前の同じ位置のデータが存在しない。したがって、図２（ｆ）に示す画像のＣは、サンプリング前のＣ（０）、Ｃ（４）、Ｃ（８）…からＣ（１）、Ｃ（９）…を計算する必要がある。
【００５０】
たとえば、図２（ｄ）に示す画像のＣをＣｄと表し、図２（ｆ）に示す画像のＣをＣｆと表すと、ＣｄとＣｆとの関係は次に示す式（７）〜式（９）のいずれかとなる。
【００５１】
Ｃｆ（ｉ＊８＋１）＝Ｃｄ（ｉ＊８） …（７）
Ｃｆ（ｉ＊８＋１）＝Ｃｄ（ｉ＊８＋４） …（８）
Ｃｆ（ｉ＊８＋１）＝Ｃｄ（ｉ＊８）＊Ｗ１＋Ｃｄ（ｉ＊８＋４）＊Ｗ２ …（９）
ここで、Ｃｄ（ｉ）は図２（ｄ）に示す画像の座標ｉの画素のＣ、Ｃｆ（ｉ）は図２（ｆ）に示す画像の座標ｉの画素のＣを表している。また、Ｗ１およびＷ２は重み係数であり、Ｗ１＋Ｗ２＝１である。式（７）、式（８）または式（９）のように、図２（ｆ）に示す画像のＣの位置に対応する画素の、サンプリング前の近傍の画素値を使って計算することになる。すなわち、式（７）は左隣のＣの画素値を用いる場合、式（８）は右隣のＣの画素値を用いる場合、式（９）は両隣のＣの平均画素値を用いる場合である。
【００５２】
ＹＵＶ４：１：１フォーマットの場合はもともとＣの情報が少なく、水平方向に１／２に間引くと情報量がさらに少なくなるので、間引いた後の画像が図２（ｅ）に示す画像の場合でも、Ｃに関してはサンプリング前の近傍画素の重み付和等を計算した方が画質はよくなる。
【００５３】
２台のカメラ１０１ａおよび１０１ｂで撮影した画像を、各々左眼用画像と右眼用画像とに変換するために、図２（ｅ）および図２（ｆ）に示す画像のいずれを選択するかについては、ユーザが状況に応じて選択する。そして、いずれを選択したかを示すフラグが多重化部１０５に出力される。多重化部１０５は、このフラグを制御情報として左眼用画像の符号化データおよび右眼用画像の符号化データに多重化する。
【００５４】
光軸を並行にして撮影する場合には、左眼用画像として図２（ｅ）に示す画像、右眼用画像として図２（ｆ）に示す画像を選択すると、高い精度の画像が得られる。また、左眼用画像および右眼用画像とも、図２（ｅ）に示す画像を選択すると、処理が簡単である。このように、ユーザがその都度、状況にあった画像を選択するようにすればよい。
【００５５】
以上説明したように、本実施の形態における立体画像装置においては、カメラ１０１ａおよび１０１ｂが撮影した画像がＹＵＶ４：１：１フォーマットの場合に、左眼用画像作成部１０２および右眼用画像作成部１０３が左眼用画像および右眼用画像を作成するときに、間引き処理を行なって作成される画像の色情報の位置に合わせて色情報を計算するようにしたので、精度の高い立体画像を作成することが可能となった。
【００５６】
また、画像がどのＹＵＶフォーマットに相当するかを示す情報およびどの位置の画素を符号化したかを示す情報を含んだ制御情報を、左眼用画像の符号化データおよび右眼用画像の符号化データに多重化するようにしたので、立体画像用データ表示部１１２が立体画像を表示するときに、どの組合わせの画像が立体に見えやすいか等をユーザが決定する際の利便性を向上させることが可能となった。また、どの組合せが立体に見えやすいかの情報を立体画像用データ作成部１１１にフィードバックすることによって、左眼用画像作成部１０２および右眼用画像作成部１０３における左眼用画像および右眼用画像の選択を容易に行なうことが可能となる等、第１の実施の形態において説明した効果と同様の効果を得ることが可能となった。
【００５７】
（第３の実施の形態）
本発明の第３の実施の形態における立体画像装置の概略構成は、図１に示す第１の実施の形態における立体画像装置の概略構成と同様である。したがって、重複する構成および機能の詳細な説明は繰返さない。
【００５８】
本実施の形態において、カメラ１０１ａおよび１０１ｂが、ＹＵＶ４：２：０（ＭＰＥＧ−１用）フォーマットのデータを出力する場合のものである。左眼用画像作成部１０２および右眼用画像作成部１０３は、図３（ｂ）に示す画像データが入力されると、この画像データに対して水平方向に１／２の間引きを行なう。間引きを行なった後の画像データもＹＵＶ４：２：０フォーマットである場合には、図３（ｃ）または図３（ｄ）に示すものとなる。
【００５９】
また、間引いた後の画像として、図３（ｃ）および図３（ｄ）のいずれに示す画像を使う場合にも、Ｙはサンプリング前の同じ位置のデータをそのまま使えばよい。しかし、Ｃに関してはサンプリング前後で位置が異なり、サンプリング前の同じ位置のデータが存在しない。
【００６０】
したがって、図３（ｃ）に示す画像のＣは、サンプリング前のＣ（０＿１）、Ｃ（２＿３）、Ｃ（４＿５）、Ｃ（６＿７）、Ｃ（８＿９）…からＣ（１）、Ｃ（５）、Ｃ（９）…を計算する必要がある。ここで、Ｃ（ｉ＿（ｉ＋１））は座標ｉと座標（ｉ＋１）の中間位置を意味する。
【００６１】
たとえば、図３（ｂ）に示す画像のＣをＣｂと表し、図３（ｃ）に示す画像のＣをＣｃと表すと、ＣｂとＣｃとの関係は次に示す式（１０）〜（１２）のいずれかとなる。
【００６２】
Ｃｃ（ｉ＊４＋１）＝Ｃｂ（（ｉ＊４）＿（ｉ＊４＋１））…（１０）
Ｃｃ（ｉ＊４＋１）＝Ｃｂ（（ｉ＊４＋２）＿（ｉ＊４＋３））…（１１）
Ｃｃ（ｉ＊４＋１）＝Ｃｂ（（ｉ＊４）＿（ｉ＊４＋１））＊Ｗ１＋Ｃｂ（（ｉ＊４＋２）＿（ｉ＊４＋３））＊Ｗ２ …（１２）
ここで、Ｃｃ（ｉ）は図３（ｃ）の座標ｉのＣを表している。また、Ｗ１およびＷ２は重み係数であり、Ｗ１＋Ｗ２＝１である。
【００６３】
また、図３（ｄ）に示す画像のＣは、サンプリング前のＣ（０＿１）、Ｃ（２＿３）、Ｃ（４＿５）、Ｃ（６＿７）、Ｃ（８＿９）…からＣ（２）、Ｃ（６）、Ｃ（１０）…を計算する必要がある。
【００６４】
たとえば、図３（ｂ）に示す画像のＣをＣｂと表し、図３（ｄ）に示す画像のＣをＣｄと表すと、ＣｂとＣｄとの関係は次に示す式（１３）〜（１５）のいずれかとなる。
【００６５】
Ｃｄ（ｉ＊４＋２）＝Ｃｂ（（ｉ＊４）＿（ｉ＊４＋１）） …（１３）
Ｃｄ（ｉ＊４＋２）＝Ｃｂ（（ｉ＊４＋２）＿（ｉ＊４＋３））…（１４）
Ｃｄ（ｉ＊４＋２）＝Ｃｂ（（ｉ＊４）＿（ｉ＊４＋１））＊Ｗ１＋Ｃｂ（（ｉ＊４＋２）＿（ｉ＊４＋３））＊Ｗ２ …（１５）
ここで、Ｃｄ（ｉ）は図３（ｄ）の座標ｉのＣを表している。Ｗ１およびＷ２は重み係数であり、Ｗ１＋Ｗ２＝１である。
【００６６】
式（１０）〜（１５）に示すように、図３（ｂ）のＣの位置に対応する画素の、サンプリング前の近傍の画素値を使って計算することになる。すなわち、式（１０）および式（１３）は左隣のＣの画素値を用いる場合、式（１１）および式（１４）は右隣のＣの画素値を用いる場合、式（１２）および式（１５）は両隣のＣの平均画素値を用いる場合である。
【００６７】
２台のカメラ１０１ａおよび１０１ｂで撮影した画像を、各々左眼用画像と右眼用画像とに変換するために、図３（ｃ）および図３（ｄ）に示す画像のいずれを選択するかについては、ユーザが状況に応じて選択する。そして、いずれを選択したかを示すフラグが多重化部１０５に出力される。多重化部１０５は、このフラグを制御情報として左眼用画像の符号化データおよび右眼用画像の符号化データに多重化する。
【００６８】
光軸を並行にして撮影する場合には、左眼用画像として図３（ｃ）に示す画像、右眼用画像として図３（ｄ）に示す画像を選択すると、高い精度の画像が得られる。また、左眼用画像および右眼用画像とも、図３（ｃ）を選択すると、処理が簡単である。このように、ユーザがその都度、状況にあった画像を選択するようにすればよい。
【００６９】
以上説明したように、本実施の形態における立体画像装置においては、カメラ１０１ａおよび１０１ｂが撮影した画像がＹＵＶ４：２：０（ＭＰＥＧ−１用）フォーマットの場合に、左眼用画像作成部１０２および右眼用画像作成部１０３が左眼用画像および右眼用画像を作成するときに、間引き処理を行なって作成される画像の色情報の位置に合わせて色情報を計算するようにしたので、精度の高い立体画像を作成することが可能となった。
【００７０】
また、画像がどのＹＵＶフォーマットに相当するかを示す情報およびどの位置の画素を符号化したかを示す情報を含んだ制御情報を、左眼用画像の符号化データおよび右眼用画像の符号化データに多重化するようにしたので、立体画像用データ表示部１１２が立体画像を表示するときに、どの組合わせの画像が立体に見えやすいか等をユーザが決定する際の利便性を向上させることが可能となった。また、どの組合せが立体に見えやすいかの情報を立体画像用データ作成部１１１にフィードバックすることによって、左眼用画像作成部１０２および右眼用画像作成部１０３における左眼用画像および右眼用画像の選択を容易に行なうことが可能となる等、第１の実施の形態において説明した効果と同様の効果を得ることが可能となった。
【００７１】
なお、本発明の第１の実施の形態から第３の実施の形態を通じて、立体画像用データ作成部１１１と立体画像用データ表示部１１２とで通信をする場合は、左眼用画像と右眼用画像との組合せを立体画像用データ作成部１１１で変更して、立体画像用データ表示部１１２で最も立体に見えやすい組合せがわかった時点で、その組合わせを立体画像用データ表示部１１２からフィードバックしてもらい、いずれを選択したかを示すフラグを多重化部１０５で多重化してもよい。
【００７２】
（第４の実施の形態）
本発明の第４の実施の形態における立体画像装置の概略構成は、図１に示す第１の実施の形態における立体画像装置の概略構成と同様である。したがって、重複する構成および機能の詳細な説明は繰返さない。
【００７３】
本実施の形態においては、表示部１１０がレンチキュラ方式やパララクスバリア方式に対応している場合のものである。デコーダ１０７ａおよび１０７ｂから図２（ｂ）に示すＹＵＶ４：２：２フォーマットの画像データが出力され、フォーマット変換部１０８ａおよび１０８ｂがその画像データを、ＹＵＶ４：４：４フォーマットの画像データに拡張する。
【００７４】
図４は、第４の実施の形態におけるフォーマット変換部１０８ａおよび１０８ｂの補間処理を説明するための図である。図４（ａ）に示すように、デコーダ１０７ａおよび１０７ｂからの出力データは、座標２、座標６…における画素のＣを含まない。図４（ｃ）は、この画素のＣを補間した一例を示している。
【００７５】
たとえば、図４（ｃ）に示す画像のＣをＣｃと表し、図４（ａ）に示す画像のＣをＣａと表すと、ＣｃとＣａとの関係は次に示す式（１６）〜（１８）のいずれかとなる。なお、式（１６）および式（１７）は近傍の画素値をそのままコピーする場合を示しており、式（１８）は複数の画素値の重み付和を計算する場合を示している。
【００７６】
Ｃｃ（４＊ｉ＋２）＝Ｃａ（４＊ｉ） …（１６）
Ｃｃ（４＊ｉ＋２）＝Ｃａ（４＊ｉ＋４） …（１７）
Ｃｃ（４＊ｉ＋２）＝Ｗ１＊Ｃａ（４＊ｉ）＋Ｗ２＊Ｃａ（４＊ｉ＋４） …（１８）
ここで、Ｃｃ（ｉ）は図４（ｃ）に示す画像の座標ｉの画素のＣ、Ｃａ（ｉ）は図４（ａ）に示す画像の座標ｉの画素のＣを表している。また、Ｗ１およびＷ２は重み係数であり、Ｗ１＋Ｗ２＝１である。
【００７７】
また、デコーダ１０７ａおよび１０７ｂから図２（ｃ）に示すＹＵＶ４：２：２フォーマットの画像データが出力される場合、式（１６）〜式（１８）は以下のようになる。
【００７８】
Ｃｄ（４＊ｉ＋３）＝Ｃｃ（４＊ｉ＋１） …（１９）
Ｃｄ（４＊ｉ＋３）＝Ｃｃ（４＊ｉ＋５） …（２０）
Ｃｄ（４＊ｉ＋３）＝Ｗ１＊Ｃｃ（４＊ｉ＋１）＋Ｗ２＊Ｃｃ（４＊ｉ＋５） …（２１）
ここで、Ｃｄ（ｉ）は図４（ｄ）に示す画像の座標ｉの画素のＣ、Ｃｃ（ｉ）は図２（ｃ）に示す画像の座標ｉの画素のＣを表している。また、Ｗ１およびＷ２は重み係数であり、Ｗ１＋Ｗ２＝１である。式（１６）および式（１９）は左隣のＣの画素値を用いる場合、式（１７）および式（２０）は右隣のＣの画素値を用いる場合、式（１８）および式（２１）は両隣のＣの平均画素値を用いる場合を示している。
【００７９】
次に、デコーダ１０７ａおよび１０７ｂから図２（ｅ）に示すＹＵＶ４：１：１フォーマットの画像データが出力され、フォーマット変換部１０８ａおよび１０８ｂがＹＵＶ４：４：４フォーマットの画像データに拡張する場合について説明する。
【００８０】
図４（ｂ）に示すように、デコーダ１０７ａおよび１０７ｂの出力データは座標２、座標４、座標６…における画素のＣを含まない。図４（ｃ）は、この画素のＣを補間した一例を示している。
【００８１】
たとえば、図４（ｃ）に示す画像のＣをＣｃと表し、図４（ｂ）に示す画像のＣをＣｂと表すと、ＣｃとＣｂとの関係は次に示す式（２２）〜式（２４）のいずれかとなる。なお、式（２２）および式（２３）は近傍の画素値をそのままコピーする場合を示しており、式（２４）は複数の画素値の重み付和を計算する場合を示している。
【００８２】
Ｃｃ（８＊ｉ＋２＊ｋ）＝Ｃｂ（８＊ｉ） …（２２）
Ｃｃ（８＊ｉ＋２＊ｋ）＝Ｃｂ（８＊ｉ＋８） …（２３）
Ｃｃ（８＊ｉ＋２＊ｋ）＝Ｗ１＊Ｃｂ（８＊ｉ）＋Ｗ２＊Ｃｂ（８＊ｉ＋８） …（２４）
ここで、Ｃｃ（ｉ）は図４（ｃ）に示す画像の座標ｉの画素のＣ、Ｃｂ（ｉ）は図４（ｂ）に示す画像の座標ｉの画素のＣを表している。また、Ｗ１およびＷ２は重み係数であり、Ｗ１＋Ｗ２＝１、ｋ＝１、２、３である。
【００８３】
また、デコーダ１０７ａおよび１０７ｂから図２（ｆ）に示すＹＵＶ４：１：１フォーマットの画像データが出力される場合、式（２２）〜式（２４）は以下のようになる。
【００８４】
Ｃｄ（８＊ｉ＋２＊ｋ＋１）＝Ｃｆ（８＊ｉ＋１） …（２５）
Ｃｄ（８＊ｉ＋２＊ｋ＋１）＝Ｃｆ（８＊ｉ＋９） …（２６）
Ｃｄ（８＊ｉ＋２＊ｋ＋１）＝Ｗ１＊Ｃｆ（８＊ｉ＋１）＋Ｗ２＊Ｃｆ（ ８＊ｉ＋９） …（２７）
ここで、Ｃｄ（ｉ）は図４（ｄ）に示す画像の座標ｉの画素のＣ、Ｃｆ（ｉ）は図２（ｆ）に示す画像の座標ｉの画素のＣを表している。また、Ｗ１およびＷ２は重み係数であり、Ｗ１＋Ｗ２＝１、ｋ＝１、２、３である。
【００８５】
補間画素の計算方法の選び方は、どの計算方法を選択した時に立体として見えやすいかが判断基準となる。図１の表示部１１０の特性に大きく依存する場合には、立体画像用データ表示部１１２で一意に決まっていればよい。また、ユーザの個人差に大きく依存する場合は、立体画像用データ表示部１１２内でユーザが補間方法を選択するようにしてもよい。
【００８６】
また、最適な補間方法が、立体画像用データ作成部１１１が作成するデータに依存する場合には、最適な補間方法を示す情報を多重化部１０５であらかじめ多重化しておく。そして、立体画像用データ表示部１１２内の逆多重化部１０６でこの情報を取り出し、これに従ってフォーマット変換部１０８ａおよび１０８ｂが補間方法を選択するようにしてもよい。
【００８７】
合成部１０９は、ＹＵＶ４：４：４フォーマットに変換した画像データを、図４（ｅ）に示すように、左眼用画像と右眼用画像とを１画素列ずつ水平方向に交互に並べて、表示用の画像を作成する。この表示用画像を表示部１１０に表示することで、ユーザは立体画像を見ることができる。
【００８８】
以上説明したように、本実施の形態における立体画像装置においては、フォーマット変換部１０８ａおよび１０８ｂがＹＵＶ４：２：２フォーマットの画像データまたはＹＵＶ４：１：１フォーマットの画像データを補間して、ＹＵＶ４：４：４フォーマットの画像データを生成するようにしたので、表示部１１０がレンチキュラ方式やパララクスバリア方式に対応している場合に、精度の高い立体画像を表示することが可能となった。
【００８９】
また、どのように色情報を補間するかを示す制御情報を、左眼用画像の符号化データおよび右眼用画像の符号化データに多重化するようにしたので、立体画像用データ表示部１１２が立体画像を表示するときに、色情報が最適となるように画像を補間することが可能となった。
【００９０】
（第５の実施の形態）
本発明の第５の実施の形態における立体画像装置の概略構成は、図１に示す第１の実施の形態における立体画像装置の概略構成と同様である。したがって、重複する構成および機能の詳細な説明は繰返さない。
【００９１】
本実施の形態においては、表示部１１０がシャッタ（時分割）方式に対応している場合のものである。
【００９２】
図５は、第５の実施の形態におけるフォーマット変換部１０８ａおよび１０８ｂの補間処理を説明するための図である。図５（ｄ）に示すように、垂直方向に１ラインずつ左眼用画像と右眼用画像とを交互に並べるため、デコーダ１０７ａおよび１０７ｂの出力データを垂直方向に１／２に間引き、水平方向には２倍に拡大する（左眼用画像および右眼用画像を作成する前のサイズに戻す）ことが必要である。
【００９３】
したがって、フォーマット変換部１０８ａおよび１０８ｂは、第４の実施の形態において説明したのと同様の方法で、ＹＵＶ４：４：４フォーマットの画像データとなるようにＣを補間する以外に、ＹＵＶともに垂直方向に１／２に間引き、さらに水平方向に２倍に拡大する処理が新たに必要である。
【００９４】
図５（ａ）は、図２（ｂ）または図２（ｅ）に示す画像データを第４の実施の形態と同様の方法でＹＵＶ４：４：４フォーマットの画像データに変換した場合を示しており、図４（ｃ）に対応している。また、図５（ｂ）は、図２（ｃ）または図２（ｆ）に示す画像データを第４の実施の形態と同様の方法でＹＵＶ４：４：４フォーマットの画像データに変換した場合を示しており、図４（ｄ）に対応している。
【００９５】
ここで、図２（ｂ）および図２（ｅ）は、左眼用画像作成部１０２および右眼用画像作成部１０３が、偶数番目の画素をサンプリングして作成されたものである。また、図２（ｃ）および図２（ｆ）は、左眼用画像作成部１０２および右眼用画像作成部１０３が奇数番目の画素をサンプリングして作成されたものである。このいずれのサンプリング方法を選択したかを示すフラグが、多重化部１０５で符号化データの中に多重化される。
【００９６】
そのため、第４の実施の形態においてＣが補間された画素を、フォーマット変換部１０８ａおよび１０８ｂがこのフラグにしたがって配置する。すなわち、図４（ｃ）の場合には図５（ａ）に示すように各画素を配置し、図４（ｄ）の場合には図５（ｂ）に示すように各画素を配置することによって、ＹおよびＣともに水平方向に補間する画素を計算する。これによって、立体画像データ作成部１１１と立体画像データ表示部１１２とで位相がずれるのを防ぐことができる。
【００９７】
以上は、ＹＵＶ４：２：２フォーマットまたはＹＵＶ４：１：１フォーマットについての説明であったが、図３（ｃ）および図３（ｄ）に示すようなＹＵＶ４：２：０（ＭＰＥＧ−１用）フォーマットの場合も同様である。
【００９８】
なお、以上の説明において、まず画像データをＹＵＶ４：４：４フォーマットに変換した後、垂直方向に間引き、水平方向に拡大して左眼用画像および右眼用画像を作成したが、処理の順番はこれに限らず、例えば、水平方向に拡大した後、垂直方向の間引きをするような順序であってもよい。
【００９９】
合成部１１０は、このようにして作成された画像を図５（ｄ）に示すように、左眼用画像（Ｌ）と右眼用画像（Ｒ）とを垂直方向に１ラインずつ交互に配置して、立体表示用画像を作成する。
【０１００】
以上説明したように、本実施の形態における立体画像装置においては、フォーマット変換部１０８ａおよび１０８ｂがＹＵＶ４：４：４フォーマットの画像データとなるように補間した後、ＹＵＶを垂直方向に１／２に間引き、さらに水平方向に２倍に拡大するようにしたので、表示部１１０がシャッタ（時分割）方式に対応している場合に、精度の高い立体画像を表示することが可能となった。
【０１０１】
また、サンプリングした画素の位置を示す制御情報を、左眼用画像の符号化データおよび右眼用画像の符号化データに多重化するようにしたので、立体画像用データ表示部１１２が立体画像を表示するときに、色情報が最適となるように画像を補間することができるとともに、立体画像データ作成部１１１と立体画像データ表示部１１２とで位相がずれるのを防止することが可能となった。
【０１０２】
なお、以上の実施の形態においては、２眼視の場合について説明したが、これに限らずＮ眼視（Ｎ≧２）の場合にも同様である。
【０１０３】
今回開示された実施の形態は、すべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。
【図面の簡単な説明】
【０１０４】
【図１】本発明の第１の実施の形態における立体画像装置の概略構成を示すブロック図である。
【図２】ＹＵＶ４：２：２フォーマットおよびＹＵＶ４：１：１フォーマットの一例を示す図である。
【図３】ＹＵＶ４：２：０フォーマットの一例を示す図である。
【図４】第４の実施の形態におけるフォーマット変換部１０８ａおよび１０８ｂの補間処理を説明するための図である。
【図５】第５の実施の形態におけるフォーマット変換部１０８ａおよび１０８ｂの補間処理を説明するための図である。
【図６】従来の立体画像装置における画像データの作成方法を説明するための図である。
【符号の説明】
【０１０５】
１０１ａ，１０１ｂ カメラ、１０２ 左眼用画像作成部、１０３ 右眼用画像作成部、１０４ａ，１０４ｂ エンコーダ、１０５ 多重化部、１０６ 逆多重化部、１０７ａ，１０７ｂ デコーダ、１０８ａ，１０８ｂ フォーマット変換部、１０９ 合成部、１１０ 表示部、１１１ 立体画像用データ作成部、１１２ 立体画像用データ表示部。
【特許請求の範囲】
【請求項１】
輝度情報と色情報とが分離された左眼用画像および右眼用画像を合成して表示する立体画像表示装置であって、
多重化されたデータを逆多重化して、符号化された左眼用画像と、符号化された右眼用画像と、左眼用画像および右眼用画像の色情報の補間方法とを抽出するための逆多重化手段と、
前記逆多重化手段によって抽出された符号化された左眼用画像および符号化された右眼用画像を復号するための復号手段と、
前記逆多重化手段によって抽出された前記左眼用画像および前記右眼用画像の色情報の補間方法を参照して、前記復号手段によって復号された左眼用画像および右眼用画像の色情報を補間して所定フォーマットの画像に変換するためのフォーマット変換手段と、
前記フォーマット変換手段によって変換された左眼用画像および右眼用画像を合成するための合成手段と、
前記合成手段によって合成された画像に応じて立体画像を表示するための表示手段とを含む、立体画像表示装置。
【請求項２】
輝度情報と色情報とが分離された左眼用画像および右眼用画像を合成して表示する立体画像表示装置であって、
多重化されたデータを逆多重化して、符号化された左眼用画像と、符号化された右眼用画像と、左眼用画像および右眼用画像のサンプリングした画素の位置に関する情報とを抽出するための逆多重化手段と、
前記逆多重化手段によって抽出された符号化された左眼用画像および符号化された右眼用画像を復号するための復号手段と、
前記逆多重化手段によって抽出された前記左眼用画像および前記右眼用画像のサンプリングした画素の位置に関する情報を参照して、前記復号手段によって復号された左眼用画像および右眼用画像を水平方向に拡大して所定フォーマットの画像に変換するためのフォーマット変換手段と、
前記フォーマット変換手段によって変換された左眼用画像および右眼用画像を合成するための合成手段と、
前記合成手段によって合成された画像に応じて立体画像を表示するための表示手段とを含む、立体画像表示装置。
【請求項３】
輝度情報と色情報とが分離された左眼用画像および右眼用画像を合成して表示する立体画像表示方法であって、
多重化されたデータを逆多重化して、符号化された左眼用画像と、符号化された右眼用画像と、前記左眼用画像および前記右眼用画像の色情報の補間方法とを抽出するステップと、
前記抽出された符号化された左眼用画像および符号化された右眼用画像を復号するステップと、
前記抽出された左眼用画像および右眼用画像の色情報の補間方法を参照して、前記復号された左眼用画像および右眼用画像の色情報を補間して所定フォーマットの画像に変換するステップと、
前記所定フォーマットに変換された左眼用画像および右眼用画像を合成するステップと、
前記合成された画像に応じて立体画像を表示するステップとを含む、立体画像表示方法。
【請求項４】
輝度情報と色情報とが分離された左眼用画像および右眼用画像を合成して表示する立体画像表示方法であって、
多重化されたデータを逆多重化して、符号化された左眼用画像と、符号化された右眼用画像と、左眼用画像および右眼用画像のサンプリングした画素の位置に関する情報とを抽出するステップと、
前記抽出された符号化された左眼用画像および符号化された右眼用画像を復号するステップと、
前記抽出された左眼用画像および右眼用画像のサンプリングした画素の位置に関する情報を参照して、前記復号された左眼用画像および右眼用画像を水平方向に拡大して所定フォーマットの画像に変換するステップと、
前記所定フォーマットに変換された左眼用画像および右眼用画像を合成するステップと、
前記合成された画像に応じて立体画像を表示するステップとを含む、立体画像表示方法。
【請求項１】
輝度情報と色情報とが分離された左眼用画像および右眼用画像を合成して表示する立体画像表示装置であって、
多重化されたデータを逆多重化して、符号化された左眼用画像と、符号化された右眼用画像と、左眼用画像および右眼用画像の色情報の補間方法とを抽出するための逆多重化手段と、
前記逆多重化手段によって抽出された符号化された左眼用画像および符号化された右眼用画像を復号するための復号手段と、
前記逆多重化手段によって抽出された前記左眼用画像および前記右眼用画像の色情報の補間方法を参照して、前記復号手段によって復号された左眼用画像および右眼用画像の色情報を補間して所定フォーマットの画像に変換するためのフォーマット変換手段と、
前記フォーマット変換手段によって変換された左眼用画像および右眼用画像を合成するための合成手段と、
前記合成手段によって合成された画像に応じて立体画像を表示するための表示手段とを含む、立体画像表示装置。
【請求項２】
輝度情報と色情報とが分離された左眼用画像および右眼用画像を合成して表示する立体画像表示装置であって、
多重化されたデータを逆多重化して、符号化された左眼用画像と、符号化された右眼用画像と、左眼用画像および右眼用画像のサンプリングした画素の位置に関する情報とを抽出するための逆多重化手段と、
前記逆多重化手段によって抽出された符号化された左眼用画像および符号化された右眼用画像を復号するための復号手段と、
前記逆多重化手段によって抽出された前記左眼用画像および前記右眼用画像のサンプリングした画素の位置に関する情報を参照して、前記復号手段によって復号された左眼用画像および右眼用画像を水平方向に拡大して所定フォーマットの画像に変換するためのフォーマット変換手段と、
前記フォーマット変換手段によって変換された左眼用画像および右眼用画像を合成するための合成手段と、
前記合成手段によって合成された画像に応じて立体画像を表示するための表示手段とを含む、立体画像表示装置。
【請求項３】
輝度情報と色情報とが分離された左眼用画像および右眼用画像を合成して表示する立体画像表示方法であって、
多重化されたデータを逆多重化して、符号化された左眼用画像と、符号化された右眼用画像と、前記左眼用画像および前記右眼用画像の色情報の補間方法とを抽出するステップと、
前記抽出された符号化された左眼用画像および符号化された右眼用画像を復号するステップと、
前記抽出された左眼用画像および右眼用画像の色情報の補間方法を参照して、前記復号された左眼用画像および右眼用画像の色情報を補間して所定フォーマットの画像に変換するステップと、
前記所定フォーマットに変換された左眼用画像および右眼用画像を合成するステップと、
前記合成された画像に応じて立体画像を表示するステップとを含む、立体画像表示方法。
【請求項４】
輝度情報と色情報とが分離された左眼用画像および右眼用画像を合成して表示する立体画像表示方法であって、
多重化されたデータを逆多重化して、符号化された左眼用画像と、符号化された右眼用画像と、左眼用画像および右眼用画像のサンプリングした画素の位置に関する情報とを抽出するステップと、
前記抽出された符号化された左眼用画像および符号化された右眼用画像を復号するステップと、
前記抽出された左眼用画像および右眼用画像のサンプリングした画素の位置に関する情報を参照して、前記復号された左眼用画像および右眼用画像を水平方向に拡大して所定フォーマットの画像に変換するステップと、
前記所定フォーマットに変換された左眼用画像および右眼用画像を合成するステップと、
前記合成された画像に応じて立体画像を表示するステップとを含む、立体画像表示方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図２】
【図３】
【図４】
【図５】
【図６】
【公開番号】特開２００７−３１２４０７（Ｐ２００７−３１２４０７Ａ）
【公開日】平成１９年１１月２９日（２００７．１１．２９）
【国際特許分類】
【出願番号】特願２００７−１６３７７８（Ｐ２００７−１６３７７８）
【出願日】平成１９年６月２１日（２００７．６．２１）
【分割の表示】特願２００２−１２３９５２（Ｐ２００２−１２３９５２）の分割
【原出願日】平成１４年４月２５日（２００２．４．２５）
【出願人】（０００００５０４９）シャープ株式会社 (33,933)
【Ｆターム（参考）】
【公開日】平成１９年１１月２９日（２００７．１１．２９）
【国際特許分類】
【出願日】平成１９年６月２１日（２００７．６．２１）
【分割の表示】特願２００２−１２３９５２（Ｐ２００２−１２３９５２）の分割
【原出願日】平成１４年４月２５日（２００２．４．２５）
【出願人】（０００００５０４９）シャープ株式会社 (33,933)
【Ｆターム（参考）】
[ Back to top ]