画像データ出力装置および画像表示システム
【課題】複数の視差画像のデータを効率的に出力することができるようする。また、効率的に出力された複数の視差画像のデータに基づいて表示自由度の高い画像表示を行うことができるようにする。
【解決手段】画像圧縮部２１において、立体画像の１フレーム期間内におけるｎ個の視差画像のうち、１つの特定の視差画像をベース画像としてそのまま（フレーム間相関処理を用いることなく）フレーム内圧縮する。他の（ｎ−１）個の各視差画像については、各視差画像とベース画像とした特定の視差画像との差分を取って差分画像とした後に各視差画像ごとにフレーム内圧縮する。ｎ個の視差画像は立体画像の特性上、互いに相関が高い画像であるから、（ｎ−１）個の各視差画像について、特定の視差画像との差分を取った後にフレーム内圧縮することで立体画像の特性上、データが効率的に圧縮される。
【解決手段】画像圧縮部２１において、立体画像の１フレーム期間内におけるｎ個の視差画像のうち、１つの特定の視差画像をベース画像としてそのまま（フレーム間相関処理を用いることなく）フレーム内圧縮する。他の（ｎ−１）個の各視差画像については、各視差画像とベース画像とした特定の視差画像との差分を取って差分画像とした後に各視差画像ごとにフレーム内圧縮する。ｎ個の視差画像は立体画像の特性上、互いに相関が高い画像であるから、（ｎ−１）個の各視差画像について、特定の視差画像との差分を取った後にフレーム内圧縮することで立体画像の特性上、データが効率的に圧縮される。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数の視差画像のデータを出力する画像データ出力装置、および複数の視差画像のデータに基づいて画像表示を行う画像表示システムに関する。
【背景技術】
【０００２】
従来より、光の偏光や液晶シャッタを利用した立体視用の特殊な眼鏡を装着させて観察者の両眼に視差のある別々の画像を見せることで、立体視を実現する眼鏡式の立体表示装置が知られている。また、特殊な眼鏡を装着する必要がなく、裸眼で立体視が可能な立体表示方式の一つとして、パララックスバリア方式やレンチキュラ方式の立体表示装置が知られている。パララックスバリア方式は、２次元表示パネルの前面に、光を透過するストライプ状のスリット部が複数設けられたパララックスバリアと呼ばれる構造物を対向配置したものである。レンチキュラ方式は、２次元表示パネルの前面に、レンチキュラレンズを対向配置したものである。レンチキュラレンズは、一次元方向にのみ屈折力を持つシリンドリカル状のレンズ（円筒レンズ）を一次元方向に多数並列配置したものである。
【０００３】
立体視を実現するためには、左眼と右眼とに異なる視差画像を見せる必要があるため、少なくとも２つの視差画像が必要となる。３つ以上の視差画像を用いた場合には、多眼視を実現できる。視差画像の数が多いほど、観察者の視点位置の変化に応じた立体視を実現することができる。すなわち、運動視差が得られてよりリアルな立体感が得られる。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０００−１１２０６号公報
【特許文献２】特開平７−２３４２２号公報
【特許文献３】特開２００４−８０７２７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
立体表示装置では、視差数分の複数の視差画像に基づいて生成された立体視用の合成画像を、２次元表示パネルに表示する。合成画像は、複数の視差画像を空間的に分割して所定の表示パターンで１画面内に合成することで生成される。パララックスバリア方式の場合、その合成画像を、パララックスバリアによって各視差画像に光学的に分離して観察者に提示することで、立体視が実現される。
【０００６】
ここで、立体表示装置に対して立体表示用の画像データを供給する場合、立体表示装置とは別の画像データ出力装置側で立体表示装置の表示仕様に合わせた立体視用の合成画像を生成して、それを伝送手段を介して立体表示装置に直接、出力することが考えられる。または、一旦、記録媒体に記録して記録媒体から立体表示装置に合成画像を供給することが考えられる。しかしながら、このような合成画像を供給する方法では、その合成画像の仕様（各視差画像の分割数や分割幅等）に応じた立体表示装置でしか正しく立体表示できない問題があり、画像データの汎用性に欠ける。
【０００７】
この問題を回避し、多様な仕様の立体表示装置に対応するために、立体表示用の画像データとして、図１２に示したような２つの画像データを送る方法がある。２つの画像データは、１枚のベース画像２０１とこのベース画像２０１の奥行き情報を示す奥行き画像（グレー画像）２０２とからなる。例えば多眼視用の多視点合成画像を生成する場合、立体表示装置側において、ベース画像２０１と奥行き画像２０２とから画像処理により、立体表示装置の仕様に合わせて画像処理により合成画像を生成する。しかしながら、この方式による多視点合成画像では、１枚のベース画像２０１に対してのみにしか奥行き情報が与えられていないため、ベース画像２０１に対して周り込んだ画像（オクルージョン）が見えない不具合が発生する問題がある。
【０００８】
そこで以上の問題を回避するために、立体表示装置には、伝送手段を介して、または記録媒体を介して、合成前の複数の視差画像を供給し、立体表示装置側で、立体表示装置の仕様に合わせた適切な合成画像を生成して表示する方法が考えられる。しかしながら、この方法の場合、多眼視に対応するためには多数の視差画像を供給するために画像データのデータ量が大きくなり、伝送のデータレートが高くなってしまう。または、記録媒体に記録するデータサイズが大きくなってしまう問題がある。従ってこの方法を用いる場合、データを圧縮するなどして効率的に伝送する手法を開発する必要がある。
【０００９】
特許文献１には、三次元動画データを、基準フレームデータとこの基準フレームデータに続く複数のフレームを圧縮して形成した圧縮データ群とに変換して圧縮するようにした三次元動画データ圧縮方法の発明が開示されている。この三次元動画データ圧縮方法では、三次元座標上の複数の頂点を結ぶことで構成される三次元形状データから構成された、複数のフレームからなる三次元動画データを扱っている。この三次元動画データのフレームデータは、三次元座標データ（いわゆるポリゴン座標データ）であり、圧縮には三次元形状データの頂点のデータを用いている。すなわち、ポリゴン座標データの特性を利用した方法が用いられている。しかしながらこの圧縮方法では、三次元動画データが三次元座標データを用いない通常の画像データ（画像のピクセルデータ）である場合には対応できず、汎用性がない。
【００１０】
特許文献２には、フレーム間での動き補償を用いて動画データを圧縮する方法の発明が開示されている。しかしながら、特許文献２には、立体表示用の画像データの圧縮に関しては開示されていない。すなわち、１フレーム期間内に複数の視差画像が時間順次で含まれている立体画像の画像データに対して、どのような圧縮を行うのかまったく開示されていない。特に、複数の視差画像に対して１フレーム期間内でどのような圧縮を行うのか開示されていない。
【００１１】
特許文献３には、立体表示用の左眼用画像と右眼用画像とをコンピュータ上でフレーム単位に連結した２画面連結映像に変換して圧縮し、立体再生時にはその２画面連結映像を２画面に分離出力するようにした映像システムの発明が開示されている。特許文献３には、単純に２つの画像を画面連結して圧縮する方法が開示されているが、このような方法では、多眼視用に視差画像が増えた場合には十分に対応できない。
【００１２】
本発明はかかる問題点に鑑みてなされたもので、その目的は、複数の視差画像のデータを効率的に出力することができるようにした画像データ出力装置、および効率的に出力された複数の視差画像のデータに基づいて表示自由度の高い画像表示を行うことができるようにした画像表示システムを提供することにある。
【課題を解決するための手段】
【００１３】
本発明による画像データ出力装置は、１フレーム期間内にｎ（ｎは２以上の整数）個の視差画像が時間順次で含まれる立体画像の画像データを圧縮して出力する画像圧縮部を備え、画像圧縮部が、立体画像の１フレーム期間内におけるｎ個の視差画像のうち、１つの特定の視差画像をベース画像としてそのままフレーム内圧縮すると共に、他の（ｎ−１）個の各視差画像については、各視差画像とベース画像とした特定の視差画像との差分を取って差分画像とした後に各視差画像ごとにフレーム内圧縮するようにしたものである。
【００１４】
本発明による画像表示システムは、本発明による上記画像データ出力装置と、表示装置とを備えたものである。表示装置は、画像を表示する表示部と、画像解凍部を含む信号処理部とを有し、信号処理部が、圧縮された画像データを画像解凍部において解凍すると共に、解凍された画像データに基づいて表示部で表示する表示画像を生成するようになされている。
【００１５】
本発明による画像データ出力装置では、立体画像の１フレーム期間内におけるｎ個の視差画像のうち、１つの特定の視差画像がベース画像としてそのまま（フレーム間相関処理を用いることなく）フレーム内圧縮される。他の（ｎ−１）個の各視差画像については、各視差画像とベース画像とした特定の視差画像との差分を取って差分画像とした後に各視差画像ごとにフレーム内圧縮される。ｎ個の視差画像は立体画像の特性上、互いに相関が高い画像であるから、（ｎ−１）個の各視差画像について、特定の視差画像との差分を取った後にフレーム内圧縮することで立体画像の特性上、データが効率的に圧縮される。
【００１６】
本発明による画像表示システムでは、画像データ出力装置から出力された画像データが、表示装置の画像解凍部で解凍される。信号処理部は、解凍された画像データに基づいて表示部で表示する表示画像を生成する。この画像表示システムでは、画像データ出力装置からｎ個の視差画像をすべて表示装置に出力し、表示装置側で表示画像を生成する方式なので、表示装置の仕様に合わせた適切な表示画像が得られる。
【発明の効果】
【００１７】
本発明の画像データ出力装置によれば、１つの特定の視差画像をベース画像としてフレーム内圧縮し、他の（ｎ−１）個の各視差画像については、各視差画像とベース画像との差分を取った後に各視差画像ごとにフレーム内圧縮するようにしたので、立体画像の特性上、画像データを効率的に圧縮することができる。これにより、複数の視差画像のデータを効率的に出力することができる。
【００１８】
本発明の画像表示システムによれば、画像データ出力装置において効率的に立体画像の画像データを圧縮してｎ個の視差画像をすべて出力し、表示装置側で画像データを解凍して表示画像を生成するようにしたので、表示装置の仕様に合わせた適切な表示画像を得ることができる。また、ｎ個の視差画像はそれぞれについて、独立した圧縮がなされたものなので、必要な視差画像だけを解凍して表示画像として用いることも容易にできる。これにより、効率的に出力された複数の視差画像のデータに基づいて表示自由度の高い画像表示を行うことができる。
【図面の簡単な説明】
【００１９】
【図１】本発明の第１の実施の形態に係る画像表示システムの構成例を示すブロック図である。
【図２】第１の実施の形態に係る画像表示システムにおける画像圧縮部の構成例を示すブロック図である。
【図３】画像圧縮部から出力されるデータ構造の一例を示す説明図である。
【図４】画像圧縮部における画像圧縮の概念を模式的に示す説明図である。
【図５】画像送信部から出力されるストリームデータの構成例を示す説明図である。
【図６】第１の実施の形態に係る画像表示システムにおける画像解凍部の構成例を示すブロック図である。
【図７】第１の実施の形態に係る立体表示装置において、複数の視差画像から多視点合成画像を生成する過程を示す説明図である。
【図８】立体表示部をパララックスバリア方式で構成した例を示す構成図である。
【図９】立体表示部をレンチキュラ方式で構成した例を示す構成図である。
【図１０】第２の実施の形態に係る画像表示システムにおける画像圧縮部の構成例を示すブロック図である。
【図１１】第４の実施の形態に係る画像表示システムにおける画像データ出力装置の構成例を示すブロック図である。
【図１２】従来の多眼視用のデータの構成例を示す説明図である。
【発明を実施するための形態】
【００２０】
以下、本発明の実施の形態について図面を参照して詳細に説明する。
【００２１】
＜第１の実施の形態＞
［画像表示システムの全体構成］
図１は、本発明の第１の実施の形態に係る画像表示システムの構成例を示している。この画像表示システムは、画像データ出力装置４と、立体表示装置５と、伝送ライン２３と、データストレージ２４とを備えている。画像データ出力装置４は、１フレーム期間内にｎ個の視差画像が時間順次で含まれる立体画像の画像データを圧縮して出力するものである。伝送ライン２３は、画像データ出力装置４から出力された画像データを立体表示装置５に伝送するものである。データストレージ２４は、画像データ出力装置４から出力された画像データを記録再生可能な記録媒体であり、例えばＨＤＤ（Hard Disk Drive）や光ディスクである。立体表示装置５は、伝送ライン２３またはデータストレージ２４を介して、画像データ出力装置４から出力された画像データを解凍すると共に、解凍した画像データに基づいて立体表示用の表示画像を生成して立体表示を行うものである。
【００２２】
なお、本発明の画像表示システムは、立体画像の画像データが、２眼式用の２つの視差画像（ｎ＝２）で構成されている場合にも適用できるが、本実施の形態では多眼視が可能な画像データ（ｎ＝３以上）である場合について説明する。特に一例として、ｎ＝４の場合、すなわち、立体画像の画像データが、１フレーム期間内に第１ないし第４の４つの視差画像が時間順次で含まれる多眼視用の画像データである場合について説明する。
【００２３】
［画像データ出力装置の構成］
画像データ出力装置４は、撮影部６と、画像圧縮部２１と、画像送信部２２とを備えている。撮影部６は、ｎ個のカメラ、本実施の形態では第１ないし第４のカメラ６１，６２，６３，６４を有している。撮影部６は、第１ないし第４のカメラ６１，６２，６３，６４によって、互いに異なる第１ないし第４の位置から同時に被写体を撮影することで、立体画像の画像データとして、互いに視差のある多眼視用の第１ないし第４の視差画像を生成するようになっている。撮影部６は、生成した第１ないし第４の視差画像を画像圧縮部２１に出力する。画像圧縮部２１は、入力された第１ないし第４の視差画像を順に並べて、所定の画像圧縮処理を行い、圧縮後の画像を順に並べてストリーム化して画像送信部２２に出力するようになっている。画像送信部２２は、圧縮された立体画像の画像データからなる映像ストリームに対し、送信に必要な処理（所定の通信プロトコルに従った処理等）をした後に、伝送ライン２３またはデータストレージ２４に出力する処理を行うようになっている。
【００２４】
図２は画像圧縮部２１の構成例を示している。図３は画像圧縮部２１から出力されるデータ構造の一例を示している。図４は画像圧縮部２１における画像圧縮処理の概念を模式的に示している。図５は画像送信部２２から出力される映像ストリームの構造を模式的に示している。
【００２５】
画像圧縮部２１は、図２に示したように、フレームメモリ４１と、差分器４２と、ストリームエンコーダ４３と、ヘッダ作成器４４とを有している。画像圧縮部２１は、立体画像の１フレーム期間内におけるｎ個の視差画像のうち、１つの特定の視差画像をベース画像としてそのままフレーム内圧縮するようになっている。また、他の（ｎ−１）個の各視差画像については、各視差画像とベース画像とした特定の視差画像との差分を取って差分画像とした後に各視差画像ごとにフレーム内圧縮するようになっている（図４参照）。本実施の形態では、立体画像の１フレーム期間内における時間的に１番目の視差画像をベース画像として処理するようになっている。具体的には、撮影部６から１番目に送られてきた画像データ、すなわち、第１のカメラ６１から送られてきた第１の視差画像をベース画像として処理する。このような圧縮処理を立体画像の１フレームごとに行って画像圧縮部２１から画像送信部２２に順次出力することで、図５に示したような映像ストリームが得られる。すなわち、ベース画像と、それに続く圧縮された差分画像とからなるデータが順次連続する映像ストリームが得られる。
【００２６】
フレームメモリ４１は、１フレーム分の画像データを格納するものであり、立体画像の１フレームごとに、ベース画像を格納するようになっている。差分器４２は、フレームメモリ４１に格納されたベース画像と他の（ｎ−１）個の各視差画像との差分をストリームエンコーダ４３に出力するものである。ストリームエンコーダ４３は、１つのベース画像と（ｎ−１）個の差分画像とのそれぞれに対して、個々に所定のコーデックで画像データの圧縮処理を行うようになっている。立体画像の１フレーム期間内における複数の視差画像は、視差による違いがあるが画像としては大体の部分は似ていて、画像間の相関が強い。このため、ベース画像と差分を取った後に圧縮することで、効率的に圧縮することができる。
【００２７】
ストリームエンコーダ４３は、フレーム間相関の無いコーデックを使用したフレーム内圧縮による圧縮処理を行うようになっている。フレーム間相関の無いビデオコーデックとしては、例えばＪＰＥＧ２０００コーデックを用いることができる。この場合、ストリームエンコーダ４３は、ＪＰＥＧ２０００エンコーダで構成される。ＪＰＥＧ２０００コーデックでは、入力画像信号に色空間座標の変換を必要に応じて行い、その信号の各々の色ごとにウェーブレット変換（ＤＷＴ）を行い、その係数を独立に符号化する。ＤＷＴには，可逆変換が可能な回路構成が比較的簡易な整数型フィルタと、可逆変換はできないが整数型より画質が良い実数型フィルタとがある。本実施の形態では、不可逆圧縮（ロッシー）モード、あるいは可逆圧縮（ロスレス）モードのどちらを使用してもよい。またＪＰＥＧ２０００コーデックでは、ＤＷＴ変換係数をビットプレーンに分解し、各サブバンドで一定サイズ（例えば６４×６４）の符号化ブロックに分割した上で２値算術符号化を行う。各符号化ブロック内の変換係数値はサインビット（正：０，負：１）と絶対値情報とに分け、絶対値は自然２進法で表現し、上位ビットプレーンから順に符号化する。画像の各サブバンド内の全体が黒に近くなった場合には、全てゼロのビットプレーンが上位ビットプレーンから連続するため、符号化が効率化される。具体的には、サインビットプレーンを除いた上位プレーンから全てゼロのビットプレーンのプレーン数を符号化ヘッダに格納しておき、全てゼロのビットプレーンの符号化をスキップする。そのために、黒に近い画像は単位時間あたりに必要な記録再生のデータ量が減少する。本実施の形態では、このデータ量が減少する特質を利用している。
【００２８】
ヘッダ作成器４４は、ストリームエンコーダ４３によって圧縮処理されたベース画像と差分画像とのそれぞれについて、ヘッダ情報を付加するものである。図３はヘッダ情報を付加した後のデータ構造の一例を示している。図３に示したように、画像圧縮部２１から出力されるデータは、ヘッダ情報（Header）とそれに続く実データ部分（Camera DATA）とからなるデータ構造を有している。ヘッダ情報としては、少なくとも、ベース画像と差分画像とを判別可能な情報を付加する。図３の例では、ヘッダ情報は、カメラ画像番号nを認識させる「Header = 0xfffffffn」の情報と、ヘッダ情報に続く実データ部分の圧縮データのバイトサイズ「Length= xx 」[Byte]の情報とで構成されている。「Header = 0xfffffffn」は、撮影部６の第１ないし第４のカメラ６１，６２，６３，６４のうち、どのカメラから出力された画像データであるかを示している。例えば「Header = 0xfffffff1」であれば、第１のカメラ６１から出力された視差画像データであることを示している。なお、上述したように、本実施の形態では第１のカメラ６１から送られてきた第１の視差画像をベース画像として処理するようになっているので、「Header = 0xfffffffn」の情報からベース画像であるか否かを判別することができる。
【００２９】
［立体表示装置の構成］
立体表示装置５は、画像受信部３０と、信号処理部３と、立体表示部１００とを備えている。信号処理部３は、画像解凍部３１と、合成画像生成部３２と、駆動処理部３３とを有している。
本実施の形態において、立体表示装置４が、本発明における「表示装置」の一具体例に対応する。また、立体表示部５が、本発明における「表示部」の一具体例に対応する。
【００３０】
立体表示部１００は、複数の視差画像が含まれる立体視用の表示画像に基づいて立体表示が可能なものであり、例えばパララックスバリア方式やレンチキュラ方式の表示装置である。図８は、立体表示部１００をパララックスバリア方式で構成した例を示している。立体表示部１００は、２次元表示パネル２と、２次元表示パネル２の表示面側に対向するように配置されたパララックスバリア１とを備えている。
【００３１】
２次元表示パネル２は、複数の画素が２次元的に配列されて２次元的に画像表示を行うものであり、例えば有機ＥＬ（Electro-Luminescence）ディスプレイや液晶ディスプレイで構成されている。２次元表示パネル２は、信号処理部３から出力された多視点合成画像の表示を行うようになっている。
【００３２】
パララックスバリア１は、２次元表示パネル２に表示された多視点合成画像に含まれる各視差画像を、多眼視が可能となるように光学的に分離するためのものである。パララックスバリア１は、２次元表示パネル２からの表示画像光を遮蔽する遮蔽部１１と、２次元表示パネル２からの表示画像光を透過するストライプ状のスリット部１２とが水平方向に交互に設けられたものである。スリット部１２の幅は、所定の位置、所定の方向から観察者が立体表示装置を見たときに、観察者の左右の眼１０Ｌ，１０Ｒに互いに異なる視差画像の光が別々に入射されるような、適切な大きさに設定されている。
【００３３】
図９は、レンチキュラ方式で構成された立体表示部１００Ａを示している。立体表示部１００Ａは、図９のパララックスバリア１に代えてレンチキュラレンズ１Ａを２次元表示パネル２の表示面側に対向配置したものである。レンチキュラレンズ１Ａは、例えば垂直方向に延在し、水平方向にのみ屈折力を持つシリンドリカル状のレンズ（円筒レンズ）１３を、水平方向に多数並列配置したものである。シリンドリカル状のレンズ１３のレンズピッチは、多眼視で表示する視差数に応じて適切に設定されている。例えば４視差での多眼視を行う場合、１つのシリンドリカル状のレンズ１３に対して視差の異なる４つの分割画像が対応するように設定されている。このように設定することで、２次元表示パネル２からの表示画像光を、各視差画像ごとに異なる方向に偏向して出射させる。
【００３４】
画像受信部３０は、画像データ出力装置４の画像送信部２２から出力された映像ストリームを伝送ライン２３またはデータストレージ２４を介して受信して信号処理部３の画像解凍部３１に出力するものである。
【００３５】
信号処理部３は、映像ストリームの中から、立体表示部１００での立体表示に必要とされる視差数分の視差画像を抽出して画像合成することで、立体表示部１００での立体表示が可能となる立体視用の表示画像を生成するものである。
【００３６】
画像解凍部３１は、図６に示したように、ヘッダ解析器５１と、ストリームデコーダ５２と、フレームメモリ５３と、加算器５４とを有している。画像解凍部３１は、映像ストリームを構成する圧縮処理された立体画像の画像データを解凍処理するものである。ヘッダ解析器５１は、送られてきた画像データのヘッダ情報を解析してベース画像であるか否か等を解析するようになっている。ストリームデコーダ５２は、画像圧縮部２１のストリームエンコーダ４３のコーデックに対応したコーデックによって画像データを解凍処理するものである。例えばストリームエンコーダ４３がＪＰＥＧ２０００エンコーダで構成されていれば、ストリームデコーダ５２はＪＰＥＧ２０００デコーダで構成されている。
【００３７】
画像解凍部３１は、立体画像の１フレーム期間内におけるｎ個の視差画像のうち、フレーム内圧縮されたベース画像をストリームデコーダ５２によってそのまま解凍して特定の視差画像を復元して合成画像生成部３２に出力するようになっている。また、復元されたベース画像をフレームメモリ５３に格納するようになっている。画像解凍部３１はまた、他の（ｎ−１）個の各視差画像については、各視差画像ごとに、フレーム内圧縮された差分画像をストリームデコーダ５２によって解凍するようになっている。その後、その解凍後の差分画像に、フレームメモリ５３に格納された復元されたベース画像を加算器５４によって加算することにより（ｎ−１）個の各視差画像の復元して合成画像生成部３２に出力するようになっている。
【００３８】
合成画像生成部３２は、画像解凍部３１から出力された多眼視用の各視差画像に基づいて多視点合成画像を生成するものである。駆動処理部３３は、合成画像生成部３２から出力された多視点合成画像に基づいて、立体表示部１００の２次元表示パネル２の駆動信号を生成して２次元表示パネル２に多視点合成画像を表示させるものである。
【００３９】
図７は、合成画像生成部３２において多視点合成画像が生成されるまでの過程を模式的に示している。合成画像生成部３２は、多眼視用の各視差画像から、垂直方向に延在する複数のストライプ状の分割画像を切り出す処理を行い、各分割画像を、各視差画像ごとに水平方向に交互に配列して多視点合成画像を生成する。図５では、第１ないし第４の４つの視差画像を用いた例を示している。合成画像生成部３２には、図７上段に示したような第１ないし第４の視差画像が入力される。合成画像生成部３２では、図７中段に示したように、第１ないし第４の視差画像からそれぞれストライプ状の分割画像を切り出す。次に、分割画像を、各視差画像ごとに水平方向に交互に配列して、図７下段に示したような多視点合成画像を生成する。結果的に、多視点合成画像は、第１ないし第４の視差画像からそれぞれ切り出されたストライプ状の分割画像が、第１、第２、第３および第４の視差画像の順に水平方向に交互に循環的に配列された合成画像となる。
【００４０】
図７に示した多視点合成画像を２次元表示パネル２に表示してパララックスバリア１またはレンチキュラレンズ１Ａを介して観察することで、多眼式の立体表示を行うことができる。例えばパララックスバリア１を介して観察することで、ある特定の視点位置から見たときに、左眼１０Ｌと右眼１０Ｒとにある特定の視差画像のみが見える状況となることで立体像が知覚される。例えばある特定の第１の視点位置から見たときには、左眼１０Ｌには第３の視差画像からの光のみが認識され、右眼１０Ｒには第２の視差画像からの光のみが認識される状況となることで、第３の視差画像と第２の視差画像とに基づく立体像が知覚される。また別の第２の視点位置から見たときには例えば、左眼１０Ｌには第１の視差画像からの光のみが認識され、右眼１０Ｒには第４の視差画像からの光のみが認識される状況となることで、第１の視差画像と第４の視差画像とに基づく立体像が知覚される。このように異なる視点位置から見たときに異なる視差画像が見えることによって運動視差が得られる。
【００４１】
［画像表示システムの動作］
この画像表示システムにおける画像処理の全体の流れを以下に記す。
（Ａ１） 撮影部６において、第１ないし第４のカメラ６１，６２，６３，６４によって、互いに異なる第１ないし第４の位置から同期を取って同時に被写体を撮影することで、互いに視差のある多眼視用の第１ないし第４の視差画像を、１フレーム分作成する。第１ないし第４の視差画像を、立体画像の１フレーム分の画像データとする。
（Ａ２） 処理（Ａ１）を繰り返し、立体画像の連続フレームを得る。
（Ａ３） 得られた連続フレームを、画像圧縮部２１で所定のコーデックに従って圧縮する。画像圧縮部２１は、圧縮後の画像を順に並べてストリーム化して画像送信部２２に出力する。
（Ａ４） 圧縮された立体画像の画像データからなる映像ストリームデータを、画像送信部２２で送信に必要な処理をした後に、伝送ライン２３またはデータストレージ２４に出力する。
（Ａ５） 画像送信部２２から出力された映像ストリームデータを、伝送ライン２３またはデータストレージ２４を介して立体表示装置５の画像受信部３で受信する。画像受信部３は受信した映像ストリームデータを画像解凍部３１に出力する。
（Ａ６） 圧縮された映像ストリームデータを、画像解凍部３１で所定のコーデックに従って解凍し、復元された映像ストリームデータを得る。
（Ａ７） 復元された映像ストリームデータから立体画像としての１フレーム分のデータ（第１ないし第４の視差画像）を取り出し、合成画像生成部３２によって、多眼視用の多視点合成画像（図７参照）を生成する。
（Ａ８） 生成された多視点合成画像に基づいて、駆動処理部３３によって、立体表示部１００の２次元表示パネル２の駆動信号を生成して２次元表示パネル２に多視点合成画像を表示する。
【００４２】
［画像圧縮部２１の動作］
画像圧縮部２１（図６）における画像処理の流れを以下に記す。
（Ｂ１） 撮影部６の第１のカメラ６１によって撮影されたカメラ画像１のデータ（第１の視差画像）は、フレームメモリ４１に送られて、ベース画像として蓄積される。
（Ｂ２） また同時に、カメラ画像１のデータは、ストリームエンコーダ４３に送られる。ストリームエンコーダ４３に送られたカメラ画像１のデータは、所定のビデオコーデック（ＪＰＥＧ２０００等）に従い、フレーム内圧縮される。
（Ｂ３） 圧縮されたカメラ画像１のデータは次段の画像送信部２２に送られる。
（Ｂ４） 次に、撮影部６の第２のカメラ６２によって撮影されたカメラ画像２のデータ（第２の視差画像）とフレームメモリ４１内のベース画像（カメラ画像１のデータ）とのフレームのピクセルごとの差分を計算し、その差分画像のデータをストリームエンコーダ４３に出力する。
（Ｂ５） ストリームエンコーダ４３に送られたカメラ画像２に関する差分画像のデータは、所定のビデオコーデック（ＪＰＥＧ２０００等）に従い、フレーム内圧縮される。
（Ｂ６） 圧縮されたカメラ画像２に関する差分画像のデータは次段の画像送信部２２に送られる。
（Ｂ７） 第３のカメラ６３によって撮影されたカメラ画像３のデータ（第３の視差画像）と、第４のカメラ６４によって撮影されたカメラ画像４のデータ（第４の視差画像）とに対しても、処理（Ｂ４）ないし処理（Ｂ６）と同様の処理を行う。
（Ｂ８） 処理（Ｂ４）および処理（Ｂ６）において、圧縮されたカメラ画像を次段の画像送信部２２に送る場合に、圧縮された各カメラ画像のデータに先行して、ヘッダ作成器４４からヘッダ情報を送る。ヘッダ情報としては、カメラ画像番号nを認識させる「Header = 0xfffffffn」の情報と、ヘッダ情報に続く実データ部分の圧縮データのバイトサイズ「Length= xx 」[Byte]の情報とを付加する（図３参照）。
（Ｂ９） その後、処理（Ｂ１）ないし処理（Ｂ８）を繰り返し、次々に立体画像の各フレームデータを処理することで、図５のような映像ストリームデータを出力する。
【００４３】
［画像解凍部３１の動作］
画像解凍部３１（図１０）における画像処理の流れを以下に記す。
（Ｃ１） 画像受信部３０から出力され、画像解凍部３１に入力されたヘッダ情報をヘッダ解析器５１で解析する。ヘッダ情報を構成する、「Header = 0xfffffffn」の情報と「Length= xx 」の情報から、カメラ画像番号ｎとその画像番号に対応する圧縮されたカメラ画像の実データのバイトサイズの情報を得る。
（Ｃ２） カメラ画像番号ｎで、ｎ＝１であることを確認する。これにより、そのヘッダ情報に続く実データの部分が、画像差分を取っていない、ベース画像であることを確認する。
（Ｃ３） ヘッダ情報に続く実データの部分、すなわち、処理（Ｃ１）で得られた「Length= xx 」[Byte]分のデータを、ストリームデコーダ５２でデコードし、圧縮されていたカメラ画像１のデータの解凍データを得る。
（Ｃ４） 解凍されたカメラ画像１のデータを次段の合成画像生成部３２に出力する。
（Ｃ５） また同時に、解凍されたカメラ画像１のデータをフレームメモリ５３にも出力する。
（Ｃ６） 画像解凍部３１に入力された、次のヘッダ情報をヘッダ解析器５１で解析する。ヘッダ情報を構成する、「Header = 0xfffffffn」の情報と「Length= xx 」の情報から、カメラ画像番号ｎとその画像番号に対応する圧縮されたカメラ画像の実データのバイトサイズの情報を得る。
（Ｃ７） カメラ画像番号ｎで、ｎ＝２であることを確認する。これにより、そのヘッダ情報に続く実データの部分が、画像差分を取っている差分画像であることを確認する。
（Ｃ８） ヘッダ情報に続く実データの部分、すなわち、処理（Ｃ６）で得られた「Length= xx 」[Byte]分のデータを、ストリームデコーダ５２でデコードし、圧縮されていたカメラ画像２に関する差分画像のデータの解凍データを得る。
（Ｃ９） 解凍されたカメラ画像２に関する差分画像のデータとフレームメモリ５３に蓄積されているベース画像との、各々のピクセル値を加算することで、カメラ画像２のデータを復元し、を次段の合成画像生成部３２に出力する。
（Ｃ１０） ヘッダ情報がカメラ画像番号３、およびカメラ画像番号４となるデータに対しても、処理（Ｃ６）から処理（Ｃ９）と同様の処理を行う。
（Ｃ１１） その後、処理（Ｃ１）ないし処理（Ｃ１０）を繰り返し、次々に立体画像の各フレームデータを処理する。
【００４４】
［第１の実施の形態による効果］
本実施の形態に係る画像データ出力装置４によれば、１つの特定の視差画像をベース画像としてフレーム内圧縮し、他の（ｎ−１）個の各視差画像については、各視差画像とベース画像との差分を取った後に各視差画像ごとにフレーム内圧縮して出力するようにしたので、立体画像の特性上、画像データを効率的に圧縮することができる。これにより、複数の視差画像のデータを効率的に出力することができる。これにより、画像データ出力装置４からは立体画像の表示に必要とされるｎ個の視差画像を全て送っているにも関わらず、伝送ライン２３に伝送するときのデータレートを抑えることができる。また、データストレージ２４に記録するデータサイズを抑えることができる。
【００４５】
また、本実施の形態に係る画像表示システムによれば、画像データ出力装置４において効率的に立体画像の画像データを圧縮してｎ個の視差画像をすべて出力し、立体表示装置５側で画像データを解凍して表示画像を生成するようにしたので、立体表示装置５の仕様に合わせた適切な表示画像を得ることができる。ｎ個の視差画像はそれぞれについて、独立した圧縮がなされたものなので、必要な視差画像だけを解凍して表示画像として用いることも容易にできる。これにより、効率的に出力された複数の視差画像のデータに基づいて表示自由度の高い画像表示を行うことができる。
【００４６】
また、画像データ出力装置４からは、立体画像の表示に必要とされるｎ個の視差画像を全て送るようにしたので、立体表示装置５側で立体表示したときに、図１２に示したような画像データを送る方式に比べて、周り込んだ画像（オクルージョン）が見えない不具合が発生するのを抑えることができる。
【００４７】
＜第２の実施の形態＞
次に、本発明の第２の実施の形態に係る立体表示装置について説明する。なお、上記第１の実施の形態に係る立体表示装置と実質的に同一の構成部分には同一の符号を付し、適宜説明を省略する。
【００４８】
本実施の形態における画像表示システムの全体構成は、図１と同じであるが、図２の構成の画像圧縮部２１に代えて、図１０に示した構成の画像圧縮部２１Ａを備えている。画像圧縮部２１Ａは、ストリームデコーダ４５を有している。ストリームデコーダ４５は、立体表示装置５の画像解凍部３１におけるストリームデコーダ５２と同様のコーデックによって画像データを解凍処理するものである。
【００４９】
図２の構成の画像圧縮部２１では、第１のカメラ６１から送られてきた第１の視差画像をベース画像としてそのままフレームメモリ４１に格納するようにしている。これに対し、図１０の画像圧縮部２１Ａでは、ストリームエンコーダ４３によってフレーム内圧縮されたベース画像を、ストリームデコーダ４５でそのまま解凍して第１の視差画像を復元し、その復元された第１の視差画像をフレームメモリ４１に格納する。そして、フレームメモリ４１に格納されたベース画像（復元された第１の視差画像）と他の（ｎ−１）個の各視差画像との差分をストリームエンコーダ４３に出力して圧縮処理する。
【００５０】
本実施の形態によれば、ストリームデコーダ４５によって、画像解凍部３１におけるストリームデコーダ５２と同様のコーデックによって解凍処理した後のベース画像がフレームメモリ４１に格納される。従って、フレームメモリ４１に格納されるベース画像と、画像解凍部３１におけるフレームメモリ５３（図６）に格納されるベース画像とを実質的に一致させることができる。これにより、画像圧縮部２１Ａと画像解凍部３１とにおける差分処理の誤差を少なくすることができる。
【００５１】
＜第３の実施の形態＞
次に、本発明の第３の実施の形態に係る立体表示装置について説明する。なお、上記第１または第２の実施の形態に係る立体表示装置と実質的に同一の構成部分には同一の符号を付し、適宜説明を省略する。
【００５２】
上記第１の実施の形態では、立体表示装置５が多眼視での立体表示機能を有するものとして説明したが、本発明は、立体表示装置５が２眼式の機能を有するものである場合にも適用可能である。この場合、立体表示装置５側では、立体画像の画像データにｎ＝３以上の視差画像が含まれていた場合には、信号処理部３において任意の２つの視差画像を抽出して、それら抽出された２つの視差画像に基づいて２眼式立体視用の表示画像を生成すれば良い。または、ベース画像と、ベース画像の次に圧縮処理された視差画像とを抽出し、それら抽出された２つの視差画像に基づいて２眼式立体視用の表示画像を生成するようにしても良い。
【００５３】
また本発明は、立体表示装置５が、立体表示と２次元表示との切り換え機能を有する場合にも適用可能である。さらに、立体表示装置５に代えて、立体表示機能のない２次元表示専用の表示装置にも適用可能である。この場合、表示装置側では、信号処理部３において任意の１つの視差画像を抽出して、２次元表示用の表示画像を生成すれば良い。または、ベース画像を抽出して、２次元表示用の表示画像を生成すれば良い。
【００５４】
また、２眼式の立体表示装置または２次元表示専用の表示装置での画像表示に対応させやすくするために、撮影部６の第１ないし第４のカメラ６１，６２，６３，６４からの画像データに対する画像処理の優先順位を変えるようにしても良い。すなわち、上記第１の実施の形態では、第１のカメラ６１から出力されたカメラ画像を第１の視差画像（ベース画像）として最初に圧縮処理し、次に、第２ないし第４のカメラ６２，６３，６４を第２ないし第４の視差画像として順次圧縮処理するようにした。これは、カメラの並び順に処理するようにしたものである。
【００５５】
これに代えて、画像圧縮部２１において、例えば撮影位置に応じて各視差画像の圧縮処理の順番を決定するようにしても良い。例えば中央の撮影位置（例えば第２のカメラ６２）から撮影することによって得られたカメラ画像をベース画像として最初に圧縮処理する。次に、中央の撮影位置に対して２眼式の立体表示を行うのに最も適した視差となる撮影位置（例えば第３のカメラ６３）から撮影することによって得られたカメラ画像を、ベース画像との差分を取る１番目の視差画像として圧縮処理する。以降、他の撮影位置から撮影することによって得られたカメラ画像を順次処理する。例えば第１のカメラ６１による画像を処理し、次に第４のカメラ６４による画像を処理する。
【００５６】
このように、単純にカメラの並び順に処理するのではなく、２眼式の立体表示に適した画像を優先的に処理することで、例えば２眼式の立体表示装置において、ベース画像と、ベース画像の次に圧縮処理された視差画像とを抽出することで、２眼式の立体表示に適した表示画像を容易に生成することができる。
【００５７】
＜第４の実施の形態＞
次に、本発明の第４の実施の形態に係る立体表示装置について説明する。なお、上記第１ないし第３の実施の形態に係る立体表示装置と実質的に同一の構成部分には同一の符号を付し、適宜説明を省略する。
【００５８】
図１１は、本発明の第４の実施の形態に係る画像表示システムにおける画像データ出力装置４Ａの構成例を示している。図１に示した画像データ出力装置４では、撮影部６が、４台のカメラ６１，６２，６３，６４を有し、それらから直接、４つの視差画像を生成するようにした。これに対し、図１１の画像データ出力装置４Ａでは、撮影部６Ａが２台のカメラ６１，６４のみで構成されている。また、画像データ出力装置４Ａは、視差画像生成部２５を備えている。視差画像生成部２５は、撮影部６Ａから出力された複数の視差画像に基づいて少なくとも１つの他の視差画像を画像処理（画像補間処理）により生成するものである。図１１の例では、視差画像生成部２５は、撮影部６Ａから出力されたカメラ画像１とカメラ画像４とのデータから、２つの視差画像を生成している。
【００５９】
例えば撮影部６Ａから出力されたカメラ画像１のデータを第１の視差画像、カメラ画像４のデータを第４の視差画像とし、視差画像生成部２５で生成した２つの視差画像を第２および第３の視差画像として、画像圧縮部２１に入力する。画像圧縮部２１以降の処理は上記第１の実施の形態と同様である。
【００６０】
なお、撮影部６Ａを３台のカメラで構成し、視差画像生成部２５では１つの視差画像のみを生成するような構成であっても良い。
【００６１】
本実施の形態によれば、一部の視差画像を画像処理によって生成するようにしたので、多眼視に必要な視差数分の台数のカメラを用意する必要が無くなり、カメラの台数を少なくすることができる。これにより、システムの構成を簡素化できる。
【００６２】
＜その他の実施の形態＞
本発明は、上記各実施の形態に限定されず種々の変形実施が可能である。
例えば図３には、ヘッダ情報として、カメラ画像番号nを認識させる「Header = 0xfffffffn」の情報と、ヘッダ情報に続く実データ部分の圧縮データのバイトサイズ「Length= xx 」[Byte]の情報とを付加する例を示したが、その他のヘッダ情報を付加するようにしても良い。例えば、カメラの視差情報、カメラの並び順番号等の関連情報を追加しても良い。これにより、表示装置側での信号処理が容易になる。
【符号の説明】
【００６３】
１…パララックスバリア、１Ａ…レンチキュラレンズ、２…２次元表示パネル、３…信号処理部、４，４Ａ…画像データ出力装置、５…立体表示装置、６，６Ａ…撮影部、１０Ｌ…左眼、１０Ｒ…右眼、１１…遮蔽部、１２…スリット部、１３…シリンドリカルレンズ、２１，２１Ａ…画像圧縮部、２２…画像送信部、２３…伝送ライン、２４…データストレージ、２５…視差画像生成部、３０…画像受信部、３１…画像解凍部、３２…合成画像生成部、３３…駆動処理部、４１…フレームメモリ、４２…差分器、４３…ストリームエンコーダ、４４…ヘッダ作成器、４５…ストリームデコーダ、５１…ヘッダ解析器、５２…ストリームデコーダ、５３…フレームメモリ、５４…加算器、６１，６２，６３，６４…カメラ、１００，１００Ａ…立体表示部。
【技術分野】
【０００１】
本発明は、複数の視差画像のデータを出力する画像データ出力装置、および複数の視差画像のデータに基づいて画像表示を行う画像表示システムに関する。
【背景技術】
【０００２】
従来より、光の偏光や液晶シャッタを利用した立体視用の特殊な眼鏡を装着させて観察者の両眼に視差のある別々の画像を見せることで、立体視を実現する眼鏡式の立体表示装置が知られている。また、特殊な眼鏡を装着する必要がなく、裸眼で立体視が可能な立体表示方式の一つとして、パララックスバリア方式やレンチキュラ方式の立体表示装置が知られている。パララックスバリア方式は、２次元表示パネルの前面に、光を透過するストライプ状のスリット部が複数設けられたパララックスバリアと呼ばれる構造物を対向配置したものである。レンチキュラ方式は、２次元表示パネルの前面に、レンチキュラレンズを対向配置したものである。レンチキュラレンズは、一次元方向にのみ屈折力を持つシリンドリカル状のレンズ（円筒レンズ）を一次元方向に多数並列配置したものである。
【０００３】
立体視を実現するためには、左眼と右眼とに異なる視差画像を見せる必要があるため、少なくとも２つの視差画像が必要となる。３つ以上の視差画像を用いた場合には、多眼視を実現できる。視差画像の数が多いほど、観察者の視点位置の変化に応じた立体視を実現することができる。すなわち、運動視差が得られてよりリアルな立体感が得られる。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０００−１１２０６号公報
【特許文献２】特開平７−２３４２２号公報
【特許文献３】特開２００４−８０７２７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
立体表示装置では、視差数分の複数の視差画像に基づいて生成された立体視用の合成画像を、２次元表示パネルに表示する。合成画像は、複数の視差画像を空間的に分割して所定の表示パターンで１画面内に合成することで生成される。パララックスバリア方式の場合、その合成画像を、パララックスバリアによって各視差画像に光学的に分離して観察者に提示することで、立体視が実現される。
【０００６】
ここで、立体表示装置に対して立体表示用の画像データを供給する場合、立体表示装置とは別の画像データ出力装置側で立体表示装置の表示仕様に合わせた立体視用の合成画像を生成して、それを伝送手段を介して立体表示装置に直接、出力することが考えられる。または、一旦、記録媒体に記録して記録媒体から立体表示装置に合成画像を供給することが考えられる。しかしながら、このような合成画像を供給する方法では、その合成画像の仕様（各視差画像の分割数や分割幅等）に応じた立体表示装置でしか正しく立体表示できない問題があり、画像データの汎用性に欠ける。
【０００７】
この問題を回避し、多様な仕様の立体表示装置に対応するために、立体表示用の画像データとして、図１２に示したような２つの画像データを送る方法がある。２つの画像データは、１枚のベース画像２０１とこのベース画像２０１の奥行き情報を示す奥行き画像（グレー画像）２０２とからなる。例えば多眼視用の多視点合成画像を生成する場合、立体表示装置側において、ベース画像２０１と奥行き画像２０２とから画像処理により、立体表示装置の仕様に合わせて画像処理により合成画像を生成する。しかしながら、この方式による多視点合成画像では、１枚のベース画像２０１に対してのみにしか奥行き情報が与えられていないため、ベース画像２０１に対して周り込んだ画像（オクルージョン）が見えない不具合が発生する問題がある。
【０００８】
そこで以上の問題を回避するために、立体表示装置には、伝送手段を介して、または記録媒体を介して、合成前の複数の視差画像を供給し、立体表示装置側で、立体表示装置の仕様に合わせた適切な合成画像を生成して表示する方法が考えられる。しかしながら、この方法の場合、多眼視に対応するためには多数の視差画像を供給するために画像データのデータ量が大きくなり、伝送のデータレートが高くなってしまう。または、記録媒体に記録するデータサイズが大きくなってしまう問題がある。従ってこの方法を用いる場合、データを圧縮するなどして効率的に伝送する手法を開発する必要がある。
【０００９】
特許文献１には、三次元動画データを、基準フレームデータとこの基準フレームデータに続く複数のフレームを圧縮して形成した圧縮データ群とに変換して圧縮するようにした三次元動画データ圧縮方法の発明が開示されている。この三次元動画データ圧縮方法では、三次元座標上の複数の頂点を結ぶことで構成される三次元形状データから構成された、複数のフレームからなる三次元動画データを扱っている。この三次元動画データのフレームデータは、三次元座標データ（いわゆるポリゴン座標データ）であり、圧縮には三次元形状データの頂点のデータを用いている。すなわち、ポリゴン座標データの特性を利用した方法が用いられている。しかしながらこの圧縮方法では、三次元動画データが三次元座標データを用いない通常の画像データ（画像のピクセルデータ）である場合には対応できず、汎用性がない。
【００１０】
特許文献２には、フレーム間での動き補償を用いて動画データを圧縮する方法の発明が開示されている。しかしながら、特許文献２には、立体表示用の画像データの圧縮に関しては開示されていない。すなわち、１フレーム期間内に複数の視差画像が時間順次で含まれている立体画像の画像データに対して、どのような圧縮を行うのかまったく開示されていない。特に、複数の視差画像に対して１フレーム期間内でどのような圧縮を行うのか開示されていない。
【００１１】
特許文献３には、立体表示用の左眼用画像と右眼用画像とをコンピュータ上でフレーム単位に連結した２画面連結映像に変換して圧縮し、立体再生時にはその２画面連結映像を２画面に分離出力するようにした映像システムの発明が開示されている。特許文献３には、単純に２つの画像を画面連結して圧縮する方法が開示されているが、このような方法では、多眼視用に視差画像が増えた場合には十分に対応できない。
【００１２】
本発明はかかる問題点に鑑みてなされたもので、その目的は、複数の視差画像のデータを効率的に出力することができるようにした画像データ出力装置、および効率的に出力された複数の視差画像のデータに基づいて表示自由度の高い画像表示を行うことができるようにした画像表示システムを提供することにある。
【課題を解決するための手段】
【００１３】
本発明による画像データ出力装置は、１フレーム期間内にｎ（ｎは２以上の整数）個の視差画像が時間順次で含まれる立体画像の画像データを圧縮して出力する画像圧縮部を備え、画像圧縮部が、立体画像の１フレーム期間内におけるｎ個の視差画像のうち、１つの特定の視差画像をベース画像としてそのままフレーム内圧縮すると共に、他の（ｎ−１）個の各視差画像については、各視差画像とベース画像とした特定の視差画像との差分を取って差分画像とした後に各視差画像ごとにフレーム内圧縮するようにしたものである。
【００１４】
本発明による画像表示システムは、本発明による上記画像データ出力装置と、表示装置とを備えたものである。表示装置は、画像を表示する表示部と、画像解凍部を含む信号処理部とを有し、信号処理部が、圧縮された画像データを画像解凍部において解凍すると共に、解凍された画像データに基づいて表示部で表示する表示画像を生成するようになされている。
【００１５】
本発明による画像データ出力装置では、立体画像の１フレーム期間内におけるｎ個の視差画像のうち、１つの特定の視差画像がベース画像としてそのまま（フレーム間相関処理を用いることなく）フレーム内圧縮される。他の（ｎ−１）個の各視差画像については、各視差画像とベース画像とした特定の視差画像との差分を取って差分画像とした後に各視差画像ごとにフレーム内圧縮される。ｎ個の視差画像は立体画像の特性上、互いに相関が高い画像であるから、（ｎ−１）個の各視差画像について、特定の視差画像との差分を取った後にフレーム内圧縮することで立体画像の特性上、データが効率的に圧縮される。
【００１６】
本発明による画像表示システムでは、画像データ出力装置から出力された画像データが、表示装置の画像解凍部で解凍される。信号処理部は、解凍された画像データに基づいて表示部で表示する表示画像を生成する。この画像表示システムでは、画像データ出力装置からｎ個の視差画像をすべて表示装置に出力し、表示装置側で表示画像を生成する方式なので、表示装置の仕様に合わせた適切な表示画像が得られる。
【発明の効果】
【００１７】
本発明の画像データ出力装置によれば、１つの特定の視差画像をベース画像としてフレーム内圧縮し、他の（ｎ−１）個の各視差画像については、各視差画像とベース画像との差分を取った後に各視差画像ごとにフレーム内圧縮するようにしたので、立体画像の特性上、画像データを効率的に圧縮することができる。これにより、複数の視差画像のデータを効率的に出力することができる。
【００１８】
本発明の画像表示システムによれば、画像データ出力装置において効率的に立体画像の画像データを圧縮してｎ個の視差画像をすべて出力し、表示装置側で画像データを解凍して表示画像を生成するようにしたので、表示装置の仕様に合わせた適切な表示画像を得ることができる。また、ｎ個の視差画像はそれぞれについて、独立した圧縮がなされたものなので、必要な視差画像だけを解凍して表示画像として用いることも容易にできる。これにより、効率的に出力された複数の視差画像のデータに基づいて表示自由度の高い画像表示を行うことができる。
【図面の簡単な説明】
【００１９】
【図１】本発明の第１の実施の形態に係る画像表示システムの構成例を示すブロック図である。
【図２】第１の実施の形態に係る画像表示システムにおける画像圧縮部の構成例を示すブロック図である。
【図３】画像圧縮部から出力されるデータ構造の一例を示す説明図である。
【図４】画像圧縮部における画像圧縮の概念を模式的に示す説明図である。
【図５】画像送信部から出力されるストリームデータの構成例を示す説明図である。
【図６】第１の実施の形態に係る画像表示システムにおける画像解凍部の構成例を示すブロック図である。
【図７】第１の実施の形態に係る立体表示装置において、複数の視差画像から多視点合成画像を生成する過程を示す説明図である。
【図８】立体表示部をパララックスバリア方式で構成した例を示す構成図である。
【図９】立体表示部をレンチキュラ方式で構成した例を示す構成図である。
【図１０】第２の実施の形態に係る画像表示システムにおける画像圧縮部の構成例を示すブロック図である。
【図１１】第４の実施の形態に係る画像表示システムにおける画像データ出力装置の構成例を示すブロック図である。
【図１２】従来の多眼視用のデータの構成例を示す説明図である。
【発明を実施するための形態】
【００２０】
以下、本発明の実施の形態について図面を参照して詳細に説明する。
【００２１】
＜第１の実施の形態＞
［画像表示システムの全体構成］
図１は、本発明の第１の実施の形態に係る画像表示システムの構成例を示している。この画像表示システムは、画像データ出力装置４と、立体表示装置５と、伝送ライン２３と、データストレージ２４とを備えている。画像データ出力装置４は、１フレーム期間内にｎ個の視差画像が時間順次で含まれる立体画像の画像データを圧縮して出力するものである。伝送ライン２３は、画像データ出力装置４から出力された画像データを立体表示装置５に伝送するものである。データストレージ２４は、画像データ出力装置４から出力された画像データを記録再生可能な記録媒体であり、例えばＨＤＤ（Hard Disk Drive）や光ディスクである。立体表示装置５は、伝送ライン２３またはデータストレージ２４を介して、画像データ出力装置４から出力された画像データを解凍すると共に、解凍した画像データに基づいて立体表示用の表示画像を生成して立体表示を行うものである。
【００２２】
なお、本発明の画像表示システムは、立体画像の画像データが、２眼式用の２つの視差画像（ｎ＝２）で構成されている場合にも適用できるが、本実施の形態では多眼視が可能な画像データ（ｎ＝３以上）である場合について説明する。特に一例として、ｎ＝４の場合、すなわち、立体画像の画像データが、１フレーム期間内に第１ないし第４の４つの視差画像が時間順次で含まれる多眼視用の画像データである場合について説明する。
【００２３】
［画像データ出力装置の構成］
画像データ出力装置４は、撮影部６と、画像圧縮部２１と、画像送信部２２とを備えている。撮影部６は、ｎ個のカメラ、本実施の形態では第１ないし第４のカメラ６１，６２，６３，６４を有している。撮影部６は、第１ないし第４のカメラ６１，６２，６３，６４によって、互いに異なる第１ないし第４の位置から同時に被写体を撮影することで、立体画像の画像データとして、互いに視差のある多眼視用の第１ないし第４の視差画像を生成するようになっている。撮影部６は、生成した第１ないし第４の視差画像を画像圧縮部２１に出力する。画像圧縮部２１は、入力された第１ないし第４の視差画像を順に並べて、所定の画像圧縮処理を行い、圧縮後の画像を順に並べてストリーム化して画像送信部２２に出力するようになっている。画像送信部２２は、圧縮された立体画像の画像データからなる映像ストリームに対し、送信に必要な処理（所定の通信プロトコルに従った処理等）をした後に、伝送ライン２３またはデータストレージ２４に出力する処理を行うようになっている。
【００２４】
図２は画像圧縮部２１の構成例を示している。図３は画像圧縮部２１から出力されるデータ構造の一例を示している。図４は画像圧縮部２１における画像圧縮処理の概念を模式的に示している。図５は画像送信部２２から出力される映像ストリームの構造を模式的に示している。
【００２５】
画像圧縮部２１は、図２に示したように、フレームメモリ４１と、差分器４２と、ストリームエンコーダ４３と、ヘッダ作成器４４とを有している。画像圧縮部２１は、立体画像の１フレーム期間内におけるｎ個の視差画像のうち、１つの特定の視差画像をベース画像としてそのままフレーム内圧縮するようになっている。また、他の（ｎ−１）個の各視差画像については、各視差画像とベース画像とした特定の視差画像との差分を取って差分画像とした後に各視差画像ごとにフレーム内圧縮するようになっている（図４参照）。本実施の形態では、立体画像の１フレーム期間内における時間的に１番目の視差画像をベース画像として処理するようになっている。具体的には、撮影部６から１番目に送られてきた画像データ、すなわち、第１のカメラ６１から送られてきた第１の視差画像をベース画像として処理する。このような圧縮処理を立体画像の１フレームごとに行って画像圧縮部２１から画像送信部２２に順次出力することで、図５に示したような映像ストリームが得られる。すなわち、ベース画像と、それに続く圧縮された差分画像とからなるデータが順次連続する映像ストリームが得られる。
【００２６】
フレームメモリ４１は、１フレーム分の画像データを格納するものであり、立体画像の１フレームごとに、ベース画像を格納するようになっている。差分器４２は、フレームメモリ４１に格納されたベース画像と他の（ｎ−１）個の各視差画像との差分をストリームエンコーダ４３に出力するものである。ストリームエンコーダ４３は、１つのベース画像と（ｎ−１）個の差分画像とのそれぞれに対して、個々に所定のコーデックで画像データの圧縮処理を行うようになっている。立体画像の１フレーム期間内における複数の視差画像は、視差による違いがあるが画像としては大体の部分は似ていて、画像間の相関が強い。このため、ベース画像と差分を取った後に圧縮することで、効率的に圧縮することができる。
【００２７】
ストリームエンコーダ４３は、フレーム間相関の無いコーデックを使用したフレーム内圧縮による圧縮処理を行うようになっている。フレーム間相関の無いビデオコーデックとしては、例えばＪＰＥＧ２０００コーデックを用いることができる。この場合、ストリームエンコーダ４３は、ＪＰＥＧ２０００エンコーダで構成される。ＪＰＥＧ２０００コーデックでは、入力画像信号に色空間座標の変換を必要に応じて行い、その信号の各々の色ごとにウェーブレット変換（ＤＷＴ）を行い、その係数を独立に符号化する。ＤＷＴには，可逆変換が可能な回路構成が比較的簡易な整数型フィルタと、可逆変換はできないが整数型より画質が良い実数型フィルタとがある。本実施の形態では、不可逆圧縮（ロッシー）モード、あるいは可逆圧縮（ロスレス）モードのどちらを使用してもよい。またＪＰＥＧ２０００コーデックでは、ＤＷＴ変換係数をビットプレーンに分解し、各サブバンドで一定サイズ（例えば６４×６４）の符号化ブロックに分割した上で２値算術符号化を行う。各符号化ブロック内の変換係数値はサインビット（正：０，負：１）と絶対値情報とに分け、絶対値は自然２進法で表現し、上位ビットプレーンから順に符号化する。画像の各サブバンド内の全体が黒に近くなった場合には、全てゼロのビットプレーンが上位ビットプレーンから連続するため、符号化が効率化される。具体的には、サインビットプレーンを除いた上位プレーンから全てゼロのビットプレーンのプレーン数を符号化ヘッダに格納しておき、全てゼロのビットプレーンの符号化をスキップする。そのために、黒に近い画像は単位時間あたりに必要な記録再生のデータ量が減少する。本実施の形態では、このデータ量が減少する特質を利用している。
【００２８】
ヘッダ作成器４４は、ストリームエンコーダ４３によって圧縮処理されたベース画像と差分画像とのそれぞれについて、ヘッダ情報を付加するものである。図３はヘッダ情報を付加した後のデータ構造の一例を示している。図３に示したように、画像圧縮部２１から出力されるデータは、ヘッダ情報（Header）とそれに続く実データ部分（Camera DATA）とからなるデータ構造を有している。ヘッダ情報としては、少なくとも、ベース画像と差分画像とを判別可能な情報を付加する。図３の例では、ヘッダ情報は、カメラ画像番号nを認識させる「Header = 0xfffffffn」の情報と、ヘッダ情報に続く実データ部分の圧縮データのバイトサイズ「Length= xx 」[Byte]の情報とで構成されている。「Header = 0xfffffffn」は、撮影部６の第１ないし第４のカメラ６１，６２，６３，６４のうち、どのカメラから出力された画像データであるかを示している。例えば「Header = 0xfffffff1」であれば、第１のカメラ６１から出力された視差画像データであることを示している。なお、上述したように、本実施の形態では第１のカメラ６１から送られてきた第１の視差画像をベース画像として処理するようになっているので、「Header = 0xfffffffn」の情報からベース画像であるか否かを判別することができる。
【００２９】
［立体表示装置の構成］
立体表示装置５は、画像受信部３０と、信号処理部３と、立体表示部１００とを備えている。信号処理部３は、画像解凍部３１と、合成画像生成部３２と、駆動処理部３３とを有している。
本実施の形態において、立体表示装置４が、本発明における「表示装置」の一具体例に対応する。また、立体表示部５が、本発明における「表示部」の一具体例に対応する。
【００３０】
立体表示部１００は、複数の視差画像が含まれる立体視用の表示画像に基づいて立体表示が可能なものであり、例えばパララックスバリア方式やレンチキュラ方式の表示装置である。図８は、立体表示部１００をパララックスバリア方式で構成した例を示している。立体表示部１００は、２次元表示パネル２と、２次元表示パネル２の表示面側に対向するように配置されたパララックスバリア１とを備えている。
【００３１】
２次元表示パネル２は、複数の画素が２次元的に配列されて２次元的に画像表示を行うものであり、例えば有機ＥＬ（Electro-Luminescence）ディスプレイや液晶ディスプレイで構成されている。２次元表示パネル２は、信号処理部３から出力された多視点合成画像の表示を行うようになっている。
【００３２】
パララックスバリア１は、２次元表示パネル２に表示された多視点合成画像に含まれる各視差画像を、多眼視が可能となるように光学的に分離するためのものである。パララックスバリア１は、２次元表示パネル２からの表示画像光を遮蔽する遮蔽部１１と、２次元表示パネル２からの表示画像光を透過するストライプ状のスリット部１２とが水平方向に交互に設けられたものである。スリット部１２の幅は、所定の位置、所定の方向から観察者が立体表示装置を見たときに、観察者の左右の眼１０Ｌ，１０Ｒに互いに異なる視差画像の光が別々に入射されるような、適切な大きさに設定されている。
【００３３】
図９は、レンチキュラ方式で構成された立体表示部１００Ａを示している。立体表示部１００Ａは、図９のパララックスバリア１に代えてレンチキュラレンズ１Ａを２次元表示パネル２の表示面側に対向配置したものである。レンチキュラレンズ１Ａは、例えば垂直方向に延在し、水平方向にのみ屈折力を持つシリンドリカル状のレンズ（円筒レンズ）１３を、水平方向に多数並列配置したものである。シリンドリカル状のレンズ１３のレンズピッチは、多眼視で表示する視差数に応じて適切に設定されている。例えば４視差での多眼視を行う場合、１つのシリンドリカル状のレンズ１３に対して視差の異なる４つの分割画像が対応するように設定されている。このように設定することで、２次元表示パネル２からの表示画像光を、各視差画像ごとに異なる方向に偏向して出射させる。
【００３４】
画像受信部３０は、画像データ出力装置４の画像送信部２２から出力された映像ストリームを伝送ライン２３またはデータストレージ２４を介して受信して信号処理部３の画像解凍部３１に出力するものである。
【００３５】
信号処理部３は、映像ストリームの中から、立体表示部１００での立体表示に必要とされる視差数分の視差画像を抽出して画像合成することで、立体表示部１００での立体表示が可能となる立体視用の表示画像を生成するものである。
【００３６】
画像解凍部３１は、図６に示したように、ヘッダ解析器５１と、ストリームデコーダ５２と、フレームメモリ５３と、加算器５４とを有している。画像解凍部３１は、映像ストリームを構成する圧縮処理された立体画像の画像データを解凍処理するものである。ヘッダ解析器５１は、送られてきた画像データのヘッダ情報を解析してベース画像であるか否か等を解析するようになっている。ストリームデコーダ５２は、画像圧縮部２１のストリームエンコーダ４３のコーデックに対応したコーデックによって画像データを解凍処理するものである。例えばストリームエンコーダ４３がＪＰＥＧ２０００エンコーダで構成されていれば、ストリームデコーダ５２はＪＰＥＧ２０００デコーダで構成されている。
【００３７】
画像解凍部３１は、立体画像の１フレーム期間内におけるｎ個の視差画像のうち、フレーム内圧縮されたベース画像をストリームデコーダ５２によってそのまま解凍して特定の視差画像を復元して合成画像生成部３２に出力するようになっている。また、復元されたベース画像をフレームメモリ５３に格納するようになっている。画像解凍部３１はまた、他の（ｎ−１）個の各視差画像については、各視差画像ごとに、フレーム内圧縮された差分画像をストリームデコーダ５２によって解凍するようになっている。その後、その解凍後の差分画像に、フレームメモリ５３に格納された復元されたベース画像を加算器５４によって加算することにより（ｎ−１）個の各視差画像の復元して合成画像生成部３２に出力するようになっている。
【００３８】
合成画像生成部３２は、画像解凍部３１から出力された多眼視用の各視差画像に基づいて多視点合成画像を生成するものである。駆動処理部３３は、合成画像生成部３２から出力された多視点合成画像に基づいて、立体表示部１００の２次元表示パネル２の駆動信号を生成して２次元表示パネル２に多視点合成画像を表示させるものである。
【００３９】
図７は、合成画像生成部３２において多視点合成画像が生成されるまでの過程を模式的に示している。合成画像生成部３２は、多眼視用の各視差画像から、垂直方向に延在する複数のストライプ状の分割画像を切り出す処理を行い、各分割画像を、各視差画像ごとに水平方向に交互に配列して多視点合成画像を生成する。図５では、第１ないし第４の４つの視差画像を用いた例を示している。合成画像生成部３２には、図７上段に示したような第１ないし第４の視差画像が入力される。合成画像生成部３２では、図７中段に示したように、第１ないし第４の視差画像からそれぞれストライプ状の分割画像を切り出す。次に、分割画像を、各視差画像ごとに水平方向に交互に配列して、図７下段に示したような多視点合成画像を生成する。結果的に、多視点合成画像は、第１ないし第４の視差画像からそれぞれ切り出されたストライプ状の分割画像が、第１、第２、第３および第４の視差画像の順に水平方向に交互に循環的に配列された合成画像となる。
【００４０】
図７に示した多視点合成画像を２次元表示パネル２に表示してパララックスバリア１またはレンチキュラレンズ１Ａを介して観察することで、多眼式の立体表示を行うことができる。例えばパララックスバリア１を介して観察することで、ある特定の視点位置から見たときに、左眼１０Ｌと右眼１０Ｒとにある特定の視差画像のみが見える状況となることで立体像が知覚される。例えばある特定の第１の視点位置から見たときには、左眼１０Ｌには第３の視差画像からの光のみが認識され、右眼１０Ｒには第２の視差画像からの光のみが認識される状況となることで、第３の視差画像と第２の視差画像とに基づく立体像が知覚される。また別の第２の視点位置から見たときには例えば、左眼１０Ｌには第１の視差画像からの光のみが認識され、右眼１０Ｒには第４の視差画像からの光のみが認識される状況となることで、第１の視差画像と第４の視差画像とに基づく立体像が知覚される。このように異なる視点位置から見たときに異なる視差画像が見えることによって運動視差が得られる。
【００４１】
［画像表示システムの動作］
この画像表示システムにおける画像処理の全体の流れを以下に記す。
（Ａ１） 撮影部６において、第１ないし第４のカメラ６１，６２，６３，６４によって、互いに異なる第１ないし第４の位置から同期を取って同時に被写体を撮影することで、互いに視差のある多眼視用の第１ないし第４の視差画像を、１フレーム分作成する。第１ないし第４の視差画像を、立体画像の１フレーム分の画像データとする。
（Ａ２） 処理（Ａ１）を繰り返し、立体画像の連続フレームを得る。
（Ａ３） 得られた連続フレームを、画像圧縮部２１で所定のコーデックに従って圧縮する。画像圧縮部２１は、圧縮後の画像を順に並べてストリーム化して画像送信部２２に出力する。
（Ａ４） 圧縮された立体画像の画像データからなる映像ストリームデータを、画像送信部２２で送信に必要な処理をした後に、伝送ライン２３またはデータストレージ２４に出力する。
（Ａ５） 画像送信部２２から出力された映像ストリームデータを、伝送ライン２３またはデータストレージ２４を介して立体表示装置５の画像受信部３で受信する。画像受信部３は受信した映像ストリームデータを画像解凍部３１に出力する。
（Ａ６） 圧縮された映像ストリームデータを、画像解凍部３１で所定のコーデックに従って解凍し、復元された映像ストリームデータを得る。
（Ａ７） 復元された映像ストリームデータから立体画像としての１フレーム分のデータ（第１ないし第４の視差画像）を取り出し、合成画像生成部３２によって、多眼視用の多視点合成画像（図７参照）を生成する。
（Ａ８） 生成された多視点合成画像に基づいて、駆動処理部３３によって、立体表示部１００の２次元表示パネル２の駆動信号を生成して２次元表示パネル２に多視点合成画像を表示する。
【００４２】
［画像圧縮部２１の動作］
画像圧縮部２１（図６）における画像処理の流れを以下に記す。
（Ｂ１） 撮影部６の第１のカメラ６１によって撮影されたカメラ画像１のデータ（第１の視差画像）は、フレームメモリ４１に送られて、ベース画像として蓄積される。
（Ｂ２） また同時に、カメラ画像１のデータは、ストリームエンコーダ４３に送られる。ストリームエンコーダ４３に送られたカメラ画像１のデータは、所定のビデオコーデック（ＪＰＥＧ２０００等）に従い、フレーム内圧縮される。
（Ｂ３） 圧縮されたカメラ画像１のデータは次段の画像送信部２２に送られる。
（Ｂ４） 次に、撮影部６の第２のカメラ６２によって撮影されたカメラ画像２のデータ（第２の視差画像）とフレームメモリ４１内のベース画像（カメラ画像１のデータ）とのフレームのピクセルごとの差分を計算し、その差分画像のデータをストリームエンコーダ４３に出力する。
（Ｂ５） ストリームエンコーダ４３に送られたカメラ画像２に関する差分画像のデータは、所定のビデオコーデック（ＪＰＥＧ２０００等）に従い、フレーム内圧縮される。
（Ｂ６） 圧縮されたカメラ画像２に関する差分画像のデータは次段の画像送信部２２に送られる。
（Ｂ７） 第３のカメラ６３によって撮影されたカメラ画像３のデータ（第３の視差画像）と、第４のカメラ６４によって撮影されたカメラ画像４のデータ（第４の視差画像）とに対しても、処理（Ｂ４）ないし処理（Ｂ６）と同様の処理を行う。
（Ｂ８） 処理（Ｂ４）および処理（Ｂ６）において、圧縮されたカメラ画像を次段の画像送信部２２に送る場合に、圧縮された各カメラ画像のデータに先行して、ヘッダ作成器４４からヘッダ情報を送る。ヘッダ情報としては、カメラ画像番号nを認識させる「Header = 0xfffffffn」の情報と、ヘッダ情報に続く実データ部分の圧縮データのバイトサイズ「Length= xx 」[Byte]の情報とを付加する（図３参照）。
（Ｂ９） その後、処理（Ｂ１）ないし処理（Ｂ８）を繰り返し、次々に立体画像の各フレームデータを処理することで、図５のような映像ストリームデータを出力する。
【００４３】
［画像解凍部３１の動作］
画像解凍部３１（図１０）における画像処理の流れを以下に記す。
（Ｃ１） 画像受信部３０から出力され、画像解凍部３１に入力されたヘッダ情報をヘッダ解析器５１で解析する。ヘッダ情報を構成する、「Header = 0xfffffffn」の情報と「Length= xx 」の情報から、カメラ画像番号ｎとその画像番号に対応する圧縮されたカメラ画像の実データのバイトサイズの情報を得る。
（Ｃ２） カメラ画像番号ｎで、ｎ＝１であることを確認する。これにより、そのヘッダ情報に続く実データの部分が、画像差分を取っていない、ベース画像であることを確認する。
（Ｃ３） ヘッダ情報に続く実データの部分、すなわち、処理（Ｃ１）で得られた「Length= xx 」[Byte]分のデータを、ストリームデコーダ５２でデコードし、圧縮されていたカメラ画像１のデータの解凍データを得る。
（Ｃ４） 解凍されたカメラ画像１のデータを次段の合成画像生成部３２に出力する。
（Ｃ５） また同時に、解凍されたカメラ画像１のデータをフレームメモリ５３にも出力する。
（Ｃ６） 画像解凍部３１に入力された、次のヘッダ情報をヘッダ解析器５１で解析する。ヘッダ情報を構成する、「Header = 0xfffffffn」の情報と「Length= xx 」の情報から、カメラ画像番号ｎとその画像番号に対応する圧縮されたカメラ画像の実データのバイトサイズの情報を得る。
（Ｃ７） カメラ画像番号ｎで、ｎ＝２であることを確認する。これにより、そのヘッダ情報に続く実データの部分が、画像差分を取っている差分画像であることを確認する。
（Ｃ８） ヘッダ情報に続く実データの部分、すなわち、処理（Ｃ６）で得られた「Length= xx 」[Byte]分のデータを、ストリームデコーダ５２でデコードし、圧縮されていたカメラ画像２に関する差分画像のデータの解凍データを得る。
（Ｃ９） 解凍されたカメラ画像２に関する差分画像のデータとフレームメモリ５３に蓄積されているベース画像との、各々のピクセル値を加算することで、カメラ画像２のデータを復元し、を次段の合成画像生成部３２に出力する。
（Ｃ１０） ヘッダ情報がカメラ画像番号３、およびカメラ画像番号４となるデータに対しても、処理（Ｃ６）から処理（Ｃ９）と同様の処理を行う。
（Ｃ１１） その後、処理（Ｃ１）ないし処理（Ｃ１０）を繰り返し、次々に立体画像の各フレームデータを処理する。
【００４４】
［第１の実施の形態による効果］
本実施の形態に係る画像データ出力装置４によれば、１つの特定の視差画像をベース画像としてフレーム内圧縮し、他の（ｎ−１）個の各視差画像については、各視差画像とベース画像との差分を取った後に各視差画像ごとにフレーム内圧縮して出力するようにしたので、立体画像の特性上、画像データを効率的に圧縮することができる。これにより、複数の視差画像のデータを効率的に出力することができる。これにより、画像データ出力装置４からは立体画像の表示に必要とされるｎ個の視差画像を全て送っているにも関わらず、伝送ライン２３に伝送するときのデータレートを抑えることができる。また、データストレージ２４に記録するデータサイズを抑えることができる。
【００４５】
また、本実施の形態に係る画像表示システムによれば、画像データ出力装置４において効率的に立体画像の画像データを圧縮してｎ個の視差画像をすべて出力し、立体表示装置５側で画像データを解凍して表示画像を生成するようにしたので、立体表示装置５の仕様に合わせた適切な表示画像を得ることができる。ｎ個の視差画像はそれぞれについて、独立した圧縮がなされたものなので、必要な視差画像だけを解凍して表示画像として用いることも容易にできる。これにより、効率的に出力された複数の視差画像のデータに基づいて表示自由度の高い画像表示を行うことができる。
【００４６】
また、画像データ出力装置４からは、立体画像の表示に必要とされるｎ個の視差画像を全て送るようにしたので、立体表示装置５側で立体表示したときに、図１２に示したような画像データを送る方式に比べて、周り込んだ画像（オクルージョン）が見えない不具合が発生するのを抑えることができる。
【００４７】
＜第２の実施の形態＞
次に、本発明の第２の実施の形態に係る立体表示装置について説明する。なお、上記第１の実施の形態に係る立体表示装置と実質的に同一の構成部分には同一の符号を付し、適宜説明を省略する。
【００４８】
本実施の形態における画像表示システムの全体構成は、図１と同じであるが、図２の構成の画像圧縮部２１に代えて、図１０に示した構成の画像圧縮部２１Ａを備えている。画像圧縮部２１Ａは、ストリームデコーダ４５を有している。ストリームデコーダ４５は、立体表示装置５の画像解凍部３１におけるストリームデコーダ５２と同様のコーデックによって画像データを解凍処理するものである。
【００４９】
図２の構成の画像圧縮部２１では、第１のカメラ６１から送られてきた第１の視差画像をベース画像としてそのままフレームメモリ４１に格納するようにしている。これに対し、図１０の画像圧縮部２１Ａでは、ストリームエンコーダ４３によってフレーム内圧縮されたベース画像を、ストリームデコーダ４５でそのまま解凍して第１の視差画像を復元し、その復元された第１の視差画像をフレームメモリ４１に格納する。そして、フレームメモリ４１に格納されたベース画像（復元された第１の視差画像）と他の（ｎ−１）個の各視差画像との差分をストリームエンコーダ４３に出力して圧縮処理する。
【００５０】
本実施の形態によれば、ストリームデコーダ４５によって、画像解凍部３１におけるストリームデコーダ５２と同様のコーデックによって解凍処理した後のベース画像がフレームメモリ４１に格納される。従って、フレームメモリ４１に格納されるベース画像と、画像解凍部３１におけるフレームメモリ５３（図６）に格納されるベース画像とを実質的に一致させることができる。これにより、画像圧縮部２１Ａと画像解凍部３１とにおける差分処理の誤差を少なくすることができる。
【００５１】
＜第３の実施の形態＞
次に、本発明の第３の実施の形態に係る立体表示装置について説明する。なお、上記第１または第２の実施の形態に係る立体表示装置と実質的に同一の構成部分には同一の符号を付し、適宜説明を省略する。
【００５２】
上記第１の実施の形態では、立体表示装置５が多眼視での立体表示機能を有するものとして説明したが、本発明は、立体表示装置５が２眼式の機能を有するものである場合にも適用可能である。この場合、立体表示装置５側では、立体画像の画像データにｎ＝３以上の視差画像が含まれていた場合には、信号処理部３において任意の２つの視差画像を抽出して、それら抽出された２つの視差画像に基づいて２眼式立体視用の表示画像を生成すれば良い。または、ベース画像と、ベース画像の次に圧縮処理された視差画像とを抽出し、それら抽出された２つの視差画像に基づいて２眼式立体視用の表示画像を生成するようにしても良い。
【００５３】
また本発明は、立体表示装置５が、立体表示と２次元表示との切り換え機能を有する場合にも適用可能である。さらに、立体表示装置５に代えて、立体表示機能のない２次元表示専用の表示装置にも適用可能である。この場合、表示装置側では、信号処理部３において任意の１つの視差画像を抽出して、２次元表示用の表示画像を生成すれば良い。または、ベース画像を抽出して、２次元表示用の表示画像を生成すれば良い。
【００５４】
また、２眼式の立体表示装置または２次元表示専用の表示装置での画像表示に対応させやすくするために、撮影部６の第１ないし第４のカメラ６１，６２，６３，６４からの画像データに対する画像処理の優先順位を変えるようにしても良い。すなわち、上記第１の実施の形態では、第１のカメラ６１から出力されたカメラ画像を第１の視差画像（ベース画像）として最初に圧縮処理し、次に、第２ないし第４のカメラ６２，６３，６４を第２ないし第４の視差画像として順次圧縮処理するようにした。これは、カメラの並び順に処理するようにしたものである。
【００５５】
これに代えて、画像圧縮部２１において、例えば撮影位置に応じて各視差画像の圧縮処理の順番を決定するようにしても良い。例えば中央の撮影位置（例えば第２のカメラ６２）から撮影することによって得られたカメラ画像をベース画像として最初に圧縮処理する。次に、中央の撮影位置に対して２眼式の立体表示を行うのに最も適した視差となる撮影位置（例えば第３のカメラ６３）から撮影することによって得られたカメラ画像を、ベース画像との差分を取る１番目の視差画像として圧縮処理する。以降、他の撮影位置から撮影することによって得られたカメラ画像を順次処理する。例えば第１のカメラ６１による画像を処理し、次に第４のカメラ６４による画像を処理する。
【００５６】
このように、単純にカメラの並び順に処理するのではなく、２眼式の立体表示に適した画像を優先的に処理することで、例えば２眼式の立体表示装置において、ベース画像と、ベース画像の次に圧縮処理された視差画像とを抽出することで、２眼式の立体表示に適した表示画像を容易に生成することができる。
【００５７】
＜第４の実施の形態＞
次に、本発明の第４の実施の形態に係る立体表示装置について説明する。なお、上記第１ないし第３の実施の形態に係る立体表示装置と実質的に同一の構成部分には同一の符号を付し、適宜説明を省略する。
【００５８】
図１１は、本発明の第４の実施の形態に係る画像表示システムにおける画像データ出力装置４Ａの構成例を示している。図１に示した画像データ出力装置４では、撮影部６が、４台のカメラ６１，６２，６３，６４を有し、それらから直接、４つの視差画像を生成するようにした。これに対し、図１１の画像データ出力装置４Ａでは、撮影部６Ａが２台のカメラ６１，６４のみで構成されている。また、画像データ出力装置４Ａは、視差画像生成部２５を備えている。視差画像生成部２５は、撮影部６Ａから出力された複数の視差画像に基づいて少なくとも１つの他の視差画像を画像処理（画像補間処理）により生成するものである。図１１の例では、視差画像生成部２５は、撮影部６Ａから出力されたカメラ画像１とカメラ画像４とのデータから、２つの視差画像を生成している。
【００５９】
例えば撮影部６Ａから出力されたカメラ画像１のデータを第１の視差画像、カメラ画像４のデータを第４の視差画像とし、視差画像生成部２５で生成した２つの視差画像を第２および第３の視差画像として、画像圧縮部２１に入力する。画像圧縮部２１以降の処理は上記第１の実施の形態と同様である。
【００６０】
なお、撮影部６Ａを３台のカメラで構成し、視差画像生成部２５では１つの視差画像のみを生成するような構成であっても良い。
【００６１】
本実施の形態によれば、一部の視差画像を画像処理によって生成するようにしたので、多眼視に必要な視差数分の台数のカメラを用意する必要が無くなり、カメラの台数を少なくすることができる。これにより、システムの構成を簡素化できる。
【００６２】
＜その他の実施の形態＞
本発明は、上記各実施の形態に限定されず種々の変形実施が可能である。
例えば図３には、ヘッダ情報として、カメラ画像番号nを認識させる「Header = 0xfffffffn」の情報と、ヘッダ情報に続く実データ部分の圧縮データのバイトサイズ「Length= xx 」[Byte]の情報とを付加する例を示したが、その他のヘッダ情報を付加するようにしても良い。例えば、カメラの視差情報、カメラの並び順番号等の関連情報を追加しても良い。これにより、表示装置側での信号処理が容易になる。
【符号の説明】
【００６３】
１…パララックスバリア、１Ａ…レンチキュラレンズ、２…２次元表示パネル、３…信号処理部、４，４Ａ…画像データ出力装置、５…立体表示装置、６，６Ａ…撮影部、１０Ｌ…左眼、１０Ｒ…右眼、１１…遮蔽部、１２…スリット部、１３…シリンドリカルレンズ、２１，２１Ａ…画像圧縮部、２２…画像送信部、２３…伝送ライン、２４…データストレージ、２５…視差画像生成部、３０…画像受信部、３１…画像解凍部、３２…合成画像生成部、３３…駆動処理部、４１…フレームメモリ、４２…差分器、４３…ストリームエンコーダ、４４…ヘッダ作成器、４５…ストリームデコーダ、５１…ヘッダ解析器、５２…ストリームデコーダ、５３…フレームメモリ、５４…加算器、６１，６２，６３，６４…カメラ、１００，１００Ａ…立体表示部。
【特許請求の範囲】
【請求項１】
画像圧縮部を有し、１フレーム期間内にｎ（ｎは２以上の整数）個の視差画像が時間順次で含まれる立体画像の画像データを、前記画像圧縮部で圧縮して出力する画像データ出力装置と、
画像を表示する表示部と、画像解凍部を含む信号処理部とを有し、前記信号処理部が前記圧縮された画像データを前記画像解凍部において解凍すると共に、解凍された画像データに基づいて前記表示部で表示する表示画像を生成するようになされた表示装置と
を備え、
前記画像圧縮部は、
前記立体画像の１フレーム期間内における前記ｎ個の視差画像のうち、１つの特定の視差画像をベース画像としてそのままフレーム内圧縮すると共に、他の（ｎ−１）個の各視差画像については、前記各視差画像と前記ベース画像とした前記特定の視差画像との差分を取って差分画像とした後に前記各視差画像ごとにフレーム内圧縮する
ようになされている画像表示システム。
【請求項２】
前記画像解凍部は、前記フレーム内圧縮されたベース画像をそのまま解凍して前記特定の視差画像を復元すると共に、前記他の（ｎ−１）個の各視差画像については、前記各視差画像ごとに、前記フレーム内圧縮された差分画像を解凍した後、その解凍後の差分画像に前記復元された特定の視差画像を加算することにより復元を行う
ようになされている請求項１に記載の画像表示システム。
【請求項３】
前記画像圧縮部は、前記特定の視差画像をベース画像としてそのままフレーム内圧縮するエンコーダと、前記フレーム内圧縮されたベース画像をそのまま解凍して前記特定の視差画像を復元するデコーダと、復元された前記特定の視差画像を格納するフレームメモリとを含み、
前記他の（ｎ−１）個の各視差画像については、前記各視差画像と前記フレームメモリに格納された前記特定の視差画像との差分を取って差分画像とした後に前記各視差画像ごとにフレーム内圧縮する
ようになされている請求項１に記載の画像表示システム。
【請求項４】
前記画像データ出力装置において圧縮処理される前記立体画像の画像データは、１フレーム期間内に３つ以上の視差画像が時間順次で含まれる多眼視用の画像データである
請求項１ないし３のいずれか１項に記載の画像表示システム。
【請求項５】
前記表示部は、複数の視差画像が含まれる立体視用の表示画像に基づいて立体表示が可能なものであり、
前記信号処理部は、
圧縮処理された前記立体画像の画像データの中から、前記表示部での立体表示に必要とされる視差数分の視差画像を抽出して画像合成することで、前記表示部での立体表示が可能となる立体視用の表示画像を生成する
ようになされている請求項４に記載の画像表示システム。
【請求項６】
前記表示部は、２つの視差画像が含まれる２眼式立体視用の表示画像に基づいて立体表示が可能なものであり、
前記画像データ出力装置は、互いに異なる３つ以上の位置から同時に被写体を撮影することで、前記立体画像の画像データとして、互いに視差のある多眼視用の３つ以上の視差画像を出力する撮影部をさらに有し、
前記画像圧縮部は、撮影位置に応じて各視差画像の圧縮処理の順番を決定し、中央の撮影位置から撮影することによって得られた特定の視差画像を前記ベース画像として最初に圧縮処理すると共に、次に、前記中央の撮影位置に対して２眼式の立体表示を行うのに最も適した視差となる撮影位置から撮影することによって得られた視差画像を、前記ベース画像との差分を取る１番目の視差画像として圧縮処理するようになされ、
前記信号処理部は、圧縮処理された前記立体画像の画像データの中から、前記ベース画像である特定の視差画像と、前記ベース画像の次に圧縮処理された視差画像とを抽出し、それら抽出された２つの視差画像に基づいて前記２眼式立体視用の表示画像を生成する
ようになされている請求項４に記載の画像表示システム。
【請求項７】
前記表示部は、２次元的な画像表示が可能なものであり、
前記信号処理部は、
圧縮処理された前記立体画像の画像データの中から、前記ベース画像のみを抽出して前記表示部での表示画像とする
ようになされている請求項４に記載の画像表示システム。
【請求項８】
前記画像データ出力装置は、
互いに異なる位置から同時に被写体を撮影することで、互いに視差のある複数の視差画像を出力する撮影部と、
前記撮影部から出力された複数の視差画像に基づいて少なくとも１つの他の視差画像を生成する視差画像生成部とをさらに有し、
前記画像圧縮部で圧縮処理される前記立体画像の画像データは、前記撮影部から出力された複数の視差画像と前記視差画像生成部で生成された他の視差画像とを１フレーム期間内に時間順次で含めた多眼視用の画像データである
ようになされている請求項４に記載の画像表示システム。
【請求項９】
前記画像圧縮部は、前記ベース画像と前記差分画像とのそれぞれについて、前記フレーム内圧縮後にヘッダ情報を付加するヘッダ作成器を含む、
ようになされている請求項１ないし３のいずれか１項に記載の画像表示システム。
【請求項１０】
前記ヘッダ作成器は、前記ヘッダ情報として、少なくとも、前記ベース画像と前記差分画像とを判別可能な情報を付加する
ようになされている請求項９に記載の画像表示システム。
【請求項１１】
１フレーム期間内にｎ（ｎは２以上の整数）個の視差画像が時間順次で含まれる立体画像の画像データを圧縮して出力する画像圧縮部を備え、
前記画像圧縮部は、
前記立体画像の１フレーム期間内における前記ｎ個の視差画像のうち、１つの特定の視差画像をベース画像としてそのままフレーム内圧縮すると共に、他の（ｎ−１）個の各視差画像については、前記各視差画像と前記ベース画像とした前記特定の視差画像との差分を取って差分画像とした後に前記各視差画像ごとにフレーム内圧縮する
ようになされている画像データ出力装置。
【請求項１】
画像圧縮部を有し、１フレーム期間内にｎ（ｎは２以上の整数）個の視差画像が時間順次で含まれる立体画像の画像データを、前記画像圧縮部で圧縮して出力する画像データ出力装置と、
画像を表示する表示部と、画像解凍部を含む信号処理部とを有し、前記信号処理部が前記圧縮された画像データを前記画像解凍部において解凍すると共に、解凍された画像データに基づいて前記表示部で表示する表示画像を生成するようになされた表示装置と
を備え、
前記画像圧縮部は、
前記立体画像の１フレーム期間内における前記ｎ個の視差画像のうち、１つの特定の視差画像をベース画像としてそのままフレーム内圧縮すると共に、他の（ｎ−１）個の各視差画像については、前記各視差画像と前記ベース画像とした前記特定の視差画像との差分を取って差分画像とした後に前記各視差画像ごとにフレーム内圧縮する
ようになされている画像表示システム。
【請求項２】
前記画像解凍部は、前記フレーム内圧縮されたベース画像をそのまま解凍して前記特定の視差画像を復元すると共に、前記他の（ｎ−１）個の各視差画像については、前記各視差画像ごとに、前記フレーム内圧縮された差分画像を解凍した後、その解凍後の差分画像に前記復元された特定の視差画像を加算することにより復元を行う
ようになされている請求項１に記載の画像表示システム。
【請求項３】
前記画像圧縮部は、前記特定の視差画像をベース画像としてそのままフレーム内圧縮するエンコーダと、前記フレーム内圧縮されたベース画像をそのまま解凍して前記特定の視差画像を復元するデコーダと、復元された前記特定の視差画像を格納するフレームメモリとを含み、
前記他の（ｎ−１）個の各視差画像については、前記各視差画像と前記フレームメモリに格納された前記特定の視差画像との差分を取って差分画像とした後に前記各視差画像ごとにフレーム内圧縮する
ようになされている請求項１に記載の画像表示システム。
【請求項４】
前記画像データ出力装置において圧縮処理される前記立体画像の画像データは、１フレーム期間内に３つ以上の視差画像が時間順次で含まれる多眼視用の画像データである
請求項１ないし３のいずれか１項に記載の画像表示システム。
【請求項５】
前記表示部は、複数の視差画像が含まれる立体視用の表示画像に基づいて立体表示が可能なものであり、
前記信号処理部は、
圧縮処理された前記立体画像の画像データの中から、前記表示部での立体表示に必要とされる視差数分の視差画像を抽出して画像合成することで、前記表示部での立体表示が可能となる立体視用の表示画像を生成する
ようになされている請求項４に記載の画像表示システム。
【請求項６】
前記表示部は、２つの視差画像が含まれる２眼式立体視用の表示画像に基づいて立体表示が可能なものであり、
前記画像データ出力装置は、互いに異なる３つ以上の位置から同時に被写体を撮影することで、前記立体画像の画像データとして、互いに視差のある多眼視用の３つ以上の視差画像を出力する撮影部をさらに有し、
前記画像圧縮部は、撮影位置に応じて各視差画像の圧縮処理の順番を決定し、中央の撮影位置から撮影することによって得られた特定の視差画像を前記ベース画像として最初に圧縮処理すると共に、次に、前記中央の撮影位置に対して２眼式の立体表示を行うのに最も適した視差となる撮影位置から撮影することによって得られた視差画像を、前記ベース画像との差分を取る１番目の視差画像として圧縮処理するようになされ、
前記信号処理部は、圧縮処理された前記立体画像の画像データの中から、前記ベース画像である特定の視差画像と、前記ベース画像の次に圧縮処理された視差画像とを抽出し、それら抽出された２つの視差画像に基づいて前記２眼式立体視用の表示画像を生成する
ようになされている請求項４に記載の画像表示システム。
【請求項７】
前記表示部は、２次元的な画像表示が可能なものであり、
前記信号処理部は、
圧縮処理された前記立体画像の画像データの中から、前記ベース画像のみを抽出して前記表示部での表示画像とする
ようになされている請求項４に記載の画像表示システム。
【請求項８】
前記画像データ出力装置は、
互いに異なる位置から同時に被写体を撮影することで、互いに視差のある複数の視差画像を出力する撮影部と、
前記撮影部から出力された複数の視差画像に基づいて少なくとも１つの他の視差画像を生成する視差画像生成部とをさらに有し、
前記画像圧縮部で圧縮処理される前記立体画像の画像データは、前記撮影部から出力された複数の視差画像と前記視差画像生成部で生成された他の視差画像とを１フレーム期間内に時間順次で含めた多眼視用の画像データである
ようになされている請求項４に記載の画像表示システム。
【請求項９】
前記画像圧縮部は、前記ベース画像と前記差分画像とのそれぞれについて、前記フレーム内圧縮後にヘッダ情報を付加するヘッダ作成器を含む、
ようになされている請求項１ないし３のいずれか１項に記載の画像表示システム。
【請求項１０】
前記ヘッダ作成器は、前記ヘッダ情報として、少なくとも、前記ベース画像と前記差分画像とを判別可能な情報を付加する
ようになされている請求項９に記載の画像表示システム。
【請求項１１】
１フレーム期間内にｎ（ｎは２以上の整数）個の視差画像が時間順次で含まれる立体画像の画像データを圧縮して出力する画像圧縮部を備え、
前記画像圧縮部は、
前記立体画像の１フレーム期間内における前記ｎ個の視差画像のうち、１つの特定の視差画像をベース画像としてそのままフレーム内圧縮すると共に、他の（ｎ−１）個の各視差画像については、前記各視差画像と前記ベース画像とした前記特定の視差画像との差分を取って差分画像とした後に前記各視差画像ごとにフレーム内圧縮する
ようになされている画像データ出力装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【公開番号】特開２０１０−２８３５１２（Ｐ２０１０−２８３５１２Ａ）
【公開日】平成２２年１２月１６日（２０１０．１２．１６）
【国際特許分類】
【出願番号】特願２００９−１３４１２４（Ｐ２００９−１３４１２４）
【出願日】平成２１年６月３日（２００９．６．３）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
【公開日】平成２２年１２月１６日（２０１０．１２．１６）
【国際特許分類】
【出願日】平成２１年６月３日（２００９．６．３）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
[ Back to top ]