立体視用画像生成装置および立体視用画像生成方法、制御プログラム、可読記憶媒体
【課題】三次元グラフィック処理機構に高い能力を要求せず、同時に正確な立体感を得る。
【解決手段】一枚の画像から、立体視用の複数の画像データ（右目用画像データと左目用画像データ）を生成する視差画像生成機能としての立体視画像生成回路１１と、ＧＰＵからなるコンピュータグラフィック生成部としてのＣＧ生成回路７に対し、ＧＰＵが生成した一つの視点からの画像および、ＧＰＵの三次元ＣＧ生成処理の過程で計算された各画素に対する奥行き情報（Ｚバッファ値）を、視差画像生成機能としての立体視画像生成回路１１に渡して、立体視画像生成回路１１が立体視用の複数の画像を生成する制御を行っている。
【解決手段】一枚の画像から、立体視用の複数の画像データ（右目用画像データと左目用画像データ）を生成する視差画像生成機能としての立体視画像生成回路１１と、ＧＰＵからなるコンピュータグラフィック生成部としてのＣＧ生成回路７に対し、ＧＰＵが生成した一つの視点からの画像および、ＧＰＵの三次元ＣＧ生成処理の過程で計算された各画素に対する奥行き情報（Ｚバッファ値）を、視差画像生成機能としての立体視画像生成回路１１に渡して、立体視画像生成回路１１が立体視用の複数の画像を生成する制御を行っている。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、立体視向けの三次元コンピュータグラフィックを生成する立体視用画像生成装置およびこれを用いた立体視用画像生成方法、この立体視用画像生成方法の各ステップをコンピュータに実行させるための制御プログラム、この制御プログラムが格納されたコンピュータ読み取り可能な可読記憶媒体に関する。
【背景技術】
【０００２】
この種の従来の立体視用画像生成システムにおいて、立体視は、右目視点での映像と、左目視点での映像それぞれを、右目と左目とに個別に提示することにより、人間にその映像を現実的な立体として感じさせる仕組みである。これらの右目視点および左目視点の映像は、実写の場合、例えば右目と左目の間隔に相当する一定の距離を置いた二つの視点から、同時に被写体対象を撮影することにより作成することができる。
コンピュータを用いて右目視点および左目視点の映像を作成する場合、コンピュータ内に構成した三次元空間を、右目視点および左目視点を模した二つの視点から見て、それぞれの結果をコンピュータグラフィック化（レンダリング）することにより作成することができる。
【０００３】
一方で、映像を構成する画素の特徴に着目して、一枚の映像から立体視に適した右目用と左目用の映像を生成する機構が発明されている。例えば、特許文献１には、原画像の各画素の色成分から奥行き値を計算し、その奥行き値から、右目用の映像および左目用の映像をそれぞれ生成する立体視画像作成方法が開示されている。これを図４に示している。
【０００４】
図４は、特許文献１に開示されている従来の立体視画像形成装置のハード構成例を示すブロック図である。
【０００５】
図４に示すように、制御部としてのＣＰＵ（中央処理装置）１０１は、従来の立体視画像形成装置１００の各部の動作を制御し、立体視用画像データ作成処理などの各種処理を実行する。ＲＯＭ（リード・オンリ・メモリ）１０２は、起動時などに実行されるプログラムや参照データなどを格納する。ＲＡＭ（ランダム・アクセス・メモリ）１０３は、ＣＰＵ１０１のワークエリアなどを実現するためのものである。
【０００６】
キャラクタジェネレータ１０４は、図形文字の表示データ（フォントデータ）を発生する。時計回路１０５は現在時刻を出力する。インタフェース１０６は、立体視画像形成装置１００をインターネットＩＮＥＴに接続するためのものである。伝送制御部１０７は、インタフェース１０６を介してインターネットＩＮＥＴに接続された端末装置との間でデータの授受を行う。
【０００７】
磁気ディスク装置１０８は、立体視画像形成装置１００で実行される各種処理やオペレーティングシステムなどのプログラムデータを記憶すると共に、各種処理により作成される各種データなどを記憶する記憶装置である。ＣＤ−ＲＯＭドライブ１０９は、ＣＤ−ＲＯＭ１１０に記憶されている画像データを読み出すためのものである。表示部１１１は、例えばＣＲＴやＬＣＤなどであり、表示制御部１１２の制御の下、その表示画面上に画像を表示する。
【０００８】
キーボード１１３はフルキー配列のキーボードであり、ユーザはキーボード１１３を用いて指示内容を入力する。画面指示装置１１４は、タッチパネルなどの入力デバイスであり、ユーザはタッチパネルを押圧することにより各種指示内容を入力することができる。入力制御部１１５は、キーボード１１３および画面指示装置１１４から入力された各指示内容を取り込み。ＣＰＵ１０１に出力する。
【０００９】
これらのＣＰＵ１０１、ＲＯＭ１０２、ＲＡＭ１０３、キャラクタジェネレータ１０４、時計回路１０５、伝送制御部１０７、磁気ディスク装置１０８、ＣＤ−ＲＯＭドライブ１０９、表示制御部１１２および入力制御部１１５は、内部バス１１６に接続されている。これらの各種要素間のデータのやりとりは、この内部バス１１６を介して行われる。
【００１０】
立体視用画像データを作成するに当たり、ＣＰＵ１０１によって、例えばＲＯＭ１０２内の立体視画像表示用のアプリケーションが実行される。
【００１１】
これによって、立体視画像形成装置１００では、図５に示すように、まず、三次元グラフィック処理機構であるグラフィック・プロセッシング・ユニットＧＰＵが、一枚の三次元ＣＧ（コンピュータグラフィック）データから三次元ＣＧ画像を生成する。次に、視差画像生成機能が、グラフィック・プロセッシング・ユニットＧＰＵが生成した三次元ＣＧ画像のグレースケール値に基づいて奥行き値（Ｚ値）を算出する。このＺ値に対して、逆転判定処理、平滑化処理、分布補正処理および局所補正処理などを施す。この求めたＺ値に基づいて視差を決定し、この決定した視差に応じた分だけ、各画素を移動させる処理を行うことにより、左目画像と右目画像の視差画像の立体視画像データを生成する。
【先行技術文献】
【特許文献】
【００１２】
【特許文献１】国際公開第２００４／０１９６２１号パンフレット
【発明の概要】
【発明が解決しようとする課題】
【００１３】
しかしながら、上記特許文献１に開示されている従来の立体視画像形成装置１００では、一枚の三次元ＣＧデータから立体視に適した三次元画像データを生成する際に、視差画像生成機能は、グラフィック・プロセッシング・ユニットＧＰＵが生成し三次元画像のグレースケール値に基づいて奥行き値（Ｚ値）を計算するため、その視差画像生成機能が生成する奥行き値（Ｚ値）が、三次元ＣＧデータの期待する奥行き値と一致しないことがあった。この結果として、立体映像として人間の両眼に提示されたとき、正確な立体感を得ることができなかった。また、一枚の映像の中で、コンピュータグラフィックの領域（例えばキャラクタ領域）と、そうでない領域（例えば背景領域）での奥行き値を個別に扱うことができなかった。
【００１４】
この他、図６に示すように、グラフィック・プロセッシング・ユニットＧＰＵが、三次元ＣＧデータから、立体視用の右目用二次元ＣＧ画像と左目用二次元ＣＧ画像とを生成する場合に、右目と左目それぞれの視点から見たグラフィックを生成する必要がある。一組の立体視用の画像（右目画像と左目画像）を作成するためには、グラフィック・プロセッシング・ユニットＧＰＵが、三次元グラフィック処理を二回実施する必要がある。これは、リアルタイム表示のために、複雑な三次元グラフィックから二次元グラフィックにリアルタイムに生成する必要がある場合には、グラフィック・プロセッシング・ユニットＧＰＵに高い処理能力を要求しなければならなかった。
【００１５】
本発明は、上記従来の問題を解決するもので、三次元グラフィック処理機構に高い能力を要求せず、同時に正確な立体感を得ることができる立体視用画像生成装置およびこれを用いた立体視用画像生成方法、この立体視用画像生成方法の各ステップをコンピュータに実行させるための制御プログラム、この制御プログラムが格納されたコンピュータ読み取り可能な可読記憶媒体を提供することを目的とする。
【課題を解決するための手段】
【００１６】
本発明の立体視用画像生成装置は、データ記憶部内のコンピュータグラフィック生成データから、一つの視点でのコンピュータグラフィック画像の各画素データを生成すると共に、該コンピュータグラフィック画像の各画素に対応付けられる奥行き値を求めるコンピュータグラフィック生成部と、該各画素データおよび該奥行き値を用いて立体視用の複数の画像データを生成する立体視画像生成部とを有する立体視用画像生成装置であって、該コンピュータグラフィック生成部で生成した該各画素データおよび該奥行き値を該データ記憶部に一旦記憶させた後に、立体視画像生成時に、該立体視画像生成部に該各画素データおよび該奥行き値を転送するように制御する制御部を有したものであり、そのことにより上記目的が達成される。
【００１７】
また、好ましくは、本発明の立体視用画像生成装置において、前記コンピュータグラフィック生成データの奥行き値と、前記立体視画像生成部が生成する立体視用の複数の画像データにおける奥行き値とが一致している。
【００１８】
さらに、好ましくは、本発明の立体視用画像生成装置における制御部は、該データ記憶部内のコンピュータグラフィック生成データを前記コンピュータグラフィック生成部に転送するグラフィックデータ転送手段と、該コンピュータグラフィック生成部により生成したコンピュータグラフィック画像の各画素データおよび、該コンピュータグラフィック画像の各画素に対応付けられる奥行き値を該データ記憶部にそれぞれ書き込む画素データ・奥行き値転送手段と、立体視画像生成開始時に、該データ記憶部内の該画素データおよび該奥行き値を前記立体視画像生成部に転送する立体視画像生成制御手段とを有する。
【００１９】
さらに、好ましくは、本発明の立体視用画像生成装置におけるデータ記憶部は、一つの視点データおよび複数の三次元座標データを含むコンピュータグラフィック生成データを記憶する第１データ記憶部と、該コンピュータグラフィック画像の各画素データおよび該各画素に対応付けられる奥行き値を記憶可能とする第２データ記憶部とを有する。
【００２０】
さらに、好ましくは、本発明の立体視用画像生成装置におけるコンピュータグラフィック生成部は、前記データ記憶部に記憶されたコンピュータグラフィック生成データからコンピュータグラフィック画像の各画素データに変換する画素データ変換部と、該コンピュータグラフィック生成データから、コンピュータグラフィック画像の各画素に対する奥行き値を計算する奥行き値計算部とを有する。
【００２１】
さらに、好ましくは、本発明の立体視用画像生成装置における複数の画像データは右目用画像データと左目用画像データからなる視差画像データである。
【００２２】
さらに、好ましくは、本発明の立体視用画像生成装置における第２データ記憶部は、前記奥行き値の有無を示す奥行き値存在可否フラグを記憶しており、前記立体視画像生成部は、処理する各画素に対して、該奥行き値存在可否フラグの情報に基づいて、該奥行き値があると判定された場合、当該奥行き値を用い、該奥行き値がないと判定された場合、該画素を含む一つ以上の画素から得られる情報を元に計算した奥行き値を用いる。
【００２３】
さらに、好ましくは、本発明の立体視用画像生成装置における立体視画像生成部は、前記画素データから一つ以上の画素を読み出して新たな奥行き値を生成する奥行き値生成回部と、前記奥行き値の存在可否フラグが「有」のときに当該奥行き値を出力し、該奥行き値の存在可否フラグが「無」のときに該新たな奥行き値を出力する奥行き値存在可否検出部と、該奥行き値存在可否検出部からの奥行き値に基づいて立体視用の左目および右目画像を生成する左目および右目画像生成部とを有する。
【００２４】
さらに、好ましくは、本発明の立体視用画像生成装置における画素データ変換部と前記奥行き値計算部は、グラフィック・プロセッシング・ユニットにより構成されている。
【００２５】
さらに、好ましくは、本発明の立体視用画像生成装置における第２データ記憶部は、一つのデータ保持機構内の保持領域を分割して利用することにより実現されている。
【００２６】
本発明の立体視用画像生成方法は、制御部が、コンピュータグラフィック生成部に対して画像の描画開始を指示するステップと、該制御部が、データ記憶部内のコンピュータグラフィック生成データを該コンピュータグラフィック生成部に転送するステップと、該コンピュータグラフィック生成部が、該コンピュータグラフィック生成データから、一つの視点でのコンピュータグラフィック画像の各画素データを生成すると共に、該コンピュータグラフィック画像の各画素に対応付けられる奥行き値を求めるコンピュータグラフィック生成ステップと、該制御部が該各画素データおよび該奥行き値を該データ記憶部の所定領域にそれぞれ書き込むように制御するステップと、該制御部が、立体視画像生成時に、データ記憶部に記憶された各画素データおよび奥行き値を立体視画像生成部に転送するステップと、該立体視画像生成部が当該各画素データおよび当該奥行き値を用いて立体視用の複数の画像データを生成する立体視画像生成ステップとを有するものであり、そのことにより上記目的が達成される。
【００２７】
また、好ましくは、本発明の立体視用画像生成方法において、前記コンピュータグラフィック生成データの奥行き値と、前記立体視画像生成部が生成する立体視用の複数の画像データにおける奥行き値とが一致している。
【００２８】
さらに、好ましくは、本発明の立体視用画像生成方法におけるコンピュータグラフィック生成ステップは、画素データ変換部が、前記データ記憶部に記憶されたコンピュータグラフィック生成データからコンピュータグラフィック画像の各画素データに変換する画素データ変換ステップと、奥行き値計算部が、該コンピュータグラフィック生成データから、コンピュータグラフィック画像の各画素に対する奥行き値を計算する奥行き値計算ステップとを有する。
【００２９】
さらに、好ましくは、本発明の立体視用画像生成方法における立体視画像生成ステップにおいて、処理する各画素に対して、前記奥行き値の有無を示す奥行き値存在可否フラグの情報に基づいて、該奥行き値があると判定された場合、当該奥行き値を用い、該奥行き値がないと判定された場合、該画素を含む一つ以上の画素から得られる情報を元に計算した奥行き値を用いる。
【００３０】
さらに、好ましくは、本発明の立体視用画像生成方法における立体視画像生成ステップは、奥行き値生成部が、前記画素データから一つ以上の画素を読み出して新たな奥行き値を生成する奥行き値生成ステップと、奥行き値存在可否検出部が、前記奥行き値の存在可否フラグが「有」のときに当該奥行き値を出力し、該奥行き値の存在可否フラグが「無」のときに該新たな奥行き値を出力する奥行き値存在可否検出ステップと、左目および右目画像生成部が、該奥行き値存在可否検出部からの奥行き値に基づいて立体視用の左目および右目画像を生成する左目および右目画像生成ステップとを有する。
【００３１】
本発明の制御プログラムは、本発明の上記立体視用画像生成方法の各ステップをコンピュータに実行させるための処理手順が記述されたものであり、そのことにより上記目的が達成される。
【００３２】
本発明の可読記憶媒体は、本発明の上記制御プログラムが格納されたコンピュータ読み取り可能なものであり、そのことにより上記目的が達成される。
【００３３】
上記構成により、以下、本発明の作用を説明する。
【００３４】
本発明においては、コンピュータグラフィック生成部で生成した各画素データおよび奥行き値をデータ記憶部に一旦記憶させた後に、立体視画像生成時に、立体視画像生成部に各画素データおよびその奥行き値を転送するように制御する制御部と、これらの各画素データおよび奥行き値を用いて立体視用の複数の画像データを生成する立体視画像生成部とを有している。この場合、コンピュータグラフィック生成データの奥行き値と、立体視画像生成部が生成する立体視用の複数の画像データにおける奥行き値とが一致している。
【００３５】
これによって、コンピュータグラフィック生成部において三次元グラフィックデータ（コンピュータグラフィック生成データ）から生成した各画素データおよび奥行き値を用いて、立体視画像生成部が立体視用の複数（右目用と左目用）の画像データを生成するため、三次元グラフィック処理機構としての立体視画像生成部に高い能力を要求せず、同時に正確な立体感を得ることができる。
【００３６】
また、画像内の三次元コンピュータグラフィックとそれ以外の画像が混在する場合に対しても、より正確な立体感の立体視用の映像を生成することが可能となる。
【発明の効果】
【００３７】
以上により、本発明によれば、コンピュータグラフィック生成部において三次元グラフィックデータ（コンピュータグラフィック生成データ）から生成した各画素データおよび奥行き値を用いて、立体視画像生成部が立体視用の複数（右目用と左目用）の画像データを生成するため、三次元グラフィック処理機構としての立体視画像生成部に高い能力を要求せず、同時に正確な立体感を得ることができる。
【００３８】
また、画像内の三次元コンピュータグラフィックとそれ以外の画像が混在する場合に対しても、より正確な立体感の立体視用の映像を生成することができる。
【図面の簡単な説明】
【００３９】
【図１】本発明に係る立体視用画像生成システムの実施形態１における要部ハード構成例を示すブロック図である。
【図２】本発明に係る立体視用画像生成システムの実施形態２として、図１の立体視画像生成回路の一構成例を示すブロック図である。
【図３】本発明の立体視画像形成装置において、グラフィック・プロセッシング・ユニットが一視点から三次元ＣＧ画像データとを生成した後に、ＣＧ画像と奥行き情報により立体視用の右目用三次元ＣＧ画像と左目用三次元ＣＧ画像とを生成する場合の動作工程図である。
【図４】特許文献１に開示されている従来の立体視画像形成装置のハード構成例を示すブロック図である。
【図５】図４の従来の立体視画像形成装置の動作を説明する場合の動作工程図である。
【図６】従来の立体視画像形成装置において、グラフィック・プロセッシング・ユニットが立体視用の右目用三次元ＣＧ画像と左目用三次元ＣＧ画像とを生成する場合の動作工程図である。
【発明を実施するための形態】
【００４０】
以下に、本発明の立体視画像形成システムの実施形態１、２について図面を参照しながら詳細に説明する。
【００４１】
（実施形態１）
図１は、本発明に係る立体視用画像生成システムの実施形態１における要部ハード構成例を示すブロック図である。
【００４２】
図１において、本実施形態１の立体視用画像生成システム２０は、本実施形態の立体視用画像生成装置１と、立体視用画像生成装置１で生成した立体視用画像データを表示画面上に表示する表示部２１とを有している。
【００４３】
本実施形態の立体視用画像生成装置１は、データおよびワークメモリが記憶されるメモリ２と、ＣＧ生成回路７と、全体の制御を行う制御部としてのＣＰＵ１０（中央演算処理装置）と、立体視画像生成回路１１と、画像出力部１２と、操作部１３とを有しており、これらのメモリ２、ＣＧ生成回路７、ＣＰＵ１０、立体視画像生成回路１１および操作部１３がバス１４に接続されている。
【００４４】
メモリ２は、起動時にＲＯＭ（図示せず）から制御プログラムおよびそのデータなどが読み出されて、ＣＰＵ１０による制御毎にデータを記憶するワークメモリとして働く記憶部（ＲＡＭ）である。メモリ２の第１データ記憶部としての記憶領域に、一つの視点データおよび複数の三次元座標データを含むコンピュータグラフィック生成データ（三次元グラフィックデータ３）を記憶すると共に、プログラムコード６の制御プログラムおよびそのデータを記憶する。また、メモリ２の第２データ記憶部としての記憶領域に、ＣＧ生成回路７で生成されたコンピュータグラフィック画像データの各画素データ４（ＲＧＢデータ）および各画素に対応付けられる奥行き値５を記憶する。
【００４５】
ＣＧ生成回路７は、メモリ２内のコンピュータグラフィック生成データ（三次元グラフィックデータ３）からコンピュータグラフィック画像の各画素データに変換するデータ変換部としての画素計算回路８と、メモリ２内のコンピュータグラフィック生成データ（三次元グラフィックデータ３）から、コンピュータグラフィック画像の各画素に対する奥行き値を計算する奥行き値計算部としての奥行き計算回路９とを有している。
【００４６】
即ち、ＣＧ生成回路７は、ＣＰＵ１０からのグラフィックデータ転送指令に基づいて、メモリ２の三次元グラフィックデータ３（コンピュータグラフィック生成データ）を読み出して、画素計算回路８を用いて一つの視点でのコンピュータグラフィック画像（視覚化された二次元画像）の各画素データ４を生成し、この各画素データ４をメモリ２の第２データ記憶部に書き込む。また、ＣＧ生成回路７は、奥行き計算回路９を用いてコンピュータグラフィック画像の各画素に対応付けられる奥行き値を生成し、この各画素に対応付けられる奥行き値５（奥行き値生成結果）をメモリ２の第２データ記憶部に書き込む。さらに、ＣＧ生成回路７からＣＰＵ１０に、描画の完了を通知する。この描画完了通知の結果、画素データ４の記憶領域（メモリ２）には、一つの視点から見た三次元グラフィック画像の各画素データが格納される。また、奥行き値５の記憶領域（メモリ２）には、画素データ４に格納された各画素に対応する奥行き値が格納される。
【００４７】
ＣＰＵ１０は、メモリ２に格納されたプログラムコードを読み出して、プログラムコードの制御プログラムに基づいて、メモリ２のデータ読み出しおよびデータ書き込みを制御すると共に、ＣＧ生成回路７および立体視画像生成回路１１を制御する。
【００４８】
即ち、ＣＰＵ１０は、メモリ２の第１データ記憶部に記憶されたプログラムコードの制御プログラムに基づいて、ＣＧ生成回路７に画像の描画開始を指示し、メモリ２に格納された三次元グラフィックデータ３（コンピュータグラフィック生成データ）をＣＧ生成回路７に転送するグラフィックデータ転送手段１０Ａと、読み出された三次元グラフィックデータ３（コンピュータグラフィック生成データ）に基づいてＣＧ生成回路７で一つの視点位置を計算したコンピュータグラフィック画像の各画素データおよび、コンピュータグラフィック画像の各画素に対応付けられる奥行き値をメモリ２の各所定格納領域にそれぞれ書き込む画素データ・奥行き値転送手段１０Ｂと、ＣＧ生成回路７からの描画完了の通知をＣＰＵ１０が受けた後に、メモリ２に格納された画素データ４および奥行き値５を立体視画像生成回路１１に転送し、立体視画像生成回路１１に立体視画像生成開始を指示して、画素データ４および奥行き値５を用いて立体視画像（視差画像）を生成する立体視画像生成制御手段１０Ｃとの各機能を実行する。
【００４９】
立体視画像生成回路１１は、各画素データ４および奥行き値５をメモリ２から読み出し、奥行き値５に従って各画素データから立体視用の右目用画像および左目用画像（視差画像）を生成し、生成された各視差画像を画像出力回路１２に出力する。
【００５０】
画像出力回路１２は、右目用画像および左目用画像を電気信号に変換し、二つの画像を表示装置に適する形式の信号として表示部２１に出力する。
【００５１】
操作部１３は、ＣＰＵ１０に対して入力指令を行うためのキーボード、マウス、タッチパネルおよびペン入力装置、さらには通信ネットワーク（例えばインターネットやイントラネット）を介して受信入力する入力装置などである。
【００５２】
ＲＯＭは、ここでは図示していないが、制御プログラムおよびそのデータなどが記憶されたコンピュータ読み出し可能な可読記録媒体であって、具体的には、ハードディスクの他、形態自在な光ディスク、光磁気ディスク、磁気ディスクおよびＩＣメモリなどで構成されていてもよい。この制御プログラムおよびそのデータなどがＲＯＭに記憶されるが、この制御プログラムおよびそのデータは、他の可読記録媒体から、または、無線、有線またはインターネットなどを介してＲＯＭ４にダウンロードされてもよい。
【００５３】
上記構成の立体視用画像生成装置１の動作について説明する。
【００５４】
まず、操作部１３からの立体視用画像生成指令がＣＰＵ１０に入力され、ＣＰＵ１０は、メモリ２に格納されたプログラムコードを読み出して、プログラムコードの制御プログラムおよびそのデータに基づいて、ＣＧ生成回路７に画像の描画開始を指示する。
【００５５】
次に、ＣＰＵ１０は、プログラムコードの制御プログラムに基づいて、グラフィックデータ転送手段１０Ａによりメモリ２に格納された三次元グラフィックデータ３（コンピュータグラフィック生成データ）をＣＧ生成回路７に転送する。
【００５６】
続いて、ＣＰＵ１０は、プログラムコードの制御プログラムに基づいて、画素データ・奥行き値転送手段１０Ｂにより、読み出された三次元グラフィックデータ３（コンピュータグラフィック生成データ）からＣＧ生成回路７で一つの視点位置を計算した各画素データおよび奥行き値をメモリ２の各所定格納領域にそれぞれ書き込むように制御する。
【００５７】
さらに、ＣＰＵ１０は、ＣＧ生成回路７からの描画完了の通知をＣＰＵ１０が受けた後に、プログラムコードの制御プログラムに基づいて、立体視画像生成制御手段１０Ｃにより、メモリ２に格納された各画素データ４および奥行き値５を立体視画像生成回路１１に転送すると共に立体視画像生成回路１１に立体視画像生成開始を指示して、画素データ４および奥行き値５を用いて立体視画像を生成する。
【００５８】
このように、本実施形態１の立体視用画像生成方法は、ＣＰＵ１０が、コンピュータグラフィック生成部としてのＣＧ生成回路７に対して画像の描画開始を指示するステップと、ＣＰＵ１０が、データ記憶部としてのメモリ２内の三次元グラフィックデータ３（コンピュータグラフィック生成データ）をＣＧ生成回路７に転送するステップと、ＣＧ生成回路７が、三次元グラフィックデータ３（コンピュータグラフィック生成データ）から、一つの視点でのコンピュータグラフィック画像の各画素データを生成すると共に、コンピュータグラフィック画像の各画素に対応付けられる奥行き値を求めるコンピュータグラフィック生成ステップと、ＣＰＵ１０が、該ＣＧ生成回路７で生成した各画素データおよび奥行き値をメモリ２の所定領域にそれぞれ書き込むように制御するステップと、ＣＰＵ１０が、立体視画像生成時に、メモリ２に記憶された各画素データおよび奥行き値を立体視画像生成回路１１に転送するステップと、立体視画像生成回路１１が各画素データおよび奥行き値を用いて立体視用の複数の画像データ（右目用画像データと左目用画像データ）を生成する立体視画像生成ステップとを有している。これを１フレーム毎に繰り返して動画像を生成して表示部２１の表示画面上に表示する。
【００５９】
以上により、本実施形態１において、図３に示すように、一枚の画像から、立体視用の複数の画像データ（右目用画像データと左目用画像データ）を生成する視差画像生成機能としての立体視画像生成回路１１と、ＧＰＵからなるコンピュータグラフィック生成部としてのＣＧ生成回路７に対し、ＧＰＵが生成した一つの視点からの画像および、ＧＰＵの三次元ＣＧ生成処理の過程で計算された各画素に対する奥行き情報（Ｚバッファ値）を、視差画像生成機能としての立体視画像生成回路１１に渡して、立体視画像生成回路１１が立体視用の複数の画像を生成する制御を行っている。このとき、従来において、視差画像生成機能は、グラフィック・プロセッシング・ユニットＧＰＵが生成し三次元画像のグレースケール値に基づいて奥行き値（Ｚ値）を計算しているため、視差画像生成機能が生成する奥行き値（Ｚ値）が、三次元ＣＧデータの期待する奥行き値と一致しなかったが、本実施形態１では、三次元グラフィックデータ３（コンピュータグラフィック生成データ）の奥行き値と、視差画像生成機能としての立体視画像生成回路１１が生成する立体視用の複数の画像データ（右目用画像データと左目用画像データ）における奥行き値とが同じ奥行き値で互いに一致するため、立体視画像としてより正確な奥行き値を持った立体感を得ることができる。
【００６０】
したがって、本実施形態１によれば、ＣＧ生成回路７において三次元グラフィックデータ３（コンピュータグラフィック生成データ）から生成した各画素データおよび奥行き値を用いて、立体視画像生成回路１１が立体視用の複数（右目用と左目用）の画像データを生成するため、従来のように三次元グラフィック処理機構としての立体視画像生成回路１１に高い能力を要求せず、立体視画像として正確な立体感を得ることができる。
【００６１】
（実施形態２）
本実施形態２では、１枚の画像（１フレームの画像）の中に奥行き値がある画像（三次元グラフィックデータ３の部分）と奥行き値がない画像（背景画像など、動かない画像の他に動く画像も想定される）とが混在している場合について説明する。
【００６２】
図２は、本発明に係る立体視用画像生成システムの実施形態２として、図１の立体視画像生成回路１１の一構成例を示すブロック図である。
【００６３】
なお、本実施形態２においても図１の構成を用いる。即ち、図１において、本実施形態２の立体視用画像生成システム２０Ａは、本実施形態の立体視用画像生成装置１Ａと、立体視用画像生成装置１Ａで生成した立体視用画像データを表示画面上に表示する表示部２１とを有している。本実施形態２の立体視用画像生成装置１Ａは、データおよびワークメモリが記憶されるメモリ２と、ＣＧ生成回路７と、全体の制御を行う制御部としてのＣＰＵ１０（中央演算処理装置）と、立体視画像生成回路１１Ｄと、画像出力部１２と、操作部１３とを有しており、これらのメモリ２、ＣＧ生成回路７、ＣＰＵ１０、立体視画像生成回路１１Ｄおよび操作部１３がバス１４に接続されている。
【００６４】
図２において、本実施形態２の立体視画像生成回路１１Ｄは、奥行き値５の存在可否フラグ５Ａが「有」のときに奥行き値５を出力し、奥行き値５の存在可否フラグ５Ａが「無」のときに奥行き値生成回路１１Ｂからの奥行き値を出力する奥行き値存在可否検出回路１１Ａと、画素データ４から一つ以上の画素を読み出して奥行き値を生成する奥行き値生成回路１１Ｂと、奥行き値存在可否検出回路１１Ａからの奥行き値に基づいて立体視用の左目・右目画像を生成する左目・右目画像生成回路１１Ｃとを有している。なお、上記実施形態１では、これらの奥行き値存在可否検出回路１１Ａおよび奥行き値生成回路１１Ｂがない。
【００６５】
即ち、本実施形態２の立体視画像生成回路１１Ｄは、処理する各画素に対して、奥行き値の有無を示す存在可否フラグ５Ａの情報に基づいて、その処理画素に奥行き値がない場合、その処理画素を含む一つ以上の画素から得られる情報を元に計算した奥行き値を、奥行き値５の代わりに用い、また、その処理画素に奥行き値がある場合、奥行き値５を用いて、各画素データから立体視用の複数の視差画像データを生成する。
【００６６】
ここで、上記図２の立体視画像生成回路１１Ｄの動作について説明する。
【００６７】
まず、奥行き値生成回路１１Ｂは、画素データ４から一つ以上の画素を読み出し、奥行き値を生成し、その奥行き値を奥行き値存在可否判断回路１１Ａに出力する。
次に、奥行き値存在可否検出回路１１Ａは、奥行き値５から読み出した一つの奥行き値と奥行き値生成回路１１Ｂからの出力とを受け取る。奥行き値の中に存在可否フラグ５Ａがあり、奥行き値存在可否検出回路１１Ａは、この存在可否フラグ５Ａから奥行き値が存在すると検出した場合は、奥行き値５から読み出した奥行き値を左目・右目画像生成回路１１Ｃに出力する。また、奥行き値存在可否検出回路１１Ａは、奥行き値の中に存在可否フラグ５Ａから、奥行き値が存在しないと検出した場合には、奥行き値生成回路１１Ｂからの奥行き値を出力する。
その後、右目・左目画像生成回路１１Ｃは、奥行き値存在可否検出回路１１Ａからの奥行き値を受け取り、画素データ４からの各画素データを読み取って、立体視用の右目画像および左目画像を生成する。
【００６８】
以上により、本実施形態２においても、図３に示すように、一枚の画像（１フレーム画像）から、立体視用の複数の画像データ（右目用画像データと左目用画像データ）を生成する視差画像生成機能としての立体視画像生成回路１１Ｄと、ＧＰＵからなるコンピュータグラフィック生成部としてのＣＧ生成回路７に対し、ＧＰＵが生成した一つの視点からの画像（二次元画像）の各画素データおよび、ＧＰＵの三次元ＣＧデータからの二次元画像生成処理の過程で計算された各画素に対する奥行き情報（Ｚバッファ値）を、視差画像生成機能としての立体視画像生成回路１１Ｄに渡して、立体視画像生成回路１１Ｄが立体視用の複数の視差画像を生成する制御を行っている。
【００６９】
したがって、本実施形態２によれば、ＣＧ生成回路７において、一枚の三次元コンピュータグラフィックデータ３から、視覚化された二次元画像の各画素データを生成する際に計算した奥行き値を、一枚の画像（１フレーム画像）から立体視用の複数の視差画像データ（右目用画像データと左目用画像データ）を生成する視差画像生成機能としての立体視画像生成回路１１Ｄに渡すことにより、立体視画像生成回路１１Ｄにおいて、三次元コンピュータグラフィックデータ３から、視覚化された二次元画像の各画素データを生成するＣＧ生成回路７による生成処理を削減しつつ、三次元グラフィックデータ３（コンピュータグラフィック生成データ）の奥行き値と、立体視画像生成回路１１Ｄが生成する立体視用の複数の画像データ（右目用画像データと左目用画像データ）における奥行き値とを一致させて、正確な立体視用の画像を生成する立体視用画像生成機構を構成することができる。また、この場合、特に、画像内の三次元コンピュータグラフィックデータ３とそれ以外の画像（例えば背景画像）とが1フレーム画像に混在する場合であっても、より正確な立体感の立体視用の映像を生成することができる。
【００７０】
なお、本実施形態１、２では、特に説明しなかったが、メモリ２内の三次元グラフィックデータ３から、一つの視点でのコンピュータグラフィック画像の各画素データを生成すると共に、メモリ２内の三次元グラフィックデータ３から、コンピュータグラフィック画像の各画素に対応付けられる奥行き値を求めるＣＧ生成回路７と、各画素データおよび奥行き値を用いて立体視用の複数の画像データを生成する立体視画像生成回路１１とを有する立体視用画像生成装置１または１Ａであって、ＣＧ生成回路７で生成した各画素データおよび奥行き値をメモリ２に一旦記憶させた後に、立体視画像生成時に、立体視画像生成回路１１に各画素データおよび奥行き値を転送するように制御するＣＰＵ１０を有することにより、三次元グラフィック処理機構に高い能力を要求せず、同時に正確な立体感を得ることができる本発明の目的を達成することができる。
【００７１】
なお、本実施形態１、２では、制御部１０（ＣＰＵ）が、例えば、立体視画像生成時に、データ記憶部に記憶された各画素データおよび奥行き値を立体視画像生成部に転送する構成としたが、これに限らず、制御部が、制御部１０（ＣＰＵ）の他に、コンピュータグラフィック生成部としてのＣＧ生成回路７の制御部や立体視画像生成部としての立体視画像生成回路１１または１１Ｄの制御部を含んでいてもよい。要するに、この制御部の動作を、制御部１０（ＣＰＵ）が行ってもよいのはもちろんのこと、この制御部の動作をコンピュータグラフィック生成部としてのＣＧ生成回路７の制御部が行ってもよく、この制御部の動作を立体視画像生成部としての立体視画像生成回路１１または１１Ｄの制御部が行ってもよい。即ち、制御部１０（ＣＰＵ）、コンピュータグラフィック生成部および立体視画像生成部のうちの少なくともいずれかの制御部が、例えば、立体視画像生成時に、データ記憶部に記憶された各画素データおよび奥行き値を立体視画像生成部（立体視画像生成機構）に転送するように制御してもよい。
【００７２】
以上のように、本発明の好ましい実施形態１、２を用いて本発明を例示してきたが、本発明は、この実施形態１、２に限定して解釈されるべきものではない。本発明は、特許請求の範囲によってのみその範囲が解釈されるべきであることが理解される。当業者は、本発明の具体的な好ましい実施形態１、２の記載から、本発明の記載および技術常識に基づいて等価な範囲を実施することができることが理解される。本明細書において引用した特許、特許出願および文献は、その内容自体が具体的に本明細書に記載されているのと同様にその内容が本明細書に対する参考として援用されるべきであることが理解される。
【産業上の利用可能性】
【００７３】
本発明は、立体視向けの三次元コンピュータグラフィックを生成する立体視用画像生成装置およびこれを用いた立体視用画像生成方法、この立体視用画像生成方法の各ステップをコンピュータに実行させるための制御プログラム、この制御プログラムが格納されたコンピュータ読み取り可能な可読記憶媒体の分野において、コンピュータグラフィック生成部において三次元グラフィックデータ（コンピュータグラフィック生成データ）から生成した各画素データおよび奥行き値を用いて、立体視画像生成部が立体視用の複数（右目用と左目用）の画像データを生成するため、三次元グラフィック処理機構としての立体視画像生成部に高い能力を要求せず、同時に正確な立体感を得ることができる。
【符号の説明】
【００７４】
１、１Ａ 立体視用画像生成装置
２ メモリ（データ記憶部）
３ 三次元グラフィックデータ（コンピュータグラフィック生成データ）
４ 画素データ
５ 奥行き値（奥行き情報）
５Ａ 存在可否フラグ
６ プログラムコード（制御プログラムおよびそのデータ）
７ ＣＧ生成回路（コンピュータグラフィック生成部）
８ 画素計算回路
９ 奥行き計算回路
１０ ＣＰＵ（制御部）
１０Ａ グラフィックデータ転送手段
１０Ｂ 画素データ・奥行き値転送手段
１０Ｃ 立体視画像生成制御手段
１１，１１Ｄ 立体視画像生成回路（立体視画像生成部）
１１Ａ 奥行き値存在可否検出回路
１１Ｂ 奥行き値生成回路
１１Ｃ 左目・右目画像生成回路
１２ 画像出力部
１３ 操作部
１４ バス
２０，２０Ａ 立体視用画像生成システム
２１ 表示部
【技術分野】
【０００１】
本発明は、立体視向けの三次元コンピュータグラフィックを生成する立体視用画像生成装置およびこれを用いた立体視用画像生成方法、この立体視用画像生成方法の各ステップをコンピュータに実行させるための制御プログラム、この制御プログラムが格納されたコンピュータ読み取り可能な可読記憶媒体に関する。
【背景技術】
【０００２】
この種の従来の立体視用画像生成システムにおいて、立体視は、右目視点での映像と、左目視点での映像それぞれを、右目と左目とに個別に提示することにより、人間にその映像を現実的な立体として感じさせる仕組みである。これらの右目視点および左目視点の映像は、実写の場合、例えば右目と左目の間隔に相当する一定の距離を置いた二つの視点から、同時に被写体対象を撮影することにより作成することができる。
コンピュータを用いて右目視点および左目視点の映像を作成する場合、コンピュータ内に構成した三次元空間を、右目視点および左目視点を模した二つの視点から見て、それぞれの結果をコンピュータグラフィック化（レンダリング）することにより作成することができる。
【０００３】
一方で、映像を構成する画素の特徴に着目して、一枚の映像から立体視に適した右目用と左目用の映像を生成する機構が発明されている。例えば、特許文献１には、原画像の各画素の色成分から奥行き値を計算し、その奥行き値から、右目用の映像および左目用の映像をそれぞれ生成する立体視画像作成方法が開示されている。これを図４に示している。
【０００４】
図４は、特許文献１に開示されている従来の立体視画像形成装置のハード構成例を示すブロック図である。
【０００５】
図４に示すように、制御部としてのＣＰＵ（中央処理装置）１０１は、従来の立体視画像形成装置１００の各部の動作を制御し、立体視用画像データ作成処理などの各種処理を実行する。ＲＯＭ（リード・オンリ・メモリ）１０２は、起動時などに実行されるプログラムや参照データなどを格納する。ＲＡＭ（ランダム・アクセス・メモリ）１０３は、ＣＰＵ１０１のワークエリアなどを実現するためのものである。
【０００６】
キャラクタジェネレータ１０４は、図形文字の表示データ（フォントデータ）を発生する。時計回路１０５は現在時刻を出力する。インタフェース１０６は、立体視画像形成装置１００をインターネットＩＮＥＴに接続するためのものである。伝送制御部１０７は、インタフェース１０６を介してインターネットＩＮＥＴに接続された端末装置との間でデータの授受を行う。
【０００７】
磁気ディスク装置１０８は、立体視画像形成装置１００で実行される各種処理やオペレーティングシステムなどのプログラムデータを記憶すると共に、各種処理により作成される各種データなどを記憶する記憶装置である。ＣＤ−ＲＯＭドライブ１０９は、ＣＤ−ＲＯＭ１１０に記憶されている画像データを読み出すためのものである。表示部１１１は、例えばＣＲＴやＬＣＤなどであり、表示制御部１１２の制御の下、その表示画面上に画像を表示する。
【０００８】
キーボード１１３はフルキー配列のキーボードであり、ユーザはキーボード１１３を用いて指示内容を入力する。画面指示装置１１４は、タッチパネルなどの入力デバイスであり、ユーザはタッチパネルを押圧することにより各種指示内容を入力することができる。入力制御部１１５は、キーボード１１３および画面指示装置１１４から入力された各指示内容を取り込み。ＣＰＵ１０１に出力する。
【０００９】
これらのＣＰＵ１０１、ＲＯＭ１０２、ＲＡＭ１０３、キャラクタジェネレータ１０４、時計回路１０５、伝送制御部１０７、磁気ディスク装置１０８、ＣＤ−ＲＯＭドライブ１０９、表示制御部１１２および入力制御部１１５は、内部バス１１６に接続されている。これらの各種要素間のデータのやりとりは、この内部バス１１６を介して行われる。
【００１０】
立体視用画像データを作成するに当たり、ＣＰＵ１０１によって、例えばＲＯＭ１０２内の立体視画像表示用のアプリケーションが実行される。
【００１１】
これによって、立体視画像形成装置１００では、図５に示すように、まず、三次元グラフィック処理機構であるグラフィック・プロセッシング・ユニットＧＰＵが、一枚の三次元ＣＧ（コンピュータグラフィック）データから三次元ＣＧ画像を生成する。次に、視差画像生成機能が、グラフィック・プロセッシング・ユニットＧＰＵが生成した三次元ＣＧ画像のグレースケール値に基づいて奥行き値（Ｚ値）を算出する。このＺ値に対して、逆転判定処理、平滑化処理、分布補正処理および局所補正処理などを施す。この求めたＺ値に基づいて視差を決定し、この決定した視差に応じた分だけ、各画素を移動させる処理を行うことにより、左目画像と右目画像の視差画像の立体視画像データを生成する。
【先行技術文献】
【特許文献】
【００１２】
【特許文献１】国際公開第２００４／０１９６２１号パンフレット
【発明の概要】
【発明が解決しようとする課題】
【００１３】
しかしながら、上記特許文献１に開示されている従来の立体視画像形成装置１００では、一枚の三次元ＣＧデータから立体視に適した三次元画像データを生成する際に、視差画像生成機能は、グラフィック・プロセッシング・ユニットＧＰＵが生成し三次元画像のグレースケール値に基づいて奥行き値（Ｚ値）を計算するため、その視差画像生成機能が生成する奥行き値（Ｚ値）が、三次元ＣＧデータの期待する奥行き値と一致しないことがあった。この結果として、立体映像として人間の両眼に提示されたとき、正確な立体感を得ることができなかった。また、一枚の映像の中で、コンピュータグラフィックの領域（例えばキャラクタ領域）と、そうでない領域（例えば背景領域）での奥行き値を個別に扱うことができなかった。
【００１４】
この他、図６に示すように、グラフィック・プロセッシング・ユニットＧＰＵが、三次元ＣＧデータから、立体視用の右目用二次元ＣＧ画像と左目用二次元ＣＧ画像とを生成する場合に、右目と左目それぞれの視点から見たグラフィックを生成する必要がある。一組の立体視用の画像（右目画像と左目画像）を作成するためには、グラフィック・プロセッシング・ユニットＧＰＵが、三次元グラフィック処理を二回実施する必要がある。これは、リアルタイム表示のために、複雑な三次元グラフィックから二次元グラフィックにリアルタイムに生成する必要がある場合には、グラフィック・プロセッシング・ユニットＧＰＵに高い処理能力を要求しなければならなかった。
【００１５】
本発明は、上記従来の問題を解決するもので、三次元グラフィック処理機構に高い能力を要求せず、同時に正確な立体感を得ることができる立体視用画像生成装置およびこれを用いた立体視用画像生成方法、この立体視用画像生成方法の各ステップをコンピュータに実行させるための制御プログラム、この制御プログラムが格納されたコンピュータ読み取り可能な可読記憶媒体を提供することを目的とする。
【課題を解決するための手段】
【００１６】
本発明の立体視用画像生成装置は、データ記憶部内のコンピュータグラフィック生成データから、一つの視点でのコンピュータグラフィック画像の各画素データを生成すると共に、該コンピュータグラフィック画像の各画素に対応付けられる奥行き値を求めるコンピュータグラフィック生成部と、該各画素データおよび該奥行き値を用いて立体視用の複数の画像データを生成する立体視画像生成部とを有する立体視用画像生成装置であって、該コンピュータグラフィック生成部で生成した該各画素データおよび該奥行き値を該データ記憶部に一旦記憶させた後に、立体視画像生成時に、該立体視画像生成部に該各画素データおよび該奥行き値を転送するように制御する制御部を有したものであり、そのことにより上記目的が達成される。
【００１７】
また、好ましくは、本発明の立体視用画像生成装置において、前記コンピュータグラフィック生成データの奥行き値と、前記立体視画像生成部が生成する立体視用の複数の画像データにおける奥行き値とが一致している。
【００１８】
さらに、好ましくは、本発明の立体視用画像生成装置における制御部は、該データ記憶部内のコンピュータグラフィック生成データを前記コンピュータグラフィック生成部に転送するグラフィックデータ転送手段と、該コンピュータグラフィック生成部により生成したコンピュータグラフィック画像の各画素データおよび、該コンピュータグラフィック画像の各画素に対応付けられる奥行き値を該データ記憶部にそれぞれ書き込む画素データ・奥行き値転送手段と、立体視画像生成開始時に、該データ記憶部内の該画素データおよび該奥行き値を前記立体視画像生成部に転送する立体視画像生成制御手段とを有する。
【００１９】
さらに、好ましくは、本発明の立体視用画像生成装置におけるデータ記憶部は、一つの視点データおよび複数の三次元座標データを含むコンピュータグラフィック生成データを記憶する第１データ記憶部と、該コンピュータグラフィック画像の各画素データおよび該各画素に対応付けられる奥行き値を記憶可能とする第２データ記憶部とを有する。
【００２０】
さらに、好ましくは、本発明の立体視用画像生成装置におけるコンピュータグラフィック生成部は、前記データ記憶部に記憶されたコンピュータグラフィック生成データからコンピュータグラフィック画像の各画素データに変換する画素データ変換部と、該コンピュータグラフィック生成データから、コンピュータグラフィック画像の各画素に対する奥行き値を計算する奥行き値計算部とを有する。
【００２１】
さらに、好ましくは、本発明の立体視用画像生成装置における複数の画像データは右目用画像データと左目用画像データからなる視差画像データである。
【００２２】
さらに、好ましくは、本発明の立体視用画像生成装置における第２データ記憶部は、前記奥行き値の有無を示す奥行き値存在可否フラグを記憶しており、前記立体視画像生成部は、処理する各画素に対して、該奥行き値存在可否フラグの情報に基づいて、該奥行き値があると判定された場合、当該奥行き値を用い、該奥行き値がないと判定された場合、該画素を含む一つ以上の画素から得られる情報を元に計算した奥行き値を用いる。
【００２３】
さらに、好ましくは、本発明の立体視用画像生成装置における立体視画像生成部は、前記画素データから一つ以上の画素を読み出して新たな奥行き値を生成する奥行き値生成回部と、前記奥行き値の存在可否フラグが「有」のときに当該奥行き値を出力し、該奥行き値の存在可否フラグが「無」のときに該新たな奥行き値を出力する奥行き値存在可否検出部と、該奥行き値存在可否検出部からの奥行き値に基づいて立体視用の左目および右目画像を生成する左目および右目画像生成部とを有する。
【００２４】
さらに、好ましくは、本発明の立体視用画像生成装置における画素データ変換部と前記奥行き値計算部は、グラフィック・プロセッシング・ユニットにより構成されている。
【００２５】
さらに、好ましくは、本発明の立体視用画像生成装置における第２データ記憶部は、一つのデータ保持機構内の保持領域を分割して利用することにより実現されている。
【００２６】
本発明の立体視用画像生成方法は、制御部が、コンピュータグラフィック生成部に対して画像の描画開始を指示するステップと、該制御部が、データ記憶部内のコンピュータグラフィック生成データを該コンピュータグラフィック生成部に転送するステップと、該コンピュータグラフィック生成部が、該コンピュータグラフィック生成データから、一つの視点でのコンピュータグラフィック画像の各画素データを生成すると共に、該コンピュータグラフィック画像の各画素に対応付けられる奥行き値を求めるコンピュータグラフィック生成ステップと、該制御部が該各画素データおよび該奥行き値を該データ記憶部の所定領域にそれぞれ書き込むように制御するステップと、該制御部が、立体視画像生成時に、データ記憶部に記憶された各画素データおよび奥行き値を立体視画像生成部に転送するステップと、該立体視画像生成部が当該各画素データおよび当該奥行き値を用いて立体視用の複数の画像データを生成する立体視画像生成ステップとを有するものであり、そのことにより上記目的が達成される。
【００２７】
また、好ましくは、本発明の立体視用画像生成方法において、前記コンピュータグラフィック生成データの奥行き値と、前記立体視画像生成部が生成する立体視用の複数の画像データにおける奥行き値とが一致している。
【００２８】
さらに、好ましくは、本発明の立体視用画像生成方法におけるコンピュータグラフィック生成ステップは、画素データ変換部が、前記データ記憶部に記憶されたコンピュータグラフィック生成データからコンピュータグラフィック画像の各画素データに変換する画素データ変換ステップと、奥行き値計算部が、該コンピュータグラフィック生成データから、コンピュータグラフィック画像の各画素に対する奥行き値を計算する奥行き値計算ステップとを有する。
【００２９】
さらに、好ましくは、本発明の立体視用画像生成方法における立体視画像生成ステップにおいて、処理する各画素に対して、前記奥行き値の有無を示す奥行き値存在可否フラグの情報に基づいて、該奥行き値があると判定された場合、当該奥行き値を用い、該奥行き値がないと判定された場合、該画素を含む一つ以上の画素から得られる情報を元に計算した奥行き値を用いる。
【００３０】
さらに、好ましくは、本発明の立体視用画像生成方法における立体視画像生成ステップは、奥行き値生成部が、前記画素データから一つ以上の画素を読み出して新たな奥行き値を生成する奥行き値生成ステップと、奥行き値存在可否検出部が、前記奥行き値の存在可否フラグが「有」のときに当該奥行き値を出力し、該奥行き値の存在可否フラグが「無」のときに該新たな奥行き値を出力する奥行き値存在可否検出ステップと、左目および右目画像生成部が、該奥行き値存在可否検出部からの奥行き値に基づいて立体視用の左目および右目画像を生成する左目および右目画像生成ステップとを有する。
【００３１】
本発明の制御プログラムは、本発明の上記立体視用画像生成方法の各ステップをコンピュータに実行させるための処理手順が記述されたものであり、そのことにより上記目的が達成される。
【００３２】
本発明の可読記憶媒体は、本発明の上記制御プログラムが格納されたコンピュータ読み取り可能なものであり、そのことにより上記目的が達成される。
【００３３】
上記構成により、以下、本発明の作用を説明する。
【００３４】
本発明においては、コンピュータグラフィック生成部で生成した各画素データおよび奥行き値をデータ記憶部に一旦記憶させた後に、立体視画像生成時に、立体視画像生成部に各画素データおよびその奥行き値を転送するように制御する制御部と、これらの各画素データおよび奥行き値を用いて立体視用の複数の画像データを生成する立体視画像生成部とを有している。この場合、コンピュータグラフィック生成データの奥行き値と、立体視画像生成部が生成する立体視用の複数の画像データにおける奥行き値とが一致している。
【００３５】
これによって、コンピュータグラフィック生成部において三次元グラフィックデータ（コンピュータグラフィック生成データ）から生成した各画素データおよび奥行き値を用いて、立体視画像生成部が立体視用の複数（右目用と左目用）の画像データを生成するため、三次元グラフィック処理機構としての立体視画像生成部に高い能力を要求せず、同時に正確な立体感を得ることができる。
【００３６】
また、画像内の三次元コンピュータグラフィックとそれ以外の画像が混在する場合に対しても、より正確な立体感の立体視用の映像を生成することが可能となる。
【発明の効果】
【００３７】
以上により、本発明によれば、コンピュータグラフィック生成部において三次元グラフィックデータ（コンピュータグラフィック生成データ）から生成した各画素データおよび奥行き値を用いて、立体視画像生成部が立体視用の複数（右目用と左目用）の画像データを生成するため、三次元グラフィック処理機構としての立体視画像生成部に高い能力を要求せず、同時に正確な立体感を得ることができる。
【００３８】
また、画像内の三次元コンピュータグラフィックとそれ以外の画像が混在する場合に対しても、より正確な立体感の立体視用の映像を生成することができる。
【図面の簡単な説明】
【００３９】
【図１】本発明に係る立体視用画像生成システムの実施形態１における要部ハード構成例を示すブロック図である。
【図２】本発明に係る立体視用画像生成システムの実施形態２として、図１の立体視画像生成回路の一構成例を示すブロック図である。
【図３】本発明の立体視画像形成装置において、グラフィック・プロセッシング・ユニットが一視点から三次元ＣＧ画像データとを生成した後に、ＣＧ画像と奥行き情報により立体視用の右目用三次元ＣＧ画像と左目用三次元ＣＧ画像とを生成する場合の動作工程図である。
【図４】特許文献１に開示されている従来の立体視画像形成装置のハード構成例を示すブロック図である。
【図５】図４の従来の立体視画像形成装置の動作を説明する場合の動作工程図である。
【図６】従来の立体視画像形成装置において、グラフィック・プロセッシング・ユニットが立体視用の右目用三次元ＣＧ画像と左目用三次元ＣＧ画像とを生成する場合の動作工程図である。
【発明を実施するための形態】
【００４０】
以下に、本発明の立体視画像形成システムの実施形態１、２について図面を参照しながら詳細に説明する。
【００４１】
（実施形態１）
図１は、本発明に係る立体視用画像生成システムの実施形態１における要部ハード構成例を示すブロック図である。
【００４２】
図１において、本実施形態１の立体視用画像生成システム２０は、本実施形態の立体視用画像生成装置１と、立体視用画像生成装置１で生成した立体視用画像データを表示画面上に表示する表示部２１とを有している。
【００４３】
本実施形態の立体視用画像生成装置１は、データおよびワークメモリが記憶されるメモリ２と、ＣＧ生成回路７と、全体の制御を行う制御部としてのＣＰＵ１０（中央演算処理装置）と、立体視画像生成回路１１と、画像出力部１２と、操作部１３とを有しており、これらのメモリ２、ＣＧ生成回路７、ＣＰＵ１０、立体視画像生成回路１１および操作部１３がバス１４に接続されている。
【００４４】
メモリ２は、起動時にＲＯＭ（図示せず）から制御プログラムおよびそのデータなどが読み出されて、ＣＰＵ１０による制御毎にデータを記憶するワークメモリとして働く記憶部（ＲＡＭ）である。メモリ２の第１データ記憶部としての記憶領域に、一つの視点データおよび複数の三次元座標データを含むコンピュータグラフィック生成データ（三次元グラフィックデータ３）を記憶すると共に、プログラムコード６の制御プログラムおよびそのデータを記憶する。また、メモリ２の第２データ記憶部としての記憶領域に、ＣＧ生成回路７で生成されたコンピュータグラフィック画像データの各画素データ４（ＲＧＢデータ）および各画素に対応付けられる奥行き値５を記憶する。
【００４５】
ＣＧ生成回路７は、メモリ２内のコンピュータグラフィック生成データ（三次元グラフィックデータ３）からコンピュータグラフィック画像の各画素データに変換するデータ変換部としての画素計算回路８と、メモリ２内のコンピュータグラフィック生成データ（三次元グラフィックデータ３）から、コンピュータグラフィック画像の各画素に対する奥行き値を計算する奥行き値計算部としての奥行き計算回路９とを有している。
【００４６】
即ち、ＣＧ生成回路７は、ＣＰＵ１０からのグラフィックデータ転送指令に基づいて、メモリ２の三次元グラフィックデータ３（コンピュータグラフィック生成データ）を読み出して、画素計算回路８を用いて一つの視点でのコンピュータグラフィック画像（視覚化された二次元画像）の各画素データ４を生成し、この各画素データ４をメモリ２の第２データ記憶部に書き込む。また、ＣＧ生成回路７は、奥行き計算回路９を用いてコンピュータグラフィック画像の各画素に対応付けられる奥行き値を生成し、この各画素に対応付けられる奥行き値５（奥行き値生成結果）をメモリ２の第２データ記憶部に書き込む。さらに、ＣＧ生成回路７からＣＰＵ１０に、描画の完了を通知する。この描画完了通知の結果、画素データ４の記憶領域（メモリ２）には、一つの視点から見た三次元グラフィック画像の各画素データが格納される。また、奥行き値５の記憶領域（メモリ２）には、画素データ４に格納された各画素に対応する奥行き値が格納される。
【００４７】
ＣＰＵ１０は、メモリ２に格納されたプログラムコードを読み出して、プログラムコードの制御プログラムに基づいて、メモリ２のデータ読み出しおよびデータ書き込みを制御すると共に、ＣＧ生成回路７および立体視画像生成回路１１を制御する。
【００４８】
即ち、ＣＰＵ１０は、メモリ２の第１データ記憶部に記憶されたプログラムコードの制御プログラムに基づいて、ＣＧ生成回路７に画像の描画開始を指示し、メモリ２に格納された三次元グラフィックデータ３（コンピュータグラフィック生成データ）をＣＧ生成回路７に転送するグラフィックデータ転送手段１０Ａと、読み出された三次元グラフィックデータ３（コンピュータグラフィック生成データ）に基づいてＣＧ生成回路７で一つの視点位置を計算したコンピュータグラフィック画像の各画素データおよび、コンピュータグラフィック画像の各画素に対応付けられる奥行き値をメモリ２の各所定格納領域にそれぞれ書き込む画素データ・奥行き値転送手段１０Ｂと、ＣＧ生成回路７からの描画完了の通知をＣＰＵ１０が受けた後に、メモリ２に格納された画素データ４および奥行き値５を立体視画像生成回路１１に転送し、立体視画像生成回路１１に立体視画像生成開始を指示して、画素データ４および奥行き値５を用いて立体視画像（視差画像）を生成する立体視画像生成制御手段１０Ｃとの各機能を実行する。
【００４９】
立体視画像生成回路１１は、各画素データ４および奥行き値５をメモリ２から読み出し、奥行き値５に従って各画素データから立体視用の右目用画像および左目用画像（視差画像）を生成し、生成された各視差画像を画像出力回路１２に出力する。
【００５０】
画像出力回路１２は、右目用画像および左目用画像を電気信号に変換し、二つの画像を表示装置に適する形式の信号として表示部２１に出力する。
【００５１】
操作部１３は、ＣＰＵ１０に対して入力指令を行うためのキーボード、マウス、タッチパネルおよびペン入力装置、さらには通信ネットワーク（例えばインターネットやイントラネット）を介して受信入力する入力装置などである。
【００５２】
ＲＯＭは、ここでは図示していないが、制御プログラムおよびそのデータなどが記憶されたコンピュータ読み出し可能な可読記録媒体であって、具体的には、ハードディスクの他、形態自在な光ディスク、光磁気ディスク、磁気ディスクおよびＩＣメモリなどで構成されていてもよい。この制御プログラムおよびそのデータなどがＲＯＭに記憶されるが、この制御プログラムおよびそのデータは、他の可読記録媒体から、または、無線、有線またはインターネットなどを介してＲＯＭ４にダウンロードされてもよい。
【００５３】
上記構成の立体視用画像生成装置１の動作について説明する。
【００５４】
まず、操作部１３からの立体視用画像生成指令がＣＰＵ１０に入力され、ＣＰＵ１０は、メモリ２に格納されたプログラムコードを読み出して、プログラムコードの制御プログラムおよびそのデータに基づいて、ＣＧ生成回路７に画像の描画開始を指示する。
【００５５】
次に、ＣＰＵ１０は、プログラムコードの制御プログラムに基づいて、グラフィックデータ転送手段１０Ａによりメモリ２に格納された三次元グラフィックデータ３（コンピュータグラフィック生成データ）をＣＧ生成回路７に転送する。
【００５６】
続いて、ＣＰＵ１０は、プログラムコードの制御プログラムに基づいて、画素データ・奥行き値転送手段１０Ｂにより、読み出された三次元グラフィックデータ３（コンピュータグラフィック生成データ）からＣＧ生成回路７で一つの視点位置を計算した各画素データおよび奥行き値をメモリ２の各所定格納領域にそれぞれ書き込むように制御する。
【００５７】
さらに、ＣＰＵ１０は、ＣＧ生成回路７からの描画完了の通知をＣＰＵ１０が受けた後に、プログラムコードの制御プログラムに基づいて、立体視画像生成制御手段１０Ｃにより、メモリ２に格納された各画素データ４および奥行き値５を立体視画像生成回路１１に転送すると共に立体視画像生成回路１１に立体視画像生成開始を指示して、画素データ４および奥行き値５を用いて立体視画像を生成する。
【００５８】
このように、本実施形態１の立体視用画像生成方法は、ＣＰＵ１０が、コンピュータグラフィック生成部としてのＣＧ生成回路７に対して画像の描画開始を指示するステップと、ＣＰＵ１０が、データ記憶部としてのメモリ２内の三次元グラフィックデータ３（コンピュータグラフィック生成データ）をＣＧ生成回路７に転送するステップと、ＣＧ生成回路７が、三次元グラフィックデータ３（コンピュータグラフィック生成データ）から、一つの視点でのコンピュータグラフィック画像の各画素データを生成すると共に、コンピュータグラフィック画像の各画素に対応付けられる奥行き値を求めるコンピュータグラフィック生成ステップと、ＣＰＵ１０が、該ＣＧ生成回路７で生成した各画素データおよび奥行き値をメモリ２の所定領域にそれぞれ書き込むように制御するステップと、ＣＰＵ１０が、立体視画像生成時に、メモリ２に記憶された各画素データおよび奥行き値を立体視画像生成回路１１に転送するステップと、立体視画像生成回路１１が各画素データおよび奥行き値を用いて立体視用の複数の画像データ（右目用画像データと左目用画像データ）を生成する立体視画像生成ステップとを有している。これを１フレーム毎に繰り返して動画像を生成して表示部２１の表示画面上に表示する。
【００５９】
以上により、本実施形態１において、図３に示すように、一枚の画像から、立体視用の複数の画像データ（右目用画像データと左目用画像データ）を生成する視差画像生成機能としての立体視画像生成回路１１と、ＧＰＵからなるコンピュータグラフィック生成部としてのＣＧ生成回路７に対し、ＧＰＵが生成した一つの視点からの画像および、ＧＰＵの三次元ＣＧ生成処理の過程で計算された各画素に対する奥行き情報（Ｚバッファ値）を、視差画像生成機能としての立体視画像生成回路１１に渡して、立体視画像生成回路１１が立体視用の複数の画像を生成する制御を行っている。このとき、従来において、視差画像生成機能は、グラフィック・プロセッシング・ユニットＧＰＵが生成し三次元画像のグレースケール値に基づいて奥行き値（Ｚ値）を計算しているため、視差画像生成機能が生成する奥行き値（Ｚ値）が、三次元ＣＧデータの期待する奥行き値と一致しなかったが、本実施形態１では、三次元グラフィックデータ３（コンピュータグラフィック生成データ）の奥行き値と、視差画像生成機能としての立体視画像生成回路１１が生成する立体視用の複数の画像データ（右目用画像データと左目用画像データ）における奥行き値とが同じ奥行き値で互いに一致するため、立体視画像としてより正確な奥行き値を持った立体感を得ることができる。
【００６０】
したがって、本実施形態１によれば、ＣＧ生成回路７において三次元グラフィックデータ３（コンピュータグラフィック生成データ）から生成した各画素データおよび奥行き値を用いて、立体視画像生成回路１１が立体視用の複数（右目用と左目用）の画像データを生成するため、従来のように三次元グラフィック処理機構としての立体視画像生成回路１１に高い能力を要求せず、立体視画像として正確な立体感を得ることができる。
【００６１】
（実施形態２）
本実施形態２では、１枚の画像（１フレームの画像）の中に奥行き値がある画像（三次元グラフィックデータ３の部分）と奥行き値がない画像（背景画像など、動かない画像の他に動く画像も想定される）とが混在している場合について説明する。
【００６２】
図２は、本発明に係る立体視用画像生成システムの実施形態２として、図１の立体視画像生成回路１１の一構成例を示すブロック図である。
【００６３】
なお、本実施形態２においても図１の構成を用いる。即ち、図１において、本実施形態２の立体視用画像生成システム２０Ａは、本実施形態の立体視用画像生成装置１Ａと、立体視用画像生成装置１Ａで生成した立体視用画像データを表示画面上に表示する表示部２１とを有している。本実施形態２の立体視用画像生成装置１Ａは、データおよびワークメモリが記憶されるメモリ２と、ＣＧ生成回路７と、全体の制御を行う制御部としてのＣＰＵ１０（中央演算処理装置）と、立体視画像生成回路１１Ｄと、画像出力部１２と、操作部１３とを有しており、これらのメモリ２、ＣＧ生成回路７、ＣＰＵ１０、立体視画像生成回路１１Ｄおよび操作部１３がバス１４に接続されている。
【００６４】
図２において、本実施形態２の立体視画像生成回路１１Ｄは、奥行き値５の存在可否フラグ５Ａが「有」のときに奥行き値５を出力し、奥行き値５の存在可否フラグ５Ａが「無」のときに奥行き値生成回路１１Ｂからの奥行き値を出力する奥行き値存在可否検出回路１１Ａと、画素データ４から一つ以上の画素を読み出して奥行き値を生成する奥行き値生成回路１１Ｂと、奥行き値存在可否検出回路１１Ａからの奥行き値に基づいて立体視用の左目・右目画像を生成する左目・右目画像生成回路１１Ｃとを有している。なお、上記実施形態１では、これらの奥行き値存在可否検出回路１１Ａおよび奥行き値生成回路１１Ｂがない。
【００６５】
即ち、本実施形態２の立体視画像生成回路１１Ｄは、処理する各画素に対して、奥行き値の有無を示す存在可否フラグ５Ａの情報に基づいて、その処理画素に奥行き値がない場合、その処理画素を含む一つ以上の画素から得られる情報を元に計算した奥行き値を、奥行き値５の代わりに用い、また、その処理画素に奥行き値がある場合、奥行き値５を用いて、各画素データから立体視用の複数の視差画像データを生成する。
【００６６】
ここで、上記図２の立体視画像生成回路１１Ｄの動作について説明する。
【００６７】
まず、奥行き値生成回路１１Ｂは、画素データ４から一つ以上の画素を読み出し、奥行き値を生成し、その奥行き値を奥行き値存在可否判断回路１１Ａに出力する。
次に、奥行き値存在可否検出回路１１Ａは、奥行き値５から読み出した一つの奥行き値と奥行き値生成回路１１Ｂからの出力とを受け取る。奥行き値の中に存在可否フラグ５Ａがあり、奥行き値存在可否検出回路１１Ａは、この存在可否フラグ５Ａから奥行き値が存在すると検出した場合は、奥行き値５から読み出した奥行き値を左目・右目画像生成回路１１Ｃに出力する。また、奥行き値存在可否検出回路１１Ａは、奥行き値の中に存在可否フラグ５Ａから、奥行き値が存在しないと検出した場合には、奥行き値生成回路１１Ｂからの奥行き値を出力する。
その後、右目・左目画像生成回路１１Ｃは、奥行き値存在可否検出回路１１Ａからの奥行き値を受け取り、画素データ４からの各画素データを読み取って、立体視用の右目画像および左目画像を生成する。
【００６８】
以上により、本実施形態２においても、図３に示すように、一枚の画像（１フレーム画像）から、立体視用の複数の画像データ（右目用画像データと左目用画像データ）を生成する視差画像生成機能としての立体視画像生成回路１１Ｄと、ＧＰＵからなるコンピュータグラフィック生成部としてのＣＧ生成回路７に対し、ＧＰＵが生成した一つの視点からの画像（二次元画像）の各画素データおよび、ＧＰＵの三次元ＣＧデータからの二次元画像生成処理の過程で計算された各画素に対する奥行き情報（Ｚバッファ値）を、視差画像生成機能としての立体視画像生成回路１１Ｄに渡して、立体視画像生成回路１１Ｄが立体視用の複数の視差画像を生成する制御を行っている。
【００６９】
したがって、本実施形態２によれば、ＣＧ生成回路７において、一枚の三次元コンピュータグラフィックデータ３から、視覚化された二次元画像の各画素データを生成する際に計算した奥行き値を、一枚の画像（１フレーム画像）から立体視用の複数の視差画像データ（右目用画像データと左目用画像データ）を生成する視差画像生成機能としての立体視画像生成回路１１Ｄに渡すことにより、立体視画像生成回路１１Ｄにおいて、三次元コンピュータグラフィックデータ３から、視覚化された二次元画像の各画素データを生成するＣＧ生成回路７による生成処理を削減しつつ、三次元グラフィックデータ３（コンピュータグラフィック生成データ）の奥行き値と、立体視画像生成回路１１Ｄが生成する立体視用の複数の画像データ（右目用画像データと左目用画像データ）における奥行き値とを一致させて、正確な立体視用の画像を生成する立体視用画像生成機構を構成することができる。また、この場合、特に、画像内の三次元コンピュータグラフィックデータ３とそれ以外の画像（例えば背景画像）とが1フレーム画像に混在する場合であっても、より正確な立体感の立体視用の映像を生成することができる。
【００７０】
なお、本実施形態１、２では、特に説明しなかったが、メモリ２内の三次元グラフィックデータ３から、一つの視点でのコンピュータグラフィック画像の各画素データを生成すると共に、メモリ２内の三次元グラフィックデータ３から、コンピュータグラフィック画像の各画素に対応付けられる奥行き値を求めるＣＧ生成回路７と、各画素データおよび奥行き値を用いて立体視用の複数の画像データを生成する立体視画像生成回路１１とを有する立体視用画像生成装置１または１Ａであって、ＣＧ生成回路７で生成した各画素データおよび奥行き値をメモリ２に一旦記憶させた後に、立体視画像生成時に、立体視画像生成回路１１に各画素データおよび奥行き値を転送するように制御するＣＰＵ１０を有することにより、三次元グラフィック処理機構に高い能力を要求せず、同時に正確な立体感を得ることができる本発明の目的を達成することができる。
【００７１】
なお、本実施形態１、２では、制御部１０（ＣＰＵ）が、例えば、立体視画像生成時に、データ記憶部に記憶された各画素データおよび奥行き値を立体視画像生成部に転送する構成としたが、これに限らず、制御部が、制御部１０（ＣＰＵ）の他に、コンピュータグラフィック生成部としてのＣＧ生成回路７の制御部や立体視画像生成部としての立体視画像生成回路１１または１１Ｄの制御部を含んでいてもよい。要するに、この制御部の動作を、制御部１０（ＣＰＵ）が行ってもよいのはもちろんのこと、この制御部の動作をコンピュータグラフィック生成部としてのＣＧ生成回路７の制御部が行ってもよく、この制御部の動作を立体視画像生成部としての立体視画像生成回路１１または１１Ｄの制御部が行ってもよい。即ち、制御部１０（ＣＰＵ）、コンピュータグラフィック生成部および立体視画像生成部のうちの少なくともいずれかの制御部が、例えば、立体視画像生成時に、データ記憶部に記憶された各画素データおよび奥行き値を立体視画像生成部（立体視画像生成機構）に転送するように制御してもよい。
【００７２】
以上のように、本発明の好ましい実施形態１、２を用いて本発明を例示してきたが、本発明は、この実施形態１、２に限定して解釈されるべきものではない。本発明は、特許請求の範囲によってのみその範囲が解釈されるべきであることが理解される。当業者は、本発明の具体的な好ましい実施形態１、２の記載から、本発明の記載および技術常識に基づいて等価な範囲を実施することができることが理解される。本明細書において引用した特許、特許出願および文献は、その内容自体が具体的に本明細書に記載されているのと同様にその内容が本明細書に対する参考として援用されるべきであることが理解される。
【産業上の利用可能性】
【００７３】
本発明は、立体視向けの三次元コンピュータグラフィックを生成する立体視用画像生成装置およびこれを用いた立体視用画像生成方法、この立体視用画像生成方法の各ステップをコンピュータに実行させるための制御プログラム、この制御プログラムが格納されたコンピュータ読み取り可能な可読記憶媒体の分野において、コンピュータグラフィック生成部において三次元グラフィックデータ（コンピュータグラフィック生成データ）から生成した各画素データおよび奥行き値を用いて、立体視画像生成部が立体視用の複数（右目用と左目用）の画像データを生成するため、三次元グラフィック処理機構としての立体視画像生成部に高い能力を要求せず、同時に正確な立体感を得ることができる。
【符号の説明】
【００７４】
１、１Ａ 立体視用画像生成装置
２ メモリ（データ記憶部）
３ 三次元グラフィックデータ（コンピュータグラフィック生成データ）
４ 画素データ
５ 奥行き値（奥行き情報）
５Ａ 存在可否フラグ
６ プログラムコード（制御プログラムおよびそのデータ）
７ ＣＧ生成回路（コンピュータグラフィック生成部）
８ 画素計算回路
９ 奥行き計算回路
１０ ＣＰＵ（制御部）
１０Ａ グラフィックデータ転送手段
１０Ｂ 画素データ・奥行き値転送手段
１０Ｃ 立体視画像生成制御手段
１１，１１Ｄ 立体視画像生成回路（立体視画像生成部）
１１Ａ 奥行き値存在可否検出回路
１１Ｂ 奥行き値生成回路
１１Ｃ 左目・右目画像生成回路
１２ 画像出力部
１３ 操作部
１４ バス
２０，２０Ａ 立体視用画像生成システム
２１ 表示部
【特許請求の範囲】
【請求項１】
データ記憶部内のコンピュータグラフィック生成データから、一つの視点でのコンピュータグラフィック画像の各画素データを生成すると共に、該コンピュータグラフィック画像の各画素に対応付けられる奥行き値を求めるコンピュータグラフィック生成部と、
該各画素データおよび該奥行き値を用いて立体視用の複数の画像データを生成する立体視画像生成部とを有する立体視用画像生成装置であって、
該コンピュータグラフィック生成部で生成した該各画素データおよび該奥行き値を該データ記憶部に一旦記憶させた後に、立体視画像生成時に、該立体視画像生成部に該各画素データおよび該奥行き値を転送するように制御する制御部を有した立体視用画像生成装置。
【請求項２】
前記コンピュータグラフィック生成データの奥行き値と、前記立体視画像生成部が生成する立体視用の複数の画像データにおける奥行き値とが一致している請求項１に記載の立体視用画像生成装置。
【請求項３】
前記制御部は、
該データ記憶部内のコンピュータグラフィック生成データを前記コンピュータグラフィック生成部に転送するグラフィックデータ転送手段と、
該コンピュータグラフィック生成部により生成したコンピュータグラフィック画像の各画素データおよび、該コンピュータグラフィック画像の各画素に対応付けられる奥行き値を該データ記憶部にそれぞれ書き込む画素データ・奥行き値転送手段と、
立体視画像生成開始時に、該データ記憶部内の該画素データおよび該奥行き値を前記立体視画像生成部に転送する立体視画像生成制御手段とを有する請求項１に記載の立体視用画像生成装置。
【請求項４】
前記データ記憶部は、
一つの視点データおよび複数の三次元座標データを含むコンピュータグラフィック生成データを記憶する第１データ記憶部と、
該コンピュータグラフィック画像の各画素データおよび該各画素に対応付けられる奥行き値を記憶可能とする第２データ記憶部とを有する請求項１に記載の立体視用画像生成装置。
【請求項５】
前記コンピュータグラフィック生成部は、
前記データ記憶部に記憶されたコンピュータグラフィック生成データからコンピュータグラフィック画像の各画素データに変換する画素データ変換部と、
該コンピュータグラフィック生成データから、コンピュータグラフィック画像の各画素に対する奥行き値を計算する奥行き値計算部とを有する請求項１に記載の立体視用画像生成装置。
【請求項６】
前記複数の画像データは右目用画像データと左目用画像データからなる視差画像データである請求項１に記載の立体視用画像生成装置。
【請求項７】
前記第２データ記憶部は、前記奥行き値の有無を示す奥行き値存在可否フラグを記憶しており、前記立体視画像生成部は、処理する各画素に対して、該奥行き値存在可否フラグの情報に基づいて、該奥行き値があると判定された場合、当該奥行き値を用い、該奥行き値がないと判定された場合、該画素を含む一つ以上の画素から得られる情報を元に計算した奥行き値を用いる請求項４に記載の立体視用画像生成装置。
【請求項８】
前記立体視画像生成部は、前記画素データから一つ以上の画素を読み出して新たな奥行き値を生成する奥行き値生成回部と、前記奥行き値の存在可否フラグが「有」のときに当該奥行き値を出力し、該奥行き値の存在可否フラグが「無」のときに該新たな奥行き値を出力する奥行き値存在可否検出部と、該奥行き値存在可否検出部からの奥行き値に基づいて立体視用の左目および右目画像を生成する左目および右目画像生成部とを有する請求項１に記載の立体視用画像生成装置。
【請求項９】
前記画素データ変換部と前記奥行き値計算部は、グラフィック・プロセッシング・ユニットにより構成されている請求項５に記載の立体視用画像生成装置。
【請求項１０】
前記第２データ記憶部は、一つのデータ保持機構内の保持領域を分割して利用することにより実現されている請求項４に記載の立体視用画像生成装置。
【請求項１１】
制御部が、コンピュータグラフィック生成部に対して画像の描画開始を指示するステップと、
該制御部が、データ記憶部内のコンピュータグラフィック生成データを該コンピュータグラフィック生成部に転送するステップと、
該コンピュータグラフィック生成部が、該コンピュータグラフィック生成データから、一つの視点でのコンピュータグラフィック画像の各画素データを生成すると共に、該コンピュータグラフィック画像の各画素に対応付けられる奥行き値を求めるコンピュータグラフィック生成ステップと、
該制御部が該各画素データおよび該奥行き値を該データ記憶部の所定領域にそれぞれ書き込むように制御するステップと、
該制御部が、立体視画像生成時に、データ記憶部に記憶された各画素データおよび奥行き値を立体視画像生成部に転送するように制御するステップと、
該立体視画像生成部が当該各画素データおよび当該奥行き値を用いて立体視用の複数の画像データを生成する立体視画像生成ステップとを有する立体視用画像生成方法。
【請求項１２】
前記コンピュータグラフィック生成データの奥行き値と、前記立体視画像生成部が生成する立体視用の複数の画像データにおける奥行き値とが一致している請求項１１に記載の立体視用画像生成方法。
【請求項１３】
前記コンピュータグラフィック生成ステップは、
画素データ変換部が、前記データ記憶部に記憶されたコンピュータグラフィック生成データからコンピュータグラフィック画像の各画素データに変換する画素データ変換ステップと、
奥行き値計算部が、該コンピュータグラフィック生成データから、コンピュータグラフィック画像の各画素に対する奥行き値を計算する奥行き値計算ステップとを有する請求項１１に記載の立体視用画像生成方法。
【請求項１４】
前記立体視画像生成ステップにおいて、処理する各画素に対して、前記奥行き値の有無を示す奥行き値存在可否フラグの情報に基づいて、該奥行き値があると判定された場合、当該奥行き値を用い、該奥行き値がないと判定された場合、該画素を含む一つ以上の画素から得られる情報を元に計算した奥行き値を用いる請求項１１に記載の立体視用画像生成方法。
【請求項１５】
前記立体視画像生成ステップは、奥行き値生成部が、前記画素データから一つ以上の画素を読み出して新たな奥行き値を生成する奥行き値生成ステップと、奥行き値存在可否検出部が、前記奥行き値の存在可否フラグが「有」のときに当該奥行き値を出力し、該奥行き値の存在可否フラグが「無」のときに該新たな奥行き値を出力する奥行き値存在可否検出ステップと、左目および右目画像生成部が、該奥行き値存在可否検出部からの奥行き値に基づいて立体視用の左目および右目画像を生成する左目および右目画像生成ステップとを有する請求項１１に記載の立体視用画像生成方法。
【請求項１６】
請求項１１〜１５のいずれかに記載の立体視用画像生成方法の各ステップをコンピュータに実行させるための処理手順が記述された制御プログラム。
【請求項１７】
請求項１６に記載の制御プログラムが格納されたコンピュータ読み取り可能な可読記憶媒体。
【請求項１】
データ記憶部内のコンピュータグラフィック生成データから、一つの視点でのコンピュータグラフィック画像の各画素データを生成すると共に、該コンピュータグラフィック画像の各画素に対応付けられる奥行き値を求めるコンピュータグラフィック生成部と、
該各画素データおよび該奥行き値を用いて立体視用の複数の画像データを生成する立体視画像生成部とを有する立体視用画像生成装置であって、
該コンピュータグラフィック生成部で生成した該各画素データおよび該奥行き値を該データ記憶部に一旦記憶させた後に、立体視画像生成時に、該立体視画像生成部に該各画素データおよび該奥行き値を転送するように制御する制御部を有した立体視用画像生成装置。
【請求項２】
前記コンピュータグラフィック生成データの奥行き値と、前記立体視画像生成部が生成する立体視用の複数の画像データにおける奥行き値とが一致している請求項１に記載の立体視用画像生成装置。
【請求項３】
前記制御部は、
該データ記憶部内のコンピュータグラフィック生成データを前記コンピュータグラフィック生成部に転送するグラフィックデータ転送手段と、
該コンピュータグラフィック生成部により生成したコンピュータグラフィック画像の各画素データおよび、該コンピュータグラフィック画像の各画素に対応付けられる奥行き値を該データ記憶部にそれぞれ書き込む画素データ・奥行き値転送手段と、
立体視画像生成開始時に、該データ記憶部内の該画素データおよび該奥行き値を前記立体視画像生成部に転送する立体視画像生成制御手段とを有する請求項１に記載の立体視用画像生成装置。
【請求項４】
前記データ記憶部は、
一つの視点データおよび複数の三次元座標データを含むコンピュータグラフィック生成データを記憶する第１データ記憶部と、
該コンピュータグラフィック画像の各画素データおよび該各画素に対応付けられる奥行き値を記憶可能とする第２データ記憶部とを有する請求項１に記載の立体視用画像生成装置。
【請求項５】
前記コンピュータグラフィック生成部は、
前記データ記憶部に記憶されたコンピュータグラフィック生成データからコンピュータグラフィック画像の各画素データに変換する画素データ変換部と、
該コンピュータグラフィック生成データから、コンピュータグラフィック画像の各画素に対する奥行き値を計算する奥行き値計算部とを有する請求項１に記載の立体視用画像生成装置。
【請求項６】
前記複数の画像データは右目用画像データと左目用画像データからなる視差画像データである請求項１に記載の立体視用画像生成装置。
【請求項７】
前記第２データ記憶部は、前記奥行き値の有無を示す奥行き値存在可否フラグを記憶しており、前記立体視画像生成部は、処理する各画素に対して、該奥行き値存在可否フラグの情報に基づいて、該奥行き値があると判定された場合、当該奥行き値を用い、該奥行き値がないと判定された場合、該画素を含む一つ以上の画素から得られる情報を元に計算した奥行き値を用いる請求項４に記載の立体視用画像生成装置。
【請求項８】
前記立体視画像生成部は、前記画素データから一つ以上の画素を読み出して新たな奥行き値を生成する奥行き値生成回部と、前記奥行き値の存在可否フラグが「有」のときに当該奥行き値を出力し、該奥行き値の存在可否フラグが「無」のときに該新たな奥行き値を出力する奥行き値存在可否検出部と、該奥行き値存在可否検出部からの奥行き値に基づいて立体視用の左目および右目画像を生成する左目および右目画像生成部とを有する請求項１に記載の立体視用画像生成装置。
【請求項９】
前記画素データ変換部と前記奥行き値計算部は、グラフィック・プロセッシング・ユニットにより構成されている請求項５に記載の立体視用画像生成装置。
【請求項１０】
前記第２データ記憶部は、一つのデータ保持機構内の保持領域を分割して利用することにより実現されている請求項４に記載の立体視用画像生成装置。
【請求項１１】
制御部が、コンピュータグラフィック生成部に対して画像の描画開始を指示するステップと、
該制御部が、データ記憶部内のコンピュータグラフィック生成データを該コンピュータグラフィック生成部に転送するステップと、
該コンピュータグラフィック生成部が、該コンピュータグラフィック生成データから、一つの視点でのコンピュータグラフィック画像の各画素データを生成すると共に、該コンピュータグラフィック画像の各画素に対応付けられる奥行き値を求めるコンピュータグラフィック生成ステップと、
該制御部が該各画素データおよび該奥行き値を該データ記憶部の所定領域にそれぞれ書き込むように制御するステップと、
該制御部が、立体視画像生成時に、データ記憶部に記憶された各画素データおよび奥行き値を立体視画像生成部に転送するように制御するステップと、
該立体視画像生成部が当該各画素データおよび当該奥行き値を用いて立体視用の複数の画像データを生成する立体視画像生成ステップとを有する立体視用画像生成方法。
【請求項１２】
前記コンピュータグラフィック生成データの奥行き値と、前記立体視画像生成部が生成する立体視用の複数の画像データにおける奥行き値とが一致している請求項１１に記載の立体視用画像生成方法。
【請求項１３】
前記コンピュータグラフィック生成ステップは、
画素データ変換部が、前記データ記憶部に記憶されたコンピュータグラフィック生成データからコンピュータグラフィック画像の各画素データに変換する画素データ変換ステップと、
奥行き値計算部が、該コンピュータグラフィック生成データから、コンピュータグラフィック画像の各画素に対する奥行き値を計算する奥行き値計算ステップとを有する請求項１１に記載の立体視用画像生成方法。
【請求項１４】
前記立体視画像生成ステップにおいて、処理する各画素に対して、前記奥行き値の有無を示す奥行き値存在可否フラグの情報に基づいて、該奥行き値があると判定された場合、当該奥行き値を用い、該奥行き値がないと判定された場合、該画素を含む一つ以上の画素から得られる情報を元に計算した奥行き値を用いる請求項１１に記載の立体視用画像生成方法。
【請求項１５】
前記立体視画像生成ステップは、奥行き値生成部が、前記画素データから一つ以上の画素を読み出して新たな奥行き値を生成する奥行き値生成ステップと、奥行き値存在可否検出部が、前記奥行き値の存在可否フラグが「有」のときに当該奥行き値を出力し、該奥行き値の存在可否フラグが「無」のときに該新たな奥行き値を出力する奥行き値存在可否検出ステップと、左目および右目画像生成部が、該奥行き値存在可否検出部からの奥行き値に基づいて立体視用の左目および右目画像を生成する左目および右目画像生成ステップとを有する請求項１１に記載の立体視用画像生成方法。
【請求項１６】
請求項１１〜１５のいずれかに記載の立体視用画像生成方法の各ステップをコンピュータに実行させるための処理手順が記述された制御プログラム。
【請求項１７】
請求項１６に記載の制御プログラムが格納されたコンピュータ読み取り可能な可読記憶媒体。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図２】
【図３】
【図４】
【図５】
【図６】
【公開番号】特開２０１１−２５８１５３（Ｐ２０１１−２５８１５３Ａ）
【公開日】平成２３年１２月２２日（２０１１．１２．２２）
【国際特許分類】
【出願番号】特願２０１０−１３４５４２（Ｐ２０１０−１３４５４２）
【出願日】平成２２年６月１１日（２０１０．６．１１）
【出願人】（０００００５０４９）シャープ株式会社 (33,933)
【Ｆターム（参考）】
【公開日】平成２３年１２月２２日（２０１１．１２．２２）
【国際特許分類】
【出願日】平成２２年６月１１日（２０１０．６．１１）
【出願人】（０００００５０４９）シャープ株式会社 (33,933)
【Ｆターム（参考）】
[ Back to top ]