多視点画像の形成方法、多視点画像の形成装置、コンピューター読み取り可能な媒体およびビデオ装置
【課題】様々な種類の多視点ディスプレイにおいて多視点画像を描き込む方法および装置
を提供すること。
【解決手段】異なる視点に対応する画像データを異なる仮想バッファーに記憶し、仮想バ
ッファーに記憶された画像データを処理し、次に画像データを融合し融合画像データを物
理的フレームバッファーに記憶する。融合画像データは次に裸眼立体視ディスプレイなど
の多視点ディスプレイに転送する。画像データを仮想バッファーに記憶することはＯｐｅ
ｎＧＬ（登録商標）フレームバッファーオブジェクト拡張機能などのグラフィックスライ
ブラリー機能を用いて画像データをテクスチャに描き込むことができる。
を提供すること。
【解決手段】異なる視点に対応する画像データを異なる仮想バッファーに記憶し、仮想バ
ッファーに記憶された画像データを処理し、次に画像データを融合し融合画像データを物
理的フレームバッファーに記憶する。融合画像データは次に裸眼立体視ディスプレイなど
の多視点ディスプレイに転送する。画像データを仮想バッファーに記憶することはＯｐｅ
ｎＧＬ（登録商標）フレームバッファーオブジェクト拡張機能などのグラフィックスライ
ブラリー機能を用いて画像データをテクスチャに描き込むことができる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は多視点画像の描画に関する。より具体的に、本発明の実施形態はフレームバッ
ファーおよび描画表面またはテクスチャを用いて多視点画像を描画する（形成する）方法
およびシステムに関する。
【背景技術】
【０００２】
多視点画像は立体写真（通常赤／青または赤／緑のレンズで見る）および裸眼立体視画
像（特殊眼鏡または他のヘッドギアなしで見る）などの３次元画像を含むことができる。
多視点画像はさらに協調して３次元効果をもたらさない画像も含むことができる。例えば
、適当に構成された車内ディスプレイは運転手の視点から地図を表示する一方、乗客の視
点からは映画を表示するかもしれない。このような多視点ディスプレイは通常視差バリア
を有して構成され、これは視点により異なるピクセルを選択的に遮蔽する役割を果たす。
【０００３】
従来の多視点描画手法は通常描き込まれる各視点に対応する別個の物理的フレームバッ
ファーを必要とする（例えば特許文献１参照）。別個の物理的フレームバッファーを維持
することは表示用に視点が適当に組み合わされる前に個々の視点を後処理することを容易
にする。例えば、ユーザーまたは画像エディターは多視点の１つ以上をぼかしたいかもし
れない。未処理の視点が単純に１つの物理的フレームバッファーにおいて組み合わされた
場合、隣接ピクセルは異なる画像に対応することになる。この場合、他の多くの画像処理
手法と同様、ぼかすことは隣接ピクセル値に基づき個々のピクセル値を変更するので、１
つ以上の視点をぼかすことができなくなる。他方、複数の物理的フレームバッファーが用
いられると、他の視点におけるピクセルから過度の影響を受けずに対応する物理的フレー
ムバッファーに従来のぼかしプロセス（または他の画像処理手法）を適用することができ
る。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】米国特許第７１３９８７３号明細書
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかし複数の物理的フレームバッファーを用いる実施はいくらかの欠点を有する。例え
ば、最も広く入手しやすいビデオカードおよびグラフィックスライブラリーの実施は単視
点ディスプレイをサポートし、従って複数の物理的フレームバッファーをサポートしない
。さらに、複数の物理的フレームバッファーを有するビデオカードは１つの出力モードで
使用するために特に作られているので、異なる種類の多視点ディスプレイ（例、立体写真
、視差バリア、２視点、３視点、等々）に容易に適応することができない。
【０００６】
従って、様々な種類の多視点ディスプレイで廉価に多視点画像を描き込む方法および装
置が望まれる。
【課題を解決するための手段】
【０００７】
本発明の多視点画像の形成方法は、第１視点に対応する画像データを第１バッファーに
記憶するステップと、第２視点に対応する画像データを第２バッファーに記憶するステッ
プと、前記第１バッファーおよび前記第２バッファーの少なくとも１つにおける前記画像
データを処理するステップと、前記第１視点および前記第２視点に対応する前記画像デー
タを融合して融合画像データを形成するステップと、前記融合画像を第３バッファーに記
憶するステップと、前記融合画像データを多視点ディスプレイに転送するステップとを有
することを特徴とする。
【０００８】
また、本発明の多視点画像の形成方法において、前記第１バッファー、前記第２バッフ
ァーおよび前記第３バッファーの少なくとも１つはビデオ処理カード上のＲＡＭであるこ
とを特徴とする。
【０００９】
また、本発明の多視点画像の形成方法において、前記第１視点または前記第２視点に対
応する前記画像データを記憶するステップは前記画像データをテクスチャに描き込むステ
ップを含むことを特徴とする。
【００１０】
また、本発明の多視点画像の形成方法において、前記画像データをテクスチャに描き込
むステップは、ＯｐｅｎＧＬ（登録商標）フレームバッファーオブジェクト拡張に結び付
いたＯｐｅｎＧＬ（登録商標）機能を実行するステップを含むことを特徴とする。
【００１１】
また、本発明の多視点画像の形成方法において、前記画像データを処理するステップは
、前記画像データを平滑にするステップと、前記画像データを鮮明化するステップと、前
記画像データのコントラストを変更するステップと、前記画像データをぼかすステップ、
および前記画像データにおいて実世界カメラの画像化アーティファクトをシミュレートす
るステップとの少なくとも１つを含むことを特徴とする。
【００１２】
また、本発明の多視点画像の形成方法において、記第１視点に対応する画像データを記
憶するステップは、前記第１視点に対応する画像データを前記第３バッファーに描画し前
記第１視点に対応する画像データを前記第１バッファーにコピーするステップを含み、前
記第２視点に対応する画像データを記憶するステップは、前記第２視点に対応する画像デ
ータを前記第３バッファーに描画し前記第２視点に対応する画像データを前記第２バッフ
ァーにコピーするステップを含むことを特徴とする。
【００１３】
また、本発明の多視点画像の形成方法において、前記画像データを融合するステップは
、前記第１バッファーにおける画像データを前記第２バッファーにおける画像データとイ
ンターリーブするステップを含むことを特徴とする。
【００１４】
また、本発明の多視点画像の形成方法において、前記画像データをインターリーブする
ステップは、前記第１バッファーにおける画像データの色成分を前記第２バッファーにお
ける画像データの色成分とインターリーブするステップを含む。
【００１５】
また、本発明の多視点画像の形成方法において、前記画像データを融合するステップは
、前記第１バッファーおよび前記第２バッファーにおける画像データをフィルターするス
テップと、前記フィルターされた画像データを組み合わせて立体写真画像を生成するステ
ップとを含むことを特徴とする。
【００１６】
ここで本発明の多視点画像の形成装置は、第１視点に対応する画像データを受信する第
１バッファーと、第２視点に対応する画像データを受信する第２バッファーと、前記第１
バッファーで受信された前記画像データを前記第２バッファーで受信された前記画像デー
タと融合するプログラマーブル装置と、前記プログラマーブル装置から融合画像データを
受信する第３バッファーとを有することを特徴とする。
【００１７】
また、本発明の多視点画像の形成装置において、前記第１バッファーおよび前記第２バ
ッファーの少なくとも１つに受信された前記画像データを処理する画像処理装置をさらに
有することを特徴とする。
【００１８】
また、本発明の多視点画像の形成装置において、前記第１バッファーおよび前記第２バ
ッファーは仮想フレームバッファーであることを特徴とする。
【００１９】
また、本発明の多視点画像の形成装置において、前記第３バッファーは物理的フレーム
バッファーであることを特徴とする。
【００２０】
また、本発明の多視点画像の形成装置において、前記プログラマーブル装置は、複数の
種類の立体ディスプレイと互換性があるようにプログラム可能であることを特徴とする。
【００２１】
また、本発明の多視点画像の形成装置において、前記プログラマーブル装置は、前記第
１バッファーにおける画像データを前記第２バッファーにおける画像データとインターリ
ーブするようプログラムされていることを特徴とする。
【００２２】
また、本発明の多視点画像の形成装置において、前記プログラマーブル装置は、前記第
１バッファーおよび第２バッファーにおける画像データをフィルターし、前記フィルター
された画像データを組み合わせて立体写真画像を生成するようプログラムされていること
を特徴とする。
【００２３】
一方本発明のコンピューター読み取り可能な媒体は、上記の多視点画像の処理方法を実
行するよう適応されるコンピューター実行可能な命令を有することを特徴とする。
【００２４】
さらに本発明のビデオ装置は、複数の仮想フレームバッファー部分を提供するよう構成
される第１メモリーであって、前記仮想フレームバッファー部分は少なくとも第１視点に
対応する画像データおよび第２視点に対応する画像データを記憶するとともに前記記憶さ
れた画像データの少なくとも一部はテクスチャに描き込まれる前記第１メモリーと、前記
第１視点に対応する画像データを前記第２視点に対応する画像データと融合し、融合画像
データセットを形成するよう構成されるプログラマーブル装置と、前記プログラマーブル
装置から前記融合画像データセットを受信し記憶する物理的フレームバッファーを提供す
るよう構成される第２メモリーと、前記融合画像データセットを通信するために多視点デ
ィスプレイ装置への動作可能な接続を提供するインターフェイスとを有して表示データを
生成することを特徴とする。
【図面の簡単な説明】
【００２５】
【図１】本発明で使用する多視点画像データを表示するシステムを示す図。
【図２】本発明によるインターリーブされた色チャンネルを有する２視点裸眼立体視ディスプレイで使用するピクセルパターンを示す図。
【図３】（ａ）、（ｂ）は、図１のシステムで実施される画像処理方法を示すフローチャート。
【発明を実施するための形態】
【００２６】
説明された実施形態は従来技術に比べいくつかの利点を提供する。各視点を別個の物理
的フレームバッファーに描き込む代わりに、提案される発明は各視点を後処理するために
仮想フレームバッファーを用いる。従って、開示される実施形態は複数の物理的フレーム
バッファーを必要とせずに多視点の後処理を容易にする。従って、提案される発明の実施
形態は一般的なハードウェアおよびグラフィックスライブラリーと使用することができ、
異なる多視点出力モードに適応することができる。多視点画像をさまざまな種類の多視点
ディスプレイ上で描き込む能力が提供され、コスト有効な形で提供される。
【００２７】
さらなる特長および利点が続く説明で記述され、一部は説明から明らかになり、または
本明細書で教示されるものの実施により学ぶことができる。発明の特長は添付クレームで
具体的に指摘される手段および組み合わせにより実現し得ることができる。本発明の特長
は以下の説明および添付クレームからより完全に明らかになり、または以下に記述される
発明の実施により学ぶことができる。本発明の特長をさらに明確にするために、添付図面
に図示される発明の具体的な実施形態を参照してより発明を詳しい説明をなす。これらの
図面は発明の代表的な実施形態を描写するだけで、その範囲を限定するとはみなされない
ことが理解されよう。発明は添付図面を用いてさらに具体的かつ詳細に記述され、説明さ
れる。
【００２８】
続く発明の各種実施形態の詳細な説明において、本明細書の一部をなし、発明が実施さ
れ得る具体的な実施形態の例示として示される添付図面が参照される。本発明の範囲を逸
脱することなく他の実施形態も利用でき、構造的変更をなし得ることが理解されよう。
【００２９】
以下の説明は多視点ディスプレイで使用する多視点画像を描き込む方法（又は形成する
方法。以下同様。）および装置の実施形態例を提供する。図示された実施形態は複数の物
理的フレームバッファーを用いることなく多視点の後処理を容易にする。従って、提案さ
れる発明は一般的なハードウェアおよびグラフィックスライブラリーで使用することがで
き、異なる多視点出力モードに適応することができる。各視点を別個の物理的フレームバ
ッファーに描き込む代わりに、提案される発明は各視点を後処理するために仮想フレーム
バッファーを用いる。
【００３０】
図１は多視点画像データを表示するシステムを示す。システムは、ｎが１を超える任意
の整数である１組の仮想フレームバッファー１００−１〜１００−ｎ、多視点ブレンダー
１０２、物理的フレームバッファー１０４、プロセッサー１０６、および多視点ディスプ
レイ１０８を含むことができる。システムの各構成部分は協調して多視点画像データを多
視点ディスプレイ１０８に表示することができる。各種の構成部分はケーブル、プラグ接
続ができるインターフェイス、無線接続、等々、またはこれらの任意の組み合わせにより
連結された別個の存在であって良い。一実施形態で、仮想フレームバッファー１００−１
〜１００−ｎ、多視点ブレンダー１０２、物理的フレームバッファー１０４、およびプロ
セッサー１０６、は統合され、例えば各種のディスプレイの種類またはモードと互換性を
持つようプログラムできるコンピューターまたはビデオカードなど１つの装置を形成する
ことができる。
【００３１】
多視点ディスプレイ１０８は一般的な単視点ディスプレイであって良く、または多視点
画像データ向けに特別に整備されていても良い。さらに、多視点ディスプレイ１０８は静
止画像を受信し表示するように適応でき（例、プログラマーブルな写真フレーム）、また
は画像データフレームのストリームを受信し表示するように適応できる（例、テレビ、モ
ニター、またはビデオプロジェクター）。
【００３２】
生の画像データ（すなわち未融合）はさまざまなソース経由で図１のシステムにより受
信される。例えば、複数のレンズを有するカメラまたは複数のカメラが生の画像データを
供給することができ、各カメラまたはレンズは異なる視点を供給する。あるいは、異なる
視点は単一カメラの生の画像データから人工的に合成することができる。別の実施形態で
、生の画像データは例えばプロセッサー１０６または類似したプロセッサーにより取り込
まれ、またはその場で生成されたコンピューター生成のグラフィックスであることができ
る。さらに、生の画像データはインターネット接続などのネットワーク接続経由で取り込
み、またはダウンロードすることができる。生の画像データがどのように生成されまたは
受信されようと、まず仮想フレームバッファー１００−１〜１００−ｎに記憶することが
できる。これは例えば生の画像データファイルをテクスチャまたは表面に描き込むことに
より達成することができる。テクスチャレンダリングはグラフィックスライブラリーまた
はＯｐｅｎＧＬ（登録商標）などのアプリケーションプログラミングインターフェイス（
以降、ＡＰＩという）もしくはその拡張であるフレームバッファーオブジェクト拡張によ
り提供される機能であることができる。
【００３３】
仮想フレームバッファー１００−１〜１００−ｎは例えば記憶装置またはテクスチャへ
の描き込み機能で形成されるデータを記憶するよう指定されるその一部として実施するこ
とができる。記憶装置はビデオカードＲＡＭなどのＲＡＭ装置、フラッシュメモリー装置
、ＥＥＰＲＯＭ装置、または画像データを搭載または記憶するために用い得る他の記憶装
置であって良い。加えて、記憶装置は外付きでも良く、プロセッサー１０６が実装される
装置、および／または多視点ブレンダー１０２が実装される装置と一体化されていても良
い。
【００３４】
プロセッサー１０６は仮想フレームバッファー１００−１〜１００−ｎ、多視点ブレン
ダー１０２、および物理的フレームバッファー１０４の１つ以上動作およびそれらへのア
クセスを制御する機能を備えたプロセッサーおよび／またはコントローラーであることが
できる。このように、プロセッサー１０６に向かい、それから流れる双方向の矢印はデー
タおよび／または制御もしくは命令を表すことができる。プロセッサー１０６は例えば汎
用マイクロプロセッサーまたは特定用途向けマイクロプロセッサーとして実施されること
ができる。さらに、一実施形態で、プロセッサー１０６の機能は例えばプロセッサー１０
６と多視点ブレンダー１０２を１つのプロセッサー／コントローラーに一体化することに
より多視点ブレンダー１０２により行なうことができる。
【００３５】
その１つの機能として、プロセッサー１０６は仮想フレームバッファー１００−１〜１
００−ｎの１つ以上に記憶される画像データに後処理効果を適用することができる。例え
ば、バッファーの１つ以上に記憶された画像データに色相、明るさ、コントラスト、バイ
ナリーまたはグレーの閾値化、平滑化、鮮明化、等々、様々な異なる画像処理操作を行な
うことが望ましいかもしれない。ある操作は例えばぼかし効果または曇り効果など実世界
のカメラの画像化アーティファクトをシミュレートすることが望ましいかもしれない。画
像処理操作を個々の視点に対し行なうことにより、１つの視点における画像データが別の
視点における画像データに対し不当に影響を与えることはない。一実施形態で、画像処理
操作は画像データを仮想フレームバッファーに記憶する前に行なうことができる。例えば
、画像処理操作はテクスチャへの描き込み機能の前またはその一部として行なうことがで
きる。あるいは、画像処理操作はテクスチャへの描き込み機能の後に行なうことができる
。加えて、画像処理操作はグラフィックスライブラリーまたはＯｐｅｎＧＬ（登録商標）
などのＡＰＩにより提供されることができる。
【００３６】
一旦、画像データの個々の視点が処理されると、視点は多視点ブレンダー１０２により
組み合わされまたは融合されることができる。多視点ブレンダー１０２は望まれる出力モ
ードに従い仮想バッファーの内容を融合することができる。加えて、多視点ブレンダー１
０２は異なる種類のディスプレイをサポートするために融合アルゴリズムを簡単に置き換
えられるようプログラマーブルであることができる。
【００３７】
例えば、１つの融合アルゴリズムは赤／青立体写真ディスプレイに対応することができ
る。このモードでは、片方は左の視点に対応（左側仮想フレームバッファー）、他方は右
の視点に対応（右側仮想フレームバッファー）する２つの仮想フレームバッファーのみが
使用される。ＯｐｅｎＧＬ（登録商標）または他のグラフィックスライブラリーで利用可
能な画像処理機能を用い、左側仮想フレームバッファーの画像データをフィルターして画
像データの赤チャンネルのみを選択し、右側仮想フレームバッファーの画像データをフィ
ルターして画像データの青チャンネルのみを選択することができる。もたらされる赤画像
は物理的フレームバッファー１０４の赤チャンネルに転送またはコピーされることができ
、もたらされる青画像は物理的フレームバッファー１０４の青チャンネルに転送またはコ
ピーされることができる。
【００３８】
その結果、多視点ディスプレイ１０８で表示される画像の赤および青成分は各々左およ
び右視点に対応し、従って表示された画像は３−Ｄの赤／青レンズで見た場合三次元に見
える。赤／緑レンズとの互換性のために同様のプロセスを実施することができる、すなわ
ち画像データの青チャンネルをフィルターする代わりに画像データの緑チャンネルをフィ
ルターすることができる。ハードウェアを変えることなく、多視点ブレンダー１０２によ
り適用される融合アルゴリズムは単に右側仮想フレームバッファーのフィルタリングを青
から緑に変更するアップロード操作経由で更新することができる。
【００３９】
同様に、裸眼立体視ディスプレイとの互換性向けに融合アルゴリズムを、ハードウェア
を変更することなく（ディスプレイの種類以外は）更新することができる。裸眼立体視デ
ィスプレイの一種は視差バリアを用いる。２視点を有する代表的な裸眼立体視ディスプレ
イで、出力画像はインターリーブされた色チャンネルからなる。
【００４０】
図２はインターリーブされた色チャンネルを有する２視点裸眼立体視ディスプレイで使
用するピクセルパターンを示す。パターン２００は２視点裸眼立体視ディスプレイの一部
を表し、マスクされたパターン２０２，２０４を用いて形成することができる。パターン
の各正方形は画像ピクセルの成分で、Ｒは赤成分を表し、Ｇは緑で、Ｂは青である。裸眼
立体視でないディスプレイと同じように、裸眼立体視ディスプレイにおける各ピクセルは
人間の眼で見た場合融合されるよう密接に集められた赤成分、緑成分、および青成分で表
すことができる。しかし裸眼立体視ディスプレイでは異なる視点のピクセル成分が互いに
インターリーブされ得る。視差バリアはディスプレイが左の観点から見られる場合に右視
点のピクセル成分を遮蔽することができ、ディスプレイが右の観点から見られる場合に左
視点のピクセル成分を遮蔽することができる。（２つより多いビューを有する裸眼立体視
ディスプレイに対し同様のパターンおよび対応する視差バリアを用いることができる。）
このように、パターン２００，２０２，２０４において、Ｌの下付き文字を有するピクセ
ル成分は左視点に対応、Ｒの下付き文字を有するピクセル成分は右視点に対応し、パター
ン２００は繰り返してディスプレイ全体にわたり延長させることができる。
【００４１】
２視点裸眼立体視ディスプレイ向けの出力画像を作り出すには２つの仮想フレームバッ
ファーを用いることができる。仮想フレームバッファーの１つに記憶される左視点が像ま
たはフレームは左視点マスク、すなわち左視点のピクセル成分において１の値を含みその
他においてゼロを含むテクスチャ、で結び付け、または変調される（例、ＯｐｅｎＧＬ（
登録商標）機能を用いて）ことができる。この操作はパターン２０２のような多色の市松
パターンを形成することができる。右視点画像は同様に右視点マスク、すなわち右視点の
ピクセル成分において１の値を含みその他においてゼロを含むテクスチャ、で処理するこ
とができる。パターン２０４はこの操作の結果であり得る。次にパターン２０２，２０４
を付加して物理的フレームバッファー１０４に融合することにより出力画像をパターン２
００として形成することができる。
【００４２】
再度図１を参照すると、物理的フレームバッファー１０４は記憶装置、または多視点ブ
レンダー１０２により形成されるデータを記憶するよう指定されるその一部として実施す
ることができる。記憶装置はビデオカードＲＡＭなどのＲＡＭ装置、フラッシュメモリー
装置、ＥＥＰＲＯＭ装置、または画像データを搭載または記憶するために用い得る他の記
憶装置であって良い。加えて、記憶装置は外付きでも良く、プロセッサー１０６が実装さ
れる装置および／または多視点ブレンダー１０２が実装される装置と一体化されていても
良い。一実施形態で、物理的フレームバッファー１０４はディスプレイとの直接インター
フェイスに適応されるビデオカード上のＲＡＭバッファーである。ある実施形態では、物
理的フレームバッファー１０４はビデオカード上の唯一または単一のフレームバッファー
である。このように、異なる視点は取り付けられたディスプレイのプロセッサーにより画
像データを複数の物理的フレームバッファーに記憶した後に融合されるのではなく、多視
点ブレンダー１０２などのプロセッサーにより画像データを物理的フレームバッファー１
０４に記憶する前に融合することができる。
【００４３】
図３（ａ）および図３（ｂ）は各々プロセッサー１０６および／または多視点ブレンダ
ー１０２により実施され得る方法を示す。図３（ａ）において、第１視点に対応する生の
画像データが受信され、テクスチャに描き込まれ、テクスチャは第１仮想フレームバッフ
ァー、例えば仮想フレームバッファー１００−１、に記憶される（ステップＳ３０２−ａ
）。次に、第１仮想フレームバッファーの内容、すなわちそこに記憶されるテクスチャ、
に対し後処理が行なわれる（ステップＳ３０４）。同じ操作が画像データの第２視点に対
し繰り返すことができ、必要であれば画像データのさらなる視点に対し繰り返すことがで
きる。一旦、すべての視点が描き込まれると（ステップＳ３０６およびステップＳ３０７
）、各仮想フレームバッファーからの画像データを融合することができる（ステップＳ３
０８）。上述のように、用いられる融合アルゴリズムは特定のディスプレイの種類または
モードと互換性を有するようにプログラムすることができる。次に、融合された画像デー
タは物理的フレームバッファー１０４などの物理的フレームバッファーに記憶することが
でき（ステップＳ３１０）、その後特定の時間および速度において多視点ディスプレイ１
０８などのディスプレイに転送することができる（ステップＳ３１２）。
【００４４】
図３（ａ）に示す方法の代わりに図３（ｂ）に示す方法を実行することができる。図３
（ｂ）において各ステップはステップＳ３０２−ａがステップＳ３０２−ｂで置き換えら
れることを除き同じである。ステップＳ３０２−ｂはデータが物理的フレームバッファー
に描き込まれ、その後仮想フレームバッファーにコピーされるという点で異なる。この代
わりの方法は例えばビデオカードなどの方法を実行する特定のハードウェア、および／ま
たはグラフィックスＡＰＩがテクスチャを仮想フレームバッファーに描き込むなどの機能
をサポートしない場合に好ましいかもしれない。このように、図３（ｂ）の方法を用いて
図３（ａ）の方法と同じまたは類似した結果を達成することができる。
【００４５】
図３（ａ）および図３（ｂ）のステップはさまざまな形で変更することができる。例え
ば、ステップの順序を変えることができ、いくつかのステップを省略することができ、お
よび／またはさらなるステップを追加することができる。ステップは同じ周波数または異
なる周波数で実施され、または起こることができる。例えば、ステップＳ３０２−ａ（ま
たはステップＳ３０２−ｂ）、ステップＳ３０４、およびステップＳ３０６は順序を変え
、および／または組み合わせることができる。一実施形態で、ステップＳ３０４がステッ
プＳ３０２−ａ（またはステップＳ３０２−ｂ）に先行することができる。従って、画像
データは描画ステップの前に、またはその一部として処理することができる。別の実施形
態で、ステップＳ３０６がステップＳ３０４に先行することができる。従って、画像デー
タは各観点が描き込まれた後に各仮想フレームバッファーにおいて処理されることができ
る。
【００４６】
本明細書における実施形態は各種ハードウェア実装を含む特殊用途または汎用コンピュ
ーターを有してなることができる。実施形態はまたコンピューター実行可能な命令または
データ構造を搭載または記憶するコンピューター読み取り可能な媒体も含むことができる
。このようなコンピューター読み取り可能な媒体は汎用または特殊用途のコンピューター
によりアクセスできる任意の利用可能な媒体であって良い。限定ではなく例として、この
ようなコンピューター読み取り可能な媒体はＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭ、ＣＤ−ＲＯ
Ｍまたは他の光ディスク記憶、磁気ディスク記憶または他の磁気記憶装置、またはコンピ
ューター実行可能な命令またはデータ構造の形で望まれるプログラムコード手段を搭載ま
たは記憶し汎用または特殊用途のコンピューターでアクセスできる他の任意の媒体を有し
てなることができる。情報がネットワークまたは別の通信接続上（有線、無線、または有
線と無線の組み合わせ）でコンピューターに転送または提供されると、コンピューターは
接続をコンピューター読み取り可能な媒体と正しくみなす。従って、このような任意の接
続はコンピューター読み取り可能な媒体と呼ぶことがふさわしい。上述の組み合わせもコ
ンピューター読み取り可能な媒体の範囲に含むべきである。
【００４７】
コンピューター実行可能な命令は例えば汎用コンピューター、特殊用途コンピューター
、または特殊用途の処理装置に特定の機能または機能のグループを行なわせる命令および
データを有してなる。主題は構造的特長および／または方法上の行為に固有の言葉で説明
されたが、添付クレームにおいて定義される主題は上述の具体的な特長または行為に必ず
しも限定されないことが理解される。逆に、上述の具体的な特長および行為はクレームを
実施する形の例として開示される。
【００４８】
本発明はその精神または基本的な特徴から逸脱することなく、他の具体的な形に具現さ
れることができる。説明された実施形態はすべての面で単に例示的とみなされ、限定的と
はみなされない。従って発明の範囲は前述の説明ではなく添付クレームにより示される。
クレームに同等のものの意味および範囲に入るすべての変更はその範囲に包含されるもの
とする。
【符号の説明】
【００４９】
１０２…多視点ブレンダー、１０４…物理的フレームバッファー、１０６…プロセッサ
ー、１０８…多視点ディスプレイ。
【技術分野】
【０００１】
本発明は多視点画像の描画に関する。より具体的に、本発明の実施形態はフレームバッ
ファーおよび描画表面またはテクスチャを用いて多視点画像を描画する（形成する）方法
およびシステムに関する。
【背景技術】
【０００２】
多視点画像は立体写真（通常赤／青または赤／緑のレンズで見る）および裸眼立体視画
像（特殊眼鏡または他のヘッドギアなしで見る）などの３次元画像を含むことができる。
多視点画像はさらに協調して３次元効果をもたらさない画像も含むことができる。例えば
、適当に構成された車内ディスプレイは運転手の視点から地図を表示する一方、乗客の視
点からは映画を表示するかもしれない。このような多視点ディスプレイは通常視差バリア
を有して構成され、これは視点により異なるピクセルを選択的に遮蔽する役割を果たす。
【０００３】
従来の多視点描画手法は通常描き込まれる各視点に対応する別個の物理的フレームバッ
ファーを必要とする（例えば特許文献１参照）。別個の物理的フレームバッファーを維持
することは表示用に視点が適当に組み合わされる前に個々の視点を後処理することを容易
にする。例えば、ユーザーまたは画像エディターは多視点の１つ以上をぼかしたいかもし
れない。未処理の視点が単純に１つの物理的フレームバッファーにおいて組み合わされた
場合、隣接ピクセルは異なる画像に対応することになる。この場合、他の多くの画像処理
手法と同様、ぼかすことは隣接ピクセル値に基づき個々のピクセル値を変更するので、１
つ以上の視点をぼかすことができなくなる。他方、複数の物理的フレームバッファーが用
いられると、他の視点におけるピクセルから過度の影響を受けずに対応する物理的フレー
ムバッファーに従来のぼかしプロセス（または他の画像処理手法）を適用することができ
る。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】米国特許第７１３９８７３号明細書
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかし複数の物理的フレームバッファーを用いる実施はいくらかの欠点を有する。例え
ば、最も広く入手しやすいビデオカードおよびグラフィックスライブラリーの実施は単視
点ディスプレイをサポートし、従って複数の物理的フレームバッファーをサポートしない
。さらに、複数の物理的フレームバッファーを有するビデオカードは１つの出力モードで
使用するために特に作られているので、異なる種類の多視点ディスプレイ（例、立体写真
、視差バリア、２視点、３視点、等々）に容易に適応することができない。
【０００６】
従って、様々な種類の多視点ディスプレイで廉価に多視点画像を描き込む方法および装
置が望まれる。
【課題を解決するための手段】
【０００７】
本発明の多視点画像の形成方法は、第１視点に対応する画像データを第１バッファーに
記憶するステップと、第２視点に対応する画像データを第２バッファーに記憶するステッ
プと、前記第１バッファーおよび前記第２バッファーの少なくとも１つにおける前記画像
データを処理するステップと、前記第１視点および前記第２視点に対応する前記画像デー
タを融合して融合画像データを形成するステップと、前記融合画像を第３バッファーに記
憶するステップと、前記融合画像データを多視点ディスプレイに転送するステップとを有
することを特徴とする。
【０００８】
また、本発明の多視点画像の形成方法において、前記第１バッファー、前記第２バッフ
ァーおよび前記第３バッファーの少なくとも１つはビデオ処理カード上のＲＡＭであるこ
とを特徴とする。
【０００９】
また、本発明の多視点画像の形成方法において、前記第１視点または前記第２視点に対
応する前記画像データを記憶するステップは前記画像データをテクスチャに描き込むステ
ップを含むことを特徴とする。
【００１０】
また、本発明の多視点画像の形成方法において、前記画像データをテクスチャに描き込
むステップは、ＯｐｅｎＧＬ（登録商標）フレームバッファーオブジェクト拡張に結び付
いたＯｐｅｎＧＬ（登録商標）機能を実行するステップを含むことを特徴とする。
【００１１】
また、本発明の多視点画像の形成方法において、前記画像データを処理するステップは
、前記画像データを平滑にするステップと、前記画像データを鮮明化するステップと、前
記画像データのコントラストを変更するステップと、前記画像データをぼかすステップ、
および前記画像データにおいて実世界カメラの画像化アーティファクトをシミュレートす
るステップとの少なくとも１つを含むことを特徴とする。
【００１２】
また、本発明の多視点画像の形成方法において、記第１視点に対応する画像データを記
憶するステップは、前記第１視点に対応する画像データを前記第３バッファーに描画し前
記第１視点に対応する画像データを前記第１バッファーにコピーするステップを含み、前
記第２視点に対応する画像データを記憶するステップは、前記第２視点に対応する画像デ
ータを前記第３バッファーに描画し前記第２視点に対応する画像データを前記第２バッフ
ァーにコピーするステップを含むことを特徴とする。
【００１３】
また、本発明の多視点画像の形成方法において、前記画像データを融合するステップは
、前記第１バッファーにおける画像データを前記第２バッファーにおける画像データとイ
ンターリーブするステップを含むことを特徴とする。
【００１４】
また、本発明の多視点画像の形成方法において、前記画像データをインターリーブする
ステップは、前記第１バッファーにおける画像データの色成分を前記第２バッファーにお
ける画像データの色成分とインターリーブするステップを含む。
【００１５】
また、本発明の多視点画像の形成方法において、前記画像データを融合するステップは
、前記第１バッファーおよび前記第２バッファーにおける画像データをフィルターするス
テップと、前記フィルターされた画像データを組み合わせて立体写真画像を生成するステ
ップとを含むことを特徴とする。
【００１６】
ここで本発明の多視点画像の形成装置は、第１視点に対応する画像データを受信する第
１バッファーと、第２視点に対応する画像データを受信する第２バッファーと、前記第１
バッファーで受信された前記画像データを前記第２バッファーで受信された前記画像デー
タと融合するプログラマーブル装置と、前記プログラマーブル装置から融合画像データを
受信する第３バッファーとを有することを特徴とする。
【００１７】
また、本発明の多視点画像の形成装置において、前記第１バッファーおよび前記第２バ
ッファーの少なくとも１つに受信された前記画像データを処理する画像処理装置をさらに
有することを特徴とする。
【００１８】
また、本発明の多視点画像の形成装置において、前記第１バッファーおよび前記第２バ
ッファーは仮想フレームバッファーであることを特徴とする。
【００１９】
また、本発明の多視点画像の形成装置において、前記第３バッファーは物理的フレーム
バッファーであることを特徴とする。
【００２０】
また、本発明の多視点画像の形成装置において、前記プログラマーブル装置は、複数の
種類の立体ディスプレイと互換性があるようにプログラム可能であることを特徴とする。
【００２１】
また、本発明の多視点画像の形成装置において、前記プログラマーブル装置は、前記第
１バッファーにおける画像データを前記第２バッファーにおける画像データとインターリ
ーブするようプログラムされていることを特徴とする。
【００２２】
また、本発明の多視点画像の形成装置において、前記プログラマーブル装置は、前記第
１バッファーおよび第２バッファーにおける画像データをフィルターし、前記フィルター
された画像データを組み合わせて立体写真画像を生成するようプログラムされていること
を特徴とする。
【００２３】
一方本発明のコンピューター読み取り可能な媒体は、上記の多視点画像の処理方法を実
行するよう適応されるコンピューター実行可能な命令を有することを特徴とする。
【００２４】
さらに本発明のビデオ装置は、複数の仮想フレームバッファー部分を提供するよう構成
される第１メモリーであって、前記仮想フレームバッファー部分は少なくとも第１視点に
対応する画像データおよび第２視点に対応する画像データを記憶するとともに前記記憶さ
れた画像データの少なくとも一部はテクスチャに描き込まれる前記第１メモリーと、前記
第１視点に対応する画像データを前記第２視点に対応する画像データと融合し、融合画像
データセットを形成するよう構成されるプログラマーブル装置と、前記プログラマーブル
装置から前記融合画像データセットを受信し記憶する物理的フレームバッファーを提供す
るよう構成される第２メモリーと、前記融合画像データセットを通信するために多視点デ
ィスプレイ装置への動作可能な接続を提供するインターフェイスとを有して表示データを
生成することを特徴とする。
【図面の簡単な説明】
【００２５】
【図１】本発明で使用する多視点画像データを表示するシステムを示す図。
【図２】本発明によるインターリーブされた色チャンネルを有する２視点裸眼立体視ディスプレイで使用するピクセルパターンを示す図。
【図３】（ａ）、（ｂ）は、図１のシステムで実施される画像処理方法を示すフローチャート。
【発明を実施するための形態】
【００２６】
説明された実施形態は従来技術に比べいくつかの利点を提供する。各視点を別個の物理
的フレームバッファーに描き込む代わりに、提案される発明は各視点を後処理するために
仮想フレームバッファーを用いる。従って、開示される実施形態は複数の物理的フレーム
バッファーを必要とせずに多視点の後処理を容易にする。従って、提案される発明の実施
形態は一般的なハードウェアおよびグラフィックスライブラリーと使用することができ、
異なる多視点出力モードに適応することができる。多視点画像をさまざまな種類の多視点
ディスプレイ上で描き込む能力が提供され、コスト有効な形で提供される。
【００２７】
さらなる特長および利点が続く説明で記述され、一部は説明から明らかになり、または
本明細書で教示されるものの実施により学ぶことができる。発明の特長は添付クレームで
具体的に指摘される手段および組み合わせにより実現し得ることができる。本発明の特長
は以下の説明および添付クレームからより完全に明らかになり、または以下に記述される
発明の実施により学ぶことができる。本発明の特長をさらに明確にするために、添付図面
に図示される発明の具体的な実施形態を参照してより発明を詳しい説明をなす。これらの
図面は発明の代表的な実施形態を描写するだけで、その範囲を限定するとはみなされない
ことが理解されよう。発明は添付図面を用いてさらに具体的かつ詳細に記述され、説明さ
れる。
【００２８】
続く発明の各種実施形態の詳細な説明において、本明細書の一部をなし、発明が実施さ
れ得る具体的な実施形態の例示として示される添付図面が参照される。本発明の範囲を逸
脱することなく他の実施形態も利用でき、構造的変更をなし得ることが理解されよう。
【００２９】
以下の説明は多視点ディスプレイで使用する多視点画像を描き込む方法（又は形成する
方法。以下同様。）および装置の実施形態例を提供する。図示された実施形態は複数の物
理的フレームバッファーを用いることなく多視点の後処理を容易にする。従って、提案さ
れる発明は一般的なハードウェアおよびグラフィックスライブラリーで使用することがで
き、異なる多視点出力モードに適応することができる。各視点を別個の物理的フレームバ
ッファーに描き込む代わりに、提案される発明は各視点を後処理するために仮想フレーム
バッファーを用いる。
【００３０】
図１は多視点画像データを表示するシステムを示す。システムは、ｎが１を超える任意
の整数である１組の仮想フレームバッファー１００−１〜１００−ｎ、多視点ブレンダー
１０２、物理的フレームバッファー１０４、プロセッサー１０６、および多視点ディスプ
レイ１０８を含むことができる。システムの各構成部分は協調して多視点画像データを多
視点ディスプレイ１０８に表示することができる。各種の構成部分はケーブル、プラグ接
続ができるインターフェイス、無線接続、等々、またはこれらの任意の組み合わせにより
連結された別個の存在であって良い。一実施形態で、仮想フレームバッファー１００−１
〜１００−ｎ、多視点ブレンダー１０２、物理的フレームバッファー１０４、およびプロ
セッサー１０６、は統合され、例えば各種のディスプレイの種類またはモードと互換性を
持つようプログラムできるコンピューターまたはビデオカードなど１つの装置を形成する
ことができる。
【００３１】
多視点ディスプレイ１０８は一般的な単視点ディスプレイであって良く、または多視点
画像データ向けに特別に整備されていても良い。さらに、多視点ディスプレイ１０８は静
止画像を受信し表示するように適応でき（例、プログラマーブルな写真フレーム）、また
は画像データフレームのストリームを受信し表示するように適応できる（例、テレビ、モ
ニター、またはビデオプロジェクター）。
【００３２】
生の画像データ（すなわち未融合）はさまざまなソース経由で図１のシステムにより受
信される。例えば、複数のレンズを有するカメラまたは複数のカメラが生の画像データを
供給することができ、各カメラまたはレンズは異なる視点を供給する。あるいは、異なる
視点は単一カメラの生の画像データから人工的に合成することができる。別の実施形態で
、生の画像データは例えばプロセッサー１０６または類似したプロセッサーにより取り込
まれ、またはその場で生成されたコンピューター生成のグラフィックスであることができ
る。さらに、生の画像データはインターネット接続などのネットワーク接続経由で取り込
み、またはダウンロードすることができる。生の画像データがどのように生成されまたは
受信されようと、まず仮想フレームバッファー１００−１〜１００−ｎに記憶することが
できる。これは例えば生の画像データファイルをテクスチャまたは表面に描き込むことに
より達成することができる。テクスチャレンダリングはグラフィックスライブラリーまた
はＯｐｅｎＧＬ（登録商標）などのアプリケーションプログラミングインターフェイス（
以降、ＡＰＩという）もしくはその拡張であるフレームバッファーオブジェクト拡張によ
り提供される機能であることができる。
【００３３】
仮想フレームバッファー１００−１〜１００−ｎは例えば記憶装置またはテクスチャへ
の描き込み機能で形成されるデータを記憶するよう指定されるその一部として実施するこ
とができる。記憶装置はビデオカードＲＡＭなどのＲＡＭ装置、フラッシュメモリー装置
、ＥＥＰＲＯＭ装置、または画像データを搭載または記憶するために用い得る他の記憶装
置であって良い。加えて、記憶装置は外付きでも良く、プロセッサー１０６が実装される
装置、および／または多視点ブレンダー１０２が実装される装置と一体化されていても良
い。
【００３４】
プロセッサー１０６は仮想フレームバッファー１００−１〜１００−ｎ、多視点ブレン
ダー１０２、および物理的フレームバッファー１０４の１つ以上動作およびそれらへのア
クセスを制御する機能を備えたプロセッサーおよび／またはコントローラーであることが
できる。このように、プロセッサー１０６に向かい、それから流れる双方向の矢印はデー
タおよび／または制御もしくは命令を表すことができる。プロセッサー１０６は例えば汎
用マイクロプロセッサーまたは特定用途向けマイクロプロセッサーとして実施されること
ができる。さらに、一実施形態で、プロセッサー１０６の機能は例えばプロセッサー１０
６と多視点ブレンダー１０２を１つのプロセッサー／コントローラーに一体化することに
より多視点ブレンダー１０２により行なうことができる。
【００３５】
その１つの機能として、プロセッサー１０６は仮想フレームバッファー１００−１〜１
００−ｎの１つ以上に記憶される画像データに後処理効果を適用することができる。例え
ば、バッファーの１つ以上に記憶された画像データに色相、明るさ、コントラスト、バイ
ナリーまたはグレーの閾値化、平滑化、鮮明化、等々、様々な異なる画像処理操作を行な
うことが望ましいかもしれない。ある操作は例えばぼかし効果または曇り効果など実世界
のカメラの画像化アーティファクトをシミュレートすることが望ましいかもしれない。画
像処理操作を個々の視点に対し行なうことにより、１つの視点における画像データが別の
視点における画像データに対し不当に影響を与えることはない。一実施形態で、画像処理
操作は画像データを仮想フレームバッファーに記憶する前に行なうことができる。例えば
、画像処理操作はテクスチャへの描き込み機能の前またはその一部として行なうことがで
きる。あるいは、画像処理操作はテクスチャへの描き込み機能の後に行なうことができる
。加えて、画像処理操作はグラフィックスライブラリーまたはＯｐｅｎＧＬ（登録商標）
などのＡＰＩにより提供されることができる。
【００３６】
一旦、画像データの個々の視点が処理されると、視点は多視点ブレンダー１０２により
組み合わされまたは融合されることができる。多視点ブレンダー１０２は望まれる出力モ
ードに従い仮想バッファーの内容を融合することができる。加えて、多視点ブレンダー１
０２は異なる種類のディスプレイをサポートするために融合アルゴリズムを簡単に置き換
えられるようプログラマーブルであることができる。
【００３７】
例えば、１つの融合アルゴリズムは赤／青立体写真ディスプレイに対応することができ
る。このモードでは、片方は左の視点に対応（左側仮想フレームバッファー）、他方は右
の視点に対応（右側仮想フレームバッファー）する２つの仮想フレームバッファーのみが
使用される。ＯｐｅｎＧＬ（登録商標）または他のグラフィックスライブラリーで利用可
能な画像処理機能を用い、左側仮想フレームバッファーの画像データをフィルターして画
像データの赤チャンネルのみを選択し、右側仮想フレームバッファーの画像データをフィ
ルターして画像データの青チャンネルのみを選択することができる。もたらされる赤画像
は物理的フレームバッファー１０４の赤チャンネルに転送またはコピーされることができ
、もたらされる青画像は物理的フレームバッファー１０４の青チャンネルに転送またはコ
ピーされることができる。
【００３８】
その結果、多視点ディスプレイ１０８で表示される画像の赤および青成分は各々左およ
び右視点に対応し、従って表示された画像は３−Ｄの赤／青レンズで見た場合三次元に見
える。赤／緑レンズとの互換性のために同様のプロセスを実施することができる、すなわ
ち画像データの青チャンネルをフィルターする代わりに画像データの緑チャンネルをフィ
ルターすることができる。ハードウェアを変えることなく、多視点ブレンダー１０２によ
り適用される融合アルゴリズムは単に右側仮想フレームバッファーのフィルタリングを青
から緑に変更するアップロード操作経由で更新することができる。
【００３９】
同様に、裸眼立体視ディスプレイとの互換性向けに融合アルゴリズムを、ハードウェア
を変更することなく（ディスプレイの種類以外は）更新することができる。裸眼立体視デ
ィスプレイの一種は視差バリアを用いる。２視点を有する代表的な裸眼立体視ディスプレ
イで、出力画像はインターリーブされた色チャンネルからなる。
【００４０】
図２はインターリーブされた色チャンネルを有する２視点裸眼立体視ディスプレイで使
用するピクセルパターンを示す。パターン２００は２視点裸眼立体視ディスプレイの一部
を表し、マスクされたパターン２０２，２０４を用いて形成することができる。パターン
の各正方形は画像ピクセルの成分で、Ｒは赤成分を表し、Ｇは緑で、Ｂは青である。裸眼
立体視でないディスプレイと同じように、裸眼立体視ディスプレイにおける各ピクセルは
人間の眼で見た場合融合されるよう密接に集められた赤成分、緑成分、および青成分で表
すことができる。しかし裸眼立体視ディスプレイでは異なる視点のピクセル成分が互いに
インターリーブされ得る。視差バリアはディスプレイが左の観点から見られる場合に右視
点のピクセル成分を遮蔽することができ、ディスプレイが右の観点から見られる場合に左
視点のピクセル成分を遮蔽することができる。（２つより多いビューを有する裸眼立体視
ディスプレイに対し同様のパターンおよび対応する視差バリアを用いることができる。）
このように、パターン２００，２０２，２０４において、Ｌの下付き文字を有するピクセ
ル成分は左視点に対応、Ｒの下付き文字を有するピクセル成分は右視点に対応し、パター
ン２００は繰り返してディスプレイ全体にわたり延長させることができる。
【００４１】
２視点裸眼立体視ディスプレイ向けの出力画像を作り出すには２つの仮想フレームバッ
ファーを用いることができる。仮想フレームバッファーの１つに記憶される左視点が像ま
たはフレームは左視点マスク、すなわち左視点のピクセル成分において１の値を含みその
他においてゼロを含むテクスチャ、で結び付け、または変調される（例、ＯｐｅｎＧＬ（
登録商標）機能を用いて）ことができる。この操作はパターン２０２のような多色の市松
パターンを形成することができる。右視点画像は同様に右視点マスク、すなわち右視点の
ピクセル成分において１の値を含みその他においてゼロを含むテクスチャ、で処理するこ
とができる。パターン２０４はこの操作の結果であり得る。次にパターン２０２，２０４
を付加して物理的フレームバッファー１０４に融合することにより出力画像をパターン２
００として形成することができる。
【００４２】
再度図１を参照すると、物理的フレームバッファー１０４は記憶装置、または多視点ブ
レンダー１０２により形成されるデータを記憶するよう指定されるその一部として実施す
ることができる。記憶装置はビデオカードＲＡＭなどのＲＡＭ装置、フラッシュメモリー
装置、ＥＥＰＲＯＭ装置、または画像データを搭載または記憶するために用い得る他の記
憶装置であって良い。加えて、記憶装置は外付きでも良く、プロセッサー１０６が実装さ
れる装置および／または多視点ブレンダー１０２が実装される装置と一体化されていても
良い。一実施形態で、物理的フレームバッファー１０４はディスプレイとの直接インター
フェイスに適応されるビデオカード上のＲＡＭバッファーである。ある実施形態では、物
理的フレームバッファー１０４はビデオカード上の唯一または単一のフレームバッファー
である。このように、異なる視点は取り付けられたディスプレイのプロセッサーにより画
像データを複数の物理的フレームバッファーに記憶した後に融合されるのではなく、多視
点ブレンダー１０２などのプロセッサーにより画像データを物理的フレームバッファー１
０４に記憶する前に融合することができる。
【００４３】
図３（ａ）および図３（ｂ）は各々プロセッサー１０６および／または多視点ブレンダ
ー１０２により実施され得る方法を示す。図３（ａ）において、第１視点に対応する生の
画像データが受信され、テクスチャに描き込まれ、テクスチャは第１仮想フレームバッフ
ァー、例えば仮想フレームバッファー１００−１、に記憶される（ステップＳ３０２−ａ
）。次に、第１仮想フレームバッファーの内容、すなわちそこに記憶されるテクスチャ、
に対し後処理が行なわれる（ステップＳ３０４）。同じ操作が画像データの第２視点に対
し繰り返すことができ、必要であれば画像データのさらなる視点に対し繰り返すことがで
きる。一旦、すべての視点が描き込まれると（ステップＳ３０６およびステップＳ３０７
）、各仮想フレームバッファーからの画像データを融合することができる（ステップＳ３
０８）。上述のように、用いられる融合アルゴリズムは特定のディスプレイの種類または
モードと互換性を有するようにプログラムすることができる。次に、融合された画像デー
タは物理的フレームバッファー１０４などの物理的フレームバッファーに記憶することが
でき（ステップＳ３１０）、その後特定の時間および速度において多視点ディスプレイ１
０８などのディスプレイに転送することができる（ステップＳ３１２）。
【００４４】
図３（ａ）に示す方法の代わりに図３（ｂ）に示す方法を実行することができる。図３
（ｂ）において各ステップはステップＳ３０２−ａがステップＳ３０２−ｂで置き換えら
れることを除き同じである。ステップＳ３０２−ｂはデータが物理的フレームバッファー
に描き込まれ、その後仮想フレームバッファーにコピーされるという点で異なる。この代
わりの方法は例えばビデオカードなどの方法を実行する特定のハードウェア、および／ま
たはグラフィックスＡＰＩがテクスチャを仮想フレームバッファーに描き込むなどの機能
をサポートしない場合に好ましいかもしれない。このように、図３（ｂ）の方法を用いて
図３（ａ）の方法と同じまたは類似した結果を達成することができる。
【００４５】
図３（ａ）および図３（ｂ）のステップはさまざまな形で変更することができる。例え
ば、ステップの順序を変えることができ、いくつかのステップを省略することができ、お
よび／またはさらなるステップを追加することができる。ステップは同じ周波数または異
なる周波数で実施され、または起こることができる。例えば、ステップＳ３０２−ａ（ま
たはステップＳ３０２−ｂ）、ステップＳ３０４、およびステップＳ３０６は順序を変え
、および／または組み合わせることができる。一実施形態で、ステップＳ３０４がステッ
プＳ３０２−ａ（またはステップＳ３０２−ｂ）に先行することができる。従って、画像
データは描画ステップの前に、またはその一部として処理することができる。別の実施形
態で、ステップＳ３０６がステップＳ３０４に先行することができる。従って、画像デー
タは各観点が描き込まれた後に各仮想フレームバッファーにおいて処理されることができ
る。
【００４６】
本明細書における実施形態は各種ハードウェア実装を含む特殊用途または汎用コンピュ
ーターを有してなることができる。実施形態はまたコンピューター実行可能な命令または
データ構造を搭載または記憶するコンピューター読み取り可能な媒体も含むことができる
。このようなコンピューター読み取り可能な媒体は汎用または特殊用途のコンピューター
によりアクセスできる任意の利用可能な媒体であって良い。限定ではなく例として、この
ようなコンピューター読み取り可能な媒体はＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭ、ＣＤ−ＲＯ
Ｍまたは他の光ディスク記憶、磁気ディスク記憶または他の磁気記憶装置、またはコンピ
ューター実行可能な命令またはデータ構造の形で望まれるプログラムコード手段を搭載ま
たは記憶し汎用または特殊用途のコンピューターでアクセスできる他の任意の媒体を有し
てなることができる。情報がネットワークまたは別の通信接続上（有線、無線、または有
線と無線の組み合わせ）でコンピューターに転送または提供されると、コンピューターは
接続をコンピューター読み取り可能な媒体と正しくみなす。従って、このような任意の接
続はコンピューター読み取り可能な媒体と呼ぶことがふさわしい。上述の組み合わせもコ
ンピューター読み取り可能な媒体の範囲に含むべきである。
【００４７】
コンピューター実行可能な命令は例えば汎用コンピューター、特殊用途コンピューター
、または特殊用途の処理装置に特定の機能または機能のグループを行なわせる命令および
データを有してなる。主題は構造的特長および／または方法上の行為に固有の言葉で説明
されたが、添付クレームにおいて定義される主題は上述の具体的な特長または行為に必ず
しも限定されないことが理解される。逆に、上述の具体的な特長および行為はクレームを
実施する形の例として開示される。
【００４８】
本発明はその精神または基本的な特徴から逸脱することなく、他の具体的な形に具現さ
れることができる。説明された実施形態はすべての面で単に例示的とみなされ、限定的と
はみなされない。従って発明の範囲は前述の説明ではなく添付クレームにより示される。
クレームに同等のものの意味および範囲に入るすべての変更はその範囲に包含されるもの
とする。
【符号の説明】
【００４９】
１０２…多視点ブレンダー、１０４…物理的フレームバッファー、１０６…プロセッサ
ー、１０８…多視点ディスプレイ。
【特許請求の範囲】
【請求項１】
第１視点に対応する画像データを第１バッファーに記憶するステップと、
第２視点に対応する画像データを第２バッファーに記憶するステップと、
前記第１バッファーおよび前記第２バッファーの少なくとも１つにおける前記画像デー
タを処理するステップと、
前記第１視点および前記第２視点に対応する前記画像データを融合して融合画像データ
を形成するステップと、
前記融合画像を第３バッファーに記憶するステップと、
前記融合画像データを多視点ディスプレイに転送するステップとを有することを特徴と
する多視点画像の形成方法。
【請求項２】
前記第１バッファー、前記第２バッファーおよび前記第３バッファーの少なくとも１つ
はビデオ処理カード上のＲＡＭであることを特徴とする請求項１に記載の多視点画像の形
成方法。
【請求項３】
前記第１視点または前記第２視点に対応する前記画像データを記憶するステップは前記
画像データをテクスチャに描き込むステップを含むことを特徴とする請求項１に記載の多
視点画像の形成方法。
【請求項４】
前記画像データをテクスチャに描き込むステップは、ＯｐｅｎＧＬ（登録商標）フレー
ムバッファーオブジェクト拡張に結び付いたＯｐｅｎＧＬ（登録商標）機能を実行するス
テップを含むことを特徴とする請求項３に記載の多視点画像の形成方法。
【請求項５】
前記画像データを処理するステップは、前記画像データを平滑にするステップと、前記
画像データを鮮明化するステップと、前記画像データのコントラストを変更するステップ
と、前記画像データをぼかすステップ、および前記画像データにおいて実世界カメラの画
像化アーティファクトをシミュレートするステップとの少なくとも１つを含むことを特徴
とする請求項１に記載の多視点画像の形成方法。
【請求項６】
前記第１視点に対応する画像データを記憶するステップは、前記第１視点に対応する画
像データを前記第３バッファーに描画し前記第１視点に対応する画像データを前記第１バ
ッファーにコピーするステップを含み、
前記第２視点に対応する画像データを記憶するステップは、前記第２視点に対応する画
像データを前記第３バッファーに描画し前記第２視点に対応する画像データを前記第２バ
ッファーにコピーするステップを含むことを特徴とする請求項１に記載の多視点画像の形
成方法。
【請求項７】
前記画像データを融合するステップは、前記第１バッファーにおける画像データを前記
第２バッファーにおける画像データとインターリーブするステップを含むことを特徴とす
る請求項１に記載の多視点画像の形成方法。
【請求項８】
前記画像データを融合するステップは、前記第１バッファーおよび前記第２バッファー
における画像データをフィルターするステップと、前記フィルターされた画像データを組
み合わせて立体写真画像を生成するステップとを含むことを特徴とする請求項１に記載の
多視点画像の形成方法。
【請求項９】
第１視点に対応する画像データを受信する第１バッファーと、
第２視点に対応する画像データを受信する第２バッファーと、
前記第１バッファーで受信された前記画像データを前記第２バッファーで受信された前
記画像データと融合するプログラマーブル装置と、
前記プログラマーブル装置から融合画像データを受信する第３バッファーとを有するこ
とを特徴とする多視点画像の形成装置。
【請求項１０】
前記プログラマーブル装置は、複数の種類の立体ディスプレイと互換性があるようにプ
ログラム可能であることを特徴とする請求項９に記載の多視点画像の形成装置。
【請求項１１】
前記プログラマーブル装置は、前記第１バッファーにおける画像データを前記第２バッ
ファーにおける画像データとインターリーブするようプログラムされていることを特徴と
する請求項９に記載の多視点画像の形成装置。
【請求項１２】
前記プログラマーブル装置は、前記第１バッファーおよび前記第２バッファーにおける
画像データをフィルターし、前記フィルターされた画像データを組み合わせて立体写真画
像を生成するようプログラムされていることを特徴とする請求項９に記載の多視点画像の
形成装置。
【請求項１３】
請求項１に記載の多視点画像の形成方法を実行するよう適応されるコンピューター実行
可能な命令を有することを特徴とするコンピューター読み取り可能な媒体。
【請求項１４】
複数の仮想フレームバッファー部分を提供するよう構成される第１メモリーであって、
前記仮想フレームバッファー部分は少なくとも第１視点に対応する画像データおよび第２
視点に対応する画像データを記憶するとともに前記記憶された画像データの少なくとも一
部はテクスチャに描き込まれる前記第１メモリーと、
前記第１視点に対応する画像データを前記第２視点に対応する画像データと融合し、融
合画像データセットを形成するよう構成されるプログラマーブル装置と、
前記プログラマーブル装置から前記融合画像データセットを受信し記憶する物理的フレ
ームバッファーを提供するよう構成される第２メモリーと、
前記融合画像データセットを通信するために多視点ディスプレイ装置への動作可能な接
続を提供するインターフェイスとを有して表示データを生成することを特徴とするビデオ
装置。
【請求項１】
第１視点に対応する画像データを第１バッファーに記憶するステップと、
第２視点に対応する画像データを第２バッファーに記憶するステップと、
前記第１バッファーおよび前記第２バッファーの少なくとも１つにおける前記画像デー
タを処理するステップと、
前記第１視点および前記第２視点に対応する前記画像データを融合して融合画像データ
を形成するステップと、
前記融合画像を第３バッファーに記憶するステップと、
前記融合画像データを多視点ディスプレイに転送するステップとを有することを特徴と
する多視点画像の形成方法。
【請求項２】
前記第１バッファー、前記第２バッファーおよび前記第３バッファーの少なくとも１つ
はビデオ処理カード上のＲＡＭであることを特徴とする請求項１に記載の多視点画像の形
成方法。
【請求項３】
前記第１視点または前記第２視点に対応する前記画像データを記憶するステップは前記
画像データをテクスチャに描き込むステップを含むことを特徴とする請求項１に記載の多
視点画像の形成方法。
【請求項４】
前記画像データをテクスチャに描き込むステップは、ＯｐｅｎＧＬ（登録商標）フレー
ムバッファーオブジェクト拡張に結び付いたＯｐｅｎＧＬ（登録商標）機能を実行するス
テップを含むことを特徴とする請求項３に記載の多視点画像の形成方法。
【請求項５】
前記画像データを処理するステップは、前記画像データを平滑にするステップと、前記
画像データを鮮明化するステップと、前記画像データのコントラストを変更するステップ
と、前記画像データをぼかすステップ、および前記画像データにおいて実世界カメラの画
像化アーティファクトをシミュレートするステップとの少なくとも１つを含むことを特徴
とする請求項１に記載の多視点画像の形成方法。
【請求項６】
前記第１視点に対応する画像データを記憶するステップは、前記第１視点に対応する画
像データを前記第３バッファーに描画し前記第１視点に対応する画像データを前記第１バ
ッファーにコピーするステップを含み、
前記第２視点に対応する画像データを記憶するステップは、前記第２視点に対応する画
像データを前記第３バッファーに描画し前記第２視点に対応する画像データを前記第２バ
ッファーにコピーするステップを含むことを特徴とする請求項１に記載の多視点画像の形
成方法。
【請求項７】
前記画像データを融合するステップは、前記第１バッファーにおける画像データを前記
第２バッファーにおける画像データとインターリーブするステップを含むことを特徴とす
る請求項１に記載の多視点画像の形成方法。
【請求項８】
前記画像データを融合するステップは、前記第１バッファーおよび前記第２バッファー
における画像データをフィルターするステップと、前記フィルターされた画像データを組
み合わせて立体写真画像を生成するステップとを含むことを特徴とする請求項１に記載の
多視点画像の形成方法。
【請求項９】
第１視点に対応する画像データを受信する第１バッファーと、
第２視点に対応する画像データを受信する第２バッファーと、
前記第１バッファーで受信された前記画像データを前記第２バッファーで受信された前
記画像データと融合するプログラマーブル装置と、
前記プログラマーブル装置から融合画像データを受信する第３バッファーとを有するこ
とを特徴とする多視点画像の形成装置。
【請求項１０】
前記プログラマーブル装置は、複数の種類の立体ディスプレイと互換性があるようにプ
ログラム可能であることを特徴とする請求項９に記載の多視点画像の形成装置。
【請求項１１】
前記プログラマーブル装置は、前記第１バッファーにおける画像データを前記第２バッ
ファーにおける画像データとインターリーブするようプログラムされていることを特徴と
する請求項９に記載の多視点画像の形成装置。
【請求項１２】
前記プログラマーブル装置は、前記第１バッファーおよび前記第２バッファーにおける
画像データをフィルターし、前記フィルターされた画像データを組み合わせて立体写真画
像を生成するようプログラムされていることを特徴とする請求項９に記載の多視点画像の
形成装置。
【請求項１３】
請求項１に記載の多視点画像の形成方法を実行するよう適応されるコンピューター実行
可能な命令を有することを特徴とするコンピューター読み取り可能な媒体。
【請求項１４】
複数の仮想フレームバッファー部分を提供するよう構成される第１メモリーであって、
前記仮想フレームバッファー部分は少なくとも第１視点に対応する画像データおよび第２
視点に対応する画像データを記憶するとともに前記記憶された画像データの少なくとも一
部はテクスチャに描き込まれる前記第１メモリーと、
前記第１視点に対応する画像データを前記第２視点に対応する画像データと融合し、融
合画像データセットを形成するよう構成されるプログラマーブル装置と、
前記プログラマーブル装置から前記融合画像データセットを受信し記憶する物理的フレ
ームバッファーを提供するよう構成される第２メモリーと、
前記融合画像データセットを通信するために多視点ディスプレイ装置への動作可能な接
続を提供するインターフェイスとを有して表示データを生成することを特徴とするビデオ
装置。
【図１】
【図２】
【図３】
【図２】
【図３】
【公開番号】特開２００９−２５８７２６（Ｐ２００９−２５８７２６Ａ）
【公開日】平成２１年１１月５日（２００９．１１．５）
【国際特許分類】
【出願番号】特願２００９−９１７９７（Ｐ２００９−９１７９７）
【出願日】平成２１年４月６日（２００９．４．６）
【出願人】（０００００２３６９）セイコーエプソン株式会社 (51,324)
【Ｆターム（参考）】
【公開日】平成２１年１１月５日（２００９．１１．５）
【国際特許分類】
【出願日】平成２１年４月６日（２００９．４．６）
【出願人】（０００００２３６９）セイコーエプソン株式会社 (51,324)
【Ｆターム（参考）】
[ Back to top ]