説明

画像処理装置、画像処理方法及びコンピュータプログラム

【課題】簡易な演算により物体の立体感を向上させて画面上に表示させることが可能な画像処理装置を提供する。
【解決手段】画面に立体画像として表示しようとする形状を奥行き方向に所定の間隔で分割した2以上の画像の組に対して、画面に立体画像として表示させるために各画像の描画位置を計算する描画位置計算部と、前記描画位置計算部が計算した描画位置に、前記画像の組の各画像を描画する画像描画部と、を備える、画像処理装置が提供される。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、画像処理装置、画像処理方法及びコンピュータプログラムに関する。
【背景技術】
【0002】
時分割駆動方式による映像表示装置は、複数の映像ストリームを時分割的に順次切り換えて出力する映像表示装置である。このような時分割駆動方式を用いた映像表示装置として、いわゆるシャッタ眼鏡を用いた時分割立体映像表示システム(例えば、特許文献1〜3参照)や、シャッタ眼鏡を用いて複数の観察者が画面を分割することなく異なる映像を観察するマルチ映像表示システム等が挙げられる。
【0003】
人間は、右眼と左眼とで捉えた2次元網膜映像の違い(両眼視差)から、複数の奥行き手掛かりを抽出・統合することにより、3次元情報を知覚し、物体を3次元的な立体映像として認識している。眼球の回転運動は、視線の交差角である輻輳角を変化させ、人間はこれを基に物体までの距離を判断し空間を3次元的に認識している。この原理を利用して画像を立体的に見せることを立体視と言い、左右眼用画像を一枚ずつ使って表示したものを立体画像、左右目用画像を複数枚ずつ用意し、それらを連続的に変化させたものを立体映像と呼ぶ。また、それらを表示できる装置が立体映像表示装置である。
【0004】
時分割立体映像表示システムは、左眼用映像及び右眼用映像を非常に短い周期で画面全体に交互に表示すると同時に、左眼用映像及び右眼用映像の表示周期に同期して左眼及び右眼に映像を分離して提供する立体映像表示装置を用いた映像表示システムである。例えば、シャッタ眼鏡方式は、左眼用映像が表示される間はシャッタ眼鏡の左眼部が光を透過させ、右眼部が遮光する。また、右眼用映像が表示される間はシャッタ眼鏡の右眼部が光を透過させ、左眼部が遮光する。
【0005】
任意の物体を立体表示するためには、その物体を右眼の位置から見た画像と左眼の位置から見た画像の2種類の画像の生成が必要となる。このような左右眼用画像の生成は、従来2種類の対応が行われている。
【0006】
第1の手法は、物体の三次元形状データや視聴者の左右の視点位置を用意し、それらの位置関係に基づいた計算により厳密な両眼視差を持つ左右眼用画像を描画する手法である。この手法では、厳密な視差計算により画像が生成されているため自然な立体感を持った左右眼用画像を作成することが可能となる。
【0007】
第2の手法は、左右眼用の画像を別々に用意するのではなく、同一の画像を右眼用、左眼用にずらして表示することで画像に立体感を付加する手法である。この手法は通常の二次元画像の描画方法をそのまま使うことができるため、高い計算コストを必要とせず多くの機器上で実現が可能となる。
【先行技術文献】
【特許文献】
【0008】
【特許文献1】特開平9−138384号公報
【特許文献2】特開2000−36969号公報
【特許文献3】特開2003−45343号公報
【発明の概要】
【発明が解決しようとする課題】
【0009】
しかし、上記第1の手法は、厳密な視差計算により画像が生成されているため自然な立体感を持った左右眼用画像を作成することが可能になる一方で、視差を求めるために三次元の計算・描画処理を行っており、高い計算コストや描画のための専用のハードウェア等が必要となってしまう。そのため、テレビなどの限られた処理能力しかもたない電気機器では実現が難しく、この手法の適応範囲は、高性能のCPUやグラフィックボードを備えるPC等の高い処理能力を持った機器に限定されてしまう。
【0010】
また、上記第2の手法は、高い計算コストを必要とせず多くの機器上で実現が可能となる一方で、左右の眼に写す画像がまったく同じものになるため、厳密な立体像ではなく、平面的な画像が空間上に浮かび上がっているように見えてしまうという問題点がある。
【0011】
従って、立体映像を表示できる立体映像表示装置において、高い計算コストを必要とせず、より立体感を向上させる手法が求められている。
【0012】
そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、簡易な演算により物体の立体感を向上させて画面上に表示させることが可能な、新規かつ改良された画像処理装置、画像処理方法及びコンピュータプログラムを提供することにある。
【課題を解決するための手段】
【0013】
上記課題を解決するために、本発明のある観点によれば、画面に立体画像として表示しようとする形状を奥行き方向に所定の間隔で分割した2以上の画像からなる画像の組に対して、画面に立体画像として表示させるために各画像の描画位置を計算する描画位置計算部と、前記描画位置計算部が計算した描画位置に、前記画像の組の各画像を描画する画像描画部と、を備える、画像処理装置が提供される。
【0014】
上記画像処理装置は、画面に立体画像として表示しようとする形状を奥行き方向に所定の間隔で分割して、2以上の画像からなる画像の組を生成する画像分割部をさらに備え、前記描画位置計算部は、前記画像分割部が生成した2以上の画像からなる画像の組に対して、画面に立体画像として表示させるために各画像の描画位置を計算するようにしてもよい。
【0015】
前記画像分割部は、前記画像の組を生成する際に、前記画像の組における奥行き方向の間隔と、最も奥にある画像と2番目に奥にある画像との描画位置のずれを算出するようにしてもよい。
【0016】
上記画像処理装置は、前記画像分割部が生成した2以上の画像からなる画像の組を保存する画像保存部をさらに備え、前記描画位置計算部は、前記画像保存部に保存された2以上の画像からなる画像の組に対して、画面に立体画像として表示させるために各画像の描画位置を計算するようにしてもよい。
【0017】
前記画像分割部は、生成した画像を前記画像保存部へ保存する際に、画面に立体画像として表示しようとする形状を識別する情報と紐付けて保存するようにしてもよい。
【0018】
前記画像分割部は、前記画像の組を生成する際に、前記画像の組における奥行き方向の間隔と、最も奥にある画像と2番目に奥にある画像との描画位置のずれを算出し、算出した結果を前記画像保存部へ保存するようにしてもよい。
【0019】
前記描画位置計算部は、前記画像の組における奥行き方向の間隔と、最も奥にある画像と2番目に奥にある画像との描画位置のずれから、3番目以降に奥にある画像の描画位置を計算するようにしてもよい。
【0020】
前記描画位置のずれについての情報は、予め前記画像の組に付加されているようにしてもよい。
【0021】
前記描画位置計算部が実行する、立体画像として表示させるための各画像の描画位置の計算は、所定の視差が付いた右目用画像及び左目用画像の描画位置の計算であってもよい。
【0022】
また、上記課題を解決するために、本発明の別の観点によれば、画面に立体画像として表示しようとする形状を奥行き方向に所定の間隔で分割した2以上の画像からなる画像の組に対して、画面に立体画像として表示させるために各画像の描画位置を計算する描画位置計算ステップと、前記描画位置計算ステップが計算した描画位置に、前記画像の組の各画像を描画する画像描画ステップと、を備える、画像処理方法が提供される。
【0023】
また、上記課題を解決するために、本発明の別の観点によれば、コンピュータに、画面に立体画像として表示しようとする形状を奥行き方向に所定の間隔で分割した2以上の画像からなる画像の組に対して、画面に立体画像として表示させるために各画像の描画位置を計算する描画位置計算ステップと、前記描画位置計算ステップが計算した描画位置に、前記画像の組の各画像を描画する画像描画ステップと、を実行させる、コンピュータプログラムが提供される。
【発明の効果】
【0024】
以上説明したように本発明によれば、簡易な演算により物体の立体感を向上させて画面上に表示させることが可能な、新規かつ改良された画像処理装置、画像処理方法及びコンピュータプログラムを提供することができる。
【図面の簡単な説明】
【0025】
【図1】立体表示装置による立体視の原理を示す説明図である。
【図2】立体表示装置による立体視の原理を示す説明図である。
【図3】立体表示装置による立体視の原理を示す説明図である。
【図4】本発明の一実施形態にかかる映像表示システム10の構成を示す説明図である。
【図5】本発明の一実施形態にかかる表示装置100の機能構成について示す説明図である。
【図6】本発明の一実施形態にかかる表示装置100に含まれる映像信号制御部120の構成を示す説明図である。
【図7A】画像表示部110に立体画像として表示したい形状の例を示す説明図である。
【図7B】図7Aに示したポットの画像160を、奥行き方向に所定の間隔で分割した画像の様子を模式的に示す説明図である。
【図8】本発明の一実施形態にかかる表示装置100の動作を示す流れ図である。
【図9】描画位置計算部121による画像の描画位置の計算処理について説明する説明図である。
【図10】本発明の一実施形態にかかる表示装置100に含まれる映像信号制御部120の構成を示す説明図である。
【図11】本発明の一実施形態にかかる表示装置100の動作を示す流れ図である。
【発明を実施するための形態】
【0026】
以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【0027】
なお、説明は以下の順序で行うものとする。
<1.立体視の原理>
<2.本発明の一実施形態>
[2−1.本発明の一実施形態にかかる映像表示システムの構成]
[2−2.本発明の一実施形態にかかる表示装置の機能構成]
[2−3.本発明の一実施形態にかかる表示装置の動作]
<3.まとめ>
【0028】
<1.立体視の原理>
まず、図面を参照しながら立体表示装置による立体視の原理について説明する。人間は、図1のように右眼と左眼でとらえた2次元網膜映像の違い(両眼視差)から、複数の奥行き手掛かりを抽出・統合することにより3次元情報を知覚し、物体を3次元的な立体映像として認識している。
【0029】
眼球の回転運動は図1に示した輻輳角を変化させ、人間はこれをもとに物体までの距離を判断し空間を3次元的に認識している。輻湊角とは、図1に示すように、視線の交差角である。この人間の特性を利用して、図2のように左右眼用に視差をつけた二つの二次元画像用意し、それぞれを右眼、左眼に別々に映すと、その輻湊角から図3のように物体までの距離を錯覚し画像を立体的に認識することができる。視差とは、図2で示すように左右眼用画像のずれ量である。この原理を利用して画像を立体的に見せることができる。
【0030】
<2.本発明の一実施形態>
[2−1.本発明の一実施形態にかかる映像表示システムの構成]
以下において、本発明の一実施形態にかかる映像表示システムについて説明する。まず、本発明の一実施形態にかかる映像表示システムの構成について説明する。図4は、本発明の一実施形態にかかる映像表示システム10の構成を示す説明図である。また、図4には、表示装置100と、表示装置100が表示する画像を観察者が立体的な画像として知覚するために用いるシャッタ眼鏡200も併せて示している。表示装置100とシャッタ眼鏡200とで、映像表示システム10を構成する。
【0031】
図4に示した表示装置100は、画像の表示が行われる画像表示部110を備えている。表示装置100は、通常の画像を画像表示部110に表示するだけではなく、観察者に立体的な画像として知覚させる三次元画像を画像表示部110に表示することが可能な装置である。
【0032】
画像表示部110の構成については詳述するが、ここで簡単に説明すると、画像表示部110は、光源、液晶パネル、及び液晶パネルを挟んで設けられる一対の偏光板を含んで構成される。光源からの光は液晶パネル及び偏光板を透過することで所定の方向に偏光された光となる。
【0033】
シャッタ眼鏡200は、例えば液晶シャッタからなる右目用画像透過部212及び左目用画像透過部214を含んで構成されている。シャッタ眼鏡200は、表示装置100から送出される信号に応じて、それぞれ液晶シャッタからなる右目用画像透過部212及び左目用画像透過部214の開閉動作を実行する。右目用画像透過部212及び左目用画像透過部214の開閉動作はシャッタ制御部130が実行する。観察者は、シャッタ眼鏡200の右目用画像透過部212及び左目用画像透過部214を通して、画像表示部110から発する光を見ることで、画像表示部110に表示される画像を立体的な画像として知覚することが出来る。
【0034】
一方、通常の画像が画像表示部110に表示されている場合は、観察者はそのまま画像表示部110から出射される光を見ることで、通常の画像として知覚することができる。
【0035】
なお、図4では、表示装置100をテレビ受像機として図示していたが、本発明においては、表示装置の形状はかかる例に限定されないことは言うまでも無い。例えば、本発明の表示装置は、例えば、パーソナルコンピュータその他の電子機器と接続して用いられるモニタであってもよく、携帯型のゲーム機であってもよく、携帯電話や携帯型の音楽再生装置であってもよい。
【0036】
以上、本発明の一実施形態にかかる映像表示システム10の構成について説明した。次に、本発明の一実施形態にかかる表示装置100の機能構成について説明する。
【0037】
[2−2.本発明の一実施形態にかかる表示装置の機能構成]
図5は、本発明の一実施形態にかかる表示装置100の機能構成について示す説明図である。以下、図5を用いて本発明の一実施形態にかかる表示装置100の機能構成について説明する。
【0038】
図5に示したように、本発明の一実施形態にかかる表示装置100は、画像表示部110と、映像信号制御部120と、シャッタ制御部130と、タイミング制御部140と、メモリ150と、バックライト制御部155と、を含んで構成される。
【0039】
画像表示部110は、上述したように画像の表示が行われるものであり、外部から信号が印加されると、印加された信号に応じた画像の表示が行われる。画像表示部110は、表示パネル112と、ゲートドライバ113と、データドライバ114と、バックライト115と、を含んで構成される。
【0040】
表示パネル112は、外部からの信号の印加に応じて画像を表示するものである。表示パネル112は、複数の走査線に対する順次走査により画像を表示する。表示パネル112は、ガラス等の透明板の間に所定の配向状態を有する液晶分子が封入されている。表示パネル112の駆動方式は、TN(Twisted Nematic)方式であってもよく、VA(Virtical Alignment)方式であってもよく、IPS(In−Place−Switching)方式であってもよい。以下の説明では、表示パネル112の駆動方式は、特に断りが無ければVA方式であるとして説明するが、本発明においてはかかる例に限られないことはいうまでも無い。なお、本実施形態にかかる表示パネル112は、高速なフレームレート(例えば120Hzや240Hz)で画面の書き換えが可能な表示パネルである。そして、本実施形態では、右目用の画像と左目用の画像を、表示パネル112に所定のタイミングで交互に表示させることで、観察者に立体的な画像として知覚させることができる。
【0041】
ゲートドライバ113は、表示パネル112のゲートバスライン(図示せず)を駆動するためのドライバである。ゲートドライバ113にはタイミング制御部140から信号が伝送され、ゲートドライバ113はタイミング制御部140から伝送された信号に応じてゲートバスラインへ信号を出力する。
【0042】
データドライバ114は、表示パネル112のデータ線(図示せず)に印加するための信号を生成するためのドライバである。データドライバ114にはタイミング制御部140から信号が伝送され、データドライバ114はタイミング制御部140から伝送された信号に応じてデータ線へ印加する信号を生成して出力する。
【0043】
バックライト115は、観察者側から見て画像表示部110の一番奥に設けられるものである。画像表示部110に画像を表示する際には、バックライト115からは偏光されていない(無偏光の)白色光が観察者側に位置する表示パネル112に出射される。バックライト115としては、例えば発光ダイオードを用いても良く、冷陰極管を用いてもよい。なお、図2では、バックライト115として面光源を示しているが、本発明においては光源の形態はかかる例に限定されない。例えば、表示パネル112の周辺部に光源を配置し、当該光源からの光を拡散板等で拡散することで表示パネル112に光を出射してもよい。また例えば、面光源の替わりに点光源と集光レンズを組み合わせてもよい。
【0044】
映像信号制御部120は、映像信号制御部120の外部からの映像信号の伝送を受けると、受け取った映像信号を、画像表示部110における三次元画像の表示に適したものとなるように各種信号処理を実行して出力するものである。映像信号制御部120で信号処理が施された映像信号はタイミング制御部140に伝送される。また、映像信号制御部120で信号処理が実行されると、信号処理に応じてシャッタ制御部130に所定の信号を伝送する。映像信号制御部120における信号処理としては、例えば以下のようなものがある。
【0045】
映像信号制御部120に、右目用の画像を画像表示部110に表示するための映像信号(右目用映像信号)と、左目用の画像を画像表示部110に表示するための映像信号(左目用映像信号)が伝送されると、映像信号制御部120は2つの映像信号から三次元画像のための映像信号を生成する。本実施形態においては、映像信号制御部120は、入力される右目用映像信号及び左目用映像信号から、表示パネル112に右目用画像→左目用画像→右目用画像→左目用画像→・・・の順で時分割に表示させるための映像信号を生成する。ここで、左目用画像と右目用画像をそれぞれ複数フレームずつ繰り返して表示させる場合もあり、この場合においては、映像信号制御部120は、例えば右目用画像→右目用画像→左目用画像→左目用画像→右目用画像→右目用画像→・・・の順に表示させるための映像信号を生成する。
【0046】
シャッタ制御部130は、映像信号制御部120における信号処理に基づいて生成される所定の信号の伝送を受け、当該信号に応じてシャッタ眼鏡200のシャッタ動作を制御するシャッタ制御信号を生成するものである。シャッタ眼鏡200では、シャッタ制御部130で生成され、例えばIEEE802.15.4に基づく無線によって発せされるシャッタ制御信号に基づいて、右目用画像透過部212及び左目用画像透過部214の開閉動作が実行される。バックライト制御部155は、映像信号制御部120における信号処理に基づいて生成される所定の信号の伝送を受け、当該信号に応じてバックライトの点灯動作を制御するバックライト制御信号を生成するものである。
【0047】
タイミング制御部140は、映像信号制御部120から伝送される信号に応じて、ゲートドライバ113およびデータドライバ114の動作に用いられるパルス信号を生成するものである。タイミング制御部140でパルス信号を生成して、ゲートドライバ113およびデータドライバ114がタイミング制御部140で生成されたパルス信号を受けることで、映像信号制御部120から伝送される信号に応じた画像が表示パネル112に画像が表示される。
【0048】
メモリ150は、表示装置100を動作させるためのコンピュータプログラムや、表示装置100の各種設定等が格納されるものである。そして、本実施形態では、画像表示部110に立体画像として表示させようとする画像(例えばアイコン画像等)のデータが格納されている。映像信号制御部120は、メモリ150に格納されている画像を用いて、画像表示部110に立体画像として表示させるための画像描画処理を実行する。
【0049】
以上、本発明の一実施形態にかかる表示装置100の機能構成について説明した。次に、本発明の一実施形態にかかる表示装置100に含まれる映像信号制御部120の構成について説明する。
【0050】
図6は、本発明の一実施形態にかかる表示装置100に含まれる映像信号制御部120の構成を示す説明図である。以下、図6を用いて本発明の一実施形態にかかる表示装置100に含まれる映像信号制御部120の構成について説明する。
【0051】
図6に示したように、本発明の一実施形態にかかる表示装置100に含まれる映像信号制御部120は、描画位置計算部121と、画像描画部122と、を含んで構成される。
【0052】
描画位置計算部121は、映像信号制御部120の外部から供給される物体データの情報を用いて、当該物体を画像表示部110に立体画像として表示させるための描画位置を計算するものである。この描画位置計算部121が実行する描画位置の計算は、例えば、右目用画像と左目用画像とを所定の視差を持って画像表示部110に表示するための、右目用画像及び左目用画像に対する描画位置の計算処理である。描画位置計算部121は、画像の描画位置を計算すると、その描画位置の情報を画像描画部122に送る。
【0053】
画像描画部122は、描画位置計算部121が計算した、物体を立体画像として表示させるための画像の描画位置の情報に基づいて、画像を描画する処理を実行するものである。画像描画部122が、画像の描画位置の情報に基づいて、画像を描画する処理を実行すると、その画像は立体画像として画像表示部110に表示されることになる。
【0054】
本実施形態では、画像表示部110に立体画像として表示したい形状を奥行き毎に分割した複数の画像の組は用意される。そして、画面上の位置に応じて、この画像の組の各画像を、画像描画部122が適切にずらして描画することで、高速に違和感のない視差画像を作成する。
【0055】
図7Aは、画像表示部110に立体画像として表示したい形状の例を示す説明図であり、ポットの画像160が図示されている。この画像160の三次元形状データ(XYZ空間のデータ)を用意し、また、視聴者の左右の視点位置を用意し、それらの位置関係に基づいた計算を行うことで、厳密な両眼視差を持つ左右眼用画像を描画ことができる。しかし、上述したように、三次元形状データに対する厳密な計算を実行することは、非常に高い計算コストや描画のための専用のハードウェア等を必要とするものである。
【0056】
そこで本実施形態では、上述したように、画像表示部110に立体画像として表示したい形状を奥行き毎に分割した複数の画像の組を予め用意し、その画像に対して、三次元画像として表示させるための描画位置を、画像描画部122が計算する。
【0057】
図7Bは、図7Aに示したポットの画像160を、奥行き方向に所定の間隔、例えば等間隔で分割した画像の様子を模式的に示す説明図である。図7Bには、図7Aに示したポットの画像160を奥行き方向に4等分した、それぞれ断面の画像161a、161b、161c、161dが図示されている。
【0058】
物体データは、物体の奥行き毎の形状を表す複数の画像と対応する奥行きの値の組と、物体自体の立体映像の中での仮想的な三次元座標(立体映像で表現されている空間内で物体がどこに配置されているか)で構成される。物体データの画像は、あらかじめ手作業で作成しておくか、物体の三次元データに基づいて計算で作成する。
【0059】
描画位置計算部121は、画像161a、161b、161c、161dのそれぞれに対して、画像表示部110に立体画像として表示させるための描画位置を計算する。これにより、画像161a、161b、161c、161dのそれぞれが、所定の視差を持って画像表示部110に表示されることになり、ユーザは、シャッタ眼鏡200を通して、所定の視差を持って画像表示部110に表示された画像161a、161b、161c、161dを見ることで、図7Aに示したポットの画像160を立体画像として認識することができる。
【0060】
以上、本発明の一実施形態にかかる表示装置100に含まれる映像信号制御部120の構成について説明した。次に、本発明の一実施形態にかかる表示装置100の動作について説明する。
【0061】
[2−3.本発明の一実施形態にかかる表示装置の動作]
図8は、本発明の一実施形態にかかる表示装置100の動作を示す流れ図である。図8に示した流れ図は、映像信号制御部120による、画像表示部110に立体画像として表示させたい画像に対する画像処理を示したものである。以下、図8を用いて本発明の一実施形態にかかる表示装置100の動作について説明する。
【0062】
まず、映像信号制御部120に、立体画像として表示させたい物体の三次元モデルを、奥行き方向に分割した画像の組が入力される(ステップS101)。この画像の組は、例えばメモリ150に格納されていてもよく、放送局から放送されてくる映像信号に含まれているような形態であってもよい。
【0063】
立体画像として表示させたい物体の三次元モデルを奥行き方向に分割した画像の組が映像信号制御部120に入力されると、描画位置計算部121は、映像信号制御部120に入力された画像のそれぞれに対して描画位置を計算する(ステップS102)。
【0064】
図9は、描画位置計算部121による画像の描画位置の計算処理について説明する説明図である。本実施形態では、視点位置の座標を原点(0,0,0)として、物体の三次元位置を(X3d,Y3d,Z3d)、物体の画像表示部110における描画位置を(X2d,Y2d)とする。
【0065】
描画位置計算部121は、物体データに含まれる三次元座標を仮想的に定義された右眼、左眼位置からの相対座標に変換したものと個々の画像の奥行き情報から、以下の式に基づいて、各画像の左右眼用画像の二次元座標を計算する。
X2d=X3d/(Z3d+奥行き)*係数x
Y2d=Y3d/(Z3d+奥行き)*係数y
【0066】
係数x、係数yは変換におけるパースのかかり具合を調整する係数で、0より大きければ任意の値を使用して構わない。また、奥行きの値は図9に示した0,D,2Dに該当する。
【0067】
なお、相対化された三次元座標は、仮想の視点位置を原点とし、画面奥方向を+Z、画面上方向を+Y、画面右方向を+Xとしてある。二次元座標も、画面中央を原点として、右方向を+X、上方向を+Yとしてある。
【0068】
なお、図9のように分割された画像の各画像間の距離(D)が等しい場合、描画位置計算部121は、以下に示す手順により描画位置計算を簡略化し、近似的な描画位置を求めてもよい。
【0069】
まず描画位置計算部121は、上記数式により、奥行き=0の画像の描画位置を求める。同様に、描画位置計算部121は、奥行き=Dの画像の描画位置を求める。そして描画位置計算部121は、奥行き=0の画像と奥行き=Dの画像の描画位置のずれから、奥行きがDだけ変化したときの描画位置のずれ(dxとする)を求める。
【0070】
以降の奥行き2D、奥行き3D等の描画位置計算は、上述のように求めた奥行きDに対する描画位置のずれdxを用いて描画位置を計算する。例えば、奥行き2Dの描画位置のずれは2dxであり、奥行き=3Dの描画位置のずれ3dxである。
【0071】
また、上記のような簡略化した計算を用いる場合には、奥行きDが変化したときの描画位置のずれdxをあらかじめ近似的な固定値として求めておき、画像と組みとなった物体データとして提供されるようにしてもよい。これにより、描画位置計算部121による描画位置計算にかかるコストをさらに少なくすることができる。
【0072】
上記ステップS102で、描画位置計算部121が、映像信号制御部120に入力された画像のそれぞれに対して描画位置を計算すると、続いて、画像描画部122が、描画位置計算部121が計算した、物体を立体画像として表示させるための画像の描画位置の情報に基づいて、画像を描画する処理を実行する(ステップS103)。ステップS103で、画像描画部122が画像を描画する処理を実行することで、映像信号制御部120に入力された画像を、立体画像として画像表示部110に表示させることができる。
【0073】
以上、本発明の一実施形態にかかる表示装置100の動作について説明した。次に、本発明の一実施形態にかかる表示装置100に含まれる映像信号制御部120の変形例について説明する。
【0074】
物体のデータ形式によっては、物体が奥行き方向に所定の間隔毎に分割された画像ではなく、物体の三次元形状データ(三次元モデル)として情報が与えられることも考えられる。このような場合、上記の描画位置計算、画像描画等の処理に入る前の前処理として、三次元モデルの立体的な形状の断面図を作成することにより、本実施形態にかかる画像処理が適用可能となり、以降の描画にかかる計算コストを軽減させるようにしてもよい。分割画像には、三次元モデルをZ方向に所定の間隔(例えば等間隔)で分断した時の断面図が用いられる。このとき、Z方向の分断間隔を狭くすればより三次元モデルに近い立体画像を生成でき、分断間隔を広くすればより高速な描画が可能となる。
【0075】
図10は、本発明の一実施形態にかかる表示装置100に含まれる映像信号制御部120の変形例の構成を示す説明図である。以下、図10を用いて本発明の一実施形態にかかる表示装置100に含まれる映像信号制御部120の変形例の構成について説明する。
【0076】
図10に示したように、図10を用いて本発明の一実施形態にかかる表示装置100に含まれる映像信号制御部120の変形例は、描画位置計算部121と、画像描画部122と、画像分割部123と、画像保存部124と、を含んで構成される。
【0077】
図10に示した映像信号制御部120は、奥行き毎に分割された画像ではなく、物体の三次元形状データの供給を受けて、その三次元形状データから三次元モデルの立体的な形状の断面図を作成するものである。そのため、図6に示した映像信号制御部120と比較して、三次元形状データから三次元モデルの立体的な形状の断面図を作成する画像分割部123と、画像分割部123が生成した画像を保存する画像保存部124とが追加された構成を有している。
【0078】
画像分割部123は、映像信号制御部120に入力されてきた三次元形状データを用いて、図7Bのように奥行き方向(Z方向)に所定の間隔で分割した画像を生成するものである。画像分割部123は、奥行き方向(Z方向)に所定の間隔で分割した画像を生成すると、生成した画像の組を描画位置計算部121に送るとともに、生成した画像の組を画像保存部124へ保存する。
【0079】
描画位置計算部121は、画像分割部123が生成した、または画像分割部123が生成して画像保存部124へ保存した画像に対して、画像表示部110に立体画像として表示させるための描画位置を計算する。これにより、画像分割部123が生成した複数の画像のそれぞれが、所定の視差を持って画像表示部110に表示されることになり、ユーザは、画像分割部123が生成した複数の画像を、シャッタ眼鏡200を通して見ることで、映像信号制御部120に入力されてきた物体の三次元形状データを立体画像として認識することができる。
【0080】
なお、図10では、映像信号制御部120の中に、画像分割部123が生成した三次元モデルの立体的な形状の断面の画像を保存する画像保存部124を備える構成を示しているが、本発明はかかる例に限定されない。例えば、画像分割部123が生成した三次元モデルの立体的な形状の断面の画像は、メモリ150に保存される形態であってもよい。
【0081】
次に、図10に示した映像信号制御部120の動作について説明する。図11は、本発明の一実施形態にかかる表示装置100の動作を示す流れ図である。図11に示した流れ図は、図10に示した映像信号制御部120による、画像表示部110に立体画像として表示させようとする画像に対する画像処理を示したものである。以下、図11を用いて本発明の一実施形態にかかる表示装置100の動作について説明する。
【0082】
映像信号制御部120に三次元形状データが入力されると(ステップS111)、画像分割部123が、入力された三次元データから、奥行き方向に所定の間隔で分割した画像を生成する(ステップS112)。例えば、映像信号制御部120に図7Aの符号160で示したような三次元データが入力されると、画像分割部123は、図7Bに示したように、奥行き方向に所定の間隔で分割した画像を生成する。
【0083】
上記ステップS112で、画像分割部123が、入力された三次元データから、奥行き方向に所定の間隔で分割した画像を生成すると、続いて、描画位置計算部121は、画像分割部123が生成した画像のそれぞれに対して描画位置を計算する(ステップS113)。
【0084】
上記ステップS113で、描画位置計算部121が、画像分割部123が生成した画像のそれぞれに対して描画位置を計算すると、続いて、画像描画部122が、描画位置計算部121が計算した、物体を立体画像として表示させるための画像の描画位置の情報に基づいて、画像を描画する処理を実行する(ステップS114)。ステップS114で、画像描画部122が画像を描画する処理を実行することで、映像信号制御部120に入力された入力された三次元データを、立体画像として画像表示部110に表示させることができる。
【0085】
このように映像信号制御部120は、映像信号制御部120に入力されてきた三次元形状データを用いて、図7Bのように奥行き方向(Z方向)に所定の間隔で分割した画像を生成し、その画像のそれぞれに対して物体を立体画像として表示させるための画像の描画位置を算出する。これにより、映像信号制御部120に三次元形状データが入力されてきた場合であっても、三次元画像として表示させる際の画像の描画にかかる計算コストを軽減させることができる。
【0086】
以上、本発明の一実施形態にかかる表示装置100に含まれる映像信号制御部120の変形例について説明した。
【0087】
<3.まとめ>
以上説明したように本発明の一実施形態にかかる表示装置100は、映像信号制御部120に入力された、立体画像として表示させたい物体の三次元モデルを奥行き方向に分割した画像の組を、画像表示部110へ立体画像として表示させるために、描画位置を算出する。そして映像信号制御部120は、算出した画像表示部110の描画位置へその画像の組を表示させる。
【0088】
これにより、本発明の一実施形態にかかる表示装置100は、簡易な演算により、立体画像として表示させたい物体を、画像表示部110へ表示させることが可能となる。
【0089】
本発明の一実施形態にかかる表示装置100は、立体画像として表示させたい物体の三次元モデルから、その三次元モデルを奥行き方向に分割した画像の組を生成し、その画像の組に対して、画像表示部110へ立体画像として表示させるために、描画位置を算出することができる。これにより、本発明の一実施形態にかかる表示装置100は、立体画像として表示させたい物体の三次元モデルを、簡易な演算により二次元画像に変換し、画像表示部110へ表示させることが可能となる。
【0090】
なお、上述した本発明の一実施形態にかかる表示装置100の動作は、ハードウェアによって行われるようにしてもよく、ソフトウェアによって行われるようにしてもよい。上述した本発明の一実施形態にかかる表示装置100の動作をソフトウェアによって実行する場合には、表示装置100の内部にコンピュータプログラムが記録された媒体を備え、当該媒体からCPUその他の制御装置が、そのコンピュータプログラムを読み出して順次実行することによって上述した動作が行われるようにしてもよい。
【0091】
以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。
【0092】
例えば、上記実施形態では、表示装置100が表示する画像をユーザがシャッタ眼鏡200を通して見ることで、ユーザが三次元画像として認識することができる表示装置100を例に挙げて説明したが、本発明はかかる例に限定されない。表示装置100が表示する画像をユーザが直接見ることで、ユーザが三次元画像として認識することができる映像表示装置であっても、同様に本発明を適用可能であることは言うまでもない。
【0093】
また例えば、上記実施形態では、映像信号制御部120に三次元形状データが入力されてきた場合に、奥行き方向(Z方向)に所定の間隔で分割した画像を生成し、その画像のそれぞれに対して物体を立体画像として表示させるための画像の描画位置を算出していたが、三次元形状データから既に奥行き方向に所定の間隔で分割した画像を生成していれば、改めて分割画像を生成する必要はないので、画像保存部124から画像を読みこめばよい。その際に、映像信号制御部120に入力されてくる三次元形状データを識別するための情報を生成するか、または予め当該三次元形状データにその三次元形状データを識別するための情報を付加して映像信号制御部120に供給してもよい。そして、映像信号制御部120は、分割画像を画像保存部124に保存する際に、三次元形状データを識別するための情報と紐付けて分割画像を画像保存部124に保存してもよい。
【0094】
また例えば、上記実施形態では、映像信号制御部120に三次元形状データが入力されてきた場合に、奥行き方向(Z方向)に所定の間隔で分割した画像を生成し、その画像のそれぞれに対して物体を立体画像として表示させるための画像の描画位置を算出していたが、分割画像の生成の際に、最も奥にある画像と2番目に奥にある画像との描画位置のずれについて算出していてもよい。そして、分割画像の生成の際に算出した最も奥にある画像と2番目に奥にある画像との描画位置のずれの情報を、画像保存部124に保存するようにしてもよい。
【符号の説明】
【0095】
10 映像表示システム
100 表示装置
112 表示パネル
113 ゲートドライバ
114 データドライバ
115 バックライト
120 映像信号制御部
121 描画位置計算部
122 画像描画部
123 画像分割部
124 画像保存部
130 シャッタ制御部
140 タイミング制御部
150 メモリ
155 バックライト制御部
200 シャッタ眼鏡


【特許請求の範囲】
【請求項1】
画面に立体画像として表示しようとする形状を奥行き方向に所定の間隔で分割した2以上の画像からなる画像の組に対して、画面に立体画像として表示させるために各画像の描画位置を計算する描画位置計算部と、
前記描画位置計算部が計算した描画位置に、前記画像の組の各画像を描画する画像描画部と、
を備える、画像処理装置。
【請求項2】
画面に立体画像として表示しようとする形状を奥行き方向に所定の間隔で分割して、2以上の画像からなる画像の組を生成する画像分割部をさらに備え、
前記描画位置計算部は、前記画像分割部が生成した2以上の画像からなる画像の組に対して、画面に立体画像として表示させるために各画像の描画位置を計算する、請求項1に記載の画像処理装置。
【請求項3】
前記画像分割部は、前記画像の組を生成する際に、前記画像の組における奥行き方向の間隔と、最も奥にある画像と2番目に奥にある画像との描画位置のずれを算出する、請求項2に記載の画像処理装置。
【請求項4】
前記画像分割部が生成した2以上の画像からなる画像の組を保存する画像保存部をさらに備え、
前記描画位置計算部は、前記画像保存部に保存された2以上の画像からなる画像の組に対して、画面に立体画像として表示させるために各画像の描画位置を計算する、請求項2に記載の画像処理装置。
【請求項5】
前記画像分割部は、生成した画像を前記画像保存部へ保存する際に、画面に立体画像として表示しようとする形状を識別する情報と紐付けて保存する、請求項4に記載の画像処理装置。
【請求項6】
前記画像分割部は、前記画像の組を生成する際に、前記画像の組における奥行き方向の間隔と、最も奥にある画像と2番目に奥にある画像との描画位置のずれを算出し、算出した結果を前記画像保存部へ保存する、請求項4に記載の画像処理装置。
【請求項7】
前記描画位置計算部は、前記画像の組における奥行き方向の間隔と、最も奥にある画像と2番目に奥にある画像との描画位置のずれから、3番目以降に奥にある画像の描画位置を計算する、請求項1に記載の画像処理装置。
【請求項8】
前記描画位置のずれについての情報は、予め前記画像の組に付加されている、請求項7に記載の画像処理装置。
【請求項9】
前記描画位置計算部が実行する、立体画像として表示させるための各画像の描画位置の計算は、所定の視差が付いた右目用画像及び左目用画像の描画位置の計算である、請求項1に記載の画像処理装置。
【請求項10】
画面に立体画像として表示しようとする形状を奥行き方向に所定の間隔で分割した2以上の画像からなる画像の組に対して、画面に立体画像として表示させるために各画像の描画位置を計算する描画位置計算ステップと、
前記描画位置計算ステップが計算した描画位置に、前記画像の組の各画像を描画する画像描画ステップと、
を備える、画像処理方法。
【請求項11】
コンピュータに、
画面に立体画像として表示しようとする形状を奥行き方向に所定の間隔で分割した2以上の画像からなる画像の組に対して、画面に立体画像として表示させるために各画像の描画位置を計算する描画位置計算ステップと、
前記描画位置計算ステップが計算した描画位置に、前記画像の組の各画像を描画する画像描画ステップと、
を実行させる、コンピュータプログラム。


【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7A】
image rotate

【図7B】
image rotate

【図8】
image rotate

【図9】
image rotate

【図10】
image rotate

【図11】
image rotate


【公開番号】特開2012−53741(P2012−53741A)
【公開日】平成24年3月15日(2012.3.15)
【国際特許分類】
【出願番号】特願2010−196647(P2010−196647)
【出願日】平成22年9月2日(2010.9.2)
【出願人】(000002185)ソニー株式会社 (34,172)
【Fターム(参考)】