立体画像表示装置および立体画像表示方法
【課題】複数のユーザに適した立体画像を同時に提供することができる立体画像表示装置を提供する。
【解決手段】複数の画像を時分割で順に表示する表示手段と、前記表示手段における表示と同期して同期信号を出力する同期手段と、前記同期手段から前記同期信号を受信し、前記同期信号に応じて右目または左目を遮蔽して前記複数の画像を選択的に右目および左目に透過させる遮蔽手段と、前記遮蔽手段の傾きを検出する傾き検出手段とを備え、前記遮蔽手段は、前記傾き検出手段が検出した傾きに応じて、前記複数の画像から右目および左目に透過させる画像の組を選択する。
【解決手段】複数の画像を時分割で順に表示する表示手段と、前記表示手段における表示と同期して同期信号を出力する同期手段と、前記同期手段から前記同期信号を受信し、前記同期信号に応じて右目または左目を遮蔽して前記複数の画像を選択的に右目および左目に透過させる遮蔽手段と、前記遮蔽手段の傾きを検出する傾き検出手段とを備え、前記遮蔽手段は、前記傾き検出手段が検出した傾きに応じて、前記複数の画像から右目および左目に透過させる画像の組を選択する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、立体画像表示装置に関する。
【背景技術】
【０００２】
人間は、一定の間隔を持つ２つの目の各々により得られる画像の違いから空間を把握する能力を持つ。左右の目による互いに異なる視点から得られる画像中の対応点のずれを視差と呼び、視差を手掛かりの一つとして対象物の位置関係を立体的に把握している。このことを利用して、右目用画像を右目に表示し、左目用画像を左目に表示する手段を設けて、右目用画像、左目用画像として視差を付けた画像を提供することにより、立体視が可能であることが知られている。ここでは、立体視を意図して視差を付けた複数の画像のことを立体画像と称する。
【０００３】
立体視において、人間は、視差に応じた両眼の光軸のなす角、すなわち輻輳の大きさを対象物までに対応付けていると言われている。よって、右目用画像を右に、左目用画像を左に、相対的にずらし、視差を付けた画像を見せると、実際の表示面より遠くに表示物を知覚させることができる。しかし、この時に視差を付けすぎて、ユーザの目の間隔、正確には無限遠を見ているときの瞳孔間の距離を超えた視差とすると、自然界では起き得ない状態となり、立体視が不可能となるか、立体視できたとしても人体に強い負担を強いることになる。同様に、実際の表示面より近距離側でも、極端な視差は不自然な位置関係を生じるうえ、極度な寄り目をユーザに強いることとなり、快適な立体視ができなくなる。また、視差が大きくなるほど輻輳と目の焦点の調節との乖離が大きくなり、不自然な状態となるので、違和感を生じる。このように、立体画像の視差量がある一定の範囲では快適に立体視が可能であるが、視差量が大きくなると両目の画像が融合しなくなり、立体視が不可能となる。
【０００４】
ここで、立体画像は、立体画像表示装置に対して水平に観察することを前提として制作されるのが一般的であり、人間の目が左右に離れた位置に配置されていることから、水平に視差を付けた画像が立体画像として制作される。しかし、実際の視聴環境では、必ずしも立体画像表示装置に対して水平に画像を観察するとは限らず、立体画像表示装置に対して水平でなく画像を観察する場合、左右の目には自然界では起き得ない不自然な視点からの画像が入力され、立体視が不可能になったり、人体に負担を強いたりするおそれがある。
【０００５】
そこで、ユーザの傾きに合わせて視点画像を提供する立体画像表示装置が、特許文献１に示されている。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００６−８４９６３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
特許文献１の方法によれば、ユーザの傾きに合わせた視点画像を提供することができる。しかしながら、１系統のシステムでは、傾きに対応できるユーザは一人に限定され、複数のユーザに対応できなかった。
【０００８】
本発明は、このような実情に鑑み、複数のユーザに適した立体画像を同時に提供することができる立体画像表示装置を提供する。
【課題を解決するための手段】
【０００９】
本発明の立体画像表示装置は、複数の画像を時分割で順に表示する表示手段と、前記表示手段における表示と同期して同期信号を出力する同期手段と、前記同期手段から前記同期信号を受信し、前記同期信号に応じて右目または左目を遮蔽して前記複数の画像を選択的に右目および左目に透過させる遮蔽手段と、前記遮蔽手段の傾きを検出する傾き検出手段とを備え、前記遮蔽手段は、前記傾き検出手段が検出した傾きに応じて、前記複数の画像から右目および左目に透過させる画像の組を選択することを特徴とする。
【００１０】
前記複数の画像は、被写体をそれぞれ異なる視点からとらえた画像から成り、前記右目および左目に透過させる画像の組を２組以上含んでもよい。
【００１１】
前記右目および左目に透過させる画像の組は、それぞれ異なる傾きに対応する視差が付けられていてもよい。
【００１２】
前記右目および左目に透過させる画像の組は、それぞれ異なる縦方向の視差が付けられていてもよい。
【００１３】
前記複数の画像のうち少なくとも１つは、複数の前記右目および左目に透過させる画像の組に含まれてもよい。
【００１４】
前記複数の画像は、２次元表示用画像を含んでもよい。
【００１５】
前記複数の画像は、それぞれ前記表示手段において時分割で表示される際の表示タイミングを考慮して生成されたものであってもよい。
【００１６】
前記傾き検出手段から前記遮蔽手段の傾きが得られない場合、前記遮蔽手段は前記複数の画像における予め決められた画像の組を右目および左目に透過させてもよい。
【００１７】
前記傾き検出手段から前記遮蔽手段の傾きが得られない場合、前記遮蔽手段は前記複数の画像における同一の画像を右目および左目に透過させてもよい。
【００１８】
前記傾き検出手段によって検出された前記遮蔽手段の傾きに対応する前記右目および左目に透過させる画像の組がない場合、前記遮蔽手段は前記複数の画像における予め決められた画像の組を右目および左目に透過させてもよい。
【００１９】
前記傾き検出手段によって検出された前記遮蔽手段の傾きに対応する前記右目および左目に透過させる画像の組がない場合、前記遮蔽手段は前記複数の画像における同一の画像を右目および左目に透過させてもよい。
【００２０】
前記同期信号は、前記傾き検出手段により検出される前記遮蔽手段の傾きと前記右目および左目に透過させる画像の組との対応を示す信号を含んでもよい。
【００２１】
前記同期信号は、前記傾き検出手段から前記遮蔽手段の傾きが得られない場合に前記遮蔽手段が右目および左目に透過させる画像の組を表す信号を含んでもよい。
【００２２】
前記同期信号は、前記傾き検出手段によって検出された前記遮蔽手段の傾きに対応する前記右目および左目に透過させる画像の組がない場合に前記遮蔽手段が右目および左目に透過させる画像の組を表す信号を含んでもよい。
【００２３】
前記複数の画像の各々における前記異なる視点は、それぞれ予め設定された前記遮蔽手段の傾きに対応付けて設定されてもよい。
【００２４】
前記複数の画像の各々における前記異なる視点は、ユーザにより選択された前記遮蔽手段の傾きに対応付けて設定されてもよい。
【００２５】
前記複数の画像の各々における前記異なる視点は、前記複数の画像の各々に関連付けられた設定値にしたがって設定されてもよい。
【００２６】
前記同期信号は赤外線で出力されてもよい。
前記同期信号は電波で出力されてもよい。
【００２７】
前記遮蔽手段はメガネ型であってもよい。
前記遮蔽手段はヘルメット型であってもよい。
前記遮蔽手段はユーザの顔を覆う面形であってもよい。
【００２８】
ある視点の画像の画面領域の全面または一部を縦方向に相対的にずらすことによって縦方向の視差を調節し、前記複数の画像を生成する画像調整手段を備えてもよい。
【００２９】
ある視点の画像から、被写体をそれぞれ異なる視点からとらえた画像とみなせる画像を生成し、前記複数の画像を生成する画像調整手段を備えてもよい。
【発明の効果】
【００３０】
本発明によれば、複数のユーザに適した立体画像を同時に提供することができる。
【図面の簡単な説明】
【００３１】
【図１】本発明の第１の実施形態による立体画像表示装置の構成の一例を示すブロック図である。
【図２】視差調整部１０１の構成の一例を示すブロック図である。
【図３】シャッタメガネ１０７の構成の一例を示すブロック図である。
【図４】（ａ）〜（ｄ）は視差と奥行き表示との関係を説明する図である。
【図５】（ａ）〜（ｃ）は立体画像表示装置とユーザの視点の相対的な傾きによる視差の違いを説明する図である。
【図６】複数の視点を説明する図である。
【図７】複数の視点を説明する図である。
【図８】視点画像の提示方法の一例を示す図である。
【図９】本発明の第２の実施形態による視差調整部１０１の構成の一例を示すブロック図である。
【図１０】本発明の第３の実施形態による立体画像表示装置の構成の一例を示すブロック図である。
【図１１】円筒形の物体から点状の物体が発射されている様子を示す図である。
【発明を実施するための形態】
【００３２】
＜第１の実施形態＞（ずらし処理による複数視差生成）
以下に、本発明の第１の実施形態による立体画像表示装置について、図面を参照して説明する。図１は、本実施形態による立体画像表示装置の構成の一例を示すブロック図である。図１に示すように、本実施形態による立体画像表示装置は、画像データを受け付ける入力部１０と、入力された画像データを処理し、立体表示が可能な表示データ（以下、立体視用画像データ）を生成するための画像処理を行う立体画像処理部１００と、画像の視差を調節する視差調整部１０１と、画像を表示部に合わせ表示制御を行う表示制御部１０２と、画像を表示する表示部１０３と、システム全体を制御するシステム制御部１０４と、ユーザが入力を行うユーザ入力部１０５と、シャッタメガネ１０７の同期を行うメガネ同期部１０６と、ユーザが装着するシャッタメガネ１０７とを備える。
【００３３】
図２は、視差調整部１０１の構成の一例を示すブロック図である。視差調整部１０１は、通信・制御部１０１１と、視差算出部１０１２と、ずらし処理部１０１３ａ〜１０１３ｃとを備える。
【００３４】
図３は、シャッタメガネ１０７の構成の一例を示すブロック図である。シャッタメガネ１０７は、メガネ同期受信部１０７１と、シャッタ制御部１０７２と、傾き検出部１０７３と、シャッタ部１０７４ａおよび１０７４ｂとを備える。シャッタ部１０７４ａおよび１０７４ｂは、それぞれ右目用シャッタおよび左目用シャッタに対応する。
【００３５】
次に、各部の動作を説明する。入力部１０は、立体画像表示装置に入力される画像データを立体画像処理部１００に伝送し、立体画像処理部１００は、入力形式に合わせて左目用データと右目用データとに展開する。ここで、入力される画像データは、放送波によるもの、記録メディアから電子的に読み出されたもの、通信により取得されたものなど、どのようなものでも構わない。すなわち、入力部１０は、半導体メモリ読出し装置であってもよいし、光ディスクや磁気ディスクの読み出し装置、電波の受信機や、ネットワークとの通信機能を持つものであってもよい。要するに、立体画像として解釈可能なデータを入力できるものであればよい。また、右目用画像データ、左目用画像データは、１枚の画像データから作成されたものでも構わない。すなわち、画像データと奥行きデータもしくは視差データから合成された複数視点画像、または、奥行き情報を推定して作成された複数視点画像であってもよい。多眼表示用の多視点画像であってもよい。立体画像処理部１００は、入力された画像データに付加情報がある場合は付加情報を抽出し、システム制御部１０４に伝送する。付加情報は、撮影時のパラメータや視差情報、視差量補正情報や奥行きデータ等であってもよい。
【００３６】
立体画像処理部１００は、展開した左目用画像データおよび右目用画像データを視差調整部１０１に伝送し、視差調整部１０１は、左目用画像データおよび右目用画像データを複数の視点画像に再合成する。視差調整部１０１内では、システム制御部１０４と通信する通信・制御部１０１１が各部を制御している。視差算出部１０１２は、視差調整部１０１に入力された画像データにおける左右画像の対応点のずれから視差を算出し、算出された視差データを、通信・制御部１０１１を経由してシステム制御部１０４に伝送する。前述のように奥行きデータが入力されるもの、あるいは奥行きデータが作成されるものでは、それを視差データとして用いてもよい。視差データは、例えば画像内の視差の最大量および最小量であってもよい。なお、ここでは表示画面より遠景側の視差を正の値、近景側を負の値で表現するので、視差の最大値は画面内の最も遠い点の視差、最小値は画面内の最もユーザに近い点の視差を表す。
【００３７】
システム制御部１０４は、視差調整部１０１から受信した視差データをもとに各視点画像に適切な画像ずらし量を求め、視差調整部１０１に送信する。
【００３８】
視差調整部１０１の画像ずらし処理部１０１３ａ〜１０１３ｃは、システム制御部１０４から通信・制御部１０１１を経由して画素ずらし量をそれぞれ受信し、右目用画像全面を上下及び左右にずらす処理をそれぞれ行い、視差を調整して出力する。視差調整部１０１は、視差を調整していない右目用データと、画像ずらし処理部１０１３ａ〜１０１３ｃの各々により視差を調整された右目用画像データと、視差を調整していない左目用画像データとを、複数（この例では４つ）の視点画像として出力する。
【００３９】
なお、ここでは右目用画像のみずらして視差を調整したが、左目用画像をずらしても、左右目用画像両方をずらしてもよい。要するに、複数の視点画像の対応点同士を相対的に上下及び左右にずらすことによって視差を調整できるようにしてあればよい。
【００４０】
また、予め視差範囲が想定できる場合には、視差算出部１０１２による算出結果を用いず、画像ずらし量を予め算出した値としてもよい。この場合、視差算出部１０１２を省略でき、さらにシステム制御部１０４の処理量も軽減できる。視差範囲は画像データに付随するものでも、取り決めによるものでも構わない。
【００４１】
表示制御部１０２は、視差調整１０１が出力した視差を調整された複数の視点画像を受信し、表示部１０３に合わせた表示制御をすると同時に、メガネ同期部１０６に対し、前記複数の視点画像を表示するタイミング、およびそれぞれの右目用画像および左目用画像を表示するタイミングを示す信号を送る。
【００４２】
メガネ同期部１０６は、表示制御部１０２から受信した信号に基づいて、ユーザの装着するシャッタメガネ１０７に対し同期信号を送り、表示部１０３との同期処理を行う。具体的には、例えば、表示部１０３に液晶表示パネルを用いて４視点の視点画像を時分割で表示し、ユーザの装着したシャッタメガネ１０７と同期して立体視を行う方式の場合、表示制御部１０２は、表示部１０３に対し、４視点の視点画像を順に出力する。出力の頻度は、例えば各視点に対応する画像をそれぞれ毎秒６０枚とする。表示部１０３は表示制御部１０２から送られる画像を随時表示し、その際、表示部１０３とシャッタメガネ１０７は同期し、表示部１０３に順に表示される４視点の視点画像のいずれかに左目用シャッタ、右目用シャッタを同期して開とすることにより、それぞれ対応する視点画像を左目及び右目に提示して、立体視を実現する。具体的には、シャッタメガネ１０７は、メガネ同期受信部１０７１がメガネ同期部１０６から受信する同期信号と、傾き検出部１０７３がシャッタメガネ１０７の傾きを検出して出力する傾き検出信号とに基づいて、シャッタ制御部１０７２がシャッタの開閉信号のタイミングを制御し、シャッタ部１０７４ａおよび１０７４ｂを駆動することによって、表示部１０３と同期してユーザに視点画像を提示する。
【００４３】
なお、メガネ同期部１０６とシャッタメガネ１０７とを有線接続せず、同期信号を無線で伝達することによりユーザの負担を軽減することができる。同期信号を赤外線で伝送する場合、表示部１０３付近のユーザから見える位置にメガネ同期部１０６を設けることにより、ユーザが表示画面を観察できる位置にいれば、メガネ同期部１０６とメガネ同期受信部１０７１の間には障害物がなく、かつ適切な距離を保つことになり、シャッタメガネ１０７は同期信号を受信することができる。同期信号を電波で伝送する場合、表示部１０３付近のユーザから見える位置にメガネ同期部１０３を設ける必要がなく、シャッタメガネ１０７がメガネ同期部１０３を向いている必要もないので、メガネ同期部１０３とシャッタメガネ１０７の間に障害物があった場合でも同期が可能である。
【００４４】
図４は、視差と奥行き表示との関係を説明する図である。図４は、ユーザとディスプレイを上から見た図である。
【００４５】
図４（ａ）は、立体画像表示時に右目用画像と左目用画像の対応点がディスプレイ上で同じ位置にある状態であり、通常の２次元表示状態の場合と同様である。この場合、対応点はディスプレイ上にあるように知覚される。
【００４６】
図４（ｂ）は、ディスプレイ上で、右目用画像の対応点が右に、左目用画像の対応点が左にずれた状態である。この状態では、ユーザには対応点はディスプレイ面よりも奥に知覚される。
【００４７】
図４（ｃ）は、ディスプレイ上で、右目用画像の対応点が左に、左目用画像の対応点が右にずれた状態である。この状態では、ユーザには対応点はディスプレイ面よりも手前に知覚される。
【００４８】
図４（ｄ）は、図４（Ａ）〜図４（ｃ）をまとめた図である。前述したとおり、ディスプレイ上で、右目用画像の対応点が右、左目用画像の対応点が左にずれて表示され、かつ左右目用画像の対応点間の距離が両眼距離に等しい場合、対応点は無限遠に知覚されるが、対応点間の距離が両眼距離を超えた場合、視線は開散方向には向かず、融合できなくなる。同様に、ディスプレイ上で、右目用画像の対応点が左に、左目用画像の対応点が右に大きくずれた状態では、視線は極端な寄り目状態となり、融合できなくなる。従って、快適に立体視できる奥行きの範囲、すなわち、図４（ｄ）に示した快適融合範囲は、これらの融合範囲よりもディスプレイ面に対し内側となる。これらを応用し、左右目用画像を相対的に左右にずらし、左右目用画像中の対応点のずれを大きくしたり小さくしたりすることによって、立体画像の奥行き感を全体的により奥にしたり、より手前にしたりすることができる。
【００４９】
図５は、立体画像表示装置とユーザの視点の相対的な傾きによる視差の違いを説明する図である。図５（ａ）に示すように、立体画像表示装置に対してユーザの視点が傾いていない状態で立体視に必要な左右方向の視差がｄであったとする。立体画像表示装置に対してユーザが傾くと、図５（ｂ）に示すように、傾きに応じて、本来視差がつくべきでない、ユーザにとって上下方向の視差ｄｖ’がつき、ユーザにとって左右方向の視差がｄからｄｈ’に減少してしまい、自然な立体視の効果が低減してしまう。そこで、図５（ｃ）に示すように、立体画像表示装置とユーザの視点の相対的な傾きに合わせて表示画像に縦方向の視差ｄｖをつけ、横方向の視差をｄｈに調整し、ユーザにとって左右方向の視差ｄ’がｄと等しくなるようにすることにより、自然な立体視を妨げないようにすることができる。具体的には、右目用画像と左目用画像とを相対的に上下及び左右にずらすことによって、必要な上下左右方向の視差をつける。
【００５０】
なお、傾きの角度が小さい範囲では、横方向の視差の変位量が大きくないゆえ、横方向の視差を調節する処理は省略してもよい。また、縦方向の視差も、被写体までの距離が縦方向の変位量に対して十分に大きい時は、視点の移動による視界の変位の方が、視点の移動による個別の被写体との相対的な視差変化よりも大きいので、縦方向の画像のずらし処理で簡易的に実現できる。
【００５１】
次に、シャッタメガネ１０７について説明する。シャッタメガネ１０７は、メガネ同期部１０６から送られる同期信号に同期して、複数の視点画像からシャッタメガネ１０７で測定された傾き角度に合う組み合わせを選択し、適切な視差量の視点画像をユーザに提示することにより立体視を可能とする。図６および図７は複数の視点を説明する図である。複数の視点画像は、例えば図６のように、角度別の組み合わせをそれぞれ持ってもよいが、図７のように、いずれかの視点を共通化してそれらの視点を組み合わせることにより複数の立体画像を得るようにすると、視点画像数を削減できる。このとき、厳密には左右の目の傾きの変位と画像の変位が対応しないが、表示されている画像との距離が離れているときには大きく影響しない。本実施形態では、図７のａ〜ｄに示す視点位置を採用することにより、４つの視点画像から３つの異なる左右画像の組を得ることができ、左右の傾きに応じた視差をもつ立体画像を提示することができる。なお、前述の通り、縦方向の視差はずらし処理により簡易的に実現しているため、視点の傾き、すなわち図７における視点のなす角度である角ｃａｄおよび角ｂｄａは小さい方がよい。
【００５２】
ユーザの視点の傾きは装着しているシャッタメガネ１０７の傾きで近似できるので、シャッタメガネ１０７の傾きに応じて縦方向の視差を選択することにより自然な立体視を可能とすることができる。シャッタメガネ１０７の傾きは、圧電式ジャイロセンサなどの小型のデバイスで容易に検知することができる。なお、傾き検出部１０７３は必ずしもシャッタメガネ１０７に内蔵されている必要はなく、表示部１０３側からシャッタメガネ１０７を画像で認識して傾きを検出するなどの方法でもよい。要するに表示部１０３と個々のシャッタメガネ１０７との相対的な傾きを検出し、個々のシャッタメガネ１０７に伝達すればよい。
【００５３】
傾きと視点画像の組み合わせの対応は予め決めておいてもよいが、メガネ同期部１０６から送られる同期信号に重畳して伝送するとよい。これにより、種々の立体画像や観察環境、目的に対応した適切な画像の組をユーザに提示することができる。なお、ユーザの動きが激しい時や、姿勢が適切でない場合は、正しい傾きを検知できない場合がある。傾き自体は正しく検知できていても、対応可能な傾きの範囲を超えていることもある。このような時には、予め規定された組み合わせの画像を提示することによって、ユーザに不自然な視差の付いた画像を提示しないようにできる。また、傾きを検知できない場合や、対応可能な傾きの範囲を超えている場合に提示する画像の組み合わせを表す信号を、メガネ同期部から送られる同期信号に重畳して伝送してもよい。シーンや目的に合わせて提示する画像の組を変更することもできる。なお、このような時には、２次元の画像を提示すると、傾きと視差の対応を取らずに済み、ユーザに不自然な視差の付いた画像を提示しないようにすることができる。
【００５４】
このようにして、複数の傾き角度に対応する複数の画像の組を、ユーザの装着するシャッタメガネ１０７の傾きに応じて提示することができる。すなわち、それぞれの視点画像の組み合わせから、想定した傾きに対応した視差量の立体画像を得ることができ、複数のユーザに対し適切な視差量で立体画像を提示することができる。それぞれのユーザが用いるシャッタメガネ１０７がそれぞれの傾きに応じて適切な視点画像の組み合わせを選択しているため、１台の立体画像表示装置に対してユーザをいくらでも増やすことができる。それぞれのユーザの装着するシャッタメガネ１０７は一般的なサングラスと大きな違いはなく、見た目の違和感も大きくはないゆえ、ユーザ同士のコミュニケーションを阻害する要因にもなりにくい。
【００５５】
なお、本実施形態では、図２に示す通り、ずらし処理部１０１３ａ〜１０１３ｃによる処理を経ない画像、すなわち、入力画像に改変を加えずに表示部１０３に送られる画像がある。ずらし処理部１０１３ａ〜１０１３ｃによる処理を経ると、画像は視差調整の影響により上下左右に移動される。従って、ずらし処理を経た画像のうち、同じ画像を左右の目で観察すると、視差が付加されていないゆえ２次元画像として観察されるが、画像は視差調整に伴い上下左右に移動することとなり好ましくない。よって、ずらし処理部１０１３を経ない画像を両眼に提示することによって、入力された画像そのものを２次元画像として良好に観察することができる。シャッタメガネが選択する視点画像の組にはこのように左右同一の視点画像を提示する組み合わせがあってもよい。
【００５６】
また、２次元表示する画像として立体表示用の画像とは異なる画像を予め用意してもよい。立体画像は両目で観察することを前提に制作されるので、立体画像のうちの１枚を抽出すると、必ずしも適切な視点となっていない場合がある。特に基線長に対し被写体までの距離が近い場合に顕著である。この現象を避けるために、２次元表示することを前提とした画像を用意すると、良好な２次元画像を提示することができる。
【００５７】
図８は、２次元表示用の画像を含む４つの視点画像の提示方法の一例を示す図である。視点画像１−３は、互いに異なる視点からの画像である。視点画像１を左目に提示し視点画像２を右目に提示する画像の組１と、視点画像２を左目に提示し視点画像３を右目に提示する画像の組２と、視点画像１を左目に提示し視点画像３を右目に提示する画像の組３は、互いに異なる視差が付加された視差画像となる。２次元表示する場合、例えば、画像の組４のように、視差画像にも含まれる視点画像１を左目および右目に提示することもできるが、２次元表示用の画像である視点画像４を左目および右目に提示することもできる。
【００５８】
＜第２の実施形態＞（画素ごとずらしによる複数視差生成）
以下に、本発明の第２の実施形態による立体画像表示装置について、図面を参照して説明する。本実施形態による立体画像表示装置の構成例は、第１の実施形態と同様に図１で示される。図１に示すように、本実施形態による立体画像表示装置は、入力部１０と、入力された画像データを処理し、立体視用画像データを生成するための画像処理を行う立体画像処理部１００と、画像の視差を調整する視差調整部１０１と、画像を表示部１０３に合わせ表示制御を行う表示制御部１０２と、画像を表示する表示部１０３と、システム全体を制御するシステム制御部１０４と、ユーザが入力を行うユーザ入力部１０５と、シャッタメガネ１０７の同期を行うメガネ同期部１０６と、ユーザが装着するシャッタメガネ１０７とを備える。
【００５９】
図９は、本実施形態による視差調整部１０１の構成の一例を示すブロック図である。視差調整部１０１は、通信・制御部１０１１と、視差算出部１０１２と、視差補正部１０１４と、遮蔽補償部１０１５と、画像加工部１０１６ａ〜１０１６ｅとを備える。
【００６０】
シャッタメガネ１０７の構成は、第１の実施形態の図３に示したものと同様なので、説明を省略する。
【００６１】
次に、各部の動作を説明する。入力部１０は、立体画像表示装置に入力される画像データを立体画像処理部１００に伝送し、立体画像処理部１００は、入力形式に合わせて左目用データと右目用データとに展開する。同時に、立体画像処理部１００は、入力された画像データに付加情報がある場合は付加情報を抽出し、システム制御部１０４に伝送する。ここで、入力される画像データは、放送波によるもの、記録メディアから電子的に読みだされたもの、通信により取得されたものなど、どのようなものでも構わない。また、右目用画像データ、左目用画像データは、１枚の画像データから作成されたものでも構わない。すなわち、画像データと奥行きデータもしくは視差データから合成された複数視点画像、または、奥行き情報を推定して作成された複数視点画像であってもよい。多視点画像データとして入力された複数視点画像であってももちろんよい。
【００６２】
立体画像処理部１００は、展開した左目用画像データおよび右目用画像データを視差調整部１０１に送り、視差調節部１０１は、受信した左目用画像データおよび右目用画像データを複数の視点画像に再合成する。視差調整部１０１内部では、システム制御部１０４と通信する通信・制御部１０１１が各部を制御している。
【００６３】
視差算出部１０１２は、視差調整部１０１に入力された画像データにおける左右画像の対応点のずれから視差を算出し、算出した視差データを視差補正部１０１４に送る。視差データは、例えば画素ごとに視差を表した、いわゆる視差マップであってもよい。
【００６４】
視差補正部１０１４は、受信した視差データのうち、システム制御に必要なパラメータを選択して、通信・制御部１０１１を経由してシステム制御部１０４に送信する。
【００６５】
システム制御部１０４は、視差調整部１０１から受信したパラメータと、設定された視点位置とに基づいて、各視点画像に適切な補正パラメータを求め、視差調整部１０１に送信する。ここで、各視点位置は、想定された傾きに応じて設定される。想定された傾きは、予め特定の値に設定しておいてもよいが、予め画像情報に記録しておいた設定値から得る方法、ユーザが入力する方法などを用いてもよい。予め画像情報に記録しておくと、場面に応じた傾きを設定することができる。また、ユーザが入力する方法だと、ユーザそれぞれの特徴、例えば画像に合わせて体を傾ける癖の強さなどに合わせて傾き画像を準備することができる。
【００６６】
通信・制御部１０１１は、システム制御部１０４から視差調整部１０１に送信される補正パラメータを視差補正部１０１４に伝送する。視差補正部１０１４は、通信・制御部１０１１から受信した補正パラメータと、視差算出部１０１２から受信した視差データとに基づいて、それぞれ想定された視点位置に対応する、補正された複数の視差データを算出し、遮蔽補償部１０１５と、各視点画像に対応する画像加工部１０１６とに出力する。この時の補正された複数の視差データも、いわゆる視差マップであってもよい。
【００６７】
遮蔽補償部１０１５は、視差補正部１０１４により補正された複数の視差データに基づき画像を再合成する際、視点が変わることによって遮蔽関係が変化して画像データがなくなってしまう部分に関し、画像データを補償する補償画像データを生成する。補償画像データは、例えば入力された画像のうち遮蔽関係の異なる他の視点の画像を用いて生成できる。補償画像データは、画像加工部１０１６の数に対応して複数出力される。
【００６８】
画像加工部１０１６ａ〜１０１６ｅは、前記補正された複数の視差データおよび前記補償画像データを用いて、それぞれ想定された視点位置に合わせた新たな視点画像を再合成する。より具体的には、前記補正された複数の視差データに基づいて、対象領域の画素データを移動させ、移動によって対応する画素がなくなった領域には前記補償画像データの対応部分の画素データを補う。このようにして、入力された立体視用データに含まれていない視点の画像を生成する。
【００６９】
なお、ここでは左右画像から視差を求めて演算したが、入力が画像データと奥行きデータの組み合わせである場合は、入力された奥行きデータを視差データに変換して用いてもよい。また、図９では画像加工部１０１６ａ〜１０１６ｅに対し左右の画像を入力しているが、右または左のうち一方の画像でも構わない。このようにすることによって、仮想的にカメラ位置をずらした視点画像を生成し、視点の傾きに対応して画像の視差を調整することができる。
【００７０】
視差調整部１０１は、生成した複数の視点画像を表示制御部１０２に送る。表示制御部１０２は、表示部１０３に合わせた表示制御をすると同時に、メガネ同期部１０６に対し信号を送る。
【００７１】
メガネ同期部１０６は、表示制御部１０２から受信した信号に基づいて、ユーザの装着するシャッタメガネ１０７に対し同期信号を送り、表示部１０３との同期処理を行う。具体的には、例えば、表示部１０３に液晶表示パネルを用いて５視点の視点画像を時分割で表示し、ユーザの装着したシャッタメガネ１０７と同期して立体視を行う方式の場合、表示制御部１０２は、表示部１０３に対し、５視点の視点画像を順に出力する。出力の頻度は、例えば各視点に対応する画像をそれぞれ毎秒６０枚とする。表示部１０３は表示制御部１０２から送られる画像を随時表示し、その際、表示部１０３とシャッタメガネ１０７は同期し、表示部１０３に順に表示される５視点の視点画像のいずれかに左目用シャッタ、右目用シャッタを同期して開とすることにより、それぞれ対応する視点画像を左目及び右目に提示して、立体視を実現する。
【００７２】
前述の通り、視差は左右の視点の相対的なずれにより生ずるので、傾きに対応して視差を付ける必要がある。従って、図６に示すように、複数の視点からの画像のうち、相対的に視点のずれ量が適切な画像を２枚抽出し、それぞれ右目用画像及び左目用画像として用いれば傾きに対応した視差のついた画像の組を選択する。また、この時のそれぞれの視点の相対的なずれ量を調節することにより、組み合わせの選び方を変えることによって複数の視点画像を得ることができる。図７に５視点からの視点画像から５通りの視差のついた画像を得る例を示す。要素となる視点画像が多いほど多くの組み合わせを得ることができるのは言うまでもない。
【００７３】
シャッタメガネ１０７はこれら複数の視点画像から、それぞれのシャッタメガネ１０７の傾きに対応した視点画像の組み合わせを選択し、提示する。このようにして、複数のユーザに対し適切な視差量で立体画像を提示することができる。
【００７４】
なお、ここでは２点の視点画像から５点の視点画像を変換により得る方法を示したが、当然のことながら実際のカメラを５視点分用いて画像を取得しても構わない。視点の配置は、光軸を平行に設置したものでも、光軸が輻輳するものでもよいし、同一直線上に視点を配置したものでも、光軸の輻輳点までが等距離になるよう配置したものでも構わない。また、５視点での例を示したが、視点数は５に限定されるものではなく、画像のフレームレートや表示デバイスの応答速度に応じて加減されるべきものである。
【００７５】
また、本実施形態では仮想的にカメラ位置を移動した５視点の画像を表示したが、このほかに２次元画像として表示する視点画像を追加し、左右の目で同じ画像を２次元画像として観察できるようにしてもよい。立体画像は、両目で観察することを前提に制作されるので、立体画像のうちの１枚を抽出すると、必ずしも適切な視点となっていない場合がある。このような不適切な視点は、特に基線長に対し被写体までの距離が近い場合に顕著である。また、２次元画像として表示する視点画像を追加すると、視点の合成に伴う画像の変質を避けることができる。２次元表示により、体質・体調により立体画像の鑑賞に適さないユーザも含めて安全に画像を観察することができる。２次元画像も３次元画像と同様に、シャッタメガネを用いて提示することができる。
【００７６】
なお、本実施形態では、画素ごとに視差を表した視差マップを例にシステムを説明したが、必ずしも画素ごとの視差である必要はなく、縮小画像に対しての視差マップであってもよい。この場合、実際に処理する際に、低い解像度の視差マップのまま用いてもよいが、フィルタ処理等により解像度を高めた視差マップを用いてもよい。
【００７７】
＜第３の実施形態＞（ＣＧによる複数視差生成）
以下に、本発明の第３の実施形態による立体画像表示装置について、図面を参照して説明する。図１０は、本実施形態による立体画像表示装置の構成の一例を示すブロック図である。図１０に示すように、本実施形態による立体画像表示装置は、ユーザ操作部２０と、ゲーム制御部２０１と、表示制御部２０２と、表示部２０３と、メガネ同期部２０６と、シャッタメガネ２０７とを備える。ゲーム制御部２０１は、システム制御部２０１１と、プログラム蓄積部２０１２と、立体画像生成部２０１３とを備える。
【００７８】
ユーザ操作部２０は、ゲームコントローラであってもよい。システム制御部２０１１は、ユーザ操作部２０、プログラム蓄積部２０１２、立体画像生成部２０１３および表示制御部２０２のそれぞれとのＩ／Ｏや、ＣＰＵや、メモリ等を備えてもよい。プログラム蓄積部２０１２は、ゲームソフト等を蓄積するハードディスクや光ディスクなどであってもよい。立体画像生成部２０１３は、ＧＰＵ（Ｇｒａｐｈｉｃ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）およびメモリ等を備えてもよい。
【００７９】
表示部２０３は、液晶ディスプレイやプラズマディスプレイ、有機ＥＬディスプレイなどであってもよいが、応答速度が高速な表示デバイスであることが望ましい。例えば、ＬＥＤディスプレイ等を用いれば高速な応答が得られる。メガネ同期部２０６は、シャッタメガネ２０７に対し、赤外線や電波などで同期信号を送る。ユーザ操作部２０やシャッタメガネ２０７は複数あっても構わない。
【００８０】
シャッタメガネ２０７の構成は、第１の実施形態及び図３に示したシャッタメガネ１０７の構成と同様である。
【００８１】
次に、各部の動作を説明する。システム制御部２０１１は、ユーザ操作部２０からの操作を受け、プログラム蓄積部２０１２からプログラムを読み出して実行する。前述の通り、プログラムは、光ディスクやハードディスクであるプログラム蓄積部２０１２に蓄積されていてもよい。プログラム蓄積部２０１２は、固体メモリ等の他の記憶装置であってももちろん構わない。プログラム蓄積部２０１２がハードディスクである場合、ハードディスクへのプログラムの蓄積は、光ディスクから読み出す方法、ネットワークから取得する方法、固体メモリから読み出す方法など、どのような形態でもよい。
【００８２】
システム制御部２０１１は、プログラムの実行に伴い、立体画像生成部２０１３に対し、立体画像モデルを出力する。ここで、立体画像モデルとは、表示すべき物体の形状や配置、照明となる光源の位置、および仮想的な視点位置等を３次元座標上に表現したものである。３次元座標は、直交座標系でも極座標系でも構わない。また、表示すべき物体の表面の模様や状態等が記述されていてもよい。立体画像生成部２０１３は、システム制御部２０１１から入力された立体画像モデルを展開して、個々の視点画像を生成する。より具体的には、立体画像モデルに含まれる物体の配置図を立体画像モデルに含まれる複数の仮想カメラの位置から見た図を生成することによって、複数の視点画像を得る。複数の仮想カメラの位置は、複数の視点に対応する位置とし、例えば図７に示すような配置とする。図７は５台のカメラによる５つの視点画像から５通りの視差のついた画像を得るようすを示している。なお、複数の仮想カメラの位置は、想定する傾きによって決定される。想定する傾きは、ユーザが入力してもよいし、プログラムに予め設定されたものを用いてもよい。ユーザが入力する場合は、ユーザの好みや癖に応じた傾きに対応する視差画像を提示できるし、プログラムに予め設定されたものを用いる場合は、プログラムの想定する場面に合った画像を提示できる。
【００８３】
立体画像生成部２０１３は、生成した複数の視点画像を表示制御部２０２に送る。表示制御部２０２は、立体画像生成部２０１３から複数の視点画像を受信し、表示部２０３に合わせた表示制御をすると同時に、メガネ同期部２０６に対し信号を送る。メガネ同期部２０６は、表示制御部２０２から受信した信号に基づいて、ユーザの装着するシャッタメガネ２０７に対し同期信号を送り、表示部２０３との同期処理を行う。具体的には、例えば、表示部２０３に液晶表示パネルを用いて５視点の視点画像を表示し、ユーザの装着したシャッタメガネ２０７と同期して立体視を行う方式の場合、表示制御部２０２は、表示部２０３に対し、５視点の視点画像を順に出力する。出力の頻度は、例えば各視点に対応する画像をそれぞれ毎秒６０枚とする。表示部２０３は表示制御部２０２から送られる画像を随時表示するが、表示部２０３とシャッタメガネ２０７は同期し、表示部に順に表示される５視点の視点画像のいずれかに左目用シャッタ、右目用シャッタを同期して開とすることにより、それぞれ対応する視点画像を左目及び右目に提示して、立体視を実現する。
【００８４】
この際、複数の視点画像は順に表示されるので、立体画像生成部２０１３では、各視点画像に関し、表示部２０３において実際に時分割で表示されるタイミングを考慮して画像を生成すると、ユーザに時間軸に沿った滑らかな動きを知覚させることができ、好適である。図１１は、この際の様子を説明する図である。図１１は、円筒形の物体から点状の物体が発射されている様子を表している。このとき、円筒形の物体は視点に合わせて見え方が変化し、点状の物体は時間の経過に合わせて表示位置が変化している。点状の物体も視点に合わせて見え方が変化するが、図１１は小さいため、図の表現上、視点変化は省略されている。時間軸に沿った画像は、時系列画像の補間により生成してもよい。
【００８５】
前述のとおり、シャッタメガネ１０７は、これら複数の視点画像から、それぞれのシャッタメガネ１０７の傾きに対応した視点画像の組み合わせを選択し、提示する。このようにして、複数のユーザに、各々のユーザの頭の傾きに対応する視点画像を提示することができる。すなわち、想定した傾きに対応した視差量の立体画像を得ることができ、それぞれの視点画像の組み合わせから、複数のユーザに対しそれぞれ適切な視差量で立体画像を提示することができるので、複数のユーザが同時に同じ表示画面に向かって立体表示のゲームを楽しむことができる。また、それぞれのユーザが用いるシャッタメガネがそれぞれ適切な視点画像の組み合わせを選択しているので、１台の立体画像表示装置に対して画面を観察するユーザをいくらでも増やすことができる。
【００８６】
なお、上記では立体画像表示装置に同期して画像を選択する遮蔽手段としてシャッタメガネを採用しているが、遮蔽手段の形状はメガネに限定されない。例えば、面のようなものやヘルメットの目を覆う部分に遮蔽素子、例えば液晶シャッタを設けた遮断手段としてもよい。この場合、球技や格闘技等に用いる防護面や、モータスポーツ等に用いるヘルメットを模したものとすることにより、メガネを用いた場合のメガネと顔の隙間から入る外光の影響を軽減でき、立体画像表示装置を用いた、より没入感のあるゲーム装置を構成することができる。また、メガネの場合にありがちなメガネのずり落ちや傾きなどを軽減でき、頭部への密着度もメガネより高いので、より正確な顔の傾きを測定することができ、適切な視差を推定することができる。さらに、公共空間に設置されるゲーム装置では個々の構成装置は有線接続されることが好ましいが、メガネと比較して面やヘルメットでは接続線の重量等を頭全体で支えることになり、接続線によるわずらわしさを軽減することができる。
【産業上の利用可能性】
【００８７】
本発明は、立体画像表示装置に利用可能である。
【符号の説明】
【００８８】
１０ 入力部
２０ ユーザ操作部
１００ 立体画像処理部
１０１ 視差調整部
１０２、２０２ 表示制御部
１０３、２０３ 表示部
１０４、２０１１ システム制御部
１０５ ユーザ入力部
１０６、２０６ メガネ同期部
１０７、２０７ シャッタメガネ
２０１ ゲーム制御部
１０１１ 通信・制御部
１０１２ 視差算出部
１０１３ａ〜ｃ ずらし処理部
１０７１ メガネ同期受信部
１０７２ シャッタ制御部
１０７３ 傾き検出部
１０７４ａ、ｂ シャッタ部
１０１４ 視差補正部
１０１５ 遮蔽補償部
１０１６ａ〜ｅ 画像加工部
２０１２ プログラム蓄積部
２０１３ 立体画像生成部
【技術分野】
【０００１】
本発明は、立体画像表示装置に関する。
【背景技術】
【０００２】
人間は、一定の間隔を持つ２つの目の各々により得られる画像の違いから空間を把握する能力を持つ。左右の目による互いに異なる視点から得られる画像中の対応点のずれを視差と呼び、視差を手掛かりの一つとして対象物の位置関係を立体的に把握している。このことを利用して、右目用画像を右目に表示し、左目用画像を左目に表示する手段を設けて、右目用画像、左目用画像として視差を付けた画像を提供することにより、立体視が可能であることが知られている。ここでは、立体視を意図して視差を付けた複数の画像のことを立体画像と称する。
【０００３】
立体視において、人間は、視差に応じた両眼の光軸のなす角、すなわち輻輳の大きさを対象物までに対応付けていると言われている。よって、右目用画像を右に、左目用画像を左に、相対的にずらし、視差を付けた画像を見せると、実際の表示面より遠くに表示物を知覚させることができる。しかし、この時に視差を付けすぎて、ユーザの目の間隔、正確には無限遠を見ているときの瞳孔間の距離を超えた視差とすると、自然界では起き得ない状態となり、立体視が不可能となるか、立体視できたとしても人体に強い負担を強いることになる。同様に、実際の表示面より近距離側でも、極端な視差は不自然な位置関係を生じるうえ、極度な寄り目をユーザに強いることとなり、快適な立体視ができなくなる。また、視差が大きくなるほど輻輳と目の焦点の調節との乖離が大きくなり、不自然な状態となるので、違和感を生じる。このように、立体画像の視差量がある一定の範囲では快適に立体視が可能であるが、視差量が大きくなると両目の画像が融合しなくなり、立体視が不可能となる。
【０００４】
ここで、立体画像は、立体画像表示装置に対して水平に観察することを前提として制作されるのが一般的であり、人間の目が左右に離れた位置に配置されていることから、水平に視差を付けた画像が立体画像として制作される。しかし、実際の視聴環境では、必ずしも立体画像表示装置に対して水平に画像を観察するとは限らず、立体画像表示装置に対して水平でなく画像を観察する場合、左右の目には自然界では起き得ない不自然な視点からの画像が入力され、立体視が不可能になったり、人体に負担を強いたりするおそれがある。
【０００５】
そこで、ユーザの傾きに合わせて視点画像を提供する立体画像表示装置が、特許文献１に示されている。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００６−８４９６３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
特許文献１の方法によれば、ユーザの傾きに合わせた視点画像を提供することができる。しかしながら、１系統のシステムでは、傾きに対応できるユーザは一人に限定され、複数のユーザに対応できなかった。
【０００８】
本発明は、このような実情に鑑み、複数のユーザに適した立体画像を同時に提供することができる立体画像表示装置を提供する。
【課題を解決するための手段】
【０００９】
本発明の立体画像表示装置は、複数の画像を時分割で順に表示する表示手段と、前記表示手段における表示と同期して同期信号を出力する同期手段と、前記同期手段から前記同期信号を受信し、前記同期信号に応じて右目または左目を遮蔽して前記複数の画像を選択的に右目および左目に透過させる遮蔽手段と、前記遮蔽手段の傾きを検出する傾き検出手段とを備え、前記遮蔽手段は、前記傾き検出手段が検出した傾きに応じて、前記複数の画像から右目および左目に透過させる画像の組を選択することを特徴とする。
【００１０】
前記複数の画像は、被写体をそれぞれ異なる視点からとらえた画像から成り、前記右目および左目に透過させる画像の組を２組以上含んでもよい。
【００１１】
前記右目および左目に透過させる画像の組は、それぞれ異なる傾きに対応する視差が付けられていてもよい。
【００１２】
前記右目および左目に透過させる画像の組は、それぞれ異なる縦方向の視差が付けられていてもよい。
【００１３】
前記複数の画像のうち少なくとも１つは、複数の前記右目および左目に透過させる画像の組に含まれてもよい。
【００１４】
前記複数の画像は、２次元表示用画像を含んでもよい。
【００１５】
前記複数の画像は、それぞれ前記表示手段において時分割で表示される際の表示タイミングを考慮して生成されたものであってもよい。
【００１６】
前記傾き検出手段から前記遮蔽手段の傾きが得られない場合、前記遮蔽手段は前記複数の画像における予め決められた画像の組を右目および左目に透過させてもよい。
【００１７】
前記傾き検出手段から前記遮蔽手段の傾きが得られない場合、前記遮蔽手段は前記複数の画像における同一の画像を右目および左目に透過させてもよい。
【００１８】
前記傾き検出手段によって検出された前記遮蔽手段の傾きに対応する前記右目および左目に透過させる画像の組がない場合、前記遮蔽手段は前記複数の画像における予め決められた画像の組を右目および左目に透過させてもよい。
【００１９】
前記傾き検出手段によって検出された前記遮蔽手段の傾きに対応する前記右目および左目に透過させる画像の組がない場合、前記遮蔽手段は前記複数の画像における同一の画像を右目および左目に透過させてもよい。
【００２０】
前記同期信号は、前記傾き検出手段により検出される前記遮蔽手段の傾きと前記右目および左目に透過させる画像の組との対応を示す信号を含んでもよい。
【００２１】
前記同期信号は、前記傾き検出手段から前記遮蔽手段の傾きが得られない場合に前記遮蔽手段が右目および左目に透過させる画像の組を表す信号を含んでもよい。
【００２２】
前記同期信号は、前記傾き検出手段によって検出された前記遮蔽手段の傾きに対応する前記右目および左目に透過させる画像の組がない場合に前記遮蔽手段が右目および左目に透過させる画像の組を表す信号を含んでもよい。
【００２３】
前記複数の画像の各々における前記異なる視点は、それぞれ予め設定された前記遮蔽手段の傾きに対応付けて設定されてもよい。
【００２４】
前記複数の画像の各々における前記異なる視点は、ユーザにより選択された前記遮蔽手段の傾きに対応付けて設定されてもよい。
【００２５】
前記複数の画像の各々における前記異なる視点は、前記複数の画像の各々に関連付けられた設定値にしたがって設定されてもよい。
【００２６】
前記同期信号は赤外線で出力されてもよい。
前記同期信号は電波で出力されてもよい。
【００２７】
前記遮蔽手段はメガネ型であってもよい。
前記遮蔽手段はヘルメット型であってもよい。
前記遮蔽手段はユーザの顔を覆う面形であってもよい。
【００２８】
ある視点の画像の画面領域の全面または一部を縦方向に相対的にずらすことによって縦方向の視差を調節し、前記複数の画像を生成する画像調整手段を備えてもよい。
【００２９】
ある視点の画像から、被写体をそれぞれ異なる視点からとらえた画像とみなせる画像を生成し、前記複数の画像を生成する画像調整手段を備えてもよい。
【発明の効果】
【００３０】
本発明によれば、複数のユーザに適した立体画像を同時に提供することができる。
【図面の簡単な説明】
【００３１】
【図１】本発明の第１の実施形態による立体画像表示装置の構成の一例を示すブロック図である。
【図２】視差調整部１０１の構成の一例を示すブロック図である。
【図３】シャッタメガネ１０７の構成の一例を示すブロック図である。
【図４】（ａ）〜（ｄ）は視差と奥行き表示との関係を説明する図である。
【図５】（ａ）〜（ｃ）は立体画像表示装置とユーザの視点の相対的な傾きによる視差の違いを説明する図である。
【図６】複数の視点を説明する図である。
【図７】複数の視点を説明する図である。
【図８】視点画像の提示方法の一例を示す図である。
【図９】本発明の第２の実施形態による視差調整部１０１の構成の一例を示すブロック図である。
【図１０】本発明の第３の実施形態による立体画像表示装置の構成の一例を示すブロック図である。
【図１１】円筒形の物体から点状の物体が発射されている様子を示す図である。
【発明を実施するための形態】
【００３２】
＜第１の実施形態＞（ずらし処理による複数視差生成）
以下に、本発明の第１の実施形態による立体画像表示装置について、図面を参照して説明する。図１は、本実施形態による立体画像表示装置の構成の一例を示すブロック図である。図１に示すように、本実施形態による立体画像表示装置は、画像データを受け付ける入力部１０と、入力された画像データを処理し、立体表示が可能な表示データ（以下、立体視用画像データ）を生成するための画像処理を行う立体画像処理部１００と、画像の視差を調節する視差調整部１０１と、画像を表示部に合わせ表示制御を行う表示制御部１０２と、画像を表示する表示部１０３と、システム全体を制御するシステム制御部１０４と、ユーザが入力を行うユーザ入力部１０５と、シャッタメガネ１０７の同期を行うメガネ同期部１０６と、ユーザが装着するシャッタメガネ１０７とを備える。
【００３３】
図２は、視差調整部１０１の構成の一例を示すブロック図である。視差調整部１０１は、通信・制御部１０１１と、視差算出部１０１２と、ずらし処理部１０１３ａ〜１０１３ｃとを備える。
【００３４】
図３は、シャッタメガネ１０７の構成の一例を示すブロック図である。シャッタメガネ１０７は、メガネ同期受信部１０７１と、シャッタ制御部１０７２と、傾き検出部１０７３と、シャッタ部１０７４ａおよび１０７４ｂとを備える。シャッタ部１０７４ａおよび１０７４ｂは、それぞれ右目用シャッタおよび左目用シャッタに対応する。
【００３５】
次に、各部の動作を説明する。入力部１０は、立体画像表示装置に入力される画像データを立体画像処理部１００に伝送し、立体画像処理部１００は、入力形式に合わせて左目用データと右目用データとに展開する。ここで、入力される画像データは、放送波によるもの、記録メディアから電子的に読み出されたもの、通信により取得されたものなど、どのようなものでも構わない。すなわち、入力部１０は、半導体メモリ読出し装置であってもよいし、光ディスクや磁気ディスクの読み出し装置、電波の受信機や、ネットワークとの通信機能を持つものであってもよい。要するに、立体画像として解釈可能なデータを入力できるものであればよい。また、右目用画像データ、左目用画像データは、１枚の画像データから作成されたものでも構わない。すなわち、画像データと奥行きデータもしくは視差データから合成された複数視点画像、または、奥行き情報を推定して作成された複数視点画像であってもよい。多眼表示用の多視点画像であってもよい。立体画像処理部１００は、入力された画像データに付加情報がある場合は付加情報を抽出し、システム制御部１０４に伝送する。付加情報は、撮影時のパラメータや視差情報、視差量補正情報や奥行きデータ等であってもよい。
【００３６】
立体画像処理部１００は、展開した左目用画像データおよび右目用画像データを視差調整部１０１に伝送し、視差調整部１０１は、左目用画像データおよび右目用画像データを複数の視点画像に再合成する。視差調整部１０１内では、システム制御部１０４と通信する通信・制御部１０１１が各部を制御している。視差算出部１０１２は、視差調整部１０１に入力された画像データにおける左右画像の対応点のずれから視差を算出し、算出された視差データを、通信・制御部１０１１を経由してシステム制御部１０４に伝送する。前述のように奥行きデータが入力されるもの、あるいは奥行きデータが作成されるものでは、それを視差データとして用いてもよい。視差データは、例えば画像内の視差の最大量および最小量であってもよい。なお、ここでは表示画面より遠景側の視差を正の値、近景側を負の値で表現するので、視差の最大値は画面内の最も遠い点の視差、最小値は画面内の最もユーザに近い点の視差を表す。
【００３７】
システム制御部１０４は、視差調整部１０１から受信した視差データをもとに各視点画像に適切な画像ずらし量を求め、視差調整部１０１に送信する。
【００３８】
視差調整部１０１の画像ずらし処理部１０１３ａ〜１０１３ｃは、システム制御部１０４から通信・制御部１０１１を経由して画素ずらし量をそれぞれ受信し、右目用画像全面を上下及び左右にずらす処理をそれぞれ行い、視差を調整して出力する。視差調整部１０１は、視差を調整していない右目用データと、画像ずらし処理部１０１３ａ〜１０１３ｃの各々により視差を調整された右目用画像データと、視差を調整していない左目用画像データとを、複数（この例では４つ）の視点画像として出力する。
【００３９】
なお、ここでは右目用画像のみずらして視差を調整したが、左目用画像をずらしても、左右目用画像両方をずらしてもよい。要するに、複数の視点画像の対応点同士を相対的に上下及び左右にずらすことによって視差を調整できるようにしてあればよい。
【００４０】
また、予め視差範囲が想定できる場合には、視差算出部１０１２による算出結果を用いず、画像ずらし量を予め算出した値としてもよい。この場合、視差算出部１０１２を省略でき、さらにシステム制御部１０４の処理量も軽減できる。視差範囲は画像データに付随するものでも、取り決めによるものでも構わない。
【００４１】
表示制御部１０２は、視差調整１０１が出力した視差を調整された複数の視点画像を受信し、表示部１０３に合わせた表示制御をすると同時に、メガネ同期部１０６に対し、前記複数の視点画像を表示するタイミング、およびそれぞれの右目用画像および左目用画像を表示するタイミングを示す信号を送る。
【００４２】
メガネ同期部１０６は、表示制御部１０２から受信した信号に基づいて、ユーザの装着するシャッタメガネ１０７に対し同期信号を送り、表示部１０３との同期処理を行う。具体的には、例えば、表示部１０３に液晶表示パネルを用いて４視点の視点画像を時分割で表示し、ユーザの装着したシャッタメガネ１０７と同期して立体視を行う方式の場合、表示制御部１０２は、表示部１０３に対し、４視点の視点画像を順に出力する。出力の頻度は、例えば各視点に対応する画像をそれぞれ毎秒６０枚とする。表示部１０３は表示制御部１０２から送られる画像を随時表示し、その際、表示部１０３とシャッタメガネ１０７は同期し、表示部１０３に順に表示される４視点の視点画像のいずれかに左目用シャッタ、右目用シャッタを同期して開とすることにより、それぞれ対応する視点画像を左目及び右目に提示して、立体視を実現する。具体的には、シャッタメガネ１０７は、メガネ同期受信部１０７１がメガネ同期部１０６から受信する同期信号と、傾き検出部１０７３がシャッタメガネ１０７の傾きを検出して出力する傾き検出信号とに基づいて、シャッタ制御部１０７２がシャッタの開閉信号のタイミングを制御し、シャッタ部１０７４ａおよび１０７４ｂを駆動することによって、表示部１０３と同期してユーザに視点画像を提示する。
【００４３】
なお、メガネ同期部１０６とシャッタメガネ１０７とを有線接続せず、同期信号を無線で伝達することによりユーザの負担を軽減することができる。同期信号を赤外線で伝送する場合、表示部１０３付近のユーザから見える位置にメガネ同期部１０６を設けることにより、ユーザが表示画面を観察できる位置にいれば、メガネ同期部１０６とメガネ同期受信部１０７１の間には障害物がなく、かつ適切な距離を保つことになり、シャッタメガネ１０７は同期信号を受信することができる。同期信号を電波で伝送する場合、表示部１０３付近のユーザから見える位置にメガネ同期部１０３を設ける必要がなく、シャッタメガネ１０７がメガネ同期部１０３を向いている必要もないので、メガネ同期部１０３とシャッタメガネ１０７の間に障害物があった場合でも同期が可能である。
【００４４】
図４は、視差と奥行き表示との関係を説明する図である。図４は、ユーザとディスプレイを上から見た図である。
【００４５】
図４（ａ）は、立体画像表示時に右目用画像と左目用画像の対応点がディスプレイ上で同じ位置にある状態であり、通常の２次元表示状態の場合と同様である。この場合、対応点はディスプレイ上にあるように知覚される。
【００４６】
図４（ｂ）は、ディスプレイ上で、右目用画像の対応点が右に、左目用画像の対応点が左にずれた状態である。この状態では、ユーザには対応点はディスプレイ面よりも奥に知覚される。
【００４７】
図４（ｃ）は、ディスプレイ上で、右目用画像の対応点が左に、左目用画像の対応点が右にずれた状態である。この状態では、ユーザには対応点はディスプレイ面よりも手前に知覚される。
【００４８】
図４（ｄ）は、図４（Ａ）〜図４（ｃ）をまとめた図である。前述したとおり、ディスプレイ上で、右目用画像の対応点が右、左目用画像の対応点が左にずれて表示され、かつ左右目用画像の対応点間の距離が両眼距離に等しい場合、対応点は無限遠に知覚されるが、対応点間の距離が両眼距離を超えた場合、視線は開散方向には向かず、融合できなくなる。同様に、ディスプレイ上で、右目用画像の対応点が左に、左目用画像の対応点が右に大きくずれた状態では、視線は極端な寄り目状態となり、融合できなくなる。従って、快適に立体視できる奥行きの範囲、すなわち、図４（ｄ）に示した快適融合範囲は、これらの融合範囲よりもディスプレイ面に対し内側となる。これらを応用し、左右目用画像を相対的に左右にずらし、左右目用画像中の対応点のずれを大きくしたり小さくしたりすることによって、立体画像の奥行き感を全体的により奥にしたり、より手前にしたりすることができる。
【００４９】
図５は、立体画像表示装置とユーザの視点の相対的な傾きによる視差の違いを説明する図である。図５（ａ）に示すように、立体画像表示装置に対してユーザの視点が傾いていない状態で立体視に必要な左右方向の視差がｄであったとする。立体画像表示装置に対してユーザが傾くと、図５（ｂ）に示すように、傾きに応じて、本来視差がつくべきでない、ユーザにとって上下方向の視差ｄｖ’がつき、ユーザにとって左右方向の視差がｄからｄｈ’に減少してしまい、自然な立体視の効果が低減してしまう。そこで、図５（ｃ）に示すように、立体画像表示装置とユーザの視点の相対的な傾きに合わせて表示画像に縦方向の視差ｄｖをつけ、横方向の視差をｄｈに調整し、ユーザにとって左右方向の視差ｄ’がｄと等しくなるようにすることにより、自然な立体視を妨げないようにすることができる。具体的には、右目用画像と左目用画像とを相対的に上下及び左右にずらすことによって、必要な上下左右方向の視差をつける。
【００５０】
なお、傾きの角度が小さい範囲では、横方向の視差の変位量が大きくないゆえ、横方向の視差を調節する処理は省略してもよい。また、縦方向の視差も、被写体までの距離が縦方向の変位量に対して十分に大きい時は、視点の移動による視界の変位の方が、視点の移動による個別の被写体との相対的な視差変化よりも大きいので、縦方向の画像のずらし処理で簡易的に実現できる。
【００５１】
次に、シャッタメガネ１０７について説明する。シャッタメガネ１０７は、メガネ同期部１０６から送られる同期信号に同期して、複数の視点画像からシャッタメガネ１０７で測定された傾き角度に合う組み合わせを選択し、適切な視差量の視点画像をユーザに提示することにより立体視を可能とする。図６および図７は複数の視点を説明する図である。複数の視点画像は、例えば図６のように、角度別の組み合わせをそれぞれ持ってもよいが、図７のように、いずれかの視点を共通化してそれらの視点を組み合わせることにより複数の立体画像を得るようにすると、視点画像数を削減できる。このとき、厳密には左右の目の傾きの変位と画像の変位が対応しないが、表示されている画像との距離が離れているときには大きく影響しない。本実施形態では、図７のａ〜ｄに示す視点位置を採用することにより、４つの視点画像から３つの異なる左右画像の組を得ることができ、左右の傾きに応じた視差をもつ立体画像を提示することができる。なお、前述の通り、縦方向の視差はずらし処理により簡易的に実現しているため、視点の傾き、すなわち図７における視点のなす角度である角ｃａｄおよび角ｂｄａは小さい方がよい。
【００５２】
ユーザの視点の傾きは装着しているシャッタメガネ１０７の傾きで近似できるので、シャッタメガネ１０７の傾きに応じて縦方向の視差を選択することにより自然な立体視を可能とすることができる。シャッタメガネ１０７の傾きは、圧電式ジャイロセンサなどの小型のデバイスで容易に検知することができる。なお、傾き検出部１０７３は必ずしもシャッタメガネ１０７に内蔵されている必要はなく、表示部１０３側からシャッタメガネ１０７を画像で認識して傾きを検出するなどの方法でもよい。要するに表示部１０３と個々のシャッタメガネ１０７との相対的な傾きを検出し、個々のシャッタメガネ１０７に伝達すればよい。
【００５３】
傾きと視点画像の組み合わせの対応は予め決めておいてもよいが、メガネ同期部１０６から送られる同期信号に重畳して伝送するとよい。これにより、種々の立体画像や観察環境、目的に対応した適切な画像の組をユーザに提示することができる。なお、ユーザの動きが激しい時や、姿勢が適切でない場合は、正しい傾きを検知できない場合がある。傾き自体は正しく検知できていても、対応可能な傾きの範囲を超えていることもある。このような時には、予め規定された組み合わせの画像を提示することによって、ユーザに不自然な視差の付いた画像を提示しないようにできる。また、傾きを検知できない場合や、対応可能な傾きの範囲を超えている場合に提示する画像の組み合わせを表す信号を、メガネ同期部から送られる同期信号に重畳して伝送してもよい。シーンや目的に合わせて提示する画像の組を変更することもできる。なお、このような時には、２次元の画像を提示すると、傾きと視差の対応を取らずに済み、ユーザに不自然な視差の付いた画像を提示しないようにすることができる。
【００５４】
このようにして、複数の傾き角度に対応する複数の画像の組を、ユーザの装着するシャッタメガネ１０７の傾きに応じて提示することができる。すなわち、それぞれの視点画像の組み合わせから、想定した傾きに対応した視差量の立体画像を得ることができ、複数のユーザに対し適切な視差量で立体画像を提示することができる。それぞれのユーザが用いるシャッタメガネ１０７がそれぞれの傾きに応じて適切な視点画像の組み合わせを選択しているため、１台の立体画像表示装置に対してユーザをいくらでも増やすことができる。それぞれのユーザの装着するシャッタメガネ１０７は一般的なサングラスと大きな違いはなく、見た目の違和感も大きくはないゆえ、ユーザ同士のコミュニケーションを阻害する要因にもなりにくい。
【００５５】
なお、本実施形態では、図２に示す通り、ずらし処理部１０１３ａ〜１０１３ｃによる処理を経ない画像、すなわち、入力画像に改変を加えずに表示部１０３に送られる画像がある。ずらし処理部１０１３ａ〜１０１３ｃによる処理を経ると、画像は視差調整の影響により上下左右に移動される。従って、ずらし処理を経た画像のうち、同じ画像を左右の目で観察すると、視差が付加されていないゆえ２次元画像として観察されるが、画像は視差調整に伴い上下左右に移動することとなり好ましくない。よって、ずらし処理部１０１３を経ない画像を両眼に提示することによって、入力された画像そのものを２次元画像として良好に観察することができる。シャッタメガネが選択する視点画像の組にはこのように左右同一の視点画像を提示する組み合わせがあってもよい。
【００５６】
また、２次元表示する画像として立体表示用の画像とは異なる画像を予め用意してもよい。立体画像は両目で観察することを前提に制作されるので、立体画像のうちの１枚を抽出すると、必ずしも適切な視点となっていない場合がある。特に基線長に対し被写体までの距離が近い場合に顕著である。この現象を避けるために、２次元表示することを前提とした画像を用意すると、良好な２次元画像を提示することができる。
【００５７】
図８は、２次元表示用の画像を含む４つの視点画像の提示方法の一例を示す図である。視点画像１−３は、互いに異なる視点からの画像である。視点画像１を左目に提示し視点画像２を右目に提示する画像の組１と、視点画像２を左目に提示し視点画像３を右目に提示する画像の組２と、視点画像１を左目に提示し視点画像３を右目に提示する画像の組３は、互いに異なる視差が付加された視差画像となる。２次元表示する場合、例えば、画像の組４のように、視差画像にも含まれる視点画像１を左目および右目に提示することもできるが、２次元表示用の画像である視点画像４を左目および右目に提示することもできる。
【００５８】
＜第２の実施形態＞（画素ごとずらしによる複数視差生成）
以下に、本発明の第２の実施形態による立体画像表示装置について、図面を参照して説明する。本実施形態による立体画像表示装置の構成例は、第１の実施形態と同様に図１で示される。図１に示すように、本実施形態による立体画像表示装置は、入力部１０と、入力された画像データを処理し、立体視用画像データを生成するための画像処理を行う立体画像処理部１００と、画像の視差を調整する視差調整部１０１と、画像を表示部１０３に合わせ表示制御を行う表示制御部１０２と、画像を表示する表示部１０３と、システム全体を制御するシステム制御部１０４と、ユーザが入力を行うユーザ入力部１０５と、シャッタメガネ１０７の同期を行うメガネ同期部１０６と、ユーザが装着するシャッタメガネ１０７とを備える。
【００５９】
図９は、本実施形態による視差調整部１０１の構成の一例を示すブロック図である。視差調整部１０１は、通信・制御部１０１１と、視差算出部１０１２と、視差補正部１０１４と、遮蔽補償部１０１５と、画像加工部１０１６ａ〜１０１６ｅとを備える。
【００６０】
シャッタメガネ１０７の構成は、第１の実施形態の図３に示したものと同様なので、説明を省略する。
【００６１】
次に、各部の動作を説明する。入力部１０は、立体画像表示装置に入力される画像データを立体画像処理部１００に伝送し、立体画像処理部１００は、入力形式に合わせて左目用データと右目用データとに展開する。同時に、立体画像処理部１００は、入力された画像データに付加情報がある場合は付加情報を抽出し、システム制御部１０４に伝送する。ここで、入力される画像データは、放送波によるもの、記録メディアから電子的に読みだされたもの、通信により取得されたものなど、どのようなものでも構わない。また、右目用画像データ、左目用画像データは、１枚の画像データから作成されたものでも構わない。すなわち、画像データと奥行きデータもしくは視差データから合成された複数視点画像、または、奥行き情報を推定して作成された複数視点画像であってもよい。多視点画像データとして入力された複数視点画像であってももちろんよい。
【００６２】
立体画像処理部１００は、展開した左目用画像データおよび右目用画像データを視差調整部１０１に送り、視差調節部１０１は、受信した左目用画像データおよび右目用画像データを複数の視点画像に再合成する。視差調整部１０１内部では、システム制御部１０４と通信する通信・制御部１０１１が各部を制御している。
【００６３】
視差算出部１０１２は、視差調整部１０１に入力された画像データにおける左右画像の対応点のずれから視差を算出し、算出した視差データを視差補正部１０１４に送る。視差データは、例えば画素ごとに視差を表した、いわゆる視差マップであってもよい。
【００６４】
視差補正部１０１４は、受信した視差データのうち、システム制御に必要なパラメータを選択して、通信・制御部１０１１を経由してシステム制御部１０４に送信する。
【００６５】
システム制御部１０４は、視差調整部１０１から受信したパラメータと、設定された視点位置とに基づいて、各視点画像に適切な補正パラメータを求め、視差調整部１０１に送信する。ここで、各視点位置は、想定された傾きに応じて設定される。想定された傾きは、予め特定の値に設定しておいてもよいが、予め画像情報に記録しておいた設定値から得る方法、ユーザが入力する方法などを用いてもよい。予め画像情報に記録しておくと、場面に応じた傾きを設定することができる。また、ユーザが入力する方法だと、ユーザそれぞれの特徴、例えば画像に合わせて体を傾ける癖の強さなどに合わせて傾き画像を準備することができる。
【００６６】
通信・制御部１０１１は、システム制御部１０４から視差調整部１０１に送信される補正パラメータを視差補正部１０１４に伝送する。視差補正部１０１４は、通信・制御部１０１１から受信した補正パラメータと、視差算出部１０１２から受信した視差データとに基づいて、それぞれ想定された視点位置に対応する、補正された複数の視差データを算出し、遮蔽補償部１０１５と、各視点画像に対応する画像加工部１０１６とに出力する。この時の補正された複数の視差データも、いわゆる視差マップであってもよい。
【００６７】
遮蔽補償部１０１５は、視差補正部１０１４により補正された複数の視差データに基づき画像を再合成する際、視点が変わることによって遮蔽関係が変化して画像データがなくなってしまう部分に関し、画像データを補償する補償画像データを生成する。補償画像データは、例えば入力された画像のうち遮蔽関係の異なる他の視点の画像を用いて生成できる。補償画像データは、画像加工部１０１６の数に対応して複数出力される。
【００６８】
画像加工部１０１６ａ〜１０１６ｅは、前記補正された複数の視差データおよび前記補償画像データを用いて、それぞれ想定された視点位置に合わせた新たな視点画像を再合成する。より具体的には、前記補正された複数の視差データに基づいて、対象領域の画素データを移動させ、移動によって対応する画素がなくなった領域には前記補償画像データの対応部分の画素データを補う。このようにして、入力された立体視用データに含まれていない視点の画像を生成する。
【００６９】
なお、ここでは左右画像から視差を求めて演算したが、入力が画像データと奥行きデータの組み合わせである場合は、入力された奥行きデータを視差データに変換して用いてもよい。また、図９では画像加工部１０１６ａ〜１０１６ｅに対し左右の画像を入力しているが、右または左のうち一方の画像でも構わない。このようにすることによって、仮想的にカメラ位置をずらした視点画像を生成し、視点の傾きに対応して画像の視差を調整することができる。
【００７０】
視差調整部１０１は、生成した複数の視点画像を表示制御部１０２に送る。表示制御部１０２は、表示部１０３に合わせた表示制御をすると同時に、メガネ同期部１０６に対し信号を送る。
【００７１】
メガネ同期部１０６は、表示制御部１０２から受信した信号に基づいて、ユーザの装着するシャッタメガネ１０７に対し同期信号を送り、表示部１０３との同期処理を行う。具体的には、例えば、表示部１０３に液晶表示パネルを用いて５視点の視点画像を時分割で表示し、ユーザの装着したシャッタメガネ１０７と同期して立体視を行う方式の場合、表示制御部１０２は、表示部１０３に対し、５視点の視点画像を順に出力する。出力の頻度は、例えば各視点に対応する画像をそれぞれ毎秒６０枚とする。表示部１０３は表示制御部１０２から送られる画像を随時表示し、その際、表示部１０３とシャッタメガネ１０７は同期し、表示部１０３に順に表示される５視点の視点画像のいずれかに左目用シャッタ、右目用シャッタを同期して開とすることにより、それぞれ対応する視点画像を左目及び右目に提示して、立体視を実現する。
【００７２】
前述の通り、視差は左右の視点の相対的なずれにより生ずるので、傾きに対応して視差を付ける必要がある。従って、図６に示すように、複数の視点からの画像のうち、相対的に視点のずれ量が適切な画像を２枚抽出し、それぞれ右目用画像及び左目用画像として用いれば傾きに対応した視差のついた画像の組を選択する。また、この時のそれぞれの視点の相対的なずれ量を調節することにより、組み合わせの選び方を変えることによって複数の視点画像を得ることができる。図７に５視点からの視点画像から５通りの視差のついた画像を得る例を示す。要素となる視点画像が多いほど多くの組み合わせを得ることができるのは言うまでもない。
【００７３】
シャッタメガネ１０７はこれら複数の視点画像から、それぞれのシャッタメガネ１０７の傾きに対応した視点画像の組み合わせを選択し、提示する。このようにして、複数のユーザに対し適切な視差量で立体画像を提示することができる。
【００７４】
なお、ここでは２点の視点画像から５点の視点画像を変換により得る方法を示したが、当然のことながら実際のカメラを５視点分用いて画像を取得しても構わない。視点の配置は、光軸を平行に設置したものでも、光軸が輻輳するものでもよいし、同一直線上に視点を配置したものでも、光軸の輻輳点までが等距離になるよう配置したものでも構わない。また、５視点での例を示したが、視点数は５に限定されるものではなく、画像のフレームレートや表示デバイスの応答速度に応じて加減されるべきものである。
【００７５】
また、本実施形態では仮想的にカメラ位置を移動した５視点の画像を表示したが、このほかに２次元画像として表示する視点画像を追加し、左右の目で同じ画像を２次元画像として観察できるようにしてもよい。立体画像は、両目で観察することを前提に制作されるので、立体画像のうちの１枚を抽出すると、必ずしも適切な視点となっていない場合がある。このような不適切な視点は、特に基線長に対し被写体までの距離が近い場合に顕著である。また、２次元画像として表示する視点画像を追加すると、視点の合成に伴う画像の変質を避けることができる。２次元表示により、体質・体調により立体画像の鑑賞に適さないユーザも含めて安全に画像を観察することができる。２次元画像も３次元画像と同様に、シャッタメガネを用いて提示することができる。
【００７６】
なお、本実施形態では、画素ごとに視差を表した視差マップを例にシステムを説明したが、必ずしも画素ごとの視差である必要はなく、縮小画像に対しての視差マップであってもよい。この場合、実際に処理する際に、低い解像度の視差マップのまま用いてもよいが、フィルタ処理等により解像度を高めた視差マップを用いてもよい。
【００７７】
＜第３の実施形態＞（ＣＧによる複数視差生成）
以下に、本発明の第３の実施形態による立体画像表示装置について、図面を参照して説明する。図１０は、本実施形態による立体画像表示装置の構成の一例を示すブロック図である。図１０に示すように、本実施形態による立体画像表示装置は、ユーザ操作部２０と、ゲーム制御部２０１と、表示制御部２０２と、表示部２０３と、メガネ同期部２０６と、シャッタメガネ２０７とを備える。ゲーム制御部２０１は、システム制御部２０１１と、プログラム蓄積部２０１２と、立体画像生成部２０１３とを備える。
【００７８】
ユーザ操作部２０は、ゲームコントローラであってもよい。システム制御部２０１１は、ユーザ操作部２０、プログラム蓄積部２０１２、立体画像生成部２０１３および表示制御部２０２のそれぞれとのＩ／Ｏや、ＣＰＵや、メモリ等を備えてもよい。プログラム蓄積部２０１２は、ゲームソフト等を蓄積するハードディスクや光ディスクなどであってもよい。立体画像生成部２０１３は、ＧＰＵ（Ｇｒａｐｈｉｃ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）およびメモリ等を備えてもよい。
【００７９】
表示部２０３は、液晶ディスプレイやプラズマディスプレイ、有機ＥＬディスプレイなどであってもよいが、応答速度が高速な表示デバイスであることが望ましい。例えば、ＬＥＤディスプレイ等を用いれば高速な応答が得られる。メガネ同期部２０６は、シャッタメガネ２０７に対し、赤外線や電波などで同期信号を送る。ユーザ操作部２０やシャッタメガネ２０７は複数あっても構わない。
【００８０】
シャッタメガネ２０７の構成は、第１の実施形態及び図３に示したシャッタメガネ１０７の構成と同様である。
【００８１】
次に、各部の動作を説明する。システム制御部２０１１は、ユーザ操作部２０からの操作を受け、プログラム蓄積部２０１２からプログラムを読み出して実行する。前述の通り、プログラムは、光ディスクやハードディスクであるプログラム蓄積部２０１２に蓄積されていてもよい。プログラム蓄積部２０１２は、固体メモリ等の他の記憶装置であってももちろん構わない。プログラム蓄積部２０１２がハードディスクである場合、ハードディスクへのプログラムの蓄積は、光ディスクから読み出す方法、ネットワークから取得する方法、固体メモリから読み出す方法など、どのような形態でもよい。
【００８２】
システム制御部２０１１は、プログラムの実行に伴い、立体画像生成部２０１３に対し、立体画像モデルを出力する。ここで、立体画像モデルとは、表示すべき物体の形状や配置、照明となる光源の位置、および仮想的な視点位置等を３次元座標上に表現したものである。３次元座標は、直交座標系でも極座標系でも構わない。また、表示すべき物体の表面の模様や状態等が記述されていてもよい。立体画像生成部２０１３は、システム制御部２０１１から入力された立体画像モデルを展開して、個々の視点画像を生成する。より具体的には、立体画像モデルに含まれる物体の配置図を立体画像モデルに含まれる複数の仮想カメラの位置から見た図を生成することによって、複数の視点画像を得る。複数の仮想カメラの位置は、複数の視点に対応する位置とし、例えば図７に示すような配置とする。図７は５台のカメラによる５つの視点画像から５通りの視差のついた画像を得るようすを示している。なお、複数の仮想カメラの位置は、想定する傾きによって決定される。想定する傾きは、ユーザが入力してもよいし、プログラムに予め設定されたものを用いてもよい。ユーザが入力する場合は、ユーザの好みや癖に応じた傾きに対応する視差画像を提示できるし、プログラムに予め設定されたものを用いる場合は、プログラムの想定する場面に合った画像を提示できる。
【００８３】
立体画像生成部２０１３は、生成した複数の視点画像を表示制御部２０２に送る。表示制御部２０２は、立体画像生成部２０１３から複数の視点画像を受信し、表示部２０３に合わせた表示制御をすると同時に、メガネ同期部２０６に対し信号を送る。メガネ同期部２０６は、表示制御部２０２から受信した信号に基づいて、ユーザの装着するシャッタメガネ２０７に対し同期信号を送り、表示部２０３との同期処理を行う。具体的には、例えば、表示部２０３に液晶表示パネルを用いて５視点の視点画像を表示し、ユーザの装着したシャッタメガネ２０７と同期して立体視を行う方式の場合、表示制御部２０２は、表示部２０３に対し、５視点の視点画像を順に出力する。出力の頻度は、例えば各視点に対応する画像をそれぞれ毎秒６０枚とする。表示部２０３は表示制御部２０２から送られる画像を随時表示するが、表示部２０３とシャッタメガネ２０７は同期し、表示部に順に表示される５視点の視点画像のいずれかに左目用シャッタ、右目用シャッタを同期して開とすることにより、それぞれ対応する視点画像を左目及び右目に提示して、立体視を実現する。
【００８４】
この際、複数の視点画像は順に表示されるので、立体画像生成部２０１３では、各視点画像に関し、表示部２０３において実際に時分割で表示されるタイミングを考慮して画像を生成すると、ユーザに時間軸に沿った滑らかな動きを知覚させることができ、好適である。図１１は、この際の様子を説明する図である。図１１は、円筒形の物体から点状の物体が発射されている様子を表している。このとき、円筒形の物体は視点に合わせて見え方が変化し、点状の物体は時間の経過に合わせて表示位置が変化している。点状の物体も視点に合わせて見え方が変化するが、図１１は小さいため、図の表現上、視点変化は省略されている。時間軸に沿った画像は、時系列画像の補間により生成してもよい。
【００８５】
前述のとおり、シャッタメガネ１０７は、これら複数の視点画像から、それぞれのシャッタメガネ１０７の傾きに対応した視点画像の組み合わせを選択し、提示する。このようにして、複数のユーザに、各々のユーザの頭の傾きに対応する視点画像を提示することができる。すなわち、想定した傾きに対応した視差量の立体画像を得ることができ、それぞれの視点画像の組み合わせから、複数のユーザに対しそれぞれ適切な視差量で立体画像を提示することができるので、複数のユーザが同時に同じ表示画面に向かって立体表示のゲームを楽しむことができる。また、それぞれのユーザが用いるシャッタメガネがそれぞれ適切な視点画像の組み合わせを選択しているので、１台の立体画像表示装置に対して画面を観察するユーザをいくらでも増やすことができる。
【００８６】
なお、上記では立体画像表示装置に同期して画像を選択する遮蔽手段としてシャッタメガネを採用しているが、遮蔽手段の形状はメガネに限定されない。例えば、面のようなものやヘルメットの目を覆う部分に遮蔽素子、例えば液晶シャッタを設けた遮断手段としてもよい。この場合、球技や格闘技等に用いる防護面や、モータスポーツ等に用いるヘルメットを模したものとすることにより、メガネを用いた場合のメガネと顔の隙間から入る外光の影響を軽減でき、立体画像表示装置を用いた、より没入感のあるゲーム装置を構成することができる。また、メガネの場合にありがちなメガネのずり落ちや傾きなどを軽減でき、頭部への密着度もメガネより高いので、より正確な顔の傾きを測定することができ、適切な視差を推定することができる。さらに、公共空間に設置されるゲーム装置では個々の構成装置は有線接続されることが好ましいが、メガネと比較して面やヘルメットでは接続線の重量等を頭全体で支えることになり、接続線によるわずらわしさを軽減することができる。
【産業上の利用可能性】
【００８７】
本発明は、立体画像表示装置に利用可能である。
【符号の説明】
【００８８】
１０ 入力部
２０ ユーザ操作部
１００ 立体画像処理部
１０１ 視差調整部
１０２、２０２ 表示制御部
１０３、２０３ 表示部
１０４、２０１１ システム制御部
１０５ ユーザ入力部
１０６、２０６ メガネ同期部
１０７、２０７ シャッタメガネ
２０１ ゲーム制御部
１０１１ 通信・制御部
１０１２ 視差算出部
１０１３ａ〜ｃ ずらし処理部
１０７１ メガネ同期受信部
１０７２ シャッタ制御部
１０７３ 傾き検出部
１０７４ａ、ｂ シャッタ部
１０１４ 視差補正部
１０１５ 遮蔽補償部
１０１６ａ〜ｅ 画像加工部
２０１２ プログラム蓄積部
２０１３ 立体画像生成部
【特許請求の範囲】
【請求項１】
複数の画像を時分割で順に表示する表示手段と、
前記表示手段における表示と同期して同期信号を出力する同期手段と、
前記同期手段から前記同期信号を受信し、前記同期信号に応じて右目または左目を遮蔽して、前記複数の画像を選択的に右目および左目に透過させる遮蔽手段と、
前記遮蔽手段の傾きを検出する傾き検出手段とを備え、
前記遮蔽手段は、前記傾き検出手段が検出した傾きに応じて、前記複数の画像から右目および左目に透過させる画像の組を選択することを特徴とする立体画像表示装置。
【請求項２】
前記複数の画像は、被写体をそれぞれ異なる視点からとらえた画像から成り、前記右目および左目に透過させる画像の組を２組以上含むことを特徴とする請求項１に記載の立体画像表示装置。
【請求項３】
前記右目および左目に透過させる画像の組は、それぞれ異なる傾きに対応する視差が付けられていることを特徴とする請求項１または２に記載の立体画像表示装置。
【請求項４】
前記右目および左目に透過させる画像の組は、それぞれ異なる縦方向の視差が付けられていることを特徴とする請求項１から３のいずれか１項に記載の立体画像表示装置。
【請求項５】
前記複数の画像のうち少なくとも１つは、複数の前記右目および左目に透過させる画像の組に含まれることを特徴とする請求項１から４のいずれか１項に記載の立体画像表示装置。
【請求項６】
前記複数の画像は、２次元表示用画像を含むことを特徴とする請求項１から５のいずれか１項に記載の立体画像表示装置。
【請求項７】
前記複数の画像は、それぞれ前記表示手段において時分割で表示される際の表示タイミングを考慮して生成されたものであることを特徴とする請求項１から６のいずれか１項に記載の立体画像表示装置。
【請求項８】
前記傾き検出手段から前記遮蔽手段の傾きが得られない場合、前記遮蔽手段は前記複数の画像における予め決められた画像の組を右目および左目に透過させることを特徴とする請求項１から７のいずれか１項に記載の立体画像表示装置。
【請求項９】
前記傾き検出手段から前記遮蔽手段の傾きが得られない場合、前記遮蔽手段は前記複数の画像における同一の画像を右目および左目に透過させることを特徴とする請求項１から７のいずれか１項に記載の立体画像表示装置。
【請求項１０】
前記傾き検出手段によって検出された前記遮蔽手段の傾きに対応する前記右目および左目に透過させる画像の組がない場合、前記遮蔽手段は前記複数の画像における予め決められた画像の組を右目および左目に透過させることを特徴とする請求項１から９のいずれか１項に記載の立体画像表示装置。
【請求項１１】
前記傾き検出手段によって検出された前記遮蔽手段の傾きに対応する前記右目および左目に透過させる画像の組がない場合、前記遮蔽手段は前記複数の画像における同一の画像を右目および左目に透過させることを特徴とする請求項１から９のいずれか１項に記載の立体画像表示装置。
【請求項１２】
前記同期信号は、前記傾き検出手段により検出される前記遮蔽手段の傾きと前記右目および左目に透過させる画像の組との対応を示す信号を含むことを特徴とする請求項１から１１のいずれか１項に記載の立体画像表示装置。
【請求項１３】
前記同期信号は、前記傾き検出手段から前記遮蔽手段の傾きが得られない場合に前記遮蔽手段が右目および左目に透過させる画像の組を表す信号を含むことを特徴とする請求項８に記載の立体画像表示装置。
【請求項１４】
前記同期信号は、前記傾き検出手段によって検出された前記遮蔽手段の傾きに対応する前記右目および左目に透過させる画像の組がない場合に前記遮蔽手段が右目および左目に透過させる画像の組を表す信号を含むことを特徴とする請求項１０に記載の立体画像表示装置。
【請求項１５】
前記複数の画像の各々における前記異なる視点は、それぞれ予め設定された前記遮蔽手段の傾きに対応付けて設定されることを特徴とする請求項２に記載の立体画像表示装置。
【請求項１６】
前記複数の画像の各々における前記異なる視点は、ユーザにより選択された前記遮蔽手段の傾きに対応付けて設定されることを特徴とする請求項２に記載の立体画像表示装置。
【請求項１７】
前記複数の画像の各々における前記異なる視点は、前記複数の画像の各々に関連付けられた設定値にしたがって設定されることを特徴とする請求項２に記載の立体画像表示装置。
【請求項１８】
前記同期信号は赤外線で出力されることを特徴とする請求項１から１７のいずれか１項に記載の立体画像表示装置。
【請求項１９】
前記同期信号は電波で出力されることを特徴とする請求項１から１７のいずれか１項に記載の立体画像表示装置。
【請求項２０】
前記遮蔽手段はメガネ型であることを特徴とする請求項１から１９のいずれか１項に記載の立体画像表示装置。
【請求項２１】
前記遮蔽手段はヘルメット型であることを特徴とする請求項１から１９のいずれか１項に記載の立体画像表示装置。
【請求項２２】
前記遮蔽手段はユーザの顔を覆う面形であることを特徴とする請求項１から１９のいずれか１項に記載の立体画像表示装置。
【請求項２３】
ある視点の画像の画面領域の全面または一部を縦方向に相対的にずらすことによって縦方向の視差を調節し、前記複数の画像を生成する画像調整手段を備えることを特徴とする請求項４に記載の立体画像表示装置。
【請求項２４】
ある視点の画像から、被写体をそれぞれ異なる視点からとらえた画像とみなせる画像を生成し、前記複数の画像を生成する画像調整手段を備えることを特徴とする請求項２に記載の立体画像表示装置。
【請求項２５】
表示手段が、複数の画像を時分割で順に表示する表示ステップと、
同期手段が、前記表示ステップにおける表示と同期して同期信号を出力する同期ステップと、
遮蔽手段が前記同期信号を受信し、前記同期信号に応じて右目または左目を遮蔽して前記複数の画像を選択的に右目および左目に透過させる遮蔽ステップと、
傾き検出手段が前記遮蔽手段の傾きを検出する傾き検出ステップとを含み、
前記遮蔽ステップにおいて、前記遮蔽手段が、前記傾き検出手段が検出した前記遮蔽手段の傾きに応じて、前記複数の画像から右目および左目に透過させる画像の組を選択することを特徴とする立体画像表示方法。
【請求項２６】
請求項２５に記載の立体画像表示方法をコンピュータに実行させるプログラム。
【請求項１】
複数の画像を時分割で順に表示する表示手段と、
前記表示手段における表示と同期して同期信号を出力する同期手段と、
前記同期手段から前記同期信号を受信し、前記同期信号に応じて右目または左目を遮蔽して、前記複数の画像を選択的に右目および左目に透過させる遮蔽手段と、
前記遮蔽手段の傾きを検出する傾き検出手段とを備え、
前記遮蔽手段は、前記傾き検出手段が検出した傾きに応じて、前記複数の画像から右目および左目に透過させる画像の組を選択することを特徴とする立体画像表示装置。
【請求項２】
前記複数の画像は、被写体をそれぞれ異なる視点からとらえた画像から成り、前記右目および左目に透過させる画像の組を２組以上含むことを特徴とする請求項１に記載の立体画像表示装置。
【請求項３】
前記右目および左目に透過させる画像の組は、それぞれ異なる傾きに対応する視差が付けられていることを特徴とする請求項１または２に記載の立体画像表示装置。
【請求項４】
前記右目および左目に透過させる画像の組は、それぞれ異なる縦方向の視差が付けられていることを特徴とする請求項１から３のいずれか１項に記載の立体画像表示装置。
【請求項５】
前記複数の画像のうち少なくとも１つは、複数の前記右目および左目に透過させる画像の組に含まれることを特徴とする請求項１から４のいずれか１項に記載の立体画像表示装置。
【請求項６】
前記複数の画像は、２次元表示用画像を含むことを特徴とする請求項１から５のいずれか１項に記載の立体画像表示装置。
【請求項７】
前記複数の画像は、それぞれ前記表示手段において時分割で表示される際の表示タイミングを考慮して生成されたものであることを特徴とする請求項１から６のいずれか１項に記載の立体画像表示装置。
【請求項８】
前記傾き検出手段から前記遮蔽手段の傾きが得られない場合、前記遮蔽手段は前記複数の画像における予め決められた画像の組を右目および左目に透過させることを特徴とする請求項１から７のいずれか１項に記載の立体画像表示装置。
【請求項９】
前記傾き検出手段から前記遮蔽手段の傾きが得られない場合、前記遮蔽手段は前記複数の画像における同一の画像を右目および左目に透過させることを特徴とする請求項１から７のいずれか１項に記載の立体画像表示装置。
【請求項１０】
前記傾き検出手段によって検出された前記遮蔽手段の傾きに対応する前記右目および左目に透過させる画像の組がない場合、前記遮蔽手段は前記複数の画像における予め決められた画像の組を右目および左目に透過させることを特徴とする請求項１から９のいずれか１項に記載の立体画像表示装置。
【請求項１１】
前記傾き検出手段によって検出された前記遮蔽手段の傾きに対応する前記右目および左目に透過させる画像の組がない場合、前記遮蔽手段は前記複数の画像における同一の画像を右目および左目に透過させることを特徴とする請求項１から９のいずれか１項に記載の立体画像表示装置。
【請求項１２】
前記同期信号は、前記傾き検出手段により検出される前記遮蔽手段の傾きと前記右目および左目に透過させる画像の組との対応を示す信号を含むことを特徴とする請求項１から１１のいずれか１項に記載の立体画像表示装置。
【請求項１３】
前記同期信号は、前記傾き検出手段から前記遮蔽手段の傾きが得られない場合に前記遮蔽手段が右目および左目に透過させる画像の組を表す信号を含むことを特徴とする請求項８に記載の立体画像表示装置。
【請求項１４】
前記同期信号は、前記傾き検出手段によって検出された前記遮蔽手段の傾きに対応する前記右目および左目に透過させる画像の組がない場合に前記遮蔽手段が右目および左目に透過させる画像の組を表す信号を含むことを特徴とする請求項１０に記載の立体画像表示装置。
【請求項１５】
前記複数の画像の各々における前記異なる視点は、それぞれ予め設定された前記遮蔽手段の傾きに対応付けて設定されることを特徴とする請求項２に記載の立体画像表示装置。
【請求項１６】
前記複数の画像の各々における前記異なる視点は、ユーザにより選択された前記遮蔽手段の傾きに対応付けて設定されることを特徴とする請求項２に記載の立体画像表示装置。
【請求項１７】
前記複数の画像の各々における前記異なる視点は、前記複数の画像の各々に関連付けられた設定値にしたがって設定されることを特徴とする請求項２に記載の立体画像表示装置。
【請求項１８】
前記同期信号は赤外線で出力されることを特徴とする請求項１から１７のいずれか１項に記載の立体画像表示装置。
【請求項１９】
前記同期信号は電波で出力されることを特徴とする請求項１から１７のいずれか１項に記載の立体画像表示装置。
【請求項２０】
前記遮蔽手段はメガネ型であることを特徴とする請求項１から１９のいずれか１項に記載の立体画像表示装置。
【請求項２１】
前記遮蔽手段はヘルメット型であることを特徴とする請求項１から１９のいずれか１項に記載の立体画像表示装置。
【請求項２２】
前記遮蔽手段はユーザの顔を覆う面形であることを特徴とする請求項１から１９のいずれか１項に記載の立体画像表示装置。
【請求項２３】
ある視点の画像の画面領域の全面または一部を縦方向に相対的にずらすことによって縦方向の視差を調節し、前記複数の画像を生成する画像調整手段を備えることを特徴とする請求項４に記載の立体画像表示装置。
【請求項２４】
ある視点の画像から、被写体をそれぞれ異なる視点からとらえた画像とみなせる画像を生成し、前記複数の画像を生成する画像調整手段を備えることを特徴とする請求項２に記載の立体画像表示装置。
【請求項２５】
表示手段が、複数の画像を時分割で順に表示する表示ステップと、
同期手段が、前記表示ステップにおける表示と同期して同期信号を出力する同期ステップと、
遮蔽手段が前記同期信号を受信し、前記同期信号に応じて右目または左目を遮蔽して前記複数の画像を選択的に右目および左目に透過させる遮蔽ステップと、
傾き検出手段が前記遮蔽手段の傾きを検出する傾き検出ステップとを含み、
前記遮蔽ステップにおいて、前記遮蔽手段が、前記傾き検出手段が検出した前記遮蔽手段の傾きに応じて、前記複数の画像から右目および左目に透過させる画像の組を選択することを特徴とする立体画像表示方法。
【請求項２６】
請求項２５に記載の立体画像表示方法をコンピュータに実行させるプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【公開番号】特開２０１２−２５５８２０（Ｐ２０１２−２５５８２０Ａ）
【公開日】平成２４年１２月２７日（２０１２．１２．２７）
【国際特許分類】
【出願番号】特願２０１１−１２７２９２（Ｐ２０１１−１２７２９２）
【出願日】平成２３年６月７日（２０１１．６．７）
【特許番号】特許第５０３７７１３号（Ｐ５０３７７１３）
【特許公報発行日】平成２４年１０月３日（２０１２．１０．３）
【出願人】（０００００５０４９）シャープ株式会社 (33,933)
【Ｆターム（参考）】
【公開日】平成２４年１２月２７日（２０１２．１２．２７）
【国際特許分類】
【出願日】平成２３年６月７日（２０１１．６．７）
【特許番号】特許第５０３７７１３号（Ｐ５０３７７１３）
【特許公報発行日】平成２４年１０月３日（２０１２．１０．３）
【出願人】（０００００５０４９）シャープ株式会社 (33,933)
【Ｆターム（参考）】
[ Back to top ]