立体画像表示装置および立体画像表示方法
【課題】複数の観察者に適した立体画像を同時に提示することは難しかった。
【解決手段】３つ以上の画像を時分割で順に表示する表示制御を行う表示制御部と、前記表示制御部の制御と同期して同期信号を出力する同期部と、前記同期部からの前記同期信号を受信し、前記表示制御部と同期させて動作させることにより、前記３つ以上の画像から選択的に右目および左目に画像を呈示する遮蔽部と、を備え、前記遮断部は、予め設定された設定値に従って、前記３つ以上の画像から、右目および左目に呈示する画像の組みを選択する機能を有することを特徴とする立体画像表示装置。
【解決手段】３つ以上の画像を時分割で順に表示する表示制御を行う表示制御部と、前記表示制御部の制御と同期して同期信号を出力する同期部と、前記同期部からの前記同期信号を受信し、前記表示制御部と同期させて動作させることにより、前記３つ以上の画像から選択的に右目および左目に画像を呈示する遮蔽部と、を備え、前記遮断部は、予め設定された設定値に従って、前記３つ以上の画像から、右目および左目に呈示する画像の組みを選択する機能を有することを特徴とする立体画像表示装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、立体画像を表示する技術に関するものである。
【背景技術】
【０００２】
人間は一定の間隔を持つ２つの目により得られる画像の違いから空間を把握する能力を持つ。左右の眼による異なる視点から得られる画像中の対応点のずれを視差と呼び、視差を手掛かりの一つとして対象物の位置関係を立体的に把握している。このことを利用して、右目用画像を右目に表示し、左目用画像を左目に表示する手段を設け、右目用画像、左目用画像として視差を設けた画像を生成し提示することにより立体視が可能であることが知られている。ここでは、立体視を意図して視差を設けた複数の画像を、「立体画像」と称する。
【０００３】
立体視において、人間は視差に応じた両眼の光軸のなす角度、すなわち輻輳の大きさを対象物までの距離に対応付けている。従って、右目用画像を右方向に、左目用画像を左方向に相対的にずらし、視差を付けた画像を提示すると、実際の表示面より遠くに表示物を知覚させることができる。しかしながら、このときに視差をつけすぎ、観察者の目の間隔、正確には無限遠を見ている時の瞳孔間の距離を超えた視差とすると、自然界では起き得ない状態となり、立体視が不可能となるか、立体視ができたとしても人体に強い負担を強いることになる。同様に、近距離側でも極端な視差は不自然な位置関係を生じるうえ、極度な寄り目を観察者に強いることとなり、快適な立体視ができなくなる。また、視差が大きくなるほど輻輳と目の焦点の調節との乖離が大きくなり、不自然な状態となるためで、違和感を生じる。このように、立体画像の視差量が、ある一定の範囲では快適に立体視が可能であるが、視差量が大きくなると両目の画像が融合しなくなり、立体視ができなくなる。
【０００４】
従って、人間が視差を手掛かりに奥行き知覚をするにあたり、観察者の両眼距離が立体視に適当な立体画像の視差範囲を決める大きな要素の一つとなる。このことは、すなわち、適切な視差範囲は観察者によって異なることを意味している。
【０００５】
また、観察者によっては立体画像のもたらす奥行き感に違和感を覚え、不快感を覚えることもある。この現象は一般的に「3D酔い」などと呼ばれ、現実の世界で知覚される奥行き感との齟齬が原因といわれている。
【０００６】
そこで、観察者の両眼距離に合わせて視点画像を提示する表示装置が、以下の特許文献１に示されている。特許文献１に記載の技術では、第１及び第２の２つの撮像部と２つの表示部により構成されているＨＭＤ部を設け、第１の撮像部はＨＭＤ部を頭部に装着する観察者の右目に対応する現実空間の画像（右目用現実空間画像）を撮像するものであり、第２の撮像部は、この観察者の左目に対応する現実空間の画像（左目用現実空間画像）を撮像するように構成している。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２００６−２８５６０９号公報（キヤノンHMD）
【発明の概要】
【発明が解決しようとする課題】
【０００８】
上記特許文献１の方法によれば、観察者の両眼距離に合わせた視点画像を提示することができる。しかしながら、観察者一人一人の頭部に特殊な表示装置を装着させる必要があり、大型の装置を頭部に取り付ける違和感や疲労感をもたらすことが避けられない。また、視界が表示装置に占有されるため、映像酔いの影響が顕著になる恐れがある。頭部を大きく覆う装置ため、観察者同士のコミュニケーションを阻害する要因ともなる。
【０００９】
本発明の目的は、複数の観察者に適した立体画像を同時に提示することができ、かつ大型の表示装置を装着させる必要のない立体画像生成技術及び表示技術を提供することである。
【課題を解決するための手段】
【００１０】
本発明の一観点によれば、３つ以上の画像を時分割で順に表示する表示制御を行う表示制御部と、前記表示制御部の制御と同期して同期信号を出力する同期部と、前記同期部からの前記同期信号を受信し、前記表示制御部と同期させて動作させることにより、前記３つ以上の画像から選択的に右目および左目に画像を呈示する遮蔽部と、を備え、前記遮断部は、予め設定された設定値に従って、前記３つ以上の画像から、右目および左目に呈示する画像の組みを選択する機能を有することを特徴とする立体画像表示装置が提供される。
【００１１】
予め設定された設定値に従って、前記３つ以上の画像から、右目および左目に呈示する画像の組みを時分割方式により選択することができる遮断部の遮蔽及び開口動作に応じて、同じ立体画像を観察している複数の観察者のそれぞれに適した異なる画像を提示することができる。すなわち、第１の観察者は、第１の遮蔽部を用いており、その第１の遮蔽部に設定されている設定値に従って、右目および左目に呈示する画像の組みが選択されて第１の観察者に提示され、第２の観察者は、例えば第２の遮蔽部を用いており、その第２の遮蔽部に設定されている設定値に従って、右目および左目に呈示する画像の組み（同じ又は異なる）が選択されて第２の観察者に提示されるようになっている。この構成により、遮蔽部を観察者に応じて変更するだけで、同じソースからの立体画像を、それぞれの観察者に適した状態で提示することができる。
【００１２】
前記３つ以上の画像は、それぞれ異なる視点から被写体をとらえた画像からなり、前記３つ以上の画像を組み合わせることにより、２組以上の右目及び左目に呈示する画像の組を生成することを特徴とする。好ましい視差が異なる、それぞれの使用者に適した画像を提示することができる。
【００１３】
前記３つ以上の画像は、それぞれ異なる横方向の視差を持つ画像からなることを特徴とする。異なる３つ以上の画像として、視差の異なる画像を使用者に提示することができる。
【００１４】
前記右目及び左目に呈示する画像の組は、前記３つ以上の画像の組み合わせにより実現される画像であり、前記３つ以上の画像のうちの少なくとも１つを、複数の前記右目及び左目に呈示する画像の組に組み込むことを特徴とする。視差のついた画像の構成画像を削減することができる。
【００１５】
前記右目及び左目に呈示する画像の組は、前記３つ以上の画像に加えて、２次元表示のための画像を含む画像から選択されることを特徴とする。使用者に２次元画像（平面画像）も提示できる。例えば、平面画像の提示により目の疲労を回復させるようにすることが可能である。
【００１６】
前記３つ以上の画像が、移動する表示対象を含む画像である場合に、前記表示制御部により、時分割で表示される制御を行う際の表示タイミングに合わせて、時間に依存して表示対象の位置が調整された画像とすることを特徴とする。移動する表示物を違和感なく表示できる。
【００１７】
前記遮蔽部は、前記遮蔽部を使用する使用者の眼幅に応じて、前記３つ以上の画像から、右目及び左目に呈示する画像の組を選択することを特徴とする。眼幅を「検出」することなく、固定幅のメガネに対応する選択をすることができる。すなわち、メガネと画像の組は１対１対応で、使用者がメガネを選択することによって画像を選択することができる。
【００１８】
前記遮蔽部は、前記遮蔽部を使用する前記使用者の眼幅に応じて、複数種類用意されていることを特徴とする。使用者の眼幅に応じてメガネをユーザが選択して、適した立体画像を提示することができる。
【００１９】
前記遮蔽部は、幅が変更できる構造であり、前記遮蔽部の変更後の幅に応じて、前記３つ以上の画像から、右目及び左目に呈示する画像の組を選択することを特徴とする。使用者の眼幅に応じて、適した立体画像を提示することができる。
【００２０】
前記遮蔽部は、前記遮蔽部の高さに応じて、前記３つ以上の画像から、右目及び左目に呈示する画像の組を選択することを特徴とする。使用者の眼幅と略比例する身長（高さ）に応じて、適した立体画像を提示することができる。
【００２１】
前記遮蔽部は、高さが変更できる構造であり、前記遮蔽部の高さに応じて、前記３つ以上の画像から、右目及び左目に呈示する画像の組を選択することを特徴とする。使用者の眼幅と比例する身長に応じて立体画像を提示することができる。例えば、のぞき窓を遮蔽部において形成するようにしてある高さ範囲のみから観察できるようにし、のぞき窓の部分の高さを調整できるようにする。
【００２２】
前記異なる視点を、異なる幅又は高さを有する前記遮蔽部の種類と対応付けて設定されることを特徴とする。適切な視点を、遮蔽部の幅又は高さの調整又は遮蔽部の取り替えにより簡単に設定、変更を行うことができる。
【００２３】
前記用いられる前記遮蔽部は、使用者が選択することができるように、本体とは別に設けられていることを特徴とする。異なる種類の遮蔽部を、適宜、追加・変更することができる。
【００２４】
前記遮蔽部の種別を取得する遮蔽部種別取得部が設けられていることを特徴とする。現在使用されている遮蔽部の種別を自動的に装置が認識して、それに応じた左右画像を提供するようにすることができる。
前記遮蔽部の種別を保持する遮蔽部種別保持部を更に設けていることを特徴とする。設定を保存し、それに適した視点の左右画像を提示することができる。
【００２５】
前記遮蔽部は、メガネ型であることを特徴とする。違和感なく装着することができる。
前記遮蔽部は、ヘルメット型であることを特徴とする。脱落を防ぐことができる。
前記遮蔽部は、顔を覆う面型であることを特徴とする。顔を覆うことで、迷光を軽減することができる。
【００２６】
前記同期信号は、前記３つ以上の画像と、前記遮断部に設定された設定値と、の対応を表す信号を含むことを特徴とする。表示の自由度が増す。
前記同期信号は、赤外線で出力されることを特徴とする。接続線を用いずに実現できる。
前記同期信号は、電波で出力されることを特徴とする。同期信号が見える位置になくとも実現できる。
【００２７】
画像調整部を更に設け、前記３つ以上の画像の画面領域の全面または一部を、少なくとも横方向に相対的にずらすことによって視差を調整することを特徴とする。視差を調整することができる。
【００２８】
前記画像調整部は、前記３つ以上の画像を調整することにより、前記異なる視点からとらえたとみなせる画像を生成することを特徴とする。入力されていない視点画像を生成することができる。
【発明の効果】
【００２９】
本発明によれば、複数の観察者に適した立体画像を同時に提示することができ、かつ大型の表示装置を装着させる必要のない立体画像表示装置を実現できる。
【図面の簡単な説明】
【００３０】
【図１】本発明の第１の実施形態による立体画像表示装置の一構成例を示す機能ブロック図である。
【図２】図１の視差調整部（１）１０１の一構成例を示す図である。
【図３】シャッタメガネ１０７の構成例を示す図である。
【図４】本実施の形態による立体画像生成処理の流れを示すフローチャート図である。
【図５】本実施の形態による立体画像生成処理の流れを示すフローチャート図である。
【図６】視差と奥行き表示との関係を示す図である。
【図７】ユーザの眼幅に応じて、幅（レンズ間の距離）を可変としたメガネの図である。
【図８】本発明の第２の実施の形態による視差調整部の一構成例を示す図である。
【図９】本実施の形態による処理の流れを示すフローチャート図である。
【図１０】視差が、左右の視点（Ｖ１，Ｖ２）、（Ｖ３，Ｖ４）の相対的なずれにより生ずる様子を示す図である。
【図１１】複数の視点からの画像のうち、相対的に視点のずれ量が適切な画像を２枚抽出し、それぞれ右目用画像及び左目用画像として用いれば視差量を選択でき、視点画像の組み合わせに応じて複数の立体画像を得ることができる様子を示す図である。
【図１２】視点間の距離を適切に設定することにより、４視点（Ｖ１１〜Ｖ１４）の画像から６種類の異なる視点画像の組み合わせを得ることができる様子を示す図である。
【図１３】光軸の輻輳点がそれぞれのカメラＣ１からＣ４から等距離になるよう配置した例を示す図である。
【図１４】本発明の第３の実施形態による立体画像表示装置の一構成例を示す機能ブロックである。
【図１５】本実施の形態による処理の流れを示すフローチャート図である。
【図１６】円筒形の物体Ｂから点状の物体Ｄが発射されている様子を表す図である。
【発明を実施するための形態】
【００３１】
＜第１の実施形態＞
以下に、本発明の第１の実施形態による立体画像生成装置を含む立体画像表示装置について、図面を参照して説明する。図１は、本実施形態による立体画像表示装置の一構成例を示す機能ブロック図である。図１に示すように、本実施形態による立体画像表示装置は、画像データを受け付ける入力部１０と、入力された画像データを処理し、立体表示が可能な表示データ（以下、「立体視用画像データ」と称する。）を生成するための画像処理を行う立体画像処理部１００と、画像の視差を調整する視差調整部（１）１０１と、画像を表示部に合わせ表示制御を行う表示制御部１０２と、画像を表示する表示部１０３と、システム全体を制御するシステム制御部１０４と、観察者が入力を行うユーザ入力部１０５と、シャッタメガネの同期を行うメガネ同期部１０６と、を有する。さらに、システムとしては、観察者が装着するシャッタメガネ１０７が用いられる。立体画像表示装置において、表示部１０３を除く構成が、立体画像データを生成する立体画像生成部に相当する。すなわち、立体画像表示装置は、立体画像生成装置に加えて、表示部を設けたものである（以下、同様である）。
【００３２】
図２は、図１の視差調整部（１）１０１の一構成例を示す図である。視差調整部（１）１０１は、更に、通信・制御部１０１１、視差算出部１０１２、例えば第１から第３までのずらし処理部１０１３ａ〜１０１３ｃを有している。
【００３３】
図３は、シャッタメガネ１０７の構成例を示す図である。シャッタメガネ１０７は、メガネ同期受信部１０７１、シャッタ制御部１０７２、幅指定部１０７３、第１シャッタ部１０７４ａ及び第２シャッタ部１０７４ｂ、を有している。第１シャッタ部１０７４ａ及び第２シャッタ部１０７４ｂは、それぞれ右目用シャッタ及び左目用シャッタに対応する。
【００３４】
次に、各機能部の動作例について説明する。図４、図５は、本実施の形態による立体画像生成処理の流れを示すフローチャート図である。ステップＳ１で画像データを受け取ると、入力部１０を経由して立体画像表示装置に入力された画像データは、立体画像処理部１００において入力形式に合わせて左目用画像データと右目用画像データとに展開される（ステップＳ２）。ここで、入力される画像データは、放送波によるもの、記録メディアから電子的に読みだされたもの、通信により取得されたものなど、ソースを問わない。すなわち、入力部１０は、半導体メモリ読み出し装置であっても良いし、光ディスクや磁気ディスクの読み出し装置、電波の受信機や、ネットワークとの通信機能を持つものであっても良い。要するに、立体画像として解釈可能なデータを入力できるものであればよい。また、右目用画像データ、左目用画像データは、１枚の画像データから作成されたものでも良い。すなわち、画像データと奥行きデータもしくは視差データから合成された複数視点画像、奥行き情報を推定して作成された複数視点画像であってもよい。多眼表示用の多視点画像であっても良い。入力された画像データに付加情報がある場合は付加情報を抽出し、システム制御部に伝送する。付加データは、撮影時のパラメータや視差情報、視差量補正情報や奥行きデータ等であっても良い。
【００３５】
展開された左目用画像データと右目用画像データは、視差調整部１０１に送られ、複数の視点画像に再合成される（ステップＳ３）。視差調整部１０１の内部では、システム制御部１０４と通信する通信・制御部１０１１が各部を制御している。入力された画像データは視差算出部１０１２に入力され、左右画像の対応点のずれから視差を算出され（ステップＳ４−１）、算出された視差データは通信・制御部１０１１を経由してシステム制御部１０４に送られる。前述のように奥行きデータが入力されるもの、あるいは奥行きデータが作成されるものでは、それを画像データの視差として用いても良い。送られるデータは、例えば画像内の視差の最大量および最小量であるとよい。なお、ここでは表示画面より遠景側の視差を正の値、近景側を負の値と表現するので、視差の最大値は画面内の最も遠い点の視差、最小値は画面内の最も観察者に近い点の視差を表す。
【００３６】
システム制御部１０４は、受信した視差データと、設定された視点位置と、に基づいて、各視点画像に適切な画像ずらし量を求め（ステップＳ４−２）、画像ずらし処理部１０１３ａ〜１０１３ｃに画像ずらし量を送信する。ここで、各視点位置は、準備されたシャッタメガネ全種類に合わせて視点位置の間隔が例えば６．５ｃｍ、６ｃｍ、５．５ｃｍ、４ｃｍとなるように予め設定するとよいが、視差の大きさを例えば強中弱切の４段階と対応付けて視点位置の間隔を６ｃｍ、４ｃｍ、２ｃｍ、０ｃｍなどの固定の値に決めておいてもよい。すなわち、シャッタメガネは、視点位置の関数として、例えば、視点位置の間隔等の属性に依存して複数の種類（種別）のものが用意されており、その種別に関して、利用者に判りやすいように、視点位置の間隔などの属性が記載されていれば良い。
【００３７】
他に、組み合わせて用いられるシャッタメガネ１０７の種類に応じて、例えば出荷時にあらかじめ設定されても良いが、ユーザがユーザ入力部１０５を操作して、使用するシャッタメガネを選択し、対応する視点位置を設定するようにしても良い。ユーザが好みに応じて視点位置を選択しても良い。視点位置の設定変更を行った場合には、その設定変更に応じた種別（属性）をシャッタメガネに記載しても良い。
【００３８】
システム制御部１０４がシャッタメガネ１０７を認識して、自動的に視点位置を設定するようにしても良い。この場合、シャッタメガネ１０７とシステム制御部１０４とは双方向通信をするか、シャッタメガネ１０７の種類別に例えばマーカを備え、表示手段側から画像認識によりシャッタメガネ１０７の種類を取得するなどの方法により実現できる。また、これらによって選択されたシャッタメガネ１０７の種類をシステム制御部１０４に保存しておくと、シャッタメガネを使用する都度同様の設定をする必要がなくなり、設定済みのシャッタメガネならば新たに設定をせずとも異なる種類のシャッタメガネを用いて画像を観察することができる。
【００３９】
システム制御部１０４がシャッタメガネ１０７の種別（属性）を認識するためには、例えば、シャッタメガネ１０４に、現在設定されている視点位置を記憶する記憶部を設けておき、その記憶部からの読み出しにより、システム制御部１０４がシャッタメガネ１０７の種別を認識し、その種別に応じた適切な画像（視点に依存して視差等を調整した画像）を生成し提示するようにすることができる。
【００４０】
画像ずらし処理部１０１３ａ〜１０１３ｃは、システム制御部１０４の指示を、通信・制御部１０１１を経由してそれぞれ受け、右目用画像全面を左右にずらす処理をそれぞれ行い、視差を調整する（ステップＳ４−３）。視差を調整された左右目用画像データはそれぞれ視差調整部１０１から出力される。なお、ここでは右目用画像のみずらして視差を調節したが、左目用画像をずらしても、左右目用画像両方をずらしてもよい。要するに、複数の視点画像の対応点同士を相対的に左右にずらすことによって視差を調節できるようにしてあればよい。また、予め視差範囲が想定できる場合には、視差算出部１０１２による算出結果を用いず、画像ずらし量を予め算出した値としてもよい。この場合、視差算出部１０１２を省略でき、さらにシステム制御部１０４の処理量も軽減できる。視差範囲は画像データに付随するものでも、取り決めによるものでも構わない。
【００４１】
視差が調整された複数の視点画像は表示制御部１０２に送られる（ステップＳ４−４）。表示制御部１０２は、表示部１０３に合わせた表示制御をするとともに、メガネ同期部１０６に対し信号を送る（ステップＳ５）。メガネ同期部１０６は、観察者の装着するシャッタメガネ１０７に対し同期信号を送り（ステップＳ６）、表示部１０３と同期処理を行うことができる。
【００４２】
より具体的には、例えば、表示部１０３に液晶表示パネルを用い、たとえば４視点の視点画像を表示し、観察者の装着したシャッタメガネ１０７と同期して立体視を行う方式の場合、表示制御部１０２は表示部１０３に対し、４視点の視点画像を順に出力する。出力の頻度は、例えば各視点に対応する画像をそれぞれ毎秒６０枚とする。表示部１０３は表示制御部１０２から送られる画像を随時表示するが、表示部１０３とシャッタメガネ１０７は同期し、表示部１０３に順に表示される４視点の視点画像のいずれかに左目用シャッタ、右目用シャッタを同期して開とすることにより、それぞれ対応する視点画像を左目及び右目に呈示して、立体視を実現する。
【００４３】
より具体的には、図３に示すシャッタメガネ１０７は、メガネ同期受信部１０７１で受信した同期信号及び幅指定部１０７３から得られる幅指定信号からシャッタ制御部１０７２がシャッタの開閉信号のタイミングを制御し、第１シャッタ部１０７４ａ及び第２シャッタ部１０７４ｂを駆動することによって、表示部１０３と同期して観察者に視点画像を呈示する。幅指定部１０７３には、予めシャッタメガネ１０７の幅に対応した視差量を選択するのに用いられる、幅指定信号が記録されており、この幅指定信号をシャッタ制御部１０７２に出力する。例えば、左右それぞれのシャッタの開閉と、それと同期した左シャッタが開で右シャッタが閉の時の左眼用画像の表示と、左シャッタが閉で右シャッタが開の時の右眼用画像を表示により立体視を実現することができる。
【００４４】
なお、同期信号を有線で接続することなく無線で伝達することにより観察者の負担を軽減することができる。例えば、同期信号を赤外線で伝送すると、表示部１０３付近の観察者から見える位置にメガネ同期部１０６を設けることにより、観察者が表示画面を観察できる位置にいれば、メガネ同期部１０６とメガネ同期受信部１０７１との間には障害物がなく、かつ、適切な距離を保つことになり、シャッタメガネ１０７は同期信号を受信することができる。同期信号を無線電波で伝送すると、表示部１０３付近の観察者から見える位置にメガネ同期部１０６を設ける必要がなく、シャッタメガネ１０７がメガネ同期部１０６を向いている必要もないので、メガネ同期部１０６とシャッタメガネ１０７の間に障害物があった場合でも同期が可能である。
【００４５】
次に、視差と奥行き表示との関係を図６に示す。図６は観察者とディスプレイを上から見た図である。
【００４６】
図６（ａ）は、通常の２次元表示状態であり、立体画像表示時には、右目用画像と左目用画像の対応点がディスプレイ（表示面）上で同じ位置にある状態である。この場合、この点はディスプレイ上にあるように知覚される。
【００４７】
図６（ｂ）は、ディスプレイ上で、右目用画像と左目用画像の対応点が、右目用画像は右に（Ｐ２）、左目用画像は左に（Ｐ１）ずれた状態である。この状態では、観察者にはこの点は、ディスプレイ面（表示面）よりも奥に知覚される（Ｐ４）。
【００４８】
図６（ｃ）は、ディスプレイ（表示面）上で、右目用画像と左目用画像の対応点が、右目用画像は左に、左目用画像は右にずれた状態である。この状態では、観察者にはこの点はディスプレイ面よりも手前に知覚される。
【００４９】
図６（ｄ）は、これらをまとめた図である。前述したとおり、右目用画像と左目用画像との対応点が、右目用画像が右にずれて表示され、左目用画像が左にずれて表示され、かつ、対応点間の距離が両眼距離に等しい場合、この点は無限遠に知覚されるが、対応点間の距離（Ｐ８−Ｐ９）が両眼距離を超えた場合、視線は開散方向には向かず、融合できなくなる。同様に、ディスプレイ上で、右目用画像と左目用画像の対応点が、右目用画像Ｐ８は左に、左目用画像Ｐ９は右に大きくずれた状態では、視線は極端な寄り目状態となり、融合できなくなる。従って、快適に立体視できる奥行きの範囲、すなわち、図６（ｄ）に示した快適融合範囲は、これらの融合範囲よりもディスプレイ面に対し内側となる。これらを応用し、左右目用画像を相対的に左右にずらし、左右目用画像中の対応点のずれを大きくしたり小さくしたりすることによって、立体画像の奥行き感を全体的により奥にしたり、より手前にしたりすることができる。
【００５０】
図６（ｄ）に示したように、視差量が両眼距離を超える状態では、眼球は開散方向に向かず立体視が不可能であるか、眼球が開散方向に運動し外斜視を誘発する恐れがあるなど危険な状態となり好ましくない。従って、画面内の視差の最大値が両眼距離を超えないような処理を観察者に合わせて行う必要がある。具体的には、立体画像の片方または両方を相対的に左右にずらすことによって視差の最大値が両眼距離を超えないようにする。この時、左目用画像を右に、右目用画像を左に移動することによって、最遠景の視差の最大値を小さくする処理を行うと、両眼が開散方向に向くことは避けられ、立体画像は全体的に手前に知覚されるようになる。同様に、極端な寄り目を誘発する立体画像は人体に負担となるが、左目用画像を左に、右目用画像を右にずらすことによって、極端な寄り目は軽減され、立体画像は全体的に奥に知覚されるようになる。
【００５１】
このようにして、複数種類の両眼距離に対応する立体画像を作成し、観察者がこの複数種類の立体画像を構成する複数の視点画像から、観察者に合った視点画像の組を選択することにより、安全な立体視を実現することができる。なお、ここでは複数の両眼距離に対応した画像の例を示したが、このほかに、同じ両眼距離でも輻輳角の異なる画像などでもよい。
【００５２】
次に、シャッタメガネについて示す。前述のとおり、メガネ同期部１０６から送られる同期信号に同期して、複数の視点画像から適当な組み合わせを選び、適切な視差量の視点画像を表示することにより立体視を可能とする。ここで、人間の両眼距離は概ねメガネの幅に比例するため、メガネの幅に対応して選択できる視差量に制限を持たせることにより、観察者に合わせて安全に立体視を可能とすることができる。すなわち、例えば子供用メガネとして子供の顔の幅に合わせたものを用意し、視差の最大値が子供の両眼距離相当であるおよそ５ｃｍを超えない視点画像を受信するようにする。同様に、大人用のメガネとしても顔の幅に合わせたものを数種類用意し、それぞれ想定される両眼距離に合わせた視点画像を受信するようにする。大人の両眼距離は平均で６．５ｃｍと言われているが、必ずしも視差の最大値が両眼距離である必要もなく、両眼距離以下の値をとればよい。立体画像の観察が得意でない観察者のために、特に視差を弱めた画像や、２次元画像のみ表示するメガネを用意しても良い。視差量は必ずしもメガネ毎に固定である必要はなく、想定される両眼距離を超えない範囲で視差量を自由に選択できるようにしても良い。この場合、前述の幅指定部１０７３の設定値を変更するようにする。
【００５３】
メガネの幅は、数種類のものを用意するとよいが、ユーザの眼幅に応じて、幅（レンズ間の距離）を可変としてもよい。この様子を図７に示す。図７（ａ）に示すように、メガネフレーム１０７ａのテンプル１０７ｂの長さを変えることで、ユーザの眼幅に適したように応じてレンズ間の距離を可変とすることができる。すなわち、図７（ａ）に比べて図７（ｂ）のメガネでは、テンプル１０７ｂがメカニカルな機構により長くなっており、このようにして、メガネ１０７の幅を変えることができる。この際、メガネ１０７の設定幅を装置側から検出する（メガネ１０７からの信号により検知するなど）して、装置側でメガネの幅を知ることができるようにすると、その眼幅に応じた表示制御が可能である。
【００５４】
尚、メガネのつる（図示せず）の角度を可変にすることにより、幅を可変するのと同等の働きを持たせても良い。また、選択する視差に対応する視点画像は、両眼距離に対応して１通り選択としても良いし、観察者が任意に、両眼距離を超えない範囲で選択しても良い。このとき、選択に用いるスイッチを回転式やスライド式にすると、プッシュ式のスイッチと比較してメガネの取り扱いで誤操作する恐れが減るほか、幅を可変とする機構と機械的に選択範囲を制限する機構を同時に実現することが容易となる。
【００５５】
また、メガネ等のシャッター（遮断手段）の位置は固定にし、のぞき窓のようにして遮蔽手段から観察できるようにしてもよい。この場合は遮断手段の高さに応じて呈示する画像の組み合わせを選択するようにするとよい。高さを可変できるようにし、高さに対応した呈示画像の組み合わせを選択できるようにしてもよい。人間の両眼距離は、概ね身長に比例する。従って、遮断手段の高さを身長と対応付けて、例えば、低い位置にある遮断手段は、視差の最大値が子供の両眼距離相当であるおよそ５ｃｍを超えない視点画像を受信するようにしても良い。
【００５６】
シャッタメガネ１０７は、前述の通り、時分割で表示される視点画像から特定の画像の組を選択することによって視差を選択する。ここで、例えば４視点の画像を２種類の異なる左右画像の組として用いても良いが、各視点画像を共通に用い、各視点画像の組み合わせを選ぶことによって異なる左右画像の組を得ることができる。この時、同期信号に各々の視点画像に関する情報や組み合わせに関する情報を重畳し、シャッタメガネ１０７で重畳された情報をもとに呈示する視点画像の組み合わせを選択するようにすると、組み合わせの自由度を向上させることができる。
【００５７】
このようにして、複数通りの両眼距離に対応する視点画像を得ることができる。すなわち、想定した両眼距離に対応した視差量の立体画像を得ることができ、それぞれの視点画像の組み合わせから、複数の観察者に対し適切な視差量で立体画像を提示することができ、複数の観察者が同時に異なる視差で同じ表示画面を楽しむことができる。また、それぞれの観察者が用いるシャッタメガネがそれぞれ適切な視点画像の組み合わせを選択しているため、１台の表示装置に対して観察者をいくらでも増やすことができる。それぞれの観察者の装着するシャッタメガネは一般的なサングラスと大きな違いはなく、見た目の違和感も大きくはないゆえ、観察者同士のコミュニケーションを阻害する要因にもなりにくい。
【００５８】
なお、本実施の形態では、図２に示すように、入力画像に改変を加えずに表示部に送られる画像がある（Ｌ１）。第１から第３までのずらし処理部１０１３ａ〜ｃによる処理を経ると、画像は視差調整の影響により左右に移動される。従って、ずらし処理を経た画像のうち、同じ画像を左右の目で観察すると、視差が付加されないため、２次元画像として観察されるが、画像は、ずらし処理に応じて左右に移動することとなり好ましくない。そこで、ずらし処理部１０１３の処理を経ない画像を２次元表示用画像として両眼に同時に呈示することによって、入力された画像そのものを２次元画像として良好に観察することができる。シャッタメガネが選択する視点画像の組には、このように左右同一の視点画像を提示する組み合わせがあっても良い。
【００５９】
また、２次元表示する画像として立体表示用の画像とは異なる画像を予め用意すると良い。立体画像は両目で観察することを前提に制作されるので、立体画像のうちの１枚を抽出すると、必ずしも適切な視点となっていない場合がある。特に基線長に対し被写体までの距離が近い場合に顕著である。この現象を避けるために２次元表示する画像を用意すると良好な２次元画像を提示することができる。
【００６０】
以上に説明したように、本実施の形態によれば、ずらし処理による複数視差を生成することができるため、複数の観察者に適した立体画像を同時に提示することができるという利点がある。
【００６１】
＜第２の実施形態＞
以下に、本発明の第２の実施形態による立体画像表示装置について、図面を参照して説明する。本実施形態による立体画像表示装置の構成例は第１の実施形態と同様に図１で示される。図１が示すように、本実施形態による立体画像表示装置は、入力部１０と、入力された画像データを処理し、立体視用画像データを生成するための画像処理を行う立体画像処理部１００と、画像の視差を調整する視差調整部１０１と、画像を表示部に合わせ表示制御を行う表示制御部１０２と、画像を表示する表示部１０３と、システム全体を制御するシステム制御部１０４と、観察者が入力を行うユーザ入力部１０５と、シャッタメガネの同期を行うメガネ同期部１０６と、を有している。また、システムとしては、観察者が装着するシャッタメガネ１０７が含まれる。
【００６２】
図８は、本実施の形態による視差調整部１０１の一構成例を示す図である。視差調整部１０１は、通信・制御部１０１１、視差算出部１０１２、視差調整部１０１４、遮蔽補償部１０１５、第１から第４の画像加工部１０１６ａ〜１０１６ｄと、を有している。
シャッタメガネ１０７の構成は、第１の実施形態及び図３に示した通りであるので省略する。
【００６３】
次に、各部の動作を説明する。図９は、本実施の形態による処理の流れを示すフローチャート図である。図４のステップＳ４の詳細について説明する。立体画像表示装置に入力部１０を経由して入力された画像データは、立体画像処理部１００において入力形式に合わせて左目用画像データと右目用画像データとに展開される。同時に、入力された画像データに付加情報がある場合は、付加情報を抽出し、システム制御部１０４に伝送する。ここで、入力される画像データは、放送波によるもの、記録メディアから電子的に読みだされたもの、通信により取得されたものなど、どのようなものでも良い。また、右目用画像データ、左目用画像データは、１枚の画像データから作成されたものでも良い。すなわち、画像データと奥行きデータもしくは視差データから合成された複数視点画像、奥行き情報を推定して作成された複数視点画像であってもよい。多視点画像データとして入力された複数視点画像であってももちろん良い。
【００６４】
展開された左目用画像データと右目用画像データとは、視差調整部１０１に送られ、複数の視点画像に再合成される。視差調整部１０１の内部では、システム制御部１０４と通信する通信・制御部１０１１が各部を制御している。入力された画像データは視差算出部１０１２に入力され、左右画像の対応点のずれから視差を算出し（ステップＳ４−１１）、算出した視差データは視差調整部（２）１０１４に送られる（ステップＳ４−１２）。送られるデータは例えば画素ごとに視差を表した、いわゆる視差マップであるとよい。
【００６５】
視差調整部１０１の内部の視差調整部（２）１０１４は、受信した視差データのうち、システム制御に必要なパラメータを選択して（ステップＳ４−１３）、通信制御部１０１１を経由してシステム制御部１０４に送信する。送信するパラメータは、例えば画面内の視差の最大値、最小値であると良い。
【００６６】
システム制御部１０４は、受信したパラメータをもとに、各視点画像に適切な補正パラメータを求め（ステップＳ４−１４）、視差調整部（２）１０１４に送信する。視差調整部（２）１０１４では、受信した補正パラメータを、視差算出部１０１２から受信した視差データに演算し、それぞれ想定された視点位置に対応する、補正された複数の視差データを算出する（ステップＳ４−１５）。補正された複数の視差データは遮蔽補償部１０１５及び各視点画像に対応する画像加工部１０１６に出力される（ステップＳ４−１６）。この時の視差データも同様にいわゆる視差マップであるとよい。
【００６７】
遮蔽補償部１０１５では、視差調整部（２）１０１４により補正された複数の視差データに基づき画像を再合成する際、視点が変わることによって遮蔽関係が変化し、画像データがない部分に関し、画像データを生成して補償する補償画像データを生成する（ステップＳ４−１７）。補償画像データは、例えば入力された画像のうち、遮蔽関係の異なる他の視点の画像を用いて生成できる。補償画像データは、画像加工部１０１６の数に対応して複数出力される。
【００６８】
第１から第４の画像加工部１０１６ａ〜１０１６ｄは、上記の補正された複数の視差データ及び補償画像データを用いて、それぞれ想定された視点位置に合わせた新たな視点画像を再合成する（ステップＳ４−１８）。より具体的には、上記の補正された複数の視差データに基づいて、対象領域の画素データを移動させ、移動によって対応する画素がなくなった領域には補償画像データの対応部分の画素データを補う。このようにして、入力された立体視用データに含まれていない視点の画像を生成する。
【００６９】
なお、ここでは、左右画像から視差を求めて演算したが、入力が画像データと奥行きデータとの組み合わせである場合は、入力された奥行きデータを視差データに変換して用いても良い。また、図８では画像加工部１０１６に対し左右の画像が入力されているが、右または左のうち一方の画像を入力するようにしても良い。このようにすと、仮想的にカメラ位置を調整した視点画像を再合成し、複数の視点画像を生成して、複数の両眼距離に対応した画像を生成することができる。
【００７０】
生成された複数の視点画像は、表示制御部１０２に送られる。表示制御部１０２は、表示部１０３に合わせた表示制御をするとともに、メガネ同期部１０６に対して信号を送る。メガネ同期部１０６は、観察者の装着するシャッタメガネ１０７に対して同期信号を送り、表示部１０３と同期処理が行われる。具体的には、例えば、表示部１０３に液晶表示パネルを用いて４視点の視点画像を時分割で表示し、観察者の装着したシャッタメガネ１０７と同期して立体視を行う方式の場合、表示制御部１０２は表示部１０３に対し、４視点の視点画像を順に出力する。出力の頻度は、例えば各視点に対応する画像をそれぞれ毎秒６０枚とする。
【００７１】
表示部１０３は、表示制御部１０２から送られる画像を随時表示するが、表示部１０３とシャッタメガネ１０７とは同期しており、表示部１０３に順に表示される４視点の視点画像のいずれかに左目用シャッタ、右目用シャッタを同期して開とすることにより、それぞれ対応する視点画像を左目及び右目に表示して、立体視を実現する。具体的には、シャッタメガネ１０７は、メガネ同期受信部１０７１で受信した同期信号及び幅指定部１０７３から得られる幅指定信号から、シャッタ制御部１０７２がシャッタの開閉信号のタイミングを制御し、第１シャッタ部１０７４ａ及び第２シャッタ部１０７４ｂを駆動することによって、表示部１０３と同期して観察者に視点画像を呈示する。幅指定部１０７３には、予めメガネの幅に対応した視差量を選択する、幅指定信号が記録されているものとする。
【００７２】
図１０（ａ）、（ｂ）に示すように、視差は左右の視点（Ｖ１，Ｖ２）、（Ｖ３，Ｖ４）の相対的なずれにより生ずるので、複数の視点からの画像のうち、相対的に視点のずれ量が適切な画像を２枚抽出し、それぞれ右目用画像及び左目用画像として用いれば視差量を選択でき、視点画像の組み合わせに応じて複数の立体画像を得ることができる。この様子を図１１に示す。この場合、各視点間の距離を適切に設定することにより、４視点（Ｖ１１〜Ｖ１４）の画像から６種類の異なる視点画像の組み合わせを得ることができ（４Ｃ２）、要素となる視点画像を削減することができる。この様子を図１２に示す。図１２に示すように、視点間の距離が、１ｃｍ、１．５ｃｍ、２．５ｃｍ、４ｃｍ、５ｃｍ、６．５ｃｍの６種類の異なる視点画像の組み合わせを得ることができる。要素となる視点画像が多いほど多くの組み合わせを得ることができるのは言うまでもない。
【００７３】
シャッタメガネ１０７は、これら複数の視点画像から、それぞれのシャッタメガネ１０７に設定された許容視差範囲に合う組み合わせを選択し、表示する。人間の両眼距離は概ねメガネの幅に比例するゆえ、メガネの幅に対応して選択できる視差量に制限を持たせることにより、観察者に合わせて安全に立体視を可能とすることができる。
【００７４】
このようにして、複数の両眼距離に対応する複数の立体画像を得ることができる。すなわち、想定した両眼距離に対応した視差量の立体画像を得ることができ、それぞれの視点画像の組み合わせから、複数の観察者に対し適切な視差量で立体画像を提示することができる。
【００７５】
なお、ここでは２点の視点画像から４点の視点画像を変換により得る方法を示したが、当然のことながら、実際のカメラを４視点分用いて画像を取得しても良い。視点の配置は、光軸を平行に設置したものでも光軸が輻輳するように配置したものでも良いし、横一列に視点を配置したものでも光軸の輻輳点までが等距離になるよう配置したものでも良い。
【００７６】
図１３は、上記の例のうち、光軸の輻輳点がそれぞれのカメラＣ１からＣ４から等距離になるよう配置した例を示す図である。また、４視点での例を示したが、視点数は４に限定されるものではなく、画像のフレームレートや表示デバイスの応答速度に応じて加減されるべきものである。
【００７７】
また、本実施形態では、仮想的にカメラ位置を移動した４視点の画像を表示したが、このほかに２次元画像として表示する視点画像を追加し、左右の目で同じ画像を２次元画像として観察できるようにするとなおよい。立体画像は両目で観察することを前提に制作されるため、立体画像のうちの１枚を抽出すると、必ずしも適切な視点となっていない場合がある。特に、基線長に対し被写体までの距離が近い場合に顕著である。また、視点の変換に伴う画像の変質を避けることができる。２次元表示により、体質・体調により立体画像の鑑賞に適さない観察者も含めて安全に画像を観察することができる。２次元画像も同様にシャッタメガネを用いて提示することができる。
【００７８】
なお、本実施形態では、画素ごとに視差を表した視差マップを例にシステムを説明したが、必ずしも画素ごとの視差である必要はなく、縮小画像に対しての視差マップであっても良い。この場合、実際に処理する際に、低い解像度の視差マップのままで用いても良いが、フィルタ処理等により解像度を高めた視差マップを用いるとよい。
【００７９】
＜第３の実施形態＞
以下に、本発明の第３の実施の形態による立体画像表示装置について、図面を参照して説明する。図１４は、本実施形態による立体画像表示装置の一構成例を示す機能ブロックである。図１４に示すように、本実施形態による立体画像表示装置は、ユーザ操作部２０と、ゲーム制御部２０１と、表示制御部２０２と、表示部２０３と、メガネ同期部２０６と、から構成され、さらに、シャッタメガネ２０７をユーザが着用する。ゲーム制御部２０１は、更にシステム制御部２０１１と、プログラム蓄積部２０１２と、立体画像生成部２０１３と、を有している。
【００８０】
より具体的には、ユーザ操作部２０は、ゲームコントローラ、システム制御部２０１１はＣＰＵやメモリ及びユーザ操作部、プログラム蓄積部・立体画像生成部・表示制御部とのI/Oなどを備え、プログラム蓄積部２０１２はハードディスクや光ディスクなどにゲームソフト等を収めたもの、立体画像生成部２０１３はＧＰＵ（Graphic Processing Unit）及びメモリから構成されていても良い。表示部２０３は、液晶ディスプレイやプラズマディスプレイ、有機ＥＬディスプレイなどで構成可能であるが、応答速度が高速な表示デバイスであることが望ましい。ＬＥＤディスプレイ等を用いれば高速な応答が得られる。メガネ同期部２０６は、シャッタメガネ２０７に対し、赤外線や電波などで同期信号を送る。ユーザ操作部２０やシャッタメガネ２０７は複数あっても良い。
シャッタメガネ２０７の構成は、第１の実施形態及び図３に示したシャッタメガネ１０７の構成と同様である。
【００８１】
次に、各部の動作を説明する。図１５は、本実施の形態による処理の流れを示すフローチャート図である。ユーザ操作部２０からの操作を受け、システム制御部２０１１はプログラム蓄積部２０１２からプログラムを読み出して実行する。プログラムは、前述の通り光ディスクを読み出すもの、ハードディスクを読み出すものなどで良い。固体メモリであってももちろん構わない。ハードディスクを読み出す場合、ハードディスクへのプログラムの蓄積は、光ディスクから読み出す方法、通信により取得する方法、固体メモリから読み出す方法など、どのような形でもよい。
【００８２】
プログラムの実行に伴い、システム制御部２０１１は、立体画像生成部２０１３に対し、立体画像モデルを出力する。
【００８３】
ここで、立体画像モデルとは、表示すべき物体の形状や配置、照明となる光源の位置、及び仮想的な視点位置等を３次元座標上に表現したものである。３次元座標は、直交座標系でも極座標系でも構わない。また、表示すべき物体の表面の模様や状態等が記述されていても良い。
【００８４】
立体画像生成部２０１３では、立体画像モデルを展開して個々の視点画像を生成する（ステップＳ２１）。より具体的には、立体画像モデルに含まれる物体の配置図を、立体画像モデルに含まれる複数の仮想カメラの位置から見た図を生成することによって複数の視点画像を得る。複数の仮想カメラの位置は、複数の視点に対応する位置とし、例えば図１２に示すような配置とする。図１２は、４台のカメラＶ１１〜Ｖ１４による４つの視点画像から６通りの立体画像を得ることができる様子を示している。尚、複数の仮想カメラの位置は、想定された両眼距離によって決定される。想定された両眼距離は、ユーザが入力しても良いし、プログラムに予め設定されたものを用いても良い。ユーザが入力する場合は、ユーザの好みに応じた両眼距離に対応する立体画像が呈示できる。一方、プログラムに予め設定されたものを用いる場合は、プログラムの想定する場面に合った画像が呈示できる。
【００８５】
立体画像生成部２０１３において生成された複数の視点画像は、表示制御部２０２に送られる（ステップＳ２２）。表示制御部２０２は、表示部２０３に合わせた表示制御をすると同時に、メガネ同期部２０６に対し同期信号を送る。メガネ同期部２０６は、ユーザの装着するシャッタメガネ２０７に対し同期信号を送り、シャッタメガネ２０７では、表示部２０３との同期処理が行われる。具体的には、例えば、表示部２０３に液晶表示パネルを用い、たとえば４視点の視点画像を表示し、観察者の装着したシャッタメガネ２０７と同期して立体視を行う方式の場合、表示制御部２０２は表示部２０３に対し、４視点の視点画像を順に出力する（ステップＳ２３）。出力の頻度は、例えば各視点に対応する画像をそれぞれ毎秒６０枚とする。表示部２０３は、表示制御部２０２から送られる画像を随時表示するが、表示部２０３とシャッタメガネ２０７とは同期し、表示部２０３に順に表示される４視点の視点画像のいずれかに左目用シャッタ、右目用シャッタを同期して開とすることにより、それぞれ対応する視点画像を左目及び右目に表示して、立体視を実現する（ステップＳ２４）。
【００８６】
この時、複数の視点画像は順に表示されるので、立体画像生成部２０１３では、各視点画像に関し、表示部２０３において実際に時分割で表示されるタイミングを考慮して画像を生成すると時間軸に沿った滑らかな動きが知覚され、なおよい。この様子を、図１６に示す。図１６は、円筒形の物体Ｂから点状の物体Ｄが発射されている様子を表している。このとき、円筒形の物体Ｂは視点に合わせて見え方が各フレームで変化しており、点状の物体Ｄは時間の経過に合わせて表示位置が変化している。点状の物体Ｄも視点に合わせて見え方が変化するが、図１６では小型であるので、図の表現上、視点変化は省略されている。時間軸に沿った画像は、時系列画像の補間により生成しても良い。
【００８７】
前述のとおり、シャッタメガネ２０７は、これら複数の視点画像から、それぞれのシャッタメガネ２０７に設定された許容視差範囲に合う組み合わせを選択し、表示する。人間の両眼距離は、概ねメガネの幅に比例するため、メガネの幅に対応して選択できる視差量に制限を持たせることにより、ユーザに合わせて安全に立体視を可能とすることができる。
【００８８】
このようにして、複数の視点及び両眼距離に対応する視点画像を得ることができる。すなわち、想定した両眼距離に対応した視差量の立体画像を得ることができ、それぞれの視点画像の組み合わせから、複数のユーザに対し適切な視差量で立体画像を提示することができ、複数のユーザが同時に同じ表示画面に向かって立体表示のゲームを楽しむことができる。また、それぞれのユーザが用いる遮蔽手段がそれぞれ適切な視点画像の組み合わせを選択しているため、１台の表示装置に対して表示を観察するユーザをいくらでも増やすことができる。
【００８９】
尚、上記では、表示装置に同期して画像を選択する遮蔽手段としてシャッタメガネを例に挙げているが、遮蔽手段の形状をメガネに限定するものではない。例えば、顔を覆う面のようなものやヘルメットの目を覆う部分に遮蔽素子、例えば液晶シャッタを設けた遮断手段としても良い。この場合、球技や格闘技等に用いる防護面や、モータスポーツ等に用いるヘルメットを模したものとすることにより、メガネを用いた場合のメガネと顔の隙間からの外光の影響を軽減することができ、立体画像表示装置を用いた、より没入感のあるゲーム装置を構成することができる。この際にも、頭部の大きさに応じて適切な面やヘルメットの大きさが異なるので、メガネと同様に、これらの寸法から適切な視差を推定することができる。また、公共空間に設置されるゲーム装置では、個々の構成装置は有線接続されることが好ましいが、メガネと比較して面やヘルメットでは接続線の重量等を頭全体で支えることになり、接続線によるわずらわしさを軽減することができる。
【００９０】
また、上記の実施の形態において、添付図面に図示されている構成等については、これらに限定されるものではなく、本発明の効果を発揮する範囲内で適宜変更することが可能である。その他、本発明の目的の範囲を逸脱しない限りにおいて適宜変更して実施することが可能である。
【００９１】
また、本実施の形態で説明した機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより各部の処理を行ってもよい。尚、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。
【００９２】
また、「コンピュータシステム」は、ＷＷＷシステムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）も含むものとする。
【００９３】
また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含むものとする。また前記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであっても良い。
【産業上の利用可能性】
【００９４】
本発明は、立体画像表示装置に利用することが可能である。
【符号の説明】
【００９５】
１０…入力部、２０…ユーザ操作部、１００…立体画像処理部、１０１…視差調整部（１）、１０２…表示制御部、１０３…表示部、１０４…システム制御部、１０５…ユーザ入力部、１０６…メガネ同期部、１０７…シャッタメガネ、１０７ａ…フレーム、１０７b…テンプル、２０１…ゲーム制御部、２０２…表示制御部、２０３…表示部、２０６…メガネ同期部、２０７…シャッタメガネ、１０１１…通信・制御部、１０１２…視差算出部、１０１３ａ〜１０１３ｃ…ずらし処理部、１０１４…視差調整部（２）、１０１５…遮蔽補償部、１０１６ａ〜ｄ…画像加工部、１０７１…メガネ同期受信部、１０７２…シャッタ制御部、１０７３…幅指定部、１０７４ａ、１０７４ｂ…シャッタ部、２０１１…システム制御部、２０１２…プログラム蓄積部、２０１３…立体画像生成部。
【技術分野】
【０００１】
本発明は、立体画像を表示する技術に関するものである。
【背景技術】
【０００２】
人間は一定の間隔を持つ２つの目により得られる画像の違いから空間を把握する能力を持つ。左右の眼による異なる視点から得られる画像中の対応点のずれを視差と呼び、視差を手掛かりの一つとして対象物の位置関係を立体的に把握している。このことを利用して、右目用画像を右目に表示し、左目用画像を左目に表示する手段を設け、右目用画像、左目用画像として視差を設けた画像を生成し提示することにより立体視が可能であることが知られている。ここでは、立体視を意図して視差を設けた複数の画像を、「立体画像」と称する。
【０００３】
立体視において、人間は視差に応じた両眼の光軸のなす角度、すなわち輻輳の大きさを対象物までの距離に対応付けている。従って、右目用画像を右方向に、左目用画像を左方向に相対的にずらし、視差を付けた画像を提示すると、実際の表示面より遠くに表示物を知覚させることができる。しかしながら、このときに視差をつけすぎ、観察者の目の間隔、正確には無限遠を見ている時の瞳孔間の距離を超えた視差とすると、自然界では起き得ない状態となり、立体視が不可能となるか、立体視ができたとしても人体に強い負担を強いることになる。同様に、近距離側でも極端な視差は不自然な位置関係を生じるうえ、極度な寄り目を観察者に強いることとなり、快適な立体視ができなくなる。また、視差が大きくなるほど輻輳と目の焦点の調節との乖離が大きくなり、不自然な状態となるためで、違和感を生じる。このように、立体画像の視差量が、ある一定の範囲では快適に立体視が可能であるが、視差量が大きくなると両目の画像が融合しなくなり、立体視ができなくなる。
【０００４】
従って、人間が視差を手掛かりに奥行き知覚をするにあたり、観察者の両眼距離が立体視に適当な立体画像の視差範囲を決める大きな要素の一つとなる。このことは、すなわち、適切な視差範囲は観察者によって異なることを意味している。
【０００５】
また、観察者によっては立体画像のもたらす奥行き感に違和感を覚え、不快感を覚えることもある。この現象は一般的に「3D酔い」などと呼ばれ、現実の世界で知覚される奥行き感との齟齬が原因といわれている。
【０００６】
そこで、観察者の両眼距離に合わせて視点画像を提示する表示装置が、以下の特許文献１に示されている。特許文献１に記載の技術では、第１及び第２の２つの撮像部と２つの表示部により構成されているＨＭＤ部を設け、第１の撮像部はＨＭＤ部を頭部に装着する観察者の右目に対応する現実空間の画像（右目用現実空間画像）を撮像するものであり、第２の撮像部は、この観察者の左目に対応する現実空間の画像（左目用現実空間画像）を撮像するように構成している。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２００６−２８５６０９号公報（キヤノンHMD）
【発明の概要】
【発明が解決しようとする課題】
【０００８】
上記特許文献１の方法によれば、観察者の両眼距離に合わせた視点画像を提示することができる。しかしながら、観察者一人一人の頭部に特殊な表示装置を装着させる必要があり、大型の装置を頭部に取り付ける違和感や疲労感をもたらすことが避けられない。また、視界が表示装置に占有されるため、映像酔いの影響が顕著になる恐れがある。頭部を大きく覆う装置ため、観察者同士のコミュニケーションを阻害する要因ともなる。
【０００９】
本発明の目的は、複数の観察者に適した立体画像を同時に提示することができ、かつ大型の表示装置を装着させる必要のない立体画像生成技術及び表示技術を提供することである。
【課題を解決するための手段】
【００１０】
本発明の一観点によれば、３つ以上の画像を時分割で順に表示する表示制御を行う表示制御部と、前記表示制御部の制御と同期して同期信号を出力する同期部と、前記同期部からの前記同期信号を受信し、前記表示制御部と同期させて動作させることにより、前記３つ以上の画像から選択的に右目および左目に画像を呈示する遮蔽部と、を備え、前記遮断部は、予め設定された設定値に従って、前記３つ以上の画像から、右目および左目に呈示する画像の組みを選択する機能を有することを特徴とする立体画像表示装置が提供される。
【００１１】
予め設定された設定値に従って、前記３つ以上の画像から、右目および左目に呈示する画像の組みを時分割方式により選択することができる遮断部の遮蔽及び開口動作に応じて、同じ立体画像を観察している複数の観察者のそれぞれに適した異なる画像を提示することができる。すなわち、第１の観察者は、第１の遮蔽部を用いており、その第１の遮蔽部に設定されている設定値に従って、右目および左目に呈示する画像の組みが選択されて第１の観察者に提示され、第２の観察者は、例えば第２の遮蔽部を用いており、その第２の遮蔽部に設定されている設定値に従って、右目および左目に呈示する画像の組み（同じ又は異なる）が選択されて第２の観察者に提示されるようになっている。この構成により、遮蔽部を観察者に応じて変更するだけで、同じソースからの立体画像を、それぞれの観察者に適した状態で提示することができる。
【００１２】
前記３つ以上の画像は、それぞれ異なる視点から被写体をとらえた画像からなり、前記３つ以上の画像を組み合わせることにより、２組以上の右目及び左目に呈示する画像の組を生成することを特徴とする。好ましい視差が異なる、それぞれの使用者に適した画像を提示することができる。
【００１３】
前記３つ以上の画像は、それぞれ異なる横方向の視差を持つ画像からなることを特徴とする。異なる３つ以上の画像として、視差の異なる画像を使用者に提示することができる。
【００１４】
前記右目及び左目に呈示する画像の組は、前記３つ以上の画像の組み合わせにより実現される画像であり、前記３つ以上の画像のうちの少なくとも１つを、複数の前記右目及び左目に呈示する画像の組に組み込むことを特徴とする。視差のついた画像の構成画像を削減することができる。
【００１５】
前記右目及び左目に呈示する画像の組は、前記３つ以上の画像に加えて、２次元表示のための画像を含む画像から選択されることを特徴とする。使用者に２次元画像（平面画像）も提示できる。例えば、平面画像の提示により目の疲労を回復させるようにすることが可能である。
【００１６】
前記３つ以上の画像が、移動する表示対象を含む画像である場合に、前記表示制御部により、時分割で表示される制御を行う際の表示タイミングに合わせて、時間に依存して表示対象の位置が調整された画像とすることを特徴とする。移動する表示物を違和感なく表示できる。
【００１７】
前記遮蔽部は、前記遮蔽部を使用する使用者の眼幅に応じて、前記３つ以上の画像から、右目及び左目に呈示する画像の組を選択することを特徴とする。眼幅を「検出」することなく、固定幅のメガネに対応する選択をすることができる。すなわち、メガネと画像の組は１対１対応で、使用者がメガネを選択することによって画像を選択することができる。
【００１８】
前記遮蔽部は、前記遮蔽部を使用する前記使用者の眼幅に応じて、複数種類用意されていることを特徴とする。使用者の眼幅に応じてメガネをユーザが選択して、適した立体画像を提示することができる。
【００１９】
前記遮蔽部は、幅が変更できる構造であり、前記遮蔽部の変更後の幅に応じて、前記３つ以上の画像から、右目及び左目に呈示する画像の組を選択することを特徴とする。使用者の眼幅に応じて、適した立体画像を提示することができる。
【００２０】
前記遮蔽部は、前記遮蔽部の高さに応じて、前記３つ以上の画像から、右目及び左目に呈示する画像の組を選択することを特徴とする。使用者の眼幅と略比例する身長（高さ）に応じて、適した立体画像を提示することができる。
【００２１】
前記遮蔽部は、高さが変更できる構造であり、前記遮蔽部の高さに応じて、前記３つ以上の画像から、右目及び左目に呈示する画像の組を選択することを特徴とする。使用者の眼幅と比例する身長に応じて立体画像を提示することができる。例えば、のぞき窓を遮蔽部において形成するようにしてある高さ範囲のみから観察できるようにし、のぞき窓の部分の高さを調整できるようにする。
【００２２】
前記異なる視点を、異なる幅又は高さを有する前記遮蔽部の種類と対応付けて設定されることを特徴とする。適切な視点を、遮蔽部の幅又は高さの調整又は遮蔽部の取り替えにより簡単に設定、変更を行うことができる。
【００２３】
前記用いられる前記遮蔽部は、使用者が選択することができるように、本体とは別に設けられていることを特徴とする。異なる種類の遮蔽部を、適宜、追加・変更することができる。
【００２４】
前記遮蔽部の種別を取得する遮蔽部種別取得部が設けられていることを特徴とする。現在使用されている遮蔽部の種別を自動的に装置が認識して、それに応じた左右画像を提供するようにすることができる。
前記遮蔽部の種別を保持する遮蔽部種別保持部を更に設けていることを特徴とする。設定を保存し、それに適した視点の左右画像を提示することができる。
【００２５】
前記遮蔽部は、メガネ型であることを特徴とする。違和感なく装着することができる。
前記遮蔽部は、ヘルメット型であることを特徴とする。脱落を防ぐことができる。
前記遮蔽部は、顔を覆う面型であることを特徴とする。顔を覆うことで、迷光を軽減することができる。
【００２６】
前記同期信号は、前記３つ以上の画像と、前記遮断部に設定された設定値と、の対応を表す信号を含むことを特徴とする。表示の自由度が増す。
前記同期信号は、赤外線で出力されることを特徴とする。接続線を用いずに実現できる。
前記同期信号は、電波で出力されることを特徴とする。同期信号が見える位置になくとも実現できる。
【００２７】
画像調整部を更に設け、前記３つ以上の画像の画面領域の全面または一部を、少なくとも横方向に相対的にずらすことによって視差を調整することを特徴とする。視差を調整することができる。
【００２８】
前記画像調整部は、前記３つ以上の画像を調整することにより、前記異なる視点からとらえたとみなせる画像を生成することを特徴とする。入力されていない視点画像を生成することができる。
【発明の効果】
【００２９】
本発明によれば、複数の観察者に適した立体画像を同時に提示することができ、かつ大型の表示装置を装着させる必要のない立体画像表示装置を実現できる。
【図面の簡単な説明】
【００３０】
【図１】本発明の第１の実施形態による立体画像表示装置の一構成例を示す機能ブロック図である。
【図２】図１の視差調整部（１）１０１の一構成例を示す図である。
【図３】シャッタメガネ１０７の構成例を示す図である。
【図４】本実施の形態による立体画像生成処理の流れを示すフローチャート図である。
【図５】本実施の形態による立体画像生成処理の流れを示すフローチャート図である。
【図６】視差と奥行き表示との関係を示す図である。
【図７】ユーザの眼幅に応じて、幅（レンズ間の距離）を可変としたメガネの図である。
【図８】本発明の第２の実施の形態による視差調整部の一構成例を示す図である。
【図９】本実施の形態による処理の流れを示すフローチャート図である。
【図１０】視差が、左右の視点（Ｖ１，Ｖ２）、（Ｖ３，Ｖ４）の相対的なずれにより生ずる様子を示す図である。
【図１１】複数の視点からの画像のうち、相対的に視点のずれ量が適切な画像を２枚抽出し、それぞれ右目用画像及び左目用画像として用いれば視差量を選択でき、視点画像の組み合わせに応じて複数の立体画像を得ることができる様子を示す図である。
【図１２】視点間の距離を適切に設定することにより、４視点（Ｖ１１〜Ｖ１４）の画像から６種類の異なる視点画像の組み合わせを得ることができる様子を示す図である。
【図１３】光軸の輻輳点がそれぞれのカメラＣ１からＣ４から等距離になるよう配置した例を示す図である。
【図１４】本発明の第３の実施形態による立体画像表示装置の一構成例を示す機能ブロックである。
【図１５】本実施の形態による処理の流れを示すフローチャート図である。
【図１６】円筒形の物体Ｂから点状の物体Ｄが発射されている様子を表す図である。
【発明を実施するための形態】
【００３１】
＜第１の実施形態＞
以下に、本発明の第１の実施形態による立体画像生成装置を含む立体画像表示装置について、図面を参照して説明する。図１は、本実施形態による立体画像表示装置の一構成例を示す機能ブロック図である。図１に示すように、本実施形態による立体画像表示装置は、画像データを受け付ける入力部１０と、入力された画像データを処理し、立体表示が可能な表示データ（以下、「立体視用画像データ」と称する。）を生成するための画像処理を行う立体画像処理部１００と、画像の視差を調整する視差調整部（１）１０１と、画像を表示部に合わせ表示制御を行う表示制御部１０２と、画像を表示する表示部１０３と、システム全体を制御するシステム制御部１０４と、観察者が入力を行うユーザ入力部１０５と、シャッタメガネの同期を行うメガネ同期部１０６と、を有する。さらに、システムとしては、観察者が装着するシャッタメガネ１０７が用いられる。立体画像表示装置において、表示部１０３を除く構成が、立体画像データを生成する立体画像生成部に相当する。すなわち、立体画像表示装置は、立体画像生成装置に加えて、表示部を設けたものである（以下、同様である）。
【００３２】
図２は、図１の視差調整部（１）１０１の一構成例を示す図である。視差調整部（１）１０１は、更に、通信・制御部１０１１、視差算出部１０１２、例えば第１から第３までのずらし処理部１０１３ａ〜１０１３ｃを有している。
【００３３】
図３は、シャッタメガネ１０７の構成例を示す図である。シャッタメガネ１０７は、メガネ同期受信部１０７１、シャッタ制御部１０７２、幅指定部１０７３、第１シャッタ部１０７４ａ及び第２シャッタ部１０７４ｂ、を有している。第１シャッタ部１０７４ａ及び第２シャッタ部１０７４ｂは、それぞれ右目用シャッタ及び左目用シャッタに対応する。
【００３４】
次に、各機能部の動作例について説明する。図４、図５は、本実施の形態による立体画像生成処理の流れを示すフローチャート図である。ステップＳ１で画像データを受け取ると、入力部１０を経由して立体画像表示装置に入力された画像データは、立体画像処理部１００において入力形式に合わせて左目用画像データと右目用画像データとに展開される（ステップＳ２）。ここで、入力される画像データは、放送波によるもの、記録メディアから電子的に読みだされたもの、通信により取得されたものなど、ソースを問わない。すなわち、入力部１０は、半導体メモリ読み出し装置であっても良いし、光ディスクや磁気ディスクの読み出し装置、電波の受信機や、ネットワークとの通信機能を持つものであっても良い。要するに、立体画像として解釈可能なデータを入力できるものであればよい。また、右目用画像データ、左目用画像データは、１枚の画像データから作成されたものでも良い。すなわち、画像データと奥行きデータもしくは視差データから合成された複数視点画像、奥行き情報を推定して作成された複数視点画像であってもよい。多眼表示用の多視点画像であっても良い。入力された画像データに付加情報がある場合は付加情報を抽出し、システム制御部に伝送する。付加データは、撮影時のパラメータや視差情報、視差量補正情報や奥行きデータ等であっても良い。
【００３５】
展開された左目用画像データと右目用画像データは、視差調整部１０１に送られ、複数の視点画像に再合成される（ステップＳ３）。視差調整部１０１の内部では、システム制御部１０４と通信する通信・制御部１０１１が各部を制御している。入力された画像データは視差算出部１０１２に入力され、左右画像の対応点のずれから視差を算出され（ステップＳ４−１）、算出された視差データは通信・制御部１０１１を経由してシステム制御部１０４に送られる。前述のように奥行きデータが入力されるもの、あるいは奥行きデータが作成されるものでは、それを画像データの視差として用いても良い。送られるデータは、例えば画像内の視差の最大量および最小量であるとよい。なお、ここでは表示画面より遠景側の視差を正の値、近景側を負の値と表現するので、視差の最大値は画面内の最も遠い点の視差、最小値は画面内の最も観察者に近い点の視差を表す。
【００３６】
システム制御部１０４は、受信した視差データと、設定された視点位置と、に基づいて、各視点画像に適切な画像ずらし量を求め（ステップＳ４−２）、画像ずらし処理部１０１３ａ〜１０１３ｃに画像ずらし量を送信する。ここで、各視点位置は、準備されたシャッタメガネ全種類に合わせて視点位置の間隔が例えば６．５ｃｍ、６ｃｍ、５．５ｃｍ、４ｃｍとなるように予め設定するとよいが、視差の大きさを例えば強中弱切の４段階と対応付けて視点位置の間隔を６ｃｍ、４ｃｍ、２ｃｍ、０ｃｍなどの固定の値に決めておいてもよい。すなわち、シャッタメガネは、視点位置の関数として、例えば、視点位置の間隔等の属性に依存して複数の種類（種別）のものが用意されており、その種別に関して、利用者に判りやすいように、視点位置の間隔などの属性が記載されていれば良い。
【００３７】
他に、組み合わせて用いられるシャッタメガネ１０７の種類に応じて、例えば出荷時にあらかじめ設定されても良いが、ユーザがユーザ入力部１０５を操作して、使用するシャッタメガネを選択し、対応する視点位置を設定するようにしても良い。ユーザが好みに応じて視点位置を選択しても良い。視点位置の設定変更を行った場合には、その設定変更に応じた種別（属性）をシャッタメガネに記載しても良い。
【００３８】
システム制御部１０４がシャッタメガネ１０７を認識して、自動的に視点位置を設定するようにしても良い。この場合、シャッタメガネ１０７とシステム制御部１０４とは双方向通信をするか、シャッタメガネ１０７の種類別に例えばマーカを備え、表示手段側から画像認識によりシャッタメガネ１０７の種類を取得するなどの方法により実現できる。また、これらによって選択されたシャッタメガネ１０７の種類をシステム制御部１０４に保存しておくと、シャッタメガネを使用する都度同様の設定をする必要がなくなり、設定済みのシャッタメガネならば新たに設定をせずとも異なる種類のシャッタメガネを用いて画像を観察することができる。
【００３９】
システム制御部１０４がシャッタメガネ１０７の種別（属性）を認識するためには、例えば、シャッタメガネ１０４に、現在設定されている視点位置を記憶する記憶部を設けておき、その記憶部からの読み出しにより、システム制御部１０４がシャッタメガネ１０７の種別を認識し、その種別に応じた適切な画像（視点に依存して視差等を調整した画像）を生成し提示するようにすることができる。
【００４０】
画像ずらし処理部１０１３ａ〜１０１３ｃは、システム制御部１０４の指示を、通信・制御部１０１１を経由してそれぞれ受け、右目用画像全面を左右にずらす処理をそれぞれ行い、視差を調整する（ステップＳ４−３）。視差を調整された左右目用画像データはそれぞれ視差調整部１０１から出力される。なお、ここでは右目用画像のみずらして視差を調節したが、左目用画像をずらしても、左右目用画像両方をずらしてもよい。要するに、複数の視点画像の対応点同士を相対的に左右にずらすことによって視差を調節できるようにしてあればよい。また、予め視差範囲が想定できる場合には、視差算出部１０１２による算出結果を用いず、画像ずらし量を予め算出した値としてもよい。この場合、視差算出部１０１２を省略でき、さらにシステム制御部１０４の処理量も軽減できる。視差範囲は画像データに付随するものでも、取り決めによるものでも構わない。
【００４１】
視差が調整された複数の視点画像は表示制御部１０２に送られる（ステップＳ４−４）。表示制御部１０２は、表示部１０３に合わせた表示制御をするとともに、メガネ同期部１０６に対し信号を送る（ステップＳ５）。メガネ同期部１０６は、観察者の装着するシャッタメガネ１０７に対し同期信号を送り（ステップＳ６）、表示部１０３と同期処理を行うことができる。
【００４２】
より具体的には、例えば、表示部１０３に液晶表示パネルを用い、たとえば４視点の視点画像を表示し、観察者の装着したシャッタメガネ１０７と同期して立体視を行う方式の場合、表示制御部１０２は表示部１０３に対し、４視点の視点画像を順に出力する。出力の頻度は、例えば各視点に対応する画像をそれぞれ毎秒６０枚とする。表示部１０３は表示制御部１０２から送られる画像を随時表示するが、表示部１０３とシャッタメガネ１０７は同期し、表示部１０３に順に表示される４視点の視点画像のいずれかに左目用シャッタ、右目用シャッタを同期して開とすることにより、それぞれ対応する視点画像を左目及び右目に呈示して、立体視を実現する。
【００４３】
より具体的には、図３に示すシャッタメガネ１０７は、メガネ同期受信部１０７１で受信した同期信号及び幅指定部１０７３から得られる幅指定信号からシャッタ制御部１０７２がシャッタの開閉信号のタイミングを制御し、第１シャッタ部１０７４ａ及び第２シャッタ部１０７４ｂを駆動することによって、表示部１０３と同期して観察者に視点画像を呈示する。幅指定部１０７３には、予めシャッタメガネ１０７の幅に対応した視差量を選択するのに用いられる、幅指定信号が記録されており、この幅指定信号をシャッタ制御部１０７２に出力する。例えば、左右それぞれのシャッタの開閉と、それと同期した左シャッタが開で右シャッタが閉の時の左眼用画像の表示と、左シャッタが閉で右シャッタが開の時の右眼用画像を表示により立体視を実現することができる。
【００４４】
なお、同期信号を有線で接続することなく無線で伝達することにより観察者の負担を軽減することができる。例えば、同期信号を赤外線で伝送すると、表示部１０３付近の観察者から見える位置にメガネ同期部１０６を設けることにより、観察者が表示画面を観察できる位置にいれば、メガネ同期部１０６とメガネ同期受信部１０７１との間には障害物がなく、かつ、適切な距離を保つことになり、シャッタメガネ１０７は同期信号を受信することができる。同期信号を無線電波で伝送すると、表示部１０３付近の観察者から見える位置にメガネ同期部１０６を設ける必要がなく、シャッタメガネ１０７がメガネ同期部１０６を向いている必要もないので、メガネ同期部１０６とシャッタメガネ１０７の間に障害物があった場合でも同期が可能である。
【００４５】
次に、視差と奥行き表示との関係を図６に示す。図６は観察者とディスプレイを上から見た図である。
【００４６】
図６（ａ）は、通常の２次元表示状態であり、立体画像表示時には、右目用画像と左目用画像の対応点がディスプレイ（表示面）上で同じ位置にある状態である。この場合、この点はディスプレイ上にあるように知覚される。
【００４７】
図６（ｂ）は、ディスプレイ上で、右目用画像と左目用画像の対応点が、右目用画像は右に（Ｐ２）、左目用画像は左に（Ｐ１）ずれた状態である。この状態では、観察者にはこの点は、ディスプレイ面（表示面）よりも奥に知覚される（Ｐ４）。
【００４８】
図６（ｃ）は、ディスプレイ（表示面）上で、右目用画像と左目用画像の対応点が、右目用画像は左に、左目用画像は右にずれた状態である。この状態では、観察者にはこの点はディスプレイ面よりも手前に知覚される。
【００４９】
図６（ｄ）は、これらをまとめた図である。前述したとおり、右目用画像と左目用画像との対応点が、右目用画像が右にずれて表示され、左目用画像が左にずれて表示され、かつ、対応点間の距離が両眼距離に等しい場合、この点は無限遠に知覚されるが、対応点間の距離（Ｐ８−Ｐ９）が両眼距離を超えた場合、視線は開散方向には向かず、融合できなくなる。同様に、ディスプレイ上で、右目用画像と左目用画像の対応点が、右目用画像Ｐ８は左に、左目用画像Ｐ９は右に大きくずれた状態では、視線は極端な寄り目状態となり、融合できなくなる。従って、快適に立体視できる奥行きの範囲、すなわち、図６（ｄ）に示した快適融合範囲は、これらの融合範囲よりもディスプレイ面に対し内側となる。これらを応用し、左右目用画像を相対的に左右にずらし、左右目用画像中の対応点のずれを大きくしたり小さくしたりすることによって、立体画像の奥行き感を全体的により奥にしたり、より手前にしたりすることができる。
【００５０】
図６（ｄ）に示したように、視差量が両眼距離を超える状態では、眼球は開散方向に向かず立体視が不可能であるか、眼球が開散方向に運動し外斜視を誘発する恐れがあるなど危険な状態となり好ましくない。従って、画面内の視差の最大値が両眼距離を超えないような処理を観察者に合わせて行う必要がある。具体的には、立体画像の片方または両方を相対的に左右にずらすことによって視差の最大値が両眼距離を超えないようにする。この時、左目用画像を右に、右目用画像を左に移動することによって、最遠景の視差の最大値を小さくする処理を行うと、両眼が開散方向に向くことは避けられ、立体画像は全体的に手前に知覚されるようになる。同様に、極端な寄り目を誘発する立体画像は人体に負担となるが、左目用画像を左に、右目用画像を右にずらすことによって、極端な寄り目は軽減され、立体画像は全体的に奥に知覚されるようになる。
【００５１】
このようにして、複数種類の両眼距離に対応する立体画像を作成し、観察者がこの複数種類の立体画像を構成する複数の視点画像から、観察者に合った視点画像の組を選択することにより、安全な立体視を実現することができる。なお、ここでは複数の両眼距離に対応した画像の例を示したが、このほかに、同じ両眼距離でも輻輳角の異なる画像などでもよい。
【００５２】
次に、シャッタメガネについて示す。前述のとおり、メガネ同期部１０６から送られる同期信号に同期して、複数の視点画像から適当な組み合わせを選び、適切な視差量の視点画像を表示することにより立体視を可能とする。ここで、人間の両眼距離は概ねメガネの幅に比例するため、メガネの幅に対応して選択できる視差量に制限を持たせることにより、観察者に合わせて安全に立体視を可能とすることができる。すなわち、例えば子供用メガネとして子供の顔の幅に合わせたものを用意し、視差の最大値が子供の両眼距離相当であるおよそ５ｃｍを超えない視点画像を受信するようにする。同様に、大人用のメガネとしても顔の幅に合わせたものを数種類用意し、それぞれ想定される両眼距離に合わせた視点画像を受信するようにする。大人の両眼距離は平均で６．５ｃｍと言われているが、必ずしも視差の最大値が両眼距離である必要もなく、両眼距離以下の値をとればよい。立体画像の観察が得意でない観察者のために、特に視差を弱めた画像や、２次元画像のみ表示するメガネを用意しても良い。視差量は必ずしもメガネ毎に固定である必要はなく、想定される両眼距離を超えない範囲で視差量を自由に選択できるようにしても良い。この場合、前述の幅指定部１０７３の設定値を変更するようにする。
【００５３】
メガネの幅は、数種類のものを用意するとよいが、ユーザの眼幅に応じて、幅（レンズ間の距離）を可変としてもよい。この様子を図７に示す。図７（ａ）に示すように、メガネフレーム１０７ａのテンプル１０７ｂの長さを変えることで、ユーザの眼幅に適したように応じてレンズ間の距離を可変とすることができる。すなわち、図７（ａ）に比べて図７（ｂ）のメガネでは、テンプル１０７ｂがメカニカルな機構により長くなっており、このようにして、メガネ１０７の幅を変えることができる。この際、メガネ１０７の設定幅を装置側から検出する（メガネ１０７からの信号により検知するなど）して、装置側でメガネの幅を知ることができるようにすると、その眼幅に応じた表示制御が可能である。
【００５４】
尚、メガネのつる（図示せず）の角度を可変にすることにより、幅を可変するのと同等の働きを持たせても良い。また、選択する視差に対応する視点画像は、両眼距離に対応して１通り選択としても良いし、観察者が任意に、両眼距離を超えない範囲で選択しても良い。このとき、選択に用いるスイッチを回転式やスライド式にすると、プッシュ式のスイッチと比較してメガネの取り扱いで誤操作する恐れが減るほか、幅を可変とする機構と機械的に選択範囲を制限する機構を同時に実現することが容易となる。
【００５５】
また、メガネ等のシャッター（遮断手段）の位置は固定にし、のぞき窓のようにして遮蔽手段から観察できるようにしてもよい。この場合は遮断手段の高さに応じて呈示する画像の組み合わせを選択するようにするとよい。高さを可変できるようにし、高さに対応した呈示画像の組み合わせを選択できるようにしてもよい。人間の両眼距離は、概ね身長に比例する。従って、遮断手段の高さを身長と対応付けて、例えば、低い位置にある遮断手段は、視差の最大値が子供の両眼距離相当であるおよそ５ｃｍを超えない視点画像を受信するようにしても良い。
【００５６】
シャッタメガネ１０７は、前述の通り、時分割で表示される視点画像から特定の画像の組を選択することによって視差を選択する。ここで、例えば４視点の画像を２種類の異なる左右画像の組として用いても良いが、各視点画像を共通に用い、各視点画像の組み合わせを選ぶことによって異なる左右画像の組を得ることができる。この時、同期信号に各々の視点画像に関する情報や組み合わせに関する情報を重畳し、シャッタメガネ１０７で重畳された情報をもとに呈示する視点画像の組み合わせを選択するようにすると、組み合わせの自由度を向上させることができる。
【００５７】
このようにして、複数通りの両眼距離に対応する視点画像を得ることができる。すなわち、想定した両眼距離に対応した視差量の立体画像を得ることができ、それぞれの視点画像の組み合わせから、複数の観察者に対し適切な視差量で立体画像を提示することができ、複数の観察者が同時に異なる視差で同じ表示画面を楽しむことができる。また、それぞれの観察者が用いるシャッタメガネがそれぞれ適切な視点画像の組み合わせを選択しているため、１台の表示装置に対して観察者をいくらでも増やすことができる。それぞれの観察者の装着するシャッタメガネは一般的なサングラスと大きな違いはなく、見た目の違和感も大きくはないゆえ、観察者同士のコミュニケーションを阻害する要因にもなりにくい。
【００５８】
なお、本実施の形態では、図２に示すように、入力画像に改変を加えずに表示部に送られる画像がある（Ｌ１）。第１から第３までのずらし処理部１０１３ａ〜ｃによる処理を経ると、画像は視差調整の影響により左右に移動される。従って、ずらし処理を経た画像のうち、同じ画像を左右の目で観察すると、視差が付加されないため、２次元画像として観察されるが、画像は、ずらし処理に応じて左右に移動することとなり好ましくない。そこで、ずらし処理部１０１３の処理を経ない画像を２次元表示用画像として両眼に同時に呈示することによって、入力された画像そのものを２次元画像として良好に観察することができる。シャッタメガネが選択する視点画像の組には、このように左右同一の視点画像を提示する組み合わせがあっても良い。
【００５９】
また、２次元表示する画像として立体表示用の画像とは異なる画像を予め用意すると良い。立体画像は両目で観察することを前提に制作されるので、立体画像のうちの１枚を抽出すると、必ずしも適切な視点となっていない場合がある。特に基線長に対し被写体までの距離が近い場合に顕著である。この現象を避けるために２次元表示する画像を用意すると良好な２次元画像を提示することができる。
【００６０】
以上に説明したように、本実施の形態によれば、ずらし処理による複数視差を生成することができるため、複数の観察者に適した立体画像を同時に提示することができるという利点がある。
【００６１】
＜第２の実施形態＞
以下に、本発明の第２の実施形態による立体画像表示装置について、図面を参照して説明する。本実施形態による立体画像表示装置の構成例は第１の実施形態と同様に図１で示される。図１が示すように、本実施形態による立体画像表示装置は、入力部１０と、入力された画像データを処理し、立体視用画像データを生成するための画像処理を行う立体画像処理部１００と、画像の視差を調整する視差調整部１０１と、画像を表示部に合わせ表示制御を行う表示制御部１０２と、画像を表示する表示部１０３と、システム全体を制御するシステム制御部１０４と、観察者が入力を行うユーザ入力部１０５と、シャッタメガネの同期を行うメガネ同期部１０６と、を有している。また、システムとしては、観察者が装着するシャッタメガネ１０７が含まれる。
【００６２】
図８は、本実施の形態による視差調整部１０１の一構成例を示す図である。視差調整部１０１は、通信・制御部１０１１、視差算出部１０１２、視差調整部１０１４、遮蔽補償部１０１５、第１から第４の画像加工部１０１６ａ〜１０１６ｄと、を有している。
シャッタメガネ１０７の構成は、第１の実施形態及び図３に示した通りであるので省略する。
【００６３】
次に、各部の動作を説明する。図９は、本実施の形態による処理の流れを示すフローチャート図である。図４のステップＳ４の詳細について説明する。立体画像表示装置に入力部１０を経由して入力された画像データは、立体画像処理部１００において入力形式に合わせて左目用画像データと右目用画像データとに展開される。同時に、入力された画像データに付加情報がある場合は、付加情報を抽出し、システム制御部１０４に伝送する。ここで、入力される画像データは、放送波によるもの、記録メディアから電子的に読みだされたもの、通信により取得されたものなど、どのようなものでも良い。また、右目用画像データ、左目用画像データは、１枚の画像データから作成されたものでも良い。すなわち、画像データと奥行きデータもしくは視差データから合成された複数視点画像、奥行き情報を推定して作成された複数視点画像であってもよい。多視点画像データとして入力された複数視点画像であってももちろん良い。
【００６４】
展開された左目用画像データと右目用画像データとは、視差調整部１０１に送られ、複数の視点画像に再合成される。視差調整部１０１の内部では、システム制御部１０４と通信する通信・制御部１０１１が各部を制御している。入力された画像データは視差算出部１０１２に入力され、左右画像の対応点のずれから視差を算出し（ステップＳ４−１１）、算出した視差データは視差調整部（２）１０１４に送られる（ステップＳ４−１２）。送られるデータは例えば画素ごとに視差を表した、いわゆる視差マップであるとよい。
【００６５】
視差調整部１０１の内部の視差調整部（２）１０１４は、受信した視差データのうち、システム制御に必要なパラメータを選択して（ステップＳ４−１３）、通信制御部１０１１を経由してシステム制御部１０４に送信する。送信するパラメータは、例えば画面内の視差の最大値、最小値であると良い。
【００６６】
システム制御部１０４は、受信したパラメータをもとに、各視点画像に適切な補正パラメータを求め（ステップＳ４−１４）、視差調整部（２）１０１４に送信する。視差調整部（２）１０１４では、受信した補正パラメータを、視差算出部１０１２から受信した視差データに演算し、それぞれ想定された視点位置に対応する、補正された複数の視差データを算出する（ステップＳ４−１５）。補正された複数の視差データは遮蔽補償部１０１５及び各視点画像に対応する画像加工部１０１６に出力される（ステップＳ４−１６）。この時の視差データも同様にいわゆる視差マップであるとよい。
【００６７】
遮蔽補償部１０１５では、視差調整部（２）１０１４により補正された複数の視差データに基づき画像を再合成する際、視点が変わることによって遮蔽関係が変化し、画像データがない部分に関し、画像データを生成して補償する補償画像データを生成する（ステップＳ４−１７）。補償画像データは、例えば入力された画像のうち、遮蔽関係の異なる他の視点の画像を用いて生成できる。補償画像データは、画像加工部１０１６の数に対応して複数出力される。
【００６８】
第１から第４の画像加工部１０１６ａ〜１０１６ｄは、上記の補正された複数の視差データ及び補償画像データを用いて、それぞれ想定された視点位置に合わせた新たな視点画像を再合成する（ステップＳ４−１８）。より具体的には、上記の補正された複数の視差データに基づいて、対象領域の画素データを移動させ、移動によって対応する画素がなくなった領域には補償画像データの対応部分の画素データを補う。このようにして、入力された立体視用データに含まれていない視点の画像を生成する。
【００６９】
なお、ここでは、左右画像から視差を求めて演算したが、入力が画像データと奥行きデータとの組み合わせである場合は、入力された奥行きデータを視差データに変換して用いても良い。また、図８では画像加工部１０１６に対し左右の画像が入力されているが、右または左のうち一方の画像を入力するようにしても良い。このようにすと、仮想的にカメラ位置を調整した視点画像を再合成し、複数の視点画像を生成して、複数の両眼距離に対応した画像を生成することができる。
【００７０】
生成された複数の視点画像は、表示制御部１０２に送られる。表示制御部１０２は、表示部１０３に合わせた表示制御をするとともに、メガネ同期部１０６に対して信号を送る。メガネ同期部１０６は、観察者の装着するシャッタメガネ１０７に対して同期信号を送り、表示部１０３と同期処理が行われる。具体的には、例えば、表示部１０３に液晶表示パネルを用いて４視点の視点画像を時分割で表示し、観察者の装着したシャッタメガネ１０７と同期して立体視を行う方式の場合、表示制御部１０２は表示部１０３に対し、４視点の視点画像を順に出力する。出力の頻度は、例えば各視点に対応する画像をそれぞれ毎秒６０枚とする。
【００７１】
表示部１０３は、表示制御部１０２から送られる画像を随時表示するが、表示部１０３とシャッタメガネ１０７とは同期しており、表示部１０３に順に表示される４視点の視点画像のいずれかに左目用シャッタ、右目用シャッタを同期して開とすることにより、それぞれ対応する視点画像を左目及び右目に表示して、立体視を実現する。具体的には、シャッタメガネ１０７は、メガネ同期受信部１０７１で受信した同期信号及び幅指定部１０７３から得られる幅指定信号から、シャッタ制御部１０７２がシャッタの開閉信号のタイミングを制御し、第１シャッタ部１０７４ａ及び第２シャッタ部１０７４ｂを駆動することによって、表示部１０３と同期して観察者に視点画像を呈示する。幅指定部１０７３には、予めメガネの幅に対応した視差量を選択する、幅指定信号が記録されているものとする。
【００７２】
図１０（ａ）、（ｂ）に示すように、視差は左右の視点（Ｖ１，Ｖ２）、（Ｖ３，Ｖ４）の相対的なずれにより生ずるので、複数の視点からの画像のうち、相対的に視点のずれ量が適切な画像を２枚抽出し、それぞれ右目用画像及び左目用画像として用いれば視差量を選択でき、視点画像の組み合わせに応じて複数の立体画像を得ることができる。この様子を図１１に示す。この場合、各視点間の距離を適切に設定することにより、４視点（Ｖ１１〜Ｖ１４）の画像から６種類の異なる視点画像の組み合わせを得ることができ（４Ｃ２）、要素となる視点画像を削減することができる。この様子を図１２に示す。図１２に示すように、視点間の距離が、１ｃｍ、１．５ｃｍ、２．５ｃｍ、４ｃｍ、５ｃｍ、６．５ｃｍの６種類の異なる視点画像の組み合わせを得ることができる。要素となる視点画像が多いほど多くの組み合わせを得ることができるのは言うまでもない。
【００７３】
シャッタメガネ１０７は、これら複数の視点画像から、それぞれのシャッタメガネ１０７に設定された許容視差範囲に合う組み合わせを選択し、表示する。人間の両眼距離は概ねメガネの幅に比例するゆえ、メガネの幅に対応して選択できる視差量に制限を持たせることにより、観察者に合わせて安全に立体視を可能とすることができる。
【００７４】
このようにして、複数の両眼距離に対応する複数の立体画像を得ることができる。すなわち、想定した両眼距離に対応した視差量の立体画像を得ることができ、それぞれの視点画像の組み合わせから、複数の観察者に対し適切な視差量で立体画像を提示することができる。
【００７５】
なお、ここでは２点の視点画像から４点の視点画像を変換により得る方法を示したが、当然のことながら、実際のカメラを４視点分用いて画像を取得しても良い。視点の配置は、光軸を平行に設置したものでも光軸が輻輳するように配置したものでも良いし、横一列に視点を配置したものでも光軸の輻輳点までが等距離になるよう配置したものでも良い。
【００７６】
図１３は、上記の例のうち、光軸の輻輳点がそれぞれのカメラＣ１からＣ４から等距離になるよう配置した例を示す図である。また、４視点での例を示したが、視点数は４に限定されるものではなく、画像のフレームレートや表示デバイスの応答速度に応じて加減されるべきものである。
【００７７】
また、本実施形態では、仮想的にカメラ位置を移動した４視点の画像を表示したが、このほかに２次元画像として表示する視点画像を追加し、左右の目で同じ画像を２次元画像として観察できるようにするとなおよい。立体画像は両目で観察することを前提に制作されるため、立体画像のうちの１枚を抽出すると、必ずしも適切な視点となっていない場合がある。特に、基線長に対し被写体までの距離が近い場合に顕著である。また、視点の変換に伴う画像の変質を避けることができる。２次元表示により、体質・体調により立体画像の鑑賞に適さない観察者も含めて安全に画像を観察することができる。２次元画像も同様にシャッタメガネを用いて提示することができる。
【００７８】
なお、本実施形態では、画素ごとに視差を表した視差マップを例にシステムを説明したが、必ずしも画素ごとの視差である必要はなく、縮小画像に対しての視差マップであっても良い。この場合、実際に処理する際に、低い解像度の視差マップのままで用いても良いが、フィルタ処理等により解像度を高めた視差マップを用いるとよい。
【００７９】
＜第３の実施形態＞
以下に、本発明の第３の実施の形態による立体画像表示装置について、図面を参照して説明する。図１４は、本実施形態による立体画像表示装置の一構成例を示す機能ブロックである。図１４に示すように、本実施形態による立体画像表示装置は、ユーザ操作部２０と、ゲーム制御部２０１と、表示制御部２０２と、表示部２０３と、メガネ同期部２０６と、から構成され、さらに、シャッタメガネ２０７をユーザが着用する。ゲーム制御部２０１は、更にシステム制御部２０１１と、プログラム蓄積部２０１２と、立体画像生成部２０１３と、を有している。
【００８０】
より具体的には、ユーザ操作部２０は、ゲームコントローラ、システム制御部２０１１はＣＰＵやメモリ及びユーザ操作部、プログラム蓄積部・立体画像生成部・表示制御部とのI/Oなどを備え、プログラム蓄積部２０１２はハードディスクや光ディスクなどにゲームソフト等を収めたもの、立体画像生成部２０１３はＧＰＵ（Graphic Processing Unit）及びメモリから構成されていても良い。表示部２０３は、液晶ディスプレイやプラズマディスプレイ、有機ＥＬディスプレイなどで構成可能であるが、応答速度が高速な表示デバイスであることが望ましい。ＬＥＤディスプレイ等を用いれば高速な応答が得られる。メガネ同期部２０６は、シャッタメガネ２０７に対し、赤外線や電波などで同期信号を送る。ユーザ操作部２０やシャッタメガネ２０７は複数あっても良い。
シャッタメガネ２０７の構成は、第１の実施形態及び図３に示したシャッタメガネ１０７の構成と同様である。
【００８１】
次に、各部の動作を説明する。図１５は、本実施の形態による処理の流れを示すフローチャート図である。ユーザ操作部２０からの操作を受け、システム制御部２０１１はプログラム蓄積部２０１２からプログラムを読み出して実行する。プログラムは、前述の通り光ディスクを読み出すもの、ハードディスクを読み出すものなどで良い。固体メモリであってももちろん構わない。ハードディスクを読み出す場合、ハードディスクへのプログラムの蓄積は、光ディスクから読み出す方法、通信により取得する方法、固体メモリから読み出す方法など、どのような形でもよい。
【００８２】
プログラムの実行に伴い、システム制御部２０１１は、立体画像生成部２０１３に対し、立体画像モデルを出力する。
【００８３】
ここで、立体画像モデルとは、表示すべき物体の形状や配置、照明となる光源の位置、及び仮想的な視点位置等を３次元座標上に表現したものである。３次元座標は、直交座標系でも極座標系でも構わない。また、表示すべき物体の表面の模様や状態等が記述されていても良い。
【００８４】
立体画像生成部２０１３では、立体画像モデルを展開して個々の視点画像を生成する（ステップＳ２１）。より具体的には、立体画像モデルに含まれる物体の配置図を、立体画像モデルに含まれる複数の仮想カメラの位置から見た図を生成することによって複数の視点画像を得る。複数の仮想カメラの位置は、複数の視点に対応する位置とし、例えば図１２に示すような配置とする。図１２は、４台のカメラＶ１１〜Ｖ１４による４つの視点画像から６通りの立体画像を得ることができる様子を示している。尚、複数の仮想カメラの位置は、想定された両眼距離によって決定される。想定された両眼距離は、ユーザが入力しても良いし、プログラムに予め設定されたものを用いても良い。ユーザが入力する場合は、ユーザの好みに応じた両眼距離に対応する立体画像が呈示できる。一方、プログラムに予め設定されたものを用いる場合は、プログラムの想定する場面に合った画像が呈示できる。
【００８５】
立体画像生成部２０１３において生成された複数の視点画像は、表示制御部２０２に送られる（ステップＳ２２）。表示制御部２０２は、表示部２０３に合わせた表示制御をすると同時に、メガネ同期部２０６に対し同期信号を送る。メガネ同期部２０６は、ユーザの装着するシャッタメガネ２０７に対し同期信号を送り、シャッタメガネ２０７では、表示部２０３との同期処理が行われる。具体的には、例えば、表示部２０３に液晶表示パネルを用い、たとえば４視点の視点画像を表示し、観察者の装着したシャッタメガネ２０７と同期して立体視を行う方式の場合、表示制御部２０２は表示部２０３に対し、４視点の視点画像を順に出力する（ステップＳ２３）。出力の頻度は、例えば各視点に対応する画像をそれぞれ毎秒６０枚とする。表示部２０３は、表示制御部２０２から送られる画像を随時表示するが、表示部２０３とシャッタメガネ２０７とは同期し、表示部２０３に順に表示される４視点の視点画像のいずれかに左目用シャッタ、右目用シャッタを同期して開とすることにより、それぞれ対応する視点画像を左目及び右目に表示して、立体視を実現する（ステップＳ２４）。
【００８６】
この時、複数の視点画像は順に表示されるので、立体画像生成部２０１３では、各視点画像に関し、表示部２０３において実際に時分割で表示されるタイミングを考慮して画像を生成すると時間軸に沿った滑らかな動きが知覚され、なおよい。この様子を、図１６に示す。図１６は、円筒形の物体Ｂから点状の物体Ｄが発射されている様子を表している。このとき、円筒形の物体Ｂは視点に合わせて見え方が各フレームで変化しており、点状の物体Ｄは時間の経過に合わせて表示位置が変化している。点状の物体Ｄも視点に合わせて見え方が変化するが、図１６では小型であるので、図の表現上、視点変化は省略されている。時間軸に沿った画像は、時系列画像の補間により生成しても良い。
【００８７】
前述のとおり、シャッタメガネ２０７は、これら複数の視点画像から、それぞれのシャッタメガネ２０７に設定された許容視差範囲に合う組み合わせを選択し、表示する。人間の両眼距離は、概ねメガネの幅に比例するため、メガネの幅に対応して選択できる視差量に制限を持たせることにより、ユーザに合わせて安全に立体視を可能とすることができる。
【００８８】
このようにして、複数の視点及び両眼距離に対応する視点画像を得ることができる。すなわち、想定した両眼距離に対応した視差量の立体画像を得ることができ、それぞれの視点画像の組み合わせから、複数のユーザに対し適切な視差量で立体画像を提示することができ、複数のユーザが同時に同じ表示画面に向かって立体表示のゲームを楽しむことができる。また、それぞれのユーザが用いる遮蔽手段がそれぞれ適切な視点画像の組み合わせを選択しているため、１台の表示装置に対して表示を観察するユーザをいくらでも増やすことができる。
【００８９】
尚、上記では、表示装置に同期して画像を選択する遮蔽手段としてシャッタメガネを例に挙げているが、遮蔽手段の形状をメガネに限定するものではない。例えば、顔を覆う面のようなものやヘルメットの目を覆う部分に遮蔽素子、例えば液晶シャッタを設けた遮断手段としても良い。この場合、球技や格闘技等に用いる防護面や、モータスポーツ等に用いるヘルメットを模したものとすることにより、メガネを用いた場合のメガネと顔の隙間からの外光の影響を軽減することができ、立体画像表示装置を用いた、より没入感のあるゲーム装置を構成することができる。この際にも、頭部の大きさに応じて適切な面やヘルメットの大きさが異なるので、メガネと同様に、これらの寸法から適切な視差を推定することができる。また、公共空間に設置されるゲーム装置では、個々の構成装置は有線接続されることが好ましいが、メガネと比較して面やヘルメットでは接続線の重量等を頭全体で支えることになり、接続線によるわずらわしさを軽減することができる。
【００９０】
また、上記の実施の形態において、添付図面に図示されている構成等については、これらに限定されるものではなく、本発明の効果を発揮する範囲内で適宜変更することが可能である。その他、本発明の目的の範囲を逸脱しない限りにおいて適宜変更して実施することが可能である。
【００９１】
また、本実施の形態で説明した機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより各部の処理を行ってもよい。尚、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。
【００９２】
また、「コンピュータシステム」は、ＷＷＷシステムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）も含むものとする。
【００９３】
また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含むものとする。また前記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであっても良い。
【産業上の利用可能性】
【００９４】
本発明は、立体画像表示装置に利用することが可能である。
【符号の説明】
【００９５】
１０…入力部、２０…ユーザ操作部、１００…立体画像処理部、１０１…視差調整部（１）、１０２…表示制御部、１０３…表示部、１０４…システム制御部、１０５…ユーザ入力部、１０６…メガネ同期部、１０７…シャッタメガネ、１０７ａ…フレーム、１０７b…テンプル、２０１…ゲーム制御部、２０２…表示制御部、２０３…表示部、２０６…メガネ同期部、２０７…シャッタメガネ、１０１１…通信・制御部、１０１２…視差算出部、１０１３ａ〜１０１３ｃ…ずらし処理部、１０１４…視差調整部（２）、１０１５…遮蔽補償部、１０１６ａ〜ｄ…画像加工部、１０７１…メガネ同期受信部、１０７２…シャッタ制御部、１０７３…幅指定部、１０７４ａ、１０７４ｂ…シャッタ部、２０１１…システム制御部、２０１２…プログラム蓄積部、２０１３…立体画像生成部。
【特許請求の範囲】
【請求項１】
３つ以上の画像を時分割で順に表示する表示制御を行う表示制御部と、
前記表示制御部の制御と同期して同期信号を出力する同期部と、
前記同期部からの前記同期信号を受信し、前記表示制御部と同期させて動作させることにより、前記３つ以上の画像から選択的に右目および左目に画像を呈示する遮蔽部と、
を備え、
前記遮断部は、予め設定された設定値に従って、前記３つ以上の画像から、右目および左目に呈示する画像の組みを選択する機能を有することを特徴とする立体画像表示装置。
【請求項２】
前記３つ以上の画像は、
それぞれ異なる視点から被写体をとらえた画像からなり、
前記３つ以上の画像を組み合わせることにより、２組以上の右目及び左目に呈示する画像の組を生成することを特徴とする立体画像表示装置。
【請求項３】
前記３つ以上の画像は、
それぞれ異なる横方向の視差を持つ画像からなることを特徴とする、請求項１又は２に記載の立体画像表示装置。
【請求項４】
前記右目及び左目に呈示する画像の組は、
前記３つ以上の画像の組み合わせにより実現される画像であり、
前記３つ以上の画像のうちの少なくとも１つを、複数の前記右目及び左目に呈示する画像の組に組み込むことを特徴とする、請求項１から３までのいずれか１項に記載の立体画像表示装置。
【請求項５】
前記右目及び左目に呈示する画像の組は、
前記３つ以上の画像に加えて、２次元表示のための画像を含む画像から選択されることを特徴とする、請求項１から４までのいずれか１項に記載の立体画像表示装置。
【請求項６】
前記３つ以上の画像が、移動する表示対象を含む画像である場合に、
前記表示制御部により、時分割で表示される制御を行う際の表示タイミングに合わせて、時間に依存して表示対象の位置が調整された画像とすることを特徴とする、請求項１から３までのいずれか１項に記載の立体画像表示装置。
【請求項７】
前記遮蔽部は、前記遮蔽部を使用する使用者の眼幅に応じて、
前記３つ以上の画像から、右目及び左目に呈示する画像の組を選択することを特徴とする、請求項１から６に記載の立体画像表示装置。
【請求項８】
前記遮蔽部は、
前記遮蔽部を使用する前記使用者の眼幅に応じて、
複数種類用意されていることを特徴とする、請求項７に記載の立体画像表示装置。
【請求項９】
前記遮蔽部は、
幅が変更できる構造であり、
前記遮蔽部の変更後の幅に応じて、
前記３つ以上の画像から、右目及び左目に呈示する画像の組を選択することを特徴とする、請求項７に記載の立体画像表示装置。
【請求項１０】
前記遮蔽部は、
前記遮蔽部の高さに応じて、
前記３つ以上の画像から、右目及び左目に呈示する画像の組を選択することを特徴とする、請求項１から３までのいずれか１項に記載の立体画像表示装置。
【請求項１１】
前記遮蔽部は、
高さが変更できる構造であり、
前記遮蔽部の高さに応じて、
前記３つ以上の画像から、右目及び左目に呈示する画像の組を選択することを特徴とする、請求項１０に記載の立体画像表示装置。
【請求項１２】
前記異なる視点を、
異なる幅又は高さを有する前記遮蔽部の種類と対応付けて設定されることを特徴とする、請求項２に記載の立体画像表示装置。
【請求項１３】
前記用いられる前記遮蔽部は、
使用者が選択することができるように、前記立体画像表示装置の本体とは別に設けられていることを特徴とする、請求項１から１２までのいずれか１項に記載の立体画像表示装置。
【請求項１４】
前記遮蔽部の種別を取得する遮蔽部種別取得部が設けられていることを特徴とする、請求項１から１３に記載の立体画像表示装置。
【請求項１５】
前記遮蔽部の種別を保持する遮蔽部種別保持部を更に設けていることを特徴とする請求項１から１４までのいずれか１項に記載の立体画像装置。
【請求項１６】
前記遮蔽部は、メガネ型であることを特徴とする、請求項１から１５までのいずれか１項に記載の立体画像表示装置。
【請求項１７】
前記遮蔽部は、ヘルメット型であることを特徴とする、請求項１から１５までのいずれか１項に記載の立体画像表示装置。
【請求項１８】
前記遮蔽部は、
顔を覆う面型であることを特徴とする、請求項１から１５までのいずれか１項に記載の立体画像表示装置。
【請求項１９】
前記同期信号は、
前記３つ以上の画像と、前記遮断部に設定された設定値と、の対応を表す信号を含むことを特徴とする、請求項１から１８までのいずれか１項に記載の立体画像表示装置。
【請求項２０】
前記同期信号は、
赤外線で出力されることを特徴とする、請求項１から１９までのいずれか１項に記載の立体画像表示装置。
【請求項２１】
前記同期信号は、電波で出力されることを特徴とする、請求項１から２０までのいずれか１項に記載の立体画像表示装置。
【請求項２２】
画像調整部を更に設け、
前記３つ以上の画像の画面領域の全面または一部を、少なくとも横方向に相対的にずらすことによって視差を調整することを特徴とする、請求項１から２１までのいずれか１項に記載の画像表示装置。
【請求項２３】
前記画像調整部は、
前記３つ以上の画像を調整することにより、前記異なる視点からとらえたとみなせる画像を生成することを特徴とする、請求項１から２１までのいずれか１項に記載の画像表示装置。
【請求項２４】
３つ以上の画像を時分割で順に表示する表示制御を行う表示制御ステップと、
前記表示制御ステップの制御と同期して同期信号を出力する同期ステップと、
前記同期ステップにおける前記同期信号を受信し、前記表示制御ステップと同期させて動作させることにより、前記３つ以上の画像から選択的に右目および左目に画像を呈示する遮蔽表示ステップと、
を備え、
前記遮断表示ステップは、予め設定された設定値に従って、前記３つ以上の画像から、右目および左目に呈示する画像の組みを選択することを特徴とする立体画像表示方法。
【請求項２５】
請求項２４に記載の立体画像表示方法を、コンピュータに実行させるためのプログラム。
【請求項１】
３つ以上の画像を時分割で順に表示する表示制御を行う表示制御部と、
前記表示制御部の制御と同期して同期信号を出力する同期部と、
前記同期部からの前記同期信号を受信し、前記表示制御部と同期させて動作させることにより、前記３つ以上の画像から選択的に右目および左目に画像を呈示する遮蔽部と、
を備え、
前記遮断部は、予め設定された設定値に従って、前記３つ以上の画像から、右目および左目に呈示する画像の組みを選択する機能を有することを特徴とする立体画像表示装置。
【請求項２】
前記３つ以上の画像は、
それぞれ異なる視点から被写体をとらえた画像からなり、
前記３つ以上の画像を組み合わせることにより、２組以上の右目及び左目に呈示する画像の組を生成することを特徴とする立体画像表示装置。
【請求項３】
前記３つ以上の画像は、
それぞれ異なる横方向の視差を持つ画像からなることを特徴とする、請求項１又は２に記載の立体画像表示装置。
【請求項４】
前記右目及び左目に呈示する画像の組は、
前記３つ以上の画像の組み合わせにより実現される画像であり、
前記３つ以上の画像のうちの少なくとも１つを、複数の前記右目及び左目に呈示する画像の組に組み込むことを特徴とする、請求項１から３までのいずれか１項に記載の立体画像表示装置。
【請求項５】
前記右目及び左目に呈示する画像の組は、
前記３つ以上の画像に加えて、２次元表示のための画像を含む画像から選択されることを特徴とする、請求項１から４までのいずれか１項に記載の立体画像表示装置。
【請求項６】
前記３つ以上の画像が、移動する表示対象を含む画像である場合に、
前記表示制御部により、時分割で表示される制御を行う際の表示タイミングに合わせて、時間に依存して表示対象の位置が調整された画像とすることを特徴とする、請求項１から３までのいずれか１項に記載の立体画像表示装置。
【請求項７】
前記遮蔽部は、前記遮蔽部を使用する使用者の眼幅に応じて、
前記３つ以上の画像から、右目及び左目に呈示する画像の組を選択することを特徴とする、請求項１から６に記載の立体画像表示装置。
【請求項８】
前記遮蔽部は、
前記遮蔽部を使用する前記使用者の眼幅に応じて、
複数種類用意されていることを特徴とする、請求項７に記載の立体画像表示装置。
【請求項９】
前記遮蔽部は、
幅が変更できる構造であり、
前記遮蔽部の変更後の幅に応じて、
前記３つ以上の画像から、右目及び左目に呈示する画像の組を選択することを特徴とする、請求項７に記載の立体画像表示装置。
【請求項１０】
前記遮蔽部は、
前記遮蔽部の高さに応じて、
前記３つ以上の画像から、右目及び左目に呈示する画像の組を選択することを特徴とする、請求項１から３までのいずれか１項に記載の立体画像表示装置。
【請求項１１】
前記遮蔽部は、
高さが変更できる構造であり、
前記遮蔽部の高さに応じて、
前記３つ以上の画像から、右目及び左目に呈示する画像の組を選択することを特徴とする、請求項１０に記載の立体画像表示装置。
【請求項１２】
前記異なる視点を、
異なる幅又は高さを有する前記遮蔽部の種類と対応付けて設定されることを特徴とする、請求項２に記載の立体画像表示装置。
【請求項１３】
前記用いられる前記遮蔽部は、
使用者が選択することができるように、前記立体画像表示装置の本体とは別に設けられていることを特徴とする、請求項１から１２までのいずれか１項に記載の立体画像表示装置。
【請求項１４】
前記遮蔽部の種別を取得する遮蔽部種別取得部が設けられていることを特徴とする、請求項１から１３に記載の立体画像表示装置。
【請求項１５】
前記遮蔽部の種別を保持する遮蔽部種別保持部を更に設けていることを特徴とする請求項１から１４までのいずれか１項に記載の立体画像装置。
【請求項１６】
前記遮蔽部は、メガネ型であることを特徴とする、請求項１から１５までのいずれか１項に記載の立体画像表示装置。
【請求項１７】
前記遮蔽部は、ヘルメット型であることを特徴とする、請求項１から１５までのいずれか１項に記載の立体画像表示装置。
【請求項１８】
前記遮蔽部は、
顔を覆う面型であることを特徴とする、請求項１から１５までのいずれか１項に記載の立体画像表示装置。
【請求項１９】
前記同期信号は、
前記３つ以上の画像と、前記遮断部に設定された設定値と、の対応を表す信号を含むことを特徴とする、請求項１から１８までのいずれか１項に記載の立体画像表示装置。
【請求項２０】
前記同期信号は、
赤外線で出力されることを特徴とする、請求項１から１９までのいずれか１項に記載の立体画像表示装置。
【請求項２１】
前記同期信号は、電波で出力されることを特徴とする、請求項１から２０までのいずれか１項に記載の立体画像表示装置。
【請求項２２】
画像調整部を更に設け、
前記３つ以上の画像の画面領域の全面または一部を、少なくとも横方向に相対的にずらすことによって視差を調整することを特徴とする、請求項１から２１までのいずれか１項に記載の画像表示装置。
【請求項２３】
前記画像調整部は、
前記３つ以上の画像を調整することにより、前記異なる視点からとらえたとみなせる画像を生成することを特徴とする、請求項１から２１までのいずれか１項に記載の画像表示装置。
【請求項２４】
３つ以上の画像を時分割で順に表示する表示制御を行う表示制御ステップと、
前記表示制御ステップの制御と同期して同期信号を出力する同期ステップと、
前記同期ステップにおける前記同期信号を受信し、前記表示制御ステップと同期させて動作させることにより、前記３つ以上の画像から選択的に右目および左目に画像を呈示する遮蔽表示ステップと、
を備え、
前記遮断表示ステップは、予め設定された設定値に従って、前記３つ以上の画像から、右目および左目に呈示する画像の組みを選択することを特徴とする立体画像表示方法。
【請求項２５】
請求項２４に記載の立体画像表示方法を、コンピュータに実行させるためのプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【公開番号】特開２０１２−２３５２７０（Ｐ２０１２−２３５２７０Ａ）
【公開日】平成２４年１１月２９日（２０１２．１１．２９）
【国際特許分類】
【出願番号】特願２０１１−１０１８１８（Ｐ２０１１−１０１８１８）
【出願日】平成２３年４月２８日（２０１１．４．２８）
【出願人】（０００００５０４９）シャープ株式会社 (33,933)
【Ｆターム（参考）】
【公開日】平成２４年１１月２９日（２０１２．１１．２９）
【国際特許分類】
【出願日】平成２３年４月２８日（２０１１．４．２８）
【出願人】（０００００５０４９）シャープ株式会社 (33,933)
【Ｆターム（参考）】
[ Back to top ]