裸眼立体視用映像データ生成方法
【課題】大きな奥行きや飛び出しを表現する場合でも解像感が劣化を抑えることができる裸眼立体視用映像データを生成することができる裸眼立体視用映像データ生成方法を提供する。
【解決手段】複数の視点画像を裸眼立体ディスプレイ装置で提示させたとき、観察者の目が存在する可能性が相対的に高い第１の角度領域θlp，θrpと目が存在する可能性が相対的に低い第２の角度領域θnpとを設定する。複数の視点画像の内、第１の角度領域θlp，θrpに提示される視点画像における隣接する視点画像間の視差を、第２の角度領域θnpに提示される視点画像における隣接する視点画像間の視差よりも小さくするよう予め視点を調整した視点画像を生成する。予め視点を調整した視点画像を所定のフォーマットにフォーマット化して裸眼立体視用映像データを生成する。
【解決手段】複数の視点画像を裸眼立体ディスプレイ装置で提示させたとき、観察者の目が存在する可能性が相対的に高い第１の角度領域θlp，θrpと目が存在する可能性が相対的に低い第２の角度領域θnpとを設定する。複数の視点画像の内、第１の角度領域θlp，θrpに提示される視点画像における隣接する視点画像間の視差を、第２の角度領域θnpに提示される視点画像における隣接する視点画像間の視差よりも小さくするよう予め視点を調整した視点画像を生成する。予め視点を調整した視点画像を所定のフォーマットにフォーマット化して裸眼立体視用映像データを生成する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、１次元方向に視差を有する裸眼立体ディスプレイ装置に表示する裸眼立体視用映像データを生成するための裸眼立体視用映像データ生成方法に関する。
【背景技術】
【０００２】
レンチキュラーレンズ，スリット型のバリア，レンズアレイ等の特殊な光学部材を用いて、印刷面や液晶パネル等の表示装置に表示された画像を複数の視点方向に分割して提示させ、表示装置を視認する位置によって表示画像を変化させる技術が知られている。この技術の１つとして、表示装置を見る人の右目と左目に、同一のオブジェクトであって特定の視差を有する互いに異なる表示画像（視差画像）を入力させることにより、表示画像を立体視させる技術がある。この立体視の技術によれば、立体視させるための特殊な眼鏡をかけずに立体視が可能な裸眼立体ディスプレイ装置を実現することができる。
【０００３】
裸眼立体ディスプレイ装置で画像を立体視させる場合、立体視可能な視認範囲を拡大するため、また、長時間の観賞に耐え得る自然な立体感や滑らかな運動視差を得るために、表示画像を極力細かく分割して視点数を増やしたいという要求がある。最近になって、デジタルサイネージやカーナビゲーション装置等の比較的低解像度の表示装置において、アイキャッチや立体的な情報に関する視認性向上等を目的として、視差画像による立体視を行わせるようになってきた。視点数を増やせば増やすほど、解像感が低下する。なお、表示装置自体が物理的に有するものを解像度、人が感じる解像度の程度を解像感とする。低解像度の表示装置において表示画像を立体視させる場合でも、解像感の低下を極力抑え、自然な立体視を実現したいという要求がある。
【０００４】
これらの要求を満たすためには、空間上に表示装置を観察する観察者の目の位置を想定し視点を分割するのではなく、極力細かく視点を分割し、観察者は細かく分割したいずれかの視点で表示装置を見る多眼式が有効である。視差画像の分割数を増やすには、表示装置の画素ピッチに対して表示装置に装着する光学部材において、例えばレンチキュラーレンズの場合は、そのレンズピッチを大きくすることが有効である。しかしながら、レンズの拡大効果でレンズピッチに比例して色画素が大きく見えるため、レンズのピッチ方向の視差画像の解像感が著しく低下してしまう。すると、水平方向と垂直方向とで視差画像の解像感が異なってしまうという不具合が発生する。なお、光学部材にバリアを用いた場合も同様である。
【０００５】
この不具合を解消する技術として、特許文献１に記載されているように、レンチキュラーレンズ（光学部材）を構成するシリンドリカルレンズ（光学要素）の周期方向を表示装置の画素配列の水平方向に対して傾けることが記載されている。特許文献１に記載の技術によれば、水平方向の画素のみではなく垂直方向の画素も用いて１つの３次元画素を構成することにより、立体表示における水平方向の解像感の低下を抑え、水平及び垂直方向の解像感のバランスを向上させることができる。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特許第３９４０４５６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、特許文献１に記載の技術を採用した場合、表示装置の表面に対して大きな奥行きや飛び出しを表現しようとすると、隣接する視点画像の視差が大きくなって解像感が劣化するという問題点があった。
【０００８】
本発明はこのような問題点に鑑み、表示装置の表面に対して大きな奥行きや飛び出しを表現する場合でも解像感の劣化を抑えることができ、解像感の高い立体画像とすることができる裸眼立体視用映像データを生成することができる裸眼立体視用映像データ生成方法を提供することを目的とする。
【課題を解決するための手段】
【０００９】
本発明は、上述した従来の技術の課題を解決するため、複数の視点画像における視差が最も離れた２つの視点画像を裸眼立体ディスプレイ装置で提示させたときの提示方向がなす所定角度の視認範囲の内、観察者が前記裸眼立体ディスプレイ装置を観察したときに目が存在する可能性が相対的に高い第１の角度領域と目が存在する可能性が相対的に低い第２の角度領域とを設定し、前記複数の視点画像の内、前記第１の角度領域に提示される視点画像における隣接する視点画像間の視差を、前記第２の角度領域に提示される視点画像における隣接する視点画像間の視差よりも小さくするよう予め視点を調整した視点画像を生成し、前記予め視点を調整した視点画像を所定のフォーマットにフォーマット化して裸眼立体視用映像データを生成することを特徴とする裸眼立体視用映像データ生成方法を提供する。
【００１０】
上記の裸眼立体視用映像データ生成方法において、前記複数の視点画像を撮影する複数の撮像装置の互いの間隔を調節して、前記第１及び第２の角度領域それぞれの隣接する視点画像間の視差を調整することによって、視点を調整した視点画像を生成することができる。
【００１１】
上記の裸眼立体視用映像データ生成方法において、複数の撮像装置の互いの間隔を等間隔にして前記複数の視点画像を撮影し、前記複数の視点画像の撮像信号に基づいて、前記第１の角度領域に提示される視点画像における隣接する視点画像間の視差を、前記第２の角度領域に提示される視点画像における隣接する視点画像間の視差よりも小さくするよう視点を調整した視点画像を生成することができる。
【００１２】
上記の裸眼立体視用映像データ生成方法において、２つの撮像装置を用いて２視点の視差画像を撮影し、撮影した２視点の視差画像の撮像信号に基づいて、前記第１の角度領域に提示される視点画像における隣接する視点画像間の視差を、前記第２の角度領域に提示される視点画像における隣接する視点画像間の視差よりも小さくするよう視点を調整した複数の視点画像を生成することができる。
【００１３】
上記の裸眼立体視用映像データ生成方法において、コンピュータグラフィックスによるレンダリングによって、前記第１の角度領域に提示される視点画像における隣接する視点画像間の視差を、前記第２の角度領域に提示される視点画像における隣接する視点画像間の視差よりも小さくするよう視点を調整した複数の視点画像を生成することができる。
【００１４】
上記の裸眼立体視用映像データ生成方法において、前記裸眼立体視用映像データを前記裸眼立体ディスプレイ装置に表示させる際に、前記裸眼立体ディスプレイ装置の水平方向における前記観察者の顔の位置を検出し、検出した顔の位置に対応させて前記複数の視点画像をずらした上で、前記裸眼立体視用映像データを生成することが好ましい。
【発明の効果】
【００１５】
本発明の裸眼立体視用映像データ生成方法によれば、表示装置の表面に対して大きな奥行きや飛び出しを表現する場合でも解像感の劣化を抑えることができ、解像感の高い立体画像とすることができる裸眼立体視用映像データを生成することが可能となる。
【図面の簡単な説明】
【００１６】
【図１】多眼式の裸眼立体ディスプレイ装置において、画像がずれた状態で重なって表示されることを説明するための図である。
【図２】視点画像の提示方向を説明するための図である。
【図３】裸眼立体ディスプレイ装置と観察者の目の位置との関係を説明するための図である。
【図４】視点画像の通常の提示方向を説明するための図である。
【図５】複数の撮像装置で複数の視点画像を撮影する場合の通常の撮影方法を説明するための図である。
【図６】本発明の裸眼立体視用映像データ生成方法の一実施形態で用いる撮影方法を説明するための図である。
【図７】本発明の裸眼立体視用映像データ生成方法の一実施形態における第１の例を示すフローチャートである。
【図８】本発明の裸眼立体視用映像データ生成方法の一実施形態における第２の例を示すフローチャートである。
【図９】本発明の裸眼立体視用映像データ生成方法の一実施形態における第３の例を示すフローチャートである。
【図１０】本発明の裸眼立体視用映像データ生成方法の一実施形態における第４の例を示すフローチャートである。
【図１１】本発明の裸眼立体ディスプレイ装置の第１実施形態を示すブロック図である。
【図１２】９視点の視点画像を提示する場合の通常の提示方向を説明するための図である。
【図１３】図１１の視差レベル算出部３１による視差レベルの算出を説明するための図である。
【図１４】図１１のテーブル保持部３３が保持する視差画像提示方向設定テーブルの一例を示す図である。
【図１５】本発明の裸眼立体ディスプレイ装置の第１実施形態による作用効果を説明するための特性図である。
【図１６】本発明の裸眼立体ディスプレイ装置の第２実施形態を示すブロック図である。
【図１７】図１６のテーブル保持部４３が保持する提示視差画像設定テーブルの一例を示す図である。
【図１８】観察者の目が裸眼立体ディスプレイ装置の画面表面に垂直な方向からオフセットした状態を示す図である。
【図１９】図１８の状態で立体画像を快適に視認することができる視点画像の提示方向を示す図である。
【図２０】本発明の裸眼立体ディスプレイ装置の第３実施形態を示すブロック図である。
【図２１】図２０のテーブル保持部５３が保持する視差画像提示方向設定テーブルの一例を示す図である。
【図２２】観察者の顔の位置を検出する方法の一例を示す図である。
【図２３】第３実施形態において、観察者の顔の位置のオフセットに対応させて視点画像をずらす例を示す図である。
【図２４】本発明の裸眼立体ディスプレイ装置の第４実施形態を示すブロック図である。
【図２５】図２４のテーブル保持部５３が保持する視差画像提示方向設定テーブル及び置換部５８によって生成した視差画像提示方向置換テーブルの一例を示す図である。
【図２６】本発明の裸眼立体ディスプレイ装置の第５実施形態を示すブロック図である。
【図２７】図２６のテーブル保持部６３が保持する視差画像提示方向設定テーブル及び置換部６８によって生成した視差画像提示方向置換テーブルの一例を示す図である。
【発明を実施するための形態】
【００１７】
以下、本発明の裸眼立体視用映像データ生成方法の一実施形態について、添付図面を参照して説明する。まず、図１を用いて、多眼式の裸眼立体ディスプレイ装置において、画像がずれて視認される理由について説明する。
【００１８】
図１（Ａ）は、視点０〜８の９視点の映像を表示可能な裸眼立体ディスプレイ装置の構成例である。図１（Ａ）において、表示装置５０には、複数の画素Ｐxlが水平（Ｈ）及び垂直（Ｖ）方向に配列されている。画素Ｐxlに付している数字はそれぞれの画素Ｐxlがどの視点画像を表示するかを示している。ここでは１つのシリンドリカルレンズしか示していないが、配列された複数の画素Ｐxl上には、レンチキュラーレンズＬＬｓが、シリンドリカルレンズの周期方向が画素Ｐxlの配列の水平方向に対して傾けた状態で配置されている。シリンドリカルレンズ（レンチキュラーレンズＬＬｓ）の周期方向とは、シリンドリカルレンズの境界線Ｌbrと直交する方向である。
【００１９】
ブラックストライプがないと仮定した場合の画素Ｐxlの水平方向の画素ピッチはpx、垂直方向の画素ピッチはpyである。レンチキュラーレンズＬＬｓの水平方向のレンズピッチは4.5px、傾斜角度はtan-1(px/2py)となっている。
【００２０】
図１（Ａ）の裸眼立体ディスプレイ装置（表示装置５０）をある位置から見た場合、シリンドリカルレンズの境界線Ｌbrから等距離の破線にて示す直線Ｌed上に存在する画素Ｐxlのみが見える。直線Ｌed上に見える画素Ｐxlを白で、他の画素Ｐxlには梨地模様を付している。図１（Ａ）より分かるように、視点０の画像と視点１の画像とが見える。このため、図１（Ｂ）に示すように、視点画像Ｉm1と視点画像Ｉm2とがずれた状態で重なって視認される。視点画像Ｉm1と視点画像Ｉm2との間には視差Ｐaxが存在している。視差Ｐaxが大きい場合には左右に大きくぶれた画像となり、水平方向の解像感が劣化することとなる。
【００２１】
レンチキュラーレンズＬＬｓを用いた多眼式の裸眼立体ディスプレイ装置においては、レンズピッチを大きくし、焦点距離を短くするほど視認範囲を広くすることができる。しなしながらその一方で、解像度が劣化する。そこで、視認範囲と解像度との兼ね合いを考慮し、視認範囲を裸眼立体ディスプレイ装置の画面表面に垂直な直線に対して水平方向に±１０〜１５°とするのが一般的である。
【００２２】
図２において、裸眼立体ディスプレイ装置１００から伸びている矢印線は視点画像の提示方向である。それぞれの提示方向に付している符号はそれぞれの視点画像を示す番号である。図２に示すように、ｎ個の互いに異なる視点画像を互いに異なるｎ方向に分割させて提示する裸眼立体ディスプレイ装置１００において、視認範囲θviは、視点画像０を提示する方向と視点画像ｎ−１を提示する方向とのなす角度で定義される。裸眼立体ディスプレイ装置１００は、図１の表示装置５０及びレンチキュラーレンズＬＬｓを有する。
【００２３】
観察者が裸眼立体ディスプレイ装置１００の近くから立体画像を見ようとする場合、観察者の目の位置はおおよそ図３（Ａ）に示す位置にあると予想される。観察者の右目ＥＲと左目ＥＬとの間隔（眼間距離）Ｄlrは視認可能幅Ｄviとさほど差がないため、図３（Ｂ）に示すように、視認範囲θvi内の左側に左目が存在する可能性が相対的に高い角度領域θlpと、視認範囲θvi内の右側に右目が存在する可能性が相対的に高い角度領域θrpとが存在する。視認範囲θvi内の中央には左目も右目も存在する可能性が相対的に低い角度領域θnpが存在する。
【００２４】
図４を用いて、裸眼立体ディスプレイ装置１００がｎ個の視点画像をｎ方向に分割させて提示する際の通常の提示方向について説明する。視点画像０を提示する方向を基準として視点画像ｉを提示する方向までの角度をθｉとする。角度θｉは視点画像の番号ｉに比例する。このように、ｎ個の視点画像を提示する方向は等角度ずつずらした方向とするのが通常である。本実施形態においては、上述した従来の技術を解決するため、左目が存在する可能性が高い角度領域θlp及び右目が存在する可能性が高い角度領域θrpにおいては隣接する視点画像間の視差を小さくし、左目も右目も存在する可能性が低い角度領域θnpにおいては隣接する視点画像間の視差を大きくする。
【００２５】
なお、図３（Ａ）において、観察者が裸眼立体ディスプレイ装置１００から離れて観察すると、視認可能幅Ｄviが眼間距離Ｄlrよりも大きくなり、視認可能幅Ｄvi内で左目が存在する可能性と右目が存在する可能性との差は小さくなる。観察距離が離れるほど解像感の劣化に対して鈍感になるため、上記の隣接する視点画像間の視差を異ならせる方法は観察距離に関わらず有効である。また、隣接する視点画像間の視差を異ならせることにより運動視差は実際とは異なるが、立体画像の奥行き手がかりの知覚は両眼視差が支配的であるため、特に問題になることはない。
【００２６】
隣接する視点画像間の視差を異ならせる方法は、ｎ個の視点画像を撮影する際の撮影の仕方を工夫して実現する方法と、ｎ個の視点画像を撮影する撮影の仕方は通常の撮影方法とし、映像信号処理によって隣接する視点画像間の視差を異ならせた映像データを生成する方法とがある。また、２つの視点画像を撮影して、映像信号処理によって２つの視点画像のデータに基づいて隣接する視点画像間の視差を異ならせたｎ個の視点画像の映像データを生成する方法もある。さらには、撮像装置で実際に撮像するのではなく、コンピュータグラフィックス（ＣＧ）によるレンダリングによって実現する方法もある。
【００２７】
＜裸眼立体視用映像データ生成方法の一実施形態＞
ここで、裸眼立体視用映像データ生成方法の一実施形態として、ｎ個の視点画像を撮影する際の撮影の仕方を工夫することによって隣接する視点画像間の視差を異ならせる方法について説明する。まず、比較のため図５（Ａ），（Ｂ）を用いて通常の撮影の仕方について説明する。図５（Ａ）に示すように、ｎ個の撮像装置Ｃm0〜Ｃmn-1がクリッピングポイントＣを中心にした円弧状に等距離で等しい角度間隔で並べられている。撮像装置Ｃm0は視点０の画像を撮影する撮像装置であり、撮像装置Ｃmiは視点ｉの画像を撮影する撮像装置であり、撮像装置Ｃmn-1は視点ｎ−１の画像を撮影する撮像装置である。撮像装置Ｃm0による視点０の撮影方向から撮像装置Ｃmiによる視点ｉの撮影方向までの角度φｉとすると、角度φｉは図４で説明した角度θｉと比例する。
【００２８】
図５（Ｂ）は、無限遠をクリッピングポイントとした場合のｎ個の視点画像の撮影方法を示している。視点０の画像を撮影する撮像装置Ｃm0と視点ｉの画像を撮影する撮像装置Ｃmiとの間の距離をΔｄｉとすると、距離Δｄｉはｉに比例する。
【００２９】
図６（Ａ），（Ｂ）を用いて、隣接する視点画像間の視差を異ならせる撮影方法について説明する。図６（Ａ），（Ｂ）は、図５（Ａ）と同様に、撮像装置Ｃm0〜Ｃmn-1を、クリッピングポイントＣを中心にした円弧状に並べた場合の撮影方法を示している。図５（Ｂ）と同様、無限遠をクリッピングポイントとすることも可能であるが、ここでは撮像装置Ｃm0〜Ｃmn-1を円弧状に並べた場合のみについて説明する。
【００３０】
図６（Ａ）において、撮像装置Ｃmi1，Ｃmi2は図３（Ｂ）で説明した左目が存在する可能性が高い角度領域θlp内に位置している撮像装置である。撮像装置Ｃmi3，Ｃmi4は図３（Ｂ）で説明した右目が存在する可能性が高い角度領域θrpに位置している撮像装置である。図６（Ａ）に示すように、左目が存在する可能性が高い角度領域θlp内に位置している撮像装置Ｃmi1，Ｃmi2の間隔、及び、右目が存在する可能性が高い角度領域θrpに位置している撮像装置Ｃmi3，Ｃmi4の間隔を、図５（Ａ）のようにｎ個の撮像装置Ｃm0〜Ｃmn-1を等しい角度間隔で配置させた場合と比較して狭くする。ここでは、角度領域θlp，θrpそれぞれで２つの撮像装置の間隔を狭くしているが、角度領域θlp，θrp内それぞれにさらに多くの撮像装置が存在する場合には、それぞれの間隔を狭くすればよい。
【００３１】
一方、図６（Ｂ）において、撮像装置Ｃmi5，Ｃmi6は図３（Ｂ）で説明した左目も右目も存在する可能性が低い角度領域θnp内に位置している撮像装置である。図６（Ｂ）に示すように、左目も右目も存在する可能性が低い角度領域θnp内に位置している撮像装置Ｃmi5，Ｃmi6の間隔を、図５（Ａ）のようにｎ個の撮像装置Ｃm0〜Ｃmn-1を等しい角度間隔で配置させた場合と比較して広くする。ここでは、角度領域θnp内の２つの撮像装置の間隔を狭くしているが、角度領域θnp内にさらに多くの撮像装置が存在する場合には、それぞれの間隔を広くすればよい。
【００３２】
本実施形態においては、一例として図６（Ａ），（Ｂ）のように撮影することにより、左目が存在する可能性が高い角度領域θlp及び右目が存在する可能性が高い角度領域θrpにおける隣接する視点画像間の視差を、本発明を適用しない場合と比較して小さくし、左目も右目も存在する可能性が低い角度領域θnpにおける隣接する視点画像間の視差を、本発明を適用しない場合と比較して大きくする。
【００３３】
図７〜図１０を用いて、本実施形態の裸眼立体視用映像データ生成方法の各例について説明する。図７は、図６（Ａ），（Ｂ）のようにしてｎ個の視点画像を撮影した場合の映像データ生成方法を示している。図７において、ステップＳ１にて、ｎ個の撮像装置Ｃm0〜Ｃmn-1の間隔を調節して、左右の目が存在する可能性が高い領域における隣接する視点画像間の視差を小さくし、左右の目が存在する可能性が低い領域における隣接する視点画像間の視差を大きくして、ｎ視点の視差画像を撮影する。次に、ステップＳ２にて、撮影したｎ視点の視差画像の撮像信号に基づいて、所定のフォーマットにフォーマット化して裸眼立体視用映像データを生成する。裸眼立体視用映像データのフォーマットとしては、ライン・バイ・ライン方式、サイド・バイ・サイド方式、フレームシーケンシャル方式、もしくはそれに順じた多視点用のフォーマット等のいずれでもよい。
【００３４】
ステップＳ２で生成した裸眼立体視用映像データを図１で説明した表示装置５０及びレンチキュラーレンズＬＬｓを有する裸眼立体ディスプレイ装置１００に入力して表示させれば、大きな奥行きや飛び出しを表現する場合でも解像感の高い立体画像とすることができる。
【００３５】
図８は、ｎ個の視点画像を撮影する撮影の仕方は通常の撮影方法とし、映像信号処理によって隣接する視点画像間の視差を異ならせた映像データを生成する例である。図８において、ステップＳ１１にて、ｎ個の撮像装置Ｃm0〜Ｃmn-1の間隔を等間隔にして、ｎ視点の視差画像を撮影する。次に、ステップＳ１２にて、映像信号処理装置を用いて、撮影したｎ視点の視差画像の撮像信号に基づいて、左右の目が存在する可能性が高い領域における隣接する視点画像間の視差を小さくし、左右の目が存在する可能性が低い領域おける隣接する視点画像間の視差を大きくしたｎ視点の視差画像を生成する。
【００３６】
そして、ステップＳ１３にて、生成したｎ視点の視差画像の映像データに基づいて、所定のフォーマットにフォーマット化して裸眼立体視用映像データを生成する。ステップＳ１２で用いる映像信号処理装置としては視差マップ等を用いた公知の装置を用いることができるので、詳細な説明を省略する。ステップＳ１３で生成した裸眼立体視用映像データを裸眼立体ディスプレイ装置１００に入力して表示させれば、図７の場合と同様の効果を得ることができる。
【００３７】
図９は、２つの視点画像を撮影して、映像信号処理によって２つの視点画像のデータに基づいて隣接する視点画像間の視差を異ならせたｎ個の視点画像の映像データを生成する例である。図９において、ステップＳ２１にて、２つの撮像装置を用いて２視点の視差画像を撮影する。次に、ステップＳ２２にて、映像信号処理装置を用いて、撮影した２視点の視差画像の撮像信号に基づいて、左右の目が存在する可能性が高い領域における隣接する視点画像間の視差を小さくし、左右の目が存在する可能性が低い領域おける隣接する視点画像間の視差を大きくしたｎ視点の視差画像を生成する。
【００３８】
そして、ステップＳ２３にて、生成したｎ視点の視差画像の映像データに基づいて、所定のフォーマットにフォーマット化して裸眼立体視用映像データを生成する。ステップＳ２２で用いる映像信号処理装置も、視差マップ等を用いて中間の視点画像を生成する公知の装置を用いることができる。ステップＳ２３で生成した裸眼立体視用映像データを裸眼立体ディスプレイ装置１００に入力して表示させれば、図７の場合と同様の効果を得ることができる。
【００３９】
図１０は、撮像装置で実際に撮像するのではなく、ＣＧによる３Ｄオブジェクトデータのレンダリングによって実現する例である。なお、３Ｄオブジェクトデータは、頂点座標の集合データ等、描画するオブジェクトの３次元形状が復元できる必要なデータを有するものである。図１０において、ステップＳ３１にて、ＣＧによる３Ｄオブジェクトデータのレンダリングによって、左右の目が存在する可能性が高い領域における隣接する視点画像間の視差を小さくし、左右の目が存在する可能性が低い領域おける隣接する視点画像間の視差を大きくしたｎ視点の視差画像を生成する。次に、ステップＳ３２にて、生成したｎ視点の視差画像の映像データに基づいて、所定のフォーマットの裸眼立体視用映像データを生成する。ステップＳ３２で生成した裸眼立体視用映像データを裸眼立体ディスプレイ装置１００に入力して表示させれば、図７の場合と同様の効果を得ることができる。
【００４０】
＜裸眼立体ディスプレイ装置及び視点調整方法の第１実施形態＞
次に、図１１を用いて裸眼立体ディスプレイ装置及び視点調整方法の第１実施形態について説明する。本実施形態の裸眼立体ディスプレイ装置は、一例として、ＣＧによってレンダリング可能な３Ｄオブジェクトデータを入力する。本実施形態の裸眼立体ディスプレイ装置は、隣接する視点画像間の視差を異ならせるように３Ｄオブジェクトデータをレンダリングし、表示させるように構成したものである。
【００４１】
図１１において、視差レベル算出部３１及び視点画像作成部３４には、３Ｄオブジェクトデータが入力される。表示装置５０の具体的構成は図１（Ａ）で説明した通りである。表示装置５０上にはレンチキュラーレンズＬＬｓが配置されている。図１（Ａ）に示す０〜８の視点画像は、レンチキュラーレンズＬＬｓによってそれぞれ異なる方向から視認されることになる。まず、図１２を用いて、後述する本実施形態による処理を施さずに３Ｄオブジェクトデータをレンダリングし、９視点の視点画像を表示装置５０に表示させた場合の視点画像の提示方向について説明する。
【００４２】
図１２に示すように、視点ｉが０の視点画像（視点画像０）は裸眼立体ディスプレイ装置１００からθ０として０°の方向に提示される。裸眼立体ディスプレイ装置１００は、図１１における表示装置５０及びレンチキュラーレンズＬＬｓを含む。ここでは視認範囲θviを２４°とすると、視点ｉが８の視点画像（視点画像８）は裸眼立体ディスプレイ装置１００からθ８として２４°の方向に提示される。視点画像０と視点画像８との間の視点画像は３°ずつの間隔で提示されることになる。例えば、視点ｉが１の視点画像は裸眼立体ディスプレイ装置１００からθ１として３°の方向に提示される。
【００４３】
図１１に戻り、本実施形態の裸眼立体ディスプレイ装置の動作について説明する。視差レベル算出部３１は、クリッピングポイントＣと３Ｄオブジェクトとの距離から視差レベルＬpaを算出する。図１３に示すように、視差レベル算出部３１は、３Ｄオブジェクトデータが入力されると、世界座標系上にオブジェクトＯＢを配置する。視差レベル算出部３１は、クリッピングポイントＣとオブジェクトＯＢの重心座標との距離を計算して視差レベルＬpaを算出する。視差レベルＬpaは例えば０〜２の３段階とする。視差レベルＬpaは視点調整部３２に入力される。なお、視差レベルの算出方法は、これに限ったものではなく、入力する３Ｄオブジェクトデータにヘッダ情報として添付するなど、別の方法も考えられる。
【００４４】
テーブル保持部３３には、図１４に示す視差画像提示方向設定テーブルが保持されている。図１４に示すように、視差画像提示方向設定テーブルには、３Ｄオブジェクトをレンダリングする撮像装置の方向を示す角度φｉとして、視差レベルＬpa０〜２に応じた角度の組が設定されている。ここでは視差レベルＬpaを３段階とし、角度φｉの組を３組としたが、これに限定されない。なお、ＣＧによるレンダリングでは実際には撮像装置は存在しないが、撮像装置で撮像したものと同等の画像を作成することから、撮像装置の角度φｉと称している。図１４においては、図１２で説明した通常の提示方向θｉも示している。裸眼立体ディスプレイ装置が通常の提示方向θｉでの視差画像の提示を行う必要がない場合には省略可能である。また、図１４においては、理解を容易にするため目が存在する可能性高い角度領域と可能性が低い角度領域を示している。
【００４５】
視点調整部３２は、テーブル保持部３３より、視差レベル算出部３１より入力された視差レベルＬpaに応じた角度φｉを示す情報を読み出す。視点調整部３２は、読み出した角度φｉを示す情報を視点画像作成部３４に入力する。視点画像作成部３４は、入力された３Ｄオブジェクトデータと角度φｉを示す情報とに基づいて、左右の目が存在する可能性が高い角度領域における隣接する視点画像間の視差を小さくし、左右の目が存在する可能性が低い角度領域おける隣接する視点画像間の視差を大きくした９視点の視差画像をレンダリングによって生成する。
【００４６】
視点画像作成部３４が生成した９視点の視差画像の映像データは駆動部３５に入力される。駆動部３５は、入力された映像データにおける９視点の視差画像を構成するそれぞれのデータ部分の各画素データを、図１（Ａ）に示すように９視点の表示装置５０の各画素に割り当てて表示するよう表示装置５０を駆動する。これにより、本実施形態の裸眼立体ディスプレイ装置によれば、表示装置５０の表面に対して大きな奥行きや飛び出しを表現する場合でも解像感の劣化を抑えることができ、解像感の高い立体画像を表示することが可能となる。
【００４７】
ここで、図１５を用いて本実施形態による作用効果についてさらに説明する。図１５において、横軸は視点番号ｉを示しており、縦軸は角度φｉを示している。角度φｉは視差画像の提示方向の角度に相当する。視点番号ｉが０〜２，６〜８の領域は左右の目が存在する可能性が高い領域であり、角度領域θlp，θrpに対応する部分である。視点番号ｉが３〜５の領域は左右の目が存在する可能性が低い領域であり、角度領域θnpに対応する部分である。
【００４８】
図１５より分かるように、角度領域θlp，θrpに対応する部分でｉの変化に対するφｉの変化量が小さくなっている。視差レベルＬpaが大きいほど変化量がより小さくなっており、傾きは緩やかになっている。即ち、視差レベルＬpaが大きいほど、左右の目が存在する可能性が高い角度領域における隣接する視点画像間の視差をより小さくし、左右の目が存在する可能性が低い角度領域おける隣接する視点画像間の視差をより大きくしている。これにより、視差レベルＬpaの程度に応じた解像感の改善効果を得ることができる。なお、角度領域θnpに対応する部分では変化量が大きくなるが、左右の目が存在する可能性が低い領域であるので問題になりにくい。
【００４９】
本実施形態の裸眼立体ディスプレイ装置に入力するデータは、ＣＧでレンダリングするための３Ｄオブジェクトデータでなくてもよく、図５で説明したように撮像装置で撮像したデータであってもよく、その場合は図８に示した処理方法で視点画像の映像データを生成する。また、２つの視点画像、いわゆるステレオコンテンツであってもよく、その場合は、図９に示したように、視差マップ等を用いた映像信号処理装置によって視点画像の映像データを生成する。
【００５０】
＜裸眼立体ディスプレイ装置及び視点調整方法の第２実施形態＞
図１６及び図１７を用いて、裸眼立体ディスプレイ装置及び視点調整方法の第２実施形態について説明する。図１６において、図１１と同一の部分には同一の符号を付し、その説明を適宜省略する。図１６において、視点調整部４２には一例として９視点の３Ｄオブジェクトデータが入力される。テーブル保持部４３には、図１７に示す提示視差画像設定テーブルが保持されている。図１７に示すように、提示視差画像設定テーブルには、視点番号ｉに対応させて提示する視点画像の番号が保持されている。
【００５１】
視点調整部４２は、テーブル保持部４３の提示する視点画像の番号を参照して、視点番号ｉごとに提示する視差番号の視差画像を出力する。図１７より分かるように、視点番号ｉが０，１，４，７，８であれば、視点番号０，１，４，７，８の視差画像を出力する。視差番号ｉが２であれば、視差番号２の視差画像を出力するのではなく、視差番号１の視差画像を出力する。視差番号ｉが３であれば、視差番号３の視差画像を出力するのではなく、視差番号２の視差画像を出力する。視差番号ｉが５，６であれば、視差番号５，６の視差画像を出力するのではなく、視差番号６，７の視差画像を出力する。この場合、視差画像３，５は使用しない。
【００５２】
駆動部４５は、入力された映像データにおける視差画像を構成するそれぞれのデータ部分の各画素データを、表示装置５０の各画素に割り当てて表示するよう表示装置５０を駆動する。
【００５３】
図１６の視点調整部４２も図１１における視点調整部３２と同様、実質的に、複数の視点画像の内、目が存在する可能性が相対的に高い角度領域に提示される視点画像における隣接する視点画像間の視差を、目が存在する可能性が相対的に低い角度領域に提示される視点画像における隣接する視点画像間の視差よりも小さくしている。
【００５４】
第２実施形態によれば、左右の目が存在する可能性が高い領域で同一の視差画像が表示されることになるので、図１（Ｂ）で説明したような視差Ｐaxがなくなり、解像感の劣化を抑えることができる。左右の目が存在する可能性が低い領域では視差Ｐaxが大きくなるが、左右の目が存在する可能性が低い領域であるので問題になりにくい。第２実施形態においても、表示装置５０の表面に対して大きな奥行きや飛び出しを表現する場合でも解像感が劣化を抑えることができ、解像感の高い立体画像を表示することが可能となる。
【００５５】
＜裸眼立体ディスプレイ装置及び視点調整方法の第３実施形態＞
図１８〜図２２を用いて、裸眼立体ディスプレイ装置及び視点調整方法の第３実施形態について説明する。上述した第１及び第２実施形態においては、図３（Ａ），（Ｂ）に示すように、観察者が裸眼立体ディスプレイ装置１００の画面表面に垂直な方向から立体画像を見るということを前提としている。ところが、観察者は、必ずしも画面表面に垂直な方向から立体画像を見るとは限らない。観察者の顔の位置が、画面の水平方向の中央からずれた位置にあり、画面の水平方向の中央部付近を見ると、観察者は画面表面に垂直な方向からずれた方向から立体画像を見ることになる。
【００５６】
図１８に示すように、裸眼立体ディスプレイ装置１００から見て左右対称に視点0〜8の視点画像が提示されている。観察者の右目ＥＲと左目ＥＬが破線で示す位置にあれば、立体画像を快適に視認することが可能である。観察者の顔の位置が図１８の左方向にずれ、右目ＥＲと左目ＥＬの位置が矢印の方向にオフセットしたとする。この状態では、左目ＥＬは、破線矢印で示している部分の視点画像を認識することになるので逆視となり、立体画像を正しく視認することはできない。観察者の顔の位置が図１８の右方向にずれた場合も同様である。そこで、観察者の顔の位置が水平方向にずれて視線の方向が画面表面に垂直な方向からずれても、解像感の高い立体画像を視認できることが望まれる。第３実施形態は、このような要望に対応するものである。
【００５７】
右目ＥＲと左目ＥＬが図１８に示すようにオフセットしている場合には、視点0〜8の視点画像を図１９に示すように提示すれば、立体画像を快適に視認することができることになる。m%nは、mをnで割った剰余であると定義する。観察者の顔の水平方向のオフセット量をΔｘとすると、図１８に示す例は９視点であるので、視点iの位置に、(i+Δｘ)%9の視点画像を提示すれば、図１９のように視点iの位置を補正することができる。
【００５８】
図２０は、観察者の顔の位置に基づいて、視点iの位置を補正するように構成した第３実施形態を示している。図２０において、視点調整部５２及び視点画像作成部５４には一例として９視点の３Ｄオブジェクトデータが入力される。テーブル保持部５３には、図２１に示す視差画像提示方向設定テーブルが保持されている。図２１に示すように、視差画像提示方向設定テーブルには、３Ｄオブジェクトをレンダリングする際の通常の提示方向θｉと、左右の目が存在する可能性が高い角度領域における隣接する視点画像間の視差を小さくし、左右の目が存在する可能性が低い角度領域おける隣接する視点画像間の視差を大きくするための角度φｉが設定されている。
【００５９】
裸眼立体ディスプレイ装置が通常の提示方向θｉでの視差画像の提示を行う必要がない場合には提示方向θｉは省略可能である。図２１においても、理解を容易にするため目が存在する可能性高い角度領域と可能性が低い角度領域を示している。
【００６０】
視点調整部５２は、テーブル保持部５３に設定された視差画像提示方向設定テーブルを参照して、３Ｄオブジェクトデータのそれぞれの視点ｉに対応させて角度φｉを示す情報を視点画像作成部５４に入力する。視点画像作成部５４は、入力された３Ｄオブジェクトデータと角度φｉを示す情報とに基づいて、左右の目が存在する可能性が高い角度領域における隣接する視点画像間の視差を小さくし、左右の目が存在する可能性が低い角度領域おける隣接する視点画像間の視差を大きくした９視点の視差画像をレンダリングによって生成する。視点画像作成部５４が生成した９視点の視差画像の映像データは駆動部５５に入力される。
【００６１】
顔位置検出部５６は、表示装置５０に表示されている立体画像を見ている観察者の顔の位置を検出する。顔位置検出部５６は、例えば図２２に示すように顔ＦＣの位置を検出する。表示装置５０の水平方向中央部には、カメラ５７が設けられている。カメラ５７は表示装置５０の筐体における画面周囲の枠部分に埋め込んでもよいし、別部材としてのカメラ５７を筐体上部に設置してもよい。なお、図２０では、カメラ５７の図示を省略している。カメラ５７の代わりに赤外線センサによって顔ＦＣの位置を検出してもよい。
【００６２】
顔位置検出部５６は、カメラ５７で撮像した映像に基づいて、顔ＦＣが水平方向中央位置から水平方向にどの程度オフセットしているかを示すオフセット量Δｘを検出する。図２２の例では、本来であれば顔ＦＣの中央が視点４であるべきところ視点０にオフセットしており、オフセット量Δｘは４である。
【００６３】
顔位置検出部５６によって検出されたオフセット量Δｘは、駆動部５５に入力される。駆動部５５は、オフセット量Δｘが０であれば、図１（Ａ）で説明したように、入力された映像データにおける９視点の視差画像を構成するそれぞれのデータ部分の各画素データを、９視点の表示装置５０の各画素に割り当てて表示するよう表示装置５０を駆動する。駆動部５５は、オフセット量Δｘが０でなければ、オフセット量Δｘの値に応じて、９視点の視差画像の各画素データを表示装置５０の各画素に割り当てる際の位置をずらした状態で表示装置５０を駆動する。
【００６４】
図２３は、オフセット量Δｘが４の場合に、図２１の視差画像提示方向設定テーブルにおける視点番号ｉをどのようにずらせばよいかを示している。視点番号ｉ’はオフセット量Δｘの４に対応させて、各画素データを割り当てる位置をずらした視点番号を示している。図２３に示すように、顔ＦＣが図２２のようにオフセットしている場合には、駆動部５５は、例えば、視点０の画素データを図１（Ａ）における視点４の画素の位置に、視点１の画素データを図１（Ａ）における視点５の画素の位置に表示させるよう表示装置５０を駆動する。
【００６５】
第３実施形態によれば、観察者の顔の位置が表示装置５０の水平方向中央位置からずれて、画面表面に垂直な方向から立体画像を見ない場合でも、立体画像を快適に視認することができる。さらに、左右の目が存在する可能性が高い角度領域と可能性が低い角度領域それぞれで視点画像間の視差を調整しているので、表示装置５０の表面に対して大きな奥行きや飛び出しを表現する場合でも解像感の劣化を抑えることができ、解像感の高い立体画像を表示することが可能となる。
【００６６】
＜裸眼立体ディスプレイ装置及び視点調整方法の第４実施形態＞
図２４に示す第４実施形態は、図２０の第３実施形態とは異なる構成で第３実施形態と同様の作用効果を奏するよう構成したものである。図２４において、図２０と同一の部分には同一の符号を付し、その説明を適宜省略する。図２４において、テーブル保持部５３には、図２５（Ａ）に示す視差画像提示方向設定テーブルが保持されている。顔位置検出部５６によって検出されたオフセット量Δｘは、置換部５８に入力される。置換部５８は、図２５（Ａ）の視差画像提示方向設定テーブルを読み出す。そして、置換部５８は、顔位置検出部５６から入力されたオフセット量Δｘに応じて、図２３と同様に、視点番号ｉを視点番号ｉ’に置換する。
【００６７】
図２５（Ｂ）は、図２５（Ａ）の視差画像提示方向設定テーブルにおける視点番号ｉを視点番号ｉ’に置換し、視点番号ｉ’を０〜８の順に並べた視差画像提示方向置換テーブルを示している。ここでも、オフセット量Δｘを４とした場合を示している。置換部５８が新たに作成する視差画像提示方向置換テーブルは、視点番号ｉと視点番号ｉ’との対応関係を示すと共に、視点番号ｉ’と角度φｉとの対応関係を示している。
【００６８】
視点調整部５２は、置換部５８で作成された視差画像提示方向置換テーブルを参照して、３Ｄオブジェクトデータのそれぞれの視点ｉを視点ｉ’に変更し、視点ｉ’に対応させて角度φｉを示す情報を視点画像作成部５４に入力する。視点画像作成部５４は、入力された３Ｄオブジェクトデータと角度φｉを示す情報とに基づいて、左右の目が存在する可能性が高い角度領域における隣接する視点画像間の視差を小さくし、左右の目が存在する可能性が低い角度領域おける隣接する視点画像間の視差を大きくした９視点の視差画像をレンダリングによって生成する。
【００６９】
駆動部５５は、第１実施形態と同様、図１（Ａ）で説明したように、入力された映像データにおける９視点の視差画像を構成するそれぞれのデータ部分の各画素データを、９視点の表示装置５０の各画素に割り当てて表示するよう表示装置５０を駆動する。即ち、駆動部５５は、オフセット量Δｘとは関係なく、通常のように表示装置５０を駆動すればよい。
【００７０】
第４実施形態においても、観察者の顔の位置が表示装置５０の水平方向中央位置からずれて、画面表面に垂直な方向から立体画像を見ない場合でも、立体画像を快適に視認することができる。さらに、左右の目が存在する可能性が高い角度領域と可能性が低い角度領域それぞれで視点画像間の視差を調整しているので、表示装置５０の表面に対して大きな奥行きや飛び出しを表現する場合でも解像感の劣化を抑えることができ、解像感の高い立体画像を表示することが可能となる。
【００７１】
＜裸眼立体ディスプレイ装置及び視点調整方法の第５実施形態＞
図２６に示す第５実施形態は、第４実施形態の構成に加えて、観察者が立体画像を観察しているときの表示装置５０からの距離に応じて、角度φｉを調整するように構成したものである。図２６において、図２４と同一の部分には同一の符号を付し、その説明を適宜省略する。観察者が表示装置５０に近付いて立体画像を観察する場合には、視差による画像のぶれが強く感じられ、左右の目が存在する可能性が高い角度領域と可能性が低い角度領域とが比較的はっきりと区別される。一方、観察者が表示装置５０から離れて立体画像を観察する場合には、視差による画像のぶれはさほど強く感じられず、左右の目が存在する可能性が高い角度領域と可能性が低い角度領域との区別が曖昧となる。
【００７２】
図２６において、顔距離推定部５９は、図２２に示すように、顔ＦＣの大きさに基づいて表示装置５０から顔ＦＣまでの距離Ｆｄを推定する。顔ＦＣの大きさを判断すれば、顔ＦＣが表示装置５０に近付いているか離れているかをある程度推定することができる。距離Ｆｄを正確に測定する必要はないため、第５実施形態においては、カメラ５７で撮像した映像に基づいて顔ＦＣの大きさを複数にクラス分けし、表示装置５０から顔ＦＣまでの距離Ｆｄを推定する。顔距離推定部５９は、例えば、距離Ｆｄを、顔ＦＣが表示装置５０から離れている“大”、顔ＦＣが表示装置５０に近付いている“小”、“大”と“小”の中間の“中”の３段階にクラス分けする。
【００７３】
顔距離推定部５９によってクラス分けされた距離Ｆｄの“大”，“中”，“小”のいずれかを示す距離推定データは、置換部６８に入力される。カメラ５７を複数設けて、距離Ｆｄを正確に測定し、距離Ｆｄをクラス分けしてもよい。
【００７４】
第５実施形態においては、テーブル保持部６３には、図２７（Ａ）に示す視差画像提示方向設定テーブルが保持されている。図２７（Ａ）に示すように、角度φｉは、距離Ｆｄが“大”であれば、左右の目が存在する可能性が高い角度領域における隣接する視点画像間の視差を小さくし、左右の目が存在する可能性が低い角度領域おける隣接する視点画像間の視差を大きくする効果を比較的小さくした値に設定している。距離Ｆｄが“小”であれば、その効果を比較的大きくした値に設定し、距離Ｆｄが“中”であれば、その効果を“大”と“小”との中間である中程度の値に設定している。
【００７５】
第４実施形態と同様、置換部６８は、図２７（Ａ）の視差画像提示方向設定テーブルを読み出し、顔位置検出部５６から入力されたオフセット量Δｘに応じて、図２３と同様に、視点番号ｉを視点番号ｉ’に置換する。図２７（Ｂ）は、図２７（Ａ）の視差画像提示方向設定テーブルにおける視点番号ｉを視点番号ｉ’に置換し、視点番号ｉ’を０〜８の順に並べた視差画像提示方向置換テーブルを示している。置換部６８が新たに作成する視差画像提示方向置換テーブルは、視点番号ｉと視点番号ｉ’との対応関係を示すと共に、視点番号ｉ’と距離Ｆｄが“大”，“中”，“小”それぞれの場合の角度φｉとの対応関係を示している。
【００７６】
視点調整部５２は、置換部６８で作成された視差画像提示方向置換テーブルを参照して、３Ｄオブジェクトデータのそれぞれの視点ｉを視点ｉ’に変更し、視点ｉ’に対応させて角度φｉを示す情報を視点画像作成部５４に入力する。この際、置換部６８は、顔距離推定部５９より入力された距離推定データに応じて、距離Ｆｄが“大”，“中”，“小”のいずれかの角度φｉを示す情報を視点調整部５２に供給する。距離Ｆｄに応じた角度φｉを示す情報は、視点画像作成部５４へと入力される。視点画像作成部５４及び駆動部５５の動作は第４実施形態と同じである。
【００７７】
第５実施形態によれば、第４実施形態が奏する効果に加えて、観察者が立体画像を観察しているときの表示装置５０からの距離に応じて、左右の目が存在する可能性が高い角度領域における隣接する視点画像間の視差を小さくし、左右の目が存在する可能性が低い角度領域おける隣接する視点画像間の視差を大きくする効果を最適な状態に設定することができるという効果を奏する。
【００７８】
以上説明したオフセット量Δｘや距離Ｆｄのクラス分けの数は単なる例である。クラス分けの数は２つでもよいし、４つ以上でもよい。また、視点数は９視点でなくてもよい。
【００７９】
上述した裸眼立体視用映像データ生成方法によって、左右の目が存在する可能性が高い領域における隣接する視点画像間の視差を小さくし、左右の目が存在する可能性が低い領域おける隣接する視点画像間の視差を大きくしたｎ視点の視差画像を生成し、所定のフォーマットにフォーマット化して裸眼立体視用映像データを生成する際に、裸眼立体ディスプレイ装置及び視点調整方法の第３〜第５実施形態と同様に、観察者の顔の位置をリアルタイムに検出して、観察者の顔に対応させた裸眼立体視用映像データを生成することも可能である。
【００８０】
図８〜図１０の裸眼立体視用映像データ生成方法の各例では、観察者の顔に対応させて、リアルタイムに観察者の顔に対応させた裸眼立体視用映像データを生成することができる。裸眼立体視用映像データを裸眼立体ディスプレイ装置に表示させる際に、裸眼立体ディスプレイ装置の水平方向における観察者の顔の位置を検出し、検出した顔の位置に対応させて複数の視点画像をずらした上で、予め視点を調整した視点画像を所定のフォーマットにフォーマット化して裸眼立体視用映像データを生成すればよい。この場合には、
裸眼立体ディスプレイ装置は既存の構成でよく、所定のフォーマットの裸眼立体視用映像データを単に表示すればよい。
【００８１】
本発明は以上説明した本実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々変更可能である。本実施形態においては、光学部材としてレンチキュラーレンズＬＬｓを用いた場合を中心として説明したが、光学部材はレンチキュラーレンズに限定されるものではない。但し、光学部材としはレンチキュラーレンズが好ましい。また、目が存在する可能性が高い角度領域を２つの領域としたが、視認範囲θviをさらに細かく分けて３つ以上の領域を目が存在する可能性が高い角度領域と設定することも可能である。さらに、テーブル保持部３３，４３，５３にテーブルを保持させる代わりに関数を保持させておき、関数を用いた計算によって図１４，図１７，図２１，図２５，図２７のテーブルと同等の機能の実現させてもよい。
【符号の説明】
【００８２】
３１ 視差レベル算出部
３２，４２ 視点調整部
３３，４３，５３，６３ テーブル保持部（保持部）
３４ 視点画像作成部
３５，４５ 駆動部
５０ 表示装置
５６ 顔位置検出部
５８，６８ 置換部
５９ 顔距離推定部
ＬＬｓ レンチキュラーレンズ
【技術分野】
【０００１】
本発明は、１次元方向に視差を有する裸眼立体ディスプレイ装置に表示する裸眼立体視用映像データを生成するための裸眼立体視用映像データ生成方法に関する。
【背景技術】
【０００２】
レンチキュラーレンズ，スリット型のバリア，レンズアレイ等の特殊な光学部材を用いて、印刷面や液晶パネル等の表示装置に表示された画像を複数の視点方向に分割して提示させ、表示装置を視認する位置によって表示画像を変化させる技術が知られている。この技術の１つとして、表示装置を見る人の右目と左目に、同一のオブジェクトであって特定の視差を有する互いに異なる表示画像（視差画像）を入力させることにより、表示画像を立体視させる技術がある。この立体視の技術によれば、立体視させるための特殊な眼鏡をかけずに立体視が可能な裸眼立体ディスプレイ装置を実現することができる。
【０００３】
裸眼立体ディスプレイ装置で画像を立体視させる場合、立体視可能な視認範囲を拡大するため、また、長時間の観賞に耐え得る自然な立体感や滑らかな運動視差を得るために、表示画像を極力細かく分割して視点数を増やしたいという要求がある。最近になって、デジタルサイネージやカーナビゲーション装置等の比較的低解像度の表示装置において、アイキャッチや立体的な情報に関する視認性向上等を目的として、視差画像による立体視を行わせるようになってきた。視点数を増やせば増やすほど、解像感が低下する。なお、表示装置自体が物理的に有するものを解像度、人が感じる解像度の程度を解像感とする。低解像度の表示装置において表示画像を立体視させる場合でも、解像感の低下を極力抑え、自然な立体視を実現したいという要求がある。
【０００４】
これらの要求を満たすためには、空間上に表示装置を観察する観察者の目の位置を想定し視点を分割するのではなく、極力細かく視点を分割し、観察者は細かく分割したいずれかの視点で表示装置を見る多眼式が有効である。視差画像の分割数を増やすには、表示装置の画素ピッチに対して表示装置に装着する光学部材において、例えばレンチキュラーレンズの場合は、そのレンズピッチを大きくすることが有効である。しかしながら、レンズの拡大効果でレンズピッチに比例して色画素が大きく見えるため、レンズのピッチ方向の視差画像の解像感が著しく低下してしまう。すると、水平方向と垂直方向とで視差画像の解像感が異なってしまうという不具合が発生する。なお、光学部材にバリアを用いた場合も同様である。
【０００５】
この不具合を解消する技術として、特許文献１に記載されているように、レンチキュラーレンズ（光学部材）を構成するシリンドリカルレンズ（光学要素）の周期方向を表示装置の画素配列の水平方向に対して傾けることが記載されている。特許文献１に記載の技術によれば、水平方向の画素のみではなく垂直方向の画素も用いて１つの３次元画素を構成することにより、立体表示における水平方向の解像感の低下を抑え、水平及び垂直方向の解像感のバランスを向上させることができる。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特許第３９４０４５６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、特許文献１に記載の技術を採用した場合、表示装置の表面に対して大きな奥行きや飛び出しを表現しようとすると、隣接する視点画像の視差が大きくなって解像感が劣化するという問題点があった。
【０００８】
本発明はこのような問題点に鑑み、表示装置の表面に対して大きな奥行きや飛び出しを表現する場合でも解像感の劣化を抑えることができ、解像感の高い立体画像とすることができる裸眼立体視用映像データを生成することができる裸眼立体視用映像データ生成方法を提供することを目的とする。
【課題を解決するための手段】
【０００９】
本発明は、上述した従来の技術の課題を解決するため、複数の視点画像における視差が最も離れた２つの視点画像を裸眼立体ディスプレイ装置で提示させたときの提示方向がなす所定角度の視認範囲の内、観察者が前記裸眼立体ディスプレイ装置を観察したときに目が存在する可能性が相対的に高い第１の角度領域と目が存在する可能性が相対的に低い第２の角度領域とを設定し、前記複数の視点画像の内、前記第１の角度領域に提示される視点画像における隣接する視点画像間の視差を、前記第２の角度領域に提示される視点画像における隣接する視点画像間の視差よりも小さくするよう予め視点を調整した視点画像を生成し、前記予め視点を調整した視点画像を所定のフォーマットにフォーマット化して裸眼立体視用映像データを生成することを特徴とする裸眼立体視用映像データ生成方法を提供する。
【００１０】
上記の裸眼立体視用映像データ生成方法において、前記複数の視点画像を撮影する複数の撮像装置の互いの間隔を調節して、前記第１及び第２の角度領域それぞれの隣接する視点画像間の視差を調整することによって、視点を調整した視点画像を生成することができる。
【００１１】
上記の裸眼立体視用映像データ生成方法において、複数の撮像装置の互いの間隔を等間隔にして前記複数の視点画像を撮影し、前記複数の視点画像の撮像信号に基づいて、前記第１の角度領域に提示される視点画像における隣接する視点画像間の視差を、前記第２の角度領域に提示される視点画像における隣接する視点画像間の視差よりも小さくするよう視点を調整した視点画像を生成することができる。
【００１２】
上記の裸眼立体視用映像データ生成方法において、２つの撮像装置を用いて２視点の視差画像を撮影し、撮影した２視点の視差画像の撮像信号に基づいて、前記第１の角度領域に提示される視点画像における隣接する視点画像間の視差を、前記第２の角度領域に提示される視点画像における隣接する視点画像間の視差よりも小さくするよう視点を調整した複数の視点画像を生成することができる。
【００１３】
上記の裸眼立体視用映像データ生成方法において、コンピュータグラフィックスによるレンダリングによって、前記第１の角度領域に提示される視点画像における隣接する視点画像間の視差を、前記第２の角度領域に提示される視点画像における隣接する視点画像間の視差よりも小さくするよう視点を調整した複数の視点画像を生成することができる。
【００１４】
上記の裸眼立体視用映像データ生成方法において、前記裸眼立体視用映像データを前記裸眼立体ディスプレイ装置に表示させる際に、前記裸眼立体ディスプレイ装置の水平方向における前記観察者の顔の位置を検出し、検出した顔の位置に対応させて前記複数の視点画像をずらした上で、前記裸眼立体視用映像データを生成することが好ましい。
【発明の効果】
【００１５】
本発明の裸眼立体視用映像データ生成方法によれば、表示装置の表面に対して大きな奥行きや飛び出しを表現する場合でも解像感の劣化を抑えることができ、解像感の高い立体画像とすることができる裸眼立体視用映像データを生成することが可能となる。
【図面の簡単な説明】
【００１６】
【図１】多眼式の裸眼立体ディスプレイ装置において、画像がずれた状態で重なって表示されることを説明するための図である。
【図２】視点画像の提示方向を説明するための図である。
【図３】裸眼立体ディスプレイ装置と観察者の目の位置との関係を説明するための図である。
【図４】視点画像の通常の提示方向を説明するための図である。
【図５】複数の撮像装置で複数の視点画像を撮影する場合の通常の撮影方法を説明するための図である。
【図６】本発明の裸眼立体視用映像データ生成方法の一実施形態で用いる撮影方法を説明するための図である。
【図７】本発明の裸眼立体視用映像データ生成方法の一実施形態における第１の例を示すフローチャートである。
【図８】本発明の裸眼立体視用映像データ生成方法の一実施形態における第２の例を示すフローチャートである。
【図９】本発明の裸眼立体視用映像データ生成方法の一実施形態における第３の例を示すフローチャートである。
【図１０】本発明の裸眼立体視用映像データ生成方法の一実施形態における第４の例を示すフローチャートである。
【図１１】本発明の裸眼立体ディスプレイ装置の第１実施形態を示すブロック図である。
【図１２】９視点の視点画像を提示する場合の通常の提示方向を説明するための図である。
【図１３】図１１の視差レベル算出部３１による視差レベルの算出を説明するための図である。
【図１４】図１１のテーブル保持部３３が保持する視差画像提示方向設定テーブルの一例を示す図である。
【図１５】本発明の裸眼立体ディスプレイ装置の第１実施形態による作用効果を説明するための特性図である。
【図１６】本発明の裸眼立体ディスプレイ装置の第２実施形態を示すブロック図である。
【図１７】図１６のテーブル保持部４３が保持する提示視差画像設定テーブルの一例を示す図である。
【図１８】観察者の目が裸眼立体ディスプレイ装置の画面表面に垂直な方向からオフセットした状態を示す図である。
【図１９】図１８の状態で立体画像を快適に視認することができる視点画像の提示方向を示す図である。
【図２０】本発明の裸眼立体ディスプレイ装置の第３実施形態を示すブロック図である。
【図２１】図２０のテーブル保持部５３が保持する視差画像提示方向設定テーブルの一例を示す図である。
【図２２】観察者の顔の位置を検出する方法の一例を示す図である。
【図２３】第３実施形態において、観察者の顔の位置のオフセットに対応させて視点画像をずらす例を示す図である。
【図２４】本発明の裸眼立体ディスプレイ装置の第４実施形態を示すブロック図である。
【図２５】図２４のテーブル保持部５３が保持する視差画像提示方向設定テーブル及び置換部５８によって生成した視差画像提示方向置換テーブルの一例を示す図である。
【図２６】本発明の裸眼立体ディスプレイ装置の第５実施形態を示すブロック図である。
【図２７】図２６のテーブル保持部６３が保持する視差画像提示方向設定テーブル及び置換部６８によって生成した視差画像提示方向置換テーブルの一例を示す図である。
【発明を実施するための形態】
【００１７】
以下、本発明の裸眼立体視用映像データ生成方法の一実施形態について、添付図面を参照して説明する。まず、図１を用いて、多眼式の裸眼立体ディスプレイ装置において、画像がずれて視認される理由について説明する。
【００１８】
図１（Ａ）は、視点０〜８の９視点の映像を表示可能な裸眼立体ディスプレイ装置の構成例である。図１（Ａ）において、表示装置５０には、複数の画素Ｐxlが水平（Ｈ）及び垂直（Ｖ）方向に配列されている。画素Ｐxlに付している数字はそれぞれの画素Ｐxlがどの視点画像を表示するかを示している。ここでは１つのシリンドリカルレンズしか示していないが、配列された複数の画素Ｐxl上には、レンチキュラーレンズＬＬｓが、シリンドリカルレンズの周期方向が画素Ｐxlの配列の水平方向に対して傾けた状態で配置されている。シリンドリカルレンズ（レンチキュラーレンズＬＬｓ）の周期方向とは、シリンドリカルレンズの境界線Ｌbrと直交する方向である。
【００１９】
ブラックストライプがないと仮定した場合の画素Ｐxlの水平方向の画素ピッチはpx、垂直方向の画素ピッチはpyである。レンチキュラーレンズＬＬｓの水平方向のレンズピッチは4.5px、傾斜角度はtan-1(px/2py)となっている。
【００２０】
図１（Ａ）の裸眼立体ディスプレイ装置（表示装置５０）をある位置から見た場合、シリンドリカルレンズの境界線Ｌbrから等距離の破線にて示す直線Ｌed上に存在する画素Ｐxlのみが見える。直線Ｌed上に見える画素Ｐxlを白で、他の画素Ｐxlには梨地模様を付している。図１（Ａ）より分かるように、視点０の画像と視点１の画像とが見える。このため、図１（Ｂ）に示すように、視点画像Ｉm1と視点画像Ｉm2とがずれた状態で重なって視認される。視点画像Ｉm1と視点画像Ｉm2との間には視差Ｐaxが存在している。視差Ｐaxが大きい場合には左右に大きくぶれた画像となり、水平方向の解像感が劣化することとなる。
【００２１】
レンチキュラーレンズＬＬｓを用いた多眼式の裸眼立体ディスプレイ装置においては、レンズピッチを大きくし、焦点距離を短くするほど視認範囲を広くすることができる。しなしながらその一方で、解像度が劣化する。そこで、視認範囲と解像度との兼ね合いを考慮し、視認範囲を裸眼立体ディスプレイ装置の画面表面に垂直な直線に対して水平方向に±１０〜１５°とするのが一般的である。
【００２２】
図２において、裸眼立体ディスプレイ装置１００から伸びている矢印線は視点画像の提示方向である。それぞれの提示方向に付している符号はそれぞれの視点画像を示す番号である。図２に示すように、ｎ個の互いに異なる視点画像を互いに異なるｎ方向に分割させて提示する裸眼立体ディスプレイ装置１００において、視認範囲θviは、視点画像０を提示する方向と視点画像ｎ−１を提示する方向とのなす角度で定義される。裸眼立体ディスプレイ装置１００は、図１の表示装置５０及びレンチキュラーレンズＬＬｓを有する。
【００２３】
観察者が裸眼立体ディスプレイ装置１００の近くから立体画像を見ようとする場合、観察者の目の位置はおおよそ図３（Ａ）に示す位置にあると予想される。観察者の右目ＥＲと左目ＥＬとの間隔（眼間距離）Ｄlrは視認可能幅Ｄviとさほど差がないため、図３（Ｂ）に示すように、視認範囲θvi内の左側に左目が存在する可能性が相対的に高い角度領域θlpと、視認範囲θvi内の右側に右目が存在する可能性が相対的に高い角度領域θrpとが存在する。視認範囲θvi内の中央には左目も右目も存在する可能性が相対的に低い角度領域θnpが存在する。
【００２４】
図４を用いて、裸眼立体ディスプレイ装置１００がｎ個の視点画像をｎ方向に分割させて提示する際の通常の提示方向について説明する。視点画像０を提示する方向を基準として視点画像ｉを提示する方向までの角度をθｉとする。角度θｉは視点画像の番号ｉに比例する。このように、ｎ個の視点画像を提示する方向は等角度ずつずらした方向とするのが通常である。本実施形態においては、上述した従来の技術を解決するため、左目が存在する可能性が高い角度領域θlp及び右目が存在する可能性が高い角度領域θrpにおいては隣接する視点画像間の視差を小さくし、左目も右目も存在する可能性が低い角度領域θnpにおいては隣接する視点画像間の視差を大きくする。
【００２５】
なお、図３（Ａ）において、観察者が裸眼立体ディスプレイ装置１００から離れて観察すると、視認可能幅Ｄviが眼間距離Ｄlrよりも大きくなり、視認可能幅Ｄvi内で左目が存在する可能性と右目が存在する可能性との差は小さくなる。観察距離が離れるほど解像感の劣化に対して鈍感になるため、上記の隣接する視点画像間の視差を異ならせる方法は観察距離に関わらず有効である。また、隣接する視点画像間の視差を異ならせることにより運動視差は実際とは異なるが、立体画像の奥行き手がかりの知覚は両眼視差が支配的であるため、特に問題になることはない。
【００２６】
隣接する視点画像間の視差を異ならせる方法は、ｎ個の視点画像を撮影する際の撮影の仕方を工夫して実現する方法と、ｎ個の視点画像を撮影する撮影の仕方は通常の撮影方法とし、映像信号処理によって隣接する視点画像間の視差を異ならせた映像データを生成する方法とがある。また、２つの視点画像を撮影して、映像信号処理によって２つの視点画像のデータに基づいて隣接する視点画像間の視差を異ならせたｎ個の視点画像の映像データを生成する方法もある。さらには、撮像装置で実際に撮像するのではなく、コンピュータグラフィックス（ＣＧ）によるレンダリングによって実現する方法もある。
【００２７】
＜裸眼立体視用映像データ生成方法の一実施形態＞
ここで、裸眼立体視用映像データ生成方法の一実施形態として、ｎ個の視点画像を撮影する際の撮影の仕方を工夫することによって隣接する視点画像間の視差を異ならせる方法について説明する。まず、比較のため図５（Ａ），（Ｂ）を用いて通常の撮影の仕方について説明する。図５（Ａ）に示すように、ｎ個の撮像装置Ｃm0〜Ｃmn-1がクリッピングポイントＣを中心にした円弧状に等距離で等しい角度間隔で並べられている。撮像装置Ｃm0は視点０の画像を撮影する撮像装置であり、撮像装置Ｃmiは視点ｉの画像を撮影する撮像装置であり、撮像装置Ｃmn-1は視点ｎ−１の画像を撮影する撮像装置である。撮像装置Ｃm0による視点０の撮影方向から撮像装置Ｃmiによる視点ｉの撮影方向までの角度φｉとすると、角度φｉは図４で説明した角度θｉと比例する。
【００２８】
図５（Ｂ）は、無限遠をクリッピングポイントとした場合のｎ個の視点画像の撮影方法を示している。視点０の画像を撮影する撮像装置Ｃm0と視点ｉの画像を撮影する撮像装置Ｃmiとの間の距離をΔｄｉとすると、距離Δｄｉはｉに比例する。
【００２９】
図６（Ａ），（Ｂ）を用いて、隣接する視点画像間の視差を異ならせる撮影方法について説明する。図６（Ａ），（Ｂ）は、図５（Ａ）と同様に、撮像装置Ｃm0〜Ｃmn-1を、クリッピングポイントＣを中心にした円弧状に並べた場合の撮影方法を示している。図５（Ｂ）と同様、無限遠をクリッピングポイントとすることも可能であるが、ここでは撮像装置Ｃm0〜Ｃmn-1を円弧状に並べた場合のみについて説明する。
【００３０】
図６（Ａ）において、撮像装置Ｃmi1，Ｃmi2は図３（Ｂ）で説明した左目が存在する可能性が高い角度領域θlp内に位置している撮像装置である。撮像装置Ｃmi3，Ｃmi4は図３（Ｂ）で説明した右目が存在する可能性が高い角度領域θrpに位置している撮像装置である。図６（Ａ）に示すように、左目が存在する可能性が高い角度領域θlp内に位置している撮像装置Ｃmi1，Ｃmi2の間隔、及び、右目が存在する可能性が高い角度領域θrpに位置している撮像装置Ｃmi3，Ｃmi4の間隔を、図５（Ａ）のようにｎ個の撮像装置Ｃm0〜Ｃmn-1を等しい角度間隔で配置させた場合と比較して狭くする。ここでは、角度領域θlp，θrpそれぞれで２つの撮像装置の間隔を狭くしているが、角度領域θlp，θrp内それぞれにさらに多くの撮像装置が存在する場合には、それぞれの間隔を狭くすればよい。
【００３１】
一方、図６（Ｂ）において、撮像装置Ｃmi5，Ｃmi6は図３（Ｂ）で説明した左目も右目も存在する可能性が低い角度領域θnp内に位置している撮像装置である。図６（Ｂ）に示すように、左目も右目も存在する可能性が低い角度領域θnp内に位置している撮像装置Ｃmi5，Ｃmi6の間隔を、図５（Ａ）のようにｎ個の撮像装置Ｃm0〜Ｃmn-1を等しい角度間隔で配置させた場合と比較して広くする。ここでは、角度領域θnp内の２つの撮像装置の間隔を狭くしているが、角度領域θnp内にさらに多くの撮像装置が存在する場合には、それぞれの間隔を広くすればよい。
【００３２】
本実施形態においては、一例として図６（Ａ），（Ｂ）のように撮影することにより、左目が存在する可能性が高い角度領域θlp及び右目が存在する可能性が高い角度領域θrpにおける隣接する視点画像間の視差を、本発明を適用しない場合と比較して小さくし、左目も右目も存在する可能性が低い角度領域θnpにおける隣接する視点画像間の視差を、本発明を適用しない場合と比較して大きくする。
【００３３】
図７〜図１０を用いて、本実施形態の裸眼立体視用映像データ生成方法の各例について説明する。図７は、図６（Ａ），（Ｂ）のようにしてｎ個の視点画像を撮影した場合の映像データ生成方法を示している。図７において、ステップＳ１にて、ｎ個の撮像装置Ｃm0〜Ｃmn-1の間隔を調節して、左右の目が存在する可能性が高い領域における隣接する視点画像間の視差を小さくし、左右の目が存在する可能性が低い領域における隣接する視点画像間の視差を大きくして、ｎ視点の視差画像を撮影する。次に、ステップＳ２にて、撮影したｎ視点の視差画像の撮像信号に基づいて、所定のフォーマットにフォーマット化して裸眼立体視用映像データを生成する。裸眼立体視用映像データのフォーマットとしては、ライン・バイ・ライン方式、サイド・バイ・サイド方式、フレームシーケンシャル方式、もしくはそれに順じた多視点用のフォーマット等のいずれでもよい。
【００３４】
ステップＳ２で生成した裸眼立体視用映像データを図１で説明した表示装置５０及びレンチキュラーレンズＬＬｓを有する裸眼立体ディスプレイ装置１００に入力して表示させれば、大きな奥行きや飛び出しを表現する場合でも解像感の高い立体画像とすることができる。
【００３５】
図８は、ｎ個の視点画像を撮影する撮影の仕方は通常の撮影方法とし、映像信号処理によって隣接する視点画像間の視差を異ならせた映像データを生成する例である。図８において、ステップＳ１１にて、ｎ個の撮像装置Ｃm0〜Ｃmn-1の間隔を等間隔にして、ｎ視点の視差画像を撮影する。次に、ステップＳ１２にて、映像信号処理装置を用いて、撮影したｎ視点の視差画像の撮像信号に基づいて、左右の目が存在する可能性が高い領域における隣接する視点画像間の視差を小さくし、左右の目が存在する可能性が低い領域おける隣接する視点画像間の視差を大きくしたｎ視点の視差画像を生成する。
【００３６】
そして、ステップＳ１３にて、生成したｎ視点の視差画像の映像データに基づいて、所定のフォーマットにフォーマット化して裸眼立体視用映像データを生成する。ステップＳ１２で用いる映像信号処理装置としては視差マップ等を用いた公知の装置を用いることができるので、詳細な説明を省略する。ステップＳ１３で生成した裸眼立体視用映像データを裸眼立体ディスプレイ装置１００に入力して表示させれば、図７の場合と同様の効果を得ることができる。
【００３７】
図９は、２つの視点画像を撮影して、映像信号処理によって２つの視点画像のデータに基づいて隣接する視点画像間の視差を異ならせたｎ個の視点画像の映像データを生成する例である。図９において、ステップＳ２１にて、２つの撮像装置を用いて２視点の視差画像を撮影する。次に、ステップＳ２２にて、映像信号処理装置を用いて、撮影した２視点の視差画像の撮像信号に基づいて、左右の目が存在する可能性が高い領域における隣接する視点画像間の視差を小さくし、左右の目が存在する可能性が低い領域おける隣接する視点画像間の視差を大きくしたｎ視点の視差画像を生成する。
【００３８】
そして、ステップＳ２３にて、生成したｎ視点の視差画像の映像データに基づいて、所定のフォーマットにフォーマット化して裸眼立体視用映像データを生成する。ステップＳ２２で用いる映像信号処理装置も、視差マップ等を用いて中間の視点画像を生成する公知の装置を用いることができる。ステップＳ２３で生成した裸眼立体視用映像データを裸眼立体ディスプレイ装置１００に入力して表示させれば、図７の場合と同様の効果を得ることができる。
【００３９】
図１０は、撮像装置で実際に撮像するのではなく、ＣＧによる３Ｄオブジェクトデータのレンダリングによって実現する例である。なお、３Ｄオブジェクトデータは、頂点座標の集合データ等、描画するオブジェクトの３次元形状が復元できる必要なデータを有するものである。図１０において、ステップＳ３１にて、ＣＧによる３Ｄオブジェクトデータのレンダリングによって、左右の目が存在する可能性が高い領域における隣接する視点画像間の視差を小さくし、左右の目が存在する可能性が低い領域おける隣接する視点画像間の視差を大きくしたｎ視点の視差画像を生成する。次に、ステップＳ３２にて、生成したｎ視点の視差画像の映像データに基づいて、所定のフォーマットの裸眼立体視用映像データを生成する。ステップＳ３２で生成した裸眼立体視用映像データを裸眼立体ディスプレイ装置１００に入力して表示させれば、図７の場合と同様の効果を得ることができる。
【００４０】
＜裸眼立体ディスプレイ装置及び視点調整方法の第１実施形態＞
次に、図１１を用いて裸眼立体ディスプレイ装置及び視点調整方法の第１実施形態について説明する。本実施形態の裸眼立体ディスプレイ装置は、一例として、ＣＧによってレンダリング可能な３Ｄオブジェクトデータを入力する。本実施形態の裸眼立体ディスプレイ装置は、隣接する視点画像間の視差を異ならせるように３Ｄオブジェクトデータをレンダリングし、表示させるように構成したものである。
【００４１】
図１１において、視差レベル算出部３１及び視点画像作成部３４には、３Ｄオブジェクトデータが入力される。表示装置５０の具体的構成は図１（Ａ）で説明した通りである。表示装置５０上にはレンチキュラーレンズＬＬｓが配置されている。図１（Ａ）に示す０〜８の視点画像は、レンチキュラーレンズＬＬｓによってそれぞれ異なる方向から視認されることになる。まず、図１２を用いて、後述する本実施形態による処理を施さずに３Ｄオブジェクトデータをレンダリングし、９視点の視点画像を表示装置５０に表示させた場合の視点画像の提示方向について説明する。
【００４２】
図１２に示すように、視点ｉが０の視点画像（視点画像０）は裸眼立体ディスプレイ装置１００からθ０として０°の方向に提示される。裸眼立体ディスプレイ装置１００は、図１１における表示装置５０及びレンチキュラーレンズＬＬｓを含む。ここでは視認範囲θviを２４°とすると、視点ｉが８の視点画像（視点画像８）は裸眼立体ディスプレイ装置１００からθ８として２４°の方向に提示される。視点画像０と視点画像８との間の視点画像は３°ずつの間隔で提示されることになる。例えば、視点ｉが１の視点画像は裸眼立体ディスプレイ装置１００からθ１として３°の方向に提示される。
【００４３】
図１１に戻り、本実施形態の裸眼立体ディスプレイ装置の動作について説明する。視差レベル算出部３１は、クリッピングポイントＣと３Ｄオブジェクトとの距離から視差レベルＬpaを算出する。図１３に示すように、視差レベル算出部３１は、３Ｄオブジェクトデータが入力されると、世界座標系上にオブジェクトＯＢを配置する。視差レベル算出部３１は、クリッピングポイントＣとオブジェクトＯＢの重心座標との距離を計算して視差レベルＬpaを算出する。視差レベルＬpaは例えば０〜２の３段階とする。視差レベルＬpaは視点調整部３２に入力される。なお、視差レベルの算出方法は、これに限ったものではなく、入力する３Ｄオブジェクトデータにヘッダ情報として添付するなど、別の方法も考えられる。
【００４４】
テーブル保持部３３には、図１４に示す視差画像提示方向設定テーブルが保持されている。図１４に示すように、視差画像提示方向設定テーブルには、３Ｄオブジェクトをレンダリングする撮像装置の方向を示す角度φｉとして、視差レベルＬpa０〜２に応じた角度の組が設定されている。ここでは視差レベルＬpaを３段階とし、角度φｉの組を３組としたが、これに限定されない。なお、ＣＧによるレンダリングでは実際には撮像装置は存在しないが、撮像装置で撮像したものと同等の画像を作成することから、撮像装置の角度φｉと称している。図１４においては、図１２で説明した通常の提示方向θｉも示している。裸眼立体ディスプレイ装置が通常の提示方向θｉでの視差画像の提示を行う必要がない場合には省略可能である。また、図１４においては、理解を容易にするため目が存在する可能性高い角度領域と可能性が低い角度領域を示している。
【００４５】
視点調整部３２は、テーブル保持部３３より、視差レベル算出部３１より入力された視差レベルＬpaに応じた角度φｉを示す情報を読み出す。視点調整部３２は、読み出した角度φｉを示す情報を視点画像作成部３４に入力する。視点画像作成部３４は、入力された３Ｄオブジェクトデータと角度φｉを示す情報とに基づいて、左右の目が存在する可能性が高い角度領域における隣接する視点画像間の視差を小さくし、左右の目が存在する可能性が低い角度領域おける隣接する視点画像間の視差を大きくした９視点の視差画像をレンダリングによって生成する。
【００４６】
視点画像作成部３４が生成した９視点の視差画像の映像データは駆動部３５に入力される。駆動部３５は、入力された映像データにおける９視点の視差画像を構成するそれぞれのデータ部分の各画素データを、図１（Ａ）に示すように９視点の表示装置５０の各画素に割り当てて表示するよう表示装置５０を駆動する。これにより、本実施形態の裸眼立体ディスプレイ装置によれば、表示装置５０の表面に対して大きな奥行きや飛び出しを表現する場合でも解像感の劣化を抑えることができ、解像感の高い立体画像を表示することが可能となる。
【００４７】
ここで、図１５を用いて本実施形態による作用効果についてさらに説明する。図１５において、横軸は視点番号ｉを示しており、縦軸は角度φｉを示している。角度φｉは視差画像の提示方向の角度に相当する。視点番号ｉが０〜２，６〜８の領域は左右の目が存在する可能性が高い領域であり、角度領域θlp，θrpに対応する部分である。視点番号ｉが３〜５の領域は左右の目が存在する可能性が低い領域であり、角度領域θnpに対応する部分である。
【００４８】
図１５より分かるように、角度領域θlp，θrpに対応する部分でｉの変化に対するφｉの変化量が小さくなっている。視差レベルＬpaが大きいほど変化量がより小さくなっており、傾きは緩やかになっている。即ち、視差レベルＬpaが大きいほど、左右の目が存在する可能性が高い角度領域における隣接する視点画像間の視差をより小さくし、左右の目が存在する可能性が低い角度領域おける隣接する視点画像間の視差をより大きくしている。これにより、視差レベルＬpaの程度に応じた解像感の改善効果を得ることができる。なお、角度領域θnpに対応する部分では変化量が大きくなるが、左右の目が存在する可能性が低い領域であるので問題になりにくい。
【００４９】
本実施形態の裸眼立体ディスプレイ装置に入力するデータは、ＣＧでレンダリングするための３Ｄオブジェクトデータでなくてもよく、図５で説明したように撮像装置で撮像したデータであってもよく、その場合は図８に示した処理方法で視点画像の映像データを生成する。また、２つの視点画像、いわゆるステレオコンテンツであってもよく、その場合は、図９に示したように、視差マップ等を用いた映像信号処理装置によって視点画像の映像データを生成する。
【００５０】
＜裸眼立体ディスプレイ装置及び視点調整方法の第２実施形態＞
図１６及び図１７を用いて、裸眼立体ディスプレイ装置及び視点調整方法の第２実施形態について説明する。図１６において、図１１と同一の部分には同一の符号を付し、その説明を適宜省略する。図１６において、視点調整部４２には一例として９視点の３Ｄオブジェクトデータが入力される。テーブル保持部４３には、図１７に示す提示視差画像設定テーブルが保持されている。図１７に示すように、提示視差画像設定テーブルには、視点番号ｉに対応させて提示する視点画像の番号が保持されている。
【００５１】
視点調整部４２は、テーブル保持部４３の提示する視点画像の番号を参照して、視点番号ｉごとに提示する視差番号の視差画像を出力する。図１７より分かるように、視点番号ｉが０，１，４，７，８であれば、視点番号０，１，４，７，８の視差画像を出力する。視差番号ｉが２であれば、視差番号２の視差画像を出力するのではなく、視差番号１の視差画像を出力する。視差番号ｉが３であれば、視差番号３の視差画像を出力するのではなく、視差番号２の視差画像を出力する。視差番号ｉが５，６であれば、視差番号５，６の視差画像を出力するのではなく、視差番号６，７の視差画像を出力する。この場合、視差画像３，５は使用しない。
【００５２】
駆動部４５は、入力された映像データにおける視差画像を構成するそれぞれのデータ部分の各画素データを、表示装置５０の各画素に割り当てて表示するよう表示装置５０を駆動する。
【００５３】
図１６の視点調整部４２も図１１における視点調整部３２と同様、実質的に、複数の視点画像の内、目が存在する可能性が相対的に高い角度領域に提示される視点画像における隣接する視点画像間の視差を、目が存在する可能性が相対的に低い角度領域に提示される視点画像における隣接する視点画像間の視差よりも小さくしている。
【００５４】
第２実施形態によれば、左右の目が存在する可能性が高い領域で同一の視差画像が表示されることになるので、図１（Ｂ）で説明したような視差Ｐaxがなくなり、解像感の劣化を抑えることができる。左右の目が存在する可能性が低い領域では視差Ｐaxが大きくなるが、左右の目が存在する可能性が低い領域であるので問題になりにくい。第２実施形態においても、表示装置５０の表面に対して大きな奥行きや飛び出しを表現する場合でも解像感が劣化を抑えることができ、解像感の高い立体画像を表示することが可能となる。
【００５５】
＜裸眼立体ディスプレイ装置及び視点調整方法の第３実施形態＞
図１８〜図２２を用いて、裸眼立体ディスプレイ装置及び視点調整方法の第３実施形態について説明する。上述した第１及び第２実施形態においては、図３（Ａ），（Ｂ）に示すように、観察者が裸眼立体ディスプレイ装置１００の画面表面に垂直な方向から立体画像を見るということを前提としている。ところが、観察者は、必ずしも画面表面に垂直な方向から立体画像を見るとは限らない。観察者の顔の位置が、画面の水平方向の中央からずれた位置にあり、画面の水平方向の中央部付近を見ると、観察者は画面表面に垂直な方向からずれた方向から立体画像を見ることになる。
【００５６】
図１８に示すように、裸眼立体ディスプレイ装置１００から見て左右対称に視点0〜8の視点画像が提示されている。観察者の右目ＥＲと左目ＥＬが破線で示す位置にあれば、立体画像を快適に視認することが可能である。観察者の顔の位置が図１８の左方向にずれ、右目ＥＲと左目ＥＬの位置が矢印の方向にオフセットしたとする。この状態では、左目ＥＬは、破線矢印で示している部分の視点画像を認識することになるので逆視となり、立体画像を正しく視認することはできない。観察者の顔の位置が図１８の右方向にずれた場合も同様である。そこで、観察者の顔の位置が水平方向にずれて視線の方向が画面表面に垂直な方向からずれても、解像感の高い立体画像を視認できることが望まれる。第３実施形態は、このような要望に対応するものである。
【００５７】
右目ＥＲと左目ＥＬが図１８に示すようにオフセットしている場合には、視点0〜8の視点画像を図１９に示すように提示すれば、立体画像を快適に視認することができることになる。m%nは、mをnで割った剰余であると定義する。観察者の顔の水平方向のオフセット量をΔｘとすると、図１８に示す例は９視点であるので、視点iの位置に、(i+Δｘ)%9の視点画像を提示すれば、図１９のように視点iの位置を補正することができる。
【００５８】
図２０は、観察者の顔の位置に基づいて、視点iの位置を補正するように構成した第３実施形態を示している。図２０において、視点調整部５２及び視点画像作成部５４には一例として９視点の３Ｄオブジェクトデータが入力される。テーブル保持部５３には、図２１に示す視差画像提示方向設定テーブルが保持されている。図２１に示すように、視差画像提示方向設定テーブルには、３Ｄオブジェクトをレンダリングする際の通常の提示方向θｉと、左右の目が存在する可能性が高い角度領域における隣接する視点画像間の視差を小さくし、左右の目が存在する可能性が低い角度領域おける隣接する視点画像間の視差を大きくするための角度φｉが設定されている。
【００５９】
裸眼立体ディスプレイ装置が通常の提示方向θｉでの視差画像の提示を行う必要がない場合には提示方向θｉは省略可能である。図２１においても、理解を容易にするため目が存在する可能性高い角度領域と可能性が低い角度領域を示している。
【００６０】
視点調整部５２は、テーブル保持部５３に設定された視差画像提示方向設定テーブルを参照して、３Ｄオブジェクトデータのそれぞれの視点ｉに対応させて角度φｉを示す情報を視点画像作成部５４に入力する。視点画像作成部５４は、入力された３Ｄオブジェクトデータと角度φｉを示す情報とに基づいて、左右の目が存在する可能性が高い角度領域における隣接する視点画像間の視差を小さくし、左右の目が存在する可能性が低い角度領域おける隣接する視点画像間の視差を大きくした９視点の視差画像をレンダリングによって生成する。視点画像作成部５４が生成した９視点の視差画像の映像データは駆動部５５に入力される。
【００６１】
顔位置検出部５６は、表示装置５０に表示されている立体画像を見ている観察者の顔の位置を検出する。顔位置検出部５６は、例えば図２２に示すように顔ＦＣの位置を検出する。表示装置５０の水平方向中央部には、カメラ５７が設けられている。カメラ５７は表示装置５０の筐体における画面周囲の枠部分に埋め込んでもよいし、別部材としてのカメラ５７を筐体上部に設置してもよい。なお、図２０では、カメラ５７の図示を省略している。カメラ５７の代わりに赤外線センサによって顔ＦＣの位置を検出してもよい。
【００６２】
顔位置検出部５６は、カメラ５７で撮像した映像に基づいて、顔ＦＣが水平方向中央位置から水平方向にどの程度オフセットしているかを示すオフセット量Δｘを検出する。図２２の例では、本来であれば顔ＦＣの中央が視点４であるべきところ視点０にオフセットしており、オフセット量Δｘは４である。
【００６３】
顔位置検出部５６によって検出されたオフセット量Δｘは、駆動部５５に入力される。駆動部５５は、オフセット量Δｘが０であれば、図１（Ａ）で説明したように、入力された映像データにおける９視点の視差画像を構成するそれぞれのデータ部分の各画素データを、９視点の表示装置５０の各画素に割り当てて表示するよう表示装置５０を駆動する。駆動部５５は、オフセット量Δｘが０でなければ、オフセット量Δｘの値に応じて、９視点の視差画像の各画素データを表示装置５０の各画素に割り当てる際の位置をずらした状態で表示装置５０を駆動する。
【００６４】
図２３は、オフセット量Δｘが４の場合に、図２１の視差画像提示方向設定テーブルにおける視点番号ｉをどのようにずらせばよいかを示している。視点番号ｉ’はオフセット量Δｘの４に対応させて、各画素データを割り当てる位置をずらした視点番号を示している。図２３に示すように、顔ＦＣが図２２のようにオフセットしている場合には、駆動部５５は、例えば、視点０の画素データを図１（Ａ）における視点４の画素の位置に、視点１の画素データを図１（Ａ）における視点５の画素の位置に表示させるよう表示装置５０を駆動する。
【００６５】
第３実施形態によれば、観察者の顔の位置が表示装置５０の水平方向中央位置からずれて、画面表面に垂直な方向から立体画像を見ない場合でも、立体画像を快適に視認することができる。さらに、左右の目が存在する可能性が高い角度領域と可能性が低い角度領域それぞれで視点画像間の視差を調整しているので、表示装置５０の表面に対して大きな奥行きや飛び出しを表現する場合でも解像感の劣化を抑えることができ、解像感の高い立体画像を表示することが可能となる。
【００６６】
＜裸眼立体ディスプレイ装置及び視点調整方法の第４実施形態＞
図２４に示す第４実施形態は、図２０の第３実施形態とは異なる構成で第３実施形態と同様の作用効果を奏するよう構成したものである。図２４において、図２０と同一の部分には同一の符号を付し、その説明を適宜省略する。図２４において、テーブル保持部５３には、図２５（Ａ）に示す視差画像提示方向設定テーブルが保持されている。顔位置検出部５６によって検出されたオフセット量Δｘは、置換部５８に入力される。置換部５８は、図２５（Ａ）の視差画像提示方向設定テーブルを読み出す。そして、置換部５８は、顔位置検出部５６から入力されたオフセット量Δｘに応じて、図２３と同様に、視点番号ｉを視点番号ｉ’に置換する。
【００６７】
図２５（Ｂ）は、図２５（Ａ）の視差画像提示方向設定テーブルにおける視点番号ｉを視点番号ｉ’に置換し、視点番号ｉ’を０〜８の順に並べた視差画像提示方向置換テーブルを示している。ここでも、オフセット量Δｘを４とした場合を示している。置換部５８が新たに作成する視差画像提示方向置換テーブルは、視点番号ｉと視点番号ｉ’との対応関係を示すと共に、視点番号ｉ’と角度φｉとの対応関係を示している。
【００６８】
視点調整部５２は、置換部５８で作成された視差画像提示方向置換テーブルを参照して、３Ｄオブジェクトデータのそれぞれの視点ｉを視点ｉ’に変更し、視点ｉ’に対応させて角度φｉを示す情報を視点画像作成部５４に入力する。視点画像作成部５４は、入力された３Ｄオブジェクトデータと角度φｉを示す情報とに基づいて、左右の目が存在する可能性が高い角度領域における隣接する視点画像間の視差を小さくし、左右の目が存在する可能性が低い角度領域おける隣接する視点画像間の視差を大きくした９視点の視差画像をレンダリングによって生成する。
【００６９】
駆動部５５は、第１実施形態と同様、図１（Ａ）で説明したように、入力された映像データにおける９視点の視差画像を構成するそれぞれのデータ部分の各画素データを、９視点の表示装置５０の各画素に割り当てて表示するよう表示装置５０を駆動する。即ち、駆動部５５は、オフセット量Δｘとは関係なく、通常のように表示装置５０を駆動すればよい。
【００７０】
第４実施形態においても、観察者の顔の位置が表示装置５０の水平方向中央位置からずれて、画面表面に垂直な方向から立体画像を見ない場合でも、立体画像を快適に視認することができる。さらに、左右の目が存在する可能性が高い角度領域と可能性が低い角度領域それぞれで視点画像間の視差を調整しているので、表示装置５０の表面に対して大きな奥行きや飛び出しを表現する場合でも解像感の劣化を抑えることができ、解像感の高い立体画像を表示することが可能となる。
【００７１】
＜裸眼立体ディスプレイ装置及び視点調整方法の第５実施形態＞
図２６に示す第５実施形態は、第４実施形態の構成に加えて、観察者が立体画像を観察しているときの表示装置５０からの距離に応じて、角度φｉを調整するように構成したものである。図２６において、図２４と同一の部分には同一の符号を付し、その説明を適宜省略する。観察者が表示装置５０に近付いて立体画像を観察する場合には、視差による画像のぶれが強く感じられ、左右の目が存在する可能性が高い角度領域と可能性が低い角度領域とが比較的はっきりと区別される。一方、観察者が表示装置５０から離れて立体画像を観察する場合には、視差による画像のぶれはさほど強く感じられず、左右の目が存在する可能性が高い角度領域と可能性が低い角度領域との区別が曖昧となる。
【００７２】
図２６において、顔距離推定部５９は、図２２に示すように、顔ＦＣの大きさに基づいて表示装置５０から顔ＦＣまでの距離Ｆｄを推定する。顔ＦＣの大きさを判断すれば、顔ＦＣが表示装置５０に近付いているか離れているかをある程度推定することができる。距離Ｆｄを正確に測定する必要はないため、第５実施形態においては、カメラ５７で撮像した映像に基づいて顔ＦＣの大きさを複数にクラス分けし、表示装置５０から顔ＦＣまでの距離Ｆｄを推定する。顔距離推定部５９は、例えば、距離Ｆｄを、顔ＦＣが表示装置５０から離れている“大”、顔ＦＣが表示装置５０に近付いている“小”、“大”と“小”の中間の“中”の３段階にクラス分けする。
【００７３】
顔距離推定部５９によってクラス分けされた距離Ｆｄの“大”，“中”，“小”のいずれかを示す距離推定データは、置換部６８に入力される。カメラ５７を複数設けて、距離Ｆｄを正確に測定し、距離Ｆｄをクラス分けしてもよい。
【００７４】
第５実施形態においては、テーブル保持部６３には、図２７（Ａ）に示す視差画像提示方向設定テーブルが保持されている。図２７（Ａ）に示すように、角度φｉは、距離Ｆｄが“大”であれば、左右の目が存在する可能性が高い角度領域における隣接する視点画像間の視差を小さくし、左右の目が存在する可能性が低い角度領域おける隣接する視点画像間の視差を大きくする効果を比較的小さくした値に設定している。距離Ｆｄが“小”であれば、その効果を比較的大きくした値に設定し、距離Ｆｄが“中”であれば、その効果を“大”と“小”との中間である中程度の値に設定している。
【００７５】
第４実施形態と同様、置換部６８は、図２７（Ａ）の視差画像提示方向設定テーブルを読み出し、顔位置検出部５６から入力されたオフセット量Δｘに応じて、図２３と同様に、視点番号ｉを視点番号ｉ’に置換する。図２７（Ｂ）は、図２７（Ａ）の視差画像提示方向設定テーブルにおける視点番号ｉを視点番号ｉ’に置換し、視点番号ｉ’を０〜８の順に並べた視差画像提示方向置換テーブルを示している。置換部６８が新たに作成する視差画像提示方向置換テーブルは、視点番号ｉと視点番号ｉ’との対応関係を示すと共に、視点番号ｉ’と距離Ｆｄが“大”，“中”，“小”それぞれの場合の角度φｉとの対応関係を示している。
【００７６】
視点調整部５２は、置換部６８で作成された視差画像提示方向置換テーブルを参照して、３Ｄオブジェクトデータのそれぞれの視点ｉを視点ｉ’に変更し、視点ｉ’に対応させて角度φｉを示す情報を視点画像作成部５４に入力する。この際、置換部６８は、顔距離推定部５９より入力された距離推定データに応じて、距離Ｆｄが“大”，“中”，“小”のいずれかの角度φｉを示す情報を視点調整部５２に供給する。距離Ｆｄに応じた角度φｉを示す情報は、視点画像作成部５４へと入力される。視点画像作成部５４及び駆動部５５の動作は第４実施形態と同じである。
【００７７】
第５実施形態によれば、第４実施形態が奏する効果に加えて、観察者が立体画像を観察しているときの表示装置５０からの距離に応じて、左右の目が存在する可能性が高い角度領域における隣接する視点画像間の視差を小さくし、左右の目が存在する可能性が低い角度領域おける隣接する視点画像間の視差を大きくする効果を最適な状態に設定することができるという効果を奏する。
【００７８】
以上説明したオフセット量Δｘや距離Ｆｄのクラス分けの数は単なる例である。クラス分けの数は２つでもよいし、４つ以上でもよい。また、視点数は９視点でなくてもよい。
【００７９】
上述した裸眼立体視用映像データ生成方法によって、左右の目が存在する可能性が高い領域における隣接する視点画像間の視差を小さくし、左右の目が存在する可能性が低い領域おける隣接する視点画像間の視差を大きくしたｎ視点の視差画像を生成し、所定のフォーマットにフォーマット化して裸眼立体視用映像データを生成する際に、裸眼立体ディスプレイ装置及び視点調整方法の第３〜第５実施形態と同様に、観察者の顔の位置をリアルタイムに検出して、観察者の顔に対応させた裸眼立体視用映像データを生成することも可能である。
【００８０】
図８〜図１０の裸眼立体視用映像データ生成方法の各例では、観察者の顔に対応させて、リアルタイムに観察者の顔に対応させた裸眼立体視用映像データを生成することができる。裸眼立体視用映像データを裸眼立体ディスプレイ装置に表示させる際に、裸眼立体ディスプレイ装置の水平方向における観察者の顔の位置を検出し、検出した顔の位置に対応させて複数の視点画像をずらした上で、予め視点を調整した視点画像を所定のフォーマットにフォーマット化して裸眼立体視用映像データを生成すればよい。この場合には、
裸眼立体ディスプレイ装置は既存の構成でよく、所定のフォーマットの裸眼立体視用映像データを単に表示すればよい。
【００８１】
本発明は以上説明した本実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々変更可能である。本実施形態においては、光学部材としてレンチキュラーレンズＬＬｓを用いた場合を中心として説明したが、光学部材はレンチキュラーレンズに限定されるものではない。但し、光学部材としはレンチキュラーレンズが好ましい。また、目が存在する可能性が高い角度領域を２つの領域としたが、視認範囲θviをさらに細かく分けて３つ以上の領域を目が存在する可能性が高い角度領域と設定することも可能である。さらに、テーブル保持部３３，４３，５３にテーブルを保持させる代わりに関数を保持させておき、関数を用いた計算によって図１４，図１７，図２１，図２５，図２７のテーブルと同等の機能の実現させてもよい。
【符号の説明】
【００８２】
３１ 視差レベル算出部
３２，４２ 視点調整部
３３，４３，５３，６３ テーブル保持部（保持部）
３４ 視点画像作成部
３５，４５ 駆動部
５０ 表示装置
５６ 顔位置検出部
５８，６８ 置換部
５９ 顔距離推定部
ＬＬｓ レンチキュラーレンズ
【特許請求の範囲】
【請求項１】
複数の視点画像における視差が最も離れた２つの視点画像を裸眼立体ディスプレイ装置で提示させたときの提示方向がなす所定角度の視認範囲の内、観察者が前記裸眼立体ディスプレイ装置を観察したときに目が存在する可能性が相対的に高い第１の角度領域と目が存在する可能性が相対的に低い第２の角度領域とを設定し、前記複数の視点画像の内、前記第１の角度領域に提示される視点画像における隣接する視点画像間の視差を、前記第２の角度領域に提示される視点画像における隣接する視点画像間の視差よりも小さくするよう予め視点を調整した視点画像を生成し、
前記予め視点を調整した視点画像を所定のフォーマットにフォーマット化して裸眼立体視用映像データを生成する
ことを特徴とする裸眼立体視用映像データ生成方法。
【請求項２】
前記複数の視点画像を撮影する複数の撮像装置の互いの間隔を調節して、前記第１及び第２の角度領域それぞれの隣接する視点画像間の視差を調整することによって、視点を調整した視点画像を生成することを特徴とする請求項１記載の裸眼立体視用映像データ生成方法。
【請求項３】
複数の撮像装置の互いの間隔を等間隔にして前記複数の視点画像を撮影し、
前記複数の視点画像の撮像信号に基づいて、前記第１の角度領域に提示される視点画像における隣接する視点画像間の視差を、前記第２の角度領域に提示される視点画像における隣接する視点画像間の視差よりも小さくするよう視点を調整した視点画像を生成する
ことを特徴とする請求項１記載の裸眼立体視用映像データ生成方法。
【請求項４】
２つの撮像装置を用いて２視点の視差画像を撮影し、
撮影した２視点の視差画像の撮像信号に基づいて、前記第１の角度領域に提示される視点画像における隣接する視点画像間の視差を、前記第２の角度領域に提示される視点画像における隣接する視点画像間の視差よりも小さくするよう視点を調整した複数の視点画像を生成する
ことを特徴とする請求項１記載の裸眼立体視用映像データ生成方法。
【請求項５】
コンピュータグラフィックスによるレンダリングによって、前記第１の角度領域に提示される視点画像における隣接する視点画像間の視差を、前記第２の角度領域に提示される視点画像における隣接する視点画像間の視差よりも小さくするよう視点を調整した複数の視点画像を生成する
ことを特徴とする請求項１記載の裸眼立体視用映像データ生成方法。
【請求項６】
前記裸眼立体視用映像データを前記裸眼立体ディスプレイ装置に表示させる際に、前記裸眼立体ディスプレイ装置の水平方向における前記観察者の顔の位置を検出し、
検出した顔の位置に対応させて前記複数の視点画像をずらした上で、前記裸眼立体視用映像データを生成する
ことを特徴とする請求項３〜５のいずれか１項に記載の裸眼立体視用映像データ生成方法。
【請求項１】
複数の視点画像における視差が最も離れた２つの視点画像を裸眼立体ディスプレイ装置で提示させたときの提示方向がなす所定角度の視認範囲の内、観察者が前記裸眼立体ディスプレイ装置を観察したときに目が存在する可能性が相対的に高い第１の角度領域と目が存在する可能性が相対的に低い第２の角度領域とを設定し、前記複数の視点画像の内、前記第１の角度領域に提示される視点画像における隣接する視点画像間の視差を、前記第２の角度領域に提示される視点画像における隣接する視点画像間の視差よりも小さくするよう予め視点を調整した視点画像を生成し、
前記予め視点を調整した視点画像を所定のフォーマットにフォーマット化して裸眼立体視用映像データを生成する
ことを特徴とする裸眼立体視用映像データ生成方法。
【請求項２】
前記複数の視点画像を撮影する複数の撮像装置の互いの間隔を調節して、前記第１及び第２の角度領域それぞれの隣接する視点画像間の視差を調整することによって、視点を調整した視点画像を生成することを特徴とする請求項１記載の裸眼立体視用映像データ生成方法。
【請求項３】
複数の撮像装置の互いの間隔を等間隔にして前記複数の視点画像を撮影し、
前記複数の視点画像の撮像信号に基づいて、前記第１の角度領域に提示される視点画像における隣接する視点画像間の視差を、前記第２の角度領域に提示される視点画像における隣接する視点画像間の視差よりも小さくするよう視点を調整した視点画像を生成する
ことを特徴とする請求項１記載の裸眼立体視用映像データ生成方法。
【請求項４】
２つの撮像装置を用いて２視点の視差画像を撮影し、
撮影した２視点の視差画像の撮像信号に基づいて、前記第１の角度領域に提示される視点画像における隣接する視点画像間の視差を、前記第２の角度領域に提示される視点画像における隣接する視点画像間の視差よりも小さくするよう視点を調整した複数の視点画像を生成する
ことを特徴とする請求項１記載の裸眼立体視用映像データ生成方法。
【請求項５】
コンピュータグラフィックスによるレンダリングによって、前記第１の角度領域に提示される視点画像における隣接する視点画像間の視差を、前記第２の角度領域に提示される視点画像における隣接する視点画像間の視差よりも小さくするよう視点を調整した複数の視点画像を生成する
ことを特徴とする請求項１記載の裸眼立体視用映像データ生成方法。
【請求項６】
前記裸眼立体視用映像データを前記裸眼立体ディスプレイ装置に表示させる際に、前記裸眼立体ディスプレイ装置の水平方向における前記観察者の顔の位置を検出し、
検出した顔の位置に対応させて前記複数の視点画像をずらした上で、前記裸眼立体視用映像データを生成する
ことを特徴とする請求項３〜５のいずれか１項に記載の裸眼立体視用映像データ生成方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【公開番号】特開２０１３−１３０５６（Ｐ２０１３−１３０５６Ａ）
【公開日】平成２５年１月１７日（２０１３．１．１７）
【国際特許分類】
【出願番号】特願２０１２−６８７７２（Ｐ２０１２−６８７７２）
【出願日】平成２４年３月２６日（２０１２．３．２６）
【出願人】（３０８０３６４０２）株式会社ＪＶＣケンウッド (1,152)
【Ｆターム（参考）】
【公開日】平成２５年１月１７日（２０１３．１．１７）
【国際特許分類】
【出願日】平成２４年３月２６日（２０１２．３．２６）
【出願人】（３０８０３６４０２）株式会社ＪＶＣケンウッド (1,152)
【Ｆターム（参考）】
[ Back to top ]