説明

情報処理装置、表示制御方法およびプログラム

【課題】ユーザの顔の傾きに応じて右目用画像および左目用画像の視差を制御することで、ユーザの目への負担を軽減することが可能な情報処理装置、表示制御方法およびプログラムを提供する。
【解決手段】表示画面の水平方向に対するユーザの顔の傾きを検出する傾き検出部と、前記傾き検出部の検出結果に応じて、前記表示画面に表示する右目用画像および左目用画像の水平方向の視差を制御する制御部と、を備える、情報処理装置。

【発明の詳細な説明】
【技術分野】
【0001】
本開示は、情報処理装置、表示制御方法およびプログラムに関する。
【背景技術】
【0002】
近年、映像を立体視できる3次元立体映像が注目されている。3次元立体映像の鑑賞方式としては、水平方向に視差を設けた左目用映像と右目用映像を鑑賞させることにより鑑賞者に映像を立体視させる両目視差方式が普及しつつある。
【0003】
このような立体映像をより自然に見せるために、特許文献1では、撮影時の2つのカメラ(右目用および左目用)の位置精度等に依存する立体映像信号の誤差を補正する技術が開示されている。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開2011−77984号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかしながら、上記特許文献1に開示されているような立体映像信号の補正は、立体映像を鑑賞する者の位置に応じて制御されるものではない。
【0006】
近年の立体映像技術では、鑑賞者が裸眼で立体映像を鑑賞できる方式と、専用のメガネを用いる方式が知られているが、いずれにしても鑑賞者が顔を傾けたりなどすると、立体映像が正常に見えず、鑑賞者(ユーザ)の目に負担がかかるという問題があった。
【0007】
そこで、本開示では、ユーザの顔の傾きに応じて右目用画像および左目用画像の視差を制御することで、ユーザの目への負担を軽減することが可能な、新規かつ改良された通信装置、通信制御方法およびプログラムを提案する。
【課題を解決するための手段】
【0008】
本開示によれば、表示画面の水平方向に対するユーザの顔の傾きを検出する傾き検出部と、前記傾き検出部の検出結果に応じて、前記表示画面に表示する右目用画像および左目用画像の水平方向の視差を制御する制御部と、を備える情報処理装置が提供される。
【0009】
また、本開示によれば、表示画面の水平方向に対するユーザの顔の傾きを検出するステップと、前記傾きを検出するステップによる検出結果に応じて、前記表示画面に表示する右目用画像および左目用画像の水平方向の視差を制御するステップと、を含む表示制御方法が提供される。
【0010】
また、本開示によれば、表示画面の水平方向に対するユーザの顔の傾きを検出する処理と、前記傾きを検出する処理による検出結果に応じて、前記表示画面に表示する右目用画像および左目用画像の水平方向の視差を制御する処理と、をコンピュータに実行させるプログラムが提供される。
【発明の効果】
【0011】
以上説明したように本開示によれば、ユーザの顔の傾きに応じて右目用画像および左目用画像の視差を制御することで、ユーザの目への負担を軽減することが可能となる。
【図面の簡単な説明】
【0012】
【図1】本開示による3次元立体映像制御の概要について説明するための図である。
【図2】本開示の第1の実施形態による情報処理装置のハードウェア構成の一例を示すブロック図である。
【図3】本開示の第1の実施形態によるCPU(制御部)の機能構成を示すブロック図である。
【図4】第1の実施形態によるイメージセンサから取得した撮像画像を示す図である。
【図5】第1の実施形態による仮想カメラの位置制御を説明するための図である。
【図6】xy方向に視差を制御した左目用画像および右目用画像の一例を示す図である。
【図7】第1の実施形態による動作処理を示すフローチャートである。
【図8】上下左右方向に映像が振り分けられた場合のイメージ図である。
【図9】円偏光メガネを用いる方式について説明するための図である。
【図10】複数のユーザが鑑賞している場合に検出される各ユーザの顔の傾きθを説明するための図である。
【図11】本開示の第2の実施形態によるCPUの機能構成を示すブロック図である。
【図12】本開示の第3の実施形態の概要を説明するための図である。
【図13】本開示の第3の実施形態による情報処理装置の構成を示すブロック図である。
【図14】本開示の第3の実施形態による情報処理装置の重力方向Gに対する傾きθを示す図である。
【図15】本開示の第3の実施形態によるCPUの機能構成を示すブロック図である。
【図16】第3の実施形態による仮想カメラの位置制御を説明するための図である。
【発明を実施するための形態】
【0013】
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【0014】
なお、説明は以下の順序で行うものとする。
1.3次元立体映像の視差制御の概要
2.各実施形態
2−1.第1の実施形態
2−2.第2の実施形態
2−3.第3の実施形態
3.まとめ
【0015】
<1.3次元立体映像の視差制御の概要>
まず、本開示による3次元立体映像の視差制御の概要について図1を参照して説明する。図1に示すように、本開示による情報処理装置10は、表示装置107を備えたタブレット型デバイスであって、鑑賞者であるユーザを撮像するイメージセンサ110を有する。
【0016】
ここで、本実施形態による3次元立体映像の鑑賞方式は、一例として、視差を設けた左目用映像と右目用映像を鑑賞させることで鑑賞者に映像を立体視させる両目視差方式が用いられる。なお、両目視差方式には、上述したように、専用のメガネを用いるメガネ方式と、メガネを用いない裸眼方式がある。
【0017】
上記メガネ方式には、偏光の違いを利用して左目用画像と右目用画像を分離する偏光方式と、左右交互に開閉するシャッタをメガネに設け、時分割で表示される左目用画像と右目用画像にメガネのシャッタの開閉が同期されるシャッタ方式とがある。
【0018】
また、上記裸眼方式には、レンチキュラー方式と、パララックスバリア方式とがある。レンチキュラー方式は、かまぼこ型の細かなレンズ(レンチキュラーレンズ)を配列させることによって、左目用画像と右目用画像の光路を分離する。また、パララックスバリア方式は、光を遮光する視差バリアと光を通過させる領域である縦のスリットを交互に配列させることによって、左目用画像と右目用画像の光路を分離する。
【0019】
以上説明した両目視差方式では、ユーザの右目に右目用画像、左目に左目用画像を適切に見せることによって、正常な3次元立体映像が結像されるが、鑑賞位置や視域が制限されるという問題があった。
【0020】
例えば、通常、左目用画像および右目用画像には、所定の視域においてユーザが鑑賞していることを想定して水平方向の視差が設けられている。しかし、ユーザが顔を傾けた場合、所定の視域から外れ、正常な3次元立体映像が結像されない。特に、左目に右目用画像、右目に左目用画像が見える逆視状態となる場合は、ユーザの目に負担がかかる。
【0021】
また、上記縦のスリットと視差バリアから成るパララックスバリア方式において鑑賞中にユーザが図1に示すように顔を90度近く傾けると、表示画面に対して両目が縦に位置して両目に同じ映像が見えてしまい、正常な3次元立体映像が結像されない。
【0022】
このように、ユーザが顔を傾けることにより、正常な3次元立体映像が見えず、ユーザの目に負担がかかってしまう。
【0023】
そこで、本開示による3次元立体映像の視差制御によれば、3次元立体映像を鑑賞するユーザの顔の傾きに応じて左目用画像および右目用画像の視差を制御することで、ユーザの目への負担を軽減することが可能となる。
【0024】
以上、本開示による3次元立体映像の視差制御の概要について説明した。続いて、本開示による3次元立体映像の視差制御について複数の実施形態を挙げて詳細に説明する。
【0025】
<2.各実施形態>
ここでは、本開示による3次元立体映像の視差制御を実行する情報処理装置について、第1の実施形態〜第3の実施形態を挙げて説明する。
【0026】
[2−1.第1の実施形態]
第1の実施形態による情報処理装置10は、情報処理装置10に設けられるイメージセンサ110を用いてユーザの顔の傾きを検出し、検出されたユーザの顔の傾きに応じて3次元立体映像の視差制御を行う。以下、第1の実施形態による情報処理装置10の構成について図2および図3を参照して説明する。
【0027】
(情報処理装置10のハードウェア構成)
図2は、本実施形態による情報処理装置10のハードウェア構成の一例を示すブロック図である。本実施形態にかかる情報処理装置10は、図2に示すように、CPU(Central Processing Unit)100と、ROM(Read
Only Memory)102、RAM(Random
Access Memory)103、ホストバス104a、ブリッジ104、外部バス104b、インタフェース105、入力装置106、表示装置107、ストレージ装置108、イメージセンサ110、および通信装置113を有する。
【0028】
CPU100は、演算処理部および制御部として機能し、各種プログラムに従って情報処理装置10の動作全般を制御する。また、CPU100は、マイクロプロセッサであってもよい。なお、本実施形態によるCPU100(制御部)の具体的な機能の詳細については後述する。
【0029】
ROM102は、CPU100が使用するプログラムや演算パラメータ等を記憶する。RAM103は、CPU100の実行において使用するプログラムや、その実行において適宜変化するパラメータ等を一時記憶する。また、CPU100、ROM102およびRAM103は、CPUバスなどから構成されるホストバス104aにより相互に接続されている。
【0030】
ホストバス104aは、ブリッジ104を介して、PCI(Peripheral
Component Interconnect/Interface)バスなどの外部バス104bに接続されている。なお、必ずしもホストバス104a、ブリッジ104および外部バス104bを分離構成する必要はなく、一のバスにこれらの機能を実装してもよい。
【0031】
入力装置106は、タッチパネル、ボタン、マイクおよびスイッチなどユーザが情報を入力するための入力手段と、ユーザによる入力に基づいて入力信号を生成し、CPU100に出力する入力制御回路などから構成されている。情報処理装置10のユーザは、該入力装置106を操作することにより、情報処理装置10に対して各種のデータを入力したり処理動作を指示したりすることができる。
【0032】
表示装置107は、例えば、CRT(Cathode
Ray Tube)ディスプレイ装置、液晶ディスプレイ(LCD)装置、およびOLED(Organic
Light Emitting
Diode)装置などの表示部である。
【0033】
ストレージ装置108は、情報処理装置10の記憶部の一例として構成されたデータ格納用の装置である。ストレージ装置108は、記憶媒体、記憶媒体にデータを記録する記録装置、記憶媒体からデータを読み出す読出し装置および記憶媒体に記録されたデータを削除する削除装置などを含んでもよい。また、ストレージ装置108は、CPU100が実行するプログラムや各種データを格納する。
【0034】
イメージセンサ110は、被写体を撮像する撮像部である。イメージセンサ110は、撮像した画像をRAM103に出力する。なお、本実施形態によるイメージセンサ110は、ユーザの顔の傾きを検出するために用いられる。イメージセンサ110に基づくユーザの顔の傾き検出の詳細については、図4を参照して後述する。
【0035】
通信装置113は、例えば、通信網20に接続するための通信デバイス等で構成された通信インタフェースである。また、通信装置113は、無線LAN(Local
Area Network)対応通信装置であっても、有線による通信を行うワイヤー通信装置であってもよい。
【0036】
以上、本実施形態による情報処理装置10のハードウェア構成の一例について詳細に説明した。続いて、本実施形態によるCPU100(制御部)の機能構成について、図3を参照して詳細に説明する。
【0037】
(CPU100の機能構成)
図3は、本実施形態によるCPU100(制御部)の機能構成を示すブロック図である。図3に示すように、CPU100は、傾き検出部121、画像生成部123、および表示制御部125として機能する。これにより、本実施形態によるCPU100は、イメージセンサ110から出力された画像(撮像画像)に基づいてユーザの顔の傾きを検出し、検出結果に応じて視差を制御した右目用画像および左目用画像を表示装置107に表示するよう制御することができる。以下、図3に示す各機能構成について説明する。
【0038】
「傾き検出部121」
傾き検出部121は、イメージセンサ110から出力された撮像画像においてユーザの顔の位置や顔のパーツ情報を認識し、ユーザの顔の傾きを検出することができる。また、傾き検出部121は、検出結果を画像生成部123に出力する。
【0039】
ここで、傾き検出部121によるユーザの顔の傾きの検出は、例えば両目の位置や、鼻の位置を利用して行ってもよい。傾き検出部121が行う傾き検出の一例について図4を参照して具体的に説明する。
【0040】
図4は、イメージセンサ110から出力された撮像画像31を示す図である。図4に示すように、傾き検出部121は、撮像画像31を解析し、ユーザの顔の位置と、その顔のパーツを認識する。ここでは一例として、図4に示すように、ユーザの両目(右目35Rおよび左目35L)を認識する。そして、傾き検出部121は、認識した右目35Rおよび左目35Lを結ぶ線33と、表示装置107の水平方向に相当する水平線Mとが成す角度θを、ユーザの顔の傾きとして検出する。図4に示すように、ユーザの右目35Rおよび左目35Lの位置は、ユーザが顔を傾けるほど、x方向(水平方向)の差が縮まり、同時にy方向(垂直方向)の差が広がる。
【0041】
「画像生成部123」
画像生成部123は、傾き検出部121から出力された検出結果に基づいて、ユーザの顔の傾きに応じて視差を制御した左目用画像および右目用画像を生成する。また、画像生成部123は、生成した左目用画像および右目用画像を、表示制御部125に出力する。
【0042】
例えば、画像生成部123は、予めモデリングされた3次元の仮想空間を観察する仮想カメラの位置を、ユーザの顔の傾きに応じて調整することによって、xy方向に視差を有する左目用画像および右目用画像を生成することができる。ここで、図5を参照して画像生成に利用する仮想空間について説明する。
【0043】
図5は、仮想空間40を説明するための図である。図5に示すように、仮想空間40では、立体視モデル(オブジェクト)41、42の3Dがモデリングされ、仮想空間40を観察する仮想カメラ43a、43bにより任意の位置からレンダリングすることができる。
【0044】
仮想カメラ43a、43bの位置の調整は、傾き検出部121から出力されたユーザの顔の傾き角度θに応じて行われる。図5に示す例では、仮想カメラ43aがユーザの左目35L、仮想カメラ43bがユーザの右目35Rに相当するので、仮想カメラ43aと43bを結ぶ線44が水平線Mに対して角度θを成すよう位置調整が行われる。
【0045】
画像生成部123は、このように仮想カメラ43の位置調整を行った上でレンダリングし、ユーザの顔の傾きに応じてxy方向に視差が制御された左目用画像および右目用画像を生成することができる。
【0046】
このようにして生成した左目用画像および右目用画像の一例を図6に示す。図6に示す左目用画像50Lは、仮想カメラ43aから取得した画像であり、右目用画像50Rは、仮想カメラ43bから取得した画像である。図6下に示すように、左目用画像50Lおよび右目用画像50Rは、ユーザの顔の傾きに応じてxy方向に視差を有する。
【0047】
「表示制御部125」
表示制御部125は、画像生成部123から出力された左目用画像および右目用画像を表示装置107に表示するよう制御する。また、表示制御部125は、3次元立体映像の具体的な実現方式(上述した裸眼方式、メガネ方式)に応じて、ユーザの両目にそれぞれ正しく画像を振り分けるよう表示制御する。両目視差画像の振り分けについては図8を参照して後述する。
【0048】
以上、本実施形態によるCPU100の機能構成について詳細に説明した。続いて、本実施形態によるCPU100の動作処理について図7を参照して説明する。
【0049】
(CPU100による動作処理)
図7は、本実施形態によるCPU100の動作処理を示すフローチャートである。図7に示すように、まず、ステップS201において、CPU100は、表示装置107(表示画面)を鑑賞するユーザがいるか否かを判断する。具体的な判断方法は、例えばイメージセンサ110により撮像した画像を解析して顔認識した場合、CPU100は、鑑賞するユーザがいると判断してもよい。
【0050】
次に、ステップS203において、傾き検出部121は、イメージセンサ110により撮像した画像を解析してユーザの顔の傾きθを検出する。また、傾き検出部121は、傾きθを示す検出結果を、画像生成部123に出力する。
【0051】
次いで、ステップS205において、画像生成部123は、仮想空間40を観察する2つの仮想カメラ43a、43bの位置を、傾き検出部12から検出されたユーザの顔の傾きθだけ回転させる。
【0052】
そして、ステップS207において、画像生成部123は、回転させた仮想カメラ43a、43bから画像を取得することで、ユーザの顔の傾きに応じてxy方向に視差を有する左目用画像および右目用画像を生成することができる。
【0053】
以上、CPU100の動作処理について説明した。次に、このようにCPU100がxy方向(水平および/または垂直方向)に視差を制御して生成した左目用画像および右目用画像を、鑑賞者の両目にそれぞれ正しく振り分ける場合の具体例について説明する。
【0054】
(両目視差画像の振り分け)
例えば裸眼方式を利用する場合、ユーザが顔を傾けた場合にも正常に左右の目に適切な画像が届くよう、左右方向に加えて、上下方向に映像を振り分けるようにしてもよい。図8に、左右方向に加えて、上下方向にも映像を振り分ける場合の、1視点目(右目)および2視点目(左目)に見える画像のイメージ図を示す。
【0055】
図8に示すように、画像のピクセル(若しくはサブピクセル)が上下左右に振り分けられ、1視点目(左目)には、図8左に示すイメージの白い部分55Lのピクセルが見え、2視点目(右目)には、図8右に示すイメージの白い部分55Rのピクセルが見える。
【0056】
このように、xy方向に視差を有する3次元立体映像を上下左右方向に振り分けることで、ユーザが顔を90度傾けた場合でも両目に正しい情報が入り、ユーザは正常に立体映像を鑑賞することができる。なお、この場合、CPU100は、図8の左右に示すイメージの各白い部分を合わせた画像を表示装置107に表示する。
【0057】
また、図8に示すように画像を振り分けるための光学部品は、例えば、光を遮光する視差バリアと光を通過させる領域であるスリットを格子状に設けた(すなわち視差バリアを斜めに配列した)パララックスバリアであってもよい。または、レンチキュラーレンズを升目状に配列した光学部品であってもよい。
【0058】
以上、裸眼方式により実現する場合の具体的な画像振り分け方法について説明した。一方、メガネ方式により実現する場合、例えば図9に示すように、円偏光メガネ60を用いて、左右の目に見える映像を振り分けてもよい。
【0059】
円偏光メガネ方式では、CPU100は、表示装置107に左目用画像と右目用画像を交互に表示し、図示しないフィルタにより異なる回転方向の円偏光を与える。そして、左目用画像と右目用画像それぞれの偏光方向と同じ方向に偏光する円偏光メガネ60を用いることにより、両目に正しい情報が入る。この場合、ユーザが顔を90度傾けた場合でも両目に正しい情報が入り、ユーザは正常に立体映像を鑑賞することができる。
【0060】
また、メガネ方式により実現する場合、交互に開閉するシャッターメガネを用いて、左右の目に見える映像を振り分けてもよい。
【0061】
シャッターメガネ方式では、表示装置107に左目用画像と右目用画像を交互に表示するタイミングと、シャッターメガネの開閉タイミングを同期させることで、ユーザの両目に正しい情報が入る。この場合、ユーザが顔を90度傾けた場合でも両目に正しい情報が入り、ユーザは正常に立体映像を鑑賞することができる。
【0062】
上述したように、本開示の第1の実施形態によれば、ユーザの顔の傾き(ユーザの両目の位置のxy方向への変化)に応じて、動的にxyの2次元方向に視差を作り出した左目用画像および右目用画像を生成することができる。このように生成した画像を、顔を傾けたユーザの両目にそれぞれ正しく振り分けることで、ユーザは顔を傾けた場合でも正常に3次元立体映像を鑑賞させることができ、ユーザの目への負担が軽減される。
【0063】
なお、上述した第1の実施形態では、2視差の3次元立体映像を生成する場合を例として示したが、本開示による実施形態はこれに限定されない。例えば、4視差若しくはそれ以上の視差の3次元立体映像を生成する場合も、同様にユーザの顔の傾きに応じてxy方向に視差を制御することができる。
【0064】
また、上述した第1の実施形態では、予めモデリングされた仮想空間40を利用して水平方向および垂直方向に視差を制御した3次元立体映像を生成したが、本開示による実施形態はこれに限定されない。
【0065】
例えば、水平方向に視差を有する映像コンテンツの場合、仮想的な平面に多視差の映像が重畳しているので、かかる平面に対する視差の変化量を加味することで、同様にユーザの顔の傾きに応じた視差制御を行うことができる。ただし、この場合元々垂直方向の視差を含まないので、水平方向の視差制御のみとなるが、ユーザの目への負担軽減は可能である。例えば、ユーザが顔を傾けるほど水平方向の視差を無くし、90度傾いた場合は2次元映像を鑑賞させることで、ユーザの目への負担を軽減することができる。
【0066】
また、水平方向に視差を有する映像コンテンツから、仮想空間を再構成することで、擬似的に垂直方向の視差を作ることも可能である。これにより、ユーザの顔の傾きに応じて水平方向および垂直方向の視差を制御することができ、例えばユーザが顔を90度傾けた場合でも3次元立体映像を正常に鑑賞させることができる。
【0067】
[2−2.第2の実施形態]
上記第1の実施形態は、鑑賞しているユーザ一人の顔の傾きに応じた視差制御を行っている。一方、複数のユーザが同時に鑑賞している場合、図10に示すようにユーザ毎に異なる傾きθが検出される可能性が高い。
【0068】
図10は、複数のユーザが鑑賞している場合に検出される傾きθを説明するための図である。図10では、イメージセンサ110により撮像される画像33において、ユーザの両目を結ぶ線と、表示装置107の水平方向に相当する水平線Mとが成す角θが、ユーザ毎に示されている。
【0069】
複数のユーザが同時に鑑賞している場合、図10に示すユーザ1の顔の傾きθ1およびユーザ2の顔の傾きθ2のように、異なる傾きθが検出されるので、第1の実施形態にように水平方向および垂直方向の視差を制御することは困難である。
【0070】
そこで、本開示による第2の実施形態では、鑑賞しているユーザが複数検出された場合、水平方向のみに視差を作り出して3次元立体映像を鑑賞させることで、ユーザの目への負担を軽減することができる。このような第2の実施形態によるCPUの機能構成について、以下図11を参照して説明する。
【0071】
(第2の実施形態によるCPU120の機能構成)
図11は、第2の実施形態によるCPU120の機能構成を示す図である。図11に示すように、CPU120は、傾き検出部121、画像生成部123、表示制御部125、およびユーザ検出部127を有する。
【0072】
本実施形態によるユーザ検出部127は、イメージセンサ110により撮像された画像に基づいて、鑑賞するユーザが複数か否かを検出し、検出結果を画像生成部123に出力する。そして、画像生成部123は、ユーザ検出部127による検出結果に基づき、水平方向および/または垂直方向の視差を制御した3次元立体映像を生成し、表示制御部125に出力する。
【0073】
より具体的には、画像生成部123は、鑑賞するユーザが一人の場合、上記第1の実施形態と同様に、傾き検出部121により検出されたユーザの顔の傾きに応じて、水平方向および/または垂直方向に視差を制御した3次元立体映像を生成する。一方、鑑賞するユーザが複数の場合、画像生成部123は、水平方向のみ視差を有する3次元立体映像を生成し、表示制御部125に出力する。
【0074】
このように、鑑賞するユーザが複数の場合、CPU120による視差制御は水平方向のみとなるが、ユーザの目への負担軽減は可能である。例えば、ユーザが顔を傾けるほどユーザの両目のx方向の差が縮むので、3次元立体映像における水平方向の視差を無くす。そして、ユーザの顔が90度近く傾いた場合、水平方向の視差がほぼゼロになり、2次元映像が結像されるが、ユーザの目への負担は軽減することができる。
【0075】
以上説明したように、本開示による第2の実施形態によれば、鑑賞しているユーザが複数の場合は水平方向のみ視差制御を行うことで、ユーザの目への負担を軽減している。
【0076】
なお、両目視差方式による3次元立体映像を表示する場合、上述した裸眼方式においては、鑑賞する角度によって左右の情報が逆転した領域(逆視領域)が現れ、ユーザの目に負担となる。そこで、上述した第2の実施形態によるユーザ検出部127は、イメージセンサ110により撮像された画像を解析し、ユーザが逆視領域にいるか否かを検出してもよい。
【0077】
そして、画像生成部123は、ユーザ検出部127から出力された検出結果に基づき、ユーザが逆視領域に居る場合は、左目用画像および右目用画像の視差を無くすよう制御し、2次元画像を生成する。このように、ユーザが逆視領域に居る場合は視差を無くす制御により2次元画像を生成し、表示させることで、ユーザの目への負担を軽減することができる。
【0078】
[2−3.第3の実施形態]
上記第1および第2の実施形態では、ユーザの顔の傾きをイメージセンサ110により撮像された画像に基づいて検出しているが、本開示による実施形態はこれに限定されない。例えば、情報処理装置に内蔵された、自装置の傾きを検出するセンサを用いて、相対的なユーザの顔の傾きを検出してもよい。自装置の傾きを検出するセンサは、例えば加速度センサ、地磁気センサなどの重力方向に対する角度を検知するセンサであってもよい。以下に説明する第3の実施形態では、加速度センサを用いてユーザの顔の傾きを検出する場合について説明する。
【0079】
図12は、第3の実施形態による情報処理装置を説明するための図である。図12に示すように、ユーザが情報処理装置12を傾けた場合、相対するユーザの顔(両目の位置)は、情報処理装置12の表示装置107に対して傾いた状態と言える。本実施形態による情報処理装置12は、このように自装置が傾いた場合に相対的に傾くユーザの顔の傾きに応じて、水平方向および/または垂直方向に視差を制御することで、ユーザの目への負担を軽減することができる。
【0080】
(第3の実施形態による情報処理装置12の構成)
図13は、本開示の第3の実施形態による情報処理装置12の構成を示すブロック図である。図13に示すように、第3の実施形態による情報処理装置12は、加速度センサ114を有する点で、上記各実施形態と異なる。
【0081】
加速度センサ114は、加速度を測定することで、自装置の重力方向に対する傾き(角度)を検知することができる。具体的には、図14に示すように、自装置(情報処理装置12)の重力方向Gに対する傾きθを検知し、検知結果をRAM103に出力する。
【0082】
(第3の実施形態によるCPU100の機能構成)
図15は、第3の実施形態によるCPU130の機能構成を示す図である。図15に示すように、CPU130の傾き検出部131は、加速度センサ114からの検知結果に基づいて、ユーザの顔の傾きを検出する。
【0083】
本実施形態では、加速度センサ114から、図14に示すような重力方向Gに対する自装置(情報処理装置12)の傾きθが検知結果として出力される。傾き検出部131は、情報処理装置12の傾きθに基づいて、相対的に傾くユーザの顔の傾きθを検出する。そして、傾き検出部131は、検出したユーザの顔の傾きθを示す検出結果を画像生成部123に出力する。
【0084】
画像生成部123は、図16に示すように、傾き検出部131から出力されたユーザの顔の傾きθに応じて仮想空間40を観察する仮想カメラ43a、43bの位置を制御し、レンダリングする。このようにして、画像生成部123は、上記各実施形態と同様に、xy方向に視差が制御された左目用画像および右目用画像を生成することができる。
【0085】
画像生成部123は、生成した左目用画像および右目用画像を表示制御部125に出力し、表示制御部125は、かかる左目用画像および右目用画像を表示装置107に表示するよう制御する。
【0086】
以上説明したように、本開示の第3の実施形態によれば、情報処理装置12に自装置の傾きを検知するセンサを内蔵することで、相対的なユーザの顔の傾きを検出することができる。そして、本実施形態による情報処理装置12は、上記各実施形態と同様に、ユーザの顔の傾きに応じて3次元立体映像の視差を水平方向および/または垂直方向に制御することで、ユーザの目への負担を軽減することができる。
【0087】
<3.まとめ>
上述したように、本開示の実施形態によれば、ユーザの顔の傾きに応じて、3次元立体映像の水平方向および/または垂直方向の視差を制御することで、ユーザの目への負担を軽減することができる。
【0088】
また、本開示の実施形態によれば、裸眼方式において、左右方向に加えて上下方向に映像を振り分けることで、ユーザが顔を傾けても正常に3次元立体映像を鑑賞させることができる。
【0089】
また、本開示の実施形態によれば、複数のユーザが同時に鑑賞している場合、水平方向の視差のみを制御することで、ユーザの目への負担を軽減させることができる。
【0090】
また、本開示の実施形態によれば、鑑賞しているユーザが逆視領域に居る場合、視差を無くして2次元映像を表示するよう制御することで、ユーザの目への負担を軽減させることができる。
【0091】
また、本開示の実施形態によれば、ユーザの顔の傾きに応じて、仮想空間を観察する仮想カメラの位置を回転させることで、水平方向および垂直方向(xy方向)に視差を有する3次元立体映像を生成することができる。
【0092】
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本技術はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
【0093】
なお、本技術は以下のような構成も取ることができる。
(1)
表示画面の水平方向に対するユーザの顔の傾きを検出する傾き検出部と、
前記傾き検出部の検出結果に応じて、前記表示画面に表示する右目用画像および左目用画像の水平方向の視差を制御する制御部と、
を備える、情報処理装置。
(2)
前記制御部は、前記傾き検出部の検出結果に応じて、前記表示画面に表示する右目用画像および左目用画像の垂直方向の視差を制御する、前記(1)に記載の情報処理装置。
(3)
前記制御部は、前記表示画面を鑑賞するユーザが複数検出された場合、前記右目用画像および左目用画像において水平方向にのみ視差を設けるよう制御する、前記(1)または(2)に記載の情報処理装置。
(4)
前記制御部は、ユーザが逆視領域に居る場合、前記右目用画像および左目用画像の視差を無くし、2次元画像を表示するよう制御する、前記(1)から(3)のいずれか1項に記載の情報処装置。
(5)
前記制御部は、前記傾き検出部の検出結果に応じて、立体視オブジェクトがモデリングされた仮想空間を観察する複数の仮想カメラの位置調整を行い、レンダリングすることで、水平方向および垂直方向の少なくともいずれかの視差を制御した右目用画像および左目用画像を取得する、前記(1)から(4)のいずれか1項に記載の情報処理装置。
(6)
前記情報処理装置は、ユーザの顔を撮像する撮像部を備え、
前記傾き検出部は、前記撮像部により撮像されたユーザの顔画像に基づいて前記ユーザの顔の傾きを検出する、前記(1)から(5)のいずれか1項に記載の情報処理装置。
(7)
前記情報処理装置は、自装置の傾きを検知するセンサを備え、
前記傾き検出部は、前記センサによる検知結果に基づいて前記ユーザの顔の傾きを検出する、前記(1)から(6)のいずれか1項に記載の情報処理装置。
(8)
前記表示画面の前面には、前記表示画面に表示される画像を上下左右方向に振り分けるための光学部品が設けられる、前記(1)から(7)のいずれか1項に記載の情報処理装置。
(9)
前記光学部品は、光を遮光する視差バリアと、視差バリア間の光が透過する領域であるスリットとを格子状に設けたパララックスバリアである、前記(8)に記載の情報処理装置。
(10)
前記光学部品は、複数のレンチキュラーレンズを升目状に並べたレンズである、前記(8)に記載の情報処理装置。
(11)
表示画面の水平方向に対するユーザの顔の傾きを検出するステップと、
前記傾きを検出するステップによる検出結果に応じて、前記表示画面に表示する右目用画像および左目用画像の水平方向の視差を制御するステップと、
を含む、表示制御方法。
(12)
表示画面の水平方向に対するユーザの顔の傾きを検出する処理と、
前記傾きを検出する処理による検出結果に応じて、前記表示画面に表示する右目用画像および左目用画像の水平方向の視差を制御する処理と、
をコンピュータに実行させる、プログラム。
(13)
前記制御する処理は、前記傾きを検出する処理の検出結果に応じて、前記表示画面に表示する右目用画像および左目用画像の垂直方向の視差を制御する、前記(12)に記載のプログラム。
(14)
前記制御する処理は、前記表示画面を鑑賞するユーザが複数検出された場合、前記右目用画像および左目用画像において水平方向にのみ視差を設けるよう制御する、前記(12)または(13)に記載のプログラム。
(15)
前記制御する処理は、ユーザが逆視領域に居る場合、前記右目用画像および左目用画像の視差を無くし、2次元画像を表示するよう制御する、前記(12)から(14)のいずれか1項に記載のプログラム。
(16)
前記制御する処理は、前記傾きを検出する処理の検出結果に応じて、立体視オブジェクトがモデリングされた仮想空間を観察する複数の仮想カメラの位置調整を行い、レンダリングすることで、水平方向および垂直方向の少なくともいずれかの視差を制御した右目用画像および左目用画像を取得する、前記(12)から(15)のいずれか1項に記載のプログラム。
(17)
前記傾きを検出する処理は、撮像部により撮像されたユーザの顔画像に基づいて前記ユーザの顔の傾きを検出する、前記(12)から(16)のいずれか1項に記載のプログラム。
(18)
前記傾きを検出する処理は、前記情報処理装置の傾きを検知するセンサによる検知結果に基づいて前記ユーザの顔の傾きを検出する、前記(12)から(17)のいずれか1項に記載のプログラム。
【符号の説明】
【0094】
10、12 情報処理装置
40 仮想空間
43a、43b 仮想カメラ
100、120、130 CPU
102 ROM
103 RAM
104a ホストバス
104 ブリッジ
104b 外部バス
105 インタフェース
106 入力装置
107 表示装置
108 ストレージ装置
110 イメージセンサ
113 通信装置
114 加速度センサ
121、131 傾き検出部
123 画像生成部
125 表示制御部
127 ユーザ検出部




【特許請求の範囲】
【請求項1】
表示画面の水平方向に対するユーザの顔の傾きを検出する傾き検出部と、
前記傾き検出部の検出結果に応じて、前記表示画面に表示する右目用画像および左目用画像の水平方向の視差を制御する制御部と、
を備える、情報処理装置。
【請求項2】
前記制御部は、前記傾き検出部の検出結果に応じて、前記表示画面に表示する右目用画像および左目用画像の垂直方向の視差を制御する、請求項1に記載の情報処理装置。
【請求項3】
前記制御部は、前記表示画面を鑑賞するユーザが複数検出された場合、前記右目用画像および左目用画像において水平方向にのみ視差を設けるよう制御する、請求項2に記載の情報処理装置。
【請求項4】
前記制御部は、ユーザが逆視領域に居る場合、前記右目用画像および左目用画像の視差を無くし、2次元画像を表示するよう制御する、請求項2に記載の情報処装置。
【請求項5】
前記制御部は、前記傾き検出部の検出結果に応じて、立体視オブジェクトがモデリングされた仮想空間を観察する複数の仮想カメラの位置調整を行い、レンダリングすることで、水平方向および垂直方向の少なくともいずれかの視差を制御した右目用画像および左目用画像を取得する、請求項2に記載の情報処理装置。
【請求項6】
前記情報処理装置は、ユーザの顔を撮像する撮像部を備え、
前記傾き検出部は、前記撮像部により撮像されたユーザの顔画像に基づいて前記ユーザの顔の傾きを検出する、請求項2に記載の情報処理装置。
【請求項7】
前記情報処理装置は、自装置の傾きを検知するセンサを備え、
前記傾き検出部は、前記センサによる検知結果に基づいて前記ユーザの顔の傾きを検出する、請求項2に記載の情報処理装置。
【請求項8】
前記表示画面の前面には、前記表示画面に表示される画像を上下左右方向に振り分けるための光学部品が設けられる、請求項2に記載の情報処理装置。
【請求項9】
前記光学部品は、光を遮光する視差バリアと、視差バリア間の光が透過する領域であるスリットとを格子状に設けたパララックスバリアである、請求項8に記載の情報処理装置。
【請求項10】
前記光学部品は、複数のレンチキュラーレンズを升目状に並べたレンズである、請求項8に記載の情報処理装置。
【請求項11】
表示画面の水平方向に対するユーザの顔の傾きを検出するステップと、
前記傾きを検出するステップによる検出結果に応じて、前記表示画面に表示する右目用画像および左目用画像の水平方向の視差を制御するステップと、
を含む、表示制御方法。
【請求項12】
表示画面の水平方向に対するユーザの顔の傾きを検出する処理と、
前記傾きを検出する処理による検出結果に応じて、前記表示画面に表示する右目用画像および左目用画像の水平方向の視差を制御する処理と、
をコンピュータに実行させる、プログラム。
【請求項13】
前記制御する処理は、前記傾きを検出する処理の検出結果に応じて、前記表示画面に表示する右目用画像および左目用画像の垂直方向の視差を制御する、請求項12に記載のプログラム。
【請求項14】
前記制御する処理は、前記表示画面を鑑賞するユーザが複数検出された場合、前記右目用画像および左目用画像において水平方向にのみ視差を設けるよう制御する、請求項13に記載のプログラム。
【請求項15】
前記制御する処理は、ユーザが逆視領域に居る場合、前記右目用画像および左目用画像の視差を無くし、2次元画像を表示するよう制御する、請求項13に記載のプログラム。
【請求項16】
前記制御する処理は、前記傾きを検出する処理の検出結果に応じて、立体視オブジェクトがモデリングされた仮想空間を観察する複数の仮想カメラの位置調整を行い、レンダリングすることで、水平方向および垂直方向の少なくともいずれかの視差を制御した右目用画像および左目用画像を取得する、請求項13に記載のプログラム。
【請求項17】
前記傾きを検出する処理は、撮像部により撮像されたユーザの顔画像に基づいて前記ユーザの顔の傾きを検出する、請求項13に記載のプログラム。
【請求項18】
前記傾きを検出する処理は、前記情報処理装置の傾きを検知するセンサによる検知結果に基づいて前記ユーザの顔の傾きを検出する、請求項13に記載のプログラム。



【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate

【図9】
image rotate

【図10】
image rotate

【図11】
image rotate

【図12】
image rotate

【図13】
image rotate

【図14】
image rotate

【図15】
image rotate

【図16】
image rotate


【公開番号】特開2013−98840(P2013−98840A)
【公開日】平成25年5月20日(2013.5.20)
【国際特許分類】
【出願番号】特願2011−241234(P2011−241234)
【出願日】平成23年11月2日(2011.11.2)
【出願人】(000002185)ソニー株式会社 (34,172)
【Fターム(参考)】