説明

表示制御装置、表示制御方法、及びプログラム

【課題】複数のオブジェクトを重ねて表示する場合に、背面に表示されたオブジェクトを容易に視認できるようにする。
【解決手段】変形部は、ユーザが表示部を視認する方向に応じて、ディスプレイの表示画面に対して異なる奥行きをそれぞれ有する複数のオブジェクト毎に、オブジェクトの水平方向及び垂直方向の位置を表す2次元位置を変更し、透明度調整部は、複数のオブジェクト毎に、オブジェクトの透明度を調整し、表示制御部は、2次元位置が変更され、透明度が調整された複数のオブジェクトを重ね合わせてディスプレイに表示させる。本開示は、例えば、ウインドウ等のオブジェクトを表示させる表示制御装置等に適用することができる。

【発明の詳細な説明】
【技術分野】
【0001】
本開示は、表示制御装置、表示制御方法、及びプログラムに関し、特に、例えば、画面上にウインドウ等のオブジェクトを重ねて表示する場合に、背面に表示されたオブジェクトを容易に視認できるようにした表示制御装置、表示制御方法、及びプログラムに関する。
【背景技術】
【0002】
例えば、パーソナルコンピュータでは、ディスプレイ上に複数のウインドウを表示することができる(例えば、特許文献1参照)。
【0003】
このパーソナルコンピュータでは、例えば、ユーザ操作に応じて、複数のウインドウを重ねて表示させるようにして、他のウインドウを表示するための領域をディスプレイ上に確保することができる。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開2000−155635号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかしながら、上述のパーソナルコンピュータでは、複数のウインドウを重ねて表示させるようにした場合、前面に表示されたウインドウにより、背面に表示されたウインドウを視認することができなくなってしまう。
【0006】
本開示は、このような状況に鑑みてなされたものであり、ウインドウ等のオブジェクトを重ねて表示する場合に、背面に表示されたオブジェクトを容易に視認できるようにするものである。
【課題を解決するための手段】
【0007】
本開示の一側面の表示制御装置は、ユーザが表示部を視認する方向に応じて、前記表示部の表示画面に対して異なる奥行きをそれぞれ有する複数のオブジェクト毎に、前記オブジェクトの水平方向及び垂直方向の位置を表す2次元位置を変更する変更部と、前記複数のオブジェクト毎に、前記オブジェクトの透明度を調整する透明度調整部と、前記2次元位置が変更され、前記透明度が調整された前記複数のオブジェクトを重ね合わせて前記表示部に表示させる表示制御部とを含む表示制御装置である。
【0008】
前記複数のオブジェクトのうち、前記ユーザにより注目されている前記オブジェクトを検出する検出部をさらに設けることができ、前記透明度調整部には、ユーザにより注目されている前記オブジェクトの透明度を、前記ユーザにより注目されていない前記オブジェクトの透明度よりも低く調整させることができる。
【0009】
前記透明度調整部には、前記複数のオブジェクト毎の透明度を、それぞれ異なる透明度に調整させることができる。
【0010】
本開示の一側面の表示制御方法は、表示部にオブジェクトを表示させる表示制御装置の表示制御方法であって、前記表示制御装置による、ユーザが表示部を視認する方向に応じて、前記表示部の表示画面に対して異なる奥行きをそれぞれ有する複数のオブジェクト毎に、前記オブジェクトの水平方向及び垂直方向の位置を表す2次元位置を変更する変更ステップと、前記複数のオブジェクト毎に、前記オブジェクトの透明度を調整する透明度調整ステップと、前記2次元位置が変更され、前記透明度が調整された前記複数のオブジェクトを重ね合わせて前記表示部に表示させる表示制御ステップとを含む表示制御方法である。
【0011】
本開示の一側面のプログラムは、コンピュータを、ユーザが表示部を視認する方向に応じて、前記表示部の表示画面に対して異なる奥行きをそれぞれ有する複数のオブジェクト毎に、前記オブジェクトの水平方向及び垂直方向の位置を表す2次元位置を変更する変更部と、前記複数のオブジェクト毎に、前記オブジェクトの透明度を調整する透明度調整部と、前記2次元位置が変更され、前記透明度が調整された前記複数のオブジェクトを重ね合わせて前記表示部に表示させる表示制御部として機能させるためのプログラムである。
【0012】
本開示の一側面によれば、ユーザが表示部を視認する方向に応じて、前記表示部の表示画面に対して異なる奥行きをそれぞれ有する複数のオブジェクト毎に、前記オブジェクトの水平方向及び垂直方向の位置を表す2次元位置が変更され、前記複数のオブジェクト毎に、前記オブジェクトの透明度が調整され、前記2次元位置が変更され、前記透明度が調整された前記複数のオブジェクトが重ね合わされて前記表示部に表示される。
【発明の効果】
【0013】
本開示によれば、ウインドウ等のオブジェクトを重ねて表示する場合に、背面に表示されたオブジェクトを容易に視認することが可能となる。
【図面の簡単な説明】
【0014】
【図1】第1の実施の形態であるパーソナルコンピュータの構成例を示すブロック図である。
【図2】ディスプレイに複数のオブジェクトを重ね合わせて表示させるときの一例を示す図である。
【図3】図1のパーソナルコンピュータが行うオブジェクト表示処理を説明するためのフローチャートである。
【図4】背面のオブジェクトを視認するときの一例を示す図である。
【図5】第2の実施の形態であるパーソナルコンピュータの構成例を示す図である。
【図6】図5の本体の構成例を示すブロック図である。
【図7】顔検出部及び角度算出部が行う処理の詳細を説明するための図である。
【図8】変形部が行う処理の詳細を説明するための図である。
【図9】図5のパーソナルコンピュータが行うオブジェクト変形処理を説明するためのフローチャートである。
【図10】変形部が行う処理の詳細を説明するための他の図である。
【図11】コンピュータの構成例を示すブロック図である。
【発明を実施するための形態】
【0015】
以下、本開示における実施の形態(以下、実施の形態という)について説明する。なお、説明は以下の順序で行う。
1.第1の実施の形態(ディスプレイに表示するオブジェクトの透明度を調整するようにして、背面のオブジェクトを視認できるようにする場合の一例)
2.第2の実施の形態(オブジェクトの透明度を調整するとともに、ユーザが視認する方向に応じて、オブジェクトの位置を変更させる場合の一例)
3.変形例
【0016】
<1.第1の実施の形態>
[パーソナルコンピュータ1の構成例]
図1は、第1の実施の形態であるパーソナルコンピュータ1の構成例を示している。
【0017】
このパーソナルコンピュータ1は、本体21、ディスプレイ22、及び操作部23から構成される。
【0018】
なお、このパーソナルコンピュータ1は、ディスプレイ22に表示させるウインドウ等のオブジェクトの透明度を調整するようにして、オブジェクトが重なった状態でも、背面のオブジェクトを容易に視認できるようにするものである。なお、オブジェクトとしては、ディスプレイ22に表示可能なものであれば、どのようなものでもよく、ウインドウの他、例えば、文書、写真、動画等のコンテンツをオブジェクトとして表示することができる。
【0019】
本体21は、操作部23からの操作信号に応じて、ディスプレイ22に表示させる複数のオブジェクト毎に、オブジェクトの透明度を調整する。そして、本体21は、透明度を調整した複数のオブジェクトを重ね合わせて、ディスプレイ22に表示させる。
【0020】
ディスプレイ22は、本体21から供給される複数のオブジェクトを重ね合わせて表示させる。
【0021】
操作部23は、操作ボタンなどからなり、ユーザにより操作される。操作部23は、ユーザの操作に応じて、対応する操作信号を本体21に供給する。
【0022】
本体21は、記憶部41、透明度調整部42、表示制御部43、及び制御部44から構成される。
【0023】
記憶部41は、例えば、ディスプレイ22に表示される複数のオブジェクトを予め記憶(保持)している。
【0024】
透明度調整部42は、記憶部41から複数のオブジェクトを読み出す。そして、透明度調整部42は、例えばαブレンディング等を用いて、読み出した複数のオブジェクトの透明度をそれぞれ調整し、透明度が調整された複数のオブジェクトを表示制御部43に供給する。
【0025】
なお、透明度調整部42は、例えば、複数のオブジェクトの透明度を、それぞれ、均等に調整する。すなわち、例えば、透明度調整部42は、複数のオブジェクトの透明度を、それぞれ、半透明に調整する。その他、例えば、透明度調整部42は、複数のオブジェクトの透明度を、それぞれ、異なる透明度に調整するようにしてもよい。
【0026】
表示制御部43は、透明度調整部42からの複数のオブジェクトを、ディスプレイ22に供給して、重ね合わせた状態で表示させる。
【0027】
制御部44は、操作部23からの操作信号に応じて、透明度調整部42及び表示制御部43を制御する。
【0028】
すなわち、例えば、ユーザが、重ね合わせて表示される複数のオブジェクトのうち、所定のオブジェクトに注目するように操作部23を操作した場合、制御部44は、操作部23からの操作信号に応じて、注目されている所定のオブジェクトを検出して、以下のような処理を透明度調整部42に行わせる。
【0029】
具体的には、例えば、透明度調整部42は、制御部44からの制御にしたがって、複数のオブジェクトのうち、例えば、ユーザにより注目されている所定のオブジェクトの透明度を、他のオブジェクトの透明度と比較して低く調整する。
【0030】
また、例えば、ユーザが、複数のオブジェクト毎に、注目している度合いを表す注目度を設定するように操作部23を操作した場合、制御部44は、操作部23からの操作信号に応じて、各オブジェクト毎の注目度を検出し、以下のような処理を透明度調整部42に行わせる。
【0031】
具体的には、例えば、透明度調整部42は、制御部44からの制御にしたがって、複数のオブジェクト毎に、オブジェクトの透明度を、ユーザの注目度に応じた透明度(例えば、注目度が低いほど、透明度を高くする等)に調整する。
【0032】
なお、パーソナルコンピュータ1において、ディスプレイ22の表示画面に対するユーザの視線を検出するようにし、検出した視線に基づいて、ユーザが注目しているオブジェクトを検出するように構成することもできる。このことは、後述するパーソナルコンピュータ81についても同様である。
【0033】
次に、図2は、ディスプレイ22に、複数のオブジェクトを重ね合わせて表示させたときの一例を示している。
【0034】
ディスプレイ22は、例えば、図2に示されるように、それぞれ重ね合わされた複数のオブジェクト61乃至63を、背景64の前面に表示する。
【0035】
複数のオブジェクト61乃至63は、それぞれ、3次元画像であり、ディスプレイ22の表示画面(表示面)に対してそれぞれ異なる奥行きを有している。
【0036】
また、例えば、ユーザが、操作部23を操作して、複数のオブジェクト61乃至63のうち、オブジェクト63を選択した場合、操作部23は、対応する操作信号を制御部44に供給する。制御部44は、操作部23からの操作信号に応じて、透明度調整部42及び表示制御部43を制御する。
【0037】
すなわち、透明度調整部42は、記憶部41から複数のオブジェクト61乃至63を読み出す。そして、透明度調整部42は、読み出したオブジェクト61及び62の透明度と比較して、読み出したオブジェクト63の透明度を低めに調整し、透明度が調整された複数のオブジェクト61乃至63を表示制御部43に供給する。
【0038】
表示制御部43は、透明度調整部42からのオブジェクト61乃至63を、ディスプレイ22に供給し、重ね合わせて表示させる。これにより、オブジェクト63が透明度の低い状態(濃い状態)で表示され、他のオブジェクト61及び62が透明度の高い状態(薄い状態)で表示されることになるので、ユーザは、選択(注目)しているオブジェクト63を容易に視認できるようになる。
【0039】
[パーソナルコンピュータ1の動作説明]
次に、図3のフローチャートを参照して、パーソナルコンピュータ1が行うオブジェクト表示処理について説明する。
【0040】
このオブジェクト表示処理は、例えば、ディスプレイ22に複数のオブジェクト61乃至63を重ねて表示させるように、操作部23が操作されたときに開始される。このとき、制御部44は、操作部23からの操作信号に応じて、透明度調整部42及び表示制御部43を制御する。
【0041】
すなわち、ステップS21において、透明度調整部42は、記憶部41から、複数のオブジェクト61乃至63を読み出す。そして、透明度調整部42は、例えばαブレンディング等を用いて、読み出した複数のオブジェクト61乃至63の透明度を調整し、透明度が調整された複数のオブジェクト61乃至63を、表示制御部43に供給する。
【0042】
ステップS22において、表示制御部43は、透明度調整部42からのオブジェクト61乃至63を、ディスプレイ22に供給し、重ね合わせて表示させる。以上でオブジェクト表示処理は終了される。
【0043】
以上説明したように、オブジェクト表示処理によれば、ディスプレイ22の表示画面に対して異なる奥行きをそれぞれ有するオブジェクト61乃至63の透明度を調整し、調整後のオブジェクト61乃至63を重ね合わせるようにして表示するようにした。このため、ディスプレイ22において、画像を表示するための表示領域を有効に活用することが可能となる。
【0044】
また、透明度が調整され、それぞれ異なる奥行きを有するオブジェクト61乃至63を表示させるようにしたので、オブジェクト61乃至63が重なって表示される場合でも、いずれのオブジェクト61乃至63を容易に視認することができる。
【0045】
次に、図4は、複数のオブジェクト61乃至63のうち、例えばオブジェクト62上の表示領域62a及び62bを容易に視認できることを示している。
【0046】
なお、図4に示されるように、オブジェクト61上の表示領域61aには、例えば、非常に多くの文字等が記載されており、比較的、透明度が低い状態となっているものとする。
【0047】
この場合、ユーザは、オブジェクト61上の表示領域61aを通して、オブジェクト62上の表示領域62a及び62bを視認しにくくなるものの、表示領域61a以外の、オブジェクト61上の表示領域を通して、表示領域62a及び62bを容易に視認できるようになる。
【0048】
これは、複数のオブジェクト61乃至63を、それぞれ、奥行きの異なる3次元画像として表示していることによる。なお、ディスプレイ22において、奥行きが同一である複数のオブジェクト61乃至63を、重ね合わせて表示することも可能であるが、この場合、それぞれのオブジェクト61乃至63の少なくとも1つを小刻みに動かすようにして表示することが望ましい。
【0049】
これにより、奥行きが同一である複数のオブジェクト61乃至63を表示する場合でも、小刻みに動かすことにより、背面のオブジェクトをより視認し易くできるようになる。
【0050】
なお、複数のオブジェクト61乃至63を、それぞれ、異なるパターンで動かすようにすれば、オブジェクト61乃至63それぞれを容易に識別することができるようになる。
【0051】
<2.第2の実施の形態>
[パーソナルコンピュータ81の構成例]
次に、図5は、第2の実施の形態であるパーソナルコンピュータ81の構成例を示している。
【0052】
このパーソナルコンピュータ81は、カメラ101、本体102、ディスプレイ103、及び操作部104から構成される。
【0053】
カメラ101は、ディスプレイ103の前でディスプレイ103上のオブジェクト61乃至63を視認するユーザを撮像し、その撮像により得られる撮像画像を、本体102に供給する。
【0054】
本体102は、カメラ101からの撮像画像に基づいて、その撮像画像上に表示されるユーザの位置(例えば、ユーザの顔の位置等)を検出する。
【0055】
また、本体102は、複数のオブジェクト61乃至63を、検出したユーザの位置に応じてせん断変形する。
【0056】
そして、本体102は、せん断変形後のオブジェクト61乃至63の透明度を調整し、透明度が調整されたオブジェクト61乃至63を、ディスプレイ103に供給し、重ね合わせて表示させる。
【0057】
なお、第2の実施の形態では、例えばオブジェクト61乃至63を変形する際に、せん断変形を行うものとして説明するが、オブジェクト61乃至63を変形する際の変形方法は、これに限定されない。
【0058】
ディスプレイ103は、本体102から供給される複数のオブジェクト61乃至63を、重ね合わせて表示する。なお、第2の実施の形態では、説明の便宜のため、図5に示されるようなXYZ座標空間を定義する。このXYZ座標空間は、例えば、ディスプレイ103の表示画面の中心(重心)を原点Oとし、ディスプレイ103の水平方向、垂直方向、及び正面方向(奥行き方向)をそれぞれ表すX軸、Y軸、及びZ軸により定義される。
【0059】
なお、カメラ101の光軸は、X軸方向においてZ軸と一致し、Y軸方向において、所定の距離Dyだけ上にZ軸とずれているものとする。
【0060】
[本体102の構成例]
図6は、本体102の構成例を示している。
【0061】
なお、図6の本体102において、図1の本体21と同様に構成される部分については、同一の符号を付すようにしたので、以下において、それらの説明は適宜省略する。
【0062】
すなわち、本体102は、新たに顔検出部121、角度算出部122、及び変形部123が設けられているとともに、制御部44に代えて制御部124が設けられている他は、図1の場合と同様に構成される。
【0063】
顔検出部121には、カメラ101から撮像画像が供給される。顔検出部121は、カメラ101からの撮像画像に基づいて、撮像画像上に表示されたユーザの顔を検出する。具体的には、例えば、顔検出部121は、撮像画像上の全領域のうち、肌色部分の領域を、ユーザの顔を表す顔領域として検出する。
【0064】
そして、顔検出部121は、検出した顔領域に基づいて、撮像画像上の、ユーザの顔の位置を表す顔位置(Ax,Ay)を検出し、角度算出部122に供給する。なお、顔位置(Ax,Ay)は、例えば顔領域の重心とされる。また、顔位置(Ax,Ay)は、例えば撮像画像上の中心を原点(0,0)とし、原点(0,0)で直交するX軸及びY軸により定義される。
【0065】
なお、撮像画像上に定義されるX軸及びY軸を、図5に示されるX軸及びY軸と区別するために、以下、X'軸及びY'軸という。
【0066】
角度算出部122は、顔検出部121からの顔位置(Ax,Ay)に基づいて、XYZ座標空間上のユーザの顔の位置を表す顔位置(x,y)と、予め決められたZ軸(図5)とのずれを表す角度θを算出し、変形部123に供給する。
【0067】
すなわち、例えば、角度算出部122は、角度θとして、X軸方向における、顔位置(x,y)とZ軸とのずれを表す角度θx、及びY軸方向における、顔位置(x,y)とZ軸とのずれを表す角度θyを算出し、変形部123に供給する。なお、顔検出部121及び角度算出部122が行う処理は、図7を参照して詳述する。
【0068】
変形部123は、記憶部41から、複数のオブジェクト61乃至63を読み出す。そして、変形部123は、角度算出部122からの角度θx及び角度θyに基づいて、記憶部41から読み出した複数のオブジェクト61乃至63をせん断変形し、せん断変形後のオブジェクト61乃至63を、透明度調整部42に供給する。なお、変形部123が行う処理は、図8を参照して詳述する。
【0069】
制御部124は、例えば、操作部104からの操作信号に応じて、図1の制御部44と同様の処理を行う。また、制御部124は、例えば、操作部104からの操作信号に応じて、カメラ101、顔検出部121、角度算出部122、及び変形部123を制御する。
【0070】
[顔検出部121及び角度算出部122の詳細]
次に、図7を参照して、顔検出部121及び角度算出部122が行う処理の詳細を説明する。
【0071】
顔検出部121は、カメラ101から供給される、図7右側に示されるような撮像画像131から、顔領域131aを検出する。そして、顔検出部121は、撮像画像131上の顔位置(Ax,Ay)として、例えば、顔領域131aの重心を検出し、角度算出部122に供給する。なお、顔位置(Ax,Ay)は、例えば撮像画像上の中心を原点(0,0)とし、原点(0,0)で直交するX'軸及びY'軸により定義される。
【0072】
角度算出部122は、図7右側に示されるように、顔検出部121からの顔位置(Ax,Ay)のAxを、撮像画像131の横幅で正規化(除算)して値dに変換する。なお、撮像画像131の右端部分を示すX'軸上の位置Axを、撮像画像131の横幅で正規化すると0.5に変換される。
【0073】
また、角度算出部122は、図7左側に示されるように、正規化により得られる値dと、カメラ101における水平方向(X軸方向)の半画角αとに基づいて、次式(1)により角度θxを算出し、変形部123に供給する。なお、角度算出部122は、内蔵するメモリ(図示せず)に、角度αを予め保持しているものとする。
θx = arctan{d/(0.5/tanα)} ・・・(1)
【0074】
なお、角度θxは、X軸方向における、顔位置(x,y)とカメラ101の光軸(撮像方向)とのずれを表す。
【0075】
ここで、カメラ101の光軸とZ軸とはX軸方向において一致している。したがって、角度θxは、X軸方向における、顔位置(x,y)とZ軸とのずれを表すものであるとも言える。
【0076】
ところで、式(1)は、次のようにして求められる。すなわち、Z軸上における、ユーザの顔の位置zに応じて変化する値をf(z)とすれば、次式(2)及び(3)が導出される。
tanθx = d/f(z) ・・・(2)
tanα = 0.5/f(z) ・・・(3)
【0077】
式(3)からf(z) = 0.5/tanαが導出され、これを、式(2)に代入すると、次式(4)が導出される。
tanθx = d/(0.5/tanα) ・・・(4)
【0078】
そして、式(4)において、tanθxの逆関数をとると、上述の式(1)が導出される。
【0079】
また、例えば、角度算出部122は、顔検出部121からの顔位置(Ax,Ay)のAyを、撮像画像131の縦幅で正規化(除算)し、その結果得られる値d''に、距離Dyに対応するオフセット値を加算する。そして、角度算出部122は、その加算により得られる値d'と、カメラ101の垂直方向(Y軸方向)の半画角βに基づいて、次式(5)により角度θyを算出し、変形部123に供給する。
θy = arctan{d’/(0.5/tanβ)}・・・(5)
【0080】
なお、値d''に、距離Dyに対応するオフセット値を加算して値d'を算出するのは、カメラ101の光軸が、Y軸方向において、距離DyだけZ軸とずれていることによる。すなわち、角度算出部122は、角度θxを算出した場合と同様にして、角度θyを算出する場合、角度θyは、Y軸方向における、顔位置(x,y)とZ軸とのずれを表すものにはならない。
【0081】
したがって、角度算出部122は、Y軸方向における、カメラ101の光軸とZ軸とのずれを考慮して、値d''にオフセット値を加算するようにして値d'を算出し、式(5)により角度θyを算出するようにしている。なお、撮像画像131において、XYZ座標空間上の3次元位置(0,0,z)に対応する位置(0,y)(y<0)から原点(0,0)までの距離が、距離Dyに対応する距離となり、オフセット値は、撮像画像131における位置(0,y)から原点(0,0)までの距離を、撮像画像131の縦幅で正規化して得られる値とされる。
【0082】
[変形部123の詳細]
次に、図8を参照して、変形部123が行う処理の詳細を説明する。
【0083】
変形部123は、記憶部41に記憶されている複数のオブジェクト61乃至63を読み出し、読み出したオブジェクト61乃至63を、角度算出部122からの角度θx及びθyに基づいて変形する。なお、図8では、図面が煩雑になるのを避けるために、オブジェクト61のみを記載するようにしている。
【0084】
すなわち、例えば、変形部123は、図8に示されるように、オブジェクト61乃至63それぞれの位置zを定義するZ軸において、Z軸を、角度算出部122からの角度θxだけX軸に対して傾斜させる。これにより、例えば、オブジェクト61の3次元位置p(x,y,z)におけるxは、x+ztanθxとされる。
【0085】
また、例えば、変形部123は、同様にして、Z軸を、角度算出部122からの角度θyだけY軸に対して傾斜させる。これにより、オブジェクト61の3次元位置p(x,y,z)におけるyは、y+ztanθyとされる。
【0086】
このようにして、変形部123は、オブジェクト61の3次元位置p(x,y,z)を、オブジェクト61の3次元位置p’(x+ztanθx,y+ztanθy,z)にアフィン変換するようにして、オブジェクト61の形状をせん断変形する。
【0087】
なお、実際には、変形部123は、3次元画像としてのオブジェクト61を構成する左眼用2次元画像及び右眼用2次元画像を、それぞれ、アフィン変換するようにして、オブジェクト61の形状をせん断変形する。ここで、左眼用2次元画像と右眼用2次元画像との間には、ユーザにより視認されるオブジェクト61が立体的に見えるように視差が設けられている。
【0088】
また、変形部123は、同様にして、オブジェクト62及び63をせん断変形する。
【0089】
変形部123は、せん断変形後のオブジェクト61乃至63を、透明度調整部42に供給する。
【0090】
[パーソナルコンピュータ81の動作説明]
次に、図9のフローチャートを参照して、パーソナルコンピュータ81が行うオブジェクト変形処理について説明する。
【0091】
なお、このオブジェクト変形処理は、例えば、ディスプレイ103に複数のオブジェクト61乃至63を重ねて表示させるように、操作部104が操作されたときに開始される。このとき、制御部124は、操作部104からの操作信号に応じて、顔検出部121、角度算出部122、変形部123、透明度調整部42、表示制御部43、及びカメラ101を制御する。カメラ101は、制御部124からの制御にしたがって撮像を行い、その撮像により得られる撮像画像131を、顔検出部121に供給する。
【0092】
ステップS41において、顔検出部121は、カメラ101からの撮像画像131に基づいて、撮像画像131上に表示されたユーザの顔を検出する。具体的には、例えば、顔検出部121は、撮像画像131上の全領域のうち、肌色部分の領域を、ユーザの顔を表す顔領域131aとして検出する。
【0093】
そして、顔検出部121は、検出した顔領域131aに基づいて、撮像画像131上の顔位置(Ax,Ay)を検出し、角度算出部122に供給する。
【0094】
ステップS42において、角度算出部122は、顔検出部121からの顔位置(Ax,Ay)のAxを、撮像画像131の横幅で正規化して値dに変換する。そして、角度算出部122は、正規化により得られる値dと、カメラ101における水平方向(X軸方向)の半画角αとに基づいて、式(1)により角度θxを算出し、変形部123に供給する。
【0095】
ステップS43において、角度算出部122は、顔検出部121からの顔位置(Ax,Ay)のAyを、撮像画像131の縦幅で正規化して値d''に変換する。そして、角度算出部122は、正規化により得られる値d''にオフセット値を加算して得られる値d'と、カメラ101における垂直方向(Y軸方向)の半画角βとに基づいて、式(5)により角度θyを算出し、変形部123に供給する。
【0096】
ステップS44において、変形部123は、記憶部41に記憶されている複数のオブジェクト61乃至63を、記憶部41から読み出す。そして、変形部123は、角度算出部122からの角度θx及びθyに基づいて、読み出した複数のオブジェクト61乃至63をせん断変形し、透明度調整部42に供給する。
【0097】
すなわち、例えば、変形部123は、複数のオブジェクト61乃至63の3次元位置を定義するXYZ座標空間上のZ軸を、角度算出部122からの角度θxだけX軸に対して傾斜させる。また、変形部123は、Z軸を、角度算出部122からの角度θyだけY軸に対して傾斜させる。これにより、XYZ座標空間が変形され、XYZ座標空間の変形に応じて、複数のオブジェクト61乃至63も変形される。
【0098】
ステップS45において、透明度調整部42は、変形部123からの複数のオブジェクト61乃至63の透明度を調整し、透明度が調整された複数のオブジェクト61乃至63を、表示制御部43に供給する。
【0099】
ステップS46において、表示制御部43は、透明度調整部42からのオブジェクト61乃至63を、ディスプレイ22に供給し、重ね合わせて表示させる。以上でオブジェクト変形処理は終了される。
【0100】
以上説明したように、オブジェクト変形処理によれば、ディスプレイ103の表示画面の法線であるZ軸と、ユーザが表示画面を視認する方向との成す角度θとして、角度θx及びθyを算出した。そして、Z軸を水平方向に角度θxだけ傾斜させ、垂直方向に角度θyだけ傾斜させるアフィン変換により、複数のオブジェクト61乃至63を変形するようにした。
【0101】
このため、ユーザが表示画面を視認する方向に拘らず、オブジェクト61乃至63を実空間上で視認しているかのように表示することが可能となる。したがって、ユーザは、ディスプレイ103に表示されるオブジェクト61乃至63において、例えばオブジェクト62を上から覗き込むようにして確認することができる。
【0102】
また、例えば、オブジェクト61乃至63を重ねて表示するようにしたので、画像を表示するディスプレイ103上の表示領域を有効に活用することができる。
【0103】
さらに、例えば、オブジェクト変形処理によれば、XYZ座標空間上のZ軸を変更するようにして、XYZ座標空間上のオブジェクト61乃至63をせん断変形するようにした。したがって、例えば、XYZ座標空間上に存在するオブジェクト61乃至63を個別にせん断変形する場合と比較して、変形部123による処理をより迅速に行うことが可能となる。
【0104】
<3.変形例>
第2の実施の形態では、図8に示されたように、Z軸を傾斜させるようにしてオブジェクト61乃至63の座標を変換するようにしたが、その他、例えば、Z軸を傾斜させることなく、オブジェクト61乃至63の座標を変換することができる。
【0105】
すなわち、例えば、変形部123は、図10に示されるように、例えばオブジェクト61の3次元位置p(x,y,z)の位置x(=ztanθp)を、角度算出部122からの角度θxに基づいて、位置x’(=ztan(θpx))に変換する。なお、角度θpは、図10に示されるように、X軸及びZ軸により定義されるXZ平面上において、3次元位置p(x,y,z)の(x,z)及び原点Oを結ぶ線分とZ軸との成す角度を表す。
【0106】
また、例えば、変形部123は、同様にして、例えばオブジェクト61の3次元位置p(x,y,z)の位置y(=ztanθq)を、角度算出部122からの角度θyに基づいて、位置y’(=ztan(θqy))に変換する。なお、角度θqは、Y軸及びZ軸により定義されるYZ平面上において、3次元位置p(x,y,z)の(y,z)及び原点Oを結ぶ線分とZ軸との成す角度を表す。
【0107】
これにより、変形部123は、オブジェクト61の3次元位置p(x,y,z)を3次元位置p’(x’,y’,z)に変換するようにして、オブジェクト61をせん断変形することができる。このことは、オブジェクト62及び63についても同様のことが言える。
【0108】
第2の実施の形態では、Z軸が延びる方向を、ディスプレイ103の表示画面の法線方向と一致させるようにしたが、Z軸が延びる方向は、これに限定されず、XYZ座標空間の定義によって異なるものとなる。
【0109】
第2の実施の形態では、オブジェクト61乃至63の3次元位置p(x,y,z)が既知である場合について説明したが、3次元位置p(x,y,z)が既知でない場合(例えば立体写真等の場合)でも、3次元位置p(x,y,z)を算出できるときには、本技術を適用することができる。
【0110】
また、変形部123は、例えば、2視点用の2次元画像(左眼用2次元画像及び右眼用2次元画像)から構成される3次元画像を対象として、せん断変形するようにした。しかしながら、その他、例えば、変形部123は、3視点以上の2次元画像から構成される3次元画像を対象としてせん断変形することができる。
【0111】
第2の実施の形態では、1台のカメラ101を用いるようにしたが、ユーザの顔位置を検出可能な範囲を広げるために、カメラ101の画角を広くするようにしたり、複数台のカメラを用いるようにしてもよい。
【0112】
また、例えば、第2の実施の形態では、カメラ101から得られた撮像画像131上の顔位置(Ax,Ay)から値d及びd'を算出するようにして、式(1)及び(5)により角度θx及びθyを算出するようにした。
【0113】
しかしながら、その他、例えば、XYZ座標空間上の3次元位置としての顔位置(x,y,z)を検出し、検出した顔位置(x,y,z)とカメラ101の半画角α及びβに基づいて、角度θx及びθyを算出してもよい。すなわち、例えば、検出した顔位置(x,y,z)のx及びzから、tanθx = x/z・・・(2')とtanα = g(z)/z・・・(3')が導出される。そして、式(2')及び(3')からtanθx = x/(g(z)/tanα)・・・(4')が導出され、式(4')においてtanθxの逆関数をとると、θx = arctan(x/(g(z)/tanα))・・・(1')が導出される。よって、角度θxは、式(1')を用いて算出される。また、角度θyは、同様にして、θy = arctan(y/(g(z)/tanβ))・・・(5')により算出される。
【0114】
なお、3次元位置としての顔位置(x,y,z)の検出には、例えば、2台のカメラの視差を用いて顔位置(x,y,z)を検出するステレオカメラや、ユーザの顔等に赤外線等を照射するようにして顔位置(x,y,z)を検出する赤外線センサ等が用いられる。
【0115】
第1の実施の形態では、透明度調整部42は、オブジェクト全体の透明度を調整するようにしたが、オブジェクトの一部分のみの透明度を調整するようにしてもよい。
【0116】
すなわち、例えば、パーソナルコンピュータ1において、ディスプレイ22の表示画面に対するユーザの視線を検出できるようにし、検出された視線に応じて、ユーザが注目している表示画面上の領域を判別する。そして、透明度調整部42は、判別された領域に対応する、オブジェクト61乃至63の一部分のみの透明度を調整するようにしてもよい。このことは、第2の実施の形態でも同様である。
【0117】
また、第1及び第2の実施の形態では、それぞれ、パーソナルコンピュータ1及び81について説明したが、画像を表示させる電子機器であればどのようなものでも、本技術を適用できる。すなわち、例えば、本技術は、画像を放送電波により受信して表示させるテレビジョン受像機や、録画した動画を表示させるハードディスクレコーダ等に適用することができる。
【0118】
なお、本技術は以下のような構成もとることができる。
(1)ユーザが表示部を視認する方向に応じて、前記表示部の表示画面に対して異なる奥行きをそれぞれ有する複数のオブジェクト毎に、前記オブジェクトの水平方向及び垂直方向の位置を表す2次元位置を変更する変更部と、前記複数のオブジェクト毎に、前記オブジェクトの透明度を調整する透明度調整部と、前記2次元位置が変更され、前記透明度が調整された前記複数のオブジェクトを重ね合わせて前記表示部に表示させる表示制御部とを含む表示制御装置。
(2)前記複数のオブジェクトのうち、前記ユーザにより注目されている前記オブジェクトを検出する検出部をさらに含み、前記透明度調整部は、ユーザにより注目されている前記オブジェクトの透明度を、前記ユーザにより注目されていない前記オブジェクトの透明度よりも低く調整する前記(1)に記載の表示制御装置。
(3)前記透明度調整部は、前記複数のオブジェクト毎の透明度を、それぞれ異なる透明度に調整する前記(1)又は(2)に記載の表示制御装置。
【0119】
ところで、上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、又は、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のコンピュータなどに、プログラム記録媒体からインストールされる。
【0120】
[コンピュータの構成例]
図11は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示している。
【0121】
CPU(Central Processing Unit)141は、ROM(Read Only Memory)142、又は記憶部148に記憶されているプログラムに従って各種の処理を実行する。RAM(Random Access Memory)143には、CPU141が実行するプログラムやデータ等が適宜記憶される。これらのCPU141、ROM142、及びRAM143は、バス144により相互に接続されている。
【0122】
CPU141にはまた、バス144を介して入出力インタフェース145が接続されている。入出力インタフェース145には、キーボード、マウス、マイクロホン等よりなる入力部146、ディスプレイ、スピーカ等よりなる出力部147が接続されている。CPU141は、入力部146から入力される指令に対応して各種の処理を実行する。そして、CPU141は、処理の結果を出力部147に出力する。
【0123】
入出力インタフェース145に接続されている記憶部148は、例えばハードディスクからなり、CPU141が実行するプログラムや各種のデータを記憶する。通信部149は、ネットワークやローカルエリアネットワーク等のネットワークを介して外部の装置と通信する。
【0124】
また、通信部149を介してプログラムを取得し、記憶部148に記憶してもよい。
【0125】
入出力インタフェース145に接続されているドライブ150は、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリ等のリムーバブルメディア151が装着されたとき、それらを駆動し、そこに記録されているプログラムやデータ等を取得する。取得されたプログラムやデータは、必要に応じて記憶部148に転送され、記憶される。
【0126】
コンピュータにインストールされ、コンピュータによって実行可能な状態とされるプログラムを記録(記憶)する記録媒体は、図11に示すように、磁気ディスク(フレキシブルディスクを含む)、光ディスク(CD-ROM(Compact Disc-Read Only Memory),DVD(Digital Versatile Disc)を含む)、光磁気ディスク(MD(Mini-Disc)を含む)、もしくは半導体メモリ等よりなるパッケージメディアであるリムーバブルメディア151、又は、プログラムが一時的もしくは永続的に格納されるROM142や、記憶部148を構成するハードディスク等により構成される。記録媒体へのプログラムの記録は、必要に応じてルータ、モデム等のインタフェースである通信部149を介して、ローカルエリアネットワーク、ネットワーク、デジタル衛星放送といった、有線又は無線の通信媒体を利用して行われる。
【0127】
なお、本明細書において、上述した一連の処理を記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【0128】
また、本開示の実施の形態は、上述した第1及び第2の実施の形態に限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。
【符号の説明】
【0129】
1 パーソナルコンピュータ, 21 本体, 22 ディスプレイ, 23 操作部, 41 記憶部, 42 透明度調整部, 43 表示制御部, 81 パーソナルコンピュータ, 101 カメラ, 102 本体, 103 ディスプレイ, 104 操作部, 121 顔検出部, 122 角度算出部, 123 変形部, 124 制御部

【特許請求の範囲】
【請求項1】
ユーザが表示部を視認する方向に応じて、前記表示部の表示画面に対して異なる奥行きをそれぞれ有する複数のオブジェクト毎に、前記オブジェクトの水平方向及び垂直方向の位置を表す2次元位置を変更する変更部と、
前記複数のオブジェクト毎に、前記オブジェクトの透明度を調整する透明度調整部と、
前記2次元位置が変更され、前記透明度が調整された前記複数のオブジェクトを重ね合わせて前記表示部に表示させる表示制御部と
を含む表示制御装置。
【請求項2】
前記複数のオブジェクトのうち、前記ユーザにより注目されている前記オブジェクトを検出する検出部をさらに含み、
前記透明度調整部は、ユーザにより注目されている前記オブジェクトの透明度を、前記ユーザにより注目されていない前記オブジェクトの透明度よりも低く調整する
請求項1に記載の表示制御装置。
【請求項3】
前記透明度調整部は、前記複数のオブジェクト毎の透明度を、それぞれ異なる透明度に調整する
請求項2に記載の表示制御装置。
【請求項4】
表示部にオブジェクトを表示させる表示制御装置の表示制御方法において、
前記表示制御装置による、
ユーザが表示部を視認する方向に応じて、前記表示部の表示画面に対して異なる奥行きをそれぞれ有する複数のオブジェクト毎に、前記オブジェクトの水平方向及び垂直方向の位置を表す2次元位置を変更する変更ステップと、
前記複数のオブジェクト毎に、前記オブジェクトの透明度を調整する透明度調整ステップと、
前記2次元位置が変更され、前記透明度が調整された前記複数のオブジェクトを重ね合わせて前記表示部に表示させる表示制御ステップと
を含む表示制御方法。
【請求項5】
コンピュータを、
ユーザが表示部を視認する方向に応じて、前記表示部の表示画面に対して異なる奥行きをそれぞれ有する複数のオブジェクト毎に、前記オブジェクトの水平方向及び垂直方向の位置を表す2次元位置を変更する変更部と、
前記複数のオブジェクト毎に、前記オブジェクトの透明度を調整する透明度調整部と、
前記2次元位置が変更され、前記透明度が調整された前記複数のオブジェクトを重ね合わせて前記表示部に表示させる表示制御部と
して機能させるためのプログラム。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate

【図9】
image rotate

【図10】
image rotate

【図11】
image rotate


【公開番号】特開2012−215913(P2012−215913A)
【公開日】平成24年11月8日(2012.11.8)
【国際特許分類】
【出願番号】特願2011−78823(P2011−78823)
【出願日】平成23年3月31日(2011.3.31)
【出願人】(000002185)ソニー株式会社 (34,172)
【Fターム(参考)】