説明

表示制御装置、表示制御方法およびコンピュータプログラム

【課題】透過ディスプレイを通して視点が物体を見るのに適した、透過ディスプレイの表示を可能とする。
【解決手段】第2の面の側に位置する物体から届く光を透過することによって、上記第2の面と反対の面である第1の面の側に位置する視点から上記物体を視認可能とする画面を有する透過ディスプレイの表示を制御する表示制御装置であって、上記透過ディスプレイと上記視点および上記物体との相対的な位置関係を示す位置情報を取得する取得部と、上記位置情報に基づいて、上記透過ディスプレイの表示を制御する表示制御部と、を備える表示制御装置が提供される。

【発明の詳細な説明】
【技術分野】
【0001】
本開示は、表示制御装置、表示制御方法およびコンピュータプログラムに関する。
【背景技術】
【0002】
近年、一方の面側から他方の面側に光を透過させる画面を有する透過ディスプレイが実現され、開発されている。透過ディスプレイは、一例として高分子分散液晶等の液晶により実現される。当該液晶は、印加電圧がオフ状態であれば光を散乱させ、印加電源がON状態であれば光を透過させる。
【0003】
下記特許文献1には、透過ディスプレイを有する携帯電話端末において、そのユーザが当該透過ディスプレイのいずれの面を見ているかによって、透過ディスプレイの画面に表示される文字や記号の向きを変える技術が記載されている。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開2010−183378号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかし、特許文献1に記載された技術では、ユーザの視点が透過ディスプレイを通して物体を見る際に、当該透過ディスプレイの画面内の文字や記号は、ユーザにとって好ましい状態で表示されるとは限らない。一例として、透過ディスプレイの画面に表示される文字や記号が、ユーザによる物体の視認を妨げることもあり得る。
【0006】
そこで、本開示では、透過ディスプレイを通して視点が物体を見るのに適した、透過ディスプレイの表示を可能とする、新規かつ改良された表示制御装置、表示制御方法、およびコンピュータプログラムを提案する。
【課題を解決するための手段】
【0007】
本開示によれば、第2の面の側に位置する物体から届く光を透過することによって、上記第2の面と反対の面である第1の面の側に位置する視点から上記物体を視認可能とする画面を有する透過ディスプレイの表示を制御する表示制御装置であって、上記透過ディスプレイと上記視点および上記物体との相対的な位置関係を示す位置情報を取得する取得部と、上記位置情報に基づいて、上記透過ディスプレイの表示を制御する表示制御部と、を備える表示制御装置が提供される。
【0008】
また、本開示によれば、第2の面の側に位置する物体から届く光を透過することによって、上記第2の面と反対の面である第1の面の側に位置する視点から上記物体を視認可能とする画面を有する透過ディスプレイの表示を制御する表示制御方法であって、上記透過ディスプレイと上記視点および上記物体との相対的な位置関係を示す位置情報を取得することと、上記位置情報に基づいて、上記透過ディスプレイの表示を制御することと、を含む表示制御方法が提供される。
【0009】
また、本開示によれば、第2の面の側に位置する物体から届く光を透過することによって、上記第2の面と反対の面である第1の面の側に位置する視点から上記物体を視認可能とする画面を有する透過ディスプレイに、直接的にまたは間接的に接続するコンピュータに、上記透過ディスプレイと上記視点および上記物体との相対的な位置関係を示す位置情報を取得することと、上記位置情報に基づいて、上記透過ディスプレイの表示を制御することと、を実行させるコンピュータプログラムが提供される。ここで、コンピュータプログラムは、コンピュータ読取り可能な記録媒体を用いて提供されてもよく、通信手段等を介して提供されてもよい。
【発明の効果】
【0010】
以上説明したように本開示によれば、透過ディスプレイを通して視点が物体を見るのに適した、透過ディスプレイの表示が可能となる。
【図面の簡単な説明】
【0011】
【図1】一実施形態に係る表示制御システムの一例を示す概略図である。
【図2】透過ディスプレイ、視点および物体の位置関係を説明する説明図である。
【図3】一実施形態に係る表示制御装置の論理的な構成の一例を示すブロック図である。
【図4】xz平面(水平面)における視点の方向を特定する手法を説明する説明図である。
【図5】xz平面(水平面)における視点の位置を説明する説明図である。
【図6】yz平面における視点の方向を特定する手法を説明する説明図である。
【図7】干渉領域の第1の例を説明するための説明図である。
【図8】干渉領域の第2の例を説明するための説明図である。
【図9】干渉領域の第3の例を説明するための説明図である。
【図10】干渉領域の第4の例を説明するための説明図である。
【図11】干渉領域を含む画面における表示オブジェクトの一例を説明するための説明図である。
【図12】干渉領域を含む画面における表示オブジェクトの他の例を説明するための説明図である。
【図13】干渉領域を含む画面内で移動する表示オブジェクトの例を説明するための説明図である。
【図14】干渉領域の変形例を説明するための説明図である。
【図15】表示位置が変化する表示オブジェクトの一例を説明するための説明図である。
【図16】表示属性が変化する表示オブジェクトの一例を説明するための説明図である。
【図17】表示オブジェクトの立体視のための表示位置の一例を説明するための説明図である。
【図18】立体視可能に表示される表示オブジェクトの一例を説明するための説明図である。
【図19】立体視可能に表示される表示オブジェクトの他の例を説明するための説明図である。
【図20】衝突防止オブジェクトの第1の例を説明するための説明図である。
【図21】衝突防止オブジェクトの表示のタイミングの一例を説明するための説明図である。
【図22】衝突防止オブジェクトの第2の例を説明するための説明図である。
【図23】物体の位置に応じた衝突防止オブジェクトの表示のタイミングの一例を説明するための説明図である。
【図24】一実施形態に係る表示制御装置のハードウェア構成の一例を示すブロック図である。
【図25】一実施形態に係る表示制御処理の概略的な処理の流れの第1の例を示すフローチャートである。
【図26】一実施形態に係る表示制御処理の概略的な処理の流れの第2の例を示すフローチャートである。
【図27】一実施形態に係る表示制御処理の概略的な処理の流れの第3の例を示すフローチャートである。
【発明を実施するための形態】
【0012】
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書および図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【0013】
なお、説明は以下の順序で行うものとする。
1.表示制御システムの概要
2.表示制御装置の構成
2.1.表示制御装置の論理的な構成
2.2.表示制御部
2.3.表示制御装置のハードウェア構成
3.処理の流れ
4.まとめ
【0014】
<1.表示制御システムの概要>
まず、図1を参照して、本開示の一実施形態に係る表示制御システムの概略構成について説明する。図1は、本実施形態に係る表示制御システム1の一例を示す概略図である。本実施形態に係る表示制御システム1は、透過ディスプレイ10、カメラ20および表示制御装置100を含む。なお、図1およびその他の図面には、3次元空間において直交する3つの軸を示すx軸、y軸、z軸が記載されている。より具体的には、x軸は透過ディスプレイの画面200の水平方向に平行な軸を示し、y軸は透過ディスプレイの画面200の垂直方向に平行な軸を示し、z軸は透過ディスプレイの画面200(xy平面)に垂直な軸を示す。
【0015】
(透過ディスプレイ10)
透過ディスプレイ10は、第2の面の側に位置する物体90から届く光を透過することによって、上記第2の面と反対の面である第1の面の側に位置する視点から上記物体90を視認可能とする画面200を有する表示装置である。透過ディスプレイ10は、当該画面200において、生成された表示画像を表示できる。表示される当該表示画像には、例えば、メニュー、図形、テキスト、アイコン、ウィンドウ等の表示オブジェクト230が含まれる。透過ディスプレイ10は、例えば、高分子散乱液晶(高分子分散液晶、ポリマーネットワーク液晶)を用いて実現され得る。透過ディスプレイ10は、他の液晶、有機EL(Organic Electro Luminescence display)等を用いて実現されてもよい。
【0016】
透過ディスプレイ10は、タッチ検出面を有するタッチパネル装置であってもよい。この場合に、透過ディスプレイの画面200に表示される表示オブジェクト230は、当該画面200上へのタッチに応じて表示位置を変えられてもよい。なお、タッチ検出のための方式として、抵抗膜方式、静電容量方式、光学方式、電磁誘導方式、超音波方式等の方式が適用されてもよいが、これらに限られずタッチ検出の任意の方式が適用され得る。
【0017】
また、透過ディスプレイ10は、その画面200に表示される表示オブジェクト230を立体視可能に表示する表示装置であってもよい。より具体的には、透過ディスプレイ10は、その画面200に、右眼用画像と左眼用画像を表示する。当該右眼用画像には、表示オブジェクト230の右眼用オブジェクトが含まれ、左眼用の表示画像には、表示オブジェクト230の左眼用オブジェクトが含まれる。画面200内における左眼用オブジェクトの表示位置と右眼用オブジェクトの表示位置との間には、左右方向(すなわちx軸方向)のオフセットが存在する。当該オフセットにより、画面200を見る人物の左右網膜において表示オブジェクト230の相対的な位置のずれ(すなわち両眼視差)が生じる。そしてこの両眼視差により、画面200からの表示オブジェクト230の奥行きが上記人物により知覚される。また、オフセットにより立体視可能に表示された表示オブジェクト230に視線を交差させる左眼および右眼の動き(すなわち輻輳)が起こる。この眼の動きの筋肉制御によっても、表示オブジェクト230の奥行きが上記人物により知覚される。立体視のための方式として、例えば、レンチキュラ方式、パララックスバリア方式等の裸眼型方式が用いられる。パララックスバリア方式およびレンチキュラ方式は、それぞれ画面200をスリットまたはレンチキュラレンズで覆うという単純な構造を有する。よって、透過ディスプレイ10においてもパララックスバリア方式およびレンチキュラ方式を適用可能である。なお、他の裸眼立体方式が用いられてもよく、または偏光フィルタ方式、液晶シャッタ方式等のメガネ型方式が用いられてもよい。このように、本実施形態では、透過ディスプレイ10で立体視表示を可能とする任意の方式が適用され得る。
【0018】
図2は、透過ディスプレイ10、視点80および物体90の位置関係を説明する説明図である。本実施形態では、透過ディスプレイ10の第1の面側(すなわち図2のAの方向)に視点80が位置し、透過ディスプレイ10の第2の面側(すなわち図2のBの方向)に物体90が位置する。そして、これらの3者の位置関係に基づいて、透過ディスプレイ10の表示が制御される。ここでの視点とは、典型的には、人物の両眼を意味する。また、視点は、カメラ(またはカメラのレンズ)を意味してもよい。すなわち、視点とは、物体90および表示オブジェクト230を視認または認識する任意の主体を意味する。ここでの物体90は、例えば、静止している物体である。なお、物体90は、動かされてもよく、人物、動物、機械等を含む自ら移動する物体であってもよい。
【0019】
(カメラ20)
カメラ20は、例えば、透過ディスプレイ10の第1の面側(すなわち図2のAの方向)に位置する人物を撮像する。図1に示されるように、カメラ20は、例えば、図1に示されるxz平面(すなわち水平面)において透過ディスプレイ10の中心と同じ位置に設置される。後述するように、当該カメラ20は、例えば水平画角2αと垂直画角2βを有する。当該水平画角と垂直画角が利用されて、視点80の方向が認識される。カメラ20は、撮像により得られたデジタル画像を表示制御装置100に出力する。なお、視点が人物の両眼以外の主体(例えば、カメラ)を意味する場合には、カメラ20は、当該主体を撮像してもよい。
【0020】
(表示制御装置100)
表示制御装置100は、透過ディスプレイ10の表示を制御する。本実施形態では、表示制御装置100は、とりわけ、透過ディスプレイ10と視点80および物体90との相対的な位置関係を示す位置情報を取得し、当該位置情報に基づいて、透過ディスプレイ10の表示を制御する。これにより、透過ディスプレイを通して視点が物体を見るのに適した、透過ディスプレイの表示が可能となる。表示制御装置100は、[2.表示制御装置の構成]において詳細に説明される。
【0021】
(その他)
なお、表示制御システム1は、透過ディスプレイ10、カメラ20および表示制御装置100以外の他の要素を有してもよい。例えば、表示制御システム1は、カメラ20に加えて、物体90を撮像するための追加のカメラを有してもよい。物体90の距離を測定するために、追加のカメラとして、例えば、ステレオカメラ、TOF(Time of flight)方式の距離画像センサ等の対象物の距離を測定可能なカメラが用いられる。当該追加のカメラにより、物体90の位置が移動したとしても、当該カメラにより物体90の位置を認識することが可能となる。なお、カメラ20も上記距離を測定可能なカメラであってもよい。
【0022】
また、表示制御システム1は、カメラ20または上記追加のカメラの代わりに、視点80または物体90の位置を認識するための情報を提供する別の装置を有してもよい。当該別の装置は、例えば、透過ディスプレイ10の第1の面側(すなわち図2のAの方向)または第2の面側(すなわち図2のBの方向)に配置された赤外線センサまたは圧力センサであってもよい。また、上記別の装置は、視点80の周辺部分または物体90に備えられた発信機からの電波を受信し、当該電波から視点80または物体90の位置を特定可能な情報を生成する受信装置であってもよい。本実施形態の表示制御システム1には、視点80または物体90の位置または距離を特定可能な情報を提供する任意の装置が含まれ得る。
【0023】
また、表示制御システム1は、カメラ20からのデジタル画像またはその他の装置からの情報から視点80または物体90の位置を認識する装置を有してもよい。その場合に、表示制御装置100は、視点80または物体90の位置を認識する機能を有していなくてもよい。また、表示制御システム1は、表示制御装置100による制御に応じて透過ディスプレイ10に表示する表示画像を生成する装置を有してもよい。その場合に、表示制御装置100は、表示画像を生成する機能を有していなくてもよい。
【0024】
また、表示制御システム1は、透過ディスプレイ10に表示される表示オブジェクト230を操作するための入力装置をさらに有してもよい。当該入力装置は、例えば、マウス、キーボード、タッチパネル、ボタン、スイッチ、レバー、リモートコントローラ、透過ディスプレイ10の操作に対応した携帯電話、PDA等の外部接続機器であってもよい。
【0025】
<2.表示制御装置の構成>
次に、図3〜24を参照して、本実施形態に係る表示制御装置100の構成について説明する。
【0026】
[2.1.表示制御装置の論理的な構成]
まず、図3〜6を参照して、本実施形態に係る表示制御装置100の論理的な構成の一例について説明する。図3は、本実施形態に係る表示制御装置100の論理的な構成の一例を示すブロック図である。図3を参照すると、表示制御装置100は、認識部110、取得部120、記憶部130、画像生成部140および表示制御部150を備える。
【0027】
(認識部110)
認識部110は、透過ディスプレイ10または物体90に対する視点80の相対的な位置を認識する。ここでの視点80の位置は、例えば透過ディスプレイ10の第1の面側に位置する人物の両眼の位置である。認識部110は、例えばカメラ20から取得したデジタル画像から、透過ディスプレイ10または物体90に対する視点80の相対的な位置を認識する。例えば、認識部110は、上記人物の顔の相対的な位置を認識することにより、透過ディスプレイ10または物体90に対する視点80の相対的な位置を認識する。ここでは、人物の顔の位置を認識することにより、視点80の位置を認識する手法について説明される。よって、位置の認識に関して、視点80は上記人物の顔と同義であることに留意する。
【0028】
認識部110は、例えば、図1に示されるxz平面(すなわち水平面)における、透過ディスプレイ10の中心からの視点80の方向と距離とを特定することにより、透過ディスプレイ10に対する視点80の相対的な位置を認識する。
【0029】
まず、透過ディスプレイ10の中心からの視点80の方向の特定手法を説明する。図4は、xz平面(水平面)における視点80の方向を特定する手法を説明する説明図である。図4の4−1を参照すると、カメラ20は、2αの水平画角を有する。また、視点80は、カメラ20の水平画角の中心から左側にθだけずれた角度に位置している。ここで、カメラ20は、図1に示されるように、xz平面において透過ディスプレイ10の中心と同じ位置に設置される。よって、視点80は、xz平面において、z軸に平行でかつ透過ディスプレイ10の中心を通る直線からθだけずれた角度に位置する。したがって、xz平面において、透過ディスプレイ10の中心からの視点80の方向は、当該θにより表される。なお、θは、視点80が左側にずれている場合には正の値で表され、視点80が右側にずれている場合には負の値で表されてもよく、またはその逆であってもよい。
【0030】
図4の4−2には、当該カメラ20により撮像されたデジタル画像22が示されている。認識部110は、デジタル画像22内の人物の顔を検出し、デジタル画像22の中央からの当該人物の顔(すなわち視点80)の距離dを得る。ここでは、例えばデジタル画像22の横幅を1(すなわち横幅の半分を0.5)とし、したがって上記距離dは0.5より小さい正数である。この場合に、以下の式が成り立つ。
【数1】

そして、上記(式1)を変形すると、以下の式が得られる。
【数2】

したがって、認識部110は、上記距離dと既知である水平画角αとを用いて上記θを得ることができる。このように、認識部110は、xz平面における、透過ディスプレイ10の中心からの視点80の方向θを特定できる。
【0031】
次に、透過ディスプレイ10の中心からの視点80の距離の特定手法を説明する。認識部110は、デジタル画像22から検出された上記人物の顔の大きさから、z軸方向におけるカメラ20からの視点80の距離Dを得ることができる。例えば、デジタル画像における上記人物の顔の大きさとカメラ20からのz軸方向における距離Dとを対応付けた情報(例えば、ルックアップテーブル)が予め記憶される。そして、認識部110は、検出された上記人物の顔の大きさから、それに対応付けられた距離を得る。なお、カメラ20からの距離Dを得るために、顔の大きさだけではなく、上記人物の両目間隔、推定される上記人物の年齢等の情報も用いられてもよい。ここで、カメラ20は、図1に示されるように、xz平面において透過ディスプレイ10の中心と同じ位置に設置されている。よって、z軸方向において、透過ディスプレイ10の中心からの視点80の距離は、カメラ20からの視点80の距離と同様にDとなる。したがって、z軸方向において、透過ディスプレイ10の中心からの視点80の距離は、Dにより表される。このように、認識部110は、透過ディスプレイ10の中心からの視点80のz軸方向の距離Dを特定できる。なお、xz平面において透過ディスプレイ10の中心とカメラ20の位置とが同じ位置でなくとも、両者間のオフセット距離が既知であれば、当該オフセット距離分だけ補正することにより透過ディスプレイ10と視点80との間の距離を特定できる。
【0032】
したがって、図5に示されるように、認識部110は、xz平面において、透過ディスプレイ10の中心からの視点80の方向θおよび距離Dを特定することにより、透過ディスプレイ10に対する視点80の相対的な位置を認識する。
【0033】
なお、図4および図5を用いて、xz平面について、透過ディスプレイ10に対する視点80の相対的な位置が説明されたが、yz平面についても、透過ディスプレイ10に対する視点80の相対的な位置が認識されてもよい。図6に示されるように、yz平面では、水平画角2αの代わりに、垂直画角2βが用いられ、デジタル画像22における距離dの代わりに、デジタル画像22における距離dが得られる。これらにより、上記で説明された手法で、カメラ20に対する視点80の方向θが得られる。また、カメラ20(または透過ディスプレイ10)の中心からの視点80の距離D(すなわちz軸方向の距離)は、yz平面においても同様に用いられる。ただし、yz平面では、カメラ20の位置と透過ディスプレイ10の中心の位置とが、y軸方向においてオフセット距離Doffsetだけ相違する。よって、方向θおよび距離Dから得られたカメラ20に対する視点80の相対的な位置からオフセット距離Doffsetだけy軸方向において補正された位置が、yz平面における、透過ディスプレイ10に対する視点80の相対的な位置となる。
【0034】
また、ここでは、透過ディスプレイ10対する視点80の相対的な位置の認識について説明されたが、物体90に対する視点80の相対的な位置が認識されてもよい。また、デジタル画像を用いた透過ディスプレイ10対する視点80の相対的な位置の認識について説明されたが、本実施形態はこれに限られない。例えば、赤外線センサ、圧力センサ、視点80の周辺部分または物体90に備えられた発信機からの電波を受信する受信装置等のカメラ以外の他の装置から得られた情報を用いて、透過ディスプレイ10に対する視点80の相対的な位置が認識されてもよい。
【0035】
また、認識部110は、透過ディスプレイ10または視点80に対する物体90の相対的な位置を認識してもよい。認識部110は、例えばカメラ20とは別の追加のカメラから得られたデジタル画像または赤外線センサ、圧力センサ等の別の装置から得られた情報から、透過ディスプレイ10または視点80に対する物体90の相対的な位置を認識してもよい。認識部110は、物体90の大きさも認識してもよい。
【0036】
また、認識部110は、カメラ20から得られたデジタル画像または赤外線センサ、圧力センサ等の他の装置から得られた情報から、透過ディスプレイの第1の面側に位置する人物または当該人物の体の一部(例えば、手)と透過ディスプレイ10との間の距離(以下、「接触距離」と呼ぶ)を認識してもよい。
【0037】
(取得部120)
取得部120は、透過ディスプレイ10と当該透過ディスプレイ10の第1の面側(すなわち図2のAの方向)に位置する視点80および当該透過ディスプレイ10の第2の面側(すなわち図2のBの方向)に位置する物体90との相対的な位置関係を示す位置情報を取得する。位置情報は、透過ディスプレイ10、視点80および物体90の相対的な位置関係を示す任意の情報である。位置情報は、例えば、透過ディスプレイ10に対する視点80の相対的な位置および透過ディスプレイ10に対する物体90の相対的な位置を含む情報である。この場合に、透過ディスプレイ10に対する視点80の相対的な位置は、例えば図5に示されるように、透過ディスプレイ10の中心からの視点80の顔の方向θおよび距離Dである。代わりに、位置情報は、物体90に対する視点80の相対的な位置および透過ディスプレイ10に対する物体90の相対的な位置を含む情報であってもよい。また、位置情報は、いずれかの位置に設定された原点に対する透過ディスプレイ10、視点80および物体90の位置を含む情報であってもよい。また、ここでの透過ディスプレイ10の位置、視点80の位置および物体90の位置は、それらの中心点に限らず、それらの中にまたは近傍に含まれるいずれかの点であってもよい。当該いずれかの点は、2つ以上の点であってもよく、または2つ以上の点を含む範囲であってもよい。また、位置情報は、物体90の大きさを含む情報であってもよい。また、位置情報は、xz平面(すなわち水平面)における相対的な位置関係だけではなく、yz平面の相対的な位置情報を含んでもよい。
【0038】
より具体的には、取得部120は、例えば、透過ディスプレイ10または物体90に対する視点80の相対的な位置を、認識部110から取得する。また、取得部120は、例えば、透過ディスプレイ10に対する物体90の相対的な位置を、記憶部130から取得する。なお、認識部110が透過ディスプレイ10に対する物体90の相対的な位置を認識する場合には、取得部120は、透過ディスプレイ10に対する物体90の相対的な位置を、認識部110から取得してもよい。また、取得部120は、物体90の大きさも取得してもよい。
【0039】
また、取得部120は、透過ディスプレイの第1の面側に位置する人物または当該人物の体の一部と透過ディスプレイ10との間の第1の距離である接触距離をさらに取得してもよい。取得部120は、例えば、当該接触距離を認識部110から取得してもよい。
【0040】
(記憶部130)
記憶部130は、表示制御装置100において一時的にまたは恒久的に保持すべき情報を記憶する。本実施形態では、記憶部130は、例えば、透過ディスプレイ10に対する物体90の相対的な位置を記憶する。透過ディスプレイ10に対する物体90の相対的な位置は、例えば、表示制御装置100の管理者により設定され、記憶部130に記憶される。なお、透過ディスプレイ10に対する物体90の相対的な位置は、認識部110により認識され、記憶部130に記憶されてもよい。この場合に、認識部110は、物体90が頻繁に移動しないことを前提に、認識の頻度を少なくしてもよい。また、記憶部130は、物体90の大きさも記憶してもよい。当該物体90の大きさも、表示制御装置100の管理者により設定されてもよく、または認識部110により認識されてもよい。
【0041】
また、記憶部130は、透過ディスプレイ10の画面20に表示される表示画像を生成するために必要な情報を記憶する。例えば、記憶部130は、表示画像に含まれる表示オブジェクト230を表示するために必要な、表示オブジェクト230の表示位置および表示属性を記憶する。当該表示オブジェクト230の表示位置および表示属性は、表示制御部150による表示制御において、決定されまたは変更され得る。
【0042】
(画像生成部140)
画像生成部140は、表示制御部150による制御に応じて、透過ディスプレイ10の画面200に表示するための表示画像を生成する。画像生成部140は、例えば、メニュー、図形、テキスト、アイコン、ウィンドウ等の表示オブジェクト230を含む表示画像を生成する。画像生成部140は、透過ディスプレイ10に当該表示画像を出力する。
【0043】
透過ディスプレイ10が、その画面200に表示される表示オブジェクト230を立体視可能に表示する表示装置である場合に、画像生成部140は、右眼用画像と左眼用画像を生成してもよい。
【0044】
(表示制御部150)
表示制御部150は、透過ディスプレイ10の表示を制御する。本実施形態では、表示制御部150は、とりわけ、透過ディスプレイ10と視点80および物体90との相対的な位置関係を示す位置情報に基づいて、透過ディスプレイ10の表示を制御する。表示制御部150による具体的な表示制御の例を以下の[2.2.表示制御部]において説明する。
【0045】
[2.2.表示制御部]
次に、図7〜23を参照して、本実施形態に係る表示制御装置100の具体的な表示制御の第1の例〜第3の例を説明する。
【0046】
(表示制御の第1の例)
表示制御の第1の例として、表示制御部150は、視点80が透過ディスプレイ10の画面200を通して物体90を視認可能に、透過ディスプレイ10の表示を制御する。より具体的には、表示制御部150は、上記位置情報に基づいて透過ディスプレイ10の画面200における領域(以下、「干渉領域」と呼ぶ)を決定し、視点80が当該干渉領域を通して物体90を視認可能に、透過ディスプレイ10の表示を制御する。
【0047】
決定される干渉領域は、例えば、位置情報における視点80の位置および物体90の位置を通る直線と透過ディスプレイ10の画面200との交点を含み、または当該交点の周囲に存在する。図7〜10は、干渉領域の第1から第4の例を説明するための説明図である。図7を参照すると、干渉領域220は、例えば、視点80の位置および物体90の位置を通る直線と透過ディスプレイの画面200とが交わる交点210を中心とし、幅Wを有する。当然のことながら、干渉領域220は交点210を中心としなくてもよい。当該幅Wは、物体90の大きさに応じて変えられてもよい。図8を参照すると、例えば、より大きい物体90が位置する場合に、干渉領域220は幅Wよりも広い幅Wを有してもよい。また、上記幅Wは、透過ディスプレイ10と視点80との距離または透過ディスプレイ10と物体90との距離に応じて変えられてもよい。図9を参照すると、例えば9−1に示されるように、透過ディスプレイ10と視点80との距離がより小さい場合に、干渉領域220は幅Wよりも狭い幅Wを有してもよい。また、例えば9−2に示されるように、透過ディスプレイ10と物体90との距離がより小さい場合に、干渉領域220は幅Wよりも広い幅Wを有してもよい。また、図10を参照すると、干渉領域220は、例えば、視点80の位置および物体90の2つの位置を通る2つの直線と透過ディスプレイの画面200とが交わる2つの交点210aおよび210bを含んでもよい。ここでは、物体90の2つの位置は、例えば物体90のx軸方向における両端の位置である。そして、干渉領域220は、交点210aおよび210bの間の幅と余分に加えられる2つの幅Wを足しあわせた幅を有する。なお、干渉領域220が、交点210を含む例を説明したが、干渉領域220は、当該交点210を除く領域であってもよい。すなわち、干渉領域220は、当該交点の周囲に存在してもよい。このように干渉領域を決定することで、視点80による物体90の視認を可能にするために制御されるべき領域と制御されなくてもよい領域とが、明確に切り分けられる。その結果、制御されるべき領域では、上記視認を妨げないように表示オブジェクト230の表示を制御しつつも、制御されなくてもよい領域では、表示オブジェクト230を自由に表示することができる。また、視点80の位置および物体90の位置を通る直線と透過ディスプレイ10の画面200との交点を含む(または交点の周辺に存在する)領域が干渉領域として決定されることで、視点80による物体90の視認を妨げやすい領域を含む干渉領域が得られる。
【0048】
表示制御部150は、様々な手法により、視点80が干渉領域220を通して物体90を視認可能に、透過ディスプレイ10の表示を制御する。表示制御部150は、例えば、決定された干渉領域220内に表示オブジェクト230を表示させないことにより、透過ディスプレイ10の表示を制御してもよい。図11は、干渉領域220を含む画面200における表示オブジェクト230の一例を説明するための説明図である。図11を参照すると、テキストである表示オブジェクト230aは、干渉領域220に含まれないように表示されている。このように干渉領域220内で表示オブジェクト230を表示させないことで、物体90は、当該表示オブジェクト230によって隠されない。すなわち、透過ディスプレイ10の画面200に表示オブジェクト230が表示されたとしても、視点80にとっての物体90の見易さは維持される。また、表示制御部150は、例えば、決定された干渉領域220内の表示オブジェクト230の表示属性を、視点80が物体90を視認可能な表示属性とすることにより、透過ディスプレイ10の表示を制御してもよい。ここでの表示属性は、表示オブジェクト230の透明度、色、表示のオン/オフ、大きさ、形状、縦横比、回転角度等の表示オブジェクト230の表示に関する任意の属性である。図12は、干渉領域220を含む画面200における表示オブジェクト230の他の例を説明するための説明図である。図12を参照すると、テキストである表示オブジェクト230aは、干渉領域220において透明度を上げて表示されている。代わりに、表示オブジェクト230aは、大きさを大幅に小さくして表示されてもよく、または目立たない色で表示されてもよい。このように干渉領域220内で表示オブジェクト230の表示属性を変えることで、物体90は、当該表示オブジェクト230によってほとんど隠されない。すなわち、透過ディスプレイ10の画面200に表示オブジェクト230が表示されたとしても、視点80にとっての物体90の見易さは維持される。また、表示制御部150は、例えば、透過ディスプレイ10に表示画面全体を表示しないことにより(すなわち表示をオフに切替えることにより)、透過ディスプレイ10の表示を制御してもよい。
【0049】
また、表示オブジェクト230は、ユーザ操作により表示位置を変えられる表示オブジェクトであってもよい。図13は、干渉領域220を含む画面200内で移動する表示オブジェクトの例を説明するための説明図である。図13を参照すると、13−1に示されるように、テキストである表示オブジェクト230aが、タッチ操作等のユーザ操作により、干渉領域220が存在するCの方向に表示位置を変えられる。すると、13−2に示されるように、表示オブジェクト230aは、例えば、干渉領域220には表示されず、別の領域に表示される。または、13−3に示されるように、表示オブジェクト230aは、例えば、干渉領域220で透明度を上げて表示される。このようなユーザ操作により表示位置を変えられる表示オブジェクトにより、物体90の見易さは維持されつつ、視点80による自由な操作が可能となる。
【0050】
また、視点80は、2つ以上の視点であり、表示制御部150は、2つ以上の視点のうちの少なくともいずれか1つが物体90を視認可能に、透過ディスプレイ10の表示を制御してもよい。図14は、干渉領域220の変形例を説明するための説明図である。図14−1に示されるように、表示制御部150は、例えば、視点80aについての干渉領域220aと視点80bについての干渉領域220bとを決定する。そして、表示制御部150は、視点80aおよび視点80bの両方がそれぞれ干渉領域220aまたは干渉領域220bを通して物体90を視認可能に、透過ディスプレイ10の表示を制御する。このような制御によれば、2つ以上の視点にとっての物体90の見易さが維持される。なお、表示制御部150は、視点80aおよび視点80bのうちのいずれか一方の干渉領域(すなわち干渉領域220aまたは干渉領域220b)のみを決定してもよい。このような制御によれば、少なくとも1つの視点にとっての物体90の見易さが維持されつつ、表示オブジェクト230による情報が当該視点に伝えられる。
【0051】
また、ここまで画面200の水平方向(すなわちx軸方向)で幅を制限された干渉領域200について説明されたが、表示制御部150は、さらに画面200の垂直方向(すなわちy軸方向)でも幅を制限された干渉領域200を決定してもよい。位置情報の中に水平方向の相対的な位置関係のみではなく垂直方向の相対的な位置関係も含まれていれば、垂直方向の幅は水平方向の幅と同様の手法で決定され得る。干渉領域200は、例えば図14−2に示されるような、水平方向の幅および垂直方向の幅を制限された領域であってもよい。このような水平方向の幅および垂直方向の幅を制限された干渉領域200により、視点80にとっての物体90の見易さが維持しつつ、より広い領域に表示オブジェクト230を表示することが可能となる。
【0052】
以上、表示制御部150による表示制御の第1の例が説明されたが、当該表示制御によれば、透過ディスプレイ10の画面200に表示オブジェクト230が表示されたとしても、視点80にとっての物体90の見易さは維持される。
【0053】
(表示制御の第2の例)
表示制御の第2の例として、表示制御部150は、位置情報に基づいて、透過ディスプレイ10の画面200に表示される表示オブジェクト230の表示位置または表示属性を決定することにより、透過ディスプレイ10の表示を制御する。
【0054】
表示制御部150は、例えば、位置情報における透過ディスプレイ10に対する視点80の相対的な位置または物体90の相対的な位置の変化に応じて、表示オブジェクト230の表示位置を変化させる。より具体的には、表示制御部150は、例えば、位置情報における視点80の位置および物体90の位置を通る直線と透過ディスプレイ10の画面200との交点の位置の変化に応じて、表示オブジェクト230の表示位置を変化させる。図15は、表示位置が変化する表示オブジェクトの一例を説明するための説明図である。図15を参照すると、15−1および15−2に示されるように、値段を示す表示オブジェクト230bは、交点210から所定の距離Lだけ離れた位置に表示されている。その後、視点80の位置の変化に伴い交点210の位置も移動すると、15−3および15−4に示されるように、物体90の値段を示す表示オブジェクト230bの位置は、交点210から所定の距離Lだけ離れた位置を維持するように変化する。ここでの所定の距離Lは、固定の距離であってもよく、または交点210の位置に応じて変化する距離であってもよい。このような視点80または物体90の位置の変化に応じた表示オブジェクト230の表示位置の変化により、視点80の位置によらず、視点80に見せたい位置に表示オブジェクト230を表示できる。とりわけ、交点210の変化に応じて表示オブジェクト230の表示位置を変化させることで、例えば、表示オブジェクト230を物体90に追従させることができる。したがって、視点80がどこから物体90を見ているかによらず、表示オブジェクト230を物体90の近傍に表示することができる。その結果、視点80は、表示オブジェクト230と物体90との両方をより容易にあわせて見ることができ、また表示オブジェクト230と物体90との関連をより容易に把握することができる。
【0055】
また、表示制御部150は、例えば、位置情報における透過ディスプレイ10に対する視点80の相対的な位置または物体90の相対的な位置の変化に応じて、表示オブジェクト230の表示属性を変化させる。既に説明されたとおり、表示属性は、表示オブジェクト230の透明度、色、表示のオン/オフ、大きさ、形状、縦横比、回転角度等の表示オブジェクト230の表示に関する任意の属性である。図16は、表示属性が変化する表示オブジェクトの一例を説明するための説明図である。図16を参照すると、16−1および16−2に示されるように、角丸の四角形である表示オブジェクト230cが、物体90を囲むように表示されている。その後、視点80の位置が透過ディスプレイ10により近い位置へと変化すると、16−3および16−4に示されるように、視点80が物体90を見るための画面200内の範囲が狭くなるにつれて、角丸の四角形である表示オブジェクト230cの大きさは、より小さくなる。このように、視点80または物体90の位置の変化に応じて表示オブジェクト230の表示属性を変化させることで、視点80がどの位置にいたとしても、視点80に見せたい属性で表示オブジェクトを表示することができる。
【0056】
以上、表示制御部150による表示制御の第1の例が説明されたが、当該制御によれば、視点80がどの位置から物体90を見るとしても、表示オブジェクト230についてより好ましい表示を実現することができる。
【0057】
(表示制御の第3の例)
表示制御の第3の例では、透過ディスプレイ10は、表示オブジェクト230を立体視可能に表示し、表示制御部150は、位置情報に基づいて、表示オブジェクト230の立体視のための表示位置または表示属性を決定する。
【0058】
ここでの立体視のための表示位置は、例えば、立体視によって視点80により知覚させる、表示オブジェクト230の3次元空間内の位置である。この場合に、立体視のための表示位置は、画面200の座標(例えば(x,y))と、当該画面200から当該画面200に垂直な方向への奥行き(例えばz)とを含む3次元空間内の座標(例えば(x,y,z))であってもよい。このような3次元空間内の位置から、画像生成部140は、画面200(または左眼用画像)内における左眼用オブジェクトの表示位置および画面200(または右眼用画像)内における右眼用オブジェクトの表示位置を特定できる。または、画像生成部140は、上記3次元空間内の位置に基づき、立体視用のレンダリングを行うことにより、左眼用オブジェクトを含む左眼用画像と、右眼用オブジェクトを含む右眼用画像とを直接的に生成することができる。なお、立体視のための表示位置は、画面200(または左眼用画像)内における左眼用オブジェクトの表示位置、および画面200(または右眼用画像)内における右眼用オブジェクトの表示位置そのものであってもよい。
【0059】
図17は、表示オブジェクトの立体視のための表示位置の一例を説明するための説明図である。図17を参照すると、左眼82のための左眼用オブジェクト230eおよび右眼84のための右眼用オブジェクト230fが、オフセットOを伴って画面200上に表示される。その結果、当該オフセットOによる両眼視差が生じ、視点80は、表示オブジェクト230dの奥行きD(すなわちz軸方向におけるD)を知覚する。ここで、立体視のための表示位置は、例えば、立体視によって視点80により知覚させる、表示オブジェクト230dの3次元空間内の位置(例えば、座標(x,y,z))である。または、立体視のための表示位置は、画面200(または左眼用画像)内における左眼用オブジェクト230eの表示位置および画面200(または右眼用画像)内における右眼用オブジェクト230fの表示位置であってもよい。
【0060】
また、ここでの立体視のための表示属性は、表示オブジェクト230の透明度、色、表示のオン/オフ、大きさ、形状、縦横比、回転角度等の表示オブジェクト230の表示に関する任意の属性である。例えば、上記形状は、空間における3次元の形状であってもよく、上記回転角度は、空間における3次元の回転角度であってもよい。
【0061】
表示制御部150は、例えば、透過ディスプレイ10の第1の面側から第2の面側に向かう方向(すなわち、図2のBの方向、またはz軸の正の方向)への奥行きで表示オブジェクト230が立体視可能に表示されるように、表示オブジェクトの立体視のための表示位置を決定する。図18は、立体視可能に表示される表示オブジェクト230の一例を説明するための説明図である。図18を参照すると、表示制御部150は、表示オブジェクト230gがBの方向(すなわちz軸の正の方向)への奥行きで立体視可能に表示されるように、表示オブジェクト230gの立体視のための表示位置を決定している。このような表示位置の決定により、視点80により知覚される表示オブジェクト230の奥行きは、物体90が存在する位置の画面200からの実際の奥行きにより近くなる。その結果、視点80は、焦点を大きく変えることなく、物体90と表示オブジェクト230とを見ることができる。その結果、物体90および表示オブジェクト230をあわせて見ることが視点80にとってより容易になり、また視点80の眼精疲労を少なくすることができる。
【0062】
表示制御部150は、例えば、位置情報における視点80の位置または物体90の位置の変化に応じて表示オブジェクト230の立体視のための表示位置または表示属性を変化させる。図19を参照すると、視点80の位置が、図18における視点80の位置から変化している。この場合に、表示オブジェクト230dが物体90を指し示す状態を維持するように、表示オブジェクト230dの表示位置および表示属性(回転角度)も変化している。このような視点80または物体90の位置の変化に応じた表示オブジェクト230の立体視のための表示位置または表示属性の変化により、視点80の位置によらず、視点80に見せたい空間内の位置または属性で、表示オブジェクト230を表示できる。例えば、3次元空間において表示オブジェクト230を物体90に追従させることができる。したがって、視点80がどこから物体90を見ているかによらず、表示オブジェクト230を物体90の近傍に表示することができる。その結果、視点80は、表示オブジェクト230と物体90との両方をあわせて見ることができ、また表示オブジェクト230と物体90との関連をより容易に把握することが可能となる。
【0063】
表示制御部150は、透過ディスプレイ10の第1の面側に位置する人物に透過ディスプレイ10の存在に気付かせる表示オブジェクト(以下、「衝突防止オブジェクト」と呼ぶ)を表示させてもよい。図20は、衝突防止オブジェクトの第1の例を説明するための説明図である。図20を参照すると、例えば、静止している4つの丸型の衝突防止オブジェクト250aが、透過ディスプレイ10の画面200に表示される。また、表示制御部150は、上記人物または当該人物の体の一部(例えば手)と透過ディスプレイ10との間の距離である接触距離に応じて、衝突防止オブジェクト250を表示させてもよい。図21は、衝突防止オブジェクト250の表示のタイミングの一例を説明するための説明図である。図21を参照すると、例えば、接触距離Dが所定の閾値Dを下回った場合に、衝突防止オブジェクト250が表示される。また、図22は、衝突防止オブジェクトの第2の例を説明するための説明図である。図22を参照すると、例えば、接触距離Dが所定の閾値Dを下回った場合に、上記人物により動的に飛び出すように知覚される衝突防止オブジェクト250bが、透過ディスプレイ10の画面200に表示されてもよい。このような衝突防止オブジェクト250の表示により、上記人物が、透過ディスプレイ10の存在に気付かずに物体90に触れようとした結果、透過ディスプレイ10に衝突する、という事態を防ぐことができる。また、接触距離に応じて衝突防止オブジェクト250を表示させることにより、衝突の危険性がない場合には、衝突防止オブジェクトを非表示にできる。その結果、表示オブジェクト230をより広い範囲で表示することが可能となり、また視点80による物体90の見易さが担保される。
【0064】
また、表示制御部150は、位置情報における透過ディスプレイ10の位置と物体90の位置との間の距離(以下、「物体設置距離」と呼ぶ)がより短い程、接触距離がより長くても、上記人物に衝突防止オブジェクト250を表示させてもよい。図23は、物体90の位置に応じた衝突防止オブジェクト250の表示のタイミングの一例を説明するための説明図である。図23を参照すると、例えば、23−1のように物体設置距離Dがより大きい場合よりも、23−2のように物体設置距離Dがより小さい場合の方が、接触距離Dの所定の閾値Dがより大きくなる。一般的に、物体90がより近くにある程、上記人物は物体90をより触りやすいと感じる。よって、上記のように衝突防止オブジェクト250の表示のタイミングを設定することで、上記人物が物体90を触ろうとする可能性が高い場合に、衝突防止オブジェクト250をより早く表示させ、より高い確率で衝突を防止することができる。
【0065】
以上、表示制御部150による表示制御の第3の例が説明されたが、当該表示制御によれば、視点80がどの位置から物体90を見るとしても、表示オブジェクト230についてより好ましい立体視表示を実現することができる。
【0066】
[2.3.表示制御装置のハードウェア構成]
次に、図24を参照して、本実施形態に係る表示制御装置100のハードウェア構成の一例について説明する。図24は、一実施形態に係る表示制御装置100のハードウェア構成の一例を示すブロック図である。図24を参照すると、表示制御装置100は、CPU(Central Processing Unit)181、ROM(Read Only Memory)183、RAM(Random Access Memory)185、GPU(Graphics Processing Unit)187、バス189、記憶装置191、および入出力インターフェース193を含む。
【0067】
CPU181は、演算処理装置および制御装置として機能し、ROM183、RAM185、または記憶装置191に記録された各種プログラムに従って、表示制御装置100内の動作全般またはその一部を制御する。ROM183は、CPU181が使用するプログラムや演算パラメータ等を記憶する。RAM185は、CPU181が使用するプログラムや、プログラムの実行において適宜変化するパラメータ等を一次記憶する。GPU187は、表示画面の生成をはじめとする、表示装置(例えば透過ディスプレイ10)の表示に関する様々な処理を行う。バス189は、CPU181、ROM183、RAM185およびGPU187を相互に接続する。バス189には、さらに、記憶装置191および入出力インターフェース193が接続される。
【0068】
記録媒体191は、例えば、OS(Operating System)などの基本ソフトウェアや、アプリケーションなど様々なデータを記憶する。ここで、記録媒体191としては、例えば、ハードディスク(Hard Disk)などの磁気記録媒体や、EEPROM(Electrically Erasable and Programmable Read Only Memory)、フラッシュメモリ(flash memory)、MRAM(Magnetoresistive Random Access Memory)、FeRAM(Ferroelectric Random Access Memory)、PRAM(Phase change Random Access Memory)などの不揮発性メモリ(nonvolatile memory)が挙げられるが、上記に限られない。
【0069】
入出力インターフェース193は、例えば、透過ディスプレイ10、カメラ20等を接続する。ここで、入出力インターフェース193としては、例えば、USB(Universal Serial Bus)端子や、DVI(Digital Visual Interface)端子、HDMI(High-Definition Multimedia Interface)端子などが挙げられるが、上記に限られない。
【0070】
<3.処理の流れ>
以下では、図25〜27を用いて、本実施形態に係る表示制御処理の第1〜第3の例について説明する。
【0071】
(表示制御処理の第1の例)
図25は、本実施形態に係る表示制御処理の概略的な処理の流れの第1の例を示すフローチャートである。表示制御処理の第1の例では、透過ディスプレイ10と視点80および物体90との相対的な位置関係を示す位置情報に基づいて、透過ディスプレイ10の画面200に表示される表示オブジェクト230の表示位置または表示属性が決定されることで、透過ディスプレイ10の表示が制御される。
【0072】
図25を参照すると、まずステップS310で、認識部110は、透過ディスプレイ10または物体90に対する視点80の相対的な位置を認識する。
【0073】
次に、ステップS320で、取得部120は、透過ディスプレイ10と視点80および物体90との相対的な位置関係を示す位置情報を取得する。
【0074】
次に、ステップ330で、表示制御部は、位置情報に基づいて、透過ディスプレイ10の画面200に表示される表示オブジェクト230の表示位置または表示属性を決定する。
【0075】
そして、ステップ340で、画像生成部140は、決定された表示位置または表示属性に基づいて、透過ディスプレイ10の画面200に表示するための、表示オブジェクト230を含む表示画像を生成する。
【0076】
(表示制御処理の第2の例)
図26は、本実施形態に係る表示制御処理の概略的な処理の流れの第2の例を示すフローチャートである。表示制御処理の第2の例では、表示制御処理の第1の例のステップS330において、視点80が透過ディスプレイ10の画面200を通して物体90を視認可能に、表示オブジェクト230の表示位置が決定される。ここでは、表示制御処理の第2の例と図25にて示された表示制御処理の第1の例との差分であるステップS332、S334およびS336のみを説明する。
【0077】
ステップS332では、表示制御部150は、透過ディスプレイ10と視点80および物体90との相対的な位置関係を示す位置情報に基づいて干渉領域220を決定する。
【0078】
次に、ステップS334では、表示制御部150は、表示画像内に含まれる表示オブジェクト230のうち干渉領域220と重なる表示オブジェクトがあるか否かを判定する。干渉領域220と重なる表示オブジェクト230があれば、処理はステップS336へ進む。一方で、干渉領域220と重なる表示オブジェクト230がなければ、処理はステップS340へ進む。
【0079】
また、ステップS336では、表示制御部150は、干渉領域220と重なる表示オブジェクト230の表示位置を、干渉領域220と当該表示オブジェクト230とが重ならないように変更する。
【0080】
(表示制御処理の第3の例)
図27は、本実施形態に係る表示制御処理の概略的な処理の流れの第3の例を示すフローチャートである。表示制御処理の第3の例では、表示制御処理の第1の例のステップS330において、視点80または物体90の位置の変化に応じて表示オブジェクト230の表示位置を変化させる。ここでは、表示制御処理の第3の例と図25にて示された表示制御処理の第1の例との差分であるステップS338およびS339のみを説明する。
【0081】
ステップS338では、表示制御部150は、位置情報における視点80の位置および物体90の位置を通る直線と透過ディスプレイ10の画面200との交点を特定する。
【0082】
次に、ステップS339では、表示制御部150は、上記交点の位置に応じて表示オブジェクト230の位置を決定する。
【0083】
<4.まとめ>
ここまで、図1〜27を用いて、本開示の一実施形態に係る表示制御システム1および表示制御装置100について説明した。本実施形態によれば、透過ディスプレイ10を通して視点80が物体90を見るのに適した、透過ディスプレイ10の表示が可能となる。
【0084】
例えば、第1の表示制御によれば、視点80が透過ディスプレイ10の画面200を通して物体90を視認可能に、透過ディスプレイ10の表示が制御される。これにより、透過ディスプレイ10の画面200に表示オブジェクト230が表示されたとしても、視点80にとっての物体90の見易さは維持される。
【0085】
また、第2の表示制御によれば、位置情報に基づいて透過ディスプレイ10の画面200に表示される表示オブジェクト230の表示位置または表示属性を決定することにより、透過ディスプレイの表示が制御される。これにより、視点80がどの位置から物体90を見るとしても、表示オブジェクト230についてより好ましい表示を実現することができる。
【0086】
また、第3の表示制御によれば、位置情報に基づいて表示オブジェクト230の立体視のための表示位置または表示属性を決定することにより、透過ディスプレイ10の表示が制御される。これにより、視点80がどの位置から物体90を見るとしても、表示オブジェクト230についてより好ましい立体視表示を実現することができる。
【0087】
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
【0088】
例えば、上記実施形態では、認識部および画像生成部を備える表示制御装置が説明されたが、本技術はかかる例に限定されない。例えば、表示制御装置は、取得部および画像生成部を備えず、表示制御装置と直接的にまたは間接的に接続される別の装置が、認識部および画像生成部を備えてもよい。
【0089】
なお、以下のような構成も本開示の技術的範囲に属する。
(1)
第2の面の側に位置する物体から届く光を透過することによって、前記第2の面と反対の面である第1の面の側に位置する視点から前記物体を視認可能とする画面を有する透過ディスプレイの表示を制御する表示制御装置であって、
前記透過ディスプレイと前記視点および前記物体との相対的な位置関係を示す位置情報を取得する取得部と、
前記位置情報に基づいて、前記透過ディスプレイの表示を制御する表示制御部と、
を備える表示制御装置。
(2)
前記表示制御部は、前記位置情報に基づいて、前記透過ディスプレイの前記画面に表示される表示オブジェクトの表示位置または表示属性を決定することにより、前記透過ディスプレイの表示を制御する、前記(1)に記載の表示制御装置。
(3)
前記表示制御部は、前記視点が前記透過ディスプレイの前記画面を通して前記物体を視認可能に、前記透過ディスプレイの表示を制御する、前記(1)または(2)に記載の表示制御装置。
(4)
前記表示制御部は、前記位置情報に基づいて前記透過ディスプレイの前記画面における領域を決定し、前記視点が前記領域を通して前記物体を視認可能に、前記透過ディスプレイの表示を制御する、前記(3)に記載の表示制御装置。
(5)
決定される前記領域は、前記位置情報における前記視点の位置および前記物体の位置を通る直線と前記透過ディスプレイの前記画面との交点を含み、または当該交点の周囲に存在する、前記(4)に記載の表示制御装置。
(6)
前記表示制御部は、決定された前記領域内に表示オブジェクトを表示させないことにより、前記透過ディスプレイの表示を制御する、前記(4)または(5)に記載の表示制御装置。
(7)
前記表示制御部は、決定された前記領域内の表示オブジェクトの表示属性を、前記視点が前記物体を視認可能な表示属性とすることにより、前記透過ディスプレイの表示を制御する、前記(4)または(5)に記載の表示制御装置。
(8)
前記表示オブジェクトは、ユーザ操作により表示位置を変えられる表示オブジェクトである、前記(6)または(7)に記載の表示制御装置。
(9)
前記視点は、2つ以上の視点であり、
前記表示制御部は、前記2つ以上の視点のうちの少なくともいずれか1つが前記物体を視認可能に、前記透過ディスプレイの表示を制御する、
前記(3)から(8)のいずれか1項に記載の表示制御装置。
(10)
前記表示制御部は、前記位置情報における前記透過ディスプレイに対する前記視点の相対的な位置または前記物体の相対的な位置の変化に応じて前記表示オブジェクトの表示位置または表示属性を変化させる、前記(2)に記載の表示制御装置。
(11)
前記表示制御部は、前記位置情報における前記視点の位置および前記物体の位置を通る直線と前記透過ディスプレイの前記画面との交点の位置の変化に応じて、前記表示オブジェクトの表示位置を変化させる、前記(10)に記載の表示制御装置。
(12)
前記透過ディスプレイは、前記表示オブジェクトを立体視可能に表示し、
前記表示制御部は、前記位置情報に基づいて、前記表示オブジェクトの立体視のための表示位置または表示属性を決定する、
前記(2)に記載の表示制御装置。
(13)
前記表示制御部は、前記透過ディスプレイの前記第1の面側から前記第2の面側に向かう方向への奥行きで表示オブジェクトが立体視されるように、前記表示オブジェクトの立体視のための表示位置を決定する、前記(12)に記載の表示制御装置。
(14)
前記表示制御部は、前記位置情報における前記視点の位置または前記物体の位置の変化に応じて、前記表示オブジェクトの立体視のための表示位置または表示属性を変化させる、前記(12)または(13)に記載の表示制御装置。
(15)
前記表示制御部は、前記透過ディスプレイの第1の面側に位置する人物に前記透過ディスプレイの存在に気付かせる表示オブジェクトを表示させる、前記(12)から(14)のいずれか1項に記載の表示制御装置。
(16)
前記取得部は、前記人物または当該人物の体の一部と前記透過ディスプレイとの間の第1の距離をさらに取得し、
前記表示制御部は、前記第1の距離に応じて、前記人物に前記透過ディスプレイの存在に気付かせる前記表示オブジェクトを表示させる、
前記(15)に記載の表示制御装置。
(17)
前記表示制御部は、前記位置情報における前記透過ディスプレイの位置と前記物体の位置との間の第2の距離がより短い程、前記第1の距離がより長くても、前記人物に前記透過ディスプレイの存在に気付かせる前記表示オブジェクトを表示させる、前記(16)に記載の表示制御装置。
(18)
前記視点は、前記透過ディスプレイの第1の面側に位置する人物の両眼であり、
前記表示制御装置は、前記透過ディスプレイまたは前記物体に対する前記人物の顔の相対的な位置を認識することにより、前記透過ディスプレイまたは前記物体に対する前記視点の相対的な位置を認識する、
(1)から(17)のいずれか1項に記載の表示制御装置。
(19)
第2の面の側に位置する物体から届く光を透過することによって、前記第2の面と反対の面である第1の面の側に位置する視点から前記物体を視認可能とする画面を有する透過ディスプレイの表示を制御する表示制御方法であって、
前記透過ディスプレイと前記視点および前記物体との相対的な位置関係を示す位置情報を取得することと、
前記位置情報に基づいて、前記透過ディスプレイの表示を制御することと、
を含む表示制御方法。
(20)
第2の面の側に位置する物体から届く光を透過することによって、前記第2の面と反対の面である第1の面の側に位置する視点から前記物体を視認可能とする画面を有する透過ディスプレイに、直接的にまたは間接的に接続するコンピュータに、
前記透過ディスプレイと前記視点および前記物体との相対的な位置関係を示す位置情報を取得することと、
前記位置情報に基づいて、前記透過ディスプレイの表示を制御することと、
を実行させるコンピュータプログラム。
【符号の説明】
【0090】
1 表示制御システム
10 透過ディスプレイ
20 カメラ
80 視点
90 物体
100 表示制御装置
110 認識部
120 取得部
130 記憶部
140 画像生成部
150 表示制御部
200 画面
220 干渉領域
230 表示オブジェクト
250 衝突防止オブジェクト


【特許請求の範囲】
【請求項1】
第2の面の側に位置する物体から届く光を透過することによって、前記第2の面と反対の面である第1の面の側に位置する視点から前記物体を視認可能とする画面を有する透過ディスプレイの表示を制御する表示制御装置であって、
前記透過ディスプレイと前記視点および前記物体との相対的な位置関係を示す位置情報を取得する取得部と、
前記位置情報に基づいて、前記透過ディスプレイの表示を制御する表示制御部と、
を備える表示制御装置。
【請求項2】
前記表示制御部は、前記位置情報に基づいて、前記透過ディスプレイの前記画面に表示される表示オブジェクトの表示位置または表示属性を決定することにより、前記透過ディスプレイの表示を制御する、請求項1に記載の表示制御装置。
【請求項3】
前記表示制御部は、前記視点が前記透過ディスプレイの前記画面を通して前記物体を視認可能に、前記透過ディスプレイの表示を制御する、請求項1に記載の表示制御装置。
【請求項4】
前記表示制御部は、前記位置情報に基づいて前記透過ディスプレイの前記画面における領域を決定し、前記視点が前記領域を通して前記物体を視認可能に、前記透過ディスプレイの表示を制御する、請求項3に記載の表示制御装置。
【請求項5】
決定される前記領域は、前記位置情報における前記視点の位置および前記物体の位置を通る直線と前記透過ディスプレイの前記画面との交点を含み、または当該交点の周囲に存在する、請求項4に記載の表示制御装置。
【請求項6】
前記表示制御部は、決定された前記領域内に表示オブジェクトを表示させないことにより、前記透過ディスプレイの表示を制御する、請求項4に記載の表示制御装置。
【請求項7】
前記表示制御部は、決定された前記領域内の表示オブジェクトの表示属性を、前記視点が前記物体を視認可能な表示属性とすることにより、前記透過ディスプレイの表示を制御する、請求項4に記載の表示制御装置。
【請求項8】
前記表示オブジェクトは、ユーザ操作により表示位置を変えられる表示オブジェクトである、請求項6に記載の表示制御装置。
【請求項9】
前記視点は、2つ以上の視点であり、
前記表示制御部は、前記2つ以上の視点のうちの少なくともいずれか1つが前記物体を視認可能に、前記透過ディスプレイの表示を制御する、
請求項3に記載の表示制御装置。
【請求項10】
前記表示制御部は、前記位置情報における前記透過ディスプレイに対する前記視点の相対的な位置または前記物体の相対的な位置の変化に応じて前記表示オブジェクトの表示位置または表示属性を変化させる、請求項2に記載の表示制御装置。
【請求項11】
前記表示制御部は、前記位置情報における前記視点の位置および前記物体の位置を通る直線と前記透過ディスプレイの前記画面との交点の位置の変化に応じて、前記表示オブジェクトの表示位置を変化させる、請求項10に記載の表示制御装置。
【請求項12】
前記透過ディスプレイは、前記表示オブジェクトを立体視可能に表示し、
前記表示制御部は、前記位置情報に基づいて、前記表示オブジェクトの立体視のための表示位置または表示属性を決定する、
請求項2に記載の表示制御装置。
【請求項13】
前記表示制御部は、前記透過ディスプレイの前記第1の面側から前記第2の面側に向かう方向への奥行きで表示オブジェクトが立体視されるように、前記表示オブジェクトの立体視のための表示位置を決定する、請求項12に記載の表示制御装置。
【請求項14】
前記表示制御部は、前記位置情報における前記視点の位置または前記物体の位置の変化に応じて、前記表示オブジェクトの立体視のための表示位置または表示属性を変化させる、請求項12に記載の表示制御装置。
【請求項15】
前記表示制御部は、前記透過ディスプレイの第1の面側に位置する人物に前記透過ディスプレイの存在に気付かせる表示オブジェクトを表示させる、請求項12に記載の表示制御装置。
【請求項16】
前記取得部は、前記人物または当該人物の体の一部と前記透過ディスプレイとの間の第1の距離をさらに取得し、
前記表示制御部は、前記第1の距離に応じて、前記人物に前記透過ディスプレイの存在に気付かせる前記表示オブジェクトを表示させる、
請求項15に記載の表示制御装置。
【請求項17】
前記表示制御部は、前記位置情報における前記透過ディスプレイの位置と前記物体の位置との間の第2の距離がより短い程、前記第1の距離がより長くても、前記人物に前記透過ディスプレイの存在に気付かせる前記表示オブジェクトを表示させる、請求項16に記載の表示制御装置。
【請求項18】
前記視点は、前記透過ディスプレイの第1の面側に位置する人物の両眼であり、
前記表示制御装置は、前記透過ディスプレイまたは前記物体に対する前記人物の顔の相対的な位置を認識することにより、前記透過ディスプレイまたは前記物体に対する前記視点の相対的な位置を認識する、
請求項1に記載の表示制御装置。
【請求項19】
第2の面の側に位置する物体から届く光を透過することによって、前記第2の面と反対の面である第1の面の側に位置する視点から前記物体を視認可能とする画面を有する透過ディスプレイの表示を制御する表示制御方法であって、
前記透過ディスプレイと前記視点および前記物体との相対的な位置関係を示す位置情報を取得することと、
前記位置情報に基づいて、前記透過ディスプレイの表示を制御することと、
を含む表示制御方法。
【請求項20】
第2の面の側に位置する物体から届く光を透過することによって、前記第2の面と反対の面である第1の面の側に位置する視点から前記物体を視認可能とする画面を有する透過ディスプレイに、直接的にまたは間接的に接続するコンピュータに、
前記透過ディスプレイと前記視点および前記物体との相対的な位置関係を示す位置情報を取得することと、
前記位置情報に基づいて、前記透過ディスプレイの表示を制御することと、
を実行させるコンピュータプログラム。


【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate

【図9】
image rotate

【図10】
image rotate

【図11】
image rotate

【図12】
image rotate

【図13】
image rotate

【図14】
image rotate

【図15】
image rotate

【図16】
image rotate

【図17】
image rotate

【図18】
image rotate

【図19】
image rotate

【図20】
image rotate

【図21】
image rotate

【図22】
image rotate

【図23】
image rotate

【図24】
image rotate

【図25】
image rotate

【図26】
image rotate

【図27】
image rotate


【公開番号】特開2013−15796(P2013−15796A)
【公開日】平成25年1月24日(2013.1.24)
【国際特許分類】
【出願番号】特願2011−150485(P2011−150485)
【出願日】平成23年7月6日(2011.7.6)
【出願人】(000002185)ソニー株式会社 (34,172)
【Fターム(参考)】