情報処理装置、情報処理方法、およびプログラム
【課題】ディスプレイの上に実物体が載置された場合においても表示物体を移動して見易くすることができる。
【解決手段】本開示の情報処理装置は、表示信号に基づく画面を表示するディスプレイの上に載置された実物体を検出する検出部と、検出された前記実物体の位置に基づいて、前記ディスプレイの画面に非表示領域を設定する設定部と、前記ディスプレイの画面に表示されていた表示物体の表示位置を、前記画面の前記非表示領域とは異なる表示領域に移動させることによって前記表示信号を更新する移動部とを備える。本開示は、例えば、テーブルトップ型コンピュータに適用できる。
【解決手段】本開示の情報処理装置は、表示信号に基づく画面を表示するディスプレイの上に載置された実物体を検出する検出部と、検出された前記実物体の位置に基づいて、前記ディスプレイの画面に非表示領域を設定する設定部と、前記ディスプレイの画面に表示されていた表示物体の表示位置を、前記画面の前記非表示領域とは異なる表示領域に移動させることによって前記表示信号を更新する移動部とを備える。本開示は、例えば、テーブルトップ型コンピュータに適用できる。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、情報処理装置、情報処理方法、およびプログラムに関し、特に、テーブル面に設けたディスプレイに実物体を載置可能とした場合に用いて好適な情報処理装置、情報処理方法、およびプログラムに関する。
【背景技術】
【0002】
図1は、テーブルトップ型と称されるコンピュータの一例を示している。テーブルトップ型コンピュータ10は、例えばホテルのカウンタなどで使用されることが想定されており、そのディスプレイ11は、カウンタなどの卓面に設けられている。
【0003】
ユーザがテーブルトップ型コンピュータ10を使用するに際しては、同図Bに示されるように、ユーザはディスプレイ11の側面に位置し、ディスプレイ11に表示される各種の情報(いまの場合、表示物体A,B,C)を斜め上から見下ろすことになる。
【0004】
テーブルトップ型コンピュータ10のディスプレイ11は、カウンタなどの卓面に設けられており、その上には実物体(例えば、ハンドバッグ、本、カップなどの実在する物体)を載置可能とされている。
【0005】
しかしながら、ディスプレイ11の上に実物体が載置された場合、それまでそこに表示されていた表示物体がユーザから見づらくなってしまうので、何らかの対策が必要である。
【0006】
例えば、特許文献1には、ディスプレイをその上方から撮像することにより、ディスプレイに載置された実物体の位置を特定し、実物体の直下を避けて、ディスプレイにおける表示物体の表示位置を変更することが記載されている。
【先行技術文献】
【特許文献】
【0007】
【特許文献1】US2008/0231611
【発明の概要】
【発明が解決しようとする課題】
【0008】
しかしながら、単に実物体の直下を避けて表示物体の表示位置を変更するだけでは、例えば、図2に示されるように、ユーザから見て表示物体Bが実物体の後方に移動されることも起こり得る。この場合、実物体の高さ(ディスプレイに垂直な方向への長さ)によっては、ユーザが実物体Bを視認できないことがある。
【0009】
本開示はこのような状況に鑑みてなされたものであり、ディスプレイの上に実物体が載置された場合、表示物体を移動して見易くするようにするものである。
【課題を解決するための手段】
【0010】
本開示の一側面である情報処理装置は、表示信号に基づく画面を表示するディスプレイの上に載置された実物体を検出する検出部と、検出された前記実物体の位置に基づいて、前記ディスプレイの画面に非表示領域を設定する設定部と、前記ディスプレイの画面に表示されていた表示物体の表示位置を、前記画面の前記非表示領域とは異なる表示領域に移動させることによって前記表示信号を更新する移動部とを備える。
【0011】
本開示の一側面である情報処理装置は、前記ディスプレイに対するユーザの相対的な位置を検知する検知部をさらに備えることができ、前記設定部は、検出された前記実物体の位置と、検知された前記ユーザの相対的な位置とに基づいて、前記ディスプレイの画面に前記非表示領域を設定することができる。
【0012】
前記移動部は、前記ディスプレイの画面に表示されていた前記表示物体の表示位置を、前記表示領域まで段階的に移動させることによって前記表示信号を更新することができる。
【0013】
前記移動部は、前記ディスプレイの画面に表示されていた前記表示物体の表示位置を、検出された前記実物体を経路で前記表示領域まで段階的に移動させることによって前記表示信号を更新することができる。
【0014】
前記検出手段は、前記ディスプレイに内蔵された撮像部により撮像された撮像信号に基づき、前記ディスプレイの上に載置された前記実物体を検出することができる。
【0015】
本開示の一側面である情報処理方法は、情報処理装置による、表示信号に基づく画面を表示するディスプレイの上に載置された実物体を検出する検出ステップと、検出された前記実物体の位置に基づいて、前記ディスプレイの画面に非表示領域を設定する設定ステップと、前記ディスプレイの画面に表示されていた表示物体の表示位置を、前記画面の前記非表示領域とは異なる表示領域に移動させることによって前記表示信号を更新する移動ステップとを含む。
【0016】
本開示の一側面であるプログラムは、コンピュータを、表示信号に基づく画面を表示するディスプレイの上に載置された実物体を検出する検出部と、検出された前記実物体の位置に基づいて、前記ディスプレイの画面に非表示領域を設定する設定部と、前記ディスプレイの画面に表示されていた表示物体の表示位置を、前記画面の前記非表示領域とは異なる表示領域に移動させることによって前記表示信号を更新する移動部として機能させる。
【0017】
本開示の一側面においては、表示信号に基づく画面を表示するディスプレイの上に載置された実物体が検出され、検出された実物体の位置に基づいて、ディスプレイの画面に非表示領域が設定され、ディスプレイの画面に表示されていた表示物体の表示位置が、画面の前記非表示領域とは異なる表示領域に移動されることによって表示信号が更新される。
【発明の効果】
【0018】
本開示の一側面によれば、ディスプレイの上に実物体が載置された場合、表示物体を移動して見易くすることができる。
【図面の簡単な説明】
【0019】
【図1】テーブルトップ型コンピュータの一例を示す図である。
【図2】ディスプレイの上に載置された実物体の直下から表示物体を移動させた状態を示す図である。
【図3】実施の形態による、ディスプレイの上に載置された実物体を避けて表示物体を移動させた状態を示す図である。
【図4】実施の形態である情報処理装置の構成例を示すブロック図である。
【図5】非表示領域の設定方法を説明するための図である。
【図6】非表示領域の設定方法を説明するための図である。
【図7】非表示領域の設定方法を説明するための図である。
【図8】撮像部付ディスプレイ30の構成例を示す断面図である。
【図9】表示位置変更処理を説明するフローチャートである。
【図10】表示物体の移動軌跡を説明する図である。
【図11】コンピュータの構成例を示すブロック図である。
【発明を実施するための形態】
【0020】
以下、本開示を実施するための最良の形態(以下、実施の形態と称する)について、図面を参照しながら詳細に説明する。
【0021】
<1.実施の形態>
[情報処理装置の動作概要]
本開示の実施の形態である情報処理装置は、図1に示されたデスクトップ型コンピュータと同様、卓面に設けられたディスプレイの上に実物体を載置可能とされている。
【0022】
図3は、実施の形態である情報処理装置による、ディスプレイの上に載置された実物体を避けて表示物体を移動させた状態を示している。
【0023】
実施の形態である情報処理装置においては、ディスプレイに内蔵された撮像部からの撮像信号に基づいて、ディスプレイの上に実物体が載置されたことを検出する。そして、ディスプレイ上に実物体が載置された場合、同図に示すように、ユーザ側のディスプレイ端と実物体との接線LL,LRを境界とする非表示領域に設定され、ディスプレイの画面に表示されている表示物体の表示位置が非表示領域以外の領域(以下、表示領域と称する)に移動される。なお、非表示領域の設定方法については後述する。これにより、ディスプレイの上に載置された実物体の高さに拘わらず、表示物体が見づらくなることを抑止できる。
【0024】
[情報処理置の構成例]
図4は、実施の形態である情報処理装置の構成例を示している。この情報処理装置20は、操作入力部21、表示信号生成部22、撮像信号取得部23、実物体検出部24、ユーザ検知部25、非表示領域設定部26、表示信号出力部27、および撮像部付ディスプレイ30を有している。
【0025】
操作入力部21は、ユーザのからの操作入力を受け付け、それに対応する操作信号を表示信号生成部22に出力する。表示信号生成部22は、ユーザの操作に対応する操作信号などに基づき、表示物体などを含む画面を撮像部付ディスプレイ30に表示させるための表示信号を生成して表示信号出力部27に供給する。また、表示信号生成部22は、非表示領域設定部26から通知される非表示領域の位置情報に基づき、表示物体が非表示領域に位置しないように表示信号を更新して表示信号出力部27に供給する。
【0026】
撮像信号取得部23は、撮像部付ディスプレイ30(以下、単にディスプレイ30とも称する)から撮像信号を取得し、実物体検出部24に出力する。実物体検出部24は、ディスプレイ30からの撮像信号に基づき、ディスプレイ30の上に載置された実物体の外周を示す閉曲線Cを検出する。
【0027】
ユーザ検知部25は、ディスプレイ30を囲む4辺のいずれにユーザが位置しているのかを検知して非表示領域設定部26に通知する。なお、ユーザ検知部25としては、例えば、赤外線センサ、超音波センサ、人体熱輻射センサなどを用いればよい。あるいは、ユーザに対してディスプレイ30の上に掌を載置するように促し、その撮像信号に基づいて掌の形状を検出し、ユーザの位置を検知するようにしてもよい。
【0028】
非表示領域設定部26は、ディスプレイ30の上に載置された実物体の外周を示す閉曲線Cとユーザの位置に基づいて非表示領域を設定し、非表示領域の位置情報を表示信号生成部22に通知する。
【0029】
ここで、非表示領域の設定方法について説明する。以下、ディスプレイ30の4頂点をp0(0,0),p1(0,X),p2(X,Y),p3(0,Y)とする。
【0030】
図5は、ユーザが線分p0,p1側に位置している場合を示している。この場合、直線LLは頂点p0を通るので、次式(1)に示されるように表記される。
直線LL:y−0=a(x−0) ・・・(1)
次に、式(1)に基づいて次式(2)に示される関数F(x,y)を定義する。
関数F(x,y)=y−0−a(x−0) ・・・(2)
【0031】
ここで、既知の閉曲線C上の全ての点c(xc,yc)に対して、関数F(x,y)の値を求めておき、さらに、パラメータaを0から正の方向に増加させ、最初に関数F(x,y)の値が0となったときのパラメータaを、直線LLの傾きに採用する。
【0032】
直線LRについても同様に決定する。すなわち、直線LRは頂点p1を通るので、次式(3)に示されるように表記される。
直線LR:y−0=a(x−X) ・・・(3)
次に、式(3)に基づいて次式(4)に示される関数F(x,y)を定義する。
関数F(x,y)=y−0−a(x−X) ・・・(4)
【0033】
ここで、既知の閉曲線C上の全ての点c(xc,yc)に対して、関数F(x,y)の値を求めておき、さらに、パラメータaを0から負の方向に減少させ、最初に関数F(x,y)の値が0となったときのパラメータaを、直線LRの傾きに採用する。
【0034】
図6は、ユーザが線分p1,p2側に位置している場合を示している。この場合、直線LLは頂点p1を通るので、次式(5)に示されるように表記される。
直線LL:y−0=a(x−X) ・・・(5)
次に、式(5)に基づいて次式(6)に示される関数F(x,y)を定義する。
関数F(x,y)=y−0−a(x−X) ・・・(6)
【0035】
ここで、既知の閉曲線C上の全ての点c(xc,yc)に対して、関数F(x,y)の値を求めておき、さらに、パラメータaを負の無限大から0の方向に増加させ、最初に関数F(x,y)の値が0となったときのパラメータaを、直線LLの傾きに採用する。
【0036】
直線LRについても同様に決定する。すなわち、直線LRは頂点p2を通るので、次式(7)に示されるように表記される。
直線LR:y−Y=a(x−X) ・・・(7)
次に、式(8)に基づいて次式(4)に示される関数F(x,y)を定義する。
関数F(x,y)=y−Y−a(x−X) ・・・(8)
【0037】
ここで、既知の閉曲線C上の全ての点c(xc,yc)に対して、関数F(x,y)の値を求めておき、さらに、パラメータaを正の無限大から0の方向に減少させ、最初に関数F(x,y)の値が0となったときのパラメータaを、直線LRの傾きに採用する。
【0038】
なお、ユーザが線分p2,p3側に位置している場合、線分p3,p0側に位置している場合についても、同様にして直線LL,LRを決定する。
【0039】
以上のようにして決定された直線LL,LRを境とするユーザ側の領域が表示領域とされ、その他の領域が非表示領域に設定される。なお、表示領域と実物体の閉曲線Cとの間に出現し得る略三角形の領域については、表示領域とするようにしてもよい。
【0040】
図7は、複数の実物体がディスプレイ30の上に載置された場合を示している。この場合、各実物体に対して非表示領域が決定され、それらの論理和が全体としての非表示領域に設定される。
【0041】
また、本実施の形態においては、直線LL,LRを境とするユーザ側の領域を表示領域とするが、反対に、直線LL,LRを境とするユーザ側の領域を非表示領域と設定するように変更してもよい。このような変更は、例えば情報処理装置20にてトランプ、麻雀などのゲームを行い、ユーザに対する情報を、ユーザに対して秘匿しておく段階において適用することができる。
【0042】
図4に戻る。表示信号出力部27は、表示信号生成部22から入力される表示信号をディスプレイ30に供給する。テーブルやカウンタの卓面に設置される撮像部付ディスプレイ30は、表示信号出力部27から供給される表示信号に対応する画面を表示する。また、撮像部付ディスプレイ30は、その内部に撮像部50を有する。撮像部50は、撮像信号取得部23からの制御に従い、ディスプレイ30の上に載置された実物体を内側から撮像し、その結果得られる、実物体の底面(ディスプレイ30との設置面)の形状を示す撮像信号を撮像信号取得部23に出力する。
【0043】
図8は、撮像部付ディスプレイ30の構成例を示す断面図である。
【0044】
撮像部付ディスプレイ30は、その内側から順に、バックライト31、偏光フィルタ32−1、ガラス基板33−1、透明電極34−1、配向膜35−1、液晶36、配向膜35−2、透明電極34−2、カラーフィルタ37、ガラス基板33−2、および偏光フィルタ32−2が積層されて構成される。さらに、ガラス基板33−1と33−2の内側には、近赤外光を用いて撮像を行う撮像部50が設けられている。なお、さらに偏光フィルタ32−2の上層にユーザの操作入力を検知するためのタッチパネルなどを積層してもよい。
【0045】
すなわち、撮像部付ディスプレイ30は、一般的な液晶ディスプレイの構成に撮像部50を内蔵したものである。ただし、バックライト31については、実物体の底面に照射して、その反射光を撮像部50にて受光するための近赤外光(800乃至900nm)も、画面表示のための可視光とともに発光するものとする。
【0046】
撮像部50は、近赤外光のみを透過させるIRフィルタ51、および近赤外光を受光して撮像信号に変換する受光部52から構成される。受光部52は、例えば、活性層で発生するフォトカレントを利用する方式、または光吸収により発生する電荷の蓄積を利用する方式を利用することができる。なお、撮像部50は、表示される1画素毎、または表示される所定数の画素毎に2次元的に周期的に複数配置されるので、全ての撮像部50から出力される撮像信号は、載置された実物体の底面を示すものとなる。
【0047】
[動作説明]
次に、情報処理装置20による表示位置変更処理について説明する。図9は、表示位置変更処理を説明するフローチャートである。
【0048】
ステップS1において、表示信号生成部22は、ユーザの操作に対応する操作信号などに基づき、表示物体などを含む画面を撮像部付ディスプレイ30に表示させるための表示信号を生成して表示信号出力部27に供給する。
【0049】
ステップS2において、表示信号出力部27は、表示信号生成部22から入力された表示信号を撮像部付ディスプレイ30に供給する。撮像部付ディスプレイ30は、表示信号出力部27から供給された表示信号に対応する画面を表示する。
【0050】
ステップS3において、撮像信号取得部23は、撮像部付ディスプレイ30から撮像信号を取得し、実物体検出部24に出力する。ステップS4において、実物体検出部24は、ディスプレイ30からの撮像信号に基づき、ディスプレイ30の上に実物体が載置されているか否かを判定する。実物体が載置されていないと判定された場合、処理はステップS3に戻ってそれ以降が繰り返される。
【0051】
ステップS4において、ディスプレイ30の上に実物体が載置されていると判定された場合、処理はステップS5に進められる。ステップS5において、実物体検出部24は、撮像信号に基づいて実物体が載置されている位置を特定し、実物体の外周を示す閉曲線Cを非表示領域設定部26に通知する。
【0052】
ステップS6において、ユーザ検知部25は、ディスプレイ30を囲む4辺のいずれにユーザが位置しているのかを検知して非表示領域設定部26に通知する。ステップS7において、非表示領域設定部26は、ディスプレイ30の上に載置された実物体の外周を示す閉曲線Cとユーザの位置に基づいて非表示領域を設定し、非表示領域の位置情報を表示信号生成部22に通知する。
【0053】
ステップS8において、表示信号生成部22は、非表示領域設定部26から通知された非表示領域の位置情報に基づき、表示物体が非表示領域に位置しないように表示信号を更新して表示信号出力部27に供給する。この後、処理はステップS2に戻り、それ以降が繰り返されることになる。以上で、表示位置変更処理の説明を終了する。
【0054】
表示位置変更処理によれば、撮像部付ディスプレイ30の上に実物体が載置されても、その高さに拘わらず、画面上の表示物体が見えなくなってしまったり、見づらくなってしまったりすることを抑止できる。
【0055】
なお、表示物体の表示位置を変更するに際しては、その表示位置を瞬時に変更してもよいが、表示物体の移動軌跡が視認できるようにしてもよい。その移動軌跡は、直線としてもよいし、例えば図10A乃至図10Cに示されるように、実物体を迂回するような移動軌跡としてもよい。
【0056】
ところで、上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、プログラム記録媒体からインストールされる。
【0057】
図11は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。
【0058】
このコンピュータ100において、CPU(Central Processing Unit)101,ROM(Read Only Memory)102,RAM(Random Access Memory)103は、バス104により相互に接続されている。
【0059】
バス104には、さらに、入出力インタフェース105が接続されている。入出力インタフェース105には、キーボード、マウス、マイクロホンなどよりなる入力部106、ディスプレイ、スピーカなどよりなる出力部107、ハードディスクや不揮発性のメモリなどよりなる記憶部108、ネットワークインタフェースなどよりなる通信部109、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア211を駆動するドライブ210が接続されている。
【0060】
以上のように構成されるコンピュータ100では、CPU101が、例えば、記憶部108に記憶されているプログラムを、入出力インタフェース105およびバス104を介して、RAM103にロードして実行することにより、上述した一連の処理が行われる。
【0061】
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであってもよいし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであってもよい。
【0062】
また、プログラムは、1台のコンピュータにより処理されるものであってもよいし、複数のコンピュータによって分散処理されるものであってもよい。さらに、プログラムは、遠方のコンピュータに転送されて実行されるものであってもよい。
【0063】
なお、本開示の実施の形態は、上述した実施の形態に限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。
【符号の説明】
【0064】
20 情報処理装置, 21 操作入力部, 22 表示信号生成部, 23 撮像信号取得部, 24 実物体検出部, 25 ユーザ検知部, 26 非表示領域設定部, 27 表示信号出力部, 30 撮像部付ディスプレイ, 50 撮像部, 51 IRフィルタ, 52 受光部
【技術分野】
【0001】
本開示は、情報処理装置、情報処理方法、およびプログラムに関し、特に、テーブル面に設けたディスプレイに実物体を載置可能とした場合に用いて好適な情報処理装置、情報処理方法、およびプログラムに関する。
【背景技術】
【0002】
図1は、テーブルトップ型と称されるコンピュータの一例を示している。テーブルトップ型コンピュータ10は、例えばホテルのカウンタなどで使用されることが想定されており、そのディスプレイ11は、カウンタなどの卓面に設けられている。
【0003】
ユーザがテーブルトップ型コンピュータ10を使用するに際しては、同図Bに示されるように、ユーザはディスプレイ11の側面に位置し、ディスプレイ11に表示される各種の情報(いまの場合、表示物体A,B,C)を斜め上から見下ろすことになる。
【0004】
テーブルトップ型コンピュータ10のディスプレイ11は、カウンタなどの卓面に設けられており、その上には実物体(例えば、ハンドバッグ、本、カップなどの実在する物体)を載置可能とされている。
【0005】
しかしながら、ディスプレイ11の上に実物体が載置された場合、それまでそこに表示されていた表示物体がユーザから見づらくなってしまうので、何らかの対策が必要である。
【0006】
例えば、特許文献1には、ディスプレイをその上方から撮像することにより、ディスプレイに載置された実物体の位置を特定し、実物体の直下を避けて、ディスプレイにおける表示物体の表示位置を変更することが記載されている。
【先行技術文献】
【特許文献】
【0007】
【特許文献1】US2008/0231611
【発明の概要】
【発明が解決しようとする課題】
【0008】
しかしながら、単に実物体の直下を避けて表示物体の表示位置を変更するだけでは、例えば、図2に示されるように、ユーザから見て表示物体Bが実物体の後方に移動されることも起こり得る。この場合、実物体の高さ(ディスプレイに垂直な方向への長さ)によっては、ユーザが実物体Bを視認できないことがある。
【0009】
本開示はこのような状況に鑑みてなされたものであり、ディスプレイの上に実物体が載置された場合、表示物体を移動して見易くするようにするものである。
【課題を解決するための手段】
【0010】
本開示の一側面である情報処理装置は、表示信号に基づく画面を表示するディスプレイの上に載置された実物体を検出する検出部と、検出された前記実物体の位置に基づいて、前記ディスプレイの画面に非表示領域を設定する設定部と、前記ディスプレイの画面に表示されていた表示物体の表示位置を、前記画面の前記非表示領域とは異なる表示領域に移動させることによって前記表示信号を更新する移動部とを備える。
【0011】
本開示の一側面である情報処理装置は、前記ディスプレイに対するユーザの相対的な位置を検知する検知部をさらに備えることができ、前記設定部は、検出された前記実物体の位置と、検知された前記ユーザの相対的な位置とに基づいて、前記ディスプレイの画面に前記非表示領域を設定することができる。
【0012】
前記移動部は、前記ディスプレイの画面に表示されていた前記表示物体の表示位置を、前記表示領域まで段階的に移動させることによって前記表示信号を更新することができる。
【0013】
前記移動部は、前記ディスプレイの画面に表示されていた前記表示物体の表示位置を、検出された前記実物体を経路で前記表示領域まで段階的に移動させることによって前記表示信号を更新することができる。
【0014】
前記検出手段は、前記ディスプレイに内蔵された撮像部により撮像された撮像信号に基づき、前記ディスプレイの上に載置された前記実物体を検出することができる。
【0015】
本開示の一側面である情報処理方法は、情報処理装置による、表示信号に基づく画面を表示するディスプレイの上に載置された実物体を検出する検出ステップと、検出された前記実物体の位置に基づいて、前記ディスプレイの画面に非表示領域を設定する設定ステップと、前記ディスプレイの画面に表示されていた表示物体の表示位置を、前記画面の前記非表示領域とは異なる表示領域に移動させることによって前記表示信号を更新する移動ステップとを含む。
【0016】
本開示の一側面であるプログラムは、コンピュータを、表示信号に基づく画面を表示するディスプレイの上に載置された実物体を検出する検出部と、検出された前記実物体の位置に基づいて、前記ディスプレイの画面に非表示領域を設定する設定部と、前記ディスプレイの画面に表示されていた表示物体の表示位置を、前記画面の前記非表示領域とは異なる表示領域に移動させることによって前記表示信号を更新する移動部として機能させる。
【0017】
本開示の一側面においては、表示信号に基づく画面を表示するディスプレイの上に載置された実物体が検出され、検出された実物体の位置に基づいて、ディスプレイの画面に非表示領域が設定され、ディスプレイの画面に表示されていた表示物体の表示位置が、画面の前記非表示領域とは異なる表示領域に移動されることによって表示信号が更新される。
【発明の効果】
【0018】
本開示の一側面によれば、ディスプレイの上に実物体が載置された場合、表示物体を移動して見易くすることができる。
【図面の簡単な説明】
【0019】
【図1】テーブルトップ型コンピュータの一例を示す図である。
【図2】ディスプレイの上に載置された実物体の直下から表示物体を移動させた状態を示す図である。
【図3】実施の形態による、ディスプレイの上に載置された実物体を避けて表示物体を移動させた状態を示す図である。
【図4】実施の形態である情報処理装置の構成例を示すブロック図である。
【図5】非表示領域の設定方法を説明するための図である。
【図6】非表示領域の設定方法を説明するための図である。
【図7】非表示領域の設定方法を説明するための図である。
【図8】撮像部付ディスプレイ30の構成例を示す断面図である。
【図9】表示位置変更処理を説明するフローチャートである。
【図10】表示物体の移動軌跡を説明する図である。
【図11】コンピュータの構成例を示すブロック図である。
【発明を実施するための形態】
【0020】
以下、本開示を実施するための最良の形態(以下、実施の形態と称する)について、図面を参照しながら詳細に説明する。
【0021】
<1.実施の形態>
[情報処理装置の動作概要]
本開示の実施の形態である情報処理装置は、図1に示されたデスクトップ型コンピュータと同様、卓面に設けられたディスプレイの上に実物体を載置可能とされている。
【0022】
図3は、実施の形態である情報処理装置による、ディスプレイの上に載置された実物体を避けて表示物体を移動させた状態を示している。
【0023】
実施の形態である情報処理装置においては、ディスプレイに内蔵された撮像部からの撮像信号に基づいて、ディスプレイの上に実物体が載置されたことを検出する。そして、ディスプレイ上に実物体が載置された場合、同図に示すように、ユーザ側のディスプレイ端と実物体との接線LL,LRを境界とする非表示領域に設定され、ディスプレイの画面に表示されている表示物体の表示位置が非表示領域以外の領域(以下、表示領域と称する)に移動される。なお、非表示領域の設定方法については後述する。これにより、ディスプレイの上に載置された実物体の高さに拘わらず、表示物体が見づらくなることを抑止できる。
【0024】
[情報処理置の構成例]
図4は、実施の形態である情報処理装置の構成例を示している。この情報処理装置20は、操作入力部21、表示信号生成部22、撮像信号取得部23、実物体検出部24、ユーザ検知部25、非表示領域設定部26、表示信号出力部27、および撮像部付ディスプレイ30を有している。
【0025】
操作入力部21は、ユーザのからの操作入力を受け付け、それに対応する操作信号を表示信号生成部22に出力する。表示信号生成部22は、ユーザの操作に対応する操作信号などに基づき、表示物体などを含む画面を撮像部付ディスプレイ30に表示させるための表示信号を生成して表示信号出力部27に供給する。また、表示信号生成部22は、非表示領域設定部26から通知される非表示領域の位置情報に基づき、表示物体が非表示領域に位置しないように表示信号を更新して表示信号出力部27に供給する。
【0026】
撮像信号取得部23は、撮像部付ディスプレイ30(以下、単にディスプレイ30とも称する)から撮像信号を取得し、実物体検出部24に出力する。実物体検出部24は、ディスプレイ30からの撮像信号に基づき、ディスプレイ30の上に載置された実物体の外周を示す閉曲線Cを検出する。
【0027】
ユーザ検知部25は、ディスプレイ30を囲む4辺のいずれにユーザが位置しているのかを検知して非表示領域設定部26に通知する。なお、ユーザ検知部25としては、例えば、赤外線センサ、超音波センサ、人体熱輻射センサなどを用いればよい。あるいは、ユーザに対してディスプレイ30の上に掌を載置するように促し、その撮像信号に基づいて掌の形状を検出し、ユーザの位置を検知するようにしてもよい。
【0028】
非表示領域設定部26は、ディスプレイ30の上に載置された実物体の外周を示す閉曲線Cとユーザの位置に基づいて非表示領域を設定し、非表示領域の位置情報を表示信号生成部22に通知する。
【0029】
ここで、非表示領域の設定方法について説明する。以下、ディスプレイ30の4頂点をp0(0,0),p1(0,X),p2(X,Y),p3(0,Y)とする。
【0030】
図5は、ユーザが線分p0,p1側に位置している場合を示している。この場合、直線LLは頂点p0を通るので、次式(1)に示されるように表記される。
直線LL:y−0=a(x−0) ・・・(1)
次に、式(1)に基づいて次式(2)に示される関数F(x,y)を定義する。
関数F(x,y)=y−0−a(x−0) ・・・(2)
【0031】
ここで、既知の閉曲線C上の全ての点c(xc,yc)に対して、関数F(x,y)の値を求めておき、さらに、パラメータaを0から正の方向に増加させ、最初に関数F(x,y)の値が0となったときのパラメータaを、直線LLの傾きに採用する。
【0032】
直線LRについても同様に決定する。すなわち、直線LRは頂点p1を通るので、次式(3)に示されるように表記される。
直線LR:y−0=a(x−X) ・・・(3)
次に、式(3)に基づいて次式(4)に示される関数F(x,y)を定義する。
関数F(x,y)=y−0−a(x−X) ・・・(4)
【0033】
ここで、既知の閉曲線C上の全ての点c(xc,yc)に対して、関数F(x,y)の値を求めておき、さらに、パラメータaを0から負の方向に減少させ、最初に関数F(x,y)の値が0となったときのパラメータaを、直線LRの傾きに採用する。
【0034】
図6は、ユーザが線分p1,p2側に位置している場合を示している。この場合、直線LLは頂点p1を通るので、次式(5)に示されるように表記される。
直線LL:y−0=a(x−X) ・・・(5)
次に、式(5)に基づいて次式(6)に示される関数F(x,y)を定義する。
関数F(x,y)=y−0−a(x−X) ・・・(6)
【0035】
ここで、既知の閉曲線C上の全ての点c(xc,yc)に対して、関数F(x,y)の値を求めておき、さらに、パラメータaを負の無限大から0の方向に増加させ、最初に関数F(x,y)の値が0となったときのパラメータaを、直線LLの傾きに採用する。
【0036】
直線LRについても同様に決定する。すなわち、直線LRは頂点p2を通るので、次式(7)に示されるように表記される。
直線LR:y−Y=a(x−X) ・・・(7)
次に、式(8)に基づいて次式(4)に示される関数F(x,y)を定義する。
関数F(x,y)=y−Y−a(x−X) ・・・(8)
【0037】
ここで、既知の閉曲線C上の全ての点c(xc,yc)に対して、関数F(x,y)の値を求めておき、さらに、パラメータaを正の無限大から0の方向に減少させ、最初に関数F(x,y)の値が0となったときのパラメータaを、直線LRの傾きに採用する。
【0038】
なお、ユーザが線分p2,p3側に位置している場合、線分p3,p0側に位置している場合についても、同様にして直線LL,LRを決定する。
【0039】
以上のようにして決定された直線LL,LRを境とするユーザ側の領域が表示領域とされ、その他の領域が非表示領域に設定される。なお、表示領域と実物体の閉曲線Cとの間に出現し得る略三角形の領域については、表示領域とするようにしてもよい。
【0040】
図7は、複数の実物体がディスプレイ30の上に載置された場合を示している。この場合、各実物体に対して非表示領域が決定され、それらの論理和が全体としての非表示領域に設定される。
【0041】
また、本実施の形態においては、直線LL,LRを境とするユーザ側の領域を表示領域とするが、反対に、直線LL,LRを境とするユーザ側の領域を非表示領域と設定するように変更してもよい。このような変更は、例えば情報処理装置20にてトランプ、麻雀などのゲームを行い、ユーザに対する情報を、ユーザに対して秘匿しておく段階において適用することができる。
【0042】
図4に戻る。表示信号出力部27は、表示信号生成部22から入力される表示信号をディスプレイ30に供給する。テーブルやカウンタの卓面に設置される撮像部付ディスプレイ30は、表示信号出力部27から供給される表示信号に対応する画面を表示する。また、撮像部付ディスプレイ30は、その内部に撮像部50を有する。撮像部50は、撮像信号取得部23からの制御に従い、ディスプレイ30の上に載置された実物体を内側から撮像し、その結果得られる、実物体の底面(ディスプレイ30との設置面)の形状を示す撮像信号を撮像信号取得部23に出力する。
【0043】
図8は、撮像部付ディスプレイ30の構成例を示す断面図である。
【0044】
撮像部付ディスプレイ30は、その内側から順に、バックライト31、偏光フィルタ32−1、ガラス基板33−1、透明電極34−1、配向膜35−1、液晶36、配向膜35−2、透明電極34−2、カラーフィルタ37、ガラス基板33−2、および偏光フィルタ32−2が積層されて構成される。さらに、ガラス基板33−1と33−2の内側には、近赤外光を用いて撮像を行う撮像部50が設けられている。なお、さらに偏光フィルタ32−2の上層にユーザの操作入力を検知するためのタッチパネルなどを積層してもよい。
【0045】
すなわち、撮像部付ディスプレイ30は、一般的な液晶ディスプレイの構成に撮像部50を内蔵したものである。ただし、バックライト31については、実物体の底面に照射して、その反射光を撮像部50にて受光するための近赤外光(800乃至900nm)も、画面表示のための可視光とともに発光するものとする。
【0046】
撮像部50は、近赤外光のみを透過させるIRフィルタ51、および近赤外光を受光して撮像信号に変換する受光部52から構成される。受光部52は、例えば、活性層で発生するフォトカレントを利用する方式、または光吸収により発生する電荷の蓄積を利用する方式を利用することができる。なお、撮像部50は、表示される1画素毎、または表示される所定数の画素毎に2次元的に周期的に複数配置されるので、全ての撮像部50から出力される撮像信号は、載置された実物体の底面を示すものとなる。
【0047】
[動作説明]
次に、情報処理装置20による表示位置変更処理について説明する。図9は、表示位置変更処理を説明するフローチャートである。
【0048】
ステップS1において、表示信号生成部22は、ユーザの操作に対応する操作信号などに基づき、表示物体などを含む画面を撮像部付ディスプレイ30に表示させるための表示信号を生成して表示信号出力部27に供給する。
【0049】
ステップS2において、表示信号出力部27は、表示信号生成部22から入力された表示信号を撮像部付ディスプレイ30に供給する。撮像部付ディスプレイ30は、表示信号出力部27から供給された表示信号に対応する画面を表示する。
【0050】
ステップS3において、撮像信号取得部23は、撮像部付ディスプレイ30から撮像信号を取得し、実物体検出部24に出力する。ステップS4において、実物体検出部24は、ディスプレイ30からの撮像信号に基づき、ディスプレイ30の上に実物体が載置されているか否かを判定する。実物体が載置されていないと判定された場合、処理はステップS3に戻ってそれ以降が繰り返される。
【0051】
ステップS4において、ディスプレイ30の上に実物体が載置されていると判定された場合、処理はステップS5に進められる。ステップS5において、実物体検出部24は、撮像信号に基づいて実物体が載置されている位置を特定し、実物体の外周を示す閉曲線Cを非表示領域設定部26に通知する。
【0052】
ステップS6において、ユーザ検知部25は、ディスプレイ30を囲む4辺のいずれにユーザが位置しているのかを検知して非表示領域設定部26に通知する。ステップS7において、非表示領域設定部26は、ディスプレイ30の上に載置された実物体の外周を示す閉曲線Cとユーザの位置に基づいて非表示領域を設定し、非表示領域の位置情報を表示信号生成部22に通知する。
【0053】
ステップS8において、表示信号生成部22は、非表示領域設定部26から通知された非表示領域の位置情報に基づき、表示物体が非表示領域に位置しないように表示信号を更新して表示信号出力部27に供給する。この後、処理はステップS2に戻り、それ以降が繰り返されることになる。以上で、表示位置変更処理の説明を終了する。
【0054】
表示位置変更処理によれば、撮像部付ディスプレイ30の上に実物体が載置されても、その高さに拘わらず、画面上の表示物体が見えなくなってしまったり、見づらくなってしまったりすることを抑止できる。
【0055】
なお、表示物体の表示位置を変更するに際しては、その表示位置を瞬時に変更してもよいが、表示物体の移動軌跡が視認できるようにしてもよい。その移動軌跡は、直線としてもよいし、例えば図10A乃至図10Cに示されるように、実物体を迂回するような移動軌跡としてもよい。
【0056】
ところで、上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、プログラム記録媒体からインストールされる。
【0057】
図11は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。
【0058】
このコンピュータ100において、CPU(Central Processing Unit)101,ROM(Read Only Memory)102,RAM(Random Access Memory)103は、バス104により相互に接続されている。
【0059】
バス104には、さらに、入出力インタフェース105が接続されている。入出力インタフェース105には、キーボード、マウス、マイクロホンなどよりなる入力部106、ディスプレイ、スピーカなどよりなる出力部107、ハードディスクや不揮発性のメモリなどよりなる記憶部108、ネットワークインタフェースなどよりなる通信部109、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア211を駆動するドライブ210が接続されている。
【0060】
以上のように構成されるコンピュータ100では、CPU101が、例えば、記憶部108に記憶されているプログラムを、入出力インタフェース105およびバス104を介して、RAM103にロードして実行することにより、上述した一連の処理が行われる。
【0061】
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであってもよいし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであってもよい。
【0062】
また、プログラムは、1台のコンピュータにより処理されるものであってもよいし、複数のコンピュータによって分散処理されるものであってもよい。さらに、プログラムは、遠方のコンピュータに転送されて実行されるものであってもよい。
【0063】
なお、本開示の実施の形態は、上述した実施の形態に限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。
【符号の説明】
【0064】
20 情報処理装置, 21 操作入力部, 22 表示信号生成部, 23 撮像信号取得部, 24 実物体検出部, 25 ユーザ検知部, 26 非表示領域設定部, 27 表示信号出力部, 30 撮像部付ディスプレイ, 50 撮像部, 51 IRフィルタ, 52 受光部
【特許請求の範囲】
【請求項1】
表示信号に基づく画面を表示するディスプレイの上に載置された実物体を検出する検出部と、
検出された前記実物体の位置に基づいて、前記ディスプレイの画面に非表示領域を設定する設定部と、
前記ディスプレイの画面に表示されていた表示物体の表示位置を、前記画面の前記非表示領域とは異なる表示領域に移動させることによって前記表示信号を更新する移動部と
を備える情報処理装置。
【請求項2】
前記ディスプレイに対するユーザの相対的な位置を検知する検知部を
さらに備え、
前記設定部は、検出された前記実物体の位置と、検知された前記ユーザの相対的な位置とに基づいて、前記ディスプレイの画面に前記非表示領域を設定する
請求項1に記載の情報処理装置。
【請求項3】
前記移動部は、前記ディスプレイの画面に表示されていた前記表示物体の表示位置を、前記表示領域まで段階的に移動させることによって前記表示信号を更新する
請求項2に記載の情報処理装置。
【請求項4】
前記移動部は、前記ディスプレイの画面に表示されていた前記表示物体の表示位置を、検出された前記実物体を経路で前記表示領域まで段階的に移動させることによって前記表示信号を更新する
請求項2に記載の情報処理装置。
【請求項5】
前記検出手段は、前記ディスプレイに内蔵された撮像部により撮像された撮像信号に基づき、前記ディスプレイの上に載置された前記実物体を検出する
請求項2に記載の情報処理装置。
【請求項6】
情報処理装置の情報処理方法において、
情報処理装置による、
表示信号に基づく画面を表示するディスプレイの上に載置された実物体を検出する検出ステップと、
検出された前記実物体の位置に基づいて、前記ディスプレイの画面に非表示領域を設定する設定ステップと、
前記ディスプレイの画面に表示されていた表示物体の表示位置を、前記画面の前記非表示領域とは異なる表示領域に移動させることによって前記表示信号を更新する移動ステップと
を含む情報処理方法。
【請求項7】
コンピュータを、
表示信号に基づく画面を表示するディスプレイの上に載置された実物体を検出する検出部と、
検出された前記実物体の位置に基づいて、前記ディスプレイの画面に非表示領域を設定する設定部と、
前記ディスプレイの画面に表示されていた表示物体の表示位置を、前記画面の前記非表示領域とは異なる表示領域に移動させることによって前記表示信号を更新する移動部と
して機能させるプログラム。
【請求項1】
表示信号に基づく画面を表示するディスプレイの上に載置された実物体を検出する検出部と、
検出された前記実物体の位置に基づいて、前記ディスプレイの画面に非表示領域を設定する設定部と、
前記ディスプレイの画面に表示されていた表示物体の表示位置を、前記画面の前記非表示領域とは異なる表示領域に移動させることによって前記表示信号を更新する移動部と
を備える情報処理装置。
【請求項2】
前記ディスプレイに対するユーザの相対的な位置を検知する検知部を
さらに備え、
前記設定部は、検出された前記実物体の位置と、検知された前記ユーザの相対的な位置とに基づいて、前記ディスプレイの画面に前記非表示領域を設定する
請求項1に記載の情報処理装置。
【請求項3】
前記移動部は、前記ディスプレイの画面に表示されていた前記表示物体の表示位置を、前記表示領域まで段階的に移動させることによって前記表示信号を更新する
請求項2に記載の情報処理装置。
【請求項4】
前記移動部は、前記ディスプレイの画面に表示されていた前記表示物体の表示位置を、検出された前記実物体を経路で前記表示領域まで段階的に移動させることによって前記表示信号を更新する
請求項2に記載の情報処理装置。
【請求項5】
前記検出手段は、前記ディスプレイに内蔵された撮像部により撮像された撮像信号に基づき、前記ディスプレイの上に載置された前記実物体を検出する
請求項2に記載の情報処理装置。
【請求項6】
情報処理装置の情報処理方法において、
情報処理装置による、
表示信号に基づく画面を表示するディスプレイの上に載置された実物体を検出する検出ステップと、
検出された前記実物体の位置に基づいて、前記ディスプレイの画面に非表示領域を設定する設定ステップと、
前記ディスプレイの画面に表示されていた表示物体の表示位置を、前記画面の前記非表示領域とは異なる表示領域に移動させることによって前記表示信号を更新する移動ステップと
を含む情報処理方法。
【請求項7】
コンピュータを、
表示信号に基づく画面を表示するディスプレイの上に載置された実物体を検出する検出部と、
検出された前記実物体の位置に基づいて、前記ディスプレイの画面に非表示領域を設定する設定部と、
前記ディスプレイの画面に表示されていた表示物体の表示位置を、前記画面の前記非表示領域とは異なる表示領域に移動させることによって前記表示信号を更新する移動部と
して機能させるプログラム。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【公開番号】特開2012−252543(P2012−252543A)
【公開日】平成24年12月20日(2012.12.20)
【国際特許分類】
【出願番号】特願2011−124909(P2011−124909)
【出願日】平成23年6月3日(2011.6.3)
【出願人】(000002185)ソニー株式会社 (34,172)
【Fターム(参考)】
【公開日】平成24年12月20日(2012.12.20)
【国際特許分類】
【出願日】平成23年6月3日(2011.6.3)
【出願人】(000002185)ソニー株式会社 (34,172)
【Fターム(参考)】
[ Back to top ]