情報処理装置、情報処理方法およびプログラム
【課題】各ユーザの手の動きに応じて移動する複数のポインタを表示する技術立体視オブジェクトの直接的な選択を実現すること可能な情報処理装置、情報処理方法およびプログラムを提供する。
【解決手段】ユーザのつまみ操作を検出する検出部と、前記検出されたつまみ操作によるつまみ位置が、立体視オブジェクトのユーザによる知覚位置に対応する場合、前記立体視オブジェクトを選択対象に決定すること、更に、つまみ位置の3次元方向への動きに応じた制御を行う制御部と、を備える情報処理装置。
【解決手段】ユーザのつまみ操作を検出する検出部と、前記検出されたつまみ操作によるつまみ位置が、立体視オブジェクトのユーザによる知覚位置に対応する場合、前記立体視オブジェクトを選択対象に決定すること、更に、つまみ位置の3次元方向への動きに応じた制御を行う制御部と、を備える情報処理装置。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、情報処理装置、情報処理方法およびプログラムに関する。
【背景技術】
【0002】
現在、情報処理装置の多くが、GUI(グラフィック ユーザー インターフェース)を実装している。通常、GUIは、ユーザによる操作に応じて画面上を移動するポインタを表示し、ユーザはこのポインタで画面の任意の位置を指すことで、画面上に表示したアイコンなどを選択できる。
【0003】
このようなポインタの表示技術に関し、例えば特許文献1には、カメラ画像に基づいて複数のユーザの空間での手の動きを各々認識し、各ユーザの手の動きに応じて移動する複数のポインタを表示する技術が開示されている。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開2011−54117号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
また、近年、立体視画像の表示装置が注目されている。この立体視画像の表示装置は、アイコンやサムネイルなどの操作対象を立体視オブジェクトとして表示することができる。ここで、立体視オブジェクトは、2次元画像と異なり、空間上に実在しているかのようにユーザによって知覚される。このため、立体視オブジェクトの選択を、空間上に実在する物体と同様に直接的に行えることが望まれるが、上述のポインタを用いる技術では、立体視オブジェクトの直接的な選択を実現することが困難であった。
【0006】
そこで、本開示では、3次元立体画像を直接的に選択することが可能な、新規かつ改良された情報処理装置、情報処理方法およびプログラムを提案する。
【課題を解決するための手段】
【0007】
本開示によれば、ユーザのつまみ操作を検出する検出部と、前記検出されたつまみ操作によるつまみ位置が、立体視オブジェクトのユーザによる知覚位置に対応する場合、前記立体視オブジェクトを選択対象に決定する制御部と、を備える情報処理装置が提供される。
【0008】
また、本開示によれば、ユーザのつまみ操作を検出するステップと、前記検出されたつまみ操作によるつまみ位置が、立体視オブジェクトのユーザによる知覚位置に対応する場合、前記立体視オブジェクトを選択対象に決定するステップと、を含む情報処理方法が提供される。
【0009】
また、本開示によれば、ユーザのつまみ操作を検出する処理と、前記検出されたつまみ操作によるつまみ位置が、立体視オブジェクトのユーザによる知覚位置に対応する場合、前記立体視オブジェクトを選択対象に決定する処理と、をコンピュータに実行させるプログラムが提供される。
【発明の効果】
【0010】
以上説明したように本開示によれば、3次元立体画像を直接的に選択することが可能である。
【図面の簡単な説明】
【0011】
【図1】本実施形態による情報処理装置の概要を説明するための図である。
【図2】本実施形態による情報処理装置のブロック構成図である。
【図3】本実施形態によるカメラの設定を説明するための概略断面図である。
【図4】本実施形態による情報処理装置の空間領域を示す図である。
【図5】本実施形態による検出部のつまみ操作検出処理を示すフローチャートである。
【図6】つまみ操作を撮影するカメラを説明するための図である。
【図7】マーカーの検出例を説明するための図である。
【図8】マーカーの他の検出例を説明するための図である。
【図9】撮影画像におけるマーカーの位置を説明するための図である。
【図10】操作例1を説明するための斜視図である。
【図11】操作例2を説明するための斜視図である。
【図12】空間領域におけるz方向の内、外を説明するための図である。
【図13】操作例3を説明するための概略側面図である。
【図14】操作例3における送信進捗状況の表示例を説明するための図である。
【図15】操作例4を説明するための斜視図である。
【図16】操作例4において受信中止を行う場合の操作例を説明するための図である。
【図17】操作例5を説明するための概略側面図である。
【発明を実施するための形態】
【0012】
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【0013】
また、説明は以下の順序で行うものとする。
1.本実施形態による情報処理装置の概要
2.本実施形態による情報処理装置の詳細
2−1.情報処理装置の構成
2−2.つまみ操作の検出処理
2−3.つまみ操作例
3.まとめ
【0014】
このように、本明細書において説明する本開示の技術は、上記項目の「1.本実施形態による情報処理装置の概要」および「2.本実施形態による情報処理装置の詳細」に示す一実施形態により実施され得る。また、本明細書において説明する実施形態による情報処理装置10は、
A:ユーザのつまみ操作を検出する検出部(19)と、
B:前記検出されたつまみ操作によるつまみ位置が、立体視オブジェクトのユーザによる知覚位置に対応する場合、前記立体視オブジェクトを選択対象に決定する制御部(11)と、
を備える。
【0015】
<1.本実施形態による情報処理装置の概要>
まず、図1を参照して、本開示の実施形態による情報処理装置10の概要について説明する。図1は、本実施形態による情報処理装置10の概要を説明するための図である。図1に示すように、情報処理装置10は、表示部13およびカメラ17を備える。また、本開示による情報処理装置10は、例えば図1に示すようにタブレット型のコンピュータにより実現される。
【0016】
ここで、本実施形態による情報処理装置10は、ユーザが立体的に視認できる立体視オブジェクトを提供する。立体視オブジェクトの鑑賞方式としては、視差を設けた左眼用オブジェクトLと右眼用オブジェクトRを鑑賞者に鑑賞させる両目視差方式が普及しつつある。この両目視差方式には、メガネを用いるメガネ方式とメガネを用いない裸眼方式の大きく2種類の方式が挙げられる。裸眼方式には、かまぼこ型の細かなレンズ(レンチキュラーレンズ)を配列させることにより左眼用オブジェクトLと右眼用オブジェクトRの光路を分離するレンチキュラースクリーン方式や、縦のスリット(パララックスバリア)により左眼用オブジェクトLと右眼用オブジェクトRの光路を分離するパララックスバリア方式がある。
【0017】
本実施形態による情報処理装置10は、一例として、両目視差画像を裸眼方式により鑑賞させることで立体視オブジェクトを提供する。よって、図1では、表示部13に左眼用オブジェクトLおよび右眼用オブジェクトRを示し、これらの前方にユーザが知覚する立体視オブジェクト30を示した。情報処理装置10は、空間上のユーザ操作に応じて立体視オブジェクト30を表示制御する。
【0018】
また、本実施形態による情報処理装置10が備えるカメラ17は、表示部13の近傍を撮影する。このようにカメラ17が撮影した撮影画像に基づいて、情報処理装置10は、空間上のユーザ操作を検出する。
【0019】
また、情報処理装置10は、表示部13と一体化した操作入力部15を用いて空間上のユーザ操作を検出してもよい。若しくは、情報処理装置10は、操作入力部15とカメラ17を併用して空間上のユーザ操作を検出してもよいし、複数のカメラや他のセンサを用いてユーザ操作を検出してもよい。
【0020】
ここで、本実施形態による情報処理装置10は、空間上に実在するように知覚される立体視オブジェクトを選択する場合、立体視オブジェクトを直接的に選択するユーザ操作として、つまむ操作による立体視オブジェクトの選択を実現する。
【0021】
具体的には、情報処理装置10は、ユーザによるつまみ操作のつまみ位置と、立体視オブジェクトの知覚位置が対応する場合に、当該立体視オブジェクトを選択対象として決定する。これにより、ユーザはつまみ操作により直接的に立体視オブジェクトを選択することができる。
【0022】
以上、本実施形態による情報処理装置10の概要について説明した。続いて、本実施形態による情報処理装置10の詳細について図面を参照して説明する。
【0023】
<2.本実施形態による情報処理装置の詳細>
[2−1.情報処理装置の構成]
図2は、本実施形態による情報処理装置10のブロック構成図である。図2に示すように、情報処理装置10は、制御部11、表示部13、操作入力部15、カメラ17、検出部19および通信部21を備える。以下、各構成について説明する。
【0024】
制御部11は、情報処理装置10の各構成を制御する。具体的には、図2に示すように、制御部11は、決定制御部110、表示制御部112および通信制御部114により各種制御を行う。
【0025】
決定制御部110は、立体視オブジェクトのユーザによる知覚位置を検出する。ここで、立体視オブジェクトは、ユーザの位置に応じて歪みや位置ズレが生じる。よって決定制御部11は、例えばユーザの顔を撮影した撮影画像に基づいてユーザの顔の位置を認識し、認識したユーザの顔の位置に応じて、立体視オブジェクトのユーザによる知覚位置を検出してもよい。また、決定制御部110は、検出部19から、ユーザのつまみ操作によるつまみ位置の情報を取得する。そして、決定制御部110は、つまみ位置に対応する位置でユーザに知覚される立体視オブジェクトを、選択対象として決定する。なお、つまみ位置に対応する位置とは、つまみ位置と一致する位置でもよいし、つまみ位置の周辺位置でもよい。
【0026】
表示制御部112は、表示部13に表示する画像を生成する機能を有する。例えば、表示制御部112は、立体オブジェクトを提供するために、視差のある両目用画像を生成する。
【0027】
また、表示制御部112は、表示部13に表示する画像を変化させる機能を有する。例えば、表示制御部112は、決定制御部110が選択対象として決定した立体視オブジェクトの色を変化させることで、ユーザのつまみ操作に対するフィードバックを行なってもよい。また、表示制御部112は、つまみ位置の移動に応じて選択された立体視オブジェクトの位置を変化させる。これによりユーザは、つまんだ立体視オブジェクトを、例えば表示部13に垂直なz方向において前後に移動させる操作を行なうことができる。なお、表示制御部112による表示制御の詳細は、後述する[2−3.つまみ操作例]において説明する。
【0028】
通信制御部114は、通信部21を制御し、データの送受信を行う。また、通信制御部114は、立体視オブジェクトの位置の移動に応じて送受信を制御してもよい。立体視オブジェクトのユーザによる知覚位置と、データの送受信制御の関係については、後述する[2−3.つまみ操作例]において詳細に説明する。
【0029】
表示部13は、表示制御部112から出力されたデータを表示する。例えば、表示部13は、視差のある両目用画像を表示することで、オブジェクトを立体表示する。立体表示するオブジェクトは、写真や映像でもよいし、操作ボタンやアイコンなどの画像でもよい。この表示部13は、例えば、液晶ディスプレイ(LCD:Liquid Crystal Display)、有機EL(Electroluminescence)ディスプレイなどの表示装置であってもよい。
【0030】
操作入力部15は、ユーザによる操作指示を受付け、その操作内容を検出部19に出力する。例えば、本実施形態による操作入力部15は、空間上のユーザ操作を検知する近接センサであってもよい。また、この操作部15は、表示部13と一体的に設けられる近接タッチパネルであってもよい。
【0031】
カメラ17は、空間上のユーザ操作を検知するイメージセンサであって、撮影画像を検出部19に出力する。カメラ17は、表示部13の近傍を撮影できるよう撮影方向が設定される。カメラ17の画角や撮影方向の情報は、記憶部(図示しない)に記憶しておいてもよい。
【0032】
カメラ17の具体的な設定例について図3を参照して説明する。図3は、本実施形態によるカメラ17の設定を説明するための概略断面図である。図3に示すように、例えばカメラ17は、表示部13の前面の空間を下から撮影するよう設定される。これにより、カメラ17は、撮影領域Aにおいて空間上のユーザ操作を撮影することができる。なお、カメラ17は、情報処理装置10に実装されてもよいし、外付けされてもよい。
【0033】
ここで、カメラ17による撮影領域Aのz方向における幅は、図3に示すように表示部13のy方向における各位置において異なるが、本実施形態による情報処理装置10は、ユーザ操作を検出できる空間領域Sを図4に示すように調整してもよい。
【0034】
図4は、本実施形態による情報処理装置10の空間領域Sを示す図である。図4に示すように、情報処理装置10は、表示部13からz方向の距離が表示部13全面において同じ空間を、ユーザ操作を検知できる空間領域Sに設定してもよい。このような空間領域Sは、例えば複数のカメラ17を備えることや、表示部13と一体化した操作入力部15を併用することによって設定してもよい。
【0035】
検出部19は、操作入力部15から入力された操作内容(例えば近接センサによる検知結果)、またはカメラ17から入力された撮影画像に基づいて空間上のユーザ操作を検出する。例えば、本実施形態による検出部19は、つまみ操作の有無、およびつまみ位置を検出することができる。なお、検出部19によるつまみ操作の検出については、後述する[2−2.つまみ操作の検出処理]において詳細に説明する。
【0036】
通信部21は、通信制御部114による制御に従って通信端末と通信を行うモジュールである。具体的には、通信部21は、通信端末からデータを受信する受信部、および通信端末にデータを送信する送信部を備える。また、通信部21は、Wi−FiやBluetoothなどの近距離無線通信や、最大10cmの短い距離で通信を行う短距離無線通信によりデータの送受信を行ってもよい。
【0037】
以上、本実施形態による情報処理装置10の構成について詳細に説明した。続いて、検出部19によるつまみ操作の検出処理について図5を参照して説明する。
【0038】
[2−2.つまみ操作の検出処理]
(つまみ操作)
図5は、本実施形態による検出部19のつまみ操作検出処理を示すフローチャートである。図5に示すように、まずステップS102において、検出部19は、カメラ17から入力された撮影画像からマーカーを検出する。
【0039】
ここで、カメラ17から入力される撮影画像について図6を参照して説明する。図6は、つまみ操作を撮影するカメラ17を説明するための図である。図6に示すように、カメラ17は、情報処理装置10の下方に設けられ、つまみ操作を行なうユーザの手を下から撮影する。
【0040】
また、ユーザは、図7に示すように、指先にマーカーmが付いた手袋をはめて操作を行なう。マーカーmと手袋の色は、例えば赤色のマーカーmと白色の手袋といったコントラストが明確な色同士にする。カメラ17は、図7に示すように下から撮影した撮影画像を検出部19に入力する。
【0041】
次に、ステップS104において、検出部19は、撮影画像から検出したマーカーが2点であるか否かを判断する。マーカーが2点である場合、処理はステップS106に進む。一方、マーカーが2点でない場合、処理はステップS112に進む。
【0042】
ここで、マーカーの検出例を図7および図8を参照して説明する。図7は、マーカーの検出例を説明するための図である。図7に示すように、検出部19は、撮影画像のうち赤く塗られた指先のマーカー部分を検出する。図7に示す例では、指先が離れているので、マーカーm1およびマーカーm2の2点が検出される。
【0043】
また、図8は、マーカーの他の検出例を説明するための図である。図8に示すように、検出部19は、撮影画像のうち赤く塗られた指先のマーカー部分を検出する。図8に示す例では、指先でつまんでいるので、マーカーmの1点が検出される。
【0044】
次いで、ステップS106において、検出部19は、検出された2点のマーカーの位置が近いか否かを判断する。例えば、検出部19は、2点のマーカー間の距離の値が、予め定めた閾値より小さいか否かにより、2点のマーカーの位置が近いか否かを判断する。
【0045】
上記ステップS106において、2点のマーカー間の距離の値が閾値より小さいと判断された場合、処理はステップS110に進み、つまみ操作が検出される。このように、マーカーが2点検出された場合でも、2点のマーカーの位置が近い場合、検出部19によりつまみ操作が検出される。
【0046】
一方、上記ステップS106において、2点のマーカー間の距離の値が閾値より大きいと判断された場合、処理はステップ108に進み、つまみ操作は検出されない。
【0047】
次に、ステップS112において、検出部19は、検出されたマーカーが1点であるか否かを判断する。マーカーが1点である場合、処理はステップS110に進み、つまみ操作が検出される。一方、マーカーが1点でない場合、処理はステップS114に進み、つまみ操作は検出されない。
【0048】
以上説明したように、検出部19は、検出されたマーカーの数、また複数のマーカー間の距離に基づいて、つまみ操作の検出処理を行う。なお、上記例では、指先のマーカーに基づいてつまみ操作の検出処理を行っているが、つまみ操作の検出処理はマーカーの検出に限られず、例えば撮影した画像から手の形を判断することでつまみ操作を検出してもよい。次に、検出部19による、つまみ操作のつまみ位置の算出処理について説明する。
【0049】
このようにつまみ操作が検出されると、さらに検出部19は、つまみ操作によるつまみ位置の3次元座標を算出する。つまみ位置の算出方法は、例えば、撮影画像から検出したマーカーの撮影画像内におけるXY座標と大きさから3次元座標に変換を行う。
【0050】
以下、図9を参照してマーカー位置の算出について具体的に説明する。図9は、撮影画像におけるマーカーの位置を説明するための図である。図9に示すように、撮影画像内のマーカーmの位置を(Px,Py)、マーカーmの横幅をPw、マーカーmの高さをPhとする。また、PxおよびPwは、撮影画像の横幅を1として正規化を行い、PyおよびPhは撮影画像の縦幅を1として正規化を行った値であるとする。なお、PxおよびPyは、撮影画像の中心を0とする。
【0051】
また、立体視空間の座標系でy=0におけるマーカーの想定サイズをW、同座標系におけるカメラ位置をCy、カメラの縦の画角をθv、横の画角をθhとする。このとき、マーカーの立体視空間における位置(Mx,My,Mz)は、以下の式により算出される。
【0052】
Mx = W * Px / Pw
My = W / Pw * (0.5 / tanθh) + Cy
Mz = Py / (0.5
/ tanθv) * Cy
【0053】
以上、つまみ操作によるつまみ位置の算出の一例について説明した。なお、上記例では、検出部19が撮影画像に基づいてつまみ操作によるつまみ位置を検出する場合について説明したが、つまみ位置の検出は、撮影画像のみに基づく場合に限られない。例えば、検出部19は、カメラ17から入力された撮影画像に加えて、操作入力部15から入力された操作内容に基づいてつまみ位置を検出する。具体的には、検出部19は、まず撮影画像に基づいてつまみ操作を検出し、次に近接センサなどで実現された操作入力部15からの操作内容(例えば近接センサによる検知結果)に基づいて、つまみ位置を検出する。
【0054】
検出部19は、上述した処理により、つまみ操作の検出やつまみ位置の算出を行うと、これらの結果を制御部11に出力する。制御部11は、検出部19から出力された検出結果に基づいて各種制御を行う。次に、ユーザによるつまみ操作の具体的な操作例について説明する。
【0055】
[2−3.つまみ操作例]
(操作例1)
操作例1について図10を参照して説明する。図10は、操作例1を説明するための斜視図である。図10の左側に示すように、ユーザがつまみ操作を行なうと、決定制御部110は、つまみ位置25に対応する位置でユーザにより知覚される立体視オブジェクトの写真画像32を選択対象として決定する。そして、図10の右側に示すように、つまみ位置25がz方向において前後に移動すると、表示制御部112は、写真画像32のユーザによる知覚位置がつまみ位置25に対応して移動するよう表示部13に表示する両目用画像を制御する。
【0056】
これにより、ユーザは、立体視オブジェクトとして知覚される写真画像32の奥行き(z方向)の位置を調整することができる。また、z方向の他、ユーザはつまんだ状態で上下左右、斜め、回転など空間上でつまみ位置を移動させることにより、写真画像32の位置を任意に調整することができる。
【0057】
(操作例2)
操作例2について図11を参照して説明する。図11は、操作例2を説明するための斜視図である。図11の左側に示すように、ユーザがつまみ操作を行なうと、決定制御部110は、つまみ位置25に対応する位置でユーザにより知覚される立体視オブジェクトのズームアイコン34を選択対象として決定する。そして、図11の右側に示すように、つまみ位置25がz方向において前後に移動すると、表示制御部112は、ズームアイコン34のユーザによる知覚位置がつまみ位置25に対応して移動するよう表示部13に表示する両目用画像を制御する。さらに、表示制御部112は、つまみ位置25のz方向への移動量に応じて、写真画像Pの大きさを制御する。
【0058】
これにより、ユーザはズームアイコン34のz方向における位置を制御することで、間接的に写真画像Pの拡大縮小を制御することができる。なお写真画像Pは平面画像でも立体視画像でもよい。
【0059】
以上、操作例1および操作例2を挙げて説明したように、本実施形態による情報処理装置10は、つまみ操作により立体視空間の特定の位置を指定することができる。
【0060】
次に、図12に示すように、空間領域Sのz方向の内、外において意味付けを行った場合の操作例について説明する。図12は、空間領域Sにおけるz方向の内、外を説明するための図である。図12に示すように、空間領域Sのz方向において、表示部13に近い領域である内側は情報処理装置10の内部にデータを格納する領域と意味付ける。また、表示部13から遠い領域である外側は情報処理装置10の外部にデータを出力する領域と意味付ける。以下、操作例3から操作例5を挙げて具体的に説明する。
【0061】
(操作例3)
操作例3について図13を参照して説明する。図13は、操作例3を説明するための概略側面図である。図13に示すように、空間領域Sの外側を、情報処理装置10の外部にデータを出力する領域として、送信エリア40と定義する。この場合、図13の左側に示すように、ユーザがつまみ操作を行なうと、決定制御部110は、つまみ位置25に対応する位置でユーザによる知覚される立体視オブジェクトの写真画像36を選択対象として決定する。そして、図13の右側に示すように、つまみ位置25が送信エリア40に移動すると、表示制御部112は、写真画像36のユーザによる知覚位置がつまみ位置25に対応して移動するよう表示部13に表示する両目用画像を制御する。
【0062】
表示制御部112により、写真画像36が送信エリア40に移動されると、通信制御部114は、写真画像36のデータを予めユーザにより指定された送信先に送信する制御を行う。
【0063】
また、写真画像36の送信進捗状況の表示例について図14を参照して説明する。図14は、操作例3における送信進捗状況の表示例を説明するための図である。図14に示すように、表示制御部112は、空間領域S内の送信エリア40に置かれた写真画像36のユーザによる知覚位置を、通信制御部114から取得した送信状況情報に応じて徐々に表示部13から離れるよう調整する。このように、表示制御部112により、写真画像36が徐々に空間領域Sの外側に移動することで、ユーザは直感的に送信進捗状況を把握することができる。
【0064】
(操作例4)
操作例4について図15および図16を参照して説明する。図15は、操作例4を説明するための斜視図である。図15に示すように、情報処理装置10がデータを受信する場合、表示制御部112は、通信制御部114から取得した受信進捗状況に応じて、立体視オブジェクト37のユーザによる知覚位置を空間領域Sの外側から内側に移動させる。このように、表示制御部112により、立体視オブジェクト37が徐々に空間領域Sの内側に移動することで、ユーザは直感的に受信進捗状況を把握することができる。
【0065】
図16は、操作例4において受信中止を行う場合の操作例を説明するための図である。図16の左側に示すように、表示制御部112により、立体視オブジェクト37が受信進捗状況に応じて、徐々に空間領域Sの内側に移動している。この時、図16の右側に示すように、ユーザがつまみ操作を行なうと、決定制御部110は、つまみ位置25に対応する位置でユーザにより知覚される立体視オブジェクト37を選択対象として決定する。
【0066】
すると表示制御部112は、選択対象の立体視オブジェクト37の移動を停止する制御を行う。また、通信制御部114は、通信部21を制御し、データの受信を一時停止する。これにより、ユーザは直感的に受信停止の操作を行なうことができる。なお、その後ユーザが立体視オブジェクト37を離すと、通信制御部114はデータの受信を再開してもよい。また、立体視オブジェクト37を表示部13から離す操作が行なわれた場合、通信制御部114は、受信を中止してもよい。
【0067】
(操作例5)
操作例5について図17を参照して説明する。図17は、操作例5を説明するための概略側面図である。図17に示すように、空間領域Sの外側を、情報処理装置10の外部にデータを出力する領域として、一時保存エリア42と定義する。
【0068】
この場合、図17の左側に示すように、ユーザがつまみ操作を行なうと、決定制御部110は、つまみ位置25に対応する位置でユーザにより知覚される立体視オブジェクトのサムネイル38を選択対象として決定する。そして、つまみ位置25が空間領域Sの外側に意味付けられた一時保存エリア42に移動すると、表示制御部112は、サムネイル38のユーザによる知覚位置がつまみ位置25に対応して移動するよう表示部13に表示する両目用画像を制御する。
【0069】
このように、一時保存エリア42にサムネイル38を置くと、情報処理装置10は、サムネイル38が示す情報の送信を待機する状態となる。そして、図17の右側に示すように、通信制御部114は、通信端末50が一時保存エリア42に置かれたサムネイル38に近付いたことを検知すると、通信部21を制御し、サムネイル38が示す情報を通信端末50に送信する。なお、通信制御部114は、BluetoothやWi−Fiのような近距離無線通信や、最大10cmの短い距離で通信を行う短距離無線通信などの接続状況を監視することにより通信端末50を検知してもよい。
【0070】
<3.まとめ>
上述したように、本開示の実施形態による情報処理装置10は、検出されたユーザのつまみ操作によるつまみ位置が、立体視オブジェクトのユーザによる知覚位置に対応する場合、前記立体視オブジェクトを選択対象に決定する。これにより、ユーザは、つまみ操作によって、3次元立体画像を直接的に選択することができる。
【0071】
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本技術はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
【0072】
例えば、表示制御部112は、つまみ位置と表示画面との距離に応じて、つまみ位置に知覚される立体視オブジェクトの透過度を変更してもよい。具体的には、表示制御部112は、立体視オブジェクトがユーザ操作により表示部13から離れるほど立体視オブジェクトの透過度を上げる。これにより、ユーザは、操作可能な空間領域Sの範囲外につまみ位置が近付いていることを直感的に把握することができる。
【0073】
また、上記実施形態では、本開示による情報処理装置10を、タブレット型のコンピュータにより実現する例を説明したが、本技術はかかる例に限定されない。例えば、本開示による情報処理装置は、図2を参照して説明した制御部11、検出部19および通信部21を主に有する制御装置でもよい。この場合、かかる制御装置は、表示部13、および操作入力部15を主に有する表示装置を制御する。また、かかる表示装置には、カメラ17が外付けされている。また、かかる制御装置および表示装置を有する情報処理システムも本技術に含まれる。
【0074】
また、本開示による情報処理装置は、ヘッドマウントディスプレイでもよい。この場合、ヘッドマウントディスプレイが備えるカメラにより、ユーザの空間上の操作を撮像する。そして、ヘッドマウントディスプレイが備える検出部が、撮像画像に基づいてつまみ操作およびつまみ位置を算出してもよい。
【0075】
また、上述した実施形態による情報処理装置10の各構成は、CPU(Central Processing Unit)、ROM(Read Only Memory)、およびRAM(Random Access Memory)といったハードウェア構成により実現してもよい。
【0076】
また、上述した実施形態による情報処理装置10の各構成と同等の機能を発揮させるためのコンピュータプログラムも作成可能である。また、該コンピュータプログラムを記憶させた記憶媒体も提供される。記録媒体は、例えば、磁気ディスク、光ディスク、光磁気ディスク、フラッシュメモリなどである。また、上記のコンピュータプログラムは、記録媒体を用いずに、例えばネットワークを介して配信してもよい。
【0077】
なお、本技術は以下のような構成も取ることができる。
(1)
ユーザのつまみ操作を検出する検出部と、
前記検出されたつまみ操作によるつまみ位置が、立体視オブジェクトのユーザによる知覚位置に対応する場合、前記立体視オブジェクトを選択対象に決定する制御部と、
を備える、情報処理装置。
(2)
前記制御部は、前記つまみ位置の3次元方向への動きに応じた制御を行う、前記(1)に記載の情報処理装置。
(3)
前記制御部は、前記つまみ位置の移動に応じて、前記立体視オブジェクトのユーザによる知覚位置が前記つまみ位置に対応するよう表示制御を行う、前記(1)または前記(2)に記載の情報処理装置。
(4)
前記制御部は、前記つまみ位置と表示画面との距離に応じて前記立体視オブジェクトの透過度を変更する、前記(1)から前記(3)のいずれかに記載の情報処理装置。
(5)
前記制御部は、前記つまみ位置が操作範囲外に近付くほど前記立体視オブジェクトの透過度を上げる、前記(1)から前記(4)のいずれかに記載の情報処理装置。
(6)
前記制御部は、前記つまみ位置の、表示画面に垂直な方向への移動に応じて、表示内容を拡大または縮小する、前記(1)から前記(5)のいずれかに記載の情報処理装置。
(7)
前記制御部は、データ送信またはデータ受信の進捗状況に応じて前記立体視オブジェクトを表示画面に垂直な方向に移動させ、前記つまむ操作により前記立体視オブジェクトが選択されると、前記データ送信またはデータ受信を中止する、前記(1)から前記(6)のいずれかに記載の情報処理装置。
(8)
前記検出部は、操作範囲を撮影した撮影画像から検出したマーカーに基づいてつまみ操作を検出する、前記(1)から前記(7)のいずれかに記載の情報処理装置。
(9)
ユーザのつまみ操作を検出するステップと、
前記検出されたつまみ操作によるつまみ位置が、立体視オブジェクトのユーザによる知覚位置に対応する場合、前記立体視オブジェクトを選択対象に決定するステップと、
を含む、情報処理方法。
(10)
ユーザのつまみ操作を検出する処理と、
前記検出されたつまみ操作によるつまみ位置が、立体視オブジェクトのユーザによる知覚位置に対応する場合、前記立体視オブジェクトを選択対象に決定する処理と、
をコンピュータに実行させる、プログラム。
(11)
前記つまみ位置の3次元方向への動きに応じた制御を行う処理を含む、前記(10)に記載のプログラム。
(12)
前記つまみ位置の移動に応じて、前記立体視オブジェクトのユーザによる知覚位置が前記つまみ位置に対応するよう表示制御を行う処理を含む、前記(10)または前記(11)に記載のプログラム。
(13)
前記つまみ位置と表示画面との距離に応じて前記立体視オブジェクトの透過度を変更する処理を含む、前記(10)から前記(12)のいずれかに記載のプログラム。
(14)
前記つまみ位置が操作範囲外に近付くほど前記立体視オブジェクトの透過度を上げる処理を含む、前記(10)から前記(13)のいずれかに記載のプログラム。
(15)
前記つまみ位置の、表示画面に垂直な方向への移動に応じて、表示内容を拡大または縮小する処理を含む、前記(10)から前記(14)のいずれかに記載のプログラム。
(16)
データ送信またはデータ受信の進捗状況に応じて前記立体視オブジェクトを表示画面に垂直な方向に移動させ、前記つまむ操作により前記立体視オブジェクトが選択されると、前記データ送信またはデータ受信を中止する処理を含む、前記(10)から前記(15)のいずれかに記載のプログラム。
(17)
操作範囲を撮影した撮影画像から検出したマーカーに基づいてつまみ操作を検出する処理を含む、前記(10)から前記(16)のいずれかに記載のプログラム。
【符号の説明】
【0078】
10 情報処理装置
11 制御部
110 決定制御部
112 表示制御部
114 通信制御部
13 表示部
15 操作入力部
17 カメラ
19 検出部
21 通信部
【技術分野】
【0001】
本開示は、情報処理装置、情報処理方法およびプログラムに関する。
【背景技術】
【0002】
現在、情報処理装置の多くが、GUI(グラフィック ユーザー インターフェース)を実装している。通常、GUIは、ユーザによる操作に応じて画面上を移動するポインタを表示し、ユーザはこのポインタで画面の任意の位置を指すことで、画面上に表示したアイコンなどを選択できる。
【0003】
このようなポインタの表示技術に関し、例えば特許文献1には、カメラ画像に基づいて複数のユーザの空間での手の動きを各々認識し、各ユーザの手の動きに応じて移動する複数のポインタを表示する技術が開示されている。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開2011−54117号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
また、近年、立体視画像の表示装置が注目されている。この立体視画像の表示装置は、アイコンやサムネイルなどの操作対象を立体視オブジェクトとして表示することができる。ここで、立体視オブジェクトは、2次元画像と異なり、空間上に実在しているかのようにユーザによって知覚される。このため、立体視オブジェクトの選択を、空間上に実在する物体と同様に直接的に行えることが望まれるが、上述のポインタを用いる技術では、立体視オブジェクトの直接的な選択を実現することが困難であった。
【0006】
そこで、本開示では、3次元立体画像を直接的に選択することが可能な、新規かつ改良された情報処理装置、情報処理方法およびプログラムを提案する。
【課題を解決するための手段】
【0007】
本開示によれば、ユーザのつまみ操作を検出する検出部と、前記検出されたつまみ操作によるつまみ位置が、立体視オブジェクトのユーザによる知覚位置に対応する場合、前記立体視オブジェクトを選択対象に決定する制御部と、を備える情報処理装置が提供される。
【0008】
また、本開示によれば、ユーザのつまみ操作を検出するステップと、前記検出されたつまみ操作によるつまみ位置が、立体視オブジェクトのユーザによる知覚位置に対応する場合、前記立体視オブジェクトを選択対象に決定するステップと、を含む情報処理方法が提供される。
【0009】
また、本開示によれば、ユーザのつまみ操作を検出する処理と、前記検出されたつまみ操作によるつまみ位置が、立体視オブジェクトのユーザによる知覚位置に対応する場合、前記立体視オブジェクトを選択対象に決定する処理と、をコンピュータに実行させるプログラムが提供される。
【発明の効果】
【0010】
以上説明したように本開示によれば、3次元立体画像を直接的に選択することが可能である。
【図面の簡単な説明】
【0011】
【図1】本実施形態による情報処理装置の概要を説明するための図である。
【図2】本実施形態による情報処理装置のブロック構成図である。
【図3】本実施形態によるカメラの設定を説明するための概略断面図である。
【図4】本実施形態による情報処理装置の空間領域を示す図である。
【図5】本実施形態による検出部のつまみ操作検出処理を示すフローチャートである。
【図6】つまみ操作を撮影するカメラを説明するための図である。
【図7】マーカーの検出例を説明するための図である。
【図8】マーカーの他の検出例を説明するための図である。
【図9】撮影画像におけるマーカーの位置を説明するための図である。
【図10】操作例1を説明するための斜視図である。
【図11】操作例2を説明するための斜視図である。
【図12】空間領域におけるz方向の内、外を説明するための図である。
【図13】操作例3を説明するための概略側面図である。
【図14】操作例3における送信進捗状況の表示例を説明するための図である。
【図15】操作例4を説明するための斜視図である。
【図16】操作例4において受信中止を行う場合の操作例を説明するための図である。
【図17】操作例5を説明するための概略側面図である。
【発明を実施するための形態】
【0012】
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【0013】
また、説明は以下の順序で行うものとする。
1.本実施形態による情報処理装置の概要
2.本実施形態による情報処理装置の詳細
2−1.情報処理装置の構成
2−2.つまみ操作の検出処理
2−3.つまみ操作例
3.まとめ
【0014】
このように、本明細書において説明する本開示の技術は、上記項目の「1.本実施形態による情報処理装置の概要」および「2.本実施形態による情報処理装置の詳細」に示す一実施形態により実施され得る。また、本明細書において説明する実施形態による情報処理装置10は、
A:ユーザのつまみ操作を検出する検出部(19)と、
B:前記検出されたつまみ操作によるつまみ位置が、立体視オブジェクトのユーザによる知覚位置に対応する場合、前記立体視オブジェクトを選択対象に決定する制御部(11)と、
を備える。
【0015】
<1.本実施形態による情報処理装置の概要>
まず、図1を参照して、本開示の実施形態による情報処理装置10の概要について説明する。図1は、本実施形態による情報処理装置10の概要を説明するための図である。図1に示すように、情報処理装置10は、表示部13およびカメラ17を備える。また、本開示による情報処理装置10は、例えば図1に示すようにタブレット型のコンピュータにより実現される。
【0016】
ここで、本実施形態による情報処理装置10は、ユーザが立体的に視認できる立体視オブジェクトを提供する。立体視オブジェクトの鑑賞方式としては、視差を設けた左眼用オブジェクトLと右眼用オブジェクトRを鑑賞者に鑑賞させる両目視差方式が普及しつつある。この両目視差方式には、メガネを用いるメガネ方式とメガネを用いない裸眼方式の大きく2種類の方式が挙げられる。裸眼方式には、かまぼこ型の細かなレンズ(レンチキュラーレンズ)を配列させることにより左眼用オブジェクトLと右眼用オブジェクトRの光路を分離するレンチキュラースクリーン方式や、縦のスリット(パララックスバリア)により左眼用オブジェクトLと右眼用オブジェクトRの光路を分離するパララックスバリア方式がある。
【0017】
本実施形態による情報処理装置10は、一例として、両目視差画像を裸眼方式により鑑賞させることで立体視オブジェクトを提供する。よって、図1では、表示部13に左眼用オブジェクトLおよび右眼用オブジェクトRを示し、これらの前方にユーザが知覚する立体視オブジェクト30を示した。情報処理装置10は、空間上のユーザ操作に応じて立体視オブジェクト30を表示制御する。
【0018】
また、本実施形態による情報処理装置10が備えるカメラ17は、表示部13の近傍を撮影する。このようにカメラ17が撮影した撮影画像に基づいて、情報処理装置10は、空間上のユーザ操作を検出する。
【0019】
また、情報処理装置10は、表示部13と一体化した操作入力部15を用いて空間上のユーザ操作を検出してもよい。若しくは、情報処理装置10は、操作入力部15とカメラ17を併用して空間上のユーザ操作を検出してもよいし、複数のカメラや他のセンサを用いてユーザ操作を検出してもよい。
【0020】
ここで、本実施形態による情報処理装置10は、空間上に実在するように知覚される立体視オブジェクトを選択する場合、立体視オブジェクトを直接的に選択するユーザ操作として、つまむ操作による立体視オブジェクトの選択を実現する。
【0021】
具体的には、情報処理装置10は、ユーザによるつまみ操作のつまみ位置と、立体視オブジェクトの知覚位置が対応する場合に、当該立体視オブジェクトを選択対象として決定する。これにより、ユーザはつまみ操作により直接的に立体視オブジェクトを選択することができる。
【0022】
以上、本実施形態による情報処理装置10の概要について説明した。続いて、本実施形態による情報処理装置10の詳細について図面を参照して説明する。
【0023】
<2.本実施形態による情報処理装置の詳細>
[2−1.情報処理装置の構成]
図2は、本実施形態による情報処理装置10のブロック構成図である。図2に示すように、情報処理装置10は、制御部11、表示部13、操作入力部15、カメラ17、検出部19および通信部21を備える。以下、各構成について説明する。
【0024】
制御部11は、情報処理装置10の各構成を制御する。具体的には、図2に示すように、制御部11は、決定制御部110、表示制御部112および通信制御部114により各種制御を行う。
【0025】
決定制御部110は、立体視オブジェクトのユーザによる知覚位置を検出する。ここで、立体視オブジェクトは、ユーザの位置に応じて歪みや位置ズレが生じる。よって決定制御部11は、例えばユーザの顔を撮影した撮影画像に基づいてユーザの顔の位置を認識し、認識したユーザの顔の位置に応じて、立体視オブジェクトのユーザによる知覚位置を検出してもよい。また、決定制御部110は、検出部19から、ユーザのつまみ操作によるつまみ位置の情報を取得する。そして、決定制御部110は、つまみ位置に対応する位置でユーザに知覚される立体視オブジェクトを、選択対象として決定する。なお、つまみ位置に対応する位置とは、つまみ位置と一致する位置でもよいし、つまみ位置の周辺位置でもよい。
【0026】
表示制御部112は、表示部13に表示する画像を生成する機能を有する。例えば、表示制御部112は、立体オブジェクトを提供するために、視差のある両目用画像を生成する。
【0027】
また、表示制御部112は、表示部13に表示する画像を変化させる機能を有する。例えば、表示制御部112は、決定制御部110が選択対象として決定した立体視オブジェクトの色を変化させることで、ユーザのつまみ操作に対するフィードバックを行なってもよい。また、表示制御部112は、つまみ位置の移動に応じて選択された立体視オブジェクトの位置を変化させる。これによりユーザは、つまんだ立体視オブジェクトを、例えば表示部13に垂直なz方向において前後に移動させる操作を行なうことができる。なお、表示制御部112による表示制御の詳細は、後述する[2−3.つまみ操作例]において説明する。
【0028】
通信制御部114は、通信部21を制御し、データの送受信を行う。また、通信制御部114は、立体視オブジェクトの位置の移動に応じて送受信を制御してもよい。立体視オブジェクトのユーザによる知覚位置と、データの送受信制御の関係については、後述する[2−3.つまみ操作例]において詳細に説明する。
【0029】
表示部13は、表示制御部112から出力されたデータを表示する。例えば、表示部13は、視差のある両目用画像を表示することで、オブジェクトを立体表示する。立体表示するオブジェクトは、写真や映像でもよいし、操作ボタンやアイコンなどの画像でもよい。この表示部13は、例えば、液晶ディスプレイ(LCD:Liquid Crystal Display)、有機EL(Electroluminescence)ディスプレイなどの表示装置であってもよい。
【0030】
操作入力部15は、ユーザによる操作指示を受付け、その操作内容を検出部19に出力する。例えば、本実施形態による操作入力部15は、空間上のユーザ操作を検知する近接センサであってもよい。また、この操作部15は、表示部13と一体的に設けられる近接タッチパネルであってもよい。
【0031】
カメラ17は、空間上のユーザ操作を検知するイメージセンサであって、撮影画像を検出部19に出力する。カメラ17は、表示部13の近傍を撮影できるよう撮影方向が設定される。カメラ17の画角や撮影方向の情報は、記憶部(図示しない)に記憶しておいてもよい。
【0032】
カメラ17の具体的な設定例について図3を参照して説明する。図3は、本実施形態によるカメラ17の設定を説明するための概略断面図である。図3に示すように、例えばカメラ17は、表示部13の前面の空間を下から撮影するよう設定される。これにより、カメラ17は、撮影領域Aにおいて空間上のユーザ操作を撮影することができる。なお、カメラ17は、情報処理装置10に実装されてもよいし、外付けされてもよい。
【0033】
ここで、カメラ17による撮影領域Aのz方向における幅は、図3に示すように表示部13のy方向における各位置において異なるが、本実施形態による情報処理装置10は、ユーザ操作を検出できる空間領域Sを図4に示すように調整してもよい。
【0034】
図4は、本実施形態による情報処理装置10の空間領域Sを示す図である。図4に示すように、情報処理装置10は、表示部13からz方向の距離が表示部13全面において同じ空間を、ユーザ操作を検知できる空間領域Sに設定してもよい。このような空間領域Sは、例えば複数のカメラ17を備えることや、表示部13と一体化した操作入力部15を併用することによって設定してもよい。
【0035】
検出部19は、操作入力部15から入力された操作内容(例えば近接センサによる検知結果)、またはカメラ17から入力された撮影画像に基づいて空間上のユーザ操作を検出する。例えば、本実施形態による検出部19は、つまみ操作の有無、およびつまみ位置を検出することができる。なお、検出部19によるつまみ操作の検出については、後述する[2−2.つまみ操作の検出処理]において詳細に説明する。
【0036】
通信部21は、通信制御部114による制御に従って通信端末と通信を行うモジュールである。具体的には、通信部21は、通信端末からデータを受信する受信部、および通信端末にデータを送信する送信部を備える。また、通信部21は、Wi−FiやBluetoothなどの近距離無線通信や、最大10cmの短い距離で通信を行う短距離無線通信によりデータの送受信を行ってもよい。
【0037】
以上、本実施形態による情報処理装置10の構成について詳細に説明した。続いて、検出部19によるつまみ操作の検出処理について図5を参照して説明する。
【0038】
[2−2.つまみ操作の検出処理]
(つまみ操作)
図5は、本実施形態による検出部19のつまみ操作検出処理を示すフローチャートである。図5に示すように、まずステップS102において、検出部19は、カメラ17から入力された撮影画像からマーカーを検出する。
【0039】
ここで、カメラ17から入力される撮影画像について図6を参照して説明する。図6は、つまみ操作を撮影するカメラ17を説明するための図である。図6に示すように、カメラ17は、情報処理装置10の下方に設けられ、つまみ操作を行なうユーザの手を下から撮影する。
【0040】
また、ユーザは、図7に示すように、指先にマーカーmが付いた手袋をはめて操作を行なう。マーカーmと手袋の色は、例えば赤色のマーカーmと白色の手袋といったコントラストが明確な色同士にする。カメラ17は、図7に示すように下から撮影した撮影画像を検出部19に入力する。
【0041】
次に、ステップS104において、検出部19は、撮影画像から検出したマーカーが2点であるか否かを判断する。マーカーが2点である場合、処理はステップS106に進む。一方、マーカーが2点でない場合、処理はステップS112に進む。
【0042】
ここで、マーカーの検出例を図7および図8を参照して説明する。図7は、マーカーの検出例を説明するための図である。図7に示すように、検出部19は、撮影画像のうち赤く塗られた指先のマーカー部分を検出する。図7に示す例では、指先が離れているので、マーカーm1およびマーカーm2の2点が検出される。
【0043】
また、図8は、マーカーの他の検出例を説明するための図である。図8に示すように、検出部19は、撮影画像のうち赤く塗られた指先のマーカー部分を検出する。図8に示す例では、指先でつまんでいるので、マーカーmの1点が検出される。
【0044】
次いで、ステップS106において、検出部19は、検出された2点のマーカーの位置が近いか否かを判断する。例えば、検出部19は、2点のマーカー間の距離の値が、予め定めた閾値より小さいか否かにより、2点のマーカーの位置が近いか否かを判断する。
【0045】
上記ステップS106において、2点のマーカー間の距離の値が閾値より小さいと判断された場合、処理はステップS110に進み、つまみ操作が検出される。このように、マーカーが2点検出された場合でも、2点のマーカーの位置が近い場合、検出部19によりつまみ操作が検出される。
【0046】
一方、上記ステップS106において、2点のマーカー間の距離の値が閾値より大きいと判断された場合、処理はステップ108に進み、つまみ操作は検出されない。
【0047】
次に、ステップS112において、検出部19は、検出されたマーカーが1点であるか否かを判断する。マーカーが1点である場合、処理はステップS110に進み、つまみ操作が検出される。一方、マーカーが1点でない場合、処理はステップS114に進み、つまみ操作は検出されない。
【0048】
以上説明したように、検出部19は、検出されたマーカーの数、また複数のマーカー間の距離に基づいて、つまみ操作の検出処理を行う。なお、上記例では、指先のマーカーに基づいてつまみ操作の検出処理を行っているが、つまみ操作の検出処理はマーカーの検出に限られず、例えば撮影した画像から手の形を判断することでつまみ操作を検出してもよい。次に、検出部19による、つまみ操作のつまみ位置の算出処理について説明する。
【0049】
このようにつまみ操作が検出されると、さらに検出部19は、つまみ操作によるつまみ位置の3次元座標を算出する。つまみ位置の算出方法は、例えば、撮影画像から検出したマーカーの撮影画像内におけるXY座標と大きさから3次元座標に変換を行う。
【0050】
以下、図9を参照してマーカー位置の算出について具体的に説明する。図9は、撮影画像におけるマーカーの位置を説明するための図である。図9に示すように、撮影画像内のマーカーmの位置を(Px,Py)、マーカーmの横幅をPw、マーカーmの高さをPhとする。また、PxおよびPwは、撮影画像の横幅を1として正規化を行い、PyおよびPhは撮影画像の縦幅を1として正規化を行った値であるとする。なお、PxおよびPyは、撮影画像の中心を0とする。
【0051】
また、立体視空間の座標系でy=0におけるマーカーの想定サイズをW、同座標系におけるカメラ位置をCy、カメラの縦の画角をθv、横の画角をθhとする。このとき、マーカーの立体視空間における位置(Mx,My,Mz)は、以下の式により算出される。
【0052】
Mx = W * Px / Pw
My = W / Pw * (0.5 / tanθh) + Cy
Mz = Py / (0.5
/ tanθv) * Cy
【0053】
以上、つまみ操作によるつまみ位置の算出の一例について説明した。なお、上記例では、検出部19が撮影画像に基づいてつまみ操作によるつまみ位置を検出する場合について説明したが、つまみ位置の検出は、撮影画像のみに基づく場合に限られない。例えば、検出部19は、カメラ17から入力された撮影画像に加えて、操作入力部15から入力された操作内容に基づいてつまみ位置を検出する。具体的には、検出部19は、まず撮影画像に基づいてつまみ操作を検出し、次に近接センサなどで実現された操作入力部15からの操作内容(例えば近接センサによる検知結果)に基づいて、つまみ位置を検出する。
【0054】
検出部19は、上述した処理により、つまみ操作の検出やつまみ位置の算出を行うと、これらの結果を制御部11に出力する。制御部11は、検出部19から出力された検出結果に基づいて各種制御を行う。次に、ユーザによるつまみ操作の具体的な操作例について説明する。
【0055】
[2−3.つまみ操作例]
(操作例1)
操作例1について図10を参照して説明する。図10は、操作例1を説明するための斜視図である。図10の左側に示すように、ユーザがつまみ操作を行なうと、決定制御部110は、つまみ位置25に対応する位置でユーザにより知覚される立体視オブジェクトの写真画像32を選択対象として決定する。そして、図10の右側に示すように、つまみ位置25がz方向において前後に移動すると、表示制御部112は、写真画像32のユーザによる知覚位置がつまみ位置25に対応して移動するよう表示部13に表示する両目用画像を制御する。
【0056】
これにより、ユーザは、立体視オブジェクトとして知覚される写真画像32の奥行き(z方向)の位置を調整することができる。また、z方向の他、ユーザはつまんだ状態で上下左右、斜め、回転など空間上でつまみ位置を移動させることにより、写真画像32の位置を任意に調整することができる。
【0057】
(操作例2)
操作例2について図11を参照して説明する。図11は、操作例2を説明するための斜視図である。図11の左側に示すように、ユーザがつまみ操作を行なうと、決定制御部110は、つまみ位置25に対応する位置でユーザにより知覚される立体視オブジェクトのズームアイコン34を選択対象として決定する。そして、図11の右側に示すように、つまみ位置25がz方向において前後に移動すると、表示制御部112は、ズームアイコン34のユーザによる知覚位置がつまみ位置25に対応して移動するよう表示部13に表示する両目用画像を制御する。さらに、表示制御部112は、つまみ位置25のz方向への移動量に応じて、写真画像Pの大きさを制御する。
【0058】
これにより、ユーザはズームアイコン34のz方向における位置を制御することで、間接的に写真画像Pの拡大縮小を制御することができる。なお写真画像Pは平面画像でも立体視画像でもよい。
【0059】
以上、操作例1および操作例2を挙げて説明したように、本実施形態による情報処理装置10は、つまみ操作により立体視空間の特定の位置を指定することができる。
【0060】
次に、図12に示すように、空間領域Sのz方向の内、外において意味付けを行った場合の操作例について説明する。図12は、空間領域Sにおけるz方向の内、外を説明するための図である。図12に示すように、空間領域Sのz方向において、表示部13に近い領域である内側は情報処理装置10の内部にデータを格納する領域と意味付ける。また、表示部13から遠い領域である外側は情報処理装置10の外部にデータを出力する領域と意味付ける。以下、操作例3から操作例5を挙げて具体的に説明する。
【0061】
(操作例3)
操作例3について図13を参照して説明する。図13は、操作例3を説明するための概略側面図である。図13に示すように、空間領域Sの外側を、情報処理装置10の外部にデータを出力する領域として、送信エリア40と定義する。この場合、図13の左側に示すように、ユーザがつまみ操作を行なうと、決定制御部110は、つまみ位置25に対応する位置でユーザによる知覚される立体視オブジェクトの写真画像36を選択対象として決定する。そして、図13の右側に示すように、つまみ位置25が送信エリア40に移動すると、表示制御部112は、写真画像36のユーザによる知覚位置がつまみ位置25に対応して移動するよう表示部13に表示する両目用画像を制御する。
【0062】
表示制御部112により、写真画像36が送信エリア40に移動されると、通信制御部114は、写真画像36のデータを予めユーザにより指定された送信先に送信する制御を行う。
【0063】
また、写真画像36の送信進捗状況の表示例について図14を参照して説明する。図14は、操作例3における送信進捗状況の表示例を説明するための図である。図14に示すように、表示制御部112は、空間領域S内の送信エリア40に置かれた写真画像36のユーザによる知覚位置を、通信制御部114から取得した送信状況情報に応じて徐々に表示部13から離れるよう調整する。このように、表示制御部112により、写真画像36が徐々に空間領域Sの外側に移動することで、ユーザは直感的に送信進捗状況を把握することができる。
【0064】
(操作例4)
操作例4について図15および図16を参照して説明する。図15は、操作例4を説明するための斜視図である。図15に示すように、情報処理装置10がデータを受信する場合、表示制御部112は、通信制御部114から取得した受信進捗状況に応じて、立体視オブジェクト37のユーザによる知覚位置を空間領域Sの外側から内側に移動させる。このように、表示制御部112により、立体視オブジェクト37が徐々に空間領域Sの内側に移動することで、ユーザは直感的に受信進捗状況を把握することができる。
【0065】
図16は、操作例4において受信中止を行う場合の操作例を説明するための図である。図16の左側に示すように、表示制御部112により、立体視オブジェクト37が受信進捗状況に応じて、徐々に空間領域Sの内側に移動している。この時、図16の右側に示すように、ユーザがつまみ操作を行なうと、決定制御部110は、つまみ位置25に対応する位置でユーザにより知覚される立体視オブジェクト37を選択対象として決定する。
【0066】
すると表示制御部112は、選択対象の立体視オブジェクト37の移動を停止する制御を行う。また、通信制御部114は、通信部21を制御し、データの受信を一時停止する。これにより、ユーザは直感的に受信停止の操作を行なうことができる。なお、その後ユーザが立体視オブジェクト37を離すと、通信制御部114はデータの受信を再開してもよい。また、立体視オブジェクト37を表示部13から離す操作が行なわれた場合、通信制御部114は、受信を中止してもよい。
【0067】
(操作例5)
操作例5について図17を参照して説明する。図17は、操作例5を説明するための概略側面図である。図17に示すように、空間領域Sの外側を、情報処理装置10の外部にデータを出力する領域として、一時保存エリア42と定義する。
【0068】
この場合、図17の左側に示すように、ユーザがつまみ操作を行なうと、決定制御部110は、つまみ位置25に対応する位置でユーザにより知覚される立体視オブジェクトのサムネイル38を選択対象として決定する。そして、つまみ位置25が空間領域Sの外側に意味付けられた一時保存エリア42に移動すると、表示制御部112は、サムネイル38のユーザによる知覚位置がつまみ位置25に対応して移動するよう表示部13に表示する両目用画像を制御する。
【0069】
このように、一時保存エリア42にサムネイル38を置くと、情報処理装置10は、サムネイル38が示す情報の送信を待機する状態となる。そして、図17の右側に示すように、通信制御部114は、通信端末50が一時保存エリア42に置かれたサムネイル38に近付いたことを検知すると、通信部21を制御し、サムネイル38が示す情報を通信端末50に送信する。なお、通信制御部114は、BluetoothやWi−Fiのような近距離無線通信や、最大10cmの短い距離で通信を行う短距離無線通信などの接続状況を監視することにより通信端末50を検知してもよい。
【0070】
<3.まとめ>
上述したように、本開示の実施形態による情報処理装置10は、検出されたユーザのつまみ操作によるつまみ位置が、立体視オブジェクトのユーザによる知覚位置に対応する場合、前記立体視オブジェクトを選択対象に決定する。これにより、ユーザは、つまみ操作によって、3次元立体画像を直接的に選択することができる。
【0071】
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本技術はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
【0072】
例えば、表示制御部112は、つまみ位置と表示画面との距離に応じて、つまみ位置に知覚される立体視オブジェクトの透過度を変更してもよい。具体的には、表示制御部112は、立体視オブジェクトがユーザ操作により表示部13から離れるほど立体視オブジェクトの透過度を上げる。これにより、ユーザは、操作可能な空間領域Sの範囲外につまみ位置が近付いていることを直感的に把握することができる。
【0073】
また、上記実施形態では、本開示による情報処理装置10を、タブレット型のコンピュータにより実現する例を説明したが、本技術はかかる例に限定されない。例えば、本開示による情報処理装置は、図2を参照して説明した制御部11、検出部19および通信部21を主に有する制御装置でもよい。この場合、かかる制御装置は、表示部13、および操作入力部15を主に有する表示装置を制御する。また、かかる表示装置には、カメラ17が外付けされている。また、かかる制御装置および表示装置を有する情報処理システムも本技術に含まれる。
【0074】
また、本開示による情報処理装置は、ヘッドマウントディスプレイでもよい。この場合、ヘッドマウントディスプレイが備えるカメラにより、ユーザの空間上の操作を撮像する。そして、ヘッドマウントディスプレイが備える検出部が、撮像画像に基づいてつまみ操作およびつまみ位置を算出してもよい。
【0075】
また、上述した実施形態による情報処理装置10の各構成は、CPU(Central Processing Unit)、ROM(Read Only Memory)、およびRAM(Random Access Memory)といったハードウェア構成により実現してもよい。
【0076】
また、上述した実施形態による情報処理装置10の各構成と同等の機能を発揮させるためのコンピュータプログラムも作成可能である。また、該コンピュータプログラムを記憶させた記憶媒体も提供される。記録媒体は、例えば、磁気ディスク、光ディスク、光磁気ディスク、フラッシュメモリなどである。また、上記のコンピュータプログラムは、記録媒体を用いずに、例えばネットワークを介して配信してもよい。
【0077】
なお、本技術は以下のような構成も取ることができる。
(1)
ユーザのつまみ操作を検出する検出部と、
前記検出されたつまみ操作によるつまみ位置が、立体視オブジェクトのユーザによる知覚位置に対応する場合、前記立体視オブジェクトを選択対象に決定する制御部と、
を備える、情報処理装置。
(2)
前記制御部は、前記つまみ位置の3次元方向への動きに応じた制御を行う、前記(1)に記載の情報処理装置。
(3)
前記制御部は、前記つまみ位置の移動に応じて、前記立体視オブジェクトのユーザによる知覚位置が前記つまみ位置に対応するよう表示制御を行う、前記(1)または前記(2)に記載の情報処理装置。
(4)
前記制御部は、前記つまみ位置と表示画面との距離に応じて前記立体視オブジェクトの透過度を変更する、前記(1)から前記(3)のいずれかに記載の情報処理装置。
(5)
前記制御部は、前記つまみ位置が操作範囲外に近付くほど前記立体視オブジェクトの透過度を上げる、前記(1)から前記(4)のいずれかに記載の情報処理装置。
(6)
前記制御部は、前記つまみ位置の、表示画面に垂直な方向への移動に応じて、表示内容を拡大または縮小する、前記(1)から前記(5)のいずれかに記載の情報処理装置。
(7)
前記制御部は、データ送信またはデータ受信の進捗状況に応じて前記立体視オブジェクトを表示画面に垂直な方向に移動させ、前記つまむ操作により前記立体視オブジェクトが選択されると、前記データ送信またはデータ受信を中止する、前記(1)から前記(6)のいずれかに記載の情報処理装置。
(8)
前記検出部は、操作範囲を撮影した撮影画像から検出したマーカーに基づいてつまみ操作を検出する、前記(1)から前記(7)のいずれかに記載の情報処理装置。
(9)
ユーザのつまみ操作を検出するステップと、
前記検出されたつまみ操作によるつまみ位置が、立体視オブジェクトのユーザによる知覚位置に対応する場合、前記立体視オブジェクトを選択対象に決定するステップと、
を含む、情報処理方法。
(10)
ユーザのつまみ操作を検出する処理と、
前記検出されたつまみ操作によるつまみ位置が、立体視オブジェクトのユーザによる知覚位置に対応する場合、前記立体視オブジェクトを選択対象に決定する処理と、
をコンピュータに実行させる、プログラム。
(11)
前記つまみ位置の3次元方向への動きに応じた制御を行う処理を含む、前記(10)に記載のプログラム。
(12)
前記つまみ位置の移動に応じて、前記立体視オブジェクトのユーザによる知覚位置が前記つまみ位置に対応するよう表示制御を行う処理を含む、前記(10)または前記(11)に記載のプログラム。
(13)
前記つまみ位置と表示画面との距離に応じて前記立体視オブジェクトの透過度を変更する処理を含む、前記(10)から前記(12)のいずれかに記載のプログラム。
(14)
前記つまみ位置が操作範囲外に近付くほど前記立体視オブジェクトの透過度を上げる処理を含む、前記(10)から前記(13)のいずれかに記載のプログラム。
(15)
前記つまみ位置の、表示画面に垂直な方向への移動に応じて、表示内容を拡大または縮小する処理を含む、前記(10)から前記(14)のいずれかに記載のプログラム。
(16)
データ送信またはデータ受信の進捗状況に応じて前記立体視オブジェクトを表示画面に垂直な方向に移動させ、前記つまむ操作により前記立体視オブジェクトが選択されると、前記データ送信またはデータ受信を中止する処理を含む、前記(10)から前記(15)のいずれかに記載のプログラム。
(17)
操作範囲を撮影した撮影画像から検出したマーカーに基づいてつまみ操作を検出する処理を含む、前記(10)から前記(16)のいずれかに記載のプログラム。
【符号の説明】
【0078】
10 情報処理装置
11 制御部
110 決定制御部
112 表示制御部
114 通信制御部
13 表示部
15 操作入力部
17 カメラ
19 検出部
21 通信部
【特許請求の範囲】
【請求項1】
ユーザのつまみ操作を検出する検出部と、
前記検出されたつまみ操作によるつまみ位置が、立体視オブジェクトのユーザによる知覚位置に対応する場合、前記立体視オブジェクトを選択対象に決定する制御部と、
を備える、情報処理装置。
【請求項2】
前記制御部は、前記つまみ位置の3次元方向への動きに応じた制御を行う、請求項1に記載の情報処理装置。
【請求項3】
前記制御部は、前記つまみ位置の移動に応じて、前記立体視オブジェクトのユーザによる知覚位置が前記つまみ位置に対応するよう表示制御を行う、請求項1に記載の情報処理装置。
【請求項4】
前記制御部は、前記つまみ位置と表示画面との距離に応じて前記立体視オブジェクトの透過度を変更する、請求項1に記載の情報処理装置。
【請求項5】
前記制御部は、前記つまみ位置が操作範囲外に近付くほど前記立体視オブジェクトの透過度を上げる、請求項1に記載の情報処理装置。
【請求項6】
前記制御部は、前記つまみ位置の、表示画面に垂直な方向への移動に応じて、表示内容を拡大または縮小する、請求項1に記載の情報処理装置。
【請求項7】
前記制御部は、データ送信またはデータ受信の進捗状況に応じて前記立体視オブジェクトを表示画面に垂直な方向に移動させ、前記つまむ操作により前記立体視オブジェクトが選択されると、前記データ送信またはデータ受信を中止する、請求項1に記載の情報処理装置。
【請求項8】
前記検出部は、操作範囲を撮影した撮影画像から検出したマーカーに基づいてつまみ操作を検出する、請求項1に記載の情報処理装置。
【請求項9】
ユーザのつまみ操作を検出するステップと、
前記検出されたつまみ操作によるつまみ位置が、立体視オブジェクトのユーザによる知覚位置に対応する場合、前記立体視オブジェクトを選択対象に決定するステップと、
を含む、情報処理方法。
【請求項10】
ユーザのつまみ操作を検出する処理と、
前記検出されたつまみ操作によるつまみ位置が、立体視オブジェクトのユーザによる知覚位置に対応する場合、前記立体視オブジェクトを選択対象に決定する処理と、
をコンピュータに実行させる、プログラム。
【請求項11】
前記つまみ位置の3次元方向への動きに応じた制御を行う処理を含む、請求項10に記載のプログラム。
【請求項12】
前記つまみ位置の移動に応じて、前記立体視オブジェクトのユーザによる知覚位置が前記つまみ位置に対応するよう表示制御を行う処理を含む、請求項10に記載のプログラム。
【請求項13】
前記つまみ位置と表示画面との距離に応じて前記立体視オブジェクトの透過度を変更する処理を含む、請求項10に記載のプログラム。
【請求項14】
前記つまみ位置が操作範囲外に近付くほど前記立体視オブジェクトの透過度を上げる処理を含む、請求項10に記載のプログラム。
【請求項15】
前記つまみ位置の、表示画面に垂直な方向への移動に応じて、表示内容を拡大または縮小する処理を含む、請求項10に記載のプログラム。
【請求項16】
データ送信またはデータ受信の進捗状況に応じて前記立体視オブジェクトを表示画面に垂直な方向に移動させ、前記つまむ操作により前記立体視オブジェクトが選択されると、前記データ送信またはデータ受信を中止する処理を含む、請求項10に記載のプログラム。
【請求項17】
操作範囲を撮影した撮影画像から検出したマーカーに基づいてつまみ操作を検出する処理を含む、請求項10に記載のプログラム。
【請求項1】
ユーザのつまみ操作を検出する検出部と、
前記検出されたつまみ操作によるつまみ位置が、立体視オブジェクトのユーザによる知覚位置に対応する場合、前記立体視オブジェクトを選択対象に決定する制御部と、
を備える、情報処理装置。
【請求項2】
前記制御部は、前記つまみ位置の3次元方向への動きに応じた制御を行う、請求項1に記載の情報処理装置。
【請求項3】
前記制御部は、前記つまみ位置の移動に応じて、前記立体視オブジェクトのユーザによる知覚位置が前記つまみ位置に対応するよう表示制御を行う、請求項1に記載の情報処理装置。
【請求項4】
前記制御部は、前記つまみ位置と表示画面との距離に応じて前記立体視オブジェクトの透過度を変更する、請求項1に記載の情報処理装置。
【請求項5】
前記制御部は、前記つまみ位置が操作範囲外に近付くほど前記立体視オブジェクトの透過度を上げる、請求項1に記載の情報処理装置。
【請求項6】
前記制御部は、前記つまみ位置の、表示画面に垂直な方向への移動に応じて、表示内容を拡大または縮小する、請求項1に記載の情報処理装置。
【請求項7】
前記制御部は、データ送信またはデータ受信の進捗状況に応じて前記立体視オブジェクトを表示画面に垂直な方向に移動させ、前記つまむ操作により前記立体視オブジェクトが選択されると、前記データ送信またはデータ受信を中止する、請求項1に記載の情報処理装置。
【請求項8】
前記検出部は、操作範囲を撮影した撮影画像から検出したマーカーに基づいてつまみ操作を検出する、請求項1に記載の情報処理装置。
【請求項9】
ユーザのつまみ操作を検出するステップと、
前記検出されたつまみ操作によるつまみ位置が、立体視オブジェクトのユーザによる知覚位置に対応する場合、前記立体視オブジェクトを選択対象に決定するステップと、
を含む、情報処理方法。
【請求項10】
ユーザのつまみ操作を検出する処理と、
前記検出されたつまみ操作によるつまみ位置が、立体視オブジェクトのユーザによる知覚位置に対応する場合、前記立体視オブジェクトを選択対象に決定する処理と、
をコンピュータに実行させる、プログラム。
【請求項11】
前記つまみ位置の3次元方向への動きに応じた制御を行う処理を含む、請求項10に記載のプログラム。
【請求項12】
前記つまみ位置の移動に応じて、前記立体視オブジェクトのユーザによる知覚位置が前記つまみ位置に対応するよう表示制御を行う処理を含む、請求項10に記載のプログラム。
【請求項13】
前記つまみ位置と表示画面との距離に応じて前記立体視オブジェクトの透過度を変更する処理を含む、請求項10に記載のプログラム。
【請求項14】
前記つまみ位置が操作範囲外に近付くほど前記立体視オブジェクトの透過度を上げる処理を含む、請求項10に記載のプログラム。
【請求項15】
前記つまみ位置の、表示画面に垂直な方向への移動に応じて、表示内容を拡大または縮小する処理を含む、請求項10に記載のプログラム。
【請求項16】
データ送信またはデータ受信の進捗状況に応じて前記立体視オブジェクトを表示画面に垂直な方向に移動させ、前記つまむ操作により前記立体視オブジェクトが選択されると、前記データ送信またはデータ受信を中止する処理を含む、請求項10に記載のプログラム。
【請求項17】
操作範囲を撮影した撮影画像から検出したマーカーに基づいてつまみ操作を検出する処理を含む、請求項10に記載のプログラム。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【公開番号】特開2012−256110(P2012−256110A)
【公開日】平成24年12月27日(2012.12.27)
【国際特許分類】
【出願番号】特願2011−127447(P2011−127447)
【出願日】平成23年6月7日(2011.6.7)
【公序良俗違反の表示】
(特許庁注:以下のものは登録商標)
1.Bluetooth
【出願人】(000002185)ソニー株式会社 (34,172)
【Fターム(参考)】
【公開日】平成24年12月27日(2012.12.27)
【国際特許分類】
【出願日】平成23年6月7日(2011.6.7)
【公序良俗違反の表示】
(特許庁注:以下のものは登録商標)
1.Bluetooth
【出願人】(000002185)ソニー株式会社 (34,172)
【Fターム(参考)】
[ Back to top ]