説明

情報処理装置、および情報処理方法、並びにプログラム

【課題】表示部に表示されないデータを仮想オブジェクトとして常に観察可能な構成を実現する。
【解決手段】例えばPCを適用したデータ処理において、削除処理やコピー処理の対象としたデータなどPCの表示部に表示されないデータを仮想オブジェクトとして設定し、ユーザの手の指などに貼り付けて、常に観察することを可能な構成とした。本構成によれば、PCの表示領域に表示されないデータをPCの表示領域以外の空間に貼り付けて表示して観察することが可能となり、データ処理の効率を高めることが可能となる。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、情報処理装置、および情報処理方法、並びにプログラムに関する。さらに詳細には、実世界の実物体と電子的な表示を融合させた複合現実感(MR:Mixed Reality)を利用したデータ処理を行う情報処理装置、および情報処理方法、並びにプログラムに関する。
【背景技術】
【0002】
例えばユーザがPC(パーソナルコンピュータ)を利用したデータ処理を行う場合、ユーザは、PCの表示部(ディスプレイ)の表示データに対する処理を行う。例えばデータのコピーやカット(削除)を行う場合を例として説明する。この場合、ユーザは、表示部(ディスプレイ)に表示した文字列あるいは画像領域などを指定し、指定処理の後、コマンド入力によりデータをカット(削除)する処理、あるいは他の領域にコピーする処理を行う。
【0003】
このようなカットやコピー処理の対象とした処理データは、PC内のメモリに格納されるが、処理過程で表示領域からは消えてしまう場合がある。ユーザが、これらのカットやコピー対象とした処理データの内容を確認したい場合の処理としては、例えば以下の処理が必要となる。
(a)処理データを表示部(ディスプレイ)の一部領域に常に表示する。
(b)処理データをコピーバッファに格納し、ユーザ操作によってコピーバッファの格納データを読み出して表示部(ディスプレイ)に表示する。
(c)処理データをユーザ操作によって表示部(ディスプレイ)内の指定領域にペースト(貼り付け)して表示する。
【0004】
例えば、上記のような方法を行えば、カット処理やコピー処理の処理データについて、その内容を確認することができる。
しかし、上記手法において、(a)の手法は、処理データを、常時表示部に表示することが必要となり、表示部の少なくとも一部領域が占有されてしまう。その結果、ユーザが表示部内で利用する主要ワーク領域、例えば文書作成画面の領域が狭くなってしまうといった問題が発生する。また、(b)の手法はコピーバッファの格納データを表示させるというユーザ操作が必要となり、ユーザの処理負担が増加するという問題がある。また(c)の手法もユーザ操作が必要であり、また処理データをペースト(貼り付け)した後に、ペーストしたデータの間違いに気づいた場合には削除処理や、やり直し(UNDO)といった新たな処理が必要となるという問題がある。
【0005】
本発明は、このような問題を、例えば複合現実感(MR:Mixed Reality)を利用したデータ処理を利用して解決するものである。なお、複合現実感について説明した従来技術としては、例えば特許文献1(特開2008−304268号公報)や、特許文献2(特開2008−304269号公報)がある。これらの文献には、カメラによって撮影された画像を利用して実世界の三次元マップを作成する処理について記載している。
【先行技術文献】
【特許文献】
【0006】
【特許文献1】特開2008−304268号公報
【特許文献2】特開2008−304269号公報
【発明の概要】
【発明が解決しようとする課題】
【0007】
本発明は、複合現実感(MR:Mixed Reality)を利用したデータ処理により、例えばPCなどの表示部(ディスプレイ)以外の領域に、様々なデータを電子的に貼り付けた合成画像を生成して、この合成画像を観察可能とすることで、主要ワーク領域として利用する表示部以外の空間領域を有効に利用可能とした情報処理装置、および情報処理方法、並びにプログラムを提供することを目的とする。
【課題を解決するための手段】
【0008】
本発明の第1の側面は、
第1表示部を利用したデータ処理において生成した処理データを格納するメモリと、
カメラ撮影画像に含まれる実オブジェクトの三次元位置を解析する三次元情報解析部と、
前記三次元情報解析部の解析情報を入力し、前記実オブジェクトの構成部位を仮想オブジェクト表示位置として決定し、前記実オブジェクトと前記仮想オブジェクトを合成した合成画像を第2表示部に表示する仮想オブジェクト管理部を有し、
前記仮想オブジェクト管理部は、
前記第2表示部に表示された仮想オブジェクトに対する処理要求の入力に応じて、処理要求のなされた仮想オブジェクトに対応するデータを前記第1表示部を適用したデータ処理を行うデータ処理装置または該データ処理装置のアクセス可能なメモリに出力する処理を行う情報処理装置にある。
【0009】
さらに、本発明の情報処理装置の一実施態様において、前記情報処理装置は、通信部を有し、前記第1表示部を適用したデータ処理を行うデータ処理装置との通信を実行して、前記第1表示部を適用したデータ処理用のデータを送受信する。
【0010】
さらに、本発明の情報処理装置の一実施態様において、前記三次元情報解析部は、カメラ撮影画像に含まれるユーザの手の各指を認識する手認識モジュールを有し、手認識モジュールにおいて認識されたユーザの手の各指の三次元位置を解析する構成であり、前記仮想オブジェクト管理部は、ユーザの手の各指の位置を前記仮想オブジェクト表示位置として決定し、ユーザの手の各指の位置に前記仮想オブジェクトを合成した合成画像を第2表示部に表示する処理を行う。
【0011】
さらに、本発明の情報処理装置の一実施態様において、前記メモリに格納されるデータは、前記第1表示部を適用したデータ処理において実行されたデータ削除処理またはデータコピー処理の対象となったデータである。
【0012】
さらに、本発明の情報処理装置の一実施態様において、前記仮想オブジェクト管理部は、前記三次元情報解析部の解析情報を入力し、前記第2表示部の表示画像に含まれる実オブジェクトの構成部位を仮想オブジェクト表示位置として決定し、決定情報を仮想オブジェクト情報管理テーブルに登録する処理を行う。
【0013】
さらに、本発明の情報処理装置の一実施態様において、前記仮想オブジェクト管理部は、前記仮想オブジェクト情報管理テーブルに登録された仮想オブジェクト表示位置に対応する前記第2表示部の表示位置に仮想オブジェクトが表示中であるか否かを示す状態情報を登録する処理を行う。
【0014】
さらに、本発明の情報処理装置の一実施態様において、前記仮想オブジェクト管理部は、前記仮想オブジェクト情報管理テーブルの前記状態情報を参照して、新たな仮想オブジォクトの表示可否を判定し、ユーザ入力に応じて前記第2表示部に表示中の仮想オブジェクトの削除処理を行う。
【0015】
さらに、本発明の第2の側面は、
情報処理装置において実行する情報処理方法であり、
制御部が、第1表示部を利用したデータ処理に適用する処理データをメモリに格納するステップと、
三次元情報解析部が、カメラ撮影画像に含まれる実オブジェクトの三次元位置を解析する三次元情報解析ステップと、
仮想オブジェクト管理部が、前記三次元情報解析部の解析情報を入力し、前記実オブジェクトの構成部位を仮想オブジェクト表示位置として決定し、前記実オブジェクトと前記仮想オブジェクトを合成した合成画像を第2表示部に表示するステップと、
前記仮想オブジェクト管理部が、前記第2表示部に表示された仮想オブジェクトに対する処理要求の入力に応じて、処理要求のなされた仮想オブジェクトに対応するデータを、前記第1表示部を適用したデータ処理を行うデータ処理装置または該データ処理装置のアクセス可能なメモリに出力する処理を行うステップと、
を有する情報処理方法にある。
【0016】
さらに、本発明の第3の側面は、
情報処理装置において情報処理を実行させるプログラムであり、
制御部に、第1表示部を利用したデータ処理に適用する処理データをメモリに格納させるステップと、
三次元情報解析部に、カメラ撮影画像に含まれる実オブジェクトの三次元位置を解析させる三次元情報解析ステップと、
仮想オブジェクト管理部に、前記三次元情報解析部の解析情報を入力させて、前記実オブジェクトの構成部位を仮想オブジェクト表示位置として決定させ、前記実オブジェクトと前記仮想オブジェクトを合成した合成画像を第2表示部に表示させるステップと、
前記仮想オブジェクト管理部に、前記第2表示部に表示された仮想オブジェクトに対する処理要求の入力に応じて、処理要求のなされた仮想オブジェクトに対応するデータを、前記第1表示部を適用したデータ処理を行うデータ処理装置または該データ処理装置のアクセス可能なメモリに出力する処理を行わせるステップと、
を実行させるプログラムにある。
【0017】
なお、本発明のプログラムは、例えば、様々なプログラム・コードを実行可能な画像処理装置やコンピュータ・システムに対して、コンピュータ可読な形式で提供する記憶媒体、通信媒体によって提供可能なプログラムである。このようなプログラムをコンピュータ可読な形式で提供することにより、画像処理装置やコンピュータ・システム上でプログラムに応じた処理が実現される。
【0018】
本発明のさらに他の目的、特徴や利点は、後述する本発明の実施例や添付する図面に基づくより詳細な説明によって明らかになるであろう。なお、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。
【発明の効果】
【0019】
本発明の一実施例の構成によれば、例えばPCを適用したデータ処理において、削除処理やコピー処理の対象としたデータなどPCの表示部に表示されないデータを仮想オブジェクトとして設定し、ユーザの手の指などに貼り付けて、常に観察することを可能な構成とした。本構成によれば、PCの表示領域に表示されないデータをPCの表示領域以外の空間に貼り付けて表示して観察することが可能となり、データ処理の効率を高めることが可能となる。
【図面の簡単な説明】
【0020】
【図1】本発明の情報処理装置の一実施例構成について説明する図である。
【図2】本発明の情報処理装置の実行する仮想オブジェクトの表示例について説明する図である。
【図3】本発明の情報処理装置の実行する一処理例について説明する図である。
【図4】本発明の情報処理装置の実行する仮想オブジェクトの表示例について説明する図である。
【図5】本発明の情報処理装置の実行する仮想オブジェクト貼り付け位置の設定登録処理シーケンスについて説明するフローチャートを示す図である。
【図6】本発明の情報処理装置の実行する仮想オブジェクト貼り付け位置の設定登録において利用するテーブルの構成例について説明する図である。
【図7】本発明の情報処理装置の実行する仮想オブジェクト貼り付け処理シーケンスについて説明するフローチャートを示す図である。
【図8】本発明の情報処理装置の実行する仮想オブジェクト対応データを利用したデータ処理シーケンスについて説明するフローチャートを示す図である。
【図9】本発明の情報処理装置の実行する仮想オブジェクト対応データを利用したデータ処理シーケンスについて説明するフローチャートを示す図である。
【図10】本発明の情報処理装置の実行する仮想オブジェクトの表示例について説明する図である。
【図11】本発明の情報処理装置の実行する仮想オブジェクト貼り付け位置の設定登録において利用するテーブルの構成例について説明する図である。
【発明を実施するための形態】
【0021】
以下、図面を参照しながら本発明の情報処理装置、および情報処理方法、並びにプログラムの詳細について説明する。
【0022】
本発明について以下の項目に従って順次説明する。
1.本発明の情報処理装置の構成例と処理例について
2.本発明の情報処理装置の実行する処理のシーケンス例について
3.仮想オブジェクトの貼り付け対象とする実オブジェクトの例について
【0023】
[1.本発明の情報処理装置の構成例と処理例について]
本発明の情報処理装置の構成例と処理例について図1以下を参照して説明する。図1は、本発明の情報処理装置の一構成例を示す図である。
【0024】
ユーザ100は、PC(パーソナルコンピュータ)120を操作して、各種のデータ処理を行うことができる。PC120は、図に示すように、アプリケーション実行部121、メモリ122、通信部123を有する。アプリケーション実行部121では、ユーザの選択したアプリケーションプログラムが実行される。例えば文書作成アプリケーションや描画アプリケーションなどである。メモリ122は、RAM,ROM等によって構成され、アプリケーションプログラムの格納領域やワークエリアとして利用される。例えば、以下において説明するコピー処理やカット処理などにおける処理データの格納領域としても利用される。通信部123は、複合現実間(MR:Mixed Reality)生成装置130との通信処理を行う。
【0025】
ユーザ100は、仮想オブジェクトを表示するディスプレイを有するメガネ141を装着している。メガネ141には周囲の環境を撮影するカメラ142が備えられている。メガネ141とカメラ142は、複合現実間(MR:Mixed Reality)生成装置130に接続されている。ユーザ100はメガネ141に設けられたディスプレイの表示画像を観察しながら作業を行う。
【0026】
メガネ141のディスプレイには、カメラ142の撮影画像である実世界画像を表示し、さらに複合現実感(MR)生成装置130の生成した仮想オブジェクトを実世界画像に併せて表示する。
【0027】
図1の例において、ユーザ100はPC(パーソナルコンピュータ)120を操作しており、カメラ142は、ユーザ100の操作するPC(パーソナルコンピュータ)120を撮影している。従って、メガネ141のディスプレイには、実世界画像として、例えば、ユーザ100の操作するPC(パーソナルコンピュータ)120のディスプレイとその周囲の様々な実オブジェクトを含む画像が表示される。さらに、この実世界画像に複合現実感(MR)生成装置130の生成した仮想オブジェクトが重ねて表示される。ユーザ100の動きに応じて、カメラ142の向きも変更され、例えばユーザが自分の手を見た場合、手の画像が実世界画像としてメガネ141のディスプレイに表示され、その実世界画像に仮想オブジェクトが併せて表示されることになる。例えば図2に示すような実オブジェクトと仮想オブジェクトの合成画像がディスプレイ表示画像200として表示される。
【0028】
図2についての説明の前に、図1に示す複合現実感(MR)生成装置130の構成について説明する。複合現実感(MR)生成装置130は、図1に示すように、三次元情報解析部131、仮想オブジェクト管理モジュール132、メモリ133、通信部134を有する。
【0029】
三次元情報解析部131は、ユーザの装着したカメラ142の撮影画像を入力し、撮影画像に含まれるオブジェクトの三次元位置を解析する処理を行う。この三次元位置解析処理は、例えば、SLAM(simultaneous localization and mapping)を適用した処理として行われる。SLAMは、カメラの撮影画像に含まれる様々な実オブジェクトから特徴点を選択し、選択した特徴点の位置とカメラの位置姿勢を併せて検出する処理である。なお、SLAMについては、前述の特許文献1(特開2008−304268号公報)や、特許文献2(特開2008−304269号公報)に記載されている。なお、SLAMの基本的な処理については、論文[Andrew J.Davison,"Real−time simultaneous localisation and mapping with a single camera",Proceedings of the 9th International Conference on Computer Vision,Ninth,(2003)]に記載がある。
【0030】
三次元情報解析部131は、例えば上記のSLAMを適用してユーザの装着したカメラ142の撮影画像に含まれる実オブジェクトの三次元位置を算出する。ただし三次元情報解析部131は、上記のSLAMに限らず、その他の方法でカメラ撮影画像に含まれるオブジェクトの三次元位置を求める設定であってもよい。
【0031】
仮想オブジェクト管理モジュール132は、ユーザの装着したメガネ141のディスプレイに表示する仮想オブジェクトの管理を行う。仮想オブジェクトは、メモリ133に格納されたデータである。具体的には、例えば、ユーザの装着したメガネ141のディスプレイには、図2に示すディスプレイ表示画像200が表示される。ディスプレイ表示画像200に含まれる手の画像は、カメラ142によって撮影された実画像(実オブジェクト)である。この実画像(実オブジェクト)に対して図2に示す仮想オブジェクト201〜203が併せて表示される。
【0032】
図1に示すユーザ100は、ユーザ100の手に図1に示す仮想オブジェクト150が張り付いた画像をメガネ141のディスプレイによって観察することができる。図1に示す仮想オブジェクト150は、図2に示す仮想オブジェクト201〜203に対応し現実世界のオブジェクト(実オブジェクト)ではない。
【0033】
図1に示す仮想オブジェクト150に対応するデータである図2に示す仮想オブジェクト201〜203は、ユーザ100によるPC120の操作によって、コピー処理やカット処理のなされた処理データである。この処理データは、ユーザ100のPC120に対する操作に従い、PC120のアプリケーション実行部121の処理によって、PC120内のメモリ122に格納される。
【0034】
メモリ122に格納されたデータは、PC120の通信部123と、複合現実感(MR)生成装置130の通信部134との通信によって、複合現実感(MR)生成装置130に送信される。複合現実感(MR)生成装置130は、PC120からの受信データを複合現実感(MR)生成装置130内のメモリ133に格納する。
【0035】
複合現実感(MR)生成装置130の仮想オブジェクト管理モジュール132は、メモリ133に格納されたデータを仮想オブジェクトとしてユーザの装着したメガネ141のディスプレイに表示する処理を行う。具体的には、例えば仮想オブジェクトの表示位置を決定して、決定した表示位置に仮想オブジェクトを表示する処理を行う。
【0036】
図2に示す例では、3つの仮想オブジェクト201〜203を、実世界画像として表示されるユーザの[手]のそれぞれの指の指先に表示位置を設定して表示した例を示している。
仮想オブジェクト201[Change]、
仮想オブジェクト202[Yes,we can]、
仮想オブジェクト203[写真画像]、
これらは、いずれもユーザ100によるPC120の操作によって、カットあるいはコピー対象データとしてPC120のメモリ122に格納されたデータである。これらのデータが通信によって複合現実感(MR)生成装置130に送信され、複合現実感(MR)生成装置130のメモリ133に格納される。複合現実感(MR)生成装置130の仮想オブジェクト管理モジュール132は、メモリ133に格納されたデータを仮想オブジェクトとして、各仮想オブジェクトの表示位置を決定する処理を行ない、ユーザの装着したメガネ141のディスプレイに表示する。
【0037】
なお、図1に示す装置では、PC120と、複合現実感(MR)生成装置130の2つの装置を別の装置として両装置間のデータ通信を行う構成としているが、PC120と、複合現実感(MR)生成装置130を1つの装置として構成することも可能であり、この場合、図1に示す各装置の通信部は省略できる。例えばPC120に複合現実感(MR)生成装置130の三次元情報解析部131、仮想オブジェクト管理モジュール132を設定して、1つのPC内で処理を行なう構成とすることも可能である。
【0038】
すなわち、図1には、PC(パーソナルコンピュータ)120と複合現実間(MR:Mixed Reality)生成装置130を示しているが、本発明の情報処理装置は、図1に示す複合現実間(MR:Mixed Reality)生成装置130単独の装置としてもよいし、複合現実間(MR:Mixed Reality)生成装置130とPC120の2つの装置から構成される装置であってもよい。あるいは2つの装置の機能を合わせ持つ1つの装置によって構成することもできる。
【0039】
図1の構成を適用した具体的な処理例について図3以下を参照して説明する。例えばユーザ100は、PC120のアプリケーション実行部121において文書作成アプリケーションを実行し、図3に示すような文書を作成している。ここでデータ領域301を設定して、カットコマンドを入力するとデータ領域301のデータは、PC120のメモリ122に格納される。その後、このデータは、通信処理によって、複合現実感(MR)生成装置130に送信され、複合現実感(MR)生成装置130内のメモリ133に格納される。
【0040】
複合現実感(MR)生成装置130の三次元情報解析部131は、ユーザ100に装着したカメラ142の撮影画像を入力し、例えばSLAMを適用して撮影画像に含まれるオブジェクトの三次元位置を算出する。例えば図3に示すPCのディスプレイの4隅に設定されたマーカー321a〜dを特徴点として選択し、これらの特徴点の三次元位置を算出する。
【0041】
なお、図3に示す例は、特徴点の識別のためにマーカー321a〜dを設定した例を示しているが、このようなマーカーを設定することは必須ではなく、オブジェクトの形状、例えば画像からオブジェクトの角部(コーナー)を検出し、検出した角部(コーナー)を特徴点として選択して、その特徴点の三次元位置を判定することも可能である。なお、角部(コーナー)の検出処理は、既存のハリスコーナーディテクター(Harris Corner Detector)を用いた特徴点抽出処理によって実行可能である。
【0042】
なお、三次元情報解析部131は、撮影画像から特定のオブジェクトを検出する機能を持つ構成としてもよい。具体的には、人の手や指を認識する手認識モジュールを供える構成とすることが可能である。手認識モジュールは、画像の解析により、人の手や指と判断されるオブジェクトを検出するモジュールである。このような特定オブジェクト検出モジュールは、特定のオブジェクト(例えば人の手や指)の特徴情報を保持し、その特徴情報を持つオブジェクトを画像から検出た場合にその検出オブジェクトを特定オブジェクトと判定する処理を行う。
【0043】
なお、指の認識アルゴリズムを開示した文献として以下の文献がある。[Handy AR: Markerless Inspection of Augmented Reality Objects Using Fingertip Tracking]。例えば、三次元情報解析部131を、この文献に記載されたアルゴリズムを実行するモジュールを備えた構成とし、人の手や指を認識する処理を実行する構成とする。
【0044】
カメラ142によって撮影された画像からユーザの手の各指の三次元位置を算出し、その位置に仮想オブジェクトを貼り付けて表示することで、先に図2を参照して説明したディスプレイ表示画像200が生成可能となる。
【0045】
仮想オブジェクト管理モジュール132は、三次元情報解析部131からカメラ撮影画像に含まれる実オブジェクトの三次元位置情報を取得する。例えばユーザの各指の位置情報を取得する。さらに、仮想オブジェクト管理モジュール132は、メモリ133に格納されたコピーデータやカットデータを取得し、取得したデータを仮想オブジェクトとして、ユーザの各指の位置に貼り付けた画像をユーザ100の装着したメガネ141のディスプレイに表示する処理を行う。
【0046】
図3に示すデータ領域301が、ユーザによってカットされ、仮想オブジェクトとして設定された場合、ユーザ100の装着したメガネ141のディスプレイに表示されるデータの例を図4に示す。図4に示すディスプレイ表示画像350は、ユーザ100の装着したメガネ141のディスプレイに表示される画像である。
【0047】
マーカー321a〜dの設定されたディスプレイの画像は、ユーザ100の操作するPC120の実画像である。カメラ142の撮影した実画像である。また、手360もユーザの実際の手の画像ある。この実画像に対して、仮想オブジェクト371が併せて表示される。仮想オブジェクト371は、ユーザ100によるPC120に対する処理において処理対象としたデータ、例えばカット処理やコピー処理としたデータである。
【0048】
この仮想オブジェクト371は、複合現実感(MR)生成装置130のメモリ133に格納されたデータである。仮想オブジェクト管理モジュール132は、三次元情報解析部131からカメラ撮影画像に含まれる実オブジェクト(ユーザの手の指)の三次元位置情報を取得し、取得した実オブジェクトの位置に対応する位置に仮想オブジェクト371の表示位置を設定して表示処理を実行する。
【0049】
これらの処理によって、ユーザ100は、PC120の表示領域から消去されてしまったデータを、仮想オブジェクト371として常時、確認することが可能となる。
【0050】
[2.本発明の情報処理装置の実行する処理のシーケンス例について]
次に、図5以下のフローチャートを参照して、ユーザの各指を仮想オブジェクト貼り付け表示位置として設定する処理、および仮想オブジェクトの表示処理などの処理シーケンスについて説明する。以下において説明する処理シーケンスは以下の通りである。
(a)ユーザの各指を仮想オブジェクト貼り付け表示位置として設定登録する処理(図5)
(b)ユーザの各指に仮想オブジェクトを貼り付けて表示する処理(図7)
(c)ユーザの指に設定した仮想オブジェクトをPCにおける処理データとして利用(ペースト)する際の複合現実感(MR)生成装置130の処理(図8)
(d)ユーザの指に設定した仮想オブジェクトをPCにおける処理データとして利用(ペースト)する際のPC120の処理(図9)
【0051】
(a)ユーザの各指を仮想オブジェクト貼り付け表示位置として設定登録する処理
まず図5に示すフローチャートを参照して、ユーザの各指を仮想オブジェクト貼り付け表示位置として設定登録する処理について説明する。この処理は、複合現実感(MR)生成装置130側の処理として実行する。
【0052】
まず、ステップS101において、複合現実感(MR)生成装置130を貼り付け先登録処理モードに設定する。なお、図1に示す複合現実感(MR)生成装置130には示していないが、複合現実感(MR)生成装置130はモード設定などを行う入力部があり、ユーザの操作によってモード設定が可能である。
【0053】
次に、ステップS102おいて、三次元情報解析部(手認識モジュール)131がカメラ142からの入力画像を解析し、画像に含まれる実オブジェクトの三次元位置を解析する。本例では三次元位置の解析対象とする実オブジェクトは、ユーザの手の各指である。三次元情報解析部(手認識モジュール)131は、ユーザの一方の手の各指を識別するとともに、各指の三次元位置の解析を行う。
【0054】
ステップS103において、ユーザが、もう一方の手の指で貼り付け対象となる指を指示(触る)すると、三次元情報解析部(手認識モジュール)131は、ステップS104において、画像の解析によって、どの指が指示されたかを認識する。三次元情報解析部(手認識モジュール)131は予め人の指の識別情報を有しており、ユーザによって指示された指が親指であるすか指であるか等の識別を行うことができる。三次元情報解析部(手認識モジュール)131は、ユーザによつて仮想オブジェクトの貼り付け位置として指定された指の情報を仮想オブジェクト管理モジュール132に出力する。
【0055】
次に、ステップS105において、仮想オブジェクト管理モジュール132が、三次元情報解析部(手認識モジュール)131から入力した仮想オブジェクトの貼り付け位置として指定された指を登録する。なお、指定された指が、すでに仮想オブジェクトの貼り付け位置として登録済みである場合は、登録済みであることをユーザに通知する。処理を行うことなく無視する。
【0056】
仮想オブジェクト管理モジュール132は、仮想オブジェクトの貼り付け位置として登録された位置情報と、その貼り付け位置に仮想オブジェクトが既に貼り付けられているか否かを示す状態情報を管理情報として含む仮想オブジェクト情報管理テーブルをメモリ133に保持して管理している。例えば図6に示すような情報を格納した管理テーブルである。仮想オブジェクト管理モジュール132は、このような仮想オブジェクト情報管理テーブルを適宜、更新し参照しながら処理を行う。
【0057】
ステップS106では、貼り付け先登録処理モードが継続中であるか否かを判定し、継続中である場合は、ステップS102以下の処理を繰り返し実行する。テップS106では、貼り付け先登録処理モードが継続中でないと判定されると、登録処理が終了する。
【0058】
なお、図5の処理は、仮想オブジェクトの貼り付け先を手の指に設定した処理であるが、その他の任意のオブジェクトを仮想オブジェクトの貼り付け先として設定することが可能である。例えば、後段で説明するが図10に示すようにPCの枠を仮想オブジェクトの貼り付け位置として設定するといった処理を行なうことも可能である。
【0059】
次に、図5に示すフローに従って登録された仮想オブジェクト貼り付け先を利用した仮想オブジェクト貼り付け処理シーケンスについて、図7に示すフローチャートを参照して説明する。図7に示すフローは、ユーザの各指に仮想オブジェクトを貼り付けてユーザ100の装着しているメガネ141のディスプレイに表示する処理である。この処理は、図1に示す複合現実感(MR)生成装置130側の処理として実行する。
【0060】
まず、ステップS151において、複合現実感(MR)生成装置130の仮想オブジェクト管理モジュール132は、複合現実感(MR)生成装置130のメモリ133に格納されたデータを取得する。なお、このデータは、複合現実感(MR)生成装置130の制御部の制御の下に通信部134を介してPC120から受信した処理データである。すなわちPC120に対するユーザのデータ処理によってカットやコピー対象となったデータである。
【0061】
次にステップS152において、仮想オブジェクト管理モジュール132は、仮想オブジェクトを貼り付けていない貼り付け可能位置の有無を調べる。この処理は、三次元情報解析部131がカメラ142の取得画像に基づく解析情報を利用して実行してもよいし、先に図6を参照して説明した仮想オブジェクト情報管理テーブルを参照して行う構成としてもよい。
【0062】
ステップS153では、仮想オブジェクトが、すべての登録済みの仮想オブジェクト貼り付け位置に貼りついているか否かを判定する。すべての登録済みの仮想オブジェクト貼り付け位置に仮想オブジェクトが貼りついている場合は、ステップS153の判定がYesとなり、ステップS156に進む。一方、仮想オブジェクト貼り付け可能位置が残っている場合は、ステップS153の判定がNoとなり、ステップS154に進む。
【0063】
例えば、図6に示す登録情報が設定された仮想オブジェクト情報管理テーブルを参照した場合、エントリ(3)以降が、現時点で仮想オブジェクトが貼り付けられていない仮想オブジェクト貼り付け可能位置として検出されることになる。この場合は、仮想オブジェクト貼り付け可能位置が残っているのでステップS153の判定がNoとなり、ステップS154に進む。
【0064】
ステップS154においては、空いている貼り付け位置の登録順(例えば親指,人差し指,中指の順)で貼り付け先を決定する。なお、貼り付け位置の設定はユーザの選択可能な構成としてもよい。
【0065】
次に、ステップS155に進み、仮想オブジェクト管理モジュール132は、選択された仮想オブジェクト貼り付け位置に、先のステップS151においてメモリから取得したデータの貼り付け処理を実行する。
【0066】
三次元情報解析部131は、随時カメラ142からの入力画像の解析を行い、実オブジェクトである手の各指の三次元位置を把握している。仮想オブジェクト管理モジュール132は、三次元情報解析部131から入力する指の位置情報に応じて仮想オブジェクトの表示位置を動的に変更しながら、実オブジェクトと仮想オブジェクトの合成画像をユーザ100の装着したメガネ141のディスプレイに表示する処理を行う。
【0067】
この処理によって、例えば図2や図4を参照して説明した仮想オブジェクトの貼り付け表示データが、ユーザの装着したメガネ141のディスプレイに表示される。
【0068】
次に、ステップS153においてYesの判定がなされた場合の処理について説明する。この場合は、すべての登録済みの仮想オブジェクト貼り付け位置に仮想オブジェクトが貼りついている場合であり、ステップS153の判定がYesとなりステップS156に進む。
【0069】
ステップS156では、ユーザに対する問い合わせを行う。すなわち、ユーザに仮想オブジェクトの削除を実行してよいか否かについて問い合わせを行う。この問い合わせは、例えばユーザの操作しているPC120に対して通信部を介してメッセージを送信し、PCのディスプレイに表示する。あるいは、複合現実感(MR)生成装置130の出力部(スピーカあるいはディスプレイ)を利用してメッセージを出力するといった方法で行う。なお、削除対象とする仮想オブジェクトの選択処理としては、例えば最も古い貼り付け処理が行われた仮想オブジェクトから順次、削除可否をユーザに問い合わせる処理と設定としてもよい。あるいは貼り付けられた複数の仮想オブジェクトから、ユーザが削除してよいと判断した仮想オブジェクトを指定し、その指定情報によって削除対象を選択する処理を行う構成としてもよい。
【0070】
ユーザからの削除OKの入力が得られた場合は、ステップS157に進み、仮想オブジェクトの削除を実行する。なお、ユーザの入力は、PC120を介して行ってもよいし、複合現実感(MR)生成装置130の入力部を介して行ってもよい。あるいは、複合現実感(MR)生成装置130の三次元情報解析部131が取得するカメラ142の画像に基づく解析、例えばユーザの指定した削除可能な仮想オブジェクトの指定情報を利用して実行してもよい。
【0071】
この削除処理が行われると、ステップS155に進む。ステップS155では、仮想オブジェクト管理モジュール132は、削除処理によって設定された仮想オブジェクト貼り付け可能位置に、先のステップS151においてメモリから取得したデータの貼り付け処理を実行する。この処理によって、例えば図2や図4を参照して説明した仮想オブジェクトの貼り付け表示データが、ユーザの装着したメガネ141のディスプレイに表示される。
【0072】
一方、ステップS156において、ユーザからの削除OKの入力が得られなかった場合は、ステップS158に進む。ステップS158では、新たな貸そうブジェクトの貼り付け表示処理が実行できない旨をユーザに通知する処理を行って処理を終了する。このユーザ通知処理は、例えばユーザの操作しているPC120に対して通信部を介してメッセージを送信し、PCのディスプレイに表示する。あるいは、複合現実感(MR)生成装置130の出力部(スピーカあるいはディスプレイ)を利用してメッセージを出力するといった方法で行う。
【0073】
次に、仮想オブジェクトをPCにおける処理データとして利用(ペースト)する処理シーケンスについて、図8、図9に示すフローチャートを参照して説明する。この処理は、複合現実感(MR)生成装置130側の処理と、PC120側の処理とによって行われる。
【0074】
まず、図8に示すフローチャートを参照して、複合現実感(MR)生成装置130の処理について説明する。まず、ステップS201において、複合現実感(MR)生成装置130は、仮想オブジェクト貼り付け位置(例えば指F)の指示情報を解析する。
【0075】
ユーザ100は、メガネ141のディスプレイを観察しながら、例えば図2に示すようなユーザの指に貼り付けられた複数の仮想オブジェクトから、1つの仮想オブジェクトをもう一方の手の指で指示する。三次元情報解析部(手認識モジュール)131がカメラ142からの入力画像を解析し、画像に含まれるユーザの指示した位置とその位置にある実オブジェクトである指がどの指であるかを解析する。この情報は、仮想オブジェクト管理モジュール132に提供される。
【0076】
次にステップS202において、仮想オブジェクト管理モジュール132は、三次元情報解析部(手認識モジュール)131の解析したユーザの指示位置(例えばユーザの指のいずれか)に貼り付けられた仮想オブジェクトがあるか否かを判定する。この処理は、例えば図6を参照して説明した仮想オブジェクト情報管理テーブルを参照して行うことができる。
【0077】
ユーザの指示位置に仮想オブジェクトが貼り付けられている場合は、ステップS203の判定がYesとなり、ステップS204に進む。
ステップS204では、ユーザの指示位置に貼り付けられた仮想オブジェクトに対応するデータをメモリ133から取得して、通信部134を介してPC120に送信する。
【0078】
仮想オブジェクト管理モジュール132は、ユーザ100のメガネ141のディスプレイに表示された仮想オブジェクトに対する処理要求の入力に応じて、処理要求のなされた仮想オブジェクトに対応するデータをPC120を適用したデータ処理を行うデータ処理装置またはPC120のアクセス可能なメモリに出力する処理を行う。
【0079】
図1に示す構成において、複合現実感(MR)生成装置130は通信部134を介してデータをPC120側に出力する。PC120は、複合現実感(MR)生成装置130側からデータを受信し、PC120側のメモリ122に格納する。
【0080】
一方、ユーザの指示位置に仮想オブジェクトが貼り付けられている場合は、ステップS203の判定がNoとなり、ステップS205に進む。
ステップS205では、ユーザの指示位置には、仮想オブジェクトが貼り付けられていないことを通知する。この通知は、PC120または複合現実感(MR)生成装置130の出力部を介して行う。
【0081】
次に、図8に示す複合現実感(MR)生成装置130側の処理の終了後に、PC120側で実行する処理のシーケンスについて図9に示すフローチャートを参照して説明する。PC120は、複合現実感(MR)生成装置130側から、処理対象データであるデータを受信し、PC側のメモリ122に格納している。
【0082】
PC120は、まずステップS301において、ユーザによる画面位置指示情報を入力する。これは仮想オブジェクトに対応するデータをペーストする位置である。例えばマウスやキーボードの操作によって指定する。あるいはタッチディスプレイである場合は、ユーザの指で画面をタッチしタッチ位置情報を算出する。
【0083】
ステップS302において、PC120のアプリケーション実行部121は、ユーザの指示したディスプレイ上の位置座標(x,y)を算出する。
ステップS303において、指示位置(x,y)に対応する場所をデータの挿入先と決定する。例えば、文字と文字の間などである。
【0084】
ステップS304では、PC120内のメモリ122に複合現実感(MR)生成装置130側から受領した処理対象データが存在するか否かを判定する。処理対象データが存在する場合は、ステップS304の判定がYesとなり、ステップS305において、アプリケーション実行部121がメモリ122からデータを取り出して、決定した挿入先にデータペーストを実行する。処理対象データが存在しない場合は、ステップS304においてNoの判定となり、ステップS305の処理を行うことなく、処理を終了する。
【0085】
このようにして、ユーザ100の装着したメガネ141に表示された仮想オブジェクトが、ユーザが現実世界で操作しているPC120の処理データとして利用される。
【0086】
[3.仮想オブジェクトの貼り付け対象とする実オブジェクトの例について]
上述の実施例では、仮想オブジェトの貼り付け先としてユーザの手の指を利用した処理例について説明したが、仮想オブジェトの貼り付け先はユーザの手の指に限らず、ユーザ100の装着したメガネ141に表示される様々な実オブジェクトを利用することができる。
【0087】
例えば、図10に示すようにPC120の外枠を仮想オブジェクトの貼り付け位置として設定するといった処理も可能である。図10には、図4を参照して説明したと同様、ユーザ100の装着したメガネ141のディスプレイに表示されるディスプレイ表示画像350を示している。
【0088】
マーカー321a〜dの設定されたディスプレイの画像は、ユーザ100の操作するPC120の実画像であり、カメラ142の撮影した実画像である。この実画像に対して、仮想オブジェクト401〜403が併せて表示される。仮想オブジェクト401〜403は、ユーザ100によるPC120に対する処理において処理対象としたデータ、例えばカット処理やコピー処理としたデータである。
【0089】
図10に示す例では、これらの仮想オブジェクト401〜403の貼り付け位置をPC321の右側のマーカー321aとマーカー321bの区間としている。すなわち、図10に矢印で示す仮想オブジェクト貼り付け区間380を設定している。マーカー321aの実空間における座標(xa,ya,za)とマーカー321bの実空間における座標(xb,yb,zb)を求めた後、この区間(xa,ya,za)〜(xb,yb,zb)を複数区間に均等に分割し、それぞれの分割領域を仮想オブジェクト貼り付け領域として設定する。
【0090】
この場合の仮想オブジェクト情報管理テーブルは、例えば図11に示す設定となる。なお、図11に示すテーブルには、参考データとして実際の貼り付け仮想オブジェクトも示している。このように、仮想オブジェクトの貼り付け位置は、ユーザの手に駆らず、様々なオブジェクトを利用することができる。
【0091】
本発明の構成によれば、情報提示画面を狭めたり,コピーバッファをいちいち表示したり、一度ペーストしてUNDOしたりすることなく,コピーされている内容を確認することができる。また、指や自分の身体をコピーバッファとして使用した場合、ある情報提示画面からコピーした内容を離れた場所にある別の情報提示画面にペーストする場合に、自分がその画面にまで移動して、ペーストすることができるので、直感的にペースト作業を行うことができる。また、3Dオブジェクトは実世界で3Dオブジェクトとしてインスタンス化され表示されるのでその形状などを直感的に理解しやすく、ペースト時に向きなども指定しやすい。
【0092】
以上、特定の実施例を参照しながら、本発明について詳解してきた。しかしながら、本発明の要旨を逸脱しない範囲で当業者が実施例の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、限定的に解釈されるべきではない。本発明の要旨を判断するためには、特許請求の範囲の欄を参酌すべきである。
【0093】
また、明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させるか、あるいは、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。例えば、プログラムは記録媒体に予め記録しておくことができる。記録媒体からコンピュータにインストールする他、LAN(Local Area Network)、インターネットといったネットワークを介してプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。
【0094】
なお、明細書に記載された各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。また、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。
【産業上の利用可能性】
【0095】
以上、説明したように、本発明の一実施例の構成によれば、例えばPCを適用したデータ処理において、削除処理やコピー処理の対象としたデータなどPCの表示部に表示されないデータを仮想オブジェクトとして設定し、ユーザの手の指などに貼り付けて、常に観察することを可能な構成とした。本構成によれば、PCの表示領域に表示されないデータをPCの表示領域以外の空間に貼り付けて表示して観察することが可能となり、データ処理の効率を高めることが可能となる。
【符号の説明】
【0096】
100 ユーザ
120 PC(パーソンナルコンピュータ)
121 アプリケーション実行部
122 メモリ
123 通信部
130 複合現実感(MR)生成装置
131 三次元情報解析部
132 仮想オブジェクト管理モジュール
133 メモリ
134 通信部
141 メガネ
142 カメラ
150 仮想オブジェクト
200 ディスプレイ表示画像
201〜203 仮想オブジェクト
321a〜321d マーカー
350 ディスプレイ表示画像
360 手
371 仮想オブジェクト
380 仮想オブジェクト貼り付け区間
401〜403 仮想オブジェクト

【特許請求の範囲】
【請求項1】
第1表示部を利用したデータ処理において生成した処理データを格納するメモリと、
カメラ撮影画像に含まれる実オブジェクトの三次元位置を解析する三次元情報解析部と、
前記三次元情報解析部の解析情報を入力し、前記実オブジェクトの構成部位を仮想オブジェクト表示位置として決定し、前記実オブジェクトと前記仮想オブジェクトを合成した合成画像を第2表示部に表示する仮想オブジェクト管理部を有し、
前記仮想オブジェクト管理部は、
前記第2表示部に表示された仮想オブジェクトに対する処理要求の入力に応じて、処理要求のなされた仮想オブジェクトに対応するデータを前記第1表示部を適用したデータ処理を行うデータ処理装置または該データ処理装置のアクセス可能なメモリに出力する処理を行う情報処理装置。
【請求項2】
前記情報処理装置は、通信部を有し、
前記第1表示部を適用したデータ処理を行うデータ処理装置との通信を実行して、前記第1表示部を適用したデータ処理用のデータを送受信する請求項1に記載の情報処理装置。
【請求項3】
前記三次元情報解析部は、カメラ撮影画像に含まれるユーザの手の各指を認識する手認識モジュールを有し、手認識モジュールにおいて認識されたユーザの手の各指の三次元位置を解析する構成であり、
前記仮想オブジェクト管理部は、
ユーザの手の各指の位置を前記仮想オブジェクト表示位置として決定し、ユーザの手の各指の位置に前記仮想オブジェクトを合成した合成画像を第2表示部に表示する処理を行う請求項1に記載の情報処理装置。
【請求項4】
前記メモリに格納されるデータは、前記第1表示部を適用したデータ処理において実行されたデータ削除処理またはデータコピー処理の対象となったデータである請求項1に記載の情報処理装置。
【請求項5】
前記仮想オブジェクト管理部は、
前記三次元情報解析部の解析情報を入力し、前記第2表示部の表示画像に含まれる実オブジェクトの構成部位を仮想オブジェクト表示位置として決定し、決定情報を仮想オブジェクト情報管理テーブルに登録する処理を行う請求項1に記載の情報処理装置。
【請求項6】
前記仮想オブジェクト管理部は、
前記仮想オブジェクト情報管理テーブルに登録された仮想オブジェクト表示位置に対応する前記第2表示部の表示位置に仮想オブジェクトが表示中であるか否かを示す状態情報を登録する処理を行う請求項5に記載の情報処理装置。
【請求項7】
前記仮想オブジェクト管理部は、
前記仮想オブジェクト情報管理テーブルの前記状態情報を参照して、新たな仮想オブジォクトの表示可否を判定し、ユーザ入力に応じて前記第2表示部に表示中の仮想オブジェクトの削除処理を行う請求項6に記載の情報処理装置。
【請求項8】
情報処理装置において実行する情報処理方法であり、
制御部が、第1表示部を利用したデータ処理に適用する処理データをメモリに格納するステップと、
三次元情報解析部が、カメラ撮影画像に含まれる実オブジェクトの三次元位置を解析する三次元情報解析ステップと、
仮想オブジェクト管理部が、前記三次元情報解析部の解析情報を入力し、前記実オブジェクトの構成部位を仮想オブジェクト表示位置として決定し、前記実オブジェクトと前記仮想オブジェクトを合成した合成画像を第2表示部に表示するステップと、
前記仮想オブジェクト管理部が、前記第2表示部に表示された仮想オブジェクトに対する処理要求の入力に応じて、処理要求のなされた仮想オブジェクトに対応するデータを、前記第1表示部を適用したデータ処理を行うデータ処理装置または該データ処理装置のアクセス可能なメモリに出力する処理を行うステップと、
を有する情報処理方法。
【請求項9】
情報処理装置において情報処理を実行させるプログラムであり、
制御部に、第1表示部を利用したデータ処理に適用する処理データをメモリに格納させるステップと、
三次元情報解析部に、カメラ撮影画像に含まれる実オブジェクトの三次元位置を解析させる三次元情報解析ステップと、
仮想オブジェクト管理部に、前記三次元情報解析部の解析情報を入力させて、前記実オブジェクトの構成部位を仮想オブジェクト表示位置として決定させ、前記実オブジェクトと前記仮想オブジェクトを合成した合成画像を第2表示部に表示させるステップと、
前記仮想オブジェクト管理部に、前記第2表示部に表示された仮想オブジェクトに対する処理要求の入力に応じて、処理要求のなされた仮想オブジェクトに対応するデータを、前記第1表示部を適用したデータ処理を行うデータ処理装置または該データ処理装置のアクセス可能なメモリに出力する処理を行わせるステップと、
を実行させるプログラム。

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate

【図9】
image rotate

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図10】
image rotate

【図11】
image rotate


【公開番号】特開2010−257359(P2010−257359A)
【公開日】平成22年11月11日(2010.11.11)
【国際特許分類】
【出願番号】特願2009−108777(P2009−108777)
【出願日】平成21年4月28日(2009.4.28)
【出願人】(000002185)ソニー株式会社 (34,172)
【Fターム(参考)】