説明

情報処理装置、表示制御方法、およびプログラム

【課題】被写体の動作に応じて着脱を制御することが可能な情報処理装置、表示制御方法、およびプログラムを提供する。
【解決手段】撮像された被写体の動作を検出する動作検出部と、前記動作検出部により検出した動作に応じて、前記被写体に重畳して表示される仮想的な服飾品の着脱を制御する表示制御部と、を備える、情報処理装置。

【発明の詳細な説明】
【技術分野】
【0001】
本開示は、情報処理装置、表示制御方法、およびプログラムに関する。
【背景技術】
【0002】
仮想的な試着システムとして、ユーザを撮像した撮像画像に衣服の画像を合成する試着画像生成技術が様々提案されている。
【0003】
例えば、特許文献1では、ユーザの身体画像に衣服画像を合成する処理が開示されている。具体的には、特許文献1に記載の画像処理サーバは、ユーザの身体画像に添付されている身体プロファイルデータ(身長、肩幅等)および画像における身体の向きなどの情報に基づき、衣服画像のサイズ変更および向きの調整を行い、身体画像に合成する。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開2006−304331号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
特許文献1に記載されるような試着画像生成技術では、合成する衣服画像がユーザにより任意に選択され、自動的に合成処理が行われる。具体的には、例えば衣服に添付されたIDを携帯端末で読み取ったり、ディスプレイに表示された衣服画像をクリックしたりして選択すると、自動的に試着画像が生成される。
【0006】
しかし、実際ユーザが衣服を試着する場合は着替えるという行為があることに対し、仮想的な試着システムにおいて何らのアクションもなく試着画像の生成が行われるので、リアリティに欠けていた。また、上記特許文献1では、ユーザのアクションに応じて試着画像の生成が行われることについては考慮されていなかった。
【0007】
そこで、本開示では、被写体の動作に応じて着脱を制御することが可能な、新規かつ改良された情報処理装置、表示制御方法およびプログラムを提案する。
【課題を解決するための手段】
【0008】
本開示によれば、撮像された被写体の動作を検出する動作検出部と、前記動作検出部により検出した動作に応じて、前記被写体に重畳して表示される仮想的な服飾品の着脱を制御する表示制御部と、を備える情報処理装置を提案する。
【0009】
本開示によれば、撮像された被写体の動作を検出するステップと、前記動作を検出するステップにより検出した動作に応じて、前記被写体に重畳して表示される仮想的な服飾品の着脱を制御するステップと、を含む表示制御方法を提案する。
【0010】
本開示によれば、撮像された被写体の動作を検出する処理と、前記動作を検出する処理により検出した動作に応じて、前記被写体に重畳して表示される仮想的な服飾品の着脱を制御する処理と、をコンピュータに実行させるプログラムを提案する。
【発明の効果】
【0011】
以上説明したように本開示によれば、被写体の動作に応じて着脱を制御することが可能となる。
【図面の簡単な説明】
【0012】
【図1】本開示の一実施形態によるAR試着システムの概要を説明するための図である。
【図2】通常の仮想的な試着システムにおける着衣(合成処理)タイミングを説明するための図である。
【図3】本開示の一実施形態による情報処理装置の構成を示すブロック図である。
【図4】実空間におけるカメラと被写体の位置関係、および被写体を撮像した撮像画像を説明するための図である。
【図5】本開示の一実施形態による骨格情報を説明するための図である。
【図6】仮想空間における仮想カメラと仮想衣服の位置関係、および仮想衣服を投影した仮想的な衣服画像を説明するための図である。
【図7】本開示の一実施形態によるAR試着画像表示における基本的な表示制御処理を示すフローチャートである。
【図8】本開示の一実施形態によるジェスチャーに応じた着脱の制御処理を示すフローチャートである。
【図9】本開示の一実施形態による有効なジェスチャーに応じた着衣制御例を説明するための図である。
【図10】本開示の一実施形態による有効なジェスチャーに応じた脱衣制御例を説明するための図である。
【図11】本開示の一実施形態による有効なジェスチャーに応じた着替え制御例を説明するための図である。
【図12】本開示の一実施形態による脱衣動作の途中経過の表示について説明するための図である。
【発明を実施するための形態】
【0013】
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【0014】
また、説明は以下の順序で行うものとする。
1.本開示の一実施形態によるAR試着システムの概要
2.情報処理装置の構成
3.表示制御
3−1.基本的な表示制御
3−2.ジェスチャーに応じた着脱制御
4.まとめ
【0015】
<1.本開示の一実施形態によるAR試着システムの概要>
近年、実世界に付加的な情報を重畳してユーザに呈示する拡張現実(AR:Augmented Reality)と呼ばれる技術が注目されている。AR技術においてユーザに呈示される情報は、テキスト、アイコン又はアニメーションなどの様々な形態の仮想的なオブジェクトを用いて可視化され得る。AR技術の主要な適用分野の1つは、実世界でのユーザ活動の支援である。以下では、このAR技術を試着システムに適用する。
【0016】
AR技術を利用した試着システムは、ユーザの動作に合わせて仮想的な衣服画像を重畳表示することで、リアルタイムに仮想試着を体験することができる。また、本開示の一実施形態によるAR試着システムは、ユーザの動作に応じて仮想衣服の着脱を制御し、直感的な仮想衣服の着衣または脱衣等を提供することができる。なお、本明細書において、着脱とは、着る・身につける(put on)、脱ぐ・外す(take off)、または着替え(脱ぐ・着る;change)を含む。
【0017】
このような本開示の一実施形態によるAR試着システムの概要を、図1を参照しながら説明する。図1に示すように、本開示の一実施形態によるAR試着システム1は、情報処理装置10、カメラ15、センサ17、および表示装置19を有する。なお、AR試着システム1が設置される場所は特に限定されない。例えば、AR試着システム1は、ユーザの自宅内に設置されてもよいし、店頭に設置されてもよい。
【0018】
また、図1に示した例では、AR試着システム1を構成する複数の装置(情報処理装置10、カメラ15、センサ17および表示装置19)が別体に構成されているが、本開示によるAR試着システム1の構成はこれに限定されない。例えば、AR試着システム1を構成する上記複数の装置のいずれかの組み合わせが一体化されていてもよい。また、例えば、AR試着システム1を構成する複数の装置は、スマートフォン、PDA(Personal Digital Assistants)、携帯電話、携帯用音楽再生装置、携帯用映像処理装置または携帯用ゲーム機器に内蔵されていてもよい。
【0019】
カメラ15(撮像装置)は、実空間に存在する物体を撮像する。実空間に存在する物体は、特に限定されないが、例えば、人物や動物などの生き物であってもよく、車庫やテレビ台などといった生き物以外であってもよい。図1に示した例では、実空間に存在する物体として被写体A(例えば、人物)がカメラ15により撮像される。カメラ15により撮像された画像(撮像画像とも称す)は表示装置19に表示される。表示装置19に表示される撮像画像は、RGB画像であってもよい。また、カメラ15は、撮像画像を情報処理装置10に送る。
【0020】
センサ17は、実空間からパラメータを検出する機能を有し、検出データを情報処理装置10に送る。例えば、センサ17が赤外線センサにより構成されている場合、センサ部17は、実空間から赤外線を検出し、赤外線量に応じた電気信号を検出データとして情報処理装置10に供給することができる。情報処理装置10は、例えば、検出データに基づいて実空間に存在する物体を認識することができる。センサ17の種類は、赤外線センサに限定されない。なお、図1に示した例では、検出データがセンサ17から情報処理装置10に供給されることとしているが、情報処理装置10に供給される検出データは、カメラ15により撮像された画像であってもよい。
【0021】
情報処理装置10は、実空間に存在する物体の認識結果に応じて、撮像画像に対して仮想オブジェクトを合成したり撮像画像を変形したりすることにより、撮像画像を処理することができる。表示装置19は、情報処理装置10により処理された画像を表示することも可能である。
【0022】
例えば、図1に示すように、情報処理装置10は、実空間の被写体Aを認識し、衣服画像を合成した試着画像を表示装置19にリアルタイムに表示させることができる。ここでは、ユーザの身体が実空間の映像であり、試着対象の衣服画像が実空間の映像に重畳表示された仮想オブジェクトである。これにより、AR試着システム1は、仮想的な試着をリアルタイムに提供することができる。
【0023】
ここで、通常、仮想的な試着システムでは、被写体が仮想衣服を選択すると、自動的に試着画像が生成されていた。以下、図2を参照して通常の仮想衣服の着用制御について説明する。
【0024】
図2は、通常の仮想的な試着システムにおける仮想衣服の着用制御を説明するための図である。図2上に示すように、通常の仮想的な試着システムでは、仮想衣服30が表示されている位置に被写体Aが手を移動したことが検知されると、仮想衣服30を試着対象の仮想衣服として選択する。そして、仮想衣服30が選択されたと略同時に、図2下に示すように、仮想衣服30が被写体Aに合成された試着画像が自動的に生成され、表示される。このように、通常の仮想的な試着システムでは、仮想衣服30が選択されると略同時に、自動的に仮想衣服30を合成した試着画像の生成が行われていた。
【0025】
しかしながら、実際ユーザが衣服を試着する場合は、衣服を選択し、着替えるという2段階のステップがあることに対し、上述したように仮想衣服を選択したと略同時に仮想衣服の合成処理が行われると、リアリティに欠ける。
【0026】
そこで、本開示の一実施形態によるAR試着システムでは、被写体Aの動作を検出し、検出した動作に応じて撮像画像に衣服画像を合成(着衣)、または試着画像から衣服画像を分離し(脱衣)、着脱を制御する。例えば、図1に示すように、被写体Aが手を頭部から腹部に向けて下ろす動作を行うと、仮想衣服を試着することができる。このように、本実施形態によれば、被写体Aの動作に応じて着脱を制御するので、ユーザは直感的に仮想衣服の着脱を行うことができる。
【0027】
<2.情報処理装置の構成>
次に、本開示によるAR試着システムを実現する情報処理装置10の構成について、図3を参照して説明する。図3に示すように、情報処理装置10は、制御部100、操作入力部120、および記憶部130を有する。制御部100は、骨格位置算出部101、動作検出部103および表示制御部105を有する。また、情報処理装置10には、カメラ15、センサ17および表示装置19が、有線または無線により接続されている。
【0028】
制御部100は、CPU(Central Processing Unit)またはDSP(Digital Signal Processor)などのプロセッサに相当する。制御部100は、記憶部130または他の記憶媒体に記憶されるプログラムを実行することにより、後に説明する制御部100の様々な機能を動作させる。なお、制御部100を構成する各ブロックは、全てが同一の装置に組み込まれていなくてもよく、一部が他の装置(例えば、サーバ)に組み込まれていてもよい。
【0029】
記憶部130は、半導体メモリまたはハードディスクなどの記憶媒体を用いて、情報処理装置10による処理のためのプログラムおよびデータを記憶する。例えば、制御部100としてコンピュータを機能させるためのプログラムを記憶する。さらに、例えば、記憶部130は、制御部100により使用されるデータを記憶する。また、本実施形態による記憶部130は、表示対象となる仮想オブジェクトとして、服飾品の3次元データを記憶する。本明細書において、服飾品とは、衣服または装飾品を含む。また、装飾品とは、メガネ、帽子およびベルトなどを含む。
【0030】
操作入力部120は、マウス、キーボード、タッチパネル、ボタン、マイク、スイッチ、レバーおよびリモートコントローラーなどユーザが情報を入力するための入力手段と、ユーザによる入力に基づいて入力信号を生成し、制御部100に出力する入力制御回路などから構成されている。ユーザは、操作入力部120を操作することにより、情報処理装置10の電源ON/OFFや、AR試着システムプログラムの起動などを指示したりすることができる。
【0031】
カメラ15(撮像装置)は、CCD(Charge Coupled Device)またはCMOS(Complementary Metal Oxide Semiconductor)などの撮像素子を用いて実空間を撮像することにより、撮像画像を生成する。本開示の実施形態においては、カメラ15が情報処理装置10と別体に構成されていることを想定しているが、カメラ15は、情報処理装置10の一部であってもよい。
【0032】
また、カメラ15は、撮像時におけるカメラ15の設定情報を情報処理装置10に供給する。ここで、図4に、実空間におけるカメラ15と被写体Aの位置関係、および被写体Aを撮像した撮像画像A’を説明するための図を示す。図4では、カメラ15のレンズ(不図示)の光学的な中心である主点から、カメラ15の撮像素子(不図示)までの焦点距離frealと、撮像素子に写る被写体A(3次元、xyz座標)の撮像画像A’(2次元、xy座標)を、便宜上被写体側に示す。カメラ15から被写体Aまでの距離drealは、後述するように深度情報として算出される。また、カメラ15の画角θrealは、主に焦点距離frealに応じて決定される。カメラ15は、カメラ15の設定情報として、例えば焦点距離freal(または画角θreal)および撮像画像A’の画素数(すなわちピクセル数)を、情報処理装置10に供給する。
【0033】
センサ17は、実空間からパラメータを検出する機能を有している。例えば、センサ17が赤外線センサにより構成されている場合、センサ17は、実空間から赤外線を検出し、赤外線量に応じた電気信号を検出データとして情報処理装置10に供給することができる。センサ17の種類は、赤外線センサに限定されない。なお、カメラ15により撮像された画像が検出データとして情報処理装置10に供給される場合には、センサ17は存在しなくてもよい。
【0034】
表示装置19は、LCD(Liquid Crystal Display)、OLED(Organic light−Emitting Diode)またはCRT(Cathode Ray Tube)などにより構成される表示モジュールである。本開示の実施形態においては、表示装置19が情報処理装置10と別体に構成されていることを想定しているが、表示装置19は、情報処理装置10の一部であってもよい。
【0035】
続いて、上記制御部100の機能構成について説明する。上述したように、制御部100は、骨格位置算出部101、動作検出部103、および表示制御部105を有する。
【0036】
(骨格位置算出部101)
骨格位置算出部101は、検出データに基づいて撮像画像に映る物体の骨格位置を算出する。撮像画像に映る物体の実空間上の骨格位置を算出する手法は特に限定されない。例えば、骨格位置算出部101は、まず、撮像画像において物体の存在する領域(以下、「物体存在領域」とも称す。)を認識するとともに、撮像画像内の物体の深度情報を取得する。そして、骨格位置算出部101は、物体存在領域の深度と形(特徴量)に基づいて、撮像画像に映る物体の実空間上の部位(頭、左肩、右肩、腹部など)を認識し、各部位における中心位置を骨格位置として算出してもよい。ここで、骨格位置算出部101は、記憶部130に記憶された特徴量辞書を用いて、撮像画像から決定される特徴量を、当該特徴量辞書に予め登録された物体の部位ごとの特徴量と照合することにより、撮像画像に含まれる物体の部位を認識することができる。
【0037】
物体存在領域を認識する手法としては様々な手法が想定される。例えば、撮像画像が検出データとして情報処理装置10に供給された場合には、骨格位置算出部101は、物体が映る前の撮像画像と物体が映っている撮像画像との差分値に基づいて、物体存在領域を認識することができる。より詳細には、骨格位置算出部101は、物体が映る前の撮像画像と物体が映っている撮像画像との差分値が閾値を超える領域を、物体存在領域として認識することができる。
【0038】
また、例えば、センサ17により検出されたパラメータが検出データとして情報処理装置10に供給された場合には、骨格位置算出部101は、検出データに基づいて、物体存在領域を認識することができる。より詳細には、骨格位置算出部101は、検出される赤外線量が閾値を超える領域を、物体存在領域として認識することができる。
【0039】
また、撮像画像内の物体の深度情報を取得する手法として様々な手法が想定される。例えば、カメラ15と物体との距離をあらかじめ定めておくことが可能である。すなわち、あらかじめ定められた距離だけカメラ15から離れた位置に物体が配置されるような制限を設ければよい。このような制限を設ければ、骨格位置算出部101は、物体の深度情報(ここでは、カメラ15と物体との距離)を固定値(例えば、2mなど)として扱うことができる。
【0040】
また、骨格位置算出部101は、撮像画像内の物体の深度情報を、センサ17により検出されたパラメータに基づいて算出することも可能である。より詳細には、骨格位置算出部101は、図示しない照射装置から赤外線などの光を物体に向けて照射した場合に、センサ17により検出された光を解析することにより、撮像画像内の物体の深度情報を算出することができる。
【0041】
また、例えば骨格位置算出部101は、センサ17により検出された光の位相遅れに基づいて、撮像画像内の物体の深度情報を算出することができる。この手法は、TOF(Time Of Flight)方式とも言われる。あるいは、図示しない照射装置から照射される光が既知のパターンから構成される場合には、骨格位置算出部101は、センサ17により検出された光を構成するパターンの歪み具合を解析することにより、撮像画像内の物体の深度情報を算出してもよい。
【0042】
なお、撮像画像内の物体の深度情報を算出する機能を有する撮像装置はデプスカメラと称され、ステレオカメラやレーザーレンジスキャナにより実現され得る。骨格位置算出部101は、情報処理装置10に接続されるデプスカメラから深度情報を取得してもよい。
【0043】
以上説明した各手法により取得した物体存在領域の深度と形(特徴量)に基づいて、骨格位置算出部101は、撮像画像に映る物体の実空間上の部位(頭、肩など)を認識し、各部位の骨格位置の座標を算出する。次に、骨格位置算出部101が算出した被写体Aを構成する1以上の部位の骨格位置を含む骨格情報について図5を参照して説明する。
【0044】
図5は、骨格情報を説明するための図である。図5に示した例では、骨格情報は、被写体Aを構成する15の部位の位置を示す座標B1〜B3、B6、B7、B9、B12、B13、B15、B17、B18、B20〜B22、B24として示されているが、骨格情報に含まれる部位の数は特に限定されない。
【0045】
なお、座標B1は「Head」の座標を示し、座標B2は「Neck」の座標を示し、座標B3は「Torso」の座標を示し、座標B6は「Right Shoulder」の座標を示し、座標B7は「Right Elbow」の座標を示している。また、座標B9は「Right Hand」の座標を示し、座標B12は「Left Shoulder」の座標を示し、座標B13は「Left Elbow」の座標を示し、座標B15は「Left Hand」の座標を示している。
【0046】
座標B17は「Right Hip」の座標を示し、座標B18は「Right Knee」の座標を示し、座標B20は「Right Foot」の座標を示し、座標B21は「left Hip」の座標を示している。座標B22は「Left Knee」の座標を示し、座標B24は「Left Foot」の座標を示している。
【0047】
また、本実施形態による骨格位置算出部101は、上述したように、撮像画像内の物体の深度情報を取得するが、具体的には、例えば深度の深さに応じて濃淡が変化する撮像画像(不図示)として上記デプスカメラから取得してもよい。
【0048】
(動作検出部103)
動作検出部103は、骨格位置算出部101により算出された骨格位置の時間経過に伴う変化に基づいて動作を検出し、有効なジェスチャーであった場合は、検出した有効なジェスチャーを表示制御部105に出力する。動作検出部103は、検出した動作を、予め記憶部130に記憶したジェスチャーDB(データベース)に登録されている各ジェスチャーと比較し、検出した動作が有効なジェスチャーであるか否かを判断する。例えば、ジェスチャーDBには、頭部から腹部に向けて手が移動する動作を、着衣を示す有効なジェスチャーとして登録されている。また、ジェスチャーDBには、腹部から頭部に向けて手が移動する動作を、脱衣を示す有効なジェスチャーとして登録されている。また、ジェスチャーDBには、被写体Aが略水平方向に回転する動作が、着替え(脱衣および着衣)を示す有効なジェスチャーとして登録されている。動作検出部103は、検出した有効なジェスチャーを表示制御部105に出力する。
【0049】
なお、実空間における被写体(例えば人物)の動作検出は、上述した骨格情報に基づく動作検出の他、一般的にモーションキャプチャと総称される他の技術により実現してもよい。例えば、動作検出部103は、被写体の関節部に取り付けられた加速度センサなどから検出されたパラメータに基づいて被写体の動作を検出してもよい。また、動作検出部103は、被写体に装着されたマーカーの動きを検出することで、動作を検出してもよい。
【0050】
(表示制御部105)
表示制御部105は、撮像画像に映る被写体に仮想衣服を重畳表示したAR試着画像を生成し、表示装置19に表示させる制御を行う。また、本実施形態による表示制御部105は、動作検出部103により検出された動作(着衣や脱衣を示す有効なジェスチャー)に応じて仮想衣服の着脱を制御することができる。具体的には、表示制御部105は、被写体Aのジェスチャー(座標の時系列変化)に応じて、仮想衣服の着衣、脱衣、または着替え(脱衣および着衣)を制御する。
【0051】
ここで、撮像画像に重畳する仮想画像の生成について、図6を参照して説明する。図6は、仮想空間における仮想カメラ25と仮想衣服Cの位置関係、および仮想衣服Cを投影(レンダリング)した仮想的な衣服画像C’(仮想画像とも称す)を説明するための図を示す。図6では、図4に示す実空間を撮像した撮像画像A’と同様に、レンダリングした仮想的な衣服画像C’を、仮想衣服側に示す。
【0052】
仮想カメラ25の設定(内部パラメータ)は、実空間を撮像するカメラ15の設定(内部パラメータ)に合わせて決定される。カメラの設定(内部パラメータ)とは、例えば、焦点距離f、画角θおよび画素数等である。表示制御部105は、仮想カメラ25の設定を、実空間のカメラ15と一致するよう設定する(初期化とも称す)。
【0053】
次に、表示制御部105は、撮像画像内の物体の深度情報に基づいて、実空間におけるカメラ15から被写体Aまでの距離drealと同じ距離dvertualだけ仮想カメラ25から離れた位置に、被写体の骨格位置に合わせて仮想衣服Cを配置する。表示制御部105は、仮想衣服Cを、予めモデリングされた3次元データに基づいて生成してもよい。また、表示制御部105は、例えば図6に示すように、仮想衣服Cの表面を三角形のポリゴンの集合により構成することで、仮想衣服の3次元形状をよりリアルに表現することができる。また、被写体Aの骨格位置が時間経過と共に変化する場合、表示制御部105は、骨格位置をトラッキングするよう仮想衣服Cの配置を変化させることができる。
【0054】
次に、表示制御部105は、仮想カメラ25でレンダリング、すなわち3次元の衣服画像Cを2次元の平面画像に投影することで、衣服画像C’(仮想画像)を取得する。そして、表示制御部105は、撮像画像A’(図4参照)に仮想的な衣服画像C’を重畳表示することでAR試着画像を生成することができる。なお、表示制御部105によるAR試着画像の表示制御については、次の<3.表示制御>において詳細に説明する。
【0055】
以上、本開示の一実施形態によるAR試着システムを実現する情報処理装置10の構成について詳細に説明した。続いて、情報処理装置10によるAR試着画像の表示制御について説明する。
【0056】
<3.表示制御>
[3−1.基本的な表示制御]
図7は、情報処理装置10によるAR試着画像の基本的な表示制御処理を示すフローチャートである。図7に示すように、まず、ステップS110において、表示制御部105は、仮想空間における仮想カメラ25の設定を、実空間のカメラ15の設定に一致させる初期化を行う。
【0057】
次いで、ステップS113において、骨格位置算出部101は、撮像した実空間における被写体Aの骨格位置(xyz座標)を算出し、動作検出部103および表示制御部105に出力する。
【0058】
次に、ステップS116において、表示制御部105は、仮想空間において、仮想衣服Cを被写体Aの骨格位置(xyz座標)に合わせて配置する。
【0059】
そして、ステップS119において、表示制御部105は、仮想衣服Cをレンダリングして衣服画像C’(仮想画像)を取得し、衣服画像C’を撮像画像A’に重ねてAR試着画像を描画し、表示装置19に表示するよう制御する(AR表示制御)。
【0060】
また、情報処理装置10は、ステップS122において、終了指示がなされるまで上記ステップS113からS119を繰り返し行う。これにより、情報処理装置10は、被写体Aの動きをトラッキングするAR試着画像をリアルタイムで提供することができる。
【0061】
以上、基本的な表示制御処理について説明した。さらに、本実施形態による情報処理装置10は、被写体Aの動作に応じて仮想衣服の着脱状態を変化させることができる。以下、本実施形態によるジェスチャーに応じた着脱制御について図8を参照して具体的に説明する。
【0062】
[3−2.ジェスチャーに応じた着脱制御]
図8は、本実施形態の情報処理装置10によるジェスチャーに応じた着脱制御処理を示すフローチャートである。図8に示す処理は、図7に示すステップS116およびS119による表示制御aにおいて行われる着脱制御を示す。
【0063】
まず、図8のステップS116において、図7に示す同ステップの処理と同様に、仮想空間において仮想衣服Cを被写体Aの骨格位置に合わせて配置する。次に、ステップS119において、図7に示す同ステップの処理と同様に、仮想衣服Cをレンダリングして取得した衣服画像C’を、撮像画像A’に重畳表示することで、基本的なAR試着画像を表示装置19に表示する。
【0064】
次いで、ステップS125において、動作検出部103は、手の骨格位置(座標)の時系列変化に基づき、ジェスチャー(動作)を検出する。
【0065】
続いて、ステップS128において、動作検出部103は、検出したジェスチャーが有効なジェスチャーであるか否か判断する。
【0066】
そして、ステップS131において、表示制御部105は、動作検出部103により有効なジェスチャーと判断されたジェスチャーに応じて、着脱を制御する。着脱の制御とは、被写体Aに仮想衣服を重畳表示する制御(着衣)、被写体Aに重畳表示された仮想衣服を削除する制御(脱衣)、若しくは被写体Aに重畳表示された仮想衣服を他の仮想衣服に変更する制御(着替え)を含む。
【0067】
着衣や脱衣を指示する有効なジェスチャーは様々考え得る。以下、本開示による有効なジェスチャーに応じた着脱制御について、複数の例を挙げて具体的に説明する。
【0068】
(着衣制御例)
図9は、本実施形態による有効な着衣ジェスチャーに応じた着衣制御を説明するための図である。なお、図9左側には撮像画像および被写体の骨格情報を重ねたイメージの遷移図を示す。動作検出部103は図9左側に示すような骨格位置の時系列変化に基づいて動作を検出する。また、図9右側には、表示制御部105が表示装置19に表示させるAR試着画像の遷移図を示す。表示制御部105は、骨格位置算出部101により算出された図9左側に示すような骨格位置に基づいて仮想衣服を重畳表示する。また、表示制御部105は、動作検出部103により検出された図9左側に示すような動きに応じて仮想衣服の着脱を制御する。
【0069】
図9左側の骨格位置の遷移図に示すように、被写体の座標B15「Left Hand」の座標が、頭部の座標B1「Head」から腹部の座標B3「Torso」に時系列変化した場合、動作検出部103は、着衣を示す有効なジェスチャーと判断する。この場合、表示制御部105は、図9右側のAR試着画像の遷移図に示すように、被写体Aに仮想衣服Cを重畳表示させる。これにより、仮想衣服Cを着衣したAR画像が表示され、AR試着の着衣制御が実現される。
【0070】
なお、被写体Aに重畳表示させる仮想衣服Cは、予め被写体Aが選択していてもよい。選択の仕方は特に限定しないが、例えば、複数表示された仮想衣服のうち試着したい仮想衣服が表示されている位置に手を動かして掴む動作を行うことで選択してもよい。また、図1に示すように、被写体Aの両側に仮想衣服が表示される場合、右手で着衣ジェスチャーが行われた場合は右側に示す仮想衣服、左手で着衣ジェスチャーが行われた場合は左側に示す仮想衣服が選択されるようにしてもよい。なお、表示制御部105は、表示装置10に表示される試着候補の仮想衣服を被写体Aが水平方向に動かすジェスチャーが検出された場合、表示装置19に他の試着候補を順次表示してもよい。
【0071】
(脱衣制御例)
次に、図10を参照して、本実施形態による脱衣制御の一例を説明する。図10は、本実施形態による有効な脱衣ジェスチャーに応じた脱衣制御を説明するための図である。
【0072】
図10左側の骨格位置の遷移図に示すように、被写体の座標B15「Left Hand」の座標が、腹部の座標B3「Torso」から頭部の座標B1「Head」に時系列変化した場合、動作検出部103は、脱衣を示す有効なジェスチャーと判断する。この場合、表示制御部105は、図10右側のAR試着画像の遷移図に示すように、被写体Aに重畳表示されていた仮想衣服Cを非表示にする。これにより、仮想衣服Cを脱衣したAR画像が表示され、AR試着の脱衣制御が実現される。
【0073】
(着替え制御例)
次に、図11を参照して、本実施形態による着替え制御の一例を説明する。図11は、本実施形態による有効な着替えジェスチャーに応じた着替え制御を説明するための図である。図11左には、仮想試着前の状態、図11右には回転方向に応じた仮想試着後の状態を示す。
【0074】
図11右上に示すように、被写体Aが略水平方向に左回転したことを動作検出部103により検出されると、表示制御部105は、表示装置19の画面上で左側に表示されている仮想衣服23を、被写体Aに重畳表示する。
【0075】
また、図11右下に示すように、被写体Aが略水平方向に右回転したことを動作検出部103により検出されると、表示制御部105は、表示装置19の画面上で右側に表示されている仮想衣服25を、被写体Aに重畳表示する。
【0076】
また、仮想衣服23が重畳表示された状態で被写体Aが右回転すると、表示制御部105は、被写体Aに重畳表示する仮想衣服23を画面上右側に表示した仮想衣服25に変更し、着替え制御を行う。同様に、仮想衣服25が重畳表示された状態で被写体Aが左回転すると、表示制御部105は、被写体Aに重畳表示する仮想衣服25を画面上左側に表示した仮想衣服23に変更し、着替え制御を行う。
【0077】
(靴の履き替え)
以上、一例として仮想衣服の着脱制御について説明したが、本開示の実施形態によるAR試着システムにおける試着対象は衣服に限定されず、例えば靴、メガネ、ベルト等であってもよい。よって、着脱を示す有効なジェスチャーは試着対象物によって異なる場合もある。
【0078】
例えば、靴の履き替えを行う場合、情報処理装置10は、被写体Aが足を振る動作を検出した場合に、被写体Aの足に仮想的な靴を重畳表示するよう制御してもよい。具体的には、動作検出部103は、被写体Aの足の座標B24またはB20の時系列変化に基づき、足の周期的な動きを検出し、靴履き替えの有効なジェスチャーと判断する。表示制御部105は、動作検出部103により靴履き替えの有効なジェスチャーが検出されると、予め選択された仮想的な靴を被写体Aの足に重畳表示するよう制御する。
【0079】
(途中経過の表示)
上述した全ての着脱制御において、表示制御部105は、着脱動作の経過に応じた表示制御を行ってもよい。これにより、被写体Aの動作が有効なジェスチャーとして認識されていることを視覚的にフィードバックすることができる。また、これにより仮想的な試着のリアリティをさらに高めることができるので、より自然なAR試着システムを提供することができる。以下、図12を参照して具体的に説明する。
【0080】
図12は、本開示の一実施形態による脱衣動作の途中経過の表示について説明するための図である。図12上に示すように、被写体Aの左手の骨格位置を示す座標B15が、頭部から腹部に向かって移動する場合、図12下に示すように、表示制御部105は、座標B15の位置に合わせて、重畳表示した仮想衣服の形状を変形させ、脱衣経過を表現する。
【0081】
また、表示制御部105は、着脱動作の経過を仮想衣服の形状を変形させる際に、重力や風などの影響を考慮してより細かく制御してもよい。例えば、仮想衣服が風に吹かれてひらひらしながら着脱動作に応じて変形する様子等を表現することで、よりリアリティがあるAR試着システムを提供することができる。
【0082】
<4.まとめ>
上述したように、本開示の一実施形態によるAR試着システムによれば、被写体の動作に応じて着脱を制御することで、よりリアリティがある自然なAR試着システムを提供することができる。
【0083】
また、本実施形態によれば、着脱動作の途中経過に応じて仮想衣服を変形し、着替え途中も表示することで、さらにリアリティがある自然なAR試着システムを提供することができる。
【0084】
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本技術はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属
するものと了解される。
【0085】
例えば、上述したAR試着システムでは、主に仮想衣服の試着を例として説明したが、試着対象は衣服に限らず、例えばメガネ、帽子およびベルトなどの装飾品であってもよい。
【0086】
また、上述したAR試着システムでは、被写体が人物の場合について説明したが、被写体は人物に限定されず、例えば犬や猫などの動物であってもよい。この場合、動物を撮像した撮像画像に、例えばペット用の衣服画像を重畳表示するAR試着システムを提供することができる。
【0087】
なお、本技術は以下のような構成も取ることができる。
(1)
撮像された被写体の動作を検出する動作検出部と、
前記動作検出部により検出した動作に応じて、前記被写体に重畳して表示される仮想的な服飾品の着脱を制御する表示制御部と、
を備える、情報処理装置。
(2)
前記表示制御部は、前記動作検出部により検出された動作の経過に応じて前記服飾品の着脱経過を表示する、前記(1)に記載の情報処理装置。
(3)
前記動作検出部は、着衣動作を検出し、
前記表示制御部は、前記着衣動作に応じて前記被写体に仮想衣服を重畳表示する、前記(1)または(2)に記載の情報処理装置。
(4)
前記動作検出部は、脱衣動作を検出し、
前記表示制御部は、前記脱衣動作に応じて前記被写体に重畳表示された仮想衣服を非表示にする、前記(1)から(3)のいずれか1項に記載の情報処理装置。
(5)
前記動作検出部は、前記被写体が略水平方向に回転する動作を検出し、
前記表示制御部は、前記回転する動作に応じて前記被写体に重畳表示する仮想衣服を変更する、前記(1)から(4)のいずれか1項に記載の情報処理装置。
(6)
前記動作検出部は、前記被写体が足を振る動作を検出し、
前記表示制御部は、前記足を振る動作に応じて前記被写体の足に重畳表示する仮想靴の履き替えを制御する、前記(1)から(5)のいずれか1項に記載の情報処理装置。
(7)
撮像された被写体の動作を検出するステップと、
前記動作を検出するステップにより検出した動作に応じて、前記被写体に重畳して表示される仮想的な服飾品の着脱を制御するステップと、
を含む、表示制御方法。
(8)
撮像された被写体の動作を検出する処理と、
前記動作を検出する処理により検出した動作に応じて、前記被写体に重畳して表示される仮想的な服飾品の着脱を制御する処理と、
をコンピュータに実行させる、プログラム。
(9)
前記着脱を制御する処理は、前記動作を検出する処理により検出された動作の経過に応じて前記服飾品の着脱経過を表示する、前記(8)または(9)に記載のプログラム。
(10)
前記動作を検出する処理は、着衣動作を検出し、
前記制御する処理は、前記着衣動作に応じて前記被写体に仮想衣服を重畳表示する、前記(8)から(9)のいずれか1項に記載のプログラム。
(11)
前記動作を検出する処理は、脱衣動作を検出し、
前記制御する処理は、前記脱衣動作に応じて前記被写体に重畳表示された仮想衣服を非表示にする、前記(8)から(10)のいずれか1項に記載のプログラム。
(12)
前記動作を検出する処理は、前記被写体が略水平方向に回転する動作を検出し、
前記制御する処理は、前記回転する動作に応じて前記被写体に重畳表示する仮想衣服を変更する、前記(8)から(11)のいずれか1項に記載のプログラム。
(13)
前記動作を検出する処理は、前記被写体が足を振る動作を検出し、
前記制御する処理は、前記足を振る動作に応じて前記被写体の足に重畳表示する仮想靴の履き替えを制御する、前記(8)から(12)のいずれか1項に記載のプログラム。
【符号の説明】
【0088】
10 情報処理装置
15 カメラ
17 センサ
19 表示装置
100 制御部
101 骨格位置算出部
103 動作検出部
105 表示制御部
120 操作入力部
130 記憶部
A 被写体
B 座標(骨格位置)
C 仮想衣服



【特許請求の範囲】
【請求項1】
撮像された被写体の動作を検出する動作検出部と、
前記動作検出部により検出した動作に応じて、前記被写体に重畳して表示される仮想的な服飾品の着脱を制御する表示制御部と、
を備える、情報処理装置。
【請求項2】
前記表示制御部は、前記動作検出部により検出された動作の経過に応じて前記服飾品の着脱経過を表示する、請求項1に記載の情報処理装置。
【請求項3】
前記動作検出部は、着衣動作を検出し、
前記表示制御部は、前記着衣動作に応じて前記被写体に仮想衣服を重畳表示する、請求項1に記載の情報処理装置。
【請求項4】
前記動作検出部は、脱衣動作を検出し、
前記表示制御部は、前記脱衣動作に応じて前記被写体に重畳表示された仮想衣服を非表示にする、請求項1に記載の情報処理装置。
【請求項5】
前記動作検出部は、前記被写体が略水平方向に回転する動作を検出し、
前記表示制御部は、前記回転する動作に応じて前記被写体に重畳表示する仮想衣服を変更する、請求項1に記載の情報処理装置。
【請求項6】
前記動作検出部は、前記被写体が足を振る動作を検出し、
前記表示制御部は、前記足を振る動作に応じて前記被写体の足に重畳表示する仮想靴の履き替えを制御する、請求項1に記載の情報処理装置。
【請求項7】
撮像された被写体の動作を検出するステップと、
前記動作を検出するステップにより検出した動作に応じて、前記被写体に重畳して表示される仮想的な服飾品の着脱を制御するステップと、
を含む、表示制御方法。
【請求項8】
撮像された被写体の動作を検出する処理と、
前記動作を検出する処理により検出した動作に応じて、前記被写体に重畳して表示される仮想的な服飾品の着脱を制御する処理と、
をコンピュータに実行させる、プログラム。
【請求項9】
前記着脱を制御する処理は、前記動作を検出する処理により検出された動作の経過に応じて前記服飾品の着脱経過を表示する、請求項8に記載のプログラム。
【請求項10】
前記動作を検出する処理は、着衣動作を検出し、
前記制御する処理は、前記着衣動作に応じて前記被写体に仮想衣服を重畳表示する、請求項8に記載のプログラム。
【請求項11】
前記動作を検出する処理は、脱衣動作を検出し、
前記制御する処理は、前記脱衣動作に応じて前記被写体に重畳表示された仮想衣服を非表示にする、請求項8に記載のプログラム。
【請求項12】
前記動作を検出する処理は、前記被写体が略水平方向に回転する動作を検出し、
前記制御する処理は、前記回転する動作に応じて前記被写体に重畳表示する仮想衣服を変更する、請求項8に記載のプログラム。
【請求項13】
前記動作を検出する処理は、前記被写体が足を振る動作を検出し、
前記制御する処理は、前記足を振る動作に応じて前記被写体の足に重畳表示する仮想靴の履き替えを制御する、請求項8に記載のプログラム。


【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate

【図9】
image rotate

【図10】
image rotate

【図11】
image rotate

【図12】
image rotate


【公開番号】特開2013−101527(P2013−101527A)
【公開日】平成25年5月23日(2013.5.23)
【国際特許分類】
【出願番号】特願2011−245303(P2011−245303)
【出願日】平成23年11月9日(2011.11.9)
【出願人】(000002185)ソニー株式会社 (34,172)
【Fターム(参考)】