情報処理装置、表示制御方法、およびプログラム
【課題】被写体の動作に応じて着用状態を変化させることが可能な情報処理装置、表示制御方法、およびプログラムを提供する。
【解決手段】撮像された被写体の動作を検出する動作検出部と、前記動作検出部により検出された動作に応じて、前記被写体に重畳して表示される仮想的な服飾品の着用状態を変化させる表示制御部と、を備える、情報処理装置。
【解決手段】撮像された被写体の動作を検出する動作検出部と、前記動作検出部により検出された動作に応じて、前記被写体に重畳して表示される仮想的な服飾品の着用状態を変化させる表示制御部と、を備える、情報処理装置。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、情報処理装置、表示制御方法、およびプログラムに関する。
【背景技術】
【0002】
仮想的な試着システムとして、ユーザを撮像した撮像画像に衣服の画像を合成する試着画像生成技術が様々提案されている。
【0003】
例えば、特許文献1では、ユーザの身体画像に衣服画像を合成する処理が開示されている。具体的には、特許文献1に記載の画像処理サーバは、ユーザの身体画像に添付されている身体プロファイルデータ(身長、肩幅等)および画像における身体の向きなどの情報に基づき、衣服画像のサイズ変更および向きの調整を行い、身体画像に合成する。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開2006−304331号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
特許文献1に記載されるような試着画像生成技術において、合成される衣服画像はサイズ変更および向き調整が行われるのみであって、衣服画像の襟や袖などの状態は予め決まっており、衣服画像を部分的に変化させることは困難であった。しかし、実際ユーザが衣服を試着する場合は、好みによって襟や袖の状態(総じて、着用状態とも称す)を変えた状態も試したいという要望がある。
【0006】
そこで、本開示では、被写体の動作に応じて着用状態を変化させることが可能な、新規かつ改良された情報処理装置、表示制御方法およびプログラムを提案する。
【課題を解決するための手段】
【0007】
本開示によれば、撮像された被写体の動作を検出する動作検出部と、前記動作検出部により検出された動作に応じて、前記被写体に重畳して表示される仮想的な服飾品の着用状態を変化させる表示制御部と、を備える情報処理装置を提案する。
【0008】
本開示によれば、撮像された被写体の動作を検出するステップと、前記動作を検出するステップにより検出された動作に応じて、前記被写体に重畳して表示される仮想的な服飾品の着用状態を変化させるステップと、を含む表示制御方法を提案する。
【0009】
本開示によれば、撮像された被写体の動作を検出する処理と、前記動作を検出する処理により検出された動作に応じて、前記被写体に重畳して表示される仮想的な服飾品の着用状態を変化させる処理と、をコンピュータに実行させるプログラムを提案する。
【発明の効果】
【0010】
以上説明したように本開示によれば、被写体の動作に応じて着用状態を変化させることが可能となる。
【図面の簡単な説明】
【0011】
【図1】本開示の一実施形態によるAR試着システムの概要を説明するための図である。
【図2】本開示の一実施形態による情報処理装置の構成を示すブロック図である。
【図3】実空間におけるカメラと被写体の位置関係、および被写体を撮像した撮像画像を説明するための図である。
【図4】本開示の一実施形態による骨格情報を説明するための図である。
【図5】仮想空間における仮想カメラと仮想衣服の位置関係、および仮想衣服を投影した仮想的な衣服画像を説明するための図である。
【図6】本開示の一実施形態によるAR試着画像表示における基本的な表示制御処理を示すフローチャートである。
【図7】本開示の一実施形態によるジェスチャーに応じた着用状態の制御処理を示すフローチャートである。
【図8】本開示の一実施形態による有効なジェスチャーに応じた着用状態の制御例1を説明するための図である。
【図9】本開示の一実施形態による有効なジェスチャーに応じた着用状態の制御例4を説明するための図である。
【図10】本開示の一実施形態によるAR試着システムにおいてカメラが被写体の後ろに配置変更された場合を説明するための図である。
【図11】本開示の一実施形態によるAR試着システムにおいて、3次元形状が復元された被写体に仮想衣服を重畳表示する場合を説明するための図である。
【発明を実施するための形態】
【0012】
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【0013】
また、説明は以下の順序で行うものとする。
1.本開示の一実施形態によるAR試着システムの概要
2.情報処理装置の構成
3.表示制御
3−1.基本的な表示制御
3−2.ジェスチャーに応じた着用状態の制御
3−3.客観的な視点からの表示
4.まとめ
【0014】
<1.本開示の一実施形態によるAR試着システムの概要>
近年、実世界に付加的な情報を重畳してユーザに呈示する拡張現実(AR:Augmented Reality)と呼ばれる技術が注目されている。AR技術においてユーザに呈示される情報は、テキスト、アイコン又はアニメーションなどの様々な形態の仮想的なオブジェクトを用いて可視化され得る。AR技術の主要な適用分野の1つは、実世界でのユーザ活動の支援である。以下では、このAR技術を試着システムに適用する。
【0015】
AR技術を利用した試着システムは、ユーザの動作に合わせて仮想的な衣服画像を重畳表示することで、リアルタイムに仮想試着を体験することができる。また、本開示の一実施形態によるAR試着システムは、ユーザの動作に応じて仮想衣服の着用状態を変化させ、インタラクティブな試着を提供することができる。これにより、試着の自由度が上がり、ユーザは仮想試着において着こなしを楽しむことができる。
【0016】
このような本開示の一実施形態によるAR試着システムの概要を、図1を参照しながら説明する。図1に示すように、本開示の一実施形態によるAR試着システム1は、情報処理装置10、カメラ15、センサ17、および表示装置19を有する。なお、AR試着システム1が設置される場所は特に限定されない。例えば、AR試着システム1は、ユーザの自宅内に設置されてもよいし、店頭に設置されてもよい。
【0017】
また、図1に示した例では、AR試着システム1を構成する複数の装置(情報処理装置10、カメラ15、センサ17および表示装置19)が別体に構成されているが、本開示によるAR試着システム1の構成はこれに限定されない。例えば、AR試着システム1を構成する上記複数の装置のいずれかの組み合わせが一体化されていてもよい。また、例えば、AR試着システム1を構成する複数の装置は、スマートフォン、PDA(Personal Digital Assistants)、携帯電話、携帯用音楽再生装置、携帯用映像処理装置または携帯用ゲーム機器に内蔵されていてもよい。
【0018】
カメラ15(撮像装置)は、実空間に存在する物体を撮像する。実空間に存在する物体は、特に限定されないが、例えば、人物や動物などの生き物であってもよく、車庫やテレビ台などといった生き物以外であってもよい。図1に示した例では、実空間に存在する物体として被写体A(例えば、人物)がカメラ15により撮像される。カメラ15により撮像された画像(撮像画像とも称す)は表示装置19に表示される。表示装置19に表示される撮像画像は、RGB画像であってもよい。また、カメラ15は、撮像画像を情報処理装置10に送る。
【0019】
センサ17は、実空間からパラメータを検出する機能を有し、検出データを情報処理装置10に送る。例えば、センサ17が赤外線センサにより構成されている場合、センサ部17は、実空間から赤外線を検出し、赤外線量に応じた電気信号を検出データとして情報処理装置10に供給することができる。情報処理装置10は、例えば、検出データに基づいて実空間に存在する物体を認識することができる。センサ17の種類は、赤外線センサに限定されない。なお、図1に示した例では、検出データがセンサ17から情報処理装置10に供給されることとしているが、情報処理装置10に供給される検出データは、カメラ15により撮像された画像であってもよい。
【0020】
情報処理装置10は、実空間に存在する物体の認識結果に応じて、撮像画像に対して仮想オブジェクトを合成したり撮像画像を変形したりすることにより、撮像画像を処理することができる。表示装置19は、情報処理装置10により処理された画像を表示することも可能である。
【0021】
例えば、図1に示すように、情報処理装置10は、実空間の被写体Aを認識し、衣服画像を合成した試着画像を表示装置19にリアルタイムに表示させることができる。ここでは、ユーザの身体が実空間の映像であり、試着対象の衣服画像が実空間の映像に重畳表示された仮想オブジェクトである。これにより、AR試着システム1は、仮想的な試着をリアルタイムに提供することができる。
【0022】
また、本開示による情報処理装置10は、被写体Aの動作を検出する機能を有する。これにより、情報処理装置10は、検出した動作に応じて撮像画像に合成する衣服画像を変化させ、着用状態を変化させることができる。このように被写体Aの動作に応じて着用状態が変化するAR試着画像を表示装置19にリアルタイム表示することで、インタラクティブな試着を提供することができる。
【0023】
<2.情報処理装置の構成>
次に、本開示によるAR試着システムを実現する情報処理装置10の構成について、図2を参照して説明する。図2に示すように、情報処理装置10は、制御部100、操作入力部120、および記憶部130を有する。制御部100は、骨格位置算出部101、動作検出部103および表示制御部105を有する。また、情報処理装置10には、カメラ15、センサ17および表示装置19が、有線または無線により接続されている。
【0024】
制御部100は、CPU(Central Processing Unit)またはDSP(Digital Signal Processor)などのプロセッサに相当する。制御部100は、記憶部130または他の記憶媒体に記憶されるプログラムを実行することにより、後に説明する制御部100の様々な機能を動作させる。なお、制御部100を構成する各ブロックは、全てが同一の装置に組み込まれていなくてもよく、一部が他の装置(例えば、サーバ)に組み込まれていてもよい。
【0025】
記憶部130は、半導体メモリまたはハードディスクなどの記憶媒体を用いて、情報処理装置10による処理のためのプログラムおよびデータを記憶する。例えば、制御部100としてコンピュータを機能させるためのプログラムを記憶する。さらに、例えば、記憶部130は、制御部100により使用されるデータを記憶する。また、本実施形態による記憶部130は、表示対象となる仮想オブジェクトとして、服飾品の3次元データや、服飾品に関連付けられた素材情報およびサイズ情報などを記憶する。本明細書において、服飾品とは、衣服または装飾品を含む。また、装飾品とは、メガネ、帽子およびベルトなどを含む。
【0026】
操作入力部120は、マウス、キーボード、タッチパネル、ボタン、マイク、スイッチ、レバーおよびリモートコントローラーなどユーザが情報を入力するための入力手段と、ユーザによる入力に基づいて入力信号を生成し、制御部100に出力する入力制御回路などから構成されている。ユーザは、操作入力部120を操作することにより、情報処理装置10の電源ON/OFFや、AR試着システムプログラムの起動などを指示したりすることができる。
【0027】
カメラ15(撮像装置)は、CCD(Charge Coupled Device)またはCMOS(Complementary Metal Oxide Semiconductor)などの撮像素子を用いて実空間を撮像することにより、撮像画像を生成する。本開示の実施形態においては、カメラ15が情報処理装置10と別体に構成されていることを想定しているが、カメラ15は、情報処理装置10の一部であってもよい。
【0028】
また、カメラ15は、撮像時におけるカメラ15の設定情報を情報処理装置10に供給する。ここで、図3に、実空間におけるカメラ15と被写体Aの位置関係、および被写体Aを撮像した撮像画像A’を説明するための図を示す。図3では、カメラ15のレンズ(不図示)の光学的な中心である主点から、カメラ15の撮像素子(不図示)までの焦点距離frealと、撮像素子に写る被写体A(3次元、xyz座標)の撮像画像A’(2次元、xy座標)を、便宜上被写体側に示す。カメラ15から被写体Aまでの距離drealは、後述するように深度情報として算出される。また、カメラ15の画角θrealは、主に焦点距離frealに応じて決定される。カメラ15は、カメラ15の設定情報として、例えば焦点距離freal(または画角θreal)および撮像画像A’の画素数(すなわちピクセル数)を、情報処理装置10に供給する。
【0029】
センサ17は、実空間からパラメータを検出する機能を有している。例えば、センサ17が赤外線センサにより構成されている場合、センサ17は、実空間から赤外線を検出し、赤外線量に応じた電気信号を検出データとして情報処理装置10に供給することができる。センサ17の種類は、赤外線センサに限定されない。なお、カメラ15により撮像された画像が検出データとして情報処理装置10に供給される場合には、センサ17は存在しなくてもよい。
【0030】
表示装置19は、LCD(Liquid Crystal Display)、OLED(Organic light−Emitting Diode)またはCRT(Cathode Ray Tube)などにより構成される表示モジュールである。本開示の実施形態においては、表示装置19が情報処理装置10と別体に構成されていることを想定しているが、表示装置19は、情報処理装置10の一部であってもよい。
【0031】
続いて、上記制御部100の機能構成について説明する。上述したように、制御部100は、骨格位置算出部101、動作検出部103、および表示制御部105を有する。
【0032】
(骨格位置算出部101)
骨格位置算出部101は、検出データに基づいて撮像画像に映る物体の骨格位置を算出する。撮像画像に映る物体の実空間上の骨格位置を算出する手法は特に限定されない。例えば、骨格位置算出部101は、まず、撮像画像において物体の存在する領域(以下、「物体存在領域」とも称す。)を認識するとともに、撮像画像内の物体の深度情報を取得する。そして、骨格位置算出部101は、物体存在領域の深度と形(特徴量)に基づいて、撮像画像に映る物体の実空間上の部位(頭、左肩、右肩、腹部など)を認識し、各部位における中心位置を骨格位置として算出してもよい。ここで、骨格位置算出部101は、記憶部130に記憶された特徴量辞書を用いて、撮像画像から決定される特徴量を、当該特徴量辞書に予め登録された物体の部位ごとの特徴量と照合することにより、撮像画像に含まれる物体の部位を認識することができる。
【0033】
物体存在領域を認識する手法としては様々な手法が想定される。例えば、撮像画像が検出データとして情報処理装置10に供給された場合には、骨格位置算出部101は、物体が映る前の撮像画像と物体が映っている撮像画像との差分値に基づいて、物体存在領域を認識することができる。より詳細には、骨格位置算出部101は、物体が映る前の撮像画像と物体が映っている撮像画像との差分値が閾値を超える領域を、物体存在領域として認識することができる。
【0034】
また、例えば、センサ17により検出されたパラメータが検出データとして情報処理装置10に供給された場合には、骨格位置算出部101は、検出データに基づいて、物体存在領域を認識することができる。より詳細には、骨格位置算出部101は、検出される赤外線量が閾値を超える領域を、物体存在領域として認識することができる。
【0035】
また、撮像画像内の物体の深度情報を取得する手法として様々な手法が想定される。例えば、カメラ15と物体との距離をあらかじめ定めておくことが可能である。すなわち、あらかじめ定められた距離だけカメラ15から離れた位置に物体が配置されるような制限を設ければよい。このような制限を設ければ、骨格位置算出部101は、物体の深度情報(ここでは、カメラ15と物体との距離)を固定値(例えば、2mなど)として扱うことができる。
【0036】
また、骨格位置算出部101は、撮像画像内の物体の深度情報を、センサ17により検出されたパラメータに基づいて算出することも可能である。より詳細には、骨格位置算出部101は、図示しない照射装置から赤外線などの光を物体に向けて照射した場合に、センサ17により検出された光を解析することにより、撮像画像内の物体の深度情報を算出することができる。
【0037】
また、例えば骨格位置算出部101は、センサ17により検出された光の位相遅れに基づいて、撮像画像内の物体の深度情報を算出することができる。この手法は、TOF(Time Of Flight)方式とも言われる。あるいは、図示しない照射装置から照射される光が既知のパターンから構成される場合には、骨格位置算出部101は、センサ17により検出された光を構成するパターンの歪み具合を解析することにより、撮像画像内の物体の深度情報を算出してもよい。
【0038】
なお、撮像画像内の物体の深度情報を算出する機能を有する撮像装置はデプスカメラと称され、ステレオカメラやレーザーレンジスキャナにより実現され得る。骨格位置算出部101は、情報処理装置10に接続されるデプスカメラから深度情報を取得してもよい。
【0039】
以上説明した各手法により取得した物体存在領域の深度と形(特徴量)に基づいて、骨格位置算出部101は、撮像画像に映る物体の実空間上の部位(頭、肩など)を認識し、各部位の骨格位置の座標を算出する。次に、骨格位置算出部101が算出した被写体Aを構成する1以上の部位の骨格位置を含む骨格情報について図4を参照して説明する。
【0040】
図4は、骨格情報を説明するための図である。図4に示した例では、骨格情報は、被写体Aを構成する15の部位の位置を示す座標B1〜B3、B6、B7、B9、B12、B13、B15、B17、B18、B20〜B22、B24として示されているが、骨格情報に含まれる部位の数は特に限定されない。
【0041】
なお、座標B1は「Head」の座標を示し、座標B2は「Neck」の座標を示し、座標B3は「Torso」の座標を示し、座標B6は「Right Shoulder」の座標を示し、座標B7は「Right Elbow」の座標を示している。また、座標B9は「Right Hand」の座標を示し、座標B12は「Left Shoulder」の座標を示し、座標B13は「Left Elbow」の座標を示し、座標B15は「Left Hand」の座標を示している。
【0042】
座標B17は「Right Hip」の座標を示し、座標B18は「Right Knee」の座標を示し、座標B20は「Right Foot」の座標を示し、座標B21は「left Hip」の座標を示している。座標B22は「Left Knee」の座標を示し、座標B24は「Left Foot」の座標を示している。
【0043】
また、本実施形態による骨格位置算出部101は、上述したように、撮像画像内の物体の深度情報を取得するが、具体的には、例えば深度の深さに応じて濃淡が変化する撮像画像(不図示)として上記デプスカメラから取得してもよい。
【0044】
(動作検出部103)
動作検出部103は、骨格位置算出部101により算出された骨格位置の時間経過に伴う変化に基づいて、動作を検出し、有効なジェスチャーであった場合は、検出した有効なジェスチャーを表示制御部105に出力する。動作検出部103は、検出した動作を、予め記憶部130に記憶したジェスチャーDB(データベース)に登録されている各ジェスチャーと比較し、検出した動作が有効なジェスチャーであるか否かを判断する。例えば、ジェスチャーDBには、仮想衣服が被写体Aに重畳表示されている位置から外側に向けて手が動く動作を、衣服をつまんで引っ張る有効なジェスチャーとして登録されている。また、ジェスチャーDBには、一方の手が他方の手首から肘に向けて動く動作を、袖をまくる有効なジェスチャーとして登録されている。
【0045】
なお、実空間における被写体(例えば人物)の動作検出は、上述した骨格情報に基づく動作検出の他、一般的にモーションキャプチャと総称される他の技術により実現してもよい。例えば、動作検出部103は、被写体の関節部に取り付けられた加速度センサなどから検出されたパラメータに基づいて被写体の動作を検出してもよい。また、動作検出部103は、被写体に装着されたマーカーの動きを検出することで、動作を検出してもよい。
【0046】
(表示制御部105)
表示制御部105は、撮像画像に映る被写体に仮想衣服を重畳表示したAR試着画像を生成し、表示装置19に表示させる制御を行う。また、本実施形態による表示制御部105は、動作検出部103により検出された動作(有効なジェスチャー)に応じてAR試着の着用状態を変化させることができる。具体的には、表示制御部105は、被写体のジェスチャー(座標の時系列変化)およびジェスチャーの位置(座標)に応じて、仮想衣服の一部または全部を変化させることで着用状態を変化させ、インタラクティブな試着を提供することができる。
【0047】
ここで、撮像画像に重畳する仮想画像の生成について、図5を参照して説明する。図5は、仮想空間における仮想カメラ25と仮想衣服Cの位置関係、および仮想衣服Cを投影(レンダリング)した仮想的な衣服画像C’(仮想画像とも称す)を説明するための図を示す。図5では、図3に示す実空間を撮像した撮像画像A’と同様に、レンダリングした仮想的な衣服画像C’を、仮想衣服側に示す。
【0048】
仮想カメラ25の設定(内部パラメータ)は、実空間を撮像するカメラ15の設定(内部パラメータ)に合わせて決定される。カメラの設定(内部パラメータ)とは、例えば、焦点距離f、画角θおよび画素数等である。表示制御部105は、仮想カメラ25の設定を、実空間のカメラ15と一致するよう設定する(初期化とも称す)。
【0049】
次に、表示制御部105は、撮像画像内の物体の深度情報に基づいて、実空間におけるカメラ15から被写体Aまでの距離drealと同じ距離dvertualだけ仮想カメラ25から離れた位置に、被写体の骨格位置に合わせて仮想衣服Cを配置する。表示制御部105は、仮想衣服Cを、予めモデリングされた3次元データに基づいて生成してもよい。また、表示制御部105は、例えば図5に示すように、仮想衣服Cの表面を三角形のポリゴンの集合により構成することで、仮想衣服の3次元形状をよりリアルに表現することができる。また、被写体Aの骨格位置が時間経過と共に変化する場合、表示制御部105は、骨格位置をトラッキングするよう仮想衣服Cの配置を変化させることができる。
【0050】
次に、表示制御部105は、仮想カメラ25でレンダリング、すなわち3次元の衣服画像Cを2次元の平面画像に投影することで、衣服画像C’(仮想画像)を取得する。そして、表示制御部105は、撮像画像A’(図3参照)に仮想的な衣服画像C’を重畳表示することでAR試着画像を生成することができる。なお、表示制御部105によるAR試着画像の表示制御については、次の<3.表示制御>において詳細に説明する。
【0051】
以上、本開示の一実施形態によるAR試着システムを実現する情報処理装置10の構成について詳細に説明した。続いて、情報処理装置10によるAR試着画像の表示制御について説明する。
【0052】
<3.表示制御>
[3−1.基本的な表示制御]
図6は、情報処理装置10によるAR試着画像の基本的な表示制御処理を示すフローチャートである。図6に示すように、まず、ステップS110において、表示制御部105は、仮想空間における仮想カメラ25の設定を、実空間のカメラ15の設定に一致させる初期化を行う。
【0053】
次いで、ステップS113において、骨格位置算出部101は、撮像した実空間における被写体Aの骨格位置(xyz座標)を算出し、動作検出部103および表示制御部105に出力する。
【0054】
次に、ステップS116において、表示制御部105は、仮想空間において、仮想衣服Cを被写体Aの骨格位置(xyz座標)に合わせて配置する。
【0055】
そして、ステップS119において、表示制御部105は、仮想衣服Cをレンダリングして衣服画像C’(仮想画像)を取得し、衣服画像C’を撮像画像A’に重ねてAR試着画像を描画し、表示装置19に表示するよう制御する(AR表示制御)。
【0056】
また、情報処理装置10は、ステップS122において、終了指示がなされるまで上記ステップS113からS119を繰り返し行う。これにより、情報処理装置10は、被写体Aの動きをトラッキングするAR試着画像をリアルタイムで提供することができる。
【0057】
以上、基本的な表示制御処理について説明した。さらに、本実施形態による情報処理装置10は、被写体Aの動作に応じて仮想衣服の着用状態を変化させることができる。以下、本実施形態によるジェスチャーに応じた着用状態の制御について図7を参照して具体的に説明する。
【0058】
[3−2.ジェスチャーに応じた着用状態の制御]
図7は、本実施形態の情報処理装置10によるジェスチャーに応じた着用状態の制御処理を示すフローチャートである。図7に示す処理は、図6に示すステップS116およびS119による表示制御aにおいて行われる着用状態の制御示す。
【0059】
まず、図7のステップS116において、図6に示す同ステップの処理と同様に、仮想空間において仮想衣服Cを被写体Aの骨格位置に合わせて配置する。次に、ステップS119において、図6に示す同ステップの処理と同様に、仮想衣服Cをレンダリングして取得した衣服画像C’を、撮像画像A’に重畳表示することで、基本的なAR試着画像を表示装置19に表示する。
【0060】
次いで、ステップS125において、動作検出部103は、手の骨格位置(座標)の時系列変化に基づき、ジェスチャー(動作)を検出する。
【0061】
続いて、ステップS128において、動作検出部103は、検出したジェスチャーが有効なジェスチャーであるか否か判断する。
【0062】
そして、ステップS131において、表示制御部105は、動作検出部103により有効なジェスチャーと判断されたジェスチャーに応じて、着用状態を制御する。着用状態の制御は、3次元空間(仮想空間)において仮想衣服Cの一部または全部を変形させてもよいし、レンダリングにより取得した2次元画像(仮想画像)において仮想的な衣服画像C’の一部または全部を変形させてもよい。
【0063】
上述した有効なジェスチャーと、着用状態の制御(変化)との組み合わせは様々考え得る。以下、本開示による有効なジェスチャーに応じた着用状態の制御について、複数の例を挙げて具体的に説明する。
【0064】
(着用状態の制御例1)
図8は、本実施形態による有効なジェスチャーに応じた着用状態の制御例1を説明するための図である。なお、図8左側には撮像画像および被写体の骨格情報を重ねたイメージの遷移図を示す。動作検出部103は図8左側に示すような骨格位置の時系列変化に基づいて動作を検出する。また、図8右側には、表示制御部105が表示装置19に表示させるAR試着画像の遷移図を示す。表示制御部105は、骨格位置算出部101により算出された図8左側に示すような骨格位置に基づいて仮想衣服を重畳表示する。また、表示制御部105は、動作検出部103により検出された図8左側に示すような動きに応じて仮想衣服の着用状態を変化させる。
【0065】
図8左側の骨格位置の遷移図に示すように、被写体の座標B15「Left Hand」の座標が、仮想衣服が重畳表示されている位置から外側に時系列変化した場合、動作検出部103は、衣服をつまんで引っ張る有効なジェスチャーと判断する。この場合、表示制御部105は、図8右側のAR試着画像の遷移図に示すように、被写体の動作に合わせて仮想衣服Cの一部を変化させる(具体的には、仮想衣服Cの一部の特徴点を外側に移動させる)。これにより、仮想衣服Cが引っ張られた状態が表現され、AR試着において着用状態を変化させることができる。
【0066】
なお、表示制御部105は、被写体の動作に応じて仮想衣服Cを変化させる際に、仮想衣服Cに関連付けて記憶されている素材情報に基づいて仮想衣服Cの変化の程度を決定してもよい。これにより、仮想衣服Cが伸び易い素材であるか否かに応じて引っ張られた状態の表現等が異なり、AR試着のリアリティをより増すことができる。
【0067】
(着用状態の制御例2)
また、被写体の一方の手の座標が、他方の手の座標から肘の座標方向へ時系列変化した場合、動作検出部103は、袖をまくる有効なジェスチャー(腕まくり動作)と判断する。この場合、表示制御部105は、被写体の腕まくり動作に合わせて、仮想衣服Cの一部を変化させる(例えば、仮想衣服Cの袖部分の特徴点を肘方向に移動させる)ことで、仮想衣服Cの袖がまくられた状態を表現し、AR試着において着用状態を制御することができる。
【0068】
また、被写体の手の座標が、首元から顎の方向に時系列変化した場合、動作検出部103は、襟を立てる有効なジェスチャーと判断する。この場合、表示制御部105は、被写体の動作に合わせて、仮想衣服Cを変化させる(具体的には、仮想衣服Cの襟部分の特徴点を顎方向に移動させる)ことで、仮想衣服Cの襟が立てられた状態を表現し、AR試着において着用状態を変化させることができる。
【0069】
なお、上記腕まくりや襟立て動作の逆の動作が検出された場合も、同様にAR試着において着用状態を制御することができる。
【0070】
(着用状態の制御例4)
さらに、表示制御部105は、被写体の動作に応じて、ズボンやスカートの腰位置を調整することできる。図9は、本実施形態による有効なジェスチャーに応じた着用状態の制御例4を説明するための図である。
【0071】
図9左側の骨格位置の遷移図に示すように、被写体の座標B9および座標B15の座標が、座標B17および座標B21の座標付近で略垂直方向に下がる時系列変化があった場合、動作検出部103は、衣服の腰位置を下げる有効なジェスチャーと判断する。この場合、表示制御部105は、図9右側のAR試着画像の遷移図に示すように、被写体の動作に合わせて仮想衣服Cを変化させる(具体的には、仮想衣服C全体の特徴点を下に移動させる)。これにより、仮想衣服Cの腰位置を下げた状態を表現し、AR試着の着用状態を変化することができる。
【0072】
また、仮想衣服Cの腰位置が手の動作に合わせて調整されるので、ユーザは、AR試着においてズボンやスカートを浅めに履いたり深めに履いたり等の着こなしを試すことができる。
【0073】
ここで、被写体に重畳表示される仮想衣服のサイズは、通常、被写体の大きさに合わせて変形される。具体的には、例えば図5に示す仮想空間において仮想衣服Cを被写体の骨格位置に合わせて配置することで、仮想衣服Cのサイズが被写体の大きさに合わせて変形される。しかし、ユーザは、AR試着システムにおいても、実際に所定サイズの衣服を試着した場合のサイズ感を試したい場合もある。
【0074】
そこで、表示制御部105は、例えば図5に示す仮想空間において、所定サイズの仮想衣服を、実空間の深度drealと同じ深度(距離)dvertualに配置し、これを投影した仮想画像を撮像画像に重ねたAR試着画像を表示してもよい。これにより、ユーザは、自身の大きさと、所定サイズの仮想衣服の大きさとを比較することができる。
【0075】
そして、このように所定サイズの仮想衣服が重畳表示される場合に、上述したような被写体の動作に応じた仮想衣服の着用状態制御を行うことで、仮想衣服のサイズ感を確認することができる。例えば、仮想的なズボンやスカートの腰位置を、最適な腰位置に調整することで、最適な腰位置における仮想衣服Cのサイズ感を確認することができる。
【0076】
以上、本実施形態による被写体の動作に応じた着用状態の制御について複数の具体例を挙げて説明した。続いて、AR試着システム1に含まれるカメラ15の配置について具体的に説明する。
【0077】
[3−3.客観的な視点からの表示]
上述した本開示の一実施形態によるAR試着システムでは、図1に示すように、被写体Aの正面にカメラ15および表示装置19が配置され、正面を向いた被写体Aに仮想衣服を重畳表示することで、鏡の前で試着姿を見た場合と同視点のAR試着画像を表示していた。しかしながら、この場合は第三者から見た場合の自分の試着姿を確認することが困難であった。そこで、本開示による一実施形態によるAR試着システムは、以下に説明する複数の手法により、客観的な視点からのAR試着画像の表示を実現することができる。
【0078】
(カメラ15の配置変更)
図1では、被写体Aの正面にカメラ15および表示装置19が配置されるが、カメラ15を図10に示すように被写体Aの後ろ側に配置変更してもよい。この場合、カメラ15により被写体Aの後ろ姿が撮像され、表示制御部105は、被写体Aの後ろ姿に仮想衣服を重畳したAR試着画像を、被写体Aの正面に位置する表示装置19に表示する。これにより、ユーザは、AR試着を行った自分の後ろ姿を確認できる。また、この場合、被写体の後ろ姿に重畳される仮想衣服も当然に後ろ向きとする必要があり、表示制御部105は、後ろ向きの仮想衣服データに基づいて描画する。
【0079】
以上、カメラ15を被写体Aの後ろ側に配置変更する場合を例に挙げたが、この他、横や斜めなど、カメラ15を配置変更することで、客観的な視点からのAR試着画像の表示制御を実現することができる。なお、被写体Aの向きに応じて仮想衣服の向きも異なるので、情報処理装置10は、様々な向きの仮想衣服データを有することで対応することができる。若しくは、情報処理装置10は、予めモデリングされた仮想衣服の3次元データを利用することで、様々な向きの仮想衣服の描画を実現することができる。
【0080】
(遅延表示)
また、カメラ15が図1に示す配置であっても、表示制御部105が表示装置19にリアルタイムでAR試着画像を表示せず、多少のタイムラグを設けて遅延して表示することで、ユーザは客観的な視点からの自身のAR試着姿を確認することができる。
【0081】
例えば、表示制御部105が、AR試着画像を1秒送れて表示装置19に表示する制御を行う場合、ユーザが2秒かけて身体を略水平方向に1回転させた直後には、表示装置19には一秒前の後ろ向きのAR試着画像が表示される。このように、AR試着画像が遅延して表示されることにより、ユーザは、客観的な視点から自身のAR試着姿を確認することができる。
【0082】
また、情報処理装置10は、被写体が回転しているAR試着画像(動画)を録画し、ユーザの指示に応じて早送りや巻き戻しを行いながらAR試着画像を再生してもよい。これにより、ユーザは、客観的な視点からの自身のAR試着姿を確認することができる。
【0083】
(3次元形状復元による表示)
また、情報処理装置10は、撮像した被写体を3次元形状復元し、かかる3次元形状復元を行った被写体に仮想衣服を重畳して任意の向きで表示することで、客観的な視点からのAR試着画像を表示することができる。
【0084】
被写体の3次元形状を復元するために、例えば図11に示すように、カメラ15およびセンサ17を多数配置し、多視点から被写体を撮像する。これにより、情報処理装置10は、リアルタイムで被写体の3次元形状を復元することができる。なお、図11に示す例では、多視点から被写体を撮像し、3次元形状を復元しているが、3次元形状の復元手法はこれに限定されず、二眼や単眼により復元してもよい。
【0085】
このように、リアルタイムに3次元形状が復元された被写体に仮想衣服が重畳表示され、ユーザは、図11に示すようにマウスアイコン30を操作することで、かかる3次元復元された被写体を自由に回転させることができる。これにより、ユーザは、仮想衣服を試着した自分の姿を様々な角度からリアルタイムで確認することができる。
【0086】
また、情報処理装置10は、予め撮影した被写体の画像に基づいて後から3次元形状復元を行い、これに任意の仮想衣服を重畳表示させてもよい。この場合も、ユーザはマウスアイコン30を操作して3次元復元された被写体を自由に回転させることで、様々な角度から仮想衣服を試着した被写体を確認することができる。
【0087】
なお、マウスアイコン30を操作するデバイスは、マウスの他、例えば図11に示すようにリアルタイムで自身のAR試着画像が表示される場合では、リモートコントローラー(不図示)であってもよい。
【0088】
<4.まとめ>
上述したように、本開示の一実施形態によるAR試着システムによれば、被写体の動作に応じて着用状態を制御することで、ユーザは様々な着こなしを試すことができる。また、本実施形態によるAR試着システムによれば、インタラクティブな試着を実現することで、よりリアリティがあるAR試着を提供することができる。
【0089】
また、本実施形態によれば、被写体の後ろ姿や、横向きの姿など、客観的な視点から被写体のAR試着姿を確認することもできる。
【0090】
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本技術はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属
するものと了解される。
【0091】
例えば、上述したAR試着システムでは、主に仮想衣服の試着を例として説明したが、試着対象は衣服に限定されず、例えばメガネ、帽子およびベルトなどの装飾品であってもよい。
【0092】
また、上述したAR試着システムでは、被写体が人物の場合について説明したが、被写体は人物に限らず、例えば犬や猫などの動物であってもよい。この場合、動物を撮像した撮像画像に、例えばペット用の衣服画像を重畳表示するAR試着システムを提供することができる。
【0093】
なお、本技術は以下のような構成も取ることができる。
(1)
撮像された被写体の動作を検出する動作検出部と、
前記動作検出部により検出された動作に応じて、前記被写体に重畳して表示される仮想的な服飾品の着用状態を変化させる表示制御部と、
を備える、情報処理装置。
(2)
前記表示制御部は、前記被写体の動作位置に応じて、前記仮想的な服飾品の一部、または全部を変化させる、前記(1)に記載の情報処理装置。
(3)
前記表示制御部は、前記服飾品の変化の程度を、前記服飾品に対応付けられる素材情報に基づいて決定する、前記(2)に記載の情報処理装置。
(4)
前記表示制御部は、前記動作検出部により検出された動作の位置に応じて、前記仮想的な服飾品の形状の特徴を示す特徴点を移動させる、前記(1)から(3)のいずれか1項に記載の情報処理装置。
(5)
前記動作検出部は、前記被写体が手でつまんで引っ張る動作を検出し、
前記表示制御部は、前記仮想的な服飾品の一部を、前記被写体により引っ張られた方向に伸ばすことで、着用状態を変化させる、前記(1)から(4)のいずれか1項に記載の情報処理装置。
(6)
前記動作検出部は、前記被写体が、一方の手を他方の手首から肘に向けて動かす腕まくり動作を検出し、
前記表示制御部は、前記被写体に重畳表示される仮想衣服の袖を、前記腕まくり動作に応じて肘方向に移動させることで、着用状態を変化させる、前記(1)から(5)のいずれか1項に記載の情報処理装置。
(7)
前記動作検出部は、前記被写体が襟を立てる動作を検出し、
前記表示制御部は、前記被写体に重畳表示される仮想衣服の襟を、前記襟を立てる動作に応じて立てることで、着用状態を変化させる、前記(1)から(6)のいずれか1項に記載の情報処理装置。
(8)
前記動作検出部は、前記被写体が衣服の腰位置を上下させる動作を検出し、
前記表示制御部は、前記被写体に重畳表示される仮想衣服の位置を、前記衣服の腰位置を上下させる動作に応じて調整することで、着用状態を変化させる、前記(1)から(7)のいずれか1項に記載の情報処理装置。
(9)
撮像された被写体の動作を検出するステップと、
前記動作を検出するステップにより検出された動作に応じて、前記被写体に重畳して表示される仮想的な服飾品の着用状態を変化させるステップと、
を含む、表示制御方法。
(10)
撮像された被写体の動作を検出する処理と、
前記動作を検出する処理により検出された動作に応じて、前記被写体に重畳して表示される仮想的な服飾品の着用状態を変化させる処理と、
をコンピュータに実行させる、プログラム。
(11)
前記変化させる処理は、前記被写体の動作位置に応じて、前記仮想的な服飾品の一部、または全部を変化させる、前記(10)に記載のプログラム。
(12)
前記変化させる処理は、前記服飾品の変化の程度を、前記服飾品に対応付けられる素材情報に基づいて決定する、前記(11)に記載のプログラム。
(13)
前記変化させる処理は、前記検出する処理により検出された動作の位置に応じて、前記仮想的な服飾品の形状の特徴を示す特徴点を移動させる、前記(10)から(12)のいずれか1項に記載のプログラム。
(14)
前記検出する処理は、前記被写体が手でつまんで引っ張る動作を検出し、
前記変化させる処理は、前記仮想的な服飾品の一部を、前記被写体により引っ張られた方向に伸ばすことで、着用状態を変化させる、前記(10)から(13)のいずれか1項に記載のプログラム。
(15)
前記検出する処理は、前記被写体が、一方の手を他方の手首から肘に向けて動かす腕まくり動作を検出し、
前記変化させる処理は、前記被写体に重畳表示される仮想衣服の袖を、前記腕まくり動作に応じて肘方向に移動させることで、着用状態を変化させる、前記(10)から(14)のいずれか1項に記載のプログラム。
(16)
前記検出する処理は、前記被写体が襟を立てる動作を検出し、
前記変化させる処理は、前記被写体に重畳表示される仮想衣服の襟を、前記襟を立てる動作に応じて立てることで、着用状態を変化させる、前記(10)から(15)のいずれか1項に記載のプログラム。
(17)
前記検出する処理は、前記被写体が衣服の腰位置を上下させる動作を検出し、
前記変化させる処理は、前記被写体に重畳表示される仮想衣服の位置を、前記衣服の腰位置を上下させる動作に応じて調整することで、着用状態を変化させる、前記(10)から(16)のいずれか1項に記載のプログラム。
【符号の説明】
【0094】
10 情報処理装置
15 カメラ
17 センサ
19 表示装置
100 制御部
101 骨格位置算出部
103 動作検出部
105 表示制御部
120 操作入力部
130 記憶部
A 被写体
B 座標(骨格位置)
C 仮想衣服
【技術分野】
【0001】
本開示は、情報処理装置、表示制御方法、およびプログラムに関する。
【背景技術】
【0002】
仮想的な試着システムとして、ユーザを撮像した撮像画像に衣服の画像を合成する試着画像生成技術が様々提案されている。
【0003】
例えば、特許文献1では、ユーザの身体画像に衣服画像を合成する処理が開示されている。具体的には、特許文献1に記載の画像処理サーバは、ユーザの身体画像に添付されている身体プロファイルデータ(身長、肩幅等)および画像における身体の向きなどの情報に基づき、衣服画像のサイズ変更および向きの調整を行い、身体画像に合成する。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開2006−304331号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
特許文献1に記載されるような試着画像生成技術において、合成される衣服画像はサイズ変更および向き調整が行われるのみであって、衣服画像の襟や袖などの状態は予め決まっており、衣服画像を部分的に変化させることは困難であった。しかし、実際ユーザが衣服を試着する場合は、好みによって襟や袖の状態(総じて、着用状態とも称す)を変えた状態も試したいという要望がある。
【0006】
そこで、本開示では、被写体の動作に応じて着用状態を変化させることが可能な、新規かつ改良された情報処理装置、表示制御方法およびプログラムを提案する。
【課題を解決するための手段】
【0007】
本開示によれば、撮像された被写体の動作を検出する動作検出部と、前記動作検出部により検出された動作に応じて、前記被写体に重畳して表示される仮想的な服飾品の着用状態を変化させる表示制御部と、を備える情報処理装置を提案する。
【0008】
本開示によれば、撮像された被写体の動作を検出するステップと、前記動作を検出するステップにより検出された動作に応じて、前記被写体に重畳して表示される仮想的な服飾品の着用状態を変化させるステップと、を含む表示制御方法を提案する。
【0009】
本開示によれば、撮像された被写体の動作を検出する処理と、前記動作を検出する処理により検出された動作に応じて、前記被写体に重畳して表示される仮想的な服飾品の着用状態を変化させる処理と、をコンピュータに実行させるプログラムを提案する。
【発明の効果】
【0010】
以上説明したように本開示によれば、被写体の動作に応じて着用状態を変化させることが可能となる。
【図面の簡単な説明】
【0011】
【図1】本開示の一実施形態によるAR試着システムの概要を説明するための図である。
【図2】本開示の一実施形態による情報処理装置の構成を示すブロック図である。
【図3】実空間におけるカメラと被写体の位置関係、および被写体を撮像した撮像画像を説明するための図である。
【図4】本開示の一実施形態による骨格情報を説明するための図である。
【図5】仮想空間における仮想カメラと仮想衣服の位置関係、および仮想衣服を投影した仮想的な衣服画像を説明するための図である。
【図6】本開示の一実施形態によるAR試着画像表示における基本的な表示制御処理を示すフローチャートである。
【図7】本開示の一実施形態によるジェスチャーに応じた着用状態の制御処理を示すフローチャートである。
【図8】本開示の一実施形態による有効なジェスチャーに応じた着用状態の制御例1を説明するための図である。
【図9】本開示の一実施形態による有効なジェスチャーに応じた着用状態の制御例4を説明するための図である。
【図10】本開示の一実施形態によるAR試着システムにおいてカメラが被写体の後ろに配置変更された場合を説明するための図である。
【図11】本開示の一実施形態によるAR試着システムにおいて、3次元形状が復元された被写体に仮想衣服を重畳表示する場合を説明するための図である。
【発明を実施するための形態】
【0012】
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【0013】
また、説明は以下の順序で行うものとする。
1.本開示の一実施形態によるAR試着システムの概要
2.情報処理装置の構成
3.表示制御
3−1.基本的な表示制御
3−2.ジェスチャーに応じた着用状態の制御
3−3.客観的な視点からの表示
4.まとめ
【0014】
<1.本開示の一実施形態によるAR試着システムの概要>
近年、実世界に付加的な情報を重畳してユーザに呈示する拡張現実(AR:Augmented Reality)と呼ばれる技術が注目されている。AR技術においてユーザに呈示される情報は、テキスト、アイコン又はアニメーションなどの様々な形態の仮想的なオブジェクトを用いて可視化され得る。AR技術の主要な適用分野の1つは、実世界でのユーザ活動の支援である。以下では、このAR技術を試着システムに適用する。
【0015】
AR技術を利用した試着システムは、ユーザの動作に合わせて仮想的な衣服画像を重畳表示することで、リアルタイムに仮想試着を体験することができる。また、本開示の一実施形態によるAR試着システムは、ユーザの動作に応じて仮想衣服の着用状態を変化させ、インタラクティブな試着を提供することができる。これにより、試着の自由度が上がり、ユーザは仮想試着において着こなしを楽しむことができる。
【0016】
このような本開示の一実施形態によるAR試着システムの概要を、図1を参照しながら説明する。図1に示すように、本開示の一実施形態によるAR試着システム1は、情報処理装置10、カメラ15、センサ17、および表示装置19を有する。なお、AR試着システム1が設置される場所は特に限定されない。例えば、AR試着システム1は、ユーザの自宅内に設置されてもよいし、店頭に設置されてもよい。
【0017】
また、図1に示した例では、AR試着システム1を構成する複数の装置(情報処理装置10、カメラ15、センサ17および表示装置19)が別体に構成されているが、本開示によるAR試着システム1の構成はこれに限定されない。例えば、AR試着システム1を構成する上記複数の装置のいずれかの組み合わせが一体化されていてもよい。また、例えば、AR試着システム1を構成する複数の装置は、スマートフォン、PDA(Personal Digital Assistants)、携帯電話、携帯用音楽再生装置、携帯用映像処理装置または携帯用ゲーム機器に内蔵されていてもよい。
【0018】
カメラ15(撮像装置)は、実空間に存在する物体を撮像する。実空間に存在する物体は、特に限定されないが、例えば、人物や動物などの生き物であってもよく、車庫やテレビ台などといった生き物以外であってもよい。図1に示した例では、実空間に存在する物体として被写体A(例えば、人物)がカメラ15により撮像される。カメラ15により撮像された画像(撮像画像とも称す)は表示装置19に表示される。表示装置19に表示される撮像画像は、RGB画像であってもよい。また、カメラ15は、撮像画像を情報処理装置10に送る。
【0019】
センサ17は、実空間からパラメータを検出する機能を有し、検出データを情報処理装置10に送る。例えば、センサ17が赤外線センサにより構成されている場合、センサ部17は、実空間から赤外線を検出し、赤外線量に応じた電気信号を検出データとして情報処理装置10に供給することができる。情報処理装置10は、例えば、検出データに基づいて実空間に存在する物体を認識することができる。センサ17の種類は、赤外線センサに限定されない。なお、図1に示した例では、検出データがセンサ17から情報処理装置10に供給されることとしているが、情報処理装置10に供給される検出データは、カメラ15により撮像された画像であってもよい。
【0020】
情報処理装置10は、実空間に存在する物体の認識結果に応じて、撮像画像に対して仮想オブジェクトを合成したり撮像画像を変形したりすることにより、撮像画像を処理することができる。表示装置19は、情報処理装置10により処理された画像を表示することも可能である。
【0021】
例えば、図1に示すように、情報処理装置10は、実空間の被写体Aを認識し、衣服画像を合成した試着画像を表示装置19にリアルタイムに表示させることができる。ここでは、ユーザの身体が実空間の映像であり、試着対象の衣服画像が実空間の映像に重畳表示された仮想オブジェクトである。これにより、AR試着システム1は、仮想的な試着をリアルタイムに提供することができる。
【0022】
また、本開示による情報処理装置10は、被写体Aの動作を検出する機能を有する。これにより、情報処理装置10は、検出した動作に応じて撮像画像に合成する衣服画像を変化させ、着用状態を変化させることができる。このように被写体Aの動作に応じて着用状態が変化するAR試着画像を表示装置19にリアルタイム表示することで、インタラクティブな試着を提供することができる。
【0023】
<2.情報処理装置の構成>
次に、本開示によるAR試着システムを実現する情報処理装置10の構成について、図2を参照して説明する。図2に示すように、情報処理装置10は、制御部100、操作入力部120、および記憶部130を有する。制御部100は、骨格位置算出部101、動作検出部103および表示制御部105を有する。また、情報処理装置10には、カメラ15、センサ17および表示装置19が、有線または無線により接続されている。
【0024】
制御部100は、CPU(Central Processing Unit)またはDSP(Digital Signal Processor)などのプロセッサに相当する。制御部100は、記憶部130または他の記憶媒体に記憶されるプログラムを実行することにより、後に説明する制御部100の様々な機能を動作させる。なお、制御部100を構成する各ブロックは、全てが同一の装置に組み込まれていなくてもよく、一部が他の装置(例えば、サーバ)に組み込まれていてもよい。
【0025】
記憶部130は、半導体メモリまたはハードディスクなどの記憶媒体を用いて、情報処理装置10による処理のためのプログラムおよびデータを記憶する。例えば、制御部100としてコンピュータを機能させるためのプログラムを記憶する。さらに、例えば、記憶部130は、制御部100により使用されるデータを記憶する。また、本実施形態による記憶部130は、表示対象となる仮想オブジェクトとして、服飾品の3次元データや、服飾品に関連付けられた素材情報およびサイズ情報などを記憶する。本明細書において、服飾品とは、衣服または装飾品を含む。また、装飾品とは、メガネ、帽子およびベルトなどを含む。
【0026】
操作入力部120は、マウス、キーボード、タッチパネル、ボタン、マイク、スイッチ、レバーおよびリモートコントローラーなどユーザが情報を入力するための入力手段と、ユーザによる入力に基づいて入力信号を生成し、制御部100に出力する入力制御回路などから構成されている。ユーザは、操作入力部120を操作することにより、情報処理装置10の電源ON/OFFや、AR試着システムプログラムの起動などを指示したりすることができる。
【0027】
カメラ15(撮像装置)は、CCD(Charge Coupled Device)またはCMOS(Complementary Metal Oxide Semiconductor)などの撮像素子を用いて実空間を撮像することにより、撮像画像を生成する。本開示の実施形態においては、カメラ15が情報処理装置10と別体に構成されていることを想定しているが、カメラ15は、情報処理装置10の一部であってもよい。
【0028】
また、カメラ15は、撮像時におけるカメラ15の設定情報を情報処理装置10に供給する。ここで、図3に、実空間におけるカメラ15と被写体Aの位置関係、および被写体Aを撮像した撮像画像A’を説明するための図を示す。図3では、カメラ15のレンズ(不図示)の光学的な中心である主点から、カメラ15の撮像素子(不図示)までの焦点距離frealと、撮像素子に写る被写体A(3次元、xyz座標)の撮像画像A’(2次元、xy座標)を、便宜上被写体側に示す。カメラ15から被写体Aまでの距離drealは、後述するように深度情報として算出される。また、カメラ15の画角θrealは、主に焦点距離frealに応じて決定される。カメラ15は、カメラ15の設定情報として、例えば焦点距離freal(または画角θreal)および撮像画像A’の画素数(すなわちピクセル数)を、情報処理装置10に供給する。
【0029】
センサ17は、実空間からパラメータを検出する機能を有している。例えば、センサ17が赤外線センサにより構成されている場合、センサ17は、実空間から赤外線を検出し、赤外線量に応じた電気信号を検出データとして情報処理装置10に供給することができる。センサ17の種類は、赤外線センサに限定されない。なお、カメラ15により撮像された画像が検出データとして情報処理装置10に供給される場合には、センサ17は存在しなくてもよい。
【0030】
表示装置19は、LCD(Liquid Crystal Display)、OLED(Organic light−Emitting Diode)またはCRT(Cathode Ray Tube)などにより構成される表示モジュールである。本開示の実施形態においては、表示装置19が情報処理装置10と別体に構成されていることを想定しているが、表示装置19は、情報処理装置10の一部であってもよい。
【0031】
続いて、上記制御部100の機能構成について説明する。上述したように、制御部100は、骨格位置算出部101、動作検出部103、および表示制御部105を有する。
【0032】
(骨格位置算出部101)
骨格位置算出部101は、検出データに基づいて撮像画像に映る物体の骨格位置を算出する。撮像画像に映る物体の実空間上の骨格位置を算出する手法は特に限定されない。例えば、骨格位置算出部101は、まず、撮像画像において物体の存在する領域(以下、「物体存在領域」とも称す。)を認識するとともに、撮像画像内の物体の深度情報を取得する。そして、骨格位置算出部101は、物体存在領域の深度と形(特徴量)に基づいて、撮像画像に映る物体の実空間上の部位(頭、左肩、右肩、腹部など)を認識し、各部位における中心位置を骨格位置として算出してもよい。ここで、骨格位置算出部101は、記憶部130に記憶された特徴量辞書を用いて、撮像画像から決定される特徴量を、当該特徴量辞書に予め登録された物体の部位ごとの特徴量と照合することにより、撮像画像に含まれる物体の部位を認識することができる。
【0033】
物体存在領域を認識する手法としては様々な手法が想定される。例えば、撮像画像が検出データとして情報処理装置10に供給された場合には、骨格位置算出部101は、物体が映る前の撮像画像と物体が映っている撮像画像との差分値に基づいて、物体存在領域を認識することができる。より詳細には、骨格位置算出部101は、物体が映る前の撮像画像と物体が映っている撮像画像との差分値が閾値を超える領域を、物体存在領域として認識することができる。
【0034】
また、例えば、センサ17により検出されたパラメータが検出データとして情報処理装置10に供給された場合には、骨格位置算出部101は、検出データに基づいて、物体存在領域を認識することができる。より詳細には、骨格位置算出部101は、検出される赤外線量が閾値を超える領域を、物体存在領域として認識することができる。
【0035】
また、撮像画像内の物体の深度情報を取得する手法として様々な手法が想定される。例えば、カメラ15と物体との距離をあらかじめ定めておくことが可能である。すなわち、あらかじめ定められた距離だけカメラ15から離れた位置に物体が配置されるような制限を設ければよい。このような制限を設ければ、骨格位置算出部101は、物体の深度情報(ここでは、カメラ15と物体との距離)を固定値(例えば、2mなど)として扱うことができる。
【0036】
また、骨格位置算出部101は、撮像画像内の物体の深度情報を、センサ17により検出されたパラメータに基づいて算出することも可能である。より詳細には、骨格位置算出部101は、図示しない照射装置から赤外線などの光を物体に向けて照射した場合に、センサ17により検出された光を解析することにより、撮像画像内の物体の深度情報を算出することができる。
【0037】
また、例えば骨格位置算出部101は、センサ17により検出された光の位相遅れに基づいて、撮像画像内の物体の深度情報を算出することができる。この手法は、TOF(Time Of Flight)方式とも言われる。あるいは、図示しない照射装置から照射される光が既知のパターンから構成される場合には、骨格位置算出部101は、センサ17により検出された光を構成するパターンの歪み具合を解析することにより、撮像画像内の物体の深度情報を算出してもよい。
【0038】
なお、撮像画像内の物体の深度情報を算出する機能を有する撮像装置はデプスカメラと称され、ステレオカメラやレーザーレンジスキャナにより実現され得る。骨格位置算出部101は、情報処理装置10に接続されるデプスカメラから深度情報を取得してもよい。
【0039】
以上説明した各手法により取得した物体存在領域の深度と形(特徴量)に基づいて、骨格位置算出部101は、撮像画像に映る物体の実空間上の部位(頭、肩など)を認識し、各部位の骨格位置の座標を算出する。次に、骨格位置算出部101が算出した被写体Aを構成する1以上の部位の骨格位置を含む骨格情報について図4を参照して説明する。
【0040】
図4は、骨格情報を説明するための図である。図4に示した例では、骨格情報は、被写体Aを構成する15の部位の位置を示す座標B1〜B3、B6、B7、B9、B12、B13、B15、B17、B18、B20〜B22、B24として示されているが、骨格情報に含まれる部位の数は特に限定されない。
【0041】
なお、座標B1は「Head」の座標を示し、座標B2は「Neck」の座標を示し、座標B3は「Torso」の座標を示し、座標B6は「Right Shoulder」の座標を示し、座標B7は「Right Elbow」の座標を示している。また、座標B9は「Right Hand」の座標を示し、座標B12は「Left Shoulder」の座標を示し、座標B13は「Left Elbow」の座標を示し、座標B15は「Left Hand」の座標を示している。
【0042】
座標B17は「Right Hip」の座標を示し、座標B18は「Right Knee」の座標を示し、座標B20は「Right Foot」の座標を示し、座標B21は「left Hip」の座標を示している。座標B22は「Left Knee」の座標を示し、座標B24は「Left Foot」の座標を示している。
【0043】
また、本実施形態による骨格位置算出部101は、上述したように、撮像画像内の物体の深度情報を取得するが、具体的には、例えば深度の深さに応じて濃淡が変化する撮像画像(不図示)として上記デプスカメラから取得してもよい。
【0044】
(動作検出部103)
動作検出部103は、骨格位置算出部101により算出された骨格位置の時間経過に伴う変化に基づいて、動作を検出し、有効なジェスチャーであった場合は、検出した有効なジェスチャーを表示制御部105に出力する。動作検出部103は、検出した動作を、予め記憶部130に記憶したジェスチャーDB(データベース)に登録されている各ジェスチャーと比較し、検出した動作が有効なジェスチャーであるか否かを判断する。例えば、ジェスチャーDBには、仮想衣服が被写体Aに重畳表示されている位置から外側に向けて手が動く動作を、衣服をつまんで引っ張る有効なジェスチャーとして登録されている。また、ジェスチャーDBには、一方の手が他方の手首から肘に向けて動く動作を、袖をまくる有効なジェスチャーとして登録されている。
【0045】
なお、実空間における被写体(例えば人物)の動作検出は、上述した骨格情報に基づく動作検出の他、一般的にモーションキャプチャと総称される他の技術により実現してもよい。例えば、動作検出部103は、被写体の関節部に取り付けられた加速度センサなどから検出されたパラメータに基づいて被写体の動作を検出してもよい。また、動作検出部103は、被写体に装着されたマーカーの動きを検出することで、動作を検出してもよい。
【0046】
(表示制御部105)
表示制御部105は、撮像画像に映る被写体に仮想衣服を重畳表示したAR試着画像を生成し、表示装置19に表示させる制御を行う。また、本実施形態による表示制御部105は、動作検出部103により検出された動作(有効なジェスチャー)に応じてAR試着の着用状態を変化させることができる。具体的には、表示制御部105は、被写体のジェスチャー(座標の時系列変化)およびジェスチャーの位置(座標)に応じて、仮想衣服の一部または全部を変化させることで着用状態を変化させ、インタラクティブな試着を提供することができる。
【0047】
ここで、撮像画像に重畳する仮想画像の生成について、図5を参照して説明する。図5は、仮想空間における仮想カメラ25と仮想衣服Cの位置関係、および仮想衣服Cを投影(レンダリング)した仮想的な衣服画像C’(仮想画像とも称す)を説明するための図を示す。図5では、図3に示す実空間を撮像した撮像画像A’と同様に、レンダリングした仮想的な衣服画像C’を、仮想衣服側に示す。
【0048】
仮想カメラ25の設定(内部パラメータ)は、実空間を撮像するカメラ15の設定(内部パラメータ)に合わせて決定される。カメラの設定(内部パラメータ)とは、例えば、焦点距離f、画角θおよび画素数等である。表示制御部105は、仮想カメラ25の設定を、実空間のカメラ15と一致するよう設定する(初期化とも称す)。
【0049】
次に、表示制御部105は、撮像画像内の物体の深度情報に基づいて、実空間におけるカメラ15から被写体Aまでの距離drealと同じ距離dvertualだけ仮想カメラ25から離れた位置に、被写体の骨格位置に合わせて仮想衣服Cを配置する。表示制御部105は、仮想衣服Cを、予めモデリングされた3次元データに基づいて生成してもよい。また、表示制御部105は、例えば図5に示すように、仮想衣服Cの表面を三角形のポリゴンの集合により構成することで、仮想衣服の3次元形状をよりリアルに表現することができる。また、被写体Aの骨格位置が時間経過と共に変化する場合、表示制御部105は、骨格位置をトラッキングするよう仮想衣服Cの配置を変化させることができる。
【0050】
次に、表示制御部105は、仮想カメラ25でレンダリング、すなわち3次元の衣服画像Cを2次元の平面画像に投影することで、衣服画像C’(仮想画像)を取得する。そして、表示制御部105は、撮像画像A’(図3参照)に仮想的な衣服画像C’を重畳表示することでAR試着画像を生成することができる。なお、表示制御部105によるAR試着画像の表示制御については、次の<3.表示制御>において詳細に説明する。
【0051】
以上、本開示の一実施形態によるAR試着システムを実現する情報処理装置10の構成について詳細に説明した。続いて、情報処理装置10によるAR試着画像の表示制御について説明する。
【0052】
<3.表示制御>
[3−1.基本的な表示制御]
図6は、情報処理装置10によるAR試着画像の基本的な表示制御処理を示すフローチャートである。図6に示すように、まず、ステップS110において、表示制御部105は、仮想空間における仮想カメラ25の設定を、実空間のカメラ15の設定に一致させる初期化を行う。
【0053】
次いで、ステップS113において、骨格位置算出部101は、撮像した実空間における被写体Aの骨格位置(xyz座標)を算出し、動作検出部103および表示制御部105に出力する。
【0054】
次に、ステップS116において、表示制御部105は、仮想空間において、仮想衣服Cを被写体Aの骨格位置(xyz座標)に合わせて配置する。
【0055】
そして、ステップS119において、表示制御部105は、仮想衣服Cをレンダリングして衣服画像C’(仮想画像)を取得し、衣服画像C’を撮像画像A’に重ねてAR試着画像を描画し、表示装置19に表示するよう制御する(AR表示制御)。
【0056】
また、情報処理装置10は、ステップS122において、終了指示がなされるまで上記ステップS113からS119を繰り返し行う。これにより、情報処理装置10は、被写体Aの動きをトラッキングするAR試着画像をリアルタイムで提供することができる。
【0057】
以上、基本的な表示制御処理について説明した。さらに、本実施形態による情報処理装置10は、被写体Aの動作に応じて仮想衣服の着用状態を変化させることができる。以下、本実施形態によるジェスチャーに応じた着用状態の制御について図7を参照して具体的に説明する。
【0058】
[3−2.ジェスチャーに応じた着用状態の制御]
図7は、本実施形態の情報処理装置10によるジェスチャーに応じた着用状態の制御処理を示すフローチャートである。図7に示す処理は、図6に示すステップS116およびS119による表示制御aにおいて行われる着用状態の制御示す。
【0059】
まず、図7のステップS116において、図6に示す同ステップの処理と同様に、仮想空間において仮想衣服Cを被写体Aの骨格位置に合わせて配置する。次に、ステップS119において、図6に示す同ステップの処理と同様に、仮想衣服Cをレンダリングして取得した衣服画像C’を、撮像画像A’に重畳表示することで、基本的なAR試着画像を表示装置19に表示する。
【0060】
次いで、ステップS125において、動作検出部103は、手の骨格位置(座標)の時系列変化に基づき、ジェスチャー(動作)を検出する。
【0061】
続いて、ステップS128において、動作検出部103は、検出したジェスチャーが有効なジェスチャーであるか否か判断する。
【0062】
そして、ステップS131において、表示制御部105は、動作検出部103により有効なジェスチャーと判断されたジェスチャーに応じて、着用状態を制御する。着用状態の制御は、3次元空間(仮想空間)において仮想衣服Cの一部または全部を変形させてもよいし、レンダリングにより取得した2次元画像(仮想画像)において仮想的な衣服画像C’の一部または全部を変形させてもよい。
【0063】
上述した有効なジェスチャーと、着用状態の制御(変化)との組み合わせは様々考え得る。以下、本開示による有効なジェスチャーに応じた着用状態の制御について、複数の例を挙げて具体的に説明する。
【0064】
(着用状態の制御例1)
図8は、本実施形態による有効なジェスチャーに応じた着用状態の制御例1を説明するための図である。なお、図8左側には撮像画像および被写体の骨格情報を重ねたイメージの遷移図を示す。動作検出部103は図8左側に示すような骨格位置の時系列変化に基づいて動作を検出する。また、図8右側には、表示制御部105が表示装置19に表示させるAR試着画像の遷移図を示す。表示制御部105は、骨格位置算出部101により算出された図8左側に示すような骨格位置に基づいて仮想衣服を重畳表示する。また、表示制御部105は、動作検出部103により検出された図8左側に示すような動きに応じて仮想衣服の着用状態を変化させる。
【0065】
図8左側の骨格位置の遷移図に示すように、被写体の座標B15「Left Hand」の座標が、仮想衣服が重畳表示されている位置から外側に時系列変化した場合、動作検出部103は、衣服をつまんで引っ張る有効なジェスチャーと判断する。この場合、表示制御部105は、図8右側のAR試着画像の遷移図に示すように、被写体の動作に合わせて仮想衣服Cの一部を変化させる(具体的には、仮想衣服Cの一部の特徴点を外側に移動させる)。これにより、仮想衣服Cが引っ張られた状態が表現され、AR試着において着用状態を変化させることができる。
【0066】
なお、表示制御部105は、被写体の動作に応じて仮想衣服Cを変化させる際に、仮想衣服Cに関連付けて記憶されている素材情報に基づいて仮想衣服Cの変化の程度を決定してもよい。これにより、仮想衣服Cが伸び易い素材であるか否かに応じて引っ張られた状態の表現等が異なり、AR試着のリアリティをより増すことができる。
【0067】
(着用状態の制御例2)
また、被写体の一方の手の座標が、他方の手の座標から肘の座標方向へ時系列変化した場合、動作検出部103は、袖をまくる有効なジェスチャー(腕まくり動作)と判断する。この場合、表示制御部105は、被写体の腕まくり動作に合わせて、仮想衣服Cの一部を変化させる(例えば、仮想衣服Cの袖部分の特徴点を肘方向に移動させる)ことで、仮想衣服Cの袖がまくられた状態を表現し、AR試着において着用状態を制御することができる。
【0068】
また、被写体の手の座標が、首元から顎の方向に時系列変化した場合、動作検出部103は、襟を立てる有効なジェスチャーと判断する。この場合、表示制御部105は、被写体の動作に合わせて、仮想衣服Cを変化させる(具体的には、仮想衣服Cの襟部分の特徴点を顎方向に移動させる)ことで、仮想衣服Cの襟が立てられた状態を表現し、AR試着において着用状態を変化させることができる。
【0069】
なお、上記腕まくりや襟立て動作の逆の動作が検出された場合も、同様にAR試着において着用状態を制御することができる。
【0070】
(着用状態の制御例4)
さらに、表示制御部105は、被写体の動作に応じて、ズボンやスカートの腰位置を調整することできる。図9は、本実施形態による有効なジェスチャーに応じた着用状態の制御例4を説明するための図である。
【0071】
図9左側の骨格位置の遷移図に示すように、被写体の座標B9および座標B15の座標が、座標B17および座標B21の座標付近で略垂直方向に下がる時系列変化があった場合、動作検出部103は、衣服の腰位置を下げる有効なジェスチャーと判断する。この場合、表示制御部105は、図9右側のAR試着画像の遷移図に示すように、被写体の動作に合わせて仮想衣服Cを変化させる(具体的には、仮想衣服C全体の特徴点を下に移動させる)。これにより、仮想衣服Cの腰位置を下げた状態を表現し、AR試着の着用状態を変化することができる。
【0072】
また、仮想衣服Cの腰位置が手の動作に合わせて調整されるので、ユーザは、AR試着においてズボンやスカートを浅めに履いたり深めに履いたり等の着こなしを試すことができる。
【0073】
ここで、被写体に重畳表示される仮想衣服のサイズは、通常、被写体の大きさに合わせて変形される。具体的には、例えば図5に示す仮想空間において仮想衣服Cを被写体の骨格位置に合わせて配置することで、仮想衣服Cのサイズが被写体の大きさに合わせて変形される。しかし、ユーザは、AR試着システムにおいても、実際に所定サイズの衣服を試着した場合のサイズ感を試したい場合もある。
【0074】
そこで、表示制御部105は、例えば図5に示す仮想空間において、所定サイズの仮想衣服を、実空間の深度drealと同じ深度(距離)dvertualに配置し、これを投影した仮想画像を撮像画像に重ねたAR試着画像を表示してもよい。これにより、ユーザは、自身の大きさと、所定サイズの仮想衣服の大きさとを比較することができる。
【0075】
そして、このように所定サイズの仮想衣服が重畳表示される場合に、上述したような被写体の動作に応じた仮想衣服の着用状態制御を行うことで、仮想衣服のサイズ感を確認することができる。例えば、仮想的なズボンやスカートの腰位置を、最適な腰位置に調整することで、最適な腰位置における仮想衣服Cのサイズ感を確認することができる。
【0076】
以上、本実施形態による被写体の動作に応じた着用状態の制御について複数の具体例を挙げて説明した。続いて、AR試着システム1に含まれるカメラ15の配置について具体的に説明する。
【0077】
[3−3.客観的な視点からの表示]
上述した本開示の一実施形態によるAR試着システムでは、図1に示すように、被写体Aの正面にカメラ15および表示装置19が配置され、正面を向いた被写体Aに仮想衣服を重畳表示することで、鏡の前で試着姿を見た場合と同視点のAR試着画像を表示していた。しかしながら、この場合は第三者から見た場合の自分の試着姿を確認することが困難であった。そこで、本開示による一実施形態によるAR試着システムは、以下に説明する複数の手法により、客観的な視点からのAR試着画像の表示を実現することができる。
【0078】
(カメラ15の配置変更)
図1では、被写体Aの正面にカメラ15および表示装置19が配置されるが、カメラ15を図10に示すように被写体Aの後ろ側に配置変更してもよい。この場合、カメラ15により被写体Aの後ろ姿が撮像され、表示制御部105は、被写体Aの後ろ姿に仮想衣服を重畳したAR試着画像を、被写体Aの正面に位置する表示装置19に表示する。これにより、ユーザは、AR試着を行った自分の後ろ姿を確認できる。また、この場合、被写体の後ろ姿に重畳される仮想衣服も当然に後ろ向きとする必要があり、表示制御部105は、後ろ向きの仮想衣服データに基づいて描画する。
【0079】
以上、カメラ15を被写体Aの後ろ側に配置変更する場合を例に挙げたが、この他、横や斜めなど、カメラ15を配置変更することで、客観的な視点からのAR試着画像の表示制御を実現することができる。なお、被写体Aの向きに応じて仮想衣服の向きも異なるので、情報処理装置10は、様々な向きの仮想衣服データを有することで対応することができる。若しくは、情報処理装置10は、予めモデリングされた仮想衣服の3次元データを利用することで、様々な向きの仮想衣服の描画を実現することができる。
【0080】
(遅延表示)
また、カメラ15が図1に示す配置であっても、表示制御部105が表示装置19にリアルタイムでAR試着画像を表示せず、多少のタイムラグを設けて遅延して表示することで、ユーザは客観的な視点からの自身のAR試着姿を確認することができる。
【0081】
例えば、表示制御部105が、AR試着画像を1秒送れて表示装置19に表示する制御を行う場合、ユーザが2秒かけて身体を略水平方向に1回転させた直後には、表示装置19には一秒前の後ろ向きのAR試着画像が表示される。このように、AR試着画像が遅延して表示されることにより、ユーザは、客観的な視点から自身のAR試着姿を確認することができる。
【0082】
また、情報処理装置10は、被写体が回転しているAR試着画像(動画)を録画し、ユーザの指示に応じて早送りや巻き戻しを行いながらAR試着画像を再生してもよい。これにより、ユーザは、客観的な視点からの自身のAR試着姿を確認することができる。
【0083】
(3次元形状復元による表示)
また、情報処理装置10は、撮像した被写体を3次元形状復元し、かかる3次元形状復元を行った被写体に仮想衣服を重畳して任意の向きで表示することで、客観的な視点からのAR試着画像を表示することができる。
【0084】
被写体の3次元形状を復元するために、例えば図11に示すように、カメラ15およびセンサ17を多数配置し、多視点から被写体を撮像する。これにより、情報処理装置10は、リアルタイムで被写体の3次元形状を復元することができる。なお、図11に示す例では、多視点から被写体を撮像し、3次元形状を復元しているが、3次元形状の復元手法はこれに限定されず、二眼や単眼により復元してもよい。
【0085】
このように、リアルタイムに3次元形状が復元された被写体に仮想衣服が重畳表示され、ユーザは、図11に示すようにマウスアイコン30を操作することで、かかる3次元復元された被写体を自由に回転させることができる。これにより、ユーザは、仮想衣服を試着した自分の姿を様々な角度からリアルタイムで確認することができる。
【0086】
また、情報処理装置10は、予め撮影した被写体の画像に基づいて後から3次元形状復元を行い、これに任意の仮想衣服を重畳表示させてもよい。この場合も、ユーザはマウスアイコン30を操作して3次元復元された被写体を自由に回転させることで、様々な角度から仮想衣服を試着した被写体を確認することができる。
【0087】
なお、マウスアイコン30を操作するデバイスは、マウスの他、例えば図11に示すようにリアルタイムで自身のAR試着画像が表示される場合では、リモートコントローラー(不図示)であってもよい。
【0088】
<4.まとめ>
上述したように、本開示の一実施形態によるAR試着システムによれば、被写体の動作に応じて着用状態を制御することで、ユーザは様々な着こなしを試すことができる。また、本実施形態によるAR試着システムによれば、インタラクティブな試着を実現することで、よりリアリティがあるAR試着を提供することができる。
【0089】
また、本実施形態によれば、被写体の後ろ姿や、横向きの姿など、客観的な視点から被写体のAR試着姿を確認することもできる。
【0090】
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本技術はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属
するものと了解される。
【0091】
例えば、上述したAR試着システムでは、主に仮想衣服の試着を例として説明したが、試着対象は衣服に限定されず、例えばメガネ、帽子およびベルトなどの装飾品であってもよい。
【0092】
また、上述したAR試着システムでは、被写体が人物の場合について説明したが、被写体は人物に限らず、例えば犬や猫などの動物であってもよい。この場合、動物を撮像した撮像画像に、例えばペット用の衣服画像を重畳表示するAR試着システムを提供することができる。
【0093】
なお、本技術は以下のような構成も取ることができる。
(1)
撮像された被写体の動作を検出する動作検出部と、
前記動作検出部により検出された動作に応じて、前記被写体に重畳して表示される仮想的な服飾品の着用状態を変化させる表示制御部と、
を備える、情報処理装置。
(2)
前記表示制御部は、前記被写体の動作位置に応じて、前記仮想的な服飾品の一部、または全部を変化させる、前記(1)に記載の情報処理装置。
(3)
前記表示制御部は、前記服飾品の変化の程度を、前記服飾品に対応付けられる素材情報に基づいて決定する、前記(2)に記載の情報処理装置。
(4)
前記表示制御部は、前記動作検出部により検出された動作の位置に応じて、前記仮想的な服飾品の形状の特徴を示す特徴点を移動させる、前記(1)から(3)のいずれか1項に記載の情報処理装置。
(5)
前記動作検出部は、前記被写体が手でつまんで引っ張る動作を検出し、
前記表示制御部は、前記仮想的な服飾品の一部を、前記被写体により引っ張られた方向に伸ばすことで、着用状態を変化させる、前記(1)から(4)のいずれか1項に記載の情報処理装置。
(6)
前記動作検出部は、前記被写体が、一方の手を他方の手首から肘に向けて動かす腕まくり動作を検出し、
前記表示制御部は、前記被写体に重畳表示される仮想衣服の袖を、前記腕まくり動作に応じて肘方向に移動させることで、着用状態を変化させる、前記(1)から(5)のいずれか1項に記載の情報処理装置。
(7)
前記動作検出部は、前記被写体が襟を立てる動作を検出し、
前記表示制御部は、前記被写体に重畳表示される仮想衣服の襟を、前記襟を立てる動作に応じて立てることで、着用状態を変化させる、前記(1)から(6)のいずれか1項に記載の情報処理装置。
(8)
前記動作検出部は、前記被写体が衣服の腰位置を上下させる動作を検出し、
前記表示制御部は、前記被写体に重畳表示される仮想衣服の位置を、前記衣服の腰位置を上下させる動作に応じて調整することで、着用状態を変化させる、前記(1)から(7)のいずれか1項に記載の情報処理装置。
(9)
撮像された被写体の動作を検出するステップと、
前記動作を検出するステップにより検出された動作に応じて、前記被写体に重畳して表示される仮想的な服飾品の着用状態を変化させるステップと、
を含む、表示制御方法。
(10)
撮像された被写体の動作を検出する処理と、
前記動作を検出する処理により検出された動作に応じて、前記被写体に重畳して表示される仮想的な服飾品の着用状態を変化させる処理と、
をコンピュータに実行させる、プログラム。
(11)
前記変化させる処理は、前記被写体の動作位置に応じて、前記仮想的な服飾品の一部、または全部を変化させる、前記(10)に記載のプログラム。
(12)
前記変化させる処理は、前記服飾品の変化の程度を、前記服飾品に対応付けられる素材情報に基づいて決定する、前記(11)に記載のプログラム。
(13)
前記変化させる処理は、前記検出する処理により検出された動作の位置に応じて、前記仮想的な服飾品の形状の特徴を示す特徴点を移動させる、前記(10)から(12)のいずれか1項に記載のプログラム。
(14)
前記検出する処理は、前記被写体が手でつまんで引っ張る動作を検出し、
前記変化させる処理は、前記仮想的な服飾品の一部を、前記被写体により引っ張られた方向に伸ばすことで、着用状態を変化させる、前記(10)から(13)のいずれか1項に記載のプログラム。
(15)
前記検出する処理は、前記被写体が、一方の手を他方の手首から肘に向けて動かす腕まくり動作を検出し、
前記変化させる処理は、前記被写体に重畳表示される仮想衣服の袖を、前記腕まくり動作に応じて肘方向に移動させることで、着用状態を変化させる、前記(10)から(14)のいずれか1項に記載のプログラム。
(16)
前記検出する処理は、前記被写体が襟を立てる動作を検出し、
前記変化させる処理は、前記被写体に重畳表示される仮想衣服の襟を、前記襟を立てる動作に応じて立てることで、着用状態を変化させる、前記(10)から(15)のいずれか1項に記載のプログラム。
(17)
前記検出する処理は、前記被写体が衣服の腰位置を上下させる動作を検出し、
前記変化させる処理は、前記被写体に重畳表示される仮想衣服の位置を、前記衣服の腰位置を上下させる動作に応じて調整することで、着用状態を変化させる、前記(10)から(16)のいずれか1項に記載のプログラム。
【符号の説明】
【0094】
10 情報処理装置
15 カメラ
17 センサ
19 表示装置
100 制御部
101 骨格位置算出部
103 動作検出部
105 表示制御部
120 操作入力部
130 記憶部
A 被写体
B 座標(骨格位置)
C 仮想衣服
【特許請求の範囲】
【請求項1】
撮像された被写体の動作を検出する動作検出部と、
前記動作検出部により検出された動作に応じて、前記被写体に重畳して表示される仮想的な服飾品の着用状態を変化させる表示制御部と、
を備える、情報処理装置。
【請求項2】
前記表示制御部は、前記被写体の動作位置に応じて、前記仮想的な服飾品の一部、または全部を変化させる、請求項1に記載の情報処理装置。
【請求項3】
前記表示制御部は、前記服飾品の変化の程度を、前記服飾品に対応付けられる素材情報に基づいて決定する、請求項2に記載の情報処理装置。
【請求項4】
前記表示制御部は、前記動作検出部により検出された動作の位置に応じて、前記仮想的な服飾品の形状の特徴を示す特徴点を移動させる、請求項2に記載の情報処理装置。
【請求項5】
前記動作検出部は、前記被写体が手でつまんで引っ張る動作を検出し、
前記表示制御部は、前記仮想的な服飾品の一部を、前記被写体により引っ張られた方向に伸ばすことで、着用状態を変化させる、請求項2に記載の情報処理装置。
【請求項6】
前記動作検出部は、前記被写体が、一方の手を他方の手首から肘に向けて動かす腕まくり動作を検出し、
前記表示制御部は、前記被写体に重畳表示される仮想衣服の袖を、前記腕まくり動作に応じて肘方向に移動させることで、着用状態を変化させる、請求項2に記載の情報処理装置。
【請求項7】
前記動作検出部は、前記被写体が襟を立てる動作を検出し、
前記表示制御部は、前記被写体に重畳表示される仮想衣服の襟を、前記襟を立てる動作に応じて立てることで、着用状態を変化させる、請求項2に記載の情報処理装置。
【請求項8】
前記動作検出部は、前記被写体が衣服の腰位置を上下させる動作を検出し、
前記表示制御部は、前記被写体に重畳表示される仮想衣服の位置を、前記衣服の腰位置を上下させる動作に応じて調整することで、着用状態を変化させる、請求項2に記載の情報処理装置。
【請求項9】
撮像された被写体の動作を検出するステップと、
前記動作を検出するステップにより検出された動作に応じて、前記被写体に重畳して表示される仮想的な服飾品の着用状態を変化させるステップと、
を含む、表示制御方法。
【請求項10】
撮像された被写体の動作を検出する処理と、
前記動作を検出する処理により検出された動作に応じて、前記被写体に重畳して表示される仮想的な服飾品の着用状態を変化させる処理と、
をコンピュータに実行させる、プログラム。
【請求項11】
前記変化させる処理は、前記被写体の動作位置に応じて、前記仮想的な服飾品の一部、または全部を変化させる、請求項10に記載のプログラム。
【請求項12】
前記変化させる処理は、前記服飾品の変化の程度を、前記服飾品に対応付けられる素材情報に基づいて決定する、請求項11に記載のプログラム。
【請求項13】
前記変化させる処理は、前記検出する処理により検出された動作の位置に応じて、前記仮想的な服飾品の形状の特徴を示す特徴点を移動させる、請求項11に記載のプログラム。
【請求項14】
前記検出する処理は、前記被写体が手でつまんで引っ張る動作を検出し、
前記変化させる処理は、前記仮想的な服飾品の一部を、前記被写体により引っ張られた方向に伸ばすことで、着用状態を変化させる、請求項11に記載のプログラム。
【請求項15】
前記検出する処理は、前記被写体が、一方の手を他方の手首から肘に向けて動かす腕まくり動作を検出し、
前記変化させる処理は、前記被写体に重畳表示される仮想衣服の袖を、前記腕まくり動作に応じて肘方向に移動させることで、着用状態を変化させる、請求項11に記載のプログラム。
【請求項16】
前記検出する処理は、前記被写体が襟を立てる動作を検出し、
前記変化させる処理は、前記被写体に重畳表示される仮想衣服の襟を、前記襟を立てる動作に応じて立てることで、着用状態を変化させる、請求項11に記載のプログラム。
【請求項17】
前記検出する処理は、前記被写体が衣服の腰位置を上下させる動作を検出し、
前記変化させる処理は、前記被写体に重畳表示される仮想衣服の位置を、前記衣服の腰位置を上下させる動作に応じて調整することで、着用状態を変化させる、請求項11に記載のプログラム。
【請求項1】
撮像された被写体の動作を検出する動作検出部と、
前記動作検出部により検出された動作に応じて、前記被写体に重畳して表示される仮想的な服飾品の着用状態を変化させる表示制御部と、
を備える、情報処理装置。
【請求項2】
前記表示制御部は、前記被写体の動作位置に応じて、前記仮想的な服飾品の一部、または全部を変化させる、請求項1に記載の情報処理装置。
【請求項3】
前記表示制御部は、前記服飾品の変化の程度を、前記服飾品に対応付けられる素材情報に基づいて決定する、請求項2に記載の情報処理装置。
【請求項4】
前記表示制御部は、前記動作検出部により検出された動作の位置に応じて、前記仮想的な服飾品の形状の特徴を示す特徴点を移動させる、請求項2に記載の情報処理装置。
【請求項5】
前記動作検出部は、前記被写体が手でつまんで引っ張る動作を検出し、
前記表示制御部は、前記仮想的な服飾品の一部を、前記被写体により引っ張られた方向に伸ばすことで、着用状態を変化させる、請求項2に記載の情報処理装置。
【請求項6】
前記動作検出部は、前記被写体が、一方の手を他方の手首から肘に向けて動かす腕まくり動作を検出し、
前記表示制御部は、前記被写体に重畳表示される仮想衣服の袖を、前記腕まくり動作に応じて肘方向に移動させることで、着用状態を変化させる、請求項2に記載の情報処理装置。
【請求項7】
前記動作検出部は、前記被写体が襟を立てる動作を検出し、
前記表示制御部は、前記被写体に重畳表示される仮想衣服の襟を、前記襟を立てる動作に応じて立てることで、着用状態を変化させる、請求項2に記載の情報処理装置。
【請求項8】
前記動作検出部は、前記被写体が衣服の腰位置を上下させる動作を検出し、
前記表示制御部は、前記被写体に重畳表示される仮想衣服の位置を、前記衣服の腰位置を上下させる動作に応じて調整することで、着用状態を変化させる、請求項2に記載の情報処理装置。
【請求項9】
撮像された被写体の動作を検出するステップと、
前記動作を検出するステップにより検出された動作に応じて、前記被写体に重畳して表示される仮想的な服飾品の着用状態を変化させるステップと、
を含む、表示制御方法。
【請求項10】
撮像された被写体の動作を検出する処理と、
前記動作を検出する処理により検出された動作に応じて、前記被写体に重畳して表示される仮想的な服飾品の着用状態を変化させる処理と、
をコンピュータに実行させる、プログラム。
【請求項11】
前記変化させる処理は、前記被写体の動作位置に応じて、前記仮想的な服飾品の一部、または全部を変化させる、請求項10に記載のプログラム。
【請求項12】
前記変化させる処理は、前記服飾品の変化の程度を、前記服飾品に対応付けられる素材情報に基づいて決定する、請求項11に記載のプログラム。
【請求項13】
前記変化させる処理は、前記検出する処理により検出された動作の位置に応じて、前記仮想的な服飾品の形状の特徴を示す特徴点を移動させる、請求項11に記載のプログラム。
【請求項14】
前記検出する処理は、前記被写体が手でつまんで引っ張る動作を検出し、
前記変化させる処理は、前記仮想的な服飾品の一部を、前記被写体により引っ張られた方向に伸ばすことで、着用状態を変化させる、請求項11に記載のプログラム。
【請求項15】
前記検出する処理は、前記被写体が、一方の手を他方の手首から肘に向けて動かす腕まくり動作を検出し、
前記変化させる処理は、前記被写体に重畳表示される仮想衣服の袖を、前記腕まくり動作に応じて肘方向に移動させることで、着用状態を変化させる、請求項11に記載のプログラム。
【請求項16】
前記検出する処理は、前記被写体が襟を立てる動作を検出し、
前記変化させる処理は、前記被写体に重畳表示される仮想衣服の襟を、前記襟を立てる動作に応じて立てることで、着用状態を変化させる、請求項11に記載のプログラム。
【請求項17】
前記検出する処理は、前記被写体が衣服の腰位置を上下させる動作を検出し、
前記変化させる処理は、前記被写体に重畳表示される仮想衣服の位置を、前記衣服の腰位置を上下させる動作に応じて調整することで、着用状態を変化させる、請求項11に記載のプログラム。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【公開番号】特開2013−101526(P2013−101526A)
【公開日】平成25年5月23日(2013.5.23)
【国際特許分類】
【出願番号】特願2011−245302(P2011−245302)
【出願日】平成23年11月9日(2011.11.9)
【出願人】(000002185)ソニー株式会社 (34,172)
【Fターム(参考)】
【公開日】平成25年5月23日(2013.5.23)
【国際特許分類】
【出願日】平成23年11月9日(2011.11.9)
【出願人】(000002185)ソニー株式会社 (34,172)
【Fターム(参考)】
[ Back to top ]