情報処理装置、表示制御方法、およびプログラム
【課題】より自然な表現で実空間の物体と仮想的な物体の大きさの違いを直感的にユーザに認識させることが可能な情報処理装置、表示制御方法、およびプログラムを提供する。
【解決手段】予め設定された寸法に基づく仮想的な服飾品の大きさと、撮像された被写体の大きさとを比較する比較部と、前記比較部による比較結果に応じて、前記仮想的な服飾品を変形させ、前記被写体に重畳して表示する表示制御部と、を備える、情報処理装置。
【解決手段】予め設定された寸法に基づく仮想的な服飾品の大きさと、撮像された被写体の大きさとを比較する比較部と、前記比較部による比較結果に応じて、前記仮想的な服飾品を変形させ、前記被写体に重畳して表示する表示制御部と、を備える、情報処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、情報処理装置、表示制御方法、およびプログラムに関する。
【背景技術】
【０００２】
仮想的な試着システムとして、ユーザを撮像した撮像画像に衣服の画像を合成する試着画像生成技術が様々提案されている。
【０００３】
例えば、特許文献１では、ユーザの身体画像に衣服画像を合成する処理が開示されている。具体的には、特許文献１に記載の画像処理サーバは、ユーザの身体画像に添付されている身体プロファイルデータ（身長、肩幅等）および画像における身体の向きなどの情報に基づき、衣服画像のサイズ変更および向きの調整を行い、身体画像に合成する。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００６−３０４３３１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
特許文献１に記載されるような試着画像生成技術では、合成する衣服画像の大きさは身体プロフィールデータに基づき、身体の大きさに合うようサイズ変更される。
【０００６】
また、撮像された画像内のユーザの動作に合わせて仮想衣服を重畳表示する仮想試着システムでは、画像内においてユーザの身体より大きいまたは小さい衣服画像がそのまま重畳表示されていた。若しくは、ユーザの指示に応じて衣服画像が拡大または縮小された上で、そのまま重畳表示されていた。
【０００７】
しかしながら、実際は、身体より大きい衣服を試着すると衣服が垂れ下がり、また、身体より小さい衣服を試着すると衣服が伸びるので、上述したような衣服画像をそのまま合成した試着画像では不自然な表現となる。また、衣服画像を拡大／縮小した上でそのまま重畳表示する仮想試着技術では、衣服のサイズをユーザに認識させることが困難であった。
【０００８】
そこで、本開示では、より自然な表現で実空間の物体と仮想的な物体の大きさの違いを直感的にユーザに認識させることが可能な、新規かつ改良された情報処理装置、表示制御方法およびプログラムを提案する。
【課題を解決するための手段】
【０００９】
本開示によれば、予め設定された寸法に基づく仮想的な服飾品の大きさと、撮像された被写体の大きさとを比較する比較部と、前記比較部による比較結果に応じて、前記仮想的な服飾品を変形させ、前記被写体に重畳して表示する表示制御部と、を備える情報処理装置を提案する。
【００１０】
本開示によれば、予め設定された寸法に基づく仮想的な服飾品の大きさと、撮像された被写体の大きさとを比較するステップと、前記比較するステップによる比較結果に応じて、前記仮想的な服飾品を変形させ、前記被写体に重畳して表示するステップと、を含む表示制御方法を提案する。
【００１１】
本開示によれば、予め設定された寸法に基づく仮想的な服飾品の大きさと、撮像された被写体の大きさとを比較する処理と、前記比較する処理による比較結果に応じて、前記仮想的な服飾品を変形させ、前記被写体に重畳して表示する処理と、をコンピュータに実行させる、プログラムを提案する。
【発明の効果】
【００１２】
以上説明したように本開示によれば、より自然な表現で実空間の物体と仮想的な物体の大きさの違いを直感的にユーザに認識させることが可能となる。
【図面の簡単な説明】
【００１３】
【図１】本開示の一実施形態によるＡＲ試着システムの概要を説明するための図である。
【図２】通常の仮想的な試着システムにおいて仮想衣服がそのまま合成される場合を説明するための図である。
【図３】本開示の一実施形態による情報処理装置の構成を示すブロック図である。
【図４】実空間におけるカメラと被写体の位置関係、および被写体を撮像した撮像画像を説明するための図である。
【図５】本開示の一実施形態による骨格情報を説明するための図である。
【図６】仮想空間における仮想カメラと仮想衣服の位置関係、および仮想衣服を投影した仮想的な衣服画像を説明するための図である。
【図７】本開示の一実施形態によるＡＲ試着画像表示における基本的な表示制御処理を示すフローチャートである。
【図８】本開示の一実施形態による仮想衣服の変形処理を示すフローチャートである。
【図９】被写体より小さい仮想衣服の変形を説明するための図である。
【図１０】被写体より大きい仮想衣服の変形を説明するための図である。
【図１１】本開示の一実施形態による仮想的なソファーカバーの変形を説明するための図である。
【発明を実施するための形態】
【００１４】
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【００１５】
また、説明は以下の順序で行うものとする。
１．本開示の一実施形態によるＡＲ試着システムの概要
２．情報処理装置の構成
３．表示制御
３−１．基本的な表示制御
３−２．仮想衣服の変形制御
４．まとめ
【００１６】
＜１．本開示の一実施形態によるＡＲ試着システムの概要＞
近年、実世界に付加的な情報を重畳してユーザに呈示する拡張現実（ＡＲ：Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ）と呼ばれる技術が注目されている。ＡＲ技術においてユーザに呈示される情報は、テキスト、アイコン又はアニメーションなどの様々な形態の仮想的なオブジェクトを用いて可視化され得る。ＡＲ技術の主要な適用分野の１つは、実世界でのユーザ活動の支援である。以下では、このＡＲ技術を試着システムに適用する。
【００１７】
ＡＲ技術を利用した試着システムは、ユーザの動作に合わせて仮想的な衣服画像を重畳表示することで、リアルタイムに仮想試着を体験することができる。また、本開示の一実施形態によるＡＲ試着システムは、実空間の物体である被写体の大きさと仮想物体である仮想衣服の大きさとの比較結果に基づいて仮想衣服を変形し、被写体に重畳表示する。これにより、より自然なＡＲ試着画像を表示でき、また、実空間の物体と仮想的な物体の大きさの違いを直感的にユーザに認識させることができる。
【００１８】
このような本開示の一実施形態によるＡＲ試着システムの概要を、図１を参照しながら説明する。図１に示すように、本開示の一実施形態によるＡＲ試着システム１は、情報処理装置１０、カメラ１５、センサ１７、および表示装置１９を有する。なお、ＡＲ試着システム１が設置される場所は特に限定されない。例えば、ＡＲ試着システム１は、ユーザの自宅内に設置されてもよいし、店頭に設置されてもよい。
【００１９】
また、図１に示した例では、ＡＲ試着システム１を構成する複数の装置（情報処理装置１０、カメラ１５、センサ１７および表示装置１９）が別体に構成されているが、本開示によるＡＲ試着システム１の構成はこれに限定されない。例えば、ＡＲ試着システム１を構成する上記複数の装置のいずれかの組み合わせが一体化されていてもよい。また、例えば、ＡＲ試着システム１を構成する複数の装置は、スマートフォン、ＰＤＡ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔｓ）、携帯電話、携帯用音楽再生装置、携帯用映像処理装置または携帯用ゲーム機器に内蔵されていてもよい。
【００２０】
カメラ１５（撮像装置）は、実空間に存在する物体を撮像する。実空間に存在する物体は、特に限定されないが、例えば、人物や動物などの生き物であってもよく、車庫やテレビ台などといった生き物以外であってもよい。図１に示した例では、実空間に存在する物体として被写体Ａ（例えば、人物）がカメラ１５により撮像される。カメラ１５により撮像された画像（撮像画像とも称す）は表示装置１９に表示される。表示装置１９に表示される撮像画像は、ＲＧＢ画像であってもよい。また、カメラ１５は、撮像画像を情報処理装置１０に送る。
【００２１】
センサ１７は、実空間からパラメータを検出する機能を有し、検出データを情報処理装置１０に送る。例えば、センサ１７が赤外線センサにより構成されている場合、センサ部１７は、実空間から赤外線を検出し、赤外線量に応じた電気信号を検出データとして情報処理装置１０に供給することができる。情報処理装置１０は、例えば、検出データに基づいて実空間に存在する物体を認識することができる。センサ１７の種類は、赤外線センサに限定されない。なお、図１に示した例では、検出データがセンサ１７から情報処理装置１０に供給されることとしているが、情報処理装置１０に供給される検出データは、カメラ１５により撮像された画像であってもよい。
【００２２】
情報処理装置１０は、実空間に存在する物体の認識結果に応じて、撮像画像に対して仮想オブジェクトを合成したり撮像画像を変形したりすることにより、撮像画像を処理することができる。表示装置１９は、情報処理装置１０により処理された画像を表示することも可能である。
【００２３】
例えば、図１に示すように、情報処理装置１０は、実空間の被写体Ａを認識し、衣服画像を合成した試着画像を表示装置１９にリアルタイムに表示させることができる。ここでは、ユーザの身体が実空間の映像であり、試着対象の衣服画像が実空間の映像に重畳表示された仮想オブジェクトである。これにより、ＡＲ試着システム１は、仮想的な試着をリアルタイムに提供することができる。
【００２４】
ここで、通常の仮想的な試着システムでは、被写体に重畳表示される仮想衣服の大きさが被写体より大きい／小さいまま上書きされていた。図２は、このような通常の仮想的な試着システムにおいて仮想衣服がそのまま合成される場合について説明するための図である。
【００２５】
図２左に示すように、仮想衣服が撮像画像内の被写体より小さいまま仮想衣服が合成されると、被写体の領域が仮想衣服からはみ出てしまう。しかし、実際に身体より小さい衣服を試着すると、衣服は伸びるので、図２左に示すような試着画像は不自然な表現である。
【００２６】
また、図２右に示すように、仮想衣服が撮像画像内の被写体より大きいまま仮想衣服が合成されると、被写体より仮想衣服の領域が大きいために、被写体の肩から仮想衣服が浮いたり、垂れ下がったりしない。しかし、実際に身体より大きい衣服の試着時は衣服が全体的に垂れ下がるので、図２右に示すような試着画像では不自然な表現となり、リアリティに欠ける。
【００２７】
また、上述したように、衣服画像を拡大／縮小した上でそのまま撮像画像（身体画像）に重畳表示する場合、実在する衣服のサイズとは無関係に衣服画像が調整される。しかし、インターネットを利用して衣服の購入を行う場合等、仮想試着システムを実在する衣服の購入検討に利用する場合は、実在の衣服のサイズを考慮した試着画像の生成が求められる。
【００２８】
そこで、本開示の一実施形態によるＡＲ試着システムでは、実空間の物体（ここでは、被写体）の大きさと仮想物体（ここでは、仮想衣服）の大きさの比較結果に基づいて仮想物体を変形し、被写体に重畳表示する。例えば、図１に示すように、被写体Ａに重畳表示される仮想衣服が重力方向に全体的に垂れ下がるよう変形されることで、被写体Ａは、仮想衣服のサイズが自分の身体より大きいことを直感的に認識することができる。なお、被写体Ａは、仮想衣服の大きさを、図１に示すように、表示装置１９に表示される「Ｓ」「Ｍ」「Ｌ」等のサイズアイコン群３０から任意に選択することができる。これにより、被写体Ａは、様々なサイズの仮想衣服を仮想試着することができる。
【００２９】
＜２．情報処理装置の構成＞
次に、本開示によるＡＲ試着システムを実現する情報処理装置１０の構成について、図３を参照して説明する。図３に示すように、情報処理装置１０は、制御部１００、操作入力部１２０、および記憶部１３０を有する。制御部１００は、骨格位置算出部１０１、表示制御部１０５、および比較部１０９を有する。また、情報処理装置１０には、カメラ１５、センサ１７および表示装置１９が、有線または無線により接続されている。
【００３０】
制御部１００は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）またはＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）などのプロセッサに相当する。制御部１００は、記憶部１３０または他の記憶媒体に記憶されるプログラムを実行することにより、後に説明する制御部１００の様々な機能を動作させる。なお、制御部１００を構成する各ブロックは、全てが同一の装置に組み込まれていなくてもよく、一部が他の装置（例えば、サーバ）に組み込まれていてもよい。
【００３１】
記憶部１３０は、半導体メモリまたはハードディスクなどの記憶媒体を用いて、情報処理装置１０による処理のためのプログラムおよびデータを記憶する。例えば、制御部１００としてコンピュータを機能させるためのプログラムを記憶する。さらに、例えば、記憶部１３０は、制御部１００により使用されるデータを記憶する。また、本実施形態による記憶部１３０は、表示対象となる仮想オブジェクトとして、服飾品の３次元データを記憶する。また、本実施形態による記憶部１３０は、服飾品の３次元データに関連付けて、服飾品のサイズ情報を記憶する。サイズ情報とは、身丈、肩幅、身幅、袖丈、および袖幅等の服飾品の実寸情報である。実寸情報は、センチメートル単位で記憶されていてもよい。また、実寸情報は、服飾品のサイズ（Ｓ、Ｍ、Ｌ等）毎に記憶されていてもよい。なお、本明細書において、服飾品とは、衣服または装飾品を含む。また、装飾品とは、メガネ、帽子およびベルトなどを含む。
【００３２】
操作入力部１２０は、マウス、キーボード、タッチパネル、ボタン、マイク、スイッチ、レバーおよびリモートコントローラーなどユーザが情報を入力するための入力手段と、ユーザによる入力に基づいて入力信号を生成し、制御部１００に出力する入力制御回路などから構成されている。ユーザは、操作入力部１２０を操作することにより、情報処理装置１０の電源ＯＮ／ＯＦＦや、ＡＲ試着システムプログラムの起動などを指示したりすることができる。
【００３３】
カメラ１５（撮像装置）は、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）またはＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）などの撮像素子を用いて実空間を撮像することにより、撮像画像を生成する。本開示の実施形態においては、カメラ１５が情報処理装置１０と別体に構成されていることを想定しているが、カメラ１５は、情報処理装置１０の一部であってもよい。
【００３４】
また、カメラ１５は、撮像時におけるカメラ１５の設定情報を情報処理装置１０に供給する。ここで、図４に、実空間におけるカメラ１５と被写体Ａの位置関係、および被写体Ａを撮像した撮像画像Ａ’を説明するための図を示す。図４では、カメラ１５のレンズ（不図示）の光学的な中心である主点から、カメラ１５の撮像素子（不図示）までの焦点距離ｆｒｅａｌと、撮像素子に写る被写体Ａ（３次元、ｘｙｚ座標）の撮像画像Ａ’（２次元、ｘｙ座標）を、便宜上被写体側に示す。カメラ１５から被写体Ａまでの距離ｄｒｅａｌは、後述するように深度情報として算出される。また、カメラ１５の画角θｒｅａｌは、主に焦点距離ｆｒｅａｌに応じて決定される。カメラ１５は、カメラ１５の設定情報として、例えば焦点距離ｆｒｅａｌ（または画角θｒｅａｌ）および撮像画像Ａ’の画素数（すなわちピクセル数）を、情報処理装置１０に供給する。
【００３５】
センサ１７は、実空間からパラメータを検出する機能を有している。例えば、センサ１７が赤外線センサにより構成されている場合、センサ１７は、実空間から赤外線を検出し、赤外線量に応じた電気信号を検出データとして情報処理装置１０に供給することができる。センサ１７の種類は、赤外線センサに限定されない。なお、カメラ１５により撮像された画像が検出データとして情報処理装置１０に供給される場合には、センサ１７は存在しなくてもよい。
【００３６】
表示装置１９は、ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）、ＯＬＥＤ（Ｏｒｇａｎｉｃ ｌｉｇｈｔ−Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）またはＣＲＴ（Ｃａｔｈｏｄｅ Ｒａｙ Ｔｕｂｅ）などにより構成される表示モジュールである。本開示の実施形態においては、表示装置１９が情報処理装置１０と別体に構成されていることを想定しているが、表示装置１９は、情報処理装置１０の一部であってもよい。
【００３７】
続いて、上記制御部１００の機能構成について説明する。上述したように、制御部１００は、骨格位置算出部１０１、表示制御部１０５、および比較部１０９を有する。
【００３８】
（骨格位置算出部１０１）
骨格位置算出部１０１は、検出データに基づいて撮像画像に映る物体の骨格位置を算出する。撮像画像に映る物体の実空間上の骨格位置を算出する手法は特に限定されない。例えば、骨格位置算出部１０１は、まず、撮像画像において物体の存在する領域（以下、「物体存在領域」とも称す。）を認識するとともに、撮像画像内の物体の深度情報を取得する。そして、骨格位置算出部１０１は、物体存在領域の深度と形（特徴量）に基づいて、撮像画像に映る物体の実空間上の部位（頭、左肩、右肩、腹部など）を認識し、各部位における中心位置を骨格位置として算出してもよい。ここで、骨格位置算出部１０１は、記憶部１３０に記憶された特徴量辞書を用いて、撮像画像から決定される特徴量を、当該特徴量辞書に予め登録された物体の部位ごとの特徴量と照合することにより、撮像画像に含まれる物体の部位を認識することができる。
【００３９】
物体存在領域を認識する手法としては様々な手法が想定される。例えば、撮像画像が検出データとして情報処理装置１０に供給された場合には、骨格位置算出部１０１は、物体が映る前の撮像画像と物体が映っている撮像画像との差分値に基づいて、物体存在領域を認識することができる。より詳細には、骨格位置算出部１０１は、物体が映る前の撮像画像と物体が映っている撮像画像との差分値が閾値を超える領域を、物体存在領域として認識することができる。
【００４０】
また、例えば、センサ１７により検出されたパラメータが検出データとして情報処理装置１０に供給された場合には、骨格位置算出部１０１は、検出データに基づいて、物体存在領域を認識することができる。より詳細には、骨格位置算出部１０１は、検出される赤外線量が閾値を超える領域を、物体存在領域として認識することができる。
【００４１】
また、撮像画像内の物体の深度情報を取得する手法として様々な手法が想定される。例えば、カメラ１５と物体との距離をあらかじめ定めておくことが可能である。すなわち、あらかじめ定められた距離だけカメラ１５から離れた位置に物体が配置されるような制限を設ければよい。このような制限を設ければ、骨格位置算出部１０１は、物体の深度情報（ここでは、カメラ１５と物体との距離）を固定値（例えば、２ｍなど）として扱うことができる。
【００４２】
また、骨格位置算出部１０１は、撮像画像内の物体の深度情報を、センサ１７により検出されたパラメータに基づいて算出することも可能である。より詳細には、骨格位置算出部１０１は、図示しない照射装置から赤外線などの光を物体に向けて照射した場合に、センサ１７により検出された光を解析することにより、撮像画像内の物体の深度情報を算出することができる。
【００４３】
また、例えば骨格位置算出部１０１は、センサ１７により検出された光の位相遅れに基づいて、撮像画像内の物体の深度情報を算出することができる。この手法は、ＴＯＦ（Ｔｉｍｅ Ｏｆ Ｆｌｉｇｈｔ）方式とも言われる。あるいは、図示しない照射装置から照射される光が既知のパターンから構成される場合には、骨格位置算出部１０１は、センサ１７により検出された光を構成するパターンの歪み具合を解析することにより、撮像画像内の物体の深度情報を算出してもよい。
【００４４】
なお、撮像画像内の物体の深度情報を算出する機能を有する撮像装置はデプスカメラと称され、ステレオカメラやレーザーレンジスキャナにより実現され得る。骨格位置算出部１０１は、情報処理装置１０に接続されるデプスカメラから深度情報を取得してもよい。
【００４５】
以上説明した各手法により取得した物体存在領域の深度と形（特徴量）に基づいて、骨格位置算出部１０１は、撮像画像に映る物体の実空間上の部位（頭、肩など）を認識し、各部位の骨格位置の座標を算出する。次に、骨格位置算出部１０１が算出した被写体Ａを構成する１以上の部位の骨格位置を含む骨格情報について図５を参照して説明する。
【００４６】
図５は、被写体Ａを構成する１以上の部位の骨格位置（座標）を含む骨格情報を説明するための図である。図５に示した例では、骨格情報は、被写体Ａを構成する１５の部位の位置を示す座標Ｂ１〜Ｂ３、Ｂ６、Ｂ７、Ｂ９、Ｂ１２、Ｂ１３、Ｂ１５、Ｂ１７、Ｂ１８、Ｂ２０〜Ｂ２２、Ｂ２４として示されているが、骨格情報に含まれる部位の数は特に限定されない。
【００４７】
なお、座標Ｂ１は「Ｈｅａｄ」の座標を示し、座標Ｂ２は「Ｎｅｃｋ」の座標を示し、座標Ｂ３は「Ｔｏｒｓｏ」の座標を示し、座標Ｂ６は「Ｒｉｇｈｔ Ｓｈｏｕｌｄｅｒ」の座標を示し、座標Ｂ７は「Ｒｉｇｈｔ Ｅｌｂｏｗ」の座標を示している。また、座標Ｂ９は「Ｒｉｇｈｔ Ｈａｎｄ」の座標を示し、座標Ｂ１２は「Ｌｅｆｔ Ｓｈｏｕｌｄｅｒ」の座標を示し、座標Ｂ１３は「Ｌｅｆｔ Ｅｌｂｏｗ」の座標を示し、座標Ｂ１５は「Ｌｅｆｔ Ｈａｎｄ」の座標を示している。
【００４８】
座標Ｂ１７は「Ｒｉｇｈｔ Ｈｉｐ」の座標を示し、座標Ｂ１８は「Ｒｉｇｈｔ Ｋｎｅｅ」の座標を示し、座標Ｂ２０は「Ｒｉｇｈｔ Ｆｏｏｔ」の座標を示し、座標Ｂ２１は「ｌｅｆｔ Ｈｉｐ」の座標を示している。座標Ｂ２２は「Ｌｅｆｔ Ｋｎｅｅ」の座標を示し、座標Ｂ２４は「Ｌｅｆｔ Ｆｏｏｔ」の座標を示している。
【００４９】
また、本実施形態による骨格位置算出部１０１は、上述したように、撮像画像内の物体の深度情報を取得するが、具体的には、例えば深度の深さに応じて濃淡が変化する撮像画像（不図示）として上記デプスカメラから取得してもよい。
【００５０】
（比較部１０９）
比較部１０９は、サイズ情報（予め設定された寸法）に基づく仮想的な服飾品（ここでは、仮想衣服）の大きさと、撮像された被写体Ａの大きさとを比較し、比較結果を表示制御部１０５に出力する。なお、本実施形態による比較部１０９が行う大きさの比較の手法は様々想定され、特に限定されない。
【００５１】
例えば、被写体Ａと仮想衣服の大きさを２次元水準で比較する手法であってもよい。具体的には、比較部１０９は、まず撮像画像から被写体Ａの領域をピクセル単位でセグメンテーションし、被写体Ａの部分は白、その他の部分は黒で塗りつぶした被写体マスク画像を作成する。次に、被写体Ａに重畳表示する仮想衣服が描かれる部分を白、描かれない部分を黒で塗りつぶした衣服マスク画像を作成する。なお、被写体Ａに重畳表示する仮想衣服の領域は、後述する仮想空間において被写体Ａの骨格位置に合わせて置かれた仮想衣服Ｃを仮想カメラ２５によりレンダリングして取得した仮想画像Ｃ’に基づいて決定されてもよい。また、仮想空間に置かれる仮想衣服Ｃは、予めモデリングされた３次元データ、およびサイズ情報（身丈、肩幅および身幅等の実寸）に基づいて生成される。
【００５２】
そして、比較部１０９は、「被写体マスク画像において白く、衣服マスク画像において黒い領域」と、「被写体マスク画像において黒く、衣服マスク画像において白い領域」との面積（ピクセル数）を比較し、比較結果を表示制御部１０５に出力する。
【００５３】
なお、「被写体マスク画像において白く、衣服マスク画像において黒い領域」は、被写体Ａの領域内であって、かつ仮想衣服が描画されない領域である。また、「被写体マスク画像において黒く、衣服マスク画像において白い領域」は、被写体Ａの領域外であって、かつ仮想衣服が描画される領域である。
【００５４】
よって、「被写体マスク画像において白く、衣服マスク画像において黒い領域」の方が多い場合、被写体Ａより仮想衣服が小さいと言える。また、「被写体マスク画像において黒く、衣服マスク画像において白い領域」の方が多い場合、被写体Ａより仮想衣服が大きいと言える。
【００５５】
また、被写体Ａと仮想衣服の大きさを３次元水準で比較する手法であってもよい。具体的には、比較部１０９は、被写体Ａの形状の特徴を示す特徴点の３次元座標（図４に示す座標Ｏ参照。）に基づき、被写体Ａの身丈、肩幅および身幅等の実寸（例えばセンチメートル単位）を認識する。なお、比較部１０９は、被写体Ａの特徴点（３次元座標）を上述した深度情報を用いて算出してもよい。
【００５６】
次に、比較部１０９は、被写体Ａに重畳表示される仮想衣服Ｃのサイズ情報（身丈、肩幅および身幅等の実寸、例えばセンチメートル単位）を記憶部１３０から抽出する。
【００５７】
そして、比較部１０９は、被写体Ａの身丈、肩幅等の実寸と、仮想衣服Ｃの身丈、肩幅等の実寸を比較し、比較結果を表示制御部１０５に出力する。
【００５８】
（表示制御部１０５）
表示制御部１０５は、撮像画像に映る被写体に仮想衣服を重畳表示したＡＲ試着画像を生成し、表示装置１９に表示させる制御を行う。また、本実施形態による表示制御部１０５は、比較部１０９から出力された比較結果に基づき、被写体Ａに重畳表示する仮想衣服Ｃを変形させることで、実際の試着時の状態をより自然に表現できる。具体的には、表示制御部１０５は、被写体Ａより仮想衣服Ｃが大きい場合、仮想衣服Ｃが全体的に重力方向に垂れ下がるよう変形させる。また、表示制御部１０５は、被写体Ａより仮想衣服Ｃが小さい場合、仮想衣服Ｃが被写体Ａの大きさに合わせて伸びたように変形させる。
【００５９】
ここで、撮像画像に重畳する仮想画像の生成について、図６を参照して説明する。図６は、仮想空間における仮想カメラ２５と仮想衣服Ｃの位置関係、および仮想衣服Ｃを投影（レンダリング）した仮想的な衣服画像Ｃ’（仮想画像とも称す）を説明するための図を示す。図６では、図４に示す実空間を撮像した撮像画像Ａ’と同様に、レンダリングした仮想的な衣服画像Ｃ’を、仮想衣服側に示す。
【００６０】
仮想カメラ２５の設定（内部パラメータ）は、実空間を撮像するカメラ１５の設定（内部パラメータ）に合わせて決定される。カメラの設定（内部パラメータ）とは、例えば、焦点距離ｆ、画角θおよび画素数等である。表示制御部１０５は、仮想カメラ２５の設定を、実空間のカメラ１５と一致するよう設定する（初期化とも称す）。
【００６１】
次に、表示制御部１０５は、撮像画像内の物体の深度情報に基づいて、実空間におけるカメラ１５から被写体Ａまでの距離ｄｒｅａｌと同じ距離ｄｖｅｒｔｕａｌだけ仮想カメラ２５から離れた位置に、被写体の骨格位置に合わせて仮想衣服Ｃを配置する。表示制御部１０５は、仮想衣服Ｃを、予めモデリングされた３次元データに基づいて生成してもよい。また、表示制御部１０５は、例えば図６に示すように、仮想衣服Ｃの表面を三角形のポリゴンの集合により構成することで、仮想衣服の３次元形状をよりリアルに表現することができる。また、被写体Ａの骨格位置が時間経過と共に変化する場合、表示制御部１０５は、骨格位置をトラッキングするよう仮想衣服Ｃの配置を変化させることができる。
【００６２】
さらに、本実施形態による表示制御部１０５は、仮想衣服Ｃを予めモデリングされた３次元データに基づき生成する際、当該仮想衣服Ｃの３次元データに関連付けて記憶されているサイズ情報を利用する。なお、仮想衣服Ｃのサイズが複数ある場合（Ｓ、Ｍ、Ｌ等）、表示制御部１０５は、図１に示すようなサイズアイコン群３０を表示し、被写体Ａに任意のサイズを選択させてもよい。
【００６３】
次に、表示制御部１０５は、仮想カメラ２５でレンダリング、すなわち３次元の衣服画像Ｃを２次元の平面画像に投影することで、衣服画像Ｃ’（仮想画像）を取得する。そして、表示制御部１０５は、撮像画像Ａ’（図４参照）に仮想的な衣服画像Ｃ’を重畳表示することでＡＲ試着画像を生成することができる。
【００６４】
ここで、本実施形態による表示制御部１０５は、上述したように、比較部１０９から出力された比較結果に基づき、被写体Ａに重畳表示する仮想衣服Ｃを変形させることで、実際の試着時の状態をより自然に表現する。例えば、表示制御部１０５は、仮想衣服Ｃの輪郭上の点（特徴点）と、これに最も近い被写体Ａの輪郭上の点（特徴点）を取得し、仮想衣服Ｃの特徴点を被写体Ａの特徴点、または重力方向に移動させることで、より自然な表現を実現する。なお、表示制御部１０５によるＡＲ試着画像の表示制御については、次の＜３．表示制御＞において詳細に説明する。
【００６５】
以上、本開示の一実施形態によるＡＲ試着システムを実現する情報処理装置１０の構成について詳細に説明した。続いて、情報処理装置１０によるＡＲ試着画像の表示制御について説明する。
【００６６】
＜３．表示制御＞
［３−１．基本的な表示制御］
図７は、情報処理装置１０によるＡＲ試着画像の基本的な表示制御処理を示すフローチャートである。図７に示すように、まず、ステップＳ１１０において、表示制御部１０５は、仮想空間における仮想カメラ２５の設定を、実空間のカメラ１５の設定に一致させる初期化を行う。
【００６７】
次いで、ステップＳ１１３において、骨格位置算出部１０１は、撮像した実空間における被写体Ａの骨格位置（ｘｙｚ座標）を算出し、表示制御部１０５に出力する。
【００６８】
次に、ステップＳ１１６において、表示制御部１０５は、仮想空間において、仮想衣服Ｃを被写体Ａの骨格位置（ｘｙｚ座標）に合わせて配置する。
【００６９】
そして、ステップＳ１１９において、表示制御部１０５は、仮想衣服Ｃをレンダリングして衣服画像Ｃ’（仮想画像）を取得し、衣服画像Ｃ’を撮像画像Ａ’に重ねてＡＲ試着画像を描画し、表示装置１９に表示するよう制御する（ＡＲ表示制御）。
【００７０】
また、情報処理装置１０は、ステップＳ１２２において、終了指示がなされるまで上記ステップＳ１１３からＳ１１９を繰り返し行う。これにより、情報処理装置１０は、被写体Ａの動きをトラッキングするＡＲ試着画像をリアルタイムで提供することができる。
【００７１】
以上、基本的な表示制御処理について説明した。さらに、本実施形態による情報処理装置１０は、被写体Ａと仮想衣服Ｃの大きさを比較し、被写体Ａに重畳表示する仮想衣服Ｃを変形させることができる。以下、本実施形態による仮想衣服の変形制御について図８を参照して具体的に説明する。
【００７２】
［３−２．仮想衣服の変形制御］
図８は、本実施形態の情報処理装置１０による仮想衣服の変形処理を示すフローチャートである。より具体的には、図８では、図７に示すステップＳ１１９のＡＲ表示制御の際に、被写体Ａの大きさと仮想衣服Ｃの大きさの比較結果に基づき、被写体Ａに重畳表示される仮想衣服Ｃの変形処理が行われる。
【００７３】
まず、図８のステップＳ１３１において、比較部１０９は、被写体Ａの大きさと、被写体Ａに重畳表示する仮想衣服Ｃの大きさを比較する。
【００７４】
次いで、ステップＳ１３４において、比較部１０９による比較の結果、被写体Ａより仮想衣服Ｃの方が小さい場合、ステップＳ１３７において、表示制御部１０５は、仮想衣服Ｃを、被写体Ａの体形にぴったり合うよう変形させる。
【００７５】
一方、ステップＳ１３４において、比較部１０９による比較の結果、被写体Ａより仮想衣服Ｃの方が大きい場合、ステップＳ１４０において、表示制御部１０５は、仮想衣服Ｃが全体的に重力方向（鉛直下向き）に垂れ下がるよう、仮想衣服Ｃを変形させる。
【００７６】
そして、ステップＳ１４３において、表示制御部１０５は、比較部１０９による比較結果に基づいて変形させた仮想衣服Ｃを被写体Ａに重ねて描画し、ＡＲ試着画像を生成する。
【００７７】
以上、本実施形態による仮想衣服Ｃの変形処理について説明した。次に、上述したステップＳ１３７およびＳ１４０における仮想衣服の変形について、具体例を挙げて説明する。
【００７８】
（変形例１）
上述したステップＳ１３７では、表示制御部１０５は、仮想衣服Ｃが被写体Ａより小さい場合に、仮想衣服Ｃを被写体Ａの体形にぴったり合うよう変形させる。以下、具体的な表示制御について図９を参照して説明する。
【００７９】
図９に示すように、仮想衣服Ｃの輪郭上の点（特徴点）を、当該特徴点に近い被写体Ａの輪郭上の点（特徴点）に移動させることで、表示制御部１０５は、仮想衣服Ｃを被写体Ａの体形にぴったり合うように変形させる。このとき、表示制御部１０５は、仮想衣服Ｃの輪郭上の特徴点の移動に応じて、仮想衣服Ｃ内の特徴点を補完しながら移動させてもよい。
【００８０】
このように、仮想衣服Ｃが被写体Ａの体形にぴったり合うよう仮想衣服Ｃを変形させて被写体Ａに重畳表示することで、仮想衣服Ｃのサイズが被写体Ａより小さいことを認識させ、かつ実際試着した場合に近い、より自然なＡＲ試着画像を提供することができる。
【００８１】
（変形例２）
上述したステップＳ１４０では、表示制御部１０５は、仮想衣服Ｃが被写体Ａより大きい場合に、仮想衣服Ｃが重力方向（鉛直下向き）に全体的に垂れ下がるよう変形させる。以下、具体的な表示制御について図１０を参照して説明する。
【００８２】
図１０に示すように、仮想衣服Ｃの輪郭上の点（特徴点）を、重力方向に移動させるが、肩など、仮想衣服Ｃの特徴点より下方向に被写体Ａの輪郭がある場合は、当該被写体Ａの輪郭上の特徴点まで移動させる。また、裾など、仮想衣服Ｃの特徴点より下方向に被写体Ａの輪郭がない場合は、鉛直下向きに仮想衣服Ｃの輪郭上の特徴点を移動させ、たるみを表現する。
【００８３】
このように、仮想衣服Ｃが全体的に垂れ下がるよう仮想衣服Ｃを変形させて被写体Ａに重畳表示することで、仮想衣服Ｃのサイズが被写体Ａより大きいことを認識させ、かつ実際試着した場合に近い、より自然なＡＲ試着画像を提供することができる。
【００８４】
なお、表示制御部１０５は、衣服のたるみを誇張し、想定される実物の衣服のたるみより大きく表現してもよい。たるみを大きく表現することで、仮想衣服Ｃのサイズが大きいことを、より顕著に表現することができる。具体的には、仮想衣服Ｃの裾などの特徴点を鉛直下向きに移動させる距離を、想定より長くすることで、衣服のたるみを誇張して表現することができる。
【００８５】
以上、変形例１および変形例２を挙げて、仮想衣服Ｃの変形について具体的に説明した。なお、上記特徴点の移動による仮想衣服Ｃの変形は、仮想カメラ２５がレンダリングして取得した衣服画像Ｃ’上の特徴点（２次元座標（ｘ，ｙ））を移動することにより実現してもよい。若しくは、仮想空間に置かれた３次元の仮想衣服Ｃの形状の特徴を示す特徴点（３次元座標（ｘ，ｙ，ｚ））を移動することにより実現してもよい。
【００８６】
＜４．まとめ＞
上述したように、本開示の一実施形態によるＡＲ試着システムでは、被写体Ａと仮想衣服Ｃの大きさの比較結果に基づいて仮想衣服Ｃを変形させた上で、仮想衣服Ｃを被写体Ａに重畳表示する。これにより、被写体Ａと仮想衣服Ｃの大きさの違いを、より自然な表現で直感的にユーザに認識させることができる。
【００８７】
例えば、仮想衣服Ｃが被写体Ａより小さい場合、仮想衣服Ｃを被写体Ａの体形にぴったり合うよう変形させる。また、仮想衣服Ｃが被写体Ａより大きい場合、仮想衣服Ｃを全体的に重力方向に垂れ下がるよう変形させる。
【００８８】
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本技術はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属
するものと了解される。
【００８９】
例えば、上述したＡＲ試着システムでは、主に仮想衣服の試着を例として説明したが、試着対象は衣服に限らず、例えばメガネ、帽子およびベルトなどの装飾品であってもよい。
【００９０】
また、上述したＡＲ試着システムでは、被写体が人物の場合について説明したが、被写体は人物に限定されず、例えば犬や猫などの動物であってもよい。この場合、動物を撮像した撮像画像に、例えばペット用の衣服画像を重畳表示するＡＲ試着システムを提供することができる。
【００９１】
また、上記実施形態では、現実の物体として被写体Ａ、仮想的な物体として仮想衣服Ｃを例に挙げたが、本実施形態による現実の物体と仮想的な物体の組み合わせ例はこれに限られない。仮想的な物体は、布素材など変形可能な素材が想定される他の物体であってもよい。例えば、現実の物体として、椅子、ソファー、およびベッド等の家具が挙げられ、仮想的な物体として、椅子カバー、ソファーカバー、およびベッドカバー等が挙げられる。
【００９２】
以下、実空間のソファーを撮像した撮像画像に、仮想的なソファーカバーを重畳表示する場合について図１１を参照して説明する。
【００９３】
図１１に示すように、表示制御部１０５は、仮想的なソファーカバーの輪郭上の特徴点を、重力方向に移動させることで、実際ソファーにソファーカバーを装着させた場合の状態をより自然に表現することができる。なお、表示制御部１０５は、仮想的なソファーカバーの輪郭上の特徴点の移動において、ソファーが置かれた床も考慮することで、さらに自然なＡＲ画像を表示することができる。
【００９４】
なお、本技術は以下のような構成も取ることができる。
（１）
予め設定された寸法に基づく仮想的な服飾品の大きさと、撮像された被写体の大きさとを比較する比較部と、
前記比較部による比較結果に応じて、前記仮想的な服飾品を変形させ、前記被写体に重畳して表示する表示制御部と、
を備える、情報処理装置。
（２）
前記表示制御部は、前記仮想的な服飾品の形状の特徴を示す各特徴点を、前記被写体の輪郭上の特徴点まで、または重力方向に移動させることで、前記仮想的な服飾品を変形させる、前記（１）に記載の情報処理装置。
（３）
前記表示制御部は、前記仮想的な服飾品の方が小さい場合、前記仮想的な服飾品の輪郭が前記被写体の輪郭に合うよう前記仮想的な服飾品を変形させる、前記（１）または（２）に記載の情報処理装置。
（４）
前記表示制御部は、前記仮想的な服飾品の方が大きい場合、前記仮想的な服飾品の輪郭が重力方向に垂れ下がるよう前記仮想的な服飾品を変形させる、前記（１）から（３）のいずれか１項に記載の情報処理装置。
（５）
前記比較部は、２次元または３次元において前記仮想的な服飾品と前記被写体の大きさを比較する、前記（１）から（４）のいずれか１項に記載の情報処理装置。
（６）
前記特徴点は、２次元座標または３次元座標である、前記（２）に記載の情報処理装置。
（７）
予め設定された寸法に基づく仮想的な服飾品の大きさと、撮像された被写体の大きさとを比較するステップと、
前記比較するステップによる比較結果に応じて、前記仮想的な服飾品を変形させ、前記被写体に重畳して表示するステップと、
を含む、表示制御方法。
（８）
予め設定された寸法に基づく仮想的な服飾品の大きさと、撮像された被写体の大きさとを比較する処理と、
前記比較する処理による比較結果に応じて、前記仮想的な服飾品を変形させ、前記被写体に重畳して表示する処理と、
をコンピュータに実行させる、プログラム。
（９）
前記表示する処理は、前記仮想的な服飾品の形状の特徴を示す各特徴点を、前記被写体の輪郭上の特徴点まで、または重力方向に移動させることで、前記仮想的な服飾品を変形させる、前記（８）に記載のプログラム。
（１０）
前記表示する処理は、前記仮想的な服飾品の方が小さい場合、前記仮想的な服飾品の輪郭が前記被写体の輪郭に合うよう前記仮想的な服飾品を変形させる、前記（８）または（９）に記載のプログラム。
（１１）
前記表示する処理は、前記仮想的な服飾品の方が大きい場合、前記仮想的な服飾品の輪郭が重力方向に垂れ下がるよう前記仮想的な服飾品を変形させる、前記（８）から（１０）のいずれか１項に記載のプログラム。
（１２）
前記比較する処理は、２次元または３次元において前記仮想的な服飾品と前記被写体の大きさを比較する、前記（８）から（１１）のいずれか１項に記載の情報処理装置。
（１３）
前記特徴点は、２次元座標または３次元座標である、前記（８）に記載のプログラム。
【符号の説明】
【００９５】
１０ 情報処理装置
１５ カメラ
１７ センサ
１９ 表示装置
１００ 制御部
１０１ 骨格位置算出部
１０５ 表示制御部
１０９ 比較部
１２０ 操作入力部
１３０ 記憶部
Ａ 被写体
Ｂ 座標（骨格位置）
Ｃ 仮想衣服
【技術分野】
【０００１】
本開示は、情報処理装置、表示制御方法、およびプログラムに関する。
【背景技術】
【０００２】
仮想的な試着システムとして、ユーザを撮像した撮像画像に衣服の画像を合成する試着画像生成技術が様々提案されている。
【０００３】
例えば、特許文献１では、ユーザの身体画像に衣服画像を合成する処理が開示されている。具体的には、特許文献１に記載の画像処理サーバは、ユーザの身体画像に添付されている身体プロファイルデータ（身長、肩幅等）および画像における身体の向きなどの情報に基づき、衣服画像のサイズ変更および向きの調整を行い、身体画像に合成する。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００６−３０４３３１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
特許文献１に記載されるような試着画像生成技術では、合成する衣服画像の大きさは身体プロフィールデータに基づき、身体の大きさに合うようサイズ変更される。
【０００６】
また、撮像された画像内のユーザの動作に合わせて仮想衣服を重畳表示する仮想試着システムでは、画像内においてユーザの身体より大きいまたは小さい衣服画像がそのまま重畳表示されていた。若しくは、ユーザの指示に応じて衣服画像が拡大または縮小された上で、そのまま重畳表示されていた。
【０００７】
しかしながら、実際は、身体より大きい衣服を試着すると衣服が垂れ下がり、また、身体より小さい衣服を試着すると衣服が伸びるので、上述したような衣服画像をそのまま合成した試着画像では不自然な表現となる。また、衣服画像を拡大／縮小した上でそのまま重畳表示する仮想試着技術では、衣服のサイズをユーザに認識させることが困難であった。
【０００８】
そこで、本開示では、より自然な表現で実空間の物体と仮想的な物体の大きさの違いを直感的にユーザに認識させることが可能な、新規かつ改良された情報処理装置、表示制御方法およびプログラムを提案する。
【課題を解決するための手段】
【０００９】
本開示によれば、予め設定された寸法に基づく仮想的な服飾品の大きさと、撮像された被写体の大きさとを比較する比較部と、前記比較部による比較結果に応じて、前記仮想的な服飾品を変形させ、前記被写体に重畳して表示する表示制御部と、を備える情報処理装置を提案する。
【００１０】
本開示によれば、予め設定された寸法に基づく仮想的な服飾品の大きさと、撮像された被写体の大きさとを比較するステップと、前記比較するステップによる比較結果に応じて、前記仮想的な服飾品を変形させ、前記被写体に重畳して表示するステップと、を含む表示制御方法を提案する。
【００１１】
本開示によれば、予め設定された寸法に基づく仮想的な服飾品の大きさと、撮像された被写体の大きさとを比較する処理と、前記比較する処理による比較結果に応じて、前記仮想的な服飾品を変形させ、前記被写体に重畳して表示する処理と、をコンピュータに実行させる、プログラムを提案する。
【発明の効果】
【００１２】
以上説明したように本開示によれば、より自然な表現で実空間の物体と仮想的な物体の大きさの違いを直感的にユーザに認識させることが可能となる。
【図面の簡単な説明】
【００１３】
【図１】本開示の一実施形態によるＡＲ試着システムの概要を説明するための図である。
【図２】通常の仮想的な試着システムにおいて仮想衣服がそのまま合成される場合を説明するための図である。
【図３】本開示の一実施形態による情報処理装置の構成を示すブロック図である。
【図４】実空間におけるカメラと被写体の位置関係、および被写体を撮像した撮像画像を説明するための図である。
【図５】本開示の一実施形態による骨格情報を説明するための図である。
【図６】仮想空間における仮想カメラと仮想衣服の位置関係、および仮想衣服を投影した仮想的な衣服画像を説明するための図である。
【図７】本開示の一実施形態によるＡＲ試着画像表示における基本的な表示制御処理を示すフローチャートである。
【図８】本開示の一実施形態による仮想衣服の変形処理を示すフローチャートである。
【図９】被写体より小さい仮想衣服の変形を説明するための図である。
【図１０】被写体より大きい仮想衣服の変形を説明するための図である。
【図１１】本開示の一実施形態による仮想的なソファーカバーの変形を説明するための図である。
【発明を実施するための形態】
【００１４】
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【００１５】
また、説明は以下の順序で行うものとする。
１．本開示の一実施形態によるＡＲ試着システムの概要
２．情報処理装置の構成
３．表示制御
３−１．基本的な表示制御
３−２．仮想衣服の変形制御
４．まとめ
【００１６】
＜１．本開示の一実施形態によるＡＲ試着システムの概要＞
近年、実世界に付加的な情報を重畳してユーザに呈示する拡張現実（ＡＲ：Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ）と呼ばれる技術が注目されている。ＡＲ技術においてユーザに呈示される情報は、テキスト、アイコン又はアニメーションなどの様々な形態の仮想的なオブジェクトを用いて可視化され得る。ＡＲ技術の主要な適用分野の１つは、実世界でのユーザ活動の支援である。以下では、このＡＲ技術を試着システムに適用する。
【００１７】
ＡＲ技術を利用した試着システムは、ユーザの動作に合わせて仮想的な衣服画像を重畳表示することで、リアルタイムに仮想試着を体験することができる。また、本開示の一実施形態によるＡＲ試着システムは、実空間の物体である被写体の大きさと仮想物体である仮想衣服の大きさとの比較結果に基づいて仮想衣服を変形し、被写体に重畳表示する。これにより、より自然なＡＲ試着画像を表示でき、また、実空間の物体と仮想的な物体の大きさの違いを直感的にユーザに認識させることができる。
【００１８】
このような本開示の一実施形態によるＡＲ試着システムの概要を、図１を参照しながら説明する。図１に示すように、本開示の一実施形態によるＡＲ試着システム１は、情報処理装置１０、カメラ１５、センサ１７、および表示装置１９を有する。なお、ＡＲ試着システム１が設置される場所は特に限定されない。例えば、ＡＲ試着システム１は、ユーザの自宅内に設置されてもよいし、店頭に設置されてもよい。
【００１９】
また、図１に示した例では、ＡＲ試着システム１を構成する複数の装置（情報処理装置１０、カメラ１５、センサ１７および表示装置１９）が別体に構成されているが、本開示によるＡＲ試着システム１の構成はこれに限定されない。例えば、ＡＲ試着システム１を構成する上記複数の装置のいずれかの組み合わせが一体化されていてもよい。また、例えば、ＡＲ試着システム１を構成する複数の装置は、スマートフォン、ＰＤＡ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔｓ）、携帯電話、携帯用音楽再生装置、携帯用映像処理装置または携帯用ゲーム機器に内蔵されていてもよい。
【００２０】
カメラ１５（撮像装置）は、実空間に存在する物体を撮像する。実空間に存在する物体は、特に限定されないが、例えば、人物や動物などの生き物であってもよく、車庫やテレビ台などといった生き物以外であってもよい。図１に示した例では、実空間に存在する物体として被写体Ａ（例えば、人物）がカメラ１５により撮像される。カメラ１５により撮像された画像（撮像画像とも称す）は表示装置１９に表示される。表示装置１９に表示される撮像画像は、ＲＧＢ画像であってもよい。また、カメラ１５は、撮像画像を情報処理装置１０に送る。
【００２１】
センサ１７は、実空間からパラメータを検出する機能を有し、検出データを情報処理装置１０に送る。例えば、センサ１７が赤外線センサにより構成されている場合、センサ部１７は、実空間から赤外線を検出し、赤外線量に応じた電気信号を検出データとして情報処理装置１０に供給することができる。情報処理装置１０は、例えば、検出データに基づいて実空間に存在する物体を認識することができる。センサ１７の種類は、赤外線センサに限定されない。なお、図１に示した例では、検出データがセンサ１７から情報処理装置１０に供給されることとしているが、情報処理装置１０に供給される検出データは、カメラ１５により撮像された画像であってもよい。
【００２２】
情報処理装置１０は、実空間に存在する物体の認識結果に応じて、撮像画像に対して仮想オブジェクトを合成したり撮像画像を変形したりすることにより、撮像画像を処理することができる。表示装置１９は、情報処理装置１０により処理された画像を表示することも可能である。
【００２３】
例えば、図１に示すように、情報処理装置１０は、実空間の被写体Ａを認識し、衣服画像を合成した試着画像を表示装置１９にリアルタイムに表示させることができる。ここでは、ユーザの身体が実空間の映像であり、試着対象の衣服画像が実空間の映像に重畳表示された仮想オブジェクトである。これにより、ＡＲ試着システム１は、仮想的な試着をリアルタイムに提供することができる。
【００２４】
ここで、通常の仮想的な試着システムでは、被写体に重畳表示される仮想衣服の大きさが被写体より大きい／小さいまま上書きされていた。図２は、このような通常の仮想的な試着システムにおいて仮想衣服がそのまま合成される場合について説明するための図である。
【００２５】
図２左に示すように、仮想衣服が撮像画像内の被写体より小さいまま仮想衣服が合成されると、被写体の領域が仮想衣服からはみ出てしまう。しかし、実際に身体より小さい衣服を試着すると、衣服は伸びるので、図２左に示すような試着画像は不自然な表現である。
【００２６】
また、図２右に示すように、仮想衣服が撮像画像内の被写体より大きいまま仮想衣服が合成されると、被写体より仮想衣服の領域が大きいために、被写体の肩から仮想衣服が浮いたり、垂れ下がったりしない。しかし、実際に身体より大きい衣服の試着時は衣服が全体的に垂れ下がるので、図２右に示すような試着画像では不自然な表現となり、リアリティに欠ける。
【００２７】
また、上述したように、衣服画像を拡大／縮小した上でそのまま撮像画像（身体画像）に重畳表示する場合、実在する衣服のサイズとは無関係に衣服画像が調整される。しかし、インターネットを利用して衣服の購入を行う場合等、仮想試着システムを実在する衣服の購入検討に利用する場合は、実在の衣服のサイズを考慮した試着画像の生成が求められる。
【００２８】
そこで、本開示の一実施形態によるＡＲ試着システムでは、実空間の物体（ここでは、被写体）の大きさと仮想物体（ここでは、仮想衣服）の大きさの比較結果に基づいて仮想物体を変形し、被写体に重畳表示する。例えば、図１に示すように、被写体Ａに重畳表示される仮想衣服が重力方向に全体的に垂れ下がるよう変形されることで、被写体Ａは、仮想衣服のサイズが自分の身体より大きいことを直感的に認識することができる。なお、被写体Ａは、仮想衣服の大きさを、図１に示すように、表示装置１９に表示される「Ｓ」「Ｍ」「Ｌ」等のサイズアイコン群３０から任意に選択することができる。これにより、被写体Ａは、様々なサイズの仮想衣服を仮想試着することができる。
【００２９】
＜２．情報処理装置の構成＞
次に、本開示によるＡＲ試着システムを実現する情報処理装置１０の構成について、図３を参照して説明する。図３に示すように、情報処理装置１０は、制御部１００、操作入力部１２０、および記憶部１３０を有する。制御部１００は、骨格位置算出部１０１、表示制御部１０５、および比較部１０９を有する。また、情報処理装置１０には、カメラ１５、センサ１７および表示装置１９が、有線または無線により接続されている。
【００３０】
制御部１００は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）またはＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）などのプロセッサに相当する。制御部１００は、記憶部１３０または他の記憶媒体に記憶されるプログラムを実行することにより、後に説明する制御部１００の様々な機能を動作させる。なお、制御部１００を構成する各ブロックは、全てが同一の装置に組み込まれていなくてもよく、一部が他の装置（例えば、サーバ）に組み込まれていてもよい。
【００３１】
記憶部１３０は、半導体メモリまたはハードディスクなどの記憶媒体を用いて、情報処理装置１０による処理のためのプログラムおよびデータを記憶する。例えば、制御部１００としてコンピュータを機能させるためのプログラムを記憶する。さらに、例えば、記憶部１３０は、制御部１００により使用されるデータを記憶する。また、本実施形態による記憶部１３０は、表示対象となる仮想オブジェクトとして、服飾品の３次元データを記憶する。また、本実施形態による記憶部１３０は、服飾品の３次元データに関連付けて、服飾品のサイズ情報を記憶する。サイズ情報とは、身丈、肩幅、身幅、袖丈、および袖幅等の服飾品の実寸情報である。実寸情報は、センチメートル単位で記憶されていてもよい。また、実寸情報は、服飾品のサイズ（Ｓ、Ｍ、Ｌ等）毎に記憶されていてもよい。なお、本明細書において、服飾品とは、衣服または装飾品を含む。また、装飾品とは、メガネ、帽子およびベルトなどを含む。
【００３２】
操作入力部１２０は、マウス、キーボード、タッチパネル、ボタン、マイク、スイッチ、レバーおよびリモートコントローラーなどユーザが情報を入力するための入力手段と、ユーザによる入力に基づいて入力信号を生成し、制御部１００に出力する入力制御回路などから構成されている。ユーザは、操作入力部１２０を操作することにより、情報処理装置１０の電源ＯＮ／ＯＦＦや、ＡＲ試着システムプログラムの起動などを指示したりすることができる。
【００３３】
カメラ１５（撮像装置）は、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）またはＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）などの撮像素子を用いて実空間を撮像することにより、撮像画像を生成する。本開示の実施形態においては、カメラ１５が情報処理装置１０と別体に構成されていることを想定しているが、カメラ１５は、情報処理装置１０の一部であってもよい。
【００３４】
また、カメラ１５は、撮像時におけるカメラ１５の設定情報を情報処理装置１０に供給する。ここで、図４に、実空間におけるカメラ１５と被写体Ａの位置関係、および被写体Ａを撮像した撮像画像Ａ’を説明するための図を示す。図４では、カメラ１５のレンズ（不図示）の光学的な中心である主点から、カメラ１５の撮像素子（不図示）までの焦点距離ｆｒｅａｌと、撮像素子に写る被写体Ａ（３次元、ｘｙｚ座標）の撮像画像Ａ’（２次元、ｘｙ座標）を、便宜上被写体側に示す。カメラ１５から被写体Ａまでの距離ｄｒｅａｌは、後述するように深度情報として算出される。また、カメラ１５の画角θｒｅａｌは、主に焦点距離ｆｒｅａｌに応じて決定される。カメラ１５は、カメラ１５の設定情報として、例えば焦点距離ｆｒｅａｌ（または画角θｒｅａｌ）および撮像画像Ａ’の画素数（すなわちピクセル数）を、情報処理装置１０に供給する。
【００３５】
センサ１７は、実空間からパラメータを検出する機能を有している。例えば、センサ１７が赤外線センサにより構成されている場合、センサ１７は、実空間から赤外線を検出し、赤外線量に応じた電気信号を検出データとして情報処理装置１０に供給することができる。センサ１７の種類は、赤外線センサに限定されない。なお、カメラ１５により撮像された画像が検出データとして情報処理装置１０に供給される場合には、センサ１７は存在しなくてもよい。
【００３６】
表示装置１９は、ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）、ＯＬＥＤ（Ｏｒｇａｎｉｃ ｌｉｇｈｔ−Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）またはＣＲＴ（Ｃａｔｈｏｄｅ Ｒａｙ Ｔｕｂｅ）などにより構成される表示モジュールである。本開示の実施形態においては、表示装置１９が情報処理装置１０と別体に構成されていることを想定しているが、表示装置１９は、情報処理装置１０の一部であってもよい。
【００３７】
続いて、上記制御部１００の機能構成について説明する。上述したように、制御部１００は、骨格位置算出部１０１、表示制御部１０５、および比較部１０９を有する。
【００３８】
（骨格位置算出部１０１）
骨格位置算出部１０１は、検出データに基づいて撮像画像に映る物体の骨格位置を算出する。撮像画像に映る物体の実空間上の骨格位置を算出する手法は特に限定されない。例えば、骨格位置算出部１０１は、まず、撮像画像において物体の存在する領域（以下、「物体存在領域」とも称す。）を認識するとともに、撮像画像内の物体の深度情報を取得する。そして、骨格位置算出部１０１は、物体存在領域の深度と形（特徴量）に基づいて、撮像画像に映る物体の実空間上の部位（頭、左肩、右肩、腹部など）を認識し、各部位における中心位置を骨格位置として算出してもよい。ここで、骨格位置算出部１０１は、記憶部１３０に記憶された特徴量辞書を用いて、撮像画像から決定される特徴量を、当該特徴量辞書に予め登録された物体の部位ごとの特徴量と照合することにより、撮像画像に含まれる物体の部位を認識することができる。
【００３９】
物体存在領域を認識する手法としては様々な手法が想定される。例えば、撮像画像が検出データとして情報処理装置１０に供給された場合には、骨格位置算出部１０１は、物体が映る前の撮像画像と物体が映っている撮像画像との差分値に基づいて、物体存在領域を認識することができる。より詳細には、骨格位置算出部１０１は、物体が映る前の撮像画像と物体が映っている撮像画像との差分値が閾値を超える領域を、物体存在領域として認識することができる。
【００４０】
また、例えば、センサ１７により検出されたパラメータが検出データとして情報処理装置１０に供給された場合には、骨格位置算出部１０１は、検出データに基づいて、物体存在領域を認識することができる。より詳細には、骨格位置算出部１０１は、検出される赤外線量が閾値を超える領域を、物体存在領域として認識することができる。
【００４１】
また、撮像画像内の物体の深度情報を取得する手法として様々な手法が想定される。例えば、カメラ１５と物体との距離をあらかじめ定めておくことが可能である。すなわち、あらかじめ定められた距離だけカメラ１５から離れた位置に物体が配置されるような制限を設ければよい。このような制限を設ければ、骨格位置算出部１０１は、物体の深度情報（ここでは、カメラ１５と物体との距離）を固定値（例えば、２ｍなど）として扱うことができる。
【００４２】
また、骨格位置算出部１０１は、撮像画像内の物体の深度情報を、センサ１７により検出されたパラメータに基づいて算出することも可能である。より詳細には、骨格位置算出部１０１は、図示しない照射装置から赤外線などの光を物体に向けて照射した場合に、センサ１７により検出された光を解析することにより、撮像画像内の物体の深度情報を算出することができる。
【００４３】
また、例えば骨格位置算出部１０１は、センサ１７により検出された光の位相遅れに基づいて、撮像画像内の物体の深度情報を算出することができる。この手法は、ＴＯＦ（Ｔｉｍｅ Ｏｆ Ｆｌｉｇｈｔ）方式とも言われる。あるいは、図示しない照射装置から照射される光が既知のパターンから構成される場合には、骨格位置算出部１０１は、センサ１７により検出された光を構成するパターンの歪み具合を解析することにより、撮像画像内の物体の深度情報を算出してもよい。
【００４４】
なお、撮像画像内の物体の深度情報を算出する機能を有する撮像装置はデプスカメラと称され、ステレオカメラやレーザーレンジスキャナにより実現され得る。骨格位置算出部１０１は、情報処理装置１０に接続されるデプスカメラから深度情報を取得してもよい。
【００４５】
以上説明した各手法により取得した物体存在領域の深度と形（特徴量）に基づいて、骨格位置算出部１０１は、撮像画像に映る物体の実空間上の部位（頭、肩など）を認識し、各部位の骨格位置の座標を算出する。次に、骨格位置算出部１０１が算出した被写体Ａを構成する１以上の部位の骨格位置を含む骨格情報について図５を参照して説明する。
【００４６】
図５は、被写体Ａを構成する１以上の部位の骨格位置（座標）を含む骨格情報を説明するための図である。図５に示した例では、骨格情報は、被写体Ａを構成する１５の部位の位置を示す座標Ｂ１〜Ｂ３、Ｂ６、Ｂ７、Ｂ９、Ｂ１２、Ｂ１３、Ｂ１５、Ｂ１７、Ｂ１８、Ｂ２０〜Ｂ２２、Ｂ２４として示されているが、骨格情報に含まれる部位の数は特に限定されない。
【００４７】
なお、座標Ｂ１は「Ｈｅａｄ」の座標を示し、座標Ｂ２は「Ｎｅｃｋ」の座標を示し、座標Ｂ３は「Ｔｏｒｓｏ」の座標を示し、座標Ｂ６は「Ｒｉｇｈｔ Ｓｈｏｕｌｄｅｒ」の座標を示し、座標Ｂ７は「Ｒｉｇｈｔ Ｅｌｂｏｗ」の座標を示している。また、座標Ｂ９は「Ｒｉｇｈｔ Ｈａｎｄ」の座標を示し、座標Ｂ１２は「Ｌｅｆｔ Ｓｈｏｕｌｄｅｒ」の座標を示し、座標Ｂ１３は「Ｌｅｆｔ Ｅｌｂｏｗ」の座標を示し、座標Ｂ１５は「Ｌｅｆｔ Ｈａｎｄ」の座標を示している。
【００４８】
座標Ｂ１７は「Ｒｉｇｈｔ Ｈｉｐ」の座標を示し、座標Ｂ１８は「Ｒｉｇｈｔ Ｋｎｅｅ」の座標を示し、座標Ｂ２０は「Ｒｉｇｈｔ Ｆｏｏｔ」の座標を示し、座標Ｂ２１は「ｌｅｆｔ Ｈｉｐ」の座標を示している。座標Ｂ２２は「Ｌｅｆｔ Ｋｎｅｅ」の座標を示し、座標Ｂ２４は「Ｌｅｆｔ Ｆｏｏｔ」の座標を示している。
【００４９】
また、本実施形態による骨格位置算出部１０１は、上述したように、撮像画像内の物体の深度情報を取得するが、具体的には、例えば深度の深さに応じて濃淡が変化する撮像画像（不図示）として上記デプスカメラから取得してもよい。
【００５０】
（比較部１０９）
比較部１０９は、サイズ情報（予め設定された寸法）に基づく仮想的な服飾品（ここでは、仮想衣服）の大きさと、撮像された被写体Ａの大きさとを比較し、比較結果を表示制御部１０５に出力する。なお、本実施形態による比較部１０９が行う大きさの比較の手法は様々想定され、特に限定されない。
【００５１】
例えば、被写体Ａと仮想衣服の大きさを２次元水準で比較する手法であってもよい。具体的には、比較部１０９は、まず撮像画像から被写体Ａの領域をピクセル単位でセグメンテーションし、被写体Ａの部分は白、その他の部分は黒で塗りつぶした被写体マスク画像を作成する。次に、被写体Ａに重畳表示する仮想衣服が描かれる部分を白、描かれない部分を黒で塗りつぶした衣服マスク画像を作成する。なお、被写体Ａに重畳表示する仮想衣服の領域は、後述する仮想空間において被写体Ａの骨格位置に合わせて置かれた仮想衣服Ｃを仮想カメラ２５によりレンダリングして取得した仮想画像Ｃ’に基づいて決定されてもよい。また、仮想空間に置かれる仮想衣服Ｃは、予めモデリングされた３次元データ、およびサイズ情報（身丈、肩幅および身幅等の実寸）に基づいて生成される。
【００５２】
そして、比較部１０９は、「被写体マスク画像において白く、衣服マスク画像において黒い領域」と、「被写体マスク画像において黒く、衣服マスク画像において白い領域」との面積（ピクセル数）を比較し、比較結果を表示制御部１０５に出力する。
【００５３】
なお、「被写体マスク画像において白く、衣服マスク画像において黒い領域」は、被写体Ａの領域内であって、かつ仮想衣服が描画されない領域である。また、「被写体マスク画像において黒く、衣服マスク画像において白い領域」は、被写体Ａの領域外であって、かつ仮想衣服が描画される領域である。
【００５４】
よって、「被写体マスク画像において白く、衣服マスク画像において黒い領域」の方が多い場合、被写体Ａより仮想衣服が小さいと言える。また、「被写体マスク画像において黒く、衣服マスク画像において白い領域」の方が多い場合、被写体Ａより仮想衣服が大きいと言える。
【００５５】
また、被写体Ａと仮想衣服の大きさを３次元水準で比較する手法であってもよい。具体的には、比較部１０９は、被写体Ａの形状の特徴を示す特徴点の３次元座標（図４に示す座標Ｏ参照。）に基づき、被写体Ａの身丈、肩幅および身幅等の実寸（例えばセンチメートル単位）を認識する。なお、比較部１０９は、被写体Ａの特徴点（３次元座標）を上述した深度情報を用いて算出してもよい。
【００５６】
次に、比較部１０９は、被写体Ａに重畳表示される仮想衣服Ｃのサイズ情報（身丈、肩幅および身幅等の実寸、例えばセンチメートル単位）を記憶部１３０から抽出する。
【００５７】
そして、比較部１０９は、被写体Ａの身丈、肩幅等の実寸と、仮想衣服Ｃの身丈、肩幅等の実寸を比較し、比較結果を表示制御部１０５に出力する。
【００５８】
（表示制御部１０５）
表示制御部１０５は、撮像画像に映る被写体に仮想衣服を重畳表示したＡＲ試着画像を生成し、表示装置１９に表示させる制御を行う。また、本実施形態による表示制御部１０５は、比較部１０９から出力された比較結果に基づき、被写体Ａに重畳表示する仮想衣服Ｃを変形させることで、実際の試着時の状態をより自然に表現できる。具体的には、表示制御部１０５は、被写体Ａより仮想衣服Ｃが大きい場合、仮想衣服Ｃが全体的に重力方向に垂れ下がるよう変形させる。また、表示制御部１０５は、被写体Ａより仮想衣服Ｃが小さい場合、仮想衣服Ｃが被写体Ａの大きさに合わせて伸びたように変形させる。
【００５９】
ここで、撮像画像に重畳する仮想画像の生成について、図６を参照して説明する。図６は、仮想空間における仮想カメラ２５と仮想衣服Ｃの位置関係、および仮想衣服Ｃを投影（レンダリング）した仮想的な衣服画像Ｃ’（仮想画像とも称す）を説明するための図を示す。図６では、図４に示す実空間を撮像した撮像画像Ａ’と同様に、レンダリングした仮想的な衣服画像Ｃ’を、仮想衣服側に示す。
【００６０】
仮想カメラ２５の設定（内部パラメータ）は、実空間を撮像するカメラ１５の設定（内部パラメータ）に合わせて決定される。カメラの設定（内部パラメータ）とは、例えば、焦点距離ｆ、画角θおよび画素数等である。表示制御部１０５は、仮想カメラ２５の設定を、実空間のカメラ１５と一致するよう設定する（初期化とも称す）。
【００６１】
次に、表示制御部１０５は、撮像画像内の物体の深度情報に基づいて、実空間におけるカメラ１５から被写体Ａまでの距離ｄｒｅａｌと同じ距離ｄｖｅｒｔｕａｌだけ仮想カメラ２５から離れた位置に、被写体の骨格位置に合わせて仮想衣服Ｃを配置する。表示制御部１０５は、仮想衣服Ｃを、予めモデリングされた３次元データに基づいて生成してもよい。また、表示制御部１０５は、例えば図６に示すように、仮想衣服Ｃの表面を三角形のポリゴンの集合により構成することで、仮想衣服の３次元形状をよりリアルに表現することができる。また、被写体Ａの骨格位置が時間経過と共に変化する場合、表示制御部１０５は、骨格位置をトラッキングするよう仮想衣服Ｃの配置を変化させることができる。
【００６２】
さらに、本実施形態による表示制御部１０５は、仮想衣服Ｃを予めモデリングされた３次元データに基づき生成する際、当該仮想衣服Ｃの３次元データに関連付けて記憶されているサイズ情報を利用する。なお、仮想衣服Ｃのサイズが複数ある場合（Ｓ、Ｍ、Ｌ等）、表示制御部１０５は、図１に示すようなサイズアイコン群３０を表示し、被写体Ａに任意のサイズを選択させてもよい。
【００６３】
次に、表示制御部１０５は、仮想カメラ２５でレンダリング、すなわち３次元の衣服画像Ｃを２次元の平面画像に投影することで、衣服画像Ｃ’（仮想画像）を取得する。そして、表示制御部１０５は、撮像画像Ａ’（図４参照）に仮想的な衣服画像Ｃ’を重畳表示することでＡＲ試着画像を生成することができる。
【００６４】
ここで、本実施形態による表示制御部１０５は、上述したように、比較部１０９から出力された比較結果に基づき、被写体Ａに重畳表示する仮想衣服Ｃを変形させることで、実際の試着時の状態をより自然に表現する。例えば、表示制御部１０５は、仮想衣服Ｃの輪郭上の点（特徴点）と、これに最も近い被写体Ａの輪郭上の点（特徴点）を取得し、仮想衣服Ｃの特徴点を被写体Ａの特徴点、または重力方向に移動させることで、より自然な表現を実現する。なお、表示制御部１０５によるＡＲ試着画像の表示制御については、次の＜３．表示制御＞において詳細に説明する。
【００６５】
以上、本開示の一実施形態によるＡＲ試着システムを実現する情報処理装置１０の構成について詳細に説明した。続いて、情報処理装置１０によるＡＲ試着画像の表示制御について説明する。
【００６６】
＜３．表示制御＞
［３−１．基本的な表示制御］
図７は、情報処理装置１０によるＡＲ試着画像の基本的な表示制御処理を示すフローチャートである。図７に示すように、まず、ステップＳ１１０において、表示制御部１０５は、仮想空間における仮想カメラ２５の設定を、実空間のカメラ１５の設定に一致させる初期化を行う。
【００６７】
次いで、ステップＳ１１３において、骨格位置算出部１０１は、撮像した実空間における被写体Ａの骨格位置（ｘｙｚ座標）を算出し、表示制御部１０５に出力する。
【００６８】
次に、ステップＳ１１６において、表示制御部１０５は、仮想空間において、仮想衣服Ｃを被写体Ａの骨格位置（ｘｙｚ座標）に合わせて配置する。
【００６９】
そして、ステップＳ１１９において、表示制御部１０５は、仮想衣服Ｃをレンダリングして衣服画像Ｃ’（仮想画像）を取得し、衣服画像Ｃ’を撮像画像Ａ’に重ねてＡＲ試着画像を描画し、表示装置１９に表示するよう制御する（ＡＲ表示制御）。
【００７０】
また、情報処理装置１０は、ステップＳ１２２において、終了指示がなされるまで上記ステップＳ１１３からＳ１１９を繰り返し行う。これにより、情報処理装置１０は、被写体Ａの動きをトラッキングするＡＲ試着画像をリアルタイムで提供することができる。
【００７１】
以上、基本的な表示制御処理について説明した。さらに、本実施形態による情報処理装置１０は、被写体Ａと仮想衣服Ｃの大きさを比較し、被写体Ａに重畳表示する仮想衣服Ｃを変形させることができる。以下、本実施形態による仮想衣服の変形制御について図８を参照して具体的に説明する。
【００７２】
［３−２．仮想衣服の変形制御］
図８は、本実施形態の情報処理装置１０による仮想衣服の変形処理を示すフローチャートである。より具体的には、図８では、図７に示すステップＳ１１９のＡＲ表示制御の際に、被写体Ａの大きさと仮想衣服Ｃの大きさの比較結果に基づき、被写体Ａに重畳表示される仮想衣服Ｃの変形処理が行われる。
【００７３】
まず、図８のステップＳ１３１において、比較部１０９は、被写体Ａの大きさと、被写体Ａに重畳表示する仮想衣服Ｃの大きさを比較する。
【００７４】
次いで、ステップＳ１３４において、比較部１０９による比較の結果、被写体Ａより仮想衣服Ｃの方が小さい場合、ステップＳ１３７において、表示制御部１０５は、仮想衣服Ｃを、被写体Ａの体形にぴったり合うよう変形させる。
【００７５】
一方、ステップＳ１３４において、比較部１０９による比較の結果、被写体Ａより仮想衣服Ｃの方が大きい場合、ステップＳ１４０において、表示制御部１０５は、仮想衣服Ｃが全体的に重力方向（鉛直下向き）に垂れ下がるよう、仮想衣服Ｃを変形させる。
【００７６】
そして、ステップＳ１４３において、表示制御部１０５は、比較部１０９による比較結果に基づいて変形させた仮想衣服Ｃを被写体Ａに重ねて描画し、ＡＲ試着画像を生成する。
【００７７】
以上、本実施形態による仮想衣服Ｃの変形処理について説明した。次に、上述したステップＳ１３７およびＳ１４０における仮想衣服の変形について、具体例を挙げて説明する。
【００７８】
（変形例１）
上述したステップＳ１３７では、表示制御部１０５は、仮想衣服Ｃが被写体Ａより小さい場合に、仮想衣服Ｃを被写体Ａの体形にぴったり合うよう変形させる。以下、具体的な表示制御について図９を参照して説明する。
【００７９】
図９に示すように、仮想衣服Ｃの輪郭上の点（特徴点）を、当該特徴点に近い被写体Ａの輪郭上の点（特徴点）に移動させることで、表示制御部１０５は、仮想衣服Ｃを被写体Ａの体形にぴったり合うように変形させる。このとき、表示制御部１０５は、仮想衣服Ｃの輪郭上の特徴点の移動に応じて、仮想衣服Ｃ内の特徴点を補完しながら移動させてもよい。
【００８０】
このように、仮想衣服Ｃが被写体Ａの体形にぴったり合うよう仮想衣服Ｃを変形させて被写体Ａに重畳表示することで、仮想衣服Ｃのサイズが被写体Ａより小さいことを認識させ、かつ実際試着した場合に近い、より自然なＡＲ試着画像を提供することができる。
【００８１】
（変形例２）
上述したステップＳ１４０では、表示制御部１０５は、仮想衣服Ｃが被写体Ａより大きい場合に、仮想衣服Ｃが重力方向（鉛直下向き）に全体的に垂れ下がるよう変形させる。以下、具体的な表示制御について図１０を参照して説明する。
【００８２】
図１０に示すように、仮想衣服Ｃの輪郭上の点（特徴点）を、重力方向に移動させるが、肩など、仮想衣服Ｃの特徴点より下方向に被写体Ａの輪郭がある場合は、当該被写体Ａの輪郭上の特徴点まで移動させる。また、裾など、仮想衣服Ｃの特徴点より下方向に被写体Ａの輪郭がない場合は、鉛直下向きに仮想衣服Ｃの輪郭上の特徴点を移動させ、たるみを表現する。
【００８３】
このように、仮想衣服Ｃが全体的に垂れ下がるよう仮想衣服Ｃを変形させて被写体Ａに重畳表示することで、仮想衣服Ｃのサイズが被写体Ａより大きいことを認識させ、かつ実際試着した場合に近い、より自然なＡＲ試着画像を提供することができる。
【００８４】
なお、表示制御部１０５は、衣服のたるみを誇張し、想定される実物の衣服のたるみより大きく表現してもよい。たるみを大きく表現することで、仮想衣服Ｃのサイズが大きいことを、より顕著に表現することができる。具体的には、仮想衣服Ｃの裾などの特徴点を鉛直下向きに移動させる距離を、想定より長くすることで、衣服のたるみを誇張して表現することができる。
【００８５】
以上、変形例１および変形例２を挙げて、仮想衣服Ｃの変形について具体的に説明した。なお、上記特徴点の移動による仮想衣服Ｃの変形は、仮想カメラ２５がレンダリングして取得した衣服画像Ｃ’上の特徴点（２次元座標（ｘ，ｙ））を移動することにより実現してもよい。若しくは、仮想空間に置かれた３次元の仮想衣服Ｃの形状の特徴を示す特徴点（３次元座標（ｘ，ｙ，ｚ））を移動することにより実現してもよい。
【００８６】
＜４．まとめ＞
上述したように、本開示の一実施形態によるＡＲ試着システムでは、被写体Ａと仮想衣服Ｃの大きさの比較結果に基づいて仮想衣服Ｃを変形させた上で、仮想衣服Ｃを被写体Ａに重畳表示する。これにより、被写体Ａと仮想衣服Ｃの大きさの違いを、より自然な表現で直感的にユーザに認識させることができる。
【００８７】
例えば、仮想衣服Ｃが被写体Ａより小さい場合、仮想衣服Ｃを被写体Ａの体形にぴったり合うよう変形させる。また、仮想衣服Ｃが被写体Ａより大きい場合、仮想衣服Ｃを全体的に重力方向に垂れ下がるよう変形させる。
【００８８】
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本技術はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属
するものと了解される。
【００８９】
例えば、上述したＡＲ試着システムでは、主に仮想衣服の試着を例として説明したが、試着対象は衣服に限らず、例えばメガネ、帽子およびベルトなどの装飾品であってもよい。
【００９０】
また、上述したＡＲ試着システムでは、被写体が人物の場合について説明したが、被写体は人物に限定されず、例えば犬や猫などの動物であってもよい。この場合、動物を撮像した撮像画像に、例えばペット用の衣服画像を重畳表示するＡＲ試着システムを提供することができる。
【００９１】
また、上記実施形態では、現実の物体として被写体Ａ、仮想的な物体として仮想衣服Ｃを例に挙げたが、本実施形態による現実の物体と仮想的な物体の組み合わせ例はこれに限られない。仮想的な物体は、布素材など変形可能な素材が想定される他の物体であってもよい。例えば、現実の物体として、椅子、ソファー、およびベッド等の家具が挙げられ、仮想的な物体として、椅子カバー、ソファーカバー、およびベッドカバー等が挙げられる。
【００９２】
以下、実空間のソファーを撮像した撮像画像に、仮想的なソファーカバーを重畳表示する場合について図１１を参照して説明する。
【００９３】
図１１に示すように、表示制御部１０５は、仮想的なソファーカバーの輪郭上の特徴点を、重力方向に移動させることで、実際ソファーにソファーカバーを装着させた場合の状態をより自然に表現することができる。なお、表示制御部１０５は、仮想的なソファーカバーの輪郭上の特徴点の移動において、ソファーが置かれた床も考慮することで、さらに自然なＡＲ画像を表示することができる。
【００９４】
なお、本技術は以下のような構成も取ることができる。
（１）
予め設定された寸法に基づく仮想的な服飾品の大きさと、撮像された被写体の大きさとを比較する比較部と、
前記比較部による比較結果に応じて、前記仮想的な服飾品を変形させ、前記被写体に重畳して表示する表示制御部と、
を備える、情報処理装置。
（２）
前記表示制御部は、前記仮想的な服飾品の形状の特徴を示す各特徴点を、前記被写体の輪郭上の特徴点まで、または重力方向に移動させることで、前記仮想的な服飾品を変形させる、前記（１）に記載の情報処理装置。
（３）
前記表示制御部は、前記仮想的な服飾品の方が小さい場合、前記仮想的な服飾品の輪郭が前記被写体の輪郭に合うよう前記仮想的な服飾品を変形させる、前記（１）または（２）に記載の情報処理装置。
（４）
前記表示制御部は、前記仮想的な服飾品の方が大きい場合、前記仮想的な服飾品の輪郭が重力方向に垂れ下がるよう前記仮想的な服飾品を変形させる、前記（１）から（３）のいずれか１項に記載の情報処理装置。
（５）
前記比較部は、２次元または３次元において前記仮想的な服飾品と前記被写体の大きさを比較する、前記（１）から（４）のいずれか１項に記載の情報処理装置。
（６）
前記特徴点は、２次元座標または３次元座標である、前記（２）に記載の情報処理装置。
（７）
予め設定された寸法に基づく仮想的な服飾品の大きさと、撮像された被写体の大きさとを比較するステップと、
前記比較するステップによる比較結果に応じて、前記仮想的な服飾品を変形させ、前記被写体に重畳して表示するステップと、
を含む、表示制御方法。
（８）
予め設定された寸法に基づく仮想的な服飾品の大きさと、撮像された被写体の大きさとを比較する処理と、
前記比較する処理による比較結果に応じて、前記仮想的な服飾品を変形させ、前記被写体に重畳して表示する処理と、
をコンピュータに実行させる、プログラム。
（９）
前記表示する処理は、前記仮想的な服飾品の形状の特徴を示す各特徴点を、前記被写体の輪郭上の特徴点まで、または重力方向に移動させることで、前記仮想的な服飾品を変形させる、前記（８）に記載のプログラム。
（１０）
前記表示する処理は、前記仮想的な服飾品の方が小さい場合、前記仮想的な服飾品の輪郭が前記被写体の輪郭に合うよう前記仮想的な服飾品を変形させる、前記（８）または（９）に記載のプログラム。
（１１）
前記表示する処理は、前記仮想的な服飾品の方が大きい場合、前記仮想的な服飾品の輪郭が重力方向に垂れ下がるよう前記仮想的な服飾品を変形させる、前記（８）から（１０）のいずれか１項に記載のプログラム。
（１２）
前記比較する処理は、２次元または３次元において前記仮想的な服飾品と前記被写体の大きさを比較する、前記（８）から（１１）のいずれか１項に記載の情報処理装置。
（１３）
前記特徴点は、２次元座標または３次元座標である、前記（８）に記載のプログラム。
【符号の説明】
【００９５】
１０ 情報処理装置
１５ カメラ
１７ センサ
１９ 表示装置
１００ 制御部
１０１ 骨格位置算出部
１０５ 表示制御部
１０９ 比較部
１２０ 操作入力部
１３０ 記憶部
Ａ 被写体
Ｂ 座標（骨格位置）
Ｃ 仮想衣服
【特許請求の範囲】
【請求項１】
予め設定された寸法に基づく仮想的な服飾品の大きさと、撮像された被写体の大きさとを比較する比較部と、
前記比較部による比較結果に応じて、前記仮想的な服飾品を変形させ、前記被写体に重畳して表示する表示制御部と、
を備える、情報処理装置。
【請求項２】
前記表示制御部は、前記仮想的な服飾品の形状の特徴を示す各特徴点を、前記被写体の輪郭上の特徴点まで、または重力方向に移動させることで、前記仮想的な服飾品を変形させる、請求項１に記載の情報処理装置。
【請求項３】
前記表示制御部は、前記仮想的な服飾品の方が小さい場合、前記仮想的な服飾品の輪郭が前記被写体の輪郭に合うよう前記仮想的な服飾品を変形させる、請求項１に記載の情報処理装置。
【請求項４】
前記表示制御部は、前記仮想的な服飾品の方が大きい場合、前記仮想的な服飾品の輪郭が重力方向に垂れ下がるよう前記仮想的な服飾品を変形させる、請求項１に記載の情報処理装置。
【請求項５】
前記比較部は、２次元または３次元において前記仮想的な服飾品と前記被写体の大きさを比較する、請求項１に記載の情報処理装置。
【請求項６】
前記特徴点は、２次元座標または３次元座標である、請求項２に記載の情報処理装置。
【請求項７】
予め設定された寸法に基づく仮想的な服飾品の大きさと、撮像された被写体の大きさとを比較するステップと、
前記比較するステップによる比較結果に応じて、前記仮想的な服飾品を変形させ、前記被写体に重畳して表示するステップと、
を含む、表示制御方法。
【請求項８】
予め設定された寸法に基づく仮想的な服飾品の大きさと、撮像された被写体の大きさとを比較する処理と、
前記比較する処理による比較結果に応じて、前記仮想的な服飾品を変形させ、前記被写体に重畳して表示する処理と、
をコンピュータに実行させる、プログラム。
【請求項９】
前記表示する処理は、前記仮想的な服飾品の形状の特徴を示す各特徴点を、前記被写体の輪郭上の特徴点まで、または重力方向に移動させることで、前記仮想的な服飾品を変形させる、請求項８に記載のプログラム。
【請求項１０】
前記表示する処理は、前記仮想的な服飾品の方が小さい場合、前記仮想的な服飾品の輪郭が前記被写体の輪郭に合うよう前記仮想的な服飾品を変形させる、請求項８に記載のプログラム。
【請求項１１】
前記表示する処理は、前記仮想的な服飾品の方が大きい場合、前記仮想的な服飾品の輪郭が重力方向に垂れ下がるよう前記仮想的な服飾品を変形させる、請求項８に記載のプログラム。
【請求項１２】
前記比較する処理は、２次元または３次元において前記仮想的な服飾品と前記被写体の大きさを比較する、請求項８に記載の情報処理装置。
【請求項１３】
前記特徴点は、２次元座標または３次元座標である、請求項９に記載のプログラム。
【請求項１】
予め設定された寸法に基づく仮想的な服飾品の大きさと、撮像された被写体の大きさとを比較する比較部と、
前記比較部による比較結果に応じて、前記仮想的な服飾品を変形させ、前記被写体に重畳して表示する表示制御部と、
を備える、情報処理装置。
【請求項２】
前記表示制御部は、前記仮想的な服飾品の形状の特徴を示す各特徴点を、前記被写体の輪郭上の特徴点まで、または重力方向に移動させることで、前記仮想的な服飾品を変形させる、請求項１に記載の情報処理装置。
【請求項３】
前記表示制御部は、前記仮想的な服飾品の方が小さい場合、前記仮想的な服飾品の輪郭が前記被写体の輪郭に合うよう前記仮想的な服飾品を変形させる、請求項１に記載の情報処理装置。
【請求項４】
前記表示制御部は、前記仮想的な服飾品の方が大きい場合、前記仮想的な服飾品の輪郭が重力方向に垂れ下がるよう前記仮想的な服飾品を変形させる、請求項１に記載の情報処理装置。
【請求項５】
前記比較部は、２次元または３次元において前記仮想的な服飾品と前記被写体の大きさを比較する、請求項１に記載の情報処理装置。
【請求項６】
前記特徴点は、２次元座標または３次元座標である、請求項２に記載の情報処理装置。
【請求項７】
予め設定された寸法に基づく仮想的な服飾品の大きさと、撮像された被写体の大きさとを比較するステップと、
前記比較するステップによる比較結果に応じて、前記仮想的な服飾品を変形させ、前記被写体に重畳して表示するステップと、
を含む、表示制御方法。
【請求項８】
予め設定された寸法に基づく仮想的な服飾品の大きさと、撮像された被写体の大きさとを比較する処理と、
前記比較する処理による比較結果に応じて、前記仮想的な服飾品を変形させ、前記被写体に重畳して表示する処理と、
をコンピュータに実行させる、プログラム。
【請求項９】
前記表示する処理は、前記仮想的な服飾品の形状の特徴を示す各特徴点を、前記被写体の輪郭上の特徴点まで、または重力方向に移動させることで、前記仮想的な服飾品を変形させる、請求項８に記載のプログラム。
【請求項１０】
前記表示する処理は、前記仮想的な服飾品の方が小さい場合、前記仮想的な服飾品の輪郭が前記被写体の輪郭に合うよう前記仮想的な服飾品を変形させる、請求項８に記載のプログラム。
【請求項１１】
前記表示する処理は、前記仮想的な服飾品の方が大きい場合、前記仮想的な服飾品の輪郭が重力方向に垂れ下がるよう前記仮想的な服飾品を変形させる、請求項８に記載のプログラム。
【請求項１２】
前記比較する処理は、２次元または３次元において前記仮想的な服飾品と前記被写体の大きさを比較する、請求項８に記載の情報処理装置。
【請求項１３】
前記特徴点は、２次元座標または３次元座標である、請求項９に記載のプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【公開番号】特開２０１３−１０１５２９（Ｐ２０１３−１０１５２９Ａ）
【公開日】平成２５年５月２３日（２０１３．５．２３）
【国際特許分類】
【出願番号】特願２０１１−２４５３０５（Ｐ２０１１−２４５３０５）
【出願日】平成２３年１１月９日（２０１１．１１．９）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
【公開日】平成２５年５月２３日（２０１３．５．２３）
【国際特許分類】
【出願日】平成２３年１１月９日（２０１１．１１．９）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
[ Back to top ]