情報処理装置、表示制御方法、およびプログラム
【課題】現実の物体と仮想的な物体との部分毎の前後関係に基づいて仮想画像を重畳表示することが可能な情報処理装置、表示制御方法、およびプログラムを提供する。
【解決手段】撮像された現実の物体と仮想的な物体との前後関係を、深度情報を用いて部分毎に判定する判定部と、前記判定部により判定された前後関係に基づいて、前記現実の物体を撮像した撮像画像に、前記仮想的な物体を投影した仮想画像を重畳して表示する表示制御部と、を備える、情報処理装置。
【解決手段】撮像された現実の物体と仮想的な物体との前後関係を、深度情報を用いて部分毎に判定する判定部と、前記判定部により判定された前後関係に基づいて、前記現実の物体を撮像した撮像画像に、前記仮想的な物体を投影した仮想画像を重畳して表示する表示制御部と、を備える、情報処理装置。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、情報処理装置、表示制御方法、およびプログラムに関する。
【背景技術】
【0002】
仮想的な試着システムとして、ユーザを撮像した撮像画像に衣服の画像を合成する試着画像生成技術が様々提案されている。
【0003】
例えば、特許文献1では、ユーザの身体画像に衣服画像を合成する処理が開示されている。具体的には、特許文献1に記載の画像処理サーバは、ユーザの身体画像に添付されている身体プロファイルデータ(身長、肩幅等)および画像における身体の向きなどの情報に基づき、衣服画像のサイズ変更および向きの調整を行い、身体画像に合成する。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開2006−304331号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかしながら、特許文献1に記載されるような試着画像生成技術では、ユーザの身体画像の上に衣服画像が合成されるので、常に現実の物体(身体)より手前に仮想的な衣服が描かれてしまう。例えばユーザの手が胴の前に位置している場合でも、手前に仮想的な衣服が描かれるので、手が仮想衣服の奥に隠れてしまう。
【0006】
このように、現実の物体と仮想的な物体との前後関係が入り組んでいる場合、適切に合成画像を生成することは困難であった。
【0007】
そこで、本開示では、現実の物体と仮想的な物体との前後関係を部分毎に判定することが可能な、新規かつ改良された情報処理装置、表示制御方法およびプログラムを提案する。
【課題を解決するための手段】
【0008】
本開示によれば、撮像された現実の物体と仮想的な物体との前後関係を、深度情報を用いて部分毎に判定する判定部と、前記判定部により判定された前後関係に基づいて、前記現実の物体を撮像した撮像画像に、前記仮想的な物体を投影した仮想画像を重畳して表示する表示制御部と、を備える情報処理装置を提案する。
【0009】
本開示によれば、撮像された現実の物体と仮想的な物体との前後関係を、深度情報を用いて部分毎に判定するステップと、前記判定するステップにより判定された前後関係に基づいて、前記現実の物体を撮像した撮像画像に、前記仮想的な物体を投影した仮想画像を重畳して表示するステップと、を含む表示制御方法を提案する。
【0010】
本開示によれば、撮像された現実の物体と仮想的な物体との前後関係を、深度情報を用いて部分毎に判定する処理と、前記判定する処理により判定された前後関係に基づいて、前記現実の物体を撮像した撮像画像に、前記仮想的な物体を投影した仮想画像を重畳して表示する処理と、をコンピュータに実行させるプログラムを提案する。
【発明の効果】
【0011】
以上説明したように本開示によれば、現実の物体と仮想的な物体との前後関係を部分毎に判定することが可能となる。
【図面の簡単な説明】
【0012】
【図1】本開示の一実施形態によるAR試着システムの概要を説明するための図である。
【図2】衣服画像の上書きの一例を説明するための図である。
【図3】衣服画像の上書きの他の例を説明するための図である。
【図4】本開示の一実施形態による情報処理装置の構成を示すブロック図である。
【図5】実空間におけるカメラと被写体の位置関係、および被写体を撮像した撮像画像を説明するための図である。
【図6】本開示の一実施形態による骨格情報を説明するための図である。
【図7】本開示の一実施形態による深度情報を説明するための図である。
【図8】仮想空間における仮想カメラと仮想衣服の位置関係、および仮想衣服を投影した仮想的な衣服画像を説明するための図である。
【図9】本開示の一実施形態によるAR試着画像表示における基本的な表示制御処理を示すフローチャートである。
【図10】本開示の一実施形態による深度情報に基づくAR試着画像の描画制御の処理を示すフローチャートである。
【図11】本開示の一実施形態によるAR試着画像の描画例を説明するための図である。
【図12】本開示の一実施形態によるAR試着画像の描画例を説明するための図である。
【発明を実施するための形態】
【0013】
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【0014】
また、説明は以下の順序で行うものとする。
1.本開示の一実施形態によるAR試着システムの概要
2.情報処理装置の構成
3.表示制御
3−1.基本的な表示制御
3−2.前後関係に応じたAR試着画像の描画
4.まとめ
【0015】
<1.本開示の一実施形態によるAR試着システムの概要>
近年、実世界に付加的な情報を重畳してユーザに呈示する拡張現実(AR:Augmented Reality)と呼ばれる技術が注目されている。AR技術においてユーザに呈示される情報は、テキスト、アイコン又はアニメーションなどの様々な形態の仮想的なオブジェクトを用いて可視化され得る。AR技術の主要な適用分野の1つは、実世界でのユーザ活動の支援である。以下では、このAR技術を試着システムに適用する。
【0016】
AR技術を利用した試着システムは、ユーザの動作に合わせて仮想的な衣服画像を重畳表示することで、リアルタイムに仮想試着を体験することができる。また、本開示の一実施形態によるAR試着システムは、現実の物体である被写体と、仮想的な物体である仮想衣服の前後関係を判定し、判定された前後関係に基づいて仮想画像を重畳表示する。
【0017】
このような本開示の一実施形態によるAR試着システムの概要を、図1を参照しながら説明する。図1に示すように、本開示の一実施形態によるAR試着システム1は、情報処理装置10、カメラ15、センサ17、および表示装置19を有する。なお、AR試着システム1が設置される場所は特に限定されない。例えば、AR試着システム1は、ユーザの自宅内に設置されてもよいし、店頭に設置されてもよい。
【0018】
また、図1に示した例では、AR試着システム1を構成する複数の装置(情報処理装置10、カメラ15、センサ17および表示装置19)が別体に構成されているが、本開示によるAR試着システム1の構成はこれに限定されない。例えば、AR試着システム1を構成する上記複数の装置のいずれかの組み合わせが一体化されていてもよい。また、例えば、AR試着システム1を構成する複数の装置は、スマートフォン、PDA(Personal Digital Assistants)、携帯電話、携帯用音楽再生装置、携帯用映像処理装置または携帯用ゲーム機器に内蔵されていてもよい。
【0019】
カメラ15(撮像装置)は、実空間に存在する物体を撮像する。実空間に存在する物体は、特に限定されないが、例えば、人物や動物などの生き物であってもよく、車庫やテレビ台などといった生き物以外であってもよい。図1に示した例では、実空間に存在する物体として被写体A(例えば、人物)がカメラ15により撮像される。カメラ15により撮像された画像(撮像画像とも称す)は表示装置19に表示される。表示装置19に表示される撮像画像は、RGB画像であってもよい。また、カメラ15は、撮像画像を情報処理装置10に送る。
【0020】
センサ17は、実空間からパラメータを検出する機能を有し、検出データを情報処理装置10に送る。例えば、センサ17が赤外線センサにより構成されている場合、センサ部17は、実空間から赤外線を検出し、赤外線量に応じた電気信号を検出データとして情報処理装置10に供給することができる。情報処理装置10は、例えば、検出データに基づいて実空間に存在する物体を認識することができる。センサ17の種類は、赤外線センサに限定されない。なお、図1に示した例では、検出データがセンサ17から情報処理装置10に供給されることとしているが、情報処理装置10に供給される検出データは、カメラ15により撮像された画像であってもよい。
【0021】
情報処理装置10は、実空間に存在する物体の認識結果に応じて、撮像画像に対して仮想オブジェクトを合成したり撮像画像を変形したりすることにより、撮像画像を処理することができる。表示装置19は、情報処理装置10により処理された画像を表示することも可能である。
【0022】
例えば、図1に示すように、情報処理装置10は、実空間の被写体Aを認識し、衣服画像を合成した試着画像を表示装置19にリアルタイムに表示させることができる。ここでは、ユーザの身体が実空間の映像であり、試着対象の衣服画像が実空間の映像に重畳表示された仮想オブジェクトである。これにより、AR試着システム1は、仮想的な試着をリアルタイムに提供することができる。
【0023】
ここで、通常、仮想的な試着システムでは、被写体を撮像した撮像画像に衣服画像を上書きするので、常に現実の物体(被写体)より手前に仮想的な物体(仮想衣服)が描かれていた。以下、このような衣服画像の上書きによる弊害について図2および図3を参照して説明する。
【0024】
図2は、衣服画像上書きの一例を説明するための図である。図2に示すように、被写体の手が胴の前に位置する場合に、仮想衣服が被写体に上書きされると、被写体の胴の前に位置する手が、仮想衣服の奥に隠れてしまい、前後関係が正しく表れない。
【0025】
また、色情報を用いて前後関係の適切な表現を試みる手法も提案されている。例えば撮像画像のうち肌色の部分には衣服画像を描画しないという手法である。これにより、被写体の胴の前に手が位置する場合に、手に仮想画像が描画されることはない。しかしながら、この手法だと被写体が肌色に近い色の服を着ている場合は上手く衣服画像を描画することは困難である。また、図3に示すように、被写体が長袖の服を着ている場合、この手法だと手の部分だけ胴の中心に浮いた状態となってしまう。
【0026】
他にも、撮像画像内の物体をセグメンテーションすることにより、前後関係の適切な表現を試みる手法も提案されている。セグメンテーションは「人」や「服」など物体単位で領域分割し、物体毎の前後関係を比較するので、例えば「『人』より『服』が手前」または「『服』より『人』が手前」のいずれかを判断することができる。しかしながら、例えば図2に示すように、手が胴の前に位置している場合、「『人』より手前に『服』が位置し、さらに手前に『人』が位置する」といった連続的な判断は困難であるの。よって、セグメンテーションを用いた手法でも、現実の物体と仮想的な物体との前後関係を正確に判定することは難しい。
【0027】
上述した手と胴のように、「人」という一つの物体において部分毎に仮想的な物体との前後関係を正しく判定することは困難であった。また、前後関係を正しく判定できない場合、結果的に仮想衣服を適切に描画できない箇所が生じ、仮想試着システムの精度が下がる要因となっていた。
【0028】
そこで、本開示の一実施形態によるAR試着システムでは、深度情報を用いて被写体と仮想衣服の前後関係を部分毎に判定し、判定された前後関係に基づいて衣服画像を重畳表示する。よって、本実施形態によるAR試着システムによれば、例えば図1に示すように、被写体Aの胴の前に手が位置する場合でも、被写体と仮想衣服の前後関係が正しい試着画像を表示装置19に表示することができる。
【0029】
<2.情報処理装置の構成>
次に、本開示によるAR試着システムを実現する情報処理装置10の構成について、図4を参照して説明する。図4に示すように、情報処理装置10は、制御部100、操作入力部120、および記憶部130を有する。制御部100は、骨格位置算出部101、表示制御部105、深度算出部113、および前後関係判定部115を有する。また、情報処理装置10には、カメラ15、センサ17および表示装置19が、有線または無線により接続されている。
【0030】
制御部100は、CPU(Central Processing Unit)またはDSP(Digital Signal Processor)などのプロセッサに相当する。制御部100は、記憶部130または他の記憶媒体に記憶されるプログラムを実行することにより、後に説明する制御部100の様々な機能を動作させる。なお、制御部100を構成する各ブロックは、全てが同一の装置に組み込まれていなくてもよく、一部が他の装置(例えば、サーバ)に組み込まれていてもよい。
【0031】
記憶部130は、半導体メモリまたはハードディスクなどの記憶媒体を用いて、情報処理装置10による処理のためのプログラムおよびデータを記憶する。例えば、制御部100としてコンピュータを機能させるためのプログラムを記憶する。さらに、例えば、記憶部130は、制御部100により使用されるデータを記憶する。また、本実施形態による記憶部130は、表示対象となる仮想オブジェクトとして、服飾品の3次元データを記憶する。本明細書において、服飾品とは、衣服または装飾品を含む。また、装飾品とは、メガネ、帽子およびベルトなどを含む。
【0032】
操作入力部120は、マウス、キーボード、タッチパネル、ボタン、マイク、スイッチ、レバーおよびリモートコントローラーなどユーザが情報を入力するための入力手段と、ユーザによる入力に基づいて入力信号を生成し、制御部100に出力する入力制御回路などから構成されている。ユーザは、操作入力部120を操作することにより、情報処理装置10の電源ON/OFFや、AR試着システムプログラムの起動などを指示したりすることができる。
【0033】
カメラ15(撮像装置)は、CCD(Charge Coupled Device)またはCMOS(Complementary Metal Oxide Semiconductor)などの撮像素子を用いて実空間を撮像することにより、撮像画像を生成する。本開示の実施形態においては、カメラ15が情報処理装置10と別体に構成されていることを想定しているが、カメラ15は、情報処理装置10の一部であってもよい。
【0034】
また、カメラ15は、撮像時におけるカメラ15の設定情報を情報処理装置10に供給する。ここで、図5に、実空間におけるカメラ15と被写体Aの位置関係、および被写体Aを撮像した撮像画像A’を説明するための図を示す。図5では、カメラ15のレンズ(不図示)の光学的な中心である主点から、カメラ15の撮像素子(不図示)までの焦点距離frealと、撮像素子に写る被写体A(3次元、xyz座標)の撮像画像A’(2次元、xy座標)を、便宜上被写体側に示す。カメラ15から被写体Aまでの距離drealは、後述するように深度情報として算出される。また、カメラ15の画角θrealは、主に焦点距離frealに応じて決定される。カメラ15は、カメラ15の設定情報として、例えば焦点距離freal(または画角θreal)および撮像画像A’の画素数(すなわちピクセル数)を、情報処理装置10に供給する。
【0035】
センサ17は、実空間からパラメータを検出する機能を有している。例えば、センサ17が赤外線センサにより構成されている場合、センサ17は、実空間から赤外線を検出し、赤外線量に応じた電気信号を検出データとして情報処理装置10に供給することができる。センサ17の種類は、赤外線センサに限定されない。なお、カメラ15により撮像された画像が検出データとして情報処理装置10に供給される場合には、センサ17は存在しなくてもよい。
【0036】
表示装置19は、LCD(Liquid Crystal Display)、OLED(Organic light−Emitting Diode)またはCRT(Cathode Ray Tube)などにより構成される表示モジュールである。本開示の実施形態においては、表示装置19が情報処理装置10と別体に構成されていることを想定しているが、表示装置19は、情報処理装置10の一部であってもよい。
【0037】
続いて、上記制御部100の機能構成について説明する。上述したように、制御部100は、骨格位置算出部101、表示制御部105、深度算出部113、および前後関係判定部115を有する。
【0038】
(骨格位置算出部101)
骨格位置算出部101は、検出データに基づいて撮像画像に映る物体の骨格位置を算出する。撮像画像に映る物体の実空間上の骨格位置を算出する手法は特に限定されない。例えば、骨格位置算出部101は、まず、撮像画像において物体の存在する領域(以下、「物体存在領域」とも称す。)を認識するとともに、深度算出部113から撮像画像内の物体の深度情報を取得する。そして、骨格位置算出部101は、物体存在領域の深度と形(特徴量)に基づいて、撮像画像に映る物体の実空間上の部位(頭、左肩、右肩、腹部など)を認識し、各部位における中心位置を骨格位置として算出してもよい。ここで、骨格位置算出部101は、記憶部130に記憶された特徴量辞書を用いて、撮像画像から決定される特徴量を、当該特徴量辞書に予め登録された物体の部位ごとの特徴量と照合することにより、撮像画像に含まれる物体の部位を認識することができる。
【0039】
物体存在領域を認識する手法としては様々な手法が想定される。例えば、撮像画像が検出データとして情報処理装置10に供給された場合には、骨格位置算出部101は、物体が映る前の撮像画像と物体が映っている撮像画像との差分値に基づいて、物体存在領域を認識することができる。より詳細には、骨格位置算出部101は、物体が映る前の撮像画像と物体が映っている撮像画像との差分値が閾値を超える領域を、物体存在領域として認識することができる。
【0040】
また、例えば、センサ17により検出されたパラメータが検出データとして情報処理装置10に供給された場合には、骨格位置算出部101は、検出データに基づいて、物体存在領域を認識することができる。より詳細には、骨格位置算出部101は、検出される赤外線量が閾値を超える領域を、物体存在領域として認識することができる。
【0041】
以上説明した各手法により取得した物体存在領域の深度と形(特徴量)に基づいて、骨格位置算出部101は、撮像画像に映る物体の実空間上の部位(頭、肩など)を認識し、各部位の骨格位置の座標を算出する。次に、骨格位置算出部101が算出した被写体Aを構成する1以上の部位の骨格位置を含む骨格情報について図6を参照して説明する。
【0042】
図6は、骨格情報を説明するための図である。図6に示した例では、骨格情報は、被写体Aを構成する15の部位の位置を示す座標B1〜B3、B6、B7、B9、B12、B13、B15、B17、B18、B20〜B22、B24として示されているが、骨格情報に含まれる部位の数は特に限定されない。
【0043】
なお、座標B1は「Head」の座標を示し、座標B2は「Neck」の座標を示し、座標B3は「Torso」の座標を示し、座標B6は「Right Shoulder」の座標を示し、座標B7は「Right Elbow」の座標を示している。また、座標B9は「Right Hand」の座標を示し、座標B12は「Left Shoulder」の座標を示し、座標B13は「Left Elbow」の座標を示し、座標B15は「Left Hand」の座標を示している。
【0044】
座標B17は「Right Hip」の座標を示し、座標B18は「Right Knee」の座標を示し、座標B20は「Right Foot」の座標を示し、座標B21は「left Hip」の座標を示している。座標B22は「Left Knee」の座標を示し、座標B24は「Left Foot」の座標を示している。
【0045】
(深度算出部113)
深度算出部113は、検出データに基づいて撮像画像内の物体の深度情報を算出する。撮像画像に写る物体の実空間上の深度(ここでは、カメラ15からの距離)を算出する手法は特に限定されず、様々な手法が想定される。
【0046】
例えば、深度算出部113は、撮像画像内の物体の深度情報を、センサ17により検出されたパラメータに基づいて算出することも可能である。より詳細には、深度算出部113は、図示しない照射装置から赤外線などの光を物体に向けて照射した場合に、センサ17により検出された光を解析することにより、撮像画像内の物体の深度情報を算出することができる。
【0047】
また、例えば深度算出部113は、センサ17により検出された光の位相遅れに基づいて、撮像画像内の物体の深度情報を算出することができる。この手法は、TOF(Time Of Flight)方式とも言われる。あるいは、図示しない照射装置から照射される光が既知のパターンから構成される場合には、深度算出部113は、センサ17により検出された光を構成するパターンの歪み具合を解析することにより、撮像画像内の物体の深度情報を算出してもよい。
【0048】
以上、制御部100が有する深度算出部113について説明した。ここで、撮像画像内の物体の深度情報を算出する機能を有する撮像装置はデプスカメラと称され、ステレオカメラやレーザーレンジスキャナにより実現され得る。情報処理装置10がデプスカメラ等の外部装置から深度情報を取得できる場合、深度算出部113は存在しなくてもよい。
【0049】
次に、深度算出部113により算出された、またはデプスカメラ等から取得した深度情報について説明する。深度情報は、例えば撮像画像のピクセル毎に実寸法(センチメートル単位)で取得される。図7は、このような深度情報を画像化した図である。図7に示す画像では、濃淡の差によって深度の深さを表している。具体的には、深度が深い(カメラ15からの距離が遠い)ほど白く表示し、深度が浅い(カメラ15からの距離が近い)ほど黒く表示する。このように、撮像画像内の深度情報は、ピクセル毎に実寸法(センチメートル単位)で取得することもできる。
【0050】
(前後関係判定部115)
前後関係判定部115は、撮像された現実の物体と仮想的な物体との前後関係を、深度情報を用いて部分毎に判定する。
【0051】
より具体的には、例えば前後関係判定部115は、撮像画像内の物体の深度情報(図5に示す距離dreal参照。)と、仮想画像内の物体の深度情報(図8に示す距離dvertual参照。)を比較することにより、ピクセル(画素)毎の前後関係を判定する。
【0052】
また、前後関係判定部115は、撮像画像内の物体の深度情報を深度算出部113から取得し、仮想画像内の物体の深度情報を表示制御部105から取得してもよい。
【0053】
ここで、深度が小さい(浅い)ほど、カメラから物体までの距離は近いと言える。また、深度が大きい(深い)ほど、カメラから物体の距離が遠いといえる。よって、本実施形態による前後関係判定部115は、撮像画像内の物体の深度情報と、仮想画像内の物体の深度情報を比較し、深度が小さい方の物体が手前に位置し、深度が大きい方の物体が後ろに位置すると判定する。また、前後関係判定部115は、判定結果を表示制御部105に出力する。
【0054】
(表示制御部105)
表示制御部105は、撮像画像に映る被写体に仮想衣服を重畳表示したAR試着画像を生成し、表示装置19に表示させる制御を行う。また、本実施形態による表示制御部105は、前後関係判定部115により判定された撮像画像内の物体(例えば被写体A)と仮想的な物体(例えば仮想衣服C)の部分毎の前後関係に基づいて、仮想画像を重畳表示する。これにより、本実施形態による表示制御部105は、被写体Aと仮想衣服Cの前後関係が入り組んでいる場合でも、正しいAR試着画像を表示制御することができる。
【0055】
ここで、撮像画像に重畳する仮想画像の生成について、図8を参照して説明する。図8は、仮想空間における仮想カメラ25と仮想衣服Cの位置関係、および仮想衣服Cを投影(レンダリング)した仮想的な衣服画像C’(仮想画像とも称す)を説明するための図を示す。図8では、図5に示す実空間を撮像した撮像画像A’と同様に、レンダリングした仮想的な衣服画像C’を、仮想衣服側に示す。
【0056】
仮想カメラ25の設定(内部パラメータ)は、実空間を撮像するカメラ15の設定(内部パラメータ)に合わせて決定される。カメラの設定(内部パラメータ)とは、例えば、焦点距離f、画角θおよび画素数等である。表示制御部105は、仮想カメラ25の設定を、実空間のカメラ15と一致するよう設定する(初期化とも称す)。
【0057】
次に、表示制御部105は、撮像画像内の物体の深度情報に基づいて、実空間におけるカメラ15から被写体Aまでの距離drealと同じ距離dvertualだけ仮想カメラ25から離れた位置に、被写体の骨格位置に合わせて仮想衣服Cを配置する。表示制御部105は、仮想衣服Cを、予めモデリングされた3次元データに基づいて生成してもよい。また、表示制御部105は、例えば図8に示すように、仮想衣服Cの表面を三角形のポリゴンの集合により構成することで、仮想衣服の3次元形状をよりリアルに表現することができる。また、被写体Aの骨格位置が時間経過と共に変化する場合、表示制御部105は、骨格位置をトラッキングするよう仮想衣服Cの配置を変化させることができる。
【0058】
次に、表示制御部105は、仮想カメラ25でレンダリング、すなわち3次元の衣服画像Cを2次元の平面画像に投影することで、仮想的な衣服画像C’(仮想画像)を取得する。
【0059】
そして、表示制御部105は、撮像画像A’(図5参照)に衣服画像C’を重畳表示する際、衣服画像C’の描画の有無を、前後関係判定部115による判定結果に基づき、部分(例えばピクセル)毎に制御する。なお、表示制御部105による表示制御については、次の<3.表示制御>において詳細に説明する。
【0060】
以上、本開示の一実施形態によるAR試着システムを実現する情報処理装置10の構成について詳細に説明した。続いて、情報処理装置10によるAR試着画像の表示制御について説明する。
【0061】
<3.表示制御>
[3−1.基本的な表示制御]
図9は、情報処理装置10によるAR試着画像の基本的な表示制御処理を示すフローチャートである。図9に示すように、まず、ステップS110において、表示制御部105は、仮想空間における仮想カメラ25の設定を、実空間のカメラ15の設定に一致させる初期化を行う。
【0062】
次いで、ステップS113において、骨格位置算出部101は、撮像した実空間における被写体Aの骨格位置(xyz座標)を算出し、表示制御部105に出力する。
【0063】
次に、ステップS116において、表示制御部105は、仮想空間において、仮想衣服Cを被写体Aの骨格位置(xyz座標)に合わせて配置する。
【0064】
そして、ステップS119において、表示制御部105は、仮想衣服Cをレンダリングして衣服画像C’(仮想画像)を取得し、衣服画像C’を撮像画像A’に重ねてAR試着画像を描画し、表示装置19に表示するよう制御する(AR表示制御)。
【0065】
また、情報処理装置10は、ステップS122において、終了指示がなされるまで上記ステップS113からS119を繰り返し行う。これにより、情報処理装置10は、被写体Aの動きをトラッキングするAR試着画像をリアルタイムで提供することができる。
【0066】
以上、基本的な表示制御処理について説明した。なお、本実施形態による情報処理装置10は、上記ステップS119において、被写体Aと仮想衣服Cの前後関係に基づいてAR試着画像の描画を制御する。以下、本実施形態による前後関係に応じたAR試着画像の描画について図10を参照して具体的に説明する。
【0067】
[3−2.前後関係に応じたAR試着画像の描画]
図10は、本実施形態の情報処理装置10による深度情報に基づくAR試着画像の描画制御の処理を示すフローチャートである。より具体的には、図10では、図9に示すステップS119の表示制御において、表示制御部105が、撮像画像A’に重畳表示する衣服画像C’の描画の有無を、前後関係判定部115による判定結果に基づき、部分(例えばピクセル)毎に制御する処理を示す。
【0068】
まず、図10のステップS125において、表示制御部105は、図8に示すように、仮想衣服Cの3次元座標P(x,y,z)に基づいて、仮想画像C’の任意の座標p(x,y)を算出する。例えば表示制御部105は、カメラ15の内部パラメータから求められる射影行列を3次元座標P(x,y,z)に掛けることで、画像平面上の2次元座標p(x,y)を算出することができる。
【0069】
次に、ステップS127において、表示制御部105は、図8に示すように、仮想カメラ25から仮想衣服Cの座標P(x,y,z)までの仮想空間における距離dvertualを算出する。また、表示制御部105は、算出した2次元座標p(x,y)、および距離dvertualを前後関係判定部115に出力する。
【0070】
次いで、ステップS128において、前後関係判定部115は、衣服画像C’(仮想画像)の2次元座標p(x、y)に相当する撮像画像A’の2次元座標o(x,y)における実空間の深度(図5に示す距離dreal参照)を取得する。具体的には、例えば深度算出部113が算出した図7に示すようなピクセル(2次元座標)毎の深度情報に基づき、衣服画像C’の2次元座標pに相当する撮像画像A’の2次元座標o(x,y)における深度を取得する。ここでは、図5に示すように、カメラ15から被写体Aの3次元座標O(x,y,z)までの距離drealを取得する。
【0071】
続いて、ステップS131において、前後関係判定部115は、仮想空間の距離dvertualと、実空間の距離drealを比較する。前後関係判定部115は、距離dvertualが距離drealより小さかった場合、仮想衣服Cが被写体Aより前(近く)に位置すると判定し、処理はステップS134に進む。また、前後関係判定部115は、距離dvertualが距離drealより大きかった場合、仮想衣服Cが被写体Aより後ろ(遠く)に位置すると判定し、処理はステップS137に進む。このように、前後関係判定部115は、部分毎に(座標毎に)被写体Aと仮想衣服Cの前後関係を判定することができる。
【0072】
次に、ステップS134において、表示制御部105は、前後関係判定部115により仮想衣服Cが被写体Aより前に位置すると判定された場合、撮像画像A’の座標oのピクセル上に、仮想画像C’の座標pのピクセルを描画する。
【0073】
一方、ステップS137において、表示制御部105は、前後関係判定部115により仮想衣服Cが被写体Aより後ろに位置すると判定された場合、撮像画像A’の座標oのピクセル上には仮想画像C’の座標pのピクセルを描画しない。
【0074】
以上説明したステップS125〜S137の処理は、撮像画像A’に重畳表示する衣服画像C’の全てのピクセル(座標)毎に行われる。これにより、表示制御部105は、被写体Aと仮想衣服Cの前後関係が入り組んでいる場合であっても、正しくAR試着画像を描画することができる。本実施形態の表示制御部105によるAR試着画像の描画例を
【0075】
(AR試着画像の描画例)
続いて、本実施形態の表示制御部105によるAR試着画像の描画例を図11および図12に示す。
【0076】
図11に示すように、被写体Aの手が胴の手前に位置する場合でも、仮想衣服Cを重畳表示(合成)する際に、部分毎に前後関係が判定されるので、図2に示した通常の合成と異なり、胴の手前に位置する被写体Aの手には仮想衣服Cが描画されない。
【0077】
また、図12に示すように、被写体Aが長袖を着用し、胴の手前に手が位置する場合でも、図3を用いて上述した色情報に基づく合成と異なり、本実施形態では部分毎に前後関係が判定されるので、胴の手前に位置する被写体Aの手には仮想衣服Cが描画されない。
【0078】
<4.まとめ>
上述したように、本開示の一実施形態によるAR試着システムによれば、撮像画像内の被写体Aの深度と、仮想画像内の仮想衣服Cの深度とを部分毎に比較することにより、被写体Aと仮想衣服Cの前後関係を部分毎に判定することができる。また、本実施形態によるAR試着システムは、かかる判定結果に基づいて、被写体Aと仮想衣服Cの前後関係が正しく表現されたAR試着画像を描画することができる。
【0079】
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本技術はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属
するものと了解される。
【0080】
例えば、上述したAR試着システムでは、前後関係が入り組んだ状態として、主に被写体Aの胴の手前に被写体Aの手が位置する場合を例として説明したが、これに限らず、例えば被写体Aがバッグなどを体の前で持っている場合にも適用できる。また、被写体Aの前に障害物(他の人、柱、箱など)がある場合にも適用できる。
【0081】
また、上述したAR試着システムでは、主に仮想衣服の試着を例として説明したが、試着対象は衣服に限らず、例えばメガネ、帽子およびベルトなどの装飾品であってもよい。
【0082】
また、上述したAR試着システムでは、被写体が人物の場合について説明したが、被写体は人物に限定されず、例えば犬や猫などの動物であってもよい。この場合、動物を撮像した撮像画像に、例えばペット用の衣服画像を重畳表示するAR試着システムを提供することができる。
【0083】
また、現実の物体と仮想的な物体との前後関係を、深度情報を利用して部分毎に判定し、判定された前後関係に基づきAR表示制御を行う本実施形態による技術は、上述したAR試着システムに限定されず、その他様々なAR表示制御に当然に適用可能である。
【0084】
なお、本技術は以下のような構成も取ることができる。
(1)
撮像された現実の物体と仮想的な物体との前後関係を、深度情報を用いて部分毎に判定する判定部と、
前記判定部により判定された前後関係に基づいて、前記現実の物体を撮像した撮像画像に、前記仮想的な物体を投影した仮想画像を重畳して表示する表示制御部と、
を備える、情報処理装置。
(2)
前記判定部は、前記現実の物体の深度と前記仮想的な物体の深度とを比較し、深度の大小に応じて前後の位置関係を判定する、前記(1)に記載の情報処理装置。
(3)
前記情報処理装置は、
実空間から検出された検出データに基づき、撮像された被写体の深度を算出する深度算出部を備え、
前記判定部は、前記深度算出部により算出された前記被写体の深度と、仮想的な服飾品の深度とを比較することにより、部分毎に前後関係を判定し、
前記表示制御部は、前記判定部により判定した前後関係に基づいて、前記被写体を撮像した撮像画像に、前記服飾品を投影した仮想的な服飾画像を重畳表示する、前記(1)または(2)に記載の情報処理装置。
(4)
前記表示制御部は、前記判定部によるピクセル毎の前後関係の判定結果に基づいて、前記仮想的な服飾画像のピクセル毎の描画の有無を制御する、前記(3)に記載の情報処理装置。
(5)
撮像された現実の物体と仮想的な物体との前後関係を、深度情報を用いて部分毎に判定するステップと、
前記判定するステップにより判定された前後関係に基づいて、前記現実の物体を撮像した撮像画像に、前記仮想的な物体を投影した仮想画像を重畳して表示するステップと、
を含む、表示制御方法。
(6)
撮像された現実の物体と仮想的な物体との前後関係を、深度情報を用いて部分毎に判定する処理と、
前記判定する処理により判定された前後関係に基づいて、前記現実の物体を撮像した撮像画像に、前記仮想的な物体を投影した仮想画像を重畳して表示する処理と、
をコンピュータに実行させる、プログラム。
(7)
前記判定する処理は、前記現実の物体の深度と前記仮想的な物体の深度とを比較し、深度の大小に応じて前後の位置関係を判定する、前記(6)に記載のプログラム。
(8)
前記プログラムは、
実空間から検出された検出データに基づき、撮像された被写体の深度を算出する処理をさらに前記コンピュータに実行させ、
前記判定する処理は、前記深度を算出する処理により算出された前記被写体の深度と、仮想的な服飾品の深度とを比較することにより、部分毎に前後関係を判定し、
前記表示する処理は、前記判定する処理により判定した前後関係に基づいて、前記被写体を撮像した撮像画像に、前記服飾品を投影した仮想的な服飾画像を重畳表示する、前記(6)または(7)に記載のプログラム。
(9)
前記表示する処理は、前記判定する処理によるピクセル毎の前後関係の判定結果に基づいて、前記仮想的な服飾画像のピクセル毎の描画の有無を制御する、前記(8)に記載のプログラム。
【符号の説明】
【0085】
10 情報処理装置
15 カメラ
17 センサ
19 表示装置
100 制御部
101 骨格位置算出部
105 表示制御部
113 深度算出部
115 前後関係判定部
120 操作入力部
130 記憶部
A 被写体
B 座標(骨格位置)
C 仮想衣服
【技術分野】
【0001】
本開示は、情報処理装置、表示制御方法、およびプログラムに関する。
【背景技術】
【0002】
仮想的な試着システムとして、ユーザを撮像した撮像画像に衣服の画像を合成する試着画像生成技術が様々提案されている。
【0003】
例えば、特許文献1では、ユーザの身体画像に衣服画像を合成する処理が開示されている。具体的には、特許文献1に記載の画像処理サーバは、ユーザの身体画像に添付されている身体プロファイルデータ(身長、肩幅等)および画像における身体の向きなどの情報に基づき、衣服画像のサイズ変更および向きの調整を行い、身体画像に合成する。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開2006−304331号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかしながら、特許文献1に記載されるような試着画像生成技術では、ユーザの身体画像の上に衣服画像が合成されるので、常に現実の物体(身体)より手前に仮想的な衣服が描かれてしまう。例えばユーザの手が胴の前に位置している場合でも、手前に仮想的な衣服が描かれるので、手が仮想衣服の奥に隠れてしまう。
【0006】
このように、現実の物体と仮想的な物体との前後関係が入り組んでいる場合、適切に合成画像を生成することは困難であった。
【0007】
そこで、本開示では、現実の物体と仮想的な物体との前後関係を部分毎に判定することが可能な、新規かつ改良された情報処理装置、表示制御方法およびプログラムを提案する。
【課題を解決するための手段】
【0008】
本開示によれば、撮像された現実の物体と仮想的な物体との前後関係を、深度情報を用いて部分毎に判定する判定部と、前記判定部により判定された前後関係に基づいて、前記現実の物体を撮像した撮像画像に、前記仮想的な物体を投影した仮想画像を重畳して表示する表示制御部と、を備える情報処理装置を提案する。
【0009】
本開示によれば、撮像された現実の物体と仮想的な物体との前後関係を、深度情報を用いて部分毎に判定するステップと、前記判定するステップにより判定された前後関係に基づいて、前記現実の物体を撮像した撮像画像に、前記仮想的な物体を投影した仮想画像を重畳して表示するステップと、を含む表示制御方法を提案する。
【0010】
本開示によれば、撮像された現実の物体と仮想的な物体との前後関係を、深度情報を用いて部分毎に判定する処理と、前記判定する処理により判定された前後関係に基づいて、前記現実の物体を撮像した撮像画像に、前記仮想的な物体を投影した仮想画像を重畳して表示する処理と、をコンピュータに実行させるプログラムを提案する。
【発明の効果】
【0011】
以上説明したように本開示によれば、現実の物体と仮想的な物体との前後関係を部分毎に判定することが可能となる。
【図面の簡単な説明】
【0012】
【図1】本開示の一実施形態によるAR試着システムの概要を説明するための図である。
【図2】衣服画像の上書きの一例を説明するための図である。
【図3】衣服画像の上書きの他の例を説明するための図である。
【図4】本開示の一実施形態による情報処理装置の構成を示すブロック図である。
【図5】実空間におけるカメラと被写体の位置関係、および被写体を撮像した撮像画像を説明するための図である。
【図6】本開示の一実施形態による骨格情報を説明するための図である。
【図7】本開示の一実施形態による深度情報を説明するための図である。
【図8】仮想空間における仮想カメラと仮想衣服の位置関係、および仮想衣服を投影した仮想的な衣服画像を説明するための図である。
【図9】本開示の一実施形態によるAR試着画像表示における基本的な表示制御処理を示すフローチャートである。
【図10】本開示の一実施形態による深度情報に基づくAR試着画像の描画制御の処理を示すフローチャートである。
【図11】本開示の一実施形態によるAR試着画像の描画例を説明するための図である。
【図12】本開示の一実施形態によるAR試着画像の描画例を説明するための図である。
【発明を実施するための形態】
【0013】
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【0014】
また、説明は以下の順序で行うものとする。
1.本開示の一実施形態によるAR試着システムの概要
2.情報処理装置の構成
3.表示制御
3−1.基本的な表示制御
3−2.前後関係に応じたAR試着画像の描画
4.まとめ
【0015】
<1.本開示の一実施形態によるAR試着システムの概要>
近年、実世界に付加的な情報を重畳してユーザに呈示する拡張現実(AR:Augmented Reality)と呼ばれる技術が注目されている。AR技術においてユーザに呈示される情報は、テキスト、アイコン又はアニメーションなどの様々な形態の仮想的なオブジェクトを用いて可視化され得る。AR技術の主要な適用分野の1つは、実世界でのユーザ活動の支援である。以下では、このAR技術を試着システムに適用する。
【0016】
AR技術を利用した試着システムは、ユーザの動作に合わせて仮想的な衣服画像を重畳表示することで、リアルタイムに仮想試着を体験することができる。また、本開示の一実施形態によるAR試着システムは、現実の物体である被写体と、仮想的な物体である仮想衣服の前後関係を判定し、判定された前後関係に基づいて仮想画像を重畳表示する。
【0017】
このような本開示の一実施形態によるAR試着システムの概要を、図1を参照しながら説明する。図1に示すように、本開示の一実施形態によるAR試着システム1は、情報処理装置10、カメラ15、センサ17、および表示装置19を有する。なお、AR試着システム1が設置される場所は特に限定されない。例えば、AR試着システム1は、ユーザの自宅内に設置されてもよいし、店頭に設置されてもよい。
【0018】
また、図1に示した例では、AR試着システム1を構成する複数の装置(情報処理装置10、カメラ15、センサ17および表示装置19)が別体に構成されているが、本開示によるAR試着システム1の構成はこれに限定されない。例えば、AR試着システム1を構成する上記複数の装置のいずれかの組み合わせが一体化されていてもよい。また、例えば、AR試着システム1を構成する複数の装置は、スマートフォン、PDA(Personal Digital Assistants)、携帯電話、携帯用音楽再生装置、携帯用映像処理装置または携帯用ゲーム機器に内蔵されていてもよい。
【0019】
カメラ15(撮像装置)は、実空間に存在する物体を撮像する。実空間に存在する物体は、特に限定されないが、例えば、人物や動物などの生き物であってもよく、車庫やテレビ台などといった生き物以外であってもよい。図1に示した例では、実空間に存在する物体として被写体A(例えば、人物)がカメラ15により撮像される。カメラ15により撮像された画像(撮像画像とも称す)は表示装置19に表示される。表示装置19に表示される撮像画像は、RGB画像であってもよい。また、カメラ15は、撮像画像を情報処理装置10に送る。
【0020】
センサ17は、実空間からパラメータを検出する機能を有し、検出データを情報処理装置10に送る。例えば、センサ17が赤外線センサにより構成されている場合、センサ部17は、実空間から赤外線を検出し、赤外線量に応じた電気信号を検出データとして情報処理装置10に供給することができる。情報処理装置10は、例えば、検出データに基づいて実空間に存在する物体を認識することができる。センサ17の種類は、赤外線センサに限定されない。なお、図1に示した例では、検出データがセンサ17から情報処理装置10に供給されることとしているが、情報処理装置10に供給される検出データは、カメラ15により撮像された画像であってもよい。
【0021】
情報処理装置10は、実空間に存在する物体の認識結果に応じて、撮像画像に対して仮想オブジェクトを合成したり撮像画像を変形したりすることにより、撮像画像を処理することができる。表示装置19は、情報処理装置10により処理された画像を表示することも可能である。
【0022】
例えば、図1に示すように、情報処理装置10は、実空間の被写体Aを認識し、衣服画像を合成した試着画像を表示装置19にリアルタイムに表示させることができる。ここでは、ユーザの身体が実空間の映像であり、試着対象の衣服画像が実空間の映像に重畳表示された仮想オブジェクトである。これにより、AR試着システム1は、仮想的な試着をリアルタイムに提供することができる。
【0023】
ここで、通常、仮想的な試着システムでは、被写体を撮像した撮像画像に衣服画像を上書きするので、常に現実の物体(被写体)より手前に仮想的な物体(仮想衣服)が描かれていた。以下、このような衣服画像の上書きによる弊害について図2および図3を参照して説明する。
【0024】
図2は、衣服画像上書きの一例を説明するための図である。図2に示すように、被写体の手が胴の前に位置する場合に、仮想衣服が被写体に上書きされると、被写体の胴の前に位置する手が、仮想衣服の奥に隠れてしまい、前後関係が正しく表れない。
【0025】
また、色情報を用いて前後関係の適切な表現を試みる手法も提案されている。例えば撮像画像のうち肌色の部分には衣服画像を描画しないという手法である。これにより、被写体の胴の前に手が位置する場合に、手に仮想画像が描画されることはない。しかしながら、この手法だと被写体が肌色に近い色の服を着ている場合は上手く衣服画像を描画することは困難である。また、図3に示すように、被写体が長袖の服を着ている場合、この手法だと手の部分だけ胴の中心に浮いた状態となってしまう。
【0026】
他にも、撮像画像内の物体をセグメンテーションすることにより、前後関係の適切な表現を試みる手法も提案されている。セグメンテーションは「人」や「服」など物体単位で領域分割し、物体毎の前後関係を比較するので、例えば「『人』より『服』が手前」または「『服』より『人』が手前」のいずれかを判断することができる。しかしながら、例えば図2に示すように、手が胴の前に位置している場合、「『人』より手前に『服』が位置し、さらに手前に『人』が位置する」といった連続的な判断は困難であるの。よって、セグメンテーションを用いた手法でも、現実の物体と仮想的な物体との前後関係を正確に判定することは難しい。
【0027】
上述した手と胴のように、「人」という一つの物体において部分毎に仮想的な物体との前後関係を正しく判定することは困難であった。また、前後関係を正しく判定できない場合、結果的に仮想衣服を適切に描画できない箇所が生じ、仮想試着システムの精度が下がる要因となっていた。
【0028】
そこで、本開示の一実施形態によるAR試着システムでは、深度情報を用いて被写体と仮想衣服の前後関係を部分毎に判定し、判定された前後関係に基づいて衣服画像を重畳表示する。よって、本実施形態によるAR試着システムによれば、例えば図1に示すように、被写体Aの胴の前に手が位置する場合でも、被写体と仮想衣服の前後関係が正しい試着画像を表示装置19に表示することができる。
【0029】
<2.情報処理装置の構成>
次に、本開示によるAR試着システムを実現する情報処理装置10の構成について、図4を参照して説明する。図4に示すように、情報処理装置10は、制御部100、操作入力部120、および記憶部130を有する。制御部100は、骨格位置算出部101、表示制御部105、深度算出部113、および前後関係判定部115を有する。また、情報処理装置10には、カメラ15、センサ17および表示装置19が、有線または無線により接続されている。
【0030】
制御部100は、CPU(Central Processing Unit)またはDSP(Digital Signal Processor)などのプロセッサに相当する。制御部100は、記憶部130または他の記憶媒体に記憶されるプログラムを実行することにより、後に説明する制御部100の様々な機能を動作させる。なお、制御部100を構成する各ブロックは、全てが同一の装置に組み込まれていなくてもよく、一部が他の装置(例えば、サーバ)に組み込まれていてもよい。
【0031】
記憶部130は、半導体メモリまたはハードディスクなどの記憶媒体を用いて、情報処理装置10による処理のためのプログラムおよびデータを記憶する。例えば、制御部100としてコンピュータを機能させるためのプログラムを記憶する。さらに、例えば、記憶部130は、制御部100により使用されるデータを記憶する。また、本実施形態による記憶部130は、表示対象となる仮想オブジェクトとして、服飾品の3次元データを記憶する。本明細書において、服飾品とは、衣服または装飾品を含む。また、装飾品とは、メガネ、帽子およびベルトなどを含む。
【0032】
操作入力部120は、マウス、キーボード、タッチパネル、ボタン、マイク、スイッチ、レバーおよびリモートコントローラーなどユーザが情報を入力するための入力手段と、ユーザによる入力に基づいて入力信号を生成し、制御部100に出力する入力制御回路などから構成されている。ユーザは、操作入力部120を操作することにより、情報処理装置10の電源ON/OFFや、AR試着システムプログラムの起動などを指示したりすることができる。
【0033】
カメラ15(撮像装置)は、CCD(Charge Coupled Device)またはCMOS(Complementary Metal Oxide Semiconductor)などの撮像素子を用いて実空間を撮像することにより、撮像画像を生成する。本開示の実施形態においては、カメラ15が情報処理装置10と別体に構成されていることを想定しているが、カメラ15は、情報処理装置10の一部であってもよい。
【0034】
また、カメラ15は、撮像時におけるカメラ15の設定情報を情報処理装置10に供給する。ここで、図5に、実空間におけるカメラ15と被写体Aの位置関係、および被写体Aを撮像した撮像画像A’を説明するための図を示す。図5では、カメラ15のレンズ(不図示)の光学的な中心である主点から、カメラ15の撮像素子(不図示)までの焦点距離frealと、撮像素子に写る被写体A(3次元、xyz座標)の撮像画像A’(2次元、xy座標)を、便宜上被写体側に示す。カメラ15から被写体Aまでの距離drealは、後述するように深度情報として算出される。また、カメラ15の画角θrealは、主に焦点距離frealに応じて決定される。カメラ15は、カメラ15の設定情報として、例えば焦点距離freal(または画角θreal)および撮像画像A’の画素数(すなわちピクセル数)を、情報処理装置10に供給する。
【0035】
センサ17は、実空間からパラメータを検出する機能を有している。例えば、センサ17が赤外線センサにより構成されている場合、センサ17は、実空間から赤外線を検出し、赤外線量に応じた電気信号を検出データとして情報処理装置10に供給することができる。センサ17の種類は、赤外線センサに限定されない。なお、カメラ15により撮像された画像が検出データとして情報処理装置10に供給される場合には、センサ17は存在しなくてもよい。
【0036】
表示装置19は、LCD(Liquid Crystal Display)、OLED(Organic light−Emitting Diode)またはCRT(Cathode Ray Tube)などにより構成される表示モジュールである。本開示の実施形態においては、表示装置19が情報処理装置10と別体に構成されていることを想定しているが、表示装置19は、情報処理装置10の一部であってもよい。
【0037】
続いて、上記制御部100の機能構成について説明する。上述したように、制御部100は、骨格位置算出部101、表示制御部105、深度算出部113、および前後関係判定部115を有する。
【0038】
(骨格位置算出部101)
骨格位置算出部101は、検出データに基づいて撮像画像に映る物体の骨格位置を算出する。撮像画像に映る物体の実空間上の骨格位置を算出する手法は特に限定されない。例えば、骨格位置算出部101は、まず、撮像画像において物体の存在する領域(以下、「物体存在領域」とも称す。)を認識するとともに、深度算出部113から撮像画像内の物体の深度情報を取得する。そして、骨格位置算出部101は、物体存在領域の深度と形(特徴量)に基づいて、撮像画像に映る物体の実空間上の部位(頭、左肩、右肩、腹部など)を認識し、各部位における中心位置を骨格位置として算出してもよい。ここで、骨格位置算出部101は、記憶部130に記憶された特徴量辞書を用いて、撮像画像から決定される特徴量を、当該特徴量辞書に予め登録された物体の部位ごとの特徴量と照合することにより、撮像画像に含まれる物体の部位を認識することができる。
【0039】
物体存在領域を認識する手法としては様々な手法が想定される。例えば、撮像画像が検出データとして情報処理装置10に供給された場合には、骨格位置算出部101は、物体が映る前の撮像画像と物体が映っている撮像画像との差分値に基づいて、物体存在領域を認識することができる。より詳細には、骨格位置算出部101は、物体が映る前の撮像画像と物体が映っている撮像画像との差分値が閾値を超える領域を、物体存在領域として認識することができる。
【0040】
また、例えば、センサ17により検出されたパラメータが検出データとして情報処理装置10に供給された場合には、骨格位置算出部101は、検出データに基づいて、物体存在領域を認識することができる。より詳細には、骨格位置算出部101は、検出される赤外線量が閾値を超える領域を、物体存在領域として認識することができる。
【0041】
以上説明した各手法により取得した物体存在領域の深度と形(特徴量)に基づいて、骨格位置算出部101は、撮像画像に映る物体の実空間上の部位(頭、肩など)を認識し、各部位の骨格位置の座標を算出する。次に、骨格位置算出部101が算出した被写体Aを構成する1以上の部位の骨格位置を含む骨格情報について図6を参照して説明する。
【0042】
図6は、骨格情報を説明するための図である。図6に示した例では、骨格情報は、被写体Aを構成する15の部位の位置を示す座標B1〜B3、B6、B7、B9、B12、B13、B15、B17、B18、B20〜B22、B24として示されているが、骨格情報に含まれる部位の数は特に限定されない。
【0043】
なお、座標B1は「Head」の座標を示し、座標B2は「Neck」の座標を示し、座標B3は「Torso」の座標を示し、座標B6は「Right Shoulder」の座標を示し、座標B7は「Right Elbow」の座標を示している。また、座標B9は「Right Hand」の座標を示し、座標B12は「Left Shoulder」の座標を示し、座標B13は「Left Elbow」の座標を示し、座標B15は「Left Hand」の座標を示している。
【0044】
座標B17は「Right Hip」の座標を示し、座標B18は「Right Knee」の座標を示し、座標B20は「Right Foot」の座標を示し、座標B21は「left Hip」の座標を示している。座標B22は「Left Knee」の座標を示し、座標B24は「Left Foot」の座標を示している。
【0045】
(深度算出部113)
深度算出部113は、検出データに基づいて撮像画像内の物体の深度情報を算出する。撮像画像に写る物体の実空間上の深度(ここでは、カメラ15からの距離)を算出する手法は特に限定されず、様々な手法が想定される。
【0046】
例えば、深度算出部113は、撮像画像内の物体の深度情報を、センサ17により検出されたパラメータに基づいて算出することも可能である。より詳細には、深度算出部113は、図示しない照射装置から赤外線などの光を物体に向けて照射した場合に、センサ17により検出された光を解析することにより、撮像画像内の物体の深度情報を算出することができる。
【0047】
また、例えば深度算出部113は、センサ17により検出された光の位相遅れに基づいて、撮像画像内の物体の深度情報を算出することができる。この手法は、TOF(Time Of Flight)方式とも言われる。あるいは、図示しない照射装置から照射される光が既知のパターンから構成される場合には、深度算出部113は、センサ17により検出された光を構成するパターンの歪み具合を解析することにより、撮像画像内の物体の深度情報を算出してもよい。
【0048】
以上、制御部100が有する深度算出部113について説明した。ここで、撮像画像内の物体の深度情報を算出する機能を有する撮像装置はデプスカメラと称され、ステレオカメラやレーザーレンジスキャナにより実現され得る。情報処理装置10がデプスカメラ等の外部装置から深度情報を取得できる場合、深度算出部113は存在しなくてもよい。
【0049】
次に、深度算出部113により算出された、またはデプスカメラ等から取得した深度情報について説明する。深度情報は、例えば撮像画像のピクセル毎に実寸法(センチメートル単位)で取得される。図7は、このような深度情報を画像化した図である。図7に示す画像では、濃淡の差によって深度の深さを表している。具体的には、深度が深い(カメラ15からの距離が遠い)ほど白く表示し、深度が浅い(カメラ15からの距離が近い)ほど黒く表示する。このように、撮像画像内の深度情報は、ピクセル毎に実寸法(センチメートル単位)で取得することもできる。
【0050】
(前後関係判定部115)
前後関係判定部115は、撮像された現実の物体と仮想的な物体との前後関係を、深度情報を用いて部分毎に判定する。
【0051】
より具体的には、例えば前後関係判定部115は、撮像画像内の物体の深度情報(図5に示す距離dreal参照。)と、仮想画像内の物体の深度情報(図8に示す距離dvertual参照。)を比較することにより、ピクセル(画素)毎の前後関係を判定する。
【0052】
また、前後関係判定部115は、撮像画像内の物体の深度情報を深度算出部113から取得し、仮想画像内の物体の深度情報を表示制御部105から取得してもよい。
【0053】
ここで、深度が小さい(浅い)ほど、カメラから物体までの距離は近いと言える。また、深度が大きい(深い)ほど、カメラから物体の距離が遠いといえる。よって、本実施形態による前後関係判定部115は、撮像画像内の物体の深度情報と、仮想画像内の物体の深度情報を比較し、深度が小さい方の物体が手前に位置し、深度が大きい方の物体が後ろに位置すると判定する。また、前後関係判定部115は、判定結果を表示制御部105に出力する。
【0054】
(表示制御部105)
表示制御部105は、撮像画像に映る被写体に仮想衣服を重畳表示したAR試着画像を生成し、表示装置19に表示させる制御を行う。また、本実施形態による表示制御部105は、前後関係判定部115により判定された撮像画像内の物体(例えば被写体A)と仮想的な物体(例えば仮想衣服C)の部分毎の前後関係に基づいて、仮想画像を重畳表示する。これにより、本実施形態による表示制御部105は、被写体Aと仮想衣服Cの前後関係が入り組んでいる場合でも、正しいAR試着画像を表示制御することができる。
【0055】
ここで、撮像画像に重畳する仮想画像の生成について、図8を参照して説明する。図8は、仮想空間における仮想カメラ25と仮想衣服Cの位置関係、および仮想衣服Cを投影(レンダリング)した仮想的な衣服画像C’(仮想画像とも称す)を説明するための図を示す。図8では、図5に示す実空間を撮像した撮像画像A’と同様に、レンダリングした仮想的な衣服画像C’を、仮想衣服側に示す。
【0056】
仮想カメラ25の設定(内部パラメータ)は、実空間を撮像するカメラ15の設定(内部パラメータ)に合わせて決定される。カメラの設定(内部パラメータ)とは、例えば、焦点距離f、画角θおよび画素数等である。表示制御部105は、仮想カメラ25の設定を、実空間のカメラ15と一致するよう設定する(初期化とも称す)。
【0057】
次に、表示制御部105は、撮像画像内の物体の深度情報に基づいて、実空間におけるカメラ15から被写体Aまでの距離drealと同じ距離dvertualだけ仮想カメラ25から離れた位置に、被写体の骨格位置に合わせて仮想衣服Cを配置する。表示制御部105は、仮想衣服Cを、予めモデリングされた3次元データに基づいて生成してもよい。また、表示制御部105は、例えば図8に示すように、仮想衣服Cの表面を三角形のポリゴンの集合により構成することで、仮想衣服の3次元形状をよりリアルに表現することができる。また、被写体Aの骨格位置が時間経過と共に変化する場合、表示制御部105は、骨格位置をトラッキングするよう仮想衣服Cの配置を変化させることができる。
【0058】
次に、表示制御部105は、仮想カメラ25でレンダリング、すなわち3次元の衣服画像Cを2次元の平面画像に投影することで、仮想的な衣服画像C’(仮想画像)を取得する。
【0059】
そして、表示制御部105は、撮像画像A’(図5参照)に衣服画像C’を重畳表示する際、衣服画像C’の描画の有無を、前後関係判定部115による判定結果に基づき、部分(例えばピクセル)毎に制御する。なお、表示制御部105による表示制御については、次の<3.表示制御>において詳細に説明する。
【0060】
以上、本開示の一実施形態によるAR試着システムを実現する情報処理装置10の構成について詳細に説明した。続いて、情報処理装置10によるAR試着画像の表示制御について説明する。
【0061】
<3.表示制御>
[3−1.基本的な表示制御]
図9は、情報処理装置10によるAR試着画像の基本的な表示制御処理を示すフローチャートである。図9に示すように、まず、ステップS110において、表示制御部105は、仮想空間における仮想カメラ25の設定を、実空間のカメラ15の設定に一致させる初期化を行う。
【0062】
次いで、ステップS113において、骨格位置算出部101は、撮像した実空間における被写体Aの骨格位置(xyz座標)を算出し、表示制御部105に出力する。
【0063】
次に、ステップS116において、表示制御部105は、仮想空間において、仮想衣服Cを被写体Aの骨格位置(xyz座標)に合わせて配置する。
【0064】
そして、ステップS119において、表示制御部105は、仮想衣服Cをレンダリングして衣服画像C’(仮想画像)を取得し、衣服画像C’を撮像画像A’に重ねてAR試着画像を描画し、表示装置19に表示するよう制御する(AR表示制御)。
【0065】
また、情報処理装置10は、ステップS122において、終了指示がなされるまで上記ステップS113からS119を繰り返し行う。これにより、情報処理装置10は、被写体Aの動きをトラッキングするAR試着画像をリアルタイムで提供することができる。
【0066】
以上、基本的な表示制御処理について説明した。なお、本実施形態による情報処理装置10は、上記ステップS119において、被写体Aと仮想衣服Cの前後関係に基づいてAR試着画像の描画を制御する。以下、本実施形態による前後関係に応じたAR試着画像の描画について図10を参照して具体的に説明する。
【0067】
[3−2.前後関係に応じたAR試着画像の描画]
図10は、本実施形態の情報処理装置10による深度情報に基づくAR試着画像の描画制御の処理を示すフローチャートである。より具体的には、図10では、図9に示すステップS119の表示制御において、表示制御部105が、撮像画像A’に重畳表示する衣服画像C’の描画の有無を、前後関係判定部115による判定結果に基づき、部分(例えばピクセル)毎に制御する処理を示す。
【0068】
まず、図10のステップS125において、表示制御部105は、図8に示すように、仮想衣服Cの3次元座標P(x,y,z)に基づいて、仮想画像C’の任意の座標p(x,y)を算出する。例えば表示制御部105は、カメラ15の内部パラメータから求められる射影行列を3次元座標P(x,y,z)に掛けることで、画像平面上の2次元座標p(x,y)を算出することができる。
【0069】
次に、ステップS127において、表示制御部105は、図8に示すように、仮想カメラ25から仮想衣服Cの座標P(x,y,z)までの仮想空間における距離dvertualを算出する。また、表示制御部105は、算出した2次元座標p(x,y)、および距離dvertualを前後関係判定部115に出力する。
【0070】
次いで、ステップS128において、前後関係判定部115は、衣服画像C’(仮想画像)の2次元座標p(x、y)に相当する撮像画像A’の2次元座標o(x,y)における実空間の深度(図5に示す距離dreal参照)を取得する。具体的には、例えば深度算出部113が算出した図7に示すようなピクセル(2次元座標)毎の深度情報に基づき、衣服画像C’の2次元座標pに相当する撮像画像A’の2次元座標o(x,y)における深度を取得する。ここでは、図5に示すように、カメラ15から被写体Aの3次元座標O(x,y,z)までの距離drealを取得する。
【0071】
続いて、ステップS131において、前後関係判定部115は、仮想空間の距離dvertualと、実空間の距離drealを比較する。前後関係判定部115は、距離dvertualが距離drealより小さかった場合、仮想衣服Cが被写体Aより前(近く)に位置すると判定し、処理はステップS134に進む。また、前後関係判定部115は、距離dvertualが距離drealより大きかった場合、仮想衣服Cが被写体Aより後ろ(遠く)に位置すると判定し、処理はステップS137に進む。このように、前後関係判定部115は、部分毎に(座標毎に)被写体Aと仮想衣服Cの前後関係を判定することができる。
【0072】
次に、ステップS134において、表示制御部105は、前後関係判定部115により仮想衣服Cが被写体Aより前に位置すると判定された場合、撮像画像A’の座標oのピクセル上に、仮想画像C’の座標pのピクセルを描画する。
【0073】
一方、ステップS137において、表示制御部105は、前後関係判定部115により仮想衣服Cが被写体Aより後ろに位置すると判定された場合、撮像画像A’の座標oのピクセル上には仮想画像C’の座標pのピクセルを描画しない。
【0074】
以上説明したステップS125〜S137の処理は、撮像画像A’に重畳表示する衣服画像C’の全てのピクセル(座標)毎に行われる。これにより、表示制御部105は、被写体Aと仮想衣服Cの前後関係が入り組んでいる場合であっても、正しくAR試着画像を描画することができる。本実施形態の表示制御部105によるAR試着画像の描画例を
【0075】
(AR試着画像の描画例)
続いて、本実施形態の表示制御部105によるAR試着画像の描画例を図11および図12に示す。
【0076】
図11に示すように、被写体Aの手が胴の手前に位置する場合でも、仮想衣服Cを重畳表示(合成)する際に、部分毎に前後関係が判定されるので、図2に示した通常の合成と異なり、胴の手前に位置する被写体Aの手には仮想衣服Cが描画されない。
【0077】
また、図12に示すように、被写体Aが長袖を着用し、胴の手前に手が位置する場合でも、図3を用いて上述した色情報に基づく合成と異なり、本実施形態では部分毎に前後関係が判定されるので、胴の手前に位置する被写体Aの手には仮想衣服Cが描画されない。
【0078】
<4.まとめ>
上述したように、本開示の一実施形態によるAR試着システムによれば、撮像画像内の被写体Aの深度と、仮想画像内の仮想衣服Cの深度とを部分毎に比較することにより、被写体Aと仮想衣服Cの前後関係を部分毎に判定することができる。また、本実施形態によるAR試着システムは、かかる判定結果に基づいて、被写体Aと仮想衣服Cの前後関係が正しく表現されたAR試着画像を描画することができる。
【0079】
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本技術はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属
するものと了解される。
【0080】
例えば、上述したAR試着システムでは、前後関係が入り組んだ状態として、主に被写体Aの胴の手前に被写体Aの手が位置する場合を例として説明したが、これに限らず、例えば被写体Aがバッグなどを体の前で持っている場合にも適用できる。また、被写体Aの前に障害物(他の人、柱、箱など)がある場合にも適用できる。
【0081】
また、上述したAR試着システムでは、主に仮想衣服の試着を例として説明したが、試着対象は衣服に限らず、例えばメガネ、帽子およびベルトなどの装飾品であってもよい。
【0082】
また、上述したAR試着システムでは、被写体が人物の場合について説明したが、被写体は人物に限定されず、例えば犬や猫などの動物であってもよい。この場合、動物を撮像した撮像画像に、例えばペット用の衣服画像を重畳表示するAR試着システムを提供することができる。
【0083】
また、現実の物体と仮想的な物体との前後関係を、深度情報を利用して部分毎に判定し、判定された前後関係に基づきAR表示制御を行う本実施形態による技術は、上述したAR試着システムに限定されず、その他様々なAR表示制御に当然に適用可能である。
【0084】
なお、本技術は以下のような構成も取ることができる。
(1)
撮像された現実の物体と仮想的な物体との前後関係を、深度情報を用いて部分毎に判定する判定部と、
前記判定部により判定された前後関係に基づいて、前記現実の物体を撮像した撮像画像に、前記仮想的な物体を投影した仮想画像を重畳して表示する表示制御部と、
を備える、情報処理装置。
(2)
前記判定部は、前記現実の物体の深度と前記仮想的な物体の深度とを比較し、深度の大小に応じて前後の位置関係を判定する、前記(1)に記載の情報処理装置。
(3)
前記情報処理装置は、
実空間から検出された検出データに基づき、撮像された被写体の深度を算出する深度算出部を備え、
前記判定部は、前記深度算出部により算出された前記被写体の深度と、仮想的な服飾品の深度とを比較することにより、部分毎に前後関係を判定し、
前記表示制御部は、前記判定部により判定した前後関係に基づいて、前記被写体を撮像した撮像画像に、前記服飾品を投影した仮想的な服飾画像を重畳表示する、前記(1)または(2)に記載の情報処理装置。
(4)
前記表示制御部は、前記判定部によるピクセル毎の前後関係の判定結果に基づいて、前記仮想的な服飾画像のピクセル毎の描画の有無を制御する、前記(3)に記載の情報処理装置。
(5)
撮像された現実の物体と仮想的な物体との前後関係を、深度情報を用いて部分毎に判定するステップと、
前記判定するステップにより判定された前後関係に基づいて、前記現実の物体を撮像した撮像画像に、前記仮想的な物体を投影した仮想画像を重畳して表示するステップと、
を含む、表示制御方法。
(6)
撮像された現実の物体と仮想的な物体との前後関係を、深度情報を用いて部分毎に判定する処理と、
前記判定する処理により判定された前後関係に基づいて、前記現実の物体を撮像した撮像画像に、前記仮想的な物体を投影した仮想画像を重畳して表示する処理と、
をコンピュータに実行させる、プログラム。
(7)
前記判定する処理は、前記現実の物体の深度と前記仮想的な物体の深度とを比較し、深度の大小に応じて前後の位置関係を判定する、前記(6)に記載のプログラム。
(8)
前記プログラムは、
実空間から検出された検出データに基づき、撮像された被写体の深度を算出する処理をさらに前記コンピュータに実行させ、
前記判定する処理は、前記深度を算出する処理により算出された前記被写体の深度と、仮想的な服飾品の深度とを比較することにより、部分毎に前後関係を判定し、
前記表示する処理は、前記判定する処理により判定した前後関係に基づいて、前記被写体を撮像した撮像画像に、前記服飾品を投影した仮想的な服飾画像を重畳表示する、前記(6)または(7)に記載のプログラム。
(9)
前記表示する処理は、前記判定する処理によるピクセル毎の前後関係の判定結果に基づいて、前記仮想的な服飾画像のピクセル毎の描画の有無を制御する、前記(8)に記載のプログラム。
【符号の説明】
【0085】
10 情報処理装置
15 カメラ
17 センサ
19 表示装置
100 制御部
101 骨格位置算出部
105 表示制御部
113 深度算出部
115 前後関係判定部
120 操作入力部
130 記憶部
A 被写体
B 座標(骨格位置)
C 仮想衣服
【特許請求の範囲】
【請求項1】
撮像された現実の物体と仮想的な物体との前後関係を、深度情報を用いて部分毎に判定する判定部と、
前記判定部により判定された前後関係に基づいて、前記現実の物体を撮像した撮像画像に、前記仮想的な物体を投影した仮想画像を重畳して表示する表示制御部と、
を備える、情報処理装置。
【請求項2】
前記判定部は、前記現実の物体の深度と前記仮想的な物体の深度とを比較し、深度の大小に応じて前後の位置関係を判定する、請求項1に記載の情報処理装置。
【請求項3】
前記情報処理装置は、
実空間から検出された検出データに基づき、撮像された被写体の深度を算出する深度算出部を備え、
前記判定部は、前記深度算出部により算出された前記被写体の深度と、仮想的な服飾品の深度とを比較することにより、部分毎に前後関係を判定し、
前記表示制御部は、前記判定部により判定した前後関係に基づいて、前記被写体を撮像した撮像画像に、前記服飾品を投影した仮想的な服飾画像を重畳表示する、請求項2に記載の情報処理装置。
【請求項4】
前記表示制御部は、前記判定部によるピクセル毎の前後関係の判定結果に基づいて、前記仮想的な服飾画像のピクセル毎の描画の有無を制御する、請求項3に記載の情報処理装置。
【請求項5】
撮像された現実の物体と仮想的な物体との前後関係を、深度情報を用いて部分毎に判定するステップと、
前記判定するステップにより判定された前後関係に基づいて、前記現実の物体を撮像した撮像画像に、前記仮想的な物体を投影した仮想画像を重畳して表示するステップと、
を含む、表示制御方法。
【請求項6】
撮像された現実の物体と仮想的な物体との前後関係を、深度情報を用いて部分毎に判定する処理と、
前記判定する処理により判定された前後関係に基づいて、前記現実の物体を撮像した撮像画像に、前記仮想的な物体を投影した仮想画像を重畳して表示する処理と、
をコンピュータに実行させる、プログラム。
【請求項7】
前記判定する処理は、前記現実の物体の深度と前記仮想的な物体の深度とを比較し、深度の大小に応じて前後の位置関係を判定する、請求項6に記載のプログラム。
【請求項8】
前記プログラムは、
実空間から検出された検出データに基づき、撮像された被写体の深度を算出する処理をさらに前記コンピュータに実行させ、
前記判定する処理は、前記深度を算出する処理により算出された前記被写体の深度と、仮想的な服飾品の深度とを比較することにより、部分毎に前後関係を判定し、
前記表示する処理は、前記判定する処理により判定した前後関係に基づいて、前記被写体を撮像した撮像画像に、前記服飾品を投影した仮想的な服飾画像を重畳表示する、請求項7に記載のプログラム。
【請求項9】
前記表示する処理は、前記判定する処理によるピクセル毎の前後関係の判定結果に基づいて、前記仮想的な服飾画像のピクセル毎の描画の有無を制御する、請求項8に記載のプログラム。
【請求項1】
撮像された現実の物体と仮想的な物体との前後関係を、深度情報を用いて部分毎に判定する判定部と、
前記判定部により判定された前後関係に基づいて、前記現実の物体を撮像した撮像画像に、前記仮想的な物体を投影した仮想画像を重畳して表示する表示制御部と、
を備える、情報処理装置。
【請求項2】
前記判定部は、前記現実の物体の深度と前記仮想的な物体の深度とを比較し、深度の大小に応じて前後の位置関係を判定する、請求項1に記載の情報処理装置。
【請求項3】
前記情報処理装置は、
実空間から検出された検出データに基づき、撮像された被写体の深度を算出する深度算出部を備え、
前記判定部は、前記深度算出部により算出された前記被写体の深度と、仮想的な服飾品の深度とを比較することにより、部分毎に前後関係を判定し、
前記表示制御部は、前記判定部により判定した前後関係に基づいて、前記被写体を撮像した撮像画像に、前記服飾品を投影した仮想的な服飾画像を重畳表示する、請求項2に記載の情報処理装置。
【請求項4】
前記表示制御部は、前記判定部によるピクセル毎の前後関係の判定結果に基づいて、前記仮想的な服飾画像のピクセル毎の描画の有無を制御する、請求項3に記載の情報処理装置。
【請求項5】
撮像された現実の物体と仮想的な物体との前後関係を、深度情報を用いて部分毎に判定するステップと、
前記判定するステップにより判定された前後関係に基づいて、前記現実の物体を撮像した撮像画像に、前記仮想的な物体を投影した仮想画像を重畳して表示するステップと、
を含む、表示制御方法。
【請求項6】
撮像された現実の物体と仮想的な物体との前後関係を、深度情報を用いて部分毎に判定する処理と、
前記判定する処理により判定された前後関係に基づいて、前記現実の物体を撮像した撮像画像に、前記仮想的な物体を投影した仮想画像を重畳して表示する処理と、
をコンピュータに実行させる、プログラム。
【請求項7】
前記判定する処理は、前記現実の物体の深度と前記仮想的な物体の深度とを比較し、深度の大小に応じて前後の位置関係を判定する、請求項6に記載のプログラム。
【請求項8】
前記プログラムは、
実空間から検出された検出データに基づき、撮像された被写体の深度を算出する処理をさらに前記コンピュータに実行させ、
前記判定する処理は、前記深度を算出する処理により算出された前記被写体の深度と、仮想的な服飾品の深度とを比較することにより、部分毎に前後関係を判定し、
前記表示する処理は、前記判定する処理により判定した前後関係に基づいて、前記被写体を撮像した撮像画像に、前記服飾品を投影した仮想的な服飾画像を重畳表示する、請求項7に記載のプログラム。
【請求項9】
前記表示する処理は、前記判定する処理によるピクセル毎の前後関係の判定結果に基づいて、前記仮想的な服飾画像のピクセル毎の描画の有無を制御する、請求項8に記載のプログラム。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【公開番号】特開2013−101528(P2013−101528A)
【公開日】平成25年5月23日(2013.5.23)
【国際特許分類】
【出願番号】特願2011−245304(P2011−245304)
【出願日】平成23年11月9日(2011.11.9)
【出願人】(000002185)ソニー株式会社 (34,172)
【Fターム(参考)】
【公開日】平成25年5月23日(2013.5.23)
【国際特許分類】
【出願日】平成23年11月9日(2011.11.9)
【出願人】(000002185)ソニー株式会社 (34,172)
【Fターム(参考)】
[ Back to top ]