拡張現実感提示装置、拡張現実感提示方法及びプログラム
【課題】重ねて表示される複数のオブジェクト間における手前と奥との配置関係を自由に表現する。
【解決手段】拡張現実感提示装置10は、撮影により取得された人物の3次元画像データに基づいて人物の所定の部位を認識し、その認識結果に基づいて、人物の3次元画像データと複数のオブジェクトの3次元画像データとの位置合わせを行う。そして、拡張現実感提示装置10は、位置合わせの結果に基づいて、人物の3次元画像データの外側に複数のオブジェクトの3次元画像データを配置し、且つ、第1のオブジェクトの3次元画像データの外側に第2のオブジェクトの3次元画像データを配置して表示する。
【解決手段】拡張現実感提示装置10は、撮影により取得された人物の3次元画像データに基づいて人物の所定の部位を認識し、その認識結果に基づいて、人物の3次元画像データと複数のオブジェクトの3次元画像データとの位置合わせを行う。そして、拡張現実感提示装置10は、位置合わせの結果に基づいて、人物の3次元画像データの外側に複数のオブジェクトの3次元画像データを配置し、且つ、第1のオブジェクトの3次元画像データの外側に第2のオブジェクトの3次元画像データを配置して表示する。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、現実空間の映像とコンピュータグラフィックス画像データとを合成して提示させることが可能な技術に関するものである。
【背景技術】
【0002】
近年、AR(Augmented Reality)の技術を利用して試着する試みが広まってきている。非特許文献1に開示されている技術は、腕時計型のマーカを手首に装着し、カメラで捉えた実際の腕のマーカ位置に、腕時計の画像を重畳表示するものである。腕時計以外にも、ネクタイ型のマーカを使ってネクタイを試着するような仕組みも実用化されている。また、非特許文献2に開示されている技術は、マーカを装着することなく、カメラで捉えた人物の顔に、サングラスの画像を重畳表示するものである。
【0003】
これら従来の技術は仮想装着物を簡単に試着することはできるが、単品の試着であり、仮想装着物同士のコーディネートをすることまでは想定されていない。例えば、複数のマーカを装着して一つのカメラ画像に収まれば、そのマーカ毎に対応する仮想画像がマーカ位置に重畳表示されるが、マーカ同士が前後に重なって撮影されると、後ろ側のマーカは隠れてしまい、位置や形状が認識されないため、仮想画像は表示されなくなってしまう。所謂、重ね着のように複数のアイテムを同時に前後に重ねてARで試着することはできなかった。
【先行技術文献】
【非特許文献】
【0004】
【非特許文献1】TISSOT REALITY、インターネット<URL:http://www.tissot.ch/reality/>
【非特許文献2】RAY−BAN Offical Web Site、インターネット<URL:http://www.ray-ban.com/france/science/virtual-mirror>
【発明の概要】
【発明が解決しようとする課題】
【0005】
また、シャツとジャケットでの重ね着を考えた場合、シャツの襟をジャケットの内側に着る方法と、襟をジャケットの外側に出して着る方法とを比較したくても、そのような表示はできなかった。ARでは、カメラからの相対位置で、近い側のオブジェクトを、遠い側のオブジェクトより手前側に表示するということは行われている。しかしながら、このような技術を用いたとしても、例えばジャケットをシャツより手前側に表示すると、シャツの画像は完全にジャケットの後ろ側に表示されてしまうため、試着しているような画像を得ることはできなかった。
【0006】
そこで、本発明の目的は、重ねて表示される複数のオブジェクト間における手前と奥との配置関係を自由に表現することにある。
【課題を解決するための手段】
【0007】
本発明の拡張現実感提示装置の第1の態様は、現実空間の映像と画像データとを合成して表示させることが可能な拡張現実感提示装置であって、撮影により取得された人物の3次元画像データに基づいて、前記人物の所定の部位を認識する認識手段と、前記認識手段による認識結果に基づいて、前記人物の3次元画像データと複数のオブジェクトの3次元画像データとの位置合わせを行う位置合わせ手段と、前記位置合わせ手段による位置合わせの結果に基づいて、前記人物の3次元画像データの外側に前記複数のオブジェクトの3次元画像データを配置し、且つ、前記複数のオブジェクトに含まれる第1のオブジェクトの3次元画像データの外側に、前記複数のオブジェクトに含まれる第2のオブジェクトの3次元画像データを配置して表示手段に表示させる表示制御手段とを有することを特徴とする。
本発明の拡張現実感提示装置の第2の態様は、現実空間の映像と画像データとを合成して表示させることが可能な拡張現実感提示装置であって、撮影により取得された人物の2次元画像データに基づいて、前記人物の所定の部位を認識する認識手段と、前記認識手段による認識結果に基づいて、前記人物の2次元画像データと複数のオブジェクトの2次元画像データとの位置合わせを行う位置合わせ手段と、前記複数のオブジェクトに含まれる第1のオブジェクト上に重ねて配置される、前記複数のオブジェクトに含まれる前記第2のオブジェクトの2次元画像データの所定の部分を抜き加工する第1の加工手段と、前記位置合わせ手段による位置合わせの結果に基づいて、前記人物の2次元画像データ上に前記複数のオブジェクトの2次元画像データが重なり、且つ、前記第1のオブジェクトの2次元画像データ上に前記第1の加工手段により抜き加工された前記第2のオブジェクトの2次元画像データが重なるように表示手段に表示させる表示制御手段とを有することを特徴とする。
本発明の拡張現実感提示方法の第1の態様は、現実空間の映像と画像データとを合成して表示させることが可能な拡張現実感提示装置によって実行される拡張現実感提示方法であって、撮影により取得された人物の3次元画像データに基づいて、前記人物の所定の部位を認識する認識ステップと、前記認識ステップによる認識結果に基づいて、前記人物の3次元画像データと複数のオブジェクトの3次元画像データとの位置合わせを行う位置合わせステップと、前記位置合わせステップによる位置合わせの結果に基づいて、前記人物の3次元画像データの外側に前記複数のオブジェクトの3次元画像データを配置し、且つ、前記複数のオブジェクトに含まれる第1のオブジェクトの3次元画像データの外側に、前記複数のオブジェクトに含まれる第2のオブジェクトの3次元画像データを配置して表示手段に表示させる表示制御ステップとを有することを特徴とする。
本発明の拡張現実感提示方法の第2の態様は、現実空間の映像と画像データとを合成して表示させることが可能な拡張現実感提示装置によって実行される拡張現実感提示方法であって、撮影により取得された人物の2次元画像データに基づいて、前記人物の所定の部位を認識する認識ステップと、前記認識ステップによる認識結果に基づいて、前記人物の2次元画像データと複数のオブジェクトの2次元画像データとの位置合わせを行う位置合わせステップと、前記複数のオブジェクトに含まれる第1のオブジェクト上に重ねて配置される、前記複数のオブジェクトに含まれる前記第2のオブジェクトの2次元画像データの所定の部分を抜き加工する加工ステップと、前記位置合わせステップによる位置合わせの結果に基づいて、前記人物の2次元画像データ上に前記複数のオブジェクトの2次元画像データが重なり、且つ、前記第1のオブジェクトの2次元画像データ上に前記加工ステップにより抜き加工された前記第2のオブジェクトの2次元画像データが重なるように表示手段に表示させる表示制御ステップとを有することを特徴とする。
本発明のプログラムの第1の態様は、現実空間の映像と画像データとを合成して表示させることが可能な拡張現実感提示装置によって実行される拡張現実感提示方法をコンピュータに実行させるためのプログラムであって、撮影により取得された人物の3次元画像データに基づいて、前記人物の所定の部位を認識する認識ステップと、前記認識ステップによる認識結果に基づいて、前記人物の3次元画像データと複数のオブジェクトの3次元画像データとの位置合わせを行う位置合わせステップと、前記位置合わせステップによる位置合わせの結果に基づいて、前記人物の3次元画像データの外側に前記複数のオブジェクトの3次元画像データを配置し、且つ、前記複数のオブジェクトに含まれる第1のオブジェクトの3次元画像データの外側に、前記複数のオブジェクトに含まれる第2のオブジェクトの3次元画像データを配置して表示手段に表示させる表示制御ステップとをコンピュータに実行させることを特徴とする。
本発明のプログラムの第2の態様は、現実空間の映像と画像データとを合成して表示させることが可能な拡張現実感提示装置によって実行される拡張現実感提示方法をコンピュータに実行させるためのプログラムであって、撮影により取得された人物の2次元画像データに基づいて、前記人物の所定の部位を認識する認識ステップと、前記認識ステップによる認識結果に基づいて、前記人物の2次元画像データと複数のオブジェクトの2次元画像データとの位置合わせを行う位置合わせステップと、前記複数のオブジェクトに含まれる第1のオブジェクト上に重ねて配置される、前記複数のオブジェクトに含まれる前記第2のオブジェクトの2次元画像データの所定の部分を抜き加工する加工ステップと、前記位置合わせステップによる位置合わせの結果に基づいて、前記人物の2次元画像データ上に前記複数のオブジェクトの2次元画像データが重なり、且つ、前記第1のオブジェクトの2次元画像データ上に前記加工ステップにより抜き加工された前記第2のオブジェクトの2次元画像データが重なるように表示手段に表示させる表示制御ステップとをコンピュータに実行させることを特徴とする。
【発明の効果】
【0008】
本発明によれば、重ねて表示される複数のオブジェクト間における手前と奥との配置関係を自由に表現することが可能となる。
【図面の簡単な説明】
【0009】
【図1】本発明の第1の実施形態に係るAR表示システムの構成を概略的に示す図である。
【図2】本発明の第1の実施形態に係るAR表示システムの機能的な構成を示すブロック図である。
【図3】本発明の実施形態における拡張現実感提示装置のハードウェア構成を示す図である。
【図4】本発明の第1の実施形態に係るAR表示システムの動作を示すフローチャートである。
【図5】ステップS205における各オブジェクトの配置処理を具体的に説明するための図である。
【図6】ステップS205における抜き加工処理について詳細に説明するための図である。
【図7】ステップS206における抜き加工処理を具体的に説明するための図である。
【図8】本発明の第2の実施形態に係るAR表示システムの機能的な構成を示すブロック図である。
【図9】本発明の第2の実施形態に係るAR表示システムの動作を示すフローチャートである。
【図10】ステップS407における各オブジェクトの配置処理を具体的に説明するための図である。
【図11】本発明の第2の実施形態における抜き加工処理について詳細に説明するための図である。
【図12】本発明の第3の実施形態に係るAR表示システムの構成を概略的に示す図である。
【発明を実施するための形態】
【0010】
以下、本発明を適用した好適な実施形態を、添付図面を参照しながら詳細に説明する。
【0011】
先ず、本発明の第1の実施形態について説明する。図1は、本発明の第1の実施形態に係るAR表示システムの構成を概略的に示す図である。図1に示すように、本実施形態に係るAR表示システムは、撮影により被写体の3次元画像データを生成する3次元カメラ20と、3次元カメラ20により生成された3次元画像データを入力してディスプレイに表示するとともに、当該被写体の3次元画像データと整合する位置に衣服等のオブジェクトの3次元画像データを合成表示する拡張現実感提示装置10とにより構成される。拡張現実感提示装置10は、例えばワイシャツやTシャツ等の装着物のオブジェクトの3次元画像データを格納しており、これらのオブジェクトの3次元画像データ30、40を、被写体である人物の3次元画像データ50と整合する位置に合成表示することにより、仮想的に人物がワイシャツやTシャツを試着しているような映像を提示することができる。以下では、このように現実空間の映像にコンピュータグラフィックス画像データを合成表示して拡張された現実感を演出することを、AR(Augmented Reality)表示と称することがある。なお、3次元カメラ20と拡張現実感提示装置10とはLAN等の通信回線により接続されている。
【0012】
以下で説明する実施形態においては、AR表示を行うデバイスであるAR表示デバイスの例としてPC型のAR表示デバイスを挙げているが、これに限られない。例えば、カメラ機能と画像表示機能とが搭載された携帯端末型のAR表示デバイスも適用することができる。
【0013】
図2は、本実施形態に係るAR表示システムの機能的な構成を示すブロック図である。図2において、3次元カメラ20は、3次元画像撮影部201と画像データ送信部202とを備える。3次元画像撮影部201は、撮影により人物の3次元画像データを生成する。画像データ送信部202は、3次元画像撮影部201により生成された3次元画像データを拡張現実感提示装置10に対して送信する。
【0014】
拡張現実感提示装置10は、画像データ受信部101、人体認識部102、オブジェクト格納部103、オブジェクト検索部104、位置合わせ部105、オブジェクト配置部106、抜き加工部107、色指定部108及び表示制御部109を備える。
【0015】
画像データ受信部101は、3次元カメラ20の画像データ送信部202より送信された人物の3次元画像データを受信する。人体認識部102は、人物の3次元画像データに基づいて、顔や両肩等の人体の所定の部位や人体のサイズの認識等、人体に関する認識処理を行う。オブジェクト格納部103は、ワイシャツやTシャツ等、装着物のオブジェクトの3次元画像データを格納している。オブジェクト検索部104は、人体認識部102の認識結果に基づいて、人体に適合するオブジェクトの3次元画像データを検索する。位置合わせ部105は、人体認識部102の認識結果に基づいて、人物の3次元画像データと、オブジェクト検索部104で検索されたオブジェクトの3次元画像データとの位置合わせを行う。オブジェクト配置部106は、位置合わせ部105による位置合わせの結果に応じてオブジェクトの3次元画像データを仮想3次元空間内に配置する。これにより、人物の3次元画像データと各オブジェクトの3次元画像データとが整合した位置に配置され、人物が各装着物のオブジェクトを試着したように見える。
【0016】
色指定部108は、ユーザに任意の色を指定させる操作手段に対応する。抜き加工部107は、人物の3次元画像データのうち、色指定部108によって指定された色に該当する部分に重畳する、各オブジェクトの3次元画像データの部分を抜き加工する。抜き加工とは、対象となる部分を透明化することである。例えば、仮想3次元空間において、第1のオブジェクトと第2のオブジェクトとが奥行き方向に重なるように配置された状態(第1のオブジェクトが奥、第2のオブジェクトが手前に配置された状態)において、第2のオブジェクトのある部分が抜き加工されると、その部分に隠れていた第1のオブジェクトの部分の3次元画像データが透けて見えるようになる。表示制御部109は、仮想3次元空間に配置された各3次元画像データをディスプレイ307に表示する。
【0017】
図3は、本実施形態における拡張現実感提示装置10のハードウェア構成を示す図である。図3において、CPU301は、システムバスに接続される各デバイスやコントローラを統括的に制御する。ROM302には、CPU301の制御プログラムであるオペレーティングシステム(OS)が記憶されている。HDD305には、図2に示した各機能を実現するためのプログラムが記憶されている。RAM303は、CPU301の主メモリ、ワークエリア、一時退避領域等として機能する。通信I/Fコントローラ304は、ネットワークを介して外部機器(例えば、3次元カメラ20)との通信制御処理を実行する。なお、HDD305の代替手段として、SDD(Solid State Drive)を用いてもよい。ディスプレイコントローラ306は、ディスプレイ307に対する画像表示を制御する。
【0018】
図2における、画像データ受信部101は、通信I/Fコントローラ304に対応する構成である。人体認識部102、オブジェクト検索部104、位置合わせ部105、オブジェクト配置部106、抜き加工部107は、CPU301及びHDD305に記憶されるプログラムに対応する構成である。表示制御部109は、ディスプレイコントローラ306に対応する構成である。オブジェクト格納部103は、HDD305に対応する構成である。色指定部108は、不図示のマウスやキーボード等の操作手段に対応する構成である。
【0019】
図4は、第1の実施形態に係るAR表示システムの動作を示すフローチャートである。以下、図4を参照しながら、本実施形態に係るAR表示システムの動作を詳細に説明する。
【0020】
ステップS101において、3次元画像撮影部201は、被写体である人物を撮影し、当該人物の3次元画像データを生成する。ステップS102において、画像データ送信部202は、3次元画像撮影部201により生成された人物の3次元画像データを拡張現実感提示装置10に対して送信する。ステップS103において、3次元カメラ20は、ユーザによる撮影終了の操作があったか否かを判定する。撮影終了の操作があった場合、処理は終了する。一方、撮影終了の操作がない場合、処理はステップS101に戻り、人物の3次元画像データの生成、送信が繰り返される。
【0021】
ステップS201において、画像データ受信部101は、3次元カメラ20から人物の3次元画像データを受信する。ステップS202において、人体認識部102は、人物の3次元画像データに基づいて、顔や両肩等の人体の所定の部位や人体のサイズ等を認識する。人体の所定の部位の認識方法としては、例えば、モデルとなる顔や両肩等の画像データを予め用意しておき、人物の3次元画像データとマッチングすることにより、これらの部位を認識する方法等が挙げられる。
【0022】
また、人体の骨格モデル情報を骨格モデルデータベース(図示せず)で保持し、カメラで撮影された3次元画像データに対して不自然な部位認識をしないようにすることもできる。例えば、撮影された人物像の顔部分と背景部分に基づいて背景を誤って人体と認識してしまう可能性がある。誤認識を起こすと、顔と体の相対位置がずれてしまったり、肘や膝が本来曲がらない反対側に曲がって判断されてしまう等の不都合が生じる。そこで、人体の骨格モデル情報として、顔と体の相対位置や肘・膝の曲がり方向・角度等を保持し、認識された顔等を基準に骨格モデル情報に適合した人体の部位を特定するようにするとよい。
【0023】
その他、人物の3次元画像データをディスプレイに表示させ、ユーザに顔や両肩等を指示入力させることにより、これらの部位を認識するようにしてもよい。なお、ここで認識する部位は、人物の3次元画像データとオブジェクトの3次元画像データとの位置を整合させるために利用するものであるため、顔や両肩に限定されないことは勿論である。例えば、オブジェクトがズボンである場合には、腰や足首等を認識するようにすればよい。また、人体のサイズの認識方法は、例えば、人物との被写体距離と当該人物の撮影画像のサイズとに基づいて認識する方法等が挙げられる。人体のサイズは、当該人物がキーボード等の操作手段を使用して自ら入力するようにしてもよい。
【0024】
ステップS203において、オブジェクト検索部104は、人物の3次元画像データに基づいて、オブジェクト格納部103から当該人物に適合するオブジェクトの3次元画像データを検索する。ここでは、ステップS202において認識された人体のサイズに合ったオブジェクトの3次元画像データが検索される。なお、本実施形態は、現実の重ね着に近い着用状態をAR表示にて表現するものであるため、ステップS203では、当該人物について少なくとも2以上のオブジェクトの3次元画像データが検索されるものとする。
【0025】
ステップS204において、位置合わせ部105は、人物の3次元画像データに基づいて、人物の3次元画像データと、オブジェクト検索部104で検索された各オブジェクトの3次元画像データとの位置合わせを行う。即ち、位置合わせ部105は、人体認識部102によって認識された人体の部位を基準にして各オブジェクトの3次元画像データの位置を決定する。例えば、両肩が認識されている場合、その両肩と、ワイシャツやTシャツのオブジェクトの両肩部分が一致するように、ワイシャツやTシャツの配置位置及び向きが決定される。また、顔の認識されている場合には、目や口等の位置からどの方向に顔が向いているのか判定し、顔の向きと整合するように帽子の配置位置及び向きが決定される。
【0026】
ステップS205において、オブジェクト配置部106は、位置合わせ部105による位置合わせの結果に応じて、各オブジェクトの3次元画像データを仮想3次元空間内に配置する。これにより、人物が各オブジェクトを試着したような配置状態となる。
【0027】
図5は、ステップS205における各オブジェクトの配置処理を具体的に説明するための図である。図5において、501は、仮想3次元空間内に人物の3次元画像データだけが配置されている状態を表している。502は、位置合わせ部105の位置合わせの結果に応じて、ワイシャツ(第1のオブジェクト)の3次元画像データを人物の3次元画像データと整合するように配置した状態を表している。503は、位置合わせ部105の位置合わせの結果に応じて、Tシャツ(第2のオブジェクト)の3次元画像データを人物の3次元画像データと整合するように配置した状態を表している。このとき、503に示すように、ワイシャツの3次元画像データはTシャツの3次元画像データの内側に配置されているが、ワイシャツの襟の部分がTシャツの外側に出てしまうようなワイシャツの形状の場合がある。この状態においても現実の重ね着に近い状態が表現されているが、ユーザによっては、ワイシャツの襟がTシャツの内側に入った状態も見たいという場合がある。このような場合、ユーザがその旨の指示を与えると、抜き加工部107は、ワイシャツの襟の部分のうち、Tシャツと重畳する部分を抜き加工する。これにより、Tシャツの外側に出ていたワイシャツの襟の部分が透明化され、ワイシャツの襟がTシャツの内側に入ったような状態となる。
【0028】
図6は、上記の抜き加工について詳細に説明するための図である。図6において、601は、ワイシャツの3次元画像データとTシャツの3次元画像データとの位置関係を示している。601の破線がTシャツの3次元画像データの位置を表している。602は、ワイシャツの襟のうち、Tシャツと重畳する部分、即ち、Tシャツの外側に出ている襟の部分を示しており、一点鎖線で囲まれた部分がそれに該当する。この一点鎖線で囲まれた部分を抜き加工(透明化)することにより、その奥に位置するワイシャツの部分が透けて表示され、図5の504に示すように、ワイシャツの襟がTシャツの内側に入ったような状態となる。
【0029】
ステップS206において、抜き加工部107は、仮想3次元空間内に人物の3次元画像データ及び各オブジェクトの3次元画像データが配置された状態において、人物の3次元画像データのうち、色指定部108により指定された色に該当する部分と重畳する、各オブジェクトの3次元画像データの部分を抜き加工する。例えば、色指定部108により髪の色が指定された場合、人物の3次元画像データのうち、髪の色と同一色の部分(髪の部分)と重畳する各オブジェクトの3次元画像データの部分が抜き加工される。これにより、人物の3次元画像データの外側に各オブジェクトの3次元画像データが配置される際に、人物の髪は必ず各オブジェクトの外側に位置するように表示されることになる。
【0030】
図7は、ステップS206における抜き加工処理を具体的に説明するための図である。人物の外側に、ワイシャツの3次元画像データとTシャツの3次元画像データとを配置すると、701に示すように、髪の外側にワイシャツやTシャツが出ているような状態になることがある。実際の着用状態においては、髪の外側にワイシャツやTシャツが出ているようなことは殆どないので、実際の衣服の着用状態に近づけるように3次元画像データを加工することが望ましい。そこで本実施形態では、色指定部108により髪の色が指定されると、人物の3次元画像データのうち、指定された色と同一色の部分と重畳するワイシャツやTシャツの3次元画像データの部分7011を抜き加工する。これにより、702に示すように、ワイシャツやTシャツの3次元画像データに隠れていた髪の部分が見えるようになり、ワイシャツやTシャツの外側に髪が出たような状態となる。
【0031】
また、特定のオブジェクトについては、ステップS206における抜き加工処理を無効化するようにしてもよい。具体的には、例えば帽子、フード等の髪の上に表示させたいオブジェクトについては、仮に髪と重畳する位置にそれらのオブジェクトが配置されていても抜き加工処理は実行しないようにする。これにより、帽子やフード等を頭にかぶった状態を表現することができる。
【0032】
ステップS207において、表示制御部109は、人物や各オブジェクトの3次元画像データをディスプレイ307に表示する。このとき、ディスプレイ307は平面形状であるため、3次元画像データから2次元画像データへの変換処理が行われる。
【0033】
ステップS208において、拡張現実感提示装置10は、ユーザによる撮影終了の操作があったか否かを判定する。この判定処理は、ステップS103と連動するものであってもよいし、拡張現実感提示装置10単独のものであってもよい。撮影終了の操作があった場合、処理は終了する。一方、撮影終了の操作がない場合、処理はステップS201に戻り、3次元カメラ20から受信する3次元画像データに基づくAR表示が繰り返される。
【0034】
次に、本発明の第2の実施形態について説明する。第2の実施形態に係るAR表示システムの概略構成は、図1に示す構成と略同一であり、3次元カメラ20が2次元カメラ10に代わることと、拡張現実感提示装置10が2次元画像データに対応した機能を持つことが第1の実施形態と相違する。
【0035】
図8は、本実施形態に係るAR表示システムの機能的な構成を示すブロック図である。図8において、2次元カメラ80は、2次元画像撮影部801と画像データ送信部802とを備える。2次元画像撮影部801は、撮影により人物の2次元画像データを生成する。画像データ送信部802は、2次元画像撮影部801により生成された2次元画像データを拡張現実感提示装置90に対して送信する。
【0036】
拡張現実感提示装置90は、画像データ受信部901、人体認識部902、オブジェクト格納部903、オブジェクト検索部904、変換部905、位置合わせ部906、第1の抜き加工部907、オブジェクト配置部908、第2の抜き加工部909、色指定部910、表示制御部911を備える。
【0037】
画像データ受信部901は、2次元カメラ80の画像データ送信部802により送信された人物の2次元画像データを受信する。人体認識部902は、人物の2次元画像データに基づいて、顔や両肩等の人物の所定の部位や人体のサイズの認識等、人体に関する認識処理を行う。オブジェクト格納部903は、ワイシャツやTシャツ等、装着物のオブジェクトの3次元画像データを格納している。オブジェクト検索部904は、人体認識部902の認識結果に基づいて、人体に適合するオブジェクトの3次元画像データを検索する。位置合わせ部906は、人体認識部902の認識結果に基づいて、人物の3次元画像データと各オブジェクトの3次元画像データとの位置合わせを行う。変換部905は、位置合わせ部906による位置合わせの結果に応じて、オブジェクト検索部904によって検索された各オブジェクトの3次元画像データを2次元画像データに変換する。第1の抜き加工部907は、或るオブジェクト(第1のオブジェクト)の2次元画像データ上に重ねて配置される他のオブジェクト(第2のオブジェクト)の2次元画像データの所定の部分を抜き加工する処理を行う。オブジェクト配置部908は、位置合わせ部906による位置合わせの結果に応じてオブジェクトの2次元画像データを配置する。これにより、人物の2次元画像データと各オブジェクトの2次元画像データとが整合する位置に配置され、人物が各装着物のオブジェクトを試着したように見える。
【0038】
色指定部910は、ユーザに任意の色を指定させる操作手段に対応する。第2の抜き加工部909は、人物の2次元画像データのうち、色指定部910によって指定された色に該当する部分に重畳する、各オブジェクトの2次元画像データの部分を抜き加工する。2次元画像データの抜き加工も3次元画像データの抜き加工と同様である。例えば、第1のオブジェクトと第2のオブジェクトとが奥行き方向に重なるように配置された状態(第1のオブジェクトが奥、第2のオブジェクトが手前に配置された状態)において、第2のオブジェクトのある部分が抜き加工されると、その部分に隠れていた第1のオブジェクトの部分の2次元画像データが透けて見えるようになる。表示制御部911は、配置された各2次元画像データをディスプレイ912に表示する。
【0039】
なお、第2の実施形態における拡張現実感提示装置90のハードウェア構成は、図3に示す構成と同様である。即ち、図8の画像データ受信部901は、通信I/Fコントローラ304に対応する構成である。人体認識部902、オブジェクト検索部904、変換部905、位置合わせ部906、第1の抜き加工部907、オブジェクト配置部908、第2の抜き加工部909は、CPU301及びHDD305に記憶されるプログラムに対応する構成である。表示制御部911は、ディスプレイコントローラ306に対応する構成である。オブジェクト格納部903は、HDD305に対応する構成である。色指定部910は、不図示のマウスやキーボード等の操作部に対応する構成である。
【0040】
図9は、第2の実施形態に係るAR表示システムの動作を示すフローチャートである。以下、図9を参照しながら、本実施形態に係るAR表示システムの動作を詳細に説明する。
【0041】
ステップS301において、2次元画像撮影部801は、被写体である人物を撮影し、当該人物の2次元画像データを生成する。ステップS302において、画像データ送信部802は、2次元画像撮影部801により生成された人物の2次元画像データを拡張現実感提示装置90に対して送信する。ステップS303において、2次元カメラ80は、ユーザによる撮影終了の操作があったか否かを判定する。撮影終了の操作があった場合、処理は終了する。一方、撮影終了の操作がない場合、処理はステップS301に戻り、人物の2次元画像データの生成、送信が繰り返される。
【0042】
ステップS401において、画像データ受信部901は、2次元カメラ80から人物の2次元画像データを受信する。ステップS402において、人体認識部902は、人物の2次元画像データに基づいて、顔や両肩等の人体の所定の部位や人体のサイズ等を認識する。人体の部位の認識方法としては、第1の実施形態と同様の方法が挙げられる。また、認識する部位が顔や両肩に限定されないことも第1の実施形態と同様である。さらに、人体のサイズの認識方法についても第1の実施形態と同様である。
【0043】
ステップS403において、オブジェクト検索部904は、人物の2次元画像データに基づいて、オブジェクト格納部903から当該人物に適合するオブジェクトの2次元画像データを検索する。ここでのオブジェクトの検索方法も第1の実施形態と同様である。また、本実施形態においても、現実の重ね着に近い着用状態をAR表示にて表現するものであるため、ステップS403では、当該人物について少なくとも2以上のオブジェクトの2次元画像データが検索されるものとする。
【0044】
ステップS404において、位置合わせ部906は、人物の2次元画像データに基づいて、人物の2次元画像データと、オブジェクト検索部904により検索された各オブジェクトの2次元画像データとの位置合わせを行う。即ち、位置合わせ部906は、人体認識部902によって認識された人体の部位を基準にして各オブジェクトの3次元画像データの位置を決定する。例えば、両肩が認識されている場合、その両肩と、ワイシャツやTシャツのオブジェクトの両肩部分が一致するように、ワイシャツやTシャツの配置位置及び向きが決定される。また、顔の認識されている場合には、目や口等の位置からどの方向に顔が向いているのか判定し、顔の向きと整合するように帽子の配置位置及び向きが決定される。
【0045】
ステップS405において、変換部905は、位置合わせ部906により決定された各オブジェクトの3次元画像データの配置位置や向き等に応じて、オブジェクト検索部904により検索された各オブジェクトの3次元画像データを2次元画像データに変換する。即ち、変換部905は、ディスプレイ307上で夫々のオブジェクトが上記配置位置において上記の向きで見えるように3次元画像データから2次元画像データへの変換を行う。
【0046】
ステップS406において、第1の抜き加工部907は、或るオブジェクト(第1のオブジェクト)の2次元画像データ上に重ねて配置される他のオブジェクト(第2のオブジェクト)の2次元画像データの所定の部分を抜き加工する処理を行う。ステップS407において、オブジェクト配置部908は、位置合わせ部906による位置合わせの結果に応じて、各オブジェクトの2次元画像データを配置する。ここで配置される2次元画像データには、第1の抜き加工部907によって抜き加工が施されたオブジェクトの2次元画像データも含まれる。
【0047】
図10は、ステップS407における各オブジェクトの配置処理を具体的に説明するための図である。図10において、1001は、人物の2次元画像データだけが配置されている状態を表している。1002は、位置合わせ部906の位置合わせの結果に応じて、ワイシャツ(第1のオブジェクト)の2次元画像データを人物の2次元画像データと整合するように配置した状態を表している。1003は、位置合わせ部906の位置合わせの結果に応じて、Tシャツ(第2のオブジェクト)の2次元画像データを人物の2次元画像データと整合するように配置した状態を表している。1003に示す状態においては、Tシャツの2次元画像データは、ワイシャツの2次元画像データ上に単純に重ね合わされているため、ワイシャツの2次元画像データのうち、Tシャツの2次元画像データと重畳する部分は全て隠れてしまう。従って、ワイシャツの襟がTシャツの内側に入ったような状態となり、実際の重ね着の状態でワイシャツの襟がTシャツの外側に出ていることを想定しているユーザにとっては、違和感のあるAR表示となる。従って、本実施形態では、ユーザによってワイシャツの襟をTシャツの外側に出した状態の重ね着を見たい旨の指示があった場合、第1の抜き加工部907は、ワイシャツの襟の部分のうち、Tシャツと重畳する部分を抜き加工する。これにより、Tシャツの内側に入っていたワイシャツの部分が透明化され、ワイシャツの襟がTシャツの外側に出たような状態となる。また、ワイシャツとジャケットとの関係を考えた場合、単にワイシャツの2次元画像データの手前にジャケットの2次元画像データを配置すると、ワイシャツの2次元画像データの殆どがジャケットの2次元画像データに隠れてしまい、重ね着したような状態とはならない。そこで本実施形態のような抜き加工処理をジャケットの2次元画像データの該当する部分に実行すると、奥のワイシャツの2次元画像データが見えるようになり、重ね着したような状態となる。
【0048】
図11は、上記の抜き加工について詳細に説明するための図である。図11において、1101は、ワイシャツの3次元画像データとTシャツの3次元画像データとの位置関係を示しており、単純に、ワイシャツの2次元画像データ上にTシャツの2次元画像データを重ねた状態を表している。なお、1101の破線がTシャツに隠れたワイシャツの襟の部分を表している。1102は、Tシャツとワイシャツの襟とが重畳する部分、即ち、抜き加工の対象となるTシャツの部分を示しており、一点鎖線で囲まれた部分がそれに該当する。この一点鎖線で囲まれた部分を抜き加工(透明化)することにより、ワイシャツの襟の部分が透けて表示され、図10の1004に示すように、ワイシャツの襟がTシャツの外に出たような状態となる。
【0049】
ステップS408において、第2の抜き加工部909は、人物の2次元画像データ及び各オブジェクトの2次元画像データが配置された状態において、人物の2次元画像データのうち、色指定部910により指定された色に該当する部分と重畳する、各オブジェクトの2次元画像データの部分を抜き加工する。これにより、図7を用いて説明したように、実際の重ね着に近い着用状態に2次元画像データを加工することができる。また第2の実施形態においても、第1の実施形態と同様に、特定のオブジェクトについてはステップS206における抜き加工処理を無効化するようにしてもよい。
【0050】
ステップS409において、表示制御部911は、人物や各オブジェクトの2次元画像データをディスプレイ307に表示する。ステップS410において、拡張現実感提示装置90は、ユーザによる撮影終了の操作があったか否かを判定する。この判定処理は、ステップS303と連動するものであってもよいし、拡張現実感提示装置90単独のものであってもよい。撮影終了の操作があった場合、処理は終了する。一方、撮影終了の操作がない場合、処理はステップS401に戻り、2次元カメラ80から受信する2次元画像データに基づくAR表示が繰り返される。
【0051】
次に、本発明の第3の実施形態について説明する。第1、第2の実施形態では、人物の画像データ(3次元画像データ、2次元画像データ)に基づいて、拡張現実感提示装置が自動的に当該人物(人体)に適合するオブジェクトを検索したが、本発明はこれに限定されない。即ち、人物の画像データ(3次元画像データ、2次元画像データ)を外部の通信端末に送信し、外部装置を使用する者が当該画像データに基づいて当該人物(人体)に適合するオブジェクトを推奨するようにしてもよい。
【0052】
図12は、第3の実施形態に係るAR表示システムの構成を概略的に示す図である。図12に示すように、本実施形態に係るAR表示システムは、撮影により被写体である人物の3次元画像データを生成する3次元カメラ1220と、3次元カメラ1220により生成された3次元画像データを拡張現実感提示装置1210を介して受信し、当該3次元画像データに基づいて店舗側から推奨されたオブジェクトの3次元画像データを拡張現実感提示装置1210に返す店舗PC1230と、当該人物が店舗PC1230を設置する店舗で購入した商品(オブジェクト)の履歴を管理する購入商品管理テーブル1240と、3次元カメラ1220によって生成された3次元画像データと、店舗PC1230から受信した各オブジェクトの3次元画像データとをディスプレイに合成表示する拡張現実感提示装置1210とにより構成される。なお、拡張現実感提示装置1210と店舗PC1230とはインターネットを介して接続される。
【0053】
以下、第3の実施形態に係るAR表示システムの動作について説明する。3次元カメラ1220で生成された人物の3次元画像データは拡張現実感提示装置1210を介して店舗PC1230に対して送信される。店舗PC1230は人物の3次元画像データをディスプレイに表示する。店舗側では、当該3次元画像データを参照しつつ、店舗PC1230に接続される購入商品管理テーブル1240から当該人物がこれまで購入してきたオブジェクトの履歴を検索し、当該人物に適合する(似合う)オブジェクトを選択する。オブジェクトが選択されると、店舗PC1230は、選択された各オブジェクトの3次元画像データを購入商品管理テーブル1240から取得し、拡張現実感提示装置1210に対して送信する。拡張現実感提示装置1210は、各オブジェクトの3次元画像データを受信すると、各オブジェクトの3次元画像データを人物の3次元画像データと整合する位置に合成表示する。この合成表示のための処理は、図4のステップS201〜ステップS208と同様である。ここでは、3次元画像データを対象に説明したが、2次元画像データを対象とした場合、合成表示のための処理は図9のステップS401〜ステップS410と同様の処理を適用することになる。なお、3次元カメラ又は2次元カメラから店舗PCに対して送信される人物の画像データは、録画したものであってもよいし、リアルタイムのものでもよい。
【0054】
その他の実施形態として、単一の店舗で購入したオブジェクトだけから当該人物に似合うオブジェクトが推奨されるのではなく、複数の店舗で購入したオブジェクトから当該人物に似合うオブジェクトを推奨するようにしてもよい。この場合、例えば、複数の店舗で購入した装着物がクローゼットに格納されており、クローゼット内で各装着物を吊り下げているハンガーにRFIDを取り付けておくことで、各装着物のIDを読み取れるようにしておく。そして、読み取った各装着物のID、当該IDに対応する各装着物の画像データ、及び、当該人物の画像データを友人のPCに送信することにより、友人から装着物の推奨を受けることができる。なお、各IDに対応する装着物の画像データの管理場所は当該人物側でなくてもよい。友人のPCが各IDを受信すると、IDをキーにして外部サイトから該当する画像データを取得するようにしてもよい。
【0055】
上述した実施形態によれば、重ねて表示される複数のオブジェクト間における手前と奥との配置関係を自由に表現することが可能となる。より具体的には、複数の装着物のオブジェクトを重ねてAR表示する際に、実際の重ね着に近い状態で表現することができるとともに、装着物のオブジェクトのある部分を、他の装着物のオブジェクトの手前或いは奥に表示させるのか自由に選択することが可能となる。また、上述した実施形態では、装着物として衣服を例示したが、広義の人物の装着物として車にも適用することができる。これにより、所望の車を試乗した状態をAR表示により閲覧することができる。
【0056】
なお、上述した実施形態では詳述を省略したが、重畳表示するオブジェクトの画像データは、所謂ポリゴンデータ等で作成しておくことで、人物の動作に合わせて重畳するオブジェクトの形状を変更することができる。例えば、人物が腕を伸ばした状態から肘を曲げた状態に動くと、重畳されるワイシャツ等のオブジェクトも肘を曲げた形状に変形できる。これにより、実際に人物が肘を曲げているにも関わらず、ワイシャツの袖がまっすぐに伸びて重畳表示されてしまう等の不自然さをなくすことができる。
【符号の説明】
【0057】
10:拡張現実感提示装置、101:画像データ受信部、102:人体認識部、103:オブジェクト格納部、104:オブジェクト検索部、105:位置合わせ部、106:オブジェクト配置部、107:抜き加工部、108:色指定部、109:表示制御部、20:3次元カメラ、201:3次元画像撮影部、202:画像データ送信部、80:2次元カメラ、801:2次元画像撮影部、802:画像データ送信部、90:拡張現実感提示装置、901:画像データ受信部、902:人体認識部、903:オブジェクト格納部、904:オブジェクト検索部、905:変換部、906:位置合わせ部、907:第1の抜き加工部、908:オブジェクト配置部、909:第2の抜き加工部、910:色指定部、911:表示制御部
【技術分野】
【0001】
本発明は、現実空間の映像とコンピュータグラフィックス画像データとを合成して提示させることが可能な技術に関するものである。
【背景技術】
【0002】
近年、AR(Augmented Reality)の技術を利用して試着する試みが広まってきている。非特許文献1に開示されている技術は、腕時計型のマーカを手首に装着し、カメラで捉えた実際の腕のマーカ位置に、腕時計の画像を重畳表示するものである。腕時計以外にも、ネクタイ型のマーカを使ってネクタイを試着するような仕組みも実用化されている。また、非特許文献2に開示されている技術は、マーカを装着することなく、カメラで捉えた人物の顔に、サングラスの画像を重畳表示するものである。
【0003】
これら従来の技術は仮想装着物を簡単に試着することはできるが、単品の試着であり、仮想装着物同士のコーディネートをすることまでは想定されていない。例えば、複数のマーカを装着して一つのカメラ画像に収まれば、そのマーカ毎に対応する仮想画像がマーカ位置に重畳表示されるが、マーカ同士が前後に重なって撮影されると、後ろ側のマーカは隠れてしまい、位置や形状が認識されないため、仮想画像は表示されなくなってしまう。所謂、重ね着のように複数のアイテムを同時に前後に重ねてARで試着することはできなかった。
【先行技術文献】
【非特許文献】
【0004】
【非特許文献1】TISSOT REALITY、インターネット<URL:http://www.tissot.ch/reality/>
【非特許文献2】RAY−BAN Offical Web Site、インターネット<URL:http://www.ray-ban.com/france/science/virtual-mirror>
【発明の概要】
【発明が解決しようとする課題】
【0005】
また、シャツとジャケットでの重ね着を考えた場合、シャツの襟をジャケットの内側に着る方法と、襟をジャケットの外側に出して着る方法とを比較したくても、そのような表示はできなかった。ARでは、カメラからの相対位置で、近い側のオブジェクトを、遠い側のオブジェクトより手前側に表示するということは行われている。しかしながら、このような技術を用いたとしても、例えばジャケットをシャツより手前側に表示すると、シャツの画像は完全にジャケットの後ろ側に表示されてしまうため、試着しているような画像を得ることはできなかった。
【0006】
そこで、本発明の目的は、重ねて表示される複数のオブジェクト間における手前と奥との配置関係を自由に表現することにある。
【課題を解決するための手段】
【0007】
本発明の拡張現実感提示装置の第1の態様は、現実空間の映像と画像データとを合成して表示させることが可能な拡張現実感提示装置であって、撮影により取得された人物の3次元画像データに基づいて、前記人物の所定の部位を認識する認識手段と、前記認識手段による認識結果に基づいて、前記人物の3次元画像データと複数のオブジェクトの3次元画像データとの位置合わせを行う位置合わせ手段と、前記位置合わせ手段による位置合わせの結果に基づいて、前記人物の3次元画像データの外側に前記複数のオブジェクトの3次元画像データを配置し、且つ、前記複数のオブジェクトに含まれる第1のオブジェクトの3次元画像データの外側に、前記複数のオブジェクトに含まれる第2のオブジェクトの3次元画像データを配置して表示手段に表示させる表示制御手段とを有することを特徴とする。
本発明の拡張現実感提示装置の第2の態様は、現実空間の映像と画像データとを合成して表示させることが可能な拡張現実感提示装置であって、撮影により取得された人物の2次元画像データに基づいて、前記人物の所定の部位を認識する認識手段と、前記認識手段による認識結果に基づいて、前記人物の2次元画像データと複数のオブジェクトの2次元画像データとの位置合わせを行う位置合わせ手段と、前記複数のオブジェクトに含まれる第1のオブジェクト上に重ねて配置される、前記複数のオブジェクトに含まれる前記第2のオブジェクトの2次元画像データの所定の部分を抜き加工する第1の加工手段と、前記位置合わせ手段による位置合わせの結果に基づいて、前記人物の2次元画像データ上に前記複数のオブジェクトの2次元画像データが重なり、且つ、前記第1のオブジェクトの2次元画像データ上に前記第1の加工手段により抜き加工された前記第2のオブジェクトの2次元画像データが重なるように表示手段に表示させる表示制御手段とを有することを特徴とする。
本発明の拡張現実感提示方法の第1の態様は、現実空間の映像と画像データとを合成して表示させることが可能な拡張現実感提示装置によって実行される拡張現実感提示方法であって、撮影により取得された人物の3次元画像データに基づいて、前記人物の所定の部位を認識する認識ステップと、前記認識ステップによる認識結果に基づいて、前記人物の3次元画像データと複数のオブジェクトの3次元画像データとの位置合わせを行う位置合わせステップと、前記位置合わせステップによる位置合わせの結果に基づいて、前記人物の3次元画像データの外側に前記複数のオブジェクトの3次元画像データを配置し、且つ、前記複数のオブジェクトに含まれる第1のオブジェクトの3次元画像データの外側に、前記複数のオブジェクトに含まれる第2のオブジェクトの3次元画像データを配置して表示手段に表示させる表示制御ステップとを有することを特徴とする。
本発明の拡張現実感提示方法の第2の態様は、現実空間の映像と画像データとを合成して表示させることが可能な拡張現実感提示装置によって実行される拡張現実感提示方法であって、撮影により取得された人物の2次元画像データに基づいて、前記人物の所定の部位を認識する認識ステップと、前記認識ステップによる認識結果に基づいて、前記人物の2次元画像データと複数のオブジェクトの2次元画像データとの位置合わせを行う位置合わせステップと、前記複数のオブジェクトに含まれる第1のオブジェクト上に重ねて配置される、前記複数のオブジェクトに含まれる前記第2のオブジェクトの2次元画像データの所定の部分を抜き加工する加工ステップと、前記位置合わせステップによる位置合わせの結果に基づいて、前記人物の2次元画像データ上に前記複数のオブジェクトの2次元画像データが重なり、且つ、前記第1のオブジェクトの2次元画像データ上に前記加工ステップにより抜き加工された前記第2のオブジェクトの2次元画像データが重なるように表示手段に表示させる表示制御ステップとを有することを特徴とする。
本発明のプログラムの第1の態様は、現実空間の映像と画像データとを合成して表示させることが可能な拡張現実感提示装置によって実行される拡張現実感提示方法をコンピュータに実行させるためのプログラムであって、撮影により取得された人物の3次元画像データに基づいて、前記人物の所定の部位を認識する認識ステップと、前記認識ステップによる認識結果に基づいて、前記人物の3次元画像データと複数のオブジェクトの3次元画像データとの位置合わせを行う位置合わせステップと、前記位置合わせステップによる位置合わせの結果に基づいて、前記人物の3次元画像データの外側に前記複数のオブジェクトの3次元画像データを配置し、且つ、前記複数のオブジェクトに含まれる第1のオブジェクトの3次元画像データの外側に、前記複数のオブジェクトに含まれる第2のオブジェクトの3次元画像データを配置して表示手段に表示させる表示制御ステップとをコンピュータに実行させることを特徴とする。
本発明のプログラムの第2の態様は、現実空間の映像と画像データとを合成して表示させることが可能な拡張現実感提示装置によって実行される拡張現実感提示方法をコンピュータに実行させるためのプログラムであって、撮影により取得された人物の2次元画像データに基づいて、前記人物の所定の部位を認識する認識ステップと、前記認識ステップによる認識結果に基づいて、前記人物の2次元画像データと複数のオブジェクトの2次元画像データとの位置合わせを行う位置合わせステップと、前記複数のオブジェクトに含まれる第1のオブジェクト上に重ねて配置される、前記複数のオブジェクトに含まれる前記第2のオブジェクトの2次元画像データの所定の部分を抜き加工する加工ステップと、前記位置合わせステップによる位置合わせの結果に基づいて、前記人物の2次元画像データ上に前記複数のオブジェクトの2次元画像データが重なり、且つ、前記第1のオブジェクトの2次元画像データ上に前記加工ステップにより抜き加工された前記第2のオブジェクトの2次元画像データが重なるように表示手段に表示させる表示制御ステップとをコンピュータに実行させることを特徴とする。
【発明の効果】
【0008】
本発明によれば、重ねて表示される複数のオブジェクト間における手前と奥との配置関係を自由に表現することが可能となる。
【図面の簡単な説明】
【0009】
【図1】本発明の第1の実施形態に係るAR表示システムの構成を概略的に示す図である。
【図2】本発明の第1の実施形態に係るAR表示システムの機能的な構成を示すブロック図である。
【図3】本発明の実施形態における拡張現実感提示装置のハードウェア構成を示す図である。
【図4】本発明の第1の実施形態に係るAR表示システムの動作を示すフローチャートである。
【図5】ステップS205における各オブジェクトの配置処理を具体的に説明するための図である。
【図6】ステップS205における抜き加工処理について詳細に説明するための図である。
【図7】ステップS206における抜き加工処理を具体的に説明するための図である。
【図8】本発明の第2の実施形態に係るAR表示システムの機能的な構成を示すブロック図である。
【図9】本発明の第2の実施形態に係るAR表示システムの動作を示すフローチャートである。
【図10】ステップS407における各オブジェクトの配置処理を具体的に説明するための図である。
【図11】本発明の第2の実施形態における抜き加工処理について詳細に説明するための図である。
【図12】本発明の第3の実施形態に係るAR表示システムの構成を概略的に示す図である。
【発明を実施するための形態】
【0010】
以下、本発明を適用した好適な実施形態を、添付図面を参照しながら詳細に説明する。
【0011】
先ず、本発明の第1の実施形態について説明する。図1は、本発明の第1の実施形態に係るAR表示システムの構成を概略的に示す図である。図1に示すように、本実施形態に係るAR表示システムは、撮影により被写体の3次元画像データを生成する3次元カメラ20と、3次元カメラ20により生成された3次元画像データを入力してディスプレイに表示するとともに、当該被写体の3次元画像データと整合する位置に衣服等のオブジェクトの3次元画像データを合成表示する拡張現実感提示装置10とにより構成される。拡張現実感提示装置10は、例えばワイシャツやTシャツ等の装着物のオブジェクトの3次元画像データを格納しており、これらのオブジェクトの3次元画像データ30、40を、被写体である人物の3次元画像データ50と整合する位置に合成表示することにより、仮想的に人物がワイシャツやTシャツを試着しているような映像を提示することができる。以下では、このように現実空間の映像にコンピュータグラフィックス画像データを合成表示して拡張された現実感を演出することを、AR(Augmented Reality)表示と称することがある。なお、3次元カメラ20と拡張現実感提示装置10とはLAN等の通信回線により接続されている。
【0012】
以下で説明する実施形態においては、AR表示を行うデバイスであるAR表示デバイスの例としてPC型のAR表示デバイスを挙げているが、これに限られない。例えば、カメラ機能と画像表示機能とが搭載された携帯端末型のAR表示デバイスも適用することができる。
【0013】
図2は、本実施形態に係るAR表示システムの機能的な構成を示すブロック図である。図2において、3次元カメラ20は、3次元画像撮影部201と画像データ送信部202とを備える。3次元画像撮影部201は、撮影により人物の3次元画像データを生成する。画像データ送信部202は、3次元画像撮影部201により生成された3次元画像データを拡張現実感提示装置10に対して送信する。
【0014】
拡張現実感提示装置10は、画像データ受信部101、人体認識部102、オブジェクト格納部103、オブジェクト検索部104、位置合わせ部105、オブジェクト配置部106、抜き加工部107、色指定部108及び表示制御部109を備える。
【0015】
画像データ受信部101は、3次元カメラ20の画像データ送信部202より送信された人物の3次元画像データを受信する。人体認識部102は、人物の3次元画像データに基づいて、顔や両肩等の人体の所定の部位や人体のサイズの認識等、人体に関する認識処理を行う。オブジェクト格納部103は、ワイシャツやTシャツ等、装着物のオブジェクトの3次元画像データを格納している。オブジェクト検索部104は、人体認識部102の認識結果に基づいて、人体に適合するオブジェクトの3次元画像データを検索する。位置合わせ部105は、人体認識部102の認識結果に基づいて、人物の3次元画像データと、オブジェクト検索部104で検索されたオブジェクトの3次元画像データとの位置合わせを行う。オブジェクト配置部106は、位置合わせ部105による位置合わせの結果に応じてオブジェクトの3次元画像データを仮想3次元空間内に配置する。これにより、人物の3次元画像データと各オブジェクトの3次元画像データとが整合した位置に配置され、人物が各装着物のオブジェクトを試着したように見える。
【0016】
色指定部108は、ユーザに任意の色を指定させる操作手段に対応する。抜き加工部107は、人物の3次元画像データのうち、色指定部108によって指定された色に該当する部分に重畳する、各オブジェクトの3次元画像データの部分を抜き加工する。抜き加工とは、対象となる部分を透明化することである。例えば、仮想3次元空間において、第1のオブジェクトと第2のオブジェクトとが奥行き方向に重なるように配置された状態(第1のオブジェクトが奥、第2のオブジェクトが手前に配置された状態)において、第2のオブジェクトのある部分が抜き加工されると、その部分に隠れていた第1のオブジェクトの部分の3次元画像データが透けて見えるようになる。表示制御部109は、仮想3次元空間に配置された各3次元画像データをディスプレイ307に表示する。
【0017】
図3は、本実施形態における拡張現実感提示装置10のハードウェア構成を示す図である。図3において、CPU301は、システムバスに接続される各デバイスやコントローラを統括的に制御する。ROM302には、CPU301の制御プログラムであるオペレーティングシステム(OS)が記憶されている。HDD305には、図2に示した各機能を実現するためのプログラムが記憶されている。RAM303は、CPU301の主メモリ、ワークエリア、一時退避領域等として機能する。通信I/Fコントローラ304は、ネットワークを介して外部機器(例えば、3次元カメラ20)との通信制御処理を実行する。なお、HDD305の代替手段として、SDD(Solid State Drive)を用いてもよい。ディスプレイコントローラ306は、ディスプレイ307に対する画像表示を制御する。
【0018】
図2における、画像データ受信部101は、通信I/Fコントローラ304に対応する構成である。人体認識部102、オブジェクト検索部104、位置合わせ部105、オブジェクト配置部106、抜き加工部107は、CPU301及びHDD305に記憶されるプログラムに対応する構成である。表示制御部109は、ディスプレイコントローラ306に対応する構成である。オブジェクト格納部103は、HDD305に対応する構成である。色指定部108は、不図示のマウスやキーボード等の操作手段に対応する構成である。
【0019】
図4は、第1の実施形態に係るAR表示システムの動作を示すフローチャートである。以下、図4を参照しながら、本実施形態に係るAR表示システムの動作を詳細に説明する。
【0020】
ステップS101において、3次元画像撮影部201は、被写体である人物を撮影し、当該人物の3次元画像データを生成する。ステップS102において、画像データ送信部202は、3次元画像撮影部201により生成された人物の3次元画像データを拡張現実感提示装置10に対して送信する。ステップS103において、3次元カメラ20は、ユーザによる撮影終了の操作があったか否かを判定する。撮影終了の操作があった場合、処理は終了する。一方、撮影終了の操作がない場合、処理はステップS101に戻り、人物の3次元画像データの生成、送信が繰り返される。
【0021】
ステップS201において、画像データ受信部101は、3次元カメラ20から人物の3次元画像データを受信する。ステップS202において、人体認識部102は、人物の3次元画像データに基づいて、顔や両肩等の人体の所定の部位や人体のサイズ等を認識する。人体の所定の部位の認識方法としては、例えば、モデルとなる顔や両肩等の画像データを予め用意しておき、人物の3次元画像データとマッチングすることにより、これらの部位を認識する方法等が挙げられる。
【0022】
また、人体の骨格モデル情報を骨格モデルデータベース(図示せず)で保持し、カメラで撮影された3次元画像データに対して不自然な部位認識をしないようにすることもできる。例えば、撮影された人物像の顔部分と背景部分に基づいて背景を誤って人体と認識してしまう可能性がある。誤認識を起こすと、顔と体の相対位置がずれてしまったり、肘や膝が本来曲がらない反対側に曲がって判断されてしまう等の不都合が生じる。そこで、人体の骨格モデル情報として、顔と体の相対位置や肘・膝の曲がり方向・角度等を保持し、認識された顔等を基準に骨格モデル情報に適合した人体の部位を特定するようにするとよい。
【0023】
その他、人物の3次元画像データをディスプレイに表示させ、ユーザに顔や両肩等を指示入力させることにより、これらの部位を認識するようにしてもよい。なお、ここで認識する部位は、人物の3次元画像データとオブジェクトの3次元画像データとの位置を整合させるために利用するものであるため、顔や両肩に限定されないことは勿論である。例えば、オブジェクトがズボンである場合には、腰や足首等を認識するようにすればよい。また、人体のサイズの認識方法は、例えば、人物との被写体距離と当該人物の撮影画像のサイズとに基づいて認識する方法等が挙げられる。人体のサイズは、当該人物がキーボード等の操作手段を使用して自ら入力するようにしてもよい。
【0024】
ステップS203において、オブジェクト検索部104は、人物の3次元画像データに基づいて、オブジェクト格納部103から当該人物に適合するオブジェクトの3次元画像データを検索する。ここでは、ステップS202において認識された人体のサイズに合ったオブジェクトの3次元画像データが検索される。なお、本実施形態は、現実の重ね着に近い着用状態をAR表示にて表現するものであるため、ステップS203では、当該人物について少なくとも2以上のオブジェクトの3次元画像データが検索されるものとする。
【0025】
ステップS204において、位置合わせ部105は、人物の3次元画像データに基づいて、人物の3次元画像データと、オブジェクト検索部104で検索された各オブジェクトの3次元画像データとの位置合わせを行う。即ち、位置合わせ部105は、人体認識部102によって認識された人体の部位を基準にして各オブジェクトの3次元画像データの位置を決定する。例えば、両肩が認識されている場合、その両肩と、ワイシャツやTシャツのオブジェクトの両肩部分が一致するように、ワイシャツやTシャツの配置位置及び向きが決定される。また、顔の認識されている場合には、目や口等の位置からどの方向に顔が向いているのか判定し、顔の向きと整合するように帽子の配置位置及び向きが決定される。
【0026】
ステップS205において、オブジェクト配置部106は、位置合わせ部105による位置合わせの結果に応じて、各オブジェクトの3次元画像データを仮想3次元空間内に配置する。これにより、人物が各オブジェクトを試着したような配置状態となる。
【0027】
図5は、ステップS205における各オブジェクトの配置処理を具体的に説明するための図である。図5において、501は、仮想3次元空間内に人物の3次元画像データだけが配置されている状態を表している。502は、位置合わせ部105の位置合わせの結果に応じて、ワイシャツ(第1のオブジェクト)の3次元画像データを人物の3次元画像データと整合するように配置した状態を表している。503は、位置合わせ部105の位置合わせの結果に応じて、Tシャツ(第2のオブジェクト)の3次元画像データを人物の3次元画像データと整合するように配置した状態を表している。このとき、503に示すように、ワイシャツの3次元画像データはTシャツの3次元画像データの内側に配置されているが、ワイシャツの襟の部分がTシャツの外側に出てしまうようなワイシャツの形状の場合がある。この状態においても現実の重ね着に近い状態が表現されているが、ユーザによっては、ワイシャツの襟がTシャツの内側に入った状態も見たいという場合がある。このような場合、ユーザがその旨の指示を与えると、抜き加工部107は、ワイシャツの襟の部分のうち、Tシャツと重畳する部分を抜き加工する。これにより、Tシャツの外側に出ていたワイシャツの襟の部分が透明化され、ワイシャツの襟がTシャツの内側に入ったような状態となる。
【0028】
図6は、上記の抜き加工について詳細に説明するための図である。図6において、601は、ワイシャツの3次元画像データとTシャツの3次元画像データとの位置関係を示している。601の破線がTシャツの3次元画像データの位置を表している。602は、ワイシャツの襟のうち、Tシャツと重畳する部分、即ち、Tシャツの外側に出ている襟の部分を示しており、一点鎖線で囲まれた部分がそれに該当する。この一点鎖線で囲まれた部分を抜き加工(透明化)することにより、その奥に位置するワイシャツの部分が透けて表示され、図5の504に示すように、ワイシャツの襟がTシャツの内側に入ったような状態となる。
【0029】
ステップS206において、抜き加工部107は、仮想3次元空間内に人物の3次元画像データ及び各オブジェクトの3次元画像データが配置された状態において、人物の3次元画像データのうち、色指定部108により指定された色に該当する部分と重畳する、各オブジェクトの3次元画像データの部分を抜き加工する。例えば、色指定部108により髪の色が指定された場合、人物の3次元画像データのうち、髪の色と同一色の部分(髪の部分)と重畳する各オブジェクトの3次元画像データの部分が抜き加工される。これにより、人物の3次元画像データの外側に各オブジェクトの3次元画像データが配置される際に、人物の髪は必ず各オブジェクトの外側に位置するように表示されることになる。
【0030】
図7は、ステップS206における抜き加工処理を具体的に説明するための図である。人物の外側に、ワイシャツの3次元画像データとTシャツの3次元画像データとを配置すると、701に示すように、髪の外側にワイシャツやTシャツが出ているような状態になることがある。実際の着用状態においては、髪の外側にワイシャツやTシャツが出ているようなことは殆どないので、実際の衣服の着用状態に近づけるように3次元画像データを加工することが望ましい。そこで本実施形態では、色指定部108により髪の色が指定されると、人物の3次元画像データのうち、指定された色と同一色の部分と重畳するワイシャツやTシャツの3次元画像データの部分7011を抜き加工する。これにより、702に示すように、ワイシャツやTシャツの3次元画像データに隠れていた髪の部分が見えるようになり、ワイシャツやTシャツの外側に髪が出たような状態となる。
【0031】
また、特定のオブジェクトについては、ステップS206における抜き加工処理を無効化するようにしてもよい。具体的には、例えば帽子、フード等の髪の上に表示させたいオブジェクトについては、仮に髪と重畳する位置にそれらのオブジェクトが配置されていても抜き加工処理は実行しないようにする。これにより、帽子やフード等を頭にかぶった状態を表現することができる。
【0032】
ステップS207において、表示制御部109は、人物や各オブジェクトの3次元画像データをディスプレイ307に表示する。このとき、ディスプレイ307は平面形状であるため、3次元画像データから2次元画像データへの変換処理が行われる。
【0033】
ステップS208において、拡張現実感提示装置10は、ユーザによる撮影終了の操作があったか否かを判定する。この判定処理は、ステップS103と連動するものであってもよいし、拡張現実感提示装置10単独のものであってもよい。撮影終了の操作があった場合、処理は終了する。一方、撮影終了の操作がない場合、処理はステップS201に戻り、3次元カメラ20から受信する3次元画像データに基づくAR表示が繰り返される。
【0034】
次に、本発明の第2の実施形態について説明する。第2の実施形態に係るAR表示システムの概略構成は、図1に示す構成と略同一であり、3次元カメラ20が2次元カメラ10に代わることと、拡張現実感提示装置10が2次元画像データに対応した機能を持つことが第1の実施形態と相違する。
【0035】
図8は、本実施形態に係るAR表示システムの機能的な構成を示すブロック図である。図8において、2次元カメラ80は、2次元画像撮影部801と画像データ送信部802とを備える。2次元画像撮影部801は、撮影により人物の2次元画像データを生成する。画像データ送信部802は、2次元画像撮影部801により生成された2次元画像データを拡張現実感提示装置90に対して送信する。
【0036】
拡張現実感提示装置90は、画像データ受信部901、人体認識部902、オブジェクト格納部903、オブジェクト検索部904、変換部905、位置合わせ部906、第1の抜き加工部907、オブジェクト配置部908、第2の抜き加工部909、色指定部910、表示制御部911を備える。
【0037】
画像データ受信部901は、2次元カメラ80の画像データ送信部802により送信された人物の2次元画像データを受信する。人体認識部902は、人物の2次元画像データに基づいて、顔や両肩等の人物の所定の部位や人体のサイズの認識等、人体に関する認識処理を行う。オブジェクト格納部903は、ワイシャツやTシャツ等、装着物のオブジェクトの3次元画像データを格納している。オブジェクト検索部904は、人体認識部902の認識結果に基づいて、人体に適合するオブジェクトの3次元画像データを検索する。位置合わせ部906は、人体認識部902の認識結果に基づいて、人物の3次元画像データと各オブジェクトの3次元画像データとの位置合わせを行う。変換部905は、位置合わせ部906による位置合わせの結果に応じて、オブジェクト検索部904によって検索された各オブジェクトの3次元画像データを2次元画像データに変換する。第1の抜き加工部907は、或るオブジェクト(第1のオブジェクト)の2次元画像データ上に重ねて配置される他のオブジェクト(第2のオブジェクト)の2次元画像データの所定の部分を抜き加工する処理を行う。オブジェクト配置部908は、位置合わせ部906による位置合わせの結果に応じてオブジェクトの2次元画像データを配置する。これにより、人物の2次元画像データと各オブジェクトの2次元画像データとが整合する位置に配置され、人物が各装着物のオブジェクトを試着したように見える。
【0038】
色指定部910は、ユーザに任意の色を指定させる操作手段に対応する。第2の抜き加工部909は、人物の2次元画像データのうち、色指定部910によって指定された色に該当する部分に重畳する、各オブジェクトの2次元画像データの部分を抜き加工する。2次元画像データの抜き加工も3次元画像データの抜き加工と同様である。例えば、第1のオブジェクトと第2のオブジェクトとが奥行き方向に重なるように配置された状態(第1のオブジェクトが奥、第2のオブジェクトが手前に配置された状態)において、第2のオブジェクトのある部分が抜き加工されると、その部分に隠れていた第1のオブジェクトの部分の2次元画像データが透けて見えるようになる。表示制御部911は、配置された各2次元画像データをディスプレイ912に表示する。
【0039】
なお、第2の実施形態における拡張現実感提示装置90のハードウェア構成は、図3に示す構成と同様である。即ち、図8の画像データ受信部901は、通信I/Fコントローラ304に対応する構成である。人体認識部902、オブジェクト検索部904、変換部905、位置合わせ部906、第1の抜き加工部907、オブジェクト配置部908、第2の抜き加工部909は、CPU301及びHDD305に記憶されるプログラムに対応する構成である。表示制御部911は、ディスプレイコントローラ306に対応する構成である。オブジェクト格納部903は、HDD305に対応する構成である。色指定部910は、不図示のマウスやキーボード等の操作部に対応する構成である。
【0040】
図9は、第2の実施形態に係るAR表示システムの動作を示すフローチャートである。以下、図9を参照しながら、本実施形態に係るAR表示システムの動作を詳細に説明する。
【0041】
ステップS301において、2次元画像撮影部801は、被写体である人物を撮影し、当該人物の2次元画像データを生成する。ステップS302において、画像データ送信部802は、2次元画像撮影部801により生成された人物の2次元画像データを拡張現実感提示装置90に対して送信する。ステップS303において、2次元カメラ80は、ユーザによる撮影終了の操作があったか否かを判定する。撮影終了の操作があった場合、処理は終了する。一方、撮影終了の操作がない場合、処理はステップS301に戻り、人物の2次元画像データの生成、送信が繰り返される。
【0042】
ステップS401において、画像データ受信部901は、2次元カメラ80から人物の2次元画像データを受信する。ステップS402において、人体認識部902は、人物の2次元画像データに基づいて、顔や両肩等の人体の所定の部位や人体のサイズ等を認識する。人体の部位の認識方法としては、第1の実施形態と同様の方法が挙げられる。また、認識する部位が顔や両肩に限定されないことも第1の実施形態と同様である。さらに、人体のサイズの認識方法についても第1の実施形態と同様である。
【0043】
ステップS403において、オブジェクト検索部904は、人物の2次元画像データに基づいて、オブジェクト格納部903から当該人物に適合するオブジェクトの2次元画像データを検索する。ここでのオブジェクトの検索方法も第1の実施形態と同様である。また、本実施形態においても、現実の重ね着に近い着用状態をAR表示にて表現するものであるため、ステップS403では、当該人物について少なくとも2以上のオブジェクトの2次元画像データが検索されるものとする。
【0044】
ステップS404において、位置合わせ部906は、人物の2次元画像データに基づいて、人物の2次元画像データと、オブジェクト検索部904により検索された各オブジェクトの2次元画像データとの位置合わせを行う。即ち、位置合わせ部906は、人体認識部902によって認識された人体の部位を基準にして各オブジェクトの3次元画像データの位置を決定する。例えば、両肩が認識されている場合、その両肩と、ワイシャツやTシャツのオブジェクトの両肩部分が一致するように、ワイシャツやTシャツの配置位置及び向きが決定される。また、顔の認識されている場合には、目や口等の位置からどの方向に顔が向いているのか判定し、顔の向きと整合するように帽子の配置位置及び向きが決定される。
【0045】
ステップS405において、変換部905は、位置合わせ部906により決定された各オブジェクトの3次元画像データの配置位置や向き等に応じて、オブジェクト検索部904により検索された各オブジェクトの3次元画像データを2次元画像データに変換する。即ち、変換部905は、ディスプレイ307上で夫々のオブジェクトが上記配置位置において上記の向きで見えるように3次元画像データから2次元画像データへの変換を行う。
【0046】
ステップS406において、第1の抜き加工部907は、或るオブジェクト(第1のオブジェクト)の2次元画像データ上に重ねて配置される他のオブジェクト(第2のオブジェクト)の2次元画像データの所定の部分を抜き加工する処理を行う。ステップS407において、オブジェクト配置部908は、位置合わせ部906による位置合わせの結果に応じて、各オブジェクトの2次元画像データを配置する。ここで配置される2次元画像データには、第1の抜き加工部907によって抜き加工が施されたオブジェクトの2次元画像データも含まれる。
【0047】
図10は、ステップS407における各オブジェクトの配置処理を具体的に説明するための図である。図10において、1001は、人物の2次元画像データだけが配置されている状態を表している。1002は、位置合わせ部906の位置合わせの結果に応じて、ワイシャツ(第1のオブジェクト)の2次元画像データを人物の2次元画像データと整合するように配置した状態を表している。1003は、位置合わせ部906の位置合わせの結果に応じて、Tシャツ(第2のオブジェクト)の2次元画像データを人物の2次元画像データと整合するように配置した状態を表している。1003に示す状態においては、Tシャツの2次元画像データは、ワイシャツの2次元画像データ上に単純に重ね合わされているため、ワイシャツの2次元画像データのうち、Tシャツの2次元画像データと重畳する部分は全て隠れてしまう。従って、ワイシャツの襟がTシャツの内側に入ったような状態となり、実際の重ね着の状態でワイシャツの襟がTシャツの外側に出ていることを想定しているユーザにとっては、違和感のあるAR表示となる。従って、本実施形態では、ユーザによってワイシャツの襟をTシャツの外側に出した状態の重ね着を見たい旨の指示があった場合、第1の抜き加工部907は、ワイシャツの襟の部分のうち、Tシャツと重畳する部分を抜き加工する。これにより、Tシャツの内側に入っていたワイシャツの部分が透明化され、ワイシャツの襟がTシャツの外側に出たような状態となる。また、ワイシャツとジャケットとの関係を考えた場合、単にワイシャツの2次元画像データの手前にジャケットの2次元画像データを配置すると、ワイシャツの2次元画像データの殆どがジャケットの2次元画像データに隠れてしまい、重ね着したような状態とはならない。そこで本実施形態のような抜き加工処理をジャケットの2次元画像データの該当する部分に実行すると、奥のワイシャツの2次元画像データが見えるようになり、重ね着したような状態となる。
【0048】
図11は、上記の抜き加工について詳細に説明するための図である。図11において、1101は、ワイシャツの3次元画像データとTシャツの3次元画像データとの位置関係を示しており、単純に、ワイシャツの2次元画像データ上にTシャツの2次元画像データを重ねた状態を表している。なお、1101の破線がTシャツに隠れたワイシャツの襟の部分を表している。1102は、Tシャツとワイシャツの襟とが重畳する部分、即ち、抜き加工の対象となるTシャツの部分を示しており、一点鎖線で囲まれた部分がそれに該当する。この一点鎖線で囲まれた部分を抜き加工(透明化)することにより、ワイシャツの襟の部分が透けて表示され、図10の1004に示すように、ワイシャツの襟がTシャツの外に出たような状態となる。
【0049】
ステップS408において、第2の抜き加工部909は、人物の2次元画像データ及び各オブジェクトの2次元画像データが配置された状態において、人物の2次元画像データのうち、色指定部910により指定された色に該当する部分と重畳する、各オブジェクトの2次元画像データの部分を抜き加工する。これにより、図7を用いて説明したように、実際の重ね着に近い着用状態に2次元画像データを加工することができる。また第2の実施形態においても、第1の実施形態と同様に、特定のオブジェクトについてはステップS206における抜き加工処理を無効化するようにしてもよい。
【0050】
ステップS409において、表示制御部911は、人物や各オブジェクトの2次元画像データをディスプレイ307に表示する。ステップS410において、拡張現実感提示装置90は、ユーザによる撮影終了の操作があったか否かを判定する。この判定処理は、ステップS303と連動するものであってもよいし、拡張現実感提示装置90単独のものであってもよい。撮影終了の操作があった場合、処理は終了する。一方、撮影終了の操作がない場合、処理はステップS401に戻り、2次元カメラ80から受信する2次元画像データに基づくAR表示が繰り返される。
【0051】
次に、本発明の第3の実施形態について説明する。第1、第2の実施形態では、人物の画像データ(3次元画像データ、2次元画像データ)に基づいて、拡張現実感提示装置が自動的に当該人物(人体)に適合するオブジェクトを検索したが、本発明はこれに限定されない。即ち、人物の画像データ(3次元画像データ、2次元画像データ)を外部の通信端末に送信し、外部装置を使用する者が当該画像データに基づいて当該人物(人体)に適合するオブジェクトを推奨するようにしてもよい。
【0052】
図12は、第3の実施形態に係るAR表示システムの構成を概略的に示す図である。図12に示すように、本実施形態に係るAR表示システムは、撮影により被写体である人物の3次元画像データを生成する3次元カメラ1220と、3次元カメラ1220により生成された3次元画像データを拡張現実感提示装置1210を介して受信し、当該3次元画像データに基づいて店舗側から推奨されたオブジェクトの3次元画像データを拡張現実感提示装置1210に返す店舗PC1230と、当該人物が店舗PC1230を設置する店舗で購入した商品(オブジェクト)の履歴を管理する購入商品管理テーブル1240と、3次元カメラ1220によって生成された3次元画像データと、店舗PC1230から受信した各オブジェクトの3次元画像データとをディスプレイに合成表示する拡張現実感提示装置1210とにより構成される。なお、拡張現実感提示装置1210と店舗PC1230とはインターネットを介して接続される。
【0053】
以下、第3の実施形態に係るAR表示システムの動作について説明する。3次元カメラ1220で生成された人物の3次元画像データは拡張現実感提示装置1210を介して店舗PC1230に対して送信される。店舗PC1230は人物の3次元画像データをディスプレイに表示する。店舗側では、当該3次元画像データを参照しつつ、店舗PC1230に接続される購入商品管理テーブル1240から当該人物がこれまで購入してきたオブジェクトの履歴を検索し、当該人物に適合する(似合う)オブジェクトを選択する。オブジェクトが選択されると、店舗PC1230は、選択された各オブジェクトの3次元画像データを購入商品管理テーブル1240から取得し、拡張現実感提示装置1210に対して送信する。拡張現実感提示装置1210は、各オブジェクトの3次元画像データを受信すると、各オブジェクトの3次元画像データを人物の3次元画像データと整合する位置に合成表示する。この合成表示のための処理は、図4のステップS201〜ステップS208と同様である。ここでは、3次元画像データを対象に説明したが、2次元画像データを対象とした場合、合成表示のための処理は図9のステップS401〜ステップS410と同様の処理を適用することになる。なお、3次元カメラ又は2次元カメラから店舗PCに対して送信される人物の画像データは、録画したものであってもよいし、リアルタイムのものでもよい。
【0054】
その他の実施形態として、単一の店舗で購入したオブジェクトだけから当該人物に似合うオブジェクトが推奨されるのではなく、複数の店舗で購入したオブジェクトから当該人物に似合うオブジェクトを推奨するようにしてもよい。この場合、例えば、複数の店舗で購入した装着物がクローゼットに格納されており、クローゼット内で各装着物を吊り下げているハンガーにRFIDを取り付けておくことで、各装着物のIDを読み取れるようにしておく。そして、読み取った各装着物のID、当該IDに対応する各装着物の画像データ、及び、当該人物の画像データを友人のPCに送信することにより、友人から装着物の推奨を受けることができる。なお、各IDに対応する装着物の画像データの管理場所は当該人物側でなくてもよい。友人のPCが各IDを受信すると、IDをキーにして外部サイトから該当する画像データを取得するようにしてもよい。
【0055】
上述した実施形態によれば、重ねて表示される複数のオブジェクト間における手前と奥との配置関係を自由に表現することが可能となる。より具体的には、複数の装着物のオブジェクトを重ねてAR表示する際に、実際の重ね着に近い状態で表現することができるとともに、装着物のオブジェクトのある部分を、他の装着物のオブジェクトの手前或いは奥に表示させるのか自由に選択することが可能となる。また、上述した実施形態では、装着物として衣服を例示したが、広義の人物の装着物として車にも適用することができる。これにより、所望の車を試乗した状態をAR表示により閲覧することができる。
【0056】
なお、上述した実施形態では詳述を省略したが、重畳表示するオブジェクトの画像データは、所謂ポリゴンデータ等で作成しておくことで、人物の動作に合わせて重畳するオブジェクトの形状を変更することができる。例えば、人物が腕を伸ばした状態から肘を曲げた状態に動くと、重畳されるワイシャツ等のオブジェクトも肘を曲げた形状に変形できる。これにより、実際に人物が肘を曲げているにも関わらず、ワイシャツの袖がまっすぐに伸びて重畳表示されてしまう等の不自然さをなくすことができる。
【符号の説明】
【0057】
10:拡張現実感提示装置、101:画像データ受信部、102:人体認識部、103:オブジェクト格納部、104:オブジェクト検索部、105:位置合わせ部、106:オブジェクト配置部、107:抜き加工部、108:色指定部、109:表示制御部、20:3次元カメラ、201:3次元画像撮影部、202:画像データ送信部、80:2次元カメラ、801:2次元画像撮影部、802:画像データ送信部、90:拡張現実感提示装置、901:画像データ受信部、902:人体認識部、903:オブジェクト格納部、904:オブジェクト検索部、905:変換部、906:位置合わせ部、907:第1の抜き加工部、908:オブジェクト配置部、909:第2の抜き加工部、910:色指定部、911:表示制御部
【特許請求の範囲】
【請求項1】
現実空間の映像と画像データとを合成して表示させることが可能な拡張現実感提示装置であって、
撮影により取得された人物の3次元画像データに基づいて、前記人物の所定の部位を認識する認識手段と、
前記認識手段による認識結果に基づいて、前記人物の3次元画像データと複数のオブジェクトの3次元画像データとの位置合わせを行う位置合わせ手段と、
前記位置合わせ手段による位置合わせの結果に基づいて、前記人物の3次元画像データの外側に前記複数のオブジェクトの3次元画像データを配置し、且つ、前記複数のオブジェクトに含まれる第1のオブジェクトの3次元画像データの外側に、前記複数のオブジェクトに含まれる第2のオブジェクトの3次元画像データを配置して表示手段に表示させる表示制御手段とを有することを特徴とする拡張現実感提示装置。
【請求項2】
前記第2のオブジェクトの3次元画像データの所定の部分を抜き加工する加工手段を更に有し、
前記表示手段は、前記加工手段により抜き加工された前記第2のオブジェクトの3次元画像データを前記第1のオブジェクトの3次元画像データの外側に配置して表示することを特徴とする請求項1に記載の拡張現実感提示装置。
【請求項3】
前記所定の部分は、前記第1のオブジェクトの3次元画像データと前記第2のオブジェクトの3次元画像データとが重畳する部分のうちの一部であることを特徴とする請求項2に記載の拡張現実感提示装置。
【請求項4】
任意の色を指定可能な指定手段を更に有し、
前記加工手段は、前記指定手段により指定された色である前記人物の3次元画像データの部分と重畳する、前記複数のオブジェクトの3次元画像データの部分を抜き加工することを特徴とする請求項1乃至3の何れか1項に記載の拡張現実感提示装置。
【請求項5】
前記人物に係る情報に基づいて、前記位置合わせ手段が3次元画像データの位置合わせを行う前記複数のオブジェクトを検索する検索手段を更に有することを特徴とする請求項1乃至4の何れか1項に記載の拡張現実感提示装置。
【請求項6】
前記人物に係る情報に基づいて推奨された前記複数のオブジェクトに係る情報を外部装置から受信する受信手段を更に有し、
前記位置合わせ手段は、前記人物の3次元画像データと、前記受信手段により受信された前記複数のオブジェクトの3次元画像データとの位置合わせを行うことを特徴とする請求項1乃至4の何れか1項に記載の拡張現実感提示装置。
【請求項7】
前記人物に係る情報は、前記人物の3次元画像データであることを特徴とする請求項5又は6に記載の拡張現実感提示装置。
【請求項8】
現実空間の映像と画像データとを合成して表示させることが可能な拡張現実感提示装置であって、
撮影により取得された人物の2次元画像データに基づいて、前記人物の所定の部位を認識する認識手段と、
前記認識手段による認識結果に基づいて、前記人物の2次元画像データと複数のオブジェクトの2次元画像データとの位置合わせを行う位置合わせ手段と、
前記複数のオブジェクトに含まれる第1のオブジェクト上に重ねて配置される、前記複数のオブジェクトに含まれる前記第2のオブジェクトの2次元画像データの所定の部分を抜き加工する第1の加工手段と、
前記位置合わせ手段による位置合わせの結果に基づいて、前記人物の2次元画像データ上に前記複数のオブジェクトの2次元画像データが重なり、且つ、前記第1のオブジェクトの2次元画像データ上に前記第1の加工手段により抜き加工された前記第2のオブジェクトの2次元画像データが重なるように表示手段に表示させる表示制御手段とを有することを特徴とする拡張現実感提示装置。
【請求項9】
前記所定の部分は、前記第1のオブジェクトの2次元画像データと前記第2のオブジェクトの2次元画像データとが重畳する部分のうちの一部であることを特徴とする請求項8に記載の拡張現実感提示装置。
【請求項10】
任意の色を指定可能な指定手段と、
前記指定手段により指定された色である前記人物の2次元画像データの部分と重畳する、前記複数のオブジェクトの2次元画像データの部分を抜き加工する第2の加工手段とを更に有することを特徴とする請求項8又は9に記載の拡張現実感提示装置。
【請求項11】
前記人物に係る情報に基づいて、前記位置合わせ手段が2次元画像データの位置合わせを行う前記複数のオブジェクトを検索する検索手段を更に有することを特徴とする請求項8乃至10の何れか1項に記載の拡張現実感提示装置。
【請求項12】
前記人物に係る情報に基づいて推奨された前記複数のオブジェクトに係る情報を外部装置から受信する受信手段を更に有し、
前記位置合わせ手段は、前記人物の2次元画像データと、前記受信手段により受信された前記複数のオブジェクトの2次元画像データとの位置合わせを行うことを特徴とする請求項8乃至10の何れか1項に記載の拡張現実感提示装置。
【請求項13】
前記人物に係る情報は、前記人物の2次元画像データであることを特徴とする請求項11又は12に記載の拡張現実感提示装置。
【請求項14】
現実空間の映像と画像データとを合成して表示させることが可能な拡張現実感提示装置によって実行される拡張現実感提示方法であって、
撮影により取得された人物の3次元画像データに基づいて、前記人物の所定の部位を認識する認識ステップと、
前記認識ステップによる認識結果に基づいて、前記人物の3次元画像データと複数のオブジェクトの3次元画像データとの位置合わせを行う位置合わせステップと、
前記位置合わせステップによる位置合わせの結果に基づいて、前記人物の3次元画像データの外側に前記複数のオブジェクトの3次元画像データを配置し、且つ、前記複数のオブジェクトに含まれる第1のオブジェクトの3次元画像データの外側に、前記複数のオブジェクトに含まれる第2のオブジェクトの3次元画像データを配置して表示手段に表示させる表示制御ステップとを有することを特徴とする拡張現実感提示方法。
【請求項15】
現実空間の映像と画像データとを合成して表示させることが可能な拡張現実感提示装置によって実行される拡張現実感提示方法であって、
撮影により取得された人物の2次元画像データに基づいて、前記人物の所定の部位を認識する認識ステップと、
前記認識ステップによる認識結果に基づいて、前記人物の2次元画像データと複数のオブジェクトの2次元画像データとの位置合わせを行う位置合わせステップと、
前記複数のオブジェクトに含まれる第1のオブジェクト上に重ねて配置される、前記複数のオブジェクトに含まれる前記第2のオブジェクトの2次元画像データの所定の部分を抜き加工する加工ステップと、
前記位置合わせステップによる位置合わせの結果に基づいて、前記人物の2次元画像データ上に前記複数のオブジェクトの2次元画像データが重なり、且つ、前記第1のオブジェクトの2次元画像データ上に前記加工ステップにより抜き加工された前記第2のオブジェクトの2次元画像データが重なるように表示手段に表示させる表示制御ステップとを有することを特徴とする拡張現実感提示方法。
【請求項16】
現実空間の映像と画像データとを合成して表示させることが可能な拡張現実感提示装置によって実行される拡張現実感提示方法をコンピュータに実行させるためのプログラムであって、
撮影により取得された人物の3次元画像データに基づいて、前記人物の所定の部位を認識する認識ステップと、
前記認識ステップによる認識結果に基づいて、前記人物の3次元画像データと複数のオブジェクトの3次元画像データとの位置合わせを行う位置合わせステップと、
前記位置合わせステップによる位置合わせの結果に基づいて、前記人物の3次元画像データの外側に前記複数のオブジェクトの3次元画像データを配置し、且つ、前記複数のオブジェクトに含まれる第1のオブジェクトの3次元画像データの外側に、前記複数のオブジェクトに含まれる第2のオブジェクトの3次元画像データを配置して表示手段に表示させる表示制御ステップとをコンピュータに実行させるためのプログラム。
【請求項17】
現実空間の映像と画像データとを合成して表示させることが可能な拡張現実感提示装置によって実行される拡張現実感提示方法をコンピュータに実行させるためのプログラムであって、
撮影により取得された人物の2次元画像データに基づいて、前記人物の所定の部位を認識する認識ステップと、
前記認識ステップによる認識結果に基づいて、前記人物の2次元画像データと複数のオブジェクトの2次元画像データとの位置合わせを行う位置合わせステップと、
前記複数のオブジェクトに含まれる第1のオブジェクト上に重ねて配置される、前記複数のオブジェクトに含まれる前記第2のオブジェクトの2次元画像データの所定の部分を抜き加工する加工ステップと、
前記位置合わせステップによる位置合わせの結果に基づいて、前記人物の2次元画像データ上に前記複数のオブジェクトの2次元画像データが重なり、且つ、前記第1のオブジェクトの2次元画像データ上に前記加工ステップにより抜き加工された前記第2のオブジェクトの2次元画像データが重なるように表示手段に表示させる表示制御ステップとをコンピュータに実行させるためのプログラム。
【請求項1】
現実空間の映像と画像データとを合成して表示させることが可能な拡張現実感提示装置であって、
撮影により取得された人物の3次元画像データに基づいて、前記人物の所定の部位を認識する認識手段と、
前記認識手段による認識結果に基づいて、前記人物の3次元画像データと複数のオブジェクトの3次元画像データとの位置合わせを行う位置合わせ手段と、
前記位置合わせ手段による位置合わせの結果に基づいて、前記人物の3次元画像データの外側に前記複数のオブジェクトの3次元画像データを配置し、且つ、前記複数のオブジェクトに含まれる第1のオブジェクトの3次元画像データの外側に、前記複数のオブジェクトに含まれる第2のオブジェクトの3次元画像データを配置して表示手段に表示させる表示制御手段とを有することを特徴とする拡張現実感提示装置。
【請求項2】
前記第2のオブジェクトの3次元画像データの所定の部分を抜き加工する加工手段を更に有し、
前記表示手段は、前記加工手段により抜き加工された前記第2のオブジェクトの3次元画像データを前記第1のオブジェクトの3次元画像データの外側に配置して表示することを特徴とする請求項1に記載の拡張現実感提示装置。
【請求項3】
前記所定の部分は、前記第1のオブジェクトの3次元画像データと前記第2のオブジェクトの3次元画像データとが重畳する部分のうちの一部であることを特徴とする請求項2に記載の拡張現実感提示装置。
【請求項4】
任意の色を指定可能な指定手段を更に有し、
前記加工手段は、前記指定手段により指定された色である前記人物の3次元画像データの部分と重畳する、前記複数のオブジェクトの3次元画像データの部分を抜き加工することを特徴とする請求項1乃至3の何れか1項に記載の拡張現実感提示装置。
【請求項5】
前記人物に係る情報に基づいて、前記位置合わせ手段が3次元画像データの位置合わせを行う前記複数のオブジェクトを検索する検索手段を更に有することを特徴とする請求項1乃至4の何れか1項に記載の拡張現実感提示装置。
【請求項6】
前記人物に係る情報に基づいて推奨された前記複数のオブジェクトに係る情報を外部装置から受信する受信手段を更に有し、
前記位置合わせ手段は、前記人物の3次元画像データと、前記受信手段により受信された前記複数のオブジェクトの3次元画像データとの位置合わせを行うことを特徴とする請求項1乃至4の何れか1項に記載の拡張現実感提示装置。
【請求項7】
前記人物に係る情報は、前記人物の3次元画像データであることを特徴とする請求項5又は6に記載の拡張現実感提示装置。
【請求項8】
現実空間の映像と画像データとを合成して表示させることが可能な拡張現実感提示装置であって、
撮影により取得された人物の2次元画像データに基づいて、前記人物の所定の部位を認識する認識手段と、
前記認識手段による認識結果に基づいて、前記人物の2次元画像データと複数のオブジェクトの2次元画像データとの位置合わせを行う位置合わせ手段と、
前記複数のオブジェクトに含まれる第1のオブジェクト上に重ねて配置される、前記複数のオブジェクトに含まれる前記第2のオブジェクトの2次元画像データの所定の部分を抜き加工する第1の加工手段と、
前記位置合わせ手段による位置合わせの結果に基づいて、前記人物の2次元画像データ上に前記複数のオブジェクトの2次元画像データが重なり、且つ、前記第1のオブジェクトの2次元画像データ上に前記第1の加工手段により抜き加工された前記第2のオブジェクトの2次元画像データが重なるように表示手段に表示させる表示制御手段とを有することを特徴とする拡張現実感提示装置。
【請求項9】
前記所定の部分は、前記第1のオブジェクトの2次元画像データと前記第2のオブジェクトの2次元画像データとが重畳する部分のうちの一部であることを特徴とする請求項8に記載の拡張現実感提示装置。
【請求項10】
任意の色を指定可能な指定手段と、
前記指定手段により指定された色である前記人物の2次元画像データの部分と重畳する、前記複数のオブジェクトの2次元画像データの部分を抜き加工する第2の加工手段とを更に有することを特徴とする請求項8又は9に記載の拡張現実感提示装置。
【請求項11】
前記人物に係る情報に基づいて、前記位置合わせ手段が2次元画像データの位置合わせを行う前記複数のオブジェクトを検索する検索手段を更に有することを特徴とする請求項8乃至10の何れか1項に記載の拡張現実感提示装置。
【請求項12】
前記人物に係る情報に基づいて推奨された前記複数のオブジェクトに係る情報を外部装置から受信する受信手段を更に有し、
前記位置合わせ手段は、前記人物の2次元画像データと、前記受信手段により受信された前記複数のオブジェクトの2次元画像データとの位置合わせを行うことを特徴とする請求項8乃至10の何れか1項に記載の拡張現実感提示装置。
【請求項13】
前記人物に係る情報は、前記人物の2次元画像データであることを特徴とする請求項11又は12に記載の拡張現実感提示装置。
【請求項14】
現実空間の映像と画像データとを合成して表示させることが可能な拡張現実感提示装置によって実行される拡張現実感提示方法であって、
撮影により取得された人物の3次元画像データに基づいて、前記人物の所定の部位を認識する認識ステップと、
前記認識ステップによる認識結果に基づいて、前記人物の3次元画像データと複数のオブジェクトの3次元画像データとの位置合わせを行う位置合わせステップと、
前記位置合わせステップによる位置合わせの結果に基づいて、前記人物の3次元画像データの外側に前記複数のオブジェクトの3次元画像データを配置し、且つ、前記複数のオブジェクトに含まれる第1のオブジェクトの3次元画像データの外側に、前記複数のオブジェクトに含まれる第2のオブジェクトの3次元画像データを配置して表示手段に表示させる表示制御ステップとを有することを特徴とする拡張現実感提示方法。
【請求項15】
現実空間の映像と画像データとを合成して表示させることが可能な拡張現実感提示装置によって実行される拡張現実感提示方法であって、
撮影により取得された人物の2次元画像データに基づいて、前記人物の所定の部位を認識する認識ステップと、
前記認識ステップによる認識結果に基づいて、前記人物の2次元画像データと複数のオブジェクトの2次元画像データとの位置合わせを行う位置合わせステップと、
前記複数のオブジェクトに含まれる第1のオブジェクト上に重ねて配置される、前記複数のオブジェクトに含まれる前記第2のオブジェクトの2次元画像データの所定の部分を抜き加工する加工ステップと、
前記位置合わせステップによる位置合わせの結果に基づいて、前記人物の2次元画像データ上に前記複数のオブジェクトの2次元画像データが重なり、且つ、前記第1のオブジェクトの2次元画像データ上に前記加工ステップにより抜き加工された前記第2のオブジェクトの2次元画像データが重なるように表示手段に表示させる表示制御ステップとを有することを特徴とする拡張現実感提示方法。
【請求項16】
現実空間の映像と画像データとを合成して表示させることが可能な拡張現実感提示装置によって実行される拡張現実感提示方法をコンピュータに実行させるためのプログラムであって、
撮影により取得された人物の3次元画像データに基づいて、前記人物の所定の部位を認識する認識ステップと、
前記認識ステップによる認識結果に基づいて、前記人物の3次元画像データと複数のオブジェクトの3次元画像データとの位置合わせを行う位置合わせステップと、
前記位置合わせステップによる位置合わせの結果に基づいて、前記人物の3次元画像データの外側に前記複数のオブジェクトの3次元画像データを配置し、且つ、前記複数のオブジェクトに含まれる第1のオブジェクトの3次元画像データの外側に、前記複数のオブジェクトに含まれる第2のオブジェクトの3次元画像データを配置して表示手段に表示させる表示制御ステップとをコンピュータに実行させるためのプログラム。
【請求項17】
現実空間の映像と画像データとを合成して表示させることが可能な拡張現実感提示装置によって実行される拡張現実感提示方法をコンピュータに実行させるためのプログラムであって、
撮影により取得された人物の2次元画像データに基づいて、前記人物の所定の部位を認識する認識ステップと、
前記認識ステップによる認識結果に基づいて、前記人物の2次元画像データと複数のオブジェクトの2次元画像データとの位置合わせを行う位置合わせステップと、
前記複数のオブジェクトに含まれる第1のオブジェクト上に重ねて配置される、前記複数のオブジェクトに含まれる前記第2のオブジェクトの2次元画像データの所定の部分を抜き加工する加工ステップと、
前記位置合わせステップによる位置合わせの結果に基づいて、前記人物の2次元画像データ上に前記複数のオブジェクトの2次元画像データが重なり、且つ、前記第1のオブジェクトの2次元画像データ上に前記加工ステップにより抜き加工された前記第2のオブジェクトの2次元画像データが重なるように表示手段に表示させる表示制御ステップとをコンピュータに実行させるためのプログラム。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【公開番号】特開2012−118948(P2012−118948A)
【公開日】平成24年6月21日(2012.6.21)
【国際特許分類】
【出願番号】特願2010−270884(P2010−270884)
【出願日】平成22年12月3日(2010.12.3)
【出願人】(000191076)新日鉄ソリューションズ株式会社 (136)
【Fターム(参考)】
【公開日】平成24年6月21日(2012.6.21)
【国際特許分類】
【出願日】平成22年12月3日(2010.12.3)
【出願人】(000191076)新日鉄ソリューションズ株式会社 (136)
【Fターム(参考)】
[ Back to top ]