映像表示装置およびプログラム
【課題】より簡単に拡張現実の提示を受けることができる映像表示装置およびプログラムを提供する。
【解決手段】実施形態の映像表示装置は、撮像手段と、識別手段と、生成手段と、表示制御手段と、を備える。前記撮像手段は、動画像を撮像する。前記識別手段は、前記撮像された動画像に含まれる物体を識別する。前記生成手段は、前記識別された物体に対応する画像と前記撮像された動画像とを合成した合成画像を生成する。前記表示制御手段は、前記生成した合成画像を表示部に表示する。
【解決手段】実施形態の映像表示装置は、撮像手段と、識別手段と、生成手段と、表示制御手段と、を備える。前記撮像手段は、動画像を撮像する。前記識別手段は、前記撮像された動画像に含まれる物体を識別する。前記生成手段は、前記識別された物体に対応する画像と前記撮像された動画像とを合成した合成画像を生成する。前記表示制御手段は、前記生成した合成画像を表示部に表示する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明の実施形態は、映像表示装置およびプログラムに関する。
【背景技術】
【０００２】
近年、コンピュータ等を用いて、撮像装置で撮像された画像などの現実の情報に、付加情報としてバーチャルな物体を電子情報として合成して提示する拡張現実という技術が様々な場面で用いられている。
【発明の概要】
【発明が解決しようとする課題】
【０００３】
ところで、従来技術においては、拡張現実による提示を受ける際、現実の情報として撮像された画像に付加情報として合成するバーチャルな物体を、ユーザが自ら選択しなければならなかった。そのため、より簡単に拡張現実による提示を受けることができる技術が求められている。
【課題を解決するための手段】
【０００４】
実施形態の映像表示装置は、撮像手段と、識別手段と、生成手段と、表示制御手段と、を備える。前記撮像手段は、動画像を撮像する。前記識別手段は、前記撮像された動画像に含まれる物体を識別する。前記生成手段は、前記識別された物体に対応する画像と前記撮像された動画像とを合成した合成画像を生成する。前記表示制御手段は、前記生成した合成画像を表示部に表示する。
【図面の簡単な説明】
【０００５】
【図１】図１は、第１の実施形態にかかる拡張現実システムの構成を示すブロック図である。
【図２】図２は、試着室端末が設置されている試着室を示す斜視図である。
【図３】図３は、試着室端末のハードウェア構成を示すブロック図である。
【図４】図４は、商品ファイルのデータ構成を示す図である。
【図５】図５は、商品分類ファイルのデータ構成を示す図である。
【図６】図６は、クライアント端末のハードウェア構成を示すブロック図である。
【図７】図７は、本実施形態にかかる試着室端末の機能構成を示すブロック図である。
【図８】図８は、試着室端末が行う拡張現実提示処理の手順を示したフローチャートである。
【図９】図９は、複数の画像とカメラにより撮像されたフレーム画像とを重ね合わせた合成画像を生成する処理を説明するための図である。
【図１０】図１０は、本実施形態にかかるクライアント端末の機能構成を示すブロック図である。
【図１１】図１１は、クライアント端末が行う拡張現実提示処理の手順を示したフローチャートである。
【図１２】図１２は、背景の画像とカメラにより撮像されたフレーム画像とを重ね合わせた合成画像を生成する処理を説明するための図である。
【発明を実施するための形態】
【０００６】
（第１の実施形態）
図１は、第１の実施形態にかかる拡張現実システムの構成を示すブロック図である。なお、本実施形態では、衣料品等の商品を販売する店舗に拡張現実システム１を適用した例について説明する。
【０００７】
本実施形態にかかる拡張現実システム１は、有線または無線の通信回線（例えば、インターネット等）３００等を介して相互に電気的に接続されたコンピュータ３０１や、ＰＯＳ（Point Of Sale）端末５０１、試着室端末１０１、クライアント端末４０１、ハンディーターミナル２００等を備えている。
【０００８】
本実施形態にかかる拡張現実システム１では、１つまたは複数のコンピュータ３０１が、所定のサービスを提供するサーバとして機能することができる。この拡張現実システム１では、例えばＳａａＳ(Software as a Service)の形態で、サービスが提供されうる。
【０００９】
ＰＯＳ端末５０１は、店舗の出口付近に設けられたレジカウンタ（図示せず）に設置されている。ＰＯＳ端末５０１は、商品毎に固有の商品ＩＤを読み取って出力するスキャナ５０２を備えている。商品ＩＤは、商品に付されているＲＦＩＤ（Radio Frequency Identification）タグ１１１（図２参照）にバーコードや２次元コード等のコードシンボルの形態で印刷されている。そして、ＰＯＳ端末５０１は、読み取られた情報に基づいて、商品販売データ処理を実行する。
【００１０】
このようなＰＯＳ端末５０１には、通信回線３００を介して、コンピュータ３０１、クライアント端末４０１、試着室端末１０１、およびハンディーターミナル２００が接続されている。
【００１１】
コンピュータ３０１には、ストレージデバイスとしてＨＤＤ（Hard Disk Drive）等の記憶装置が内蔵され、この記憶装置には各種ファイルが記憶されている。
【００１２】
クライアント端末４０１は、拡張現実システム１が導入された店舗を利用する顧客により所有された所謂スマートフォンであり、携帯電話と携帯情報端末機能が付いた携帯端末である。
【００１３】
ハンディーターミナル２００は、店舗に来店した顧客に貸し出され、顧客により操作される携帯端末である。本実施形態では、ハンディーターミナル２００は、アクセスポイント２０１を介して通信回線３００に接続され、コンピュータ３０１に記憶された各種ファイルにアクセスすることにより、顧客が自ら商品の登録等を行うことができる。
【００１４】
試着室端末１０１は、顧客が商品である衣料品１１０（図２参照）を持ち込み、持ち込んだ衣料品１１０を試着する際に使用する試着室１００に設置されている。試着室端末１０１は、顧客が入室した試着室１００内の動画像を現実の情報として撮像し、撮像した動画像と、付加情報としての商品（顧客が試着室１００内に持ち込んだ衣料品１１０）の画像とを合成した合成画像を表示する拡張現実提示処理を実行する。
【００１５】
衣料品店である店舗には、顧客が衣料品１１０（図２参照）の試着に使用する試着室１００が複数台設置されている。顧客は、試着室１００に試着したい衣料品１１０を持ち込み、試着室端末１０１により表示された合成画像を見たり、衣料品１１０を実際に試着したりすることにより、衣料品１１０の購入を検討する。
【００１６】
図２は、試着室端末が設置されている試着室を示す斜視図である。試着室１００は、図２に示すように、上面と正面の一部とが開口した直方体形状を有している。試着室１００の正面の開口部分は、顧客が出入するための出入口１０２となっている。出入口１０２には、布製のカーテン１０３が図示しないカーテンレールによって開閉自在に取り付けられている。なお、試着室１００の出入口１０２には、カーテン１０３の代わりに、例えばスライド開閉自在な扉が設けられていても良い。図２では、カーテン１０３を開いた状態の試着室１００を示しているため、試着室１００の中を視認できる。試着室１００の中の背面側の壁には、試着に際して顧客を映し出すための全身鏡１０４が取り付けられている。また、全身鏡１０４の上方位置には、蛍光灯である照明１０５が取り付けられている。
【００１７】
さらに、全身鏡１０４の上部には、顧客が入室した試着室１００内の動画像（つまり、試着室１００に入室した顧客および当該顧客が試着室１００内に持ち込んだ衣料品１１０の画像を含む動画像）を撮像する撮像部であるカメラ１０９が取り付けられている。
【００１８】
そして、試着室１００内の一方の側壁には、試着室端末１０１が取り付けられている。試着室端末１０１は、試着室１００の中の顧客に対して情報を表示すると共に、顧客からの操作入力を受け付けるものである。
【００１９】
また、試着室端末１０１は、厚みのある平板状のハウジング１０６を備えている。ハウジング１０６には、情報を表示する表示部としてのＬＣＤ（Liquid Crystal Display）１０７が取り付けられている。ＬＣＤ１０７は、その表示面に積層配置され、タッチ指定することにより情報を入力可能な操作入力部としてのタッチパネル１０８を有する。
【００２０】
さらに、試着室端末１０１には、通信回線３００を介してコンピュータ３０１等とデータ通信を実行するための通信インタフェース１２３（図３参照）が内蔵されている。
【００２１】
また、試着室端末１０１の下方位置には、ＲＦＩＤタグ１１１と無線通信を実行するためのＲＦＩＤリーダライタ１１４が取り付けられている。このＲＦＩＤリーダライタ１１４は、その上方に位置する試着室端末１０１との間でデータ通信可能に有線接続されている。
【００２２】
ＲＦＩＤリーダライタ１１４が無線通信をするＲＦＩＤタグ１１１は、衣料品１１０に値札として付されている。衣料品１１０が顧客によって試着室１００の中に持ち込まれた場合に、ＲＦＩＤリーダライタ１１４は、その衣料品１１０に付されたＲＦＩＤタグ１１１と無線通信を実行する。そのため、ＲＦＩＤリーダライタ１１４は、試着室１００内をその通信可能範囲としている。
【００２３】
ＲＦＩＤタグ１１１は、電池を内蔵しないパッシブタグであり、ＩＣチップ１１２とコイル状のタグアンテナ１１３とが埋設されている。このＩＣチップ１１２には、商品を特定する特定情報である商品ＩＤのデータが記憶されている。
【００２４】
ＲＦＩＤリーダライタ１１４とＲＦＩＤタグ１１１とは、例えば１３．５６ＭＨｚの周波数帯を使用する電磁誘導方式によって交信する。つまり、ＲＦＩＤリーダライタ１１４とＲＦＩＤタグ１１１とは、ＲＦＩＤリーダライタ１１４のアンテナコイル（図示せず）とタグアンテナ１１３との誘導磁束による誘起電圧を利用することで交信する。このような交信状態を利用して、ＲＦＩＤリーダライタ１１４は、ＩＣチップ１１２に記憶されている商品ＩＤを読み取る。そして、ＲＦＩＤリーダライタ１１４は、読み取った商品ＩＤを試着室端末１０１のＣＰＵ１１９（図３参照）に出力する。
【００２５】
また、試着室１００の背面には、細長い円柱状のポール１１５が立設されている。ポール１１５の先端部には、青色と赤色と緑色とを選択的に発光可能な報知部としての発光部１１６が設けられている。発光部１１６は、ポール１１５を通る図示しないケーブルによって試着室端末１０１と接続されており、試着室端末１０１のＣＰＵ１１９（図３参照）によって動作制御を受ける。なお、ＣＰＵ１１９による動作制御を受けていない状態では、発光部１１６は発光動作をしていない。
【００２６】
また、試着室１００の出入口１０２の一方の側部には、出入口１０２を通過する顧客を検出する人感センサとして赤外線センサ１１７が取り付けられている。この赤外線センサ１１７は、いわゆる焦電型赤外線センサである。つまり、赤外線センサ１１７は、出入口１０２を通過する顧客の人体が発する赤外線を受光し、受光した赤外線を熱変換し、その熱を素子の焦電効果で電荷に変えて出力（検出出力）する。赤外線センサ１１７は、試着室端末１０１と図示しないケーブルによって接続されており、赤外線センサ１１７の検出出力は、試着室端末１０１のＣＰＵ１１９（図３参照）へと入力される。
【００２７】
また、図２では図示しないが、試着室１００の床には、感圧センサ１１８（図３参照）が配置されている。試着室１００の床は、詳細は図示しないが二枚の床板が重なって構成されており、この二枚の床板の間に挟まるようにして、複数個の感圧センサ１１８が配置されている。そのため、顧客が出入口１０２を通って試着室１００の中に入り床をその足で踏むと、いずれかの感圧センサ１１８に圧力がかかることになる。感圧センサ１１８は、このような圧変化を内部の感圧素子によって電気信号に変換して出力（検出出力）する。そして、感圧センサ１１８は、試着室端末１０１と図示しないケーブルによって接続されており、感圧センサ１１８の検出出力は、試着室端末１０１のＣＰＵ１１９（図３参照）へと入力される。
【００２８】
図３は、試着室端末のハードウェア構成を示すブロック図である。試着室端末１０１は、各種演算処理を実行し各部を制御する情報処理部としてのＣＰＵ（Central Processing Unit）１１９を備えている。ＣＰＵ１１９には、コンピュータプログラム等の固定データを固定的に記憶保存するＲＯＭ（Read Only Memory）１２０と、可変データを書き換え自在に記憶してワークエリアとして使用されるＲＡＭ（Random Access Memory）１２１と、試着室端末１０１の電源を落としてもデータ内容を保持する不揮発性メモリであるフラッシュメモリ１２２とがバス接続されている。
【００２９】
また、ＣＰＵ１１９には、ＬＣＤ１０７、タッチパネル１０８、カメラ１０９、ＲＦＩＤリーダライタ１１４、発光部１１６、赤外線センサ１１７、感圧センサ１１８、および通信インタフェース１２３、が、いずれも各種の入出力回路（いずれも図示せず）を介して接続され、ＣＰＵ１１９によって動作制御される。なお、感圧センサ１１８は、前述したように実際には複数個設けられているが、図３中では一つの感圧センサ１１８のみ示している。
【００３０】
フラッシュメモリ１２２には、各種コンピュータプログラムおよび各種ファイルが記憶されている。このようなフラッシュメモリ１２２に記憶されているコンピュータプログラムやファイルは、試着室端末１０１の起動時に、その全部又は一部がＲＡＭ１２１にコピーされて使用される。
【００３１】
そして、試着室端末１０１のＣＰＵ１１９は、コンピュータプログラムに従って実行する処理中に各種のファイルにデータアクセスする。アクセスされるファイルは、コンピュータ３０１の図示しないＨＤＤ（Hard Disk Drive）に格納されているファイルである。コンピュータ３０１は、通信回線３００を介して試着室端末１０１と接続されている。そのため、これらのファイルは、試着室端末１０１のＣＰＵ１１９によってデータアクセス可能となっている。
【００３２】
ここで、図４および図５を用いて、コンピュータ３０１のＨＤＤ（図示しない）に格納され、試着室端末１０１のＣＰＵ１１９によりデータアクセス可能となっている各種ファイル（商品ファイルＦ１、商品分類ファイルＦ２等）について説明する。
【００３３】
図４は、商品ファイルのデータ構成を示す図である。商品ファイルＦ１は、商品を特定する特定情報である商品ＩＤに対応付けて、当該商品ＩＤにより特定される商品の商品名と、当該商品ＩＤにより特定される商品が属する商品分類と、当該商品ＩＤにより特定される商品の単価と、当該商品ＩＤにより特定される商品に対応する画像（本実施形態では、商品画像）と、を記憶するファイルである。
【００３４】
図５は、商品分類ファイルのデータ構成を示す図である。商品分類ファイルＦ２は、商品ファイルＦ１に記憶された商品分類に対応付けて、所定の位置と、順番と、を記憶する。ここで、所定の位置は、商品分類に応じて予め設定された位置である。例えば、商品分類：「上着」の所定の位置は、カメラ１０９により撮像された動画像に含まれる顧客（人）のトップスの位置である。また、商品分類：「ズボン」の所定の位置は、カメラ１０９により撮像された動画像に含まれる顧客（人）のボトムスの位置である。
【００３５】
また、順番は、カメラ１０９により撮像された動画像に複数の商品に対応する複数の画像を重ね合わせる場合に、各商品が属する商品分類に応じて予め設定された順番である。例えば、商品分類：「下着」の順番は、商品分類：「上着」よりも前の順番である。
【００３６】
図６は、クライアント端末のハードウェア構成を示すブロック図である。クライアント端末４０１は、各種演算処理を実行し各部を制御する情報処理部としてのＣＰＵ４０２を備えている。ＣＰＵ４０２には、コンピュータプログラム等の固定データを固定的に記憶保存するＲＯＭ４０３と、可変データを書き換え自在に記憶してワークエリアとして使用されるＲＡＭ４０４と、クライアント端末４０１の電源を落としてもデータ内容を保持する不揮発性メモリであるフラッシュメモリ４０５とがバス接続されている。
【００３７】
ＣＰＵ４０２には、情報を表示するＬＣＤ４０６、ＬＣＤ４０６の表示面に積層配置されてタッチ指定することにより情報を入力可能な操作入力部としてのタッチパネル４０８、通信回線３００を介してコンピュータ３０１等とデータ通信を実行するための通信インタフェース４０７、衣料品１１０等の商品に付されたＲＦＩＤタグ１１１と無線通信を実行するＲＦＩＤリーダライタ４０９、および動画像を撮像する撮像部であるカメラ４１０が、いずれも各種の入出力回路（いずれも図示せず）を介して接続され、ＣＰＵ４０２によって動作制御される。なお、ＲＦＩＤリーダライタ４０９は、試着室端末１０１が備えるＲＦＩＤリーダライタ１１４と同様の構成を有しているため、ここでは説明を省略する。
【００３８】
フラッシュメモリ４０５には、各種コンピュータプログラムおよび各種ファイルが記憶されている。このようなフラッシュメモリ４０５に記憶されているコンピュータプログラムやファイルは、クライアント端末４０１の起動時に、その全部又は一部がＲＡＭ４０４にコピーされて使用される。
【００３９】
そして、クライアント端末４０１のＣＰＵ４０２は、コンピュータプログラムに従って実行する処理中に各種のファイル（例えば、商品ファイルＦ１、商品分類ファイルＦ２など）にデータアクセスする。アクセスされるファイルは、コンピュータ３０１の図示しないＨＤＤに格納されているファイルである。コンピュータ３０１は、通信回線３００を介してクライアント端末１０１とも接続されている。そのため、これらのファイルは、クライアント端末４０１のＣＰＵ４０２によってもデータアクセス可能となっている。
【００４０】
次に、本実施形態にかかる試着室端末１０１が有する機能について説明する。図７は、本実施形態にかかる試着室端末の機能構成を示すブロック図である。ＣＰＵ１１９は、ＲＡＭ１２１に展開されたＲＯＭ１２０が記憶するプログラムに従って動作することで、図７に示すように、識別部７０１、生成部７０２、および表示制御部７０３として機能する。
【００４１】
識別部７０１は、赤外線センサ１１７によって顧客が検出されかつ感圧センサ１１８により圧力の検出が出力されると、試着室１００に顧客が入室したと判断して、カメラ１０９に撮像オン信号を出力してカメラ１０９に撮像動作を開始させる。そして、識別部７０１は、カメラ１０９が撮像した撮像エリアのフレーム画像（動画像）を取り込んで、ＲＡＭ１２１に格納する。
【００４２】
また、識別部７０１は、ＲＡＭ１２１に格納されたフレーム画像に含まれる物体を識別するものである。本実施形態では、識別部７０１は、ＲＦＩＤリーダライタ１１４を制御して、衣料品１１０に付されたＲＦＩＤタグ１１１と無線通信を実行して、ＲＦＩＤタグ１１１に記憶された商品ＩＤのデータを読み取る。そして、識別部７０１は、読み取った商品ＩＤにより特定される衣料品１１０を、ＲＡＭ１２１に格納されたフレーム画像に含まれる物体として識別する。
【００４３】
なお、本実施形態では、識別部７０１は、ＲＦＩＤリーダライタ１１４により読み取った商品ＩＤにより特定される衣料品１１０を、ＲＡＭ１２１に格納されたフレーム画像に含まれる物体として識別しているが、これに限定するものではない。例えば、識別部７０１は、商品ファイルＦ１に記憶された商品画像を参照して、ＲＡＭ１２１に格納されたフレーム画像から、特徴量として色合いや表面の凹凸状況等の表面の状態を読み取ることによって特定の物体として商品を認識（識別）する。なお、識別部７０１は、処理時間の短縮を図るため、商品の輪郭や大きさは考慮しないものとする。
【００４４】
このように画像中に含まれる物体を認識することは一般物体認識（generic object recognition）と呼ばれている。このような一般物体認識については、下記の文献において各種認識技術が解説されている。
柳井 啓司，“一般物体認識の現状と今後”，情報処理学会論文誌，Ｖｏｌ．４８，Ｎｏ．ＳＩＧ１６ [平成２２年８月１０日検索]，インターネット<URL: http://mm.cs.uec.ac.jp/IPSJ-TCVIM-Yanai.pdf >
【００４５】
また、画像をオブジェクトごとに領域分割することによって一般物体認識を行う技術が、下記の文献において解説されている。
Jamie Shottonら，“Semantic Texton Forests for Image Categorization and Segmentation”，[平成２２年８月１０日検索]，インターネット<URL: http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.145.3036&rep=rep1&type=pdf >
【００４６】
または、識別部７０１は、パターン認識やＯＣＲ（Optical Character Reader）文字認識により、ＲＡＭ１２１に格納されたフレーム画像から文字や絵やシンボル等の特徴を抽出する。そして、識別部７０１は、抽出した特徴から、フレーム画像に含まれる物体を識別しても良い。
【００４７】
生成部７０２は、ＲＡＭ１２１に格納されたフレーム画像と、識別部７０１により識別された物体に対応する画像と、を合成した合成画像を生成する。本実施形態では、生成部７０２は、商品ファイルＦ１から、ＲＦＩＤリーダライタ１１４により読み取った商品ＩＤと対応付けられた画像を、識別部７０１により識別された物体に対応する画像として読み出す。さらに、生成部７０２は、商品ファイルＦ１から、ＲＦＩＤリーダライタ１１４により読み取った商品ＩＤと対応付けられた商品分類を読み出す。
【００４８】
次いで、生成部７０２は、商品分類ファイルＦ２から、読み出した商品分類と対応付けられた所定の位置を読み出す。そして、生成部７０２は、ＲＡＭ１２１に格納されたフレーム画像のうち、読み出した所定の位置に当該所定の位置の表示と異なる透過処理を施す。さらに、生成部７０２は、透過処理を施した部分に、商品ファイルＦ１から読み出した画像を重ね合わせることにより、合成画像を生成する。
【００４９】
また、生成部７０２は、ＲＦＩＤリーダライタ１１４により複数の商品ＩＤが読み取られた場合（つまり、識別部７０１により複数の物体が識別された場合）、商品ファイルＦ１から、ＲＦＩＤリーダライタ１１４により読み取られた複数の商品ＩＤと対応付けられた商品分類および画像を読み出す。さらに、生成部７０２は、商品分類ファイルＦ２から、読み出した商品分類と対応付けられた順番を読み出す。そして、生成部７０２は、読み出した画像を、読み出した順番に従って、ＲＡＭ１２１に格納されたフレーム画像に重ね合わせることにより、合成画像を生成する。
【００５０】
表示制御部７０３は、生成部７０２により生成された合成画像を、ＬＣＤ１０７に表示する。これにより、試着室１００に入室した顧客は、試着室１００に持ち込んだ衣料品１１０を実際に試着しなくても、当該衣料品１１０を自身が試着したイメージを確認することができる。また、合成画像をＬＣＤ１０７に表示させる際（つまり、拡張現実の提示を受ける際）、現実の情報（ＲＡＭ１２１に格納されたフレーム画像）に重ね合わせる付加情報（商品画像）を顧客が選択する必要がないので、より簡単に拡張現実の提示を受けることができる。
【００５１】
次に、図８を用いて、試着室端末１０１が行う拡張現実提示処理について説明する。図８は、試着室端末が行う拡張現実提示処理の手順を示したフローチャートである。
【００５２】
識別部７０１は、試着室１００に顧客が入室するのを待つ（ステップＳ８０１：Ｎｏ）。赤外線センサ１１７によって顧客が検出されかつ感圧センサ１１８により圧力の検出が出力されると、識別部７０１は、試着室１００に顧客が入室したと判断して（ステップＳ８０１：Ｙｅｓ）、カメラ１０９に撮像オン信号を出力してカメラ１０９に撮像動作を開始させる（ステップＳ８０２）。そして、識別部７０１は、カメラ１０９により撮像された動画像を構成するフレーム画像を取り込んで、ＲＡＭ１２１に格納する。
【００５３】
次いで、識別部７０１は、ＲＦＩＤリーダライタ１１４を制御して、顧客が試着室１００内に持ち込んだ衣料品１１０に付されたＲＦＩＤタグ１１１と無線通信を実行して、ＲＦＩＤタグ１１１に記憶された商品ＩＤを読み取る（ステップＳ８０３）。
【００５４】
次に、生成部７０２は、商品ファイルＦ１から、読み取った商品ＩＤと対応付けて記憶された画像を読み出す。そして、生成部７０２は、読み出した画像と、ＲＡＭ１２１に格納されたフレーム画像とを合成した合成画像を生成する（ステップＳ８０４）。
【００５５】
ここで、図９を用いて、顧客が試着室１００内に持ち込んだ複数の衣料品１１０（例えば、ジャケット、ワイシャツ、スラックス）に付されたＲＦＩＤタグ１１１から、複数の商品ＩＤが読み取られた場合における合成画像の生成処理について説明する。図９は、複数の画像とカメラにより撮像されたフレーム画像とを重ね合わせた合成画像を生成する処理を説明するための図である。
【００５６】
生成部７０２は、商品ファイルＦ１から、識別部７０１により読み取った複数の商品ＩＤと対応付けて記憶された画像（ジャケットの画像、ワイシャツの画像、スラックスの画像）および商品分類（ジャケットの商品分類：「上着」、ワイシャツの商品分類：「下着」、スラックスの商品分類：「パンツ」）を読み出す。次いで、生成部７０２は、商品分類ファイルＦ２から、読み出した商品分類（ジャケットの商品分類：「上着」、ワイシャツの商品分類：「下着」、スラックスの商品分類：「パンツ」）と対応付けられた所定の位置（商品分類：「上着」，「下着」と対応付けられた所定の位置：「トップス」、商品分類：「パンツ」と対応付けられた所定の位置：「ボトムス」）を読み出す。
【００５７】
さらに、生成部７０２は、商品分類ファイルＦ２から、（ジャケットの商品分類：「上着」、ワイシャツの商品分類：「下着」、スラックスの商品分類：「パンツ」）と対応付けられた順番（商品分類：「上着」と対応付けられた順番：「３」、商品分類：「パンツ」と対応付けられた順番：「２」、商品分類：「下着」と対応付けられた順番：「１」）を読み出す。
【００５８】
次に、生成部７０２は、ＲＡＭ１２１に記憶されたフレーム画像９０１のうち、商品分類ファイルＦ２から読み出した所定の位置９０３：「フレーム画像９０１に含まれる顧客のトップスの位置」および所定の位置９０４：「フレーム画像９０１に含まれる顧客のボトムスの位置」に透過処理を施す。より具体的には、生成部７０２は、フレーム画像９０１に対して物体認識やパターン認識等を行うことにより、当該フレーム画像９０１における所定の位置９０３：「フレーム画像９０１に含まれる顧客のトップスの位置」および所定の位置９０４：「フレーム画像９０１に含まれる顧客のボトムスの位置」を抽出する。そして、生成部７０２は、抽出した所定の位置９０３，９０４に対して透過処理を施すものとする。次いで、生成部７０２は、フレーム画像９０１において透過処理を施した部分（所定の位置９０３，９０４）に、商品ファイルＦ１から読み出した画像（ジャケットの画像、ワイシャツの画像、およびスラックスの画像）を、商品分類ファイルＦ２から読み出した順番（商品分類：「上着」と対応付けられた順番：「３」、商品分類：「パンツ」と対応付けられた順番：「２」、商品分類：「下着」と対応付けられた順番：「１」）に重ね合わせた合成画像９０５を生成する。つまり、生成部７０２は、フレーム画像９０１において透過処理を施した部分（所定の位置９０３，９０４）に、ワイシャツの画像９０６、スラックスの画９０７像、ジャケットの画像９０８の順に重ね合わせた合成画像９０５を生成する。
【００５９】
図８に戻り、生成部７０２により合成画像が生成されると、表示制御部７０３は、生成された合成画像を、ＬＣＤ１０７に表示させる（ステップＳ８０５）。
【００６０】
このように本実施形態にかかる試着室端末１０１によれば、試着室１００内の動画像を撮像するカメラ１０９と、カメラ１０９により撮像された動画像を構成するフレーム画像に含まれる物体を識別する識別部７０１と、カメラ１０９により撮像された動画像を構成するフレーム画像と、識別部７０１により識別された物体に対応する画像と、を合成した合成画像を生成する生成部７０２と、生成部７０２により生成された合成画像をＬＣＤ１０７に表示する表示制御部７０３と、を備えることにより、合成画像をＬＣＤ１０７に表示させる際、カメラ１０９に撮像された動画像を構成するフレーム画像に合成する画像を顧客が選択する必要がなくなるので、より簡単に拡張現実（合成画像）の提示を受けることができる。
【００６１】
（第２の実施形態）
本実施形態は、第１の実施形態における拡張現実提示処理をクライアント端末において実行する例である。なお、クライアント端末のハードウェア構成は、第１の実施形態と同様であるため、ここでは説明を省略する。
【００６２】
図１０は、本実施形態にかかるクライアント端末の機能構成を示すブロック図である。ＣＰＵ４０２は、ＲＡＭ４０４に展開されたＲＯＭ４０３に記憶するプログラムに従って動作することで、図１０に示すように、識別部１００１、生成部１００２、および表示制御部１００３として機能する。
【００６３】
識別部１００１は、クライアント端末４０１を操作する顧客によってタッチパネル４０８が操作されて拡張現実の提示が要求されると、カメラ４１０に撮像オン信号を出力してカメラ４１０の撮像動作を開始させる。そして、識別部１００１は、カメラ４１０が撮像した撮像エリアのフレーム画像（動画像）を取り込んでＲＡＭ４０４に格納する。
【００６４】
また、識別部１００１は、ＲＡＭ４０４に格納されたフレーム画像に含まれる物体を識別するものである。本実施形態では、識別部１００１は、ＲＦＩＤリーダライタ４０９を制御して、商品（例えば、ショールーム等に展示された車など）に付されたＲＦＩＤタグ１１１と無線通信を実行して、ＲＦＩＤタグ１１１に記憶された商品ＩＤを読み取る。そして、識別部１００１は、読み取った商品ＩＤにより特定される商品を、ＲＡＭ４０４に格納されたフレーム画像に含まれる物体として識別する。なお、識別部１００１は、第１の実施形態にかかる識別部７０１と同様に、一般物体認識やパターン認識やＯＣＲ文字認識等を用いて、フレーム画像に含まれる物体を認識することができる。
【００６５】
生成部１００２は、ＲＡＭ４０４に格納されたフレーム画像と、識別部１００１により識別された物体に対応する画像と、を合成した合成画像を生成する。本実施形態では、生成部１００１は、商品ファイルＦ１から、ＲＦＩＤリーダライタ４０９により読み取った商品ＩＤと対応付けられた商品分類および画像を読み出す。次いで、生成部１００２は、商品分類ファイルＦ２から、読み出した商品分類と対応付けられた所定の位置（例えば、ＲＡＭ４０３に格納されたフレーム画像における背景部分）を読み出す。そして、生成部１００２は、ＲＡＭ４０４に格納されたフレーム画像のうち、読み出した所定の位置に当該所定の位置の表示と異なる透過処理を施す。さらに、生成部１００２は、透過処理を施した部分に、識別部１００１により識別された物体に対応する画像（商品ファイルＦ１から読み出した画像、例えば、背景の動画像など）を重ね合わせた合成画像を生成する。
【００６６】
表示制御部１００３は、生成部１００２により生成された合成画像を、ＬＣＤ４０６に表示する。これにより、車のショールーム等を訪れた顧客は、車が実際に公道を走っている様子を見なくても、車が公道を走っているイメージを確認することができる。また、合成画像をＬＣＤ４０６に表示させる際、現実の情報（ＲＡＭ４０４に格納されたフレーム画像）に合成する付加情報（背景の画像）を顧客が選択する必要がないので、より簡単に拡張現実の提示を受けることができる。
【００６７】
次に、図１１を用いて、クライアント端末１０１が行う拡張現実提示処理について説明する。図１１は、クライアント端末が行う拡張現実提示処理の手順を示したフローチャートである。
【００６８】
識別部１００１は、クライアント端末４０１を操作する顧客によってタッチパネル４０８が操作されて拡張現実の提示が要求されるのを待つ（ステップＳ１１０１：Ｎｏ）。タッチパネル４０８が操作されて拡張現実の提示が要求されると（ステップＳ１１０１：Ｙｅｓ）、識別部１００１は、カメラ４１０に撮像オン信号を出力してカメラ４１０に撮像動作を開始させる（ステップＳ１１０２）。そして、識別部１００１は、カメラ４１０により撮像された動画像を構成するフレーム画像を取り込んで、ＲＡＭ４０４に格納する。
【００６９】
次いで、識別部１００１は、ＲＦＩＤリーダライタ４０９を制御して、ショールーム等の店舗に展示されている車等の商品に付されたＲＦＩＤタグ１１１と無線通信を実行して、ＲＦＩＤタグ１１１に記憶された商品ＩＤを読み取る（ステップＳ１１０３）。
【００７０】
次に、生成部１００２は、商品ファイルＦ１から、読み取った商品ＩＤと対応付けて記憶された画像を読み出す。そして、生成部１００２は、読み出した画像を、ＲＡＭ４０４に格納されたフレーム画像に合成した合成画像を生成する（ステップＳ１１０４）。
【００７１】
ここで、図１２を用いて、ショールームに展示されている商品（例えば、車）に付されたＲＦＩＤタグ１１１から、商品ＩＤが読み取られた場合における合成画像の生成処理について説明する。図１２は、背景の画像とカメラにより撮像されたフレーム画像とを重ね合わせた合成画像を生成する処理を説明するための図である。
【００７２】
生成部１００２は、商品ファイルＦ１から、ＲＦＩＤリーダライタ４０９により読み取った商品ＩＤと対応付けて記憶された画像（背景の画像）および商品分類（車の商品分類：「オンロード」）を読み出す。次いで、生成部１００２は、商品分類ファイルＦ２から、読み出した商品分類（車の商品分類：「オンロード」）と対応付けられた所定の位置（所定の位置：背景）を読み出す。
【００７３】
次に、生成部１００２は、ＲＡＭ４０４に記憶されたフレーム画像１２０１に含まれる車の画像１２０２を除く背景の画像１２０３に透過処理を施す。次いで、生成部１００２は、フレーム画像１２０１において透過処理を施した部分に、商品ファイルＦ１から読み出した背景の画像１２０５を重ね合わせた合成画像１２０４を生成する。
【００７４】
図１１に戻り、生成部１００２により合成画像が生成されると、表示制御部１００３は、生成された合成画像を、ＬＣＤ４０６に表示させる（ステップＳ１１０５）。
【００７５】
このように本実施形態にかかるクライアント端末４０１によれば、ショールーム内の動画像を撮像するカメラ４１０と、カメラ４１０により撮像された動画像を構成するフレーム画像に含まれる物体を識別する識別部１００１と、カメラ４０１により撮像された動画像を構成するフレーム画像と、識別部１００１により識別された物体に対応する画像と、を合成した合成画像を生成する生成部１００２と、生成部１００２により生成された合成画像をＬＣＤ４０６に表示する表示制御部１００３と、を備えることにより、合成画像をＬＣＤ４０６に表示させる際に、カメラ４１０に撮像された動画像を構成するフレーム画像に合成する画像を顧客が選択する必要がなくなるので、より簡単に拡張現実（合成画像）の提示を受けることができる。
【００７６】
以上説明したとおり、第１から第２の実施形態によれば、より簡単に拡張現実の提示を受けることができる。
【００７７】
なお、本実施形態の試着室端末１０１およびクライアント端末４０１で実行されるプログラムは、ＲＯＭ等に予め組み込まれて提供されるが、これに限定するものではない。例えば、本実施形態の試着室端末１０１およびクライアント端末４０１で実行されるプログラムは、インストール可能な形式又は実行可能な形式のファイルでＣＤ−ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ−Ｒ、ＤＶＤ（Digital Versatile Disk）等のコンピュータで読み取り可能な記録媒体に記録して提供するように構成してもよい。
【００７８】
さらに、本実施形態の試着室端末１０１およびクライアント端末４０１で実行されるプログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成しても良い。また、本実施形態の試着室端末１０１およびクライアント端末４０１で実行されるプログラムをインターネット等のネットワーク経由で提供または配布するように構成しても良い。
【００７９】
本実施形態の試着室端末１０１およびクライアント端末４０１で実行されるプログラムは、上述した各部（識別部７０１，１００１、生成部７０２，１００２、表示制御部７０３，１００３）を含むモジュール構成となっており、実際のハードウェアとしてはＣＰＵ（プロセッサ）が上記ＲＯＭからプログラムを読み出して実行することにより上記各部が主記憶装置上にロードされ、識別部７０１，１００１、生成部７０２，１００２、表示制御部７０３，１００３が主記憶装置上に生成されるようになっている。
【００８０】
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【符号の説明】
【００８１】
１ 拡張現実システム
１０１ 試着室端末
１０７，４０６ ＬＣＤ
１０９，４１０ カメラ
１１０ 衣料品
１１１ ＲＦＩＤタグ
１１２ ＩＣチップ
１１３ タグアンテナ
１１４，４０９ ＲＦＩＤリーダライタ
１１９，４０２ ＣＰＵ
１２０，４０３ ＲＯＭ
１２１，４０４ ＲＡＭ
１２３，４０７ 通信インタフェース
３００ 通信回線
３０１ コンピュータ
４０１ クライアント端末
７０１，１００１ 識別部
７０２，１００２ 生成部
７０３，１００３ 表示制御部
Ｆ１ 商品ファイル
Ｆ２ 商品分類ファイル
【先行技術文献】
【特許文献】
【００８２】
【特許文献１】特開２００７−３７０７８号公報
【技術分野】
【０００１】
本発明の実施形態は、映像表示装置およびプログラムに関する。
【背景技術】
【０００２】
近年、コンピュータ等を用いて、撮像装置で撮像された画像などの現実の情報に、付加情報としてバーチャルな物体を電子情報として合成して提示する拡張現実という技術が様々な場面で用いられている。
【発明の概要】
【発明が解決しようとする課題】
【０００３】
ところで、従来技術においては、拡張現実による提示を受ける際、現実の情報として撮像された画像に付加情報として合成するバーチャルな物体を、ユーザが自ら選択しなければならなかった。そのため、より簡単に拡張現実による提示を受けることができる技術が求められている。
【課題を解決するための手段】
【０００４】
実施形態の映像表示装置は、撮像手段と、識別手段と、生成手段と、表示制御手段と、を備える。前記撮像手段は、動画像を撮像する。前記識別手段は、前記撮像された動画像に含まれる物体を識別する。前記生成手段は、前記識別された物体に対応する画像と前記撮像された動画像とを合成した合成画像を生成する。前記表示制御手段は、前記生成した合成画像を表示部に表示する。
【図面の簡単な説明】
【０００５】
【図１】図１は、第１の実施形態にかかる拡張現実システムの構成を示すブロック図である。
【図２】図２は、試着室端末が設置されている試着室を示す斜視図である。
【図３】図３は、試着室端末のハードウェア構成を示すブロック図である。
【図４】図４は、商品ファイルのデータ構成を示す図である。
【図５】図５は、商品分類ファイルのデータ構成を示す図である。
【図６】図６は、クライアント端末のハードウェア構成を示すブロック図である。
【図７】図７は、本実施形態にかかる試着室端末の機能構成を示すブロック図である。
【図８】図８は、試着室端末が行う拡張現実提示処理の手順を示したフローチャートである。
【図９】図９は、複数の画像とカメラにより撮像されたフレーム画像とを重ね合わせた合成画像を生成する処理を説明するための図である。
【図１０】図１０は、本実施形態にかかるクライアント端末の機能構成を示すブロック図である。
【図１１】図１１は、クライアント端末が行う拡張現実提示処理の手順を示したフローチャートである。
【図１２】図１２は、背景の画像とカメラにより撮像されたフレーム画像とを重ね合わせた合成画像を生成する処理を説明するための図である。
【発明を実施するための形態】
【０００６】
（第１の実施形態）
図１は、第１の実施形態にかかる拡張現実システムの構成を示すブロック図である。なお、本実施形態では、衣料品等の商品を販売する店舗に拡張現実システム１を適用した例について説明する。
【０００７】
本実施形態にかかる拡張現実システム１は、有線または無線の通信回線（例えば、インターネット等）３００等を介して相互に電気的に接続されたコンピュータ３０１や、ＰＯＳ（Point Of Sale）端末５０１、試着室端末１０１、クライアント端末４０１、ハンディーターミナル２００等を備えている。
【０００８】
本実施形態にかかる拡張現実システム１では、１つまたは複数のコンピュータ３０１が、所定のサービスを提供するサーバとして機能することができる。この拡張現実システム１では、例えばＳａａＳ(Software as a Service)の形態で、サービスが提供されうる。
【０００９】
ＰＯＳ端末５０１は、店舗の出口付近に設けられたレジカウンタ（図示せず）に設置されている。ＰＯＳ端末５０１は、商品毎に固有の商品ＩＤを読み取って出力するスキャナ５０２を備えている。商品ＩＤは、商品に付されているＲＦＩＤ（Radio Frequency Identification）タグ１１１（図２参照）にバーコードや２次元コード等のコードシンボルの形態で印刷されている。そして、ＰＯＳ端末５０１は、読み取られた情報に基づいて、商品販売データ処理を実行する。
【００１０】
このようなＰＯＳ端末５０１には、通信回線３００を介して、コンピュータ３０１、クライアント端末４０１、試着室端末１０１、およびハンディーターミナル２００が接続されている。
【００１１】
コンピュータ３０１には、ストレージデバイスとしてＨＤＤ（Hard Disk Drive）等の記憶装置が内蔵され、この記憶装置には各種ファイルが記憶されている。
【００１２】
クライアント端末４０１は、拡張現実システム１が導入された店舗を利用する顧客により所有された所謂スマートフォンであり、携帯電話と携帯情報端末機能が付いた携帯端末である。
【００１３】
ハンディーターミナル２００は、店舗に来店した顧客に貸し出され、顧客により操作される携帯端末である。本実施形態では、ハンディーターミナル２００は、アクセスポイント２０１を介して通信回線３００に接続され、コンピュータ３０１に記憶された各種ファイルにアクセスすることにより、顧客が自ら商品の登録等を行うことができる。
【００１４】
試着室端末１０１は、顧客が商品である衣料品１１０（図２参照）を持ち込み、持ち込んだ衣料品１１０を試着する際に使用する試着室１００に設置されている。試着室端末１０１は、顧客が入室した試着室１００内の動画像を現実の情報として撮像し、撮像した動画像と、付加情報としての商品（顧客が試着室１００内に持ち込んだ衣料品１１０）の画像とを合成した合成画像を表示する拡張現実提示処理を実行する。
【００１５】
衣料品店である店舗には、顧客が衣料品１１０（図２参照）の試着に使用する試着室１００が複数台設置されている。顧客は、試着室１００に試着したい衣料品１１０を持ち込み、試着室端末１０１により表示された合成画像を見たり、衣料品１１０を実際に試着したりすることにより、衣料品１１０の購入を検討する。
【００１６】
図２は、試着室端末が設置されている試着室を示す斜視図である。試着室１００は、図２に示すように、上面と正面の一部とが開口した直方体形状を有している。試着室１００の正面の開口部分は、顧客が出入するための出入口１０２となっている。出入口１０２には、布製のカーテン１０３が図示しないカーテンレールによって開閉自在に取り付けられている。なお、試着室１００の出入口１０２には、カーテン１０３の代わりに、例えばスライド開閉自在な扉が設けられていても良い。図２では、カーテン１０３を開いた状態の試着室１００を示しているため、試着室１００の中を視認できる。試着室１００の中の背面側の壁には、試着に際して顧客を映し出すための全身鏡１０４が取り付けられている。また、全身鏡１０４の上方位置には、蛍光灯である照明１０５が取り付けられている。
【００１７】
さらに、全身鏡１０４の上部には、顧客が入室した試着室１００内の動画像（つまり、試着室１００に入室した顧客および当該顧客が試着室１００内に持ち込んだ衣料品１１０の画像を含む動画像）を撮像する撮像部であるカメラ１０９が取り付けられている。
【００１８】
そして、試着室１００内の一方の側壁には、試着室端末１０１が取り付けられている。試着室端末１０１は、試着室１００の中の顧客に対して情報を表示すると共に、顧客からの操作入力を受け付けるものである。
【００１９】
また、試着室端末１０１は、厚みのある平板状のハウジング１０６を備えている。ハウジング１０６には、情報を表示する表示部としてのＬＣＤ（Liquid Crystal Display）１０７が取り付けられている。ＬＣＤ１０７は、その表示面に積層配置され、タッチ指定することにより情報を入力可能な操作入力部としてのタッチパネル１０８を有する。
【００２０】
さらに、試着室端末１０１には、通信回線３００を介してコンピュータ３０１等とデータ通信を実行するための通信インタフェース１２３（図３参照）が内蔵されている。
【００２１】
また、試着室端末１０１の下方位置には、ＲＦＩＤタグ１１１と無線通信を実行するためのＲＦＩＤリーダライタ１１４が取り付けられている。このＲＦＩＤリーダライタ１１４は、その上方に位置する試着室端末１０１との間でデータ通信可能に有線接続されている。
【００２２】
ＲＦＩＤリーダライタ１１４が無線通信をするＲＦＩＤタグ１１１は、衣料品１１０に値札として付されている。衣料品１１０が顧客によって試着室１００の中に持ち込まれた場合に、ＲＦＩＤリーダライタ１１４は、その衣料品１１０に付されたＲＦＩＤタグ１１１と無線通信を実行する。そのため、ＲＦＩＤリーダライタ１１４は、試着室１００内をその通信可能範囲としている。
【００２３】
ＲＦＩＤタグ１１１は、電池を内蔵しないパッシブタグであり、ＩＣチップ１１２とコイル状のタグアンテナ１１３とが埋設されている。このＩＣチップ１１２には、商品を特定する特定情報である商品ＩＤのデータが記憶されている。
【００２４】
ＲＦＩＤリーダライタ１１４とＲＦＩＤタグ１１１とは、例えば１３．５６ＭＨｚの周波数帯を使用する電磁誘導方式によって交信する。つまり、ＲＦＩＤリーダライタ１１４とＲＦＩＤタグ１１１とは、ＲＦＩＤリーダライタ１１４のアンテナコイル（図示せず）とタグアンテナ１１３との誘導磁束による誘起電圧を利用することで交信する。このような交信状態を利用して、ＲＦＩＤリーダライタ１１４は、ＩＣチップ１１２に記憶されている商品ＩＤを読み取る。そして、ＲＦＩＤリーダライタ１１４は、読み取った商品ＩＤを試着室端末１０１のＣＰＵ１１９（図３参照）に出力する。
【００２５】
また、試着室１００の背面には、細長い円柱状のポール１１５が立設されている。ポール１１５の先端部には、青色と赤色と緑色とを選択的に発光可能な報知部としての発光部１１６が設けられている。発光部１１６は、ポール１１５を通る図示しないケーブルによって試着室端末１０１と接続されており、試着室端末１０１のＣＰＵ１１９（図３参照）によって動作制御を受ける。なお、ＣＰＵ１１９による動作制御を受けていない状態では、発光部１１６は発光動作をしていない。
【００２６】
また、試着室１００の出入口１０２の一方の側部には、出入口１０２を通過する顧客を検出する人感センサとして赤外線センサ１１７が取り付けられている。この赤外線センサ１１７は、いわゆる焦電型赤外線センサである。つまり、赤外線センサ１１７は、出入口１０２を通過する顧客の人体が発する赤外線を受光し、受光した赤外線を熱変換し、その熱を素子の焦電効果で電荷に変えて出力（検出出力）する。赤外線センサ１１７は、試着室端末１０１と図示しないケーブルによって接続されており、赤外線センサ１１７の検出出力は、試着室端末１０１のＣＰＵ１１９（図３参照）へと入力される。
【００２７】
また、図２では図示しないが、試着室１００の床には、感圧センサ１１８（図３参照）が配置されている。試着室１００の床は、詳細は図示しないが二枚の床板が重なって構成されており、この二枚の床板の間に挟まるようにして、複数個の感圧センサ１１８が配置されている。そのため、顧客が出入口１０２を通って試着室１００の中に入り床をその足で踏むと、いずれかの感圧センサ１１８に圧力がかかることになる。感圧センサ１１８は、このような圧変化を内部の感圧素子によって電気信号に変換して出力（検出出力）する。そして、感圧センサ１１８は、試着室端末１０１と図示しないケーブルによって接続されており、感圧センサ１１８の検出出力は、試着室端末１０１のＣＰＵ１１９（図３参照）へと入力される。
【００２８】
図３は、試着室端末のハードウェア構成を示すブロック図である。試着室端末１０１は、各種演算処理を実行し各部を制御する情報処理部としてのＣＰＵ（Central Processing Unit）１１９を備えている。ＣＰＵ１１９には、コンピュータプログラム等の固定データを固定的に記憶保存するＲＯＭ（Read Only Memory）１２０と、可変データを書き換え自在に記憶してワークエリアとして使用されるＲＡＭ（Random Access Memory）１２１と、試着室端末１０１の電源を落としてもデータ内容を保持する不揮発性メモリであるフラッシュメモリ１２２とがバス接続されている。
【００２９】
また、ＣＰＵ１１９には、ＬＣＤ１０７、タッチパネル１０８、カメラ１０９、ＲＦＩＤリーダライタ１１４、発光部１１６、赤外線センサ１１７、感圧センサ１１８、および通信インタフェース１２３、が、いずれも各種の入出力回路（いずれも図示せず）を介して接続され、ＣＰＵ１１９によって動作制御される。なお、感圧センサ１１８は、前述したように実際には複数個設けられているが、図３中では一つの感圧センサ１１８のみ示している。
【００３０】
フラッシュメモリ１２２には、各種コンピュータプログラムおよび各種ファイルが記憶されている。このようなフラッシュメモリ１２２に記憶されているコンピュータプログラムやファイルは、試着室端末１０１の起動時に、その全部又は一部がＲＡＭ１２１にコピーされて使用される。
【００３１】
そして、試着室端末１０１のＣＰＵ１１９は、コンピュータプログラムに従って実行する処理中に各種のファイルにデータアクセスする。アクセスされるファイルは、コンピュータ３０１の図示しないＨＤＤ（Hard Disk Drive）に格納されているファイルである。コンピュータ３０１は、通信回線３００を介して試着室端末１０１と接続されている。そのため、これらのファイルは、試着室端末１０１のＣＰＵ１１９によってデータアクセス可能となっている。
【００３２】
ここで、図４および図５を用いて、コンピュータ３０１のＨＤＤ（図示しない）に格納され、試着室端末１０１のＣＰＵ１１９によりデータアクセス可能となっている各種ファイル（商品ファイルＦ１、商品分類ファイルＦ２等）について説明する。
【００３３】
図４は、商品ファイルのデータ構成を示す図である。商品ファイルＦ１は、商品を特定する特定情報である商品ＩＤに対応付けて、当該商品ＩＤにより特定される商品の商品名と、当該商品ＩＤにより特定される商品が属する商品分類と、当該商品ＩＤにより特定される商品の単価と、当該商品ＩＤにより特定される商品に対応する画像（本実施形態では、商品画像）と、を記憶するファイルである。
【００３４】
図５は、商品分類ファイルのデータ構成を示す図である。商品分類ファイルＦ２は、商品ファイルＦ１に記憶された商品分類に対応付けて、所定の位置と、順番と、を記憶する。ここで、所定の位置は、商品分類に応じて予め設定された位置である。例えば、商品分類：「上着」の所定の位置は、カメラ１０９により撮像された動画像に含まれる顧客（人）のトップスの位置である。また、商品分類：「ズボン」の所定の位置は、カメラ１０９により撮像された動画像に含まれる顧客（人）のボトムスの位置である。
【００３５】
また、順番は、カメラ１０９により撮像された動画像に複数の商品に対応する複数の画像を重ね合わせる場合に、各商品が属する商品分類に応じて予め設定された順番である。例えば、商品分類：「下着」の順番は、商品分類：「上着」よりも前の順番である。
【００３６】
図６は、クライアント端末のハードウェア構成を示すブロック図である。クライアント端末４０１は、各種演算処理を実行し各部を制御する情報処理部としてのＣＰＵ４０２を備えている。ＣＰＵ４０２には、コンピュータプログラム等の固定データを固定的に記憶保存するＲＯＭ４０３と、可変データを書き換え自在に記憶してワークエリアとして使用されるＲＡＭ４０４と、クライアント端末４０１の電源を落としてもデータ内容を保持する不揮発性メモリであるフラッシュメモリ４０５とがバス接続されている。
【００３７】
ＣＰＵ４０２には、情報を表示するＬＣＤ４０６、ＬＣＤ４０６の表示面に積層配置されてタッチ指定することにより情報を入力可能な操作入力部としてのタッチパネル４０８、通信回線３００を介してコンピュータ３０１等とデータ通信を実行するための通信インタフェース４０７、衣料品１１０等の商品に付されたＲＦＩＤタグ１１１と無線通信を実行するＲＦＩＤリーダライタ４０９、および動画像を撮像する撮像部であるカメラ４１０が、いずれも各種の入出力回路（いずれも図示せず）を介して接続され、ＣＰＵ４０２によって動作制御される。なお、ＲＦＩＤリーダライタ４０９は、試着室端末１０１が備えるＲＦＩＤリーダライタ１１４と同様の構成を有しているため、ここでは説明を省略する。
【００３８】
フラッシュメモリ４０５には、各種コンピュータプログラムおよび各種ファイルが記憶されている。このようなフラッシュメモリ４０５に記憶されているコンピュータプログラムやファイルは、クライアント端末４０１の起動時に、その全部又は一部がＲＡＭ４０４にコピーされて使用される。
【００３９】
そして、クライアント端末４０１のＣＰＵ４０２は、コンピュータプログラムに従って実行する処理中に各種のファイル（例えば、商品ファイルＦ１、商品分類ファイルＦ２など）にデータアクセスする。アクセスされるファイルは、コンピュータ３０１の図示しないＨＤＤに格納されているファイルである。コンピュータ３０１は、通信回線３００を介してクライアント端末１０１とも接続されている。そのため、これらのファイルは、クライアント端末４０１のＣＰＵ４０２によってもデータアクセス可能となっている。
【００４０】
次に、本実施形態にかかる試着室端末１０１が有する機能について説明する。図７は、本実施形態にかかる試着室端末の機能構成を示すブロック図である。ＣＰＵ１１９は、ＲＡＭ１２１に展開されたＲＯＭ１２０が記憶するプログラムに従って動作することで、図７に示すように、識別部７０１、生成部７０２、および表示制御部７０３として機能する。
【００４１】
識別部７０１は、赤外線センサ１１７によって顧客が検出されかつ感圧センサ１１８により圧力の検出が出力されると、試着室１００に顧客が入室したと判断して、カメラ１０９に撮像オン信号を出力してカメラ１０９に撮像動作を開始させる。そして、識別部７０１は、カメラ１０９が撮像した撮像エリアのフレーム画像（動画像）を取り込んで、ＲＡＭ１２１に格納する。
【００４２】
また、識別部７０１は、ＲＡＭ１２１に格納されたフレーム画像に含まれる物体を識別するものである。本実施形態では、識別部７０１は、ＲＦＩＤリーダライタ１１４を制御して、衣料品１１０に付されたＲＦＩＤタグ１１１と無線通信を実行して、ＲＦＩＤタグ１１１に記憶された商品ＩＤのデータを読み取る。そして、識別部７０１は、読み取った商品ＩＤにより特定される衣料品１１０を、ＲＡＭ１２１に格納されたフレーム画像に含まれる物体として識別する。
【００４３】
なお、本実施形態では、識別部７０１は、ＲＦＩＤリーダライタ１１４により読み取った商品ＩＤにより特定される衣料品１１０を、ＲＡＭ１２１に格納されたフレーム画像に含まれる物体として識別しているが、これに限定するものではない。例えば、識別部７０１は、商品ファイルＦ１に記憶された商品画像を参照して、ＲＡＭ１２１に格納されたフレーム画像から、特徴量として色合いや表面の凹凸状況等の表面の状態を読み取ることによって特定の物体として商品を認識（識別）する。なお、識別部７０１は、処理時間の短縮を図るため、商品の輪郭や大きさは考慮しないものとする。
【００４４】
このように画像中に含まれる物体を認識することは一般物体認識（generic object recognition）と呼ばれている。このような一般物体認識については、下記の文献において各種認識技術が解説されている。
柳井 啓司，“一般物体認識の現状と今後”，情報処理学会論文誌，Ｖｏｌ．４８，Ｎｏ．ＳＩＧ１６ [平成２２年８月１０日検索]，インターネット<URL: http://mm.cs.uec.ac.jp/IPSJ-TCVIM-Yanai.pdf >
【００４５】
また、画像をオブジェクトごとに領域分割することによって一般物体認識を行う技術が、下記の文献において解説されている。
Jamie Shottonら，“Semantic Texton Forests for Image Categorization and Segmentation”，[平成２２年８月１０日検索]，インターネット<URL: http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.145.3036&rep=rep1&type=pdf >
【００４６】
または、識別部７０１は、パターン認識やＯＣＲ（Optical Character Reader）文字認識により、ＲＡＭ１２１に格納されたフレーム画像から文字や絵やシンボル等の特徴を抽出する。そして、識別部７０１は、抽出した特徴から、フレーム画像に含まれる物体を識別しても良い。
【００４７】
生成部７０２は、ＲＡＭ１２１に格納されたフレーム画像と、識別部７０１により識別された物体に対応する画像と、を合成した合成画像を生成する。本実施形態では、生成部７０２は、商品ファイルＦ１から、ＲＦＩＤリーダライタ１１４により読み取った商品ＩＤと対応付けられた画像を、識別部７０１により識別された物体に対応する画像として読み出す。さらに、生成部７０２は、商品ファイルＦ１から、ＲＦＩＤリーダライタ１１４により読み取った商品ＩＤと対応付けられた商品分類を読み出す。
【００４８】
次いで、生成部７０２は、商品分類ファイルＦ２から、読み出した商品分類と対応付けられた所定の位置を読み出す。そして、生成部７０２は、ＲＡＭ１２１に格納されたフレーム画像のうち、読み出した所定の位置に当該所定の位置の表示と異なる透過処理を施す。さらに、生成部７０２は、透過処理を施した部分に、商品ファイルＦ１から読み出した画像を重ね合わせることにより、合成画像を生成する。
【００４９】
また、生成部７０２は、ＲＦＩＤリーダライタ１１４により複数の商品ＩＤが読み取られた場合（つまり、識別部７０１により複数の物体が識別された場合）、商品ファイルＦ１から、ＲＦＩＤリーダライタ１１４により読み取られた複数の商品ＩＤと対応付けられた商品分類および画像を読み出す。さらに、生成部７０２は、商品分類ファイルＦ２から、読み出した商品分類と対応付けられた順番を読み出す。そして、生成部７０２は、読み出した画像を、読み出した順番に従って、ＲＡＭ１２１に格納されたフレーム画像に重ね合わせることにより、合成画像を生成する。
【００５０】
表示制御部７０３は、生成部７０２により生成された合成画像を、ＬＣＤ１０７に表示する。これにより、試着室１００に入室した顧客は、試着室１００に持ち込んだ衣料品１１０を実際に試着しなくても、当該衣料品１１０を自身が試着したイメージを確認することができる。また、合成画像をＬＣＤ１０７に表示させる際（つまり、拡張現実の提示を受ける際）、現実の情報（ＲＡＭ１２１に格納されたフレーム画像）に重ね合わせる付加情報（商品画像）を顧客が選択する必要がないので、より簡単に拡張現実の提示を受けることができる。
【００５１】
次に、図８を用いて、試着室端末１０１が行う拡張現実提示処理について説明する。図８は、試着室端末が行う拡張現実提示処理の手順を示したフローチャートである。
【００５２】
識別部７０１は、試着室１００に顧客が入室するのを待つ（ステップＳ８０１：Ｎｏ）。赤外線センサ１１７によって顧客が検出されかつ感圧センサ１１８により圧力の検出が出力されると、識別部７０１は、試着室１００に顧客が入室したと判断して（ステップＳ８０１：Ｙｅｓ）、カメラ１０９に撮像オン信号を出力してカメラ１０９に撮像動作を開始させる（ステップＳ８０２）。そして、識別部７０１は、カメラ１０９により撮像された動画像を構成するフレーム画像を取り込んで、ＲＡＭ１２１に格納する。
【００５３】
次いで、識別部７０１は、ＲＦＩＤリーダライタ１１４を制御して、顧客が試着室１００内に持ち込んだ衣料品１１０に付されたＲＦＩＤタグ１１１と無線通信を実行して、ＲＦＩＤタグ１１１に記憶された商品ＩＤを読み取る（ステップＳ８０３）。
【００５４】
次に、生成部７０２は、商品ファイルＦ１から、読み取った商品ＩＤと対応付けて記憶された画像を読み出す。そして、生成部７０２は、読み出した画像と、ＲＡＭ１２１に格納されたフレーム画像とを合成した合成画像を生成する（ステップＳ８０４）。
【００５５】
ここで、図９を用いて、顧客が試着室１００内に持ち込んだ複数の衣料品１１０（例えば、ジャケット、ワイシャツ、スラックス）に付されたＲＦＩＤタグ１１１から、複数の商品ＩＤが読み取られた場合における合成画像の生成処理について説明する。図９は、複数の画像とカメラにより撮像されたフレーム画像とを重ね合わせた合成画像を生成する処理を説明するための図である。
【００５６】
生成部７０２は、商品ファイルＦ１から、識別部７０１により読み取った複数の商品ＩＤと対応付けて記憶された画像（ジャケットの画像、ワイシャツの画像、スラックスの画像）および商品分類（ジャケットの商品分類：「上着」、ワイシャツの商品分類：「下着」、スラックスの商品分類：「パンツ」）を読み出す。次いで、生成部７０２は、商品分類ファイルＦ２から、読み出した商品分類（ジャケットの商品分類：「上着」、ワイシャツの商品分類：「下着」、スラックスの商品分類：「パンツ」）と対応付けられた所定の位置（商品分類：「上着」，「下着」と対応付けられた所定の位置：「トップス」、商品分類：「パンツ」と対応付けられた所定の位置：「ボトムス」）を読み出す。
【００５７】
さらに、生成部７０２は、商品分類ファイルＦ２から、（ジャケットの商品分類：「上着」、ワイシャツの商品分類：「下着」、スラックスの商品分類：「パンツ」）と対応付けられた順番（商品分類：「上着」と対応付けられた順番：「３」、商品分類：「パンツ」と対応付けられた順番：「２」、商品分類：「下着」と対応付けられた順番：「１」）を読み出す。
【００５８】
次に、生成部７０２は、ＲＡＭ１２１に記憶されたフレーム画像９０１のうち、商品分類ファイルＦ２から読み出した所定の位置９０３：「フレーム画像９０１に含まれる顧客のトップスの位置」および所定の位置９０４：「フレーム画像９０１に含まれる顧客のボトムスの位置」に透過処理を施す。より具体的には、生成部７０２は、フレーム画像９０１に対して物体認識やパターン認識等を行うことにより、当該フレーム画像９０１における所定の位置９０３：「フレーム画像９０１に含まれる顧客のトップスの位置」および所定の位置９０４：「フレーム画像９０１に含まれる顧客のボトムスの位置」を抽出する。そして、生成部７０２は、抽出した所定の位置９０３，９０４に対して透過処理を施すものとする。次いで、生成部７０２は、フレーム画像９０１において透過処理を施した部分（所定の位置９０３，９０４）に、商品ファイルＦ１から読み出した画像（ジャケットの画像、ワイシャツの画像、およびスラックスの画像）を、商品分類ファイルＦ２から読み出した順番（商品分類：「上着」と対応付けられた順番：「３」、商品分類：「パンツ」と対応付けられた順番：「２」、商品分類：「下着」と対応付けられた順番：「１」）に重ね合わせた合成画像９０５を生成する。つまり、生成部７０２は、フレーム画像９０１において透過処理を施した部分（所定の位置９０３，９０４）に、ワイシャツの画像９０６、スラックスの画９０７像、ジャケットの画像９０８の順に重ね合わせた合成画像９０５を生成する。
【００５９】
図８に戻り、生成部７０２により合成画像が生成されると、表示制御部７０３は、生成された合成画像を、ＬＣＤ１０７に表示させる（ステップＳ８０５）。
【００６０】
このように本実施形態にかかる試着室端末１０１によれば、試着室１００内の動画像を撮像するカメラ１０９と、カメラ１０９により撮像された動画像を構成するフレーム画像に含まれる物体を識別する識別部７０１と、カメラ１０９により撮像された動画像を構成するフレーム画像と、識別部７０１により識別された物体に対応する画像と、を合成した合成画像を生成する生成部７０２と、生成部７０２により生成された合成画像をＬＣＤ１０７に表示する表示制御部７０３と、を備えることにより、合成画像をＬＣＤ１０７に表示させる際、カメラ１０９に撮像された動画像を構成するフレーム画像に合成する画像を顧客が選択する必要がなくなるので、より簡単に拡張現実（合成画像）の提示を受けることができる。
【００６１】
（第２の実施形態）
本実施形態は、第１の実施形態における拡張現実提示処理をクライアント端末において実行する例である。なお、クライアント端末のハードウェア構成は、第１の実施形態と同様であるため、ここでは説明を省略する。
【００６２】
図１０は、本実施形態にかかるクライアント端末の機能構成を示すブロック図である。ＣＰＵ４０２は、ＲＡＭ４０４に展開されたＲＯＭ４０３に記憶するプログラムに従って動作することで、図１０に示すように、識別部１００１、生成部１００２、および表示制御部１００３として機能する。
【００６３】
識別部１００１は、クライアント端末４０１を操作する顧客によってタッチパネル４０８が操作されて拡張現実の提示が要求されると、カメラ４１０に撮像オン信号を出力してカメラ４１０の撮像動作を開始させる。そして、識別部１００１は、カメラ４１０が撮像した撮像エリアのフレーム画像（動画像）を取り込んでＲＡＭ４０４に格納する。
【００６４】
また、識別部１００１は、ＲＡＭ４０４に格納されたフレーム画像に含まれる物体を識別するものである。本実施形態では、識別部１００１は、ＲＦＩＤリーダライタ４０９を制御して、商品（例えば、ショールーム等に展示された車など）に付されたＲＦＩＤタグ１１１と無線通信を実行して、ＲＦＩＤタグ１１１に記憶された商品ＩＤを読み取る。そして、識別部１００１は、読み取った商品ＩＤにより特定される商品を、ＲＡＭ４０４に格納されたフレーム画像に含まれる物体として識別する。なお、識別部１００１は、第１の実施形態にかかる識別部７０１と同様に、一般物体認識やパターン認識やＯＣＲ文字認識等を用いて、フレーム画像に含まれる物体を認識することができる。
【００６５】
生成部１００２は、ＲＡＭ４０４に格納されたフレーム画像と、識別部１００１により識別された物体に対応する画像と、を合成した合成画像を生成する。本実施形態では、生成部１００１は、商品ファイルＦ１から、ＲＦＩＤリーダライタ４０９により読み取った商品ＩＤと対応付けられた商品分類および画像を読み出す。次いで、生成部１００２は、商品分類ファイルＦ２から、読み出した商品分類と対応付けられた所定の位置（例えば、ＲＡＭ４０３に格納されたフレーム画像における背景部分）を読み出す。そして、生成部１００２は、ＲＡＭ４０４に格納されたフレーム画像のうち、読み出した所定の位置に当該所定の位置の表示と異なる透過処理を施す。さらに、生成部１００２は、透過処理を施した部分に、識別部１００１により識別された物体に対応する画像（商品ファイルＦ１から読み出した画像、例えば、背景の動画像など）を重ね合わせた合成画像を生成する。
【００６６】
表示制御部１００３は、生成部１００２により生成された合成画像を、ＬＣＤ４０６に表示する。これにより、車のショールーム等を訪れた顧客は、車が実際に公道を走っている様子を見なくても、車が公道を走っているイメージを確認することができる。また、合成画像をＬＣＤ４０６に表示させる際、現実の情報（ＲＡＭ４０４に格納されたフレーム画像）に合成する付加情報（背景の画像）を顧客が選択する必要がないので、より簡単に拡張現実の提示を受けることができる。
【００６７】
次に、図１１を用いて、クライアント端末１０１が行う拡張現実提示処理について説明する。図１１は、クライアント端末が行う拡張現実提示処理の手順を示したフローチャートである。
【００６８】
識別部１００１は、クライアント端末４０１を操作する顧客によってタッチパネル４０８が操作されて拡張現実の提示が要求されるのを待つ（ステップＳ１１０１：Ｎｏ）。タッチパネル４０８が操作されて拡張現実の提示が要求されると（ステップＳ１１０１：Ｙｅｓ）、識別部１００１は、カメラ４１０に撮像オン信号を出力してカメラ４１０に撮像動作を開始させる（ステップＳ１１０２）。そして、識別部１００１は、カメラ４１０により撮像された動画像を構成するフレーム画像を取り込んで、ＲＡＭ４０４に格納する。
【００６９】
次いで、識別部１００１は、ＲＦＩＤリーダライタ４０９を制御して、ショールーム等の店舗に展示されている車等の商品に付されたＲＦＩＤタグ１１１と無線通信を実行して、ＲＦＩＤタグ１１１に記憶された商品ＩＤを読み取る（ステップＳ１１０３）。
【００７０】
次に、生成部１００２は、商品ファイルＦ１から、読み取った商品ＩＤと対応付けて記憶された画像を読み出す。そして、生成部１００２は、読み出した画像を、ＲＡＭ４０４に格納されたフレーム画像に合成した合成画像を生成する（ステップＳ１１０４）。
【００７１】
ここで、図１２を用いて、ショールームに展示されている商品（例えば、車）に付されたＲＦＩＤタグ１１１から、商品ＩＤが読み取られた場合における合成画像の生成処理について説明する。図１２は、背景の画像とカメラにより撮像されたフレーム画像とを重ね合わせた合成画像を生成する処理を説明するための図である。
【００７２】
生成部１００２は、商品ファイルＦ１から、ＲＦＩＤリーダライタ４０９により読み取った商品ＩＤと対応付けて記憶された画像（背景の画像）および商品分類（車の商品分類：「オンロード」）を読み出す。次いで、生成部１００２は、商品分類ファイルＦ２から、読み出した商品分類（車の商品分類：「オンロード」）と対応付けられた所定の位置（所定の位置：背景）を読み出す。
【００７３】
次に、生成部１００２は、ＲＡＭ４０４に記憶されたフレーム画像１２０１に含まれる車の画像１２０２を除く背景の画像１２０３に透過処理を施す。次いで、生成部１００２は、フレーム画像１２０１において透過処理を施した部分に、商品ファイルＦ１から読み出した背景の画像１２０５を重ね合わせた合成画像１２０４を生成する。
【００７４】
図１１に戻り、生成部１００２により合成画像が生成されると、表示制御部１００３は、生成された合成画像を、ＬＣＤ４０６に表示させる（ステップＳ１１０５）。
【００７５】
このように本実施形態にかかるクライアント端末４０１によれば、ショールーム内の動画像を撮像するカメラ４１０と、カメラ４１０により撮像された動画像を構成するフレーム画像に含まれる物体を識別する識別部１００１と、カメラ４０１により撮像された動画像を構成するフレーム画像と、識別部１００１により識別された物体に対応する画像と、を合成した合成画像を生成する生成部１００２と、生成部１００２により生成された合成画像をＬＣＤ４０６に表示する表示制御部１００３と、を備えることにより、合成画像をＬＣＤ４０６に表示させる際に、カメラ４１０に撮像された動画像を構成するフレーム画像に合成する画像を顧客が選択する必要がなくなるので、より簡単に拡張現実（合成画像）の提示を受けることができる。
【００７６】
以上説明したとおり、第１から第２の実施形態によれば、より簡単に拡張現実の提示を受けることができる。
【００７７】
なお、本実施形態の試着室端末１０１およびクライアント端末４０１で実行されるプログラムは、ＲＯＭ等に予め組み込まれて提供されるが、これに限定するものではない。例えば、本実施形態の試着室端末１０１およびクライアント端末４０１で実行されるプログラムは、インストール可能な形式又は実行可能な形式のファイルでＣＤ−ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ−Ｒ、ＤＶＤ（Digital Versatile Disk）等のコンピュータで読み取り可能な記録媒体に記録して提供するように構成してもよい。
【００７８】
さらに、本実施形態の試着室端末１０１およびクライアント端末４０１で実行されるプログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成しても良い。また、本実施形態の試着室端末１０１およびクライアント端末４０１で実行されるプログラムをインターネット等のネットワーク経由で提供または配布するように構成しても良い。
【００７９】
本実施形態の試着室端末１０１およびクライアント端末４０１で実行されるプログラムは、上述した各部（識別部７０１，１００１、生成部７０２，１００２、表示制御部７０３，１００３）を含むモジュール構成となっており、実際のハードウェアとしてはＣＰＵ（プロセッサ）が上記ＲＯＭからプログラムを読み出して実行することにより上記各部が主記憶装置上にロードされ、識別部７０１，１００１、生成部７０２，１００２、表示制御部７０３，１００３が主記憶装置上に生成されるようになっている。
【００８０】
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【符号の説明】
【００８１】
１ 拡張現実システム
１０１ 試着室端末
１０７，４０６ ＬＣＤ
１０９，４１０ カメラ
１１０ 衣料品
１１１ ＲＦＩＤタグ
１１２ ＩＣチップ
１１３ タグアンテナ
１１４，４０９ ＲＦＩＤリーダライタ
１１９，４０２ ＣＰＵ
１２０，４０３ ＲＯＭ
１２１，４０４ ＲＡＭ
１２３，４０７ 通信インタフェース
３００ 通信回線
３０１ コンピュータ
４０１ クライアント端末
７０１，１００１ 識別部
７０２，１００２ 生成部
７０３，１００３ 表示制御部
Ｆ１ 商品ファイル
Ｆ２ 商品分類ファイル
【先行技術文献】
【特許文献】
【００８２】
【特許文献１】特開２００７−３７０７８号公報
【特許請求の範囲】
【請求項１】
動画像を撮像する撮像手段と、
前記撮像された動画像に含まれる物体を識別する識別手段と、
前記識別された物体に対応する画像と前記撮像された動画像とを合成した合成画像を生成する生成手段と、
前記生成した合成画像を表示部に表示する表示制御手段と、
を備えた映像表示装置。
【請求項２】
前記識別手段は、前記撮像された動画像に含まれる物体を特定する特定情報が記憶されかつ無線通信により前記特定情報が読み取られるタグから、無線通信により前記特定情報を読み取り、前記読み取った特定情報により特定される物体を、前記撮像された動画像に含まれる物体として識別する請求項１に記載の映像表示装置。
【請求項３】
前記生成手段は、前記識別手段により識別された物体に対応する画像を、前記撮像された動画像における所定の位置に合成した前記合成画像を生成する請求項１または２に記載の映像表示装置。
【請求項４】
前記生成手段は、前記撮像された動画像において、前記識別された物体が属する分類に応じて予め設定された前記所定の位置に、前記識別された物体に対応する画像を合成した前記合成画像を生成する請求項３に記載の映像表示装置。
【請求項５】
前記生成手段は、前記識別手段により複数の物体が識別された場合、前記識別された各物体に対応する複数の画像を、前記識別された各物体が属する分類に応じて予め設定された順番に従って前記撮像された動画像に重ね合わせた前記合成画像を生成する請求項１から４のいずれか一に記載の映像表示装置。
【請求項６】
コンピュータを、
撮像部により撮像された動画像に含まれる物体を識別する識別手段と、
前記識別された物体に対応する画像と前記撮像された動画像とを合成した合成画像を生成する生成手段と、
前記生成した合成画像を表示部に表示する表示制御手段と、
として機能させるためのプログラム。
【請求項１】
動画像を撮像する撮像手段と、
前記撮像された動画像に含まれる物体を識別する識別手段と、
前記識別された物体に対応する画像と前記撮像された動画像とを合成した合成画像を生成する生成手段と、
前記生成した合成画像を表示部に表示する表示制御手段と、
を備えた映像表示装置。
【請求項２】
前記識別手段は、前記撮像された動画像に含まれる物体を特定する特定情報が記憶されかつ無線通信により前記特定情報が読み取られるタグから、無線通信により前記特定情報を読み取り、前記読み取った特定情報により特定される物体を、前記撮像された動画像に含まれる物体として識別する請求項１に記載の映像表示装置。
【請求項３】
前記生成手段は、前記識別手段により識別された物体に対応する画像を、前記撮像された動画像における所定の位置に合成した前記合成画像を生成する請求項１または２に記載の映像表示装置。
【請求項４】
前記生成手段は、前記撮像された動画像において、前記識別された物体が属する分類に応じて予め設定された前記所定の位置に、前記識別された物体に対応する画像を合成した前記合成画像を生成する請求項３に記載の映像表示装置。
【請求項５】
前記生成手段は、前記識別手段により複数の物体が識別された場合、前記識別された各物体に対応する複数の画像を、前記識別された各物体が属する分類に応じて予め設定された順番に従って前記撮像された動画像に重ね合わせた前記合成画像を生成する請求項１から４のいずれか一に記載の映像表示装置。
【請求項６】
コンピュータを、
撮像部により撮像された動画像に含まれる物体を識別する識別手段と、
前記識別された物体に対応する画像と前記撮像された動画像とを合成した合成画像を生成する生成手段と、
前記生成した合成画像を表示部に表示する表示制御手段と、
として機能させるためのプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【公開番号】特開２０１３−５４５９８（Ｐ２０１３−５４５９８Ａ）
【公開日】平成２５年３月２１日（２０１３．３．２１）
【国際特許分類】
【出願番号】特願２０１１−１９３２４９（Ｐ２０１１−１９３２４９）
【出願日】平成２３年９月５日（２０１１．９．５）
【出願人】（０００００３５６２）東芝テック株式会社 (5,631)
【Ｆターム（参考）】
【公開日】平成２５年３月２１日（２０１３．３．２１）
【国際特許分類】
【出願日】平成２３年９月５日（２０１１．９．５）
【出願人】（０００００３５６２）東芝テック株式会社 (5,631)
【Ｆターム（参考）】
[ Back to top ]