商品情報提供端末装置および商品情報提供システム
【課題】 電力の消費を効率的に抑制して、ＡＲ技術を利用して店舗内の商品についての商品情報をリアルタイムに提供可能な商品情報提供端末装置を提供する。
【解決手段】 商品情報提供端末装置は、現実空間を撮像するための撮像手段と、撮像手段によって撮像された撮像画像に含まれる商品に関する商品情報を取得する商品情報取得部と、撮像手段によって撮像された撮像画像に含まれる商品の位置に基づいて、商品情報取得部によって取得された商品情報を現実空間に重畳して表示するための拡張現実画像を生成する画像生成部と、画像生成部によって生成された拡張現実画像を表示可能な表示部と、加速度を検出する加速度検出手段と、加速度検出手段により検出される加速度情報に基づいて、使用者の動作状態を判定する動作状態判定部と、動作状態判定部によって判定された動作状態に基づいて、撮像手段を起動および動作停止する動作制御部とを備える。
【解決手段】 商品情報提供端末装置は、現実空間を撮像するための撮像手段と、撮像手段によって撮像された撮像画像に含まれる商品に関する商品情報を取得する商品情報取得部と、撮像手段によって撮像された撮像画像に含まれる商品の位置に基づいて、商品情報取得部によって取得された商品情報を現実空間に重畳して表示するための拡張現実画像を生成する画像生成部と、画像生成部によって生成された拡張現実画像を表示可能な表示部と、加速度を検出する加速度検出手段と、加速度検出手段により検出される加速度情報に基づいて、使用者の動作状態を判定する動作状態判定部と、動作状態判定部によって判定された動作状態に基づいて、撮像手段を起動および動作停止する動作制御部とを備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、店舗に陳列されている商品についての商品情報を、来店者に対して拡張現実感技術を利用してリアルタイムに提供するための商品情報提供端末装置および商品情報提供システムに関する。
【背景技術】
【０００２】
近年、複合現実感（Mixed Reality）技術の研究が盛んであり、特に、コンピュータによって作成されるＣＧ（Computer Graphics）などの仮想物体の画像を、あたかも現実空間にその仮想物体があるかのように表示部に表示する、いわゆる拡張現実感（ＡＲ：
Augmented Reality）技術が注目されている。
【０００３】
このＡＲ技術を実現する表示部としては、光学シースルー方式とビデオシースルー方式とが知られている。光学シースルー方式とは、観察者が現実空間を直接視認する方向に、可視光を透過可能な表示部、たとえばハーフミラーによって構成された表示部を配置し、その表示部に映る現実空間の実像に、仮想物体の画像を表示部に反射させて重畳する方式であり、この方式では観察者の網膜上で現実空間の光景と仮想物体とが融合することになる。また、ビデオシースルー方式とは、ビデオカメラなどの撮像手段によって撮像された撮像画像に仮想物体の画像を重畳描画した合成画像を、表示部に表示する方式である。
【０００４】
このようなＡＲ技術は、様々な分野への応用が期待されている。その１つとして、スーパーマーケットなどのように様々な商品が陳列されている店舗において、光学シースルー方式またはビデオシースルー方式を採用した表示部を備える携帯型の端末装置を来店者に貸与し、光学シースルー方式の場合は表示部に映る商品の実像に、ビデオシースルー方式の場合は撮像手段によって撮像された商品を含む撮像画像に、その商品の特徴、売行きおよび購入者による評価などその商品について来店者が知りたい情報（以下、「商品情報」という）を重畳して表示するための拡張現実画像を、端末装置の表示部に表示することによって、来店者に対して商品情報をリアルタイムに提供するサービスへの応用が考えられている。
【０００５】
たとえば特許文献１には、消費者が移動通信端末機用リーダによって、商品に付されたＥ．Ｓ（Environment protection and Safety）コードと称するバーコードを読取ることにより、その商品の生産環境に関わる評価を示す情報をサーバから取得し、その端末機の画面に表示する技術が開示されている。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００２−６３３８９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
前記のようなサービスを実現するための携帯型の端末装置は、少なくとも、現実空間を撮像するための撮像手段と、現実空間に商品情報を重畳して表示するための拡張現実画像、すなわち光学シースルー方式の場合は表示部に映る商品の実像に商品情報を重畳して表示するための商品情報画像、ビデオシースルー方式の場合は撮像手段によって撮像された商品を含む撮像画像に商品情報を重畳描画した合成画像を生成する画像生成部と、画像生成部によって生成された拡張現実画像を表示可能な表示部と、端末装置に電力を供給する電源部とを含んで構成される。
【０００８】
このような携帯型の端末装置を用いることによって、撮像手段を動作させて商品を撮像し、撮像手段によって撮像された商品を含む撮像画像に基づいて、商品情報が適切な位置にかつ適切な寸法で、表示部に映る商品の実像または撮像手段によって撮像された撮像画像に重畳して表示されるように、拡張現実画像を生成し、生成された拡張現実画像を表示部に表示させ、来店者に対して商品情報をリアルタイムに提供することができる。
【０００９】
ところで、撮像手段などＡＲを実現するための各手段を動作させるためには大きな電力を要し、短時間であっても多くの電力が消費されてしまう。携帯型の端末装置では、電源部が電池によって実現されているので、ＡＲを実現するための各手段を来店者が買い物を始めてから終えるまでの間ずっと動作させておくと、買い物途中で電池の容量が低下して、必要な電力を確保することができなくなり、商品情報を提供することができなくなってしまうという問題がある。
【００１０】
また、前記のようなサービスを実現するためには、適切な商品情報を重畳して表示するために、表示部に映る商品または撮像手段によって撮像されている商品が何であるかを認識する必要がある。商品の認識方法としては、マーカ方式およびマーカレス方式のいずれかの方式を採用することが考えられる。マーカ方式は、各商品に表示されている商品固有のマーカを読取ることによって、その商品を認識する方式である。また、マーカレス方式は、商品の外観の一部または全体を撮像した撮像画像に基づいて、商品を画像認識する方式である。
【００１１】
マーカ方式を採用する場合、商品固有のマーカとしては、商品ごとに予め付与されているバーコードを利用するのが、安価かつ実現容易である。しかしながら、バーコードは商品の背面や側面など通常の陳列状態では容易に確認できない位置に表示されている場合が殆どであり、この場合、バーコードをマーカとして読み取るためには、客側の方で、商品を手に取ってバーコード表示を探し出さなければならず、客にとって手間となる作業が必要になってしまう。一方のマーカレス方式は、商品の前面の一部または全体を含む撮像画像に基づいて、すなわち通常の陳列状態の商品を撮像手段によって撮像したときの撮像画像に基づいてその商品を認識することができるので、前記のような手間となる作業を省略することができる。
【００１２】
しかしながら、前述するマーカレス方式では、画像認識された商品に対して商品情報が重畳されるので、撮像手段によって撮像された撮像画像の中に複数の商品が含まれていると、画像認識された複数の商品について、各商品の商品情報を格納する商品情報データベースから商品情報が取得されてしまう。この場合、取得した全ての商品情報を重畳して表示すると、商品情報が煩雑に表示されてしまうため、来店者は、知りたい商品情報だけを容易に得ることができなくなってしまうという問題がある。
【００１３】
本発明の目的は、電力の消費を効率的に抑制して、ＡＲ技術を利用して店舗に陳列されている商品についての商品情報をリアルタイムに提供することができる商品情報提供端末装置を提供することである。
【００１４】
また本発明の他の目的は、来店者が知りたい商品情報だけを容易に提供することができる商品情報提供端末装置および商品情報提供システムを提供することである。
【課題を解決するための手段】
【００１５】
本発明は、電源部を備え、該電源部からの電力によって動作し、使用者によって携帯される商品情報提供端末装置であって、
現実空間を撮像するための撮像手段と、
前記撮像手段によって撮像された撮像画像に含まれる商品に関する商品情報を取得する商品情報取得部と、
前記撮像手段によって撮像された撮像画像に含まれる商品の位置に基づいて、前記商品情報取得部によって取得された前記商品情報を現実空間に重畳して表示するための拡張現実画像を生成する画像生成部と、
前記画像生成部によって生成された拡張現実画像を表示可能な表示部と、
加速度を検出する加速度検出手段と、
前記加速度検出手段により検出される加速度情報に基づいて、使用者の動作状態を判定する動作状態判定部と、
前記動作状態判定部によって判定された動作状態に基づいて、前記撮像手段を起動および動作停止する動作制御部とを備えることを特徴とする商品情報提供端末装置である。
【００１６】
また本発明は、前記動作状態判定部は、前記加速度検出手段により検出される加速度情報に基づいて、使用者が移動している移動状態であるか移動していない非移動状態であるかを判定し、
前記動作制御部は、前記撮像手段の非稼動状態において、非移動状態であると判定された場合に前記撮像手段を起動し、前記撮像手段の稼動状態において、移動状態であると判定された場合に前記撮像手段を動作停止することを特徴とする。
【００１７】
また本発明は、使用者の頭部に装着するための頭部装着部を備え、
前記加速度検出手段は、前記頭部装着部によって保持され、
前記動作状態判定部は、加速度検出手段により検出される加速度情報に基づいて、使用者が移動している移動状態であるか移動していない非移動状態であるかを判定するとともに、使用者が頭部の位置を動かしているか否かを判定し、
前記動作制御部は、前記撮像手段の非稼動状態において、非移動状態であると判定され、かつ頭部の位置を動かしていないと判定された場合に前記撮像手段を起動し、前記撮像手段の稼動状態において、移動状態であると判定された場合、または頭部の位置を動かしていると判定された場合に前記撮像手段を動作停止することを特徴とする。
【００１８】
また本発明は、前記撮像手段によって撮像された撮像画像に、商品情報を表示すべき商品を特定するための所定の指示情報が含まれているか否かを判定する指示情報判定部と、
前記指示情報判定部による判定対象の撮像画像が格納される撮像画像格納部とをさらに含み、
前記商品情報取得部は、前記指示情報判定部によって所定の指示情報が含まれていると判定されたときの撮像画像に基づいて、撮像画像に含まれる商品に関する商品情報を取得することを特徴とする。
【００１９】
また本発明は、前記所定の指示情報が、撮像画像に含まれる人間の手指であることを特徴とする。
【００２０】
また本発明は、前記撮像画像格納部は、所定の指示情報が含まれていると判定されたときの撮像画像が格納される第１格納領域と、所定の指示情報が含まれていないと判定されたときの撮像画像が格納される第２格納領域とを有し、
前記指示情報判定部は、所定の指示情報が含まれていないと判定した場合、当該判定対象の撮像画像よりも後に撮像された撮像画像について判定を実行し、
前記第２格納領域には、所定の指示情報が含まれていないと判定されたときの撮像画像が更新して格納され、
前記商品情報取得部は、第１格納領域に格納される撮像画像と第２格納領域に格納される撮像画像とに基づいて、撮像画像に含まれる商品に関する商品情報を取得することを特徴とする。
【００２１】
また本発明は、前記動作制御部は、所定の期間内または所定の判定回数内で所定の指示情報が含まれているとの判定がされない場合、撮像手段を動作停止することを特徴とする。
【００２２】
また本発明は、前記商品情報取得部は、所定の期間内または所定の判定回数内で所定の指標が含まれているとの判定がされない場合、第２格納領域に格納される撮像画像に基づいて、撮像画像に含まれる商品に関する商品情報を取得することを特徴とする。
【００２３】
また本発明は、前記画像生成部は、前記撮像手段によって撮像された撮像画像に対し、商品情報を表示すべき商品を追尾する機能を有することを特徴とする。
【００２４】
また本発明は、前記表示部は、可視光を透過可能に構成され、
前記画像生成部は、前記表示部に映る商品の実像に、該商品の実像の位置および寸法に応じた位置および寸法で、該商品の商品情報を重畳して表示するための拡張現実画像を生成することを特徴とする。
【００２５】
また本発明は、前記画像生成部は、前記撮像手段によって撮像された撮像画像に、該撮像画像に含まれる商品の位置および寸法に応じた位置および寸法で、該商品の商品情報を重畳描画して拡張現実画像を生成することを特徴とする。
【００２６】
また本発明は、電源部を備え、該電源部からの電力によって動作し、使用者によって携帯される商品情報提供端末装置とサーバ装置とを含む商品情報提供システムであって、
商品情報提供端末装置は、
現実空間を撮像するための撮像手段と、
前記撮像手段によって撮像された撮像画像に含まれる商品に関する商品情報を取得する商品情報取得部と、
前記撮像手段によって撮像された撮像画像に含まれる商品の位置に基づいて、前記商品情報取得部によって取得された前記商品情報を現実空間に重畳して表示するための拡張現実画像を生成する画像生成部と、
前記画像生成部によって生成された拡張現実画像を表示可能な表示部と、
加速度を検出する加速度検出手段と、
前記加速度検出手段により検出される加速度情報に基づいて、使用者の動作状態を判定する動作状態判定部と、
前記動作状態判定部によって判定された動作状態に基づいて、前記撮像手段を起動および動作停止する動作制御部と、
前記撮像手段によって撮像された撮像画像に、商品情報を表示すべき商品を特定するための所定の指示情報が含まれているか否かを判定する指示情報判定部と、
前記指示情報判定部による判定対象の撮像画像が格納される撮像画像格納部と、
サーバ装置との間で情報を無線通信する端末側無線送受信部とを含み、
サーバ装置は、
商品情報提供端末装置との間で情報を無線通信するサーバ側無線送受信部と、
商品情報を商品ごとに格納する商品情報データベースと、
所定の指示情報に基づいて商品情報を表示すべき商品を特定し、該特定した商品に関する商品情報を商品情報データベースから抽出する商品情報抽出部とを含むことを特徴とする商品情報提供システムである。
【発明の効果】
【００２７】
本発明によれば、商品情報提供端末装置は、撮像手段と、加速度検出手段と、動作状態判定部と、動作制御部とを備え、商品情報提供端末装置の加速度に基づいて判定された、商品情報提供端末装置を携帯する来店者の動作状態に基づいて、撮像手段を起動および動作停止することができる。
【００２８】
たとえば来店者が店舗内を移動しているとき、通常、その来店者は複数の商品に目を移しながら物色している状態にあり、特定の商品について商品情報を知りたいと思っている可能性は低い。これに対し、店舗内で足を止めたときには、特定の商品について他の商品に比べて強い関心があり、その特定の商品に関する商品情報を知りたいと思っている可能性が高い。このように、来店者の動作状態に応じて、撮像手段を起動および動作停止して、効率的に商品情報を提供することにより、商品情報提供端末装置における電力の消費を効率的に抑制することができる。
【００２９】
また本発明によれば、商品情報提供端末装置は、指示情報判定部と、撮像画像格納部と、商品情報取得部とを備え、商品情報を表示すべき商品を特定するための所定の指示情報が含まれていると判定されたときの撮像画像に基づいて、その撮像画像に含まれる商品に関する商品情報を取得するように構成されている。したがって、撮像画像の中に複数の商品が含まれている場合であっても、所定の指示情報に従って特定された商品の商品情報だけを表示することができる。これにより、来店者が知りたい商品情報だけを容易に提供することができる。
【００３０】
本発明によれば、商品情報提供システムは、商品情報提供端末装置とサーバ装置とを含んで構成され、商品情報提供端末装置は、撮像手段と、加速度検出手段と、動作状態判定部と、動作制御部とを備え、商品情報提供端末装置の加速度に基づいて判定された、商品情報提供端末装置を携帯する来店者の動作状態に基づいて、撮像手段を起動および動作停止することができる。したがって、来店者の動作状態に応じて、撮像手段を起動および動作停止して、効率的に商品情報を提供することにより、商品情報提供端末装置における電力の消費を効率的に抑制することができる。
【００３１】
また商品情報提供端末装置は、指示情報判定部と、撮像画像格納部と、商品情報取得部と、端末側無線送受信部とを備え、サーバ装置は、サーバ側無線送受信部と、商品情報データベースと、商品情報抽出部とを備えている。これにより、商品情報を表示すべき商品を特定するための所定の指示情報が含まれていると判定されたときの撮像画像を商品情報提供端末装置からサーバ装置へ送信し、サーバ装置側で、所定の指示情報に基づいて商品情報を表示すべき商品を特定し、特定した商品に関する商品情報を商品情報データベースから抽出し、抽出した商品情報をサーバ装置から商品情報提供端末装置へ送信し、受信した商品情報に基づいて生成された拡張現実画像が表示部に表示される。したがって、撮像画像の中に複数の商品が含まれている場合であっても、所定の指示情報に従って特定された商品の商品情報だけを表示することができる。これにより、来店者が知りたい商品情報だけを容易に提供することができる。
【図面の簡単な説明】
【００３２】
【図１】本発明の一実施形態に係るＨＭＤ１００を模式的に示す斜視図である。
【図２】本発明の一実施形態に係るＨＭＤ１００の構成を示すブロック図である。
【図３】制御装置３０の機能的な構成を示すブロック図である。
【図４】本発明の一実施形態に係るＨＭＤ１００と協働して用いられるサーバ装置１１０の構成を示すブロック図である。
【図５】制御装置８０の機能的な構成を示すブロック図である。
【図６Ａ】本発明の一実施形態に係るＨＭＤ１００の動作を説明するためのフローチャートである。
【図６Ｂ】本発明の一実施形態に係るＨＭＤ１００の動作を説明するためのフローチャートである。
【図７】ＨＭＤ１００の装着者が商品Ａ〜Ｆが陳列された商品棚Ｓの前で静止した状態を示す図である。
【図８】カメラ１０によって撮像された撮像画像の一例を示す図である。
【図９】人間の手指が含まれている撮像画像の一例を示す図である。
【図１０】サーバ装置１１０へ送信される撮像画像の一例を示す図である。
【図１１】商品情報画像Ｑ１が表示された表示部２１を示す図である。
【図１２】表示部２１に映る商品の実像の移動に伴う商品情報画像Ｑ１の変化の一例を示す図である。
【図１３】サーバ装置１１０の動作を説明するためのフローチャートである。
【図１４】割込み要求が発生した場合の動作を説明するためのフローチャートである。
【図１５Ａ】本発明の他の実施形態に係るＨＭＤ１００の動作を説明するためのフローチャートである。
【図１５Ｂ】本発明の他の実施形態に係るＨＭＤ１００の動作を説明するためのフローチャートである。
【発明を実施するための形態】
【００３３】
以下、図面を参照して、本発明をその好適な実施形態に従って詳細に説明する。
図１は、本発明の一実施形態に係る商品情報提供端末装置である頭部装着型表示装置（ＨＭＤ：Head Mounted Display）１００を模式的に示す斜視図である。図２は、本発明の一実施形態に係るＨＭＤ１００の構成を示すブロック図である。
【００３４】
ＨＭＤ１００は、様々な商品が陳列されている店舗において用いられ、拡張現実感技術を利用して、現実空間における商品とＣＧなどで描画された商品情報とを融合表示することにより、来店者に対して商品情報をリアルタイムに提供するように構成された装置である。本実施形態では、ＨＭＤ１００は、後述するサーバ装置１１０と協働して、商品情報を提供するように構成されている。
【００３５】
本実施形態に係るＨＭＤ１００は、来店者の頭部に装着した状態で使用されるように構成されている。ＨＭＤ１００は、人間の頭部に着脱自在に装着可能な形状に形成されていればよい。これにより、来店者は商品情報提供端末装置を手で保持する必要がないので、今までどおり両手を使って買い物をすることができる。本実施形態に係るＨＭＤ１００は、図１に模式的に示すように、来店者の耳に掛けるための頭部装着部であるつる部５１を備え、眼鏡型の形状に形成されている。
【００３６】
ＨＭＤ１００は、カメラ１０と、表示装置２０と、制御装置３０と、加速度検出部４０と、無線送受信部５０と、電源部６０とを備えている。
【００３７】
カメラ１０は、たとえばＣＣＤ（Charge Coupled Device）センサまたはＣＭＯＳ（
Complementary Metal Oxide Semiconductor）センサを撮像素子に用い、画像一枚あたりの撮像周期がたとえば１／３０秒（すなわち、フレームレートが３０ｆｐｓ）で被写体を撮像可能なビデオカメラである。カメラ１０は、その撮像方向がＨＭＤ１００の装着者の視線方向に略一致するように、表示部２１に近接した位置に取り付けられ、現実空間を撮像して、撮像画像の画像データを処理部３１へ出力する。本実施形態では、カメラ１０は、オートフォーカス機能を有している。
【００３８】
表示装置２０は、現実空間における商品に仮想空間における商品情報を重畳して表示するための拡張現実画像を表示可能な、右目用および左目用の一対の表示部２１を備えている。一対の表示部２１は、ＨＭＤ１００の装着者の眼前に配置されるようにそれぞれ取り付けられている。
【００３９】
本実施形態では、表示部２１は、光学シースルー方式を採用している。すなわち、表示部２１は、可視光を透過可能に構成されており、ＨＭＤ１００の装着者は、眼前に配置された表示部２１を透過した現実空間の光景を直接見ることができるとともに、表示部２１に表示された拡張現実画像も見ることができる。この場合の拡張現実画像は、ＣＧなどで描画された商品情報を示す商品情報画像である。
【００４０】
したがって、ＨＭＤ１００の装着者は、表示部２１を透過して見える現実空間の光景、すなわち表示部２１に映る現実空間の実像と、商品情報画像とを融合して見ることができる。このような表示部２１は、たとえばハーフミラーによって実現されてもよい。また表示装置２０は、図示しないが、後述する画像生成部１０６によって生成された商品情報画像を表示部２１に投影するための投影装置を備えている。
【００４１】
制御装置３０は、処理部３１と、ＲＯＭ（Read Only Memory）３２と、ＲＡＭ（Random Access Memory）３３とを備えて構成される。処理部３１は、ＣＰＵ（Central
Processing Unit）を含み、ＲＯＭ３２に格納されたプログラムを実行し、ＨＭＤ１００の各部を制御するとともに、データ処理を行う。ＲＯＭ３２は、処理部３１が実行するプログラムおよびデータが格納される。ＲＡＭ３３は、プログラムの実行処理領域として利用されるほか、画像データなどの一時記憶領域、各種作業領域として利用される。
【００４２】
加速度検出部４０は、ＨＭＤ１００に作用している加速度を検出するように構成されている。本実施形態では、加速度検出部４０には、互いに直交する３方向（Ｘ軸方向、Ｙ軸方向およびＺ軸方向）の加速度を検出可能な３軸加速度センサが用いられている。加速度検出部４０は、３軸加速度センサによって検出された３方向の加速度の変化を示す信号を処理部３１に出力する。
【００４３】
無線送受信部５０は、ＺｉｇＢｅｅおよびＩＥＥＥ８０２．１５．４などの無線通信方式を用いた無線通信モジュールを備え、後述するサーバ装置１１０との間で情報を無線通信するように構成されている。
【００４４】
電源部６０は、ＨＭＤ１００を動作させるための電力の供給源である電池６１と、カメラ１０、表示装置２０、制御装置３０、加速度検出部４０および無線送受信部５０に必要な電力を供給するための電源回路部６２とからなる。
【００４５】
加速度検出部４０、ならびに後述する動作状態判定部１０１および動作制御部１０２は、電源部６０からの電力供給によって常時動作して加速度を検出するとともに、所定の演算処理を実行するように構成されている。すなわち、加速度検出部４０は、動作状態判定部１０１に対して加速度の変化を示す信号を常時出力している。
【００４６】
制御装置３０、加速度検出部４０および無線送受信部５０は、頭部装着部であるつる部５１に取り付けられた装置本体部５２に内蔵されている。すなわち、加速度検出部４０は、つる部５１によって保持されており、ＨＭＤ１００の装着者の頭部の動きに応じた加速度の変化を示す信号を出力する。
【００４７】
図３は、制御装置３０の機能的な構成を示すブロック図である。制御装置３０は、動作状態判定部１０１と、動作制御部１０２と、指示情報判定部１０３と、撮像画像格納部１０４と、商品情報取得部１０５と、画像生成部１０６とを含んで構成される。
【００４８】
動作状態判定部１０１は、加速度検出部４０によって検出される３方向の加速度の変化を示す信号が連続的に入力され、その信号に基づいて、ＨＭＤ１００の装着者の動作状態を判定する。
【００４９】
具体的には、装着者の歩行に伴う上下方向への加速度の連続的な変化に基づいて、装着者が移動している移動状態であるか移動していない非移動状態であるかを判定する。さらに本実施形態では、加速度検出部４０がＨＭＤ１００に搭載されているので、上下方向に垂直な水平方向の加速度の変化に基づいて、ＨＭＤ１００の装着者が辺りを見回すなどの動作によって頭部の位置を動かしているか否かを判定する。
【００５０】
動作制御部１０２は、動作状態判定部１０１によって判定されたＨＭＤ１００の装着者の動作状態に基づいて、カメラ１０を起動および動作停止する。本実施形態では、動作制御部１０２は、カメラ１０だけでなく、表示装置２０を起動および動作停止するように構成されている。
【００５１】
指示情報判定部１０３は、動作制御部１０２によってカメラ１０が起動されると、カメラ１０によって撮像された撮像画像に、商品情報を表示すべき商品を特定するための所定の指示情報が含まれているか否かを判定する。そして、その判定結果に基づいて、判定対象となった撮像画像の画像データを、撮像画像格納部１０４における所定の格納領域へ格納する。本実施形態では、指示情報判定部１０３は、所定の指示情報として、撮像画像に人間の手指が含まれているか否かを判定する。
【００５２】
撮像画像格納部１０４は、指示情報判定部１０３によって、判定対象となった撮像画像の画像データが格納される。撮像画像格納部１０４は、所定の指示情報が含まれていると判定されたときの撮像画像の画像データが格納される第１格納領域と、所定の指示情報が含まれていないと判定されたときの撮像画像の画像データが格納される第２格納領域とを有している。第２格納領域には、所定の指示情報が含まれていないと判定されたときの撮像画像の画像データが、順次更新して格納される。
【００５３】
商品情報取得部１０５は、第１格納領域に画像データが格納されると、無線送受信部５０に対し、第１格納領域に格納される画像データと、第２格納領域に格納される画像データとをサーバ装置１１０へ送信する旨の指令を出力する。なお、第２格納領域に画像データが格納されていない場合には、第１格納領域に格納される画像データだけが、サーバ装置１１０へ送信される。商品情報取得部１０５は、無線送受信部５０がサーバ装置１１０から情報を受信すると、その情報を取得する。
【００５４】
画像生成部１０６は、商品情報取得部１０５によって取得された情報に基づいて、サーバ装置１１０へ送信した撮像画像における一部の領域を、商品情報を表示すべき商品として認識する。そして、商品情報を表示すべき商品として認識した領域の画像と、カメラ１０によって撮像された撮像画像とを照合（マッチング）し、撮像画像の中に商品情報を表示すべき商品の画像が含まれているか否かを判定する。商品の画像が含まれている場合には、その商品の画像の位置および寸法に応じた位置および寸法で、商品情報画像の画像データを生成する。画像生成部１０６によって生成された画像データは、表示装置２０へ出力され、表示部２１に表示される。
【００５５】
また画像生成部１０６は、カメラ１０によって撮像された撮像画像に対し、商品情報を表示すべき商品を追尾するトラッキング機能を有する。これにより、画像生成部１０６は、ＨＭＤ１００の装着者の頭部が微小に移動することにより、表示部２１に映る商品の実像が微小に移動した場合であっても、商品の実像の移動に追随させた商品情報画像を生成することができる。
【００５６】
図４は、本発明の一実施形態に係るＨＭＤ１００と協働して用いられるサーバ装置１１０の構成を示すブロック図である。サーバ装置１１０は、商品情報データベース７１と、画像認識データベース７２と、制御装置８０と、無線送受信部９０とを備えている。
【００５７】
商品情報データベース７１は、店舗内に陳列されている各商品について、商品情報、たとえば商品の商品ＩＤ、商品名、メーカー名、価格、原材料、競合商品、特徴、売行きおよび購入者による評価などの情報が格納されている。
【００５８】
画像認識データベース７２は、店舗内に陳列されている各商品の商品ＩＤと、各商品について予め撮像された参照画像の画像データとが関連付けられて格納されている。参照画像は、陳列状態における商品の前面を撮像した画像である。
【００５９】
制御装置８０は、処理部８１と、ＲＯＭ８２と、ＲＡＭ８３とを備えて構成される。処理部８１は、ＣＰＵを含み、ＲＯＭ８２に格納されたプログラムを実行し、サーバ装置１１０の各部を制御するとともに、データ処理を行う。ＲＯＭ８２は、処理部８１が実行するプログラムおよびデータが格納される。ＲＡＭ８３は、プログラムの実行処理領域として利用されるほか、画像データなどの一時記憶領域、各種作業領域として利用される。
【００６０】
無線送受信部９０は、ＺｉｇＢｅｅおよびＩＥＥＥ８０２．１５．４などの無線通信方式を用いた無線通信モジュールを備え、ＨＭＤ１００との間で情報を無線通信するように構成されている。
【００６１】
図５は、制御装置８０の機能的な構成を示すブロック図である。制御装置８０は、商品情報抽出部１１１と、送受信部制御部１１２とを含んで構成される。
【００６２】
商品情報抽出部１１１は、無線送受信部９０がＨＭＤ１００から撮像画像の画像データを受信すると、画像認識データベース７２に格納されている参照画像の画像データに基づいて、受信した撮像画像において、商品情報を表示すべき商品を特定する。そして、その特定した商品に関する商品情報を、商品情報データベース７１から抽出する。さらに、商品情報抽出部１１１は、ＨＭＤ１００から送信されてきた撮像画像における、その特定した商品の位置（座標）とサイズを算出する。
【００６３】
送受信部制御部１１２は、商品情報抽出部１１１によって、商品情報が抽出され、かつ撮像画像における商品の位置およびサイズが算出されると、無線送受信部９０に対し、抽出した商品情報、ならびに算出した商品の位置およびサイズ情報を、撮像画像を送信してきたＨＭＤ１００へ送信する旨の指令を出力する。
【００６４】
図６Ａおよび図６Ｂは、本発明の一実施形態に係るＨＭＤ１００の動作を説明するためのフローチャートである。ステップｓ０で、来店者がＨＭＤ１００を装着することにより、動作が開始される。
【００６５】
ステップｓ１で、動作状態判定部１０１は、加速度検出部４０から出力される信号に基づいて、装着者が移動状態であるか非移動状態であるかを判定する。移動状態であると判定されると、ステップｓ１へ進み、非移動状態であると判定されると、ステップｓ２へ進む。
【００６６】
ステップｓ２で、動作状態判定部１０１は、加速度検出部４０から出力される信号に基づいて、装着者が頭部の位置を動かしているか否かを判定する。頭部の位置を動かしていると判定されると、ステップｓ１へ進み、頭部の位置を動かしていないと判定されると、ステップｓ３へ進む。
【００６７】
ステップｓ３で、動作制御部１０２は、動作状態判定部１０１からの割込み要求の受付けを許可する。ステップｓ４で、動作制御部１０２は、カメラ１０を起動させる。図７は、ＨＭＤ１００の装着者が商品Ａ〜Ｆが陳列された商品棚Ｓの前で静止した状態を示す図である。図７に示すように、動作状態判定部１０１によってＨＭＤ１００の装着者が静止したと判定されると、動作制御部１０２によって、ＨＭＤ１００に搭載されるカメラ１０が起動され、撮像範囲Ｖの画像の取り込みが開始される。図８は、カメラ１０によって撮像された撮像画像の一例を示す図であり、図８（ａ）は、１つの商品Ａが含まれる撮像画像Ｐ１を示し、図８（ｂ）は、２つの商品Ａ，Ｂが含まれる撮像画像Ｐ２を示している。ステップｓ５で、カメラ１０によって撮像された撮像画像の画像データが、指示情報判定部１０３へ入力される。
【００６８】
ステップｓ６で、指示情報判定部１０３は、入力される画像データに基づいて、カメラ１０によって撮像された撮像画像に、人間の手指が含まれているか否かを判定する。図９は、人間の手指が含まれている撮像画像の一例を示す図であり、図９（ａ）は、装着者が自らの指ｆで商品情報が知りたい商品Ａを指し示している状態を撮像した撮像画像Ｐ３を示し、図９（ｂ）は、装着者が自らの手ｈで商品情報が知りたい商品Ｂを掴んでいる状態を撮像した撮像画像Ｐ４を示している。図９に示す撮像画像Ｐ３，Ｐ４のように、撮像画像に人間の手指ｆ，ｈが含まれていると判定されると、ステップｓ７に進み、図８に示す撮像画像Ｐ１，Ｐ２のように、手指ｆ，ｈが含まれていないと判定されると、ステップｓ９に進む。
【００６９】
ステップｓ７で、指示情報判定部１０３は、手指が含まれていると判定された撮像画像の画像データを、撮像画像格納部１０４の第１格納領域へ格納する。ステップｓ８で、商品情報取得部１０５は、第１格納領域に格納されている画像データを、無線送受信部５０に対しサーバ装置１１０へ送信させる。画像データが送信されると、ステップｓ２１へ進む。
【００７０】
ステップｓ９で、動作制御部１０２は、判定を継続するか否かの判定基準となる判定継続期間の計測を開始する。判定継続期間は、予め設定されてＲＡＭ３３に格納されている。ステップｓ１０で、指示情報判定部１０３は、手指が含まれていないと判定された撮像画像の画像データを、撮像画像格納部１０４の第２格納領域へ格納する。なお、第２格納領域に既に画像データが格納されている場合には、更新して格納する。
【００７１】
ステップｓ１１で、動作制御部１０２は、判定継続期間の計測開始時点からの経過時間が、設定されている判定継続期間を超えたか否かを判定する。設定されている判定継続期間を超えていないと判定されるとステップｓ１２に進み、カメラ１０によって撮像された撮像画像の画像データが、指示情報判定部１０３へ入力される。また設定されている判定継続期間を超えたと判定されると、ステップｓ１６に進む。
【００７２】
ステップｓ１２で、カメラ１０によって撮像された撮像画像の画像データが、指示情報判定部１０３へ入力される。ステップｓ１３で、指示情報判定部１０３は、入力される画像データに基づいて、カメラ１０によって撮像された撮像画像に、人間の手指が含まれているか否かを判定する。手指が含まれていると判定されると、ステップｓ１４に進み、手指が含まれていないと判定されると、ステップｓ１０に進む。
【００７３】
ステップｓ１４で、指示情報判定部１０３は、手指が含まれていると判定された撮像画像の画像データを、撮像画像格納部１０４の第１格納領域へ格納する。ステップｓ１５で、商品情報取得部１０５は、第１格納領域に格納されている画像データと第２格納領域に格納されている画像データとを、無線送受信部５０に対しサーバ装置１１０へ送信させる。図１０は、ステップｓ１５においてサーバ装置１１０へ送信される撮像画像の一例を示す図であり、図１０（ａ）は、装着者が自らの指ｆで商品Ａを指している状態を撮像した撮像画像Ｐ５であり、図１０（ｂ）は、指ｆで商品Ａを指す直前を撮像した撮像画像Ｐ６である。画像データが送信されると、ステップｓ２１へ進む。
【００７４】
ステップｓ１６で、動作制御部１０２は、判定継続期間内に手指を含む画像を撮像できなかったとして、判定継続期間の計測を停止する。ステップｓ１７で、動作制御部１０２は、カメラ１０の撮像動作を停止する。ステップｓ１８で、動作制御部１０２は、動作状態判定部１０１からの割込み要求の受付けを禁止する。
【００７５】
ステップｓ１９で、動作状態判定部１０１は、加速度検出部４０から出力される信号に基づいて、装着者が移動状態であるか非移動状態であるかを判定する。移動状態であると判定されると、ステップｓ１へ進み、非移動状態であると判定されると、ステップｓ２０へ進む。
【００７６】
ステップｓ２０で、動作状態判定部１０１は、加速度検出部４０から出力される信号に基づいて、装着者が頭部の位置を動かしているか否かを判定する。頭部の位置を動かしていると判定されると、ステップｓ１へ進み、頭部の位置を動かしていないと判定されると、ステップｓ１９へ進む。
【００７７】
このように、ステップｓ１７においてカメラ１０の動作を停止させた後は、ステップｓ１９およびステップｓ２０において、装着者が移動状態または頭部の位置をを動かしている状態に移行したことを確認してから、ステップｓ１へ進む。
【００７８】
ステップｓ２１で、商品情報取得部１０５は、無線送受信部５０がサーバ装置１１０からデータを受信したか否かを判定する。データを受信したと判定されると、そのデータを取得して、ステップｓ２２に進み、データが未受信であると判定されると、ステップｓ２１に進む。
【００７９】
ステップｓ２２で、画像生成部１０６は、商品情報取得部１０５によって取得されたデータに商品情報が含まれているか否かを判定する。商品情報が含まれていると判定されると、ステップｓ２３に進み、商品情報が含まれていないと判定されると、ステップｓ２７に進む。
【００８０】
ステップｓ２３で、画像生成部１０６は、商品情報取得部１０５によって取得された商品の位置およびサイズ情報と、ステップｓ８またはステップｓ１５でサーバ装置１１０へ送信した撮像画像の画像データとに基づいて、その撮像画像における一部の領域を、商品情報を表示すべき商品として認識し、商品情報取得部１０５によって取得された商品情報に基づいて、商品情報画像の画像データを生成する。併せて、動作制御部１０２は、表示装置２０を起動させる。
【００８１】
そして、画像生成部１０６は、生成した商品情報画像の画像データを表示装置２０へ出力する。表示装置２０へ出力された画像データによって、表示部２１へ商品情報画像が表示される。図１１は、商品情報画像Ｑ１が表示された表示部２１を示す図である。図１１に示すように、光学シースルー方式を採用した表示部２１には、商品情報ｑを表示すべき商品Ａの実像に重畳して、商品情報画像Ｑ１が表示されている。ＨＭＤ１００の装着者は、この商品情報画像Ｑ１を閲覧することによって、商品情報をリアルタイムに取得することができる。
【００８２】
ステップｓ２４で、カメラ１０によって撮像された撮像画像の画像データが、画像生成部１０６へ入力される。ステップｓ２５で、画像生成部１０６は、ステップｓ２３で商品情報を表示すべき商品として認識した一部の領域の画像と、カメラ１０から入力された撮像画像とを照合（マッチング）し、撮像画像の中に商品情報を表示すべき商品の画像が含まれているか否かを判定する。商品の画像が含まれていると判定されると、ステップｓ２６に進み、商品の画像が含まれていないと判定されると、ステップｓ２８に進む。
【００８３】
ステップｓ２６で、画像生成部１０６は、商品情報画像を表示部２１に継続して表示するために、商品情報を表示すべき商品を追尾し、追尾結果に基づいて、カメラ１０から入力された撮像画像に対して、新たな商品情報画像の画像データを生成する。そして、生成した商品情報画像の画像データを表示装置２０へ出力する。これにより、表示部２１には、表示部２１に映る商品の実像の移動に追随して、商品情報画像が表示される。
【００８４】
図１２は、表示部２１に映る商品の実像の移動に伴う商品情報画像Ｑ１の変化の一例を示す図であり、図１２（ａ）は、表示部２１に映る商品の実像が移動する前の状態を示し、図１２（ｂ）は、表示部２１に映る商品の実像が移動した後の状態を示している。図１２に示すように、表示部２１に映る商品の実像が表示部２１の上下方向に微小に移動した場合には、たとえば商品の実像の移動に対応して吹き出しＱ２の位置が変更された商品情報画像が生成されて、表示部２１に表示される。新たに生成された商品情報画像が表示部２１に表示されると、ステップｓ２４へ進む。
【００８５】
ステップｓ２７で、画像生成部１０６は、商品情報が発見されなかったことを示すための画像を生成する。併せて、動作制御部１０２は、表示装置２０を起動させる。そして、画像生成部１０６は、生成した画像の画像データを表示装置２０へ出力する。表示装置２０へ出力された画像データによって、表示部２１へ商品情報が発見されなかった旨が表示される。
【００８６】
ステップｓ２８で、画像生成部１０６は、装着者が表示部２１に表示された表示内容を確認するための時間を確保するために、予め設定された表示期間だけ、商品情報画像または商品情報が発見されなかった旨を示す画像を表示部２１に表示させる。ステップｓ２９で、表示期間が経過すると、動作制御部１０２は、表示装置２０の表示動作を停止する。ステップｓ３０で、動作制御部１０２は、カメラ１０の撮像動作を停止する。ステップｓ３１で、動作制御部１０２は、動作状態判定部１０１からの割込み要求の受付けを禁止し、ステップｓ１に進む。
【００８７】
本実施形態では、指示情報判定部１０３は、判定対象の撮像画像に指示情報が含まれていない場合、予め設定された判定継続期間が経過するまで、撮像画像についての判定を繰り返すように構成されている。他の実施形態では、予め設定された判定回数を超えるまで、撮像画像についての判定を繰り返すように構成されてもよい。
【００８８】
図１３は、サーバ装置１１０の動作を説明するためのフローチャートである。ステップａ０で、動作が開始される。ステップａ１で、送受信部制御部１１２は、無線送受信部９０がＨＭＤ１００から画像データを受信したか否かを判定する。画像データを受信したと判定されると、ステップａ２に進み、画像データが未受信であると判定されると、ステップａ１に進む。
【００８９】
ステップａ２で、商品情報抽出部１１１は、受信した画像データが、手指が含まれていると判定された撮像画像の画像データのみか否かを判定する。手指が含まれていると判定された撮像画像の画像データのみと判定されると、ステップａ３に進み、手指が含まれていると判定された撮像画像の画像データのみではないと判定されると、ステップａ４に進む。
【００９０】
ステップａ３で、商品情報抽出部１１１は、手指が含まれていると判定された撮像画像の画像データと画像認識データベース７２に格納されている参照画像の画像データとに基づいて画像認識し、撮像画像に含まれる商品を特定する。また商品情報抽出部１１１は、撮像画像において、その特定した商品の位置とサイズを算出する。
【００９１】
ステップａ４で、商品情報抽出部１１１は、手指が含まれていないと判定された撮像画像の画像データと画像認識データベース７２に格納されている参照画像の画像データとに基づいて画像認識し、撮像画像に含まれる商品を特定する。また商品情報抽出部１１１は、撮像画像において、その特定した商品の位置とサイズを算出する。
【００９２】
ステップａ５で、商品情報抽出部１１１は、撮像画像に含まれる商品について、商品情報データベース７１に該当する商品情報があるか否かを判定する。商品情報があると判定されると、ステップａ６に進み、商品情報がないと判定されると、ステップａ１１に進む。
【００９３】
ステップａ６で、商品情報抽出部１１１は、撮像画像に含まれる商品として特定された商品の数が複数であるか否かを判定する。複数でないと判定されると、ステップａ７に進み、複数であると判定されると、ステップａ８に進む。
【００９４】
ステップａ７で、送受信部制御部１１２は、商品情報抽出部１１１によって取得された商品情報、ならびに算出された商品の位置およびサイズ情報を、無線送受信部９０に対しＨＭＤ１００へ送信させる。各情報がＨＭＤ１００へ送信されると、ステップａ１へ進む。
【００９５】
ステップａ８で、商品情報抽出部１１１は、受信した画像データが、手指が含まれていないと判定された撮像画像の画像データのみか否かを判定する。手指が含まれていないと判定された撮像画像の画像データのみと判定されると、ステップａ９に進み、手指が含まれていないと判定された撮像画像の画像データのみではないと判定されると、ステップａ１０に進む。
【００９６】
ステップａ９で、商品情報抽出部１１１は、撮像画像に含まれる複数の商品のうち、カメラ１０から距離が最も近い商品、または、撮像画像の中心部に対して最も近い位置の商品を選択する。
【００９７】
カメラ１０から距離が最も近い商品を選択する方法としては、各商品情報から得られる実際の商品のサイズの比と、撮像画像において商品の占める割合から割り出された商品のサイズの比とに基づいて、選択してもよい。また別の方法としては、カメラ１０を最も近い被写体に対して焦点が合うように設定しておき、焦点が合っている方を選択するようにしてもよい。
【００９８】
ステップａ１０で、商品情報抽出部１１１は、撮像画像に含まれる複数の商品のうち、手指が重なっている商品を選択する。ステップａ９またはステップａ１０で商品が選択された場合、ステップａ７では、選択された商品についての商品情報、ならびに商品の位置およびサイズ情報がＨＭＤ１００へ送信される。
【００９９】
ステップａ１１で、送受信部制御部１１２は、商品情報データベース７１に該当する商品情報が発見されなかったことを示す情報を、無線送受信部９０に対しＨＭＤ１００へ送信させる。前記情報がＨＭＤ１００へ送信されると、ステップａ１へ進む。
【０１００】
図１４は、割込み要求が発生した場合の動作を説明するためのフローチャートである。割込み要求は、カメラ１０が動作している期間、すなわち動作制御部１０２によって割込み要求が許可されてから禁止されるまでの期間に発生する。
【０１０１】
ステップｂ０で、動作制御部１０２によって、動作状態判定部１０１からの割込み要求の受付けが許可されることにより、動作が開始される。
【０１０２】
ステップｂ１で、動作状態判定部１０１は、加速度検出部４０から出力される信号に基づいて、装着者が移動状態であるか非移動状態であるかを判定する。移動状態であると判定されると、ステップｂ３へ進み、非移動状態であると判定されると、ステップｂ２へ進む。
【０１０３】
ステップｂ２で、動作状態判定部１０１は、加速度検出部４０から出力される信号に基づいて、装着者が頭部の位置を動かしているか否かを判定する。頭部の位置を動かしていると判定されると、ステップｂ３へ進み、頭部の位置を動かしていないと判定されると、ステップｂ１へ進む。
【０１０４】
ステップｂ３で、動作状態判定部１０１は、動作制御部１０２に対して割込み要求を行う。ステップｂ４で、動作制御部１０２は、多重割込みを発生させないために、動作状態判定部１０１からの割込み要求の受付けを禁止し、指示情報判定部１０３または画像生成部１０６によって実行されている処理を中断する。
【０１０５】
ステップｂ４で、動作制御部１０２は、カメラ１０の撮像動作を停止し、ステップｂ５で、動作を終了する。
【０１０６】
上記のように、ＨＭＤ１００は、加速度検出部４０と、動作状態判定部１０１と、動作制御部１０２とを備え、ＨＭＤ１００の加速度に基づいて判定された、ＨＭＤ１００の装着者の動作状態に基づいて、カメラ１０を起動および動作停止することができる。すなわち、装着者の動作状態に応じて、カメラ１０が起動および動作停止されるので、効率的に商品情報を提供することによって、ＨＭＤ１００における電力の消費を効率的に抑制することができる。
【０１０７】
またＨＭＤ１００は、指示情報判定部１０３と、撮像画像格納部１０４とを備え、商品情報を表示すべき商品を特定するための所定の指示情報が含まれていると判定されたときの撮像画像に基づいて、その撮像画像に含まれる商品に関する商品情報を取得するように構成されている。したがって、撮像画像の中に複数の商品が含まれている場合であっても、所定の指示情報に従って特定された商品の商品情報だけを表示することができる。これにより、ＨＭＤ１００の装着者が知りたい商品情報だけを容易に提供することができる。
【０１０８】
図１５Ａおよび図１５Ｂは、本発明の他の実施形態に係るＨＭＤ１００の動作を説明するためのフローチャートである。図１５Ａに示すフローチャートは、図６Ａに示すフローチャートに類似し、詳細には、図６Ａにおけるステップｓ１６〜ステップｓ２０に代えて、ステップｓ３５を採用していることを除き、残余の工程については同一である。また、図１５Ｂに示すフローチャートは、図６Ｂに示すフローチャートと同一である。したがって、同一の工程については重複する説明を省略する。
【０１０９】
本実施形態では、ステップｓ１１において、判定継続期間の計測開始時点からの経過時間が、予め設定された判定継続期間を超えたと判定されると、ステップｓ３５に進む。ステップｓ３５で、商品情報取得部１０５は、第２格納領域に格納されている画像データを、無線送受信部５０に対しサーバ装置１１０へ送信させる。
【０１１０】
すなわち、本実施形態では、手指が含まれている撮像画像が取得されなかった場合であっても、手指が含まれていない撮像画像の画像データのみがサーバ装置１１０へ送信される。このように、手指が含まれていない撮像画像に基づいて商品を特定する処理を実行するように構成されてもよい。
【０１１１】
以上に記載の実施形態は、光学シースルー方式を採用した表示部２１を備えるＨＭＤ１００を用いた場合について説明したが、これに限らず、手で携帯するように構成されたハンディターミナルによって、商品情報提供端末装置が実現されてもよい。ハンディターミナルの場合には、表示部は光学シースルー方式であってもビデオシースルー方式であってもよい。なお、ビデオシースルー方式を採用した場合には拡張現実画像として、商品を含む撮像画像に商品情報を重畳描画した合成画像が生成される。
【符号の説明】
【０１１２】
１０ カメラ
２０ 表示装置
２１ 表示部
３０ 制御装置
４０ 加速度検出部
５０ 無線送受信部
６０ 電源部
６１ 電池
７１ 商品情報データベース
７２ 画像認識データベース
８０ 制御装置
９０ 無線送受信部
１００ 頭部装着型表示装置
１０１ 動作状態判定部
１０２ 動作制御部
１０３ 指示情報判定部
１０４ 撮像画像格納部
１０５ 商品情報取得部
１０６ 画像生成部
１１０ サーバ装置
１１１ 商品情報抽出部
１１２ 送受信部制御部
【技術分野】
【０００１】
本発明は、店舗に陳列されている商品についての商品情報を、来店者に対して拡張現実感技術を利用してリアルタイムに提供するための商品情報提供端末装置および商品情報提供システムに関する。
【背景技術】
【０００２】
近年、複合現実感（Mixed Reality）技術の研究が盛んであり、特に、コンピュータによって作成されるＣＧ（Computer Graphics）などの仮想物体の画像を、あたかも現実空間にその仮想物体があるかのように表示部に表示する、いわゆる拡張現実感（ＡＲ：
Augmented Reality）技術が注目されている。
【０００３】
このＡＲ技術を実現する表示部としては、光学シースルー方式とビデオシースルー方式とが知られている。光学シースルー方式とは、観察者が現実空間を直接視認する方向に、可視光を透過可能な表示部、たとえばハーフミラーによって構成された表示部を配置し、その表示部に映る現実空間の実像に、仮想物体の画像を表示部に反射させて重畳する方式であり、この方式では観察者の網膜上で現実空間の光景と仮想物体とが融合することになる。また、ビデオシースルー方式とは、ビデオカメラなどの撮像手段によって撮像された撮像画像に仮想物体の画像を重畳描画した合成画像を、表示部に表示する方式である。
【０００４】
このようなＡＲ技術は、様々な分野への応用が期待されている。その１つとして、スーパーマーケットなどのように様々な商品が陳列されている店舗において、光学シースルー方式またはビデオシースルー方式を採用した表示部を備える携帯型の端末装置を来店者に貸与し、光学シースルー方式の場合は表示部に映る商品の実像に、ビデオシースルー方式の場合は撮像手段によって撮像された商品を含む撮像画像に、その商品の特徴、売行きおよび購入者による評価などその商品について来店者が知りたい情報（以下、「商品情報」という）を重畳して表示するための拡張現実画像を、端末装置の表示部に表示することによって、来店者に対して商品情報をリアルタイムに提供するサービスへの応用が考えられている。
【０００５】
たとえば特許文献１には、消費者が移動通信端末機用リーダによって、商品に付されたＥ．Ｓ（Environment protection and Safety）コードと称するバーコードを読取ることにより、その商品の生産環境に関わる評価を示す情報をサーバから取得し、その端末機の画面に表示する技術が開示されている。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００２−６３３８９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
前記のようなサービスを実現するための携帯型の端末装置は、少なくとも、現実空間を撮像するための撮像手段と、現実空間に商品情報を重畳して表示するための拡張現実画像、すなわち光学シースルー方式の場合は表示部に映る商品の実像に商品情報を重畳して表示するための商品情報画像、ビデオシースルー方式の場合は撮像手段によって撮像された商品を含む撮像画像に商品情報を重畳描画した合成画像を生成する画像生成部と、画像生成部によって生成された拡張現実画像を表示可能な表示部と、端末装置に電力を供給する電源部とを含んで構成される。
【０００８】
このような携帯型の端末装置を用いることによって、撮像手段を動作させて商品を撮像し、撮像手段によって撮像された商品を含む撮像画像に基づいて、商品情報が適切な位置にかつ適切な寸法で、表示部に映る商品の実像または撮像手段によって撮像された撮像画像に重畳して表示されるように、拡張現実画像を生成し、生成された拡張現実画像を表示部に表示させ、来店者に対して商品情報をリアルタイムに提供することができる。
【０００９】
ところで、撮像手段などＡＲを実現するための各手段を動作させるためには大きな電力を要し、短時間であっても多くの電力が消費されてしまう。携帯型の端末装置では、電源部が電池によって実現されているので、ＡＲを実現するための各手段を来店者が買い物を始めてから終えるまでの間ずっと動作させておくと、買い物途中で電池の容量が低下して、必要な電力を確保することができなくなり、商品情報を提供することができなくなってしまうという問題がある。
【００１０】
また、前記のようなサービスを実現するためには、適切な商品情報を重畳して表示するために、表示部に映る商品または撮像手段によって撮像されている商品が何であるかを認識する必要がある。商品の認識方法としては、マーカ方式およびマーカレス方式のいずれかの方式を採用することが考えられる。マーカ方式は、各商品に表示されている商品固有のマーカを読取ることによって、その商品を認識する方式である。また、マーカレス方式は、商品の外観の一部または全体を撮像した撮像画像に基づいて、商品を画像認識する方式である。
【００１１】
マーカ方式を採用する場合、商品固有のマーカとしては、商品ごとに予め付与されているバーコードを利用するのが、安価かつ実現容易である。しかしながら、バーコードは商品の背面や側面など通常の陳列状態では容易に確認できない位置に表示されている場合が殆どであり、この場合、バーコードをマーカとして読み取るためには、客側の方で、商品を手に取ってバーコード表示を探し出さなければならず、客にとって手間となる作業が必要になってしまう。一方のマーカレス方式は、商品の前面の一部または全体を含む撮像画像に基づいて、すなわち通常の陳列状態の商品を撮像手段によって撮像したときの撮像画像に基づいてその商品を認識することができるので、前記のような手間となる作業を省略することができる。
【００１２】
しかしながら、前述するマーカレス方式では、画像認識された商品に対して商品情報が重畳されるので、撮像手段によって撮像された撮像画像の中に複数の商品が含まれていると、画像認識された複数の商品について、各商品の商品情報を格納する商品情報データベースから商品情報が取得されてしまう。この場合、取得した全ての商品情報を重畳して表示すると、商品情報が煩雑に表示されてしまうため、来店者は、知りたい商品情報だけを容易に得ることができなくなってしまうという問題がある。
【００１３】
本発明の目的は、電力の消費を効率的に抑制して、ＡＲ技術を利用して店舗に陳列されている商品についての商品情報をリアルタイムに提供することができる商品情報提供端末装置を提供することである。
【００１４】
また本発明の他の目的は、来店者が知りたい商品情報だけを容易に提供することができる商品情報提供端末装置および商品情報提供システムを提供することである。
【課題を解決するための手段】
【００１５】
本発明は、電源部を備え、該電源部からの電力によって動作し、使用者によって携帯される商品情報提供端末装置であって、
現実空間を撮像するための撮像手段と、
前記撮像手段によって撮像された撮像画像に含まれる商品に関する商品情報を取得する商品情報取得部と、
前記撮像手段によって撮像された撮像画像に含まれる商品の位置に基づいて、前記商品情報取得部によって取得された前記商品情報を現実空間に重畳して表示するための拡張現実画像を生成する画像生成部と、
前記画像生成部によって生成された拡張現実画像を表示可能な表示部と、
加速度を検出する加速度検出手段と、
前記加速度検出手段により検出される加速度情報に基づいて、使用者の動作状態を判定する動作状態判定部と、
前記動作状態判定部によって判定された動作状態に基づいて、前記撮像手段を起動および動作停止する動作制御部とを備えることを特徴とする商品情報提供端末装置である。
【００１６】
また本発明は、前記動作状態判定部は、前記加速度検出手段により検出される加速度情報に基づいて、使用者が移動している移動状態であるか移動していない非移動状態であるかを判定し、
前記動作制御部は、前記撮像手段の非稼動状態において、非移動状態であると判定された場合に前記撮像手段を起動し、前記撮像手段の稼動状態において、移動状態であると判定された場合に前記撮像手段を動作停止することを特徴とする。
【００１７】
また本発明は、使用者の頭部に装着するための頭部装着部を備え、
前記加速度検出手段は、前記頭部装着部によって保持され、
前記動作状態判定部は、加速度検出手段により検出される加速度情報に基づいて、使用者が移動している移動状態であるか移動していない非移動状態であるかを判定するとともに、使用者が頭部の位置を動かしているか否かを判定し、
前記動作制御部は、前記撮像手段の非稼動状態において、非移動状態であると判定され、かつ頭部の位置を動かしていないと判定された場合に前記撮像手段を起動し、前記撮像手段の稼動状態において、移動状態であると判定された場合、または頭部の位置を動かしていると判定された場合に前記撮像手段を動作停止することを特徴とする。
【００１８】
また本発明は、前記撮像手段によって撮像された撮像画像に、商品情報を表示すべき商品を特定するための所定の指示情報が含まれているか否かを判定する指示情報判定部と、
前記指示情報判定部による判定対象の撮像画像が格納される撮像画像格納部とをさらに含み、
前記商品情報取得部は、前記指示情報判定部によって所定の指示情報が含まれていると判定されたときの撮像画像に基づいて、撮像画像に含まれる商品に関する商品情報を取得することを特徴とする。
【００１９】
また本発明は、前記所定の指示情報が、撮像画像に含まれる人間の手指であることを特徴とする。
【００２０】
また本発明は、前記撮像画像格納部は、所定の指示情報が含まれていると判定されたときの撮像画像が格納される第１格納領域と、所定の指示情報が含まれていないと判定されたときの撮像画像が格納される第２格納領域とを有し、
前記指示情報判定部は、所定の指示情報が含まれていないと判定した場合、当該判定対象の撮像画像よりも後に撮像された撮像画像について判定を実行し、
前記第２格納領域には、所定の指示情報が含まれていないと判定されたときの撮像画像が更新して格納され、
前記商品情報取得部は、第１格納領域に格納される撮像画像と第２格納領域に格納される撮像画像とに基づいて、撮像画像に含まれる商品に関する商品情報を取得することを特徴とする。
【００２１】
また本発明は、前記動作制御部は、所定の期間内または所定の判定回数内で所定の指示情報が含まれているとの判定がされない場合、撮像手段を動作停止することを特徴とする。
【００２２】
また本発明は、前記商品情報取得部は、所定の期間内または所定の判定回数内で所定の指標が含まれているとの判定がされない場合、第２格納領域に格納される撮像画像に基づいて、撮像画像に含まれる商品に関する商品情報を取得することを特徴とする。
【００２３】
また本発明は、前記画像生成部は、前記撮像手段によって撮像された撮像画像に対し、商品情報を表示すべき商品を追尾する機能を有することを特徴とする。
【００２４】
また本発明は、前記表示部は、可視光を透過可能に構成され、
前記画像生成部は、前記表示部に映る商品の実像に、該商品の実像の位置および寸法に応じた位置および寸法で、該商品の商品情報を重畳して表示するための拡張現実画像を生成することを特徴とする。
【００２５】
また本発明は、前記画像生成部は、前記撮像手段によって撮像された撮像画像に、該撮像画像に含まれる商品の位置および寸法に応じた位置および寸法で、該商品の商品情報を重畳描画して拡張現実画像を生成することを特徴とする。
【００２６】
また本発明は、電源部を備え、該電源部からの電力によって動作し、使用者によって携帯される商品情報提供端末装置とサーバ装置とを含む商品情報提供システムであって、
商品情報提供端末装置は、
現実空間を撮像するための撮像手段と、
前記撮像手段によって撮像された撮像画像に含まれる商品に関する商品情報を取得する商品情報取得部と、
前記撮像手段によって撮像された撮像画像に含まれる商品の位置に基づいて、前記商品情報取得部によって取得された前記商品情報を現実空間に重畳して表示するための拡張現実画像を生成する画像生成部と、
前記画像生成部によって生成された拡張現実画像を表示可能な表示部と、
加速度を検出する加速度検出手段と、
前記加速度検出手段により検出される加速度情報に基づいて、使用者の動作状態を判定する動作状態判定部と、
前記動作状態判定部によって判定された動作状態に基づいて、前記撮像手段を起動および動作停止する動作制御部と、
前記撮像手段によって撮像された撮像画像に、商品情報を表示すべき商品を特定するための所定の指示情報が含まれているか否かを判定する指示情報判定部と、
前記指示情報判定部による判定対象の撮像画像が格納される撮像画像格納部と、
サーバ装置との間で情報を無線通信する端末側無線送受信部とを含み、
サーバ装置は、
商品情報提供端末装置との間で情報を無線通信するサーバ側無線送受信部と、
商品情報を商品ごとに格納する商品情報データベースと、
所定の指示情報に基づいて商品情報を表示すべき商品を特定し、該特定した商品に関する商品情報を商品情報データベースから抽出する商品情報抽出部とを含むことを特徴とする商品情報提供システムである。
【発明の効果】
【００２７】
本発明によれば、商品情報提供端末装置は、撮像手段と、加速度検出手段と、動作状態判定部と、動作制御部とを備え、商品情報提供端末装置の加速度に基づいて判定された、商品情報提供端末装置を携帯する来店者の動作状態に基づいて、撮像手段を起動および動作停止することができる。
【００２８】
たとえば来店者が店舗内を移動しているとき、通常、その来店者は複数の商品に目を移しながら物色している状態にあり、特定の商品について商品情報を知りたいと思っている可能性は低い。これに対し、店舗内で足を止めたときには、特定の商品について他の商品に比べて強い関心があり、その特定の商品に関する商品情報を知りたいと思っている可能性が高い。このように、来店者の動作状態に応じて、撮像手段を起動および動作停止して、効率的に商品情報を提供することにより、商品情報提供端末装置における電力の消費を効率的に抑制することができる。
【００２９】
また本発明によれば、商品情報提供端末装置は、指示情報判定部と、撮像画像格納部と、商品情報取得部とを備え、商品情報を表示すべき商品を特定するための所定の指示情報が含まれていると判定されたときの撮像画像に基づいて、その撮像画像に含まれる商品に関する商品情報を取得するように構成されている。したがって、撮像画像の中に複数の商品が含まれている場合であっても、所定の指示情報に従って特定された商品の商品情報だけを表示することができる。これにより、来店者が知りたい商品情報だけを容易に提供することができる。
【００３０】
本発明によれば、商品情報提供システムは、商品情報提供端末装置とサーバ装置とを含んで構成され、商品情報提供端末装置は、撮像手段と、加速度検出手段と、動作状態判定部と、動作制御部とを備え、商品情報提供端末装置の加速度に基づいて判定された、商品情報提供端末装置を携帯する来店者の動作状態に基づいて、撮像手段を起動および動作停止することができる。したがって、来店者の動作状態に応じて、撮像手段を起動および動作停止して、効率的に商品情報を提供することにより、商品情報提供端末装置における電力の消費を効率的に抑制することができる。
【００３１】
また商品情報提供端末装置は、指示情報判定部と、撮像画像格納部と、商品情報取得部と、端末側無線送受信部とを備え、サーバ装置は、サーバ側無線送受信部と、商品情報データベースと、商品情報抽出部とを備えている。これにより、商品情報を表示すべき商品を特定するための所定の指示情報が含まれていると判定されたときの撮像画像を商品情報提供端末装置からサーバ装置へ送信し、サーバ装置側で、所定の指示情報に基づいて商品情報を表示すべき商品を特定し、特定した商品に関する商品情報を商品情報データベースから抽出し、抽出した商品情報をサーバ装置から商品情報提供端末装置へ送信し、受信した商品情報に基づいて生成された拡張現実画像が表示部に表示される。したがって、撮像画像の中に複数の商品が含まれている場合であっても、所定の指示情報に従って特定された商品の商品情報だけを表示することができる。これにより、来店者が知りたい商品情報だけを容易に提供することができる。
【図面の簡単な説明】
【００３２】
【図１】本発明の一実施形態に係るＨＭＤ１００を模式的に示す斜視図である。
【図２】本発明の一実施形態に係るＨＭＤ１００の構成を示すブロック図である。
【図３】制御装置３０の機能的な構成を示すブロック図である。
【図４】本発明の一実施形態に係るＨＭＤ１００と協働して用いられるサーバ装置１１０の構成を示すブロック図である。
【図５】制御装置８０の機能的な構成を示すブロック図である。
【図６Ａ】本発明の一実施形態に係るＨＭＤ１００の動作を説明するためのフローチャートである。
【図６Ｂ】本発明の一実施形態に係るＨＭＤ１００の動作を説明するためのフローチャートである。
【図７】ＨＭＤ１００の装着者が商品Ａ〜Ｆが陳列された商品棚Ｓの前で静止した状態を示す図である。
【図８】カメラ１０によって撮像された撮像画像の一例を示す図である。
【図９】人間の手指が含まれている撮像画像の一例を示す図である。
【図１０】サーバ装置１１０へ送信される撮像画像の一例を示す図である。
【図１１】商品情報画像Ｑ１が表示された表示部２１を示す図である。
【図１２】表示部２１に映る商品の実像の移動に伴う商品情報画像Ｑ１の変化の一例を示す図である。
【図１３】サーバ装置１１０の動作を説明するためのフローチャートである。
【図１４】割込み要求が発生した場合の動作を説明するためのフローチャートである。
【図１５Ａ】本発明の他の実施形態に係るＨＭＤ１００の動作を説明するためのフローチャートである。
【図１５Ｂ】本発明の他の実施形態に係るＨＭＤ１００の動作を説明するためのフローチャートである。
【発明を実施するための形態】
【００３３】
以下、図面を参照して、本発明をその好適な実施形態に従って詳細に説明する。
図１は、本発明の一実施形態に係る商品情報提供端末装置である頭部装着型表示装置（ＨＭＤ：Head Mounted Display）１００を模式的に示す斜視図である。図２は、本発明の一実施形態に係るＨＭＤ１００の構成を示すブロック図である。
【００３４】
ＨＭＤ１００は、様々な商品が陳列されている店舗において用いられ、拡張現実感技術を利用して、現実空間における商品とＣＧなどで描画された商品情報とを融合表示することにより、来店者に対して商品情報をリアルタイムに提供するように構成された装置である。本実施形態では、ＨＭＤ１００は、後述するサーバ装置１１０と協働して、商品情報を提供するように構成されている。
【００３５】
本実施形態に係るＨＭＤ１００は、来店者の頭部に装着した状態で使用されるように構成されている。ＨＭＤ１００は、人間の頭部に着脱自在に装着可能な形状に形成されていればよい。これにより、来店者は商品情報提供端末装置を手で保持する必要がないので、今までどおり両手を使って買い物をすることができる。本実施形態に係るＨＭＤ１００は、図１に模式的に示すように、来店者の耳に掛けるための頭部装着部であるつる部５１を備え、眼鏡型の形状に形成されている。
【００３６】
ＨＭＤ１００は、カメラ１０と、表示装置２０と、制御装置３０と、加速度検出部４０と、無線送受信部５０と、電源部６０とを備えている。
【００３７】
カメラ１０は、たとえばＣＣＤ（Charge Coupled Device）センサまたはＣＭＯＳ（
Complementary Metal Oxide Semiconductor）センサを撮像素子に用い、画像一枚あたりの撮像周期がたとえば１／３０秒（すなわち、フレームレートが３０ｆｐｓ）で被写体を撮像可能なビデオカメラである。カメラ１０は、その撮像方向がＨＭＤ１００の装着者の視線方向に略一致するように、表示部２１に近接した位置に取り付けられ、現実空間を撮像して、撮像画像の画像データを処理部３１へ出力する。本実施形態では、カメラ１０は、オートフォーカス機能を有している。
【００３８】
表示装置２０は、現実空間における商品に仮想空間における商品情報を重畳して表示するための拡張現実画像を表示可能な、右目用および左目用の一対の表示部２１を備えている。一対の表示部２１は、ＨＭＤ１００の装着者の眼前に配置されるようにそれぞれ取り付けられている。
【００３９】
本実施形態では、表示部２１は、光学シースルー方式を採用している。すなわち、表示部２１は、可視光を透過可能に構成されており、ＨＭＤ１００の装着者は、眼前に配置された表示部２１を透過した現実空間の光景を直接見ることができるとともに、表示部２１に表示された拡張現実画像も見ることができる。この場合の拡張現実画像は、ＣＧなどで描画された商品情報を示す商品情報画像である。
【００４０】
したがって、ＨＭＤ１００の装着者は、表示部２１を透過して見える現実空間の光景、すなわち表示部２１に映る現実空間の実像と、商品情報画像とを融合して見ることができる。このような表示部２１は、たとえばハーフミラーによって実現されてもよい。また表示装置２０は、図示しないが、後述する画像生成部１０６によって生成された商品情報画像を表示部２１に投影するための投影装置を備えている。
【００４１】
制御装置３０は、処理部３１と、ＲＯＭ（Read Only Memory）３２と、ＲＡＭ（Random Access Memory）３３とを備えて構成される。処理部３１は、ＣＰＵ（Central
Processing Unit）を含み、ＲＯＭ３２に格納されたプログラムを実行し、ＨＭＤ１００の各部を制御するとともに、データ処理を行う。ＲＯＭ３２は、処理部３１が実行するプログラムおよびデータが格納される。ＲＡＭ３３は、プログラムの実行処理領域として利用されるほか、画像データなどの一時記憶領域、各種作業領域として利用される。
【００４２】
加速度検出部４０は、ＨＭＤ１００に作用している加速度を検出するように構成されている。本実施形態では、加速度検出部４０には、互いに直交する３方向（Ｘ軸方向、Ｙ軸方向およびＺ軸方向）の加速度を検出可能な３軸加速度センサが用いられている。加速度検出部４０は、３軸加速度センサによって検出された３方向の加速度の変化を示す信号を処理部３１に出力する。
【００４３】
無線送受信部５０は、ＺｉｇＢｅｅおよびＩＥＥＥ８０２．１５．４などの無線通信方式を用いた無線通信モジュールを備え、後述するサーバ装置１１０との間で情報を無線通信するように構成されている。
【００４４】
電源部６０は、ＨＭＤ１００を動作させるための電力の供給源である電池６１と、カメラ１０、表示装置２０、制御装置３０、加速度検出部４０および無線送受信部５０に必要な電力を供給するための電源回路部６２とからなる。
【００４５】
加速度検出部４０、ならびに後述する動作状態判定部１０１および動作制御部１０２は、電源部６０からの電力供給によって常時動作して加速度を検出するとともに、所定の演算処理を実行するように構成されている。すなわち、加速度検出部４０は、動作状態判定部１０１に対して加速度の変化を示す信号を常時出力している。
【００４６】
制御装置３０、加速度検出部４０および無線送受信部５０は、頭部装着部であるつる部５１に取り付けられた装置本体部５２に内蔵されている。すなわち、加速度検出部４０は、つる部５１によって保持されており、ＨＭＤ１００の装着者の頭部の動きに応じた加速度の変化を示す信号を出力する。
【００４７】
図３は、制御装置３０の機能的な構成を示すブロック図である。制御装置３０は、動作状態判定部１０１と、動作制御部１０２と、指示情報判定部１０３と、撮像画像格納部１０４と、商品情報取得部１０５と、画像生成部１０６とを含んで構成される。
【００４８】
動作状態判定部１０１は、加速度検出部４０によって検出される３方向の加速度の変化を示す信号が連続的に入力され、その信号に基づいて、ＨＭＤ１００の装着者の動作状態を判定する。
【００４９】
具体的には、装着者の歩行に伴う上下方向への加速度の連続的な変化に基づいて、装着者が移動している移動状態であるか移動していない非移動状態であるかを判定する。さらに本実施形態では、加速度検出部４０がＨＭＤ１００に搭載されているので、上下方向に垂直な水平方向の加速度の変化に基づいて、ＨＭＤ１００の装着者が辺りを見回すなどの動作によって頭部の位置を動かしているか否かを判定する。
【００５０】
動作制御部１０２は、動作状態判定部１０１によって判定されたＨＭＤ１００の装着者の動作状態に基づいて、カメラ１０を起動および動作停止する。本実施形態では、動作制御部１０２は、カメラ１０だけでなく、表示装置２０を起動および動作停止するように構成されている。
【００５１】
指示情報判定部１０３は、動作制御部１０２によってカメラ１０が起動されると、カメラ１０によって撮像された撮像画像に、商品情報を表示すべき商品を特定するための所定の指示情報が含まれているか否かを判定する。そして、その判定結果に基づいて、判定対象となった撮像画像の画像データを、撮像画像格納部１０４における所定の格納領域へ格納する。本実施形態では、指示情報判定部１０３は、所定の指示情報として、撮像画像に人間の手指が含まれているか否かを判定する。
【００５２】
撮像画像格納部１０４は、指示情報判定部１０３によって、判定対象となった撮像画像の画像データが格納される。撮像画像格納部１０４は、所定の指示情報が含まれていると判定されたときの撮像画像の画像データが格納される第１格納領域と、所定の指示情報が含まれていないと判定されたときの撮像画像の画像データが格納される第２格納領域とを有している。第２格納領域には、所定の指示情報が含まれていないと判定されたときの撮像画像の画像データが、順次更新して格納される。
【００５３】
商品情報取得部１０５は、第１格納領域に画像データが格納されると、無線送受信部５０に対し、第１格納領域に格納される画像データと、第２格納領域に格納される画像データとをサーバ装置１１０へ送信する旨の指令を出力する。なお、第２格納領域に画像データが格納されていない場合には、第１格納領域に格納される画像データだけが、サーバ装置１１０へ送信される。商品情報取得部１０５は、無線送受信部５０がサーバ装置１１０から情報を受信すると、その情報を取得する。
【００５４】
画像生成部１０６は、商品情報取得部１０５によって取得された情報に基づいて、サーバ装置１１０へ送信した撮像画像における一部の領域を、商品情報を表示すべき商品として認識する。そして、商品情報を表示すべき商品として認識した領域の画像と、カメラ１０によって撮像された撮像画像とを照合（マッチング）し、撮像画像の中に商品情報を表示すべき商品の画像が含まれているか否かを判定する。商品の画像が含まれている場合には、その商品の画像の位置および寸法に応じた位置および寸法で、商品情報画像の画像データを生成する。画像生成部１０６によって生成された画像データは、表示装置２０へ出力され、表示部２１に表示される。
【００５５】
また画像生成部１０６は、カメラ１０によって撮像された撮像画像に対し、商品情報を表示すべき商品を追尾するトラッキング機能を有する。これにより、画像生成部１０６は、ＨＭＤ１００の装着者の頭部が微小に移動することにより、表示部２１に映る商品の実像が微小に移動した場合であっても、商品の実像の移動に追随させた商品情報画像を生成することができる。
【００５６】
図４は、本発明の一実施形態に係るＨＭＤ１００と協働して用いられるサーバ装置１１０の構成を示すブロック図である。サーバ装置１１０は、商品情報データベース７１と、画像認識データベース７２と、制御装置８０と、無線送受信部９０とを備えている。
【００５７】
商品情報データベース７１は、店舗内に陳列されている各商品について、商品情報、たとえば商品の商品ＩＤ、商品名、メーカー名、価格、原材料、競合商品、特徴、売行きおよび購入者による評価などの情報が格納されている。
【００５８】
画像認識データベース７２は、店舗内に陳列されている各商品の商品ＩＤと、各商品について予め撮像された参照画像の画像データとが関連付けられて格納されている。参照画像は、陳列状態における商品の前面を撮像した画像である。
【００５９】
制御装置８０は、処理部８１と、ＲＯＭ８２と、ＲＡＭ８３とを備えて構成される。処理部８１は、ＣＰＵを含み、ＲＯＭ８２に格納されたプログラムを実行し、サーバ装置１１０の各部を制御するとともに、データ処理を行う。ＲＯＭ８２は、処理部８１が実行するプログラムおよびデータが格納される。ＲＡＭ８３は、プログラムの実行処理領域として利用されるほか、画像データなどの一時記憶領域、各種作業領域として利用される。
【００６０】
無線送受信部９０は、ＺｉｇＢｅｅおよびＩＥＥＥ８０２．１５．４などの無線通信方式を用いた無線通信モジュールを備え、ＨＭＤ１００との間で情報を無線通信するように構成されている。
【００６１】
図５は、制御装置８０の機能的な構成を示すブロック図である。制御装置８０は、商品情報抽出部１１１と、送受信部制御部１１２とを含んで構成される。
【００６２】
商品情報抽出部１１１は、無線送受信部９０がＨＭＤ１００から撮像画像の画像データを受信すると、画像認識データベース７２に格納されている参照画像の画像データに基づいて、受信した撮像画像において、商品情報を表示すべき商品を特定する。そして、その特定した商品に関する商品情報を、商品情報データベース７１から抽出する。さらに、商品情報抽出部１１１は、ＨＭＤ１００から送信されてきた撮像画像における、その特定した商品の位置（座標）とサイズを算出する。
【００６３】
送受信部制御部１１２は、商品情報抽出部１１１によって、商品情報が抽出され、かつ撮像画像における商品の位置およびサイズが算出されると、無線送受信部９０に対し、抽出した商品情報、ならびに算出した商品の位置およびサイズ情報を、撮像画像を送信してきたＨＭＤ１００へ送信する旨の指令を出力する。
【００６４】
図６Ａおよび図６Ｂは、本発明の一実施形態に係るＨＭＤ１００の動作を説明するためのフローチャートである。ステップｓ０で、来店者がＨＭＤ１００を装着することにより、動作が開始される。
【００６５】
ステップｓ１で、動作状態判定部１０１は、加速度検出部４０から出力される信号に基づいて、装着者が移動状態であるか非移動状態であるかを判定する。移動状態であると判定されると、ステップｓ１へ進み、非移動状態であると判定されると、ステップｓ２へ進む。
【００６６】
ステップｓ２で、動作状態判定部１０１は、加速度検出部４０から出力される信号に基づいて、装着者が頭部の位置を動かしているか否かを判定する。頭部の位置を動かしていると判定されると、ステップｓ１へ進み、頭部の位置を動かしていないと判定されると、ステップｓ３へ進む。
【００６７】
ステップｓ３で、動作制御部１０２は、動作状態判定部１０１からの割込み要求の受付けを許可する。ステップｓ４で、動作制御部１０２は、カメラ１０を起動させる。図７は、ＨＭＤ１００の装着者が商品Ａ〜Ｆが陳列された商品棚Ｓの前で静止した状態を示す図である。図７に示すように、動作状態判定部１０１によってＨＭＤ１００の装着者が静止したと判定されると、動作制御部１０２によって、ＨＭＤ１００に搭載されるカメラ１０が起動され、撮像範囲Ｖの画像の取り込みが開始される。図８は、カメラ１０によって撮像された撮像画像の一例を示す図であり、図８（ａ）は、１つの商品Ａが含まれる撮像画像Ｐ１を示し、図８（ｂ）は、２つの商品Ａ，Ｂが含まれる撮像画像Ｐ２を示している。ステップｓ５で、カメラ１０によって撮像された撮像画像の画像データが、指示情報判定部１０３へ入力される。
【００６８】
ステップｓ６で、指示情報判定部１０３は、入力される画像データに基づいて、カメラ１０によって撮像された撮像画像に、人間の手指が含まれているか否かを判定する。図９は、人間の手指が含まれている撮像画像の一例を示す図であり、図９（ａ）は、装着者が自らの指ｆで商品情報が知りたい商品Ａを指し示している状態を撮像した撮像画像Ｐ３を示し、図９（ｂ）は、装着者が自らの手ｈで商品情報が知りたい商品Ｂを掴んでいる状態を撮像した撮像画像Ｐ４を示している。図９に示す撮像画像Ｐ３，Ｐ４のように、撮像画像に人間の手指ｆ，ｈが含まれていると判定されると、ステップｓ７に進み、図８に示す撮像画像Ｐ１，Ｐ２のように、手指ｆ，ｈが含まれていないと判定されると、ステップｓ９に進む。
【００６９】
ステップｓ７で、指示情報判定部１０３は、手指が含まれていると判定された撮像画像の画像データを、撮像画像格納部１０４の第１格納領域へ格納する。ステップｓ８で、商品情報取得部１０５は、第１格納領域に格納されている画像データを、無線送受信部５０に対しサーバ装置１１０へ送信させる。画像データが送信されると、ステップｓ２１へ進む。
【００７０】
ステップｓ９で、動作制御部１０２は、判定を継続するか否かの判定基準となる判定継続期間の計測を開始する。判定継続期間は、予め設定されてＲＡＭ３３に格納されている。ステップｓ１０で、指示情報判定部１０３は、手指が含まれていないと判定された撮像画像の画像データを、撮像画像格納部１０４の第２格納領域へ格納する。なお、第２格納領域に既に画像データが格納されている場合には、更新して格納する。
【００７１】
ステップｓ１１で、動作制御部１０２は、判定継続期間の計測開始時点からの経過時間が、設定されている判定継続期間を超えたか否かを判定する。設定されている判定継続期間を超えていないと判定されるとステップｓ１２に進み、カメラ１０によって撮像された撮像画像の画像データが、指示情報判定部１０３へ入力される。また設定されている判定継続期間を超えたと判定されると、ステップｓ１６に進む。
【００７２】
ステップｓ１２で、カメラ１０によって撮像された撮像画像の画像データが、指示情報判定部１０３へ入力される。ステップｓ１３で、指示情報判定部１０３は、入力される画像データに基づいて、カメラ１０によって撮像された撮像画像に、人間の手指が含まれているか否かを判定する。手指が含まれていると判定されると、ステップｓ１４に進み、手指が含まれていないと判定されると、ステップｓ１０に進む。
【００７３】
ステップｓ１４で、指示情報判定部１０３は、手指が含まれていると判定された撮像画像の画像データを、撮像画像格納部１０４の第１格納領域へ格納する。ステップｓ１５で、商品情報取得部１０５は、第１格納領域に格納されている画像データと第２格納領域に格納されている画像データとを、無線送受信部５０に対しサーバ装置１１０へ送信させる。図１０は、ステップｓ１５においてサーバ装置１１０へ送信される撮像画像の一例を示す図であり、図１０（ａ）は、装着者が自らの指ｆで商品Ａを指している状態を撮像した撮像画像Ｐ５であり、図１０（ｂ）は、指ｆで商品Ａを指す直前を撮像した撮像画像Ｐ６である。画像データが送信されると、ステップｓ２１へ進む。
【００７４】
ステップｓ１６で、動作制御部１０２は、判定継続期間内に手指を含む画像を撮像できなかったとして、判定継続期間の計測を停止する。ステップｓ１７で、動作制御部１０２は、カメラ１０の撮像動作を停止する。ステップｓ１８で、動作制御部１０２は、動作状態判定部１０１からの割込み要求の受付けを禁止する。
【００７５】
ステップｓ１９で、動作状態判定部１０１は、加速度検出部４０から出力される信号に基づいて、装着者が移動状態であるか非移動状態であるかを判定する。移動状態であると判定されると、ステップｓ１へ進み、非移動状態であると判定されると、ステップｓ２０へ進む。
【００７６】
ステップｓ２０で、動作状態判定部１０１は、加速度検出部４０から出力される信号に基づいて、装着者が頭部の位置を動かしているか否かを判定する。頭部の位置を動かしていると判定されると、ステップｓ１へ進み、頭部の位置を動かしていないと判定されると、ステップｓ１９へ進む。
【００７７】
このように、ステップｓ１７においてカメラ１０の動作を停止させた後は、ステップｓ１９およびステップｓ２０において、装着者が移動状態または頭部の位置をを動かしている状態に移行したことを確認してから、ステップｓ１へ進む。
【００７８】
ステップｓ２１で、商品情報取得部１０５は、無線送受信部５０がサーバ装置１１０からデータを受信したか否かを判定する。データを受信したと判定されると、そのデータを取得して、ステップｓ２２に進み、データが未受信であると判定されると、ステップｓ２１に進む。
【００７９】
ステップｓ２２で、画像生成部１０６は、商品情報取得部１０５によって取得されたデータに商品情報が含まれているか否かを判定する。商品情報が含まれていると判定されると、ステップｓ２３に進み、商品情報が含まれていないと判定されると、ステップｓ２７に進む。
【００８０】
ステップｓ２３で、画像生成部１０６は、商品情報取得部１０５によって取得された商品の位置およびサイズ情報と、ステップｓ８またはステップｓ１５でサーバ装置１１０へ送信した撮像画像の画像データとに基づいて、その撮像画像における一部の領域を、商品情報を表示すべき商品として認識し、商品情報取得部１０５によって取得された商品情報に基づいて、商品情報画像の画像データを生成する。併せて、動作制御部１０２は、表示装置２０を起動させる。
【００８１】
そして、画像生成部１０６は、生成した商品情報画像の画像データを表示装置２０へ出力する。表示装置２０へ出力された画像データによって、表示部２１へ商品情報画像が表示される。図１１は、商品情報画像Ｑ１が表示された表示部２１を示す図である。図１１に示すように、光学シースルー方式を採用した表示部２１には、商品情報ｑを表示すべき商品Ａの実像に重畳して、商品情報画像Ｑ１が表示されている。ＨＭＤ１００の装着者は、この商品情報画像Ｑ１を閲覧することによって、商品情報をリアルタイムに取得することができる。
【００８２】
ステップｓ２４で、カメラ１０によって撮像された撮像画像の画像データが、画像生成部１０６へ入力される。ステップｓ２５で、画像生成部１０６は、ステップｓ２３で商品情報を表示すべき商品として認識した一部の領域の画像と、カメラ１０から入力された撮像画像とを照合（マッチング）し、撮像画像の中に商品情報を表示すべき商品の画像が含まれているか否かを判定する。商品の画像が含まれていると判定されると、ステップｓ２６に進み、商品の画像が含まれていないと判定されると、ステップｓ２８に進む。
【００８３】
ステップｓ２６で、画像生成部１０６は、商品情報画像を表示部２１に継続して表示するために、商品情報を表示すべき商品を追尾し、追尾結果に基づいて、カメラ１０から入力された撮像画像に対して、新たな商品情報画像の画像データを生成する。そして、生成した商品情報画像の画像データを表示装置２０へ出力する。これにより、表示部２１には、表示部２１に映る商品の実像の移動に追随して、商品情報画像が表示される。
【００８４】
図１２は、表示部２１に映る商品の実像の移動に伴う商品情報画像Ｑ１の変化の一例を示す図であり、図１２（ａ）は、表示部２１に映る商品の実像が移動する前の状態を示し、図１２（ｂ）は、表示部２１に映る商品の実像が移動した後の状態を示している。図１２に示すように、表示部２１に映る商品の実像が表示部２１の上下方向に微小に移動した場合には、たとえば商品の実像の移動に対応して吹き出しＱ２の位置が変更された商品情報画像が生成されて、表示部２１に表示される。新たに生成された商品情報画像が表示部２１に表示されると、ステップｓ２４へ進む。
【００８５】
ステップｓ２７で、画像生成部１０６は、商品情報が発見されなかったことを示すための画像を生成する。併せて、動作制御部１０２は、表示装置２０を起動させる。そして、画像生成部１０６は、生成した画像の画像データを表示装置２０へ出力する。表示装置２０へ出力された画像データによって、表示部２１へ商品情報が発見されなかった旨が表示される。
【００８６】
ステップｓ２８で、画像生成部１０６は、装着者が表示部２１に表示された表示内容を確認するための時間を確保するために、予め設定された表示期間だけ、商品情報画像または商品情報が発見されなかった旨を示す画像を表示部２１に表示させる。ステップｓ２９で、表示期間が経過すると、動作制御部１０２は、表示装置２０の表示動作を停止する。ステップｓ３０で、動作制御部１０２は、カメラ１０の撮像動作を停止する。ステップｓ３１で、動作制御部１０２は、動作状態判定部１０１からの割込み要求の受付けを禁止し、ステップｓ１に進む。
【００８７】
本実施形態では、指示情報判定部１０３は、判定対象の撮像画像に指示情報が含まれていない場合、予め設定された判定継続期間が経過するまで、撮像画像についての判定を繰り返すように構成されている。他の実施形態では、予め設定された判定回数を超えるまで、撮像画像についての判定を繰り返すように構成されてもよい。
【００８８】
図１３は、サーバ装置１１０の動作を説明するためのフローチャートである。ステップａ０で、動作が開始される。ステップａ１で、送受信部制御部１１２は、無線送受信部９０がＨＭＤ１００から画像データを受信したか否かを判定する。画像データを受信したと判定されると、ステップａ２に進み、画像データが未受信であると判定されると、ステップａ１に進む。
【００８９】
ステップａ２で、商品情報抽出部１１１は、受信した画像データが、手指が含まれていると判定された撮像画像の画像データのみか否かを判定する。手指が含まれていると判定された撮像画像の画像データのみと判定されると、ステップａ３に進み、手指が含まれていると判定された撮像画像の画像データのみではないと判定されると、ステップａ４に進む。
【００９０】
ステップａ３で、商品情報抽出部１１１は、手指が含まれていると判定された撮像画像の画像データと画像認識データベース７２に格納されている参照画像の画像データとに基づいて画像認識し、撮像画像に含まれる商品を特定する。また商品情報抽出部１１１は、撮像画像において、その特定した商品の位置とサイズを算出する。
【００９１】
ステップａ４で、商品情報抽出部１１１は、手指が含まれていないと判定された撮像画像の画像データと画像認識データベース７２に格納されている参照画像の画像データとに基づいて画像認識し、撮像画像に含まれる商品を特定する。また商品情報抽出部１１１は、撮像画像において、その特定した商品の位置とサイズを算出する。
【００９２】
ステップａ５で、商品情報抽出部１１１は、撮像画像に含まれる商品について、商品情報データベース７１に該当する商品情報があるか否かを判定する。商品情報があると判定されると、ステップａ６に進み、商品情報がないと判定されると、ステップａ１１に進む。
【００９３】
ステップａ６で、商品情報抽出部１１１は、撮像画像に含まれる商品として特定された商品の数が複数であるか否かを判定する。複数でないと判定されると、ステップａ７に進み、複数であると判定されると、ステップａ８に進む。
【００９４】
ステップａ７で、送受信部制御部１１２は、商品情報抽出部１１１によって取得された商品情報、ならびに算出された商品の位置およびサイズ情報を、無線送受信部９０に対しＨＭＤ１００へ送信させる。各情報がＨＭＤ１００へ送信されると、ステップａ１へ進む。
【００９５】
ステップａ８で、商品情報抽出部１１１は、受信した画像データが、手指が含まれていないと判定された撮像画像の画像データのみか否かを判定する。手指が含まれていないと判定された撮像画像の画像データのみと判定されると、ステップａ９に進み、手指が含まれていないと判定された撮像画像の画像データのみではないと判定されると、ステップａ１０に進む。
【００９６】
ステップａ９で、商品情報抽出部１１１は、撮像画像に含まれる複数の商品のうち、カメラ１０から距離が最も近い商品、または、撮像画像の中心部に対して最も近い位置の商品を選択する。
【００９７】
カメラ１０から距離が最も近い商品を選択する方法としては、各商品情報から得られる実際の商品のサイズの比と、撮像画像において商品の占める割合から割り出された商品のサイズの比とに基づいて、選択してもよい。また別の方法としては、カメラ１０を最も近い被写体に対して焦点が合うように設定しておき、焦点が合っている方を選択するようにしてもよい。
【００９８】
ステップａ１０で、商品情報抽出部１１１は、撮像画像に含まれる複数の商品のうち、手指が重なっている商品を選択する。ステップａ９またはステップａ１０で商品が選択された場合、ステップａ７では、選択された商品についての商品情報、ならびに商品の位置およびサイズ情報がＨＭＤ１００へ送信される。
【００９９】
ステップａ１１で、送受信部制御部１１２は、商品情報データベース７１に該当する商品情報が発見されなかったことを示す情報を、無線送受信部９０に対しＨＭＤ１００へ送信させる。前記情報がＨＭＤ１００へ送信されると、ステップａ１へ進む。
【０１００】
図１４は、割込み要求が発生した場合の動作を説明するためのフローチャートである。割込み要求は、カメラ１０が動作している期間、すなわち動作制御部１０２によって割込み要求が許可されてから禁止されるまでの期間に発生する。
【０１０１】
ステップｂ０で、動作制御部１０２によって、動作状態判定部１０１からの割込み要求の受付けが許可されることにより、動作が開始される。
【０１０２】
ステップｂ１で、動作状態判定部１０１は、加速度検出部４０から出力される信号に基づいて、装着者が移動状態であるか非移動状態であるかを判定する。移動状態であると判定されると、ステップｂ３へ進み、非移動状態であると判定されると、ステップｂ２へ進む。
【０１０３】
ステップｂ２で、動作状態判定部１０１は、加速度検出部４０から出力される信号に基づいて、装着者が頭部の位置を動かしているか否かを判定する。頭部の位置を動かしていると判定されると、ステップｂ３へ進み、頭部の位置を動かしていないと判定されると、ステップｂ１へ進む。
【０１０４】
ステップｂ３で、動作状態判定部１０１は、動作制御部１０２に対して割込み要求を行う。ステップｂ４で、動作制御部１０２は、多重割込みを発生させないために、動作状態判定部１０１からの割込み要求の受付けを禁止し、指示情報判定部１０３または画像生成部１０６によって実行されている処理を中断する。
【０１０５】
ステップｂ４で、動作制御部１０２は、カメラ１０の撮像動作を停止し、ステップｂ５で、動作を終了する。
【０１０６】
上記のように、ＨＭＤ１００は、加速度検出部４０と、動作状態判定部１０１と、動作制御部１０２とを備え、ＨＭＤ１００の加速度に基づいて判定された、ＨＭＤ１００の装着者の動作状態に基づいて、カメラ１０を起動および動作停止することができる。すなわち、装着者の動作状態に応じて、カメラ１０が起動および動作停止されるので、効率的に商品情報を提供することによって、ＨＭＤ１００における電力の消費を効率的に抑制することができる。
【０１０７】
またＨＭＤ１００は、指示情報判定部１０３と、撮像画像格納部１０４とを備え、商品情報を表示すべき商品を特定するための所定の指示情報が含まれていると判定されたときの撮像画像に基づいて、その撮像画像に含まれる商品に関する商品情報を取得するように構成されている。したがって、撮像画像の中に複数の商品が含まれている場合であっても、所定の指示情報に従って特定された商品の商品情報だけを表示することができる。これにより、ＨＭＤ１００の装着者が知りたい商品情報だけを容易に提供することができる。
【０１０８】
図１５Ａおよび図１５Ｂは、本発明の他の実施形態に係るＨＭＤ１００の動作を説明するためのフローチャートである。図１５Ａに示すフローチャートは、図６Ａに示すフローチャートに類似し、詳細には、図６Ａにおけるステップｓ１６〜ステップｓ２０に代えて、ステップｓ３５を採用していることを除き、残余の工程については同一である。また、図１５Ｂに示すフローチャートは、図６Ｂに示すフローチャートと同一である。したがって、同一の工程については重複する説明を省略する。
【０１０９】
本実施形態では、ステップｓ１１において、判定継続期間の計測開始時点からの経過時間が、予め設定された判定継続期間を超えたと判定されると、ステップｓ３５に進む。ステップｓ３５で、商品情報取得部１０５は、第２格納領域に格納されている画像データを、無線送受信部５０に対しサーバ装置１１０へ送信させる。
【０１１０】
すなわち、本実施形態では、手指が含まれている撮像画像が取得されなかった場合であっても、手指が含まれていない撮像画像の画像データのみがサーバ装置１１０へ送信される。このように、手指が含まれていない撮像画像に基づいて商品を特定する処理を実行するように構成されてもよい。
【０１１１】
以上に記載の実施形態は、光学シースルー方式を採用した表示部２１を備えるＨＭＤ１００を用いた場合について説明したが、これに限らず、手で携帯するように構成されたハンディターミナルによって、商品情報提供端末装置が実現されてもよい。ハンディターミナルの場合には、表示部は光学シースルー方式であってもビデオシースルー方式であってもよい。なお、ビデオシースルー方式を採用した場合には拡張現実画像として、商品を含む撮像画像に商品情報を重畳描画した合成画像が生成される。
【符号の説明】
【０１１２】
１０ カメラ
２０ 表示装置
２１ 表示部
３０ 制御装置
４０ 加速度検出部
５０ 無線送受信部
６０ 電源部
６１ 電池
７１ 商品情報データベース
７２ 画像認識データベース
８０ 制御装置
９０ 無線送受信部
１００ 頭部装着型表示装置
１０１ 動作状態判定部
１０２ 動作制御部
１０３ 指示情報判定部
１０４ 撮像画像格納部
１０５ 商品情報取得部
１０６ 画像生成部
１１０ サーバ装置
１１１ 商品情報抽出部
１１２ 送受信部制御部
【特許請求の範囲】
【請求項１】
電源部を備え、該電源部からの電力によって動作し、使用者によって携帯される商品情報提供端末装置であって、
現実空間を撮像するための撮像手段と、
前記撮像手段によって撮像された撮像画像に含まれる商品に関する商品情報を取得する商品情報取得部と、
前記撮像手段によって撮像された撮像画像に含まれる商品の位置に基づいて、前記商品情報取得部によって取得された前記商品情報を現実空間に重畳して表示するための拡張現実画像を生成する画像生成部と、
前記画像生成部によって生成された拡張現実画像を表示可能な表示部と、
加速度を検出する加速度検出手段と、
前記加速度検出手段により検出される加速度情報に基づいて、使用者の動作状態を判定する動作状態判定部と、
前記動作状態判定部によって判定された動作状態に基づいて、前記撮像手段を起動および動作停止する動作制御部とを備えることを特徴とする商品情報提供端末装置。
【請求項２】
前記動作状態判定部は、前記加速度検出手段により検出される加速度情報に基づいて、使用者が移動している移動状態であるか移動していない非移動状態であるかを判定し、
前記動作制御部は、前記撮像手段の非稼動状態において、非移動状態であると判定された場合に前記撮像手段を起動し、前記撮像手段の稼動状態において、移動状態であると判定された場合に前記撮像手段を動作停止することを特徴とする請求項１に記載の商品情報提供端末装置。
【請求項３】
使用者の頭部に装着するための頭部装着部を備え、
前記加速度検出手段は、前記頭部装着部によって保持され、
前記動作状態判定部は、加速度検出手段により検出される加速度情報に基づいて、使用者が移動している移動状態であるか移動していない非移動状態であるかを判定するとともに、使用者が頭部の位置を動かしているか否かを判定し、
前記動作制御部は、前記撮像手段の非稼動状態において、非移動状態であると判定され、かつ頭部の位置を動かしていないと判定された場合に前記撮像手段を起動し、前記撮像手段の稼動状態において、移動状態であると判定された場合、または頭部の位置を動かしていると判定された場合に前記撮像手段を動作停止することを特徴とする請求項１に記載の商品情報提供端末装置。
【請求項４】
前記撮像手段によって撮像された撮像画像に、商品情報を表示すべき商品を特定するための所定の指示情報が含まれているか否かを判定する指示情報判定部と、
前記指示情報判定部による判定対象の撮像画像が格納される撮像画像格納部とをさらに含み、
前記商品情報取得部は、前記指示情報判定部によって所定の指示情報が含まれていると判定されたときの撮像画像に基づいて、撮像画像に含まれる商品に関する商品情報を取得することを特徴とする請求項１〜３のいずれか１つに記載の商品情報提供端末装置。
【請求項５】
前記所定の指示情報が、撮像画像に含まれる人間の手指であることを特徴とする請求項４に記載の商品情報提供端末装置。
【請求項６】
前記撮像画像格納部は、所定の指示情報が含まれていると判定されたときの撮像画像が格納される第１格納領域と、所定の指示情報が含まれていないと判定されたときの撮像画像が格納される第２格納領域とを有し、
前記指示情報判定部は、所定の指示情報が含まれていないと判定した場合、当該判定対象の撮像画像よりも後に撮像された撮像画像について判定を実行し、
前記第２格納領域には、所定の指示情報が含まれていないと判定されたときの撮像画像が更新して格納され、
前記商品情報取得部は、第１格納領域に格納される撮像画像と第２格納領域に格納される撮像画像とに基づいて、撮像画像に含まれる商品に関する商品情報を取得することを特徴とする請求項４または５に記載の商品情報提供端末装置。
【請求項７】
前記動作制御部は、所定の期間内または所定の判定回数内で所定の指示情報が含まれているとの判定がされない場合、撮像手段を動作停止することを特徴とする請求項６に記載の商品情報提供端末装置。
【請求項８】
前記商品情報取得部は、所定の期間内または所定の判定回数内で所定の指標が含まれているとの判定がされない場合、第２格納領域に格納される撮像画像に基づいて、撮像画像に含まれる商品に関する商品情報を取得することを特徴とする請求項６に記載の商品情報提供端末装置。
【請求項９】
前記画像生成部は、前記撮像手段によって撮像された撮像画像に対し、商品情報を表示すべき商品を追尾する機能を有することを特徴とする請求項１〜８のいずれか１つに記載の商品情報提供端末装置。
【請求項１０】
前記表示部は、可視光を透過可能に構成され、
前記画像生成部は、前記表示部に映る商品の実像に、該商品の実像の位置および寸法に応じた位置および寸法で、該商品の商品情報を重畳して表示するための拡張現実画像を生成することを特徴とする請求項１〜９のいずれか１つに記載の商品情報提供端末装置。
【請求項１１】
前記画像生成部は、前記撮像手段によって撮像された撮像画像に、該撮像画像に含まれる商品の位置および寸法に応じた位置および寸法で、該商品の商品情報を重畳描画して拡張現実画像を生成することを特徴とする請求項１〜９のいずれか１つに記載の商品情報提供端末装置。
【請求項１２】
電源部を備え、該電源部からの電力によって動作し、使用者によって携帯される商品情報提供端末装置とサーバ装置とを含む商品情報提供システムであって、
商品情報提供端末装置は、
現実空間を撮像するための撮像手段と、
前記撮像手段によって撮像された撮像画像に含まれる商品に関する商品情報を取得する商品情報取得部と、
前記撮像手段によって撮像された撮像画像に含まれる商品の位置に基づいて、前記商品情報取得部によって取得された前記商品情報を現実空間に重畳して表示するための拡張現実画像を生成する画像生成部と、
前記画像生成部によって生成された拡張現実画像を表示可能な表示部と、
加速度を検出する加速度検出手段と、
前記加速度検出手段により検出される加速度情報に基づいて、使用者の動作状態を判定する動作状態判定部と、
前記動作状態判定部によって判定された動作状態に基づいて、前記撮像手段を起動および動作停止する動作制御部と、
前記撮像手段によって撮像された撮像画像に、商品情報を表示すべき商品を特定するための所定の指示情報が含まれているか否かを判定する指示情報判定部と、
前記指示情報判定部による判定対象の撮像画像が格納される撮像画像格納部と、
サーバ装置との間で情報を無線通信する端末側無線送受信部とを含み、
サーバ装置は、
商品情報提供端末装置との間で情報を無線通信するサーバ側無線送受信部と、
商品情報を商品ごとに格納する商品情報データベースと、
所定の指示情報に基づいて商品情報を表示すべき商品を特定し、該特定した商品に関する商品情報を商品情報データベースから抽出する商品情報抽出部とを含むことを特徴とする商品情報提供システム。
【請求項１】
電源部を備え、該電源部からの電力によって動作し、使用者によって携帯される商品情報提供端末装置であって、
現実空間を撮像するための撮像手段と、
前記撮像手段によって撮像された撮像画像に含まれる商品に関する商品情報を取得する商品情報取得部と、
前記撮像手段によって撮像された撮像画像に含まれる商品の位置に基づいて、前記商品情報取得部によって取得された前記商品情報を現実空間に重畳して表示するための拡張現実画像を生成する画像生成部と、
前記画像生成部によって生成された拡張現実画像を表示可能な表示部と、
加速度を検出する加速度検出手段と、
前記加速度検出手段により検出される加速度情報に基づいて、使用者の動作状態を判定する動作状態判定部と、
前記動作状態判定部によって判定された動作状態に基づいて、前記撮像手段を起動および動作停止する動作制御部とを備えることを特徴とする商品情報提供端末装置。
【請求項２】
前記動作状態判定部は、前記加速度検出手段により検出される加速度情報に基づいて、使用者が移動している移動状態であるか移動していない非移動状態であるかを判定し、
前記動作制御部は、前記撮像手段の非稼動状態において、非移動状態であると判定された場合に前記撮像手段を起動し、前記撮像手段の稼動状態において、移動状態であると判定された場合に前記撮像手段を動作停止することを特徴とする請求項１に記載の商品情報提供端末装置。
【請求項３】
使用者の頭部に装着するための頭部装着部を備え、
前記加速度検出手段は、前記頭部装着部によって保持され、
前記動作状態判定部は、加速度検出手段により検出される加速度情報に基づいて、使用者が移動している移動状態であるか移動していない非移動状態であるかを判定するとともに、使用者が頭部の位置を動かしているか否かを判定し、
前記動作制御部は、前記撮像手段の非稼動状態において、非移動状態であると判定され、かつ頭部の位置を動かしていないと判定された場合に前記撮像手段を起動し、前記撮像手段の稼動状態において、移動状態であると判定された場合、または頭部の位置を動かしていると判定された場合に前記撮像手段を動作停止することを特徴とする請求項１に記載の商品情報提供端末装置。
【請求項４】
前記撮像手段によって撮像された撮像画像に、商品情報を表示すべき商品を特定するための所定の指示情報が含まれているか否かを判定する指示情報判定部と、
前記指示情報判定部による判定対象の撮像画像が格納される撮像画像格納部とをさらに含み、
前記商品情報取得部は、前記指示情報判定部によって所定の指示情報が含まれていると判定されたときの撮像画像に基づいて、撮像画像に含まれる商品に関する商品情報を取得することを特徴とする請求項１〜３のいずれか１つに記載の商品情報提供端末装置。
【請求項５】
前記所定の指示情報が、撮像画像に含まれる人間の手指であることを特徴とする請求項４に記載の商品情報提供端末装置。
【請求項６】
前記撮像画像格納部は、所定の指示情報が含まれていると判定されたときの撮像画像が格納される第１格納領域と、所定の指示情報が含まれていないと判定されたときの撮像画像が格納される第２格納領域とを有し、
前記指示情報判定部は、所定の指示情報が含まれていないと判定した場合、当該判定対象の撮像画像よりも後に撮像された撮像画像について判定を実行し、
前記第２格納領域には、所定の指示情報が含まれていないと判定されたときの撮像画像が更新して格納され、
前記商品情報取得部は、第１格納領域に格納される撮像画像と第２格納領域に格納される撮像画像とに基づいて、撮像画像に含まれる商品に関する商品情報を取得することを特徴とする請求項４または５に記載の商品情報提供端末装置。
【請求項７】
前記動作制御部は、所定の期間内または所定の判定回数内で所定の指示情報が含まれているとの判定がされない場合、撮像手段を動作停止することを特徴とする請求項６に記載の商品情報提供端末装置。
【請求項８】
前記商品情報取得部は、所定の期間内または所定の判定回数内で所定の指標が含まれているとの判定がされない場合、第２格納領域に格納される撮像画像に基づいて、撮像画像に含まれる商品に関する商品情報を取得することを特徴とする請求項６に記載の商品情報提供端末装置。
【請求項９】
前記画像生成部は、前記撮像手段によって撮像された撮像画像に対し、商品情報を表示すべき商品を追尾する機能を有することを特徴とする請求項１〜８のいずれか１つに記載の商品情報提供端末装置。
【請求項１０】
前記表示部は、可視光を透過可能に構成され、
前記画像生成部は、前記表示部に映る商品の実像に、該商品の実像の位置および寸法に応じた位置および寸法で、該商品の商品情報を重畳して表示するための拡張現実画像を生成することを特徴とする請求項１〜９のいずれか１つに記載の商品情報提供端末装置。
【請求項１１】
前記画像生成部は、前記撮像手段によって撮像された撮像画像に、該撮像画像に含まれる商品の位置および寸法に応じた位置および寸法で、該商品の商品情報を重畳描画して拡張現実画像を生成することを特徴とする請求項１〜９のいずれか１つに記載の商品情報提供端末装置。
【請求項１２】
電源部を備え、該電源部からの電力によって動作し、使用者によって携帯される商品情報提供端末装置とサーバ装置とを含む商品情報提供システムであって、
商品情報提供端末装置は、
現実空間を撮像するための撮像手段と、
前記撮像手段によって撮像された撮像画像に含まれる商品に関する商品情報を取得する商品情報取得部と、
前記撮像手段によって撮像された撮像画像に含まれる商品の位置に基づいて、前記商品情報取得部によって取得された前記商品情報を現実空間に重畳して表示するための拡張現実画像を生成する画像生成部と、
前記画像生成部によって生成された拡張現実画像を表示可能な表示部と、
加速度を検出する加速度検出手段と、
前記加速度検出手段により検出される加速度情報に基づいて、使用者の動作状態を判定する動作状態判定部と、
前記動作状態判定部によって判定された動作状態に基づいて、前記撮像手段を起動および動作停止する動作制御部と、
前記撮像手段によって撮像された撮像画像に、商品情報を表示すべき商品を特定するための所定の指示情報が含まれているか否かを判定する指示情報判定部と、
前記指示情報判定部による判定対象の撮像画像が格納される撮像画像格納部と、
サーバ装置との間で情報を無線通信する端末側無線送受信部とを含み、
サーバ装置は、
商品情報提供端末装置との間で情報を無線通信するサーバ側無線送受信部と、
商品情報を商品ごとに格納する商品情報データベースと、
所定の指示情報に基づいて商品情報を表示すべき商品を特定し、該特定した商品に関する商品情報を商品情報データベースから抽出する商品情報抽出部とを含むことを特徴とする商品情報提供システム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６Ａ】
【図６Ｂ】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５Ａ】
【図１５Ｂ】
【図２】
【図３】
【図４】
【図５】
【図６Ａ】
【図６Ｂ】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５Ａ】
【図１５Ｂ】
【公開番号】特開２０１１−２５３３２４（Ｐ２０１１−２５３３２４Ａ）
【公開日】平成２３年１２月１５日（２０１１．１２．１５）
【国際特許分類】
【出願番号】特願２０１０−１２６３３１（Ｐ２０１０−１２６３３１）
【出願日】平成２２年６月１日（２０１０．６．１）
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．ＺＩＧＢＥＥ
【出願人】（０００００５０４９）シャープ株式会社 (33,933)
【Ｆターム（参考）】
【公開日】平成２３年１２月１５日（２０１１．１２．１５）
【国際特許分類】
【出願日】平成２２年６月１日（２０１０．６．１）
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．ＺＩＧＢＥＥ
【出願人】（０００００５０４９）シャープ株式会社 (33,933)
【Ｆターム（参考）】
[ Back to top ]