ユーザ端末装置及びショッピングシステム
【課題】手操作を伴うことなく、購入対象や通過対象ゲートを特定できるとともに本人認証をより確実に行うことができるユーザ端末装置及びショッピングシステムを提供する。
【解決手段】眼鏡型のユーザ端末装置１は、利用者が見ている視界を撮像する視界同調カメラ９と、利用者の眼を撮像する利用者撮像手段（注視対象距離検出部１０及び視線検知部２４）とを備える。ユーザ端末装置１は、視界の画像情報と利用者の眼の画像情報とに基づいて注視対象を検出し、注視対象の画像情報に基づいて購入対象を特定し、利用者の眼の画像情報に基づいて本人か否かを確認する。
【解決手段】眼鏡型のユーザ端末装置１は、利用者が見ている視界を撮像する視界同調カメラ９と、利用者の眼を撮像する利用者撮像手段（注視対象距離検出部１０及び視線検知部２４）とを備える。ユーザ端末装置１は、視界の画像情報と利用者の眼の画像情報とに基づいて注視対象を検出し、注視対象の画像情報に基づいて購入対象を特定し、利用者の眼の画像情報に基づいて本人か否かを確認する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、本人認証が必要な商品購入やゲート通過等に使用可能なユーザ端末装置、及び、そのユーザ端末装置を用いたショッピングシステムに関するものである。
【背景技術】
【０００２】
従来、商品やサービスを購入しようとする利用者が、店頭等に設置されているレジに組み込まれている読み取り装置に、自分の携帯電話機を置いたりかざしたりすることにより、購入対象の商品やサービスを購入することができる携帯電話機が知られている。また、予めチケットを購入した利用者が、コンサート会場等のゲートに設置されている所定の読み取り装置上に置いたりかざしたりすることにより、当該コンサート会場への入場が許可される携帯電話機も知られている。
【発明の概要】
【発明が解決しようとする課題】
【０００３】
しかしながら、上記従来の携帯電話機では、携帯電話機を所定の読み取り装置上に置いたりかざしたりする操作が必要になる。また、本人認証が不十分であるため、携帯電話機を不正に取得した不正利用者でも使用できてしまう。利用時にパスワードの手入力操作を要求することも考えられが、パスワード入力という煩わしい手操作が必要になり、利便性に欠ける。
【０００４】
本発明は以上の問題点に鑑みなされたものであり、その目的は、手操作を伴うことなく、購入対象や通過対象ゲートを特定できるとともに本人認証をより確実に行うことができるユーザ端末装置及びショッピングシステムを提供することである。
【課題を解決するための手段】
【０００５】
本発明に係るユーザ端末装置は、眼鏡型のユーザ端末装置であって、利用者が見ている視界を撮像する視界撮像手段と、前記利用者の眼を撮像する利用者撮像手段と、前記視界撮像手段で撮像された前記視界の画像情報と、前記利用者撮像手段で撮像された前記利用者の眼の画像情報とに基づいて、前記利用者が注視している注視対象を検出する注視対象検出手段と、前記利用者が購入対象を注視したときに前記注視対象検出手段で検出された注視対象の画像情報又は該注視対象の特徴抽出情報に基づいて、前記購入対象を特定する購入対象特定手段と、前記利用者撮像手段で撮像された前記利用者の眼の画像情報に基づいて本人か否かを確認する本人認証手段とを備える。
このユーザ端末装置によれば、視界の中に見える購入対象を利用者が注視すると、その注視対象の画像情報又は注視対象の特徴抽出情報に基づいて、利用者が選択した購入対象が特定される。また、購入対象の確定や決済等の際には、利用者撮像手段で撮像された利用者固有の眼の画像情報に基づいて、その利用者が本人か否かが確認される。従って、手操作を伴うことなく、利用者が選択した購入対象を特定できるとともに本人認証をより確実に行うことができる。
【０００６】
なお、前記購入対象特定手段は、前記注視対象の画像情報又は該注視対象の特徴抽出情報を、前記購入対象特定用情報としてサーバに送信する購入対象特定用情報送信手段と、前記サーバが前記注視対象の画像情報又は該注視対象の特徴抽出情報に基づいて検索して特定した購入対象の情報を前記サーバから受信する購入対象情報受信手段とを用いて構成してもよい。
また、前記ユーザ端末装置において、前記購入対象の詳細情報を取得する詳細情報取得手段と、前記利用者が前記購入対象を見ている視界の中に、前記購入対象の詳細情報の画像を重ね合わせて表示する画像表示手段を、更に備えてもよい。
このユーザ端末装置によれば、詳細情報取得手段で取得された購入対象の詳細情報の画像を利用者が見ている視界の中に重ね合わせて表示することにより、利用者は、購入対象の購入を確定するにあたり、購入対象の詳細情報を参考にして決めることができる。
【０００７】
また、前記ユーザ端末装置において、前記利用者撮像手段で撮像された前記利用者の眼の画像情報に基づいて、前記購入対象の購入決定の有無又は購入決済指示の有無を判断する判断手段を、更に備えてもよい。
このユーザ端末装置によれば、利用者が眼の所定動作を行ったときに、利用者撮像手段で撮像された利用者の眼の画像情報に基づいて、購入対象の購入決定の有無又は購入決済指示の有無を判断することができる。利用者は、手操作を伴うことなく、購入対象の購入を決定したり購入決済を指示したりすることができる。
【０００８】
また、前記ユーザ端末装置において、前記判断手段は、前記本人認証手段において本人認証が成功した場合に前記購入対象の購入決定又は前記購入決済指示を確定してもよい。
【０００９】
また、本発明に係る他のユーザ端末装置は、眼鏡型のユーザ端末装置であって、利用者が見ている視界を撮像する視界撮像手段と、前記視界を見ているときの前記利用者の眼を撮像する利用者撮像手段と、前記視界撮像手段で撮像された前記視界の画像情報と、前記利用者撮像手段で撮像された前記利用者の眼の画像情報とに基づいて、前記視界において前記利用者が注視している注視対象を検出する注視対象検出手段と、前記利用者が通過対象ゲートの所定箇所を注視したときに前記注視対象検出手段で検出された注視対象の画像情報又は該注視対象の特徴抽出情報に基づいて、前記通過対象ゲートを特定する通過対象ゲート特定手段と、前記利用者撮像手段で撮像された前記利用者の眼の画像情報に基づいて本人か否かを確認する本人認証手段とを備える。
このユーザ端末装置によれば、視界の中に見える通過対象ゲートの所定箇所を利用者が注視すると、その注視対象の画像情報又は注視対象の特徴抽出情報に基づいて、利用者が選択した通過対象ゲートが特定される。また、通過対象ゲートの開閉等の際には、利用者撮像手段で撮像された利用者固有の眼の画像情報に基づいて、その利用者が本人か否かが確認される。従って、手操作を伴うことなく、利用者が通過しようとしている通過対象ゲートを特定できるとともに本人認証をより確実に行うことができる。
【００１０】
なお、前記通過対象ゲート特定手段は、前記注視対象の画像情報又は該注視対象の特徴抽出情報を、前記通過対象ゲート特定用情報としてサーバに送信する通過対象ゲート特定用情報送信手段と、前記サーバが前記注視対象の画像情報又は該注視対象の特徴抽出情報に基づいて検索して特定した通過対象ゲートの情報を前記サーバから受信する通過対象ゲート情報受信手段とを用いて構成してもよい。
【００１１】
また、前記ユーザ端末装置において、前記通過対象ゲートの詳細情報を取得する詳細情報取得手段と、前記利用者が前記通過対象ゲートの所定箇所を見ている視界の中に、前記通過対象ゲートの詳細情報及び前記本人認証手段による本人認証の結果の少なくとも一方を含む画像を重ね合わせて表示する画像表示手段を、更に備えてもよい。
このユーザ端末装置によれば、詳細情報取得手段で取得された通過対象ゲートの詳細情報及び本人認証の結果の少なくとも一方を含む画像を利用者が見ている視界の中に重ね合わせて表示することにより、利用者に、通過しようとしている通過対象ゲートの詳細情報や本人認証の結果を知らせることができる。
【００１２】
本発明に係るショッピングシステムは、前記ユーザ端末装置と、店舗内商品管理サーバと、を備えたショッピングシステムであって、ショッピングカート又は買い物かごに収容された購入対象の商品の質量を測定する質量測定手段と、前記質量測定手段で測定した前記購入対象の商品の質量の測定結果を、前記店舗内商品管理サーバに送信する質量測定結果送信手段とを、更に備え、前記店舗内商品管理サーバは、前記ユーザ端末装置から前記購入対象の商品の情報を取得する商品情報取得手段と、前記商品情報取得手段で取得した前記購入対象の商品の情報に基づいて、その商品の質量を算出する質量算出手段と、前記購入対象の商品の質量の測定結果を受信する質量測定結果受信手段と、前記質量算出手段で算出した前記購入対象の商品の質量の算出結果と、前記質量測定結果受信手段で受信した前記購入対象の商品の質量の測定結果とを比較する比較手段と、を備える。
このショッピングシステムによれば、ユーザ端末装置から取得した購入対象の商品の情報に基づいて算出した商品の質量と、ショッピングカート又は買い物かごに収容されている商品の質量を測定した測定結果とを比較する。その比較結果に基づいて、両者の質量が一致していれば、利用者がユーザ端末装置によって購入対象とした商品と同じ商品がショッピングカートに収容されていると確認できる。一方、両者の質量が一致していなければ、利用者がユーザ端末装置によって購入対象とした商品と同じ商品がショッピングカート等に収容されていない可能性があるので再確認を促したり、不正が行われたと判定したりすることができる。
【００１３】
また、本発明に係る他のショッピングシステムは、前記ユーザ端末装置と、店舗内商品管理サーバと、を備えたショッピングシステムであって、前記店舗内商品管理サーバは、前記ユーザ端末装置から購入対象の商品の情報を取得する第１の商品情報取得手段と、前記購入対象の商品に設けられている無線商品タグから、その商品の情報を取得する第２の商品情報取得手段と、前記第１の商品情報取得手段で取得した前記購入対象の商品の情報と、前記第２の商品情報取得手段で取得した前記購入対象の商品の情報とを比較する比較手段と、を備える。
このショッピングシステムによれば、ユーザ端末装置から取得した購入対象の商品の情報と、購入対象の商品の無線商品タグから取得した商品の情報とを比較する。この比較結果に基づいて、利用者がユーザ端末装置によって購入対象とした商品が、実際にショッピングカート等に収容されているか否かを確認することができる。
なお、前記無線商品タグからの商品の情報の取得は、前記ユーザ端末装置、店舗に設置されたゲート装置、ショッピングカート、及び買い物カゴの少なくとも一つを介して行ってもよい。
【００１４】
また、前記各ユーザ端末装置によれば、利用者の頭部に装着して使用することができるので、可搬性に優れるとともに、利用者が向きを変えたり移動したりしても、使用を中断することなくユーザ端末装置を継続して使用することができる。
【００１５】
なお、前記ユーザ端末装置において、通信ネットワークを介してサーバと通信するためのネットワーク通信手段を、更に備えてもよい。このユーザ端末装置によれば、通信ネットワークを介して、情報提供サーバと通信して購入対象の詳細情報や通過対象ゲートの詳細情報を取得したり、認証サーバと通信して認証処理を行ったり、決済サーバと通信して決済処理を行ったりすることができる。
また、前記ユーザ端末装置において、有線又は無線の近距離通信により別体の通信端末装置と通信する近距離通信手段を、更に備えてもよい。このユーザ端末装置によれば、移動体通信ネットワークなどの通信ネットワークに接続するための通信機能をユーザ端末装置自体が備えていなくても、有線又は無線の近距離通信により通信可能な別体の通信端末装置を介して通信ネットワークに接続し、通信ネットワーク上の各種サーバと通信することができる。
また、本発明に係る通信端末システムは、前記ユーザ端末装置と、有線又は無線の近距離通信により前記ユーザ端末装置と通信可能な通信端末装置と、を備える。この通信端末システムによれば、移動体通信ネットワークなどの通信ネットワークに接続するための通信機能をユーザ端末装置自体が備えていなくても、有線又は無線の近距離通信により通信可能な通信端末装置を介して通信ネットワークに接続し、通信ネットワーク上の各種サーバと通信することができる。
また、前記本人認証手段は、前記利用者の認証用画像情報が予め保存された記憶手段と、前記利用者撮像手段で撮像された眼の画像情報と前記記憶手段に保存されている前記利用者の認証用画像情報とを比較して照合する照合手段とを用いて構成してもよい。
また、前記本人認証手段は、前記利用者の眼の画像情報を本人認証情報としてサーバに送信する本人認証情報送信手段と、前記サーバが前記利用者の眼の画像情報に基づいて利用者が本人か否かを確認した本人認証の結果を前記サーバから受信する認証結果受信手段とを用いて構成してもよい。ここで、前記注視対象の画像情報又は注視対象の特徴抽出情報を受信して通過対象ゲートを特定するサーバと、前記利用者の眼の画像情報を受信して本人認証を行うサーバとは、別々のサーバで構成してもよいし、それぞれに兼用される一つのサーバで構成してもよい。
【発明の効果】
【００１６】
本発明によれば、手操作を伴うことなく、購入対象や通過対象ゲートを特定できるとともに本人認証をより確実に行うことができる。
【図面の簡単な説明】
【００１７】
【図１】本発明の実施形態に係るユーザ端末装置の一構成例を示す斜視図。
【図２】ユーザ端末装置の一構成例を示す機能ブロック図。
【図３】（ａ）は注視対象距離検出部の一構成例を示す概略構成図。（ｂ）は注視対象距離検出部における縞模様の変化の説明図。
【図４】利用者の左眼眼球の水晶体の厚さの時間変化の一例を示すグラフ。
【図５】（ａ）は視線検知部の一構成例を示す概略構成図。（ｂ）は眼球の各位置に対応するイメージセンサの水平走査出力信号の模式図。
【図６】ユーザ端末装置を用いたショッピングシステムの一構成例を示す概略構成図。
【図７】利用者がユーザ端末装置を使って商品を購入する処理の一例を説明するためのシーケンス図。
【図８】（ａ）は表示手段を備えたユーザ端末装置の一構成例を示す上面図。（ｂ）は他の構成例に係るユーザ端末装置の上面図。
【図９】画像表示手段を備えたユーザ端末装置の一構成例を示す機能ブロック図。
【図１０】画像表示手段（画像生成部及び画像表示部）の一構成例を示す概略構成図。
【図１１】利用者がユーザ端末装置を介して見る外部視界に画像情報を重ね合わせて表示した画像の説明図。（ａ）は店舗に入店したときに表示される画像の説明図。（ｂ）は本人認証が完了して買い物を開始できるときに表示される画像の説明図。（ｃ）は会計をする前に表示される画像の説明図。
【図１２】商品購入中に利用者が商品を注視しているときに表示される画像の説明図。
【図１３】商品質量を確認する商品質量確認システムの一構成例を示す概略構成図。
【図１４】商品質量を確認する商品質量確認システムを用いたショッピングシステム全体の一構成例を示す概略構成図。
【図１５】ユーザ端末装置を装着した利用者が店舗で買い物をするときの処理の一例を説明するためのシーケンス図。
【図１６】利用者がショーケース内の商品を見ている視界にその商品の情報を重ね合わせて表示している状態の一例を示す説明図。
【図１７】利用者がショーケース内の商品を見ながら、その商品をインターネット上で購入する処理の一例を説明するシーケンス図。
【図１８】他の実施形態に係るユーザ端末装置を利用者が装着して通過するゲートの一構成例を示す概略構成図。
【発明を実施するための形態】
【００１８】
以下、本発明の実施形態を図面に基づいて説明する。
図１は、本発明の一実施形態に係る眼鏡型のユーザ端末装置１の一構成例を示す斜視図である。図２は、ユーザ端末装置１の一構成例を示す機能ブロック図である。
ユーザ端末装置１は、利用者の両眼を覆うように頭に装着し、利用者の眼球を撮像して画像処理により本人認証を行うとともに、眼球の動きや眼のまばたきをスキャンして、利用者が注視し注視対象としての商品を特定して確定し、確定した商品を購入することができるユーザ端末装置である。
【００１９】
ユーザ端末装置１のフレームは、リム２を備えている。このリム２の左右両サイドに、ツルとも呼ばれる一対のテンプル３Ｒ,３Ｌが、それぞれ蝶番４Ｒ,４Ｌ（４Ｌは不図示）により約９０度開閉可能に保持されている。また、一対のメガネレンズ５Ｒ,５Ｌ、一対の鼻パッド６Ｒ,６Ｌ、一対のテンプル３Ｒ,３Ｌの蝶番４Ｒ,４Ｌが設けられた側と反対側の端部にそれぞれ先セル７Ｒ,７Ｌを備えている。
【００２０】
また、ユーザ端末装置１は、右側のテンプル３Ｒの内側に設けられた電源をＯＮ／ＯＦＦするための電源スイッチ８と、リム２の中央上部のフロント側に設けられた利用者の視線の方向における外部視界の画像を撮像する視界撮像手段としての視界同調カメラ９と、リム２の左側のレンズ５Ｌの下部側に設けられた利用者撮像手段の一部としての注視対象距離検出部１０と、リム２の右側のレンズ５Ｒの下部側に設けられた利用者撮像手段の一部としての視線検知部２４とを備えている。
【００２１】
また、ユーザ端末装置１は、図２の機能ブロック図に示すように、ＣＰＵやＲＯＭ等で構成された制御手段としての制御部１４、記憶手段としてのメモリ１５、電源手段としてのバッテリ１６、装着検知部１７、及び通信手段としての通信部２６が、リム２又はテンプル３Ｒ,３Ｌの内部に格納されている。この通信部２６は、例えば、シリアル通信ケーブルを用いた有線通信により、あるいは、赤外線やブルートゥース等の無線通信により、携帯通信端末と通信するように構成される。また、制御部１４は、通信部２６と連携してサーバにアクセス可能に構成してもよい。
【００２２】
制御部１４で実行されるプログラムや制御部１４等で用いられる各種データは、メモリ１５に保存されている。制御部１４に所定のプログラムやデータが読み出されて実行されることにより、後述の各種制御やデータ処理が実行される。
【００２３】
制御部１４は、注視対象距離検出部１０や視線検知部２４で構成された利用者撮像手段で撮像された利用者の眼の画像情報に基づいて、利用者が注視している注視対象を検出する注視対象検出手段としても機能する。
更に、制御部１４は、利用者が購入対象を注視したときに検出された注視対象の画像情報又は注視対象の特徴抽出情報に基づいて購入対象を特定する購入対象特定手段や、前記利用者撮像手段で撮像された利用者の眼の画像情報に基づいて本人か否かを確認する本人認証手段としても機能する。
また、制御部１４は、通信部２６と連携してサーバにアクセスし、前記注視対象の画像情報又は注視対象の特徴抽出情報を、購入対象特定用情報又は通過対象ゲート特定用情報としてサーバに送信する送信手段や、前記サーバが注視対象の画像情報又は注視対象の特徴抽出情報に基づいて検索して特定した購入対象又は通過対象ゲートの情報を前記サーバから受信する受信手段、としても機能する。
また、制御部１４は、通信部２６と連携してサーバにアクセスし、前記利用者の眼の画像情報を本人認証情報としてサーバに送信する本人認証情報送信手段や、前記サーバが前記利用者の眼の画像情報に基づいて利用者が本人か否かを確認した本人認証の結果を前記サーバから受信する認証結果受信手段、としても機能する。
【００２４】
電源スイッチ８は、ユーザ端末装置１の電源をＯＮ／ＯＦＦするための例えば３Ｐトグルスイッチであり、電源ＯＦＦ、ＡＵＴＯ及び電源ＯＮの３つのポジションを取り得る。ここで、ＡＵＴＯポジションは、一対のテンプル３Ｒ,３Ｌを開いた状態で一対の先セル７Ｒ,７Ｌに弱電圧を印加しておき、利用者がユーザ端末装置１を頭に装着したときに、一対の先セル７Ｒ,７Ｌ間に流れる微弱電流を、タッチセンサ等で構成された装着検知部１７が検知することにより、視界同調カメラ９による撮像機能等の動作を開始するように制御される。一方、利用者がユーザ端末装置１を外したときには、撮像機能等の動作を停止するように制御される。また、電源ＯＮポジションでは、電源がＯＮされて撮像機能等が動作するが、利用者がユーザ端末装置１を外した状態で所定時間経過すると自動的に電源がＯＦＦする省電力制御がなされる。なお、電源スイッチ８を設けずに、常に前記ＡＵＴＯポジションでの電源動作と同様にユーザ端末装置１の電源が自動でＯＮ／ＯＦＦされるように構成してもよい。
【００２５】
視界同調カメラ９は、ＣＣＤカメラ又はＣＭＯＳカメラ等の固体撮像素子で構成され、ユーザ端末装置１のリム２の中央上部に配設され、利用者が見ている前方視界を撮像する。この視界同調カメラ９は、利用者が注視した商品を拡大して撮影できるようにズーム機能を有してもよい。
【００２６】
なお、図１の構成例において、視界同調カメラ９は、視界撮像手段として用いられるとともに、視界における利用者の視線方向を検出する簡易型の視線方向検出手段としても用いられている。本構成例の視界同調カメラ９は、撮像画像の中心が利用者の視界の略中央に位置するように設けられ、その視界同調カメラ９で撮像した撮像画像の中心（利用者の視界の略中央）に向かう方向が利用者の視線方向であると推定することにより、利用者の視線方向を検出する。ここで、利用者が頭部の姿勢を変えて視線方向を変化させると、その視線方向の変化に応じて、利用者の頭部に装着されているユーザ端末装置１の視界同調カメラ９の撮像方向が変化し、その視界同調カメラ９で撮像した撮像画像の中心（利用者の視界の略中央）に向かう方向が、利用者の視線方向であると推定することができる。
【００２７】
図３（ａ）は、注視対象距離検出部１０の一構成例を示す概略構成図であり、図３（ｂ）は注視対象距離検出部１０における縞模様の変化の説明図である。本構成例の注視対象距離検出部１０は、縞模様の赤外光を利用者の眼球の水晶体を含む領域に照射し、水晶体から反射した赤外光の縞模様の変化に基づいて水晶体の厚さを測定し、この測定結果から注視対象までの距離を算出するものである。図３（ａ）において、注視対象距離検出部１０は、赤外光を放射する発光ダイオード等の光源１０１、偏光フィルタ１０２、投光レンズ１０３、受光レンズ１０４、ＣＣＤ又はＣＭＯＳ等の固体撮像素子からなるイメージセンサ１０５、焦点距離演算手段１０６から構成されている。
【００２８】
偏光フィルタ１０２は、光源１０１から照射された赤外光を格子状の縞模様に偏光フィルタリングする偏光フィルタである。この格子状の縞模様は、格子を形成する複数本の縦線及び横線の線間隔が同一であり、この線間隔が水晶体の直径よりも十分に狭い間隔（例えば、直径の数分の１〜数十分の１の間隔）である。
【００２９】
光源１０１から照射された赤外光は、偏光フィルタ１０２により格子状の縞模様に偏光フィルタリングされた後、投光レンズ１０３を通過後、格子縞の赤外光Ｃとなって利用者の左眼１００Ｌの眼球の水晶体を含む領域を照射する（図３（ｂ）参照）。水晶体にて反射した赤外光Ｃは受光レンズ１０４を介してイメージセンサ１０５上に縞模様の画像Ｉを結像する。イメージセンサ１０５では、一定時間毎（例えば、１／３０秒毎）に、画像Ｉを画像信号として焦点距離演算手段１０６に送信する。
【００３０】
焦点距離演算手段１０６は、図３（ｂ）に示すように、イメージセンサ１０５からの画像信号が入力される毎に、入力された画像Ｉに対してレンズ歪みを補正するとともに画像の傾きを台形補正し、補正を施した画像Ｉ’を取得する。レンズ歪みは、受光レンズ１０４等の特性に応じて発生する。また、画像の傾きは、利用者の水晶体の位置と受光レンズ１０４との位置関係に応じて発生する。補正後の画像Ｉ’は、レンズ歪みがなくかつ水晶体を真正面から撮像した画像に相当する。なお、更に前処理として、入力画像から格子模様を検知し易くするために、画像に対してノイズ除去やフィルタリングなどを行ってもよい。
【００３１】
また、焦点距離演算手段１０６は、補正後の画像Ｉ’中の格子模様Ｓをトレースし、格子模様Ｓを抽出する。この格子模様Ｓは、水晶体に映っている部分では水晶体の曲面に沿って歪んでおり、照射時の直線で構成される格子模様から曲線で構成される格子模様となっている。
【００３２】
焦点距離演算手段１０６は、抽出した格子模様Ｓからその各曲線の曲率や各曲線間の間隔（縦線間隔、横線間隔）を算出する。さらに、焦点距離演算手段１０６では、格子模様Ｓの曲率や線間隔に基づいて水晶体の曲率を算出し、水晶体の曲率に基づいて水晶体の厚さを算出する。
【００３３】
水晶体は、外から入ってくる光を屈折させて網膜上に焦点を合わせるための凸状のレンズであり、チン氏帯を介して毛様筋が繋がっている。近くのものを見る場合、毛様筋が収縮し、チン氏帯が弛むことにより、水晶体の厚さが厚くなる（曲率が大きくなる）。また、遠くのものを見る場合、毛様筋が弛緩し、チン氏帯が引っ張られることにより、水晶体の厚さが薄くなる（曲率が小さくなる）。このように、人は、見る物体までの距離に応じて、水晶体の厚さを無意識に伸縮させて焦点距離を調節している。水晶体の厚さは、一般に、通常時には３．６ｍｍ程度であり、最大時には４．０ｍｍ程度である。また、水晶体を正面から見たときの直径は、一般に、９〜１０ｍｍ程度である。
【００３４】
図４は、利用者の左眼１００Ｌの水晶体の厚さの時間変化の一例を示している。利用者の眼が注視対象に合焦しているか否かは、例えば次のように判断してもよい。図中の符号Ｔ０で示す時間帯では、その前後の時間帯に比べて、水晶体の厚さが厚くなっている時間が継続しており、焦点距離が短く、すなわち近くの注視対象に合焦していると判断することができる。一方、水晶体の厚さが薄くなっている時間が所定時間継続した場合には、遠くの注視対象に合焦していると判断することができる。
【００３５】
図５（ａ）は、視線方向検出手段としての視線検知部２４の一構成例を示す概略構成図であり、図５（ｂ）は眼球の各位置に対応するイメージセンサの水平走査出力信号の模式図である。視線検知部２４は、ユーザ端末装置１を装着した利用者が右側のメガネレンズ５Ｒを通して外部視界を見ているときの右眼眼球の視線の方向を検知するものである。また、本人認証手段として機能する制御部１４は、ユーザ端末装置１の利用者の目の画像に基づいて本人か否かを確認する本人認証を行う。
【００３６】
図５（ａ）において、視線検知部２４は、赤外光を放射する発光ダイオード等の光源２４１と、投光レンズ２４２と、受光レンズ２４３と、ＣＣＤ又はＣＭＯＳ等の固体撮像素子などからなる撮像手段としてのイメージセンサ２４４と、視線演算手段２４５とを備えている。また、視線演算手段２４５には、制御部１４で実現される虹彩認証手段２５１が接続されている。
【００３７】
視線検知部２４において、光源２４１より射出した赤外光は投光レンズ２４２を通過後、略平行光となって右眼１００Ｒの角膜を照射する。そして、角膜を通過した赤外光は虹彩を照射する。角膜の表面で拡散反射した赤外光は、受光レンズ２４３を介してイメージセンサ２４４上に導光され、角膜像を結像する。同様に、虹彩の表面で拡散反射した赤外光は、受光レンズ２４３を介してイメージセンサ２４４上に導光され、虹彩像を結像する。イメージセンサ２４４からの出力は、図５（ｂ）に示すように、角膜像が結像された角膜反射像スポット位置が他に比べて著しく電位が高くなる。視線演算手段２４５は、この角膜反射像スポット位置に基づいて、右眼１００Ｒが真っ直ぐ前を向いているときの眼球の中心線からの回転角を算出する。そして、この算出した回転角に基づいて、右眼１００Ｒの視軸を求め、前方視界における利用者の相対的な視線の方向を検知している。
【００３８】
虹彩認証手段２５１は、上記視線演算手段２４５から受信した虹彩像を画像解析して抽出した個人に固有な特徴と、メモリ１５に記憶されている利用者の虹彩の固有な特徴とをパターン認識により比較して本人認証を行う。図５（ｂ）に示すように虹彩１００Ｋは瞳孔の回りの部分であり、一人ひとりに固有の模様があり、幼児期を除いてその模様はほぼ変化しない。この虹彩１００Ｋの複雑な模様をデジタル画像解析して個人に固有な特徴を抽出することにより虹彩認証を行うことができる。これにより、ユーザ端末装置１をあらかじめ登録した本人のみが使用することができ、他人による不正使用を防止することができる。なお、上記虹彩認証に限らず網膜認証により本人認証を行ってもよい。
【００３９】
図６は、ユーザ端末装置１を用いて店舗で商品を購入するショッピングシステムの一構成例を示す概略構成図である。図６に示すように、ショッピングシステムは、ユーザ端末装置１と近距離無線又は有線により通信可能な通信端末装置としての携帯電話機等の携帯通信端末４０と、移動体通信網４１に接続されたショッピング支援サーバ４２と、インターネット通信網４３に接続しユーザ端末装置１と近距離無線により通信可能な店舗内商品管理サーバ４４とを備えている。ショッピング支援サーバ４２は、ユーザ端末装置１で購入した商品の決済処理を行ったり購入履歴を記憶したりする、ユーザ端末装置１を用いたショッピングを支援するサーバである。ショッピング支援サーバ４２には、利用者ＩＤなどの利用者情報と、クレジットカード情報、利用者口座番号及び与信情報などの決済に必要な情報が保存されている。また、ショッピング支援サーバ４２は、各利用者の認証用情報を予め保存しておき、ユーザ端末装置１からの認証要求に基づいて、利用者についての認証処理を行うようにしてもよい。また、店舗内商品管理サーバ４４は、利用者が購入を希望する商品の情報を管理したり、購入代金の請求情報をショッピング支援サーバ４２に送信したりする管理サーバである。店舗内商品管理サーバ４４には、店舗内の商品について、品番、品名、メーカー情報、価格、質量等の商品情報が保存されている。
【００４０】
図７は、上記ショッピングシステムにより利用者が店舗で商品を購入するときの処理の一例を示すシーケンス図である。図７において、利用者はユーザ端末装置１の電源をＯＮにして、店舗に入店する（ステップ１,２）。すると、店舗内商品管理サーバ４４が利用者の入店を確認する（ステップ３）。店舗に入店するとユーザ端末装置１は虹彩認証により利用者の本人認証を行う（ステップ４）。利用者は店舗内で購入を希望する商品があればその商品に視線を合わせる（ステップ５）。すると、ユーザ端末装置１の視界同調カメラ９が商品をロックオンし画像認識により商品を特定する（ステップ６）。利用者が購入を確定する場合には、その商品を注視しながら例えば素早く２回まばたきをして、その商品をショッピングカートに入れる（ステップ７）。ユーザ端末装置１は利用者の２回のまばたきを検知し、画像認識で特定していた商品を確定し、商品確定情報を店舗内商品管理サーバ４４に送信する（ステップ８,９）。店舗内商品管理サーバ４４ではメモリ上のカート内に確定した商品情報を蓄積する（ステップ１０）。このとき、携帯通信端末４０に購入商品情報を蓄積しておいてもよい（ステップ１１）。利用者はショッピングを継続し（ステップ１２）、ショッピングを終了する場合には店舗出口に向かう（ステップ１３）。店舗出口付近の店舗内で携帯通信端末４０の表示部には購入した商品の合計金額と購入商品一覧が表示され（ステップ１４）、引き続き、購入確認画面が表示される（ステップ１５）。利用者は購入確認画面を注視し、２回まばたきして購入を決定する（ステップ１６）。これにより、店舗内商品管理サーバ４４では、購入代金請求処理を行い、購入代金の代金請求情報をショッピング支援サーバ４２に送信する（ステップ１７,１８）。代金請求情報を受信したショッピング支援サーバ４２では、与信情報に基づいて購入代金の決済処理を行い、決済完了通知を店舗内商品管理サーバ４４と携帯通信端末４０とに送信する（ステップ１９,２０）。携帯通信端末４０の表示部に決済完了が表示され、利用者は購入した商品を持って店舗を出店する（ステップ２１,２２）。
【００４１】
一方、口座の残高不足等によりショッピング支援サーバ４２で決済ができない場合には、決済不可通知が送信される（ステップ２３）。決済不可通知を受信した店舗内商品管理サーバ４４は店舗出口付近に設けた警報装置により音声又は光もしくはゲートクローズ等のアラーム出力を行う（ステップ２４）。また、決済不可通知は携帯通信端末４０の表示部にも表示される（ステップ２５）。この場合には利用者は現金で決済するか、あるいは、商品を購入せずに店舗を出ることになる（ステップ２６）。
【００４２】
なお、図７の例では、ユーザ端末装置１の視界同調カメラ９で撮像した商品の画像について画像認識を行って注視対象の商品を特定し、その商品確定情報を店舗内商品管理サーバ４４に送信しているが、視界同調カメラ９で撮像した商品の画像情報又はその画像から得られた商品の特徴抽出情報を店舗内商品管理サーバ４４に送信してもよい。この場合、店舗内商品管理サーバ４４は、ユーザ端末装置１から受信した商品の画像情報又は特徴抽出情報に基づいて、サーバ内に予め構築された商品データベースを検索して注視対象の商品を特定する。この店舗内商品管理サーバ４４で特定された商品の情報が、利用者の購入対象商品として店舗内商品管理サーバ４４内に記録されたりユーザ端末装置１に送信されたりする。
また、ユーザ端末装置１は、注視対象の商品に備えられた無線商品タグとしての無線ＩＣタグであるＲＦＩＤ（Radio Frequency IDentification）タグ（以下「ＲＦタグ」という。）から、注視対象の商品の特定や商品詳細情報の検索に使用可能な情報（例えば、名称、識別情報、種別情報等の情報）を近距離無線通信により受信してもよい。商品のＲＦタグから取得した情報は、店舗内商品管理サーバ４４に送信される。この商品のＲＦタグから取得した情報は、上記注視対象の商品の画像情報、注視対象の特徴抽出情報及び後述の姿勢変化の検出結果の情報のいずれかとともに上記店舗内商品管理サーバ４４に送信してもよいし、又は、それらの情報に代えて上記店舗内商品管理サーバ４４に送信してもよい。上記ＲＦタグから取得した情報を用いることにより、注視対象の商品の特定や商品詳細情報の検索の精度が向上する。
【００４３】
また、本実施形態に係るユーザ端末装置１において、利用者が見ている前方視界の中に、利用者の注視点を示す視線マーク（視線カーソル）や様々な情報の画像を重ね合わせて表示する画像表示手段を設けてもよい。前方視界に重ね合わせて利用者が視認できるように情報を表示する表示手段の画像表示方式としては、網膜に直接走査するものやコンバイナ光学系を用いたもの等、各種の画像表示方式を用いることができる。
【００４４】
図８（ａ）は、網膜走査型の画像表示方式を採用した場合の構成例を示している。この網膜走査型の画像表示手段を設けたユーザ端末装置１では、走査用の光学系１２４が右レンズ５Ｒの前方に配設されている。
また、図８（ｂ）は、コンバイナ光学系１２５を用いた画像表示方式を採用した構成例を示している。コンバイナ光学系１２５は、例えば内部に偏光ビームスプリッタと１／４波長板と主反射面とを有する平板状の透明基板で構成され、右レンズ５Ｒの中に埋め込むように設けられる。コンバイナ光学系１２５は、右側のテンプル３Ｒの内側にある光源の画像表示面から出射した表示光束を使用者の眼の方向に導くように構成されている。
【００４５】
図９は、網膜走査型の画像表示方式を採用した画像表示手段を備えたユーザ端末装置１の一構成例を示す機能ブロック図であり、図１０は同画像表示手段の一構成例を示す概略構成図である。なお、図９に示す構成のうち、図２の構成と共通する部分については、説明を省略する。
【００４６】
図９において、ユーザ端末装置１は、画像表示手段としての画像生成部１１、画像表示部１２、表示制御部１３及び姿勢変化検出部２８を更に備えている。画像生成部１１は、制御部１４から受信した画像信号に基づいて表示用の画像信号を生成し、画像表示部１２は、利用者が見ている前方視界の中に、利用者の注視点を示す視線マークの画像や商品に関連した関連情報の画像などを重ね合わせて表示する。
【００４７】
表示制御部１３は、視界同調カメラ９で撮像された視界の画像情報、視線検知部２４で検出された視線方向の検出結果、並びに姿勢変化検出部２８の検出結果の少なくとも一つに基づいて、視界における注視対象の位置と関連情報の表示位置とが所定の位置関係になるように関連情報の表示位置を制御する。
また、表示制御部１３は、前方視界における注視対象の位置と関連情報の表示位置とのずれが所定範囲よりも大きくなった場合は、関連情報の表示を停止するように制御してもよい。
また、表示制御部１３は、表示する画像の形成位置（焦点位置）を、利用者が注視対象を見ているときの視線が合焦している位置に合わせるように変化させるための像形成位置可変手段（焦点距離調整部）としても機能する。
【００４８】
姿勢変化検出部２８は、例えば１軸、２軸又は３軸の加速度センサで構成され、ユーザ端末装置１に作用する加速度を検知することにより、利用者の頭部の姿勢変化に伴うユーザ端末装置１の姿勢変化を検出する姿勢変化検出手段として機能する。姿勢変化検出部２８を構成する加速度センサは、重力方向を検知可能なもの（絶対加速度を検知可能なもの）を用いてもよい。姿勢変化検出部２８は、例えば、所定のタイミングに検出したユーザ端末装置１の姿勢を基準姿勢とし、その利用者の頭部の基準姿勢からの姿勢変化（例えば、基準姿勢からのロール角、ピッチ角及びヨー角それぞれの角度変化分の値、又は、ユーザ端末装置１の姿勢変化に起因して発生した加速度の値）を、検出結果として出力する。上記基準姿勢の検出タイミングは、例えば、ユーザ端末装置１の利用を開始したタイミングや所定操作を行ったタイミングでもよいし、利用者が注視している注視対象を特定したタイミングであってもよい。
なお、姿勢変化検出部２８は、加速度センサとともに又は加速度センサに代えて地磁気センサを備え、ユーザ端末装置１に定義された座標を基準にして地磁気センサで検出される方位情報に基づいてユーザ端末装置１の姿勢変化を検出するように構成してもよい。
【００４９】
また、姿勢変化検出部２８によって検出されたユーザ端末装置１の姿勢変化の検出結果は、視界内において利用者が注視している注視対象を特定するときに、例えば次の（１）〜（３）を含む様々な制御に用いることができる。
【００５０】
（１）利用者の頭部及び視線のぶれ防止制御：
利用者が注視しようとしている注視対象が同じであるにもかかわらず、何らかの理由により、ユーザ端末装置１を装着している利用者の頭部に振動やふらつき等のぶれが発生する場合がある。利用者の頭部にぶれが発生すると、その頭部に装着したユーザ端末装置１の視界同調カメラ９で撮像される視界の画像における視線方向もぶれてしまうため、その撮像画像や視線方向に基づいて特定する利用者の注視対象の特定精度が低下するおそれがある。そこで、姿勢変化検出部２８によって検出されたユーザ端末装置１の姿勢変化の検出結果に基づいて、視界同調カメラ９で撮像される視界の画像における視線方向を補正する制御を行うことにより、注視対象の特定精度を向上させることができる。
【００５１】
（２）注視対象の特定処理の軽減制御：
視界同調カメラ９で撮像した視界の画像の撮像及び視線方向の検出結果に基づく注視対象の特定処理を頻繁に実行すると、ユーザ端末装置１における処理の負荷が大きくなってしまうおそれがある。そこで、ユーザ端末装置１の姿勢が大きく変化したときに、そのユーザ端末装置１を装着した利用者が注視している注視対象が変わった可能性が高い点に着目し、ユーザ端末装置１の姿勢変化の検出結果（姿勢変化量）が、予め設定した閾値の範囲よりも大きくなったときに、視界同調カメラ９による視界の画像の撮像処理及び視線方向の検出処理を行うとともに、それらの視界の画像及び視線方向の検出結果に基づく注視対象の特定処理を行うように制御する。これにより、ユーザ端末装置１における処理の負荷の増大を回避しつつ、利用者の注視対象を特定できるようになる。
【００５２】
（３）注視対象の特定処理の補完制御：
視界同調カメラ９による視界の画像の撮像処理や視線方向の検出処理が、ユーザ端末装置の姿勢変化（利用者の頭部の姿勢変化）に追従できない場合がある。この場合は、視界の撮像画像や視線方向に基づいて利用者の注視対象をリアルタイムに特定することができなかったり、特定する利用者の注視対象の特定精度が低下したりするおそれがある。そこで、視界同調カメラ９による視界の画像の撮像処理や視線方向の検出処理に必要な処理時間に基づいて、その撮像処理及び視線方向の検出処理を行うインターバルを予め設定しておく。そして、視界の撮像画像や視線方向に基づいて利用者の注視対象を特定した後、その後に到来する次の撮像・視線検出タイミングまでは、ユーザ端末装置１の姿勢変化の検出結果に基づいて、直近の撮像済みの視界の画像及び検出済みの視線方向を補完することにより、注視対象を特定するように制御する。この制御により、注視対象の特定精度が低下することなく、利用者の注視対象をリアルタイムに特定することができる。
【００５３】
図１０において、制御部１４から供給される画像信号を処理するための光源ユニット部１１０が設けられている。光源ユニット部１１０は、制御部１４からの画像信号が入力され、それに基づいて画像を生成するための画像信号を発生する画像信号供給部１１１が設けられ、この画像信号供給部１１１から画像信号１１２、垂直同期信号１１３及び水平同期信号１１４が出力される。また、光源ユニット部１１０には、画像信号供給部１１１から伝達される画像信号１１２をもとに強度変調されたレーザ光を出射する光源としてのレーザ発振部１１５が設けられている。
【００５４】
また、光源ユニット部１１０側から導かれたレーザ光をガルバノミラー１２１ａを利用して垂直方向に走査する走査光学系としての垂直走査系１２１と、垂直走査系１２１によって走査されたレーザ光を後述する水平走査系１２２に導く第１リレー光学系（レンズ群）１２３と、垂直走査系１２１に走査され、第１リレー光学系１２３を介して入射されたレーザ光を、ガルバノミラー１２２ａを利用して水平方向に走査する走査光学系としての水平走査系１２２と、水平走査系１２２によって走査されたレーザ光を利用者の右眼１００Ｒの瞳孔に入射させる第２リレー光学系（レンズ群）１２４とが設けられている。
【００５５】
垂直走査系１２１は、表示すべき画像の１走査線ごとに、レーザビームを垂直方向に垂直走査する垂直走査を行う光学系である。また、垂直走査系１２１は、レーザビームを垂直方向に走査する光学部材としてのガルバノミラー１２１ａと、そのガルバノミラー１２１ａの駆動制御を行う垂直走査制御部１２１ｂとを備えている。
【００５６】
これに対し、水平走査系１２２は、表示すべき画像の１フレームごとに、レーザビームを最初の走査線から最後の走査線に向かって水平に走査する水平走査を行う光学系である。また、水平走査系１２２は、水平走査する光学部材としてのガルバノミラー１２２ａと、そのガルバノミラー１２２ａの駆動制御を行う水平走査制御部１２２ｂとを備えている。
【００５７】
また、垂直走査系１２１、水平走査系１２２は、各々画像信号供給部１１１に接続され、画像信号供給部１１１より出力される垂直同期信号１１３、水平同期信号１１４にそれぞれ同期してレーザ光を走査するように構成されている。
【００５８】
上記構成の走査光学系によって利用者の網膜上に画像を表示する処理は、例えば次のように行われる。図１０に示すように、光源ユニット部１１０に設けられた画像信号供給部１１１が制御部１４からの画像信号の供給を受けると、画像信号供給部１１１は、例えば白色レーザ光を出力させるための画像信号１１２と、垂直同期信号１１３と、水平同期信号１１４とを出力する。画像信号１１２に基づいて、レーザ発振器１１５はそれぞれ強度変調されたレーザ光を発生し、垂直走査系１２１に出力する。垂直走査系１２１のガルバノミラー１２１ａに入射したレーザ光は、垂直同期信号１１３に同期して垂直方向に走査されて第１リレー光学系１２３を介し、水平走査系１２２のガルバノミラー１２２ａに入射する。ガルバノミラー１２２ａは、ガルバノミラー１２１ａが垂直同期信号に同期すると同様に水平同期信号１１４に同期して、入射光を水平方向に反射するように往復振動をしており、このガルバノミラー１２２ａによってレーザ光は水平方向に走査される。垂直走査系１２１及び水平走査系１２２によって垂直方向及び水平方向に２次元に走査されたレーザ光は、第２リレー光学系１２４に導かれる。第２リレー光学系１２４は、図１０に示すように、右側のメガネレンズ５Ｒの前方に設けられており、この第２リレー光学系１２４で略直角に屈折したレーザ光は、利用者の右眼眼球へ入射され、網膜上に投影される。利用者はこのように２次元走査されて網膜上に投影されたレーザ光による画像を認識することができる。なお、第２リレー光学系１２４はハーフミラーにより構成されているので、利用者の右眼の視界を妨げないようになっている。
【００５９】
図１１（ａ）〜（ｃ）は、上記構成の画像表示手段により、ユーザ端末装置１を装着した利用者の右眼に表示される画像の一例を示す説明図である。
図１１（ａ）は、利用者が店舗に入店したときに、買い物をするか否かの確認をするための表示画像であり、Ｙｅｓキー５１及びＮｏキー５２のソフトキーも同時に表示される。利用者は買い物をする場合、Ｙｅｓキー５１に視線を合わせて素早く２回まばたきをする。これにより、ショッピングモードになり、商品の購入処理動作が開始する。一方、Ｎｏキー５２に視線を合わせて素早く２回まばたきするとショッピングモードにはならずに、この表示画像が消去される。
図１１（ｂ）は、ショッピングモードになった直後に表示される画像であり、利用者の本人認証が完了し、買い物が開始できる状態になったことを示している。つまり、ユーザ端末装置１では本人のみが商品を購入することができ、他人がユーザ端末装置１を使って商品を購入することはできないようになっている。
図１１（ｃ）は、店舗での買い物が終了して店舗出口付近で会計をするときに表示される画像である。利用者は会計をする場合、Ｙｅｓキー５１に視線をあわせて素早く２回まばたきをする。これにより、決済処理がなされ、決済が完了すれば、購入した商品を持って店舗から出ることができる。一方、利用者が会計を希望しない場合には、Ｎｏキー５２に視線を合わせて素早く２回まばたきをする。この場合には、商品を購入しないことにしたので、元の場所に商品を戻すか、ショッピングカートごと店員に引き渡すことになる。
【００６０】
図１２は、商品購入中に表示される画像の一例である。図１２に示すように、右眼の視線に追従して移動する視線マーク５３が表示される。また、左側には詳細情報キー５４、右側には購入キー５５、画面の下側には合計金額表示部５６、購入した商品を確認するためのカート内確認キー５７、お薦め情報キー５８、店舗情報キー５９等のソフトキーが表示される。図１２において、利用者が店舗の商品６０である例えばスイカに視線を合わせると、ユーザ端末装置１は商品ラベル６０ａのバーコードを読み取って店舗内商品管理サーバ４４と通信を行い商品６０の詳細情報を取得する。そして、利用者が詳細情報キー５４に視線を合わせて素早く２回まばたきすると、その商品の詳細な情報が表示される。例えば、商品６０の価格、質量、品種、生産者の氏名、産地、農薬の散布履歴などが表示される。また、左下側の合計金額表示部５６にはショッピングカートに入れた購入商品の合計金額が表示されるので、利用者は予算内での買い物が可能である。
【００６１】
上記ショッピングシステムでは、商品の合計質量に基づいて、ユーザ端末装置１で購入した商品と、実際にショッピングカートに入っている商品とを確認してもよい。これにより、利用者がユーザ端末装置１で購入を確定した商品をショッピングカートに入れ忘れたり、逆に、購入を確定していない商品がショッピングカートに入っていたりすることを防止できる。
【００６２】
図１３は、商品の合計質量を確認する商品質量確認システムの一構成例を示す概略構成図である。図１３において、商品質量確認システムは、店舗内の店舗出口付近の出口ゲート６３ｅの床部に設けられた質量測定手段としての質量計６１と、この質量計６１に接続され質量計６１の測定結果を店舗内商品管理サーバ４４に送信する質量測定結果送信手段としての質量検知部６２と、入口ゲート６３ｉと出口ゲート６３ｅとに接続されたレジ装置６３と、アラームを出力する警報出力部６４と、ショッピングカート６５とを用いて構成されている。
【００６３】
図１４は、商品質量確認システムを用いたショッピングシステムの概略構成説明図である。図１４において、店舗Ｓの入口には入口ゲート６３ｉが設置されていて、ユーザ端末装置１を装着した利用者の入店を検知する。一方、店舗Ｓの出口側には出口ゲート６３ｅが設置されていて、ユーザ端末装置１を装着した利用者の出店を検知するようになっている。
【００６４】
図１５は、ユーザ端末装置を装着した利用者が店舗で買い物をするときの処理の一例を説明するためのシーケンス図である。図１５において、ユーザ端末装置１を装着した利用者が入口ゲート６３ｉを通過して店舗Ｓに入店すると、レジ装置６３が利用者の入店を検知して、入店検知情報をユーザ端末装置１に送信する（ステップ１,２）。入店検知情報を受信したユーザ端末装置１は店舗Ｓに入店したことを表示して利用者に知らせる（ステップ３）。利用者は、店舗Ｓでショッピングを開始する旨の指示を、眼のまばたき等によりユーザ端末装置１で携帯通信端末４０を介して、ショッピング支援サーバ４２に送信する（ステップ４）。ショッピング開始の指示情報を受信したショッピング支援サーバ４２では、ユーザ端末装置１を装着した利用者についての本人認証を行う（ステップ５）。なお、本人認証は決済時に行ってもよい。
【００６５】
次に、利用者は購入したい商品があれば眼のまばたき等によりその商品を特定し、ユーザ端末装置１で商品のバーコード等から商品情報を読み取って店舗内商品管理サーバ４４に送信する（ステップ６,７）。商品情報を受信した店舗内商品管理サーバ４４では、その商品を検索し、商品情報をユーザ端末装置１に送信する（ステップ８,９）。商品情報を受信したユーザ端末装置１はその商品情報を表示して利用者に認識させる（ステップ１０）。利用者は商品情報を見て商品を購入する場合には眼のまばたき等により購入を確定し、ユーザ端末装置１は購入確定情報を記憶する（ステップ１１）。同時に利用者はその商品をショッピングカート６５に入れる。以後、ショッピングを続ける場合には、利用者は上記ステップ６,７,１０,１１を繰返し（ステップ１２）、店舗内商品管理サーバ４４では上記ステップ８,９の処理を繰り返す（ステップ１３）。
【００６６】
次に、利用者がショッピングを終えて店舗Ｓの出口ゲート６３ｅを通過しようとすると、レジ装置６３が利用者の出店を検知して、出店検知情報をユーザ端末装置１に送信する（ステップ１４）。出店検知情報を受信したユーザ端末装置１では、商品の購入を確定した購入情報を店舗内商品管理サーバ４４に送信する（ステップ１５）。また、レジ装置６３では、出口ゲート６３ｅの通路部分に設けられた質量計６１で商品６０を収容したショッピングカート６５の質量を測定し、ショッピングカート６５自体の質量を差し引いてカート内商品のみの質量情報を店舗内商品管理サーバ４４に送信する（ステップ１６，１７）。購入情報と質量情報とを受信した店舗内商品管理サーバ４４では、購入情報から算出した商品の合計質量と、レジ装置６３からの質量情報とを比較する（ステップ１８）。これらの質量が一致していれば、ショッピングカート６５内に利用者がユーザ端末装置１で購入を確定した商品６０が正しく入っているものとみなして、購入代金の請求処理を行うべく、ショッピング支援サーバ４２に購入情報を送信する（ステップ１９）。なお、質量の比較において、両者が完全に一致していなくてもよく、所定の誤差範囲内に収まっていれば一致しているものとみなしてよい。
【００６７】
購入情報を受信したショッピング支援サーバ４２では、決済情報を携帯通信端末４０を介してユーザ端末装置１に送信する（ステップ２０）。決済情報を受信したユーザ端末装置１では、合計金額等を表示し、利用者は眼のまばたき等により決済する旨の決済指示を行い、ショッピング支援サーバ４２に送信する（ステップ２１,２２）。決済指示を受信したショッピング支援サーバ４２は決済処理を行い、決済結果を店舗内商品管理サーバ４４を介してレジ装置６３に送信する（ステップ２３,２４）。決済結果を受信したレジ装置６３は出口ゲート６３ｅをオープンし、利用者を出店させる（ステップ２５,２６）。
【００６８】
なお、上記ステップ１８において、購入情報から算出した商品の合計質量と、レジ装置６３からの質量情報とを比較した結果、これらの質量の差が所定の誤差範囲内に収まっておらず、一致しないと判断された場合には、警報出力部６４からアラームを出力し、利用者を有人レジに案内する。また、上記ステップ２４において、決済口座に残高がないこと等により決済ができなかった場合も、警報出力部６４からアラームを出力し、利用者を有人レジに案内し、現金での決済を促す。
【００６９】
また、図１３〜１５の実施形態において、店舗内の商品に無線商品タグとしての無線ＩＣタグであるＲＦタグを設けてもよい。店舗内商品管理サーバ４４は、第１の商品情報取得手段としてユーザ端末装置１から購入を確定した商品の情報を無線通信により取得する。一方、第２の商品情報取得手段としてショッピングカート６５に収容された商品の情報をＲＦタグから取得する。店舗内商品管理サーバ４４では、ユーザ端末装置１からの情報とＲＦタグからの情報とを比較し、相違がないか否かを確認する。この比較処理は、利用者がショッピングカート６５を押して出口ゲート６３ｅを通過するときに行い、相違がなければ購入代金決済処理を行い、相違がある場合にはユーザを有人レジに案内する。
【００７０】
また、上記図１３〜１５の例では、ショッピングカートを用いて買い物を行う場合について説明したが、ショッピングカートの代わりに買い物かごを用いて買い物を行うようにしてもよい。この場合、購入を確定した商品が収容された買い物かごの質量が、レジカウンタなどに設置された質量計６１で測定され、その測定値から買い物かご自体の質量が差し引かれ、買い物かご内商品のみの質量情報が店舗内商品管理サーバ４４に送信される。
【００７１】
なお、上述の図１５の例では、ユーザ端末装置１を用いて店舗内で商品を購入する場合について説明したが、店舗のショーケース内の商品を見つめることにより、その商品情報を検索して表示し、さらにインターネット上のオンラインショップで当該商品を購入することもできる。
【００７２】
図１６は、利用者が店舗のショーケース内の商品の１つに視線マークを合わせて注視することにより、利用者が見ている視界にその商品の情報を重ね合わせて表示している状態の説明図である。図１６に示すように、利用者が視線マーク５３をショーケース内の商品６０に合わせると、利用者が見ている視界にその商品の情報８０が重ね合わされて表示される。商品の情報８０としては、例えば、商品名、メーカブランド名、モデル名などがある。また、利用者の眼の操作により、サブメニューとして更に詳細な情報、例えば、その商品の詳細情報、価格情報、他店との比較情報、オンラインショッピング情報などを表示することができる。
【００７３】
図１７は、利用者がショーケース内の商品を見ながら、その商品をインターネット上で購入する処理の一例を説明するシーケンス図である。図１７において、利用者はユーザ端末装置１の電源をＯＮにして装着する（ステップ１）。ユーザ端末装置１は利用者の本人認証を行い、認証結果をショッピング支援サーバ４２に送信する（ステップ２）。利用者はショーケースの中を見て気に入った商品に視線マーク５３を合わせて注視する（ステップ３）。すると、ユーザ端末装置１は画像認識を行い、利用者が視線マーク５３を合わせて注視している商品を特定する（ステップ４）。その商品の画像をショッピング支援サーバ４２に送信し、これを受信したショッピング支援サーバ４２はその商品の情報を検索し、ユーザ端末装置１に送信する（ステップ５）。ユーザ端末装置１では、利用者が見ている視界にその商品の情報を重ね合わせて表示する（ステップ６）。利用者は眼を動かして表示された画像の中からオンラインショッピングを選択すると、サブメニューとしてオンラインショップのサイトが表示される（ステップ７,８）。利用者はオンラインショップの情報を見ながら、ショーケース内の商品の価格と比較したり、納期を確認したりして、オンラインショップで購入することを決めた場合には、購入キーに視線マーク５３を合わせた状態で、例えば、２回まばたきをして、商品の購入を決定する（ステップ９）。すると、オンラインショップサーバで商品購入の受付がなされ（ステップ１０）、ショッピング支援サーバ４２に代金請求情報が送信される（ステップ１１）。代金請求情報を受信したショッピング支援サーバ４２では利用者の与信情報に基づいて購入代金の決済処理を行い、その結果をオンラインショップサーバに送信する（ステップ１２）。オンラインショップサーバから決済完了通知がユーザ端末装置１に送信され、ユーザ端末装置１は決済の完了を表示する（ステップ１３,１４）。また、オンラインショップサーバでは商品の発送処理を行い、購入した商品が利用者の自宅等に宛てて宅配される（ステップ１５,１６）。
【００７４】
なお、利用者が視線マーク５３を合わせて注視する商品は、店舗等のショーケース内の商品に限らず、電車内の広告等に記載されている商品の画像や、商品の画像が描かれた看板などであってもよい。
【００７５】
また、本実施形態のユーザ端末装置１は、店舗における商品の購入だけでなく、例えば、コンサート会場の入場ゲートに連動させて、利用者の入場の可否に使用することもできる。
【００７６】
図１８は、利用者がユーザ端末装置１を装着して通過することができるコンサート会場の入場ゲートの一例を示す説明図である。図１８において、一人づつ通過する自動入場ゲート装置７０が３基設置されており、これらの自動入場ゲート装置７０の上部にはゲートブリッジ７１が設置されている。ゲートブリッジ７１にはそれぞれの通路に対応する真上の部分に注視対象としてバーコードラベル７１ａが３つ貼付されている。
【００７７】
予めコンサートのチケットを購入した利用者は、ユーザ端末装置１を装着して、自分が通る自動入場ゲート装置７０を適宜選び、その通路の前方真上のバーコードラベル７１ａを注視しながら自動入場ゲート装置７０に進入する。ユーザ端末装置１は、このバーコードラベル７１ａを読み取ってその情報を解析し、解析した情報に基づいて虹彩認識により利用者の本人認証を行い、近距離無線によりゲート側の図示しない管理サーバに利用者の本人認証情報を送信する。管理サーバにはチケット購入者のデータが蓄積されているので、ユーザ端末装置１から受信した利用者の本人認証情報に基づいて、自動入場ゲート装置７０に進入した利用者がチケット購入者か否かを判定し、チケット購入者であれば、そのまま通過させる。また、ユーザ端末装置１では、通過対象ゲートの詳細情報として、出場歌手名やグループ名、コンサートスケジュール等のコンサート情報を管理サーバから受信して、利用者に知らせるように画像表示手段で視界内に表示してもよい。また、ユーザ端末装置１では、本人認証の結果を利用者に知らせるように画像表示手段で視界内に表示してもよい。一方、ゲート側の管理サーバで、ユーザ端末装置１から受信した利用者の本人認証情報に基づいて、自動入場ゲート装置７０に進入した利用者がチケット購入者でないと判断した場合には、自動入場ゲート装置７０の阻止扉７０ａが開き、その利用者の入場を阻止する。同時に音声や光によるアラームを発してもよい。このように、予めチケットを購入した利用者は、何もすることなく、自動入場ゲート装置７０を通過してコンサート会場に入場することができる。一方、チケットを購入していない利用者は、自動入場ゲート装置７０を通過できず、入場が阻止される。
【００７８】
なお、本人認証は、自動入場ゲート装置７０に進入するときに行っているが、利用者がユーザ端末装置１を装着したときに行ってもよい。
また、上記バーコードラベル７１ａは、利用者が進入する自動入場ゲート装置７０の通路の前方真上のゲートブリッジ７１に設けたが、これに限られるものではなく、利用者の視線が合いやすい適宜の位置に設ければよい。また、利用者が注視する注視対象は上記バーコードラベル７１ａに限られるものではなく、画像認識ができる適宜の画像や文字であってもよい。
また、上記バーコードラベル７１ａは設けなくてもよい。つまり、利用者はバーコードラベル等の注視対象を注視しなくてもよい。この場合には、例えば、利用者が自動入場ゲート装置７０を通過する際に、ユーザ端末装置１がゲート側の管理サーバと近距離無線による通信を行い、管理サーバからの本人認証指令に基づいて本人認証を行い、本人認証結果を管理サーバに送信する。本人認証結果を受信した管理サーバでは、利用者が入場可能か否かを判断する。入場可能の場合にはそのまま通過させる。このとき同時に管理サーバからコンサート情報を取得してもよい。一方、入場不可の場合には、阻止扉７０ａを開いて入場を阻止する。
また、コンサート会場の入場に限らず、野球場、遊園地、駅、又は自動車レースのサーキットなど、人の入場を監視して入場の可否を行う会場であればどのような会場への入場であっても適用できるものである。
【００７９】
なお、本実施形態のユーザ端末装置１は、近距離通信手段により有線又は無線で近くの携帯通信端末４０と通信しているが、ユーザ端末装置１の本体にネットワーク通信手段を設けてもよい。これにより、利用者が携帯通信端末を所持していない場合であっても、ユーザ端末装置１はインターネット等のネットワークに接続することが可能となる。
【００８０】
また、上記実施形態では、利用者の目の「まばたき」の動きで商品の購入や決済処理指示を確定しているが、他の動きで商品の購入等を確定してもよい。例えば、「所定時間以上視点が動かない」や「ウィンク」の動きで商品の購入等を確定するようにしてもよい。また、加速度センサで検知される利用者の「頭の上下・左右運動」等で商品の購入等を確定するようにしてもよい。
【００８１】
また、上記図７、図１５及び図１７の例では、決済処理をショッピング支援サーバ４２で行っているが、金融機関やクレジットカード会社に設けられた決済用サーバで決済処理を行うようにしてもよい。
【００８２】
以上、本実施形態によれば、手操作を伴うことなく、購入対象や通過対象ゲートを特定できるとともに本人認証をより確実に行うことができる。
【符号の説明】
【００８３】
１ ユーザ端末装置
２ リム
８ 電源スイッチ
９ 視界同調カメラ
１０ 注視対象距離検出部
１１ 画像生成部
１２ 画像表示部
１４ 制御部
１５ メモリ
１６ バッテリ
２４ 視線検知部
２６ 通信部
４０ 携帯通信端末
４２ ショッピング支援サーバ
４４ 店舗内商品管理サーバ
６０ 商品
６２ 質量検知部
６５ ショッピングカート
７０ 自動入場ゲート装置
１００Ｋ 眼の虹彩
２５１ 虹彩認証手段
【技術分野】
【０００１】
本発明は、本人認証が必要な商品購入やゲート通過等に使用可能なユーザ端末装置、及び、そのユーザ端末装置を用いたショッピングシステムに関するものである。
【背景技術】
【０００２】
従来、商品やサービスを購入しようとする利用者が、店頭等に設置されているレジに組み込まれている読み取り装置に、自分の携帯電話機を置いたりかざしたりすることにより、購入対象の商品やサービスを購入することができる携帯電話機が知られている。また、予めチケットを購入した利用者が、コンサート会場等のゲートに設置されている所定の読み取り装置上に置いたりかざしたりすることにより、当該コンサート会場への入場が許可される携帯電話機も知られている。
【発明の概要】
【発明が解決しようとする課題】
【０００３】
しかしながら、上記従来の携帯電話機では、携帯電話機を所定の読み取り装置上に置いたりかざしたりする操作が必要になる。また、本人認証が不十分であるため、携帯電話機を不正に取得した不正利用者でも使用できてしまう。利用時にパスワードの手入力操作を要求することも考えられが、パスワード入力という煩わしい手操作が必要になり、利便性に欠ける。
【０００４】
本発明は以上の問題点に鑑みなされたものであり、その目的は、手操作を伴うことなく、購入対象や通過対象ゲートを特定できるとともに本人認証をより確実に行うことができるユーザ端末装置及びショッピングシステムを提供することである。
【課題を解決するための手段】
【０００５】
本発明に係るユーザ端末装置は、眼鏡型のユーザ端末装置であって、利用者が見ている視界を撮像する視界撮像手段と、前記利用者の眼を撮像する利用者撮像手段と、前記視界撮像手段で撮像された前記視界の画像情報と、前記利用者撮像手段で撮像された前記利用者の眼の画像情報とに基づいて、前記利用者が注視している注視対象を検出する注視対象検出手段と、前記利用者が購入対象を注視したときに前記注視対象検出手段で検出された注視対象の画像情報又は該注視対象の特徴抽出情報に基づいて、前記購入対象を特定する購入対象特定手段と、前記利用者撮像手段で撮像された前記利用者の眼の画像情報に基づいて本人か否かを確認する本人認証手段とを備える。
このユーザ端末装置によれば、視界の中に見える購入対象を利用者が注視すると、その注視対象の画像情報又は注視対象の特徴抽出情報に基づいて、利用者が選択した購入対象が特定される。また、購入対象の確定や決済等の際には、利用者撮像手段で撮像された利用者固有の眼の画像情報に基づいて、その利用者が本人か否かが確認される。従って、手操作を伴うことなく、利用者が選択した購入対象を特定できるとともに本人認証をより確実に行うことができる。
【０００６】
なお、前記購入対象特定手段は、前記注視対象の画像情報又は該注視対象の特徴抽出情報を、前記購入対象特定用情報としてサーバに送信する購入対象特定用情報送信手段と、前記サーバが前記注視対象の画像情報又は該注視対象の特徴抽出情報に基づいて検索して特定した購入対象の情報を前記サーバから受信する購入対象情報受信手段とを用いて構成してもよい。
また、前記ユーザ端末装置において、前記購入対象の詳細情報を取得する詳細情報取得手段と、前記利用者が前記購入対象を見ている視界の中に、前記購入対象の詳細情報の画像を重ね合わせて表示する画像表示手段を、更に備えてもよい。
このユーザ端末装置によれば、詳細情報取得手段で取得された購入対象の詳細情報の画像を利用者が見ている視界の中に重ね合わせて表示することにより、利用者は、購入対象の購入を確定するにあたり、購入対象の詳細情報を参考にして決めることができる。
【０００７】
また、前記ユーザ端末装置において、前記利用者撮像手段で撮像された前記利用者の眼の画像情報に基づいて、前記購入対象の購入決定の有無又は購入決済指示の有無を判断する判断手段を、更に備えてもよい。
このユーザ端末装置によれば、利用者が眼の所定動作を行ったときに、利用者撮像手段で撮像された利用者の眼の画像情報に基づいて、購入対象の購入決定の有無又は購入決済指示の有無を判断することができる。利用者は、手操作を伴うことなく、購入対象の購入を決定したり購入決済を指示したりすることができる。
【０００８】
また、前記ユーザ端末装置において、前記判断手段は、前記本人認証手段において本人認証が成功した場合に前記購入対象の購入決定又は前記購入決済指示を確定してもよい。
【０００９】
また、本発明に係る他のユーザ端末装置は、眼鏡型のユーザ端末装置であって、利用者が見ている視界を撮像する視界撮像手段と、前記視界を見ているときの前記利用者の眼を撮像する利用者撮像手段と、前記視界撮像手段で撮像された前記視界の画像情報と、前記利用者撮像手段で撮像された前記利用者の眼の画像情報とに基づいて、前記視界において前記利用者が注視している注視対象を検出する注視対象検出手段と、前記利用者が通過対象ゲートの所定箇所を注視したときに前記注視対象検出手段で検出された注視対象の画像情報又は該注視対象の特徴抽出情報に基づいて、前記通過対象ゲートを特定する通過対象ゲート特定手段と、前記利用者撮像手段で撮像された前記利用者の眼の画像情報に基づいて本人か否かを確認する本人認証手段とを備える。
このユーザ端末装置によれば、視界の中に見える通過対象ゲートの所定箇所を利用者が注視すると、その注視対象の画像情報又は注視対象の特徴抽出情報に基づいて、利用者が選択した通過対象ゲートが特定される。また、通過対象ゲートの開閉等の際には、利用者撮像手段で撮像された利用者固有の眼の画像情報に基づいて、その利用者が本人か否かが確認される。従って、手操作を伴うことなく、利用者が通過しようとしている通過対象ゲートを特定できるとともに本人認証をより確実に行うことができる。
【００１０】
なお、前記通過対象ゲート特定手段は、前記注視対象の画像情報又は該注視対象の特徴抽出情報を、前記通過対象ゲート特定用情報としてサーバに送信する通過対象ゲート特定用情報送信手段と、前記サーバが前記注視対象の画像情報又は該注視対象の特徴抽出情報に基づいて検索して特定した通過対象ゲートの情報を前記サーバから受信する通過対象ゲート情報受信手段とを用いて構成してもよい。
【００１１】
また、前記ユーザ端末装置において、前記通過対象ゲートの詳細情報を取得する詳細情報取得手段と、前記利用者が前記通過対象ゲートの所定箇所を見ている視界の中に、前記通過対象ゲートの詳細情報及び前記本人認証手段による本人認証の結果の少なくとも一方を含む画像を重ね合わせて表示する画像表示手段を、更に備えてもよい。
このユーザ端末装置によれば、詳細情報取得手段で取得された通過対象ゲートの詳細情報及び本人認証の結果の少なくとも一方を含む画像を利用者が見ている視界の中に重ね合わせて表示することにより、利用者に、通過しようとしている通過対象ゲートの詳細情報や本人認証の結果を知らせることができる。
【００１２】
本発明に係るショッピングシステムは、前記ユーザ端末装置と、店舗内商品管理サーバと、を備えたショッピングシステムであって、ショッピングカート又は買い物かごに収容された購入対象の商品の質量を測定する質量測定手段と、前記質量測定手段で測定した前記購入対象の商品の質量の測定結果を、前記店舗内商品管理サーバに送信する質量測定結果送信手段とを、更に備え、前記店舗内商品管理サーバは、前記ユーザ端末装置から前記購入対象の商品の情報を取得する商品情報取得手段と、前記商品情報取得手段で取得した前記購入対象の商品の情報に基づいて、その商品の質量を算出する質量算出手段と、前記購入対象の商品の質量の測定結果を受信する質量測定結果受信手段と、前記質量算出手段で算出した前記購入対象の商品の質量の算出結果と、前記質量測定結果受信手段で受信した前記購入対象の商品の質量の測定結果とを比較する比較手段と、を備える。
このショッピングシステムによれば、ユーザ端末装置から取得した購入対象の商品の情報に基づいて算出した商品の質量と、ショッピングカート又は買い物かごに収容されている商品の質量を測定した測定結果とを比較する。その比較結果に基づいて、両者の質量が一致していれば、利用者がユーザ端末装置によって購入対象とした商品と同じ商品がショッピングカートに収容されていると確認できる。一方、両者の質量が一致していなければ、利用者がユーザ端末装置によって購入対象とした商品と同じ商品がショッピングカート等に収容されていない可能性があるので再確認を促したり、不正が行われたと判定したりすることができる。
【００１３】
また、本発明に係る他のショッピングシステムは、前記ユーザ端末装置と、店舗内商品管理サーバと、を備えたショッピングシステムであって、前記店舗内商品管理サーバは、前記ユーザ端末装置から購入対象の商品の情報を取得する第１の商品情報取得手段と、前記購入対象の商品に設けられている無線商品タグから、その商品の情報を取得する第２の商品情報取得手段と、前記第１の商品情報取得手段で取得した前記購入対象の商品の情報と、前記第２の商品情報取得手段で取得した前記購入対象の商品の情報とを比較する比較手段と、を備える。
このショッピングシステムによれば、ユーザ端末装置から取得した購入対象の商品の情報と、購入対象の商品の無線商品タグから取得した商品の情報とを比較する。この比較結果に基づいて、利用者がユーザ端末装置によって購入対象とした商品が、実際にショッピングカート等に収容されているか否かを確認することができる。
なお、前記無線商品タグからの商品の情報の取得は、前記ユーザ端末装置、店舗に設置されたゲート装置、ショッピングカート、及び買い物カゴの少なくとも一つを介して行ってもよい。
【００１４】
また、前記各ユーザ端末装置によれば、利用者の頭部に装着して使用することができるので、可搬性に優れるとともに、利用者が向きを変えたり移動したりしても、使用を中断することなくユーザ端末装置を継続して使用することができる。
【００１５】
なお、前記ユーザ端末装置において、通信ネットワークを介してサーバと通信するためのネットワーク通信手段を、更に備えてもよい。このユーザ端末装置によれば、通信ネットワークを介して、情報提供サーバと通信して購入対象の詳細情報や通過対象ゲートの詳細情報を取得したり、認証サーバと通信して認証処理を行ったり、決済サーバと通信して決済処理を行ったりすることができる。
また、前記ユーザ端末装置において、有線又は無線の近距離通信により別体の通信端末装置と通信する近距離通信手段を、更に備えてもよい。このユーザ端末装置によれば、移動体通信ネットワークなどの通信ネットワークに接続するための通信機能をユーザ端末装置自体が備えていなくても、有線又は無線の近距離通信により通信可能な別体の通信端末装置を介して通信ネットワークに接続し、通信ネットワーク上の各種サーバと通信することができる。
また、本発明に係る通信端末システムは、前記ユーザ端末装置と、有線又は無線の近距離通信により前記ユーザ端末装置と通信可能な通信端末装置と、を備える。この通信端末システムによれば、移動体通信ネットワークなどの通信ネットワークに接続するための通信機能をユーザ端末装置自体が備えていなくても、有線又は無線の近距離通信により通信可能な通信端末装置を介して通信ネットワークに接続し、通信ネットワーク上の各種サーバと通信することができる。
また、前記本人認証手段は、前記利用者の認証用画像情報が予め保存された記憶手段と、前記利用者撮像手段で撮像された眼の画像情報と前記記憶手段に保存されている前記利用者の認証用画像情報とを比較して照合する照合手段とを用いて構成してもよい。
また、前記本人認証手段は、前記利用者の眼の画像情報を本人認証情報としてサーバに送信する本人認証情報送信手段と、前記サーバが前記利用者の眼の画像情報に基づいて利用者が本人か否かを確認した本人認証の結果を前記サーバから受信する認証結果受信手段とを用いて構成してもよい。ここで、前記注視対象の画像情報又は注視対象の特徴抽出情報を受信して通過対象ゲートを特定するサーバと、前記利用者の眼の画像情報を受信して本人認証を行うサーバとは、別々のサーバで構成してもよいし、それぞれに兼用される一つのサーバで構成してもよい。
【発明の効果】
【００１６】
本発明によれば、手操作を伴うことなく、購入対象や通過対象ゲートを特定できるとともに本人認証をより確実に行うことができる。
【図面の簡単な説明】
【００１７】
【図１】本発明の実施形態に係るユーザ端末装置の一構成例を示す斜視図。
【図２】ユーザ端末装置の一構成例を示す機能ブロック図。
【図３】（ａ）は注視対象距離検出部の一構成例を示す概略構成図。（ｂ）は注視対象距離検出部における縞模様の変化の説明図。
【図４】利用者の左眼眼球の水晶体の厚さの時間変化の一例を示すグラフ。
【図５】（ａ）は視線検知部の一構成例を示す概略構成図。（ｂ）は眼球の各位置に対応するイメージセンサの水平走査出力信号の模式図。
【図６】ユーザ端末装置を用いたショッピングシステムの一構成例を示す概略構成図。
【図７】利用者がユーザ端末装置を使って商品を購入する処理の一例を説明するためのシーケンス図。
【図８】（ａ）は表示手段を備えたユーザ端末装置の一構成例を示す上面図。（ｂ）は他の構成例に係るユーザ端末装置の上面図。
【図９】画像表示手段を備えたユーザ端末装置の一構成例を示す機能ブロック図。
【図１０】画像表示手段（画像生成部及び画像表示部）の一構成例を示す概略構成図。
【図１１】利用者がユーザ端末装置を介して見る外部視界に画像情報を重ね合わせて表示した画像の説明図。（ａ）は店舗に入店したときに表示される画像の説明図。（ｂ）は本人認証が完了して買い物を開始できるときに表示される画像の説明図。（ｃ）は会計をする前に表示される画像の説明図。
【図１２】商品購入中に利用者が商品を注視しているときに表示される画像の説明図。
【図１３】商品質量を確認する商品質量確認システムの一構成例を示す概略構成図。
【図１４】商品質量を確認する商品質量確認システムを用いたショッピングシステム全体の一構成例を示す概略構成図。
【図１５】ユーザ端末装置を装着した利用者が店舗で買い物をするときの処理の一例を説明するためのシーケンス図。
【図１６】利用者がショーケース内の商品を見ている視界にその商品の情報を重ね合わせて表示している状態の一例を示す説明図。
【図１７】利用者がショーケース内の商品を見ながら、その商品をインターネット上で購入する処理の一例を説明するシーケンス図。
【図１８】他の実施形態に係るユーザ端末装置を利用者が装着して通過するゲートの一構成例を示す概略構成図。
【発明を実施するための形態】
【００１８】
以下、本発明の実施形態を図面に基づいて説明する。
図１は、本発明の一実施形態に係る眼鏡型のユーザ端末装置１の一構成例を示す斜視図である。図２は、ユーザ端末装置１の一構成例を示す機能ブロック図である。
ユーザ端末装置１は、利用者の両眼を覆うように頭に装着し、利用者の眼球を撮像して画像処理により本人認証を行うとともに、眼球の動きや眼のまばたきをスキャンして、利用者が注視し注視対象としての商品を特定して確定し、確定した商品を購入することができるユーザ端末装置である。
【００１９】
ユーザ端末装置１のフレームは、リム２を備えている。このリム２の左右両サイドに、ツルとも呼ばれる一対のテンプル３Ｒ,３Ｌが、それぞれ蝶番４Ｒ,４Ｌ（４Ｌは不図示）により約９０度開閉可能に保持されている。また、一対のメガネレンズ５Ｒ,５Ｌ、一対の鼻パッド６Ｒ,６Ｌ、一対のテンプル３Ｒ,３Ｌの蝶番４Ｒ,４Ｌが設けられた側と反対側の端部にそれぞれ先セル７Ｒ,７Ｌを備えている。
【００２０】
また、ユーザ端末装置１は、右側のテンプル３Ｒの内側に設けられた電源をＯＮ／ＯＦＦするための電源スイッチ８と、リム２の中央上部のフロント側に設けられた利用者の視線の方向における外部視界の画像を撮像する視界撮像手段としての視界同調カメラ９と、リム２の左側のレンズ５Ｌの下部側に設けられた利用者撮像手段の一部としての注視対象距離検出部１０と、リム２の右側のレンズ５Ｒの下部側に設けられた利用者撮像手段の一部としての視線検知部２４とを備えている。
【００２１】
また、ユーザ端末装置１は、図２の機能ブロック図に示すように、ＣＰＵやＲＯＭ等で構成された制御手段としての制御部１４、記憶手段としてのメモリ１５、電源手段としてのバッテリ１６、装着検知部１７、及び通信手段としての通信部２６が、リム２又はテンプル３Ｒ,３Ｌの内部に格納されている。この通信部２６は、例えば、シリアル通信ケーブルを用いた有線通信により、あるいは、赤外線やブルートゥース等の無線通信により、携帯通信端末と通信するように構成される。また、制御部１４は、通信部２６と連携してサーバにアクセス可能に構成してもよい。
【００２２】
制御部１４で実行されるプログラムや制御部１４等で用いられる各種データは、メモリ１５に保存されている。制御部１４に所定のプログラムやデータが読み出されて実行されることにより、後述の各種制御やデータ処理が実行される。
【００２３】
制御部１４は、注視対象距離検出部１０や視線検知部２４で構成された利用者撮像手段で撮像された利用者の眼の画像情報に基づいて、利用者が注視している注視対象を検出する注視対象検出手段としても機能する。
更に、制御部１４は、利用者が購入対象を注視したときに検出された注視対象の画像情報又は注視対象の特徴抽出情報に基づいて購入対象を特定する購入対象特定手段や、前記利用者撮像手段で撮像された利用者の眼の画像情報に基づいて本人か否かを確認する本人認証手段としても機能する。
また、制御部１４は、通信部２６と連携してサーバにアクセスし、前記注視対象の画像情報又は注視対象の特徴抽出情報を、購入対象特定用情報又は通過対象ゲート特定用情報としてサーバに送信する送信手段や、前記サーバが注視対象の画像情報又は注視対象の特徴抽出情報に基づいて検索して特定した購入対象又は通過対象ゲートの情報を前記サーバから受信する受信手段、としても機能する。
また、制御部１４は、通信部２６と連携してサーバにアクセスし、前記利用者の眼の画像情報を本人認証情報としてサーバに送信する本人認証情報送信手段や、前記サーバが前記利用者の眼の画像情報に基づいて利用者が本人か否かを確認した本人認証の結果を前記サーバから受信する認証結果受信手段、としても機能する。
【００２４】
電源スイッチ８は、ユーザ端末装置１の電源をＯＮ／ＯＦＦするための例えば３Ｐトグルスイッチであり、電源ＯＦＦ、ＡＵＴＯ及び電源ＯＮの３つのポジションを取り得る。ここで、ＡＵＴＯポジションは、一対のテンプル３Ｒ,３Ｌを開いた状態で一対の先セル７Ｒ,７Ｌに弱電圧を印加しておき、利用者がユーザ端末装置１を頭に装着したときに、一対の先セル７Ｒ,７Ｌ間に流れる微弱電流を、タッチセンサ等で構成された装着検知部１７が検知することにより、視界同調カメラ９による撮像機能等の動作を開始するように制御される。一方、利用者がユーザ端末装置１を外したときには、撮像機能等の動作を停止するように制御される。また、電源ＯＮポジションでは、電源がＯＮされて撮像機能等が動作するが、利用者がユーザ端末装置１を外した状態で所定時間経過すると自動的に電源がＯＦＦする省電力制御がなされる。なお、電源スイッチ８を設けずに、常に前記ＡＵＴＯポジションでの電源動作と同様にユーザ端末装置１の電源が自動でＯＮ／ＯＦＦされるように構成してもよい。
【００２５】
視界同調カメラ９は、ＣＣＤカメラ又はＣＭＯＳカメラ等の固体撮像素子で構成され、ユーザ端末装置１のリム２の中央上部に配設され、利用者が見ている前方視界を撮像する。この視界同調カメラ９は、利用者が注視した商品を拡大して撮影できるようにズーム機能を有してもよい。
【００２６】
なお、図１の構成例において、視界同調カメラ９は、視界撮像手段として用いられるとともに、視界における利用者の視線方向を検出する簡易型の視線方向検出手段としても用いられている。本構成例の視界同調カメラ９は、撮像画像の中心が利用者の視界の略中央に位置するように設けられ、その視界同調カメラ９で撮像した撮像画像の中心（利用者の視界の略中央）に向かう方向が利用者の視線方向であると推定することにより、利用者の視線方向を検出する。ここで、利用者が頭部の姿勢を変えて視線方向を変化させると、その視線方向の変化に応じて、利用者の頭部に装着されているユーザ端末装置１の視界同調カメラ９の撮像方向が変化し、その視界同調カメラ９で撮像した撮像画像の中心（利用者の視界の略中央）に向かう方向が、利用者の視線方向であると推定することができる。
【００２７】
図３（ａ）は、注視対象距離検出部１０の一構成例を示す概略構成図であり、図３（ｂ）は注視対象距離検出部１０における縞模様の変化の説明図である。本構成例の注視対象距離検出部１０は、縞模様の赤外光を利用者の眼球の水晶体を含む領域に照射し、水晶体から反射した赤外光の縞模様の変化に基づいて水晶体の厚さを測定し、この測定結果から注視対象までの距離を算出するものである。図３（ａ）において、注視対象距離検出部１０は、赤外光を放射する発光ダイオード等の光源１０１、偏光フィルタ１０２、投光レンズ１０３、受光レンズ１０４、ＣＣＤ又はＣＭＯＳ等の固体撮像素子からなるイメージセンサ１０５、焦点距離演算手段１０６から構成されている。
【００２８】
偏光フィルタ１０２は、光源１０１から照射された赤外光を格子状の縞模様に偏光フィルタリングする偏光フィルタである。この格子状の縞模様は、格子を形成する複数本の縦線及び横線の線間隔が同一であり、この線間隔が水晶体の直径よりも十分に狭い間隔（例えば、直径の数分の１〜数十分の１の間隔）である。
【００２９】
光源１０１から照射された赤外光は、偏光フィルタ１０２により格子状の縞模様に偏光フィルタリングされた後、投光レンズ１０３を通過後、格子縞の赤外光Ｃとなって利用者の左眼１００Ｌの眼球の水晶体を含む領域を照射する（図３（ｂ）参照）。水晶体にて反射した赤外光Ｃは受光レンズ１０４を介してイメージセンサ１０５上に縞模様の画像Ｉを結像する。イメージセンサ１０５では、一定時間毎（例えば、１／３０秒毎）に、画像Ｉを画像信号として焦点距離演算手段１０６に送信する。
【００３０】
焦点距離演算手段１０６は、図３（ｂ）に示すように、イメージセンサ１０５からの画像信号が入力される毎に、入力された画像Ｉに対してレンズ歪みを補正するとともに画像の傾きを台形補正し、補正を施した画像Ｉ’を取得する。レンズ歪みは、受光レンズ１０４等の特性に応じて発生する。また、画像の傾きは、利用者の水晶体の位置と受光レンズ１０４との位置関係に応じて発生する。補正後の画像Ｉ’は、レンズ歪みがなくかつ水晶体を真正面から撮像した画像に相当する。なお、更に前処理として、入力画像から格子模様を検知し易くするために、画像に対してノイズ除去やフィルタリングなどを行ってもよい。
【００３１】
また、焦点距離演算手段１０６は、補正後の画像Ｉ’中の格子模様Ｓをトレースし、格子模様Ｓを抽出する。この格子模様Ｓは、水晶体に映っている部分では水晶体の曲面に沿って歪んでおり、照射時の直線で構成される格子模様から曲線で構成される格子模様となっている。
【００３２】
焦点距離演算手段１０６は、抽出した格子模様Ｓからその各曲線の曲率や各曲線間の間隔（縦線間隔、横線間隔）を算出する。さらに、焦点距離演算手段１０６では、格子模様Ｓの曲率や線間隔に基づいて水晶体の曲率を算出し、水晶体の曲率に基づいて水晶体の厚さを算出する。
【００３３】
水晶体は、外から入ってくる光を屈折させて網膜上に焦点を合わせるための凸状のレンズであり、チン氏帯を介して毛様筋が繋がっている。近くのものを見る場合、毛様筋が収縮し、チン氏帯が弛むことにより、水晶体の厚さが厚くなる（曲率が大きくなる）。また、遠くのものを見る場合、毛様筋が弛緩し、チン氏帯が引っ張られることにより、水晶体の厚さが薄くなる（曲率が小さくなる）。このように、人は、見る物体までの距離に応じて、水晶体の厚さを無意識に伸縮させて焦点距離を調節している。水晶体の厚さは、一般に、通常時には３．６ｍｍ程度であり、最大時には４．０ｍｍ程度である。また、水晶体を正面から見たときの直径は、一般に、９〜１０ｍｍ程度である。
【００３４】
図４は、利用者の左眼１００Ｌの水晶体の厚さの時間変化の一例を示している。利用者の眼が注視対象に合焦しているか否かは、例えば次のように判断してもよい。図中の符号Ｔ０で示す時間帯では、その前後の時間帯に比べて、水晶体の厚さが厚くなっている時間が継続しており、焦点距離が短く、すなわち近くの注視対象に合焦していると判断することができる。一方、水晶体の厚さが薄くなっている時間が所定時間継続した場合には、遠くの注視対象に合焦していると判断することができる。
【００３５】
図５（ａ）は、視線方向検出手段としての視線検知部２４の一構成例を示す概略構成図であり、図５（ｂ）は眼球の各位置に対応するイメージセンサの水平走査出力信号の模式図である。視線検知部２４は、ユーザ端末装置１を装着した利用者が右側のメガネレンズ５Ｒを通して外部視界を見ているときの右眼眼球の視線の方向を検知するものである。また、本人認証手段として機能する制御部１４は、ユーザ端末装置１の利用者の目の画像に基づいて本人か否かを確認する本人認証を行う。
【００３６】
図５（ａ）において、視線検知部２４は、赤外光を放射する発光ダイオード等の光源２４１と、投光レンズ２４２と、受光レンズ２４３と、ＣＣＤ又はＣＭＯＳ等の固体撮像素子などからなる撮像手段としてのイメージセンサ２４４と、視線演算手段２４５とを備えている。また、視線演算手段２４５には、制御部１４で実現される虹彩認証手段２５１が接続されている。
【００３７】
視線検知部２４において、光源２４１より射出した赤外光は投光レンズ２４２を通過後、略平行光となって右眼１００Ｒの角膜を照射する。そして、角膜を通過した赤外光は虹彩を照射する。角膜の表面で拡散反射した赤外光は、受光レンズ２４３を介してイメージセンサ２４４上に導光され、角膜像を結像する。同様に、虹彩の表面で拡散反射した赤外光は、受光レンズ２４３を介してイメージセンサ２４４上に導光され、虹彩像を結像する。イメージセンサ２４４からの出力は、図５（ｂ）に示すように、角膜像が結像された角膜反射像スポット位置が他に比べて著しく電位が高くなる。視線演算手段２４５は、この角膜反射像スポット位置に基づいて、右眼１００Ｒが真っ直ぐ前を向いているときの眼球の中心線からの回転角を算出する。そして、この算出した回転角に基づいて、右眼１００Ｒの視軸を求め、前方視界における利用者の相対的な視線の方向を検知している。
【００３８】
虹彩認証手段２５１は、上記視線演算手段２４５から受信した虹彩像を画像解析して抽出した個人に固有な特徴と、メモリ１５に記憶されている利用者の虹彩の固有な特徴とをパターン認識により比較して本人認証を行う。図５（ｂ）に示すように虹彩１００Ｋは瞳孔の回りの部分であり、一人ひとりに固有の模様があり、幼児期を除いてその模様はほぼ変化しない。この虹彩１００Ｋの複雑な模様をデジタル画像解析して個人に固有な特徴を抽出することにより虹彩認証を行うことができる。これにより、ユーザ端末装置１をあらかじめ登録した本人のみが使用することができ、他人による不正使用を防止することができる。なお、上記虹彩認証に限らず網膜認証により本人認証を行ってもよい。
【００３９】
図６は、ユーザ端末装置１を用いて店舗で商品を購入するショッピングシステムの一構成例を示す概略構成図である。図６に示すように、ショッピングシステムは、ユーザ端末装置１と近距離無線又は有線により通信可能な通信端末装置としての携帯電話機等の携帯通信端末４０と、移動体通信網４１に接続されたショッピング支援サーバ４２と、インターネット通信網４３に接続しユーザ端末装置１と近距離無線により通信可能な店舗内商品管理サーバ４４とを備えている。ショッピング支援サーバ４２は、ユーザ端末装置１で購入した商品の決済処理を行ったり購入履歴を記憶したりする、ユーザ端末装置１を用いたショッピングを支援するサーバである。ショッピング支援サーバ４２には、利用者ＩＤなどの利用者情報と、クレジットカード情報、利用者口座番号及び与信情報などの決済に必要な情報が保存されている。また、ショッピング支援サーバ４２は、各利用者の認証用情報を予め保存しておき、ユーザ端末装置１からの認証要求に基づいて、利用者についての認証処理を行うようにしてもよい。また、店舗内商品管理サーバ４４は、利用者が購入を希望する商品の情報を管理したり、購入代金の請求情報をショッピング支援サーバ４２に送信したりする管理サーバである。店舗内商品管理サーバ４４には、店舗内の商品について、品番、品名、メーカー情報、価格、質量等の商品情報が保存されている。
【００４０】
図７は、上記ショッピングシステムにより利用者が店舗で商品を購入するときの処理の一例を示すシーケンス図である。図７において、利用者はユーザ端末装置１の電源をＯＮにして、店舗に入店する（ステップ１,２）。すると、店舗内商品管理サーバ４４が利用者の入店を確認する（ステップ３）。店舗に入店するとユーザ端末装置１は虹彩認証により利用者の本人認証を行う（ステップ４）。利用者は店舗内で購入を希望する商品があればその商品に視線を合わせる（ステップ５）。すると、ユーザ端末装置１の視界同調カメラ９が商品をロックオンし画像認識により商品を特定する（ステップ６）。利用者が購入を確定する場合には、その商品を注視しながら例えば素早く２回まばたきをして、その商品をショッピングカートに入れる（ステップ７）。ユーザ端末装置１は利用者の２回のまばたきを検知し、画像認識で特定していた商品を確定し、商品確定情報を店舗内商品管理サーバ４４に送信する（ステップ８,９）。店舗内商品管理サーバ４４ではメモリ上のカート内に確定した商品情報を蓄積する（ステップ１０）。このとき、携帯通信端末４０に購入商品情報を蓄積しておいてもよい（ステップ１１）。利用者はショッピングを継続し（ステップ１２）、ショッピングを終了する場合には店舗出口に向かう（ステップ１３）。店舗出口付近の店舗内で携帯通信端末４０の表示部には購入した商品の合計金額と購入商品一覧が表示され（ステップ１４）、引き続き、購入確認画面が表示される（ステップ１５）。利用者は購入確認画面を注視し、２回まばたきして購入を決定する（ステップ１６）。これにより、店舗内商品管理サーバ４４では、購入代金請求処理を行い、購入代金の代金請求情報をショッピング支援サーバ４２に送信する（ステップ１７,１８）。代金請求情報を受信したショッピング支援サーバ４２では、与信情報に基づいて購入代金の決済処理を行い、決済完了通知を店舗内商品管理サーバ４４と携帯通信端末４０とに送信する（ステップ１９,２０）。携帯通信端末４０の表示部に決済完了が表示され、利用者は購入した商品を持って店舗を出店する（ステップ２１,２２）。
【００４１】
一方、口座の残高不足等によりショッピング支援サーバ４２で決済ができない場合には、決済不可通知が送信される（ステップ２３）。決済不可通知を受信した店舗内商品管理サーバ４４は店舗出口付近に設けた警報装置により音声又は光もしくはゲートクローズ等のアラーム出力を行う（ステップ２４）。また、決済不可通知は携帯通信端末４０の表示部にも表示される（ステップ２５）。この場合には利用者は現金で決済するか、あるいは、商品を購入せずに店舗を出ることになる（ステップ２６）。
【００４２】
なお、図７の例では、ユーザ端末装置１の視界同調カメラ９で撮像した商品の画像について画像認識を行って注視対象の商品を特定し、その商品確定情報を店舗内商品管理サーバ４４に送信しているが、視界同調カメラ９で撮像した商品の画像情報又はその画像から得られた商品の特徴抽出情報を店舗内商品管理サーバ４４に送信してもよい。この場合、店舗内商品管理サーバ４４は、ユーザ端末装置１から受信した商品の画像情報又は特徴抽出情報に基づいて、サーバ内に予め構築された商品データベースを検索して注視対象の商品を特定する。この店舗内商品管理サーバ４４で特定された商品の情報が、利用者の購入対象商品として店舗内商品管理サーバ４４内に記録されたりユーザ端末装置１に送信されたりする。
また、ユーザ端末装置１は、注視対象の商品に備えられた無線商品タグとしての無線ＩＣタグであるＲＦＩＤ（Radio Frequency IDentification）タグ（以下「ＲＦタグ」という。）から、注視対象の商品の特定や商品詳細情報の検索に使用可能な情報（例えば、名称、識別情報、種別情報等の情報）を近距離無線通信により受信してもよい。商品のＲＦタグから取得した情報は、店舗内商品管理サーバ４４に送信される。この商品のＲＦタグから取得した情報は、上記注視対象の商品の画像情報、注視対象の特徴抽出情報及び後述の姿勢変化の検出結果の情報のいずれかとともに上記店舗内商品管理サーバ４４に送信してもよいし、又は、それらの情報に代えて上記店舗内商品管理サーバ４４に送信してもよい。上記ＲＦタグから取得した情報を用いることにより、注視対象の商品の特定や商品詳細情報の検索の精度が向上する。
【００４３】
また、本実施形態に係るユーザ端末装置１において、利用者が見ている前方視界の中に、利用者の注視点を示す視線マーク（視線カーソル）や様々な情報の画像を重ね合わせて表示する画像表示手段を設けてもよい。前方視界に重ね合わせて利用者が視認できるように情報を表示する表示手段の画像表示方式としては、網膜に直接走査するものやコンバイナ光学系を用いたもの等、各種の画像表示方式を用いることができる。
【００４４】
図８（ａ）は、網膜走査型の画像表示方式を採用した場合の構成例を示している。この網膜走査型の画像表示手段を設けたユーザ端末装置１では、走査用の光学系１２４が右レンズ５Ｒの前方に配設されている。
また、図８（ｂ）は、コンバイナ光学系１２５を用いた画像表示方式を採用した構成例を示している。コンバイナ光学系１２５は、例えば内部に偏光ビームスプリッタと１／４波長板と主反射面とを有する平板状の透明基板で構成され、右レンズ５Ｒの中に埋め込むように設けられる。コンバイナ光学系１２５は、右側のテンプル３Ｒの内側にある光源の画像表示面から出射した表示光束を使用者の眼の方向に導くように構成されている。
【００４５】
図９は、網膜走査型の画像表示方式を採用した画像表示手段を備えたユーザ端末装置１の一構成例を示す機能ブロック図であり、図１０は同画像表示手段の一構成例を示す概略構成図である。なお、図９に示す構成のうち、図２の構成と共通する部分については、説明を省略する。
【００４６】
図９において、ユーザ端末装置１は、画像表示手段としての画像生成部１１、画像表示部１２、表示制御部１３及び姿勢変化検出部２８を更に備えている。画像生成部１１は、制御部１４から受信した画像信号に基づいて表示用の画像信号を生成し、画像表示部１２は、利用者が見ている前方視界の中に、利用者の注視点を示す視線マークの画像や商品に関連した関連情報の画像などを重ね合わせて表示する。
【００４７】
表示制御部１３は、視界同調カメラ９で撮像された視界の画像情報、視線検知部２４で検出された視線方向の検出結果、並びに姿勢変化検出部２８の検出結果の少なくとも一つに基づいて、視界における注視対象の位置と関連情報の表示位置とが所定の位置関係になるように関連情報の表示位置を制御する。
また、表示制御部１３は、前方視界における注視対象の位置と関連情報の表示位置とのずれが所定範囲よりも大きくなった場合は、関連情報の表示を停止するように制御してもよい。
また、表示制御部１３は、表示する画像の形成位置（焦点位置）を、利用者が注視対象を見ているときの視線が合焦している位置に合わせるように変化させるための像形成位置可変手段（焦点距離調整部）としても機能する。
【００４８】
姿勢変化検出部２８は、例えば１軸、２軸又は３軸の加速度センサで構成され、ユーザ端末装置１に作用する加速度を検知することにより、利用者の頭部の姿勢変化に伴うユーザ端末装置１の姿勢変化を検出する姿勢変化検出手段として機能する。姿勢変化検出部２８を構成する加速度センサは、重力方向を検知可能なもの（絶対加速度を検知可能なもの）を用いてもよい。姿勢変化検出部２８は、例えば、所定のタイミングに検出したユーザ端末装置１の姿勢を基準姿勢とし、その利用者の頭部の基準姿勢からの姿勢変化（例えば、基準姿勢からのロール角、ピッチ角及びヨー角それぞれの角度変化分の値、又は、ユーザ端末装置１の姿勢変化に起因して発生した加速度の値）を、検出結果として出力する。上記基準姿勢の検出タイミングは、例えば、ユーザ端末装置１の利用を開始したタイミングや所定操作を行ったタイミングでもよいし、利用者が注視している注視対象を特定したタイミングであってもよい。
なお、姿勢変化検出部２８は、加速度センサとともに又は加速度センサに代えて地磁気センサを備え、ユーザ端末装置１に定義された座標を基準にして地磁気センサで検出される方位情報に基づいてユーザ端末装置１の姿勢変化を検出するように構成してもよい。
【００４９】
また、姿勢変化検出部２８によって検出されたユーザ端末装置１の姿勢変化の検出結果は、視界内において利用者が注視している注視対象を特定するときに、例えば次の（１）〜（３）を含む様々な制御に用いることができる。
【００５０】
（１）利用者の頭部及び視線のぶれ防止制御：
利用者が注視しようとしている注視対象が同じであるにもかかわらず、何らかの理由により、ユーザ端末装置１を装着している利用者の頭部に振動やふらつき等のぶれが発生する場合がある。利用者の頭部にぶれが発生すると、その頭部に装着したユーザ端末装置１の視界同調カメラ９で撮像される視界の画像における視線方向もぶれてしまうため、その撮像画像や視線方向に基づいて特定する利用者の注視対象の特定精度が低下するおそれがある。そこで、姿勢変化検出部２８によって検出されたユーザ端末装置１の姿勢変化の検出結果に基づいて、視界同調カメラ９で撮像される視界の画像における視線方向を補正する制御を行うことにより、注視対象の特定精度を向上させることができる。
【００５１】
（２）注視対象の特定処理の軽減制御：
視界同調カメラ９で撮像した視界の画像の撮像及び視線方向の検出結果に基づく注視対象の特定処理を頻繁に実行すると、ユーザ端末装置１における処理の負荷が大きくなってしまうおそれがある。そこで、ユーザ端末装置１の姿勢が大きく変化したときに、そのユーザ端末装置１を装着した利用者が注視している注視対象が変わった可能性が高い点に着目し、ユーザ端末装置１の姿勢変化の検出結果（姿勢変化量）が、予め設定した閾値の範囲よりも大きくなったときに、視界同調カメラ９による視界の画像の撮像処理及び視線方向の検出処理を行うとともに、それらの視界の画像及び視線方向の検出結果に基づく注視対象の特定処理を行うように制御する。これにより、ユーザ端末装置１における処理の負荷の増大を回避しつつ、利用者の注視対象を特定できるようになる。
【００５２】
（３）注視対象の特定処理の補完制御：
視界同調カメラ９による視界の画像の撮像処理や視線方向の検出処理が、ユーザ端末装置の姿勢変化（利用者の頭部の姿勢変化）に追従できない場合がある。この場合は、視界の撮像画像や視線方向に基づいて利用者の注視対象をリアルタイムに特定することができなかったり、特定する利用者の注視対象の特定精度が低下したりするおそれがある。そこで、視界同調カメラ９による視界の画像の撮像処理や視線方向の検出処理に必要な処理時間に基づいて、その撮像処理及び視線方向の検出処理を行うインターバルを予め設定しておく。そして、視界の撮像画像や視線方向に基づいて利用者の注視対象を特定した後、その後に到来する次の撮像・視線検出タイミングまでは、ユーザ端末装置１の姿勢変化の検出結果に基づいて、直近の撮像済みの視界の画像及び検出済みの視線方向を補完することにより、注視対象を特定するように制御する。この制御により、注視対象の特定精度が低下することなく、利用者の注視対象をリアルタイムに特定することができる。
【００５３】
図１０において、制御部１４から供給される画像信号を処理するための光源ユニット部１１０が設けられている。光源ユニット部１１０は、制御部１４からの画像信号が入力され、それに基づいて画像を生成するための画像信号を発生する画像信号供給部１１１が設けられ、この画像信号供給部１１１から画像信号１１２、垂直同期信号１１３及び水平同期信号１１４が出力される。また、光源ユニット部１１０には、画像信号供給部１１１から伝達される画像信号１１２をもとに強度変調されたレーザ光を出射する光源としてのレーザ発振部１１５が設けられている。
【００５４】
また、光源ユニット部１１０側から導かれたレーザ光をガルバノミラー１２１ａを利用して垂直方向に走査する走査光学系としての垂直走査系１２１と、垂直走査系１２１によって走査されたレーザ光を後述する水平走査系１２２に導く第１リレー光学系（レンズ群）１２３と、垂直走査系１２１に走査され、第１リレー光学系１２３を介して入射されたレーザ光を、ガルバノミラー１２２ａを利用して水平方向に走査する走査光学系としての水平走査系１２２と、水平走査系１２２によって走査されたレーザ光を利用者の右眼１００Ｒの瞳孔に入射させる第２リレー光学系（レンズ群）１２４とが設けられている。
【００５５】
垂直走査系１２１は、表示すべき画像の１走査線ごとに、レーザビームを垂直方向に垂直走査する垂直走査を行う光学系である。また、垂直走査系１２１は、レーザビームを垂直方向に走査する光学部材としてのガルバノミラー１２１ａと、そのガルバノミラー１２１ａの駆動制御を行う垂直走査制御部１２１ｂとを備えている。
【００５６】
これに対し、水平走査系１２２は、表示すべき画像の１フレームごとに、レーザビームを最初の走査線から最後の走査線に向かって水平に走査する水平走査を行う光学系である。また、水平走査系１２２は、水平走査する光学部材としてのガルバノミラー１２２ａと、そのガルバノミラー１２２ａの駆動制御を行う水平走査制御部１２２ｂとを備えている。
【００５７】
また、垂直走査系１２１、水平走査系１２２は、各々画像信号供給部１１１に接続され、画像信号供給部１１１より出力される垂直同期信号１１３、水平同期信号１１４にそれぞれ同期してレーザ光を走査するように構成されている。
【００５８】
上記構成の走査光学系によって利用者の網膜上に画像を表示する処理は、例えば次のように行われる。図１０に示すように、光源ユニット部１１０に設けられた画像信号供給部１１１が制御部１４からの画像信号の供給を受けると、画像信号供給部１１１は、例えば白色レーザ光を出力させるための画像信号１１２と、垂直同期信号１１３と、水平同期信号１１４とを出力する。画像信号１１２に基づいて、レーザ発振器１１５はそれぞれ強度変調されたレーザ光を発生し、垂直走査系１２１に出力する。垂直走査系１２１のガルバノミラー１２１ａに入射したレーザ光は、垂直同期信号１１３に同期して垂直方向に走査されて第１リレー光学系１２３を介し、水平走査系１２２のガルバノミラー１２２ａに入射する。ガルバノミラー１２２ａは、ガルバノミラー１２１ａが垂直同期信号に同期すると同様に水平同期信号１１４に同期して、入射光を水平方向に反射するように往復振動をしており、このガルバノミラー１２２ａによってレーザ光は水平方向に走査される。垂直走査系１２１及び水平走査系１２２によって垂直方向及び水平方向に２次元に走査されたレーザ光は、第２リレー光学系１２４に導かれる。第２リレー光学系１２４は、図１０に示すように、右側のメガネレンズ５Ｒの前方に設けられており、この第２リレー光学系１２４で略直角に屈折したレーザ光は、利用者の右眼眼球へ入射され、網膜上に投影される。利用者はこのように２次元走査されて網膜上に投影されたレーザ光による画像を認識することができる。なお、第２リレー光学系１２４はハーフミラーにより構成されているので、利用者の右眼の視界を妨げないようになっている。
【００５９】
図１１（ａ）〜（ｃ）は、上記構成の画像表示手段により、ユーザ端末装置１を装着した利用者の右眼に表示される画像の一例を示す説明図である。
図１１（ａ）は、利用者が店舗に入店したときに、買い物をするか否かの確認をするための表示画像であり、Ｙｅｓキー５１及びＮｏキー５２のソフトキーも同時に表示される。利用者は買い物をする場合、Ｙｅｓキー５１に視線を合わせて素早く２回まばたきをする。これにより、ショッピングモードになり、商品の購入処理動作が開始する。一方、Ｎｏキー５２に視線を合わせて素早く２回まばたきするとショッピングモードにはならずに、この表示画像が消去される。
図１１（ｂ）は、ショッピングモードになった直後に表示される画像であり、利用者の本人認証が完了し、買い物が開始できる状態になったことを示している。つまり、ユーザ端末装置１では本人のみが商品を購入することができ、他人がユーザ端末装置１を使って商品を購入することはできないようになっている。
図１１（ｃ）は、店舗での買い物が終了して店舗出口付近で会計をするときに表示される画像である。利用者は会計をする場合、Ｙｅｓキー５１に視線をあわせて素早く２回まばたきをする。これにより、決済処理がなされ、決済が完了すれば、購入した商品を持って店舗から出ることができる。一方、利用者が会計を希望しない場合には、Ｎｏキー５２に視線を合わせて素早く２回まばたきをする。この場合には、商品を購入しないことにしたので、元の場所に商品を戻すか、ショッピングカートごと店員に引き渡すことになる。
【００６０】
図１２は、商品購入中に表示される画像の一例である。図１２に示すように、右眼の視線に追従して移動する視線マーク５３が表示される。また、左側には詳細情報キー５４、右側には購入キー５５、画面の下側には合計金額表示部５６、購入した商品を確認するためのカート内確認キー５７、お薦め情報キー５８、店舗情報キー５９等のソフトキーが表示される。図１２において、利用者が店舗の商品６０である例えばスイカに視線を合わせると、ユーザ端末装置１は商品ラベル６０ａのバーコードを読み取って店舗内商品管理サーバ４４と通信を行い商品６０の詳細情報を取得する。そして、利用者が詳細情報キー５４に視線を合わせて素早く２回まばたきすると、その商品の詳細な情報が表示される。例えば、商品６０の価格、質量、品種、生産者の氏名、産地、農薬の散布履歴などが表示される。また、左下側の合計金額表示部５６にはショッピングカートに入れた購入商品の合計金額が表示されるので、利用者は予算内での買い物が可能である。
【００６１】
上記ショッピングシステムでは、商品の合計質量に基づいて、ユーザ端末装置１で購入した商品と、実際にショッピングカートに入っている商品とを確認してもよい。これにより、利用者がユーザ端末装置１で購入を確定した商品をショッピングカートに入れ忘れたり、逆に、購入を確定していない商品がショッピングカートに入っていたりすることを防止できる。
【００６２】
図１３は、商品の合計質量を確認する商品質量確認システムの一構成例を示す概略構成図である。図１３において、商品質量確認システムは、店舗内の店舗出口付近の出口ゲート６３ｅの床部に設けられた質量測定手段としての質量計６１と、この質量計６１に接続され質量計６１の測定結果を店舗内商品管理サーバ４４に送信する質量測定結果送信手段としての質量検知部６２と、入口ゲート６３ｉと出口ゲート６３ｅとに接続されたレジ装置６３と、アラームを出力する警報出力部６４と、ショッピングカート６５とを用いて構成されている。
【００６３】
図１４は、商品質量確認システムを用いたショッピングシステムの概略構成説明図である。図１４において、店舗Ｓの入口には入口ゲート６３ｉが設置されていて、ユーザ端末装置１を装着した利用者の入店を検知する。一方、店舗Ｓの出口側には出口ゲート６３ｅが設置されていて、ユーザ端末装置１を装着した利用者の出店を検知するようになっている。
【００６４】
図１５は、ユーザ端末装置を装着した利用者が店舗で買い物をするときの処理の一例を説明するためのシーケンス図である。図１５において、ユーザ端末装置１を装着した利用者が入口ゲート６３ｉを通過して店舗Ｓに入店すると、レジ装置６３が利用者の入店を検知して、入店検知情報をユーザ端末装置１に送信する（ステップ１,２）。入店検知情報を受信したユーザ端末装置１は店舗Ｓに入店したことを表示して利用者に知らせる（ステップ３）。利用者は、店舗Ｓでショッピングを開始する旨の指示を、眼のまばたき等によりユーザ端末装置１で携帯通信端末４０を介して、ショッピング支援サーバ４２に送信する（ステップ４）。ショッピング開始の指示情報を受信したショッピング支援サーバ４２では、ユーザ端末装置１を装着した利用者についての本人認証を行う（ステップ５）。なお、本人認証は決済時に行ってもよい。
【００６５】
次に、利用者は購入したい商品があれば眼のまばたき等によりその商品を特定し、ユーザ端末装置１で商品のバーコード等から商品情報を読み取って店舗内商品管理サーバ４４に送信する（ステップ６,７）。商品情報を受信した店舗内商品管理サーバ４４では、その商品を検索し、商品情報をユーザ端末装置１に送信する（ステップ８,９）。商品情報を受信したユーザ端末装置１はその商品情報を表示して利用者に認識させる（ステップ１０）。利用者は商品情報を見て商品を購入する場合には眼のまばたき等により購入を確定し、ユーザ端末装置１は購入確定情報を記憶する（ステップ１１）。同時に利用者はその商品をショッピングカート６５に入れる。以後、ショッピングを続ける場合には、利用者は上記ステップ６,７,１０,１１を繰返し（ステップ１２）、店舗内商品管理サーバ４４では上記ステップ８,９の処理を繰り返す（ステップ１３）。
【００６６】
次に、利用者がショッピングを終えて店舗Ｓの出口ゲート６３ｅを通過しようとすると、レジ装置６３が利用者の出店を検知して、出店検知情報をユーザ端末装置１に送信する（ステップ１４）。出店検知情報を受信したユーザ端末装置１では、商品の購入を確定した購入情報を店舗内商品管理サーバ４４に送信する（ステップ１５）。また、レジ装置６３では、出口ゲート６３ｅの通路部分に設けられた質量計６１で商品６０を収容したショッピングカート６５の質量を測定し、ショッピングカート６５自体の質量を差し引いてカート内商品のみの質量情報を店舗内商品管理サーバ４４に送信する（ステップ１６，１７）。購入情報と質量情報とを受信した店舗内商品管理サーバ４４では、購入情報から算出した商品の合計質量と、レジ装置６３からの質量情報とを比較する（ステップ１８）。これらの質量が一致していれば、ショッピングカート６５内に利用者がユーザ端末装置１で購入を確定した商品６０が正しく入っているものとみなして、購入代金の請求処理を行うべく、ショッピング支援サーバ４２に購入情報を送信する（ステップ１９）。なお、質量の比較において、両者が完全に一致していなくてもよく、所定の誤差範囲内に収まっていれば一致しているものとみなしてよい。
【００６７】
購入情報を受信したショッピング支援サーバ４２では、決済情報を携帯通信端末４０を介してユーザ端末装置１に送信する（ステップ２０）。決済情報を受信したユーザ端末装置１では、合計金額等を表示し、利用者は眼のまばたき等により決済する旨の決済指示を行い、ショッピング支援サーバ４２に送信する（ステップ２１,２２）。決済指示を受信したショッピング支援サーバ４２は決済処理を行い、決済結果を店舗内商品管理サーバ４４を介してレジ装置６３に送信する（ステップ２３,２４）。決済結果を受信したレジ装置６３は出口ゲート６３ｅをオープンし、利用者を出店させる（ステップ２５,２６）。
【００６８】
なお、上記ステップ１８において、購入情報から算出した商品の合計質量と、レジ装置６３からの質量情報とを比較した結果、これらの質量の差が所定の誤差範囲内に収まっておらず、一致しないと判断された場合には、警報出力部６４からアラームを出力し、利用者を有人レジに案内する。また、上記ステップ２４において、決済口座に残高がないこと等により決済ができなかった場合も、警報出力部６４からアラームを出力し、利用者を有人レジに案内し、現金での決済を促す。
【００６９】
また、図１３〜１５の実施形態において、店舗内の商品に無線商品タグとしての無線ＩＣタグであるＲＦタグを設けてもよい。店舗内商品管理サーバ４４は、第１の商品情報取得手段としてユーザ端末装置１から購入を確定した商品の情報を無線通信により取得する。一方、第２の商品情報取得手段としてショッピングカート６５に収容された商品の情報をＲＦタグから取得する。店舗内商品管理サーバ４４では、ユーザ端末装置１からの情報とＲＦタグからの情報とを比較し、相違がないか否かを確認する。この比較処理は、利用者がショッピングカート６５を押して出口ゲート６３ｅを通過するときに行い、相違がなければ購入代金決済処理を行い、相違がある場合にはユーザを有人レジに案内する。
【００７０】
また、上記図１３〜１５の例では、ショッピングカートを用いて買い物を行う場合について説明したが、ショッピングカートの代わりに買い物かごを用いて買い物を行うようにしてもよい。この場合、購入を確定した商品が収容された買い物かごの質量が、レジカウンタなどに設置された質量計６１で測定され、その測定値から買い物かご自体の質量が差し引かれ、買い物かご内商品のみの質量情報が店舗内商品管理サーバ４４に送信される。
【００７１】
なお、上述の図１５の例では、ユーザ端末装置１を用いて店舗内で商品を購入する場合について説明したが、店舗のショーケース内の商品を見つめることにより、その商品情報を検索して表示し、さらにインターネット上のオンラインショップで当該商品を購入することもできる。
【００７２】
図１６は、利用者が店舗のショーケース内の商品の１つに視線マークを合わせて注視することにより、利用者が見ている視界にその商品の情報を重ね合わせて表示している状態の説明図である。図１６に示すように、利用者が視線マーク５３をショーケース内の商品６０に合わせると、利用者が見ている視界にその商品の情報８０が重ね合わされて表示される。商品の情報８０としては、例えば、商品名、メーカブランド名、モデル名などがある。また、利用者の眼の操作により、サブメニューとして更に詳細な情報、例えば、その商品の詳細情報、価格情報、他店との比較情報、オンラインショッピング情報などを表示することができる。
【００７３】
図１７は、利用者がショーケース内の商品を見ながら、その商品をインターネット上で購入する処理の一例を説明するシーケンス図である。図１７において、利用者はユーザ端末装置１の電源をＯＮにして装着する（ステップ１）。ユーザ端末装置１は利用者の本人認証を行い、認証結果をショッピング支援サーバ４２に送信する（ステップ２）。利用者はショーケースの中を見て気に入った商品に視線マーク５３を合わせて注視する（ステップ３）。すると、ユーザ端末装置１は画像認識を行い、利用者が視線マーク５３を合わせて注視している商品を特定する（ステップ４）。その商品の画像をショッピング支援サーバ４２に送信し、これを受信したショッピング支援サーバ４２はその商品の情報を検索し、ユーザ端末装置１に送信する（ステップ５）。ユーザ端末装置１では、利用者が見ている視界にその商品の情報を重ね合わせて表示する（ステップ６）。利用者は眼を動かして表示された画像の中からオンラインショッピングを選択すると、サブメニューとしてオンラインショップのサイトが表示される（ステップ７,８）。利用者はオンラインショップの情報を見ながら、ショーケース内の商品の価格と比較したり、納期を確認したりして、オンラインショップで購入することを決めた場合には、購入キーに視線マーク５３を合わせた状態で、例えば、２回まばたきをして、商品の購入を決定する（ステップ９）。すると、オンラインショップサーバで商品購入の受付がなされ（ステップ１０）、ショッピング支援サーバ４２に代金請求情報が送信される（ステップ１１）。代金請求情報を受信したショッピング支援サーバ４２では利用者の与信情報に基づいて購入代金の決済処理を行い、その結果をオンラインショップサーバに送信する（ステップ１２）。オンラインショップサーバから決済完了通知がユーザ端末装置１に送信され、ユーザ端末装置１は決済の完了を表示する（ステップ１３,１４）。また、オンラインショップサーバでは商品の発送処理を行い、購入した商品が利用者の自宅等に宛てて宅配される（ステップ１５,１６）。
【００７４】
なお、利用者が視線マーク５３を合わせて注視する商品は、店舗等のショーケース内の商品に限らず、電車内の広告等に記載されている商品の画像や、商品の画像が描かれた看板などであってもよい。
【００７５】
また、本実施形態のユーザ端末装置１は、店舗における商品の購入だけでなく、例えば、コンサート会場の入場ゲートに連動させて、利用者の入場の可否に使用することもできる。
【００７６】
図１８は、利用者がユーザ端末装置１を装着して通過することができるコンサート会場の入場ゲートの一例を示す説明図である。図１８において、一人づつ通過する自動入場ゲート装置７０が３基設置されており、これらの自動入場ゲート装置７０の上部にはゲートブリッジ７１が設置されている。ゲートブリッジ７１にはそれぞれの通路に対応する真上の部分に注視対象としてバーコードラベル７１ａが３つ貼付されている。
【００７７】
予めコンサートのチケットを購入した利用者は、ユーザ端末装置１を装着して、自分が通る自動入場ゲート装置７０を適宜選び、その通路の前方真上のバーコードラベル７１ａを注視しながら自動入場ゲート装置７０に進入する。ユーザ端末装置１は、このバーコードラベル７１ａを読み取ってその情報を解析し、解析した情報に基づいて虹彩認識により利用者の本人認証を行い、近距離無線によりゲート側の図示しない管理サーバに利用者の本人認証情報を送信する。管理サーバにはチケット購入者のデータが蓄積されているので、ユーザ端末装置１から受信した利用者の本人認証情報に基づいて、自動入場ゲート装置７０に進入した利用者がチケット購入者か否かを判定し、チケット購入者であれば、そのまま通過させる。また、ユーザ端末装置１では、通過対象ゲートの詳細情報として、出場歌手名やグループ名、コンサートスケジュール等のコンサート情報を管理サーバから受信して、利用者に知らせるように画像表示手段で視界内に表示してもよい。また、ユーザ端末装置１では、本人認証の結果を利用者に知らせるように画像表示手段で視界内に表示してもよい。一方、ゲート側の管理サーバで、ユーザ端末装置１から受信した利用者の本人認証情報に基づいて、自動入場ゲート装置７０に進入した利用者がチケット購入者でないと判断した場合には、自動入場ゲート装置７０の阻止扉７０ａが開き、その利用者の入場を阻止する。同時に音声や光によるアラームを発してもよい。このように、予めチケットを購入した利用者は、何もすることなく、自動入場ゲート装置７０を通過してコンサート会場に入場することができる。一方、チケットを購入していない利用者は、自動入場ゲート装置７０を通過できず、入場が阻止される。
【００７８】
なお、本人認証は、自動入場ゲート装置７０に進入するときに行っているが、利用者がユーザ端末装置１を装着したときに行ってもよい。
また、上記バーコードラベル７１ａは、利用者が進入する自動入場ゲート装置７０の通路の前方真上のゲートブリッジ７１に設けたが、これに限られるものではなく、利用者の視線が合いやすい適宜の位置に設ければよい。また、利用者が注視する注視対象は上記バーコードラベル７１ａに限られるものではなく、画像認識ができる適宜の画像や文字であってもよい。
また、上記バーコードラベル７１ａは設けなくてもよい。つまり、利用者はバーコードラベル等の注視対象を注視しなくてもよい。この場合には、例えば、利用者が自動入場ゲート装置７０を通過する際に、ユーザ端末装置１がゲート側の管理サーバと近距離無線による通信を行い、管理サーバからの本人認証指令に基づいて本人認証を行い、本人認証結果を管理サーバに送信する。本人認証結果を受信した管理サーバでは、利用者が入場可能か否かを判断する。入場可能の場合にはそのまま通過させる。このとき同時に管理サーバからコンサート情報を取得してもよい。一方、入場不可の場合には、阻止扉７０ａを開いて入場を阻止する。
また、コンサート会場の入場に限らず、野球場、遊園地、駅、又は自動車レースのサーキットなど、人の入場を監視して入場の可否を行う会場であればどのような会場への入場であっても適用できるものである。
【００７９】
なお、本実施形態のユーザ端末装置１は、近距離通信手段により有線又は無線で近くの携帯通信端末４０と通信しているが、ユーザ端末装置１の本体にネットワーク通信手段を設けてもよい。これにより、利用者が携帯通信端末を所持していない場合であっても、ユーザ端末装置１はインターネット等のネットワークに接続することが可能となる。
【００８０】
また、上記実施形態では、利用者の目の「まばたき」の動きで商品の購入や決済処理指示を確定しているが、他の動きで商品の購入等を確定してもよい。例えば、「所定時間以上視点が動かない」や「ウィンク」の動きで商品の購入等を確定するようにしてもよい。また、加速度センサで検知される利用者の「頭の上下・左右運動」等で商品の購入等を確定するようにしてもよい。
【００８１】
また、上記図７、図１５及び図１７の例では、決済処理をショッピング支援サーバ４２で行っているが、金融機関やクレジットカード会社に設けられた決済用サーバで決済処理を行うようにしてもよい。
【００８２】
以上、本実施形態によれば、手操作を伴うことなく、購入対象や通過対象ゲートを特定できるとともに本人認証をより確実に行うことができる。
【符号の説明】
【００８３】
１ ユーザ端末装置
２ リム
８ 電源スイッチ
９ 視界同調カメラ
１０ 注視対象距離検出部
１１ 画像生成部
１２ 画像表示部
１４ 制御部
１５ メモリ
１６ バッテリ
２４ 視線検知部
２６ 通信部
４０ 携帯通信端末
４２ ショッピング支援サーバ
４４ 店舗内商品管理サーバ
６０ 商品
６２ 質量検知部
６５ ショッピングカート
７０ 自動入場ゲート装置
１００Ｋ 眼の虹彩
２５１ 虹彩認証手段
【特許請求の範囲】
【請求項１】
眼鏡型のユーザ端末装置であって、
利用者が見ている視界を撮像する視界撮像手段と、
前記利用者の眼を撮像する利用者撮像手段と、
前記視界撮像手段で撮像された前記視界の画像情報と、前記利用者撮像手段で撮像された前記利用者の眼の画像情報とに基づいて、前記利用者が注視している注視対象を検出する注視対象検出手段と、
前記利用者が購入対象を注視したときに前記注視対象検出手段で検出された注視対象の画像情報又は該注視対象の特徴抽出情報に基づいて、前記購入対象を特定する購入対象特定手段と、
前記利用者撮像手段で撮像された前記利用者の眼の画像情報に基づいて本人か否かを確認する本人認証手段と、
を備えたことを特徴とするユーザ端末装置。
【請求項２】
請求項１のユーザ端末装置において、
前記利用者撮像手段で撮像された前記利用者の眼の画像情報に基づいて、前記購入対象の購入決定の有無又は購入決済指示の有無を判断する判断手段を、更に備えたことを特徴とするユーザ端末装置。
【請求項３】
請求項１又は２のユーザ端末装置において、
前記判断手段は、前記本人認証手段において本人認証が成功した場合に前記購入対象の購入決定又は前記購入決済指示を確定することを特徴とするユーザ端末装置。
【請求項４】
眼鏡型のユーザ端末装置であって、
利用者が見ている視界を撮像する視界撮像手段と、
前記視界を見ているときの前記利用者の眼を撮像する利用者撮像手段と、
前記視界撮像手段で撮像された前記視界の画像情報と、前記利用者撮像手段で撮像された前記利用者の眼の画像情報とに基づいて、前記視界において前記利用者が注視している注視対象を検出する注視対象検出手段と、
前記利用者が通過対象ゲートの所定箇所を注視したときに前記注視対象検出手段で検出された注視対象の画像情報又は該注視対象の特徴抽出情報に基づいて、前記通過対象ゲートを特定する通過対象ゲート特定手段と、
前記利用者撮像手段で撮像された前記利用者の眼の画像情報に基づいて本人か否かを確認する本人認証手段と、
を備えたことを特徴とするユーザ端末装置。
【請求項５】
請求項４のユーザ端末装置において、
前記通過対象ゲートの詳細情報を取得する詳細情報取得手段と、
前記利用者が前記通過対象ゲートの所定箇所を見ている視界の中に、前記通過対象ゲートの詳細情報及び前記本人認証手段による本人認証の結果の少なくとも一方を含む画像を重ね合わせて表示する画像表示手段を、更に備えたことを特徴とするユーザ端末装置。
【請求項６】
請求項１乃至３のいずれかのユーザ端末装置と、店舗内商品管理サーバと、を備えたショッピングシステムであって、
ショッピングカート又は買い物かごに収容された購入対象の商品の質量を測定する質量測定手段と、
前記質量測定手段で測定した前記購入対象の商品の質量の測定結果を、前記店舗内商品管理サーバに送信する質量測定結果送信手段とを、更に備え、
前記店舗内商品管理サーバは、
前記ユーザ端末装置から前記購入対象の商品の情報を取得する商品情報取得手段と、
前記商品情報取得手段で取得した前記購入対象の商品の情報に基づいて、その商品の質量を算出する質量算出手段と、
前記購入対象の商品の質量の測定結果を受信する質量測定結果受信手段と、
前記質量算出手段で算出した前記購入対象の商品の質量の算出結果と、前記質量測定結果受信手段で受信した前記購入対象の商品の質量の測定結果とを比較する比較手段と、を備えたことを特徴とするショッピングシステム。
【請求項７】
請求項１乃至３のいずれかのユーザ端末装置と、店舗内商品管理サーバと、を備えたショッピングシステムであって、
前記店舗内商品管理サーバは、
前記ユーザ端末装置から購入対象の商品の情報を取得する第１の商品情報取得手段と、
前記購入対象の商品に設けられている無線商品タグから、その商品の情報を取得する第２の商品情報取得手段と、
前記第１の商品情報取得手段で取得した前記購入対象の商品の情報と、前記第２の商品情報取得手段で取得した前記購入対象の商品の情報とを比較する比較手段と、を備えたことを特徴とするショッピングシステム。
【請求項１】
眼鏡型のユーザ端末装置であって、
利用者が見ている視界を撮像する視界撮像手段と、
前記利用者の眼を撮像する利用者撮像手段と、
前記視界撮像手段で撮像された前記視界の画像情報と、前記利用者撮像手段で撮像された前記利用者の眼の画像情報とに基づいて、前記利用者が注視している注視対象を検出する注視対象検出手段と、
前記利用者が購入対象を注視したときに前記注視対象検出手段で検出された注視対象の画像情報又は該注視対象の特徴抽出情報に基づいて、前記購入対象を特定する購入対象特定手段と、
前記利用者撮像手段で撮像された前記利用者の眼の画像情報に基づいて本人か否かを確認する本人認証手段と、
を備えたことを特徴とするユーザ端末装置。
【請求項２】
請求項１のユーザ端末装置において、
前記利用者撮像手段で撮像された前記利用者の眼の画像情報に基づいて、前記購入対象の購入決定の有無又は購入決済指示の有無を判断する判断手段を、更に備えたことを特徴とするユーザ端末装置。
【請求項３】
請求項１又は２のユーザ端末装置において、
前記判断手段は、前記本人認証手段において本人認証が成功した場合に前記購入対象の購入決定又は前記購入決済指示を確定することを特徴とするユーザ端末装置。
【請求項４】
眼鏡型のユーザ端末装置であって、
利用者が見ている視界を撮像する視界撮像手段と、
前記視界を見ているときの前記利用者の眼を撮像する利用者撮像手段と、
前記視界撮像手段で撮像された前記視界の画像情報と、前記利用者撮像手段で撮像された前記利用者の眼の画像情報とに基づいて、前記視界において前記利用者が注視している注視対象を検出する注視対象検出手段と、
前記利用者が通過対象ゲートの所定箇所を注視したときに前記注視対象検出手段で検出された注視対象の画像情報又は該注視対象の特徴抽出情報に基づいて、前記通過対象ゲートを特定する通過対象ゲート特定手段と、
前記利用者撮像手段で撮像された前記利用者の眼の画像情報に基づいて本人か否かを確認する本人認証手段と、
を備えたことを特徴とするユーザ端末装置。
【請求項５】
請求項４のユーザ端末装置において、
前記通過対象ゲートの詳細情報を取得する詳細情報取得手段と、
前記利用者が前記通過対象ゲートの所定箇所を見ている視界の中に、前記通過対象ゲートの詳細情報及び前記本人認証手段による本人認証の結果の少なくとも一方を含む画像を重ね合わせて表示する画像表示手段を、更に備えたことを特徴とするユーザ端末装置。
【請求項６】
請求項１乃至３のいずれかのユーザ端末装置と、店舗内商品管理サーバと、を備えたショッピングシステムであって、
ショッピングカート又は買い物かごに収容された購入対象の商品の質量を測定する質量測定手段と、
前記質量測定手段で測定した前記購入対象の商品の質量の測定結果を、前記店舗内商品管理サーバに送信する質量測定結果送信手段とを、更に備え、
前記店舗内商品管理サーバは、
前記ユーザ端末装置から前記購入対象の商品の情報を取得する商品情報取得手段と、
前記商品情報取得手段で取得した前記購入対象の商品の情報に基づいて、その商品の質量を算出する質量算出手段と、
前記購入対象の商品の質量の測定結果を受信する質量測定結果受信手段と、
前記質量算出手段で算出した前記購入対象の商品の質量の算出結果と、前記質量測定結果受信手段で受信した前記購入対象の商品の質量の測定結果とを比較する比較手段と、を備えたことを特徴とするショッピングシステム。
【請求項７】
請求項１乃至３のいずれかのユーザ端末装置と、店舗内商品管理サーバと、を備えたショッピングシステムであって、
前記店舗内商品管理サーバは、
前記ユーザ端末装置から購入対象の商品の情報を取得する第１の商品情報取得手段と、
前記購入対象の商品に設けられている無線商品タグから、その商品の情報を取得する第２の商品情報取得手段と、
前記第１の商品情報取得手段で取得した前記購入対象の商品の情報と、前記第２の商品情報取得手段で取得した前記購入対象の商品の情報とを比較する比較手段と、を備えたことを特徴とするショッピングシステム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【公開番号】特開２０１２−８７４６（Ｐ２０１２−８７４６Ａ）
【公開日】平成２４年１月１２日（２０１２．１．１２）
【国際特許分類】
【出願番号】特願２０１０−１４３２３４（Ｐ２０１０−１４３２３４）
【出願日】平成２２年６月２３日（２０１０．６．２３）
【出願人】（５０１４４０６８４）ソフトバンクモバイル株式会社 (654)
【Ｆターム（参考）】
【公開日】平成２４年１月１２日（２０１２．１．１２）
【国際特許分類】
【出願日】平成２２年６月２３日（２０１０．６．２３）
【出願人】（５０１４４０６８４）ソフトバンクモバイル株式会社 (654)
【Ｆターム（参考）】
[ Back to top ]