サイネージ装置
【課題】デジタルサイネージに複数のモバイル端末が同時に接続されている場合でも、各端末ユーザに対して異なる情報を、より見やすい表示形態で提供する。
【解決手段】方位センサ１０５はデジタルサイネージ１の向きを検知する。相対角度算出部１０７は、デジタルサイネージ１の向きとモバイル端末２の向きとに基づいて両者の相対角度を算出する。端末位置推定部１０６は、前記相対角度に基づいてデジタルサイネージ１に対するモバイル端末２の所在方向を推定する。画像回転部１１０は、モバイル端末２の所在方向の推定結果に基づいて、そのユーザに提供する画像情報をモバイル端末の所在方向へ仮想的に回転させる。表示制御部１１１は、表示部１１２の画面を少なくとも一つのパブリック領域および複数のプライベート領域を含む複数の表示領域に分け、各端末ユーザに提供するプライベート情報をプライベート領域の一つに出力する。
【解決手段】方位センサ１０５はデジタルサイネージ１の向きを検知する。相対角度算出部１０７は、デジタルサイネージ１の向きとモバイル端末２の向きとに基づいて両者の相対角度を算出する。端末位置推定部１０６は、前記相対角度に基づいてデジタルサイネージ１に対するモバイル端末２の所在方向を推定する。画像回転部１１０は、モバイル端末２の所在方向の推定結果に基づいて、そのユーザに提供する画像情報をモバイル端末の所在方向へ仮想的に回転させる。表示制御部１１１は、表示部１１２の画面を少なくとも一つのパブリック領域および複数のプライベート領域を含む複数の表示領域に分け、各端末ユーザに提供するプライベート情報をプライベート領域の一つに出力する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数の無線アクセスポイントを備え、各無線アクセスポイントに接続したモバイル端末のユーザに画像情報を提供するサイネージ装置に関する。
【背景技術】
【０００２】
近年、デジタルサイネージが注目されており、スーパー、モール、展示会、オフィスなどに設置されたサイネージのディスプレイに、映像や情報などのコンテンツをタイムリーに配信するサービスの普及が始まっている。
【０００３】
一方、現在のデジタルサイネージは、各種の案内や広告などをディスプレイに表示するものが主流であるが、商品やキャンペーンの情報をユーザが携帯するモバイル端末（携帯電話、スマートフォン、タブレットなど）へ配信することで店舗に誘導するなどのモバイル連携機能が求められている。
【０００４】
しかしながら、モバイル端末とデジタルサイネージとの間で無線接続を確立する際には、ユーザに対して何らかの操作が要求され、多くのユーザが煩わしさを感じることから、このような操作が不要な無線接続の手法が従来から研究されている。
【０００５】
特許文献１には、撮像部を介して二次元コードを読み取ることにより、無線通信デバイス間に無線接続を自動で確立する技術が開示されている。この方式では、車載装置が認証鍵を生成し、生成された認証鍵およびネットワーク上における所定のWEBページを指すURLを含んだ二次元コードを表示部へ表示し、携帯端末装置が撮像部を介して二次元コードを読み取ることによって二次元コードから認証鍵およびURLを取得し、URLに係るWEBページから車載装置と通信するための通信プログラムをダウンロードし、ダウンロードされた通信プログラムが認証鍵を車載装置へ送信することで無線接続が確立される。
【０００６】
特許文献２には、デバイスに専用の接触面を設置し、無線接続を確立する前に、二つのデバイスの接触面を互いに物理的または光学的に接触させることで無線接続を確立する技術が開示されている。
【０００７】
特許文献３には、ユーザがデジタル複合機に近づくと、ユーザが携帯している識別情報送信装置がデジタル複合機からの電波を受信して電界強度を測定し、測定データをユーザの識別情報とともにデジタル複合機へ送信する一方、デジタル複合機は、記憶した送信電界強度、識別情報送信装置から取得した受信電界強度、および予め作成・保存した相関データに基づいて、デジタル複合機と識別情報送信装置との間の相対距離を算出して無線接続を自動的に確立する技術が開示されている。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】特開2009-135688号公報
【特許文献２】特表2007-513532号公報
【特許文献３】特開2010-166369号公報
【発明の概要】
【発明が解決しようとする課題】
【０００９】
従来のデジタルサイネージは、一台のサイネージに複数のモバイル端末が同時に接続されている場合でも、各端末ユーザに対して異なる情報をそれぞれ提供することができなかった。したがって、サイネージの表示部に表示される情報は万人向けの情報に制限されてしまい、各端末ユーザにとって有益な情報を提供することが難しかった。
【００１０】
また、デジタルサイネージに複数の端末ユーザ宛の画像情報を同時に表示してしまうと、各端末ユーザは、どの画像情報が自身宛の情報であるかを簡単に認識することができなかった。
【００１１】
本発明の目的は、上記した従来技術の課題を解決し、デジタルサイネージに複数のモバイル端末が同時に接続されている場合でも、各端末ユーザに対して異なる情報を、より見やすい表示形態で提供できるサイネージ装置を提供することにある。
【課題を解決するための手段】
【００１２】
上記の目的を達成するために、本発明は、複数の無線アクセスポイントを備え、各無線アクセスポイントに接続したモバイル端末に画像情報を提供するサイネージ装置において、以下のような手段を講じた点に特徴がある。
【００１３】
(1)画像情報を表示する表示部と、表示部の向きを検知する方位センサと、各無線アクセスポイントに無線接続したモバイル端末から、その向き情報を取得する向き情報取得手段と、表示部の向きとモバイル端末の向き情報とに基づいて、表示部に対するモバイル端末の位置を推定する位置推定手段と、モバイル端末の端末ユーザに提供する画像情報を蓄積する画像情報データベースと、位置の推定結果に基づいて、端末ユーザに提供する画像情報を、前記モバイル端末の位置の方向へ仮想的に回転させる画像回転手段と、回転された画像情報を表示部に出力する表示制御手段とを具備した。
【００１４】
(2)表示制御手段は、前記表示部を少なくとも一つのパブリック領域および複数のプライベート領域を含む複数の表示領域に分け、各モバイル端末に提供する画像情報を、前記複数のプライベート領域のいずれかに、それぞれ出力するようにした。
【００１５】
(3)位置推定手段に、表示部およびモバイル端末の各向き情報に基づいて両者の相対角度を算出する手段を設け、この相対角度に基づいて表示部に対するモバイル端末の位置が推定されるようにした。
【００１６】
(4)無線接続されたモバイル端末から、端末ユーザの属性情報を取得する属性情報取得手段と、この属性情報に基づいて、画像情報データベースから対応する画像情報を選択する画像選択手段とを具備した。
【００１７】
(5)複数のUSBポートを備え、無線アクセスポイントは、各USBポートに装着されたUSB型の無線APモジュールであることを特徴とする。
【発明の効果】
【００１８】
本発明によれば、以下のような効果が達成される。
【００１９】
(1)サイネージ装置に対するモバイル端末の位置（所在方向）を検知し、当該モバイル端末のユーザに提供する画像情報を、モバイル端末の所在方向に向けて仮想的に回転させるようにしたので、各端末ユーザは、サイネージ装置の表示部に複数のユーザ宛の画像情報が同時に表示されている場合でも、自身の方向を向いている画像情報を自身宛の画像情報として簡単に認識できるようになる。
【００２０】
(2)サイネージ装置の表示部がパブリック領域と複数のプライベート領域に分けられ、各プライベート領域には各端末ユーザに適合するプライベート情報が表示される一方、パブリック領域には全てのユーザに共通のパブリック情報が表示されるので、各ユーザは自身に適合するプライベート情報と万人向けのパブリック情報とを同時に取得できるようになる。
【００２１】
(3)サイネージ装置に対するモバイル端末の位置が、方位センサにより検知できる方位に基づいて推定されるようにしたので、無線装置への実装率が高い汎用のセンサを利用するだけで、モバイル端末の位置を正確に推定できるようになる。
【００２２】
(4)各端末ユーザに提供するプライベート情報が、当該ユーザの属性情報に基づいて選択されるようにしたので、ユーザごとに利用価値の高い画像情報を提供できるようになる。
【００２３】
(5)モバイル端末は、サイネージ装置に設けられた複数の無線APと自身との距離を順番に短い周期で繰り返し計測できるので、サイネージ装置に対するモバイル端末の移動状況を正確に推定できるようになる。
【図面の簡単な説明】
【００２４】
【図１】本発明を適用した無線通信システムの構成を示したブロック図である。
【図２】電波強度計測の手順を示したシーケンスフローである。
【図３】RSSIの取得方法を示したシーケンスフローである。
【図４】RSSIの集計結果の一例を示した図である。
【図５】デジタルサイネージの表示部の画面構成例を示した図である。
【図６】左回転画像の一例を示した図である。
【図７】右回転画像の一例を示した図である。
【図８】モバイル端末のデジタルサイネージに対する所在方向の推定方法を示した図である。
【図９】デジタルサイネージとモバイル端末との相対的な位置関係を示した図である。
【図１０】モバイル端末の動作を示したフローチャートである。
【図１１】電波受信強度に基づく距離計測の手順を示したフローチャートである。
【図１２】デジタルサイネージの動作を示したフローチャートである。
【発明を実施するための形態】
【００２５】
以下、図面を参照して本発明の実施の形態について詳細に説明する。図１は、本発明を適用した無線通信システムの主要部の構成を示したブロック図であり、本発明の説明に不要な構成は図示が省略されている。ここでは、デジタルサイネージ１と、このデジタルサイネージ１に無線接続して通信するモバイル端末２との組み合わせを例にして説明する。また、本発明では無線通信の方式としてBluetoothおよびWi-Fi(または、無線LAN)のいずれも利用可能であるが、ここではBluetoothによる無線通信を例にして説明する。
【００２６】
デジタルサイネージ１は複数のUSBポート（図示省略）を備え、各USBポートには、Bluetoothのアクセスポイントとして機能するUSB型のBluetoothモジュールが装着され、それぞれ無線アクセスポイントAP(AP1，AP2…APn)として機能する。AP管理部１０１は、各USBポートに接続された全ての無線APを一元管理する。無線通信制御部１０２は、モバイル端末２から送信された接続要求に応答して、いずれかの無線APを制御することでBluetoothによる無線接続を確立すると共に、その無線通信を制御する。
【００２７】
本実施形態では、BluetoothモジュールがUSBポートに装着されるとUSBデバイスとして認識される。さらに、デバイスの種類を探索するUSBのProbeコマンドによりBluetoothの無線APと判定されると、HCIコマンド(hci_register_dev)により該当無線APがOSに登録され、前記AP管理部１０１が制御プロセスを起動して該当無線APに割り当てる。このとき、無線APのデバイス名を識別するために、各無線APは、プリフィクス_情報端末名_BTUSB00、BTUSB01のような連番で管理される。
【００２８】
登録完了後、HCIインタフェースを使用することで、各無線APは独立してモバイル端末２とHCIレベルでの入出力を行えるようになる。これらの制御プロセスを協調動作させるため、複数の制御プロセス間でコンテキストスイッチ（CPUの状態を保存したり復元したりする過程）を行い、多くの制御プロセスが同じモバイル割当情報のメモリ上のコピーを共有できるようにすることで一元的な管理が可能となる。
【００２９】
向き情報取得部１０３は、無線APに接続されたモバイル端末２から、その向き情報を取得する。属性情報取得部１０４は、無線接続されたモバイル端末２から、その端末ユーザに関する属性情報（性別、年齢など）を取得する。方位センサ１０５は、当該デジタルサイネージ１の向きを検知する。本実施形態では、デジタルサイネージ１の向きとして、表示部１１２の向きが検知される。
【００３０】
相対角度算出部１０７は、前記方位センサ１０５により検知されたデジタルサイネージ１の向きと、前記モバイル端末２から取得された当該モバイル端末２の向き情報とに基づいて、デジタルサイネージ１の表示部１１２とモバイル端末２との相対角度を算出する。端末位置推定部１０６は、後に詳述するように、前記相対角度に基づいて、デジタルサイネージ１の表示部１１２に対するモバイル端末２の位置（所在方向）を推定する。画像情報選択部１０９は、そのデータベース１０８に予め蓄積されている多数の画像情報の中から、前記取得された各端末ユーザの属性情報に適合するプライベート情報、および全てのユーザに適合するパブリック情報を選択し、さらにはランキング情報を取得する。
【００３１】
画像回転部１１０は、前記所在方向の推定結果に基づいて、当該モバイル端末２のユーザに提供するプライベート情報を、前記モバイル端末の所在方向へ仮想的に回転させる。表示制御部１１１は、後に図５を参照して詳述するように、表示部１１２の画面を少なくとも一つのパブリック領域A1および複数のプライベート領域A3を含む複数の表示領域に分け、各端末ユーザに提供するプライベート情報は、前記複数のプライベート領域A3のいずれかへ出力し、パブリック情報は前記パブリック領域A1へ出力する。
【００３２】
一方、モバイル端末２において、電波強度計測部２０１は、各無線APとの距離を当該各無線APから受信した信号に基づいて計測する。Wi-FiやBluetoothを用いた位置検出では、モバイル端末から複数の無線APへの信号の到達時間差から三点測量により測位を行うTDOA方式や、複数の無線APから送信されたビーコン信号のRSSI (Received Signal Strength Indicator)をモバイル端末で取得し、統計モデルを作成・利用することにより三点測量により測位を行うRSSI方式が提案されている。
【００３３】
TDOA方式では高精度な測位が可能であるものの、到達時間差を測定するための専用機能を実装する必要があり、モバイル端末への搭載は困難である。RSSI電波強度の測定方式は、TDOA方式に較べて精度が低下するものの、市販の無線機器にはRSSI発信・検出機能が標準的に搭載されているので特別なハードウェアを用意する必要がない。そこで、本発明ではRSSI方式の採用を前提としている。Bluetoothでは、Bluetooth通信機能を有する情報端末の電波強度を探索するために、非同期通信であって応答性のある"Inquiry With RSSI"コマンドが用意されている。
【００３４】
本実施形態では、前記電波強度計測部２０１が、無線APの利用可能な通信チャネルごとに、RSSI要求の記述された問い合わせ要求(Inquiry With RSSI)を、周波数の低いチャネルから高いチャネルまで所定の間隔で順次に繰り返し送信する。そして、デジタルサイネージ１の各無線APから返信されるRSSI計測用の信号およびMACアドレスを取得し、無線APごとにRSSIを計測する。
【００３５】
図２、３は、前記電波強度計測部２０１によるRSSI計測の手順を示したシーケンスフローである。図２において、電波強度計測部２０１からは、所定の時間間隔Δt（例えば、1sec）ごとに通信チャネルchx(ch1，ch2…chn)の異なるInquiry With RSSIが順次に送信される。各Inquiry With RSSIは、デジタルサイネージ１の対応する(利用チャネルが同じ)無線APにより受信され、当該無線APからInquiry応答(Inquiry Rep)が返信される。なお、Inquiry応答は、Inquiry With RSSIの送信からΔt以内に受信されたものだけが受信され、それ以降に受信されたInquiry応答は破棄される。
【００３６】
Bluetoothでは一般的に、全ての通信チャネル（最大で、79チャネル）でInquiry With RSSIを送信終える探索周期ΔTに10秒程度を要する。したがって、デジタルサイネージ１に無線APが一つしか設けられていないと、Inquiry Repを10秒程度の探索周期でしか受信できない。
【００３７】
これに対して、本実施形態ではデジタルサイネージ１に通信チャネルの異なる複数の無線APを設けたので、前記探索周期ΔT内にInquiry Repを複数回受信できる。したがって、モバイル端末２ではデジタルサイネージ１との距離を、無線APの探索周期ΔTよりも十分に短い時間間隔Δtで計測できるようになる。
【００３８】
なお、Inquiry With RSSIは低い周波数から順次に送信されるので、各無線APからInquiry Repが周期的に返信されるようにするためには、各無線APの通信チャネルを均一に分散させることが望ましい。例えば、無線AP数が８台であれば、探索周期ΔTが８等分されるように、それぞれの通信チャネルを、例えばch1，ch11，ch21，ch31…ch71と設定しておくことが望ましい。
【００３９】
このとき、モバイル端末２では前記Inquiry With RSSIの送信周期ごとに、図３に示したように、手順１において、アプリレイヤー（電波強度計測部２０１）からRSSI電波強度信号を受信可能なregister Receiver()関数が呼び出され、CALLBACK関数on Receive()がOSに登録される。
【００４０】
手順２では、アプリレイヤーからstart Discovery()関数によりハードレイヤーに探索開始のコマンドが送信されて周辺探索が開始される。デジタルサイネージ１の各無線APにおいて前記Discovery要求が受信され、RSSI情報応答が返信されると、モバイル端末２では、手順３において、前記各無線APから返信されたRSSI情報応答が受信される。これにより、on Receive関数がアクティブになり、取得された信号をアプリレイヤーに通知する。本実施形態では、このような手順１〜３が、通信チャネルごとに、すなわちデジタルサイネージ１の無線APごとに繰り返される。
【００４１】
なお、本実施形態は、無関係なデジタルサイネージを排除するため、全てのデジタルサイネージのBluetooth APの初期識別IDにプリフィクス（Prefix）のベンダ識別情報も含める。発見された新たなBluetooth APのベンダ識別情報と、自ら記憶しているベンダ識別情報とが一致するか否かを判断し、一致しない場合その情報を無視される。
【００４２】
図１へ戻り、モバイル端末２の電波強度集計部２０２は、デジタルサイネージ１ごとに、その複数の無線APに関するRSSIの計測結果をMACアドレスと対応付けて時系列で集計する。
【００４３】
図４は、RSSIの集計結果の一例を示した図であり、応答した無線APのMACアドレスごとに、当該無線APから受信した無線信号のRSSI（行末の括弧内の数字）が記録されている。このRSSIは、その値が大きいほど受信電波強度が強く、通信距離が短いことを意味する。Bluetooth Class 1規格のRSSI範囲は-127dBm〜20dBmであり、半径数十メートル程度の無線APからMACアドレスおよびRSSI応答情報が得られる。
【００４４】
移動状況推定部２０３は、前記RSSIの時系列データに基づいて、デジタルサイネージ１に対するモバイル端末２の相対的な移動状況を繰り返し推定する。本実施形態では、デジタルサイネージ１に対するモバイル端末２の移動状況をRSSIの時系列から推定する学習モデルが予め構築されており、前記検知されたRSSIの時系列を前記学習モデルに適用することで、デジタルサイネージ１に対するモバイル端末２と移動状況が推定される。
【００４５】
方位センサ２０４は、モバイル端末２の向きを検知する。無線接続制御部２０５は、前記移動状況推定部２０３により推定された移動状況が所定の接続条件を満足すると、前期電波強度計測部２０１より取得された各無線APの中のいずれかのMACアドレスを用いて、該当デジタルサイネージ１への接続を要求するリクエストを送信し、無線接続が確立されると双方向のデータ通信を開始する。また、前記移動状況が所定の切断条件を満足すると、デジタルサイネージ１との無線接続を切断する。
【００４６】
次いで、前記デジタルサイネージ１の表示制御について説明する。図５は、デジタルサイネージ１の表示部１１２の画面構成の一例を示した図であり、全てのユーザに共通の情報を表示するパブリック領域A1，ランキング情報を表示するランキング領域A2および無線接続している各ユーザに適合するプライベート情報を表示する複数のプライベート領域A3(A31，A32…)から構成される。本実施形態では、前記プライベート領域A3について、表示内容が仮想的にユーザの方向を向いているように知覚できる、二次元の画像に奥行き情報を追加した２．５次元の表示が可能である。
【００４７】
図６，７は、前記各プライベート領域A3に表示されるプライベート情報が、デジタルサイネージ１との相対的な位置関係（方向）に応じて、所定の角度だけ回転して表示される例を示している。
【００４８】
例えば、図５のユーザ××さんのように、所在方向がデジタルサイネージ１の正面視で左側にずれていれば、当該ユーザに割り当てられたプライベート領域A31には、図６に示したように、仮想的に左方向に回転された画像が表示される。同図(a)では、表示内容が仮想的に左回転され、同図(b)では、キャラクラの向きが仮想的に左回転されている。
【００４９】
同様に、図５のユーザ○○さんのように、所在方向がデジタルサイネージ１の正面視で右側にずれていれば、当該ユーザに割り当てられたプライベート領域A32には、図７に示したように、仮想的に右方向に回転された画像が表示される。同図(a)では、表示内容が仮想的に右回転され、同図(b)では、キャラクラの向きが仮想的に右回転されている。
【００５０】
図８は、デジタルサイネージ１に対する端末ユーザの所在方向を推定する方法を模式的に示した図であり、ここでは、ユーザが自身のモバイル端末を操作しながら、あるいはそのディスプレイを参照しながら、歩行速度でデジタルサイネージ１に接近する状況を想定している。
【００５１】
端末ユーザがモバイル端末２を操作しながらデジタルサイネージ１に接近する場合、デジタルサイネージ１に対するモバイル端末２の向きは、同図(a)に示したように、デジタルサイネージ１を中心とする円弧の接線方向Pと略平行になると推定できる。
【００５２】
したがって、図９(a)に示したように、デジタルサイネージ１とモバイル端末２との向きに関する相対角度θが鋭角であれば、当該モバイル端末２は、図８(a)のモバイル端末２ｃのように、デジタルサイネージ１の右側に所在している予測できる。同様に、図９(b)に示したように、デデジタルサイネージ１とモバイル端末２との相対角度θが鈍角であれば、当該モバイル端末２は、図８(a)のモバイル端末２ａのように、デジタルサイネージ１に対して左側に所在していると予測できる。
【００５３】
本発明では、このような経験則に基づいて、以下に詳述するように、デジタルサイネージ１に対するモバイル端末の所在方向を、両者の相対的な角度差に基づいて推定し、その推定結果に基づいて、前記各プライベート領域A3に表示する映像を仮想的に回転させるようにしている。
【００５４】
次いで、フローチャートを参照して本実施形態の動作を詳細に説明する。図１０は、モバイル端末２の動作を示したフローチャートであり、ステップＳ１では、受信電波強度に基づいてサイネージ１との距離が計測される。
【００５５】
図１１は、前記受信電波強度に基づく距離計測の手順を示したフローチャートであり、ステップＳ２１では、RSSI要求を含むBluetooth規格の問い合わせコマンド(Inquiry With RSSI)が、前記電波強度計測部２０１からブロードキャストで送信される。本実施形態では、デジタルサイネージ１に実装されている全ての無線APからInquiry応答が順次に返信されるように、通信チャネルを切り替えながらInquiry With RSSIの送信が繰り返される。
【００５６】
ステップＳ２２では、前記各Inquiry With RSSIコマンドに対して、通信チャネルが同じ無線APからMACアドレスの記述されたInquiry応答が返信されたか否かが、前記電波強度計測部２０１において判定される。Inquiry応答が受信されると、ステップＳ２３では、今回のInquiry With RSSIコマンドに対する正規のInquiry応答であるか否かが判定される。今回以前に送信されたInquiry With RSSIコマンドに対するInquiry応答であれば、ステップＳ２５へ進んで当該Inquiry応答が破棄される。また、Inquiry応答が受信されることなく、ステップＳ２６でタイムアウトと判定されると、ステップＳ２１へ戻って次の通信タイミングに備える。
【００５７】
これに対して、前記ステップＳ２３において、正規のInquiry応答が受信されたと判定されるとステップＳ２４へ進む。ステップＳ２４では、当該応答信号に基づいてRSSIが計測され、この計測結果が無線APのMACアドレスと紐付けられて、前記電波強度集計部２０２により集計される。
【００５８】
図１０のフローチャートへ戻り、ステップＳ２では、前記Inquiry応答およびそのRSSIに基づいて、無線接続の可能なデジタルサイネージ１を発見できたか否かが判定される。発見できればステップＳ３へ進み、発見できなければステップＳ１へ戻る。
【００５９】
ステップＳ３では、前記移動状況推定部２０３において、デジタルサイネージ１に対するモバイル端末２の移動状況が判定される。本実施形態では、モバイル端末２がデジタルサイネージ１に対して、「静止」、「接近」および「離脱」のいずれの状態にあるかが判定される。
【００６０】
本実施形態では、移動状況の判定アルゴリズムにk近傍法（k-Nearest Neighbor）が採用される。k近傍法では、あるオブジェクト（本実施形態では、RSSI時系列データの特徴ベクトルに相当）の分類が、その特徴ベクトル近傍のオブジェクト群の投票によって決定される。
【００６１】
判定アルゴリズムの訓練段階では、RSSI時系列データを多数収集した既知の特徴ベクトルとクラスラベル（本実施例は：静止、接近、離脱）だけを保持している。実際の分類段階では、クラスラベルが未知である実測のRSSI時系列データの特徴ベクトルに対して、既知の特徴ベクトル群との距離を計算し、k個の候補が選択されると、これらの候補のクラスラベルの多数決で実測データのクラスラベルが与えられる。
【００６２】
これにより、本実施形態では、複数の無線APに関して計測されたRSSIの時系列データから、学習モデルを使ってデジタルサイネージ１に対するモバイル端末２の移動状況（クラスラベル）が推定される。具体的には、デジタルサイネージ１から既知の距離に設置した無線式のモバイル端末と各無線APとの間で前もってRSSIを計測し、その平均値、最大値、最小値、中央値、初期値および終了値と前記既知の距離と対応付ける。更に、前記モバイル端末をデジタルサイネージ１に対して「静止」、「接近」および「離脱」させながら、前記対応付けを時系列で集計し、その集計結果を教師データとして学習モデルを構築する。そして、実計測された各RSSI値の平均値、最大値、最小値、中央値、初期値および終了値を前記学習モデルに適用し、識別器にk近傍法を用いることでユーザの移動状況（静止、接近、離脱）が判定される。
【００６３】
(1)静止判定
【００６４】
前記K近傍法に基づいて、モバイル端末２がデジタルサイネージ１の前に到達して立ち止まったと判定されるとステップＳ５へ進み、前記無線通信制御部２０５により、いずれかの無線APとの間に無線接続が確立される。なお、無線接続の確立後にRSSIが所定時間以上継続して所定の閾値を下回ると無線接続が解除される。
【００６５】
(2)接近判定
【００６６】
前記K近傍法に基づいて、デジタルサイネージ１に対するモバイル端末２の距離およびその移動速度が算出される。その結果、モバイル端末２が所定時間（たとえば２秒）以内にデジタルサイネージ１の前に到達できると推定されると、モバイル端末２が接近中であると判定してステップＳ４へ進む。ステップＳ４では接続タイマがスタートし、そのタイムアウトを待って前記ステップＳ５へ進む。前記接続タイマは、モバイル端末２がデジタルサイネージ１の前に到着すると予測されるタイミングまたはその直前のタイミングでタイムアウトするように、ある程度のタイムラグを見込んで設定される。
【００６７】
(3)離脱判定
【００６８】
前記K近傍法に基づいて、デジタルサイネージ１に対するモバイル端末２の距離および移動速度が算出され、所定時間（たとえば、２秒）以内に無線通信圏内から外れると推定されると、モバイル端末２が離脱中であると判定してステップＳ６進む。ステップＳ６では切断タイマが起動され、そのタイムアウト後にステップＳ７へ進む。ステップＳ７では、無線接続が切断される。前記切断タイマは、モバイル端末２が無線通信圏内から外れるタイミングまたはその直前のタイミングでタイムアウトするように、ある程度のタイムラグを見込んで設定される。
【００６９】
このように、本実施形態によれば、デジタルサイネージ１に複数の無線APを設け、各無線APとモバイル端末２との距離を順番に短い周期で繰り返し計測できるので、デジタルサイネージ１に対するモバイル端末２の移動状況を正確に推定できるようになる。そして、この推定結果に応じて両者の無線接続が制御されるので、ユーザに特別な接続操作を要求することなく、無線接続を最適なタイミングで自動的に確立、切断できるようになる。
【００７０】
ステップＳ８では、モバイル端末２の向きが、前記方位センサ２０４により検出される。ステップＳ９では、前記検出された向きおよび端末ユーザの属性情報がサイネージ１へ送信される。ステップＳ１０では、前記と同様にして前記サイネージ１との距離が、前記図１１のフローチャートに示した手順により計測される。ステップＳ１１では、サイネージ１との距離が、所定の切断条件が満足される距離だけ離れたか否かが判定される。切断条件が満足されると、ステップＳ１２へ進んで切断処理が実行される。
【００７１】
図１２は、デジタルサイネージ１の動作を示したフローチャートであり、ステップＳ３１において、モバイル端末２との新たな接続が検知されると、ステップＳ３２では、モバイル端末が前記ステップＳ９で送信した当該モバイル端末の「向き」および「属性情報」が取得される。
【００７２】
ステップＳ３３では、前記取得された属性情報に基づいて、当該ユーザに適合するプライベート情報が、前記画像情報選択部１０９により、前記データベース１０８等から取得される。本実施形態では、ユーザの性別や年齢に基づいて、より好適なお勧め情報などが選択される。ステップＳ３４では、前記取得された属性情報に基づいて、前記情報の表示書式が設定される。本実施形態では、ユーザの年齢に応じて表示文字のフォントサイズや画像の拡大倍率が設定され、さらには一行当たりの文字数が変更される。
【００７３】
例えば、端末ユーザが高齢者であると、フォントサイズが大きくされ、画像の拡大倍率が高くされ、また一行当たりの文字数が少なくされる。さらに、国情報に応じて表示言語の設定が行われ、例えば国情報が中国であれば中国語が選択され、日本であれば日本語が選択される。
【００７４】
ステップＳ３５では、前記相対角度出部１０７において、前記モバイル端末２から取得した当該端末の向きθmと前記方位センサ１０６により検知されたサイネージの向きθnとに基づいて両者の相対角度θが算出される。ステップＳ３６では、前記端末位置推定部１０６において、前記相対角度θに基づいて、モバイル端末２とサイネージ１とが相互に平行で対向状態にあるか否かが判定される。図８(a)のモバイル端末２ｂのように、対向状態と判定されるとステップＳ３８へ進む。これに対して、モバイル端末２ａ，２ｃのように平行ではないと判定されるとステップＳ３７へ進む。
【００７５】
ステップＳ３７では、両者の相対角度θに基づいて、サイネージ１に対する前記モバイル端末２の所在方向が推定され、この推定結果に基づいて、前記画像情報が画像回転部１１０により擬似的に回転される。すなわち、前記相対角度θが、図９(a)に示したように鋭角であると、図８(a)のモバイル端末２ｃのように右側に所在していると推定されるので、前記画像情報が前記相対角度θに応じて右方向へ回転される。これに対して、前記相対角度θが、図９(b)に示したように鈍角であると、図８(a)のモバイル端末２ａのように左側に所在していると推定されるので、前記画像情報が前記相対角度θに応じて左方向へ回転される。
【００７６】
ステップＳ３８では、前記回転された、または回転されていない画像情報が、前記表示部１１２の前記プライベート領域A3の一つに表示出力される。ステップＳ３９では、無線接続が切断されたか否かが判定され、切断されるまでは、ステップＳ３３へ戻って上記の各処理が繰り返される。
【００７７】
なお、上記の実施形態では、デジタルサイネージ１に対するモバイル端末２の位置が、それぞれに設けられた方位センサの検出結果に基づいて推定されるものとして説明したが、モバイル端末２がGPSを内蔵していれば、当該GPSにより測位される現在位置をサイネージ１へ通知し、サイネージ１において、自身の位置とモバイル端末の位置とに基づいて当該モバイル端末の所在方向を算出するようにしても良い。
【００７８】
あるいは、デジタルサイネージ１の各無線APに指向性の高い複数のアンテナを別々の角度で設置する一方、モバイル端末２は、受信電波強度の強い信号を選択して無線接続し、この無線接続を利用してアンテナのMACアドレスや属性情報を送信するようにしても良い。このような構成によれば、デジタルサイネージ１では、モバイル端末２と無線接続されたアンテナが右方向を指向していれば、当該モバイル端末２の所在方向を右方向と推定できるなど、無線接続されたアンテナの指向に基づいてモバイル端末の位置（所在方向）を推定できるようになる。
【符号の説明】
【００７９】
１…デジタルサイネージ，２…モバイル端末，１０１…AP管理部，１０２…無線通信制御部，１０３…向き情報取得部，１０４…属性情報取得部，１０５，２０４…方位センサ，１０６…端末位置推定部，１０７…相対向き算出部，１０８…データベース，１０９…画像情報選択部，１１０…画像回転部，１１１…表示制御部，１１２…表示部，２０１…電波強度計測部，２０２…電波強度集計部，２０３…移動状況推定部，２０５…無線通信制御部
【技術分野】
【０００１】
本発明は、複数の無線アクセスポイントを備え、各無線アクセスポイントに接続したモバイル端末のユーザに画像情報を提供するサイネージ装置に関する。
【背景技術】
【０００２】
近年、デジタルサイネージが注目されており、スーパー、モール、展示会、オフィスなどに設置されたサイネージのディスプレイに、映像や情報などのコンテンツをタイムリーに配信するサービスの普及が始まっている。
【０００３】
一方、現在のデジタルサイネージは、各種の案内や広告などをディスプレイに表示するものが主流であるが、商品やキャンペーンの情報をユーザが携帯するモバイル端末（携帯電話、スマートフォン、タブレットなど）へ配信することで店舗に誘導するなどのモバイル連携機能が求められている。
【０００４】
しかしながら、モバイル端末とデジタルサイネージとの間で無線接続を確立する際には、ユーザに対して何らかの操作が要求され、多くのユーザが煩わしさを感じることから、このような操作が不要な無線接続の手法が従来から研究されている。
【０００５】
特許文献１には、撮像部を介して二次元コードを読み取ることにより、無線通信デバイス間に無線接続を自動で確立する技術が開示されている。この方式では、車載装置が認証鍵を生成し、生成された認証鍵およびネットワーク上における所定のWEBページを指すURLを含んだ二次元コードを表示部へ表示し、携帯端末装置が撮像部を介して二次元コードを読み取ることによって二次元コードから認証鍵およびURLを取得し、URLに係るWEBページから車載装置と通信するための通信プログラムをダウンロードし、ダウンロードされた通信プログラムが認証鍵を車載装置へ送信することで無線接続が確立される。
【０００６】
特許文献２には、デバイスに専用の接触面を設置し、無線接続を確立する前に、二つのデバイスの接触面を互いに物理的または光学的に接触させることで無線接続を確立する技術が開示されている。
【０００７】
特許文献３には、ユーザがデジタル複合機に近づくと、ユーザが携帯している識別情報送信装置がデジタル複合機からの電波を受信して電界強度を測定し、測定データをユーザの識別情報とともにデジタル複合機へ送信する一方、デジタル複合機は、記憶した送信電界強度、識別情報送信装置から取得した受信電界強度、および予め作成・保存した相関データに基づいて、デジタル複合機と識別情報送信装置との間の相対距離を算出して無線接続を自動的に確立する技術が開示されている。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】特開2009-135688号公報
【特許文献２】特表2007-513532号公報
【特許文献３】特開2010-166369号公報
【発明の概要】
【発明が解決しようとする課題】
【０００９】
従来のデジタルサイネージは、一台のサイネージに複数のモバイル端末が同時に接続されている場合でも、各端末ユーザに対して異なる情報をそれぞれ提供することができなかった。したがって、サイネージの表示部に表示される情報は万人向けの情報に制限されてしまい、各端末ユーザにとって有益な情報を提供することが難しかった。
【００１０】
また、デジタルサイネージに複数の端末ユーザ宛の画像情報を同時に表示してしまうと、各端末ユーザは、どの画像情報が自身宛の情報であるかを簡単に認識することができなかった。
【００１１】
本発明の目的は、上記した従来技術の課題を解決し、デジタルサイネージに複数のモバイル端末が同時に接続されている場合でも、各端末ユーザに対して異なる情報を、より見やすい表示形態で提供できるサイネージ装置を提供することにある。
【課題を解決するための手段】
【００１２】
上記の目的を達成するために、本発明は、複数の無線アクセスポイントを備え、各無線アクセスポイントに接続したモバイル端末に画像情報を提供するサイネージ装置において、以下のような手段を講じた点に特徴がある。
【００１３】
(1)画像情報を表示する表示部と、表示部の向きを検知する方位センサと、各無線アクセスポイントに無線接続したモバイル端末から、その向き情報を取得する向き情報取得手段と、表示部の向きとモバイル端末の向き情報とに基づいて、表示部に対するモバイル端末の位置を推定する位置推定手段と、モバイル端末の端末ユーザに提供する画像情報を蓄積する画像情報データベースと、位置の推定結果に基づいて、端末ユーザに提供する画像情報を、前記モバイル端末の位置の方向へ仮想的に回転させる画像回転手段と、回転された画像情報を表示部に出力する表示制御手段とを具備した。
【００１４】
(2)表示制御手段は、前記表示部を少なくとも一つのパブリック領域および複数のプライベート領域を含む複数の表示領域に分け、各モバイル端末に提供する画像情報を、前記複数のプライベート領域のいずれかに、それぞれ出力するようにした。
【００１５】
(3)位置推定手段に、表示部およびモバイル端末の各向き情報に基づいて両者の相対角度を算出する手段を設け、この相対角度に基づいて表示部に対するモバイル端末の位置が推定されるようにした。
【００１６】
(4)無線接続されたモバイル端末から、端末ユーザの属性情報を取得する属性情報取得手段と、この属性情報に基づいて、画像情報データベースから対応する画像情報を選択する画像選択手段とを具備した。
【００１７】
(5)複数のUSBポートを備え、無線アクセスポイントは、各USBポートに装着されたUSB型の無線APモジュールであることを特徴とする。
【発明の効果】
【００１８】
本発明によれば、以下のような効果が達成される。
【００１９】
(1)サイネージ装置に対するモバイル端末の位置（所在方向）を検知し、当該モバイル端末のユーザに提供する画像情報を、モバイル端末の所在方向に向けて仮想的に回転させるようにしたので、各端末ユーザは、サイネージ装置の表示部に複数のユーザ宛の画像情報が同時に表示されている場合でも、自身の方向を向いている画像情報を自身宛の画像情報として簡単に認識できるようになる。
【００２０】
(2)サイネージ装置の表示部がパブリック領域と複数のプライベート領域に分けられ、各プライベート領域には各端末ユーザに適合するプライベート情報が表示される一方、パブリック領域には全てのユーザに共通のパブリック情報が表示されるので、各ユーザは自身に適合するプライベート情報と万人向けのパブリック情報とを同時に取得できるようになる。
【００２１】
(3)サイネージ装置に対するモバイル端末の位置が、方位センサにより検知できる方位に基づいて推定されるようにしたので、無線装置への実装率が高い汎用のセンサを利用するだけで、モバイル端末の位置を正確に推定できるようになる。
【００２２】
(4)各端末ユーザに提供するプライベート情報が、当該ユーザの属性情報に基づいて選択されるようにしたので、ユーザごとに利用価値の高い画像情報を提供できるようになる。
【００２３】
(5)モバイル端末は、サイネージ装置に設けられた複数の無線APと自身との距離を順番に短い周期で繰り返し計測できるので、サイネージ装置に対するモバイル端末の移動状況を正確に推定できるようになる。
【図面の簡単な説明】
【００２４】
【図１】本発明を適用した無線通信システムの構成を示したブロック図である。
【図２】電波強度計測の手順を示したシーケンスフローである。
【図３】RSSIの取得方法を示したシーケンスフローである。
【図４】RSSIの集計結果の一例を示した図である。
【図５】デジタルサイネージの表示部の画面構成例を示した図である。
【図６】左回転画像の一例を示した図である。
【図７】右回転画像の一例を示した図である。
【図８】モバイル端末のデジタルサイネージに対する所在方向の推定方法を示した図である。
【図９】デジタルサイネージとモバイル端末との相対的な位置関係を示した図である。
【図１０】モバイル端末の動作を示したフローチャートである。
【図１１】電波受信強度に基づく距離計測の手順を示したフローチャートである。
【図１２】デジタルサイネージの動作を示したフローチャートである。
【発明を実施するための形態】
【００２５】
以下、図面を参照して本発明の実施の形態について詳細に説明する。図１は、本発明を適用した無線通信システムの主要部の構成を示したブロック図であり、本発明の説明に不要な構成は図示が省略されている。ここでは、デジタルサイネージ１と、このデジタルサイネージ１に無線接続して通信するモバイル端末２との組み合わせを例にして説明する。また、本発明では無線通信の方式としてBluetoothおよびWi-Fi(または、無線LAN)のいずれも利用可能であるが、ここではBluetoothによる無線通信を例にして説明する。
【００２６】
デジタルサイネージ１は複数のUSBポート（図示省略）を備え、各USBポートには、Bluetoothのアクセスポイントとして機能するUSB型のBluetoothモジュールが装着され、それぞれ無線アクセスポイントAP(AP1，AP2…APn)として機能する。AP管理部１０１は、各USBポートに接続された全ての無線APを一元管理する。無線通信制御部１０２は、モバイル端末２から送信された接続要求に応答して、いずれかの無線APを制御することでBluetoothによる無線接続を確立すると共に、その無線通信を制御する。
【００２７】
本実施形態では、BluetoothモジュールがUSBポートに装着されるとUSBデバイスとして認識される。さらに、デバイスの種類を探索するUSBのProbeコマンドによりBluetoothの無線APと判定されると、HCIコマンド(hci_register_dev)により該当無線APがOSに登録され、前記AP管理部１０１が制御プロセスを起動して該当無線APに割り当てる。このとき、無線APのデバイス名を識別するために、各無線APは、プリフィクス_情報端末名_BTUSB00、BTUSB01のような連番で管理される。
【００２８】
登録完了後、HCIインタフェースを使用することで、各無線APは独立してモバイル端末２とHCIレベルでの入出力を行えるようになる。これらの制御プロセスを協調動作させるため、複数の制御プロセス間でコンテキストスイッチ（CPUの状態を保存したり復元したりする過程）を行い、多くの制御プロセスが同じモバイル割当情報のメモリ上のコピーを共有できるようにすることで一元的な管理が可能となる。
【００２９】
向き情報取得部１０３は、無線APに接続されたモバイル端末２から、その向き情報を取得する。属性情報取得部１０４は、無線接続されたモバイル端末２から、その端末ユーザに関する属性情報（性別、年齢など）を取得する。方位センサ１０５は、当該デジタルサイネージ１の向きを検知する。本実施形態では、デジタルサイネージ１の向きとして、表示部１１２の向きが検知される。
【００３０】
相対角度算出部１０７は、前記方位センサ１０５により検知されたデジタルサイネージ１の向きと、前記モバイル端末２から取得された当該モバイル端末２の向き情報とに基づいて、デジタルサイネージ１の表示部１１２とモバイル端末２との相対角度を算出する。端末位置推定部１０６は、後に詳述するように、前記相対角度に基づいて、デジタルサイネージ１の表示部１１２に対するモバイル端末２の位置（所在方向）を推定する。画像情報選択部１０９は、そのデータベース１０８に予め蓄積されている多数の画像情報の中から、前記取得された各端末ユーザの属性情報に適合するプライベート情報、および全てのユーザに適合するパブリック情報を選択し、さらにはランキング情報を取得する。
【００３１】
画像回転部１１０は、前記所在方向の推定結果に基づいて、当該モバイル端末２のユーザに提供するプライベート情報を、前記モバイル端末の所在方向へ仮想的に回転させる。表示制御部１１１は、後に図５を参照して詳述するように、表示部１１２の画面を少なくとも一つのパブリック領域A1および複数のプライベート領域A3を含む複数の表示領域に分け、各端末ユーザに提供するプライベート情報は、前記複数のプライベート領域A3のいずれかへ出力し、パブリック情報は前記パブリック領域A1へ出力する。
【００３２】
一方、モバイル端末２において、電波強度計測部２０１は、各無線APとの距離を当該各無線APから受信した信号に基づいて計測する。Wi-FiやBluetoothを用いた位置検出では、モバイル端末から複数の無線APへの信号の到達時間差から三点測量により測位を行うTDOA方式や、複数の無線APから送信されたビーコン信号のRSSI (Received Signal Strength Indicator)をモバイル端末で取得し、統計モデルを作成・利用することにより三点測量により測位を行うRSSI方式が提案されている。
【００３３】
TDOA方式では高精度な測位が可能であるものの、到達時間差を測定するための専用機能を実装する必要があり、モバイル端末への搭載は困難である。RSSI電波強度の測定方式は、TDOA方式に較べて精度が低下するものの、市販の無線機器にはRSSI発信・検出機能が標準的に搭載されているので特別なハードウェアを用意する必要がない。そこで、本発明ではRSSI方式の採用を前提としている。Bluetoothでは、Bluetooth通信機能を有する情報端末の電波強度を探索するために、非同期通信であって応答性のある"Inquiry With RSSI"コマンドが用意されている。
【００３４】
本実施形態では、前記電波強度計測部２０１が、無線APの利用可能な通信チャネルごとに、RSSI要求の記述された問い合わせ要求(Inquiry With RSSI)を、周波数の低いチャネルから高いチャネルまで所定の間隔で順次に繰り返し送信する。そして、デジタルサイネージ１の各無線APから返信されるRSSI計測用の信号およびMACアドレスを取得し、無線APごとにRSSIを計測する。
【００３５】
図２、３は、前記電波強度計測部２０１によるRSSI計測の手順を示したシーケンスフローである。図２において、電波強度計測部２０１からは、所定の時間間隔Δt（例えば、1sec）ごとに通信チャネルchx(ch1，ch2…chn)の異なるInquiry With RSSIが順次に送信される。各Inquiry With RSSIは、デジタルサイネージ１の対応する(利用チャネルが同じ)無線APにより受信され、当該無線APからInquiry応答(Inquiry Rep)が返信される。なお、Inquiry応答は、Inquiry With RSSIの送信からΔt以内に受信されたものだけが受信され、それ以降に受信されたInquiry応答は破棄される。
【００３６】
Bluetoothでは一般的に、全ての通信チャネル（最大で、79チャネル）でInquiry With RSSIを送信終える探索周期ΔTに10秒程度を要する。したがって、デジタルサイネージ１に無線APが一つしか設けられていないと、Inquiry Repを10秒程度の探索周期でしか受信できない。
【００３７】
これに対して、本実施形態ではデジタルサイネージ１に通信チャネルの異なる複数の無線APを設けたので、前記探索周期ΔT内にInquiry Repを複数回受信できる。したがって、モバイル端末２ではデジタルサイネージ１との距離を、無線APの探索周期ΔTよりも十分に短い時間間隔Δtで計測できるようになる。
【００３８】
なお、Inquiry With RSSIは低い周波数から順次に送信されるので、各無線APからInquiry Repが周期的に返信されるようにするためには、各無線APの通信チャネルを均一に分散させることが望ましい。例えば、無線AP数が８台であれば、探索周期ΔTが８等分されるように、それぞれの通信チャネルを、例えばch1，ch11，ch21，ch31…ch71と設定しておくことが望ましい。
【００３９】
このとき、モバイル端末２では前記Inquiry With RSSIの送信周期ごとに、図３に示したように、手順１において、アプリレイヤー（電波強度計測部２０１）からRSSI電波強度信号を受信可能なregister Receiver()関数が呼び出され、CALLBACK関数on Receive()がOSに登録される。
【００４０】
手順２では、アプリレイヤーからstart Discovery()関数によりハードレイヤーに探索開始のコマンドが送信されて周辺探索が開始される。デジタルサイネージ１の各無線APにおいて前記Discovery要求が受信され、RSSI情報応答が返信されると、モバイル端末２では、手順３において、前記各無線APから返信されたRSSI情報応答が受信される。これにより、on Receive関数がアクティブになり、取得された信号をアプリレイヤーに通知する。本実施形態では、このような手順１〜３が、通信チャネルごとに、すなわちデジタルサイネージ１の無線APごとに繰り返される。
【００４１】
なお、本実施形態は、無関係なデジタルサイネージを排除するため、全てのデジタルサイネージのBluetooth APの初期識別IDにプリフィクス（Prefix）のベンダ識別情報も含める。発見された新たなBluetooth APのベンダ識別情報と、自ら記憶しているベンダ識別情報とが一致するか否かを判断し、一致しない場合その情報を無視される。
【００４２】
図１へ戻り、モバイル端末２の電波強度集計部２０２は、デジタルサイネージ１ごとに、その複数の無線APに関するRSSIの計測結果をMACアドレスと対応付けて時系列で集計する。
【００４３】
図４は、RSSIの集計結果の一例を示した図であり、応答した無線APのMACアドレスごとに、当該無線APから受信した無線信号のRSSI（行末の括弧内の数字）が記録されている。このRSSIは、その値が大きいほど受信電波強度が強く、通信距離が短いことを意味する。Bluetooth Class 1規格のRSSI範囲は-127dBm〜20dBmであり、半径数十メートル程度の無線APからMACアドレスおよびRSSI応答情報が得られる。
【００４４】
移動状況推定部２０３は、前記RSSIの時系列データに基づいて、デジタルサイネージ１に対するモバイル端末２の相対的な移動状況を繰り返し推定する。本実施形態では、デジタルサイネージ１に対するモバイル端末２の移動状況をRSSIの時系列から推定する学習モデルが予め構築されており、前記検知されたRSSIの時系列を前記学習モデルに適用することで、デジタルサイネージ１に対するモバイル端末２と移動状況が推定される。
【００４５】
方位センサ２０４は、モバイル端末２の向きを検知する。無線接続制御部２０５は、前記移動状況推定部２０３により推定された移動状況が所定の接続条件を満足すると、前期電波強度計測部２０１より取得された各無線APの中のいずれかのMACアドレスを用いて、該当デジタルサイネージ１への接続を要求するリクエストを送信し、無線接続が確立されると双方向のデータ通信を開始する。また、前記移動状況が所定の切断条件を満足すると、デジタルサイネージ１との無線接続を切断する。
【００４６】
次いで、前記デジタルサイネージ１の表示制御について説明する。図５は、デジタルサイネージ１の表示部１１２の画面構成の一例を示した図であり、全てのユーザに共通の情報を表示するパブリック領域A1，ランキング情報を表示するランキング領域A2および無線接続している各ユーザに適合するプライベート情報を表示する複数のプライベート領域A3(A31，A32…)から構成される。本実施形態では、前記プライベート領域A3について、表示内容が仮想的にユーザの方向を向いているように知覚できる、二次元の画像に奥行き情報を追加した２．５次元の表示が可能である。
【００４７】
図６，７は、前記各プライベート領域A3に表示されるプライベート情報が、デジタルサイネージ１との相対的な位置関係（方向）に応じて、所定の角度だけ回転して表示される例を示している。
【００４８】
例えば、図５のユーザ××さんのように、所在方向がデジタルサイネージ１の正面視で左側にずれていれば、当該ユーザに割り当てられたプライベート領域A31には、図６に示したように、仮想的に左方向に回転された画像が表示される。同図(a)では、表示内容が仮想的に左回転され、同図(b)では、キャラクラの向きが仮想的に左回転されている。
【００４９】
同様に、図５のユーザ○○さんのように、所在方向がデジタルサイネージ１の正面視で右側にずれていれば、当該ユーザに割り当てられたプライベート領域A32には、図７に示したように、仮想的に右方向に回転された画像が表示される。同図(a)では、表示内容が仮想的に右回転され、同図(b)では、キャラクラの向きが仮想的に右回転されている。
【００５０】
図８は、デジタルサイネージ１に対する端末ユーザの所在方向を推定する方法を模式的に示した図であり、ここでは、ユーザが自身のモバイル端末を操作しながら、あるいはそのディスプレイを参照しながら、歩行速度でデジタルサイネージ１に接近する状況を想定している。
【００５１】
端末ユーザがモバイル端末２を操作しながらデジタルサイネージ１に接近する場合、デジタルサイネージ１に対するモバイル端末２の向きは、同図(a)に示したように、デジタルサイネージ１を中心とする円弧の接線方向Pと略平行になると推定できる。
【００５２】
したがって、図９(a)に示したように、デジタルサイネージ１とモバイル端末２との向きに関する相対角度θが鋭角であれば、当該モバイル端末２は、図８(a)のモバイル端末２ｃのように、デジタルサイネージ１の右側に所在している予測できる。同様に、図９(b)に示したように、デデジタルサイネージ１とモバイル端末２との相対角度θが鈍角であれば、当該モバイル端末２は、図８(a)のモバイル端末２ａのように、デジタルサイネージ１に対して左側に所在していると予測できる。
【００５３】
本発明では、このような経験則に基づいて、以下に詳述するように、デジタルサイネージ１に対するモバイル端末の所在方向を、両者の相対的な角度差に基づいて推定し、その推定結果に基づいて、前記各プライベート領域A3に表示する映像を仮想的に回転させるようにしている。
【００５４】
次いで、フローチャートを参照して本実施形態の動作を詳細に説明する。図１０は、モバイル端末２の動作を示したフローチャートであり、ステップＳ１では、受信電波強度に基づいてサイネージ１との距離が計測される。
【００５５】
図１１は、前記受信電波強度に基づく距離計測の手順を示したフローチャートであり、ステップＳ２１では、RSSI要求を含むBluetooth規格の問い合わせコマンド(Inquiry With RSSI)が、前記電波強度計測部２０１からブロードキャストで送信される。本実施形態では、デジタルサイネージ１に実装されている全ての無線APからInquiry応答が順次に返信されるように、通信チャネルを切り替えながらInquiry With RSSIの送信が繰り返される。
【００５６】
ステップＳ２２では、前記各Inquiry With RSSIコマンドに対して、通信チャネルが同じ無線APからMACアドレスの記述されたInquiry応答が返信されたか否かが、前記電波強度計測部２０１において判定される。Inquiry応答が受信されると、ステップＳ２３では、今回のInquiry With RSSIコマンドに対する正規のInquiry応答であるか否かが判定される。今回以前に送信されたInquiry With RSSIコマンドに対するInquiry応答であれば、ステップＳ２５へ進んで当該Inquiry応答が破棄される。また、Inquiry応答が受信されることなく、ステップＳ２６でタイムアウトと判定されると、ステップＳ２１へ戻って次の通信タイミングに備える。
【００５７】
これに対して、前記ステップＳ２３において、正規のInquiry応答が受信されたと判定されるとステップＳ２４へ進む。ステップＳ２４では、当該応答信号に基づいてRSSIが計測され、この計測結果が無線APのMACアドレスと紐付けられて、前記電波強度集計部２０２により集計される。
【００５８】
図１０のフローチャートへ戻り、ステップＳ２では、前記Inquiry応答およびそのRSSIに基づいて、無線接続の可能なデジタルサイネージ１を発見できたか否かが判定される。発見できればステップＳ３へ進み、発見できなければステップＳ１へ戻る。
【００５９】
ステップＳ３では、前記移動状況推定部２０３において、デジタルサイネージ１に対するモバイル端末２の移動状況が判定される。本実施形態では、モバイル端末２がデジタルサイネージ１に対して、「静止」、「接近」および「離脱」のいずれの状態にあるかが判定される。
【００６０】
本実施形態では、移動状況の判定アルゴリズムにk近傍法（k-Nearest Neighbor）が採用される。k近傍法では、あるオブジェクト（本実施形態では、RSSI時系列データの特徴ベクトルに相当）の分類が、その特徴ベクトル近傍のオブジェクト群の投票によって決定される。
【００６１】
判定アルゴリズムの訓練段階では、RSSI時系列データを多数収集した既知の特徴ベクトルとクラスラベル（本実施例は：静止、接近、離脱）だけを保持している。実際の分類段階では、クラスラベルが未知である実測のRSSI時系列データの特徴ベクトルに対して、既知の特徴ベクトル群との距離を計算し、k個の候補が選択されると、これらの候補のクラスラベルの多数決で実測データのクラスラベルが与えられる。
【００６２】
これにより、本実施形態では、複数の無線APに関して計測されたRSSIの時系列データから、学習モデルを使ってデジタルサイネージ１に対するモバイル端末２の移動状況（クラスラベル）が推定される。具体的には、デジタルサイネージ１から既知の距離に設置した無線式のモバイル端末と各無線APとの間で前もってRSSIを計測し、その平均値、最大値、最小値、中央値、初期値および終了値と前記既知の距離と対応付ける。更に、前記モバイル端末をデジタルサイネージ１に対して「静止」、「接近」および「離脱」させながら、前記対応付けを時系列で集計し、その集計結果を教師データとして学習モデルを構築する。そして、実計測された各RSSI値の平均値、最大値、最小値、中央値、初期値および終了値を前記学習モデルに適用し、識別器にk近傍法を用いることでユーザの移動状況（静止、接近、離脱）が判定される。
【００６３】
(1)静止判定
【００６４】
前記K近傍法に基づいて、モバイル端末２がデジタルサイネージ１の前に到達して立ち止まったと判定されるとステップＳ５へ進み、前記無線通信制御部２０５により、いずれかの無線APとの間に無線接続が確立される。なお、無線接続の確立後にRSSIが所定時間以上継続して所定の閾値を下回ると無線接続が解除される。
【００６５】
(2)接近判定
【００６６】
前記K近傍法に基づいて、デジタルサイネージ１に対するモバイル端末２の距離およびその移動速度が算出される。その結果、モバイル端末２が所定時間（たとえば２秒）以内にデジタルサイネージ１の前に到達できると推定されると、モバイル端末２が接近中であると判定してステップＳ４へ進む。ステップＳ４では接続タイマがスタートし、そのタイムアウトを待って前記ステップＳ５へ進む。前記接続タイマは、モバイル端末２がデジタルサイネージ１の前に到着すると予測されるタイミングまたはその直前のタイミングでタイムアウトするように、ある程度のタイムラグを見込んで設定される。
【００６７】
(3)離脱判定
【００６８】
前記K近傍法に基づいて、デジタルサイネージ１に対するモバイル端末２の距離および移動速度が算出され、所定時間（たとえば、２秒）以内に無線通信圏内から外れると推定されると、モバイル端末２が離脱中であると判定してステップＳ６進む。ステップＳ６では切断タイマが起動され、そのタイムアウト後にステップＳ７へ進む。ステップＳ７では、無線接続が切断される。前記切断タイマは、モバイル端末２が無線通信圏内から外れるタイミングまたはその直前のタイミングでタイムアウトするように、ある程度のタイムラグを見込んで設定される。
【００６９】
このように、本実施形態によれば、デジタルサイネージ１に複数の無線APを設け、各無線APとモバイル端末２との距離を順番に短い周期で繰り返し計測できるので、デジタルサイネージ１に対するモバイル端末２の移動状況を正確に推定できるようになる。そして、この推定結果に応じて両者の無線接続が制御されるので、ユーザに特別な接続操作を要求することなく、無線接続を最適なタイミングで自動的に確立、切断できるようになる。
【００７０】
ステップＳ８では、モバイル端末２の向きが、前記方位センサ２０４により検出される。ステップＳ９では、前記検出された向きおよび端末ユーザの属性情報がサイネージ１へ送信される。ステップＳ１０では、前記と同様にして前記サイネージ１との距離が、前記図１１のフローチャートに示した手順により計測される。ステップＳ１１では、サイネージ１との距離が、所定の切断条件が満足される距離だけ離れたか否かが判定される。切断条件が満足されると、ステップＳ１２へ進んで切断処理が実行される。
【００７１】
図１２は、デジタルサイネージ１の動作を示したフローチャートであり、ステップＳ３１において、モバイル端末２との新たな接続が検知されると、ステップＳ３２では、モバイル端末が前記ステップＳ９で送信した当該モバイル端末の「向き」および「属性情報」が取得される。
【００７２】
ステップＳ３３では、前記取得された属性情報に基づいて、当該ユーザに適合するプライベート情報が、前記画像情報選択部１０９により、前記データベース１０８等から取得される。本実施形態では、ユーザの性別や年齢に基づいて、より好適なお勧め情報などが選択される。ステップＳ３４では、前記取得された属性情報に基づいて、前記情報の表示書式が設定される。本実施形態では、ユーザの年齢に応じて表示文字のフォントサイズや画像の拡大倍率が設定され、さらには一行当たりの文字数が変更される。
【００７３】
例えば、端末ユーザが高齢者であると、フォントサイズが大きくされ、画像の拡大倍率が高くされ、また一行当たりの文字数が少なくされる。さらに、国情報に応じて表示言語の設定が行われ、例えば国情報が中国であれば中国語が選択され、日本であれば日本語が選択される。
【００７４】
ステップＳ３５では、前記相対角度出部１０７において、前記モバイル端末２から取得した当該端末の向きθmと前記方位センサ１０６により検知されたサイネージの向きθnとに基づいて両者の相対角度θが算出される。ステップＳ３６では、前記端末位置推定部１０６において、前記相対角度θに基づいて、モバイル端末２とサイネージ１とが相互に平行で対向状態にあるか否かが判定される。図８(a)のモバイル端末２ｂのように、対向状態と判定されるとステップＳ３８へ進む。これに対して、モバイル端末２ａ，２ｃのように平行ではないと判定されるとステップＳ３７へ進む。
【００７５】
ステップＳ３７では、両者の相対角度θに基づいて、サイネージ１に対する前記モバイル端末２の所在方向が推定され、この推定結果に基づいて、前記画像情報が画像回転部１１０により擬似的に回転される。すなわち、前記相対角度θが、図９(a)に示したように鋭角であると、図８(a)のモバイル端末２ｃのように右側に所在していると推定されるので、前記画像情報が前記相対角度θに応じて右方向へ回転される。これに対して、前記相対角度θが、図９(b)に示したように鈍角であると、図８(a)のモバイル端末２ａのように左側に所在していると推定されるので、前記画像情報が前記相対角度θに応じて左方向へ回転される。
【００７６】
ステップＳ３８では、前記回転された、または回転されていない画像情報が、前記表示部１１２の前記プライベート領域A3の一つに表示出力される。ステップＳ３９では、無線接続が切断されたか否かが判定され、切断されるまでは、ステップＳ３３へ戻って上記の各処理が繰り返される。
【００７７】
なお、上記の実施形態では、デジタルサイネージ１に対するモバイル端末２の位置が、それぞれに設けられた方位センサの検出結果に基づいて推定されるものとして説明したが、モバイル端末２がGPSを内蔵していれば、当該GPSにより測位される現在位置をサイネージ１へ通知し、サイネージ１において、自身の位置とモバイル端末の位置とに基づいて当該モバイル端末の所在方向を算出するようにしても良い。
【００７８】
あるいは、デジタルサイネージ１の各無線APに指向性の高い複数のアンテナを別々の角度で設置する一方、モバイル端末２は、受信電波強度の強い信号を選択して無線接続し、この無線接続を利用してアンテナのMACアドレスや属性情報を送信するようにしても良い。このような構成によれば、デジタルサイネージ１では、モバイル端末２と無線接続されたアンテナが右方向を指向していれば、当該モバイル端末２の所在方向を右方向と推定できるなど、無線接続されたアンテナの指向に基づいてモバイル端末の位置（所在方向）を推定できるようになる。
【符号の説明】
【００７９】
１…デジタルサイネージ，２…モバイル端末，１０１…AP管理部，１０２…無線通信制御部，１０３…向き情報取得部，１０４…属性情報取得部，１０５，２０４…方位センサ，１０６…端末位置推定部，１０７…相対向き算出部，１０８…データベース，１０９…画像情報選択部，１１０…画像回転部，１１１…表示制御部，１１２…表示部，２０１…電波強度計測部，２０２…電波強度集計部，２０３…移動状況推定部，２０５…無線通信制御部
【特許請求の範囲】
【請求項１】
複数の無線アクセスポイントを備え、各無線アクセスポイントに接続したモバイル端末に画像情報を提供するサイネージ装置において、
画像情報を表示する表示部と、
前記表示部の向きを検知する方位センサと、
各無線アクセスポイントに無線接続したモバイル端末から、当該モバイル端末の向き情報を取得する向き情報取得手段と、
前記表示部の向きと前記モバイル端末の向き情報とに基づいて、前記表示部に対する前記モバイル端末の位置を推定する位置推定手段と、
前記モバイル端末の端末ユーザに提供する画像情報を蓄積する画像情報データベースと、
前記位置の推定結果に基づいて、端末ユーザに提供する画像情報を、前記モバイル端末の位置の方向へ仮想的に回転させる画像回転手段と、
前記回転された画像情報を前記表示部に出力する表示制御手段とを具備したことを特徴とするサイネージ装置。
【請求項２】
前記表示制御手段は、前記表示部を少なくとも一つのパブリック領域および複数のプライベート領域を含む複数の表示領域に分け、各モバイル端末に提供する画像情報を、前記複数のプライベート領域のいずれかに、それぞれ出力することを特徴とする請求項１に記載のサイネージ装置。
【請求項３】
前記位置推定手段は、前記表示部およびモバイル端末の各向き情報に基づいて両者の相対角度を算出する相対角度算出手段を具備し、前記相対角度に基づいて、前記表示部に対するモバイル端末の位置を推定することを特徴とする請求項１に記載のサイネージ装置。
【請求項４】
無線接続されたモバイル端末から、端末ユーザの属性情報を取得する属性情報取得手段と、
前記属性情報に基づいて、前記画像情報データベースから対応する画像情報を選択する画像選択手段とを具備したことを特徴とする請求項１に記載のサイネージ装置。
【請求項５】
複数のUSBポートを備え、前記無線アクセスポイントは、前記各USBポートに装着されたUSB型の無線APモジュールであることを特徴とする請求項１に記載のサイネージ装置。
【請求項６】
前記無線APモジュールが、無線LANモジュールであることを特徴とする請求項５に記載のサイネージ装置。
【請求項７】
前記無線APモジュールが、Bluetoothモジュールであることを特徴とする請求項５に記載のサイネージ装置。
【請求項１】
複数の無線アクセスポイントを備え、各無線アクセスポイントに接続したモバイル端末に画像情報を提供するサイネージ装置において、
画像情報を表示する表示部と、
前記表示部の向きを検知する方位センサと、
各無線アクセスポイントに無線接続したモバイル端末から、当該モバイル端末の向き情報を取得する向き情報取得手段と、
前記表示部の向きと前記モバイル端末の向き情報とに基づいて、前記表示部に対する前記モバイル端末の位置を推定する位置推定手段と、
前記モバイル端末の端末ユーザに提供する画像情報を蓄積する画像情報データベースと、
前記位置の推定結果に基づいて、端末ユーザに提供する画像情報を、前記モバイル端末の位置の方向へ仮想的に回転させる画像回転手段と、
前記回転された画像情報を前記表示部に出力する表示制御手段とを具備したことを特徴とするサイネージ装置。
【請求項２】
前記表示制御手段は、前記表示部を少なくとも一つのパブリック領域および複数のプライベート領域を含む複数の表示領域に分け、各モバイル端末に提供する画像情報を、前記複数のプライベート領域のいずれかに、それぞれ出力することを特徴とする請求項１に記載のサイネージ装置。
【請求項３】
前記位置推定手段は、前記表示部およびモバイル端末の各向き情報に基づいて両者の相対角度を算出する相対角度算出手段を具備し、前記相対角度に基づいて、前記表示部に対するモバイル端末の位置を推定することを特徴とする請求項１に記載のサイネージ装置。
【請求項４】
無線接続されたモバイル端末から、端末ユーザの属性情報を取得する属性情報取得手段と、
前記属性情報に基づいて、前記画像情報データベースから対応する画像情報を選択する画像選択手段とを具備したことを特徴とする請求項１に記載のサイネージ装置。
【請求項５】
複数のUSBポートを備え、前記無線アクセスポイントは、前記各USBポートに装着されたUSB型の無線APモジュールであることを特徴とする請求項１に記載のサイネージ装置。
【請求項６】
前記無線APモジュールが、無線LANモジュールであることを特徴とする請求項５に記載のサイネージ装置。
【請求項７】
前記無線APモジュールが、Bluetoothモジュールであることを特徴とする請求項５に記載のサイネージ装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【公開番号】特開２０１３−８０１２３（Ｐ２０１３−８０１２３Ａ）
【公開日】平成２５年５月２日（２０１３．５．２）
【国際特許分類】
【出願番号】特願２０１１−２２０２７８（Ｐ２０１１−２２０２７８）
【出願日】平成２３年１０月４日（２０１１．１０．４）
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．Ｂｌｕｅｔｏｏｔｈ
【出願人】（０００２０８８９１）ＫＤＤＩ株式会社 (2,700)
【Ｆターム（参考）】
【公開日】平成２５年５月２日（２０１３．５．２）
【国際特許分類】
【出願日】平成２３年１０月４日（２０１１．１０．４）
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．Ｂｌｕｅｔｏｏｔｈ
【出願人】（０００２０８８９１）ＫＤＤＩ株式会社 (2,700)
【Ｆターム（参考）】
[ Back to top ]