情報処理装置、情報処理システム、および、情報処理方法
【課題】ユーザが意図する処理を適切に行うことができる情報処理システムの提供。
【解決手段】情報処理システム１は、表示面にパック領域を設定する操作位置設定手段５３と、パック６から赤外線を利用して送信されるＩＤ情報と動き情報を受信するカメラ受光手段４３と、赤外線の発信位置に基づき表示面を臨む位置から見たときのパックの位置をカメラ検出位置として算出するカメラ検出位置算出手段５５と、表示面にパック６が接触したことを検出するパネル発光受光部２３と、パネル発光受光部２３の検出結果に基づきパック６の接触位置をパネル検出位置として算出するパネル検出位置算出手段５６と、カメラ検出位置とパネル検出位置が一致しかつパネル検出位置とパック領域との少なくとも一部が重複する場合ＩＤ情報で特定されるパック６に対応しかつ動き情報の動きに基づく処理を行う操作対応処理手段５７とを備える。
【解決手段】情報処理システム１は、表示面にパック領域を設定する操作位置設定手段５３と、パック６から赤外線を利用して送信されるＩＤ情報と動き情報を受信するカメラ受光手段４３と、赤外線の発信位置に基づき表示面を臨む位置から見たときのパックの位置をカメラ検出位置として算出するカメラ検出位置算出手段５５と、表示面にパック６が接触したことを検出するパネル発光受光部２３と、パネル発光受光部２３の検出結果に基づきパック６の接触位置をパネル検出位置として算出するパネル検出位置算出手段５６と、カメラ検出位置とパネル検出位置が一致しかつパネル検出位置とパック領域との少なくとも一部が重複する場合ＩＤ情報で特定されるパック６に対応しかつ動き情報の動きに基づく処理を行う操作対応処理手段５７とを備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報処理装置、情報処理システム、および、情報処理方法に関する。
【背景技術】
【０００２】
従来、表示装置上にタグを載せ、当該タグを回転させたり押下することで、様々なサービスを得ることができる構成が知られている（例えば、特許文献１参照）。
この特許文献１の構成では、４個の光センサが設けられたタグを用い、当該タグが表示画面に接触した状態で、表示画面に表示されたマーカパターンの明度を計測する。そして、得られた明度の計測値に基づいて、タグの表示画面上での位置や回転状態を算出し、この算出結果に応じたインターフェース処理を行っている。また、特許文献１には、マーカパターン上にタグが存在していない状況では、加速度センサやジャイロセンサを用い、各センサからの情報に基づいて、タグの位置や回転を検出してもよい旨も開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００７−３１０６８３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、特許文献１のような構成では、マーカパターンにタグが接触していない状況で、ジャイロセンサからの情報に基づいてタグの回転を検出すると、ユーザが意図しないタイミングでタグの回転に基づく処理が行われてしまうおそれがある。
【０００５】
本発明は、ユーザが意図する処理を適切に行うことができる情報処理装置、情報処理システム、および、情報処理方法を提供することを１つの目的とする。
【課題を解決するための手段】
【０００６】
本発明の情報処理装置は、表示面に接触または近接したパックの動きに基づく処理を行う情報処理装置であって、前記表示面の所定位置を、前記パックの操作位置として設定する操作位置設定手段と、前記表示面を臨む位置に設けられ、前記パックから赤外線を利用して送信される、当該パックを特定するパック特定情報および当該パックの動きを表す動き情報を受信する情報受信手段と、前記赤外線の発信位置に基づいて、前記表示面を臨む位置から見たときの前記パックの位置を第１存在位置として算出する第１存在位置算出手段と、前記表示面上および当該表示面に近接した位置のうち少なくとも一方に設けられ、前記表示面に前記パックが接触または近接したことを検出する存在検出手段と、前記存在検出手段の検出結果に基づいて、前記パックの接触位置または近接位置を第２存在位置として算出する第２存在位置算出手段と、前記第１存在位置および前記第２存在位置との距離が所定範囲内であり、かつ、前記第２存在位置と前記操作位置との少なくとも一部が重複すると判断すると、前記情報受信手段で受信したパック特定情報で特定されるパックに対応しかつ動き情報の動きに基づく処理を行う操作対応処理手段と、を備えることを特徴とする。
【０００７】
本発明の情報処理システムは、上述の情報処理装置と、前記情報処理装置の表示面に接触または近接させることが可能なパックと、を備え、前記パックは、当該パックの動きを検出する動き検出手段と、前記パックを特定するパック特定情報および前記動き検出手段で検出された動きを表す動き情報を、赤外線を利用して前記情報処理装置へ送信するパック送信手段と、を備えることを特徴とする。
【０００８】
本発明の情報処理方法は、表示面に接触または近接したパックの動きに基づく処理を行う情報処理方法であって、前記表示面の所定位置を、前記パックの操作位置として設定する工程と、前記パックから赤外線を利用して送信される、当該パックを特定するパック特定情報および当該パックの動きを表す動き情報を、前記表示面を臨む位置において受信する工程と、前記赤外線の発信位置に基づいて、前記表示面を臨む位置から見たときの前記パックの位置を第１存在位置として算出する工程と、前記表示面に前記パックが接触または近接したことを、前記表示面上および当該表示面に近接した位置のうち少なくとも一方において検出する工程と、この検出結果に基づいて、前記パックの接触位置または近接位置を第２存在位置として算出する工程と、前記第１存在位置および前記第２存在位置との距離が所定範囲内であり、かつ、前記第２存在位置と前記操作位置との少なくとも一部が重複すると判断すると、前記情報受信手段で受信したパック特定情報で特定されるパックに対応しかつ動き情報の動きに基づく処理を行う工程と、を実施することを特徴とする。
【図面の簡単な説明】
【０００９】
【図１】本発明の一実施形態に係る情報処理システムの概略構成を示す模式図。
【図２】前記情報処理システムの概略構成を示すブロック図。
【図３】前記情報処理システムを構成するパックの縦断面図。
【図４】前記パックの横断面図。
【図５】前記情報処理システムにおける遮光スキャンの状態を示す模式図。
【図６】前記情報処理システムの動作を示すフローチャート。
【図７】前記情報処理システムの動作を示すフローチャート。
【図８】前記パックのステータスが非存在状態から存在状態に変更になったときの情報処理システムの動作を示す模式図。
【図９】前記パックのステータスが非回転状態から回転状態に変更になったときの情報処理システムの動作を示す模式図。
【図１０】前記パックのステータスが非押下状態から押下状態に変更になったときの情報処理システムの動作を示す模式図。
【発明を実施するための形態】
【００１０】
以下、本発明の情報処理システムについて図面を参照しながら詳細に説明する。
［情報処理システムの構成］
図１に示すように、情報処理システム１は、タッチパネル装置２を有する情報処理装置３と、タッチパネル装置２の後述する表示面２１上に配置可能なパック６とを備える。この情報処理システム１は、パック６や指Ｆなどの物体が、タッチパネル装置２の表示面２１に接触または近接（以下において、パック６や指Ｆが表示面２１に接触または近接している状態をまとめて「表示面２１上に存在」と表現する場合がある）した場合、当該接触位置または近接位置（以下において、接触位置または近接位置をまとめて「存在位置」と表現する場合がある）に対応する処理をする。
【００１１】
パック６は、ユーザにより操作されるものであり、有底筒状である円錐台状のパック筐体６１を備える。このパック筐体６１には、図２に示すように、パック送信手段としての複数のパック発光素子６２１から構成されるパック発光部６２と、パック６の動きを検出する動き検出手段６３と、パック制御手段６４とを備える。
パック発光素子６２１は、図３および図４に示すように、第１赤外線Ｌ１を発光可能な赤外線ＬＥＤであり、パック筐体６１の円錐台状の軸方向と外周方向の両方に沿って、それぞれ複数ずつ並んで設けられている。また、パック発光素子６２１は、パック筐体６１の底面部６１１が表示面２１に対向するように配置されたときに、第１赤外線Ｌ１を斜め上に向かって、すなわち底面部６１１から離れる方向に向かって発光するように設けられている。
【００１２】
動き検出手段６３は、図２に示すように、角度センサ６５と、押下センサ６６とを備える。
角度センサ６５は、パック筐体６１の円錐台状の外周方向の回転角度を検出し、この検出した回転角度に対応する回転角度情報をパック制御手段６４に出力する。
押下センサ６６は、パック筐体６１の円錐台状の底面部６１１に設けられている。この押下センサ６６は、パック筐体６１の底面に対して上下に移動可能な移動子６６１の移動量を検出し、この検出した移動量に対応する押下情報をパック制御手段６４に出力する。なお、押下センサ６６で検出される移動量は、パック筐体６１が表示面２１に対して押し付けられた（押下された）ときの移動量である。
なお、以下において、回転角度情報と押下情報とをまとめて、「パック動き情報」と表現する場合がある。
【００１３】
パック制御手段６４は、図示しない記憶手段に記憶されたプログラムおよびデータをＣＰＵ（Central Processing Unit）が処理することにより構成される。このパック制御手段６４は、動き検出手段６３からのパック動き情報を取得すると、パック発光素子６２１の第１赤外線Ｌ１を利用して、パック動き情報を出力する。また、パック制御手段６４は、パック６を識別するためのパック特定情報としてのＩＤ情報を、パック動き情報とともに出力する。
具体的に、パック制御手段６４は、パック６の回転方向、回転角度、押下の有無、ＩＤ情報に応じて、第１赤外線Ｌ１の発光間隔や発光時間を異ならせることで、パック動き情報やＩＤ情報を出力する。
ここで、パック制御手段６４は、パック６の図示しないスイッチがオンされると、パック６が表示面２１に接触しているか否かにかかわらず、第１赤外線Ｌ１を利用して、パック動き情報とＩＤ情報とを出力する。
【００１４】
タッチパネル装置２は、図１に示すように、表示手段２０の矩形状である長方形状の表示面２１が上を向くテーブル型のものである。表示手段２０は、枠体２２内に収容されている。また、枠体２２には、表示面２１上に物体が存在しているか否かを検出するためのパネル発光受光部２３が設けられている。さらに、枠体２２の上面における四隅には、赤外線カメラ４から発せられる第２赤外線Ｌ２を反射する反射手段としての反射マーカ２８が設けられている。
【００１５】
パネル発光受光部２３は、図１および図５に示すように、枠体２２の長辺を構成する一対の側面部のうちの一方に設けられた第１パネル発光部２４と、他方に設けられた第１パネル受光部２５と、枠体２２の短辺を構成する一方の側面部のうち一方に設けられた第２パネル発光部２６と、他方に設けられた第２パネル受光部２７とを備える。
第１パネル発光部２４および第２パネル発光部２６は、それぞれ複数の第１パネル発光素子２４１および第２パネル発光素子２６１を備える。第１パネル発光素子２４１および第２パネル発光素子２６１は、第３赤外線Ｌ３を発光可能な赤外線ＬＥＤ（Light-Emitting Diode）である。
また、第１パネル受光部２５および第２パネル受光部２７は、それぞれ第１パネル発光素子２４１および第２パネル発光素子２６１と同数の第１パネル受光素子２５１および第２パネル受光素子２７１を備える。第１パネル受光素子２５１および第２パネル受光素子２７１は、第３赤外線Ｌ３を受光可能な赤外線受光素子であり、第１パネル発光素子２４１および第２パネル発光素子２６１の光軸上に配置されている。
そして、第１パネル発光素子２４１および第２パネル発光素子２６１は、情報処理装置３の制御により、表示面２１と平行に第３赤外線Ｌ３を発光する。第１パネル受光素子２５１および第２パネル受光素子２７１は、第３赤外線Ｌ３を受光すると、この受光量に対応する受光信号を情報処理装置３に出力する。
【００１６】
情報処理装置３は、図１および図２に示すように、パック６がタッチパネル装置２上に存在することやパック６のタッチパネル装置２上での動きを検出するための赤外線カメラ４と、この赤外線カメラ４での検出結果に基づく処理を行う制御装置５とを備える。
赤外線カメラ４は、図示しないスタンドに取り付けられ、表示面２１の斜め上に、すなわち表示面２１を臨む位置に設置される。この赤外線カメラ４は、箱状の収容筐体４１と、この収容筐体４１にそれぞれ収容される、発光手段としてのカメラ発光手段４２と、情報受信手段および受光手段としてのカメラ受光手段４３とを備える。
カメラ発光手段４２は、制御装置５の制御により第２赤外線Ｌ２を発光する赤外線ＬＥＤである。
カメラ受光手段４３は、第１赤外線Ｌ１および第２赤外線Ｌ２を受光可能な赤外線受光素子である。このカメラ受光手段４３は、４個の反射マーカ２８で反射された第２赤外線Ｌ２を受光すると、これら反射マーカ２８の位置関係を表す反射位置情報を制御装置５へ出力する。また、カメラ受光手段４３は、第１赤外線Ｌ１を受光すると、この受光状態に基づくカメラ受光信号を制御装置５へ出力する。
【００１７】
制御装置５は、コンピュータであり、各種情報を記憶可能な記憶部５１と、情報処理システム１全体を制御する全体制御部５２とを備える。
全体制御部５２は、記憶部５１に記憶されたプログラムおよびデータをＣＰＵが処理することにより構成され、操作位置設定手段５３と、表示制御手段５４と、第１存在位置検出手段としてのカメラ検出位置算出手段５５と、第２存在位置検出手段としてのパネル検出位置算出手段５６と、操作対応処理手段５７とを備える。
【００１８】
操作位置設定手段５３は、表示面２１の所定位置を操作位置としてのパック領域２１１として設定し、パック領域２１１以外の所定位置をタッチ領域２１２として設定する。パック領域２１１は、当該パック領域２１１内にパック６の少なくとも一部が存在した場合に、パック６の動きに対応する処理を行うための領域である。タッチ領域２１２は、当該タッチ領域２１２内にパック６または指Ｆの少なくとも一部が存在した場合に、当該タッチ領域２１２の位置に対応する処理を行うための領域である。
【００１９】
表示制御手段５４は、表示面２１に各種画像や情報を表示させる。例えば、表示制御手段５４は、パック領域２１１内に当該パック領域２１１と略等しい大きさのパック動作オブジェクトＭ１を表示させ、タッチ領域２１２内に当該タッチ領域２１２と略等しい大きさのタッチ動作オブジェクトＭ２を表示させる。
【００２０】
カメラ検出位置算出手段５５は、赤外線カメラ４からの反射位置情報に基づいて、赤外線カメラ４から見たときの表示面２１の外形状（以下、表示面検出形状と称す）を算出する。さらに、カメラ検出位置算出手段５５は、カメラ受光信号に基づく第１赤外線Ｌ１の発信位置とＩＤ情報とに基づいて、ＩＤ情報に対応するパック６を赤外線カメラ４から見たときの位置を算出する。そして、赤外線カメラ４から見たときの表示面検出形状とパック６の位置を表す検出画像を生成する。さらに、カメラ検出位置算出手段５５は、検出画像の表示面検出形状が長方形となるように台形補正を行うことで補正画像を生成し、この補正画像における表示面２１に対するパック６の位置を、第１存在位置としてのカメラ検出位置として算出する。
【００２１】
パネル検出位置算出手段５６は、第１パネル発光素子２４１および第２パネル発光素子２６１からの第３赤外線Ｌ３を用いて表示面２１上を走査する。そして、当該第３赤外線Ｌ３の遮光位置に基づいて、パック６や指Ｆの存在位置を第２存在位置としてのパネル検出位置として算出する。
操作対応処理手段５７は、カメラ検出位置と、パネル検出位置と、カメラ受光信号に対応するパック動き情報とに基づいて、パック６の存在位置と動きに対応する処理を行う。また、操作対応処理手段５７は、パネル検出位置に基づいて、指Ｆの存在位置に対応する処理を行う。
【００２２】
［情報処理システムの作用］
次に、情報処理システム１の作用を説明する。
まず、情報処理システム１のユーザは、タッチパネル装置２の上に赤外線カメラ４が固定されていない場合には赤外線カメラ４を固定した後、すでに赤外線カメラ４が固定されている場合には特に何もせずに、情報処理システム１の電源をオンする。
情報処理システム１を構成する制御装置５の全体制御部５２は、電源がオンされたことを検出すると、操作位置設定手段５３により、表示面２１に対して、図１に示すようなパック領域２１１とタッチ領域２１２とを設定する。そして、制御装置５の表示制御手段５４は、パック領域２１１内にパック動作オブジェクトＭ１を、タッチ領域２１２内にタッチ動作オブジェクトＭ２を、それぞれ表示させる。
【００２３】
この後、制御装置５のカメラ検出位置算出手段５５は、赤外線カメラ４のカメラ発光手段４２から第２赤外線Ｌ２を発光させる。そして、カメラ検出位置算出手段５５は、図６に示すように、反射マーカ２８により反射された後にカメラ受光手段４３で受光された第２赤外線Ｌ２に基づいて、四隅の反射マーカ２８の位置を検出する（ステップＳ１）。
次に、カメラ検出位置算出手段５５は、この検出した位置に基づく表示面検出形状を表す画像を生成し、この画像に対して台形補正を行うことで、表示面検出形状を長方形に補正した補正長方形状を算出し（ステップＳ２）、補正範囲内か否かを判断する（ステップＳ３）。すなわち、ステップＳ３では、４個の反射マーカ２８でそれぞれ反射された全ての第２赤外線Ｌ２がカメラ受光手段４３で受光されたか否か、あるいは、表示面検出形状が細長い台形状か否かを判断する。
【００２４】
このステップＳ３において、カメラ検出位置算出手段５５は、少なくとも１個の反射マーカ２８で反射された第２赤外線Ｌ２が受光されていない、あるいは、表示面検出形状が細長い台形状であると判断すると、補正範囲外であると判断する。そして、４個の反射マーカ２８でそれぞれ反射された全ての第２赤外線Ｌ２がカメラ受光手段４３で受光されるように、あるいは、表示面検出形状が細長くない台形状となるように、制御装置５の位置や角度の変更を指示するカメラ位置変更指示を行い（ステップＳ４）、ステップＳ１の処理を行う。なお、カメラ位置変更指示は、その旨のメッセージを表示面２１に表示させることで行ってもよいし、図示しないスピーカによる音声や警告音で行ってもよい。
【００２５】
一方で、ステップＳ３において、カメラ検出位置算出手段５５は、４個の反射マーカ２８で反射された第２赤外線Ｌ２が全て受光されており、表示面検出形状が細長い台形状でないと判断すると、補正範囲内であると判断する。そして、パネル検出位置算出手段５６は、表示面２１上にパック６や指Ｆが存在しているか否かを判定するために、図５に示すように、第３赤外線Ｌ３を用いた遮光スキャンを行う。なお、遮光スキャンの開始は、ステップＳ１の処理の前に行ってもよい。
【００２６】
情報処理システム１のユーザは、表示面２１の表示に基づいて、パック６の操作に基づく処理を情報処理システム１に行わせたい場合には、第１赤外線Ｌ１を発光させたパック６を表示面２１のパック動作オブジェクトＭ１上に接触させる。また、ユーザは、指Ｆでのタッチに基づく処理を行わせたい場合には、指Ｆで表示面２１上のタッチ動作オブジェクトＭ２をタッチする。
【００２７】
この後、全体制御部５２は、電源のオフにより、処理を終了すると判断すると（ステップＳ５）、処理を終了し、終了しないと判断すると、カメラ検出位置算出手段５５にて、パック６からの第１赤外線Ｌ１がカメラ受光手段４３で受光されたか否かを判断する（ステップＳ６）。
このステップＳ６において、カメラ検出位置算出手段５５にて、パック６が表示面２１上に存在しておらず第１赤外線Ｌ１が受光されていないと判断すると、パネル検出位置算出手段５６は、遮光スキャンにより、パック６以外の物体による第３赤外線Ｌ３の遮光が検出されたか否かを判断する（ステップＳ７）。
そして、表示面２１上に何も存在していないため、ステップＳ７において、パネル検出位置算出手段５６により遮光が検出されていないと判断すると、ステップＳ５に戻る。一方で、表示面２１上に指Ｆが存在しているため、ステップＳ７において、パネル検出位置算出手段５６は、遮光が検出されたと判断すると、パネル検出位置を算出する（ステップＳ８）。
【００２８】
この後、操作対応処理手段５７は、パネル検出位置に基づいて、指Ｆがタッチ動作オブジェクトＭ２上に存在しているか否かを判断する（ステップＳ９）。そして、タッチ動作オブジェクトＭ２上に存在していない場合には、ステップＳ５に戻り、タッチ動作オブジェクトＭ２上に存在している場合には、タッチ領域２１２に対応する処理をタッチパネル処理として行い（ステップＳ１０）、ステップＳ５に戻る。すなわち、一般的なタッチパネル装置と同様に、指Ｆの接触位置に対応する処理を行う。
【００２９】
一方、ステップＳ６において、カメラ検出位置算出手段５５で第１赤外線Ｌ１が受光されたと判断すると、図７に示すように、カメラ検出位置算出手段５５は、第１赤外線Ｌ１を利用して送信されるパック位置情報およびＩＤ情報と、ステップＳ２での処理結果とに基づいて、カメラ検出位置を算出する（ステップＳ１１）。また、パネル検出位置算出手段５６は、第３赤外線Ｌ３の遮光状態に基づいてパネル検出位置を算出する（ステップＳ１２）。
この後、操作対応処理手段５７は、カメラ検出位置とパネル検出位置とが一致するか否かを判断する（ステップＳ１３）。なお、一致とは、完全に一致している状態のみならず、カメラ検出位置とパネル検出位置との距離が所定範囲内でずれている状態も含む概念である。
【００３０】
このステップＳ１３において、例えば、パック６が表示面２１から離れているため、操作対応処理手段５７にてカメラ検出位置とパネル検出位置とが一致しないと判断すると、ステップＳ５に戻る。一方、ステップＳ１３において、操作対応処理手段５７は、パック６が表示面２１に接触あるいは近接しているため、カメラ検出位置とパネル検出位置とが一致していると判断すると、パネル検出位置とパック動作オブジェクトＭ１との少なくとも一部が重複しているか否かを判断する（ステップＳ１４）。
【００３１】
ステップＳ１４において、操作対応処理手段５７は、全く重複していないと判断すると、パネル検出位置とタッチ動作オブジェクトＭ２との少なくとも一部が重複しているか否かを判断する（ステップＳ１５）。そして、全く重複していないと判断すると、ステップＳ５に戻り、少なくとも一部が重複していると判断すると、指Ｆでなくパック６が表示面２１上に存在している場合であっても、タッチ領域２１２に対応する処理をタッチパネル処理として行い（ステップＳ１６）、ステップＳ５に戻る。
【００３２】
一方で、ステップＳ１４において、操作対応処理手段５７は、パネル検出位置とパック動作オブジェクトＭ１との少なくとも一部が重複していると判断すると、第１赤外線Ｌ１を利用して送信されるパック動き情報に基づいて、パック６のステータスが変更されたか否かを判断する（ステップＳ１７）。そして、ステップＳ１７において、ステータスが変更されていないと判断した場合、ステップＳ５に戻り、変更されたと判断した場合、ＩＤ情報のパック６とステータスに対応する処理を行い（ステップＳ１８）、ステップＳ５に戻る。
【００３３】
具体的に、操作対応処理手段５７は、図８に示すように、ステップＳ１７において、ステータスが、「パック６が表示面２１上に存在していない非存在状態」から、「パック６が表示面２１上に存在する存在状態」に変更になったと判断すると、ステップＳ１８において、処理を選択するための処理選択画像Ｍ１１と、当該処理選択画像Ｍ１１上の処理項目のうちの１つを囲むカーソルＭ１２とを表示面２１に表示させるステータス対応処理を行う。なお、処理選択画像Ｍ１１の内容は、パック６のＩＤにより異なっていてもよいし、同じであってもよい。
【００３４】
また、操作対応処理手段５７は、図９に示すように、パック動き情報を構成する回転角度情報に基づいて、ステータスが、「回転していない非回転状態」から「回転した回転状態」に変更になったと判断すると、回転方向に応じてカーソルＭ１２を移動させる。
さらに、操作対応処理手段５７は、図１０に示すように、パック動き情報を構成する押下情報に基づいて、ステータスが、「押下されていない非押下状態」から「押下された押下状態」に変更になったと判断すると、カーソルＭ１２に囲まれている文字を反転表示させ、当該反転表示させた文字に対応する処理を行う。
なお、遮光スキャンは、パネル検出位置算出のために行われているため、ステップＳ１３の処理後に行われなくてもよい。
【００３５】
［実施形態の作用効果］
上述したような実施形態では、以下のような作用効果を奏することができる。
（１）情報処理システム１は、パック６から第１赤外線Ｌ１を介して送信されるＩＤ情報とパック動き情報を赤外線カメラ４で受信し、カメラ検出位置算出手段５５により第１赤外線Ｌ１の発信位置に基づいて、赤外線カメラ４から見たときのパック６の位置を算出する。また、パネル検出位置算出手段５６は、タッチパネル装置２に設けられたパネル発光受光部２３での遮光スキャンの結果に基づいて、表示面２１上におけるパック６の存在位置をパネル検出位置として算出する。そして、操作対応処理手段５７は、カメラ検出位置算出手段５５で算出された位置とパネル検出位置とが一致し、かつ、パネル検出位置とパック領域２１１との少なくとも一部が重複している場合、ＩＤ情報で特定されるパック６に対応しかつパック動き情報の動きに基づく処理を行う。
このため、情報処理システム１は、第１赤外線Ｌ１を利用してパック６から送信されるＩＤ情報とパック動き情報を受信したときであっても、パック６が表示面２１上に存在していない場合には、第１赤外線Ｌ１の発信位置に基づき算出されるパック６の位置と、パネル検出位置とが一致しないため、ＩＤ情報とパック動き情報に基づく処理を行うことがない。一方で、情報処理システム１は、パック６が表示面２１上に存在している場合には、第１赤外線Ｌ１の発信位置に基づき算出されるパック６の位置と、パネル検出位置とが一致するため、ＩＤ情報とパック動き情報に基づく処理を行う。したがって、パック６のユーザが意図する処理を適切に行うことができる。
【００３６】
（２）赤外線カメラ４は、カメラ発光手段４２により表示面２１の四隅に設けられた反射マーカ２８に向けて第２赤外線Ｌ２を発光し、反射マーカ２８で反射された第２赤外線Ｌ２をカメラ受光手段４３により受光する。そして、カメラ検出位置算出手段５５は、第１赤外線Ｌ１および第２赤外線Ｌ２の受光状態に基づいて、赤外線カメラ４から見たときの表示面２１の表示面検出形状と、表示面２１におけるパック６の位置とを表す検出画像を生成する。この後、この検出画像に対して、表示面検出形状が長方形となるような台形補正を行い、この台形補正により生成された補正画像における表示面２１に対するパック６の位置を、パック６のカメラ検出位置として算出する。
このため、例えば、場所の制約により、表示面２１の斜め上に赤外線カメラ４を設置する必要がある場合や、情報処理システム１を利用する毎に赤外線カメラ４の設置位置を変更する必要がある場合であっても、上述のような台形補正を行うことで、表示面２１におけるパック６の位置を精度よく算出でき、誤動作を防止できる。
【００３７】
（３）パック６のパック発光素子６２１を、パック筐体６１の軸方向および外周方向にそれぞれ沿って複数設けるとともに、底面部６１１に対して斜め上に第１赤外線Ｌ１を発光するように設けている。
このため、ユーザによるパック６の持ち方や、パック６が表示面２１に置かれたときの向きによらず、第１赤外線Ｌ１を赤外線カメラ４に受光させることができる。したがって、ユーザは、パック６の持ち方や置き方を意識することなく、当該ユーザが意図する処理を情報処理システム１に実施させることができる。
【００３８】
［変形例］
なお、本発明は前述の実施形態に限定されるものではなく、本発明の目的を達成できる範囲での変形、改良などは本発明に含まれるものである。
すなわち、パック６に加速度センサを設けて、操作対応処理手段５７により、パック６の回転時の加速度や押下時の加速度に応じて、異なる処理を行ってもよい。
また、赤外線カメラ４を常時同じ位置に固定して、カメラ検出位置の算出の際に台形補正を行わない構成としてもよい。
さらに、反射マーカ２８とカメラ発光手段４２とを設けずに、表示面２１の四隅に発光手段を設け、当該発光手段からの光をカメラ受光手段４３で受光して、カメラ検出位置を算出してもよい。
そして、パック発光素子６２１を、パック筐体６１に１個だけ設けてもよいし、パック筐体６１の軸方向または外周方向のみに沿って複数設けてもよい。また、パック筐体６１全体から第１赤外線Ｌ１を発光してもよい。
【００３９】
また、タッチパネル装置２に設けるパネル検出位置を検出する構成として、静電容量方式、電磁誘導方式などいずれの構成を用いてもよい。
さらに、第１赤外線Ｌ１と第２赤外線Ｌ２と第３赤外線Ｌ３とは、同じ波長帯域の赤外線であってもよいし、異なる波長帯の赤外線であってもよい。
そして、タッチパネル装置２としては、コンピュータの表示装置として用いられるものであってもよいし、壁に設置されるものであってもよい。さらに、タッチパネル装置２としては、業務用インフォメーションや車内でのインフォメーションの表示に用いられるものであってもよいし、電子機器の操作に用いられるものであってもよい。
【符号の説明】
【００４０】
１…情報処理システム
３…情報処理装置
６…パック
２１…表示面
２３…存在検出手段としてのパネル発光受光部
２８…反射手段としての反射マーカ
４１…収容筐体
４２…発光手段としてのカメラ発光手段
４３…情報受信手段および受光手段としてのカメラ受光手段
５３…操作位置設定手段
５５…第１存在位置検出手段としてのカメラ検出位置算出手段
５６…第２存在位置検出手段としてのパネル検出位置算出手段
５７…操作対応処理手段
６１…パック筐体
６３…動き検出手段
２１１…操作位置としてのパック領域
６２１…パック送信手段としてのパック発光素子
【技術分野】
【０００１】
本発明は、情報処理装置、情報処理システム、および、情報処理方法に関する。
【背景技術】
【０００２】
従来、表示装置上にタグを載せ、当該タグを回転させたり押下することで、様々なサービスを得ることができる構成が知られている（例えば、特許文献１参照）。
この特許文献１の構成では、４個の光センサが設けられたタグを用い、当該タグが表示画面に接触した状態で、表示画面に表示されたマーカパターンの明度を計測する。そして、得られた明度の計測値に基づいて、タグの表示画面上での位置や回転状態を算出し、この算出結果に応じたインターフェース処理を行っている。また、特許文献１には、マーカパターン上にタグが存在していない状況では、加速度センサやジャイロセンサを用い、各センサからの情報に基づいて、タグの位置や回転を検出してもよい旨も開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００７−３１０６８３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、特許文献１のような構成では、マーカパターンにタグが接触していない状況で、ジャイロセンサからの情報に基づいてタグの回転を検出すると、ユーザが意図しないタイミングでタグの回転に基づく処理が行われてしまうおそれがある。
【０００５】
本発明は、ユーザが意図する処理を適切に行うことができる情報処理装置、情報処理システム、および、情報処理方法を提供することを１つの目的とする。
【課題を解決するための手段】
【０００６】
本発明の情報処理装置は、表示面に接触または近接したパックの動きに基づく処理を行う情報処理装置であって、前記表示面の所定位置を、前記パックの操作位置として設定する操作位置設定手段と、前記表示面を臨む位置に設けられ、前記パックから赤外線を利用して送信される、当該パックを特定するパック特定情報および当該パックの動きを表す動き情報を受信する情報受信手段と、前記赤外線の発信位置に基づいて、前記表示面を臨む位置から見たときの前記パックの位置を第１存在位置として算出する第１存在位置算出手段と、前記表示面上および当該表示面に近接した位置のうち少なくとも一方に設けられ、前記表示面に前記パックが接触または近接したことを検出する存在検出手段と、前記存在検出手段の検出結果に基づいて、前記パックの接触位置または近接位置を第２存在位置として算出する第２存在位置算出手段と、前記第１存在位置および前記第２存在位置との距離が所定範囲内であり、かつ、前記第２存在位置と前記操作位置との少なくとも一部が重複すると判断すると、前記情報受信手段で受信したパック特定情報で特定されるパックに対応しかつ動き情報の動きに基づく処理を行う操作対応処理手段と、を備えることを特徴とする。
【０００７】
本発明の情報処理システムは、上述の情報処理装置と、前記情報処理装置の表示面に接触または近接させることが可能なパックと、を備え、前記パックは、当該パックの動きを検出する動き検出手段と、前記パックを特定するパック特定情報および前記動き検出手段で検出された動きを表す動き情報を、赤外線を利用して前記情報処理装置へ送信するパック送信手段と、を備えることを特徴とする。
【０００８】
本発明の情報処理方法は、表示面に接触または近接したパックの動きに基づく処理を行う情報処理方法であって、前記表示面の所定位置を、前記パックの操作位置として設定する工程と、前記パックから赤外線を利用して送信される、当該パックを特定するパック特定情報および当該パックの動きを表す動き情報を、前記表示面を臨む位置において受信する工程と、前記赤外線の発信位置に基づいて、前記表示面を臨む位置から見たときの前記パックの位置を第１存在位置として算出する工程と、前記表示面に前記パックが接触または近接したことを、前記表示面上および当該表示面に近接した位置のうち少なくとも一方において検出する工程と、この検出結果に基づいて、前記パックの接触位置または近接位置を第２存在位置として算出する工程と、前記第１存在位置および前記第２存在位置との距離が所定範囲内であり、かつ、前記第２存在位置と前記操作位置との少なくとも一部が重複すると判断すると、前記情報受信手段で受信したパック特定情報で特定されるパックに対応しかつ動き情報の動きに基づく処理を行う工程と、を実施することを特徴とする。
【図面の簡単な説明】
【０００９】
【図１】本発明の一実施形態に係る情報処理システムの概略構成を示す模式図。
【図２】前記情報処理システムの概略構成を示すブロック図。
【図３】前記情報処理システムを構成するパックの縦断面図。
【図４】前記パックの横断面図。
【図５】前記情報処理システムにおける遮光スキャンの状態を示す模式図。
【図６】前記情報処理システムの動作を示すフローチャート。
【図７】前記情報処理システムの動作を示すフローチャート。
【図８】前記パックのステータスが非存在状態から存在状態に変更になったときの情報処理システムの動作を示す模式図。
【図９】前記パックのステータスが非回転状態から回転状態に変更になったときの情報処理システムの動作を示す模式図。
【図１０】前記パックのステータスが非押下状態から押下状態に変更になったときの情報処理システムの動作を示す模式図。
【発明を実施するための形態】
【００１０】
以下、本発明の情報処理システムについて図面を参照しながら詳細に説明する。
［情報処理システムの構成］
図１に示すように、情報処理システム１は、タッチパネル装置２を有する情報処理装置３と、タッチパネル装置２の後述する表示面２１上に配置可能なパック６とを備える。この情報処理システム１は、パック６や指Ｆなどの物体が、タッチパネル装置２の表示面２１に接触または近接（以下において、パック６や指Ｆが表示面２１に接触または近接している状態をまとめて「表示面２１上に存在」と表現する場合がある）した場合、当該接触位置または近接位置（以下において、接触位置または近接位置をまとめて「存在位置」と表現する場合がある）に対応する処理をする。
【００１１】
パック６は、ユーザにより操作されるものであり、有底筒状である円錐台状のパック筐体６１を備える。このパック筐体６１には、図２に示すように、パック送信手段としての複数のパック発光素子６２１から構成されるパック発光部６２と、パック６の動きを検出する動き検出手段６３と、パック制御手段６４とを備える。
パック発光素子６２１は、図３および図４に示すように、第１赤外線Ｌ１を発光可能な赤外線ＬＥＤであり、パック筐体６１の円錐台状の軸方向と外周方向の両方に沿って、それぞれ複数ずつ並んで設けられている。また、パック発光素子６２１は、パック筐体６１の底面部６１１が表示面２１に対向するように配置されたときに、第１赤外線Ｌ１を斜め上に向かって、すなわち底面部６１１から離れる方向に向かって発光するように設けられている。
【００１２】
動き検出手段６３は、図２に示すように、角度センサ６５と、押下センサ６６とを備える。
角度センサ６５は、パック筐体６１の円錐台状の外周方向の回転角度を検出し、この検出した回転角度に対応する回転角度情報をパック制御手段６４に出力する。
押下センサ６６は、パック筐体６１の円錐台状の底面部６１１に設けられている。この押下センサ６６は、パック筐体６１の底面に対して上下に移動可能な移動子６６１の移動量を検出し、この検出した移動量に対応する押下情報をパック制御手段６４に出力する。なお、押下センサ６６で検出される移動量は、パック筐体６１が表示面２１に対して押し付けられた（押下された）ときの移動量である。
なお、以下において、回転角度情報と押下情報とをまとめて、「パック動き情報」と表現する場合がある。
【００１３】
パック制御手段６４は、図示しない記憶手段に記憶されたプログラムおよびデータをＣＰＵ（Central Processing Unit）が処理することにより構成される。このパック制御手段６４は、動き検出手段６３からのパック動き情報を取得すると、パック発光素子６２１の第１赤外線Ｌ１を利用して、パック動き情報を出力する。また、パック制御手段６４は、パック６を識別するためのパック特定情報としてのＩＤ情報を、パック動き情報とともに出力する。
具体的に、パック制御手段６４は、パック６の回転方向、回転角度、押下の有無、ＩＤ情報に応じて、第１赤外線Ｌ１の発光間隔や発光時間を異ならせることで、パック動き情報やＩＤ情報を出力する。
ここで、パック制御手段６４は、パック６の図示しないスイッチがオンされると、パック６が表示面２１に接触しているか否かにかかわらず、第１赤外線Ｌ１を利用して、パック動き情報とＩＤ情報とを出力する。
【００１４】
タッチパネル装置２は、図１に示すように、表示手段２０の矩形状である長方形状の表示面２１が上を向くテーブル型のものである。表示手段２０は、枠体２２内に収容されている。また、枠体２２には、表示面２１上に物体が存在しているか否かを検出するためのパネル発光受光部２３が設けられている。さらに、枠体２２の上面における四隅には、赤外線カメラ４から発せられる第２赤外線Ｌ２を反射する反射手段としての反射マーカ２８が設けられている。
【００１５】
パネル発光受光部２３は、図１および図５に示すように、枠体２２の長辺を構成する一対の側面部のうちの一方に設けられた第１パネル発光部２４と、他方に設けられた第１パネル受光部２５と、枠体２２の短辺を構成する一方の側面部のうち一方に設けられた第２パネル発光部２６と、他方に設けられた第２パネル受光部２７とを備える。
第１パネル発光部２４および第２パネル発光部２６は、それぞれ複数の第１パネル発光素子２４１および第２パネル発光素子２６１を備える。第１パネル発光素子２４１および第２パネル発光素子２６１は、第３赤外線Ｌ３を発光可能な赤外線ＬＥＤ（Light-Emitting Diode）である。
また、第１パネル受光部２５および第２パネル受光部２７は、それぞれ第１パネル発光素子２４１および第２パネル発光素子２６１と同数の第１パネル受光素子２５１および第２パネル受光素子２７１を備える。第１パネル受光素子２５１および第２パネル受光素子２７１は、第３赤外線Ｌ３を受光可能な赤外線受光素子であり、第１パネル発光素子２４１および第２パネル発光素子２６１の光軸上に配置されている。
そして、第１パネル発光素子２４１および第２パネル発光素子２６１は、情報処理装置３の制御により、表示面２１と平行に第３赤外線Ｌ３を発光する。第１パネル受光素子２５１および第２パネル受光素子２７１は、第３赤外線Ｌ３を受光すると、この受光量に対応する受光信号を情報処理装置３に出力する。
【００１６】
情報処理装置３は、図１および図２に示すように、パック６がタッチパネル装置２上に存在することやパック６のタッチパネル装置２上での動きを検出するための赤外線カメラ４と、この赤外線カメラ４での検出結果に基づく処理を行う制御装置５とを備える。
赤外線カメラ４は、図示しないスタンドに取り付けられ、表示面２１の斜め上に、すなわち表示面２１を臨む位置に設置される。この赤外線カメラ４は、箱状の収容筐体４１と、この収容筐体４１にそれぞれ収容される、発光手段としてのカメラ発光手段４２と、情報受信手段および受光手段としてのカメラ受光手段４３とを備える。
カメラ発光手段４２は、制御装置５の制御により第２赤外線Ｌ２を発光する赤外線ＬＥＤである。
カメラ受光手段４３は、第１赤外線Ｌ１および第２赤外線Ｌ２を受光可能な赤外線受光素子である。このカメラ受光手段４３は、４個の反射マーカ２８で反射された第２赤外線Ｌ２を受光すると、これら反射マーカ２８の位置関係を表す反射位置情報を制御装置５へ出力する。また、カメラ受光手段４３は、第１赤外線Ｌ１を受光すると、この受光状態に基づくカメラ受光信号を制御装置５へ出力する。
【００１７】
制御装置５は、コンピュータであり、各種情報を記憶可能な記憶部５１と、情報処理システム１全体を制御する全体制御部５２とを備える。
全体制御部５２は、記憶部５１に記憶されたプログラムおよびデータをＣＰＵが処理することにより構成され、操作位置設定手段５３と、表示制御手段５４と、第１存在位置検出手段としてのカメラ検出位置算出手段５５と、第２存在位置検出手段としてのパネル検出位置算出手段５６と、操作対応処理手段５７とを備える。
【００１８】
操作位置設定手段５３は、表示面２１の所定位置を操作位置としてのパック領域２１１として設定し、パック領域２１１以外の所定位置をタッチ領域２１２として設定する。パック領域２１１は、当該パック領域２１１内にパック６の少なくとも一部が存在した場合に、パック６の動きに対応する処理を行うための領域である。タッチ領域２１２は、当該タッチ領域２１２内にパック６または指Ｆの少なくとも一部が存在した場合に、当該タッチ領域２１２の位置に対応する処理を行うための領域である。
【００１９】
表示制御手段５４は、表示面２１に各種画像や情報を表示させる。例えば、表示制御手段５４は、パック領域２１１内に当該パック領域２１１と略等しい大きさのパック動作オブジェクトＭ１を表示させ、タッチ領域２１２内に当該タッチ領域２１２と略等しい大きさのタッチ動作オブジェクトＭ２を表示させる。
【００２０】
カメラ検出位置算出手段５５は、赤外線カメラ４からの反射位置情報に基づいて、赤外線カメラ４から見たときの表示面２１の外形状（以下、表示面検出形状と称す）を算出する。さらに、カメラ検出位置算出手段５５は、カメラ受光信号に基づく第１赤外線Ｌ１の発信位置とＩＤ情報とに基づいて、ＩＤ情報に対応するパック６を赤外線カメラ４から見たときの位置を算出する。そして、赤外線カメラ４から見たときの表示面検出形状とパック６の位置を表す検出画像を生成する。さらに、カメラ検出位置算出手段５５は、検出画像の表示面検出形状が長方形となるように台形補正を行うことで補正画像を生成し、この補正画像における表示面２１に対するパック６の位置を、第１存在位置としてのカメラ検出位置として算出する。
【００２１】
パネル検出位置算出手段５６は、第１パネル発光素子２４１および第２パネル発光素子２６１からの第３赤外線Ｌ３を用いて表示面２１上を走査する。そして、当該第３赤外線Ｌ３の遮光位置に基づいて、パック６や指Ｆの存在位置を第２存在位置としてのパネル検出位置として算出する。
操作対応処理手段５７は、カメラ検出位置と、パネル検出位置と、カメラ受光信号に対応するパック動き情報とに基づいて、パック６の存在位置と動きに対応する処理を行う。また、操作対応処理手段５７は、パネル検出位置に基づいて、指Ｆの存在位置に対応する処理を行う。
【００２２】
［情報処理システムの作用］
次に、情報処理システム１の作用を説明する。
まず、情報処理システム１のユーザは、タッチパネル装置２の上に赤外線カメラ４が固定されていない場合には赤外線カメラ４を固定した後、すでに赤外線カメラ４が固定されている場合には特に何もせずに、情報処理システム１の電源をオンする。
情報処理システム１を構成する制御装置５の全体制御部５２は、電源がオンされたことを検出すると、操作位置設定手段５３により、表示面２１に対して、図１に示すようなパック領域２１１とタッチ領域２１２とを設定する。そして、制御装置５の表示制御手段５４は、パック領域２１１内にパック動作オブジェクトＭ１を、タッチ領域２１２内にタッチ動作オブジェクトＭ２を、それぞれ表示させる。
【００２３】
この後、制御装置５のカメラ検出位置算出手段５５は、赤外線カメラ４のカメラ発光手段４２から第２赤外線Ｌ２を発光させる。そして、カメラ検出位置算出手段５５は、図６に示すように、反射マーカ２８により反射された後にカメラ受光手段４３で受光された第２赤外線Ｌ２に基づいて、四隅の反射マーカ２８の位置を検出する（ステップＳ１）。
次に、カメラ検出位置算出手段５５は、この検出した位置に基づく表示面検出形状を表す画像を生成し、この画像に対して台形補正を行うことで、表示面検出形状を長方形に補正した補正長方形状を算出し（ステップＳ２）、補正範囲内か否かを判断する（ステップＳ３）。すなわち、ステップＳ３では、４個の反射マーカ２８でそれぞれ反射された全ての第２赤外線Ｌ２がカメラ受光手段４３で受光されたか否か、あるいは、表示面検出形状が細長い台形状か否かを判断する。
【００２４】
このステップＳ３において、カメラ検出位置算出手段５５は、少なくとも１個の反射マーカ２８で反射された第２赤外線Ｌ２が受光されていない、あるいは、表示面検出形状が細長い台形状であると判断すると、補正範囲外であると判断する。そして、４個の反射マーカ２８でそれぞれ反射された全ての第２赤外線Ｌ２がカメラ受光手段４３で受光されるように、あるいは、表示面検出形状が細長くない台形状となるように、制御装置５の位置や角度の変更を指示するカメラ位置変更指示を行い（ステップＳ４）、ステップＳ１の処理を行う。なお、カメラ位置変更指示は、その旨のメッセージを表示面２１に表示させることで行ってもよいし、図示しないスピーカによる音声や警告音で行ってもよい。
【００２５】
一方で、ステップＳ３において、カメラ検出位置算出手段５５は、４個の反射マーカ２８で反射された第２赤外線Ｌ２が全て受光されており、表示面検出形状が細長い台形状でないと判断すると、補正範囲内であると判断する。そして、パネル検出位置算出手段５６は、表示面２１上にパック６や指Ｆが存在しているか否かを判定するために、図５に示すように、第３赤外線Ｌ３を用いた遮光スキャンを行う。なお、遮光スキャンの開始は、ステップＳ１の処理の前に行ってもよい。
【００２６】
情報処理システム１のユーザは、表示面２１の表示に基づいて、パック６の操作に基づく処理を情報処理システム１に行わせたい場合には、第１赤外線Ｌ１を発光させたパック６を表示面２１のパック動作オブジェクトＭ１上に接触させる。また、ユーザは、指Ｆでのタッチに基づく処理を行わせたい場合には、指Ｆで表示面２１上のタッチ動作オブジェクトＭ２をタッチする。
【００２７】
この後、全体制御部５２は、電源のオフにより、処理を終了すると判断すると（ステップＳ５）、処理を終了し、終了しないと判断すると、カメラ検出位置算出手段５５にて、パック６からの第１赤外線Ｌ１がカメラ受光手段４３で受光されたか否かを判断する（ステップＳ６）。
このステップＳ６において、カメラ検出位置算出手段５５にて、パック６が表示面２１上に存在しておらず第１赤外線Ｌ１が受光されていないと判断すると、パネル検出位置算出手段５６は、遮光スキャンにより、パック６以外の物体による第３赤外線Ｌ３の遮光が検出されたか否かを判断する（ステップＳ７）。
そして、表示面２１上に何も存在していないため、ステップＳ７において、パネル検出位置算出手段５６により遮光が検出されていないと判断すると、ステップＳ５に戻る。一方で、表示面２１上に指Ｆが存在しているため、ステップＳ７において、パネル検出位置算出手段５６は、遮光が検出されたと判断すると、パネル検出位置を算出する（ステップＳ８）。
【００２８】
この後、操作対応処理手段５７は、パネル検出位置に基づいて、指Ｆがタッチ動作オブジェクトＭ２上に存在しているか否かを判断する（ステップＳ９）。そして、タッチ動作オブジェクトＭ２上に存在していない場合には、ステップＳ５に戻り、タッチ動作オブジェクトＭ２上に存在している場合には、タッチ領域２１２に対応する処理をタッチパネル処理として行い（ステップＳ１０）、ステップＳ５に戻る。すなわち、一般的なタッチパネル装置と同様に、指Ｆの接触位置に対応する処理を行う。
【００２９】
一方、ステップＳ６において、カメラ検出位置算出手段５５で第１赤外線Ｌ１が受光されたと判断すると、図７に示すように、カメラ検出位置算出手段５５は、第１赤外線Ｌ１を利用して送信されるパック位置情報およびＩＤ情報と、ステップＳ２での処理結果とに基づいて、カメラ検出位置を算出する（ステップＳ１１）。また、パネル検出位置算出手段５６は、第３赤外線Ｌ３の遮光状態に基づいてパネル検出位置を算出する（ステップＳ１２）。
この後、操作対応処理手段５７は、カメラ検出位置とパネル検出位置とが一致するか否かを判断する（ステップＳ１３）。なお、一致とは、完全に一致している状態のみならず、カメラ検出位置とパネル検出位置との距離が所定範囲内でずれている状態も含む概念である。
【００３０】
このステップＳ１３において、例えば、パック６が表示面２１から離れているため、操作対応処理手段５７にてカメラ検出位置とパネル検出位置とが一致しないと判断すると、ステップＳ５に戻る。一方、ステップＳ１３において、操作対応処理手段５７は、パック６が表示面２１に接触あるいは近接しているため、カメラ検出位置とパネル検出位置とが一致していると判断すると、パネル検出位置とパック動作オブジェクトＭ１との少なくとも一部が重複しているか否かを判断する（ステップＳ１４）。
【００３１】
ステップＳ１４において、操作対応処理手段５７は、全く重複していないと判断すると、パネル検出位置とタッチ動作オブジェクトＭ２との少なくとも一部が重複しているか否かを判断する（ステップＳ１５）。そして、全く重複していないと判断すると、ステップＳ５に戻り、少なくとも一部が重複していると判断すると、指Ｆでなくパック６が表示面２１上に存在している場合であっても、タッチ領域２１２に対応する処理をタッチパネル処理として行い（ステップＳ１６）、ステップＳ５に戻る。
【００３２】
一方で、ステップＳ１４において、操作対応処理手段５７は、パネル検出位置とパック動作オブジェクトＭ１との少なくとも一部が重複していると判断すると、第１赤外線Ｌ１を利用して送信されるパック動き情報に基づいて、パック６のステータスが変更されたか否かを判断する（ステップＳ１７）。そして、ステップＳ１７において、ステータスが変更されていないと判断した場合、ステップＳ５に戻り、変更されたと判断した場合、ＩＤ情報のパック６とステータスに対応する処理を行い（ステップＳ１８）、ステップＳ５に戻る。
【００３３】
具体的に、操作対応処理手段５７は、図８に示すように、ステップＳ１７において、ステータスが、「パック６が表示面２１上に存在していない非存在状態」から、「パック６が表示面２１上に存在する存在状態」に変更になったと判断すると、ステップＳ１８において、処理を選択するための処理選択画像Ｍ１１と、当該処理選択画像Ｍ１１上の処理項目のうちの１つを囲むカーソルＭ１２とを表示面２１に表示させるステータス対応処理を行う。なお、処理選択画像Ｍ１１の内容は、パック６のＩＤにより異なっていてもよいし、同じであってもよい。
【００３４】
また、操作対応処理手段５７は、図９に示すように、パック動き情報を構成する回転角度情報に基づいて、ステータスが、「回転していない非回転状態」から「回転した回転状態」に変更になったと判断すると、回転方向に応じてカーソルＭ１２を移動させる。
さらに、操作対応処理手段５７は、図１０に示すように、パック動き情報を構成する押下情報に基づいて、ステータスが、「押下されていない非押下状態」から「押下された押下状態」に変更になったと判断すると、カーソルＭ１２に囲まれている文字を反転表示させ、当該反転表示させた文字に対応する処理を行う。
なお、遮光スキャンは、パネル検出位置算出のために行われているため、ステップＳ１３の処理後に行われなくてもよい。
【００３５】
［実施形態の作用効果］
上述したような実施形態では、以下のような作用効果を奏することができる。
（１）情報処理システム１は、パック６から第１赤外線Ｌ１を介して送信されるＩＤ情報とパック動き情報を赤外線カメラ４で受信し、カメラ検出位置算出手段５５により第１赤外線Ｌ１の発信位置に基づいて、赤外線カメラ４から見たときのパック６の位置を算出する。また、パネル検出位置算出手段５６は、タッチパネル装置２に設けられたパネル発光受光部２３での遮光スキャンの結果に基づいて、表示面２１上におけるパック６の存在位置をパネル検出位置として算出する。そして、操作対応処理手段５７は、カメラ検出位置算出手段５５で算出された位置とパネル検出位置とが一致し、かつ、パネル検出位置とパック領域２１１との少なくとも一部が重複している場合、ＩＤ情報で特定されるパック６に対応しかつパック動き情報の動きに基づく処理を行う。
このため、情報処理システム１は、第１赤外線Ｌ１を利用してパック６から送信されるＩＤ情報とパック動き情報を受信したときであっても、パック６が表示面２１上に存在していない場合には、第１赤外線Ｌ１の発信位置に基づき算出されるパック６の位置と、パネル検出位置とが一致しないため、ＩＤ情報とパック動き情報に基づく処理を行うことがない。一方で、情報処理システム１は、パック６が表示面２１上に存在している場合には、第１赤外線Ｌ１の発信位置に基づき算出されるパック６の位置と、パネル検出位置とが一致するため、ＩＤ情報とパック動き情報に基づく処理を行う。したがって、パック６のユーザが意図する処理を適切に行うことができる。
【００３６】
（２）赤外線カメラ４は、カメラ発光手段４２により表示面２１の四隅に設けられた反射マーカ２８に向けて第２赤外線Ｌ２を発光し、反射マーカ２８で反射された第２赤外線Ｌ２をカメラ受光手段４３により受光する。そして、カメラ検出位置算出手段５５は、第１赤外線Ｌ１および第２赤外線Ｌ２の受光状態に基づいて、赤外線カメラ４から見たときの表示面２１の表示面検出形状と、表示面２１におけるパック６の位置とを表す検出画像を生成する。この後、この検出画像に対して、表示面検出形状が長方形となるような台形補正を行い、この台形補正により生成された補正画像における表示面２１に対するパック６の位置を、パック６のカメラ検出位置として算出する。
このため、例えば、場所の制約により、表示面２１の斜め上に赤外線カメラ４を設置する必要がある場合や、情報処理システム１を利用する毎に赤外線カメラ４の設置位置を変更する必要がある場合であっても、上述のような台形補正を行うことで、表示面２１におけるパック６の位置を精度よく算出でき、誤動作を防止できる。
【００３７】
（３）パック６のパック発光素子６２１を、パック筐体６１の軸方向および外周方向にそれぞれ沿って複数設けるとともに、底面部６１１に対して斜め上に第１赤外線Ｌ１を発光するように設けている。
このため、ユーザによるパック６の持ち方や、パック６が表示面２１に置かれたときの向きによらず、第１赤外線Ｌ１を赤外線カメラ４に受光させることができる。したがって、ユーザは、パック６の持ち方や置き方を意識することなく、当該ユーザが意図する処理を情報処理システム１に実施させることができる。
【００３８】
［変形例］
なお、本発明は前述の実施形態に限定されるものではなく、本発明の目的を達成できる範囲での変形、改良などは本発明に含まれるものである。
すなわち、パック６に加速度センサを設けて、操作対応処理手段５７により、パック６の回転時の加速度や押下時の加速度に応じて、異なる処理を行ってもよい。
また、赤外線カメラ４を常時同じ位置に固定して、カメラ検出位置の算出の際に台形補正を行わない構成としてもよい。
さらに、反射マーカ２８とカメラ発光手段４２とを設けずに、表示面２１の四隅に発光手段を設け、当該発光手段からの光をカメラ受光手段４３で受光して、カメラ検出位置を算出してもよい。
そして、パック発光素子６２１を、パック筐体６１に１個だけ設けてもよいし、パック筐体６１の軸方向または外周方向のみに沿って複数設けてもよい。また、パック筐体６１全体から第１赤外線Ｌ１を発光してもよい。
【００３９】
また、タッチパネル装置２に設けるパネル検出位置を検出する構成として、静電容量方式、電磁誘導方式などいずれの構成を用いてもよい。
さらに、第１赤外線Ｌ１と第２赤外線Ｌ２と第３赤外線Ｌ３とは、同じ波長帯域の赤外線であってもよいし、異なる波長帯の赤外線であってもよい。
そして、タッチパネル装置２としては、コンピュータの表示装置として用いられるものであってもよいし、壁に設置されるものであってもよい。さらに、タッチパネル装置２としては、業務用インフォメーションや車内でのインフォメーションの表示に用いられるものであってもよいし、電子機器の操作に用いられるものであってもよい。
【符号の説明】
【００４０】
１…情報処理システム
３…情報処理装置
６…パック
２１…表示面
２３…存在検出手段としてのパネル発光受光部
２８…反射手段としての反射マーカ
４１…収容筐体
４２…発光手段としてのカメラ発光手段
４３…情報受信手段および受光手段としてのカメラ受光手段
５３…操作位置設定手段
５５…第１存在位置検出手段としてのカメラ検出位置算出手段
５６…第２存在位置検出手段としてのパネル検出位置算出手段
５７…操作対応処理手段
６１…パック筐体
６３…動き検出手段
２１１…操作位置としてのパック領域
６２１…パック送信手段としてのパック発光素子
【特許請求の範囲】
【請求項１】
表示面に接触または近接したパックの動きに基づく処理を行う情報処理装置であって、
前記表示面の所定位置を、前記パックの操作位置として設定する操作位置設定手段と、
前記表示面を臨む位置に設けられ、前記パックから赤外線を利用して送信される、当該パックを特定するパック特定情報および当該パックの動きを表す動き情報を受信する情報受信手段と、
前記赤外線の発信位置に基づいて、前記表示面を臨む位置から見たときの前記パックの位置を第１存在位置として算出する第１存在位置算出手段と、
前記表示面上および当該表示面に近接した位置のうち少なくとも一方に設けられ、前記表示面に前記パックが接触または近接したことを検出する存在検出手段と、
前記存在検出手段の検出結果に基づいて、前記パックの接触位置または近接位置を第２存在位置として算出する第２存在位置算出手段と、
前記第１存在位置および前記第２存在位置との距離が所定範囲内であり、かつ、前記第２存在位置と前記操作位置との少なくとも一部が重複すると判断すると、前記情報受信手段で受信したパック特定情報で特定されるパックに対応しかつ動き情報の動きに基づく処理を行う操作対応処理手段と、を備えることを特徴とする情報処理装置。
【請求項２】
請求項１に記載の情報処理装置において、
前記表示面は、矩形状に形成され、
前記表示面の四隅に対応する位置には、それぞれ反射手段が設けられ、
前記表示面を臨む位置には、前記情報受信手段と、前記反射手段に向けて光を発光する発光手段と、前記反射手段で反射された光を受光する受光手段と、を収容する収容筐体が設けられ、
前記第１存在位置算出手段は、前記受光手段での受光結果と前記赤外線の発信位置とに基づいて、前記収容筐体から見たときの表示面の形状とパックの位置とを表す検出画像を生成し、当該検出画像の表示面が矩形状となるように台形補正を行うことで補正画像を生成し、当該補正画像における表示面に対するパックの位置を前記第１存在位置として算出することを特徴とする情報処理装置。
【請求項３】
請求項１または請求項２に記載の情報処理装置と、
前記情報処理装置の表示面に接触または近接させることが可能なパックと、を備え、
前記パックは、
当該パックの動きを検出する動き検出手段と、
前記パックを特定するパック特定情報および前記動き検出手段で検出された動きを表す動き情報を、赤外線を利用して前記情報処理装置へ送信するパック送信手段と、を備えることを特徴とする情報処理システム。
【請求項４】
請求項３に記載の情報処理システムにおいて、
前記パックは、有底筒状に形成され、底面部が表示面に対向するようにユーザに保持されるパック筐体を備え、
前記パック送信手段は、前記パック筐体の側面における外周方向に沿った複数の位置、および、前記側面における外形筒状の軸方向の沿った複数の位置のうち、少なくとも一方に設けられ、底面部から離れる方向に向かって赤外線を発信することを特徴とする情報処理システム。
【請求項５】
表示面に接触または近接したパックの動きに基づく処理を行う情報処理方法であって、
前記表示面の所定位置を、前記パックの操作位置として設定する工程と、
前記パックから赤外線を利用して送信される、当該パックを特定するパック特定情報および当該パックの動きを表す動き情報を、前記表示面を臨む位置において受信する工程と、
前記赤外線の発信位置に基づいて、前記表示面を臨む位置から見たときの前記パックの位置を第１存在位置として算出する工程と、
前記表示面に前記パックが接触または近接したことを、前記表示面上および当該表示面に近接した位置のうち少なくとも一方において検出する工程と、
この検出結果に基づいて、前記パックの接触位置または近接位置を第２存在位置として算出する工程と、
前記第１存在位置および前記第２存在位置との距離が所定範囲内であり、かつ、前記第２存在位置と前記操作位置との少なくとも一部が重複すると判断すると、前記情報受信手段で受信したパック特定情報で特定されるパックに対応しかつ動き情報の動きに基づく処理を行う工程と、を実施することを特徴とする情報処理方法。
【請求項１】
表示面に接触または近接したパックの動きに基づく処理を行う情報処理装置であって、
前記表示面の所定位置を、前記パックの操作位置として設定する操作位置設定手段と、
前記表示面を臨む位置に設けられ、前記パックから赤外線を利用して送信される、当該パックを特定するパック特定情報および当該パックの動きを表す動き情報を受信する情報受信手段と、
前記赤外線の発信位置に基づいて、前記表示面を臨む位置から見たときの前記パックの位置を第１存在位置として算出する第１存在位置算出手段と、
前記表示面上および当該表示面に近接した位置のうち少なくとも一方に設けられ、前記表示面に前記パックが接触または近接したことを検出する存在検出手段と、
前記存在検出手段の検出結果に基づいて、前記パックの接触位置または近接位置を第２存在位置として算出する第２存在位置算出手段と、
前記第１存在位置および前記第２存在位置との距離が所定範囲内であり、かつ、前記第２存在位置と前記操作位置との少なくとも一部が重複すると判断すると、前記情報受信手段で受信したパック特定情報で特定されるパックに対応しかつ動き情報の動きに基づく処理を行う操作対応処理手段と、を備えることを特徴とする情報処理装置。
【請求項２】
請求項１に記載の情報処理装置において、
前記表示面は、矩形状に形成され、
前記表示面の四隅に対応する位置には、それぞれ反射手段が設けられ、
前記表示面を臨む位置には、前記情報受信手段と、前記反射手段に向けて光を発光する発光手段と、前記反射手段で反射された光を受光する受光手段と、を収容する収容筐体が設けられ、
前記第１存在位置算出手段は、前記受光手段での受光結果と前記赤外線の発信位置とに基づいて、前記収容筐体から見たときの表示面の形状とパックの位置とを表す検出画像を生成し、当該検出画像の表示面が矩形状となるように台形補正を行うことで補正画像を生成し、当該補正画像における表示面に対するパックの位置を前記第１存在位置として算出することを特徴とする情報処理装置。
【請求項３】
請求項１または請求項２に記載の情報処理装置と、
前記情報処理装置の表示面に接触または近接させることが可能なパックと、を備え、
前記パックは、
当該パックの動きを検出する動き検出手段と、
前記パックを特定するパック特定情報および前記動き検出手段で検出された動きを表す動き情報を、赤外線を利用して前記情報処理装置へ送信するパック送信手段と、を備えることを特徴とする情報処理システム。
【請求項４】
請求項３に記載の情報処理システムにおいて、
前記パックは、有底筒状に形成され、底面部が表示面に対向するようにユーザに保持されるパック筐体を備え、
前記パック送信手段は、前記パック筐体の側面における外周方向に沿った複数の位置、および、前記側面における外形筒状の軸方向の沿った複数の位置のうち、少なくとも一方に設けられ、底面部から離れる方向に向かって赤外線を発信することを特徴とする情報処理システム。
【請求項５】
表示面に接触または近接したパックの動きに基づく処理を行う情報処理方法であって、
前記表示面の所定位置を、前記パックの操作位置として設定する工程と、
前記パックから赤外線を利用して送信される、当該パックを特定するパック特定情報および当該パックの動きを表す動き情報を、前記表示面を臨む位置において受信する工程と、
前記赤外線の発信位置に基づいて、前記表示面を臨む位置から見たときの前記パックの位置を第１存在位置として算出する工程と、
前記表示面に前記パックが接触または近接したことを、前記表示面上および当該表示面に近接した位置のうち少なくとも一方において検出する工程と、
この検出結果に基づいて、前記パックの接触位置または近接位置を第２存在位置として算出する工程と、
前記第１存在位置および前記第２存在位置との距離が所定範囲内であり、かつ、前記第２存在位置と前記操作位置との少なくとも一部が重複すると判断すると、前記情報受信手段で受信したパック特定情報で特定されるパックに対応しかつ動き情報の動きに基づく処理を行う工程と、を実施することを特徴とする情報処理方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【公開番号】特開２０１２−２３８０６５（Ｐ２０１２−２３８０６５Ａ）
【公開日】平成２４年１２月６日（２０１２．１２．６）
【国際特許分類】
【出願番号】特願２０１１−１０５０４７（Ｐ２０１１−１０５０４７）
【出願日】平成２３年５月１０日（２０１１．５．１０）
【出願人】（０００００５０１６）パイオニア株式会社 (3,620)
【出願人】（５０５４４０７８９）パイオニアソリューションズ株式会社 (33)
【Ｆターム（参考）】
【公開日】平成２４年１２月６日（２０１２．１２．６）
【国際特許分類】
【出願日】平成２３年５月１０日（２０１１．５．１０）
【出願人】（０００００５０１６）パイオニア株式会社 (3,620)
【出願人】（５０５４４０７８９）パイオニアソリューションズ株式会社 (33)
【Ｆターム（参考）】
[ Back to top ]