表示システム、端末、表示装置、キャリブレーション方法、コンピュータプログラムおよび記録媒体
【課題】目的の点を高速かつ正確に指定できるようにする。
【解決手段】端末３は、端末３が向いている方向を示すベクトルを検出するセンサ部３４と、エリアカーソル画像を端末３の画面３１に表示させる表示部３２と、画面３１で指定された点を検出する操作部３５と、指定された点を表示装置２に通知する通信部３３とを備え、表示装置２は、端末３との間の距離ｄ、端末３に向かう方向を示すベクトルｅを検出するセンサ部２１３と、距離ｄとベクトルｅから、端末３の座標Ｃｔを求め、座標Ｃｔから交差する点の座標ＣａやＣａ’を計算する計算部２１５と、計算された座標の点にエリアカーソル２１１Ａを表示する表示部２１２と、計算された点を含むエリアカーソル画像を端末３に送信する通信部２１４とを備えることで、端末３により目的の点を近くに見ることができ、よって、目的の点を高速かつ正確に指定することができる。
【解決手段】端末３は、端末３が向いている方向を示すベクトルを検出するセンサ部３４と、エリアカーソル画像を端末３の画面３１に表示させる表示部３２と、画面３１で指定された点を検出する操作部３５と、指定された点を表示装置２に通知する通信部３３とを備え、表示装置２は、端末３との間の距離ｄ、端末３に向かう方向を示すベクトルｅを検出するセンサ部２１３と、距離ｄとベクトルｅから、端末３の座標Ｃｔを求め、座標Ｃｔから交差する点の座標ＣａやＣａ’を計算する計算部２１５と、計算された座標の点にエリアカーソル２１１Ａを表示する表示部２１２と、計算された点を含むエリアカーソル画像を端末３に送信する通信部２１４とを備えることで、端末３により目的の点を近くに見ることができ、よって、目的の点を高速かつ正確に指定することができる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、目的の点を高速かつ正確に指定するための表示システム、端末、表示装置、キャリブレーション方法、コンピュータプログラムおよび記録媒体に関するものである。
【背景技術】
【０００２】
近年では、大型のディスプレイを利用して作業する機会が多い。例えば、家具や自動車のデザインでは、ＣＡＤソフトを利用して、実寸大の家具などの全体が表示される。こうして表示された広い範囲にある目的の点を指定する場合、マウスを使用して、その点にカーソルをあわせるようになっている。
【特許文献１】特開２００５−２６７１６９号
【非特許文献１】Myers, B., Bhatnagar, R., Nichols, J., Peck, C.H., Kong, D., Miller, R., and Long, C.:"Interacting at a distance: measuring the performance of laser pointers and other devices", proc. of ACM CHI, pp.33-40, 2002
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかし、目的の点がネジなどの小さなものであった場合、マウスでは、カーソルを正確にあわせられない可能性がある。また、出来たとしても時間がかかる。ディスプレイが遠くにある場合は、小さな点が見づらく、カーソルを正確にあわせるのが難しい。
【０００４】
非特許文献１では、ユーザは端末を目的の点に向け、その点にカーソルを表示させることで、マウスの欠点を補っている。特許文献２では、光の点滅を利用して、同様のことを行っている。
【０００５】
しかし、こうした方法を行ったとしても、目的の点が非常に小さくなると、その正確な指定は難しく、出来たとしても時間がかかる。つまり、高速性と正確性はトレードオフの関係にある。
【０００６】
本発明は、上記の課題に鑑みてなされたものであり、その目的とするところは、目的の点を高速かつ正確に指定できるようにすることである。
【課題を解決するための手段】
【０００７】
上記の課題を解決するために、請求項１記載の本発明は、表示装置と端末を備え、前記端末は、前記端末が向いている方向を示すベクトルを前記表示装置に通知し、前記表示装置は、前記端末の座標を求め、前記座標から前記ベクトルの方向に延びる直線と前記表示装置の画面とが交差する点にエリアカーソルを表示し、前記点を含むエリアカーソル画像を前記端末に送信し、前記端末は、前記エリアカーソル画像を前記端末の画面に表示し、前記端末の画面で指定された点を表示装置に通知する表示システムであって、前記端末は、前記端末が向いている方向を示すベクトルを検出するセンサ部と、前記エリアカーソル画像を前記端末の画面に表示させる表示部と、前記画面で指定された点を検出する操作部と、前記指定された点を表示装置に通知する通信部とを備え、前記表示装置は、前記端末との間の距離、前記端末に向かう方向を示すベクトルを検出するセンサ部と、前記距離とベクトルから、前記端末の座標を求め、前記座標から前記交差する点の座標を計算する計算部と、前記計算された座標の点に前記エリアカーソルを表示する表示部と、前記計算された点を含むエリアカーソル画像を前記端末に送信する通信部とを備えることを特徴とする表示システムをもって解決手段とする。
【０００８】
請求項２記載の本発明は、表示装置と端末を備え、前記端末は、前記端末が向いている方向を示すベクトルを前記表示装置に通知し、前記表示装置は、前記端末の座標を求め、前記座標から前記ベクトルの方向に延びる直線と前記表示装置の画面とが交差する点にエリアカーソルを表示し、前記点を含むエリアカーソル画像を前記端末に送信し、前記端末は、前記エリアカーソル画像を前記端末の画面に表示し、前記端末の画面で指定された点を表示装置に通知する表示システムにおける前記端末であって、前記端末が向いている方向を示すベクトルを検出するセンサ部と、前記エリアカーソル画像を前記端末の画面に表示させる表示部と、前記画面で指定された点を検出する操作部と、前記指定された点を表示装置に通知する通信部とを備えることを特徴とする端末をもって解決手段とする。
【０００９】
請求項３記載の本発明は、表示装置と端末を備え、前記端末は、前記端末が向いている方向を示すベクトルを前記表示装置に通知し、前記表示装置は、前記端末の座標を求め、前記座標から前記ベクトルの方向に延びる直線と前記表示装置の画面とが交差する点にエリアカーソルを表示し、前記点を含むエリアカーソル画像を前記端末に送信し、前記端末は、前記エリアカーソル画像を前記端末の画面に表示し、前記端末の画面で指定された点を表示装置に通知する表示システムにおける前記表示装置であって、前記端末との間の距離、前記端末に向かう方向を示すベクトルを検出するセンサ部と、前記距離とベクトルから、前記端末の座標を求め、前記座標から前記交差する点の座標を計算する計算部と、前記計算された座標の点に前記エリアカーソルを表示する表示部と、前記計算された点を含むエリアカーソル画像を前記端末に送信する通信部とを備えることを特徴とする表示装置をもって解決手段とする。
【００１０】
請求項１記載の表示システムによれば、端末は、端末が向いている方向を示すベクトルを検出するセンサ部と、エリアカーソル画像を端末の画面に表示させる表示部と、画面で指定された点を検出する操作部と、指定された点を表示装置に通知する通信部とを備え、表示装置は、端末との間の距離、端末に向かう方向を示すベクトルを検出するセンサ部と、距離とベクトルから、端末の座標を求め、座標から前記交差する点の座標を計算する計算部と、計算された座標の点にエリアカーソルを表示する表示部と、計算された点を含むエリアカーソル画像を端末に送信する通信部とを備えることで、端末により目的の点を近くに見ることができ、よって、目的の点を高速かつ正確に指定することができる。
【００１１】
請求項４記載の本発明は、表示装置と端末を備え、前記端末は、前記端末が向いている方向を示すベクトルを前記表示装置に通知し、前記表示装置は、前記端末の座標を求め、前記座標から前記ベクトルの方向に延びる直線と前記表示装置の画面とが交差する点にエリアカーソルを表示し、前記点を含むエリアカーソル画像を前記端末に送信し、前記端末は、前記エリアカーソル画像を前記端末の画面に表示し、前記端末の画面で指定された点を表示装置に通知する表示システムにおけるキャリブレーション方法であって、前記端末の通信部は、前記端末が向いている方向を示すベクトルを３つの位置で前記表示装置に通知し、前記表示装置の計算部は、各通知につき、前記表示装置のセンサ部と前記端末との間の距離、前記センサ部から端末に向かう方向を示すベクトルを用いて、前記端末が向いている方向を示すベクトルを求め、前記表示装置の計算部は、各通知につき、通知されたベクトルに変換行列を乗じた結果が前記求めたベクトルになることを示す式を生成し、前記表示装置の計算部は、前記生成された３つの式からなる連立方程式を解くことで前記変換行列を求めることを特徴とするキャリブレーション方法をもって解決手段とする。
【００１２】
請求項４記載のキャリブレーション方法によれば、端末の通信部は、端末が向いている方向を示すベクトルを３つの位置で表示装置に通知し、表示装置の計算部は、各通知につき、表示装置のセンサ部と端末との間の距離、センサ部から端末に向かう方向を示すベクトルを用いて、端末が向いている方向を示すベクトルを求め、表示装置の計算部は、各通知につき、通知されたベクトルに変換行列を乗じた結果が求めたベクトルになることを示す式を生成し、表示装置の計算部は、生成された３つの式からなる連立方程式を解くことで変換行列を求めることで、その変換行列により、端末が向いている方向を示すベクトルを、センサ部から端末に向かう方向を示すベクトルで使用される座標系のベクトルに変換することができる。
【００１３】
請求項５記載の本発明は、表示装置と端末を備え、前記端末は、前記端末が向いている方向を示すベクトルを前記表示装置に通知し、前記表示装置は、前記端末の座標を求め、前記座標から前記ベクトルの方向に延びる直線と前記表示装置の画面とが交差する点にエリアカーソルを表示し、前記点を含むエリアカーソル画像を前記端末に送信し、前記端末は、前記エリアカーソル画像を前記端末の画面に表示し、前記端末の画面で指定された点を表示装置に通知する表示システムにおけるキャリブレーション方法であって、前記表示装置の計算部は、所定の変換行列を変換するときに、前記通知されたベクトルを前記所定の変換行列で変換し、前記通知されたベクトルの方向を示す方位角と仰角の少なくとも一方を変化させた後の方向を示すベクトルを前記変換後の変換行列で変換したときに前記変換後のベクトルが得られるようにすることを特徴とするキャリブレーション方法をもって解決手段とする。
【００１４】
請求項５記載のキャリブレーション方法によれば、表示装置の計算部は、所定の変換行列を変換するときに、通知されたベクトルを前記所定の変換行列で変換し、通知されたベクトルの方向を示す方位角と仰角の少なくとも一方を変化させた後の方向を示すベクトルを前記変換後の変換行列で変換したときに前記変換後のベクトルが得られるようにすることで、その変換後の変換行列により、端末が向いている方向を示すベクトルを、センサ部から端末に向かう方向を示すベクトルで使用される座標系のベクトルに変換することができ、また、端末を３つの位置に位置させる必要がなくなる。よって、目的の点の指定後に端末がエリアカーソルに向けられたときにエリアカーソルの位置がずれることなく、その結果、スムーズにエリアカーソルを移動させて、次の目的の点を指定することができる。
【００１５】
請求項６記載の本発明は、請求項５記載のキャリブレーション方法において、前記表示装置の計算部は、前記変換後の変換行列を複数生成し、前記表示装置は、前記変換後の変換行列のそれぞれを前記通知されたベクトルに乗じた結果のベクトルを求め、前記表示装置の計算部は、前記求めたベクトルのそれぞれと前記通知されたベクトルの前記所定の変換行列による変換の結果であるベクトルとの差を求め、前記表示装置の計算部は、前記変換後の変換行列から最小の前記差に対応するものを選択することを特徴とするキャリブレーション方法をもって解決手段とする。
【００１６】
請求項７記載の本発明は、請求項５記載のキャリブレーション方法において、前記端末の通信部は、前記端末が向いている方向を示す方位角の変動量と仰角の変動量を前記表示装置に通知し、前記表示装置の計算部は、前記変換後の変換行列を複数生成し、このとき、前記通知された方位角の変動量と仰角の変動量とで変動量が小さい傾向にある方を同一とした方位角の変動量と仰角の変動量の組を複数用いて方位角と仰角の一方を変化させ、前記表示装置の計算部は、前記変換後の変換行列のそれぞれを前記通知されたベクトルに乗じた結果のベクトルを求め、前記表示装置の計算部は、前記求めたベクトルのそれぞれと前記通知されたベクトルの前記所定の変換行列による変換の結果であるベクトルとの差を求め、前記表示装置の計算部は、前記小さい傾向にある方でない大きい傾向にある方に対応するものであって前記組で使用されたものの中から、最小の前記差に対応するものを選択し、前記表示装置の計算部は、再び前記変換後の変換行列を複数生成し、このとき、前記選択した方を同一とした方位角の変動量と仰角の変動量の組を複数用いて方位角と仰角の他方を変化させ、前記表示装置の計算部は、前記変換後の変換行列のそれぞれを前記通知されたベクトルに乗じた結果のベクトルを求め、前記表示装置の計算部は、前記求めたベクトルのそれぞれと前記通知されたベクトルの前記所定の変換行列による変換の結果であるベクトルとの差を求め、前記表示装置の計算部は、前記変換後の変換行列から最小の前記差に対応するものを選択することを特徴とするキャリブレーション方法をもって解決手段とする。
【００１７】
請求項７記載のキャリブレーション方法によれば、端末の通信部は、端末が向いている方向を示す方位角の変動量と仰角の変動量を前記表示装置に通知し、表示装置の計算部は、前記変換後の変換行列を複数生成し、このとき、前記通知された方位角の変動量と仰角の変動量とで変動量が小さい傾向にある方を同一とした方位角の変動量と仰角の変動量の組を複数用いて方位角と仰角の一方を変化させ、前記変換後の変換行列のそれぞれを前記通知されたベクトルに乗じた結果のベクトルを求め、前記求めたベクトルのそれぞれと前記通知されたベクトルの前記所定の変換行列による変換の結果であるベクトルとの差を求め、前記小さい傾向にある方でない大きい傾向にある方に対応するものであって前記組で使用されたものの中から、最小の前記差に対応するものを選択し、再び前記変換後の変換行列を複数生成し、このとき、前記選択した方を同一とした方位角の変動量と仰角の変動量の組を複数用いて方位角と仰角の他方を変化させ、前記変換後の変換行列のそれぞれを前記通知されたベクトルに乗じた結果のベクトルを求め、前記求めたベクトルのそれぞれと前記通知されたベクトルの前記所定の変換行列による変換の結果であるベクトルとの差を求め、前記変換後の変換行列から最小の前記差に対応するものを選択することで、前述のキャリブレーション方法と同様に、スムーズにエリアカーソルを移動させて、次の目的の点を指定することができ、さらには、方位角の変動量と仰角の変動量のどちらが大きい傾向のユーザであっても、変換行列を選択するまでの計算量を少なくすることができる。 請求項８記載の本発明は、請求項２記載の端末をコンピュータにより構成するためのコンピュータプログラムをもって解決手段とする。
【００１８】
請求項９記載の本発明は、請求項３記載の表示装置をコンピュータにより構成するためのコンピュータプログラムをもって解決手段とする。
【００１９】
請求項１０記載の本発明は、請求項８または９記載のコンピュータプログラムが格納されたコンピュータ読み取り可能な記録媒体をもって解決手段とする。
【発明の効果】
【００２０】
本発明の表示システムによれば、端末は、端末が向いている方向を示すベクトルを検出するセンサ部と、エリアカーソル画像を端末の画面に表示させる表示部と、画面で指定された点を検出する操作部と、指定された点を表示装置に通知する通信部とを備え、表示装置は、端末との間の距離、端末に向かう方向を示すベクトルを検出するセンサ部と、距離とベクトルから、端末の座標を求め、座標から交差する点の座標を計算する計算部と、計算された座標の点にエリアカーソルを表示する表示部と、計算された点を含むエリアカーソル画像を端末に送信する通信部とを備えることで、端末により目的の点を近くに見ることができ、よって、目的の点を高速かつ正確に指定することができる。
【発明を実施するための最良の形態】
【００２１】
以下、本発明の実施の形態に係る表示システムを図面を参照して説明する。
【００２２】
図１は、本実施の形態に係る表示システム１のブロック図である。 図２は、表示システム１の外観図である。図３は、画像の一例である番組表を示す図である
表示システム１は、例えば、これを使用するユーザＵが指定したい地点を含む画像を表示する表示装置２と、画像内の位置を指定する端末３とを備える。画像は、図２に示すように、例えば地図であり、目的の都市のある点が指定される。画像は、図３に示すように、例えば、テレビジョン放送などの番組表であり、目的の番組情報のある点が指定される。なお、この場合、表示装置２は、図２に示すものとは異なる小型のものでもよい。
【００２３】
図１に示すように、表示装置２は、画像を表示する表示画面部２１と、番組の録画予約や画像の態様変更などのための処理部２２とを備える。表示画面部２１は、画像が表示される画面２１１と、そのための表示部２１２と、複数のセンサ部２１３と、端末３との通信のための通信部２１４と、座標や行列を計算する計算部２１５と、各種情報が記憶される情報記憶部２１６とを備える。
【００２４】
図２に示すように、端末３は、画面２１１の前でユーザＵに保持される。センサ部２１３は、画面２１１の前を避けて配置される。
【００２５】
画面２１１は、そのユーザＵ側の面が、Ｘ、ＹおよびＺ軸で規定される３次元座標系の原点でＺ軸に直交するＸ−Ｙ平面に含まれるように配置される。この３次元座標系を「システム座標系」という。これに対し、図４に示すように、ｘ、ｙおよびｚ軸で規定され、端末３の向きの基準となる３次元座標系を「端末座標系」という。
【００２６】
センサ部２１３は、そのシステム座標系でのＺ座標が０となるように、画面２１１の上側の近い位置に配置されていることとする。
【００２７】
図２に示すように、画面２１１の一部には、その部分を示すエリアカーソル２１１Ａが表示される。エリアカーソル２１１Ａは、例えば、それによって示される部分を囲む枠線と当該部分の中心を示す十字線とからなる。図３に示すように、エリアカーソル２１１Ａは、複数の番組情報を表示した部分を囲む枠線である。以下、画面２１１に表示された画像における当該部分をエリアカーソル画像という。
【００２８】
図５は、情報記憶部２１６を示す図である。
【００２９】
情報記憶部２１６には、端末座標系での端末３の向きを示すベクトルをシステム座標系での端末３の向きを示すベクトルに変換する変換行列Ｄが記憶される。変換行列Ｄは、３×３の行列であり、９個の数値を有する。当初の情報記憶部２１６には変換行列Ｄが記憶されておらず、変換行列Ｄは、後述するキャリブレーションの際に生成されて記憶される。
【００３０】
情報記憶部２１６には、エリアカーソル２１１Ａの中心を示すシステム座標系での座標Ｃａ（Ｘａ，Ｙａ，０）が記憶される（図２参照）。当初の座標Ｃａ（Ｘａ，Ｙａ，０）は、画面２１１の例えば中心を示すものである。座標Ｃａについては、新たなものが逐次生成され、情報記憶部２１６に記憶される。
【００３１】
情報記憶部２１６には、各センサ部２１３につき、センサ部２１３の位置を示すシステム座標系での座標Ｃｓ（Ｘｓ，Ｙｓ，０）と、センサ部２１３から連続的に通知される距離ｄおよびベクトルｅの中での最新のものとが記憶される。
【００３２】
距離ｄは、センサ部２１３と端末３との間の距離である。ベクトルｅは、センサ部２１３から端末３に向かう方向を示すベクトルである。
【００３３】
情報記憶部２１６には、端末３から連続的に通知されるベクトルｂの中での最新のものが記憶される。
【００３４】
ベクトルｂは、端末座標系で端末３が向いている方向を示すベクトルである（図４参照）。ベクトルｂは、所定の長さの線分が端末座標系の原点からベクトルｂの方向に向いている場合の当該線分の先端の点の座標（ｘｔ、ｙｔ、ｚｔ）で表現される。
【００３５】
情報記憶部２１６には、端末３から連続的に通知される方位角変動量Δθと仰角変動量ΔΨが全て記憶される。方位角変動量Δθは、図４に示すように、端末座標系の原点でｚ軸に直交するｘ−ｙ平面内での端末３の方向を示す方位角θが手ぶれなどによって変動する場合の変動量である。仰角変動量ΔΨは、ｘ−ｙ平面に垂直なｚ平面内での端末３の方向を示す仰角Ψが手ぶれなどにより変動する場合の変動量である。方位角θや仰角Ψが所定の角度に維持されるときの変動量を０とすると、実際には、図６に示すように、プラスまたはマイナスの変動量Δの観測され、その絶対値が変化するので、情報記憶部２１６には、このような変動量Δが連続的に通知され、それらが全て記憶されるのである。
【００３６】
図１に戻り、端末３は、エリアカーソル画像が表示される画面３１と、そのための表示部３２と、表示装置２との通信のための通信部３３と、１つのセンサ部３４と、目的の点を指定するための操作部３５と、モードを選択するためのモード選択部３６と、電波を反射する反射物３７とを備える。
【００３７】
操作部３５は、ユーザＵにより画面３１で行われたクリック、ドラッグ・アンド・ドロップなどの操作が行われたときに、その点の座標と操作の種類を検出するものである。操作部３５は、例えば、画面３１上に配置されたタッチパネルである。
【００３８】
モード選択部３６は、図７に示すように、例えば、端末３をもつユーザＵの親指の位置に設けられたタッチセンサであり、触れられているときには、図２に示す画面２１１でエリアカーソル２１１Ａが移動できる「エリアカーソル移動操作モード」とし、指が離れているときには、図５の画面３１にエリアカーソル画像が表示されたままとなってしかも画面３１を操作できる「エリアカーソル内操作モード」とするためのものである。
【００３９】
図８に示すように、モード選択部３６に触れると、エリアカーソル内操作モードがエリアカーソル移動操作モードになり、エリアカーソル移動操作モードは触れたまますると維持される。モード選択部３６から指を離すと、エリアカーソル移動操作モードがエリアカーソル内操作モードになり、エリアカーソル内操作モードは指を離したままにすると維持される。モード選択部３６は、こうして、触れるか否かによる直感的なモード切替を可能としている。
【００４０】
（表示システム１の動作）
端末３ではセンサ部３４が、連続的にベクトルｂつまり端末座標系で端末３が向いている方向を示すベクトルを検出し、これを通信部３３が表示画面部２１の通信部２１４に通知する。
【００４１】
詳しくは、センサ部３４は、例えば、方位磁石と姿勢センサ（ジャイロセンサなど）を備え、まず、端末３が向いている方向に延びる直線を端末３を含む水平面に投影してできた直線と端末３から例えば北に向かう直線との間にできる方位角、並びに、端末３が向いている方向に延びる直線を鉛直面に投影してできた直線と該鉛直面内で端末３から水平に延びる直線との間にできる仰角を求める。次に、方位角と仰角を、これらで示される方向を示す端末座標系でのベクトルｂ（ｘｂ、ｙｂ、ｚｂ）に変換する。
【００４２】
通信部２１４は、ベクトルｂをその都度、計算部２１５に転送する。計算部２１５は、最新のベクトルｂを情報記憶部２１６に記憶させておく。説明上、古いベクトルｂについては、記憶されてないものとする。
【００４３】
端末３ではセンサ部３４が、連続的に、方位角変動量Δθと仰角変動量ΔΨを検出し、通信部３３が表示画面部２１の通信部２１４に通知する。
【００４４】
詳しくは、センサ部３４は、上記と同様に、方位角θと仰角Ψそれぞれの変動量を求め、これらを端末座標系での方位角変動量Δθと仰角変動量ΔΨに変換する。そして、これらを通信部３３が通信部２１４に通知する。
【００４５】
通信部２１４は、方位角変動量Δθと仰角変動量ΔΨをその都度、計算部２１５に転送する。計算部２１５は、方位角変動量Δθと仰角変動量ΔΨを全て情報記憶部２１６に記憶させておく。
【００４６】
一方、センサ部２１３は、連続的に、このセンサ部２１３と端末３との間の距離ｄと、当該センサ部２１３から端末３に向かう方向を示すベクトルｅを検出して計算部２１５に通知する。
【００４７】
詳しくは、センサ部２１３は、端末３が存在可能な各方向に電波を放射し、その電波が反射物３７に反射して戻ってきたら、その電波の往復時間から距離ｄを検出する。
【００４８】
また、センサ部２１３は、例えば、方位磁石と姿勢センサ（ジャイロセンサなど）を備え、まず、センサ部２１３から端末３に向かう方向に延びる直線をセンサ部２１３を含む水平面に投影してできた直線とセンサ部２１３から例えば北に向かう直線との間にできる方位角、並びに、センサ部２１３から端末３に向かう方向に延びる直線を鉛直面に投影してできた直線と該鉛直面内でセンサ部２１３から水平に延びる直線との間にできる仰角を求める。次に、方位角と仰角を、これらで示される方向を示すシステム座標系でのベクトルｅ（Ｘｅ、Ｙｅ、Ｚｅ）に変換する。
【００４９】
センサ部２１３は、距離ｄとベクトルｅを計算部２１５に与える。図２に示すように、センサ部２１３と端末３の間の線分は、ｄ・ｅで表現される。
【００５０】
計算部２１５は、距離ｄとベクトルｅをその都度受け取り、最新の距離ｄとベクトルｅを情報記憶部２１６に記憶させておく。なお、説明上、古い距離ｄとベクトルｅについては、記憶されてないものとする。
【００５１】
また、端末３では、通信部３３が、モード選択部３６の状態を連続的に表示画面部２１の通信部２１４に通知する。
【００５２】
表示画面部２１の計算部２１５は、通信部２１４を介して通知された状態が、エリアカーソル移動操作モードに対応するものなら、情報記憶部２１６における変換行列Ｄの有無を判定し、変換行列Ｄが無ければキャリブレーションを行う。このキャリブレーションを、便宜的に、「第１のキャリブレーション」という。
【００５３】
図９は、第１のキャリブレーションの際のシーケンス図である。
【００５４】
まず、計算部２１５は、情報記憶部２１６から座標Ｃａを読み出し、座標Ｃａを表示部２１２に与える（Ｓ１）。表示部２１２は、画像が表示された画面２１１の座標Ｃａが示す位置にエリアカーソル２１１Ａを表示させる（Ｓ３）。
【００５５】
計算部２１５の指示で、通信部２１４は、端末３をエリアカーソル２１１Ａに向けるように促すメッセージを通信部３３に送信する（Ｓ１１）。
【００５６】
端末３では、表示部３２が通信部３３から受けたメッセージを画面３１に表示させる（Ｓ２１）。メッセージを見たユーザＵは、端末３をエリアカーソル２１１Ａに向け、向け終えたことを示す操作を例えば画面３１で行う（Ｓ２３）。
【００５７】
通信部３３は、その操作がなされたことを通信部２１４に通知する（Ｓ２５）。
【００５８】
計算部２１５は、変換行列Ｄを求める（Ｓ２７）。
【００５９】
詳しくは、まず、計算部２１５は、通信部２１４を介して、この通知を受けると、あるシステム座標系でのベクトルＢ（Ｘｔ、Ｙｔ、Ｚｔ）を求める。
【００６０】
図２に示すように、端末３とエリアカーソル２１１Ａの間の距離をｋとすると、その間の線分は、ｋ・Ｂで表現される。
【００６１】
詳しくは、計算部２１５は、記憶しておいた各センサ部２１３と端末３との間の距離ｄの中の最小の距離ｄ（以下、単に距離ｄという）と、これを通知してきたセンサ部２１３から通知され、記憶しておいたベクトルｅ（以下、単にベクトルｅという）を使用する（図９参照）。
【００６２】
計算部２１５は、情報記憶部２１６から座標Ｃａと座標Ｃｓを読み出し、これらと、記憶された距離ｄとベクトルｅとを用いて、ベクトルＢを求める。
【００６３】
計算部２１５は、式（１）により、ｃを求め、式（２）により、ベクトルＢを求める。
【数１】
こうして、ベクトルＢが求まるのは、以下の理由による。
【数２】
【００６４】
つまり、直線の式（３）が成立し、これが座標Ｃａ（Ｘａ，Ｙａ，０）を通過するので、式（４）が成立する。よって、式（１）、（２）により、ベクトルＢが求まるのである。
【００６５】
計算部２１５は、求めたベクトルＢと記憶されたベクトルｂの組を記憶する。
【００６６】
同様に、通信部２１４は、端末３の位置を変えてエリアカーソル２１１Ａに向けるように促すメッセージを通信部３３に送信する。これにより、端末３の位置が変えられ、端末３を向け終えたことを示す操作がなされたことが通知されるので、計算部２１５は、またベクトルＢを計算し、このベクトルＢとベクトルｂの組を記憶する。
【００６７】
この２回目の計算に際して変えられた端末３の位置によっては、最小の距離ｄを通知したセンサ部２１３が、１回目のものとは異なり、２回目では、このセンサ部２１３から通知された距離ｄとベクトルｅが使用される。
【００６８】
計算部２１５は、これと同様にして、ベクトルＢとベクトルｂをもう１組記憶する。この３回目でも、端末３の位置によっては、別のセンサ部２１３から通知された距離ｄとベクトルｅが使用される。
【００６９】
こうして、ベクトルＢとベクトルｂの組が３組記憶される。端末３の位置が異なるので、ベクトルＢ、ベクトルｂのそれぞれは、他の組のものに対して異なっている。
【００７０】
計算部２１５は、連立方程式（５）を解くことで、変換行列Ｄを求め、これを情報記憶部２１６に記憶させる（Ｓ２７）。なお、式（５）における添字１〜３は、３つづつ記憶したベクトルＢ、ベクトルｂの区別のために使用したものである。
【数３】
【００７１】
こうした変換行列Ｄが記憶されると、その後、上記の判定で、変換行列Ｄがあると判定される。
【００７２】
図１０は、それ以降のシーケンス図である。
【００７３】
計算部２１５は、端末３からこの端末３が向いている方向に延びる直線と画面２１１とが交差する点の座標を計算する（Ｓ３１）。計算されるのは新たな座標Ｃａの座標である。
【００７４】
詳しくは、まず、計算部２１５は、座標Ｃｓ（Ｘｓ，Ｙｓ，Ｚｓ）を読み出し、これと記憶された距離ｄとベクトルｅを基に、端末３のシステム座標系における座標Ｃｔを求める。また、計算部２１５は、変換行列Ｄを読み出し、これを記憶されたベクトルｂに乗じる。その乗算の結果を便宜的にベクトルＢという。計算部２１５は、さらに、座標Ｃｔの点からベクトルＢの方向に延びる直線と画面２１１とが交差する点、つまり、新たな座標Ｃａの座標を計算し、情報記憶部２１６に記憶させる。
【００７５】
次に、計算部２１５は、新たな座標Ｃａを表示部２１２に与える（Ｓ４１）。表示部２１２は、画面２１１の座標Ｃａが示す位置にエリアカーソル２１１Ａを表示させる（Ｓ４３）。新旧の座標が相違していれば、エリアカーソル２１１Ａが移動したように見える。
【００７６】
次に、表示部２１２は、通信部２１４を制御して、画面２１１に表示された画像の座標Ｃａを含む部分の画像つまりエリアカーソル画像を端末３の通信部３３に送信させる（Ｓ４５）。
【００７７】
端末３では、表示部３２が通信部３３から受けたエリアカーソル画像を画面３１に表示させる（Ｓ５１）。
【００７８】
ステップＳ３１，４１，４３，４５，５１は、周期的になされるので、ユーザＵは、例えば、エリアカーソル画像に目的の点が含まれていなければ、端末３の向きを変えればよい。
【００７９】
こうしたエリアカーソル画像の表示は、距離ｄとベクトルｅによって可能となるものである。仮にセンサ部２１３が１つでは、そのセンサ部２１３が距離ｄとベクトルｅを検出できない位置に端末３がある場合には、エリアカーソル画像の表示ができない。そこで、表示システム１では、複数のセンサ部２１３を位置を変えて設けることで、いずれかが距離ｄとベクトルｅを検出できる位置であれば、端末３がどのような位置にあっても、また、ユーザＵが移動しながらでも、エリアカーソル画像を表示することができる。
【００８０】
こうして、目的の点が表示されたら、ユーザＵは、モード選択部３６に例えば触れることで、その状態をエリアカーソル内操作モードに対応するものに変化させる（Ｓ６１）。 こうすると、上記のように、モード選択部３６の状態が表示画面部２１の通信部２１４に通知されるなかにあって、エリアカーソル内操作モードに対応する状態が通知される（Ｓ６３）。
【００８１】
表示画面部２１の表示部２１２は、通信部２１４を介して通知された状態が、エリアカーソル移動操作モードに対応するものなら、通信部２１４を制御して、エリアカーソル画像を端末３に送信させるのを中止する（Ｓ７１）。
【００８２】
これにより、端末３では、最新のエリアカーソル画像が画面３１に表示されたままとなる。これは、端末３をエリアカーソル２１１Ａに向けなくてよいことを示しており、ユーザＵは、図２に示すように、端末３の向きを例えば画面３１が見やすくなるように変え、操作部３５である例えばタッチパネル上の目的の点を操作（クリックなど）する（Ｓ８１）。操作部３５は、例えばエリアカーソル画像の中心を原点とした２次元の座標系において、目的の点の座標Ａａ’を求め、さらには、操作の種類を求め、通信部３３を制御し、座標Ａａ’と操作の種類を表示画面部２１の通信部２１４に通知させる（Ｓ８３）。
【００８３】
表示画面部２１では、通信部２１４を介して、座標Ａａ’を受けた計算部２１５が、座標Ａａ’を基に、操作された点のシステム座標系での点の座標Ｃａ’を求め、情報記憶部２１６に記憶させる（Ｓ９１）。ここで、計算部２１５は、情報記憶部２１６から座標Ｃａを読み出し、このＸａ、Ｙａを座標Ａａ’に応じて増減させ、これを座標Ｃａ’とする。
【００８４】
また、計算部２１５は、例えば、通信部２１４を介して通知された操作の種類を処理部２２に通知する。
【００８５】
また、計算部２１５は、例えば、座標Ｃａ’も処理部２２に通知する。画像が番組表で操作の種類が録画に対応するものである場合、処理部２２は、例えば、座標Ｃａ’に表示された番組情報に対応する番組の録画予約等を行う。
【００８６】
また、計算部２１５は、画像が地図などの場合、操作された点の座標Ｃａ’を表示部２１２に与える（Ｓ９３）。表示部２１２は、画面２１１の座標Ｃａ’が示す位置にエリアカーソル２１１Ａを表示させる（Ｓ９５）。これにより、例えば、操作された目的の点にエリアカーソル２１１Ａの中心が移動する。
【００８７】
図１１は、座標Ｃａ’を求めた後のシーケンス図である。
【００８８】
次に、表示部２１２は、エリアカーソル画像を端末３に送信させるのを再開する。これにより、目的の点を中心としたエリアカーソル画像が端末３に送信され（Ｓ１０１）、表示される。
【００８９】
なお、処理部２２は、通知された操作の種類に応じた指示を表示部２１２に行い、これにより、例えば、画像表示の態様を変化させる。
【００９０】
こうして、目的の点が例えば中心に表示されたら、ユーザＵは、再び端末３をエリアカーソル２１１Ａに向ける。また、ユーザＵは、その状態でモード選択部３６に例えば触れることで、その状態をエリアカーソル移動操作モードに対応するものに変化させる（Ｓ１１１）。
【００９１】
こうすると、上記のように、モード選択部３６の状態が通信部２１４に通知されるなかにあって、エリアカーソル移動操作モードに対応する状態が通知される（Ｓ１１３）。
【００９２】
計算部２１５は、通知された状態がエリアカーソル内操作モードからエリアカーソル移動操作モードに変わった場合に限っては、第２のキャリブレーションを行う（Ｓ１１５）。
【００９３】
まず、第２のキャリブレーションでは、計算部２１５は、変換行列Ｄを読み出し、これを記憶されたベクトルｂに乗じる。その乗算の結果を便宜的にベクトルＢという。
【００９４】
また、計算部２１５は、記憶した方位角変動量Δθと仰角変動量ΔΨとを比較して、どちらが大きい傾向になっているかを判定する。
【００９５】
計算部２１５は、方位角変動量Δθの方が大きいなら、同一の仰角変動量ΔΨと、相違する方位角変動量Δθの１つとでなる組をつくる。計算部２１５は、方位角変動量Δθを１回づつ残らず使用し、つまり、その数の組を作る。例えば、方位角変動量Δθはいずれも、例えば−２５度≦Δθ≦＋２５度の範囲から選択される。
【００９６】
次に計算部２１５は、各組につき、その仰角変動量ΔΨと方位角変動量Δθで変換行列Ｄを変換行列Ｄ’に変換する。
【００９７】
ここでは、式（６）に示すように、ある端末座標系でのベクトルｂを変換前の変換行列Ｄで変換し（これを変換後ベクトルという）、ベクトルｂの方向を示す仰角と方位角を仰角変動量ΔΨと方位角変動量Δθの量だけ変化させたあとの方向を示すベクトルｂ’を変換後の変換行列Ｄ’で変換したときに、変換後ベクトルが得られるようにする。
【数４】
【００９８】
次に、計算部２１５は、各変換行列Ｄ’につき、それを記憶されたベクトルｂに乗じる。これにより、乗算の結果であるベクトルＢ’がそれぞれ求まる。
【００９９】
次に、計算部２１５は、各ベクトルＢ’につき、ベクトルＢとの差βを求める。これにより、複数の差βが求まる。
【０１００】
次に、計算部２１５は、前記の相違する方位角変動量Δθの中から、最小の差βに対応する方位角変動量Δθを選択する。
【０１０１】
次に、計算部２１５は、選択した方位角変動量Δθと、相違する仰角変動量ΔΨの１つとでなる組をつくる。計算部２１５は、仰角変動量ΔΨを１回づつ残らず使用し、つまり、その数の組を作る。例えば、仰角変動量ΔΨはいずれも、例えば−２５度≦ΔΨ≦＋２５度の範囲から選択される。
【０１０２】
次に計算部２１５は、各組につき、上記の仰角変動量ΔΨを同一としたときと同様に、組の仰角変動量ΔΨと方位角変動量Δθで変換行列Ｄを変換行列Ｄ’に変換する。
【０１０３】
次に、計算部２１５は、各変換行列Ｄ’につき、それを記憶されたベクトルｂに乗じる。これにより、乗算の結果であるベクトルＢ’がそれぞれ求まる。
【０１０４】
次に、計算部２１５は、各ベクトルＢ’につき、ベクトルＢとの差βを求める。これにより、複数の差βが求まる。
【０１０５】
次に、計算部２１５は、前記の方位角変動量Δθを同一としたときの変換行列Ｄ’の中から、最小の差βに対応する変換行列Ｄ’を選択する。
【０１０６】
第２のキャリブレーションの最後に、計算部２１５は、選択した変換行列Ｄ’を新たな変換行列Ｄとして情報記憶部２１６に記憶させる。
【０１０７】
なお、計算部２１５は、方位角変動量Δθの方が大きいなら、先に仰角変動量ΔΨを同一としたが、仰角変動量ΔΨの方が大きいなら、先に方位角変動量Δθを同一とする。
【０１０８】
なお、第２のキャリブレーションでは、以下のようにしてもよい。
【０１０９】
つまり、まず、計算部２１５は、１つの方位角変動量Δθと１つの仰角変動量ΔΨとでなる組を複数つくる。計算部２１５は、組同士で方位角変動量Δθと仰角変動量ΔΨの少なくとも一方を相違させる。例えば、方位角変動量Δθはいずれも、例えば−２５度≦Δθ≦＋２５度の範囲から選択される。仰角変動量ΔΨも同様に、例えば−２５度≦ΔΨ≦＋２５度の範囲から選択される。
【０１１０】
次に計算部２１５は、各組につき、上記の仰角変動量ΔΨや方位角変動量Δθを同一としたときと同様に、組の仰角変動量ΔΨと方位角変動量Δθで変換行列Ｄを変換行列Ｄ’に変換する。
【０１１１】
次に、計算部２１５は、各変換行列Ｄ’につき、それを記憶されたベクトルｂに乗じる。これにより、乗算の結果であるベクトルＢ’がそれぞれ求まる。
【０１１２】
次に、計算部２１５は、各ベクトルＢ’につき、ベクトルＢとの差βを求める。これにより、複数の差βが求まる。
【０１１３】
次に、計算部２１５は、変換行列Ｄ’の中から、最小の差βに対応する変換行列Ｄ’を選択する。
【０１１４】
第２のキャリブレーションの最後に、計算部２１５は、選択した変換行列Ｄ’を新たな変換行列Ｄとして情報記憶部２１６に記憶させる。
【０１１５】
仮に、変換前の変換行列Ｄを残しておくと、エリアカーソル内操作モードに移行する直前に通知されたベクトルｂと、エリアカーソル移動操作モードに移行した直後に通知されたベクトルｂとが異なっていた場合、エリアカーソル２１１Ａが移動したように見えてしまうのだが、変換後の変換行列Ｄ’を記憶させることで、そのような場合にあっても、エリアカーソル２１１Ａが移動したように見えるのを防止することができる。
【０１１６】
また、第２のキャリブレーションでは、第１のキャリブレーションのように、端末３を３つの位置からエリアカーソル２１１Ａに向ける必要がない。よって、第２のキャリブレーションは、例えば、エリアカーソル２１１Ａを次なる目的の点に移動させるときの妨げにならない。
【０１１７】
また、第２のキャリブレーションの変形例では、先に仰角変動量ΔΨなどを同一とした場合との比較で、方位角変動量Δθと仰角変動量ΔΨとでなる組の数およびそれに伴う計算量が多くなるが、先に仰角変動量ΔΨなどを同一とすることで、組の数およびそれに伴う計算量を少なくすることができる。
【０１１８】
以上説明したように、本実施の形態に係る表示システム１によれば、例えば、家具や自動車のデザインにおいて、小さな目的の点を指定でき、これにより、局所的なデザインが可能となる。その結果、全体的なデザインが可能であることと相俟って、デザインを迅速に行うことができる。
【０１１９】
また、表示システム１によれば、番組表に表示された小さい目的の番組情報を指定して、録画予約等を行うことができる。
【０１２０】
詳しくは、端末３は、端末３が向いている方向を示すベクトルを検出するセンサ部３４と、エリアカーソル画像を端末３の画面３１に表示させる表示部３２と、画面３１で指定された点を検出する操作部３５と、指定された点を表示装置２に通知する通信部３３とを備え、表示装置２は、端末３との間の距離ｄ、端末３に向かう方向を示すベクトルｅを検出するセンサ部２１３と、距離ｄとベクトルｅから、端末３の座標Ｃｔを求め、座標Ｃｔから座標ＣａやＣａ’を計算する計算部２１５と、計算された座標の点にエリアカーソル２１１Ａを表示する表示部２１２と、計算された点を含むエリアカーソル画像を端末３に送信する通信部２１４とを備えることで、端末３により目的の点を近くに見ることができ、よって、目的の点を高速かつ正確に指定することができる。
【０１２１】
また、第１のキャリブレーションによれば、端末３の通信部３３は、端末３が向いている方向を示すベクトルｂを３つの位置で表示装置２に通知し、表示装置２の計算部２１５は、各通知につき、距離ｄおよびベクトルｅを用いて、端末３が向いている方向を示すベクトルＢを求め、各通知につき、通知されたベクトルｂに変換行列Ｄを乗じた結果が求めたベクトルＢになることを示す式を生成し、生成された３つの式からなる連立方程式を解くことで変換行列Ｄを求めることで、その変換行列により、端末が向いている方向を示すベクトルを、センサ部から端末に向かう方向を示すベクトルで使用される座標系のベクトルに変換することができる。
【０１２２】
また、第２のキャリブレーションによれば、表示装置２の計算部２１５は、変換行列Ｄを変換するときに、通知されたベクトルｂを変換行列Ｄで変換し、通知されたベクトルｂの方向を示す方位角と仰角の少なくとも一方を変化させた後の方向を示すベクトルｂ’を前記変換後の変換行列Ｄ’で変換したときに前記変換後のベクトルＢが得られるようにすることで、その変換後の変換行列Ｄ’により、端末３が向いている方向を示すベクトルｂを、センサ部２１３から端末３に向かう方向を示すベクトルｅで使用されるシステム座標系のベクトルＢに変換することができ、また、端末３を３つの位置に位置させる必要がなくなる。よって、目的の点の指定後に端末３がエリアカーソルに向けられたときにエリアカーソルの位置がずれることなく、その結果、スムーズにエリアカーソルを移動させて、次の目的の点を指定することができる。
【０１２３】
また、第２のキャリブレーションによれば、好ましくは、端末３の通信部３３は、端末３が向いている方向を示す方位角の変動量である方位角変動量Δθと仰角の変動量である仰角変動量ΔΨを表示装置２に通知し、表示装置２の計算部２１５は、前記変換後の変換行列を複数生成し、このとき、前記通知された方位角の変動量と仰角の変動量とで変動量が小さい傾向にある方を同一とした方位角の変動量と仰角の変動量の組を複数用いて方位角と仰角の一方を変化させ、前記変換後の変換行列のそれぞれを前記通知されたベクトルに乗じた結果のベクトルを求め、前記求めたベクトルのそれぞれと前記通知されたベクトルの前記所定の変換行列による変換の結果であるベクトルとの差を求め、前記小さい傾向にある方でない大きい傾向にある方に対応するものであって前記組で使用されたものの中から、最小の前記差に対応するものを選択し、再び前記変換後の変換行列を複数生成し、このとき、前記選択した方を同一とした方位角の変動量と仰角の変動量の組を複数用いて方位角と仰角の他方を変化させ、前記変換後の変換行列のそれぞれを前記通知されたベクトルに乗じた結果のベクトルを求め、前記求めたベクトルのそれぞれと前記通知されたベクトルの前記所定の変換行列による変換の結果であるベクトルとの差を求め、前記変換後の変換行列から最小の前記差に対応するものを選択することで、前述のキャリブレーション方法と同様に、スムーズにエリアカーソルを移動させて、次の目的の点を指定することができ、さらには、方位角の変動量と仰角の変動量のどちらが大きい傾向のユーザであっても、変換行列を選択するまでの計算量を少なくすることができる。
【０１２４】
なお、表示装置２や端末３をコンピュータにより構成するためのコンピュータプログラムは、半導体メモリ、磁気ディスク、光ディスク、光磁気ディスク、磁気テープなどのコンピュータ読み取り可能な記録媒体に格納し、陳列などして流通させたり、当該コンピュータプログラムをインターネットなどの通信網を介して伝送させてもよい。
【図面の簡単な説明】
【０１２５】
【図１】本実施の形態に係る表示システム１のブロック図である。
【図２】表示システム１の外観図である。。
【図３】画像の一例である番組表を示す図である
【図４】端末座標系を示す図である。
【図５】情報記憶部２１６の内容である。
【図６】方位角変動量Δθや仰角変動量ΔΨである変動量Δを示す図である。
【図７】端末３の外観図である。
【図８】モード切替の様子を示す模式図である。
【図９】第１のキャリブレーションの際のシーケンス図である。
【図１０】変換行列Ｄがあると判定された後のシーケンス図である。
【図１１】座標Ｃａ’を求めた後のシーケンス図である。
【符号の説明】
【０１２６】
１…表示システム
２…表示装置
３…端末
２１…表示画面部
２２…処理部
３１…画面
３２…表示部
３３…通信部
３４…センサ部
３５…操作部
３６…モード選択部
３７…反射物
２１１…画面
２１１Ａ…エリアカーソル
２１２…表示部
２１３…センサ部
２１４…通信部
２１５…計算部
２１６…情報記憶部
ΔΨ…仰角変動量
Δθ…方位角変動量
Ａａ…エリアカーソル画像で指定された座標
Ｂ…端末が向いている方向を示すシステム座標系でのベクトル
Ｃａ…エリアカーソルのシステム座標系での座標
Ｃｓ…表示装置のセンサ部のシステム座標系での座標
Ｃｔ…端末のシステム座標系での座標
Ｄ…端末座標系のベクトルをシステム座標系のベクトルに変換する変換行列
ｂ…端末が向いている方向を示す端末座標系でのベクトル
ｄ…表示装置のセンサ部と端末との間の距離
ｅ…表示装置のセンサ部から端末に向かう方向を示すシステム座標系でのベクトル
【技術分野】
【０００１】
本発明は、目的の点を高速かつ正確に指定するための表示システム、端末、表示装置、キャリブレーション方法、コンピュータプログラムおよび記録媒体に関するものである。
【背景技術】
【０００２】
近年では、大型のディスプレイを利用して作業する機会が多い。例えば、家具や自動車のデザインでは、ＣＡＤソフトを利用して、実寸大の家具などの全体が表示される。こうして表示された広い範囲にある目的の点を指定する場合、マウスを使用して、その点にカーソルをあわせるようになっている。
【特許文献１】特開２００５−２６７１６９号
【非特許文献１】Myers, B., Bhatnagar, R., Nichols, J., Peck, C.H., Kong, D., Miller, R., and Long, C.:"Interacting at a distance: measuring the performance of laser pointers and other devices", proc. of ACM CHI, pp.33-40, 2002
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかし、目的の点がネジなどの小さなものであった場合、マウスでは、カーソルを正確にあわせられない可能性がある。また、出来たとしても時間がかかる。ディスプレイが遠くにある場合は、小さな点が見づらく、カーソルを正確にあわせるのが難しい。
【０００４】
非特許文献１では、ユーザは端末を目的の点に向け、その点にカーソルを表示させることで、マウスの欠点を補っている。特許文献２では、光の点滅を利用して、同様のことを行っている。
【０００５】
しかし、こうした方法を行ったとしても、目的の点が非常に小さくなると、その正確な指定は難しく、出来たとしても時間がかかる。つまり、高速性と正確性はトレードオフの関係にある。
【０００６】
本発明は、上記の課題に鑑みてなされたものであり、その目的とするところは、目的の点を高速かつ正確に指定できるようにすることである。
【課題を解決するための手段】
【０００７】
上記の課題を解決するために、請求項１記載の本発明は、表示装置と端末を備え、前記端末は、前記端末が向いている方向を示すベクトルを前記表示装置に通知し、前記表示装置は、前記端末の座標を求め、前記座標から前記ベクトルの方向に延びる直線と前記表示装置の画面とが交差する点にエリアカーソルを表示し、前記点を含むエリアカーソル画像を前記端末に送信し、前記端末は、前記エリアカーソル画像を前記端末の画面に表示し、前記端末の画面で指定された点を表示装置に通知する表示システムであって、前記端末は、前記端末が向いている方向を示すベクトルを検出するセンサ部と、前記エリアカーソル画像を前記端末の画面に表示させる表示部と、前記画面で指定された点を検出する操作部と、前記指定された点を表示装置に通知する通信部とを備え、前記表示装置は、前記端末との間の距離、前記端末に向かう方向を示すベクトルを検出するセンサ部と、前記距離とベクトルから、前記端末の座標を求め、前記座標から前記交差する点の座標を計算する計算部と、前記計算された座標の点に前記エリアカーソルを表示する表示部と、前記計算された点を含むエリアカーソル画像を前記端末に送信する通信部とを備えることを特徴とする表示システムをもって解決手段とする。
【０００８】
請求項２記載の本発明は、表示装置と端末を備え、前記端末は、前記端末が向いている方向を示すベクトルを前記表示装置に通知し、前記表示装置は、前記端末の座標を求め、前記座標から前記ベクトルの方向に延びる直線と前記表示装置の画面とが交差する点にエリアカーソルを表示し、前記点を含むエリアカーソル画像を前記端末に送信し、前記端末は、前記エリアカーソル画像を前記端末の画面に表示し、前記端末の画面で指定された点を表示装置に通知する表示システムにおける前記端末であって、前記端末が向いている方向を示すベクトルを検出するセンサ部と、前記エリアカーソル画像を前記端末の画面に表示させる表示部と、前記画面で指定された点を検出する操作部と、前記指定された点を表示装置に通知する通信部とを備えることを特徴とする端末をもって解決手段とする。
【０００９】
請求項３記載の本発明は、表示装置と端末を備え、前記端末は、前記端末が向いている方向を示すベクトルを前記表示装置に通知し、前記表示装置は、前記端末の座標を求め、前記座標から前記ベクトルの方向に延びる直線と前記表示装置の画面とが交差する点にエリアカーソルを表示し、前記点を含むエリアカーソル画像を前記端末に送信し、前記端末は、前記エリアカーソル画像を前記端末の画面に表示し、前記端末の画面で指定された点を表示装置に通知する表示システムにおける前記表示装置であって、前記端末との間の距離、前記端末に向かう方向を示すベクトルを検出するセンサ部と、前記距離とベクトルから、前記端末の座標を求め、前記座標から前記交差する点の座標を計算する計算部と、前記計算された座標の点に前記エリアカーソルを表示する表示部と、前記計算された点を含むエリアカーソル画像を前記端末に送信する通信部とを備えることを特徴とする表示装置をもって解決手段とする。
【００１０】
請求項１記載の表示システムによれば、端末は、端末が向いている方向を示すベクトルを検出するセンサ部と、エリアカーソル画像を端末の画面に表示させる表示部と、画面で指定された点を検出する操作部と、指定された点を表示装置に通知する通信部とを備え、表示装置は、端末との間の距離、端末に向かう方向を示すベクトルを検出するセンサ部と、距離とベクトルから、端末の座標を求め、座標から前記交差する点の座標を計算する計算部と、計算された座標の点にエリアカーソルを表示する表示部と、計算された点を含むエリアカーソル画像を端末に送信する通信部とを備えることで、端末により目的の点を近くに見ることができ、よって、目的の点を高速かつ正確に指定することができる。
【００１１】
請求項４記載の本発明は、表示装置と端末を備え、前記端末は、前記端末が向いている方向を示すベクトルを前記表示装置に通知し、前記表示装置は、前記端末の座標を求め、前記座標から前記ベクトルの方向に延びる直線と前記表示装置の画面とが交差する点にエリアカーソルを表示し、前記点を含むエリアカーソル画像を前記端末に送信し、前記端末は、前記エリアカーソル画像を前記端末の画面に表示し、前記端末の画面で指定された点を表示装置に通知する表示システムにおけるキャリブレーション方法であって、前記端末の通信部は、前記端末が向いている方向を示すベクトルを３つの位置で前記表示装置に通知し、前記表示装置の計算部は、各通知につき、前記表示装置のセンサ部と前記端末との間の距離、前記センサ部から端末に向かう方向を示すベクトルを用いて、前記端末が向いている方向を示すベクトルを求め、前記表示装置の計算部は、各通知につき、通知されたベクトルに変換行列を乗じた結果が前記求めたベクトルになることを示す式を生成し、前記表示装置の計算部は、前記生成された３つの式からなる連立方程式を解くことで前記変換行列を求めることを特徴とするキャリブレーション方法をもって解決手段とする。
【００１２】
請求項４記載のキャリブレーション方法によれば、端末の通信部は、端末が向いている方向を示すベクトルを３つの位置で表示装置に通知し、表示装置の計算部は、各通知につき、表示装置のセンサ部と端末との間の距離、センサ部から端末に向かう方向を示すベクトルを用いて、端末が向いている方向を示すベクトルを求め、表示装置の計算部は、各通知につき、通知されたベクトルに変換行列を乗じた結果が求めたベクトルになることを示す式を生成し、表示装置の計算部は、生成された３つの式からなる連立方程式を解くことで変換行列を求めることで、その変換行列により、端末が向いている方向を示すベクトルを、センサ部から端末に向かう方向を示すベクトルで使用される座標系のベクトルに変換することができる。
【００１３】
請求項５記載の本発明は、表示装置と端末を備え、前記端末は、前記端末が向いている方向を示すベクトルを前記表示装置に通知し、前記表示装置は、前記端末の座標を求め、前記座標から前記ベクトルの方向に延びる直線と前記表示装置の画面とが交差する点にエリアカーソルを表示し、前記点を含むエリアカーソル画像を前記端末に送信し、前記端末は、前記エリアカーソル画像を前記端末の画面に表示し、前記端末の画面で指定された点を表示装置に通知する表示システムにおけるキャリブレーション方法であって、前記表示装置の計算部は、所定の変換行列を変換するときに、前記通知されたベクトルを前記所定の変換行列で変換し、前記通知されたベクトルの方向を示す方位角と仰角の少なくとも一方を変化させた後の方向を示すベクトルを前記変換後の変換行列で変換したときに前記変換後のベクトルが得られるようにすることを特徴とするキャリブレーション方法をもって解決手段とする。
【００１４】
請求項５記載のキャリブレーション方法によれば、表示装置の計算部は、所定の変換行列を変換するときに、通知されたベクトルを前記所定の変換行列で変換し、通知されたベクトルの方向を示す方位角と仰角の少なくとも一方を変化させた後の方向を示すベクトルを前記変換後の変換行列で変換したときに前記変換後のベクトルが得られるようにすることで、その変換後の変換行列により、端末が向いている方向を示すベクトルを、センサ部から端末に向かう方向を示すベクトルで使用される座標系のベクトルに変換することができ、また、端末を３つの位置に位置させる必要がなくなる。よって、目的の点の指定後に端末がエリアカーソルに向けられたときにエリアカーソルの位置がずれることなく、その結果、スムーズにエリアカーソルを移動させて、次の目的の点を指定することができる。
【００１５】
請求項６記載の本発明は、請求項５記載のキャリブレーション方法において、前記表示装置の計算部は、前記変換後の変換行列を複数生成し、前記表示装置は、前記変換後の変換行列のそれぞれを前記通知されたベクトルに乗じた結果のベクトルを求め、前記表示装置の計算部は、前記求めたベクトルのそれぞれと前記通知されたベクトルの前記所定の変換行列による変換の結果であるベクトルとの差を求め、前記表示装置の計算部は、前記変換後の変換行列から最小の前記差に対応するものを選択することを特徴とするキャリブレーション方法をもって解決手段とする。
【００１６】
請求項７記載の本発明は、請求項５記載のキャリブレーション方法において、前記端末の通信部は、前記端末が向いている方向を示す方位角の変動量と仰角の変動量を前記表示装置に通知し、前記表示装置の計算部は、前記変換後の変換行列を複数生成し、このとき、前記通知された方位角の変動量と仰角の変動量とで変動量が小さい傾向にある方を同一とした方位角の変動量と仰角の変動量の組を複数用いて方位角と仰角の一方を変化させ、前記表示装置の計算部は、前記変換後の変換行列のそれぞれを前記通知されたベクトルに乗じた結果のベクトルを求め、前記表示装置の計算部は、前記求めたベクトルのそれぞれと前記通知されたベクトルの前記所定の変換行列による変換の結果であるベクトルとの差を求め、前記表示装置の計算部は、前記小さい傾向にある方でない大きい傾向にある方に対応するものであって前記組で使用されたものの中から、最小の前記差に対応するものを選択し、前記表示装置の計算部は、再び前記変換後の変換行列を複数生成し、このとき、前記選択した方を同一とした方位角の変動量と仰角の変動量の組を複数用いて方位角と仰角の他方を変化させ、前記表示装置の計算部は、前記変換後の変換行列のそれぞれを前記通知されたベクトルに乗じた結果のベクトルを求め、前記表示装置の計算部は、前記求めたベクトルのそれぞれと前記通知されたベクトルの前記所定の変換行列による変換の結果であるベクトルとの差を求め、前記表示装置の計算部は、前記変換後の変換行列から最小の前記差に対応するものを選択することを特徴とするキャリブレーション方法をもって解決手段とする。
【００１７】
請求項７記載のキャリブレーション方法によれば、端末の通信部は、端末が向いている方向を示す方位角の変動量と仰角の変動量を前記表示装置に通知し、表示装置の計算部は、前記変換後の変換行列を複数生成し、このとき、前記通知された方位角の変動量と仰角の変動量とで変動量が小さい傾向にある方を同一とした方位角の変動量と仰角の変動量の組を複数用いて方位角と仰角の一方を変化させ、前記変換後の変換行列のそれぞれを前記通知されたベクトルに乗じた結果のベクトルを求め、前記求めたベクトルのそれぞれと前記通知されたベクトルの前記所定の変換行列による変換の結果であるベクトルとの差を求め、前記小さい傾向にある方でない大きい傾向にある方に対応するものであって前記組で使用されたものの中から、最小の前記差に対応するものを選択し、再び前記変換後の変換行列を複数生成し、このとき、前記選択した方を同一とした方位角の変動量と仰角の変動量の組を複数用いて方位角と仰角の他方を変化させ、前記変換後の変換行列のそれぞれを前記通知されたベクトルに乗じた結果のベクトルを求め、前記求めたベクトルのそれぞれと前記通知されたベクトルの前記所定の変換行列による変換の結果であるベクトルとの差を求め、前記変換後の変換行列から最小の前記差に対応するものを選択することで、前述のキャリブレーション方法と同様に、スムーズにエリアカーソルを移動させて、次の目的の点を指定することができ、さらには、方位角の変動量と仰角の変動量のどちらが大きい傾向のユーザであっても、変換行列を選択するまでの計算量を少なくすることができる。 請求項８記載の本発明は、請求項２記載の端末をコンピュータにより構成するためのコンピュータプログラムをもって解決手段とする。
【００１８】
請求項９記載の本発明は、請求項３記載の表示装置をコンピュータにより構成するためのコンピュータプログラムをもって解決手段とする。
【００１９】
請求項１０記載の本発明は、請求項８または９記載のコンピュータプログラムが格納されたコンピュータ読み取り可能な記録媒体をもって解決手段とする。
【発明の効果】
【００２０】
本発明の表示システムによれば、端末は、端末が向いている方向を示すベクトルを検出するセンサ部と、エリアカーソル画像を端末の画面に表示させる表示部と、画面で指定された点を検出する操作部と、指定された点を表示装置に通知する通信部とを備え、表示装置は、端末との間の距離、端末に向かう方向を示すベクトルを検出するセンサ部と、距離とベクトルから、端末の座標を求め、座標から交差する点の座標を計算する計算部と、計算された座標の点にエリアカーソルを表示する表示部と、計算された点を含むエリアカーソル画像を端末に送信する通信部とを備えることで、端末により目的の点を近くに見ることができ、よって、目的の点を高速かつ正確に指定することができる。
【発明を実施するための最良の形態】
【００２１】
以下、本発明の実施の形態に係る表示システムを図面を参照して説明する。
【００２２】
図１は、本実施の形態に係る表示システム１のブロック図である。 図２は、表示システム１の外観図である。図３は、画像の一例である番組表を示す図である
表示システム１は、例えば、これを使用するユーザＵが指定したい地点を含む画像を表示する表示装置２と、画像内の位置を指定する端末３とを備える。画像は、図２に示すように、例えば地図であり、目的の都市のある点が指定される。画像は、図３に示すように、例えば、テレビジョン放送などの番組表であり、目的の番組情報のある点が指定される。なお、この場合、表示装置２は、図２に示すものとは異なる小型のものでもよい。
【００２３】
図１に示すように、表示装置２は、画像を表示する表示画面部２１と、番組の録画予約や画像の態様変更などのための処理部２２とを備える。表示画面部２１は、画像が表示される画面２１１と、そのための表示部２１２と、複数のセンサ部２１３と、端末３との通信のための通信部２１４と、座標や行列を計算する計算部２１５と、各種情報が記憶される情報記憶部２１６とを備える。
【００２４】
図２に示すように、端末３は、画面２１１の前でユーザＵに保持される。センサ部２１３は、画面２１１の前を避けて配置される。
【００２５】
画面２１１は、そのユーザＵ側の面が、Ｘ、ＹおよびＺ軸で規定される３次元座標系の原点でＺ軸に直交するＸ−Ｙ平面に含まれるように配置される。この３次元座標系を「システム座標系」という。これに対し、図４に示すように、ｘ、ｙおよびｚ軸で規定され、端末３の向きの基準となる３次元座標系を「端末座標系」という。
【００２６】
センサ部２１３は、そのシステム座標系でのＺ座標が０となるように、画面２１１の上側の近い位置に配置されていることとする。
【００２７】
図２に示すように、画面２１１の一部には、その部分を示すエリアカーソル２１１Ａが表示される。エリアカーソル２１１Ａは、例えば、それによって示される部分を囲む枠線と当該部分の中心を示す十字線とからなる。図３に示すように、エリアカーソル２１１Ａは、複数の番組情報を表示した部分を囲む枠線である。以下、画面２１１に表示された画像における当該部分をエリアカーソル画像という。
【００２８】
図５は、情報記憶部２１６を示す図である。
【００２９】
情報記憶部２１６には、端末座標系での端末３の向きを示すベクトルをシステム座標系での端末３の向きを示すベクトルに変換する変換行列Ｄが記憶される。変換行列Ｄは、３×３の行列であり、９個の数値を有する。当初の情報記憶部２１６には変換行列Ｄが記憶されておらず、変換行列Ｄは、後述するキャリブレーションの際に生成されて記憶される。
【００３０】
情報記憶部２１６には、エリアカーソル２１１Ａの中心を示すシステム座標系での座標Ｃａ（Ｘａ，Ｙａ，０）が記憶される（図２参照）。当初の座標Ｃａ（Ｘａ，Ｙａ，０）は、画面２１１の例えば中心を示すものである。座標Ｃａについては、新たなものが逐次生成され、情報記憶部２１６に記憶される。
【００３１】
情報記憶部２１６には、各センサ部２１３につき、センサ部２１３の位置を示すシステム座標系での座標Ｃｓ（Ｘｓ，Ｙｓ，０）と、センサ部２１３から連続的に通知される距離ｄおよびベクトルｅの中での最新のものとが記憶される。
【００３２】
距離ｄは、センサ部２１３と端末３との間の距離である。ベクトルｅは、センサ部２１３から端末３に向かう方向を示すベクトルである。
【００３３】
情報記憶部２１６には、端末３から連続的に通知されるベクトルｂの中での最新のものが記憶される。
【００３４】
ベクトルｂは、端末座標系で端末３が向いている方向を示すベクトルである（図４参照）。ベクトルｂは、所定の長さの線分が端末座標系の原点からベクトルｂの方向に向いている場合の当該線分の先端の点の座標（ｘｔ、ｙｔ、ｚｔ）で表現される。
【００３５】
情報記憶部２１６には、端末３から連続的に通知される方位角変動量Δθと仰角変動量ΔΨが全て記憶される。方位角変動量Δθは、図４に示すように、端末座標系の原点でｚ軸に直交するｘ−ｙ平面内での端末３の方向を示す方位角θが手ぶれなどによって変動する場合の変動量である。仰角変動量ΔΨは、ｘ−ｙ平面に垂直なｚ平面内での端末３の方向を示す仰角Ψが手ぶれなどにより変動する場合の変動量である。方位角θや仰角Ψが所定の角度に維持されるときの変動量を０とすると、実際には、図６に示すように、プラスまたはマイナスの変動量Δの観測され、その絶対値が変化するので、情報記憶部２１６には、このような変動量Δが連続的に通知され、それらが全て記憶されるのである。
【００３６】
図１に戻り、端末３は、エリアカーソル画像が表示される画面３１と、そのための表示部３２と、表示装置２との通信のための通信部３３と、１つのセンサ部３４と、目的の点を指定するための操作部３５と、モードを選択するためのモード選択部３６と、電波を反射する反射物３７とを備える。
【００３７】
操作部３５は、ユーザＵにより画面３１で行われたクリック、ドラッグ・アンド・ドロップなどの操作が行われたときに、その点の座標と操作の種類を検出するものである。操作部３５は、例えば、画面３１上に配置されたタッチパネルである。
【００３８】
モード選択部３６は、図７に示すように、例えば、端末３をもつユーザＵの親指の位置に設けられたタッチセンサであり、触れられているときには、図２に示す画面２１１でエリアカーソル２１１Ａが移動できる「エリアカーソル移動操作モード」とし、指が離れているときには、図５の画面３１にエリアカーソル画像が表示されたままとなってしかも画面３１を操作できる「エリアカーソル内操作モード」とするためのものである。
【００３９】
図８に示すように、モード選択部３６に触れると、エリアカーソル内操作モードがエリアカーソル移動操作モードになり、エリアカーソル移動操作モードは触れたまますると維持される。モード選択部３６から指を離すと、エリアカーソル移動操作モードがエリアカーソル内操作モードになり、エリアカーソル内操作モードは指を離したままにすると維持される。モード選択部３６は、こうして、触れるか否かによる直感的なモード切替を可能としている。
【００４０】
（表示システム１の動作）
端末３ではセンサ部３４が、連続的にベクトルｂつまり端末座標系で端末３が向いている方向を示すベクトルを検出し、これを通信部３３が表示画面部２１の通信部２１４に通知する。
【００４１】
詳しくは、センサ部３４は、例えば、方位磁石と姿勢センサ（ジャイロセンサなど）を備え、まず、端末３が向いている方向に延びる直線を端末３を含む水平面に投影してできた直線と端末３から例えば北に向かう直線との間にできる方位角、並びに、端末３が向いている方向に延びる直線を鉛直面に投影してできた直線と該鉛直面内で端末３から水平に延びる直線との間にできる仰角を求める。次に、方位角と仰角を、これらで示される方向を示す端末座標系でのベクトルｂ（ｘｂ、ｙｂ、ｚｂ）に変換する。
【００４２】
通信部２１４は、ベクトルｂをその都度、計算部２１５に転送する。計算部２１５は、最新のベクトルｂを情報記憶部２１６に記憶させておく。説明上、古いベクトルｂについては、記憶されてないものとする。
【００４３】
端末３ではセンサ部３４が、連続的に、方位角変動量Δθと仰角変動量ΔΨを検出し、通信部３３が表示画面部２１の通信部２１４に通知する。
【００４４】
詳しくは、センサ部３４は、上記と同様に、方位角θと仰角Ψそれぞれの変動量を求め、これらを端末座標系での方位角変動量Δθと仰角変動量ΔΨに変換する。そして、これらを通信部３３が通信部２１４に通知する。
【００４５】
通信部２１４は、方位角変動量Δθと仰角変動量ΔΨをその都度、計算部２１５に転送する。計算部２１５は、方位角変動量Δθと仰角変動量ΔΨを全て情報記憶部２１６に記憶させておく。
【００４６】
一方、センサ部２１３は、連続的に、このセンサ部２１３と端末３との間の距離ｄと、当該センサ部２１３から端末３に向かう方向を示すベクトルｅを検出して計算部２１５に通知する。
【００４７】
詳しくは、センサ部２１３は、端末３が存在可能な各方向に電波を放射し、その電波が反射物３７に反射して戻ってきたら、その電波の往復時間から距離ｄを検出する。
【００４８】
また、センサ部２１３は、例えば、方位磁石と姿勢センサ（ジャイロセンサなど）を備え、まず、センサ部２１３から端末３に向かう方向に延びる直線をセンサ部２１３を含む水平面に投影してできた直線とセンサ部２１３から例えば北に向かう直線との間にできる方位角、並びに、センサ部２１３から端末３に向かう方向に延びる直線を鉛直面に投影してできた直線と該鉛直面内でセンサ部２１３から水平に延びる直線との間にできる仰角を求める。次に、方位角と仰角を、これらで示される方向を示すシステム座標系でのベクトルｅ（Ｘｅ、Ｙｅ、Ｚｅ）に変換する。
【００４９】
センサ部２１３は、距離ｄとベクトルｅを計算部２１５に与える。図２に示すように、センサ部２１３と端末３の間の線分は、ｄ・ｅで表現される。
【００５０】
計算部２１５は、距離ｄとベクトルｅをその都度受け取り、最新の距離ｄとベクトルｅを情報記憶部２１６に記憶させておく。なお、説明上、古い距離ｄとベクトルｅについては、記憶されてないものとする。
【００５１】
また、端末３では、通信部３３が、モード選択部３６の状態を連続的に表示画面部２１の通信部２１４に通知する。
【００５２】
表示画面部２１の計算部２１５は、通信部２１４を介して通知された状態が、エリアカーソル移動操作モードに対応するものなら、情報記憶部２１６における変換行列Ｄの有無を判定し、変換行列Ｄが無ければキャリブレーションを行う。このキャリブレーションを、便宜的に、「第１のキャリブレーション」という。
【００５３】
図９は、第１のキャリブレーションの際のシーケンス図である。
【００５４】
まず、計算部２１５は、情報記憶部２１６から座標Ｃａを読み出し、座標Ｃａを表示部２１２に与える（Ｓ１）。表示部２１２は、画像が表示された画面２１１の座標Ｃａが示す位置にエリアカーソル２１１Ａを表示させる（Ｓ３）。
【００５５】
計算部２１５の指示で、通信部２１４は、端末３をエリアカーソル２１１Ａに向けるように促すメッセージを通信部３３に送信する（Ｓ１１）。
【００５６】
端末３では、表示部３２が通信部３３から受けたメッセージを画面３１に表示させる（Ｓ２１）。メッセージを見たユーザＵは、端末３をエリアカーソル２１１Ａに向け、向け終えたことを示す操作を例えば画面３１で行う（Ｓ２３）。
【００５７】
通信部３３は、その操作がなされたことを通信部２１４に通知する（Ｓ２５）。
【００５８】
計算部２１５は、変換行列Ｄを求める（Ｓ２７）。
【００５９】
詳しくは、まず、計算部２１５は、通信部２１４を介して、この通知を受けると、あるシステム座標系でのベクトルＢ（Ｘｔ、Ｙｔ、Ｚｔ）を求める。
【００６０】
図２に示すように、端末３とエリアカーソル２１１Ａの間の距離をｋとすると、その間の線分は、ｋ・Ｂで表現される。
【００６１】
詳しくは、計算部２１５は、記憶しておいた各センサ部２１３と端末３との間の距離ｄの中の最小の距離ｄ（以下、単に距離ｄという）と、これを通知してきたセンサ部２１３から通知され、記憶しておいたベクトルｅ（以下、単にベクトルｅという）を使用する（図９参照）。
【００６２】
計算部２１５は、情報記憶部２１６から座標Ｃａと座標Ｃｓを読み出し、これらと、記憶された距離ｄとベクトルｅとを用いて、ベクトルＢを求める。
【００６３】
計算部２１５は、式（１）により、ｃを求め、式（２）により、ベクトルＢを求める。
【数１】
こうして、ベクトルＢが求まるのは、以下の理由による。
【数２】
【００６４】
つまり、直線の式（３）が成立し、これが座標Ｃａ（Ｘａ，Ｙａ，０）を通過するので、式（４）が成立する。よって、式（１）、（２）により、ベクトルＢが求まるのである。
【００６５】
計算部２１５は、求めたベクトルＢと記憶されたベクトルｂの組を記憶する。
【００６６】
同様に、通信部２１４は、端末３の位置を変えてエリアカーソル２１１Ａに向けるように促すメッセージを通信部３３に送信する。これにより、端末３の位置が変えられ、端末３を向け終えたことを示す操作がなされたことが通知されるので、計算部２１５は、またベクトルＢを計算し、このベクトルＢとベクトルｂの組を記憶する。
【００６７】
この２回目の計算に際して変えられた端末３の位置によっては、最小の距離ｄを通知したセンサ部２１３が、１回目のものとは異なり、２回目では、このセンサ部２１３から通知された距離ｄとベクトルｅが使用される。
【００６８】
計算部２１５は、これと同様にして、ベクトルＢとベクトルｂをもう１組記憶する。この３回目でも、端末３の位置によっては、別のセンサ部２１３から通知された距離ｄとベクトルｅが使用される。
【００６９】
こうして、ベクトルＢとベクトルｂの組が３組記憶される。端末３の位置が異なるので、ベクトルＢ、ベクトルｂのそれぞれは、他の組のものに対して異なっている。
【００７０】
計算部２１５は、連立方程式（５）を解くことで、変換行列Ｄを求め、これを情報記憶部２１６に記憶させる（Ｓ２７）。なお、式（５）における添字１〜３は、３つづつ記憶したベクトルＢ、ベクトルｂの区別のために使用したものである。
【数３】
【００７１】
こうした変換行列Ｄが記憶されると、その後、上記の判定で、変換行列Ｄがあると判定される。
【００７２】
図１０は、それ以降のシーケンス図である。
【００７３】
計算部２１５は、端末３からこの端末３が向いている方向に延びる直線と画面２１１とが交差する点の座標を計算する（Ｓ３１）。計算されるのは新たな座標Ｃａの座標である。
【００７４】
詳しくは、まず、計算部２１５は、座標Ｃｓ（Ｘｓ，Ｙｓ，Ｚｓ）を読み出し、これと記憶された距離ｄとベクトルｅを基に、端末３のシステム座標系における座標Ｃｔを求める。また、計算部２１５は、変換行列Ｄを読み出し、これを記憶されたベクトルｂに乗じる。その乗算の結果を便宜的にベクトルＢという。計算部２１５は、さらに、座標Ｃｔの点からベクトルＢの方向に延びる直線と画面２１１とが交差する点、つまり、新たな座標Ｃａの座標を計算し、情報記憶部２１６に記憶させる。
【００７５】
次に、計算部２１５は、新たな座標Ｃａを表示部２１２に与える（Ｓ４１）。表示部２１２は、画面２１１の座標Ｃａが示す位置にエリアカーソル２１１Ａを表示させる（Ｓ４３）。新旧の座標が相違していれば、エリアカーソル２１１Ａが移動したように見える。
【００７６】
次に、表示部２１２は、通信部２１４を制御して、画面２１１に表示された画像の座標Ｃａを含む部分の画像つまりエリアカーソル画像を端末３の通信部３３に送信させる（Ｓ４５）。
【００７７】
端末３では、表示部３２が通信部３３から受けたエリアカーソル画像を画面３１に表示させる（Ｓ５１）。
【００７８】
ステップＳ３１，４１，４３，４５，５１は、周期的になされるので、ユーザＵは、例えば、エリアカーソル画像に目的の点が含まれていなければ、端末３の向きを変えればよい。
【００７９】
こうしたエリアカーソル画像の表示は、距離ｄとベクトルｅによって可能となるものである。仮にセンサ部２１３が１つでは、そのセンサ部２１３が距離ｄとベクトルｅを検出できない位置に端末３がある場合には、エリアカーソル画像の表示ができない。そこで、表示システム１では、複数のセンサ部２１３を位置を変えて設けることで、いずれかが距離ｄとベクトルｅを検出できる位置であれば、端末３がどのような位置にあっても、また、ユーザＵが移動しながらでも、エリアカーソル画像を表示することができる。
【００８０】
こうして、目的の点が表示されたら、ユーザＵは、モード選択部３６に例えば触れることで、その状態をエリアカーソル内操作モードに対応するものに変化させる（Ｓ６１）。 こうすると、上記のように、モード選択部３６の状態が表示画面部２１の通信部２１４に通知されるなかにあって、エリアカーソル内操作モードに対応する状態が通知される（Ｓ６３）。
【００８１】
表示画面部２１の表示部２１２は、通信部２１４を介して通知された状態が、エリアカーソル移動操作モードに対応するものなら、通信部２１４を制御して、エリアカーソル画像を端末３に送信させるのを中止する（Ｓ７１）。
【００８２】
これにより、端末３では、最新のエリアカーソル画像が画面３１に表示されたままとなる。これは、端末３をエリアカーソル２１１Ａに向けなくてよいことを示しており、ユーザＵは、図２に示すように、端末３の向きを例えば画面３１が見やすくなるように変え、操作部３５である例えばタッチパネル上の目的の点を操作（クリックなど）する（Ｓ８１）。操作部３５は、例えばエリアカーソル画像の中心を原点とした２次元の座標系において、目的の点の座標Ａａ’を求め、さらには、操作の種類を求め、通信部３３を制御し、座標Ａａ’と操作の種類を表示画面部２１の通信部２１４に通知させる（Ｓ８３）。
【００８３】
表示画面部２１では、通信部２１４を介して、座標Ａａ’を受けた計算部２１５が、座標Ａａ’を基に、操作された点のシステム座標系での点の座標Ｃａ’を求め、情報記憶部２１６に記憶させる（Ｓ９１）。ここで、計算部２１５は、情報記憶部２１６から座標Ｃａを読み出し、このＸａ、Ｙａを座標Ａａ’に応じて増減させ、これを座標Ｃａ’とする。
【００８４】
また、計算部２１５は、例えば、通信部２１４を介して通知された操作の種類を処理部２２に通知する。
【００８５】
また、計算部２１５は、例えば、座標Ｃａ’も処理部２２に通知する。画像が番組表で操作の種類が録画に対応するものである場合、処理部２２は、例えば、座標Ｃａ’に表示された番組情報に対応する番組の録画予約等を行う。
【００８６】
また、計算部２１５は、画像が地図などの場合、操作された点の座標Ｃａ’を表示部２１２に与える（Ｓ９３）。表示部２１２は、画面２１１の座標Ｃａ’が示す位置にエリアカーソル２１１Ａを表示させる（Ｓ９５）。これにより、例えば、操作された目的の点にエリアカーソル２１１Ａの中心が移動する。
【００８７】
図１１は、座標Ｃａ’を求めた後のシーケンス図である。
【００８８】
次に、表示部２１２は、エリアカーソル画像を端末３に送信させるのを再開する。これにより、目的の点を中心としたエリアカーソル画像が端末３に送信され（Ｓ１０１）、表示される。
【００８９】
なお、処理部２２は、通知された操作の種類に応じた指示を表示部２１２に行い、これにより、例えば、画像表示の態様を変化させる。
【００９０】
こうして、目的の点が例えば中心に表示されたら、ユーザＵは、再び端末３をエリアカーソル２１１Ａに向ける。また、ユーザＵは、その状態でモード選択部３６に例えば触れることで、その状態をエリアカーソル移動操作モードに対応するものに変化させる（Ｓ１１１）。
【００９１】
こうすると、上記のように、モード選択部３６の状態が通信部２１４に通知されるなかにあって、エリアカーソル移動操作モードに対応する状態が通知される（Ｓ１１３）。
【００９２】
計算部２１５は、通知された状態がエリアカーソル内操作モードからエリアカーソル移動操作モードに変わった場合に限っては、第２のキャリブレーションを行う（Ｓ１１５）。
【００９３】
まず、第２のキャリブレーションでは、計算部２１５は、変換行列Ｄを読み出し、これを記憶されたベクトルｂに乗じる。その乗算の結果を便宜的にベクトルＢという。
【００９４】
また、計算部２１５は、記憶した方位角変動量Δθと仰角変動量ΔΨとを比較して、どちらが大きい傾向になっているかを判定する。
【００９５】
計算部２１５は、方位角変動量Δθの方が大きいなら、同一の仰角変動量ΔΨと、相違する方位角変動量Δθの１つとでなる組をつくる。計算部２１５は、方位角変動量Δθを１回づつ残らず使用し、つまり、その数の組を作る。例えば、方位角変動量Δθはいずれも、例えば−２５度≦Δθ≦＋２５度の範囲から選択される。
【００９６】
次に計算部２１５は、各組につき、その仰角変動量ΔΨと方位角変動量Δθで変換行列Ｄを変換行列Ｄ’に変換する。
【００９７】
ここでは、式（６）に示すように、ある端末座標系でのベクトルｂを変換前の変換行列Ｄで変換し（これを変換後ベクトルという）、ベクトルｂの方向を示す仰角と方位角を仰角変動量ΔΨと方位角変動量Δθの量だけ変化させたあとの方向を示すベクトルｂ’を変換後の変換行列Ｄ’で変換したときに、変換後ベクトルが得られるようにする。
【数４】
【００９８】
次に、計算部２１５は、各変換行列Ｄ’につき、それを記憶されたベクトルｂに乗じる。これにより、乗算の結果であるベクトルＢ’がそれぞれ求まる。
【００９９】
次に、計算部２１５は、各ベクトルＢ’につき、ベクトルＢとの差βを求める。これにより、複数の差βが求まる。
【０１００】
次に、計算部２１５は、前記の相違する方位角変動量Δθの中から、最小の差βに対応する方位角変動量Δθを選択する。
【０１０１】
次に、計算部２１５は、選択した方位角変動量Δθと、相違する仰角変動量ΔΨの１つとでなる組をつくる。計算部２１５は、仰角変動量ΔΨを１回づつ残らず使用し、つまり、その数の組を作る。例えば、仰角変動量ΔΨはいずれも、例えば−２５度≦ΔΨ≦＋２５度の範囲から選択される。
【０１０２】
次に計算部２１５は、各組につき、上記の仰角変動量ΔΨを同一としたときと同様に、組の仰角変動量ΔΨと方位角変動量Δθで変換行列Ｄを変換行列Ｄ’に変換する。
【０１０３】
次に、計算部２１５は、各変換行列Ｄ’につき、それを記憶されたベクトルｂに乗じる。これにより、乗算の結果であるベクトルＢ’がそれぞれ求まる。
【０１０４】
次に、計算部２１５は、各ベクトルＢ’につき、ベクトルＢとの差βを求める。これにより、複数の差βが求まる。
【０１０５】
次に、計算部２１５は、前記の方位角変動量Δθを同一としたときの変換行列Ｄ’の中から、最小の差βに対応する変換行列Ｄ’を選択する。
【０１０６】
第２のキャリブレーションの最後に、計算部２１５は、選択した変換行列Ｄ’を新たな変換行列Ｄとして情報記憶部２１６に記憶させる。
【０１０７】
なお、計算部２１５は、方位角変動量Δθの方が大きいなら、先に仰角変動量ΔΨを同一としたが、仰角変動量ΔΨの方が大きいなら、先に方位角変動量Δθを同一とする。
【０１０８】
なお、第２のキャリブレーションでは、以下のようにしてもよい。
【０１０９】
つまり、まず、計算部２１５は、１つの方位角変動量Δθと１つの仰角変動量ΔΨとでなる組を複数つくる。計算部２１５は、組同士で方位角変動量Δθと仰角変動量ΔΨの少なくとも一方を相違させる。例えば、方位角変動量Δθはいずれも、例えば−２５度≦Δθ≦＋２５度の範囲から選択される。仰角変動量ΔΨも同様に、例えば−２５度≦ΔΨ≦＋２５度の範囲から選択される。
【０１１０】
次に計算部２１５は、各組につき、上記の仰角変動量ΔΨや方位角変動量Δθを同一としたときと同様に、組の仰角変動量ΔΨと方位角変動量Δθで変換行列Ｄを変換行列Ｄ’に変換する。
【０１１１】
次に、計算部２１５は、各変換行列Ｄ’につき、それを記憶されたベクトルｂに乗じる。これにより、乗算の結果であるベクトルＢ’がそれぞれ求まる。
【０１１２】
次に、計算部２１５は、各ベクトルＢ’につき、ベクトルＢとの差βを求める。これにより、複数の差βが求まる。
【０１１３】
次に、計算部２１５は、変換行列Ｄ’の中から、最小の差βに対応する変換行列Ｄ’を選択する。
【０１１４】
第２のキャリブレーションの最後に、計算部２１５は、選択した変換行列Ｄ’を新たな変換行列Ｄとして情報記憶部２１６に記憶させる。
【０１１５】
仮に、変換前の変換行列Ｄを残しておくと、エリアカーソル内操作モードに移行する直前に通知されたベクトルｂと、エリアカーソル移動操作モードに移行した直後に通知されたベクトルｂとが異なっていた場合、エリアカーソル２１１Ａが移動したように見えてしまうのだが、変換後の変換行列Ｄ’を記憶させることで、そのような場合にあっても、エリアカーソル２１１Ａが移動したように見えるのを防止することができる。
【０１１６】
また、第２のキャリブレーションでは、第１のキャリブレーションのように、端末３を３つの位置からエリアカーソル２１１Ａに向ける必要がない。よって、第２のキャリブレーションは、例えば、エリアカーソル２１１Ａを次なる目的の点に移動させるときの妨げにならない。
【０１１７】
また、第２のキャリブレーションの変形例では、先に仰角変動量ΔΨなどを同一とした場合との比較で、方位角変動量Δθと仰角変動量ΔΨとでなる組の数およびそれに伴う計算量が多くなるが、先に仰角変動量ΔΨなどを同一とすることで、組の数およびそれに伴う計算量を少なくすることができる。
【０１１８】
以上説明したように、本実施の形態に係る表示システム１によれば、例えば、家具や自動車のデザインにおいて、小さな目的の点を指定でき、これにより、局所的なデザインが可能となる。その結果、全体的なデザインが可能であることと相俟って、デザインを迅速に行うことができる。
【０１１９】
また、表示システム１によれば、番組表に表示された小さい目的の番組情報を指定して、録画予約等を行うことができる。
【０１２０】
詳しくは、端末３は、端末３が向いている方向を示すベクトルを検出するセンサ部３４と、エリアカーソル画像を端末３の画面３１に表示させる表示部３２と、画面３１で指定された点を検出する操作部３５と、指定された点を表示装置２に通知する通信部３３とを備え、表示装置２は、端末３との間の距離ｄ、端末３に向かう方向を示すベクトルｅを検出するセンサ部２１３と、距離ｄとベクトルｅから、端末３の座標Ｃｔを求め、座標Ｃｔから座標ＣａやＣａ’を計算する計算部２１５と、計算された座標の点にエリアカーソル２１１Ａを表示する表示部２１２と、計算された点を含むエリアカーソル画像を端末３に送信する通信部２１４とを備えることで、端末３により目的の点を近くに見ることができ、よって、目的の点を高速かつ正確に指定することができる。
【０１２１】
また、第１のキャリブレーションによれば、端末３の通信部３３は、端末３が向いている方向を示すベクトルｂを３つの位置で表示装置２に通知し、表示装置２の計算部２１５は、各通知につき、距離ｄおよびベクトルｅを用いて、端末３が向いている方向を示すベクトルＢを求め、各通知につき、通知されたベクトルｂに変換行列Ｄを乗じた結果が求めたベクトルＢになることを示す式を生成し、生成された３つの式からなる連立方程式を解くことで変換行列Ｄを求めることで、その変換行列により、端末が向いている方向を示すベクトルを、センサ部から端末に向かう方向を示すベクトルで使用される座標系のベクトルに変換することができる。
【０１２２】
また、第２のキャリブレーションによれば、表示装置２の計算部２１５は、変換行列Ｄを変換するときに、通知されたベクトルｂを変換行列Ｄで変換し、通知されたベクトルｂの方向を示す方位角と仰角の少なくとも一方を変化させた後の方向を示すベクトルｂ’を前記変換後の変換行列Ｄ’で変換したときに前記変換後のベクトルＢが得られるようにすることで、その変換後の変換行列Ｄ’により、端末３が向いている方向を示すベクトルｂを、センサ部２１３から端末３に向かう方向を示すベクトルｅで使用されるシステム座標系のベクトルＢに変換することができ、また、端末３を３つの位置に位置させる必要がなくなる。よって、目的の点の指定後に端末３がエリアカーソルに向けられたときにエリアカーソルの位置がずれることなく、その結果、スムーズにエリアカーソルを移動させて、次の目的の点を指定することができる。
【０１２３】
また、第２のキャリブレーションによれば、好ましくは、端末３の通信部３３は、端末３が向いている方向を示す方位角の変動量である方位角変動量Δθと仰角の変動量である仰角変動量ΔΨを表示装置２に通知し、表示装置２の計算部２１５は、前記変換後の変換行列を複数生成し、このとき、前記通知された方位角の変動量と仰角の変動量とで変動量が小さい傾向にある方を同一とした方位角の変動量と仰角の変動量の組を複数用いて方位角と仰角の一方を変化させ、前記変換後の変換行列のそれぞれを前記通知されたベクトルに乗じた結果のベクトルを求め、前記求めたベクトルのそれぞれと前記通知されたベクトルの前記所定の変換行列による変換の結果であるベクトルとの差を求め、前記小さい傾向にある方でない大きい傾向にある方に対応するものであって前記組で使用されたものの中から、最小の前記差に対応するものを選択し、再び前記変換後の変換行列を複数生成し、このとき、前記選択した方を同一とした方位角の変動量と仰角の変動量の組を複数用いて方位角と仰角の他方を変化させ、前記変換後の変換行列のそれぞれを前記通知されたベクトルに乗じた結果のベクトルを求め、前記求めたベクトルのそれぞれと前記通知されたベクトルの前記所定の変換行列による変換の結果であるベクトルとの差を求め、前記変換後の変換行列から最小の前記差に対応するものを選択することで、前述のキャリブレーション方法と同様に、スムーズにエリアカーソルを移動させて、次の目的の点を指定することができ、さらには、方位角の変動量と仰角の変動量のどちらが大きい傾向のユーザであっても、変換行列を選択するまでの計算量を少なくすることができる。
【０１２４】
なお、表示装置２や端末３をコンピュータにより構成するためのコンピュータプログラムは、半導体メモリ、磁気ディスク、光ディスク、光磁気ディスク、磁気テープなどのコンピュータ読み取り可能な記録媒体に格納し、陳列などして流通させたり、当該コンピュータプログラムをインターネットなどの通信網を介して伝送させてもよい。
【図面の簡単な説明】
【０１２５】
【図１】本実施の形態に係る表示システム１のブロック図である。
【図２】表示システム１の外観図である。。
【図３】画像の一例である番組表を示す図である
【図４】端末座標系を示す図である。
【図５】情報記憶部２１６の内容である。
【図６】方位角変動量Δθや仰角変動量ΔΨである変動量Δを示す図である。
【図７】端末３の外観図である。
【図８】モード切替の様子を示す模式図である。
【図９】第１のキャリブレーションの際のシーケンス図である。
【図１０】変換行列Ｄがあると判定された後のシーケンス図である。
【図１１】座標Ｃａ’を求めた後のシーケンス図である。
【符号の説明】
【０１２６】
１…表示システム
２…表示装置
３…端末
２１…表示画面部
２２…処理部
３１…画面
３２…表示部
３３…通信部
３４…センサ部
３５…操作部
３６…モード選択部
３７…反射物
２１１…画面
２１１Ａ…エリアカーソル
２１２…表示部
２１３…センサ部
２１４…通信部
２１５…計算部
２１６…情報記憶部
ΔΨ…仰角変動量
Δθ…方位角変動量
Ａａ…エリアカーソル画像で指定された座標
Ｂ…端末が向いている方向を示すシステム座標系でのベクトル
Ｃａ…エリアカーソルのシステム座標系での座標
Ｃｓ…表示装置のセンサ部のシステム座標系での座標
Ｃｔ…端末のシステム座標系での座標
Ｄ…端末座標系のベクトルをシステム座標系のベクトルに変換する変換行列
ｂ…端末が向いている方向を示す端末座標系でのベクトル
ｄ…表示装置のセンサ部と端末との間の距離
ｅ…表示装置のセンサ部から端末に向かう方向を示すシステム座標系でのベクトル
【特許請求の範囲】
【請求項１】
表示装置と端末を備え、前記端末は、前記端末が向いている方向を示すベクトルを前記表示装置に通知し、前記表示装置は、前記端末の座標を求め、前記座標から前記ベクトルの方向に延びる直線と前記表示装置の画面とが交差する点にエリアカーソルを表示し、前記点を含むエリアカーソル画像を前記端末に送信し、前記端末は、前記エリアカーソル画像を前記端末の画面に表示し、前記端末の画面で指定された点を表示装置に通知する表示システムであって、
前記端末は、
前記端末が向いている方向を示すベクトルを検出するセンサ部と、
前記エリアカーソル画像を前記端末の画面に表示させる表示部と、
前記画面で指定された点を検出する操作部と、
前記指定された点を表示装置に通知する通信部と
を備え、
前記表示装置は、
前記端末との間の距離、前記端末に向かう方向を示すベクトルを検出するセンサ部と、
前記距離とベクトルから、前記端末の座標を求め、前記座標から前記交差する点の座標を計算する計算部と、
前記計算された座標の点に前記エリアカーソルを表示する表示部と、
前記計算された点を含むエリアカーソル画像を前記端末に送信する通信部と
を備えることを特徴とする表示システム。
【請求項２】
表示装置と端末を備え、前記端末は、前記端末が向いている方向を示すベクトルを前記表示装置に通知し、前記表示装置は、前記端末の座標を求め、前記座標から前記ベクトルの方向に延びる直線と前記表示装置の画面とが交差する点にエリアカーソルを表示し、前記点を含むエリアカーソル画像を前記端末に送信し、前記端末は、前記エリアカーソル画像を前記端末の画面に表示し、前記端末の画面で指定された点を表示装置に通知する表示システムにおける前記端末であって、
前記端末が向いている方向を示すベクトルを検出するセンサ部と、
前記エリアカーソル画像を前記端末の画面に表示させる表示部と、
前記画面で指定された点を検出する操作部と、
前記指定された点を表示装置に通知する通信部と
を備えることを特徴とする端末。
【請求項３】
表示装置と端末を備え、前記端末は、前記端末が向いている方向を示すベクトルを前記表示装置に通知し、前記表示装置は、前記端末の座標を求め、前記座標から前記ベクトルの方向に延びる直線と前記表示装置の画面とが交差する点にエリアカーソルを表示し、前記点を含むエリアカーソル画像を前記端末に送信し、前記端末は、前記エリアカーソル画像を前記端末の画面に表示し、前記端末の画面で指定された点を表示装置に通知する表示システムにおける前記表示装置であって、
前記端末との間の距離、前記端末に向かう方向を示すベクトルを検出するセンサ部と、
前記距離とベクトルから、前記端末の座標を求め、前記座標から前記交差する点の座標を計算する計算部と、
前記計算された座標の点に前記エリアカーソルを表示する表示部と、
前記計算された点を含むエリアカーソル画像を前記端末に送信する通信部と
を備えることを特徴とする表示装置。
【請求項４】
表示装置と端末を備え、前記端末は、前記端末が向いている方向を示すベクトルを前記表示装置に通知し、前記表示装置は、前記端末の座標を求め、前記座標から前記ベクトルの方向に延びる直線と前記表示装置の画面とが交差する点にエリアカーソルを表示し、前記点を含むエリアカーソル画像を前記端末に送信し、前記端末は、前記エリアカーソル画像を前記端末の画面に表示し、前記端末の画面で指定された点を表示装置に通知する表示システムにおけるキャリブレーション方法であって、
前記端末の通信部は、前記端末が向いている方向を示すベクトルを３つの位置で前記表示装置に通知し、
前記表示装置の計算部は、各通知につき、前記表示装置のセンサ部と前記端末との間の距離、前記センサ部から端末に向かう方向を示すベクトルを用いて、前記端末が向いている方向を示すベクトルを求め、
前記表示装置の計算部は、各通知につき、通知されたベクトルに変換行列を乗じた結果が前記求めたベクトルになることを示す式を生成し、
前記表示装置の計算部は、前記生成された３つの式からなる連立方程式を解くことで前記変換行列を求める
ことを特徴とするキャリブレーション方法。
【請求項５】
表示装置と端末を備え、前記端末は、前記端末が向いている方向を示すベクトルを前記表示装置に通知し、前記表示装置は、前記端末の座標を求め、前記座標から前記ベクトルの方向に延びる直線と前記表示装置の画面とが交差する点にエリアカーソルを表示し、前記点を含むエリアカーソル画像を前記端末に送信し、前記端末は、前記エリアカーソル画像を前記端末の画面に表示し、前記端末の画面で指定された点を表示装置に通知する表示システムにおけるキャリブレーション方法であって、
前記表示装置の計算部は、所定の変換行列を変換するときに、前記通知されたベクトルを前記所定の変換行列で変換し、前記通知されたベクトルの方向を示す方位角と仰角の少なくとも一方を変化させた後の方向を示すベクトルを前記変換後の変換行列で変換したときに前記変換後のベクトルが得られるようにする
ことを特徴とするキャリブレーション方法。
【請求項６】
請求項５記載のキャリブレーション方法において、
前記表示装置の計算部は、前記変換後の変換行列を複数生成し、
前記表示装置の計算部は、前記変換後の変換行列のそれぞれを前記通知されたベクトルに乗じた結果のベクトルを求め、
前記表示装置の計算部は、前記求めたベクトルのそれぞれと前記通知されたベクトルの前記所定の変換行列による変換の結果であるベクトルとの差を求め、
前記表示装置の計算部は、前記変換後の変換行列から最小の前記差に対応するものを選択する
ことを特徴とするキャリブレーション方法。
【請求項７】
請求項５記載のキャリブレーション方法において、
前記端末の通信部は、前記端末が向いている方向を示す方位角の変動量と仰角の変動量を前記表示装置に通知し、
前記表示装置の計算部は、前記変換後の変換行列を複数生成し、このとき、前記通知された方位角の変動量と仰角の変動量とで変動量が小さい傾向にある方を同一とした方位角の変動量と仰角の変動量の組を複数用いて方位角と仰角の一方を変化させ、
前記表示装置の計算部は、前記変換後の変換行列のそれぞれを前記通知されたベクトルに乗じた結果のベクトルを求め、
前記表示装置の計算部は、前記求めたベクトルのそれぞれと前記通知されたベクトルの前記所定の変換行列による変換の結果であるベクトルとの差を求め、
前記表示装置の計算部は、前記小さい傾向にある方でない大きい傾向にある方に対応するものであって前記組で使用されたものの中から、最小の前記差に対応するものを選択し、
前記表示装置の計算部は、再び前記変換後の変換行列を複数生成し、このとき、前記選択した方を同一とした方位角の変動量と仰角の変動量の組を複数用いて方位角と仰角の他方を変化させ、
前記表示装置の計算部は、前記変換後の変換行列のそれぞれを前記通知されたベクトルに乗じた結果のベクトルを求め、
前記表示装置の計算部は、前記求めたベクトルのそれぞれと前記通知されたベクトルの前記所定の変換行列による変換の結果であるベクトルとの差を求め、
前記表示装置の計算部は、前記変換後の変換行列から最小の前記差に対応するものを選択する
ことを特徴とするキャリブレーション方法。
【請求項８】
請求項２記載の端末をコンピュータにより構成するためのコンピュータプログラム。
【請求項９】
請求項３記載の表示装置をコンピュータにより構成するためのコンピュータプログラム。
【請求項１０】
請求項８または９記載のコンピュータプログラムが格納されたコンピュータ読み取り可能な記録媒体。
【請求項１】
表示装置と端末を備え、前記端末は、前記端末が向いている方向を示すベクトルを前記表示装置に通知し、前記表示装置は、前記端末の座標を求め、前記座標から前記ベクトルの方向に延びる直線と前記表示装置の画面とが交差する点にエリアカーソルを表示し、前記点を含むエリアカーソル画像を前記端末に送信し、前記端末は、前記エリアカーソル画像を前記端末の画面に表示し、前記端末の画面で指定された点を表示装置に通知する表示システムであって、
前記端末は、
前記端末が向いている方向を示すベクトルを検出するセンサ部と、
前記エリアカーソル画像を前記端末の画面に表示させる表示部と、
前記画面で指定された点を検出する操作部と、
前記指定された点を表示装置に通知する通信部と
を備え、
前記表示装置は、
前記端末との間の距離、前記端末に向かう方向を示すベクトルを検出するセンサ部と、
前記距離とベクトルから、前記端末の座標を求め、前記座標から前記交差する点の座標を計算する計算部と、
前記計算された座標の点に前記エリアカーソルを表示する表示部と、
前記計算された点を含むエリアカーソル画像を前記端末に送信する通信部と
を備えることを特徴とする表示システム。
【請求項２】
表示装置と端末を備え、前記端末は、前記端末が向いている方向を示すベクトルを前記表示装置に通知し、前記表示装置は、前記端末の座標を求め、前記座標から前記ベクトルの方向に延びる直線と前記表示装置の画面とが交差する点にエリアカーソルを表示し、前記点を含むエリアカーソル画像を前記端末に送信し、前記端末は、前記エリアカーソル画像を前記端末の画面に表示し、前記端末の画面で指定された点を表示装置に通知する表示システムにおける前記端末であって、
前記端末が向いている方向を示すベクトルを検出するセンサ部と、
前記エリアカーソル画像を前記端末の画面に表示させる表示部と、
前記画面で指定された点を検出する操作部と、
前記指定された点を表示装置に通知する通信部と
を備えることを特徴とする端末。
【請求項３】
表示装置と端末を備え、前記端末は、前記端末が向いている方向を示すベクトルを前記表示装置に通知し、前記表示装置は、前記端末の座標を求め、前記座標から前記ベクトルの方向に延びる直線と前記表示装置の画面とが交差する点にエリアカーソルを表示し、前記点を含むエリアカーソル画像を前記端末に送信し、前記端末は、前記エリアカーソル画像を前記端末の画面に表示し、前記端末の画面で指定された点を表示装置に通知する表示システムにおける前記表示装置であって、
前記端末との間の距離、前記端末に向かう方向を示すベクトルを検出するセンサ部と、
前記距離とベクトルから、前記端末の座標を求め、前記座標から前記交差する点の座標を計算する計算部と、
前記計算された座標の点に前記エリアカーソルを表示する表示部と、
前記計算された点を含むエリアカーソル画像を前記端末に送信する通信部と
を備えることを特徴とする表示装置。
【請求項４】
表示装置と端末を備え、前記端末は、前記端末が向いている方向を示すベクトルを前記表示装置に通知し、前記表示装置は、前記端末の座標を求め、前記座標から前記ベクトルの方向に延びる直線と前記表示装置の画面とが交差する点にエリアカーソルを表示し、前記点を含むエリアカーソル画像を前記端末に送信し、前記端末は、前記エリアカーソル画像を前記端末の画面に表示し、前記端末の画面で指定された点を表示装置に通知する表示システムにおけるキャリブレーション方法であって、
前記端末の通信部は、前記端末が向いている方向を示すベクトルを３つの位置で前記表示装置に通知し、
前記表示装置の計算部は、各通知につき、前記表示装置のセンサ部と前記端末との間の距離、前記センサ部から端末に向かう方向を示すベクトルを用いて、前記端末が向いている方向を示すベクトルを求め、
前記表示装置の計算部は、各通知につき、通知されたベクトルに変換行列を乗じた結果が前記求めたベクトルになることを示す式を生成し、
前記表示装置の計算部は、前記生成された３つの式からなる連立方程式を解くことで前記変換行列を求める
ことを特徴とするキャリブレーション方法。
【請求項５】
表示装置と端末を備え、前記端末は、前記端末が向いている方向を示すベクトルを前記表示装置に通知し、前記表示装置は、前記端末の座標を求め、前記座標から前記ベクトルの方向に延びる直線と前記表示装置の画面とが交差する点にエリアカーソルを表示し、前記点を含むエリアカーソル画像を前記端末に送信し、前記端末は、前記エリアカーソル画像を前記端末の画面に表示し、前記端末の画面で指定された点を表示装置に通知する表示システムにおけるキャリブレーション方法であって、
前記表示装置の計算部は、所定の変換行列を変換するときに、前記通知されたベクトルを前記所定の変換行列で変換し、前記通知されたベクトルの方向を示す方位角と仰角の少なくとも一方を変化させた後の方向を示すベクトルを前記変換後の変換行列で変換したときに前記変換後のベクトルが得られるようにする
ことを特徴とするキャリブレーション方法。
【請求項６】
請求項５記載のキャリブレーション方法において、
前記表示装置の計算部は、前記変換後の変換行列を複数生成し、
前記表示装置の計算部は、前記変換後の変換行列のそれぞれを前記通知されたベクトルに乗じた結果のベクトルを求め、
前記表示装置の計算部は、前記求めたベクトルのそれぞれと前記通知されたベクトルの前記所定の変換行列による変換の結果であるベクトルとの差を求め、
前記表示装置の計算部は、前記変換後の変換行列から最小の前記差に対応するものを選択する
ことを特徴とするキャリブレーション方法。
【請求項７】
請求項５記載のキャリブレーション方法において、
前記端末の通信部は、前記端末が向いている方向を示す方位角の変動量と仰角の変動量を前記表示装置に通知し、
前記表示装置の計算部は、前記変換後の変換行列を複数生成し、このとき、前記通知された方位角の変動量と仰角の変動量とで変動量が小さい傾向にある方を同一とした方位角の変動量と仰角の変動量の組を複数用いて方位角と仰角の一方を変化させ、
前記表示装置の計算部は、前記変換後の変換行列のそれぞれを前記通知されたベクトルに乗じた結果のベクトルを求め、
前記表示装置の計算部は、前記求めたベクトルのそれぞれと前記通知されたベクトルの前記所定の変換行列による変換の結果であるベクトルとの差を求め、
前記表示装置の計算部は、前記小さい傾向にある方でない大きい傾向にある方に対応するものであって前記組で使用されたものの中から、最小の前記差に対応するものを選択し、
前記表示装置の計算部は、再び前記変換後の変換行列を複数生成し、このとき、前記選択した方を同一とした方位角の変動量と仰角の変動量の組を複数用いて方位角と仰角の他方を変化させ、
前記表示装置の計算部は、前記変換後の変換行列のそれぞれを前記通知されたベクトルに乗じた結果のベクトルを求め、
前記表示装置の計算部は、前記求めたベクトルのそれぞれと前記通知されたベクトルの前記所定の変換行列による変換の結果であるベクトルとの差を求め、
前記表示装置の計算部は、前記変換後の変換行列から最小の前記差に対応するものを選択する
ことを特徴とするキャリブレーション方法。
【請求項８】
請求項２記載の端末をコンピュータにより構成するためのコンピュータプログラム。
【請求項９】
請求項３記載の表示装置をコンピュータにより構成するためのコンピュータプログラム。
【請求項１０】
請求項８または９記載のコンピュータプログラムが格納されたコンピュータ読み取り可能な記録媒体。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【公開番号】特開２００９−１４０２１５（Ｐ２００９−１４０２１５Ａ）
【公開日】平成２１年６月２５日（２００９．６．２５）
【国際特許分類】
【出願番号】特願２００７−３１５６７０（Ｐ２００７−３１５６７０）
【出願日】平成１９年１２月６日（２００７．１２．６）
【出願人】（０００００４２２６）日本電信電話株式会社 (13,992)
【Ｆターム（参考）】
【公開日】平成２１年６月２５日（２００９．６．２５）
【国際特許分類】
【出願日】平成１９年１２月６日（２００７．１２．６）
【出願人】（０００００４２２６）日本電信電話株式会社 (13,992)
【Ｆターム（参考）】
[ Back to top ]