指示位置検出装置および指示位置検出方法
【課題】
発光光源がフレームから外れて検出不能になった後やコントローラーが天地逆の姿勢になった場合でも、映像表示面の位置を特定することができる演算処理負担も少ない指示位置検出装置を提供すること。
【解決手段】
撮影した画像を連続的に出力する撮像手段を設けた位置指示手段と、演算手段を有するとともにプログラムの実行に基づいて映像を出力する制御手段と、前記制御手段の出力によって表示された映像の隅部に互いを結ぶ線分が直角三角形を成すように配置した３個の光源を有し、前記撮像手段によって撮影される画像の中心位置座標と、当該撮影画像中の３個の光源のうち距離が最長となる一組の光源の中間位置である第１の位置座標若しくは当該第１の位置座標を補正した補正座標に基づいて、前記制御手段の出力によって表示された映像中における前記位置指示手段によって指示された指示座標を取得するようになっていること。
発光光源がフレームから外れて検出不能になった後やコントローラーが天地逆の姿勢になった場合でも、映像表示面の位置を特定することができる演算処理負担も少ない指示位置検出装置を提供すること。
【解決手段】
撮影した画像を連続的に出力する撮像手段を設けた位置指示手段と、演算手段を有するとともにプログラムの実行に基づいて映像を出力する制御手段と、前記制御手段の出力によって表示された映像の隅部に互いを結ぶ線分が直角三角形を成すように配置した３個の光源を有し、前記撮像手段によって撮影される画像の中心位置座標と、当該撮影画像中の３個の光源のうち距離が最長となる一組の光源の中間位置である第１の位置座標若しくは当該第１の位置座標を補正した補正座標に基づいて、前記制御手段の出力によって表示された映像中における前記位置指示手段によって指示された指示座標を取得するようになっていること。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画面、スクリーンといった映像表示面上の位置を指示する指示位置検出装置等に関するものである。
【背景技術】
【０００２】
GUIを有するパソコンでは、画面上に表示されているアイコン、オブジェクトをマウス等のポインティングデバイスを使用して指示あるいは移動させることが行われている。また、ガンシューティングゲーム等のビデオゲーム機では、銃型のコントローラーを使用して画面（映像表示面）上に表示されるターゲットとなる映像物に照準を合わせ、トリガースイッチを押すことで着弾位置を判定し命中の成否判定を行うことが行われている。上記のようなシステムを構築する場合、使用者によって操作されるポインティングデバイスが画像上のどの位置を指し示しているのかの検出が必要になる。
この場合、ポインティングデバイスとして一般的なマウスであれば、マウス自体の移動量や移動方向を、机上面に対する相対的な物理量として検出することができるので、疑似的に映像上の位置を特定することが可能である。しかし、銃口を映像面に向けてその照準位置を検出するような場合には、マウスに相当するコントローラー自体が空中に浮いた状態で使用されるため、銃口の向きやコントローラーの姿勢を、マウスと同様に物理的に検出するのは困難である。このため、銃型のコントローラーのようなポインティングデバイスでは、内蔵した撮像手段によってターゲットが表示される映像を撮影し、その撮影した映像情報を用いてコントローラーの指示位置や姿勢を検出することが行われている。
【０００３】
上記のような、映像情報を用いてコントローラーの指示位置や姿勢を検出する技術として、特許文献１乃至特許文献３記載の技術が知られている。
特許文献１には、ビデオ画面を囲むように４箇所に発光体を配置し、射撃用の銃の銃身内にCCDカメラを設けて上記４個の発光体を含む画像を撮影し、４個の発光体の画像位置情報に基づいて映像表示面に対するコントローラーの相対位置、回転角度および傾きを算出するコントローラー（銃）の相対位置検出方法が記載されている。
特許文献２には、ポインティングデバイスによる映像表示面上における指示位置を特定するものであって、撮像手段で撮影した撮像画像に含まれる光点の位置から複数の識別体の位置を検出し、光点の中から点滅光源および疑似振動光源の少なくとも一方をノイズ光源として特定することで、前記撮像画像に含まれる光点の中から前記複数の識別体の光源を特定するものが記載されている。
特許文献３には、 少ない演算負荷でポインティングデバイスの画面に対するポイント位置や回転や傾き等が検出可能な配置情報検出システム、ゲーム装置等であって、所定面の外周付近に設置された微少時間差で１つずつ発光させるような複数の発光体を有し、発光体の発光する所定の波長の光の受光面における受光位置を特定するための検出値を発光体毎に検出し、検出値に基づいてポインティングデバイスと画面（映像表示面）との相対配置情報を演算するものが記載されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特許第３４２２３８３号公報
【特許文献２】特開２００７−３３０５３４号公報
【特許文献３】特許第４４１２７１４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
上記特許文献１記載の技術の場合、常にコントローラー内の撮像手段によって４箇所の発光体を捕らえ続けることができればよいが、一旦撮影画像から４箇所の発光体が外れてしまうと、コントローラーの指示位置に不具合が生じる場合がある。例えば、コントローラーを１８０度回転させて天地を逆にした状態では、ビデオ画面が逆さに撮影されていても４箇所の発光体までが逆さになっていることを認識できず、コントローラーによってビデオ画面の位置を正確に指示することができなくなってしまう。
また、特許文献２、３記載の技術では、撮影した画像から点滅している光源を認識しなくてはならず、光源の制御や画像の認識に要する演算処理の負担が大きくなってしまう。
【０００６】
本発明は上記課題に鑑み発明されたものであって、発光光源が一旦撮影画像のフレームから外れて検出不能になった後やコントローラーが天地逆の姿勢になった場合であっても、正確に映像表示面の位置を特定することができ、かつ制御手段による演算処理の負担も少ない指示位置検出装置を提供することを課題とするものである。
【課題を解決するための手段】
【０００７】
上記課題を解決するために、請求項１記載の発明は以下の構成を有する。すなわち、
撮影した画像を連続的に出力する撮像手段を設けた位置指示手段と、
プログラムを実行する演算手段を有するとともに当該プログラムの実行に基づいて映像を出力する制御手段と、
前記制御手段の出力によって表示された映像の隅部に互いを結ぶ線分が直角三角形を成すように配置した３個の光源を有し、
前記撮像手段によって撮影される画像の中心位置座標と、当該撮影画像中の３個の光源のうち距離が最長となる一組の光源の中間位置である第１の位置座標若しくは当該第１の位置座標を補正した補正座標に基づいて、前記制御手段の出力によって表示された映像中における前記位置指示手段によって指示された指示座標を取得するようになっていることを特徴とする指示位置検出装置。
【０００８】
また、請求項２記載の発明は以下の構成を有する。
前記位置指示手段によって指示された指示座標に基づいて、指示していることを示す映像を表示するようになっていることを特徴とする請求項１記載の指示位置検出装置。
【０００９】
また、請求項３記載の発明は以下の構成を有する。
前記補正座標が、前記撮影画像中の３個の光源のうち距離が最長となる一組の光源を除く２組の光源間の中間位置を縦軸方向の座標若しくは横軸方向の座標とした第２の位置座標と、前記第１の位置座表との中間位置であることを特徴とする請求項１または２記載の指示位置検出装置。
【００１０】
また、請求項４記載の発明は以下の構成を有する。
前記第１の位置座標が、前記撮像手段によって撮影される画像の中心位置を原点として、撮影された３個の光源を演算によって所定角度回転させた後の各光源の回転後座標であることを特徴とする請求項１乃至３の何れか一項記載の指示位置検出装置。
【００１１】
また、請求項５記載の発明は以下の構成を有する。
前記第２の位置座標が、前記撮像手段によって撮影される画像の中心位置を原点として、撮影された３個の光源を演算によって所定角度回転させた後の回転後座標であることを特徴とする請求項４記載の指示位置検出装置。
【００１２】
また、請求項６記載の発明は以下の構成を有する。
前記所定角度が、前記撮像手段による撮影方向を軸とした位置指示手段の回転角度であることを特徴とする請求項４または５記載の指示位置検出装置。
【００１３】
また、請求項７記載の発明は以下の構成を有する。
前記第１の位置座標が、前記撮像手段によって撮影される画像の中心位置を原点として、撮影された３個の光源位置を演算によって所定の拡縮率で拡大若しくは縮小した後の拡縮後座標であることを特徴とする請求項４記載の指示位置検出装置。
【００１４】
また、請求項８記載の発明は以下の構成を有する。
前記第２の位置座標が、前記撮像手段によって撮影される画像の中心位置を原点として、撮影された３個の光源位置を演算によって所定の拡縮率で拡大若しくは縮小した後の拡縮後座標であることを特徴とする請求項５記載の指示位置検出装置。
【００１５】
また、請求項９記載の発明は以下の構成を有する。
前記拡縮率に基づいて、前記光源を配置した映像表示面と位置指示手段との距離を演算によって求めるようになっていることを特徴とする請求項７または８記載の指示位置検出装置。
【００１６】
また、請求項１０記載の発明は以下の構成を有する。
前記撮像手段に結像する画像を任意に拡大若しくは縮小する光学系手段を有したことを特徴とする請求項１乃至９の何れか一項記載の指示位置検出装置。
【００１７】
また、請求項１１記載の発明は以下の構成を有する。
前記位置指示手段に、操作の有無を前記制御手段によって検出させることができるスイッチを設けたことを特徴とする請求項１乃至１０の何れか一項記載の指示位置検出装置。
【００１８】
また、請求項１２記載の発明は以下の構成を有する。
撮像装置を内蔵した位置指示手段によって指示された映像表示面上の位置を検出する指示位置検出方法であって、
３個の光源を直角三角形の頂点となるように映像表示面の隅部付近に配置するとともに当該３個の光源が発光する光を前記撮像装置によって撮影し、
当該撮影された光源の光が形成する三角形の最長となる２点間の中心位置を前記映像表示面の中心位置として認識し、
前記撮像装置によって撮影された撮影画像の中心位置を、前記認識された映像表示面の中心位置を基準とした位置座標として出力することを特徴とする指示位置検出方法。
【００１９】
また、請求項１３記載の発明は以下の構成を有する。
前記出力される位置座標は、前記撮像装置によって撮影された光源の光が形成する三角形の形状、姿勢、大きさに基づいて補正されていることを特徴とする請求項１２記載の指示位置検出方法。
【発明の効果】
【００２０】
本願発明は、映像表示面の外側に設置した光源を撮像することによってコントローラー（位置指示手段）が示す位置を取得し、ゲーム等のアプリケーションプログラムに利用できるものである。従来、このような方式の指示位置検出装置では、一旦光源を見失ってしまうと、位置を正確に取得できない場合があった。
これに対して本願発明は、３個の光源を直角三角形を成すように配置するものであるため、コントローラーの姿勢に関わらず、３個の各光源の配置をそれぞれ絶対的な位置として認識することかできるようになっている。したがって、一旦光源を見失ったとしても、再び３個の各光源を捉えることができれば、その時点から正確な指示位置を取得できるという効果を有している。
【００２１】
また、本願発明は、個々の光源それぞれについて個別の発光制御を必要としないため、各光源間の同期を取ったり、複雑な発光制御をする必要がないという効果を有している。また、撮像した映像を処理する上でも、発光パターンや識別情報の認識等の処理が不要であり演算上の負荷が少ないという効果を有している。
【００２２】
また、本願発明は、３個の光源を直角三角形を成すように配置するものであるため、コントローラーを指示方向を中心に回転させると、撮像手段には回転した直角三角形が撮影されることになり、その相対的な回転角度からコントローラーの回転角度を取得することができるという効果を有している。これにより、例えばコントローラーの回転によって車のステアリングを操作するといった動作の検出が可能であるという効果を有している。
【００２３】
また、本願発明は、３個の光源を直角三角形を成すように配置するものであるため、映像表示面とコントローラーとの距離を変動させると、初期設定時の大きさに対して拡大若しくは縮小した直角三角形の映像が撮影される。この拡大若しくは縮小した直角三角形の拡縮率から、映像表示面とコントローラーとの距離若しくは距離の変動を算出することができるようになっている。これにより、例えばコントローラーを用いた突くあるいは引くといった動作の検出が可能であるという効果を有している。
【図面の簡単な説明】
【００２４】
【図１】本発明の構成例を表した概略図である。
【図２】本発明の構成例を表したブロック図である。
【図３】光源の配置と映像表示エリアの関係を表した説明図である。
【図４】撮像手段によって撮影された画像の説明図である。
【図５】本発明に係る装置および方法のフローチャートである。
【図６】本発明に係る回転演算処理の概念に関する説明図である。
【図７】本発明に係る回転演算処理の概念に関する説明図である。
【図８】本発明に係る拡縮処理の概念に関する説明図である。
【図９】本発明に係る拡縮処理の概念に関する説明図である。
【図１０】指示位置の検出ができない場合の説明図である。
【図１１】注視点を検出できない場合に関する説明図である。
【発明を実施するための形態】
【００２５】
以下、発明を実施するための形態について説明する。図１は、本発明に係る指示位置検出装置の構成例を表した説明図であり、テレビＴを除き１は指示位置検出装置（以下「指示装置」という）を表している。指示装置１は、銃型コントローラーの形態を成した位置指示手段２と、ゲーム機として構成された制御装置３と、ＬＥＤによって形成した３つの光源４（４ａ、４ｂ、４ｃ）を有している。当該３つの光源４ａ、４ｂ、４ｃは、テレビＴ若しくはプロジェクター等で映写された映像表示面の隅部の外周囲に着脱可能に取り付けられるものとなっている。
【００２６】
位置指示手段２は手持ち型の銃の形に形成されており、銃身の内部にはCCDあるいはCMOSセンサ等からなる撮像手段５が内蔵されている。銃口に相当する銃身の先端は開口しており、当該開口を介して撮像手段５に光を導くようになっている。すなわち、銃口を向けた方向を撮影するようになっており、銃身の中心線と撮像手段５に結像する映像の中心が一致するように撮像手段５を配置している。なお、開口と撮像手段５との間に光学系手段としてレンズ群を設け、撮像手段５に結像する映像の大きさを任意若しくは自動的に調節するようにしても差し支えない。
また、位置指示手段２には手持ち部となる把持部と、把持部を握った状態で操作可能な引き金状のスイッチ６が設けられており、当該スイッチ６の操作が制御装置３によって検出されるようになっている。
【００２７】
制御装置３は、一例として内蔵しているシステムプログラムおよびCD-ROM、DVD等の記録メディアによって提供されるプログラムに基づいて動作するビデオゲーム機として形成されたものである。なお、制御装置３は、このようなビデオゲーム機に限らず、パソコン等の機器であっても差し支えない。
図２は、本発明に係る指示装置１の概念を表したブロック図である。制御装置３は、CPU７および当該CPU７によって制御されるメモリーその他の制御部８と、外部機器と接続するためのインターフェイス９と、CD-ROM、DVD等に記録されたプログラムを読み取る読取手段１０を有している。制御部８には、CD-ROM、DVD等によって提供されるアプリケーションプログラム（以下単に「プログラム」という）を動作させるとともに、当該装置全体が備える各種ハードウエアの管理および動作を行わせる前記システムプログラムが搭載されている。なお、前記アプリケーションプログラムは、記録媒体によって提供されるもののみに限らず、通信回線を介してインターネット等から取得することも可能である。
制御装置３は、プログラムの実行によって生成された映像信号をインターフェイス９を介してテレビＴ等の出力機器に出力するようになっている。映像信号を受信したテレビＴは、映像表示面であるディスプレイ画面Ｓ上にゲーム等の映像を表示するようになっている。
【００２８】
光源４ａ、４ｂ、４ｃは、一例として赤外線を発する発光ダイオードによって構成されている。当該光源４ａ、４ｂ、４ｃは、ドライバー回路を内蔵したコネクタ１１に接続されており、制御装置３若しくは別個のＡＣ電源１２から供給された電力によって発光するようになっている。
光源４ａ、４ｂ、４ｃの発光はドライバー回路から供給される駆動電力による単純発光である。発光ダイオードには、前述した撮像手段５によって輝度が高く検出される周波数のものが選択される。一方、前述した撮像手段５の光軸上には、光学系手段の一つとして赤外線透過フィルターが配置され、光源４ａ、４ｂ、４ｃ以外の可視光やノイズとなる周波数の光を減衰させるようになっている。
【００２９】
指示装置１は、一例として制御装置３で実行されるプログラムによって、シューティングゲーム装置として機能するようになっているものである。
なお、指示装置１は、既にゲーム装置として機能している装置に対して提供される別個のハードウエア手段として提供されてもよいし、位置指示手段および光源とソフトウエアによって構成されるパソコン等に用いる入力装置の一つとして提供されてもよい。
【００３０】
本発明に係る指示装置は、パソコンに用いるマウスと同様に、表示されている映像上の位置を使用者が操作する位置指示手段２によって指示するための装置である。しかし、位置指示手段２はマウスのように机上での物理的な動位量に基づく情報を座標変換して映像上に表示するものとは異なり、中空に存在するコントローラーである位置指示手段２の向きによって位置を示すものである。
このため、位置指示手段２の指示した方向を撮影する撮像手段５を用いて、画面（映像表示面）の隅部外周に配置した光源４ａ、４ｂ、４ｃの画像を撮影し、当該撮影画像に含まれる各光源の位置座標から位置指示手段２の指示した映像表示面上の位置を演算によって求めるようになっている。
【００３１】
以下、図３〜図９を参照しつつ位置指示手段２による指示位置の取得処理について説明する。
図３は、テレビＴの中央正面位置から画面（映像表示面）Ｓと光源４ａ、４ｂ、４ｃ見た状態を表した配置図である。図３では、各光源４ａ、４ｂ、４ｃをＡ0、Ｂ0、Ｃ0として表し、画面Ｓの中央位置をＧ0と表している。
図４は、位置指示手段２が有する撮像手段５の受光センサ上で結像する撮影画像であり
、テレビＴの中央正面の適正位置から撮影した画面Ｓと３個の各光源の撮影像Ａ、Ｂ、Ｃを簡略的に表したものである。Ｗは受光センサによって撮影される全領域をX-Y座標として表したものである。なお、受光センサ上で結像する撮影画像は赤外線透過フィルタ等を通過さた画像であり、周囲の画像よりも各光源が発光する光がコントラストが高く識別されるようになっている。
【００３２】
受光センサは一例としてCCDあるいはCMOS等の素子を用いたものであり、横辺（Ｘ軸）×縦辺（Ｙ軸）が640×480ドットの解像度を有している。光源４ａ、４ｂ、４ｃを撮影した各像Ａ、Ｂ、Ｃの位置は640×480ドット上のX-Y座標によって取得されるようになっている。
なお、受光センサの解像度は上記の例に限らず、640×480ドット以下あるいは以上の解像度を有する受光センサを用いても差し支えがなく、解像度が大きくなるにしたがい位置指示手段２によって指示された位置の座標精度が向上する。解像度は、CPUに対する負荷と部品のコスト等の諸条件を考慮して選択される。
また、受光センサによる撮影画像は、毎秒３０フレームあるいは毎秒６０フレーム程度の周期で連続的に取得され制御装置３に出力されるようになっている。
【００３３】
図１および図３に示すように、光源４ａ、４ｂ、４ｃはテレビＴの長方形に形成された画面Ｓ外側の隅部に配置されており、各光源４ａ、４ｂ、４ｃを結ぶ線分が直角三角形を形成するようになっている。また、光源４ａ、４ｂ、４ｃによって形成される直角三角形の斜辺と画面Ｓの角部を結ぶ対角線はほぼ重なるようになっており、両者の中間点も共に一致する。
画面Ｓと各光源４ａ、４ｂ、４ｃの位置関係保ったまま撮像された画像が図４の画像である。当該図４に示した画像は、画面Ｓ中央の正面位置から適正な距離を隔てて撮影したものであり、位置指示手段２の姿勢も回転や傾きのない状態で撮影した初期設定時のイニシャル画像を表している。この場合、画面Ｓの中央位置をＧ0と受光センサの受光面Ｗの中央位置Ｏが一致し、受光面Ｗ上に形成される直角三角形ＡＢＣも図３に示す形状と相似形かつ姿勢も一致するものとなっている。
【００３４】
イニシャル画像は、三角形の縦軸である線分ＡＢと横軸である線分ＢＣがともに受光面Ｗ（X-Y座標）のＹ軸およびＸ軸と平行である。したがって、撮像した三角形の線分ＡＢと横軸である線分ＢＣがＹ軸およびＸ軸に対して平行でない場合には、テレビＴに向かう軸線上において位置指示手段２が所定角度回転していることになる。
さらに、位置指示手段２の示す位置（以下「注視点」という）が画面の中央位置Ｇ0とは異なる位置を指すと、受光画像Ａ、Ｂ、Ｃで構成される三角形の形状が、イニシャル画像とは異なった形状に変形する。本発明は、このような三角形を形成する撮影画像上のＡ、Ｂ、Ｃの各点の座標に基づいて、位置指示手段２が示す画面上の位置を演算によって求めるものである。
【００３５】
光源４ａ、４ｂ、４ｃによって形成される三角形は直角三角形であるから、光源４ｂが直角の頂点であり、当該光源４ｂと対向する斜辺４ａ４ｃが幾何学上３辺の中で最も長い線分であることが解っている。逆を言えば、最長の線分が画面Ｓの対角線と一致する傾斜した線分であり、この傾斜した線分と対向する隅部の内角が９０度ということになる。これらの条件と、撮像によって得られた光源画像の座標から位置指示手段２が指示する注視点（指示座標）を算出する。
図５は、注視点位置を取得する処理の内容を表したフローチャートである。処理をスタートすると、制御装置３は撮像手段５から撮影画像を受信している否かを確認する（Ｓ１０１）。この処理は撮影画像の出力周期にあわせて繰り返し行われているものであり、撮影画像が無い場合には繰り返し受信の有無を確認し、撮影画像が有る場合には撮影画像を取得する処理を行う（Ｓ１０２）。
【００３６】
次に、取得した撮影画像の走査を行い、図４に示すように撮影された光源画像から位置の特定を行う（Ｓ１０３）。
図４はX-Y座標で表した受光面Ｗ上における撮影された光源画像Ａ、Ｂ、Ｃを表している。受光面Ｗの縦中心線CLxと横中心線CLyの交点は受光面Ｗの中心点であって、X-Y座標で表される撮影画像の中心位置座標Ｏ（O、O）である。
次に、前記受光面Ｗ中に、映像Ａ、Ｂ、Ｃ全ての光源が存在しているか否かを判断し、３個全ての光源画像が受光面Ｗに存在していなければ、処理の始めに戻り再び撮影画像の取得処理を繰り返し、３個全ての光源画像が受光面Ｗに存在していれば次の処理に移行する（Ｓ１０４）。
３個全ての光源画像が受光面Ｗに存在してる場合には、各光源画像の座標はそれぞれ（Ax、Ay）、（Bx、By）、（Cx、Cy）として取得される。そして、この取得された各座標によって形成される三角形の形状が、回転、拡大、縮小といった変形の無いものである場合には、この各座標から注視点（指示座標）が算出される（Ｓ１０７）。
【００３７】
（注視点（指示座標）の演算）
前記取得された三角形の形状自体に変形が無く補正が不要である場合には、以下の順序で注視点（指示座標）が取得される（図６参照）。
まず、各光源画像の座標Ａ（Ax、Ay）、Ｂ（Bx、By）、Ｃ（Cx、Cy）に基づいて、画像Ａ、Ｂ、Ｃ各間の距離を算出する。次に、各画像Ａ、Ｂ、Ｃ間の距離を算出し、距離の一番長い２点を判定する。本実施の形態では距離が一番長い２点とは直角三角形ＡＢＣにおける斜辺を形成する２点であり、長方形である画面Ｓの対角線の両端部に位置するＡ（Ax、Ay）とＣ（Cx、Cy）である。
このＡ（Ax、Ay）とＣ（Cx、Cy）で形成される斜辺の中間点Ｇ（Gx,Gy）を、テレビＴの画面Ｓの中央位置Ｇ0と一致した座標（第１の位置座標）として取得する。演算式は次の通りである。
【００３８】
画面Ｓの中心Ｇ0に一致する受光面Ｗ上の点Ｇの座標（Gx,Gy）は、撮影された光源によって形成されるＡＣを斜面とする直角三角形ＡＢＣを使用して、以下の２つの演算で求めることができる。
第１は、斜面ＡＣの中間点が画面Ｓの中心Ｇ0と一致することに基づく演算である。すなわち、斜面ＡＣの中間点である第１の位置座標Ｇ1（G1x,G1y）は以下の式で表される。G1x=Ax＋（Cx−Ax）÷２………(1)
G1y=Ay＋（Cy−Ay）÷２………(2)
【００３９】
第２は、Ｘ軸方向に存在する線分ＢＣの中間点が画面Ｓの中心Ｇ0のＸ軸方向の座標であり、Ｙ軸方向に存在する線分ＡＢの中間点が画面Ｓの中心Ｇ0のＹ軸方向の座標であることに基づく演算である。すなわち、ＢＣの中点をG2x、ＡＢの中点をG2yとすると、第２の位置座標Ｇ2（G2x,G2y）は以下の式で表される。
G2x＝Bx＋（Cx−Bx）÷２………(3)
G2y＝Ay＋（By−Ay）÷２………(4)
【００４０】
上記第１の位置座標Ｇ1（G1x,G1y）および第２の位置座標Ｇ2（G2x,G2y）は、それぞれ理論上は一致する座標であるので、第１の位置座標Ｇ1を注視点（指示座標）として取得しても差し支えがない。ただし、本実施の形態では光源画像から取得した座標には誤差が含まれる場合であるので、本実施の形態では、第１の位置座標Ｇ1と第２の位置座標Ｇ2の中間点である補正座標G3を求め、当該補正座標G3を用いて注視点（指示座標）を求めている。
当該補正座標は次式により求められる。
G3x＝（G1x+G2x）÷２………(5)
G3y＝（G1y+G2y）÷２………(6)
撮影された光源画像ＡＢＣが、前述したイニシャル画像の形状と比較して、所定角度回転していたり、拡大や縮小等の変形を伴っていない場合には、次の処理（Ｓ１０７）に移行し上記第１の位置座標Ｇ1、第２の位置座標Ｇ2、補正座標Ｇ3の何れかを用いて注視点（指示座標）を求める。
【００４１】
また、撮影された光源画像ＡＢＣが回転している場合には、座標上における傾きを補正する（Ｓ１０５）。
（角度補正）
撮像した直角三角形ＡＢＣが、受光面Ｗ上において傾いている場合の処理について、図７、図８を用いて説明する。
図７は、撮影された光源の映像であって、直角三角形ＡＢＣの撮影像が受光面Ｗ上で角度θだけ傾いている場合を表している。受光面Ｗ上で直角三角形ＡＢＣが傾いてる場合というのは、テレビＴに向かう軸線上において位置指示手段２が所定角度回転している状態である。
傾斜角度θは次式により求められる。
θ＝tan-1｛（By−Cy）／（Cx−Bx）｝
【００４２】
上記のように撮像した三角形の線分ＢＣがＸ軸に対して平行でない場合には、線分ＢＣがＸ軸と平行になるように、受光面Ｗの中心Ｏ（Ox，Oy）を中心として、三角形ＡＢＣを回転させる。回転後の各頂点の座標（回転後座標）をＡ’（A'x 、A'y）、Ｂ’（B'x、B'y ）、Ｃ’（C'x 、C'y）とすると、各頂点の座標は次式により表される。
A'x = (Ax−Ox)×cosθ−(Ay−Oy)×sinθ+Ox………(7)
A'y = (Ax−Ox)×sinθ＋(Ay−Oy)×cosθ+Oy………(8)
B'x = (Bx−Ox)×cosθ−(By−Oy)×sinθ+Ox………(9)
B'y = (Bx−Ox)×sinθ＋(By−Oy)×cosθ+Oy………(10)
C'x = (Cx−Ox)×cosθ−(Cy−Oy)×sinθ+Ox………(11)
C'y = (Cx−Ox)×sinθ＋(Cy−Oy)×cosθ+Oy………(12)
当該(7)〜(12)式により演算されたA'x、A'y、B'x、B'y、C'x、C'yを前記(1)(2)式若しくは(1)〜(6)式に代入すると、傾きが補正されたＡ’Ｂ’Ｃ’に基づき、撮影したテレビＴの画面Ｓの中心Ｇ’が求められる。
【００４３】
（拡縮補正）
上記角度補正が完了した後（角度補正が無い場合を含む）、拡縮処理を行う（Ｓ１０６）。まず、図３に示したイニシャル画像の直角三角形ＡＢＣに対して、上記回転補正後の三角形Ａ’Ｂ’Ｃ’がどの程度の割合で拡大若しくは縮小しているのかという拡縮率Ｄを、三角形の下辺の線分ＢＣと線分Ｂ’Ｃ’の長さの比として次式によって算出する。なお、拡大および縮小が無い場合には次の処理（Ｓ１０７）に移行し注視点（指示座標）を求める。
Ｄ＝（Ｃ−Ｂ）／（Ｃ’−Ｂ’）………(13)
そして、この拡縮率に基づいて三角形Ａ’Ｂ’Ｃ’の大きさを補正し、補正後の三角形Ａ”（A"x、A"y）、Ｂ”（B"x、B"y）、Ｃ”（C"x、C"y）の各頂点の座標（拡縮後座標）を次式によって演算する（図９、図１０参照）。
A"x = (A'x−Ox)×Ｄ………(14)
A"y = (A'y−Oy)×Ｄ………(15)
B"x = (B'x−Ox)×Ｄ………(16)
B"y = (B'y−Oy)×Ｄ………(17)
C"x = (C'x−Ox)×Ｄ………(18)
C"y = (C'y−Oy)×Ｄ………(19)
当該(14)〜(19)式により演算されたA"x、A"y、B"x、B"y、C"x、C"yを前記(1)(2)式若し
くは(1)〜(6)式に代入すると、傾きが補正されたＡ”Ｂ”Ｃ”に基づき、撮影したテレビＴの画面Ｓの中心Ｇ”が求められる。当該処理の後、次の処理（Ｓ１０７）に移行し注視点（指示座標）を求める。
なお、上記の例では角度補正および拡縮補正について、その都度必要であるか否かの判断を行う例を示している。しかしながら、このような必要であるか否かの判断を伴うことなく、撮影画像のサンプリング全ての場合に角度補正処理（Ｓ１０５）および拡縮処理（Ｓ１０６）を行い、注視点（指示座標）取得処理（Ｓ１０７）を行うようにしても差し支えがない。
【００４４】
上記一連の処理の後、位置指示手段２の示す注視点が、テレビＴの画面Ｓの中の何処を示しているのかを算出する（Ｓ１０７）。位置指示手段２の示す注視点は、撮像画像Ｗの中心点Ｏと一致する。したがって、上記第１の位置座標Ｇ1、第２の位置座標Ｇ2若しくは補正座標Ｇ3と撮像画像Ｗの中心点Ｏとの相対的な位置関係によって位置指示手段２の示す注視点が画面Ｓ上のどの位置を示しているのかを求めることが出来る。
そして、この注視点の座標情報を制御装置３によって別途駆動されているシステムプログラム、ゲームプログラム等に提供することで（Ｓ１０８）、位置指示手段２を画面上の特定の位置を指示するポインティングデバイスとして使用することができるようになっている。上記処理は、所定のサイクルで繰り返し行われるものであり、使用者による終了操作等が行われると終了（Ｓ１０９）する。
【００４５】
注視点の座標情報をゲームプログラムに提供する場合には、一例としてゲームプログラム側に注視点の座標情報を取得するためのインターフェイス（処理関数）を設け、当該インターフェイスを介して注視点の座標情報をゲームプログラム側に入力されるようになっている。
この場合、ゲーム画面の座標系に合わせて変換された注視点の座標情報がゲームプログラム側に引き渡される。例えば、ゲーム画面のサイズがWg×Hgであり、撮像手段５の受光センサのサイズがWc×Hcであるとする。そして、当該受光センサの中心位置座標がＯ（Ox、Oy）であり、上記処理Ｓ１０７で取得された注視点の座標をG1x、G1yとすると、次式によって変換された座標Gg（Xg、Xg）がゲームプログラム側に引き渡される。
Xg＝（Wg÷２）＋（Ox−G1x）×（Wg÷Wc）………(21)
Yg＝（Hg÷２）＋（Oy−G1y）×（Hg÷Hc）………(22)
【００４６】
その他、前述した位置指示手段２の傾き角度は、制御装置３に対する制御情報としても利用することができる。例えばハンドル操作によって車を運転するゲーム等の場合には、位置指示手段２の傾き角度をハンドルの回転角度として入力させ、ゲーム内で車両の進行方向を変更させることができる。このように、傾き角度の変化を位置指示手段２の回転動作として認識し利用することが出来るものである。
また、前述した拡縮率も同様に、制御装置３に対する制御情報としても利用することができる。例えば位置指示手段２を槍のような武器に見立てたゲームの場合、画面に向かって突くような動作を拡縮率の変化によって検出することができる。このように、拡縮率の変化を位置指示手段２の前後方向の動作として認識し利用することが出来るものである。
【００４７】
次に、前記注視点を検出できない場合について説明する。前記注視点取得処理のプログラムは、光源４ａ、４ｂ、４を図３に示す姿勢で配置した場合、撮影した光源で構成される三角形の各辺の比が「左辺の長さ＜下辺の長さ＜斜辺の長さ」という条件を満たす場合に注視点検出処理が可能である。この条件を追加することで、注視点、姿勢および距離検出システムの精度を保ち、処理を簡素化することができるからである。当該条件を満たさない事例を図１１（ａ）〜図１１（Ｄ）に示す。
【００４８】
図１１（ａ）に示した三角形の形状は、下辺ＢＣの長さが左辺ＡＢの長さより短い場合
であり、画面Ｓを正面に対して左側からほぼ垂直に近い位置で撮像した画像である。
図１１（ｂ）に示した三角形の形状は、斜辺ＡＣの長さが下辺ＢＣの長さより短い場合であり、画面Ｓを正面に対して下側からほぼ垂直に近い位置で撮像した画像である。
図１１（ｃ）に示した三角形の形状は、下辺ＢＣの長さが左辺ＡＢの長さより短い場合であり、画面Ｓを正面に対して右側からほぼ垂直に近い位置で撮像した画像である。
図１１（Ｄ）に示した三角形の形状は、下辺の長さＢＣが左辺ＡＢの長さより短い場合であり、画面Ｓを正面に対して上側からほぼ垂直に近い位置で撮像した画像である。
【００４９】
以上説明した指示装置は、直角三角形を成すように配置した光源を利用して、位置指示手段２による画面の指示位置を検出するものである。
光源を直角三角形状に配置したのは、画像を表示するディスプレイやスクリーン等の画像表示エリアは概ね長方形状を成しており、光源を画像表示エリアの隅部に配置すると直角三角形状の中で一番長い線分である斜辺の中央が画像表示エリアの中央と一致するからである。本発明では、この性質を利用することで複雑な演算を行うことなく画像表示エリアの中央位置を求めるとともに、画像表示エリア上の位置指示手段による指示位置を求めることができるようになっている。
また、斜辺以外の縦辺と横辺の中間点は、画像表示エリアの縦軸方向と横軸方向の中間点と一致するので、縦軸方向の中間点を通過する横方向の線分と横軸方向の中間点を通過する縦方向の線分の交点が画像表示エリアの中央と一致することになる。この条件と、上記直角三角形状の斜辺を利用した画像表示エリアの中央位置を求める条件の２通りの方法によって演算を行うと、より精度の高い画像表示エリアの中央位置および画像表示エリア上の位置指示手段による指示位置を求めることができるようになっている。
【００５０】
本発明に係る指示装置および当該装置に用いる方法は、画面表示エリアの大きさに関係なく用いることができるものである。例えば、画面表示エリアが大小各種サイズのテレビであったり、プロジェクターによってスクリーンや壁に投影される大きな映像を表示するものであっても差し支えがないものである。
また、光源にはＬＥＤ等の赤外線を発光するものが好ましいが、表示されている画像と光源を識別できる性質のものであれば、赤外線を発光するものに限らない。また、光源に供給する電力は、制御装置３によって供給する場合の他、制御装置３とは異なる電源から供給されるものであっても差し支えない。また、光源は、特定の周期で発光させたり制御装置と同期させる等の発光制御を不要としているので、特別なハードウエア上の装置やソフト制御は不要である。
【００５１】
以上説明した指示装置および当該装置に用いる方法は、一例としてガンシューティング等の画面上に表示された的を撃つというようなゲーム機あるいはゲームソフト、パソコンに用いるマウスのようなポインティングデバイスとしても利用可能である。すなわち、コンピュータ制御によって映像表示が行われる装置において、映像が表示されている画面上の特定位置を指し示す用途で使用するものであれば、ゲームに限らず適用できるものである。
【産業上の利用可能性】
【００５２】
本発明は、パソコン入力用のポインティングデバイス、ゲーム装置用のコントローラーに利用可能である。
【符号の説明】
【００５３】
１ 指示位置検出装置（指示装置）
２ 位置指示手段（コントローラー）
３ 制御装置
４（４ａ、４ｂ、４ｃ） 光源
５ 撮像手段
６ スイッチ
７ ＣＰＵ
８ 制御部
９ インターフェイス
１０ 読取手段
【技術分野】
【０００１】
本発明は、画面、スクリーンといった映像表示面上の位置を指示する指示位置検出装置等に関するものである。
【背景技術】
【０００２】
GUIを有するパソコンでは、画面上に表示されているアイコン、オブジェクトをマウス等のポインティングデバイスを使用して指示あるいは移動させることが行われている。また、ガンシューティングゲーム等のビデオゲーム機では、銃型のコントローラーを使用して画面（映像表示面）上に表示されるターゲットとなる映像物に照準を合わせ、トリガースイッチを押すことで着弾位置を判定し命中の成否判定を行うことが行われている。上記のようなシステムを構築する場合、使用者によって操作されるポインティングデバイスが画像上のどの位置を指し示しているのかの検出が必要になる。
この場合、ポインティングデバイスとして一般的なマウスであれば、マウス自体の移動量や移動方向を、机上面に対する相対的な物理量として検出することができるので、疑似的に映像上の位置を特定することが可能である。しかし、銃口を映像面に向けてその照準位置を検出するような場合には、マウスに相当するコントローラー自体が空中に浮いた状態で使用されるため、銃口の向きやコントローラーの姿勢を、マウスと同様に物理的に検出するのは困難である。このため、銃型のコントローラーのようなポインティングデバイスでは、内蔵した撮像手段によってターゲットが表示される映像を撮影し、その撮影した映像情報を用いてコントローラーの指示位置や姿勢を検出することが行われている。
【０００３】
上記のような、映像情報を用いてコントローラーの指示位置や姿勢を検出する技術として、特許文献１乃至特許文献３記載の技術が知られている。
特許文献１には、ビデオ画面を囲むように４箇所に発光体を配置し、射撃用の銃の銃身内にCCDカメラを設けて上記４個の発光体を含む画像を撮影し、４個の発光体の画像位置情報に基づいて映像表示面に対するコントローラーの相対位置、回転角度および傾きを算出するコントローラー（銃）の相対位置検出方法が記載されている。
特許文献２には、ポインティングデバイスによる映像表示面上における指示位置を特定するものであって、撮像手段で撮影した撮像画像に含まれる光点の位置から複数の識別体の位置を検出し、光点の中から点滅光源および疑似振動光源の少なくとも一方をノイズ光源として特定することで、前記撮像画像に含まれる光点の中から前記複数の識別体の光源を特定するものが記載されている。
特許文献３には、 少ない演算負荷でポインティングデバイスの画面に対するポイント位置や回転や傾き等が検出可能な配置情報検出システム、ゲーム装置等であって、所定面の外周付近に設置された微少時間差で１つずつ発光させるような複数の発光体を有し、発光体の発光する所定の波長の光の受光面における受光位置を特定するための検出値を発光体毎に検出し、検出値に基づいてポインティングデバイスと画面（映像表示面）との相対配置情報を演算するものが記載されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特許第３４２２３８３号公報
【特許文献２】特開２００７−３３０５３４号公報
【特許文献３】特許第４４１２７１４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
上記特許文献１記載の技術の場合、常にコントローラー内の撮像手段によって４箇所の発光体を捕らえ続けることができればよいが、一旦撮影画像から４箇所の発光体が外れてしまうと、コントローラーの指示位置に不具合が生じる場合がある。例えば、コントローラーを１８０度回転させて天地を逆にした状態では、ビデオ画面が逆さに撮影されていても４箇所の発光体までが逆さになっていることを認識できず、コントローラーによってビデオ画面の位置を正確に指示することができなくなってしまう。
また、特許文献２、３記載の技術では、撮影した画像から点滅している光源を認識しなくてはならず、光源の制御や画像の認識に要する演算処理の負担が大きくなってしまう。
【０００６】
本発明は上記課題に鑑み発明されたものであって、発光光源が一旦撮影画像のフレームから外れて検出不能になった後やコントローラーが天地逆の姿勢になった場合であっても、正確に映像表示面の位置を特定することができ、かつ制御手段による演算処理の負担も少ない指示位置検出装置を提供することを課題とするものである。
【課題を解決するための手段】
【０００７】
上記課題を解決するために、請求項１記載の発明は以下の構成を有する。すなわち、
撮影した画像を連続的に出力する撮像手段を設けた位置指示手段と、
プログラムを実行する演算手段を有するとともに当該プログラムの実行に基づいて映像を出力する制御手段と、
前記制御手段の出力によって表示された映像の隅部に互いを結ぶ線分が直角三角形を成すように配置した３個の光源を有し、
前記撮像手段によって撮影される画像の中心位置座標と、当該撮影画像中の３個の光源のうち距離が最長となる一組の光源の中間位置である第１の位置座標若しくは当該第１の位置座標を補正した補正座標に基づいて、前記制御手段の出力によって表示された映像中における前記位置指示手段によって指示された指示座標を取得するようになっていることを特徴とする指示位置検出装置。
【０００８】
また、請求項２記載の発明は以下の構成を有する。
前記位置指示手段によって指示された指示座標に基づいて、指示していることを示す映像を表示するようになっていることを特徴とする請求項１記載の指示位置検出装置。
【０００９】
また、請求項３記載の発明は以下の構成を有する。
前記補正座標が、前記撮影画像中の３個の光源のうち距離が最長となる一組の光源を除く２組の光源間の中間位置を縦軸方向の座標若しくは横軸方向の座標とした第２の位置座標と、前記第１の位置座表との中間位置であることを特徴とする請求項１または２記載の指示位置検出装置。
【００１０】
また、請求項４記載の発明は以下の構成を有する。
前記第１の位置座標が、前記撮像手段によって撮影される画像の中心位置を原点として、撮影された３個の光源を演算によって所定角度回転させた後の各光源の回転後座標であることを特徴とする請求項１乃至３の何れか一項記載の指示位置検出装置。
【００１１】
また、請求項５記載の発明は以下の構成を有する。
前記第２の位置座標が、前記撮像手段によって撮影される画像の中心位置を原点として、撮影された３個の光源を演算によって所定角度回転させた後の回転後座標であることを特徴とする請求項４記載の指示位置検出装置。
【００１２】
また、請求項６記載の発明は以下の構成を有する。
前記所定角度が、前記撮像手段による撮影方向を軸とした位置指示手段の回転角度であることを特徴とする請求項４または５記載の指示位置検出装置。
【００１３】
また、請求項７記載の発明は以下の構成を有する。
前記第１の位置座標が、前記撮像手段によって撮影される画像の中心位置を原点として、撮影された３個の光源位置を演算によって所定の拡縮率で拡大若しくは縮小した後の拡縮後座標であることを特徴とする請求項４記載の指示位置検出装置。
【００１４】
また、請求項８記載の発明は以下の構成を有する。
前記第２の位置座標が、前記撮像手段によって撮影される画像の中心位置を原点として、撮影された３個の光源位置を演算によって所定の拡縮率で拡大若しくは縮小した後の拡縮後座標であることを特徴とする請求項５記載の指示位置検出装置。
【００１５】
また、請求項９記載の発明は以下の構成を有する。
前記拡縮率に基づいて、前記光源を配置した映像表示面と位置指示手段との距離を演算によって求めるようになっていることを特徴とする請求項７または８記載の指示位置検出装置。
【００１６】
また、請求項１０記載の発明は以下の構成を有する。
前記撮像手段に結像する画像を任意に拡大若しくは縮小する光学系手段を有したことを特徴とする請求項１乃至９の何れか一項記載の指示位置検出装置。
【００１７】
また、請求項１１記載の発明は以下の構成を有する。
前記位置指示手段に、操作の有無を前記制御手段によって検出させることができるスイッチを設けたことを特徴とする請求項１乃至１０の何れか一項記載の指示位置検出装置。
【００１８】
また、請求項１２記載の発明は以下の構成を有する。
撮像装置を内蔵した位置指示手段によって指示された映像表示面上の位置を検出する指示位置検出方法であって、
３個の光源を直角三角形の頂点となるように映像表示面の隅部付近に配置するとともに当該３個の光源が発光する光を前記撮像装置によって撮影し、
当該撮影された光源の光が形成する三角形の最長となる２点間の中心位置を前記映像表示面の中心位置として認識し、
前記撮像装置によって撮影された撮影画像の中心位置を、前記認識された映像表示面の中心位置を基準とした位置座標として出力することを特徴とする指示位置検出方法。
【００１９】
また、請求項１３記載の発明は以下の構成を有する。
前記出力される位置座標は、前記撮像装置によって撮影された光源の光が形成する三角形の形状、姿勢、大きさに基づいて補正されていることを特徴とする請求項１２記載の指示位置検出方法。
【発明の効果】
【００２０】
本願発明は、映像表示面の外側に設置した光源を撮像することによってコントローラー（位置指示手段）が示す位置を取得し、ゲーム等のアプリケーションプログラムに利用できるものである。従来、このような方式の指示位置検出装置では、一旦光源を見失ってしまうと、位置を正確に取得できない場合があった。
これに対して本願発明は、３個の光源を直角三角形を成すように配置するものであるため、コントローラーの姿勢に関わらず、３個の各光源の配置をそれぞれ絶対的な位置として認識することかできるようになっている。したがって、一旦光源を見失ったとしても、再び３個の各光源を捉えることができれば、その時点から正確な指示位置を取得できるという効果を有している。
【００２１】
また、本願発明は、個々の光源それぞれについて個別の発光制御を必要としないため、各光源間の同期を取ったり、複雑な発光制御をする必要がないという効果を有している。また、撮像した映像を処理する上でも、発光パターンや識別情報の認識等の処理が不要であり演算上の負荷が少ないという効果を有している。
【００２２】
また、本願発明は、３個の光源を直角三角形を成すように配置するものであるため、コントローラーを指示方向を中心に回転させると、撮像手段には回転した直角三角形が撮影されることになり、その相対的な回転角度からコントローラーの回転角度を取得することができるという効果を有している。これにより、例えばコントローラーの回転によって車のステアリングを操作するといった動作の検出が可能であるという効果を有している。
【００２３】
また、本願発明は、３個の光源を直角三角形を成すように配置するものであるため、映像表示面とコントローラーとの距離を変動させると、初期設定時の大きさに対して拡大若しくは縮小した直角三角形の映像が撮影される。この拡大若しくは縮小した直角三角形の拡縮率から、映像表示面とコントローラーとの距離若しくは距離の変動を算出することができるようになっている。これにより、例えばコントローラーを用いた突くあるいは引くといった動作の検出が可能であるという効果を有している。
【図面の簡単な説明】
【００２４】
【図１】本発明の構成例を表した概略図である。
【図２】本発明の構成例を表したブロック図である。
【図３】光源の配置と映像表示エリアの関係を表した説明図である。
【図４】撮像手段によって撮影された画像の説明図である。
【図５】本発明に係る装置および方法のフローチャートである。
【図６】本発明に係る回転演算処理の概念に関する説明図である。
【図７】本発明に係る回転演算処理の概念に関する説明図である。
【図８】本発明に係る拡縮処理の概念に関する説明図である。
【図９】本発明に係る拡縮処理の概念に関する説明図である。
【図１０】指示位置の検出ができない場合の説明図である。
【図１１】注視点を検出できない場合に関する説明図である。
【発明を実施するための形態】
【００２５】
以下、発明を実施するための形態について説明する。図１は、本発明に係る指示位置検出装置の構成例を表した説明図であり、テレビＴを除き１は指示位置検出装置（以下「指示装置」という）を表している。指示装置１は、銃型コントローラーの形態を成した位置指示手段２と、ゲーム機として構成された制御装置３と、ＬＥＤによって形成した３つの光源４（４ａ、４ｂ、４ｃ）を有している。当該３つの光源４ａ、４ｂ、４ｃは、テレビＴ若しくはプロジェクター等で映写された映像表示面の隅部の外周囲に着脱可能に取り付けられるものとなっている。
【００２６】
位置指示手段２は手持ち型の銃の形に形成されており、銃身の内部にはCCDあるいはCMOSセンサ等からなる撮像手段５が内蔵されている。銃口に相当する銃身の先端は開口しており、当該開口を介して撮像手段５に光を導くようになっている。すなわち、銃口を向けた方向を撮影するようになっており、銃身の中心線と撮像手段５に結像する映像の中心が一致するように撮像手段５を配置している。なお、開口と撮像手段５との間に光学系手段としてレンズ群を設け、撮像手段５に結像する映像の大きさを任意若しくは自動的に調節するようにしても差し支えない。
また、位置指示手段２には手持ち部となる把持部と、把持部を握った状態で操作可能な引き金状のスイッチ６が設けられており、当該スイッチ６の操作が制御装置３によって検出されるようになっている。
【００２７】
制御装置３は、一例として内蔵しているシステムプログラムおよびCD-ROM、DVD等の記録メディアによって提供されるプログラムに基づいて動作するビデオゲーム機として形成されたものである。なお、制御装置３は、このようなビデオゲーム機に限らず、パソコン等の機器であっても差し支えない。
図２は、本発明に係る指示装置１の概念を表したブロック図である。制御装置３は、CPU７および当該CPU７によって制御されるメモリーその他の制御部８と、外部機器と接続するためのインターフェイス９と、CD-ROM、DVD等に記録されたプログラムを読み取る読取手段１０を有している。制御部８には、CD-ROM、DVD等によって提供されるアプリケーションプログラム（以下単に「プログラム」という）を動作させるとともに、当該装置全体が備える各種ハードウエアの管理および動作を行わせる前記システムプログラムが搭載されている。なお、前記アプリケーションプログラムは、記録媒体によって提供されるもののみに限らず、通信回線を介してインターネット等から取得することも可能である。
制御装置３は、プログラムの実行によって生成された映像信号をインターフェイス９を介してテレビＴ等の出力機器に出力するようになっている。映像信号を受信したテレビＴは、映像表示面であるディスプレイ画面Ｓ上にゲーム等の映像を表示するようになっている。
【００２８】
光源４ａ、４ｂ、４ｃは、一例として赤外線を発する発光ダイオードによって構成されている。当該光源４ａ、４ｂ、４ｃは、ドライバー回路を内蔵したコネクタ１１に接続されており、制御装置３若しくは別個のＡＣ電源１２から供給された電力によって発光するようになっている。
光源４ａ、４ｂ、４ｃの発光はドライバー回路から供給される駆動電力による単純発光である。発光ダイオードには、前述した撮像手段５によって輝度が高く検出される周波数のものが選択される。一方、前述した撮像手段５の光軸上には、光学系手段の一つとして赤外線透過フィルターが配置され、光源４ａ、４ｂ、４ｃ以外の可視光やノイズとなる周波数の光を減衰させるようになっている。
【００２９】
指示装置１は、一例として制御装置３で実行されるプログラムによって、シューティングゲーム装置として機能するようになっているものである。
なお、指示装置１は、既にゲーム装置として機能している装置に対して提供される別個のハードウエア手段として提供されてもよいし、位置指示手段および光源とソフトウエアによって構成されるパソコン等に用いる入力装置の一つとして提供されてもよい。
【００３０】
本発明に係る指示装置は、パソコンに用いるマウスと同様に、表示されている映像上の位置を使用者が操作する位置指示手段２によって指示するための装置である。しかし、位置指示手段２はマウスのように机上での物理的な動位量に基づく情報を座標変換して映像上に表示するものとは異なり、中空に存在するコントローラーである位置指示手段２の向きによって位置を示すものである。
このため、位置指示手段２の指示した方向を撮影する撮像手段５を用いて、画面（映像表示面）の隅部外周に配置した光源４ａ、４ｂ、４ｃの画像を撮影し、当該撮影画像に含まれる各光源の位置座標から位置指示手段２の指示した映像表示面上の位置を演算によって求めるようになっている。
【００３１】
以下、図３〜図９を参照しつつ位置指示手段２による指示位置の取得処理について説明する。
図３は、テレビＴの中央正面位置から画面（映像表示面）Ｓと光源４ａ、４ｂ、４ｃ見た状態を表した配置図である。図３では、各光源４ａ、４ｂ、４ｃをＡ0、Ｂ0、Ｃ0として表し、画面Ｓの中央位置をＧ0と表している。
図４は、位置指示手段２が有する撮像手段５の受光センサ上で結像する撮影画像であり
、テレビＴの中央正面の適正位置から撮影した画面Ｓと３個の各光源の撮影像Ａ、Ｂ、Ｃを簡略的に表したものである。Ｗは受光センサによって撮影される全領域をX-Y座標として表したものである。なお、受光センサ上で結像する撮影画像は赤外線透過フィルタ等を通過さた画像であり、周囲の画像よりも各光源が発光する光がコントラストが高く識別されるようになっている。
【００３２】
受光センサは一例としてCCDあるいはCMOS等の素子を用いたものであり、横辺（Ｘ軸）×縦辺（Ｙ軸）が640×480ドットの解像度を有している。光源４ａ、４ｂ、４ｃを撮影した各像Ａ、Ｂ、Ｃの位置は640×480ドット上のX-Y座標によって取得されるようになっている。
なお、受光センサの解像度は上記の例に限らず、640×480ドット以下あるいは以上の解像度を有する受光センサを用いても差し支えがなく、解像度が大きくなるにしたがい位置指示手段２によって指示された位置の座標精度が向上する。解像度は、CPUに対する負荷と部品のコスト等の諸条件を考慮して選択される。
また、受光センサによる撮影画像は、毎秒３０フレームあるいは毎秒６０フレーム程度の周期で連続的に取得され制御装置３に出力されるようになっている。
【００３３】
図１および図３に示すように、光源４ａ、４ｂ、４ｃはテレビＴの長方形に形成された画面Ｓ外側の隅部に配置されており、各光源４ａ、４ｂ、４ｃを結ぶ線分が直角三角形を形成するようになっている。また、光源４ａ、４ｂ、４ｃによって形成される直角三角形の斜辺と画面Ｓの角部を結ぶ対角線はほぼ重なるようになっており、両者の中間点も共に一致する。
画面Ｓと各光源４ａ、４ｂ、４ｃの位置関係保ったまま撮像された画像が図４の画像である。当該図４に示した画像は、画面Ｓ中央の正面位置から適正な距離を隔てて撮影したものであり、位置指示手段２の姿勢も回転や傾きのない状態で撮影した初期設定時のイニシャル画像を表している。この場合、画面Ｓの中央位置をＧ0と受光センサの受光面Ｗの中央位置Ｏが一致し、受光面Ｗ上に形成される直角三角形ＡＢＣも図３に示す形状と相似形かつ姿勢も一致するものとなっている。
【００３４】
イニシャル画像は、三角形の縦軸である線分ＡＢと横軸である線分ＢＣがともに受光面Ｗ（X-Y座標）のＹ軸およびＸ軸と平行である。したがって、撮像した三角形の線分ＡＢと横軸である線分ＢＣがＹ軸およびＸ軸に対して平行でない場合には、テレビＴに向かう軸線上において位置指示手段２が所定角度回転していることになる。
さらに、位置指示手段２の示す位置（以下「注視点」という）が画面の中央位置Ｇ0とは異なる位置を指すと、受光画像Ａ、Ｂ、Ｃで構成される三角形の形状が、イニシャル画像とは異なった形状に変形する。本発明は、このような三角形を形成する撮影画像上のＡ、Ｂ、Ｃの各点の座標に基づいて、位置指示手段２が示す画面上の位置を演算によって求めるものである。
【００３５】
光源４ａ、４ｂ、４ｃによって形成される三角形は直角三角形であるから、光源４ｂが直角の頂点であり、当該光源４ｂと対向する斜辺４ａ４ｃが幾何学上３辺の中で最も長い線分であることが解っている。逆を言えば、最長の線分が画面Ｓの対角線と一致する傾斜した線分であり、この傾斜した線分と対向する隅部の内角が９０度ということになる。これらの条件と、撮像によって得られた光源画像の座標から位置指示手段２が指示する注視点（指示座標）を算出する。
図５は、注視点位置を取得する処理の内容を表したフローチャートである。処理をスタートすると、制御装置３は撮像手段５から撮影画像を受信している否かを確認する（Ｓ１０１）。この処理は撮影画像の出力周期にあわせて繰り返し行われているものであり、撮影画像が無い場合には繰り返し受信の有無を確認し、撮影画像が有る場合には撮影画像を取得する処理を行う（Ｓ１０２）。
【００３６】
次に、取得した撮影画像の走査を行い、図４に示すように撮影された光源画像から位置の特定を行う（Ｓ１０３）。
図４はX-Y座標で表した受光面Ｗ上における撮影された光源画像Ａ、Ｂ、Ｃを表している。受光面Ｗの縦中心線CLxと横中心線CLyの交点は受光面Ｗの中心点であって、X-Y座標で表される撮影画像の中心位置座標Ｏ（O、O）である。
次に、前記受光面Ｗ中に、映像Ａ、Ｂ、Ｃ全ての光源が存在しているか否かを判断し、３個全ての光源画像が受光面Ｗに存在していなければ、処理の始めに戻り再び撮影画像の取得処理を繰り返し、３個全ての光源画像が受光面Ｗに存在していれば次の処理に移行する（Ｓ１０４）。
３個全ての光源画像が受光面Ｗに存在してる場合には、各光源画像の座標はそれぞれ（Ax、Ay）、（Bx、By）、（Cx、Cy）として取得される。そして、この取得された各座標によって形成される三角形の形状が、回転、拡大、縮小といった変形の無いものである場合には、この各座標から注視点（指示座標）が算出される（Ｓ１０７）。
【００３７】
（注視点（指示座標）の演算）
前記取得された三角形の形状自体に変形が無く補正が不要である場合には、以下の順序で注視点（指示座標）が取得される（図６参照）。
まず、各光源画像の座標Ａ（Ax、Ay）、Ｂ（Bx、By）、Ｃ（Cx、Cy）に基づいて、画像Ａ、Ｂ、Ｃ各間の距離を算出する。次に、各画像Ａ、Ｂ、Ｃ間の距離を算出し、距離の一番長い２点を判定する。本実施の形態では距離が一番長い２点とは直角三角形ＡＢＣにおける斜辺を形成する２点であり、長方形である画面Ｓの対角線の両端部に位置するＡ（Ax、Ay）とＣ（Cx、Cy）である。
このＡ（Ax、Ay）とＣ（Cx、Cy）で形成される斜辺の中間点Ｇ（Gx,Gy）を、テレビＴの画面Ｓの中央位置Ｇ0と一致した座標（第１の位置座標）として取得する。演算式は次の通りである。
【００３８】
画面Ｓの中心Ｇ0に一致する受光面Ｗ上の点Ｇの座標（Gx,Gy）は、撮影された光源によって形成されるＡＣを斜面とする直角三角形ＡＢＣを使用して、以下の２つの演算で求めることができる。
第１は、斜面ＡＣの中間点が画面Ｓの中心Ｇ0と一致することに基づく演算である。すなわち、斜面ＡＣの中間点である第１の位置座標Ｇ1（G1x,G1y）は以下の式で表される。G1x=Ax＋（Cx−Ax）÷２………(1)
G1y=Ay＋（Cy−Ay）÷２………(2)
【００３９】
第２は、Ｘ軸方向に存在する線分ＢＣの中間点が画面Ｓの中心Ｇ0のＸ軸方向の座標であり、Ｙ軸方向に存在する線分ＡＢの中間点が画面Ｓの中心Ｇ0のＹ軸方向の座標であることに基づく演算である。すなわち、ＢＣの中点をG2x、ＡＢの中点をG2yとすると、第２の位置座標Ｇ2（G2x,G2y）は以下の式で表される。
G2x＝Bx＋（Cx−Bx）÷２………(3)
G2y＝Ay＋（By−Ay）÷２………(4)
【００４０】
上記第１の位置座標Ｇ1（G1x,G1y）および第２の位置座標Ｇ2（G2x,G2y）は、それぞれ理論上は一致する座標であるので、第１の位置座標Ｇ1を注視点（指示座標）として取得しても差し支えがない。ただし、本実施の形態では光源画像から取得した座標には誤差が含まれる場合であるので、本実施の形態では、第１の位置座標Ｇ1と第２の位置座標Ｇ2の中間点である補正座標G3を求め、当該補正座標G3を用いて注視点（指示座標）を求めている。
当該補正座標は次式により求められる。
G3x＝（G1x+G2x）÷２………(5)
G3y＝（G1y+G2y）÷２………(6)
撮影された光源画像ＡＢＣが、前述したイニシャル画像の形状と比較して、所定角度回転していたり、拡大や縮小等の変形を伴っていない場合には、次の処理（Ｓ１０７）に移行し上記第１の位置座標Ｇ1、第２の位置座標Ｇ2、補正座標Ｇ3の何れかを用いて注視点（指示座標）を求める。
【００４１】
また、撮影された光源画像ＡＢＣが回転している場合には、座標上における傾きを補正する（Ｓ１０５）。
（角度補正）
撮像した直角三角形ＡＢＣが、受光面Ｗ上において傾いている場合の処理について、図７、図８を用いて説明する。
図７は、撮影された光源の映像であって、直角三角形ＡＢＣの撮影像が受光面Ｗ上で角度θだけ傾いている場合を表している。受光面Ｗ上で直角三角形ＡＢＣが傾いてる場合というのは、テレビＴに向かう軸線上において位置指示手段２が所定角度回転している状態である。
傾斜角度θは次式により求められる。
θ＝tan-1｛（By−Cy）／（Cx−Bx）｝
【００４２】
上記のように撮像した三角形の線分ＢＣがＸ軸に対して平行でない場合には、線分ＢＣがＸ軸と平行になるように、受光面Ｗの中心Ｏ（Ox，Oy）を中心として、三角形ＡＢＣを回転させる。回転後の各頂点の座標（回転後座標）をＡ’（A'x 、A'y）、Ｂ’（B'x、B'y ）、Ｃ’（C'x 、C'y）とすると、各頂点の座標は次式により表される。
A'x = (Ax−Ox)×cosθ−(Ay−Oy)×sinθ+Ox………(7)
A'y = (Ax−Ox)×sinθ＋(Ay−Oy)×cosθ+Oy………(8)
B'x = (Bx−Ox)×cosθ−(By−Oy)×sinθ+Ox………(9)
B'y = (Bx−Ox)×sinθ＋(By−Oy)×cosθ+Oy………(10)
C'x = (Cx−Ox)×cosθ−(Cy−Oy)×sinθ+Ox………(11)
C'y = (Cx−Ox)×sinθ＋(Cy−Oy)×cosθ+Oy………(12)
当該(7)〜(12)式により演算されたA'x、A'y、B'x、B'y、C'x、C'yを前記(1)(2)式若しくは(1)〜(6)式に代入すると、傾きが補正されたＡ’Ｂ’Ｃ’に基づき、撮影したテレビＴの画面Ｓの中心Ｇ’が求められる。
【００４３】
（拡縮補正）
上記角度補正が完了した後（角度補正が無い場合を含む）、拡縮処理を行う（Ｓ１０６）。まず、図３に示したイニシャル画像の直角三角形ＡＢＣに対して、上記回転補正後の三角形Ａ’Ｂ’Ｃ’がどの程度の割合で拡大若しくは縮小しているのかという拡縮率Ｄを、三角形の下辺の線分ＢＣと線分Ｂ’Ｃ’の長さの比として次式によって算出する。なお、拡大および縮小が無い場合には次の処理（Ｓ１０７）に移行し注視点（指示座標）を求める。
Ｄ＝（Ｃ−Ｂ）／（Ｃ’−Ｂ’）………(13)
そして、この拡縮率に基づいて三角形Ａ’Ｂ’Ｃ’の大きさを補正し、補正後の三角形Ａ”（A"x、A"y）、Ｂ”（B"x、B"y）、Ｃ”（C"x、C"y）の各頂点の座標（拡縮後座標）を次式によって演算する（図９、図１０参照）。
A"x = (A'x−Ox)×Ｄ………(14)
A"y = (A'y−Oy)×Ｄ………(15)
B"x = (B'x−Ox)×Ｄ………(16)
B"y = (B'y−Oy)×Ｄ………(17)
C"x = (C'x−Ox)×Ｄ………(18)
C"y = (C'y−Oy)×Ｄ………(19)
当該(14)〜(19)式により演算されたA"x、A"y、B"x、B"y、C"x、C"yを前記(1)(2)式若し
くは(1)〜(6)式に代入すると、傾きが補正されたＡ”Ｂ”Ｃ”に基づき、撮影したテレビＴの画面Ｓの中心Ｇ”が求められる。当該処理の後、次の処理（Ｓ１０７）に移行し注視点（指示座標）を求める。
なお、上記の例では角度補正および拡縮補正について、その都度必要であるか否かの判断を行う例を示している。しかしながら、このような必要であるか否かの判断を伴うことなく、撮影画像のサンプリング全ての場合に角度補正処理（Ｓ１０５）および拡縮処理（Ｓ１０６）を行い、注視点（指示座標）取得処理（Ｓ１０７）を行うようにしても差し支えがない。
【００４４】
上記一連の処理の後、位置指示手段２の示す注視点が、テレビＴの画面Ｓの中の何処を示しているのかを算出する（Ｓ１０７）。位置指示手段２の示す注視点は、撮像画像Ｗの中心点Ｏと一致する。したがって、上記第１の位置座標Ｇ1、第２の位置座標Ｇ2若しくは補正座標Ｇ3と撮像画像Ｗの中心点Ｏとの相対的な位置関係によって位置指示手段２の示す注視点が画面Ｓ上のどの位置を示しているのかを求めることが出来る。
そして、この注視点の座標情報を制御装置３によって別途駆動されているシステムプログラム、ゲームプログラム等に提供することで（Ｓ１０８）、位置指示手段２を画面上の特定の位置を指示するポインティングデバイスとして使用することができるようになっている。上記処理は、所定のサイクルで繰り返し行われるものであり、使用者による終了操作等が行われると終了（Ｓ１０９）する。
【００４５】
注視点の座標情報をゲームプログラムに提供する場合には、一例としてゲームプログラム側に注視点の座標情報を取得するためのインターフェイス（処理関数）を設け、当該インターフェイスを介して注視点の座標情報をゲームプログラム側に入力されるようになっている。
この場合、ゲーム画面の座標系に合わせて変換された注視点の座標情報がゲームプログラム側に引き渡される。例えば、ゲーム画面のサイズがWg×Hgであり、撮像手段５の受光センサのサイズがWc×Hcであるとする。そして、当該受光センサの中心位置座標がＯ（Ox、Oy）であり、上記処理Ｓ１０７で取得された注視点の座標をG1x、G1yとすると、次式によって変換された座標Gg（Xg、Xg）がゲームプログラム側に引き渡される。
Xg＝（Wg÷２）＋（Ox−G1x）×（Wg÷Wc）………(21)
Yg＝（Hg÷２）＋（Oy−G1y）×（Hg÷Hc）………(22)
【００４６】
その他、前述した位置指示手段２の傾き角度は、制御装置３に対する制御情報としても利用することができる。例えばハンドル操作によって車を運転するゲーム等の場合には、位置指示手段２の傾き角度をハンドルの回転角度として入力させ、ゲーム内で車両の進行方向を変更させることができる。このように、傾き角度の変化を位置指示手段２の回転動作として認識し利用することが出来るものである。
また、前述した拡縮率も同様に、制御装置３に対する制御情報としても利用することができる。例えば位置指示手段２を槍のような武器に見立てたゲームの場合、画面に向かって突くような動作を拡縮率の変化によって検出することができる。このように、拡縮率の変化を位置指示手段２の前後方向の動作として認識し利用することが出来るものである。
【００４７】
次に、前記注視点を検出できない場合について説明する。前記注視点取得処理のプログラムは、光源４ａ、４ｂ、４を図３に示す姿勢で配置した場合、撮影した光源で構成される三角形の各辺の比が「左辺の長さ＜下辺の長さ＜斜辺の長さ」という条件を満たす場合に注視点検出処理が可能である。この条件を追加することで、注視点、姿勢および距離検出システムの精度を保ち、処理を簡素化することができるからである。当該条件を満たさない事例を図１１（ａ）〜図１１（Ｄ）に示す。
【００４８】
図１１（ａ）に示した三角形の形状は、下辺ＢＣの長さが左辺ＡＢの長さより短い場合
であり、画面Ｓを正面に対して左側からほぼ垂直に近い位置で撮像した画像である。
図１１（ｂ）に示した三角形の形状は、斜辺ＡＣの長さが下辺ＢＣの長さより短い場合であり、画面Ｓを正面に対して下側からほぼ垂直に近い位置で撮像した画像である。
図１１（ｃ）に示した三角形の形状は、下辺ＢＣの長さが左辺ＡＢの長さより短い場合であり、画面Ｓを正面に対して右側からほぼ垂直に近い位置で撮像した画像である。
図１１（Ｄ）に示した三角形の形状は、下辺の長さＢＣが左辺ＡＢの長さより短い場合であり、画面Ｓを正面に対して上側からほぼ垂直に近い位置で撮像した画像である。
【００４９】
以上説明した指示装置は、直角三角形を成すように配置した光源を利用して、位置指示手段２による画面の指示位置を検出するものである。
光源を直角三角形状に配置したのは、画像を表示するディスプレイやスクリーン等の画像表示エリアは概ね長方形状を成しており、光源を画像表示エリアの隅部に配置すると直角三角形状の中で一番長い線分である斜辺の中央が画像表示エリアの中央と一致するからである。本発明では、この性質を利用することで複雑な演算を行うことなく画像表示エリアの中央位置を求めるとともに、画像表示エリア上の位置指示手段による指示位置を求めることができるようになっている。
また、斜辺以外の縦辺と横辺の中間点は、画像表示エリアの縦軸方向と横軸方向の中間点と一致するので、縦軸方向の中間点を通過する横方向の線分と横軸方向の中間点を通過する縦方向の線分の交点が画像表示エリアの中央と一致することになる。この条件と、上記直角三角形状の斜辺を利用した画像表示エリアの中央位置を求める条件の２通りの方法によって演算を行うと、より精度の高い画像表示エリアの中央位置および画像表示エリア上の位置指示手段による指示位置を求めることができるようになっている。
【００５０】
本発明に係る指示装置および当該装置に用いる方法は、画面表示エリアの大きさに関係なく用いることができるものである。例えば、画面表示エリアが大小各種サイズのテレビであったり、プロジェクターによってスクリーンや壁に投影される大きな映像を表示するものであっても差し支えがないものである。
また、光源にはＬＥＤ等の赤外線を発光するものが好ましいが、表示されている画像と光源を識別できる性質のものであれば、赤外線を発光するものに限らない。また、光源に供給する電力は、制御装置３によって供給する場合の他、制御装置３とは異なる電源から供給されるものであっても差し支えない。また、光源は、特定の周期で発光させたり制御装置と同期させる等の発光制御を不要としているので、特別なハードウエア上の装置やソフト制御は不要である。
【００５１】
以上説明した指示装置および当該装置に用いる方法は、一例としてガンシューティング等の画面上に表示された的を撃つというようなゲーム機あるいはゲームソフト、パソコンに用いるマウスのようなポインティングデバイスとしても利用可能である。すなわち、コンピュータ制御によって映像表示が行われる装置において、映像が表示されている画面上の特定位置を指し示す用途で使用するものであれば、ゲームに限らず適用できるものである。
【産業上の利用可能性】
【００５２】
本発明は、パソコン入力用のポインティングデバイス、ゲーム装置用のコントローラーに利用可能である。
【符号の説明】
【００５３】
１ 指示位置検出装置（指示装置）
２ 位置指示手段（コントローラー）
３ 制御装置
４（４ａ、４ｂ、４ｃ） 光源
５ 撮像手段
６ スイッチ
７ ＣＰＵ
８ 制御部
９ インターフェイス
１０ 読取手段
【特許請求の範囲】
【請求項１】
撮影した画像を連続的に出力する撮像手段を設けた位置指示手段と、
プログラムを実行する演算手段を有するとともに当該プログラムの実行に基づいて映像を出力する制御手段と、
前記制御手段の出力によって表示された映像の隅部に互いを結ぶ線分が直角三角形を成すように配置した３個の光源を有し、
前記撮像手段によって撮影される画像の中心位置座標と、当該撮影画像中の３個の光源のうち距離が最長となる一組の光源の中間位置である第１の位置座標若しくは当該第１の位置座標を補正した補正座標に基づいて、前記制御手段の出力によって表示された映像中における前記位置指示手段によって指示された指示座標を取得するようになっていることを特徴とする指示位置検出装置。
【請求項２】
前記位置指示手段によって指示された指示座標に基づいて、指示していることを示す映像を表示するようになっていることを特徴とする請求項１記載の指示位置検出装置。
【請求項３】
前記補正座標が、前記撮影画像中の３個の光源のうち距離が最長となる一組の光源を除く２組の光源間の中間位置を縦軸方向の座標若しくは横軸方向の座標とした第２の位置座標と、前記第１の位置座表との中間位置であることを特徴とする請求項１または２記載の指示位置検出装置。
【請求項４】
前記第１の位置座標が、前記撮像手段によって撮影される画像の中心位置を原点として、撮影された３個の光源を演算によって所定角度回転させた後の各光源の回転後座標であることを特徴とする請求項１乃至３の何れか一項記載の指示位置検出装置。
【請求項５】
前記第２の位置座標が、前記撮像手段によって撮影される画像の中心位置を原点として、撮影された３個の光源を演算によって所定角度回転させた後の回転後座標であることを特徴とする請求項４記載の指示位置検出装置。
【請求項６】
前記所定角度が、前記撮像手段による撮影方向を軸とした位置指示手段の回転角度であることを特徴とする請求項４または５記載の指示位置検出装置。
【請求項７】
前記第１の位置座標が、前記撮像手段によって撮影される画像の中心位置を原点として、撮影された３個の光源位置を演算によって所定の拡縮率で拡大若しくは縮小した後の拡縮後座標であることを特徴とする請求項４記載の指示位置検出装置。
【請求項８】
前記第２の位置座標が、前記撮像手段によって撮影される画像の中心位置を原点として、撮影された３個の光源位置を演算によって所定の拡縮率で拡大若しくは縮小した後の拡縮後座標であることを特徴とする請求項５記載の指示位置検出装置。
【請求項９】
前記拡縮率に基づいて、前記光源を配置した映像表示面と位置指示手段との距離を演算によって求めるようになっていることを特徴とする請求項７または８記載の指示位置検出装置。
【請求項１０】
前記撮像手段に結像する画像を任意に拡大若しくは縮小する光学系手段を有したことを特徴とする請求項１乃至９の何れか一項記載の指示位置検出装置。
【請求項１１】
前記位置指示手段に、操作の有無を前記制御手段によって検出させることができるスイッチを設けたことを特徴とする請求項１乃至１０の何れか一項記載の指示位置検出装置。
【請求項１２】
撮像装置を内蔵した位置指示手段によって指示された映像表示面上の位置を検出する指示位置検出方法であって、
３個の光源を直角三角形の頂点となるように映像表示面の隅部付近に配置するとともに当該３個の光源が発光する光を前記撮像装置によって撮影し、
当該撮影された光源の光が形成する三角形の最長となる２点間の中心位置を前記映像表示面の中心位置として認識し、
前記撮像装置によって撮影された撮影画像の中心位置を、前記認識された映像表示面の中心位置を基準とした位置座標として出力することを特徴とする指示位置検出方法。
【請求項１３】
前記出力される位置座標は、前記撮像装置によって撮影された光源の光が形成する三角形の形状、姿勢、大きさに基づいて補正されていることを特徴とする請求項１２記載の指示位置検出方法。
【請求項１】
撮影した画像を連続的に出力する撮像手段を設けた位置指示手段と、
プログラムを実行する演算手段を有するとともに当該プログラムの実行に基づいて映像を出力する制御手段と、
前記制御手段の出力によって表示された映像の隅部に互いを結ぶ線分が直角三角形を成すように配置した３個の光源を有し、
前記撮像手段によって撮影される画像の中心位置座標と、当該撮影画像中の３個の光源のうち距離が最長となる一組の光源の中間位置である第１の位置座標若しくは当該第１の位置座標を補正した補正座標に基づいて、前記制御手段の出力によって表示された映像中における前記位置指示手段によって指示された指示座標を取得するようになっていることを特徴とする指示位置検出装置。
【請求項２】
前記位置指示手段によって指示された指示座標に基づいて、指示していることを示す映像を表示するようになっていることを特徴とする請求項１記載の指示位置検出装置。
【請求項３】
前記補正座標が、前記撮影画像中の３個の光源のうち距離が最長となる一組の光源を除く２組の光源間の中間位置を縦軸方向の座標若しくは横軸方向の座標とした第２の位置座標と、前記第１の位置座表との中間位置であることを特徴とする請求項１または２記載の指示位置検出装置。
【請求項４】
前記第１の位置座標が、前記撮像手段によって撮影される画像の中心位置を原点として、撮影された３個の光源を演算によって所定角度回転させた後の各光源の回転後座標であることを特徴とする請求項１乃至３の何れか一項記載の指示位置検出装置。
【請求項５】
前記第２の位置座標が、前記撮像手段によって撮影される画像の中心位置を原点として、撮影された３個の光源を演算によって所定角度回転させた後の回転後座標であることを特徴とする請求項４記載の指示位置検出装置。
【請求項６】
前記所定角度が、前記撮像手段による撮影方向を軸とした位置指示手段の回転角度であることを特徴とする請求項４または５記載の指示位置検出装置。
【請求項７】
前記第１の位置座標が、前記撮像手段によって撮影される画像の中心位置を原点として、撮影された３個の光源位置を演算によって所定の拡縮率で拡大若しくは縮小した後の拡縮後座標であることを特徴とする請求項４記載の指示位置検出装置。
【請求項８】
前記第２の位置座標が、前記撮像手段によって撮影される画像の中心位置を原点として、撮影された３個の光源位置を演算によって所定の拡縮率で拡大若しくは縮小した後の拡縮後座標であることを特徴とする請求項５記載の指示位置検出装置。
【請求項９】
前記拡縮率に基づいて、前記光源を配置した映像表示面と位置指示手段との距離を演算によって求めるようになっていることを特徴とする請求項７または８記載の指示位置検出装置。
【請求項１０】
前記撮像手段に結像する画像を任意に拡大若しくは縮小する光学系手段を有したことを特徴とする請求項１乃至９の何れか一項記載の指示位置検出装置。
【請求項１１】
前記位置指示手段に、操作の有無を前記制御手段によって検出させることができるスイッチを設けたことを特徴とする請求項１乃至１０の何れか一項記載の指示位置検出装置。
【請求項１２】
撮像装置を内蔵した位置指示手段によって指示された映像表示面上の位置を検出する指示位置検出方法であって、
３個の光源を直角三角形の頂点となるように映像表示面の隅部付近に配置するとともに当該３個の光源が発光する光を前記撮像装置によって撮影し、
当該撮影された光源の光が形成する三角形の最長となる２点間の中心位置を前記映像表示面の中心位置として認識し、
前記撮像装置によって撮影された撮影画像の中心位置を、前記認識された映像表示面の中心位置を基準とした位置座標として出力することを特徴とする指示位置検出方法。
【請求項１３】
前記出力される位置座標は、前記撮像装置によって撮影された光源の光が形成する三角形の形状、姿勢、大きさに基づいて補正されていることを特徴とする請求項１２記載の指示位置検出方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【公開番号】特開２０１２−１１３４９４（Ｐ２０１２−１１３４９４Ａ）
【公開日】平成２４年６月１４日（２０１２．６．１４）
【国際特許分類】
【出願番号】特願２０１０−２６１５２９（Ｐ２０１０−２６１５２９）
【出願日】平成２２年１１月２４日（２０１０．１１．２４）
【出願人】（５０３１８３４９９）エス・エー・エス株式会社 (6)
【出願人】（５１０３１０４２８）株式会社ドレミオ (1)
【Ｆターム（参考）】
【公開日】平成２４年６月１４日（２０１２．６．１４）
【国際特許分類】
【出願日】平成２２年１１月２４日（２０１０．１１．２４）
【出願人】（５０３１８３４９９）エス・エー・エス株式会社 (6)
【出願人】（５１０３１０４２８）株式会社ドレミオ (1)
【Ｆターム（参考）】
[ Back to top ]