入力装置及びこれを用いた操作システム
【課題】本発明は、ゲーム内におけるユーザの臨場感や体感性を高めること、容易かつ直感的な操作を実現すること、さらには、操作環境の制約を緩和することが可能な入力装置を提供することを目的とする。
【解決手段】本発明に係る入力装置１は、動画撮影を行い、所定のフレームレートで撮像データを逐次生成する撮像部１１と；各フレームの撮像データから特徴点を抽出し、現フレームの撮像データから抽出される特徴点と、これよりも前のフレームの撮像データから抽出される特徴点とを比較することで、両フレーム間における前記特徴点の移動方向及び移動量を算出する画像処理部１２と；前記特徴点の移動方向とは逆の移動方向を指示し、かつ、前記特徴点の移動量に応じた移動量を指示する制御信号を生成し、これをホスト装置２に送出する制御信号生成部１３と；を有して成る構成とされている。
【解決手段】本発明に係る入力装置１は、動画撮影を行い、所定のフレームレートで撮像データを逐次生成する撮像部１１と；各フレームの撮像データから特徴点を抽出し、現フレームの撮像データから抽出される特徴点と、これよりも前のフレームの撮像データから抽出される特徴点とを比較することで、両フレーム間における前記特徴点の移動方向及び移動量を算出する画像処理部１２と；前記特徴点の移動方向とは逆の移動方向を指示し、かつ、前記特徴点の移動量に応じた移動量を指示する制御信号を生成し、これをホスト装置２に送出する制御信号生成部１３と；を有して成る構成とされている。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ユーザ操作を受け付ける入力装置、及び、これを用いた操作システムに関するものである。
【背景技術】
【０００２】
従来より、画面上における操作対象（キャラクタやカーソルなど）の移動方向及び移動量を指示するための入力装置としては、十字キーやアナログスティックを備えたゲームコントローラ、若しくは、機械式または光学式のマウスなどが一般に用いられている（例えば、特許文献１、２を参照）。
【０００３】
例えば、ゲームコントローラを用いて画面上におけるキャラクタを移動させる場合、押下された十字キーの種類（上下左右）やアナログスティックの傾斜方向に応じて、キャラクタの移動方向が指示され、また、十字キーの押下回数や押下時間、若しくは、アナログスティックの傾斜量に応じて、キャラクタの移動量が指示されていた。
【０００４】
また、マウスを用いて画面上におけるカーソルを移動させる場合、机上を画面に見立てたマウスの２次元的な移動に応じて、カーソルの移動方向及び移動量が指示されていた。
【特許文献１】特開平８−５２２７５号公報
【特許文献２】特開平６−１８０６２７号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
確かに、上記従来の入力装置を用いれば、画面上における操作対象の移動方向及び移動量を指示することが可能である。
【０００６】
しかしながら、上記従来の入力装置は、指先によるキー操作や机上でのマウス操作を反映して、画面上における操作対象の移動方向及び移動量を指示するものであるため、以下のような課題を有していた。
【０００７】
例えば、上記従来のゲームコントローラを用いて、ゲームのキャラクタを操作する際には、ゲーム内におけるユーザの臨場感や体感性が損なわれるほか、手や指にハンディキャップを持つユーザ、或いは、手先が器用でない子供やお年寄りにとっては、必ずしもそのキー操作が容易ないし直感的でないという課題があった。
【０００８】
また、上記従来のマウスを用いて、画面上のカーソルを操作する際には、マウスを机上（ないしは平面上）で操作する必要があり、その操作環境に少なからず制約があった。
【０００９】
本発明は、上記の問題点に鑑み、ゲーム内におけるユーザの臨場感や体感性を高めること、容易かつ直感的な操作を実現すること、さらには、操作環境の制約を緩和することが可能な入力装置、及び、これを用いた操作システムを提供することを目的とする。
【課題を解決するための手段】
【００１０】
上記目的を達成するために、本発明に係る入力装置は、動画撮影を行い、所定のフレームレートで撮像データを逐次生成する撮像部と；各フレームの撮像データから特徴点を抽出し、現フレームの撮像データから抽出される特徴点と、これよりも前のフレームの撮像データから抽出される特徴点とを比較することで、両フレーム間における前記特徴点の移動方向及び移動量を算出する画像処理部と；前記特徴点の移動方向とは逆の移動方向を指示し、かつ、前記特徴点の移動量に応じた移動量を指示する制御信号を生成し、これをホスト装置に送出する制御信号生成部と；を有して成る構成（第１の構成）とされている。
【００１１】
なお、上記第１の構成から成る入力装置において、前記画像処理部は、フレーム毎に複数の特徴点を抽出し、各フレーム間で互いに対応する特徴点同士、或いは、複数の特徴点で形成される図形同士を比較する構成（第２の構成）にするとよい。
【００１２】
また、上記第２の構成から成る入力装置において、前記画像処理部は、各フレーム間における前記特徴点の移動方向及び移動量に加えて、前記特徴点の回転方向及び回転量を算出するものであり、前記制御信号生成部は、前記特徴点の回転方向とは逆の回転方向を指示し、かつ、前記特徴点の回転量に応じた回転量を指示する制御信号を生成し、これを前記ホスト装置に送出するものである構成（第３の構成）にするとよい。
【００１３】
また、本発明に係る操作システムは、上記第１〜第３いずれかの構成から成る入力装置と、前記入力装置から入力される前記制御信号に基づいて所定の処理を実行するホスト装置と、を有して成る構成（第４の構成）とされている。
【００１４】
なお、上記第４の構成から成る操作システムにて、前記ホスト装置は、前記制御信号によって指示される移動方向及び移動量、及び／または、回転方向及び回転量に基づいて、表示装置上の操作対象を移動及び／または回転させる構成（第５の構成）にするとよい。
【発明の効果】
【００１５】
本発明に係る入力装置であれば、ゲーム内におけるユーザの臨場感や体感性を高めること、容易かつ直感的な操作を実現すること、さらには、操作環境の制約を緩和することが可能となる。
【発明を実施するための最良の形態】
【００１６】
図１は、本発明に係る操作システムの一実施形態を示すブロック図である。
【００１７】
図１に示すように、本発明に係る操作システムは、入力装置１と、ホスト装置２と、表示装置３と、を有して成る。
【００１８】
入力装置１は、表示装置３の画面上における操作対象（キャラクタやカーソルなど）の移動方向及び移動量、ないしは、回転方向及び回転量を指示するためのユーザ操作を受け付ける手段であり、撮像部１１と、画像処理部１２と、制御信号生成部１３と、操作処理部１４と、操作部１５と、を有して成る。
【００１９】
撮像部１１は、動画撮影を行い、所定のフレームレートで撮像データを逐次生成する手段であり、その光電変換素子としては、ＣＣＤ［Charge Coupled Devices］センサやＣＭＯＳ［Complementary Metal Oxide Semiconductor］センサなどを用いることができる。
【００２０】
画像処理部１２は、撮像部１１で得られた撮像データを解析する手段である。なお、画像処理部１２における撮像データの解析処理については、後ほど具体例を挙げながら詳細に説明する。
【００２１】
制御信号生成部１３は、画像処理部１２における撮像データの解析結果に基づいて、操作対象（表示装置３に表示されるキャラクタやカーソルなど）の移動方向や移動量、ないしは、回転方向や回転量を指示する制御信号ＣＴＲＬを生成し、これをホスト装置２に送出する手段である。なお、制御信号生成部１３における制御信号ＣＴＲＬの生成処理については、後ほど具体例を挙げながら詳細に説明する。
【００２２】
操作処理部１４は、操作部１５で受け付けられたユーザ操作に基づいて、これを反映した制御信号ＣＴＲＬを生成すべく、制御信号生成部１３の制御を行う手段である。
【００２３】
操作部１５は、ユーザ操作を受け付ける手段である。なお、操作部１５としては、操作対象の移動指示以外に用いられるボタンやキーなどが想定されるが、十字キーやアナログスティックなど、従来通りの移動指示に用いられるキーを含むものであっても構わない。
【００２４】
ホスト装置２は、入力装置１から所定の伝送路（有線または無線）を介して入力される制御信号ＣＴＲＬに基づいて、所定の処理（本実施形態では、表示装置３に対する表示制御）を実行する手段であり、例えば、ゲーム機やパーソナルコンピュータなどを用いることができる。
【００２５】
表示装置３は、ホスト装置２からの指示に基づいて、入力装置１による操作対象（キャラクタやカーソルなど）を含む画面表示を行う手段であり、例えば、液晶ディスプレイなどを用いることができる。
【００２６】
次に、上記構成から成る入力装置１を用いて、操作対象の移動方向及び移動量を指示する動作について、図２を参照しながら詳細に説明する。
【００２７】
図２は、移動方向及び移動量の指示動作を説明するための図である。なお、図２（ａ）は、入力装置１で得られる撮像データを模式的に示したものであり、図２（ｂ）は、表示装置３の表示画面を模式的に示したものである。
【００２８】
入力装置１を用いて、操作対象の移動方向及び移動量を指示する場合、画像処理部１２は、まず、各フレームの撮像データから特徴点Ｐを抽出し、現フレームの撮像データから抽出される特徴点Ｐと、これよりも前のフレーム（本実施形態では直前のフレーム）の撮像データから抽出される特徴点Ｐ’とを比較することで、両フレーム間における特徴点Ｐの移動方向及び移動量（すなわち、特徴点Ｐ’から特徴点Ｐに至るための移動方向及び移動量）を算出する。
【００２９】
例えば、図２（ａ）で示すように、ユーザがカメラ（撮像部１１）を右へパンニングした場合、現フレームの特徴点Ｐは、先のフレームの特徴点Ｐ’から相対的に左へ所定量αだけシフトされる。従って、画像処理部１２では、両フレーム間における特徴点Ｐの移動方向が「左」で、移動量が「α」であると算出される。また、ユーザがカメラを上へチルティングした場合、現フレームの特徴点Ｐは、先のフレームの特徴点Ｐ’から相対的に下へ所定量βだけシフトされる。従って、画像処理部１２では、両フレーム間における特徴点Ｐの移動方向が「下」で、移動量が「β」であると算出される。カメラが左へパンニングされた場合や下へチルティングされた場合も、上記と同様である。
【００３０】
なお、図２（ａ）の例では、撮像部１１によって表示装置３を撮影し、表示装置３の外枠の対角線同士を結んだ交点を特徴点Ｐとして抽出する様子を示しているが、本発明の構成はこれに限定されるものではなく、表示装置３に表示された固定画像（背景画像や枠画像、特徴点抽出用に予め埋め込み表示された専用マークなど）から特徴点Ｐを抽出する構成としてもよい。また、撮像部１１による撮影対象についても、表示装置３に限定されるものではなく、特徴点Ｐが適切に抽出し得る限り、いかなる対象を撮影しても構わない。
【００３１】
また、図２（ａ）では、現フレームの特徴点Ｐと、直前フレームの特徴点Ｐ’とを比較する構成を例示して説明を行ったが、本発明の構成は、これに限定されるものではなく、例えば、最初に抽出された特徴点を基準特徴点Ｐ０とし、以後、各フレームから抽出される特徴点Ｐと基準特徴点Ｐ０とを比較する構成としても構わない。
【００３２】
上記したように、画像処理部１２において、特徴点Ｐの移動方向及び移動量が算出されると、制御信号生成部１３では、特徴点Ｐの移動方向とは逆の移動方向を指示し、かつ、特徴点Ｐの移動量に応じた移動量を指示する制御信号ＣＴＲＬが生成され、これがホスト装置２に送出される。
【００３３】
上記の例に即して述べると、画像処理部１２において、両フレーム間における特徴点Ｐの移動方向が「左」で、移動量が「α」であると算出された場合、制御信号生成部１３では、特徴点Ｐの移動方向「左」とは逆の移動方向「右」を指示し、かつ、特徴点Ｐの移動量「α」に応じた移動量「ｋ×α（ただしｋ＞０）」を指示する制御信号ＣＴＲＬが生成される。また、その他の場合も同様の処理に基づいて、制御信号ＣＴＲＬが生成される。
【００３４】
上記の制御信号ＣＴＲＬの入力を受けたホスト装置２は、制御信号ＣＴＲＬによって指示される移動方向及び移動量に基づいて、表示装置３に表示される操作対象（図２（ｂ）の例ではカーソルＣ）を移動させる。その結果、表示装置３に表示されるカーソルＣは、ユーザがカメラを上下左右に振り向けたことに伴い、それと同等の挙動で上下左右に移動することになる。なお、図２（ｂ）では、現フレームのカーソルＣと、直前フレームのカーソルＣ’とが比較し得る形で描写されている。
【００３５】
次に、上記構成から成る入力装置１を用いて、操作対象の回転方向及び回転量を指示する動作について、図３を参照しながら詳細に説明する。
【００３６】
図３は、回転方向及び回転量の指示動作を説明するための図である。なお、図３（ａ）は、入力装置１で得られる撮像データを模式的に示したものであり、図３（ｂ）は、表示装置３の表示画面を模式的に示したものである。
【００３７】
入力装置１を用いて、操作対象の回転方向及び回転量を指示する場合、画像処理部１２は、まず、各フレームの撮像データから複数の特徴点Ｐ１〜Ｐ４を抽出し、各フレーム間で互いに対応する特徴点Ｐ１〜Ｐ４同士、或いは、複数の特徴点Ｐ１〜Ｐ４で形成される図形同士を比較することで、両フレーム間における特徴点Ｐ１〜Ｐ４の回転方向及び回転量を算出する。
【００３８】
例えば、図３（ａ）で示すように、ユーザがカメラを時計回りにα°だけ回転させた場合、現フレームの特徴点Ｐ１〜Ｐ４は、先のフレームの特徴点Ｐ１’〜Ｐ４’（不図示）から各々相対的に反時計回りにα°だけシフトされる。従って、画像処理部１２では、両フレーム間における特徴点Ｐ１〜Ｐ４の回転方向が「反時計回り」で、回転量が「α°」であると算出される。また、ユーザがカメラを反時計回りにβ°だけ回転させた場合、現フレームの特徴点Ｐ１〜Ｐ４は、先のフレームの特徴点Ｐ１’〜Ｐ４’から各々相対的に時計回りにβ°だけシフトされる。従って、画像処理部１２では、両フレーム間における特徴点Ｐ１〜Ｐ４の回転方向が「時計回り」で、回転量が「β°」であると算出される。
【００３９】
なお、図３（ａ）の例では、撮像部１１によって表示装置３を撮影し、表示装置３の外枠の四隅を特徴点Ｐ１〜Ｐ４として抽出する様子を示しているが、本発明の構成はこれに限定されるものではなく、表示装置３に表示された固定画像（背景画像や枠画像、特徴点抽出用に予め埋め込み表示された専用マークなど）から特徴点Ｐを抽出する構成としてもよい。また、撮像部１１による撮影対象についても、表示装置３に限定されるものではなく、複数の特徴点が適切に抽出し得る限り、いかなる対象を撮影しても構わない。
【００４０】
上記したように、画像処理部１２において、特徴点Ｐ１〜Ｐ４の回転方向及び回転量が算出されると、制御信号生成部１３では、特徴点Ｐ１〜Ｐ４の回転方向とは逆の回転方向を指示し、かつ、特徴点Ｐ１〜Ｐ４の回転量に応じた回転量を指示する制御信号ＣＴＲＬが生成され、これがホスト装置２に送出される。
【００４１】
先の例に即して述べると、画像処理部１２において、両フレーム間における特徴点Ｐ１〜Ｐ４の回転方向が「反時計回り」で、回転量が「α°」であると算出された場合、制御信号生成部１３では、特徴点Ｐ１〜Ｐ４の回転方向「反時計回り」とは逆の回転方向「時計回り」を指示し、かつ、特徴点Ｐ１〜Ｐ４の回転量「α°」に応じた移動量「ｋ×α°（ただしｋ＞０）」を指示する制御信号ＣＴＲＬが生成される。また、逆回転の場合も同様の処理に基づいて、制御信号ＣＴＲＬが生成される。
【００４２】
上記の制御信号ＣＴＲＬの入力を受けたホスト装置２は、制御信号ＣＴＲＬによって指示される回転方向及び回転量に基づいて、表示装置３に表示される操作対象（図３（ｂ）の例ではヘリコプタの形状をしたキャラクタ）を回転させる。その結果、表示装置３に表示されるキャラクタは、ユーザがカメラを時計回り或いは反時計回りにひねったことに伴い、それと同等の挙動で、時計回り或いは反時計回りに回転することになる。
【００４３】
なお、図３（ａ）、（ｂ）の例では、操作対象の回転方向及び回転量を指示するに際して、複数の特徴点Ｐ１〜Ｐ４を抽出する例を挙げたが、このような複数の特徴点Ｐ１〜Ｐ４に基づいて、操作対象の移動方向及び移動量を指示することも当然に可能である。その際には、特徴点Ｐ１〜Ｐ４毎の移動方向及び移動量を求めて、それらの平均値を算出してもよいし、或いは、特徴点Ｐ１〜Ｐ４から形成される図形（図３（ａ）の場合には、長方形）の重心点Ｘ（不図示）を求めて、フレーム間における重心点Ｘの移動方向及び移動量を算出しても構わない。
【００４４】
上記で説明したように、本発明に係る入力装置１、及び、これを用いた操作システムであれば、指先での操作に比べて、ユーザの意思反映度合いが強調されるため、ゲーム内におけるユーザの臨場感や体感性を高めることが可能となる。
【００４５】
また、手や指にハンディキャップを持つユーザ、或いは、手先が器用でない子供やお年寄りにとっても、容易かつ直感的な操作を実現することが可能となる。例えば、寝たきりのユーザであっても、本発明に係る入力装置１を備えたヘッドギアをかぶり、表示装置３を見ながら、頭や首のわずかな動きだけで、操作対象の位置指定が可能となる。
【００４６】
また、上記従来のマウスと異なり、入力装置１を机上（ないしは平面上）で操作する必要はないため、その操作環境の制約を緩和することが可能となる。
【００４７】
なお、上記の実施形態では、入力装置１からの制御信号ＣＴＲＬに基づいて、表示装置３に表示される操作対象の移動ないし回転を制御する構成を例に挙げて説明を行ったが、本発明の構成はこれに限定されるものではなく、ホスト装置２は、制御信号ＣＴＲＬに基づいて、その他の処理（例えば、スピーカ等を用いた移動方向や移動量の報知制御）を実行する構成としても構わない。
【００４８】
また、本発明の構成は、上記実施形態のほか、発明の主旨を逸脱しない範囲で種々の変更を加えることが可能である。
【産業上の利用可能性】
【００４９】
本発明は、ユーザ操作を受け付ける入力装置、及び、これを用いた操作システムの利便性を高める上で有用な技術である。
【図面の簡単な説明】
【００５０】
【図１】は、本発明に係る操作システムの一実施形態を示すブロック図である。
【図２】は、移動方向及び移動量の指示動作を説明するための図である。
【図３】は、回転方向及び回転量の指示動作を説明するための図である。
【符号の説明】
【００５１】
１ 入力装置
１１ 撮像部
１２ 画像処理部
１３ 制御信号生成部
１４ 操作処理部
１５ 操作部
２ ホスト装置（ゲーム機、パーソナルコンピュータなど）
３ 表示装置
【技術分野】
【０００１】
本発明は、ユーザ操作を受け付ける入力装置、及び、これを用いた操作システムに関するものである。
【背景技術】
【０００２】
従来より、画面上における操作対象（キャラクタやカーソルなど）の移動方向及び移動量を指示するための入力装置としては、十字キーやアナログスティックを備えたゲームコントローラ、若しくは、機械式または光学式のマウスなどが一般に用いられている（例えば、特許文献１、２を参照）。
【０００３】
例えば、ゲームコントローラを用いて画面上におけるキャラクタを移動させる場合、押下された十字キーの種類（上下左右）やアナログスティックの傾斜方向に応じて、キャラクタの移動方向が指示され、また、十字キーの押下回数や押下時間、若しくは、アナログスティックの傾斜量に応じて、キャラクタの移動量が指示されていた。
【０００４】
また、マウスを用いて画面上におけるカーソルを移動させる場合、机上を画面に見立てたマウスの２次元的な移動に応じて、カーソルの移動方向及び移動量が指示されていた。
【特許文献１】特開平８−５２２７５号公報
【特許文献２】特開平６−１８０６２７号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
確かに、上記従来の入力装置を用いれば、画面上における操作対象の移動方向及び移動量を指示することが可能である。
【０００６】
しかしながら、上記従来の入力装置は、指先によるキー操作や机上でのマウス操作を反映して、画面上における操作対象の移動方向及び移動量を指示するものであるため、以下のような課題を有していた。
【０００７】
例えば、上記従来のゲームコントローラを用いて、ゲームのキャラクタを操作する際には、ゲーム内におけるユーザの臨場感や体感性が損なわれるほか、手や指にハンディキャップを持つユーザ、或いは、手先が器用でない子供やお年寄りにとっては、必ずしもそのキー操作が容易ないし直感的でないという課題があった。
【０００８】
また、上記従来のマウスを用いて、画面上のカーソルを操作する際には、マウスを机上（ないしは平面上）で操作する必要があり、その操作環境に少なからず制約があった。
【０００９】
本発明は、上記の問題点に鑑み、ゲーム内におけるユーザの臨場感や体感性を高めること、容易かつ直感的な操作を実現すること、さらには、操作環境の制約を緩和することが可能な入力装置、及び、これを用いた操作システムを提供することを目的とする。
【課題を解決するための手段】
【００１０】
上記目的を達成するために、本発明に係る入力装置は、動画撮影を行い、所定のフレームレートで撮像データを逐次生成する撮像部と；各フレームの撮像データから特徴点を抽出し、現フレームの撮像データから抽出される特徴点と、これよりも前のフレームの撮像データから抽出される特徴点とを比較することで、両フレーム間における前記特徴点の移動方向及び移動量を算出する画像処理部と；前記特徴点の移動方向とは逆の移動方向を指示し、かつ、前記特徴点の移動量に応じた移動量を指示する制御信号を生成し、これをホスト装置に送出する制御信号生成部と；を有して成る構成（第１の構成）とされている。
【００１１】
なお、上記第１の構成から成る入力装置において、前記画像処理部は、フレーム毎に複数の特徴点を抽出し、各フレーム間で互いに対応する特徴点同士、或いは、複数の特徴点で形成される図形同士を比較する構成（第２の構成）にするとよい。
【００１２】
また、上記第２の構成から成る入力装置において、前記画像処理部は、各フレーム間における前記特徴点の移動方向及び移動量に加えて、前記特徴点の回転方向及び回転量を算出するものであり、前記制御信号生成部は、前記特徴点の回転方向とは逆の回転方向を指示し、かつ、前記特徴点の回転量に応じた回転量を指示する制御信号を生成し、これを前記ホスト装置に送出するものである構成（第３の構成）にするとよい。
【００１３】
また、本発明に係る操作システムは、上記第１〜第３いずれかの構成から成る入力装置と、前記入力装置から入力される前記制御信号に基づいて所定の処理を実行するホスト装置と、を有して成る構成（第４の構成）とされている。
【００１４】
なお、上記第４の構成から成る操作システムにて、前記ホスト装置は、前記制御信号によって指示される移動方向及び移動量、及び／または、回転方向及び回転量に基づいて、表示装置上の操作対象を移動及び／または回転させる構成（第５の構成）にするとよい。
【発明の効果】
【００１５】
本発明に係る入力装置であれば、ゲーム内におけるユーザの臨場感や体感性を高めること、容易かつ直感的な操作を実現すること、さらには、操作環境の制約を緩和することが可能となる。
【発明を実施するための最良の形態】
【００１６】
図１は、本発明に係る操作システムの一実施形態を示すブロック図である。
【００１７】
図１に示すように、本発明に係る操作システムは、入力装置１と、ホスト装置２と、表示装置３と、を有して成る。
【００１８】
入力装置１は、表示装置３の画面上における操作対象（キャラクタやカーソルなど）の移動方向及び移動量、ないしは、回転方向及び回転量を指示するためのユーザ操作を受け付ける手段であり、撮像部１１と、画像処理部１２と、制御信号生成部１３と、操作処理部１４と、操作部１５と、を有して成る。
【００１９】
撮像部１１は、動画撮影を行い、所定のフレームレートで撮像データを逐次生成する手段であり、その光電変換素子としては、ＣＣＤ［Charge Coupled Devices］センサやＣＭＯＳ［Complementary Metal Oxide Semiconductor］センサなどを用いることができる。
【００２０】
画像処理部１２は、撮像部１１で得られた撮像データを解析する手段である。なお、画像処理部１２における撮像データの解析処理については、後ほど具体例を挙げながら詳細に説明する。
【００２１】
制御信号生成部１３は、画像処理部１２における撮像データの解析結果に基づいて、操作対象（表示装置３に表示されるキャラクタやカーソルなど）の移動方向や移動量、ないしは、回転方向や回転量を指示する制御信号ＣＴＲＬを生成し、これをホスト装置２に送出する手段である。なお、制御信号生成部１３における制御信号ＣＴＲＬの生成処理については、後ほど具体例を挙げながら詳細に説明する。
【００２２】
操作処理部１４は、操作部１５で受け付けられたユーザ操作に基づいて、これを反映した制御信号ＣＴＲＬを生成すべく、制御信号生成部１３の制御を行う手段である。
【００２３】
操作部１５は、ユーザ操作を受け付ける手段である。なお、操作部１５としては、操作対象の移動指示以外に用いられるボタンやキーなどが想定されるが、十字キーやアナログスティックなど、従来通りの移動指示に用いられるキーを含むものであっても構わない。
【００２４】
ホスト装置２は、入力装置１から所定の伝送路（有線または無線）を介して入力される制御信号ＣＴＲＬに基づいて、所定の処理（本実施形態では、表示装置３に対する表示制御）を実行する手段であり、例えば、ゲーム機やパーソナルコンピュータなどを用いることができる。
【００２５】
表示装置３は、ホスト装置２からの指示に基づいて、入力装置１による操作対象（キャラクタやカーソルなど）を含む画面表示を行う手段であり、例えば、液晶ディスプレイなどを用いることができる。
【００２６】
次に、上記構成から成る入力装置１を用いて、操作対象の移動方向及び移動量を指示する動作について、図２を参照しながら詳細に説明する。
【００２７】
図２は、移動方向及び移動量の指示動作を説明するための図である。なお、図２（ａ）は、入力装置１で得られる撮像データを模式的に示したものであり、図２（ｂ）は、表示装置３の表示画面を模式的に示したものである。
【００２８】
入力装置１を用いて、操作対象の移動方向及び移動量を指示する場合、画像処理部１２は、まず、各フレームの撮像データから特徴点Ｐを抽出し、現フレームの撮像データから抽出される特徴点Ｐと、これよりも前のフレーム（本実施形態では直前のフレーム）の撮像データから抽出される特徴点Ｐ’とを比較することで、両フレーム間における特徴点Ｐの移動方向及び移動量（すなわち、特徴点Ｐ’から特徴点Ｐに至るための移動方向及び移動量）を算出する。
【００２９】
例えば、図２（ａ）で示すように、ユーザがカメラ（撮像部１１）を右へパンニングした場合、現フレームの特徴点Ｐは、先のフレームの特徴点Ｐ’から相対的に左へ所定量αだけシフトされる。従って、画像処理部１２では、両フレーム間における特徴点Ｐの移動方向が「左」で、移動量が「α」であると算出される。また、ユーザがカメラを上へチルティングした場合、現フレームの特徴点Ｐは、先のフレームの特徴点Ｐ’から相対的に下へ所定量βだけシフトされる。従って、画像処理部１２では、両フレーム間における特徴点Ｐの移動方向が「下」で、移動量が「β」であると算出される。カメラが左へパンニングされた場合や下へチルティングされた場合も、上記と同様である。
【００３０】
なお、図２（ａ）の例では、撮像部１１によって表示装置３を撮影し、表示装置３の外枠の対角線同士を結んだ交点を特徴点Ｐとして抽出する様子を示しているが、本発明の構成はこれに限定されるものではなく、表示装置３に表示された固定画像（背景画像や枠画像、特徴点抽出用に予め埋め込み表示された専用マークなど）から特徴点Ｐを抽出する構成としてもよい。また、撮像部１１による撮影対象についても、表示装置３に限定されるものではなく、特徴点Ｐが適切に抽出し得る限り、いかなる対象を撮影しても構わない。
【００３１】
また、図２（ａ）では、現フレームの特徴点Ｐと、直前フレームの特徴点Ｐ’とを比較する構成を例示して説明を行ったが、本発明の構成は、これに限定されるものではなく、例えば、最初に抽出された特徴点を基準特徴点Ｐ０とし、以後、各フレームから抽出される特徴点Ｐと基準特徴点Ｐ０とを比較する構成としても構わない。
【００３２】
上記したように、画像処理部１２において、特徴点Ｐの移動方向及び移動量が算出されると、制御信号生成部１３では、特徴点Ｐの移動方向とは逆の移動方向を指示し、かつ、特徴点Ｐの移動量に応じた移動量を指示する制御信号ＣＴＲＬが生成され、これがホスト装置２に送出される。
【００３３】
上記の例に即して述べると、画像処理部１２において、両フレーム間における特徴点Ｐの移動方向が「左」で、移動量が「α」であると算出された場合、制御信号生成部１３では、特徴点Ｐの移動方向「左」とは逆の移動方向「右」を指示し、かつ、特徴点Ｐの移動量「α」に応じた移動量「ｋ×α（ただしｋ＞０）」を指示する制御信号ＣＴＲＬが生成される。また、その他の場合も同様の処理に基づいて、制御信号ＣＴＲＬが生成される。
【００３４】
上記の制御信号ＣＴＲＬの入力を受けたホスト装置２は、制御信号ＣＴＲＬによって指示される移動方向及び移動量に基づいて、表示装置３に表示される操作対象（図２（ｂ）の例ではカーソルＣ）を移動させる。その結果、表示装置３に表示されるカーソルＣは、ユーザがカメラを上下左右に振り向けたことに伴い、それと同等の挙動で上下左右に移動することになる。なお、図２（ｂ）では、現フレームのカーソルＣと、直前フレームのカーソルＣ’とが比較し得る形で描写されている。
【００３５】
次に、上記構成から成る入力装置１を用いて、操作対象の回転方向及び回転量を指示する動作について、図３を参照しながら詳細に説明する。
【００３６】
図３は、回転方向及び回転量の指示動作を説明するための図である。なお、図３（ａ）は、入力装置１で得られる撮像データを模式的に示したものであり、図３（ｂ）は、表示装置３の表示画面を模式的に示したものである。
【００３７】
入力装置１を用いて、操作対象の回転方向及び回転量を指示する場合、画像処理部１２は、まず、各フレームの撮像データから複数の特徴点Ｐ１〜Ｐ４を抽出し、各フレーム間で互いに対応する特徴点Ｐ１〜Ｐ４同士、或いは、複数の特徴点Ｐ１〜Ｐ４で形成される図形同士を比較することで、両フレーム間における特徴点Ｐ１〜Ｐ４の回転方向及び回転量を算出する。
【００３８】
例えば、図３（ａ）で示すように、ユーザがカメラを時計回りにα°だけ回転させた場合、現フレームの特徴点Ｐ１〜Ｐ４は、先のフレームの特徴点Ｐ１’〜Ｐ４’（不図示）から各々相対的に反時計回りにα°だけシフトされる。従って、画像処理部１２では、両フレーム間における特徴点Ｐ１〜Ｐ４の回転方向が「反時計回り」で、回転量が「α°」であると算出される。また、ユーザがカメラを反時計回りにβ°だけ回転させた場合、現フレームの特徴点Ｐ１〜Ｐ４は、先のフレームの特徴点Ｐ１’〜Ｐ４’から各々相対的に時計回りにβ°だけシフトされる。従って、画像処理部１２では、両フレーム間における特徴点Ｐ１〜Ｐ４の回転方向が「時計回り」で、回転量が「β°」であると算出される。
【００３９】
なお、図３（ａ）の例では、撮像部１１によって表示装置３を撮影し、表示装置３の外枠の四隅を特徴点Ｐ１〜Ｐ４として抽出する様子を示しているが、本発明の構成はこれに限定されるものではなく、表示装置３に表示された固定画像（背景画像や枠画像、特徴点抽出用に予め埋め込み表示された専用マークなど）から特徴点Ｐを抽出する構成としてもよい。また、撮像部１１による撮影対象についても、表示装置３に限定されるものではなく、複数の特徴点が適切に抽出し得る限り、いかなる対象を撮影しても構わない。
【００４０】
上記したように、画像処理部１２において、特徴点Ｐ１〜Ｐ４の回転方向及び回転量が算出されると、制御信号生成部１３では、特徴点Ｐ１〜Ｐ４の回転方向とは逆の回転方向を指示し、かつ、特徴点Ｐ１〜Ｐ４の回転量に応じた回転量を指示する制御信号ＣＴＲＬが生成され、これがホスト装置２に送出される。
【００４１】
先の例に即して述べると、画像処理部１２において、両フレーム間における特徴点Ｐ１〜Ｐ４の回転方向が「反時計回り」で、回転量が「α°」であると算出された場合、制御信号生成部１３では、特徴点Ｐ１〜Ｐ４の回転方向「反時計回り」とは逆の回転方向「時計回り」を指示し、かつ、特徴点Ｐ１〜Ｐ４の回転量「α°」に応じた移動量「ｋ×α°（ただしｋ＞０）」を指示する制御信号ＣＴＲＬが生成される。また、逆回転の場合も同様の処理に基づいて、制御信号ＣＴＲＬが生成される。
【００４２】
上記の制御信号ＣＴＲＬの入力を受けたホスト装置２は、制御信号ＣＴＲＬによって指示される回転方向及び回転量に基づいて、表示装置３に表示される操作対象（図３（ｂ）の例ではヘリコプタの形状をしたキャラクタ）を回転させる。その結果、表示装置３に表示されるキャラクタは、ユーザがカメラを時計回り或いは反時計回りにひねったことに伴い、それと同等の挙動で、時計回り或いは反時計回りに回転することになる。
【００４３】
なお、図３（ａ）、（ｂ）の例では、操作対象の回転方向及び回転量を指示するに際して、複数の特徴点Ｐ１〜Ｐ４を抽出する例を挙げたが、このような複数の特徴点Ｐ１〜Ｐ４に基づいて、操作対象の移動方向及び移動量を指示することも当然に可能である。その際には、特徴点Ｐ１〜Ｐ４毎の移動方向及び移動量を求めて、それらの平均値を算出してもよいし、或いは、特徴点Ｐ１〜Ｐ４から形成される図形（図３（ａ）の場合には、長方形）の重心点Ｘ（不図示）を求めて、フレーム間における重心点Ｘの移動方向及び移動量を算出しても構わない。
【００４４】
上記で説明したように、本発明に係る入力装置１、及び、これを用いた操作システムであれば、指先での操作に比べて、ユーザの意思反映度合いが強調されるため、ゲーム内におけるユーザの臨場感や体感性を高めることが可能となる。
【００４５】
また、手や指にハンディキャップを持つユーザ、或いは、手先が器用でない子供やお年寄りにとっても、容易かつ直感的な操作を実現することが可能となる。例えば、寝たきりのユーザであっても、本発明に係る入力装置１を備えたヘッドギアをかぶり、表示装置３を見ながら、頭や首のわずかな動きだけで、操作対象の位置指定が可能となる。
【００４６】
また、上記従来のマウスと異なり、入力装置１を机上（ないしは平面上）で操作する必要はないため、その操作環境の制約を緩和することが可能となる。
【００４７】
なお、上記の実施形態では、入力装置１からの制御信号ＣＴＲＬに基づいて、表示装置３に表示される操作対象の移動ないし回転を制御する構成を例に挙げて説明を行ったが、本発明の構成はこれに限定されるものではなく、ホスト装置２は、制御信号ＣＴＲＬに基づいて、その他の処理（例えば、スピーカ等を用いた移動方向や移動量の報知制御）を実行する構成としても構わない。
【００４８】
また、本発明の構成は、上記実施形態のほか、発明の主旨を逸脱しない範囲で種々の変更を加えることが可能である。
【産業上の利用可能性】
【００４９】
本発明は、ユーザ操作を受け付ける入力装置、及び、これを用いた操作システムの利便性を高める上で有用な技術である。
【図面の簡単な説明】
【００５０】
【図１】は、本発明に係る操作システムの一実施形態を示すブロック図である。
【図２】は、移動方向及び移動量の指示動作を説明するための図である。
【図３】は、回転方向及び回転量の指示動作を説明するための図である。
【符号の説明】
【００５１】
１ 入力装置
１１ 撮像部
１２ 画像処理部
１３ 制御信号生成部
１４ 操作処理部
１５ 操作部
２ ホスト装置（ゲーム機、パーソナルコンピュータなど）
３ 表示装置
【特許請求の範囲】
【請求項１】
動画撮影を行い、所定のフレームレートで撮像データを逐次生成する撮像部と；
各フレームの撮像データから特徴点を抽出し、現フレームの撮像データから抽出される特徴点と、これよりも前のフレームの撮像データから抽出される特徴点とを比較することで、両フレーム間における前記特徴点の移動方向及び移動量を算出する画像処理部と；
前記特徴点の移動方向とは逆の移動方向を指示し、かつ、前記特徴点の移動量に応じた移動量を指示する制御信号を生成し、これをホスト装置に送出する制御信号生成部と；
を有して成ることを特徴とする入力装置。
【請求項２】
前記画像処理部は、フレーム毎に複数の特徴点を抽出し、各フレーム間で互いに対応する特徴点同士、或いは、複数の特徴点で形成される図形同士を比較することを特徴とする請求項１に記載の入力装置。
【請求項３】
前記画像処理部は、各フレーム間における前記特徴点の移動方向及び移動量に加えて、前記特徴点の回転方向及び回転量を算出するものであり、
前記制御信号生成部は、前記特徴点の回転方向とは逆の回転方向を指示し、かつ、前記特徴点の回転量に応じた回転量を指示する制御信号を生成し、これを前記ホスト装置に送出するものであることを特徴とする請求項２に記載の入力装置。
【請求項４】
請求項１〜請求項３のいずれかに記載の入力装置と、前記入力装置から入力される前記制御信号に基づいて所定の処理を実行するホスト装置と、を有して成ることを特徴とする操作システム。
【請求項５】
前記ホスト装置は、前記制御信号によって指示される移動方向及び移動量、及び／または、回転方向及び回転量に基づいて、表示装置上の操作対象を移動及び／または回転させることを特徴とする請求項４に記載の操作システム。
【請求項１】
動画撮影を行い、所定のフレームレートで撮像データを逐次生成する撮像部と；
各フレームの撮像データから特徴点を抽出し、現フレームの撮像データから抽出される特徴点と、これよりも前のフレームの撮像データから抽出される特徴点とを比較することで、両フレーム間における前記特徴点の移動方向及び移動量を算出する画像処理部と；
前記特徴点の移動方向とは逆の移動方向を指示し、かつ、前記特徴点の移動量に応じた移動量を指示する制御信号を生成し、これをホスト装置に送出する制御信号生成部と；
を有して成ることを特徴とする入力装置。
【請求項２】
前記画像処理部は、フレーム毎に複数の特徴点を抽出し、各フレーム間で互いに対応する特徴点同士、或いは、複数の特徴点で形成される図形同士を比較することを特徴とする請求項１に記載の入力装置。
【請求項３】
前記画像処理部は、各フレーム間における前記特徴点の移動方向及び移動量に加えて、前記特徴点の回転方向及び回転量を算出するものであり、
前記制御信号生成部は、前記特徴点の回転方向とは逆の回転方向を指示し、かつ、前記特徴点の回転量に応じた回転量を指示する制御信号を生成し、これを前記ホスト装置に送出するものであることを特徴とする請求項２に記載の入力装置。
【請求項４】
請求項１〜請求項３のいずれかに記載の入力装置と、前記入力装置から入力される前記制御信号に基づいて所定の処理を実行するホスト装置と、を有して成ることを特徴とする操作システム。
【請求項５】
前記ホスト装置は、前記制御信号によって指示される移動方向及び移動量、及び／または、回転方向及び回転量に基づいて、表示装置上の操作対象を移動及び／または回転させることを特徴とする請求項４に記載の操作システム。
【図１】
【図２】
【図３】
【図２】
【図３】
【公開番号】特開２００９−１５６６６（Ｐ２００９−１５６６６Ａ）
【公開日】平成２１年１月２２日（２００９．１．２２）
【国際特許分類】
【出願番号】特願２００７−１７７９１０（Ｐ２００７−１７７９１０）
【出願日】平成１９年７月６日（２００７．７．６）
【出願人】（０００１１６０２４）ローム株式会社 (3,539)
【Ｆターム（参考）】
【公開日】平成２１年１月２２日（２００９．１．２２）
【国際特許分類】
【出願日】平成１９年７月６日（２００７．７．６）
【出願人】（０００１１６０２４）ローム株式会社 (3,539)
【Ｆターム（参考）】
[ Back to top ]