電子機器、情報処理方法、プログラム、及び電子機器システム
【課題】ユーザに違和感を与えることなく、表示画面を見ながら自然な操作で入力を行うる。
【解決手段】本発明に係る電子機器１００は、操作面での操作者による操作に基づいて、操作主体による操作情報を取得するタッチセンサ１０４と、操作情報に基づいて、操作主体を反映したイメージ画像を生成する制御部１１０と、イメージ画像を元画像に重ねた画像を生成する画像生成部１２０と、を備える。この構成により、ユーザは、イメージ画像を視認しながら、自然な操作で入力を行うことが可能となる。
【解決手段】本発明に係る電子機器１００は、操作面での操作者による操作に基づいて、操作主体による操作情報を取得するタッチセンサ１０４と、操作情報に基づいて、操作主体を反映したイメージ画像を生成する制御部１１０と、イメージ画像を元画像に重ねた画像を生成する画像生成部１２０と、を備える。この構成により、ユーザは、イメージ画像を視認しながら、自然な操作で入力を行うことが可能となる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、電子機器、情報処理方法、プログラム、及び電子機器システムに関する。
【背景技術】
【０００２】
近時では、スマートフォン等の携帯端末において普及しているＧＵＩ（Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）として、タッチパネルなどのタッチセンサを用いた操作入力装置が導入されている。タッチパネルは、液晶ディスプレイ（LCD）画面などの上に配置されたタッチセンサを用いて、画面上を直接触ることで直感的な操作（ダイレクトマニュピレーション）を実現している。例えば、下記の特許文献１には、静電式タッチパネル上のオブジェクトを移動させる操作として、２つの操作モードを備える装置が記載されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１０−２６２５５６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
タッチパネルは、表示画面上で直接操作できる操作入力装置として非常に有用であるが、その一方で、例えばノート型のパーソナルコンピュータに代表されるように表示画面とタッチセンサ（タッチパッド）が分離している機器が存在する。
【０００５】
このような表示画面とタッチセンサが分離している機器では、タッチセンサ上での操作位置（指が触れている位置）と画面上に指定した位置（例えばカーソルの位置）との関係をユーザが認識し難くなる問題がある。一例として、表側に表示画面が設けられ、背面（装置の裏側）にタッチセンサが設けられた携帯型端末装置が挙げられる。このような機器では、目には見えない装置の背面で手指を操作するので、タッチセンサ上での操作位置と画面上に指定した位置との関係をユーザが認識し難くなる。また、ユーザが気づかずに手指の一部がタッチセンサに触れてしまい、想定していない作動を引き起こす可能性もある。
【０００６】
また、表示画面とタッチセンサが分離している他の例として、離れた画面上のユーザインタフェース（ＵＩ）をタッチパネル的に操作するコントローラーが挙げられる。このような機器では、ユーザは画面を見ながら手元のコントローラを操作するので、タッチセンサ上での操作位置と画面上に指定した位置との関係をユーザが認識し難くなる。また、ユーザが気づかずに手指の一部がタッチセンサに触れてしまい、やはり想定していない作動を引き起こすことが想定される。また、操作入力としてマルチタッチ（指で触れた複数の位置に対応して複数のカーソルを表示してそれぞれを操作可能とする）を採用すると、複数のポインティング位置（カーソル位置）同士の絶対的な位置関係を把握し難くなる問題も生じる。
【０００７】
また、別の問題として、タッチパッドを用いた場合は、指をタッチセンサに触れているときにはカーソルが表示されるものの、指をタッチセンサから離すと、カーソルが消えるため、画面へのフィードバックが全く無くなってしまう。このため、ユーザが次に指をどこに置いたらよいのか分からなくなるという問題があった。
【０００８】
そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、ユーザに違和感を与えることなく、表示画面を見ながら自然な操作で入力を行うことが可能な、新規かつ改良された電子機器、情報処理方法、プログラム、及び電子機器システムを提供することにある。
【課題を解決するための手段】
【０００９】
上記課題を解決するために、本発明のある観点によれば、操作面での操作者による操作に基づいて、操作主体による操作情報を取得する操作情報取得部と、前記操作情報に基づいて、前記操作主体のイメージを反映したイメージ画像を生成する画像処理部と、前記イメージ画像を元画像に重ねた画像を生成する画像生成部と、を備える、電子機器が提供される。
【００１０】
また、前記操作面とは別の箇所に設けられ、前記イメージ画像を前記元画像に重ねた画像を表示する表示部を備えるものであってもよい。
【００１１】
前記操作情報は、前記電子機器とは別体の装置であって前記操作面を有する他の装置から受信した情報であってもよい。
【００１２】
また、前記画像処理部は、前記操作情報に基づいて、前記操作主体の代表点の位置の情報を生成し、前記画像生成部は、前記操作主体の代表点の位置の画像を、前記イメージ画像とともに前記元画像に重ねた画像を生成するものであってもよい。
【００１３】
また、前記画像処理部は、前記イメージ画像を前記元画像に対して半透明又は縁取りされた画像として生成するものであってもよい。
【００１４】
また、前記画像処理部は、前記操作情報取得部で検出された前記操作情報の信号強度が所定のしきい値以下の場合は前記イメージ画像の情報を生成しないものであってもよい。
【００１５】
また、前記画像処理部は、前記操作情報取得部で取得された前記操作情報の信号強度が第１のしきい値以下の場合は前記イメージ画像の情報を生成せず、前記操作情報取得部で検出された前記操作情報の信号強度が前記第１のしきい値よりも大きな第２のしきい値以下の場合は前記代表点の位置の情報を生成しないものであってもよい。
【００１６】
また、前記画像処理部は、前記イメージ画像の情報に第１の強度のローパスフィルタ処理を行うとともに、前記代表点の画像の情報に第２のローパスフィルタ処理を行い、前記第１のローパスフィルタ処理の強度は前記第２のローパスフィルタ処理の強度よりも強いものであってもよい。
【００１７】
また、前記画像処理部は、前記操作情報取得部で取得された前記操作情報の信号強度が所定値以下になった場合は、過去に取得された前記操作情報の信号強度に基づいて前記イメージ画像を推定して生成するものであってもよい。
【００１８】
また、前記操作情報取得部で検出された前記操作情報の信号強度が前記第１のしきい値よりも大きな第２のしきい値以下の場合は、前記操作主体による入力を受け付けないものであってもよい。
【００１９】
また、前記画像処理部は、前記操作情報に基づいて、予め設定された図形を前記イメージ画像の情報として生成するものであってもよい。
【００２０】
また、前記画像処理部は、前記操作情報に基づいて、前記操作面と前記操作主体との距離に応じた前記イメージ画像を生成するものであってもよい。
【００２１】
また、前記画像処理部は、前記イメージ画像の大きさを前記操作情報の信号強度に応じた大きさとして前記イメージ画像を生成するものであってもよい。
【００２２】
また、前記画像処理部は、前記イメージ画像の濃度を前記操作情報の信号強度に応じた大きさとして前記イメージ画像を生成するものであってもよい。
【００２３】
また、前記イメージ画像の大きさが所定値以下の場合は、前記操作主体による入力を受け付けないものであってもよい。
【００２４】
また、上記課題を解決するために、本発明の別の観点によれば、操作面での操作者による操作に基づいて、操作主体による操作情報を取得すること、前記操作情報に基づいて、前記操作主体を反映したイメージ画像を生成すること、前記イメージ画像を元画像に重ねた画像を生成すること、を備える、情報処理方法が提供される。
【００２５】
また、上記課題を解決するために、本発明の別の観点によれば、操作面での操作者による操作に基づいて、操作主体による操作情報を取得する手段、前記操作情報に基づいて、前記操作主体のイメージを反映したイメージ画像を生成する手段、前記イメージ画像を元画像に重ねた画像を生成する手段、としてコンピュータを機能させるためのプログラムが提供される。
【００２６】
また、上記課題を解決するために、本発明の別の観点によれば、操作面での操作者による操作に基づいて、操作主体による操作情報を取得する操作情報取得部と、前記操作情報を送信する送信部と、を有するコントローラと、前記操作情報を受信する受信部と、前記操作情報に基づいて、前記操作主体のイメージを反映したイメージ画像を生成する画像処理部と、前記イメージ画像を元画像に重ねた画像を生成する画像生成部と、を有する電子機器と、備える、電子機器システムが提供される。
【００２７】
また、上記課題を解決するために、本発明の別の観点によれば、操作面での操作者による操作に基づいて、操作主体による操作情報を取得する操作情報取得部と、前記操作情報に基づいて、前記操作主体のイメージを反映したイメージ画像を生成する画像処理部と、前記イメージ画像の情報を送信する送信部と、を有するコントローラと、前記イメージ画像の情報を受信する受信部と、前記イメージ画像を元画像に重ねた画像を生成する画像生成部と、を有する電子機器と、備える、電子機器システムが提供される。
【発明の効果】
【００２８】
本発明によれば、ユーザに違和感を与えることなく、表示画面を見ながら自然な操作で入力を行うことが可能となる。
【図面の簡単な説明】
【００２９】
【図１】第１の実施形態の携帯型電子機器の外観を示す模式図である。
【図２】図１に示す携帯型電子機器の構成を示すブロック図である。
【図３】タッチセンサをグリッド式静電容量式のタッチセンサから構成した場合に、そのグリッド構造を示す模式図である。
【図４】タッチセンサを光学式インセルタッチセンサから構成した場合の構成を示す模式図である。
【図５】図２に示した静電容量式のタッチセンサによってスキャンされた静電容量の実測結果の一例を示す特性図である。
【図６】図２に示す各グリッドのうち、特定グリッドにおける、ユーザの指の近接又は接触による静電容量の大きさを示した特性図である。
【図７】タッチセンサが取得した静電容量を示す模式図である。
【図８】図７に示すようなタッチセンサが取得した静電容量に基づいて、カーソルの画像を生成して、送受信部が受信したＵＲＬの画面と重畳して表示した状態を示す模式図である。
【図９】重心を求める方法の一例を示す模式図である。
【図１０】一般的なコンター（等高線）を求める方法の一例を示す模式図である。
【図１１】ローパスフィルタ処理を示すブロック図である。
【図１２】ローパスフィルタ処理を示すブロック図である。
【図１３】静電容量に基づいてカーソルの代表点を表示するとともに、静電容量に基づいてイメージ画像１５２を表示し、更に実際の指の形状を表示した例を示す模式図である。
【図１４】タッチセンサに指が近接する過程で、カーソルの周囲のイメージ画像１５２の範囲と濃度を変化させた表示例を示す模式図である。
【図１５】タッチセンサによる静電容量の検出可能範囲の外に指が離れた場合の表示例を示す模式図である。
【図１６】本実施形態の携帯型電子機器における処理を示すフローチャートである。
【図１７】第２の実施形態に係るコントローラーと、電子機器の構成を示す構成図である。
【図１８】第２の実施形態に係るコントローラーと、電子機器の構成を示す構成図である。
【図１９】第２の実施形態の構成を示すブロック図である。
【図２０】電子機器がセットトップボックス等の装置であり、表示部が別体に構成された例を示すブロック図である。
【図２１】ユーザがタッチセンサの左側を左手の親指で触れるとともに、タッチセンサ２３０の右側を右手の人差し指で触れている状態を示す模式図である。
【図２２】グリッドごとの静電容量の大きさに応じてカーソルのステイタスを変更する例である。
【図２３】電子機器のステイタス（状態）を示す情報を、擬似的な指画像に重畳させた例を示す模式図である。
【発明を実施するための形態】
【００３０】
以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【００３１】
なお、説明は以下の順序で行うものとする。
１．実施形態の概要
２．第１の実施形態
２．１．システム構成例
２．２．タッチセンサの構成例
２．３．画面上での表示例
２．４．ローパスフィルタ処理について
２．５．手指の形状を表示する例
２．６．距離に応じてイメージ画像の範囲と濃度を変化させた表示例
２．７．指がタッチセンサの検出可能範囲外に離れた場合の表示例
２．８．本実施形態の携帯型電子機器における処理
３．第２の実施形態（取込制御：パン方向の検出に方位センサを使用する例）
３．１．システム構成例
３．２．画面上での表示例
【００３２】
１．実施形態の概要
ノート型のパーソナルコンピュータに代表されるように表示画面とタッチセンサ（タッチパッド）が分離している機器が存在する。このような機器では、タッチパッドは、相対座標系を用いたものが用いられている。
【００３３】
相対座標系を用いたタッチパッドの場合、タッチパッド上での操作位置（指が触れている位置）と画面上に指定した位置（例えばカーソルの位置）は１対１で対応するものではない。ユーザがタッチパッド上でカーソルを移動する操作をすると、現在のカーソルの位置を基準として、操作に応じた相対的な距離だけカーソルが移動する。例えば、ユーザが画面上でカーソルを画面の一端から他端に移動する場合、タッチパッド上で指を所定距離だけ移動し、この所定距離の移動を複数回繰り返すことによりカーソルを画面の一端から他端へ移動することができる。
【００３４】
一方、他の座標系としてタッチパネルに代表される絶対座標系がある。絶対座標系の場合、タッチセンサ上で指定した位置（指が触れている位置）と画面上に指定した位置（例えばカーソルの位置）は１対１で対応するため、例えば、ユーザがタッチセンサの左端に触れると画面の左端にカーソルが移動し、タッチセンサの右端に触れると画面の右端にカーソルが移動する。
【００３５】
画面とタッチパッドが分離している場合、ノート型のパーソナルコンピュータに代表されるように相対座標系を用いることが一般的であるが、場面によっては絶対座標系を用いた方が、利便性が高くなる。一例として、第１の実施形態で説明するような、表示装置の背面（装置の裏側）にタッチセンサを付加した携帯型端末装置が挙げられる。これは、操作面は背面であるが、表側の表示画面と操作面が表裏で対応しており、いわば擬似的なタッチパネル的操作入力装置である。このような装置で相対座標系を用いると、カーソルの位置と指で操作している位置が相違してしまい、ユーザに混乱が生じてしまう。従って、このような装置では、絶対座標系を用いることでユーザビリティの高い操作体系とすることができる。
【００３６】
表示装置の背面にタッチセンサを付加した操作系では、タッチパネルと異なり、指が画面を隠すことがないという大きな利点がある。従って、ユーザは、表示画面を指で遮られることなく、タッチパネルと同等の操作を行うことができる。一方、目には見えない装置の背面で手指を操作するので、ユーザが気づかずに手指の一部がタッチセンサに触れてしまい、想定していない作動を引き起こす可能性もある。このため、指の位置を表側の表示画面に表示することが望ましい。
【００３７】
また、他の例として、第２の実施形態で説明するような、離れた画面上のユーザインタフェース（ＵＩ）をタッチパネル的に操作するコントローラーが挙げられる。ここで、操作入力としてマルチタッチ（指で触れた複数の位置に対応して複数のカーソルを表示してそれぞれを操作可能とする）を採用すると、複数のポインティング位置（カーソル位置）同士の絶対的な位置関係が重要となるため、絶対座標系を採用すると操作が容易になる。この場合、既存のノート型ＰＣ等のタッチパッドで常用されている相対座標になじんだユーザーが座標系の違いに混乱してしまう可能性がある。
以上のように、ポインティングデバイスを用いる従来のGUI系（Windows(登録商標)PCなど）では操作のための座標系として相対座標系をもちいることが一般的である。しかし、ダイレクトマニュピレーション的な操作感をパッチパッドで実現しようとした場合には、操作オブジェクトの位置を直接操作する必要性があるために、絶対座標系を用いることが望ましい。さらに、マルチタッチ操作を行う場合も、各指の位置関係を崩さないためには絶対座標系が望ましい。
【００３８】
また、タッチパッドを用いた場合は、指をタッチセンサに触れているときにはカーソルが表示されるものの、指をタッチセンサから離すと、カーソルが消えるため、画面へのフィードバックが全く無くなってしまう。このため、ユーザが次に指をどこに置いたらよいのか分からなくなる可能性も存在する。
【００３９】
このため、以下に説明する各実施形態では、タッチセンサの各グリッドが取得する手指のイメージ情報をビジュアル化して、画面に表示するようにした。ここで、手指のイメージ情報を表示する際には、非接触の近接状態でも表示できるように、所定のしきい値を用いることができる。また、イメージ情報には、ポインティングのためのカーソルを重畳させることができる。また、手指がタッチセンサに接触しておらず、接近しているのみの場合は、カーソルを重畳させない、または機能させないようにすることもできる。このような構成によれば、ユーザーの手指の場所を（接触する前から）ビジュアルフィーバックすることが可能となり、絶対座標を用いるタッチパッドの操作性を向上させることが可能である。以下、各実施形態について詳細に説明する。
【００４０】
２．第１の実施形態
２．１．システム構成例
本実施形態は、ＧＵＩ（Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）のコントローラーに関するものであり、一例としてタッチセンサを用いた携帯型電子機器を例に挙げて説明する。図１は、第１の実施形態の携帯型電子機器１００の外観を示す模式図である。携帯型電子機器１００は、筐体１０８の表面に設けられた表示部１０２と、裏面に配置されたタッチセンサ１０４とを有して構成されている。表示部１０２は、例えば液晶表示パネル（ＬＣＤ）等から構成される。また、タッチセンサ１０４は、一例として静電容量式のタッチセンサから構成することができるが、これに限定されるものではない。ユーザは、表示部１０２を上に向けて携帯型電子機器１００を保持し、背面のタッチセンサ１０４を操作することによって、表示部１０２に表示されたカーソルを動かしたり、アイコンを選択したり、ドラッグ等の操作を行うことができる。
【００４１】
図２は、図１に示す携帯型電子機器１００の構成を示すブロック図である。図２に示すように、携帯型電子機器１００は、表示部１０２、タッチセンサ１０４、送受信部１０６、制御部１１０、画像生成部１２０、メモリ１３０を有して構成される。
【００４２】
送受信部１０６は、無線通信ネットワークを介して情報を送受信する。タッチセンサ１０４は、ユーザの手指の接近または接触を検出する。タッチセンサ１０４は、検出結果を制御部１１０へ送る。制御部１１０は、タッチセンサ１０４から送られた検出結果に基づいて、表示部１０２に表示するための情報を生成し、画像生成部１２０へ送る。ここで、制御部１１０が生成する情報は、後述するカーソルの代表点１５０の画像と、イメージ画像１５２とが含まれる。制御部１１０は、タッチセンサ１０４の検出結果を取得する操作情報取得部、及び、代表点１５０、イメージ画像１５２を生成する画像処理部として機能する。また、制御部１１０は、カーソルの操作に基づいて、コンテンツの選択、ドラッグ等の電子機器１００の全般的な処理を行う。画像生成部１２０は、制御部１１０から送られた情報と、送受信部１０６にて受信した画像またはメモリ１３０に保存された画像とを重畳して、表示部１０２に表示する画像のデータを生成する。画像生成部１２０にて生成された画像データは、表示部１０２に送られて、表示部１０２に表示される。メモリ１３０は、ユーザの手指の接近または検出に関する情報、画像等の情報を記憶する。
【００４３】
図２に示す構成は、ハードウェア（回路）またはＣＰＵなどの中央演算処理装置とこれを機能させるためのソフトウェア（プログラム）から構成することができる。この場合において、そのプログラムは、メモリ１３０など電子機器１００が備える記憶部または外部から挿入される記憶媒体に格納されることができる。
【００４４】
２．２．タッチセンサの構成例
図３は、タッチセンサ１０４をグリッド式静電容量式のタッチセンサから構成した場合に、そのグリッド構造を示す模式図である。図３に示すように、タッチセンサ１０４は、静電容量センサをグリッド（格子）状に配置したものであり、各グリッドごとに、表面に近接又は接触されるユーザの手指の静電容量を順次スキャンする構成とされている。
【００４５】
また、図４は、タッチセンサ１０４を光学式インセルタッチセンサから構成した場合の構成を示す模式図である。光学式インセルタッチセンサは、バックライト、ＴＦＴ側ガラス、液晶層（センサー）、対向側ガラスを有して構成される。光学式のタッチセンサを用いた場合、図４に示すように、バックライトから光を照射し、その反射光の強弱を液晶層（センサー）で検出して、タッチセンサの表面にユーザの指が近接又は接触したことを検知する。
【００４６】
図５は、図３に示した静電容量式のタッチセンサ１０４によってスキャンされた静電容量の実測結果の一例を示す特性図である。図5は、タッチセンサ１０４によって得られた静電容量値をわかりやすく示すために極性反転している。従って、以下では、ユーザの指がタッチセンサ１０４に近接するほど静電容量値（極性反転した値）が小さくなるものとして説明する。図５に示すように、矢印Ａで示す領域で静電容量が局所的に小さくなっており、この領域でユーザの指が近接又は接触したことが検知できる。
【００４７】
図６は、図２に示す各グリッドのうち、特定グリッドにおける、ユーザの指の近接又は接触による静電容量の大きさを示した特性図である。ここで、縦軸は静電容量の大きさを示しており、横軸は指をタッチセンサ１０４の表面に近づけていく過程での経過時間を示している。また、図６中に示す数値は、ユーザの指からタッチセンサ１０４表面までの距離［ｍｍ］を示している。図６に示すように、タッチセンサ１０４で検出される静電容量は、ユーザの指がタッチセンサ１０４の表面に近づくほど減少し、指が表面に接触すると最小となる。
【００４８】
２．３．画面上での表示例
次に、表示部１０２上での画像の表示について説明する。表示部１０２には、送受信部１０６にて受信した画像と、タッチセンサ１０４から送られた検出結果に基づいて生成された情報とが重畳されて表示される。図７は、タッチセンサ１０４が取得した静電容量をコンター（等高線）で示した模式図である。ここでは、左右の親指が同時にタッチセンサ１０４に触れた場合の結果を示しており、タッチセンサ１０４の左右の領域Ｂ、領域Ｃの位置で静電容量値が周囲よりも低くなっている状態を示している。
【００４９】
また、図８（Ａ）〜図８（Ｄ）は、図７に示す静電容量値に基づいてカーソルの画像を生成して、送受信部１０６が受信したＵＲＬの画面と重畳して表示した状態を示す模式図である。ここでは、一例として送受信部１０６が受信した検索エンジンのＵＲＬの画面にカーソルの画像を重畳した例を示す。図８（Ａ）〜図８（Ｄ）は、図７に示すタッチセンサ１０４のグリッドごとの静電容量値を図示化して画面に重畳させた例を示したものである。従って、図８（Ａ）〜図８（Ｄ）においては、右手の親指と左手の親指の２箇所に対応するカーソルが表示されている。
【００５０】
図８（Ａ）は、静電容量の大きさのコンター（等高線）を求め、これをイメージ画像１５２（手指のイメージを反映した画像）によって表現して画面に重畳した例である。ここで、中央部の白丸部分は、操作に応じて移動するカーソルの代表点（カーソルの中央）１５０を示している。代表点１５０は、コンテンツの選択、ドラッグ等の操作を行う場合に基準となる点である。代表点１５０は、例えばしきい値を超えたグリッドごとの静電容量値の加重された重心として求められる。また、イメージ画像１５２の部分は、指がタッチセンサ１０４と接触している箇所及びその周辺において、静電容量値に応じた形状に表示される。従って、イメージ画像１５２の部分は、指の形状に対応したものとなる。イメージ画像１５２の部分では、静電容量値に応じたコンターが表示され、また、静電容量値に応じてドットが表示され、指がタッチセンサ１０４に対して接近しているほどドットの濃度が濃く表示される。また、制御部１１０は、イメージ画像１５２の部分には、元画像であるＧＵＩやコンテンツを隠さないために、半透明または縁取り処理（縁が描画されていて、内側が透明、または薄い半透明）を行っても良い。また、図８（Ａ）において、例えば左右の指に応じて、画像に重畳する代表点１５０とその周辺のイメージ画像１５２の色を変えても良い。
【００５１】
このように、図８（Ａ）に示すイメージ画像１５２の部分は、タッチセンサ１０４に触れた指を擬似的に表している。ユーザは、携帯型電子機器１００の裏面のタッチセンサ１０４に触れた際に、表面の表示部１０２に表示された代表点１５０とその周辺のイメージ画像１５２を視認することで、裏面の指が表示部１０２に表示された画面のどの位置を指しているかを視覚的に認識することができる。
【００５２】
図８（Ａ）の表示を行う際には、制御部１１０は、図７の静電容量値から重心を求めて代表点１５０の位置を生成する。また、制御部１１０は、図７の静電容量値からコンターを求め、これに対応するイメージ画像１５２の情報を生成する。画像処理部１２０は、制御部１１０が生成した情報を用いて、送受信部１０６が受信したＵＲＬの画像に代表点１５０及びイメージ画像１５２を重畳して表示のための画像を生成する。
【００５３】
代表点１５０の位置は、静電容量の大きさが最も小さい重心の位置とすることができる。図９は、重心を求める方法の一例を示す模式図である。図９は、各グリッド（図９では、１６個のグリッドを示す）の静電容量の大きさを、濃淡を用いて模式的に示しており、濃淡が濃いグリッドほど検出された静電容量が小さいものとする。ここで、重心の座標を（Ｘｃｇ，Ｙｃｇ）とすると、以下の式より重心位置を求めることができる。
【００５４】
【数１】
【００５５】
上式において、Ｚ（ｉ，ｊ）は、座標（ｘ，ｙ）＝（ｉ，ｊ）における静電容量の大きさである。
【００５６】
また、図１０は、一般的なコンター（等高線）を求める方法の一例を示す模式図である。コンターは、以下の手順に従って求めることができる。
（手順１）図１０に示すように、各グリッドの中心を結ぶ三角形を設定する。
（手順２）各三角形の３つの頂点における静電容量値の大小を比較し、大きさの順に並べ替えを行い、例えば静電容量値の小さい順にＴ１，Ｔ２，Ｔ３と頂点の名称を付ける。
（手順３）ある１つの三角形において、等高線の一端を求める。この三角形において等高線の一端は、頂点Ｔ１とＴ３を結ぶ辺Ｔ１−Ｔ３を通る。例えば、等高線の値ｄがＴ１＜Ｔ３の場合、等高線の一端は、値ｄを辺Ｔ１−Ｔ３上で頂点Ｔ１とＴ３の静電容量値を比例配分した点を通るものとすることができる。
（手順４）次に、この三角形において、等高線のもう一端を求める。等高線の値ｄがＴ１＜ｄ＜Ｔ２の場合、等高線のもう一端は頂点Ｔ１とＴ２を結ぶ辺Ｔ１−Ｔ２を通る。また、等高線ｄの値がＴ２＜ｄ＜Ｔ３の場合、等高線のもう一端は頂点Ｔ２とＴ３を結ぶ辺Ｔ２−Ｔ３を通る。また、等高線の値ｄがｄ＝Ｔ２の場合、等高線のもう一端は頂点Ｔ２を通る。また、等高線の値ｄがｄ＝Ｔ３の場合、等高線のもう一端は頂点Ｔ３を通る。
【００５７】
以上のようにして、上記の手順１〜４を各三角形について行うことで、各三角形を通る等高線を一意に決定することができる。また、このように求められた等高線（多角形）に対して、スプライン曲線などで補間を行えば、曲線状の等高線を得ることができる。
【００５８】
また、代表点１５０及びその周辺のイメージ画像１５２の画像は、静電容量値をそのまま反映した形状、または大きさで出力させる必要はなく、例えば図８（Ｂ）、図８（Ｃ）、図８（Ｄ）のようにデフォルメさせてもよい。
【００５９】
図８（Ｂ）は、例えば代表点１５０を中心として、コンターに対応するイメージ画像１５２の画像を図８（Ａ）よりも縮小した例を示している。このような処理を行うことで、イメージ画像１５２の領域がより狭くなるので、画面上に表示されるイメージ画像１５２（指の像）によって画面にビジーさが生じてしまうことを防止できる。また、画面へのビジーさを防止するためには、イメージ画像１５２の部分の透明度を上げることで対応することも可能である。
【００６０】
図８（Ｃ）は、コンターによるイメージ画像１５２に対して代表点１５０を所定方向に段階的にシフトさせた例を示している。ここでは、静電容量が小さいほど代表点１５０をイメージ画像１５２に対して画面上方にシフトするような処理を加えている。このような処理を行うのは、ユーザーは、指先（画面上方に位置することが多い）の先端でタッチセンサ１０４の表面を触っているつもりでいるが、実際の静電容量の取得データはおおよそ指の中央（指の腹）で最小となり、ユーザの意識と実際の代表点１５０の位置との差が違和感として感じられる場合があるためである。図８（Ｃ）のように代表点１５０の位置をシフトすることで、このような違和感を抑止できる。
【００６１】
図８（Ｄ）は、図８（Ｃ）の表示において、代表点１５０を更に左右方向にもシフトさせた例を示している。なお、図８（Ｄ）では、図８（Ｃ）で説明した上方向へのシフトと左右方向のシフトの混合としているが、左右方向だけをシフトする処理であってもよい。
【００６２】
図８（Ｄ）の例では、右側のカーソルに関しては、静電容量が小さいほど、実際の静電容量のピーク位置よりも代表点１５０が左方にシフトするように処理を加えている。また、左側のカーソルに関しては、静電容量が小さいほど、実際の静電容量のピーク位置よりも代表点１５０が右方にシフトするように処理を加えている。これは、図８（Ｃ）と同様に、右手で触っているときのユーザの意識では、実際のピーク位置よりも左上にカーソルが位置し、左手で触っているときのユーザの意識では、実際のピーク位置よりも右上にカーソルが位置するためである。
【００６３】
また、左右の２本の指を接触するほど近づけた場合、実際の静電容量のピーク位置を代表点１５０の位置としてしまうと、２つのカーソルの間には隙間が存在してしまい、その間に存在するアイコン等にカーソルが届かないことが想定される。しかし、図８（Ｄ）のような処理を加えることで、２つの指が近接（接触でなくてもよい）するときに２つの代表点１５０の間の距離を実質的に０とすることができるため、アイコン等にカーソルが届かない事態を回避することが可能である。
【００６４】
図８（Ｄ）において、左右方向のいずれかにシフトさせる方法としては、以下の方法が挙げられる。先ず、最初に接触した指に対応する代表点１５０の座標が、タッチセンサ１０４の左右の中心線に対して右側の場合は、接触した指が右手の指であると判断し、代表点１５０を実際の静電容量のピーク位置に対して左へシフトする。また、最初に接触した指に対応する代表点１５０の座標が、タッチセンサ１０４の左右の中心線に対して左側の場合は、接触した指が左手の指であると判断し、代表点１５０を実際の静電容量のピーク位置に対して右へシフトする。
【００６５】
タッチセンサ１０４に手指が２箇所で接触し、代表点１５０が２つ存在する場合は、右側の代表点１５０が右手に対応し、左側の代表点１５０が左手に対応すると判断し、右側の代表点１５０を実際の静電容量のピーク位置に対して左にシフトし、左側の代表点１５０を実際の静電容量のピーク位置に対して右にシフトする。
【００６６】
なお、シフト方向が決まった後は、上記の方法に依然させず、カーソルのトラッキングに依存してシフト方向を決めるようにしてもよい。また、カーソルが１つしかない場合は、左右にはシフトさせないようにしてもよい。
【００６７】
図８に示す代表点１５０、及びイメージ画像１５２の表示は、絶対座標系で行われる。この際、イメージ画像１５２は手指の画像を示しているため、ユーザは、イメージ画像１５２の表示から絶対座標系であることを直感的に認識することができる。タッチセンサ１０４と表示部１０２が別に設けられている場合、手指の相対的な位置関係が分かりにくくなるが、擬似的に指を示すイメージ画像１５２を表示することでユーザの理解を促進することができる。これにより、マルチタッチの場合においても、ユーザは混乱を生じることなく各カーソルを操作することができる。
【００６８】
また、背面にタッチセンサ１０４を設けた場合に、意図せず操作面を手指がタッチしてしまうことが考えられるが、擬似的な手指のイメージ画像１５２を表示することにより、手指が画面上のどの位置に対応するか認識し易くなり、誤操作を抑止することができる。なお、表示は絶対座標系に限定されるものではなく、相対座標系であっても良い。
【００６９】
２．４．ローパスフィルタ処理について
また、図８では、コンターをイメージ画像１５２で表した擬似的な指の画像にカーソル（代表点１５０）をさらに重畳させているが、静電容量センサはノイズが比較的大きい場合があり、場合によっては輪郭などのエッジ形状が目立つ場合がある。この状況を防止するために、描画されるコンターの元になるグリッドごとの静電容量値に対してローパスフィルタ（ＬＰＦ）処理を行うことができる。
【００７０】
図１１及び図１２は、ローパスフィルタ処理を示すブロック図である。ローパスフィルタ処理は、制御部１１０で行われる。図１１に示す処理では、カーソルの代表点１５０の座標を求めるときには、グリッドごとの静電容値にはローパスフィルタ処理を行わずに重心を算出し（ブロック４００，４１０）、重心の座標に対して弱いローパスフィルタ処理（以下、ＬＰＦ１という）を行い（ブロック４２０）、ＬＰＦ１通過後の座標を代表点１５０として表示する（ブロック４３０）。一方、コンターによって示されるイメージ画像１５２を求める際には、各グリッドの静電容量値に対して強いローパスフィルタ処理（以下、ＬＰＦ２という）を行い（ブロック４４０）、ＬＰＦ２処理後の静電容量値からイメージ画像１５２を演算し（ブロック４５０）、イメージ画像１５２を表示する（ブロック４６０）。
【００７１】
また、図１２に示す処理では、各グリッドの静電容量値から重心及びイメージ画像１５２を演算した後（ブロック５００）、重心の代表座標に対しては弱いローパスフィルタ処理（ＬＰＦ１）を行い（ブロック５２０）、イメージ画像１５２に対しては強いローパスフィルタ処理（ＬＰＦ２）を行う（ブロック５５０）。そして、ＬＰＦ１処理後の重心（代表点１５０）を表示するとともに（ブロック５３０）、代表点１５０の座標の周りにＬＰＦ２処理後のイメージ画像１５２を描画する（ブロック５６０）。なお、図１１及び図１２において、ＬＰＦ１の処理を省略することも可能である。
【００７２】
このような処理によれば、代表点１５０の動きに比べ、イメージ画像１５２で表される擬似的な指の画像の動きに若干の遅延時間（レイテンシー）が生じるが、イメージ画像１５２の画像のエッジが荒れた状態となることを抑えることができ、エッジにばたつき感が生じることを抑止できる。また、代表点１５０の座標演算とは別のローパスフィルタでイメージ画像１５２の画像を求めることで、代表点１５０の動きに関するレイテンシーは悪化しないため、操作性を良好に維持することができる。そして、イメージ画像１５２で表される擬似的な指のイメージよりも座標カーソルのほうが操作に対する追従性が高くなるため、操作性を良好にすることができる。また、イメージ画像１５２で表される擬似的な指のイメージには強めのＬＰＦ２をかけることで動きが落ち着き、画面のビジーさを低減することができる。
【００７３】
２．５．手指の形状を表示する例
図８では、指の位置に応じて代表点１５０とイメージ画像１５２を表示するようにしたが、代表点１５０とともに実際の指の形状を表示することもできる。図１３は、静電容量に基づいてカーソルの代表点１５０を表示するとともに、静電容量に基づいてイメージ画像１５２を表示し、更に実際の指の形状１５４を表示した例を示す模式図である。上述したように、タッチセンサ１０４への近接の度合いに応じて各グリッドにて静電容量が検出されるため、指が近接した場合はその形状に応じて静電容量が検出される。従って、図１３に示すように、静電容量に応じて指の形状の画像を生成して重畳することが可能である。そして、このような表示によれば、ユーザは、携帯型電子機器１００の背面で操作している指の位置を視覚的により確実に認識することが可能であり、所望の操作を行うことができる。
【００７４】
図１３の例においても、各指の腹の位置で実際の静電容量のピーク値が検出され、ピーク位置よりも上にシフトさせて代表点１５０が表示される。また、図１３に示す例では、右手の人差し指と中指はタッチセンサ１０４に接触しているため、代表点１５０が表示されている。一方、薬指についてはタッチセンサ１０４に近接しているものの、接触はしていない。このため、表示部１０２に薬指の形状１５４と薬指に対応するイメージ画像１５２は表示されているが、薬指に対応する代表点１５０は表示されていない。このように、指が接触していない場合についても、代表点１５０は表示せずに指の形状１５４及びイメージ画像１５２を表示することで、ユーザは背面のタッチセンサ１０４上における各指の位置を表示部１０２上の表示から認識することができる。
【００７５】
２．６．距離に応じてイメージ画像の範囲と濃度を変化させた表示例
図１４は、タッチセンサ１０４に指が近接する過程で、カーソルの周囲のイメージ画像１５２の範囲と濃度が変化する様子を示す模式図である。図１４において、３ｍｍ，２ｍｍ，１ｍｍの距離は、タッチセンサ１０４と指との距離を示している。図１４に示すように、タッチセンサ１０４に指が近接するほど、イメージ画像１５２の領域が広くなる。また、タッチセンサ１０４に指が近接するほど、コンターに応じてイメージ画像１５２のドットの濃度が濃くなる。そして、タッチセンサ１０４に指が接触すると、イメージ画像１５２の領域が最大となり、同時にカーソルの中心である代表点１５０が表示され、代表点１５０を用いてアイコンの選択、スクロール、ドラッグ等の操作が可能となる。このような表示によれば、ユーザは、タッチセンサ１０４と指との距離を視覚的に認識することが可能となり、また、アイコンの選択等の操作入力が実際に可能か否かを視覚的に認識できる。
【００７６】
図６に基づいて説明すると、静電容量値が第１のしきい値以上の場合は、イメージ画像１５２を表示しない。また、静電容量値が第２のしきい値以上の場合は、代表点１５０を表示しない。従って、静電容量値が、第１のしきい値よりも小さく、第２のしきい値以上の場合に、イメージ画像１５２のみが表示される。また、静電容量値が第２のしきい値よりも小さい場合は、指がタッチセンサ１０４に接触しているか、又は指とタッチセンサ１０４が微小距離まで近接しているため、代表点１５０とイメージ画像１５２がともに表示される。また、静電容量値が第１のしきい値以上の場合は、代表点１５０とイメージ画像１５２のいずれも表示されない。
【００７７】
これにより、手指がタッチセンサ１０４に接触しておらず、近接状態であるときは、擬似的な手指のイメージ（イメージ画像１５２）は表示されるが、カーソル（代表点１５０）は表示されないため、手指の位置をユーザに伝えるとともに、操作ができないことも伝えることができる。このように、手指のイメージ画像１５２だけしか描画されていないときには、選択、決定、ドラッグ、などのフリーカーソル操作ができない構成とすることができる。また、イメージ画像１５２の大きさが所定値以下の場合は、フリーカーソル操作ができない構成とすることで、手指が小さい場合は操作を禁止することができ、チャイルドロックなどの処理を行うことも可能となる。
【００７８】
図１４において、イメージ画像１５２は、静静電量値に基づいて忠実に描画することができる。また、イメージ画像１５２は、静静電量値に基づいて忠実に描画することなく、静電容量の大きさで規定された、あらかじめ用意された複数の大きさの画像テンプレート（円、四角形など）を用いることもできる。この場合、静電容量が小さく、指がタッチセンサ１０４に近接するほど、面積の大きな画像テンプレートを使用する。ここで、指の角度や楕円などの形状のアスペクト比に関してはコンターをベースに生成してもよい。このような処理を行うことで、ユーザーがタッチセンサ１０４から指を離したときでも、手指の静電容量が取得できる範囲内であれば距離に応じた擬似的な指画像を描画することができるので、突然カーソルが消失してユーザーが混乱することを予防できる。
【００７９】
２．７．指がタッチセンサの検出可能範囲外に離れた場合の表示例
図１５は、タッチセンサ１０４による静電容量の検出可能範囲の外に指が離れた場合の表示例を示す模式図である。タッチセンサ１０４による静電容量の検出可能範囲がタッチセンサ１０４の表面から距離ｄの範囲である場合、検出可能範囲内では、図１４で説明したように、指が離れるほどイメージ画像１５２の範囲を狭くして表示を行う。指が検出可能範囲よりも外に離れた場合は、過去の手の動きに基づいて指の位置を推定し、推定した位置にイメージ画像１５２を表示する。制御部１１０は、検出可能範囲においては、静電容量に基づいて指の動きのｘｙｚ座標を検出し、指が検出可能範囲の外に出た場合は、検出可能範囲で過去に取得した指のｘｙｚ座標に基づいて指のｘｙｚ座標を推定し、推定したｘｙ位置に推定したｚ位置に応じた範囲でイメージ画像１５２を表示する。ここで、ｘｙ座標はタッチセンサ１０４の表面上での直交する座標であり、ｚ座標はタッチセンサ１０４の表面から垂直に離れる方向の座標である。
【００８０】
近接距離における手指の検出可能範囲は、セルフキャパシタンス方式の静電容量型センサではタッチセンサ表面から４ｍｍ程度であり、ミューチャル方式の静電容量型センサではタッチセンサ表面から２０ｍｍ程度であり、光学式インセルセンサでは表面から３０ｍｍ程度である。このため、状況によっては、操作する手指の検出ができないこともある。このような場合は、図１５のように、指に対応するイメージ画像１５２が消失する以前の軌跡から、あるべき指の位置を推定して描画することで、画面上でのイメージ画像１５２の消失を減らすことが可能である。推定方法としては、過去ｎ履歴の移動速度の平均を算出し、これを最新の座標に加える、などの手法がある。以上のように、イメージ画像１５２で示される擬似的な指の動きを外挿することで、動いていく方向感をユーザーに提示することができる。
【００８１】
２．８．本実施形態の携帯型電子機器における処理
次に、図１６に基づいて、本実施形態の携帯型電子機器１００における処理について説明する。先ず、ステップＳ１０では、ユーザがタッチセンサ１０４をタッチする。次のステップＳ１２では、タッチセンサ１０４がグリッド毎の静電容量値を取得し、制御部１１０へ送る。次のステップＳ１４では、グリッド毎の静電容量値に基づいて、重心の座標（Ｘｄｇ，Ｙｃｇ）を算出する。
【００８２】
次のステップＳ１６では、各グリッド毎の静電容量値にローパスフィルタ処理（ＬＰＦ２）を施す。次のステップＳ１８では、ステップＳ１６のＬＰＦ２の処理後の静電容量値からコンターを算出し、イメージ画像１５２を生成する。
【００８３】
次のステップＳ２０では、コンターによるイメージ画像１５２の拡大、縮小、オフセット等の処理を行う。次のステップＳ２２では、重心の座標（Ｘｄｇ，Ｙｃｇ）に対してローパスフィルタ処理（ＬＰＦ１）を施し、カーソル中心（代表点１５０）の座標を算出する。
【００８４】
次のステップＳ２４ではコンターにより生成されるイメージ画像１５２を描画し、次のステップＳ２６ではカーソル（代表点１５０）を描画する。次のステップＳ２８では、代表点１５０、及びイメージ画像１５２を元画像に重畳して表示部１０２に表示する。
【００８５】
なお、ステップＳ１２〜Ｓ２２の処理は、主として制御部１１０が行い、ステップＳ２４〜Ｓ２８の処理は主として画像生成部１２０が行う。
【００８６】
以上説明したように第１の実施形態によれば、タッチセンサ１０４で検出した静電容量値に基づいてカーソルの中心（代表点１５０）を表示し、その周辺に静電容量値に応じたイメージ画像１５２を表示するようにした。これにより、ユーザは、擬似的な指の画像を表示画面上に認識することができ、表示部１０２上での操作入力を容易に行うことが可能になるとともに、誤操作の発生を抑止することができる。
【００８７】
特に、絶対座標系のタッチパッドを用いた電子機器において、手指のイメージ情報を表示部１０２にビジュアルフィードバックとすることで、実際に手指の見えない背面操作系において、ユーザが気づかずに手指の一部がタッチセンサに触れてしまい、誤作動を引き起こすことを確実に抑止することができる。また、手指のイメージ情報を表示部１０２にビジュアルフィードバックとすることで、絶対座標系であることをユーザに直感的に理解させることが可能となる。
【００８８】
また、手指のイメージ情報を表示部１０２にビジュアルフィードバックとすることで、指をタッチセンサから離しても画面へのフィードバックが残るので、次に指をどこに置いたらよいのか分からなくなることを抑止できる。
【００８９】
３．第２の実施形態
３．１．システム構成例
次に、第２の実施形態について説明する。第２の実施形態では、タッチセンサから得られた手指の擬似的なイメージ画像を、離れた場所の画面に表示するものである。図１７及び図１８は、第２の実施形態に係るコントローラ２００と、電子機器３００の構成を示す構成図である。コントローラ２００は、電子機器２２０を遠隔操作（リモートコントロール）するための機器であり、例えば静電容量式のタッチセンサ２３０を内蔵している。なお、第１の実施形態と同様に、タッチセンサ２３０は静電容量式に限定されるものではない。
【００９０】
第２の実施形態では、ユーザがコントローラ２００のタッチセンサ２３０上で指を用いて位置を指定すると、その位置情報に応じて電子機器３００の表示部３５０にカーソルが表示される。また、第１の実施形態と同様に、カーソルの代表点１５０とともにイメージ画像１５２が表示される。なお、電子機器３００は、例えばテレビ受像機、セットトップボックス等の機器であるが、特に限定されるものではない。また、コントローラ２００と電子機器３００との間の通信方式は特に限定されるものではなく、無線通信ネットワーク等を介して通信を行うことができる。
【００９１】
図１９は、第２の実施形態の構成を示すブロック図である。図１９に示すように、コントローラ２００は、制御部２１０、送信部２２０、タッチセンサ２３０、メモリ２４０を有して構成される。また、電子機器３００は、制御部３１０、画像生成部３２０、受信部３３０、メモリ３４０、表示部３５０、画像受信部３６０を有して構成される。
【００９２】
また、図２０は、電子機器３００がセットトップボックス等の装置であり、表示部３５０が別体に構成された例を示すブロック図である。
【００９３】
図１７及び図１８に示すように、コントローラ２００の表側には、タッチセンサ２３０が設けられている。タッチセンサ２３０は、第１の実施形態のタッチセンサ１０４と同様に、ユーザの手指の接近または接触を検出する。タッチセンサ２３０は、検出結果を制御部２１０へ送る。制御部２１０は、タッチセンサ２３０から送られた検出結果を送信部２２０を介して電子機器３００へ送信する。メモリ２４０は、ユーザの手指の接近または検出に関する情報等を一時的に記憶する。
【００９４】
電子機器３００の受信部３３０は、ユーザの手指の接近または接触に関する情報を受信すると、その情報を制御部３１０へ送信する。制御部３１０は、受信部３３０から送られた検出結果に基づいて、表示部３５０に表示するための情報を生成し、画像生成部３２０へ送る。ここで、制御部３１０が生成する情報は、カーソルの代表点１５０の画像と、イメージ画像１５２とが含まれる。制御部３１０は、代表点１５０、イメージ画像１５２を生成する画像処理部として機能する。また、制御部３１０は、カーソルの操作に基づいて、コンテンツの選択、ドラッグ等の電子機器３００の全般的な処理を行う。画像生成部３２０は、制御部３１０から送られた情報と、画像送受信部３６０にて受信した画像またはメモリ３４０に保存された画像とを重畳して、表示部３５０に表示する画像のデータを生成する。画像生成部３２０にて生成された画像データは、表示部３５０に送られて、表示部３５０に表示される。
【００９５】
なお、上述の説明では、コントローラ２００側からはタッチセンサ２３０の検出結果を電子機器３００へ送信し、電子機器３００の制御部３１０で表示部３５０に表示するための情報を生成するものとしたが、これに限定されるものではない。コントローラ２００の制御部２１０で表示部３５０に表示するための情報を生成して電子機器３００へ送るものとしても良い。この場合、制御部２１０は、タッチセンサ２３０の検出結果を取得する操作情報取得部、及び、代表点１５０、イメージ画像１５２を生成する画像処理部として機能する。電子機器３００の画像生成部３２０は、コントローラ２００の制御部２１０で生成された情報と、画像送受信部３６０にて受信した画像またはメモリ３４０に保存された画像とを重畳して、表示部３５０に表示する画像のデータを生成する。
【００９６】
図１９及び図２０に示す構成は、ハードウェア（回路）またはＣＰＵなどの中央演算処理装置とこれを機能させるためのソフトウェア（プログラム）から構成することができる。この場合において、そのプログラムは、メモリ２４０，３４０など電子機器１００が備える記憶部または外部から挿入される記憶媒体に格納されることができる。
【００９７】
３．２．画面上での表示例
図１７及び図１８は、ユーザがタッチセンサ２３０の左側を左手の親指で触れている状態を示している。これにより、表示部３５０の左側の対応する位置にカーソルの代表点１５０が表示される。また、第１の実施形態と同様に、カーソルの周囲には静電容量に応じてイメージ画像１５２が表示される。図１７及び図１８では、図８で説明したデフォルメを示すとともに、静電容量値が所定のしきい値と一致する領域のエッジ（輪郭）を算出し、イメージ画像１５２の外縁としてエッジを描画している。また、図１７は、左手の親指がタッチセンサ２３０の比較的広い領域と接触した状態を示し、図１８は左手の親指がタッチセンサ２３０の比較的狭い領域と接触した状態を示している。つまり、図１７は、左手の親指をタッチセンサ２３０に強く押し付けた状態を示しており、図１８は左手の親指がタッチセンサ２３０に軽く触れた状態を示している。なお、イメージ画像１５２の外縁の形状をさらに単純化し、所定半径の円、または楕円にフィッティングさせてもよい。
【００９８】
図２１は、ユーザがタッチセンサ２３０の左側を左手の親指で触れるとともに、タッチセンサ２３０の右側を右手の人差し指で触れているマルチタッチの状態を示している。この場合、ユーザがタッチセンサ２３０に触れている２箇所の位置に対応して、カーソルの代表点１５０とその周辺のイメージ画像１５２が表示部３５０の左右の２箇所に表示される。このとき、タッチセンサ２３０のグリッドごとの静電容量の特徴に応じてカーソル（代表点１５０及びイメージ画像１５２）の描画表現を変更することができる。例えば、画面右側と左側のカーソルの色を異ならせることで、ユーザが左右いずれのカーソルを操作しているかを判別し易くすることができる。
【００９９】
第２の実施形態においても、代表点１５０、及びイメージ画像１５２の表示は、絶対座標系で行われ、タッチセンサ２３０上での指の位置は１対１で表示部３５０上の代表点１５０及びイメージ画像１５２と対応する。イメージ画像１５２は手指の画像を示しているため、ユーザは、イメージ画像１５２の表示から絶対座標系であることを直感的に認識することができる。タッチセンサ２３０と表示部３５０が別に設けられている場合、手指の相対的な位置関係が分かりにくくなるが、擬似的に指を示すイメージ画像１５２を表示することでユーザの理解を促進することができる。これにより、マルチタッチの場合においても、ユーザは混乱を生じることなく各カーソルを操作することができる。
【０１００】
図２２は、グリッドごとの静電容量の大きさに応じてカーソルのステイタスを変更する例である。ステイタスを変更する場合、電子機器３００は、例えば、描画される代表点１５０またはイメージ画像１５２の色、大きさ等を変えたり、操作できる対象を変える等のアクションを行う。ここで、ステイタスを変更するために、イメージ画像１５２の大きさを指標とすることができる。同一強度の静電容量で示されるイメージ画像１５２の大きさ（面積、またはフィッティングされた円の径など）が所定のしきい値を超えたが否かでステイタスを変更する。これにより、例えば大人と子供では指の大きさが相違するため、大人と子供で違う色のイメージ画像１５２（擬似指）を表現することができる。また、イメージ画像１５２の面積が所定値よりも小さい場合は、子供が操作していると判断し、操作を禁止することで、チャイルドロック等の操作が可能となる。
【０１０１】
また、図２３は、電子機器３００のステイタス（状態）を示す情報を、擬似的な指画像（イメージ画像１５２）に重畳させた例を示す模式図である。図２３に示すように、電子機器３００の「初期状態」、「読み込み中」等のステイタスに応じて擬似的な指を示すイメージ画像１５２を変更することで、ユーザは視覚的に電子機器３００のステイタスを認識することができる。また、代表点１５０の色を左右で変化させることで、ユーザが左右いずれのカーソルを操作しているかを判別し易くすることができる。このような構成によれば、ユーザーは、少ない視線移動で機器の状態を直感的に認知することが可能となる。
【０１０２】
以上説明したように第２の実施形態によれば、タッチセンサ２３０と表示部３５０が分離しているシステムにおいて、タッチセンサ２３０で検出した静電容量値に基づいてカーソルの中心（代表点１５０）を表示し、その周辺に静電容量値に応じたイメージ画像１５２を表示するようにした。これにより、ユーザは、擬似的な指の画像を表示画面上に認識することができ、表示部３５０上での操作入力を容易に行うことが可能になるとともに、誤操作の発生を抑止することができる。
【０１０３】
以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。
【符号の説明】
【０１０４】
１００ 電子機器
１０４ タッチセンサ
１１０，３１０ 制御部
１２０，３２０ 画像生成部
２００ コントローラ
【技術分野】
【０００１】
本発明は、電子機器、情報処理方法、プログラム、及び電子機器システムに関する。
【背景技術】
【０００２】
近時では、スマートフォン等の携帯端末において普及しているＧＵＩ（Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）として、タッチパネルなどのタッチセンサを用いた操作入力装置が導入されている。タッチパネルは、液晶ディスプレイ（LCD）画面などの上に配置されたタッチセンサを用いて、画面上を直接触ることで直感的な操作（ダイレクトマニュピレーション）を実現している。例えば、下記の特許文献１には、静電式タッチパネル上のオブジェクトを移動させる操作として、２つの操作モードを備える装置が記載されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１０−２６２５５６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
タッチパネルは、表示画面上で直接操作できる操作入力装置として非常に有用であるが、その一方で、例えばノート型のパーソナルコンピュータに代表されるように表示画面とタッチセンサ（タッチパッド）が分離している機器が存在する。
【０００５】
このような表示画面とタッチセンサが分離している機器では、タッチセンサ上での操作位置（指が触れている位置）と画面上に指定した位置（例えばカーソルの位置）との関係をユーザが認識し難くなる問題がある。一例として、表側に表示画面が設けられ、背面（装置の裏側）にタッチセンサが設けられた携帯型端末装置が挙げられる。このような機器では、目には見えない装置の背面で手指を操作するので、タッチセンサ上での操作位置と画面上に指定した位置との関係をユーザが認識し難くなる。また、ユーザが気づかずに手指の一部がタッチセンサに触れてしまい、想定していない作動を引き起こす可能性もある。
【０００６】
また、表示画面とタッチセンサが分離している他の例として、離れた画面上のユーザインタフェース（ＵＩ）をタッチパネル的に操作するコントローラーが挙げられる。このような機器では、ユーザは画面を見ながら手元のコントローラを操作するので、タッチセンサ上での操作位置と画面上に指定した位置との関係をユーザが認識し難くなる。また、ユーザが気づかずに手指の一部がタッチセンサに触れてしまい、やはり想定していない作動を引き起こすことが想定される。また、操作入力としてマルチタッチ（指で触れた複数の位置に対応して複数のカーソルを表示してそれぞれを操作可能とする）を採用すると、複数のポインティング位置（カーソル位置）同士の絶対的な位置関係を把握し難くなる問題も生じる。
【０００７】
また、別の問題として、タッチパッドを用いた場合は、指をタッチセンサに触れているときにはカーソルが表示されるものの、指をタッチセンサから離すと、カーソルが消えるため、画面へのフィードバックが全く無くなってしまう。このため、ユーザが次に指をどこに置いたらよいのか分からなくなるという問題があった。
【０００８】
そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、ユーザに違和感を与えることなく、表示画面を見ながら自然な操作で入力を行うことが可能な、新規かつ改良された電子機器、情報処理方法、プログラム、及び電子機器システムを提供することにある。
【課題を解決するための手段】
【０００９】
上記課題を解決するために、本発明のある観点によれば、操作面での操作者による操作に基づいて、操作主体による操作情報を取得する操作情報取得部と、前記操作情報に基づいて、前記操作主体のイメージを反映したイメージ画像を生成する画像処理部と、前記イメージ画像を元画像に重ねた画像を生成する画像生成部と、を備える、電子機器が提供される。
【００１０】
また、前記操作面とは別の箇所に設けられ、前記イメージ画像を前記元画像に重ねた画像を表示する表示部を備えるものであってもよい。
【００１１】
前記操作情報は、前記電子機器とは別体の装置であって前記操作面を有する他の装置から受信した情報であってもよい。
【００１２】
また、前記画像処理部は、前記操作情報に基づいて、前記操作主体の代表点の位置の情報を生成し、前記画像生成部は、前記操作主体の代表点の位置の画像を、前記イメージ画像とともに前記元画像に重ねた画像を生成するものであってもよい。
【００１３】
また、前記画像処理部は、前記イメージ画像を前記元画像に対して半透明又は縁取りされた画像として生成するものであってもよい。
【００１４】
また、前記画像処理部は、前記操作情報取得部で検出された前記操作情報の信号強度が所定のしきい値以下の場合は前記イメージ画像の情報を生成しないものであってもよい。
【００１５】
また、前記画像処理部は、前記操作情報取得部で取得された前記操作情報の信号強度が第１のしきい値以下の場合は前記イメージ画像の情報を生成せず、前記操作情報取得部で検出された前記操作情報の信号強度が前記第１のしきい値よりも大きな第２のしきい値以下の場合は前記代表点の位置の情報を生成しないものであってもよい。
【００１６】
また、前記画像処理部は、前記イメージ画像の情報に第１の強度のローパスフィルタ処理を行うとともに、前記代表点の画像の情報に第２のローパスフィルタ処理を行い、前記第１のローパスフィルタ処理の強度は前記第２のローパスフィルタ処理の強度よりも強いものであってもよい。
【００１７】
また、前記画像処理部は、前記操作情報取得部で取得された前記操作情報の信号強度が所定値以下になった場合は、過去に取得された前記操作情報の信号強度に基づいて前記イメージ画像を推定して生成するものであってもよい。
【００１８】
また、前記操作情報取得部で検出された前記操作情報の信号強度が前記第１のしきい値よりも大きな第２のしきい値以下の場合は、前記操作主体による入力を受け付けないものであってもよい。
【００１９】
また、前記画像処理部は、前記操作情報に基づいて、予め設定された図形を前記イメージ画像の情報として生成するものであってもよい。
【００２０】
また、前記画像処理部は、前記操作情報に基づいて、前記操作面と前記操作主体との距離に応じた前記イメージ画像を生成するものであってもよい。
【００２１】
また、前記画像処理部は、前記イメージ画像の大きさを前記操作情報の信号強度に応じた大きさとして前記イメージ画像を生成するものであってもよい。
【００２２】
また、前記画像処理部は、前記イメージ画像の濃度を前記操作情報の信号強度に応じた大きさとして前記イメージ画像を生成するものであってもよい。
【００２３】
また、前記イメージ画像の大きさが所定値以下の場合は、前記操作主体による入力を受け付けないものであってもよい。
【００２４】
また、上記課題を解決するために、本発明の別の観点によれば、操作面での操作者による操作に基づいて、操作主体による操作情報を取得すること、前記操作情報に基づいて、前記操作主体を反映したイメージ画像を生成すること、前記イメージ画像を元画像に重ねた画像を生成すること、を備える、情報処理方法が提供される。
【００２５】
また、上記課題を解決するために、本発明の別の観点によれば、操作面での操作者による操作に基づいて、操作主体による操作情報を取得する手段、前記操作情報に基づいて、前記操作主体のイメージを反映したイメージ画像を生成する手段、前記イメージ画像を元画像に重ねた画像を生成する手段、としてコンピュータを機能させるためのプログラムが提供される。
【００２６】
また、上記課題を解決するために、本発明の別の観点によれば、操作面での操作者による操作に基づいて、操作主体による操作情報を取得する操作情報取得部と、前記操作情報を送信する送信部と、を有するコントローラと、前記操作情報を受信する受信部と、前記操作情報に基づいて、前記操作主体のイメージを反映したイメージ画像を生成する画像処理部と、前記イメージ画像を元画像に重ねた画像を生成する画像生成部と、を有する電子機器と、備える、電子機器システムが提供される。
【００２７】
また、上記課題を解決するために、本発明の別の観点によれば、操作面での操作者による操作に基づいて、操作主体による操作情報を取得する操作情報取得部と、前記操作情報に基づいて、前記操作主体のイメージを反映したイメージ画像を生成する画像処理部と、前記イメージ画像の情報を送信する送信部と、を有するコントローラと、前記イメージ画像の情報を受信する受信部と、前記イメージ画像を元画像に重ねた画像を生成する画像生成部と、を有する電子機器と、備える、電子機器システムが提供される。
【発明の効果】
【００２８】
本発明によれば、ユーザに違和感を与えることなく、表示画面を見ながら自然な操作で入力を行うことが可能となる。
【図面の簡単な説明】
【００２９】
【図１】第１の実施形態の携帯型電子機器の外観を示す模式図である。
【図２】図１に示す携帯型電子機器の構成を示すブロック図である。
【図３】タッチセンサをグリッド式静電容量式のタッチセンサから構成した場合に、そのグリッド構造を示す模式図である。
【図４】タッチセンサを光学式インセルタッチセンサから構成した場合の構成を示す模式図である。
【図５】図２に示した静電容量式のタッチセンサによってスキャンされた静電容量の実測結果の一例を示す特性図である。
【図６】図２に示す各グリッドのうち、特定グリッドにおける、ユーザの指の近接又は接触による静電容量の大きさを示した特性図である。
【図７】タッチセンサが取得した静電容量を示す模式図である。
【図８】図７に示すようなタッチセンサが取得した静電容量に基づいて、カーソルの画像を生成して、送受信部が受信したＵＲＬの画面と重畳して表示した状態を示す模式図である。
【図９】重心を求める方法の一例を示す模式図である。
【図１０】一般的なコンター（等高線）を求める方法の一例を示す模式図である。
【図１１】ローパスフィルタ処理を示すブロック図である。
【図１２】ローパスフィルタ処理を示すブロック図である。
【図１３】静電容量に基づいてカーソルの代表点を表示するとともに、静電容量に基づいてイメージ画像１５２を表示し、更に実際の指の形状を表示した例を示す模式図である。
【図１４】タッチセンサに指が近接する過程で、カーソルの周囲のイメージ画像１５２の範囲と濃度を変化させた表示例を示す模式図である。
【図１５】タッチセンサによる静電容量の検出可能範囲の外に指が離れた場合の表示例を示す模式図である。
【図１６】本実施形態の携帯型電子機器における処理を示すフローチャートである。
【図１７】第２の実施形態に係るコントローラーと、電子機器の構成を示す構成図である。
【図１８】第２の実施形態に係るコントローラーと、電子機器の構成を示す構成図である。
【図１９】第２の実施形態の構成を示すブロック図である。
【図２０】電子機器がセットトップボックス等の装置であり、表示部が別体に構成された例を示すブロック図である。
【図２１】ユーザがタッチセンサの左側を左手の親指で触れるとともに、タッチセンサ２３０の右側を右手の人差し指で触れている状態を示す模式図である。
【図２２】グリッドごとの静電容量の大きさに応じてカーソルのステイタスを変更する例である。
【図２３】電子機器のステイタス（状態）を示す情報を、擬似的な指画像に重畳させた例を示す模式図である。
【発明を実施するための形態】
【００３０】
以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【００３１】
なお、説明は以下の順序で行うものとする。
１．実施形態の概要
２．第１の実施形態
２．１．システム構成例
２．２．タッチセンサの構成例
２．３．画面上での表示例
２．４．ローパスフィルタ処理について
２．５．手指の形状を表示する例
２．６．距離に応じてイメージ画像の範囲と濃度を変化させた表示例
２．７．指がタッチセンサの検出可能範囲外に離れた場合の表示例
２．８．本実施形態の携帯型電子機器における処理
３．第２の実施形態（取込制御：パン方向の検出に方位センサを使用する例）
３．１．システム構成例
３．２．画面上での表示例
【００３２】
１．実施形態の概要
ノート型のパーソナルコンピュータに代表されるように表示画面とタッチセンサ（タッチパッド）が分離している機器が存在する。このような機器では、タッチパッドは、相対座標系を用いたものが用いられている。
【００３３】
相対座標系を用いたタッチパッドの場合、タッチパッド上での操作位置（指が触れている位置）と画面上に指定した位置（例えばカーソルの位置）は１対１で対応するものではない。ユーザがタッチパッド上でカーソルを移動する操作をすると、現在のカーソルの位置を基準として、操作に応じた相対的な距離だけカーソルが移動する。例えば、ユーザが画面上でカーソルを画面の一端から他端に移動する場合、タッチパッド上で指を所定距離だけ移動し、この所定距離の移動を複数回繰り返すことによりカーソルを画面の一端から他端へ移動することができる。
【００３４】
一方、他の座標系としてタッチパネルに代表される絶対座標系がある。絶対座標系の場合、タッチセンサ上で指定した位置（指が触れている位置）と画面上に指定した位置（例えばカーソルの位置）は１対１で対応するため、例えば、ユーザがタッチセンサの左端に触れると画面の左端にカーソルが移動し、タッチセンサの右端に触れると画面の右端にカーソルが移動する。
【００３５】
画面とタッチパッドが分離している場合、ノート型のパーソナルコンピュータに代表されるように相対座標系を用いることが一般的であるが、場面によっては絶対座標系を用いた方が、利便性が高くなる。一例として、第１の実施形態で説明するような、表示装置の背面（装置の裏側）にタッチセンサを付加した携帯型端末装置が挙げられる。これは、操作面は背面であるが、表側の表示画面と操作面が表裏で対応しており、いわば擬似的なタッチパネル的操作入力装置である。このような装置で相対座標系を用いると、カーソルの位置と指で操作している位置が相違してしまい、ユーザに混乱が生じてしまう。従って、このような装置では、絶対座標系を用いることでユーザビリティの高い操作体系とすることができる。
【００３６】
表示装置の背面にタッチセンサを付加した操作系では、タッチパネルと異なり、指が画面を隠すことがないという大きな利点がある。従って、ユーザは、表示画面を指で遮られることなく、タッチパネルと同等の操作を行うことができる。一方、目には見えない装置の背面で手指を操作するので、ユーザが気づかずに手指の一部がタッチセンサに触れてしまい、想定していない作動を引き起こす可能性もある。このため、指の位置を表側の表示画面に表示することが望ましい。
【００３７】
また、他の例として、第２の実施形態で説明するような、離れた画面上のユーザインタフェース（ＵＩ）をタッチパネル的に操作するコントローラーが挙げられる。ここで、操作入力としてマルチタッチ（指で触れた複数の位置に対応して複数のカーソルを表示してそれぞれを操作可能とする）を採用すると、複数のポインティング位置（カーソル位置）同士の絶対的な位置関係が重要となるため、絶対座標系を採用すると操作が容易になる。この場合、既存のノート型ＰＣ等のタッチパッドで常用されている相対座標になじんだユーザーが座標系の違いに混乱してしまう可能性がある。
以上のように、ポインティングデバイスを用いる従来のGUI系（Windows(登録商標)PCなど）では操作のための座標系として相対座標系をもちいることが一般的である。しかし、ダイレクトマニュピレーション的な操作感をパッチパッドで実現しようとした場合には、操作オブジェクトの位置を直接操作する必要性があるために、絶対座標系を用いることが望ましい。さらに、マルチタッチ操作を行う場合も、各指の位置関係を崩さないためには絶対座標系が望ましい。
【００３８】
また、タッチパッドを用いた場合は、指をタッチセンサに触れているときにはカーソルが表示されるものの、指をタッチセンサから離すと、カーソルが消えるため、画面へのフィードバックが全く無くなってしまう。このため、ユーザが次に指をどこに置いたらよいのか分からなくなる可能性も存在する。
【００３９】
このため、以下に説明する各実施形態では、タッチセンサの各グリッドが取得する手指のイメージ情報をビジュアル化して、画面に表示するようにした。ここで、手指のイメージ情報を表示する際には、非接触の近接状態でも表示できるように、所定のしきい値を用いることができる。また、イメージ情報には、ポインティングのためのカーソルを重畳させることができる。また、手指がタッチセンサに接触しておらず、接近しているのみの場合は、カーソルを重畳させない、または機能させないようにすることもできる。このような構成によれば、ユーザーの手指の場所を（接触する前から）ビジュアルフィーバックすることが可能となり、絶対座標を用いるタッチパッドの操作性を向上させることが可能である。以下、各実施形態について詳細に説明する。
【００４０】
２．第１の実施形態
２．１．システム構成例
本実施形態は、ＧＵＩ（Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）のコントローラーに関するものであり、一例としてタッチセンサを用いた携帯型電子機器を例に挙げて説明する。図１は、第１の実施形態の携帯型電子機器１００の外観を示す模式図である。携帯型電子機器１００は、筐体１０８の表面に設けられた表示部１０２と、裏面に配置されたタッチセンサ１０４とを有して構成されている。表示部１０２は、例えば液晶表示パネル（ＬＣＤ）等から構成される。また、タッチセンサ１０４は、一例として静電容量式のタッチセンサから構成することができるが、これに限定されるものではない。ユーザは、表示部１０２を上に向けて携帯型電子機器１００を保持し、背面のタッチセンサ１０４を操作することによって、表示部１０２に表示されたカーソルを動かしたり、アイコンを選択したり、ドラッグ等の操作を行うことができる。
【００４１】
図２は、図１に示す携帯型電子機器１００の構成を示すブロック図である。図２に示すように、携帯型電子機器１００は、表示部１０２、タッチセンサ１０４、送受信部１０６、制御部１１０、画像生成部１２０、メモリ１３０を有して構成される。
【００４２】
送受信部１０６は、無線通信ネットワークを介して情報を送受信する。タッチセンサ１０４は、ユーザの手指の接近または接触を検出する。タッチセンサ１０４は、検出結果を制御部１１０へ送る。制御部１１０は、タッチセンサ１０４から送られた検出結果に基づいて、表示部１０２に表示するための情報を生成し、画像生成部１２０へ送る。ここで、制御部１１０が生成する情報は、後述するカーソルの代表点１５０の画像と、イメージ画像１５２とが含まれる。制御部１１０は、タッチセンサ１０４の検出結果を取得する操作情報取得部、及び、代表点１５０、イメージ画像１５２を生成する画像処理部として機能する。また、制御部１１０は、カーソルの操作に基づいて、コンテンツの選択、ドラッグ等の電子機器１００の全般的な処理を行う。画像生成部１２０は、制御部１１０から送られた情報と、送受信部１０６にて受信した画像またはメモリ１３０に保存された画像とを重畳して、表示部１０２に表示する画像のデータを生成する。画像生成部１２０にて生成された画像データは、表示部１０２に送られて、表示部１０２に表示される。メモリ１３０は、ユーザの手指の接近または検出に関する情報、画像等の情報を記憶する。
【００４３】
図２に示す構成は、ハードウェア（回路）またはＣＰＵなどの中央演算処理装置とこれを機能させるためのソフトウェア（プログラム）から構成することができる。この場合において、そのプログラムは、メモリ１３０など電子機器１００が備える記憶部または外部から挿入される記憶媒体に格納されることができる。
【００４４】
２．２．タッチセンサの構成例
図３は、タッチセンサ１０４をグリッド式静電容量式のタッチセンサから構成した場合に、そのグリッド構造を示す模式図である。図３に示すように、タッチセンサ１０４は、静電容量センサをグリッド（格子）状に配置したものであり、各グリッドごとに、表面に近接又は接触されるユーザの手指の静電容量を順次スキャンする構成とされている。
【００４５】
また、図４は、タッチセンサ１０４を光学式インセルタッチセンサから構成した場合の構成を示す模式図である。光学式インセルタッチセンサは、バックライト、ＴＦＴ側ガラス、液晶層（センサー）、対向側ガラスを有して構成される。光学式のタッチセンサを用いた場合、図４に示すように、バックライトから光を照射し、その反射光の強弱を液晶層（センサー）で検出して、タッチセンサの表面にユーザの指が近接又は接触したことを検知する。
【００４６】
図５は、図３に示した静電容量式のタッチセンサ１０４によってスキャンされた静電容量の実測結果の一例を示す特性図である。図5は、タッチセンサ１０４によって得られた静電容量値をわかりやすく示すために極性反転している。従って、以下では、ユーザの指がタッチセンサ１０４に近接するほど静電容量値（極性反転した値）が小さくなるものとして説明する。図５に示すように、矢印Ａで示す領域で静電容量が局所的に小さくなっており、この領域でユーザの指が近接又は接触したことが検知できる。
【００４７】
図６は、図２に示す各グリッドのうち、特定グリッドにおける、ユーザの指の近接又は接触による静電容量の大きさを示した特性図である。ここで、縦軸は静電容量の大きさを示しており、横軸は指をタッチセンサ１０４の表面に近づけていく過程での経過時間を示している。また、図６中に示す数値は、ユーザの指からタッチセンサ１０４表面までの距離［ｍｍ］を示している。図６に示すように、タッチセンサ１０４で検出される静電容量は、ユーザの指がタッチセンサ１０４の表面に近づくほど減少し、指が表面に接触すると最小となる。
【００４８】
２．３．画面上での表示例
次に、表示部１０２上での画像の表示について説明する。表示部１０２には、送受信部１０６にて受信した画像と、タッチセンサ１０４から送られた検出結果に基づいて生成された情報とが重畳されて表示される。図７は、タッチセンサ１０４が取得した静電容量をコンター（等高線）で示した模式図である。ここでは、左右の親指が同時にタッチセンサ１０４に触れた場合の結果を示しており、タッチセンサ１０４の左右の領域Ｂ、領域Ｃの位置で静電容量値が周囲よりも低くなっている状態を示している。
【００４９】
また、図８（Ａ）〜図８（Ｄ）は、図７に示す静電容量値に基づいてカーソルの画像を生成して、送受信部１０６が受信したＵＲＬの画面と重畳して表示した状態を示す模式図である。ここでは、一例として送受信部１０６が受信した検索エンジンのＵＲＬの画面にカーソルの画像を重畳した例を示す。図８（Ａ）〜図８（Ｄ）は、図７に示すタッチセンサ１０４のグリッドごとの静電容量値を図示化して画面に重畳させた例を示したものである。従って、図８（Ａ）〜図８（Ｄ）においては、右手の親指と左手の親指の２箇所に対応するカーソルが表示されている。
【００５０】
図８（Ａ）は、静電容量の大きさのコンター（等高線）を求め、これをイメージ画像１５２（手指のイメージを反映した画像）によって表現して画面に重畳した例である。ここで、中央部の白丸部分は、操作に応じて移動するカーソルの代表点（カーソルの中央）１５０を示している。代表点１５０は、コンテンツの選択、ドラッグ等の操作を行う場合に基準となる点である。代表点１５０は、例えばしきい値を超えたグリッドごとの静電容量値の加重された重心として求められる。また、イメージ画像１５２の部分は、指がタッチセンサ１０４と接触している箇所及びその周辺において、静電容量値に応じた形状に表示される。従って、イメージ画像１５２の部分は、指の形状に対応したものとなる。イメージ画像１５２の部分では、静電容量値に応じたコンターが表示され、また、静電容量値に応じてドットが表示され、指がタッチセンサ１０４に対して接近しているほどドットの濃度が濃く表示される。また、制御部１１０は、イメージ画像１５２の部分には、元画像であるＧＵＩやコンテンツを隠さないために、半透明または縁取り処理（縁が描画されていて、内側が透明、または薄い半透明）を行っても良い。また、図８（Ａ）において、例えば左右の指に応じて、画像に重畳する代表点１５０とその周辺のイメージ画像１５２の色を変えても良い。
【００５１】
このように、図８（Ａ）に示すイメージ画像１５２の部分は、タッチセンサ１０４に触れた指を擬似的に表している。ユーザは、携帯型電子機器１００の裏面のタッチセンサ１０４に触れた際に、表面の表示部１０２に表示された代表点１５０とその周辺のイメージ画像１５２を視認することで、裏面の指が表示部１０２に表示された画面のどの位置を指しているかを視覚的に認識することができる。
【００５２】
図８（Ａ）の表示を行う際には、制御部１１０は、図７の静電容量値から重心を求めて代表点１５０の位置を生成する。また、制御部１１０は、図７の静電容量値からコンターを求め、これに対応するイメージ画像１５２の情報を生成する。画像処理部１２０は、制御部１１０が生成した情報を用いて、送受信部１０６が受信したＵＲＬの画像に代表点１５０及びイメージ画像１５２を重畳して表示のための画像を生成する。
【００５３】
代表点１５０の位置は、静電容量の大きさが最も小さい重心の位置とすることができる。図９は、重心を求める方法の一例を示す模式図である。図９は、各グリッド（図９では、１６個のグリッドを示す）の静電容量の大きさを、濃淡を用いて模式的に示しており、濃淡が濃いグリッドほど検出された静電容量が小さいものとする。ここで、重心の座標を（Ｘｃｇ，Ｙｃｇ）とすると、以下の式より重心位置を求めることができる。
【００５４】
【数１】
【００５５】
上式において、Ｚ（ｉ，ｊ）は、座標（ｘ，ｙ）＝（ｉ，ｊ）における静電容量の大きさである。
【００５６】
また、図１０は、一般的なコンター（等高線）を求める方法の一例を示す模式図である。コンターは、以下の手順に従って求めることができる。
（手順１）図１０に示すように、各グリッドの中心を結ぶ三角形を設定する。
（手順２）各三角形の３つの頂点における静電容量値の大小を比較し、大きさの順に並べ替えを行い、例えば静電容量値の小さい順にＴ１，Ｔ２，Ｔ３と頂点の名称を付ける。
（手順３）ある１つの三角形において、等高線の一端を求める。この三角形において等高線の一端は、頂点Ｔ１とＴ３を結ぶ辺Ｔ１−Ｔ３を通る。例えば、等高線の値ｄがＴ１＜Ｔ３の場合、等高線の一端は、値ｄを辺Ｔ１−Ｔ３上で頂点Ｔ１とＴ３の静電容量値を比例配分した点を通るものとすることができる。
（手順４）次に、この三角形において、等高線のもう一端を求める。等高線の値ｄがＴ１＜ｄ＜Ｔ２の場合、等高線のもう一端は頂点Ｔ１とＴ２を結ぶ辺Ｔ１−Ｔ２を通る。また、等高線ｄの値がＴ２＜ｄ＜Ｔ３の場合、等高線のもう一端は頂点Ｔ２とＴ３を結ぶ辺Ｔ２−Ｔ３を通る。また、等高線の値ｄがｄ＝Ｔ２の場合、等高線のもう一端は頂点Ｔ２を通る。また、等高線の値ｄがｄ＝Ｔ３の場合、等高線のもう一端は頂点Ｔ３を通る。
【００５７】
以上のようにして、上記の手順１〜４を各三角形について行うことで、各三角形を通る等高線を一意に決定することができる。また、このように求められた等高線（多角形）に対して、スプライン曲線などで補間を行えば、曲線状の等高線を得ることができる。
【００５８】
また、代表点１５０及びその周辺のイメージ画像１５２の画像は、静電容量値をそのまま反映した形状、または大きさで出力させる必要はなく、例えば図８（Ｂ）、図８（Ｃ）、図８（Ｄ）のようにデフォルメさせてもよい。
【００５９】
図８（Ｂ）は、例えば代表点１５０を中心として、コンターに対応するイメージ画像１５２の画像を図８（Ａ）よりも縮小した例を示している。このような処理を行うことで、イメージ画像１５２の領域がより狭くなるので、画面上に表示されるイメージ画像１５２（指の像）によって画面にビジーさが生じてしまうことを防止できる。また、画面へのビジーさを防止するためには、イメージ画像１５２の部分の透明度を上げることで対応することも可能である。
【００６０】
図８（Ｃ）は、コンターによるイメージ画像１５２に対して代表点１５０を所定方向に段階的にシフトさせた例を示している。ここでは、静電容量が小さいほど代表点１５０をイメージ画像１５２に対して画面上方にシフトするような処理を加えている。このような処理を行うのは、ユーザーは、指先（画面上方に位置することが多い）の先端でタッチセンサ１０４の表面を触っているつもりでいるが、実際の静電容量の取得データはおおよそ指の中央（指の腹）で最小となり、ユーザの意識と実際の代表点１５０の位置との差が違和感として感じられる場合があるためである。図８（Ｃ）のように代表点１５０の位置をシフトすることで、このような違和感を抑止できる。
【００６１】
図８（Ｄ）は、図８（Ｃ）の表示において、代表点１５０を更に左右方向にもシフトさせた例を示している。なお、図８（Ｄ）では、図８（Ｃ）で説明した上方向へのシフトと左右方向のシフトの混合としているが、左右方向だけをシフトする処理であってもよい。
【００６２】
図８（Ｄ）の例では、右側のカーソルに関しては、静電容量が小さいほど、実際の静電容量のピーク位置よりも代表点１５０が左方にシフトするように処理を加えている。また、左側のカーソルに関しては、静電容量が小さいほど、実際の静電容量のピーク位置よりも代表点１５０が右方にシフトするように処理を加えている。これは、図８（Ｃ）と同様に、右手で触っているときのユーザの意識では、実際のピーク位置よりも左上にカーソルが位置し、左手で触っているときのユーザの意識では、実際のピーク位置よりも右上にカーソルが位置するためである。
【００６３】
また、左右の２本の指を接触するほど近づけた場合、実際の静電容量のピーク位置を代表点１５０の位置としてしまうと、２つのカーソルの間には隙間が存在してしまい、その間に存在するアイコン等にカーソルが届かないことが想定される。しかし、図８（Ｄ）のような処理を加えることで、２つの指が近接（接触でなくてもよい）するときに２つの代表点１５０の間の距離を実質的に０とすることができるため、アイコン等にカーソルが届かない事態を回避することが可能である。
【００６４】
図８（Ｄ）において、左右方向のいずれかにシフトさせる方法としては、以下の方法が挙げられる。先ず、最初に接触した指に対応する代表点１５０の座標が、タッチセンサ１０４の左右の中心線に対して右側の場合は、接触した指が右手の指であると判断し、代表点１５０を実際の静電容量のピーク位置に対して左へシフトする。また、最初に接触した指に対応する代表点１５０の座標が、タッチセンサ１０４の左右の中心線に対して左側の場合は、接触した指が左手の指であると判断し、代表点１５０を実際の静電容量のピーク位置に対して右へシフトする。
【００６５】
タッチセンサ１０４に手指が２箇所で接触し、代表点１５０が２つ存在する場合は、右側の代表点１５０が右手に対応し、左側の代表点１５０が左手に対応すると判断し、右側の代表点１５０を実際の静電容量のピーク位置に対して左にシフトし、左側の代表点１５０を実際の静電容量のピーク位置に対して右にシフトする。
【００６６】
なお、シフト方向が決まった後は、上記の方法に依然させず、カーソルのトラッキングに依存してシフト方向を決めるようにしてもよい。また、カーソルが１つしかない場合は、左右にはシフトさせないようにしてもよい。
【００６７】
図８に示す代表点１５０、及びイメージ画像１５２の表示は、絶対座標系で行われる。この際、イメージ画像１５２は手指の画像を示しているため、ユーザは、イメージ画像１５２の表示から絶対座標系であることを直感的に認識することができる。タッチセンサ１０４と表示部１０２が別に設けられている場合、手指の相対的な位置関係が分かりにくくなるが、擬似的に指を示すイメージ画像１５２を表示することでユーザの理解を促進することができる。これにより、マルチタッチの場合においても、ユーザは混乱を生じることなく各カーソルを操作することができる。
【００６８】
また、背面にタッチセンサ１０４を設けた場合に、意図せず操作面を手指がタッチしてしまうことが考えられるが、擬似的な手指のイメージ画像１５２を表示することにより、手指が画面上のどの位置に対応するか認識し易くなり、誤操作を抑止することができる。なお、表示は絶対座標系に限定されるものではなく、相対座標系であっても良い。
【００６９】
２．４．ローパスフィルタ処理について
また、図８では、コンターをイメージ画像１５２で表した擬似的な指の画像にカーソル（代表点１５０）をさらに重畳させているが、静電容量センサはノイズが比較的大きい場合があり、場合によっては輪郭などのエッジ形状が目立つ場合がある。この状況を防止するために、描画されるコンターの元になるグリッドごとの静電容量値に対してローパスフィルタ（ＬＰＦ）処理を行うことができる。
【００７０】
図１１及び図１２は、ローパスフィルタ処理を示すブロック図である。ローパスフィルタ処理は、制御部１１０で行われる。図１１に示す処理では、カーソルの代表点１５０の座標を求めるときには、グリッドごとの静電容値にはローパスフィルタ処理を行わずに重心を算出し（ブロック４００，４１０）、重心の座標に対して弱いローパスフィルタ処理（以下、ＬＰＦ１という）を行い（ブロック４２０）、ＬＰＦ１通過後の座標を代表点１５０として表示する（ブロック４３０）。一方、コンターによって示されるイメージ画像１５２を求める際には、各グリッドの静電容量値に対して強いローパスフィルタ処理（以下、ＬＰＦ２という）を行い（ブロック４４０）、ＬＰＦ２処理後の静電容量値からイメージ画像１５２を演算し（ブロック４５０）、イメージ画像１５２を表示する（ブロック４６０）。
【００７１】
また、図１２に示す処理では、各グリッドの静電容量値から重心及びイメージ画像１５２を演算した後（ブロック５００）、重心の代表座標に対しては弱いローパスフィルタ処理（ＬＰＦ１）を行い（ブロック５２０）、イメージ画像１５２に対しては強いローパスフィルタ処理（ＬＰＦ２）を行う（ブロック５５０）。そして、ＬＰＦ１処理後の重心（代表点１５０）を表示するとともに（ブロック５３０）、代表点１５０の座標の周りにＬＰＦ２処理後のイメージ画像１５２を描画する（ブロック５６０）。なお、図１１及び図１２において、ＬＰＦ１の処理を省略することも可能である。
【００７２】
このような処理によれば、代表点１５０の動きに比べ、イメージ画像１５２で表される擬似的な指の画像の動きに若干の遅延時間（レイテンシー）が生じるが、イメージ画像１５２の画像のエッジが荒れた状態となることを抑えることができ、エッジにばたつき感が生じることを抑止できる。また、代表点１５０の座標演算とは別のローパスフィルタでイメージ画像１５２の画像を求めることで、代表点１５０の動きに関するレイテンシーは悪化しないため、操作性を良好に維持することができる。そして、イメージ画像１５２で表される擬似的な指のイメージよりも座標カーソルのほうが操作に対する追従性が高くなるため、操作性を良好にすることができる。また、イメージ画像１５２で表される擬似的な指のイメージには強めのＬＰＦ２をかけることで動きが落ち着き、画面のビジーさを低減することができる。
【００７３】
２．５．手指の形状を表示する例
図８では、指の位置に応じて代表点１５０とイメージ画像１５２を表示するようにしたが、代表点１５０とともに実際の指の形状を表示することもできる。図１３は、静電容量に基づいてカーソルの代表点１５０を表示するとともに、静電容量に基づいてイメージ画像１５２を表示し、更に実際の指の形状１５４を表示した例を示す模式図である。上述したように、タッチセンサ１０４への近接の度合いに応じて各グリッドにて静電容量が検出されるため、指が近接した場合はその形状に応じて静電容量が検出される。従って、図１３に示すように、静電容量に応じて指の形状の画像を生成して重畳することが可能である。そして、このような表示によれば、ユーザは、携帯型電子機器１００の背面で操作している指の位置を視覚的により確実に認識することが可能であり、所望の操作を行うことができる。
【００７４】
図１３の例においても、各指の腹の位置で実際の静電容量のピーク値が検出され、ピーク位置よりも上にシフトさせて代表点１５０が表示される。また、図１３に示す例では、右手の人差し指と中指はタッチセンサ１０４に接触しているため、代表点１５０が表示されている。一方、薬指についてはタッチセンサ１０４に近接しているものの、接触はしていない。このため、表示部１０２に薬指の形状１５４と薬指に対応するイメージ画像１５２は表示されているが、薬指に対応する代表点１５０は表示されていない。このように、指が接触していない場合についても、代表点１５０は表示せずに指の形状１５４及びイメージ画像１５２を表示することで、ユーザは背面のタッチセンサ１０４上における各指の位置を表示部１０２上の表示から認識することができる。
【００７５】
２．６．距離に応じてイメージ画像の範囲と濃度を変化させた表示例
図１４は、タッチセンサ１０４に指が近接する過程で、カーソルの周囲のイメージ画像１５２の範囲と濃度が変化する様子を示す模式図である。図１４において、３ｍｍ，２ｍｍ，１ｍｍの距離は、タッチセンサ１０４と指との距離を示している。図１４に示すように、タッチセンサ１０４に指が近接するほど、イメージ画像１５２の領域が広くなる。また、タッチセンサ１０４に指が近接するほど、コンターに応じてイメージ画像１５２のドットの濃度が濃くなる。そして、タッチセンサ１０４に指が接触すると、イメージ画像１５２の領域が最大となり、同時にカーソルの中心である代表点１５０が表示され、代表点１５０を用いてアイコンの選択、スクロール、ドラッグ等の操作が可能となる。このような表示によれば、ユーザは、タッチセンサ１０４と指との距離を視覚的に認識することが可能となり、また、アイコンの選択等の操作入力が実際に可能か否かを視覚的に認識できる。
【００７６】
図６に基づいて説明すると、静電容量値が第１のしきい値以上の場合は、イメージ画像１５２を表示しない。また、静電容量値が第２のしきい値以上の場合は、代表点１５０を表示しない。従って、静電容量値が、第１のしきい値よりも小さく、第２のしきい値以上の場合に、イメージ画像１５２のみが表示される。また、静電容量値が第２のしきい値よりも小さい場合は、指がタッチセンサ１０４に接触しているか、又は指とタッチセンサ１０４が微小距離まで近接しているため、代表点１５０とイメージ画像１５２がともに表示される。また、静電容量値が第１のしきい値以上の場合は、代表点１５０とイメージ画像１５２のいずれも表示されない。
【００７７】
これにより、手指がタッチセンサ１０４に接触しておらず、近接状態であるときは、擬似的な手指のイメージ（イメージ画像１５２）は表示されるが、カーソル（代表点１５０）は表示されないため、手指の位置をユーザに伝えるとともに、操作ができないことも伝えることができる。このように、手指のイメージ画像１５２だけしか描画されていないときには、選択、決定、ドラッグ、などのフリーカーソル操作ができない構成とすることができる。また、イメージ画像１５２の大きさが所定値以下の場合は、フリーカーソル操作ができない構成とすることで、手指が小さい場合は操作を禁止することができ、チャイルドロックなどの処理を行うことも可能となる。
【００７８】
図１４において、イメージ画像１５２は、静静電量値に基づいて忠実に描画することができる。また、イメージ画像１５２は、静静電量値に基づいて忠実に描画することなく、静電容量の大きさで規定された、あらかじめ用意された複数の大きさの画像テンプレート（円、四角形など）を用いることもできる。この場合、静電容量が小さく、指がタッチセンサ１０４に近接するほど、面積の大きな画像テンプレートを使用する。ここで、指の角度や楕円などの形状のアスペクト比に関してはコンターをベースに生成してもよい。このような処理を行うことで、ユーザーがタッチセンサ１０４から指を離したときでも、手指の静電容量が取得できる範囲内であれば距離に応じた擬似的な指画像を描画することができるので、突然カーソルが消失してユーザーが混乱することを予防できる。
【００７９】
２．７．指がタッチセンサの検出可能範囲外に離れた場合の表示例
図１５は、タッチセンサ１０４による静電容量の検出可能範囲の外に指が離れた場合の表示例を示す模式図である。タッチセンサ１０４による静電容量の検出可能範囲がタッチセンサ１０４の表面から距離ｄの範囲である場合、検出可能範囲内では、図１４で説明したように、指が離れるほどイメージ画像１５２の範囲を狭くして表示を行う。指が検出可能範囲よりも外に離れた場合は、過去の手の動きに基づいて指の位置を推定し、推定した位置にイメージ画像１５２を表示する。制御部１１０は、検出可能範囲においては、静電容量に基づいて指の動きのｘｙｚ座標を検出し、指が検出可能範囲の外に出た場合は、検出可能範囲で過去に取得した指のｘｙｚ座標に基づいて指のｘｙｚ座標を推定し、推定したｘｙ位置に推定したｚ位置に応じた範囲でイメージ画像１５２を表示する。ここで、ｘｙ座標はタッチセンサ１０４の表面上での直交する座標であり、ｚ座標はタッチセンサ１０４の表面から垂直に離れる方向の座標である。
【００８０】
近接距離における手指の検出可能範囲は、セルフキャパシタンス方式の静電容量型センサではタッチセンサ表面から４ｍｍ程度であり、ミューチャル方式の静電容量型センサではタッチセンサ表面から２０ｍｍ程度であり、光学式インセルセンサでは表面から３０ｍｍ程度である。このため、状況によっては、操作する手指の検出ができないこともある。このような場合は、図１５のように、指に対応するイメージ画像１５２が消失する以前の軌跡から、あるべき指の位置を推定して描画することで、画面上でのイメージ画像１５２の消失を減らすことが可能である。推定方法としては、過去ｎ履歴の移動速度の平均を算出し、これを最新の座標に加える、などの手法がある。以上のように、イメージ画像１５２で示される擬似的な指の動きを外挿することで、動いていく方向感をユーザーに提示することができる。
【００８１】
２．８．本実施形態の携帯型電子機器における処理
次に、図１６に基づいて、本実施形態の携帯型電子機器１００における処理について説明する。先ず、ステップＳ１０では、ユーザがタッチセンサ１０４をタッチする。次のステップＳ１２では、タッチセンサ１０４がグリッド毎の静電容量値を取得し、制御部１１０へ送る。次のステップＳ１４では、グリッド毎の静電容量値に基づいて、重心の座標（Ｘｄｇ，Ｙｃｇ）を算出する。
【００８２】
次のステップＳ１６では、各グリッド毎の静電容量値にローパスフィルタ処理（ＬＰＦ２）を施す。次のステップＳ１８では、ステップＳ１６のＬＰＦ２の処理後の静電容量値からコンターを算出し、イメージ画像１５２を生成する。
【００８３】
次のステップＳ２０では、コンターによるイメージ画像１５２の拡大、縮小、オフセット等の処理を行う。次のステップＳ２２では、重心の座標（Ｘｄｇ，Ｙｃｇ）に対してローパスフィルタ処理（ＬＰＦ１）を施し、カーソル中心（代表点１５０）の座標を算出する。
【００８４】
次のステップＳ２４ではコンターにより生成されるイメージ画像１５２を描画し、次のステップＳ２６ではカーソル（代表点１５０）を描画する。次のステップＳ２８では、代表点１５０、及びイメージ画像１５２を元画像に重畳して表示部１０２に表示する。
【００８５】
なお、ステップＳ１２〜Ｓ２２の処理は、主として制御部１１０が行い、ステップＳ２４〜Ｓ２８の処理は主として画像生成部１２０が行う。
【００８６】
以上説明したように第１の実施形態によれば、タッチセンサ１０４で検出した静電容量値に基づいてカーソルの中心（代表点１５０）を表示し、その周辺に静電容量値に応じたイメージ画像１５２を表示するようにした。これにより、ユーザは、擬似的な指の画像を表示画面上に認識することができ、表示部１０２上での操作入力を容易に行うことが可能になるとともに、誤操作の発生を抑止することができる。
【００８７】
特に、絶対座標系のタッチパッドを用いた電子機器において、手指のイメージ情報を表示部１０２にビジュアルフィードバックとすることで、実際に手指の見えない背面操作系において、ユーザが気づかずに手指の一部がタッチセンサに触れてしまい、誤作動を引き起こすことを確実に抑止することができる。また、手指のイメージ情報を表示部１０２にビジュアルフィードバックとすることで、絶対座標系であることをユーザに直感的に理解させることが可能となる。
【００８８】
また、手指のイメージ情報を表示部１０２にビジュアルフィードバックとすることで、指をタッチセンサから離しても画面へのフィードバックが残るので、次に指をどこに置いたらよいのか分からなくなることを抑止できる。
【００８９】
３．第２の実施形態
３．１．システム構成例
次に、第２の実施形態について説明する。第２の実施形態では、タッチセンサから得られた手指の擬似的なイメージ画像を、離れた場所の画面に表示するものである。図１７及び図１８は、第２の実施形態に係るコントローラ２００と、電子機器３００の構成を示す構成図である。コントローラ２００は、電子機器２２０を遠隔操作（リモートコントロール）するための機器であり、例えば静電容量式のタッチセンサ２３０を内蔵している。なお、第１の実施形態と同様に、タッチセンサ２３０は静電容量式に限定されるものではない。
【００９０】
第２の実施形態では、ユーザがコントローラ２００のタッチセンサ２３０上で指を用いて位置を指定すると、その位置情報に応じて電子機器３００の表示部３５０にカーソルが表示される。また、第１の実施形態と同様に、カーソルの代表点１５０とともにイメージ画像１５２が表示される。なお、電子機器３００は、例えばテレビ受像機、セットトップボックス等の機器であるが、特に限定されるものではない。また、コントローラ２００と電子機器３００との間の通信方式は特に限定されるものではなく、無線通信ネットワーク等を介して通信を行うことができる。
【００９１】
図１９は、第２の実施形態の構成を示すブロック図である。図１９に示すように、コントローラ２００は、制御部２１０、送信部２２０、タッチセンサ２３０、メモリ２４０を有して構成される。また、電子機器３００は、制御部３１０、画像生成部３２０、受信部３３０、メモリ３４０、表示部３５０、画像受信部３６０を有して構成される。
【００９２】
また、図２０は、電子機器３００がセットトップボックス等の装置であり、表示部３５０が別体に構成された例を示すブロック図である。
【００９３】
図１７及び図１８に示すように、コントローラ２００の表側には、タッチセンサ２３０が設けられている。タッチセンサ２３０は、第１の実施形態のタッチセンサ１０４と同様に、ユーザの手指の接近または接触を検出する。タッチセンサ２３０は、検出結果を制御部２１０へ送る。制御部２１０は、タッチセンサ２３０から送られた検出結果を送信部２２０を介して電子機器３００へ送信する。メモリ２４０は、ユーザの手指の接近または検出に関する情報等を一時的に記憶する。
【００９４】
電子機器３００の受信部３３０は、ユーザの手指の接近または接触に関する情報を受信すると、その情報を制御部３１０へ送信する。制御部３１０は、受信部３３０から送られた検出結果に基づいて、表示部３５０に表示するための情報を生成し、画像生成部３２０へ送る。ここで、制御部３１０が生成する情報は、カーソルの代表点１５０の画像と、イメージ画像１５２とが含まれる。制御部３１０は、代表点１５０、イメージ画像１５２を生成する画像処理部として機能する。また、制御部３１０は、カーソルの操作に基づいて、コンテンツの選択、ドラッグ等の電子機器３００の全般的な処理を行う。画像生成部３２０は、制御部３１０から送られた情報と、画像送受信部３６０にて受信した画像またはメモリ３４０に保存された画像とを重畳して、表示部３５０に表示する画像のデータを生成する。画像生成部３２０にて生成された画像データは、表示部３５０に送られて、表示部３５０に表示される。
【００９５】
なお、上述の説明では、コントローラ２００側からはタッチセンサ２３０の検出結果を電子機器３００へ送信し、電子機器３００の制御部３１０で表示部３５０に表示するための情報を生成するものとしたが、これに限定されるものではない。コントローラ２００の制御部２１０で表示部３５０に表示するための情報を生成して電子機器３００へ送るものとしても良い。この場合、制御部２１０は、タッチセンサ２３０の検出結果を取得する操作情報取得部、及び、代表点１５０、イメージ画像１５２を生成する画像処理部として機能する。電子機器３００の画像生成部３２０は、コントローラ２００の制御部２１０で生成された情報と、画像送受信部３６０にて受信した画像またはメモリ３４０に保存された画像とを重畳して、表示部３５０に表示する画像のデータを生成する。
【００９６】
図１９及び図２０に示す構成は、ハードウェア（回路）またはＣＰＵなどの中央演算処理装置とこれを機能させるためのソフトウェア（プログラム）から構成することができる。この場合において、そのプログラムは、メモリ２４０，３４０など電子機器１００が備える記憶部または外部から挿入される記憶媒体に格納されることができる。
【００９７】
３．２．画面上での表示例
図１７及び図１８は、ユーザがタッチセンサ２３０の左側を左手の親指で触れている状態を示している。これにより、表示部３５０の左側の対応する位置にカーソルの代表点１５０が表示される。また、第１の実施形態と同様に、カーソルの周囲には静電容量に応じてイメージ画像１５２が表示される。図１７及び図１８では、図８で説明したデフォルメを示すとともに、静電容量値が所定のしきい値と一致する領域のエッジ（輪郭）を算出し、イメージ画像１５２の外縁としてエッジを描画している。また、図１７は、左手の親指がタッチセンサ２３０の比較的広い領域と接触した状態を示し、図１８は左手の親指がタッチセンサ２３０の比較的狭い領域と接触した状態を示している。つまり、図１７は、左手の親指をタッチセンサ２３０に強く押し付けた状態を示しており、図１８は左手の親指がタッチセンサ２３０に軽く触れた状態を示している。なお、イメージ画像１５２の外縁の形状をさらに単純化し、所定半径の円、または楕円にフィッティングさせてもよい。
【００９８】
図２１は、ユーザがタッチセンサ２３０の左側を左手の親指で触れるとともに、タッチセンサ２３０の右側を右手の人差し指で触れているマルチタッチの状態を示している。この場合、ユーザがタッチセンサ２３０に触れている２箇所の位置に対応して、カーソルの代表点１５０とその周辺のイメージ画像１５２が表示部３５０の左右の２箇所に表示される。このとき、タッチセンサ２３０のグリッドごとの静電容量の特徴に応じてカーソル（代表点１５０及びイメージ画像１５２）の描画表現を変更することができる。例えば、画面右側と左側のカーソルの色を異ならせることで、ユーザが左右いずれのカーソルを操作しているかを判別し易くすることができる。
【００９９】
第２の実施形態においても、代表点１５０、及びイメージ画像１５２の表示は、絶対座標系で行われ、タッチセンサ２３０上での指の位置は１対１で表示部３５０上の代表点１５０及びイメージ画像１５２と対応する。イメージ画像１５２は手指の画像を示しているため、ユーザは、イメージ画像１５２の表示から絶対座標系であることを直感的に認識することができる。タッチセンサ２３０と表示部３５０が別に設けられている場合、手指の相対的な位置関係が分かりにくくなるが、擬似的に指を示すイメージ画像１５２を表示することでユーザの理解を促進することができる。これにより、マルチタッチの場合においても、ユーザは混乱を生じることなく各カーソルを操作することができる。
【０１００】
図２２は、グリッドごとの静電容量の大きさに応じてカーソルのステイタスを変更する例である。ステイタスを変更する場合、電子機器３００は、例えば、描画される代表点１５０またはイメージ画像１５２の色、大きさ等を変えたり、操作できる対象を変える等のアクションを行う。ここで、ステイタスを変更するために、イメージ画像１５２の大きさを指標とすることができる。同一強度の静電容量で示されるイメージ画像１５２の大きさ（面積、またはフィッティングされた円の径など）が所定のしきい値を超えたが否かでステイタスを変更する。これにより、例えば大人と子供では指の大きさが相違するため、大人と子供で違う色のイメージ画像１５２（擬似指）を表現することができる。また、イメージ画像１５２の面積が所定値よりも小さい場合は、子供が操作していると判断し、操作を禁止することで、チャイルドロック等の操作が可能となる。
【０１０１】
また、図２３は、電子機器３００のステイタス（状態）を示す情報を、擬似的な指画像（イメージ画像１５２）に重畳させた例を示す模式図である。図２３に示すように、電子機器３００の「初期状態」、「読み込み中」等のステイタスに応じて擬似的な指を示すイメージ画像１５２を変更することで、ユーザは視覚的に電子機器３００のステイタスを認識することができる。また、代表点１５０の色を左右で変化させることで、ユーザが左右いずれのカーソルを操作しているかを判別し易くすることができる。このような構成によれば、ユーザーは、少ない視線移動で機器の状態を直感的に認知することが可能となる。
【０１０２】
以上説明したように第２の実施形態によれば、タッチセンサ２３０と表示部３５０が分離しているシステムにおいて、タッチセンサ２３０で検出した静電容量値に基づいてカーソルの中心（代表点１５０）を表示し、その周辺に静電容量値に応じたイメージ画像１５２を表示するようにした。これにより、ユーザは、擬似的な指の画像を表示画面上に認識することができ、表示部３５０上での操作入力を容易に行うことが可能になるとともに、誤操作の発生を抑止することができる。
【０１０３】
以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。
【符号の説明】
【０１０４】
１００ 電子機器
１０４ タッチセンサ
１１０，３１０ 制御部
１２０，３２０ 画像生成部
２００ コントローラ
【特許請求の範囲】
【請求項１】
操作面での操作者による操作に基づいて、操作主体による操作情報を取得する操作情報取得部と、
前記操作情報に基づいて、前記操作主体のイメージを反映したイメージ画像を生成する画像処理部と、
前記イメージ画像を元画像に重ねた画像を生成する画像生成部と、
を備える、電子機器。
【請求項２】
前記操作面とは別の箇所に設けられ、前記イメージ画像を前記元画像に重ねた画像を表示する表示部を備える、請求項１に記載の電子機器。
【請求項３】
前記操作情報は、前記電子機器とは別体の装置であって前記操作面を有する他の装置から受信した情報である、請求項１に記載の電子機器。
【請求項４】
前記画像処理部は、前記操作情報に基づいて、前記操作主体の代表点の位置の情報を生成し、
前記画像生成部は、前記操作主体の代表点の位置の画像を、前記イメージ画像とともに前記元画像に重ねた画像を生成する、請求項１に記載の電子機器。
【請求項５】
前記画像処理部は、前記イメージ画像を前記元画像に対して半透明又は縁取りされた画像として生成する、請求項１に記載の電子機器。
【請求項６】
前記画像処理部は、前記操作情報取得部で検出された前記操作情報の信号強度が所定のしきい値以下の場合は前記イメージ画像の情報を生成しない、請求項１に記載の電子機器。
【請求項７】
前記画像処理部は、前記操作情報取得部で取得された前記操作情報の信号強度が第１のしきい値以下の場合は前記イメージ画像の情報を生成せず、前記操作情報取得部で検出された前記操作情報の信号強度が前記第１のしきい値よりも大きな第２のしきい値以下の場合は前記代表点の位置の情報を生成しない、請求項４に記載の電子機器。
【請求項８】
前記画像処理部は、前記イメージ画像の情報に第１の強度のローパスフィルタ処理を行うとともに、前記代表点の画像の情報に第２のローパスフィルタ処理を行い、前記第１のローパスフィルタ処理の強度は前記第２のローパスフィルタ処理の強度よりも強い、請求項４に記載の電子機器。
【請求項９】
前記画像処理部は、前記操作情報取得部で取得された前記操作情報の信号強度が所定値以下になった場合は、過去に取得された前記操作情報の信号強度に基づいて前記イメージ画像を推定して生成する、請求項１に記載の電子機器。
【請求項１０】
前記操作情報取得部で検出された前記操作情報の信号強度が前記第１のしきい値よりも大きな第２のしきい値以下の場合は、前記操作主体による入力を受け付けない、請求項７に記載の電子機器。
【請求項１１】
前記画像処理部は、前記操作情報に基づいて、予め設定された図形を前記イメージ画像の情報として生成する、請求項１に記載の電子機器。
【請求項１２】
前記画像処理部は、前記操作情報に基づいて、前記操作面と前記操作主体との距離に応じた前記イメージ画像を生成する、請求項１に記載の電子機器。
【請求項１３】
前記画像処理部は、前記イメージ画像の大きさを前記操作情報の信号強度に応じた大きさとして前記イメージ画像を生成する、請求項１２に記載の電子機器。
【請求項１４】
前記画像処理部は、前記イメージ画像の濃度を前記操作情報の信号強度に応じた大きさとして前記イメージ画像を生成する、請求項１２に記載の電子機器。
【請求項１５】
前記イメージ画像の大きさが所定値以下の場合は、前記操作主体による入力を受け付けない、請求項１３に記載の電子機器。
【請求項１６】
操作面での操作者による操作に基づいて、操作主体による操作情報を取得すること、
前記操作情報に基づいて、前記操作主体のイメージを反映したイメージ画像を生成すること、
前記イメージ画像を元画像に重ねた画像を生成すること、
を備える、情報処理方法。
【請求項１７】
操作面での操作者による操作に基づいて、操作主体による操作情報を取得する手段、
前記操作情報に基づいて、前記操作主体のイメージを反映したイメージ画像を生成する手段、
前記イメージ画像を元画像に重ねた画像を生成する手段、
としてコンピュータを機能させるためのプログラム。
【請求項１８】
操作面での操作者による操作に基づいて、操作主体による操作情報を取得する操作情報取得部と、
前記操作情報を送信する送信部と、を有するコントローラと、
前記操作情報を受信する受信部と、
前記操作情報に基づいて、前記操作主体のイメージを反映したイメージ画像を生成する画像処理部と、
前記イメージ画像を元画像に重ねた画像を生成する画像生成部と、を有する電子機器と、
備える、電子機器システム。
【請求項１９】
操作面での操作者による操作に基づいて、操作主体による操作情報を取得する操作情報取得部と、
前記操作情報に基づいて、前記操作主体のイメージを反映したイメージ画像を生成する画像処理部と、
前記イメージ画像の情報を送信する送信部と、を有するコントローラと、
前記イメージ画像の情報を受信する受信部と、
前記イメージ画像を元画像に重ねた画像を生成する画像生成部と、を有する電子機器と、
備える、電子機器システム。
【請求項１】
操作面での操作者による操作に基づいて、操作主体による操作情報を取得する操作情報取得部と、
前記操作情報に基づいて、前記操作主体のイメージを反映したイメージ画像を生成する画像処理部と、
前記イメージ画像を元画像に重ねた画像を生成する画像生成部と、
を備える、電子機器。
【請求項２】
前記操作面とは別の箇所に設けられ、前記イメージ画像を前記元画像に重ねた画像を表示する表示部を備える、請求項１に記載の電子機器。
【請求項３】
前記操作情報は、前記電子機器とは別体の装置であって前記操作面を有する他の装置から受信した情報である、請求項１に記載の電子機器。
【請求項４】
前記画像処理部は、前記操作情報に基づいて、前記操作主体の代表点の位置の情報を生成し、
前記画像生成部は、前記操作主体の代表点の位置の画像を、前記イメージ画像とともに前記元画像に重ねた画像を生成する、請求項１に記載の電子機器。
【請求項５】
前記画像処理部は、前記イメージ画像を前記元画像に対して半透明又は縁取りされた画像として生成する、請求項１に記載の電子機器。
【請求項６】
前記画像処理部は、前記操作情報取得部で検出された前記操作情報の信号強度が所定のしきい値以下の場合は前記イメージ画像の情報を生成しない、請求項１に記載の電子機器。
【請求項７】
前記画像処理部は、前記操作情報取得部で取得された前記操作情報の信号強度が第１のしきい値以下の場合は前記イメージ画像の情報を生成せず、前記操作情報取得部で検出された前記操作情報の信号強度が前記第１のしきい値よりも大きな第２のしきい値以下の場合は前記代表点の位置の情報を生成しない、請求項４に記載の電子機器。
【請求項８】
前記画像処理部は、前記イメージ画像の情報に第１の強度のローパスフィルタ処理を行うとともに、前記代表点の画像の情報に第２のローパスフィルタ処理を行い、前記第１のローパスフィルタ処理の強度は前記第２のローパスフィルタ処理の強度よりも強い、請求項４に記載の電子機器。
【請求項９】
前記画像処理部は、前記操作情報取得部で取得された前記操作情報の信号強度が所定値以下になった場合は、過去に取得された前記操作情報の信号強度に基づいて前記イメージ画像を推定して生成する、請求項１に記載の電子機器。
【請求項１０】
前記操作情報取得部で検出された前記操作情報の信号強度が前記第１のしきい値よりも大きな第２のしきい値以下の場合は、前記操作主体による入力を受け付けない、請求項７に記載の電子機器。
【請求項１１】
前記画像処理部は、前記操作情報に基づいて、予め設定された図形を前記イメージ画像の情報として生成する、請求項１に記載の電子機器。
【請求項１２】
前記画像処理部は、前記操作情報に基づいて、前記操作面と前記操作主体との距離に応じた前記イメージ画像を生成する、請求項１に記載の電子機器。
【請求項１３】
前記画像処理部は、前記イメージ画像の大きさを前記操作情報の信号強度に応じた大きさとして前記イメージ画像を生成する、請求項１２に記載の電子機器。
【請求項１４】
前記画像処理部は、前記イメージ画像の濃度を前記操作情報の信号強度に応じた大きさとして前記イメージ画像を生成する、請求項１２に記載の電子機器。
【請求項１５】
前記イメージ画像の大きさが所定値以下の場合は、前記操作主体による入力を受け付けない、請求項１３に記載の電子機器。
【請求項１６】
操作面での操作者による操作に基づいて、操作主体による操作情報を取得すること、
前記操作情報に基づいて、前記操作主体のイメージを反映したイメージ画像を生成すること、
前記イメージ画像を元画像に重ねた画像を生成すること、
を備える、情報処理方法。
【請求項１７】
操作面での操作者による操作に基づいて、操作主体による操作情報を取得する手段、
前記操作情報に基づいて、前記操作主体のイメージを反映したイメージ画像を生成する手段、
前記イメージ画像を元画像に重ねた画像を生成する手段、
としてコンピュータを機能させるためのプログラム。
【請求項１８】
操作面での操作者による操作に基づいて、操作主体による操作情報を取得する操作情報取得部と、
前記操作情報を送信する送信部と、を有するコントローラと、
前記操作情報を受信する受信部と、
前記操作情報に基づいて、前記操作主体のイメージを反映したイメージ画像を生成する画像処理部と、
前記イメージ画像を元画像に重ねた画像を生成する画像生成部と、を有する電子機器と、
備える、電子機器システム。
【請求項１９】
操作面での操作者による操作に基づいて、操作主体による操作情報を取得する操作情報取得部と、
前記操作情報に基づいて、前記操作主体のイメージを反映したイメージ画像を生成する画像処理部と、
前記イメージ画像の情報を送信する送信部と、を有するコントローラと、
前記イメージ画像の情報を受信する受信部と、
前記イメージ画像を元画像に重ねた画像を生成する画像生成部と、を有する電子機器と、
備える、電子機器システム。
【図１】
【図２】
【図３】
【図４】
【図６】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図５】
【図７】
【図２】
【図３】
【図４】
【図６】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図５】
【図７】
【公開番号】特開２０１２−１９４８４３（Ｐ２０１２−１９４８４３Ａ）
【公開日】平成２４年１０月１１日（２０１２．１０．１１）
【国際特許分類】
【出願番号】特願２０１１−５８９８８（Ｐ２０１１−５８９８８）
【出願日】平成２３年３月１７日（２０１１．３．１７）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
【公開日】平成２４年１０月１１日（２０１２．１０．１１）
【国際特許分類】
【出願日】平成２３年３月１７日（２０１１．３．１７）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
[ Back to top ]