リモコン、表示装置、テレビ受像機、およびリモコン用プログラム
【課題】従来のGUI画面を参照しタッチセンサを介して操作入力を行う技術においては、GUI画面の選択項目の画面上の位置と、タッチ面上の位置との対応関係を正確に把握することができない、という課題がある。またタッチセンサではなく情報表示機能を備えるタッチパネルを利用する場合にはコストが割高になる、あるいは消費電力が高くなる、などの課題がある。
【解決手段】以上の課題を解決するために、本発明は、タッチセンサを利用して操作対象のGUI画面内のアイコン選択を行うリモコンであって、GUI画面内のアイコン配置に対応したタッチ面上のタッチセンサ部分を例えば光らせることで、その対応関係をユーザが容易に識別可能に構成したことを特徴とするリモコンを提供する。
【解決手段】以上の課題を解決するために、本発明は、タッチセンサを利用して操作対象のGUI画面内のアイコン選択を行うリモコンであって、GUI画面内のアイコン配置に対応したタッチ面上のタッチセンサ部分を例えば光らせることで、その対応関係をユーザが容易に識別可能に構成したことを特徴とするリモコンを提供する。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、GUI(グラフィカル・ユーザ・インターフェース)画面を介した操作入力を、タッチセンサを利用して行うリモコンに関する。
【背景技術】
【0002】
従来、テレビをはじめとする家電機器やその他の電子機器において、遠隔操作用の入力デバイスとしてリモコンが一般的に利用されている。また、最近ではタッチセンサを備えることで、指などの接触を検知することで操作可能なリモコンも提供されている。このようなタッチ操作可能なリモコンでは、操作対象のGUI画面上に表示された選択項目の選択操作のために、その選択項目のGUI画面内での表示位置に対応するタッチ面上の領域をタップする。具体的には、例えば録画リストとして4つの録画番組のサムネイル画像がGUI画面内に2×2配列で表示されている。そこでユーザは消去したい番組のサムネイルがGUI画面内の左下に表示されていれば、それに合せてリモコンのタッチ面の左下領域をタップする、という具合である。
【0003】
また、そのようにして選択した録画番組データを消去しても良いかの確認用のGUI画面として「はい」、「いいえ」が左右に配置表示されていれば、ユーザはリモコンのタッチ面の左側をタップし当該録画番組データの消去を実行させる、という具合である。
【0004】
このようにタッチセンサによってタッチ操作可能なリモコンはユニバーサルな操作が可能、すなわちGUIに応じて全く別々の操作に利用可能であり、したがって操作の種類や対象が複雑多岐に渡っても操作ボタンを増やすことなく対応することができることを特徴とする。
【0005】
また特許文献1には、情報表示機能を備えるタッチセンサであるタッチパネルを有するリモコンであって、操作対象に応じた操作ボタン画像の情報(例えば操作対象がテレビ装置であればチャンネルボタンと音量調整ボタン、プリンタであれば印刷ボタンなど)を保持し、操作対象に応じてタッチパネル上にその操作ボタン画像を表示することで操作入力を受付ける技術が開示されている。
【先行技術文献】
【特許文献】
【0006】
【特許文献1】特開2001−022508号公報
【発明の概要】
【発明が解決しようとする課題】
【0007】
しかし、上記GUI画面を参照しタッチセンサを介して操作入力を行う技術においては、GUI画面の選択項目の画面上の位置と、タッチ面上の位置との対応関係を正確に把握することができない、という課題がある。そのため目算でタッチしたタッチ面上の位置が所望の選択項目の位置とずれていて正確な操作入力ができないなどの可能性がある。
【0008】
また特許文献1の技術は、テレビなどの操作対象上にて表示されているGUI画面を参照してタッチ操作を行うものではなく、したがってリモコン上で操作ボタンのみでその操作内容などがユーザに分かるように示す必要がある。そのため特許文献1のリモコンは単なるタッチセンサではなく情報表示機能を備えるタッチパネルを利用する必要があり、コストが割高になる、あるいは消費電力が高くなる、などの課題がある。また、GUI画面上の「はい」「いいえ」などの選択項目の配置位置と、タッチパネルの接触位置との対応関係を考慮して操作性向上に資することも当然考えられてはいない。
【課題を解決するための手段】
【0009】
以上の課題を解決するために、本発明は、タッチセンサを利用して操作対象のGUI画面内のアイコン選択を行うリモコンであって、GUI画面内のアイコン配置に対応したタッチ面上のタッチセンサ部分を例えば光らせることで、その対応関係をユーザが容易に識別可能に構成したことを特徴とするリモコンを提供する。具体的には、表示装置のディスプレイに表示されるGUI画面内のアイコン選択機能を有するリモコンであって、タッチセンサを備えたタッチ面と、前記表示装置から前記GUI画面内のアイコン配置情報を取得するアイコン配置情報取得部と、前記GUI画面内のアイコン配置に対応したタッチ面上のタッチセンサ部分に対するタッチを促すための識別を、取得したアイコン配置情報に基づいてタッチ面上に出力する識別出力部と、識別に応じて行われるタッチ面上の前記タッチセンサ部分に対する接触によって前記対応するGUI上のアイコンの選択信号を出力する選択出力部と、を有するリモコンを提供する。
【0010】
また、上記構成に加えて、前記アイコン配置情報取得部が、複数のアイコンを画面上に奥行表示し、その配置を示す奥行配置情報を取得する奥行配置取得手段を有し、前記識別出力部が、取得した奥行配置情報に基づいてタッチ面上に前記識別を奥行表示する奥行識別出力手段を有するリモコンも提供する。また、上記構成に加えて、前記ディスプレイから画面情報を取得する画面情報取得部を有するとともに、前記アイコン配置情報取得部が、取得した画面情報に基づいてアイコン配置情報を取得する画面解析手段を有するリモコンを提供する。また、上記のような構成を備えるリモコンを含む表示装置やテレビ受像機も提供する。
【0011】
また、そのようなリモコンを制御するためのプログラムも提供する。具体的には、表示装置のディスプレイに表示されるGUI画面内のアイコン選択機能を有し、タッチセンサを備えたタッチ面を有するリモコンのためのプログラムであって、前記表示装置から前記GUI画面内のアイコン配置情報を取得するアイコン配置情報取得ステップと、前記GUI画面内のアイコン配置に対応したタッチ面上のタッチセンサ部分に対するタッチを促すための識別を、取得したアイコン配置情報に基づいてタッチ面上に出力する識別出力ステップと、識別に応じて行われるタッチ面上の前記タッチセンサ部分に対する接触によって前記対応するGUI上のアイコンの選択信号を出力する選択出力ステップと、を計算機に実行させるリモコン用プログラムも提供する。
【発明の効果】
【0012】
以上のような構成をとる本発明によって、タッチセンサを利用して操作対象のGUI画面内のアイコン選択を行うリモコンにおいて、GUI画面内のアイコンの配置位置とタッチセンサのタッチ面上の位置との対応関係を、ユーザが容易に把握することができる。したがってタッチ位置がずれることによる操作ミスを低減することができる。また、情報表示機能を有するタッチパネルを利用せずに構成できるので、リモコンの部品コストを抑えることができ、また消費電力を抑えることもできる。
【図面の簡単な説明】
【0013】
【図1】実施例1のリモコンにおける操作入力の一例を説明するための図
【図2】実施例1のリモコンにおける機能ブロックの一例を表す図
【図3】実施例1のリモコンにおけるタッチ面の一例を表す図
【図4】実施例1のリモコンにおいてアイコン配置情報を取得するためのテーブルデータの一例を表す図
【図5】実施例1のリモコンにおける識別出力の一例を表す図
【図6】実施例1のリモコンで利用される表示装置における機能ブロックの一例を表す図
【図7】実施例1のリモコンにおけるハードウェア構成の一例を表す図
【図8】実施例1のリモコンにおける処理の流れの一例を表すフローチャート
【図9】実施例2のリモコンにおける機能ブロックの一例を表す図
【図10】実施例2のリモコンにおけるタッチ面の識別の奥行表示の一例を表す概念図
【図11】実施例2のリモコンにおける処理の流れの一例を表すフローチャート
【図12】実施例3のリモコンによるアイコン配置情報の取得の一例を説明するための概念図
【図13】実施例3のリモコンにおける機能ブロックの一例を表す図
【図14】実施例3のリモコンにおける処理の流れの一例を表すフローチャート
【図15】実施例4のリモコンのタッチ面上に出力されている識別の出力形態の一例を表す図
【図16】実施例4のリモコンにおける機能ブロックの一例を表す図
【図17】実施例4のリモコンのタッチ面上に出力されている識別の、他の出力形態の一例を表す図
【図18】実施例4のリモコンにおける処理の流れの一例を表すフローチャート
【発明を実施するための形態】
【0014】
以下に、図を用いて本発明の実施の形態を説明する。なお、本発明はこれら実施の形態に何ら限定されるものではなく、その要旨を逸脱しない範囲において、種々なる態様で実施しうる。なお、実施例1は、主に請求項1,5,6,7について説明する。また、実施例2は、主に請求項2について説明する。また、実施例3は、主に請求項3について説明する。また、実施例4は、主に請求項4について説明する。
【0015】
≪実施例1≫
<概要>
図1は、本実施例のリモコンにおける操作入力の一例を説明するための図である。この図1(a)にあるように、例えば録画リストで選択された番組を消去するか否かを確認するため、左右に「はい」「いいえ」の選択項目が配置されたGUI画面が、このリモコンの操作対象であるテレビ受像機のディスプレイに表示されている。そして図1(b)にあるように、本実施例のリモコンでは上記GUI画面に合せてタッチ面上βの左領域にあるタッチセンサγ1、および右領域にあるタッチセンサγ2がそれぞれ光るよう構成されている。
【0016】
このようにして、ユーザは、GUI画面に配置されている「はい」や「いいえ」を選択するために、リモコンのタッチ面上のどの部分にタッチすれば良いか容易に識別することができる。したがって操作ミスを低減することができる。
【0017】
<機能的構成>
図2は、本実施例のリモコンにおける機能ブロックの一例を表す図である。なお、以下に記載する本リモコンや、このリモコンを利用した操作システムの機能ブロックは、ハードウェア及びソフトウェアの組み合わせとして実現され得る。具体的には、コンピュータを利用するものであれば、CPUや主メモリ、バス、あるいは二次記憶装置(ハードディスクや不揮発性メモリ、CDやDVDなどの記憶メディアとそれらメディアの読取ドライブなど)、情報入力に利用される入力デバイス、印刷機器や表示装置、その他の外部周辺装置などのハードウェア構成部、またその外部周辺装置用のインターフェース、通信用インターフェース、それらハードウェアを制御するためのドライバプログラムやその他アプリケーションプログラム、ユーザ・インターフェース用アプリケーションなどが挙げられる。
【0018】
そして主メモリ上に展開したプログラムに従ったCPUの演算処理によって、入力デバイスやその他インターフェースなどから入力され、メモリやハードディスク上に保持されているデータなどが加工、蓄積されたり、上記各ハードウェアやソフトウェアを制御するための命令が生成されたりする。あるいは本リモコンの各機能ブロックは専用ハードウェアによって実現されてもよい。
【0019】
またこの発明はリモコンとして実現できるのみでなく、方法としても実現可能である。また、このような発明の一部をソフトウェアとして構成することができる。さらに、そのようなソフトウェアをコンピュータに実行させるために用いるソフトウェア製品(リモコン用プログラム)、及び同製品を固定した記録媒体も、当然にこの発明の技術的な範囲に含まれる(本明細書の全体を通じて同様である)。
【0020】
また、本実施例の「リモコン」とは、表示装置のディスプレイに表示されるGUI画面内のアイコン選択機能を有するリモコンである。なお、本実施例のリモコンの操作対象はディスプレイを備える表示装置、あるいはテレビ放送の受信、表示機能を備えるテレビ受像機には限定されず、表示装置に接続されている例えば録画再生専用装置や、表示装置を内蔵する例えばディスプレイ付電子レンジなどその他電子機器であっても良い。
【0021】
そして「GUI画面」とは、そのディスプレイに表示され、操作内容などを示す項目アイコンなどを選択可能に表示するGUI(グラフィカル・ユーザ・インターフェース)用の画面であって、ユーザはそのGUI画面上に表示される選択項目を選択することで視覚的に操作内容を把握して操作を行うことができる。また「アイコン選択機能」とは、そのGUI画面上に表示されている選択項目を示すアイコンを選択する機能をいう。なおこのアイコンについては、記号図形や絵で表象されるもののほか、文字列などで示されるものも含まれる。
【0022】
そして、この図2にあるように、本実施例の「リモコン」(0200)は、「タッチ面」(0201)と、「アイコン配置情報取得部」(0202)と、「識別出力部」(0203)と、「選択出力部」(0204)と、を有する。
【0023】
「タッチ面」(0201)は、タッチセンサを備えて構成されている。「タッチセンサ」とは、指やスタイラスペンなどの接触を検知するセンサであって、その検知方式としては、例えば抵抗膜方式や表面方/投影型の静電容量方式、電磁誘導方式、赤外線センサ方式、表面弾性波方式、画像認識方式など様々な方式が挙げられる。なおこのタッチ面を構成するタッチセンサは、例えば物理的な検知素子を複数並べて構成されたものであっても良いし、遮光方式や画像認識方式によって読取を行うのであれば、その方式に応じて座標を区別して読取られる仮想的な複数の検知素子で構成されていても良い。また、このタッチセンサの各検知範囲は(仮想的なものも含めて)一の検知素子で構成されても良いし、複数の検知素子の組で構成されていても良い。
【0024】
図3は、このタッチ面の一例を表す図である。この図にあるように、タッチ面には、例えば格子状にタッチセンサ(横線で示す四角領域)が複数配列されている。そしてユーザが指やスタイラスペンなどで例えばタッチセンサAに触れると、その座標情報を取得しその位置にタップ操作がなされたことを読取る、という具合である。またこの図に示すように、後述する「タッチを促すための識別」のために、このタッチセンサの近傍にLED(発光ダイオード)などの発光体を例えば埋め込み配置などしても良い。
【0025】
「アイコン配置情報取得部」(0202)は、表示装置での前記GUI画面内のアイコン配置情報を取得する機能を有し、例えば演算装置や通信回路、アイコン配置情報取得プログラムなどによって実現することができる。なお、GUI画面内でのアイコンの配置位置を示すこのアイコン配置情報の具体的な情報内容は様々挙げられる。例えばGUI画面内のアイコンの位置情報(座標情報)そのものであっても良い。あるいはタッチ面の検知領域を例えば右上、左上、右下、左下などの領域に分割し、図4(a)に示すようにそれぞれの領域の識別情報と、その領域に含まれる位置情報を関連付けたテーブル情報などを保持する構成とする。そしてアイコンが配置されている領域の識別情報をアイコン配置情報として取得し、前記テーブルを参照してアイコンの配置情報を識別する構成としても良い。
【0026】
また、例えば「録画リスト」であれば3×2のサムネイル画像(アイコン)表示、2択の選択画面であれば左右のアイコン表示、という具合にその操作対象のGUI識別情報(例えば録画リスト)などに応じてアイコンの配置を示すこともできる。そこで図4(b)に示すようにGUI識別情報とその操作で利用されるアイコンの位置情報とを関連付けたテーブル情報などを予め保持する。そしてGUI識別情報をアイコン配置情報として取得し、前記テーブルを参照してその配置情報を識別する構成としても良い。
【0027】
なお上記のようなアイコン配置情報の取得方法については、例えば表示装置から送信されるアイコン配置情報を受信することで取得する構成が挙げられる。あるいはアイコンの位置情報が上記GUI識別情報によって識別可能であれば、録画リストのGUI画面を表示するために本実施例のリモコン上に配設される、またはタッチセンサ上に示される「録画リストボタン」の入力受付によってそのGUI識別情報を取得しアイコン配置情報を取得する構成としても良い。
【0028】
また、実施例3で後述するように、照度センサや画像認識用のカメラなどでディスプレイに表示されているGUI画面そのものを解析などしてアイコンの配置位置を取得する方法も挙げられる。
【0029】
「識別出力部」(0203)は、前記GUI画面内のアイコン配置に対応したタッチ面上のタッチセンサ部分に対するタッチを促すための識別を、取得したアイコン配置情報に基づいてタッチ面上に出力する機能を有し、演算装置や識別出力プログラム、および識別のための各種機構(例えば発光機構など)によって実現することができる。具体的にこの識別情報出力部では、以下のような処理を実行する。すなわちGUI画面でのアイコンの表示座標とタッチ面の座標の対応テーブルや所定の写像関数などを利用して、アイコン配置情報で特定されるGUI画面でのアイコンの表示座標に対応するタッチ面の座標情報を演算する。そして、演算で決定されたタッチ面の座標位置に配列されているタッチセンサに対して、例えば光らせるなどの識別のための出力を行うよう命令する、という具合である。
【0030】
図5は、識別出力の一例を説明するための概念図である。この図5(a)にあるように例えばGUI画面内の左右に「はい」「いいえ」の選択項目が配置されている。この場合リモコンのタッチ面上の上記画面のアイコン配置に合せた左右の領域(斜線部分)が光るように構成されている。あるいは図5(b)にあるようにGUI画面内の上下左右辺付近に各種機能の選択項目が配置されている。この場合リモコンのタッチ面上の4辺に沿った領域(斜線部分)が光るように構成されている。
【0031】
なお、上記説明では、タッチを促すための識別のための出力として「光による出力」を例に挙げて説明したが、そのためのタッチセンサの構造については特に限定しない。例えば図3に示すように個々のタッチセンサの一部に穴などを開け、そこにLEDなどの発光体を埋め込むことで、タッチセンサ(近傍)が光るようにした構造が挙げられる。あるいはタッチセンサ自体が発光する構造や、タッチセンサを透光性のある素材としその下に発光体を敷く積層構造なども挙げられる。
【0032】
また、上記識別のための出力は光による出力には限定されず、例えばタッチセンサがそれぞれ隆起/陥没する機構を備えることで、GUI画面内のアイコンの対応位置にあるタッチセンサを隆起させる(あるいは逆に対応位置以外のタッチセンサを陥没させる)などによって、タッチを促すための識別可能に出力を行っても良い。あるいは、タッチセンサを硬化状態と軟化状態で遷移するよう制御可能な素材で構成し、GUI画面内のアイコンの対応位置にあるタッチセンサを硬化させるなどによって、タッチを促すための識別可能に出力を行う方法も挙げられる。
【0033】
またユーザが、そのGUI画面内のアイコンとタッチ面上の識別出力との関係性を容易に把握できる、という前提を満たしていれば、アイコンのGUI画面内での配置座標や形状、大きさと、タッチ面上の識別の出力座標や形状、大きさとは必ずしも完全に一致しなくても良い。例えば図5に示すように、楕円形状の「はい」「いいえ」の選択アイコンがGUI画面内の左右に配置されている場合に、タッチ面上の識別出力が正方形状でGUI画面のアイコンより大きく出力されていてもよい。
【0034】
「選択出力部」(0204)は、識別に応じて行われるタッチ面上の前記タッチセンサ部分に対する接触によって前記対応するGUI上のアイコンの選択信号を出力する機能を有し、例えば演算装置や選択出力プログラム、選択信号の出力回路などによって実現することができる。具体的には、例えばユーザが前記タッチ面上の識別出力を参考に、所望の操作に対応するタッチ面上の位置に、指やスタイラスペン、それに準じる指示器などを用いて接触する。するとリモコンからは接触を検知したタッチセンサの座標情報が信号出力回路から出力される構成が挙げられる。そして操作対象側でその位置に対応するアイコンの操作内容を解釈する、という具合である。あるいはリモコンでその解釈プログラムが実行可能であれば、その接触を検知した位置の操作内容(例えば「はい」を示す操作内容など)を特定し、その操作内容を示す操作信号を信号出力回路から操作対象に対して出力する構成であっても良い。
【0035】
このようにして、タッチセンサを利用して操作対象のGUI画面内のアイコン選択を行うリモコンにおいて、GUI画面内のアイコンの配置位置とタッチセンサのタッチ面上の位置との対応関係をユーザが容易に把握して操作することができる。
【0036】
<表示装置の機能的構成>
なお、上記のように本実施例のリモコンで利用される表示装置からアイコン配置情報が出力される構成、またリモコンから出力された選択信号の操作内容を表示装置側で解釈する構成もある。そこで図6を用いて、そのような表示装置における機能的構成の一例を説明する。この図にあるように、「表示装置」(0600)は、「ディスプレイ」(0601)と、「GUI情報取得部」(0602)と、「GUI識別情報送信部」(0603)と、「選択信号受信部」(0604)と、「選択信号判断部」(0605)と、「処理部」(0606)と、を有する。
【0037】
「ディスプレイ」(0601)は、GUI画面を表示する機能を備え、その表示方式は限定されない。例えば液晶方式のディスプレイやプラズマ方式のディスプレイ、有機EL形式のディスプレイ、陰極管方式のディスプレイなどが挙げられる。
【0038】
「GUI情報取得部」(0602)は、ディスプレイに表示されるべきGUI画面の表示用、および操作受付用のGUI情報を取得する機能を有し、例えば演算装置やGUI情報取得プログラムなどによって実現することができる。具体的には、リモコンによる所定のGUI画面の表示命令を示す操作信号を受信した場合、その信号で示されるGUIに関するGUI情報を取得する、という具合である。また、操作内容の遷移にともなう画面遷移がある場合は、その遷移ルールに従って特定される次に表示されるべきGUI用のGUI情報を取得する。
【0039】
そして、このようにして取得されたGUI情報にしたがって、ディスプレイ上に操作内容を示すアイコンが選択可能に配置されたGUI画面が表示され、操作入力を受付けることができる。
【0040】
「GUI識別情報送信部」(0603)は、GUI識別情報を取得しリモコンに送信する機能を有し、例えば演算装置やGUI識別情報取得プログラム、および信号出力回路などによって実現することができる。また、この「GUI識別情報」は、現在ディスプレイに表示されているGUIを識別するための情報をいい、例えばチャンネル選択画面であれば「ID:A」、はい/いいえの選択画面であれば「ID:B」といった情報であっても良い。あるいは、そのGUIを所定の領域で分割した際の領域の領域識別情報や、そのGUIで配置されるアイコンの座標情報をGUI識別情報として送信しても良い。なお、このGUI識別情報の取得については上記GUI情報取得部で取得されたGUIを識別するGUI識別情報を取得する構成とすると良い。また、前述のようにリモコン自体で操作入力(録画リストボタンの押下など)に応じてGUI識別情報を取得可能に構成されている場合は、このGUI識別情報送信部は省略されても良い。
【0041】
「選択信号受信部」(0604)は、リモコンの選択出力部から出力される選択信号を受信する機能を有し、例えばリモコンが赤外線によって選択信号を出力するのであれば赤外線受光器、その他形式であればその形式に合せた受信回路で実現することができる。
【0042】
「選択信号判断部」(0605)は、選択信号受信部で受信した選択信号によって示される操作内容を判断する機能を有し、例えば演算装置と選択信号判断プログラムなどによって実現できる。具体的には、選択信号でアイコンの座標情報が示されていれば、GUI情報を参照してその位置のアイコンが示す操作内容を判断する。あるいは選択信号判断部はリモコンコードを含み、演算装置はそのリモコンコードを参照して、選択信号で示される操作内容を取得する、という具合である。
【0043】
「処理部」(0606)は、選択信号判断部で判断された操作内容に応じた処理を実行する機能を有し、例えば演算装置と処理プログラム、および操作内容に係る各ハードウェア構成や制御プログラムによって実現できる。
【0044】
<ハードウェア構成>
図7は、上記機能的な各構成要件をハードウェアとして実現した際の、本実施例のリモコンにおける構成の一例を表す概略図である。この図を利用してタッチ面の識別出力処理におけるそれぞれのハードウェア構成部の働きについて説明する。
【0045】
この図にあるように本実施例のリモコンは「演算装置」(0701)を備えている。この演算装置はアイコン配置情報取得部であり、またその他の各種演算処理を実行するためのハードウェア構成である。またこの演算装置は作業用の一次メモリを内蔵していても良いし、外部に別途メモリを備えていても良い。また、タッチ面を構成する「タッチセンサ」(0702)と、その近傍に識別出力部である「LED発光素子」(0703)およびその「点灯制御回路」(0704)が個別に設けられている。なお、識別出力部は上記構成に替えて、例えば図示しない「隆起機構」とその「隆起制御回路」、あるいは「硬化機構」とその「硬化制御回路」で構成されていても良い。
【0046】
また本実施例のリモコンは、その他の「ボタン入力機構」(0705)やGUI識別情報とタッチセンサの座標情報とを関連付けたテーブルデータなどを保持する「フラッシュメモリ」(0706)、そして選択出力部である「無線通信回路」(0707)も備えている。あるいはその替わりに「赤外線発光器」などのその他通信機構を備えていても良い。そしてそれらが「システムバス」などのデータ通信経路によって相互に接続され、情報の送受信や処理を行う。
【0047】
そして「一次メモリ」にはプログラムが読み出され、「演算装置」は読み出された当該プログラムを参照し、プログラムで示される手順に従い各種演算処理を実行する。また、この「一次メモリ」や「フラッシュメモリ」にはそれぞれ複数のアドレスが割り当てられており、「CPU」の演算処理においては、そのアドレスを特定し格納されているデータにアクセスすることで、データを用いた演算処理を行うことが可能になっている。
【0048】
ここで、例えばユーザが録画リストの編集を行うため、録画装置が接続(内蔵)された表示装置に録画リストを表示させるための操作入力を「タッチセンサ」や「ボタン入力機構」を利用して行う。すると「演算装置」はアイコン配置情報取得プログラムを解釈し、それに従ってその操作入力に応じて表示される録画リストを利用した操作が行われることを示すGUI識別情報を取得し、演算装置内蔵の一次メモリのアドレス1に格納する。
【0049】
あるいは、例えば録画リストを利用した操作入力の受付画面を表示している場合に、操作対象である録画装置からそのGUI識別情報が出力され、それがリモコンの「無線通信回路」にて受信され一次メモリのアドレス1に格納されても良い。また録画装置のフラッシュメモリに図4(a)や(b)に示すようなテーブルが保持されていれば、そのGUI識別情報の替わりにタッチ面の領域を示す情報や、あるいは直接タッチセンサの座標情報が録画装置から送信され、受信したその情報をアイコン配置情報として一次メモリのアドレス1に格納しても良い。
【0050】
そして一次メモリに格納されている情報がGUI識別情報やタッチ面の領域を示す情報である場合には、「フラッシュメモリ」に保持されている図4(a)や(b)に示すようなテーブルを参照して関連付けられているタッチセンサの座標情報を特定し、一次メモリのアドレス2などに格納する。
【0051】
つづいて「演算装置」は識別出力プログラムを解釈し、それに従って一次メモリのアドレス2に格納されている座標情報で特定されるタッチセンサ近傍の「点灯制御回路」に対して発光(消灯)命令や点滅命令を出力する。すると点灯制御回路は自身が制御する「LED発光素子」を発光や点滅、あるいは周囲と異なった色での発光などさせる制御を実行する。これにより、例えばGUI画面3×2のサムネイルリストに合せて、座標情報で特定されるタッチセンサが3×2で識別可能に出力される、という具合である。
【0052】
その後、「演算装置」は選択出力プログラムを解釈し、タッチ操作の入力待ち状態になる。また、その間にGUI画面の変遷や変更があれば、それに応じて次に表示されるGUI識別情報を取得するなどして現在ディスプレイに表示されているGUI画面に応じた発光制御が実行されるようにする。そして、識別出力されているタッチセンサへの接触を検知した場合、そのタッチセンサの座標情報を検知信号から取得し、一次メモリのアドレス3などに格納する。
【0053】
そして、その座標情報を「無線通信回路」から操作対象である例えば録画装置に出力する。あるいはリモコンの「フラッシュメモリ」にリモコンコードを含む選択信号判断プログラムが格納されていれば、「演算装置」は当該プログラムを解釈し、座標情報で示される操作内容を特定する。そしてその操作内容を示す操作信号を「無線通信回路」から操作対象である例えば録画装置に出力する、という具合である。
【0054】
<処理の流れ>
図8は、本実施例のリモコンにおける処理の流れの一例を表すフローチャートである。なお、以下に示すステップは、上記のような計算機の各ハードウェア構成によって実行されるステップであっても良いし、媒体に記録され計算機を制御するためのプログラムを構成する処理ステップであっても構わない。また、このリモコンは表示装置のディスプレイに表示されるGUI画面内のアイコン選択機能を有し、タッチセンサを備えたタッチ面を有する。
【0055】
そして、この図にあるように、表示装置での前記GUI画面内のアイコン配置情報を取得する(ステップS0801)。なお、このアイコン配置情報の取得は様々な方法でなされると良い。例えば上記アイコン配置情報取得部にて説明したように、リモコンの操作によって入力されたGUI識別情報を取得し、それを利用して図4に示すようなテーブルを参照しアイコンの配置座標を取得しても良い。また、このリモコンの操作対象である電子機器からGUI識別情報やタッチ面上の対応領域を示す情報、あるいは直接タッチセンサの座標情報を取得しても良い。
【0056】
すると、前記GUI画面内のアイコン配置に対応したタッチ面上のタッチセンサ部分に対するタッチを促すための識別(例えばタッチセンサ近傍の発光により識別など)を、取得したアイコン配置情報に基づいてタッチ面上に出力する(ステップS0802)。そして、その識別に応じて行われるタッチ面上の前記タッチセンサ部分に対する接触によって前記対応するGUI上のアイコンの選択信号を出力する(ステップS0803)。
【0057】
<効果の簡単な説明>
以上のように本実施例のリモコンによって、タッチセンサを利用して操作対象のGUI画面内のアイコン選択を行うリモコンにおいて、GUI画面内のアイコンの配置位置とタッチセンサのタッチ面上の位置との対応関係を、ユーザが容易に把握することができる。したがってタッチ位置がずれることによる操作ミスを低減することができる。また、情報表示機能を有するタッチパネルを利用せずに構成できるので、リモコンの部品コストを抑えることができ、また消費電力を抑えることもできる。
【0058】
≪実施例2≫
<概要>
本実施例は上記実施例を基本として、GUI画面のアイコンの配置が例えばアイコンを重ね合わせるなどの奥行表示(擬似三次元表示)である場合に、その奥行表示に合せてタッチ面の識別出力を行うことを特徴とするリモコンである。
【0059】
<機能的構成>
図9は、本実施例のリモコンにおける機能ブロックの一例を表す図である。この図にあるように本実施例の「リモコン」(0900)は、実施例1を基本として「タッチ面」(0901)と、「アイコン配置情報取得部」(0902)と、「識別出力部」(0903)と、「選択出力部」(0904)と、を有する。そして本実施例のリモコンの特徴点は、アイコン配置情報取得部がさらに「奥行配置取得手段」(0905)を有し、また識別出力部がさらに「奥行識別出力手段」(0906)を有する点である。
【0060】
「奥行配置取得手段」(0905)は、奥行配置情報を取得する機能を有する。また「奥行配置情報」とは、複数のアイコンを画面上に奥行表示する際にその配置を示す情報をいう。なお、ここで取得される奥行配置情報は、アイコンの配置座標を示す情報に加えてそのアイコンが奥行配置であることを示す識別情報が含まれていても良い。そしてリモコンではこの奥行配置を示す識別情報があるか演算装置で判断し、あるとの判断結果である場合に取得したアイコン配置情報を奥行配置情報として処理する、という具合である。あるいは取得した配置情報で示されるアイコンの座標および大きさや形状などの情報を利用して各アイコンが重なるか否かを演算装置で判断し、重なるとの判断結果である場合に取得したアイコン配置情報を奥行配置情報として処理しても良い。
【0061】
「奥行識別出力手段」(0906)は、取得した奥行配置情報に基づいてタッチ面上に前記識別を奥行表示する機能を有する。図10は、この識別の奥行表示の一例を表す概念図である。この図10(a)にあるように、例えばGUI画面でのアイコンの重ね合い表示と同じようにタッチ面上でも識別表示する形態が挙げられる。あるいは図10(b)にあるように、重ね合わせの一番手前にあるアイコンに対応して最も大きい枠を、一番後ろにあるアイコンに対応して最も小さい枠を出力し、各アイコンに対応した枠を年輪のように重ねあわさずに表示することで奥行が識別できるよう表示する形態も挙げられる。
【0062】
このようにして、擬似三次元的に奥行配置されているGUI画面上のアイコンに対応して、タッチセンサ上でもその配置を識別可能に出力することができる。したがってアイコンの奥行表示であっても、タッチ位置がずれることによる操作ミスを低減することができる。
【0063】
<処理の流れ>
図11は、本実施例のリモコンにおける処理の流れの一例を表すフローチャートである。なお、以下に示すステップは、上記のような計算機の各ハードウェア構成によって実行されるステップであっても良いし、媒体に記録され計算機を制御するためのプログラムを構成する処理ステップであっても構わない。そしてこの図にあるように、表示装置での前記GUI画面内のアイコン配置情報として奥行配置情報を取得する(ステップS1101)。なお、前述のとおり、奥行配置情報であるかそれ以外のアイコン配置情報であるかの判断などの処理を、識別情報や重ね合わせの判断処理によって行うと良い。そして取得した配置情報が奥行配置情報であった場合には、前記GUI画面内のアイコン配置に対応したタッチ面上のタッチセンサ部分に対するタッチを促すための識別(例えばタッチセンサ近傍の発光により識別など)を、取得した奥行配置情報に基づいてタッチ面上に奥行表示されるよう出力する(ステップS1102)。そして、その識別に応じて行われるタッチ面上の前記タッチセンサ部分に対する接触によって前記対応するGUI上のアイコンの選択信号を出力する(ステップS1103)。
【0064】
<効果の簡単な説明>
以上のように本実施例のリモコンによって、擬似三次元的に奥行配置されているGUI画面上のアイコンに対応して、タッチセンサ上でもその配置を識別可能に出力することができる。したがってアイコンの奥行表示であっても、タッチ位置がずれることによる操作ミスを低減することができる。
【0065】
≪実施例3≫
<概要>
本実施例のリモコンは、上記実施例におけるアイコン配置情報の取得に関して、ディスプレイに表示されているGUI画面を例えば画像認識や照度センサなどで特定し、それを利用して取得することを特徴とする。図12は、本実施例のリモコンによるアイコン配置情報の取得の一例を説明するための概念図である。この図12(a)にあるように、例えば画面上に選択項目である「はい」と「いいえ」のアイコンを配置したGUI画面が表示されている。すると本実施例のリモコンは画像認識処理や照度センサによるセンサ結果を利用してアイコンがGUI画面内の左右に2つ配置されていることを識別する。すると、その情報を利用して、図12(b)に示すようにタッチ面上の対応領域γ1、γ2のタッチセンサを光らせるなどして識別可能にする、という具合である。
【0066】
<機能的構成>
図13は、本実施例のリモコンにおける機能ブロックの一例を表す図である。この図にあるように本実施例の「リモコン」(1300)は、実施例1を基本として「タッチ面」(1301)と、「アイコン配置情報取得部」(1302)と、「識別出力部」(1303)と、「選択出力部」(1304)と、を有する。また、実施例2のリモコンを基本として、図示しない「奥行配置取得手段」や「奥行識別出力手段」を有していても良い。そして本実施例のリモコンは、さらに「画面情報取得部」(1305)を有し、かつアイコン配置情報取得部が「画面解析手段」(1306)を有することを特徴とする。
【0067】
「画面情報取得部」(1305)は、表示装置のディスプレイから画面情報を取得する機能を有する。「画面情報」とは、ディスプレイに表示されているGUI画面に関する情報をいい、特にリモコンで操作されるGUI画面内のアイコンの表示位置などを特定できる情報である。そして、そのような画面情報を取得する方法としては、例えばリモコンがカメラを備えており、カメラでの画面の撮像データを画面情報として取得する方法が挙げられる。あるいは、リモコンは照度センサを備え、画面の照度を測定することで、その測定値を画面情報として取得しても良い。
【0068】
「画面解析手段」(1306)は、取得した画面情報に基づいてアイコン配置情報を取得する機能を有する。具体的に、例えば画面情報がカメラで撮像されたものであれば、画像認識プログラムを参照し、演算装置の演算処理によって、予め保持されている典型的なアイコン画像や枠画像と一致するアイテムがその画像内にあるかを判断する。そして、一致すると判断された画像内のアイテムをアイコンとしてその座標情報を取得する。あるいは、アイコンはもっぱら背景画面よりも明るく表示されるため、照度センサによる画面照度の分布を演算装置の演算処理によって判断する。そして隣接する箇所の照度よりも閾値以上の差で明るい領域を識別し、その領域をアイコンとして座標情報を取得する、という具合である。
【0069】
このように、本実施例では例えば画像認識処理や照度センサによる照度検知処理によって画面情報を取得し、それに応じてGUI画面内のアイコンの座標情報をアイコン配置情報として取得することができる。
【0070】
<処理の流れ>
図14は、本実施例のリモコンにおける処理の流れの一例を表すフローチャートである。なお、以下に示すステップは、上記のような計算機の各ハードウェア構成によって実行されるステップであっても良いし、媒体に記録され計算機を制御するためのプログラムを構成する処理ステップであっても構わない。そして、この図にあるように、まず例えば画像認識処理や照度センサによる画面の照度検知処理などによって、表示装置のディスプレイの画面情報を取得する(ステップS1401)。つづいて、その画面情報を演算装置の演算処理によって画像解析や照度分布解析などし、その解析結果にしたがってアイコン配置情報を取得する(ステップS1402)。つづいて、前記取得したアイコン配置情報に基づいて、GUI画面内のアイコン配置に対応したタッチ面上のタッチセンサ部分に対するタッチを促すための識別出力を実行する(ステップS1403)。そして最後に、その識別に応じて行われるタッチ面上の前記タッチセンサ部分に対する接触によって前記対応するGUI上のアイコンの選択信号を出力する(ステップS1404)。
【0071】
<効果の簡単な説明>
以上のように本実施例のリモコンによって、例えば画像認識処理や照度センサによる照度検知処理によって画面情報を取得し、それに応じてアイコン配置情報を取得することができる。
【0072】
≪実施例4≫
<概要>
図15は、本実施例のリモコンのタッチ面上に出力されている識別(表示装置のGUI画面内のアイコン配置に対応するタッチ面上の領域を示す識別)の出力形態の一例を表す図である。この図15(a)にあるように、本実施例のリモコンでは、ディスプレイのGUI画面内のアイコン配置に合わせて、リモコンのタッチ面上に識別γ1とγ2が例えばLED発光などで出力されている。そしてユーザがGUI画面の「はい」を選択しようと思い、タッチ面の左側領域にタッチすると、その接触を検知したリモコンでは、図15(b)に示すようにタッチされた左側の識別γ1を拡大出力し、一方で右側の識別γ2を縮小出力する、という具合である。
【0073】
このように、本実施例のリモコンでは、ユーザがタッチした識別がどれかを容易に分かるように出力することを特徴とする。
【0074】
<機能的構成>
図16は、本実施例のリモコンにおける機能ブロックの一例を表す図である。この図にあるように、本実施例の「リモコン」(1600)は、実施例1を基本として「タッチ面」(1601)と、「アイコン配置情報取得部」(1602)と、「識別出力部」(1603)と、「選択出力部」(1604)と、を有する。また、その他の実施例を基本として、図示しない「奥行配置取得手段」や「奥行識別出力手段」、あるいは「画面情報取得部」や「画面解析手段」を有していても良い。そして、本実施例のリモコンは、さらに「識別出力制御部」(1605)を有する点を特徴とする。
【0075】
「識別出力制御部」(1605)は、利用者の接触した前記識別をタッチ面上で見分けることができる出力となるように識別出力部を制御する機能を有し、例えばCPUや主メモリ、識別出力制御プログラムなどによって実現することができる。具体的には、タッチセンサにて検出されたタッチ位置情報1(X1,Y1)が、アイコン配置情報で示される複数のアイコン対応領域のうち、いずれの領域座標内に含まれるか否かの判断をCPUの演算処理によって実行する。そして、タッチ位置情報1を含むと判断された領域に係り出力されている識別を制御対象の識別として特定する、という具合である。
【0076】
なお、そのように特定された識別を「タッチ面上で見分けることができる出力」とするための出力形態は特に限定しない。具体的には、当初の出力形態と異なる出力とする制御であれば、タッチ面上で当該領域がタッチされたことを容易に見分けることができる。図17は、この識別の出力形態の一例を表す図である。この図17(a)にあるように、例えば、選択された識別を大きく表示する出力形態が挙げられる。あるいは図17(b)に示すように、選択された識別の色を変更する出力形態も挙げられる。また、逆に選択されなかったほうの識別を消去したり薄くしたり、あるいは囲み腺のみの出力としても良いし、選択された識別と選択されなかった識別の出力形態の双方を上記のように変更する出力形態も挙げられる。その他にも識別の明るさを変更したり点滅で出力したりしても良いし、その変更などをアニメーションで変更するよう出力制御しても良い。また、識別の出力が実施例2で説明したような複数の識別を重ねた奥行き表示である場合には、図17(c)に示すように、選択された識別αを重なりの一番上になるように出力制御しても良い。
【0077】
<処理の流れ>
図18は、本実施例のリモコンにおける処理の流れの一例を表すフローチャートである。なお、以下に示すステップは、上記のような計算機の各ハードウェア構成によって実行されるステップであっても良いし、媒体に記録され計算機を制御するためのプログラムを構成する処理ステップであっても構わない。なお、タッチ面上への識別の出力処理の流れについては、上記実施例で記載済みであるので省略する。そして本実施例のリモコンでは、この図にあるように、タッチ面への接触を検出する(ステップS1801)と、その検出したタッチ位置が、先に取得したアイコン配置情報に基づいて出力されているいずれの識別の領域内に含まれるか、接触位置座標と識別の領域座標とから判断する(ステップS1802)。そして接触位置が含まれると特定された識別の出力について、例えば大きく出力するなどタッチ面上で見分けることができる出力となるように制御する(ステップS1803)。また、特定された識別ではなく、特定されなかった識別を例えば小さく出力するなどの制御としても良いし、特定された識別と特定されなかった識別の双方の出力を制御しても良い。
【0078】
<効果の簡単な説明>
以上のように本実施例のリモコンによって、本実施例のリモコンでは、ユーザがタッチした識別がどれかを容易に分かるように出力することができる。したがってユーザは、自身が所望する識別をきちんとタッチできたか否かを確認することができる。
【符号の説明】
【0079】
0200 リモコン
0201 タッチ面
0202 アイコン配置情報取得部
0203 識別出力部
0204 選択出力部
【技術分野】
【0001】
本発明は、GUI(グラフィカル・ユーザ・インターフェース)画面を介した操作入力を、タッチセンサを利用して行うリモコンに関する。
【背景技術】
【0002】
従来、テレビをはじめとする家電機器やその他の電子機器において、遠隔操作用の入力デバイスとしてリモコンが一般的に利用されている。また、最近ではタッチセンサを備えることで、指などの接触を検知することで操作可能なリモコンも提供されている。このようなタッチ操作可能なリモコンでは、操作対象のGUI画面上に表示された選択項目の選択操作のために、その選択項目のGUI画面内での表示位置に対応するタッチ面上の領域をタップする。具体的には、例えば録画リストとして4つの録画番組のサムネイル画像がGUI画面内に2×2配列で表示されている。そこでユーザは消去したい番組のサムネイルがGUI画面内の左下に表示されていれば、それに合せてリモコンのタッチ面の左下領域をタップする、という具合である。
【0003】
また、そのようにして選択した録画番組データを消去しても良いかの確認用のGUI画面として「はい」、「いいえ」が左右に配置表示されていれば、ユーザはリモコンのタッチ面の左側をタップし当該録画番組データの消去を実行させる、という具合である。
【0004】
このようにタッチセンサによってタッチ操作可能なリモコンはユニバーサルな操作が可能、すなわちGUIに応じて全く別々の操作に利用可能であり、したがって操作の種類や対象が複雑多岐に渡っても操作ボタンを増やすことなく対応することができることを特徴とする。
【0005】
また特許文献1には、情報表示機能を備えるタッチセンサであるタッチパネルを有するリモコンであって、操作対象に応じた操作ボタン画像の情報(例えば操作対象がテレビ装置であればチャンネルボタンと音量調整ボタン、プリンタであれば印刷ボタンなど)を保持し、操作対象に応じてタッチパネル上にその操作ボタン画像を表示することで操作入力を受付ける技術が開示されている。
【先行技術文献】
【特許文献】
【0006】
【特許文献1】特開2001−022508号公報
【発明の概要】
【発明が解決しようとする課題】
【0007】
しかし、上記GUI画面を参照しタッチセンサを介して操作入力を行う技術においては、GUI画面の選択項目の画面上の位置と、タッチ面上の位置との対応関係を正確に把握することができない、という課題がある。そのため目算でタッチしたタッチ面上の位置が所望の選択項目の位置とずれていて正確な操作入力ができないなどの可能性がある。
【0008】
また特許文献1の技術は、テレビなどの操作対象上にて表示されているGUI画面を参照してタッチ操作を行うものではなく、したがってリモコン上で操作ボタンのみでその操作内容などがユーザに分かるように示す必要がある。そのため特許文献1のリモコンは単なるタッチセンサではなく情報表示機能を備えるタッチパネルを利用する必要があり、コストが割高になる、あるいは消費電力が高くなる、などの課題がある。また、GUI画面上の「はい」「いいえ」などの選択項目の配置位置と、タッチパネルの接触位置との対応関係を考慮して操作性向上に資することも当然考えられてはいない。
【課題を解決するための手段】
【0009】
以上の課題を解決するために、本発明は、タッチセンサを利用して操作対象のGUI画面内のアイコン選択を行うリモコンであって、GUI画面内のアイコン配置に対応したタッチ面上のタッチセンサ部分を例えば光らせることで、その対応関係をユーザが容易に識別可能に構成したことを特徴とするリモコンを提供する。具体的には、表示装置のディスプレイに表示されるGUI画面内のアイコン選択機能を有するリモコンであって、タッチセンサを備えたタッチ面と、前記表示装置から前記GUI画面内のアイコン配置情報を取得するアイコン配置情報取得部と、前記GUI画面内のアイコン配置に対応したタッチ面上のタッチセンサ部分に対するタッチを促すための識別を、取得したアイコン配置情報に基づいてタッチ面上に出力する識別出力部と、識別に応じて行われるタッチ面上の前記タッチセンサ部分に対する接触によって前記対応するGUI上のアイコンの選択信号を出力する選択出力部と、を有するリモコンを提供する。
【0010】
また、上記構成に加えて、前記アイコン配置情報取得部が、複数のアイコンを画面上に奥行表示し、その配置を示す奥行配置情報を取得する奥行配置取得手段を有し、前記識別出力部が、取得した奥行配置情報に基づいてタッチ面上に前記識別を奥行表示する奥行識別出力手段を有するリモコンも提供する。また、上記構成に加えて、前記ディスプレイから画面情報を取得する画面情報取得部を有するとともに、前記アイコン配置情報取得部が、取得した画面情報に基づいてアイコン配置情報を取得する画面解析手段を有するリモコンを提供する。また、上記のような構成を備えるリモコンを含む表示装置やテレビ受像機も提供する。
【0011】
また、そのようなリモコンを制御するためのプログラムも提供する。具体的には、表示装置のディスプレイに表示されるGUI画面内のアイコン選択機能を有し、タッチセンサを備えたタッチ面を有するリモコンのためのプログラムであって、前記表示装置から前記GUI画面内のアイコン配置情報を取得するアイコン配置情報取得ステップと、前記GUI画面内のアイコン配置に対応したタッチ面上のタッチセンサ部分に対するタッチを促すための識別を、取得したアイコン配置情報に基づいてタッチ面上に出力する識別出力ステップと、識別に応じて行われるタッチ面上の前記タッチセンサ部分に対する接触によって前記対応するGUI上のアイコンの選択信号を出力する選択出力ステップと、を計算機に実行させるリモコン用プログラムも提供する。
【発明の効果】
【0012】
以上のような構成をとる本発明によって、タッチセンサを利用して操作対象のGUI画面内のアイコン選択を行うリモコンにおいて、GUI画面内のアイコンの配置位置とタッチセンサのタッチ面上の位置との対応関係を、ユーザが容易に把握することができる。したがってタッチ位置がずれることによる操作ミスを低減することができる。また、情報表示機能を有するタッチパネルを利用せずに構成できるので、リモコンの部品コストを抑えることができ、また消費電力を抑えることもできる。
【図面の簡単な説明】
【0013】
【図1】実施例1のリモコンにおける操作入力の一例を説明するための図
【図2】実施例1のリモコンにおける機能ブロックの一例を表す図
【図3】実施例1のリモコンにおけるタッチ面の一例を表す図
【図4】実施例1のリモコンにおいてアイコン配置情報を取得するためのテーブルデータの一例を表す図
【図5】実施例1のリモコンにおける識別出力の一例を表す図
【図6】実施例1のリモコンで利用される表示装置における機能ブロックの一例を表す図
【図7】実施例1のリモコンにおけるハードウェア構成の一例を表す図
【図8】実施例1のリモコンにおける処理の流れの一例を表すフローチャート
【図9】実施例2のリモコンにおける機能ブロックの一例を表す図
【図10】実施例2のリモコンにおけるタッチ面の識別の奥行表示の一例を表す概念図
【図11】実施例2のリモコンにおける処理の流れの一例を表すフローチャート
【図12】実施例3のリモコンによるアイコン配置情報の取得の一例を説明するための概念図
【図13】実施例3のリモコンにおける機能ブロックの一例を表す図
【図14】実施例3のリモコンにおける処理の流れの一例を表すフローチャート
【図15】実施例4のリモコンのタッチ面上に出力されている識別の出力形態の一例を表す図
【図16】実施例4のリモコンにおける機能ブロックの一例を表す図
【図17】実施例4のリモコンのタッチ面上に出力されている識別の、他の出力形態の一例を表す図
【図18】実施例4のリモコンにおける処理の流れの一例を表すフローチャート
【発明を実施するための形態】
【0014】
以下に、図を用いて本発明の実施の形態を説明する。なお、本発明はこれら実施の形態に何ら限定されるものではなく、その要旨を逸脱しない範囲において、種々なる態様で実施しうる。なお、実施例1は、主に請求項1,5,6,7について説明する。また、実施例2は、主に請求項2について説明する。また、実施例3は、主に請求項3について説明する。また、実施例4は、主に請求項4について説明する。
【0015】
≪実施例1≫
<概要>
図1は、本実施例のリモコンにおける操作入力の一例を説明するための図である。この図1(a)にあるように、例えば録画リストで選択された番組を消去するか否かを確認するため、左右に「はい」「いいえ」の選択項目が配置されたGUI画面が、このリモコンの操作対象であるテレビ受像機のディスプレイに表示されている。そして図1(b)にあるように、本実施例のリモコンでは上記GUI画面に合せてタッチ面上βの左領域にあるタッチセンサγ1、および右領域にあるタッチセンサγ2がそれぞれ光るよう構成されている。
【0016】
このようにして、ユーザは、GUI画面に配置されている「はい」や「いいえ」を選択するために、リモコンのタッチ面上のどの部分にタッチすれば良いか容易に識別することができる。したがって操作ミスを低減することができる。
【0017】
<機能的構成>
図2は、本実施例のリモコンにおける機能ブロックの一例を表す図である。なお、以下に記載する本リモコンや、このリモコンを利用した操作システムの機能ブロックは、ハードウェア及びソフトウェアの組み合わせとして実現され得る。具体的には、コンピュータを利用するものであれば、CPUや主メモリ、バス、あるいは二次記憶装置(ハードディスクや不揮発性メモリ、CDやDVDなどの記憶メディアとそれらメディアの読取ドライブなど)、情報入力に利用される入力デバイス、印刷機器や表示装置、その他の外部周辺装置などのハードウェア構成部、またその外部周辺装置用のインターフェース、通信用インターフェース、それらハードウェアを制御するためのドライバプログラムやその他アプリケーションプログラム、ユーザ・インターフェース用アプリケーションなどが挙げられる。
【0018】
そして主メモリ上に展開したプログラムに従ったCPUの演算処理によって、入力デバイスやその他インターフェースなどから入力され、メモリやハードディスク上に保持されているデータなどが加工、蓄積されたり、上記各ハードウェアやソフトウェアを制御するための命令が生成されたりする。あるいは本リモコンの各機能ブロックは専用ハードウェアによって実現されてもよい。
【0019】
またこの発明はリモコンとして実現できるのみでなく、方法としても実現可能である。また、このような発明の一部をソフトウェアとして構成することができる。さらに、そのようなソフトウェアをコンピュータに実行させるために用いるソフトウェア製品(リモコン用プログラム)、及び同製品を固定した記録媒体も、当然にこの発明の技術的な範囲に含まれる(本明細書の全体を通じて同様である)。
【0020】
また、本実施例の「リモコン」とは、表示装置のディスプレイに表示されるGUI画面内のアイコン選択機能を有するリモコンである。なお、本実施例のリモコンの操作対象はディスプレイを備える表示装置、あるいはテレビ放送の受信、表示機能を備えるテレビ受像機には限定されず、表示装置に接続されている例えば録画再生専用装置や、表示装置を内蔵する例えばディスプレイ付電子レンジなどその他電子機器であっても良い。
【0021】
そして「GUI画面」とは、そのディスプレイに表示され、操作内容などを示す項目アイコンなどを選択可能に表示するGUI(グラフィカル・ユーザ・インターフェース)用の画面であって、ユーザはそのGUI画面上に表示される選択項目を選択することで視覚的に操作内容を把握して操作を行うことができる。また「アイコン選択機能」とは、そのGUI画面上に表示されている選択項目を示すアイコンを選択する機能をいう。なおこのアイコンについては、記号図形や絵で表象されるもののほか、文字列などで示されるものも含まれる。
【0022】
そして、この図2にあるように、本実施例の「リモコン」(0200)は、「タッチ面」(0201)と、「アイコン配置情報取得部」(0202)と、「識別出力部」(0203)と、「選択出力部」(0204)と、を有する。
【0023】
「タッチ面」(0201)は、タッチセンサを備えて構成されている。「タッチセンサ」とは、指やスタイラスペンなどの接触を検知するセンサであって、その検知方式としては、例えば抵抗膜方式や表面方/投影型の静電容量方式、電磁誘導方式、赤外線センサ方式、表面弾性波方式、画像認識方式など様々な方式が挙げられる。なおこのタッチ面を構成するタッチセンサは、例えば物理的な検知素子を複数並べて構成されたものであっても良いし、遮光方式や画像認識方式によって読取を行うのであれば、その方式に応じて座標を区別して読取られる仮想的な複数の検知素子で構成されていても良い。また、このタッチセンサの各検知範囲は(仮想的なものも含めて)一の検知素子で構成されても良いし、複数の検知素子の組で構成されていても良い。
【0024】
図3は、このタッチ面の一例を表す図である。この図にあるように、タッチ面には、例えば格子状にタッチセンサ(横線で示す四角領域)が複数配列されている。そしてユーザが指やスタイラスペンなどで例えばタッチセンサAに触れると、その座標情報を取得しその位置にタップ操作がなされたことを読取る、という具合である。またこの図に示すように、後述する「タッチを促すための識別」のために、このタッチセンサの近傍にLED(発光ダイオード)などの発光体を例えば埋め込み配置などしても良い。
【0025】
「アイコン配置情報取得部」(0202)は、表示装置での前記GUI画面内のアイコン配置情報を取得する機能を有し、例えば演算装置や通信回路、アイコン配置情報取得プログラムなどによって実現することができる。なお、GUI画面内でのアイコンの配置位置を示すこのアイコン配置情報の具体的な情報内容は様々挙げられる。例えばGUI画面内のアイコンの位置情報(座標情報)そのものであっても良い。あるいはタッチ面の検知領域を例えば右上、左上、右下、左下などの領域に分割し、図4(a)に示すようにそれぞれの領域の識別情報と、その領域に含まれる位置情報を関連付けたテーブル情報などを保持する構成とする。そしてアイコンが配置されている領域の識別情報をアイコン配置情報として取得し、前記テーブルを参照してアイコンの配置情報を識別する構成としても良い。
【0026】
また、例えば「録画リスト」であれば3×2のサムネイル画像(アイコン)表示、2択の選択画面であれば左右のアイコン表示、という具合にその操作対象のGUI識別情報(例えば録画リスト)などに応じてアイコンの配置を示すこともできる。そこで図4(b)に示すようにGUI識別情報とその操作で利用されるアイコンの位置情報とを関連付けたテーブル情報などを予め保持する。そしてGUI識別情報をアイコン配置情報として取得し、前記テーブルを参照してその配置情報を識別する構成としても良い。
【0027】
なお上記のようなアイコン配置情報の取得方法については、例えば表示装置から送信されるアイコン配置情報を受信することで取得する構成が挙げられる。あるいはアイコンの位置情報が上記GUI識別情報によって識別可能であれば、録画リストのGUI画面を表示するために本実施例のリモコン上に配設される、またはタッチセンサ上に示される「録画リストボタン」の入力受付によってそのGUI識別情報を取得しアイコン配置情報を取得する構成としても良い。
【0028】
また、実施例3で後述するように、照度センサや画像認識用のカメラなどでディスプレイに表示されているGUI画面そのものを解析などしてアイコンの配置位置を取得する方法も挙げられる。
【0029】
「識別出力部」(0203)は、前記GUI画面内のアイコン配置に対応したタッチ面上のタッチセンサ部分に対するタッチを促すための識別を、取得したアイコン配置情報に基づいてタッチ面上に出力する機能を有し、演算装置や識別出力プログラム、および識別のための各種機構(例えば発光機構など)によって実現することができる。具体的にこの識別情報出力部では、以下のような処理を実行する。すなわちGUI画面でのアイコンの表示座標とタッチ面の座標の対応テーブルや所定の写像関数などを利用して、アイコン配置情報で特定されるGUI画面でのアイコンの表示座標に対応するタッチ面の座標情報を演算する。そして、演算で決定されたタッチ面の座標位置に配列されているタッチセンサに対して、例えば光らせるなどの識別のための出力を行うよう命令する、という具合である。
【0030】
図5は、識別出力の一例を説明するための概念図である。この図5(a)にあるように例えばGUI画面内の左右に「はい」「いいえ」の選択項目が配置されている。この場合リモコンのタッチ面上の上記画面のアイコン配置に合せた左右の領域(斜線部分)が光るように構成されている。あるいは図5(b)にあるようにGUI画面内の上下左右辺付近に各種機能の選択項目が配置されている。この場合リモコンのタッチ面上の4辺に沿った領域(斜線部分)が光るように構成されている。
【0031】
なお、上記説明では、タッチを促すための識別のための出力として「光による出力」を例に挙げて説明したが、そのためのタッチセンサの構造については特に限定しない。例えば図3に示すように個々のタッチセンサの一部に穴などを開け、そこにLEDなどの発光体を埋め込むことで、タッチセンサ(近傍)が光るようにした構造が挙げられる。あるいはタッチセンサ自体が発光する構造や、タッチセンサを透光性のある素材としその下に発光体を敷く積層構造なども挙げられる。
【0032】
また、上記識別のための出力は光による出力には限定されず、例えばタッチセンサがそれぞれ隆起/陥没する機構を備えることで、GUI画面内のアイコンの対応位置にあるタッチセンサを隆起させる(あるいは逆に対応位置以外のタッチセンサを陥没させる)などによって、タッチを促すための識別可能に出力を行っても良い。あるいは、タッチセンサを硬化状態と軟化状態で遷移するよう制御可能な素材で構成し、GUI画面内のアイコンの対応位置にあるタッチセンサを硬化させるなどによって、タッチを促すための識別可能に出力を行う方法も挙げられる。
【0033】
またユーザが、そのGUI画面内のアイコンとタッチ面上の識別出力との関係性を容易に把握できる、という前提を満たしていれば、アイコンのGUI画面内での配置座標や形状、大きさと、タッチ面上の識別の出力座標や形状、大きさとは必ずしも完全に一致しなくても良い。例えば図5に示すように、楕円形状の「はい」「いいえ」の選択アイコンがGUI画面内の左右に配置されている場合に、タッチ面上の識別出力が正方形状でGUI画面のアイコンより大きく出力されていてもよい。
【0034】
「選択出力部」(0204)は、識別に応じて行われるタッチ面上の前記タッチセンサ部分に対する接触によって前記対応するGUI上のアイコンの選択信号を出力する機能を有し、例えば演算装置や選択出力プログラム、選択信号の出力回路などによって実現することができる。具体的には、例えばユーザが前記タッチ面上の識別出力を参考に、所望の操作に対応するタッチ面上の位置に、指やスタイラスペン、それに準じる指示器などを用いて接触する。するとリモコンからは接触を検知したタッチセンサの座標情報が信号出力回路から出力される構成が挙げられる。そして操作対象側でその位置に対応するアイコンの操作内容を解釈する、という具合である。あるいはリモコンでその解釈プログラムが実行可能であれば、その接触を検知した位置の操作内容(例えば「はい」を示す操作内容など)を特定し、その操作内容を示す操作信号を信号出力回路から操作対象に対して出力する構成であっても良い。
【0035】
このようにして、タッチセンサを利用して操作対象のGUI画面内のアイコン選択を行うリモコンにおいて、GUI画面内のアイコンの配置位置とタッチセンサのタッチ面上の位置との対応関係をユーザが容易に把握して操作することができる。
【0036】
<表示装置の機能的構成>
なお、上記のように本実施例のリモコンで利用される表示装置からアイコン配置情報が出力される構成、またリモコンから出力された選択信号の操作内容を表示装置側で解釈する構成もある。そこで図6を用いて、そのような表示装置における機能的構成の一例を説明する。この図にあるように、「表示装置」(0600)は、「ディスプレイ」(0601)と、「GUI情報取得部」(0602)と、「GUI識別情報送信部」(0603)と、「選択信号受信部」(0604)と、「選択信号判断部」(0605)と、「処理部」(0606)と、を有する。
【0037】
「ディスプレイ」(0601)は、GUI画面を表示する機能を備え、その表示方式は限定されない。例えば液晶方式のディスプレイやプラズマ方式のディスプレイ、有機EL形式のディスプレイ、陰極管方式のディスプレイなどが挙げられる。
【0038】
「GUI情報取得部」(0602)は、ディスプレイに表示されるべきGUI画面の表示用、および操作受付用のGUI情報を取得する機能を有し、例えば演算装置やGUI情報取得プログラムなどによって実現することができる。具体的には、リモコンによる所定のGUI画面の表示命令を示す操作信号を受信した場合、その信号で示されるGUIに関するGUI情報を取得する、という具合である。また、操作内容の遷移にともなう画面遷移がある場合は、その遷移ルールに従って特定される次に表示されるべきGUI用のGUI情報を取得する。
【0039】
そして、このようにして取得されたGUI情報にしたがって、ディスプレイ上に操作内容を示すアイコンが選択可能に配置されたGUI画面が表示され、操作入力を受付けることができる。
【0040】
「GUI識別情報送信部」(0603)は、GUI識別情報を取得しリモコンに送信する機能を有し、例えば演算装置やGUI識別情報取得プログラム、および信号出力回路などによって実現することができる。また、この「GUI識別情報」は、現在ディスプレイに表示されているGUIを識別するための情報をいい、例えばチャンネル選択画面であれば「ID:A」、はい/いいえの選択画面であれば「ID:B」といった情報であっても良い。あるいは、そのGUIを所定の領域で分割した際の領域の領域識別情報や、そのGUIで配置されるアイコンの座標情報をGUI識別情報として送信しても良い。なお、このGUI識別情報の取得については上記GUI情報取得部で取得されたGUIを識別するGUI識別情報を取得する構成とすると良い。また、前述のようにリモコン自体で操作入力(録画リストボタンの押下など)に応じてGUI識別情報を取得可能に構成されている場合は、このGUI識別情報送信部は省略されても良い。
【0041】
「選択信号受信部」(0604)は、リモコンの選択出力部から出力される選択信号を受信する機能を有し、例えばリモコンが赤外線によって選択信号を出力するのであれば赤外線受光器、その他形式であればその形式に合せた受信回路で実現することができる。
【0042】
「選択信号判断部」(0605)は、選択信号受信部で受信した選択信号によって示される操作内容を判断する機能を有し、例えば演算装置と選択信号判断プログラムなどによって実現できる。具体的には、選択信号でアイコンの座標情報が示されていれば、GUI情報を参照してその位置のアイコンが示す操作内容を判断する。あるいは選択信号判断部はリモコンコードを含み、演算装置はそのリモコンコードを参照して、選択信号で示される操作内容を取得する、という具合である。
【0043】
「処理部」(0606)は、選択信号判断部で判断された操作内容に応じた処理を実行する機能を有し、例えば演算装置と処理プログラム、および操作内容に係る各ハードウェア構成や制御プログラムによって実現できる。
【0044】
<ハードウェア構成>
図7は、上記機能的な各構成要件をハードウェアとして実現した際の、本実施例のリモコンにおける構成の一例を表す概略図である。この図を利用してタッチ面の識別出力処理におけるそれぞれのハードウェア構成部の働きについて説明する。
【0045】
この図にあるように本実施例のリモコンは「演算装置」(0701)を備えている。この演算装置はアイコン配置情報取得部であり、またその他の各種演算処理を実行するためのハードウェア構成である。またこの演算装置は作業用の一次メモリを内蔵していても良いし、外部に別途メモリを備えていても良い。また、タッチ面を構成する「タッチセンサ」(0702)と、その近傍に識別出力部である「LED発光素子」(0703)およびその「点灯制御回路」(0704)が個別に設けられている。なお、識別出力部は上記構成に替えて、例えば図示しない「隆起機構」とその「隆起制御回路」、あるいは「硬化機構」とその「硬化制御回路」で構成されていても良い。
【0046】
また本実施例のリモコンは、その他の「ボタン入力機構」(0705)やGUI識別情報とタッチセンサの座標情報とを関連付けたテーブルデータなどを保持する「フラッシュメモリ」(0706)、そして選択出力部である「無線通信回路」(0707)も備えている。あるいはその替わりに「赤外線発光器」などのその他通信機構を備えていても良い。そしてそれらが「システムバス」などのデータ通信経路によって相互に接続され、情報の送受信や処理を行う。
【0047】
そして「一次メモリ」にはプログラムが読み出され、「演算装置」は読み出された当該プログラムを参照し、プログラムで示される手順に従い各種演算処理を実行する。また、この「一次メモリ」や「フラッシュメモリ」にはそれぞれ複数のアドレスが割り当てられており、「CPU」の演算処理においては、そのアドレスを特定し格納されているデータにアクセスすることで、データを用いた演算処理を行うことが可能になっている。
【0048】
ここで、例えばユーザが録画リストの編集を行うため、録画装置が接続(内蔵)された表示装置に録画リストを表示させるための操作入力を「タッチセンサ」や「ボタン入力機構」を利用して行う。すると「演算装置」はアイコン配置情報取得プログラムを解釈し、それに従ってその操作入力に応じて表示される録画リストを利用した操作が行われることを示すGUI識別情報を取得し、演算装置内蔵の一次メモリのアドレス1に格納する。
【0049】
あるいは、例えば録画リストを利用した操作入力の受付画面を表示している場合に、操作対象である録画装置からそのGUI識別情報が出力され、それがリモコンの「無線通信回路」にて受信され一次メモリのアドレス1に格納されても良い。また録画装置のフラッシュメモリに図4(a)や(b)に示すようなテーブルが保持されていれば、そのGUI識別情報の替わりにタッチ面の領域を示す情報や、あるいは直接タッチセンサの座標情報が録画装置から送信され、受信したその情報をアイコン配置情報として一次メモリのアドレス1に格納しても良い。
【0050】
そして一次メモリに格納されている情報がGUI識別情報やタッチ面の領域を示す情報である場合には、「フラッシュメモリ」に保持されている図4(a)や(b)に示すようなテーブルを参照して関連付けられているタッチセンサの座標情報を特定し、一次メモリのアドレス2などに格納する。
【0051】
つづいて「演算装置」は識別出力プログラムを解釈し、それに従って一次メモリのアドレス2に格納されている座標情報で特定されるタッチセンサ近傍の「点灯制御回路」に対して発光(消灯)命令や点滅命令を出力する。すると点灯制御回路は自身が制御する「LED発光素子」を発光や点滅、あるいは周囲と異なった色での発光などさせる制御を実行する。これにより、例えばGUI画面3×2のサムネイルリストに合せて、座標情報で特定されるタッチセンサが3×2で識別可能に出力される、という具合である。
【0052】
その後、「演算装置」は選択出力プログラムを解釈し、タッチ操作の入力待ち状態になる。また、その間にGUI画面の変遷や変更があれば、それに応じて次に表示されるGUI識別情報を取得するなどして現在ディスプレイに表示されているGUI画面に応じた発光制御が実行されるようにする。そして、識別出力されているタッチセンサへの接触を検知した場合、そのタッチセンサの座標情報を検知信号から取得し、一次メモリのアドレス3などに格納する。
【0053】
そして、その座標情報を「無線通信回路」から操作対象である例えば録画装置に出力する。あるいはリモコンの「フラッシュメモリ」にリモコンコードを含む選択信号判断プログラムが格納されていれば、「演算装置」は当該プログラムを解釈し、座標情報で示される操作内容を特定する。そしてその操作内容を示す操作信号を「無線通信回路」から操作対象である例えば録画装置に出力する、という具合である。
【0054】
<処理の流れ>
図8は、本実施例のリモコンにおける処理の流れの一例を表すフローチャートである。なお、以下に示すステップは、上記のような計算機の各ハードウェア構成によって実行されるステップであっても良いし、媒体に記録され計算機を制御するためのプログラムを構成する処理ステップであっても構わない。また、このリモコンは表示装置のディスプレイに表示されるGUI画面内のアイコン選択機能を有し、タッチセンサを備えたタッチ面を有する。
【0055】
そして、この図にあるように、表示装置での前記GUI画面内のアイコン配置情報を取得する(ステップS0801)。なお、このアイコン配置情報の取得は様々な方法でなされると良い。例えば上記アイコン配置情報取得部にて説明したように、リモコンの操作によって入力されたGUI識別情報を取得し、それを利用して図4に示すようなテーブルを参照しアイコンの配置座標を取得しても良い。また、このリモコンの操作対象である電子機器からGUI識別情報やタッチ面上の対応領域を示す情報、あるいは直接タッチセンサの座標情報を取得しても良い。
【0056】
すると、前記GUI画面内のアイコン配置に対応したタッチ面上のタッチセンサ部分に対するタッチを促すための識別(例えばタッチセンサ近傍の発光により識別など)を、取得したアイコン配置情報に基づいてタッチ面上に出力する(ステップS0802)。そして、その識別に応じて行われるタッチ面上の前記タッチセンサ部分に対する接触によって前記対応するGUI上のアイコンの選択信号を出力する(ステップS0803)。
【0057】
<効果の簡単な説明>
以上のように本実施例のリモコンによって、タッチセンサを利用して操作対象のGUI画面内のアイコン選択を行うリモコンにおいて、GUI画面内のアイコンの配置位置とタッチセンサのタッチ面上の位置との対応関係を、ユーザが容易に把握することができる。したがってタッチ位置がずれることによる操作ミスを低減することができる。また、情報表示機能を有するタッチパネルを利用せずに構成できるので、リモコンの部品コストを抑えることができ、また消費電力を抑えることもできる。
【0058】
≪実施例2≫
<概要>
本実施例は上記実施例を基本として、GUI画面のアイコンの配置が例えばアイコンを重ね合わせるなどの奥行表示(擬似三次元表示)である場合に、その奥行表示に合せてタッチ面の識別出力を行うことを特徴とするリモコンである。
【0059】
<機能的構成>
図9は、本実施例のリモコンにおける機能ブロックの一例を表す図である。この図にあるように本実施例の「リモコン」(0900)は、実施例1を基本として「タッチ面」(0901)と、「アイコン配置情報取得部」(0902)と、「識別出力部」(0903)と、「選択出力部」(0904)と、を有する。そして本実施例のリモコンの特徴点は、アイコン配置情報取得部がさらに「奥行配置取得手段」(0905)を有し、また識別出力部がさらに「奥行識別出力手段」(0906)を有する点である。
【0060】
「奥行配置取得手段」(0905)は、奥行配置情報を取得する機能を有する。また「奥行配置情報」とは、複数のアイコンを画面上に奥行表示する際にその配置を示す情報をいう。なお、ここで取得される奥行配置情報は、アイコンの配置座標を示す情報に加えてそのアイコンが奥行配置であることを示す識別情報が含まれていても良い。そしてリモコンではこの奥行配置を示す識別情報があるか演算装置で判断し、あるとの判断結果である場合に取得したアイコン配置情報を奥行配置情報として処理する、という具合である。あるいは取得した配置情報で示されるアイコンの座標および大きさや形状などの情報を利用して各アイコンが重なるか否かを演算装置で判断し、重なるとの判断結果である場合に取得したアイコン配置情報を奥行配置情報として処理しても良い。
【0061】
「奥行識別出力手段」(0906)は、取得した奥行配置情報に基づいてタッチ面上に前記識別を奥行表示する機能を有する。図10は、この識別の奥行表示の一例を表す概念図である。この図10(a)にあるように、例えばGUI画面でのアイコンの重ね合い表示と同じようにタッチ面上でも識別表示する形態が挙げられる。あるいは図10(b)にあるように、重ね合わせの一番手前にあるアイコンに対応して最も大きい枠を、一番後ろにあるアイコンに対応して最も小さい枠を出力し、各アイコンに対応した枠を年輪のように重ねあわさずに表示することで奥行が識別できるよう表示する形態も挙げられる。
【0062】
このようにして、擬似三次元的に奥行配置されているGUI画面上のアイコンに対応して、タッチセンサ上でもその配置を識別可能に出力することができる。したがってアイコンの奥行表示であっても、タッチ位置がずれることによる操作ミスを低減することができる。
【0063】
<処理の流れ>
図11は、本実施例のリモコンにおける処理の流れの一例を表すフローチャートである。なお、以下に示すステップは、上記のような計算機の各ハードウェア構成によって実行されるステップであっても良いし、媒体に記録され計算機を制御するためのプログラムを構成する処理ステップであっても構わない。そしてこの図にあるように、表示装置での前記GUI画面内のアイコン配置情報として奥行配置情報を取得する(ステップS1101)。なお、前述のとおり、奥行配置情報であるかそれ以外のアイコン配置情報であるかの判断などの処理を、識別情報や重ね合わせの判断処理によって行うと良い。そして取得した配置情報が奥行配置情報であった場合には、前記GUI画面内のアイコン配置に対応したタッチ面上のタッチセンサ部分に対するタッチを促すための識別(例えばタッチセンサ近傍の発光により識別など)を、取得した奥行配置情報に基づいてタッチ面上に奥行表示されるよう出力する(ステップS1102)。そして、その識別に応じて行われるタッチ面上の前記タッチセンサ部分に対する接触によって前記対応するGUI上のアイコンの選択信号を出力する(ステップS1103)。
【0064】
<効果の簡単な説明>
以上のように本実施例のリモコンによって、擬似三次元的に奥行配置されているGUI画面上のアイコンに対応して、タッチセンサ上でもその配置を識別可能に出力することができる。したがってアイコンの奥行表示であっても、タッチ位置がずれることによる操作ミスを低減することができる。
【0065】
≪実施例3≫
<概要>
本実施例のリモコンは、上記実施例におけるアイコン配置情報の取得に関して、ディスプレイに表示されているGUI画面を例えば画像認識や照度センサなどで特定し、それを利用して取得することを特徴とする。図12は、本実施例のリモコンによるアイコン配置情報の取得の一例を説明するための概念図である。この図12(a)にあるように、例えば画面上に選択項目である「はい」と「いいえ」のアイコンを配置したGUI画面が表示されている。すると本実施例のリモコンは画像認識処理や照度センサによるセンサ結果を利用してアイコンがGUI画面内の左右に2つ配置されていることを識別する。すると、その情報を利用して、図12(b)に示すようにタッチ面上の対応領域γ1、γ2のタッチセンサを光らせるなどして識別可能にする、という具合である。
【0066】
<機能的構成>
図13は、本実施例のリモコンにおける機能ブロックの一例を表す図である。この図にあるように本実施例の「リモコン」(1300)は、実施例1を基本として「タッチ面」(1301)と、「アイコン配置情報取得部」(1302)と、「識別出力部」(1303)と、「選択出力部」(1304)と、を有する。また、実施例2のリモコンを基本として、図示しない「奥行配置取得手段」や「奥行識別出力手段」を有していても良い。そして本実施例のリモコンは、さらに「画面情報取得部」(1305)を有し、かつアイコン配置情報取得部が「画面解析手段」(1306)を有することを特徴とする。
【0067】
「画面情報取得部」(1305)は、表示装置のディスプレイから画面情報を取得する機能を有する。「画面情報」とは、ディスプレイに表示されているGUI画面に関する情報をいい、特にリモコンで操作されるGUI画面内のアイコンの表示位置などを特定できる情報である。そして、そのような画面情報を取得する方法としては、例えばリモコンがカメラを備えており、カメラでの画面の撮像データを画面情報として取得する方法が挙げられる。あるいは、リモコンは照度センサを備え、画面の照度を測定することで、その測定値を画面情報として取得しても良い。
【0068】
「画面解析手段」(1306)は、取得した画面情報に基づいてアイコン配置情報を取得する機能を有する。具体的に、例えば画面情報がカメラで撮像されたものであれば、画像認識プログラムを参照し、演算装置の演算処理によって、予め保持されている典型的なアイコン画像や枠画像と一致するアイテムがその画像内にあるかを判断する。そして、一致すると判断された画像内のアイテムをアイコンとしてその座標情報を取得する。あるいは、アイコンはもっぱら背景画面よりも明るく表示されるため、照度センサによる画面照度の分布を演算装置の演算処理によって判断する。そして隣接する箇所の照度よりも閾値以上の差で明るい領域を識別し、その領域をアイコンとして座標情報を取得する、という具合である。
【0069】
このように、本実施例では例えば画像認識処理や照度センサによる照度検知処理によって画面情報を取得し、それに応じてGUI画面内のアイコンの座標情報をアイコン配置情報として取得することができる。
【0070】
<処理の流れ>
図14は、本実施例のリモコンにおける処理の流れの一例を表すフローチャートである。なお、以下に示すステップは、上記のような計算機の各ハードウェア構成によって実行されるステップであっても良いし、媒体に記録され計算機を制御するためのプログラムを構成する処理ステップであっても構わない。そして、この図にあるように、まず例えば画像認識処理や照度センサによる画面の照度検知処理などによって、表示装置のディスプレイの画面情報を取得する(ステップS1401)。つづいて、その画面情報を演算装置の演算処理によって画像解析や照度分布解析などし、その解析結果にしたがってアイコン配置情報を取得する(ステップS1402)。つづいて、前記取得したアイコン配置情報に基づいて、GUI画面内のアイコン配置に対応したタッチ面上のタッチセンサ部分に対するタッチを促すための識別出力を実行する(ステップS1403)。そして最後に、その識別に応じて行われるタッチ面上の前記タッチセンサ部分に対する接触によって前記対応するGUI上のアイコンの選択信号を出力する(ステップS1404)。
【0071】
<効果の簡単な説明>
以上のように本実施例のリモコンによって、例えば画像認識処理や照度センサによる照度検知処理によって画面情報を取得し、それに応じてアイコン配置情報を取得することができる。
【0072】
≪実施例4≫
<概要>
図15は、本実施例のリモコンのタッチ面上に出力されている識別(表示装置のGUI画面内のアイコン配置に対応するタッチ面上の領域を示す識別)の出力形態の一例を表す図である。この図15(a)にあるように、本実施例のリモコンでは、ディスプレイのGUI画面内のアイコン配置に合わせて、リモコンのタッチ面上に識別γ1とγ2が例えばLED発光などで出力されている。そしてユーザがGUI画面の「はい」を選択しようと思い、タッチ面の左側領域にタッチすると、その接触を検知したリモコンでは、図15(b)に示すようにタッチされた左側の識別γ1を拡大出力し、一方で右側の識別γ2を縮小出力する、という具合である。
【0073】
このように、本実施例のリモコンでは、ユーザがタッチした識別がどれかを容易に分かるように出力することを特徴とする。
【0074】
<機能的構成>
図16は、本実施例のリモコンにおける機能ブロックの一例を表す図である。この図にあるように、本実施例の「リモコン」(1600)は、実施例1を基本として「タッチ面」(1601)と、「アイコン配置情報取得部」(1602)と、「識別出力部」(1603)と、「選択出力部」(1604)と、を有する。また、その他の実施例を基本として、図示しない「奥行配置取得手段」や「奥行識別出力手段」、あるいは「画面情報取得部」や「画面解析手段」を有していても良い。そして、本実施例のリモコンは、さらに「識別出力制御部」(1605)を有する点を特徴とする。
【0075】
「識別出力制御部」(1605)は、利用者の接触した前記識別をタッチ面上で見分けることができる出力となるように識別出力部を制御する機能を有し、例えばCPUや主メモリ、識別出力制御プログラムなどによって実現することができる。具体的には、タッチセンサにて検出されたタッチ位置情報1(X1,Y1)が、アイコン配置情報で示される複数のアイコン対応領域のうち、いずれの領域座標内に含まれるか否かの判断をCPUの演算処理によって実行する。そして、タッチ位置情報1を含むと判断された領域に係り出力されている識別を制御対象の識別として特定する、という具合である。
【0076】
なお、そのように特定された識別を「タッチ面上で見分けることができる出力」とするための出力形態は特に限定しない。具体的には、当初の出力形態と異なる出力とする制御であれば、タッチ面上で当該領域がタッチされたことを容易に見分けることができる。図17は、この識別の出力形態の一例を表す図である。この図17(a)にあるように、例えば、選択された識別を大きく表示する出力形態が挙げられる。あるいは図17(b)に示すように、選択された識別の色を変更する出力形態も挙げられる。また、逆に選択されなかったほうの識別を消去したり薄くしたり、あるいは囲み腺のみの出力としても良いし、選択された識別と選択されなかった識別の出力形態の双方を上記のように変更する出力形態も挙げられる。その他にも識別の明るさを変更したり点滅で出力したりしても良いし、その変更などをアニメーションで変更するよう出力制御しても良い。また、識別の出力が実施例2で説明したような複数の識別を重ねた奥行き表示である場合には、図17(c)に示すように、選択された識別αを重なりの一番上になるように出力制御しても良い。
【0077】
<処理の流れ>
図18は、本実施例のリモコンにおける処理の流れの一例を表すフローチャートである。なお、以下に示すステップは、上記のような計算機の各ハードウェア構成によって実行されるステップであっても良いし、媒体に記録され計算機を制御するためのプログラムを構成する処理ステップであっても構わない。なお、タッチ面上への識別の出力処理の流れについては、上記実施例で記載済みであるので省略する。そして本実施例のリモコンでは、この図にあるように、タッチ面への接触を検出する(ステップS1801)と、その検出したタッチ位置が、先に取得したアイコン配置情報に基づいて出力されているいずれの識別の領域内に含まれるか、接触位置座標と識別の領域座標とから判断する(ステップS1802)。そして接触位置が含まれると特定された識別の出力について、例えば大きく出力するなどタッチ面上で見分けることができる出力となるように制御する(ステップS1803)。また、特定された識別ではなく、特定されなかった識別を例えば小さく出力するなどの制御としても良いし、特定された識別と特定されなかった識別の双方の出力を制御しても良い。
【0078】
<効果の簡単な説明>
以上のように本実施例のリモコンによって、本実施例のリモコンでは、ユーザがタッチした識別がどれかを容易に分かるように出力することができる。したがってユーザは、自身が所望する識別をきちんとタッチできたか否かを確認することができる。
【符号の説明】
【0079】
0200 リモコン
0201 タッチ面
0202 アイコン配置情報取得部
0203 識別出力部
0204 選択出力部
【特許請求の範囲】
【請求項1】
表示装置のディスプレイに表示されるGUI画面内のアイコン選択機能を有するリモコンであって、
タッチセンサを備えたタッチ面と、
前記表示装置での前記GUI画面内のアイコン配置情報を取得するアイコン配置情報取得部と、
前記GUI画面内のアイコン配置に対応したタッチ面上のタッチセンサ部分に対するタッチを促すための識別を、取得したアイコン配置情報に基づいてタッチ面上に出力する識別出力部と、
識別に応じて行われるタッチ面上の前記タッチセンサ部分に対する接触によって前記対応するGUI上のアイコンの選択信号を出力する選択出力部と、
を有するリモコン。
【請求項2】
前記アイコン配置情報取得部は、
複数のアイコンを画面上に奥行表示し、その配置を示す奥行配置情報を取得する奥行配置取得手段を有し、
前記識別出力部は、
取得した奥行配置情報に基づいてタッチ面上に前記識別を奥行表示する奥行識別出力手段を有する請求項1に記載のリモコン。
【請求項3】
前記ディスプレイから画面情報を取得する画面情報取得部を有するとともに、
前記アイコン配置情報取得部は、取得した画面情報に基づいてアイコン配置情報を取得する画面解析手段を有する請求項1または2に記載のリモコン。
【請求項4】
利用者の接触した前記識別をタッチ面上で見分けることができる出力となるように識別出力部を制御する識別出力制御部をさらに有する請求項1から3のいずれか一に記載のリモコン。
【請求項5】
請求項1から4のいずれか一に記載のリモコンを含む表示装置。
【請求項6】
請求項1から4のいずれか一に記載のリモコンを含むテレビ受像機。
【請求項7】
表示装置のディスプレイに表示されるGUI画面内のアイコン選択機能を有し、タッチセンサを備えたタッチ面を有するリモコンのためのプログラムであって、
表示装置での前記GUI画面内のアイコン配置情報を取得するアイコン配置情報取得ステップと、
前記GUI画面内のアイコン配置に対応したタッチ面上のタッチセンサ部分に対するタッチを促すための識別を、取得したアイコン配置情報に基づいてタッチ面上に出力する識別出力ステップと、
識別に応じて行われるタッチ面上の前記タッチセンサ部分に対する接触によって前記対応するGUI上のアイコンの選択信号を出力する選択出力ステップと、
を計算機に実行させるリモコン用プログラム。
【請求項1】
表示装置のディスプレイに表示されるGUI画面内のアイコン選択機能を有するリモコンであって、
タッチセンサを備えたタッチ面と、
前記表示装置での前記GUI画面内のアイコン配置情報を取得するアイコン配置情報取得部と、
前記GUI画面内のアイコン配置に対応したタッチ面上のタッチセンサ部分に対するタッチを促すための識別を、取得したアイコン配置情報に基づいてタッチ面上に出力する識別出力部と、
識別に応じて行われるタッチ面上の前記タッチセンサ部分に対する接触によって前記対応するGUI上のアイコンの選択信号を出力する選択出力部と、
を有するリモコン。
【請求項2】
前記アイコン配置情報取得部は、
複数のアイコンを画面上に奥行表示し、その配置を示す奥行配置情報を取得する奥行配置取得手段を有し、
前記識別出力部は、
取得した奥行配置情報に基づいてタッチ面上に前記識別を奥行表示する奥行識別出力手段を有する請求項1に記載のリモコン。
【請求項3】
前記ディスプレイから画面情報を取得する画面情報取得部を有するとともに、
前記アイコン配置情報取得部は、取得した画面情報に基づいてアイコン配置情報を取得する画面解析手段を有する請求項1または2に記載のリモコン。
【請求項4】
利用者の接触した前記識別をタッチ面上で見分けることができる出力となるように識別出力部を制御する識別出力制御部をさらに有する請求項1から3のいずれか一に記載のリモコン。
【請求項5】
請求項1から4のいずれか一に記載のリモコンを含む表示装置。
【請求項6】
請求項1から4のいずれか一に記載のリモコンを含むテレビ受像機。
【請求項7】
表示装置のディスプレイに表示されるGUI画面内のアイコン選択機能を有し、タッチセンサを備えたタッチ面を有するリモコンのためのプログラムであって、
表示装置での前記GUI画面内のアイコン配置情報を取得するアイコン配置情報取得ステップと、
前記GUI画面内のアイコン配置に対応したタッチ面上のタッチセンサ部分に対するタッチを促すための識別を、取得したアイコン配置情報に基づいてタッチ面上に出力する識別出力ステップと、
識別に応じて行われるタッチ面上の前記タッチセンサ部分に対する接触によって前記対応するGUI上のアイコンの選択信号を出力する選択出力ステップと、
を計算機に実行させるリモコン用プログラム。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【公開番号】特開2012−156986(P2012−156986A)
【公開日】平成24年8月16日(2012.8.16)
【国際特許分類】
【出願番号】特願2011−270720(P2011−270720)
【出願日】平成23年12月9日(2011.12.9)
【出願人】(000005049)シャープ株式会社 (33,933)
【Fターム(参考)】
【公開日】平成24年8月16日(2012.8.16)
【国際特許分類】
【出願日】平成23年12月9日(2011.12.9)
【出願人】(000005049)シャープ株式会社 (33,933)
【Fターム(参考)】
[ Back to top ]