操作装置および操作方法
【課題】携帯端末の操作性を操作装置側で再現することで、操作装置におけるより良い操作性と利便性の向上を図ることが可能となる。
【解決手段】操作装置２１０は、携帯端末１１０とデータ通信を行うデータ通信部２６８と、端末表示部１１２の表示画面を撮像して画面データを生成する撮像部２５２と、生成された画面データに基づく画像を装置表示部２５８に表示させる表示制御部２５６と、装置表示部に重ねて配置された装置タッチパネル２６０と、ユーザによる装置タッチパネル２６０への操作入力があると、その操作入力が行われた位置に対応する、端末タッチパネル１１４上の位置である対応位置を算出する位置変換部２６４と、算出された対応位置を示す情報を、データ通信部を介して携帯端末に送信する送信部２６６とを備える。
【解決手段】操作装置２１０は、携帯端末１１０とデータ通信を行うデータ通信部２６８と、端末表示部１１２の表示画面を撮像して画面データを生成する撮像部２５２と、生成された画面データに基づく画像を装置表示部２５８に表示させる表示制御部２５６と、装置表示部に重ねて配置された装置タッチパネル２６０と、ユーザによる装置タッチパネル２６０への操作入力があると、その操作入力が行われた位置に対応する、端末タッチパネル１１４上の位置である対応位置を算出する位置変換部２６４と、算出された対応位置を示す情報を、データ通信部を介して携帯端末に送信する送信部２６６とを備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、携帯端末を操作することが可能な操作装置および操作方法に関する。
【背景技術】
【０００２】
近年、ハードディスクや半導体メモリ等の小型化、高密度化により、大量の音楽データや映像データを保持しうる、携帯性を有する携帯端末が広く普及しており、この携帯端末を、例えば車載装置に接続し、携帯端末に含まれる音楽や映像といったコンテンツを車載装置のスピーカを通じて出力できるものもある。こうすることで、携帯端末のコンテンツを乗車中にも楽しむことができる。
【０００３】
また、制御線を介して、外部の操作装置からこのような携帯端末を直接制御することもできるが、互換性のある機能しか利用できないため、携帯端末が有する全てのアプリケーションを車載装置から自由に制御することはできない。
【０００４】
また、このような携帯端末では、ユーザや、第三者が作成したアプリケーションをダウンロードしたりして使用することができるものもあるが、携帯端末のメーカが作成したものではないこれらのアプリケーションは、車載装置から遠隔操作できるように構成されていない場合も多い。したがって、外部の操作装置を介して携帯端末を操作する場合は、携帯端末を直接操作する場合と同等の操作をすることはできなかった。
【０００５】
他の装置を操作できる操作装置として、例えば、パーソナルコンピュータ（以下、単にＰＣと称する）で動作中の複数のアプリケーションを、タッチパネルを用いて操作する操作装置が存在する（例えば、特許文献１）が、ＰＣ上の１つのアプリケーションを操作装置に表示させているに過ぎず、ＰＣに含まれる全てのアプリケーションを、ＰＣを直接操作する場合と同様に操作装置から操作することは不可能である。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００９―１２２７２７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
ところで、近年、携帯端末は、表示面が大きく形成されており、ユーザは、その表示面に設けられたタッチパネルを操作することで、快適な操作を行うことができる。しかしながら、従来の操作装置では、使い勝手等が綿密に計算された携帯端末のユーザインターフェースを直接操作するような高い操作性を得ることはできなかった。
【０００８】
そこで、本発明は、このような課題に鑑み、携帯端末の操作性を操作装置側で再現することで、より良い操作性と利便性を有する操作装置および操作方法を提供することを目的としている。
【課題を解決するための手段】
【０００９】
上記課題を解決するために、端末表示部と、端末表示部に重ねて配置された端末タッチパネルとを有する携帯端末を操作する、本発明の操作装置は、携帯端末とデータ通信を行うデータ通信部と、端末表示部の表示画面を撮像して画面データを生成する撮像部と、生成された画面データに基づく画像を装置表示部に表示させる表示制御部と、装置表示部に重ねて配置された装置タッチパネルと、ユーザによる装置タッチパネルへの操作入力があると、その操作入力が行われた位置に対応する、端末タッチパネル上の位置である対応位置を算出する位置変換部と、算出された対応位置を示す情報を、データ通信部を介して携帯端末に送信する送信部とを備えることを特徴とする。
上記課題を解決するために、端末表示部と、端末表示部に重ねて配置された端末タッチパネルとを有する携帯端末を操作する、本発明の他の操作装置は、端末表示部の表示画面を撮像して画面データを生成する撮像部と、生成された画面データに基づく画像を装置表示部に表示させる表示制御部と、装置表示部に重ねて配置された装置タッチパネルと、ユーザによる装置タッチパネルへの操作入力があると、その操作入力が行われた位置に対応する、端末タッチパネル上の位置である対応位置を算出する位置変換部と、算出された対応位置に操作入力を行う疑似操作入力部とを備えることを特徴とする。
疑似操作入力部は、複数の電極を有して構成されてもよい。
疑似操作入力部は、対応位置に対応した電極を含む複数の電極に対して電圧を印加することで、対応位置に操作入力を行ってもよい。
上記課題を解決するために、端末表示部と、端末表示部に重ねて配置された端末タッチパネルとを有する携帯端末を操作する、本発明の操作方法は、端末表示部の表示画面を撮像して画面データを生成し、生成した画面データに基づく画像を装置表示部に表示させ、ユーザによる、装置表示部に重ねて配置された装置タッチパネルへの操作入力があると、その操作入力が行われた位置に対応する、端末タッチパネル上の位置である対応位置を算出し、算出した対応位置を示す情報を、携帯端末に送信することを特徴とする。
上記課題を解決するために、端末表示部と、端末表示部に重ねて配置された端末タッチパネルとを有する携帯端末を操作する、本発明の他の操作方法は、端末表示部の表示画面を撮像して画面データを生成し、生成した画面データに基づく画像を装置表示部に表示させ、ユーザによる、装置表示部に重ねて配置された装置タッチパネルへの操作入力があると、その操作入力が行われた位置に対応する、端末タッチパネル上の位置である対応位置を算出し、算出された対応位置に操作入力を行うことを特徴とする。
上述した操作装置の技術的思想に基づく構成要素やその説明は、当該操作方法にも適用可能である。
【発明の効果】
【００１０】
本発明の操作装置および操作方法によれば、携帯端末の操作性を操作装置側で再現することで、より良い操作性と利便性の向上を図ることが可能となる。
【図面の簡単な説明】
【００１１】
【図１】第１の実施形態にかかる遠隔操作システムを説明するための説明図である。
【図２】第１の実施形態にかかる操作装置の概略的な機能を示した機能ブロック図である。
【図３】操作装置の使用形態を説明するための説明図である。
【図４】対応検知範囲の設定を説明するための説明図である。
【図５】装置表示部に表示された画面データを利用した、ユーザの操作入力に応じた撮像制御部の処理について説明する説明図である。
【図６】固定ケースを説明するための説明図である。
【図７】固定ケースを利用する場合の携帯端末と撮像部の使用形態を説明するための説明図である。
【図８】第１の実施形態にかかる操作方法の具体的な処理を説明するためのフローチャートである。
【図９】第２の実施形態にかかる操作装置の概略的な機能を示した機能ブロック図である。
【図１０】第２の実施形態にかかる疑似操作入力部を説明するための説明図である。
【図１１】第２の実施形態にかかる疑似操作入力部を説明するための説明図である。
【図１２】第２の実施形態にかかる操作方法の具体的な処理を説明するためのフローチャートである。
【発明を実施するための形態】
【００１２】
以下に添付図面を参照しながら、本発明の好適な実施形態について詳細に説明する。かかる実施形態に示す寸法、材料、その他具体的な数値などは、発明の理解を容易とするための例示にすぎず、特に断る場合を除き、本発明を限定するものではない。なお、本明細書及び図面において、実質的に同一の機能、構成を有する要素については、同一の符号を付することにより重複説明を省略し、また本発明に直接関係のない要素は図示を省略する。
【００１３】
（第１の実施形態：遠隔操作システム１００）
図１は、第１の実施形態にかかる遠隔操作システム１００を説明するための説明図である。特に、図１（ａ）は、遠隔操作システム１００を構成する各装置の概略的な関係を示し、図１（ｂ）は、携帯端末１１０の外観斜視図を示す。図１（ａ）に示すように、遠隔操作システム１００は、携帯端末１１０と、操作装置２１０とを含んで構成される。
【００１４】
携帯端末１１０は、図１（ｂ）に示すように、端末表示部１１２と、端末表示部１１２に重ねて配置された端末タッチパネル１１４とを含んで構成されたユーザインターフェースを備えており、ユーザが、端末タッチパネル１１４に指で触れて操作することで、携帯端末１１０に含まれるアプリケーションを機能させることができる。本実施形態では、端末表示部１１２の表示範囲と、端末タッチパネル１１４における操作入力を検知する範囲（以下、単に入力検知範囲と略す）とが一致しているものとする。
【００１５】
本実施形態では、操作装置２１０の操作対象である携帯端末１１０として、通話機能や、ネットワーク通信機能、スケジュール管理等の情報処理機能等を備えたスマートフォンを例に挙げて説明するが、これに限定されず、ポータブルメディアプレーヤ、音楽プレーヤ、携帯電話、ＰＨＳ（Personal Handy-phone System）、携帯情報端末（ＰＤＡ：Personal Digital Assistant）、ＰＣ、デジタルカメラ、デジタルビデオカメラ、ポータブルテレビ、ゲーム機器等、表示部と表示部に重ねて配置されたタッチパネルを有する様々な電子機器を操作装置２１０の操作対象とすることもできる。ユーザは、操作装置２１０を通じて、これらの操作対象を操作することができる。
【００１６】
携帯端末１１０は、ＵＳＢ（Universal Serial Bus）、ＵＡＲＴ（Universal Asynchronous Receiver Transmitter）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＩＥＥＥ８０２．１１ａ／ｂ（ＷｉＦｉ）、ＩＥＥＥ８０２．１１ｇ／ｊ／ｎ、ＷｉＭＡＸ（Worldwide Interoperability for Microwave Access）、赤外線通信等により操作装置２１０とデータ通信を行う端末通信部１１６も備える。ここでは、図１（ａ）に示すように、ＵＳＢやＵＡＲＴといった有線で接続されている例を示す。
【００１７】
操作装置２１０は、例えば、カーナビゲーションシステム等の車載装置であり、操作装置２１０に設けられた、後述する装置タッチパネル２６０を通じたユーザの操作入力を受けて、操作装置２１０に設けられたオーディオ再生機能やカーナビゲーション機能等様々な機能を操作することができる。また、操作装置２１０は、制御線を介して、別体の携帯端末１１０と接続し、ユーザの操作入力を受けて、携帯端末１１０を遠隔操作することもできる。
【００１８】
具体的に、操作装置２１０は、操作装置２１０の、後述する操作部２５０や装置タッチパネル２６０へのユーザによる操作入力に応じて、操作モードを、操作装置２１０自体を操作する通常モードから携帯端末１１０を遠隔操作する遠隔モードに切り換える。そして、ユーザが、例えば、携帯端末１１０に含まれる音楽コンテンツを再生させるために、装置タッチパネル２６０へコンテンツの再生を指示する操作入力を行うと、操作装置２１０はその操作入力に応じた制御信号を携帯端末１１０に送信する。そして、携帯端末１１０は音楽コンテンツの再生を開始する。
【００１９】
そして、携帯端末１１０上で再生された音楽コンテンツの音声信号は、端末通信部１１６を通じて操作装置２１０に送信される。操作装置２１０は、音楽コンテンツの音声信号を受信して、操作装置２１０のスピーカまたは操作装置２１０に接続されたスピーカを通じて出力する。こうして、ユーザは、操作装置２１０を操作することで、携帯端末１１０に含まれる音楽コンテンツを楽しむことが可能となる。
【００２０】
本実施形態にかかる操作装置２１０は、さらに、携帯端末１１０の表示画面をそのまま操作装置２１０側で、ユーザに視認させることができ、ユーザは携帯端末１１０の表示画面であるかのように、操作装置２１０の表示画面を視認しながら、携帯端末１１０を遠隔操作することができるため、操作性を向上させることが可能となる。以下、操作装置２１０を構成する各機能部について説明し、その後、当該操作装置２１０を用いた携帯端末１１０の操作方法について説明する。
【００２１】
（操作装置２１０）
図２は、第１の実施形態にかかる操作装置２１０の概略的な機能を示した機能ブロック図であり、図３は、操作装置２１０の使用形態を説明するための説明図である。図２に示すように、操作装置２１０は、操作部２５０と、撮像部２５２と、撮像制御部２５４と、表示制御部２５６と、装置表示部２５８と、装置タッチパネル２６０と、装置メモリ２６２と、位置変換部２６４と、送信部２６６と、データ通信部２６８と、スピーカ２７０とを含んで構成される。
【００２２】
操作部２５０は、操作キー、十字キー、ジョイスティック等のスイッチから構成され、ユーザの操作入力を受け付ける。ユーザによる、操作部２５０への操作入力や、装置タッチパネル２６０への操作入力に応じて、操作装置２１０の操作モードは、操作装置２１０自体を操作する通常モードと、携帯端末１１０を遠隔操作する遠隔モードとに切り換えられる。本実施形態では、特に遠隔モードについて言及する。なお、通常モードを有さずに、常に遠隔モードで動作するような操作装置２１０にしてもよい。
【００２３】
撮像部２５２は、操作装置２１０の本体２１２と有線または無線で接続されている。また、撮像部２５２は、撮像レンズを通じて入射した光を電気信号に光電変換する撮像素子等を含んで構成され、携帯端末１１０の端末表示部１１２の表示画面を撮像し、その表示画面を含む画像の画面データを生成する。
【００２４】
撮像制御部２５４は、ユーザによる操作部２５０や装置タッチパネル２６０への操作入力に応じて、撮像部２５２の撮像範囲や倍率を変更（調整）する。
【００２５】
表示制御部２５６は、操作モードが遠隔モードである場合、撮像部２５２が撮像した、端末表示部１１２の表示画面を含む画像と、装置タッチパネル２６０の対応検知範囲を示す指標とを重畳して装置表示部２５８に表示させる。
【００２６】
上記装置タッチパネル２６０の対応検知範囲は、携帯端末１１０の端末タッチパネル１１４における入力検知範囲に対応させるための、装置タッチパネル２６０の範囲を示すものであり、ここでは、予め設定されているものとする。
【００２７】
図４は、対応検知範囲の設定を説明するための説明図である。なお、一例として、図４に示すように、端末タッチパネル１１４における入力検知範囲内の点ｐは、端末タッチパネル１１４における原点であり、点Ｑは、装置タッチパネル２６０における原点であるとする。ここで、点ｐを装置タッチパネル２６０の任意の点Ｐ（Ｋ，Ｍ）に対応させて、装置タッチパネル２６０の対応検知範囲の横幅を端末タッチパネル１１４の入力検知範囲の横幅ｗのａ倍、装置タッチパネル２６０の対応検知範囲の縦幅を端末タッチパネル１１４の入力検知範囲の縦幅ｈのｂ倍、装置タッチパネル２６０の任意の点Ｓの座標を（Ｓ，Ｔ）とした場合、その点Ｓに対応する端末タッチパネル１１４上の点ｓのＸ座標ｓは以下の式（１）で算出され、点ｓのＹ座標ｔは以下の式（２）で算出される。
【００２８】
ｓ＝（Ｓ−Ｋ）／ａ・・・式（１）
ｔ＝（Ｔ―Ｍ）／ｂ・・・式（２）
なお、点Ｐは、対応検知範囲の頂点の内、原点Ｑに最も近い頂点であるとする。また、Ｋは点ＰのＸ座標であり、Ｍは点ＰのＹ座標である。
【００２９】
後述する位置変換部２６４は、式（１）及び式（２）である変換式を用いて、ユーザが装置タッチパネル２６０に接触した際に、その接触位置（例えば点Ｓ）の座標を、携帯端末１１０の端末タッチパネル１１４における、接触位置に対応した位置である対応位置（例えば点ｓ）の座標へと変換する。
【００３０】
なお、対応検知範囲（図４（ｂ）中一点鎖線で示す範囲）の位置、大きさ、形は任意であるが、入力検知範囲と相似な形であることが好ましい。
【００３１】
また、対応検知範囲の設定は、例えば、操作装置２１０の出荷前に行ってもよいし、ユーザが、装置タッチパネル２６０または操作部２５０に操作入力を行うことによって設定できるようにしてもよい。また、後述するように、表示制御部２５６が自動的に設定するようにしてもよい。
【００３２】
装置表示部２５８は、液晶ディスプレイ、有機ＥＬ(Electro Luminescence)ディスプレイ等で構成され、表示制御部２５６の制御指令に応じて、撮像部２５２が撮像した、端末表示部１１２の表示画面を含む画像と、指標とを重畳して表示する。
【００３３】
ユーザは、初期設定の際、装置表示部２５８を視認しながら、装置タッチパネル２６０の対応検知範囲を示す指標と、撮像部２５２が出力する画面データに基づいた画像に含まれる、端末表示部１１２の表示画面とが一致するように操作部２５０や装置タッチパネル２６０への操作入力を行うことで、撮像制御部２５４に撮像部２５２の撮像範囲を変更させる。なお、端末表示部１１２の表示画面と、端末タッチパネル１１４における入力検知範囲とは一致しているものとする。
【００３４】
また、撮像部２５２の撮像範囲を変更する代わりに、ユーザによる操作部２５０や装置タッチパネル２６０への操作入力に基づいて、表示制御部２５６が、撮像部２５２が生成した画面データの切り取り範囲を変更したり、切り取った後に拡大縮小の処理（所謂電子ズーム機能）を遂行したりすることで、装置タッチパネル２６０の対応検知範囲を示す指標と、撮像部２５２が出力する画面データに基づいた画像に含まれる、端末表示部１１２の表示画面（端末タッチパネル１１４における入力検知範囲）とを一致させてもよい。
【００３５】
また、表示制御部２５６は、公知の画像認識技術を用いて、入力検知範囲に対応する範囲２８０を自動的に検出し、入力検知範囲と対応検知範囲とが一致するように、画像を表示させるようにしてもよい。
【００３６】
また、表示制御部２５６は、公知の画像認識技術を用いて、入力検知範囲に対応する範囲２８０を自動的に検出し、その入力検知範囲に対応する部分を対応検知範囲として自動的に設定するようにしてもよい。この場合、対応検知範囲は、画像内の入力検知範囲に対応する範囲２８０の位置に応じて、変わることとなる。
【００３７】
図５は、ユーザの操作入力に応じた撮像制御部２５４の処理について説明する説明図である。図５（ａ）に示すように、装置表示部２５８が表示する画像における、入力検知範囲に対応する範囲２８０が、指標２８２と一致しない場合、ユーザは、操作部２５０や装置タッチパネル２６０へ操作入力を行うことで、撮像制御部２５４に撮像部２５２の撮像範囲や倍率を変更させ、図５（ｂ）に示すように、指標２８２を目安に、入力検知範囲に対応する範囲２８０が対応検知範囲に一致するように調整する。こうすることで、上述した変換式を利用して装置表示部２５８に重ねて配置される装置タッチパネル２６０の位置を端末タッチパネル１１４の位置に対応させることができる。このとき、携帯端末１１０の端末表示部１１２の対角する少なくとも２つの角にマークを表示させることで、上記指標２８２との一致度を高めることもできる。本実施形態において、入力検知範囲は、端末表示部１１２の表示画面に対応しているため、装置表示部２５８に表示された端末表示部１１２の表示画面を目安に、入力検知範囲に対応する範囲２８０と、対応検知範囲とが一致するように調整することができる。
【００３８】
また、装置タッチパネル２６０の対応検知範囲と、装置表示部２５８が表示する画像における、入力検知範囲に対応する範囲２８０とを容易に一致させるように、携帯端末１１０と撮像部２５２を固定可能な固定ケースを利用することもできる。
【００３９】
図６は、固定ケース２９０を説明するための説明図であり、図７は、固定ケース２９０を利用する場合の携帯端末１１０と撮像部２５２の使用形態を説明するための説明図である。特に、図６（ａ）は、固定ケース２９０の上面図を、図６（ｂ）は、第１収納部２９２に携帯端末１１０を収納した様子を説明するための説明図を、図６（ｃ）は、Ｚ−Ｚ断面図を、図６（ｄ）は、Ｖ−Ｖ断面図を示す。
【００４０】
図６に示すように、固定ケース２９０は、携帯端末１１０を収納する第１収納部２９２と、撮像部２５２を固定する第２収納部２９４とで構成される。第２収納部２９４には、第１収納部２９２に収納された携帯端末１１０をさらに押圧固定するための固定部２９６が設けられている。
【００４１】
固定ケース２９０の第１収納部２９２と２９４は、シリコンゴム等の弾性体や、プラスチックや金属等で形成することが好ましい。また固定部２９６は、シリコンゴム等の弾性体で形成されるとよい。固定部２９６を弾性体で形成することにより、携帯端末１１０を傷つけることなく確実に固定することができる。なお、固定部２９６は、携帯端末１１０を固定ケース２９０に収納した場合に、端末表示部１１２を覆わない位置に配されるとよい。これにより、撮像部２５２が端末表示部１１２を撮像する際に固定部２９６が妨げになるおそれを回避することができる。
【００４２】
また、図６に示すように、固定ケース２９０は、第１収納部２９２に携帯端末１１０を、第２収納部２９４に撮像部２５２を固定すれば、装置タッチパネル２６０の対応検知範囲に、入力検知範囲に対応する範囲２８０が一致して表示されるように形成されている。固定ケース２９０では、撮像部２５２に対して携帯端末１１０の端末表示部１１２が位置決めされるようになっており、携帯端末１１０が固定されることで、装置表示部２５８が表示する画像における、入力検知範囲に対応する範囲２８０と、装置タッチパネル２６０の対応検知範囲と、が一致する。なお、第２収納部２９４は、固定ケース２９０に携帯端末１１０を収納した場合に、撮像部２５２を固定する位置が端末表示部１１２の略中央と対向する位置となるように、形成される。
【００４３】
固定ケース２９０を利用する場合、図７（ａ）に示すように、まず第１収納部２９２に携帯端末１１０を収納し、その後図７（ｂ）に示すように、撮像部２５２を固定した第２収納部２９４を第１収納部２９２に固定する。このような、簡単な手順を経るだけで、図７（ｃ）に示すように、携帯端末１１０を固定ケース２９０に収納することができる。
【００４４】
かかる構成により、予め撮像部２５２を固定ケース２９０に固定させておけば、ユーザは、固定ケース２９０に携帯端末１１０を収納するだけで、装置タッチパネル２６０の対応検知範囲と、入力検知範囲に対応する範囲２８０と、を一致させることできる。
【００４５】
なお、図６に示すような固定ケース２９０を利用して、携帯端末１１０と撮像部２５２を固定する場合、撮像部２５２を構成する撮像レンズは、魚眼レンズ（円周魚眼レンズ）で構成するとよい。これにより、一般的なレンズを用いる場合と比較して、携帯端末１１０の端末表示部１１２と、撮像部２５２の撮像レンズとの距離を短くすることができ、固定ケース２９０を小型化することが可能となる。なお、魚眼レンズを採用する場合、表示制御部２５６は、等距離射影方式等で撮像された画面データを、端末表示部１１２の表示画面と同等の中心射影方式等による画面データに加工して、加工した画面データに基づく画像を装置表示部２５８に表示させるとよい。
【００４６】
固定ケース２９０を利用した場合、撮像部２５２と表示制御部２５６とを接続する接続線と、携帯端末１１０とデータ通信部２６８とを接続する接続線のみが、固定ケース２９０から延出することになる。したがって、携帯端末１１０と撮像部２５２を固定ケース２９０に梱包し、固定ケース２９０ごとグローブボックス等に収納することができる。
【００４７】
また、操作装置２１０が、車載装置である場合、ダッシュボード付近に、携帯端末１１０の端末表示部１１２が鉛直上方向になるように固定する挿入口を設け、挿入口の上部に撮像部２５２を配置して携帯端末１１０の端末表示部１１２が撮像されるようにしてもよい。さらに、ダッシュボード上に、携帯端末１１０を立設する構成にしてもよい。
【００４８】
このように、装置表示部２５８は、撮像部２５２が撮像した端末表示部１１２の表示画面を示す画面データに基づく画像をそのまま表示するため、ユーザは、装置表示部２５８を通じて、遠隔にある携帯端末１１０の表示画面の画像をリアルタイムに認識することができる。
【００４９】
また、入力検知範囲に対応する範囲２８０と指標２８２とが、わずかにずれている場合、表示制御部２５６は、装置表示部２５８の対応検知範囲を移動して校正することもできる。その際、表示制御部２５６は、対応検知範囲の移動に対応させて、指標２８２も移動させることが好ましい。
【００５０】
図２の説明に戻り、装置タッチパネル２６０は、装置表示部２５８に重ねて配置されており、ユーザの操作入力を受付ける。本実施形態において装置タッチパネル２６０は、静電容量式で構成される。静電容量式のタッチパネルは、ユーザの指がタッチパネルへ接触することによる、タッチパネルの導電膜の静電容量の変化を捉えて、タッチパネルに対する指の接触位置を割り出す。装置タッチパネル２６０は、静電容量式に限定されず、抵抗膜方式等他の方式を利用することもできる。
【００５１】
装置メモリ２６２は、装置タッチパネル２６０の対応検知範囲と、端末表示部１１２の入力検知範囲との対応関係を示す位置情報および上述した変換式を保持する。
【００５２】
位置変換部２６４は、装置メモリ２６２に保持された位置情報および変換式に基づいて、ユーザによる装置タッチパネル２６０への操作入力があると、その操作入力が行われた位置に対応する、端末タッチパネル１１４上の位置である対応位置を算出する。すなわち、ユーザ（ユーザの指）が、装置タッチパネル２６０の対応検知範囲内に接触すると、位置変換部２６４は、その接触した位置に対応する、携帯端末１１０の端末タッチパネル１１４上の位置である対応位置を導出する。例えば、ユーザが、装置タッチパネル２６０の点Ｆ（ｆ，ｇ）に接触した場合、位置変換部２６４は、上述した変換式に基づいて、（（ｆ−Ｋ）／ａ，（ｇ−Ｍ）／ｂ）を示す対応位置を算出する。そして、後述するデータ送信部２６６は、位置変換部２６４が算出した対応位置を示す情報である対応位置情報を携帯端末１１０に送信する。
【００５３】
なお、装置タッチパネル２６０に抵抗膜方式を採用する場合、位置変換部２６４は、ユーザが装置タッチパネル２６０に接触してさらに押下した（押し下げた）場合に、その押下された位置を検出することになるが、各実施形態において、そのような押下された位置も、接触位置と呼ぶこととする。すなわち装置タッチパネル２６０が、操作入力があったと判定する位置を接触位置として扱う。
【００５４】
送信部２６６は、位置変換部２６４が算出した対応位置を示す対応位置情報を、携帯端末１１０とデータ通信を行うデータ通信部２６８を介して携帯端末１１０に送信する。
【００５５】
そして、携帯端末１１０は、受信した対応位置情報に基づき、携帯端末１１０に含まれるアプリケーションの機能を実行する。例えば、携帯端末１１０が、受信した対応位置情報に基づいて音楽コンテンツの再生を開始すると、携帯端末１１０は、再生した音楽コンテンツに基づいた、アナログ信号やＰＣＭ（pulse code modulation）信号を操作装置２１０に出力する。操作装置２１０は、携帯端末１１０が出力した信号を、データ通信部２６８を介して受信し、その受信した信号に基づいた音声を、操作装置２１０のスピーカ２７０を通じて出力したり、操作装置２１０に接続された車載のスピーカを通じて出力したりする。
【００５６】
以上説明したように、本実施形態にかかる操作装置２１０は、撮像部２５２が撮像した携帯端末１１０の端末表示部１１２の表示画面を表示することで、装置表示部２５８を通じて、ユーザに携帯端末１１０の表示画面をそのまま認識させることができ、あたかも携帯端末１１０を直接操作しているような操作をさせることが可能となる。また、ユーザによる、操作装置２１０の装置タッチパネル２６０への操作入力があると、その操作入力が行われた位置に対応する、端末タッチパネル１１４上の位置である対応位置を算出し、算出した対応位置を示す情報を携帯端末１１０に送信する構成により、操作装置２１０を介して、操作性を向上させて、携帯端末１１０を遠隔操作することができる。
【００５７】
（操作方法）
また、上述した操作装置２１０を用いた操作方法も提供される。図８は、第１の実施形態にかかる操作方法の具体的な処理を説明するためのフローチャートである。ここでは、操作装置２１０が、携帯端末１１０に含まれる音楽コンテンツを再生する例について説明する。
【００５８】
図８に示すように、操作装置２１０の撮像部２５２は、携帯端末１１０の端末表示部１１２の表示画面を撮像して端末表示部１１２の表示画面を示す画面データを生成する（Ｓ３００）。そして、ユーザによる操作部２５０や装置タッチパネル２６０への操作入力に応じて、操作装置２１０の操作モードが遠隔モードに切り換わると（Ｓ３０２におけるＹＥＳ）、表示制御部２５６は、撮像ステップＳ３００において撮像部２５２が生成した画面データに基づく画像と、指標２８２とを装置表示部２５８に表示させる。（Ｓ３０４）。ここでは、上述した固定ケース２９０によって、入力検知範囲に対応する範囲２８０が、指標２８２と既に一致しているとする。
【００５９】
そして、ユーザによる装置タッチパネル２６０への操作入力があると（Ｓ３０６におけるＹＥＳ）、位置変換部２６４は、ユーザによる装置タッチパネル２６０への操作入力があると、その操作入力が行われた位置に対応する、端末タッチパネル１１４上の位置である対応位置を算出する（Ｓ３０８）。送信部２６６は、変換ステップＳ３０８で算出された対応位置を示す情報（対応位置情報）を、データ通信部２６８を介して携帯端末１１０に送信する（Ｓ３１０）。
【００６０】
携帯端末１１０は、受信した対応位置情報に応じた位置が接触された（操作入力された）とみなし、その操作入力に対応した機能（例えば音楽コンテンツの再生）を実行して（Ｓ３１２）、端末通信部１１６を通じて、音楽コンテンツの音声信号を操作装置２１０に出力する（Ｓ３１４）。
【００６１】
そして操作装置２１０は、データ通信部２６８を介して音声信号を受信し（Ｓ３１６）、かかる音声信号を操作装置２１０のスピーカ２７０、または、操作装置２１０に接続されたスピーカを通じて出力する（Ｓ３１８）。
【００６２】
以上説明したように、本実施形態にかかる操作方法においても、携帯端末１１０の表示画面をそのまま操作装置２１０側で視認させることができ、ユーザは携帯端末１１０の表示画面であるかのように視認しながら遠隔操作することでユーザの操作性を向上させることが可能となる。
【００６３】
（第２の実施形態：操作装置４１０）
上述した第１の実施形態では、ユーザによる装置タッチパネル２６０への操作入力があると、その操作入力が行われた位置に対応する、端末タッチパネル１１４上の位置である対応位置を示す対応位置情報を、携帯端末１１０にデータ通信部２６８を通じて送信することで、携帯端末１１０に、対応位置情報に基づいてアプリケーションの機能を実行させることができる操作装置２１０について説明した。
【００６４】
しかし、互換性がないアプリケーションもあるため、アプリケーションによっては、対応位置情報に基づいて機能を実行できないものもある。また、近年の携帯端末１１０は、携帯端末１１０のメーカが準備しているＡＰＩ（Application Programming Interface）等のインターフェースを利用して、ユーザが個々に作成したアプリケーションや、第三者が作成したアプリケーションをダウンロードしたりして使用できるものもある。このような、携帯端末のメーカが作成したものではないアプリケーションは、操作装置から遠隔操作できるように構成されているという保証はない。
【００６５】
また、たとえ、アプリケーションが遠隔操作できたとしても、許容される処理には限界があり、携帯端末１１０における利便性の高い処理（タッチパネルを通じたユーザインターフェース）を操作装置２１０で実現できないことがある。さらに、将来的に携帯端末１１０の利便性と同等の高い処理がデータ通信部２６８を通じて可能になったとしても、複雑なプログラミングや仕様変更によるプログラム変更を余儀なくされる。
【００６６】
そこで、本実施形態では、操作装置４１０によって擬似的に携帯端末１１０を操作することで、外部から入力される情報（操作装置２１０から送信される対応位置情報）に基づいてアプリケーション等を実行する機能が携帯端末１１０に予め備わっていない場合であっても、確実に携帯端末１１０のアプリケーションの機能を実行させることのできる操作装置４１０について説明する。
【００６７】
図９は、第２の実施形態にかかる操作装置４１０の概略的な機能を示した機能ブロック図である。図９に示すように、操作装置４１０は、操作部２５０と、撮像部２５２と、撮像制御部２５４と、表示制御部２５６と、装置表示部２５８と、装置タッチパネル２６０と、装置メモリ２６２と、位置変換部２６４と、疑似操作入力部４５０と、データ通信部２６８と、スピーカ２７０とを含んで構成される。第１の実施形態における構成要素として既に述べた操作部２５０、撮像部２５２、撮像制御部２５４、表示制御部２５６、装置表示部２５８、装置タッチパネル２６０、装置メモリ２６２、位置変換部２６４、データ通信部２６８、スピーカ２７０は、実質的に機能が同一なので重複説明を省略し、ここでは、構成が相違する疑似操作入力部４５０を主に説明する。
【００６８】
疑似操作入力部４５０は、位置変換部２６４が算出した対応位置に操作入力を行う。
【００６９】
図１０および図１１は、第２の実施形態にかかる疑似操作入力部４５０の一例を説明するための説明図である。図１０（ａ）に示すように、疑似操作入力部４５０は、携帯端末１１０の端末タッチパネル１１４に重ねて配置するように設置されて用いられる。疑似操作入力部４５０は、このように設置された状態で、端末タッチパネル１１４に近い順に、第１絶縁層４５２、複数の電極４５４を含んだ電極層４５６、第２絶縁層４５８の順で積層された操作シート部材４６０と、電圧印加部４７０とを含んで構成される。なお、操作シート部材４６０は、第１絶縁層４５２および第２絶縁層４５８を含まない構成とすることも可能であるが、第１絶縁層４５２および第２絶縁層４５８を含む構成とすることで、誤動作を防ぐことができる。
【００７０】
図１０（ｂ）に示すように、操作シート部材４６０は、端末タッチパネル１１４の四隅と操作シート部材４６０の四隅が一致するように、ユーザによって端末タッチパネル１１４に重ねて配置される。操作シート部材４６０の四隅と端末タッチパネル１１４の四隅がずれている場合、上述した表示制御部２５６が、装置表示部２５８の対応検知範囲を移動して校正することもできる。
【００７１】
第１絶縁層４５２は、１０μｍ程度の厚さの絶縁体で構成され、電極４５４に電圧を印加しない状態において、端末タッチパネル１１４と電極４５４とを絶縁する機能を有する。
【００７２】
電極層４５６に含まれる電極４５４は、端末タッチパネル１１４の最小反応面積（例えば、７×７ｍｍ程度）程度の面積であり（図１０（ｂ）参照）、電極層４５６は、０．１〜０．２ｍｍ程度の厚さで構成されている。また、各電極４５４同士は、離隔し電気的に絶縁されている。第２絶縁層４５８は、１ｍｍ程度の厚さの絶縁体で構成され、電極４５４と電圧印加部４７０とを接続する接続線をそれぞれ絶縁する機能を有する。なお、最小反応面積は、例えば、１つのアイコンが表示されている範囲に対応する面積であってもよい。
【００７３】
第１絶縁層４５２、電極層４５６、第２絶縁層４５８を含んで構成される操作シート部材４６０は、透明な物質で構成するとよい。これにより、操作装置４１０の装置表示部２５８に表示された端末表示部１１２の表示画面の視認性を確保することができる。
【００７４】
電圧印加部４７０は、位置変換部２６４が算出した対応位置に対応した電極４５４に、例えば、５０Ｈｚ、３０Ｖ程度の交流電圧を印加する。これにより、電圧が印加された電極４５４の付近の端末タッチパネル１１４の領域に静電容量の変化を起こすことができる。
【００７５】
端末タッチパネル１１４に用いられる、例えば静電容量方式のタッチパネルは、ユーザ（人）の指が接触することによる静電容量の変化を捉えることで、ユーザの指の接触（または押下）を検知している。ここでは、ユーザの指の代わりに電極４５４を用い、この電極４５４に電圧を印加することで、端末タッチパネルの静電容量に変化を与え、あたかもユーザの指が接触したように端末タッチパネル１１４に判定させる。
【００７６】
例えば、図１０（ｂ）に示すように、電圧印加部４７０が、位置変換部２６４が算出した対応位置に対応した電極４５４ａに交流電圧を印加すると、端末タッチパネル１１４は、電極４５４ａの直下の端末タッチパネル１１４の領域にユーザの指が接触したと判定する。したがって、ユーザは、操作装置４１０を通じて、携帯端末１１０の端末タッチパネル１１４を操作しているように、携帯端末１１０を遠隔操作することが可能となる。
【００７７】
ここでは、電圧印加部４７０が電極４５４に交流電圧を印加しているが、これに限定されず、端末タッチパネル１１４にユーザの指が接触したと判定させることができれば様々な方式を採用することができる。
【００７８】
また、疑似操作入力部４５０は、対応位置に対応した電極を含む複数の電極に対して、一斉に交流電圧を印加してもよい。携帯端末１１０は、アプリケーションや使用形態によって、アイコンの形状や表示位置が異なる場合がある。したがって、端末タッチパネル１１４の操作面に対向して、小さい電極を数多く配置すれば、様々な形状や、様々な大きさのアイコンに対応することができる。しかし、電極を小さくしすぎると、端末タッチパネル１１４に、ユーザの指が接触したと判定させることができなくなるおそれがある。
【００７９】
そこで、図１１（ａ）に示すように、疑似操作入力部４５０を、上述した電極４５４よりも小さい電極４８０（例えば、２ｍｍ×２ｍｍ）を複数並置して構成し、対応位置に対応した電極４８０を含む複数の電極４８０に対して操作入力があったと判定させる。こうすることで、より確実に、携帯端末１１０にユーザの指が接触したと判定させることができる。例えば、図１１（ｂ）に示すように、疑似操作入力部４５０を最小反応面積よりも小さい電極４８０を並置して構成し、携帯端末１１０に、対応位置に対応した電極４８０を含む複数の電極４８０に対して操作入力があったと判定させることで、携帯端末１１０の使用形態によって、端末表示部１１２に表示されるアイコンの大きさが異なる場合であっても、確実に携帯端末１１０のアプリケーションの機能を実行させることができる。
【００８０】
また、本実施形態において疑似操作入力部４５０は、複数の電極を含んで構成されているが、これに限定されず、Ｘ−Ｙプロッタのような構造や、携帯端末１１０の表示画面と水平方向に回動する２軸を有するアーム等の、実際の動作を伴う駆動体で構成されてもよい。この場合、疑似操作入力部４５０は、駆動体の一部で、実際に位置変換部２６４が算出した対応位置に接触する。ここで、端末タッチパネル１１４と接触する駆動体の一部は、導電体で形成するとよい。また、上述した駆動体で疑似操作入力部４５０を構成する場合、駆動体を透明な物質で構成すれば、操作装置４１０の装置表示部２５８に表示された端末表示部１１２の表示画面の視認性を確保することができる。なお、疑似操作入力部４５０は、固定ケースと一体に構成することがより好ましい。そのようにすることで、端末タッチパネル１１４と疑似操作入力部４５０の各電極４５４を対応させることが容易になる。
【００８１】
以上説明したように、本実施形態にかかる操作装置４１０は、撮像部２５２が撮像した携帯端末１１０の表示画面をそのまま装置表示部２５８に表示することで、ユーザに携帯端末１１０の表示画面をそのまま認識させることができる。また、疑似操作入力部４５０を備える構成により、ユーザが操作装置４１０の装置タッチパネル２６０を接触すると、接触位置に対応する、端末タッチパネル１１４上の位置である対応位置に操作入力を行うので、外部から入力される情報（対応位置情報）に基づいてアプリケーション等を実行する機能が携帯端末１１０に予め備わっていない場合においても、ユーザに、あたかも携帯端末１１０を直接操作しているような遠隔操作をさせることが可能となる。
【００８２】
（操作方法）
また、上述した操作装置４１０を用いた操作方法も提供される。図１２は、第２の実施形態にかかる操作方法の具体的な処理を説明するためのフローチャートである。なお、上述した第１の実施形態にかかる操作方法と実質的に等しい処理については、同一の符号を付して説明を省略する。またここでも、第１の実施形態と同様に、操作装置４１０が、携帯端末１１０に含まれる音楽コンテンツを再生する例について説明する。
【００８３】
図１２に示すように、疑似操作入力部４５０は、変換ステップＳ３０８で算出された対応位置に対応する電極４５４に交流電圧を印加する（Ｓ５００）。そうすると、印加ステップＳ５００で、電圧が印加された電極４５４の付近の端末タッチパネル１１４の領域に静電容量の変化が起きる。
【００８４】
携帯端末１１０は、印加ステップＳ５００で電圧が印加された電極４５４付近の端末タッチパネル１１４の領域に操作入力があったと判定し（Ｓ５０２）、その操作入力に対応した機能を実行して（Ｓ３１２）、端末通信部１１６を通じて、音楽コンテンツの音声信号を操作装置４１０に出力する（Ｓ３１４）。
【００８５】
そして操作装置４１０は、データ通信部２６８を介して音声信号を受信し（Ｓ３１６）、かかる音声信号に基づいた音声を、操作装置４１０のスピーカ２７０、または、操作装置４１０に接続されたスピーカを通じて出力する（Ｓ３１８）。
【００８６】
以上説明したように本実施形態にかかる操作方法においても、携帯端末１１０の表示画面をそのまま操作装置４１０側で視認させることができ、ユーザは携帯端末１１０の表示画面であるかのように視認しながら遠隔操作することでユーザの操作性を向上させることが可能となる。また、ユーザが操作装置４１０の装置タッチパネル２６０を接触すると、疑似操作入力部４５０が、接触位置に対応する、端末タッチパネル１１４上の位置である対応位置に操作入力を行うので、外部から入力される情報（対応位置情報）に基づいてアプリケーション等を実行する機能が携帯端末１１０に予め備わっていない場合においても、ユーザに、あたかも携帯端末１１０を直接操作しているような遠隔操作をさせることが可能となる。
【００８７】
以上、添付図面を参照しながら本発明の好適な実施形態について説明したが、本発明はかかる実施形態に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇において、各種の変更例または修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。
【００８８】
なお、本明細書の操作方法の各工程は、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はなく、並列的あるいはサブルーチンによる処理を含んでもよい。また、操作装置２１０、４１０が車載装置であることは、一例であり、これに限らない。また、本発明は操作装置の機能をコンピュータに実現させるためのプログラムを含むものである。これらのプログラムは、記録媒体から読み取られてコンピュータに取り込まれてもよいし、通信ネットワークを介して伝送されてコンピュータに取り込まれてもよい。
【産業上の利用可能性】
【００８９】
本発明は、携帯端末を操作することが可能な操作装置および操作方法に利用することができる。
【符号の説明】
【００９０】
１１０ …携帯端末
１１２ …端末表示部
１１４ …端末タッチパネル
２１０、４１０ …操作装置
２５０ …操作部
２５２ …撮像部
２５６ …表示制御部
２５８ …装置表示部
２６０ …装置タッチパネル
２６４ …位置変換部
２６６ …送信部
２６８ …データ通信部
４５０ …疑似操作入力部
４５４ …電極
【技術分野】
【０００１】
本発明は、携帯端末を操作することが可能な操作装置および操作方法に関する。
【背景技術】
【０００２】
近年、ハードディスクや半導体メモリ等の小型化、高密度化により、大量の音楽データや映像データを保持しうる、携帯性を有する携帯端末が広く普及しており、この携帯端末を、例えば車載装置に接続し、携帯端末に含まれる音楽や映像といったコンテンツを車載装置のスピーカを通じて出力できるものもある。こうすることで、携帯端末のコンテンツを乗車中にも楽しむことができる。
【０００３】
また、制御線を介して、外部の操作装置からこのような携帯端末を直接制御することもできるが、互換性のある機能しか利用できないため、携帯端末が有する全てのアプリケーションを車載装置から自由に制御することはできない。
【０００４】
また、このような携帯端末では、ユーザや、第三者が作成したアプリケーションをダウンロードしたりして使用することができるものもあるが、携帯端末のメーカが作成したものではないこれらのアプリケーションは、車載装置から遠隔操作できるように構成されていない場合も多い。したがって、外部の操作装置を介して携帯端末を操作する場合は、携帯端末を直接操作する場合と同等の操作をすることはできなかった。
【０００５】
他の装置を操作できる操作装置として、例えば、パーソナルコンピュータ（以下、単にＰＣと称する）で動作中の複数のアプリケーションを、タッチパネルを用いて操作する操作装置が存在する（例えば、特許文献１）が、ＰＣ上の１つのアプリケーションを操作装置に表示させているに過ぎず、ＰＣに含まれる全てのアプリケーションを、ＰＣを直接操作する場合と同様に操作装置から操作することは不可能である。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００９―１２２７２７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
ところで、近年、携帯端末は、表示面が大きく形成されており、ユーザは、その表示面に設けられたタッチパネルを操作することで、快適な操作を行うことができる。しかしながら、従来の操作装置では、使い勝手等が綿密に計算された携帯端末のユーザインターフェースを直接操作するような高い操作性を得ることはできなかった。
【０００８】
そこで、本発明は、このような課題に鑑み、携帯端末の操作性を操作装置側で再現することで、より良い操作性と利便性を有する操作装置および操作方法を提供することを目的としている。
【課題を解決するための手段】
【０００９】
上記課題を解決するために、端末表示部と、端末表示部に重ねて配置された端末タッチパネルとを有する携帯端末を操作する、本発明の操作装置は、携帯端末とデータ通信を行うデータ通信部と、端末表示部の表示画面を撮像して画面データを生成する撮像部と、生成された画面データに基づく画像を装置表示部に表示させる表示制御部と、装置表示部に重ねて配置された装置タッチパネルと、ユーザによる装置タッチパネルへの操作入力があると、その操作入力が行われた位置に対応する、端末タッチパネル上の位置である対応位置を算出する位置変換部と、算出された対応位置を示す情報を、データ通信部を介して携帯端末に送信する送信部とを備えることを特徴とする。
上記課題を解決するために、端末表示部と、端末表示部に重ねて配置された端末タッチパネルとを有する携帯端末を操作する、本発明の他の操作装置は、端末表示部の表示画面を撮像して画面データを生成する撮像部と、生成された画面データに基づく画像を装置表示部に表示させる表示制御部と、装置表示部に重ねて配置された装置タッチパネルと、ユーザによる装置タッチパネルへの操作入力があると、その操作入力が行われた位置に対応する、端末タッチパネル上の位置である対応位置を算出する位置変換部と、算出された対応位置に操作入力を行う疑似操作入力部とを備えることを特徴とする。
疑似操作入力部は、複数の電極を有して構成されてもよい。
疑似操作入力部は、対応位置に対応した電極を含む複数の電極に対して電圧を印加することで、対応位置に操作入力を行ってもよい。
上記課題を解決するために、端末表示部と、端末表示部に重ねて配置された端末タッチパネルとを有する携帯端末を操作する、本発明の操作方法は、端末表示部の表示画面を撮像して画面データを生成し、生成した画面データに基づく画像を装置表示部に表示させ、ユーザによる、装置表示部に重ねて配置された装置タッチパネルへの操作入力があると、その操作入力が行われた位置に対応する、端末タッチパネル上の位置である対応位置を算出し、算出した対応位置を示す情報を、携帯端末に送信することを特徴とする。
上記課題を解決するために、端末表示部と、端末表示部に重ねて配置された端末タッチパネルとを有する携帯端末を操作する、本発明の他の操作方法は、端末表示部の表示画面を撮像して画面データを生成し、生成した画面データに基づく画像を装置表示部に表示させ、ユーザによる、装置表示部に重ねて配置された装置タッチパネルへの操作入力があると、その操作入力が行われた位置に対応する、端末タッチパネル上の位置である対応位置を算出し、算出された対応位置に操作入力を行うことを特徴とする。
上述した操作装置の技術的思想に基づく構成要素やその説明は、当該操作方法にも適用可能である。
【発明の効果】
【００１０】
本発明の操作装置および操作方法によれば、携帯端末の操作性を操作装置側で再現することで、より良い操作性と利便性の向上を図ることが可能となる。
【図面の簡単な説明】
【００１１】
【図１】第１の実施形態にかかる遠隔操作システムを説明するための説明図である。
【図２】第１の実施形態にかかる操作装置の概略的な機能を示した機能ブロック図である。
【図３】操作装置の使用形態を説明するための説明図である。
【図４】対応検知範囲の設定を説明するための説明図である。
【図５】装置表示部に表示された画面データを利用した、ユーザの操作入力に応じた撮像制御部の処理について説明する説明図である。
【図６】固定ケースを説明するための説明図である。
【図７】固定ケースを利用する場合の携帯端末と撮像部の使用形態を説明するための説明図である。
【図８】第１の実施形態にかかる操作方法の具体的な処理を説明するためのフローチャートである。
【図９】第２の実施形態にかかる操作装置の概略的な機能を示した機能ブロック図である。
【図１０】第２の実施形態にかかる疑似操作入力部を説明するための説明図である。
【図１１】第２の実施形態にかかる疑似操作入力部を説明するための説明図である。
【図１２】第２の実施形態にかかる操作方法の具体的な処理を説明するためのフローチャートである。
【発明を実施するための形態】
【００１２】
以下に添付図面を参照しながら、本発明の好適な実施形態について詳細に説明する。かかる実施形態に示す寸法、材料、その他具体的な数値などは、発明の理解を容易とするための例示にすぎず、特に断る場合を除き、本発明を限定するものではない。なお、本明細書及び図面において、実質的に同一の機能、構成を有する要素については、同一の符号を付することにより重複説明を省略し、また本発明に直接関係のない要素は図示を省略する。
【００１３】
（第１の実施形態：遠隔操作システム１００）
図１は、第１の実施形態にかかる遠隔操作システム１００を説明するための説明図である。特に、図１（ａ）は、遠隔操作システム１００を構成する各装置の概略的な関係を示し、図１（ｂ）は、携帯端末１１０の外観斜視図を示す。図１（ａ）に示すように、遠隔操作システム１００は、携帯端末１１０と、操作装置２１０とを含んで構成される。
【００１４】
携帯端末１１０は、図１（ｂ）に示すように、端末表示部１１２と、端末表示部１１２に重ねて配置された端末タッチパネル１１４とを含んで構成されたユーザインターフェースを備えており、ユーザが、端末タッチパネル１１４に指で触れて操作することで、携帯端末１１０に含まれるアプリケーションを機能させることができる。本実施形態では、端末表示部１１２の表示範囲と、端末タッチパネル１１４における操作入力を検知する範囲（以下、単に入力検知範囲と略す）とが一致しているものとする。
【００１５】
本実施形態では、操作装置２１０の操作対象である携帯端末１１０として、通話機能や、ネットワーク通信機能、スケジュール管理等の情報処理機能等を備えたスマートフォンを例に挙げて説明するが、これに限定されず、ポータブルメディアプレーヤ、音楽プレーヤ、携帯電話、ＰＨＳ（Personal Handy-phone System）、携帯情報端末（ＰＤＡ：Personal Digital Assistant）、ＰＣ、デジタルカメラ、デジタルビデオカメラ、ポータブルテレビ、ゲーム機器等、表示部と表示部に重ねて配置されたタッチパネルを有する様々な電子機器を操作装置２１０の操作対象とすることもできる。ユーザは、操作装置２１０を通じて、これらの操作対象を操作することができる。
【００１６】
携帯端末１１０は、ＵＳＢ（Universal Serial Bus）、ＵＡＲＴ（Universal Asynchronous Receiver Transmitter）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＩＥＥＥ８０２．１１ａ／ｂ（ＷｉＦｉ）、ＩＥＥＥ８０２．１１ｇ／ｊ／ｎ、ＷｉＭＡＸ（Worldwide Interoperability for Microwave Access）、赤外線通信等により操作装置２１０とデータ通信を行う端末通信部１１６も備える。ここでは、図１（ａ）に示すように、ＵＳＢやＵＡＲＴといった有線で接続されている例を示す。
【００１７】
操作装置２１０は、例えば、カーナビゲーションシステム等の車載装置であり、操作装置２１０に設けられた、後述する装置タッチパネル２６０を通じたユーザの操作入力を受けて、操作装置２１０に設けられたオーディオ再生機能やカーナビゲーション機能等様々な機能を操作することができる。また、操作装置２１０は、制御線を介して、別体の携帯端末１１０と接続し、ユーザの操作入力を受けて、携帯端末１１０を遠隔操作することもできる。
【００１８】
具体的に、操作装置２１０は、操作装置２１０の、後述する操作部２５０や装置タッチパネル２６０へのユーザによる操作入力に応じて、操作モードを、操作装置２１０自体を操作する通常モードから携帯端末１１０を遠隔操作する遠隔モードに切り換える。そして、ユーザが、例えば、携帯端末１１０に含まれる音楽コンテンツを再生させるために、装置タッチパネル２６０へコンテンツの再生を指示する操作入力を行うと、操作装置２１０はその操作入力に応じた制御信号を携帯端末１１０に送信する。そして、携帯端末１１０は音楽コンテンツの再生を開始する。
【００１９】
そして、携帯端末１１０上で再生された音楽コンテンツの音声信号は、端末通信部１１６を通じて操作装置２１０に送信される。操作装置２１０は、音楽コンテンツの音声信号を受信して、操作装置２１０のスピーカまたは操作装置２１０に接続されたスピーカを通じて出力する。こうして、ユーザは、操作装置２１０を操作することで、携帯端末１１０に含まれる音楽コンテンツを楽しむことが可能となる。
【００２０】
本実施形態にかかる操作装置２１０は、さらに、携帯端末１１０の表示画面をそのまま操作装置２１０側で、ユーザに視認させることができ、ユーザは携帯端末１１０の表示画面であるかのように、操作装置２１０の表示画面を視認しながら、携帯端末１１０を遠隔操作することができるため、操作性を向上させることが可能となる。以下、操作装置２１０を構成する各機能部について説明し、その後、当該操作装置２１０を用いた携帯端末１１０の操作方法について説明する。
【００２１】
（操作装置２１０）
図２は、第１の実施形態にかかる操作装置２１０の概略的な機能を示した機能ブロック図であり、図３は、操作装置２１０の使用形態を説明するための説明図である。図２に示すように、操作装置２１０は、操作部２５０と、撮像部２５２と、撮像制御部２５４と、表示制御部２５６と、装置表示部２５８と、装置タッチパネル２６０と、装置メモリ２６２と、位置変換部２６４と、送信部２６６と、データ通信部２６８と、スピーカ２７０とを含んで構成される。
【００２２】
操作部２５０は、操作キー、十字キー、ジョイスティック等のスイッチから構成され、ユーザの操作入力を受け付ける。ユーザによる、操作部２５０への操作入力や、装置タッチパネル２６０への操作入力に応じて、操作装置２１０の操作モードは、操作装置２１０自体を操作する通常モードと、携帯端末１１０を遠隔操作する遠隔モードとに切り換えられる。本実施形態では、特に遠隔モードについて言及する。なお、通常モードを有さずに、常に遠隔モードで動作するような操作装置２１０にしてもよい。
【００２３】
撮像部２５２は、操作装置２１０の本体２１２と有線または無線で接続されている。また、撮像部２５２は、撮像レンズを通じて入射した光を電気信号に光電変換する撮像素子等を含んで構成され、携帯端末１１０の端末表示部１１２の表示画面を撮像し、その表示画面を含む画像の画面データを生成する。
【００２４】
撮像制御部２５４は、ユーザによる操作部２５０や装置タッチパネル２６０への操作入力に応じて、撮像部２５２の撮像範囲や倍率を変更（調整）する。
【００２５】
表示制御部２５６は、操作モードが遠隔モードである場合、撮像部２５２が撮像した、端末表示部１１２の表示画面を含む画像と、装置タッチパネル２６０の対応検知範囲を示す指標とを重畳して装置表示部２５８に表示させる。
【００２６】
上記装置タッチパネル２６０の対応検知範囲は、携帯端末１１０の端末タッチパネル１１４における入力検知範囲に対応させるための、装置タッチパネル２６０の範囲を示すものであり、ここでは、予め設定されているものとする。
【００２７】
図４は、対応検知範囲の設定を説明するための説明図である。なお、一例として、図４に示すように、端末タッチパネル１１４における入力検知範囲内の点ｐは、端末タッチパネル１１４における原点であり、点Ｑは、装置タッチパネル２６０における原点であるとする。ここで、点ｐを装置タッチパネル２６０の任意の点Ｐ（Ｋ，Ｍ）に対応させて、装置タッチパネル２６０の対応検知範囲の横幅を端末タッチパネル１１４の入力検知範囲の横幅ｗのａ倍、装置タッチパネル２６０の対応検知範囲の縦幅を端末タッチパネル１１４の入力検知範囲の縦幅ｈのｂ倍、装置タッチパネル２６０の任意の点Ｓの座標を（Ｓ，Ｔ）とした場合、その点Ｓに対応する端末タッチパネル１１４上の点ｓのＸ座標ｓは以下の式（１）で算出され、点ｓのＹ座標ｔは以下の式（２）で算出される。
【００２８】
ｓ＝（Ｓ−Ｋ）／ａ・・・式（１）
ｔ＝（Ｔ―Ｍ）／ｂ・・・式（２）
なお、点Ｐは、対応検知範囲の頂点の内、原点Ｑに最も近い頂点であるとする。また、Ｋは点ＰのＸ座標であり、Ｍは点ＰのＹ座標である。
【００２９】
後述する位置変換部２６４は、式（１）及び式（２）である変換式を用いて、ユーザが装置タッチパネル２６０に接触した際に、その接触位置（例えば点Ｓ）の座標を、携帯端末１１０の端末タッチパネル１１４における、接触位置に対応した位置である対応位置（例えば点ｓ）の座標へと変換する。
【００３０】
なお、対応検知範囲（図４（ｂ）中一点鎖線で示す範囲）の位置、大きさ、形は任意であるが、入力検知範囲と相似な形であることが好ましい。
【００３１】
また、対応検知範囲の設定は、例えば、操作装置２１０の出荷前に行ってもよいし、ユーザが、装置タッチパネル２６０または操作部２５０に操作入力を行うことによって設定できるようにしてもよい。また、後述するように、表示制御部２５６が自動的に設定するようにしてもよい。
【００３２】
装置表示部２５８は、液晶ディスプレイ、有機ＥＬ(Electro Luminescence)ディスプレイ等で構成され、表示制御部２５６の制御指令に応じて、撮像部２５２が撮像した、端末表示部１１２の表示画面を含む画像と、指標とを重畳して表示する。
【００３３】
ユーザは、初期設定の際、装置表示部２５８を視認しながら、装置タッチパネル２６０の対応検知範囲を示す指標と、撮像部２５２が出力する画面データに基づいた画像に含まれる、端末表示部１１２の表示画面とが一致するように操作部２５０や装置タッチパネル２６０への操作入力を行うことで、撮像制御部２５４に撮像部２５２の撮像範囲を変更させる。なお、端末表示部１１２の表示画面と、端末タッチパネル１１４における入力検知範囲とは一致しているものとする。
【００３４】
また、撮像部２５２の撮像範囲を変更する代わりに、ユーザによる操作部２５０や装置タッチパネル２６０への操作入力に基づいて、表示制御部２５６が、撮像部２５２が生成した画面データの切り取り範囲を変更したり、切り取った後に拡大縮小の処理（所謂電子ズーム機能）を遂行したりすることで、装置タッチパネル２６０の対応検知範囲を示す指標と、撮像部２５２が出力する画面データに基づいた画像に含まれる、端末表示部１１２の表示画面（端末タッチパネル１１４における入力検知範囲）とを一致させてもよい。
【００３５】
また、表示制御部２５６は、公知の画像認識技術を用いて、入力検知範囲に対応する範囲２８０を自動的に検出し、入力検知範囲と対応検知範囲とが一致するように、画像を表示させるようにしてもよい。
【００３６】
また、表示制御部２５６は、公知の画像認識技術を用いて、入力検知範囲に対応する範囲２８０を自動的に検出し、その入力検知範囲に対応する部分を対応検知範囲として自動的に設定するようにしてもよい。この場合、対応検知範囲は、画像内の入力検知範囲に対応する範囲２８０の位置に応じて、変わることとなる。
【００３７】
図５は、ユーザの操作入力に応じた撮像制御部２５４の処理について説明する説明図である。図５（ａ）に示すように、装置表示部２５８が表示する画像における、入力検知範囲に対応する範囲２８０が、指標２８２と一致しない場合、ユーザは、操作部２５０や装置タッチパネル２６０へ操作入力を行うことで、撮像制御部２５４に撮像部２５２の撮像範囲や倍率を変更させ、図５（ｂ）に示すように、指標２８２を目安に、入力検知範囲に対応する範囲２８０が対応検知範囲に一致するように調整する。こうすることで、上述した変換式を利用して装置表示部２５８に重ねて配置される装置タッチパネル２６０の位置を端末タッチパネル１１４の位置に対応させることができる。このとき、携帯端末１１０の端末表示部１１２の対角する少なくとも２つの角にマークを表示させることで、上記指標２８２との一致度を高めることもできる。本実施形態において、入力検知範囲は、端末表示部１１２の表示画面に対応しているため、装置表示部２５８に表示された端末表示部１１２の表示画面を目安に、入力検知範囲に対応する範囲２８０と、対応検知範囲とが一致するように調整することができる。
【００３８】
また、装置タッチパネル２６０の対応検知範囲と、装置表示部２５８が表示する画像における、入力検知範囲に対応する範囲２８０とを容易に一致させるように、携帯端末１１０と撮像部２５２を固定可能な固定ケースを利用することもできる。
【００３９】
図６は、固定ケース２９０を説明するための説明図であり、図７は、固定ケース２９０を利用する場合の携帯端末１１０と撮像部２５２の使用形態を説明するための説明図である。特に、図６（ａ）は、固定ケース２９０の上面図を、図６（ｂ）は、第１収納部２９２に携帯端末１１０を収納した様子を説明するための説明図を、図６（ｃ）は、Ｚ−Ｚ断面図を、図６（ｄ）は、Ｖ−Ｖ断面図を示す。
【００４０】
図６に示すように、固定ケース２９０は、携帯端末１１０を収納する第１収納部２９２と、撮像部２５２を固定する第２収納部２９４とで構成される。第２収納部２９４には、第１収納部２９２に収納された携帯端末１１０をさらに押圧固定するための固定部２９６が設けられている。
【００４１】
固定ケース２９０の第１収納部２９２と２９４は、シリコンゴム等の弾性体や、プラスチックや金属等で形成することが好ましい。また固定部２９６は、シリコンゴム等の弾性体で形成されるとよい。固定部２９６を弾性体で形成することにより、携帯端末１１０を傷つけることなく確実に固定することができる。なお、固定部２９６は、携帯端末１１０を固定ケース２９０に収納した場合に、端末表示部１１２を覆わない位置に配されるとよい。これにより、撮像部２５２が端末表示部１１２を撮像する際に固定部２９６が妨げになるおそれを回避することができる。
【００４２】
また、図６に示すように、固定ケース２９０は、第１収納部２９２に携帯端末１１０を、第２収納部２９４に撮像部２５２を固定すれば、装置タッチパネル２６０の対応検知範囲に、入力検知範囲に対応する範囲２８０が一致して表示されるように形成されている。固定ケース２９０では、撮像部２５２に対して携帯端末１１０の端末表示部１１２が位置決めされるようになっており、携帯端末１１０が固定されることで、装置表示部２５８が表示する画像における、入力検知範囲に対応する範囲２８０と、装置タッチパネル２６０の対応検知範囲と、が一致する。なお、第２収納部２９４は、固定ケース２９０に携帯端末１１０を収納した場合に、撮像部２５２を固定する位置が端末表示部１１２の略中央と対向する位置となるように、形成される。
【００４３】
固定ケース２９０を利用する場合、図７（ａ）に示すように、まず第１収納部２９２に携帯端末１１０を収納し、その後図７（ｂ）に示すように、撮像部２５２を固定した第２収納部２９４を第１収納部２９２に固定する。このような、簡単な手順を経るだけで、図７（ｃ）に示すように、携帯端末１１０を固定ケース２９０に収納することができる。
【００４４】
かかる構成により、予め撮像部２５２を固定ケース２９０に固定させておけば、ユーザは、固定ケース２９０に携帯端末１１０を収納するだけで、装置タッチパネル２６０の対応検知範囲と、入力検知範囲に対応する範囲２８０と、を一致させることできる。
【００４５】
なお、図６に示すような固定ケース２９０を利用して、携帯端末１１０と撮像部２５２を固定する場合、撮像部２５２を構成する撮像レンズは、魚眼レンズ（円周魚眼レンズ）で構成するとよい。これにより、一般的なレンズを用いる場合と比較して、携帯端末１１０の端末表示部１１２と、撮像部２５２の撮像レンズとの距離を短くすることができ、固定ケース２９０を小型化することが可能となる。なお、魚眼レンズを採用する場合、表示制御部２５６は、等距離射影方式等で撮像された画面データを、端末表示部１１２の表示画面と同等の中心射影方式等による画面データに加工して、加工した画面データに基づく画像を装置表示部２５８に表示させるとよい。
【００４６】
固定ケース２９０を利用した場合、撮像部２５２と表示制御部２５６とを接続する接続線と、携帯端末１１０とデータ通信部２６８とを接続する接続線のみが、固定ケース２９０から延出することになる。したがって、携帯端末１１０と撮像部２５２を固定ケース２９０に梱包し、固定ケース２９０ごとグローブボックス等に収納することができる。
【００４７】
また、操作装置２１０が、車載装置である場合、ダッシュボード付近に、携帯端末１１０の端末表示部１１２が鉛直上方向になるように固定する挿入口を設け、挿入口の上部に撮像部２５２を配置して携帯端末１１０の端末表示部１１２が撮像されるようにしてもよい。さらに、ダッシュボード上に、携帯端末１１０を立設する構成にしてもよい。
【００４８】
このように、装置表示部２５８は、撮像部２５２が撮像した端末表示部１１２の表示画面を示す画面データに基づく画像をそのまま表示するため、ユーザは、装置表示部２５８を通じて、遠隔にある携帯端末１１０の表示画面の画像をリアルタイムに認識することができる。
【００４９】
また、入力検知範囲に対応する範囲２８０と指標２８２とが、わずかにずれている場合、表示制御部２５６は、装置表示部２５８の対応検知範囲を移動して校正することもできる。その際、表示制御部２５６は、対応検知範囲の移動に対応させて、指標２８２も移動させることが好ましい。
【００５０】
図２の説明に戻り、装置タッチパネル２６０は、装置表示部２５８に重ねて配置されており、ユーザの操作入力を受付ける。本実施形態において装置タッチパネル２６０は、静電容量式で構成される。静電容量式のタッチパネルは、ユーザの指がタッチパネルへ接触することによる、タッチパネルの導電膜の静電容量の変化を捉えて、タッチパネルに対する指の接触位置を割り出す。装置タッチパネル２６０は、静電容量式に限定されず、抵抗膜方式等他の方式を利用することもできる。
【００５１】
装置メモリ２６２は、装置タッチパネル２６０の対応検知範囲と、端末表示部１１２の入力検知範囲との対応関係を示す位置情報および上述した変換式を保持する。
【００５２】
位置変換部２６４は、装置メモリ２６２に保持された位置情報および変換式に基づいて、ユーザによる装置タッチパネル２６０への操作入力があると、その操作入力が行われた位置に対応する、端末タッチパネル１１４上の位置である対応位置を算出する。すなわち、ユーザ（ユーザの指）が、装置タッチパネル２６０の対応検知範囲内に接触すると、位置変換部２６４は、その接触した位置に対応する、携帯端末１１０の端末タッチパネル１１４上の位置である対応位置を導出する。例えば、ユーザが、装置タッチパネル２６０の点Ｆ（ｆ，ｇ）に接触した場合、位置変換部２６４は、上述した変換式に基づいて、（（ｆ−Ｋ）／ａ，（ｇ−Ｍ）／ｂ）を示す対応位置を算出する。そして、後述するデータ送信部２６６は、位置変換部２６４が算出した対応位置を示す情報である対応位置情報を携帯端末１１０に送信する。
【００５３】
なお、装置タッチパネル２６０に抵抗膜方式を採用する場合、位置変換部２６４は、ユーザが装置タッチパネル２６０に接触してさらに押下した（押し下げた）場合に、その押下された位置を検出することになるが、各実施形態において、そのような押下された位置も、接触位置と呼ぶこととする。すなわち装置タッチパネル２６０が、操作入力があったと判定する位置を接触位置として扱う。
【００５４】
送信部２６６は、位置変換部２６４が算出した対応位置を示す対応位置情報を、携帯端末１１０とデータ通信を行うデータ通信部２６８を介して携帯端末１１０に送信する。
【００５５】
そして、携帯端末１１０は、受信した対応位置情報に基づき、携帯端末１１０に含まれるアプリケーションの機能を実行する。例えば、携帯端末１１０が、受信した対応位置情報に基づいて音楽コンテンツの再生を開始すると、携帯端末１１０は、再生した音楽コンテンツに基づいた、アナログ信号やＰＣＭ（pulse code modulation）信号を操作装置２１０に出力する。操作装置２１０は、携帯端末１１０が出力した信号を、データ通信部２６８を介して受信し、その受信した信号に基づいた音声を、操作装置２１０のスピーカ２７０を通じて出力したり、操作装置２１０に接続された車載のスピーカを通じて出力したりする。
【００５６】
以上説明したように、本実施形態にかかる操作装置２１０は、撮像部２５２が撮像した携帯端末１１０の端末表示部１１２の表示画面を表示することで、装置表示部２５８を通じて、ユーザに携帯端末１１０の表示画面をそのまま認識させることができ、あたかも携帯端末１１０を直接操作しているような操作をさせることが可能となる。また、ユーザによる、操作装置２１０の装置タッチパネル２６０への操作入力があると、その操作入力が行われた位置に対応する、端末タッチパネル１１４上の位置である対応位置を算出し、算出した対応位置を示す情報を携帯端末１１０に送信する構成により、操作装置２１０を介して、操作性を向上させて、携帯端末１１０を遠隔操作することができる。
【００５７】
（操作方法）
また、上述した操作装置２１０を用いた操作方法も提供される。図８は、第１の実施形態にかかる操作方法の具体的な処理を説明するためのフローチャートである。ここでは、操作装置２１０が、携帯端末１１０に含まれる音楽コンテンツを再生する例について説明する。
【００５８】
図８に示すように、操作装置２１０の撮像部２５２は、携帯端末１１０の端末表示部１１２の表示画面を撮像して端末表示部１１２の表示画面を示す画面データを生成する（Ｓ３００）。そして、ユーザによる操作部２５０や装置タッチパネル２６０への操作入力に応じて、操作装置２１０の操作モードが遠隔モードに切り換わると（Ｓ３０２におけるＹＥＳ）、表示制御部２５６は、撮像ステップＳ３００において撮像部２５２が生成した画面データに基づく画像と、指標２８２とを装置表示部２５８に表示させる。（Ｓ３０４）。ここでは、上述した固定ケース２９０によって、入力検知範囲に対応する範囲２８０が、指標２８２と既に一致しているとする。
【００５９】
そして、ユーザによる装置タッチパネル２６０への操作入力があると（Ｓ３０６におけるＹＥＳ）、位置変換部２６４は、ユーザによる装置タッチパネル２６０への操作入力があると、その操作入力が行われた位置に対応する、端末タッチパネル１１４上の位置である対応位置を算出する（Ｓ３０８）。送信部２６６は、変換ステップＳ３０８で算出された対応位置を示す情報（対応位置情報）を、データ通信部２６８を介して携帯端末１１０に送信する（Ｓ３１０）。
【００６０】
携帯端末１１０は、受信した対応位置情報に応じた位置が接触された（操作入力された）とみなし、その操作入力に対応した機能（例えば音楽コンテンツの再生）を実行して（Ｓ３１２）、端末通信部１１６を通じて、音楽コンテンツの音声信号を操作装置２１０に出力する（Ｓ３１４）。
【００６１】
そして操作装置２１０は、データ通信部２６８を介して音声信号を受信し（Ｓ３１６）、かかる音声信号を操作装置２１０のスピーカ２７０、または、操作装置２１０に接続されたスピーカを通じて出力する（Ｓ３１８）。
【００６２】
以上説明したように、本実施形態にかかる操作方法においても、携帯端末１１０の表示画面をそのまま操作装置２１０側で視認させることができ、ユーザは携帯端末１１０の表示画面であるかのように視認しながら遠隔操作することでユーザの操作性を向上させることが可能となる。
【００６３】
（第２の実施形態：操作装置４１０）
上述した第１の実施形態では、ユーザによる装置タッチパネル２６０への操作入力があると、その操作入力が行われた位置に対応する、端末タッチパネル１１４上の位置である対応位置を示す対応位置情報を、携帯端末１１０にデータ通信部２６８を通じて送信することで、携帯端末１１０に、対応位置情報に基づいてアプリケーションの機能を実行させることができる操作装置２１０について説明した。
【００６４】
しかし、互換性がないアプリケーションもあるため、アプリケーションによっては、対応位置情報に基づいて機能を実行できないものもある。また、近年の携帯端末１１０は、携帯端末１１０のメーカが準備しているＡＰＩ（Application Programming Interface）等のインターフェースを利用して、ユーザが個々に作成したアプリケーションや、第三者が作成したアプリケーションをダウンロードしたりして使用できるものもある。このような、携帯端末のメーカが作成したものではないアプリケーションは、操作装置から遠隔操作できるように構成されているという保証はない。
【００６５】
また、たとえ、アプリケーションが遠隔操作できたとしても、許容される処理には限界があり、携帯端末１１０における利便性の高い処理（タッチパネルを通じたユーザインターフェース）を操作装置２１０で実現できないことがある。さらに、将来的に携帯端末１１０の利便性と同等の高い処理がデータ通信部２６８を通じて可能になったとしても、複雑なプログラミングや仕様変更によるプログラム変更を余儀なくされる。
【００６６】
そこで、本実施形態では、操作装置４１０によって擬似的に携帯端末１１０を操作することで、外部から入力される情報（操作装置２１０から送信される対応位置情報）に基づいてアプリケーション等を実行する機能が携帯端末１１０に予め備わっていない場合であっても、確実に携帯端末１１０のアプリケーションの機能を実行させることのできる操作装置４１０について説明する。
【００６７】
図９は、第２の実施形態にかかる操作装置４１０の概略的な機能を示した機能ブロック図である。図９に示すように、操作装置４１０は、操作部２５０と、撮像部２５２と、撮像制御部２５４と、表示制御部２５６と、装置表示部２５８と、装置タッチパネル２６０と、装置メモリ２６２と、位置変換部２６４と、疑似操作入力部４５０と、データ通信部２６８と、スピーカ２７０とを含んで構成される。第１の実施形態における構成要素として既に述べた操作部２５０、撮像部２５２、撮像制御部２５４、表示制御部２５６、装置表示部２５８、装置タッチパネル２６０、装置メモリ２６２、位置変換部２６４、データ通信部２６８、スピーカ２７０は、実質的に機能が同一なので重複説明を省略し、ここでは、構成が相違する疑似操作入力部４５０を主に説明する。
【００６８】
疑似操作入力部４５０は、位置変換部２６４が算出した対応位置に操作入力を行う。
【００６９】
図１０および図１１は、第２の実施形態にかかる疑似操作入力部４５０の一例を説明するための説明図である。図１０（ａ）に示すように、疑似操作入力部４５０は、携帯端末１１０の端末タッチパネル１１４に重ねて配置するように設置されて用いられる。疑似操作入力部４５０は、このように設置された状態で、端末タッチパネル１１４に近い順に、第１絶縁層４５２、複数の電極４５４を含んだ電極層４５６、第２絶縁層４５８の順で積層された操作シート部材４６０と、電圧印加部４７０とを含んで構成される。なお、操作シート部材４６０は、第１絶縁層４５２および第２絶縁層４５８を含まない構成とすることも可能であるが、第１絶縁層４５２および第２絶縁層４５８を含む構成とすることで、誤動作を防ぐことができる。
【００７０】
図１０（ｂ）に示すように、操作シート部材４６０は、端末タッチパネル１１４の四隅と操作シート部材４６０の四隅が一致するように、ユーザによって端末タッチパネル１１４に重ねて配置される。操作シート部材４６０の四隅と端末タッチパネル１１４の四隅がずれている場合、上述した表示制御部２５６が、装置表示部２５８の対応検知範囲を移動して校正することもできる。
【００７１】
第１絶縁層４５２は、１０μｍ程度の厚さの絶縁体で構成され、電極４５４に電圧を印加しない状態において、端末タッチパネル１１４と電極４５４とを絶縁する機能を有する。
【００７２】
電極層４５６に含まれる電極４５４は、端末タッチパネル１１４の最小反応面積（例えば、７×７ｍｍ程度）程度の面積であり（図１０（ｂ）参照）、電極層４５６は、０．１〜０．２ｍｍ程度の厚さで構成されている。また、各電極４５４同士は、離隔し電気的に絶縁されている。第２絶縁層４５８は、１ｍｍ程度の厚さの絶縁体で構成され、電極４５４と電圧印加部４７０とを接続する接続線をそれぞれ絶縁する機能を有する。なお、最小反応面積は、例えば、１つのアイコンが表示されている範囲に対応する面積であってもよい。
【００７３】
第１絶縁層４５２、電極層４５６、第２絶縁層４５８を含んで構成される操作シート部材４６０は、透明な物質で構成するとよい。これにより、操作装置４１０の装置表示部２５８に表示された端末表示部１１２の表示画面の視認性を確保することができる。
【００７４】
電圧印加部４７０は、位置変換部２６４が算出した対応位置に対応した電極４５４に、例えば、５０Ｈｚ、３０Ｖ程度の交流電圧を印加する。これにより、電圧が印加された電極４５４の付近の端末タッチパネル１１４の領域に静電容量の変化を起こすことができる。
【００７５】
端末タッチパネル１１４に用いられる、例えば静電容量方式のタッチパネルは、ユーザ（人）の指が接触することによる静電容量の変化を捉えることで、ユーザの指の接触（または押下）を検知している。ここでは、ユーザの指の代わりに電極４５４を用い、この電極４５４に電圧を印加することで、端末タッチパネルの静電容量に変化を与え、あたかもユーザの指が接触したように端末タッチパネル１１４に判定させる。
【００７６】
例えば、図１０（ｂ）に示すように、電圧印加部４７０が、位置変換部２６４が算出した対応位置に対応した電極４５４ａに交流電圧を印加すると、端末タッチパネル１１４は、電極４５４ａの直下の端末タッチパネル１１４の領域にユーザの指が接触したと判定する。したがって、ユーザは、操作装置４１０を通じて、携帯端末１１０の端末タッチパネル１１４を操作しているように、携帯端末１１０を遠隔操作することが可能となる。
【００７７】
ここでは、電圧印加部４７０が電極４５４に交流電圧を印加しているが、これに限定されず、端末タッチパネル１１４にユーザの指が接触したと判定させることができれば様々な方式を採用することができる。
【００７８】
また、疑似操作入力部４５０は、対応位置に対応した電極を含む複数の電極に対して、一斉に交流電圧を印加してもよい。携帯端末１１０は、アプリケーションや使用形態によって、アイコンの形状や表示位置が異なる場合がある。したがって、端末タッチパネル１１４の操作面に対向して、小さい電極を数多く配置すれば、様々な形状や、様々な大きさのアイコンに対応することができる。しかし、電極を小さくしすぎると、端末タッチパネル１１４に、ユーザの指が接触したと判定させることができなくなるおそれがある。
【００７９】
そこで、図１１（ａ）に示すように、疑似操作入力部４５０を、上述した電極４５４よりも小さい電極４８０（例えば、２ｍｍ×２ｍｍ）を複数並置して構成し、対応位置に対応した電極４８０を含む複数の電極４８０に対して操作入力があったと判定させる。こうすることで、より確実に、携帯端末１１０にユーザの指が接触したと判定させることができる。例えば、図１１（ｂ）に示すように、疑似操作入力部４５０を最小反応面積よりも小さい電極４８０を並置して構成し、携帯端末１１０に、対応位置に対応した電極４８０を含む複数の電極４８０に対して操作入力があったと判定させることで、携帯端末１１０の使用形態によって、端末表示部１１２に表示されるアイコンの大きさが異なる場合であっても、確実に携帯端末１１０のアプリケーションの機能を実行させることができる。
【００８０】
また、本実施形態において疑似操作入力部４５０は、複数の電極を含んで構成されているが、これに限定されず、Ｘ−Ｙプロッタのような構造や、携帯端末１１０の表示画面と水平方向に回動する２軸を有するアーム等の、実際の動作を伴う駆動体で構成されてもよい。この場合、疑似操作入力部４５０は、駆動体の一部で、実際に位置変換部２６４が算出した対応位置に接触する。ここで、端末タッチパネル１１４と接触する駆動体の一部は、導電体で形成するとよい。また、上述した駆動体で疑似操作入力部４５０を構成する場合、駆動体を透明な物質で構成すれば、操作装置４１０の装置表示部２５８に表示された端末表示部１１２の表示画面の視認性を確保することができる。なお、疑似操作入力部４５０は、固定ケースと一体に構成することがより好ましい。そのようにすることで、端末タッチパネル１１４と疑似操作入力部４５０の各電極４５４を対応させることが容易になる。
【００８１】
以上説明したように、本実施形態にかかる操作装置４１０は、撮像部２５２が撮像した携帯端末１１０の表示画面をそのまま装置表示部２５８に表示することで、ユーザに携帯端末１１０の表示画面をそのまま認識させることができる。また、疑似操作入力部４５０を備える構成により、ユーザが操作装置４１０の装置タッチパネル２６０を接触すると、接触位置に対応する、端末タッチパネル１１４上の位置である対応位置に操作入力を行うので、外部から入力される情報（対応位置情報）に基づいてアプリケーション等を実行する機能が携帯端末１１０に予め備わっていない場合においても、ユーザに、あたかも携帯端末１１０を直接操作しているような遠隔操作をさせることが可能となる。
【００８２】
（操作方法）
また、上述した操作装置４１０を用いた操作方法も提供される。図１２は、第２の実施形態にかかる操作方法の具体的な処理を説明するためのフローチャートである。なお、上述した第１の実施形態にかかる操作方法と実質的に等しい処理については、同一の符号を付して説明を省略する。またここでも、第１の実施形態と同様に、操作装置４１０が、携帯端末１１０に含まれる音楽コンテンツを再生する例について説明する。
【００８３】
図１２に示すように、疑似操作入力部４５０は、変換ステップＳ３０８で算出された対応位置に対応する電極４５４に交流電圧を印加する（Ｓ５００）。そうすると、印加ステップＳ５００で、電圧が印加された電極４５４の付近の端末タッチパネル１１４の領域に静電容量の変化が起きる。
【００８４】
携帯端末１１０は、印加ステップＳ５００で電圧が印加された電極４５４付近の端末タッチパネル１１４の領域に操作入力があったと判定し（Ｓ５０２）、その操作入力に対応した機能を実行して（Ｓ３１２）、端末通信部１１６を通じて、音楽コンテンツの音声信号を操作装置４１０に出力する（Ｓ３１４）。
【００８５】
そして操作装置４１０は、データ通信部２６８を介して音声信号を受信し（Ｓ３１６）、かかる音声信号に基づいた音声を、操作装置４１０のスピーカ２７０、または、操作装置４１０に接続されたスピーカを通じて出力する（Ｓ３１８）。
【００８６】
以上説明したように本実施形態にかかる操作方法においても、携帯端末１１０の表示画面をそのまま操作装置４１０側で視認させることができ、ユーザは携帯端末１１０の表示画面であるかのように視認しながら遠隔操作することでユーザの操作性を向上させることが可能となる。また、ユーザが操作装置４１０の装置タッチパネル２６０を接触すると、疑似操作入力部４５０が、接触位置に対応する、端末タッチパネル１１４上の位置である対応位置に操作入力を行うので、外部から入力される情報（対応位置情報）に基づいてアプリケーション等を実行する機能が携帯端末１１０に予め備わっていない場合においても、ユーザに、あたかも携帯端末１１０を直接操作しているような遠隔操作をさせることが可能となる。
【００８７】
以上、添付図面を参照しながら本発明の好適な実施形態について説明したが、本発明はかかる実施形態に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇において、各種の変更例または修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。
【００８８】
なお、本明細書の操作方法の各工程は、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はなく、並列的あるいはサブルーチンによる処理を含んでもよい。また、操作装置２１０、４１０が車載装置であることは、一例であり、これに限らない。また、本発明は操作装置の機能をコンピュータに実現させるためのプログラムを含むものである。これらのプログラムは、記録媒体から読み取られてコンピュータに取り込まれてもよいし、通信ネットワークを介して伝送されてコンピュータに取り込まれてもよい。
【産業上の利用可能性】
【００８９】
本発明は、携帯端末を操作することが可能な操作装置および操作方法に利用することができる。
【符号の説明】
【００９０】
１１０ …携帯端末
１１２ …端末表示部
１１４ …端末タッチパネル
２１０、４１０ …操作装置
２５０ …操作部
２５２ …撮像部
２５６ …表示制御部
２５８ …装置表示部
２６０ …装置タッチパネル
２６４ …位置変換部
２６６ …送信部
２６８ …データ通信部
４５０ …疑似操作入力部
４５４ …電極
【特許請求の範囲】
【請求項１】
端末表示部と、前記端末表示部に重ねて配置された端末タッチパネルとを有する携帯端末を操作する操作装置であって、
前記携帯端末とデータ通信を行うデータ通信部と、
前記端末表示部の表示画面を撮像して画面データを生成する撮像部と、
生成された前記画面データに基づく画像を装置表示部に表示させる表示制御部と、
前記装置表示部に重ねて配置された装置タッチパネルと、
ユーザによる前記装置タッチパネルへの操作入力があると、その操作入力が行われた位置に対応する、前記端末タッチパネル上の位置である対応位置を算出する位置変換部と、
算出された前記対応位置を示す情報を、前記データ通信部を介して前記携帯端末に送信する送信部と、
を備えることを特徴とする操作装置。
【請求項２】
端末表示部と、前記端末表示部に重ねて配置された端末タッチパネルとを有する携帯端末を操作する操作装置であって、
前記端末表示部の表示画面を撮像して画面データを生成する撮像部と、
生成された前記画面データに基づく画像を装置表示部に表示させる表示制御部と、
前記装置表示部に重ねて配置された装置タッチパネルと、
ユーザによる前記装置タッチパネルへの操作入力があると、その操作入力が行われた位置に対応する、前記端末タッチパネル上の位置である対応位置を算出する位置変換部と、
算出された前記対応位置に操作入力を行う疑似操作入力部と、
を備えることを特徴とする操作装置。
【請求項３】
前記疑似操作入力部は、複数の電極を有して構成されていることを特徴とする請求項２に記載の操作装置。
【請求項４】
前記疑似操作入力部は、前記対応位置に対応した電極を含む複数の電極に対して電圧を印加することで、前記対応位置に操作入力を行うことを特徴とする請求項３に記載の操作装置。
【請求項５】
端末表示部と、前記端末表示部に重ねて配置された端末タッチパネルとを有する携帯端末を操作する操作方法であって、
前記端末表示部の表示画面を撮像して画面データを生成し、
生成した前記画面データに基づく画像を装置表示部に表示させ、
ユーザによる、前記装置表示部に重ねて配置された装置タッチパネルへの操作入力があると、その操作入力が行われた位置に対応する、前記端末タッチパネル上の位置である対応位置を算出し、
算出した前記対応位置を示す情報を、前記携帯端末に送信することを特徴とする操作方法。
【請求項６】
端末表示部と、前記端末表示部に重ねて配置された端末タッチパネルとを有する携帯端末を操作する操作方法であって、
前記端末表示部の表示画面を撮像して画面データを生成し、
生成した前記画面データに基づく画像を装置表示部に表示させ、
ユーザによる、前記装置表示部に重ねて配置された装置タッチパネルへの操作入力があると、その操作入力が行われた位置に対応する、前記端末タッチパネル上の位置である対応位置を算出し、
算出された前記対応位置に操作入力を行うことを特徴とする操作方法。
【請求項１】
端末表示部と、前記端末表示部に重ねて配置された端末タッチパネルとを有する携帯端末を操作する操作装置であって、
前記携帯端末とデータ通信を行うデータ通信部と、
前記端末表示部の表示画面を撮像して画面データを生成する撮像部と、
生成された前記画面データに基づく画像を装置表示部に表示させる表示制御部と、
前記装置表示部に重ねて配置された装置タッチパネルと、
ユーザによる前記装置タッチパネルへの操作入力があると、その操作入力が行われた位置に対応する、前記端末タッチパネル上の位置である対応位置を算出する位置変換部と、
算出された前記対応位置を示す情報を、前記データ通信部を介して前記携帯端末に送信する送信部と、
を備えることを特徴とする操作装置。
【請求項２】
端末表示部と、前記端末表示部に重ねて配置された端末タッチパネルとを有する携帯端末を操作する操作装置であって、
前記端末表示部の表示画面を撮像して画面データを生成する撮像部と、
生成された前記画面データに基づく画像を装置表示部に表示させる表示制御部と、
前記装置表示部に重ねて配置された装置タッチパネルと、
ユーザによる前記装置タッチパネルへの操作入力があると、その操作入力が行われた位置に対応する、前記端末タッチパネル上の位置である対応位置を算出する位置変換部と、
算出された前記対応位置に操作入力を行う疑似操作入力部と、
を備えることを特徴とする操作装置。
【請求項３】
前記疑似操作入力部は、複数の電極を有して構成されていることを特徴とする請求項２に記載の操作装置。
【請求項４】
前記疑似操作入力部は、前記対応位置に対応した電極を含む複数の電極に対して電圧を印加することで、前記対応位置に操作入力を行うことを特徴とする請求項３に記載の操作装置。
【請求項５】
端末表示部と、前記端末表示部に重ねて配置された端末タッチパネルとを有する携帯端末を操作する操作方法であって、
前記端末表示部の表示画面を撮像して画面データを生成し、
生成した前記画面データに基づく画像を装置表示部に表示させ、
ユーザによる、前記装置表示部に重ねて配置された装置タッチパネルへの操作入力があると、その操作入力が行われた位置に対応する、前記端末タッチパネル上の位置である対応位置を算出し、
算出した前記対応位置を示す情報を、前記携帯端末に送信することを特徴とする操作方法。
【請求項６】
端末表示部と、前記端末表示部に重ねて配置された端末タッチパネルとを有する携帯端末を操作する操作方法であって、
前記端末表示部の表示画面を撮像して画面データを生成し、
生成した前記画面データに基づく画像を装置表示部に表示させ、
ユーザによる、前記装置表示部に重ねて配置された装置タッチパネルへの操作入力があると、その操作入力が行われた位置に対応する、前記端末タッチパネル上の位置である対応位置を算出し、
算出された前記対応位置に操作入力を行うことを特徴とする操作方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【公開番号】特開２０１２−３３７４（Ｐ２０１２−３３７４Ａ）
【公開日】平成２４年１月５日（２０１２．１．５）
【国際特許分類】
【出願番号】特願２０１０−１３５９１９（Ｐ２０１０−１３５９１９）
【出願日】平成２２年６月１５日（２０１０．６．１５）
【出願人】（５０８２０９９９０）Ｊ＆Ｋカーエレクトロニクス株式会社 (98)
【Ｆターム（参考）】
【公開日】平成２４年１月５日（２０１２．１．５）
【国際特許分類】
【出願日】平成２２年６月１５日（２０１０．６．１５）
【出願人】（５０８２０９９９０）Ｊ＆Ｋカーエレクトロニクス株式会社 (98)
【Ｆターム（参考）】
[ Back to top ]