説明

電子機器、操作支援方法及びプログラム

【課題】 タッチパネルを備える第1ディスプレイと、タッチパネルが設けられていない第2ディスプレイとが接続されたとき、第1ディスプレイに設けられたタッチパネルを用いた第2ディスプレイの操作を支援できる電子機器及び操作支援方法を提供すること。
【解決手段】 実施形態によれば、電子機器は、タッチパネルと第1ディスプレイとを備えるタッチスクリーンディスプレイを具備し、第2ディスプレイと接続可能な電子機器であって、操作画面切替手段と入力制御手段とを具備する。操作画面切替手段は、前記第1ディスプレイと前記第2ディスプレイのいずれか一方を、前記タッチパネルを用いた入力によって操作される操作対象画面に設定する。入力制御手段は、前記第2ディスプレイが前記操作対象画面に設定された場合、前記タッチパネルを用いた入力に応じて前記第2ディスプレイを操作する。

【発明の詳細な説明】
【技術分野】
【0001】
本発明の実施形態は、タッチスクリーンディスプレイを備える電子機器、並びに該機器に適用される入力支援方法及びプログラムに関する。
【背景技術】
【0002】
ディスプレイの画面をタッチすることによって、該ディスプレイに表示された画像内のオブジェクトを直感的に操作できるタッチスクリーンディスプレイが普及している。ユーザは、例えば、ディスプレイに表示されたアイコン、ボタン、スクロールバー、画像、ウィンドウ等のオブジェクトをタッチすることによって、タッチしたオブジェクトに関連付けられた機能を実行することができる。このようなタッチスクリーンディスプレイは、例えば、携帯型ゲーム機、スマートフォン、タブレット型パーソナルコンピュータ(PC)等で利用されている。
【0003】
また、会議場や講義室のような広い場所に集まった聴衆が視認でき、且つ発表者(ユーザ)が直感的に操作できる大型のタッチスクリーンディスプレイを実現することもできる。そのような大型のタッチスクリーンディスプレイでは、タッチスクリーンディスプレイの上部に手が届かないことや、タッチスクリーンディスプレイの左端や右端に移動しなければならないことによって、タッチ操作のための労力を要する可能性がある。そのため、タッチスクリーンディスプレイに表示されている所定の領域の画像を縮小し、縮小した画像をタッチスクリーンディスプレイ内の別の小画面領域に表示し、この小画面領域へのタッチ操作を当該所定の領域に対するタッチ操作に置き換えることにより、タッチスクリーンディスプレイを操作する技術が提案されている。これにより、ユーザは、大型のタッチスクリーンディスプレイを利用するときに、ユーザが現在操作している位置から離れた位置に表示されている対象を容易に操作することができる。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開2009−64209号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
ところで、コンピュータに、タッチパネルを備える第1ディスプレイと、タッチパネルが設けられていない第2ディスプレイとが接続されることがある。その場合、コンピュータは、第1ディスプレイと第2ディスプレイとに同時に同じ映像を表示すること(クローン表示)や、第1ディスプレイと第2ディスプレイとに同時に異なる映像を表示すること(拡張表示)ができる。拡張表示では、ユーザは、複数のディスプレイをあたかも一つのディスプレイとして利用することができる。
【0006】
しかし、第1ディスプレイ(タッチスクリーンディスプレイ)では、画面に表示されたオブジェクトを、タッチパネルを用いて直感的に操作できる一方、第2ディスプレイでは、タッチパネルを用いた直感的な操作を行うことができない。
【0007】
本発明は、タッチパネルを備える第1ディスプレイと、タッチパネルが設けられていない第2ディスプレイとが接続されたとき、第1ディスプレイに設けられたタッチパネルを用いた第2ディスプレイの操作を支援できる電子機器、操作支援方法及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【0008】
実施形態によれば、電子機器は、タッチパネルと第1ディスプレイとを備えるタッチスクリーンディスプレイを具備し、第2ディスプレイと接続可能な電子機器であって、操作画面切替手段と入力制御手段とを具備する。操作画面切替手段は、前記第1ディスプレイと前記第2ディスプレイのいずれか一方を、前記タッチパネルを用いた入力によって操作される操作対象画面に設定する。入力制御手段は、前記第2ディスプレイが前記操作対象画面に設定された場合、前記タッチパネルを用いた入力に応じて前記第2ディスプレイを操作する。
【図面の簡単な説明】
【0009】
【図1】実施形態に係る電子機器の外観を示す斜視図。
【図2】同実施形態の電子機器の構成を示すブロック図。
【図3】同実施形態の電子機器によって実行される操作支援プログラムの構成を示すブロック図。
【図4】同実施形態の電子機器によって表示される画面の例を示す図。
【図5】同実施形態の電子機器によって表示される画面の別の例を示す図。
【図6】同実施形態の電子機器によって表示される画面のさらに別の例を示す図。
【図7】同実施形態の電子機器によって表示される画面の遷移の例を示す図。
【図8】同実施形態の電子機器によって実行される画面画像表示制御処理の手順の例を示すフローチャート。
【図9】同実施形態の電子機器によって実行されるタッチ入力制御処理の手順の例を示すフローチャート。
【発明を実施するための形態】
【0010】
以下、実施の形態について図面を参照して説明する。
図1は、一実施形態に係る電子機器の外観を示す斜視図である。この電子機器は、例えばタブレットタイプのパーソナルコンピュータ(PC)10として実現される。また、この電子機器は、スマートフォン、PDA、ノートブックタイプのPC等としても実現され得る。図1に示すように、本コンピュータ10は、コンピュータ本体11とタッチスクリーンディスプレイ17とから構成される。
【0011】
コンピュータ本体11は、薄い箱形の筐体を有している。タッチスクリーンディスプレイ17には、LCD(liquid crystal display)17A及びタッチパネル17Bが組み込まれている。タッチパネル17Bは、LCD17Aの画面を覆うように設けられる。タッチスクリーンディスプレイ17は、コンピュータ本体11の上面に重ね合わせるように取り付けられている。
【0012】
コンピュータ本体11の上側面には、本コンピュータ10を電源オン/電源オフするためのパワーボタン、音量調節ボタン、メモリカードスロット等が配置されている。コンピュータ本体11の下側面には、スピーカ等が配置されている。コンピュータ本体の右側面には、例えばUSB(universal serial bus)2.0規格のUSBケーブルやUSBデバイスを接続するためのUSBコネクタ13、HDMI(high-definition multimedia interface)規格に対応した外部ディスプレイ接続端子2等が設けられている。この外部ディスプレイ接続端子2は、デジタル映像信号を外部ディスプレイに出力するために用いられる。
【0013】
図2は、本コンピュータ10のシステム構成を示す図である。
本コンピュータ10は、図2に示されるように、CPU101、ノースブリッジ102、主メモリ103、サウスブリッジ104、グラフィクスコントローラ105、サウンドコントローラ106、BIOS−ROM107、LANコントローラ108、ハードディスクドライブ(HDD)109、Bluetooth(登録商標)モジュール110、無線LANコントローラ112、エンベデッドコントローラ(EC)113、EEPROM114、HDMI制御回路3等を備える。
【0014】
CPU101は、コンピュータ10内の各部の動作を制御するプロセッサである。CPU101は、HDD109から主メモリ103にロードされる、オペレーティングシステム(OS)201、操作支援プログラム202、各種アプリケーションプログラム等を実行する。操作支援プログラム202は、タッチスクリーンディスプレイ17を用いた入力操作を支援するための操作支援機能を有する。操作支援プログラム202は、タッチスクリーンディスプレイ17に設けられたタッチパネル17Bを用いて、タッチスクリーンディスプレイ17に設けられたLCD17Aに表示された画面だけでなく、例えば、HDMI端子2を介して接続された外部ディスプレイ装置1に表示された画面も操作できるように、タッチパネル17Bを用いた入力を制御する。
【0015】
例えば、外部ディスプレイ装置1がコンピュータ10に接続されていないとき、タッチパネル17Bを用いた操作によって、LCD17Aに表示された画面が操作される。そして、例えば、外部ディスプレイ装置1がコンピュータ10に接続されているとき、操作支援プログラム202は、タッチパネル17Bを用いた操作によって、LCD17Aに表示された画面と外部ディスプレイ装置1に表示された画面のいずれか一方が操作されるように制御する。そのため、タッチパネル17Bを用いて外部ディスプレイ装置1に表示された画面を操作する場合、操作支援プログラム202は、タッチパネル17B上のタッチ入力(操作)を、外部ディスプレイ装置1に表示された画面上の操作に変換する。
【0016】
また、CPU101は、BIOS−ROM107に格納されたBIOSも実行する。BIOSは、ハードウェア制御のためのプログラムである。
【0017】
ノースブリッジ102は、CPU101のローカルバスとサウスブリッジ104との間を接続するブリッジデバイスである。ノースブリッジ102には、主メモリ103をアクセス制御するメモリコントローラも内蔵されている。また、ノースブリッジ102は、PCI EXPRESS規格のシリアルバスなどを介してグラフィクスコントローラ105との通信を実行する機能も有している。
【0018】
グラフィクスコントローラ105は、本コンピュータ10のディスプレイモニタとして使用されるLCD17Aを制御する表示コントローラである。このグラフィクスコントローラ105によって生成される表示信号はLCD17Aに送られる。LCD17Aは、表示信号に基づいて映像を表示する。
【0019】
HDMI端子2は、前述の外部ディスプレイ接続端子である。HDMI端子2は、非圧縮のデジタル映像信号とデジタルオーディオ信号とを1本のケーブルで外部ディスプレイ装置1に送出することができる。HDMI制御回路3は、HDMIモニタと称される外部ディスプレイ装置1にデジタル映像信号をHDMI端子2を介して送出するためのインタフェースである。つまり、コンピュータ10は、HDMI端子2等を介して、外部ディスプレイ装置1に接続可能である。
【0020】
サウスブリッジ104は、PCI(Peripheral Component Interconnect)バス上の各デバイス及びLPC(Low Pin Count)バス上の各デバイスを制御する。また、サウスブリッジ104は、HDD109を制御するためのIDE(Integrated Drive Electronics)コントローラを内蔵している。
【0021】
サウスブリッジ104は、タッチパネル17Bを制御するためのUSBコントローラを内蔵している。タッチパネル17Bは、LCD17Aの画面上で入力を行うためのポインティングデバイスである。ユーザは、タッチパネル17Bを用いて、LCD17Aの画面に表示されたグラフィカルユーザインタフェース(GUI)等を操作することができる。例えば、ユーザは、画面に表示されたボタンをタッチすることによって、当該ボタンに対応する機能の実行を指示することができる。また、このUSBコントローラは、例えば、USBコネクタ13に接続されたUSB2.0規格のケーブルを介して外部機器との通信を実行する。
【0022】
さらに、サウスブリッジ104は、サウンドコントローラ106との通信を実行する機能も有している。サウンドコントローラ106は音源デバイスであり、再生対象のオーディオデータをスピーカ18A,18Bに出力する。LANコントローラ108は、例えばIEEE 802.3規格の有線通信を実行する有線通信デバイスである。無線LANコントローラ112は、例えばIEEE 802.11g規格の無線通信を実行する無線通信デバイスである。Bluetoothモジュール110は、外部機器とのBluetooth通信を実行する通信モジュールである。
【0023】
EC113は、電力管理のためのエンベデッドコントローラを含む1チップマイクロコンピュータである。EC113は、ユーザによるパワーボタンの操作に応じて本コンピュータ10を電源オン/電源オフする機能を有している。
【0024】
なお、コンピュータ10は、タッチパネルを有さないディスプレイを内蔵し、タッチパネルとディスプレイとを備えるタッチスクリーンディスプレイを外部接続する構成であってもよい。また、コンピュータ10は、タッチパネルとディスプレイとを備えるタッチスクリーンディスプレイと、タッチパネルを有さないディスプレイとを外部接続する構成であってもよい。
【0025】
次いで、図3を参照して、操作支援プログラム202の一機能構成を説明する。操作支援プログラム202は、タッチスクリーンディスプレイ17に設けられたタッチパネル17Bを用いて、タッチスクリーンディスプレイ17に設けられたLCD17Aに表示された画面だけでなく、例えば、HDMI端子2を介して接続された外部ディスプレイ装置1に表示された画面も操作できるように、タッチパネル17Bを用いた入力を制御する。LCD17Aの画面と外部ディスプレイ装置1の画面とには、それぞれ、アイコン、ボタン、スクロールバー、画像、テキスト、ウィンドウ等の各種のオブジェクトが表示されている。このオブジェクトは、ユーザによる操作の対象であるGUIである。操作支援プログラム202は、操作画面切替部30、表示制御部31及び入力制御部32を備える。
【0026】
操作画面切替部30は、コンピュータ10に、タッチスクリーンディスプレイ17と1以上のディスプレイとが接続されているときに(すなわち、コンピュータ10が、タッチスクリーンディスプレイ17と1以上のディスプレイとを利用可能であるときに)、タッチスクリーンディスプレイ17に設けられたタッチパネル17Bを用いて操作する対象のディスプレイ(以下、操作対象画面、メイン画面とも称する)を切り替える。操作画面切替部30は、例えば、ユーザによる所定の操作に応じて、操作対象画面を切り替える。操作画面切替部30は、例えば、操作支援プログラム202が起動されたとき、外部ディスプレイ装置1がコンピュータ10に接続されたとき等に、外部ディスプレイ装置1の画面を操作対象であるメイン画面に設定し、LCD17Aの画面を操作対象でない画面(以下、非メイン画面とも称する)に設定する。また、操作画面切替部30は、例えば、操作支援プログラム202が終了したとき、外部ディスプレイ装置1がコンピュータ10から切断されたとき等に、LCD17Aの画面をメイン画面に設定し、外部ディスプレイ装置1の画面を非メイン画面に設定する。
【0027】
タッチパネル17Bを用いたタッチ入力は、メイン画面に作用するように制御される。すなわち、LCD17Aの画面がメイン画面に設定され、外部ディスプレイ装置1の画面が非メイン画面に設定されたとき、タッチパネル17Bを用いたタッチ入力に応じて、メイン画面であるLCD17Aの画面が操作される。タッチパネル17BによるLCD17Aの画面の操作は、例えば、タッチスクリーンディスプレイ17の通常の動作によって実現され得る。また、外部ディスプレイ装置1の画面がメイン画面に設定され、LCD17Aの画面が非メイン画面に設定されたとき、タッチパネル17Bを用いたタッチ入力に応じて、メイン画面である外部ディスプレイ装置1の画面が操作される。タッチパネル17Bによる外部ディスプレイ装置1の画面の操作は、後述する表示制御部31と入力制御部32とによって実現される。
【0028】
操作画面切替部30は、外部ディスプレイ装置1の画面がメイン画面に設定され、LCD17Aの画面が非メイン画面に設定されたとき、表示制御部31(表示イベント検出部311)に、外部ディスプレイ装置1の画面がメイン画面に設定されたことを通知する。
【0029】
表示制御部31は、タッチスクリーンディスプレイ17に設けられたLCD17Aに表示される画像を制御する。表示制御部31は、表示イベント検出部311、画面画像キャプチャ部312、画面情報検出部313、操作画像生成部314、及び操作画像表示部315を備える。
【0030】
表示イベント検出部311は、操作画面切替部30によって外部ディスプレイ装置1の画面がメイン画面に設定されたことを示す通知を受けた場合、メイン画面に表示されている画面画像(例えば、デスクトップ画面の画像)を非メイン画面に表示するための表示イベントを検出する。表示イベントは、メイン画面の画面画像を非メイン画面に表示するためのイベントだけでなく、非メイン画面に既に表示されている、メイン画面の画面画像を更新するためのイベントも含む。したがって、表示イベント検出部311は、例えば、所定の操作が行われたこと(例えば、所定のボタンが押されたこと)、メイン画面に表示されている画面画像が更新されたこと等を表示イベントとして検出する。表示イベント検出部311によって表示イベントが検出されたとき、メイン画面に表示されている画面画像が非メイン画面に表示される。
表示イベント検出部311は、表示イベントが検出された場合、表示イベントが検出されたことを画面画像キャプチャ部312と画面情報検出部313とに通知する。
【0031】
画面画像キャプチャ部312は、表示イベント検出部311による通知に応じて、画面に描画されている画像をキャプチャする。キャプチャされた画像は、例えば、外部ディスプレイ装置1の画面に描画されている画像(メイン画面画像とも云う)と、LCD17Aの画面に描画されている画像(非メイン画面画像とも云う)とを含む。画面画像キャプチャ部312は、キャプチャされた画像を操作画像生成部314に出力する。
【0032】
また、画面情報検出部313は、表示イベント検出部311による通知に応じて、メイン画面の画面サイズ(LX,LY)と非メイン画面の画面サイズ(lx,ly)とを検出する。画面情報検出部313は、例えば、OS201によって検出されている、外部ディスプレイ装置1(メイン画面)の画面サイズやLCD17A(非メイン画面)の画面サイズ等を示す画面情報を用いて、メイン画面の画面サイズ(LX,LY)と非メイン画面の画面サイズ(lx,ly)とを検出する。画面サイズは、例えばピクセル単位で表される画面の幅と高さとを示す。画面情報検出部313は、検出されたメイン画面の画面サイズ(LX,LY)と非メイン画面の画面サイズ(lx,ly)とを操作画像生成部314に出力する。
【0033】
操作画像生成部314は、画面画像キャプチャ部312によって出力されたキャプチャ画像を用いて、メイン画面画像と非メイン画面画像とを切り出す。そして、操作画像生成部314は、画面情報検出部313によって出力されたメイン画面の画面サイズ(LX,LY)と非メイン画面の画面サイズ(lx,ly)とを用いて、メイン画面画像のサイズ(LX,LY)を、非メイン画面であるLCD17Aの画面サイズ(lx,ly)に応じて変更することにより、メイン画面を操作するための操作画像を生成する。例えば、メイン画面の画面サイズ(LX,LY)が非メイン画面の画面サイズ(lx,ly)よりも大きい場合、メイン画面画像をサイズ(lx,ly)に縮小した操作画像を生成する。また、メイン画面の画面サイズ(LX,LY)が非メイン画面の画面サイズ(lx,ly)よりも小さい場合、メイン画面画像をサイズ(lx,ly)に拡大した操作画像を生成する。したがって、非メイン画面上の座標(x,y)とメイン画面画像上の座標(X,Y)との対応は次式によって算出される。
x=(lx/LX)×X
y=(ly/LY)×Y
操作画像生成部314は、伸縮されたメイン画面画像(操作画像)を操作画像表示部315に出力する。なお、メイン画面画像は、非メイン画面の画面サイズに限らず、非メイン画面に表示可能なサイズ(すなわち、非メイン画面の画面サイズよりも小さいサイズ)に伸縮されてもよい。
【0034】
操作画像表示部315は、操作画像生成部314によって出力された、伸縮されたメイン画面画像を非メイン画面であるLCD17Aの画面に表示する。操作画像表示部315は、メイン画面画像を、例えば所定の透過度で非メイン画面に重畳して描画する。メイン画面画像が透過して表示されることにより、ユーザは、非メイン画面に既に表示されている画像と、メイン画面を操作するために新たに表示されたメイン画面画像とを区別して視認できるので、タッチ入力等の操作を容易に行うことができる。なお、非メイン画面に表示されるメイン画面画像が、非メイン画面の画面サイズよりも小さいとき、操作画像表示部315は、メイン画面画像を透過せずに非メイン画面に表示してもよい。また、操作画像表示部315は、メイン画面画像が非メイン画面に既に表示されているとき(すなわち、メイン画面画像を更新するためのイベントが起きているとき)、操作画像生成部314によって出力されたメイン画面画像を用いて、非メイン画面に表示されているメイン画面画像を更新する。操作画像表示部315は、非メイン画面にメイン画面画像が表示されたこと(又は、非メイン画面に表示されている画面画像が更新されたこと)を、入力制御部32(タッチ入力検出部321)に通知する。
【0035】
なお、表示イベント検出部311は、さらに、メイン画面画像の一部を拡大して表示するための表示イベントを検出してもよい。表示イベント検出部311は、例えば、非メイン画面に表示されているメイン画面画像がタッチされたことを表示イベントとして検出する。そして、表示イベント検出部311は、そのタッチされた位置を示す座標情報を操作画像生成部314に出力する。
【0036】
操作画像生成部314は、表示イベント検出部311によって出力された座標情報を用いて、メイン画面画像から、その座標情報で示される位置を含む所定の領域を切り出す。そして、操作画像生成部314は、切り出された画像を非メイン画面のサイズに応じて伸縮する。具体的には、例えば、表示イベント検出部311によって出力された座標情報が、メイン画面画像に含まれる1以上のウィンドウの内の第1ウィンドウ内の位置であるとき、操作画像生成部314は、メイン画面画像から、第1ウィンドウを含む画像(領域)を切り出す。切り出される画像は、例えば、第1ウィンドウを含み、且つ非メイン画面と同様のアスペクト比を有する領域に対応する。操作画像生成部314は、切り出された画像を、非メイン画面のサイズに応じて伸縮する。操作画像生成部314は、伸縮された画像を操作画像表示部315に出力する。そして、操作画像表示部315は、伸縮された画像を用いて、非メイン画面に表示されている画面画像を更新する。
【0037】
次いで、入力制御部32は、外部ディスプレイ装置1の画面がメイン画面(タッチパネル17Bによる操作対象の画面)に設定され、LCD17Aの画面が非メイン画面に設定されているとき、非メイン画面に表示されたメイン画面画像に対する、タッチパネル17Bを用いたタッチ入力が、メイン画面に作用するように制御する。入力制御部32は、タッチ入力検出部321、座標変換部322及び入力イベント生成部323を備える。
【0038】
タッチ入力検出部321は、タッチパネル17Bを用いたタッチ入力を検出する。このタッチ入力は、タッチパネル17Bを触れる操作を示し、タップ入力、ドラッグ入力、フリック入力等を含み、また複数の箇所が同時に触れられるマルチタッチ入力も含む。タッチ入力検出部321は、非メイン画面(すなわち、タッチパネル17B)上のタッチ入力座標(x,y)を検出する。そして、タッチ入力検出部321は、検出された非メイン画面上のタッチ入力座標(x,y)を座標変換部322に出力する。
【0039】
座標変換部322は、タッチ入力検出部321によって検出されたタッチ入力座標(x,y)を、メイン画面(外部ディスプレイ装置1)上の座標(X,Y)に変換する。座標変換部322は、例えば、以下の式を用いて、タッチ入力座標(x,y)に対応するメイン画面上の座標(X,Y)を算出する。
X=(LX/lx)×x
Y=(LY/ly)×y
なお、上述のように、(LX,LY)はメイン画面のサイズを示し、(lx,ly)は非メイン画面のサイズを示す。座標変換部322は、算出されたメイン画面上の座標(X,Y)をイベント生成部323に出力する。
【0040】
入力イベント生成部323は、座標変換部322によって出力されたメイン画面上の座標(X,Y)を用いて、座標(X,Y)がタッチされたことを示すイベントを発行する。コンピュータ10によって実行されるOS201や各種のプログラムは、発行されたイベントに応じて、当該イベントに対応する処理を実行する。これにより、非メイン画面(タッチパネル17B)上でのタッチ入力が、メイン画面上でのタッチ入力に置き換えられ、メイン画面に作用する。例えば、発行されたイベントに示される座標(X,Y)が、メイン画面上に表示されたボタン内の位置を示す場合、そのボタンに関連付けられた機能が実行される。また、例えば、発行されたイベントに示される座標(X,Y)が、メイン画面上に表示されたウィンドウ内の位置を示す場合、そのウィンドウがアクティブな状態に設定される。
【0041】
以上の構成により、タッチパネル17BとLCD17Aとを備えるタッチスクリーンディスプレイ17と、タッチパネルが設けられていない外部ディスプレイ装置1とが接続されたとき、タッチスクリーンディスプレイ17に設けられたタッチパネル17Bを用いて外部ディスプレイ装置1に表示されたオブジェクトを容易に操作できる。つまり、タッチスクリーンディスプレイ17に設けられたタッチパネル17Bを用いた操作を、LCD17Aと外部ディスプレイ装置1のいずれか一方に作用させることができる。また、外部ディスプレイ装置1が操作対象画面(メイン画面)に設定されているとき、外部ディスプレイ装置1に表示されている画面の画像をタッチスクリーンディスプレイ17(LCD17A)に表示することによって、タッチパネル17Bを用いて外部ディスプレイ装置1の操作を直感的に行うことができる。
【0042】
図4から図7は、本実施形態のコンピュータ10によって表示される画面の例を示す。図4から図7に示す例では、コンピュータ10に、タッチスクリーンディスプレイ17が内蔵され、外部ディスプレイ装置1が接続されることを想定する。また、操作画面切替部30によって、外部ディスプレイ装置1が、タッチパネル17Bによって操作されるメイン画面(操作対象画面)42に設定され、タッチスクリーンディスプレイ17に設けられたLCD17Aが、タッチパネル17Bによって操作されない非メイン画面41に設定されることを想定する。つまり、タッチパネル17Bによる入力は、非メイン画面41であるLCD17Aではなく、メイン画面42(外部ディスプレイ装置1)を操作するために用いられる。
【0043】
図4に示す例では、メイン画面42にウィンドウ421,422,423,424が表示されている。ユーザは、メイン画面42上で指示したい点42Aに対応する、非メイン画面41(タッチパネル17B)上の点41Aをタッチすることにより、メイン画面42に対するタッチ入力を行う。ユーザは、例えば、メイン画面42を参照しながら、メイン画面42上の点42Aが相対的に対応する非メイン画面41上の点41Aをタッチする。
【0044】
ユーザが、非メイン画面41上の点41Aをタッチした場合、点41Aに対するタッチ入力は、メイン画面42上の点42Aに対するタッチ入力に置き換えられる。具体的には、非メイン画面41上の点41Aの座標が、メイン画面42上の座標(点42A)に変換される。そして、点41Aに対するタッチ入力は、メイン画面42上の点42Aに対するタッチ入力として作用する。これによりユーザは、タッチパネル17Bを用いて、外部ディスプレイ装置1であるメイン画面42を操作することができる。具体的には、例えば、ユーザが非メイン画面41上の点41Aをタッチした場合、この点41Aに対応する、メイン画面42上の点42Aを含むウィンドウ421がアクティブな状態に設定される。
【0045】
しかし、メイン画面42を参照しながら非メイン画面41上で操作を行うので、メイン画面42上の指示したい点に対応しない、非メイン画面41上の点をタッチしてしまう等、タッチミスが生じることがある。つまり、ユーザがタッチしている対象は、タッチスクリーンディスプレイ17(すなわち、コンピュータ10本体側)であるが、システムによって制御される対象は外部ディスプレイ装置1の画面となるので、ユーザの感覚に基づく相対的な操作が求められ、ボタンの押しミス等が発生する可能性がある。例えば、メイン画面42上に複数の細かいオブジェクト(ボタン等)が表示されている場合には、メイン画面42上の指示したい点に対応する、非メイン画面41上の点を正確に指示することは難しい。また、例えば、タッチしたいボタンとは異なるボタンがタッチされ、意図しない処理が実行されてしまう可能性がある。
【0046】
そのため、図5に示す例のように、所定の操作に応じて、メイン画面42に表示されている画面画像に対応する画像が非メイン画面43に表示される。これによりユーザは、メイン画面42自体を見ることなく、タッチパネル17Bを用いて(すなわち、非メイン画面43を見て)メイン画面42に対する操作を行うことができる。つまり、ユーザは、相対的な操作ではなく、直接的な操作を行うことができるようになるので、ボタンの押しミスのような誤操作が防止され、ユーザによる操作性を向上させることができる。
【0047】
図5に示す例では、図4に示した例と同様に、メイン画面42にウィンドウ421,422,423,424が表示されている。そして、非メイン画面43には、メイン画面42の画面画像が伸縮された画像が所定の透過度で表示されている。したがって、非メイン画面43に表示された画像に含まれるウィンドウ431,432,433,434は、メイン画面42に表示されたウィンドウ421,422,423,424にそれぞれ対応する。ユーザは、メイン画面42上で指示したい点42Bに対応する、非メイン画面43(タッチパネル17B)上の点43Aをタッチすることにより、メイン画面42に対するタッチ入力を行う。したがってユーザは、非メイン画面43に表示された、メイン画面42の画面画像が縮小された画像を見て、メイン画面42自体を見ることなく、メイン画面42を直感的に操作することができる。
【0048】
ユーザが、非メイン画面43上の点43Aをタッチした場合、点43Aに対するタッチ入力は、メイン画面42上の点42Bに対するタッチ入力に置き換えられる。具体的には、非メイン画面43上の点43Aの座標が、メイン画面42上の座標(点42B)に変換される。そして、点43Aに対するタッチ入力は、メイン画面42上の点42Bに対するタッチ入力として作用する。例えば、ユーザが、非メイン画面43上の点43Aをタッチした場合、この点43Aに対応する、メイン画面42上の点42Bを含むウィンドウ421がアクティブな状態に設定される。
【0049】
また、図6に示す例では、図4に示した例と同様に、メイン画面42にウィンドウ421,422,423,424が表示されている。そして、例えば、図5に示した非メイン画面43上でウィンドウ421内の位置を指示する操作(タッチ入力)が行われたことに応じて、非メイン画面44には、メイン画面画像の一部が拡大された画像が所定の透過度で描画される。この操作は、例えば、ウィンドウ421をアクティブな状態に設定するための操作である。図6の非メイン画面44には、操作されたウィンドウ421に対応するウィンドウ441を主に含む領域が拡大された画像が描画されている。非メイン画面44に表示された画像に含まれるウィンドウ441,442,444は、メイン画面42に表示されたウィンドウ421,422,424にそれぞれ対応している。
【0050】
ユーザは、メイン画面42上で指示したい点42Cに対応する、非メイン画面44(タッチパネル17B)上の点44Aをタッチすることにより、メイン画面42に対するタッチ入力を行う。ユーザは、非メイン画面44に表示された、メイン画面画像の一部が拡大された画像を見ることにより、メイン画面42を見ることなく、メイン画面42を操作することができる。また、メイン画面画像の一部が拡大された画像を用いることにより、画面画像内の細かいオブジェクト等を容易に操作することができる。
【0051】
ユーザが、非メイン画面44上の点44Aをタッチした場合、点44Aに対するタッチ入力は、メイン画面42上の点42Cに対するタッチ入力に置き換えられる。具体的には、非メイン画面44上の点44Aの座標が、メイン画面42上の座標(点42C)に変換される。そして、点44Aに対するタッチ入力は、メイン画面42上の点42Cに対するタッチ入力として作用する。例えば、ユーザが、非メイン画面44上のボタン445をタッチしたことに応じて、このボタン445に対応する、メイン画面42上のボタン425に関連付けられた機能(処理)が実行される。
【0052】
次いで、図7は、メイン画面42に表示された画面画像が、非メイン画面41に表示される際の画面遷移の例を示す。ここで、タッチスクリーンディスプレイ17を内蔵するコンピュータ10は、起動ボタン(ハードウェアボタン)51を備えることを想定する。この起動ボタン51は、メイン画面42に表示された画面画像を非メイン画面41に表示することを指示するためのボタンである。この起動ボタン51が押されたことは、表示イベント検出部311によって、メイン画面42に表示されている画面画像を非メイン画面41に表示するための表示イベントとして検出される。
【0053】
図4を参照して説明したように、ユーザは、メイン画面42上で指示したい点42Aに対応する、非メイン画面41(タッチパネル17B)上の点41Aをタッチすることにより、メイン画面42に対するタッチ入力を行う。これによりユーザは、タッチパネル17Bを用いて、外部ディスプレイ装置1であるメイン画面42を操作することができる。
【0054】
そして、起動ボタン51を指52等で押すことによって、図5を参照して説明したように、非メイン画面43に、メイン画面42に表示されている画面画像が描画される。これによりユーザは、タッチパネル17B(非メイン画面43)を用いて、メイン画面42を見ることなく、メイン画面42を直感的に操作することができる。
【0055】
次いで、図8に示すフローチャートを参照して、電子機器10によって実行される画面画像表示制御処理の手順の例について説明する。なお、ここでは、処理の開始時に、タッチスクリーンディスプレイ17に設けられたLCD17Aが、タッチパネル17Bによる操作対象画面(メイン画面)に設定されていることを想定する。
【0056】
まず、操作画面切替部30は、操作対象画面(メイン画面)を外部ディスプレイ装置1に切り替えるか否かを判定する(ブロックB101)。操作画面切替部30は、例えば、ユーザによる所定の操作が検出されたとき、操作対象画面を切り替える。例えば、操作支援プログラム202が起動されたこと、外部ディスプレイ装置1がコンピュータ10に接続されたこと等に応じて、操作対象画面がLCD17Aから外部ディスプレイ装置1に切り替えられる。操作対象画面が外部ディスプレイ装置1に切り替えられない場合(ブロックB101のNO)、ブロックB101に戻り、再度、操作対象画面を外部ディスプレイ装置1に切り替えるか否かが判定される。操作対象画面が外部ディスプレイ装置1に切り替えられる場合(ブロックB101のYES)、操作画面切替部30は、外部ディスプレイ装置1を操作対象画面に設定する(ブロックB102)。また、操作画面切替部30は、LCD17Aを操作対象でない画面(非メイン画面)に設定する。
【0057】
次いで、表示イベント検出部311は、操作対象画面の操作を支援するための操作画像をLCD17Aに表示するか否かを判定する(ブロックB103)。例えば、操作画像をLCD17Aに表示するためのボタン51が押されたことが検出されたとき、操作画像がLCD17Aに表示される。操作画像をLCD17Aに表示しない場合(ブロックB103のNO)、表示イベント検出部311は、ブロックB103に戻り、再度、操作画像をLCD17A表示するか否かを判定する。
【0058】
操作画像をLCD17Aに表示する場合(ブロックB103のYES)、画面情報検出部313は、操作対象画面(メイン画面)である外部ディスプレイ装置1の画面サイズ(LX,LY)を検出する(ブロックB104)。そして、画面情報検出部313は、非メイン画面であるLCD17Aの画面サイズ(lx,ly)を検出する(ブロックB105)。
【0059】
次いで、画面画像キャプチャ部312は、画面に描画されている画像をキャプチャする(ブロックB106)。キャプチャされた画像は、例えば、外部ディスプレイ装置1の画面に描画されている画像(メイン画面画像)と、LCD17Aの画面に描画されている画像(非メイン画面画像)とを含む。操作画像生成部314は、キャプチャされた画像から、メイン画面画像と非メイン画面画像とを切り出す(ブロックB107)。そして、操作画像生成部314は、メイン画面画像を、非メイン画面であるLCD17Aの画面サイズ(lx,ly)に応じて伸縮する(ブロックB108)。例えば、メイン画面の画面サイズ(LX,LY)が非メイン画面17Aの画面サイズ(lx,ly)よりも大きい場合、メイン画面画像をサイズ(lx,ly)に縮小する。また、メイン画面の画面サイズ(LX,LY)が非メイン画面17Aの画面サイズ(lx,ly)よりも小さい場合、メイン画面画像をサイズ(lx,ly)に拡大する。そして、操作画像表示部315は、伸縮されたメイン画面画像(操作画像)を非メイン画面であるLCD17Aの画面に透過して描画する(ブロックB109)。
【0060】
次いで、表示イベント検出部311は、メイン画面に描画されている画像が更新されたか否かを判定する(ブロックB110)。メイン画面に描画されている画像は、例えば、ユーザによる操作や各種のイベントが発生することによって更新される。メイン画面に描画されている画像が更新されている場合(ブロックB110のYES)、ブロックB106からブロックB109までの処理が実行されることによって、非メイン画面に描画されているメイン画面画像が更新される。
【0061】
メイン画面に描画されている画像が更新されていない場合(ブロックB110のNO)、表示イベント検出部311は、操作画像の描画を終了するか否かを判定する(ブロックB111)。表示イベント検出部311は、例えば、外部ディスプレイ装置1の画面が非メイン画面に切り替えられるとき、又は外部ディスプレイ装置1とコンピュータ10との間の接続が解除(切断)されたとき、操作画像の描画を終了する。
【0062】
操作画像の描画を終了しない場合(ブロックB111のNO)、ブロックB110に戻り、再度、メイン画面が更新されたか否かが判定される。一方、操作画像の描画を終了する場合(ブロックB111のYES)、操作画像表示部315は、操作画像の描画を終了する(ブロックB112)。
【0063】
また、図9は、コンピュータ10によって実行されるタッチ入力制御処理の手順の例を示す。以下では、外部ディスプレイ装置1の画面がメイン画面に設定され、タッチスクリーンディスプレイ17(LCD17A)の画面が非メイン画面に設定されていることを想定する。また、非メイン画面には、メイン画面に表示されている画面の画像が表示されていることを想定する。
【0064】
まず、タッチ入力検出部321は、タッチパネル17Bを用いたタッチ入力が検出されたか否かを判定する(ブロックB21)。このタッチ入力は、タッチパネル17Bに触れる操作を示し、ドラッグ入力、フリック入力等も含む。タッチ入力が検出されていない場合(ブロックB21のNO)、ブロックB21に戻り、再度、タッチ入力が検出されたか否かが判定される。
【0065】
タッチ入力が検出された場合(ブロックB21のYES)、タッチ入力検出部321は、非メイン画面(すなわち、タッチパネル17B)上のタッチ入力座標(x,y)を検出する(ブロックB22)。そして、座標変換部322は、検出されたタッチ入力座標(x,y)を、メイン画面(外部ディスプレイ装置1)上の座標(X,Y)に変換する(ブロックB23)。
【0066】
次いで、入力イベント生成部323は、メイン画面上の座標(X,Y)がタッチされたことを示すイベントを発行する(ブロックB24)。コンピュータ10によって実行されるOS201や各種のプログラムは、発行されたイベントに応じて、当該イベントに対応する処理を実行する。例えば、イベントに示される座標(X,Y)が、メイン画面上に表示されたボタン内を示す座標である場合、そのボタンに関連付けられた機能が実行される。また、例えば、イベントに示される座標(X,Y)が、メイン画面上に表示されたウィンドウ内を示す座標である場合、そのウィンドウがアクティブな状態に設定される。
【0067】
以上の画面画像表示制御処理及びタッチ入力制御処理により、タッチスクリーンディスプレイ17に設けられたLCD17Aと外部ディスプレイ装置1のいずれか一方が、タッチスクリーンディスプレイ17に設けられたタッチパネル17Bを用いた入力によって操作される操作対象画面に設定される。これにより、タッチパネル17Bを用いて、LCD17に表示された画面だけでなく、外部ディスプレイ装置1に表示された画面も操作することができる。また、外部ディスプレイ装置1が操作対象画面に設定されている場合、所定の操作に応じて、外部ディスプレイ装置1の画面画像がLCD17Aの画面に表示される。その場合、タッチパネル17B上でのタッチ入力を外部ディスプレイ装置1上でのタッチ入力に置き換え、タッチパネル17Bを用いたタッチ入力によって、外部ディスプレイ装置1に表示されたオブジェクトを直感的に操作することができる。
【0068】
以上説明したように、本実施形態によれば、タッチパネルを備える第1ディスプレイ(タッチスクリーンディスプレイ17)と、タッチパネルが設けられていない第2ディスプレイ(外部ディスプレイ装置1)とが接続されたとき、第1ディスプレイに設けられたタッチパネルを用いた第2ディスプレイの操作を支援することができる。つまり、第1ディスプレイに設けられたタッチパネルを用いた操作を、第2ディスプレイに作用させることができる。また、第2ディスプレイが操作対象画面に設定されたとき、第2ディスプレイに表示されている画像に対応する画像が第1ディスプレイに表示される。これにより、タッチパネルを用いて第2ディスプレイの操作を直感的に行うことができる。
【0069】
なお、本実施形態の画面画像表示制御処理及びタッチ入力制御処理の手順は全てソフトウェアによって実行することができる。このため、画面画像表示制御処理及びタッチ入力制御処理の手順を実行するプログラムを格納したコンピュータ読み取り可能な記憶媒体を通じてこのプログラムを通常のコンピュータにインストールして実行するだけで、本実施形態と同様の効果を容易に実現することができる。
【0070】
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【符号の説明】
【0071】
202…操作支援プログラム、30…操作画面切替部、31…表示制御部、32…入力制御部、311…表示イベント検出部、312…画面画像キャプチャ部、313…画面情報検出部、314…操作画像生成部、315…操作画像表示部、321…タッチ入力検出部、322…座標変換部、323…入力イベント生成部。

【特許請求の範囲】
【請求項1】
タッチパネルと第1ディスプレイとを備えるタッチスクリーンディスプレイを具備し、第2ディスプレイと接続可能な電子機器であって、
前記第1ディスプレイと前記第2ディスプレイのいずれか一方を、前記タッチパネルを用いた入力によって操作される操作対象画面に設定する操作画面切替手段と、
前記第2ディスプレイが前記操作対象画面に設定された場合、前記タッチパネルを用いた入力に応じて前記第2ディスプレイを操作する入力制御手段とを具備する電子機器。
【請求項2】
前記第2ディスプレイが前記操作対象画面に設定された場合、前記第2ディスプレイに表示されている画像に対応する画像を前記第1ディスプレイに表示する表示制御手段をさらに具備する請求項1記載の電子機器。
【請求項3】
前記表示制御手段は、前記第2ディスプレイに表示されている画像を前記第1ディスプレイのサイズに基づいて変更し、前記変更された画像を前記第1ディスプレイに表示する請求項2記載の電子機器。
【請求項4】
前記表示制御手段は、前記第2ディスプレイに表示されている画像に対応する画像を前記第1ディスプレイに透過して表示する請求項2記載の電子機器。
【請求項5】
前記第2ディスプレイに表示されている画像は、1以上のウィンドウを含み、
前記表示制御手段は、前記1以上のウィンドウの内の、1つのウィンドウ内の位置が指示されたとき、当該1つのウィンドウを拡大して前記第1ディスプレイに表示する請求項2記載の電子機器。
【請求項6】
前記入力制御手段は、前記第2ディスプレイが前記操作対象画面に設定されている場合に、前記タッチパネルを用いた入力によって前記第1ディスプレイ内の第1座標が指示されたとき、前記第1座標を前記第2ディスプレイ内の第2座標に変換し、前記第2座標が指示されたことを示すイベントを発行する請求項1又は請求項2記載の電子機器。
【請求項7】
前記操作画面切替手段は、ユーザによる操作に応じて、当該ユーザによる操作によって指定された前記第1ディスプレイ又は前記第2ディスプレイを前記操作対象画面に設定する請求項1記載の電子機器。
【請求項8】
タッチパネルと第1ディスプレイとを備えるタッチスクリーンディスプレイを具備し、第2ディスプレイと接続可能な電子機器に対する操作を支援する操作支援方法であって、
前記第1ディスプレイと前記第2ディスプレイのいずれか一方を、前記タッチパネルを用いた入力によって操作される操作対象画面に設定し、
前記第2ディスプレイが前記操作対象画面に設定された場合、前記タッチパネルを用いた入力に応じて前記第2ディスプレイを操作する操作支援方法。
【請求項9】
前記第2ディスプレイが前記操作対象画面に設定された場合、前記第2ディスプレイに表示されている画像に対応する画像を前記第1ディスプレイに表示する請求項8記載の操作支援方法。
【請求項10】
タッチパネルと第1ディスプレイとを備えるタッチスクリーンディスプレイを具備し、第2ディスプレイと接続可能なコンピュータに対する操作を支援するプログラムであって、
前記第1ディスプレイと前記第2ディスプレイのいずれか一方を、前記タッチパネルを用いた入力によって操作される操作対象画面に設定する手順と、
前記第2ディスプレイが前記操作対象画面に設定された場合、前記タッチパネルを用いた入力に応じて前記第2ディスプレイを操作する手順とを前記コンピュータに実行させるプログラム。
【請求項11】
前記第2ディスプレイが前記操作対象画面に設定された場合、前記第2ディスプレイに表示されている画像に対応する画像を前記第1ディスプレイに表示する手順を前記コンピュータにさらに実行させる請求項10記載のプログラム。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate

【図9】
image rotate


【公開番号】特開2013−33303(P2013−33303A)
【公開日】平成25年2月14日(2013.2.14)
【国際特許分類】
【出願番号】特願2011−119291(P2011−119291)
【出願日】平成23年5月27日(2011.5.27)
【出願人】(000003078)株式会社東芝 (54,554)
【Fターム(参考)】