説明

情報処理装置および表示方法

【課題】高解像度のディスプレイの解像度を有効利用できる情報処理装置を実現する。
【解決手段】コントロールアプリケーションプログラム204は、外部ディスプレイ21の画面上に表示される画面イメージと同一のまたは類似する画面イメージをタッチパネルディスプレイに表示する。さらに、コントロールアプリケーションプログラム204は、コピー画面イメージに対する当該コピー画面イメージ上のタッチ位置の相対位置に基づいて、コピー画面イメージ上のタッチ位置に対応する、外部ディスプレイ21の画面イメージ上の位置を指定するための機能(ポインティング機能)を有している。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は一般にパーソナルコンピュータのような情報処理装置に関し、特にタッチパネルディスプレイを備えた情報処理装置および同装置に適用される表示方法に関する。
【背景技術】
【0002】
近年、ノートブック型等の様々な携帯型パーソナルコンピュータが開発されている。この種の携帯型パーソナルコンピュータの多くは、マルチディスプレイ機能を有している。マルチディスプレイ機能は、例えば、2つのディスプレイに画面イメージをそれぞれ表示する機能である。
【0003】
マルチディスプレイ機能をサポートするシステムにおいては、例えば、仮想画面上に2つの領域が割り当てられ、それら2つの領域それぞれに対応する画面イメージが2つのディスプレイにそれぞれ表示される。また、マルチディスプレイ機能においては、2つのディスプレイに同一の画面イメージを表示するいわゆる「クローン表示」モードも用意されている。
【0004】
しかし、通常、「クローン表示」モードでは、表示可能な画面イメージの解像度の上限は、2つのディスプレイの内で解像度の低い方のディスプレイの解像度までに制限される。例えば、携帯型パーソナルコンピュータに設けられた低解像度の内部ディスプレイと高解像度の外部ディスプレイのような2つのディスプレイを使用する環境において「クローン表示」モードを使用した場合には、内部ディスプレイの解像度と同じ低解像度の画面イメージしか外部ディスプレイに表示することが出来ないので、高解像度の外部ディスプレイの本来の能力を有効利用することができなくなる。
【0005】
また、最近では、タッチパネルディスプレイを備えたコンピュータも開発されている。タッチパネルディスプレイを備えたコンピュータにおいては、ユーザによるタッチパネルディスプレイ上のタッチ操作に応じて、タッチパネルディスプレイ上に表示されるアプリケーションウィンドウ等を制御するための各種イベントを発生し得る。
【0006】
マウスまたはタッチパッドのようなポインティングデバイスは、画面上のポインティング位置(カーソルの位置)がそのポインティングデバイスの移動に応じて移動される相対ポインティングデバイスとして機能する。一方、タッチパネルディスプレイは、そのタッチ位置そのものが画面上のポインティング位置に対応する絶対ポインティングデバイスとして機能する。
【0007】
特許文献1には、タッチパネル式の表示装置を備えたデジタルビデオカメラが開示されている。このデジタルビデオカメラは、このデジタルビデオカメラに外部モニターが接続された時、タッチパネル式の表示装置をタッチパッドとして動作させる機能を有している。
【先行技術文献】
【特許文献】
【0008】
【特許文献1】特開2009−140471号公報
【発明の概要】
【発明が解決しようとする課題】
【0009】
しかし、特許文献1の技術では、タッチパネル式の表示装置は単にタッチパッドの代替デバイスとして使われるに過ぎない。このため、ユーザにとっては、タッチパネル上の座標位置と、外部モニター上の座標位置との関係を把握することが難しい。タッチパネル上の座標位置と外部モニター上の座標位置との関係を把握するためには、ユーザは、例えば、視点をタッチパネルと外部モニターとの間を何度も行き来させることが必要となる。
【0010】
本発明は上述の事情を考慮してなされたものであり、ディスプレイの解像度を有効利用できる情報処理装置および表示方法を提供することを目的とする。
また、本発明は、高解像度のディスプレイの解像度を有効利用でき、且つタッチパネルディスプレイを利用することによって高解像度のディスプレイの画面上の位置を容易に指定することができる情報処理装置および表示方法を提供することを目的とする。
【課題を解決するための手段】
【0011】
上述の課題を解決するため、請求項1に係る情報処理装置は、第1のフレームバッファ内の表示データに基づいて、第1の解像度を有する第1のディスプレイに第1の映像信号を出力し、第2のフレームバッファ内の表示データに基づいて、前記第1の解像度よりも高い第2の解像度を有する第2のディスプレイに第2の映像信号を出力するように構成された表示制御手段と、前記第2のフレームバッファ内の表示データに基づいて、前記第2のディスプレイの画面に表示される画面イメージを縮小したコピー画面イメージに対応する表示データを前記第1のフレームバッファに格納するように構成されたデータ制御手段とを具備することを特徴とする。
【発明の効果】
【0012】
本発明によれば、ディスプレイの解像度を有効利用することができる。
【図面の簡単な説明】
【0013】
【図1】本発明の一実施形態に係る情報処理装置の外観を示す斜視図。
【図2】同実施形態の情報処理装置のシステム構成例を示すブロック図。
【図3】同実施形態の情報処理装置によって実行されるコントロールアプリケーションプログラムの構成例を示すブロック図。
【図4】同実施形態の情報処理装置によってタッチスクリーンディスプレイと外部ディスプレイにそれぞれ表示される画面イメージの例を示す図。
【図5】図3のコントロールアプリケーションプログラムが起動された時にタッチスクリーンディスプレイと外部ディスプレイにそれぞれ表示される画面イメージの例を示す図。
【図6】図3のコントロールアプリケーションプログラムによって外部ディスプレイの画面イメージがコピーされる様子を示す図。
【図7】図3のコントロールアプリケーションプログラムによってコピーされた外部ディスプレイの画面イメージがタッチスクリーンディスプレイに表示される様子を示す図。
【図8】図7のタッチスクリーンディスプレイがタッチされる様子を示す図。
【図9】タッチスクリーンディスプレイ上のタッチ位置に基づいて、外部ディスプレイの画面イメージを制御するためのイベントが発行される様子を示す図。
【図10】同実施形態の情報処理装置によって実行される座標変換動作の例を示す図。
【図11】外部ディスプレイの画面イメージとタッチスクリーンディスプレイ上のコピー画面イメージとの間の画面サイズとアスペクト比との関係の例を示す図。
【図12】外部ディスプレイの画面イメージとタッチスクリーンディスプレイ上のコピー画面イメージとの間の画面サイズとアスペクト比との関係の他の例を示す図。
【図13】外部ディスプレイの画面イメージとタッチスクリーンディスプレイ上のコピー画面イメージとの間の画面サイズとアスペクト比との関係のさらに他の例を示す図。
【図14】外部ディスプレイの画面イメージの一部をタッチスクリーンディスプレイ上にコピー画面イメージとして拡大表示する例を示す図。
【図15】タッチスクリーンディスプレイのコピー画面イメージ上に仮想キーボードをさらに表示した例を示す図。
【図16】同実施形態の情報処理装置によって実行される外部ディスプレイ制御処理の手順の例を示すフローチャート。
【発明を実施するための形態】
【0014】
以下、図面を参照して、本発明の実施形態について説明する。
【0015】
図1には、本発明の一実施形態に係る情報処理装置の外観が示されている。この情報処理装置は、例えば、バッテリ駆動可能な携帯型パーソナルコンピュータ10として実現されている。
【0016】
図1は、コンピュータ10のディスプレイユニットを開いた状態における斜視図である。本コンピュータ10は、コンピュータ本体11と、ディスプレイユニット12とから構成される。ディスプレイユニット12には、タッチスクリーンディスプレイとして機能する液晶表示装置(LCD)13が組み込まれており、そのLCD13の表示画面はコンピュータ本体11のほぼ中央に位置されている。LCD13は本コンピュータ10の内部モニターとして機能する。LCD13の上面には透明のタッチパネルが配置されており、LCD13と透明のタッチパネルとによってタッチスクリーンディスプレイが実現される。このタッチスクリーンディスプレイは、ペン又は指によってタッチされた表示画面上のタッチ位置を検知することができる。ユーザは、LCD13の表示画面上に表示された各種オブジェクト(例えば、フォルダやファイルを表すアイコン、メニュー、ボタン、等)を指先やペン1などを用いて選択することができる。表示画面上のタッチ位置を示す座標情報はタッチスクリーンディスプレイからコンピュータ10内のCPUに入力される。
【0017】
ディスプレイユニット12は薄い箱型の筐体を有しており、このディスプレイユニット12はコンピュータ本体11にヒンジ部を介して回動自在に取り付けられている。より詳しくは、ディスプレイユニット12は、コンピュータ本体11に対してコンピュータ本体11の上面が露出される開放位置とコンピュータ本体11の上面がディスプレイユニット12によって覆われる閉塞位置との間を回動自在に取り付けられている。
【0018】
コンピュータ本体11は薄い箱形の筐体を有するベースユニットであり、その上面にはキーボード14、タッチパッド15などが配置されている。また、コンピュータ本体11には、外部ディスプレイ21を接続可能な外部ディスプレイ接続端子が設けられている。この外部ディスプレイ接続端子は、例えば、RGBコネクタ、DVIコネクタ、HDMIコネクタなどから構成し得る。
【0019】
本コンピュータ10上で実行されるオペレーティングシステムはマルチディスプレイ機能を有している。すなわち、オペレーティングシステムによって管理される仮想画面上の第1の領域に対応する第1の画面イメージは、例えばプライマリモニターとして使用されるLCD13の画面上に表示される。さらに、仮想画面上の第2の領域に対応する第2の画面イメージは、例えばセカンダリモニターとして使用される外部ディスプレイ21の画面上に表示される。外部ディスプレイ21としては、LCD13の画面の解像度よりも高い解像度のディスプレイを使用することができる。この場合、仮想画面上の第1の領域の解像度(サイズ)はLCD13の画面の解像度と同じ解像度に設定することができ、また仮想画面上の第2の領域の解像度(サイズ)は外部ディスプレイ21の画面の解像度と同じ解像度に設定することができる。
【0020】
次に、図2を参照して、本コンピュータ10のシステム構成を説明する。
【0021】
本コンピュータ10は、CPU111、主メモリ112、グラフィスクプロセッシングユニット(GPU)113、電源回路114、USBコントローラ115、およびタッチパネルコントローラ116等を備えている。
【0022】
CPU111は、コンピュータ10の動作を制御するために設けられたプロセッサであり、主メモリ112にロードされる、オペレーティングシステム(OS)201および各種アプリケーションプログラム等を実行する。アプリケーションプログラムには、タッチパネルディスプレイを用いて外部ディスプレイ21上の画面イメージを制御するためのコントロールアプリケーションプログラム204が含まれている。
【0023】
このコントロールアプリケーションプログラム204は、ユーザがタッチパネルディスプレイの画面を見ながらタッチパネルディスプレイをタッチ操作するだけで、外部ディスプレイ21の画面上に表示される、例えばアプリケーションウィンドウ、メニュー、ボタンといったグラフィカルユーザインタフェースを操作できるようにするためのソフトウェアである。このコントロールアプリケーションプログラム204は、OS201内にそれぞれ設けられたディスプレイドライバプログラム202およびタッチパネルドライバプログラム203の各々との通信を実行することができる。コントロールアプリケーションプログラム204は、コンピュータ10に対する外部ディスプレイ21の接続を示す接続イベントまたはコンピュータ10からの外部ディスプレイ21の取り外しを示す取り外しイベントをディスプレイドライバプログラム202から受信することができる。また、コントロールアプリケーションプログラム204は、タッチパネルディスプレイ上のタッチ位置を示す座標情報をタッチパネルドライバプログラム203から受信することができる。
【0024】
コントロールアプリケーションプログラム204は、外部ディスプレイ21の画面上に表示される画面イメージと同一のまたは類似する画面イメージをタッチパネルディスプレイにも表示するために、外部ディスプレイ21の画面上に表示される画面イメージをコピーすることによって得られるコピー画面イメージを、タッチパネルディスプレイつまりLCD13上に表示する。この場合、コピー画面イメージのサイズ(解像度)はLCD13の解像度に合わせて縮小してもよい。コピー画面イメージとしては、例えば、一つのレイヤから構成されるイメージが用いられる。外部ディスプレイ21の画面上に複数のアプリケーションウィンドウが表示されている場合であっても、それら複数のアプリケーションウィンドウを含む画面イメージ全体がコピーされ、そのコピーによって得られる一つの画面イメージが上述のコピー画面イメージとしてLCD13の画面上に表示される。
【0025】
このように、従来の「クローン表示」モードではなく、外部ディスプレイ21の画面イメージをコピーすることによって得られる、一つのレイヤから構成されるイメージをLCD13の画面上に表示することにより、外部ディスプレイ21の本来の解像度を有効利用しつつ、外部ディスプレイ21の画面上に表示される画面イメージと同一のまたは類似する画面イメージをタッチパネルディスプレイにも表示するこことができる。
【0026】
さらに、コントロールアプリケーションプログラム204は、コピー画面イメージに対する当該コピー画面イメージ上のタッチ位置の相対位置に基づいて、コピー画面イメージ上のタッチ位置に対応する、外部ディスプレイ21の画面イメージ上の位置を指定するための機能(ポインティング機能)を有している。このポインティング機能により、ユーザは、例えばアプリケーションウィンドウ、メニュー、ボタンといった、コピー画面イメージ上のグラフィカルユーザインタフェースに対応する位置をタッチするという操作を行うだけで、外部ディスプレイの画面イメージ上の対応するグラフィカルユーザインタフェースを操作することが可能となる。
【0027】
GPU113は、LCD(内部モニター)13および外部ディスプレイ(外部モニター)21をそれぞれ制御する表示コントローラである。GPU113は、バスを介してCPU111から受信される描画要求に基づいてフレームバッファ(ビデオメモリ)に表示データを描画するための表示処理(グラフィクス演算処理)を実行する。フレームバッファには、外部モニター用の描画領域であるバッファ#1と内部モニター用の描画領域であるバッファ#2とが用意されている。バッファ#1は、OS201によって管理される仮想画面上の領域に対応する画面イメージの描画に用いられ、またバッファ#2は、仮想画面上の別の領域に対応する画面イメージの描画に用いられる。GPU113は、バッファ#1に描画される表示データに基づいて、外部ディスプレイ21に画面イメージを表示するための映像信号を生成する共に、バッファ#2に描画される表示データに基づいて、LCD13に別の画面イメージを表示するための映像信号を生成する。
【0028】
電源回路114は本コンピュータ10の各コンポーネントに電力を供給する回路である。USBコントローラ115は、本コンピュータ10に接続されたUSBデバイスを制御する。タッチパネルコントローラ116は、LCD13上の画面上に重ねて配置された透明のタッチパネル13Aを制御する。タッチパネル13Aは、例えば、抵抗膜方式または静電容量方式等を用いて、ユーザの指またはペン1によってタッチされるタッチパネル13A(タッチスクリーンディスプレイ)上のタッチ位置を検出するように構成されている。また、タッチパネル13Aとしては、複数のタッチ位置を同時に検知可能なマルチタッチパネルを使用してもよい。
【0029】
次に、図3を参照して、コントロールアプリケーションプログラム204の構成について説明する。
【0030】
コントロールアプリケーションプログラム204は、画面イメージコピー部301、コピー画面イメージ表示部302、ポインティング処理部303、コピー画面制御部304、仮想キーボード表示部305、およびコードデータ出力部306等を含む。
【0031】
画面イメージコピー部301は、例えばバッファ#1に格納された表示データをコピーすることによって、外部ディスプレイ21の画面に表示される画面イメージをコピーする。コピー画面イメージ表示部302は、画面イメージコピー部301によってコピーされた画面イメージに対して、例えば縮小等のリサイズ処理を施し、これによってLCD13の画面の解像度に適合するサイズ(解像度)を有するコピー画面イメージを生成する。さらに、コピー画面イメージ表示部302は、生成されたコピー画面イメージを、例えば、ディスプレイドライバプログラム202を介してLCD13の画面上に表示する。この場合、例えば、コントロールアプリケーションプログラム204に対応する表示領域(ウィンドウ)を、LCD13の画面上の一部上に開くかまたはLCD13の画面全体を覆うように開き、このウィンドウ上にコピー画面イメージを表示するようにしてもよい。生成されたコピー画面イメージに対応する表示データはバッファ#2上に描画される。
【0032】
ポインティング処理部303は、タッチパネルドライバプログラム203からLCD13の画面上のタッチ位置を示す座標情報を受信する。例えば、コピー画面イメージ上のある位置がユーザの指又はペン1によってタッチされた場合、ポインティング処理部303は、コピー画面イメージ上のタッチ位置を示す座標情報をタッチパネルドライバプログラム203から受信する。この座標情報の受信に応答して、ポインティング処理部303は、コピー画面イメージ上のタッチ位置に対応する、外部ディスプレイ21上の画面イメージ上の位置を算出し、その算出された位置を指定(ポインティング)するための処理を実行する。
【0033】
すなわち、ポインティング処理部303は、LCD13上のコピー画面イメージ上のタッチ位置の座標を、そのタッチ位置に対応する、外部ディスプレイ21の画面イメージ上の位置の座標に変換する座標変換部303Aを有しており、この座標変換部303Aを用いて、コピー画面イメージ上のタッチ位置に対応する、外部ディスプレイ21の画面イメージ上の位置を特定する。
【0034】
コピー画面制御部304は、外部ディスプレイ21の画面イメージ内のコピー領域を画面イメージコピー部301に通知する処理等を実行する。コピー領域は、ユーザによるタッチパッド15の操作などによって指定することができる。もちろん、かならずしもコピー領域を明示的に指定する必要はない。コピー領域を明示的な指定がない限り、外部ディスプレイ21の画面イメージ全体がコピー領域として用いられる。また、コピー画面制御部304は、外部ディスプレイ21の画面イメージを縮小するための縮小率などのパラメタをコピー画面イメージ表示部302に通知する。
【0035】
仮想キーボード表示部305は、仮想キーボードを、LCD13の画面上、例えば、コピー画面イメージ上に表示する。仮想キーボードは、複数のキーコードを入力するための複数の仮想キーを含む。コードデータ出力部306は、仮想キーボードに含まれる複数の仮想キーから、LCD13の画面上のタッチ位置に存在する仮想キーを選択する。仮想キーの選択は、例えば、タッチ位置の座標情報とキー割当て情報とに基づいて行うことが出来る。キー割当て情報は、複数の仮想キーそれぞれが表示されるLCD13の画面上の領域、つまり仮想キーそれぞれの表示領域を示す。
【0036】
コードデータ出力部306は、選択された仮想キーに対応するコードデータを、OS201、アクティブなアプリケーションプログラムなどに出力する。例えば、外部ディスプレイ21上に開かれたあるアプリケーションウィンドウがアクティブウィンドウである場合、ユーザは、LCD13の画面上の仮想キーボードをタイプすることで、外部ディスプレイ21上に開かれたそのアプリケーションウィンドウに対して文字コードのようなコードデータを入力することが出来る。
【0037】
次に、図4乃至図9を参照して、本実施形態によって実行される外部ディスプレイ制御処理について説明する。
【0038】
図4は、OS201のマルチディスプレイ機能によってLCD13および外部ディスプレイ21それぞれに画面イメージが表示されている状態を示している。OS201によって管理される仮想画面上の第1および第2の領域それぞれに対応する第1および第2の画面イメージがLCD13および外部ディスプレイ21にそれぞれ表示される。
【0039】
コントロールアプリケーションプログラム204が実行されると、コントロールアプリケーションプログラム204に対応する表示領域が図5に示されるようにLCD13の画面上に表示される。コントロールアプリケーションプログラム204は図6に示されるように外部ディスプレイ21に表示されている画面イメージ(第2の画面イメージ)をコピーする。図6に示されるように、外部ディスプレイ21のデスクトップ画面上にアプリケーションウィンドウA,Bと複数のアイコンが表示されている場合には、それらアプリケーションウィンドウA,Bと複数のアイコンとが配置されたデスクトップ画面のイメージ全体がコピーされる。そして、コントロールアプリケーションプログラム204は、図7に示されるように、コピーされた画面イメージを、LCD13の画面上、つまりコントロールアプリケーションプログラム204に対応する表示領域上に表示する。この場合、LCD13の画面上に表示されるコピー画面イメージは、外部ディスプレイ21のデスクトップ画面のアスペクト比と同じアスペクト比を有している。ユーザは、外部ディスプレイ21のデスクトップ画面の画面イメージと同様の画面イメージを、LCD13をする事によって確認することができる。
【0040】
図8に示すようにユーザがペン1又は指でLCD13のコピー画面イメージ上をタッチすると、コントロールアプリケーションプログラム204は、コピー画面イメージに対するタッチ位置の相対位置から、そのタッチ位置に対応する、外部ディスプレイ21の画面イメージ上の位置を算出し、その算出した位置を示す座標情報を含むタッチイベント(ポインティングイベントとも云う)を発行する。これにより、図9に示されているように、コピー画面イメージに対するタッチ位置に対応する、外部ディスプレイ21の画面イメージ上の位置が指定(ポインティング)される。よって、ユーザは、例えば、コピー画面イメージ上に提示されている、例えばボタンまたはメニュー項目のようなGUIをタッチするだけで、外部ディスプレイ21に表示されている実際のGUIを操作することができる。
【0041】
上述したように、タッチスクリーンディスプレイは絶対ポインティングデバイスであるので、タッチ位置そのものが画面上のポインティング位置に対応する。本実施形態では、外部ディスプレイ21に表示される画面イメージをコピーすることによって得られるコピー画面イメージがタッチスクリーンディスプレイ(LCD13)に一種の操作画面として表示される。したがって、ユーザは、外部ディスプレイ21上の画面イメージ上のGUIの位置などを、手元のコンピュータ10のLCD13を見ることによって確認することが出来る。また、本実施形態では、コピー画面イメージ上のタッチ操作に応答して、そのタッチ位置に対応する外部ディスプレイ21上の画面イメージ上の位置を指定するタッチイベント(ポインティングイベント)が自動的に発行されるので、ユーザは、外部ディスプレイ21上の画面イメージ上に表示されるアプリケーションウィンドウ等を容易に制御することができる。
【0042】
次に、図10を参照して、コピー画面イメージ上のタッチ位置に対応する、外部ディスプレイ21上の画面イメージ上の位置を算出する処理の例について説明する。
【0043】
図10は、第1および第2の画面イメージそれぞれの仮想画面上の配置位置の例を示している。ここでは、(1)LCD13に表示される第1の画面イメージの左上端および右下端それぞれの座標が(Xt0,Yt0),(Xt1,Yt1)であり、(2)第1の画面イメージ上に表示されるコピー画面イメージ(コントロールアプリケーションプログラム204の表示領域)の左上端および右下端それぞれの座標が(Xa0,Ya0),(Xa1,Ya1)であり、(3)外部ディスプレイ21に表示される第1の画面イメージの左上端および右下端それぞれの座標が(Xe0,Ye0),(Xe1,Ye1)であり、(4)ユーザが指又はペンによってタッチしたコピー画面イメージ上の位置の座標が(x,y)である場合を想定する。
【0044】
まず、コントロールアプリケーションプログラム204は、コピー画面イメージに対するタッチ位置の相対位置、つまり、ユーザーがポイントした座標(x,y)がコピー画面イメージ内のどの比率の場所に位置するかを計算する。
【0045】
xr = (x-Xa0) / (Xa1-Xa0)
yr = (y-Ya0) / (Ya1-Ya0)
ここで、xrは、コピー画面イメージのX方向(水平方向)のサイズに対するタッチ位置のX座標の比率を示し、yrは、コピー画面イメージのY方向(水平方向)のサイズに対するタッチ位置のY座標位置の比率を示す。各比率の最小値は0、各比率の最大値は1である。
【0046】
コントロールアプリケーションプログラム204は、xrおよびyrに基づいて、ユーザがタッチした位置が、外部ディスプレイ21の画面上のどの位置になるか以下のように計算をする。
xx = Xe0 + (Xe1-Xe0)×xr
yy = Ye0 + (Ye1-Ye0)×yr
このように、コピー画面イメージ上のタッチ位置に対応する、外部ディスプレイ21の画面イメージ上の位置は、コピー画面イメージに対するタッチ位置の相対位置xr,yrに基づいて、算出される。
【0047】
そして、コントロールアプリケーションプログラム204は、座標(xx, yy)を示すポインティングイベントをOS201等に発行することにより、コピー画面イメージ上のタッチ位置に対応する、外部ディスプレイ21上の画面イメージ上の位置を指定する。
【0048】
次に、図11乃至図13を参照して、外部ディスプレイ21とLCD13との間の画面サイズとアスペクト比との関係の例について説明する。上述したように、本実施形態では、コピー画面イメージは、外部ディスプレイ21に表示される画面イメージと同じアスペクト比で、LCD13上に表示される。図11は外部ディスプレイ21の画面のアスペクト比およびLCD13の画面のアスペクト比がそれぞれ16:9である場合を想定している。この場合、コピー画面イメージは、図11に示されているように、LCD13の画面全体に表示することが出来る。
【0049】
図12は外部ディスプレイ21の画面のアスペクト比が16:9であり、LCD13の画面のアスペクト比が4:3である場合を想定している。この場合、アスペクト比16:9のコピー画面イメージは、例えば、図12のように、“レターボックス”と称される表示形態でLCD13の画面上に表示される。図13は外部ディスプレイ21の画面のアスペクト比が4:3であり、LCD13の画面のアスペクト比が16:9である場合を想定している。この場合、アスペクト比4:3のコピー画面イメージは、例えば、図13のように、両サイドが黒帯となるような表示形態でLCD13の画面上に表示される。
【0050】
図14は、外部ディスプレイ21の画面イメージ全体ではなく、その画面イメージの一部を拡大してLCD13の画面上に表示する例が示されている。例えば、ユーザは、外部ディスプレイ21の画面イメージ上の任意の部分をコピー領域として指定することができる。コントロールアプリケーションプログラム204は、外部ディスプレイ21の画面イメージのコピーから、コピー領域に属するイメージのみを抽出し、その抽出したイメージを上述のコピー画面イメージとしてLCD13の画面上に表示する。これにより、LCD13の画面の解像度が低い場合でも、ユーザはLCD13の画面上のタッチ操作により、外部ディスプレイ21の画面イメージ上の希望するGUI部分をポインティングすることができる。
【0051】
図15は、LCD13のコピー画面イメージ上に仮想キーボード101を表示した様子を示している。このようにLCD13のコピー画面イメージ上に仮想キーボード101を表示することにより、外部ディスプレイ21の画面イメージの一部が仮想キーボード101によって隠されるといった不具合を招くことなく、タッチ操作によってキーデータの入力を行うことが出来る。
【0052】
次に、図16のフローチャートを参照して、コントロールアプリケーションプログラム204によって実行される外部ディスプレイ制御処理の手順を説明する。
【0053】
コントロールアプリケーションプログラム204は、まず、外部ディスプレイ21の画面上に表示されている画面イメージをコピーする(ステップS11)。そして、コントロールアプリケーションプログラム204は、コピーされた画面イメージに対してリサイズのような加工処理を必要に応じて施し、この加工処理によって得られる画面イメージをタッチスクリーンディスプレイ(LCD13)上にコピー画面イメージとして表示する(ステップS12)。ステップS11およびステップS12の処理は、例えば、所定の時間間隔等で定期的に実行される。これにより、コントロールアプリケーションプログラム204が起動された時点以降は、外部ディスプレイ21の画面イメージと類似する画面イメージをタッチスクリーンディスプレイ(LCD13)上に常に表示することが可能となり、タッチスクリーンディスプレイ(LCD13)上の表示画面を、外部ディスプレイ21に表示されているアプリケーションウィンドウを制御するための操作画面として使用することが可能となる。
【0054】
次に、コントロールアプリケーションプログラム204は、コピー画面イメージ上の位置がタッチされた否かを判定する(ステップS13)。コピー画面イメージ上の位置がタッチされたならば(ステップS13のYES)、コントロールアプリケーションプログラム204は、コピー画面イメージに対するタッチ位置の相対位置に基づいて、そのコピー画面イメージ上のタッチ位置に対応する、外部ディスプレイ21の画面イメージ上の位置を指定するポインティング処理を実行する(ステップS13,S14)。例えば、ステップS13では、コントロールアプリケーションプログラム204は、タッチ位置の座標を外部ディスプレイ21の画面イメージ上の座標に変換する。この場合、コントロールアプリケーションプログラム204は、タッチ位置の座標に基づいて、コピー画面イメージに対するタッチ位置の相対位置xr,yrを算出し、そして、その相対位置xr,yrに基づいて、外部ディスプレイ21の画面イメージ上の対応する位置を示す座標(xx, yy)を算出する。この後、コントロールアプリケーションプログラム204は、座標(xx, yy)を示すポインティングイベントをOS201等に発行することにより、コピー画面イメージ上のタッチ位置に対応する、外部ディスプレイ21上の画面イメージ上の位置を指定する(ステップS14)。
【0055】
以上説明したように、本実施形態によれば、外部ディスプレイの解像度を有効利用でき、且つタッチパネルディスプレイを利用することによって外部ディスプレイの画面上の位置を容易に指定することができる。
【0056】
また、本実施形態の外部ディスプレイ制御機能はコンピュータプログラムによって実現されているので、このコンピュータプログラムを格納したコンピュータ読み取り可能な記憶媒体を通じて、このコンピュータプログラムをタッチスクリーンディスプレイを有するコンピュータにインストールして実行するだけで、本実施形態と同様の効果を容易に得ることが出来る。
【0057】
また、本発明は、上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。更に、異なる実施形態に構成要素を適宜組み合わせてもよい。
【0058】
以下、原出願の出願当初の特許請求の範囲に記載された発明を付記する。
【0059】
[1]タッチスクリーンディスプレイと、
前記タッチスクリーンディスプレイおよび外部ディスプレイをそれぞれ制御する表示コントローラと、
前記外部ディスプレイの画面上に表示される画面イメージをコピーすることによって得られるコピー画面イメージを、前記タッチスクリーンディスプレイの画面上に表示するコピー画面イメージ表示手段と、
前記コピー画面イメージに対する前記コピー画面イメージ上のタッチ位置の相対位置に基づいて、前記コピー画面イメージ上のタッチ位置に対応する、前記外部ディスプレイの画面イメージ上の位置を指定するポインティング手段とを具備することを特徴とする情報処理装置。
【0060】
[2]前記コピー画面イメージ表示手段は、前記外部ディスプレイの前記画面イメージ内の指定された部分をコピーすることによって得られる画面イメージを、前記コピー画面イメージとして前記タッチスクリーンディスプレイの画面上に表示することを特徴とする[1]記載の情報処理装置。
【0061】
[3]キーコードをそれぞれ入力するための複数の仮想キーを含む仮想キーボードを前記タッチスクリーンディスプレイの画面上に表示する仮想キーボード表示手段と、
前記複数の仮想キーから、前記タッチスクリーンディスプレイの画面上のタッチ位置に対応する仮想キーを選択し、当該選択された仮想キーに対応するコードデータを生成するコードデータ生成手段とをさらに具備することを特徴とする[1]記載の情報処理装置。
【0062】
[4]タッチスクリーンディスプレイと、
仮想画面上の第1および第2の領域それぞれに対応する第1および第2の画面イメージを前記タッチスクリーンディスプレイおよび外部ディスプレイにそれぞれ表示する表示コントローラと、
前記第2の画面イメージをコピーすることによって得られるコピー画面イメージを、前記タッチスクリーンディスプレイの前記第1の画面イメージ上に位置する表示エリア上に表示するコピー画面イメージ表示手段と、
前記コピー画面イメージに対する前記コピー画面イメージ上のタッチ位置の相対位置に基づいて、前記コピー画面イメージ上のタッチ位置に対応する、前記外部ディスプレイの画面イメージ上の位置を指定するポインティング手段とを具備することを特徴とする情報処理装置。
【0063】
[5]前記コピー画面イメージ表示手段は、前記外部ディスプレイの前記画面イメージ内の指定された部分をコピーすることによって得られる画面イメージを、前記コピー画面イメージとして前記タッチスクリーンディスプレイの画面上に表示することを特徴とする[4]記載の情報処理装置。
【0064】
[6]タッチスクリーンディスプレイ上のタッチ位置に応じて、外部ディスプレイの画面上に表示される画面イメージ上の位置を指定するポインティング方法であって、
前記外部ディスプレイの画面上に表示される前記画面イメージをコピーすることによって得られるコピー画面イメージを、前記タッチスクリーンディスプレイの画面上に表示するステップと、
前記コピー画面イメージに対する前記コピー画面イメージ上のタッチ位置の相対位置に基づいて、前記コピー画面イメージ上のタッチ位置に対応する、前記外部ディスプレイの画面イメージ上の位置を指定するステップとを具備することを特徴とするポインティング方法。
【0065】
[7]前記コピー画面イメージを表示するステップは、前記外部ディスプレイの前記画面イメージ内の指定された部分をコピーすることによって得られる画面イメージを、前記コピー画面イメージとして前記タッチスクリーンディスプレイの画面上に表示することを特徴とする[6]記載のポインティング方法。
【符号の説明】
【0066】
10…コンピュータ、13…LCD、13A…タッチパネル、21…外部ディスプレイ、111…CPU、204…コントロールアプリケーションプログラム、301…画面イメージコピー部、302…コピー画面イメージコピー部、303…ポインティング処理部、304…コピー画面制御部、305…仮想キーボード表示部、306…コードデータ出力部。

【特許請求の範囲】
【請求項1】
第1のフレームバッファ内の表示データに基づいて、第1の解像度を有する第1のディスプレイに第1の映像信号を出力し、第2のフレームバッファ内の表示データに基づいて、前記第1の解像度よりも高い第2の解像度を有する第2のディスプレイに第2の映像信号を出力するように構成された表示制御手段と、
前記第2のフレームバッファ内の表示データに基づいて、前記第2のディスプレイの画面に表示される画面イメージを縮小したコピー画面イメージに対応する表示データを前記第1のフレームバッファに格納するように構成されたデータ制御手段とを具備することを特徴とする情報処理装置。
【請求項2】
前記第1のディスプレイはタッチスクリーンディスプレイであり、
前記タッチスクリーンディスプレイに表示される前記コピー画面イメージに対する前記コピー画面イメージ上のタッチ位置の相対位置に基づいて、前記コピー画面イメージ上のタッチ位置に対応する、前記第2のディスプレイの画面イメージ上の位置を指定するポインティング手段をさらに具備することを特徴とする請求項1記載の情報処理装置。
【請求項3】
前記データ制御手段は、前記第2のディスプレイの画面イメージ内の一部分がユーザによってコピー領域として指定された場合、前記指定された部分の画面イメージを、前記コピー画面イメージとして前記タッチスクリーンディスプレイの画面上に表示することを特徴とする請求項2記載の情報処理装置。
【請求項4】
キーコードをそれぞれ入力するための複数の仮想キーを含む仮想キーボードを前記タッチスクリーンディスプレイの画面上に表示する仮想キーボード表示手段と、
前記複数の仮想キーから、前記タッチスクリーンディスプレイの画面上のタッチ位置に対応する仮想キーを選択し、当該選択された仮想キーに対応するコードデータを生成するコードデータ生成手段とをさらに具備することを特徴とする請求項2記載の情報処理装置。
【請求項5】
仮想画面上の第1および第2の領域それぞれに対応する第1および第2の画面イメージを、第1の解像度を有する第1のディスプレイおよび前記第1の解像度よりも高い第2の解像度を有する第2のディスプレイにそれぞれ表示するように構成された表示制御手段と、
前記第2のディスプレイ用のフレームバッファ内の表示データに基づいて、前記第2のディスプレイの前記第2の画面イメージを縮小したコピー画面イメージに対応する表示データを前記第1のディスプレイ用のフレームバッファに格納するように構成されたデータ制御手段とを具備することを特徴とする情報処理装置。
【請求項6】
前記第1のディスプレイはタッチスクリーンディスプレイであり、
前記タッチスクリーンディスプレイに表示される前記コピー画面イメージに対する前記コピー画面イメージ上のタッチ位置の相対位置に基づいて、前記コピー画面イメージ上のタッチ位置に対応する、前記第2のディスプレイの前記第2の画面イメージ上の位置を指定するポインティング手段をさらに具備することを特徴とする請求項5記載の情報処理装置。
【請求項7】
前記データ制御手段は、前記第2のディスプレイの前記第2画面イメージ内の一部分がユーザによってコピー領域として指定された場合、前記指定された部分の画面イメージを、前記コピー画面イメージとして前記タッチスクリーンディスプレイ上に表示することを特徴とする請求項6記載の情報処理装置。
【請求項8】
第1のフレームバッファの内の表示データに基づいて、第1の解像度を有する第1のディスプレイに第1の映像信号を出力し、第2のフレームバッファの内の表示データに基づいて、前記第1の解像度よりも高い第2の解像度を有する第2のディスプレイに第2の映像信号を出力し、
前記第2のフレームバッファ内の表示データに基づいて、前記第2のディスプレイの画面に表示される画面イメージを縮小したコピー画面イメージに対応する表示データを前記第1のフレームバッファに格納することを特徴とする表示方法。
【請求項9】
前記第1のディスプレイはタッチスクリーンディスプレイであり、
前記タッチスクリーンディスプレイに表示される前記コピー画面イメージに対する前記コピー画面イメージ上のタッチ位置の相対位置に基づいて、前記コピー画面イメージ上のタッチ位置に対応する、前記第2のディスプレイの画面イメージ上の位置を指定することをさらに具備することを特徴とする請求項8記載の表示方法。
【請求項10】
第1のフレームバッファの内の表示データに基づいて第1の解像度を有する第1のディスプレイに第1の画面イメージを表示すると共に、第2のフレームバッファの内の表示データに基づいて前記第1の解像度よりも高い第2の解像度を有する第2のディスプレイに第2の画面イメージを表示する手順と、
前記第2のフレームバッファ内の表示データに基づいて、前記第2のディスプレイに表示される前記第2の画面イメージを縮小したコピー画面イメージに対応する表示データを前記第1のフレームバッファに格納する手順とをコンピュータに実行させることを特徴とするプログラム。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate

【図9】
image rotate

【図10】
image rotate

【図11】
image rotate

【図12】
image rotate

【図13】
image rotate

【図14】
image rotate

【図15】
image rotate

【図16】
image rotate


【公開番号】特開2011−170902(P2011−170902A)
【公開日】平成23年9月1日(2011.9.1)
【国際特許分類】
【出願番号】特願2011−129500(P2011−129500)
【出願日】平成23年6月9日(2011.6.9)
【分割の表示】特願2009−295628(P2009−295628)の分割
【原出願日】平成21年12月25日(2009.12.25)
【出願人】(000003078)株式会社東芝 (54,554)
【Fターム(参考)】