情報処理装置
【課題】マルチディスプレイ環境のような広い画面表示領域を使用しても、ポインティングデバイスの操作性を向上させることができる情報処理装置を提供すること。
【解決手段】１つ以上のディスプレイおよび前記ディスプレイの画面内の情報を操作するためのポインティングデバイスを有し、ポインティングデバイスの操作に応じて前記画面内に表示されるポインタを移動制御する情報処理装置において、画面を区画した画面表示領域毎に対応してマウスポインタを画面表示領域内に表示させるポインタ表示手段１２０と、ポインタ表示手段１２０によって画面表示領域毎に表示されているマウスポインタのうち、ユーザの使用状況に応じて適切とされるマウスポインタを選択するポインタ選択手段１５０と、を備えるように構成する。
【解決手段】１つ以上のディスプレイおよび前記ディスプレイの画面内の情報を操作するためのポインティングデバイスを有し、ポインティングデバイスの操作に応じて前記画面内に表示されるポインタを移動制御する情報処理装置において、画面を区画した画面表示領域毎に対応してマウスポインタを画面表示領域内に表示させるポインタ表示手段１２０と、ポインタ表示手段１２０によって画面表示領域毎に表示されているマウスポインタのうち、ユーザの使用状況に応じて適切とされるマウスポインタを選択するポインタ選択手段１５０と、を備えるように構成する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画面内のポインタを介してユーザの指示を受付ける情報処理装置に関する。
【背景技術】
【０００２】
近年、多量な情報メディアを視聴する機会が増加していることやコンピュータのグラフィック性能の向上により、複数台のディスプレイを同時に使用して仮想的に広い画面領域を有するマルチディスプレイ環境でコンピュータを利用するユーザが増えている。
【０００３】
マルチディスプレイ環境では、広い画面領域を自由に利用できるために一度に多量な情報メディアをユーザが視聴できるが、広い画面領域をマウス等のポインティングデバイスで操作することが煩雑となる。例えば、ユーザが一度マウスポインタの位置を忘れてしまうと広い画面領域内でマウスポインタの位置を探すのが困難になることなどが挙げられる。
【０００４】
そこで、従来、この種のコンピュータとしては、マルチディスプレイ環境でディスプレイ間のマウス移動の操作性を向上させるために、２つのディスプレイ間でマウスの移動が可能な領域をそれぞれのディスプレイ上に表示させることでユーザに移動可能領域を通知しているため、ユーザが移動可能な箇所を識別することができ、マウスポインタを両画面間で相互に移動させやすくしたものが知られている（例えば、特許文献１参照）。
【０００５】
また、この種のコンピュータとしては、ペン入力可能なマルチディスプレイ環境で、ペン入力によるディスプレイ間を横切るドラッグ操作が実行できるように、ドラッグ操作中にディスプレイの端でペン入力が中断されたことを一定時間記録しておき、一定時間内に隣接するディスプレイにペン入力がされた場合にはドラッグ操作が再開されたと判定するものが知られている（例えば、特許文献２参照）。
【０００６】
また、この種のコンピュータとしては、マルチディスプレイ環境におけるメインディスプレイとサブディスプレイでは解像度等の性能の違いが生じる場合、マウスポインタで指定されたアクティブウィンドウがメインディスプレイではない場合は、サブディスプレイの画面内容とメインディスプレイの画面内容とを交換して、それぞれの表示装置に表示させることで、常にアクティブウィンドウをメインディスプレイにすることができ、ユーザの作業効率が改善されるものが知られている（例えば、特許文献３参照）。
【０００７】
また、この種のコンピュータとしては、マルチディスプレイや高解像度の大型ディスプレイではマウスポインタを見失って探すことが困難になるため、所定の動作を行うとマウスポインタの表示方法やディスプレイ上のウィンドウ情報等を変更することでマウスポインタの位置をユーザに通知するものが知られている（例えば、特許文献４参照）。
【０００８】
また、この種のコンピュータとしては、携帯端末型のマルチディスプレイシステムにおいて、ユーザの視線を検出して、ユーザが使用していないディスプレイの輝度を低下させることで省電力にするものが知られている（例えば、特許文献５参照）。
【０００９】
また、この種のコンピュータとしては、複数のパーソナルコンピュータに１つのポインティングデバイスを接続し、それぞれのパーソナルコンピュータに接続されているディスプレイの画面制御を１つのポインティングデバイスで操作可能にするマルチディスプレイシステム環境を構築するものが知られている（例えば、特許文献６参照）。
【００１０】
また、この種のコンピュータとしては、ウィンドウ上をマウスを右クリックした状態で表示される操作メニューの「ウィンドウ登録」項目を用いてウィンドウ識別子を登録しておき、マウスからアクティブウィンドウの切り替えを要求するイベントが入力された場合、登録されている複数のウィンドウ識別子それぞれに対応するウィンドウの間で、アクティブウィンドウを次から次に切り替える処理を実行することで、多数のウィンドウが表示されている場合にユーザが切り替え操作を何度も繰り返す必要がなく、目的のウィンドウを容易に切り替えることができるものが知られている（例えば、特許文献７参照）。
【特許文献１】特開２００６−５９２５１号公報
【特許文献２】特開２００５−３４６５８３号公報
【特許文献３】特開２００４−２９０４６号公報
【特許文献４】特開２００２−２１５２８４号公報
【特許文献５】特開平７−１４６８４５号公報
【特許文献６】特開２００２−５５８０８号公報
【特許文献７】特開２００６−３３０９１２号公報
【発明の開示】
【発明が解決しようとする課題】
【００１１】
しかしながら、上述した特許文献に示した情報処理装置では、マルチディスプレイ環境において、ディスプレイ間で相互にマウスポインタを移動可能な箇所を識別したり、ディスプレイ間を横切るドラッグ操作が実行できたり、マウスポインタを見失わないようにマウスポインタの表示方法を目立つよう変更したりすることができるが、広い画面表示領域の端から端までマウスポインタを移動させる際にもユーザがマウスを大きく動かさなければならないなど、広い画面表示領域に対応したマウスの操作性の向上を考慮していないという問題がある。
【００１２】
そこで、本発明は、マルチディスプレイ環境のような広い画面表示領域を使用しても、ポインティングデバイスの操作性を向上させることができる情報処理装置を提供することを目的としている。
【課題を解決するための手段】
【００１３】
本発明の情報処理装置は、１つ以上のディスプレイおよび前記ディスプレイの画面内の情報を操作するためのポインティングデバイスを有し、前記ポインティングデバイスの操作に応じて前記画面内に表示されるポインタを移動制御する情報処理装置において、前記画面を区画した画面表示領域毎に対応してポインタを前記画面表示領域内に表示させるポインタ表示手段と、前記ポインタ表示手段によって前記画面表示領域毎に表示されているポインタのうち、ユーザの使用状況に応じて適切とされるポインタを選択するポインタ選択手段と、を備えた構成を有している。
この構成により、画面表示領域毎に対応して１つのポインタを画面表示領域内に表示させ、画面表示領域毎に表示されているポインタのうち、ユーザの使用状況に応じて適切とされるポインタを選択し、選択されたポインタをユーザが操作することで、マルチディスプレイ環境のような広い画面表示領域を使用する際、ユーザがポインティングデバイスを大きく動かす必要もなくなり、ポインティングデバイスの操作性を向上させることができる。
【００１４】
また、本発明の情報処理装置は、使用している前記ディスプレイを認識する画面情報認識手段を備え、前記ポインタ表示手段が、前記画面情報認識手段で認識した前記ディスプレイの画面を前記画面表示領域とし、前記ディスプレイの画面毎に対応して前記ポインタを表示する構成を有している。
この構成により、認識した画面毎に対応してポインタを表示するため、簡易にポインタを表示することができる。
【００１５】
また、本発明の情報処理装置は、前記ディスプレイの画面内に表示されるアイコンまたはアプリケーションウィンドウを含むユーザインタフェース領域を認識するユーザインタフェース領域認識手段を備え、前記ポインタ選択手段が、前記ポインタ表示手段によって前記画面表示領域毎に表示されているポインタのうち、前記ユーザインタフェース領域にあるポインタを選択する構成を有している。
この構成により、画面表示領域毎に表示されているポインタのうち、ユーザインタフェース領域にあるポインタを選択するため、ユーザの使用状況に応じた適切なポインタを選択することができる。
【００１６】
また、本発明の情報処理装置は、前記ディスプレイの画面内のユーザインタフェース領域それぞれが、各前記画面内で同じ表示位置にある場合には、前記画面内で互いに異なる表示位置になるように変更するユーザインタフェース変更手段を備えた構成を有している。
この構成により、ユーザインタフェース領域が各画面内で同じ表示位置にある場合には、画面内で互いに異なる表示位置になるように変更するため、ポインタの選択精度を向上させることができる。
【００１７】
また、本発明の情報処理装置は、前記ユーザの視線方向を計測する視線方向計測手段を備え、前記ポインタ選択手段が、前記視線方向計測手段によって計測された視線方向情報を参照して前記ユーザの使用状況に応じて適切とされるポインタを選択する構成を有している。
この構成により、視線方向情報を参照してユーザの使用状況に応じて適切とされるポインタを選択するため、ユーザの使用状況に応じた適切なポインタを選択することができ、ポインタの選択精度を高め、ポインタの選択時間を早めることができる。
【００１８】
また、本発明の情報処理装置は、前記ポインタ選択手段が、前記視線方向計測手段によって計測された視線方向情報および前記ポインタの画面内の位置情報を参照して前記ユーザの使用状況に応じて適切とされるポインタを選択する構成を有している。
この構成により、視線方向情報およびポインタの画面内の位置情報を参照してユーザの使用状況に応じて適切とされるポインタを選択するため、視線方向情報でポインタの選択が出来ない場合、ポインタの位置情報でポインタを選択することができる。
【００１９】
また、本発明の情報処理装置は、前記ポインタ表示手段で表示されたポインタが指示しているときのタスク処理を実行する指示タスク実行手段と、前記指示タスク実行手段で実行したタスク情報を記録するタスク情報記録手段と、前記ポインタ選択手段によってポインタが選択された場合、前記ポインタ選択手段が選択しなかったポインタが指示したタスク処理のタスク情報を実行前の状態に戻すタスクロールバック手段と、を備えた構成を有している。
この構成により、ポインタが指示したタスク処理を実行すると共に、実行したタスク情報を記録し、ポインタが選択された場合、選択しなかったポインタが指示したタスク処理のタスク情報を実行前の状態に戻すため、ポインタの選択前でもポインタにより指示したタスク処理が実行でき、選択されたポインタのタスク処理を迅速に実行できる。
【００２０】
また、本発明の情報処理装置は、前記ポインタ選択手段によって選択されたポインタの再選択の指示を受付けたときに前記ポインタ選択手段に再度選択させる再要求指示手段を備えた構成を有している。
この構成により、ポインタの再選択の指示を受付けたときにポインタを再度選択させるため、ユーザの指示によってマウスポインタの選択結果を変更することができる。
【００２１】
また、本発明の情報処理装置は、前記マウスポインタ表示手段は、前記ポインタ選択手段がポインタを選択したとき、前記ポインタ選択手段が選択したポインタと選択しなかったポインタとを区別して表示する構成を有している。
この構成により、選択したポインタと選択しなかったポインタとを区別して表示するため、選択されたマウスポインタをユーザが簡易に視認可能にすることができる。
【００２２】
また、本発明の情報処理装置は、前記ユーザが前記アイコンまたは前記アプリケーションウィンドウを前記ポインタで操作した履歴を含む操作履歴情報を取得する操作履歴取得手段を備え、前記ポインタ選択手段は、前記ユーザインタフェース領域にあるポインタの選択候補が複数ある場合、前記操作履歴情報を参照して最近操作した前記アイコンまたは前記アプリケーションウィンドウに対応する前記ユーザインタフェース領域を特定し、特定した前記ユーザインタフェース領域にあるポインタを選択する構成を有している。
この構成により、ユーザインタフェース領域にあるポインタの選択候補が複数ある場合、操作履歴情報を参照して最近操作したアイコンまたはアプリケーションウィンドウに対応するユーザインタフェース領域を特定し、特定したユーザインタフェース領域にあるポインタを選択するため、ユーザの使用状況に応じた適切なポインタを選択することができる。
【発明の効果】
【００２３】
以上のように本発明は、新たなデバイスを追加することなくマルチディスプレイ環境におけるマウスポインタの操作性を向上させることができる情報処理装置を提供するものである。
【発明を実施するための最良の形態】
【００２４】
以下、本発明の実施の形態について、図面を参照して説明する。
図１は、本発明の実施の形態に係るマルチディスプレイの利用形態を示す図である。図１では、３台のディスプレイ１０１が１台の情報処理装置１００に接続されている。情報を操作するデバイスとしては、キーボード１０３とマウス１０２が情報処理装置１００に接続されている。３台のディスプレイ１０１の画面は、情報処理装置１００によって仮想的に１つの画面として認識されており、１個のマウス１０２により全てのディスプレイ１０１の画面を操作できるようになっている。以下、ディスプレイ１０１の個々を区別する場合は、ディスプレイ１０１Ａ、ディスプレイ１０１Ｂ、ディスプレイ１０１Ｃと記載する。
【００２５】
図２は、本発明の実施の形態に係る情報処理装置のハードウェア構成図を示す。情報処理装置１００は、各種制御及び処理を行うＣＰＵ（Central Processing Unit）１０４と、ＳＤＲＡＭ（Synchronous Dynamic Random Access Memory）１０５と、ＨＤＤ（Hard Disk Drive）１０６と、複数のディスプレイ１０１を情報処理装置１００に接続するビデオカードなどの表示インターフェース（以下、インターフェースをＩ／Ｆと略す）１０７と、ディスプレイ１０１の画面を操作するマウス１０２や文字入力に使用するキーボード１０３などのポインティングデバイスを情報処理装置１００に接続する入力Ｉ／Ｆ１０８とを、バスを介して接続することにより構成される。その他、情報処理装置１００は、ＲＡＭなどを有する。
【００２６】
ＳＤＲＡＭ１０５は、ＣＰＵ１０４の作業領域として利用されるとともに、本発明における情報処理方法の各工程を実行するための処理プログラムや、ＯＳ（オペレーティングシステム）などのプログラムの固定情報の記録領域として利用される。処理プログラムは、ＨＤＤ１０６に一旦保存された後に必要なときにＳＤＲＡＭ１０５にロードされて実行される。
【００２７】
（本発明の第１の実施の形態）
図３は、本発明の第１の実施の形態に係る情報処理装置の機能ブロック図である。情報処理装置１００は、画面情報認識手段１１０と、ポインタ表示手段１２０と、ＵＩ領域認識手段１３０と、操作履歴取得手段１４０と、ポインタ選択手段１５０から構成される。これらの手段は、ＣＰＵ１０４によって実行されるプログラムなどで実現される。
【００２８】
画面情報認識手段１１０は、情報処理装置１００に接続されたディスプレイの台数を認識するようになっている。例えば、ディスプレイ１０１を接続した際に情報処理装置１００のＯＳは、接続されたディスプレイ１０１に関するディスプレイ情報を入手し、画面情報認識手段１１０は、ＯＳ側のディスプレイ情報を取得することでディスプレイ１０１の台数やディスプレイの画面サイズなどの情報を取得するようになっている。
【００２９】
ポインタ表示手段１２０は、画面情報認識手段１１０で認識したディスプレイ１０１の画面毎にマウスポインタをディスプレイ１０１の画面上に表示させるようになっている。例えば、ディスプレイ１０１の数が３台であった場合は、同時に３つのマウスポインタが表示されてマウス１０２の操作で移動する。マウスポインタの表示例を図４に示す。
【００３０】
図４では、マウスポインタ１０は、情報処理装置１００の起動直後、各ディスプレイ１０１の同じ位置に１つずつ表示される。以下、マウスポインタ１０の個々を区別する場合は、マウスポインタ１０Ａ、マウスポインタ１０Ｂ、マウスポインタ１０Ｃと記載する。また、図４では、ディスプレイ１０１には、アプリケーションウィンドウ１２やアイコン１１が表示されている。
【００３１】
図４では、ディスプレイ１０１の画面サイズ及び解像度が同一である例を示しているのだが、ディスプレイ１０１の性能が異なるものを使用しても良い。マウスポインタ１０を異なる解像度のディスプレイで同じ位置に表示するためには、マウスポインタ１０の位置情報を、基準となるディスプレイの画面サイズに対する比率情報に置き換えても良い。また、解像度と画面サイズが大きいディスプレイ１０１が存在する場合には、解像度と画面サイズが大きいディスプレイ１０１の１つの画面を複数の領域に分割して、分割した領域毎にマウスポインタ１０を１つずつ表示しても良い。
【００３２】
ＵＩ領域認識手段１３０は、各ディスプレイ１０１の画面に表示されるマウスポインタ１０で指示可能なユーザインタフェース領域（アプリケーションウィンドウ１２やアイコン１１等）の情報（以下、画面ＵＩ情報という）を認識する。画面ＵＩ情報は、情報処理装置１００のＯＳ側で管理されている。ＵＩ領域認識手段１３０は、ＯＳ側で管理されている画面ＵＩ情報を取得することでマウスポインタ１０がＵＩ領域にあるか否かを認識できる。
【００３３】
操作履歴取得手段１４０は、ユーザがアイコン１１またはアプリケーションウィンドウ１２をマウス１０２で操作した際の操作履歴情報を取得するようになっている。操作履歴情報としては、マウス１０２によるアイコン１１またはアプリケーションウィンドウ１２の移動操作やクリック操作、ドラッグ操作などの情報が挙げられる。これらの操作履歴情報は、情報処理装置１００のＲＡＭなどに記録されている。
【００３４】
ポインタ選択手段１５０は、ＵＩ領域認識手段１３０で認識した画面ＵＩ情報と、操作履歴取得手段１４０で記録した操作履歴情報とを参照して、ポインタ表示手段１２０で表示されている複数個のマウスポインタから、ユーザの使用状況に応じて適切とされるマウスポインタを選択するようになっている。
【００３５】
図５に示すように、マウスポインタ１０の選択処理は、ユーザがマウス１０２の左クリックを押した際に、ポインタ選択手段１５０は、各ディスプレイ１０１に表示されている画面ＵＩ情報を参照して、左クリックしたマウスポインタ１０の位置がユーザインタフェース領域であるかを判定し、ユーザインタフェース領域にあるマウスポインタ１０を選択する。例えば、ポインタ選択手段１５０は、図５のマウスポインタ１０Ｃがディスプレイ１０１Ｃのアプリケーションウィンドウ１２にあるため、ユーザの使用状況に応じて適切とされるマウスポインタとしてマウスポインタ１０Ｃを選択する。
【００３６】
指示可能な領域にあるマウスポインタが複数ある場合には、ポインタ選択手段１５０は、予め定めた優先順位に従ってマウスポインタを選択する。優先順位の一例としては、アイコンとアプリケーションウィンドウとではアイコン領域にあるマウスポインタを優先することや、操作履歴情報からユーザが最近操作したアプリケーションウィンドウやアイコンを特定し、特定したものに対応するユーザインタフェース領域にあるマウスポインタを優先することが挙げられる。
【００３７】
なお、ポインタ表示手段１２０は、ポインタ選択手段１５０がマウスポインタを選択したとき、ポインタ選択手段１５０が選択したマウスポインタと選択しなかったマウスポインタとを区別して表示するようにしてもよい。例えば、ポインタ表示手段１２０は、選択されたマウスポインタを拡大表示又は輝度を上げる等を行ってマウスポインタが決定されたことをユーザへ通知してもよい。また、ポインタ表示手段１２０は、選択されたマウスポインタと選択されなかったマウスポインタの表示色を常に別色にして選択されたマウスポインタをユーザへ通知しても良い。
【００３８】
図６は、本発明の第１の実施の形態に係る情報処理装置の動作を表すフローチャートである。
【００３９】
ステップＳ１において、画面情報認識手段１１０は、情報処理装置１００に接続された複数台のディスプレイ１０１の台数を認識する。図１の例では、複数台のディスプレイが１台の情報処理装置１００に接続されたマルチディスプレイ環境の例を示したが、複数台のディスプレイが複数台の情報処理装置１００に接続されたマルチディスプレイ環境を使用しても良い。
【００４０】
ステップＳ２において、ポインタ表示手段１２０は、ステップＳ１で認識した複数のディスプレイ１０１毎に対応してマウスポインタを表示する。なお、ポインタ表示手段１２０は、ディスプレイのサイズが大きいものには、１台のディスプレイに複数個のマウスポインタを表示するように変更しても良い。
【００４１】
ステップＳ３において、ＵＩ領域認識手段１３０は、各ディスプレイ１０１に表示されているマウスポインタで入力操作可能なユーザインタフェース領域の位置情報を取得する。ステップＳ４において、操作履歴取得手段１４０は、ユーザが操作した操作履歴情報を取得する。
【００４２】
ステップＳ５において、ポインタ選択手段１５０は、ステップＳ３で取得したユーザインタフェース領域の位置情報からユーザインタフェース領域内にあるマウスを選択し、複数のマウスが該当する場合、操作履歴情報を参照してユーザの使用状況に応じて適切とされるマウスポインタを選択する。
【００４３】
ステップＳ６において、ポインタ表示手段１２０は、ステップＳ５で選択されたマウスポインタと選択されなかったマウスポインタとを区別して（例えば色や大きさで区別するなど）ユーザにマウスポインタが選択されたことを通知する。
【００４４】
以上説明したように、本発明の第１の実施の形態に係る情報処理装置は、マルチディスプレイ環境のような広い画面領域を使用してもディスプレイの画面使用数に対応してマウスポインタを表示しユーザが使用するマウスポインタを自動的に選択処理することでマルチディスプレイ環境のポインティングデバイスを簡易に操作できる。
【００４５】
ここで、マウスのクリック操作情報以外にもマウスのドラッグ操作情報を利用してマウスポインタの選択処理をしても良い。
【００４６】
図７に示すように、マウス１０２のドラッグ操作の終了時に、クリック操作時の説明と同様に、ポインタ選択手段１５０は、各マウスポインタ１０の位置がユーザインタフェース領域であるかを判定することでユーザの使用状況に応じて適切とされるマウスポインタを選択しても良いし、ドラッグ操作による移動量情報を参照してマウスポインタ１０Ｃのように画面領域外に移動してしまうマウスポインタ１０Ｃを除外しても良い。
【００４７】
（本発明の第２の実施の形態）
図８は、本発明の第２の実施の形態に係る情報処理装置の機能ブロック図である。なお、本発明の第２の実施の形態に係る機能ブロックを構成する機能ブロックのうち、本発明の第１の実施の形態に係る機能ブロックを構成する機能ブロックと同じものには、同じ符号を付し、それぞれの説明を省略する。
【００４８】
また、図８の情報処理装置１００の機能ブロックに再要求指示手段１６０を追加することで、ポインタ選択手段１５０がユーザの意図に反するマウスポインタを選択してしまった場合に、ユーザの指示によって再度マウスポインタの選択処理を実行させてもよい。再要求指示手段１６０は、マウス１０２に附属しているスクロールボタンをユーザが押した際に、再要求指示手段１６０は、ポインタ選択手段１５０に選択結果がユーザの意図に反していることを伝え、ポインタ選択手段１５０は、前回の選択時の優先順位を落とすなどしてマウスポインタを再度選択する。
【００４９】
以上説明したように、本発明の第２の実施の形態に係る情報処理装置は、ユーザの意図に反するマウスポインタを選択してしまっても、マウス１０２に附属しているスクロールボタンをユーザが押した際に、マウスポインタを再度選択することができる。
【００５０】
（本発明の第３の実施の形態）
図９は、本発明の第３の実施の形態に係る情報処理装置の機能ブロック図である。なお、本発明の第３の実施の形態に係る機能ブロックを構成する機能ブロックのうち、本発明の第１の実施の形態に係る機能ブロックを構成する機能ブロックと同じものには、同じ符号を付し、それぞれの説明を省略する。
【００５１】
図９に示すように、ポインタ選択手段１５０の選択処理精度を向上させるためには、図９の情報処理装置１００の機能ブロックにＵＩ領域変更手段１７０を追加する。ＵＩ領域変更手段１７０は、ユーザインタフェース領域が各ディスプレイの画面内で同じ表示位置にある場合には、各ディスプレイの画面に表示されるユーザインタフェース領域の位置を互いに異なる位置に変更するようになっている。
【００５２】
例えば、図１０（Ａ）に示すように、ディスプレイ１０１Ｂに表示されているアプリケーションウィンドウ１２とディスプレイ１０１Ｃに表示されているアプリケーションウィンドウ１２の位置が同じ位置に表示されているが、ＵＩ領域認識手段１３０は、図１０（Ｂ）に示すように、各ディスプレイ１０１のユーザインタフェース領域の情報を参照して、ディスプレイ１０１Ｂおよびディスプレイ１０１Ｃの画面に表示されるアプリケーションウィンドウ１２の位置を互いに異なる位置に変更して移動させることによって、ディスプレイ１０１同士で同じ領域にユーザインタフェース領域が重複しないようにする。
【００５３】
以上説明したように、本発明の第３の実施の形態に係る情報処理装置は、ディスプレイ１０１同士で同じ領域にユーザインタフェース領域が重複しないようにするため、ポインタ選択手段１５０の選択処理精度を向上させることができる。
【００５４】
（本発明の第４の実施の形態）
図１１は、本発明の第４の実施の形態に係る情報処理装置の機能ブロック図である。なお、本発明の第４の実施の形態に係る機能ブロックを構成する機能ブロックのうち、本発明の第１の実施の形態に係る機能ブロックを構成する機能ブロックと同じものには、同じ符号を付し、それぞれの説明を省略する。
【００５５】
図１１の情報処理装置１００は、マウスポインタの選択処理を行っている最中では複数個のマウスポインタが指示しているアイコンまたはアプリケーションウィンドウなどに対応するタスク処理を同時に実行させ、マウスポインタを選択した時点で、選択しなかったマウスポインタが実行していたタスク処理を実行前の状態に戻す。この機能を実現するために図１１の情報処理装置１００の機能ブロックに指示タスク実行手段１８０と、タスク情報記録手段１８１と、タスクロールバック手段１８２を追加する。
【００５６】
指示タスク実行手段１８０は、複数個のマウスポインタが指示しているときのタスク処理を全て実行する手段であり、タスク情報記録手段１８１は、指示タスク実行手段１８０で実行されたタスク情報を記録するようになっている。
【００５７】
タスクスクロールバック手段１８２は、ポインタ選択手段１５０が操作履歴情報を継続的に評価することでマウスポインタを選択した際に、タスク情報記録手段１８１で記録されたタスク情報を参照して、選択されなかったマウスポインタが実行したタスク処理を実行前の状態にロールバックするようになっている。
【００５８】
図１２は、本発明の第４の実施の形態に係る情報処理装置の動作を表すフローチャートである。図１２のステップＳ１〜Ｓ４、ステップＳ６は、図６の同じ符号の処理と同様である。
【００５９】
ステップＳ１５において、指示タスク実行手段１８０は、左クリックなどで複数個のマウスポインタが指示しているときのタスク処理を全て実行し、タスク情報記録手段１８１は、指示タスク実行手段１８０で実行したタスクのタスク情報を記録する。
【００６０】
ステップＳ１６において、ポインタ選択手段１５０が、ステップＳ３で取得したユーザインタフェース領域の位置情報、ステップＳ４で取得した継続的な操作履歴情報を参照して、ユーザの使用状況に応じて適切とされるマウスポインタを選択するが、マウスポインタの選択処理時に操作履歴情報の必要な情報量が蓄積されていなければステップＳ３に戻り、蓄積されていればマウスポインタの選択処理を行いステップＳ１７に進む。
【００６１】
ステップＳ１７において、タスクスクロールバック手段１８２は、ステップＳ１５で記録したタスク情報を参照して、ステップＳ１６で選択しなかったマウスポインタが実行したタスク処理を実行前の状態に戻す。
【００６２】
以上説明したように、本発明の第４の実施の形態に係る情報処理装置は、マウスポインタの選択処理前でもマウスポインタにより指示したタスク処理が実行できる情報操作環境を提供できる。
【００６３】
（本発明の第５の実施の形態）
図１３は、本発明の第５の実施の形態に係るマルチディスプレイの利用形態を示す図である。複数個のマウスポインタから、ユーザの使用状況に応じて適切とされるマウスポインタを選択処理する際に、ユーザの視線情報を参照して選択処理を実行するため、図１３では、ディスプレイ１０１のうち中央のディスプレイ１０１Ｂに画像入力部１０９（ＵＳＢカメラ等）が設置されている。画像入力部１０９は、ユーザの視線に関する情報を取得するものである。
【００６４】
図１４は、本発明の第５の実施の形態に係る情報処理装置の機能ブロック図である。なお、本発明の第５の実施の形態に係る機能ブロックを構成する機能ブロックのうち、本発明の第１の実施の形態に係る機能ブロックを構成する機能ブロックと同じものには、同じ符号を付し、それぞれの説明を省略する。
【００６５】
図１４の情報処理装置１００は、画面情報認識手段１１０と、ポインタ表示手段１２０と、視線方向計測手段１９０と、ポインタ選択手段１５１から構成される。画面情報認識手段１１０およびポインタ表示手段１２０は、図３に示したものと同様である。
【００６６】
視線方向計測手段１９０は、ユーザの視線方向が複数台のディスプレイ１０１の中からどのディスプレイ１０１に向いているかを計測するようになっている。視線方向は、ディスプレイ１０１Ｂに設置された画像入力部１０９で撮影されたユーザの目又は顔の画像情報から検出する。
【００６７】
一般的な視線検出方法としては、目の画像情報を利用する場合には瞳孔の動きを追跡して視線方向を検出する方法や、顔の画像情報を利用する場合には顔の特徴的な画像領域部（目、口など）を認識してその位置の変化により視線方向を検出する方法や顔の輪郭情報から視線方向を検出する方法などが挙げられる。
【００６８】
ポインタ選択手段１５１は、視線方向計測手段１９０で計測された視線方向情報を参照して、ユーザの使用状況に応じて適切とされるマウスポインタを選択するようになっている。
【００６９】
ポインタ選択手段１５１は、始めに視線方向情報を参照して複数台のディスプレイからユーザがどのディスプレイを閲覧しているかを判定し、閲覧しているディスプレイのマウスポインタを選択するようになっている。例えば、視線方向情報が、ディスプレイとディスプレイとの中間地点付近にあり、ユーザが閲覧しているディスプレイの判定が困難な場合には、ディスプレイの画面内にあるマウスの位置情報を加味して判定する。
【００７０】
図１５は、マウスの位置情報を加味したマウスポインタの選択例を示した図である。図１５では、ユーザの視線方向がディスプレイ１０１Ｂとディスプレイ１０１Ｃの中間地点付近にある場合の例である。ディスプレイ１０１の画面の左半分を青領域、右半分を赤領域と予め決めておき、ポインタ選択手段１５１は、マウスポインタの位置情報を参照し、マウスポインタの位置情報が青色領域内にあればディスプレイ１０１Ｂと判定し、マウスの位置情報が赤色領域内にあればディスプレイ１０１Ｃと判定する。
【００７１】
また、ユーザがディスプレイ１０１上の情報を閲覧している際には、視線方向は短時間の間に左右に動くことがあるので、マウスポインタの選択処理はユーザの視線方向が１台のディスプレイの画面領域に任意の時間以上固定されている場合にマウスポインタを切り替えるようにしても良い。
【００７２】
以上説明したように、本発明の第５の実施の形態に係る情報処理装置は、ユーザの視線方向を参照してユーザの使用状況に応じて適切とされるマウスポインタを選択することで、マウスポインタの選択精度と選択時間の早期化を実現することができる。
【図面の簡単な説明】
【００７３】
【図１】本発明の実施の形態に係るマルチディスプレイの利用形態を示す図
【図２】本発明の実施の形態に係る情報処理装置のハードウェア構成図
【図３】本発明の第１の実施の形態に係る情報処理装置の機能ブロック図
【図４】本発明の実施の形態に係るマルチディスプレイ環境におけるマウスポインタの表示例を示す図
【図５】マウスポインタの選択の例を示す図
【図６】本発明の第１の実施の形態に係る情報処理装置の動作を表すフローチャート
【図７】マウスポインタの選択の例を示す図
【図８】本発明の第２の実施の形態に係る情報処理装置の機能ブロック図
【図９】本発明の第３の実施の形態に係る情報処理装置の機能ブロック図
【図１０】ＵＩ領域の変更の様子を示す図
【図１１】本発明の第４の実施の形態に係る情報処理装置の機能ブロック図
【図１２】本発明の第４の実施の形態に係る情報処理装置の動作を表すフローチャート
【図１３】本発明の第５の実施の形態に係るマルチディスプレイの利用形態を示す図
【図１４】本発明の第５の実施の形態に係る情報処理装置の機能ブロック図
【図１５】マウスの位置情報を加味したマウスポインタの選択例を示した図
【符号の説明】
【００７４】
１０ マウスポインタ
１１ アイコン
１２ アプリケーションウィンドウ
１００ 情報処理装置
１０１ ディスプレイ
１０２ マウス
１０３ キーボード
１０４ ＣＰＵ
１０６ ＨＤＤ
１０５ ＳＤＲＡＭ
１０７ 表示Ｉ／Ｆ
１０８ 入力Ｉ／Ｆ
１０９ 画像入力部
１１０ 画面情報認識手段
１２０ ポインタ表示手段
１３０ ＵＩ領域認識手段
１４０ 操作履歴取得手段
１５０、１５１ ポインタ選択手段
１６０ 再要求指示手段
１７０ ＵＩ領域変更手段
１８０ 指示タスク実行手段
１９０ 視線方向計測手段
【技術分野】
【０００１】
本発明は、画面内のポインタを介してユーザの指示を受付ける情報処理装置に関する。
【背景技術】
【０００２】
近年、多量な情報メディアを視聴する機会が増加していることやコンピュータのグラフィック性能の向上により、複数台のディスプレイを同時に使用して仮想的に広い画面領域を有するマルチディスプレイ環境でコンピュータを利用するユーザが増えている。
【０００３】
マルチディスプレイ環境では、広い画面領域を自由に利用できるために一度に多量な情報メディアをユーザが視聴できるが、広い画面領域をマウス等のポインティングデバイスで操作することが煩雑となる。例えば、ユーザが一度マウスポインタの位置を忘れてしまうと広い画面領域内でマウスポインタの位置を探すのが困難になることなどが挙げられる。
【０００４】
そこで、従来、この種のコンピュータとしては、マルチディスプレイ環境でディスプレイ間のマウス移動の操作性を向上させるために、２つのディスプレイ間でマウスの移動が可能な領域をそれぞれのディスプレイ上に表示させることでユーザに移動可能領域を通知しているため、ユーザが移動可能な箇所を識別することができ、マウスポインタを両画面間で相互に移動させやすくしたものが知られている（例えば、特許文献１参照）。
【０００５】
また、この種のコンピュータとしては、ペン入力可能なマルチディスプレイ環境で、ペン入力によるディスプレイ間を横切るドラッグ操作が実行できるように、ドラッグ操作中にディスプレイの端でペン入力が中断されたことを一定時間記録しておき、一定時間内に隣接するディスプレイにペン入力がされた場合にはドラッグ操作が再開されたと判定するものが知られている（例えば、特許文献２参照）。
【０００６】
また、この種のコンピュータとしては、マルチディスプレイ環境におけるメインディスプレイとサブディスプレイでは解像度等の性能の違いが生じる場合、マウスポインタで指定されたアクティブウィンドウがメインディスプレイではない場合は、サブディスプレイの画面内容とメインディスプレイの画面内容とを交換して、それぞれの表示装置に表示させることで、常にアクティブウィンドウをメインディスプレイにすることができ、ユーザの作業効率が改善されるものが知られている（例えば、特許文献３参照）。
【０００７】
また、この種のコンピュータとしては、マルチディスプレイや高解像度の大型ディスプレイではマウスポインタを見失って探すことが困難になるため、所定の動作を行うとマウスポインタの表示方法やディスプレイ上のウィンドウ情報等を変更することでマウスポインタの位置をユーザに通知するものが知られている（例えば、特許文献４参照）。
【０００８】
また、この種のコンピュータとしては、携帯端末型のマルチディスプレイシステムにおいて、ユーザの視線を検出して、ユーザが使用していないディスプレイの輝度を低下させることで省電力にするものが知られている（例えば、特許文献５参照）。
【０００９】
また、この種のコンピュータとしては、複数のパーソナルコンピュータに１つのポインティングデバイスを接続し、それぞれのパーソナルコンピュータに接続されているディスプレイの画面制御を１つのポインティングデバイスで操作可能にするマルチディスプレイシステム環境を構築するものが知られている（例えば、特許文献６参照）。
【００１０】
また、この種のコンピュータとしては、ウィンドウ上をマウスを右クリックした状態で表示される操作メニューの「ウィンドウ登録」項目を用いてウィンドウ識別子を登録しておき、マウスからアクティブウィンドウの切り替えを要求するイベントが入力された場合、登録されている複数のウィンドウ識別子それぞれに対応するウィンドウの間で、アクティブウィンドウを次から次に切り替える処理を実行することで、多数のウィンドウが表示されている場合にユーザが切り替え操作を何度も繰り返す必要がなく、目的のウィンドウを容易に切り替えることができるものが知られている（例えば、特許文献７参照）。
【特許文献１】特開２００６−５９２５１号公報
【特許文献２】特開２００５−３４６５８３号公報
【特許文献３】特開２００４−２９０４６号公報
【特許文献４】特開２００２−２１５２８４号公報
【特許文献５】特開平７−１４６８４５号公報
【特許文献６】特開２００２−５５８０８号公報
【特許文献７】特開２００６−３３０９１２号公報
【発明の開示】
【発明が解決しようとする課題】
【００１１】
しかしながら、上述した特許文献に示した情報処理装置では、マルチディスプレイ環境において、ディスプレイ間で相互にマウスポインタを移動可能な箇所を識別したり、ディスプレイ間を横切るドラッグ操作が実行できたり、マウスポインタを見失わないようにマウスポインタの表示方法を目立つよう変更したりすることができるが、広い画面表示領域の端から端までマウスポインタを移動させる際にもユーザがマウスを大きく動かさなければならないなど、広い画面表示領域に対応したマウスの操作性の向上を考慮していないという問題がある。
【００１２】
そこで、本発明は、マルチディスプレイ環境のような広い画面表示領域を使用しても、ポインティングデバイスの操作性を向上させることができる情報処理装置を提供することを目的としている。
【課題を解決するための手段】
【００１３】
本発明の情報処理装置は、１つ以上のディスプレイおよび前記ディスプレイの画面内の情報を操作するためのポインティングデバイスを有し、前記ポインティングデバイスの操作に応じて前記画面内に表示されるポインタを移動制御する情報処理装置において、前記画面を区画した画面表示領域毎に対応してポインタを前記画面表示領域内に表示させるポインタ表示手段と、前記ポインタ表示手段によって前記画面表示領域毎に表示されているポインタのうち、ユーザの使用状況に応じて適切とされるポインタを選択するポインタ選択手段と、を備えた構成を有している。
この構成により、画面表示領域毎に対応して１つのポインタを画面表示領域内に表示させ、画面表示領域毎に表示されているポインタのうち、ユーザの使用状況に応じて適切とされるポインタを選択し、選択されたポインタをユーザが操作することで、マルチディスプレイ環境のような広い画面表示領域を使用する際、ユーザがポインティングデバイスを大きく動かす必要もなくなり、ポインティングデバイスの操作性を向上させることができる。
【００１４】
また、本発明の情報処理装置は、使用している前記ディスプレイを認識する画面情報認識手段を備え、前記ポインタ表示手段が、前記画面情報認識手段で認識した前記ディスプレイの画面を前記画面表示領域とし、前記ディスプレイの画面毎に対応して前記ポインタを表示する構成を有している。
この構成により、認識した画面毎に対応してポインタを表示するため、簡易にポインタを表示することができる。
【００１５】
また、本発明の情報処理装置は、前記ディスプレイの画面内に表示されるアイコンまたはアプリケーションウィンドウを含むユーザインタフェース領域を認識するユーザインタフェース領域認識手段を備え、前記ポインタ選択手段が、前記ポインタ表示手段によって前記画面表示領域毎に表示されているポインタのうち、前記ユーザインタフェース領域にあるポインタを選択する構成を有している。
この構成により、画面表示領域毎に表示されているポインタのうち、ユーザインタフェース領域にあるポインタを選択するため、ユーザの使用状況に応じた適切なポインタを選択することができる。
【００１６】
また、本発明の情報処理装置は、前記ディスプレイの画面内のユーザインタフェース領域それぞれが、各前記画面内で同じ表示位置にある場合には、前記画面内で互いに異なる表示位置になるように変更するユーザインタフェース変更手段を備えた構成を有している。
この構成により、ユーザインタフェース領域が各画面内で同じ表示位置にある場合には、画面内で互いに異なる表示位置になるように変更するため、ポインタの選択精度を向上させることができる。
【００１７】
また、本発明の情報処理装置は、前記ユーザの視線方向を計測する視線方向計測手段を備え、前記ポインタ選択手段が、前記視線方向計測手段によって計測された視線方向情報を参照して前記ユーザの使用状況に応じて適切とされるポインタを選択する構成を有している。
この構成により、視線方向情報を参照してユーザの使用状況に応じて適切とされるポインタを選択するため、ユーザの使用状況に応じた適切なポインタを選択することができ、ポインタの選択精度を高め、ポインタの選択時間を早めることができる。
【００１８】
また、本発明の情報処理装置は、前記ポインタ選択手段が、前記視線方向計測手段によって計測された視線方向情報および前記ポインタの画面内の位置情報を参照して前記ユーザの使用状況に応じて適切とされるポインタを選択する構成を有している。
この構成により、視線方向情報およびポインタの画面内の位置情報を参照してユーザの使用状況に応じて適切とされるポインタを選択するため、視線方向情報でポインタの選択が出来ない場合、ポインタの位置情報でポインタを選択することができる。
【００１９】
また、本発明の情報処理装置は、前記ポインタ表示手段で表示されたポインタが指示しているときのタスク処理を実行する指示タスク実行手段と、前記指示タスク実行手段で実行したタスク情報を記録するタスク情報記録手段と、前記ポインタ選択手段によってポインタが選択された場合、前記ポインタ選択手段が選択しなかったポインタが指示したタスク処理のタスク情報を実行前の状態に戻すタスクロールバック手段と、を備えた構成を有している。
この構成により、ポインタが指示したタスク処理を実行すると共に、実行したタスク情報を記録し、ポインタが選択された場合、選択しなかったポインタが指示したタスク処理のタスク情報を実行前の状態に戻すため、ポインタの選択前でもポインタにより指示したタスク処理が実行でき、選択されたポインタのタスク処理を迅速に実行できる。
【００２０】
また、本発明の情報処理装置は、前記ポインタ選択手段によって選択されたポインタの再選択の指示を受付けたときに前記ポインタ選択手段に再度選択させる再要求指示手段を備えた構成を有している。
この構成により、ポインタの再選択の指示を受付けたときにポインタを再度選択させるため、ユーザの指示によってマウスポインタの選択結果を変更することができる。
【００２１】
また、本発明の情報処理装置は、前記マウスポインタ表示手段は、前記ポインタ選択手段がポインタを選択したとき、前記ポインタ選択手段が選択したポインタと選択しなかったポインタとを区別して表示する構成を有している。
この構成により、選択したポインタと選択しなかったポインタとを区別して表示するため、選択されたマウスポインタをユーザが簡易に視認可能にすることができる。
【００２２】
また、本発明の情報処理装置は、前記ユーザが前記アイコンまたは前記アプリケーションウィンドウを前記ポインタで操作した履歴を含む操作履歴情報を取得する操作履歴取得手段を備え、前記ポインタ選択手段は、前記ユーザインタフェース領域にあるポインタの選択候補が複数ある場合、前記操作履歴情報を参照して最近操作した前記アイコンまたは前記アプリケーションウィンドウに対応する前記ユーザインタフェース領域を特定し、特定した前記ユーザインタフェース領域にあるポインタを選択する構成を有している。
この構成により、ユーザインタフェース領域にあるポインタの選択候補が複数ある場合、操作履歴情報を参照して最近操作したアイコンまたはアプリケーションウィンドウに対応するユーザインタフェース領域を特定し、特定したユーザインタフェース領域にあるポインタを選択するため、ユーザの使用状況に応じた適切なポインタを選択することができる。
【発明の効果】
【００２３】
以上のように本発明は、新たなデバイスを追加することなくマルチディスプレイ環境におけるマウスポインタの操作性を向上させることができる情報処理装置を提供するものである。
【発明を実施するための最良の形態】
【００２４】
以下、本発明の実施の形態について、図面を参照して説明する。
図１は、本発明の実施の形態に係るマルチディスプレイの利用形態を示す図である。図１では、３台のディスプレイ１０１が１台の情報処理装置１００に接続されている。情報を操作するデバイスとしては、キーボード１０３とマウス１０２が情報処理装置１００に接続されている。３台のディスプレイ１０１の画面は、情報処理装置１００によって仮想的に１つの画面として認識されており、１個のマウス１０２により全てのディスプレイ１０１の画面を操作できるようになっている。以下、ディスプレイ１０１の個々を区別する場合は、ディスプレイ１０１Ａ、ディスプレイ１０１Ｂ、ディスプレイ１０１Ｃと記載する。
【００２５】
図２は、本発明の実施の形態に係る情報処理装置のハードウェア構成図を示す。情報処理装置１００は、各種制御及び処理を行うＣＰＵ（Central Processing Unit）１０４と、ＳＤＲＡＭ（Synchronous Dynamic Random Access Memory）１０５と、ＨＤＤ（Hard Disk Drive）１０６と、複数のディスプレイ１０１を情報処理装置１００に接続するビデオカードなどの表示インターフェース（以下、インターフェースをＩ／Ｆと略す）１０７と、ディスプレイ１０１の画面を操作するマウス１０２や文字入力に使用するキーボード１０３などのポインティングデバイスを情報処理装置１００に接続する入力Ｉ／Ｆ１０８とを、バスを介して接続することにより構成される。その他、情報処理装置１００は、ＲＡＭなどを有する。
【００２６】
ＳＤＲＡＭ１０５は、ＣＰＵ１０４の作業領域として利用されるとともに、本発明における情報処理方法の各工程を実行するための処理プログラムや、ＯＳ（オペレーティングシステム）などのプログラムの固定情報の記録領域として利用される。処理プログラムは、ＨＤＤ１０６に一旦保存された後に必要なときにＳＤＲＡＭ１０５にロードされて実行される。
【００２７】
（本発明の第１の実施の形態）
図３は、本発明の第１の実施の形態に係る情報処理装置の機能ブロック図である。情報処理装置１００は、画面情報認識手段１１０と、ポインタ表示手段１２０と、ＵＩ領域認識手段１３０と、操作履歴取得手段１４０と、ポインタ選択手段１５０から構成される。これらの手段は、ＣＰＵ１０４によって実行されるプログラムなどで実現される。
【００２８】
画面情報認識手段１１０は、情報処理装置１００に接続されたディスプレイの台数を認識するようになっている。例えば、ディスプレイ１０１を接続した際に情報処理装置１００のＯＳは、接続されたディスプレイ１０１に関するディスプレイ情報を入手し、画面情報認識手段１１０は、ＯＳ側のディスプレイ情報を取得することでディスプレイ１０１の台数やディスプレイの画面サイズなどの情報を取得するようになっている。
【００２９】
ポインタ表示手段１２０は、画面情報認識手段１１０で認識したディスプレイ１０１の画面毎にマウスポインタをディスプレイ１０１の画面上に表示させるようになっている。例えば、ディスプレイ１０１の数が３台であった場合は、同時に３つのマウスポインタが表示されてマウス１０２の操作で移動する。マウスポインタの表示例を図４に示す。
【００３０】
図４では、マウスポインタ１０は、情報処理装置１００の起動直後、各ディスプレイ１０１の同じ位置に１つずつ表示される。以下、マウスポインタ１０の個々を区別する場合は、マウスポインタ１０Ａ、マウスポインタ１０Ｂ、マウスポインタ１０Ｃと記載する。また、図４では、ディスプレイ１０１には、アプリケーションウィンドウ１２やアイコン１１が表示されている。
【００３１】
図４では、ディスプレイ１０１の画面サイズ及び解像度が同一である例を示しているのだが、ディスプレイ１０１の性能が異なるものを使用しても良い。マウスポインタ１０を異なる解像度のディスプレイで同じ位置に表示するためには、マウスポインタ１０の位置情報を、基準となるディスプレイの画面サイズに対する比率情報に置き換えても良い。また、解像度と画面サイズが大きいディスプレイ１０１が存在する場合には、解像度と画面サイズが大きいディスプレイ１０１の１つの画面を複数の領域に分割して、分割した領域毎にマウスポインタ１０を１つずつ表示しても良い。
【００３２】
ＵＩ領域認識手段１３０は、各ディスプレイ１０１の画面に表示されるマウスポインタ１０で指示可能なユーザインタフェース領域（アプリケーションウィンドウ１２やアイコン１１等）の情報（以下、画面ＵＩ情報という）を認識する。画面ＵＩ情報は、情報処理装置１００のＯＳ側で管理されている。ＵＩ領域認識手段１３０は、ＯＳ側で管理されている画面ＵＩ情報を取得することでマウスポインタ１０がＵＩ領域にあるか否かを認識できる。
【００３３】
操作履歴取得手段１４０は、ユーザがアイコン１１またはアプリケーションウィンドウ１２をマウス１０２で操作した際の操作履歴情報を取得するようになっている。操作履歴情報としては、マウス１０２によるアイコン１１またはアプリケーションウィンドウ１２の移動操作やクリック操作、ドラッグ操作などの情報が挙げられる。これらの操作履歴情報は、情報処理装置１００のＲＡＭなどに記録されている。
【００３４】
ポインタ選択手段１５０は、ＵＩ領域認識手段１３０で認識した画面ＵＩ情報と、操作履歴取得手段１４０で記録した操作履歴情報とを参照して、ポインタ表示手段１２０で表示されている複数個のマウスポインタから、ユーザの使用状況に応じて適切とされるマウスポインタを選択するようになっている。
【００３５】
図５に示すように、マウスポインタ１０の選択処理は、ユーザがマウス１０２の左クリックを押した際に、ポインタ選択手段１５０は、各ディスプレイ１０１に表示されている画面ＵＩ情報を参照して、左クリックしたマウスポインタ１０の位置がユーザインタフェース領域であるかを判定し、ユーザインタフェース領域にあるマウスポインタ１０を選択する。例えば、ポインタ選択手段１５０は、図５のマウスポインタ１０Ｃがディスプレイ１０１Ｃのアプリケーションウィンドウ１２にあるため、ユーザの使用状況に応じて適切とされるマウスポインタとしてマウスポインタ１０Ｃを選択する。
【００３６】
指示可能な領域にあるマウスポインタが複数ある場合には、ポインタ選択手段１５０は、予め定めた優先順位に従ってマウスポインタを選択する。優先順位の一例としては、アイコンとアプリケーションウィンドウとではアイコン領域にあるマウスポインタを優先することや、操作履歴情報からユーザが最近操作したアプリケーションウィンドウやアイコンを特定し、特定したものに対応するユーザインタフェース領域にあるマウスポインタを優先することが挙げられる。
【００３７】
なお、ポインタ表示手段１２０は、ポインタ選択手段１５０がマウスポインタを選択したとき、ポインタ選択手段１５０が選択したマウスポインタと選択しなかったマウスポインタとを区別して表示するようにしてもよい。例えば、ポインタ表示手段１２０は、選択されたマウスポインタを拡大表示又は輝度を上げる等を行ってマウスポインタが決定されたことをユーザへ通知してもよい。また、ポインタ表示手段１２０は、選択されたマウスポインタと選択されなかったマウスポインタの表示色を常に別色にして選択されたマウスポインタをユーザへ通知しても良い。
【００３８】
図６は、本発明の第１の実施の形態に係る情報処理装置の動作を表すフローチャートである。
【００３９】
ステップＳ１において、画面情報認識手段１１０は、情報処理装置１００に接続された複数台のディスプレイ１０１の台数を認識する。図１の例では、複数台のディスプレイが１台の情報処理装置１００に接続されたマルチディスプレイ環境の例を示したが、複数台のディスプレイが複数台の情報処理装置１００に接続されたマルチディスプレイ環境を使用しても良い。
【００４０】
ステップＳ２において、ポインタ表示手段１２０は、ステップＳ１で認識した複数のディスプレイ１０１毎に対応してマウスポインタを表示する。なお、ポインタ表示手段１２０は、ディスプレイのサイズが大きいものには、１台のディスプレイに複数個のマウスポインタを表示するように変更しても良い。
【００４１】
ステップＳ３において、ＵＩ領域認識手段１３０は、各ディスプレイ１０１に表示されているマウスポインタで入力操作可能なユーザインタフェース領域の位置情報を取得する。ステップＳ４において、操作履歴取得手段１４０は、ユーザが操作した操作履歴情報を取得する。
【００４２】
ステップＳ５において、ポインタ選択手段１５０は、ステップＳ３で取得したユーザインタフェース領域の位置情報からユーザインタフェース領域内にあるマウスを選択し、複数のマウスが該当する場合、操作履歴情報を参照してユーザの使用状況に応じて適切とされるマウスポインタを選択する。
【００４３】
ステップＳ６において、ポインタ表示手段１２０は、ステップＳ５で選択されたマウスポインタと選択されなかったマウスポインタとを区別して（例えば色や大きさで区別するなど）ユーザにマウスポインタが選択されたことを通知する。
【００４４】
以上説明したように、本発明の第１の実施の形態に係る情報処理装置は、マルチディスプレイ環境のような広い画面領域を使用してもディスプレイの画面使用数に対応してマウスポインタを表示しユーザが使用するマウスポインタを自動的に選択処理することでマルチディスプレイ環境のポインティングデバイスを簡易に操作できる。
【００４５】
ここで、マウスのクリック操作情報以外にもマウスのドラッグ操作情報を利用してマウスポインタの選択処理をしても良い。
【００４６】
図７に示すように、マウス１０２のドラッグ操作の終了時に、クリック操作時の説明と同様に、ポインタ選択手段１５０は、各マウスポインタ１０の位置がユーザインタフェース領域であるかを判定することでユーザの使用状況に応じて適切とされるマウスポインタを選択しても良いし、ドラッグ操作による移動量情報を参照してマウスポインタ１０Ｃのように画面領域外に移動してしまうマウスポインタ１０Ｃを除外しても良い。
【００４７】
（本発明の第２の実施の形態）
図８は、本発明の第２の実施の形態に係る情報処理装置の機能ブロック図である。なお、本発明の第２の実施の形態に係る機能ブロックを構成する機能ブロックのうち、本発明の第１の実施の形態に係る機能ブロックを構成する機能ブロックと同じものには、同じ符号を付し、それぞれの説明を省略する。
【００４８】
また、図８の情報処理装置１００の機能ブロックに再要求指示手段１６０を追加することで、ポインタ選択手段１５０がユーザの意図に反するマウスポインタを選択してしまった場合に、ユーザの指示によって再度マウスポインタの選択処理を実行させてもよい。再要求指示手段１６０は、マウス１０２に附属しているスクロールボタンをユーザが押した際に、再要求指示手段１６０は、ポインタ選択手段１５０に選択結果がユーザの意図に反していることを伝え、ポインタ選択手段１５０は、前回の選択時の優先順位を落とすなどしてマウスポインタを再度選択する。
【００４９】
以上説明したように、本発明の第２の実施の形態に係る情報処理装置は、ユーザの意図に反するマウスポインタを選択してしまっても、マウス１０２に附属しているスクロールボタンをユーザが押した際に、マウスポインタを再度選択することができる。
【００５０】
（本発明の第３の実施の形態）
図９は、本発明の第３の実施の形態に係る情報処理装置の機能ブロック図である。なお、本発明の第３の実施の形態に係る機能ブロックを構成する機能ブロックのうち、本発明の第１の実施の形態に係る機能ブロックを構成する機能ブロックと同じものには、同じ符号を付し、それぞれの説明を省略する。
【００５１】
図９に示すように、ポインタ選択手段１５０の選択処理精度を向上させるためには、図９の情報処理装置１００の機能ブロックにＵＩ領域変更手段１７０を追加する。ＵＩ領域変更手段１７０は、ユーザインタフェース領域が各ディスプレイの画面内で同じ表示位置にある場合には、各ディスプレイの画面に表示されるユーザインタフェース領域の位置を互いに異なる位置に変更するようになっている。
【００５２】
例えば、図１０（Ａ）に示すように、ディスプレイ１０１Ｂに表示されているアプリケーションウィンドウ１２とディスプレイ１０１Ｃに表示されているアプリケーションウィンドウ１２の位置が同じ位置に表示されているが、ＵＩ領域認識手段１３０は、図１０（Ｂ）に示すように、各ディスプレイ１０１のユーザインタフェース領域の情報を参照して、ディスプレイ１０１Ｂおよびディスプレイ１０１Ｃの画面に表示されるアプリケーションウィンドウ１２の位置を互いに異なる位置に変更して移動させることによって、ディスプレイ１０１同士で同じ領域にユーザインタフェース領域が重複しないようにする。
【００５３】
以上説明したように、本発明の第３の実施の形態に係る情報処理装置は、ディスプレイ１０１同士で同じ領域にユーザインタフェース領域が重複しないようにするため、ポインタ選択手段１５０の選択処理精度を向上させることができる。
【００５４】
（本発明の第４の実施の形態）
図１１は、本発明の第４の実施の形態に係る情報処理装置の機能ブロック図である。なお、本発明の第４の実施の形態に係る機能ブロックを構成する機能ブロックのうち、本発明の第１の実施の形態に係る機能ブロックを構成する機能ブロックと同じものには、同じ符号を付し、それぞれの説明を省略する。
【００５５】
図１１の情報処理装置１００は、マウスポインタの選択処理を行っている最中では複数個のマウスポインタが指示しているアイコンまたはアプリケーションウィンドウなどに対応するタスク処理を同時に実行させ、マウスポインタを選択した時点で、選択しなかったマウスポインタが実行していたタスク処理を実行前の状態に戻す。この機能を実現するために図１１の情報処理装置１００の機能ブロックに指示タスク実行手段１８０と、タスク情報記録手段１８１と、タスクロールバック手段１８２を追加する。
【００５６】
指示タスク実行手段１８０は、複数個のマウスポインタが指示しているときのタスク処理を全て実行する手段であり、タスク情報記録手段１８１は、指示タスク実行手段１８０で実行されたタスク情報を記録するようになっている。
【００５７】
タスクスクロールバック手段１８２は、ポインタ選択手段１５０が操作履歴情報を継続的に評価することでマウスポインタを選択した際に、タスク情報記録手段１８１で記録されたタスク情報を参照して、選択されなかったマウスポインタが実行したタスク処理を実行前の状態にロールバックするようになっている。
【００５８】
図１２は、本発明の第４の実施の形態に係る情報処理装置の動作を表すフローチャートである。図１２のステップＳ１〜Ｓ４、ステップＳ６は、図６の同じ符号の処理と同様である。
【００５９】
ステップＳ１５において、指示タスク実行手段１８０は、左クリックなどで複数個のマウスポインタが指示しているときのタスク処理を全て実行し、タスク情報記録手段１８１は、指示タスク実行手段１８０で実行したタスクのタスク情報を記録する。
【００６０】
ステップＳ１６において、ポインタ選択手段１５０が、ステップＳ３で取得したユーザインタフェース領域の位置情報、ステップＳ４で取得した継続的な操作履歴情報を参照して、ユーザの使用状況に応じて適切とされるマウスポインタを選択するが、マウスポインタの選択処理時に操作履歴情報の必要な情報量が蓄積されていなければステップＳ３に戻り、蓄積されていればマウスポインタの選択処理を行いステップＳ１７に進む。
【００６１】
ステップＳ１７において、タスクスクロールバック手段１８２は、ステップＳ１５で記録したタスク情報を参照して、ステップＳ１６で選択しなかったマウスポインタが実行したタスク処理を実行前の状態に戻す。
【００６２】
以上説明したように、本発明の第４の実施の形態に係る情報処理装置は、マウスポインタの選択処理前でもマウスポインタにより指示したタスク処理が実行できる情報操作環境を提供できる。
【００６３】
（本発明の第５の実施の形態）
図１３は、本発明の第５の実施の形態に係るマルチディスプレイの利用形態を示す図である。複数個のマウスポインタから、ユーザの使用状況に応じて適切とされるマウスポインタを選択処理する際に、ユーザの視線情報を参照して選択処理を実行するため、図１３では、ディスプレイ１０１のうち中央のディスプレイ１０１Ｂに画像入力部１０９（ＵＳＢカメラ等）が設置されている。画像入力部１０９は、ユーザの視線に関する情報を取得するものである。
【００６４】
図１４は、本発明の第５の実施の形態に係る情報処理装置の機能ブロック図である。なお、本発明の第５の実施の形態に係る機能ブロックを構成する機能ブロックのうち、本発明の第１の実施の形態に係る機能ブロックを構成する機能ブロックと同じものには、同じ符号を付し、それぞれの説明を省略する。
【００６５】
図１４の情報処理装置１００は、画面情報認識手段１１０と、ポインタ表示手段１２０と、視線方向計測手段１９０と、ポインタ選択手段１５１から構成される。画面情報認識手段１１０およびポインタ表示手段１２０は、図３に示したものと同様である。
【００６６】
視線方向計測手段１９０は、ユーザの視線方向が複数台のディスプレイ１０１の中からどのディスプレイ１０１に向いているかを計測するようになっている。視線方向は、ディスプレイ１０１Ｂに設置された画像入力部１０９で撮影されたユーザの目又は顔の画像情報から検出する。
【００６７】
一般的な視線検出方法としては、目の画像情報を利用する場合には瞳孔の動きを追跡して視線方向を検出する方法や、顔の画像情報を利用する場合には顔の特徴的な画像領域部（目、口など）を認識してその位置の変化により視線方向を検出する方法や顔の輪郭情報から視線方向を検出する方法などが挙げられる。
【００６８】
ポインタ選択手段１５１は、視線方向計測手段１９０で計測された視線方向情報を参照して、ユーザの使用状況に応じて適切とされるマウスポインタを選択するようになっている。
【００６９】
ポインタ選択手段１５１は、始めに視線方向情報を参照して複数台のディスプレイからユーザがどのディスプレイを閲覧しているかを判定し、閲覧しているディスプレイのマウスポインタを選択するようになっている。例えば、視線方向情報が、ディスプレイとディスプレイとの中間地点付近にあり、ユーザが閲覧しているディスプレイの判定が困難な場合には、ディスプレイの画面内にあるマウスの位置情報を加味して判定する。
【００７０】
図１５は、マウスの位置情報を加味したマウスポインタの選択例を示した図である。図１５では、ユーザの視線方向がディスプレイ１０１Ｂとディスプレイ１０１Ｃの中間地点付近にある場合の例である。ディスプレイ１０１の画面の左半分を青領域、右半分を赤領域と予め決めておき、ポインタ選択手段１５１は、マウスポインタの位置情報を参照し、マウスポインタの位置情報が青色領域内にあればディスプレイ１０１Ｂと判定し、マウスの位置情報が赤色領域内にあればディスプレイ１０１Ｃと判定する。
【００７１】
また、ユーザがディスプレイ１０１上の情報を閲覧している際には、視線方向は短時間の間に左右に動くことがあるので、マウスポインタの選択処理はユーザの視線方向が１台のディスプレイの画面領域に任意の時間以上固定されている場合にマウスポインタを切り替えるようにしても良い。
【００７２】
以上説明したように、本発明の第５の実施の形態に係る情報処理装置は、ユーザの視線方向を参照してユーザの使用状況に応じて適切とされるマウスポインタを選択することで、マウスポインタの選択精度と選択時間の早期化を実現することができる。
【図面の簡単な説明】
【００７３】
【図１】本発明の実施の形態に係るマルチディスプレイの利用形態を示す図
【図２】本発明の実施の形態に係る情報処理装置のハードウェア構成図
【図３】本発明の第１の実施の形態に係る情報処理装置の機能ブロック図
【図４】本発明の実施の形態に係るマルチディスプレイ環境におけるマウスポインタの表示例を示す図
【図５】マウスポインタの選択の例を示す図
【図６】本発明の第１の実施の形態に係る情報処理装置の動作を表すフローチャート
【図７】マウスポインタの選択の例を示す図
【図８】本発明の第２の実施の形態に係る情報処理装置の機能ブロック図
【図９】本発明の第３の実施の形態に係る情報処理装置の機能ブロック図
【図１０】ＵＩ領域の変更の様子を示す図
【図１１】本発明の第４の実施の形態に係る情報処理装置の機能ブロック図
【図１２】本発明の第４の実施の形態に係る情報処理装置の動作を表すフローチャート
【図１３】本発明の第５の実施の形態に係るマルチディスプレイの利用形態を示す図
【図１４】本発明の第５の実施の形態に係る情報処理装置の機能ブロック図
【図１５】マウスの位置情報を加味したマウスポインタの選択例を示した図
【符号の説明】
【００７４】
１０ マウスポインタ
１１ アイコン
１２ アプリケーションウィンドウ
１００ 情報処理装置
１０１ ディスプレイ
１０２ マウス
１０３ キーボード
１０４ ＣＰＵ
１０６ ＨＤＤ
１０５ ＳＤＲＡＭ
１０７ 表示Ｉ／Ｆ
１０８ 入力Ｉ／Ｆ
１０９ 画像入力部
１１０ 画面情報認識手段
１２０ ポインタ表示手段
１３０ ＵＩ領域認識手段
１４０ 操作履歴取得手段
１５０、１５１ ポインタ選択手段
１６０ 再要求指示手段
１７０ ＵＩ領域変更手段
１８０ 指示タスク実行手段
１９０ 視線方向計測手段
【特許請求の範囲】
【請求項１】
１つ以上のディスプレイおよび前記ディスプレイの画面内の情報を操作するためのポインティングデバイスを有し、前記ポインティングデバイスの操作に応じて前記画面内に表示されるポインタを移動制御する情報処理装置において、
前記画面を区画した画面表示領域毎に対応してポインタを前記画面表示領域内に表示させるポインタ表示手段と、
前記ポインタ表示手段によって前記画面表示領域毎に表示されているポインタのうち、ユーザの使用状況に応じて適切とされるポインタを選択するポインタ選択手段と、を備えたことを特徴とする情報処理装置。
【請求項２】
使用している前記ディスプレイを認識する画面情報認識手段を備え、
前記ポインタ表示手段が、前記画面情報認識手段で認識した前記ディスプレイの画面を前記画面表示領域とし、前記ディスプレイの画面毎に対応して前記ポインタを表示することを特徴とする請求項１に記載の情報処理装置。
【請求項３】
前記ディスプレイの画面内に表示されるアイコンまたはアプリケーションウィンドウを含むユーザインタフェース領域を認識するユーザインタフェース領域認識手段を備え、
前記ポインタ選択手段が、前記ポインタ表示手段によって前記画面表示領域毎に表示されているポインタのうち、前記ユーザインタフェース領域にあるポインタを選択することを特徴とする請求項２に記載の情報処理装置。
【請求項４】
前記ディスプレイの画面内のユーザインタフェース領域それぞれが、各前記画面内で同じ表示位置にある場合には、前記画面内で互いに異なる表示位置になるように変更するユーザインタフェース変更手段を備えたことを特徴とする請求項３に記載の情報処理装置。
【請求項５】
前記ユーザの視線方向を計測する視線方向計測手段を備え、
前記ポインタ選択手段が、前記視線方向計測手段によって計測された視線方向情報を参照して前記ユーザの使用状況に応じて適切とされるポインタを選択することを特徴とする請求項２に記載の情報処理装置。
【請求項６】
前記ポインタ選択手段が、前記視線方向計測手段によって計測された視線方向情報および前記ポインタの画面内の位置情報を参照して前記ユーザの使用状況に応じて適切とされるポインタを選択することを特徴とする請求項５に記載の情報処理装置。
【請求項７】
前記ポインタ表示手段で表示されたポインタが指示しているときのタスク処理を実行する指示タスク実行手段と、
前記指示タスク実行手段で実行したタスク情報を記録するタスク情報記録手段と、
前記ポインタ選択手段によってポインタが選択された場合、前記ポインタ選択手段が選択しなかったポインタが指示したタスク処理のタスク情報を実行前の状態に戻すタスクロールバック手段と、を備えたことを特徴とする請求項２に記載の情報処理装置。
【請求項８】
前記ポインタ選択手段によって選択されたポインタの再選択の指示を受付けたときに前記ポインタ選択手段に再度選択させる再要求指示手段を備えたことを特徴とする請求項２に記載の情報処理装置。
【請求項９】
前記マウスポインタ表示手段は、前記ポインタ選択手段がポインタを選択したとき、前記ポインタ選択手段が選択したポインタと選択しなかったポインタとを区別して表示することを特徴とする請求項２に記載の情報処理装置。
【請求項１０】
前記ユーザが前記アイコンまたは前記アプリケーションウィンドウを前記ポインタで操作した履歴を含む操作履歴情報を取得する操作履歴取得手段を備え、
前記ポインタ選択手段は、前記ユーザインタフェース領域にあるポインタの選択候補が複数ある場合、前記操作履歴情報を参照して最近操作した前記アイコンまたは前記アプリケーションウィンドウに対応する前記ユーザインタフェース領域を特定し、特定した前記ユーザインタフェース領域にあるポインタを選択することを特徴とする請求項３に記載の情報処理装置。
【請求項１１】
情報処理装置が１つ以上のディスプレイの画面および画面内の情報を操作するためのポインティングデバイスを有し、前記ポインティングデバイスの操作に応じて前記画面内に表示されるポインタを制御する情報処理方法において、
使用中の前記ディスプレイの画面に関する情報を認識する画面情報認識ステップと、
前記画面表示領域を前記画面情報認識ステップで認識した画面とし、前記認識した画面毎に対応して前記ポインタを表示させるポインタ表示ステップと、
前記ポインタ表示ステップで前記画面表示領域毎に表示されているポインタのうち、ユーザの使用状況に応じて適切とされるポインタを選択するポインタ選択ステップと、を備えたことを特徴とする情報処理方法。
【請求項１２】
情報処理装置が１つ以上のディスプレイの画面および画面内の情報を操作するためのポインティングデバイスを有し、前記ポインティングデバイスの操作に応じて前記画面内に表示されるポインタを制御する情報処理プログラムにおいて、
使用中の前記ディスプレイの画面に関する情報を認識する画面情報認識ステップと、
前記画面表示領域を前記画面情報認識ステップで認識した画面とし、前記認識した画面毎に対応して前記ポインタを表示させるポインタ表示ステップと、
前記ポインタ表示ステップで前記画面表示領域毎に表示されているポインタのうち、ユーザの使用状況に応じて適切とされるポインタを選択するポインタ選択ステップと、を備えたことを特徴とする情報処理プログラム。
【請求項１３】
請求項１２に記載の情報処理プログラムを記録したコンピュータ読取可能な記録媒体。
【請求項１】
１つ以上のディスプレイおよび前記ディスプレイの画面内の情報を操作するためのポインティングデバイスを有し、前記ポインティングデバイスの操作に応じて前記画面内に表示されるポインタを移動制御する情報処理装置において、
前記画面を区画した画面表示領域毎に対応してポインタを前記画面表示領域内に表示させるポインタ表示手段と、
前記ポインタ表示手段によって前記画面表示領域毎に表示されているポインタのうち、ユーザの使用状況に応じて適切とされるポインタを選択するポインタ選択手段と、を備えたことを特徴とする情報処理装置。
【請求項２】
使用している前記ディスプレイを認識する画面情報認識手段を備え、
前記ポインタ表示手段が、前記画面情報認識手段で認識した前記ディスプレイの画面を前記画面表示領域とし、前記ディスプレイの画面毎に対応して前記ポインタを表示することを特徴とする請求項１に記載の情報処理装置。
【請求項３】
前記ディスプレイの画面内に表示されるアイコンまたはアプリケーションウィンドウを含むユーザインタフェース領域を認識するユーザインタフェース領域認識手段を備え、
前記ポインタ選択手段が、前記ポインタ表示手段によって前記画面表示領域毎に表示されているポインタのうち、前記ユーザインタフェース領域にあるポインタを選択することを特徴とする請求項２に記載の情報処理装置。
【請求項４】
前記ディスプレイの画面内のユーザインタフェース領域それぞれが、各前記画面内で同じ表示位置にある場合には、前記画面内で互いに異なる表示位置になるように変更するユーザインタフェース変更手段を備えたことを特徴とする請求項３に記載の情報処理装置。
【請求項５】
前記ユーザの視線方向を計測する視線方向計測手段を備え、
前記ポインタ選択手段が、前記視線方向計測手段によって計測された視線方向情報を参照して前記ユーザの使用状況に応じて適切とされるポインタを選択することを特徴とする請求項２に記載の情報処理装置。
【請求項６】
前記ポインタ選択手段が、前記視線方向計測手段によって計測された視線方向情報および前記ポインタの画面内の位置情報を参照して前記ユーザの使用状況に応じて適切とされるポインタを選択することを特徴とする請求項５に記載の情報処理装置。
【請求項７】
前記ポインタ表示手段で表示されたポインタが指示しているときのタスク処理を実行する指示タスク実行手段と、
前記指示タスク実行手段で実行したタスク情報を記録するタスク情報記録手段と、
前記ポインタ選択手段によってポインタが選択された場合、前記ポインタ選択手段が選択しなかったポインタが指示したタスク処理のタスク情報を実行前の状態に戻すタスクロールバック手段と、を備えたことを特徴とする請求項２に記載の情報処理装置。
【請求項８】
前記ポインタ選択手段によって選択されたポインタの再選択の指示を受付けたときに前記ポインタ選択手段に再度選択させる再要求指示手段を備えたことを特徴とする請求項２に記載の情報処理装置。
【請求項９】
前記マウスポインタ表示手段は、前記ポインタ選択手段がポインタを選択したとき、前記ポインタ選択手段が選択したポインタと選択しなかったポインタとを区別して表示することを特徴とする請求項２に記載の情報処理装置。
【請求項１０】
前記ユーザが前記アイコンまたは前記アプリケーションウィンドウを前記ポインタで操作した履歴を含む操作履歴情報を取得する操作履歴取得手段を備え、
前記ポインタ選択手段は、前記ユーザインタフェース領域にあるポインタの選択候補が複数ある場合、前記操作履歴情報を参照して最近操作した前記アイコンまたは前記アプリケーションウィンドウに対応する前記ユーザインタフェース領域を特定し、特定した前記ユーザインタフェース領域にあるポインタを選択することを特徴とする請求項３に記載の情報処理装置。
【請求項１１】
情報処理装置が１つ以上のディスプレイの画面および画面内の情報を操作するためのポインティングデバイスを有し、前記ポインティングデバイスの操作に応じて前記画面内に表示されるポインタを制御する情報処理方法において、
使用中の前記ディスプレイの画面に関する情報を認識する画面情報認識ステップと、
前記画面表示領域を前記画面情報認識ステップで認識した画面とし、前記認識した画面毎に対応して前記ポインタを表示させるポインタ表示ステップと、
前記ポインタ表示ステップで前記画面表示領域毎に表示されているポインタのうち、ユーザの使用状況に応じて適切とされるポインタを選択するポインタ選択ステップと、を備えたことを特徴とする情報処理方法。
【請求項１２】
情報処理装置が１つ以上のディスプレイの画面および画面内の情報を操作するためのポインティングデバイスを有し、前記ポインティングデバイスの操作に応じて前記画面内に表示されるポインタを制御する情報処理プログラムにおいて、
使用中の前記ディスプレイの画面に関する情報を認識する画面情報認識ステップと、
前記画面表示領域を前記画面情報認識ステップで認識した画面とし、前記認識した画面毎に対応して前記ポインタを表示させるポインタ表示ステップと、
前記ポインタ表示ステップで前記画面表示領域毎に表示されているポインタのうち、ユーザの使用状況に応じて適切とされるポインタを選択するポインタ選択ステップと、を備えたことを特徴とする情報処理プログラム。
【請求項１３】
請求項１２に記載の情報処理プログラムを記録したコンピュータ読取可能な記録媒体。
【図２】
【図３】
【図６】
【図８】
【図９】
【図１１】
【図１２】
【図１４】
【図１】
【図４】
【図５】
【図７】
【図１０】
【図１３】
【図１５】
【図３】
【図６】
【図８】
【図９】
【図１１】
【図１２】
【図１４】
【図１】
【図４】
【図５】
【図７】
【図１０】
【図１３】
【図１５】
【公開番号】特開２００９−２２３４９４（Ｐ２００９−２２３４９４Ａ）
【公開日】平成２１年１０月１日（２００９．１０．１）
【国際特許分類】
【出願番号】特願２００８−６５７６３（Ｐ２００８−６５７６３）
【出願日】平成２０年３月１４日（２００８．３．１４）
【出願人】（０００００６７４７）株式会社リコー (37,907)
【Ｆターム（参考）】
【公開日】平成２１年１０月１日（２００９．１０．１）
【国際特許分類】
【出願日】平成２０年３月１４日（２００８．３．１４）
【出願人】（０００００６７４７）株式会社リコー (37,907)
【Ｆターム（参考）】
[ Back to top ]