情報提示装置及び情報提示方法、並びにコンピュータ・プログラム
【課題】 ユーザの状態に応じて適切な時期並びに位置に情報提示を行なうことで、ユーザの作業集中を妨げず、且つ看過の危険性を減少させる。
【解決手段】 ユーザの視線動作をユーザの状態として検出する。ユーザの視線が前記画面外に向いていること、瞬きの波形がゆっくりとしたものになったこと、眼球成分が急速に減少したことにより、提示情報を前記画面上に提示可能な時期と判断する。画面上に配置されているウィンドウの状態とユーザの注視点の関係に基づいて、提示情報を提示する位置を決定する。例えば、ユーザが注視するウィンドウ以外で注視領域に近い場所を提示位置に決定する。
【解決手段】 ユーザの視線動作をユーザの状態として検出する。ユーザの視線が前記画面外に向いていること、瞬きの波形がゆっくりとしたものになったこと、眼球成分が急速に減少したことにより、提示情報を前記画面上に提示可能な時期と判断する。画面上に配置されているウィンドウの状態とユーザの注視点の関係に基づいて、提示情報を提示する位置を決定する。例えば、ユーザが注視するウィンドウ以外で注視領域に近い場所を提示位置に決定する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数のプログラムを切り替えながら並列的に処理し、幾つかの処理を並行して進めるマルチタスク機能を備えた情報提示装置及び情報提示方法、並びにコンピュータ・プログラムに係り、特に、実行中のアプリケーション・ウィンドウや資源オブジェクトを表象するアイコンなどが散在するデスクトップ上で、メール受信やニュース、システムで発生したイベントなどの情報をユーザに提示する情報提示装置及び情報提示方法、並びにコンピュータ・プログラムに関する。
【０００２】
さらに詳しくは、本発明は、ユーザの作業状態に応じて、ユーザの作業集中を妨げることなく情報提示を行なう情報提示装置及び情報提示方法、並びにコンピュータ・プログラムに係り、特に、必要な情報をユーザが看過することのないように提示する情報提示装置及び情報提示方法、並びにコンピュータ・プログラムに関する。
【背景技術】
【０００３】
昨今の技術革新に伴い、デスクトップ型、タワー型、ノートブック型など各種の計算機システムが開発され市販されている。計算機システムは、オペレーティング・システム（ＯＳ）が提供する実行環境下でさまざまな適用業務のアプリケーション・プログラムを動作することができる。
【０００４】
ＯＳは、基本的に、計算機システム内のハードウェア資源の制御を行なうとともに、ハードウェアを抽象化若しくは仮想化して、アプリケーション・プログラムに対しＡＰＩ（Ａｐｐｌｉｃａｔｉｏｎ Ｐｒｏｇｒａｍｍｉｎｇ Ｉｎｔｅｒｆａｃｅ）を提供する。また、ユーザに対しては、ビットマップ表示機能を活用し、プログラムやデータ、機器などの各資源オブジェクトを表象するアイコンをデスクトップ上に配置し、アイコンに対する直感的な操作によりシステムを操作するという、グラフィカルなユーザ・イーターフェース（ＧＵＩ）を提供するのが一般的である。
【０００５】
また、最近の計算機システムでは、ハードウェアの高性能化に伴い、複数のプログラムを切り替えながら並列的に処理し、幾つかの処理を並行して進めることができるマルチタスク機能を備えている。すなわち、ＯＳ、プロセッサやメモリ、ハード・ディスクなどの入出力機器を仮想的に多重化し、各アプリケーションの要求に応じてハードウェア資源を効率よく振り分ける。
【０００６】
マルチタスク環境下では、１つのデスクトップ上に、実行中の各アプリケーションの作業領域であるウィンドウが重畳して表示される。そして、ユーザは、各ウィンドウを交互に前面表示して、複数の処理を並行して実行する。
【０００７】
他方、計算機システム上では、さまざまなイベントが時々刻々と発生し、これに応じてユーザに提示する必要のある情報がある。例えば、新規メールの受信や最新のニュースの到来、あるいはＯＳからのエラー通知などのシステム情報などである。
【０００８】
ところが、ユーザが特定の作業に集中している状況においては、他の処理から提示された情報を看過しがちであったり、あるいは情報提示によりユーザが継続中の作業に対する集中が妨げられたり、といった問題がある。
【０００９】
例えば、アイトラッキング装置を用いてデスクトップ上でユーザの注視点を追跡し、ユーザの注視点に近接した位置にメッセージを表示することができる（例えば、特許文献１を参照のこと）。ユーザ・メッセージは、アイトラッカによって示される通りユーザの目が向けられているディスプレイ上の位置に自動的に位置決めされる。テキストを横切るユーザの目によって示されるように、ユーザがメッセージを読み取ったとき、メッセージは自動的にクリアされる。メッセージはユーザが話した応答によってもクリアされる。この場合、ユーザが情報を看過するのを防ぐことができるが、ユーザの状態を考慮していないため、不用意な情報の提示によりユーザの作業集中を妨げるおそれがある。
【００１０】
また、ユーザの状態と提示情報の重要度に基づいて情報提示時期を決定し、また、ユーザの状態から提示時期が適切であったかを判断してシステムにフィードバックする情報提示装置について提案がなされている（例えば、特許文献２を参照のこと）。この場合、ユーザの作業状態と提示情報内容の重要度を考慮して情報提示時期を制御することが可能となり、ユーザが遂行中の作業を情報提示によって妨げることなく、且つ提示された情報を感化する危険性を減少することができる。しかしながら、常に正しい情報提示時期を判断できるとは限らず、提示時期を誤った場合に、作業に速やかに戻ることはできない。また、情報の提示位置によってはユーザが看過したり、提示情報に気付くまでの時間が長くなったりするという問題がある。
【００１１】
【特許文献１】特開平１０−６９３６３号公報
【特許文献２】特開平７−２００２３１号公報
【発明の開示】
【発明が解決しようとする課題】
【００１２】
本発明の目的は、実行中のアプリケーション・ウィンドウや資源オブジェクトを表象するアイコンなどが散在するデスクトップ上で、メール受信やニュース、システムで発生したイベントなどの情報をユーザに好適に提示することができる、優れた情報提示装置及び情報提示方法、並びにコンピュータ・プログラムを提供することにある。
【００１３】
本発明のさらなる目的は、ユーザの作業状態に応じて、ユーザの作業集中を妨げることなく情報提示を好適に行なうことができる、優れた情報提示装置及び情報提示方法、並びにコンピュータ・プログラムを提供することにある。
【００１４】
本発明のさらなる目的は、必要な情報をユーザが看過することのないように提示することができる、優れた情報提示装置及び情報提示方法、並びにコンピュータ・プログラムを提供することにある。
【００１５】
本発明のさらなる目的は、ユーザの状態に応じて適切な時期並びに位置に情報提示を行なうことで、ユーザの作業集中を妨げず、且つ看過の危険性を減少させ、また、現在進行中のタスクを優先する場合には速やかにタスクに復旧することができる、優れた情報提示装置及び情報提示方法、並びにコンピュータ・プログラムを提供することにある。
【課題を解決するための手段】
【００１６】
本発明は、上記課題を参酌してなされたものであり、その第１の側面は、画面上でユーザの作業内容を表示出力する状況下でユーザに情報を提示する情報提示装置であって、ユーザの状態を検出するユーザ状態検出手段と、前記ユーザ状態検出手段によって検出されたユーザの状態に応じて情報を提示する時期を決定する情報提示時期決定手段と、前記ユーザ状態検出手段によって検出されたユーザの状態又は前記画面の状態の少なくとも一方に応じて、前記画面上で提示情報を提示する位置を決定する情報提示位置決定手段と、ユーザに提示すべき情報を取得する提示情報取得手段と、前記情報提示時期決定手段によって決定された時期及び前記情報提示位置決定手段によって決定された位置に基づいて、前記提示情報取得手段によって取得された情報を前記画面上に提示する情報提示手段とを具備することを特徴とする情報提示装置である。
【００１７】
マルチタスク環境下の計算機システムでは、ユーザの作業中に、新規メールの受信、新着ニュースの到来、エラーその他のシステム情報といった情報の提示を行なうことが必要となる局面がある。ところが、ユーザが特定の作業に集中している状況においては、他の処理から提示された情報を看過しがちであったり、あるいは情報提示によりユーザが継続中の作業に対する集中が妨げられたり、といった問題がある。
【００１８】
これに対し、本発明によれば、ユーザの状態に応じて情報を提示する時期を決定するとともに、ユーザの状態や前記画面の状態に応じて、前記画面上で提示情報を提示する位置を決定するようにしたので、ユーザの作業集中を妨げず、且つ看過の危険性を減少させ、また、現在進行中のタスクを優先する場合には速やかにタスクに復旧することができる。
【００１９】
前記ユーザ状態検出手段は、例えば、ユーザの視線動作をユーザの状態として検出することができる。
【００２０】
また、前記情報提示時期決定手段は、所定時間以上にわたりユーザの視線が前記画面外に向いていること、瞬きの波形がゆっくりとしたものになったこと、又は眼球成分が急速に減少したことのうち少なくとも１つに応答して、提示情報を前記画面上に提示可能な時期と判断することができる。
【００２１】
また、前記情報提示位置決定手段は、前記画面上に配置されているウィンドウの状態と前記ユーザ状態検出手段によって検出されたユーザの注視点の関係に基づいて、前記画面上で提示情報を提示する位置を決定することができる。
【００２２】
具体的には、前記画面上で複数のウィンドウが開いている状態では、ユーザが注視するウィンドウ以外で注視領域に近い場所を提示位置に決定する。また、前記画面上でフルウィンドウが開いている状態では、該ウィンドウ内におけるユーザの注視点が動き回る履歴に基づいて推測される次の注視領域以外の場所を提示位置に決定する。
【００２３】
また、本発明に係る情報提示装置は、前記提示情報取得手段によって取得された提示情報を処理する提示情報処理手段をさらに備え、前記情報提示手段は処理後の提示情報を前記画面上に提示するようにしてもよい。
【００２４】
ここで、前記提示情報処理手段は、前記ユーザ状態検出手段によって検出されたユーザの状態や前記画面の状態に応じて提示情報を処理する。前記提示情報処理手段は、前記情報提示位置決定手段によって決定された提示位置で確保される提示領域が十分大きいか否かに応じて提示情報の処理を行なう。例えば、前記提示情報処理手段は、前記画面上で提示情報を配置できる領域が狭い場合には、提示情報を簡略化し、あるいは要約するといった、情報を縮退する処理を施すようにしてもよい。
【００２５】
また、前記画面上に提示された提示情報をユーザが読み終えた状態か否かを検出する提示情報状態検出手段と、ユーザが読み終えた状態と判断された提示情報を前記画面から退避させる提示情報退避手段とをさらに備えていてもよい。
【００２６】
前記提示情報状態検出手段は、例えば、前記ユーザ状態検出手段によって検出されるユーザの視線動作に基づいて提示情報の状態を検出することができる。具体的には、前記画面上に提示された提示情報にユーザの視線が所定時間にわたり滞留した場合には、ユーザは提示情報を読み終えた状態と判断することができる。そして、前記提示情報退避手段は、ユーザが読んだと判断された提示情報を、例えば画面の端縁にあるステータス・バー内に退避させるようにしてもよい。ユーザは提示情報を再読したいときには、ステータス・バー内の該当アイコンをクリックすれば、提示情報は画面上に再びポップアップする。
【００２７】
また、本発明の第２の側面は、画面上でユーザの作業内容を表示出力する状況下でユーザに情報を提示するための処理をコンピュータ・システム上で実行するようにコンピュータ可読形式で記述されたコンピュータ・プログラムであって、ユーザの状態を検出するユーザ状態検出ステップと、前記ユーザ状態検出ステップにおいて検出されたユーザの状態に応じて情報を提示する時期を決定する情報提示時期決定ステップと、前記ユーザ状態検出ステップにおいて検出されたユーザの状態又は前記画面の状態の少なくとも一方に応じて、前記画面上で提示情報を提示する位置を決定する情報提示位置決定ステップと、ユーザに提示すべき情報を取得する提示情報取得ステップと、前記情報提示時期決定ステップにおいて決定された時期及び前記情報提示位置決定ステップにおいて決定された位置に基づいて、前記提示情報取得ステップにおいて取得された情報を前記画面上に提示する情報提示ステップとを具備することを特徴とするコンピュータ・プログラムである。
【００２８】
本発明の第２の側面に係るコンピュータ・プログラムは、コンピュータ・システム上で所定の処理を実現するようにコンピュータ可読形式で記述されたコンピュータ・プログラムを定義したものである。換言すれば、本発明の第２の側面に係るコンピュータ・プログラムをコンピュータ・システムにインストールすることによって、コンピュータ・システム上では協働的作用が発揮され、本発明の第１の側面に係る情報処理装置と同様の作用効果を得ることができる。
【発明の効果】
【００２９】
本発明によれば、実行中のアプリケーション・ウィンドウや資源オブジェクトを表象するアイコンなどが散在するデスクトップ上で、メール受信やニュース、システムで発生したイベントなどの情報をユーザに好適に提示することができる、優れた情報提示装置及び情報提示方法、並びにコンピュータ・プログラムを提供することができる。
【００３０】
本発明によれば、ユーザの作業状態に応じて情報の提示時期を制御することで、ユーザの作業集中を妨げることなく、情報提示を行なうことができる。且つ、ユーザの状態により提示位置を制御することで、看過の危険を減少させることができる。また、視線情報のみで提示情報を作業領域から退避させることにより、ユーザが進行中のタスクを優先させると判断した際も、速やかに作業に戻ることができる。
【００３１】
本発明のさらに他の目的、特徴や利点は、後述する本発明の実施形態や添付する図面に基づくより詳細な説明によって明らかになるであろう。
【発明を実施するための最良の形態】
【００３２】
以下、図面を参照しながら本発明の実施形態について詳解する。
【００３３】
本発明は、プログラムをメモリ空間上にロードして実行する計算機システムに関するものである。ここで言う、計算機システムは、オペレーティング・システム（ＯＳ）によって提供される実行環境下で、メモリにロードされたプログラム・コードをプロセッサが実行するタイプの一般的なコンピュータ・システムである。ここで、プログラムは、データやコードなど複数のプログラム・セグメントで構成される。
【００３４】
また、計算機システムは、キーボードやマウスなどにユーザ入力装置と、ＣＲＴディスプレイやフラット・パネル・ディスプレイなどの表示装置を備え、デスクトップ上での直感的なマウス操作が可能なグラフィカルなユーザ・イーターフェース（ＧＵＩ）を提供する。
【００３５】
さらに、計算機システムは、複数のプログラムを切り替えながら並列的に処理し、幾つかの処理を並行して進めることができるマルチタスク機能を備えており、１つのデスクトップ上には、実行中の各アプリケーションの作業領域であるウィンドウが重畳して表示される。
【００３６】
このような作業環境下では、新規メールの受信、新着ニュースの到来、エラーその他のシステム情報といった情報をユーザに提示することが必要となる局面がある。
【００３７】
図１には、本発明の実施に供される計算機システムのハードウェア構成を模式的に示している。
【００３８】
図示のシステムは、プロセッサ１０を中心に構成されている。プロセッサ１０は、オペレーティング・システム（ＯＳ）が提供するプログラム実行環境下で、メモリに記憶されたプログラムに基づいて各種の処理を実行する。また、プロセッサ１０は、外部バス・インターフェース１４及びバス３０を介して接続されている各種の周辺機器を制御している。バス３０に接続された周辺機器は次のようなものである。
【００３９】
メモリ２０は、例えばＤＲＡＭ（Ｄｙｎａｍｉｃ ＲＡＭ）などの半導体メモリで構成され、プロセッサ１０において実行されるプログラム・コードをロードしたり、実行プログラムの作業データを一時格納したりするために使用される。メモリ２０は、プロセッサ１０のメモリ空間を構成する。
【００４０】
ディスプレイ・コントローラ２１は、プロセッサ１０から送られてくる描画命令に従って表示画像を生成し、表示装置２２に送る。ディスプレイ・コントローラに接続された表示装置２２は、ディスプレイ・コントローラ２１から送られた表示画像情報に従い、その画像を画面に表示出力する。
【００４１】
入出力インターフェース２３は、キーボード２４やマウス２５が接続されており、キーボード２４やマウス２５からの入力信号をプロセッサ１０へ転送する。
【００４２】
入出力インターフェース２３は、例えばＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）などの汎用インターフェースを備えており、さまざまな情報機器を図示の計算機システムに接続することができる。例えば、ユーザの視線方向を検出するための画像入力を行なう場合（後述）には、カメラ２９を入出力インターフェース２３経由で接続することができる。
【００４３】
ネットワーク・インターフェース２６は、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）やインターネットなどの外部ネットワークに接続されており、インターネットを介したデータ通信を制御する。すなわち、プロセッサ１０から送られたデータをインターネット上の他の装置へ転送するとともに、インターネットを介して送られてきたデータを受け取りプロセッサ１０に渡す。例えば、プログラムやデータなどをネットワーク経由で外部から受信することができる。
【００４４】
ハード・ディスク装置（ＨＤＤ：Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）コントローラ２７には、ＨＤＤなどの大容量外部記憶装置２８が接続されており、ＨＤＤ コントローラ２７が接続されたＨＤＤ２８へのデータの入出力を制御する。ＨＤＤ２８には、プロセッサが実行すべきオペレーティング・システム（ＯＳ）のプログラム、アプリケーション・プログラム、ドライバ・プログラム、さらにはプログラムによって参照又は再生処理が行なわれるデータやコンテンツなどが格納されている。本実施形態では、各プログラムは、ＨＤＤ２８上に実行可能形式でインストールされる。
【００４５】
なお、パーソナル・コンピュータなどの計算機システムを構成するためには、図１に示した以外にも多くの電気回路などが必要である。但し、これらは当業者には周知であり、また、本発明の要旨を構成するものではないので、本明細書中では省略している。また、図面の錯綜を回避するため、図中の各ハードウェア・ブロック間の接続も一部しか図示していない点を了承されたい。
【００４６】
マルチタスク環境下の計算機システムでは、ユーザの作業中に、新規メールの受信、新着ニュースの到来、エラーその他のシステム情報といった情報の提示を行なうことが必要となる局面がある。本実施形態では、ユーザの状態に応じて情報を提示する時期を決定するとともに、ユーザの状態やデスクトップ画面の状態に応じて、デスクトップ画面上で提示情報を提示する位置を決定するようにした．この場合、ユーザの作業集中を妨げず、且つ看過の危険性を減少させ、また、現在進行中のタスクを優先する場合には速やかにタスクに復旧することができる。
【００４７】
図２には、このように作業中のユーザに所要の情報を提示するシステムの機能構成を模式的に示している。同図に示す各機能モジュールは、実際には、プログラム・コードを実行するプロセッサ１０とハードウェア資源との有機的な結合により具現化される。
【００４８】
図示の情報提示システム１００は、ユーザの状態を検出するユーザ状態検出部１１０と、ユーザの状態に応じて提示情報の提示時期を決定する情報提示時期決定部１２０と、ユーザ状態検出部から得られた視線情報と表示部から得られた現在の表示状態に基づいて提示情報の表示位置を決める情報提示位置決定部１３０と、ユーザ状態検出部１１０から得られた視線情報と、提示情報をデスクトップ画面を用いて表示出力する表示部１４０と、表示部１４０から得られた提示情報の状態に応じて提示情報の形態を変える情報提示形態決定部１５０を備えている。
【００４９】
ユーザ状態検出部１１０は、カメラ２９などのユーザの状態を画像として取り込む画像入力部１１１と、画像入力部１１１の出力する画像データからユーザの視線を検出する視線検出部１１２と、視線検出部１１２の出力する視線データから視線の動きを検出する視線動作検出部１１３で構成される。
【００５０】
情報提示時期決定部１２０は、視線動作パターンに対応するユーザの状態データを格納した視線動作パターン・データベース部１２２と、検出された視線動作パターンとを照合してユーザに対し情報提示が可能かを判断し、提示可能と判断したときに表示命令を出す時期決定判断部１２１で構成される。
【００５１】
情報提示位置決定部１３０は、提示位置パターンを格納した提示位置データベース部１３２と、視線動作検出部１１３から得られる視線方向と表示装置２２の画面上における表示状態とを照合して情報提示位置を決定し、提示位置情報の出力を行なう位置決定判断部１３１で構成される。
【００５２】
表示部１４０は、情報を表示する表示装置２２と、時期決定判断部１２１と位置決定判断部１３１から得られる提示時期と提示位置に基づいて、表示装置２２の画面上での表示を決める表示判断部１４１と、提示情報の内容を保持する提示情報保持部１４２で構成される。
【００５３】
情報提示形態決定部１５０は、表示判断部１４１から得られる提示情報位置と提示情報保持部１４２から得られる提示情報の内容に基づき提示内容を決定し、出力部に表示命令を行う提示内容決定部１５２と、視線動作検出部１１３から得られる視線動作パターンと表示装置２２から得られる提示情報の状態から提示情報が読まれたかを判断し、読まれていれば作業画面から待避させる命令を表示装置２２に行なう形態決定判断部１５１を具備する。
【００５４】
この情報提示システム１００では、画像入力部１１１がユーザの状態を画像として取り込み、視線検出部１１２に対して画像データを出力する。視線検出部１１２は、画像入力部１１１から受け取った画像データの画像処理を行ない、ユーザの視線情報を検出する。ここで言う視線情報とは、視線方向や瞬目の状況を指す。視線動作検出部１１３は、受け取った視線情報から視線動作パターンを検出し、時期決定判断部１２１と位置決定判断部１３１に対して視線動作パターン・データを出力する。ここで言う視線動作パターンとは、視線データをあらかじめ決められた時間追跡し、その間、視線がどのように動いたかを示すデータを指す。
【００５５】
時期決定判断部１２１は、視線動作検出部１１３から出力された視線動作パターン・データと、視線動作パターン・データベース部１２２に格納されている視線動作パターン・データベースを照合し、情報を提示すべきかを判断する。
【００５６】
この視線動作パターン・データベースの内容、及び時期決定判断部の処理については後述する。
【００５７】
位置決定判断部１３１は、視線動作検出部１１３から出力された視線動作パターン・データと表示装置２２から得られた現在の表示状態と、提示位置データベース部１３２に格納されている提示位置データベースを照合し、情報の提示位置を決定する。この提示位置データベースの内容、及び位置決定判断部の処理については後述する。
【００５８】
時期決定判断部１２１は、照合の結果、情報を提示すべきと判断したとき、表示判断部１４１に情報出力命令を出力する。また、位置決定判断部１３１は、表示位置を決定した後、表示判断部１４１に提示位置を出力する。情報出力命令を受け取った表示判断部１４１は、情報出力命令がなされた時間に位置決定判断部１３１から受け取った提示位置に情報を提示する命令を提示内容決定部１５２に出力する。
【００５９】
提示内容決定部１５２は、表示判断部１４１から得られた情報の提示位置と提示情報保持部１４３から得られた提示情報内容に応じて提示内容を決定する。この提示内容決定部１５２の処理については後述する。
【００６０】
提示内容決定部１５２は、提示情報内容を決定した後、表示装置２２に提示情報を出力する。
【００６１】
提示情報が出力された後、形態決定判断部１５１は、視線動作検出部１１３から受け取った視線動作パターンと表示装置２２から得られる提示情報の状態に基づいて提示情報が読まれたかを判断する。そして、読まれていれば作業画面外への提示情報の待避命令を表示装置２２に行なう。この形態決定判断部１５１の処理については後述する。
【００６２】
視線動作パターン・データベース部１２２には、視線の動きパターンとユーザの状態を対応付けた視線動作パターン・データベースが格納されている。視線動作パターン・データベースは、視線動作パターンとユーザの状態並びに情報提示時期との対応関係を規定している。
【００６３】
この視線動作パターン・データベースの一例を下表に示している。例えば、視線が一定時間だけ画面外に向いていれば、コンピュータのタスクを実行していないから情報提示時期に関連付ける。また、まばたきの波形がゆっくりとしたものになる、あるいは眼球成分が急速に減少すれば集中力が低下していると判断し、情報提示時期と関連付ける。
【００６４】
【表１】
【００６５】
時期決定判断部１２１は、この視線動作パターン・データベース１２２を用いて、情報の提示時期を判断する。図３には、情報の提示時期を判断するための処理手順をフローチャートの形式で示している。
【００６６】
時期決定判断部１２１は、視線動作検出部１１２から視線動作パターンが入力されると（ステップＳ１）、視線動作パターンを検索キーとして視線動作パターン・データベースの検索を行なう（ステップＳ２）。
【００６７】
次いで、時期決定判断部１２１は、ユーザの状態が、視線動作パターン・データベースで規定する情報提示に適しているかを判定する（ステップＳ３）。ここで、情報の提示に適していると判断した場合には、表示判断部１４１に対して情報出力命令を出力して（ステップＳ４）、時期決定判断部１２１の処理を終了する。
【００６８】
一方、ステップＳ３において、情報を提示するのに適していない状態であるときは、ステップＳ１に戻り、処理を継続させる。
【００６９】
提示位置データベース部１３２には、表示装置２２の状態とユーザの状態と表示位置とを対応付けた提示位置データベースが格納されている。この提示位置データベースの一例を下表に示している。例えば、画面上が複数のウィンドウによって分割されて表示されている場合、注視しているウィンドウ以外で注視領域に近い場所に表示させることと関連付ける。また、フルウィンドウが表示されている場合、ユーザがウィンドウ領域内のどこを見ているかを検出し、視線の動きの履歴から推測される次の注視領域以外の場所に表示させることと関連付ける。
【００７０】
【表２】
【００７１】
位置決定判断部１３１は、この提示位置データベースを用いて、情報の提示位置を決定する。図４には、情報の提示位置を決定するための処理手順をフローチャートの形式で示している。
【００７２】
位置決定判断部１３１は、視線動作検出部１１３から視線動作パターンを入力するとともに、表示装置２２から表示状態の入力を受けとると（ステップＳ１１）、視線動作パターンと表示状態を検索キーとして提示位置データベースの検索を行なう。そして、表示判断部１４１に情報の提示位置を出力する。
【００７３】
提示内容決定部１５２は、提示情報の内容を決定する。そして、ユーザの状態と画面の状態に応じて提示情報の処理が行なわれる。例えば、提示位置で確保される提示領域が十分大きいか否かに応じて提示情報の処理を行なう。具体的には、画面上で提示情報を配置できる領域が狭い場合に、提示情報を簡略化、又は要約するなどの縮退する処理を施すようにする。
【００７４】
提示情報の処理方法は、例えば提示情報毎に区々である。提示内容決定部１５２は、提示位置（表示可能範囲）と、提示情報と、表示内容若しくは処理方法との対応関係を、した票のようなデータベースとして保持しておいてもよい。例えば、メール受信を提示情報とした場合、確保したメッセージ・ウィンドウ枠が狭ければ「メール受信」という表示だけにするし、メッセージ・ウィンドウ枠が大きければ、メール受信、送信者、重要度を表示する。
【００７５】
【表３】
【００７６】
図５には、提示内容決定部１５２において提示内容を決定するための処理手順をフローチャートの形式で示している。
【００７７】
提示内容決定部１５２は、提示情報保持部１４３から提示情報内容を受け取るとともに、表示判断部１４１から提示情報の位置を受け取ると（ステップＳ２１）、提示情報内容からカテゴリなどの情報の概略を抽出し、提示位置から提示可能な情報量・フォントの大きさなどを決定する（ステップＳ２２）。そして、表示装置２２に提示情報表示命令を出力する（ステップＳ２３）。
【００７８】
図６には、画面がウィンドウ枠に分割されている場合に提示情報を表示している様子を示している。このような場合、作業ウィンドウ外で注視点の近傍に情報の提示位置を決定し、所要の情報の提示を行なう。この際、提示した位置に合わせて提示情報の情報量を簡略化し、あるいは要約するなど、情報の縮退処理を施し、フォントなどの大きさを調節したりする。
【００７９】
形態決定判断部１５１は、視線動作検出部１１３から受け取った視線動作パターンと表示装置２２から得られる提示情報の状態に基づいて提示情報が読まれたかを判断する。そして、読まれていれば作業画面外への提示情報の待避命令を表示装置２２に行なう。例えば、ユーザが読んだと判断された提示情報を、例えば画面の端縁にあるステータス・バー内に退避させ、ユーザの作業の邪魔にならないようにする。また、ステータス・バー内の該当アイコンをクリックすれば、提示情報は画面上に再びポップアップするので、提示情報の復旧を容易に行なうことができる。
【００８０】
図７には、提示情報の形態を変化させるための処理手順をフローチャートの形式で示している。
【００８１】
形態決定判断部１５１は、視線動作検出部１１３から視線動作パターンを受け取るとともに、表示装置２２から表示状態の入力を受け取ると（ステップＳ３１）、提示情報がユーザに読まれたか否かを判断する（ステップＳ３２）。
【００８２】
ここで、提示情報がユーザに読まれたと判断された場合には、表示装置２２に提示情報をステータス・バーなどの作業の邪魔にならない場所に待避させる命令を出力する（ステップＳ３３）。
【００８３】
一方ステップＳ３２において、提示情報が未だユーザに読まれていないと判断された場合には、ステップＳ３１に戻り、処理を継続する。
【００８４】
図８には形態決定判断部１５１の動作例を示している。視線情報により読まれたと判断された情報は、デスクトップの下端縁にあるステータス・バーなどの作業領域外に待避される。提示情報を待避した後、ステータス・バー内のアイコンをクリックすると、提示情報の表示（例えばメール本文）がポップアップされる。すなわち、待避された情報に対しアクセスすることで、ユーザは提示情報の詳細を確認することができる。
【産業上の利用可能性】
【００８５】
以上、特定の実施形態を参照しながら、本発明について詳解してきた。しかしながら、本発明の要旨を逸脱しない範囲で当業者が該実施形態の修正や代用を成し得ることは自明である。
【００８６】
本明細書では、パーソナル・コンピュータのような一般的な計算機システムに本発明を適用した実施形態を中心に説明してきたが、本発明の要旨は必ずしもこれに限定されるものではなく、ＣＲＴディスプレイやフラット・パネル・ディスプレイなどの表示装置を備えたさまざまな情報機器に対して同様に本発明を適用することができる。
【００８７】
また、本明細書では、ユーザの状態として視線情報を検出する実施形態を中心に説明してきたが、本発明の要旨はこれに限定されるものではなく、作業中のユーザから発現されるその他の生体情報であって、情報提示時期又は情報提示位置の判別に利用できるものをユーザの状態として検出するようにしてもよい。あるいは、ユーザ状態検出手段は、視線情報とその他の生体情報を組み合わせなど、２以上のユーザの状態を検出し、情報提示時期決定手段又は情報提示位置決定手段は、これらのうち所要のユーザ状態を取捨選択して使用するようにしてもよい。
【００８８】
要するに、例示という形態で本発明を開示してきたのであり、本明細書の記載内容を限定的に解釈するべきではない。本発明の要旨を判断するためには、特許請求の範囲を参酌すべきである。
【図面の簡単な説明】
【００８９】
【図１】図１は、本発明の実施に供される計算機システムのハードウェア構成を模式的に示した図である。
【図２】図２は、作業中のユーザに所要の情報を提示するシステムの機能構成を模式的に示した図である。
【図３】図３は、情報の提示時期を判断するための処理手順を示したフローチャートである。
【図４】図４は、情報の提示位置を決定するための処理手順を示したフローチャートである。
【図５】図５は、提示内容を決定するための処理手順を示したフローチャートである。
【図６】図６は、画面がウィンドウ枠に分割されている場合に提示情報を表示している様子を示した図である。
【図７】図７は、提示情報の形態を変化させるための処理手順を示したフローチャートである。
【図８】図８は、形態決定判断部１５１の動作例を示した図である。
【符号の説明】
【００９０】
１０…プロセッサ
２０…メモリ
２１…ディスプレイ・コントローラ
２２…表示装置
２３…入出力インターフェース
２４…キーボード
２５…マウス
２６…ネットワーク・インターフェース
２７…ＨＤＤコントローラ
２８…ＨＤＤ
３０…バス
１００…情報提示システム
１１０…ユーザ状態検出部
１１１…画像入力部
１１２…視線検出部
１１３…視線動作検出部
１２０…提示時期決定部
１２１…時期決定判断部
１２２…視線動作パターン・データベース部
１３０…提示位置決定部
１３１…位置決定判断部
１３２…提示位置データベース部
１４０…表示部
１４１…表示判断部
１４２…提示情報保持部
１５０…提示形態決定部
１５１…形態決定判断部
１５２…提示内容決定部
【技術分野】
【０００１】
本発明は、複数のプログラムを切り替えながら並列的に処理し、幾つかの処理を並行して進めるマルチタスク機能を備えた情報提示装置及び情報提示方法、並びにコンピュータ・プログラムに係り、特に、実行中のアプリケーション・ウィンドウや資源オブジェクトを表象するアイコンなどが散在するデスクトップ上で、メール受信やニュース、システムで発生したイベントなどの情報をユーザに提示する情報提示装置及び情報提示方法、並びにコンピュータ・プログラムに関する。
【０００２】
さらに詳しくは、本発明は、ユーザの作業状態に応じて、ユーザの作業集中を妨げることなく情報提示を行なう情報提示装置及び情報提示方法、並びにコンピュータ・プログラムに係り、特に、必要な情報をユーザが看過することのないように提示する情報提示装置及び情報提示方法、並びにコンピュータ・プログラムに関する。
【背景技術】
【０００３】
昨今の技術革新に伴い、デスクトップ型、タワー型、ノートブック型など各種の計算機システムが開発され市販されている。計算機システムは、オペレーティング・システム（ＯＳ）が提供する実行環境下でさまざまな適用業務のアプリケーション・プログラムを動作することができる。
【０００４】
ＯＳは、基本的に、計算機システム内のハードウェア資源の制御を行なうとともに、ハードウェアを抽象化若しくは仮想化して、アプリケーション・プログラムに対しＡＰＩ（Ａｐｐｌｉｃａｔｉｏｎ Ｐｒｏｇｒａｍｍｉｎｇ Ｉｎｔｅｒｆａｃｅ）を提供する。また、ユーザに対しては、ビットマップ表示機能を活用し、プログラムやデータ、機器などの各資源オブジェクトを表象するアイコンをデスクトップ上に配置し、アイコンに対する直感的な操作によりシステムを操作するという、グラフィカルなユーザ・イーターフェース（ＧＵＩ）を提供するのが一般的である。
【０００５】
また、最近の計算機システムでは、ハードウェアの高性能化に伴い、複数のプログラムを切り替えながら並列的に処理し、幾つかの処理を並行して進めることができるマルチタスク機能を備えている。すなわち、ＯＳ、プロセッサやメモリ、ハード・ディスクなどの入出力機器を仮想的に多重化し、各アプリケーションの要求に応じてハードウェア資源を効率よく振り分ける。
【０００６】
マルチタスク環境下では、１つのデスクトップ上に、実行中の各アプリケーションの作業領域であるウィンドウが重畳して表示される。そして、ユーザは、各ウィンドウを交互に前面表示して、複数の処理を並行して実行する。
【０００７】
他方、計算機システム上では、さまざまなイベントが時々刻々と発生し、これに応じてユーザに提示する必要のある情報がある。例えば、新規メールの受信や最新のニュースの到来、あるいはＯＳからのエラー通知などのシステム情報などである。
【０００８】
ところが、ユーザが特定の作業に集中している状況においては、他の処理から提示された情報を看過しがちであったり、あるいは情報提示によりユーザが継続中の作業に対する集中が妨げられたり、といった問題がある。
【０００９】
例えば、アイトラッキング装置を用いてデスクトップ上でユーザの注視点を追跡し、ユーザの注視点に近接した位置にメッセージを表示することができる（例えば、特許文献１を参照のこと）。ユーザ・メッセージは、アイトラッカによって示される通りユーザの目が向けられているディスプレイ上の位置に自動的に位置決めされる。テキストを横切るユーザの目によって示されるように、ユーザがメッセージを読み取ったとき、メッセージは自動的にクリアされる。メッセージはユーザが話した応答によってもクリアされる。この場合、ユーザが情報を看過するのを防ぐことができるが、ユーザの状態を考慮していないため、不用意な情報の提示によりユーザの作業集中を妨げるおそれがある。
【００１０】
また、ユーザの状態と提示情報の重要度に基づいて情報提示時期を決定し、また、ユーザの状態から提示時期が適切であったかを判断してシステムにフィードバックする情報提示装置について提案がなされている（例えば、特許文献２を参照のこと）。この場合、ユーザの作業状態と提示情報内容の重要度を考慮して情報提示時期を制御することが可能となり、ユーザが遂行中の作業を情報提示によって妨げることなく、且つ提示された情報を感化する危険性を減少することができる。しかしながら、常に正しい情報提示時期を判断できるとは限らず、提示時期を誤った場合に、作業に速やかに戻ることはできない。また、情報の提示位置によってはユーザが看過したり、提示情報に気付くまでの時間が長くなったりするという問題がある。
【００１１】
【特許文献１】特開平１０−６９３６３号公報
【特許文献２】特開平７−２００２３１号公報
【発明の開示】
【発明が解決しようとする課題】
【００１２】
本発明の目的は、実行中のアプリケーション・ウィンドウや資源オブジェクトを表象するアイコンなどが散在するデスクトップ上で、メール受信やニュース、システムで発生したイベントなどの情報をユーザに好適に提示することができる、優れた情報提示装置及び情報提示方法、並びにコンピュータ・プログラムを提供することにある。
【００１３】
本発明のさらなる目的は、ユーザの作業状態に応じて、ユーザの作業集中を妨げることなく情報提示を好適に行なうことができる、優れた情報提示装置及び情報提示方法、並びにコンピュータ・プログラムを提供することにある。
【００１４】
本発明のさらなる目的は、必要な情報をユーザが看過することのないように提示することができる、優れた情報提示装置及び情報提示方法、並びにコンピュータ・プログラムを提供することにある。
【００１５】
本発明のさらなる目的は、ユーザの状態に応じて適切な時期並びに位置に情報提示を行なうことで、ユーザの作業集中を妨げず、且つ看過の危険性を減少させ、また、現在進行中のタスクを優先する場合には速やかにタスクに復旧することができる、優れた情報提示装置及び情報提示方法、並びにコンピュータ・プログラムを提供することにある。
【課題を解決するための手段】
【００１６】
本発明は、上記課題を参酌してなされたものであり、その第１の側面は、画面上でユーザの作業内容を表示出力する状況下でユーザに情報を提示する情報提示装置であって、ユーザの状態を検出するユーザ状態検出手段と、前記ユーザ状態検出手段によって検出されたユーザの状態に応じて情報を提示する時期を決定する情報提示時期決定手段と、前記ユーザ状態検出手段によって検出されたユーザの状態又は前記画面の状態の少なくとも一方に応じて、前記画面上で提示情報を提示する位置を決定する情報提示位置決定手段と、ユーザに提示すべき情報を取得する提示情報取得手段と、前記情報提示時期決定手段によって決定された時期及び前記情報提示位置決定手段によって決定された位置に基づいて、前記提示情報取得手段によって取得された情報を前記画面上に提示する情報提示手段とを具備することを特徴とする情報提示装置である。
【００１７】
マルチタスク環境下の計算機システムでは、ユーザの作業中に、新規メールの受信、新着ニュースの到来、エラーその他のシステム情報といった情報の提示を行なうことが必要となる局面がある。ところが、ユーザが特定の作業に集中している状況においては、他の処理から提示された情報を看過しがちであったり、あるいは情報提示によりユーザが継続中の作業に対する集中が妨げられたり、といった問題がある。
【００１８】
これに対し、本発明によれば、ユーザの状態に応じて情報を提示する時期を決定するとともに、ユーザの状態や前記画面の状態に応じて、前記画面上で提示情報を提示する位置を決定するようにしたので、ユーザの作業集中を妨げず、且つ看過の危険性を減少させ、また、現在進行中のタスクを優先する場合には速やかにタスクに復旧することができる。
【００１９】
前記ユーザ状態検出手段は、例えば、ユーザの視線動作をユーザの状態として検出することができる。
【００２０】
また、前記情報提示時期決定手段は、所定時間以上にわたりユーザの視線が前記画面外に向いていること、瞬きの波形がゆっくりとしたものになったこと、又は眼球成分が急速に減少したことのうち少なくとも１つに応答して、提示情報を前記画面上に提示可能な時期と判断することができる。
【００２１】
また、前記情報提示位置決定手段は、前記画面上に配置されているウィンドウの状態と前記ユーザ状態検出手段によって検出されたユーザの注視点の関係に基づいて、前記画面上で提示情報を提示する位置を決定することができる。
【００２２】
具体的には、前記画面上で複数のウィンドウが開いている状態では、ユーザが注視するウィンドウ以外で注視領域に近い場所を提示位置に決定する。また、前記画面上でフルウィンドウが開いている状態では、該ウィンドウ内におけるユーザの注視点が動き回る履歴に基づいて推測される次の注視領域以外の場所を提示位置に決定する。
【００２３】
また、本発明に係る情報提示装置は、前記提示情報取得手段によって取得された提示情報を処理する提示情報処理手段をさらに備え、前記情報提示手段は処理後の提示情報を前記画面上に提示するようにしてもよい。
【００２４】
ここで、前記提示情報処理手段は、前記ユーザ状態検出手段によって検出されたユーザの状態や前記画面の状態に応じて提示情報を処理する。前記提示情報処理手段は、前記情報提示位置決定手段によって決定された提示位置で確保される提示領域が十分大きいか否かに応じて提示情報の処理を行なう。例えば、前記提示情報処理手段は、前記画面上で提示情報を配置できる領域が狭い場合には、提示情報を簡略化し、あるいは要約するといった、情報を縮退する処理を施すようにしてもよい。
【００２５】
また、前記画面上に提示された提示情報をユーザが読み終えた状態か否かを検出する提示情報状態検出手段と、ユーザが読み終えた状態と判断された提示情報を前記画面から退避させる提示情報退避手段とをさらに備えていてもよい。
【００２６】
前記提示情報状態検出手段は、例えば、前記ユーザ状態検出手段によって検出されるユーザの視線動作に基づいて提示情報の状態を検出することができる。具体的には、前記画面上に提示された提示情報にユーザの視線が所定時間にわたり滞留した場合には、ユーザは提示情報を読み終えた状態と判断することができる。そして、前記提示情報退避手段は、ユーザが読んだと判断された提示情報を、例えば画面の端縁にあるステータス・バー内に退避させるようにしてもよい。ユーザは提示情報を再読したいときには、ステータス・バー内の該当アイコンをクリックすれば、提示情報は画面上に再びポップアップする。
【００２７】
また、本発明の第２の側面は、画面上でユーザの作業内容を表示出力する状況下でユーザに情報を提示するための処理をコンピュータ・システム上で実行するようにコンピュータ可読形式で記述されたコンピュータ・プログラムであって、ユーザの状態を検出するユーザ状態検出ステップと、前記ユーザ状態検出ステップにおいて検出されたユーザの状態に応じて情報を提示する時期を決定する情報提示時期決定ステップと、前記ユーザ状態検出ステップにおいて検出されたユーザの状態又は前記画面の状態の少なくとも一方に応じて、前記画面上で提示情報を提示する位置を決定する情報提示位置決定ステップと、ユーザに提示すべき情報を取得する提示情報取得ステップと、前記情報提示時期決定ステップにおいて決定された時期及び前記情報提示位置決定ステップにおいて決定された位置に基づいて、前記提示情報取得ステップにおいて取得された情報を前記画面上に提示する情報提示ステップとを具備することを特徴とするコンピュータ・プログラムである。
【００２８】
本発明の第２の側面に係るコンピュータ・プログラムは、コンピュータ・システム上で所定の処理を実現するようにコンピュータ可読形式で記述されたコンピュータ・プログラムを定義したものである。換言すれば、本発明の第２の側面に係るコンピュータ・プログラムをコンピュータ・システムにインストールすることによって、コンピュータ・システム上では協働的作用が発揮され、本発明の第１の側面に係る情報処理装置と同様の作用効果を得ることができる。
【発明の効果】
【００２９】
本発明によれば、実行中のアプリケーション・ウィンドウや資源オブジェクトを表象するアイコンなどが散在するデスクトップ上で、メール受信やニュース、システムで発生したイベントなどの情報をユーザに好適に提示することができる、優れた情報提示装置及び情報提示方法、並びにコンピュータ・プログラムを提供することができる。
【００３０】
本発明によれば、ユーザの作業状態に応じて情報の提示時期を制御することで、ユーザの作業集中を妨げることなく、情報提示を行なうことができる。且つ、ユーザの状態により提示位置を制御することで、看過の危険を減少させることができる。また、視線情報のみで提示情報を作業領域から退避させることにより、ユーザが進行中のタスクを優先させると判断した際も、速やかに作業に戻ることができる。
【００３１】
本発明のさらに他の目的、特徴や利点は、後述する本発明の実施形態や添付する図面に基づくより詳細な説明によって明らかになるであろう。
【発明を実施するための最良の形態】
【００３２】
以下、図面を参照しながら本発明の実施形態について詳解する。
【００３３】
本発明は、プログラムをメモリ空間上にロードして実行する計算機システムに関するものである。ここで言う、計算機システムは、オペレーティング・システム（ＯＳ）によって提供される実行環境下で、メモリにロードされたプログラム・コードをプロセッサが実行するタイプの一般的なコンピュータ・システムである。ここで、プログラムは、データやコードなど複数のプログラム・セグメントで構成される。
【００３４】
また、計算機システムは、キーボードやマウスなどにユーザ入力装置と、ＣＲＴディスプレイやフラット・パネル・ディスプレイなどの表示装置を備え、デスクトップ上での直感的なマウス操作が可能なグラフィカルなユーザ・イーターフェース（ＧＵＩ）を提供する。
【００３５】
さらに、計算機システムは、複数のプログラムを切り替えながら並列的に処理し、幾つかの処理を並行して進めることができるマルチタスク機能を備えており、１つのデスクトップ上には、実行中の各アプリケーションの作業領域であるウィンドウが重畳して表示される。
【００３６】
このような作業環境下では、新規メールの受信、新着ニュースの到来、エラーその他のシステム情報といった情報をユーザに提示することが必要となる局面がある。
【００３７】
図１には、本発明の実施に供される計算機システムのハードウェア構成を模式的に示している。
【００３８】
図示のシステムは、プロセッサ１０を中心に構成されている。プロセッサ１０は、オペレーティング・システム（ＯＳ）が提供するプログラム実行環境下で、メモリに記憶されたプログラムに基づいて各種の処理を実行する。また、プロセッサ１０は、外部バス・インターフェース１４及びバス３０を介して接続されている各種の周辺機器を制御している。バス３０に接続された周辺機器は次のようなものである。
【００３９】
メモリ２０は、例えばＤＲＡＭ（Ｄｙｎａｍｉｃ ＲＡＭ）などの半導体メモリで構成され、プロセッサ１０において実行されるプログラム・コードをロードしたり、実行プログラムの作業データを一時格納したりするために使用される。メモリ２０は、プロセッサ１０のメモリ空間を構成する。
【００４０】
ディスプレイ・コントローラ２１は、プロセッサ１０から送られてくる描画命令に従って表示画像を生成し、表示装置２２に送る。ディスプレイ・コントローラに接続された表示装置２２は、ディスプレイ・コントローラ２１から送られた表示画像情報に従い、その画像を画面に表示出力する。
【００４１】
入出力インターフェース２３は、キーボード２４やマウス２５が接続されており、キーボード２４やマウス２５からの入力信号をプロセッサ１０へ転送する。
【００４２】
入出力インターフェース２３は、例えばＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）などの汎用インターフェースを備えており、さまざまな情報機器を図示の計算機システムに接続することができる。例えば、ユーザの視線方向を検出するための画像入力を行なう場合（後述）には、カメラ２９を入出力インターフェース２３経由で接続することができる。
【００４３】
ネットワーク・インターフェース２６は、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）やインターネットなどの外部ネットワークに接続されており、インターネットを介したデータ通信を制御する。すなわち、プロセッサ１０から送られたデータをインターネット上の他の装置へ転送するとともに、インターネットを介して送られてきたデータを受け取りプロセッサ１０に渡す。例えば、プログラムやデータなどをネットワーク経由で外部から受信することができる。
【００４４】
ハード・ディスク装置（ＨＤＤ：Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）コントローラ２７には、ＨＤＤなどの大容量外部記憶装置２８が接続されており、ＨＤＤ コントローラ２７が接続されたＨＤＤ２８へのデータの入出力を制御する。ＨＤＤ２８には、プロセッサが実行すべきオペレーティング・システム（ＯＳ）のプログラム、アプリケーション・プログラム、ドライバ・プログラム、さらにはプログラムによって参照又は再生処理が行なわれるデータやコンテンツなどが格納されている。本実施形態では、各プログラムは、ＨＤＤ２８上に実行可能形式でインストールされる。
【００４５】
なお、パーソナル・コンピュータなどの計算機システムを構成するためには、図１に示した以外にも多くの電気回路などが必要である。但し、これらは当業者には周知であり、また、本発明の要旨を構成するものではないので、本明細書中では省略している。また、図面の錯綜を回避するため、図中の各ハードウェア・ブロック間の接続も一部しか図示していない点を了承されたい。
【００４６】
マルチタスク環境下の計算機システムでは、ユーザの作業中に、新規メールの受信、新着ニュースの到来、エラーその他のシステム情報といった情報の提示を行なうことが必要となる局面がある。本実施形態では、ユーザの状態に応じて情報を提示する時期を決定するとともに、ユーザの状態やデスクトップ画面の状態に応じて、デスクトップ画面上で提示情報を提示する位置を決定するようにした．この場合、ユーザの作業集中を妨げず、且つ看過の危険性を減少させ、また、現在進行中のタスクを優先する場合には速やかにタスクに復旧することができる。
【００４７】
図２には、このように作業中のユーザに所要の情報を提示するシステムの機能構成を模式的に示している。同図に示す各機能モジュールは、実際には、プログラム・コードを実行するプロセッサ１０とハードウェア資源との有機的な結合により具現化される。
【００４８】
図示の情報提示システム１００は、ユーザの状態を検出するユーザ状態検出部１１０と、ユーザの状態に応じて提示情報の提示時期を決定する情報提示時期決定部１２０と、ユーザ状態検出部から得られた視線情報と表示部から得られた現在の表示状態に基づいて提示情報の表示位置を決める情報提示位置決定部１３０と、ユーザ状態検出部１１０から得られた視線情報と、提示情報をデスクトップ画面を用いて表示出力する表示部１４０と、表示部１４０から得られた提示情報の状態に応じて提示情報の形態を変える情報提示形態決定部１５０を備えている。
【００４９】
ユーザ状態検出部１１０は、カメラ２９などのユーザの状態を画像として取り込む画像入力部１１１と、画像入力部１１１の出力する画像データからユーザの視線を検出する視線検出部１１２と、視線検出部１１２の出力する視線データから視線の動きを検出する視線動作検出部１１３で構成される。
【００５０】
情報提示時期決定部１２０は、視線動作パターンに対応するユーザの状態データを格納した視線動作パターン・データベース部１２２と、検出された視線動作パターンとを照合してユーザに対し情報提示が可能かを判断し、提示可能と判断したときに表示命令を出す時期決定判断部１２１で構成される。
【００５１】
情報提示位置決定部１３０は、提示位置パターンを格納した提示位置データベース部１３２と、視線動作検出部１１３から得られる視線方向と表示装置２２の画面上における表示状態とを照合して情報提示位置を決定し、提示位置情報の出力を行なう位置決定判断部１３１で構成される。
【００５２】
表示部１４０は、情報を表示する表示装置２２と、時期決定判断部１２１と位置決定判断部１３１から得られる提示時期と提示位置に基づいて、表示装置２２の画面上での表示を決める表示判断部１４１と、提示情報の内容を保持する提示情報保持部１４２で構成される。
【００５３】
情報提示形態決定部１５０は、表示判断部１４１から得られる提示情報位置と提示情報保持部１４２から得られる提示情報の内容に基づき提示内容を決定し、出力部に表示命令を行う提示内容決定部１５２と、視線動作検出部１１３から得られる視線動作パターンと表示装置２２から得られる提示情報の状態から提示情報が読まれたかを判断し、読まれていれば作業画面から待避させる命令を表示装置２２に行なう形態決定判断部１５１を具備する。
【００５４】
この情報提示システム１００では、画像入力部１１１がユーザの状態を画像として取り込み、視線検出部１１２に対して画像データを出力する。視線検出部１１２は、画像入力部１１１から受け取った画像データの画像処理を行ない、ユーザの視線情報を検出する。ここで言う視線情報とは、視線方向や瞬目の状況を指す。視線動作検出部１１３は、受け取った視線情報から視線動作パターンを検出し、時期決定判断部１２１と位置決定判断部１３１に対して視線動作パターン・データを出力する。ここで言う視線動作パターンとは、視線データをあらかじめ決められた時間追跡し、その間、視線がどのように動いたかを示すデータを指す。
【００５５】
時期決定判断部１２１は、視線動作検出部１１３から出力された視線動作パターン・データと、視線動作パターン・データベース部１２２に格納されている視線動作パターン・データベースを照合し、情報を提示すべきかを判断する。
【００５６】
この視線動作パターン・データベースの内容、及び時期決定判断部の処理については後述する。
【００５７】
位置決定判断部１３１は、視線動作検出部１１３から出力された視線動作パターン・データと表示装置２２から得られた現在の表示状態と、提示位置データベース部１３２に格納されている提示位置データベースを照合し、情報の提示位置を決定する。この提示位置データベースの内容、及び位置決定判断部の処理については後述する。
【００５８】
時期決定判断部１２１は、照合の結果、情報を提示すべきと判断したとき、表示判断部１４１に情報出力命令を出力する。また、位置決定判断部１３１は、表示位置を決定した後、表示判断部１４１に提示位置を出力する。情報出力命令を受け取った表示判断部１４１は、情報出力命令がなされた時間に位置決定判断部１３１から受け取った提示位置に情報を提示する命令を提示内容決定部１５２に出力する。
【００５９】
提示内容決定部１５２は、表示判断部１４１から得られた情報の提示位置と提示情報保持部１４３から得られた提示情報内容に応じて提示内容を決定する。この提示内容決定部１５２の処理については後述する。
【００６０】
提示内容決定部１５２は、提示情報内容を決定した後、表示装置２２に提示情報を出力する。
【００６１】
提示情報が出力された後、形態決定判断部１５１は、視線動作検出部１１３から受け取った視線動作パターンと表示装置２２から得られる提示情報の状態に基づいて提示情報が読まれたかを判断する。そして、読まれていれば作業画面外への提示情報の待避命令を表示装置２２に行なう。この形態決定判断部１５１の処理については後述する。
【００６２】
視線動作パターン・データベース部１２２には、視線の動きパターンとユーザの状態を対応付けた視線動作パターン・データベースが格納されている。視線動作パターン・データベースは、視線動作パターンとユーザの状態並びに情報提示時期との対応関係を規定している。
【００６３】
この視線動作パターン・データベースの一例を下表に示している。例えば、視線が一定時間だけ画面外に向いていれば、コンピュータのタスクを実行していないから情報提示時期に関連付ける。また、まばたきの波形がゆっくりとしたものになる、あるいは眼球成分が急速に減少すれば集中力が低下していると判断し、情報提示時期と関連付ける。
【００６４】
【表１】
【００６５】
時期決定判断部１２１は、この視線動作パターン・データベース１２２を用いて、情報の提示時期を判断する。図３には、情報の提示時期を判断するための処理手順をフローチャートの形式で示している。
【００６６】
時期決定判断部１２１は、視線動作検出部１１２から視線動作パターンが入力されると（ステップＳ１）、視線動作パターンを検索キーとして視線動作パターン・データベースの検索を行なう（ステップＳ２）。
【００６７】
次いで、時期決定判断部１２１は、ユーザの状態が、視線動作パターン・データベースで規定する情報提示に適しているかを判定する（ステップＳ３）。ここで、情報の提示に適していると判断した場合には、表示判断部１４１に対して情報出力命令を出力して（ステップＳ４）、時期決定判断部１２１の処理を終了する。
【００６８】
一方、ステップＳ３において、情報を提示するのに適していない状態であるときは、ステップＳ１に戻り、処理を継続させる。
【００６９】
提示位置データベース部１３２には、表示装置２２の状態とユーザの状態と表示位置とを対応付けた提示位置データベースが格納されている。この提示位置データベースの一例を下表に示している。例えば、画面上が複数のウィンドウによって分割されて表示されている場合、注視しているウィンドウ以外で注視領域に近い場所に表示させることと関連付ける。また、フルウィンドウが表示されている場合、ユーザがウィンドウ領域内のどこを見ているかを検出し、視線の動きの履歴から推測される次の注視領域以外の場所に表示させることと関連付ける。
【００７０】
【表２】
【００７１】
位置決定判断部１３１は、この提示位置データベースを用いて、情報の提示位置を決定する。図４には、情報の提示位置を決定するための処理手順をフローチャートの形式で示している。
【００７２】
位置決定判断部１３１は、視線動作検出部１１３から視線動作パターンを入力するとともに、表示装置２２から表示状態の入力を受けとると（ステップＳ１１）、視線動作パターンと表示状態を検索キーとして提示位置データベースの検索を行なう。そして、表示判断部１４１に情報の提示位置を出力する。
【００７３】
提示内容決定部１５２は、提示情報の内容を決定する。そして、ユーザの状態と画面の状態に応じて提示情報の処理が行なわれる。例えば、提示位置で確保される提示領域が十分大きいか否かに応じて提示情報の処理を行なう。具体的には、画面上で提示情報を配置できる領域が狭い場合に、提示情報を簡略化、又は要約するなどの縮退する処理を施すようにする。
【００７４】
提示情報の処理方法は、例えば提示情報毎に区々である。提示内容決定部１５２は、提示位置（表示可能範囲）と、提示情報と、表示内容若しくは処理方法との対応関係を、した票のようなデータベースとして保持しておいてもよい。例えば、メール受信を提示情報とした場合、確保したメッセージ・ウィンドウ枠が狭ければ「メール受信」という表示だけにするし、メッセージ・ウィンドウ枠が大きければ、メール受信、送信者、重要度を表示する。
【００７５】
【表３】
【００７６】
図５には、提示内容決定部１５２において提示内容を決定するための処理手順をフローチャートの形式で示している。
【００７７】
提示内容決定部１５２は、提示情報保持部１４３から提示情報内容を受け取るとともに、表示判断部１４１から提示情報の位置を受け取ると（ステップＳ２１）、提示情報内容からカテゴリなどの情報の概略を抽出し、提示位置から提示可能な情報量・フォントの大きさなどを決定する（ステップＳ２２）。そして、表示装置２２に提示情報表示命令を出力する（ステップＳ２３）。
【００７８】
図６には、画面がウィンドウ枠に分割されている場合に提示情報を表示している様子を示している。このような場合、作業ウィンドウ外で注視点の近傍に情報の提示位置を決定し、所要の情報の提示を行なう。この際、提示した位置に合わせて提示情報の情報量を簡略化し、あるいは要約するなど、情報の縮退処理を施し、フォントなどの大きさを調節したりする。
【００７９】
形態決定判断部１５１は、視線動作検出部１１３から受け取った視線動作パターンと表示装置２２から得られる提示情報の状態に基づいて提示情報が読まれたかを判断する。そして、読まれていれば作業画面外への提示情報の待避命令を表示装置２２に行なう。例えば、ユーザが読んだと判断された提示情報を、例えば画面の端縁にあるステータス・バー内に退避させ、ユーザの作業の邪魔にならないようにする。また、ステータス・バー内の該当アイコンをクリックすれば、提示情報は画面上に再びポップアップするので、提示情報の復旧を容易に行なうことができる。
【００８０】
図７には、提示情報の形態を変化させるための処理手順をフローチャートの形式で示している。
【００８１】
形態決定判断部１５１は、視線動作検出部１１３から視線動作パターンを受け取るとともに、表示装置２２から表示状態の入力を受け取ると（ステップＳ３１）、提示情報がユーザに読まれたか否かを判断する（ステップＳ３２）。
【００８２】
ここで、提示情報がユーザに読まれたと判断された場合には、表示装置２２に提示情報をステータス・バーなどの作業の邪魔にならない場所に待避させる命令を出力する（ステップＳ３３）。
【００８３】
一方ステップＳ３２において、提示情報が未だユーザに読まれていないと判断された場合には、ステップＳ３１に戻り、処理を継続する。
【００８４】
図８には形態決定判断部１５１の動作例を示している。視線情報により読まれたと判断された情報は、デスクトップの下端縁にあるステータス・バーなどの作業領域外に待避される。提示情報を待避した後、ステータス・バー内のアイコンをクリックすると、提示情報の表示（例えばメール本文）がポップアップされる。すなわち、待避された情報に対しアクセスすることで、ユーザは提示情報の詳細を確認することができる。
【産業上の利用可能性】
【００８５】
以上、特定の実施形態を参照しながら、本発明について詳解してきた。しかしながら、本発明の要旨を逸脱しない範囲で当業者が該実施形態の修正や代用を成し得ることは自明である。
【００８６】
本明細書では、パーソナル・コンピュータのような一般的な計算機システムに本発明を適用した実施形態を中心に説明してきたが、本発明の要旨は必ずしもこれに限定されるものではなく、ＣＲＴディスプレイやフラット・パネル・ディスプレイなどの表示装置を備えたさまざまな情報機器に対して同様に本発明を適用することができる。
【００８７】
また、本明細書では、ユーザの状態として視線情報を検出する実施形態を中心に説明してきたが、本発明の要旨はこれに限定されるものではなく、作業中のユーザから発現されるその他の生体情報であって、情報提示時期又は情報提示位置の判別に利用できるものをユーザの状態として検出するようにしてもよい。あるいは、ユーザ状態検出手段は、視線情報とその他の生体情報を組み合わせなど、２以上のユーザの状態を検出し、情報提示時期決定手段又は情報提示位置決定手段は、これらのうち所要のユーザ状態を取捨選択して使用するようにしてもよい。
【００８８】
要するに、例示という形態で本発明を開示してきたのであり、本明細書の記載内容を限定的に解釈するべきではない。本発明の要旨を判断するためには、特許請求の範囲を参酌すべきである。
【図面の簡単な説明】
【００８９】
【図１】図１は、本発明の実施に供される計算機システムのハードウェア構成を模式的に示した図である。
【図２】図２は、作業中のユーザに所要の情報を提示するシステムの機能構成を模式的に示した図である。
【図３】図３は、情報の提示時期を判断するための処理手順を示したフローチャートである。
【図４】図４は、情報の提示位置を決定するための処理手順を示したフローチャートである。
【図５】図５は、提示内容を決定するための処理手順を示したフローチャートである。
【図６】図６は、画面がウィンドウ枠に分割されている場合に提示情報を表示している様子を示した図である。
【図７】図７は、提示情報の形態を変化させるための処理手順を示したフローチャートである。
【図８】図８は、形態決定判断部１５１の動作例を示した図である。
【符号の説明】
【００９０】
１０…プロセッサ
２０…メモリ
２１…ディスプレイ・コントローラ
２２…表示装置
２３…入出力インターフェース
２４…キーボード
２５…マウス
２６…ネットワーク・インターフェース
２７…ＨＤＤコントローラ
２８…ＨＤＤ
３０…バス
１００…情報提示システム
１１０…ユーザ状態検出部
１１１…画像入力部
１１２…視線検出部
１１３…視線動作検出部
１２０…提示時期決定部
１２１…時期決定判断部
１２２…視線動作パターン・データベース部
１３０…提示位置決定部
１３１…位置決定判断部
１３２…提示位置データベース部
１４０…表示部
１４１…表示判断部
１４２…提示情報保持部
１５０…提示形態決定部
１５１…形態決定判断部
１５２…提示内容決定部
【特許請求の範囲】
【請求項１】
画面上でユーザの作業内容を表示出力する状況下でユーザに情報を提示する情報提示装置であって、
ユーザの状態を検出するユーザ状態検出手段と、
前記ユーザ状態検出手段によって検出されたユーザの状態に応じて情報を提示する時期を決定する情報提示時期決定手段と、
前記ユーザ状態検出手段によって検出されたユーザの状態又は前記画面の状態の少なくとも一方に応じて、前記画面上で提示情報を提示する位置を決定する情報提示位置決定手段と、
ユーザに提示すべき情報を取得する提示情報取得手段と、
前記情報提示時期決定手段によって決定された時期及び前記情報提示位置決定手段によって決定された位置に基づいて、前記提示情報取得手段によって取得された情報を前記画面上に提示する情報提示手段と、
を具備することを特徴とする情報提示装置。
【請求項２】
前記提示情報取得手段は、新規メールの受信、新着ニュースの到来、エラーその他のシステム情報を提示情報として取得する、
ことを特徴とする請求項１に記載の情報提示装置。
【請求項３】
前記ユーザ状態検出手段は、ユーザの視線動作をユーザの状態として検出する、
ことを特徴とする請求項１に記載の情報提示装置。
【請求項４】
前記情報提示時期決定手段は、所定時間以上にわたりユーザの視線が前記画面外に向いていること、瞬きの波形がゆっくりとしたものになったこと、又は眼球成分が急速に減少したことのうち少なくとも１つに応答して、提示情報を前記画面上に提示可能な時期と判断する、
ことを特徴とする請求項３に記載の情報提示装置。
【請求項５】
前記情報提示位置決定手段は、前記画面上に配置されているウィンドウの状態と前記ユーザ状態検出手段によって検出されたユーザの注視点の関係に基づいて、前記画面上で提示情報を提示する位置を決定する、
ことを特徴とする請求項３に記載の情報提示装置。
【請求項６】
前記情報提示位置決定手段は、前記画面上で複数のウィンドウが開いている状態では、ユーザが注視するウィンドウ以外で注視領域に近い場所を提示位置に決定する、
ことを特徴とする請求項５に記載の情報提示装置。
【請求項７】
前記情報提示位置決定手段は、前記画面上でフルウィンドウが開いている状態では、該ウィンドウ内でユーザの注視点の動きの履歴に基づいて推測される次の注視領域以外の場所を提示位置に決定する、
ことを特徴とする請求項５に記載の情報提示装置。
【請求項８】
前記提示情報取得手段によって取得された提示情報を処理する提示情報処理手段をさらに備え、
前記情報提示手段は処理後の提示情報を前記画面上に提示する、
ことを特徴とする請求項１に記載の情報提示装置。
【請求項９】
前記提示情報処理手段は、前記ユーザ状態検出手段によって検出されたユーザの状態又は前記画面の状態の少なくとも一方に応じて提示情報を処理する、
ことを特徴とする請求項８に記載の情報提示装置。
【請求項１０】
前記提示情報処理手段は、前記画面上で提示情報を配置できる領域が狭い場合に、提示情報を縮退する、
ことを特徴とする請求項８に記載の情報提示装置。
【請求項１１】
前記提示情報処理手段は、前記情報提示位置決定手段によって決定された提示位置で確保される提示領域が十分大きいか否かに応じて提示情報の処理を行なう、
ことを特徴とする請求項８に記載の情報提示装置。
【請求項１２】
前記画面上に提示された提示情報をユーザが読み終えた状態か否かを検出する提示情報状態検出手段と、
ユーザが読み終えた状態と判断された提示情報を前記画面から退避させる提示情報退避手段と、
をさらに備えることを特徴とする請求項１に記載の情報提示装置。
【請求項１３】
前記提示情報状態検出手段は、前記ユーザ状態検出手段によって検出されるユーザの視線動作に基づいて提示情報の状態を検出する、
ことを特徴とする請求項１２に記載の情報提示装置。
【請求項１４】
前記提示情報状態検出手段は、前記画面上に提示された提示情報にユーザの視線が所定時間にわたり滞留したか否かに基づいて提示情報の状態を検出する、
ことを特徴とする請求項１２に記載の情報提示装置。
【請求項１５】
前記提示情報退避手段は、ユーザが読み終えた状態と判断された提示情報を前記画面端縁に退避させる、
ことを特徴とする請求項１２に記載の情報提示装置。
【請求項１６】
画面上でユーザの作業内容を表示出力する状況下でユーザに情報を提示する情報提示方法であって、
ユーザの状態を検出するユーザ状態検出ステップと、
前記ユーザ状態検出ステップにおいて検出されたユーザの状態に応じて情報を提示する時期を決定する情報提示時期決定ステップと、
前記ユーザ状態検出ステップにおいて検出されたユーザの状態又は前記画面の状態の少なくとも一方に応じて、前記画面上で提示情報を提示する位置を決定する情報提示位置決定ステップと、
ユーザに提示すべき情報を取得する提示情報取得ステップと、
前記情報提示時期決定ステップにおいて決定された時期及び前記情報提示位置決定ステップにおいて決定された位置に基づいて、前記提示情報取得ステップにおいて取得された情報を前記画面上に提示する情報提示ステップと、
を具備することを特徴とする情報提示方法。
【請求項１７】
前記提示情報取得ステップでは、新規メールの受信、新着ニュースの到来、エラーその他のシステム情報を提示情報として取得する、
ことを特徴とする請求項１６に記載の情報提示方法。
【請求項１８】
前記ユーザ状態検出ステップでは、ユーザの視線動作をユーザの状態として検出する、
ことを特徴とする請求項１６に記載の情報提示方法。
【請求項１９】
前記情報提示時期決定ステップでは、所定時間以上にわたりユーザの視線が前記画面外に向いていること、瞬きの波形がゆっくりとしたものになったこと、又は眼球成分が急速に減少したことのうち少なくとも１つに応答して、提示情報を前記画面上に提示可能な時期と判断する、
ことを特徴とする請求項１８に記載の情報提示方法。
【請求項２０】
前記情報提示位置決定ステップでは、前記画面上に配置されているウィンドウの状態と前記ユーザ状態検出手段によって検出されたユーザの注視点の関係に基づいて、前記画面上で提示情報を提示する位置を決定する、
ことを特徴とする請求項１８に記載の情報提示方法。
【請求項２１】
前記情報提示位置決定ステップでは、前記画面上で複数のウィンドウが開いている状態において、ユーザが注視するウィンドウ以外で注視領域に近い場所を提示位置に決定する、
ことを特徴とする請求項２０に記載の情報提示方法。
【請求項２２】
前記情報提示位置決定ステップでは、前記画面上でフルウィンドウが開いている状態において、該ウィンドウ内でユーザの注視点の動きの履歴に基づいて推測される次の注視領域以外の場所を提示位置に決定する、
ことを特徴とする請求項２０に記載の情報提示方法。
【請求項２３】
前記提示情報取得ステップにおいて取得された提示情報を処理する提示情報処理ステップをさらに備え、
前記情報提示ステップでは、処理後の提示情報を前記画面上に提示する、
ことを特徴とする請求項１６に記載の情報提示方法。
【請求項２４】
前記提示情報処理ステップでは、前記ユーザ状態検出ステップにおいて検出されたユーザの状態又は前記画面の状態の少なくとも一方に応じて提示情報を処理する、
ことを特徴とする請求項２３に記載の情報提示方法。
【請求項２５】
前記提示情報処理ステップでは、前記画面上で提示情報を配置できる領域が狭い場合に、提示情報を縮退する、
ことを特徴とする請求項２３に記載の情報提示方法。
【請求項２６】
前記提示情報処理ステップでは、前記情報提示位置決定ステップにおいて決定された提示位置で確保される提示領域が十分大きいか否かに応じて提示情報の処理を行なう、
ことを特徴とする請求項２３に記載の情報提示方法。
【請求項２７】
前記画面上に提示された提示情報をユーザが読み終えた状態か否かを検出する提示情報状態検出ステップと、
ユーザが読み終えた状態と判断された提示情報を前記画面から退避させる提示情報退避ステップと、
をさらに備えることを特徴とする請求項１６に記載の情報提示方法。
【請求項２８】
前記提示情報状態検出ステップでは、前記ユーザ状態検出ステップにおいて検出されるユーザの視線動作に基づいて提示情報の状態を検出する、
ことを特徴とする請求項２７に記載の情報提示方法。
【請求項２９】
前記提示情報状態検出ステップでは、前記画面上に提示された提示情報にユーザの視線が所定時間にわたり滞留したか否かに基づいて提示情報の状態を検出する、
ことを特徴とする請求項２７に記載の情報提示方法。
【請求項３０】
前記提示情報退避ステップでは、ユーザが読み終えた状態と判断された提示情報を前記画面端縁に退避させる、
ことを特徴とする請求項２７に記載の情報提示方法。
【請求項３１】
画面上でユーザの作業内容を表示出力する状況下でユーザに情報を提示するための処理をコンピュータ・システム上で実行するようにコンピュータ可読形式で記述されたコンピュータ・プログラムであって、
ユーザの状態を検出するユーザ状態検出ステップと、
前記ユーザ状態検出ステップにおいて検出されたユーザの状態に応じて情報を提示する時期を決定する情報提示時期決定ステップと、
前記ユーザ状態検出ステップにおいて検出されたユーザの状態又は前記画面の状態の少なくとも一方に応じて、前記画面上で提示情報を提示する位置を決定する情報提示位置決定ステップと、
ユーザに提示すべき情報を取得する提示情報取得ステップと、
前記情報提示時期決定ステップにおいて決定された時期及び前記情報提示位置決定ステップにおいて決定された位置に基づいて、前記提示情報取得ステップにおいて取得された情報を前記画面上に提示する情報提示ステップと、
を具備することを特徴とするコンピュータ・プログラム。
【請求項１】
画面上でユーザの作業内容を表示出力する状況下でユーザに情報を提示する情報提示装置であって、
ユーザの状態を検出するユーザ状態検出手段と、
前記ユーザ状態検出手段によって検出されたユーザの状態に応じて情報を提示する時期を決定する情報提示時期決定手段と、
前記ユーザ状態検出手段によって検出されたユーザの状態又は前記画面の状態の少なくとも一方に応じて、前記画面上で提示情報を提示する位置を決定する情報提示位置決定手段と、
ユーザに提示すべき情報を取得する提示情報取得手段と、
前記情報提示時期決定手段によって決定された時期及び前記情報提示位置決定手段によって決定された位置に基づいて、前記提示情報取得手段によって取得された情報を前記画面上に提示する情報提示手段と、
を具備することを特徴とする情報提示装置。
【請求項２】
前記提示情報取得手段は、新規メールの受信、新着ニュースの到来、エラーその他のシステム情報を提示情報として取得する、
ことを特徴とする請求項１に記載の情報提示装置。
【請求項３】
前記ユーザ状態検出手段は、ユーザの視線動作をユーザの状態として検出する、
ことを特徴とする請求項１に記載の情報提示装置。
【請求項４】
前記情報提示時期決定手段は、所定時間以上にわたりユーザの視線が前記画面外に向いていること、瞬きの波形がゆっくりとしたものになったこと、又は眼球成分が急速に減少したことのうち少なくとも１つに応答して、提示情報を前記画面上に提示可能な時期と判断する、
ことを特徴とする請求項３に記載の情報提示装置。
【請求項５】
前記情報提示位置決定手段は、前記画面上に配置されているウィンドウの状態と前記ユーザ状態検出手段によって検出されたユーザの注視点の関係に基づいて、前記画面上で提示情報を提示する位置を決定する、
ことを特徴とする請求項３に記載の情報提示装置。
【請求項６】
前記情報提示位置決定手段は、前記画面上で複数のウィンドウが開いている状態では、ユーザが注視するウィンドウ以外で注視領域に近い場所を提示位置に決定する、
ことを特徴とする請求項５に記載の情報提示装置。
【請求項７】
前記情報提示位置決定手段は、前記画面上でフルウィンドウが開いている状態では、該ウィンドウ内でユーザの注視点の動きの履歴に基づいて推測される次の注視領域以外の場所を提示位置に決定する、
ことを特徴とする請求項５に記載の情報提示装置。
【請求項８】
前記提示情報取得手段によって取得された提示情報を処理する提示情報処理手段をさらに備え、
前記情報提示手段は処理後の提示情報を前記画面上に提示する、
ことを特徴とする請求項１に記載の情報提示装置。
【請求項９】
前記提示情報処理手段は、前記ユーザ状態検出手段によって検出されたユーザの状態又は前記画面の状態の少なくとも一方に応じて提示情報を処理する、
ことを特徴とする請求項８に記載の情報提示装置。
【請求項１０】
前記提示情報処理手段は、前記画面上で提示情報を配置できる領域が狭い場合に、提示情報を縮退する、
ことを特徴とする請求項８に記載の情報提示装置。
【請求項１１】
前記提示情報処理手段は、前記情報提示位置決定手段によって決定された提示位置で確保される提示領域が十分大きいか否かに応じて提示情報の処理を行なう、
ことを特徴とする請求項８に記載の情報提示装置。
【請求項１２】
前記画面上に提示された提示情報をユーザが読み終えた状態か否かを検出する提示情報状態検出手段と、
ユーザが読み終えた状態と判断された提示情報を前記画面から退避させる提示情報退避手段と、
をさらに備えることを特徴とする請求項１に記載の情報提示装置。
【請求項１３】
前記提示情報状態検出手段は、前記ユーザ状態検出手段によって検出されるユーザの視線動作に基づいて提示情報の状態を検出する、
ことを特徴とする請求項１２に記載の情報提示装置。
【請求項１４】
前記提示情報状態検出手段は、前記画面上に提示された提示情報にユーザの視線が所定時間にわたり滞留したか否かに基づいて提示情報の状態を検出する、
ことを特徴とする請求項１２に記載の情報提示装置。
【請求項１５】
前記提示情報退避手段は、ユーザが読み終えた状態と判断された提示情報を前記画面端縁に退避させる、
ことを特徴とする請求項１２に記載の情報提示装置。
【請求項１６】
画面上でユーザの作業内容を表示出力する状況下でユーザに情報を提示する情報提示方法であって、
ユーザの状態を検出するユーザ状態検出ステップと、
前記ユーザ状態検出ステップにおいて検出されたユーザの状態に応じて情報を提示する時期を決定する情報提示時期決定ステップと、
前記ユーザ状態検出ステップにおいて検出されたユーザの状態又は前記画面の状態の少なくとも一方に応じて、前記画面上で提示情報を提示する位置を決定する情報提示位置決定ステップと、
ユーザに提示すべき情報を取得する提示情報取得ステップと、
前記情報提示時期決定ステップにおいて決定された時期及び前記情報提示位置決定ステップにおいて決定された位置に基づいて、前記提示情報取得ステップにおいて取得された情報を前記画面上に提示する情報提示ステップと、
を具備することを特徴とする情報提示方法。
【請求項１７】
前記提示情報取得ステップでは、新規メールの受信、新着ニュースの到来、エラーその他のシステム情報を提示情報として取得する、
ことを特徴とする請求項１６に記載の情報提示方法。
【請求項１８】
前記ユーザ状態検出ステップでは、ユーザの視線動作をユーザの状態として検出する、
ことを特徴とする請求項１６に記載の情報提示方法。
【請求項１９】
前記情報提示時期決定ステップでは、所定時間以上にわたりユーザの視線が前記画面外に向いていること、瞬きの波形がゆっくりとしたものになったこと、又は眼球成分が急速に減少したことのうち少なくとも１つに応答して、提示情報を前記画面上に提示可能な時期と判断する、
ことを特徴とする請求項１８に記載の情報提示方法。
【請求項２０】
前記情報提示位置決定ステップでは、前記画面上に配置されているウィンドウの状態と前記ユーザ状態検出手段によって検出されたユーザの注視点の関係に基づいて、前記画面上で提示情報を提示する位置を決定する、
ことを特徴とする請求項１８に記載の情報提示方法。
【請求項２１】
前記情報提示位置決定ステップでは、前記画面上で複数のウィンドウが開いている状態において、ユーザが注視するウィンドウ以外で注視領域に近い場所を提示位置に決定する、
ことを特徴とする請求項２０に記載の情報提示方法。
【請求項２２】
前記情報提示位置決定ステップでは、前記画面上でフルウィンドウが開いている状態において、該ウィンドウ内でユーザの注視点の動きの履歴に基づいて推測される次の注視領域以外の場所を提示位置に決定する、
ことを特徴とする請求項２０に記載の情報提示方法。
【請求項２３】
前記提示情報取得ステップにおいて取得された提示情報を処理する提示情報処理ステップをさらに備え、
前記情報提示ステップでは、処理後の提示情報を前記画面上に提示する、
ことを特徴とする請求項１６に記載の情報提示方法。
【請求項２４】
前記提示情報処理ステップでは、前記ユーザ状態検出ステップにおいて検出されたユーザの状態又は前記画面の状態の少なくとも一方に応じて提示情報を処理する、
ことを特徴とする請求項２３に記載の情報提示方法。
【請求項２５】
前記提示情報処理ステップでは、前記画面上で提示情報を配置できる領域が狭い場合に、提示情報を縮退する、
ことを特徴とする請求項２３に記載の情報提示方法。
【請求項２６】
前記提示情報処理ステップでは、前記情報提示位置決定ステップにおいて決定された提示位置で確保される提示領域が十分大きいか否かに応じて提示情報の処理を行なう、
ことを特徴とする請求項２３に記載の情報提示方法。
【請求項２７】
前記画面上に提示された提示情報をユーザが読み終えた状態か否かを検出する提示情報状態検出ステップと、
ユーザが読み終えた状態と判断された提示情報を前記画面から退避させる提示情報退避ステップと、
をさらに備えることを特徴とする請求項１６に記載の情報提示方法。
【請求項２８】
前記提示情報状態検出ステップでは、前記ユーザ状態検出ステップにおいて検出されるユーザの視線動作に基づいて提示情報の状態を検出する、
ことを特徴とする請求項２７に記載の情報提示方法。
【請求項２９】
前記提示情報状態検出ステップでは、前記画面上に提示された提示情報にユーザの視線が所定時間にわたり滞留したか否かに基づいて提示情報の状態を検出する、
ことを特徴とする請求項２７に記載の情報提示方法。
【請求項３０】
前記提示情報退避ステップでは、ユーザが読み終えた状態と判断された提示情報を前記画面端縁に退避させる、
ことを特徴とする請求項２７に記載の情報提示方法。
【請求項３１】
画面上でユーザの作業内容を表示出力する状況下でユーザに情報を提示するための処理をコンピュータ・システム上で実行するようにコンピュータ可読形式で記述されたコンピュータ・プログラムであって、
ユーザの状態を検出するユーザ状態検出ステップと、
前記ユーザ状態検出ステップにおいて検出されたユーザの状態に応じて情報を提示する時期を決定する情報提示時期決定ステップと、
前記ユーザ状態検出ステップにおいて検出されたユーザの状態又は前記画面の状態の少なくとも一方に応じて、前記画面上で提示情報を提示する位置を決定する情報提示位置決定ステップと、
ユーザに提示すべき情報を取得する提示情報取得ステップと、
前記情報提示時期決定ステップにおいて決定された時期及び前記情報提示位置決定ステップにおいて決定された位置に基づいて、前記提示情報取得ステップにおいて取得された情報を前記画面上に提示する情報提示ステップと、
を具備することを特徴とするコンピュータ・プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【公開番号】特開２００６−７２８７６（Ｐ２００６−７２８７６Ａ）
【公開日】平成１８年３月１６日（２００６．３．１６）
【国際特許分類】
【出願番号】特願２００４−２５７９６５（Ｐ２００４−２５７９６５）
【出願日】平成１６年９月６日（２００４．９．６）
【出願人】（０００００５４９６）富士ゼロックス株式会社 (21,908)
【Ｆターム（参考）】
【公開日】平成１８年３月１６日（２００６．３．１６）
【国際特許分類】
【出願日】平成１６年９月６日（２００４．９．６）
【出願人】（０００００５４９６）富士ゼロックス株式会社 (21,908)
【Ｆターム（参考）】
[ Back to top ]