視線対応制御装置および視線対応制御方法
【課題】視線の移動と表示内容の対応をとることにより画面表示の適切な制御を行う装置を提供する。
【解決手段】視線対応制御装置は、予定参照順序を有する複数のパーツからなるコンテンツを記憶するコンテンツＤＢと、コンテンツを表示する表示部と、表示部に表示されたパーツの位置を記憶するパーツ表示位置ＤＢと、ユーザの視線を検出する視線検出部と、パーツ表示位置ＤＢから読み出したパーツの表示位置と、視線検出部にて検出された視線とに基づいて、ユーザが参照しているパーツをユーザ参照パーツとして求めるユーザ参照パーツ算出部と、ユーザがパーツを参照した順序と予定参照順序とが一致しているか否かを判定する参照順序判定部と、一致しているとの参照順序判定部による判定結果に応じて、視線検出部にて検出された視線に対応した制御を行う視線対応制御部とを備える。
【解決手段】視線対応制御装置は、予定参照順序を有する複数のパーツからなるコンテンツを記憶するコンテンツＤＢと、コンテンツを表示する表示部と、表示部に表示されたパーツの位置を記憶するパーツ表示位置ＤＢと、ユーザの視線を検出する視線検出部と、パーツ表示位置ＤＢから読み出したパーツの表示位置と、視線検出部にて検出された視線とに基づいて、ユーザが参照しているパーツをユーザ参照パーツとして求めるユーザ参照パーツ算出部と、ユーザがパーツを参照した順序と予定参照順序とが一致しているか否かを判定する参照順序判定部と、一致しているとの参照順序判定部による判定結果に応じて、視線検出部にて検出された視線に対応した制御を行う視線対応制御部とを備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ユーザによるコンテンツの参照内容をユーザの視線から判別し、それに応じて表示や音声等の制御を行う装置および方法に関する。
【背景技術】
【０００２】
パソコンや携帯電話などの情報処理装置において、ユーザへの情報伝達手段として表示画面が利用されている。画面の大きさには各種の理由により制約があり、一画面ですべての情報を表示できない場合は、画面の切替えやスクロールを用いて表示を行っている。画面切替えやスクロールを行うにはユーザの何らかの操作が必要となるが、視線入力を用いてユーザの画面切替えやスクロールの操作を省き、ユーザの操作の負荷を軽減する視線対応表示装置が提案されている。
【０００３】
例えば、特許文献１では、視線の移動速度、位置、注視時間により画面をスクロールまたは切り替える視線対応表示装置が提案されている。この装置によれば、ユーザは視線を移動させることで画面を切り替えるまたはスクロールさせることができ、画面切替えやスクロールのたびに操作を行う必要がないという利点を得られる。
【特許文献１】特開平８−２２３８５号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、特許文献１の視線対応表示装置は、画面に対する視線の位置を利用して画面の制御を行っており、視線の動きと視線の位置に表示されている内容との関連は考慮されていない。このため、不適切な部分への画面切替えもしくはスクロールをしてしまうことがある。例えば、特許文献１の視線対応表示装置では文書の改行を考慮し、行の最終文字付近から次行の先頭文字方向に大きく視線が移動した場合に文書の左端を表示するが、表示内容が単純な構成であることを前提としており、段組や画像挿入がなされた複雑な表示構成であった場合、画面切替えやスクロールを行った先で適切な内容が表示されないことがある。また、このように表示構成が複雑な場合、表示されている画面だけではユーザが次行の先頭文字方向を適切に判別できないことがある。このとき、ユーザは自分で適切な部分を探さなければならない。
【０００５】
また、ユーザが内容を参照していないような場合であっても、ユーザの意図しない画面切替えやスクロールが発生することがあるという問題がある。
【０００６】
本発明は、上記課題を鑑みなされたものであり、視線の移動と表示内容の対応をとることにより画面表示の適切な制御を行う装置を提供することを目的とする。また、画面表示の制御だけでなく、視線の移動と表示内容の対応を用いて音声等を制御することにより、有用な視線対応制御装置を提供することを目的とする。
【課題を解決するための手段】
【０００７】
本発明の視線対応制御装置は、あらかじめ定められた参照順序を有する複数のパーツからなるコンテンツを記憶するコンテンツ記憶手段と、前記コンテンツを表示する表示手段と、前記表示手段に表示された前記パーツの位置を記憶するパーツ表示位置記憶手段と、前記表示手段に表示されたコンテンツを見るユーザの視線を検出する視線検出手段と、前記パーツ表示位置記憶手段から読み出した前記パーツの表示位置と、前記視線検出手段にて検出された視線とに基づいて、ユーザが参照しているパーツをユーザ参照パーツとして求めるユーザ参照パーツ算出手段と、前記ユーザ参照パーツ算出手段にて算出されたユーザ参照パーツに基づいて、ユーザがパーツを参照した順序とあらかじめ定められた参照順序とが一致しているか否かを判定する参照順序判定手段と、ユーザがパーツを参照した順序とあらかじめ定められた参照順序とが一致しているとの前記参照順序判定手段による判定結果に応じて、前記視線検出手段にて検出された視線に対応した制御を行う視線対応制御手段とを備えた構成を有する。
【０００８】
この構成により、ユーザの視線からユーザが参照しているコンテンツのパーツを求め、パーツを参照した順序があらかじめ定められたパーツの参照順序と一致しているか否かを判定するので、ユーザの視線がコンテンツを参照することによって動いたものか否かを判断できる。そして、あらかじめ定められた参照順序とユーザの視線の動きが一致する場合、すなわちユーザがコンテンツを参照していると判定される場合には、視線に対応した制御を行うので、ユーザが意図しない制御を抑制し、ユーザの視線に対応した適切な制御を行える。
【０００９】
上記視線対応制御装置の視線対応制御手段は、前記ユーザ参照パーツ算出手段にて算出されたユーザ参照パーツに基づいて、前記コンテンツのパーツを前記コンテンツ記憶手段から読み出して前記表示手段に表示してもよい。
【００１０】
この構成により、コンテンツの適切なパーツを表示することができる。例えば、ユーザの視線とコンテンツのパーツとの対応をとることで画面の切替えやスクロール時に適切な表示内容を特定でき、複雑な表示構成の場合でも適切なタイミングで適切な画面制御を行うことができる。また、注目している内容に応じて強調表示や注釈等のポップアップ表示を行うことで、ユーザに対して効率的な情報提示を行える。
【００１１】
上記視線対応制御装置の視線対応制御手段は、前記ユーザ参照パーツ算出手段にて算出されたユーザ参照パーツに対応する音声を出力してもよい。
【００１２】
この構成により、ユーザが参照しているパーツに合った音声を出力することができる。例えば、高い臨場感を演出する等のユーザに対する効果的な情報提示を行える。
【００１３】
上記視線対応制御装置は、前記ユーザ参照パーツ算出手段にて算出されたユーザ参照パーツを記憶する参照履歴記憶手段を備え、前記視線対応制御手段は、前記参照履歴記憶手段からユーザが参照したパーツの履歴を読み出し、前記履歴に応じた制御を行ってもよい。
【００１４】
この構成により、ユーザが過去に参照したパーツに基づいて適切な制御を行える。例えば、ユーザがまだ見ていないパーツを見るように注意を喚起することができる。
【００１５】
本発明の視線対応制御方法は、あらかじめ定められた参照順序を有する複数のパーツからなるコンテンツを記憶したコンテンツ記憶手段からコンテンツを読み出して表示する表示ステップと、前記表示ステップにおいて表示された前記パーツの位置をパーツ表示位置記憶手段に記憶するパーツ表示位置記憶ステップと、前記表示ステップにおいて表示されたコンテンツを見るユーザの視線を検出する視線検出ステップと、前記パーツ表示位置記憶手段から読み出した前記パーツの表示位置と、前記視線検出手段にて検出された視線とに基づいて、ユーザが参照しているパーツをユーザ参照パーツとして求めるユーザ参照パーツ算出ステップと、前記ユーザ参照パーツ算出ステップにて算出されたユーザ参照パーツに基づいて、ユーザがパーツを参照した順序とあらかじめ定められた参照順序とが一致しているか否かを判定する参照順序判定ステップと、ユーザがパーツを参照した順序とあらかじめ定められた参照順序とが一致しているとの前記参照順序判定ステップにおける判定結果に応じて、前記視線検出ステップにおいて検出された視線に対応した制御を行う視線対応制御ステップとを備える。
【００１６】
この構成により、本発明の視線対応制御装置と同様に、ユーザの視線に対応した適切な制御を行える。また、本発明の視線対応制御装置の各種の構成を本発明の視線対応制御方法に適用することも可能である。
【００１７】
本発明のプログラムは、ユーザの視線に応じた制御を行うためのプログラムであって、コンピュータに、あらかじめ定められた参照順序を有する複数のパーツからなるコンテンツを記憶したコンテンツ記憶手段からコンテンツを読み出して表示する表示ステップと、前記表示ステップにおいて表示された前記パーツの位置をパーツ表示位置記憶手段に記憶するパーツ表示位置記憶ステップと、前記表示ステップにおいて表示されたコンテンツを見るユーザの視線を検出する視線検出ステップと、前記パーツ表示位置記憶手段から読み出した前記パーツの表示位置と、前記視線検出手段にて検出された視線とに基づいて、ユーザが参照しているパーツをユーザ参照パーツとして求めるユーザ参照パーツ算出ステップと、前記ユーザ参照パーツ算出ステップにて算出されたユーザ参照パーツに基づいて、ユーザがパーツを参照した順序とあらかじめ定められた参照順序とが一致しているか否かを判定する参照順序判定ステップと、ユーザがパーツを参照した順序とあらかじめ定められた参照順序とが一致しているとの前記参照順序判定ステップにおける判定結果に応じて、前記視線検出ステップにおいて検出された視線に対応した制御を行う視線対応制御ステップとを実行させる。
【００１８】
この構成により、本発明の視線対応制御装置と同様に、ユーザの視線に対応した適切な制御を行える。また、本発明の視線対応制御装置の各種の構成を本発明のプログラムに適用することも可能である。
【発明の効果】
【００１９】
本発明は、ユーザがパーツを参照した順序をユーザの視線から求め、求めた順序とあらかじめ定められたパーツの参照順序とが一致している場合に視線に対応した制御を行うことにより、ユーザが意図しない制御を抑制し、ユーザの視線に対応した適切な制御を行えるというすぐれた効果を有する。
【発明を実施するための最良の形態】
【００２０】
以下、本発明の実施の形態について、図面を参照しながら説明する。
【００２１】
（第１の実施の形態）
図１は、本発明の第１の実施の形態の視線対応制御装置１０を示す図である。視線対応制御装置１０は、ユーザの視線移動とあらかじめ定められたパーツの参照順序とが一致した場合にユーザの視線に対応した視線対応制御を行う装置である。
【００２２】
視線対応制御装置１０は、表示部１２と、視線検出部１４と、コンテンツデータベース（以下、「コンテンツＤＢ」という）１６と、制御部２０とを備えている。
【００２３】
表示部１２は、ＬＣＤなどにより構成され、表示メモリに書き込まれた画像を表示する機能を有する。
【００２４】
視線検出部１４は、カメラと画像処理などの各種データ処理を行うコンピュータ等から構成される。カメラによってユーザを撮影し、撮影して得られた画像から、表示部１２に表示されたコンテンツを見るユーザの視線を検出する。表示部１２への視線を検出するために必要な表示部１２とカメラとの位置関係は、あらかじめ設定されている。
【００２５】
コンテンツＤＢ１６には、ＨＴＭＬなどにより記述されたコンテンツ表示のためのソースコードと、その表示に必要な文字や絵、写真などのデータが記憶されている。図２（ａ）は、コンテンツＤＢ１６に記憶されたデータを示す図である。コンテンツＤＢ１６には、パーツＡ〜Ｚと画像のパーツからなるコンテンツが記憶されている。パーツＡ〜Ｚのそれぞれは文字であってもよいし、文章でもよい。パーツＡ〜Ｚは、「Ａ」「Ｂ」「Ｃ」・・・「Ｚ」の順で参照されることがあらかじめ定められている。以下、この順序を「予定参照順序」という。
【００２６】
制御部２０は、視線に応じた制御を行う。制御部２０は、ユーザ参照パーツ算出部２２と、参照順序判定部２４と、視線対応制御部２６とを備えている。制御部２０の機能は、コンピュータのＣＰＵが所定のプログラムを読み出して実行することにより実現される。、また、図１には記載されていないが、制御部２０は、表示用画像作成、表示メモリへの書込み等を行う機能も有している。
【００２７】
制御部２０において、ユーザ参照パーツ算出部２２は、視線検出部１４にて検出されたユーザの視線と、パーツ表示位置データベース（以下、「パーツ表示位置ＤＢ」という）１８に記憶された画面内におけるパーツの表示位置とに基づいてユーザが参照したパーツを求める機能を有する。ここで、パーツ表示位置ＤＢ１８は、表示部１２にコンテンツを表示するときに取得した画面内におけるパーツの位置を記憶する。
【００２８】
図３は、パーツ表示位置ＤＢ１８に記憶されたデータの例を示す図である。図３に示すように、パーツ表示位置ＤＢ１８には、表示画像内におけるパーツの表示位置の座標のデータが記憶されている。パーツ表示位置ＤＢ１８の座標のデータは、表示部１２にてコンテンツを表示する際に取得される。
【００２９】
参照順序判定部２４は、ユーザがパーツを参照した順序と、予定参照順序とが一致しているか否かを判定する機能を有する。予定参照順序とユーザがパーツを参照した順序とが一致している場合には、ユーザがコンテンツを理解しながら参照していると判断できる。逆に一致しない場合には、予定参照順序とは関係なく視線が移動するので、ユーザがコンテンツを参照していないと判断できる。
【００３０】
視線対応制御部２６は、ユーザがパーツを参照した順序と、コンテンツの予定参照順序とが一致している場合に、ユーザの視線に対応した制御を行う機能を有する。
【００３１】
図４は、視線対応制御装置１０の動作を示すフローチャートである。図４を参照して、視線対応制御装置１０の動作について説明する。
【００３２】
まず、視線対応制御装置１０の制御部２０は、表示文字サイズや表示領域サイズ、縦書き、横書き等の情報を反映したコンテンツの表示画像を生成し、表示部１２に表示する（Ｓ１０）。このとき、制御部２０は、表示画像におけるパーツの表示位置を求め、パーツ表示位置ＤＢ１８に記憶する。
【００３３】
次に、視線検出部１４は、ユーザの視線を検出する（ステップＳ１２）。具体的には、視線検出部１４は、カメラで撮像した画像から、画像認識によって目の部分を抽出するとともに、その中の瞳の位置、視線の方向を検出する。さらに、カメラと表示部１２との位置関係、カメラの撮影方向および検出した視線方向から、ユーザの視線が表示部１２のどの位置に向いているかを検出する。本実施の形態では、視線検出部１４は、カメラの撮影画像から視線を検出する構成を採用したが、視線を検出する構成は、本実施の形態の構成に限られず、別の構成を採用してもよい。
【００３４】
次に、制御部２０のユーザ参照パーツ算出部２４により、視線検出部１４において検出された視線情報とパーツ表示位置ＤＢ１８に記憶されたパーツの表示位置から、ユーザが参照しているパーツを求める（ステップＳ１４）。続いて、参照順序判定部２４が、ユーザが画面内のパーツを参照した順序と予定参照順序とが一致するか否かを判定する（ステップＳ１６）。具体的には、制御部２０の参照順序判定部２４は、ユーザによって参照された所定数のパーツの順序が予定参照順序と連続して一致する場合に一致と判定する。
【００３５】
図２（ｂ）は、図２（ａ）に示すコンテンツＤＢ１６のデータに基づいて、コンテンツを表示した例を示す図である。図２（ａ）、図２（ｂ）および図３を参照して、ユーザの視線と参照パーツとの関係および参照順序判定について説明する。図３に示すように、パーツ表示位置ＤＢ１８は、各パーツの表示位置情報を記憶している。視線検出部１４にて検出された視線の方向から、ユーザが見ている表示部１２上の位置を特定する。例えば、ユーザの視線が図２（ｂ）に示す位置４０（表示画像内の座標（１０，６０））を向いているとすると、ユーザ参照パーツ算出部２２は、その座標から対応するパーツ「Ｐ」をパーツ表示位置ＤＢ１８から読み出し、ユーザが参照しているパーツとして特定する。このように、視線検出部１４にて検出された視線とパーツ表示位置ＤＢ１８とによってユーザが参照しているパーツを求めることができる。ユーザの視線が位置４０から位置４２へ移動し、さらに位置４４、位置４６へ順次移動したとすると、ユーザが参照しているパーツは、「Ｐ」「Ｒ」「Ｓ」「Ｕ」の順に変化していることが分かる。ここで、コンテンツ記憶部に記憶されたコンテンツの参照順序と比較すると、「Ｐ」「Ｒ」「Ｓ」「Ｕ」は、予定参照順序と一致しているので、ユーザが予定参照順序に従って、コンテンツを参照していると判定される。
【００３６】
視線対応制御装置１０は、ユーザがパーツを参照した順序と予定参照順序とが一致していると判定された場合は視線に応じた制御を行い（ステップＳ１８）、一致すると判定されない場合は視線の対応内容に応じた制御を行わない。なお、視線移動４８のように段組表示を追う場合などで、どのパーツとも対応しない位置を視線が移動している場合は、次のパーツが検出されるまで待機する。ただし、次のパーツが検出されるまでに、所定時間以上経過した場合には視線に応じた制御を行わない。
【００３７】
なお、人間の視覚の特性には、視線が高速移動し視覚特性が低下するサッカード状態と、視線が停留し高い視覚特性を示す状態があり、これを繰り返して内容を読んでいるので、この特性の違いを利用して判定を行うことが好適である。例えば、ユーザが内容を読んでいる場合は視線の停留が起こるので、サッカード後に視線停留があった場合に、視線移動によってなぞられた部分と参照部分を読んだと判定する。
【００３８】
また、人間の視線移動には個人差があり、場合によっては順序が正しく判別されないこともあると考えられるので、順序の識別に幅を持たせ、軽度の戻り読みなど誤差を吸収するようにすることが好適である。以上、第１の実施の形態の視線対応制御装置１０について説明した。
【００３９】
第１の実施の形態の視線対応制御装置１０は、ユーザの視線からユーザが参照しているパーツを検出し、ユーザがパーツを参照した順序と予定参照順序とが一致するか判定することにより、ユーザがコンテンツを読んでいるか否かを判定できる。
【００４０】
また、ユーザがパーツを参照した順序と予定参照順序とが一致する場合に、視線に対応する制御を行うことにより、ユーザがコンテンツを参照していない場合に、視線に対応して誤った制御を行うことを防ぐことができる。
【００４１】
また、本実施の形態では、表示部１２にてコンテンツを表示する際に、表示される各パーツの表示画像内の座標を求めてパーツ表示位置ＤＢ１８に記憶するので、表示部１２の仕様によって異なる表示態様の相違によらず、適切に視線位置からパーツを特定できる。
【００４２】
（第２の実施の形態）
図５は、本発明の第２の実施の形態の視線対応制御装置１０を示す図である。第２の実施の形態の視線対応制御装置１０は、第１の実施の形態と基本的な構成は同じであるが、視線対応制御を行う表示画像生成部２８を備える。
【００４３】
表示画像生成部２８は、ユーザ参照パーツ算出部２２にて求めたユーザが参照しているパーツに基づいて、次にユーザが参照する表示画像を生成する機能を有する。
【００４４】
次に、第２の実施の形態の視線対応制御装置１０の動作について説明する。第２の実施の形態の視線対応制御装置１０の基本的な動作は、図４に示す第１の実施の形態の視線対応制御装置１０の動作と同じであるが、視線対応制御（Ｓ１８）として視線に対応した表示画像を生成し、表示部１２に表示する。
【００４５】
図６は、第２の実施の形態において表示部１２に表示されるコンテンツの全体を示す図である。コンテンツはパーツＡ〜Ｚと画像のパーツを含んでいる。表示部１２は、コンテンツを部分的に表示し、表示画像を切り替えることによってコンテンツを表示する。現在、表示部１２には、「Ｎ」、「Ｏ」、「Ｑ」、「Ｒ」のパーツを含む表示画像５０が表示され、ユーザの視線からユーザが「Ｒ」のパーツを参照していることを検出しているとする。このとき、表示画像生成部２８は、図２（ａ）に示すコンテンツＤＢ１６を参照して、パーツ「Ｒ」の次に参照されるパーツが「Ｓ」であることを検出する。そして、表示画像生成部２８は、パーツ「Ｓ」が現在の表示画像５０に含まれているか否かを判定し、含まれていない場合にはパーツ「Ｓ」を含む表示画像５２を生成する。このとき、表示画像生成部２８により続き部分が適切な位置に表示されるように表示画像を生成する。そして、表示画像生成部２８は、生成した画像を適切なタイミングで表示メモリに書き込むことにより、表示画像を切り替える。なお、ここでは、画像切替えの例について説明したが、画像を連続的に生成し、表示メモリに書き込むことで表示画像をスクロールさせてもよい。
【００４６】
また、表示画像生成部２８は、図６の続きのパーツ「Ｓ」のように、ユーザが参照している内容の続き部分５４の書体をイタリックに変更し、ユーザが続き部分を見つけやすいように強調してもよい。また、書体を変更する代わりに、表示色を変更してもよい。
【００４７】
また、図６の矢印５６のように続き部分の方向への矢印を表示することで、ユーザに続き部分を見つけ易くすると共に、視線がその方向に動いた場合にスクロールしてもよい。
【００４８】
また、表示画像生成部２８は、コンテンツに文字情報と図や注釈等との対応が埋め込まれている場合、ユーザが注目している内容に対応する図や注釈等の付加情報の強調表示やポップアップ表示を行ってもよい。
【００４９】
また、ＨＴＭＬのようなコンテンツである場合、リンクが貼られた内容を見た場合にリンク先を表示するようにしてもよい。
【００５０】
なお、コンテンツに文字情報と図や注釈等との対応が埋め込まれている場合にユーザの注目内容に対応した付加情報を表示するとしたが、テキスト情報を解析することによって、コンテンツとは別に用意した絵や写真のデータベースから注目内容に対応する絵や写真の情報を検索し、表示するようにしてもよい。
【００５１】
このような本発明の第２の実施の形態によれば、ユーザが参照しているパーツに対応した表示画像を生成することにより、適切な画面切替えやスクロールを行える。これにより、ユーザに対して効率的、効果的な情報提示が可能となる。
【００５２】
（第３の実施の形態）
図７は、本発明の第３の実施の形態の視線対応制御装置１０を示す図である。第２の実施の形態の視線対応制御装置１０は、第１の実施の形態と基本的な構成は同じであるが、視線対応制御を行う音声制御部３０を備える。
【００５３】
音声制御部３０は、ユーザが参照しているパーツに合った音声を出力する機能を有する。音声制御部３０にて出力する音声のデータは、コンテンツを構成する各パーツに関連付けてコンテンツＤＢ１６に記憶しておく。そして、音声制御部３０は、ユーザ参照パーツ算出部２２にて求めたユーザの参照パーツに対応する音声データをコンテンツＤＢ１６から読み出して出力する。
【００５４】
次に、第３の実施の形態の視線対応制御装置１０の動作について説明する。第３の実施の形態の視線対応制御装置１０の基本的な動作は、図４に示す第１の実施の形態の視線対応制御装置１０と同じであるが、ユーザがパーツを参照する順序が予定参照順序と一致すると判定された場合に、視線対応制御（Ｓ１８）として、音声制御部３０にて参照パーツに対応する音声を出力する点が異なる。
【００５５】
第３の実施の形態の視線対応制御装置１０によれば、ユーザが参照するコンテンツの内容に応じて音声を出力して、臨場感を高めることができる。例えば、雷に関する記述をユーザが参照したタイミングで雷の効果音を出力する。これにより、ユーザに対する効率的かつ効果的な情報提示を行える。
【００５６】
なお、本実施の形態では、出力する音声と参照パーツとの対応は予めコンテンツに記憶させておくとしたが、別の構成によってコンテンツに対応する音声を出力することとしてもよい。例えば、コンテンツＤＢ１６とは別の音声データベースを設けておく。そして、音声制御部３０は、ユーザが参照しているパーツの内容を解析し、その解析結果に対応する音声を音声データベースから読み出す構成としてもよい。
【００５７】
また、効果的な情報提示を行うために、音声制御部３０はユーザが注目している内容に対応した効果音だけでなく、音声案内等を出力してもよい。
【００５８】
（第４の実施の形態）
本発明の第４の実施の形態を図８に示す。第４の実施の形態の視線対応制御装置１０は、第１の実施の形態と基本的な構成は同じであるが、視線から得られたユーザの参照履歴を用いた制御を行う履歴対応制御部３２を備える。
【００５９】
履歴対応制御部３２は、ユーザの見たパーツの履歴に応じて制御を行う。履歴対応制御部３２は、例えば、ユーザが別のコンテンツに移動しようとしたときに、表示中のコンテンツの中でユーザが見ていない部分を、ユーザが参照したパーツの履歴から求め、その部分を見るようにユーザに促す。
【００６０】
次に、第４の実施の形態の視線対応制御装置１０の動作について説明する。第４の実施の形態の視線対応制御装置１０の基本的な動作は、図４に示す第１の実施の形態の視線対応制御装置１０と同じであるが、ユーザがパーツを参照する順序が予定参照順序と一致すると判定された場合に、視線対応制御（Ｓ１８）として、履歴制御部２０にて履歴に対応した制御を行う点が異なる。
【００６１】
例えば、ユーザに対してライセンス契約の内容に目を通してもらいたい場合、ユーザの視線と表示されたパーツとの対応を取り、ユーザが参照したパーツを記憶する。ユーザがすべてのパーツに参照したら、同意の確認画面への切替えを行う。また、ユーザがすべての内容を参照していない状態で次の操作ステップに進もうとした場合に、読んでいない部分を強調表示し、音声等により通読を促す。
【００６２】
第４の実施の形態の視線対応制御装置１０は、ユーザの注目している内容の履歴に応じた履歴対応制御部３２を設けたことにより、ユーザに対して所定の情報の提示を確実に行うことができる。
【００６３】
以上、本発明の視線対応制御装置について実施の形態を挙げて詳細に説明したが、本発明は上記した実施の形態に限定されるものではない。
【００６４】
上記した実施の形態において、視線対応制御として画面表示と音声出力等について説明したが、その他の視線対応制御を行うことも可能である。例えば、ユーザの視線に応じて、機器のスイッチのオンまたはオフ、使用ユーザの録画などの記録処理、メールの送信などの通信処理等を行うこともできる。
【産業上の利用可能性】
【００６５】
本発明にかかる視線対応制御装置は、視線によりユーザの注目しているコンテンツに応じた制御を適切なタイミングで行い、ユーザに効果的で効率的な情報提示を行うことができるため、電子書籍やカメラ付携帯電話等の情報表示を行う機器の制御装置として有用である。
【図面の簡単な説明】
【００６６】
【図１】第１の実施の形態の視線対応制御装置１０の構成を示す図
【図２】（ａ）はコンテンツＤＢ１６に記憶されたデータの例を示す図、（ｂ）はコンテンツの表示例を示す図
【図３】パーツ表示位置ＤＢ１８に記憶されたデータの例を示す図
【図４】第１の実施の形態の視線対応制御装置１０の動作を示す図
【図５】第２の実施の形態の視線対応制御装置１０の構成を示す図
【図６】視線先の内容に応じた表示画像生成を説明するため図
【図７】第３の実施の形態の視線対応制御装置１０の構成を示す図
【図８】第４の実施の形態の視線対応制御装置１０の構成を示す図
【符号の説明】
【００６７】
１０ 視線対応制御装置
１２ 表示部
１４ 視線検出部
１６ コンテンツＤＢ
１８ パーツ表示位置ＤＢ
２０ 制御部
２２ ユーザ参照パーツ算出部
２４ 参照順序判定部
２６ 視線対応制御部
２８ 表示画像生成部
３０ 音声制御部
３２ 履歴対応制御部
４０ 表示画像
４２ 表示画像
４４ 矢印
【技術分野】
【０００１】
本発明は、ユーザによるコンテンツの参照内容をユーザの視線から判別し、それに応じて表示や音声等の制御を行う装置および方法に関する。
【背景技術】
【０００２】
パソコンや携帯電話などの情報処理装置において、ユーザへの情報伝達手段として表示画面が利用されている。画面の大きさには各種の理由により制約があり、一画面ですべての情報を表示できない場合は、画面の切替えやスクロールを用いて表示を行っている。画面切替えやスクロールを行うにはユーザの何らかの操作が必要となるが、視線入力を用いてユーザの画面切替えやスクロールの操作を省き、ユーザの操作の負荷を軽減する視線対応表示装置が提案されている。
【０００３】
例えば、特許文献１では、視線の移動速度、位置、注視時間により画面をスクロールまたは切り替える視線対応表示装置が提案されている。この装置によれば、ユーザは視線を移動させることで画面を切り替えるまたはスクロールさせることができ、画面切替えやスクロールのたびに操作を行う必要がないという利点を得られる。
【特許文献１】特開平８−２２３８５号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、特許文献１の視線対応表示装置は、画面に対する視線の位置を利用して画面の制御を行っており、視線の動きと視線の位置に表示されている内容との関連は考慮されていない。このため、不適切な部分への画面切替えもしくはスクロールをしてしまうことがある。例えば、特許文献１の視線対応表示装置では文書の改行を考慮し、行の最終文字付近から次行の先頭文字方向に大きく視線が移動した場合に文書の左端を表示するが、表示内容が単純な構成であることを前提としており、段組や画像挿入がなされた複雑な表示構成であった場合、画面切替えやスクロールを行った先で適切な内容が表示されないことがある。また、このように表示構成が複雑な場合、表示されている画面だけではユーザが次行の先頭文字方向を適切に判別できないことがある。このとき、ユーザは自分で適切な部分を探さなければならない。
【０００５】
また、ユーザが内容を参照していないような場合であっても、ユーザの意図しない画面切替えやスクロールが発生することがあるという問題がある。
【０００６】
本発明は、上記課題を鑑みなされたものであり、視線の移動と表示内容の対応をとることにより画面表示の適切な制御を行う装置を提供することを目的とする。また、画面表示の制御だけでなく、視線の移動と表示内容の対応を用いて音声等を制御することにより、有用な視線対応制御装置を提供することを目的とする。
【課題を解決するための手段】
【０００７】
本発明の視線対応制御装置は、あらかじめ定められた参照順序を有する複数のパーツからなるコンテンツを記憶するコンテンツ記憶手段と、前記コンテンツを表示する表示手段と、前記表示手段に表示された前記パーツの位置を記憶するパーツ表示位置記憶手段と、前記表示手段に表示されたコンテンツを見るユーザの視線を検出する視線検出手段と、前記パーツ表示位置記憶手段から読み出した前記パーツの表示位置と、前記視線検出手段にて検出された視線とに基づいて、ユーザが参照しているパーツをユーザ参照パーツとして求めるユーザ参照パーツ算出手段と、前記ユーザ参照パーツ算出手段にて算出されたユーザ参照パーツに基づいて、ユーザがパーツを参照した順序とあらかじめ定められた参照順序とが一致しているか否かを判定する参照順序判定手段と、ユーザがパーツを参照した順序とあらかじめ定められた参照順序とが一致しているとの前記参照順序判定手段による判定結果に応じて、前記視線検出手段にて検出された視線に対応した制御を行う視線対応制御手段とを備えた構成を有する。
【０００８】
この構成により、ユーザの視線からユーザが参照しているコンテンツのパーツを求め、パーツを参照した順序があらかじめ定められたパーツの参照順序と一致しているか否かを判定するので、ユーザの視線がコンテンツを参照することによって動いたものか否かを判断できる。そして、あらかじめ定められた参照順序とユーザの視線の動きが一致する場合、すなわちユーザがコンテンツを参照していると判定される場合には、視線に対応した制御を行うので、ユーザが意図しない制御を抑制し、ユーザの視線に対応した適切な制御を行える。
【０００９】
上記視線対応制御装置の視線対応制御手段は、前記ユーザ参照パーツ算出手段にて算出されたユーザ参照パーツに基づいて、前記コンテンツのパーツを前記コンテンツ記憶手段から読み出して前記表示手段に表示してもよい。
【００１０】
この構成により、コンテンツの適切なパーツを表示することができる。例えば、ユーザの視線とコンテンツのパーツとの対応をとることで画面の切替えやスクロール時に適切な表示内容を特定でき、複雑な表示構成の場合でも適切なタイミングで適切な画面制御を行うことができる。また、注目している内容に応じて強調表示や注釈等のポップアップ表示を行うことで、ユーザに対して効率的な情報提示を行える。
【００１１】
上記視線対応制御装置の視線対応制御手段は、前記ユーザ参照パーツ算出手段にて算出されたユーザ参照パーツに対応する音声を出力してもよい。
【００１２】
この構成により、ユーザが参照しているパーツに合った音声を出力することができる。例えば、高い臨場感を演出する等のユーザに対する効果的な情報提示を行える。
【００１３】
上記視線対応制御装置は、前記ユーザ参照パーツ算出手段にて算出されたユーザ参照パーツを記憶する参照履歴記憶手段を備え、前記視線対応制御手段は、前記参照履歴記憶手段からユーザが参照したパーツの履歴を読み出し、前記履歴に応じた制御を行ってもよい。
【００１４】
この構成により、ユーザが過去に参照したパーツに基づいて適切な制御を行える。例えば、ユーザがまだ見ていないパーツを見るように注意を喚起することができる。
【００１５】
本発明の視線対応制御方法は、あらかじめ定められた参照順序を有する複数のパーツからなるコンテンツを記憶したコンテンツ記憶手段からコンテンツを読み出して表示する表示ステップと、前記表示ステップにおいて表示された前記パーツの位置をパーツ表示位置記憶手段に記憶するパーツ表示位置記憶ステップと、前記表示ステップにおいて表示されたコンテンツを見るユーザの視線を検出する視線検出ステップと、前記パーツ表示位置記憶手段から読み出した前記パーツの表示位置と、前記視線検出手段にて検出された視線とに基づいて、ユーザが参照しているパーツをユーザ参照パーツとして求めるユーザ参照パーツ算出ステップと、前記ユーザ参照パーツ算出ステップにて算出されたユーザ参照パーツに基づいて、ユーザがパーツを参照した順序とあらかじめ定められた参照順序とが一致しているか否かを判定する参照順序判定ステップと、ユーザがパーツを参照した順序とあらかじめ定められた参照順序とが一致しているとの前記参照順序判定ステップにおける判定結果に応じて、前記視線検出ステップにおいて検出された視線に対応した制御を行う視線対応制御ステップとを備える。
【００１６】
この構成により、本発明の視線対応制御装置と同様に、ユーザの視線に対応した適切な制御を行える。また、本発明の視線対応制御装置の各種の構成を本発明の視線対応制御方法に適用することも可能である。
【００１７】
本発明のプログラムは、ユーザの視線に応じた制御を行うためのプログラムであって、コンピュータに、あらかじめ定められた参照順序を有する複数のパーツからなるコンテンツを記憶したコンテンツ記憶手段からコンテンツを読み出して表示する表示ステップと、前記表示ステップにおいて表示された前記パーツの位置をパーツ表示位置記憶手段に記憶するパーツ表示位置記憶ステップと、前記表示ステップにおいて表示されたコンテンツを見るユーザの視線を検出する視線検出ステップと、前記パーツ表示位置記憶手段から読み出した前記パーツの表示位置と、前記視線検出手段にて検出された視線とに基づいて、ユーザが参照しているパーツをユーザ参照パーツとして求めるユーザ参照パーツ算出ステップと、前記ユーザ参照パーツ算出ステップにて算出されたユーザ参照パーツに基づいて、ユーザがパーツを参照した順序とあらかじめ定められた参照順序とが一致しているか否かを判定する参照順序判定ステップと、ユーザがパーツを参照した順序とあらかじめ定められた参照順序とが一致しているとの前記参照順序判定ステップにおける判定結果に応じて、前記視線検出ステップにおいて検出された視線に対応した制御を行う視線対応制御ステップとを実行させる。
【００１８】
この構成により、本発明の視線対応制御装置と同様に、ユーザの視線に対応した適切な制御を行える。また、本発明の視線対応制御装置の各種の構成を本発明のプログラムに適用することも可能である。
【発明の効果】
【００１９】
本発明は、ユーザがパーツを参照した順序をユーザの視線から求め、求めた順序とあらかじめ定められたパーツの参照順序とが一致している場合に視線に対応した制御を行うことにより、ユーザが意図しない制御を抑制し、ユーザの視線に対応した適切な制御を行えるというすぐれた効果を有する。
【発明を実施するための最良の形態】
【００２０】
以下、本発明の実施の形態について、図面を参照しながら説明する。
【００２１】
（第１の実施の形態）
図１は、本発明の第１の実施の形態の視線対応制御装置１０を示す図である。視線対応制御装置１０は、ユーザの視線移動とあらかじめ定められたパーツの参照順序とが一致した場合にユーザの視線に対応した視線対応制御を行う装置である。
【００２２】
視線対応制御装置１０は、表示部１２と、視線検出部１４と、コンテンツデータベース（以下、「コンテンツＤＢ」という）１６と、制御部２０とを備えている。
【００２３】
表示部１２は、ＬＣＤなどにより構成され、表示メモリに書き込まれた画像を表示する機能を有する。
【００２４】
視線検出部１４は、カメラと画像処理などの各種データ処理を行うコンピュータ等から構成される。カメラによってユーザを撮影し、撮影して得られた画像から、表示部１２に表示されたコンテンツを見るユーザの視線を検出する。表示部１２への視線を検出するために必要な表示部１２とカメラとの位置関係は、あらかじめ設定されている。
【００２５】
コンテンツＤＢ１６には、ＨＴＭＬなどにより記述されたコンテンツ表示のためのソースコードと、その表示に必要な文字や絵、写真などのデータが記憶されている。図２（ａ）は、コンテンツＤＢ１６に記憶されたデータを示す図である。コンテンツＤＢ１６には、パーツＡ〜Ｚと画像のパーツからなるコンテンツが記憶されている。パーツＡ〜Ｚのそれぞれは文字であってもよいし、文章でもよい。パーツＡ〜Ｚは、「Ａ」「Ｂ」「Ｃ」・・・「Ｚ」の順で参照されることがあらかじめ定められている。以下、この順序を「予定参照順序」という。
【００２６】
制御部２０は、視線に応じた制御を行う。制御部２０は、ユーザ参照パーツ算出部２２と、参照順序判定部２４と、視線対応制御部２６とを備えている。制御部２０の機能は、コンピュータのＣＰＵが所定のプログラムを読み出して実行することにより実現される。、また、図１には記載されていないが、制御部２０は、表示用画像作成、表示メモリへの書込み等を行う機能も有している。
【００２７】
制御部２０において、ユーザ参照パーツ算出部２２は、視線検出部１４にて検出されたユーザの視線と、パーツ表示位置データベース（以下、「パーツ表示位置ＤＢ」という）１８に記憶された画面内におけるパーツの表示位置とに基づいてユーザが参照したパーツを求める機能を有する。ここで、パーツ表示位置ＤＢ１８は、表示部１２にコンテンツを表示するときに取得した画面内におけるパーツの位置を記憶する。
【００２８】
図３は、パーツ表示位置ＤＢ１８に記憶されたデータの例を示す図である。図３に示すように、パーツ表示位置ＤＢ１８には、表示画像内におけるパーツの表示位置の座標のデータが記憶されている。パーツ表示位置ＤＢ１８の座標のデータは、表示部１２にてコンテンツを表示する際に取得される。
【００２９】
参照順序判定部２４は、ユーザがパーツを参照した順序と、予定参照順序とが一致しているか否かを判定する機能を有する。予定参照順序とユーザがパーツを参照した順序とが一致している場合には、ユーザがコンテンツを理解しながら参照していると判断できる。逆に一致しない場合には、予定参照順序とは関係なく視線が移動するので、ユーザがコンテンツを参照していないと判断できる。
【００３０】
視線対応制御部２６は、ユーザがパーツを参照した順序と、コンテンツの予定参照順序とが一致している場合に、ユーザの視線に対応した制御を行う機能を有する。
【００３１】
図４は、視線対応制御装置１０の動作を示すフローチャートである。図４を参照して、視線対応制御装置１０の動作について説明する。
【００３２】
まず、視線対応制御装置１０の制御部２０は、表示文字サイズや表示領域サイズ、縦書き、横書き等の情報を反映したコンテンツの表示画像を生成し、表示部１２に表示する（Ｓ１０）。このとき、制御部２０は、表示画像におけるパーツの表示位置を求め、パーツ表示位置ＤＢ１８に記憶する。
【００３３】
次に、視線検出部１４は、ユーザの視線を検出する（ステップＳ１２）。具体的には、視線検出部１４は、カメラで撮像した画像から、画像認識によって目の部分を抽出するとともに、その中の瞳の位置、視線の方向を検出する。さらに、カメラと表示部１２との位置関係、カメラの撮影方向および検出した視線方向から、ユーザの視線が表示部１２のどの位置に向いているかを検出する。本実施の形態では、視線検出部１４は、カメラの撮影画像から視線を検出する構成を採用したが、視線を検出する構成は、本実施の形態の構成に限られず、別の構成を採用してもよい。
【００３４】
次に、制御部２０のユーザ参照パーツ算出部２４により、視線検出部１４において検出された視線情報とパーツ表示位置ＤＢ１８に記憶されたパーツの表示位置から、ユーザが参照しているパーツを求める（ステップＳ１４）。続いて、参照順序判定部２４が、ユーザが画面内のパーツを参照した順序と予定参照順序とが一致するか否かを判定する（ステップＳ１６）。具体的には、制御部２０の参照順序判定部２４は、ユーザによって参照された所定数のパーツの順序が予定参照順序と連続して一致する場合に一致と判定する。
【００３５】
図２（ｂ）は、図２（ａ）に示すコンテンツＤＢ１６のデータに基づいて、コンテンツを表示した例を示す図である。図２（ａ）、図２（ｂ）および図３を参照して、ユーザの視線と参照パーツとの関係および参照順序判定について説明する。図３に示すように、パーツ表示位置ＤＢ１８は、各パーツの表示位置情報を記憶している。視線検出部１４にて検出された視線の方向から、ユーザが見ている表示部１２上の位置を特定する。例えば、ユーザの視線が図２（ｂ）に示す位置４０（表示画像内の座標（１０，６０））を向いているとすると、ユーザ参照パーツ算出部２２は、その座標から対応するパーツ「Ｐ」をパーツ表示位置ＤＢ１８から読み出し、ユーザが参照しているパーツとして特定する。このように、視線検出部１４にて検出された視線とパーツ表示位置ＤＢ１８とによってユーザが参照しているパーツを求めることができる。ユーザの視線が位置４０から位置４２へ移動し、さらに位置４４、位置４６へ順次移動したとすると、ユーザが参照しているパーツは、「Ｐ」「Ｒ」「Ｓ」「Ｕ」の順に変化していることが分かる。ここで、コンテンツ記憶部に記憶されたコンテンツの参照順序と比較すると、「Ｐ」「Ｒ」「Ｓ」「Ｕ」は、予定参照順序と一致しているので、ユーザが予定参照順序に従って、コンテンツを参照していると判定される。
【００３６】
視線対応制御装置１０は、ユーザがパーツを参照した順序と予定参照順序とが一致していると判定された場合は視線に応じた制御を行い（ステップＳ１８）、一致すると判定されない場合は視線の対応内容に応じた制御を行わない。なお、視線移動４８のように段組表示を追う場合などで、どのパーツとも対応しない位置を視線が移動している場合は、次のパーツが検出されるまで待機する。ただし、次のパーツが検出されるまでに、所定時間以上経過した場合には視線に応じた制御を行わない。
【００３７】
なお、人間の視覚の特性には、視線が高速移動し視覚特性が低下するサッカード状態と、視線が停留し高い視覚特性を示す状態があり、これを繰り返して内容を読んでいるので、この特性の違いを利用して判定を行うことが好適である。例えば、ユーザが内容を読んでいる場合は視線の停留が起こるので、サッカード後に視線停留があった場合に、視線移動によってなぞられた部分と参照部分を読んだと判定する。
【００３８】
また、人間の視線移動には個人差があり、場合によっては順序が正しく判別されないこともあると考えられるので、順序の識別に幅を持たせ、軽度の戻り読みなど誤差を吸収するようにすることが好適である。以上、第１の実施の形態の視線対応制御装置１０について説明した。
【００３９】
第１の実施の形態の視線対応制御装置１０は、ユーザの視線からユーザが参照しているパーツを検出し、ユーザがパーツを参照した順序と予定参照順序とが一致するか判定することにより、ユーザがコンテンツを読んでいるか否かを判定できる。
【００４０】
また、ユーザがパーツを参照した順序と予定参照順序とが一致する場合に、視線に対応する制御を行うことにより、ユーザがコンテンツを参照していない場合に、視線に対応して誤った制御を行うことを防ぐことができる。
【００４１】
また、本実施の形態では、表示部１２にてコンテンツを表示する際に、表示される各パーツの表示画像内の座標を求めてパーツ表示位置ＤＢ１８に記憶するので、表示部１２の仕様によって異なる表示態様の相違によらず、適切に視線位置からパーツを特定できる。
【００４２】
（第２の実施の形態）
図５は、本発明の第２の実施の形態の視線対応制御装置１０を示す図である。第２の実施の形態の視線対応制御装置１０は、第１の実施の形態と基本的な構成は同じであるが、視線対応制御を行う表示画像生成部２８を備える。
【００４３】
表示画像生成部２８は、ユーザ参照パーツ算出部２２にて求めたユーザが参照しているパーツに基づいて、次にユーザが参照する表示画像を生成する機能を有する。
【００４４】
次に、第２の実施の形態の視線対応制御装置１０の動作について説明する。第２の実施の形態の視線対応制御装置１０の基本的な動作は、図４に示す第１の実施の形態の視線対応制御装置１０の動作と同じであるが、視線対応制御（Ｓ１８）として視線に対応した表示画像を生成し、表示部１２に表示する。
【００４５】
図６は、第２の実施の形態において表示部１２に表示されるコンテンツの全体を示す図である。コンテンツはパーツＡ〜Ｚと画像のパーツを含んでいる。表示部１２は、コンテンツを部分的に表示し、表示画像を切り替えることによってコンテンツを表示する。現在、表示部１２には、「Ｎ」、「Ｏ」、「Ｑ」、「Ｒ」のパーツを含む表示画像５０が表示され、ユーザの視線からユーザが「Ｒ」のパーツを参照していることを検出しているとする。このとき、表示画像生成部２８は、図２（ａ）に示すコンテンツＤＢ１６を参照して、パーツ「Ｒ」の次に参照されるパーツが「Ｓ」であることを検出する。そして、表示画像生成部２８は、パーツ「Ｓ」が現在の表示画像５０に含まれているか否かを判定し、含まれていない場合にはパーツ「Ｓ」を含む表示画像５２を生成する。このとき、表示画像生成部２８により続き部分が適切な位置に表示されるように表示画像を生成する。そして、表示画像生成部２８は、生成した画像を適切なタイミングで表示メモリに書き込むことにより、表示画像を切り替える。なお、ここでは、画像切替えの例について説明したが、画像を連続的に生成し、表示メモリに書き込むことで表示画像をスクロールさせてもよい。
【００４６】
また、表示画像生成部２８は、図６の続きのパーツ「Ｓ」のように、ユーザが参照している内容の続き部分５４の書体をイタリックに変更し、ユーザが続き部分を見つけやすいように強調してもよい。また、書体を変更する代わりに、表示色を変更してもよい。
【００４７】
また、図６の矢印５６のように続き部分の方向への矢印を表示することで、ユーザに続き部分を見つけ易くすると共に、視線がその方向に動いた場合にスクロールしてもよい。
【００４８】
また、表示画像生成部２８は、コンテンツに文字情報と図や注釈等との対応が埋め込まれている場合、ユーザが注目している内容に対応する図や注釈等の付加情報の強調表示やポップアップ表示を行ってもよい。
【００４９】
また、ＨＴＭＬのようなコンテンツである場合、リンクが貼られた内容を見た場合にリンク先を表示するようにしてもよい。
【００５０】
なお、コンテンツに文字情報と図や注釈等との対応が埋め込まれている場合にユーザの注目内容に対応した付加情報を表示するとしたが、テキスト情報を解析することによって、コンテンツとは別に用意した絵や写真のデータベースから注目内容に対応する絵や写真の情報を検索し、表示するようにしてもよい。
【００５１】
このような本発明の第２の実施の形態によれば、ユーザが参照しているパーツに対応した表示画像を生成することにより、適切な画面切替えやスクロールを行える。これにより、ユーザに対して効率的、効果的な情報提示が可能となる。
【００５２】
（第３の実施の形態）
図７は、本発明の第３の実施の形態の視線対応制御装置１０を示す図である。第２の実施の形態の視線対応制御装置１０は、第１の実施の形態と基本的な構成は同じであるが、視線対応制御を行う音声制御部３０を備える。
【００５３】
音声制御部３０は、ユーザが参照しているパーツに合った音声を出力する機能を有する。音声制御部３０にて出力する音声のデータは、コンテンツを構成する各パーツに関連付けてコンテンツＤＢ１６に記憶しておく。そして、音声制御部３０は、ユーザ参照パーツ算出部２２にて求めたユーザの参照パーツに対応する音声データをコンテンツＤＢ１６から読み出して出力する。
【００５４】
次に、第３の実施の形態の視線対応制御装置１０の動作について説明する。第３の実施の形態の視線対応制御装置１０の基本的な動作は、図４に示す第１の実施の形態の視線対応制御装置１０と同じであるが、ユーザがパーツを参照する順序が予定参照順序と一致すると判定された場合に、視線対応制御（Ｓ１８）として、音声制御部３０にて参照パーツに対応する音声を出力する点が異なる。
【００５５】
第３の実施の形態の視線対応制御装置１０によれば、ユーザが参照するコンテンツの内容に応じて音声を出力して、臨場感を高めることができる。例えば、雷に関する記述をユーザが参照したタイミングで雷の効果音を出力する。これにより、ユーザに対する効率的かつ効果的な情報提示を行える。
【００５６】
なお、本実施の形態では、出力する音声と参照パーツとの対応は予めコンテンツに記憶させておくとしたが、別の構成によってコンテンツに対応する音声を出力することとしてもよい。例えば、コンテンツＤＢ１６とは別の音声データベースを設けておく。そして、音声制御部３０は、ユーザが参照しているパーツの内容を解析し、その解析結果に対応する音声を音声データベースから読み出す構成としてもよい。
【００５７】
また、効果的な情報提示を行うために、音声制御部３０はユーザが注目している内容に対応した効果音だけでなく、音声案内等を出力してもよい。
【００５８】
（第４の実施の形態）
本発明の第４の実施の形態を図８に示す。第４の実施の形態の視線対応制御装置１０は、第１の実施の形態と基本的な構成は同じであるが、視線から得られたユーザの参照履歴を用いた制御を行う履歴対応制御部３２を備える。
【００５９】
履歴対応制御部３２は、ユーザの見たパーツの履歴に応じて制御を行う。履歴対応制御部３２は、例えば、ユーザが別のコンテンツに移動しようとしたときに、表示中のコンテンツの中でユーザが見ていない部分を、ユーザが参照したパーツの履歴から求め、その部分を見るようにユーザに促す。
【００６０】
次に、第４の実施の形態の視線対応制御装置１０の動作について説明する。第４の実施の形態の視線対応制御装置１０の基本的な動作は、図４に示す第１の実施の形態の視線対応制御装置１０と同じであるが、ユーザがパーツを参照する順序が予定参照順序と一致すると判定された場合に、視線対応制御（Ｓ１８）として、履歴制御部２０にて履歴に対応した制御を行う点が異なる。
【００６１】
例えば、ユーザに対してライセンス契約の内容に目を通してもらいたい場合、ユーザの視線と表示されたパーツとの対応を取り、ユーザが参照したパーツを記憶する。ユーザがすべてのパーツに参照したら、同意の確認画面への切替えを行う。また、ユーザがすべての内容を参照していない状態で次の操作ステップに進もうとした場合に、読んでいない部分を強調表示し、音声等により通読を促す。
【００６２】
第４の実施の形態の視線対応制御装置１０は、ユーザの注目している内容の履歴に応じた履歴対応制御部３２を設けたことにより、ユーザに対して所定の情報の提示を確実に行うことができる。
【００６３】
以上、本発明の視線対応制御装置について実施の形態を挙げて詳細に説明したが、本発明は上記した実施の形態に限定されるものではない。
【００６４】
上記した実施の形態において、視線対応制御として画面表示と音声出力等について説明したが、その他の視線対応制御を行うことも可能である。例えば、ユーザの視線に応じて、機器のスイッチのオンまたはオフ、使用ユーザの録画などの記録処理、メールの送信などの通信処理等を行うこともできる。
【産業上の利用可能性】
【００６５】
本発明にかかる視線対応制御装置は、視線によりユーザの注目しているコンテンツに応じた制御を適切なタイミングで行い、ユーザに効果的で効率的な情報提示を行うことができるため、電子書籍やカメラ付携帯電話等の情報表示を行う機器の制御装置として有用である。
【図面の簡単な説明】
【００６６】
【図１】第１の実施の形態の視線対応制御装置１０の構成を示す図
【図２】（ａ）はコンテンツＤＢ１６に記憶されたデータの例を示す図、（ｂ）はコンテンツの表示例を示す図
【図３】パーツ表示位置ＤＢ１８に記憶されたデータの例を示す図
【図４】第１の実施の形態の視線対応制御装置１０の動作を示す図
【図５】第２の実施の形態の視線対応制御装置１０の構成を示す図
【図６】視線先の内容に応じた表示画像生成を説明するため図
【図７】第３の実施の形態の視線対応制御装置１０の構成を示す図
【図８】第４の実施の形態の視線対応制御装置１０の構成を示す図
【符号の説明】
【００６７】
１０ 視線対応制御装置
１２ 表示部
１４ 視線検出部
１６ コンテンツＤＢ
１８ パーツ表示位置ＤＢ
２０ 制御部
２２ ユーザ参照パーツ算出部
２４ 参照順序判定部
２６ 視線対応制御部
２８ 表示画像生成部
３０ 音声制御部
３２ 履歴対応制御部
４０ 表示画像
４２ 表示画像
４４ 矢印
【特許請求の範囲】
【請求項１】
あらかじめ定められた参照順序を有する複数のパーツからなるコンテンツを記憶するコンテンツ記憶手段と、
前記コンテンツを表示する表示手段と、
前記表示手段に表示された前記パーツの位置を記憶するパーツ表示位置記憶手段と、
前記表示手段に表示されたコンテンツを見るユーザの視線を検出する視線検出手段と、
前記パーツ表示位置記憶手段から読み出した前記パーツの表示位置と、前記視線検出手段にて検出された視線とに基づいて、ユーザが参照しているパーツをユーザ参照パーツとして求めるユーザ参照パーツ算出手段と、
前記ユーザ参照パーツ算出手段にて算出されたユーザ参照パーツに基づいて、ユーザがパーツを参照した順序とあらかじめ定められた参照順序とが一致しているか否かを判定する参照順序判定手段と、
ユーザがパーツを参照した順序とあらかじめ定められた参照順序とが一致しているとの前記参照順序判定手段による判定結果に応じて、前記視線検出手段にて検出された視線に対応した制御を行う視線対応制御手段と、
を備えたことを特徴とする視線対応制御装置。
【請求項２】
前記視線対応制御手段は、前記ユーザ参照パーツ算出手段にて算出されたユーザ参照パーツに基づいて、前記コンテンツのパーツを前記コンテンツ記憶手段から読み出して前記表示手段に表示することを特徴とする請求項１に記載の視線対応制御装置。
【請求項３】
前記視線対応制御手段は、前記ユーザ参照パーツ算出手段にて算出されたユーザ参照パーツに対応する音声を出力することを特徴とする請求項１に記載の視線対応制御装置。
【請求項４】
前記ユーザ参照パーツ算出手段にて算出されたユーザ参照パーツを記憶する参照履歴記憶手段を備え、
前記視線対応制御手段は、前記参照履歴記憶手段からユーザが参照したパーツの履歴を読み出し、前記履歴に応じた制御を行うことを特徴とする請求項１に記載の視線対応制御装置。
【請求項５】
あらかじめ定められた参照順序を有する複数のパーツからなるコンテンツを記憶したコンテンツ記憶手段からコンテンツを読み出して表示する表示ステップと、
前記表示ステップにおいて表示された前記パーツの位置をパーツ表示位置記憶手段に記憶するパーツ表示位置記憶ステップと、
前記表示ステップにおいて表示されたコンテンツを見るユーザの視線を検出する視線検出ステップと、
前記パーツ表示位置記憶手段から読み出した前記パーツの表示位置と、前記視線検出手段にて検出された視線とに基づいて、ユーザが参照しているパーツをユーザ参照パーツとして求めるユーザ参照パーツ算出ステップと、
前記ユーザ参照パーツ算出ステップにて算出されたユーザ参照パーツに基づいて、ユーザがパーツを参照した順序とあらかじめ定められた参照順序とが一致しているか否かを判定する参照順序判定ステップと、
ユーザがパーツを参照した順序とあらかじめ定められた参照順序とが一致しているとの前記参照順序判定ステップにおける判定結果に応じて、前記視線検出ステップにおいて検出された視線に対応した制御を行う視線対応制御ステップと、
を備えたことを特徴とする視線対応制御方法。
【請求項６】
ユーザの視線に応じた制御を行うためのプログラムであって、コンピュータに、
あらかじめ定められた参照順序を有する複数のパーツからなるコンテンツを記憶したコンテンツ記憶手段からコンテンツを読み出して表示する表示ステップと、
前記表示ステップにおいて表示された前記パーツの位置をパーツ表示位置記憶手段に記憶するパーツ表示位置記憶ステップと、
前記表示ステップにおいて表示されたコンテンツを見るユーザの視線を検出する視線検出ステップと、
前記パーツ表示位置記憶手段から読み出した前記パーツの表示位置と、前記視線検出手段にて検出された視線とに基づいて、ユーザが参照しているパーツをユーザ参照パーツとして求めるユーザ参照パーツ算出ステップと、
前記ユーザ参照パーツ算出ステップにて算出されたユーザ参照パーツに基づいて、ユーザがパーツを参照した順序とあらかじめ定められた参照順序とが一致しているか否かを判定する参照順序判定ステップと、
ユーザがパーツを参照した順序とあらかじめ定められた参照順序とが一致しているとの前記参照順序判定ステップにおける判定結果に応じて、前記視線検出ステップにおいて検出された視線に対応した制御を行う視線対応制御ステップと、
を実行させることを特徴とするプログラム。
【請求項１】
あらかじめ定められた参照順序を有する複数のパーツからなるコンテンツを記憶するコンテンツ記憶手段と、
前記コンテンツを表示する表示手段と、
前記表示手段に表示された前記パーツの位置を記憶するパーツ表示位置記憶手段と、
前記表示手段に表示されたコンテンツを見るユーザの視線を検出する視線検出手段と、
前記パーツ表示位置記憶手段から読み出した前記パーツの表示位置と、前記視線検出手段にて検出された視線とに基づいて、ユーザが参照しているパーツをユーザ参照パーツとして求めるユーザ参照パーツ算出手段と、
前記ユーザ参照パーツ算出手段にて算出されたユーザ参照パーツに基づいて、ユーザがパーツを参照した順序とあらかじめ定められた参照順序とが一致しているか否かを判定する参照順序判定手段と、
ユーザがパーツを参照した順序とあらかじめ定められた参照順序とが一致しているとの前記参照順序判定手段による判定結果に応じて、前記視線検出手段にて検出された視線に対応した制御を行う視線対応制御手段と、
を備えたことを特徴とする視線対応制御装置。
【請求項２】
前記視線対応制御手段は、前記ユーザ参照パーツ算出手段にて算出されたユーザ参照パーツに基づいて、前記コンテンツのパーツを前記コンテンツ記憶手段から読み出して前記表示手段に表示することを特徴とする請求項１に記載の視線対応制御装置。
【請求項３】
前記視線対応制御手段は、前記ユーザ参照パーツ算出手段にて算出されたユーザ参照パーツに対応する音声を出力することを特徴とする請求項１に記載の視線対応制御装置。
【請求項４】
前記ユーザ参照パーツ算出手段にて算出されたユーザ参照パーツを記憶する参照履歴記憶手段を備え、
前記視線対応制御手段は、前記参照履歴記憶手段からユーザが参照したパーツの履歴を読み出し、前記履歴に応じた制御を行うことを特徴とする請求項１に記載の視線対応制御装置。
【請求項５】
あらかじめ定められた参照順序を有する複数のパーツからなるコンテンツを記憶したコンテンツ記憶手段からコンテンツを読み出して表示する表示ステップと、
前記表示ステップにおいて表示された前記パーツの位置をパーツ表示位置記憶手段に記憶するパーツ表示位置記憶ステップと、
前記表示ステップにおいて表示されたコンテンツを見るユーザの視線を検出する視線検出ステップと、
前記パーツ表示位置記憶手段から読み出した前記パーツの表示位置と、前記視線検出手段にて検出された視線とに基づいて、ユーザが参照しているパーツをユーザ参照パーツとして求めるユーザ参照パーツ算出ステップと、
前記ユーザ参照パーツ算出ステップにて算出されたユーザ参照パーツに基づいて、ユーザがパーツを参照した順序とあらかじめ定められた参照順序とが一致しているか否かを判定する参照順序判定ステップと、
ユーザがパーツを参照した順序とあらかじめ定められた参照順序とが一致しているとの前記参照順序判定ステップにおける判定結果に応じて、前記視線検出ステップにおいて検出された視線に対応した制御を行う視線対応制御ステップと、
を備えたことを特徴とする視線対応制御方法。
【請求項６】
ユーザの視線に応じた制御を行うためのプログラムであって、コンピュータに、
あらかじめ定められた参照順序を有する複数のパーツからなるコンテンツを記憶したコンテンツ記憶手段からコンテンツを読み出して表示する表示ステップと、
前記表示ステップにおいて表示された前記パーツの位置をパーツ表示位置記憶手段に記憶するパーツ表示位置記憶ステップと、
前記表示ステップにおいて表示されたコンテンツを見るユーザの視線を検出する視線検出ステップと、
前記パーツ表示位置記憶手段から読み出した前記パーツの表示位置と、前記視線検出手段にて検出された視線とに基づいて、ユーザが参照しているパーツをユーザ参照パーツとして求めるユーザ参照パーツ算出ステップと、
前記ユーザ参照パーツ算出ステップにて算出されたユーザ参照パーツに基づいて、ユーザがパーツを参照した順序とあらかじめ定められた参照順序とが一致しているか否かを判定する参照順序判定ステップと、
ユーザがパーツを参照した順序とあらかじめ定められた参照順序とが一致しているとの前記参照順序判定ステップにおける判定結果に応じて、前記視線検出ステップにおいて検出された視線に対応した制御を行う視線対応制御ステップと、
を実行させることを特徴とするプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【公開番号】特開２００６−１０７０４８（Ｐ２００６−１０７０４８Ａ）
【公開日】平成１８年４月２０日（２００６．４．２０）
【国際特許分類】
【出願番号】特願２００４−２９１６４９（Ｐ２００４−２９１６４９）
【出願日】平成１６年１０月４日（２００４．１０．４）
【出願人】（０００００５８２１）松下電器産業株式会社 (73,050)
【Ｆターム（参考）】
【公開日】平成１８年４月２０日（２００６．４．２０）
【国際特許分類】
【出願日】平成１６年１０月４日（２００４．１０．４）
【出願人】（０００００５８２１）松下電器産業株式会社 (73,050)
【Ｆターム（参考）】
[ Back to top ]