Notice: Undefined variable: fterm_desc_sub in /mnt/www/biblio_conv.php on line 353
視線追跡に基づくユーザ機能運用方法及びこれを支援する端末機
説明

視線追跡に基づくユーザ機能運用方法及びこれを支援する端末機

【課題】視線追跡に基づくユーザ機能運用方法及びこれを支援する端末機を提供する。
【解決手段】本発明の視線追跡に基づくユーザ機能運用方法は、特定のユーザ機能を遂行するステップと、ユーザ機能が維持された状態でカメラ部を活性化するステップと、カメラ部が収集した映像で瞳の視線角度情報を取得するステップと、瞳の視線角度情報により、ユーザ機能の状態を変更するか又は現在の状態を維持するように制御する視線追跡機能を遂行するステップと、を有する。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、端末機のユーザ機能運用に関し、より詳細には、ユーザの瞳を追跡して、ユーザの視線により、現在運用されているユーザ機能の状態を切り替えるように制御する視線追跡に基づくユーザ機能運用方法及びこれを支援する端末機に関する。
【背景技術】
【0002】
携帯端末機は、特定のユーザ機能を支援〔サポート〕しながらも、その大きさが携帯できるほど小さく、多くの産業及び生活分野で脚光を浴びている。そして、近年、多様なユーザ機能を統合的に支援する携帯端末機が登場している。例えば、従来の携帯端末機は、カメラ部が装着されてユーザの制御により被写体に対する映像を収集する機能と、収集された映像を格納する機能と、格納された映像をすぐに検索できる機能と、を支援する。このような携帯端末機は、静止画だけでなく、動画の撮影機能も支援している。
【0003】
一方、携帯端末機の表示部が大型化されながら携帯は可能であるが、制御において多少不便さが発生する場合がある。例えば、ノート型の携帯端末機の場合、タッチ機能を行うために片手で端末機を把持するようになるが、このとき、端末機の重さを片手で支えることが容易ではないだけでなく、安定性にも脆弱であるため、多様な問題が発生している。例えば、端末機の転倒や落下が発生して破損する場合があり、ユーザの筋肉に無理が行くなどの問題がある。
【0004】
また、従来の携帯端末機の場合、環境設定により一定の条件下で端末機の状態を制御する機能を提供しているが、このとき、一定の条件が端末機を利用する条件と適切に符合しない場合が多い。例えば、端末機のスリープモードの切り替えの場合、一定の条件は一定時間であってもよいが、この一定時間は、ユーザの状態や環境によって適応的に変わるものではなく、固定された値である。これにより、従来の端末機の使用時、ユーザが所望しない時点に端末機がスリープモードに切り替えられる場合が発生し、端末機をスリープモードから復帰させるための不必要な追加動作が要求されている。このような追加動作は、上述した大画面端末機の利用時に、更に大きな不便さをユーザに与えるようになる。また、従来の端末機の使用時に、スリープモードに切り替えられても構わない時点であっても、一定の条件に該当する時間を待機しなければならないため、不必要な電源の浪費が発生している。
【発明の概要】
【発明が解決しようとする課題】
【0005】
本発明は、上記従来の問題点に鑑みてなされたものであって、本発明の目的は、ユーザの瞳を追跡する視線追跡機能に基づき、端末機のユーザ機能をより効率的且つ適応的に運用できるように支援する視線追跡に基づくユーザ機能運用方法及びこれを支援する端末機を提供することにある。
【課題を解決するための手段】
【0006】
上記目的を達成するためになされた本発明の視線追跡に基づくユーザ機能運用方法は、特定のユーザ機能を遂行するステップと、前記ユーザ機能が維持された状態でカメラ部を活性化するステップと、前記カメラ部が収集した映像で瞳の視線角度情報を取得するステップと、前記瞳の視線角度情報により、前記ユーザ機能の状態を変更するか又は現在の状態を維持するように制御する視線追跡機能を遂行するステップと、を有することを特徴とする。
【0007】
前記視線追跡に基づくユーザ機能運用方法は、前記活性化されたユーザ機能が視線追跡機能と連係したユーザ機能の場合、視線追跡設定モードが活性化されているか否かを確認するステップを更に含むことができる。
前記視線追跡機能を遂行するステップは、瞳の視線角度情報が端末機の表示部を注視しない第1視線角度情報の場合、前記表示部の照度を調節するステップと、前記表示部をターンオフするステップと、前記ユーザ機能を終了するステップと、前記ユーザ機能を一時停止するステップと、前記表示部に含まれるタッチパネルのタッチロック機能を設定又は解除するステップと、のうちの少なくとも一つのステップを含むことができる。
前記視線追跡機能を遂行するステップは、前記表示部がターンオフされるか又は前記ユーザ機能が終了した場合、前記カメラ部を非活性化するステップを含むことができる。
前記視線追跡機能を遂行するステップは、瞳の視線角度情報が前記端末機の表示部を注視する第2視線角度情報の場合、前記表示部の照度を本来の照度に調整するステップと、前記表示部をターンオンするステップと、前記ユーザ機能を再び活性化するステップと、前記ユーザ機能の一時停止を解除するステップと、前記ロック設定されたタッチパネルのロック機能を解除又は設定するステップと、のうちのいずれか一つのステップを更に含むことができる。
前記視線追跡機能を遂行するステップは、前記瞳の視線角度情報が端末機の表示部を注視する第2視線角度情報の場合、表示部の現在の画面を維持するステップであり得る。
前記視線角度情報を取得するステップは、被写体の顔を認識するステップと、認識された顔の瞳部位を自動フォーカシングするステップと、自動フォーカスされた被写体の映像を収集するステップと、を含むことができる。
前記視線追跡機能を遂行するステップは、通話連結要請メッセージが受信された状態で、瞳の視線角度情報が端末機の表示部を注視する第2視線角度情報として取得された場合、前記通話連結を自動で行うステップと、電子ブックコンテンツが再生された画面状態で、瞳の視線角度情報が端末機の表示部のうちの一定の地点を注視する視線角度情報として取得された場合、前記電子ブックコンテンツのページめくりを行うステップと、前記一定の地点における視線角度情報の検出時間の累積により、前記電子ブックコンテンツのページめくりの速度を変えて調節するステップと、のうちの少なくとも一つのステップを含むことができる。
【0008】
上記目的を達成するためになされた本発明の視線追跡に基づくユーザ機能運用を支援する端末機は、被写体の映像を収集するカメラ部と、前記カメラ部が収集した映像で瞳の視線角度情報を取得し、前記瞳の視線角度情報により、ユーザ機能の状態を変更するか又は現在の状態を維持するように制御する視線追跡機能を支援する制御部と、前記ユーザ機能に該当するデータ及び前記瞳の視線角度を追跡するためのデータを格納する格納部と、を備えることを特徴とする。
【0009】
前記格納部は、前記視線追跡機能と連係したユーザ機能の目録を含むことができる。
前記視線追跡に基づくユーザ機能運用を支援する端末機は、前記瞳の視線角度情報が端末機の表示部を注視しない第1視線角度情報の場合に、照度が変更されるか又はターンオフされる表示部を更に含むことができる。
前記制御部は、前記表示部がターンオフされるか又は前記ユーザ機能が終了した場合、前記カメラ部を非活性化することができる。
前記制御部は、前記瞳の視線角度情報が端末機の表示部を注視しない第1視線角度情報として一定時間以上取得された場合、前記活性化されたユーザ機能を一時停止するか又は終了するように制御するか、或いはタッチパネルのロックを解除するか又はロック設定するように制御し、前記瞳の視線角度情報が端末機の表示部を注視する第2視線角度情報の場合、前記タッチパネルのロックを設定又は解除した状態に維持することができる。
前記カメラは、被写体の映像を収集する際に瞳部位を自動フォーカシングして収集することができる。
前記制御部は、通話連結要請メッセージが受信された状態で、瞳の視線角度情報が端末機の表示部を注視する第2視線角度情報として取得された場合、前記通話連結を自動で行い、電子ブックコンテンツが再生された画面状態で、瞳の視線角度情報が端末機の表示部のうちの一定の地点を注視する視線角度情報として取得された場合、前記電子ブックコンテンツのページめくりを行い、前記一定の地点における視線角度情報の検出時間の累積により、前記電子ブックコンテンツのページめくりの速度を変えて調節することができる。
【発明の効果】
【0010】
本発明による視線追跡に基づくユーザ機能運用方法及びこれを支援する端末機によれば、端末機が提供する機能をより適応的に運用できるようにすることで、ユーザの端末機使用の便宜性を増大させることができる。
【図面の簡単な説明】
【0011】
【図1】本発明の一実施形態による視線追跡機能を含む端末機の構成を概略的に示す図である。
【図2】図1の制御部の構成をより詳細に示す図である。
【図3】本発明の一実施形態による視線追跡機能支援の画面インターフェースの一例を示す図である。
【図4】本発明の一実施形態による視線追跡機能支援の画面インターフェースの他の例を示す図である。
【図5】本発明の一実施形態による視線追跡機能支援の画面インターフェースの更に他の例を示す図である。
【図6】本発明の一実施形態による視線追跡機能に基づくユーザ機能運用方法を説明するフローチャートである。
【図7】本発明の一実施形態による視線追跡機能支援のうちの通話連係機能を説明する図である。
【発明を実施するための形態】
【0012】
以下、本発明を実施するための形態の具体例を、図面を参照しながら詳細に説明する。
【0013】
本実施形態の説明において、本発明が属する技術分野で当業者に十分に知られており、本発明と直接的に関連のない技術内容に対しては説明を省略する。また、実質的に同一の構成及び機能を有する構成要素に対しては詳細な説明を省略する。
【0014】
同様の理由で、図面において一部の構成要素は誇張又は省略するか、或いは概略的に示しており、各構成要素の大きさは実際の大きさを全面的に反映するものではない。従って、本発明は、図面に描かれた相対的な大きさや間隔によって制限されない。
【0015】
図1は、本発明の一実施形態による視線追跡機能を含む端末機の構成を概略的に示す図であり、視線追跡に基づくユーザ機能運用を支援する端末機100の構成を概略的に示したブロック図である。
【0016】
図1を参照すると、本実施形態の端末機100は、通信部110、入力部120、表示部140、格納部150、カメラ部170、及び制御部160の各構成を含む。
【0017】
このような構成を有する本実施形態の端末機100は、特定のユーザ機能又は特定の端末機状態が活性化されると、カメラ部170を自動で活性化して一定の角度で映像を収集する。このとき、収集される映像に基づいて、端末機100は、視線追跡を行って現在のユーザ視線方向を確認する。そして、端末機100は、視線方向が既設定された方向の場合、該当方向に対応する命令語を生成し、これに基づいて端末機100の状態を切り替えるか、現在の状態を維持するか、或いは特定機能を行うように制御する。これにより、本発明は、ユーザの視線による端末機100の駆動制御を行うことで、より適応的な機能運用を行うと共に、端末機100の管理をより効果的に行うことができるように支援する。
【0018】
通信部110は、端末機100の通信機能を支援する。特に、通信部110は、端末機100が通信機能を支援する端末機の形態で製作される場合に追加される構成である。従って、本発明が適用される端末機100が通信機能を支援しない場合、通信部110は、端末機100の構成から省略してもよい。一方、通信部110は、端末機100の通信機能、特に移動通信機能を支援するために、移動通信モジュールの形態で設けられる。このような通信部110は、移動通信システムと通信チャネルを形成して端末機100の移動通信機能を行うための信号の送受信を支援する。例えば、通信部110は、移動通信システムと音声サービスチャネル、映像サービスチャネル、データサービスチャネルのうちの少なくとも一つを形成し、該当サービスチャネルによる特定信号の送受信を支援する。特に、本発明の通信部110は、機能運用過程でカメラ部170と連係した動作を行う。
【0019】
例えば、通信部110は、他の端末機から通話呼の連結要請メッセージを受信するか、或いはメッセージサービス受信に対応するメッセージを受信した場合、これを通知するために情報を制御部160の制御により表示部140及びオーディオ処理部130のうちの少なくとも一つに出力する。このとき、通信部110のメッセージ受信イベントは、制御部160の制御によりカメラ部170に伝達され、カメラ部170は、通信部110がメッセージを受信した場合、予め設定された一定時間の間に活性化され、既設定された一定の角度で映像を撮影し、撮影された映像に対する視線追跡機能を支援する。制御部160は、カメラ部170が収集した映像で視線追跡による瞳検出及び瞳の角度検出に基づいて、通信部110の運用を制御する。即ち、通信部110は、ユーザが端末機100を注視した場合、受信した通話連結要請メッセージに対応する通話連結要請メッセージを他の端末機に伝達することにより通話連結を行う。即ち、本実施形態の端末機100は、通話連結要請が受信された場合、別途の動作制御なしに端末機100を注視するだけでも、通話連結を行うことができるように支援する。このとき、端末機100は、顔認識を通じて事前に定義されたユーザの顔である場合にのみ、自動通話連結を行うように支援することも可能である。
【0020】
入力部120は、端末機100の運用に必要な多様な入力信号を生成する。このような入力部120は、端末機100の互換可能の有無により、キーボードやキーパッド、キーボタンなどの多様な入力手段で構成される。また、入力部120は、表示部140がタッチスクリーンで提供される場合、タッチスクリーンに出力されるタッチマップの形態で構成されてもよい。本実施形態の入力部120は、視線追跡機能支援のための多様な入力信号を生成することができる。例えば、入力部120は、視線追跡機能の適用モード及び解除モードを設定するための入力信号、端末機が提供する機能のうちの視線追跡機能と連係した特定のユーザ機能を呼び出す入力信号、特定のユーザ機能に視線追跡機能を連係させるための入力信号などをユーザの要請により生成する。生成された入力信号は、制御部160に伝達され、該当機能を行うための命令語に切り替えられる。
【0021】
オーディオ処理部130は、端末機100の運用過程で設定された多様なオーディオデータ及び格納部150に格納されたオーディオファイル再生によるオーディオデータ、外部から受信したオーディオデータなどを出力する。また、オーディオ処理部130は、オーディオデータ収集機能を支援する。このために、オーディオ処理部130は、スピーカー(SPK)とマイク(MIC)を含む。特に、オーディオ処理部130は、視線追跡機能が設定されているユーザ機能の活性化時に、視線追跡機能が運用中であることを案内する案内音を出力する。また、オーディオ処理部130の視線追跡機能支援が可能であるが、設定されていない場合、該当視線追跡機能設定を案内する案内音を出力する。案内音の出力機能は、ユーザの設定により省略してもよい。
【0022】
一方、オーディオ処理部130を介して出力されるオーディオ信号の出力時点も視線追跡機能によって制御される。例えば、オーディオ処理部130は、カメラ部170を介してユーザが現在の既設定された角度で端末機100を注視している場合にのみ、現在運用中の機能のオーディオ信号出力を支援し、既設定された他の角度で端末機100を注視する場合、オーディオ信号出力を中止するように制御する。
【0023】
表示部140は、端末機100の運用に必要な多様な画面インターフェースを提供する。例えば、表示部140は、端末機100の運用に必要な待機画面、メニュー画面などを支援する。特に、本実施形態の表示部140は、視線追跡機能が連係されたユーザ機能の活性化による画面、視線追跡機能を特定のユーザ機能と連係させるための設定画面、視線追跡機能の活性化又は非活性化を制御するための画面などを出力する。
【0024】
このような表示部140は、表示パネル141とタッチパネル143が重なった形態のタッチスクリーンの形態で設けられる。表示パネル141には、上述した多様な画面に対応するイメージとテキストなどが出力される。タッチパネル143は、表示パネル141に出力される画面の特性に応じてタッチ有効領域とタッチ無効領域を設定し、タッチ有効領域で発生するタッチイベントを制御部160に伝達する。特に、タッチパネル143は、視線追跡機能によって活性化が制御される。例えば、ユーザが端末機100を既設定された角度で注視する場合、タッチパネル143は活性化されて、タッチ動作によるタッチイベントの生成を支援する。そして、タッチパネル143は、ユーザが端末機100を既設定された他の角度で注視する場合、非活性化されて、タッチ動作が発生してもタッチイベントの取得を行わない場合がある。このように、本発明の端末機100は、タッチパネル143の一時的なロック(Lock)機能及びロック解除機能を視線追跡機能により支援することも可能である。
【0025】
格納部150は、端末機100の運用に必要な多様な基本オペレーティングシステム及び多様なユーザ機能に該当するデータ又はアプリケーションと、アルゴリズムなどを格納する。特に、格納部150は、本発明の視線追跡機能を支援するための視線追跡支援プログラム151を格納し、視線追跡支援プログラム151を支援するためのデータ、例えば、瞳の視線角度を追跡するための視線追跡アルゴリズム153を格納する。
【0026】
視線追跡支援プログラム151は、本発明の視線追跡機能運用に関連する多様なルーチンを定義するものである。このような視線追跡支援プログラム151は、視線追跡機能が連係された特定のユーザ機能が活性化された場合、カメラ部170を活性化するように制御するルーチン、活性化されたカメラ部170を利用して映像を収集するルーチン、収集された映像の顔認識と瞳認識を行うルーチン、認識の結果によって瞳の視線角度を確認するルーチン、瞳の視線角度により現在活性化されたユーザ機能の状態を変更するルーチンを含む。ここで、特定のユーザ機能は、端末機100が提供する多様な機能であって、上述した通信部110、表示部140、オーディオ処理部130等に基づいて運用される機能である。例えば、ユーザ機能は、通話機能、コンテンツファイル再生機能、ファイル検索機能、ウェブ接続機能、待機画面出力機能、メニュー画面出力機能、放送受信機能などである。
【0027】
視線追跡アルゴリズム153は、視線追跡支援プログラム151によって活性化されるカメラ部170の収集映像の分析に利用されるアルゴリズムである。このような視線追跡アルゴリズム153は、顔認識アルゴリズムと、瞳認識アルゴリズムとを含む。視線追跡支援プログラム151は、カメラ部170が映像を収集すると、視線追跡アルゴリズム153のうち顔認識アルゴリズムに基づいて優先的に一定形態の顔を認識する。そして、視線追跡支援プログラム151は、認識された顔で目の部位を抽出し、該当する目の部位で瞳の視線角度に対する情報を取得する。その後、視線追跡支援プログラム151は、取得した瞳の視線角度と事前に定義された情報とを比較して、現在活性化されたユーザ機能の状態変更を支援する。ユーザ機能の状態変更に対しては、後述する画面例示図を参照してより詳細に説明する。
【0028】
カメラ部170は、制御部160の制御により活性化され、被写体に対する映像を収集する。このようなカメラ部170は、視線追跡機能と連係したユーザ機能が活性化されるか、或いはデフォルトで視線追跡機能を活性化するように設定された場合、端末機100の活性化により活性化されて映像を収集する。カメラ部170が収集した収集映像が制御部160に伝達され、視線追跡機能により分析される。ここで、カメラ部170が収集する映像は、一定時間の間隔で周期的に収集される静止画であるか、又はリアルタイム動画のいずれか一つである。カメラ部170は、該当視線追跡機能が連係されたユーザ機能が終了すると、自動で終了する。
【0029】
制御部160は、本発明による映像の視線追跡機能を支援するために、多様な信号の流れを制御し、情報収集及び出力などを制御する。このような制御部160は、映像の視線追跡機能を支援するために、映像収集機能と情報分析機能を含み、二つの機能によるユーザ機能の運用制御を行う。このために、制御部160は、図2に示すような構成を含むことができる。
【0030】
図2は、図1の制御部160の構成をより詳細に示す図である。
【0031】
図2を参照すると、本実施形態の制御部160は、カメラ情報収集部161、視線追跡決定部163、機能実行部165の各構成を含む。
【0032】
カメラ情報収集部161は、特定のユーザ機能が活性化されると、該当ユーザ機能が視線追跡機能と連係した機能であるか否かを確認する。そして、カメラ情報収集部161は、該当ユーザ機能が視線追跡機能と連係した機能の場合、カメラ部170を活性化するように制御する。これと共に、カメラ情報収集部161は、カメラ部170の設定を事前に定義された設定値により調整し、映像を収集するように制御する。このとき、カメラ情報収集部161は、ユーザの顔認識を行いながら、顔の瞳の部分に自動フォーカシングを行う。自動フォーカシングが完了すると、カメラ情報収集部161は、瞳を含む顔映像を収集し、これを視線追跡決定部163に伝達する。視線追跡機能と連係したユーザ機能の活性化の有無を確認するために、端末機100の格納部150は、視線追跡機能と連係したユーザ機能の目録を格納する。これにより、カメラ情報収集部161は、特定のユーザ機能が活性化されると、該当機能目録の確認を通じて視線追跡機能を支援するためのカメラ部170の活性化を制御する。
【0033】
視線追跡決定部163は、カメラ情報収集部161が伝達する映像を分析し、瞳の視線角度を分析し、その結果を機能実行部165に伝達する。このために、視線追跡決定部163は、格納部150に格納された視線追跡アルゴリズム153を参照する。先ず、視線追跡決定部163は、伝達された映像の顔分析を行う。この過程を通じて視線追跡決定部163は、顔の瞳部位の抽出を行う。そして、視線追跡決定部163は、瞳部位で瞳が注視する視線角度を確認する。瞳の視線角度情報が取得されると、視線追跡決定部163は、該当視線角度情報が端末機100の表示部140の領域のうちのいずれの部位を注視するかを確認する。或いは、視線追跡決定部163は、視線角度情報そのものを機能実行部165に伝達する。
【0034】
機能実行部165は、視線追跡決定部163から伝達された視線角度情報に基づいて、現在活性化されたユーザ機能の状態切り替え又は状態維持を決める。このために、機能実行部165は、現在活性化されたユーザ機能を確認し、視線角度情報による命令語を生成する。命令語が生成された機能実行部165は、該当命令語によるユーザ機能運用を制御する。本発明の視線追跡機能の適用は、一定の周期により運用されるか又はリアルタイムで運用される。これにより、機能実行部165は、一定の周期により伝達される視線角度情報に対応するユーザ機能の切り替え又は維持を制御するか、或いは以前の視線角度情報と異なる視線角度情報が伝達された場合にユーザ機能を切り替え、同一の視線角度情報が伝達された場合にユーザ機能維持を制御する。
【0035】
上述したように、本発明による視線追跡に基づくユーザ機能運用を支援する端末機100は、特定のユーザ機能を行う過程において視線追跡を行い、特別なタッチ動作や入力ボタンの制御動作を行わなくても、ユーザ機能をより効果的且つ適応的に制御できるように支援することができる。このような視線追跡に基づく機能運用に対して、以下の画面例示図を参照して、より詳細に説明する。
【0036】
図3は、本発明の一実施形態による視線追跡機能支援の画面インターフェースの一例を示す図であり、視線追跡に基づくユーザ機能運用のうち、表示部の照明機能の切り替えとスリープモードの切り替え機能の例を説明する図である。
【0037】
図3を参照すると、先ず、ユーザは、端末機100の運用中に特定のユーザ機能、例えば、コンテンツ視聴機能を活性化するための制御を行う。そうすると、端末機100は、ユーザが選択した視聴機能を支援するために、端末機100の表示部140の照明機能を活性化するように制御する。例えば、端末機100は、表示部140がバックライトユニットで構成された場合、バックライトユニットの電源供給を通じて、一定の照度で発光されるように支援する。また、端末機100は、表示部140がOLED(Organic light−Emitting Diode)などで構成された場合、該当発光ダイオードに電流又は電圧の供給を通じて、一定照度の光で発光されるように支援する。これと共に、端末機100は、ユーザが選択したコンテンツを呼び出して、該当コンテンツを表示パネル141に出力するように支援する。これにより、端末機100は、301画面のようにコンテンツ出力画面を表示部140に出力する。
【0038】
一方、端末機100は、コンテンツ視聴機能が視線追跡機能と連係した機能であることが確認されると、カメラ部170を活性化してユーザの瞳認識を行う。そして、ユーザの瞳認識の結果、視線角度情報が表示部140を見ていないと判断された場合、端末機100は、303、305、307画面のように、段階的に表示部140の照明機能を、状態が切り替えられるように制御する。例えば、端末機100は、視線角度情報が表示部140を見ていない第1視線角度情報の場合、303画面のように一定時間の間、表示部140の一定照度を維持するように制御する。そして、端末機100は、第1視線角度情報が第1時間の間に維持された場合、即ち、ユーザが第1時間の間に持続的に表示部140を見ていない場合、305画面のように照度を一定の段階に下げるように制御する。また、端末機100は、第1視線角度情報が第2時間の間に継続して維持された場合、即ち、ユーザが第1時間の後に第2時間の間、持続的に表示部140を見ていない場合、307画面のように、照明機能は、ターンオフするように制御される。このとき、端末機100は、照明機能のターンオフ後の一定時間の間に第1視線角度情報が取得された場合、スリープモードに自動で切り替えるように制御する。
【0039】
ここで、端末機100は、305画面又は307画面で表示部140を注視する第2視線角度情報が取得された場合、再び303画面に復帰して照明が本来の照度になるように制御する。しかし、端末機100は、307ステップの後、スリープモードに切り替えた後、一定時間以内に表示部140を注視する第2視線角度情報が取得された場合、予め設定されたルーチンによって、スリープモード進入過程において、自動で設定されたロック機能を解除する画面を出力するように制御することができる。このために、端末機100は、307画面のように表示部140がターンオフされた状態、スリープモードの進入状態、スリープモードの進入後に一定時間が経過した状態のうちのいずれか一つの状態までは、視線追跡支援のためにカメラ部170を活性化状態に維持するように制御する。そして、端末機100は、307画面、スリープモードの進入状態、スリープモードの進入後に一定時間が経過した状態のうちのいずれか一つの状態により、視線追跡機能を中止させることができる。即ち、端末機100は、表示部140がターンオフされるか、スリープモードに進入するか、スリープモードに進入した後に一定時間が経過した場合、視線追跡機能の中止と共にカメラ部170を非活性化するように制御する。
【0040】
一方、端末機100は、301画面状態でユーザが持続的に表示部140を注視している場合、即ち、表示部140を注視する第2視線角度情報が取得された場合、302、304、306ステップのように時間が経過しても持続的に同一状態を維持するように制御する。これにより、本実施形態の端末機100は、一定時間の間に特別な入力信号の発生がない場合、自動で機能切り替え状態になるように、設定されたモードを一定の条件下で行わないように支援する。これにより、ユーザが長時間表示部140に出力されたコンテンツを特別な入力信号の生成動作なしに閲覧しても、端末機100は、不必要にスリープモードに切り替えるか、或いは照度調整の機能により照度を低くするなどの機能を行わないように支援する。また、ユーザは、持続的にコンテンツ視聴機能を維持したまま、端末機100の利用を行うことができる。
【0041】
図4は、本発明の一実施形態による視線追跡機能支援の画面インターフェースの他の例を示す図であり、ユーザ機能の運用中にコンテンツ再生機能における視線追跡機能の適用を説明する図である。
【0042】
図4を参照すると、ユーザは、端末機100のユーザ機能のうちのコンテンツ再生機能を活性化するように制御する。このために、ユーザは、格納部150に格納された特定コンテンツを選択し、該当コンテンツを再生要請する命令語生成のための入力信号生成動作を実行する。例えば、ユーザが動画コンテンツを再生要請する場合、端末機100は、401画面のように、選択されたコンテンツを再生するためのアプリケーションを呼び出し、該当コンテンツ再生による画面を表示部140に出力するように支援する。
【0043】
一方、端末機100は、該当ユーザ機能、即ちコンテンツ再生機能が視線追跡機能と連係した機能であるか否かを確認する。コンテンツ再生機能が視線追跡機能と連係した機能に設定された場合、端末機100は、401画面でカメラ部170を活性化して映像を一定周期又はリアルタイムで撮影し、視線追跡機能が支援されるように制御する。
【0044】
端末機100は、視線追跡機能支援の過程において、ユーザの視線角度が表示部140を注視しない第1視線角度情報に該当する場合、403画面に進入してコンテンツ再生を一時中止するように制御することができる。このとき、端末機100は、ユーザが表示部140を注視しないために第1視線角度情報がすぐに検出された場合、403画面の一時停止状態に進入するように制御する。このために、視線追跡機能は、リアルタイムで実行される。また、設定により、端末機100は、第1視線角度情報が一定時間の間に取得された場合、403画面の一時停止状態に進入するように制御することも可能である。
【0045】
403画面の以後にユーザが再び画面を注視する場合、即ち視線追跡機能によりユーザの視線角度が表示部140を注視する第2視線角度情報が取得された場合、端末機100は、405画面のように一時中止された状態を解除し、コンテンツを再生するように制御することができる。これにより、本実施形態の端末機100は、特別な動作制御なしに、ユーザがコンテンツ再生による表示部140を凝視しない時には再生を中止し、再び表示部140を凝視する場合には再生するように制御する。
【0046】
一方、端末機100は、403画面で第1視線角度情報が一定時間の間に持続的に取得された場合、端末機100は、表示部140をターンオフして電源節約機能を行うように制御する。また、端末機100は、表示部140のターンオフと共にコンテンツ再生機能を終了するか、或いはターンオフの後に一定時間が経過した後、コンテンツ再生機能を終了するように制御する。そして、端末機100は、表示部140のターンオフ時点に視線追跡機能を終了させるか、或いはコンテンツ再生機能の終了時点に視線追跡機能を終了するように制御し、カメラ部170の活性化に必要とされる電源を節約するように制御する。視線追跡機能終了の前まで、端末機100は、視線追跡機能を支援し、第2視線角度情報が取得された場合、405画面に進むように制御する。
【0047】
図5は、本発明の一実施形態による視線追跡機能支援の画面インターフェースの更に他の例を示す図であり、ユーザ機能のうちの電子ブックコンテンツ視聴機能における視線追跡機能の適用を説明する図である。
【0048】
図5を参照すると、ユーザは、端末機100が提供するユーザ機能のうちの電子ブックコンテンツ視聴機能を選択する。このために、端末機100は、電子ブックコンテンツを格納部150に格納し、電子ブックコンテンツ再生のためのアプリケーションを格納する。そして、ユーザは、該当電子ブックコンテンツの選択のための入力信号と、再生のための入力信号とを生成する。そうすると、端末機100は、選択された電子ブックコンテンツを再生し、再生された電子ブックコンテンツ画面を501画面のように出力するように支援する。これと共に、端末機100は、電子ブックコンテンツ視聴機能が、視線追跡機能が適用されるように設定された機能であるか否かを確認する。該当電子ブックコンテンツ視聴機能が視線追跡の連係機能である場合、端末機100は、視線追跡モードが活性化されるように設定されているか否かを確認する。そして、視線追跡モードが活性化されている場合、端末機100は、カメラ部170を活性化して、一定周期又はリアルタイムで視線追跡機能を行うように支援する。
【0049】
特に、端末機100は、ユーザの瞳位置の追跡を行い、瞳が事前に定義された一定の視線角度情報の場合、503ステップに分岐してページめくりを行うように支援する。例えば、端末機100は、ユーザの視線角度が表示部140の右側下端の隅領域を注視する視線角度情報に該当する場合、電子ブックコンテンツのページめくりを行うように制御する。このとき、端末機100は、該当視線角度情報が一定時間の間に維持された場合、ページめくりを行うように制御する。
【0050】
これにより、本発明の端末機100は、ページめくりのための別途のタッチ動作や入力信号生成動作が発生しなくても、便利にページめくりを行うように支援することができる。ここで、端末機100は、視線追跡機能の適用周期を適応的に変化させることができる。即ち、端末機100は、ユーザのページめくりの速度を累積して格納し、累積された情報によりページめくりのためのイベント発生予測時点前の一定時間の間に、視線追跡機能支援のためのカメラ部170の活性化を支援する。例えば、ユーザが1ページから他のページに切り替えるのに平均2分が所要されると仮定した場合、端末機100は、ページめくりが発生した後、カメラ部170を非活性化状態に維持し、1分30秒ないし1分40秒が経過した後、カメラ部170を活性化して視線追跡機能を行うように制御する。ここで、端末機100は、ページの切り替えに所要される時間が徐々に速くなる場合、それに対応して視線追跡機能を支援できるように、ページの切り替え時点からカメラ部170の活性化時間をより短く定義してもよい。このために、端末機100は、ページ切り替えの平均時間算定を一定のページ数に限定することができる。例えば、端末機100は、前のページ数を3ページに制限し、3ページのページ切り替えの平均時間に基づいて視線追跡機能遂行のためのカメラ部170の活性化時間を定めることができる。これを通じて端末機100は、ページ切り替え時点の付近にカメラ部170を活性化して視線追跡を行うことにより、電源使用をより効率的に支援することができる。
【0051】
そして、端末機100は、電子ブックコンテンツの最後のページが出力された場合、視線追跡機能を自動で終了するように制御する。また、前のページ選択のための視線角度、例えば、左下側の隅領域に対応する視線角度情報が取得された場合、端末機100は、前のページへのページめくりを制御する。そして、端末機100は、左下側又は右下側の隅領域で発生する視線角度情報の累積時間により、ページめくりの速度を変えてその値を決める。即ち、ユーザが左下側又は右下側の隅領域を一定時間の間に持続的に注視した場合、端末機100は、徐々にページめくりの速度をより早く調整するか、或いは一定値以上の速度でページめくりが発生するようにして、ユーザが検索しようとするページをより早く検索できるように支援する。即ち、端末機100は、ページめくりの視線角度の累積時間により、ページめくりの速度を変えてその値を調整することができ、このとき、ページめくりの視線角度に変更が発生すると、ページめくりを中止するように制御する。
【0052】
図6は、本発明の一実施形態による視線追跡に基づくユーザ機能運用方法を説明するフローチャートである。
【0053】
図6を参照すると、本実施形態の視線追跡に基づくユーザ機能運用方法は、先ず、601ステップで、端末機100の制御部160が、供給された電源を利用して端末機100の各構成の運用に必要な電源配分を行う。特に、本発明の視線追跡機能支援のために、ユーザ機能運用のための準備を行う。そして、ユーザが特定のユーザ機能を活性化するための入力信号を生成すると、生成された入力信号により該当ユーザ機能の活性化を支援する。
【0054】
この過程で、制御部160は、603ステップで視線追跡モードが設定されているか否かを確認する。即ち、制御部160は、該当ユーザ機能が視線追跡連係機能であるか否か、そして視線追跡連係機能の場合に、視線追跡モードが活性化されているか否かなどを確認する。このステップで視線追跡モードが設定されていない場合、制御部160は、605ステップに分岐して活性化されたユーザ機能遂行のための信号制御を行う。
【0055】
一方、603ステップで視線追跡モードが活性化されている場合、制御部160は、607ステップに分岐してカメラ部170を活性化するように制御する。そして、制御部160は、活性化されたカメラ部170を利用して映像を撮影するように制御する。映像撮影による映像が収集されると、制御部160は、609ステップに分岐して視線追跡機能を行うように制御する。即ち、制御部160は、ユーザの瞳視線がどこに向かうかを確認し、それによる視線角度情報を取得する。
【0056】
その後、制御部160は、611ステップで取得された視線角度情報による機能遂行を制御する。例えば、制御部160は、コンテンツ視聴機能又は再生機能などが行われる場合、視線角度情報が表示部140を注視する視線角度情報の場合に、コンテンツ視聴機能及び再生機能を維持するように制御する。即ち、制御部160は、表示部140の電源供給及びコンテンツ出力を維持するように制御する。そして、制御部160は、視線角度情報が表示部140を注視しない視線角度情報の場合、表示部140の照度を減らすか又はターンオフするように制御し、また再生中であるコンテンツを一時停止させるか又は終了させるように制御する。また、上述したように、電子ブックコンテンツ再生機能の場合、制御部160は、視線角度情報によりページめくりを制御することも可能である。
【0057】
また、制御部160は、通話連結要請メッセージの受信過程において、表示部140を注視する視線角度情報が取得された場合、自動で通話連結を要請するように制御する。これをより詳細に説明すると、図7に示すように、他の端末機などから通話連結を要請するメッセージが受信された場合、制御部160は、スリープモード状態から目覚めるか、又は待機状態で通話連結要請メッセージの受信を知らせる画面を701画面のように表示部140に出力する。このとき、制御部160は、該当通話連結機能が視線追跡機能と連係した機能であることを確認して、カメラ部170を活性化するように制御する。ここで、制御部160は、カメラ部170を一定時間の間に活性化し、撮影された映像で既設定された瞳視線角度に該当する視線角度情報が取得されるか否かを確認する。そして、制御部160は、該当視線角度情報が取得されると、703画面のように自動で通話連結を行うように支援する。
【0058】
ここで、制御部160は、視線追跡機能を持続させる一方、通話連結要請が終了すると、視線追跡機能を終了するように制御する。また、制御部160は、視線追跡機能を既設定された一定時間の間にのみ維持し、一定時間が経過すると、該当機能を終了するように制御する。そして、制御部160は、通話連結以後の通話機能が終了すると、視線追跡機能を終了するように制御する。或いは、制御部160は、視線追跡機能によって通話連結が行われた後、一定時間の経過後に表示部140を注視する瞳視線の角度情報が取得された場合、通話連結を終了するように制御する。そして、制御部160は、瞳視線の角度情報だけでなく、顔認識を通じて既設定されたユーザ情報とマッチさせて通話連結を行う。例えば、制御部160は、端末機100に所持者として登録されたユーザの顔が認識される場合にのみ、瞳視線の角度情報により通話連結を行うように支援する。
【0059】
次に、制御部160は、613ステップでモード解除のためのイベント発生を確認し、視線追跡モード解除のためのイベント発生時に615ステップに分岐して制御部160の終了有無を確認する。ここで、モード解除のためのイベントは、表示部140を注視しない視線角度情報が一定時間の間に持続的に検出された場合であるか、或いは視線追跡モード解除のためのタッチイベント又は入力信号の発生などを含む。モード解除のためのイベント発生がない場合、制御部160は、607ステップの前に分岐して以降のステップを再遂行するように支援する。また、615ステップで制御部160の終了のための入力信号の発生がない場合、603ステップの前に分岐して制御部160の運用を支援する。
【0060】
一方、上述した説明では、視線追跡モードが活性化されているか否かを確認するステップを行うものとして説明したが、本発明の視線追跡モードは、デフォルト機能として提供されてもよい。
【0061】
上述したように、本発明による視線追跡機能に基づく機能運用方法は、端末機の運用において、特別なタッチ入力制御や入力信号生成動作なしに、ユーザ機能の状態変更を支援するか又は現在の状態を維持するように制御することで、より便利な端末機100の運用を支援することができる。特に、大画面端末機の場合、タッチ入力制御のために片手把持、片手制御が要求されるが、本発明の視線追跡機能の適用時に更に便利な端末機運用制御を支援することができる。
【0062】
一方、上述した端末機100は、その提供形態により、多様な追加モジュールを更に含んでもよい。即ち、端末機100は、近距離通信のための近距離通信モジュール、端末機100の有線通信方式又は無線通信方式によるデータ送受信のためのインターフェース、インターネットのネットワークと通信してインターネット機能を行うインターネット通信モジュール、及びデジタル放送受信と再生機能を行うデジタル放送モジュールなどのように、上記で言及していない構成を更に含んでもよい。このような構成要素は、デジタル機器のコンバージェンス(convergence)傾向により変形が非常に多様であって、全て列挙することはできないが、上記で言及した構成要素と同等な水準の構成要素がデバイスに更に含まれて構成され得る。また、本発明の端末機100は、その提供形態により、上記の構成から特定構成が除外されるか、他の構成に代替され得ることは勿論である。これは、本技術分野の通常の知識を有する者には、容易に理解されるはずである。
【0063】
また、本発明による端末機100は、多様な通信システムに対応する通信プロトコル(communication protocols)に基づき作動する全ての移動通信端末機(mobile communication terminals)をはじめとして、PMP(Portable Multimedia Player)、デジタル放送プレーヤー、PDA(Personal Digital Assistant)、音楽再生機(例えば、MP3プレーヤー)、携帯ゲーム端末、スマートフォン(Smart Phone)、ノート型パソコン(Notebook)、ハンドヘルドPCなど全ての情報通信機器とマルチメディア機器及びそれに対する応用機器を含んでもよい。
【0064】
以上、図面を参照しながら本発明の実施形態について説明したが、本発明は、上述の実施形態に限定されるものではなく、本発明の技術的範囲を逸脱しない範囲内で多様に変更実施することが可能である。
【符号の説明】
【0065】
100 端末機
110 通信部
120 入力部
130 オーディオ処理部
140 表示部
141 表示パネル
143 タッチパネル
150 格納部
151 視線追跡支援プログラム
153 視線追跡アルゴリズム
160 制御部
161 カメラ情報収集部
163 視線追跡決定部
165 機能実行部

【特許請求の範囲】
【請求項1】
特定のユーザ機能を遂行するステップと、
前記ユーザ機能が維持された状態でカメラ部を活性化するステップと、
前記カメラ部が収集した映像で瞳の視線角度情報を取得するステップと、
前記瞳の視線角度情報により、前記ユーザ機能の状態を変更するか又は現在の状態を維持するように制御する視線追跡機能を遂行するステップと、を有することを特徴とする視線追跡に基づくユーザ機能運用方法。
【請求項2】
前記活性化されたユーザ機能が視線追跡機能と連係したユーザ機能の場合、視線追跡設定モードが活性化されているか否かを確認するステップを更に含むことを特徴とする請求項1に記載の視線追跡に基づくユーザ機能運用方法。
【請求項3】
前記視線追跡機能を遂行するステップは、
瞳の視線角度情報が端末機の表示部を注視しない第1視線角度情報の場合、前記表示部の照度を調節するステップと、
前記表示部をターンオフするステップと、
前記ユーザ機能を終了するステップと、
前記ユーザ機能を一時停止するステップと、
前記表示部に含まれるタッチパネルのタッチロック機能を設定又は解除するステップと、のうちの少なくとも一つのステップを含むことを特徴とする請求項1に記載の視線追跡に基づくユーザ機能運用方法。
【請求項4】
前記視線追跡機能を遂行するステップは、
前記表示部がターンオフされるか又は前記ユーザ機能が終了した場合、前記カメラ部を非活性化するステップを含むことを特徴とする請求項3に記載の視線追跡に基づくユーザ機能運用方法。
【請求項5】
前記視線追跡機能を遂行するステップは、
瞳の視線角度情報が前記端末機の表示部を注視する第2視線角度情報の場合、前記表示部の照度を本来の照度に調整するステップと、
前記表示部をターンオンするステップと、
前記ユーザ機能を再び活性化するステップと、
前記ユーザ機能の一時停止を解除するステップと、
前記ロック設定されたタッチパネルのロック機能を解除又は設定するステップと、のうちのいずれか一つのステップを更に含むことを特徴とする請求項3に記載の視線追跡に基づくユーザ機能運用方法。
【請求項6】
前記視線追跡機能を遂行するステップは、
前記瞳の視線角度情報が端末機の表示部を注視する第2視線角度情報の場合、表示部の現在の画面を維持するステップであることを特徴とする請求項1に記載の視線追跡に基づくユーザ機能運用方法。
【請求項7】
前記視線角度情報を取得するステップは、
被写体の顔を認識するステップと、
認識された顔の瞳部位を自動フォーカシングするステップと、
自動フォーカスされた被写体の映像を収集するステップと、を含むことを特徴とする請求項1に記載の視線追跡に基づくユーザ機能運用方法。
【請求項8】
前記視線追跡機能を遂行するステップは、
通話連結要請メッセージが受信された状態で、瞳の視線角度情報が端末機の表示部を注視する第2視線角度情報として取得された場合、前記通話連結を自動で行うステップと、
電子ブックコンテンツが再生された画面状態で、瞳の視線角度情報が端末機の表示部のうちの一定の地点を注視する視線角度情報として取得された場合、前記電子ブックコンテンツのページめくりを行うステップと、
前記一定の地点における視線角度情報の検出時間の累積により、前記電子ブックコンテンツのページめくりの速度を変えて調節するステップと、のうちの少なくとも一つのステップを含むことを特徴とする請求項1に記載の視線追跡に基づくユーザ機能運用方法。
【請求項9】
被写体の映像を収集するカメラ部と、
前記カメラ部が収集した映像で瞳の視線角度情報を取得し、前記瞳の視線角度情報により、ユーザ機能の状態を変更するか又は現在の状態を維持するように制御する視線追跡機能を支援する制御部と、
前記ユーザ機能に該当するデータ及び前記瞳の視線角度追跡のためのデータを格納する格納部と、を備えることを特徴とする視線追跡に基づくユーザ機能運用を支援する端末機。
【請求項10】
前記格納部は、
前記視線追跡機能と連係したユーザ機能の目録を含むことを特徴とする請求項9に記載の視線追跡に基づくユーザ機能運用を支援する端末機。
【請求項11】
前記瞳の視線角度情報が端末機の表示部を注視しない第1視線角度情報の場合に、照度が変更されるか又はターンオフされる表示部を更に含むことを特徴とする請求項9に記載の視線追跡に基づくユーザ機能運用を支援する端末機。
【請求項12】
前記制御部は、
前記表示部がターンオフされるか又は前記ユーザ機能が終了した場合、前記カメラ部を非活性化することを特徴とする請求項11に記載の視線追跡に基づくユーザ機能運用を支援する端末機。
【請求項13】
前記制御部は、
前記瞳の視線角度情報が端末機の表示部を注視しない第1視線角度情報として一定時間以上取得された場合、前記活性化されたユーザ機能を一時停止するか又は終了するように制御するか、或いはタッチパネルのロックを解除するか又はロック設定するように制御し、
前記瞳の視線角度情報が端末機の表示部を注視する第2視線角度情報の場合、前記タッチパネルのロックを設定又は解除した状態に維持することを特徴とする請求項9に記載の視線追跡に基づくユーザ機能運用を支援する端末機。
【請求項14】
前記カメラは、
被写体の映像を収集する際に瞳部位を自動フォーカシングして収集することを特徴とする請求項9に記載の視線追跡に基づくユーザ機能運用を支援する端末機。
【請求項15】
前記制御部は、
通話連結要請メッセージが受信された状態で、瞳の視線角度情報が端末機の表示部を注視する第2視線角度情報として取得された場合、前記通話連結を自動で行い、
電子ブックコンテンツが再生された画面状態で、瞳の視線角度情報が端末機の表示部のうちの一定の地点を注視する視線角度情報として取得された場合、前記電子ブックコンテンツのページめくりを行い、
前記一定の地点における視線角度情報の検出時間の累積により、前記電子ブックコンテンツのページめくりの速度を変えて調節することを特徴とする請求項9に記載の視線追跡に基づくユーザ機能運用を支援する端末機。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate


【公開番号】特開2013−114691(P2013−114691A)
【公開日】平成25年6月10日(2013.6.10)
【国際特許分類】
【出願番号】特願2012−258515(P2012−258515)
【出願日】平成24年11月27日(2012.11.27)
【出願人】(390019839)三星電子株式会社 (8,520)
【氏名又は名称原語表記】Samsung Electronics Co.,Ltd.
【住所又は居所原語表記】129,Samsung−ro,Yeongtong−gu,Suwon−si,Gyeonggi−do,Republic of Korea
【Fターム(参考)】