視線追跡に基づくユーザ機能運用方法及びこれを支援する端末機
【課題】視線追跡に基づくユーザ機能運用方法及びこれを支援する端末機を提供する。
【解決手段】本発明の視線追跡に基づくユーザ機能運用方法は、特定のユーザ機能を遂行するステップと、ユーザ機能が維持された状態でカメラ部を活性化するステップと、カメラ部が収集した映像で瞳の視線角度情報を取得するステップと、瞳の視線角度情報により、ユーザ機能の状態を変更するか又は現在の状態を維持するように制御する視線追跡機能を遂行するステップと、を有する。
【解決手段】本発明の視線追跡に基づくユーザ機能運用方法は、特定のユーザ機能を遂行するステップと、ユーザ機能が維持された状態でカメラ部を活性化するステップと、カメラ部が収集した映像で瞳の視線角度情報を取得するステップと、瞳の視線角度情報により、ユーザ機能の状態を変更するか又は現在の状態を維持するように制御する視線追跡機能を遂行するステップと、を有する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、端末機のユーザ機能運用に関し、より詳細には、ユーザの瞳を追跡して、ユーザの視線により、現在運用されているユーザ機能の状態を切り替えるように制御する視線追跡に基づくユーザ機能運用方法及びこれを支援する端末機に関する。
【背景技術】
【０００２】
携帯端末機は、特定のユーザ機能を支援〔サポート〕しながらも、その大きさが携帯できるほど小さく、多くの産業及び生活分野で脚光を浴びている。そして、近年、多様なユーザ機能を統合的に支援する携帯端末機が登場している。例えば、従来の携帯端末機は、カメラ部が装着されてユーザの制御により被写体に対する映像を収集する機能と、収集された映像を格納する機能と、格納された映像をすぐに検索できる機能と、を支援する。このような携帯端末機は、静止画だけでなく、動画の撮影機能も支援している。
【０００３】
一方、携帯端末機の表示部が大型化されながら携帯は可能であるが、制御において多少不便さが発生する場合がある。例えば、ノート型の携帯端末機の場合、タッチ機能を行うために片手で端末機を把持するようになるが、このとき、端末機の重さを片手で支えることが容易ではないだけでなく、安定性にも脆弱であるため、多様な問題が発生している。例えば、端末機の転倒や落下が発生して破損する場合があり、ユーザの筋肉に無理が行くなどの問題がある。
【０００４】
また、従来の携帯端末機の場合、環境設定により一定の条件下で端末機の状態を制御する機能を提供しているが、このとき、一定の条件が端末機を利用する条件と適切に符合しない場合が多い。例えば、端末機のスリープモードの切り替えの場合、一定の条件は一定時間であってもよいが、この一定時間は、ユーザの状態や環境によって適応的に変わるものではなく、固定された値である。これにより、従来の端末機の使用時、ユーザが所望しない時点に端末機がスリープモードに切り替えられる場合が発生し、端末機をスリープモードから復帰させるための不必要な追加動作が要求されている。このような追加動作は、上述した大画面端末機の利用時に、更に大きな不便さをユーザに与えるようになる。また、従来の端末機の使用時に、スリープモードに切り替えられても構わない時点であっても、一定の条件に該当する時間を待機しなければならないため、不必要な電源の浪費が発生している。
【発明の概要】
【発明が解決しようとする課題】
【０００５】
本発明は、上記従来の問題点に鑑みてなされたものであって、本発明の目的は、ユーザの瞳を追跡する視線追跡機能に基づき、端末機のユーザ機能をより効率的且つ適応的に運用できるように支援する視線追跡に基づくユーザ機能運用方法及びこれを支援する端末機を提供することにある。
【課題を解決するための手段】
【０００６】
上記目的を達成するためになされた本発明の視線追跡に基づくユーザ機能運用方法は、特定のユーザ機能を遂行するステップと、前記ユーザ機能が維持された状態でカメラ部を活性化するステップと、前記カメラ部が収集した映像で瞳の視線角度情報を取得するステップと、前記瞳の視線角度情報により、前記ユーザ機能の状態を変更するか又は現在の状態を維持するように制御する視線追跡機能を遂行するステップと、を有することを特徴とする。
【０００７】
前記視線追跡に基づくユーザ機能運用方法は、前記活性化されたユーザ機能が視線追跡機能と連係したユーザ機能の場合、視線追跡設定モードが活性化されているか否かを確認するステップを更に含むことができる。
前記視線追跡機能を遂行するステップは、瞳の視線角度情報が端末機の表示部を注視しない第１視線角度情報の場合、前記表示部の照度を調節するステップと、前記表示部をターンオフするステップと、前記ユーザ機能を終了するステップと、前記ユーザ機能を一時停止するステップと、前記表示部に含まれるタッチパネルのタッチロック機能を設定又は解除するステップと、のうちの少なくとも一つのステップを含むことができる。
前記視線追跡機能を遂行するステップは、前記表示部がターンオフされるか又は前記ユーザ機能が終了した場合、前記カメラ部を非活性化するステップを含むことができる。
前記視線追跡機能を遂行するステップは、瞳の視線角度情報が前記端末機の表示部を注視する第２視線角度情報の場合、前記表示部の照度を本来の照度に調整するステップと、前記表示部をターンオンするステップと、前記ユーザ機能を再び活性化するステップと、前記ユーザ機能の一時停止を解除するステップと、前記ロック設定されたタッチパネルのロック機能を解除又は設定するステップと、のうちのいずれか一つのステップを更に含むことができる。
前記視線追跡機能を遂行するステップは、前記瞳の視線角度情報が端末機の表示部を注視する第２視線角度情報の場合、表示部の現在の画面を維持するステップであり得る。
前記視線角度情報を取得するステップは、被写体の顔を認識するステップと、認識された顔の瞳部位を自動フォーカシングするステップと、自動フォーカスされた被写体の映像を収集するステップと、を含むことができる。
前記視線追跡機能を遂行するステップは、通話連結要請メッセージが受信された状態で、瞳の視線角度情報が端末機の表示部を注視する第２視線角度情報として取得された場合、前記通話連結を自動で行うステップと、電子ブックコンテンツが再生された画面状態で、瞳の視線角度情報が端末機の表示部のうちの一定の地点を注視する視線角度情報として取得された場合、前記電子ブックコンテンツのページめくりを行うステップと、前記一定の地点における視線角度情報の検出時間の累積により、前記電子ブックコンテンツのページめくりの速度を変えて調節するステップと、のうちの少なくとも一つのステップを含むことができる。
【０００８】
上記目的を達成するためになされた本発明の視線追跡に基づくユーザ機能運用を支援する端末機は、被写体の映像を収集するカメラ部と、前記カメラ部が収集した映像で瞳の視線角度情報を取得し、前記瞳の視線角度情報により、ユーザ機能の状態を変更するか又は現在の状態を維持するように制御する視線追跡機能を支援する制御部と、前記ユーザ機能に該当するデータ及び前記瞳の視線角度を追跡するためのデータを格納する格納部と、を備えることを特徴とする。
【０００９】
前記格納部は、前記視線追跡機能と連係したユーザ機能の目録を含むことができる。
前記視線追跡に基づくユーザ機能運用を支援する端末機は、前記瞳の視線角度情報が端末機の表示部を注視しない第１視線角度情報の場合に、照度が変更されるか又はターンオフされる表示部を更に含むことができる。
前記制御部は、前記表示部がターンオフされるか又は前記ユーザ機能が終了した場合、前記カメラ部を非活性化することができる。
前記制御部は、前記瞳の視線角度情報が端末機の表示部を注視しない第１視線角度情報として一定時間以上取得された場合、前記活性化されたユーザ機能を一時停止するか又は終了するように制御するか、或いはタッチパネルのロックを解除するか又はロック設定するように制御し、前記瞳の視線角度情報が端末機の表示部を注視する第２視線角度情報の場合、前記タッチパネルのロックを設定又は解除した状態に維持することができる。
前記カメラは、被写体の映像を収集する際に瞳部位を自動フォーカシングして収集することができる。
前記制御部は、通話連結要請メッセージが受信された状態で、瞳の視線角度情報が端末機の表示部を注視する第２視線角度情報として取得された場合、前記通話連結を自動で行い、電子ブックコンテンツが再生された画面状態で、瞳の視線角度情報が端末機の表示部のうちの一定の地点を注視する視線角度情報として取得された場合、前記電子ブックコンテンツのページめくりを行い、前記一定の地点における視線角度情報の検出時間の累積により、前記電子ブックコンテンツのページめくりの速度を変えて調節することができる。
【発明の効果】
【００１０】
本発明による視線追跡に基づくユーザ機能運用方法及びこれを支援する端末機によれば、端末機が提供する機能をより適応的に運用できるようにすることで、ユーザの端末機使用の便宜性を増大させることができる。
【図面の簡単な説明】
【００１１】
【図１】本発明の一実施形態による視線追跡機能を含む端末機の構成を概略的に示す図である。
【図２】図１の制御部の構成をより詳細に示す図である。
【図３】本発明の一実施形態による視線追跡機能支援の画面インターフェースの一例を示す図である。
【図４】本発明の一実施形態による視線追跡機能支援の画面インターフェースの他の例を示す図である。
【図５】本発明の一実施形態による視線追跡機能支援の画面インターフェースの更に他の例を示す図である。
【図６】本発明の一実施形態による視線追跡機能に基づくユーザ機能運用方法を説明するフローチャートである。
【図７】本発明の一実施形態による視線追跡機能支援のうちの通話連係機能を説明する図である。
【発明を実施するための形態】
【００１２】
以下、本発明を実施するための形態の具体例を、図面を参照しながら詳細に説明する。
【００１３】
本実施形態の説明において、本発明が属する技術分野で当業者に十分に知られており、本発明と直接的に関連のない技術内容に対しては説明を省略する。また、実質的に同一の構成及び機能を有する構成要素に対しては詳細な説明を省略する。
【００１４】
同様の理由で、図面において一部の構成要素は誇張又は省略するか、或いは概略的に示しており、各構成要素の大きさは実際の大きさを全面的に反映するものではない。従って、本発明は、図面に描かれた相対的な大きさや間隔によって制限されない。
【００１５】
図１は、本発明の一実施形態による視線追跡機能を含む端末機の構成を概略的に示す図であり、視線追跡に基づくユーザ機能運用を支援する端末機１００の構成を概略的に示したブロック図である。
【００１６】
図１を参照すると、本実施形態の端末機１００は、通信部１１０、入力部１２０、表示部１４０、格納部１５０、カメラ部１７０、及び制御部１６０の各構成を含む。
【００１７】
このような構成を有する本実施形態の端末機１００は、特定のユーザ機能又は特定の端末機状態が活性化されると、カメラ部１７０を自動で活性化して一定の角度で映像を収集する。このとき、収集される映像に基づいて、端末機１００は、視線追跡を行って現在のユーザ視線方向を確認する。そして、端末機１００は、視線方向が既設定された方向の場合、該当方向に対応する命令語を生成し、これに基づいて端末機１００の状態を切り替えるか、現在の状態を維持するか、或いは特定機能を行うように制御する。これにより、本発明は、ユーザの視線による端末機１００の駆動制御を行うことで、より適応的な機能運用を行うと共に、端末機１００の管理をより効果的に行うことができるように支援する。
【００１８】
通信部１１０は、端末機１００の通信機能を支援する。特に、通信部１１０は、端末機１００が通信機能を支援する端末機の形態で製作される場合に追加される構成である。従って、本発明が適用される端末機１００が通信機能を支援しない場合、通信部１１０は、端末機１００の構成から省略してもよい。一方、通信部１１０は、端末機１００の通信機能、特に移動通信機能を支援するために、移動通信モジュールの形態で設けられる。このような通信部１１０は、移動通信システムと通信チャネルを形成して端末機１００の移動通信機能を行うための信号の送受信を支援する。例えば、通信部１１０は、移動通信システムと音声サービスチャネル、映像サービスチャネル、データサービスチャネルのうちの少なくとも一つを形成し、該当サービスチャネルによる特定信号の送受信を支援する。特に、本発明の通信部１１０は、機能運用過程でカメラ部１７０と連係した動作を行う。
【００１９】
例えば、通信部１１０は、他の端末機から通話呼の連結要請メッセージを受信するか、或いはメッセージサービス受信に対応するメッセージを受信した場合、これを通知するために情報を制御部１６０の制御により表示部１４０及びオーディオ処理部１３０のうちの少なくとも一つに出力する。このとき、通信部１１０のメッセージ受信イベントは、制御部１６０の制御によりカメラ部１７０に伝達され、カメラ部１７０は、通信部１１０がメッセージを受信した場合、予め設定された一定時間の間に活性化され、既設定された一定の角度で映像を撮影し、撮影された映像に対する視線追跡機能を支援する。制御部１６０は、カメラ部１７０が収集した映像で視線追跡による瞳検出及び瞳の角度検出に基づいて、通信部１１０の運用を制御する。即ち、通信部１１０は、ユーザが端末機１００を注視した場合、受信した通話連結要請メッセージに対応する通話連結要請メッセージを他の端末機に伝達することにより通話連結を行う。即ち、本実施形態の端末機１００は、通話連結要請が受信された場合、別途の動作制御なしに端末機１００を注視するだけでも、通話連結を行うことができるように支援する。このとき、端末機１００は、顔認識を通じて事前に定義されたユーザの顔である場合にのみ、自動通話連結を行うように支援することも可能である。
【００２０】
入力部１２０は、端末機１００の運用に必要な多様な入力信号を生成する。このような入力部１２０は、端末機１００の互換可能の有無により、キーボードやキーパッド、キーボタンなどの多様な入力手段で構成される。また、入力部１２０は、表示部１４０がタッチスクリーンで提供される場合、タッチスクリーンに出力されるタッチマップの形態で構成されてもよい。本実施形態の入力部１２０は、視線追跡機能支援のための多様な入力信号を生成することができる。例えば、入力部１２０は、視線追跡機能の適用モード及び解除モードを設定するための入力信号、端末機が提供する機能のうちの視線追跡機能と連係した特定のユーザ機能を呼び出す入力信号、特定のユーザ機能に視線追跡機能を連係させるための入力信号などをユーザの要請により生成する。生成された入力信号は、制御部１６０に伝達され、該当機能を行うための命令語に切り替えられる。
【００２１】
オーディオ処理部１３０は、端末機１００の運用過程で設定された多様なオーディオデータ及び格納部１５０に格納されたオーディオファイル再生によるオーディオデータ、外部から受信したオーディオデータなどを出力する。また、オーディオ処理部１３０は、オーディオデータ収集機能を支援する。このために、オーディオ処理部１３０は、スピーカー（ＳＰＫ）とマイク（ＭＩＣ）を含む。特に、オーディオ処理部１３０は、視線追跡機能が設定されているユーザ機能の活性化時に、視線追跡機能が運用中であることを案内する案内音を出力する。また、オーディオ処理部１３０の視線追跡機能支援が可能であるが、設定されていない場合、該当視線追跡機能設定を案内する案内音を出力する。案内音の出力機能は、ユーザの設定により省略してもよい。
【００２２】
一方、オーディオ処理部１３０を介して出力されるオーディオ信号の出力時点も視線追跡機能によって制御される。例えば、オーディオ処理部１３０は、カメラ部１７０を介してユーザが現在の既設定された角度で端末機１００を注視している場合にのみ、現在運用中の機能のオーディオ信号出力を支援し、既設定された他の角度で端末機１００を注視する場合、オーディオ信号出力を中止するように制御する。
【００２３】
表示部１４０は、端末機１００の運用に必要な多様な画面インターフェースを提供する。例えば、表示部１４０は、端末機１００の運用に必要な待機画面、メニュー画面などを支援する。特に、本実施形態の表示部１４０は、視線追跡機能が連係されたユーザ機能の活性化による画面、視線追跡機能を特定のユーザ機能と連係させるための設定画面、視線追跡機能の活性化又は非活性化を制御するための画面などを出力する。
【００２４】
このような表示部１４０は、表示パネル１４１とタッチパネル１４３が重なった形態のタッチスクリーンの形態で設けられる。表示パネル１４１には、上述した多様な画面に対応するイメージとテキストなどが出力される。タッチパネル１４３は、表示パネル１４１に出力される画面の特性に応じてタッチ有効領域とタッチ無効領域を設定し、タッチ有効領域で発生するタッチイベントを制御部１６０に伝達する。特に、タッチパネル１４３は、視線追跡機能によって活性化が制御される。例えば、ユーザが端末機１００を既設定された角度で注視する場合、タッチパネル１４３は活性化されて、タッチ動作によるタッチイベントの生成を支援する。そして、タッチパネル１４３は、ユーザが端末機１００を既設定された他の角度で注視する場合、非活性化されて、タッチ動作が発生してもタッチイベントの取得を行わない場合がある。このように、本発明の端末機１００は、タッチパネル１４３の一時的なロック（Ｌｏｃｋ）機能及びロック解除機能を視線追跡機能により支援することも可能である。
【００２５】
格納部１５０は、端末機１００の運用に必要な多様な基本オペレーティングシステム及び多様なユーザ機能に該当するデータ又はアプリケーションと、アルゴリズムなどを格納する。特に、格納部１５０は、本発明の視線追跡機能を支援するための視線追跡支援プログラム１５１を格納し、視線追跡支援プログラム１５１を支援するためのデータ、例えば、瞳の視線角度を追跡するための視線追跡アルゴリズム１５３を格納する。
【００２６】
視線追跡支援プログラム１５１は、本発明の視線追跡機能運用に関連する多様なルーチンを定義するものである。このような視線追跡支援プログラム１５１は、視線追跡機能が連係された特定のユーザ機能が活性化された場合、カメラ部１７０を活性化するように制御するルーチン、活性化されたカメラ部１７０を利用して映像を収集するルーチン、収集された映像の顔認識と瞳認識を行うルーチン、認識の結果によって瞳の視線角度を確認するルーチン、瞳の視線角度により現在活性化されたユーザ機能の状態を変更するルーチンを含む。ここで、特定のユーザ機能は、端末機１００が提供する多様な機能であって、上述した通信部１１０、表示部１４０、オーディオ処理部１３０等に基づいて運用される機能である。例えば、ユーザ機能は、通話機能、コンテンツファイル再生機能、ファイル検索機能、ウェブ接続機能、待機画面出力機能、メニュー画面出力機能、放送受信機能などである。
【００２７】
視線追跡アルゴリズム１５３は、視線追跡支援プログラム１５１によって活性化されるカメラ部１７０の収集映像の分析に利用されるアルゴリズムである。このような視線追跡アルゴリズム１５３は、顔認識アルゴリズムと、瞳認識アルゴリズムとを含む。視線追跡支援プログラム１５１は、カメラ部１７０が映像を収集すると、視線追跡アルゴリズム１５３のうち顔認識アルゴリズムに基づいて優先的に一定形態の顔を認識する。そして、視線追跡支援プログラム１５１は、認識された顔で目の部位を抽出し、該当する目の部位で瞳の視線角度に対する情報を取得する。その後、視線追跡支援プログラム１５１は、取得した瞳の視線角度と事前に定義された情報とを比較して、現在活性化されたユーザ機能の状態変更を支援する。ユーザ機能の状態変更に対しては、後述する画面例示図を参照してより詳細に説明する。
【００２８】
カメラ部１７０は、制御部１６０の制御により活性化され、被写体に対する映像を収集する。このようなカメラ部１７０は、視線追跡機能と連係したユーザ機能が活性化されるか、或いはデフォルトで視線追跡機能を活性化するように設定された場合、端末機１００の活性化により活性化されて映像を収集する。カメラ部１７０が収集した収集映像が制御部１６０に伝達され、視線追跡機能により分析される。ここで、カメラ部１７０が収集する映像は、一定時間の間隔で周期的に収集される静止画であるか、又はリアルタイム動画のいずれか一つである。カメラ部１７０は、該当視線追跡機能が連係されたユーザ機能が終了すると、自動で終了する。
【００２９】
制御部１６０は、本発明による映像の視線追跡機能を支援するために、多様な信号の流れを制御し、情報収集及び出力などを制御する。このような制御部１６０は、映像の視線追跡機能を支援するために、映像収集機能と情報分析機能を含み、二つの機能によるユーザ機能の運用制御を行う。このために、制御部１６０は、図２に示すような構成を含むことができる。
【００３０】
図２は、図１の制御部１６０の構成をより詳細に示す図である。
【００３１】
図２を参照すると、本実施形態の制御部１６０は、カメラ情報収集部１６１、視線追跡決定部１６３、機能実行部１６５の各構成を含む。
【００３２】
カメラ情報収集部１６１は、特定のユーザ機能が活性化されると、該当ユーザ機能が視線追跡機能と連係した機能であるか否かを確認する。そして、カメラ情報収集部１６１は、該当ユーザ機能が視線追跡機能と連係した機能の場合、カメラ部１７０を活性化するように制御する。これと共に、カメラ情報収集部１６１は、カメラ部１７０の設定を事前に定義された設定値により調整し、映像を収集するように制御する。このとき、カメラ情報収集部１６１は、ユーザの顔認識を行いながら、顔の瞳の部分に自動フォーカシングを行う。自動フォーカシングが完了すると、カメラ情報収集部１６１は、瞳を含む顔映像を収集し、これを視線追跡決定部１６３に伝達する。視線追跡機能と連係したユーザ機能の活性化の有無を確認するために、端末機１００の格納部１５０は、視線追跡機能と連係したユーザ機能の目録を格納する。これにより、カメラ情報収集部１６１は、特定のユーザ機能が活性化されると、該当機能目録の確認を通じて視線追跡機能を支援するためのカメラ部１７０の活性化を制御する。
【００３３】
視線追跡決定部１６３は、カメラ情報収集部１６１が伝達する映像を分析し、瞳の視線角度を分析し、その結果を機能実行部１６５に伝達する。このために、視線追跡決定部１６３は、格納部１５０に格納された視線追跡アルゴリズム１５３を参照する。先ず、視線追跡決定部１６３は、伝達された映像の顔分析を行う。この過程を通じて視線追跡決定部１６３は、顔の瞳部位の抽出を行う。そして、視線追跡決定部１６３は、瞳部位で瞳が注視する視線角度を確認する。瞳の視線角度情報が取得されると、視線追跡決定部１６３は、該当視線角度情報が端末機１００の表示部１４０の領域のうちのいずれの部位を注視するかを確認する。或いは、視線追跡決定部１６３は、視線角度情報そのものを機能実行部１６５に伝達する。
【００３４】
機能実行部１６５は、視線追跡決定部１６３から伝達された視線角度情報に基づいて、現在活性化されたユーザ機能の状態切り替え又は状態維持を決める。このために、機能実行部１６５は、現在活性化されたユーザ機能を確認し、視線角度情報による命令語を生成する。命令語が生成された機能実行部１６５は、該当命令語によるユーザ機能運用を制御する。本発明の視線追跡機能の適用は、一定の周期により運用されるか又はリアルタイムで運用される。これにより、機能実行部１６５は、一定の周期により伝達される視線角度情報に対応するユーザ機能の切り替え又は維持を制御するか、或いは以前の視線角度情報と異なる視線角度情報が伝達された場合にユーザ機能を切り替え、同一の視線角度情報が伝達された場合にユーザ機能維持を制御する。
【００３５】
上述したように、本発明による視線追跡に基づくユーザ機能運用を支援する端末機１００は、特定のユーザ機能を行う過程において視線追跡を行い、特別なタッチ動作や入力ボタンの制御動作を行わなくても、ユーザ機能をより効果的且つ適応的に制御できるように支援することができる。このような視線追跡に基づく機能運用に対して、以下の画面例示図を参照して、より詳細に説明する。
【００３６】
図３は、本発明の一実施形態による視線追跡機能支援の画面インターフェースの一例を示す図であり、視線追跡に基づくユーザ機能運用のうち、表示部の照明機能の切り替えとスリープモードの切り替え機能の例を説明する図である。
【００３７】
図３を参照すると、先ず、ユーザは、端末機１００の運用中に特定のユーザ機能、例えば、コンテンツ視聴機能を活性化するための制御を行う。そうすると、端末機１００は、ユーザが選択した視聴機能を支援するために、端末機１００の表示部１４０の照明機能を活性化するように制御する。例えば、端末機１００は、表示部１４０がバックライトユニットで構成された場合、バックライトユニットの電源供給を通じて、一定の照度で発光されるように支援する。また、端末機１００は、表示部１４０がＯＬＥＤ（Ｏｒｇａｎｉｃ ｌｉｇｈｔ−Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）などで構成された場合、該当発光ダイオードに電流又は電圧の供給を通じて、一定照度の光で発光されるように支援する。これと共に、端末機１００は、ユーザが選択したコンテンツを呼び出して、該当コンテンツを表示パネル１４１に出力するように支援する。これにより、端末機１００は、３０１画面のようにコンテンツ出力画面を表示部１４０に出力する。
【００３８】
一方、端末機１００は、コンテンツ視聴機能が視線追跡機能と連係した機能であることが確認されると、カメラ部１７０を活性化してユーザの瞳認識を行う。そして、ユーザの瞳認識の結果、視線角度情報が表示部１４０を見ていないと判断された場合、端末機１００は、３０３、３０５、３０７画面のように、段階的に表示部１４０の照明機能を、状態が切り替えられるように制御する。例えば、端末機１００は、視線角度情報が表示部１４０を見ていない第１視線角度情報の場合、３０３画面のように一定時間の間、表示部１４０の一定照度を維持するように制御する。そして、端末機１００は、第１視線角度情報が第１時間の間に維持された場合、即ち、ユーザが第１時間の間に持続的に表示部１４０を見ていない場合、３０５画面のように照度を一定の段階に下げるように制御する。また、端末機１００は、第１視線角度情報が第２時間の間に継続して維持された場合、即ち、ユーザが第１時間の後に第２時間の間、持続的に表示部１４０を見ていない場合、３０７画面のように、照明機能は、ターンオフするように制御される。このとき、端末機１００は、照明機能のターンオフ後の一定時間の間に第１視線角度情報が取得された場合、スリープモードに自動で切り替えるように制御する。
【００３９】
ここで、端末機１００は、３０５画面又は３０７画面で表示部１４０を注視する第２視線角度情報が取得された場合、再び３０３画面に復帰して照明が本来の照度になるように制御する。しかし、端末機１００は、３０７ステップの後、スリープモードに切り替えた後、一定時間以内に表示部１４０を注視する第２視線角度情報が取得された場合、予め設定されたルーチンによって、スリープモード進入過程において、自動で設定されたロック機能を解除する画面を出力するように制御することができる。このために、端末機１００は、３０７画面のように表示部１４０がターンオフされた状態、スリープモードの進入状態、スリープモードの進入後に一定時間が経過した状態のうちのいずれか一つの状態までは、視線追跡支援のためにカメラ部１７０を活性化状態に維持するように制御する。そして、端末機１００は、３０７画面、スリープモードの進入状態、スリープモードの進入後に一定時間が経過した状態のうちのいずれか一つの状態により、視線追跡機能を中止させることができる。即ち、端末機１００は、表示部１４０がターンオフされるか、スリープモードに進入するか、スリープモードに進入した後に一定時間が経過した場合、視線追跡機能の中止と共にカメラ部１７０を非活性化するように制御する。
【００４０】
一方、端末機１００は、３０１画面状態でユーザが持続的に表示部１４０を注視している場合、即ち、表示部１４０を注視する第２視線角度情報が取得された場合、３０２、３０４、３０６ステップのように時間が経過しても持続的に同一状態を維持するように制御する。これにより、本実施形態の端末機１００は、一定時間の間に特別な入力信号の発生がない場合、自動で機能切り替え状態になるように、設定されたモードを一定の条件下で行わないように支援する。これにより、ユーザが長時間表示部１４０に出力されたコンテンツを特別な入力信号の生成動作なしに閲覧しても、端末機１００は、不必要にスリープモードに切り替えるか、或いは照度調整の機能により照度を低くするなどの機能を行わないように支援する。また、ユーザは、持続的にコンテンツ視聴機能を維持したまま、端末機１００の利用を行うことができる。
【００４１】
図４は、本発明の一実施形態による視線追跡機能支援の画面インターフェースの他の例を示す図であり、ユーザ機能の運用中にコンテンツ再生機能における視線追跡機能の適用を説明する図である。
【００４２】
図４を参照すると、ユーザは、端末機１００のユーザ機能のうちのコンテンツ再生機能を活性化するように制御する。このために、ユーザは、格納部１５０に格納された特定コンテンツを選択し、該当コンテンツを再生要請する命令語生成のための入力信号生成動作を実行する。例えば、ユーザが動画コンテンツを再生要請する場合、端末機１００は、４０１画面のように、選択されたコンテンツを再生するためのアプリケーションを呼び出し、該当コンテンツ再生による画面を表示部１４０に出力するように支援する。
【００４３】
一方、端末機１００は、該当ユーザ機能、即ちコンテンツ再生機能が視線追跡機能と連係した機能であるか否かを確認する。コンテンツ再生機能が視線追跡機能と連係した機能に設定された場合、端末機１００は、４０１画面でカメラ部１７０を活性化して映像を一定周期又はリアルタイムで撮影し、視線追跡機能が支援されるように制御する。
【００４４】
端末機１００は、視線追跡機能支援の過程において、ユーザの視線角度が表示部１４０を注視しない第１視線角度情報に該当する場合、４０３画面に進入してコンテンツ再生を一時中止するように制御することができる。このとき、端末機１００は、ユーザが表示部１４０を注視しないために第１視線角度情報がすぐに検出された場合、４０３画面の一時停止状態に進入するように制御する。このために、視線追跡機能は、リアルタイムで実行される。また、設定により、端末機１００は、第１視線角度情報が一定時間の間に取得された場合、４０３画面の一時停止状態に進入するように制御することも可能である。
【００４５】
４０３画面の以後にユーザが再び画面を注視する場合、即ち視線追跡機能によりユーザの視線角度が表示部１４０を注視する第２視線角度情報が取得された場合、端末機１００は、４０５画面のように一時中止された状態を解除し、コンテンツを再生するように制御することができる。これにより、本実施形態の端末機１００は、特別な動作制御なしに、ユーザがコンテンツ再生による表示部１４０を凝視しない時には再生を中止し、再び表示部１４０を凝視する場合には再生するように制御する。
【００４６】
一方、端末機１００は、４０３画面で第１視線角度情報が一定時間の間に持続的に取得された場合、端末機１００は、表示部１４０をターンオフして電源節約機能を行うように制御する。また、端末機１００は、表示部１４０のターンオフと共にコンテンツ再生機能を終了するか、或いはターンオフの後に一定時間が経過した後、コンテンツ再生機能を終了するように制御する。そして、端末機１００は、表示部１４０のターンオフ時点に視線追跡機能を終了させるか、或いはコンテンツ再生機能の終了時点に視線追跡機能を終了するように制御し、カメラ部１７０の活性化に必要とされる電源を節約するように制御する。視線追跡機能終了の前まで、端末機１００は、視線追跡機能を支援し、第２視線角度情報が取得された場合、４０５画面に進むように制御する。
【００４７】
図５は、本発明の一実施形態による視線追跡機能支援の画面インターフェースの更に他の例を示す図であり、ユーザ機能のうちの電子ブックコンテンツ視聴機能における視線追跡機能の適用を説明する図である。
【００４８】
図５を参照すると、ユーザは、端末機１００が提供するユーザ機能のうちの電子ブックコンテンツ視聴機能を選択する。このために、端末機１００は、電子ブックコンテンツを格納部１５０に格納し、電子ブックコンテンツ再生のためのアプリケーションを格納する。そして、ユーザは、該当電子ブックコンテンツの選択のための入力信号と、再生のための入力信号とを生成する。そうすると、端末機１００は、選択された電子ブックコンテンツを再生し、再生された電子ブックコンテンツ画面を５０１画面のように出力するように支援する。これと共に、端末機１００は、電子ブックコンテンツ視聴機能が、視線追跡機能が適用されるように設定された機能であるか否かを確認する。該当電子ブックコンテンツ視聴機能が視線追跡の連係機能である場合、端末機１００は、視線追跡モードが活性化されるように設定されているか否かを確認する。そして、視線追跡モードが活性化されている場合、端末機１００は、カメラ部１７０を活性化して、一定周期又はリアルタイムで視線追跡機能を行うように支援する。
【００４９】
特に、端末機１００は、ユーザの瞳位置の追跡を行い、瞳が事前に定義された一定の視線角度情報の場合、５０３ステップに分岐してページめくりを行うように支援する。例えば、端末機１００は、ユーザの視線角度が表示部１４０の右側下端の隅領域を注視する視線角度情報に該当する場合、電子ブックコンテンツのページめくりを行うように制御する。このとき、端末機１００は、該当視線角度情報が一定時間の間に維持された場合、ページめくりを行うように制御する。
【００５０】
これにより、本発明の端末機１００は、ページめくりのための別途のタッチ動作や入力信号生成動作が発生しなくても、便利にページめくりを行うように支援することができる。ここで、端末機１００は、視線追跡機能の適用周期を適応的に変化させることができる。即ち、端末機１００は、ユーザのページめくりの速度を累積して格納し、累積された情報によりページめくりのためのイベント発生予測時点前の一定時間の間に、視線追跡機能支援のためのカメラ部１７０の活性化を支援する。例えば、ユーザが１ページから他のページに切り替えるのに平均２分が所要されると仮定した場合、端末機１００は、ページめくりが発生した後、カメラ部１７０を非活性化状態に維持し、１分３０秒ないし１分４０秒が経過した後、カメラ部１７０を活性化して視線追跡機能を行うように制御する。ここで、端末機１００は、ページの切り替えに所要される時間が徐々に速くなる場合、それに対応して視線追跡機能を支援できるように、ページの切り替え時点からカメラ部１７０の活性化時間をより短く定義してもよい。このために、端末機１００は、ページ切り替えの平均時間算定を一定のページ数に限定することができる。例えば、端末機１００は、前のページ数を３ページに制限し、３ページのページ切り替えの平均時間に基づいて視線追跡機能遂行のためのカメラ部１７０の活性化時間を定めることができる。これを通じて端末機１００は、ページ切り替え時点の付近にカメラ部１７０を活性化して視線追跡を行うことにより、電源使用をより効率的に支援することができる。
【００５１】
そして、端末機１００は、電子ブックコンテンツの最後のページが出力された場合、視線追跡機能を自動で終了するように制御する。また、前のページ選択のための視線角度、例えば、左下側の隅領域に対応する視線角度情報が取得された場合、端末機１００は、前のページへのページめくりを制御する。そして、端末機１００は、左下側又は右下側の隅領域で発生する視線角度情報の累積時間により、ページめくりの速度を変えてその値を決める。即ち、ユーザが左下側又は右下側の隅領域を一定時間の間に持続的に注視した場合、端末機１００は、徐々にページめくりの速度をより早く調整するか、或いは一定値以上の速度でページめくりが発生するようにして、ユーザが検索しようとするページをより早く検索できるように支援する。即ち、端末機１００は、ページめくりの視線角度の累積時間により、ページめくりの速度を変えてその値を調整することができ、このとき、ページめくりの視線角度に変更が発生すると、ページめくりを中止するように制御する。
【００５２】
図６は、本発明の一実施形態による視線追跡に基づくユーザ機能運用方法を説明するフローチャートである。
【００５３】
図６を参照すると、本実施形態の視線追跡に基づくユーザ機能運用方法は、先ず、６０１ステップで、端末機１００の制御部１６０が、供給された電源を利用して端末機１００の各構成の運用に必要な電源配分を行う。特に、本発明の視線追跡機能支援のために、ユーザ機能運用のための準備を行う。そして、ユーザが特定のユーザ機能を活性化するための入力信号を生成すると、生成された入力信号により該当ユーザ機能の活性化を支援する。
【００５４】
この過程で、制御部１６０は、６０３ステップで視線追跡モードが設定されているか否かを確認する。即ち、制御部１６０は、該当ユーザ機能が視線追跡連係機能であるか否か、そして視線追跡連係機能の場合に、視線追跡モードが活性化されているか否かなどを確認する。このステップで視線追跡モードが設定されていない場合、制御部１６０は、６０５ステップに分岐して活性化されたユーザ機能遂行のための信号制御を行う。
【００５５】
一方、６０３ステップで視線追跡モードが活性化されている場合、制御部１６０は、６０７ステップに分岐してカメラ部１７０を活性化するように制御する。そして、制御部１６０は、活性化されたカメラ部１７０を利用して映像を撮影するように制御する。映像撮影による映像が収集されると、制御部１６０は、６０９ステップに分岐して視線追跡機能を行うように制御する。即ち、制御部１６０は、ユーザの瞳視線がどこに向かうかを確認し、それによる視線角度情報を取得する。
【００５６】
その後、制御部１６０は、６１１ステップで取得された視線角度情報による機能遂行を制御する。例えば、制御部１６０は、コンテンツ視聴機能又は再生機能などが行われる場合、視線角度情報が表示部１４０を注視する視線角度情報の場合に、コンテンツ視聴機能及び再生機能を維持するように制御する。即ち、制御部１６０は、表示部１４０の電源供給及びコンテンツ出力を維持するように制御する。そして、制御部１６０は、視線角度情報が表示部１４０を注視しない視線角度情報の場合、表示部１４０の照度を減らすか又はターンオフするように制御し、また再生中であるコンテンツを一時停止させるか又は終了させるように制御する。また、上述したように、電子ブックコンテンツ再生機能の場合、制御部１６０は、視線角度情報によりページめくりを制御することも可能である。
【００５７】
また、制御部１６０は、通話連結要請メッセージの受信過程において、表示部１４０を注視する視線角度情報が取得された場合、自動で通話連結を要請するように制御する。これをより詳細に説明すると、図７に示すように、他の端末機などから通話連結を要請するメッセージが受信された場合、制御部１６０は、スリープモード状態から目覚めるか、又は待機状態で通話連結要請メッセージの受信を知らせる画面を７０１画面のように表示部１４０に出力する。このとき、制御部１６０は、該当通話連結機能が視線追跡機能と連係した機能であることを確認して、カメラ部１７０を活性化するように制御する。ここで、制御部１６０は、カメラ部１７０を一定時間の間に活性化し、撮影された映像で既設定された瞳視線角度に該当する視線角度情報が取得されるか否かを確認する。そして、制御部１６０は、該当視線角度情報が取得されると、７０３画面のように自動で通話連結を行うように支援する。
【００５８】
ここで、制御部１６０は、視線追跡機能を持続させる一方、通話連結要請が終了すると、視線追跡機能を終了するように制御する。また、制御部１６０は、視線追跡機能を既設定された一定時間の間にのみ維持し、一定時間が経過すると、該当機能を終了するように制御する。そして、制御部１６０は、通話連結以後の通話機能が終了すると、視線追跡機能を終了するように制御する。或いは、制御部１６０は、視線追跡機能によって通話連結が行われた後、一定時間の経過後に表示部１４０を注視する瞳視線の角度情報が取得された場合、通話連結を終了するように制御する。そして、制御部１６０は、瞳視線の角度情報だけでなく、顔認識を通じて既設定されたユーザ情報とマッチさせて通話連結を行う。例えば、制御部１６０は、端末機１００に所持者として登録されたユーザの顔が認識される場合にのみ、瞳視線の角度情報により通話連結を行うように支援する。
【００５９】
次に、制御部１６０は、６１３ステップでモード解除のためのイベント発生を確認し、視線追跡モード解除のためのイベント発生時に６１５ステップに分岐して制御部１６０の終了有無を確認する。ここで、モード解除のためのイベントは、表示部１４０を注視しない視線角度情報が一定時間の間に持続的に検出された場合であるか、或いは視線追跡モード解除のためのタッチイベント又は入力信号の発生などを含む。モード解除のためのイベント発生がない場合、制御部１６０は、６０７ステップの前に分岐して以降のステップを再遂行するように支援する。また、６１５ステップで制御部１６０の終了のための入力信号の発生がない場合、６０３ステップの前に分岐して制御部１６０の運用を支援する。
【００６０】
一方、上述した説明では、視線追跡モードが活性化されているか否かを確認するステップを行うものとして説明したが、本発明の視線追跡モードは、デフォルト機能として提供されてもよい。
【００６１】
上述したように、本発明による視線追跡機能に基づく機能運用方法は、端末機の運用において、特別なタッチ入力制御や入力信号生成動作なしに、ユーザ機能の状態変更を支援するか又は現在の状態を維持するように制御することで、より便利な端末機１００の運用を支援することができる。特に、大画面端末機の場合、タッチ入力制御のために片手把持、片手制御が要求されるが、本発明の視線追跡機能の適用時に更に便利な端末機運用制御を支援することができる。
【００６２】
一方、上述した端末機１００は、その提供形態により、多様な追加モジュールを更に含んでもよい。即ち、端末機１００は、近距離通信のための近距離通信モジュール、端末機１００の有線通信方式又は無線通信方式によるデータ送受信のためのインターフェース、インターネットのネットワークと通信してインターネット機能を行うインターネット通信モジュール、及びデジタル放送受信と再生機能を行うデジタル放送モジュールなどのように、上記で言及していない構成を更に含んでもよい。このような構成要素は、デジタル機器のコンバージェンス（ｃｏｎｖｅｒｇｅｎｃｅ）傾向により変形が非常に多様であって、全て列挙することはできないが、上記で言及した構成要素と同等な水準の構成要素がデバイスに更に含まれて構成され得る。また、本発明の端末機１００は、その提供形態により、上記の構成から特定構成が除外されるか、他の構成に代替され得ることは勿論である。これは、本技術分野の通常の知識を有する者には、容易に理解されるはずである。
【００６３】
また、本発明による端末機１００は、多様な通信システムに対応する通信プロトコル（ｃｏｍｍｕｎｉｃａｔｉｏｎ ｐｒｏｔｏｃｏｌｓ）に基づき作動する全ての移動通信端末機（ｍｏｂｉｌｅ ｃｏｍｍｕｎｉｃａｔｉｏｎ ｔｅｒｍｉｎａｌｓ）をはじめとして、ＰＭＰ（Ｐｏｒｔａｂｌｅ Ｍｕｌｔｉｍｅｄｉａ Ｐｌａｙｅｒ）、デジタル放送プレーヤー、ＰＤＡ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔ）、音楽再生機（例えば、ＭＰ３プレーヤー）、携帯ゲーム端末、スマートフォン（Ｓｍａｒｔ Ｐｈｏｎｅ）、ノート型パソコン（Ｎｏｔｅｂｏｏｋ）、ハンドヘルドＰＣなど全ての情報通信機器とマルチメディア機器及びそれに対する応用機器を含んでもよい。
【００６４】
以上、図面を参照しながら本発明の実施形態について説明したが、本発明は、上述の実施形態に限定されるものではなく、本発明の技術的範囲を逸脱しない範囲内で多様に変更実施することが可能である。
【符号の説明】
【００６５】
１００ 端末機
１１０ 通信部
１２０ 入力部
１３０ オーディオ処理部
１４０ 表示部
１４１ 表示パネル
１４３ タッチパネル
１５０ 格納部
１５１ 視線追跡支援プログラム
１５３ 視線追跡アルゴリズム
１６０ 制御部
１６１ カメラ情報収集部
１６３ 視線追跡決定部
１６５ 機能実行部
【技術分野】
【０００１】
本発明は、端末機のユーザ機能運用に関し、より詳細には、ユーザの瞳を追跡して、ユーザの視線により、現在運用されているユーザ機能の状態を切り替えるように制御する視線追跡に基づくユーザ機能運用方法及びこれを支援する端末機に関する。
【背景技術】
【０００２】
携帯端末機は、特定のユーザ機能を支援〔サポート〕しながらも、その大きさが携帯できるほど小さく、多くの産業及び生活分野で脚光を浴びている。そして、近年、多様なユーザ機能を統合的に支援する携帯端末機が登場している。例えば、従来の携帯端末機は、カメラ部が装着されてユーザの制御により被写体に対する映像を収集する機能と、収集された映像を格納する機能と、格納された映像をすぐに検索できる機能と、を支援する。このような携帯端末機は、静止画だけでなく、動画の撮影機能も支援している。
【０００３】
一方、携帯端末機の表示部が大型化されながら携帯は可能であるが、制御において多少不便さが発生する場合がある。例えば、ノート型の携帯端末機の場合、タッチ機能を行うために片手で端末機を把持するようになるが、このとき、端末機の重さを片手で支えることが容易ではないだけでなく、安定性にも脆弱であるため、多様な問題が発生している。例えば、端末機の転倒や落下が発生して破損する場合があり、ユーザの筋肉に無理が行くなどの問題がある。
【０００４】
また、従来の携帯端末機の場合、環境設定により一定の条件下で端末機の状態を制御する機能を提供しているが、このとき、一定の条件が端末機を利用する条件と適切に符合しない場合が多い。例えば、端末機のスリープモードの切り替えの場合、一定の条件は一定時間であってもよいが、この一定時間は、ユーザの状態や環境によって適応的に変わるものではなく、固定された値である。これにより、従来の端末機の使用時、ユーザが所望しない時点に端末機がスリープモードに切り替えられる場合が発生し、端末機をスリープモードから復帰させるための不必要な追加動作が要求されている。このような追加動作は、上述した大画面端末機の利用時に、更に大きな不便さをユーザに与えるようになる。また、従来の端末機の使用時に、スリープモードに切り替えられても構わない時点であっても、一定の条件に該当する時間を待機しなければならないため、不必要な電源の浪費が発生している。
【発明の概要】
【発明が解決しようとする課題】
【０００５】
本発明は、上記従来の問題点に鑑みてなされたものであって、本発明の目的は、ユーザの瞳を追跡する視線追跡機能に基づき、端末機のユーザ機能をより効率的且つ適応的に運用できるように支援する視線追跡に基づくユーザ機能運用方法及びこれを支援する端末機を提供することにある。
【課題を解決するための手段】
【０００６】
上記目的を達成するためになされた本発明の視線追跡に基づくユーザ機能運用方法は、特定のユーザ機能を遂行するステップと、前記ユーザ機能が維持された状態でカメラ部を活性化するステップと、前記カメラ部が収集した映像で瞳の視線角度情報を取得するステップと、前記瞳の視線角度情報により、前記ユーザ機能の状態を変更するか又は現在の状態を維持するように制御する視線追跡機能を遂行するステップと、を有することを特徴とする。
【０００７】
前記視線追跡に基づくユーザ機能運用方法は、前記活性化されたユーザ機能が視線追跡機能と連係したユーザ機能の場合、視線追跡設定モードが活性化されているか否かを確認するステップを更に含むことができる。
前記視線追跡機能を遂行するステップは、瞳の視線角度情報が端末機の表示部を注視しない第１視線角度情報の場合、前記表示部の照度を調節するステップと、前記表示部をターンオフするステップと、前記ユーザ機能を終了するステップと、前記ユーザ機能を一時停止するステップと、前記表示部に含まれるタッチパネルのタッチロック機能を設定又は解除するステップと、のうちの少なくとも一つのステップを含むことができる。
前記視線追跡機能を遂行するステップは、前記表示部がターンオフされるか又は前記ユーザ機能が終了した場合、前記カメラ部を非活性化するステップを含むことができる。
前記視線追跡機能を遂行するステップは、瞳の視線角度情報が前記端末機の表示部を注視する第２視線角度情報の場合、前記表示部の照度を本来の照度に調整するステップと、前記表示部をターンオンするステップと、前記ユーザ機能を再び活性化するステップと、前記ユーザ機能の一時停止を解除するステップと、前記ロック設定されたタッチパネルのロック機能を解除又は設定するステップと、のうちのいずれか一つのステップを更に含むことができる。
前記視線追跡機能を遂行するステップは、前記瞳の視線角度情報が端末機の表示部を注視する第２視線角度情報の場合、表示部の現在の画面を維持するステップであり得る。
前記視線角度情報を取得するステップは、被写体の顔を認識するステップと、認識された顔の瞳部位を自動フォーカシングするステップと、自動フォーカスされた被写体の映像を収集するステップと、を含むことができる。
前記視線追跡機能を遂行するステップは、通話連結要請メッセージが受信された状態で、瞳の視線角度情報が端末機の表示部を注視する第２視線角度情報として取得された場合、前記通話連結を自動で行うステップと、電子ブックコンテンツが再生された画面状態で、瞳の視線角度情報が端末機の表示部のうちの一定の地点を注視する視線角度情報として取得された場合、前記電子ブックコンテンツのページめくりを行うステップと、前記一定の地点における視線角度情報の検出時間の累積により、前記電子ブックコンテンツのページめくりの速度を変えて調節するステップと、のうちの少なくとも一つのステップを含むことができる。
【０００８】
上記目的を達成するためになされた本発明の視線追跡に基づくユーザ機能運用を支援する端末機は、被写体の映像を収集するカメラ部と、前記カメラ部が収集した映像で瞳の視線角度情報を取得し、前記瞳の視線角度情報により、ユーザ機能の状態を変更するか又は現在の状態を維持するように制御する視線追跡機能を支援する制御部と、前記ユーザ機能に該当するデータ及び前記瞳の視線角度を追跡するためのデータを格納する格納部と、を備えることを特徴とする。
【０００９】
前記格納部は、前記視線追跡機能と連係したユーザ機能の目録を含むことができる。
前記視線追跡に基づくユーザ機能運用を支援する端末機は、前記瞳の視線角度情報が端末機の表示部を注視しない第１視線角度情報の場合に、照度が変更されるか又はターンオフされる表示部を更に含むことができる。
前記制御部は、前記表示部がターンオフされるか又は前記ユーザ機能が終了した場合、前記カメラ部を非活性化することができる。
前記制御部は、前記瞳の視線角度情報が端末機の表示部を注視しない第１視線角度情報として一定時間以上取得された場合、前記活性化されたユーザ機能を一時停止するか又は終了するように制御するか、或いはタッチパネルのロックを解除するか又はロック設定するように制御し、前記瞳の視線角度情報が端末機の表示部を注視する第２視線角度情報の場合、前記タッチパネルのロックを設定又は解除した状態に維持することができる。
前記カメラは、被写体の映像を収集する際に瞳部位を自動フォーカシングして収集することができる。
前記制御部は、通話連結要請メッセージが受信された状態で、瞳の視線角度情報が端末機の表示部を注視する第２視線角度情報として取得された場合、前記通話連結を自動で行い、電子ブックコンテンツが再生された画面状態で、瞳の視線角度情報が端末機の表示部のうちの一定の地点を注視する視線角度情報として取得された場合、前記電子ブックコンテンツのページめくりを行い、前記一定の地点における視線角度情報の検出時間の累積により、前記電子ブックコンテンツのページめくりの速度を変えて調節することができる。
【発明の効果】
【００１０】
本発明による視線追跡に基づくユーザ機能運用方法及びこれを支援する端末機によれば、端末機が提供する機能をより適応的に運用できるようにすることで、ユーザの端末機使用の便宜性を増大させることができる。
【図面の簡単な説明】
【００１１】
【図１】本発明の一実施形態による視線追跡機能を含む端末機の構成を概略的に示す図である。
【図２】図１の制御部の構成をより詳細に示す図である。
【図３】本発明の一実施形態による視線追跡機能支援の画面インターフェースの一例を示す図である。
【図４】本発明の一実施形態による視線追跡機能支援の画面インターフェースの他の例を示す図である。
【図５】本発明の一実施形態による視線追跡機能支援の画面インターフェースの更に他の例を示す図である。
【図６】本発明の一実施形態による視線追跡機能に基づくユーザ機能運用方法を説明するフローチャートである。
【図７】本発明の一実施形態による視線追跡機能支援のうちの通話連係機能を説明する図である。
【発明を実施するための形態】
【００１２】
以下、本発明を実施するための形態の具体例を、図面を参照しながら詳細に説明する。
【００１３】
本実施形態の説明において、本発明が属する技術分野で当業者に十分に知られており、本発明と直接的に関連のない技術内容に対しては説明を省略する。また、実質的に同一の構成及び機能を有する構成要素に対しては詳細な説明を省略する。
【００１４】
同様の理由で、図面において一部の構成要素は誇張又は省略するか、或いは概略的に示しており、各構成要素の大きさは実際の大きさを全面的に反映するものではない。従って、本発明は、図面に描かれた相対的な大きさや間隔によって制限されない。
【００１５】
図１は、本発明の一実施形態による視線追跡機能を含む端末機の構成を概略的に示す図であり、視線追跡に基づくユーザ機能運用を支援する端末機１００の構成を概略的に示したブロック図である。
【００１６】
図１を参照すると、本実施形態の端末機１００は、通信部１１０、入力部１２０、表示部１４０、格納部１５０、カメラ部１７０、及び制御部１６０の各構成を含む。
【００１７】
このような構成を有する本実施形態の端末機１００は、特定のユーザ機能又は特定の端末機状態が活性化されると、カメラ部１７０を自動で活性化して一定の角度で映像を収集する。このとき、収集される映像に基づいて、端末機１００は、視線追跡を行って現在のユーザ視線方向を確認する。そして、端末機１００は、視線方向が既設定された方向の場合、該当方向に対応する命令語を生成し、これに基づいて端末機１００の状態を切り替えるか、現在の状態を維持するか、或いは特定機能を行うように制御する。これにより、本発明は、ユーザの視線による端末機１００の駆動制御を行うことで、より適応的な機能運用を行うと共に、端末機１００の管理をより効果的に行うことができるように支援する。
【００１８】
通信部１１０は、端末機１００の通信機能を支援する。特に、通信部１１０は、端末機１００が通信機能を支援する端末機の形態で製作される場合に追加される構成である。従って、本発明が適用される端末機１００が通信機能を支援しない場合、通信部１１０は、端末機１００の構成から省略してもよい。一方、通信部１１０は、端末機１００の通信機能、特に移動通信機能を支援するために、移動通信モジュールの形態で設けられる。このような通信部１１０は、移動通信システムと通信チャネルを形成して端末機１００の移動通信機能を行うための信号の送受信を支援する。例えば、通信部１１０は、移動通信システムと音声サービスチャネル、映像サービスチャネル、データサービスチャネルのうちの少なくとも一つを形成し、該当サービスチャネルによる特定信号の送受信を支援する。特に、本発明の通信部１１０は、機能運用過程でカメラ部１７０と連係した動作を行う。
【００１９】
例えば、通信部１１０は、他の端末機から通話呼の連結要請メッセージを受信するか、或いはメッセージサービス受信に対応するメッセージを受信した場合、これを通知するために情報を制御部１６０の制御により表示部１４０及びオーディオ処理部１３０のうちの少なくとも一つに出力する。このとき、通信部１１０のメッセージ受信イベントは、制御部１６０の制御によりカメラ部１７０に伝達され、カメラ部１７０は、通信部１１０がメッセージを受信した場合、予め設定された一定時間の間に活性化され、既設定された一定の角度で映像を撮影し、撮影された映像に対する視線追跡機能を支援する。制御部１６０は、カメラ部１７０が収集した映像で視線追跡による瞳検出及び瞳の角度検出に基づいて、通信部１１０の運用を制御する。即ち、通信部１１０は、ユーザが端末機１００を注視した場合、受信した通話連結要請メッセージに対応する通話連結要請メッセージを他の端末機に伝達することにより通話連結を行う。即ち、本実施形態の端末機１００は、通話連結要請が受信された場合、別途の動作制御なしに端末機１００を注視するだけでも、通話連結を行うことができるように支援する。このとき、端末機１００は、顔認識を通じて事前に定義されたユーザの顔である場合にのみ、自動通話連結を行うように支援することも可能である。
【００２０】
入力部１２０は、端末機１００の運用に必要な多様な入力信号を生成する。このような入力部１２０は、端末機１００の互換可能の有無により、キーボードやキーパッド、キーボタンなどの多様な入力手段で構成される。また、入力部１２０は、表示部１４０がタッチスクリーンで提供される場合、タッチスクリーンに出力されるタッチマップの形態で構成されてもよい。本実施形態の入力部１２０は、視線追跡機能支援のための多様な入力信号を生成することができる。例えば、入力部１２０は、視線追跡機能の適用モード及び解除モードを設定するための入力信号、端末機が提供する機能のうちの視線追跡機能と連係した特定のユーザ機能を呼び出す入力信号、特定のユーザ機能に視線追跡機能を連係させるための入力信号などをユーザの要請により生成する。生成された入力信号は、制御部１６０に伝達され、該当機能を行うための命令語に切り替えられる。
【００２１】
オーディオ処理部１３０は、端末機１００の運用過程で設定された多様なオーディオデータ及び格納部１５０に格納されたオーディオファイル再生によるオーディオデータ、外部から受信したオーディオデータなどを出力する。また、オーディオ処理部１３０は、オーディオデータ収集機能を支援する。このために、オーディオ処理部１３０は、スピーカー（ＳＰＫ）とマイク（ＭＩＣ）を含む。特に、オーディオ処理部１３０は、視線追跡機能が設定されているユーザ機能の活性化時に、視線追跡機能が運用中であることを案内する案内音を出力する。また、オーディオ処理部１３０の視線追跡機能支援が可能であるが、設定されていない場合、該当視線追跡機能設定を案内する案内音を出力する。案内音の出力機能は、ユーザの設定により省略してもよい。
【００２２】
一方、オーディオ処理部１３０を介して出力されるオーディオ信号の出力時点も視線追跡機能によって制御される。例えば、オーディオ処理部１３０は、カメラ部１７０を介してユーザが現在の既設定された角度で端末機１００を注視している場合にのみ、現在運用中の機能のオーディオ信号出力を支援し、既設定された他の角度で端末機１００を注視する場合、オーディオ信号出力を中止するように制御する。
【００２３】
表示部１４０は、端末機１００の運用に必要な多様な画面インターフェースを提供する。例えば、表示部１４０は、端末機１００の運用に必要な待機画面、メニュー画面などを支援する。特に、本実施形態の表示部１４０は、視線追跡機能が連係されたユーザ機能の活性化による画面、視線追跡機能を特定のユーザ機能と連係させるための設定画面、視線追跡機能の活性化又は非活性化を制御するための画面などを出力する。
【００２４】
このような表示部１４０は、表示パネル１４１とタッチパネル１４３が重なった形態のタッチスクリーンの形態で設けられる。表示パネル１４１には、上述した多様な画面に対応するイメージとテキストなどが出力される。タッチパネル１４３は、表示パネル１４１に出力される画面の特性に応じてタッチ有効領域とタッチ無効領域を設定し、タッチ有効領域で発生するタッチイベントを制御部１６０に伝達する。特に、タッチパネル１４３は、視線追跡機能によって活性化が制御される。例えば、ユーザが端末機１００を既設定された角度で注視する場合、タッチパネル１４３は活性化されて、タッチ動作によるタッチイベントの生成を支援する。そして、タッチパネル１４３は、ユーザが端末機１００を既設定された他の角度で注視する場合、非活性化されて、タッチ動作が発生してもタッチイベントの取得を行わない場合がある。このように、本発明の端末機１００は、タッチパネル１４３の一時的なロック（Ｌｏｃｋ）機能及びロック解除機能を視線追跡機能により支援することも可能である。
【００２５】
格納部１５０は、端末機１００の運用に必要な多様な基本オペレーティングシステム及び多様なユーザ機能に該当するデータ又はアプリケーションと、アルゴリズムなどを格納する。特に、格納部１５０は、本発明の視線追跡機能を支援するための視線追跡支援プログラム１５１を格納し、視線追跡支援プログラム１５１を支援するためのデータ、例えば、瞳の視線角度を追跡するための視線追跡アルゴリズム１５３を格納する。
【００２６】
視線追跡支援プログラム１５１は、本発明の視線追跡機能運用に関連する多様なルーチンを定義するものである。このような視線追跡支援プログラム１５１は、視線追跡機能が連係された特定のユーザ機能が活性化された場合、カメラ部１７０を活性化するように制御するルーチン、活性化されたカメラ部１７０を利用して映像を収集するルーチン、収集された映像の顔認識と瞳認識を行うルーチン、認識の結果によって瞳の視線角度を確認するルーチン、瞳の視線角度により現在活性化されたユーザ機能の状態を変更するルーチンを含む。ここで、特定のユーザ機能は、端末機１００が提供する多様な機能であって、上述した通信部１１０、表示部１４０、オーディオ処理部１３０等に基づいて運用される機能である。例えば、ユーザ機能は、通話機能、コンテンツファイル再生機能、ファイル検索機能、ウェブ接続機能、待機画面出力機能、メニュー画面出力機能、放送受信機能などである。
【００２７】
視線追跡アルゴリズム１５３は、視線追跡支援プログラム１５１によって活性化されるカメラ部１７０の収集映像の分析に利用されるアルゴリズムである。このような視線追跡アルゴリズム１５３は、顔認識アルゴリズムと、瞳認識アルゴリズムとを含む。視線追跡支援プログラム１５１は、カメラ部１７０が映像を収集すると、視線追跡アルゴリズム１５３のうち顔認識アルゴリズムに基づいて優先的に一定形態の顔を認識する。そして、視線追跡支援プログラム１５１は、認識された顔で目の部位を抽出し、該当する目の部位で瞳の視線角度に対する情報を取得する。その後、視線追跡支援プログラム１５１は、取得した瞳の視線角度と事前に定義された情報とを比較して、現在活性化されたユーザ機能の状態変更を支援する。ユーザ機能の状態変更に対しては、後述する画面例示図を参照してより詳細に説明する。
【００２８】
カメラ部１７０は、制御部１６０の制御により活性化され、被写体に対する映像を収集する。このようなカメラ部１７０は、視線追跡機能と連係したユーザ機能が活性化されるか、或いはデフォルトで視線追跡機能を活性化するように設定された場合、端末機１００の活性化により活性化されて映像を収集する。カメラ部１７０が収集した収集映像が制御部１６０に伝達され、視線追跡機能により分析される。ここで、カメラ部１７０が収集する映像は、一定時間の間隔で周期的に収集される静止画であるか、又はリアルタイム動画のいずれか一つである。カメラ部１７０は、該当視線追跡機能が連係されたユーザ機能が終了すると、自動で終了する。
【００２９】
制御部１６０は、本発明による映像の視線追跡機能を支援するために、多様な信号の流れを制御し、情報収集及び出力などを制御する。このような制御部１６０は、映像の視線追跡機能を支援するために、映像収集機能と情報分析機能を含み、二つの機能によるユーザ機能の運用制御を行う。このために、制御部１６０は、図２に示すような構成を含むことができる。
【００３０】
図２は、図１の制御部１６０の構成をより詳細に示す図である。
【００３１】
図２を参照すると、本実施形態の制御部１６０は、カメラ情報収集部１６１、視線追跡決定部１６３、機能実行部１６５の各構成を含む。
【００３２】
カメラ情報収集部１６１は、特定のユーザ機能が活性化されると、該当ユーザ機能が視線追跡機能と連係した機能であるか否かを確認する。そして、カメラ情報収集部１６１は、該当ユーザ機能が視線追跡機能と連係した機能の場合、カメラ部１７０を活性化するように制御する。これと共に、カメラ情報収集部１６１は、カメラ部１７０の設定を事前に定義された設定値により調整し、映像を収集するように制御する。このとき、カメラ情報収集部１６１は、ユーザの顔認識を行いながら、顔の瞳の部分に自動フォーカシングを行う。自動フォーカシングが完了すると、カメラ情報収集部１６１は、瞳を含む顔映像を収集し、これを視線追跡決定部１６３に伝達する。視線追跡機能と連係したユーザ機能の活性化の有無を確認するために、端末機１００の格納部１５０は、視線追跡機能と連係したユーザ機能の目録を格納する。これにより、カメラ情報収集部１６１は、特定のユーザ機能が活性化されると、該当機能目録の確認を通じて視線追跡機能を支援するためのカメラ部１７０の活性化を制御する。
【００３３】
視線追跡決定部１６３は、カメラ情報収集部１６１が伝達する映像を分析し、瞳の視線角度を分析し、その結果を機能実行部１６５に伝達する。このために、視線追跡決定部１６３は、格納部１５０に格納された視線追跡アルゴリズム１５３を参照する。先ず、視線追跡決定部１６３は、伝達された映像の顔分析を行う。この過程を通じて視線追跡決定部１６３は、顔の瞳部位の抽出を行う。そして、視線追跡決定部１６３は、瞳部位で瞳が注視する視線角度を確認する。瞳の視線角度情報が取得されると、視線追跡決定部１６３は、該当視線角度情報が端末機１００の表示部１４０の領域のうちのいずれの部位を注視するかを確認する。或いは、視線追跡決定部１６３は、視線角度情報そのものを機能実行部１６５に伝達する。
【００３４】
機能実行部１６５は、視線追跡決定部１６３から伝達された視線角度情報に基づいて、現在活性化されたユーザ機能の状態切り替え又は状態維持を決める。このために、機能実行部１６５は、現在活性化されたユーザ機能を確認し、視線角度情報による命令語を生成する。命令語が生成された機能実行部１６５は、該当命令語によるユーザ機能運用を制御する。本発明の視線追跡機能の適用は、一定の周期により運用されるか又はリアルタイムで運用される。これにより、機能実行部１６５は、一定の周期により伝達される視線角度情報に対応するユーザ機能の切り替え又は維持を制御するか、或いは以前の視線角度情報と異なる視線角度情報が伝達された場合にユーザ機能を切り替え、同一の視線角度情報が伝達された場合にユーザ機能維持を制御する。
【００３５】
上述したように、本発明による視線追跡に基づくユーザ機能運用を支援する端末機１００は、特定のユーザ機能を行う過程において視線追跡を行い、特別なタッチ動作や入力ボタンの制御動作を行わなくても、ユーザ機能をより効果的且つ適応的に制御できるように支援することができる。このような視線追跡に基づく機能運用に対して、以下の画面例示図を参照して、より詳細に説明する。
【００３６】
図３は、本発明の一実施形態による視線追跡機能支援の画面インターフェースの一例を示す図であり、視線追跡に基づくユーザ機能運用のうち、表示部の照明機能の切り替えとスリープモードの切り替え機能の例を説明する図である。
【００３７】
図３を参照すると、先ず、ユーザは、端末機１００の運用中に特定のユーザ機能、例えば、コンテンツ視聴機能を活性化するための制御を行う。そうすると、端末機１００は、ユーザが選択した視聴機能を支援するために、端末機１００の表示部１４０の照明機能を活性化するように制御する。例えば、端末機１００は、表示部１４０がバックライトユニットで構成された場合、バックライトユニットの電源供給を通じて、一定の照度で発光されるように支援する。また、端末機１００は、表示部１４０がＯＬＥＤ（Ｏｒｇａｎｉｃ ｌｉｇｈｔ−Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）などで構成された場合、該当発光ダイオードに電流又は電圧の供給を通じて、一定照度の光で発光されるように支援する。これと共に、端末機１００は、ユーザが選択したコンテンツを呼び出して、該当コンテンツを表示パネル１４１に出力するように支援する。これにより、端末機１００は、３０１画面のようにコンテンツ出力画面を表示部１４０に出力する。
【００３８】
一方、端末機１００は、コンテンツ視聴機能が視線追跡機能と連係した機能であることが確認されると、カメラ部１７０を活性化してユーザの瞳認識を行う。そして、ユーザの瞳認識の結果、視線角度情報が表示部１４０を見ていないと判断された場合、端末機１００は、３０３、３０５、３０７画面のように、段階的に表示部１４０の照明機能を、状態が切り替えられるように制御する。例えば、端末機１００は、視線角度情報が表示部１４０を見ていない第１視線角度情報の場合、３０３画面のように一定時間の間、表示部１４０の一定照度を維持するように制御する。そして、端末機１００は、第１視線角度情報が第１時間の間に維持された場合、即ち、ユーザが第１時間の間に持続的に表示部１４０を見ていない場合、３０５画面のように照度を一定の段階に下げるように制御する。また、端末機１００は、第１視線角度情報が第２時間の間に継続して維持された場合、即ち、ユーザが第１時間の後に第２時間の間、持続的に表示部１４０を見ていない場合、３０７画面のように、照明機能は、ターンオフするように制御される。このとき、端末機１００は、照明機能のターンオフ後の一定時間の間に第１視線角度情報が取得された場合、スリープモードに自動で切り替えるように制御する。
【００３９】
ここで、端末機１００は、３０５画面又は３０７画面で表示部１４０を注視する第２視線角度情報が取得された場合、再び３０３画面に復帰して照明が本来の照度になるように制御する。しかし、端末機１００は、３０７ステップの後、スリープモードに切り替えた後、一定時間以内に表示部１４０を注視する第２視線角度情報が取得された場合、予め設定されたルーチンによって、スリープモード進入過程において、自動で設定されたロック機能を解除する画面を出力するように制御することができる。このために、端末機１００は、３０７画面のように表示部１４０がターンオフされた状態、スリープモードの進入状態、スリープモードの進入後に一定時間が経過した状態のうちのいずれか一つの状態までは、視線追跡支援のためにカメラ部１７０を活性化状態に維持するように制御する。そして、端末機１００は、３０７画面、スリープモードの進入状態、スリープモードの進入後に一定時間が経過した状態のうちのいずれか一つの状態により、視線追跡機能を中止させることができる。即ち、端末機１００は、表示部１４０がターンオフされるか、スリープモードに進入するか、スリープモードに進入した後に一定時間が経過した場合、視線追跡機能の中止と共にカメラ部１７０を非活性化するように制御する。
【００４０】
一方、端末機１００は、３０１画面状態でユーザが持続的に表示部１４０を注視している場合、即ち、表示部１４０を注視する第２視線角度情報が取得された場合、３０２、３０４、３０６ステップのように時間が経過しても持続的に同一状態を維持するように制御する。これにより、本実施形態の端末機１００は、一定時間の間に特別な入力信号の発生がない場合、自動で機能切り替え状態になるように、設定されたモードを一定の条件下で行わないように支援する。これにより、ユーザが長時間表示部１４０に出力されたコンテンツを特別な入力信号の生成動作なしに閲覧しても、端末機１００は、不必要にスリープモードに切り替えるか、或いは照度調整の機能により照度を低くするなどの機能を行わないように支援する。また、ユーザは、持続的にコンテンツ視聴機能を維持したまま、端末機１００の利用を行うことができる。
【００４１】
図４は、本発明の一実施形態による視線追跡機能支援の画面インターフェースの他の例を示す図であり、ユーザ機能の運用中にコンテンツ再生機能における視線追跡機能の適用を説明する図である。
【００４２】
図４を参照すると、ユーザは、端末機１００のユーザ機能のうちのコンテンツ再生機能を活性化するように制御する。このために、ユーザは、格納部１５０に格納された特定コンテンツを選択し、該当コンテンツを再生要請する命令語生成のための入力信号生成動作を実行する。例えば、ユーザが動画コンテンツを再生要請する場合、端末機１００は、４０１画面のように、選択されたコンテンツを再生するためのアプリケーションを呼び出し、該当コンテンツ再生による画面を表示部１４０に出力するように支援する。
【００４３】
一方、端末機１００は、該当ユーザ機能、即ちコンテンツ再生機能が視線追跡機能と連係した機能であるか否かを確認する。コンテンツ再生機能が視線追跡機能と連係した機能に設定された場合、端末機１００は、４０１画面でカメラ部１７０を活性化して映像を一定周期又はリアルタイムで撮影し、視線追跡機能が支援されるように制御する。
【００４４】
端末機１００は、視線追跡機能支援の過程において、ユーザの視線角度が表示部１４０を注視しない第１視線角度情報に該当する場合、４０３画面に進入してコンテンツ再生を一時中止するように制御することができる。このとき、端末機１００は、ユーザが表示部１４０を注視しないために第１視線角度情報がすぐに検出された場合、４０３画面の一時停止状態に進入するように制御する。このために、視線追跡機能は、リアルタイムで実行される。また、設定により、端末機１００は、第１視線角度情報が一定時間の間に取得された場合、４０３画面の一時停止状態に進入するように制御することも可能である。
【００４５】
４０３画面の以後にユーザが再び画面を注視する場合、即ち視線追跡機能によりユーザの視線角度が表示部１４０を注視する第２視線角度情報が取得された場合、端末機１００は、４０５画面のように一時中止された状態を解除し、コンテンツを再生するように制御することができる。これにより、本実施形態の端末機１００は、特別な動作制御なしに、ユーザがコンテンツ再生による表示部１４０を凝視しない時には再生を中止し、再び表示部１４０を凝視する場合には再生するように制御する。
【００４６】
一方、端末機１００は、４０３画面で第１視線角度情報が一定時間の間に持続的に取得された場合、端末機１００は、表示部１４０をターンオフして電源節約機能を行うように制御する。また、端末機１００は、表示部１４０のターンオフと共にコンテンツ再生機能を終了するか、或いはターンオフの後に一定時間が経過した後、コンテンツ再生機能を終了するように制御する。そして、端末機１００は、表示部１４０のターンオフ時点に視線追跡機能を終了させるか、或いはコンテンツ再生機能の終了時点に視線追跡機能を終了するように制御し、カメラ部１７０の活性化に必要とされる電源を節約するように制御する。視線追跡機能終了の前まで、端末機１００は、視線追跡機能を支援し、第２視線角度情報が取得された場合、４０５画面に進むように制御する。
【００４７】
図５は、本発明の一実施形態による視線追跡機能支援の画面インターフェースの更に他の例を示す図であり、ユーザ機能のうちの電子ブックコンテンツ視聴機能における視線追跡機能の適用を説明する図である。
【００４８】
図５を参照すると、ユーザは、端末機１００が提供するユーザ機能のうちの電子ブックコンテンツ視聴機能を選択する。このために、端末機１００は、電子ブックコンテンツを格納部１５０に格納し、電子ブックコンテンツ再生のためのアプリケーションを格納する。そして、ユーザは、該当電子ブックコンテンツの選択のための入力信号と、再生のための入力信号とを生成する。そうすると、端末機１００は、選択された電子ブックコンテンツを再生し、再生された電子ブックコンテンツ画面を５０１画面のように出力するように支援する。これと共に、端末機１００は、電子ブックコンテンツ視聴機能が、視線追跡機能が適用されるように設定された機能であるか否かを確認する。該当電子ブックコンテンツ視聴機能が視線追跡の連係機能である場合、端末機１００は、視線追跡モードが活性化されるように設定されているか否かを確認する。そして、視線追跡モードが活性化されている場合、端末機１００は、カメラ部１７０を活性化して、一定周期又はリアルタイムで視線追跡機能を行うように支援する。
【００４９】
特に、端末機１００は、ユーザの瞳位置の追跡を行い、瞳が事前に定義された一定の視線角度情報の場合、５０３ステップに分岐してページめくりを行うように支援する。例えば、端末機１００は、ユーザの視線角度が表示部１４０の右側下端の隅領域を注視する視線角度情報に該当する場合、電子ブックコンテンツのページめくりを行うように制御する。このとき、端末機１００は、該当視線角度情報が一定時間の間に維持された場合、ページめくりを行うように制御する。
【００５０】
これにより、本発明の端末機１００は、ページめくりのための別途のタッチ動作や入力信号生成動作が発生しなくても、便利にページめくりを行うように支援することができる。ここで、端末機１００は、視線追跡機能の適用周期を適応的に変化させることができる。即ち、端末機１００は、ユーザのページめくりの速度を累積して格納し、累積された情報によりページめくりのためのイベント発生予測時点前の一定時間の間に、視線追跡機能支援のためのカメラ部１７０の活性化を支援する。例えば、ユーザが１ページから他のページに切り替えるのに平均２分が所要されると仮定した場合、端末機１００は、ページめくりが発生した後、カメラ部１７０を非活性化状態に維持し、１分３０秒ないし１分４０秒が経過した後、カメラ部１７０を活性化して視線追跡機能を行うように制御する。ここで、端末機１００は、ページの切り替えに所要される時間が徐々に速くなる場合、それに対応して視線追跡機能を支援できるように、ページの切り替え時点からカメラ部１７０の活性化時間をより短く定義してもよい。このために、端末機１００は、ページ切り替えの平均時間算定を一定のページ数に限定することができる。例えば、端末機１００は、前のページ数を３ページに制限し、３ページのページ切り替えの平均時間に基づいて視線追跡機能遂行のためのカメラ部１７０の活性化時間を定めることができる。これを通じて端末機１００は、ページ切り替え時点の付近にカメラ部１７０を活性化して視線追跡を行うことにより、電源使用をより効率的に支援することができる。
【００５１】
そして、端末機１００は、電子ブックコンテンツの最後のページが出力された場合、視線追跡機能を自動で終了するように制御する。また、前のページ選択のための視線角度、例えば、左下側の隅領域に対応する視線角度情報が取得された場合、端末機１００は、前のページへのページめくりを制御する。そして、端末機１００は、左下側又は右下側の隅領域で発生する視線角度情報の累積時間により、ページめくりの速度を変えてその値を決める。即ち、ユーザが左下側又は右下側の隅領域を一定時間の間に持続的に注視した場合、端末機１００は、徐々にページめくりの速度をより早く調整するか、或いは一定値以上の速度でページめくりが発生するようにして、ユーザが検索しようとするページをより早く検索できるように支援する。即ち、端末機１００は、ページめくりの視線角度の累積時間により、ページめくりの速度を変えてその値を調整することができ、このとき、ページめくりの視線角度に変更が発生すると、ページめくりを中止するように制御する。
【００５２】
図６は、本発明の一実施形態による視線追跡に基づくユーザ機能運用方法を説明するフローチャートである。
【００５３】
図６を参照すると、本実施形態の視線追跡に基づくユーザ機能運用方法は、先ず、６０１ステップで、端末機１００の制御部１６０が、供給された電源を利用して端末機１００の各構成の運用に必要な電源配分を行う。特に、本発明の視線追跡機能支援のために、ユーザ機能運用のための準備を行う。そして、ユーザが特定のユーザ機能を活性化するための入力信号を生成すると、生成された入力信号により該当ユーザ機能の活性化を支援する。
【００５４】
この過程で、制御部１６０は、６０３ステップで視線追跡モードが設定されているか否かを確認する。即ち、制御部１６０は、該当ユーザ機能が視線追跡連係機能であるか否か、そして視線追跡連係機能の場合に、視線追跡モードが活性化されているか否かなどを確認する。このステップで視線追跡モードが設定されていない場合、制御部１６０は、６０５ステップに分岐して活性化されたユーザ機能遂行のための信号制御を行う。
【００５５】
一方、６０３ステップで視線追跡モードが活性化されている場合、制御部１６０は、６０７ステップに分岐してカメラ部１７０を活性化するように制御する。そして、制御部１６０は、活性化されたカメラ部１７０を利用して映像を撮影するように制御する。映像撮影による映像が収集されると、制御部１６０は、６０９ステップに分岐して視線追跡機能を行うように制御する。即ち、制御部１６０は、ユーザの瞳視線がどこに向かうかを確認し、それによる視線角度情報を取得する。
【００５６】
その後、制御部１６０は、６１１ステップで取得された視線角度情報による機能遂行を制御する。例えば、制御部１６０は、コンテンツ視聴機能又は再生機能などが行われる場合、視線角度情報が表示部１４０を注視する視線角度情報の場合に、コンテンツ視聴機能及び再生機能を維持するように制御する。即ち、制御部１６０は、表示部１４０の電源供給及びコンテンツ出力を維持するように制御する。そして、制御部１６０は、視線角度情報が表示部１４０を注視しない視線角度情報の場合、表示部１４０の照度を減らすか又はターンオフするように制御し、また再生中であるコンテンツを一時停止させるか又は終了させるように制御する。また、上述したように、電子ブックコンテンツ再生機能の場合、制御部１６０は、視線角度情報によりページめくりを制御することも可能である。
【００５７】
また、制御部１６０は、通話連結要請メッセージの受信過程において、表示部１４０を注視する視線角度情報が取得された場合、自動で通話連結を要請するように制御する。これをより詳細に説明すると、図７に示すように、他の端末機などから通話連結を要請するメッセージが受信された場合、制御部１６０は、スリープモード状態から目覚めるか、又は待機状態で通話連結要請メッセージの受信を知らせる画面を７０１画面のように表示部１４０に出力する。このとき、制御部１６０は、該当通話連結機能が視線追跡機能と連係した機能であることを確認して、カメラ部１７０を活性化するように制御する。ここで、制御部１６０は、カメラ部１７０を一定時間の間に活性化し、撮影された映像で既設定された瞳視線角度に該当する視線角度情報が取得されるか否かを確認する。そして、制御部１６０は、該当視線角度情報が取得されると、７０３画面のように自動で通話連結を行うように支援する。
【００５８】
ここで、制御部１６０は、視線追跡機能を持続させる一方、通話連結要請が終了すると、視線追跡機能を終了するように制御する。また、制御部１６０は、視線追跡機能を既設定された一定時間の間にのみ維持し、一定時間が経過すると、該当機能を終了するように制御する。そして、制御部１６０は、通話連結以後の通話機能が終了すると、視線追跡機能を終了するように制御する。或いは、制御部１６０は、視線追跡機能によって通話連結が行われた後、一定時間の経過後に表示部１４０を注視する瞳視線の角度情報が取得された場合、通話連結を終了するように制御する。そして、制御部１６０は、瞳視線の角度情報だけでなく、顔認識を通じて既設定されたユーザ情報とマッチさせて通話連結を行う。例えば、制御部１６０は、端末機１００に所持者として登録されたユーザの顔が認識される場合にのみ、瞳視線の角度情報により通話連結を行うように支援する。
【００５９】
次に、制御部１６０は、６１３ステップでモード解除のためのイベント発生を確認し、視線追跡モード解除のためのイベント発生時に６１５ステップに分岐して制御部１６０の終了有無を確認する。ここで、モード解除のためのイベントは、表示部１４０を注視しない視線角度情報が一定時間の間に持続的に検出された場合であるか、或いは視線追跡モード解除のためのタッチイベント又は入力信号の発生などを含む。モード解除のためのイベント発生がない場合、制御部１６０は、６０７ステップの前に分岐して以降のステップを再遂行するように支援する。また、６１５ステップで制御部１６０の終了のための入力信号の発生がない場合、６０３ステップの前に分岐して制御部１６０の運用を支援する。
【００６０】
一方、上述した説明では、視線追跡モードが活性化されているか否かを確認するステップを行うものとして説明したが、本発明の視線追跡モードは、デフォルト機能として提供されてもよい。
【００６１】
上述したように、本発明による視線追跡機能に基づく機能運用方法は、端末機の運用において、特別なタッチ入力制御や入力信号生成動作なしに、ユーザ機能の状態変更を支援するか又は現在の状態を維持するように制御することで、より便利な端末機１００の運用を支援することができる。特に、大画面端末機の場合、タッチ入力制御のために片手把持、片手制御が要求されるが、本発明の視線追跡機能の適用時に更に便利な端末機運用制御を支援することができる。
【００６２】
一方、上述した端末機１００は、その提供形態により、多様な追加モジュールを更に含んでもよい。即ち、端末機１００は、近距離通信のための近距離通信モジュール、端末機１００の有線通信方式又は無線通信方式によるデータ送受信のためのインターフェース、インターネットのネットワークと通信してインターネット機能を行うインターネット通信モジュール、及びデジタル放送受信と再生機能を行うデジタル放送モジュールなどのように、上記で言及していない構成を更に含んでもよい。このような構成要素は、デジタル機器のコンバージェンス（ｃｏｎｖｅｒｇｅｎｃｅ）傾向により変形が非常に多様であって、全て列挙することはできないが、上記で言及した構成要素と同等な水準の構成要素がデバイスに更に含まれて構成され得る。また、本発明の端末機１００は、その提供形態により、上記の構成から特定構成が除外されるか、他の構成に代替され得ることは勿論である。これは、本技術分野の通常の知識を有する者には、容易に理解されるはずである。
【００６３】
また、本発明による端末機１００は、多様な通信システムに対応する通信プロトコル（ｃｏｍｍｕｎｉｃａｔｉｏｎ ｐｒｏｔｏｃｏｌｓ）に基づき作動する全ての移動通信端末機（ｍｏｂｉｌｅ ｃｏｍｍｕｎｉｃａｔｉｏｎ ｔｅｒｍｉｎａｌｓ）をはじめとして、ＰＭＰ（Ｐｏｒｔａｂｌｅ Ｍｕｌｔｉｍｅｄｉａ Ｐｌａｙｅｒ）、デジタル放送プレーヤー、ＰＤＡ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔ）、音楽再生機（例えば、ＭＰ３プレーヤー）、携帯ゲーム端末、スマートフォン（Ｓｍａｒｔ Ｐｈｏｎｅ）、ノート型パソコン（Ｎｏｔｅｂｏｏｋ）、ハンドヘルドＰＣなど全ての情報通信機器とマルチメディア機器及びそれに対する応用機器を含んでもよい。
【００６４】
以上、図面を参照しながら本発明の実施形態について説明したが、本発明は、上述の実施形態に限定されるものではなく、本発明の技術的範囲を逸脱しない範囲内で多様に変更実施することが可能である。
【符号の説明】
【００６５】
１００ 端末機
１１０ 通信部
１２０ 入力部
１３０ オーディオ処理部
１４０ 表示部
１４１ 表示パネル
１４３ タッチパネル
１５０ 格納部
１５１ 視線追跡支援プログラム
１５３ 視線追跡アルゴリズム
１６０ 制御部
１６１ カメラ情報収集部
１６３ 視線追跡決定部
１６５ 機能実行部
【特許請求の範囲】
【請求項１】
特定のユーザ機能を遂行するステップと、
前記ユーザ機能が維持された状態でカメラ部を活性化するステップと、
前記カメラ部が収集した映像で瞳の視線角度情報を取得するステップと、
前記瞳の視線角度情報により、前記ユーザ機能の状態を変更するか又は現在の状態を維持するように制御する視線追跡機能を遂行するステップと、を有することを特徴とする視線追跡に基づくユーザ機能運用方法。
【請求項２】
前記活性化されたユーザ機能が視線追跡機能と連係したユーザ機能の場合、視線追跡設定モードが活性化されているか否かを確認するステップを更に含むことを特徴とする請求項１に記載の視線追跡に基づくユーザ機能運用方法。
【請求項３】
前記視線追跡機能を遂行するステップは、
瞳の視線角度情報が端末機の表示部を注視しない第１視線角度情報の場合、前記表示部の照度を調節するステップと、
前記表示部をターンオフするステップと、
前記ユーザ機能を終了するステップと、
前記ユーザ機能を一時停止するステップと、
前記表示部に含まれるタッチパネルのタッチロック機能を設定又は解除するステップと、のうちの少なくとも一つのステップを含むことを特徴とする請求項１に記載の視線追跡に基づくユーザ機能運用方法。
【請求項４】
前記視線追跡機能を遂行するステップは、
前記表示部がターンオフされるか又は前記ユーザ機能が終了した場合、前記カメラ部を非活性化するステップを含むことを特徴とする請求項３に記載の視線追跡に基づくユーザ機能運用方法。
【請求項５】
前記視線追跡機能を遂行するステップは、
瞳の視線角度情報が前記端末機の表示部を注視する第２視線角度情報の場合、前記表示部の照度を本来の照度に調整するステップと、
前記表示部をターンオンするステップと、
前記ユーザ機能を再び活性化するステップと、
前記ユーザ機能の一時停止を解除するステップと、
前記ロック設定されたタッチパネルのロック機能を解除又は設定するステップと、のうちのいずれか一つのステップを更に含むことを特徴とする請求項３に記載の視線追跡に基づくユーザ機能運用方法。
【請求項６】
前記視線追跡機能を遂行するステップは、
前記瞳の視線角度情報が端末機の表示部を注視する第２視線角度情報の場合、表示部の現在の画面を維持するステップであることを特徴とする請求項１に記載の視線追跡に基づくユーザ機能運用方法。
【請求項７】
前記視線角度情報を取得するステップは、
被写体の顔を認識するステップと、
認識された顔の瞳部位を自動フォーカシングするステップと、
自動フォーカスされた被写体の映像を収集するステップと、を含むことを特徴とする請求項１に記載の視線追跡に基づくユーザ機能運用方法。
【請求項８】
前記視線追跡機能を遂行するステップは、
通話連結要請メッセージが受信された状態で、瞳の視線角度情報が端末機の表示部を注視する第２視線角度情報として取得された場合、前記通話連結を自動で行うステップと、
電子ブックコンテンツが再生された画面状態で、瞳の視線角度情報が端末機の表示部のうちの一定の地点を注視する視線角度情報として取得された場合、前記電子ブックコンテンツのページめくりを行うステップと、
前記一定の地点における視線角度情報の検出時間の累積により、前記電子ブックコンテンツのページめくりの速度を変えて調節するステップと、のうちの少なくとも一つのステップを含むことを特徴とする請求項１に記載の視線追跡に基づくユーザ機能運用方法。
【請求項９】
被写体の映像を収集するカメラ部と、
前記カメラ部が収集した映像で瞳の視線角度情報を取得し、前記瞳の視線角度情報により、ユーザ機能の状態を変更するか又は現在の状態を維持するように制御する視線追跡機能を支援する制御部と、
前記ユーザ機能に該当するデータ及び前記瞳の視線角度追跡のためのデータを格納する格納部と、を備えることを特徴とする視線追跡に基づくユーザ機能運用を支援する端末機。
【請求項１０】
前記格納部は、
前記視線追跡機能と連係したユーザ機能の目録を含むことを特徴とする請求項９に記載の視線追跡に基づくユーザ機能運用を支援する端末機。
【請求項１１】
前記瞳の視線角度情報が端末機の表示部を注視しない第１視線角度情報の場合に、照度が変更されるか又はターンオフされる表示部を更に含むことを特徴とする請求項９に記載の視線追跡に基づくユーザ機能運用を支援する端末機。
【請求項１２】
前記制御部は、
前記表示部がターンオフされるか又は前記ユーザ機能が終了した場合、前記カメラ部を非活性化することを特徴とする請求項１１に記載の視線追跡に基づくユーザ機能運用を支援する端末機。
【請求項１３】
前記制御部は、
前記瞳の視線角度情報が端末機の表示部を注視しない第１視線角度情報として一定時間以上取得された場合、前記活性化されたユーザ機能を一時停止するか又は終了するように制御するか、或いはタッチパネルのロックを解除するか又はロック設定するように制御し、
前記瞳の視線角度情報が端末機の表示部を注視する第２視線角度情報の場合、前記タッチパネルのロックを設定又は解除した状態に維持することを特徴とする請求項９に記載の視線追跡に基づくユーザ機能運用を支援する端末機。
【請求項１４】
前記カメラは、
被写体の映像を収集する際に瞳部位を自動フォーカシングして収集することを特徴とする請求項９に記載の視線追跡に基づくユーザ機能運用を支援する端末機。
【請求項１５】
前記制御部は、
通話連結要請メッセージが受信された状態で、瞳の視線角度情報が端末機の表示部を注視する第２視線角度情報として取得された場合、前記通話連結を自動で行い、
電子ブックコンテンツが再生された画面状態で、瞳の視線角度情報が端末機の表示部のうちの一定の地点を注視する視線角度情報として取得された場合、前記電子ブックコンテンツのページめくりを行い、
前記一定の地点における視線角度情報の検出時間の累積により、前記電子ブックコンテンツのページめくりの速度を変えて調節することを特徴とする請求項９に記載の視線追跡に基づくユーザ機能運用を支援する端末機。
【請求項１】
特定のユーザ機能を遂行するステップと、
前記ユーザ機能が維持された状態でカメラ部を活性化するステップと、
前記カメラ部が収集した映像で瞳の視線角度情報を取得するステップと、
前記瞳の視線角度情報により、前記ユーザ機能の状態を変更するか又は現在の状態を維持するように制御する視線追跡機能を遂行するステップと、を有することを特徴とする視線追跡に基づくユーザ機能運用方法。
【請求項２】
前記活性化されたユーザ機能が視線追跡機能と連係したユーザ機能の場合、視線追跡設定モードが活性化されているか否かを確認するステップを更に含むことを特徴とする請求項１に記載の視線追跡に基づくユーザ機能運用方法。
【請求項３】
前記視線追跡機能を遂行するステップは、
瞳の視線角度情報が端末機の表示部を注視しない第１視線角度情報の場合、前記表示部の照度を調節するステップと、
前記表示部をターンオフするステップと、
前記ユーザ機能を終了するステップと、
前記ユーザ機能を一時停止するステップと、
前記表示部に含まれるタッチパネルのタッチロック機能を設定又は解除するステップと、のうちの少なくとも一つのステップを含むことを特徴とする請求項１に記載の視線追跡に基づくユーザ機能運用方法。
【請求項４】
前記視線追跡機能を遂行するステップは、
前記表示部がターンオフされるか又は前記ユーザ機能が終了した場合、前記カメラ部を非活性化するステップを含むことを特徴とする請求項３に記載の視線追跡に基づくユーザ機能運用方法。
【請求項５】
前記視線追跡機能を遂行するステップは、
瞳の視線角度情報が前記端末機の表示部を注視する第２視線角度情報の場合、前記表示部の照度を本来の照度に調整するステップと、
前記表示部をターンオンするステップと、
前記ユーザ機能を再び活性化するステップと、
前記ユーザ機能の一時停止を解除するステップと、
前記ロック設定されたタッチパネルのロック機能を解除又は設定するステップと、のうちのいずれか一つのステップを更に含むことを特徴とする請求項３に記載の視線追跡に基づくユーザ機能運用方法。
【請求項６】
前記視線追跡機能を遂行するステップは、
前記瞳の視線角度情報が端末機の表示部を注視する第２視線角度情報の場合、表示部の現在の画面を維持するステップであることを特徴とする請求項１に記載の視線追跡に基づくユーザ機能運用方法。
【請求項７】
前記視線角度情報を取得するステップは、
被写体の顔を認識するステップと、
認識された顔の瞳部位を自動フォーカシングするステップと、
自動フォーカスされた被写体の映像を収集するステップと、を含むことを特徴とする請求項１に記載の視線追跡に基づくユーザ機能運用方法。
【請求項８】
前記視線追跡機能を遂行するステップは、
通話連結要請メッセージが受信された状態で、瞳の視線角度情報が端末機の表示部を注視する第２視線角度情報として取得された場合、前記通話連結を自動で行うステップと、
電子ブックコンテンツが再生された画面状態で、瞳の視線角度情報が端末機の表示部のうちの一定の地点を注視する視線角度情報として取得された場合、前記電子ブックコンテンツのページめくりを行うステップと、
前記一定の地点における視線角度情報の検出時間の累積により、前記電子ブックコンテンツのページめくりの速度を変えて調節するステップと、のうちの少なくとも一つのステップを含むことを特徴とする請求項１に記載の視線追跡に基づくユーザ機能運用方法。
【請求項９】
被写体の映像を収集するカメラ部と、
前記カメラ部が収集した映像で瞳の視線角度情報を取得し、前記瞳の視線角度情報により、ユーザ機能の状態を変更するか又は現在の状態を維持するように制御する視線追跡機能を支援する制御部と、
前記ユーザ機能に該当するデータ及び前記瞳の視線角度追跡のためのデータを格納する格納部と、を備えることを特徴とする視線追跡に基づくユーザ機能運用を支援する端末機。
【請求項１０】
前記格納部は、
前記視線追跡機能と連係したユーザ機能の目録を含むことを特徴とする請求項９に記載の視線追跡に基づくユーザ機能運用を支援する端末機。
【請求項１１】
前記瞳の視線角度情報が端末機の表示部を注視しない第１視線角度情報の場合に、照度が変更されるか又はターンオフされる表示部を更に含むことを特徴とする請求項９に記載の視線追跡に基づくユーザ機能運用を支援する端末機。
【請求項１２】
前記制御部は、
前記表示部がターンオフされるか又は前記ユーザ機能が終了した場合、前記カメラ部を非活性化することを特徴とする請求項１１に記載の視線追跡に基づくユーザ機能運用を支援する端末機。
【請求項１３】
前記制御部は、
前記瞳の視線角度情報が端末機の表示部を注視しない第１視線角度情報として一定時間以上取得された場合、前記活性化されたユーザ機能を一時停止するか又は終了するように制御するか、或いはタッチパネルのロックを解除するか又はロック設定するように制御し、
前記瞳の視線角度情報が端末機の表示部を注視する第２視線角度情報の場合、前記タッチパネルのロックを設定又は解除した状態に維持することを特徴とする請求項９に記載の視線追跡に基づくユーザ機能運用を支援する端末機。
【請求項１４】
前記カメラは、
被写体の映像を収集する際に瞳部位を自動フォーカシングして収集することを特徴とする請求項９に記載の視線追跡に基づくユーザ機能運用を支援する端末機。
【請求項１５】
前記制御部は、
通話連結要請メッセージが受信された状態で、瞳の視線角度情報が端末機の表示部を注視する第２視線角度情報として取得された場合、前記通話連結を自動で行い、
電子ブックコンテンツが再生された画面状態で、瞳の視線角度情報が端末機の表示部のうちの一定の地点を注視する視線角度情報として取得された場合、前記電子ブックコンテンツのページめくりを行い、
前記一定の地点における視線角度情報の検出時間の累積により、前記電子ブックコンテンツのページめくりの速度を変えて調節することを特徴とする請求項９に記載の視線追跡に基づくユーザ機能運用を支援する端末機。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【公開番号】特開２０１３−１１４６９１（Ｐ２０１３−１１４６９１Ａ）
【公開日】平成２５年６月１０日（２０１３．６．１０）
【国際特許分類】
【出願番号】特願２０１２−２５８５１５（Ｐ２０１２−２５８５１５）
【出願日】平成２４年１１月２７日（２０１２．１１．２７）
【出願人】（３９００１９８３９）三星電子株式会社 (8,520)
【氏名又は名称原語表記】Ｓａｍｓｕｎｇ Ｅｌｅｃｔｒｏｎｉｃｓ Ｃｏ．，Ｌｔｄ．
【住所又は居所原語表記】１２９，Ｓａｍｓｕｎｇ−ｒｏ，Ｙｅｏｎｇｔｏｎｇ−ｇｕ，Ｓｕｗｏｎ−ｓｉ，Ｇｙｅｏｎｇｇｉ−ｄｏ，Ｒｅｐｕｂｌｉｃ ｏｆ Ｋｏｒｅａ
【Ｆターム（参考）】
【公開日】平成２５年６月１０日（２０１３．６．１０）
【国際特許分類】
【出願日】平成２４年１１月２７日（２０１２．１１．２７）
【出願人】（３９００１９８３９）三星電子株式会社 (8,520)
【氏名又は名称原語表記】Ｓａｍｓｕｎｇ Ｅｌｅｃｔｒｏｎｉｃｓ Ｃｏ．，Ｌｔｄ．
【住所又は居所原語表記】１２９，Ｓａｍｓｕｎｇ−ｒｏ，Ｙｅｏｎｇｔｏｎｇ−ｇｕ，Ｓｕｗｏｎ−ｓｉ，Ｇｙｅｏｎｇｇｉ−ｄｏ，Ｒｅｐｕｂｌｉｃ ｏｆ Ｋｏｒｅａ
【Ｆターム（参考）】
[ Back to top ]