携帯端末、その表示制御方法および表示制御プログラム
【課題】携帯端末の使い勝手を損なうことなく消費電力の節減を図る。
【解決手段】携帯端末のユーザ状態検出部100は、撮影部101の撮影画像に基づいて、ユーザが表示画面を目視しているか否かを所定の周期でチェックする。表示制御部110は、ユーザ状態検出部100の出力に応じて、ユーザが表示画面を目視していることが確認されている間、表示部120の表示画面の表示状態を維持し、ユーザが表示画面を目視していないことが検出されたとき、表示オフまたは表示輝度低下等により、表示画面の表示状態の維持を解除する。
【解決手段】携帯端末のユーザ状態検出部100は、撮影部101の撮影画像に基づいて、ユーザが表示画面を目視しているか否かを所定の周期でチェックする。表示制御部110は、ユーザ状態検出部100の出力に応じて、ユーザが表示画面を目視していることが確認されている間、表示部120の表示画面の表示状態を維持し、ユーザが表示画面を目視していないことが検出されたとき、表示オフまたは表示輝度低下等により、表示画面の表示状態の維持を解除する。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、携帯端末に関し、特に、携帯端末の画面表示の制御を、より効果的に行える携帯端末、その表示制御方法および表示制御プログラムに関する。
【背景技術】
【0002】
LCD、有機ELなどの表示デバイスを用いた携帯端末の代表的なものとして携帯電話端末がある。このような携帯端末は電源として二次電池を採用しており、その電池残量が所定レベル以下となると動作不能となる。したがって、連続使用可能時間を伸ばすためには消費電力の低減が重要となる。
【0003】
特に、表示デバイスの消費電力は携帯端末全体の消費電力に大きな比重を有するため、従来、携帯端末においては、消費電力の低減(すなわち節電)を目的として、一定時間、携帯端末の操作が行われていないことが検出されたとき、段階的若しくは急激に画面の明るさを低下させたり、表示を消したりする機能が備えられている。
【0004】
携帯端末がカバンやポケットにしまってある場合のように、ユーザが端末の表示画面を見る必要のない場合、電力の消費を抑えるために、間欠的に距離センサを動作させて、ある所定時間以上の期間中に連続して近距離の被検出物(カバンやポケットの壁)が検出されたときに画面表示をオフする技術が提案されている(特許文献1参照)。
【0005】
また、カメラ付きの携帯端末において、特定条件を満たしたときにカメラ機能を起動し、ユーザの顔を撮影し、その特徴を分析することで本人認証(顔認証)を行う技術が提案されている(特許文献2)。
【0006】
さらに、カメラ付きの携帯端末において、撮影像内に写った人物の顔および目を検出し、表示画面に表示されている情報が端末ユーザ自身以外の他人により覗かれているおそれがあることを検出し、警告を発する技術も提案されている(特許文献3参照)。
【特許文献1】特開2002−198894号公報
【特許文献2】特開2005−244589号公報
【特許文献3】特開2003−264877号公報
【発明の開示】
【発明が解決しようとする課題】
【0007】
従来の節電機能では、ユーザが端末を操作することなく表示デバイスの画面を見続けている場合において、突然画面の輝度が低下したり消えたりすると、元の非節電表示状態に戻すためにユーザはいずれかのキーを押下するなどの何らかの操作をしなければならない。このような操作はユーザにとって煩わしい。また、例えばニュースのテロップ表示などを見ている場合に表示が途切れると、その後に操作をしてもテロップ表示の再開が途切れた時点と連続せず、節電機能が端末利用の妨げになる場合がある。
【0008】
逆に、ユーザが画面を目視していないのに、常に画面が見られていることを前提としたアプリケーションなどを起動していることによって画面の表示状態が連続的に維持される場合には、画面表示のために無駄な電力を消費されることになる。
【0009】
特許文献1に記載の従来技術では、カバンやポケットに収納されているときの節電は図れるが、そのような収納物から外に出されている場合でもユーザが目視していない場合には対応できない。
【0010】
特許文献2,3には携帯端末がカメラによりユーザの顔を撮影して検出することが示されているが、その撮影結果を節電に利用することについては何ら言及されていない。
【0011】
本発明はこのような背景においてなされたものであり、携帯端末の使い勝手を損なうことなく消費電力の節減を図ろうとするものである。
【課題を解決するための手段】
【0012】
本発明の携帯端末は、表示画面に情報を表示する表示手段と、ユーザが表示画面を目視しているか否かを所定の周期でチェックするユーザ状態検出手段と、このユーザ状態検出手段によりユーザが表示画面を目視していることが確認されている間、前記表示画面の表示状態を維持し、ユーザが表示画面を目視していないことが検出されたとき、前記表示画面の表示状態の維持を解除する表示制御手段とを備える。
【0013】
この構成によりユーザが表示画面を目視している間は表示状態を維持し、目視していないときには表示状態の維持を解除する、という表示制御を行うことができる。「表示状態の維持を解除」とは、具体的には例えば表示のオフ(バックライトがあればその消灯)、輝度(明るさ)低下、等である。
【0014】
前記ユーザ状態検出手段は、例えば、ユーザが前記表示画面を目視している状態を撮影することができる撮影部と、この撮影手段を周期的に起動して撮影像を取得し、この撮影像からユーザの顔を認識する顔認識処理部と、検出された顔画像に基づいてユーザの顔が正面を向いていることが検出されたとき、ユーザが表示画面を目視していると判定する判定部とにより構成することができる。
【0015】
前記判定部は、前記顔認識処理部の処理結果に基づいてユーザが所定時間以上目を閉じていることを検出したとき、前記判定部は、ユーザが表示画面を目視していないと判定するようにしてもよい。これにより、瞬き等により瞬間的に目視していない状態が撮影された場合の誤動作が防止される。そのためには、例えば、前記判定部は、ユーザが表示画面を目視していないことが検出されたとき、前記所定の周期より短い周期でユーザ状態検出を所定回リトライする。
【0016】
前記判定部は、前記顔認識処理部の処理結果に基づいて撮影像全体に対するユーザの顔の撮影像のサイズが所定サイズに満たないことを検出したとき、ユーザは表示画面を目視していないと判定するようにしてもよい。携帯端末から遠く離れた位置に居る人物の顔が検出されてもその人物は当該端末の表示画面を見ているユーザではないと推測され、この構成によりそのような人物の撮影に基づく誤動作が防止される。
【0017】
前記判定部は、今回検出された顔画像と前回または複数回前に検出された顔画像とを比較し、両顔画像が完全に一致したとき、ユーザは表示画面を目視していないと判定するようにしてもよい。これにより、人形や写真等が偶然撮影された場合の誤動作が防止される。
【0018】
前記ユーザ状態検出手段によるユーザの状態の監視は、予め定められたアプリケーションについてのみ、または、予め定められたアプリケーション以外のアプリケーションについてのみ、実行するようにしてもよい。これにより、必要性の高いアプリケーションについてのみ本発明の動作を実行させることができる。換言すれば、必要性の低いアプリケーションについて不要な撮影等の処理の実行を回避することができる。
【0019】
カメラ付き携帯端末の表示制御方法は、ユーザが表示画面を目視しているか否かを所定の周期でチェックするステップと、ユーザが表示画面を目視していることが確認されている間、前記表示画面の表示状態を維持するステップと、ユーザが表示画面を目視していないことが検出されたとき、前記表示画面の表示状態の維持を解除するステップとを備えたものである。
【0020】
本発明はこのような表示制御を行うコンピュータプログラムおよびこのプログラムをコンピュータ読み取り可能に格納した記録媒体としても把握することができる。
【0021】
本発明の他の構成および作用効果については以下に説明する。
【発明の効果】
【0022】
本発明によれば実際にユーザが端末の表示画面を目視しているか否かまでチェックして表示制御を行うので、ユーザの実際の利用状態に即した表示制御を行うことが可能となる。目視の有無により表示制御を行うことにより、ユーザの煩わしい操作の必要性が軽減され、携帯端末の使い勝手が向上する。
【0023】
また、目視の有無のチェックは携帯端末に付属のカメラを利用し、その撮影画像に基づいて行うことができるので、本発明の実施のために特別なハードウェアの追加は必要ない。
【発明を実施するための最良の形態】
【0024】
以下、本発明の好適な実施の形態について図面を参照しながら詳細に説明する。
【0025】
図1は本発明の携帯端末の表示制御のための主要な機能を表した機能ブロック図である。
【0026】
携帯端末は、テキストや画像等の各種情報を表示画面上に表示する表示部120と、ユーザの現在の状態、具体的には携帯端末の表示画面を目視しているか否かを周期的に検出するユーザ状態検出部100と、ユーザからの操作を受ける操作部130と、ユーザ状態検出部100および操作部130の出力に応じて表示部120の表示状態を制御する表示制御部110とを備えている。
【0027】
ユーザ状態検出部100は、携帯端末に備えられ、ユーザが表示画面を見ている状態の顔を撮影することができる撮影部101と、この撮影結果に基づいて撮影像中の顔および所定の顔パーツ(目、口等)を認識する顔認識処理部103と、この顔認識処理部103の認識結果に基づいてユーザが現在表示画面を目視しているか否かを判定する判定部105とを有する。
【0028】
図2に、携帯電話端末を例とした本発明による携帯端末200の正面外観図を示す。この携帯端末200は、表示部16を有する上部筐体14とテンキーを始めとする各種操作キーを備えた操作部を有する下部筐体25とをヒンジ部18で結合した折り畳み式の携帯電話端末を示している。上部筐体14の表示部16の画面と同じ側に、上記撮影部101として機能する前面カメラ213が配置されている。近年、被写体の撮影用に上部筐体の背面に配置されたカメラの他、テレビ電話機能をサポートするためにこのような前面カメラ213を備えた機種も出現している。勿論、筐体において前面側と背面側との間でレンズの向きを回転可能に支持されているカメラであっても、本発明の撮影部101として利用することができる。
【0029】
なお、携帯電話端末は折り畳み式に限るものではなく、いわゆるストレート型、スライド型、等その筐体の型は任意である。
【0030】
顔認識処理部103の顔認識技術は、デジタルカメラなどで採用されている既存の顔検出技術を用いることができるのでここでは詳述しない。
【0031】
図3は、図2に示した携帯端末200の概略のハードウェア構成を示したブロック図である。
【0032】
携帯端末200は、バス215で相互に接続された、制御部201、通信部203、表示部204、操作部205、記憶部206、音声処理部210、この音声処理部210に接続されたスピーカ211、マイク212、前面カメラ213等を備えている。図示しないが、その他、無線LANやBluetooth(登録商標)のような近距離無線通信部、GPS受信部、非接触IC機能部等を含んでもよい。
【0033】
制御部201は、CPU等を含み、携帯端末200の各部を制御する。本実施の形態では、この制御部201が表示制御部110およびユーザ状態検出部の一部として機能する。勿論、制御部201と独立したユーザ状態検出部を備えてもよい。
【0034】
通信部203は、RF部、変調回路等を含み、アンテナ202を介して基地局との間で、通話およびメールやWEBデータ等のための無線通信を行う。
【0035】
表示部204は、図1の表示部120に相当し、ユーザに対して可視情報を提示するための表示インタフェースを提供するものであり、LCDや有機EL等の表示デバイスを含む。表示デバイスの種類によっては背面から光を照射するバックライトを内蔵している。
【0036】
操作部205は、図1の操作部130に相当し、ユーザが指示やデータを入力するための入力インタフェースを提供するものであり、テンキー、カーソル移動キー、通話キー、電源キー等の各種操作キーを含む。
【0037】
記憶部206は、ROM,RAM,HDD等の記憶装置を含み、CPUが実行するOSや各種アプリケーション等のプログラムや各種データを記憶する。ROMには、フラッシュメモリのような再書き込み可能な不揮発性メモリを含みうる。プログラムには、本実施の形態における顔画像認識処理および判定を行うためのプログラムおよび必要なデータも含む。
【0038】
音声処理部210は、音声のエンコーダ、デコーダ、DA変換器、AD変換器等を含み、スピーカ211(イヤホン含む)に対する音声出力およびマイクからの音声入力を行う。
【0039】
前面カメラ213は、図1の撮影部101に相当し、CMOS、CCD等の撮像素子を有し、撮影した被写体のデジタル画像データを得るための撮影部を構成している。
【0040】
以下、上述したような携帯端末200の装置構成において、本実施の形態の動作について説明する。
【0041】
図4は、携帯端末200の典型的な使用状態を示している。すなわち、ユーザは携帯端末200の表示画面を自身の顔の方向に向けた状態で、自身の片方の手で携帯端末200を把持する。この状態で前面カメラ213の撮影を行うと、その撮影像にはユーザの顔が写ることになる。この撮影像から現在ユーザが表示画面を目視しているか否かを判断する。前面カメラ213の撮影を周期的(例えば1秒ないし数秒毎)に行えば、ユーザの状態の変化を確認することができる。すなわち、前記顔認識処理部の処理結果に基づいてユーザが所定時間以上目(両目)を閉じていることを検出したとき、前記判定部105は、ユーザが表示画面を目視していないと判定する。
【0042】
ユーザが表示画面を目視していることが確認されている間、表示画面の表示状態を維持し、ユーザが表示画面を目視していないことが検出されたとき、表示画面の表示状態の維持を解除する。「表示状態の維持を解除」には上述したように表示のオフ(バックライトがあればその消灯)、輝度(明るさ)低下、等を含むが、以下では、便宜上、単に表示のオフ、表示オフ、表示をオフする、等と表現する。
【0043】
携帯端末200の初期状態は、表示状態の維持を解除した状態であり、本実施の形態におけるユーザ状態検出部100からの検出出力が発生した場合、または、何らかの割り込みイベントが発生した場合に表示状態がオンとなる。割り込みイベントとは、キー操作、電話の呼び出しやアラームなどの発生である。この時点で時間カウント値がリセットされ、時間カウントが再開される。割り込みイベントが何ら発生することなく時間カウント値が所定値に達した時に画面表示はオフにされる。
【0044】
ユーザ状態検出部100の出力が「目視あり」から「目視なし」に変化したとき、表示部の現在の状態が表示オン状態であれば、表示制御部により表示オンから表示オフに切り替える。ユーザ状態検出部100の出力が「目視なし」から「目視あり」に変化したとき、表示部の現在の状態が表示オフ状態であれば、表示オンに切り替える。ただし、表示オフから表示オンへの切り替えはユーザ状態検出部100の出力によっては行わず、割り込みイベントの発生によってのみ行うようにすることも可能である。
【0045】
本実施の形態における、ユーザの表示画面に対する「目視」の有無についての具体的な判定方法を以下に説明する。
【0046】
「目視」状態の誤検出を避け、更に計算処理負荷を低減することによる高速化と電力消費の低減化を目的として、以下のような基準で判定を行う。
(1)二点の開いた目と口が検知されたことをもって顔が検出されたと判定する。すなわち、顔として認識する顔の向きを、カメラに対して正面、或いは正面に近い方向に限定する。これは、表示画面を見づらい位置から長時間見続けることがまれであり、その状況下において顔検出に失敗することにより、ユーザは画面を目視していないと判断できる。図5(a)〜(c)は、携帯端末200の画面に対してユーザが正面前方を向いた状態、正面斜め下方向を向いた状態、横を向いた状態のそれぞれの撮影像を示している。この場合、(a)(b)については顔が検出されたと判定され、(c)については顔は検出されなかったと判定される。
(2)顔検出を行う範囲を、携帯端末から所定の距離範囲(例えば数10cmから1m前後)内とする。これは、遠く離れた場所から携帯電話の画面を長時間見続けることは殆どないと考えられるからである。このような範囲内に限定することで、実際のユーザ以外に対しての誤反応の可能性を軽減することができる。図6に、この判定方法の一例を示す。図6(a)(b)はそれぞれ許容できる距離範囲の撮影像および許容距離範囲外の撮影像の例を示している。ここでは、携帯端末から遠くに離れるほど撮影像における顔のサイズが小さくなることを利用して、一定以上の大きさの顔から検出している。図示のように、例えば、顔サイズは両目および口を含む方形領域のサイズで判定することができる。これに代えて両目の間隔で判断することも可能である。すなわち、撮影像全体に対するユーザの顔の撮影像のサイズが所定サイズに満たないことを検出したとき、ユーザは表示画面を目視していないと判定する。
(3)今回検出された顔画像と前回または複数回前に検出された顔画像とを比較し、両顔画像が完全に一致したとき、ユーザは表示画面を目視していないと判定する。通常、図4に示したようにユーザが携帯端末を手で把持しているような場合、携帯端末とユーザの顔との位置関係は微妙に変換し、また、ユーザがまばたきをしたりする場合もある。したがって、通常のユーザの目視状態では周期的に撮影される顔画像に微妙な変化が生じ、前後して撮影された顔画像が完全に一致することはまれである。一方、携帯端末の前にユーザがいない状況で周囲の人形や写真などの顔などを撮影してしまった際に、ユーザが目視していると判断してしまうおそれがある。しかし、携帯端末が静止状態にある(例えば机上などに固定的に載置されている)場合でも、周囲に人形や写真が偶然に存在すれば、周期的に撮影された顔画像からユーザが目視していると判断されうる。そのような場合、カメラも被写体も静止しているので、前後に取得された顔画像同士の間では、各顔パーツの位置や色の濃淡などが完全に一致する。したがって、そのような状況を、ユーザが目視していない状態と判断することにより、誤検出を防止することができる。
【0047】
なお、例えば加速度センサなどを用いることで、携帯端末が静止していない場合には、前後の顔画像の比較を行わないなどの処理を加えることも出来る。
【0048】
次に図7に、本実施の形態における顔画像検出に基づく携帯端末の表示制御処理のフローチャートを示す。この処理は図3に示した制御部201が記憶部206に格納されているプログラムを読み出して実行することにより実現される。後述する他のフローチャートの処理についても同様である。
【0049】
本実施の形態では、「顔検出フラグ」と「前回顔検出フラグ」という二つのフラグを用いている。「顔検出フラグ」は上述したような判定基準に照らして顔が検出されたこと、特に本実施の形態では「目視」していることが確認されたことを示すフラグである。「前回顔検出フラグ」は前回の撮影時に顔ひいては目視が確認されてことを示すフラグである。
【0050】
両フラグは初期的にオフ(OFF)に設定している(S11)。その後、画面の表示が行われている画面表示オンの状態か否かをチェックする(S12)。否であればステップS22へ移行する。画面表示オフの状態であれば、割り込みイベントが発生したとき(S13,Yes)、画面表示をオンとし(S14)、ステップS23へ移行する。また、時間カウント値はリセットする。画面表示オンの状態で割り込みイベントも発生しなければ、顔検出判定のタイミングが到来したか否かをチェックする(S15)。否であればステップS23へ移行する。顔検出タイミングが到来したとき、顔検出処理を実行する(S16)。この処理の詳細については後述する。
【0051】
顔検出処理の結果、今回顔フラグをチェックする(S17)。今回顔フラグがOFFであれば、ステップS22へ移行する。今回顔フラグがONであれば、前回顔フラグをチェックする(S18)。前回顔フラグもONであれば、前回検出時の顔画像と今回検出時の顔画像とを比較する(S21)。両顔画像が一致すれば、検出された画像は人形等のものと判断して、画面表示をオフする(S22)。このとき、目視を促す警告や、登録された人物以外が端末を目視している旨の警告を出力(表示または音声出力等)するようにしてもよい。その後、ステップS11へ戻る。
【0052】
ステップS21において、両顔画像が一致しなければ、ユーザが表示画面を目視していると判断して、前回顔検出フラグをONにし(S19)、今回検出時の顔画像を保存する(S20)。ステップS19ではまた割り込みイベントが発生したときのように、時間カウント値はリセットする。その後、ステップS12へ戻る。ステップS19,20の順序は逆であってもよい。
【0053】
ステップS23では、本処理のプログラムの終了が指示されたか否かをチェックし、終了が指示されたとき、本処理を終了する。そうでなければ、ステップS12へ戻る。
【0054】
図8は、図7のステップS16の顔検出処理の詳細フローの一例を示している。まず、顔の撮影・認識・判定の処理を実行する(S31)。顔検出に成功したら、すなわちユーザが表示画面を目視していると判定されたとき(S32,Yes)、今回顔検出フラグをONに設定して(S34)、元の処理に戻る。顔検出に成功しなかった場合、今回顔検出フラグをOFFに設定して(S33)、元の処理に戻る。
【0055】
ところで、顔検出処理においては、ユーザが瞬きをしたり、一瞬だけよそ見をしたりしたときなどに撮影が行われるなど、本来であれば顔検出が成功しているべきときに、タイミングによっては失敗してしまう場合がある。そのような場合の対策を図9の顔検出処理(2)で説明する。
【0056】
この顔検出処理(2)は、図8の顔検出処理(1)に対して誤動作回避措置を追加したものである。
【0057】
まず、判定カウンタを0に初期化する(S41)。ついで、判定カウンタの値が規定値以下であるかどうかをチェックする(S42)。規定値以下であれば顔の撮影・認識・判定の処理を実行する(S43)。顔検出に成功したら、今回顔検出フラグをONに設定して、元の処理に戻る。顔検出に失敗したら、判定カウンタの値を1増やし、規定時間の待機(ウェイト)を行う(S45)。その後、ステップS42に戻る。この「規定時間」とは上記「顔検出タイミング」の周期より十分短い時間(コンマ何秒程度)である。
【0058】
ステップS42において判定カウンタの値が規定値を越えたら、今回顔検出フラグをOFFにする(S46)。
【0059】
このように、本顔検出処理(2)によれば一度顔検出に失敗しても直ちに今回顔検出フラグをOFFにするのではなく、比較的短い所定時間のうちに、再度、顔の撮影・認識・判定を行うことにより追加的に顔検出の機会が与えられる。すなわち、判定部105は、ユーザが表示画面を目視していないことが検出されたとき、前記所定の周期より短い周期でユーザ状態検出を所定回リトライする。その結果、瞬き等の瞬間的なユーザ動作に基づく誤判定に対処することが可能となる。
【0060】
なお、ステップS42の「規定値」は顔検出のリトライが許される回数に相当する。この規定値は予め定めた固定値であってもよいし、ユーザが可変設定できるようにしてもよい。
【0061】
図10は、図7の処理の変形例を表したフローチャートである。図7に示したステップと同様のステップには同じ参照符号を付して、重複した説明は省略する。
【0062】
図7の処理においては、画面表示のオン状態において顔検出に失敗したとき、オフ状態に変更するものとした。すなわち、顔検出結果は画面表示をオン状態からオフ状態に変化させるためにのみ利用した。これに対して、図10の処理では、顔検出結果を、画面表示をオフ状態からオン状態に変化させるためにも利用するものとする。すなわち、画面表示のオフ状態において顔検出に成功したときにオフ状態をオン状態に戻す。
【0063】
そのために、図10の処理において、ステップS13において割り込みイベントが発生しない場合にもステップS15へ移行する。また、ステップS20において今回検出時の顔画像を保存したあと、画面表示がオフ状態ならばオン状態に変更するステップS24を追加した。
【0064】
これにより、ユーザが一旦表示画面の目視を止めて端末が節電状態に入ったあと、ユーザが再度目視を開始したときに、自動的に節電状態から元の非節電状態に復帰させることができる。
【0065】
以上の説明では、本実施の形態によるユーザ状態監視を行う対象となるアプリケーションを特に限定しなかったが、予め定めたアプリケーションについてのみユーザ状態監視を行うようにしてもよい。あるいは、予め定めたアプリケーション以外のアプリケーションについてのみユーザ状態監視を行うようにしてもよい。また、それらのアプリケーションはユーザが選択または設定可能としてもよい。図11(a)は前者の場合にユーザ状態監視対象アプリケーションを登録しておくテーブルを示している。図11(b)は後者の場合にユーザ状態監視対象外アプリケーションを登録しておくテーブルを示している。アプリケーションとしては、ウェブ閲覧、メール再生・作成、テレビ視聴、写真・ビデオ閲覧、スケジューラ(カレンダ表示)、待ち受け画面、等に関するものが挙げられる。
【0066】
本発明の具体的な利用例としては次のような場合が挙げられる。
【0067】
1.イベントが発生せず、画面の目視を続けている場合
長文のメール・Web閲覧時や、写真・ビデオ閲覧時など、キー入力などの操作が行われることなく画面の目視が行われている場合、上述した顔検出が成功し続ける限り、画面表示はオンの状態を継続される。これにより、所定時間経過に伴う表示オフなどに伴うユーザ操作のようなユーザの負担を軽減することができる。また、顔検出が失敗した場合、何らかの事情により、ユーザが画面の閲覧を中断した状態であり、画面の表示をオフにすることで、消費電力を低減する。
【0068】
2.ワンセグテレビなどの利用時に、画面の目視を中断した場合
特定のアプリケーションで画面表示を常にオンの状態にしている場合、机などに携帯端末を置いた状態で他の作業をしているときなど、“ながら見”をしている場合も多い。このような場合、顔検出が失敗した場合に表示オンを継続している必要はなく、表示オフ等を行うことにより消費電力を低減できる。また、図10で説明したようにユーザが視線を画面に戻すと自動的に画面表示がオンになるようにすれば、使い勝手を多分に向上させることができる。
【0069】
なお、テレビなどの音出力を伴うアプリケーションにおいては、表示の制御に加えて音声の制御(音量オフまたは低下)も行うことが好ましい。
【0070】
以上、本発明の好適な実施の形態について説明したが、上記で言及した以外にも種々の変形、変更を行うことが可能である。
【0071】
例えば、携帯電話端末を例として説明したが、本発明は、カメラ付きの携帯端末であれば、PDA、スマートフォン、小型PC、ゲーム機、電子手帳、電子辞書など、各種の携帯端末に適用可能である。
【0072】
表示の輝度(明るさ)の制御では、1回目の検出失敗時には画面照度を低減させ、2回目にはさらに低減、3回目に画面表示そのものをオフにするなど、段階的に画面表示の制御を行うようにしてもよい。この場合、画面表示が完全にオフになる前に検出が成功した場合には、ユーザの操作によらずに画面照度を元の設定に戻すようにしてもよい。
【図面の簡単な説明】
【0073】
【図1】本発明の携帯端末の表示制御のための主要な機能を表した機能ブロック図である。
【図2】携帯電話端末を例とした本発明による携帯端末の正面外観図である。
【図3】図2に示した携帯端末の概略のハードウェア構成を示したブロック図である。
【図4】本発明の携帯端末の典型的な使用状態を示す図である。
【図5】携帯端末の画面に対してユーザが正面前方を向いた状態、正面斜め下方向を向いた状態、横を向いた状態のそれぞれの撮影像を示す図である。
【図6】本発明の実施の形態の撮影像における顔のサイズの判定についての説明図である。
【図7】本発明の実施の形態における顔画像検出に基づく携帯端末の表示制御処理のフローチャートである。
【図8】図7のステップS16の顔検出処理の詳細フローを示した図である。
【図9】図8の顔検出処理に代わる他の顔検出処理の詳細フローを示した図である。
【図10】図7の処理の変形例を表したフローチャートである。
【図11】ユーザ状態監視対象アプリケーションまたはユーザ状態監視対象外アプリケーションを登録しておくテーブルを示す図である。
【符号の説明】
【0074】
14…上部筐体、16…表示部、18…ヒンジ部、25…下部筐体、100…ユーザ状態検出部、101…撮影部、103…顔認識処理部、105…判定部、110…表示制御部、120…表示部、130…操作部、200…携帯端末、201…制御部、202…アンテナ、203…通信部、204…表示部、205…操作部、206…記憶部、210…音声処理部、211…スピーカ、212…マイク、213…前面カメラ
【技術分野】
【0001】
本発明は、携帯端末に関し、特に、携帯端末の画面表示の制御を、より効果的に行える携帯端末、その表示制御方法および表示制御プログラムに関する。
【背景技術】
【0002】
LCD、有機ELなどの表示デバイスを用いた携帯端末の代表的なものとして携帯電話端末がある。このような携帯端末は電源として二次電池を採用しており、その電池残量が所定レベル以下となると動作不能となる。したがって、連続使用可能時間を伸ばすためには消費電力の低減が重要となる。
【0003】
特に、表示デバイスの消費電力は携帯端末全体の消費電力に大きな比重を有するため、従来、携帯端末においては、消費電力の低減(すなわち節電)を目的として、一定時間、携帯端末の操作が行われていないことが検出されたとき、段階的若しくは急激に画面の明るさを低下させたり、表示を消したりする機能が備えられている。
【0004】
携帯端末がカバンやポケットにしまってある場合のように、ユーザが端末の表示画面を見る必要のない場合、電力の消費を抑えるために、間欠的に距離センサを動作させて、ある所定時間以上の期間中に連続して近距離の被検出物(カバンやポケットの壁)が検出されたときに画面表示をオフする技術が提案されている(特許文献1参照)。
【0005】
また、カメラ付きの携帯端末において、特定条件を満たしたときにカメラ機能を起動し、ユーザの顔を撮影し、その特徴を分析することで本人認証(顔認証)を行う技術が提案されている(特許文献2)。
【0006】
さらに、カメラ付きの携帯端末において、撮影像内に写った人物の顔および目を検出し、表示画面に表示されている情報が端末ユーザ自身以外の他人により覗かれているおそれがあることを検出し、警告を発する技術も提案されている(特許文献3参照)。
【特許文献1】特開2002−198894号公報
【特許文献2】特開2005−244589号公報
【特許文献3】特開2003−264877号公報
【発明の開示】
【発明が解決しようとする課題】
【0007】
従来の節電機能では、ユーザが端末を操作することなく表示デバイスの画面を見続けている場合において、突然画面の輝度が低下したり消えたりすると、元の非節電表示状態に戻すためにユーザはいずれかのキーを押下するなどの何らかの操作をしなければならない。このような操作はユーザにとって煩わしい。また、例えばニュースのテロップ表示などを見ている場合に表示が途切れると、その後に操作をしてもテロップ表示の再開が途切れた時点と連続せず、節電機能が端末利用の妨げになる場合がある。
【0008】
逆に、ユーザが画面を目視していないのに、常に画面が見られていることを前提としたアプリケーションなどを起動していることによって画面の表示状態が連続的に維持される場合には、画面表示のために無駄な電力を消費されることになる。
【0009】
特許文献1に記載の従来技術では、カバンやポケットに収納されているときの節電は図れるが、そのような収納物から外に出されている場合でもユーザが目視していない場合には対応できない。
【0010】
特許文献2,3には携帯端末がカメラによりユーザの顔を撮影して検出することが示されているが、その撮影結果を節電に利用することについては何ら言及されていない。
【0011】
本発明はこのような背景においてなされたものであり、携帯端末の使い勝手を損なうことなく消費電力の節減を図ろうとするものである。
【課題を解決するための手段】
【0012】
本発明の携帯端末は、表示画面に情報を表示する表示手段と、ユーザが表示画面を目視しているか否かを所定の周期でチェックするユーザ状態検出手段と、このユーザ状態検出手段によりユーザが表示画面を目視していることが確認されている間、前記表示画面の表示状態を維持し、ユーザが表示画面を目視していないことが検出されたとき、前記表示画面の表示状態の維持を解除する表示制御手段とを備える。
【0013】
この構成によりユーザが表示画面を目視している間は表示状態を維持し、目視していないときには表示状態の維持を解除する、という表示制御を行うことができる。「表示状態の維持を解除」とは、具体的には例えば表示のオフ(バックライトがあればその消灯)、輝度(明るさ)低下、等である。
【0014】
前記ユーザ状態検出手段は、例えば、ユーザが前記表示画面を目視している状態を撮影することができる撮影部と、この撮影手段を周期的に起動して撮影像を取得し、この撮影像からユーザの顔を認識する顔認識処理部と、検出された顔画像に基づいてユーザの顔が正面を向いていることが検出されたとき、ユーザが表示画面を目視していると判定する判定部とにより構成することができる。
【0015】
前記判定部は、前記顔認識処理部の処理結果に基づいてユーザが所定時間以上目を閉じていることを検出したとき、前記判定部は、ユーザが表示画面を目視していないと判定するようにしてもよい。これにより、瞬き等により瞬間的に目視していない状態が撮影された場合の誤動作が防止される。そのためには、例えば、前記判定部は、ユーザが表示画面を目視していないことが検出されたとき、前記所定の周期より短い周期でユーザ状態検出を所定回リトライする。
【0016】
前記判定部は、前記顔認識処理部の処理結果に基づいて撮影像全体に対するユーザの顔の撮影像のサイズが所定サイズに満たないことを検出したとき、ユーザは表示画面を目視していないと判定するようにしてもよい。携帯端末から遠く離れた位置に居る人物の顔が検出されてもその人物は当該端末の表示画面を見ているユーザではないと推測され、この構成によりそのような人物の撮影に基づく誤動作が防止される。
【0017】
前記判定部は、今回検出された顔画像と前回または複数回前に検出された顔画像とを比較し、両顔画像が完全に一致したとき、ユーザは表示画面を目視していないと判定するようにしてもよい。これにより、人形や写真等が偶然撮影された場合の誤動作が防止される。
【0018】
前記ユーザ状態検出手段によるユーザの状態の監視は、予め定められたアプリケーションについてのみ、または、予め定められたアプリケーション以外のアプリケーションについてのみ、実行するようにしてもよい。これにより、必要性の高いアプリケーションについてのみ本発明の動作を実行させることができる。換言すれば、必要性の低いアプリケーションについて不要な撮影等の処理の実行を回避することができる。
【0019】
カメラ付き携帯端末の表示制御方法は、ユーザが表示画面を目視しているか否かを所定の周期でチェックするステップと、ユーザが表示画面を目視していることが確認されている間、前記表示画面の表示状態を維持するステップと、ユーザが表示画面を目視していないことが検出されたとき、前記表示画面の表示状態の維持を解除するステップとを備えたものである。
【0020】
本発明はこのような表示制御を行うコンピュータプログラムおよびこのプログラムをコンピュータ読み取り可能に格納した記録媒体としても把握することができる。
【0021】
本発明の他の構成および作用効果については以下に説明する。
【発明の効果】
【0022】
本発明によれば実際にユーザが端末の表示画面を目視しているか否かまでチェックして表示制御を行うので、ユーザの実際の利用状態に即した表示制御を行うことが可能となる。目視の有無により表示制御を行うことにより、ユーザの煩わしい操作の必要性が軽減され、携帯端末の使い勝手が向上する。
【0023】
また、目視の有無のチェックは携帯端末に付属のカメラを利用し、その撮影画像に基づいて行うことができるので、本発明の実施のために特別なハードウェアの追加は必要ない。
【発明を実施するための最良の形態】
【0024】
以下、本発明の好適な実施の形態について図面を参照しながら詳細に説明する。
【0025】
図1は本発明の携帯端末の表示制御のための主要な機能を表した機能ブロック図である。
【0026】
携帯端末は、テキストや画像等の各種情報を表示画面上に表示する表示部120と、ユーザの現在の状態、具体的には携帯端末の表示画面を目視しているか否かを周期的に検出するユーザ状態検出部100と、ユーザからの操作を受ける操作部130と、ユーザ状態検出部100および操作部130の出力に応じて表示部120の表示状態を制御する表示制御部110とを備えている。
【0027】
ユーザ状態検出部100は、携帯端末に備えられ、ユーザが表示画面を見ている状態の顔を撮影することができる撮影部101と、この撮影結果に基づいて撮影像中の顔および所定の顔パーツ(目、口等)を認識する顔認識処理部103と、この顔認識処理部103の認識結果に基づいてユーザが現在表示画面を目視しているか否かを判定する判定部105とを有する。
【0028】
図2に、携帯電話端末を例とした本発明による携帯端末200の正面外観図を示す。この携帯端末200は、表示部16を有する上部筐体14とテンキーを始めとする各種操作キーを備えた操作部を有する下部筐体25とをヒンジ部18で結合した折り畳み式の携帯電話端末を示している。上部筐体14の表示部16の画面と同じ側に、上記撮影部101として機能する前面カメラ213が配置されている。近年、被写体の撮影用に上部筐体の背面に配置されたカメラの他、テレビ電話機能をサポートするためにこのような前面カメラ213を備えた機種も出現している。勿論、筐体において前面側と背面側との間でレンズの向きを回転可能に支持されているカメラであっても、本発明の撮影部101として利用することができる。
【0029】
なお、携帯電話端末は折り畳み式に限るものではなく、いわゆるストレート型、スライド型、等その筐体の型は任意である。
【0030】
顔認識処理部103の顔認識技術は、デジタルカメラなどで採用されている既存の顔検出技術を用いることができるのでここでは詳述しない。
【0031】
図3は、図2に示した携帯端末200の概略のハードウェア構成を示したブロック図である。
【0032】
携帯端末200は、バス215で相互に接続された、制御部201、通信部203、表示部204、操作部205、記憶部206、音声処理部210、この音声処理部210に接続されたスピーカ211、マイク212、前面カメラ213等を備えている。図示しないが、その他、無線LANやBluetooth(登録商標)のような近距離無線通信部、GPS受信部、非接触IC機能部等を含んでもよい。
【0033】
制御部201は、CPU等を含み、携帯端末200の各部を制御する。本実施の形態では、この制御部201が表示制御部110およびユーザ状態検出部の一部として機能する。勿論、制御部201と独立したユーザ状態検出部を備えてもよい。
【0034】
通信部203は、RF部、変調回路等を含み、アンテナ202を介して基地局との間で、通話およびメールやWEBデータ等のための無線通信を行う。
【0035】
表示部204は、図1の表示部120に相当し、ユーザに対して可視情報を提示するための表示インタフェースを提供するものであり、LCDや有機EL等の表示デバイスを含む。表示デバイスの種類によっては背面から光を照射するバックライトを内蔵している。
【0036】
操作部205は、図1の操作部130に相当し、ユーザが指示やデータを入力するための入力インタフェースを提供するものであり、テンキー、カーソル移動キー、通話キー、電源キー等の各種操作キーを含む。
【0037】
記憶部206は、ROM,RAM,HDD等の記憶装置を含み、CPUが実行するOSや各種アプリケーション等のプログラムや各種データを記憶する。ROMには、フラッシュメモリのような再書き込み可能な不揮発性メモリを含みうる。プログラムには、本実施の形態における顔画像認識処理および判定を行うためのプログラムおよび必要なデータも含む。
【0038】
音声処理部210は、音声のエンコーダ、デコーダ、DA変換器、AD変換器等を含み、スピーカ211(イヤホン含む)に対する音声出力およびマイクからの音声入力を行う。
【0039】
前面カメラ213は、図1の撮影部101に相当し、CMOS、CCD等の撮像素子を有し、撮影した被写体のデジタル画像データを得るための撮影部を構成している。
【0040】
以下、上述したような携帯端末200の装置構成において、本実施の形態の動作について説明する。
【0041】
図4は、携帯端末200の典型的な使用状態を示している。すなわち、ユーザは携帯端末200の表示画面を自身の顔の方向に向けた状態で、自身の片方の手で携帯端末200を把持する。この状態で前面カメラ213の撮影を行うと、その撮影像にはユーザの顔が写ることになる。この撮影像から現在ユーザが表示画面を目視しているか否かを判断する。前面カメラ213の撮影を周期的(例えば1秒ないし数秒毎)に行えば、ユーザの状態の変化を確認することができる。すなわち、前記顔認識処理部の処理結果に基づいてユーザが所定時間以上目(両目)を閉じていることを検出したとき、前記判定部105は、ユーザが表示画面を目視していないと判定する。
【0042】
ユーザが表示画面を目視していることが確認されている間、表示画面の表示状態を維持し、ユーザが表示画面を目視していないことが検出されたとき、表示画面の表示状態の維持を解除する。「表示状態の維持を解除」には上述したように表示のオフ(バックライトがあればその消灯)、輝度(明るさ)低下、等を含むが、以下では、便宜上、単に表示のオフ、表示オフ、表示をオフする、等と表現する。
【0043】
携帯端末200の初期状態は、表示状態の維持を解除した状態であり、本実施の形態におけるユーザ状態検出部100からの検出出力が発生した場合、または、何らかの割り込みイベントが発生した場合に表示状態がオンとなる。割り込みイベントとは、キー操作、電話の呼び出しやアラームなどの発生である。この時点で時間カウント値がリセットされ、時間カウントが再開される。割り込みイベントが何ら発生することなく時間カウント値が所定値に達した時に画面表示はオフにされる。
【0044】
ユーザ状態検出部100の出力が「目視あり」から「目視なし」に変化したとき、表示部の現在の状態が表示オン状態であれば、表示制御部により表示オンから表示オフに切り替える。ユーザ状態検出部100の出力が「目視なし」から「目視あり」に変化したとき、表示部の現在の状態が表示オフ状態であれば、表示オンに切り替える。ただし、表示オフから表示オンへの切り替えはユーザ状態検出部100の出力によっては行わず、割り込みイベントの発生によってのみ行うようにすることも可能である。
【0045】
本実施の形態における、ユーザの表示画面に対する「目視」の有無についての具体的な判定方法を以下に説明する。
【0046】
「目視」状態の誤検出を避け、更に計算処理負荷を低減することによる高速化と電力消費の低減化を目的として、以下のような基準で判定を行う。
(1)二点の開いた目と口が検知されたことをもって顔が検出されたと判定する。すなわち、顔として認識する顔の向きを、カメラに対して正面、或いは正面に近い方向に限定する。これは、表示画面を見づらい位置から長時間見続けることがまれであり、その状況下において顔検出に失敗することにより、ユーザは画面を目視していないと判断できる。図5(a)〜(c)は、携帯端末200の画面に対してユーザが正面前方を向いた状態、正面斜め下方向を向いた状態、横を向いた状態のそれぞれの撮影像を示している。この場合、(a)(b)については顔が検出されたと判定され、(c)については顔は検出されなかったと判定される。
(2)顔検出を行う範囲を、携帯端末から所定の距離範囲(例えば数10cmから1m前後)内とする。これは、遠く離れた場所から携帯電話の画面を長時間見続けることは殆どないと考えられるからである。このような範囲内に限定することで、実際のユーザ以外に対しての誤反応の可能性を軽減することができる。図6に、この判定方法の一例を示す。図6(a)(b)はそれぞれ許容できる距離範囲の撮影像および許容距離範囲外の撮影像の例を示している。ここでは、携帯端末から遠くに離れるほど撮影像における顔のサイズが小さくなることを利用して、一定以上の大きさの顔から検出している。図示のように、例えば、顔サイズは両目および口を含む方形領域のサイズで判定することができる。これに代えて両目の間隔で判断することも可能である。すなわち、撮影像全体に対するユーザの顔の撮影像のサイズが所定サイズに満たないことを検出したとき、ユーザは表示画面を目視していないと判定する。
(3)今回検出された顔画像と前回または複数回前に検出された顔画像とを比較し、両顔画像が完全に一致したとき、ユーザは表示画面を目視していないと判定する。通常、図4に示したようにユーザが携帯端末を手で把持しているような場合、携帯端末とユーザの顔との位置関係は微妙に変換し、また、ユーザがまばたきをしたりする場合もある。したがって、通常のユーザの目視状態では周期的に撮影される顔画像に微妙な変化が生じ、前後して撮影された顔画像が完全に一致することはまれである。一方、携帯端末の前にユーザがいない状況で周囲の人形や写真などの顔などを撮影してしまった際に、ユーザが目視していると判断してしまうおそれがある。しかし、携帯端末が静止状態にある(例えば机上などに固定的に載置されている)場合でも、周囲に人形や写真が偶然に存在すれば、周期的に撮影された顔画像からユーザが目視していると判断されうる。そのような場合、カメラも被写体も静止しているので、前後に取得された顔画像同士の間では、各顔パーツの位置や色の濃淡などが完全に一致する。したがって、そのような状況を、ユーザが目視していない状態と判断することにより、誤検出を防止することができる。
【0047】
なお、例えば加速度センサなどを用いることで、携帯端末が静止していない場合には、前後の顔画像の比較を行わないなどの処理を加えることも出来る。
【0048】
次に図7に、本実施の形態における顔画像検出に基づく携帯端末の表示制御処理のフローチャートを示す。この処理は図3に示した制御部201が記憶部206に格納されているプログラムを読み出して実行することにより実現される。後述する他のフローチャートの処理についても同様である。
【0049】
本実施の形態では、「顔検出フラグ」と「前回顔検出フラグ」という二つのフラグを用いている。「顔検出フラグ」は上述したような判定基準に照らして顔が検出されたこと、特に本実施の形態では「目視」していることが確認されたことを示すフラグである。「前回顔検出フラグ」は前回の撮影時に顔ひいては目視が確認されてことを示すフラグである。
【0050】
両フラグは初期的にオフ(OFF)に設定している(S11)。その後、画面の表示が行われている画面表示オンの状態か否かをチェックする(S12)。否であればステップS22へ移行する。画面表示オフの状態であれば、割り込みイベントが発生したとき(S13,Yes)、画面表示をオンとし(S14)、ステップS23へ移行する。また、時間カウント値はリセットする。画面表示オンの状態で割り込みイベントも発生しなければ、顔検出判定のタイミングが到来したか否かをチェックする(S15)。否であればステップS23へ移行する。顔検出タイミングが到来したとき、顔検出処理を実行する(S16)。この処理の詳細については後述する。
【0051】
顔検出処理の結果、今回顔フラグをチェックする(S17)。今回顔フラグがOFFであれば、ステップS22へ移行する。今回顔フラグがONであれば、前回顔フラグをチェックする(S18)。前回顔フラグもONであれば、前回検出時の顔画像と今回検出時の顔画像とを比較する(S21)。両顔画像が一致すれば、検出された画像は人形等のものと判断して、画面表示をオフする(S22)。このとき、目視を促す警告や、登録された人物以外が端末を目視している旨の警告を出力(表示または音声出力等)するようにしてもよい。その後、ステップS11へ戻る。
【0052】
ステップS21において、両顔画像が一致しなければ、ユーザが表示画面を目視していると判断して、前回顔検出フラグをONにし(S19)、今回検出時の顔画像を保存する(S20)。ステップS19ではまた割り込みイベントが発生したときのように、時間カウント値はリセットする。その後、ステップS12へ戻る。ステップS19,20の順序は逆であってもよい。
【0053】
ステップS23では、本処理のプログラムの終了が指示されたか否かをチェックし、終了が指示されたとき、本処理を終了する。そうでなければ、ステップS12へ戻る。
【0054】
図8は、図7のステップS16の顔検出処理の詳細フローの一例を示している。まず、顔の撮影・認識・判定の処理を実行する(S31)。顔検出に成功したら、すなわちユーザが表示画面を目視していると判定されたとき(S32,Yes)、今回顔検出フラグをONに設定して(S34)、元の処理に戻る。顔検出に成功しなかった場合、今回顔検出フラグをOFFに設定して(S33)、元の処理に戻る。
【0055】
ところで、顔検出処理においては、ユーザが瞬きをしたり、一瞬だけよそ見をしたりしたときなどに撮影が行われるなど、本来であれば顔検出が成功しているべきときに、タイミングによっては失敗してしまう場合がある。そのような場合の対策を図9の顔検出処理(2)で説明する。
【0056】
この顔検出処理(2)は、図8の顔検出処理(1)に対して誤動作回避措置を追加したものである。
【0057】
まず、判定カウンタを0に初期化する(S41)。ついで、判定カウンタの値が規定値以下であるかどうかをチェックする(S42)。規定値以下であれば顔の撮影・認識・判定の処理を実行する(S43)。顔検出に成功したら、今回顔検出フラグをONに設定して、元の処理に戻る。顔検出に失敗したら、判定カウンタの値を1増やし、規定時間の待機(ウェイト)を行う(S45)。その後、ステップS42に戻る。この「規定時間」とは上記「顔検出タイミング」の周期より十分短い時間(コンマ何秒程度)である。
【0058】
ステップS42において判定カウンタの値が規定値を越えたら、今回顔検出フラグをOFFにする(S46)。
【0059】
このように、本顔検出処理(2)によれば一度顔検出に失敗しても直ちに今回顔検出フラグをOFFにするのではなく、比較的短い所定時間のうちに、再度、顔の撮影・認識・判定を行うことにより追加的に顔検出の機会が与えられる。すなわち、判定部105は、ユーザが表示画面を目視していないことが検出されたとき、前記所定の周期より短い周期でユーザ状態検出を所定回リトライする。その結果、瞬き等の瞬間的なユーザ動作に基づく誤判定に対処することが可能となる。
【0060】
なお、ステップS42の「規定値」は顔検出のリトライが許される回数に相当する。この規定値は予め定めた固定値であってもよいし、ユーザが可変設定できるようにしてもよい。
【0061】
図10は、図7の処理の変形例を表したフローチャートである。図7に示したステップと同様のステップには同じ参照符号を付して、重複した説明は省略する。
【0062】
図7の処理においては、画面表示のオン状態において顔検出に失敗したとき、オフ状態に変更するものとした。すなわち、顔検出結果は画面表示をオン状態からオフ状態に変化させるためにのみ利用した。これに対して、図10の処理では、顔検出結果を、画面表示をオフ状態からオン状態に変化させるためにも利用するものとする。すなわち、画面表示のオフ状態において顔検出に成功したときにオフ状態をオン状態に戻す。
【0063】
そのために、図10の処理において、ステップS13において割り込みイベントが発生しない場合にもステップS15へ移行する。また、ステップS20において今回検出時の顔画像を保存したあと、画面表示がオフ状態ならばオン状態に変更するステップS24を追加した。
【0064】
これにより、ユーザが一旦表示画面の目視を止めて端末が節電状態に入ったあと、ユーザが再度目視を開始したときに、自動的に節電状態から元の非節電状態に復帰させることができる。
【0065】
以上の説明では、本実施の形態によるユーザ状態監視を行う対象となるアプリケーションを特に限定しなかったが、予め定めたアプリケーションについてのみユーザ状態監視を行うようにしてもよい。あるいは、予め定めたアプリケーション以外のアプリケーションについてのみユーザ状態監視を行うようにしてもよい。また、それらのアプリケーションはユーザが選択または設定可能としてもよい。図11(a)は前者の場合にユーザ状態監視対象アプリケーションを登録しておくテーブルを示している。図11(b)は後者の場合にユーザ状態監視対象外アプリケーションを登録しておくテーブルを示している。アプリケーションとしては、ウェブ閲覧、メール再生・作成、テレビ視聴、写真・ビデオ閲覧、スケジューラ(カレンダ表示)、待ち受け画面、等に関するものが挙げられる。
【0066】
本発明の具体的な利用例としては次のような場合が挙げられる。
【0067】
1.イベントが発生せず、画面の目視を続けている場合
長文のメール・Web閲覧時や、写真・ビデオ閲覧時など、キー入力などの操作が行われることなく画面の目視が行われている場合、上述した顔検出が成功し続ける限り、画面表示はオンの状態を継続される。これにより、所定時間経過に伴う表示オフなどに伴うユーザ操作のようなユーザの負担を軽減することができる。また、顔検出が失敗した場合、何らかの事情により、ユーザが画面の閲覧を中断した状態であり、画面の表示をオフにすることで、消費電力を低減する。
【0068】
2.ワンセグテレビなどの利用時に、画面の目視を中断した場合
特定のアプリケーションで画面表示を常にオンの状態にしている場合、机などに携帯端末を置いた状態で他の作業をしているときなど、“ながら見”をしている場合も多い。このような場合、顔検出が失敗した場合に表示オンを継続している必要はなく、表示オフ等を行うことにより消費電力を低減できる。また、図10で説明したようにユーザが視線を画面に戻すと自動的に画面表示がオンになるようにすれば、使い勝手を多分に向上させることができる。
【0069】
なお、テレビなどの音出力を伴うアプリケーションにおいては、表示の制御に加えて音声の制御(音量オフまたは低下)も行うことが好ましい。
【0070】
以上、本発明の好適な実施の形態について説明したが、上記で言及した以外にも種々の変形、変更を行うことが可能である。
【0071】
例えば、携帯電話端末を例として説明したが、本発明は、カメラ付きの携帯端末であれば、PDA、スマートフォン、小型PC、ゲーム機、電子手帳、電子辞書など、各種の携帯端末に適用可能である。
【0072】
表示の輝度(明るさ)の制御では、1回目の検出失敗時には画面照度を低減させ、2回目にはさらに低減、3回目に画面表示そのものをオフにするなど、段階的に画面表示の制御を行うようにしてもよい。この場合、画面表示が完全にオフになる前に検出が成功した場合には、ユーザの操作によらずに画面照度を元の設定に戻すようにしてもよい。
【図面の簡単な説明】
【0073】
【図1】本発明の携帯端末の表示制御のための主要な機能を表した機能ブロック図である。
【図2】携帯電話端末を例とした本発明による携帯端末の正面外観図である。
【図3】図2に示した携帯端末の概略のハードウェア構成を示したブロック図である。
【図4】本発明の携帯端末の典型的な使用状態を示す図である。
【図5】携帯端末の画面に対してユーザが正面前方を向いた状態、正面斜め下方向を向いた状態、横を向いた状態のそれぞれの撮影像を示す図である。
【図6】本発明の実施の形態の撮影像における顔のサイズの判定についての説明図である。
【図7】本発明の実施の形態における顔画像検出に基づく携帯端末の表示制御処理のフローチャートである。
【図8】図7のステップS16の顔検出処理の詳細フローを示した図である。
【図9】図8の顔検出処理に代わる他の顔検出処理の詳細フローを示した図である。
【図10】図7の処理の変形例を表したフローチャートである。
【図11】ユーザ状態監視対象アプリケーションまたはユーザ状態監視対象外アプリケーションを登録しておくテーブルを示す図である。
【符号の説明】
【0074】
14…上部筐体、16…表示部、18…ヒンジ部、25…下部筐体、100…ユーザ状態検出部、101…撮影部、103…顔認識処理部、105…判定部、110…表示制御部、120…表示部、130…操作部、200…携帯端末、201…制御部、202…アンテナ、203…通信部、204…表示部、205…操作部、206…記憶部、210…音声処理部、211…スピーカ、212…マイク、213…前面カメラ
【特許請求の範囲】
【請求項1】
表示画面に情報を表示する表示手段と、
ユーザが表示画面を目視しているか否かを所定の周期でチェックするユーザ状態検出手段と、
このユーザ状態検出手段によりユーザが表示画面を目視していることが確認されている間、前記表示画面の表示状態を維持し、ユーザが表示画面を目視していないことが検出されたとき、前記表示画面の表示状態の維持を解除する表示制御手段と
を備えた携帯端末。
【請求項2】
前記ユーザ状態検出手段は、ユーザが前記表示画面を目視している状態を撮影することができる撮影部と、この撮影手段を周期的に起動して撮影像を取得し、この撮影像からユーザの顔を認識する顔認識処理部と、検出された顔画像に基づいてユーザの顔が正面を向いていることが検出されたとき、ユーザが表示画面を目視していると判定する判定部とを有する請求項1に記載の携帯端末。
【請求項3】
前記判定部は、前記顔認識処理部の処理結果に基づいてユーザが所定時間以上目を閉じていることを検出したとき、前記判定部は、ユーザが表示画面を目視していないと判定する請求項2に記載の携帯端末。
【請求項4】
前記判定部は、ユーザが表示画面を目視していないことが検出されたとき、前記所定の周期より短い周期でユーザ状態検出を所定回リトライする請求項2または3に記載の携帯端末。
【請求項5】
前記判定部は、前記顔認識処理部の処理結果に基づいて撮影像全体に対するユーザの顔の撮影像のサイズが所定サイズに満たないことを検出したとき、ユーザは表示画面を目視していないと判定する請求項2に記載の携帯端末。
【請求項6】
前記判定部は、今回検出された顔画像と前回または複数回前に検出された顔画像とを比較し、両顔画像が完全に一致したとき、ユーザは表示画面を目視していないと判定する請求項2に記載の携帯端末。
【請求項7】
前記ユーザ状態検出手段によるユーザの状態の監視は、予め定められたアプリケーションについてのみ、または、予め定められたアプリケーション以外のアプリケーションについてのみ、実行する請求項1に記載の携帯端末。
【請求項8】
前記表示制御手段は、前記表示画面の表示状態の維持を解除したあと、ユーザが表示画面を目視していることが検出されたとき、前記表示画面の表示状態の復帰させる請求項1に記載の携帯端末。
【請求項9】
カメラ付き携帯端末の表示制御方法であって、
ユーザが表示画面を目視しているか否かを所定の周期でチェックするステップと、
ユーザが表示画面を目視していることが確認されている間、前記表示画面の表示状態を維持するステップと、
ユーザが表示画面を目視していないことが検出されたとき、前記表示画面の表示状態の維持を解除するステップと
を備えた携帯端末の表示制御方法。
【請求項10】
カメラ付き携帯端末の表示制御プログラムであって、
ユーザが表示画面を目視しているか否かを所定の周期でチェックするステップと、
ユーザが表示画面を目視していることが確認されている間、前記表示画面の表示状態を維持するステップと、
ユーザが表示画面を目視していないことが検出されたとき、前記表示画面の表示状態の維持を解除するステップと
をコンピュータに実行させる表示制御プログラム。
【請求項1】
表示画面に情報を表示する表示手段と、
ユーザが表示画面を目視しているか否かを所定の周期でチェックするユーザ状態検出手段と、
このユーザ状態検出手段によりユーザが表示画面を目視していることが確認されている間、前記表示画面の表示状態を維持し、ユーザが表示画面を目視していないことが検出されたとき、前記表示画面の表示状態の維持を解除する表示制御手段と
を備えた携帯端末。
【請求項2】
前記ユーザ状態検出手段は、ユーザが前記表示画面を目視している状態を撮影することができる撮影部と、この撮影手段を周期的に起動して撮影像を取得し、この撮影像からユーザの顔を認識する顔認識処理部と、検出された顔画像に基づいてユーザの顔が正面を向いていることが検出されたとき、ユーザが表示画面を目視していると判定する判定部とを有する請求項1に記載の携帯端末。
【請求項3】
前記判定部は、前記顔認識処理部の処理結果に基づいてユーザが所定時間以上目を閉じていることを検出したとき、前記判定部は、ユーザが表示画面を目視していないと判定する請求項2に記載の携帯端末。
【請求項4】
前記判定部は、ユーザが表示画面を目視していないことが検出されたとき、前記所定の周期より短い周期でユーザ状態検出を所定回リトライする請求項2または3に記載の携帯端末。
【請求項5】
前記判定部は、前記顔認識処理部の処理結果に基づいて撮影像全体に対するユーザの顔の撮影像のサイズが所定サイズに満たないことを検出したとき、ユーザは表示画面を目視していないと判定する請求項2に記載の携帯端末。
【請求項6】
前記判定部は、今回検出された顔画像と前回または複数回前に検出された顔画像とを比較し、両顔画像が完全に一致したとき、ユーザは表示画面を目視していないと判定する請求項2に記載の携帯端末。
【請求項7】
前記ユーザ状態検出手段によるユーザの状態の監視は、予め定められたアプリケーションについてのみ、または、予め定められたアプリケーション以外のアプリケーションについてのみ、実行する請求項1に記載の携帯端末。
【請求項8】
前記表示制御手段は、前記表示画面の表示状態の維持を解除したあと、ユーザが表示画面を目視していることが検出されたとき、前記表示画面の表示状態の復帰させる請求項1に記載の携帯端末。
【請求項9】
カメラ付き携帯端末の表示制御方法であって、
ユーザが表示画面を目視しているか否かを所定の周期でチェックするステップと、
ユーザが表示画面を目視していることが確認されている間、前記表示画面の表示状態を維持するステップと、
ユーザが表示画面を目視していないことが検出されたとき、前記表示画面の表示状態の維持を解除するステップと
を備えた携帯端末の表示制御方法。
【請求項10】
カメラ付き携帯端末の表示制御プログラムであって、
ユーザが表示画面を目視しているか否かを所定の周期でチェックするステップと、
ユーザが表示画面を目視していることが確認されている間、前記表示画面の表示状態を維持するステップと、
ユーザが表示画面を目視していないことが検出されたとき、前記表示画面の表示状態の維持を解除するステップと
をコンピュータに実行させる表示制御プログラム。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【公開番号】特開2009−267644(P2009−267644A)
【公開日】平成21年11月12日(2009.11.12)
【国際特許分類】
【出願番号】特願2008−113080(P2008−113080)
【出願日】平成20年4月23日(2008.4.23)
【出願人】(501431073)ソニー・エリクソン・モバイルコミュニケーションズ株式会社 (810)
【Fターム(参考)】
【公開日】平成21年11月12日(2009.11.12)
【国際特許分類】
【出願日】平成20年4月23日(2008.4.23)
【出願人】(501431073)ソニー・エリクソン・モバイルコミュニケーションズ株式会社 (810)
【Fターム(参考)】
[ Back to top ]