携帯端末装置、プログラムおよび表示制御方法
【課題】ユーザが望む状況において、適時、画面の表示態様を、画面に表示された文字の視認性が高まる表示態様へ変更することができる携帯端末装置、プログラムおよび表示制御方法を提供する。
【解決手段】携帯電話機1は、画面を表示する表示部13と、画面と略同一方向を向くよう配された撮影部15と、判定部31と、表示変更部32と、を備える。判定部31は、画面に向くユーザの状態が画面を閲覧しにくい状態を示す所定の判定条件に合致するか否かを、撮影部15により撮影された撮影画像Cに基づき判定する。表示変更部32は、判定部31によりユーザの状態が判定条件に合致すると判定されたことに基づいて、画面の表示態様を、前記画面上に表示された文字Aの視認性が高まる表示態様へ変更する。
【解決手段】携帯電話機1は、画面を表示する表示部13と、画面と略同一方向を向くよう配された撮影部15と、判定部31と、表示変更部32と、を備える。判定部31は、画面に向くユーザの状態が画面を閲覧しにくい状態を示す所定の判定条件に合致するか否かを、撮影部15により撮影された撮影画像Cに基づき判定する。表示変更部32は、判定部31によりユーザの状態が判定条件に合致すると判定されたことに基づいて、画面の表示態様を、前記画面上に表示された文字Aの視認性が高まる表示態様へ変更する。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、携帯電話機、PDA(Personal Digital Assistant)、タブレットPC(TabletPC)、電子書籍端末等の携帯端末装置および当該携帯端末装置に用いて好適なプログラムと表示制御方法に関するものである。
【背景技術】
【0002】
従来、携帯端末装置において、ユーザによる操作に応じて、画面に表示された文字の大きさを変更する構成が知られている(たとえば、特許文献1参照)。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開2011−60215号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、上記の構成では、文字を拡大するために、ユーザからの操作が必要となる。このため、たとえば、この操作の方法をユーザが知らないような場合、ユーザは、文字の拡大を望んだとしても、即座に、文字を拡大させることができない。
【0005】
文字を含む画面をユーザが快適に閲覧できない状況においては、適時、文字が拡大される等、文字の視認性が高まるよう画面の表示態様が変更されることが望ましい。
【0006】
そこで、本発明は、ユーザが望む状況において、適時、画面の表示態様を、画面に表示されている文字の視認性が高まる表示態様へ変更することができる携帯端末装置、プログラムおよび表示制御方法を提供することを目的とする。
【課題を解決するための手段】
【0007】
本発明の第1の態様は携帯端末装置に関する。本態様に係る携帯端末装置は、画面を表示する表示部と、前記画面と略同一方向を向くよう配された撮影部と、前記画面に向く人物の状態が前記画面を閲覧しにくい状態を示す所定の判定条件に合致するか否かを、前記撮影部により撮影された画像に基づき判定する判定部と、前記判定部により前記人物の状態が前記判定条件に合致すると判定されたことに基づいて、前記画面の表示態様を、前記画面上に表示された文字の視認性が高まる表示態様へ変更する表示変更部と、を備える。
【0008】
本態様に係る携帯端末装置において、前記表示変更部は、前記判定部により前記人物の状態が前記判定条件に合致すると判定されたことに基づいて、前記画面において、前記文字の拡大、前記文字の色の強調、前記文字の書体の強調、前記文字と前記文字の背景の色とのコントラストの強調、前記画面の輝度を上げる変更のうち少なくとも1つを適用するよう構成され得る。
【0009】
本態様に係る携帯端末装置は、前記人物の年齢を前記画像に基づき推定する年齢推定部をさらに備え得る。この場合、前記判定条件は、前記年齢推定部により推定された年齢が所定の閾値を超えることを含む。
【0010】
本態様に係る携帯端末装置は、前記人物の視線の先にある前記画面上における視線位置を前記画像に基づき検出する位置検出部をさらに備え得る。この場合、前記判定条件は、前記視線位置が、前記画面上において、所定の時間以上停止することを含む。
【0011】
ここで、請求項3における「停止する」との文言は、完全に停止する状態のみならず、ユーザが画面上のある箇所を注視しているときに視線位置がゆれ動く程度の状態をも包含する。
【0012】
本態様に係る携帯端末装置は、前記画像に含まれる前記人物の顔の領域の大きさを検出する大きさ検出部をさらに備え得る。ここで、前記判定条件は、所定の期間における前記顔の領域の大きさの変化量が、所定の閾値以上であることを含む。
【0013】
本態様に係る携帯端末装置において、前記表示変更部による前記画面の前記表示態様の変更が適用されるプログラムであるか否か、を判別するための情報を記憶する記憶部をさらに備え得る。この場合、前記表示変更部は、前記画面の前記表示態様の変更が、前記画面に対応する前記プログラムへ適用されることを前記情報が示す場合、前記判定部により前記人物が前記画面を閲覧しにくい状態にあると判定されたことに基づいて、前記画面の表示態様を、前記画面上に表示された前記文字の視認性が高まる表示態様へ変更する。
【0014】
本発明の第2の態様は、プログラムに関する。本態様に係るプログラムは、画面を表示する表示部と、前記画面と略同一方向を向くよう配された撮影部と、を備える携帯端末装置のコンピュータに、前記画面に向く人物の状態が前記画面を閲覧しにくい状態を示す所定の判定条件に合致するか否かを、前記撮影部により撮影された画像に基づき判定する機能と、前記人物の状態が前記判定条件に合致すると判定したことに基づいて、前記画面の表示態様を、前記画面上に表示された文字の視認性が高まる表示態様へ変更する機能と、を付与する。
【0015】
本発明の第3の態様は、画面を表示する表示部と、前記画面と略同一方向を向くよう配された撮影部と、を備える携帯端末装置の表示制御方法に関する。本態様に係る表示制御方法は、前記画面に向く人物の状態が前記画面を閲覧しにくい状態を示す所定の判定条件に合致するか否かを、前記撮影部により撮影された画像に基づき判定するステップと、前記人物の状態が前記判定条件に合致すると判定したことに基づいて、前記画面の表示態様を、前記画面上に表示された文字の視認性が高まる表示態様へ変更するステップと、を含む。
【発明の効果】
【0016】
本発明によれば、ユーザが望む状況において、適時、画面の表示態様を、画面に表示された文字の視認性が高まる表示態様へ変更することができる携帯端末装置、プログラムおよび表示制御方法を提供できる。
【0017】
本発明の効果ないし意義は、以下に示す実施の形態の説明によりさらに明らかとなろう。ただし、以下の実施の形態は、あくまでも、本発明を実施化する際の一つの例示であって、本発明は、以下の実施の形態に記載されたものに何ら制限されるものではない。
【図面の簡単な説明】
【0018】
【図1】実施の形態に係る、携帯電話機の外観構成を示す図である。
【図2】実施の形態に係る、携帯電話機の全体構成を示すブロック図と、プログラムリストの例を示す表である。
【図3】実施の形態に係る、撮影画像と、撮影画像に含まれるユーザの顔の画像の例を示す図である。
【図4】実施の形態に係る、表示変更部により拡大される前の画面と、拡大された後の画面とを例示する図である。
【図5】実施の形態に係る、表示制御処理を示すフローチャートである。
【図6】変更例1に係る、携帯電話機の全体構成を示すブロック図と、プログラムリストの例を示す表である。
【図7】変更例1に係る、表示面およびユーザの顔の間の距離と、各々の距離の状態における撮影画像を例示する図である。
【図8】変更例1に係る、表示制御処理を示すフローチャートである。
【図9】変更例2に係る、携帯電話機の全体構成を示すブロック図と、プログラムリストの例を示す表である。
【図10】変更例2に係る、表示面上の視線位置を説明する図と、表示制御処理を示すフローチャートである。
【図11】変更例3に係る、表示制御処理を示すフローチャートと、文字の拡大に関する要否を問い合わせるために表示面に表示される画像を例示する図である。
【図12】変更例4に係る、表示制御処理を示すフローチャートと、画面上の文字を拡大させるためのアイコンを例示する図である。
【図13】その他の変更例に係る、表示制御処理を示すフローチャートである。
【図14】その他の変更例に係る、表示制御処理を示すフローチャートである。
【発明を実施するための形態】
【0019】
以下、本発明の実施の形態について、図面を参照して説明する。
【0020】
図1は、携帯電話機1の外観構成を示す正面図である。
【0021】
携帯電話機1は、キャビネット2と、表示面3と、レンズ窓4と、マイクロフォン5と、スピーカ6と、キー操作部7と、を備える。
【0022】
表示面3は、キャビネット2の正面に配されている。表示面3は、後述の表示部(図2(a))の表示面である。表示面3には画面が表示される。
【0023】
レンズ窓4は、キャビネット2の正面方向、すなわち、表示面3に表示される画面が向けられる方向を向くよう配されている。画面を閲覧するユーザの顔等、キャビネット2の正面方向にある被写体の像が、レンズ窓4から撮影部15へ取り込まれる。
【0024】
マイクロフォン5は、入力した音に応じた電気信号を、後述の音声処理部(図2(a))へ出力する。スピーカ6は、音声処理部から入力する電気信号に応じた音を出力する。
【0025】
キー操作部7は、キャビネット2に設けられている。キー操作部7は、ソフトキー、ハードキー等のキーから構成されている。実行中のプログラム等に応じた各種の機能が、各キーに割り当てられる。
【0026】
図2(a)は、携帯電話機1の全体構成を示すブロック図である。
【0027】
携帯電話機1は、制御部11と、記憶部12と、表示部13と、操作入力部14と、撮影部15と、音声入力部16と、音声出力部17と、音声処理部18と、キー操作入力部19と、通信部20と、を備える。
【0028】
記憶部12は、ROM、RAM等から構成される。記憶部12には、プログラム21が記憶されている。プログラム21は、携帯電話機1の各部を制御するための制御プログラムの他、各種(たとえば、電子メール、ブラウザ、電話帳、電子書籍閲覧)のアプリケーション・プログラム(以下、単に「アプリケーション」と言う。)等からなる。プログラム21は、後述される判定部31と表示変更部32、顔検出部33、年齢推定部34の機能を実行するためのプログラムも含む。
【0029】
記憶部12は、プログラム21の実行の際、一時的に利用または生成されるデータを記憶する、ワーキング領域としても使用される。
【0030】
制御部11は、CPU等から構成されている。制御部11は、制御プログラムに従って、記憶部12、表示部13、操作入力部14、撮影部15、音声出力部17、音声入力部16、音声処理部18、キー操作入力部19等の携帯電話機1を構成する各部を制御することにより、各種のアプリケーションを実行する。
【0031】
表示部13は、制御部11からの制御信号と画像信号とに基づき、表示面3に画面を表示する。表示部13は、液晶ディスプレイ等から構成されている。表示部13は、液晶ディスプレイに限らず、有機ELディスプレイ等、他の表示装置から構成されてもよい。
【0032】
操作入力部14は、指、タッチペン等(簡単のため、以下、単に「指」と言う。)の表示面3への接触を検出するタッチセンサ等から構成されている。タッチセンサは、上記の液晶ディスプレイと一体的に形成されることにより、タッチパネルを構成している。タッチセンサは、透明なシート状に形成され、表示面3上を覆うように配されている。
【0033】
操作入力部14は、表示面3に対するタッチの操作の入力を受け付ける。操作入力部14は、指が触れた表示面3上の位置を入力位置として検出し、入力位置に応じた位置信号を制御部11へ出力する。
【0034】
ユーザは、指を表示面3に触れることにより、表示面3に対するタッチ、タップ、スライド、フリック等の各種の操作を行える。ここで、「タッチ」は、表示面3に指を接触させる操作である。「タップ」は、表示面3に指を接触させた後、リリース(離す)する操作である。「フリック」は、表示面3に指を接触させて弾く操作(指を接触させた後、所定速度で移動させて離す操作)である。「スライド」は、表示面3に指を接触させたまま所定距離移動させた後、タッチパネル上より指を離す操作である。
【0035】
操作入力部14を構成するタッチセンサは、静電容量式、超音波式、感圧式、抵抗膜式、光検知式等、各種のタッチセンサであってよい。
【0036】
撮影部15は、レンズ窓4から入射した光の像を撮像するCCD、CMOSセンサ等の撮像素子、撮像素子から出力された信号にA/D変換を施すA/D変換回路、A/D変換が施された後の信号に補正(ガンマ補正等)を適用する補正回路等から構成される。撮影部15は、撮影により生成した画像(以下、「撮影画像」と言う。)を示すデジタル信号を、制御部11へ送信する。
【0037】
音声入力部16は、マイクロフォン5等から構成される。音声入力部16は、マイクロフォン5からの電気信号を、音声処理部18へ出力する。
【0038】
音声出力部17は、スピーカ6等から構成される。音声出力部17は、音声処理部18からの電気信号を入力し、スピーカ6から音声を出力する。
【0039】
音声処理部18は、音声入力部16からの電気信号にA/D変換等を施し、変換後のデジタルの音声信号を制御部11へ出力する。音声処理部18は、制御部11からのデジタルの音声信号にデコード処理およびD/A変換等を施し、変換後の電気信号を音声出力部17に出力する。
【0040】
キー操作入力部19は、キー操作部7の各キーが押下されたときに、押下されたキーに
応じた信号を制御部11へ出力する。
【0041】
通信部20は、通話や通信のための電波を送受信するアンテナを備える。通信部20は、制御部11から入力される通話や通信のための信号を無線信号に変換し、変換された無線信号を、アンテナを介して、基地局や他の通信装置等の通信先へ送信する。また、通信部20は、アンテナを介して受信した無線信号を制御部11が利用できる形式の信号へ変換し、変換された信号を制御部11へ出力する。
【0042】
さて、本実施の形態の携帯電話機1は、文字の拡大の要否を自動で判定し、表示されている文字を拡大する機能を備えている。このような機能を実現するプログラムを実行するため、記憶部12はプログラムリスト22を記憶し、制御部11は、判定部31と、表示変更部32と、顔検出部33と、年齢推定部34と、を備える。
【0043】
図2(b)は、プログラムリスト22の例を示す表である。プログラムリスト22には、上記判定処理を適用するプログラム21として、電子メール、電話帳、基本設定、ウェブブラウザ、電子書籍等、実行の際に文字を主体とした画面を表示するプログラムが登録されている。後述されるように、プログラムリスト22に登録されているアプリケーションに対して、文字の拡大の要否を判定する判定処理(後述の判定部により実行される)が適用される。
【0044】
判定部31は、表示面3に向くユーザの状態が画面を閲覧しにくい状態を示すかを、撮影部15により撮影された撮影画像に基づき判定する。
【0045】
図3(a)、(b)は、撮影部15により撮影された撮影画像Cと、撮影画像Cに含まれるユーザの顔Bの例を示す図である。ユーザが携帯電話機1を使用するとき、撮影部15が駆動されると、撮影部15は、キャビネット2の正面方向(ユーザの顔がある方向)を撮影する。このため、制御部11は、たとえば図3(a)に示す、青年の顔Bを含む撮影画像C、あるいは図3(b)に示す、老人の顔Bを含む撮影画像Cを、撮影部15から取得する。
【0046】
判定部31は、このような撮影画像Cに関する所定の判定条件に基づいて、画面を閲覧しにくい状態にあるか否かを判定する。まず、後述の顔検出部33と年齢推定部34により、ユーザの顔Bが映った撮影画像Cに基づいて、ユーザの年齢yが推定される。判定部31は、年齢yが所定の閾値Y(たとえばY=65)以上であるか否かを判定する。ここで、閾値Yは、たとえば50〜90程度に設定される。
【0047】
ユーザが高齢である場合には、視力の衰え等により、画面上の通常の大きさの文字が見にくい場合が多い。判定部31は、推定されたユーザの年齢が閾値Y以上であれば、ユーザが高齢であることにより、画面を閲覧にくい状態にあると判定する。
【0048】
たとえば、判定部31は、図3(a)に示される撮影画像Cに対しては、y<65であると判定する一方、図3(b)に示される撮影画像Cに対しては、y≧65であると判定する。
【0049】
表示変更部32は、表示面3に表示されている画面上の文字を拡大するよう表示部13を制御する。
【0050】
表示変更部32は、たとえば、文字を拡大する際、表示面3に表示されている画面の一部分を、当該画面の表示領域に拡大して表示する。あるいは、表示変更部32は、当該画面における全体的なレイアウトを略保ちつつ、文字のフォントサイズを変更するよう構成
されてもよい。
【0051】
図4(a)、(b)は、それぞれ、表示変更部32により拡大される前の画面と、拡大された後の画面とを例示する図である。図4(a)、(b)において、表示面3には、基本設定のための画面が表示されている。ここで、「基本設定」のプログラム21は、携帯電話機1の全体的な使用環境に関わる設定(たとえば、文字の大きさの設定、通話設定、音設定、セキュリティ設定)をユーザが行うためのプログラムであり、「基本設定」はプログラムリスト22(図2(b))に登録されている。
【0052】
図4(a)、(b)に示される画面上には、文字Aが表示されている。
【0053】
図4(a)に示す如く基本設定の画面が表示面3に表示されている状態において、ユーザが画面を閲覧しにくい状態にあると判定部31が判定した場合、表示変更部32は、図4(a)に示す如く表示されている文字Aを、図4(b)に示す如く拡大する。図4(b)に示される拡大後の文字Aは、図4(a)に示される文字Aに比較して大きい。
【0054】
顔検出部33と、年齢推定部34の詳細について、以下に説明する。
【0055】
顔検出部33は、撮影画像Cの中から主に肌色からなる領域を、顔の画像の候補として抽出する。そして、顔検出部33は、抽出した領域上において、目、鼻、口、シワ等の顔の特徴を、当該領域上における色や模様の分布に基づいて検出する。当該領域上において一定の確度で顔の特徴が検出された場合、顔検出部33は、当該領域が顔Bの画像の領域であるとして、撮影画像Cから顔Bを検出する。
【0056】
年齢推定部34は、検出された顔Bの画像から、ユーザの年齢yを推定する処理を実行する。年齢推定部34は、顔Bの画像において、目、鼻、口、耳、シワ等の各部分の形状や相対的位置、顔Bの輪郭等に基づき、年齢に依存するパラメータを抽出する。年齢推定部34は、抽出したパラメータに基づいてユーザの年齢を推定する。
【0057】
たとえば、年齢推定部34は、図3(a)に示されるユーザの顔Bの画像に基づき、ユーザは25歳(y=25)であると推定する。また、年齢推定部34は、図3(b)に示される顔Bの画像に基づき、ユーザは70歳(y=70)であると推定する。
【0058】
なお、年齢推定の手法については、たとえば、特開平09−230751号公報に詳述されている。
【0059】
図5は、本実施の形態に係る、表示制御処理を示すフローチャートである。図5に示される表示制御処理は、電子メールや基本設定等のプログラム21がユーザにより起動されたことに応じて、開始される。
【0060】
制御部11は、ユーザにより起動されたプログラムがプログラムリスト22に登録されている場合(S101:YES)、当該判定処理に用いる撮影画像を取得するため、撮影部15を起動する(S102)。
【0061】
制御部11は、起動されたプログラムがプログラムリスト22に登録されていない場合(S101:NO)、文字を拡大する必要がないとして、図5に示される表示制御処理を終了する。
【0062】
撮影部15が起動された後(S102)、顔検出部33は、撮影部15より取得する撮影画像Cから、上述の如くユーザの顔Bを検出する(S103)。年齢推定部34は、顔
検出部33により検出された顔Bの画像に基づき、上述の如くユーザの年齢yを推定する(S104)。
【0063】
判定部31は、年齢推定部34により推定された年齢yが閾値Y以上(y≧Y)であるか否かを判定する(S105)。たとえば、図3(b)に示される撮影画像Cの如く、判定条件y≧Yが満たされると判定部31が判定した場合(S105:YES)、表示変更部32は、図4(b)に示すように、表示面3に表示された画面上の文字Aを拡大する(S106)。文字Aの拡大後、制御部11は撮影部15を停止し(S107)、表示制御処理を終了する。
【0064】
文字Aの拡大(S106)の実行の前に、制御部11は、「文字を拡大します。」等、文字Aが拡大されることをユーザへ通知する所定の音声を音声出力部17より再生してもよい。上記音声が再生されることにより、ユーザは、画面の表示態様が変更されることを事前に認識できる。制御部11は、「文字を拡大します。」との文字を表示面3に表示しても良い。
【0065】
図3(a)に示される撮影画像Cの如く、判定条件y≧Yが満たされない、すなわちy<Yであると判定部31が判定した場合(S105:NO)、制御部11は、文字Aの拡大の必要はないとして、撮影部15を停止し(S107)、表示制御処理を終了する。
【0066】
以上、本実施の形態の構成によれば、判定部31は、表示面3に表示された画面に向くユーザの状態が、表示面3に表示される画面を閲覧しにくい状態を示す判定条件に合致するか否かを、撮影画像Cに基づき判定する。ここで、判定条件は、年齢推定部34により推定された年齢yが所定の閾値Yを超えることである。推定された年齢yが閾値Y以上である場合、文字Aを拡大する必要があるとして、表示変更部32は、表示面3に表示されている画面上の文字Aを拡大することにより、当該画面の表示態様を、文字Aの視認性が高まる表示態様へ変更する。
【0067】
上記構成により、表示面3に表示されている画面を閲覧しにくく、ユーザが文字Aの視認性を高めることを望む状況において、適時、画面の表示態様が、文字Aの視認性が高まる表示態様へ変更される。
【0068】
また、本実施の形態の構成によれば、プログラムリスト22に登録されているプログラム21に対して判定部31による判定処理が適用されるため、文字Aの視認性を高める(文字Aを拡大する)必要性がないプログラム21の実行中には、文字Aの拡大が抑制される。また、プログラムリスト22に登録されていないプログラム21が起動されたときには撮影部15は駆動されないため、消費電力が抑制される。
【0069】
<変更例1>
図6は、変更例1に係る、携帯電話機1の全体構成を示すブロック図である。図6に示されるブロック図は、図2(a)に示されるブロック図において、年齢推定部34が、大きさ検出部35に置き換えられている。大きさ検出部35は、制御部11によって実行されるプログラムの機能として実現される。
【0070】
図7(a)〜(c)は、それぞれ、表示面3とユーザの顔Bとの間の距離を示す図である。図7(d)〜(f)は、それぞれ、表示面3とユーザの顔Bとの間の距離が図7(a)〜(c)の各々に示される距離であるときの、撮影画像Cを例示する図である。
【0071】
大きさ検出部35は、図7(d)〜(f)に示されるような、撮影画像Cに含まれる顔Bの領域の大きさを検出する。具体的には、大きさ検出部35は、撮影画像C上における
ユーザの顔Bの横幅Lを、顔Bの領域の大きさを表す量として検出する。
【0072】
ユーザが、図7(a)に示す状態から図7(b)に示す状態へ、顔Bを表示面3へ近づけたときに大きさ検出部35により検出される横幅L´(図7(e)参照)は、顔Bが表示面3へ近づけられる前に大きさ検出部35により検出された横幅L(図7(d))より大きい。同様に、ユーザが、図7(a)に示す状態から図7(c)に示す状態へ、顔Bを表示面3へ遠ざけたときに大きさ検出部35により検出される横幅L´(図7(f)参照)は、横幅L(図7(d))より小さい。
【0073】
大きさ検出部35は、撮影部15により撮影された撮影画像Cに基づき、表示面3と顔Bとの間の距離の変化を評価できる量であれば、顔Bの横幅に限らず、各種のパラメータを抽出するよう構成されてもよい。たとえば、大きさ検出部35は、目、鼻、耳等の特徴的部分間の距離や、顔Bの全体または特定部分の領域の面積を、撮影画像Cにおける顔Bの領域の大きさを表す量として抽出するよう、構成されてもよい。
【0074】
本変更例において、判定部31は、大きさ検出部35により検出される顔の横幅の変化量が所定の期間内に所定の閾値を超えた場合に、ユーザが画面を閲覧しにくい状態にあると判定する。
【0075】
図8は、本変更例に係る表示制御処理を示すフローチャートである。図8に示されるフローチャートは、図5に示されるフローチャートにおいてステップS104、S105の処理が、ステップS111〜S116の処理に置き換えられたものである。
【0076】
撮影部15より取得された撮影画像Cからユーザの顔が検出された後(S103)、大きさ検出部35は、顔Bの横幅Lを検出する(S111)。
【0077】
顔Bの横幅Lの検出後、制御部11は、所定の時間T1だけ待機する(S112)。この所定の時間T1の長さは、ユーザが、表示面3に表示される文字Aが見にくいなどの理由により、表示面3と顔との間の距離を変化させる動作に要する時間の長さ程度(たとえば数百ミリ秒〜数秒)に、予め設定される。
【0078】
所定の時間T1の待機の後、顔検出部33は、ステップS103の処理と同様に、撮影画像Cから顔Bを検出する(S113)。大きさ検出部35は、ステップS111の処理と同様に、ステップS113において検出された顔Bの横幅L´を検出する(S114)。
【0079】
判定部31は、ステップS111とS114において検出された2つの横幅L、L´の変化量が、所定閾値以上であるか否かを判定する。まず、判定部31は、2つの横幅L、L´の比r=L´/Lを演算処理により取得し(S115)、当該比rが、r<R1またはr>R2を満たすか否かを判定する(S116)。
【0080】
ここで、R1とR2は、たとえばR1=0.9、R2=1.1と設定される閾値である。閾値R1は、たとえば、0.5〜0.95程度に設定され得る。閾値R2は、たとえば、1/R1、または1.05〜2程度に設定され得る。
【0081】
図7(a)、(d)に示す状態から図7(b)、(e)に示す状態へ、表示面3と顔Bとが近づけられた場合、たとえば、比r≒1.5が取得される。この場合、r>R2と判定される(S116:YES)。
【0082】
同様に、図7(a)、(d)に示す状態から図7(c)、(f)に示す状態へ、表示面
3と顔Bとが離された場合、たとえば、比r≒0.8が取得される。この場合、r<R1と判定される(S116:YES)。
【0083】
ユーザが顔と表示面3の位置を固定していた場合、取得される比rは1に略等しいため、ステップS116において、NOと判定され、ステップS112の処理へ戻る。この場合、判定部31がステップS116においてYESと判定するまで、ステップS112〜S116の処理が繰り返し実行される。
【0084】
ステップS112〜S116の処理が繰り返し実行される場合において、ステップS115にて取得される比rは、ステップS111ではなく前回実行したステップS114の処理において検出された横幅Lと、今回実行したステップS114の処理において検出する横幅L´とに基づき、比r=L´/Lを取得する(S115)よう構成されてもよい。この場合、判定部31は、当該比rに基づいて、ステップS116における判定処理を実行する(S116)。
【0085】
比rがr>R2である場合、最初の位置では、画面上の文字Aが読みづらいため、文字Aが見やすくなるよう、ユーザが表示面3に顔Bを遠ざけたとみなせる。また、比rがr<R1である場合、最初の位置では、画面上の文字Aが読みづらいため、文字Aが見やすくなるよう、ユーザが表示面3から顔Bを近づけたとみなせる。
【0086】
よって、判定部31が、比rがr>R2またはr<R1であると判定すると(S116:YES)、表示変更部32が、図4(b)に示すように、現在表示面3に表示している画面上の文字Aを拡大する(S106)。
【0087】
以上、本変更例の構成によれば、表示面3に表示される画面上の文字Aが読みにくいなどの理由により、表示面3とユーザの顔Bとの間の距離が変化(離れる、または近づく)すると、自動的に画面上の文字Aが拡大される。よって、表示面3に表示されている画面を閲覧しにくく、ユーザが文字Aの視認性を高めることを望む状況において、表示面3に表示されている画面の表示態様が、適時、文字Aの視認性が高まる表示態様へ変更される。
【0088】
<変更例2>
図9は、変更例2に係る、携帯電話機1の全体構成を示すブロック図である。図9に示されるブロック図は、図2(a)に示されるブロック図に対して、顔検出部33と年齢推定部34が削除され、位置検出部36が追加されている。位置検出部36は、制御部11によって実行されるプログラムの機能として実現される。
【0089】
位置検出部36は、既に公知の手法(たとえば、特開平2002−99386号公報に記載)により、表示面3上における視線位置を検出する。
【0090】
たとえば、位置検出部36は、撮影部15より取得される撮影画像Cに含まれるユーザの目の画像に基づき、ユーザの視線の先にある、表示面3上における注視されている位置すなわち視線位置を検出する。位置検出部36は、たとえば、図1に示されるX軸とY軸方向に関する座標を用いて、視線位置を特定する。
【0091】
位置検出部36は、たとえば、上記の目の画像に基づき、上まぶた、下まぶた、黒目の位置や輪郭等の情報を抽出することにより、ユーザの視線の方向を特定する。そして、位置検出部36は、特定された視線の方向に基づき、表示面3上の視線位置を検出する。
【0092】
撮影部15は、赤外線カメラをさらに備える構成が採られてもよい。この場合、位置検
出部は、赤外線カメラにより撮影した画像から、撮影された目の瞳孔の位置等を検出することによって、視線の方向を検出できる。
【0093】
図10(a)は、表示面3上の視線位置を説明する図である。ユーザが、図10(a)に示される位置P1を注視しているとき、位置検出部36は、位置P1を視線位置として検出する。具体的には、位置検出部36は、視線位置P1を表す表示面3上の座標(X1、Y1)を検出する。ユーザが、図10(a)に示される位置P2やP2´を注視しているとき、位置検出部36は、位置P2、P2´を表す座標(X2、Y2)、(X2´、Y2´)を検出する。
【0094】
本変更例において、判定部31は、位置検出部36により検出される視線位置が所定の時間以上略停止する場合、ユーザが画面を閲覧しにくい状態にあると判定する。
【0095】
図10(b)は、本変更例に係る、表示制御処理を示すフローチャートである。図10(b)に示されるフローチャートは、図5に示されるフローチャートに対して、ステップS103〜S105の処理が、ステップS121〜S126の処理に置き換えられている。ステップS121の処理は、撮影部15が起動された後(S102)に、実行される。
【0096】
ステップS121において、位置検出部36は、たとえば図10(a)に示される位置にある、視線位置P1を検出する。そして、制御部11は、タイマを用いて、時間(t2)の計時を開始する(S122)。タイマは、制御部11に備えられている。
【0097】
以後、ステップS121が2回目以降に実行される場合、制御部11は、ステップS122において、時間t2の計時を再び0秒から開始する。
【0098】
ステップS123において、位置検出部36は、ステップS121と同様に、視線位置P2を検出する。
【0099】
判定部31は、検出された2つの視線位置P1、P2の間の距離dを、視線位置P1、P2を表す座標(X1、Y1)、(X2、Y2)に基づき検出する(S124)。さらに、判定部31は、検出した距離dが、所定の閾値D以下であるか否かを判定する(S125)。すなわち、判定部31は、視線位置P2が、視線位置P1を中心とする半径Dの円形領域(図10(a)の破線で囲まれた領域)に含まれるか否かを判定する。
【0100】
ここで、閾値Dは、ユーザが表示面3上のある位置を注視し続けている最中に視線位置が揺れ動く範囲を包含する程度に、設定されている。つまり、ステップS121とS123において視線位置が検出される間、ユーザが表示面3上のある位置を注視し続けていた場合には、検出される2つの視線位置間の距離は閾値D以下であり得る。画面上の文字Aがユーザにとって小さくて読みづらい場合、特に読みづらい文字Aの位置が注視し続けられやすい。
【0101】
図10(a)に示す如く視線位置P2が上記の円形領域の外にある場合、判定部31は、ユーザが画面を閲覧しにくい状態にはないとして、ステップS125においてNOと判定する(S125:NO)。この場合、再び視線位置P1、P2が検出する処理が実行され、新たに検出された視線位置間の距離dが閾値D以下であるか否かが判定される。
【0102】
たとえば、ステップS121において視線位置P1が検出された後、ステップS123において図10(a)に示す視線位置P2´が検出された場合、視線位置P2´は上記の円形領域内に位置するため、判定部31は、この場合において検出される視線位置P1、P2´の間の距離d´は、条件d´≦Dを満たす(S125:YES)。この場合、判定
部31は、さらに、計時している時間t2が所定の閾値T2以上であるか否かを判定する(S126)。
【0103】
ここで、閾値T2は、ユーザが表示面3のある位置に表示されている文字A等を注視し続けていることを検出できる程度に設定される。たとえば、閾値T2は、数秒〜十数秒程度に設定される。
【0104】
計時している時間t2が閾値T2以上であると判定部31により判定された場合(S126:YES)、表示変更部32は、ユーザが画面を閲覧しにくい状態にあるとして、表示面3に表示している画面上の文字Aを拡大する(S106)。
【0105】
計時している時間t2が閾値T2以上でないと判定部31により判定された場合(S126:NO)、ユーザが画面を閲覧しにくい状態にはないとして、ステップS123へ戻り、位置検出部36により視線位置P2を検出する処理が実行される。
【0106】
以上、本変更例の構成によれば、ユーザが表示面3上におけるある位置を注視し続けた場合に、自動的に画面上の文字Aが拡大される。よって、表示面3に表示されている画面を閲覧しにくく、ユーザが文字Aの視認性を高めることを望む状況において、適時、表示面3に表示されている画面の表示態様が、適時、文字Aの視認性が高まる表示態様へ変更される。
【0107】
<変更例3>
図11(a)は、本変更例に係る、表示制御処理を示すフローチャートである。図11(a)に示されるフローチャートでは、図5に示されるフローチャートのステップS106の前段に、ステップS131、S132の処理が挿入されている。図11(a)において、図5に示されるステップと同一のステップの図示は省略されている。
【0108】
図11(b)は、本変更例に係る、文字Aの拡大を提案し、文字Aの拡大の許可を問い合わせるための、表示面3に表示される画像Eを例示する図である。
【0109】
表示変更部32は、ステップS106において画面上の文字Aを拡大する処理を実行する前に、図11(b)に示す画像Eを、現在表示面3に表示している画面に重ねて表示し(S131)、文字Aの拡大を提案する。画像Eには、文字Aの拡大の許可を問い合わせるためのテキストが含まれている。画像Eは、ユーザが当該テキストを困難なく読める程度の大きさ、たとえば、現在の画面上の最も小さな文字、あるいは平均的な大きさの文字よりも大きなフォントサイズで表示面3に表示されることが好ましい。
【0110】
文字Aの拡大を許可する操作(画像E上の「YES」をタッチする操作)を操作入力部14が検出した場合(S132:YES)、表示変更部32は、ユーザの意思に従い、現在表示面3に表示している画面上の文字Aを拡大する(S106)。文字Aの拡大を不許可とする操作(画像E上の「NO」をタッチする操作)を操作入力部14が検出した場合(S132:NO)、表示変更部32は、ユーザの意思に従い、文字Aを拡大する必要はないとして、ステップS107の処理へ進む。
【0111】
本変更例の構成によれば、判定部31による判定結果に応じて自動的に画面の文字Aの拡大がユーザへ適時提案される。ユーザは、当該提案に応える操作を行うだけで、画面上の文字Aの拡大を許可またはキャンセルできる。
【0112】
本変更例の構成は、実施の形態に限らず変更例1〜2へも適用可能である。
【0113】
<変更例4>
図12(a)は、本変更例に係る、表示制御処理を示すフローチャートである。図12(a)に示されるフローチャートでは、図11(a)に示されるフローチャートすステップS131、S132の処理が、ステップS141〜S143の処理に置き換えられている。
【0114】
図12(b)は、本変更例に係る、画面上の文字Aを拡大させるためのアイコンFを例示する図である。アイコンFは、表示内容を拡大することを象徴するルーペの画像を含む。
【0115】
表示変更部32は、図12(b)に示すアイコンFを、現在表示面に表示している画面に重ねて表示するとともに、このアイコンFに対する操作に、画面上の文字Aを拡大する処理(S106)を実行する機能を割り当てる(S141)。表示変更部32は、たとえば、画面の右下等の片隅にアイコンFを表示する。アイコンFは、ユーザが困難なく見つけられ、且つ、操作できる程度の大きさで表示されることが好ましい。
【0116】
所定の時間(たとえば、数秒〜十数秒程度)の間に、操作入力部14によりアイコンFに対する入力が検出された場合(S142:YES)、表示変更部32は、アイコンFを消去するとともに、ユーザによる操作に応じて、現在表示面3に表示している画面上の文字Aを拡大する(S106)。
【0117】
操作入力部14により所定時間の間にアイコンFに対する入力が検出されなかった場合(S142:NO)、表示変更部32は、文字Aを拡大する必要はないとして、アイコンFを消去(S143)した後、ステップS107の処理へ進む。
【0118】
本変更例の構成によれば、判定部31による判定結果に応じて自動的に画面の文字Aの拡大が、アイコンFの表示によりユーザへ提案される。ユーザは、表示されたアイコンFに対して操作(タップ)を行うだけで、画面上の文字Aの拡大を許可できる。
【0119】
本変更例の構成は、実施の形態に限らず変更例1、2へ適用可能である。
【0120】
<その他>
以上、本発明の実施の形態および変更例について説明したが、本発明は、上記実施の形態等によって何ら制限されるものではなく、また、本発明の実施の形態も、上記以外に種々の変更が可能である。
【0121】
上記実施の形態および変更例1、2の構成は、互いに組み合わせ可能である。この場合、実施の形態および変更例1、2における判定部31による判定処理に係る各判定条件が、and、or等の論理演算子によって、2つ以上互いに組み合わされることが可能である。たとえば、上記実施の形態における判定条件(y≧Y、図5)と変更例1における判定条件(r<R1 or r>R2、図8)とが組み合わされ、判定部31が、ステップS116において、y≧Yであり、且つ(または)、r<R1 or r>R2が満たされるか否かを判定するよう構成されてもよい。
【0122】
上記変更例1、2の構成によれば、判定部31によりユーザが画面を閲覧しにくい状態にあると判定されない限り、その表示制御処理(図5、図8)が継続して実行される。しかしながら、変更例1、2に係る表示制御処理は、実行開始後所定の時間が経過した後に、自動的に終了されるよう構成されてもよい。このような構成により、撮影部15の駆動時間が短縮され、消費電力が抑制される。
【0123】
たとえば、変更例1に係る図8に示されるフローチャートに、図13(a)に示す如くステップS151、S152の処理を挿入する構成が可能である。ステップS151において、制御部11は、タイマを用いて、時間t3の計時を開始する(S151)。そして、ステップS112〜S116の処理が繰り返し実行されている間に、時間t3が所定閾値T3を超えた場合には(S152:YES)、繰り返し実行されているステップS112〜S116の処理のループを抜ける。これにより、表示制御処理は、実行開始後T3秒が経過すると、自動的に終了される。
【0124】
上記と同様の構成は、変更例3へも適用できる。たとえば、変更例1に係る図10に示されるフローチャートに、図13(b)に示す如くステップS151、S152を挿入する構成を採ることが可能である。
【0125】
また、上記実施の形態および変更例1〜4において説明される表示制御処理は、ユーザの操作に応じてプログラム21が実行開始されたときに、実行開始される。ユーザによりプログラム21が実行開始されたときに限らず、表示制御処理は、プログラムの実行中においても、たとえば一定の時間が経過する毎に実行されるよう構成されてもよい。
【0126】
判定部31による、画面上の文字Aを拡大することの要否を判定するための判定条件は、上記実施の形態および変更例1〜4において説明された条件に限られる必要はない。判定条件は、撮影部15より取得される撮影画像に係る各種の情報を用い構成されてよい。たとえば、ユーザが眉をひそめる動作の検出など、撮影画像C上の顔Bの画像からユーザの表情を検出する処理の実行が可能な場合、判定条件は検出された表情または表情の変化に基づき、判定条件が構成されてもよい。
【0127】
また、判定部31が画面上の文字Aを拡大することの要否を判定するための判定条件は、撮影画像以外の情報に基づく条件を含んでもよい。たとえば、判定部31は、撮影画像Cに基づく条件に従えば画面上の文字Aを拡大することをこの好ましい場合であっても、操作入力部14やキー操作入力部19に対する操作が検出されている最中には、画面上の文字Aを拡大する必要がないと判定するよう構成できる。
【0128】
上記実施の形態および変更例1〜4では、プログラムリスト22に登録されているプログラム21に対して、判定部31による判定処理が適用されるが、プログラムリスト22は、上記判定処理を適用しないプログラム21を登録する、という形式で構成されてもよい。プログラムリスト22は、各プログラム21に対して、上記判定処理を適用するか否かを判別できるよう構成されていればよい。
【0129】
また、各プログラム21に対して、上記判定処理を適用するか否かを判別できる形式であれば、プログラムリスト22とは異なる形式で、判別のためのデータが記憶部12に記憶されてよい。たとえば、各プログラム21中に、当該プログラム21が判定部31による判定処理が適用されるか否かを決定するための情報が備えられることにより、記憶部12が、判別のためのデータとして記憶してもよい。また、判別のためのデータは、判定部31による判定処理を適用するプログラムを、プログラム21の中から特定するための条件を示すデータから構成されてもよい。この場合、制御部11は、当該条件(判別のためのデータ)に基づき、判定部31による判定処理を適用するプログラム21であるか否かを判別する。
【0130】
上記実施の形態および変更例1〜4では、撮影部15は、プログラムリスト22に登録されているプログラムが起動されたときに起動される(S101→S102)。しかしながら、プログラムの起動後の所定のタイミングで撮影部15が起動される構成が採られてもよい。たとえば、起動されたプログラムの実行画面に対する操作が所定時間(たとえば
数秒〜数十秒程度)操作入力部14により検出されなかった場合、撮影部15が起動される構成を採ることができる。撮影部15の起動時間の短縮により、撮影部15の作動に要する電力の消費量が抑制される。
【0131】
上記実施の形態および変更例1〜4において、文字の拡大(S106)の際、ユーザが文字の拡大率を調整するためのバー等の画像が、表示面3に表示されるよう構成されてもよい。当該構成によって、ユーザは、所望のサイズで文字A表示させることができる。拡大率の調整のための画像が表示される際、拡大をキャンセルするための操作手段をユーザへ提供する構成がさらに採られてもよい。拡大率の調整のための画像は、問い合わせのための画像E(変更例3)や文字の拡大のためのアイコンF(変更例4)の表示に併せて表示されてもよい。
【0132】
上記実施の形態および変更例1〜4では、表示変更部32は、表示面3に表示されている画面上の文字Aを拡大する。文字Aの拡大に限られず、表示変更部32は、各種の表示変更手段により文字Aの視認性を高めるために画面の表示態様を変更するよう、構成が採られてもよい。たとえば、文字Aの拡大(図5のS106参照)に代えて、図14(a)〜(d)に示す如く、表示変更部32は、表示面3に表示された画面において、文字Aの色の強調(背景色の補色へ変更等。図14(a)のS106a参照)、文字Aの書体の強調(文字Aを太くする、明朝体からゴシック体へ変更等。図14(b)のS106b参照)、文字Aと背景とのコントラストの強調(文字Aと背景の色を違いに略補色にするよう変更等。図14(c)のS106c参照)、または画面の輝度を上げる変更(図14(d)のS106d参照)を適用する構成が採られてもよい。表示変更部32は、文字Aの拡大、文字Aの色の強調、文字Aの書体の変更、文字Aと背景とのコントラストの強調、輝度を上げる変更等のうち、複数の表示変更手段を組み合わせて用いることにより、文字Aの視認性を向上させるよう画面の表示態様を変更する構成が採られてもよい。
【0133】
上記構成による画面の表示態様の変更は、変更例1〜4へも適用可能である。
【0134】
上記実施の形態では、スマートフォン型の携帯電話機に本発明が適用されている。しかしながら、これに限らず、ストレート式、折りたたみ式、スライド式等、他のタイプの携帯電話機に本発明が適用されてもよい。
【0135】
さらに、本発明は、携帯電話機に限られず、PDA(Personal DigitalAssistant)、タブレットPC(Tablet PC)、電子書籍端末等の携帯端末装置を含む、各種の通信装置に適用可能である。
【0136】
この他、本発明の実施の形態は、特許請求の範囲に示された技術的思想の範囲内において、適宜、種々の変更が可能である。
【符号の説明】
【0137】
1 携帯電話機 (携帯端末装置)
11 制御部
12 記憶部
13 表示部
15 撮影部
22 プログラムリスト (情報)
31 判定部
32 表示変更部
34 年齢推定部
35 大きさ検出部
36 位置検出部
P1、P2 視線位置
A 文字
C 撮影画像 (画像)
【技術分野】
【0001】
本発明は、携帯電話機、PDA(Personal Digital Assistant)、タブレットPC(TabletPC)、電子書籍端末等の携帯端末装置および当該携帯端末装置に用いて好適なプログラムと表示制御方法に関するものである。
【背景技術】
【0002】
従来、携帯端末装置において、ユーザによる操作に応じて、画面に表示された文字の大きさを変更する構成が知られている(たとえば、特許文献1参照)。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開2011−60215号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、上記の構成では、文字を拡大するために、ユーザからの操作が必要となる。このため、たとえば、この操作の方法をユーザが知らないような場合、ユーザは、文字の拡大を望んだとしても、即座に、文字を拡大させることができない。
【0005】
文字を含む画面をユーザが快適に閲覧できない状況においては、適時、文字が拡大される等、文字の視認性が高まるよう画面の表示態様が変更されることが望ましい。
【0006】
そこで、本発明は、ユーザが望む状況において、適時、画面の表示態様を、画面に表示されている文字の視認性が高まる表示態様へ変更することができる携帯端末装置、プログラムおよび表示制御方法を提供することを目的とする。
【課題を解決するための手段】
【0007】
本発明の第1の態様は携帯端末装置に関する。本態様に係る携帯端末装置は、画面を表示する表示部と、前記画面と略同一方向を向くよう配された撮影部と、前記画面に向く人物の状態が前記画面を閲覧しにくい状態を示す所定の判定条件に合致するか否かを、前記撮影部により撮影された画像に基づき判定する判定部と、前記判定部により前記人物の状態が前記判定条件に合致すると判定されたことに基づいて、前記画面の表示態様を、前記画面上に表示された文字の視認性が高まる表示態様へ変更する表示変更部と、を備える。
【0008】
本態様に係る携帯端末装置において、前記表示変更部は、前記判定部により前記人物の状態が前記判定条件に合致すると判定されたことに基づいて、前記画面において、前記文字の拡大、前記文字の色の強調、前記文字の書体の強調、前記文字と前記文字の背景の色とのコントラストの強調、前記画面の輝度を上げる変更のうち少なくとも1つを適用するよう構成され得る。
【0009】
本態様に係る携帯端末装置は、前記人物の年齢を前記画像に基づき推定する年齢推定部をさらに備え得る。この場合、前記判定条件は、前記年齢推定部により推定された年齢が所定の閾値を超えることを含む。
【0010】
本態様に係る携帯端末装置は、前記人物の視線の先にある前記画面上における視線位置を前記画像に基づき検出する位置検出部をさらに備え得る。この場合、前記判定条件は、前記視線位置が、前記画面上において、所定の時間以上停止することを含む。
【0011】
ここで、請求項3における「停止する」との文言は、完全に停止する状態のみならず、ユーザが画面上のある箇所を注視しているときに視線位置がゆれ動く程度の状態をも包含する。
【0012】
本態様に係る携帯端末装置は、前記画像に含まれる前記人物の顔の領域の大きさを検出する大きさ検出部をさらに備え得る。ここで、前記判定条件は、所定の期間における前記顔の領域の大きさの変化量が、所定の閾値以上であることを含む。
【0013】
本態様に係る携帯端末装置において、前記表示変更部による前記画面の前記表示態様の変更が適用されるプログラムであるか否か、を判別するための情報を記憶する記憶部をさらに備え得る。この場合、前記表示変更部は、前記画面の前記表示態様の変更が、前記画面に対応する前記プログラムへ適用されることを前記情報が示す場合、前記判定部により前記人物が前記画面を閲覧しにくい状態にあると判定されたことに基づいて、前記画面の表示態様を、前記画面上に表示された前記文字の視認性が高まる表示態様へ変更する。
【0014】
本発明の第2の態様は、プログラムに関する。本態様に係るプログラムは、画面を表示する表示部と、前記画面と略同一方向を向くよう配された撮影部と、を備える携帯端末装置のコンピュータに、前記画面に向く人物の状態が前記画面を閲覧しにくい状態を示す所定の判定条件に合致するか否かを、前記撮影部により撮影された画像に基づき判定する機能と、前記人物の状態が前記判定条件に合致すると判定したことに基づいて、前記画面の表示態様を、前記画面上に表示された文字の視認性が高まる表示態様へ変更する機能と、を付与する。
【0015】
本発明の第3の態様は、画面を表示する表示部と、前記画面と略同一方向を向くよう配された撮影部と、を備える携帯端末装置の表示制御方法に関する。本態様に係る表示制御方法は、前記画面に向く人物の状態が前記画面を閲覧しにくい状態を示す所定の判定条件に合致するか否かを、前記撮影部により撮影された画像に基づき判定するステップと、前記人物の状態が前記判定条件に合致すると判定したことに基づいて、前記画面の表示態様を、前記画面上に表示された文字の視認性が高まる表示態様へ変更するステップと、を含む。
【発明の効果】
【0016】
本発明によれば、ユーザが望む状況において、適時、画面の表示態様を、画面に表示された文字の視認性が高まる表示態様へ変更することができる携帯端末装置、プログラムおよび表示制御方法を提供できる。
【0017】
本発明の効果ないし意義は、以下に示す実施の形態の説明によりさらに明らかとなろう。ただし、以下の実施の形態は、あくまでも、本発明を実施化する際の一つの例示であって、本発明は、以下の実施の形態に記載されたものに何ら制限されるものではない。
【図面の簡単な説明】
【0018】
【図1】実施の形態に係る、携帯電話機の外観構成を示す図である。
【図2】実施の形態に係る、携帯電話機の全体構成を示すブロック図と、プログラムリストの例を示す表である。
【図3】実施の形態に係る、撮影画像と、撮影画像に含まれるユーザの顔の画像の例を示す図である。
【図4】実施の形態に係る、表示変更部により拡大される前の画面と、拡大された後の画面とを例示する図である。
【図5】実施の形態に係る、表示制御処理を示すフローチャートである。
【図6】変更例1に係る、携帯電話機の全体構成を示すブロック図と、プログラムリストの例を示す表である。
【図7】変更例1に係る、表示面およびユーザの顔の間の距離と、各々の距離の状態における撮影画像を例示する図である。
【図8】変更例1に係る、表示制御処理を示すフローチャートである。
【図9】変更例2に係る、携帯電話機の全体構成を示すブロック図と、プログラムリストの例を示す表である。
【図10】変更例2に係る、表示面上の視線位置を説明する図と、表示制御処理を示すフローチャートである。
【図11】変更例3に係る、表示制御処理を示すフローチャートと、文字の拡大に関する要否を問い合わせるために表示面に表示される画像を例示する図である。
【図12】変更例4に係る、表示制御処理を示すフローチャートと、画面上の文字を拡大させるためのアイコンを例示する図である。
【図13】その他の変更例に係る、表示制御処理を示すフローチャートである。
【図14】その他の変更例に係る、表示制御処理を示すフローチャートである。
【発明を実施するための形態】
【0019】
以下、本発明の実施の形態について、図面を参照して説明する。
【0020】
図1は、携帯電話機1の外観構成を示す正面図である。
【0021】
携帯電話機1は、キャビネット2と、表示面3と、レンズ窓4と、マイクロフォン5と、スピーカ6と、キー操作部7と、を備える。
【0022】
表示面3は、キャビネット2の正面に配されている。表示面3は、後述の表示部(図2(a))の表示面である。表示面3には画面が表示される。
【0023】
レンズ窓4は、キャビネット2の正面方向、すなわち、表示面3に表示される画面が向けられる方向を向くよう配されている。画面を閲覧するユーザの顔等、キャビネット2の正面方向にある被写体の像が、レンズ窓4から撮影部15へ取り込まれる。
【0024】
マイクロフォン5は、入力した音に応じた電気信号を、後述の音声処理部(図2(a))へ出力する。スピーカ6は、音声処理部から入力する電気信号に応じた音を出力する。
【0025】
キー操作部7は、キャビネット2に設けられている。キー操作部7は、ソフトキー、ハードキー等のキーから構成されている。実行中のプログラム等に応じた各種の機能が、各キーに割り当てられる。
【0026】
図2(a)は、携帯電話機1の全体構成を示すブロック図である。
【0027】
携帯電話機1は、制御部11と、記憶部12と、表示部13と、操作入力部14と、撮影部15と、音声入力部16と、音声出力部17と、音声処理部18と、キー操作入力部19と、通信部20と、を備える。
【0028】
記憶部12は、ROM、RAM等から構成される。記憶部12には、プログラム21が記憶されている。プログラム21は、携帯電話機1の各部を制御するための制御プログラムの他、各種(たとえば、電子メール、ブラウザ、電話帳、電子書籍閲覧)のアプリケーション・プログラム(以下、単に「アプリケーション」と言う。)等からなる。プログラム21は、後述される判定部31と表示変更部32、顔検出部33、年齢推定部34の機能を実行するためのプログラムも含む。
【0029】
記憶部12は、プログラム21の実行の際、一時的に利用または生成されるデータを記憶する、ワーキング領域としても使用される。
【0030】
制御部11は、CPU等から構成されている。制御部11は、制御プログラムに従って、記憶部12、表示部13、操作入力部14、撮影部15、音声出力部17、音声入力部16、音声処理部18、キー操作入力部19等の携帯電話機1を構成する各部を制御することにより、各種のアプリケーションを実行する。
【0031】
表示部13は、制御部11からの制御信号と画像信号とに基づき、表示面3に画面を表示する。表示部13は、液晶ディスプレイ等から構成されている。表示部13は、液晶ディスプレイに限らず、有機ELディスプレイ等、他の表示装置から構成されてもよい。
【0032】
操作入力部14は、指、タッチペン等(簡単のため、以下、単に「指」と言う。)の表示面3への接触を検出するタッチセンサ等から構成されている。タッチセンサは、上記の液晶ディスプレイと一体的に形成されることにより、タッチパネルを構成している。タッチセンサは、透明なシート状に形成され、表示面3上を覆うように配されている。
【0033】
操作入力部14は、表示面3に対するタッチの操作の入力を受け付ける。操作入力部14は、指が触れた表示面3上の位置を入力位置として検出し、入力位置に応じた位置信号を制御部11へ出力する。
【0034】
ユーザは、指を表示面3に触れることにより、表示面3に対するタッチ、タップ、スライド、フリック等の各種の操作を行える。ここで、「タッチ」は、表示面3に指を接触させる操作である。「タップ」は、表示面3に指を接触させた後、リリース(離す)する操作である。「フリック」は、表示面3に指を接触させて弾く操作(指を接触させた後、所定速度で移動させて離す操作)である。「スライド」は、表示面3に指を接触させたまま所定距離移動させた後、タッチパネル上より指を離す操作である。
【0035】
操作入力部14を構成するタッチセンサは、静電容量式、超音波式、感圧式、抵抗膜式、光検知式等、各種のタッチセンサであってよい。
【0036】
撮影部15は、レンズ窓4から入射した光の像を撮像するCCD、CMOSセンサ等の撮像素子、撮像素子から出力された信号にA/D変換を施すA/D変換回路、A/D変換が施された後の信号に補正(ガンマ補正等)を適用する補正回路等から構成される。撮影部15は、撮影により生成した画像(以下、「撮影画像」と言う。)を示すデジタル信号を、制御部11へ送信する。
【0037】
音声入力部16は、マイクロフォン5等から構成される。音声入力部16は、マイクロフォン5からの電気信号を、音声処理部18へ出力する。
【0038】
音声出力部17は、スピーカ6等から構成される。音声出力部17は、音声処理部18からの電気信号を入力し、スピーカ6から音声を出力する。
【0039】
音声処理部18は、音声入力部16からの電気信号にA/D変換等を施し、変換後のデジタルの音声信号を制御部11へ出力する。音声処理部18は、制御部11からのデジタルの音声信号にデコード処理およびD/A変換等を施し、変換後の電気信号を音声出力部17に出力する。
【0040】
キー操作入力部19は、キー操作部7の各キーが押下されたときに、押下されたキーに
応じた信号を制御部11へ出力する。
【0041】
通信部20は、通話や通信のための電波を送受信するアンテナを備える。通信部20は、制御部11から入力される通話や通信のための信号を無線信号に変換し、変換された無線信号を、アンテナを介して、基地局や他の通信装置等の通信先へ送信する。また、通信部20は、アンテナを介して受信した無線信号を制御部11が利用できる形式の信号へ変換し、変換された信号を制御部11へ出力する。
【0042】
さて、本実施の形態の携帯電話機1は、文字の拡大の要否を自動で判定し、表示されている文字を拡大する機能を備えている。このような機能を実現するプログラムを実行するため、記憶部12はプログラムリスト22を記憶し、制御部11は、判定部31と、表示変更部32と、顔検出部33と、年齢推定部34と、を備える。
【0043】
図2(b)は、プログラムリスト22の例を示す表である。プログラムリスト22には、上記判定処理を適用するプログラム21として、電子メール、電話帳、基本設定、ウェブブラウザ、電子書籍等、実行の際に文字を主体とした画面を表示するプログラムが登録されている。後述されるように、プログラムリスト22に登録されているアプリケーションに対して、文字の拡大の要否を判定する判定処理(後述の判定部により実行される)が適用される。
【0044】
判定部31は、表示面3に向くユーザの状態が画面を閲覧しにくい状態を示すかを、撮影部15により撮影された撮影画像に基づき判定する。
【0045】
図3(a)、(b)は、撮影部15により撮影された撮影画像Cと、撮影画像Cに含まれるユーザの顔Bの例を示す図である。ユーザが携帯電話機1を使用するとき、撮影部15が駆動されると、撮影部15は、キャビネット2の正面方向(ユーザの顔がある方向)を撮影する。このため、制御部11は、たとえば図3(a)に示す、青年の顔Bを含む撮影画像C、あるいは図3(b)に示す、老人の顔Bを含む撮影画像Cを、撮影部15から取得する。
【0046】
判定部31は、このような撮影画像Cに関する所定の判定条件に基づいて、画面を閲覧しにくい状態にあるか否かを判定する。まず、後述の顔検出部33と年齢推定部34により、ユーザの顔Bが映った撮影画像Cに基づいて、ユーザの年齢yが推定される。判定部31は、年齢yが所定の閾値Y(たとえばY=65)以上であるか否かを判定する。ここで、閾値Yは、たとえば50〜90程度に設定される。
【0047】
ユーザが高齢である場合には、視力の衰え等により、画面上の通常の大きさの文字が見にくい場合が多い。判定部31は、推定されたユーザの年齢が閾値Y以上であれば、ユーザが高齢であることにより、画面を閲覧にくい状態にあると判定する。
【0048】
たとえば、判定部31は、図3(a)に示される撮影画像Cに対しては、y<65であると判定する一方、図3(b)に示される撮影画像Cに対しては、y≧65であると判定する。
【0049】
表示変更部32は、表示面3に表示されている画面上の文字を拡大するよう表示部13を制御する。
【0050】
表示変更部32は、たとえば、文字を拡大する際、表示面3に表示されている画面の一部分を、当該画面の表示領域に拡大して表示する。あるいは、表示変更部32は、当該画面における全体的なレイアウトを略保ちつつ、文字のフォントサイズを変更するよう構成
されてもよい。
【0051】
図4(a)、(b)は、それぞれ、表示変更部32により拡大される前の画面と、拡大された後の画面とを例示する図である。図4(a)、(b)において、表示面3には、基本設定のための画面が表示されている。ここで、「基本設定」のプログラム21は、携帯電話機1の全体的な使用環境に関わる設定(たとえば、文字の大きさの設定、通話設定、音設定、セキュリティ設定)をユーザが行うためのプログラムであり、「基本設定」はプログラムリスト22(図2(b))に登録されている。
【0052】
図4(a)、(b)に示される画面上には、文字Aが表示されている。
【0053】
図4(a)に示す如く基本設定の画面が表示面3に表示されている状態において、ユーザが画面を閲覧しにくい状態にあると判定部31が判定した場合、表示変更部32は、図4(a)に示す如く表示されている文字Aを、図4(b)に示す如く拡大する。図4(b)に示される拡大後の文字Aは、図4(a)に示される文字Aに比較して大きい。
【0054】
顔検出部33と、年齢推定部34の詳細について、以下に説明する。
【0055】
顔検出部33は、撮影画像Cの中から主に肌色からなる領域を、顔の画像の候補として抽出する。そして、顔検出部33は、抽出した領域上において、目、鼻、口、シワ等の顔の特徴を、当該領域上における色や模様の分布に基づいて検出する。当該領域上において一定の確度で顔の特徴が検出された場合、顔検出部33は、当該領域が顔Bの画像の領域であるとして、撮影画像Cから顔Bを検出する。
【0056】
年齢推定部34は、検出された顔Bの画像から、ユーザの年齢yを推定する処理を実行する。年齢推定部34は、顔Bの画像において、目、鼻、口、耳、シワ等の各部分の形状や相対的位置、顔Bの輪郭等に基づき、年齢に依存するパラメータを抽出する。年齢推定部34は、抽出したパラメータに基づいてユーザの年齢を推定する。
【0057】
たとえば、年齢推定部34は、図3(a)に示されるユーザの顔Bの画像に基づき、ユーザは25歳(y=25)であると推定する。また、年齢推定部34は、図3(b)に示される顔Bの画像に基づき、ユーザは70歳(y=70)であると推定する。
【0058】
なお、年齢推定の手法については、たとえば、特開平09−230751号公報に詳述されている。
【0059】
図5は、本実施の形態に係る、表示制御処理を示すフローチャートである。図5に示される表示制御処理は、電子メールや基本設定等のプログラム21がユーザにより起動されたことに応じて、開始される。
【0060】
制御部11は、ユーザにより起動されたプログラムがプログラムリスト22に登録されている場合(S101:YES)、当該判定処理に用いる撮影画像を取得するため、撮影部15を起動する(S102)。
【0061】
制御部11は、起動されたプログラムがプログラムリスト22に登録されていない場合(S101:NO)、文字を拡大する必要がないとして、図5に示される表示制御処理を終了する。
【0062】
撮影部15が起動された後(S102)、顔検出部33は、撮影部15より取得する撮影画像Cから、上述の如くユーザの顔Bを検出する(S103)。年齢推定部34は、顔
検出部33により検出された顔Bの画像に基づき、上述の如くユーザの年齢yを推定する(S104)。
【0063】
判定部31は、年齢推定部34により推定された年齢yが閾値Y以上(y≧Y)であるか否かを判定する(S105)。たとえば、図3(b)に示される撮影画像Cの如く、判定条件y≧Yが満たされると判定部31が判定した場合(S105:YES)、表示変更部32は、図4(b)に示すように、表示面3に表示された画面上の文字Aを拡大する(S106)。文字Aの拡大後、制御部11は撮影部15を停止し(S107)、表示制御処理を終了する。
【0064】
文字Aの拡大(S106)の実行の前に、制御部11は、「文字を拡大します。」等、文字Aが拡大されることをユーザへ通知する所定の音声を音声出力部17より再生してもよい。上記音声が再生されることにより、ユーザは、画面の表示態様が変更されることを事前に認識できる。制御部11は、「文字を拡大します。」との文字を表示面3に表示しても良い。
【0065】
図3(a)に示される撮影画像Cの如く、判定条件y≧Yが満たされない、すなわちy<Yであると判定部31が判定した場合(S105:NO)、制御部11は、文字Aの拡大の必要はないとして、撮影部15を停止し(S107)、表示制御処理を終了する。
【0066】
以上、本実施の形態の構成によれば、判定部31は、表示面3に表示された画面に向くユーザの状態が、表示面3に表示される画面を閲覧しにくい状態を示す判定条件に合致するか否かを、撮影画像Cに基づき判定する。ここで、判定条件は、年齢推定部34により推定された年齢yが所定の閾値Yを超えることである。推定された年齢yが閾値Y以上である場合、文字Aを拡大する必要があるとして、表示変更部32は、表示面3に表示されている画面上の文字Aを拡大することにより、当該画面の表示態様を、文字Aの視認性が高まる表示態様へ変更する。
【0067】
上記構成により、表示面3に表示されている画面を閲覧しにくく、ユーザが文字Aの視認性を高めることを望む状況において、適時、画面の表示態様が、文字Aの視認性が高まる表示態様へ変更される。
【0068】
また、本実施の形態の構成によれば、プログラムリスト22に登録されているプログラム21に対して判定部31による判定処理が適用されるため、文字Aの視認性を高める(文字Aを拡大する)必要性がないプログラム21の実行中には、文字Aの拡大が抑制される。また、プログラムリスト22に登録されていないプログラム21が起動されたときには撮影部15は駆動されないため、消費電力が抑制される。
【0069】
<変更例1>
図6は、変更例1に係る、携帯電話機1の全体構成を示すブロック図である。図6に示されるブロック図は、図2(a)に示されるブロック図において、年齢推定部34が、大きさ検出部35に置き換えられている。大きさ検出部35は、制御部11によって実行されるプログラムの機能として実現される。
【0070】
図7(a)〜(c)は、それぞれ、表示面3とユーザの顔Bとの間の距離を示す図である。図7(d)〜(f)は、それぞれ、表示面3とユーザの顔Bとの間の距離が図7(a)〜(c)の各々に示される距離であるときの、撮影画像Cを例示する図である。
【0071】
大きさ検出部35は、図7(d)〜(f)に示されるような、撮影画像Cに含まれる顔Bの領域の大きさを検出する。具体的には、大きさ検出部35は、撮影画像C上における
ユーザの顔Bの横幅Lを、顔Bの領域の大きさを表す量として検出する。
【0072】
ユーザが、図7(a)に示す状態から図7(b)に示す状態へ、顔Bを表示面3へ近づけたときに大きさ検出部35により検出される横幅L´(図7(e)参照)は、顔Bが表示面3へ近づけられる前に大きさ検出部35により検出された横幅L(図7(d))より大きい。同様に、ユーザが、図7(a)に示す状態から図7(c)に示す状態へ、顔Bを表示面3へ遠ざけたときに大きさ検出部35により検出される横幅L´(図7(f)参照)は、横幅L(図7(d))より小さい。
【0073】
大きさ検出部35は、撮影部15により撮影された撮影画像Cに基づき、表示面3と顔Bとの間の距離の変化を評価できる量であれば、顔Bの横幅に限らず、各種のパラメータを抽出するよう構成されてもよい。たとえば、大きさ検出部35は、目、鼻、耳等の特徴的部分間の距離や、顔Bの全体または特定部分の領域の面積を、撮影画像Cにおける顔Bの領域の大きさを表す量として抽出するよう、構成されてもよい。
【0074】
本変更例において、判定部31は、大きさ検出部35により検出される顔の横幅の変化量が所定の期間内に所定の閾値を超えた場合に、ユーザが画面を閲覧しにくい状態にあると判定する。
【0075】
図8は、本変更例に係る表示制御処理を示すフローチャートである。図8に示されるフローチャートは、図5に示されるフローチャートにおいてステップS104、S105の処理が、ステップS111〜S116の処理に置き換えられたものである。
【0076】
撮影部15より取得された撮影画像Cからユーザの顔が検出された後(S103)、大きさ検出部35は、顔Bの横幅Lを検出する(S111)。
【0077】
顔Bの横幅Lの検出後、制御部11は、所定の時間T1だけ待機する(S112)。この所定の時間T1の長さは、ユーザが、表示面3に表示される文字Aが見にくいなどの理由により、表示面3と顔との間の距離を変化させる動作に要する時間の長さ程度(たとえば数百ミリ秒〜数秒)に、予め設定される。
【0078】
所定の時間T1の待機の後、顔検出部33は、ステップS103の処理と同様に、撮影画像Cから顔Bを検出する(S113)。大きさ検出部35は、ステップS111の処理と同様に、ステップS113において検出された顔Bの横幅L´を検出する(S114)。
【0079】
判定部31は、ステップS111とS114において検出された2つの横幅L、L´の変化量が、所定閾値以上であるか否かを判定する。まず、判定部31は、2つの横幅L、L´の比r=L´/Lを演算処理により取得し(S115)、当該比rが、r<R1またはr>R2を満たすか否かを判定する(S116)。
【0080】
ここで、R1とR2は、たとえばR1=0.9、R2=1.1と設定される閾値である。閾値R1は、たとえば、0.5〜0.95程度に設定され得る。閾値R2は、たとえば、1/R1、または1.05〜2程度に設定され得る。
【0081】
図7(a)、(d)に示す状態から図7(b)、(e)に示す状態へ、表示面3と顔Bとが近づけられた場合、たとえば、比r≒1.5が取得される。この場合、r>R2と判定される(S116:YES)。
【0082】
同様に、図7(a)、(d)に示す状態から図7(c)、(f)に示す状態へ、表示面
3と顔Bとが離された場合、たとえば、比r≒0.8が取得される。この場合、r<R1と判定される(S116:YES)。
【0083】
ユーザが顔と表示面3の位置を固定していた場合、取得される比rは1に略等しいため、ステップS116において、NOと判定され、ステップS112の処理へ戻る。この場合、判定部31がステップS116においてYESと判定するまで、ステップS112〜S116の処理が繰り返し実行される。
【0084】
ステップS112〜S116の処理が繰り返し実行される場合において、ステップS115にて取得される比rは、ステップS111ではなく前回実行したステップS114の処理において検出された横幅Lと、今回実行したステップS114の処理において検出する横幅L´とに基づき、比r=L´/Lを取得する(S115)よう構成されてもよい。この場合、判定部31は、当該比rに基づいて、ステップS116における判定処理を実行する(S116)。
【0085】
比rがr>R2である場合、最初の位置では、画面上の文字Aが読みづらいため、文字Aが見やすくなるよう、ユーザが表示面3に顔Bを遠ざけたとみなせる。また、比rがr<R1である場合、最初の位置では、画面上の文字Aが読みづらいため、文字Aが見やすくなるよう、ユーザが表示面3から顔Bを近づけたとみなせる。
【0086】
よって、判定部31が、比rがr>R2またはr<R1であると判定すると(S116:YES)、表示変更部32が、図4(b)に示すように、現在表示面3に表示している画面上の文字Aを拡大する(S106)。
【0087】
以上、本変更例の構成によれば、表示面3に表示される画面上の文字Aが読みにくいなどの理由により、表示面3とユーザの顔Bとの間の距離が変化(離れる、または近づく)すると、自動的に画面上の文字Aが拡大される。よって、表示面3に表示されている画面を閲覧しにくく、ユーザが文字Aの視認性を高めることを望む状況において、表示面3に表示されている画面の表示態様が、適時、文字Aの視認性が高まる表示態様へ変更される。
【0088】
<変更例2>
図9は、変更例2に係る、携帯電話機1の全体構成を示すブロック図である。図9に示されるブロック図は、図2(a)に示されるブロック図に対して、顔検出部33と年齢推定部34が削除され、位置検出部36が追加されている。位置検出部36は、制御部11によって実行されるプログラムの機能として実現される。
【0089】
位置検出部36は、既に公知の手法(たとえば、特開平2002−99386号公報に記載)により、表示面3上における視線位置を検出する。
【0090】
たとえば、位置検出部36は、撮影部15より取得される撮影画像Cに含まれるユーザの目の画像に基づき、ユーザの視線の先にある、表示面3上における注視されている位置すなわち視線位置を検出する。位置検出部36は、たとえば、図1に示されるX軸とY軸方向に関する座標を用いて、視線位置を特定する。
【0091】
位置検出部36は、たとえば、上記の目の画像に基づき、上まぶた、下まぶた、黒目の位置や輪郭等の情報を抽出することにより、ユーザの視線の方向を特定する。そして、位置検出部36は、特定された視線の方向に基づき、表示面3上の視線位置を検出する。
【0092】
撮影部15は、赤外線カメラをさらに備える構成が採られてもよい。この場合、位置検
出部は、赤外線カメラにより撮影した画像から、撮影された目の瞳孔の位置等を検出することによって、視線の方向を検出できる。
【0093】
図10(a)は、表示面3上の視線位置を説明する図である。ユーザが、図10(a)に示される位置P1を注視しているとき、位置検出部36は、位置P1を視線位置として検出する。具体的には、位置検出部36は、視線位置P1を表す表示面3上の座標(X1、Y1)を検出する。ユーザが、図10(a)に示される位置P2やP2´を注視しているとき、位置検出部36は、位置P2、P2´を表す座標(X2、Y2)、(X2´、Y2´)を検出する。
【0094】
本変更例において、判定部31は、位置検出部36により検出される視線位置が所定の時間以上略停止する場合、ユーザが画面を閲覧しにくい状態にあると判定する。
【0095】
図10(b)は、本変更例に係る、表示制御処理を示すフローチャートである。図10(b)に示されるフローチャートは、図5に示されるフローチャートに対して、ステップS103〜S105の処理が、ステップS121〜S126の処理に置き換えられている。ステップS121の処理は、撮影部15が起動された後(S102)に、実行される。
【0096】
ステップS121において、位置検出部36は、たとえば図10(a)に示される位置にある、視線位置P1を検出する。そして、制御部11は、タイマを用いて、時間(t2)の計時を開始する(S122)。タイマは、制御部11に備えられている。
【0097】
以後、ステップS121が2回目以降に実行される場合、制御部11は、ステップS122において、時間t2の計時を再び0秒から開始する。
【0098】
ステップS123において、位置検出部36は、ステップS121と同様に、視線位置P2を検出する。
【0099】
判定部31は、検出された2つの視線位置P1、P2の間の距離dを、視線位置P1、P2を表す座標(X1、Y1)、(X2、Y2)に基づき検出する(S124)。さらに、判定部31は、検出した距離dが、所定の閾値D以下であるか否かを判定する(S125)。すなわち、判定部31は、視線位置P2が、視線位置P1を中心とする半径Dの円形領域(図10(a)の破線で囲まれた領域)に含まれるか否かを判定する。
【0100】
ここで、閾値Dは、ユーザが表示面3上のある位置を注視し続けている最中に視線位置が揺れ動く範囲を包含する程度に、設定されている。つまり、ステップS121とS123において視線位置が検出される間、ユーザが表示面3上のある位置を注視し続けていた場合には、検出される2つの視線位置間の距離は閾値D以下であり得る。画面上の文字Aがユーザにとって小さくて読みづらい場合、特に読みづらい文字Aの位置が注視し続けられやすい。
【0101】
図10(a)に示す如く視線位置P2が上記の円形領域の外にある場合、判定部31は、ユーザが画面を閲覧しにくい状態にはないとして、ステップS125においてNOと判定する(S125:NO)。この場合、再び視線位置P1、P2が検出する処理が実行され、新たに検出された視線位置間の距離dが閾値D以下であるか否かが判定される。
【0102】
たとえば、ステップS121において視線位置P1が検出された後、ステップS123において図10(a)に示す視線位置P2´が検出された場合、視線位置P2´は上記の円形領域内に位置するため、判定部31は、この場合において検出される視線位置P1、P2´の間の距離d´は、条件d´≦Dを満たす(S125:YES)。この場合、判定
部31は、さらに、計時している時間t2が所定の閾値T2以上であるか否かを判定する(S126)。
【0103】
ここで、閾値T2は、ユーザが表示面3のある位置に表示されている文字A等を注視し続けていることを検出できる程度に設定される。たとえば、閾値T2は、数秒〜十数秒程度に設定される。
【0104】
計時している時間t2が閾値T2以上であると判定部31により判定された場合(S126:YES)、表示変更部32は、ユーザが画面を閲覧しにくい状態にあるとして、表示面3に表示している画面上の文字Aを拡大する(S106)。
【0105】
計時している時間t2が閾値T2以上でないと判定部31により判定された場合(S126:NO)、ユーザが画面を閲覧しにくい状態にはないとして、ステップS123へ戻り、位置検出部36により視線位置P2を検出する処理が実行される。
【0106】
以上、本変更例の構成によれば、ユーザが表示面3上におけるある位置を注視し続けた場合に、自動的に画面上の文字Aが拡大される。よって、表示面3に表示されている画面を閲覧しにくく、ユーザが文字Aの視認性を高めることを望む状況において、適時、表示面3に表示されている画面の表示態様が、適時、文字Aの視認性が高まる表示態様へ変更される。
【0107】
<変更例3>
図11(a)は、本変更例に係る、表示制御処理を示すフローチャートである。図11(a)に示されるフローチャートでは、図5に示されるフローチャートのステップS106の前段に、ステップS131、S132の処理が挿入されている。図11(a)において、図5に示されるステップと同一のステップの図示は省略されている。
【0108】
図11(b)は、本変更例に係る、文字Aの拡大を提案し、文字Aの拡大の許可を問い合わせるための、表示面3に表示される画像Eを例示する図である。
【0109】
表示変更部32は、ステップS106において画面上の文字Aを拡大する処理を実行する前に、図11(b)に示す画像Eを、現在表示面3に表示している画面に重ねて表示し(S131)、文字Aの拡大を提案する。画像Eには、文字Aの拡大の許可を問い合わせるためのテキストが含まれている。画像Eは、ユーザが当該テキストを困難なく読める程度の大きさ、たとえば、現在の画面上の最も小さな文字、あるいは平均的な大きさの文字よりも大きなフォントサイズで表示面3に表示されることが好ましい。
【0110】
文字Aの拡大を許可する操作(画像E上の「YES」をタッチする操作)を操作入力部14が検出した場合(S132:YES)、表示変更部32は、ユーザの意思に従い、現在表示面3に表示している画面上の文字Aを拡大する(S106)。文字Aの拡大を不許可とする操作(画像E上の「NO」をタッチする操作)を操作入力部14が検出した場合(S132:NO)、表示変更部32は、ユーザの意思に従い、文字Aを拡大する必要はないとして、ステップS107の処理へ進む。
【0111】
本変更例の構成によれば、判定部31による判定結果に応じて自動的に画面の文字Aの拡大がユーザへ適時提案される。ユーザは、当該提案に応える操作を行うだけで、画面上の文字Aの拡大を許可またはキャンセルできる。
【0112】
本変更例の構成は、実施の形態に限らず変更例1〜2へも適用可能である。
【0113】
<変更例4>
図12(a)は、本変更例に係る、表示制御処理を示すフローチャートである。図12(a)に示されるフローチャートでは、図11(a)に示されるフローチャートすステップS131、S132の処理が、ステップS141〜S143の処理に置き換えられている。
【0114】
図12(b)は、本変更例に係る、画面上の文字Aを拡大させるためのアイコンFを例示する図である。アイコンFは、表示内容を拡大することを象徴するルーペの画像を含む。
【0115】
表示変更部32は、図12(b)に示すアイコンFを、現在表示面に表示している画面に重ねて表示するとともに、このアイコンFに対する操作に、画面上の文字Aを拡大する処理(S106)を実行する機能を割り当てる(S141)。表示変更部32は、たとえば、画面の右下等の片隅にアイコンFを表示する。アイコンFは、ユーザが困難なく見つけられ、且つ、操作できる程度の大きさで表示されることが好ましい。
【0116】
所定の時間(たとえば、数秒〜十数秒程度)の間に、操作入力部14によりアイコンFに対する入力が検出された場合(S142:YES)、表示変更部32は、アイコンFを消去するとともに、ユーザによる操作に応じて、現在表示面3に表示している画面上の文字Aを拡大する(S106)。
【0117】
操作入力部14により所定時間の間にアイコンFに対する入力が検出されなかった場合(S142:NO)、表示変更部32は、文字Aを拡大する必要はないとして、アイコンFを消去(S143)した後、ステップS107の処理へ進む。
【0118】
本変更例の構成によれば、判定部31による判定結果に応じて自動的に画面の文字Aの拡大が、アイコンFの表示によりユーザへ提案される。ユーザは、表示されたアイコンFに対して操作(タップ)を行うだけで、画面上の文字Aの拡大を許可できる。
【0119】
本変更例の構成は、実施の形態に限らず変更例1、2へ適用可能である。
【0120】
<その他>
以上、本発明の実施の形態および変更例について説明したが、本発明は、上記実施の形態等によって何ら制限されるものではなく、また、本発明の実施の形態も、上記以外に種々の変更が可能である。
【0121】
上記実施の形態および変更例1、2の構成は、互いに組み合わせ可能である。この場合、実施の形態および変更例1、2における判定部31による判定処理に係る各判定条件が、and、or等の論理演算子によって、2つ以上互いに組み合わされることが可能である。たとえば、上記実施の形態における判定条件(y≧Y、図5)と変更例1における判定条件(r<R1 or r>R2、図8)とが組み合わされ、判定部31が、ステップS116において、y≧Yであり、且つ(または)、r<R1 or r>R2が満たされるか否かを判定するよう構成されてもよい。
【0122】
上記変更例1、2の構成によれば、判定部31によりユーザが画面を閲覧しにくい状態にあると判定されない限り、その表示制御処理(図5、図8)が継続して実行される。しかしながら、変更例1、2に係る表示制御処理は、実行開始後所定の時間が経過した後に、自動的に終了されるよう構成されてもよい。このような構成により、撮影部15の駆動時間が短縮され、消費電力が抑制される。
【0123】
たとえば、変更例1に係る図8に示されるフローチャートに、図13(a)に示す如くステップS151、S152の処理を挿入する構成が可能である。ステップS151において、制御部11は、タイマを用いて、時間t3の計時を開始する(S151)。そして、ステップS112〜S116の処理が繰り返し実行されている間に、時間t3が所定閾値T3を超えた場合には(S152:YES)、繰り返し実行されているステップS112〜S116の処理のループを抜ける。これにより、表示制御処理は、実行開始後T3秒が経過すると、自動的に終了される。
【0124】
上記と同様の構成は、変更例3へも適用できる。たとえば、変更例1に係る図10に示されるフローチャートに、図13(b)に示す如くステップS151、S152を挿入する構成を採ることが可能である。
【0125】
また、上記実施の形態および変更例1〜4において説明される表示制御処理は、ユーザの操作に応じてプログラム21が実行開始されたときに、実行開始される。ユーザによりプログラム21が実行開始されたときに限らず、表示制御処理は、プログラムの実行中においても、たとえば一定の時間が経過する毎に実行されるよう構成されてもよい。
【0126】
判定部31による、画面上の文字Aを拡大することの要否を判定するための判定条件は、上記実施の形態および変更例1〜4において説明された条件に限られる必要はない。判定条件は、撮影部15より取得される撮影画像に係る各種の情報を用い構成されてよい。たとえば、ユーザが眉をひそめる動作の検出など、撮影画像C上の顔Bの画像からユーザの表情を検出する処理の実行が可能な場合、判定条件は検出された表情または表情の変化に基づき、判定条件が構成されてもよい。
【0127】
また、判定部31が画面上の文字Aを拡大することの要否を判定するための判定条件は、撮影画像以外の情報に基づく条件を含んでもよい。たとえば、判定部31は、撮影画像Cに基づく条件に従えば画面上の文字Aを拡大することをこの好ましい場合であっても、操作入力部14やキー操作入力部19に対する操作が検出されている最中には、画面上の文字Aを拡大する必要がないと判定するよう構成できる。
【0128】
上記実施の形態および変更例1〜4では、プログラムリスト22に登録されているプログラム21に対して、判定部31による判定処理が適用されるが、プログラムリスト22は、上記判定処理を適用しないプログラム21を登録する、という形式で構成されてもよい。プログラムリスト22は、各プログラム21に対して、上記判定処理を適用するか否かを判別できるよう構成されていればよい。
【0129】
また、各プログラム21に対して、上記判定処理を適用するか否かを判別できる形式であれば、プログラムリスト22とは異なる形式で、判別のためのデータが記憶部12に記憶されてよい。たとえば、各プログラム21中に、当該プログラム21が判定部31による判定処理が適用されるか否かを決定するための情報が備えられることにより、記憶部12が、判別のためのデータとして記憶してもよい。また、判別のためのデータは、判定部31による判定処理を適用するプログラムを、プログラム21の中から特定するための条件を示すデータから構成されてもよい。この場合、制御部11は、当該条件(判別のためのデータ)に基づき、判定部31による判定処理を適用するプログラム21であるか否かを判別する。
【0130】
上記実施の形態および変更例1〜4では、撮影部15は、プログラムリスト22に登録されているプログラムが起動されたときに起動される(S101→S102)。しかしながら、プログラムの起動後の所定のタイミングで撮影部15が起動される構成が採られてもよい。たとえば、起動されたプログラムの実行画面に対する操作が所定時間(たとえば
数秒〜数十秒程度)操作入力部14により検出されなかった場合、撮影部15が起動される構成を採ることができる。撮影部15の起動時間の短縮により、撮影部15の作動に要する電力の消費量が抑制される。
【0131】
上記実施の形態および変更例1〜4において、文字の拡大(S106)の際、ユーザが文字の拡大率を調整するためのバー等の画像が、表示面3に表示されるよう構成されてもよい。当該構成によって、ユーザは、所望のサイズで文字A表示させることができる。拡大率の調整のための画像が表示される際、拡大をキャンセルするための操作手段をユーザへ提供する構成がさらに採られてもよい。拡大率の調整のための画像は、問い合わせのための画像E(変更例3)や文字の拡大のためのアイコンF(変更例4)の表示に併せて表示されてもよい。
【0132】
上記実施の形態および変更例1〜4では、表示変更部32は、表示面3に表示されている画面上の文字Aを拡大する。文字Aの拡大に限られず、表示変更部32は、各種の表示変更手段により文字Aの視認性を高めるために画面の表示態様を変更するよう、構成が採られてもよい。たとえば、文字Aの拡大(図5のS106参照)に代えて、図14(a)〜(d)に示す如く、表示変更部32は、表示面3に表示された画面において、文字Aの色の強調(背景色の補色へ変更等。図14(a)のS106a参照)、文字Aの書体の強調(文字Aを太くする、明朝体からゴシック体へ変更等。図14(b)のS106b参照)、文字Aと背景とのコントラストの強調(文字Aと背景の色を違いに略補色にするよう変更等。図14(c)のS106c参照)、または画面の輝度を上げる変更(図14(d)のS106d参照)を適用する構成が採られてもよい。表示変更部32は、文字Aの拡大、文字Aの色の強調、文字Aの書体の変更、文字Aと背景とのコントラストの強調、輝度を上げる変更等のうち、複数の表示変更手段を組み合わせて用いることにより、文字Aの視認性を向上させるよう画面の表示態様を変更する構成が採られてもよい。
【0133】
上記構成による画面の表示態様の変更は、変更例1〜4へも適用可能である。
【0134】
上記実施の形態では、スマートフォン型の携帯電話機に本発明が適用されている。しかしながら、これに限らず、ストレート式、折りたたみ式、スライド式等、他のタイプの携帯電話機に本発明が適用されてもよい。
【0135】
さらに、本発明は、携帯電話機に限られず、PDA(Personal DigitalAssistant)、タブレットPC(Tablet PC)、電子書籍端末等の携帯端末装置を含む、各種の通信装置に適用可能である。
【0136】
この他、本発明の実施の形態は、特許請求の範囲に示された技術的思想の範囲内において、適宜、種々の変更が可能である。
【符号の説明】
【0137】
1 携帯電話機 (携帯端末装置)
11 制御部
12 記憶部
13 表示部
15 撮影部
22 プログラムリスト (情報)
31 判定部
32 表示変更部
34 年齢推定部
35 大きさ検出部
36 位置検出部
P1、P2 視線位置
A 文字
C 撮影画像 (画像)
【特許請求の範囲】
【請求項1】
画面を表示する表示部と、
前記画面と略同一方向を向くよう配された撮影部と、
前記画面に向く人物の状態が前記画面を閲覧しにくい状態を示す所定の判定条件に合致するか否かを、前記撮影部により撮影された画像に基づき判定する判定部と、
前記判定部により前記人物の状態が前記判定条件に合致すると判定されたことに基づいて、前記画面の表示態様を、前記画面上に表示された文字の視認性が高まる表示態様へ変更する表示変更部と、を備える、
ことを特徴とする携帯端末装置。
【請求項2】
請求項1に記載の携帯端末装置において、
前記表示変更部は、前記判定部により前記人物の状態が前記判定条件に合致すると判定されたことに基づいて、前記画面において、前記文字の拡大、前記文字の色の強調、前記文字の書体の強調、前記文字と前記文字の背景の色とのコントラストの強調、前記画面の輝度を上げる変更のうち少なくとも1つを適用する、
ことを特徴とする携帯端末装置。
【請求項3】
請求項1または2に記載の携帯端末装置において、
前記人物の年齢を前記画像に基づき推定する年齢推定部をさらに備え、
前記判定条件は、前記年齢推定部により推定された年齢が所定の閾値を超えることを含む、
ことを特徴とする携帯端末装置。
【請求項4】
請求項1ないし3の何れか一項に記載の携帯端末装置において、
前記人物の視線の先にある前記画面上における視線位置を前記画像に基づき検出する位置検出部をさらに備え、
前記判定条件は、前記視線位置が、前記画面上において、所定の時間以上停止することを含む、
ことを特徴とする携帯端末装置。
【請求項5】
請求項1ないし4の何れか一項に記載の携帯端末装置において、
前記画像に含まれる前記人物の顔の領域の大きさを検出する大きさ検出部をさらに備え、
前記判定条件は、所定の期間における前記顔の領域の大きさの変化量が、所定の閾値以上であることを含む、
ことを特徴とする携帯端末装置。
【請求項6】
請求項1ないし5の何れか一項に記載の携帯端末装置において、
前記表示変更部による前記画面の前記表示態様の変更が適用されるプログラムであるか否か、を判別するための情報を記憶する記憶部をさらに備え、
前記表示変更部は、前記画面の前記表示態様の変更が、前記画面に対応する前記プログラムへ適用されることを前記情報が示す場合、前記判定部により前記人物が前記画面を閲覧しにくい状態にあると判定されたことに基づいて、前記画面の表示態様を、前記画面上に表示された前記文字の視認性が高まる表示態様へ変更する、
ことを特徴とする携帯端末装置。
【請求項7】
画面を表示する表示部と、
前記画面と略同一方向を向くよう配された撮影部と、を備える携帯端末装置のコンピュータに、
前記画面に向く人物の状態が前記画面を閲覧しにくい状態を示す所定の判定条件に合致するか否かを、前記撮影部により撮影された画像に基づき判定する機能と、
前記人物の状態が前記判定条件に合致すると判定したことに基づいて、前記画面の表示態様を、前記画面上に表示された文字の視認性が高まる表示態様へ変更する機能と、を付与する、
ことを特徴とするプログラム。
【請求項8】
画面を表示する表示部と、
前記画面と略同一方向を向くよう配された撮影部と、を備える携帯端末装置の表示制御方法であって、
前記画面に向く人物の状態が前記画面を閲覧しにくい状態を示す所定の判定条件に合致するか否かを、前記撮影部により撮影された画像に基づき判定するステップと、
前記人物の状態が前記判定条件に合致すると判定したことに基づいて、前記画面の表示態様を、前記画面上に表示された文字の視認性が高まる表示態様へ変更するステップと、を含む、
ことを特徴とする表示制御方法。
【請求項1】
画面を表示する表示部と、
前記画面と略同一方向を向くよう配された撮影部と、
前記画面に向く人物の状態が前記画面を閲覧しにくい状態を示す所定の判定条件に合致するか否かを、前記撮影部により撮影された画像に基づき判定する判定部と、
前記判定部により前記人物の状態が前記判定条件に合致すると判定されたことに基づいて、前記画面の表示態様を、前記画面上に表示された文字の視認性が高まる表示態様へ変更する表示変更部と、を備える、
ことを特徴とする携帯端末装置。
【請求項2】
請求項1に記載の携帯端末装置において、
前記表示変更部は、前記判定部により前記人物の状態が前記判定条件に合致すると判定されたことに基づいて、前記画面において、前記文字の拡大、前記文字の色の強調、前記文字の書体の強調、前記文字と前記文字の背景の色とのコントラストの強調、前記画面の輝度を上げる変更のうち少なくとも1つを適用する、
ことを特徴とする携帯端末装置。
【請求項3】
請求項1または2に記載の携帯端末装置において、
前記人物の年齢を前記画像に基づき推定する年齢推定部をさらに備え、
前記判定条件は、前記年齢推定部により推定された年齢が所定の閾値を超えることを含む、
ことを特徴とする携帯端末装置。
【請求項4】
請求項1ないし3の何れか一項に記載の携帯端末装置において、
前記人物の視線の先にある前記画面上における視線位置を前記画像に基づき検出する位置検出部をさらに備え、
前記判定条件は、前記視線位置が、前記画面上において、所定の時間以上停止することを含む、
ことを特徴とする携帯端末装置。
【請求項5】
請求項1ないし4の何れか一項に記載の携帯端末装置において、
前記画像に含まれる前記人物の顔の領域の大きさを検出する大きさ検出部をさらに備え、
前記判定条件は、所定の期間における前記顔の領域の大きさの変化量が、所定の閾値以上であることを含む、
ことを特徴とする携帯端末装置。
【請求項6】
請求項1ないし5の何れか一項に記載の携帯端末装置において、
前記表示変更部による前記画面の前記表示態様の変更が適用されるプログラムであるか否か、を判別するための情報を記憶する記憶部をさらに備え、
前記表示変更部は、前記画面の前記表示態様の変更が、前記画面に対応する前記プログラムへ適用されることを前記情報が示す場合、前記判定部により前記人物が前記画面を閲覧しにくい状態にあると判定されたことに基づいて、前記画面の表示態様を、前記画面上に表示された前記文字の視認性が高まる表示態様へ変更する、
ことを特徴とする携帯端末装置。
【請求項7】
画面を表示する表示部と、
前記画面と略同一方向を向くよう配された撮影部と、を備える携帯端末装置のコンピュータに、
前記画面に向く人物の状態が前記画面を閲覧しにくい状態を示す所定の判定条件に合致するか否かを、前記撮影部により撮影された画像に基づき判定する機能と、
前記人物の状態が前記判定条件に合致すると判定したことに基づいて、前記画面の表示態様を、前記画面上に表示された文字の視認性が高まる表示態様へ変更する機能と、を付与する、
ことを特徴とするプログラム。
【請求項8】
画面を表示する表示部と、
前記画面と略同一方向を向くよう配された撮影部と、を備える携帯端末装置の表示制御方法であって、
前記画面に向く人物の状態が前記画面を閲覧しにくい状態を示す所定の判定条件に合致するか否かを、前記撮影部により撮影された画像に基づき判定するステップと、
前記人物の状態が前記判定条件に合致すると判定したことに基づいて、前記画面の表示態様を、前記画面上に表示された文字の視認性が高まる表示態様へ変更するステップと、を含む、
ことを特徴とする表示制御方法。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【公開番号】特開2013−109687(P2013−109687A)
【公開日】平成25年6月6日(2013.6.6)
【国際特許分類】
【出願番号】特願2011−255864(P2011−255864)
【出願日】平成23年11月24日(2011.11.24)
【出願人】(000006633)京セラ株式会社 (13,660)
【Fターム(参考)】
【公開日】平成25年6月6日(2013.6.6)
【国際特許分類】
【出願日】平成23年11月24日(2011.11.24)
【出願人】(000006633)京セラ株式会社 (13,660)
【Fターム(参考)】
[ Back to top ]