情報処理装置および色判定方法
【課題】外光の影響を受けず、ユーザの顔画像において障害物がある場合であっても、精度よくユーザの健康状態などを推定し、通知する。
【解決手段】被写体に対して光線を照射する光源部１２と、被写体の画像を取得するカメラ部１１と、被写体に対する撮影において、障害物の有無を判定する障害物判定部２３と、被写体の画像における障害物を避けた領域を対象領域として判定する対象領域判定部２４と、光源部１２から光線を照射して取得した画像と、光源部１２から光線を照射せずに取得した画像との差分画像を生成する差分画像生成部２５と、差分画像生成部２５により生成された差分画像の対象領域において、あらかじめ設定した期待値に基づく閾値と比較し、被写体の色の変化の度合いを判定する顔色判定部２６とを備える。
【解決手段】被写体に対して光線を照射する光源部１２と、被写体の画像を取得するカメラ部１１と、被写体に対する撮影において、障害物の有無を判定する障害物判定部２３と、被写体の画像における障害物を避けた領域を対象領域として判定する対象領域判定部２４と、光源部１２から光線を照射して取得した画像と、光源部１２から光線を照射せずに取得した画像との差分画像を生成する差分画像生成部２５と、差分画像生成部２５により生成された差分画像の対象領域において、あらかじめ設定した期待値に基づく閾値と比較し、被写体の色の変化の度合いを判定する顔色判定部２６とを備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、液晶画面のバックライトのような光源手段とカメラ機能のような撮影手段とを備えた情報処理装置に関し、特に、撮影手段により撮影したユーザの顔などの画像に基づきユーザの健康状態などを推定し、通知する情報処理装置に関する。
【背景技術】
【０００２】
このようなユーザの健康状態や心理状態を通知する機能を備えた情報処理装置として、従来、例えば、特許文献１の移動電話機のような技術が提案されている。
【０００３】
このような、従来の移動電話機は、表示パネルと、入力された顔画像を顔画像特徴分析機能を用いて分析し、その結果に基づいてその心身状態を判定する状態判定手段と、判定結果を表示パネルに表示する表示制御手段とを有している。従来の移動電話機は、このような構成により、携帯電話により日常的に収集できる各種の情報を利用して、ユーザや通話相手の健康状態や心理状態をチェック可能としている。
【特許文献１】特開２００５−２７２２５号公報
【特許文献２】特開２００３−１５０９４４号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、例えば、従来例のようにユーザの顔画像を撮影し、その顔画像の特徴分析をするような場合、太陽光や照明などの外光により撮影する顔色や陰影などが変化するため、顔画像により正確に健康状態などを判断しにくいという課題があった。さらに、ユーザの顔画像を撮影しようとする場合、例えば、ユーザがマスクをかけていたり、顔に絆創膏などを貼ったりしている場合があり、これらが障害物となって顔画像の分析が正確に実施できない可能性もあった。
【０００５】
本発明は、このような課題を解決するためになされたもので、ユーザの例えば顔画像において、外光の影響を受けることなく、また障害物の影響なども受けることなく顔色を取得でき、これによって精度よくユーザの健康状態などを推定し、通知する情報処理装置および色判定方法を提供することを目的とする。
【課題を解決するための手段】
【０００６】
上述したような目的を達成するために、本発明の情報処理装置は、被写体に対して光線を照射する光源手段と、被写体を撮影し、被写体の画像データを取得する撮影手段と、被写体の画像データにおいて、障害物の有無を判定するとともに、障害物の領域を検出する障害物判定部と、被写体の画像データにおける障害物を避けた領域を対象領域として判定する対象領域判定部と、光源手段から光線を照射して取得した画像データと、光源手段から光線を照射せずに取得した画像データとの差分画像データを生成する差分画像生成部と、差分画像生成部により生成された差分画像データの対象領域において、あらかじめ設定した期待値と比較し、被写体の色の変化の度合いを判定する色判定部とを備えた構成である。
【０００７】
また、本発明の情報処理装置は、電話機能をさらに備え、電話機能による通話中において、差分画像生成部が差分画像データを生成し、色判定部が色の変化の度合いを判定する構成である。
【０００８】
また、本発明の情報処理装置は、電話機能をさらに備え、電話機能による通話の開始とともに、撮影手段が、光源手段から光線を照射した状態で撮影した画像データと光源手段から光線を照射しない状態で撮影した画像データとを取得し、差分画像生成部が、差分画像データを生成し、色判定部が、差分画像データを用いて、色の変化の度合いを判定する構成である。
【０００９】
また、本発明の情報処理装置は、障害物判定部が障害物有りと判定した場合には、障害物があることをユーザに通知する手段を有する構成である。
【００１０】
また、本発明の情報処理装置は、障害物有りと判定した場合、通話位置の変更を検出する機能を有した通話制御部をさらに備え、通話位置の変更を検出する機能により通話位置の変更を検出すると、再度、撮影手段が、光源手段から光線を照射した状態で撮影した画像データと光源手段から光線を照射しない状態で撮影した画像データとを取得し、差分画像生成部が、差分画像データを生成し、色判定部が、差分画像データを用いて、色の変化の度合いを判定するよう制御する構成である。
【００１１】
また、本発明の情報処理装置は、障害物判定部が、画像データを、複数の画素で構成されるブロック単位で分割し、あらかじめ定めた所定の範囲の閾値と、ブロックにおける各画素の平均値とを比較し、平均値が所定の範囲の閾値の範囲外となるブロックを第１除外ブロックとし、第１除外ブロックであり、かつ周囲のブロックの中に連続した所定の個数以上の第１除外ブロックがある場合には、それぞれを第２除外ブロックとし、画像の最外周の各ブロックを第３除外ブロックとし、第２除外ブロックおよび第３除外ブロックを障害物領域とし、対象領域判定部が、画像データにおいて障害物領域を除外した領域を対象領域とする構成である。
【００１２】
また、本発明の情報処理装置は、期待値に対する補正値を生成する補正部をさらに備え、色判定部が、対象領域において、補正値で補正された期待値と比較し、被写体の色の変化の度合いを判定する構成である。
【００１３】
また、本発明の情報処理装置は、補正部が、ユーザ入力に基づく補正値を生成する構成である。
【００１４】
また、本発明の情報処理装置は、補正値を、ユーザの一時的な肌の色の変化に対応させた値とした構成である。
【００１５】
また、本発明の情報処理装置は、補正値を、日時、季節、生活パターンに応じた値とした構成である。
【００１６】
また、本発明の色判定方法は、被写体に対して光線を照射する光源手段と、被写体を撮影し、被写体の画像データを取得する撮影手段とを備えた情報処理装置による色判定方法であって、光源手段から光線を照射して被写体を撮影し、画像データを取得するステップと、光源手段から光線を照射せずに被写体を撮影し、画像データを取得するステップと、被写体の画像データにおいて、障害物の有無を判定するとともに、障害物の領域を検出するステップと、被写体の画像データにおける障害物を避けた領域を対象領域として判定するステップと、光源手段から光線を照射して取得した画像データと、光源手段から光線を照射せずに取得した画像データとの差分画像データを生成するステップと、生成された差分画像データの対象領域において、あらかじめ設定した期待値と比較し、被写体の色の変化の度合いを判定するステップとを備える。
【００１７】
また、本発明のプログラムは、被写体に対して光線を照射する光源手段と、被写体を撮影し、被写体の画像データを取得する撮影手段とを備えた情報処理装置のプログラムであって、光源手段から光線を照射して被写体を撮影し、画像データを取得するステップと、光源手段から光線を照射せずに被写体を撮影し、画像データを取得するステップと、被写体の画像データにおいて、障害物の有無を判定するとともに、障害物の領域を検出するステップと、被写体の画像データにおける障害物を避けた領域を対象領域として判定するステップと、光源手段から光線を照射して取得した画像データと、光源手段から光線を照射せずに取得した画像データとの差分画像データを生成するステップと、生成された差分画像データの対象領域において、あらかじめ設定した期待値と比較し、被写体の色の変化の度合いを判定するステップとを備える。
【発明の効果】
【００１８】
本発明の情報処理装置および色判定方法は、ユーザの例えば顔色判定のために、光源手段から光線を照射して取得した画像データと、光源手段から光線を照射せずに取得した画像データとの差分画像データを利用しているため、外光による影響を抑制することができる。さらに、本発明の情報処理装置および色判定方法は、ユーザの顔画像を撮影したとき、顔色判定のために障害となる障害物を避けた領域である対象領域において、ユーザの顔色を判定する。このため、本発明の情報処理装置あるいは色判定方法によれば、外光の影響を受けることなく、また、ユーザの顔画像において障害物がある場合であっても、障害物を避けた領域で健康状態などを判定でき、これによって、精度よくユーザの健康状態などを推定し、通知する情報処理装置および色判定方法を提供することができる。
【発明を実施するための最良の形態】
【００１９】
以下、本発明の実施の形態について図面を参照しながら詳細に説明する。
【００２０】
（実施の形態）
図１は、本発明の実施の形態における情報処理装置の構成を示すブロック図である。
【００２１】
本実施の形態では、電話機能を備え、表示機能のためのバックライトなどの光源を有するとともにカメラ機能を備えた携帯電話装置のような情報処理装置の一例を挙げて説明する。本情報処理装置は、ユーザの肌の色を判定する機能を備えたことを特徴としており、例えば、ユーザが通話を行っているときに、カメラ機能を利用して、カメラ機能に近接したユーザの顔の例えば頬部分を撮影し、ユーザの顔色を判定する。本実施の形態では、このようにユーザの肌の色として、頬部分などの顔色を判定するような一例を挙げて説明する。
【００２２】
図１に示すように、本情報処理装置は、概略、被写体に対して光線を照射する光源手段としての光源部１２と、被写体を撮影し、被写体の画像データを取得する撮影手段としてのカメラ部１１と、撮影に関する処理を行う撮影部１０と、カメラ部１１で撮影した画像の画像データ処理を行う信号処理部２１と、被写体の画像データにおいて、障害物の有無を判定するとともに、画像データにおける障害物の領域を検出する障害物判定部２３と、被写体の画像データにおける障害物を避けた領域を対象領域として判定する対象領域判定部２４と、光源部１２から光線を照射して取得した画像データと、光源部１２から光線を照射せずに取得した画像データとの差分画像データを生成する差分画像生成部２５と、顔色判定のための期待値を生成する初期化部２２と、差分画像生成部２５により生成された差分画像データの対象領域において、あらかじめ初期化部２２が生成した期待値と比較し、被写体の色の変化の度合いを判定する色判定部としての顔色判定部２６と、初期化部２２で生成された期待値に対して補正を行う補正部２８と、電話での通話に関する処理を行う通話制御部２７と、ユーザからの指示などを受け付けるとともに、ユーザに対して情報を通知するユーザインタフェース部（以下、ユーザＩＦ部と呼ぶ）３０と、ユーザに対する情報を表示する表示部３１と、ユーザからの指示を受け付けるキー部３２と、期待値や補正値を含め各種情報やデータを記憶するメモリ２０とを備えている。なお、障害物判定部２３は、障害物の領域の検出において、例えば、障害物の候補を検出するような構成であったり、誤検出する場合があってもよい。
【００２３】
撮影部１０は、通話制御部２７からの指示に応じて、カメラ部１１および光源部１２を制御して、差分画像データを生成するための画像データを取得する。また、光源部１２は、例えば、表示部３１が液晶パネルによる表示の場合、液晶パネルの背面に配置したバックライトである。すなわち、本情報処理装置は、ユーザが通話を行っているときに、撮影部１０が、カメラ部１１に対し、ユーザの顔を撮影するよう制御する。特に、このような撮影において、まず、撮影部１０は、光源部１２による照射がない状態の頬の画像データが得られるようにカメラ部１１を制御する。次に、撮影部１０は、光源部１２により照射された状態の頬の画像データが得られるようにカメラ部１１を制御する。撮影部１０は、このような撮影処理および光源制御処理を行うことで２種類の画像データを生成し、生成した２種類の画像データを信号処理部２１に供給する。なお、このような２種類の画像を生成するのは、例えば、照明用蛍光灯などの外光の影響を抑制するために行っている。この原理については以下で詳細に説明する。
【００２４】
また、本実施の形態では、上述したように光源部１２を液晶パネルなどのバックライトとして説明するが、例えば、有機ＥＬなどのように自発光であるためバックライトを有していない情報処理装置の場合、例えば、白色の発光状態と発光を停止させた状態との条件で２種類の画像データを取得するような形態であってもよい。
【００２５】
２種類の画像データは、信号処理部２１に供給される。信号処理部２１は、データ処理するため、画像データそれぞれを、例えば、輝度データＹと２つの色差データＵＶに変換する。
【００２６】
初期化部２２は、本情報処理装置における顔色判定の基準をあらかじめユーザに作成してもらうために設けている。すなわち、ユーザは、例えば健康な状態のときに、撮影により上述したような２種類の画像データを生成し、このとき、初期化部２２が、両画像データの差分値を期待値として生成し、さらに期待値から顔色判定のための各種パラメータを生成しメモリ２０に記録しておく。
【００２７】
障害物判定部２３は、カメラ部１１が撮影した頬の画像データにおいて、障害物の有無や、障害物があった場合、画像上におけるその領域を判定する。すなわち、本情報処理装置は、ユーザが通話中、ユーザの頬を自動的に撮影して顔色の判定を行うが、例えば、ユーザがかぜをひいてマスクをしていたり、けがをして絆創膏などを頬に貼っていた場合、これらが障害物となり正確に判定できない。このため、本情報処理装置は、まず、障害物判定部２３により、このような画像上での障害物がある領域を判定する障害物判定処理を行っている。なお、障害物判定の手法については以下で詳細に説明する。また、障害物判定部２３は、画像上における障害物が占める領域の割合を算出する処理なども行う。
【００２８】
また、対象領域判定部２４は、障害物判定部２３が判定した障害物の領域に関する情報を利用して、画像上での障害物を避けた領域を求め、画像データにおける対象領域として差分画像生成部２５に通知する。
【００２９】
差分画像生成部２５は、上述したような２種類の画像データ、すなわち、光源部１２から光線を照射して取得した画像データと、光源部１２から光線を照射せずに取得した画像データとの差分を求め、対象領域における差分画像データを顔色判定部２６に通知する。
【００３０】
顔色判定部２６は、差分画像生成部２５により生成された差分画像データにおいて、その対象領域における差分画像データの平均値を求め、その平均値とメモリ２０に記憶した期待値に基づく閾値など各パラメータの値とを比較し、被写体の色の変化の度合いを判定する。また、顔色判定部２６は、このような判定結果に基づき、色の変化に対応したメッセージを作成しユーザＩＦ部３０に通知する。また、ユーザＩＦ部３０から、例えば表示部３１にこのようなメッセージを表示することで、ユーザに顔色の判定結果を通知する。すなわち、例えば、差分画像データの値が期待値に対して青色傾向にある場合には、顔色判定部２６は、健康状態が良くないというようなメッセージを作成し、表示部３１に表示する。
【００３１】
補正部２８は、顔色判定部２６の判定処理に利用する補正値を生成する。すなわち、顔色は、例えば、夏などにおいては日焼けして黒っぽくなったりし、また、朝か夜かの違いや生活パターンの変化によっても変化する。このため、補正部２８は、顔色判定部２６の判定処理に利用する補正値を作成し、このような補正値をメモリ２０に保存する。また、補正部２８は、メモリ２０に保存した補正値をクリアするような処理も行う。
【００３２】
通話制御部２７は、電話での通話に関する処理を行うとともに、通話の開始および終了を判定し、撮影部１０に通知する。さらに、通話制御部２７は、本情報処理装置を顔の右側と左側のいずれの側に近接させて通話しているかを判定するような通話位置の判定処理なども行う。
【００３３】
次に、本実施の形態における情報処理装置の色判定としての顔色判定の原理について説明する。
【００３４】
図２は、本情報処理装置による顔色判定の原理を示す図である。図２において、図２（ａ）は、初期化部２２により期待値を作成するときの概要を示しており、また、図２（ｂ）は、顔色判定部２６により顔色を判定するときの概要を示している。
【００３５】
まず、本情報処理装置は毎回異なった光環境で使用される可能性が高いため、このような顔色を判定する場合、図２の光源１および光源２で示すような外光の影響を抑制する必要がある。このため、本情報処理装置では、図２に示すバックライトのような光源部１２からの照射ありの画像データと照射なしの画像データとの差分画像データに基づき顔色を判定している。すなわち、図２（ａ）の場合、光源部１２からの照射ありのときには、光源１と光源部１２との光量が加算された光線が顔の頬に照射される。また、光源部１２からの照射なしのときには、光源１のみの光量の光線が顔の頬に照射される。このような２種類の画像データの差分を求めることによって、光源１の光量分による画像成分は打ち消されるとともに、光源部１２の光線の照射による顔の頬の画像データが抽出できることになる。図２（ｂ）の場合も同様に、このような２種類の画像データの差分を求めることによって、光源２による画像成分を打ち消すことができる。本情報処理装置は、このようにして、外光の影響を抑制し、バックライトのような常に同じ条件である光源部１２による顔の頬の画像データを取得している。このため、図２（ａ）で示すようにして生成した期待値を基準にして、各通話時における顔色の判定を行うことが可能となる。
【００３６】
次に、障害物判定部２３により障害物の領域を検出し、対象領域判定部２４により障害物を避けた対象領域を判定する手法について説明する。
【００３７】
図３は、本情報処理装置における対象領域を抽出する手順を説明するための図である。本実施の形態では、このような障害物は連続していることを想定し、その領域を求めている。また、障害物の領域を検出するため、本実施の形態では、画像を所定数の画素で構成されるブロックに分割している。図３では、１つのブロックがＮ×Ｍ画素のブロックで構成された一例を示している。
【００３８】
まず、障害物判定部２３は、あらかじめ決定しておいた障害物判定のための上限の閾値および下限の閾値と、信号処理部２１から取り込んだ画像データのブロックごとの平均値とを比較する。そして、障害物判定部２３は、平均値が両閾値の範囲外となるブロックを第１除外ブロックとする。図３の判定画像１は、このような第１除外ブロックを設定した一例を示している。判定画像１において、「０」は平均値が両閾値の範囲内となるブロックを示しており、また、「１」は平均値が両閾値の範囲外となるブロック、すなわち第１除外ブロックを示している。
【００３９】
次に、障害物判定部２３は、第１除外ブロックであって、さらにその周囲のブロックの中に連続した所定の個数以上の第１除外ブロックがあるブロックを、第２除外ブロックとする。例えば、その周囲の８個のブロックの中に連続した３個以上の第１除外ブロックがある場合、それらのブロックを、第２除外ブロックとする。すなわち、障害物は、通常、ブロックよりも大きいので、第１除外ブロックが連続している領域を障害物と判断している。図３の判定画像２は、このような第２除外ブロックを設定した一例を示している。判定画像２において、「２」が第２除外ブロックを示している。
【００４０】
次に、障害物判定部２３は、画像上における最外周のブロックを第３除外ブロックとする。図３の判定画像３は、このような第３除外ブロックを設定した一例を示している。判定画像３において、「３」が第３除外ブロックを示している。
【００４１】
以上のような手順により、障害物判定部２３は、障害物の領域を判定している。また、障害物判定部２３は、光源部１２からの照射ありの画像データと照射なしの画像データとの輝度データおよび色差データそれぞれに対してこのような障害物の判定処理を行う。
【００４２】
次に、対象領域判定部２４は、障害物判定部２３で設定された第２除外ブロックおよび第３除外ブロックを除く領域を対象領域に設定する。すなわち、図３の判定画像３に例示するように、「２」および「３」以外のブロックがある領域を対象領域としている。顔色判定部２６は、このような障害物の影響を受けない対象領域において、差分画像データの値と期待値とを比較し、顔色の判定を行うため、精度よく顔色を判定することが可能となる。
【００４３】
次に、以上のように構成された本実施の形態の情報処理装置の動作について説明する。図４は、本情報処理装置における色判定としての顔色判定のための各処理の手順を示すフローチャートである。また、図５は、本情報処理装置における顔色判定処理の手順を示すフローチャートである。また、図６は、本情報処理装置における顔色判定処理のための各パラメータの値を説明するための図である。以下、図４から図６までを参照しながら、本実施の形態の情報処理装置の詳細な動作について説明する。
【００４４】
本情報処理装置は、通話制御部２７において通話が開始されたかどうかを判定し、本情報処理装置により通話が開始されたと判定すると、本情報処理装置は図４に示す手順に従った顔色判定のための処理を開始する。
【００４５】
本情報処理装置は、このような処理を開始すると、まず、撮影部１０の制御により、カメラ部１１がバックライトなど光源部１２からの照射なしの状態で撮影する。このとき、ユーザは本情報処理装置を用いて通話中であるため、カメラ部１１は、ユーザの顔の頬を撮影することになる。撮影部１０は、カメラ部１１の撮影による画像データを取り込み、信号処理部２１に供給する。信号処理部２１は、画像データから、輝度データｙおよび色差データｕ、ｖを生成し、さらに、ブロックごとの平均値を求める。すなわち、信号処理部２１は、光源部１２からの照射なしの状態での輝度データにおいて、そのブロックごとの平均値であるｙ０ａｖｇ、および同色差データにおいての平均値ｕ０ａｖｇ、およびｖ０ａｖｇを求める（ステップＳ１００）。
【００４６】
次に、本情報処理装置は、撮影部１０の制御により、カメラ部１１がバックライトなど光源部１２からの照射ありの状態で撮影する。信号処理部２１は、画像データから、輝度データｙおよび色差データｕ、ｖを生成し、さらに、ブロックごとの平均値を求める。すなわち、信号処理部２１は、光源部１２からの照射ありの状態での輝度データにおいて、そのブロックごとの平均値であるｙ１ａｖｇ、および同色差データにおいての平均値ｕ１ａｖｇ、およびｖ１ａｖｇを求める（ステップＳ１０２）。
【００４７】
次に、障害物判定部２３は、図３を用いて説明したような手順に従って、障害物の判定処理を実行する。さらに、対象領域判定部２４が、障害物の領域を除外した領域を判定し、これによって顔色を判定するための対象領域が設定される（ステップＳ１０４）。
【００４８】
次に、本情報処理装置は、取得した画像に対して障害物が占める割合を算出する。すなわち、図３の判定画像３のような場合、例えば、「２」で示す第２除外ブロックの個数を、「０」、「１」および「２」で示すブロックの総個数で割ることにより、障害物ブロックの割合を算出する。この後、障害物ブロックの割合が所定の割合よりも大きい場合、ステップＳ１１０の処理に移る。また、障害物ブロックの割合が所定の割合よりも小さい場合、ステップＳ１０８の処理に移る（ステップＳ１０６）。
【００４９】
障害物ブロックの割合が所定の割合よりも小さい場合、差分画像生成部２５は、対象領域における、光源部１２から光線を照射して取得した画像データと照射せずに取得した画像データとの差分を求め、対象領域における差分画像データを求める。すなわち、差分画像生成部２５は、輝度データにおける差分データｙｄｉｆｆ、および色差データにおける差分データｕｄｉｆｆおよびｖｄｉｆｆを求める（ステップＳ１０８）。
【００５０】
この後、顔色判定部２６が顔色判定処理を実行する（ステップＳ２００）。顔色判定処理については、図５を用いて以下で詳細に説明する。
【００５１】
また、ステップＳ１０６において、障害物ブロックの割合が所定の割合よりも大きいと判定した場合、ステップＳ１１０の処理に移る。本情報処理装置は、通話制御部２７が通話位置の変更を検出する機能を有しており、ステップＳ１１０において、本情報処理装置は、通話制御部２７により通話位置、すなわち、本情報処理装置を顔の右側と左側のいずれの側に近接させて通話しているかを判定する。本情報処理装置は、通話位置の判定に基づき、ユーザが本情報処理装置を近接させている耳の位置が変わったと判定すると、ステップＳ１００の処理に戻る。また、本情報処理装置は、耳の位置が変わっていないと判定すると、ステップＳ１１２の処理に移る（ステップＳ１１０）。
【００５２】
なお、通話位置の変更を検出する機能の一例として、本情報処理装置が地磁気センサを備えた構成とし、この地磁気センサで検出した方位が例えば１２０度以上変化したら、通話位置が変更されたと判定するような手段を設けることで、このような機能が実現できる。また、通話位置の変更を検出する機能の他の例として、本情報処理装置がモーションセンサを備えた構成とし、このモーションセンサが本情報処理装置の傾きを検出し、このモーションセンサで検出した傾きが例えば１０度以上変化したら通話位置が変更されたと判定するような手段を設けてもよい。さらに、通話位置の変更を検出する機能のその他の例として、本情報処理装置が動き検出手段を備えた構成とし、この動き検出手段で動きを検出後に静止状態を検出したら通話位置が変更されたと判定するような手段を設けてもよい。さらに、通話位置の変更を検出する機能のその他の例として、本情報処理装置がタッチパネルを備えた構成とし、このタッチパネルが例えば「接触」、「非接触」、次に「接触」というような順で接触を検出したら通話位置が変更されたと判定するような手段を設けてもよい。
【００５３】
次に、本情報処理装置は、通話制御部２７により、例えば１分間に１回というような所定の時間間隔をおいて、通話が終了したかどうかを判定する。通話が終了していない場合には、ステップＳ１１０の処理に戻る。また、通話が終了した場合、ステップＳ１１４の処理に移る（ステップＳ１１２）。
【００５４】
通話が終了したと判定すると、本情報処理装置は、ユーザＩＦ部３０により、例えば、「障害物をはずしてください」というようなメッセージを提示する。すなわち、大きな障害部があり、かつユーザは本情報処理装置の通話位置を変えなかったため、顔色の判定が正確にできない可能性が高い。このため、このようなメッセージにより、ユーザに対して障害物を取り除くよう促す（ステップＳ１１４）。
【００５５】
次に、本情報処理装置は、ステップＳ１００と同様に、撮影部１０の制御により、カメラ部１１がバックライトなど光源部１２からの照射なしの状態で撮影し（ステップＳ１１６）、さらに、ステップＳ１０２と同様に、カメラ部１１が照射ありの状態で撮影する（ステップＳ１１８）。さらに、ステップＳ１０４と同様に、障害物判定部２３が、障害物の判定処理を実行する（ステップＳ１２０）。この後、ステップＳ１０６と同様に、本情報処理装置は、取得した画像に対して障害物が占める割合を算出し、割合が大きい場合、ステップＳ１２４の処理に進み、また、割合が小さい場合、ステップＳ１０８の処理に進む（ステップＳ１２２）。すなわち、ステップＳ１２２において、割合が小さい場合、本情報処理装置は、ステップＳ１１４でのメッセージによりユーザが障害物を取り除き、これによって顔色を正確に判定できると判断し、ステップＳ１０８の処理へと移る。一方、ステップＳ１２２において、割合が大きい場合、本情報処理装置は、ユーザが障害物を取り除かなかったか、あるいは取り除いても障害物と判定するぐらい顔色が悪い可能性があると判断し、ステップＳ１２４の処理へと進む。
【００５６】
本情報処理装置は、ステップＳ１２２において、割合が大きいと判定すると、上述のような異常と判断し、次に、ユーザＩＦ部３０により、例えば、「障害物をはずしてないのであれば、健康状態が悪い可能性があります」というようなメッセージを提示し、その後、処理を終了する（ステップＳ１２４）。
【００５７】
なお、初期化部２２により期待値を生成する場合、図４のステップＳ１００からステップＳ１０８までを実行し、これによって期待値を生成する。
【００５８】
次に、図４におけるステップＳ２００で実行する顔色判定処理について、図５および図６を参照しながら詳細について説明する。
【００５９】
まず、顔色判定処理に利用する各パラメータについて、図６を用いて説明する。なお、図６では、輝度データＹに対する各パラメータを例示しているが、色差データＵおよびＶに対しても同様である。本実施の形態では、顔色の判定を行うため、顔色が正常であるとする範囲や、一時的に正常であるとするような範囲をあらかじめ決定し、メモリ２０に記憶している。
【００６０】
顔色が正常であるとする範囲として、本実施の形態では、初期化部２２により取得した期待値に対し、下方向の幅ｙ０、および上方向の幅ｙ１を設定し、これによって、下限の閾値１から上限の閾値２までを正常範囲としている。すなわち、対象領域における差分輝度データがこの範囲内の値である場合、顔色が正常であると判定する。
【００６１】
また、顔色が一時的に正常であるとするような範囲として、本実施の形態では、閾値１の下方向に一時補正値ｙ＿ｔｍｐ０、および閾値２の上方向に一時補正値ｙ＿ｔｍｐ１を設定し、これによって、下限の閾値ｔｍｐ１から上限の閾値ｔｍｐ２までを一時的正常範囲としている。なお、このような、一時的正常範囲は、日焼け、飲酒あるいは入浴などの影響で顔色が変化したときにも許容する範囲として設定している。
【００６２】
次に、図６で示した各パラメータを用いて顔色を判定する顔色判定処理について説明する。
【００６３】
図５に示すように、顔色判定処理が開始されると、まず、顔色判定部２６は、差分輝度データおよび差分色差データの対象領域における平均値を算出する。さらに、顔色判定部２６は、算出した平均値が、図６に示した閾値１から閾値２までの範囲内にあるかどうかを判定する。平均値が、閾値１から閾値２までの範囲内にある場合には、顔色判定部２６は、ステップＳ２１２の処理に進む。また、平均値が閾値１から閾値２までの範囲内ではない場合には、顔色判定部２６は、ステップＳ２２０の処理に進む（ステップＳ２１０）。
【００６４】
ステップＳ２１２の処理に進むと、顔色判定部２６は、一時補正値がメモリ２０に保存されているかどうかを判定する（ステップＳ２１２）。一時補正値が保存されている場合、顔色判定部２６は、ステップＳ２１４の処理に進み、メモリ２０に保存した一時補正値をクリアし、顔色判定処理を終了する（ステップＳ２１４）。また、一時補正値が保存されていない場合、顔色判定部２６は、処理の終了に進み、顔色判定処理を終了する。以上、ステップＳ２１０からステップＳ２１４までの処理により、ユーザが通話中に取り込んだ顔の画像データの色が、閾値１から閾値２で示すような正常範囲であった場合には、本情報処理は、「顔色は正常」として処理を終了する。
【００６５】
また、ステップＳ２１０において、平均値が閾値１から閾値２までの範囲内ではないと判定された場合、まず、顔色判定部２６は、一時補正値がメモリ２０に保存されているかどうかを判定する（ステップＳ２２０）。一時補正値が保存されている場合、顔色判定部２６は、ステップＳ２２２の処理に進む。また、一時補正値が保存されていない場合、顔色判定部２６は、ステップＳ２４０の処理に進む。
【００６６】
ステップＳ２２０において一時補正値が保存されていると判定すると、顔色判定部２６は、次に、算出した平均値が、図６に示した閾値ｔｍｐ１から閾値ｔｍｐ２までの範囲内にあるかどうかを判定する。平均値が、閾値ｔｍｐ１から閾値ｔｍｐ２までの範囲内にある場合には、顔色判定部２６は、処理の終了に進み、顔色判定処理を終了する。また、平均値が閾値ｔｍｐ１から閾値ｔｍｐ２までの範囲内ではない場合には、顔色判定部２６は、ステップＳ２２４の処理に進む（ステップＳ２２２）。ステップＳ２２４の処理に進むと、本情報処理装置は、ユーザＩＦ部３０により、例えば、「体調は大丈夫か？」というようなメッセージを提示する（ステップＳ２２４）とともに、ユーザ入力を要求する（ステップＳ２２６）。ユーザから「ＹＥＳ」というような入力があった場合には、処理の終了に進み、顔色判定処理を終了する。また、ユーザから「ＮＯ」というような入力があった場合には、ステップＳ２２８の処理に進み、ユーザＩＦ部３０により、例えば、「健康診断をお勧めします」というようなメッセージを提示し（ステップＳ２２８）、顔色判定処理を終了する。
【００６７】
また、ステップＳ２２０において一時補正値が保存されていないと判定すると、ユーザＩＦ部３０により、例えば、「顔色が悪いようですが、運動、入浴、飲酒のあとですか？」というようなメッセージを提示する（ステップＳ２４０）とともに、ユーザ入力を要求する（ステップＳ２４２）。ユーザから「ＹＥＳ」というような入力があった場合には、ステップＳ２４８の処理に進む。また、ユーザから「ＮＯ」というような入力があった場合には、ステップＳ２４４の処理に進み、ユーザＩＦ部３０により、例えば、「顔色が悪いようですが、日焼けしていますか？」というようなメッセージを提示し（ステップＳ２４４）、さらに、ユーザ入力を要求する（ステップＳ２４６）。ステップＳ２４６において、ユーザから「ＹＥＳ」というような入力があった場合には、ステップＳ２４８の処理に進む。また、ユーザから「ＮＯ」というような入力があった場合には、ステップＳ２２４の処理に進み、ステップＳ２２４やステップＳ２２８のような「顔色が悪い」ことに関するメッセージを提示した後、顔色判定処理を終了する。また、ステップＳ２４８の処理に進むと、現在の画像データが一時的正常な範囲内となるように、現在の画像データから一時補正値を決定し、メモリ２０に保存する（ステップＳ２４８）。この後、顔色判定処理を終了する。
【００６８】
なお、以上の説明では、１度取得した期待値から算出した各パラメータを利用して、顔色の判定を行う一例を挙げて説明したが、顔色は上述したような、入浴や飲酒後、あるいは日焼けのような一時的な変化に加えて、例えば、季節、曜日、時間帯および気温や生活パターンなどによっても変化する可能性がある。図７は、本情報処理装置におけるこのような各変化にも対応させるために設定した各パラメータの一例を示している。すなわち、図７に示すように、季節、曜日、時間帯および気温における期待値を初期化部２２により取得するとともに、それぞれの期待値から図６に示したような各パラメータを求め、メモリ２０に保存する。そして、季節や曜日などに合わせて顔色判定処理を行うことにより、より精度よい顔色判定を行うことが可能となる。
【００６９】
また、以上、図４および図５で説明したステップを実行することで本発明の色判定方法における各ステップの処理が実施される。
【００７０】
以上説明したように、本発明の情報処理装置は、被写体である顔に対して光線を照射する光源部１２と、顔を撮影し、顔の画像データを取得するカメラ部１１と、顔の画像データにおいて、障害物の有無を判定するとともに、障害物の領域を検出する障害物判定部２３と、顔の画像データにおける障害物を避けた領域を対象領域として判定する対象領域判定部２４と、光源部１２から光線を照射して取得した画像データと照射せずに取得した画像データとの差分画像データを生成する差分画像生成部２５と、差分画像生成部２５により生成された差分画像データの対象領域において、あらかじめ設定した期待値に基づく閾値１および閾値２と比較し、顔色の変化の度合いを判定する顔色判定部２６とを備えた構成である。このため、本発明の情報処理装置によれば、光源部１２から光線を照射して取得した画像データと、光源部１２から光線を照射せずに取得した画像データとの差分画像データを利用しているため、顔色など肌色の判定において、外光による影響を抑制することができる。さたに、本発明の情報処理装置によれば、ユーザの顔色判定のためユーザの顔画像を撮影したとき、障害物判定部２３が顔色判定のために障害となる領域を判定し、対象領域判定部２４が、障害物を避けた領域である対象領域を通知し、顔色判定部２６が、この対象領域においてユーザの顔色を判定する。よって、本発明の情報処理装置によれば、外光の影響を受けることなく、また、ユーザの顔画像において障害物がある場合であっても、障害物を避けた領域で健康状態などを判定でき、これによって、精度よくユーザの健康状態などを推定し、通知する情報処理装置を提供することができる。また、同様に、本発明の色判定方法によっても、精度よくユーザの健康状態などを推定し、通知する色判定方法を提供することができる。
【００７１】
なお、本発明を上記実施の形態に基づいて説明してきたが、本発明は、上記の実施の形態に限定されないのはもちろんである。以下のような場合も本発明に含まれる。
【００７２】
すなわち、本情報処理装置を構成する構成要素の一部または全部は、１個のシステムＬＳＩ（Ｌａｒｇｅ Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｉｏｎ：大規模集積回路）に含まれるとしてもよい。システムＬＳＩは、複数の構成部を１個のチップ上に集積して製造された超多機能ＬＳＩである。
【００７３】
また、上記の回路を構成する構成要素の各部は、個別に１チップ化されていてもよいし、一部またはすべてを含むように１チップ化されてもよい。
【００７４】
また、ここでは、システムＬＳＩとしたが、集積度の違いにより、ＩＣ、ＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。また、集積回路化の手法はＬＳＩに限るものではなく、専用回路または汎用プロセッサで実現してもよい。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）や、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。
【００７５】
さらには、半導体技術の進歩または派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適応などが可能性としてありえる。
【００７６】
また、本発明は、上記に示す方法であるとしてもよい。また、これらの方法をコンピュータにより実現するコンピュータプログラムであるとしてもよいし、上記コンピュータプログラムからなるデジタル信号であるとしてもよい。
【００７７】
また、本発明は、上記コンピュータプログラムまたは上記デジタル信号をコンピュータ読み取り可能な記録媒体、例えば、フレキシブルディスク、ハードディスク、ＣＤ−ＲＯＭ、ＭＯ、ＤＶＤ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、ＢＤ（Ｂｌｕ−ｒａｙ Ｄｉｓｃ）、半導体メモリなどに記録したものとしてもよい。また、これらの記録媒体に記録されている上記デジタル信号であるとしてもよい。
【００７８】
また、本発明は、上記コンピュータプログラムまたは上記デジタル信号を、電気通信回線、無線または有線通信回線、インターネットを代表とするネットワーク、データ放送などを経由して伝送するものとしてもよい。
【００７９】
また、本発明は、マイクロプロセッサとメモリを備えたコンピュータシステムであって、上記メモリは、上記コンピュータプログラムを記憶しており、上記マイクロプロセッサは、上記コンピュータプログラムに従って動作するとしてもよい。
【００８０】
また、上記プログラムまたは上記デジタル信号を上記記録媒体に記録して移送することにより、または上記プログラムまたは上記デジタル信号を上記ネットワークなどを経由して移送することにより、独立した他のコンピュータシステムにより実施するとしてもよい。
【００８１】
また、上記実施の形態および上記変形例をそれぞれ組み合わせるとしてもよい。
【産業上の利用可能性】
【００８２】
本発明は、ユーザの顔画像において障害物がある場合であっても、精度よくユーザの健康状態などを推定し、通知できるため、例えば、携帯電話装置などのような情報処理装置に適用することが可能である。
【図面の簡単な説明】
【００８３】
【図１】本発明の実施の形態における情報処理装置の構成を示すブロック図
【図２】同情報処理装置による顔色判定の原理を示す図
【図３】同情報処理装置おける対象領域を抽出する手順を説明するための図
【図４】同情報処理装置における顔色判定のための各処理の手順を示すフローチャート
【図５】同情報処理装置における顔色判定処理の手順を示すフローチャート
【図６】同情報処理装置における顔色判定処理のための各パラメータの値を説明するための図
【図７】同情報処理装置における各変化にも対応させるために設定した各パラメータの一例を示す図
【符号の説明】
【００８４】
１０ 撮影部
１１ カメラ部
１２ 光源部
２０ メモリ
２１ 信号処理部
２２ 初期化部
２３ 障害物判定部
２４ 対象領域判定部
２５ 差分画像生成部
２６ 顔色判定部
２７ 通話制御部
２８ 補正部
３０ ユーザＩＦ部
３１ 表示部
３２ キー部
【技術分野】
【０００１】
本発明は、液晶画面のバックライトのような光源手段とカメラ機能のような撮影手段とを備えた情報処理装置に関し、特に、撮影手段により撮影したユーザの顔などの画像に基づきユーザの健康状態などを推定し、通知する情報処理装置に関する。
【背景技術】
【０００２】
このようなユーザの健康状態や心理状態を通知する機能を備えた情報処理装置として、従来、例えば、特許文献１の移動電話機のような技術が提案されている。
【０００３】
このような、従来の移動電話機は、表示パネルと、入力された顔画像を顔画像特徴分析機能を用いて分析し、その結果に基づいてその心身状態を判定する状態判定手段と、判定結果を表示パネルに表示する表示制御手段とを有している。従来の移動電話機は、このような構成により、携帯電話により日常的に収集できる各種の情報を利用して、ユーザや通話相手の健康状態や心理状態をチェック可能としている。
【特許文献１】特開２００５−２７２２５号公報
【特許文献２】特開２００３−１５０９４４号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、例えば、従来例のようにユーザの顔画像を撮影し、その顔画像の特徴分析をするような場合、太陽光や照明などの外光により撮影する顔色や陰影などが変化するため、顔画像により正確に健康状態などを判断しにくいという課題があった。さらに、ユーザの顔画像を撮影しようとする場合、例えば、ユーザがマスクをかけていたり、顔に絆創膏などを貼ったりしている場合があり、これらが障害物となって顔画像の分析が正確に実施できない可能性もあった。
【０００５】
本発明は、このような課題を解決するためになされたもので、ユーザの例えば顔画像において、外光の影響を受けることなく、また障害物の影響なども受けることなく顔色を取得でき、これによって精度よくユーザの健康状態などを推定し、通知する情報処理装置および色判定方法を提供することを目的とする。
【課題を解決するための手段】
【０００６】
上述したような目的を達成するために、本発明の情報処理装置は、被写体に対して光線を照射する光源手段と、被写体を撮影し、被写体の画像データを取得する撮影手段と、被写体の画像データにおいて、障害物の有無を判定するとともに、障害物の領域を検出する障害物判定部と、被写体の画像データにおける障害物を避けた領域を対象領域として判定する対象領域判定部と、光源手段から光線を照射して取得した画像データと、光源手段から光線を照射せずに取得した画像データとの差分画像データを生成する差分画像生成部と、差分画像生成部により生成された差分画像データの対象領域において、あらかじめ設定した期待値と比較し、被写体の色の変化の度合いを判定する色判定部とを備えた構成である。
【０００７】
また、本発明の情報処理装置は、電話機能をさらに備え、電話機能による通話中において、差分画像生成部が差分画像データを生成し、色判定部が色の変化の度合いを判定する構成である。
【０００８】
また、本発明の情報処理装置は、電話機能をさらに備え、電話機能による通話の開始とともに、撮影手段が、光源手段から光線を照射した状態で撮影した画像データと光源手段から光線を照射しない状態で撮影した画像データとを取得し、差分画像生成部が、差分画像データを生成し、色判定部が、差分画像データを用いて、色の変化の度合いを判定する構成である。
【０００９】
また、本発明の情報処理装置は、障害物判定部が障害物有りと判定した場合には、障害物があることをユーザに通知する手段を有する構成である。
【００１０】
また、本発明の情報処理装置は、障害物有りと判定した場合、通話位置の変更を検出する機能を有した通話制御部をさらに備え、通話位置の変更を検出する機能により通話位置の変更を検出すると、再度、撮影手段が、光源手段から光線を照射した状態で撮影した画像データと光源手段から光線を照射しない状態で撮影した画像データとを取得し、差分画像生成部が、差分画像データを生成し、色判定部が、差分画像データを用いて、色の変化の度合いを判定するよう制御する構成である。
【００１１】
また、本発明の情報処理装置は、障害物判定部が、画像データを、複数の画素で構成されるブロック単位で分割し、あらかじめ定めた所定の範囲の閾値と、ブロックにおける各画素の平均値とを比較し、平均値が所定の範囲の閾値の範囲外となるブロックを第１除外ブロックとし、第１除外ブロックであり、かつ周囲のブロックの中に連続した所定の個数以上の第１除外ブロックがある場合には、それぞれを第２除外ブロックとし、画像の最外周の各ブロックを第３除外ブロックとし、第２除外ブロックおよび第３除外ブロックを障害物領域とし、対象領域判定部が、画像データにおいて障害物領域を除外した領域を対象領域とする構成である。
【００１２】
また、本発明の情報処理装置は、期待値に対する補正値を生成する補正部をさらに備え、色判定部が、対象領域において、補正値で補正された期待値と比較し、被写体の色の変化の度合いを判定する構成である。
【００１３】
また、本発明の情報処理装置は、補正部が、ユーザ入力に基づく補正値を生成する構成である。
【００１４】
また、本発明の情報処理装置は、補正値を、ユーザの一時的な肌の色の変化に対応させた値とした構成である。
【００１５】
また、本発明の情報処理装置は、補正値を、日時、季節、生活パターンに応じた値とした構成である。
【００１６】
また、本発明の色判定方法は、被写体に対して光線を照射する光源手段と、被写体を撮影し、被写体の画像データを取得する撮影手段とを備えた情報処理装置による色判定方法であって、光源手段から光線を照射して被写体を撮影し、画像データを取得するステップと、光源手段から光線を照射せずに被写体を撮影し、画像データを取得するステップと、被写体の画像データにおいて、障害物の有無を判定するとともに、障害物の領域を検出するステップと、被写体の画像データにおける障害物を避けた領域を対象領域として判定するステップと、光源手段から光線を照射して取得した画像データと、光源手段から光線を照射せずに取得した画像データとの差分画像データを生成するステップと、生成された差分画像データの対象領域において、あらかじめ設定した期待値と比較し、被写体の色の変化の度合いを判定するステップとを備える。
【００１７】
また、本発明のプログラムは、被写体に対して光線を照射する光源手段と、被写体を撮影し、被写体の画像データを取得する撮影手段とを備えた情報処理装置のプログラムであって、光源手段から光線を照射して被写体を撮影し、画像データを取得するステップと、光源手段から光線を照射せずに被写体を撮影し、画像データを取得するステップと、被写体の画像データにおいて、障害物の有無を判定するとともに、障害物の領域を検出するステップと、被写体の画像データにおける障害物を避けた領域を対象領域として判定するステップと、光源手段から光線を照射して取得した画像データと、光源手段から光線を照射せずに取得した画像データとの差分画像データを生成するステップと、生成された差分画像データの対象領域において、あらかじめ設定した期待値と比較し、被写体の色の変化の度合いを判定するステップとを備える。
【発明の効果】
【００１８】
本発明の情報処理装置および色判定方法は、ユーザの例えば顔色判定のために、光源手段から光線を照射して取得した画像データと、光源手段から光線を照射せずに取得した画像データとの差分画像データを利用しているため、外光による影響を抑制することができる。さらに、本発明の情報処理装置および色判定方法は、ユーザの顔画像を撮影したとき、顔色判定のために障害となる障害物を避けた領域である対象領域において、ユーザの顔色を判定する。このため、本発明の情報処理装置あるいは色判定方法によれば、外光の影響を受けることなく、また、ユーザの顔画像において障害物がある場合であっても、障害物を避けた領域で健康状態などを判定でき、これによって、精度よくユーザの健康状態などを推定し、通知する情報処理装置および色判定方法を提供することができる。
【発明を実施するための最良の形態】
【００１９】
以下、本発明の実施の形態について図面を参照しながら詳細に説明する。
【００２０】
（実施の形態）
図１は、本発明の実施の形態における情報処理装置の構成を示すブロック図である。
【００２１】
本実施の形態では、電話機能を備え、表示機能のためのバックライトなどの光源を有するとともにカメラ機能を備えた携帯電話装置のような情報処理装置の一例を挙げて説明する。本情報処理装置は、ユーザの肌の色を判定する機能を備えたことを特徴としており、例えば、ユーザが通話を行っているときに、カメラ機能を利用して、カメラ機能に近接したユーザの顔の例えば頬部分を撮影し、ユーザの顔色を判定する。本実施の形態では、このようにユーザの肌の色として、頬部分などの顔色を判定するような一例を挙げて説明する。
【００２２】
図１に示すように、本情報処理装置は、概略、被写体に対して光線を照射する光源手段としての光源部１２と、被写体を撮影し、被写体の画像データを取得する撮影手段としてのカメラ部１１と、撮影に関する処理を行う撮影部１０と、カメラ部１１で撮影した画像の画像データ処理を行う信号処理部２１と、被写体の画像データにおいて、障害物の有無を判定するとともに、画像データにおける障害物の領域を検出する障害物判定部２３と、被写体の画像データにおける障害物を避けた領域を対象領域として判定する対象領域判定部２４と、光源部１２から光線を照射して取得した画像データと、光源部１２から光線を照射せずに取得した画像データとの差分画像データを生成する差分画像生成部２５と、顔色判定のための期待値を生成する初期化部２２と、差分画像生成部２５により生成された差分画像データの対象領域において、あらかじめ初期化部２２が生成した期待値と比較し、被写体の色の変化の度合いを判定する色判定部としての顔色判定部２６と、初期化部２２で生成された期待値に対して補正を行う補正部２８と、電話での通話に関する処理を行う通話制御部２７と、ユーザからの指示などを受け付けるとともに、ユーザに対して情報を通知するユーザインタフェース部（以下、ユーザＩＦ部と呼ぶ）３０と、ユーザに対する情報を表示する表示部３１と、ユーザからの指示を受け付けるキー部３２と、期待値や補正値を含め各種情報やデータを記憶するメモリ２０とを備えている。なお、障害物判定部２３は、障害物の領域の検出において、例えば、障害物の候補を検出するような構成であったり、誤検出する場合があってもよい。
【００２３】
撮影部１０は、通話制御部２７からの指示に応じて、カメラ部１１および光源部１２を制御して、差分画像データを生成するための画像データを取得する。また、光源部１２は、例えば、表示部３１が液晶パネルによる表示の場合、液晶パネルの背面に配置したバックライトである。すなわち、本情報処理装置は、ユーザが通話を行っているときに、撮影部１０が、カメラ部１１に対し、ユーザの顔を撮影するよう制御する。特に、このような撮影において、まず、撮影部１０は、光源部１２による照射がない状態の頬の画像データが得られるようにカメラ部１１を制御する。次に、撮影部１０は、光源部１２により照射された状態の頬の画像データが得られるようにカメラ部１１を制御する。撮影部１０は、このような撮影処理および光源制御処理を行うことで２種類の画像データを生成し、生成した２種類の画像データを信号処理部２１に供給する。なお、このような２種類の画像を生成するのは、例えば、照明用蛍光灯などの外光の影響を抑制するために行っている。この原理については以下で詳細に説明する。
【００２４】
また、本実施の形態では、上述したように光源部１２を液晶パネルなどのバックライトとして説明するが、例えば、有機ＥＬなどのように自発光であるためバックライトを有していない情報処理装置の場合、例えば、白色の発光状態と発光を停止させた状態との条件で２種類の画像データを取得するような形態であってもよい。
【００２５】
２種類の画像データは、信号処理部２１に供給される。信号処理部２１は、データ処理するため、画像データそれぞれを、例えば、輝度データＹと２つの色差データＵＶに変換する。
【００２６】
初期化部２２は、本情報処理装置における顔色判定の基準をあらかじめユーザに作成してもらうために設けている。すなわち、ユーザは、例えば健康な状態のときに、撮影により上述したような２種類の画像データを生成し、このとき、初期化部２２が、両画像データの差分値を期待値として生成し、さらに期待値から顔色判定のための各種パラメータを生成しメモリ２０に記録しておく。
【００２７】
障害物判定部２３は、カメラ部１１が撮影した頬の画像データにおいて、障害物の有無や、障害物があった場合、画像上におけるその領域を判定する。すなわち、本情報処理装置は、ユーザが通話中、ユーザの頬を自動的に撮影して顔色の判定を行うが、例えば、ユーザがかぜをひいてマスクをしていたり、けがをして絆創膏などを頬に貼っていた場合、これらが障害物となり正確に判定できない。このため、本情報処理装置は、まず、障害物判定部２３により、このような画像上での障害物がある領域を判定する障害物判定処理を行っている。なお、障害物判定の手法については以下で詳細に説明する。また、障害物判定部２３は、画像上における障害物が占める領域の割合を算出する処理なども行う。
【００２８】
また、対象領域判定部２４は、障害物判定部２３が判定した障害物の領域に関する情報を利用して、画像上での障害物を避けた領域を求め、画像データにおける対象領域として差分画像生成部２５に通知する。
【００２９】
差分画像生成部２５は、上述したような２種類の画像データ、すなわち、光源部１２から光線を照射して取得した画像データと、光源部１２から光線を照射せずに取得した画像データとの差分を求め、対象領域における差分画像データを顔色判定部２６に通知する。
【００３０】
顔色判定部２６は、差分画像生成部２５により生成された差分画像データにおいて、その対象領域における差分画像データの平均値を求め、その平均値とメモリ２０に記憶した期待値に基づく閾値など各パラメータの値とを比較し、被写体の色の変化の度合いを判定する。また、顔色判定部２６は、このような判定結果に基づき、色の変化に対応したメッセージを作成しユーザＩＦ部３０に通知する。また、ユーザＩＦ部３０から、例えば表示部３１にこのようなメッセージを表示することで、ユーザに顔色の判定結果を通知する。すなわち、例えば、差分画像データの値が期待値に対して青色傾向にある場合には、顔色判定部２６は、健康状態が良くないというようなメッセージを作成し、表示部３１に表示する。
【００３１】
補正部２８は、顔色判定部２６の判定処理に利用する補正値を生成する。すなわち、顔色は、例えば、夏などにおいては日焼けして黒っぽくなったりし、また、朝か夜かの違いや生活パターンの変化によっても変化する。このため、補正部２８は、顔色判定部２６の判定処理に利用する補正値を作成し、このような補正値をメモリ２０に保存する。また、補正部２８は、メモリ２０に保存した補正値をクリアするような処理も行う。
【００３２】
通話制御部２７は、電話での通話に関する処理を行うとともに、通話の開始および終了を判定し、撮影部１０に通知する。さらに、通話制御部２７は、本情報処理装置を顔の右側と左側のいずれの側に近接させて通話しているかを判定するような通話位置の判定処理なども行う。
【００３３】
次に、本実施の形態における情報処理装置の色判定としての顔色判定の原理について説明する。
【００３４】
図２は、本情報処理装置による顔色判定の原理を示す図である。図２において、図２（ａ）は、初期化部２２により期待値を作成するときの概要を示しており、また、図２（ｂ）は、顔色判定部２６により顔色を判定するときの概要を示している。
【００３５】
まず、本情報処理装置は毎回異なった光環境で使用される可能性が高いため、このような顔色を判定する場合、図２の光源１および光源２で示すような外光の影響を抑制する必要がある。このため、本情報処理装置では、図２に示すバックライトのような光源部１２からの照射ありの画像データと照射なしの画像データとの差分画像データに基づき顔色を判定している。すなわち、図２（ａ）の場合、光源部１２からの照射ありのときには、光源１と光源部１２との光量が加算された光線が顔の頬に照射される。また、光源部１２からの照射なしのときには、光源１のみの光量の光線が顔の頬に照射される。このような２種類の画像データの差分を求めることによって、光源１の光量分による画像成分は打ち消されるとともに、光源部１２の光線の照射による顔の頬の画像データが抽出できることになる。図２（ｂ）の場合も同様に、このような２種類の画像データの差分を求めることによって、光源２による画像成分を打ち消すことができる。本情報処理装置は、このようにして、外光の影響を抑制し、バックライトのような常に同じ条件である光源部１２による顔の頬の画像データを取得している。このため、図２（ａ）で示すようにして生成した期待値を基準にして、各通話時における顔色の判定を行うことが可能となる。
【００３６】
次に、障害物判定部２３により障害物の領域を検出し、対象領域判定部２４により障害物を避けた対象領域を判定する手法について説明する。
【００３７】
図３は、本情報処理装置における対象領域を抽出する手順を説明するための図である。本実施の形態では、このような障害物は連続していることを想定し、その領域を求めている。また、障害物の領域を検出するため、本実施の形態では、画像を所定数の画素で構成されるブロックに分割している。図３では、１つのブロックがＮ×Ｍ画素のブロックで構成された一例を示している。
【００３８】
まず、障害物判定部２３は、あらかじめ決定しておいた障害物判定のための上限の閾値および下限の閾値と、信号処理部２１から取り込んだ画像データのブロックごとの平均値とを比較する。そして、障害物判定部２３は、平均値が両閾値の範囲外となるブロックを第１除外ブロックとする。図３の判定画像１は、このような第１除外ブロックを設定した一例を示している。判定画像１において、「０」は平均値が両閾値の範囲内となるブロックを示しており、また、「１」は平均値が両閾値の範囲外となるブロック、すなわち第１除外ブロックを示している。
【００３９】
次に、障害物判定部２３は、第１除外ブロックであって、さらにその周囲のブロックの中に連続した所定の個数以上の第１除外ブロックがあるブロックを、第２除外ブロックとする。例えば、その周囲の８個のブロックの中に連続した３個以上の第１除外ブロックがある場合、それらのブロックを、第２除外ブロックとする。すなわち、障害物は、通常、ブロックよりも大きいので、第１除外ブロックが連続している領域を障害物と判断している。図３の判定画像２は、このような第２除外ブロックを設定した一例を示している。判定画像２において、「２」が第２除外ブロックを示している。
【００４０】
次に、障害物判定部２３は、画像上における最外周のブロックを第３除外ブロックとする。図３の判定画像３は、このような第３除外ブロックを設定した一例を示している。判定画像３において、「３」が第３除外ブロックを示している。
【００４１】
以上のような手順により、障害物判定部２３は、障害物の領域を判定している。また、障害物判定部２３は、光源部１２からの照射ありの画像データと照射なしの画像データとの輝度データおよび色差データそれぞれに対してこのような障害物の判定処理を行う。
【００４２】
次に、対象領域判定部２４は、障害物判定部２３で設定された第２除外ブロックおよび第３除外ブロックを除く領域を対象領域に設定する。すなわち、図３の判定画像３に例示するように、「２」および「３」以外のブロックがある領域を対象領域としている。顔色判定部２６は、このような障害物の影響を受けない対象領域において、差分画像データの値と期待値とを比較し、顔色の判定を行うため、精度よく顔色を判定することが可能となる。
【００４３】
次に、以上のように構成された本実施の形態の情報処理装置の動作について説明する。図４は、本情報処理装置における色判定としての顔色判定のための各処理の手順を示すフローチャートである。また、図５は、本情報処理装置における顔色判定処理の手順を示すフローチャートである。また、図６は、本情報処理装置における顔色判定処理のための各パラメータの値を説明するための図である。以下、図４から図６までを参照しながら、本実施の形態の情報処理装置の詳細な動作について説明する。
【００４４】
本情報処理装置は、通話制御部２７において通話が開始されたかどうかを判定し、本情報処理装置により通話が開始されたと判定すると、本情報処理装置は図４に示す手順に従った顔色判定のための処理を開始する。
【００４５】
本情報処理装置は、このような処理を開始すると、まず、撮影部１０の制御により、カメラ部１１がバックライトなど光源部１２からの照射なしの状態で撮影する。このとき、ユーザは本情報処理装置を用いて通話中であるため、カメラ部１１は、ユーザの顔の頬を撮影することになる。撮影部１０は、カメラ部１１の撮影による画像データを取り込み、信号処理部２１に供給する。信号処理部２１は、画像データから、輝度データｙおよび色差データｕ、ｖを生成し、さらに、ブロックごとの平均値を求める。すなわち、信号処理部２１は、光源部１２からの照射なしの状態での輝度データにおいて、そのブロックごとの平均値であるｙ０ａｖｇ、および同色差データにおいての平均値ｕ０ａｖｇ、およびｖ０ａｖｇを求める（ステップＳ１００）。
【００４６】
次に、本情報処理装置は、撮影部１０の制御により、カメラ部１１がバックライトなど光源部１２からの照射ありの状態で撮影する。信号処理部２１は、画像データから、輝度データｙおよび色差データｕ、ｖを生成し、さらに、ブロックごとの平均値を求める。すなわち、信号処理部２１は、光源部１２からの照射ありの状態での輝度データにおいて、そのブロックごとの平均値であるｙ１ａｖｇ、および同色差データにおいての平均値ｕ１ａｖｇ、およびｖ１ａｖｇを求める（ステップＳ１０２）。
【００４７】
次に、障害物判定部２３は、図３を用いて説明したような手順に従って、障害物の判定処理を実行する。さらに、対象領域判定部２４が、障害物の領域を除外した領域を判定し、これによって顔色を判定するための対象領域が設定される（ステップＳ１０４）。
【００４８】
次に、本情報処理装置は、取得した画像に対して障害物が占める割合を算出する。すなわち、図３の判定画像３のような場合、例えば、「２」で示す第２除外ブロックの個数を、「０」、「１」および「２」で示すブロックの総個数で割ることにより、障害物ブロックの割合を算出する。この後、障害物ブロックの割合が所定の割合よりも大きい場合、ステップＳ１１０の処理に移る。また、障害物ブロックの割合が所定の割合よりも小さい場合、ステップＳ１０８の処理に移る（ステップＳ１０６）。
【００４９】
障害物ブロックの割合が所定の割合よりも小さい場合、差分画像生成部２５は、対象領域における、光源部１２から光線を照射して取得した画像データと照射せずに取得した画像データとの差分を求め、対象領域における差分画像データを求める。すなわち、差分画像生成部２５は、輝度データにおける差分データｙｄｉｆｆ、および色差データにおける差分データｕｄｉｆｆおよびｖｄｉｆｆを求める（ステップＳ１０８）。
【００５０】
この後、顔色判定部２６が顔色判定処理を実行する（ステップＳ２００）。顔色判定処理については、図５を用いて以下で詳細に説明する。
【００５１】
また、ステップＳ１０６において、障害物ブロックの割合が所定の割合よりも大きいと判定した場合、ステップＳ１１０の処理に移る。本情報処理装置は、通話制御部２７が通話位置の変更を検出する機能を有しており、ステップＳ１１０において、本情報処理装置は、通話制御部２７により通話位置、すなわち、本情報処理装置を顔の右側と左側のいずれの側に近接させて通話しているかを判定する。本情報処理装置は、通話位置の判定に基づき、ユーザが本情報処理装置を近接させている耳の位置が変わったと判定すると、ステップＳ１００の処理に戻る。また、本情報処理装置は、耳の位置が変わっていないと判定すると、ステップＳ１１２の処理に移る（ステップＳ１１０）。
【００５２】
なお、通話位置の変更を検出する機能の一例として、本情報処理装置が地磁気センサを備えた構成とし、この地磁気センサで検出した方位が例えば１２０度以上変化したら、通話位置が変更されたと判定するような手段を設けることで、このような機能が実現できる。また、通話位置の変更を検出する機能の他の例として、本情報処理装置がモーションセンサを備えた構成とし、このモーションセンサが本情報処理装置の傾きを検出し、このモーションセンサで検出した傾きが例えば１０度以上変化したら通話位置が変更されたと判定するような手段を設けてもよい。さらに、通話位置の変更を検出する機能のその他の例として、本情報処理装置が動き検出手段を備えた構成とし、この動き検出手段で動きを検出後に静止状態を検出したら通話位置が変更されたと判定するような手段を設けてもよい。さらに、通話位置の変更を検出する機能のその他の例として、本情報処理装置がタッチパネルを備えた構成とし、このタッチパネルが例えば「接触」、「非接触」、次に「接触」というような順で接触を検出したら通話位置が変更されたと判定するような手段を設けてもよい。
【００５３】
次に、本情報処理装置は、通話制御部２７により、例えば１分間に１回というような所定の時間間隔をおいて、通話が終了したかどうかを判定する。通話が終了していない場合には、ステップＳ１１０の処理に戻る。また、通話が終了した場合、ステップＳ１１４の処理に移る（ステップＳ１１２）。
【００５４】
通話が終了したと判定すると、本情報処理装置は、ユーザＩＦ部３０により、例えば、「障害物をはずしてください」というようなメッセージを提示する。すなわち、大きな障害部があり、かつユーザは本情報処理装置の通話位置を変えなかったため、顔色の判定が正確にできない可能性が高い。このため、このようなメッセージにより、ユーザに対して障害物を取り除くよう促す（ステップＳ１１４）。
【００５５】
次に、本情報処理装置は、ステップＳ１００と同様に、撮影部１０の制御により、カメラ部１１がバックライトなど光源部１２からの照射なしの状態で撮影し（ステップＳ１１６）、さらに、ステップＳ１０２と同様に、カメラ部１１が照射ありの状態で撮影する（ステップＳ１１８）。さらに、ステップＳ１０４と同様に、障害物判定部２３が、障害物の判定処理を実行する（ステップＳ１２０）。この後、ステップＳ１０６と同様に、本情報処理装置は、取得した画像に対して障害物が占める割合を算出し、割合が大きい場合、ステップＳ１２４の処理に進み、また、割合が小さい場合、ステップＳ１０８の処理に進む（ステップＳ１２２）。すなわち、ステップＳ１２２において、割合が小さい場合、本情報処理装置は、ステップＳ１１４でのメッセージによりユーザが障害物を取り除き、これによって顔色を正確に判定できると判断し、ステップＳ１０８の処理へと移る。一方、ステップＳ１２２において、割合が大きい場合、本情報処理装置は、ユーザが障害物を取り除かなかったか、あるいは取り除いても障害物と判定するぐらい顔色が悪い可能性があると判断し、ステップＳ１２４の処理へと進む。
【００５６】
本情報処理装置は、ステップＳ１２２において、割合が大きいと判定すると、上述のような異常と判断し、次に、ユーザＩＦ部３０により、例えば、「障害物をはずしてないのであれば、健康状態が悪い可能性があります」というようなメッセージを提示し、その後、処理を終了する（ステップＳ１２４）。
【００５７】
なお、初期化部２２により期待値を生成する場合、図４のステップＳ１００からステップＳ１０８までを実行し、これによって期待値を生成する。
【００５８】
次に、図４におけるステップＳ２００で実行する顔色判定処理について、図５および図６を参照しながら詳細について説明する。
【００５９】
まず、顔色判定処理に利用する各パラメータについて、図６を用いて説明する。なお、図６では、輝度データＹに対する各パラメータを例示しているが、色差データＵおよびＶに対しても同様である。本実施の形態では、顔色の判定を行うため、顔色が正常であるとする範囲や、一時的に正常であるとするような範囲をあらかじめ決定し、メモリ２０に記憶している。
【００６０】
顔色が正常であるとする範囲として、本実施の形態では、初期化部２２により取得した期待値に対し、下方向の幅ｙ０、および上方向の幅ｙ１を設定し、これによって、下限の閾値１から上限の閾値２までを正常範囲としている。すなわち、対象領域における差分輝度データがこの範囲内の値である場合、顔色が正常であると判定する。
【００６１】
また、顔色が一時的に正常であるとするような範囲として、本実施の形態では、閾値１の下方向に一時補正値ｙ＿ｔｍｐ０、および閾値２の上方向に一時補正値ｙ＿ｔｍｐ１を設定し、これによって、下限の閾値ｔｍｐ１から上限の閾値ｔｍｐ２までを一時的正常範囲としている。なお、このような、一時的正常範囲は、日焼け、飲酒あるいは入浴などの影響で顔色が変化したときにも許容する範囲として設定している。
【００６２】
次に、図６で示した各パラメータを用いて顔色を判定する顔色判定処理について説明する。
【００６３】
図５に示すように、顔色判定処理が開始されると、まず、顔色判定部２６は、差分輝度データおよび差分色差データの対象領域における平均値を算出する。さらに、顔色判定部２６は、算出した平均値が、図６に示した閾値１から閾値２までの範囲内にあるかどうかを判定する。平均値が、閾値１から閾値２までの範囲内にある場合には、顔色判定部２６は、ステップＳ２１２の処理に進む。また、平均値が閾値１から閾値２までの範囲内ではない場合には、顔色判定部２６は、ステップＳ２２０の処理に進む（ステップＳ２１０）。
【００６４】
ステップＳ２１２の処理に進むと、顔色判定部２６は、一時補正値がメモリ２０に保存されているかどうかを判定する（ステップＳ２１２）。一時補正値が保存されている場合、顔色判定部２６は、ステップＳ２１４の処理に進み、メモリ２０に保存した一時補正値をクリアし、顔色判定処理を終了する（ステップＳ２１４）。また、一時補正値が保存されていない場合、顔色判定部２６は、処理の終了に進み、顔色判定処理を終了する。以上、ステップＳ２１０からステップＳ２１４までの処理により、ユーザが通話中に取り込んだ顔の画像データの色が、閾値１から閾値２で示すような正常範囲であった場合には、本情報処理は、「顔色は正常」として処理を終了する。
【００６５】
また、ステップＳ２１０において、平均値が閾値１から閾値２までの範囲内ではないと判定された場合、まず、顔色判定部２６は、一時補正値がメモリ２０に保存されているかどうかを判定する（ステップＳ２２０）。一時補正値が保存されている場合、顔色判定部２６は、ステップＳ２２２の処理に進む。また、一時補正値が保存されていない場合、顔色判定部２６は、ステップＳ２４０の処理に進む。
【００６６】
ステップＳ２２０において一時補正値が保存されていると判定すると、顔色判定部２６は、次に、算出した平均値が、図６に示した閾値ｔｍｐ１から閾値ｔｍｐ２までの範囲内にあるかどうかを判定する。平均値が、閾値ｔｍｐ１から閾値ｔｍｐ２までの範囲内にある場合には、顔色判定部２６は、処理の終了に進み、顔色判定処理を終了する。また、平均値が閾値ｔｍｐ１から閾値ｔｍｐ２までの範囲内ではない場合には、顔色判定部２６は、ステップＳ２２４の処理に進む（ステップＳ２２２）。ステップＳ２２４の処理に進むと、本情報処理装置は、ユーザＩＦ部３０により、例えば、「体調は大丈夫か？」というようなメッセージを提示する（ステップＳ２２４）とともに、ユーザ入力を要求する（ステップＳ２２６）。ユーザから「ＹＥＳ」というような入力があった場合には、処理の終了に進み、顔色判定処理を終了する。また、ユーザから「ＮＯ」というような入力があった場合には、ステップＳ２２８の処理に進み、ユーザＩＦ部３０により、例えば、「健康診断をお勧めします」というようなメッセージを提示し（ステップＳ２２８）、顔色判定処理を終了する。
【００６７】
また、ステップＳ２２０において一時補正値が保存されていないと判定すると、ユーザＩＦ部３０により、例えば、「顔色が悪いようですが、運動、入浴、飲酒のあとですか？」というようなメッセージを提示する（ステップＳ２４０）とともに、ユーザ入力を要求する（ステップＳ２４２）。ユーザから「ＹＥＳ」というような入力があった場合には、ステップＳ２４８の処理に進む。また、ユーザから「ＮＯ」というような入力があった場合には、ステップＳ２４４の処理に進み、ユーザＩＦ部３０により、例えば、「顔色が悪いようですが、日焼けしていますか？」というようなメッセージを提示し（ステップＳ２４４）、さらに、ユーザ入力を要求する（ステップＳ２４６）。ステップＳ２４６において、ユーザから「ＹＥＳ」というような入力があった場合には、ステップＳ２４８の処理に進む。また、ユーザから「ＮＯ」というような入力があった場合には、ステップＳ２２４の処理に進み、ステップＳ２２４やステップＳ２２８のような「顔色が悪い」ことに関するメッセージを提示した後、顔色判定処理を終了する。また、ステップＳ２４８の処理に進むと、現在の画像データが一時的正常な範囲内となるように、現在の画像データから一時補正値を決定し、メモリ２０に保存する（ステップＳ２４８）。この後、顔色判定処理を終了する。
【００６８】
なお、以上の説明では、１度取得した期待値から算出した各パラメータを利用して、顔色の判定を行う一例を挙げて説明したが、顔色は上述したような、入浴や飲酒後、あるいは日焼けのような一時的な変化に加えて、例えば、季節、曜日、時間帯および気温や生活パターンなどによっても変化する可能性がある。図７は、本情報処理装置におけるこのような各変化にも対応させるために設定した各パラメータの一例を示している。すなわち、図７に示すように、季節、曜日、時間帯および気温における期待値を初期化部２２により取得するとともに、それぞれの期待値から図６に示したような各パラメータを求め、メモリ２０に保存する。そして、季節や曜日などに合わせて顔色判定処理を行うことにより、より精度よい顔色判定を行うことが可能となる。
【００６９】
また、以上、図４および図５で説明したステップを実行することで本発明の色判定方法における各ステップの処理が実施される。
【００７０】
以上説明したように、本発明の情報処理装置は、被写体である顔に対して光線を照射する光源部１２と、顔を撮影し、顔の画像データを取得するカメラ部１１と、顔の画像データにおいて、障害物の有無を判定するとともに、障害物の領域を検出する障害物判定部２３と、顔の画像データにおける障害物を避けた領域を対象領域として判定する対象領域判定部２４と、光源部１２から光線を照射して取得した画像データと照射せずに取得した画像データとの差分画像データを生成する差分画像生成部２５と、差分画像生成部２５により生成された差分画像データの対象領域において、あらかじめ設定した期待値に基づく閾値１および閾値２と比較し、顔色の変化の度合いを判定する顔色判定部２６とを備えた構成である。このため、本発明の情報処理装置によれば、光源部１２から光線を照射して取得した画像データと、光源部１２から光線を照射せずに取得した画像データとの差分画像データを利用しているため、顔色など肌色の判定において、外光による影響を抑制することができる。さたに、本発明の情報処理装置によれば、ユーザの顔色判定のためユーザの顔画像を撮影したとき、障害物判定部２３が顔色判定のために障害となる領域を判定し、対象領域判定部２４が、障害物を避けた領域である対象領域を通知し、顔色判定部２６が、この対象領域においてユーザの顔色を判定する。よって、本発明の情報処理装置によれば、外光の影響を受けることなく、また、ユーザの顔画像において障害物がある場合であっても、障害物を避けた領域で健康状態などを判定でき、これによって、精度よくユーザの健康状態などを推定し、通知する情報処理装置を提供することができる。また、同様に、本発明の色判定方法によっても、精度よくユーザの健康状態などを推定し、通知する色判定方法を提供することができる。
【００７１】
なお、本発明を上記実施の形態に基づいて説明してきたが、本発明は、上記の実施の形態に限定されないのはもちろんである。以下のような場合も本発明に含まれる。
【００７２】
すなわち、本情報処理装置を構成する構成要素の一部または全部は、１個のシステムＬＳＩ（Ｌａｒｇｅ Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｉｏｎ：大規模集積回路）に含まれるとしてもよい。システムＬＳＩは、複数の構成部を１個のチップ上に集積して製造された超多機能ＬＳＩである。
【００７３】
また、上記の回路を構成する構成要素の各部は、個別に１チップ化されていてもよいし、一部またはすべてを含むように１チップ化されてもよい。
【００７４】
また、ここでは、システムＬＳＩとしたが、集積度の違いにより、ＩＣ、ＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。また、集積回路化の手法はＬＳＩに限るものではなく、専用回路または汎用プロセッサで実現してもよい。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）や、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。
【００７５】
さらには、半導体技術の進歩または派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適応などが可能性としてありえる。
【００７６】
また、本発明は、上記に示す方法であるとしてもよい。また、これらの方法をコンピュータにより実現するコンピュータプログラムであるとしてもよいし、上記コンピュータプログラムからなるデジタル信号であるとしてもよい。
【００７７】
また、本発明は、上記コンピュータプログラムまたは上記デジタル信号をコンピュータ読み取り可能な記録媒体、例えば、フレキシブルディスク、ハードディスク、ＣＤ−ＲＯＭ、ＭＯ、ＤＶＤ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、ＢＤ（Ｂｌｕ−ｒａｙ Ｄｉｓｃ）、半導体メモリなどに記録したものとしてもよい。また、これらの記録媒体に記録されている上記デジタル信号であるとしてもよい。
【００７８】
また、本発明は、上記コンピュータプログラムまたは上記デジタル信号を、電気通信回線、無線または有線通信回線、インターネットを代表とするネットワーク、データ放送などを経由して伝送するものとしてもよい。
【００７９】
また、本発明は、マイクロプロセッサとメモリを備えたコンピュータシステムであって、上記メモリは、上記コンピュータプログラムを記憶しており、上記マイクロプロセッサは、上記コンピュータプログラムに従って動作するとしてもよい。
【００８０】
また、上記プログラムまたは上記デジタル信号を上記記録媒体に記録して移送することにより、または上記プログラムまたは上記デジタル信号を上記ネットワークなどを経由して移送することにより、独立した他のコンピュータシステムにより実施するとしてもよい。
【００８１】
また、上記実施の形態および上記変形例をそれぞれ組み合わせるとしてもよい。
【産業上の利用可能性】
【００８２】
本発明は、ユーザの顔画像において障害物がある場合であっても、精度よくユーザの健康状態などを推定し、通知できるため、例えば、携帯電話装置などのような情報処理装置に適用することが可能である。
【図面の簡単な説明】
【００８３】
【図１】本発明の実施の形態における情報処理装置の構成を示すブロック図
【図２】同情報処理装置による顔色判定の原理を示す図
【図３】同情報処理装置おける対象領域を抽出する手順を説明するための図
【図４】同情報処理装置における顔色判定のための各処理の手順を示すフローチャート
【図５】同情報処理装置における顔色判定処理の手順を示すフローチャート
【図６】同情報処理装置における顔色判定処理のための各パラメータの値を説明するための図
【図７】同情報処理装置における各変化にも対応させるために設定した各パラメータの一例を示す図
【符号の説明】
【００８４】
１０ 撮影部
１１ カメラ部
１２ 光源部
２０ メモリ
２１ 信号処理部
２２ 初期化部
２３ 障害物判定部
２４ 対象領域判定部
２５ 差分画像生成部
２６ 顔色判定部
２７ 通話制御部
２８ 補正部
３０ ユーザＩＦ部
３１ 表示部
３２ キー部
【特許請求の範囲】
【請求項１】
被写体に対して光線を照射する光源手段と、
前記被写体を撮影し、前記被写体の画像データを取得する撮影手段と、
前記被写体の画像データにおいて、障害物の有無を判定するとともに、前記障害物の領域を検出する障害物判定部と、
前記被写体の画像データにおける前記障害物を避けた領域を対象領域として判定する対象領域判定部と、
前記光源手段から光線を照射して取得した画像データと、前記光源手段から光線を照射せずに取得した画像データとの差分画像データを生成する差分画像生成部と、
前記差分画像生成部により生成された前記差分画像データの前記対象領域において、あらかじめ設定した期待値と比較し、被写体の色の変化の度合いを判定する色判定部とを備えたことを特徴とする情報処理装置。
【請求項２】
電話機能をさらに備え、前記電話機能による通話中において、前記差分画像生成部が前記差分画像データを生成し、前記色判定部が色の変化の前記度合いを判定することを特徴とする請求項１に記載の情報処理装置。
【請求項３】
電話機能をさらに備え、前記電話機能による通話の開始とともに、前記撮影手段が、前記光源手段から光線を照射した状態で撮影した画像データと前記光源手段から光線を照射しない状態で撮影した画像データとを取得し、前記差分画像生成部が、前記差分画像データを生成し、前記色判定部が、前記差分画像データを用いて、色の変化の前記度合いを判定することを特徴とする請求項１に記載の情報処理装置。
【請求項４】
前記障害物判定部が前記障害物有りと判定した場合には、障害物があることをユーザに通知する手段を有することを特徴とする請求項１から３までのいずれか１項に記載の情報処理装置。
【請求項５】
前記障害物有りと判定した場合、通話位置の変更を検出する機能を有した通話制御部をさらに備え、前記通話位置の変更を検出する機能により通話位置の変更を検出すると、再度、前記撮影手段が、前記光源手段から光線を照射した状態で撮影した画像データと前記光源手段から光線を照射しない状態で撮影した画像データとを取得し、前記差分画像生成部が、前記差分画像データを生成し、前記色判定部が、前記差分画像データを用いて、色の変化の前記度合いを判定するよう制御することを特徴とする請求項２または３に記載の情報処理装置。
【請求項６】
前記障害物判定部は、
前記画像データを、複数の画素で構成されるブロック単位で分割し、
あらかじめ定めた所定の範囲の閾値と、前記ブロックにおける各画素の平均値とを比較し、前記平均値が前記所定の範囲の閾値の範囲外となるブロックを第１除外ブロックとし、
第１除外ブロックであり、かつ周囲のブロックの中に連続した所定の個数以上の第１除外ブロックがある場合には、それぞれを第２除外ブロックとし、
画像の最外周の各ブロックを第３除外ブロックとし、
前記第２除外ブロックおよび前記第３除外ブロックを障害物領域とし、
前記対象領域判定部は、前記画像データにおいて前記障害物領域を除外した領域を対象領域とすることを特徴とする請求項１から３までのいずれか１項に記載の情報処理装置。
【請求項７】
前記期待値に対する補正値を生成する補正部をさらに備え、
前記色判定部は、前記対象領域において、前記補正値で補正された期待値と比較し、被写体の色の変化の度合いを判定することを特徴とする請求項１から３までのいずれか１項に記載の情報処理装置。
【請求項８】
前記補正部は、ユーザ入力に基づく前記補正値を生成することを特徴とする請求項７に記載の情報処理装置。
【請求項９】
前記補正値は、ユーザの一時的な肌の色の変化に対応させた値であることを特徴とする請求項８に記載の情報処理装置。
【請求項１０】
前記補正値は、日時、季節、生活パターンに応じた値であることを特徴とする請求項７に記載の情報処理装置。
【請求項１１】
被写体に対して光線を照射する光源手段と、前記被写体を撮影し、前記被写体の画像データを取得する撮影手段とを備えた情報処理装置による色判定方法であって、
前記光源手段から光線を照射して前記被写体を撮影し、画像データを取得するステップと、
前記光源手段から光線を照射せずに前記被写体を撮影し、画像データを取得するステップと、
前記被写体の画像データにおいて、障害物の有無を判定するとともに、前記障害物の領域を検出するステップと、
前記被写体の画像データにおける前記障害物を避けた領域を対象領域として判定するステップと、
前記光源手段から光線を照射して取得した画像データと、前記光源手段から光線を照射せずに取得した画像データとの差分画像データを生成するステップと、
前記生成された差分画像データの前記対象領域において、あらかじめ設定した期待値と比較し、被写体の色の変化の度合いを判定するステップとを備えたことを特徴とする色判定方法。
【請求項１２】
被写体に対して光線を照射する光源手段と、前記被写体を撮影し、前記被写体の画像データを取得する撮影手段とを備えた情報処理装置のプログラムであって、
前記光源手段から光線を照射して前記被写体を撮影し、画像データを取得するステップと、
前記光源手段から光線を照射せずに前記被写体を撮影し、画像データを取得するステップと、
前記被写体の画像データにおいて、障害物の有無を判定するとともに、前記障害物の領域を検出するステップと、
前記被写体の画像データにおける前記障害物を避けた領域を対象領域として判定するステップと、
前記光源手段から光線を照射して取得した画像データと、前記光源手段から光線を照射せずに取得した画像データとの差分画像データを生成するステップと、
前記生成された差分画像データの前記対象領域において、あらかじめ設定した期待値と比較し、被写体の色の変化の度合いを判定するステップとを備えたことを特徴とするプログラム。
【請求項１】
被写体に対して光線を照射する光源手段と、
前記被写体を撮影し、前記被写体の画像データを取得する撮影手段と、
前記被写体の画像データにおいて、障害物の有無を判定するとともに、前記障害物の領域を検出する障害物判定部と、
前記被写体の画像データにおける前記障害物を避けた領域を対象領域として判定する対象領域判定部と、
前記光源手段から光線を照射して取得した画像データと、前記光源手段から光線を照射せずに取得した画像データとの差分画像データを生成する差分画像生成部と、
前記差分画像生成部により生成された前記差分画像データの前記対象領域において、あらかじめ設定した期待値と比較し、被写体の色の変化の度合いを判定する色判定部とを備えたことを特徴とする情報処理装置。
【請求項２】
電話機能をさらに備え、前記電話機能による通話中において、前記差分画像生成部が前記差分画像データを生成し、前記色判定部が色の変化の前記度合いを判定することを特徴とする請求項１に記載の情報処理装置。
【請求項３】
電話機能をさらに備え、前記電話機能による通話の開始とともに、前記撮影手段が、前記光源手段から光線を照射した状態で撮影した画像データと前記光源手段から光線を照射しない状態で撮影した画像データとを取得し、前記差分画像生成部が、前記差分画像データを生成し、前記色判定部が、前記差分画像データを用いて、色の変化の前記度合いを判定することを特徴とする請求項１に記載の情報処理装置。
【請求項４】
前記障害物判定部が前記障害物有りと判定した場合には、障害物があることをユーザに通知する手段を有することを特徴とする請求項１から３までのいずれか１項に記載の情報処理装置。
【請求項５】
前記障害物有りと判定した場合、通話位置の変更を検出する機能を有した通話制御部をさらに備え、前記通話位置の変更を検出する機能により通話位置の変更を検出すると、再度、前記撮影手段が、前記光源手段から光線を照射した状態で撮影した画像データと前記光源手段から光線を照射しない状態で撮影した画像データとを取得し、前記差分画像生成部が、前記差分画像データを生成し、前記色判定部が、前記差分画像データを用いて、色の変化の前記度合いを判定するよう制御することを特徴とする請求項２または３に記載の情報処理装置。
【請求項６】
前記障害物判定部は、
前記画像データを、複数の画素で構成されるブロック単位で分割し、
あらかじめ定めた所定の範囲の閾値と、前記ブロックにおける各画素の平均値とを比較し、前記平均値が前記所定の範囲の閾値の範囲外となるブロックを第１除外ブロックとし、
第１除外ブロックであり、かつ周囲のブロックの中に連続した所定の個数以上の第１除外ブロックがある場合には、それぞれを第２除外ブロックとし、
画像の最外周の各ブロックを第３除外ブロックとし、
前記第２除外ブロックおよび前記第３除外ブロックを障害物領域とし、
前記対象領域判定部は、前記画像データにおいて前記障害物領域を除外した領域を対象領域とすることを特徴とする請求項１から３までのいずれか１項に記載の情報処理装置。
【請求項７】
前記期待値に対する補正値を生成する補正部をさらに備え、
前記色判定部は、前記対象領域において、前記補正値で補正された期待値と比較し、被写体の色の変化の度合いを判定することを特徴とする請求項１から３までのいずれか１項に記載の情報処理装置。
【請求項８】
前記補正部は、ユーザ入力に基づく前記補正値を生成することを特徴とする請求項７に記載の情報処理装置。
【請求項９】
前記補正値は、ユーザの一時的な肌の色の変化に対応させた値であることを特徴とする請求項８に記載の情報処理装置。
【請求項１０】
前記補正値は、日時、季節、生活パターンに応じた値であることを特徴とする請求項７に記載の情報処理装置。
【請求項１１】
被写体に対して光線を照射する光源手段と、前記被写体を撮影し、前記被写体の画像データを取得する撮影手段とを備えた情報処理装置による色判定方法であって、
前記光源手段から光線を照射して前記被写体を撮影し、画像データを取得するステップと、
前記光源手段から光線を照射せずに前記被写体を撮影し、画像データを取得するステップと、
前記被写体の画像データにおいて、障害物の有無を判定するとともに、前記障害物の領域を検出するステップと、
前記被写体の画像データにおける前記障害物を避けた領域を対象領域として判定するステップと、
前記光源手段から光線を照射して取得した画像データと、前記光源手段から光線を照射せずに取得した画像データとの差分画像データを生成するステップと、
前記生成された差分画像データの前記対象領域において、あらかじめ設定した期待値と比較し、被写体の色の変化の度合いを判定するステップとを備えたことを特徴とする色判定方法。
【請求項１２】
被写体に対して光線を照射する光源手段と、前記被写体を撮影し、前記被写体の画像データを取得する撮影手段とを備えた情報処理装置のプログラムであって、
前記光源手段から光線を照射して前記被写体を撮影し、画像データを取得するステップと、
前記光源手段から光線を照射せずに前記被写体を撮影し、画像データを取得するステップと、
前記被写体の画像データにおいて、障害物の有無を判定するとともに、前記障害物の領域を検出するステップと、
前記被写体の画像データにおける前記障害物を避けた領域を対象領域として判定するステップと、
前記光源手段から光線を照射して取得した画像データと、前記光源手段から光線を照射せずに取得した画像データとの差分画像データを生成するステップと、
前記生成された差分画像データの前記対象領域において、あらかじめ設定した期待値と比較し、被写体の色の変化の度合いを判定するステップとを備えたことを特徴とするプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【公開番号】特開２００８−２５９６７６（Ｐ２００８−２５９６７６Ａ）
【公開日】平成２０年１０月３０日（２００８．１０．３０）
【国際特許分類】
【出願番号】特願２００７−１０４７９９（Ｐ２００７−１０４７９９）
【出願日】平成１９年４月１２日（２００７．４．１２）
【出願人】（０００００５８２１）松下電器産業株式会社 (73,050)
【Ｆターム（参考）】
【公開日】平成２０年１０月３０日（２００８．１０．３０）
【国際特許分類】
【出願日】平成１９年４月１２日（２００７．４．１２）
【出願人】（０００００５８２１）松下電器産業株式会社 (73,050)
【Ｆターム（参考）】
[ Back to top ]