顔方向の検出方法および情報処理機器
【課題】顔の方向を検出してディスプレイを備えるコンピュータの電力を制御する。
【解決手段】カメラ・モジュールが撮像した画像データからディスプレイの正面方向に対する顔の方向を判断する（４０３）。斜め顔を検出したときは、ディスプレイのバックライトをオフにする（４０７）。入力デバイスからの入力がある間は、正面顔を検出しない場合であってもバックライトをオフにしない（４２１、４２３）。斜め顔（４０５）または非顔を検出してバックライトをオフにしても（４０７）、入力デバイスが操作されたとき（４０９）はバックライトをオンにする（４３１）。そのとき、一定時間以上連続して正面顔を認識しない限りディスプレイのオン状態を維持する（４３３）。バックライトがオフになってから正面顔を検出したときはバックライトを点灯する（４１１）。
【解決手段】カメラ・モジュールが撮像した画像データからディスプレイの正面方向に対する顔の方向を判断する（４０３）。斜め顔を検出したときは、ディスプレイのバックライトをオフにする（４０７）。入力デバイスからの入力がある間は、正面顔を検出しない場合であってもバックライトをオフにしない（４２１、４２３）。斜め顔（４０５）または非顔を検出してバックライトをオフにしても（４０７）、入力デバイスが操作されたとき（４０９）はバックライトをオンにする（４３１）。そのとき、一定時間以上連続して正面顔を認識しない限りディスプレイのオン状態を維持する（４３３）。バックライトがオフになってから正面顔を検出したときはバックライトを点灯する（４１１）。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、カメラが撮影した人物の画像から肯定的誤認識（False positive）の確率を低減しながら顔の方向を検出する技術に関し、さらには、顔の方向を判断して情報処理機器の消費電力を制御する技術に関する。
【背景技術】
【０００２】
移動車両の運転支援技術の分野には、運転者の顔の向きを認識する技術が導入されている。特許文献１は、自動車のドライバの顔の向きを検出する顔画像処理装置を開示する。同文献には、ドライバの正面顔を基にしてさまざまな向きに対応した顔モデル群を生成しておき、カメラで撮影した画像と顔モデル群を比較して最もよく一致する顔モデルを選択することで顔の向きを検出することが記載されている。特許文献２は、画像データから検出した口や目などの顔の特徴点の位置から重心を計算して顔方向を推定する技術を開示する。
【０００３】
特許文献３は、ウィンドウ内の各ブロックについてヒストグラムを使って顔確率を計算して顔確率値または対数尤度値（log likelihood value）を生成する技術を開示する。特許文献４は、ディジタル・カメラが顔の向きを判別する技術を開示する。同文献には、顔の画像から特徴点である目、鼻、耳、眉毛、口、および髪の毛などを輪郭情報として検出したり、視線の動きを検出したりして顔が動いたことを検出することが記載されている。
【０００４】
特許文献５は、カメラが撮像した画像を処理して操作者の顔を検知して入力部からの入力を受け取るようにすることで、操作者の顔が表示画面を向いていないときの入力を防ぐモバイル機器を開示する。特許文献６は、利用者の顔認識を利用して媒体の取り忘れの有無を判断する取引装置を開示する。同文献には、利用者が多少横を向いたときは顔があると判定し、上半身が横を向いていたり後ろ向きの場合は顔がないと判定したりすることが記載されている。非特許文献１〜３は、Viola-Jones法による顔認識技術を開示する。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００３−３０８５３３号公報
【特許文献２】国際公開ＷＯ０２／００７０９５号公報
【特許文献３】特表２００６−５０８４６３号公報
【特許文献４】特開２０１０−１７７８５９号公報
【特許文献５】特開２０１１−９１７４９号公報
【特許文献６】特開２０１１−８６００２号公報
【非特許文献】
【０００６】
【非特許文献１】Rapid Object Detection using a Boosted Cascade of Simple Features, ACCEPTED CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION 2001, Paul Viola and Michael Jones
【非特許文献２】矩形特徴を用いた顔検出器から得られる識別スコアの最大化による顔追跡手法の研究、筑波大学大学院修士論文、日高章理、２００６年２月
【非特許文献３】低解像度からの顔検出、東京工業大学大学院論文、林伸治 長谷川修、画像電子学会誌第３４巻、２００５
【発明の概要】
【発明が解決しようとする課題】
【０００７】
コンピュータは、画像データのレンダリングや統計計算のようなプログラムを長い時間実行してバッチ処理をしたり、ディスプレイに表示された画面に対して行われた入力デバイスからの入力に応じて対話型処理をしたりする。自動的にバッチ処理をしているコンピュータでは、ディスプレイに処理経過の画面を表示することがある。また、対話型処理をしているコンピュータは、必ずディスプレイに画面を表示する必要がある。
【０００８】
しかし、コンピュータに処理をさせている間ユーザは常にディスプレイを見ているわけではなく、コンピュータの前で書類をみたり、遠くを見ながら考え込んだり、他人と話をしたりするときにはディスプレイから目を逸らす。バッチ処理および対話型処理のいずれであってもユーザがディスプレイから目を離してよそ見をしている間はディスプレイの表示を停止してもコンピュータの利用上は支障がない。１つ１つのよそ見時間は短いとしても全体を集めると長い時間になるため、その間にきめ細かくディスプレイを停止することができれば、消費電力を大幅に低減することができる。
【０００９】
これまでユーザの顔がカメラの前に存在しないときに、ディスプレイを停止することについては検討が行われてきたが、ユーザの顔がカメラの前に存在しているときにディスプレイから目を逸らした状態を検出してディスプレイを停止することは実現が困難であると考えられていた。その最大の理由は、カメラが撮影した画像から顔の方向を判断する際には、アナログ的な顔の特徴情報をパターン認識してディジタル化する過程において、ディスプレイに対してよそ見をしていないのによそ見をしていると判断してしまういわゆる肯定的誤認識を十分に排除できないため、ディスプレイを見ているときにディスプレイを停止する状態が許容できない頻度で発生することを挙げることができる。
【００１０】
具体的には、ユーザがディスプレイを見ながら頬を手で支えたり顔の表面を手でなでたり眼鏡の姿勢を直したりしたときに、パターン認識上は目を逸らしたと判断してディスプレイを停止することになるからである。さらに、コンピュータのユーザが不特定多数であることを前提にすると、使用の可能性のあるすべてのユーザの顔の方向を検出できるような顔認識技術を導入する必要があることも理由に挙げることができる。したがって、顔の方向を判断してディスプレイの動作を制御するためには、肯定的誤認識の確率を低減し、さらに肯定的誤認識が発生した場合でもコンピュータの利用に支障をきたさないような方法を工夫する必要がある。
【００１１】
そこで本発明の目的は、ディスプレイの正面方向に対する顔の方向を判断して情報処理機器の消費電力を制御する方法を提供することにある。さらに本発明の目的は、肯定的誤認識の確率を低減しながら顔の方向を検出する方法を提供することにある。さらに本発明の目的はそのような方法を実現する情報処理機器、顔方向認識装置およびコンピュータ・プログラムを提供することにある。
【課題を解決するための手段】
【００１２】
本発明の一の態様では、カメラ・モジュールおよびディスプレイとの通信が可能な情報処理機器において消費電力を制御する方法を提供する。カメラ・モジュールおよびディスプレイは情報処理機器と物理的に結合していても分離していてもよい。最初に情報処理機器がパワー・オン状態に遷移する。情報処理機器は、カメラ・モジュールから定期的に受け取った画像データから、人物の顔の方向を判断し、顔の方向がディスプレイの正面からシフトしていると判断したことに応答して、情報処理機器がパワー・オン状態からロー・パワー状態に遷移する。
【００１３】
顔がシフトする方向は、正面顔から外れる方向であれば左右方向、上下方向、および斜め方向のいずれであってもよい。ユーザの顔の方向がディスプレイの正面方向からシフトしたときには、ユーザは少なくともディスプレイを見ながら行う作業は中断していると考えることができるため、パワー・オン状態のときよりも消費電力が少ないロー・パワー状態に遷移させることができる。
【００１４】
ロー・パワー状態は、ディスプレイのバックライトを停止する処理であったり、情報処理機器が収納するメイン・プロセッサまたは画像専用プロセッサをロー・パワー状態に遷移させたりすることで実現できる。情報処理機器は、各画像データから顔の方向がカメラ・モジュールの正面に対して所定の方向のときに最大値となり、所定の方向からシフトするに伴って低下する特性を備えた顔認識強度値を計算することで顔の方向を判断することができる。
【００１５】
各画像データについて経過時間ごとに今回の画像データと過去の画像データを比較して今回の画像データから計算した顔認識強度値の単位時間当たりの変化量が所定値を越えたか否かを判断し肯定的誤認識の確率を低減することとができる。情報処理機器を操作するユーザが首を回して顔を正面方向からシフトするときの顔認識強度値の変化速度は、正面を向きながら顔に手を当てたときの変化速度に比べて遅い。この変化速度の差に着目して、単位時間当たりの変化量が所定値を越えたときに今回の画像データを顔の方向の判断対象から除外することで、肯定的誤認識の確率を低減することができる。
【００１６】
顔認識強度値が最大となる所定の方向は、ディスプレイの正面方向またはディスプレイの正面方向に対して所定の角度だけシフトした複数の方向とすることができる。画像データから顔を認識しないときであっても、入力デバイスが操作されたときはユーザが存在していたことになるため肯定的誤認識が生じていた可能性があったり、ユーザがカメラ・モジュールの撮影範囲から外れた不自然な位置で情報処理機器を操作したりしていることが予想される。この場合は、所定の時間以内に入力デバイスが操作され続けている間はロー・パワー状態への遷移を停止することで情報処理機器の利用を確保することができる。
【００１７】
ロー・パワー状態に遷移している間に入力デバイスが操作されたときには、ユーザが情報処理機器を使用する意図が確実であるためパワー・オン状態に復帰することができる。顔の方向を検出してロー・パワー状態に遷移した直後にユーザが入力デバイスを操作したような場合は、肯定的誤認識が発生して顔の認識の精度が十分に確保できていない可能性が高い。この場合はパワー・オン状態に復帰してから顔が所定時間連続してディスプレイの正面方向を向いていると判断しない間はパワー・オン状態を維持することで安定した顔の検出ができるようになるまで顔の方向を検出した電力の制御を中断することが望ましい。また、ロー・パワー状態に遷移している間に顔がディスプレイの正面方向を向いていると判断したときにロー・パワー状態からパワー・オン状態に復帰することができる。
【００１８】
本発明の他の態様では、肯定的誤認識の確率を低減しながら、カメラから取得した画像データからカメラに対する顔の方向を判断する方法を提供する。カメラから定期的に画像データを取得し、カメラに対する顔の方向が所定の方向のときに最大値となり、所定の方向からシフトするに伴って低下する特性を備えた顔認識強度値を各画像データから計算し、各画像データについて顔認識強度値の単位時間当たりの変化量が所定値以下であるか否かを判断し、変化量が所定値以下であると判断した画像データから計算した顔認識強度値と閾値を比較して顔の方向を判断する。
【００１９】
顔認識強度値は、カメラの正面方向を中心にした単一のピーク値を含む特性、または、複数のピーク値を含む特性を備えているように構成することができる。顔認識強度値が複数のピーク値を含む場合は、顔が左右方向に所定の角度だけ向いたときのピーク値と上下方向に所定の角度だけ向いたときのピーク値を含むように構成することができる。このとき、顔の向きが所定の方向によって異なるさまざまな制御をすることができる。
【発明の効果】
【００２０】
本発明により、ディスプレイの正面方向に対する顔の方向を判断して情報処理機器の消費電力を制御する方法を提供することができた。さらに本発明により、肯定的誤認識の確率を低減しながら顔の方向を検出する方法を提供することができた。さらに本発明によりそのような方法を実現する情報処理機器、顔方向認識装置およびコンピュータ・プログラムを提供することができた。
【図面の簡単な説明】
【００２１】
【図１】本実施の形態にかかるノートＰＣ１０のハードウェアおよびソフトウェアの構成を示す機能ブロック図である。
【図２】顔認識強度絶対値を計算する方法を説明する図である。
【図３】顔認識強度絶対値を計算する方法を説明する図である。
【図４】カメラ・モジュール１１が撮影した認識対象の画像データから強識別器２５０が顔認識強度絶対値を計算する手順を説明する図である。
【図５】顔の方向に対して顔認識強度相対値が変化する様子を模式的に示した図である。
【図６】顔の方向を認識する際に肯定的誤認識の確率を低減する方法を説明する図である。
【図７】カメラ・モジュール１１が撮影した画像が、正面顔（範囲Ｘ）、斜め顔（範囲Ｙ）、非顔（範囲Ｚ）のいずれであるかを顔認識部１５が判定する手順を示すフローチャートである。
【図８】顔の方向を判断してノートＰＣ１０の消費電力を制御する手順を示すフローチャートである。
【図９】顔の方向を判断してノートＰＣ１０の消費電力を制御するときの状態遷移図である。
【図１０】正面顔と２つの斜め顔がそれぞれ最大の顔認識強度絶対値を出力する強識別器５００の構成を説明する図である。
【図１１】他の強識別器が出力する顔認識強度絶対値の特性を示す図である。
【発明を実施するための形態】
【００２２】
［コンピュータの構成］
図１は、本実施の形態にかかるノートブック型パーソナル・コンピュータ（ノートＰＣ）１０のハードウェアおよびソフトウェアの構成を示す機能ブロック図である。図１において、カメラ・モジュール１１、入力デバイス１３、ディスプレイ２５およびディスプレイに付随するバックライトはハードウェアであり、その他の要素はプロセッサおよびメイン・メモリなどのハードウェア資源とソフトウェア資源との協働作業により実現される。ソフトウェア資源は、ＯＳおよびデバイス・ドライバなどの周知のプログラムと、本実施の形態にかかる新規な顔検出プログラムおよび電力制御プログラムで構成される。
【００２３】
カメラ・モジュール１１は、イメージ・センサ、イメージ・シグナル・プロセッサ、ＵＳＢインターフェースなどで構成されている。カメラ・モジュール１１はＶＧＡ（６４０×４８０）、ＱＶＧＡ（３２０×２４０）、ＷＶＧＡ（８００×４８０）およびＷＱＶＧＡ（４００×２４０）などの画像データを一例として３０ｆｐｓの転送速度で顔認識部１５に転送する。後に説明するように本実施の形態では、ユーザの顔の方向を検出してディスプレイ２５のバックライト２６を点灯したり消灯したりしてノートＰＣ１０の消費電力を制御するが、カメラ・モジュール１１はバックライト２６が消灯してロー・パワー状態の間も画像の転送を継続する。
【００２４】
カメラ・モジュール１１は、ユーザの顔がディスプレイ２５の正面方向を向いているときにカメラ・モジュール１１に対する顔の向きもほぼ正面方向になるように、ディスプレイ２５を収納する筐体の上部に取り付けられている。ただし、カメラ・モジュール１１がノートＰＣ１０に物理的に装着されていることは本発明の本質的な要素ではなく、カメラ・モジュール１１をディスプレイ２５の正面方向に配置して無線インターフェースでノートＰＣ１０に接続してもよい。なお、ユーザから見たカメラ・モジュール１１の正面方向とディスプレイ２５の正面方向は上下方向においては若干異なるが、本明細書においてはカメラ・モジュール１１の正面方向とディスプレイ２５の正面方向を区別しないで説明する。
【００２５】
入力デバイス１３は、キーボード、タッチパネル、またはポインティング・デバイスのようにユーザが入力操作をするデバイスで構成されている。入力デバイス１３は、ノートＰＣ１０がロー・パワー状態のときでも入力することができる。顔認識部１５は、カメラ・モジュール１１が撮影した画像から顔認識強度絶対値を計算したり、顔認識強度絶対値から顔認識強度相対値を計算したりして顔の方向を検出する。顔認識強度絶対値および顔認識強度相対値については後に説明する。
【００２６】
顔認識部１５は、カメラ・モジュール１１が正規化のための顔認識強度絶対値の最高値を顔画像データ登録部１７に登録する登録機能、顔認識強度相対値からディスプレイ２５に対する顔の方向を検出する顔方向検出機能、および顔方向の検出および入力デバイス１３の操作に応じて電力制御部２３に指示しバックライト２６の動作を制御する電力制御機能を備えている。
【００２７】
顔画像データ登録部１７は、顔認識部１５が計算した、ディスプレイ２５を見ながら入力デバイス１１を操作しているユーザの顔認識強度絶対値を登録する。登録される顔認識強度絶対値は当該ユーザの顔の画像について最大値に近い値となる。顔認識強度絶対値の最大値は、顔の方向を認識する際に個人差および画像の輝度で異なる顔認識強度絶対値を正規化して顔認識強度相対値を得るために使用する。
【００２８】
ＧＵＩオブジェクト監視部１９は、最大の顔認識強度絶対値を取得するために、ユーザがディスプレイ２５に表示されたオブジェクトに入力デバイス１３を操作してアクセスするタイミングを顔認識部１５に通知する。入力デバイス監視部２１は、入力デバイス１３が操作されたときの入力イベントから生成されたウィンドウ・メッセージを顔認識部１５に通知する。電力制御部２３は、顔認識部１５の指示によりディスプレイ２５のバックライト２６を点灯したり消灯したりする。
【００２９】
［顔認識強度絶対値］
つぎに、顔認識部１５が画像データから顔認識強度絶対値を生成する方法を説明する。顔認識強度絶対値は、カメラ・モジュール１１が撮影した画像から抽出した特徴情報を、複数のサンプル顔を撮影した画像データから抽出した特徴情報と比較したときに、当該画像がいずれかのサンプル顔に一致する割合を示す確率的な特性値をいう。顔認識強度絶対値は、顔の方向が基準方向のときに最大値となり、基準方向から頭部の垂直軸を中心にした左右方向、頭部の水平軸を中心にした上下方向、または斜め方向のいずれの方向であってもシフトするに従って小さくなる特性を備える。基準方向は一例として、カメラ・モジュール１１の正面方向とすることができる。
【００３０】
顔認識強度絶対値は一例としてViola-Jones法を利用して計算することができる。図２、図３は顔認識強度絶対値を計算する方法を説明する図である。図２（Ａ）は、顔認識部１５が含むカスケード構造の強識別器１００の構造を示す図である。図２（Ｂ）は、各弱識別器Ｃ１〜Ｃｎを構成する４つの矩形特徴を説明する図である。図２（Ｃ）は、矩形特徴１０１ａで構成した識別パターン２００を示している。
【００３１】
強識別器１００はｎ段の弱識別器Ｃ１〜Ｃｎをカスケード接続して構成されている。各弱識別器Ｃ１〜Ｃｎでは、入力された画像データが顔（Ｔ：True）であるか、非顔（Ｆ：False）であるかを判断し、Ｔと判断したときは当該画像データを次段に渡し、Ｆと判断したときは当該画像データを破棄する。最終段の弱識別器ＣｎがＴと判断したときは、強識別器１００は弱識別器Ｃ１に入力された画像データが顔を含むと判断する。
【００３２】
弱識別器Ｃ１に入力された画像データがいずれかの弱識別器Ｃ１〜Ｃｎ−１で破棄されたときまたは弱識別器Ｃｎが顔を認識したときはその時点で処理が終了し顔認識強度絶対値が計算される。画像データが通過する画像データが後段の弱識別器であるほど当該画像データが顔を含む確率が向上する。後に説明するように顔認識部１５は強識別器１００が最終的に顔を認識したか否かを問わずに入力された画像データが通過した弱識別器Ｃ１〜Ｃｎ−１の段数とそれらが保有する顔認識確率から顔認識強度絶対値を計算する。
【００３３】
弱識別器Ｃ１〜Ｃｎは、認識対象となる画像の中に設定した領域の輝度から当該画像が人物の顔を含むか否かを判断するために矩形特徴１０１を使用する。各矩形特徴１０１ａ〜１０１ｄは、黒と白で示した小矩形領域を有する。各弱識別器Ｃ１〜Ｃｎは認識対象の画像を分割した小ウィンドウに矩形特徴１０１を適用して、黒の小矩形領域が含む階調値の合計と白の小矩形領域が含む階調値の合計の差分を計算し、この差分に対してあらかじめ学習して設定した閾値と実際に計算した差分を比較してＴまたはＦを出力する。矩形特徴１０１は小ウィンドウに適用する際に、小矩形領域の数、並び方、座標、および大きさの４つの自由度を備えている。
【００３４】
Viola-Jones法では高速計算を可能にするために、このうち小矩形領域の数と並び方を矩形特徴１０１ａ〜１０１ｄに示す４パターンにし、かつ各小矩形領域の大きさを同じにしている。したがって、弱識別器Ｃ１〜Ｃｎを構成する顔認識アルゴリズムは、小ウィンドウに対して各矩形特徴１０１ａ〜１０１ｄの大きさと座標の２つを選択することができる。図２（Ｃ）には、小ウィンドウに適用する際の位置およびその大きさが異なる矩形特徴１０１ａ用の４つの識別パターン２００ａ〜２００ｄを例示している。ただしそれらの識別パターンの数は４つに限定されない。
【００３５】
矩形特徴１０１の識別パターン２００およびその数の設定では最も精度の高い顔認識ができるように固有の顔認識アルゴリズムが適用される。矩形特徴１０１ｂ〜１０１ｄについても同様に識別パターンを作成する。各識別パターンは、１つの弱識別器に割り当てられる。４つの矩形特徴１０１ａ〜１０１ｄからそれぞれ５個の識別パターンを作成すると全体で２０個の識別パターンを形成することができるため、２０段の弱識別器で構成された強識別器１００を作成することができる。
【００３６】
各弱識別器Ｃ１〜Ｃｎに割り当てる識別パターン２００は、所定の大きさの学習用画像を利用して決定することができる。学習用画像は複数の顔画像と複数の非顔画像で構成する。各学習用画像に対して識別パターンを適用して閾値の設定とエラー率の計算をする。入力された学習用画像に対してエラー率が最小となる識別パターンを１段目の弱識別器Ｃ１が使用する識別パターンとして決定する。各弱識別器Ｃ１〜ＣｎがＴと判断した学習用画像は正常認識をした顔画像と肯定的誤認識をした非顔画像を含む。
【００３７】
入力された顔画像の総数に対してＴと判断した顔画像の割合をα１〜αｎとし、入力された非顔画像の総数に対してＴと判断した非顔画像の割合をβ１〜βｎとする。β１〜βｎは、肯定的誤認識の確率に相当する。エラー率は肯定的誤認識の確率β１〜βｎで計算する。２段目の弱識別器Ｃ２が使用する識別パターンは、１段目の弱識別器Ｃ１を通過した学習用画像に対してエラー率が最小となるように決定する。以後同様の手順を繰り返し、ｎ個の弱識別器が直列に追加される。
【００３８】
つぎに、このようにして作成した強識別器１００を、年齢、性別、人種、眼鏡の着用、髪型、および髪の色などのようなコンピュータ１０を使用する可能性のある人物の特徴を網羅するように選択した複数の顔画像（サンプル画像）に適用する。一例としてサンプル画像はすべてカメラの正面方向を向いている正面顔とする。各識別器Ｃ１〜Ｃｎについて、顔（Ｔ）と認識したサンプル画像の数を前段の弱識別器から受け取ったサンプル画像の数で除した値を顔認識確率γ１〜γｎとして各弱識別器Ｃ１〜Ｃｎに割り当てる。
【００３９】
図３は、各弱識別器Ｃ１〜Ｃｎに顔認識確率γ１〜γｎが割り当てられた強識別器２５０の構成を示す図である。図４は、カメラ・モジュール１１が撮影した認識対象の画像１５１から強識別器２５０が顔認識強度絶対値を計算する手順を説明する図である。画像１５１の解像度は、一例として３２０×２４０ピクセルである。顔認識部１５は、画像１５１の画素領域を同一サイズの１６個の小ウィンドウ１５５に分割して各小ウィンドウに順番に強識別器２５０を適用する。
【００４０】
小ウィンドウ１５５のサイズは、認識可能な顔のサイズを踏まえた最小サイズ（例えば、画像の解像度から勘案して３２×３２ピクセル）から、画像１５１全体を１つの小ウィンドウとする最大サイズまで設定することができる。図４には、小ウィンドウ１５５が画像１５１を平面的に２０個に分割するように示しているが、強識別器２５０を適用する際の各小ウィンドウ１５５は、画像１５１の全体に渡って１ピクセルまたは数ピクセルの単位でシフトしながら重なり合うように位置決めされる。したがって、１ピクセル単位で上下左右方向にずらす場合の３２×３２ピクセルの小ウィンドウの数は、左右方向が２８９個で上下方向が２０９個となって全体で６０４０１個となる。
【００４１】
小ウィンドウ１５５のサイズは、順次増大させることができる。小ウィンドウ１５５のサイズが順次大きくなるにしたがって、それぞれのサイズにおける小ウィンドウ１５５の画像１５１上での組み合わせの合計数は減って行き、最後は画像１５１の全体が１つの小ウィンドウとなる。小ウィンドウ１５５のサイズを最小サイズから順次大きくしていく際のピクセルの数は必ずしも１ピクセルにする必要はなく、一例では一次元で１．２５倍ずつ増加させる。
【００４２】
さらに、小ウィンドウ１５５のサイズからみた相対的なずれ量を勘案すれば、小ウィンドウ１５５のサイズに対応させてシフトさせるピクセルの数も変更することができる。例えば、小ウィンドウ１５５のサイズが最小サイズの２倍程度になったらシフトさせるピクセル数を１ピクセルから２ピクセルに増加させたり、さらに大きくなったときには同様に小ウィンドウのサイズに対するシフト量を勘案して相対的に同等となるピクセル数に増加させたりすれば、小ウィンドウの位置取りの組み合わせの増大を軽減できる。
【００４３】
各弱識別器Ｃ１〜Ｃｎ−１は画像１５１上の様々な座標に位置する様々なサイズの小ウィンドウ１５５について、識別パターン２００を適用して階調値の差分を順番に計算していずれかの小ウィンドウ１５５でＴと判定した場合は次段の弱識別器に処理を渡す。いずれの小ウィンドウ１５５でもＦと判定した場合はその時点で処理を終了する。画像１５１が最終段の弱識別器Ｃｎを通過したときも処理を終了する。引き続き、小ウィンドウ１５５のサイズを順次大きくしながら各弱識別器Ｃ１〜Ｃｎ−１は同様に様々な座標に位置する小ウィンドウ１５５について識別パターン２００を適用して行く。それぞれの判定・通過処理が終了すると顔認識部１５は顔認識強度絶対値を計算する。
【００４４】
最後に小ウィンドウ１５５のサイズが画像１５１のサイズになって、その判定・通過処理が終了したときが全体の処理が終了したときになる。各小ウィンドウの顔認識強度絶対値は、それが通過した各弱識別器が保有する顔認識確率の合計値として計算する。たとえば、弱識別器Ｃ４を通過した場合は顔認識強度絶対値は、弱識別器Ｃ１〜Ｃ４が保有する顔認識確率の合計としてγ１＋γ２＋γ３＋γ４で計算する。最終的に、すべての小ウィンドウ１５５が保持する顔認識強度絶対値の中で最大の値を持ち、かつそれが一定の閾値を超える小ウィンドウには、多くの場合そのサイズとその座標位置に対応して認識すべき顔画像が存在することになる。それが画像１５１で検出された顔認識強度絶対値となる。
【００４５】
顔認識強度絶対値は、画像データが１段目の弱識別器Ｃ１を通過しない場合にゼロとなり、最終段の弱識別器Ｃｎを通過したときに最大値になり、通過する弱識別器Ｃ１〜Ｃｎの数が多くなるほど大きな値になる。言い換えると、正面顔を基準にしたときには通過する弱識別器Ｃ１〜Ｃｎの数が多いほど顔らしい画像といえることになる。ただし、最終段の弱識別器ＣｎでＴと判断した場合にも最終結果には肯定的誤認識の確率は残る。
【００４６】
学習用画像とサンプル画像を正面顔にすると、顔認識強度絶対値は顔がカメラ・モジュール１１の正面方向を向いているときに最大値になり、上下方向、横方向または斜め方向を向いたり顔を手で覆ったりして画像データから正面顔の特徴情報が少なくなるほど小さくなる。強識別器２５０は、正面顔を最大値とし正面顔の特徴が少なくなるほど小さくなる顔認識強度絶対値を出力する。本実施の形態では、ユーザの顔の方向が正面方向に対するシフト量が大きくなるほど顔認識強度絶対値が小さくなる特質を利用してディスプレイ２５の正面方向に対する顔の方向を判断する。
【００４７】
［顔認識強度相対値］
顔認識強度絶対値には個人差があり、さらに、カメラ・モジュール１１が撮影した画像の輝度でも変化する。顔認識強度絶対値を利用してディスプレイ２５の動作を制御するときは、ユーザおよび撮影画像の輝度を限定することはできない。本実施の形態ではユーザの個人差および撮影画像の輝度が顔認識強度絶対値に与える影響を排除して、共通のアルゴリズムで顔の方向を認識できるようにするために顔認識強度絶対値を正規化する。
【００４８】
本実施の形態では、ユーザが意識的な操作をしないでも正規化を行えるようにしている。ユーザはノートＰＣ１０を使い始めるとディスプレイに表示されたオブジェクトに対してアクセスする。具体的にはユーザはディスプレイ２５に表示されたカーソルを移動させて目的のオブジェクトをクリックしたり、カーソルの位置に文字を入力したりする。
【００４９】
ほとんどの場合それらのオブジェクトにアクセスしているユーザはディスプレイ２５を注視しているため、そのタイミングでカメラ・モジュール１１が撮影した画像は、ユーザの正面顔であるとみなすことができる。ＧＵＩオブジェクト監視部１９は、所定の時間の間入力デバイス１３が生成した入力イベントを監視する。ＧＵＩオブジェクト監視部１９は、入力イベントに対応するウィンドウ・メッセージを捕捉して顔認識部１５に通知する。
【００５０】
カメラ・モジュール１１は、正規化の準備が終わるまで顔認識部１５から指示されたタイミングで画像データを転送する。顔認識部１５は、ウィンドウ・メッセージを受け取るたびに、カメラ・モジュール１１に指示して１フレームの画像データを取得する。顔認識部１５は、受け取った画像データから顔認識強度絶対値を計算する。ＧＵＩオブジェクト監視部１９が入力イベントを検出したタイミングで撮影した画像は正面顔であるため、計算した顔認識強度絶対値は強識別器２５０が当該ユーザに対して与える最大値に近い値となる。
【００５１】
顔認識部１５は、複数の入力イベントのタイミングでそれぞれ取得した画像データから顔認識強度絶対値を計算し、さらに平均値を計算する。さらに顔認識部１５は、各画像データから画像１５１全体の平均輝度値および顔領域の平均輝度値を計算し、さらに各画像についてのそれらの平均輝度値を計算する。平均輝度値を計算する顔領域は、画像１５１の中で最大の顔認識強度絶対値が得られたサイズと座標を持つ小ウィンドウ１５５の領域とすることができる。なお、以下の説明では登録された顔認識強度絶対値の平均値を単に顔認識強度絶対値といい、画像全体の平均輝度値または顔領域の平均輝度値を単に輝度値という。顔認識部１５は、顔認識強度絶対値と輝度値を組にして顔画像データ登録部１７に記録する。この時点で正規化の準備が終了し、以後、カメラ・モジュール１１は顔認識部１５に定期的に画像データを転送する。
【００５２】
なお、ノートＰＣ１０を使用するユーザを撮影した画像の輝度値は時間経過とともに変化する。顔認識部１５は、ノートＰＣ１０の電源が入ってから停止するまでの間に随時、輝度値が所定値以上変化したとき、または肯定的誤認識が発生したときに入力デバイス１３が入力イベントを生成したタイミングで顔認識強度絶対値と輝度値を顔画像データ登録部１７に登録する。顔認識部１５は、顔画像データ登録部１７に登録した顔認識強度絶対値で、顔の方向を認識する対象となる画像１５１から計算した顔認識強度絶対値を除することで正規化する。このとき、認識対象の画像１５１から計算した顔認識強度絶対値に対応する輝度値に最も近い輝度値と組にして登録した顔認識強度絶対値を正規化に使用する。この除法によって得られた商を顔認識強度相対値とする。
【００５３】
顔画像データ登録部１７に登録した顔認識強度絶対値と輝度値の組は、ノートＰＣ１０がパワー・オフ状態のときに消去される。顔認識部１５は、ノートＰＣ１０がパワー・オン状態になるたびに入力イベントのタイミングで顔認識強度絶対値と輝度値の組を新規に顔画像データ登録部に格納する。なお、ノートＰＣ１０を同一のユーザが使用する場合は、顔認識強度絶対値を消去しないで次回以降の電力制御に使用するようにしてもよい。
【００５４】
図５は、顔の方向に対して顔認識強度相対値が変化する様子を模式的に示した図である。図５の横軸は垂直軸を中心にして横方向に回転するユーザの顔の角度で縦軸は顔認識強度相対値である。角度がゼロの位置では、ユーザが顔をディスプレイ２５の正面方向に向けており顔認識強度相対値Ｐは最大値を示す。角度ゼロの方向から顔が左右いずれの方向に向いても顔認識強度相対値は低下する。θ＜絶対値（±θ１）はユーザがディスプレイ２５に視線を向けていると判断する範囲Ｘを示している。範囲Ｘの方向を向いている顔を正面顔という。なお、ここで言う視線とは眼球自体の向きではなく顔自体の向きとする。
【００５５】
絶対値（±θ１）≦θ＜絶対値（±θ２）は、ディスプレイ２５の前にユーザの顔は存在するが、ディスプレイ２５から視線を離していると判断する範囲Ｙを示している。範囲Ｙの方向を向いている顔を斜め顔ということにする。θ≧絶対値（±θ２）は、ユーザがカメラ・モジュール１１の前に存在しないかまたは完全に横を向いたり後ろを向いたりしているため顔認識強度相対値が非常に小さく、顔であると判断しない範囲Ｚを示している。範囲Ｚの方向を向いている顔を、顔が不存在の場合も含めて非顔という。
【００５６】
これまで顔認識強度相対値をViola-Jones法を利用して計算する方法を説明してきたが本発明はこれに限定されるものではない。したがって、カスケード接続する弱識別器の矩形特徴は、図２（Ｂ）の４つのパターンに限定する必要はない。以下に説明するように、肯定的誤認識の確率を低減するためには、正面顔から斜め顔に遷移するときの単位時間当たりの顔認識強度相対値の変化量は小さいことが望ましい。
【００５７】
いいかえると、正面顔から斜め顔になだらかなカーブで変化すると、肯定的誤認識の確率を低減し易い。したがって、顔認識強度相対値の変化がなだらかになるように各弱識別器の顔認識確率γ１〜γｎを選択したり識別パターン２００を選択したりすることができる。本発明は、アナログ値である顔らしさを数値化できる他の認識手法または顔らしさを示す情報を顔の方向を示す情報として利用できる他の認識手法を採用することもできる。
【００５８】
一例としては、眉毛、耳、目、口の両端などの顔の左右方向の両端または上下方向の両端を画定する主要パーツを結ぶ距離の比率がそれぞれ、正面顔の基準値と比べて近似している程度を判断する。そして、注目するパーツ毎に重み付けしながら加重配点をしておいて、それらの注目ポイント毎の得点の合計点から顔認識強度絶対値および顔認識強度相対値を計算することもできる。また、幾つかの認識手法の組み合わせによって得られる顔認識強度相対値を使って、それらの手法の確度の高い部分を活かすことにより、より誤りの低い手法を生み出すこともできる。
【００５９】
［肯定的誤認識の抑制］
顔の方向を検出してバックライト２６の動作を制御する場合は、ユーザが正面を向いてディスプレイ２５を注視しているにもかかわらず、範囲Ｙまたは範囲Ｚの方向を向いていると認識する（よそ見をしていないのによそ見をしている）肯定的誤認識の確率を低減しないと実用に供することは困難である。つぎに、肯定的誤認識の確率を低減する手順を説明する。図６は、顔の方向を認識する際に肯定的誤認識の確率を低減する方法を説明する図である。図６は、カメラ・モジュール１１から一定のフレーム・レートで受け取った画像データのそれぞれから計算した顔認識強度相対値を時間毎にプロットしている。図６（Ａ）〜（Ｃ）にはそれぞれの画像データから計算した顔認識強度相対値の実測値と直近の過去２個の実測値を含めた３個の実測値から計算した移動平均値をプロットしている。
【００６０】
図６（Ａ）〜（Ｃ）において実測値のマークは白抜きにし、移動平均値のマークは塗りつぶしにしている。移動平均値は、個々の実測値のバラツキを排除して肯定的誤認識の確率を一層減らすことを目的にしている。図６（Ａ）はユーザが正面方向から自然に横方向を向くときの様子を示し、図６（Ｂ）は、ユーザが正面方向を向きながら顔の一部に手を当てたときの様子を示し、図６（Ｃ）はユーザが突然立ち上がってカメラ・モジュール１１に顔が写らなくなった様子を示している。閾値Ｗ１は正面顔と斜め顔の境界である図５の角度±θ１に対応する。閾値Ｗ２は斜め顔と非顔の境界である図５の角度±θ２に対応する。
【００６１】
図７は、カメラ・モジュール１１が撮影した画像が、正面顔（範囲Ｘ）、斜め顔（範囲Ｙ）、非顔（範囲Ｚ）のいずれであるかを顔認識部１５が判定する手順を示すフローチャートである。以下の手順において顔認識部１５は、カメラ・モジュール１１から定期的に受け取った画像データから顔認識強度相対値を計算し、肯定的誤認識の確率を低減しながら顔の向きが３つのいずれであるかを判定する。ブロック３０１では、顔認識部３０１がカメラ・モジュール１１から１フレームの画像データを取得し、ブロック３０３で顔認識強度相対値の実測値と移動平均値を計算する。
【００６２】
ブロック３０５では、一例としてフレーム転送周期の３倍をΔｔとし、３個前の移動平均値と当該時刻の移動平均値の差をΔＰとして、単位時間Δｔ当たりの顔認識強度相対値Ｐの変化量ΔＰ／Δｔを計算する。変化量ΔＰ／Δｔが所定値を越えているときはブロック３０７に移行して今回の顔認識強度相対値を破棄し顔の方向を判断するデータには使用しないでブロック３０１に戻る。顔認識強度相対値の大きさから顔の方向を判断するときに発生する肯定的誤認識の主要な要因として、前述のようにユーザが顔の一部に手を当てることにより顔認識強度相対値が低下することが挙げられる。ユーザが顔の一部に手を当てながらディスプレイ２５を見て考え込んでいるような場合は、画像に顔らしさが残っているので顔認識強度相対値が範囲Ｙに入ることがあるが、バックライト２６を消灯することは望ましくない。
【００６３】
本実施の形態では、顔に手を当てたり、急に立ち上がってカメラ・モジュール１１が顔を撮影しなくなったりしたときには、首を回して顔の方向を変えたときに比べて顔認識強度相対値が低下する時間が短いことに着目して肯定的誤認識の確率を低減する。顔認識部１５は、ΔＰ／Δｔが所定値よりも小さいときは今回の顔認識強度相対値の変化は有効であると判断してブロック３０９に移行する。ブロック３０５の判断では、顔認識部１５は図６（Ａ）の移動平均値１７１に対応する顔認識強度相対値の変化量を顔の方向を判断するデータとして採用し、図６（Ｂ）の移動平均値１７３および図６（Ｃ）の移動平均値１７５に対応する顔認識強度相対値の変化量は破棄する。
【００６４】
つまり、急激な変化に対して後述する図９における状態遷移を引き起こさないようにしていることになる。肯定的誤認識の発生を伴うことが多い急激な変化に反応しないことで、その発生自体を防いでいることになる。但し、この手法では首を急激に回してのよそ見をする場合に、それを正当なよそ見として認識しないことになる。しかし、通常のユーザの行動に基づいて、そのような急激に回転する頻度は顔に無意識に手を当てて顔認識強度相対値が急激に変化する場合の発生頻度に比べて充分小さいという判断によって正当化される。確かに、首を急激に回すような通常のよそ見から少し外れた動作をよそ見として認識しないことで後述する省電力の機会の損失に繋がるが、その発生頻度から勘案してその損失よりも肯定的誤認識の低減によって得られるメリットは充分大きい。
【００６５】
ブロック３０９では、今回の移動平均値ＰがＰ＞Ｗ１か否かを判断する。今回の移動平均値１７７のように変化量ΔＰ／Δｔは閾値以下でかつＰ＞Ｗ１のときはブロック３１１に移行して顔認識部１５は顔の向きが範囲Ｘの方向であると判断してブロック３０１でつぎの画像データを待つ。今回の移動平均値ＰがＰ＞Ｗ１でないときはブロック３１３に移行して、今回の移動平均値ＰがＷ２＜Ｐ≦Ｗ１か否かを判断する。
【００６６】
今回の移動平均値１７９のように変化量ΔＰ／Δｔは閾値以下でかつＷ２＜Ｐ≦Ｗ１のときはブロック３１５に移行して顔認識部１５は顔の向きが範囲Ｙの方向であると判断してブロック３０１でつぎの画像データを待つ。今回の移動平均値１８１のように変化量ΔＰ／Δｔは閾値以下でかつＰ≦Ｗ２のときはブロック３１７に移行して、顔認識部１５は顔の向きが範囲Ｚの方向であると判断してブロック３０１でつぎの画像データを待つ。
【００６７】
［電力制御の手順］
図８は、顔の方向を判断してバックライト２６の動作を制御する手順を示すフローチャートで、図９はそのときの状態遷移図である。図９で各ステートまたはステート間の遷移に記載した番号は、図８のブロックの番号に対応している。図９において、ステート４５１はバックライト２６が点灯した状態を示している。この状態は、顔認識部１５がカメラ・モジュール１１から受け取った画像データから計算した顔認識強度相対値が範囲Ｘに入ると認識した状態に対応する。ステート４５１では、ユーザの顔の方向がディスプレイ２５の正面方向であると認識している状態なのでバックライト２６は点灯する。
【００６８】
ステート４５３は、顔認識部１５が顔認識強度相対値は範囲Ｚに入っていると認識した状態を示しているが、ユーザがノートＰＣ１０の前にいて入力デバイス１３を操作しているため、ディスプレイ２５のバックライト２６は点灯している。ステート４５３は、顔認識部１５が非顔を検出しても、現実にユーザが入力デバイス１３を操作している事実を優先させてバックライト２６を点灯させるために設定している。ステート４５３は、ユーザがカメラ・モジュール１１の撮影範囲からはずれた不自然な位置でノートＰＣ１０を操作したような場合に発生する。
【００６９】
ステート４５５は、顔認識部１５が顔認識強度相対値は範囲Ｙに入っていると認識した状態を示している。ステート４５５では、ユーザの顔の方向がディスプレイ２５の正面方向から逸れているので、バックライト２６は消灯している。ステート４５７は顔認識部１５が顔認識強度相対値は範囲Ｚに入っていると認識したがステート４５３とは異なって入力デバイス１３からの入力がないためユーザがノートＰＣ１０の前に存在しないと判断してバックライト２６が消灯する。
【００７０】
ステート４５９は、顔認識部１５が顔認識強度相対値から顔の方向が範囲Ｙ（ステート４５５）または範囲Ｚ（ステート４５７）に入っていると判断してバックライト２６が消灯したときに、ユーザが入力デバイス１３を操作する状態を示している。顔認識強度相対値により消灯したバックライト２６は、入力デバイス１３の操作があると点灯する。一般に、肯定的誤認識が発生（よそ見をしていないのによそ見をしていると誤認識）すると、ステート４５１からステート４５５または４５７に誤って遷移してしまい、バックライトがオフにされてしまう。その誤認識に基づく操作に反応してユーザがバックライト２６の再点灯を期待しながら入力デバイス１３からの入力を行うと、このステート４５９への遷移が引き続き発生する。
【００７１】
図８においてブロック４０１でノートＰＣ１０の電源が投入されてデバイスが動作し始めると、ディスプレイ２５のバックライト２６が点灯する。ユーザが入力デバイス１３を操作するたびに、顔認識部１５はＧＵＩオブジェクト監視部１９と協働して顔認識強度絶対値と輝度値の組を顔画像データ登録部１７に登録する。登録された顔認識強度絶対値は、当該ユーザにとって当該輝度値では最大値またはそれに近い値になる。ブロック４０２で顔認識部１５はカメラ・モジュール１１から取得した画像データについて計算した顔認識強度絶対値を登録した顔認識強度絶対値で正規化して顔認識強度相対値を計算しさらに移動平均値を計算する。
【００７２】
ブロック４０３では、顔認識部１５がカメラ・モジュール１１から受け取った１フレームの画像データについて、図７に示した手順で処理をしてディスプレイ２５の正面方向に対する顔の方向を判断する。顔認識部１５が顔認識強度相対値は範囲Ｚに入っているため非顔を認識したときは、ブロック４２１に移行する。ブロック４２１では、入力デバイス監視部２１が入力デバイス１３の入力イベントを監視し、さらにブロック４２３で顔認識部１５は入力イベントが発生する時間間隔を監視する。
【００７３】
入力デバイス監視部２１は入力イベントを検出するたびに顔認識部１５に通知する。ブロック４２１、４２３において顔認識部１５は、所定の時間間隔以内に入力イベントを受け取っている限りはブロック４０２に戻って新たな顔認識強度絶対値の計算をするがバックライト２６の点灯は維持する。この手順は、顔認識部１５が非顔と判断した場合でも、ユーザがカメラ・モジュール１１の撮影範囲から外れた不自然な姿勢や一時的によそ見した姿勢のままで入力デバイス１３を操作している場合にはバックライト２６を消灯しないための処理に相当する。
【００７４】
ブロック４２３で顔認識部１５が入力デバイス監視部２１から所定の時間の間入力イベントを受け取らない場合は、ブロック４０７に移行して顔認識部１５は電力制御部２３にバックライト２６を消灯するように指示する。ブロック４０７では、指示を受け取った電力制御部２３がバックライト２６を消灯する。この手順は、顔認識部１５が非顔を検出した判断が正確であることに応じた処理に相当する。ブロック４２１からブロック４０２に移行したときは、認識精度が低下した可能性があるので顔認識部１５は顔画像データ登録部１７に新たに顔認識強度絶対値と輝度値の組を登録してそれ以降に処理する画像データの正規化に使用することもできる。
【００７５】
ブロック４０３に戻って顔認識部１５が顔認識強度相対値は範囲Ｚに入っていない、すなわち範囲Ｘまたは範囲Ｙに入っていると認識したときは、ブロック４０５に移行する。ブロック４０５で顔認識部１５が顔認識強度相対値は範囲Ｘに入っていると認識したときはブロック４０２に戻る。この手順は、顔認識部２５が今回の画像データは正面顔を含むと認識した場合は、バックライト２６の点灯を維持する処理に相当し、ステート４５１に留まっていることを意味する。
【００７６】
ブロック４０５で顔認識部１５が、顔認識強度相対値は範囲Ｙに入っていると認識したときはブロック４０７に移行する。この手順は、顔認識部１５が今回の画像データは斜め顔を含むと判断した場合は、使用する必要がないディスプレイ２５のバックライト２６を消灯する処理に相当する。本実施の形態では、ブロック４０３〜４０７およびブロック４２１、４２３の手順として示すように、顔認識部１５が斜め顔を認識した場合および顔認識部１５が非顔を認識しかつ入力デバイス１３の入力イベントの監視を通じてユーザが存在しないことを確認した場合に限りバックライト２６を消灯する。
【００７７】
ブロック４０７に続くブロック４０８では、バックライト２６が消灯したあとも顔認識部１５は新たな画像データを受け取って顔の方向を認識し、入力デバイス監視部２１が入力イベントの検出動作を継続している。ブロック４０９で入力イベントを検出したときは、入力デバイス監視部２１が対応するウィンドウ・メッセージを顔認識部１５に通知してブロック４３１に移行する。ブロック４３１では、顔認識部１５が電力制御部２３に指示してバックライト２６を点灯する。この手順は、ブロック４０８で顔の方向がいずれであっても入力デバイス１３が操作された場合には、ユーザがディスプレイ２５を必要としていると判断してディスプレイ２５を使用できるようにすることを示している。
【００７８】
ユーザは通常ディスプレイ２５を注視しながら入力デバイス１３を操作するため、ブロック４０９からブロック４３１への遷移が範囲Ｙまたは範囲Ｚと認識したときに行われると、顔認識部１５の精度が十分でなくブロック４０８で顔認識部１５が肯定的誤認識をした可能性が高いといえる。言い換えると、ユーザは、ディスプレイを注視しているときにバックライト２６が消えると、ただちに、入力デバイス１３を操作してバックライトを点灯させる。
【００７９】
図６および図７を参照して説明したように、顔認識部１５は肯定的誤認識を抑制するアルゴリズムを組み込んでいるが、顔画像データ登録部１７に登録した顔認識強度絶対値に対応する輝度値と認識中に取得した画像データの輝度値との差が大きくなったり、登録時のユーザが変わったりしたときには認識精度が低下することがある。そのような原因によって肯定的誤認識が発生したときは、ユーザの作業性を優先させてブロック４３１でバックライト２６を点灯する。この動作は図９においてステート４５５または４５７からステート４５９へ遷移することに対応する。
【００８０】
ブロック４３１に続くブロック４３３では、顔認識部１５は、一定時間連続して範囲Ｘを認識したか否かを判断する。一定時間連続してユーザがディスプレイ２５の正面方向を向いていると認識したときは認識の精度が安定していると判断してブロック４０２に戻る。この場合、顔画像データ登録部１７に新たに顔認識強度絶対値と輝度値の組を登録して新たに取得した画像データの正規化に使用することで認識精度を向上させることができる。一方、ブロック４０９でユーザにより入力デバイス１３が操作されたにもかかわらずブロック４３３で所定の時間以内に範囲Ｙまたは範囲Ｚを認識してしまうときは、肯定的誤認識（よそ見していないのによそ見していると誤って判断）が継続していると判断してバックライト２６の点灯を維持する。
【００８１】
ブロック４０９で入力デバイス１３の操作がないときは、ブロック４１１に移行して顔認識部１５は、受け取った画像データから計算した顔認識強度相対値が範囲Ｘに入っているか否かを判断する。顔認識部１５が顔認識強度相対値は範囲Ｘに入っていると認識したときはブロック４１３に移行する。ブロック４１３では顔認識部１５は、電力制御部２３に指示してバックライト２６を点灯し、ブロック４０２に戻る。ブロック４１１で顔認識部１５は、顔認識強度相対値が範囲Ｙまたは範囲Ｚに入っていると認識しているときはバックライト２６の消灯を維持してブロック４０８で新たな画像データについて顔の認識処理をする。
【００８２】
これまでの手順では、ユーザがディスプレイ２５を見ていないときに、バックライト２６を消灯させることで消費電力を低減する方法を説明したが、本発明における消費電力の低減はバックライト２６の制御に限るものではない。本発明はユーザがディスプレイ２６を見ていないときにパフォーマンスを低下させることができるＣＰＵおよびＧＰＵのクロックや電圧をバックライト２６の制御と同時にまたは独立して制御するようにしてもよい。
【００８３】
また、本実施の形態では、肯定的誤認識を抑制した顔方向の認識により省電力を実現する方法を説明しているが、顔認識部１５はよそ見をしているのによそ見をしていない（斜め顔または非顔を検出したにもかかわらず正面顔と判断する）いわゆる否定的誤認識（false negative）をすることもある。しかし、否定的誤認識の場合は、本来省電力できるにもかかわらずできなかったという機会損失をもたらすだけで、誤った操作を実施してユーザを不快にしてしまうような致命的な問題に結びつく心配はない。省電力効果は全体として電力低減が図れればよい性質のものである。
【００８４】
これまで、基準方向をカメラ・モジュール１１の正面方向とする正面顔の顔認識強度絶対値が最大値となるような強識別器２５０について説明したが、本発明は基準方向が正面方向から所定の角度だけ右方向を向いた斜め顔と左方向を向いた斜め顔の顔認識強度絶対値が最大値となる強識別器、または、それに加えて正面顔の顔認識強度絶対値も最大値となる強識別器を構成することもできる。図１０は、正面顔と２つの斜め顔がそれぞれ最大になる顔認識強度絶対値を出力する強識別器５００の構成を説明する図である。
【００８５】
強識別器５００は、３つの強識別器５０１、５０３、５０５および比較器５０７で構成されている。各強識別器５０１〜５０５は、図３の強識別器２５０と同じようにカスケード接続された複数の弱識別器で構成されている。強識別器５０１は、角度θ１だけ左方向を向いたときに最大の顔認識強度絶対値を出力するように構成されている。強識別器５０３は強識別器２５０と同じ構成で正面方向を向いたときに最大の顔認識強度絶対値を出力するように構成されている。強識別器５０５は、角度θ１だけ右方向を向いたときに最大の顔認識強度絶対値を出力するように構成されている。
【００８６】
角度±θ１は、正面顔と斜め顔の境界を示す角度とすることができる。強識別器５０１、５０５は、それぞれ左方向の斜め顔または右方向の斜め顔の画像データについて最大の顔認識強度絶対値を出力するように矩形特徴および識別パターンが選択されている。そして、学習用画像およびサンプル画像にも左方向および右方向の斜め顔を使用する。
【００８７】
強識別器５００に入力された１フレームの画像データは、常に３つの強識別器５０１〜５０５が並行して処理をする。比較器５０７は、３つの強識別器５０１〜５０５が出力する顔認識強度絶対値Ｓ１〜Ｓ５を比較して、最大の値顔認識強度絶対値Ｐｚを出力する。この場合の顔認識強度絶対値Ｐｚの特性は図１０（Ｂ）のように３個のピークを有する。比較器５０７は、範囲Ａで強識別器５０３の出力を選択し、範囲Ｂで強識別器５０１の出力を選択し、範囲Ｃで強識別器５０５の出力を選択する。強識別器５０１、５０５がθ＞絶対値（±θ２）に対応する認識強度絶対値を検出したときは非顔と判断することができる。
【００８８】
顔画像データ登録部１７には、ユーザが正面方向を向いたときの顔認識強度絶対値が最大値として格納されているが、同一の光の条件で同一のユーザの場合には、指定の角度での左右方向、及び正面方向を向いたときにそれぞれの強識別器から得られる顔認識強度絶対値はほぼ同程度になるように設計してあるため、正面向きで登録された顔認識強度絶対値で左右方向も含めたすべてのケースを含む顔認識強度絶対値Ｐｚを正規化する。このような特性を備える強識別器５００は、正面顔と斜め顔の境界でも顔認識強度絶対値がピーク値を有するため、より高い精度で正面顔と斜め顔を区別することができる。
【００８９】
他の例では、顔の左右方向に指向性を有する２つの強識別器と、上下方向に指向性を有する２つの強識別器の４つの強識別器を並列に接続してそれぞれの出力を比較器に接続した強識別器を構成することができる。この場合の顔認識強度絶対値の特性を図１１に示す。左右方向では角度±θ１が正面顔と横方向の斜め顔の境界を示し、上下方向では角度±θ３が正面顔と上下方向の斜め顔の境界を示す。そして、いずれかの強識別器の出力は、ディスプレイの動作を停止するために利用するのではなく、ディスプレイの動作を維持するために使用することもできる。
【００９０】
たとえば、机上の書類とディスプレイの画面を頻繁に見比べながら作業を進める場合には、顔を机上面に向けたときにディスプレイを停止したくない場合がある。このとき、比較器が下方向を向いた斜め顔に指向性を有する強識別器の顔認識強度絶対値を採用した場合には、他の強識別器の出力にかかわらずディスプレイの動作を継続するようにすれば、机上面方向とディスプレイの正面方向の間での顔の動きに対してはディスプレイの省電力制御をしないようにすることができる。
【００９１】
本発明の消費電力の低減方法は、適用範囲をノートＰＣに限定するものではなく、ディスプレイを備え、カメラで使用者の顔を撮影して画像データを取得できるデスクトップ型パーソナル・コンピュータ、タブレット型コンピュータ、および現金自動支払機のような情報処理機器に広く適用することができる。また、カメラ・モジュールおよびディスプレイは、情報処理機器と物理的に結合されている必要はなく通信可能であればよい。
【００９２】
さらに、肯定的誤認識の確率を低減しながら顔の方向を認識する方法は、情報処理機器の消費電力の低減に利用できるだけでなく、車両や航空機を運転する乗務員が横を向いたときに注意を促すために利用したり、ディスプレイの画面に重要な情報が表示されたときに横を向いているユーザにディスプレイを見るように注意を促したりする分野にも適用することができる。
【００９３】
これまで本発明について図面に示した特定の実施の形態をもって説明してきたが、本発明は図面に示した実施の形態に限定されるものではなく、本発明の効果を奏する限り、これまで知られたいかなる構成であっても採用することができることはいうまでもないことである。
【符号の説明】
【００９４】
１０ ノートＰＣ
１００、２５０、５００ 強識別器
１０１、１０１ａ〜１０１ｄ 矩形特徴
１５１ 認識対象の画像
１５５ 小ウィンドウ
２００、２００ａ〜２００ｄ 識別パターン
Ｃ１〜Ｃｎ 弱識別器
Ｐ 顔認識強度相対値
Ｐｚ、Ｐｙ 顔認識強度絶対値
Ｓ１〜Ｓ５ 顔認識強度絶対値
【技術分野】
【０００１】
本発明は、カメラが撮影した人物の画像から肯定的誤認識（False positive）の確率を低減しながら顔の方向を検出する技術に関し、さらには、顔の方向を判断して情報処理機器の消費電力を制御する技術に関する。
【背景技術】
【０００２】
移動車両の運転支援技術の分野には、運転者の顔の向きを認識する技術が導入されている。特許文献１は、自動車のドライバの顔の向きを検出する顔画像処理装置を開示する。同文献には、ドライバの正面顔を基にしてさまざまな向きに対応した顔モデル群を生成しておき、カメラで撮影した画像と顔モデル群を比較して最もよく一致する顔モデルを選択することで顔の向きを検出することが記載されている。特許文献２は、画像データから検出した口や目などの顔の特徴点の位置から重心を計算して顔方向を推定する技術を開示する。
【０００３】
特許文献３は、ウィンドウ内の各ブロックについてヒストグラムを使って顔確率を計算して顔確率値または対数尤度値（log likelihood value）を生成する技術を開示する。特許文献４は、ディジタル・カメラが顔の向きを判別する技術を開示する。同文献には、顔の画像から特徴点である目、鼻、耳、眉毛、口、および髪の毛などを輪郭情報として検出したり、視線の動きを検出したりして顔が動いたことを検出することが記載されている。
【０００４】
特許文献５は、カメラが撮像した画像を処理して操作者の顔を検知して入力部からの入力を受け取るようにすることで、操作者の顔が表示画面を向いていないときの入力を防ぐモバイル機器を開示する。特許文献６は、利用者の顔認識を利用して媒体の取り忘れの有無を判断する取引装置を開示する。同文献には、利用者が多少横を向いたときは顔があると判定し、上半身が横を向いていたり後ろ向きの場合は顔がないと判定したりすることが記載されている。非特許文献１〜３は、Viola-Jones法による顔認識技術を開示する。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００３−３０８５３３号公報
【特許文献２】国際公開ＷＯ０２／００７０９５号公報
【特許文献３】特表２００６−５０８４６３号公報
【特許文献４】特開２０１０−１７７８５９号公報
【特許文献５】特開２０１１−９１７４９号公報
【特許文献６】特開２０１１−８６００２号公報
【非特許文献】
【０００６】
【非特許文献１】Rapid Object Detection using a Boosted Cascade of Simple Features, ACCEPTED CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION 2001, Paul Viola and Michael Jones
【非特許文献２】矩形特徴を用いた顔検出器から得られる識別スコアの最大化による顔追跡手法の研究、筑波大学大学院修士論文、日高章理、２００６年２月
【非特許文献３】低解像度からの顔検出、東京工業大学大学院論文、林伸治 長谷川修、画像電子学会誌第３４巻、２００５
【発明の概要】
【発明が解決しようとする課題】
【０００７】
コンピュータは、画像データのレンダリングや統計計算のようなプログラムを長い時間実行してバッチ処理をしたり、ディスプレイに表示された画面に対して行われた入力デバイスからの入力に応じて対話型処理をしたりする。自動的にバッチ処理をしているコンピュータでは、ディスプレイに処理経過の画面を表示することがある。また、対話型処理をしているコンピュータは、必ずディスプレイに画面を表示する必要がある。
【０００８】
しかし、コンピュータに処理をさせている間ユーザは常にディスプレイを見ているわけではなく、コンピュータの前で書類をみたり、遠くを見ながら考え込んだり、他人と話をしたりするときにはディスプレイから目を逸らす。バッチ処理および対話型処理のいずれであってもユーザがディスプレイから目を離してよそ見をしている間はディスプレイの表示を停止してもコンピュータの利用上は支障がない。１つ１つのよそ見時間は短いとしても全体を集めると長い時間になるため、その間にきめ細かくディスプレイを停止することができれば、消費電力を大幅に低減することができる。
【０００９】
これまでユーザの顔がカメラの前に存在しないときに、ディスプレイを停止することについては検討が行われてきたが、ユーザの顔がカメラの前に存在しているときにディスプレイから目を逸らした状態を検出してディスプレイを停止することは実現が困難であると考えられていた。その最大の理由は、カメラが撮影した画像から顔の方向を判断する際には、アナログ的な顔の特徴情報をパターン認識してディジタル化する過程において、ディスプレイに対してよそ見をしていないのによそ見をしていると判断してしまういわゆる肯定的誤認識を十分に排除できないため、ディスプレイを見ているときにディスプレイを停止する状態が許容できない頻度で発生することを挙げることができる。
【００１０】
具体的には、ユーザがディスプレイを見ながら頬を手で支えたり顔の表面を手でなでたり眼鏡の姿勢を直したりしたときに、パターン認識上は目を逸らしたと判断してディスプレイを停止することになるからである。さらに、コンピュータのユーザが不特定多数であることを前提にすると、使用の可能性のあるすべてのユーザの顔の方向を検出できるような顔認識技術を導入する必要があることも理由に挙げることができる。したがって、顔の方向を判断してディスプレイの動作を制御するためには、肯定的誤認識の確率を低減し、さらに肯定的誤認識が発生した場合でもコンピュータの利用に支障をきたさないような方法を工夫する必要がある。
【００１１】
そこで本発明の目的は、ディスプレイの正面方向に対する顔の方向を判断して情報処理機器の消費電力を制御する方法を提供することにある。さらに本発明の目的は、肯定的誤認識の確率を低減しながら顔の方向を検出する方法を提供することにある。さらに本発明の目的はそのような方法を実現する情報処理機器、顔方向認識装置およびコンピュータ・プログラムを提供することにある。
【課題を解決するための手段】
【００１２】
本発明の一の態様では、カメラ・モジュールおよびディスプレイとの通信が可能な情報処理機器において消費電力を制御する方法を提供する。カメラ・モジュールおよびディスプレイは情報処理機器と物理的に結合していても分離していてもよい。最初に情報処理機器がパワー・オン状態に遷移する。情報処理機器は、カメラ・モジュールから定期的に受け取った画像データから、人物の顔の方向を判断し、顔の方向がディスプレイの正面からシフトしていると判断したことに応答して、情報処理機器がパワー・オン状態からロー・パワー状態に遷移する。
【００１３】
顔がシフトする方向は、正面顔から外れる方向であれば左右方向、上下方向、および斜め方向のいずれであってもよい。ユーザの顔の方向がディスプレイの正面方向からシフトしたときには、ユーザは少なくともディスプレイを見ながら行う作業は中断していると考えることができるため、パワー・オン状態のときよりも消費電力が少ないロー・パワー状態に遷移させることができる。
【００１４】
ロー・パワー状態は、ディスプレイのバックライトを停止する処理であったり、情報処理機器が収納するメイン・プロセッサまたは画像専用プロセッサをロー・パワー状態に遷移させたりすることで実現できる。情報処理機器は、各画像データから顔の方向がカメラ・モジュールの正面に対して所定の方向のときに最大値となり、所定の方向からシフトするに伴って低下する特性を備えた顔認識強度値を計算することで顔の方向を判断することができる。
【００１５】
各画像データについて経過時間ごとに今回の画像データと過去の画像データを比較して今回の画像データから計算した顔認識強度値の単位時間当たりの変化量が所定値を越えたか否かを判断し肯定的誤認識の確率を低減することとができる。情報処理機器を操作するユーザが首を回して顔を正面方向からシフトするときの顔認識強度値の変化速度は、正面を向きながら顔に手を当てたときの変化速度に比べて遅い。この変化速度の差に着目して、単位時間当たりの変化量が所定値を越えたときに今回の画像データを顔の方向の判断対象から除外することで、肯定的誤認識の確率を低減することができる。
【００１６】
顔認識強度値が最大となる所定の方向は、ディスプレイの正面方向またはディスプレイの正面方向に対して所定の角度だけシフトした複数の方向とすることができる。画像データから顔を認識しないときであっても、入力デバイスが操作されたときはユーザが存在していたことになるため肯定的誤認識が生じていた可能性があったり、ユーザがカメラ・モジュールの撮影範囲から外れた不自然な位置で情報処理機器を操作したりしていることが予想される。この場合は、所定の時間以内に入力デバイスが操作され続けている間はロー・パワー状態への遷移を停止することで情報処理機器の利用を確保することができる。
【００１７】
ロー・パワー状態に遷移している間に入力デバイスが操作されたときには、ユーザが情報処理機器を使用する意図が確実であるためパワー・オン状態に復帰することができる。顔の方向を検出してロー・パワー状態に遷移した直後にユーザが入力デバイスを操作したような場合は、肯定的誤認識が発生して顔の認識の精度が十分に確保できていない可能性が高い。この場合はパワー・オン状態に復帰してから顔が所定時間連続してディスプレイの正面方向を向いていると判断しない間はパワー・オン状態を維持することで安定した顔の検出ができるようになるまで顔の方向を検出した電力の制御を中断することが望ましい。また、ロー・パワー状態に遷移している間に顔がディスプレイの正面方向を向いていると判断したときにロー・パワー状態からパワー・オン状態に復帰することができる。
【００１８】
本発明の他の態様では、肯定的誤認識の確率を低減しながら、カメラから取得した画像データからカメラに対する顔の方向を判断する方法を提供する。カメラから定期的に画像データを取得し、カメラに対する顔の方向が所定の方向のときに最大値となり、所定の方向からシフトするに伴って低下する特性を備えた顔認識強度値を各画像データから計算し、各画像データについて顔認識強度値の単位時間当たりの変化量が所定値以下であるか否かを判断し、変化量が所定値以下であると判断した画像データから計算した顔認識強度値と閾値を比較して顔の方向を判断する。
【００１９】
顔認識強度値は、カメラの正面方向を中心にした単一のピーク値を含む特性、または、複数のピーク値を含む特性を備えているように構成することができる。顔認識強度値が複数のピーク値を含む場合は、顔が左右方向に所定の角度だけ向いたときのピーク値と上下方向に所定の角度だけ向いたときのピーク値を含むように構成することができる。このとき、顔の向きが所定の方向によって異なるさまざまな制御をすることができる。
【発明の効果】
【００２０】
本発明により、ディスプレイの正面方向に対する顔の方向を判断して情報処理機器の消費電力を制御する方法を提供することができた。さらに本発明により、肯定的誤認識の確率を低減しながら顔の方向を検出する方法を提供することができた。さらに本発明によりそのような方法を実現する情報処理機器、顔方向認識装置およびコンピュータ・プログラムを提供することができた。
【図面の簡単な説明】
【００２１】
【図１】本実施の形態にかかるノートＰＣ１０のハードウェアおよびソフトウェアの構成を示す機能ブロック図である。
【図２】顔認識強度絶対値を計算する方法を説明する図である。
【図３】顔認識強度絶対値を計算する方法を説明する図である。
【図４】カメラ・モジュール１１が撮影した認識対象の画像データから強識別器２５０が顔認識強度絶対値を計算する手順を説明する図である。
【図５】顔の方向に対して顔認識強度相対値が変化する様子を模式的に示した図である。
【図６】顔の方向を認識する際に肯定的誤認識の確率を低減する方法を説明する図である。
【図７】カメラ・モジュール１１が撮影した画像が、正面顔（範囲Ｘ）、斜め顔（範囲Ｙ）、非顔（範囲Ｚ）のいずれであるかを顔認識部１５が判定する手順を示すフローチャートである。
【図８】顔の方向を判断してノートＰＣ１０の消費電力を制御する手順を示すフローチャートである。
【図９】顔の方向を判断してノートＰＣ１０の消費電力を制御するときの状態遷移図である。
【図１０】正面顔と２つの斜め顔がそれぞれ最大の顔認識強度絶対値を出力する強識別器５００の構成を説明する図である。
【図１１】他の強識別器が出力する顔認識強度絶対値の特性を示す図である。
【発明を実施するための形態】
【００２２】
［コンピュータの構成］
図１は、本実施の形態にかかるノートブック型パーソナル・コンピュータ（ノートＰＣ）１０のハードウェアおよびソフトウェアの構成を示す機能ブロック図である。図１において、カメラ・モジュール１１、入力デバイス１３、ディスプレイ２５およびディスプレイに付随するバックライトはハードウェアであり、その他の要素はプロセッサおよびメイン・メモリなどのハードウェア資源とソフトウェア資源との協働作業により実現される。ソフトウェア資源は、ＯＳおよびデバイス・ドライバなどの周知のプログラムと、本実施の形態にかかる新規な顔検出プログラムおよび電力制御プログラムで構成される。
【００２３】
カメラ・モジュール１１は、イメージ・センサ、イメージ・シグナル・プロセッサ、ＵＳＢインターフェースなどで構成されている。カメラ・モジュール１１はＶＧＡ（６４０×４８０）、ＱＶＧＡ（３２０×２４０）、ＷＶＧＡ（８００×４８０）およびＷＱＶＧＡ（４００×２４０）などの画像データを一例として３０ｆｐｓの転送速度で顔認識部１５に転送する。後に説明するように本実施の形態では、ユーザの顔の方向を検出してディスプレイ２５のバックライト２６を点灯したり消灯したりしてノートＰＣ１０の消費電力を制御するが、カメラ・モジュール１１はバックライト２６が消灯してロー・パワー状態の間も画像の転送を継続する。
【００２４】
カメラ・モジュール１１は、ユーザの顔がディスプレイ２５の正面方向を向いているときにカメラ・モジュール１１に対する顔の向きもほぼ正面方向になるように、ディスプレイ２５を収納する筐体の上部に取り付けられている。ただし、カメラ・モジュール１１がノートＰＣ１０に物理的に装着されていることは本発明の本質的な要素ではなく、カメラ・モジュール１１をディスプレイ２５の正面方向に配置して無線インターフェースでノートＰＣ１０に接続してもよい。なお、ユーザから見たカメラ・モジュール１１の正面方向とディスプレイ２５の正面方向は上下方向においては若干異なるが、本明細書においてはカメラ・モジュール１１の正面方向とディスプレイ２５の正面方向を区別しないで説明する。
【００２５】
入力デバイス１３は、キーボード、タッチパネル、またはポインティング・デバイスのようにユーザが入力操作をするデバイスで構成されている。入力デバイス１３は、ノートＰＣ１０がロー・パワー状態のときでも入力することができる。顔認識部１５は、カメラ・モジュール１１が撮影した画像から顔認識強度絶対値を計算したり、顔認識強度絶対値から顔認識強度相対値を計算したりして顔の方向を検出する。顔認識強度絶対値および顔認識強度相対値については後に説明する。
【００２６】
顔認識部１５は、カメラ・モジュール１１が正規化のための顔認識強度絶対値の最高値を顔画像データ登録部１７に登録する登録機能、顔認識強度相対値からディスプレイ２５に対する顔の方向を検出する顔方向検出機能、および顔方向の検出および入力デバイス１３の操作に応じて電力制御部２３に指示しバックライト２６の動作を制御する電力制御機能を備えている。
【００２７】
顔画像データ登録部１７は、顔認識部１５が計算した、ディスプレイ２５を見ながら入力デバイス１１を操作しているユーザの顔認識強度絶対値を登録する。登録される顔認識強度絶対値は当該ユーザの顔の画像について最大値に近い値となる。顔認識強度絶対値の最大値は、顔の方向を認識する際に個人差および画像の輝度で異なる顔認識強度絶対値を正規化して顔認識強度相対値を得るために使用する。
【００２８】
ＧＵＩオブジェクト監視部１９は、最大の顔認識強度絶対値を取得するために、ユーザがディスプレイ２５に表示されたオブジェクトに入力デバイス１３を操作してアクセスするタイミングを顔認識部１５に通知する。入力デバイス監視部２１は、入力デバイス１３が操作されたときの入力イベントから生成されたウィンドウ・メッセージを顔認識部１５に通知する。電力制御部２３は、顔認識部１５の指示によりディスプレイ２５のバックライト２６を点灯したり消灯したりする。
【００２９】
［顔認識強度絶対値］
つぎに、顔認識部１５が画像データから顔認識強度絶対値を生成する方法を説明する。顔認識強度絶対値は、カメラ・モジュール１１が撮影した画像から抽出した特徴情報を、複数のサンプル顔を撮影した画像データから抽出した特徴情報と比較したときに、当該画像がいずれかのサンプル顔に一致する割合を示す確率的な特性値をいう。顔認識強度絶対値は、顔の方向が基準方向のときに最大値となり、基準方向から頭部の垂直軸を中心にした左右方向、頭部の水平軸を中心にした上下方向、または斜め方向のいずれの方向であってもシフトするに従って小さくなる特性を備える。基準方向は一例として、カメラ・モジュール１１の正面方向とすることができる。
【００３０】
顔認識強度絶対値は一例としてViola-Jones法を利用して計算することができる。図２、図３は顔認識強度絶対値を計算する方法を説明する図である。図２（Ａ）は、顔認識部１５が含むカスケード構造の強識別器１００の構造を示す図である。図２（Ｂ）は、各弱識別器Ｃ１〜Ｃｎを構成する４つの矩形特徴を説明する図である。図２（Ｃ）は、矩形特徴１０１ａで構成した識別パターン２００を示している。
【００３１】
強識別器１００はｎ段の弱識別器Ｃ１〜Ｃｎをカスケード接続して構成されている。各弱識別器Ｃ１〜Ｃｎでは、入力された画像データが顔（Ｔ：True）であるか、非顔（Ｆ：False）であるかを判断し、Ｔと判断したときは当該画像データを次段に渡し、Ｆと判断したときは当該画像データを破棄する。最終段の弱識別器ＣｎがＴと判断したときは、強識別器１００は弱識別器Ｃ１に入力された画像データが顔を含むと判断する。
【００３２】
弱識別器Ｃ１に入力された画像データがいずれかの弱識別器Ｃ１〜Ｃｎ−１で破棄されたときまたは弱識別器Ｃｎが顔を認識したときはその時点で処理が終了し顔認識強度絶対値が計算される。画像データが通過する画像データが後段の弱識別器であるほど当該画像データが顔を含む確率が向上する。後に説明するように顔認識部１５は強識別器１００が最終的に顔を認識したか否かを問わずに入力された画像データが通過した弱識別器Ｃ１〜Ｃｎ−１の段数とそれらが保有する顔認識確率から顔認識強度絶対値を計算する。
【００３３】
弱識別器Ｃ１〜Ｃｎは、認識対象となる画像の中に設定した領域の輝度から当該画像が人物の顔を含むか否かを判断するために矩形特徴１０１を使用する。各矩形特徴１０１ａ〜１０１ｄは、黒と白で示した小矩形領域を有する。各弱識別器Ｃ１〜Ｃｎは認識対象の画像を分割した小ウィンドウに矩形特徴１０１を適用して、黒の小矩形領域が含む階調値の合計と白の小矩形領域が含む階調値の合計の差分を計算し、この差分に対してあらかじめ学習して設定した閾値と実際に計算した差分を比較してＴまたはＦを出力する。矩形特徴１０１は小ウィンドウに適用する際に、小矩形領域の数、並び方、座標、および大きさの４つの自由度を備えている。
【００３４】
Viola-Jones法では高速計算を可能にするために、このうち小矩形領域の数と並び方を矩形特徴１０１ａ〜１０１ｄに示す４パターンにし、かつ各小矩形領域の大きさを同じにしている。したがって、弱識別器Ｃ１〜Ｃｎを構成する顔認識アルゴリズムは、小ウィンドウに対して各矩形特徴１０１ａ〜１０１ｄの大きさと座標の２つを選択することができる。図２（Ｃ）には、小ウィンドウに適用する際の位置およびその大きさが異なる矩形特徴１０１ａ用の４つの識別パターン２００ａ〜２００ｄを例示している。ただしそれらの識別パターンの数は４つに限定されない。
【００３５】
矩形特徴１０１の識別パターン２００およびその数の設定では最も精度の高い顔認識ができるように固有の顔認識アルゴリズムが適用される。矩形特徴１０１ｂ〜１０１ｄについても同様に識別パターンを作成する。各識別パターンは、１つの弱識別器に割り当てられる。４つの矩形特徴１０１ａ〜１０１ｄからそれぞれ５個の識別パターンを作成すると全体で２０個の識別パターンを形成することができるため、２０段の弱識別器で構成された強識別器１００を作成することができる。
【００３６】
各弱識別器Ｃ１〜Ｃｎに割り当てる識別パターン２００は、所定の大きさの学習用画像を利用して決定することができる。学習用画像は複数の顔画像と複数の非顔画像で構成する。各学習用画像に対して識別パターンを適用して閾値の設定とエラー率の計算をする。入力された学習用画像に対してエラー率が最小となる識別パターンを１段目の弱識別器Ｃ１が使用する識別パターンとして決定する。各弱識別器Ｃ１〜ＣｎがＴと判断した学習用画像は正常認識をした顔画像と肯定的誤認識をした非顔画像を含む。
【００３７】
入力された顔画像の総数に対してＴと判断した顔画像の割合をα１〜αｎとし、入力された非顔画像の総数に対してＴと判断した非顔画像の割合をβ１〜βｎとする。β１〜βｎは、肯定的誤認識の確率に相当する。エラー率は肯定的誤認識の確率β１〜βｎで計算する。２段目の弱識別器Ｃ２が使用する識別パターンは、１段目の弱識別器Ｃ１を通過した学習用画像に対してエラー率が最小となるように決定する。以後同様の手順を繰り返し、ｎ個の弱識別器が直列に追加される。
【００３８】
つぎに、このようにして作成した強識別器１００を、年齢、性別、人種、眼鏡の着用、髪型、および髪の色などのようなコンピュータ１０を使用する可能性のある人物の特徴を網羅するように選択した複数の顔画像（サンプル画像）に適用する。一例としてサンプル画像はすべてカメラの正面方向を向いている正面顔とする。各識別器Ｃ１〜Ｃｎについて、顔（Ｔ）と認識したサンプル画像の数を前段の弱識別器から受け取ったサンプル画像の数で除した値を顔認識確率γ１〜γｎとして各弱識別器Ｃ１〜Ｃｎに割り当てる。
【００３９】
図３は、各弱識別器Ｃ１〜Ｃｎに顔認識確率γ１〜γｎが割り当てられた強識別器２５０の構成を示す図である。図４は、カメラ・モジュール１１が撮影した認識対象の画像１５１から強識別器２５０が顔認識強度絶対値を計算する手順を説明する図である。画像１５１の解像度は、一例として３２０×２４０ピクセルである。顔認識部１５は、画像１５１の画素領域を同一サイズの１６個の小ウィンドウ１５５に分割して各小ウィンドウに順番に強識別器２５０を適用する。
【００４０】
小ウィンドウ１５５のサイズは、認識可能な顔のサイズを踏まえた最小サイズ（例えば、画像の解像度から勘案して３２×３２ピクセル）から、画像１５１全体を１つの小ウィンドウとする最大サイズまで設定することができる。図４には、小ウィンドウ１５５が画像１５１を平面的に２０個に分割するように示しているが、強識別器２５０を適用する際の各小ウィンドウ１５５は、画像１５１の全体に渡って１ピクセルまたは数ピクセルの単位でシフトしながら重なり合うように位置決めされる。したがって、１ピクセル単位で上下左右方向にずらす場合の３２×３２ピクセルの小ウィンドウの数は、左右方向が２８９個で上下方向が２０９個となって全体で６０４０１個となる。
【００４１】
小ウィンドウ１５５のサイズは、順次増大させることができる。小ウィンドウ１５５のサイズが順次大きくなるにしたがって、それぞれのサイズにおける小ウィンドウ１５５の画像１５１上での組み合わせの合計数は減って行き、最後は画像１５１の全体が１つの小ウィンドウとなる。小ウィンドウ１５５のサイズを最小サイズから順次大きくしていく際のピクセルの数は必ずしも１ピクセルにする必要はなく、一例では一次元で１．２５倍ずつ増加させる。
【００４２】
さらに、小ウィンドウ１５５のサイズからみた相対的なずれ量を勘案すれば、小ウィンドウ１５５のサイズに対応させてシフトさせるピクセルの数も変更することができる。例えば、小ウィンドウ１５５のサイズが最小サイズの２倍程度になったらシフトさせるピクセル数を１ピクセルから２ピクセルに増加させたり、さらに大きくなったときには同様に小ウィンドウのサイズに対するシフト量を勘案して相対的に同等となるピクセル数に増加させたりすれば、小ウィンドウの位置取りの組み合わせの増大を軽減できる。
【００４３】
各弱識別器Ｃ１〜Ｃｎ−１は画像１５１上の様々な座標に位置する様々なサイズの小ウィンドウ１５５について、識別パターン２００を適用して階調値の差分を順番に計算していずれかの小ウィンドウ１５５でＴと判定した場合は次段の弱識別器に処理を渡す。いずれの小ウィンドウ１５５でもＦと判定した場合はその時点で処理を終了する。画像１５１が最終段の弱識別器Ｃｎを通過したときも処理を終了する。引き続き、小ウィンドウ１５５のサイズを順次大きくしながら各弱識別器Ｃ１〜Ｃｎ−１は同様に様々な座標に位置する小ウィンドウ１５５について識別パターン２００を適用して行く。それぞれの判定・通過処理が終了すると顔認識部１５は顔認識強度絶対値を計算する。
【００４４】
最後に小ウィンドウ１５５のサイズが画像１５１のサイズになって、その判定・通過処理が終了したときが全体の処理が終了したときになる。各小ウィンドウの顔認識強度絶対値は、それが通過した各弱識別器が保有する顔認識確率の合計値として計算する。たとえば、弱識別器Ｃ４を通過した場合は顔認識強度絶対値は、弱識別器Ｃ１〜Ｃ４が保有する顔認識確率の合計としてγ１＋γ２＋γ３＋γ４で計算する。最終的に、すべての小ウィンドウ１５５が保持する顔認識強度絶対値の中で最大の値を持ち、かつそれが一定の閾値を超える小ウィンドウには、多くの場合そのサイズとその座標位置に対応して認識すべき顔画像が存在することになる。それが画像１５１で検出された顔認識強度絶対値となる。
【００４５】
顔認識強度絶対値は、画像データが１段目の弱識別器Ｃ１を通過しない場合にゼロとなり、最終段の弱識別器Ｃｎを通過したときに最大値になり、通過する弱識別器Ｃ１〜Ｃｎの数が多くなるほど大きな値になる。言い換えると、正面顔を基準にしたときには通過する弱識別器Ｃ１〜Ｃｎの数が多いほど顔らしい画像といえることになる。ただし、最終段の弱識別器ＣｎでＴと判断した場合にも最終結果には肯定的誤認識の確率は残る。
【００４６】
学習用画像とサンプル画像を正面顔にすると、顔認識強度絶対値は顔がカメラ・モジュール１１の正面方向を向いているときに最大値になり、上下方向、横方向または斜め方向を向いたり顔を手で覆ったりして画像データから正面顔の特徴情報が少なくなるほど小さくなる。強識別器２５０は、正面顔を最大値とし正面顔の特徴が少なくなるほど小さくなる顔認識強度絶対値を出力する。本実施の形態では、ユーザの顔の方向が正面方向に対するシフト量が大きくなるほど顔認識強度絶対値が小さくなる特質を利用してディスプレイ２５の正面方向に対する顔の方向を判断する。
【００４７】
［顔認識強度相対値］
顔認識強度絶対値には個人差があり、さらに、カメラ・モジュール１１が撮影した画像の輝度でも変化する。顔認識強度絶対値を利用してディスプレイ２５の動作を制御するときは、ユーザおよび撮影画像の輝度を限定することはできない。本実施の形態ではユーザの個人差および撮影画像の輝度が顔認識強度絶対値に与える影響を排除して、共通のアルゴリズムで顔の方向を認識できるようにするために顔認識強度絶対値を正規化する。
【００４８】
本実施の形態では、ユーザが意識的な操作をしないでも正規化を行えるようにしている。ユーザはノートＰＣ１０を使い始めるとディスプレイに表示されたオブジェクトに対してアクセスする。具体的にはユーザはディスプレイ２５に表示されたカーソルを移動させて目的のオブジェクトをクリックしたり、カーソルの位置に文字を入力したりする。
【００４９】
ほとんどの場合それらのオブジェクトにアクセスしているユーザはディスプレイ２５を注視しているため、そのタイミングでカメラ・モジュール１１が撮影した画像は、ユーザの正面顔であるとみなすことができる。ＧＵＩオブジェクト監視部１９は、所定の時間の間入力デバイス１３が生成した入力イベントを監視する。ＧＵＩオブジェクト監視部１９は、入力イベントに対応するウィンドウ・メッセージを捕捉して顔認識部１５に通知する。
【００５０】
カメラ・モジュール１１は、正規化の準備が終わるまで顔認識部１５から指示されたタイミングで画像データを転送する。顔認識部１５は、ウィンドウ・メッセージを受け取るたびに、カメラ・モジュール１１に指示して１フレームの画像データを取得する。顔認識部１５は、受け取った画像データから顔認識強度絶対値を計算する。ＧＵＩオブジェクト監視部１９が入力イベントを検出したタイミングで撮影した画像は正面顔であるため、計算した顔認識強度絶対値は強識別器２５０が当該ユーザに対して与える最大値に近い値となる。
【００５１】
顔認識部１５は、複数の入力イベントのタイミングでそれぞれ取得した画像データから顔認識強度絶対値を計算し、さらに平均値を計算する。さらに顔認識部１５は、各画像データから画像１５１全体の平均輝度値および顔領域の平均輝度値を計算し、さらに各画像についてのそれらの平均輝度値を計算する。平均輝度値を計算する顔領域は、画像１５１の中で最大の顔認識強度絶対値が得られたサイズと座標を持つ小ウィンドウ１５５の領域とすることができる。なお、以下の説明では登録された顔認識強度絶対値の平均値を単に顔認識強度絶対値といい、画像全体の平均輝度値または顔領域の平均輝度値を単に輝度値という。顔認識部１５は、顔認識強度絶対値と輝度値を組にして顔画像データ登録部１７に記録する。この時点で正規化の準備が終了し、以後、カメラ・モジュール１１は顔認識部１５に定期的に画像データを転送する。
【００５２】
なお、ノートＰＣ１０を使用するユーザを撮影した画像の輝度値は時間経過とともに変化する。顔認識部１５は、ノートＰＣ１０の電源が入ってから停止するまでの間に随時、輝度値が所定値以上変化したとき、または肯定的誤認識が発生したときに入力デバイス１３が入力イベントを生成したタイミングで顔認識強度絶対値と輝度値を顔画像データ登録部１７に登録する。顔認識部１５は、顔画像データ登録部１７に登録した顔認識強度絶対値で、顔の方向を認識する対象となる画像１５１から計算した顔認識強度絶対値を除することで正規化する。このとき、認識対象の画像１５１から計算した顔認識強度絶対値に対応する輝度値に最も近い輝度値と組にして登録した顔認識強度絶対値を正規化に使用する。この除法によって得られた商を顔認識強度相対値とする。
【００５３】
顔画像データ登録部１７に登録した顔認識強度絶対値と輝度値の組は、ノートＰＣ１０がパワー・オフ状態のときに消去される。顔認識部１５は、ノートＰＣ１０がパワー・オン状態になるたびに入力イベントのタイミングで顔認識強度絶対値と輝度値の組を新規に顔画像データ登録部に格納する。なお、ノートＰＣ１０を同一のユーザが使用する場合は、顔認識強度絶対値を消去しないで次回以降の電力制御に使用するようにしてもよい。
【００５４】
図５は、顔の方向に対して顔認識強度相対値が変化する様子を模式的に示した図である。図５の横軸は垂直軸を中心にして横方向に回転するユーザの顔の角度で縦軸は顔認識強度相対値である。角度がゼロの位置では、ユーザが顔をディスプレイ２５の正面方向に向けており顔認識強度相対値Ｐは最大値を示す。角度ゼロの方向から顔が左右いずれの方向に向いても顔認識強度相対値は低下する。θ＜絶対値（±θ１）はユーザがディスプレイ２５に視線を向けていると判断する範囲Ｘを示している。範囲Ｘの方向を向いている顔を正面顔という。なお、ここで言う視線とは眼球自体の向きではなく顔自体の向きとする。
【００５５】
絶対値（±θ１）≦θ＜絶対値（±θ２）は、ディスプレイ２５の前にユーザの顔は存在するが、ディスプレイ２５から視線を離していると判断する範囲Ｙを示している。範囲Ｙの方向を向いている顔を斜め顔ということにする。θ≧絶対値（±θ２）は、ユーザがカメラ・モジュール１１の前に存在しないかまたは完全に横を向いたり後ろを向いたりしているため顔認識強度相対値が非常に小さく、顔であると判断しない範囲Ｚを示している。範囲Ｚの方向を向いている顔を、顔が不存在の場合も含めて非顔という。
【００５６】
これまで顔認識強度相対値をViola-Jones法を利用して計算する方法を説明してきたが本発明はこれに限定されるものではない。したがって、カスケード接続する弱識別器の矩形特徴は、図２（Ｂ）の４つのパターンに限定する必要はない。以下に説明するように、肯定的誤認識の確率を低減するためには、正面顔から斜め顔に遷移するときの単位時間当たりの顔認識強度相対値の変化量は小さいことが望ましい。
【００５７】
いいかえると、正面顔から斜め顔になだらかなカーブで変化すると、肯定的誤認識の確率を低減し易い。したがって、顔認識強度相対値の変化がなだらかになるように各弱識別器の顔認識確率γ１〜γｎを選択したり識別パターン２００を選択したりすることができる。本発明は、アナログ値である顔らしさを数値化できる他の認識手法または顔らしさを示す情報を顔の方向を示す情報として利用できる他の認識手法を採用することもできる。
【００５８】
一例としては、眉毛、耳、目、口の両端などの顔の左右方向の両端または上下方向の両端を画定する主要パーツを結ぶ距離の比率がそれぞれ、正面顔の基準値と比べて近似している程度を判断する。そして、注目するパーツ毎に重み付けしながら加重配点をしておいて、それらの注目ポイント毎の得点の合計点から顔認識強度絶対値および顔認識強度相対値を計算することもできる。また、幾つかの認識手法の組み合わせによって得られる顔認識強度相対値を使って、それらの手法の確度の高い部分を活かすことにより、より誤りの低い手法を生み出すこともできる。
【００５９】
［肯定的誤認識の抑制］
顔の方向を検出してバックライト２６の動作を制御する場合は、ユーザが正面を向いてディスプレイ２５を注視しているにもかかわらず、範囲Ｙまたは範囲Ｚの方向を向いていると認識する（よそ見をしていないのによそ見をしている）肯定的誤認識の確率を低減しないと実用に供することは困難である。つぎに、肯定的誤認識の確率を低減する手順を説明する。図６は、顔の方向を認識する際に肯定的誤認識の確率を低減する方法を説明する図である。図６は、カメラ・モジュール１１から一定のフレーム・レートで受け取った画像データのそれぞれから計算した顔認識強度相対値を時間毎にプロットしている。図６（Ａ）〜（Ｃ）にはそれぞれの画像データから計算した顔認識強度相対値の実測値と直近の過去２個の実測値を含めた３個の実測値から計算した移動平均値をプロットしている。
【００６０】
図６（Ａ）〜（Ｃ）において実測値のマークは白抜きにし、移動平均値のマークは塗りつぶしにしている。移動平均値は、個々の実測値のバラツキを排除して肯定的誤認識の確率を一層減らすことを目的にしている。図６（Ａ）はユーザが正面方向から自然に横方向を向くときの様子を示し、図６（Ｂ）は、ユーザが正面方向を向きながら顔の一部に手を当てたときの様子を示し、図６（Ｃ）はユーザが突然立ち上がってカメラ・モジュール１１に顔が写らなくなった様子を示している。閾値Ｗ１は正面顔と斜め顔の境界である図５の角度±θ１に対応する。閾値Ｗ２は斜め顔と非顔の境界である図５の角度±θ２に対応する。
【００６１】
図７は、カメラ・モジュール１１が撮影した画像が、正面顔（範囲Ｘ）、斜め顔（範囲Ｙ）、非顔（範囲Ｚ）のいずれであるかを顔認識部１５が判定する手順を示すフローチャートである。以下の手順において顔認識部１５は、カメラ・モジュール１１から定期的に受け取った画像データから顔認識強度相対値を計算し、肯定的誤認識の確率を低減しながら顔の向きが３つのいずれであるかを判定する。ブロック３０１では、顔認識部３０１がカメラ・モジュール１１から１フレームの画像データを取得し、ブロック３０３で顔認識強度相対値の実測値と移動平均値を計算する。
【００６２】
ブロック３０５では、一例としてフレーム転送周期の３倍をΔｔとし、３個前の移動平均値と当該時刻の移動平均値の差をΔＰとして、単位時間Δｔ当たりの顔認識強度相対値Ｐの変化量ΔＰ／Δｔを計算する。変化量ΔＰ／Δｔが所定値を越えているときはブロック３０７に移行して今回の顔認識強度相対値を破棄し顔の方向を判断するデータには使用しないでブロック３０１に戻る。顔認識強度相対値の大きさから顔の方向を判断するときに発生する肯定的誤認識の主要な要因として、前述のようにユーザが顔の一部に手を当てることにより顔認識強度相対値が低下することが挙げられる。ユーザが顔の一部に手を当てながらディスプレイ２５を見て考え込んでいるような場合は、画像に顔らしさが残っているので顔認識強度相対値が範囲Ｙに入ることがあるが、バックライト２６を消灯することは望ましくない。
【００６３】
本実施の形態では、顔に手を当てたり、急に立ち上がってカメラ・モジュール１１が顔を撮影しなくなったりしたときには、首を回して顔の方向を変えたときに比べて顔認識強度相対値が低下する時間が短いことに着目して肯定的誤認識の確率を低減する。顔認識部１５は、ΔＰ／Δｔが所定値よりも小さいときは今回の顔認識強度相対値の変化は有効であると判断してブロック３０９に移行する。ブロック３０５の判断では、顔認識部１５は図６（Ａ）の移動平均値１７１に対応する顔認識強度相対値の変化量を顔の方向を判断するデータとして採用し、図６（Ｂ）の移動平均値１７３および図６（Ｃ）の移動平均値１７５に対応する顔認識強度相対値の変化量は破棄する。
【００６４】
つまり、急激な変化に対して後述する図９における状態遷移を引き起こさないようにしていることになる。肯定的誤認識の発生を伴うことが多い急激な変化に反応しないことで、その発生自体を防いでいることになる。但し、この手法では首を急激に回してのよそ見をする場合に、それを正当なよそ見として認識しないことになる。しかし、通常のユーザの行動に基づいて、そのような急激に回転する頻度は顔に無意識に手を当てて顔認識強度相対値が急激に変化する場合の発生頻度に比べて充分小さいという判断によって正当化される。確かに、首を急激に回すような通常のよそ見から少し外れた動作をよそ見として認識しないことで後述する省電力の機会の損失に繋がるが、その発生頻度から勘案してその損失よりも肯定的誤認識の低減によって得られるメリットは充分大きい。
【００６５】
ブロック３０９では、今回の移動平均値ＰがＰ＞Ｗ１か否かを判断する。今回の移動平均値１７７のように変化量ΔＰ／Δｔは閾値以下でかつＰ＞Ｗ１のときはブロック３１１に移行して顔認識部１５は顔の向きが範囲Ｘの方向であると判断してブロック３０１でつぎの画像データを待つ。今回の移動平均値ＰがＰ＞Ｗ１でないときはブロック３１３に移行して、今回の移動平均値ＰがＷ２＜Ｐ≦Ｗ１か否かを判断する。
【００６６】
今回の移動平均値１７９のように変化量ΔＰ／Δｔは閾値以下でかつＷ２＜Ｐ≦Ｗ１のときはブロック３１５に移行して顔認識部１５は顔の向きが範囲Ｙの方向であると判断してブロック３０１でつぎの画像データを待つ。今回の移動平均値１８１のように変化量ΔＰ／Δｔは閾値以下でかつＰ≦Ｗ２のときはブロック３１７に移行して、顔認識部１５は顔の向きが範囲Ｚの方向であると判断してブロック３０１でつぎの画像データを待つ。
【００６７】
［電力制御の手順］
図８は、顔の方向を判断してバックライト２６の動作を制御する手順を示すフローチャートで、図９はそのときの状態遷移図である。図９で各ステートまたはステート間の遷移に記載した番号は、図８のブロックの番号に対応している。図９において、ステート４５１はバックライト２６が点灯した状態を示している。この状態は、顔認識部１５がカメラ・モジュール１１から受け取った画像データから計算した顔認識強度相対値が範囲Ｘに入ると認識した状態に対応する。ステート４５１では、ユーザの顔の方向がディスプレイ２５の正面方向であると認識している状態なのでバックライト２６は点灯する。
【００６８】
ステート４５３は、顔認識部１５が顔認識強度相対値は範囲Ｚに入っていると認識した状態を示しているが、ユーザがノートＰＣ１０の前にいて入力デバイス１３を操作しているため、ディスプレイ２５のバックライト２６は点灯している。ステート４５３は、顔認識部１５が非顔を検出しても、現実にユーザが入力デバイス１３を操作している事実を優先させてバックライト２６を点灯させるために設定している。ステート４５３は、ユーザがカメラ・モジュール１１の撮影範囲からはずれた不自然な位置でノートＰＣ１０を操作したような場合に発生する。
【００６９】
ステート４５５は、顔認識部１５が顔認識強度相対値は範囲Ｙに入っていると認識した状態を示している。ステート４５５では、ユーザの顔の方向がディスプレイ２５の正面方向から逸れているので、バックライト２６は消灯している。ステート４５７は顔認識部１５が顔認識強度相対値は範囲Ｚに入っていると認識したがステート４５３とは異なって入力デバイス１３からの入力がないためユーザがノートＰＣ１０の前に存在しないと判断してバックライト２６が消灯する。
【００７０】
ステート４５９は、顔認識部１５が顔認識強度相対値から顔の方向が範囲Ｙ（ステート４５５）または範囲Ｚ（ステート４５７）に入っていると判断してバックライト２６が消灯したときに、ユーザが入力デバイス１３を操作する状態を示している。顔認識強度相対値により消灯したバックライト２６は、入力デバイス１３の操作があると点灯する。一般に、肯定的誤認識が発生（よそ見をしていないのによそ見をしていると誤認識）すると、ステート４５１からステート４５５または４５７に誤って遷移してしまい、バックライトがオフにされてしまう。その誤認識に基づく操作に反応してユーザがバックライト２６の再点灯を期待しながら入力デバイス１３からの入力を行うと、このステート４５９への遷移が引き続き発生する。
【００７１】
図８においてブロック４０１でノートＰＣ１０の電源が投入されてデバイスが動作し始めると、ディスプレイ２５のバックライト２６が点灯する。ユーザが入力デバイス１３を操作するたびに、顔認識部１５はＧＵＩオブジェクト監視部１９と協働して顔認識強度絶対値と輝度値の組を顔画像データ登録部１７に登録する。登録された顔認識強度絶対値は、当該ユーザにとって当該輝度値では最大値またはそれに近い値になる。ブロック４０２で顔認識部１５はカメラ・モジュール１１から取得した画像データについて計算した顔認識強度絶対値を登録した顔認識強度絶対値で正規化して顔認識強度相対値を計算しさらに移動平均値を計算する。
【００７２】
ブロック４０３では、顔認識部１５がカメラ・モジュール１１から受け取った１フレームの画像データについて、図７に示した手順で処理をしてディスプレイ２５の正面方向に対する顔の方向を判断する。顔認識部１５が顔認識強度相対値は範囲Ｚに入っているため非顔を認識したときは、ブロック４２１に移行する。ブロック４２１では、入力デバイス監視部２１が入力デバイス１３の入力イベントを監視し、さらにブロック４２３で顔認識部１５は入力イベントが発生する時間間隔を監視する。
【００７３】
入力デバイス監視部２１は入力イベントを検出するたびに顔認識部１５に通知する。ブロック４２１、４２３において顔認識部１５は、所定の時間間隔以内に入力イベントを受け取っている限りはブロック４０２に戻って新たな顔認識強度絶対値の計算をするがバックライト２６の点灯は維持する。この手順は、顔認識部１５が非顔と判断した場合でも、ユーザがカメラ・モジュール１１の撮影範囲から外れた不自然な姿勢や一時的によそ見した姿勢のままで入力デバイス１３を操作している場合にはバックライト２６を消灯しないための処理に相当する。
【００７４】
ブロック４２３で顔認識部１５が入力デバイス監視部２１から所定の時間の間入力イベントを受け取らない場合は、ブロック４０７に移行して顔認識部１５は電力制御部２３にバックライト２６を消灯するように指示する。ブロック４０７では、指示を受け取った電力制御部２３がバックライト２６を消灯する。この手順は、顔認識部１５が非顔を検出した判断が正確であることに応じた処理に相当する。ブロック４２１からブロック４０２に移行したときは、認識精度が低下した可能性があるので顔認識部１５は顔画像データ登録部１７に新たに顔認識強度絶対値と輝度値の組を登録してそれ以降に処理する画像データの正規化に使用することもできる。
【００７５】
ブロック４０３に戻って顔認識部１５が顔認識強度相対値は範囲Ｚに入っていない、すなわち範囲Ｘまたは範囲Ｙに入っていると認識したときは、ブロック４０５に移行する。ブロック４０５で顔認識部１５が顔認識強度相対値は範囲Ｘに入っていると認識したときはブロック４０２に戻る。この手順は、顔認識部２５が今回の画像データは正面顔を含むと認識した場合は、バックライト２６の点灯を維持する処理に相当し、ステート４５１に留まっていることを意味する。
【００７６】
ブロック４０５で顔認識部１５が、顔認識強度相対値は範囲Ｙに入っていると認識したときはブロック４０７に移行する。この手順は、顔認識部１５が今回の画像データは斜め顔を含むと判断した場合は、使用する必要がないディスプレイ２５のバックライト２６を消灯する処理に相当する。本実施の形態では、ブロック４０３〜４０７およびブロック４２１、４２３の手順として示すように、顔認識部１５が斜め顔を認識した場合および顔認識部１５が非顔を認識しかつ入力デバイス１３の入力イベントの監視を通じてユーザが存在しないことを確認した場合に限りバックライト２６を消灯する。
【００７７】
ブロック４０７に続くブロック４０８では、バックライト２６が消灯したあとも顔認識部１５は新たな画像データを受け取って顔の方向を認識し、入力デバイス監視部２１が入力イベントの検出動作を継続している。ブロック４０９で入力イベントを検出したときは、入力デバイス監視部２１が対応するウィンドウ・メッセージを顔認識部１５に通知してブロック４３１に移行する。ブロック４３１では、顔認識部１５が電力制御部２３に指示してバックライト２６を点灯する。この手順は、ブロック４０８で顔の方向がいずれであっても入力デバイス１３が操作された場合には、ユーザがディスプレイ２５を必要としていると判断してディスプレイ２５を使用できるようにすることを示している。
【００７８】
ユーザは通常ディスプレイ２５を注視しながら入力デバイス１３を操作するため、ブロック４０９からブロック４３１への遷移が範囲Ｙまたは範囲Ｚと認識したときに行われると、顔認識部１５の精度が十分でなくブロック４０８で顔認識部１５が肯定的誤認識をした可能性が高いといえる。言い換えると、ユーザは、ディスプレイを注視しているときにバックライト２６が消えると、ただちに、入力デバイス１３を操作してバックライトを点灯させる。
【００７９】
図６および図７を参照して説明したように、顔認識部１５は肯定的誤認識を抑制するアルゴリズムを組み込んでいるが、顔画像データ登録部１７に登録した顔認識強度絶対値に対応する輝度値と認識中に取得した画像データの輝度値との差が大きくなったり、登録時のユーザが変わったりしたときには認識精度が低下することがある。そのような原因によって肯定的誤認識が発生したときは、ユーザの作業性を優先させてブロック４３１でバックライト２６を点灯する。この動作は図９においてステート４５５または４５７からステート４５９へ遷移することに対応する。
【００８０】
ブロック４３１に続くブロック４３３では、顔認識部１５は、一定時間連続して範囲Ｘを認識したか否かを判断する。一定時間連続してユーザがディスプレイ２５の正面方向を向いていると認識したときは認識の精度が安定していると判断してブロック４０２に戻る。この場合、顔画像データ登録部１７に新たに顔認識強度絶対値と輝度値の組を登録して新たに取得した画像データの正規化に使用することで認識精度を向上させることができる。一方、ブロック４０９でユーザにより入力デバイス１３が操作されたにもかかわらずブロック４３３で所定の時間以内に範囲Ｙまたは範囲Ｚを認識してしまうときは、肯定的誤認識（よそ見していないのによそ見していると誤って判断）が継続していると判断してバックライト２６の点灯を維持する。
【００８１】
ブロック４０９で入力デバイス１３の操作がないときは、ブロック４１１に移行して顔認識部１５は、受け取った画像データから計算した顔認識強度相対値が範囲Ｘに入っているか否かを判断する。顔認識部１５が顔認識強度相対値は範囲Ｘに入っていると認識したときはブロック４１３に移行する。ブロック４１３では顔認識部１５は、電力制御部２３に指示してバックライト２６を点灯し、ブロック４０２に戻る。ブロック４１１で顔認識部１５は、顔認識強度相対値が範囲Ｙまたは範囲Ｚに入っていると認識しているときはバックライト２６の消灯を維持してブロック４０８で新たな画像データについて顔の認識処理をする。
【００８２】
これまでの手順では、ユーザがディスプレイ２５を見ていないときに、バックライト２６を消灯させることで消費電力を低減する方法を説明したが、本発明における消費電力の低減はバックライト２６の制御に限るものではない。本発明はユーザがディスプレイ２６を見ていないときにパフォーマンスを低下させることができるＣＰＵおよびＧＰＵのクロックや電圧をバックライト２６の制御と同時にまたは独立して制御するようにしてもよい。
【００８３】
また、本実施の形態では、肯定的誤認識を抑制した顔方向の認識により省電力を実現する方法を説明しているが、顔認識部１５はよそ見をしているのによそ見をしていない（斜め顔または非顔を検出したにもかかわらず正面顔と判断する）いわゆる否定的誤認識（false negative）をすることもある。しかし、否定的誤認識の場合は、本来省電力できるにもかかわらずできなかったという機会損失をもたらすだけで、誤った操作を実施してユーザを不快にしてしまうような致命的な問題に結びつく心配はない。省電力効果は全体として電力低減が図れればよい性質のものである。
【００８４】
これまで、基準方向をカメラ・モジュール１１の正面方向とする正面顔の顔認識強度絶対値が最大値となるような強識別器２５０について説明したが、本発明は基準方向が正面方向から所定の角度だけ右方向を向いた斜め顔と左方向を向いた斜め顔の顔認識強度絶対値が最大値となる強識別器、または、それに加えて正面顔の顔認識強度絶対値も最大値となる強識別器を構成することもできる。図１０は、正面顔と２つの斜め顔がそれぞれ最大になる顔認識強度絶対値を出力する強識別器５００の構成を説明する図である。
【００８５】
強識別器５００は、３つの強識別器５０１、５０３、５０５および比較器５０７で構成されている。各強識別器５０１〜５０５は、図３の強識別器２５０と同じようにカスケード接続された複数の弱識別器で構成されている。強識別器５０１は、角度θ１だけ左方向を向いたときに最大の顔認識強度絶対値を出力するように構成されている。強識別器５０３は強識別器２５０と同じ構成で正面方向を向いたときに最大の顔認識強度絶対値を出力するように構成されている。強識別器５０５は、角度θ１だけ右方向を向いたときに最大の顔認識強度絶対値を出力するように構成されている。
【００８６】
角度±θ１は、正面顔と斜め顔の境界を示す角度とすることができる。強識別器５０１、５０５は、それぞれ左方向の斜め顔または右方向の斜め顔の画像データについて最大の顔認識強度絶対値を出力するように矩形特徴および識別パターンが選択されている。そして、学習用画像およびサンプル画像にも左方向および右方向の斜め顔を使用する。
【００８７】
強識別器５００に入力された１フレームの画像データは、常に３つの強識別器５０１〜５０５が並行して処理をする。比較器５０７は、３つの強識別器５０１〜５０５が出力する顔認識強度絶対値Ｓ１〜Ｓ５を比較して、最大の値顔認識強度絶対値Ｐｚを出力する。この場合の顔認識強度絶対値Ｐｚの特性は図１０（Ｂ）のように３個のピークを有する。比較器５０７は、範囲Ａで強識別器５０３の出力を選択し、範囲Ｂで強識別器５０１の出力を選択し、範囲Ｃで強識別器５０５の出力を選択する。強識別器５０１、５０５がθ＞絶対値（±θ２）に対応する認識強度絶対値を検出したときは非顔と判断することができる。
【００８８】
顔画像データ登録部１７には、ユーザが正面方向を向いたときの顔認識強度絶対値が最大値として格納されているが、同一の光の条件で同一のユーザの場合には、指定の角度での左右方向、及び正面方向を向いたときにそれぞれの強識別器から得られる顔認識強度絶対値はほぼ同程度になるように設計してあるため、正面向きで登録された顔認識強度絶対値で左右方向も含めたすべてのケースを含む顔認識強度絶対値Ｐｚを正規化する。このような特性を備える強識別器５００は、正面顔と斜め顔の境界でも顔認識強度絶対値がピーク値を有するため、より高い精度で正面顔と斜め顔を区別することができる。
【００８９】
他の例では、顔の左右方向に指向性を有する２つの強識別器と、上下方向に指向性を有する２つの強識別器の４つの強識別器を並列に接続してそれぞれの出力を比較器に接続した強識別器を構成することができる。この場合の顔認識強度絶対値の特性を図１１に示す。左右方向では角度±θ１が正面顔と横方向の斜め顔の境界を示し、上下方向では角度±θ３が正面顔と上下方向の斜め顔の境界を示す。そして、いずれかの強識別器の出力は、ディスプレイの動作を停止するために利用するのではなく、ディスプレイの動作を維持するために使用することもできる。
【００９０】
たとえば、机上の書類とディスプレイの画面を頻繁に見比べながら作業を進める場合には、顔を机上面に向けたときにディスプレイを停止したくない場合がある。このとき、比較器が下方向を向いた斜め顔に指向性を有する強識別器の顔認識強度絶対値を採用した場合には、他の強識別器の出力にかかわらずディスプレイの動作を継続するようにすれば、机上面方向とディスプレイの正面方向の間での顔の動きに対してはディスプレイの省電力制御をしないようにすることができる。
【００９１】
本発明の消費電力の低減方法は、適用範囲をノートＰＣに限定するものではなく、ディスプレイを備え、カメラで使用者の顔を撮影して画像データを取得できるデスクトップ型パーソナル・コンピュータ、タブレット型コンピュータ、および現金自動支払機のような情報処理機器に広く適用することができる。また、カメラ・モジュールおよびディスプレイは、情報処理機器と物理的に結合されている必要はなく通信可能であればよい。
【００９２】
さらに、肯定的誤認識の確率を低減しながら顔の方向を認識する方法は、情報処理機器の消費電力の低減に利用できるだけでなく、車両や航空機を運転する乗務員が横を向いたときに注意を促すために利用したり、ディスプレイの画面に重要な情報が表示されたときに横を向いているユーザにディスプレイを見るように注意を促したりする分野にも適用することができる。
【００９３】
これまで本発明について図面に示した特定の実施の形態をもって説明してきたが、本発明は図面に示した実施の形態に限定されるものではなく、本発明の効果を奏する限り、これまで知られたいかなる構成であっても採用することができることはいうまでもないことである。
【符号の説明】
【００９４】
１０ ノートＰＣ
１００、２５０、５００ 強識別器
１０１、１０１ａ〜１０１ｄ 矩形特徴
１５１ 認識対象の画像
１５５ 小ウィンドウ
２００、２００ａ〜２００ｄ 識別パターン
Ｃ１〜Ｃｎ 弱識別器
Ｐ 顔認識強度相対値
Ｐｚ、Ｐｙ 顔認識強度絶対値
Ｓ１〜Ｓ５ 顔認識強度絶対値
【特許請求の範囲】
【請求項１】
カメラ・モジュールおよびディスプレイとの通信が可能な情報処理機器において消費電力を制御する方法であって、
前記情報処理機器がパワー・オン状態に遷移するステップと、
前記カメラ・モジュールから定期的に受け取った画像データから、前記情報処理機器が人物の顔の方向を判断するステップと、
顔の方向が前記ディスプレイの正面方向からシフトしていると判断したことに応答して、前記情報処理機器が前記パワー・オン状態からロー・パワー状態に遷移するステップと
を有する方法。
【請求項２】
前記顔の方向を判断するステップが、
各画像データから顔の方向が前記カメラ・モジュールの正面に対して所定の方向のときに最大値となり、前記所定の方向からシフトするに伴って低下する特性を備えた顔認識強度値を計算するステップを有する請求項１に記載の方法。
【請求項３】
各画像データについて今回の画像データと過去の画像データを比較して今回の画像データから計算した前記顔認識強度値の単位時間当たりの変化量が所定値を越えたか否かを判断するステップと、
前記所定値を越えた今回の画像データを顔の方向の判断対象から除外するステップと
を有する請求項２に記載の方法。
【請求項４】
前記顔認識強度値が最大となる所定の方向が前記ディスプレイの正面方向である請求項２または請求項３に記載の方法。
【請求項５】
前記顔の方向を判断するステップが、入力デバイスが入力イベントを生成するタイミングで前記カメラ・モジュールから受け取った画像データが示す顔の方向を正面顔に設定するステップを有する請求項４に記載の方法。
【請求項６】
前記顔認識強度値が最大となる所定の方向が前記ディスプレイの正面方向に対して所定の角度だけシフトした方向を含む請求項４に記載の方法。
【請求項７】
前記画像データから顔を認識しないときに入力デバイスが操作されたか否かを判断するステップと、
所定の時間以内に入力デバイスが操作されている間は前記パワー・オン状態を維持するステップと
を有する請求項１から請求項６のいずれかに記載の方法。
【請求項８】
前記ロー・パワー状態に遷移している間に入力デバイスが操作されたか否かを判断するステップと、
前記入力デバイスが操作されたと判断したときに前記パワー・オン状態に復帰するステップと
を有する請求項１から請求項７のいずれかに記載の方法。
【請求項９】
前記パワー・オン状態に復帰してから顔が所定時間連続して前記ディスプレイの正面方向を向いているか否かを判断するステップと、
顔が所定時間連続して前記ディスプレイの正面方向を向いていると判断しない間は前記パワー・オン状態を維持するステップと
を有する請求項８に記載の方法。
【請求項１０】
前記ロー・パワー状態に遷移している間に顔が前記ディスプレイの正面方向を向いているか否かを判断するステップと、
前記ディスプレイの正面方向を向いていると判断したときに前記ロー・パワー状態から前記パワー・オン状態に復帰するステップと
を有する請求項８または請求項９に記載の方法。
【請求項１１】
前記ロー・パワー状態が前記ディスプレイのバックライトが消灯した状態である請求項１から請求項１０のいずれかに記載の方法。
【請求項１２】
カメラから取得した画像データから前記カメラに対する顔の方向を判断する方法であって、
前記カメラから定期的に画像データを取得するステップと、
前記カメラに対する顔の方向が所定の方向のときに最大値となり、前記所定の方向からシフトするに伴って低下する特性を備えた顔認識強度値を各画像データから計算するステップと、
各画像データについて前記顔認識強度値の単位時間当たりの変化量が所定値以下であるか否かを判断するステップと、
前記変化量が所定値以下であると判断した前記画像データから計算した前記顔認識強度値と閾値を比較して顔の方向を判断するステップと
を有する方法。
【請求項１３】
前記顔認識強度値が、複数のピーク値を含む特性を備えている請求項１２に記載の方法。
【請求項１４】
前記顔認識強度値が、顔が左右方向に所定の角度だけ向いたときのピーク値と上下方向に所定の角度だけ向いたときのピーク値を含む請求項１３に記載の方法。
【請求項１５】
カメラ・モジュールとディスプレイとの通信が可能な情報処理機器であって、
前記カメラ・モジュールから定期的に受け取った画像データが前記ディスプレイに対する人物の顔の方向から正面顔、斜め顔、または非顔のいずれを含むかを判断する顔認識部と、
前記画像データが斜め顔または非顔を含むと判断した前記顔認識部の指示により前記ディスプレイの動作を停止する電力制御部と
を有する情報処理機器。
【請求項１６】
前記顔認識部は、カスケード接続されそれぞれ入力された画像データから顔を認識する確率で重み付けされた評価値を備える識別器を有し、前記画像データが通過する前記識別器の評価値から計算した顔認識強度値で顔の方向を判断する請求項１５に記載の情報処理機器。
【請求項１７】
前記顔認識部は、単位時間当たりの変化量が所定値以内の前記顔認識強度値だけを使用して顔の方向を判断する請求項１６に記載の情報処理機器。
【請求項１８】
ユーザが操作する入力デバイスと、
前記入力デバイスからの入力を検出して前記顔識別部に入力イベントを送る入力デバイス監視部とを有し、
前記顔認識部は、前記入力デバイス監視部から所定の時間以内に前記入力イベントを受け取っている間は、前記顔認識部が非顔を検出しても前記ロー・パワー状態への遷移を停止する請求項１５から請求項１７のいずれかに記載の情報処理機器。
【請求項１９】
前記顔認識部は、前記ディスプレイの動作が停止している間に正面顔を検出したときは前記ディスプレイを動作させる請求項１８に記載の情報処理機器。
【請求項２０】
前記顔認識部は、前記ディスプレイの動作が停止している間に前記入力デバイス監視部から前記入力イベントを受け取ったときは前記ディスプレイを動作させる請求項１８または請求項１９に記載の情報処理機器。
【請求項２１】
前記顔認識部は、前記情報処理機器が前記ディスプレイを動作させたあとに一定時間連続して正面顔を検出しない限り前記ディスプレイの動作を維持する請求項２０に記載の情報処理機器。
【請求項２２】
カメラ・モジュールおよびディスプレイとの通信が可能な顔方向認識装置であって、
前記カメラ・モジュールから所定のフレーム・レートで画像データを取得するデータ取得部と、
前記カメラ・モジュールに対する顔の方向が所定の方向のときに最大値となり、前記所定の方向からシフトするに伴って低下する特性を備えた顔認識強度値を各画像データから計算する顔認識強度値計算部と、
各画像データについて前記顔認識強度値の単位時間当たりの変化量を計算する変化量計算部と、
前記変化量が所定値以下であると判断した画像データから計算した前記顔認識強度値と閾値を比較して顔の方向を判断する判断部と、
を有する顔方向認識装置。
【請求項２３】
カメラ・モジュールとの通信が可能なコンピュータに、
前記カメラ・モジュールから所定のフレーム・レートで画像データを取得するステップと、
前記カメラ・モジュールに対する顔の方向が所定の方向のときに最大値となり、前記所定の方向からシフトするに伴って低下する特性を備えた顔認識強度値を各画像データから計算するステップと、
各画像データについて前記顔認識強度値の単位時間当たりの変化量を計算するステップと、
前記変化量が所定値以下であると判断した画像データから計算した前記顔認識強度値と閾値を比較して顔の方向を判断するステップと、
を有する処理を実行させるためのコンピュータ・プログラム。
【請求項１】
カメラ・モジュールおよびディスプレイとの通信が可能な情報処理機器において消費電力を制御する方法であって、
前記情報処理機器がパワー・オン状態に遷移するステップと、
前記カメラ・モジュールから定期的に受け取った画像データから、前記情報処理機器が人物の顔の方向を判断するステップと、
顔の方向が前記ディスプレイの正面方向からシフトしていると判断したことに応答して、前記情報処理機器が前記パワー・オン状態からロー・パワー状態に遷移するステップと
を有する方法。
【請求項２】
前記顔の方向を判断するステップが、
各画像データから顔の方向が前記カメラ・モジュールの正面に対して所定の方向のときに最大値となり、前記所定の方向からシフトするに伴って低下する特性を備えた顔認識強度値を計算するステップを有する請求項１に記載の方法。
【請求項３】
各画像データについて今回の画像データと過去の画像データを比較して今回の画像データから計算した前記顔認識強度値の単位時間当たりの変化量が所定値を越えたか否かを判断するステップと、
前記所定値を越えた今回の画像データを顔の方向の判断対象から除外するステップと
を有する請求項２に記載の方法。
【請求項４】
前記顔認識強度値が最大となる所定の方向が前記ディスプレイの正面方向である請求項２または請求項３に記載の方法。
【請求項５】
前記顔の方向を判断するステップが、入力デバイスが入力イベントを生成するタイミングで前記カメラ・モジュールから受け取った画像データが示す顔の方向を正面顔に設定するステップを有する請求項４に記載の方法。
【請求項６】
前記顔認識強度値が最大となる所定の方向が前記ディスプレイの正面方向に対して所定の角度だけシフトした方向を含む請求項４に記載の方法。
【請求項７】
前記画像データから顔を認識しないときに入力デバイスが操作されたか否かを判断するステップと、
所定の時間以内に入力デバイスが操作されている間は前記パワー・オン状態を維持するステップと
を有する請求項１から請求項６のいずれかに記載の方法。
【請求項８】
前記ロー・パワー状態に遷移している間に入力デバイスが操作されたか否かを判断するステップと、
前記入力デバイスが操作されたと判断したときに前記パワー・オン状態に復帰するステップと
を有する請求項１から請求項７のいずれかに記載の方法。
【請求項９】
前記パワー・オン状態に復帰してから顔が所定時間連続して前記ディスプレイの正面方向を向いているか否かを判断するステップと、
顔が所定時間連続して前記ディスプレイの正面方向を向いていると判断しない間は前記パワー・オン状態を維持するステップと
を有する請求項８に記載の方法。
【請求項１０】
前記ロー・パワー状態に遷移している間に顔が前記ディスプレイの正面方向を向いているか否かを判断するステップと、
前記ディスプレイの正面方向を向いていると判断したときに前記ロー・パワー状態から前記パワー・オン状態に復帰するステップと
を有する請求項８または請求項９に記載の方法。
【請求項１１】
前記ロー・パワー状態が前記ディスプレイのバックライトが消灯した状態である請求項１から請求項１０のいずれかに記載の方法。
【請求項１２】
カメラから取得した画像データから前記カメラに対する顔の方向を判断する方法であって、
前記カメラから定期的に画像データを取得するステップと、
前記カメラに対する顔の方向が所定の方向のときに最大値となり、前記所定の方向からシフトするに伴って低下する特性を備えた顔認識強度値を各画像データから計算するステップと、
各画像データについて前記顔認識強度値の単位時間当たりの変化量が所定値以下であるか否かを判断するステップと、
前記変化量が所定値以下であると判断した前記画像データから計算した前記顔認識強度値と閾値を比較して顔の方向を判断するステップと
を有する方法。
【請求項１３】
前記顔認識強度値が、複数のピーク値を含む特性を備えている請求項１２に記載の方法。
【請求項１４】
前記顔認識強度値が、顔が左右方向に所定の角度だけ向いたときのピーク値と上下方向に所定の角度だけ向いたときのピーク値を含む請求項１３に記載の方法。
【請求項１５】
カメラ・モジュールとディスプレイとの通信が可能な情報処理機器であって、
前記カメラ・モジュールから定期的に受け取った画像データが前記ディスプレイに対する人物の顔の方向から正面顔、斜め顔、または非顔のいずれを含むかを判断する顔認識部と、
前記画像データが斜め顔または非顔を含むと判断した前記顔認識部の指示により前記ディスプレイの動作を停止する電力制御部と
を有する情報処理機器。
【請求項１６】
前記顔認識部は、カスケード接続されそれぞれ入力された画像データから顔を認識する確率で重み付けされた評価値を備える識別器を有し、前記画像データが通過する前記識別器の評価値から計算した顔認識強度値で顔の方向を判断する請求項１５に記載の情報処理機器。
【請求項１７】
前記顔認識部は、単位時間当たりの変化量が所定値以内の前記顔認識強度値だけを使用して顔の方向を判断する請求項１６に記載の情報処理機器。
【請求項１８】
ユーザが操作する入力デバイスと、
前記入力デバイスからの入力を検出して前記顔識別部に入力イベントを送る入力デバイス監視部とを有し、
前記顔認識部は、前記入力デバイス監視部から所定の時間以内に前記入力イベントを受け取っている間は、前記顔認識部が非顔を検出しても前記ロー・パワー状態への遷移を停止する請求項１５から請求項１７のいずれかに記載の情報処理機器。
【請求項１９】
前記顔認識部は、前記ディスプレイの動作が停止している間に正面顔を検出したときは前記ディスプレイを動作させる請求項１８に記載の情報処理機器。
【請求項２０】
前記顔認識部は、前記ディスプレイの動作が停止している間に前記入力デバイス監視部から前記入力イベントを受け取ったときは前記ディスプレイを動作させる請求項１８または請求項１９に記載の情報処理機器。
【請求項２１】
前記顔認識部は、前記情報処理機器が前記ディスプレイを動作させたあとに一定時間連続して正面顔を検出しない限り前記ディスプレイの動作を維持する請求項２０に記載の情報処理機器。
【請求項２２】
カメラ・モジュールおよびディスプレイとの通信が可能な顔方向認識装置であって、
前記カメラ・モジュールから所定のフレーム・レートで画像データを取得するデータ取得部と、
前記カメラ・モジュールに対する顔の方向が所定の方向のときに最大値となり、前記所定の方向からシフトするに伴って低下する特性を備えた顔認識強度値を各画像データから計算する顔認識強度値計算部と、
各画像データについて前記顔認識強度値の単位時間当たりの変化量を計算する変化量計算部と、
前記変化量が所定値以下であると判断した画像データから計算した前記顔認識強度値と閾値を比較して顔の方向を判断する判断部と、
を有する顔方向認識装置。
【請求項２３】
カメラ・モジュールとの通信が可能なコンピュータに、
前記カメラ・モジュールから所定のフレーム・レートで画像データを取得するステップと、
前記カメラ・モジュールに対する顔の方向が所定の方向のときに最大値となり、前記所定の方向からシフトするに伴って低下する特性を備えた顔認識強度値を各画像データから計算するステップと、
各画像データについて前記顔認識強度値の単位時間当たりの変化量を計算するステップと、
前記変化量が所定値以下であると判断した画像データから計算した前記顔認識強度値と閾値を比較して顔の方向を判断するステップと、
を有する処理を実行させるためのコンピュータ・プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【公開番号】特開２０１３−１０９４３０（Ｐ２０１３−１０９４３０Ａ）
【公開日】平成２５年６月６日（２０１３．６．６）
【国際特許分類】
【出願番号】特願２０１１−２５２１５３（Ｐ２０１１−２５２１５３）
【出願日】平成２３年１１月１８日（２０１１．１１．１８）
【出願人】（５０５２０５７３１）レノボ・シンガポール・プライベート・リミテッド (292)
【復代理人】
【識別番号】１００１０６６９９
【弁理士】
【氏名又は名称】渡部 弘道
【復代理人】
【識別番号】１０００７７５８４
【弁理士】
【氏名又は名称】守谷 一雄
【Ｆターム（参考）】
【公開日】平成２５年６月６日（２０１３．６．６）
【国際特許分類】
【出願日】平成２３年１１月１８日（２０１１．１１．１８）
【出願人】（５０５２０５７３１）レノボ・シンガポール・プライベート・リミテッド (292)
【復代理人】
【識別番号】１００１０６６９９
【弁理士】
【氏名又は名称】渡部 弘道
【復代理人】
【識別番号】１０００７７５８４
【弁理士】
【氏名又は名称】守谷 一雄
【Ｆターム（参考）】
[ Back to top ]