情報処理装置、情報処理方法、およびプログラム
【課題】ユーザに特定の表情を積極的に作らせることができるようにする。
【解決手段】冷蔵庫１１１に取り付けられた情報処理装置１は、冷蔵庫１１１の前にいるユーザを撮影し、撮影画像に写るユーザの表情を認識する。ユーザの表情が笑顔である場合、情報処理装置１は、アイコンを表示して表情に応じたフィードバックをユーザに与えるとともに、解錠状態にすることを指示する制御信号を電子錠１２２に出力し、扉１１１Ａを開け、冷蔵庫１１１を使用することをユーザに許可する。情報処理装置１は、ユーザが扉１１１Ａを閉めたときに、施錠状態にすることを指示する制御信号を電子錠１２２に出力し、扉１１１Ａを開けることを禁止する。本発明は、撮影機能を有する機器に適用することができる。
【解決手段】冷蔵庫１１１に取り付けられた情報処理装置１は、冷蔵庫１１１の前にいるユーザを撮影し、撮影画像に写るユーザの表情を認識する。ユーザの表情が笑顔である場合、情報処理装置１は、アイコンを表示して表情に応じたフィードバックをユーザに与えるとともに、解錠状態にすることを指示する制御信号を電子錠１２２に出力し、扉１１１Ａを開け、冷蔵庫１１１を使用することをユーザに許可する。情報処理装置１は、ユーザが扉１１１Ａを閉めたときに、施錠状態にすることを指示する制御信号を電子錠１２２に出力し、扉１１１Ａを開けることを禁止する。本発明は、撮影機能を有する機器に適用することができる。
【発明の詳細な説明】
【技術分野】
【０００１】
本技術は、情報処理装置、情報処理方法、およびプログラムに関し、特に、ユーザに特定の表情を積極的に作らせることができるようにした情報処理装置、情報処理方法、およびプログラムに関する。
【背景技術】
【０００２】
ウィリアム・ジェイムズの言説（非特許文献１）として知られているように、「人は幸福であるが故に笑うのではなく、笑うが故に幸福である」という考え方がある。最近の研究でもこの考え方を支持する知見が多く得られている。
【０００３】
例えば非特許文献２に開示されているKleinkeらの実験は、種々の表情（笑っている、悲しんでいる）の写真を被験者に見せ、「その写真と同じ表情をするように」と指示した被験者グループと、ただ写真を見ていた被験者グループとの間で感情に差が出るかどうかを検証するものである。この実験から、笑顔の写真を見て実際に笑顔を作る行為が、被験者の感情を明るくすることに寄与しているということが確認されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１０−３４６８６号公報
【特許文献２】特開２００９−２９０８１９号公報
【非特許文献】
【０００５】
【非特許文献１】James, W. (1950). The principles of psychology (Vol 2). New York: Dover Publications. (Original work published 1890)
【非特許文献２】Effects of Self-Generated Facial Expressions on Mood, Chris L. Kleinke, Thomas R. Peterson, and Thomas R. Rutledg, Journal of Personality and Social Psychology 1998, Vol. 74, No. 1,272 279
【発明の概要】
【発明が解決しようとする課題】
【０００６】
非特許文献２に開示されている上記実験は、人に笑顔を積極的に作らせることによって、その人の感情状態を向上させることができる可能性があることを示している。
【０００７】
本技術はこのような状況に鑑みてなされたものであり、ユーザに特定の表情を積極的に作らせることができるようにするものである。
【課題を解決するための手段】
【０００８】
本技術の一側面の情報処理装置は、撮影された画像に写るユーザの顔の表情を認識する認識部と、前記認識部により認識された表情が特定の表情である場合、前記ユーザによる機器の使用を許可するように前記機器を制御する制御部とを備える。
【０００９】
特定の表情は笑顔とすることができる。怒っている顔、泣き顔などの笑顔以外の表情を特定の表情とすることも可能である。ユーザに使用を許可する機器には、テレビジョン受像機、オーディオプレーヤ、パーソナルコンピュータ、掃除機、洗濯機、冷蔵庫などの電化製品だけでなく、扉、家具などの動作を制御する機器も含まれる。
【００１０】
前記ユーザの画像を撮影する撮影部をさらに設けることができる。この場合、前記認識部には、前記撮影部により撮影された前記画像に写る前記ユーザの顔の表情を認識させることができる。
【００１１】
前記認識部により前記特定の表情が認識された場合、前記特定の表情を表す情報を出力し、前記認識部により前記特定の表情ではない表情が認識された場合、前記特定の表情と異なる他の表情を表す情報を出力する出力部をさらに設けることができる。
【００１２】
特定の表情を表す情報として、例えば画像、音、光、振動を出力させることができる。特定の表情と異なる他の表情を表す情報としては、特定の表情を表す情報として出力される画像と異なる画像、特定の表情を表す情報として出力される音と異なる音を出力させることができる。また、特定の表情を表す情報として出力される光と異なる光、特定の表情を表す情報として出力される振動と異なる振動を出力させることができる。
【００１３】
前記制御部には、前記ユーザが前記機器の使用を終えた場合、前記ユーザによる前記機器の使用を不許可とするように前記機器を制御させることができる。
【００１４】
本技術においては、撮影された画像に写るユーザの顔の表情が認識され、認識された表情が特定の表情である場合、前記ユーザによる機器の使用を許可するように前記機器が制御される。
【発明の効果】
【００１５】
本技術によれば、ユーザに特定の表情を積極的に作らせることができる。
【図面の簡単な説明】
【００１６】
【図１】本技術の一実施形態に係る情報処理装置の外観の例を示す図である。
【図２】Smileアイコンの例を示す図である。
【図３】Sadアイコンの例を示す図である。
【図４】情報処理装置の使用例を示す図である。
【図５】鏡の前にいるユーザ側から見たアイコンの表示例を示す図である。
【図６】情報処理装置の内部の構成例を示すブロック図である。
【図７】情報処理装置の処理について説明するフローチャートである。
【図８】通信システムの構成例を示す図である。
【図９】図８の情報処理装置の構成例を示すブロック図である。
【図１０】Webサーバのハードウェア構成例を示すブロック図である。
【図１１】Webサーバの機能構成例を示すブロック図である。
【図１２】情報処理装置の処理について説明するフローチャートである。
【図１３】SNSサイトの画面の例を示す図である。
【図１４】情報処理装置の処理について説明するフローチャートである。
【図１５】カレンダーの画像の例を示す図である。
【図１６】制御対象機器を示す図である。
【図１７】制御対象機器である冷蔵庫の外観を示す図である。
【図１８】情報処理装置の処理について説明するフローチャートである。
【発明を実施するための形態】
【００１７】
以下、発明を実施するための形態について説明する。説明は以下の順序で行う。
１．第１の実施の形態（笑顔支援機能）
２．第２の実施の形態（笑顔カウント機能）
３．第３の実施の形態（笑顔ゲートウエイ機能）
【００１８】
＜第１の実施の形態＞
ユーザに対して、自身の顔の表情が笑顔であるか否かを気付かせ、笑顔でない場合には笑顔を作ることを支援する機能である笑顔支援機能について説明する。
【００１９】
［情報処理装置の外観］
図１は、本技術の一実施形態に係る情報処理装置の外観の例を示す図である。
【００２０】
図１の情報処理装置１は、ユーザが片手で把持可能な大きさの直方体形状の筐体を有する。情報処理装置１の筐体の正面にはレンズ１１と、所定の数のLED(Light Emitting Diode)から構成されるLEDマトリクス部１２が設けられる。図１の例においては、縦方向に８個、横方向に８個の計６４個のLEDが配列して設けられることによってLEDマトリクス部１２が構成される。LEDマトリクス部１２に代えて、LCD(Liquid Crystal Display)などのディスプレイが設けられるようにしてもよい。
【００２１】
情報処理装置１は、レンズ１１から取り込まれた光を光電変換することによって撮影を行い、撮影によって得られた画像に基づいて、被写体として写っているユーザの表情（顔の表情）を認識する。情報処理装置１は、ユーザの表情が笑顔であると認識した場合、LEDマトリクス部１２を構成する所定のLEDを発光させることによって、ユーザの表情が笑顔であることを表す情報であるSmileアイコンを表示する。
【００２２】
すなわち、情報処理装置１には笑顔の認識機能が搭載されている。情報処理装置１の撮影範囲にいるユーザの表情が笑顔であるか否かの判定が、撮影した画像に基づいてリアルタイムで繰り返し行われる。
【００２３】
一方、情報処理装置１は、ユーザの表情が笑顔ではないと認識した場合、LEDマトリクス部１２を構成する所定のLEDを発光させることによって、ユーザの表情が笑顔でないことを表すSadアイコンを表示する。
【００２４】
図２はSmileアイコンの例を示す図であり、図３はSadアイコンの例を示す図である。例えば１行目の１列目の位置にあるLEDをLED＃１１とし、LEDマトリクス部１２を構成する各LEDを“＃”とその位置（行、列）に応じた数字を付して説明する。
【００２５】
図２に示すように、Smileアイコンは、LED＃２３，＃２６，＃３３，＃３６，＃６１，＃６８，＃７２，＃７７，＃８３〜＃８６が発光することによって表示される。また、図３に示すように、Sadアイコンは、LED＃２３，＃２６，＃３２，＃３７，＃６３〜＃６６，＃７２，＃７７，＃８１，＃８８が発光することによって表示される。
【００２６】
情報処理装置１の前にいるユーザは、例えばSmileアイコンが表示されたのを確認することによって、自分が笑顔でいることを確認することができる。また、ユーザは、Sadアイコンが表示されたのを確認することによって、自分が笑顔以外の例えば怒っている表情や悲しい表情をしていることを確認し、笑顔を作ろうと意識することができる。
【００２７】
「人は幸福であるが故に笑うのではなく、笑うが故に幸福である」という考え方に立てば、ユーザに自分の表情を気付かせ、笑顔ではない場合には笑顔を意識的に作らせることによって、情報処理装置１は、ユーザの感情を明るくすることが可能になる。感情を明るく保つことはうつ病などの精神的な病気の予防や改善に繋がると考えられるから、ユーザの感情を明るくすることによって、ユーザの精神面での健康を向上させることも可能になる。
【００２８】
［情報処理装置の使用例］
図４は、情報処理装置１の使用例を示す図である。
【００２９】
図４の例においては、住宅などの建物内の壁面Ｗに鏡２１が取り付けられている。破線で示すように、情報処理装置１は、筐体の正面が壁面Ｗの前方を向くように鏡２１の裏側に取り付けられる。情報処理装置１の筐体正面が鏡面２１Ａに露出して取り付けられるようにしてもよい。
【００３０】
フレームによって囲まれる鏡面２１Ａはハーフミラーにより構成される。壁面Ｗの前方から鏡２１に入射する光は鏡面２１Ａによって反射するとともに、一部が鏡面２１Ａを透過し、情報処理装置１のレンズ１１により取り込まれる。また、鏡２１の裏側から鏡２１の表側（壁面Ｗの前方）に向かうLEDマトリクス部１２からの光は鏡面２１Ａを透過し、鏡面２１Ａ上に浮かび上がるようにSmileアイコンまたはSadアイコンを表示させる。
【００３１】
ユーザが身だしなみを整えるためなどに鏡２１の前に立ったとき、情報処理装置１は、鏡２１の前にいるユーザの表情を認識し、認識した表情に応じて、SmileアイコンまたはSadアイコンを表示する。ユーザは、鏡面２１Ａに浮かび上がるように表示されるSmileアイコンまたはSadアイコンを見て、自分の表情に気付くことになる。
【００３２】
図５は、鏡２１の前にいるユーザ側から見たアイコンの表示例を示す図である。図５の例においては、被写体Ｈであるユーザの上半身が鏡面２１Ａに写っており、その表情は笑顔である。情報処理装置１が裏側に取り付けられている鏡面２１Ａの位置にはSmileアイコンが表示される。図５のアイコンＩはSmileアイコンを表す。
【００３３】
このように、日常生活の中で顔を向けるような位置に情報処理装置１を設けることによって、ユーザは日頃から自分の表情を確認することになり、笑顔を作ることを習慣にすることができる。テレビジョン受像機やPC（パーソナルコンピュータ）のディスプレイの裏側に設けたり、建物内のドアに埋め込んだりするなど、情報処理装置１の設置位置は任意である。
【００３４】
［情報処理装置の内部構成］
図６は、情報処理装置１の内部の構成例を示すブロック図である。図６に示す構成のうちの少なくとも一部は、情報処理装置１に設けられるCPU(Central Processing Unit)により所定のプログラムが実行されることによって実現される。
【００３５】
情報処理装置１は、撮影部３１、認識部３２、および制御部３３から構成される。
【００３６】
撮影部３１はCCD(Charge Coupled Device)やCMOS(Complementary Metal Oxide Semiconductor)などの撮像素子より構成される。撮影部３１は、レンズ１１により取り込まれた光の光電変換を行い、光電変換により得られた信号にA/D変換などの各種の処理を施す。撮影部３１は、各種の処理を施すことによって得られた画像データを認識部３２に出力する。撮影部３１による撮影は繰り返し行われ、繰り返し行われることによって得られた画像データが認識部３２に順次供給される。
【００３７】
認識部３２は、撮影部３１により撮影された画像を解析し、被写体として画像に写るユーザの表情を認識する。認識部３２は認識結果を表す情報を制御部３３に出力する。また、認識部３２は、適宜、大笑い、ほほえみなどの笑顔の度合いを表す情報を出力する。
【００３８】
認識部３２には、笑顔が写っている画像を解析することによって得られた、目、鼻、口などの笑顔を構成する各部の特徴量を表す情報が認識用データとして予め与えられている。認識部３２は、撮影部３１により撮影された画像から輪郭検出などを行うことによってユーザの顔を検出し、目、鼻、口などの顔の各部の特徴量を抽出する。
【００３９】
また、認識部３２は、撮影画像から抽出した特徴量と、認識用データとして与えられている特徴量とを比較し、一致度が閾値以上である場合、ユーザの表情が笑顔であると認識する。一方、認識部３２は、撮影画像から抽出した特徴量と、認識用データとして与えられている特徴量との一致度が閾値未満である場合、ユーザの表情が笑顔ではないと認識する。すなわち、情報処理装置１において認識される笑顔は、撮影画像から抽出された顔の各部の特徴が、笑顔の認識機能の開発時などに笑顔が写っている画像として選択された顔画像から抽出された顔の特徴と閾値以上一致する表情である。
【００４０】
制御部３３は、認識部３２から供給された情報に基づいて、ユーザの表情が笑顔であると判定した場合、SmileアイコンをLEDマトリクス部１２に表示させる。認識部３２から供給された情報により表される笑顔の度合いに応じて、異なる種類のSmileアイコンが表示されるようにしてもよい。また、制御部３３は、ユーザの表情が笑顔でないと判定した場合、SadアイコンをLEDマトリクス部１２に表示させる。
【００４１】
制御部３３は、適宜、アイコンの表示に合わせて所定のメロディーを図示せぬスピーカから出力させる。Smileアイコンの表示に合わせて出力されるメロディーと、Sadアイコンの表示に合わせて出力されるメロディーとはそれぞれ異なるメロディーとされる。Smileアイコンの表示に合わせて出力されるメロディーとして、ユーザにより予め登録されたお気に入りの曲を用いるようにしてもよい。これにより、ユーザは自分の表情を音によっても確認することができるとともに、笑顔でいるときにはお気に入りの曲を聴いて、より気持ちを向上させることができる。
【００４２】
このように、顔認識結果を表すフィードバックとして、アイコンの表示だけでなく、メロディーの出力や振動の発生などの各種の方法を採用することができる。また、情報処理装置１に撮影部３１を設けないようにすることも可能である。この場合、例えば外部の装置により撮影された画像は、ユーザの表情の認識対象用の画像として情報処理装置１の認識部３２により取得される。認識部３２は、取得した画像に基づいてユーザの表情を認識し、制御部３３は表情に応じたフィードバックをユーザに与える処理を行う。
【００４３】
［情報処理装置の動作］
ここで、図７のフローチャートを参照して、アイコンの表示によってユーザに自身の表情を気付かせ、笑顔を作ることを支援する情報処理装置１の処理について説明する。
【００４４】
ステップＳ１において、撮影部３１は撮影を行う。
【００４５】
ステップＳ２において、認識部３２は、撮影部３１により撮影された画像を解析し、画像に写るユーザの表情を認識する。
【００４６】
ステップＳ３において、制御部３３は、認識部３２から供給された情報に基づいて、ユーザの表情が笑顔であるか否かを判定する。
【００４７】
ユーザの表情が笑顔であるとステップＳ３において判定した場合、ステップＳ４において、制御部３３は、SmileアイコンをLEDマトリクス部１２に表示させる。
【００４８】
一方、ユーザの表情が笑顔ではないとステップＳ３において判定した場合、ステップＳ５において、制御部３３は、SadアイコンをLEDマトリクス部１２に表示させる。
【００４９】
ステップＳ４においてSmileアイコンが表示された後、またはステップＳ５においてSadアイコンが表示された後、ステップＳ１に戻り、以上の処理が繰り返される。Sadアイコンの表示から自分が笑顔でないことを確認したユーザが意識的に笑顔を作った場合、LEDマトリクス部１２の表示はSadアイコンからSmileアイコンに切り替わることになる。
【００５０】
以上の処理により、情報処理装置１は、ユーザに自身の表情を気付かせることができ、笑顔を作らせることによって、ユーザの気分を明るくすることが可能になる。
【００５１】
＜第２の実施の形態＞
笑顔の回数をカウントし、提示する機能である笑顔カウント機能について説明する。
【００５２】
［通信システムの構成］
図８は、情報処理装置１を用いた通信システムの構成例を示す図である。
【００５３】
図８の情報処理装置１には通信機能が設けられている。情報処理装置１はインターネットなどよりなるネットワーク５１に接続される。ネットワーク５１には、PC５２、Webサーバ５３、およびフォトフレーム５４も接続される。
【００５４】
PC５２は、例えば情報処理装置１のユーザが使うPCである。Webサーバ５３は、ブログ、掲示板などのSNS(Social Network Service)サイトを管理するサーバである。フォトフレーム５４は、例えば情報処理装置１のユーザと異なる人の家に設置されているデジタルフォトフレームである。フォトフレーム５４にはディスプレイが設けられており、ネットワーク５１を介して送信されてきた画像を受信し、表示することが可能とされている。
【００５５】
図８の通信システムにおいては、笑顔の回数を表すメッセージをSNSサイトに投稿する機能、所定の期間毎の笑顔の回数を一覧表示する機能、および、笑顔の画像をフォトフレーム５４に送信する機能が実現される。各機能の詳細については後述する。
【００５６】
図９は、図８の情報処理装置１の構成例を示すブロック図である。図９に示す構成のうち、図６に示す構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
【００５７】
情報処理装置１は、撮影部３１、認識部３２、制御部３３、カウント部６１、表示データ生成部６２、送信部６３、および画像管理部６４から構成される。
【００５８】
撮影部３１は、撮影によって得られた画像データを出力する。撮影部３１から出力された画像データは認識部３２と画像管理部６４に供給される。
【００５９】
認識部３２は、撮影部３１により撮影された画像を解析し、ユーザの表情を認識する。認識部３２は、認識結果を表す情報と笑顔の度合いを表す情報を制御部３３、カウント部６１、および画像管理部６４に出力する。
【００６０】
カウント部６１は、認識部３２から供給された情報に基づいて、ユーザの表情が笑顔であると判定した場合、笑顔の回数を１だけインクリメントし、笑顔の回数を表す情報をメモリに記憶させて管理する。カウント部６１は、笑顔の回数を表すメッセージをSNSサイトに投稿する場合、１日などの所定の期間の笑顔の回数が閾値以上になったタイミングで、笑顔の回数を表す情報を表示データ生成部６２に出力する。
【００６１】
また、カウント部６１は、笑顔の回数を一覧表示する場合、１日、１週間、１ヶ月などの所定の期間が経過したときに、笑顔の回数を表す情報を送信部６３に出力する。以下、カウント対象となる期間が１日である場合について説明する。
【００６２】
表示データ生成部６２は、カウント部６１によりカウントされた笑顔の回数を表すメッセージを生成し、生成したメッセージのデータを送信部６３に出力する。
【００６３】
送信部６３は、笑顔の回数を表すメッセージをSNSサイトに投稿する場合、ネットワーク５１を介してWebサーバ５３にアクセスし、表示データ生成部６２により生成されたメッセージを送信する。
【００６４】
また、送信部６３は、笑顔の回数を一覧表示する場合、カウント部６１から供給された笑顔の回数を表す情報と、画像管理部６４により選択された画像をWebサーバ５３に送信する。
【００６５】
画像管理部６４は、笑顔の回数を一覧表示する場合、撮影部３１により撮影された画像のうち、ユーザの笑顔が写っている画像を認識部３２による認識結果に基づいて特定し、特定した笑顔の画像をメモリに記憶させて管理する。上述したように、認識部３２からは、大笑い、ほほえみなどの、笑顔の度合いを表す情報も供給されてくる。画像管理部６４は、笑顔の画像と対応付けて、それぞれの画像に写っている笑顔の度合いを管理する。
【００６６】
画像管理部６４は、１日が経過したとき、笑顔の度合いが最も高い画像をメモリに記憶させている画像の中から選択して送信部６３に出力し、Webサーバ５３に送信させる。
【００６７】
図１０は、Webサーバ５３のハードウェア構成例を示すブロック図である。
【００６８】
CPU(Central Processing Unit)７１、ROM(Read Only Memory)７２、RAM(Random Access Memory)７３は、バス７４により相互に接続されている。
【００６９】
バス７４には、さらに、入出力インタフェース７５が接続されている。入出力インタフェース７５には、キーボード、マウスなどよりなる入力部７６、ディスプレイ、スピーカなどよりなる出力部７７が接続される。また、入出力インタフェース７５には、ハードディスクや不揮発性のメモリなどよりなる記憶部７８、ネットワークインタフェースなどよりなる通信部７９、リムーバブルメディア８１を駆動するドライブ８０が接続される。
【００７０】
図１１は、Webサーバ５３の機能構成例を示すブロック図である。図１１に示す機能部のうちの少なくとも一部は、図１０のCPU７１により所定のプログラムが実行されることによって実現される。
【００７１】
Webサーバ５３においては、SNSサイト管理部９１、回数管理部９２、および表示制御部９３が実現される。
【００７２】
SNSサイト管理部９１はSNSサイトを管理し、ネットワーク５１を介してアクセスしてきた機器に対して閲覧させる。SNSサイト管理部９１は、ネットワーク５１に接続される機器から送信されてきたメッセージを通信部７９を制御して取得し、SNSサイトに追加する。
【００７３】
回数管理部９２は、情報処理装置１において１日にカウントされた笑顔の回数を表す情報と、笑顔の度合いが最も高い画像として情報処理装置１において選択された画像が情報処理装置１から送信されてきたとき、それらの情報を通信部７９を制御して取得する。回数管理部９２は、取得した情報を例えば情報処理装置１の識別情報と対応付けて記憶部７８に記憶させ、管理する。
【００７４】
表示制御部９３は、笑顔の回数を一覧表示することがネットワーク５１に接続される機器から要求された場合、回数管理部９２により管理されている情報を取得し、それぞれの日にカウントされた笑顔の回数を例えばカレンダーの画像などを用いて一覧表示させる。また、カレンダーの画像上からある１日が選択されたとき、その日に撮影され、笑顔の度合いが最も高い画像として情報処理装置１から送信されてきた画像を、笑顔の回数の一覧表示を要求してきた機器に送信し、表示させる。
【００７５】
［SNSサイトへの投稿］
ここで、図１２のフローチャートを参照して、笑顔の回数を表すメッセージをSNSサイトに投稿する情報処理装置１の処理について説明する。
【００７６】
ステップＳ１１において、撮影部３１は撮影を行う。
【００７７】
ステップＳ１２において、認識部３２は、撮影部３１により撮影された画像を解析し、ユーザの表情を認識する。
【００７８】
ステップＳ１３において、制御部３３は、認識部３２から供給された情報に基づいて、ユーザの表情が笑顔であるか否かを判定する。
【００７９】
ユーザの表情が笑顔であるとステップＳ１３において判定した場合、ステップＳ１４において、制御部３３は、SmileアイコンをLEDマトリクス部１２に表示させるなどしてフィードバックを与える。
【００８０】
一方、ユーザの表情が笑顔ではないとステップＳ１３において判定された場合、ステップＳ１１に戻り、以上の処理が繰り返される。ユーザの表情が笑顔ではないと判定された場合、Sadアイコンを表示させるなどしてフィードバックをユーザに与えるようにしてもよい。
【００８１】
ステップＳ１４においてSmileアイコンが表示された後、ステップＳ１５において、カウント部６１は笑顔の回数をカウントする。
【００８２】
ステップＳ１６において、カウント部６１は、所定の期間の笑顔の回数が閾値である所定の回数以上になったか否かを判定する。
【００８３】
笑顔の回数が閾値の回数以上になったとステップＳ１６において判定された場合、ステップＳ１７において、表示データ生成部６２は、カウント部６１によりカウントされた笑顔の回数を表すメッセージを生成する。
【００８４】
ステップＳ１８において、送信部６３は、表示データ生成部６２により生成されたメッセージをWebサーバ５３に送信し、SNSサイトに投稿する。メッセージが投稿された後、または、ステップＳ１６において笑顔の回数が閾値の回数以上ではないと判定された場合、ステップＳ１１に戻り、以上の処理が繰り返される。
【００８５】
送信部６３から送信された情報はWebサーバ５３のSNSサイト管理部９１により取得され、SNSサイトに掲載される。
【００８６】
図１３はSNSサイトの画面の例を示す図である。図１３の画面は、ブラウザ機能を利用してPC５２から、または携帯電話機などの他の機器からWebサーバ５３にアクセスしたときに表示される。
【００８７】
図１３のSNSサイトの画面においては、各機器から投稿されたメッセージが時系列順に表示されるようになされており、最新の投稿である投稿＃１、投稿＃１の前に投稿された投稿＃２、投稿＃２の前に投稿された投稿＃３が表示されている。投稿＃３は情報処理装置１から投稿されたメッセージであり、１日にカウントした笑顔の回数が６回であることを表す。図１３の例においては笑顔の回数が笑顔を表す画像の数により表されている。投稿＃３として示す「今日は○○○○○○回ほほえむことができました。」（○は笑顔を表す画像）が、表示データ生成部６２により生成されたメッセージである。
【００８８】
投稿＃３を見た情報処理装置１のユーザの友人などが、笑顔の回数をほめたり応援したりするようなメッセージを自身の機器から投稿することにより、友人などによる投稿を確認した情報処理装置１のユーザは、笑顔を積極的に作ろうとさらに意識することができる。図１３の投稿＃１，＃２は、情報処理装置１のユーザの友人などにより投稿された、笑顔の回数をほめたり応援したりするようなメッセージである。また、情報処理装置１のユーザは、友人などとの間で笑顔の回数を共有することができる。
【００８９】
［笑顔の回数の一覧表示］
次に、図１４のフローチャートを参照して、所定の期間毎の笑顔の回数を一覧表示するための情報処理装置１の処理について説明する。
【００９０】
図１４のステップＳ３１乃至Ｓ３５の処理は、図１２のステップＳ１１乃至Ｓ１５の処理と基本的に同様の処理である。ステップＳ３１において、撮影部３１は撮影を行う。撮影された画像は、認識部３２に供給されるとともに、画像管理部６４にも供給される。
【００９１】
ステップＳ３２において、認識部３２は、撮影部３１により撮影された画像を解析し、ユーザの表情を認識する。
【００９２】
ステップＳ３３において、制御部３３は、認識部３２から供給された情報に基づいて、ユーザの表情が笑顔であるか否かを判定する。
【００９３】
ユーザの表情が笑顔であるとステップＳ３３において判定した場合、ステップＳ３４において、制御部３３は、SmileアイコンをLEDマトリクス部１２に表示させるなどしてフィードバックを与える。一方、笑顔ではないとステップＳ３３において判定された場合、ステップＳ３１以降の処理が繰り返される。
【００９４】
ステップＳ３５において、カウント部６１は笑顔の回数をカウントする。
【００９５】
ステップＳ３６において、画像管理部６４は、笑顔が写っていると認識された画像を、認識部３２により認識された笑顔の度合いを表す情報とともにメモリに記憶させて管理する。
【００９６】
ステップＳ３７において、カウント部６１は、笑顔の回数のカウント対象となる期間である１日が経過したか否かを判定する。
【００９７】
笑顔の回数のカウント対象となる期間が経過したとステップＳ３７において判定された場合、ステップＳ３８において、画像管理部６４は、笑顔の度合いが最も高い画像を選択する。
【００９８】
ステップＳ３９において、送信部６３は、カウント部６１によりカウントされた笑顔の回数を表す情報と、画像管理部６４により選択された笑顔の画像をWebサーバ５３に送信する。
【００９９】
笑顔の回数を表す情報と笑顔の画像が送信された後、または、ステップＳ３７において笑顔の回数のカウント対象となる期間が経過していないと判定された場合、ステップＳ３１に戻り、以上の処理が繰り返される。
【０１００】
送信部６３から送信された情報はWebサーバ５３の回数管理部９２により取得され、管理される。情報処理装置１のユーザが例えばPC５２を操作してWebサーバ５３にアクセスし、笑顔の回数の一覧表示を要求した場合、表示制御部９３から送信されてきた情報に基づいて、笑顔の回数を一覧表示するカレンダーの画像がPC５２のディスプレイに表示される。
【０１０１】
図１５は、Webサーバ５３から送信されてきた情報に基づいてPC５２のディスプレイに表示されるカレンダーの画像の例を示す図である。
【０１０２】
図１５のカレンダー画像Ｐは所定の１ヶ月分のカレンダーの画像であり、１日目〜３１日目に割り当てられた各欄のうちの１日目〜１５日目の欄に、それぞれの日にカウントされた笑顔の回数を表すアイコンが表示されている。カレンダー画像Ｐは、１５日目が経過したときに表示される画像である。
【０１０３】
図１５の例においては、笑顔の回数の範囲に応じて、笑顔の度合いの異なるアイコンが表示される。例えば、７日目の欄に表示されている暗い表情を表すアイコンは、その日にカウントされた笑顔の回数が例えば０〜５回であることを表し、５日目の欄に表示されている笑顔を表すアイコンは、その日にカウントされた笑顔の回数が例えば６〜１０回であることを表す。１日目の欄に表示されている大笑いを表すアイコンは、その日にカウントされた笑顔の回数が例えば１１回以上であることを表す。
【０１０４】
カレンダー画像Ｐに表示される笑顔の回数を表すアイコンがマウス操作などによって選択された場合、Webサーバ５３の表示制御部９３は、選択されたアイコンが表示されている日に撮影された画像（写真）の中で笑顔の度合いの最も高い画像として情報処理装置１により選択された画像をPC５２に送信し、ディスプレイに表示させる。
【０１０５】
情報処理装置１のユーザは、カレンダー画像Ｐに表示されるアイコンの種類から毎日の笑顔の回数を確認することができ、回数が少ない場合には、笑顔を積極的に作ろうと意識することができる。また、情報処理装置１のユーザの友人などが自身の機器を操作してWebサーバ５３にアクセスし、カレンダー画像Ｐを見ることによって、その友人は、情報処理装置１のユーザが笑顔を作っているか、すなわち明るい気分でいるかを確認することができる。
【０１０６】
なお、以上のようにして笑顔の回数を管理し、一覧表示する機能がPC５２に搭載されるようにしてもよい。この場合、PC５２には図１１の回数管理部９２、表示制御部９３が設けられ、情報処理装置１から送信されてきた情報に基づいて、笑顔の回数を一覧表示させる処理が行われる。情報処理装置１に回数管理部９２、表示制御部９３が設けられ、笑顔の回数を情報処理装置１に設けられたLEDマトリクス部１２やLCDの表示によって確認することができるようにしてもよい。
【０１０７】
［フォトフレームへの送信］
フォトフレーム５４に対する画像の送信機能について説明する。この場合、図８の情報処理装置１は、撮影画像に写るユーザの表情を認識し、アイコンを表示するなどしてフィードバックをユーザに与える。また、情報処理装置１は、笑顔を認識したとき、認識した笑顔が写っている画像をフォトフレーム５４に送信する。
【０１０８】
情報処理装置１から送信されてきた画像を受信したフォトフレーム５４は、受信した画像をディスプレイに表示させる。これにより、例えばフォトフレーム５４が情報処理装置１のユーザと異なる人の家に設置されているものである場合、フォトフレーム５４のユーザは、情報処理装置１のユーザの笑顔の画像を見ることができる。この機能は、特に、情報処理装置１のユーザが一人暮らしの老人であり、フォトフレーム５４のユーザがその子供である場合などに有用であると考えられる。フォトフレーム５４のユーザである子供は、情報処理装置１のユーザである親の笑顔を確認することができる。
【０１０９】
＜第３の実施の形態＞
ユーザが何か行動をとるときに笑顔を要求する機能である笑顔ゲートウエイ機能について説明する。
【０１１０】
図１６に示すように、情報処理装置１は、制御対象となる機器である制御対象機器１０１に有線、または無線によって電気的に接続される。制御対象機器１０１が冷蔵庫である場合について説明する。
【０１１１】
図１７は、情報処理装置１が取り付けられた冷蔵庫の外観を示す図である。
【０１１２】
図１７の冷蔵庫１１１は扉１１１Ａと本体１１１Ｂから構成される。扉１１１Ａは、扉１１１Ａの右側面に設けられるヒンジ（不図示）によって開閉可能に本体１１１Ｂに取り付けられている。扉１１１Ａの表面左側には取っ手１２１が設けられる。扉１１１Ａを開ける動作は、取っ手１２１を例えば右手で握り、白抜き矢印で示すように手前に引く動作になる。
【０１１３】
扉１１１Ａの表面であって、取っ手１２１の上方の位置には、筐体の正面が冷蔵庫１１１の前方を向くように情報処理装置１が取り付けられる。扉１１１Ａの左側面には、電子錠１２２を構成する部材１２２Ａが設けられ、本体１１１Ｂの左側面には、部材１２２Ａと対になって電子錠１２２を構成する部材１２２Ｂが設けられる。部材１２２Ａと部材１２２Ｂは、扉１１１Ａを閉めたときに互いに隣接する位置に設けられる。
【０１１４】
電子錠１２２は、破線で示すように情報処理装置１に接続され、情報処理装置１から供給される制御信号に従って、扉１１１Ａの施錠状態または解錠状態を切り替える。電子錠１２２が施錠状態にあるとき、ユーザは扉１１１Ａを開けることができず、解錠状態にあるとき扉１１１Ａを開けることが可能となる。
【０１１５】
このような状態で冷蔵庫１１１に取り付けられた情報処理装置１は、図１の情報処理装置１と同様に、画像を撮影してユーザの表情を認識し、アイコンを表示したりして表情に応じたフィードバックをユーザに与える。
【０１１６】
また、情報処理装置１は、ユーザの表情が笑顔であると認識した場合、解錠状態にすることを指示する制御信号を電子錠１２２に出力し、扉１１１Ａを開け、冷蔵庫１１１を使用することをユーザに許可する。また、情報処理装置１は、電子錠１２２の状態を解錠状態とした場合、ユーザが扉１１１Ａを閉めて冷蔵庫１１１の使用を終えたときに、施錠状態にすることを指示する制御信号を電子錠１２２に出力し、扉１１１Ａを開けることを禁止する。
【０１１７】
すなわち、ユーザは、冷蔵庫１１１の扉１１１Ａを開ける、すなわち冷蔵庫１１１を使用するためには笑顔を作る必要がある。このように、冷蔵庫１１１を使用するといった日常の動作に笑顔を要求し、笑顔をいわば強制することによって、情報処理装置１は、日頃から笑顔を作る意識をユーザに持たせることが可能になる。
【０１１８】
ここで、図１８のフローチャートを参照して、冷蔵庫１１１の使用の許可、不許可を制御する情報処理装置１の処理について説明する。なお、図１７の情報処理装置１は、図６または図１０の構成と同じ構成を有する。
【０１１９】
ステップＳ５１において、撮影部３１は撮影を行う。
【０１２０】
ステップＳ５２において、認識部３２は、撮影部３１により撮影された画像を解析し、ユーザの表情を認識する。
【０１２１】
ステップＳ５３において、制御部３３は、認識部３２から供給された情報に基づいて、ユーザの表情が笑顔であるか否かを判定する。
【０１２２】
ユーザの表情が笑顔であるとステップＳ５３において判定した場合、ステップＳ５４において、制御部３３は、SmileアイコンをLEDマトリクス部１２に表示させるなどしてフィードバックを与える。
【０１２３】
ステップＳ５５において、制御部３３は、制御信号を電子錠１２２に出力し、扉１１１Ａを解錠状態にする。これにより、ユーザは扉１１１Ａを開け、冷蔵庫１１１の中から食品などを取り出すことが可能になる。
【０１２４】
一方、ユーザの表情が笑顔ではないとステップＳ５３において判定した場合、ステップＳ５６において、制御部３３は、例えば冷蔵庫１１１の前にユーザがいることが検出されてから一定時間が経過したか否かを判定する。冷蔵庫１１１の前にユーザがいるか否かは、例えば撮影画像に基づいて認識部３２により認識される。
【０１２５】
一定時間が経過したとステップＳ５６において判定した場合も同様に、ステップＳ５５において、制御部３３は制御信号を電子錠１２２に出力し、扉１１１Ａを解錠状態にする。この例においては、冷蔵庫１１１の前にユーザがいることが検出されてから一定時間が経過した場合に笑顔を作らないでも扉１１１Ａを開けることが可能とされているが、笑顔を作らない限り開けることを許可しないようにしてもよい。
【０１２６】
ステップＳ５５において扉１１１Ａを解錠状態にした後、ステップＳ５７において、制御部３３は、ユーザが扉１１１Ａを閉めて冷蔵庫１１１から離れたか否かを判定し、冷蔵庫１１１から離れたと判定するまで待機する。例えば、扉１１１Ａを閉めたことが検出された場合、ユーザが冷蔵庫１１１から離れたとして判定される。
【０１２７】
ユーザが冷蔵庫１１１から離れたとステップＳ５７において判定した場合、ステップＳ５８において、制御部３３は制御信号を電子錠１２２に出力し、扉１１１Ａを施錠状態にする。扉１１１Ａが施錠状態になった後、またはステップＳ５６において一定時間が経過していないと判定された場合、ステップＳ５１に戻り、以上の処理が繰り返される。ユーザの表情が笑顔ではないとステップＳ５３において判定された場合、SadアイコンをLEDマトリクス部１２に表示させるなどしてフィードバックをユーザに与えるようにしてもよい。
【０１２８】
以上の処理により、情報処理装置１は、ユーザに笑顔をいわば強制させることができ、笑顔を作る意識をユーザに持たせることが可能になる。
【０１２９】
以上においては、制御対象の機器が冷蔵庫１１１であるものとしたが、日常生活においてユーザが使う様々な物に対するアクセス（許可／不許可）を制御することも可能である。
【０１３０】
例えば、建物内の扉に取り付けられた電子錠を制御対象の機器とし、扉を開くことの許可、不許可を制御することによって、笑顔にならなければ部屋に入ることができないといった軽い負荷をユーザに与え、笑顔を意識させることができる。また、IHクッキングヒータを制御対象の機器とし、IHクッキングヒータを使用することの許可、不許可を制御することによって、笑顔にならなければお湯を沸かすことができないといった軽い負荷をユーザに与え、笑顔を意識させることができる。
【０１３１】
さらに、テレビジョン受像機を制御対象の機器とし、テレビジョン受像機を使用することの許可、不許可を制御することによって、笑顔にならなければテレビ番組を視聴することができないといった軽い負荷をユーザに与え、笑顔を意識させることができる。自動車のエンジンを制御対象の機器とし、笑顔にならなければエンジンをかけることができない機能、PCを制御対象の機器として笑顔にならなければPCを起動させることができない機能といったように、笑顔をアクセスの条件とする各種の機能を実現することが可能である。
【０１３２】
［変形例等］
上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、汎用のパーソナルコンピュータなどにインストールされる。
【０１３３】
インストールされるプログラムは、光ディスク（CD-ROM(Compact Disc-Read Only Memory)，DVD(Digital Versatile Disc)等）や半導体メモリなどよりなる図１０のリムーバブルメディア８１に記録して提供される。また、ローカルエリアネットワーク、インターネット、デジタル放送といった、有線または無線の伝送媒体を介して提供されるようにしてもよい。プログラムは、ROM７２や記憶部７８に、あらかじめインストールしておくことができる。
【０１３４】
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
【０１３５】
本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
【０１３６】
なお、本技術は、以下のような構成もとることができる。
（１）
撮影された画像に写るユーザの顔の表情を認識する認識部と、
前記認識部により認識された表情が特定の表情である場合、前記ユーザによる機器の使用を許可するように前記機器を制御する制御部と
を備える情報処理装置。
（２）
前記ユーザの画像を撮影する撮影部をさらに備え、
前記認識部は、前記撮影部により撮影された前記画像に写る前記ユーザの顔の表情を認識する
前記（１）に記載の情報処理装置。
（３）
前記特定の表情は笑顔である
前記（１）または（２）に記載の情報処理装置。
（４）
前記認識部により前記特定の表情が認識された場合、前記特定の表情を表す情報を出力し、前記認識部により前記特定の表情ではない表情が認識された場合、前記特定の表情と異なる他の表情を表す情報を出力する出力部をさらに備える
前記（１）、（２）、または（３）に記載の情報処理装置。
（５）
前記制御部は、前記ユーザが前記機器の使用を終えた場合、前記ユーザによる前記機器の使用を不許可とするように前記機器を制御する
前記（１）乃至（４）のいずれかに記載の情報処理装置。
【符号の説明】
【０１３７】
１ 情報処理装置， １１ レンズ， １２ LEDマトリクス部， ３１ 撮影部， ３２ 認識部， ３３ 制御部， ６１ カウント部， ６２ 表示データ生成部， ６３ 画像管理部
【技術分野】
【０００１】
本技術は、情報処理装置、情報処理方法、およびプログラムに関し、特に、ユーザに特定の表情を積極的に作らせることができるようにした情報処理装置、情報処理方法、およびプログラムに関する。
【背景技術】
【０００２】
ウィリアム・ジェイムズの言説（非特許文献１）として知られているように、「人は幸福であるが故に笑うのではなく、笑うが故に幸福である」という考え方がある。最近の研究でもこの考え方を支持する知見が多く得られている。
【０００３】
例えば非特許文献２に開示されているKleinkeらの実験は、種々の表情（笑っている、悲しんでいる）の写真を被験者に見せ、「その写真と同じ表情をするように」と指示した被験者グループと、ただ写真を見ていた被験者グループとの間で感情に差が出るかどうかを検証するものである。この実験から、笑顔の写真を見て実際に笑顔を作る行為が、被験者の感情を明るくすることに寄与しているということが確認されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１０−３４６８６号公報
【特許文献２】特開２００９−２９０８１９号公報
【非特許文献】
【０００５】
【非特許文献１】James, W. (1950). The principles of psychology (Vol 2). New York: Dover Publications. (Original work published 1890)
【非特許文献２】Effects of Self-Generated Facial Expressions on Mood, Chris L. Kleinke, Thomas R. Peterson, and Thomas R. Rutledg, Journal of Personality and Social Psychology 1998, Vol. 74, No. 1,272 279
【発明の概要】
【発明が解決しようとする課題】
【０００６】
非特許文献２に開示されている上記実験は、人に笑顔を積極的に作らせることによって、その人の感情状態を向上させることができる可能性があることを示している。
【０００７】
本技術はこのような状況に鑑みてなされたものであり、ユーザに特定の表情を積極的に作らせることができるようにするものである。
【課題を解決するための手段】
【０００８】
本技術の一側面の情報処理装置は、撮影された画像に写るユーザの顔の表情を認識する認識部と、前記認識部により認識された表情が特定の表情である場合、前記ユーザによる機器の使用を許可するように前記機器を制御する制御部とを備える。
【０００９】
特定の表情は笑顔とすることができる。怒っている顔、泣き顔などの笑顔以外の表情を特定の表情とすることも可能である。ユーザに使用を許可する機器には、テレビジョン受像機、オーディオプレーヤ、パーソナルコンピュータ、掃除機、洗濯機、冷蔵庫などの電化製品だけでなく、扉、家具などの動作を制御する機器も含まれる。
【００１０】
前記ユーザの画像を撮影する撮影部をさらに設けることができる。この場合、前記認識部には、前記撮影部により撮影された前記画像に写る前記ユーザの顔の表情を認識させることができる。
【００１１】
前記認識部により前記特定の表情が認識された場合、前記特定の表情を表す情報を出力し、前記認識部により前記特定の表情ではない表情が認識された場合、前記特定の表情と異なる他の表情を表す情報を出力する出力部をさらに設けることができる。
【００１２】
特定の表情を表す情報として、例えば画像、音、光、振動を出力させることができる。特定の表情と異なる他の表情を表す情報としては、特定の表情を表す情報として出力される画像と異なる画像、特定の表情を表す情報として出力される音と異なる音を出力させることができる。また、特定の表情を表す情報として出力される光と異なる光、特定の表情を表す情報として出力される振動と異なる振動を出力させることができる。
【００１３】
前記制御部には、前記ユーザが前記機器の使用を終えた場合、前記ユーザによる前記機器の使用を不許可とするように前記機器を制御させることができる。
【００１４】
本技術においては、撮影された画像に写るユーザの顔の表情が認識され、認識された表情が特定の表情である場合、前記ユーザによる機器の使用を許可するように前記機器が制御される。
【発明の効果】
【００１５】
本技術によれば、ユーザに特定の表情を積極的に作らせることができる。
【図面の簡単な説明】
【００１６】
【図１】本技術の一実施形態に係る情報処理装置の外観の例を示す図である。
【図２】Smileアイコンの例を示す図である。
【図３】Sadアイコンの例を示す図である。
【図４】情報処理装置の使用例を示す図である。
【図５】鏡の前にいるユーザ側から見たアイコンの表示例を示す図である。
【図６】情報処理装置の内部の構成例を示すブロック図である。
【図７】情報処理装置の処理について説明するフローチャートである。
【図８】通信システムの構成例を示す図である。
【図９】図８の情報処理装置の構成例を示すブロック図である。
【図１０】Webサーバのハードウェア構成例を示すブロック図である。
【図１１】Webサーバの機能構成例を示すブロック図である。
【図１２】情報処理装置の処理について説明するフローチャートである。
【図１３】SNSサイトの画面の例を示す図である。
【図１４】情報処理装置の処理について説明するフローチャートである。
【図１５】カレンダーの画像の例を示す図である。
【図１６】制御対象機器を示す図である。
【図１７】制御対象機器である冷蔵庫の外観を示す図である。
【図１８】情報処理装置の処理について説明するフローチャートである。
【発明を実施するための形態】
【００１７】
以下、発明を実施するための形態について説明する。説明は以下の順序で行う。
１．第１の実施の形態（笑顔支援機能）
２．第２の実施の形態（笑顔カウント機能）
３．第３の実施の形態（笑顔ゲートウエイ機能）
【００１８】
＜第１の実施の形態＞
ユーザに対して、自身の顔の表情が笑顔であるか否かを気付かせ、笑顔でない場合には笑顔を作ることを支援する機能である笑顔支援機能について説明する。
【００１９】
［情報処理装置の外観］
図１は、本技術の一実施形態に係る情報処理装置の外観の例を示す図である。
【００２０】
図１の情報処理装置１は、ユーザが片手で把持可能な大きさの直方体形状の筐体を有する。情報処理装置１の筐体の正面にはレンズ１１と、所定の数のLED(Light Emitting Diode)から構成されるLEDマトリクス部１２が設けられる。図１の例においては、縦方向に８個、横方向に８個の計６４個のLEDが配列して設けられることによってLEDマトリクス部１２が構成される。LEDマトリクス部１２に代えて、LCD(Liquid Crystal Display)などのディスプレイが設けられるようにしてもよい。
【００２１】
情報処理装置１は、レンズ１１から取り込まれた光を光電変換することによって撮影を行い、撮影によって得られた画像に基づいて、被写体として写っているユーザの表情（顔の表情）を認識する。情報処理装置１は、ユーザの表情が笑顔であると認識した場合、LEDマトリクス部１２を構成する所定のLEDを発光させることによって、ユーザの表情が笑顔であることを表す情報であるSmileアイコンを表示する。
【００２２】
すなわち、情報処理装置１には笑顔の認識機能が搭載されている。情報処理装置１の撮影範囲にいるユーザの表情が笑顔であるか否かの判定が、撮影した画像に基づいてリアルタイムで繰り返し行われる。
【００２３】
一方、情報処理装置１は、ユーザの表情が笑顔ではないと認識した場合、LEDマトリクス部１２を構成する所定のLEDを発光させることによって、ユーザの表情が笑顔でないことを表すSadアイコンを表示する。
【００２４】
図２はSmileアイコンの例を示す図であり、図３はSadアイコンの例を示す図である。例えば１行目の１列目の位置にあるLEDをLED＃１１とし、LEDマトリクス部１２を構成する各LEDを“＃”とその位置（行、列）に応じた数字を付して説明する。
【００２５】
図２に示すように、Smileアイコンは、LED＃２３，＃２６，＃３３，＃３６，＃６１，＃６８，＃７２，＃７７，＃８３〜＃８６が発光することによって表示される。また、図３に示すように、Sadアイコンは、LED＃２３，＃２６，＃３２，＃３７，＃６３〜＃６６，＃７２，＃７７，＃８１，＃８８が発光することによって表示される。
【００２６】
情報処理装置１の前にいるユーザは、例えばSmileアイコンが表示されたのを確認することによって、自分が笑顔でいることを確認することができる。また、ユーザは、Sadアイコンが表示されたのを確認することによって、自分が笑顔以外の例えば怒っている表情や悲しい表情をしていることを確認し、笑顔を作ろうと意識することができる。
【００２７】
「人は幸福であるが故に笑うのではなく、笑うが故に幸福である」という考え方に立てば、ユーザに自分の表情を気付かせ、笑顔ではない場合には笑顔を意識的に作らせることによって、情報処理装置１は、ユーザの感情を明るくすることが可能になる。感情を明るく保つことはうつ病などの精神的な病気の予防や改善に繋がると考えられるから、ユーザの感情を明るくすることによって、ユーザの精神面での健康を向上させることも可能になる。
【００２８】
［情報処理装置の使用例］
図４は、情報処理装置１の使用例を示す図である。
【００２９】
図４の例においては、住宅などの建物内の壁面Ｗに鏡２１が取り付けられている。破線で示すように、情報処理装置１は、筐体の正面が壁面Ｗの前方を向くように鏡２１の裏側に取り付けられる。情報処理装置１の筐体正面が鏡面２１Ａに露出して取り付けられるようにしてもよい。
【００３０】
フレームによって囲まれる鏡面２１Ａはハーフミラーにより構成される。壁面Ｗの前方から鏡２１に入射する光は鏡面２１Ａによって反射するとともに、一部が鏡面２１Ａを透過し、情報処理装置１のレンズ１１により取り込まれる。また、鏡２１の裏側から鏡２１の表側（壁面Ｗの前方）に向かうLEDマトリクス部１２からの光は鏡面２１Ａを透過し、鏡面２１Ａ上に浮かび上がるようにSmileアイコンまたはSadアイコンを表示させる。
【００３１】
ユーザが身だしなみを整えるためなどに鏡２１の前に立ったとき、情報処理装置１は、鏡２１の前にいるユーザの表情を認識し、認識した表情に応じて、SmileアイコンまたはSadアイコンを表示する。ユーザは、鏡面２１Ａに浮かび上がるように表示されるSmileアイコンまたはSadアイコンを見て、自分の表情に気付くことになる。
【００３２】
図５は、鏡２１の前にいるユーザ側から見たアイコンの表示例を示す図である。図５の例においては、被写体Ｈであるユーザの上半身が鏡面２１Ａに写っており、その表情は笑顔である。情報処理装置１が裏側に取り付けられている鏡面２１Ａの位置にはSmileアイコンが表示される。図５のアイコンＩはSmileアイコンを表す。
【００３３】
このように、日常生活の中で顔を向けるような位置に情報処理装置１を設けることによって、ユーザは日頃から自分の表情を確認することになり、笑顔を作ることを習慣にすることができる。テレビジョン受像機やPC（パーソナルコンピュータ）のディスプレイの裏側に設けたり、建物内のドアに埋め込んだりするなど、情報処理装置１の設置位置は任意である。
【００３４】
［情報処理装置の内部構成］
図６は、情報処理装置１の内部の構成例を示すブロック図である。図６に示す構成のうちの少なくとも一部は、情報処理装置１に設けられるCPU(Central Processing Unit)により所定のプログラムが実行されることによって実現される。
【００３５】
情報処理装置１は、撮影部３１、認識部３２、および制御部３３から構成される。
【００３６】
撮影部３１はCCD(Charge Coupled Device)やCMOS(Complementary Metal Oxide Semiconductor)などの撮像素子より構成される。撮影部３１は、レンズ１１により取り込まれた光の光電変換を行い、光電変換により得られた信号にA/D変換などの各種の処理を施す。撮影部３１は、各種の処理を施すことによって得られた画像データを認識部３２に出力する。撮影部３１による撮影は繰り返し行われ、繰り返し行われることによって得られた画像データが認識部３２に順次供給される。
【００３７】
認識部３２は、撮影部３１により撮影された画像を解析し、被写体として画像に写るユーザの表情を認識する。認識部３２は認識結果を表す情報を制御部３３に出力する。また、認識部３２は、適宜、大笑い、ほほえみなどの笑顔の度合いを表す情報を出力する。
【００３８】
認識部３２には、笑顔が写っている画像を解析することによって得られた、目、鼻、口などの笑顔を構成する各部の特徴量を表す情報が認識用データとして予め与えられている。認識部３２は、撮影部３１により撮影された画像から輪郭検出などを行うことによってユーザの顔を検出し、目、鼻、口などの顔の各部の特徴量を抽出する。
【００３９】
また、認識部３２は、撮影画像から抽出した特徴量と、認識用データとして与えられている特徴量とを比較し、一致度が閾値以上である場合、ユーザの表情が笑顔であると認識する。一方、認識部３２は、撮影画像から抽出した特徴量と、認識用データとして与えられている特徴量との一致度が閾値未満である場合、ユーザの表情が笑顔ではないと認識する。すなわち、情報処理装置１において認識される笑顔は、撮影画像から抽出された顔の各部の特徴が、笑顔の認識機能の開発時などに笑顔が写っている画像として選択された顔画像から抽出された顔の特徴と閾値以上一致する表情である。
【００４０】
制御部３３は、認識部３２から供給された情報に基づいて、ユーザの表情が笑顔であると判定した場合、SmileアイコンをLEDマトリクス部１２に表示させる。認識部３２から供給された情報により表される笑顔の度合いに応じて、異なる種類のSmileアイコンが表示されるようにしてもよい。また、制御部３３は、ユーザの表情が笑顔でないと判定した場合、SadアイコンをLEDマトリクス部１２に表示させる。
【００４１】
制御部３３は、適宜、アイコンの表示に合わせて所定のメロディーを図示せぬスピーカから出力させる。Smileアイコンの表示に合わせて出力されるメロディーと、Sadアイコンの表示に合わせて出力されるメロディーとはそれぞれ異なるメロディーとされる。Smileアイコンの表示に合わせて出力されるメロディーとして、ユーザにより予め登録されたお気に入りの曲を用いるようにしてもよい。これにより、ユーザは自分の表情を音によっても確認することができるとともに、笑顔でいるときにはお気に入りの曲を聴いて、より気持ちを向上させることができる。
【００４２】
このように、顔認識結果を表すフィードバックとして、アイコンの表示だけでなく、メロディーの出力や振動の発生などの各種の方法を採用することができる。また、情報処理装置１に撮影部３１を設けないようにすることも可能である。この場合、例えば外部の装置により撮影された画像は、ユーザの表情の認識対象用の画像として情報処理装置１の認識部３２により取得される。認識部３２は、取得した画像に基づいてユーザの表情を認識し、制御部３３は表情に応じたフィードバックをユーザに与える処理を行う。
【００４３】
［情報処理装置の動作］
ここで、図７のフローチャートを参照して、アイコンの表示によってユーザに自身の表情を気付かせ、笑顔を作ることを支援する情報処理装置１の処理について説明する。
【００４４】
ステップＳ１において、撮影部３１は撮影を行う。
【００４５】
ステップＳ２において、認識部３２は、撮影部３１により撮影された画像を解析し、画像に写るユーザの表情を認識する。
【００４６】
ステップＳ３において、制御部３３は、認識部３２から供給された情報に基づいて、ユーザの表情が笑顔であるか否かを判定する。
【００４７】
ユーザの表情が笑顔であるとステップＳ３において判定した場合、ステップＳ４において、制御部３３は、SmileアイコンをLEDマトリクス部１２に表示させる。
【００４８】
一方、ユーザの表情が笑顔ではないとステップＳ３において判定した場合、ステップＳ５において、制御部３３は、SadアイコンをLEDマトリクス部１２に表示させる。
【００４９】
ステップＳ４においてSmileアイコンが表示された後、またはステップＳ５においてSadアイコンが表示された後、ステップＳ１に戻り、以上の処理が繰り返される。Sadアイコンの表示から自分が笑顔でないことを確認したユーザが意識的に笑顔を作った場合、LEDマトリクス部１２の表示はSadアイコンからSmileアイコンに切り替わることになる。
【００５０】
以上の処理により、情報処理装置１は、ユーザに自身の表情を気付かせることができ、笑顔を作らせることによって、ユーザの気分を明るくすることが可能になる。
【００５１】
＜第２の実施の形態＞
笑顔の回数をカウントし、提示する機能である笑顔カウント機能について説明する。
【００５２】
［通信システムの構成］
図８は、情報処理装置１を用いた通信システムの構成例を示す図である。
【００５３】
図８の情報処理装置１には通信機能が設けられている。情報処理装置１はインターネットなどよりなるネットワーク５１に接続される。ネットワーク５１には、PC５２、Webサーバ５３、およびフォトフレーム５４も接続される。
【００５４】
PC５２は、例えば情報処理装置１のユーザが使うPCである。Webサーバ５３は、ブログ、掲示板などのSNS(Social Network Service)サイトを管理するサーバである。フォトフレーム５４は、例えば情報処理装置１のユーザと異なる人の家に設置されているデジタルフォトフレームである。フォトフレーム５４にはディスプレイが設けられており、ネットワーク５１を介して送信されてきた画像を受信し、表示することが可能とされている。
【００５５】
図８の通信システムにおいては、笑顔の回数を表すメッセージをSNSサイトに投稿する機能、所定の期間毎の笑顔の回数を一覧表示する機能、および、笑顔の画像をフォトフレーム５４に送信する機能が実現される。各機能の詳細については後述する。
【００５６】
図９は、図８の情報処理装置１の構成例を示すブロック図である。図９に示す構成のうち、図６に示す構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
【００５７】
情報処理装置１は、撮影部３１、認識部３２、制御部３３、カウント部６１、表示データ生成部６２、送信部６３、および画像管理部６４から構成される。
【００５８】
撮影部３１は、撮影によって得られた画像データを出力する。撮影部３１から出力された画像データは認識部３２と画像管理部６４に供給される。
【００５９】
認識部３２は、撮影部３１により撮影された画像を解析し、ユーザの表情を認識する。認識部３２は、認識結果を表す情報と笑顔の度合いを表す情報を制御部３３、カウント部６１、および画像管理部６４に出力する。
【００６０】
カウント部６１は、認識部３２から供給された情報に基づいて、ユーザの表情が笑顔であると判定した場合、笑顔の回数を１だけインクリメントし、笑顔の回数を表す情報をメモリに記憶させて管理する。カウント部６１は、笑顔の回数を表すメッセージをSNSサイトに投稿する場合、１日などの所定の期間の笑顔の回数が閾値以上になったタイミングで、笑顔の回数を表す情報を表示データ生成部６２に出力する。
【００６１】
また、カウント部６１は、笑顔の回数を一覧表示する場合、１日、１週間、１ヶ月などの所定の期間が経過したときに、笑顔の回数を表す情報を送信部６３に出力する。以下、カウント対象となる期間が１日である場合について説明する。
【００６２】
表示データ生成部６２は、カウント部６１によりカウントされた笑顔の回数を表すメッセージを生成し、生成したメッセージのデータを送信部６３に出力する。
【００６３】
送信部６３は、笑顔の回数を表すメッセージをSNSサイトに投稿する場合、ネットワーク５１を介してWebサーバ５３にアクセスし、表示データ生成部６２により生成されたメッセージを送信する。
【００６４】
また、送信部６３は、笑顔の回数を一覧表示する場合、カウント部６１から供給された笑顔の回数を表す情報と、画像管理部６４により選択された画像をWebサーバ５３に送信する。
【００６５】
画像管理部６４は、笑顔の回数を一覧表示する場合、撮影部３１により撮影された画像のうち、ユーザの笑顔が写っている画像を認識部３２による認識結果に基づいて特定し、特定した笑顔の画像をメモリに記憶させて管理する。上述したように、認識部３２からは、大笑い、ほほえみなどの、笑顔の度合いを表す情報も供給されてくる。画像管理部６４は、笑顔の画像と対応付けて、それぞれの画像に写っている笑顔の度合いを管理する。
【００６６】
画像管理部６４は、１日が経過したとき、笑顔の度合いが最も高い画像をメモリに記憶させている画像の中から選択して送信部６３に出力し、Webサーバ５３に送信させる。
【００６７】
図１０は、Webサーバ５３のハードウェア構成例を示すブロック図である。
【００６８】
CPU(Central Processing Unit)７１、ROM(Read Only Memory)７２、RAM(Random Access Memory)７３は、バス７４により相互に接続されている。
【００６９】
バス７４には、さらに、入出力インタフェース７５が接続されている。入出力インタフェース７５には、キーボード、マウスなどよりなる入力部７６、ディスプレイ、スピーカなどよりなる出力部７７が接続される。また、入出力インタフェース７５には、ハードディスクや不揮発性のメモリなどよりなる記憶部７８、ネットワークインタフェースなどよりなる通信部７９、リムーバブルメディア８１を駆動するドライブ８０が接続される。
【００７０】
図１１は、Webサーバ５３の機能構成例を示すブロック図である。図１１に示す機能部のうちの少なくとも一部は、図１０のCPU７１により所定のプログラムが実行されることによって実現される。
【００７１】
Webサーバ５３においては、SNSサイト管理部９１、回数管理部９２、および表示制御部９３が実現される。
【００７２】
SNSサイト管理部９１はSNSサイトを管理し、ネットワーク５１を介してアクセスしてきた機器に対して閲覧させる。SNSサイト管理部９１は、ネットワーク５１に接続される機器から送信されてきたメッセージを通信部７９を制御して取得し、SNSサイトに追加する。
【００７３】
回数管理部９２は、情報処理装置１において１日にカウントされた笑顔の回数を表す情報と、笑顔の度合いが最も高い画像として情報処理装置１において選択された画像が情報処理装置１から送信されてきたとき、それらの情報を通信部７９を制御して取得する。回数管理部９２は、取得した情報を例えば情報処理装置１の識別情報と対応付けて記憶部７８に記憶させ、管理する。
【００７４】
表示制御部９３は、笑顔の回数を一覧表示することがネットワーク５１に接続される機器から要求された場合、回数管理部９２により管理されている情報を取得し、それぞれの日にカウントされた笑顔の回数を例えばカレンダーの画像などを用いて一覧表示させる。また、カレンダーの画像上からある１日が選択されたとき、その日に撮影され、笑顔の度合いが最も高い画像として情報処理装置１から送信されてきた画像を、笑顔の回数の一覧表示を要求してきた機器に送信し、表示させる。
【００７５】
［SNSサイトへの投稿］
ここで、図１２のフローチャートを参照して、笑顔の回数を表すメッセージをSNSサイトに投稿する情報処理装置１の処理について説明する。
【００７６】
ステップＳ１１において、撮影部３１は撮影を行う。
【００７７】
ステップＳ１２において、認識部３２は、撮影部３１により撮影された画像を解析し、ユーザの表情を認識する。
【００７８】
ステップＳ１３において、制御部３３は、認識部３２から供給された情報に基づいて、ユーザの表情が笑顔であるか否かを判定する。
【００７９】
ユーザの表情が笑顔であるとステップＳ１３において判定した場合、ステップＳ１４において、制御部３３は、SmileアイコンをLEDマトリクス部１２に表示させるなどしてフィードバックを与える。
【００８０】
一方、ユーザの表情が笑顔ではないとステップＳ１３において判定された場合、ステップＳ１１に戻り、以上の処理が繰り返される。ユーザの表情が笑顔ではないと判定された場合、Sadアイコンを表示させるなどしてフィードバックをユーザに与えるようにしてもよい。
【００８１】
ステップＳ１４においてSmileアイコンが表示された後、ステップＳ１５において、カウント部６１は笑顔の回数をカウントする。
【００８２】
ステップＳ１６において、カウント部６１は、所定の期間の笑顔の回数が閾値である所定の回数以上になったか否かを判定する。
【００８３】
笑顔の回数が閾値の回数以上になったとステップＳ１６において判定された場合、ステップＳ１７において、表示データ生成部６２は、カウント部６１によりカウントされた笑顔の回数を表すメッセージを生成する。
【００８４】
ステップＳ１８において、送信部６３は、表示データ生成部６２により生成されたメッセージをWebサーバ５３に送信し、SNSサイトに投稿する。メッセージが投稿された後、または、ステップＳ１６において笑顔の回数が閾値の回数以上ではないと判定された場合、ステップＳ１１に戻り、以上の処理が繰り返される。
【００８５】
送信部６３から送信された情報はWebサーバ５３のSNSサイト管理部９１により取得され、SNSサイトに掲載される。
【００８６】
図１３はSNSサイトの画面の例を示す図である。図１３の画面は、ブラウザ機能を利用してPC５２から、または携帯電話機などの他の機器からWebサーバ５３にアクセスしたときに表示される。
【００８７】
図１３のSNSサイトの画面においては、各機器から投稿されたメッセージが時系列順に表示されるようになされており、最新の投稿である投稿＃１、投稿＃１の前に投稿された投稿＃２、投稿＃２の前に投稿された投稿＃３が表示されている。投稿＃３は情報処理装置１から投稿されたメッセージであり、１日にカウントした笑顔の回数が６回であることを表す。図１３の例においては笑顔の回数が笑顔を表す画像の数により表されている。投稿＃３として示す「今日は○○○○○○回ほほえむことができました。」（○は笑顔を表す画像）が、表示データ生成部６２により生成されたメッセージである。
【００８８】
投稿＃３を見た情報処理装置１のユーザの友人などが、笑顔の回数をほめたり応援したりするようなメッセージを自身の機器から投稿することにより、友人などによる投稿を確認した情報処理装置１のユーザは、笑顔を積極的に作ろうとさらに意識することができる。図１３の投稿＃１，＃２は、情報処理装置１のユーザの友人などにより投稿された、笑顔の回数をほめたり応援したりするようなメッセージである。また、情報処理装置１のユーザは、友人などとの間で笑顔の回数を共有することができる。
【００８９】
［笑顔の回数の一覧表示］
次に、図１４のフローチャートを参照して、所定の期間毎の笑顔の回数を一覧表示するための情報処理装置１の処理について説明する。
【００９０】
図１４のステップＳ３１乃至Ｓ３５の処理は、図１２のステップＳ１１乃至Ｓ１５の処理と基本的に同様の処理である。ステップＳ３１において、撮影部３１は撮影を行う。撮影された画像は、認識部３２に供給されるとともに、画像管理部６４にも供給される。
【００９１】
ステップＳ３２において、認識部３２は、撮影部３１により撮影された画像を解析し、ユーザの表情を認識する。
【００９２】
ステップＳ３３において、制御部３３は、認識部３２から供給された情報に基づいて、ユーザの表情が笑顔であるか否かを判定する。
【００９３】
ユーザの表情が笑顔であるとステップＳ３３において判定した場合、ステップＳ３４において、制御部３３は、SmileアイコンをLEDマトリクス部１２に表示させるなどしてフィードバックを与える。一方、笑顔ではないとステップＳ３３において判定された場合、ステップＳ３１以降の処理が繰り返される。
【００９４】
ステップＳ３５において、カウント部６１は笑顔の回数をカウントする。
【００９５】
ステップＳ３６において、画像管理部６４は、笑顔が写っていると認識された画像を、認識部３２により認識された笑顔の度合いを表す情報とともにメモリに記憶させて管理する。
【００９６】
ステップＳ３７において、カウント部６１は、笑顔の回数のカウント対象となる期間である１日が経過したか否かを判定する。
【００９７】
笑顔の回数のカウント対象となる期間が経過したとステップＳ３７において判定された場合、ステップＳ３８において、画像管理部６４は、笑顔の度合いが最も高い画像を選択する。
【００９８】
ステップＳ３９において、送信部６３は、カウント部６１によりカウントされた笑顔の回数を表す情報と、画像管理部６４により選択された笑顔の画像をWebサーバ５３に送信する。
【００９９】
笑顔の回数を表す情報と笑顔の画像が送信された後、または、ステップＳ３７において笑顔の回数のカウント対象となる期間が経過していないと判定された場合、ステップＳ３１に戻り、以上の処理が繰り返される。
【０１００】
送信部６３から送信された情報はWebサーバ５３の回数管理部９２により取得され、管理される。情報処理装置１のユーザが例えばPC５２を操作してWebサーバ５３にアクセスし、笑顔の回数の一覧表示を要求した場合、表示制御部９３から送信されてきた情報に基づいて、笑顔の回数を一覧表示するカレンダーの画像がPC５２のディスプレイに表示される。
【０１０１】
図１５は、Webサーバ５３から送信されてきた情報に基づいてPC５２のディスプレイに表示されるカレンダーの画像の例を示す図である。
【０１０２】
図１５のカレンダー画像Ｐは所定の１ヶ月分のカレンダーの画像であり、１日目〜３１日目に割り当てられた各欄のうちの１日目〜１５日目の欄に、それぞれの日にカウントされた笑顔の回数を表すアイコンが表示されている。カレンダー画像Ｐは、１５日目が経過したときに表示される画像である。
【０１０３】
図１５の例においては、笑顔の回数の範囲に応じて、笑顔の度合いの異なるアイコンが表示される。例えば、７日目の欄に表示されている暗い表情を表すアイコンは、その日にカウントされた笑顔の回数が例えば０〜５回であることを表し、５日目の欄に表示されている笑顔を表すアイコンは、その日にカウントされた笑顔の回数が例えば６〜１０回であることを表す。１日目の欄に表示されている大笑いを表すアイコンは、その日にカウントされた笑顔の回数が例えば１１回以上であることを表す。
【０１０４】
カレンダー画像Ｐに表示される笑顔の回数を表すアイコンがマウス操作などによって選択された場合、Webサーバ５３の表示制御部９３は、選択されたアイコンが表示されている日に撮影された画像（写真）の中で笑顔の度合いの最も高い画像として情報処理装置１により選択された画像をPC５２に送信し、ディスプレイに表示させる。
【０１０５】
情報処理装置１のユーザは、カレンダー画像Ｐに表示されるアイコンの種類から毎日の笑顔の回数を確認することができ、回数が少ない場合には、笑顔を積極的に作ろうと意識することができる。また、情報処理装置１のユーザの友人などが自身の機器を操作してWebサーバ５３にアクセスし、カレンダー画像Ｐを見ることによって、その友人は、情報処理装置１のユーザが笑顔を作っているか、すなわち明るい気分でいるかを確認することができる。
【０１０６】
なお、以上のようにして笑顔の回数を管理し、一覧表示する機能がPC５２に搭載されるようにしてもよい。この場合、PC５２には図１１の回数管理部９２、表示制御部９３が設けられ、情報処理装置１から送信されてきた情報に基づいて、笑顔の回数を一覧表示させる処理が行われる。情報処理装置１に回数管理部９２、表示制御部９３が設けられ、笑顔の回数を情報処理装置１に設けられたLEDマトリクス部１２やLCDの表示によって確認することができるようにしてもよい。
【０１０７】
［フォトフレームへの送信］
フォトフレーム５４に対する画像の送信機能について説明する。この場合、図８の情報処理装置１は、撮影画像に写るユーザの表情を認識し、アイコンを表示するなどしてフィードバックをユーザに与える。また、情報処理装置１は、笑顔を認識したとき、認識した笑顔が写っている画像をフォトフレーム５４に送信する。
【０１０８】
情報処理装置１から送信されてきた画像を受信したフォトフレーム５４は、受信した画像をディスプレイに表示させる。これにより、例えばフォトフレーム５４が情報処理装置１のユーザと異なる人の家に設置されているものである場合、フォトフレーム５４のユーザは、情報処理装置１のユーザの笑顔の画像を見ることができる。この機能は、特に、情報処理装置１のユーザが一人暮らしの老人であり、フォトフレーム５４のユーザがその子供である場合などに有用であると考えられる。フォトフレーム５４のユーザである子供は、情報処理装置１のユーザである親の笑顔を確認することができる。
【０１０９】
＜第３の実施の形態＞
ユーザが何か行動をとるときに笑顔を要求する機能である笑顔ゲートウエイ機能について説明する。
【０１１０】
図１６に示すように、情報処理装置１は、制御対象となる機器である制御対象機器１０１に有線、または無線によって電気的に接続される。制御対象機器１０１が冷蔵庫である場合について説明する。
【０１１１】
図１７は、情報処理装置１が取り付けられた冷蔵庫の外観を示す図である。
【０１１２】
図１７の冷蔵庫１１１は扉１１１Ａと本体１１１Ｂから構成される。扉１１１Ａは、扉１１１Ａの右側面に設けられるヒンジ（不図示）によって開閉可能に本体１１１Ｂに取り付けられている。扉１１１Ａの表面左側には取っ手１２１が設けられる。扉１１１Ａを開ける動作は、取っ手１２１を例えば右手で握り、白抜き矢印で示すように手前に引く動作になる。
【０１１３】
扉１１１Ａの表面であって、取っ手１２１の上方の位置には、筐体の正面が冷蔵庫１１１の前方を向くように情報処理装置１が取り付けられる。扉１１１Ａの左側面には、電子錠１２２を構成する部材１２２Ａが設けられ、本体１１１Ｂの左側面には、部材１２２Ａと対になって電子錠１２２を構成する部材１２２Ｂが設けられる。部材１２２Ａと部材１２２Ｂは、扉１１１Ａを閉めたときに互いに隣接する位置に設けられる。
【０１１４】
電子錠１２２は、破線で示すように情報処理装置１に接続され、情報処理装置１から供給される制御信号に従って、扉１１１Ａの施錠状態または解錠状態を切り替える。電子錠１２２が施錠状態にあるとき、ユーザは扉１１１Ａを開けることができず、解錠状態にあるとき扉１１１Ａを開けることが可能となる。
【０１１５】
このような状態で冷蔵庫１１１に取り付けられた情報処理装置１は、図１の情報処理装置１と同様に、画像を撮影してユーザの表情を認識し、アイコンを表示したりして表情に応じたフィードバックをユーザに与える。
【０１１６】
また、情報処理装置１は、ユーザの表情が笑顔であると認識した場合、解錠状態にすることを指示する制御信号を電子錠１２２に出力し、扉１１１Ａを開け、冷蔵庫１１１を使用することをユーザに許可する。また、情報処理装置１は、電子錠１２２の状態を解錠状態とした場合、ユーザが扉１１１Ａを閉めて冷蔵庫１１１の使用を終えたときに、施錠状態にすることを指示する制御信号を電子錠１２２に出力し、扉１１１Ａを開けることを禁止する。
【０１１７】
すなわち、ユーザは、冷蔵庫１１１の扉１１１Ａを開ける、すなわち冷蔵庫１１１を使用するためには笑顔を作る必要がある。このように、冷蔵庫１１１を使用するといった日常の動作に笑顔を要求し、笑顔をいわば強制することによって、情報処理装置１は、日頃から笑顔を作る意識をユーザに持たせることが可能になる。
【０１１８】
ここで、図１８のフローチャートを参照して、冷蔵庫１１１の使用の許可、不許可を制御する情報処理装置１の処理について説明する。なお、図１７の情報処理装置１は、図６または図１０の構成と同じ構成を有する。
【０１１９】
ステップＳ５１において、撮影部３１は撮影を行う。
【０１２０】
ステップＳ５２において、認識部３２は、撮影部３１により撮影された画像を解析し、ユーザの表情を認識する。
【０１２１】
ステップＳ５３において、制御部３３は、認識部３２から供給された情報に基づいて、ユーザの表情が笑顔であるか否かを判定する。
【０１２２】
ユーザの表情が笑顔であるとステップＳ５３において判定した場合、ステップＳ５４において、制御部３３は、SmileアイコンをLEDマトリクス部１２に表示させるなどしてフィードバックを与える。
【０１２３】
ステップＳ５５において、制御部３３は、制御信号を電子錠１２２に出力し、扉１１１Ａを解錠状態にする。これにより、ユーザは扉１１１Ａを開け、冷蔵庫１１１の中から食品などを取り出すことが可能になる。
【０１２４】
一方、ユーザの表情が笑顔ではないとステップＳ５３において判定した場合、ステップＳ５６において、制御部３３は、例えば冷蔵庫１１１の前にユーザがいることが検出されてから一定時間が経過したか否かを判定する。冷蔵庫１１１の前にユーザがいるか否かは、例えば撮影画像に基づいて認識部３２により認識される。
【０１２５】
一定時間が経過したとステップＳ５６において判定した場合も同様に、ステップＳ５５において、制御部３３は制御信号を電子錠１２２に出力し、扉１１１Ａを解錠状態にする。この例においては、冷蔵庫１１１の前にユーザがいることが検出されてから一定時間が経過した場合に笑顔を作らないでも扉１１１Ａを開けることが可能とされているが、笑顔を作らない限り開けることを許可しないようにしてもよい。
【０１２６】
ステップＳ５５において扉１１１Ａを解錠状態にした後、ステップＳ５７において、制御部３３は、ユーザが扉１１１Ａを閉めて冷蔵庫１１１から離れたか否かを判定し、冷蔵庫１１１から離れたと判定するまで待機する。例えば、扉１１１Ａを閉めたことが検出された場合、ユーザが冷蔵庫１１１から離れたとして判定される。
【０１２７】
ユーザが冷蔵庫１１１から離れたとステップＳ５７において判定した場合、ステップＳ５８において、制御部３３は制御信号を電子錠１２２に出力し、扉１１１Ａを施錠状態にする。扉１１１Ａが施錠状態になった後、またはステップＳ５６において一定時間が経過していないと判定された場合、ステップＳ５１に戻り、以上の処理が繰り返される。ユーザの表情が笑顔ではないとステップＳ５３において判定された場合、SadアイコンをLEDマトリクス部１２に表示させるなどしてフィードバックをユーザに与えるようにしてもよい。
【０１２８】
以上の処理により、情報処理装置１は、ユーザに笑顔をいわば強制させることができ、笑顔を作る意識をユーザに持たせることが可能になる。
【０１２９】
以上においては、制御対象の機器が冷蔵庫１１１であるものとしたが、日常生活においてユーザが使う様々な物に対するアクセス（許可／不許可）を制御することも可能である。
【０１３０】
例えば、建物内の扉に取り付けられた電子錠を制御対象の機器とし、扉を開くことの許可、不許可を制御することによって、笑顔にならなければ部屋に入ることができないといった軽い負荷をユーザに与え、笑顔を意識させることができる。また、IHクッキングヒータを制御対象の機器とし、IHクッキングヒータを使用することの許可、不許可を制御することによって、笑顔にならなければお湯を沸かすことができないといった軽い負荷をユーザに与え、笑顔を意識させることができる。
【０１３１】
さらに、テレビジョン受像機を制御対象の機器とし、テレビジョン受像機を使用することの許可、不許可を制御することによって、笑顔にならなければテレビ番組を視聴することができないといった軽い負荷をユーザに与え、笑顔を意識させることができる。自動車のエンジンを制御対象の機器とし、笑顔にならなければエンジンをかけることができない機能、PCを制御対象の機器として笑顔にならなければPCを起動させることができない機能といったように、笑顔をアクセスの条件とする各種の機能を実現することが可能である。
【０１３２】
［変形例等］
上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、汎用のパーソナルコンピュータなどにインストールされる。
【０１３３】
インストールされるプログラムは、光ディスク（CD-ROM(Compact Disc-Read Only Memory)，DVD(Digital Versatile Disc)等）や半導体メモリなどよりなる図１０のリムーバブルメディア８１に記録して提供される。また、ローカルエリアネットワーク、インターネット、デジタル放送といった、有線または無線の伝送媒体を介して提供されるようにしてもよい。プログラムは、ROM７２や記憶部７８に、あらかじめインストールしておくことができる。
【０１３４】
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
【０１３５】
本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
【０１３６】
なお、本技術は、以下のような構成もとることができる。
（１）
撮影された画像に写るユーザの顔の表情を認識する認識部と、
前記認識部により認識された表情が特定の表情である場合、前記ユーザによる機器の使用を許可するように前記機器を制御する制御部と
を備える情報処理装置。
（２）
前記ユーザの画像を撮影する撮影部をさらに備え、
前記認識部は、前記撮影部により撮影された前記画像に写る前記ユーザの顔の表情を認識する
前記（１）に記載の情報処理装置。
（３）
前記特定の表情は笑顔である
前記（１）または（２）に記載の情報処理装置。
（４）
前記認識部により前記特定の表情が認識された場合、前記特定の表情を表す情報を出力し、前記認識部により前記特定の表情ではない表情が認識された場合、前記特定の表情と異なる他の表情を表す情報を出力する出力部をさらに備える
前記（１）、（２）、または（３）に記載の情報処理装置。
（５）
前記制御部は、前記ユーザが前記機器の使用を終えた場合、前記ユーザによる前記機器の使用を不許可とするように前記機器を制御する
前記（１）乃至（４）のいずれかに記載の情報処理装置。
【符号の説明】
【０１３７】
１ 情報処理装置， １１ レンズ， １２ LEDマトリクス部， ３１ 撮影部， ３２ 認識部， ３３ 制御部， ６１ カウント部， ６２ 表示データ生成部， ６３ 画像管理部
【特許請求の範囲】
【請求項１】
撮影された画像に写るユーザの顔の表情を認識する認識部と、
前記認識部により認識された表情が特定の表情である場合、前記ユーザによる機器の使用を許可するように前記機器を制御する制御部と
を備える情報処理装置。
【請求項２】
前記ユーザの画像を撮影する撮影部をさらに備え、
前記認識部は、前記撮影部により撮影された前記画像に写る前記ユーザの顔の表情を認識する
請求項１に記載の情報処理装置。
【請求項３】
前記特定の表情は笑顔である
請求項１に記載の情報処理装置。
【請求項４】
前記認識部により前記特定の表情が認識された場合、前記特定の表情を表す情報を出力し、前記認識部により前記特定の表情ではない表情が認識された場合、前記特定の表情と異なる他の表情を表す情報を出力する出力部をさらに備える
請求項１に記載の情報処理装置。
【請求項５】
前記制御部は、前記ユーザが前記機器の使用を終えた場合、前記ユーザによる前記機器の使用を不許可とするように前記機器を制御する
請求項１に記載の情報処理装置。
【請求項６】
撮影された画像に写るユーザの顔の表情を認識し、
認識した表情が特定の表情である場合、前記ユーザによる機器の使用を許可するように前記機器を制御する
ステップを含む情報処理方法。
【請求項７】
撮影された画像に写るユーザの顔の表情を認識し、
認識した表情が特定の表情である場合、前記ユーザによる機器の使用を許可するように前記機器を制御する
ステップを含む処理をコンピュータに実行させるプログラム。
【請求項１】
撮影された画像に写るユーザの顔の表情を認識する認識部と、
前記認識部により認識された表情が特定の表情である場合、前記ユーザによる機器の使用を許可するように前記機器を制御する制御部と
を備える情報処理装置。
【請求項２】
前記ユーザの画像を撮影する撮影部をさらに備え、
前記認識部は、前記撮影部により撮影された前記画像に写る前記ユーザの顔の表情を認識する
請求項１に記載の情報処理装置。
【請求項３】
前記特定の表情は笑顔である
請求項１に記載の情報処理装置。
【請求項４】
前記認識部により前記特定の表情が認識された場合、前記特定の表情を表す情報を出力し、前記認識部により前記特定の表情ではない表情が認識された場合、前記特定の表情と異なる他の表情を表す情報を出力する出力部をさらに備える
請求項１に記載の情報処理装置。
【請求項５】
前記制御部は、前記ユーザが前記機器の使用を終えた場合、前記ユーザによる前記機器の使用を不許可とするように前記機器を制御する
請求項１に記載の情報処理装置。
【請求項６】
撮影された画像に写るユーザの顔の表情を認識し、
認識した表情が特定の表情である場合、前記ユーザによる機器の使用を許可するように前記機器を制御する
ステップを含む情報処理方法。
【請求項７】
撮影された画像に写るユーザの顔の表情を認識し、
認識した表情が特定の表情である場合、前記ユーザによる機器の使用を許可するように前記機器を制御する
ステップを含む処理をコンピュータに実行させるプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【公開番号】特開２０１２−１６９７７７（Ｐ２０１２−１６９７７７Ａ）
【公開日】平成２４年９月６日（２０１２．９．６）
【国際特許分類】
【出願番号】特願２０１１−２７６８０（Ｐ２０１１−２７６８０）
【出願日】平成２３年２月１０日（２０１１．２．１０）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
【公開日】平成２４年９月６日（２０１２．９．６）
【国際特許分類】
【出願日】平成２３年２月１０日（２０１１．２．１０）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
[ Back to top ]