画像表示装置、及び、プログラム
【課題】 ユーザの感情の変化に合わせて臨機応変に表示する画像を切り替えることのできる画像表示装置及びプログラムを提供する。
【解決手段】 複数の画像の中から予め定められた時間間隔毎に選択した画像を切り替えて表示部に表示させる画像表示装置において、表示部に表示された画像を閲覧する閲覧者の顔位置を含む範囲を撮影する撮影手段と、撮影手段による閲覧者の撮影データに基づいて閲覧者の顔の表情を認識する表情認識手段と、表情認識手段による認識結果に基づいて表示部に表示されている画像に対する閲覧者の好感度を示す好感度指標を設定する設定手段と、設定手段により設定された好感度指標を画像と関連付けて記憶する好感度記憶手段と、好感度記憶手段に記憶された好感度指標に基づいて表示部に表示させる画像を選択する制御手段と、を備えている。
【解決手段】 複数の画像の中から予め定められた時間間隔毎に選択した画像を切り替えて表示部に表示させる画像表示装置において、表示部に表示された画像を閲覧する閲覧者の顔位置を含む範囲を撮影する撮影手段と、撮影手段による閲覧者の撮影データに基づいて閲覧者の顔の表情を認識する表情認識手段と、表情認識手段による認識結果に基づいて表示部に表示されている画像に対する閲覧者の好感度を示す好感度指標を設定する設定手段と、設定手段により設定された好感度指標を画像と関連付けて記憶する好感度記憶手段と、好感度記憶手段に記憶された好感度指標に基づいて表示部に表示させる画像を選択する制御手段と、を備えている。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、デジタル画像を順番に切り替えて表示する画像表示装置、及び、プログラムに関する。
【背景技術】
【０００２】
デジタル画像を順次切り替えて表示させるデジタルフォトフレーム（デジタル写真立て）がある。このデジタルフォトフレームでは、複数の画像データをメモリや記憶装置に入力すると、所定の間隔で順番に、又は、ランダムにこれらの画像をデジタルフォトフレームのディスプレイ上に表示させることができる。
【０００３】
しかしながら、ランダムに、或いは、所定の順番で画像を表示させると、ユーザが見たい写真が見たいタイミングで表示されるとは限らない。むしろ、ユーザの気分にそぐわない写真が表示された結果、ユーザの感情を損ねる場合があるという問題がある。
【０００４】
従来、複数の画像データを視聴者に合わせて切り替える技術として、店舗や公共の場所で用いられる電子看板がある（例えば、特許文献１）。この電子看板のシステムでは、カメラを搭載し、ディスプレイを視聴している人の顔を撮影して性別や年齢を判定することで、判定されたカテゴリを対象とする商品の広告映像をこのディスプレイに表示したり、広告映像の表示中に視聴者が退屈な表情をした場合には、他の画像に切り替えたりする技術が開示されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００５−２６７６１１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、従来の画像選択方法は、年齢や性別において同一カテゴリに属する不特定多数の人々の平均的な嗜好に合わせて切り替えるものであり、従って、デジタルフォトフレームのように限られたユーザが繰り返し閲覧する場合において、ユーザ各々の感情の変化に合わせて臨機応変に切り替えることができないという課題があった。
【０００７】
この発明の目的は、ユーザの感情の変化に合わせて臨機応変に表示する画像を切り替えることのできる画像表示装置及びプログラムを提供することにある。
【課題を解決するための手段】
【０００８】
上記目的を達成するため、請求項１に記載の発明は、
複数の画像の中から予め定められた時間間隔毎に選択した画像を切り替えて表示部に表示させる画像表示装置において、
前記表示部に表示された画像を閲覧する閲覧者の顔位置を含む範囲を撮影する撮影手段と、
前記撮影手段による閲覧者の撮影データに基づいて当該閲覧者の顔の表情を認識する表情認識手段と、
前記表情認識手段による認識結果に基づいて前記表示部に表示されている画像に対する閲覧者の好感度を示す好感度指標を設定する設定手段と、
前記設定手段により設定された前記好感度指標を当該画像と関連付けて記憶する好感度記憶手段と、
前記好感度記憶手段に記憶された前記好感度指標に基づいて前記表示部に表示させる画像を選択する制御手段と、
を備えている。
【０００９】
請求項２記載の発明は、請求項１記載の画像表示装置において、
前記設定手段は、前記表示部に表示される画像の切り替え前に表示されていた画像に対する前記好感度指標と、前記表示部に表示される画像の切り替え前後で前記表情認識手段により認識された表情変化の方向とに基づいて、当該切り替え後に表示された画像に対する前記好感度指標を設定する
ことを特徴としている。
【００１０】
請求項３記載の発明は、請求項２記載の画像表示装置において、
前記設定手段は、前記表示部に表示される画像の切り替え前に表示されていた画像に対する前記好感度指標と、前記表示部に表示される画像の切り替え前後で前記表情認識手段により認識された表情変化の度合いとに基づいて、当該切り替え後の表示画像に対する前記好感度指標を設定する
ことを特徴としている。
【００１１】
請求項４記載の発明は、請求項１記載の画像表示装置において、
前記設定手段は、前記表示部に表示される画像の切り替え前後で前記表情認識手段により認識された表情変化の度合いと、当該切り替え前後の画像に対する前記好感度指標の差との比較結果に基づいて、前記切り替え後の表示画像に対する前記好感度指標を変化させる
ことを特徴としている。
【００１２】
請求項５記載の発明は、請求項１記載の画像表示装置において、
前記設定手段は、前記表示部に表示される画像の切り替え前後で前記表情認識手段により認識された表情変化の方向に基づいて、当該切り替え後の表示画像に対する前記好感度指標を変化させる
ことを特徴としている。
【００１３】
請求項６記載の発明は、請求項１〜５の何れか一項に記載の画像表示装置において、
前記制御手段は、一の画像に関連付けられた前記好感度指標が示す好感度が予め定められたレベルより低い場合には、当該画像を前記表示部に表示させる画像として選択しない
ことを特徴としている。
【００１４】
請求項７記載の発明は、請求項１〜５の何れか一項に記載の画像表示装置において、
前記制御手段は、前記表情認識手段により最初に認識された表情の種別に基づいて前記好感度指標の選択範囲を設定し、当該選択範囲内の好感度指標に関連付けられている画像を前記表示部に表示させる画像として選択する
ことを特徴としている。
【００１５】
請求項８記載の発明は、請求項７記載の画像表示装置において、
前記制御手段は、前記表情認識手段により認識された表情の累積的な変化に基づいて、前記好感度指標の前記選択範囲を変更する
ことを特徴としている。
【００１６】
請求項９記載の発明は、請求項１〜８の何れか一項に記載の画像表示装置において、
登録されている閲覧者の顔を識別する際に用いられる情報を記憶する閲覧者情報記憶手段と、
前記撮影手段による閲覧者の撮影データと、前記閲覧者情報記憶手段に記憶された情報とに基づいて、当該閲覧者を識別する閲覧者識別手段と、
を備え、
前記設定手段は、前記表情認識手段による認識結果に基づいて、前記表示部に表示されている画像に対する前記好感度指標を前記閲覧者識別手段により識別された閲覧者毎に設定し、
前記好感度記憶手段は、前記設定手段により設定された前記好感度指標を当該画像の画像データと関連付けて、前記閲覧者識別手段により識別された閲覧者毎に記憶する
ことを特徴としている。
【００１７】
請求項１０記載の発明は、
画像を表示する表示部と、当該表示部に表示された画像を閲覧する閲覧者の顔位置を撮影する撮影手段と、を備え、複数の画像の中から予め定められた時間間隔毎に選択した画像を切り替えて前記表示部に表示させる画像表示装置に用いられるコンピュータを、
前記撮影手段による閲覧者の撮影データに基づいて当該閲覧者の顔の表情を認識する表情認識手段と、
前記表情認識手段による認識結果に基づいて前記表示部に表示されている画像に対する閲覧者の好感度を示す好感度指標を設定する設定手段と、
前記設定手段により設定された前記好感度指標を当該画像と関連付けて記憶する好感度記憶手段と、
前記好感度記憶手段に記憶された前記好感度指標に基づいて前記表示部に表示させる画像を選択する制御手段と、
として機能させるためのプログラムである。
【発明の効果】
【００１８】
本発明に従うと、複数の画像の中から予め定められた時間間隔毎に選択した画像を切り替えて表示部に表示させる画像表示装置およびプログラムにおいて、撮影手段により表示部の閲覧者を撮影し、表情認識手段により認識されたこの閲覧者の顔の表情に基づいて前記表示部に表示されている画像に対する好感度指標を設定する設定手段と、前記好感度指標に基づいて表示部に表示させる画像を選択する制御手段と、を備えているので、ユーザの感情の変化に合わせて臨機応変に表示する画像を切り替えることができるという効果がある。
【図面の簡単な説明】
【００１９】
【図１】本発明の実施形態としてのデジタルフォトフレームの外観図である。
【図２】デジタルフォトフレームの内部構成を示すブロック図である。
【図３】不揮発性メモリに記憶させた各画像の好感度パラメータについて説明する図である。
【図４】画像表示装置の表示部に画像を順次表示する際に実行される表示制御処理の手順を示すフローチャートである。
【図５】表示制御処理の中で呼び出されて実行される画像選定処理の手順を示すフローチャートである。
【図６】表示制御処理の中で呼び出されて実行される好感度設定処理の手順の例を示すフローチャートである。
【図７】第２実施形態において不揮発性メモリに記憶させた各画像の好感度パラメータについて説明する図である。
【図８】第２実施形態における表示制御処理の手順を示すフローチャートである。
【発明を実施するための形態】
【００２０】
以下、本発明の実施の形態を図面に基づいて説明する。
【００２１】
［第１実施形態］
図１は、第１実施形態の画像表示装置としてのデジタルフォトフレームの外観図である。
【００２２】
このデジタルフォトフレーム１（以下、ＤＰＦ１と記す）は、図１（ａ）の正面付近から見た図に示されているように、前面には、表示部２と、表示部２の側面を囲むフレーム３と、フレーム３の前面上側に設けられた撮影手段としてのカメラ６などが備えられている。また、図１（ｂ）の側面やや後方から見た図に示されているように、フレーム３の背面には、箱体４がフレーム３と接して備えられ、この箱体４の側面には、操作ボタン８ａ〜８ｄを備えた操作部８と、リムーバブルメディアＭを挿入するメディア挿入部９と、電源入力端子１１と、外部のネットワークと接続するためのネットワーク接続端子１０などが備えられている。また、箱体４の後面には、脚部５と、スピーカ７などが備えられている。
【００２３】
表示部２は、例えば、光沢液晶パネルを用いた液晶ディスプレイである。或いは、有機ＥＬ（Electro-Luminescent）ディスプレイなどの他の表示方式のものであっても良い。
【００２４】
カメラ６は、ＤＰＦ１の正面から表示部２に表示される画像を閲覧するユーザを連続的に撮影するためのものであり、ユーザの一般的な閲覧時の顔位置に対応させて、表示部２正面の角度α、および、距離Ｌ０〜Ｌ１に亘って撮影可能となっている。
【００２５】
スピーカ７は、それぞれ箱体４の背面側に左右に分かれて設けられて、ステレオ音声を出力する左スピーカ７ａと右スピーカ７ｂとにより構成されている。或いは、１個のスピーカを備えてモノラル音声のみを出力可能としても良い。このスピーカ７からは、操作部８からの操作指令により、例えば、ユーザをリラックスさせるために予め設定されたＢＧＭを流したり、ユーザが記憶部に記憶させた音楽を流したりすることが可能となっている。或いは、カメラ６により撮影されたユーザの表情が特に険しい場合などには、自動的にユーザをリラックスさせるためのＢＧＭを流すように構成することとしても良い。
【００２６】
操作部８に設けられた操作ボタン８ａ〜８ｄは、例えば、それぞれ、電源スイッチ、メニュースイッチ、及び、次の画像に切り替えたり、一つ前の画像を再表示させたりするスイッチである。その他、スピーカ７の音量を調整するスイッチや入力切替スイッチなどを独立に備えることとしても良い。
【００２７】
メディア挿入部９は、例えば、ＳＤメモリカードを挿入するためのスロットである。或いは、ｍｉｎｉＳＤカード、ｍｉｃｒｏＳＤカード、ＭＭＣ（マルチメディアカード）、および、ＵＳＢフラッシュメモリといった各種のリムーバブルメディアを着脱可能な構成とすることができる。また、ネットワーク接続端子１０は、例えば、１００Ｂａｓｅ‐ＴＸなどのＬＡＮケーブルが接続可能な端子である。
【００２８】
図２は、ＤＰＦ１の内部構成を示すブロック図である。
【００２９】
ＤＰＦ１の箱体４の内部には、ＤＰＦ１の動作全体に係る制御統括を行う制御部１６と、電源部１４と、記憶部１５と、メディアＩ／Ｆ部１２と、入出力制御部１３などが備えられている。また、制御部１６には、表示部２と、カメラ６と、スピーカ７と、操作部８とが更に接続されている。
【００３０】
電源部１４は、電源入力端子１１に電源ケーブルを介して接続された外部電源から送られる電力に基づいて、制御部１６の他、ＤＰＦ１の各部に必要な電力を供給する。また、この電源部１４は、例えば、外部から送られる電力が一時的に途切れた際に、電力を独自に供給可能な蓄電池を備えることとしても良い。
【００３１】
記憶部１５は、表示部２に表示させる画像データや、スピーカ７から出力する音声データを格納する記憶装置である。この記憶部１５は、例えば、フラッシュメモリ、ＳＳＤ（Solid State Drive）といった不揮発性メモリや、ＨＤＤ（Hard Disk Drive）である。画像データは、静止画像データ（例えば、ＪＰＥＧ）だけではなく、動画（例えば、ＭＰＥＧ）を含むこととしても良い。
【００３２】
或いは、表示画像や音声は、リムーバブルメディアＭや外部ネットワークから取得することも可能である。メディアＩ／Ｆ部１２は、メディア挿入部９に挿入されたリムーバブルメディアＭと制御部１６とを接続するインターフェイスである。また、入出力制御部１３は、ネットワーク接続端子１０に接続されたＬＡＮケーブルを介して外部ネットワークとの間でやり取りされる情報の入出力を制御する。この入出力制御部１３は、ワイヤレスＬＡＮ、ブルートゥース（Bluetooth：登録商標）といった無線通信を利用して行う情報の入出力制御もできるように構成しても良い。
【００３３】
制御部１６には、制御処理や演算を実行するＣＰＵ（Central Processing Unit）１６１（表情認識手段、設定手段、制御手段、閲覧者識別手段）に加えて、ＲＡＭ（Random Access Memory）１６２、ＲＯＭ（Read Only Memory）１６３、および、ＥＥＰＲＯＭ（Electrically Erasable and Programmable Read Only Memory）１６４（好感度記憶手段、閲覧者情報記憶手段）などが備えられている。
【００３４】
ＲＡＭ１６２は、ＣＰＵ１６１に作業用メモリ空間を提供し、また、一時データを記憶する。ＲＯＭ１６３には、ＣＰＵ１６１が実行する種々の制御用のプログラム１６１ａや初期設定データが格納されている。ＥＥＰＲＯＭ１６４は、ＣＰＵ１６１が実行する表示制御プログラムにおいて設定される各画像の好感度パラメータが配列された好感度テーブルを保存している。この好感度テーブルは、必要に応じて上書き更新される。
【００３５】
図３には、ＥＥＰＲＯＭ１６４に保存された好感度テーブルの例を示す。
【００３６】
この好感度テーブル１６４ａには、記憶部１５やメディア挿入部９に挿入された状態のリムーバブルメディアＭに記憶されて、或いは、外部ネットワークから取得可能な画像としてリスト化され、表示部２に表示可能な各画像データのＩＤと、これらの画像に対する閲覧者の好感度パラメータとが関連付けて記憶されている。この画像ＩＤとしては、ＤＰＦ１で独自の番号を振ってもよいし、画像ファイル名をそのまま利用しても良い。好感度パラメータは、本実施形態のＤＰＦ１では、１〜１０の整数で示されている。或いは、−５〜＋５のように正負の値を用いても良いし、ステップ数は任意に設定可能である。また、新規に追加された画像データでまだ一度もユーザによって閲覧されていないものの好感度パラメータは、例えば、一括して“５”としても良いし、或いは、暖色系の画像では“６”、寒色系の画像では“５”に分類して設定しても良い。
【００３７】
また、この制御部１６では、記憶部１５などに記憶されたデジタルデータのうち、符号化された動画データや音声データ（例えば、ＭＰ３）を表示部２やスピーカ７から出力可能なデータ信号へデコードすることが可能である。
【００３８】
次に、第１実施形態のＤＰＦ１における画像の表示制御動作について説明する。
【００３９】
図４は、第１実施形態のＤＰＦ１において、制御部１６のＣＰＵ１６１が実行する表示制御処理の手順を示したフローチャートである。
【００４０】
この表示制御処理は、例えば、ユーザがＤＰＦ１の電源をオンすることで自動的に開始される処理である。表示制御処理が開始されると、先ず、ＣＰＵ１６１は、カメラ６に信号を送ってカメラ撮影動作を開始させる（ステップＳ１０１）。
【００４１】
ＣＰＵ１６１は、カメラ６の撮影データに基づいてユーザの表情の認識処理を行い、表示制御処理の開始時における初期表情の判別を行う（ステップＳ１０４）。この表情の認識手法としては、従来知られている任意の手法を用いることができる。例えば、ＦＡＣＳ（Facial Action Coding System）を利用し、表示画像を切り替えてから所定の時間経過したタイミングで撮影された画像データに基づいて表情の基本動作単位であるＡＵ（Action Unit）を検出して、この検出されたＡＵの組み合わせにより喜怒哀楽や嫌悪などの各表情に分類する。また、表示画像を切り替える前後に亘るカメラの動画撮影データに基づいて、感情の変化に伴う表情の動的変化や視線の変化を、例えば、表情譜を併用して認識することで、画像の閲覧による自発的な微笑みと外的な要因による笑顔とを分類するといったより詳細な感情およびその変化の方向や度合いを識別することとしても良い。また、舌打ちや嫌悪感を示す言葉といった特定のキーワードに対し、動画データに基づいて読唇することにより感情変化を読み取ることができるように構成しても良い。
【００４２】
次に、ＣＰＵ１６１は、判別された初期表情に基づいて、後述する画像選定処理を実行する（ステップＳ１０５）。ＣＰＵ１６１は、この画像選定処理で選定された画像を表示部２に表示させる（ステップＳ１０６）。このとき、前の表示画像から新たに選定された画像へと表示を切り替える際には、ＣＰＵ１６１は、前の画像を表示し始めてから予め定められた時間が経過した後に画像の切り替えを行う。
【００４３】
続いて、ＣＰＵ１６１は、カメラ６の撮影データに基づいて、画像データの切り替え前後におけるユーザの表情の変化を認識する。そして、ＣＰＵ１６１は、ユーザの表情がどの程度ポジティブな方向に変化したかを示す表情の変化量を数値化する（ステップＳ１０７）。この処理では、ＣＰＵ１６１は、上記のＦＡＣＳなどを用いて行う表情の識別処理において、特に、楽しい、嬉しい、幸せ、穏やか、および、和やかといった肯定的な感情を示す表情の度合いを数値化する。この数値（表情パラメータ）は、特に制限されないが、例えば、各画像に対する好感度パラメータのステップ数やステップ間隔の設定基準と同等に設定することができる。そして、前回の表示画像に対するユーザの表情パラメータと、現在の表示画像に対するユーザの表情パラメータとの差分値を表情の変化量として取得する。
【００４４】
そして、取得された表情の変化量の値に基づいて、ＣＰＵ１６１は、後述する好感度設定処理を行い、表示されている画像に対するユーザの好感度パラメータの値を設定する（ステップＳ１０８）。ＣＰＵ１６１は、ＥＥＰＲＯＭ１６４に記憶されている元の好感度パラメータの値をこの新たに設定された好感度パラメータの値で上書き更新する（ステップＳ１０９）。
【００４５】
ＣＰＵ１６１は、所定時間の経過後にステップＳ１０５の処理へ戻って、ステップＳ１０５〜Ｓ１０９の処理を繰り返す。この表示制御処理は、例えば、ユーザが電源スイッチを押下したり終了タイマーを設定したりして電源をオフするか、メニュースイッチを押下して他のコマンドを実行する場合に終了される。
【００４６】
次に、上記の表示制御処理で呼び出された画像選定処理について説明する。
【００４７】
図５は、画像選定処理の制御手順を示したフローチャートである。
【００４８】
画像選定処理が呼び出されると、ＣＰＵ１６１は、初期表情のデータを取得し、何れの種類の表情であるかを判別する。初期表情が楽しい表情であったと判別された場合には（ステップＳ２０１で“ＹＥＳ”）、ＣＰＵ１６１は、先ず、最初の選択対象画像の初期好感度パラメータを“９”に設定する（ステップＳ２０２）。それから、ユーザの気分を良い状態で保つように、ＣＰＵ１６１は、次回、表示部２に表示させる画像として好感度パラメータ“５”〜“１０”の範囲から、特に、好感度パラメータ“９”の画像が優先的に選択されるような重み付けを各好感度パラメータに設定して、画像を選択する（ステップＳ２０３）。そして、ＣＰＵ１６１の処理は、１回画像が選択される毎に、表示制御処理へ戻る。
【００４９】
初期表情が怒った表情であったと判別された場合には（ステップＳ２０１で“ＮＯ”、ステップＳ２１１で“ＹＥＳ”）、ＣＰＵ１６１は、先ず、最初の選択対象画像の初期好感度パラメータを“５”または“６”に設定する（ステップＳ２１２）。それから、ＣＰＵ１６１は、２度目以降の選択対象とする画像の好感度パラメータの範囲をやや狭く設定して（例えば、初期段階で好感度パラメータ“５”〜“７”）、毎回好感度パラメータを上下させながら画像を選択する（ステップＳ２１３）。また、ＣＰＵ１６１は、ユーザの表情の変化を確認しながら表情パラメータの上昇に合わせて選択対象とする画像の好感度パラメータの範囲を徐々に上昇させていく。そして、ＣＰＵ１６１の処理は、１回画像が選択される毎に、表示制御処理へ戻る。
【００５０】
初期表情が哀しい表情であったと判別された場合には（ステップＳ２０１、Ｓ２１１で“ＮＯ”、ステップＳ２２１で“ＹＥＳ”）、ＣＰＵ１６１は、先ず、最初の選択対象画像の初期好感度パラメータを“６”または“７”に設定する（ステップＳ２２２）。それから、ＣＰＵ１６１は、ユーザの表情の変化を毎回確認しながら表情パラメータに合う好感度パラメータの画像を優先的に選択する。また、ＣＰＵ１６１は、表情パラメータの上昇に合わせて選択対象とする画像の好感度パラメータの範囲を少しずつゆっくりと上昇させていく（ステップＳ２２３）。そして、ＣＰＵ１６１の処理は、１回画像が選択される毎に、表示制御処理へ戻る。
【００５１】
初期表情が上記のいずれでもないと判別された場合、例えば、その他、特別な感情表現の出ていない普通の表情、或いは、無表情であった場合には（ステップＳ２０１、Ｓ２１１、Ｓ２２１で“ＮＯ”）、ＣＰＵ１６１は、先ず、最初の選択対象画像の初期好感度パラメータを“７”に設定する（ステップＳ２３２）。それから、ユーザの気分を向上させるように、ＣＰＵ１６１は、次回の表示画像として、好感度パラメータ“７”を中心に好感度パラメータが“５”〜“９”の範囲から画像が選択されるような重み付けを各好感度パラメータに対して行った上で、画像を選択する。また、ＣＰＵ１６１は、画像選定処理が呼び出される回数が増えるに従って徐々に好感度パラメータの大きい画像が優先的に選択されるようにこの重みを変更していく（ステップＳ２３３）。そして、ＣＰＵ１６１の処理は、１回画像が選択される毎に、表示制御処理へ戻る。
【００５２】
なお、上記の画像選定処理は、表示制御処理の開始時に判別された初期表情に基づいて継続的に繰り返し実行されるが、例えば、中途で初期表情から大きく表情が変化した場合には、改めて初期表情を設定しなおしても良いし、或いは、初期表情のデータは、判別内容に拠らず所定の時間有効としても良い。
【００５３】
次に、表示制御処理の中で呼び出されて実行される好感度設定処理について説明する。
【００５４】
図６は、好感度設定処理の種々の例を示すフローチャートである。
【００５５】
図６（ａ）は、好感度設定処理の例その１である。この好感度設定処理が呼び出されると、ＣＰＵ１６１は、現在表示されている画像の好感度パラメータとして、表情の変化量の値を前回表示した画像の好感度パラメータに加算した値に設定し、好感度テーブル１６４ａのデータを更新する。そして、表示制御処理に戻る。
【００５６】
図６（ｂ）は、好感度設定処理の例その２である。この好感度設定処理が呼び出されると、ＣＰＵ１６１は、先ず、現在の表示画像への切り替えの前後における表情変化量の値が正であるか否かを判別する（ステップＳ３１１）。表情変化量が正であると判別され、即ち、ユーザの気分が改善されたと判断された場合には、ステップＳ３１２へ移行し、ＣＰＵ１６１は、現在表示中の画像の好感度パラメータを前回表示した画像の好感度パラメータより１大きい値に設定する（ステップＳ３１２）。そして、ＣＰＵ１６１の処理は、表示制御処理へ戻る。一方、表情変化量が正ではないと判別され、即ち、ユーザの気分が改善されなかったと判断された場合には、ステップＳ３１３へ移行し、ＣＰＵ１６１は、現在表示中の画像の好感度パラメータを前回表示した画像の好感度パラメータより１小さい値に設定する。そして、ＣＰＵ１６１の処理は、表示制御処理へ戻る。
【００５７】
図６（ｃ）は、好感度設定処理の例その３である。この好感度設定処理が呼び出されると、ＣＰＵ１６１は、ユーザの現在の表示画像に対する好感度パラメータと前回表示した画像に対する好感度パラメータとの差が、前回の表示画像から現在の表示画像への切り替えの前後における表情変化量の値よりも、大きいか否かを判別する（ステップＳ３２１）。好感度パラメータの差が表情変化量よりも大きいと判別された場合には、“ＹＥＳ”へ分岐し、ＣＰＵ１６１は、表示画像の好感度パラメータを前画像の好感度パラメータから１減じた値に設定する（ステップＳ３２２）。そして、ＣＰＵ１６１の処理は、表示制御処理に戻る。一方、好感度パラメータの差が表情変化量の値よりも小さいと判別された場合には、“ＮＯ”に分岐して、ＣＰＵ１６１は、表示画像の好感度パラメータを前画像の好感度パラメータに１を加算した値に設定する（ステップＳ３２３）。そして、ＣＰＵ１６１の処理は、表示制御処理に戻る。ここで、表示画像の元の好感度パラメータが上記の設定により上昇する好感度パラメータの値より更に大きい場合や、上記の設定により低下する好感度パラメータの値より更に小さい場合などには、表示画像に対する好感度パラメータを算出された設定値に変更しないこととしても良い。
【００５８】
図６（ｄ）は、好感度設定処理の例その４である。この好感度設定処理が呼び出されると、ＣＰＵ１６１は、現在の表示画像への切り替えの前後における表情変化量の値が正であるか否かを判別する（ステップＳ３３１）。表情変化量が正であると判別され、即ち、ユーザの気分が改善されたと判断された場合には、ステップＳ３３２へ移行し、ＣＰＵ１６１は、現在表示中の画像の好感度パラメータの値を１増加させる。それからＣＰＵ１６１の処理は、表示制御処理へ戻る。一方、表情変化量が正ではないと判別され、即ち、ユーザの気分が改善されなかったと判断された場合には、ＣＰＵ１６１は、現在表示中の画像の好感度パラメータを１減少させる（ステップＳ３３３）。それから、ＣＰＵ１６１の処理は、表示制御処理へ戻る。
【００５９】
図６（ｅ）は、好感度設定処理の例その５である。この好感度設定処理が呼び出されると、ＣＰＵ１６１は、現在の表示画像に対するユーザの好感度パラメータと前回表示した画像に対するユーザの好感度パラメータとの差が、前回の表示画像から現在の表示画像への切り替えの前後における表情変化量の値よりも大きいか否かを判別する（ステップＳ３４１）。好感度パラメータの差が表情変化量よりも大きいと判別された場合には、“ＹＥＳ”へ分岐し、ＣＰＵ１６１は、現在表示中の画像の好感度パラメータの値を１減少させる（ステップＳ３４２）。それからＣＰＵ１６１の処理は、表示制御処理へ戻る。一方、好感度パラメータの差が表情変化量よりも小さいと判別された場合には、“ＮＯ”に分岐して、ＣＰＵ１６１は、現在表示中の画像の好感度パラメータの値を１増加させる（ステップＳ３４３）。それから、ＣＰＵ１６１の処理は、表示制御処理へ戻る。
【００６０】
以上のように、第１実施形態のＤＰＦ１によれば、ＤＰＦ１の表面に設けられたカメラ６によって表示部２に表示された画像を閲覧するユーザの顔を撮影し、この撮影された画像データに基づいてユーザの表情を認識するとともに、この認識結果に基づきユーザの表示画像に対する好感度を設定することができる。そして、この設定された好感度を示すパラメータをＥＥＰＲＯＭ１６４に記憶させ、また、当該ユーザに対して表示する画像の選択基準として用いることができるので、複数の画像の中からユーザの閲覧時の気分に適した画像を選択的に表示部２に表示させることができる。
【００６１】
また、画像の切り替えによって表情がポジティブに変化したか否かにより、画像の切り替え前の表示画像に対する好感度パラメータを基準として、切り替え後の表示画像に対する好感度パラメータを毎回設定するので、ユーザの閲覧時の気分に対応する相対的な好感度を素早く反映して、ユーザの気分に適した画像を選択的に表示部２に表示させることができる。
【００６２】
また、画像の切り替え前の表示画像に対する好感度パラメータを基準として、画像の切り替え前後での表情の変化の変化量に基づいて切り替え後の表示画像に対する好感度パラメータを設定することで、前回表示された際には好ましい画像であったものであっても今回の気分にそぐわない場合などには、臨機応変に好感度パラメータを変化させて表示の制御を行うことができる。
【００６３】
また、表示画像の切り替え前後での表情変化の変化量と、切り替え前後の画像に設定されていた好感度パラメータの差とを比較して、表情の変化量の方が好感度パラメータの差よりも大きい場合には、好感度パラメータの差を大きくするように切り替え後の表示画像に対する好感度パラメータを変更し、表情の変化量よりも好感度パラメータの差の方が大きい場合には、好感度パラメータの差を小さくするように画像切り替え後の表示画像に対する好感度を変更することができるので、表示画像に対し、相対的な表情の変化量を適切に反映した好感度パラメータを設定することで、よりユーザの気分に適した画像を選択することができる。
【００６４】
また、表示画像の切り替え前後での表情変化の方向に基づいて、切り替え後の画像に設定されていた好感度パラメータを増減させるので、ユーザの気分を改善する方向へ変化させる画像に対して容易により高い好感度パラメータの設定をすることができる。
【００６５】
また、表示画像の選択から好感度パラメータが低い画像を排除することができるので、ユーザを不快な気分にさせず、気持ちよく画像を閲覧させることができる。特に、他人から貰った画像についても、データを整理する手間をかけることなくユーザにとって好ましい画像を選択して表示部２に表示させることができる。
【００６６】
また、画像表示を開始する際のユーザの表情を判別し、喜怒哀楽の各表情に基づいて、その後表示させる画像の好感度パラメータの範囲を設定することにより、楽しい気分を維持させるのに適した画像、哀しい気分を紛らわし、リフレッシュさせるのに適した画像、或いは、腹立たしい気分を転換してリラックスさせるのに適した画像をそれぞれ適切に選択することで、ユーザの気分を向上させることができる。
【００６７】
また、表示画像を選択する好感度パラメータの範囲を、各ユーザの表情が初期表情から変化するのに合わせて逐次変更していくことにより、スムーズにユーザの気分の向上に合った画像を表示させ続けることができる。
【００６８】
［第２実施形態］
次に、第２実施形態の画像表示装置としてのＤＰＦについて説明する。この第２実施形態のＤＰＦでは、複数のユーザに対し、各画像に対する各々の好感度パラメータおよび表情に応じてそれぞれ画像を選択して表示させることができる。第２実施形態におけるＤＰＦ１の構成は、図１、および、図２に示した第１実施形態のＤＰＦ１の構成と同一であり、同一の符号を付して説明を省略する。
【００６９】
図７は、第２実施形態のＤＰＦ１においてＥＥＰＲＯＭ１６４に記憶させた各画像の好感度パラメータについて説明する図である。
【００７０】
図７（ａ）、（ｂ）に示すように、このＥＥＰＲＯＭ１６４には、２つのテーブルが記憶されている。一方のテーブルは、図７（ａ）に示すように、複数のユーザ（Ｐ０１〜Ｐ０３）それぞれの各画像（１００１〜）に対する好感度パラメータを保存する好感度テーブル１６４ｂである。他方のテーブルは、ユーザ登録テーブル１６４ｃであり、図７（ｂ）に示すように、複数のユーザを識別するためのユーザＩＤと、各ユーザに対応する顔データの特徴を示すデータとが関連付けられて保存されている。
【００７１】
図８は、第２実施形態のＤＰＦ１において、ＣＰＵ１６１が実行する表示制御処理の手順を示したフローチャートである。図４に示した第１実施形態のＤＰＦ１における表示制御処理と同一の処理に関しては、同一の符号を付して説明を省略する。
【００７２】
第２実施形態における表示制御処理では、カメラ撮影を開始させた（ステップＳ１０１）後に、ＣＰＵ１６１は、カメラ６による撮影データに基づいてＤＰＦ１の表示画像を閲覧するユーザの識別処理を行う（ステップＳ１０２）。ＣＰＵ１６１は、撮影データに含まれる顔の特徴的なパラメータを抽出し、ユーザ登録テーブル１６４ｃに記憶された各々のユーザの顔の特徴データと比較参照して、登録ユーザ中から抽出された特徴的なパラメータが一致するユーザを識別する。
【００７３】
ステップＳ１０２の処理によりユーザが識別されると、ＣＰＵ１６１は、識別されたユーザのユーザＩＤに基づいて好感度テーブル１６４ｂのうちから当該ユーザの好感度パラメータに対応する列を指定して、必要な好感度パラメータのデータを取得する（ステップＳ１０３）。そして、ＣＰＵ１６１の処理は、ステップＳ１０４へ移行する。
【００７４】
また、ステップＳ１０８の好感度設定処理で表示画像に対する好感度パラメータが設定されると、ＣＰＵ１６１は、好感度テーブル１６４ｂにおいて、当該ユーザに対応する列の表示画像に対する好感度パラメータの値を更新する（ステップＳ１０９ａ）。そして、ＣＰＵ１６１の処理は、ステップＳ１０５へ戻る。
【００７５】
以上のように、第２実施形態のＤＰＦ１によれば、カメラ６の撮影画像に基づいて複数のユーザの顔をそれぞれ識別することができる。また、ＥＥＰＲＯＭ１６４には、好感度パラメータの設定をユーザ毎に行うことができるので、複数のユーザがＤＰＦ１を利用する場合であっても、認識されたユーザ毎に画像を選択して表示部２に表示させることができるので、各々のユーザにとって不快な画像を排除し、気分に合った適切な画像を選択表示させることができる。
【００７６】
なお、本発明は、上記実施の形態に限られるものではなく、様々な変更が可能である。例えば、上記の実施の形態では、好感度パラメータとしてスカラー値を設定したが、これに限られない。例えば、喜度値や弛緩値といった複数のパラメータを設定し、二次元や三次元ベクトル値に基づいて積極的な楽しみや喜びと、穏やかさや和み具合といった安定性とを識別することで、表示画像の選択をより細かく制御しても良い。また、好感度パラメータは数値に限られず、例えば、アルファベットを利用することとしても良い。
【００７７】
また、上記の実施の形態では、カメラ６によりユーザの可視光画像を撮影したが、赤外線撮影画像を併用して、例えば、ユーザの発熱具合を表情の判断材料に加えることとしても良い。
【００７８】
また、上記の実施の形態では、毎回１枚の画像を選択して表示させたが、複数枚の画像を組み合わせて表示させても良い。
【００７９】
また、上記の実施形態では、好感度が４以下に下がった画像は、以降表示されないが、例えば、所定の時間間隔以上表示されなかった画像に関しては、ユーザの表情がとても楽しげな場合に限って再度表示させることとしても良い。或いは、好感度が非常に低い画像を記憶部１５から消去可能に構成することとしてもよい。
【００８０】
また、上記実施の形態では、ユーザの表情の相対的な変化に基づいて好感度パラメータの値を設定したが、表情パラメータの絶対値に基づいて好感度パラメータを設定することとしても良い。
【００８１】
また、上記の実施形態で示した表示画像の選択方法は、一例であり、各回に選択する画像の好感度パラメータの範囲の設定方法やこの範囲内での重み付け方法は、任意に設定可能である。
【００８２】
また、上記の実施形態では、初期表情の分類として楽しみ、怒り、哀しみ、無表情やその他という４パターンを設定したが、この分類パターンに限られない。より多くの分類パターンを設けても良いし、逆に、分類せずに一定の基準に基づいて表示画像を選択しても良い。
【００８３】
また、上記の第２の実施形態では、複数のユーザをユーザ登録テーブル１６４ｃに登録し、また、各々のユーザに対して個別の好感度テーブル１６４ｂを設定したが、この複数のユーザは、事前に操作部８からの入力により登録設定を行っても良いし、或いは、所定の回数以上検出されたユーザに対して自動的に登録することとしても良い。また、逆に、一定期間以上検出されないユーザの登録設定を消去可能としてもよい。また、表示部２の閲覧者がユーザ登録テーブル１６４ｃに登録されていないと判別された場合には、例えば、設定されている好感度パラメータの平均値と、当該閲覧者の表情の変化量とに基づいて表示画像の選択制御を行い、また、好感度テーブルのデータの更新は行わないこととしても良いし、或いは、最初から表示画像の選択制御を行わずに、完全にランダムな表示画像の選択を行うこととしても良い。
【００８４】
また、上記実施の形態の説明では、本発明に係るプログラムのコンピュータ読み取り可能な媒体としてＲＯＭ１６３を使用した例を開示したが、この例に限定されない。その他のコンピュータ読み取り可能な媒体として、フラッシュメモリなどの不揮発性メモリ、ＣＤ−ＲＯＭなどの可搬型記録媒体を適用することが可能である。また、通信回線を介して本発明に係るプログラムのデータを提供する媒体として、キャリアウェーブ（搬送波）も本発明に適用される。
【００８５】
また、上記実施の形態では、画像表示装置としてデジタルフォトフレームを例に挙げて説明したが、これに限られない。例えば、携帯電話、ＰＤＡ（Personal Digital Assistant）、スマートフォンなどの携帯機器に適用しても良い。或いは、カメラおよびディスプレイが接続されたＰＣやビデオ装置の画像表示機能としても利用可能である。その他、上記の実施形態に示した具体的な構成や配置、数値などの細部は、発明の趣旨を逸脱しない限りにおいて適宜変更可能である。
【符号の説明】
【００８６】
１ デジタルフォトフレーム（ＤＰＦ）
２ 表示部
３ フレーム
４ 箱体
５ 脚部
６ カメラ
７ スピーカ
７ａ 左スピーカ
７ｂ 右スピーカ
８ 操作部
８ａ-８ｄ 操作ボタン
９ メディア挿入部
１０ ネットワーク接続端子
１１ 電源入力端子
１２ メディアＩ／Ｆ部
１３ 入出力制御部
１４ 電源部
１５ 記憶部
１６ 制御部
１６１ ＣＰＵ
１６１ａ プログラム
１６２ ＲＡＭ
１６３ ＲＯＭ
１６４ ＥＥＰＲＯＭ
１６４ａ、１６４ｂ 好感度テーブル
１６４ｃ ユーザ登録テーブル
Ｍ リムーバブルメディア
【技術分野】
【０００１】
この発明は、デジタル画像を順番に切り替えて表示する画像表示装置、及び、プログラムに関する。
【背景技術】
【０００２】
デジタル画像を順次切り替えて表示させるデジタルフォトフレーム（デジタル写真立て）がある。このデジタルフォトフレームでは、複数の画像データをメモリや記憶装置に入力すると、所定の間隔で順番に、又は、ランダムにこれらの画像をデジタルフォトフレームのディスプレイ上に表示させることができる。
【０００３】
しかしながら、ランダムに、或いは、所定の順番で画像を表示させると、ユーザが見たい写真が見たいタイミングで表示されるとは限らない。むしろ、ユーザの気分にそぐわない写真が表示された結果、ユーザの感情を損ねる場合があるという問題がある。
【０００４】
従来、複数の画像データを視聴者に合わせて切り替える技術として、店舗や公共の場所で用いられる電子看板がある（例えば、特許文献１）。この電子看板のシステムでは、カメラを搭載し、ディスプレイを視聴している人の顔を撮影して性別や年齢を判定することで、判定されたカテゴリを対象とする商品の広告映像をこのディスプレイに表示したり、広告映像の表示中に視聴者が退屈な表情をした場合には、他の画像に切り替えたりする技術が開示されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００５−２６７６１１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、従来の画像選択方法は、年齢や性別において同一カテゴリに属する不特定多数の人々の平均的な嗜好に合わせて切り替えるものであり、従って、デジタルフォトフレームのように限られたユーザが繰り返し閲覧する場合において、ユーザ各々の感情の変化に合わせて臨機応変に切り替えることができないという課題があった。
【０００７】
この発明の目的は、ユーザの感情の変化に合わせて臨機応変に表示する画像を切り替えることのできる画像表示装置及びプログラムを提供することにある。
【課題を解決するための手段】
【０００８】
上記目的を達成するため、請求項１に記載の発明は、
複数の画像の中から予め定められた時間間隔毎に選択した画像を切り替えて表示部に表示させる画像表示装置において、
前記表示部に表示された画像を閲覧する閲覧者の顔位置を含む範囲を撮影する撮影手段と、
前記撮影手段による閲覧者の撮影データに基づいて当該閲覧者の顔の表情を認識する表情認識手段と、
前記表情認識手段による認識結果に基づいて前記表示部に表示されている画像に対する閲覧者の好感度を示す好感度指標を設定する設定手段と、
前記設定手段により設定された前記好感度指標を当該画像と関連付けて記憶する好感度記憶手段と、
前記好感度記憶手段に記憶された前記好感度指標に基づいて前記表示部に表示させる画像を選択する制御手段と、
を備えている。
【０００９】
請求項２記載の発明は、請求項１記載の画像表示装置において、
前記設定手段は、前記表示部に表示される画像の切り替え前に表示されていた画像に対する前記好感度指標と、前記表示部に表示される画像の切り替え前後で前記表情認識手段により認識された表情変化の方向とに基づいて、当該切り替え後に表示された画像に対する前記好感度指標を設定する
ことを特徴としている。
【００１０】
請求項３記載の発明は、請求項２記載の画像表示装置において、
前記設定手段は、前記表示部に表示される画像の切り替え前に表示されていた画像に対する前記好感度指標と、前記表示部に表示される画像の切り替え前後で前記表情認識手段により認識された表情変化の度合いとに基づいて、当該切り替え後の表示画像に対する前記好感度指標を設定する
ことを特徴としている。
【００１１】
請求項４記載の発明は、請求項１記載の画像表示装置において、
前記設定手段は、前記表示部に表示される画像の切り替え前後で前記表情認識手段により認識された表情変化の度合いと、当該切り替え前後の画像に対する前記好感度指標の差との比較結果に基づいて、前記切り替え後の表示画像に対する前記好感度指標を変化させる
ことを特徴としている。
【００１２】
請求項５記載の発明は、請求項１記載の画像表示装置において、
前記設定手段は、前記表示部に表示される画像の切り替え前後で前記表情認識手段により認識された表情変化の方向に基づいて、当該切り替え後の表示画像に対する前記好感度指標を変化させる
ことを特徴としている。
【００１３】
請求項６記載の発明は、請求項１〜５の何れか一項に記載の画像表示装置において、
前記制御手段は、一の画像に関連付けられた前記好感度指標が示す好感度が予め定められたレベルより低い場合には、当該画像を前記表示部に表示させる画像として選択しない
ことを特徴としている。
【００１４】
請求項７記載の発明は、請求項１〜５の何れか一項に記載の画像表示装置において、
前記制御手段は、前記表情認識手段により最初に認識された表情の種別に基づいて前記好感度指標の選択範囲を設定し、当該選択範囲内の好感度指標に関連付けられている画像を前記表示部に表示させる画像として選択する
ことを特徴としている。
【００１５】
請求項８記載の発明は、請求項７記載の画像表示装置において、
前記制御手段は、前記表情認識手段により認識された表情の累積的な変化に基づいて、前記好感度指標の前記選択範囲を変更する
ことを特徴としている。
【００１６】
請求項９記載の発明は、請求項１〜８の何れか一項に記載の画像表示装置において、
登録されている閲覧者の顔を識別する際に用いられる情報を記憶する閲覧者情報記憶手段と、
前記撮影手段による閲覧者の撮影データと、前記閲覧者情報記憶手段に記憶された情報とに基づいて、当該閲覧者を識別する閲覧者識別手段と、
を備え、
前記設定手段は、前記表情認識手段による認識結果に基づいて、前記表示部に表示されている画像に対する前記好感度指標を前記閲覧者識別手段により識別された閲覧者毎に設定し、
前記好感度記憶手段は、前記設定手段により設定された前記好感度指標を当該画像の画像データと関連付けて、前記閲覧者識別手段により識別された閲覧者毎に記憶する
ことを特徴としている。
【００１７】
請求項１０記載の発明は、
画像を表示する表示部と、当該表示部に表示された画像を閲覧する閲覧者の顔位置を撮影する撮影手段と、を備え、複数の画像の中から予め定められた時間間隔毎に選択した画像を切り替えて前記表示部に表示させる画像表示装置に用いられるコンピュータを、
前記撮影手段による閲覧者の撮影データに基づいて当該閲覧者の顔の表情を認識する表情認識手段と、
前記表情認識手段による認識結果に基づいて前記表示部に表示されている画像に対する閲覧者の好感度を示す好感度指標を設定する設定手段と、
前記設定手段により設定された前記好感度指標を当該画像と関連付けて記憶する好感度記憶手段と、
前記好感度記憶手段に記憶された前記好感度指標に基づいて前記表示部に表示させる画像を選択する制御手段と、
として機能させるためのプログラムである。
【発明の効果】
【００１８】
本発明に従うと、複数の画像の中から予め定められた時間間隔毎に選択した画像を切り替えて表示部に表示させる画像表示装置およびプログラムにおいて、撮影手段により表示部の閲覧者を撮影し、表情認識手段により認識されたこの閲覧者の顔の表情に基づいて前記表示部に表示されている画像に対する好感度指標を設定する設定手段と、前記好感度指標に基づいて表示部に表示させる画像を選択する制御手段と、を備えているので、ユーザの感情の変化に合わせて臨機応変に表示する画像を切り替えることができるという効果がある。
【図面の簡単な説明】
【００１９】
【図１】本発明の実施形態としてのデジタルフォトフレームの外観図である。
【図２】デジタルフォトフレームの内部構成を示すブロック図である。
【図３】不揮発性メモリに記憶させた各画像の好感度パラメータについて説明する図である。
【図４】画像表示装置の表示部に画像を順次表示する際に実行される表示制御処理の手順を示すフローチャートである。
【図５】表示制御処理の中で呼び出されて実行される画像選定処理の手順を示すフローチャートである。
【図６】表示制御処理の中で呼び出されて実行される好感度設定処理の手順の例を示すフローチャートである。
【図７】第２実施形態において不揮発性メモリに記憶させた各画像の好感度パラメータについて説明する図である。
【図８】第２実施形態における表示制御処理の手順を示すフローチャートである。
【発明を実施するための形態】
【００２０】
以下、本発明の実施の形態を図面に基づいて説明する。
【００２１】
［第１実施形態］
図１は、第１実施形態の画像表示装置としてのデジタルフォトフレームの外観図である。
【００２２】
このデジタルフォトフレーム１（以下、ＤＰＦ１と記す）は、図１（ａ）の正面付近から見た図に示されているように、前面には、表示部２と、表示部２の側面を囲むフレーム３と、フレーム３の前面上側に設けられた撮影手段としてのカメラ６などが備えられている。また、図１（ｂ）の側面やや後方から見た図に示されているように、フレーム３の背面には、箱体４がフレーム３と接して備えられ、この箱体４の側面には、操作ボタン８ａ〜８ｄを備えた操作部８と、リムーバブルメディアＭを挿入するメディア挿入部９と、電源入力端子１１と、外部のネットワークと接続するためのネットワーク接続端子１０などが備えられている。また、箱体４の後面には、脚部５と、スピーカ７などが備えられている。
【００２３】
表示部２は、例えば、光沢液晶パネルを用いた液晶ディスプレイである。或いは、有機ＥＬ（Electro-Luminescent）ディスプレイなどの他の表示方式のものであっても良い。
【００２４】
カメラ６は、ＤＰＦ１の正面から表示部２に表示される画像を閲覧するユーザを連続的に撮影するためのものであり、ユーザの一般的な閲覧時の顔位置に対応させて、表示部２正面の角度α、および、距離Ｌ０〜Ｌ１に亘って撮影可能となっている。
【００２５】
スピーカ７は、それぞれ箱体４の背面側に左右に分かれて設けられて、ステレオ音声を出力する左スピーカ７ａと右スピーカ７ｂとにより構成されている。或いは、１個のスピーカを備えてモノラル音声のみを出力可能としても良い。このスピーカ７からは、操作部８からの操作指令により、例えば、ユーザをリラックスさせるために予め設定されたＢＧＭを流したり、ユーザが記憶部に記憶させた音楽を流したりすることが可能となっている。或いは、カメラ６により撮影されたユーザの表情が特に険しい場合などには、自動的にユーザをリラックスさせるためのＢＧＭを流すように構成することとしても良い。
【００２６】
操作部８に設けられた操作ボタン８ａ〜８ｄは、例えば、それぞれ、電源スイッチ、メニュースイッチ、及び、次の画像に切り替えたり、一つ前の画像を再表示させたりするスイッチである。その他、スピーカ７の音量を調整するスイッチや入力切替スイッチなどを独立に備えることとしても良い。
【００２７】
メディア挿入部９は、例えば、ＳＤメモリカードを挿入するためのスロットである。或いは、ｍｉｎｉＳＤカード、ｍｉｃｒｏＳＤカード、ＭＭＣ（マルチメディアカード）、および、ＵＳＢフラッシュメモリといった各種のリムーバブルメディアを着脱可能な構成とすることができる。また、ネットワーク接続端子１０は、例えば、１００Ｂａｓｅ‐ＴＸなどのＬＡＮケーブルが接続可能な端子である。
【００２８】
図２は、ＤＰＦ１の内部構成を示すブロック図である。
【００２９】
ＤＰＦ１の箱体４の内部には、ＤＰＦ１の動作全体に係る制御統括を行う制御部１６と、電源部１４と、記憶部１５と、メディアＩ／Ｆ部１２と、入出力制御部１３などが備えられている。また、制御部１６には、表示部２と、カメラ６と、スピーカ７と、操作部８とが更に接続されている。
【００３０】
電源部１４は、電源入力端子１１に電源ケーブルを介して接続された外部電源から送られる電力に基づいて、制御部１６の他、ＤＰＦ１の各部に必要な電力を供給する。また、この電源部１４は、例えば、外部から送られる電力が一時的に途切れた際に、電力を独自に供給可能な蓄電池を備えることとしても良い。
【００３１】
記憶部１５は、表示部２に表示させる画像データや、スピーカ７から出力する音声データを格納する記憶装置である。この記憶部１５は、例えば、フラッシュメモリ、ＳＳＤ（Solid State Drive）といった不揮発性メモリや、ＨＤＤ（Hard Disk Drive）である。画像データは、静止画像データ（例えば、ＪＰＥＧ）だけではなく、動画（例えば、ＭＰＥＧ）を含むこととしても良い。
【００３２】
或いは、表示画像や音声は、リムーバブルメディアＭや外部ネットワークから取得することも可能である。メディアＩ／Ｆ部１２は、メディア挿入部９に挿入されたリムーバブルメディアＭと制御部１６とを接続するインターフェイスである。また、入出力制御部１３は、ネットワーク接続端子１０に接続されたＬＡＮケーブルを介して外部ネットワークとの間でやり取りされる情報の入出力を制御する。この入出力制御部１３は、ワイヤレスＬＡＮ、ブルートゥース（Bluetooth：登録商標）といった無線通信を利用して行う情報の入出力制御もできるように構成しても良い。
【００３３】
制御部１６には、制御処理や演算を実行するＣＰＵ（Central Processing Unit）１６１（表情認識手段、設定手段、制御手段、閲覧者識別手段）に加えて、ＲＡＭ（Random Access Memory）１６２、ＲＯＭ（Read Only Memory）１６３、および、ＥＥＰＲＯＭ（Electrically Erasable and Programmable Read Only Memory）１６４（好感度記憶手段、閲覧者情報記憶手段）などが備えられている。
【００３４】
ＲＡＭ１６２は、ＣＰＵ１６１に作業用メモリ空間を提供し、また、一時データを記憶する。ＲＯＭ１６３には、ＣＰＵ１６１が実行する種々の制御用のプログラム１６１ａや初期設定データが格納されている。ＥＥＰＲＯＭ１６４は、ＣＰＵ１６１が実行する表示制御プログラムにおいて設定される各画像の好感度パラメータが配列された好感度テーブルを保存している。この好感度テーブルは、必要に応じて上書き更新される。
【００３５】
図３には、ＥＥＰＲＯＭ１６４に保存された好感度テーブルの例を示す。
【００３６】
この好感度テーブル１６４ａには、記憶部１５やメディア挿入部９に挿入された状態のリムーバブルメディアＭに記憶されて、或いは、外部ネットワークから取得可能な画像としてリスト化され、表示部２に表示可能な各画像データのＩＤと、これらの画像に対する閲覧者の好感度パラメータとが関連付けて記憶されている。この画像ＩＤとしては、ＤＰＦ１で独自の番号を振ってもよいし、画像ファイル名をそのまま利用しても良い。好感度パラメータは、本実施形態のＤＰＦ１では、１〜１０の整数で示されている。或いは、−５〜＋５のように正負の値を用いても良いし、ステップ数は任意に設定可能である。また、新規に追加された画像データでまだ一度もユーザによって閲覧されていないものの好感度パラメータは、例えば、一括して“５”としても良いし、或いは、暖色系の画像では“６”、寒色系の画像では“５”に分類して設定しても良い。
【００３７】
また、この制御部１６では、記憶部１５などに記憶されたデジタルデータのうち、符号化された動画データや音声データ（例えば、ＭＰ３）を表示部２やスピーカ７から出力可能なデータ信号へデコードすることが可能である。
【００３８】
次に、第１実施形態のＤＰＦ１における画像の表示制御動作について説明する。
【００３９】
図４は、第１実施形態のＤＰＦ１において、制御部１６のＣＰＵ１６１が実行する表示制御処理の手順を示したフローチャートである。
【００４０】
この表示制御処理は、例えば、ユーザがＤＰＦ１の電源をオンすることで自動的に開始される処理である。表示制御処理が開始されると、先ず、ＣＰＵ１６１は、カメラ６に信号を送ってカメラ撮影動作を開始させる（ステップＳ１０１）。
【００４１】
ＣＰＵ１６１は、カメラ６の撮影データに基づいてユーザの表情の認識処理を行い、表示制御処理の開始時における初期表情の判別を行う（ステップＳ１０４）。この表情の認識手法としては、従来知られている任意の手法を用いることができる。例えば、ＦＡＣＳ（Facial Action Coding System）を利用し、表示画像を切り替えてから所定の時間経過したタイミングで撮影された画像データに基づいて表情の基本動作単位であるＡＵ（Action Unit）を検出して、この検出されたＡＵの組み合わせにより喜怒哀楽や嫌悪などの各表情に分類する。また、表示画像を切り替える前後に亘るカメラの動画撮影データに基づいて、感情の変化に伴う表情の動的変化や視線の変化を、例えば、表情譜を併用して認識することで、画像の閲覧による自発的な微笑みと外的な要因による笑顔とを分類するといったより詳細な感情およびその変化の方向や度合いを識別することとしても良い。また、舌打ちや嫌悪感を示す言葉といった特定のキーワードに対し、動画データに基づいて読唇することにより感情変化を読み取ることができるように構成しても良い。
【００４２】
次に、ＣＰＵ１６１は、判別された初期表情に基づいて、後述する画像選定処理を実行する（ステップＳ１０５）。ＣＰＵ１６１は、この画像選定処理で選定された画像を表示部２に表示させる（ステップＳ１０６）。このとき、前の表示画像から新たに選定された画像へと表示を切り替える際には、ＣＰＵ１６１は、前の画像を表示し始めてから予め定められた時間が経過した後に画像の切り替えを行う。
【００４３】
続いて、ＣＰＵ１６１は、カメラ６の撮影データに基づいて、画像データの切り替え前後におけるユーザの表情の変化を認識する。そして、ＣＰＵ１６１は、ユーザの表情がどの程度ポジティブな方向に変化したかを示す表情の変化量を数値化する（ステップＳ１０７）。この処理では、ＣＰＵ１６１は、上記のＦＡＣＳなどを用いて行う表情の識別処理において、特に、楽しい、嬉しい、幸せ、穏やか、および、和やかといった肯定的な感情を示す表情の度合いを数値化する。この数値（表情パラメータ）は、特に制限されないが、例えば、各画像に対する好感度パラメータのステップ数やステップ間隔の設定基準と同等に設定することができる。そして、前回の表示画像に対するユーザの表情パラメータと、現在の表示画像に対するユーザの表情パラメータとの差分値を表情の変化量として取得する。
【００４４】
そして、取得された表情の変化量の値に基づいて、ＣＰＵ１６１は、後述する好感度設定処理を行い、表示されている画像に対するユーザの好感度パラメータの値を設定する（ステップＳ１０８）。ＣＰＵ１６１は、ＥＥＰＲＯＭ１６４に記憶されている元の好感度パラメータの値をこの新たに設定された好感度パラメータの値で上書き更新する（ステップＳ１０９）。
【００４５】
ＣＰＵ１６１は、所定時間の経過後にステップＳ１０５の処理へ戻って、ステップＳ１０５〜Ｓ１０９の処理を繰り返す。この表示制御処理は、例えば、ユーザが電源スイッチを押下したり終了タイマーを設定したりして電源をオフするか、メニュースイッチを押下して他のコマンドを実行する場合に終了される。
【００４６】
次に、上記の表示制御処理で呼び出された画像選定処理について説明する。
【００４７】
図５は、画像選定処理の制御手順を示したフローチャートである。
【００４８】
画像選定処理が呼び出されると、ＣＰＵ１６１は、初期表情のデータを取得し、何れの種類の表情であるかを判別する。初期表情が楽しい表情であったと判別された場合には（ステップＳ２０１で“ＹＥＳ”）、ＣＰＵ１６１は、先ず、最初の選択対象画像の初期好感度パラメータを“９”に設定する（ステップＳ２０２）。それから、ユーザの気分を良い状態で保つように、ＣＰＵ１６１は、次回、表示部２に表示させる画像として好感度パラメータ“５”〜“１０”の範囲から、特に、好感度パラメータ“９”の画像が優先的に選択されるような重み付けを各好感度パラメータに設定して、画像を選択する（ステップＳ２０３）。そして、ＣＰＵ１６１の処理は、１回画像が選択される毎に、表示制御処理へ戻る。
【００４９】
初期表情が怒った表情であったと判別された場合には（ステップＳ２０１で“ＮＯ”、ステップＳ２１１で“ＹＥＳ”）、ＣＰＵ１６１は、先ず、最初の選択対象画像の初期好感度パラメータを“５”または“６”に設定する（ステップＳ２１２）。それから、ＣＰＵ１６１は、２度目以降の選択対象とする画像の好感度パラメータの範囲をやや狭く設定して（例えば、初期段階で好感度パラメータ“５”〜“７”）、毎回好感度パラメータを上下させながら画像を選択する（ステップＳ２１３）。また、ＣＰＵ１６１は、ユーザの表情の変化を確認しながら表情パラメータの上昇に合わせて選択対象とする画像の好感度パラメータの範囲を徐々に上昇させていく。そして、ＣＰＵ１６１の処理は、１回画像が選択される毎に、表示制御処理へ戻る。
【００５０】
初期表情が哀しい表情であったと判別された場合には（ステップＳ２０１、Ｓ２１１で“ＮＯ”、ステップＳ２２１で“ＹＥＳ”）、ＣＰＵ１６１は、先ず、最初の選択対象画像の初期好感度パラメータを“６”または“７”に設定する（ステップＳ２２２）。それから、ＣＰＵ１６１は、ユーザの表情の変化を毎回確認しながら表情パラメータに合う好感度パラメータの画像を優先的に選択する。また、ＣＰＵ１６１は、表情パラメータの上昇に合わせて選択対象とする画像の好感度パラメータの範囲を少しずつゆっくりと上昇させていく（ステップＳ２２３）。そして、ＣＰＵ１６１の処理は、１回画像が選択される毎に、表示制御処理へ戻る。
【００５１】
初期表情が上記のいずれでもないと判別された場合、例えば、その他、特別な感情表現の出ていない普通の表情、或いは、無表情であった場合には（ステップＳ２０１、Ｓ２１１、Ｓ２２１で“ＮＯ”）、ＣＰＵ１６１は、先ず、最初の選択対象画像の初期好感度パラメータを“７”に設定する（ステップＳ２３２）。それから、ユーザの気分を向上させるように、ＣＰＵ１６１は、次回の表示画像として、好感度パラメータ“７”を中心に好感度パラメータが“５”〜“９”の範囲から画像が選択されるような重み付けを各好感度パラメータに対して行った上で、画像を選択する。また、ＣＰＵ１６１は、画像選定処理が呼び出される回数が増えるに従って徐々に好感度パラメータの大きい画像が優先的に選択されるようにこの重みを変更していく（ステップＳ２３３）。そして、ＣＰＵ１６１の処理は、１回画像が選択される毎に、表示制御処理へ戻る。
【００５２】
なお、上記の画像選定処理は、表示制御処理の開始時に判別された初期表情に基づいて継続的に繰り返し実行されるが、例えば、中途で初期表情から大きく表情が変化した場合には、改めて初期表情を設定しなおしても良いし、或いは、初期表情のデータは、判別内容に拠らず所定の時間有効としても良い。
【００５３】
次に、表示制御処理の中で呼び出されて実行される好感度設定処理について説明する。
【００５４】
図６は、好感度設定処理の種々の例を示すフローチャートである。
【００５５】
図６（ａ）は、好感度設定処理の例その１である。この好感度設定処理が呼び出されると、ＣＰＵ１６１は、現在表示されている画像の好感度パラメータとして、表情の変化量の値を前回表示した画像の好感度パラメータに加算した値に設定し、好感度テーブル１６４ａのデータを更新する。そして、表示制御処理に戻る。
【００５６】
図６（ｂ）は、好感度設定処理の例その２である。この好感度設定処理が呼び出されると、ＣＰＵ１６１は、先ず、現在の表示画像への切り替えの前後における表情変化量の値が正であるか否かを判別する（ステップＳ３１１）。表情変化量が正であると判別され、即ち、ユーザの気分が改善されたと判断された場合には、ステップＳ３１２へ移行し、ＣＰＵ１６１は、現在表示中の画像の好感度パラメータを前回表示した画像の好感度パラメータより１大きい値に設定する（ステップＳ３１２）。そして、ＣＰＵ１６１の処理は、表示制御処理へ戻る。一方、表情変化量が正ではないと判別され、即ち、ユーザの気分が改善されなかったと判断された場合には、ステップＳ３１３へ移行し、ＣＰＵ１６１は、現在表示中の画像の好感度パラメータを前回表示した画像の好感度パラメータより１小さい値に設定する。そして、ＣＰＵ１６１の処理は、表示制御処理へ戻る。
【００５７】
図６（ｃ）は、好感度設定処理の例その３である。この好感度設定処理が呼び出されると、ＣＰＵ１６１は、ユーザの現在の表示画像に対する好感度パラメータと前回表示した画像に対する好感度パラメータとの差が、前回の表示画像から現在の表示画像への切り替えの前後における表情変化量の値よりも、大きいか否かを判別する（ステップＳ３２１）。好感度パラメータの差が表情変化量よりも大きいと判別された場合には、“ＹＥＳ”へ分岐し、ＣＰＵ１６１は、表示画像の好感度パラメータを前画像の好感度パラメータから１減じた値に設定する（ステップＳ３２２）。そして、ＣＰＵ１６１の処理は、表示制御処理に戻る。一方、好感度パラメータの差が表情変化量の値よりも小さいと判別された場合には、“ＮＯ”に分岐して、ＣＰＵ１６１は、表示画像の好感度パラメータを前画像の好感度パラメータに１を加算した値に設定する（ステップＳ３２３）。そして、ＣＰＵ１６１の処理は、表示制御処理に戻る。ここで、表示画像の元の好感度パラメータが上記の設定により上昇する好感度パラメータの値より更に大きい場合や、上記の設定により低下する好感度パラメータの値より更に小さい場合などには、表示画像に対する好感度パラメータを算出された設定値に変更しないこととしても良い。
【００５８】
図６（ｄ）は、好感度設定処理の例その４である。この好感度設定処理が呼び出されると、ＣＰＵ１６１は、現在の表示画像への切り替えの前後における表情変化量の値が正であるか否かを判別する（ステップＳ３３１）。表情変化量が正であると判別され、即ち、ユーザの気分が改善されたと判断された場合には、ステップＳ３３２へ移行し、ＣＰＵ１６１は、現在表示中の画像の好感度パラメータの値を１増加させる。それからＣＰＵ１６１の処理は、表示制御処理へ戻る。一方、表情変化量が正ではないと判別され、即ち、ユーザの気分が改善されなかったと判断された場合には、ＣＰＵ１６１は、現在表示中の画像の好感度パラメータを１減少させる（ステップＳ３３３）。それから、ＣＰＵ１６１の処理は、表示制御処理へ戻る。
【００５９】
図６（ｅ）は、好感度設定処理の例その５である。この好感度設定処理が呼び出されると、ＣＰＵ１６１は、現在の表示画像に対するユーザの好感度パラメータと前回表示した画像に対するユーザの好感度パラメータとの差が、前回の表示画像から現在の表示画像への切り替えの前後における表情変化量の値よりも大きいか否かを判別する（ステップＳ３４１）。好感度パラメータの差が表情変化量よりも大きいと判別された場合には、“ＹＥＳ”へ分岐し、ＣＰＵ１６１は、現在表示中の画像の好感度パラメータの値を１減少させる（ステップＳ３４２）。それからＣＰＵ１６１の処理は、表示制御処理へ戻る。一方、好感度パラメータの差が表情変化量よりも小さいと判別された場合には、“ＮＯ”に分岐して、ＣＰＵ１６１は、現在表示中の画像の好感度パラメータの値を１増加させる（ステップＳ３４３）。それから、ＣＰＵ１６１の処理は、表示制御処理へ戻る。
【００６０】
以上のように、第１実施形態のＤＰＦ１によれば、ＤＰＦ１の表面に設けられたカメラ６によって表示部２に表示された画像を閲覧するユーザの顔を撮影し、この撮影された画像データに基づいてユーザの表情を認識するとともに、この認識結果に基づきユーザの表示画像に対する好感度を設定することができる。そして、この設定された好感度を示すパラメータをＥＥＰＲＯＭ１６４に記憶させ、また、当該ユーザに対して表示する画像の選択基準として用いることができるので、複数の画像の中からユーザの閲覧時の気分に適した画像を選択的に表示部２に表示させることができる。
【００６１】
また、画像の切り替えによって表情がポジティブに変化したか否かにより、画像の切り替え前の表示画像に対する好感度パラメータを基準として、切り替え後の表示画像に対する好感度パラメータを毎回設定するので、ユーザの閲覧時の気分に対応する相対的な好感度を素早く反映して、ユーザの気分に適した画像を選択的に表示部２に表示させることができる。
【００６２】
また、画像の切り替え前の表示画像に対する好感度パラメータを基準として、画像の切り替え前後での表情の変化の変化量に基づいて切り替え後の表示画像に対する好感度パラメータを設定することで、前回表示された際には好ましい画像であったものであっても今回の気分にそぐわない場合などには、臨機応変に好感度パラメータを変化させて表示の制御を行うことができる。
【００６３】
また、表示画像の切り替え前後での表情変化の変化量と、切り替え前後の画像に設定されていた好感度パラメータの差とを比較して、表情の変化量の方が好感度パラメータの差よりも大きい場合には、好感度パラメータの差を大きくするように切り替え後の表示画像に対する好感度パラメータを変更し、表情の変化量よりも好感度パラメータの差の方が大きい場合には、好感度パラメータの差を小さくするように画像切り替え後の表示画像に対する好感度を変更することができるので、表示画像に対し、相対的な表情の変化量を適切に反映した好感度パラメータを設定することで、よりユーザの気分に適した画像を選択することができる。
【００６４】
また、表示画像の切り替え前後での表情変化の方向に基づいて、切り替え後の画像に設定されていた好感度パラメータを増減させるので、ユーザの気分を改善する方向へ変化させる画像に対して容易により高い好感度パラメータの設定をすることができる。
【００６５】
また、表示画像の選択から好感度パラメータが低い画像を排除することができるので、ユーザを不快な気分にさせず、気持ちよく画像を閲覧させることができる。特に、他人から貰った画像についても、データを整理する手間をかけることなくユーザにとって好ましい画像を選択して表示部２に表示させることができる。
【００６６】
また、画像表示を開始する際のユーザの表情を判別し、喜怒哀楽の各表情に基づいて、その後表示させる画像の好感度パラメータの範囲を設定することにより、楽しい気分を維持させるのに適した画像、哀しい気分を紛らわし、リフレッシュさせるのに適した画像、或いは、腹立たしい気分を転換してリラックスさせるのに適した画像をそれぞれ適切に選択することで、ユーザの気分を向上させることができる。
【００６７】
また、表示画像を選択する好感度パラメータの範囲を、各ユーザの表情が初期表情から変化するのに合わせて逐次変更していくことにより、スムーズにユーザの気分の向上に合った画像を表示させ続けることができる。
【００６８】
［第２実施形態］
次に、第２実施形態の画像表示装置としてのＤＰＦについて説明する。この第２実施形態のＤＰＦでは、複数のユーザに対し、各画像に対する各々の好感度パラメータおよび表情に応じてそれぞれ画像を選択して表示させることができる。第２実施形態におけるＤＰＦ１の構成は、図１、および、図２に示した第１実施形態のＤＰＦ１の構成と同一であり、同一の符号を付して説明を省略する。
【００６９】
図７は、第２実施形態のＤＰＦ１においてＥＥＰＲＯＭ１６４に記憶させた各画像の好感度パラメータについて説明する図である。
【００７０】
図７（ａ）、（ｂ）に示すように、このＥＥＰＲＯＭ１６４には、２つのテーブルが記憶されている。一方のテーブルは、図７（ａ）に示すように、複数のユーザ（Ｐ０１〜Ｐ０３）それぞれの各画像（１００１〜）に対する好感度パラメータを保存する好感度テーブル１６４ｂである。他方のテーブルは、ユーザ登録テーブル１６４ｃであり、図７（ｂ）に示すように、複数のユーザを識別するためのユーザＩＤと、各ユーザに対応する顔データの特徴を示すデータとが関連付けられて保存されている。
【００７１】
図８は、第２実施形態のＤＰＦ１において、ＣＰＵ１６１が実行する表示制御処理の手順を示したフローチャートである。図４に示した第１実施形態のＤＰＦ１における表示制御処理と同一の処理に関しては、同一の符号を付して説明を省略する。
【００７２】
第２実施形態における表示制御処理では、カメラ撮影を開始させた（ステップＳ１０１）後に、ＣＰＵ１６１は、カメラ６による撮影データに基づいてＤＰＦ１の表示画像を閲覧するユーザの識別処理を行う（ステップＳ１０２）。ＣＰＵ１６１は、撮影データに含まれる顔の特徴的なパラメータを抽出し、ユーザ登録テーブル１６４ｃに記憶された各々のユーザの顔の特徴データと比較参照して、登録ユーザ中から抽出された特徴的なパラメータが一致するユーザを識別する。
【００７３】
ステップＳ１０２の処理によりユーザが識別されると、ＣＰＵ１６１は、識別されたユーザのユーザＩＤに基づいて好感度テーブル１６４ｂのうちから当該ユーザの好感度パラメータに対応する列を指定して、必要な好感度パラメータのデータを取得する（ステップＳ１０３）。そして、ＣＰＵ１６１の処理は、ステップＳ１０４へ移行する。
【００７４】
また、ステップＳ１０８の好感度設定処理で表示画像に対する好感度パラメータが設定されると、ＣＰＵ１６１は、好感度テーブル１６４ｂにおいて、当該ユーザに対応する列の表示画像に対する好感度パラメータの値を更新する（ステップＳ１０９ａ）。そして、ＣＰＵ１６１の処理は、ステップＳ１０５へ戻る。
【００７５】
以上のように、第２実施形態のＤＰＦ１によれば、カメラ６の撮影画像に基づいて複数のユーザの顔をそれぞれ識別することができる。また、ＥＥＰＲＯＭ１６４には、好感度パラメータの設定をユーザ毎に行うことができるので、複数のユーザがＤＰＦ１を利用する場合であっても、認識されたユーザ毎に画像を選択して表示部２に表示させることができるので、各々のユーザにとって不快な画像を排除し、気分に合った適切な画像を選択表示させることができる。
【００７６】
なお、本発明は、上記実施の形態に限られるものではなく、様々な変更が可能である。例えば、上記の実施の形態では、好感度パラメータとしてスカラー値を設定したが、これに限られない。例えば、喜度値や弛緩値といった複数のパラメータを設定し、二次元や三次元ベクトル値に基づいて積極的な楽しみや喜びと、穏やかさや和み具合といった安定性とを識別することで、表示画像の選択をより細かく制御しても良い。また、好感度パラメータは数値に限られず、例えば、アルファベットを利用することとしても良い。
【００７７】
また、上記の実施の形態では、カメラ６によりユーザの可視光画像を撮影したが、赤外線撮影画像を併用して、例えば、ユーザの発熱具合を表情の判断材料に加えることとしても良い。
【００７８】
また、上記の実施の形態では、毎回１枚の画像を選択して表示させたが、複数枚の画像を組み合わせて表示させても良い。
【００７９】
また、上記の実施形態では、好感度が４以下に下がった画像は、以降表示されないが、例えば、所定の時間間隔以上表示されなかった画像に関しては、ユーザの表情がとても楽しげな場合に限って再度表示させることとしても良い。或いは、好感度が非常に低い画像を記憶部１５から消去可能に構成することとしてもよい。
【００８０】
また、上記実施の形態では、ユーザの表情の相対的な変化に基づいて好感度パラメータの値を設定したが、表情パラメータの絶対値に基づいて好感度パラメータを設定することとしても良い。
【００８１】
また、上記の実施形態で示した表示画像の選択方法は、一例であり、各回に選択する画像の好感度パラメータの範囲の設定方法やこの範囲内での重み付け方法は、任意に設定可能である。
【００８２】
また、上記の実施形態では、初期表情の分類として楽しみ、怒り、哀しみ、無表情やその他という４パターンを設定したが、この分類パターンに限られない。より多くの分類パターンを設けても良いし、逆に、分類せずに一定の基準に基づいて表示画像を選択しても良い。
【００８３】
また、上記の第２の実施形態では、複数のユーザをユーザ登録テーブル１６４ｃに登録し、また、各々のユーザに対して個別の好感度テーブル１６４ｂを設定したが、この複数のユーザは、事前に操作部８からの入力により登録設定を行っても良いし、或いは、所定の回数以上検出されたユーザに対して自動的に登録することとしても良い。また、逆に、一定期間以上検出されないユーザの登録設定を消去可能としてもよい。また、表示部２の閲覧者がユーザ登録テーブル１６４ｃに登録されていないと判別された場合には、例えば、設定されている好感度パラメータの平均値と、当該閲覧者の表情の変化量とに基づいて表示画像の選択制御を行い、また、好感度テーブルのデータの更新は行わないこととしても良いし、或いは、最初から表示画像の選択制御を行わずに、完全にランダムな表示画像の選択を行うこととしても良い。
【００８４】
また、上記実施の形態の説明では、本発明に係るプログラムのコンピュータ読み取り可能な媒体としてＲＯＭ１６３を使用した例を開示したが、この例に限定されない。その他のコンピュータ読み取り可能な媒体として、フラッシュメモリなどの不揮発性メモリ、ＣＤ−ＲＯＭなどの可搬型記録媒体を適用することが可能である。また、通信回線を介して本発明に係るプログラムのデータを提供する媒体として、キャリアウェーブ（搬送波）も本発明に適用される。
【００８５】
また、上記実施の形態では、画像表示装置としてデジタルフォトフレームを例に挙げて説明したが、これに限られない。例えば、携帯電話、ＰＤＡ（Personal Digital Assistant）、スマートフォンなどの携帯機器に適用しても良い。或いは、カメラおよびディスプレイが接続されたＰＣやビデオ装置の画像表示機能としても利用可能である。その他、上記の実施形態に示した具体的な構成や配置、数値などの細部は、発明の趣旨を逸脱しない限りにおいて適宜変更可能である。
【符号の説明】
【００８６】
１ デジタルフォトフレーム（ＤＰＦ）
２ 表示部
３ フレーム
４ 箱体
５ 脚部
６ カメラ
７ スピーカ
７ａ 左スピーカ
７ｂ 右スピーカ
８ 操作部
８ａ-８ｄ 操作ボタン
９ メディア挿入部
１０ ネットワーク接続端子
１１ 電源入力端子
１２ メディアＩ／Ｆ部
１３ 入出力制御部
１４ 電源部
１５ 記憶部
１６ 制御部
１６１ ＣＰＵ
１６１ａ プログラム
１６２ ＲＡＭ
１６３ ＲＯＭ
１６４ ＥＥＰＲＯＭ
１６４ａ、１６４ｂ 好感度テーブル
１６４ｃ ユーザ登録テーブル
Ｍ リムーバブルメディア
【特許請求の範囲】
【請求項１】
複数の画像の中から予め定められた時間間隔毎に選択した画像を切り替えて表示部に表示させる画像表示装置において、
前記表示部に表示された画像を閲覧する閲覧者の顔位置を含む範囲を撮影する撮影手段と、
前記撮影手段による閲覧者の撮影データに基づいて当該閲覧者の顔の表情を認識する表情認識手段と、
前記表情認識手段による認識結果に基づいて前記表示部に表示されている画像に対する閲覧者の好感度を示す好感度指標を設定する設定手段と、
前記設定手段により設定された前記好感度指標を当該画像と関連付けて記憶する好感度記憶手段と、
前記好感度記憶手段に記憶された前記好感度指標に基づいて前記表示部に表示させる画像を選択する制御手段と、
を備える画像表示装置。
【請求項２】
前記設定手段は、前記表示部に表示される画像の切り替え前に表示されていた画像に対する前記好感度指標と、前記表示部に表示される画像の切り替え前後で前記表情認識手段により認識された表情変化の方向とに基づいて、当該切り替え後に表示された画像に対する前記好感度指標を設定する
ことを特徴とする請求項１記載の画像表示装置。
【請求項３】
前記設定手段は、前記表示部に表示される画像の切り替え前に表示されていた画像に対する前記好感度指標と、前記表示部に表示される画像の切り替え前後で前記表情認識手段により認識された表情変化の度合いとに基づいて、当該切り替え後の表示画像に対する前記好感度指標を設定する
ことを特徴とする請求項２記載の画像表示装置。
【請求項４】
前記設定手段は、前記表示部に表示される画像の切り替え前後で前記表情認識手段により認識された表情変化の度合いと、当該切り替え前後の画像に対する前記好感度指標の差との比較結果に基づいて、前記切り替え後の表示画像に対する前記好感度指標を変化させる
ことを特徴とする請求項１記載の画像表示装置。
【請求項５】
前記設定手段は、前記表示部に表示される画像の切り替え前後で前記表情認識手段により認識された表情変化の方向に基づいて、当該切り替え後の表示画像に対する前記好感度指標を変化させる
ことを特徴とする請求項１記載の画像表示装置。
【請求項６】
前記制御手段は、一の画像に関連付けられた前記好感度指標が示す好感度が予め定められたレベルより低い場合には、当該画像を前記表示部に表示させる画像として選択しない
ことを特徴とする請求項１〜５の何れか一項に記載の画像表示装置。
【請求項７】
前記制御手段は、前記表情認識手段により最初に認識された表情の種別に基づいて前記好感度指標の選択範囲を設定し、当該選択範囲内の好感度指標に関連付けられている画像を前記表示部に表示させる画像として選択する
ことを特徴とする請求項１〜５の何れか一項に記載の画像表示装置。
【請求項８】
前記制御手段は、前記表情認識手段により認識された表情の累積的な変化に基づいて、前記好感度指標の前記選択範囲を変更する
ことを特徴とする請求項７記載の画像表示装置。
【請求項９】
登録されている閲覧者の顔を識別する際に用いられる情報を記憶する閲覧者情報記憶手段と、
前記撮影手段による閲覧者の撮影データと、前記閲覧者情報記憶手段に記憶された情報とに基づいて、当該閲覧者を識別する閲覧者識別手段と、
を備え、
前記設定手段は、前記表情認識手段による認識結果に基づいて、前記表示部に表示されている画像に対する前記好感度指標を前記閲覧者識別手段により識別された閲覧者毎に設定し、
前記好感度記憶手段は、前記設定手段により設定された前記好感度指標を当該画像の画像データと関連付けて、前記閲覧者識別手段により識別された閲覧者毎に記憶する
ことを特徴とする請求項１〜８の何れか一項に記載の画像表示装置。
【請求項１０】
画像を表示する表示部と、当該表示部に表示された画像を閲覧する閲覧者の顔位置を撮影する撮影手段と、を備え、複数の画像の中から予め定められた時間間隔毎に選択した画像を切り替えて前記表示部に表示させる画像表示装置に用いられるコンピュータを、
前記撮影手段による閲覧者の撮影データに基づいて当該閲覧者の顔の表情を認識する表情認識手段と、
前記表情認識手段による認識結果に基づいて前記表示部に表示されている画像に対する閲覧者の好感度を示す好感度指標を設定する設定手段と、
前記設定手段により設定された前記好感度指標を当該画像と関連付けて記憶する好感度記憶手段と、
前記好感度記憶手段に記憶された前記好感度指標に基づいて前記表示部に表示させる画像を選択する制御手段と、
として機能させるためのプログラム。
【請求項１】
複数の画像の中から予め定められた時間間隔毎に選択した画像を切り替えて表示部に表示させる画像表示装置において、
前記表示部に表示された画像を閲覧する閲覧者の顔位置を含む範囲を撮影する撮影手段と、
前記撮影手段による閲覧者の撮影データに基づいて当該閲覧者の顔の表情を認識する表情認識手段と、
前記表情認識手段による認識結果に基づいて前記表示部に表示されている画像に対する閲覧者の好感度を示す好感度指標を設定する設定手段と、
前記設定手段により設定された前記好感度指標を当該画像と関連付けて記憶する好感度記憶手段と、
前記好感度記憶手段に記憶された前記好感度指標に基づいて前記表示部に表示させる画像を選択する制御手段と、
を備える画像表示装置。
【請求項２】
前記設定手段は、前記表示部に表示される画像の切り替え前に表示されていた画像に対する前記好感度指標と、前記表示部に表示される画像の切り替え前後で前記表情認識手段により認識された表情変化の方向とに基づいて、当該切り替え後に表示された画像に対する前記好感度指標を設定する
ことを特徴とする請求項１記載の画像表示装置。
【請求項３】
前記設定手段は、前記表示部に表示される画像の切り替え前に表示されていた画像に対する前記好感度指標と、前記表示部に表示される画像の切り替え前後で前記表情認識手段により認識された表情変化の度合いとに基づいて、当該切り替え後の表示画像に対する前記好感度指標を設定する
ことを特徴とする請求項２記載の画像表示装置。
【請求項４】
前記設定手段は、前記表示部に表示される画像の切り替え前後で前記表情認識手段により認識された表情変化の度合いと、当該切り替え前後の画像に対する前記好感度指標の差との比較結果に基づいて、前記切り替え後の表示画像に対する前記好感度指標を変化させる
ことを特徴とする請求項１記載の画像表示装置。
【請求項５】
前記設定手段は、前記表示部に表示される画像の切り替え前後で前記表情認識手段により認識された表情変化の方向に基づいて、当該切り替え後の表示画像に対する前記好感度指標を変化させる
ことを特徴とする請求項１記載の画像表示装置。
【請求項６】
前記制御手段は、一の画像に関連付けられた前記好感度指標が示す好感度が予め定められたレベルより低い場合には、当該画像を前記表示部に表示させる画像として選択しない
ことを特徴とする請求項１〜５の何れか一項に記載の画像表示装置。
【請求項７】
前記制御手段は、前記表情認識手段により最初に認識された表情の種別に基づいて前記好感度指標の選択範囲を設定し、当該選択範囲内の好感度指標に関連付けられている画像を前記表示部に表示させる画像として選択する
ことを特徴とする請求項１〜５の何れか一項に記載の画像表示装置。
【請求項８】
前記制御手段は、前記表情認識手段により認識された表情の累積的な変化に基づいて、前記好感度指標の前記選択範囲を変更する
ことを特徴とする請求項７記載の画像表示装置。
【請求項９】
登録されている閲覧者の顔を識別する際に用いられる情報を記憶する閲覧者情報記憶手段と、
前記撮影手段による閲覧者の撮影データと、前記閲覧者情報記憶手段に記憶された情報とに基づいて、当該閲覧者を識別する閲覧者識別手段と、
を備え、
前記設定手段は、前記表情認識手段による認識結果に基づいて、前記表示部に表示されている画像に対する前記好感度指標を前記閲覧者識別手段により識別された閲覧者毎に設定し、
前記好感度記憶手段は、前記設定手段により設定された前記好感度指標を当該画像の画像データと関連付けて、前記閲覧者識別手段により識別された閲覧者毎に記憶する
ことを特徴とする請求項１〜８の何れか一項に記載の画像表示装置。
【請求項１０】
画像を表示する表示部と、当該表示部に表示された画像を閲覧する閲覧者の顔位置を撮影する撮影手段と、を備え、複数の画像の中から予め定められた時間間隔毎に選択した画像を切り替えて前記表示部に表示させる画像表示装置に用いられるコンピュータを、
前記撮影手段による閲覧者の撮影データに基づいて当該閲覧者の顔の表情を認識する表情認識手段と、
前記表情認識手段による認識結果に基づいて前記表示部に表示されている画像に対する閲覧者の好感度を示す好感度指標を設定する設定手段と、
前記設定手段により設定された前記好感度指標を当該画像と関連付けて記憶する好感度記憶手段と、
前記好感度記憶手段に記憶された前記好感度指標に基づいて前記表示部に表示させる画像を選択する制御手段と、
として機能させるためのプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【公開番号】特開２０１２−７８４６１（Ｐ２０１２−７８４６１Ａ）
【公開日】平成２４年４月１９日（２０１２．４．１９）
【国際特許分類】
【出願番号】特願２０１０−２２２０１２（Ｐ２０１０−２２２０１２）
【出願日】平成２２年９月３０日（２０１０．９．３０）
【出願人】（０００００１４４３）カシオ計算機株式会社 (8,748)
【Ｆターム（参考）】
【公開日】平成２４年４月１９日（２０１２．４．１９）
【国際特許分類】
【出願日】平成２２年９月３０日（２０１０．９．３０）
【出願人】（０００００１４４３）カシオ計算機株式会社 (8,748)
【Ｆターム（参考）】
[ Back to top ]