電子写真立て、その制御方法及びプログラム
【課題】 手間をかけず且つ簡単な仕組みで、現在の感情に対応した写真を表示できるようにする。
【解決手段】 少なくとも二枚以上の電子写真を逐次に表示可能な表示部(2)を備えた電子写真立て(1)は、前記表示部(2)に表示された電子写真を見ている人物の顔の表情を判別する表情判別手段(19)、前記表情判別手段(19)によって判別された顔の表情に関する情報を表示中の電子写真に関連付けて記憶する関連付け記憶手段(19)を備える。また、前記関連付け記憶手段(19)に記憶されている電子写真を表示する場合に、各電子写真に関連付けて記憶されている顔の表情に関する情報と、前記表情判別手段(19)により判別された人物の顔の表情とを比較し、その比較結果に応じて前記関連付け記憶手段(19)に記憶されている各電子写真の表示を制御する表示制御手段(19)を更に備える。
【解決手段】 少なくとも二枚以上の電子写真を逐次に表示可能な表示部(2)を備えた電子写真立て(1)は、前記表示部(2)に表示された電子写真を見ている人物の顔の表情を判別する表情判別手段(19)、前記表情判別手段(19)によって判別された顔の表情に関する情報を表示中の電子写真に関連付けて記憶する関連付け記憶手段(19)を備える。また、前記関連付け記憶手段(19)に記憶されている電子写真を表示する場合に、各電子写真に関連付けて記憶されている顔の表情に関する情報と、前記表情判別手段(19)により判別された人物の顔の表情とを比較し、その比較結果に応じて前記関連付け記憶手段(19)に記憶されている各電子写真の表示を制御する表示制御手段(19)を更に備える。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、電子写真立て、その制御方法及びプログラムに関する。
【背景技術】
【0002】
デジタルカメラで撮影された写真は、デジタル形式の画像ファイル(以下、電子写真または単に写真という。)であるため、紙への印刷出力は必ずしも必要でなく、画像としていつでも好きなときに表示(パソコンのディスプレイに映し出すこと。)できるという利点があるものの、それでもパソコンに不慣れな人にとっての使い難さを否めない。
【0003】
このため、電子写真立て(デジタルフォトフレーム:DPF)と呼ばれる便利な表示装置が用いられている。DPFは、デジタルカメラから取り出された記録メディアをセットするだけで、当該メディアに記録されている電子写真を自動的に表示することができるものであり、パソコンに不慣れな人にとっても容易に使いこなせるものである。
【0004】
しかし一方で、DPFは、セットされた記録メディア内の電子写真を順番またはランダムに読み出して表示するものに過ぎないため、鑑賞者の好みに適合しない写真表示が行われてしまうという欠点がある。
【0005】
下記の特許文献1、2には、カメラ付のDPFに関する技術が開示されている。特許文献1では表示中の写真を見た(認識した)回数やその時間長に応じて写真表示の優先順位を決定するようにしており、また、特許文献2では登録者ごとにその登録者のお気に入りの写真を表示するようにしている。
【0006】
しかしながら、特許文献1の技術にあっては、少なくとも過去に決定された優先順位に従って写真を表示するため、鑑賞者の現在の感情に合わない写真が表示されるおそれがあり、たとえば、楽しい気持ちのときに悲しげな内容の写真が表示されると、気持ちが落ち込むという欠点があるし、特許文献2の技術にあっては、お気に入りの写真を登録者ごとに事前選択しておく必要があり、手間がかかって面倒であるという欠点がある。
【0007】
一方、DPF以外に範囲を広げて従来技術を調べてみると、たとえば、下記の特許文献3〜5のようなものがある。
すなわち、特許文献3には、広告画像を見ている人毎に最適な広告画像を表示できるようにした表示装置において、広告画像を見ている人の顔の表情をカメラで撮影し、その表情が<退屈>を表している場合に、所定の映像を流して注意を取り戻すようにした技術が記載されている。
また、特許文献4には、歌い手の音声(歌声)と、人物を模したアニメーション画像とを聞き手側に配信するカラオケシステムにおいて、歌い手の表情をカメラで撮影し、その表情をアニメーション画像に反映させるようにした技術が記載されている。
さらに、特許文献5には、使用者の視界に相当する画像を撮影して保存すると共に、その保存時点における当該使用者の生体情報(脈拍、心拍、心電・・・・等)を検出して前記画像に関連付けて保存し、しかる後、前記使用者が画像を閲覧しようとする際には、当該使用者の生体情報を再び検出し、その生体情報と同じ生体情報が関連付けられている画像を取り出して表示するようにした技術が記載されている。
【先行技術文献】
【特許文献】
【0008】
【特許文献1】特開2008−165009号公報
【特許文献2】特開2009−171176号公報
【特許文献3】特開2005−267611号公報
【特許文献4】特開2006−251271号公報
【特許文献5】特開2008−118527号公報
【発明の概要】
【発明が解決しようとする課題】
【0009】
しかしながら、上記の特許文献3〜5の技術にあっては、以下の問題点がある。
(1)特許文献3:
画像を見ている人の表情が<退屈>を表している場合に、所定の映像を流しているに過ぎない。つまり、単に注意を取り戻すように工夫したに過ぎない。
(2)特許文献4:
歌い手の表情をアニメーション画像に反映させているに過ぎない。
(3)特許文献5:
生体情報に基く画像の選択的表示を行っているが、この生体情報は、脈拍、心拍、心電・・・・等であって、画像を見ようとしている人の表情ではない。
【0010】
したがって、これらの技術(特許文献3〜5の技術)のDPFへの適用を考えると、そもそも(2)は、カラオケのアニメーション技術であるから、DPFへの適用は不適当であるし、また、(1)については、注意を取り戻すことができる映像をどのようにして選定すべきか不明(同文献では退屈している場合にアクション/冒険映画の映像を流すとしているが、必ずしもそうとはいえない。そのような映像に興味を示さない人も当然存在する。)である、また、(3)については、脈拍、心拍、心電・・・・等の生体情報を検出するための大掛かりな装置が必要でコストが嵩み実用的でない、という問題点を抱えている。
【0011】
そこで、本発明は、手間をかけず且つ簡単な仕組みで、現在の感情に応じた写真を表示できる電子写真立て、その制御方法及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【0012】
請求項1記載の発明は、少なくとも二枚以上の電子写真を逐次に表示可能な表示部を備えた電子写真立てにおいて、前記表示部に表示された電子写真を見ている人物の顔の表情を判別する表情判別手段と、前記表情判別手段によって判別された顔の表情に関する情報を表示中の電子写真に関連付けて記憶する関連付け記憶手段とを備えたことを特徴とする電子写真立てである。
請求項2記載の発明は、前記関連付け記憶手段に記憶されている電子写真を表示する場合に、各電子写真に関連付けて記憶されている顔の表情に関する情報と、前記表情判別手段により判別された人物の顔の表情とを比較し、その比較結果に応じて前記関連付け記憶手段に記憶されている各電子写真の表示を制御する表示制御手段を更に備えたことを特徴とする請求項1に記載の電子写真立てである。
請求項3記載の発明は、前記表示制御手段は、前記二枚以上の電子写真のいずれかを前記表示部に表示しようとする際に、前記表情判別手段によって判別された顔の表情に関する情報に該当する情報が、これから表示しようとする電子写真に関連付けられているか否かを判別する関連付け判別手段と、前記関連付け判別手段の判別結果が肯定の場合に前記表示部への電子写真の表示を許容する表示許容手段とを含むことを特徴とする請求項2に記載の電子写真立てである。
請求項4記載の発明は、前記表示制御手段は、前記表情判別手段により判別された人物の顔の表情に基づいて、前記関連付け記憶手段に記憶されている複数の電子写真の中から前記表示部に表示する電子画像を選択することを特徴とする請求項2に記載の電子写真立てである。
請求項5記載の発明は、前記表情判別手段は、前記表示部に電子写真を表示しているときに、当該表示部の方に視線を向けている人物を、当該表示部に表示された電子写真を見ている人物として特定することを特徴とする請求項1乃至4のいずれかに記載の電子写真立てである。
請求項6記載の発明は、被写体を撮像して画像を取得する撮像手段と、前記表情判別手段は、前記表示部に電子写真を表示しているときに、前記撮像手段により取得された画像内に検出される人物を、前記表示部に表示された電子写真を見ている人物として特定し、当該画像に基づく画像認識処理により当該人物の表情を判別することを特徴とする請求項1乃至4のいずれかに記載の電子写真立てである。
請求項7記載の発明は、人物の顔に関する情報を保持する人物特定情報保持手段と、前記表示部に表示された電子写真を見ている人物を前記人物特定情報保持手段に保持されている情報に基き特定する人物特定手段と、を更に備え、前記関連付け記憶手段は、前記表情判別手段によって判別された顔の表情に関する情報を、前記人物特定手段により特定された人物に関係するものとして表示中の電子写真に関連付けて記憶することを特徴とする請求項1乃至6のいずれかに記載の電子写真立てである。
請求項8記載の発明は、前記人物特定情報保持手段は、前記電子写真を見る可能性のある人物の顔に関する情報を、任意に登録して保持することを特徴とする請求項3に記載の電子写真立てである。
請求項9記載の発明は、前記二枚以上の電子写真のいずれかを前記表示部に表示しようとする際に当該表示部の方に視線を向けている人物を特定する人物特定手段と、前記表情判別手段は、前記人物特定手段によって特定された人物の顔の表情を判別することを特徴とする請求項1記載の電子写真立てである。
請求項10記載の発明は、前記関連付け記憶手段は、これから表示しようとする電子写真に、前記顔の表情に関する情報が関連付けて記憶されていない場合に、前記顔の表情に関する情報を関連付けて記憶することを特徴とする請求項1又は7いずれかに記載の電子写真立てである。
請求項11記載の発明は、前記関連付け記憶手段は、これから表示しようとする電子写真に、すでに前記顔の表情に関する情報が関連付けて記憶されている場合であっても、当該情報の記憶から一定期間を経過している場合には、前記顔の表情に関する情報を関連付けて記憶し直すことを特徴とする請求項1又は7いずれかに記載の電子写真立てである。
請求項12記載の発明は、前記人物特定手段による特定の結果、前記表示部の方に視線を向けている人物が前記人物特定情報保持手段に保持されている情報に基き特定されなかった場合に、前記表情判別手段は、前記人物特定手段の特定結果にかかわらず当該人物の顔の表情を判別し、前記関連付け判別手段は、前記表情判別手段によって判別された顔の表情に関する情報に該当する情報が、これから表示しようとする電子写真に関連付けられているか否かを判別することを特徴とする請求項9に記載の電子写真立てである。
請求項13記載の発明は、少なくとも二枚以上の電子写真を逐次に表示可能な表示部を備えた電子写真立てにおいて、前記二枚以上の電子写真のいずれかを前記表示部に表示しようとする際に当該表示部の方に視線を向けている人物の顔の表情を判別する表情判別手段と、前記表情判別手段によって判別された顔の表情に関する情報に該当する情報が、これから表示しようとする電子写真に関連付けられているか否かを判別する関連付け判別手段と、前記関連付け判別手段の判別結果が肯定の場合に前記表示部への電子写真の表示を許容する表示許容手段とを備えたことを特徴とする電子写真立てである。
請求項14記載の発明は、人物の顔に関する情報を保持する人物特定情報保持手段と、前記表示部に表示された電子写真を見ている人物を前記人物特定情報保持手段に保持されている情報に基き特定する人物特定手段と、を更に備え、前記関連付け判別手段は、前記表情判別手段によって判別された顔の表情に関する情報に該当する情報が、前記人物特定手段により特定された人物に関係するものとして、これから表示しようとする電子写真に関連付けられているか否かを判別することを特徴とする請求項13に記載の電子写真立てである。
請求項15記載の発明は、少なくとも二枚以上の電子写真を逐次に表示可能な表示部を備えた電子写真立ての制御方法において、前記表示部に表示された電子写真を見ている人物の顔の表情を判別する表情判別工程と、前記表情判別工程によって判別された顔の表情に関する情報を表示中の電子写真に関連付けて記憶する関連付け記憶工程とを含むことを特徴とする電子写真立ての制御方法である。
請求項16記載の発明は、少なくとも二枚以上の電子写真を逐次に表示可能な表示部を備えた電子写真立ての制御方法において、前記二枚以上の電子写真のいずれかを前記表示部に表示しようとする際に当該表示部の方に視線を向けている人物の顔の表情を判別する表情判別工程と、前記表情判別工程によって判別された顔の表情に関する情報に該当する情報が、これから表示しようとする電子写真に関連付けられているか否かを判別する関連付け判別工程と、前記関連付け判別工程の判別結果が肯定の場合に前記表示部への電子写真の表示を許容する表示許容工程とを含むことを特徴とする電子写真立ての制御方法である。
請求項17記載の発明は、少なくとも二枚以上の電子写真を逐次に表示可能な表示部を備えた電子写真立てのコンピュータを、前記表示部に表示された電子写真を見ている人物の顔の表情を判別する表情判別手段、前記表情判別手段によって判別された顔の表情に関する情報を表示中の電子写真に関連付けて記憶する関連付け記憶手段としての機能させることを特徴とするプログラムである。
請求項18記載の発明は、少なくとも二枚以上の電子写真を逐次に表示可能な表示部を備えた電子写真立てのコンピュータを、前記二枚以上の電子写真のいずれかを前記表示部に表示しようとする際に当該表示部の方に視線を向けている人物の顔の表情を判別する表情判別手段、前記表情判別手段によって判別された顔の表情に関する情報に該当する情報が、これから表示しようとする電子写真に関連付けられているか否かを判別する関連付け判別手段、前記関連付け判別手段の判別結果が肯定の場合に前記表示部への電子写真の表示を許容する表示許容手段としての機能させることを特徴とするプログラムである。
【発明の効果】
【0013】
本発明によれば、手間をかけず且つ簡単な仕組みで、現在の感情に応じた写真を表示できる電子写真立て、その制御方法及びプログラムを提供することができる。
【図面の簡単な説明】
【0014】
【図1】実施形態に係る電子写真立て(DPF)の外観図である。
【図2】DPF1の内部ブロック図である。
【図3】付加機能で使用される写真リストテーブルの概念構造図である。
【図4】制御部19のCPU20で実行される制御プログラムを示す図である。
【図5】カテゴリ分け処理(図4のステップS6)を示す図である。
【図6】カテゴリ分けの概念図である。
【図7】カテゴリ分類に従った選択的表示の概念図である。
【図8】実施形態の写真リストテーブル27の改良構造と鑑賞者登録データテーブルの構造を示す図である。
【図9】実施形態のメインフロー(図4参照)の改良例を示す図である。
【図10】実施形態のカテゴリ分け処理(図5参照)の改良例を示す図である。
【発明を実施するための形態】
【0015】
以下、本発明の実施形態を、図面を参照しながら説明する。
図1は、実施形態に係る電子写真立て(DPF)の外観図である。この図において、DPF1は、液晶パネルやELパネルあるいはプラズマパネルまたは電子ペーパ等の表示情報書き換え型の表示デバイスを用いた表示部2と、その表示部2の周囲を取り囲む、適当にデザインされた額縁3と、額縁3の背面に設けられた電子回路収容箱4と、この電子回路収容箱4の背面に取り付けられた可倒式の脚部5とを備えると共に、額縁3の前面側の任意位置(図では表示部2の上)に取り付けられたカメラ6を備えている。
【0016】
ここで、カメラ6の撮影画角αは、DPF1の表示部2に表示される写真を鑑賞する人物(以下、鑑賞者7)の顔が撮影できる適切な値に設定されており、また、カメラ6の焦点距離についても鑑賞者7までの距離に合わせて適切に設定されている。
【0017】
電子回路収容箱4の側面には、様々なスイッチ類、たとえば、電源スイッチ8やメニュースイッチ9、上矢印スイッチ10及び下矢印スイッチ11などを含む操作部12と、カード型メモリ装置(CFカードやSDカードなど)または脱着式ハードディスクもしくは磁気ディスク等の記録メディアを挿入するためのメディアスロット13と、電源コネクタ14とが設けられており、このDPF1を使用する際には、ACアダプタ15のACプラグ16を不図示の壁面コンセントに挿し、さらに、ACアダプタ15の電源プラグ17を電子回路収容箱4の側面の電源コネクタ14に差し込んでから、電源スイッチ8をオンにする。
【0018】
図2は、DPF1の内部ブロック図である。この図において、電源部18はACアダプタ15からのDC電源供給を受けて、このDPF1の動作に必要な各種電源を発生する。制御部19は、CPU(中央処理装置)20、RAM(揮発性高速メモリ)21、ROM(不揮発性メモリ)22、PROM(書き換え可能型不揮発性メモリ)23及びその他の周辺回路からなる、いわゆるマイクロコンピュータ(又は単にコンピュータ)で構成されており、あらかじめROM22に書き込まれている制御プログラム(後述の図4参照)や、適宜にPROM23に書き込まれる可変データ(後述の図3参照)をRAM21に読み込み、その制御プログラムをCPU20で実行することにより、電子写真立てとしての所要の機能を実現する。
【0019】
具体的には、制御部19は、メディアI/F部24のメディアスロット13に記録メディア25が差し込まれているか否かを調べ、記録メディア25が差し込まれている場合には、その記録メディア25に格納されている画像ファイル(以下、便宜的に「写真」という。)を読み出して表示部2に表示する一方、記録メディア25が差し込まれていない場合には、内部メモリとしての記憶部26に格納されている写真(工場出荷時に格納されたサンプル写真または事前に記録メディア25から移し変えられた写真)を読み出して表示部2に表示するという電子写真立てとしての基本的機能を実現することに加え、本実施形態にあっては、後で詳しく説明するように、表示部2に写真を表示する際に、単に複数の写真を順番またはランダムに表示するのではなく、カメラ6で撮影した鑑賞者の表情に応じて適切な写真を選択して表示するという特有の機能(以下、付加機能という。)を実現する点で冒頭で説明した従来技術(特許文献1〜5に記載のもの)と相違する。
【0020】
図3は、付加機能で使用される写真リストテーブルの概念構造図である。この写真リストテーブル27は、制御部19のPROM23に保存されており、必要に応じて内容が更新される(書き換えられる)ようになっている。写真リストテーブル27は、写真の保存枚数に相当する複数のレコードからなり、各々のレコードは、各写真の識別番号(一般的にはファイル名であるが、ここでは便宜的に三桁の数列とする。)を格納するための番号フィールド27aと、各写真のカテゴリ情報を格納するためのカテゴリフィールド27bとで構成されている。
【0021】
カテゴリ情報とは、各々の写真を鑑賞者が見た際にどのような表情をしたのかを示す情報のことであり、ここでは便宜的に「笑顔大」、「笑顔中」、「無表情」としている。ただし、これらのカテゴリ(笑顔大、笑顔中、無表情)は一例に過ぎない。上記のとおり、「各々の写真を鑑賞者が見た際にどのような表情をしたのかを示す情報」であればよい。たとえば、「笑顔小」を加えてもよく、あるいは、「怒り顔」や「泣き顔」、「悲しい顔」など他の表情を加えてもよい。さらに、それらの他の表情についても、「大」、「中」、「小」などに細分化してもよい。あるいは、上記の笑顔も含めて表情の度合いを、「大」、「中」、「小」などの段階的表現ではなく、数値で表してもよい。たとえば、最大を100、最小を0とし、その間を99〜1までの範囲で表すなどしてもよい。あるいは、無表情を0とし、笑顔をプラス(+)、怒り顔や泣き顔をマイナス(−)であらわしてもよい。
【0022】
図4は、制御部19のCPU20で実行される制御プログラム(以下、メインルーチンという。)を示す図である。この図において、DPF1の電源スイッチ8がオンになると、まず、写真選択用のカウンタ変数iに初期値「1」をセットし(ステップS1)、次いで、カードスロット13に記録メディア25が挿入されているか否かを判定する(ステップS2)。そして、挿入されていなければ記憶部26に収められているi番目の写真を読み出し(ステップS3)、挿入されていれば記録メディア25に収められているi番目の写真を読み出す(ステップS4)。
【0023】
次いで、PROM23の写真リストテーブル27を参照して、そのi番目の写真がカテゴリ分けされたものであるか否かを判定し(ステップS5)、カテゴリ分けされていなければ後で詳しく説明する「カテゴリ分け処理」を実行(ステップS6)する一方、カテゴリ分けされていれば、次に、カメラ6を起動してその撮影画像を取り込み、当該画像中に鑑賞者7の顔が写っているか否かを判定する(ステップS7)。
【0024】
そして、鑑賞者7の顔が写っていなければ、そのままi番目の写真を表示部2に出力して表示(ステップS9)するが、鑑賞者7の顔が写っていた場合には、その鑑賞者7の顔の表情を判別(具体的には、笑顔であるか、笑顔以外の怒り顔や泣き顔または悲しい顔であるか、あるいは、無表情であるかなどを判別)し、i番目の写真のカテゴリがその判別結果に適合したものであるか否かを判定する(ステップS8)。たとえば、i番目の写真の番号を“001”と仮定したとき、写真リストテーブル27によれば、この番号“100”の写真のカテゴリが「笑顔大」であるので、この場合、カメラ6の撮像画像中の鑑賞者7の表情が同じ(笑顔大)であれば、ステップS8の判定結果がYESになり、それ以外の表情であればステップS8の判定結果がNOになる。
【0025】
ステップS8の判定結果がYESの場合、すなわち、i番目の写真のカテゴリが、カメラ6で撮影した鑑賞者7の顔の表情に適合したカテゴリである場合は、そのi番目の写真を表示部2に出力して表示し(ステップS9)、カウンタ変数iを+1して(ステップS10)、i>imax(imaxは写真の総数)であるか否かを判定する(ステップS11)。そして、i>imaxであれば、写真のエンドレス表示を行うためにステップS1に戻り、i>imaxでなければ、次順の写真(新たなi番目の写真)に対して同様の処理を行うためにステップS2に戻る。
【0026】
なお、鑑賞者7の表情判別には、たとえば、多数の顔画像のテンプレートと検出された顔画像とのマッチングによって表情を評価する公知手法を用いることができる。あるいは、「フィッシャー(Fisher)の線形判別分析」と呼ばれる公知手法を用いてもよい。この手法は、2つの表情をそれぞれ持つ顔のサンプル画像を事前に多数用意しておき、これらのサンプル画像のデータを基に、2つの表情間の2クラス問題と考えて線形判別分析(LDA:Linear Discriminant Analysis)により、これらの2つの表情をよく判別する判別軸を事前に形成しておき、表情評価の際には、入力された顔画像のデータと判別軸との内積を求めることで表情評価値を算出するというものである。また、鑑賞者7の顔検出にも公知手法を用いることができる。たとえば、顔画像中の2画素間の輝度差を学習して特徴量としてあらかじめ保持しておき、そして、入力画像に対して一定の大きさのウィンドウを順次当てはめて、ウィンドウの中の画像に顔が含まれるか否かを特徴量を基に推定して、顔検出の推定値を出力するという公知方法などである。この方法では、入力画像を順次縮小して同じ処理を行うことにより、一定の大きさのウィンドウを用いて顔検出の推定を行うことができ、それらの動作により得られた推定値から顔が存在する領域を最終的に判別することができる。
【0027】
図5は、カテゴリ分け処理(図4のステップS6)を示す図である。この図において、カテゴリ分け処理では、まず、i番目の写真を表示部2に出力して表示(ステップS21)すると共に、その表示状態のまま、カメラ6を起動してその撮影画像を取り込み、当該画像中に鑑賞者7の顔が写っているか否かを判定する(ステップS22)。
【0028】
そして、鑑賞者7の顔が写っていなければ、そのままフローを抜けて図4のメインフローに戻る(ステップS10に進む)が、鑑賞者7の顔が写っていた場合には、その鑑賞者7の顔の表情を判別(具体的には、笑顔であるか、笑顔以外の怒顔や泣き顔または悲しい顔であるか、あるいは、無表情であるかを判別)し(ステップS23)、その判別結果に対応したカテゴリ情報を、写真リストテーブル27のi番目の写真のカテゴリフィールド27bに書き込み(ステップS24)、フローを抜けて図4のメインフローに戻る(ステップS10に進む)。
【0029】
このように、図4のメインフロー(及び図5のカテゴリ分け処理)によれば、記憶部26または記録メディア25から写真を順次に読み込み、それらの写真がカテゴリ分けされていない場合には、図5のカテゴリ分け処理を実行して、その写真を見ている人物(鑑賞者7)の顔の表情に対応したカテゴリ分けを行うことができ、さらに、そのようにしてカテゴリ分けされた写真を表示しようとする際には、当該時点における鑑賞者7の顔の表情に適合したカテゴリの写真だけを取り出して選択的に表示することができる。
【0030】
図6及び図7は、本実施形態の作用概念図であり、図6はカテゴリ分けの概念図、図7はカテゴリ分類に従った選択的表示の概念図である。
今、図6に示すように、番号“001”の写真を見た鑑賞者7の表情が最大の笑顔である場合、写真リストテーブル27の番号“001”のカテゴリフィールド27bに「笑顔大」が書き込まれ、同様に、番号“002”の写真を見た鑑賞者7の表情が中程度の笑顔である場合、写真リストテーブル27の番号“002”のカテゴリフィールド27bに「笑顔中」が書き込まれる。さらに、番号“003”の写真を見た鑑賞者7の表情が無表情である場合、写真リストテーブル27の番号“003”の写真のカテゴリフィールド27bに「無表情」が書き込まれる。
【0031】
そして、図7に示すように、それらのカテゴリ分けされた写真を鑑賞しようとする際には、(a)そのときの鑑賞者7の表情が最大の笑顔であれば、記憶部26または記録メディア25に収められている写真のうち、カテゴリが「笑顔大」の写真だけが表示部2に表示される。または、(b)そのときの鑑賞者7の表情が中程度の笑顔であれば、記憶部26または記録メディア25に収められている写真のうち、カテゴリが「笑顔中」の写真だけが表示部2に表示される。あるいは、(c)そのときの鑑賞者7の表情が無表情であれば、記憶部26または記録メディア25に収められている写真のうち、カテゴリが「無表情」の写真だけが表示部2に表示される。
【0032】
このように、本実施形態では、鑑賞者7の現在の感情(実際には顔の表情)に適合した写真を選択して表示することができるので、冒頭で説明した特許文献1の欠点を解消できるうえ、さらに、感情を区別するためのカテゴリ分けの作業は、カテゴリ分けされていない写真を表示する際に自動的に行われる(図5のカテゴリ分け処理を参照)ので、人為的な手間をかける必要がなく、冒頭で説明した特許文献2の欠点も解消できる。
【0033】
加えて、鑑賞者7の現在の感情と表示される写真との間にカテゴリの一致という一定の相関があるから、冒頭で説明した特許文献3のように、退屈を感じている人の注意を取り戻すことができるかどうか不確かな映像を流すものに比べて、明らかに鑑賞者7の注意を引き付けることができるようになり、この特許文献3の欠点も解消できるし、さらに、脈拍、心拍、心電、筋電・・・・等々の生体情報を検出するための大掛かりな装置が不要であるため、冒頭で説明した特許文献5の欠点も解消できる。
【0034】
以上のとおりであるから、本実施形態によれば、手間をかけず且つ簡単な仕組みで、現在の感情と適合する写真を表示できる電子写真立て(DPF)を実現することができる。
【0035】
なお、以上の実施形態は発明の実施形態の一例を示しているに過ぎない。発明の技術思想の範囲内で様々な変形例や発展例を考えることができる。
【0036】
たとえば、実施形態を改良して鑑賞者7を個々に区別できるようにしてもよい。
図8は、実施形態の写真リストテーブル27の改良構造と鑑賞者登録データテーブルの構造を示す図である。この図において、(a)に示す写真リストテーブル127は、実施形態の写真リストテーブル27を改良したものであり、相違点は鑑賞者7ごとのカテゴリフィールドを設けたことにある。すなわち、この写真リストテーブル127は、各写真の識別番号を格納するための番号フィールド127aと、鑑賞者7ごとのカテゴリフィールド127bとを備え、さらに、鑑賞者7ごとのカテゴリフィールド127bを複数のサブカテゴリフィールド127c、127d、127e、・・・・に細分化している。ここで、図示の例では便宜的に三つのサブカテゴリフィールド127c、127d、127eに細分化されているものとし、且つ、サブカテゴリフィールド127cを「鑑賞者A」用、サブカテゴリフィールド127dを「鑑賞者B」用、サブカテゴリフィールド127eを「鑑賞者C」用としている。
【0037】
一方、鑑賞者登録データテーブル128は、鑑賞者A、B、C、・・・・の顔データを事前に登録しておくためのものであり、この鑑賞者登録データテーブル128は、鑑賞者IDを格納するためのIDフィールド128aと、鑑賞者A、B、C、・・・・の各々の顔データ(カメラ6で撮影した顔写真または顔の特徴を表したもの)を格納するための鑑賞者顔データフィールド128bとを有する。
【0038】
図9及び図10は、実施形態のメインフロー(図4参照)の改良例とカテゴリ分け処理(図5参照)の改良例を示す図である。
【0039】
まず、図9の囲み波線で示すように、実施形態のメインフローのステップS7の後に新たなステップS31を追加すると共に、メインフローのステップS8を一部変更してステップS8aとした。すなわち、ステップS31で、カメラ6で撮影中の鑑賞者7が鑑賞者登録データテーブル128に登録済みの鑑賞者7(つまり、鑑賞者A、B、C、・・・・のいずれか)であるか否かを判定し、未登録の鑑賞者7であれば、そのまま写真を表示(ステップS9)する一方、登録済みの鑑賞者7であれば、ステップS8aに進み、写真リストテーブル127を参照して、その鑑賞者7の顔の表情に適合したカテゴリの写真であるか否かを判定するように改良した。
【0040】
また、図10の囲み波線で示すように、実施形態のカテゴリ分け処理のステップS22の後に新たなステップS32を追加すると共に、同処理のステップS23とステップS24を一部変更してそれぞれステップS23aとステップS24aとした。すなわち、ステップS32で、カメラ6で撮影中の鑑賞者7が鑑賞者登録データテーブル128に登録済みの鑑賞者7(つまり、鑑賞者A、B、C、・・・・のいずれか)であるか否かを判定し、未登録の鑑賞者7であれば、そのままメインフローに戻る一方、登録済みの鑑賞者7であれば、ステップS23aで、その鑑賞者7の顔の表情を特定し、次いで、ステップS24dで、その鑑賞者7の顔の表情に適合したカテゴリで写真を分類するように改良した。
【0041】
このように改良すれば、鑑賞者A、B、C、・・・・の個々に対応したカテゴリを用いて写真の選択表示を行うことができるようになり、個人個人の写真に対する異なる感性に対応したきめ細かな写真の表示選択特性を得ることができるから、たとえば、家族や職場等の構成員各々を鑑賞者A、B、C、・・・・として事前に登録しておき、且つ、それら各人ごとに写真のカテゴリ分けを行っておけば、当該構成員のいずれかがDPF1の前に来たとき(写真を鑑賞しようとしたとき)に、その鑑賞者のその時点における感情に適合した写真を選択表示することができ、普遍的でより実用性に即したものとすることができる。
【0042】
なお、以上の説明では、電子写真立て(DPF)への適用を示したが、これはあくまでも一例に過ぎない。電子写真(デジタル形式の画像ファイル)を表示可能な電子機器であればどのようなものであってもよく、たとえば、画像再生用のディスプレイを備えた、デジタルカメラやデジタルビデオカメラ、画像ストレージ、ゲームマシン、パーソナルコンピュータ、あるいは、携帯電話機、その他の画像表示装置であってもよい。
【0043】
また、実施形態において、写真の選択表示を行う際の表示順は、順番あるいはランダムいずれであってもよい。順番にする場合は、写真選択用のカウンタ変数iの値と写真リストテーブル27のレコード番号とを一対一で対応させればよい。つまり、i=1を第1レコード、i=2を第2レコード、・・・・、i=nを第nレコードとすればよい。iの値を更新するたびに写真リストテーブル27の第1レコードから「順番」に写真を読み出すことができる。ランダムにする場合は、カウンタ変数iの値を不規則に更新すればよい。たとえば、i=1、i=5、i=3、・・・・などとすれば、写真リストテーブル27の第1レコード、第5レコード、第3レコード、・・・・というように「不規則」(つまり、ランダム)に写真を読み出すことができる。
【0044】
また、実施形態においては、写真のカテゴリ分け処理(図5参照)を実行する条件について、その写真がまだカテゴリ分けされていない場合としているが、これに限定されない。たとえば、カテゴリ分けを行った後、一定期間を経過した写真については再びカテゴリ分け処理(図5参照)を実行するようにしてもよい。写真に対して抱く感情はいつまでも同じではなく、各人の体調や生活環境または季節などにより微妙にまたは大胆に変化し得るからである。
【0045】
また、実施形態の前記改良例(鑑賞者を個々に区別できるようにしたもの)においては、未登録者が鑑賞者となる場合に、カテゴリを無視してそのまま写真を表示するようにしている(図9のステップS31のNO→ステップS9)が、これに限らず、カテゴリを考慮するように変更してもよい。
【0046】
今、人物Xを未登録の鑑賞者とし、人物a、b、c、・・・・を登録済みの鑑賞者(つまり、写真リストテーブル127に登録済みの鑑賞者A、B、C、・・・・)とすると、この場合、写真リストテーブル127に格納されているカテゴリは人物a、b、c、・・・・の表情に適合したものであって、人物Xとはまったく関係しない。
【0047】
しかしながら、写真に抱く感情はすべての人に共通とまではいえないものの、多くの場合、ある程度の一般性を持つことも事実である(たとえば、楽しい内容の写真を見た多くの人は同様に楽しい感情を抱く)から、人物a、b、c、・・・・(つまり、登録済みの鑑賞者A、B、C、・・・・)の全員またはその大多数が共通して抱いた感情は他の人物Xにも概ね当てはまるという考え方の元で、未登録者(人物X)が鑑賞者となる場合においても、登録済みのカテゴリを使用して写真の選択的表示を行うようにしてもかまわない。むしろ、そのようにすれば、完璧ではないものの、未登録者(人物X)の顔の表情に“概ね”適合したカテゴリの写真を選択表示できるので、カテゴリを無視した場合に比べ、表示される写真の統一感を高めることができる点で好ましいものとすることができる。
【0048】
また、実施形態では、内部メモリとしての記憶部26や着脱式の記録メディア25に収められている電子写真を表示する、としているが、これ以外にも、たとえば、LANやWAN等のネットワーク上に保存されている電子写真、あるいは、赤外線やブルーツース等の近距離通信によって伝送された電子写真を表示するようにしてもよい。
また、実施形態では、鑑賞者の顔の表情に一致したカテゴリの写真を表示させたが、たとえば、鑑賞者の顔が「悲しい顔」であった場合に、悲しさを紛らわせるために、当該鑑賞者が「笑い顔」のときの写真を表示するようにしてもよい。
また、実施形態では、電子写真立ての前面に設けられたカメラ部で撮像された画像に基づいて当該電子写真立ての表示部に表示された電子写真を見ている人物を判定したが、電子写真立てにはカメラ部を備えずとも、外部から入力された情報に基づいて、当該電子写真立ての表示部に表示された電子写真を見ている人物の存在や個人を判定するようにしてもよい。
また、カメラ部で撮像された画像ではなく、マイク部で入力された音声などに基づいて人物の存在や個人を判定するようにしてもよい。
また、カメラ部で撮像された画像に人物の顔を検出するだけでなく、検出された人物の顔画像から視線方向を検出し、視線方向が電子写真立ての方を向いている場合のみ、当該電子写真立ての表示部に表示された電子写真を見ていると判定するようにしてもよい。
また、実施形態では、電子写真立ての表示部に表示しようとする電子写真を特定した後、当該電子写真を表示するか否かを顔の表情に基づいて決定しているが、電子写真を見ている人物の顔の表情に基づいて、複数の電子写真の中から表示する電子写真を選択するようにしてもよい。
【符号の説明】
【0049】
1 DPF(電子写真立て)
2 表示部
6 カメラ(撮像手段)
19 制御部(表情判別手段、関連付け記憶手段、表示許容手段、人物特定情報保持手段、人物特定手段、表示制御手段、関連付け判別手段)
【技術分野】
【0001】
本発明は、電子写真立て、その制御方法及びプログラムに関する。
【背景技術】
【0002】
デジタルカメラで撮影された写真は、デジタル形式の画像ファイル(以下、電子写真または単に写真という。)であるため、紙への印刷出力は必ずしも必要でなく、画像としていつでも好きなときに表示(パソコンのディスプレイに映し出すこと。)できるという利点があるものの、それでもパソコンに不慣れな人にとっての使い難さを否めない。
【0003】
このため、電子写真立て(デジタルフォトフレーム:DPF)と呼ばれる便利な表示装置が用いられている。DPFは、デジタルカメラから取り出された記録メディアをセットするだけで、当該メディアに記録されている電子写真を自動的に表示することができるものであり、パソコンに不慣れな人にとっても容易に使いこなせるものである。
【0004】
しかし一方で、DPFは、セットされた記録メディア内の電子写真を順番またはランダムに読み出して表示するものに過ぎないため、鑑賞者の好みに適合しない写真表示が行われてしまうという欠点がある。
【0005】
下記の特許文献1、2には、カメラ付のDPFに関する技術が開示されている。特許文献1では表示中の写真を見た(認識した)回数やその時間長に応じて写真表示の優先順位を決定するようにしており、また、特許文献2では登録者ごとにその登録者のお気に入りの写真を表示するようにしている。
【0006】
しかしながら、特許文献1の技術にあっては、少なくとも過去に決定された優先順位に従って写真を表示するため、鑑賞者の現在の感情に合わない写真が表示されるおそれがあり、たとえば、楽しい気持ちのときに悲しげな内容の写真が表示されると、気持ちが落ち込むという欠点があるし、特許文献2の技術にあっては、お気に入りの写真を登録者ごとに事前選択しておく必要があり、手間がかかって面倒であるという欠点がある。
【0007】
一方、DPF以外に範囲を広げて従来技術を調べてみると、たとえば、下記の特許文献3〜5のようなものがある。
すなわち、特許文献3には、広告画像を見ている人毎に最適な広告画像を表示できるようにした表示装置において、広告画像を見ている人の顔の表情をカメラで撮影し、その表情が<退屈>を表している場合に、所定の映像を流して注意を取り戻すようにした技術が記載されている。
また、特許文献4には、歌い手の音声(歌声)と、人物を模したアニメーション画像とを聞き手側に配信するカラオケシステムにおいて、歌い手の表情をカメラで撮影し、その表情をアニメーション画像に反映させるようにした技術が記載されている。
さらに、特許文献5には、使用者の視界に相当する画像を撮影して保存すると共に、その保存時点における当該使用者の生体情報(脈拍、心拍、心電・・・・等)を検出して前記画像に関連付けて保存し、しかる後、前記使用者が画像を閲覧しようとする際には、当該使用者の生体情報を再び検出し、その生体情報と同じ生体情報が関連付けられている画像を取り出して表示するようにした技術が記載されている。
【先行技術文献】
【特許文献】
【0008】
【特許文献1】特開2008−165009号公報
【特許文献2】特開2009−171176号公報
【特許文献3】特開2005−267611号公報
【特許文献4】特開2006−251271号公報
【特許文献5】特開2008−118527号公報
【発明の概要】
【発明が解決しようとする課題】
【0009】
しかしながら、上記の特許文献3〜5の技術にあっては、以下の問題点がある。
(1)特許文献3:
画像を見ている人の表情が<退屈>を表している場合に、所定の映像を流しているに過ぎない。つまり、単に注意を取り戻すように工夫したに過ぎない。
(2)特許文献4:
歌い手の表情をアニメーション画像に反映させているに過ぎない。
(3)特許文献5:
生体情報に基く画像の選択的表示を行っているが、この生体情報は、脈拍、心拍、心電・・・・等であって、画像を見ようとしている人の表情ではない。
【0010】
したがって、これらの技術(特許文献3〜5の技術)のDPFへの適用を考えると、そもそも(2)は、カラオケのアニメーション技術であるから、DPFへの適用は不適当であるし、また、(1)については、注意を取り戻すことができる映像をどのようにして選定すべきか不明(同文献では退屈している場合にアクション/冒険映画の映像を流すとしているが、必ずしもそうとはいえない。そのような映像に興味を示さない人も当然存在する。)である、また、(3)については、脈拍、心拍、心電・・・・等の生体情報を検出するための大掛かりな装置が必要でコストが嵩み実用的でない、という問題点を抱えている。
【0011】
そこで、本発明は、手間をかけず且つ簡単な仕組みで、現在の感情に応じた写真を表示できる電子写真立て、その制御方法及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【0012】
請求項1記載の発明は、少なくとも二枚以上の電子写真を逐次に表示可能な表示部を備えた電子写真立てにおいて、前記表示部に表示された電子写真を見ている人物の顔の表情を判別する表情判別手段と、前記表情判別手段によって判別された顔の表情に関する情報を表示中の電子写真に関連付けて記憶する関連付け記憶手段とを備えたことを特徴とする電子写真立てである。
請求項2記載の発明は、前記関連付け記憶手段に記憶されている電子写真を表示する場合に、各電子写真に関連付けて記憶されている顔の表情に関する情報と、前記表情判別手段により判別された人物の顔の表情とを比較し、その比較結果に応じて前記関連付け記憶手段に記憶されている各電子写真の表示を制御する表示制御手段を更に備えたことを特徴とする請求項1に記載の電子写真立てである。
請求項3記載の発明は、前記表示制御手段は、前記二枚以上の電子写真のいずれかを前記表示部に表示しようとする際に、前記表情判別手段によって判別された顔の表情に関する情報に該当する情報が、これから表示しようとする電子写真に関連付けられているか否かを判別する関連付け判別手段と、前記関連付け判別手段の判別結果が肯定の場合に前記表示部への電子写真の表示を許容する表示許容手段とを含むことを特徴とする請求項2に記載の電子写真立てである。
請求項4記載の発明は、前記表示制御手段は、前記表情判別手段により判別された人物の顔の表情に基づいて、前記関連付け記憶手段に記憶されている複数の電子写真の中から前記表示部に表示する電子画像を選択することを特徴とする請求項2に記載の電子写真立てである。
請求項5記載の発明は、前記表情判別手段は、前記表示部に電子写真を表示しているときに、当該表示部の方に視線を向けている人物を、当該表示部に表示された電子写真を見ている人物として特定することを特徴とする請求項1乃至4のいずれかに記載の電子写真立てである。
請求項6記載の発明は、被写体を撮像して画像を取得する撮像手段と、前記表情判別手段は、前記表示部に電子写真を表示しているときに、前記撮像手段により取得された画像内に検出される人物を、前記表示部に表示された電子写真を見ている人物として特定し、当該画像に基づく画像認識処理により当該人物の表情を判別することを特徴とする請求項1乃至4のいずれかに記載の電子写真立てである。
請求項7記載の発明は、人物の顔に関する情報を保持する人物特定情報保持手段と、前記表示部に表示された電子写真を見ている人物を前記人物特定情報保持手段に保持されている情報に基き特定する人物特定手段と、を更に備え、前記関連付け記憶手段は、前記表情判別手段によって判別された顔の表情に関する情報を、前記人物特定手段により特定された人物に関係するものとして表示中の電子写真に関連付けて記憶することを特徴とする請求項1乃至6のいずれかに記載の電子写真立てである。
請求項8記載の発明は、前記人物特定情報保持手段は、前記電子写真を見る可能性のある人物の顔に関する情報を、任意に登録して保持することを特徴とする請求項3に記載の電子写真立てである。
請求項9記載の発明は、前記二枚以上の電子写真のいずれかを前記表示部に表示しようとする際に当該表示部の方に視線を向けている人物を特定する人物特定手段と、前記表情判別手段は、前記人物特定手段によって特定された人物の顔の表情を判別することを特徴とする請求項1記載の電子写真立てである。
請求項10記載の発明は、前記関連付け記憶手段は、これから表示しようとする電子写真に、前記顔の表情に関する情報が関連付けて記憶されていない場合に、前記顔の表情に関する情報を関連付けて記憶することを特徴とする請求項1又は7いずれかに記載の電子写真立てである。
請求項11記載の発明は、前記関連付け記憶手段は、これから表示しようとする電子写真に、すでに前記顔の表情に関する情報が関連付けて記憶されている場合であっても、当該情報の記憶から一定期間を経過している場合には、前記顔の表情に関する情報を関連付けて記憶し直すことを特徴とする請求項1又は7いずれかに記載の電子写真立てである。
請求項12記載の発明は、前記人物特定手段による特定の結果、前記表示部の方に視線を向けている人物が前記人物特定情報保持手段に保持されている情報に基き特定されなかった場合に、前記表情判別手段は、前記人物特定手段の特定結果にかかわらず当該人物の顔の表情を判別し、前記関連付け判別手段は、前記表情判別手段によって判別された顔の表情に関する情報に該当する情報が、これから表示しようとする電子写真に関連付けられているか否かを判別することを特徴とする請求項9に記載の電子写真立てである。
請求項13記載の発明は、少なくとも二枚以上の電子写真を逐次に表示可能な表示部を備えた電子写真立てにおいて、前記二枚以上の電子写真のいずれかを前記表示部に表示しようとする際に当該表示部の方に視線を向けている人物の顔の表情を判別する表情判別手段と、前記表情判別手段によって判別された顔の表情に関する情報に該当する情報が、これから表示しようとする電子写真に関連付けられているか否かを判別する関連付け判別手段と、前記関連付け判別手段の判別結果が肯定の場合に前記表示部への電子写真の表示を許容する表示許容手段とを備えたことを特徴とする電子写真立てである。
請求項14記載の発明は、人物の顔に関する情報を保持する人物特定情報保持手段と、前記表示部に表示された電子写真を見ている人物を前記人物特定情報保持手段に保持されている情報に基き特定する人物特定手段と、を更に備え、前記関連付け判別手段は、前記表情判別手段によって判別された顔の表情に関する情報に該当する情報が、前記人物特定手段により特定された人物に関係するものとして、これから表示しようとする電子写真に関連付けられているか否かを判別することを特徴とする請求項13に記載の電子写真立てである。
請求項15記載の発明は、少なくとも二枚以上の電子写真を逐次に表示可能な表示部を備えた電子写真立ての制御方法において、前記表示部に表示された電子写真を見ている人物の顔の表情を判別する表情判別工程と、前記表情判別工程によって判別された顔の表情に関する情報を表示中の電子写真に関連付けて記憶する関連付け記憶工程とを含むことを特徴とする電子写真立ての制御方法である。
請求項16記載の発明は、少なくとも二枚以上の電子写真を逐次に表示可能な表示部を備えた電子写真立ての制御方法において、前記二枚以上の電子写真のいずれかを前記表示部に表示しようとする際に当該表示部の方に視線を向けている人物の顔の表情を判別する表情判別工程と、前記表情判別工程によって判別された顔の表情に関する情報に該当する情報が、これから表示しようとする電子写真に関連付けられているか否かを判別する関連付け判別工程と、前記関連付け判別工程の判別結果が肯定の場合に前記表示部への電子写真の表示を許容する表示許容工程とを含むことを特徴とする電子写真立ての制御方法である。
請求項17記載の発明は、少なくとも二枚以上の電子写真を逐次に表示可能な表示部を備えた電子写真立てのコンピュータを、前記表示部に表示された電子写真を見ている人物の顔の表情を判別する表情判別手段、前記表情判別手段によって判別された顔の表情に関する情報を表示中の電子写真に関連付けて記憶する関連付け記憶手段としての機能させることを特徴とするプログラムである。
請求項18記載の発明は、少なくとも二枚以上の電子写真を逐次に表示可能な表示部を備えた電子写真立てのコンピュータを、前記二枚以上の電子写真のいずれかを前記表示部に表示しようとする際に当該表示部の方に視線を向けている人物の顔の表情を判別する表情判別手段、前記表情判別手段によって判別された顔の表情に関する情報に該当する情報が、これから表示しようとする電子写真に関連付けられているか否かを判別する関連付け判別手段、前記関連付け判別手段の判別結果が肯定の場合に前記表示部への電子写真の表示を許容する表示許容手段としての機能させることを特徴とするプログラムである。
【発明の効果】
【0013】
本発明によれば、手間をかけず且つ簡単な仕組みで、現在の感情に応じた写真を表示できる電子写真立て、その制御方法及びプログラムを提供することができる。
【図面の簡単な説明】
【0014】
【図1】実施形態に係る電子写真立て(DPF)の外観図である。
【図2】DPF1の内部ブロック図である。
【図3】付加機能で使用される写真リストテーブルの概念構造図である。
【図4】制御部19のCPU20で実行される制御プログラムを示す図である。
【図5】カテゴリ分け処理(図4のステップS6)を示す図である。
【図6】カテゴリ分けの概念図である。
【図7】カテゴリ分類に従った選択的表示の概念図である。
【図8】実施形態の写真リストテーブル27の改良構造と鑑賞者登録データテーブルの構造を示す図である。
【図9】実施形態のメインフロー(図4参照)の改良例を示す図である。
【図10】実施形態のカテゴリ分け処理(図5参照)の改良例を示す図である。
【発明を実施するための形態】
【0015】
以下、本発明の実施形態を、図面を参照しながら説明する。
図1は、実施形態に係る電子写真立て(DPF)の外観図である。この図において、DPF1は、液晶パネルやELパネルあるいはプラズマパネルまたは電子ペーパ等の表示情報書き換え型の表示デバイスを用いた表示部2と、その表示部2の周囲を取り囲む、適当にデザインされた額縁3と、額縁3の背面に設けられた電子回路収容箱4と、この電子回路収容箱4の背面に取り付けられた可倒式の脚部5とを備えると共に、額縁3の前面側の任意位置(図では表示部2の上)に取り付けられたカメラ6を備えている。
【0016】
ここで、カメラ6の撮影画角αは、DPF1の表示部2に表示される写真を鑑賞する人物(以下、鑑賞者7)の顔が撮影できる適切な値に設定されており、また、カメラ6の焦点距離についても鑑賞者7までの距離に合わせて適切に設定されている。
【0017】
電子回路収容箱4の側面には、様々なスイッチ類、たとえば、電源スイッチ8やメニュースイッチ9、上矢印スイッチ10及び下矢印スイッチ11などを含む操作部12と、カード型メモリ装置(CFカードやSDカードなど)または脱着式ハードディスクもしくは磁気ディスク等の記録メディアを挿入するためのメディアスロット13と、電源コネクタ14とが設けられており、このDPF1を使用する際には、ACアダプタ15のACプラグ16を不図示の壁面コンセントに挿し、さらに、ACアダプタ15の電源プラグ17を電子回路収容箱4の側面の電源コネクタ14に差し込んでから、電源スイッチ8をオンにする。
【0018】
図2は、DPF1の内部ブロック図である。この図において、電源部18はACアダプタ15からのDC電源供給を受けて、このDPF1の動作に必要な各種電源を発生する。制御部19は、CPU(中央処理装置)20、RAM(揮発性高速メモリ)21、ROM(不揮発性メモリ)22、PROM(書き換え可能型不揮発性メモリ)23及びその他の周辺回路からなる、いわゆるマイクロコンピュータ(又は単にコンピュータ)で構成されており、あらかじめROM22に書き込まれている制御プログラム(後述の図4参照)や、適宜にPROM23に書き込まれる可変データ(後述の図3参照)をRAM21に読み込み、その制御プログラムをCPU20で実行することにより、電子写真立てとしての所要の機能を実現する。
【0019】
具体的には、制御部19は、メディアI/F部24のメディアスロット13に記録メディア25が差し込まれているか否かを調べ、記録メディア25が差し込まれている場合には、その記録メディア25に格納されている画像ファイル(以下、便宜的に「写真」という。)を読み出して表示部2に表示する一方、記録メディア25が差し込まれていない場合には、内部メモリとしての記憶部26に格納されている写真(工場出荷時に格納されたサンプル写真または事前に記録メディア25から移し変えられた写真)を読み出して表示部2に表示するという電子写真立てとしての基本的機能を実現することに加え、本実施形態にあっては、後で詳しく説明するように、表示部2に写真を表示する際に、単に複数の写真を順番またはランダムに表示するのではなく、カメラ6で撮影した鑑賞者の表情に応じて適切な写真を選択して表示するという特有の機能(以下、付加機能という。)を実現する点で冒頭で説明した従来技術(特許文献1〜5に記載のもの)と相違する。
【0020】
図3は、付加機能で使用される写真リストテーブルの概念構造図である。この写真リストテーブル27は、制御部19のPROM23に保存されており、必要に応じて内容が更新される(書き換えられる)ようになっている。写真リストテーブル27は、写真の保存枚数に相当する複数のレコードからなり、各々のレコードは、各写真の識別番号(一般的にはファイル名であるが、ここでは便宜的に三桁の数列とする。)を格納するための番号フィールド27aと、各写真のカテゴリ情報を格納するためのカテゴリフィールド27bとで構成されている。
【0021】
カテゴリ情報とは、各々の写真を鑑賞者が見た際にどのような表情をしたのかを示す情報のことであり、ここでは便宜的に「笑顔大」、「笑顔中」、「無表情」としている。ただし、これらのカテゴリ(笑顔大、笑顔中、無表情)は一例に過ぎない。上記のとおり、「各々の写真を鑑賞者が見た際にどのような表情をしたのかを示す情報」であればよい。たとえば、「笑顔小」を加えてもよく、あるいは、「怒り顔」や「泣き顔」、「悲しい顔」など他の表情を加えてもよい。さらに、それらの他の表情についても、「大」、「中」、「小」などに細分化してもよい。あるいは、上記の笑顔も含めて表情の度合いを、「大」、「中」、「小」などの段階的表現ではなく、数値で表してもよい。たとえば、最大を100、最小を0とし、その間を99〜1までの範囲で表すなどしてもよい。あるいは、無表情を0とし、笑顔をプラス(+)、怒り顔や泣き顔をマイナス(−)であらわしてもよい。
【0022】
図4は、制御部19のCPU20で実行される制御プログラム(以下、メインルーチンという。)を示す図である。この図において、DPF1の電源スイッチ8がオンになると、まず、写真選択用のカウンタ変数iに初期値「1」をセットし(ステップS1)、次いで、カードスロット13に記録メディア25が挿入されているか否かを判定する(ステップS2)。そして、挿入されていなければ記憶部26に収められているi番目の写真を読み出し(ステップS3)、挿入されていれば記録メディア25に収められているi番目の写真を読み出す(ステップS4)。
【0023】
次いで、PROM23の写真リストテーブル27を参照して、そのi番目の写真がカテゴリ分けされたものであるか否かを判定し(ステップS5)、カテゴリ分けされていなければ後で詳しく説明する「カテゴリ分け処理」を実行(ステップS6)する一方、カテゴリ分けされていれば、次に、カメラ6を起動してその撮影画像を取り込み、当該画像中に鑑賞者7の顔が写っているか否かを判定する(ステップS7)。
【0024】
そして、鑑賞者7の顔が写っていなければ、そのままi番目の写真を表示部2に出力して表示(ステップS9)するが、鑑賞者7の顔が写っていた場合には、その鑑賞者7の顔の表情を判別(具体的には、笑顔であるか、笑顔以外の怒り顔や泣き顔または悲しい顔であるか、あるいは、無表情であるかなどを判別)し、i番目の写真のカテゴリがその判別結果に適合したものであるか否かを判定する(ステップS8)。たとえば、i番目の写真の番号を“001”と仮定したとき、写真リストテーブル27によれば、この番号“100”の写真のカテゴリが「笑顔大」であるので、この場合、カメラ6の撮像画像中の鑑賞者7の表情が同じ(笑顔大)であれば、ステップS8の判定結果がYESになり、それ以外の表情であればステップS8の判定結果がNOになる。
【0025】
ステップS8の判定結果がYESの場合、すなわち、i番目の写真のカテゴリが、カメラ6で撮影した鑑賞者7の顔の表情に適合したカテゴリである場合は、そのi番目の写真を表示部2に出力して表示し(ステップS9)、カウンタ変数iを+1して(ステップS10)、i>imax(imaxは写真の総数)であるか否かを判定する(ステップS11)。そして、i>imaxであれば、写真のエンドレス表示を行うためにステップS1に戻り、i>imaxでなければ、次順の写真(新たなi番目の写真)に対して同様の処理を行うためにステップS2に戻る。
【0026】
なお、鑑賞者7の表情判別には、たとえば、多数の顔画像のテンプレートと検出された顔画像とのマッチングによって表情を評価する公知手法を用いることができる。あるいは、「フィッシャー(Fisher)の線形判別分析」と呼ばれる公知手法を用いてもよい。この手法は、2つの表情をそれぞれ持つ顔のサンプル画像を事前に多数用意しておき、これらのサンプル画像のデータを基に、2つの表情間の2クラス問題と考えて線形判別分析(LDA:Linear Discriminant Analysis)により、これらの2つの表情をよく判別する判別軸を事前に形成しておき、表情評価の際には、入力された顔画像のデータと判別軸との内積を求めることで表情評価値を算出するというものである。また、鑑賞者7の顔検出にも公知手法を用いることができる。たとえば、顔画像中の2画素間の輝度差を学習して特徴量としてあらかじめ保持しておき、そして、入力画像に対して一定の大きさのウィンドウを順次当てはめて、ウィンドウの中の画像に顔が含まれるか否かを特徴量を基に推定して、顔検出の推定値を出力するという公知方法などである。この方法では、入力画像を順次縮小して同じ処理を行うことにより、一定の大きさのウィンドウを用いて顔検出の推定を行うことができ、それらの動作により得られた推定値から顔が存在する領域を最終的に判別することができる。
【0027】
図5は、カテゴリ分け処理(図4のステップS6)を示す図である。この図において、カテゴリ分け処理では、まず、i番目の写真を表示部2に出力して表示(ステップS21)すると共に、その表示状態のまま、カメラ6を起動してその撮影画像を取り込み、当該画像中に鑑賞者7の顔が写っているか否かを判定する(ステップS22)。
【0028】
そして、鑑賞者7の顔が写っていなければ、そのままフローを抜けて図4のメインフローに戻る(ステップS10に進む)が、鑑賞者7の顔が写っていた場合には、その鑑賞者7の顔の表情を判別(具体的には、笑顔であるか、笑顔以外の怒顔や泣き顔または悲しい顔であるか、あるいは、無表情であるかを判別)し(ステップS23)、その判別結果に対応したカテゴリ情報を、写真リストテーブル27のi番目の写真のカテゴリフィールド27bに書き込み(ステップS24)、フローを抜けて図4のメインフローに戻る(ステップS10に進む)。
【0029】
このように、図4のメインフロー(及び図5のカテゴリ分け処理)によれば、記憶部26または記録メディア25から写真を順次に読み込み、それらの写真がカテゴリ分けされていない場合には、図5のカテゴリ分け処理を実行して、その写真を見ている人物(鑑賞者7)の顔の表情に対応したカテゴリ分けを行うことができ、さらに、そのようにしてカテゴリ分けされた写真を表示しようとする際には、当該時点における鑑賞者7の顔の表情に適合したカテゴリの写真だけを取り出して選択的に表示することができる。
【0030】
図6及び図7は、本実施形態の作用概念図であり、図6はカテゴリ分けの概念図、図7はカテゴリ分類に従った選択的表示の概念図である。
今、図6に示すように、番号“001”の写真を見た鑑賞者7の表情が最大の笑顔である場合、写真リストテーブル27の番号“001”のカテゴリフィールド27bに「笑顔大」が書き込まれ、同様に、番号“002”の写真を見た鑑賞者7の表情が中程度の笑顔である場合、写真リストテーブル27の番号“002”のカテゴリフィールド27bに「笑顔中」が書き込まれる。さらに、番号“003”の写真を見た鑑賞者7の表情が無表情である場合、写真リストテーブル27の番号“003”の写真のカテゴリフィールド27bに「無表情」が書き込まれる。
【0031】
そして、図7に示すように、それらのカテゴリ分けされた写真を鑑賞しようとする際には、(a)そのときの鑑賞者7の表情が最大の笑顔であれば、記憶部26または記録メディア25に収められている写真のうち、カテゴリが「笑顔大」の写真だけが表示部2に表示される。または、(b)そのときの鑑賞者7の表情が中程度の笑顔であれば、記憶部26または記録メディア25に収められている写真のうち、カテゴリが「笑顔中」の写真だけが表示部2に表示される。あるいは、(c)そのときの鑑賞者7の表情が無表情であれば、記憶部26または記録メディア25に収められている写真のうち、カテゴリが「無表情」の写真だけが表示部2に表示される。
【0032】
このように、本実施形態では、鑑賞者7の現在の感情(実際には顔の表情)に適合した写真を選択して表示することができるので、冒頭で説明した特許文献1の欠点を解消できるうえ、さらに、感情を区別するためのカテゴリ分けの作業は、カテゴリ分けされていない写真を表示する際に自動的に行われる(図5のカテゴリ分け処理を参照)ので、人為的な手間をかける必要がなく、冒頭で説明した特許文献2の欠点も解消できる。
【0033】
加えて、鑑賞者7の現在の感情と表示される写真との間にカテゴリの一致という一定の相関があるから、冒頭で説明した特許文献3のように、退屈を感じている人の注意を取り戻すことができるかどうか不確かな映像を流すものに比べて、明らかに鑑賞者7の注意を引き付けることができるようになり、この特許文献3の欠点も解消できるし、さらに、脈拍、心拍、心電、筋電・・・・等々の生体情報を検出するための大掛かりな装置が不要であるため、冒頭で説明した特許文献5の欠点も解消できる。
【0034】
以上のとおりであるから、本実施形態によれば、手間をかけず且つ簡単な仕組みで、現在の感情と適合する写真を表示できる電子写真立て(DPF)を実現することができる。
【0035】
なお、以上の実施形態は発明の実施形態の一例を示しているに過ぎない。発明の技術思想の範囲内で様々な変形例や発展例を考えることができる。
【0036】
たとえば、実施形態を改良して鑑賞者7を個々に区別できるようにしてもよい。
図8は、実施形態の写真リストテーブル27の改良構造と鑑賞者登録データテーブルの構造を示す図である。この図において、(a)に示す写真リストテーブル127は、実施形態の写真リストテーブル27を改良したものであり、相違点は鑑賞者7ごとのカテゴリフィールドを設けたことにある。すなわち、この写真リストテーブル127は、各写真の識別番号を格納するための番号フィールド127aと、鑑賞者7ごとのカテゴリフィールド127bとを備え、さらに、鑑賞者7ごとのカテゴリフィールド127bを複数のサブカテゴリフィールド127c、127d、127e、・・・・に細分化している。ここで、図示の例では便宜的に三つのサブカテゴリフィールド127c、127d、127eに細分化されているものとし、且つ、サブカテゴリフィールド127cを「鑑賞者A」用、サブカテゴリフィールド127dを「鑑賞者B」用、サブカテゴリフィールド127eを「鑑賞者C」用としている。
【0037】
一方、鑑賞者登録データテーブル128は、鑑賞者A、B、C、・・・・の顔データを事前に登録しておくためのものであり、この鑑賞者登録データテーブル128は、鑑賞者IDを格納するためのIDフィールド128aと、鑑賞者A、B、C、・・・・の各々の顔データ(カメラ6で撮影した顔写真または顔の特徴を表したもの)を格納するための鑑賞者顔データフィールド128bとを有する。
【0038】
図9及び図10は、実施形態のメインフロー(図4参照)の改良例とカテゴリ分け処理(図5参照)の改良例を示す図である。
【0039】
まず、図9の囲み波線で示すように、実施形態のメインフローのステップS7の後に新たなステップS31を追加すると共に、メインフローのステップS8を一部変更してステップS8aとした。すなわち、ステップS31で、カメラ6で撮影中の鑑賞者7が鑑賞者登録データテーブル128に登録済みの鑑賞者7(つまり、鑑賞者A、B、C、・・・・のいずれか)であるか否かを判定し、未登録の鑑賞者7であれば、そのまま写真を表示(ステップS9)する一方、登録済みの鑑賞者7であれば、ステップS8aに進み、写真リストテーブル127を参照して、その鑑賞者7の顔の表情に適合したカテゴリの写真であるか否かを判定するように改良した。
【0040】
また、図10の囲み波線で示すように、実施形態のカテゴリ分け処理のステップS22の後に新たなステップS32を追加すると共に、同処理のステップS23とステップS24を一部変更してそれぞれステップS23aとステップS24aとした。すなわち、ステップS32で、カメラ6で撮影中の鑑賞者7が鑑賞者登録データテーブル128に登録済みの鑑賞者7(つまり、鑑賞者A、B、C、・・・・のいずれか)であるか否かを判定し、未登録の鑑賞者7であれば、そのままメインフローに戻る一方、登録済みの鑑賞者7であれば、ステップS23aで、その鑑賞者7の顔の表情を特定し、次いで、ステップS24dで、その鑑賞者7の顔の表情に適合したカテゴリで写真を分類するように改良した。
【0041】
このように改良すれば、鑑賞者A、B、C、・・・・の個々に対応したカテゴリを用いて写真の選択表示を行うことができるようになり、個人個人の写真に対する異なる感性に対応したきめ細かな写真の表示選択特性を得ることができるから、たとえば、家族や職場等の構成員各々を鑑賞者A、B、C、・・・・として事前に登録しておき、且つ、それら各人ごとに写真のカテゴリ分けを行っておけば、当該構成員のいずれかがDPF1の前に来たとき(写真を鑑賞しようとしたとき)に、その鑑賞者のその時点における感情に適合した写真を選択表示することができ、普遍的でより実用性に即したものとすることができる。
【0042】
なお、以上の説明では、電子写真立て(DPF)への適用を示したが、これはあくまでも一例に過ぎない。電子写真(デジタル形式の画像ファイル)を表示可能な電子機器であればどのようなものであってもよく、たとえば、画像再生用のディスプレイを備えた、デジタルカメラやデジタルビデオカメラ、画像ストレージ、ゲームマシン、パーソナルコンピュータ、あるいは、携帯電話機、その他の画像表示装置であってもよい。
【0043】
また、実施形態において、写真の選択表示を行う際の表示順は、順番あるいはランダムいずれであってもよい。順番にする場合は、写真選択用のカウンタ変数iの値と写真リストテーブル27のレコード番号とを一対一で対応させればよい。つまり、i=1を第1レコード、i=2を第2レコード、・・・・、i=nを第nレコードとすればよい。iの値を更新するたびに写真リストテーブル27の第1レコードから「順番」に写真を読み出すことができる。ランダムにする場合は、カウンタ変数iの値を不規則に更新すればよい。たとえば、i=1、i=5、i=3、・・・・などとすれば、写真リストテーブル27の第1レコード、第5レコード、第3レコード、・・・・というように「不規則」(つまり、ランダム)に写真を読み出すことができる。
【0044】
また、実施形態においては、写真のカテゴリ分け処理(図5参照)を実行する条件について、その写真がまだカテゴリ分けされていない場合としているが、これに限定されない。たとえば、カテゴリ分けを行った後、一定期間を経過した写真については再びカテゴリ分け処理(図5参照)を実行するようにしてもよい。写真に対して抱く感情はいつまでも同じではなく、各人の体調や生活環境または季節などにより微妙にまたは大胆に変化し得るからである。
【0045】
また、実施形態の前記改良例(鑑賞者を個々に区別できるようにしたもの)においては、未登録者が鑑賞者となる場合に、カテゴリを無視してそのまま写真を表示するようにしている(図9のステップS31のNO→ステップS9)が、これに限らず、カテゴリを考慮するように変更してもよい。
【0046】
今、人物Xを未登録の鑑賞者とし、人物a、b、c、・・・・を登録済みの鑑賞者(つまり、写真リストテーブル127に登録済みの鑑賞者A、B、C、・・・・)とすると、この場合、写真リストテーブル127に格納されているカテゴリは人物a、b、c、・・・・の表情に適合したものであって、人物Xとはまったく関係しない。
【0047】
しかしながら、写真に抱く感情はすべての人に共通とまではいえないものの、多くの場合、ある程度の一般性を持つことも事実である(たとえば、楽しい内容の写真を見た多くの人は同様に楽しい感情を抱く)から、人物a、b、c、・・・・(つまり、登録済みの鑑賞者A、B、C、・・・・)の全員またはその大多数が共通して抱いた感情は他の人物Xにも概ね当てはまるという考え方の元で、未登録者(人物X)が鑑賞者となる場合においても、登録済みのカテゴリを使用して写真の選択的表示を行うようにしてもかまわない。むしろ、そのようにすれば、完璧ではないものの、未登録者(人物X)の顔の表情に“概ね”適合したカテゴリの写真を選択表示できるので、カテゴリを無視した場合に比べ、表示される写真の統一感を高めることができる点で好ましいものとすることができる。
【0048】
また、実施形態では、内部メモリとしての記憶部26や着脱式の記録メディア25に収められている電子写真を表示する、としているが、これ以外にも、たとえば、LANやWAN等のネットワーク上に保存されている電子写真、あるいは、赤外線やブルーツース等の近距離通信によって伝送された電子写真を表示するようにしてもよい。
また、実施形態では、鑑賞者の顔の表情に一致したカテゴリの写真を表示させたが、たとえば、鑑賞者の顔が「悲しい顔」であった場合に、悲しさを紛らわせるために、当該鑑賞者が「笑い顔」のときの写真を表示するようにしてもよい。
また、実施形態では、電子写真立ての前面に設けられたカメラ部で撮像された画像に基づいて当該電子写真立ての表示部に表示された電子写真を見ている人物を判定したが、電子写真立てにはカメラ部を備えずとも、外部から入力された情報に基づいて、当該電子写真立ての表示部に表示された電子写真を見ている人物の存在や個人を判定するようにしてもよい。
また、カメラ部で撮像された画像ではなく、マイク部で入力された音声などに基づいて人物の存在や個人を判定するようにしてもよい。
また、カメラ部で撮像された画像に人物の顔を検出するだけでなく、検出された人物の顔画像から視線方向を検出し、視線方向が電子写真立ての方を向いている場合のみ、当該電子写真立ての表示部に表示された電子写真を見ていると判定するようにしてもよい。
また、実施形態では、電子写真立ての表示部に表示しようとする電子写真を特定した後、当該電子写真を表示するか否かを顔の表情に基づいて決定しているが、電子写真を見ている人物の顔の表情に基づいて、複数の電子写真の中から表示する電子写真を選択するようにしてもよい。
【符号の説明】
【0049】
1 DPF(電子写真立て)
2 表示部
6 カメラ(撮像手段)
19 制御部(表情判別手段、関連付け記憶手段、表示許容手段、人物特定情報保持手段、人物特定手段、表示制御手段、関連付け判別手段)
【特許請求の範囲】
【請求項1】
少なくとも二枚以上の電子写真を逐次に表示可能な表示部を備えた電子写真立てにおいて、
前記表示部に表示された電子写真を見ている人物の顔の表情を判別する表情判別手段と、
前記表情判別手段によって判別された顔の表情に関する情報を表示中の電子写真に関連付けて記憶する関連付け記憶手段と
を備えたことを特徴とする電子写真立て。
【請求項2】
前記関連付け記憶手段に記憶されている電子写真を表示する場合に、各電子写真に関連付けて記憶されている顔の表情に関する情報と、前記表情判別手段により判別された人物の顔の表情とを比較し、その比較結果に応じて前記関連付け記憶手段に記憶されている各電子写真の表示を制御する表示制御手段を更に備えたことを特徴とする請求項1に記載の電子写真立て。
【請求項3】
前記表示制御手段は、
前記二枚以上の電子写真のいずれかを前記表示部に表示しようとする際に、前記表情判別手段によって判別された顔の表情に関する情報に該当する情報が、これから表示しようとする電子写真に関連付けられているか否かを判別する関連付け判別手段と、
前記関連付け判別手段の判別結果が肯定の場合に前記表示部への電子写真の表示を許容する表示許容手段と
を含むことを特徴とする請求項2に記載の電子写真立て。
【請求項4】
前記表示制御手段は、前記表情判別手段により判別された人物の顔の表情に基づいて、前記関連付け記憶手段に記憶されている複数の電子写真の中から前記表示部に表示する電子画像を選択することを特徴とする請求項2に記載の電子写真立て。
【請求項5】
前記表情判別手段は、前記表示部に電子写真を表示しているときに、当該表示部の方に視線を向けている人物を、当該表示部に表示された電子写真を見ている人物として特定することを特徴とする請求項1乃至4のいずれかに記載の電子写真立て。
【請求項6】
被写体を撮像して画像を取得する撮像手段と、
前記表情判別手段は、前記表示部に電子写真を表示しているときに、前記撮像手段により取得された画像内に検出される人物を、前記表示部に表示された電子写真を見ている人物として特定し、当該画像に基づく画像認識処理により当該人物の表情を判別することを特徴とする請求項1乃至4のいずれかに記載の電子写真立て。
【請求項7】
人物の顔に関する情報を保持する人物特定情報保持手段と、
前記表示部に表示された電子写真を見ている人物を前記人物特定情報保持手段に保持されている情報に基き特定する人物特定手段と、を更に備え、
前記関連付け記憶手段は、前記表情判別手段によって判別された顔の表情に関する情報を、前記人物特定手段により特定された人物に関係するものとして表示中の電子写真に関連付けて記憶することを特徴とする請求項1乃至6のいずれかに記載の電子写真立て。
【請求項8】
前記人物特定情報保持手段は、前記電子写真を見る可能性のある人物の顔に関する情報を、任意に登録して保持することを特徴とする請求項3に記載の電子写真立て。
【請求項9】
前記二枚以上の電子写真のいずれかを前記表示部に表示しようとする際に当該表示部の方に視線を向けている人物を特定する人物特定手段と、
前記表情判別手段は、前記人物特定手段によって特定された人物の顔の表情を判別することを特徴とする請求項1記載の電子写真立て。
【請求項10】
前記関連付け記憶手段は、これから表示しようとする電子写真に、前記顔の表情に関する情報が関連付けて記憶されていない場合に、前記顔の表情に関する情報を関連付けて記憶することを特徴とする請求項1又は7いずれかに記載の電子写真立て。
【請求項11】
前記関連付け記憶手段は、これから表示しようとする電子写真に、すでに前記顔の表情に関する情報が関連付けて記憶されている場合であっても、当該情報の記憶から一定期間を経過している場合には、前記顔の表情に関する情報を関連付けて記憶し直すことを特徴とする請求項1又は7いずれかに記載の電子写真立て。
【請求項12】
前記人物特定手段による特定の結果、前記表示部の方に視線を向けている人物が前記人物特定情報保持手段に保持されている情報に基き特定されなかった場合に、
前記表情判別手段は、前記人物特定手段の特定結果にかかわらず当該人物の顔の表情を判別し、
前記関連付け判別手段は、前記表情判別手段によって判別された顔の表情に関する情報に該当する情報が、これから表示しようとする電子写真に関連付けられているか否かを判別する
ことを特徴とする請求項9に記載の電子写真立て。
【請求項13】
少なくとも二枚以上の電子写真を逐次に表示可能な表示部を備えた電子写真立てにおいて、
前記二枚以上の電子写真のいずれかを前記表示部に表示しようとする際に当該表示部の方に視線を向けている人物の顔の表情を判別する表情判別手段と、
前記表情判別手段によって判別された顔の表情に関する情報に該当する情報が、これから表示しようとする電子写真に関連付けられているか否かを判別する関連付け判別手段と、
前記関連付け判別手段の判別結果が肯定の場合に前記表示部への電子写真の表示を許容する表示許容手段と
を備えたことを特徴とする電子写真立て。
【請求項14】
人物の顔に関する情報を保持する人物特定情報保持手段と、
前記表示部に表示された電子写真を見ている人物を前記人物特定情報保持手段に保持されている情報に基き特定する人物特定手段と、を更に備え、
前記関連付け判別手段は、前記表情判別手段によって判別された顔の表情に関する情報に該当する情報が、前記人物特定手段により特定された人物に関係するものとして、これから表示しようとする電子写真に関連付けられているか否かを判別することを特徴とする請求項13に記載の電子写真立て。
【請求項15】
少なくとも二枚以上の電子写真を逐次に表示可能な表示部を備えた電子写真立ての制御方法において、
前記表示部に表示された電子写真を見ている人物の顔の表情を判別する表情判別工程と、
前記表情判別工程によって判別された顔の表情に関する情報を表示中の電子写真に関連付けて記憶する関連付け記憶工程と
を含むことを特徴とする電子写真立ての制御方法。
【請求項16】
少なくとも二枚以上の電子写真を逐次に表示可能な表示部を備えた電子写真立ての制御方法において、
前記二枚以上の電子写真のいずれかを前記表示部に表示しようとする際に当該表示部の方に視線を向けている人物の顔の表情を判別する表情判別工程と、
前記表情判別工程によって判別された顔の表情に関する情報に該当する情報が、これから表示しようとする電子写真に関連付けられているか否かを判別する関連付け判別工程と、
前記関連付け判別工程の判別結果が肯定の場合に前記表示部への電子写真の表示を許容する表示許容工程と
を含むことを特徴とする電子写真立ての制御方法。
【請求項17】
少なくとも二枚以上の電子写真を逐次に表示可能な表示部を備えた電子写真立てのコンピュータを、
前記表示部に表示された電子写真を見ている人物の顔の表情を判別する表情判別手段、
前記表情判別手段によって判別された顔の表情に関する情報を表示中の電子写真に関連付けて記憶する関連付け記憶手段
としての機能させることを特徴とするプログラム。
【請求項18】
少なくとも二枚以上の電子写真を逐次に表示可能な表示部を備えた電子写真立てのコンピュータを、
前記二枚以上の電子写真のいずれかを前記表示部に表示しようとする際に当該表示部の方に視線を向けている人物の顔の表情を判別する表情判別手段、
前記表情判別手段によって判別された顔の表情に関する情報に該当する情報が、これから表示しようとする電子写真に関連付けられているか否かを判別する関連付け判別手段、
前記関連付け判別手段の判別結果が肯定の場合に前記表示部への電子写真の表示を許容する表示許容手段
としての機能させることを特徴とするプログラム。
【請求項1】
少なくとも二枚以上の電子写真を逐次に表示可能な表示部を備えた電子写真立てにおいて、
前記表示部に表示された電子写真を見ている人物の顔の表情を判別する表情判別手段と、
前記表情判別手段によって判別された顔の表情に関する情報を表示中の電子写真に関連付けて記憶する関連付け記憶手段と
を備えたことを特徴とする電子写真立て。
【請求項2】
前記関連付け記憶手段に記憶されている電子写真を表示する場合に、各電子写真に関連付けて記憶されている顔の表情に関する情報と、前記表情判別手段により判別された人物の顔の表情とを比較し、その比較結果に応じて前記関連付け記憶手段に記憶されている各電子写真の表示を制御する表示制御手段を更に備えたことを特徴とする請求項1に記載の電子写真立て。
【請求項3】
前記表示制御手段は、
前記二枚以上の電子写真のいずれかを前記表示部に表示しようとする際に、前記表情判別手段によって判別された顔の表情に関する情報に該当する情報が、これから表示しようとする電子写真に関連付けられているか否かを判別する関連付け判別手段と、
前記関連付け判別手段の判別結果が肯定の場合に前記表示部への電子写真の表示を許容する表示許容手段と
を含むことを特徴とする請求項2に記載の電子写真立て。
【請求項4】
前記表示制御手段は、前記表情判別手段により判別された人物の顔の表情に基づいて、前記関連付け記憶手段に記憶されている複数の電子写真の中から前記表示部に表示する電子画像を選択することを特徴とする請求項2に記載の電子写真立て。
【請求項5】
前記表情判別手段は、前記表示部に電子写真を表示しているときに、当該表示部の方に視線を向けている人物を、当該表示部に表示された電子写真を見ている人物として特定することを特徴とする請求項1乃至4のいずれかに記載の電子写真立て。
【請求項6】
被写体を撮像して画像を取得する撮像手段と、
前記表情判別手段は、前記表示部に電子写真を表示しているときに、前記撮像手段により取得された画像内に検出される人物を、前記表示部に表示された電子写真を見ている人物として特定し、当該画像に基づく画像認識処理により当該人物の表情を判別することを特徴とする請求項1乃至4のいずれかに記載の電子写真立て。
【請求項7】
人物の顔に関する情報を保持する人物特定情報保持手段と、
前記表示部に表示された電子写真を見ている人物を前記人物特定情報保持手段に保持されている情報に基き特定する人物特定手段と、を更に備え、
前記関連付け記憶手段は、前記表情判別手段によって判別された顔の表情に関する情報を、前記人物特定手段により特定された人物に関係するものとして表示中の電子写真に関連付けて記憶することを特徴とする請求項1乃至6のいずれかに記載の電子写真立て。
【請求項8】
前記人物特定情報保持手段は、前記電子写真を見る可能性のある人物の顔に関する情報を、任意に登録して保持することを特徴とする請求項3に記載の電子写真立て。
【請求項9】
前記二枚以上の電子写真のいずれかを前記表示部に表示しようとする際に当該表示部の方に視線を向けている人物を特定する人物特定手段と、
前記表情判別手段は、前記人物特定手段によって特定された人物の顔の表情を判別することを特徴とする請求項1記載の電子写真立て。
【請求項10】
前記関連付け記憶手段は、これから表示しようとする電子写真に、前記顔の表情に関する情報が関連付けて記憶されていない場合に、前記顔の表情に関する情報を関連付けて記憶することを特徴とする請求項1又は7いずれかに記載の電子写真立て。
【請求項11】
前記関連付け記憶手段は、これから表示しようとする電子写真に、すでに前記顔の表情に関する情報が関連付けて記憶されている場合であっても、当該情報の記憶から一定期間を経過している場合には、前記顔の表情に関する情報を関連付けて記憶し直すことを特徴とする請求項1又は7いずれかに記載の電子写真立て。
【請求項12】
前記人物特定手段による特定の結果、前記表示部の方に視線を向けている人物が前記人物特定情報保持手段に保持されている情報に基き特定されなかった場合に、
前記表情判別手段は、前記人物特定手段の特定結果にかかわらず当該人物の顔の表情を判別し、
前記関連付け判別手段は、前記表情判別手段によって判別された顔の表情に関する情報に該当する情報が、これから表示しようとする電子写真に関連付けられているか否かを判別する
ことを特徴とする請求項9に記載の電子写真立て。
【請求項13】
少なくとも二枚以上の電子写真を逐次に表示可能な表示部を備えた電子写真立てにおいて、
前記二枚以上の電子写真のいずれかを前記表示部に表示しようとする際に当該表示部の方に視線を向けている人物の顔の表情を判別する表情判別手段と、
前記表情判別手段によって判別された顔の表情に関する情報に該当する情報が、これから表示しようとする電子写真に関連付けられているか否かを判別する関連付け判別手段と、
前記関連付け判別手段の判別結果が肯定の場合に前記表示部への電子写真の表示を許容する表示許容手段と
を備えたことを特徴とする電子写真立て。
【請求項14】
人物の顔に関する情報を保持する人物特定情報保持手段と、
前記表示部に表示された電子写真を見ている人物を前記人物特定情報保持手段に保持されている情報に基き特定する人物特定手段と、を更に備え、
前記関連付け判別手段は、前記表情判別手段によって判別された顔の表情に関する情報に該当する情報が、前記人物特定手段により特定された人物に関係するものとして、これから表示しようとする電子写真に関連付けられているか否かを判別することを特徴とする請求項13に記載の電子写真立て。
【請求項15】
少なくとも二枚以上の電子写真を逐次に表示可能な表示部を備えた電子写真立ての制御方法において、
前記表示部に表示された電子写真を見ている人物の顔の表情を判別する表情判別工程と、
前記表情判別工程によって判別された顔の表情に関する情報を表示中の電子写真に関連付けて記憶する関連付け記憶工程と
を含むことを特徴とする電子写真立ての制御方法。
【請求項16】
少なくとも二枚以上の電子写真を逐次に表示可能な表示部を備えた電子写真立ての制御方法において、
前記二枚以上の電子写真のいずれかを前記表示部に表示しようとする際に当該表示部の方に視線を向けている人物の顔の表情を判別する表情判別工程と、
前記表情判別工程によって判別された顔の表情に関する情報に該当する情報が、これから表示しようとする電子写真に関連付けられているか否かを判別する関連付け判別工程と、
前記関連付け判別工程の判別結果が肯定の場合に前記表示部への電子写真の表示を許容する表示許容工程と
を含むことを特徴とする電子写真立ての制御方法。
【請求項17】
少なくとも二枚以上の電子写真を逐次に表示可能な表示部を備えた電子写真立てのコンピュータを、
前記表示部に表示された電子写真を見ている人物の顔の表情を判別する表情判別手段、
前記表情判別手段によって判別された顔の表情に関する情報を表示中の電子写真に関連付けて記憶する関連付け記憶手段
としての機能させることを特徴とするプログラム。
【請求項18】
少なくとも二枚以上の電子写真を逐次に表示可能な表示部を備えた電子写真立てのコンピュータを、
前記二枚以上の電子写真のいずれかを前記表示部に表示しようとする際に当該表示部の方に視線を向けている人物の顔の表情を判別する表情判別手段、
前記表情判別手段によって判別された顔の表情に関する情報に該当する情報が、これから表示しようとする電子写真に関連付けられているか否かを判別する関連付け判別手段、
前記関連付け判別手段の判別結果が肯定の場合に前記表示部への電子写真の表示を許容する表示許容手段
としての機能させることを特徴とするプログラム。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【公開番号】特開2011−54078(P2011−54078A)
【公開日】平成23年3月17日(2011.3.17)
【国際特許分類】
【出願番号】特願2009−204387(P2009−204387)
【出願日】平成21年9月4日(2009.9.4)
【出願人】(000001443)カシオ計算機株式会社 (8,748)
【Fターム(参考)】
【公開日】平成23年3月17日(2011.3.17)
【国際特許分類】
【出願日】平成21年9月4日(2009.9.4)
【出願人】(000001443)カシオ計算機株式会社 (8,748)
【Fターム(参考)】
[ Back to top ]