表示装置、表示方法及びプログラム
【課題】表示装置、表示方法及びプログラムにおいて、ユーザへの負荷を生じることなくユーザが興味を持ち易い画像を飽きないように表示することを目的とする。
【解決手段】記憶部に記憶された画像データを選択する画像選択部と、前記画像選択部により選択された画像データを一定時間表示する表示部と、ユーザが前記表示部が表示している画像データを注視したことを検出する注視検出部と、前記注視検出部が前記ユーザの注視を検出すると、複数の画像データに対する注視時刻及び表示時刻を格納したデータベースに対して、注視された画像データの注視時刻と表示時刻を更新する更新部を備え、前記画像選択部は、前記データベースに格納された注視時刻及び表示時刻に基づいて次に選択して前記表示部に表示するべき画像データを選択するように構成する。
【解決手段】記憶部に記憶された画像データを選択する画像選択部と、前記画像選択部により選択された画像データを一定時間表示する表示部と、ユーザが前記表示部が表示している画像データを注視したことを検出する注視検出部と、前記注視検出部が前記ユーザの注視を検出すると、複数の画像データに対する注視時刻及び表示時刻を格納したデータベースに対して、注視された画像データの注視時刻と表示時刻を更新する更新部を備え、前記画像選択部は、前記データベースに格納された注視時刻及び表示時刻に基づいて次に選択して前記表示部に表示するべき画像データを選択するように構成する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、記憶装置に記憶されている画像を表示する表示装置、表示方法及びプログラムに関する。本発明は、コンピュータにこのような表示方法の手順を実行させるプログラムが格納されたコンピュータ読み取り可能な記憶媒体にも関する。
【０００２】
本明細書では、表示装置の「ユーザ」とは、表示装置が表示する画像を鑑賞する任意の鑑賞者を含み、表示装置の所有者に限定されるものではない。
【背景技術】
【０００３】
デジタルカメラは、撮像した画像をメモリ等の記憶装置に記憶しておけるので、撮像済みの画像を保管するために従来の銀塩カメラのようにネガを劣化しないよう保管する等の手間がかからない。このため、デジタルカメラは急速に普及している。又、デジタルカメラは、従来のアルバムの代わりに、デジタルフォトフレームと呼ばれる表示装置を用いることにより、記憶装置に記憶された画像を簡単に表示することができる。デジタルフォトフレームは、ユーザ（又は、鑑賞者）が選択した画像を表示したり、撮像順序等の情報に応じた順番で画像を自動的に選択して表示したり、画像をランダムに選択して表示したりすることができる。
【０００４】
撮像順序に応じた順番で画像を選択して表示した場合、常に同じ画像が同じ順序で表示されるため、特に記憶している画像数が比較的少ない場合にはユーザが早く飽きてしまう。一方、記憶している画像数が比較的多い場合には、同じ撮像時期又は現場の画像が多く続き、次の撮像時期又は現場の画像がなかなか現れないので、ユーザが興味を持ち易い画像を表示することは難しい。
【０００５】
画像をランダムに選択して表示した場合、順番に画像を選択して表示する場合と比べるとユーザが飽きてしまう可能性は低減する。しかし、比較的長時間の単位で見ると、なかなか表示されない画像が発生したり、逆に頻繁に表示される画像が発生したりする。これは、画像をランダムに選択して表示する場合、数学的には全ての画像が同じ確率で選択されるものの、ユーザが興味を持たない画像はユーザの記憶に残りにくいのでなかなか表示されないように感じられ、ユーザが興味を持つ画像はユーザの記憶に残り易いため頻繁に表示されているように感じられるからである。
【０００６】
又、ユーザが過去に選択した画像の履歴等のユーザの各画像に対する興味の度合いを示す情報に応じた順番で画像を自動的に選択して表示することも提案されている（例えば、特許文献１及び特許文献２）。しかし、この提案方法では、ユーザが手動で画像を選択して初めて選択履歴等の興味の度合いを示す情報が生成可能となるため、ユーザへの負荷が生じてしまう。更に、例えばユーザが２年前に興味を持っていた画像であっても、現在はそれ程興味がない可能性があるため、この提案方法では常にユーザが興味を持ち易い画像を飽きないように表示することはできない。
【０００７】
ユーザの目線が表示されている画像から外れると表示する画像を切り替えることも提案されている（例えば、特許文献３）。しかし、この提案方法では、ユーザの目線が画像から外れると異なる画像を表示するにすぎないため、常にユーザが興味を持ち易い画像を飽きないように表示することはできない。
【０００８】
尚、電子看板、或いは、デジタルサイネージ（Digital Signage）は、デジタル技術を活用してディスプレイやプロジェクタ等により画像や情報を表示する表示装置（広告媒体とも言う）であるが、上記のフォトフレームと同様の問題が生じる。
【先行技術文献】
【特許文献】
【０００９】
【特許文献１】特開２００６−１７３９８３号公報
【特許文献２】特開２００６−１５７３２４号公報
【特許文献３】特開２００８−２１９２８６号公報
【特許文献４】特開平８−７６００６号公報
【発明の概要】
【発明が解決しようとする課題】
【００１０】
従来の表示方法では、ユーザへの負荷を生じることなくユーザが興味を持ち易い画像を飽きないように表示することは難しいという問題があった。
【００１１】
そこで、本発明は、ユーザへの負荷を生じることなくユーザが興味を持ち易い画像を飽きないように表示することが可能な表示装置、表示方法及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【００１２】
本発明の一観点によれば、第１の記憶部に記憶された画像データを選択する画像選択部と、前記画像選択部により選択された画像データを一定時間表示する表示部と、ユーザが前記表示部が表示している画像データを注視したことを検出する注視検出部と、前記注視検出部が前記ユーザの注視を検出すると、複数の画像データに対する注視時刻及び表示時刻を格納したデータベースに対して、注視された画像データの注視時刻と表示時刻を更新する更新部を備え、前記画像選択部は、前記データベースに格納された注視時刻及び表示時刻に基づいて次に選択して前記表示部に表示するべき画像データを選択する表示装置が提供される。
【００１３】
本発明の一観点によれば、記憶部に記憶された画像データを選択する画像選択工程と、前記画像選択工程により選択された画像データを一定時間表示部に表示する表示工程と、ユーザが前記表示部が表示している画像データを注視したことを検出する注視検出工程と、前記注視検出工程が前記ユーザの注視を検出すると、複数の画像データに対する注視時刻及び表示時刻を格納したデータベースに対して、注視された画像データの注視時刻と表示時刻を更新する更新工程を含み、前記画像選択工程は、前記データベースに格納された注視時刻及び表示時刻に基づいて次に選択して前記表示部に表示するべき画像データを選択する表示方法が提供される。
【００１４】
本発明の一観点によれば、コンピュータに、記憶部に記憶された画像データを選択して一定時間表示部に表示させるプログラムであって、ユーザが前記表示部が表示している画像データを注視したことを検出する注視検出手順と、前記注視検出手順が前記ユーザの注視を検出すると、複数の画像データに対する注視時刻及び表示時刻を格納したデータベースに対して、注視された画像データの注視時刻と表示時刻を更新する更新手順を前記コンピュータに実行させ、前記画像選択手順は、前記コンピュータに、前記データベースに格納された注視時刻及び表示時刻に基づいて次に選択して前記表示部に表示するべき画像データを選択させるプログラムが提供される。
【発明の効果】
【００１５】
開示の表示装置、表示方法及びプログラムによれば、ユーザへの負荷を生じることなくユーザが興味を持ち易い画像を飽きないように表示することができる。
【図面の簡単な説明】
【００１６】
【図１】表示装置の一例を示す斜視図である。
【図２】本発明の第１実施例における表示装置の一例を示すブロック図である。
【図３】第１実施例における画像選択処理の一例を説明するフローチャートである。
【図４】注視時刻と表示時刻を説明する図である。
【図５】注視検出処理の一例を説明する図である。
【図６】注視検出処理の他の例を説明する図である。
【図７】図６の注視検出処理を説明するフローチャートである。
【図８】注視及び表示回数更新処理の一例を説明するフローチャートである。
【図９】フラグ設定処理の一例を説明するフローチャートである。
【図１０】データベース内のデータを説明する図である。
【図１１】ファイル削除処理の一例を説明するフローチャートである。
【図１２】本発明の第２実施例における表示装置の一例を示すブロック図である。
【図１３】第２実施例における画像選択処理の一例を説明するフローチャートである。
【図１４】データベース内のデータを説明する図である。
【図１５】アルゴリズム選択処理の一例を説明するフローチャートである。
【図１６】コンピュータシステムの一例を示すブロック図である。
【発明を実施するための形態】
【００１７】
開示の表示装置、表示方法及びプログラムでは、データベースに記憶されている画像を選択的に表示する際に、各画像がユーザにより注視された時刻と各画像が表示された時刻に基づいて次に選択して表示する画像を決定する。
【００１８】
以下に、開示の表示装置、表示方法及びプログラムの各実施例を図面と共に説明する。
【実施例】
【００１９】
（第１実施例）
図１は、表示装置の一例を示す斜視図である。この例では、表示装置はデジタルフォトフレームに適用されている。表示装置１は、筐体１１を有し、筐体１１には支持部１１Ａ、表示部１２及びカメラ１３が設けられている。後述するように、表示部１２は、各画像が注視された時刻と各画像が表示された時刻に基づいて次に選択して表示する画像を決定することで、記憶部（図示せず）に記憶された画像を選択的に表示する。カメラ１３は、ユーザが表示部１２に表示された画像を注視したか否かを検出するのに用いられる。尚、表示部１２及びカメラ１３は筐体１１に一体的に設けられているが、表示部１２及びカメラ１３は別々にもうけられていても良い。
【００２０】
図２は、本発明の第１実施例における表示装置の一例を示すブロック図である。表示装置１は、図２に示す如く接続された表示部１２、カメラ１３、注視検出部１４、画像選択部１５−１、表示画像決定部１６、時計（又は、タイマ）１７、読み込み部１８、例えばテーブルで形成されたデータベースを記憶する記憶部２１−１、及び画像データを記憶する記憶部２２を有する。表示部１２は、液晶表示装置（ＬＣＤ：Liquid Crystal Display）等により形成可能であり、カメラ１３は、ＣＣＤ（Charge Coupled Device）カメラ等により形成可能である。尚、少なくとも各記憶部２１−１，２２は、表示装置１内に設けられていても、表示装置１に外部接続されていても良い。例えば、記憶部２２はネットワーク（図示せず）を介して表示装置１に対して外部接続されていても良い。記憶部２１−１，２２は、単一の記憶部で形成可能である。一方、記憶部２２をＳＤメモリカード（Secure Digital Memory Card）等のメモリカード表示装置１に対して着脱可能に設けても良い。
【００２１】
記憶部２１−１に記憶されたデータベースには、画像のファイル名、注視時刻、表示時刻等が格納されている。画像選択部１５−１は、後述するように各画像の注視時刻及び表示時刻に基づいて表示するべき画像を選択し、選択された画像のファイル名を表示画像決定部１６に供給する。表示画像決定部１６は、選択された画像のファイル名を表示が決定された画像のファイル名として読み込み部１８に供給し、読み込み部１８は、供給されたファイル名の画像に関する画像データを記憶部２２から読み込んで表示部１２に表示する。
【００２２】
一方、カメラ１３は、表示装置１の表示部１２を鑑賞しているユーザを撮像して撮像データを注視検出部１４に供給する。注視検出部１４は、表示部１２に表示されている画像（以下、表示画像とも言う）を鑑賞しているユーザが表示画像を注視したか否かを検出する。注視とは、ユーザが表示画像に視線を向けて見ている状態を意味し、瞬間的に表示画像を見る状態も含む。注視検出部１４がユーザの注視を検出すると、その時点の表示画像のファイル名は表示画像決定部１６において認識されているので、その時点の表示画像のファイル名を時計１７に供給する。時計１７は、注視検出部１４がユーザの注視を検出した時点の時刻（即ち、現在時刻）を注視時刻及び表示時刻として、記憶部２１−１内のデータベースに対してその時点の表示画像のファイル名の注視時刻及び表示時刻を更新する更新部として機能する。各ファイル名の画像の注視時刻は、ユーザがそのファイル名の表示画像を注視した時刻を示し、各ファイル名の画像の表示時刻は、そのファイル名の表示画像が表示部１２に表示された時刻を示す。
【００２３】
図３は、第１実施例における画像選択処理の一例を説明するフローチャートである。図３の画像選択処理は、画像選択部１５−１、表示画像決定部１６及び時計１７により実行できる。図３において、ステップＳ１は、記憶部２１−１内のデータベースからランダムに３枚の画像のファイル名を選択する。ステップＳ２は、選択した３枚の画像の中で表示時刻が一番新しい画像のファイル名を選択候補から外す。ステップＳ２は、例えば注視の検出漏れが発生した場合に同じ画像が比較的短時間の間に繰り返し表示されることを防ぐために実行するが、省略しても良い。ステップＳ３は、選択した残りの２枚の画像のうち注視時刻が古い方のファイル名を選択する。ステップＳ３は、同じ画像が比較的短時間の間に繰り返し表示されることを防ぐために実行するが、省略しても良い。ステップＳ４は、選択した画像のファイル名を表示画像決定部１６を介して読み込み部１８に供給することで、選択された画像の画像データを記憶部２２から読み取って一定時間の間表示部１２に表示する。一定時間は、一般的なデジタルフォトフレームの場合は例えば１５秒〜５分程度であるが、このような範囲に限定されるものではない。
【００２４】
ステップＳ５は、ユーザが表示部１２に表示中の表示画像を注視したことを検出したか否かを注視検出部１４の検出出力から判断する。ステップＳ５の判断結果がＹＥＳであると、ステップＳ６は、注視検出部１４がユーザの注視を検出した時点の時刻（即ち、現在時刻）を表示画像決定部１６により表示が決定された画像の注視時刻として、記憶部２１−１内のデータベースに対してその時点の表示画像のファイル名の注視時刻を更新する。一方、ステップＳ５の判断結果がＮＯであるか、或いは、ステップＳ６の後、ステップＳ７は、注視検出部１４がユーザの注視を検出した時点の時刻（即ち、現在時刻）を表示画像決定部１６により表示が決定された画像の表示時刻として、記憶部２１−１内のデータベースに対してその時点の表示画像のファイル名の表示時刻を更新する。ステップＳ７の後、処理はステップＳ１へ戻る。
【００２５】
これにより、画像を表示部１２に表示している間、ユーザが表示画像を注視したことが注視検出部１４により検出されると、その時点の時刻が表示画像のファイル名に対する注視時刻に上書きされて更新される。一方、ユーザが表示画像を注視したか否かにかかわらず、表示画像の表示が終了して次に選択された画像を表示する際には、その時点の時刻が表示画像のファイル名に対する表示時刻に上書きされて更新される。従って、図３の画像選択処理を繰り返すことで、常に、ユーザが比較的長時間の間鑑賞していない画像を、適切なランダム要素を交えながら表示部１２に表示することができる。
【００２６】
図４は、注視時刻と表示時刻を説明する図である。図４は、画像Ａが表示時刻１０：００に表示部１２に表示され、画像Ｂが表示時刻１０：０５に表示部１２に表示され、画像Ｃが表示時刻１０：１０に表示部１２に表示された場合を示す。この場合、例えばユーザが時刻１０：０８に表示部１２に表示された画像Ｂを注視すると、画像Ｂの注視時刻は１０：０８のまま維持され、画像Ａ，Ｃの注視時刻は更新されない。このため、前回の注視時刻がそのまま維持される。新たな画像の画像データが記憶部２２に記憶されると、この新たな画像に対する表示時刻及び注視時刻は無いので、例えば予め設定されている基準時刻等の十分古い時刻を新たな画像に対する表示時刻及び注視時刻の初期値として設定可能である。尚、図４では説明の便宜上画像Ａ〜Ｃの表示時刻及び注視時刻を示したが、記憶部２１−１内のデータベースには画像のファイル名に対する注視時刻、表示時刻等が格納される。又、時刻は時：分で示したが、時刻の表示方法は時刻を表示できる表示方法であれば特に限定されない。例えば、時刻は２０１０年３月１日１０：００、予め設定された基準時刻からの経過時間等によっても表示可能である。
【００２７】
次に、注視検出部１４による注視検出処理を、図５乃至図７と共に説明する。ユーザが表示部１２に表示された画像を注視しているか否かを検出する注視検出処理自体は、特許文献４を含み、様々な注視検出処理が提案されている。多くの注視検出処理は、ユーザがどこを見ているかをユーザの視線等を観察して、計算により目標を注視している確率を求めるものである。本実施例における注視検出処理は、特に限定されないが、以下に注視検出処理の例を説明する。
【００２８】
図５は、注視検出処理の一例を説明する図である。この例では、表示装置１のカメラ１３−１がユーザの眼球５００を観察し、注視検出部１４がカメラ１３−１で観察された眼球５００の向きからユーザが表示装置１の表示部１２を注視しているか否かを判断する。
【００２９】
図６は、注視検出処理の他の例を説明する図である。この例では、表示装置１に設けられた発光ダイオード（ＬＥＤ：Light Emitting Diode）等の発光素子１３−３から赤外線をユーザの眼球５００に照射し、発光素子１３−１の横に設けられたカメラ１３−２により眼球５００に写るプルキニエ（Purkyne）像、即ち、角膜反射像を確認する。図６中、（ａ）は表示装置１とユーザの眼球５００の関係を示し、（ｂ）は赤外線の照射によりユーザの眼球５００に写るプルキニエ像５１１を目５０１及び黒目５０２と共に示す。
【００３０】
図７は、図６の注視検出処理を説明するフローチャートである。図７において、ステップＳ３１は、カメラ１３−２からの撮像画像を入力し、ステップＳ３２は、入力撮像画像にユーザの顔領域があるか否かを周知の方法で判断する。顔領域は、入力撮像画像に目が２つ、鼻筋が通って鼻の下に口があるといったテンプレートを用意し、入力撮像画像に対してテンプレートマッチングを行うことで検出可能である。ステップＳ３２の判断結果がＹＥＳであると、ステップＳ３３は、ステップＳ３２で検出した顔領域から眼球５００の領域ＲＢを抽出する。ステップＳ３４は、ステップＳ３２に抽出した顔領域から黒目５０２の領域を計算する。ステップＳ３２の判断結果がＮＯであると、処理は終了する。
【００３１】
ステップＳ３２において顔領域があるか否かを判断する際に、目５０１及び目５０１の位置は判断を左右する情報であるため、ステップＳ３３において入力撮像画像中の目５０１の位置は周知の方法により比較的容易に抽出可能である。又、抽出した目５０１の位置を二値化して更に閾値処理等を施すことにより、ステップＳ３４において入力撮像画像中の黒目５０２の領域を比較的容易に計算可能である。
【００３２】
ステップＳ３５は、発光素子１３−３を点灯して赤外線をユーザの眼球５００に照射する。ステップＳ３５は、ステップＳ３３における眼球５００の領域ＲＢの抽出からできるだけ直ちに行うことが望ましい。ステップＳ３６は、カメラ１３−２により眼球５００を含むユーザを撮像する。ステップＳ３７は、カメラ１３−２からの撮像画像から眼球５００の領域ＲＡを抽出する。ステップＳ３８は、発光素子１３−３を消灯する。
【００３３】
ステップＳ３９は、眼球５００の領域ＲＡ，ＲＢの差分からプルキニエ像の位置を計算する。撮像環境によっては、眼球５００に照明等のノイズが写り込む可能性があるが、プルキニエ像が写り込まない眼球５００の領域ＲＢとプルキニエ像が写り込む眼球５００の領域ＲＡの差分を計算することにより、ノイズを相殺して赤外線の写り込みのみを求めることができる。ステップＳ４０はプルキニエの位置が黒目５０２の領域の中心か否かを判断し、判断結果がＹＥＳであると処理はステップＳ４１へ進み、判断結果がＮＯであると処理はステップＳ４２へ進む。ステップＳ４１は、ユーザが表示装置１の表示部１２に表示された画像を注視していると判断し、処理は終了する。一方、ステップＳ４２は、ユーザが表示装置１の表示部１２に表示された画像に注視していないと判断し、処理は終了する。
【００３４】
尚、ユーザの白目中の黒目の位置等に基づいてユーザが表示装置１の表示部１２に表示された画像を注視しているか否かを判断するようにしても良いことは言うまでもない。
【００３５】
図２では、記憶部２１−１内のデータベースには各画像のファイル名に対して注視時刻及び表示時刻が格納されているが、データベースに注視回数や表示回数等の情報を更に格納するようにしても良い。
【００３６】
図８は、注視及び表示回数更新処理の一例を説明するフローチャートである。図８の注視及び表示回数更新処理は、図２の画像選択部１５−１、表示画像決定部１６及び時計１７により実行できる。図８において、ステップＳ５１は、カメラ１３からの撮像画像に基づいて、表示装置１の表示部１２を鑑賞可能な位置にユーザがいるか否かを判断し、判断結果がＮＯであると処理は終了する。上記の如く、注視検出処理では顔領域を抽出したりするので、顔領域が抽出されたか否か等に基づいて表示装置１の表示部１２を鑑賞可能な位置にユーザがいるか否かを判断することも可能である。ステップＳ５１の判断結果がＹＥＳであると、ステップＳ５２は、表示部１２に表示する画像を選択する。又、ステップＳ５３は、ステップＳ５２で選択された画像を表示部１２に表示する。ステップＳ５２は図３のステップＳ１〜Ｓ３に相当し、ステップＳ５３は図３のステップＳ４に相当する。
【００３７】
ステップＳ５４は、例えば図７の注視検出処理によりユーザが表示部１２に表示された画像を注視したか否かを判断する。ステップＳ５４の判断結果がＹＥＳであると、ステップＳ５５は、表示画像の注視時刻を更新する。ステップＳ５４，５５は図３のステップＳ５，Ｓ６に相当する。ステップＳ５５の後、ステップＳ５６は、記憶部２１−１内のデータベースに対して表示画像の注視回数をインクリメントすることで更新する。
【００３８】
ステップＳ５４の判定結果がＮＯ、或いは、ステップＳ５６の後、ステップＳ５７は、表示画像の表示時刻を更新する。ステップＳ５４は、図３のステップＳ７に相当する。ステップＳ５８は、記憶部２１−１内のデータベースに対して表示画像の表示回数をインクリメントすることで更新し、処理は終了する。
【００３９】
図９は、フラグ設定処理の一例を説明するフローチャートである。図９のフラグ設定処理は、図８のステップＳ５６が終了した段階で、或いは、ユーザが何らかの操作を行った場合に、或いは、一定時間間隔で行うことができる。
【００４０】
図９において、表示回数が閾値を超えないと統計的に誤差が比較的大きくなり興味度（又は、興味の度合い）Ｘの信頼度が低下するため、ステップＳ６１は、表示画像のファイル名に対して記憶部２１−１内のデータベースに格納されている表示回数が閾値、例えば１００００回を超えるか否かを判断し、判断結果がＮＯであると処理は終了する。一方、ステップＳ６１の判断結果がＹＥＳであると、ステップＳ６２は、Ｘ＝（注視回数）／（表示回数）で表される興味度Ｘを計算する。尚、興味度Ｘの計算式は、本実施例の式に限定されるものではなく、ユーザの表示画像への興味の有無を断定できるパラメータを計算するものであれば良い。ステップＳ６３は、興味度Ｘが第１の興味度閾値より大きいか否か、例えばＸ＞０．９であるか否かを判断する。ステップＳ６３の判断結果がＹＥＳであると、ステップＳ６４は、ユーザが表示画像に興味があると断定し、印刷フラグを立てる等の適切な処理を行い、処理は終了する。印刷フラグは、例えばユーザが表示画像に興味がありプリンタ（図示せず）で印刷する予定であることを示す。一方、ステップＳ６３の判断結果がＮＯであると、ステップＳ６５は、興味度Ｘが第２の興味度閾値より小さいか否か、例えばＸ＜０．１であるか否かを判断し、判断結果がＮＯであると処理は終了する。ステップＳ６５の判断結果がＹＥＳであると、ステップＳ６６は、ユーザは表示画像に興味がないと断定し、削除フラグを立てる等の適切な処理を行い、処理は終了する。削除フラグは、例えばユーザが表示画像に興味がなく記憶部２１−１（又は、２２）からの削除を予定していることを示す。
【００４１】
図１０は、記憶部２１−１内のデータベースに格納されたデータを説明する図である。図１０は、各画像のファイル名に対し、注視時刻、表示時刻、注視回数、表示回数、興味度（Ｘ）、印刷フラグ及び削除フラグが格納されている場合を示す。又、○印が付けられている印刷フラグ及び削除フラグは、夫々立てられた（又は、オンに設定された）フラグを示す。図１０に示す如きデータを記憶部２１−１内のデータベースに格納しておくことで、ユーザは印刷フラグを参照することで印刷を予定していた画像を容易に確認することができ、又、削除フラグを参照することで削除を予定していた画像を容易に確認することができる。
【００４２】
図１１は、ファイル削除処理の一例を説明するフローチャートである。図１１のファイル削除処理は、図２の画像選択部１５−１、表示画像決定部１６及び時計１７により実行できる。図１１において、ステップＳ７１は、カウントｉをｉ＝０に初期化する。ステップＳ７２は、ｉが記憶部２１−１に記憶されている画像数（即ち、保有画像数）以上であるか否かを判断し、判断結果がＹＥＳであると処理は終了する。一方、ステップＳ７２の判断結果がＮＯであると、ステップＳ７３は、記憶部２２に記憶されているｉ番目のファイルの画像に対して削除フラグが立っているか否かを判断する。ステップＳ７３の判断結果がＹＥＳであると処理は終了であると、ステップＳ７４は、ｉ番目のファイルの画像を表示部１２に表示する。又、ステップＳ７５は、ユーザにｉ番目のファイルの画像の削除確認を求める。ユーザが入力装置（図示せず）からｉ番目のファイルの画像の削除を確認してステップＳ７５の判断結果がＹＥＳになると、ステップＳ７６は、ｉ番目のファイルの画像を記憶部２１−１内のデータベースから削除する。ステップＳ７３又はステップＳ７５の判断結果がＮＯ、或いは、ステップＳ７６の後、処理はステップＳ７７へ進む。ステップＳ７７は、カウントｉをｉ＝ｉ＋１にインクリメントし、処理はステップＳ７２へ戻る。
【００４３】
削除フラグを用いたファイル削除処理により、比較的簡単な処理で記憶部２１−１（又は、２２）の使用可能な記憶容量を確保することができる。
【００４４】
図１１のファイル削除処理からも明らかなように、ファイル印刷処理も印刷フラグを参照することで同様に行うことが可能である。ファイル印刷処理の場合、確認するのが削除フラグではなく印刷フラグであり、ステップＳ７６の代わりにファイルを印刷して印刷フラグを消すステップが行われる。又、プリンタへは、表示部１２に供給される画像を出力すれば良い。
【００４５】
削除フラグを設けることにより、特に記憶部２１−１内のデータベースに大量の画像のファイルが記憶されており整理が望まれる場合等であっても、ユーザが不要と判断した画像のファイルを簡単に検索して削除することができる。又、印刷フラグを設けることにより、特に記憶部２１−１内のデータベースに大量の画像のファイルが記憶されており特定の画像のみの印刷が望まれる場合等であっても、ユーザが印刷を予定した画像のファイルを簡単に検索して印刷することができる。
【００４６】
（第２実施例）
図１２は、本発明の第２実施例における表示装置の一例を示すブロック図である。図１２中、図２と同一部分には同一符号を付し、その説明は省略する。本実施例では、記憶部２１−２は、複数のユーザの各々に対して１つのデータベースを記憶する。又、個人同定部１９は、カメラ１３から入力される撮像画像に基づいて表示装置１Ａの表示部１２に表示された画像を鑑賞しているユーザ個人をテンプレートマッチング等の周知の同定方法により同定する個人同定処理を行う。個人同定部１９は、記憶部２１−２内の複数のデータベースのうち同定されたユーザ個人に対応する１つのデータベースを選択する。このように選択されたデータベースが、表示するべき画像の選択及び画像の注視時刻及び表示時刻の更新に用いられる。画像選択部１５−２は、選択されたデータベースに格納された各画像の注視時刻及び表示時刻に基づいて表示するべき画像を選択し、選択された画像のファイル名を表示画像決定部１６に供給する。尚、各データベースには、図１０と同様に注視回数、表示回数、興味度Ｘ、印刷フラグ、削除フラグ等を格納しても良いことは言うまでもない。
【００４７】
個人同定部１９で採用する同定方法は、カメラ１３から入力される撮像画像に基づく同定方法に限定されない。又、複数のユーザが同時に表示画像を鑑賞している場合には、ユーザ個人に付けられた優先順位等に基づいて１人のユーザを選択し、選択されたユーザに対する画像表示を制御すれば良い。
【００４８】
図１３は、第２実施例における画像選択処理の一例を説明するフローチャートである。図１３の画像選択処理は、個人同定部１９により同定されたユーザ個人のデータベースに対して、画像選択部１５−２、表示画像決定部１６及び時計１７により実行できる。図１３において、ステップＳ１１は、記憶部２１−２内のデータベースからランダムに４枚の画像のファイル名を選択する。ステップＳ１２は、選択した４枚の画像の中で表示時刻が一番新しい画像のファイル名を選択候補から外す。ステップＳ１２は、例えば注視の検出漏れが発生した場合に同じ画像が比較的短時間の間に繰り返し表示されることを防ぐために実行するが、省略しても良い。ステップＳ１３は、選択した残りの３枚の画像の中で表示時刻が一番新しい画像のファイル名を選択候補から外す。ステップＳ１４は、選択した残りの２枚の画像のうち、他のユーザのデータベースにおいて注視時刻が一番新しい画像のファイル名を選択する。ステップＳ１４は、複数のユーザのうち１人が最近注視した画像を選択することで、複数のユーザ間（例えば、家族間）で共通の話題を提供するために実行するが、省略しても良い。ステップＳ１５は、選択した画像のファイル名を表示画像決定部１６を介して読み込み部１８に供給することで、選択された画像の画像データを記憶部２２から読み取って一定時間の間表示部１２に表示する。一定時間は、一般的なデジタルフォトフレームの場合は例えば１５秒〜５分程度であるが、このような範囲に限定されるものではない。
【００４９】
ステップＳ１６は、ユーザが表示部１２に表示中の表示画像を注視したことを検出したか否かを注視検出部１４の検出出力から判断する。ステップＳ１６の判断結果がＹＥＳであると、ステップＳ１７は、注視検出部１４がユーザの注視を検出した時点の時刻（即ち、現在時刻）を表示画像決定部１６により表示が決定された画像の注視時刻として、記憶部２１−２内のデータベースに対してその時点の表示画像のファイル名の注視時刻を更新する。一方、ステップＳ１６の判断結果がＮＯであるか、或いは、ステップＳ１７の後、ステップＳ１８は、注視検出部１４がユーザの注視を検出した時点の時刻（即ち、現在時刻）を表示画像決定部１６により表示が決定された画像の表示時刻として、記憶部２１−２内のデータベースに対してその時点の表示画像のファイル名の表示時刻を更新する。ステップＳ１８の後、処理はステップＳ１１へ戻る。
【００５０】
これにより、画像を表示部１２に表示している間、ユーザが表示画像を注視したことが注視検出部１４により検出されると、その時点の時刻が表示画像のファイル名に対する注視時刻に上書きされて更新される。一方、ユーザが表示画像を注視したか否かにかかわらず、表示画像の表示が終了して次に選択された画像を表示する際には、その時点の時刻が表示画像のファイル名に対する表示時刻に上書きされて更新される。従って、図１３の画像選択処理を繰り返すことで、常に、ユーザが比較的長時間の間鑑賞していない画像や、他のユーザとの共通の話題を提供するための画像を、適切なランダム要素を交えながら表示部１２に表示することができる。
【００５１】
図１４は、記憶部２１−２内のデータベースに格納されたデータを説明する図である。ここでは説明の便宜上、Ｎ人（Ｎは２以上の自然数）のユーザがおり、記憶部２１−２にはＮ人のユーザに対してデータベースＤ１，Ｄ２，．．．，ＤＮ（Ｄ４までしか図示せず）が記憶されているものとする。図１４中、図１０と同一部分には同一符号を付す。図１４は、各データベースＤ１〜ＤＮにおいて、各画像のファイル名に対し、注視時刻、表示時刻、注視回数、表示回数、興味度（Ｘ）、印刷フラグ及び削除フラグが格納されている場合を示す。又、○印が付けられている印刷フラグ及び削除フラグは、夫々立てられた（又は、オンに設定された）フラグを示す。図１４に示す如きデータを記憶部２１−２内のデータベースに格納しておくことで、各ユーザは印刷フラグを参照することで印刷を予定していた画像を容易に確認することができ、又、削除フラグを参照することで削除を予定していた画像を容易に確認することができる。
【００５２】
削除フラグを参照して画像を削除したり、印刷フラグを参照して画像を印刷したりする処理は、上記第１実施例の場合と同様に行える。又、Ｎ人のユーザのうち、少なくとも１人のユーザに対するデータベースに削除フラグが立っている画像を表示して１人のユーザ又は管理者に確認を求めた上でその画像のファイルを削除したり、Ｎ人全てのユーザに対するデータベースで削除フラグが立っている１つの画像がある場合にのみその画像を表示して管理者に確認を求めた上その画像のファイルを削除したり、Ｎ人全てのユーザに対するデータベースで削除フラグが立っている１つの画像がある場合にはその画像のファイルを自動的に削除する等の処理を行うこともできる。
【００５３】
図１３の画像選択処理の場合、複数のユーザ全員から一番長い時間注視されない画像は、ステップＳ１４において必ず選択候補から外されるので、永久に表示装置に表示されない可能性がある。そこで、画像の選択候補を複数の選択アルゴリズムにより選択可能とすることにより、ユーザの好みに応じた選択アルゴリズムを選択するようにしても良い。このように選択アルゴリズムをユーザの好みに応じて選択可能とすることにより、ユーザが興味ある画像を優先的に表示したり、ユーザが興味のある画像は比較的長い時間表示してユーザが興味のない画像は比較的短い時間表示する（或いは、その逆）といった、柔軟性の高い画像の選択表示が可能となる。
【００５４】
図１５は、アルゴリズム選択処理の一例を説明するフローチャートである。図１５のアルゴリズム選択処理は、図２の画像選択部１５−１（又は、１５−２）、表示画像決定部１６及び時計１７により実行できる。図１５において、ステップ８１は、変数Ｒを生成する。例えば、変数Ｒは、乱数を用いて生成しても、値を１づつインクリメントして所定値に達するとリセットするように生成しても良い。Ｍ個（Ｍは２以上の自然数）の互いに異なる画像選択アルゴリズムＡＬＧ１，ＡＬＧ２，．．．，ＡＬＧＭ（ＡＬＧ４までしか図示せず）は、変数Ｒの値に応じてステップＳ８２−１〜Ｓ８２−Ｍ（Ｓ８２−４までしか図示せず）により実行される。例えば、Ｒ＝１〜５の場合はステップＳ８２−１が実行され、Ｒ＝６，７の場合はステップＳ８２−２が実行され、Ｒ＝８の場合はステップＳ８２−３が実行され、Ｒ＝９の場合はステップＳ８２−４が実行される。Ｍ個の選択アルゴリズムＡＬＧ１〜ＡＬＧＭの中には、例えば全てのデータベースから全てのファイルの画像を選択する画像選択アルゴリズム、図３のような画像選択アルゴリズム、図１３のような画像選択アルゴリズム等が含まれる。ステップＳ８１，Ｓ８２−１〜Ｓ８２−Ｍは、画像選択部１５−１（又は、１５−２）により実行できる。
【００５５】
ステップＳ８３は、変数Ｒの値に応じて選択された画像選択アルゴリズムにより選択した画像のファイル名を表示画像決定部１６を介して読み込み部１８に供給することで、選択された画像の画像データを記憶部２２から読み取って一定時間の間表示部１２に表示する。一定時間は、一般的なデジタルフォトフレームの場合は例えば１５秒〜５分程度であるが、このような範囲に限定されるものではない。ステップＳ８４は、ユーザが表示部１２に表示中の表示画像を注視したことを検出したか否かを注視検出部１４の検出出力から判断する。ステップＳ８４の判断結果がＹＥＳであると、ステップＳ８５は、注視検出部１４がユーザの注視を検出した時点の時刻（即ち、現在時刻）を表示画像決定部１６により表示が決定された画像の注視時刻として、記憶部２１−１（又は、２１−２）内のデータベースに対してその時点の表示画像のファイル名の注視時刻を更新する。一方、ステップＳ８４の判断結果がＮＯであるか、或いは、ステップＳ８５の後、ステップＳ８６は、注視検出部１４がユーザの注視を検出した時点の時刻（即ち、現在時刻）を表示画像決定部１６により表示が決定された画像の表示時刻として、記憶部２１−１（又は、２１−２）内のデータベースに対してその時点の表示画像のファイル名の表示時刻を更新する。ステップＳ８６の後、処理はステップＳ８１へ戻る。
【００５６】
このように、図１５のアルゴリズム選択処理を採用することにより、よりユーザの好みに合わせた画像の選択及び表示が可能となる。
【００５７】
図１６は、コンピュータシステムの一例を示すブロック図である。図１６に示すコンピュータシステム１００は、ＣＰＵ１０１、記憶部１０２、インタフェース（Ｉ／Ｆ）１０３、入力装置１０４、及び表示部１０５がバス１０６により接続された構成を有する。ＣＰＵ１０１は、記憶部１０２に格納されたプログラムを実行することによりコンピュータシステム１００全体を制御する。記憶部１０２は、半導体記憶装置、磁気記録媒体、光記録媒体、光磁気記録媒体等で形成可能であり、上記のプログラムや上記データベースを含む各種データを格納すると共に、ＣＰＵ１０１が実行する演算の中間結果や演算結果等を一時的に格納する一時メモリとしても機能する。記憶部１０２は、記憶部２１−１（又は２１−２）及び記憶部２２のち少なくとも一方に相当する。Ｉ／Ｆ１０３は、カメラ１３からの撮像画像を受信したり、記憶部１０２に格納するデータをネットワーク（図示せず）から受信することができる。入力装置１０４は、キーボード等により形成可能である。表示部１０５は、ディスプレイ等により形成可能であり、上記の表示部１２に相当する。入力装置１０４及び表示部１０５は、タッチパネルのように入力装置と表示部の両方の機能を有する入出力装置で形成しても良い。
【００５８】
ＣＰＵ１０１は、記憶部１０２に格納されたプログラムを実行することにより、コンピュータシステム１００を表示装置１（又は、１Ａ）として機能させる。つまり、プログラムは、ＣＰＵ１０１に表示装置１（又は、１Ａ）の注視検出部１４、画像選択部１５−１（又は、１５−２）、及び表示画像決定部１６の機能を実現させる。プログラムは、ＣＰＵ１０１に更に時計１７及び読み込み部１８の機能や、個人同定部１９の機能を実現させるものであっても良い。言い換えると、プログラムは、ＣＰＵ１０１に表示装置１（又は、１Ａ）の処理の手順を実行させるものであり、記憶部１０２を含む適切なコンピュータ読み取り可能な記憶媒体に格納されていても良い。
【００５９】
従って、ＣＰＵ１０１は、図３、図７、図８、図１１、図１３、及び図１５の処理を実行可能である。又、ＣＰＵ１０１が図１１のファイル削除処理を実行する場合、ステップＳ７５においてユーザにｉ番目のファイルの画像の削除確認を求めた際、ユーザは入力装置１０４からｉ番目のファイルの画像の削除を確認することができる。
【００６０】
上記の各実施例では、表示装置が表示する画像は静止画像であるが、動画像（映像）を表示するようにしても良い。この場合、動画像は、所定数の連続する静止画像で形成される。又、表示装置に音声再生部及びスピーカを設けることにより、記憶部に記憶されている画像の表示と同時に、記憶部に画像と共に記憶されている対応する音声データを出力するようにしても良い。更に、予め記憶部に記憶されている音声データの出力を、表示画面の切り替えに同期して切り替えるようにしても良い。
【００６１】
以上の実施例を含む実施形態に関し、更に以下の付記を開示する。
（付記１）
第１の記憶部に記憶された画像データを選択する画像選択部と、
前記画像選択部により選択された画像データを一定時間表示する表示部と、
ユーザが前記表示部が表示している画像データを注視したことを検出する注視検出部と、
前記注視検出部が前記ユーザの注視を検出すると、複数の画像データに対する注視時刻及び表示時刻を格納したデータベースに対して、注視された画像データの注視時刻と表示時刻を更新する更新部を備え、
前記画像選択部は、前記データベースに格納された注視時刻及び表示時刻に基づいて次に選択して前記表示部に表示するべき画像データを選択する、表示装置。
（付記２）
前記データベースは、複数のユーザの各々に対して設けられており、
前記表示部に表示された画像データを鑑賞しているユーザを同定し、同定されたユーザに対応するデータベースを前記更新部による更新及び前記画像選択部による選択に用いるデータベースとして選択する個人同定部を更に備えた、付記１記載の表示装置。
（付記３）
前記画像選択部は、前記表示部が表示している画像データに対して前記同定されたユーザに対応するデータベースに格納された注視時刻及び表示時刻と前記同定されたユーザ以外のユーザに対応するデータベースに格納された注視時刻及び表示時刻に基づいて次に選択して前記表示部に表示するべき画像データを選択する、付記２記載の表示装置。
（付記４）
前記画像選択部は、次に選択して前記表示部に表示するべき画像データを複数の互いに異なる画像選択アルゴリズムの中から選択する、付記１乃至３のいずれか１項記載の表示装置。
（付記５）
前記データベースは、前記複数の画像データに対する注視時刻及び表示時刻に加え、前記ユーザの前記複数の画像データに対する興味度、前記ユーザが印刷する予定である画像データを示す印刷フラグ、及び前記ユーザが前記データベースからの削除を予定していることを示す削除フラグのうち少なくとも１つの情報を格納している、付記１乃至４のいずれか１項記載の表示装置。
（付記６）
前記データベースを格納する第２の記憶部を更に備えた、付記１乃至５のいずれか１項記載の表示装置。
（付記７）
前記第１の記憶部は、前記表示装置に対して脱着可能に設けられている、付記１乃至６のいずれか１項記載の表示装置。
（付記８）
記憶部に記憶された画像データを選択する画像選択工程と、
前記画像選択工程により選択された画像データを一定時間表示部に表示する表示工程と、
ユーザが前記表示部が表示している画像データを注視したことを検出する注視検出工程と、
前記注視検出工程が前記ユーザの注視を検出すると、複数の画像データに対する注視時刻及び表示時刻を格納したデータベースに対して、注視された画像データの注視時刻と表示時刻を更新する更新工程を含み、
前記画像選択工程は、前記データベースに格納された注視時刻及び表示時刻に基づいて次に選択して前記表示部に表示するべき画像データを選択する、表示方法。
（付記９）
前記データベースは、複数のユーザの各々に対して設けられており、
前記表示部に表示された画像データを鑑賞しているユーザを同定し、同定されたユーザに対応するデータベースを前記更新工程による更新及び前記画像選択工程による選択に用いるデータベースとして選択する個人同定工程を更に含む、付記８記載の表示方法。
（付記１０）
前記画像選択工程は、前記表示部が表示している画像データに対して前記同定されたユーザに対応するデータベースに格納された注視時刻及び表示時刻と前記同定されたユーザ以外のユーザに対応するデータベースに格納された注視時刻及び表示時刻に基づいて次に選択して前記表示部に表示するべき画像データを選択する、付記９記載の表示方法。
（付記１１）
前記画像選択工程は、次に選択して前記表示部に表示するべき画像データを複数の互いに異なる画像選択アルゴリズムの中から選択する、付記８乃至１０のいずれか１項記載の表示方法。
（付記１２）
前記データベースは、前記複数の画像データに対する注視時刻及び表示時刻に加え、前記ユーザの前記複数の画像データに対する興味度、前記ユーザが印刷する予定である画像データを示す印刷フラグ、及び前記ユーザが前記データベースからの削除を予定していることを示す削除フラグのうち少なくとも１つの情報を格納している、付記８乃至１１のいずれか１項記載の表示方法。
（付記１３）
コンピュータに、記憶部に記憶された画像データを選択して一定時間表示部に表示させるプログラムであって、
ユーザが前記表示部が表示している画像データを注視したことを検出する注視検出手順と、
前記注視検出手順が前記ユーザの注視を検出すると、複数の画像データに対する注視時刻及び表示時刻を格納したデータベースに対して、注視された画像データの注視時刻と表示時刻を更新する更新手順
を前記コンピュータに実行させ、
前記画像選択手順は、前記コンピュータに、前記データベースに格納された注視時刻及び表示時刻に基づいて次に選択して前記表示部に表示するべき画像データを選択させる、プログラム。
（付記１４）
前記データベースは、複数のユーザの各々に対して設けられており、
前記表示部に表示された画像データを鑑賞しているユーザを同定し、同定されたユーザに対応するデータベースを前記更新手順による更新及び前記画像選択手順による選択に用いるデータベースとして選択する個人同定手順を更に前記コンピュータに実行させる、付記１３記載のプログラム。
（付記１５）
前記画像選択手順は、前記表示部が表示している画像データに対して前記同定されたユーザに対応するデータベースに格納された注視時刻及び表示時刻と前記同定されたユーザ以外のユーザに対応するデータベースに格納された注視時刻及び表示時刻に基づいて次に選択して前記表示部に表示するべき画像データを選択する、付記１４記載のプログラム。
（付記１６）
前記画像選択手順は、次に選択して前記表示部に表示するべき画像データを複数の互いに異なる画像選択アルゴリズムの中から選択する、付記１３乃至１５のいずれか１項記載のプログラム。
（付記１７）
付記１３乃至１６のいずれか１項記載のプログラムを格納した、コンピュータ読み取り可能な記憶媒体。
【００６２】
以上、開示の表示装置、表示方法及びプログラムを実施例により説明したが、本発明は上記実施例に限定されるものではなく、本発明の範囲内で種々の変形及び改良が可能であることは言うまでもない。
【符号の説明】
【００６３】
１，１Ａ 表示装置
１２ 表示部
１３，１３−１，１３−２ カメラ
１４ 注視検出部
１５−１，１５−２ 画像選択部
１６ 表示画像決定部
１７ 時計
１８ 読み込み部
２１−１，２１−２，２２ 記憶部
【技術分野】
【０００１】
本発明は、記憶装置に記憶されている画像を表示する表示装置、表示方法及びプログラムに関する。本発明は、コンピュータにこのような表示方法の手順を実行させるプログラムが格納されたコンピュータ読み取り可能な記憶媒体にも関する。
【０００２】
本明細書では、表示装置の「ユーザ」とは、表示装置が表示する画像を鑑賞する任意の鑑賞者を含み、表示装置の所有者に限定されるものではない。
【背景技術】
【０００３】
デジタルカメラは、撮像した画像をメモリ等の記憶装置に記憶しておけるので、撮像済みの画像を保管するために従来の銀塩カメラのようにネガを劣化しないよう保管する等の手間がかからない。このため、デジタルカメラは急速に普及している。又、デジタルカメラは、従来のアルバムの代わりに、デジタルフォトフレームと呼ばれる表示装置を用いることにより、記憶装置に記憶された画像を簡単に表示することができる。デジタルフォトフレームは、ユーザ（又は、鑑賞者）が選択した画像を表示したり、撮像順序等の情報に応じた順番で画像を自動的に選択して表示したり、画像をランダムに選択して表示したりすることができる。
【０００４】
撮像順序に応じた順番で画像を選択して表示した場合、常に同じ画像が同じ順序で表示されるため、特に記憶している画像数が比較的少ない場合にはユーザが早く飽きてしまう。一方、記憶している画像数が比較的多い場合には、同じ撮像時期又は現場の画像が多く続き、次の撮像時期又は現場の画像がなかなか現れないので、ユーザが興味を持ち易い画像を表示することは難しい。
【０００５】
画像をランダムに選択して表示した場合、順番に画像を選択して表示する場合と比べるとユーザが飽きてしまう可能性は低減する。しかし、比較的長時間の単位で見ると、なかなか表示されない画像が発生したり、逆に頻繁に表示される画像が発生したりする。これは、画像をランダムに選択して表示する場合、数学的には全ての画像が同じ確率で選択されるものの、ユーザが興味を持たない画像はユーザの記憶に残りにくいのでなかなか表示されないように感じられ、ユーザが興味を持つ画像はユーザの記憶に残り易いため頻繁に表示されているように感じられるからである。
【０００６】
又、ユーザが過去に選択した画像の履歴等のユーザの各画像に対する興味の度合いを示す情報に応じた順番で画像を自動的に選択して表示することも提案されている（例えば、特許文献１及び特許文献２）。しかし、この提案方法では、ユーザが手動で画像を選択して初めて選択履歴等の興味の度合いを示す情報が生成可能となるため、ユーザへの負荷が生じてしまう。更に、例えばユーザが２年前に興味を持っていた画像であっても、現在はそれ程興味がない可能性があるため、この提案方法では常にユーザが興味を持ち易い画像を飽きないように表示することはできない。
【０００７】
ユーザの目線が表示されている画像から外れると表示する画像を切り替えることも提案されている（例えば、特許文献３）。しかし、この提案方法では、ユーザの目線が画像から外れると異なる画像を表示するにすぎないため、常にユーザが興味を持ち易い画像を飽きないように表示することはできない。
【０００８】
尚、電子看板、或いは、デジタルサイネージ（Digital Signage）は、デジタル技術を活用してディスプレイやプロジェクタ等により画像や情報を表示する表示装置（広告媒体とも言う）であるが、上記のフォトフレームと同様の問題が生じる。
【先行技術文献】
【特許文献】
【０００９】
【特許文献１】特開２００６−１７３９８３号公報
【特許文献２】特開２００６−１５７３２４号公報
【特許文献３】特開２００８−２１９２８６号公報
【特許文献４】特開平８−７６００６号公報
【発明の概要】
【発明が解決しようとする課題】
【００１０】
従来の表示方法では、ユーザへの負荷を生じることなくユーザが興味を持ち易い画像を飽きないように表示することは難しいという問題があった。
【００１１】
そこで、本発明は、ユーザへの負荷を生じることなくユーザが興味を持ち易い画像を飽きないように表示することが可能な表示装置、表示方法及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【００１２】
本発明の一観点によれば、第１の記憶部に記憶された画像データを選択する画像選択部と、前記画像選択部により選択された画像データを一定時間表示する表示部と、ユーザが前記表示部が表示している画像データを注視したことを検出する注視検出部と、前記注視検出部が前記ユーザの注視を検出すると、複数の画像データに対する注視時刻及び表示時刻を格納したデータベースに対して、注視された画像データの注視時刻と表示時刻を更新する更新部を備え、前記画像選択部は、前記データベースに格納された注視時刻及び表示時刻に基づいて次に選択して前記表示部に表示するべき画像データを選択する表示装置が提供される。
【００１３】
本発明の一観点によれば、記憶部に記憶された画像データを選択する画像選択工程と、前記画像選択工程により選択された画像データを一定時間表示部に表示する表示工程と、ユーザが前記表示部が表示している画像データを注視したことを検出する注視検出工程と、前記注視検出工程が前記ユーザの注視を検出すると、複数の画像データに対する注視時刻及び表示時刻を格納したデータベースに対して、注視された画像データの注視時刻と表示時刻を更新する更新工程を含み、前記画像選択工程は、前記データベースに格納された注視時刻及び表示時刻に基づいて次に選択して前記表示部に表示するべき画像データを選択する表示方法が提供される。
【００１４】
本発明の一観点によれば、コンピュータに、記憶部に記憶された画像データを選択して一定時間表示部に表示させるプログラムであって、ユーザが前記表示部が表示している画像データを注視したことを検出する注視検出手順と、前記注視検出手順が前記ユーザの注視を検出すると、複数の画像データに対する注視時刻及び表示時刻を格納したデータベースに対して、注視された画像データの注視時刻と表示時刻を更新する更新手順を前記コンピュータに実行させ、前記画像選択手順は、前記コンピュータに、前記データベースに格納された注視時刻及び表示時刻に基づいて次に選択して前記表示部に表示するべき画像データを選択させるプログラムが提供される。
【発明の効果】
【００１５】
開示の表示装置、表示方法及びプログラムによれば、ユーザへの負荷を生じることなくユーザが興味を持ち易い画像を飽きないように表示することができる。
【図面の簡単な説明】
【００１６】
【図１】表示装置の一例を示す斜視図である。
【図２】本発明の第１実施例における表示装置の一例を示すブロック図である。
【図３】第１実施例における画像選択処理の一例を説明するフローチャートである。
【図４】注視時刻と表示時刻を説明する図である。
【図５】注視検出処理の一例を説明する図である。
【図６】注視検出処理の他の例を説明する図である。
【図７】図６の注視検出処理を説明するフローチャートである。
【図８】注視及び表示回数更新処理の一例を説明するフローチャートである。
【図９】フラグ設定処理の一例を説明するフローチャートである。
【図１０】データベース内のデータを説明する図である。
【図１１】ファイル削除処理の一例を説明するフローチャートである。
【図１２】本発明の第２実施例における表示装置の一例を示すブロック図である。
【図１３】第２実施例における画像選択処理の一例を説明するフローチャートである。
【図１４】データベース内のデータを説明する図である。
【図１５】アルゴリズム選択処理の一例を説明するフローチャートである。
【図１６】コンピュータシステムの一例を示すブロック図である。
【発明を実施するための形態】
【００１７】
開示の表示装置、表示方法及びプログラムでは、データベースに記憶されている画像を選択的に表示する際に、各画像がユーザにより注視された時刻と各画像が表示された時刻に基づいて次に選択して表示する画像を決定する。
【００１８】
以下に、開示の表示装置、表示方法及びプログラムの各実施例を図面と共に説明する。
【実施例】
【００１９】
（第１実施例）
図１は、表示装置の一例を示す斜視図である。この例では、表示装置はデジタルフォトフレームに適用されている。表示装置１は、筐体１１を有し、筐体１１には支持部１１Ａ、表示部１２及びカメラ１３が設けられている。後述するように、表示部１２は、各画像が注視された時刻と各画像が表示された時刻に基づいて次に選択して表示する画像を決定することで、記憶部（図示せず）に記憶された画像を選択的に表示する。カメラ１３は、ユーザが表示部１２に表示された画像を注視したか否かを検出するのに用いられる。尚、表示部１２及びカメラ１３は筐体１１に一体的に設けられているが、表示部１２及びカメラ１３は別々にもうけられていても良い。
【００２０】
図２は、本発明の第１実施例における表示装置の一例を示すブロック図である。表示装置１は、図２に示す如く接続された表示部１２、カメラ１３、注視検出部１４、画像選択部１５−１、表示画像決定部１６、時計（又は、タイマ）１７、読み込み部１８、例えばテーブルで形成されたデータベースを記憶する記憶部２１−１、及び画像データを記憶する記憶部２２を有する。表示部１２は、液晶表示装置（ＬＣＤ：Liquid Crystal Display）等により形成可能であり、カメラ１３は、ＣＣＤ（Charge Coupled Device）カメラ等により形成可能である。尚、少なくとも各記憶部２１−１，２２は、表示装置１内に設けられていても、表示装置１に外部接続されていても良い。例えば、記憶部２２はネットワーク（図示せず）を介して表示装置１に対して外部接続されていても良い。記憶部２１−１，２２は、単一の記憶部で形成可能である。一方、記憶部２２をＳＤメモリカード（Secure Digital Memory Card）等のメモリカード表示装置１に対して着脱可能に設けても良い。
【００２１】
記憶部２１−１に記憶されたデータベースには、画像のファイル名、注視時刻、表示時刻等が格納されている。画像選択部１５−１は、後述するように各画像の注視時刻及び表示時刻に基づいて表示するべき画像を選択し、選択された画像のファイル名を表示画像決定部１６に供給する。表示画像決定部１６は、選択された画像のファイル名を表示が決定された画像のファイル名として読み込み部１８に供給し、読み込み部１８は、供給されたファイル名の画像に関する画像データを記憶部２２から読み込んで表示部１２に表示する。
【００２２】
一方、カメラ１３は、表示装置１の表示部１２を鑑賞しているユーザを撮像して撮像データを注視検出部１４に供給する。注視検出部１４は、表示部１２に表示されている画像（以下、表示画像とも言う）を鑑賞しているユーザが表示画像を注視したか否かを検出する。注視とは、ユーザが表示画像に視線を向けて見ている状態を意味し、瞬間的に表示画像を見る状態も含む。注視検出部１４がユーザの注視を検出すると、その時点の表示画像のファイル名は表示画像決定部１６において認識されているので、その時点の表示画像のファイル名を時計１７に供給する。時計１７は、注視検出部１４がユーザの注視を検出した時点の時刻（即ち、現在時刻）を注視時刻及び表示時刻として、記憶部２１−１内のデータベースに対してその時点の表示画像のファイル名の注視時刻及び表示時刻を更新する更新部として機能する。各ファイル名の画像の注視時刻は、ユーザがそのファイル名の表示画像を注視した時刻を示し、各ファイル名の画像の表示時刻は、そのファイル名の表示画像が表示部１２に表示された時刻を示す。
【００２３】
図３は、第１実施例における画像選択処理の一例を説明するフローチャートである。図３の画像選択処理は、画像選択部１５−１、表示画像決定部１６及び時計１７により実行できる。図３において、ステップＳ１は、記憶部２１−１内のデータベースからランダムに３枚の画像のファイル名を選択する。ステップＳ２は、選択した３枚の画像の中で表示時刻が一番新しい画像のファイル名を選択候補から外す。ステップＳ２は、例えば注視の検出漏れが発生した場合に同じ画像が比較的短時間の間に繰り返し表示されることを防ぐために実行するが、省略しても良い。ステップＳ３は、選択した残りの２枚の画像のうち注視時刻が古い方のファイル名を選択する。ステップＳ３は、同じ画像が比較的短時間の間に繰り返し表示されることを防ぐために実行するが、省略しても良い。ステップＳ４は、選択した画像のファイル名を表示画像決定部１６を介して読み込み部１８に供給することで、選択された画像の画像データを記憶部２２から読み取って一定時間の間表示部１２に表示する。一定時間は、一般的なデジタルフォトフレームの場合は例えば１５秒〜５分程度であるが、このような範囲に限定されるものではない。
【００２４】
ステップＳ５は、ユーザが表示部１２に表示中の表示画像を注視したことを検出したか否かを注視検出部１４の検出出力から判断する。ステップＳ５の判断結果がＹＥＳであると、ステップＳ６は、注視検出部１４がユーザの注視を検出した時点の時刻（即ち、現在時刻）を表示画像決定部１６により表示が決定された画像の注視時刻として、記憶部２１−１内のデータベースに対してその時点の表示画像のファイル名の注視時刻を更新する。一方、ステップＳ５の判断結果がＮＯであるか、或いは、ステップＳ６の後、ステップＳ７は、注視検出部１４がユーザの注視を検出した時点の時刻（即ち、現在時刻）を表示画像決定部１６により表示が決定された画像の表示時刻として、記憶部２１−１内のデータベースに対してその時点の表示画像のファイル名の表示時刻を更新する。ステップＳ７の後、処理はステップＳ１へ戻る。
【００２５】
これにより、画像を表示部１２に表示している間、ユーザが表示画像を注視したことが注視検出部１４により検出されると、その時点の時刻が表示画像のファイル名に対する注視時刻に上書きされて更新される。一方、ユーザが表示画像を注視したか否かにかかわらず、表示画像の表示が終了して次に選択された画像を表示する際には、その時点の時刻が表示画像のファイル名に対する表示時刻に上書きされて更新される。従って、図３の画像選択処理を繰り返すことで、常に、ユーザが比較的長時間の間鑑賞していない画像を、適切なランダム要素を交えながら表示部１２に表示することができる。
【００２６】
図４は、注視時刻と表示時刻を説明する図である。図４は、画像Ａが表示時刻１０：００に表示部１２に表示され、画像Ｂが表示時刻１０：０５に表示部１２に表示され、画像Ｃが表示時刻１０：１０に表示部１２に表示された場合を示す。この場合、例えばユーザが時刻１０：０８に表示部１２に表示された画像Ｂを注視すると、画像Ｂの注視時刻は１０：０８のまま維持され、画像Ａ，Ｃの注視時刻は更新されない。このため、前回の注視時刻がそのまま維持される。新たな画像の画像データが記憶部２２に記憶されると、この新たな画像に対する表示時刻及び注視時刻は無いので、例えば予め設定されている基準時刻等の十分古い時刻を新たな画像に対する表示時刻及び注視時刻の初期値として設定可能である。尚、図４では説明の便宜上画像Ａ〜Ｃの表示時刻及び注視時刻を示したが、記憶部２１−１内のデータベースには画像のファイル名に対する注視時刻、表示時刻等が格納される。又、時刻は時：分で示したが、時刻の表示方法は時刻を表示できる表示方法であれば特に限定されない。例えば、時刻は２０１０年３月１日１０：００、予め設定された基準時刻からの経過時間等によっても表示可能である。
【００２７】
次に、注視検出部１４による注視検出処理を、図５乃至図７と共に説明する。ユーザが表示部１２に表示された画像を注視しているか否かを検出する注視検出処理自体は、特許文献４を含み、様々な注視検出処理が提案されている。多くの注視検出処理は、ユーザがどこを見ているかをユーザの視線等を観察して、計算により目標を注視している確率を求めるものである。本実施例における注視検出処理は、特に限定されないが、以下に注視検出処理の例を説明する。
【００２８】
図５は、注視検出処理の一例を説明する図である。この例では、表示装置１のカメラ１３−１がユーザの眼球５００を観察し、注視検出部１４がカメラ１３−１で観察された眼球５００の向きからユーザが表示装置１の表示部１２を注視しているか否かを判断する。
【００２９】
図６は、注視検出処理の他の例を説明する図である。この例では、表示装置１に設けられた発光ダイオード（ＬＥＤ：Light Emitting Diode）等の発光素子１３−３から赤外線をユーザの眼球５００に照射し、発光素子１３−１の横に設けられたカメラ１３−２により眼球５００に写るプルキニエ（Purkyne）像、即ち、角膜反射像を確認する。図６中、（ａ）は表示装置１とユーザの眼球５００の関係を示し、（ｂ）は赤外線の照射によりユーザの眼球５００に写るプルキニエ像５１１を目５０１及び黒目５０２と共に示す。
【００３０】
図７は、図６の注視検出処理を説明するフローチャートである。図７において、ステップＳ３１は、カメラ１３−２からの撮像画像を入力し、ステップＳ３２は、入力撮像画像にユーザの顔領域があるか否かを周知の方法で判断する。顔領域は、入力撮像画像に目が２つ、鼻筋が通って鼻の下に口があるといったテンプレートを用意し、入力撮像画像に対してテンプレートマッチングを行うことで検出可能である。ステップＳ３２の判断結果がＹＥＳであると、ステップＳ３３は、ステップＳ３２で検出した顔領域から眼球５００の領域ＲＢを抽出する。ステップＳ３４は、ステップＳ３２に抽出した顔領域から黒目５０２の領域を計算する。ステップＳ３２の判断結果がＮＯであると、処理は終了する。
【００３１】
ステップＳ３２において顔領域があるか否かを判断する際に、目５０１及び目５０１の位置は判断を左右する情報であるため、ステップＳ３３において入力撮像画像中の目５０１の位置は周知の方法により比較的容易に抽出可能である。又、抽出した目５０１の位置を二値化して更に閾値処理等を施すことにより、ステップＳ３４において入力撮像画像中の黒目５０２の領域を比較的容易に計算可能である。
【００３２】
ステップＳ３５は、発光素子１３−３を点灯して赤外線をユーザの眼球５００に照射する。ステップＳ３５は、ステップＳ３３における眼球５００の領域ＲＢの抽出からできるだけ直ちに行うことが望ましい。ステップＳ３６は、カメラ１３−２により眼球５００を含むユーザを撮像する。ステップＳ３７は、カメラ１３−２からの撮像画像から眼球５００の領域ＲＡを抽出する。ステップＳ３８は、発光素子１３−３を消灯する。
【００３３】
ステップＳ３９は、眼球５００の領域ＲＡ，ＲＢの差分からプルキニエ像の位置を計算する。撮像環境によっては、眼球５００に照明等のノイズが写り込む可能性があるが、プルキニエ像が写り込まない眼球５００の領域ＲＢとプルキニエ像が写り込む眼球５００の領域ＲＡの差分を計算することにより、ノイズを相殺して赤外線の写り込みのみを求めることができる。ステップＳ４０はプルキニエの位置が黒目５０２の領域の中心か否かを判断し、判断結果がＹＥＳであると処理はステップＳ４１へ進み、判断結果がＮＯであると処理はステップＳ４２へ進む。ステップＳ４１は、ユーザが表示装置１の表示部１２に表示された画像を注視していると判断し、処理は終了する。一方、ステップＳ４２は、ユーザが表示装置１の表示部１２に表示された画像に注視していないと判断し、処理は終了する。
【００３４】
尚、ユーザの白目中の黒目の位置等に基づいてユーザが表示装置１の表示部１２に表示された画像を注視しているか否かを判断するようにしても良いことは言うまでもない。
【００３５】
図２では、記憶部２１−１内のデータベースには各画像のファイル名に対して注視時刻及び表示時刻が格納されているが、データベースに注視回数や表示回数等の情報を更に格納するようにしても良い。
【００３６】
図８は、注視及び表示回数更新処理の一例を説明するフローチャートである。図８の注視及び表示回数更新処理は、図２の画像選択部１５−１、表示画像決定部１６及び時計１７により実行できる。図８において、ステップＳ５１は、カメラ１３からの撮像画像に基づいて、表示装置１の表示部１２を鑑賞可能な位置にユーザがいるか否かを判断し、判断結果がＮＯであると処理は終了する。上記の如く、注視検出処理では顔領域を抽出したりするので、顔領域が抽出されたか否か等に基づいて表示装置１の表示部１２を鑑賞可能な位置にユーザがいるか否かを判断することも可能である。ステップＳ５１の判断結果がＹＥＳであると、ステップＳ５２は、表示部１２に表示する画像を選択する。又、ステップＳ５３は、ステップＳ５２で選択された画像を表示部１２に表示する。ステップＳ５２は図３のステップＳ１〜Ｓ３に相当し、ステップＳ５３は図３のステップＳ４に相当する。
【００３７】
ステップＳ５４は、例えば図７の注視検出処理によりユーザが表示部１２に表示された画像を注視したか否かを判断する。ステップＳ５４の判断結果がＹＥＳであると、ステップＳ５５は、表示画像の注視時刻を更新する。ステップＳ５４，５５は図３のステップＳ５，Ｓ６に相当する。ステップＳ５５の後、ステップＳ５６は、記憶部２１−１内のデータベースに対して表示画像の注視回数をインクリメントすることで更新する。
【００３８】
ステップＳ５４の判定結果がＮＯ、或いは、ステップＳ５６の後、ステップＳ５７は、表示画像の表示時刻を更新する。ステップＳ５４は、図３のステップＳ７に相当する。ステップＳ５８は、記憶部２１−１内のデータベースに対して表示画像の表示回数をインクリメントすることで更新し、処理は終了する。
【００３９】
図９は、フラグ設定処理の一例を説明するフローチャートである。図９のフラグ設定処理は、図８のステップＳ５６が終了した段階で、或いは、ユーザが何らかの操作を行った場合に、或いは、一定時間間隔で行うことができる。
【００４０】
図９において、表示回数が閾値を超えないと統計的に誤差が比較的大きくなり興味度（又は、興味の度合い）Ｘの信頼度が低下するため、ステップＳ６１は、表示画像のファイル名に対して記憶部２１−１内のデータベースに格納されている表示回数が閾値、例えば１００００回を超えるか否かを判断し、判断結果がＮＯであると処理は終了する。一方、ステップＳ６１の判断結果がＹＥＳであると、ステップＳ６２は、Ｘ＝（注視回数）／（表示回数）で表される興味度Ｘを計算する。尚、興味度Ｘの計算式は、本実施例の式に限定されるものではなく、ユーザの表示画像への興味の有無を断定できるパラメータを計算するものであれば良い。ステップＳ６３は、興味度Ｘが第１の興味度閾値より大きいか否か、例えばＸ＞０．９であるか否かを判断する。ステップＳ６３の判断結果がＹＥＳであると、ステップＳ６４は、ユーザが表示画像に興味があると断定し、印刷フラグを立てる等の適切な処理を行い、処理は終了する。印刷フラグは、例えばユーザが表示画像に興味がありプリンタ（図示せず）で印刷する予定であることを示す。一方、ステップＳ６３の判断結果がＮＯであると、ステップＳ６５は、興味度Ｘが第２の興味度閾値より小さいか否か、例えばＸ＜０．１であるか否かを判断し、判断結果がＮＯであると処理は終了する。ステップＳ６５の判断結果がＹＥＳであると、ステップＳ６６は、ユーザは表示画像に興味がないと断定し、削除フラグを立てる等の適切な処理を行い、処理は終了する。削除フラグは、例えばユーザが表示画像に興味がなく記憶部２１−１（又は、２２）からの削除を予定していることを示す。
【００４１】
図１０は、記憶部２１−１内のデータベースに格納されたデータを説明する図である。図１０は、各画像のファイル名に対し、注視時刻、表示時刻、注視回数、表示回数、興味度（Ｘ）、印刷フラグ及び削除フラグが格納されている場合を示す。又、○印が付けられている印刷フラグ及び削除フラグは、夫々立てられた（又は、オンに設定された）フラグを示す。図１０に示す如きデータを記憶部２１−１内のデータベースに格納しておくことで、ユーザは印刷フラグを参照することで印刷を予定していた画像を容易に確認することができ、又、削除フラグを参照することで削除を予定していた画像を容易に確認することができる。
【００４２】
図１１は、ファイル削除処理の一例を説明するフローチャートである。図１１のファイル削除処理は、図２の画像選択部１５−１、表示画像決定部１６及び時計１７により実行できる。図１１において、ステップＳ７１は、カウントｉをｉ＝０に初期化する。ステップＳ７２は、ｉが記憶部２１−１に記憶されている画像数（即ち、保有画像数）以上であるか否かを判断し、判断結果がＹＥＳであると処理は終了する。一方、ステップＳ７２の判断結果がＮＯであると、ステップＳ７３は、記憶部２２に記憶されているｉ番目のファイルの画像に対して削除フラグが立っているか否かを判断する。ステップＳ７３の判断結果がＹＥＳであると処理は終了であると、ステップＳ７４は、ｉ番目のファイルの画像を表示部１２に表示する。又、ステップＳ７５は、ユーザにｉ番目のファイルの画像の削除確認を求める。ユーザが入力装置（図示せず）からｉ番目のファイルの画像の削除を確認してステップＳ７５の判断結果がＹＥＳになると、ステップＳ７６は、ｉ番目のファイルの画像を記憶部２１−１内のデータベースから削除する。ステップＳ７３又はステップＳ７５の判断結果がＮＯ、或いは、ステップＳ７６の後、処理はステップＳ７７へ進む。ステップＳ７７は、カウントｉをｉ＝ｉ＋１にインクリメントし、処理はステップＳ７２へ戻る。
【００４３】
削除フラグを用いたファイル削除処理により、比較的簡単な処理で記憶部２１−１（又は、２２）の使用可能な記憶容量を確保することができる。
【００４４】
図１１のファイル削除処理からも明らかなように、ファイル印刷処理も印刷フラグを参照することで同様に行うことが可能である。ファイル印刷処理の場合、確認するのが削除フラグではなく印刷フラグであり、ステップＳ７６の代わりにファイルを印刷して印刷フラグを消すステップが行われる。又、プリンタへは、表示部１２に供給される画像を出力すれば良い。
【００４５】
削除フラグを設けることにより、特に記憶部２１−１内のデータベースに大量の画像のファイルが記憶されており整理が望まれる場合等であっても、ユーザが不要と判断した画像のファイルを簡単に検索して削除することができる。又、印刷フラグを設けることにより、特に記憶部２１−１内のデータベースに大量の画像のファイルが記憶されており特定の画像のみの印刷が望まれる場合等であっても、ユーザが印刷を予定した画像のファイルを簡単に検索して印刷することができる。
【００４６】
（第２実施例）
図１２は、本発明の第２実施例における表示装置の一例を示すブロック図である。図１２中、図２と同一部分には同一符号を付し、その説明は省略する。本実施例では、記憶部２１−２は、複数のユーザの各々に対して１つのデータベースを記憶する。又、個人同定部１９は、カメラ１３から入力される撮像画像に基づいて表示装置１Ａの表示部１２に表示された画像を鑑賞しているユーザ個人をテンプレートマッチング等の周知の同定方法により同定する個人同定処理を行う。個人同定部１９は、記憶部２１−２内の複数のデータベースのうち同定されたユーザ個人に対応する１つのデータベースを選択する。このように選択されたデータベースが、表示するべき画像の選択及び画像の注視時刻及び表示時刻の更新に用いられる。画像選択部１５−２は、選択されたデータベースに格納された各画像の注視時刻及び表示時刻に基づいて表示するべき画像を選択し、選択された画像のファイル名を表示画像決定部１６に供給する。尚、各データベースには、図１０と同様に注視回数、表示回数、興味度Ｘ、印刷フラグ、削除フラグ等を格納しても良いことは言うまでもない。
【００４７】
個人同定部１９で採用する同定方法は、カメラ１３から入力される撮像画像に基づく同定方法に限定されない。又、複数のユーザが同時に表示画像を鑑賞している場合には、ユーザ個人に付けられた優先順位等に基づいて１人のユーザを選択し、選択されたユーザに対する画像表示を制御すれば良い。
【００４８】
図１３は、第２実施例における画像選択処理の一例を説明するフローチャートである。図１３の画像選択処理は、個人同定部１９により同定されたユーザ個人のデータベースに対して、画像選択部１５−２、表示画像決定部１６及び時計１７により実行できる。図１３において、ステップＳ１１は、記憶部２１−２内のデータベースからランダムに４枚の画像のファイル名を選択する。ステップＳ１２は、選択した４枚の画像の中で表示時刻が一番新しい画像のファイル名を選択候補から外す。ステップＳ１２は、例えば注視の検出漏れが発生した場合に同じ画像が比較的短時間の間に繰り返し表示されることを防ぐために実行するが、省略しても良い。ステップＳ１３は、選択した残りの３枚の画像の中で表示時刻が一番新しい画像のファイル名を選択候補から外す。ステップＳ１４は、選択した残りの２枚の画像のうち、他のユーザのデータベースにおいて注視時刻が一番新しい画像のファイル名を選択する。ステップＳ１４は、複数のユーザのうち１人が最近注視した画像を選択することで、複数のユーザ間（例えば、家族間）で共通の話題を提供するために実行するが、省略しても良い。ステップＳ１５は、選択した画像のファイル名を表示画像決定部１６を介して読み込み部１８に供給することで、選択された画像の画像データを記憶部２２から読み取って一定時間の間表示部１２に表示する。一定時間は、一般的なデジタルフォトフレームの場合は例えば１５秒〜５分程度であるが、このような範囲に限定されるものではない。
【００４９】
ステップＳ１６は、ユーザが表示部１２に表示中の表示画像を注視したことを検出したか否かを注視検出部１４の検出出力から判断する。ステップＳ１６の判断結果がＹＥＳであると、ステップＳ１７は、注視検出部１４がユーザの注視を検出した時点の時刻（即ち、現在時刻）を表示画像決定部１６により表示が決定された画像の注視時刻として、記憶部２１−２内のデータベースに対してその時点の表示画像のファイル名の注視時刻を更新する。一方、ステップＳ１６の判断結果がＮＯであるか、或いは、ステップＳ１７の後、ステップＳ１８は、注視検出部１４がユーザの注視を検出した時点の時刻（即ち、現在時刻）を表示画像決定部１６により表示が決定された画像の表示時刻として、記憶部２１−２内のデータベースに対してその時点の表示画像のファイル名の表示時刻を更新する。ステップＳ１８の後、処理はステップＳ１１へ戻る。
【００５０】
これにより、画像を表示部１２に表示している間、ユーザが表示画像を注視したことが注視検出部１４により検出されると、その時点の時刻が表示画像のファイル名に対する注視時刻に上書きされて更新される。一方、ユーザが表示画像を注視したか否かにかかわらず、表示画像の表示が終了して次に選択された画像を表示する際には、その時点の時刻が表示画像のファイル名に対する表示時刻に上書きされて更新される。従って、図１３の画像選択処理を繰り返すことで、常に、ユーザが比較的長時間の間鑑賞していない画像や、他のユーザとの共通の話題を提供するための画像を、適切なランダム要素を交えながら表示部１２に表示することができる。
【００５１】
図１４は、記憶部２１−２内のデータベースに格納されたデータを説明する図である。ここでは説明の便宜上、Ｎ人（Ｎは２以上の自然数）のユーザがおり、記憶部２１−２にはＮ人のユーザに対してデータベースＤ１，Ｄ２，．．．，ＤＮ（Ｄ４までしか図示せず）が記憶されているものとする。図１４中、図１０と同一部分には同一符号を付す。図１４は、各データベースＤ１〜ＤＮにおいて、各画像のファイル名に対し、注視時刻、表示時刻、注視回数、表示回数、興味度（Ｘ）、印刷フラグ及び削除フラグが格納されている場合を示す。又、○印が付けられている印刷フラグ及び削除フラグは、夫々立てられた（又は、オンに設定された）フラグを示す。図１４に示す如きデータを記憶部２１−２内のデータベースに格納しておくことで、各ユーザは印刷フラグを参照することで印刷を予定していた画像を容易に確認することができ、又、削除フラグを参照することで削除を予定していた画像を容易に確認することができる。
【００５２】
削除フラグを参照して画像を削除したり、印刷フラグを参照して画像を印刷したりする処理は、上記第１実施例の場合と同様に行える。又、Ｎ人のユーザのうち、少なくとも１人のユーザに対するデータベースに削除フラグが立っている画像を表示して１人のユーザ又は管理者に確認を求めた上でその画像のファイルを削除したり、Ｎ人全てのユーザに対するデータベースで削除フラグが立っている１つの画像がある場合にのみその画像を表示して管理者に確認を求めた上その画像のファイルを削除したり、Ｎ人全てのユーザに対するデータベースで削除フラグが立っている１つの画像がある場合にはその画像のファイルを自動的に削除する等の処理を行うこともできる。
【００５３】
図１３の画像選択処理の場合、複数のユーザ全員から一番長い時間注視されない画像は、ステップＳ１４において必ず選択候補から外されるので、永久に表示装置に表示されない可能性がある。そこで、画像の選択候補を複数の選択アルゴリズムにより選択可能とすることにより、ユーザの好みに応じた選択アルゴリズムを選択するようにしても良い。このように選択アルゴリズムをユーザの好みに応じて選択可能とすることにより、ユーザが興味ある画像を優先的に表示したり、ユーザが興味のある画像は比較的長い時間表示してユーザが興味のない画像は比較的短い時間表示する（或いは、その逆）といった、柔軟性の高い画像の選択表示が可能となる。
【００５４】
図１５は、アルゴリズム選択処理の一例を説明するフローチャートである。図１５のアルゴリズム選択処理は、図２の画像選択部１５−１（又は、１５−２）、表示画像決定部１６及び時計１７により実行できる。図１５において、ステップ８１は、変数Ｒを生成する。例えば、変数Ｒは、乱数を用いて生成しても、値を１づつインクリメントして所定値に達するとリセットするように生成しても良い。Ｍ個（Ｍは２以上の自然数）の互いに異なる画像選択アルゴリズムＡＬＧ１，ＡＬＧ２，．．．，ＡＬＧＭ（ＡＬＧ４までしか図示せず）は、変数Ｒの値に応じてステップＳ８２−１〜Ｓ８２−Ｍ（Ｓ８２−４までしか図示せず）により実行される。例えば、Ｒ＝１〜５の場合はステップＳ８２−１が実行され、Ｒ＝６，７の場合はステップＳ８２−２が実行され、Ｒ＝８の場合はステップＳ８２−３が実行され、Ｒ＝９の場合はステップＳ８２−４が実行される。Ｍ個の選択アルゴリズムＡＬＧ１〜ＡＬＧＭの中には、例えば全てのデータベースから全てのファイルの画像を選択する画像選択アルゴリズム、図３のような画像選択アルゴリズム、図１３のような画像選択アルゴリズム等が含まれる。ステップＳ８１，Ｓ８２−１〜Ｓ８２−Ｍは、画像選択部１５−１（又は、１５−２）により実行できる。
【００５５】
ステップＳ８３は、変数Ｒの値に応じて選択された画像選択アルゴリズムにより選択した画像のファイル名を表示画像決定部１６を介して読み込み部１８に供給することで、選択された画像の画像データを記憶部２２から読み取って一定時間の間表示部１２に表示する。一定時間は、一般的なデジタルフォトフレームの場合は例えば１５秒〜５分程度であるが、このような範囲に限定されるものではない。ステップＳ８４は、ユーザが表示部１２に表示中の表示画像を注視したことを検出したか否かを注視検出部１４の検出出力から判断する。ステップＳ８４の判断結果がＹＥＳであると、ステップＳ８５は、注視検出部１４がユーザの注視を検出した時点の時刻（即ち、現在時刻）を表示画像決定部１６により表示が決定された画像の注視時刻として、記憶部２１−１（又は、２１−２）内のデータベースに対してその時点の表示画像のファイル名の注視時刻を更新する。一方、ステップＳ８４の判断結果がＮＯであるか、或いは、ステップＳ８５の後、ステップＳ８６は、注視検出部１４がユーザの注視を検出した時点の時刻（即ち、現在時刻）を表示画像決定部１６により表示が決定された画像の表示時刻として、記憶部２１−１（又は、２１−２）内のデータベースに対してその時点の表示画像のファイル名の表示時刻を更新する。ステップＳ８６の後、処理はステップＳ８１へ戻る。
【００５６】
このように、図１５のアルゴリズム選択処理を採用することにより、よりユーザの好みに合わせた画像の選択及び表示が可能となる。
【００５７】
図１６は、コンピュータシステムの一例を示すブロック図である。図１６に示すコンピュータシステム１００は、ＣＰＵ１０１、記憶部１０２、インタフェース（Ｉ／Ｆ）１０３、入力装置１０４、及び表示部１０５がバス１０６により接続された構成を有する。ＣＰＵ１０１は、記憶部１０２に格納されたプログラムを実行することによりコンピュータシステム１００全体を制御する。記憶部１０２は、半導体記憶装置、磁気記録媒体、光記録媒体、光磁気記録媒体等で形成可能であり、上記のプログラムや上記データベースを含む各種データを格納すると共に、ＣＰＵ１０１が実行する演算の中間結果や演算結果等を一時的に格納する一時メモリとしても機能する。記憶部１０２は、記憶部２１−１（又は２１−２）及び記憶部２２のち少なくとも一方に相当する。Ｉ／Ｆ１０３は、カメラ１３からの撮像画像を受信したり、記憶部１０２に格納するデータをネットワーク（図示せず）から受信することができる。入力装置１０４は、キーボード等により形成可能である。表示部１０５は、ディスプレイ等により形成可能であり、上記の表示部１２に相当する。入力装置１０４及び表示部１０５は、タッチパネルのように入力装置と表示部の両方の機能を有する入出力装置で形成しても良い。
【００５８】
ＣＰＵ１０１は、記憶部１０２に格納されたプログラムを実行することにより、コンピュータシステム１００を表示装置１（又は、１Ａ）として機能させる。つまり、プログラムは、ＣＰＵ１０１に表示装置１（又は、１Ａ）の注視検出部１４、画像選択部１５−１（又は、１５−２）、及び表示画像決定部１６の機能を実現させる。プログラムは、ＣＰＵ１０１に更に時計１７及び読み込み部１８の機能や、個人同定部１９の機能を実現させるものであっても良い。言い換えると、プログラムは、ＣＰＵ１０１に表示装置１（又は、１Ａ）の処理の手順を実行させるものであり、記憶部１０２を含む適切なコンピュータ読み取り可能な記憶媒体に格納されていても良い。
【００５９】
従って、ＣＰＵ１０１は、図３、図７、図８、図１１、図１３、及び図１５の処理を実行可能である。又、ＣＰＵ１０１が図１１のファイル削除処理を実行する場合、ステップＳ７５においてユーザにｉ番目のファイルの画像の削除確認を求めた際、ユーザは入力装置１０４からｉ番目のファイルの画像の削除を確認することができる。
【００６０】
上記の各実施例では、表示装置が表示する画像は静止画像であるが、動画像（映像）を表示するようにしても良い。この場合、動画像は、所定数の連続する静止画像で形成される。又、表示装置に音声再生部及びスピーカを設けることにより、記憶部に記憶されている画像の表示と同時に、記憶部に画像と共に記憶されている対応する音声データを出力するようにしても良い。更に、予め記憶部に記憶されている音声データの出力を、表示画面の切り替えに同期して切り替えるようにしても良い。
【００６１】
以上の実施例を含む実施形態に関し、更に以下の付記を開示する。
（付記１）
第１の記憶部に記憶された画像データを選択する画像選択部と、
前記画像選択部により選択された画像データを一定時間表示する表示部と、
ユーザが前記表示部が表示している画像データを注視したことを検出する注視検出部と、
前記注視検出部が前記ユーザの注視を検出すると、複数の画像データに対する注視時刻及び表示時刻を格納したデータベースに対して、注視された画像データの注視時刻と表示時刻を更新する更新部を備え、
前記画像選択部は、前記データベースに格納された注視時刻及び表示時刻に基づいて次に選択して前記表示部に表示するべき画像データを選択する、表示装置。
（付記２）
前記データベースは、複数のユーザの各々に対して設けられており、
前記表示部に表示された画像データを鑑賞しているユーザを同定し、同定されたユーザに対応するデータベースを前記更新部による更新及び前記画像選択部による選択に用いるデータベースとして選択する個人同定部を更に備えた、付記１記載の表示装置。
（付記３）
前記画像選択部は、前記表示部が表示している画像データに対して前記同定されたユーザに対応するデータベースに格納された注視時刻及び表示時刻と前記同定されたユーザ以外のユーザに対応するデータベースに格納された注視時刻及び表示時刻に基づいて次に選択して前記表示部に表示するべき画像データを選択する、付記２記載の表示装置。
（付記４）
前記画像選択部は、次に選択して前記表示部に表示するべき画像データを複数の互いに異なる画像選択アルゴリズムの中から選択する、付記１乃至３のいずれか１項記載の表示装置。
（付記５）
前記データベースは、前記複数の画像データに対する注視時刻及び表示時刻に加え、前記ユーザの前記複数の画像データに対する興味度、前記ユーザが印刷する予定である画像データを示す印刷フラグ、及び前記ユーザが前記データベースからの削除を予定していることを示す削除フラグのうち少なくとも１つの情報を格納している、付記１乃至４のいずれか１項記載の表示装置。
（付記６）
前記データベースを格納する第２の記憶部を更に備えた、付記１乃至５のいずれか１項記載の表示装置。
（付記７）
前記第１の記憶部は、前記表示装置に対して脱着可能に設けられている、付記１乃至６のいずれか１項記載の表示装置。
（付記８）
記憶部に記憶された画像データを選択する画像選択工程と、
前記画像選択工程により選択された画像データを一定時間表示部に表示する表示工程と、
ユーザが前記表示部が表示している画像データを注視したことを検出する注視検出工程と、
前記注視検出工程が前記ユーザの注視を検出すると、複数の画像データに対する注視時刻及び表示時刻を格納したデータベースに対して、注視された画像データの注視時刻と表示時刻を更新する更新工程を含み、
前記画像選択工程は、前記データベースに格納された注視時刻及び表示時刻に基づいて次に選択して前記表示部に表示するべき画像データを選択する、表示方法。
（付記９）
前記データベースは、複数のユーザの各々に対して設けられており、
前記表示部に表示された画像データを鑑賞しているユーザを同定し、同定されたユーザに対応するデータベースを前記更新工程による更新及び前記画像選択工程による選択に用いるデータベースとして選択する個人同定工程を更に含む、付記８記載の表示方法。
（付記１０）
前記画像選択工程は、前記表示部が表示している画像データに対して前記同定されたユーザに対応するデータベースに格納された注視時刻及び表示時刻と前記同定されたユーザ以外のユーザに対応するデータベースに格納された注視時刻及び表示時刻に基づいて次に選択して前記表示部に表示するべき画像データを選択する、付記９記載の表示方法。
（付記１１）
前記画像選択工程は、次に選択して前記表示部に表示するべき画像データを複数の互いに異なる画像選択アルゴリズムの中から選択する、付記８乃至１０のいずれか１項記載の表示方法。
（付記１２）
前記データベースは、前記複数の画像データに対する注視時刻及び表示時刻に加え、前記ユーザの前記複数の画像データに対する興味度、前記ユーザが印刷する予定である画像データを示す印刷フラグ、及び前記ユーザが前記データベースからの削除を予定していることを示す削除フラグのうち少なくとも１つの情報を格納している、付記８乃至１１のいずれか１項記載の表示方法。
（付記１３）
コンピュータに、記憶部に記憶された画像データを選択して一定時間表示部に表示させるプログラムであって、
ユーザが前記表示部が表示している画像データを注視したことを検出する注視検出手順と、
前記注視検出手順が前記ユーザの注視を検出すると、複数の画像データに対する注視時刻及び表示時刻を格納したデータベースに対して、注視された画像データの注視時刻と表示時刻を更新する更新手順
を前記コンピュータに実行させ、
前記画像選択手順は、前記コンピュータに、前記データベースに格納された注視時刻及び表示時刻に基づいて次に選択して前記表示部に表示するべき画像データを選択させる、プログラム。
（付記１４）
前記データベースは、複数のユーザの各々に対して設けられており、
前記表示部に表示された画像データを鑑賞しているユーザを同定し、同定されたユーザに対応するデータベースを前記更新手順による更新及び前記画像選択手順による選択に用いるデータベースとして選択する個人同定手順を更に前記コンピュータに実行させる、付記１３記載のプログラム。
（付記１５）
前記画像選択手順は、前記表示部が表示している画像データに対して前記同定されたユーザに対応するデータベースに格納された注視時刻及び表示時刻と前記同定されたユーザ以外のユーザに対応するデータベースに格納された注視時刻及び表示時刻に基づいて次に選択して前記表示部に表示するべき画像データを選択する、付記１４記載のプログラム。
（付記１６）
前記画像選択手順は、次に選択して前記表示部に表示するべき画像データを複数の互いに異なる画像選択アルゴリズムの中から選択する、付記１３乃至１５のいずれか１項記載のプログラム。
（付記１７）
付記１３乃至１６のいずれか１項記載のプログラムを格納した、コンピュータ読み取り可能な記憶媒体。
【００６２】
以上、開示の表示装置、表示方法及びプログラムを実施例により説明したが、本発明は上記実施例に限定されるものではなく、本発明の範囲内で種々の変形及び改良が可能であることは言うまでもない。
【符号の説明】
【００６３】
１，１Ａ 表示装置
１２ 表示部
１３，１３−１，１３−２ カメラ
１４ 注視検出部
１５−１，１５−２ 画像選択部
１６ 表示画像決定部
１７ 時計
１８ 読み込み部
２１−１，２１−２，２２ 記憶部
【特許請求の範囲】
【請求項１】
第１の記憶部に記憶された画像データを選択する画像選択部と、
前記画像選択部により選択された画像データを一定時間表示する表示部と、
ユーザが前記表示部が表示している画像データを注視したことを検出する注視検出部と、
前記注視検出部が前記ユーザの注視を検出すると、複数の画像データに対する注視時刻及び表示時刻を格納したデータベースに対して、注視された画像データの注視時刻と表示時刻を更新する更新部を備え、
前記画像選択部は、前記データベースに格納された注視時刻及び表示時刻に基づいて次に選択して前記表示部に表示するべき画像データを選択する、表示装置。
【請求項２】
前記データベースは、複数のユーザの各々に対して設けられており、
前記表示部に表示された画像データを鑑賞しているユーザを同定し、同定されたユーザに対応するデータベースを前記更新部による更新及び前記画像選択部による選択に用いるデータベースとして選択する個人同定部を更に備えた、請求項１記載の表示装置。
【請求項３】
前記画像選択部は、前記表示部が表示している画像データに対して前記同定されたユーザに対応するデータベースに格納された注視時刻及び表示時刻と前記同定されたユーザ以外のユーザに対応するデータベースに格納された注視時刻及び表示時刻に基づいて次に選択して前記表示部に表示するべき画像データを選択する、請求項２記載の表示装置。
【請求項４】
記憶部に記憶された画像データを選択する画像選択工程と、
前記画像選択工程により選択された画像データを一定時間表示部に表示する表示工程と、
ユーザが前記表示部が表示している画像データを注視したことを検出する注視検出工程と、
前記注視検出工程が前記ユーザの注視を検出すると、複数の画像データに対する注視時刻及び表示時刻を格納したデータベースに対して、注視された画像データの注視時刻と表示時刻を更新する更新工程を含み、
前記画像選択工程は、前記データベースに格納された注視時刻及び表示時刻に基づいて次に選択して前記表示部に表示するべき画像データを選択する、表示方法。
【請求項５】
コンピュータに、記憶部に記憶された画像データを選択して一定時間表示部に表示させるプログラムであって、
ユーザが前記表示部が表示している画像データを注視したことを検出する注視検出手順と、
前記注視検出手順が前記ユーザの注視を検出すると、複数の画像データに対する注視時刻及び表示時刻を格納したデータベースに対して、注視された画像データの注視時刻と表示時刻を更新する更新手順
を前記コンピュータに実行させ、
前記画像選択手順は、前記コンピュータに、前記データベースに格納された注視時刻及び表示時刻に基づいて次に選択して前記表示部に表示するべき画像データを選択させる、プログラム。
【請求項１】
第１の記憶部に記憶された画像データを選択する画像選択部と、
前記画像選択部により選択された画像データを一定時間表示する表示部と、
ユーザが前記表示部が表示している画像データを注視したことを検出する注視検出部と、
前記注視検出部が前記ユーザの注視を検出すると、複数の画像データに対する注視時刻及び表示時刻を格納したデータベースに対して、注視された画像データの注視時刻と表示時刻を更新する更新部を備え、
前記画像選択部は、前記データベースに格納された注視時刻及び表示時刻に基づいて次に選択して前記表示部に表示するべき画像データを選択する、表示装置。
【請求項２】
前記データベースは、複数のユーザの各々に対して設けられており、
前記表示部に表示された画像データを鑑賞しているユーザを同定し、同定されたユーザに対応するデータベースを前記更新部による更新及び前記画像選択部による選択に用いるデータベースとして選択する個人同定部を更に備えた、請求項１記載の表示装置。
【請求項３】
前記画像選択部は、前記表示部が表示している画像データに対して前記同定されたユーザに対応するデータベースに格納された注視時刻及び表示時刻と前記同定されたユーザ以外のユーザに対応するデータベースに格納された注視時刻及び表示時刻に基づいて次に選択して前記表示部に表示するべき画像データを選択する、請求項２記載の表示装置。
【請求項４】
記憶部に記憶された画像データを選択する画像選択工程と、
前記画像選択工程により選択された画像データを一定時間表示部に表示する表示工程と、
ユーザが前記表示部が表示している画像データを注視したことを検出する注視検出工程と、
前記注視検出工程が前記ユーザの注視を検出すると、複数の画像データに対する注視時刻及び表示時刻を格納したデータベースに対して、注視された画像データの注視時刻と表示時刻を更新する更新工程を含み、
前記画像選択工程は、前記データベースに格納された注視時刻及び表示時刻に基づいて次に選択して前記表示部に表示するべき画像データを選択する、表示方法。
【請求項５】
コンピュータに、記憶部に記憶された画像データを選択して一定時間表示部に表示させるプログラムであって、
ユーザが前記表示部が表示している画像データを注視したことを検出する注視検出手順と、
前記注視検出手順が前記ユーザの注視を検出すると、複数の画像データに対する注視時刻及び表示時刻を格納したデータベースに対して、注視された画像データの注視時刻と表示時刻を更新する更新手順
を前記コンピュータに実行させ、
前記画像選択手順は、前記コンピュータに、前記データベースに格納された注視時刻及び表示時刻に基づいて次に選択して前記表示部に表示するべき画像データを選択させる、プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図６】
【図２】
【図３】
【図４】
【図５】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図６】
【公開番号】特開２０１１−２０３９７５（Ｐ２０１１−２０３９７５Ａ）
【公開日】平成２３年１０月１３日（２０１１．１０．１３）
【国際特許分類】
【出願番号】特願２０１０−７０２１２（Ｐ２０１０−７０２１２）
【出願日】平成２２年３月２５日（２０１０．３．２５）
【出願人】（０００００５２２３）富士通株式会社 (25,993)
【Ｆターム（参考）】
【公開日】平成２３年１０月１３日（２０１１．１０．１３）
【国際特許分類】
【出願日】平成２２年３月２５日（２０１０．３．２５）
【出願人】（０００００５２２３）富士通株式会社 (25,993)
【Ｆターム（参考）】
[ Back to top ]