説明

お気に入り度自動設定システム

【課題】 写真のお気に入り度を設定可能なシステムにおいて、お気に入り度が自動的に設定されるようにする。
【解決手段】 画像を再生することが可能な電子機器において、その電子機器の表示画面に画像を表示する際に、表示画面の方向(表示画面を見ている人)を電子機器に内蔵、または接続されたカメラで撮影し続ける手段を設け、それにより撮影された画像から、画像の閲覧者の情報を取得する手段、および、その情報から表示画面に表示されている画像のお気に入り度を自動的に判定し設定する手段を有することを特徴とする構成とした。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、画像再生装置に関し、特に、デジタルカメラやカメラ付き携帯電話、カメラ付きPCおいて、画像を再生する際のお気に入り度自動設定システムに関するものである。
【背景技術】
【0002】
近年、デジタルカメラ等で撮影した画像に、カメラ本体、または、コンピュータ上で動作するアプリケーションソフトウェア等を用いて、お気に入り度(☆など)を設定する機能が広く採用されている。その設定情報を用いることで、画像の検索や仕分けを行うことが可能となってきている。しかし、画像一つ一つに対して個別にお気に入り度を設定するには、手間と時間を要することになる。そこで、この作業を自動化する方法がいくつか提案されている。
【0003】
例えば、特許文献1では画像を解析し、画像にブレ、露出不良などの特定現象が生じている部分を検出し、検出された特定現象に応じた減点を所定の基準点から減算して得点を求め、該画像の得点として表示させる方法が開示されている。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開2005−39541号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかしながら、上述の特許文献に開示された従来技術では、画像の内容から判断して映像としての質の良し悪しを判定しているだけであり、その画像の所有者、閲覧者が本当に気に入っている画像かどうかという感情を反映している訳ではなく、その観点からは、不十分であった。
【0006】
そこで、本発明の目的は、所有者、閲覧者の感情を反映して、画像のお気に入り度を自動的に設定するお気に入り度自動設定システムを提供することである。
【課題を解決するための手段】
【0007】
上記目的を達成するために、本発明は、画像を再生表示することが可能な電子機器において、その電子機器の表示画面に画像を表示する際に、表示画面の方向(表示画面を見ている人)を電子機器に内蔵、または接続されたカメラで撮影し続ける手段を設け、それにより撮影された画像から、再生中の画像の閲覧者の情報を取得する手段、および、その閲覧者の情報から再生中の画像のお気に入り度を自動的に判定し設定する手段を有することを特徴とする構成とした。
【発明の効果】
【0008】
本発明によれば、画像を再生するだけで、それを閲覧している者の感情を反映したお気に入り度を自動的にその画像に設定可能とするシステムを提供することができる。
【図面の簡単な説明】
【0009】
【図1】本発明に係る実施例でのデジタルカメラの外観図、および、画面表示例である。
【図2】本発明に係る実施例でのデジタルカメラのハードウェア構成を示すブロック図である。
【図3】本発明に係る実施例でのデジタルカメラの機能構成を示すブロック図である。
【図4】本発明に係る実施例でのデジタルカメラの動作を示すフローチャートである。
【図5】本発明に係る実施例でのデジタルカメラの動作を示すフローチャートである。
【図6】本発明に係る実施例での画像ファイル中のデータ構造を示す図である。
【図7】本発明に係る実施例でのデジタルカメラのインカメラにおける撮影画像の例である。
【図8】本発明に係る実施例でのデジタルカメラのお気に入り度を計算する計算式である。
【発明を実施するための形態】
【0010】
デジタルカメラやカメラ付き携帯電話、カメラが接続されたパソコンなど、画像を再生、撮影可能な電子機器である。
【0011】
[実施例1]
以下、図面を参照して、本発明の実施例による電子機器であるデジタルカメラについて説明する。
【0012】
図1は、本発明の一実施例であるデジタルカメラ20の外観図である。
【0013】
電源ボタン2101はデジタルカメラ20の電源を入り切りするためのものである。
【0014】
シャッターボタン2102は、撮影を行うためのものである。
【0015】
ズームレバー2106は、デジタルカメラのレンズのズーム位置を操作するためのものである。
【0016】
液晶画面209にはデジタルカメラの設定を指定するための各種メニューが表示される。また、撮影時のファインダーとしての動作や、デジタルカメラ内の記録媒体に格納されている撮影済みの画像の再生などに用いられる。
【0017】
モード切り替えスイッチ2108は、デジタルカメラ20の撮影、再生モードを切り替えるためのものである。ポジションを「Play」にするとデジタルカメラ内の記録媒体に記録されている画像を後述する液晶画面209にて再生表示する再生モード、「Still」 にすると静止画撮影モード、「Movie」にすると動画撮影モードにカメラが設定される。
【0018】
メニューボタン2103は、撮影時や再生時のカメラの動作を設定、指定するためのメニュー画面を表示させるときに指定するもので、このボタンが押されると、液晶画面209に各種メニューが表示される。
【0019】
セットボタン2104、移動ボタン2105、移動ホイール2107は、メニューを操作するときに使用するもので、移動ボタン2105の上下ボタンで液晶画面209に表示されるメニュー上のカーソルを移動させ、セットボタン2104で選択するような操作を実現するためのものである。
【0020】
インカメラ2109は、本発明の特徴的な部分であり、液晶画面209で画像が再生されている際に、その画像を閲覧している閲覧者を撮影するためのものである。
【0021】
図2に、本実施例のデジタルカメラ20のハードウェア構成を表すブロック図を示す。ただし、本発明に係る実施例の構成を理解する上で、直接、必要とされない要素は省略してある。たとえば、バッテリーなどがこれに相当する。
【0022】
主撮像装置201は、通常の撮影を行うための一連の装置が含まれており、例えば、レンズや絞り、CCD、画像処理装置などがこれに含まれる。前途した撮影モードでの撮影では、主撮影装置201により撮影が行われる。
【0023】
演算装置202は、入力された信号やプログラムに従って、各種の演算や制御を行う。
【0024】
通信制御装置203は、外部装置と接続し制御コマンドやデータの送受信を行う。接続を確立し、データ通信するためのプロトコルとしては、例えばPTP(Picture Transfer Protocol)が用いられる。なお、前記通信装置203は、例えばUSB(Universal Serial Bus)ケーブルなどの有線接続により通信を行ってもよい。また、無線LANなどの無線接続により通信を行ってもよい。また、外部装置と直接接続してもよいし、サーバを経由したりインターネットなどのネットワークを介したりして外部装置と接続してもよい。
【0025】
二次記憶装置204は、デジタルカメラ20の各機能を制御するためのプログラム(ファームウェア)や各種の設定情報を記憶する。
【0026】
一次記憶装置205は、一時的なデータを記憶し、演算装置202の作業用に使われる。
表示部206は、撮影時のビューファインダー画像の表示、撮影した画像の表示、対話的な操作のためのメニュー表示などを行う。図1における液晶画面209もこれに含まれる。
副撮像装置207は、画像の再生時に、液晶画面209を閲覧している者を撮影するためのもので、図1のインカメラ2109はこれに含まれる。
【0027】
記憶媒体208は、撮影した画像データなどを記憶する。なお、撮影後に記憶媒体208は取り外すことが可能であり、パーソナルコンピュータ(以下、PC)などに装着してデータを読み出すことが可能である。本発明実施例では、SDメモリーカードである。
【0028】
操作部210は、使用者の操作を受け付けるためのものである。図1における、メニューボタン2103や移動ボタン2105、移動ホイール2107がこれに含まれる。
【0029】
図3に、本実施例のデジタルカメラ20の機能ブロック図を示す。ただし、本発明実施例の構成を理解する上で直接、必要とされない要素、例えば、CPUや、画像再生に関係する部分などは、省略してある。また、本発明は、画像の再生に関する者のため、画像の再生に関係する要素について説明している。
【0030】
撮影手段301は、副撮像装置207を使用して、液晶画面209に再生されている画像を閲覧している者の撮影を行うものである。
【0031】
画像再生手段302は、記憶媒体208に保存されている画像ファイルを表示部206に再生表示するものである。本発明実施例では、画像ファイルはJpeg形式で記録媒体208に記録されているものとする。画像再生手段302では、Jpegファイルのデコードも行う。
【0032】
顔検出手段303は、撮像手段301により撮影された画像を解析し、画像中に顔が存在するかを検出するものである。
【0033】
顔識別手段304は、顔の特徴を抽出し、それを個々の顔の識別情報や笑顔の情報として出力するためのものである。
【0034】
お気に入り判定手段305は顔の識別情報をもとに、お気に入り度を判定するためのものである。
【0035】
ファイル管理手段306は、記録媒体208へのファイルの入出力を管理するためのものである。
【0036】
デジタルカメラ20の電源が入れられ、モード切り替えスイッチ2108が「Play」のポジションにある時、デジタルカメラ20は、再生モードに遷移し、記録媒体208に記録されている画像が画像再生手段302により液晶画面209に再生表示される。記録媒体208に複数の画像が記録されている場合、操作者により移動ボタン2105が操作されると操作部210が、演算装置202にその情報を通知し、ある一定の順序に従って、他の画像を表示する。これを繰り返すことにより、複数の画像の閲覧を可能にしている。他のモードから、再生モードに切り替えられた時も、同様となる。このとき処理の詳細を、以下に説明する。
【0037】
図4に示すのは、本発明実施例におけるデジタルカメラ20における、再生モードへの遷移、または、その状態で、移動ボタン2105が操作され、新たな画像を表示する場合の処理を示すフローチャートである。この処理は、二次記憶装置204に記録されたプログラムを演算装置202が読み取り、実行することによって実現される。
【0038】
まず、ステップS10で、画像を表示する。この処理は、ファイル管理手段306が、所望の画像ファイルを記憶媒体208から読み出し、画像再生手段302により、表示部206に表示する処理となる。
【0039】
次に、ステップS20では、本発明の特徴となる、お気に入り度の計測の開始を行う。これは、再生処理と並行して別タスクとして行われるものであり、このタスクの詳細については後述する。
【0040】
ステップS30では、操作者の入力を待ち、表示されている画像の閲覧の終了命令を待つ。具体的には、モードの切り替え、次の画像の閲覧のための入力などとなる。
【0041】
閲覧の終了命令が操作部210から入力されると、ステップS40にて、お気に入り度の計測のためのタスクを終了させるための処理を行い、処理を終了する。
【0042】
図5は、お気に入り度を計測するためのタスクの処理を表すフローチャートである。この処理は、二次記憶装置204に記録されたプログラムを演算装置202が読み取り、実行することによって実現される。
【0043】
図4のステップS20にて、お気に入り度計測タスクの開始が指示されると、お気に入り度計測タスクでは、まず、図5のステップS10にて、画像再生手段302にて液晶画面209に表示されている画像データを解析し、画像に含まれている顔位置の抽出、および、その識別情報の抽出を行う。なお、顔の検出と識別情報の抽出は、顔検出手段303、顔識別手段304にて行われるが、その方法については、本発明とは直接関係ないため、説明は省略する。なお、顔検出手段303は、デジタルカメラ20の撮影モードにおいても使用され、主撮像装置からの入力画像データを解析し、顔を抽出することで、その情報を用いてAEやAF処理でも使用される。
【0044】
次に図5のステップS15にて、再生中の画像データに対応する画像ファイルから、閲覧者履歴リストを取得する。閲覧者履歴リストとは、図6に示す論理構造をもった情報であり、これは、画像ファイルのヘッダ部分に格納されているものである。具体的には、本発明実施例では、画像ファイルは、ExifJpeg形式で記録されており、Exifで定義されているメーカーノート領域に閲覧者履歴リストは格納されるものである。閲覧者履歴リストの詳細については後述する。
【0045】
次に、ステップS20にて、計測タスクの終了命令がなされているかを確認する。これは、図4のフローチャートにおいて、ステップS40が実行されたかということになる。図4のステップS40が実行されていない、つまり、表示中の画像が閲覧中の場合には、図5のステップS30に処理を移す。
【0046】
図5のステップS30では、撮影手段301が、副撮像装置207を使い、液晶画面209の再生画面方向、つまり、画像を閲覧している者の撮影が行われる。ここで得られる画像データの例を図7に示す。
【0047】
次に、ステップS35では、撮影した画像の解析を行い、顔の数(N)とそれぞれの顔についての特徴を示す識別情報、および、笑顔か否かの情報を求める。この方法については、ステップS10で行ったものと同等である。たとえば、図7の画像の場合は、顔の数(N)は5となる。
【0048】
ステップS40では、ステップS35で求めた顔の数(N)により処理を分岐する。顔の数(N)が2つ以上の場合には、ステップS50に処理を移す。一方、顔の数(N)が2つ未満の場合には、ステップS105に処理を移す。これは、顔の数(N)が1の場合は操作者が1人で閲覧しているとみなすことができ、この場合は、顔の表情を判定するには適さない状況と判断するためである。
【0049】
ステップS50以降では、ステップS35で抽出したN個の顔について、一つずつ処理を行う。まず、ステップS60にて、顔(n)の大きさが一定以上かを判定する。一定の大きさ以下の場合には、デジタルカメラ20から一定の距離以上、離れた人物の顔と判断でき、そのような顔については、液晶画面209を閲覧しているとは考えにくいため、対象から外す。たとえば、図7の場合、顔75の大きさは、本実施例のデジタルカメラ20においては、あらかじめ決められている大きさ以下と判断され、対象から外す。なお、一定以上の大きさの場合には、ステップS70に処理を移す。
【0050】
ステップS70では、表示中の画像を顔(n)の人物が過去にも閲覧したことがあるかを調べる。具体的には、ステップS15でファイルから取得した閲覧者リストを参照し、顔(n)の識別情報と同じ情報が閲覧者履歴リスト中に含まれているかを調べることになる。
【0051】
ここで、閲覧者情報リストについて説明する。閲覧者履歴リストは各画像ファイルに含まれているものであり、その画像を閲覧したことがある人物の履歴情報である。図6の600にあるような論理構造となっている。閲覧者番号601は閲覧者の番号であり、閲覧者識別情報602は、閲覧者の顔の特徴量である。具体的には、顔識別手段により得られる情報と同様の仕様のものである。笑顔情報603は閲覧者が笑ったか否かの記録である。被写体情報604は、閲覧者が液晶画面209に再生されている画像の被写体か否かを示す情報である。
【0052】
ステップS70の処理としては、ステップS35で求めた顔(n)の識別情報と閲覧者履歴リスト600中の閲覧者識別情報602の全てを比較し、同一人物とみなされる情報が閲覧者リストに存在するかを調べる。存在している場合には、ステップS90に処理を移す。これは、顔(n)の人物が表示中の画像を過去にも閲覧したことがある場合である。一方、閲覧者履歴リスト600に情報が無い場合には、ステップS80に処理を移す。これは、顔(n)の人物が新たな閲覧者の場合である。
【0053】
ステップS80では、閲覧者履歴リスト600に新たな閲覧者を追加する。この時、閲覧者番号601には、閲覧者番号の一番大きなものに1を加えた数値、閲覧者識別情報602には、ステップS35で求めた識別情報を設定する。また、笑顔情報603にも値を設定する。顔(n)が笑顔の場合には、Trueを、笑顔では無い場合には、Falseを設定する。また、ステップS35で求めた顔(n)の識別情報とステップS10で求めた再生中画像に含まれている顔の識別情報を比較し、顔(n)と同一人物とみなされる顔が再生中画像に含まれている場合には、被写体情報604にTrueを設定する。
【0054】
一方、ステップS70から、ステップ90に処理が遷移した場合は、ステップS90にて、閲覧者履歴リスト600中の顔(n)と同じ閲覧者の情報のうち、笑顔情報603の値により処理を分岐する。笑顔情報603の値がTrueの場合は、顔(n)の人物が過去に閲覧したことがあり、かつ、その時に笑顔で見ていたということになるため、ステップS35で求めた顔(n)の人物の笑顔の情報にかかわらず、閲覧者履歴リストは変更しないで次の閲覧者の処理に移るために、ステップS50に処理を戻す。一方、笑顔情報603の値が笑顔では無い場合、つまり、Falseの場合には、ステップS100に処理を移し、ステップS35で求めた顔(n)の笑顔の情報で、閲覧者履歴リスト600を更新し、その後、ステップS50に処理を戻す。なお、当然ながら、ステップS35で求めた笑顔の情報がFalseの場合には、ステップS100で、閲覧者履歴リスト600を更新する必要が無い。
【0055】
全ての閲覧者に関する処理が終わると、つまり、上記説明におけるnが1からNまでの全てについての処理が終了すると、ステップS40からステップS105に処理を移す。ステップS105では、再びステップS20からの処理を行う際に一定のインターバルをとるためのWait処理を行う。なおこの値を調整することで、上述してきたステップS30から、ステップS100までの処理の間隔を調整することが可能となる。つまり、閲覧者を監視する間隔を調整することとなる。
【0056】
ステップS20に処理が戻った際、先に説明したとおり、計測終了命令が実行されていると、ステップS110に処理が移る。
【0057】
ステップS110では、閲覧者履歴リスト600からお気に入り度を計算し、求められたお気に入り度をステップS120にて画像ファイルに設定する。なお、本実施例では、お気に入り度も画像ファイル中のメーカーノート部分に記録されるが、これに限定されることは無い。
【0058】
ステップS110で行われる計算式を図8の800に示す。
【0059】
本実施例では、閲覧者履歴リスト600の情報を図8に示す式に当てはめて、再生中画像のお気に入り度を算出している。
【0060】
図8に示す式800では、閲覧者のうち、再生中の画像の被写体となっている閲覧者のお気に入り率(A)と、被写体では無い閲覧者のお気に入り率(B)をまず算出する。それらの値にそれぞれ、係数α、βを掛けて合算することにより、お気に入り度(C)を求めている。本実施例では、α=3、β=2とすると、図6に示す閲覧者履歴リストの場合、
被写体お気に入り率(A)= 1/2
非被写体お気に入り率(B)= 2/3
となり、
お気に入り度(C)=17/6≒2.8
となる。
【0061】
以上の処理により、画像を閲覧するだけで、閲覧した画像に対するお気に入り度が自動的に設定されることになる。
【0062】
なお、本実施例では、インカメラにより撮影された人物が一人の場合には、判断基準から排除しているが、一人の場合においても、判断基準に含めてもよい。
【0063】
また、再生画像に写っている被写体であるかどうかで係数を変えていたり、閲覧者が被写体の場合の係数を高めにしていたりしているが、これに限定されることはない。
【0064】
また、本実施例では、閲覧者を撮影してその画像のみからお気に入り度を判定しているが、それに加えて、再生中の音声を集音し、笑い声やボリューム等も考慮して、お気に入り度を設定することも可能である。
【0065】
また、本発明実施例では、デジタルカメラに閲覧者を撮影するための専用のインカメラを設けているが、これに限定されることは無く、回転機構付きの液晶画面を搭載したり、または、反射鏡などを搭載するなどして、通常の撮影に用いる撮像装置を使用して閲覧者を撮影しても良い。
【0066】
また、本発明実施例では、デジタルカメラを例として説明しているが、これに限定されることはなく、携帯電話やカメラ付きのパソコン、フォトフレームなど、画像を再生する手段を備え、かつ、閲覧者側を撮影可能な手段を備えている装置であれば良い。
【0067】
なお、本発明の目的は、以下の処理を実行することによって達成される。即ち、上述した実施の形態の機能を実現するプログラムコードを記録した記憶媒体を、システム或いは装置に供給し、そのシステム或いは装置のコンピュータ(またはCPUやMPU等)が記憶媒体に格納されたプログラムコードを読み出す処理である。
【0068】
この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施の形態の機能を実現することになり、そのプログラムコード及び該プログラムコードを記憶した記憶媒体は本発明を構成することになる。
【0069】
また、プログラムコードを供給するための記憶媒体としては、次のものを用いることができる。例えば、フロッピー(登録商標)ディスク、ハードディスク、光磁気ディスク、CD−ROM、CD−R、CD−RW、DVD−ROM、DVD−RAM、DVD−RW、DVD+RW、磁気テープ、不揮発性のメモリーカード、ROM等である。または、プログラムコードをネットワークを介してダウンロードしてもよい。
【0070】
また、コンピュータが読み出したプログラムコードを実行することにより、上記実施の形態の機能が実現される場合も本発明に含まれる。加えて、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているOS(オペレーティングシステム)等が実際の処理の一部または全部を行い、その処理によって前述した実施の形態の機能が実現される場合も含まれる。
【0071】
更に、前述した実施の形態の機能が以下の処理によって実現される場合も本発明に含まれる。即ち、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれる。その後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるCPU等が実際の処理の一部または全部を行う場合である。
【符号の説明】
【0072】
20 デジタルカメラ
209 液晶画面
2108 モード切り替えスイッチ
2109 インカメラ
201 主撮像装置
207 副撮像装置
600 閲覧者履歴リスト
800 お気に入り度算出式


【特許請求の範囲】
【請求項1】
画像を再生して表示する画像再生手段と、表示画面の方向を撮影することが可能な撮影手段と、上記画像に対してお気に入り度を設定する手段と、再生画像や上記撮影手段からの画像を解析して人物の顔を識別する手段を含む電子機器において、画像再生手段により画像を再生するとともに、上記撮影手段により撮影を行い、撮影手段により撮影された画像データを解析し顔に関する情報を抽出し、その情報から、再生中の画像のお気に入り度を自動的に設定することを特徴とするお気に入り度自動設定システム。
【請求項2】
撮影された画像中の顔の大きさが一定の大きさ以下の場合には、その顔の情報は除外することを特徴とする請求項1に記載のお気に入り度自動設定システム。
【請求項3】
撮影された画像中の顔が笑顔の場合には、お気に入り度を上げることを特徴とする請求項1に記載のお気に入り度自動設定システム。
【請求項4】
撮影された画像中の顔が再生中の画像にも含まれているか否かで、お気に入り度を判定する際の比重を変えることを特徴とする請求項1に記載のお気に入り度自動設定システム。
【請求項5】
閲覧者の情報を再生中の画像データと関連付けて記録することを特徴とする請求項1に記載のお気に入り度自動設定システム。


【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate


【公開番号】特開2012−156750(P2012−156750A)
【公開日】平成24年8月16日(2012.8.16)
【国際特許分類】
【出願番号】特願2011−13719(P2011−13719)
【出願日】平成23年1月26日(2011.1.26)
【出願人】(000001007)キヤノン株式会社 (59,756)
【Fターム(参考)】