電子機器、画像表示システム及び画像選択方法
【課題】ユーザの好む画像を自動的に選択する。
【解決手段】電子機器100は、被写体を撮像し画像データを生成する撮像部116と、ユーザから与えられた物理量を検出するセンサ部110と、センサ部110により検出された物理量に基づいて、ユーザの感情状態を表すスコアを算出する算出部131と、撮像部116により生成された画像データと算出部131により算出されたスコアとを対応付けて記憶する記憶部140と、記憶部140に記憶されたスコアに基づいて画像データを選択する選択部132とを備える
【解決手段】電子機器100は、被写体を撮像し画像データを生成する撮像部116と、ユーザから与えられた物理量を検出するセンサ部110と、センサ部110により検出された物理量に基づいて、ユーザの感情状態を表すスコアを算出する算出部131と、撮像部116により生成された画像データと算出部131により算出されたスコアとを対応付けて記憶する記憶部140と、記憶部140に記憶されたスコアに基づいて画像データを選択する選択部132とを備える
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、電子機器、画像表示システム及び画像選択方法に関する。
【背景技術】
【0002】
現在、リアルタイムカメラを用いて男女・年代などのカテゴリを判別し、判別したカテゴリに応じた画像を表示するデジタルサイネージ(電子看板)がある。また、特許文献1には、複数の小型デバイスをタイル上に並べて1つのディスプレイとするディスプレイシステムが記載されている。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開平11−134087号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、従来のデジタルサイネージでは、各ユーザ夫々の好みに応じた画像を表示することはできない、という問題がある。
本発明は上記の点に鑑みてなされたものであり、その目的は、ユーザの好む画像を自動で選択することができる電子機器、画像表示システム及び画像選択方法を提供することにある。
【課題を解決するための手段】
【0005】
本発明は上記の課題を解決するためになされたものであり、本発明の一態様は、被写体を撮像し画像データを生成する撮像部と、ユーザから与えられた物理量を検出するセンサ部と、前記センサ部により検出された物理量と前記撮像部により生成された画像データとに基づいて、ユーザの感情状態を表すスコアを算出する算出部と、前記撮像部により生成された画像データと前記算出部により算出されたスコアとを対応付けて記憶する記憶部と、前記記憶部に記憶されたスコアに基づいて画像データを選択する選択部と、を備えることを特徴とする電子機器である。
【発明の効果】
【0006】
本発明によれば、ユーザの好む画像を自動で選択することができる。
【図面の簡単な説明】
【0007】
【図1】本発明の一実施形態による電子機器の機能構成を示すブロック図である。
【図2】本実施形態による記憶部が記憶するスコアテーブルのデータ構造及びデータ例を示す概略図である。
【図3】本実施形態による記憶部が記憶する日付スコアテーブルのデータ構造及びデータ例を示す概略図である。
【図4】本実施形態による記憶部が記憶する場所スコアテーブルのデータ構造及びデータ例を示す概略図である。
【図5】本実施形態による記憶部が記憶するイベントスコアテーブルのデータ構造及びデータ例を示す概略図である。
【図6】本実施形態による記憶部が記憶する重みテーブルのデータ構造及びデータ例を示す概略図である。
【図7】本実施形態による記憶部が記憶する重み履歴テーブルのデータ構造及びデータ例を示す概略図である。
【図8】本実施形態による撮像スコア算出処理の手順を示すフローチャートである。
【図9】本実施形態による表示スコア算出処理の手順を示すフローチャートである。
【図10】本実施形態による画像選択表示処理の手順を示すフローチャートである。
【図11】実施例1による画像受信処理の動作を示すシーケンス図である。
【図12】実施例1による画像表示処理の動作を示すシーケンス図である。
【図13】実施例2による画像選択システムの構成を示すブロック図である。
【図14】実施例2による画像表示処理の動作を示すシーケンス図である。
【図15】実施例3による画像表示処理の動作を示すシーケンス図である。
【発明を実施するための形態】
【0008】
以下、図面を参照しながら本発明の一実施形態について詳しく説明する。
図1は、本発明の一実施形態による電子機器100の機能構成を示すブロック図である。
電子機器100は、例えば携帯電話機、PDA(Personal Digital Assistant)、スマートフォン、ゲーム機器、デジタルカメラ等の携帯端末である。本図に示すとおり、本実施形態による電子機器100は、センサ部110と、通信部120と、制御部130と、記憶部140と、電源部150と、表示部160と、計時部170と、位置検出部180とを含んで構成される。
【0009】
センサ部110は、ユーザが自装置に与えた物理量を各種センサにより検出し、検出した物理量の種別毎に、センサ信号を出力する。センサ部110は、加速度センサ111と、感圧センサ112と、温度センサ113と、湿度センサ114と、マイク115と、撮像部116と、画像解析部117と、タッチパネル118と、ジャイロセンサ119とを含んで構成される。
【0010】
加速度センサ111は、ユーザが自装置に与えた打撃又は振動などによる加速度を検出し、検出した加速度に応じたセンサ信号を、制御部130に出力する。加速度センサ111は、例えば、0.0[G]から2.0[G]まで、0.2[G]間隔(10段階(レベル))で加速度を検出する。また、加速度センサ111は、ユーザが自装置に与えた振動の周期を、検出した加速度に基づいて算出してもよい。加速度センサ111は、例えば、0[Hz]から20[Hz]まで、2[Hz]間隔(10段階)で、振動の周期(周波数)を算出する。また、加速度センサ111は、ユーザが自装置に振動を与え続けた時間の長さを、検出した加速度に基づいて算出してもよい。加速度センサ111は、例えば、0[秒]から5[秒]まで、1[秒]間隔(5段階)で、ユーザが自装置に振動を与え続けた時間の長さを算出する。
【0011】
感圧センサ112は、ユーザが自装置に加えた圧力(例えば、筐体を把持する力による圧力)を検出し、検出した圧力に応じたセンサ信号を、制御部130に出力する。感圧センサ112は、例えば、ユーザが自装置に加えた圧力を、5[Pa]毎に10段階で検出する。
【0012】
温度センサ113は、ユーザが自装置に与えた温度(例えば、筐体を把持する掌の温度)を検出し、検出した温度に応じたセンサ信号を、制御部130に出力する。温度センサ113は、例えば、ユーザが自装置に与えた温度を、摂氏35[度]から0.2[度]毎に、10段階で検出する。
【0013】
湿度センサ114は、ユーザが自装置に与えた湿度(例えば、筐体を把持する掌の水分量)を検出し、検出した湿度に応じたセンサ信号を、制御部130に出力する。湿度センサ114は、例えば、ユーザが自装置に与えた湿度を、0[%]から100[%]まで、10[%]間隔(10段階)で検出する。
【0014】
マイク115は、ユーザが自装置に伝えた音(例えば、ユーザの音声の周波数及び音量)を検出し、検出した音に応じたセンサ信号を、制御部130に出力する。例えば、マイク115は、音声が続いた時間の長さに応じたセンサ信号を出力する。ここで、例えば、マイク115は、ユーザの音声が続いた時間の長さを、0[秒]から5[秒]まで、1[秒]間隔(5段階)で検出し、検出した音声が続いた時間の長さに応じたセンサ信号を出力する。
【0015】
撮像部116は、光学像(被写体)を撮像して画像データを生成し、生成した画像データを制御部130と画像解析部117とに出力する。
画像解析部117は、入力された画像データに人の顔が含まれている場合に、その画像データに対して、パターンマッチングを実行する。そして、画像解析部117は、パターンマッチングを実行した画像データを、ユーザの感情状態を表す補助情報である感情補助情報「喜」「怒」「哀」「楽」のいずれか1つ以上に対応させる。例えば、画像解析部117は、パターンマッチングを実行した結果、ユーザの顔が笑顔であると判定した場合、ユーザの笑顔が撮像された画像データを、感情補助情報「喜」及び「楽」に対応させる。画像解析部117は、感情補助情報に対応させて、ユーザの顔が撮像された画像データを制御部130に出力する。
【0016】
タッチパネル118は、表示部160上に設置され、ユーザからの操作入力を受け付ける。ここで、感情補助情報「喜」「怒」「哀」「楽」にそれぞれ対応するユーザ操作があらかじめ記憶されている。例えば、ユーザが「喜」に対応する操作をした場合、タッチパネル118は、感情補助情報「喜」を示すセンサ信号を、制御部130に出力する。また、感情補助情報「怒」「哀」「楽」に対応する操作が行われた場合ついても同様に、タッチパネル118は、対応するセンサ信号を出力する。
【0017】
ジャイロセンサ119は、自装置の角度及び角速度を検出し、検出した角度及び角速度に応じたセンサ信号を、制御部130に出力する。ジャイロセンサ119は、例えば、自装置の角度及び角速度から自装置の方向を10段階で検出する。
【0018】
制御部130は、電子機器100を統括して制御し、算出部131と、選択部132と、更新部133とを含んで構成される。算出部131は、撮像部116が被写体を撮像すると、センサ部110から入力されたセンサ信号に基づき、ユーザの感情状態を表すスコアを算出する。スコアの算出方法は後述する。そして、算出部131は、算出したスコアを撮像スコアとし、撮像部116により撮像された画像データと対応付けて記憶部140に書き込む。また、算出部131は、記憶部140に記憶された画像データが表示部160に表示されると、センサ部110から入力されたセンサ信号に基づきスコアを算出し、算出したスコアを表示スコアとし、表示された画像データと対応付けて記憶部140に書き込む。また、算出部131は、1日におけるスコアの平均値を算出し、算出したスコアを日付スコアとし、日付と対応付けて記憶部140に記憶する。また、算出部131は、位置検出部180により検出された場所(位置)毎にスコアを算出し、算出したスコアを場所スコアとし、各場所と対応付けて記憶部140に記憶する。
【0019】
以下、スコアの算出方法について説明する。算出部131は、入力されたセンサ信号のレベルに、検出された物理量の種別毎の係数を乗算することで、スコアを算出する。ここで、係数は、物理量の種別毎に予め定められているものとする。スコアは、値が大きいほどユーザの感情が良く(喜び、楽しみ)、値が小さいほどユーザの感情が悪い(怒り、哀しみ)ことを表す。
【0020】
例えば、算出部131は、加速度に応じたセンサ信号のレベルに、検出された加速度に対応する予め定められた係数を乗算する。また、算出部131は、振動の周期に応じたセンサ信号のレベルに、検出された振動の周期に対応する予め定められた係数を乗算する。
圧力、温度、湿度、及び音量についても、同様である。
【0021】
また、算出部131は、感情補助情報をタッチパネル118から取得する。また、算出部131は、感情補助情報を画像解析部117から取得する。算出部131は、画像解析部117及びタッチパネル118の少なくとも一方から感情補助情報を取得した場合、取得した感情補助情報をスコアに変換する。例えば、算出部131は、感情補助情報に対応するスコアを記憶するテーブルを保持し、このテーブルから取得した感情補助情報に対応するスコアを読み出す。一方、画像解析部117及びタッチパネル118のいずれからも感情補助情報を取得していない場合、算出部131は、センサ部110のマイク115が検出した音声の周波数に基づいて感情補助情報を判定し、判定した感情補助情報をスコアに変換する。ここで、算出部131は、音声の周波数に基づいて、ユーザの音声が、笑い声(喜び、楽しみ)・嗚咽(哀しみ)・慟哭(怒り)のいずれであるかを判定する。
【0022】
具体的には、ユーザが男性である場合、算出部131は、例えば、音声の周波数が100[Hz]未満であれば「嗚咽」、音声の周波数が100[Hz]以上350[Hz]未満であれば「慟哭」、音声の周波数が350[Hz]以上であれば「笑い声」と判定する。一方、ユーザが女性である場合、算出部131は、例えば、音声の周波数が250[Hz]未満であれば「嗚咽」、音声の周波数が250[Hz]以上500[Hz]未満であれば「慟哭」、音声の周波数が500[Hz]以上であれば「笑い声」と判定する。
【0023】
選択部132は、記憶部140に記憶されたスコアに基づいて画像データを選択する。選択部132における画像選択処理の詳細については後述する。更新部133は、選択部132により画像データが選択されたときに、算出部131により算出されたスコアに基づいて、各スコアの重みを更新するフィードバック処理を行う。更新部133におけるフィードバック処理の詳細については後述する。
【0024】
通信部120は、他の電子機器100と無線通信する。また、通信部(送信部)120は、選択部132により選択された画像データを他の電子機器100に送信する。また、通信部(受信部)120は、他の電子機器100から画像データに対応するスコアを受信する。記憶部140は、画像データに対応するスコアを示すスコアテーブルと、日付に対応するスコアを示す日付スコアテーブルと、場所に対応するスコアを示す場所スコアテーブルと、誕生日等のイベントに対応するスコアを示すイベントスコアテーブルと、各スコアに対する重みを示す重みテーブルと、画像選択処理時の重みの履歴を示す重み履歴テーブルとを記憶する。各テーブルの詳細については後述する。
【0025】
電源部150は、各部に電力を供給する。表示部160は、液晶表示器等の表示装置であり、その表示面にタッチパネル118が設置されている。また、表示部160は、画像データを表示する。計時部170は、年月日及び時刻を計時する。位置検出部180は、例えばGPS(Global Positioning System)等を搭載し、電子機器100の場所(位置)を検出する。
【0026】
次に、記憶部140が記憶する各種テーブルについて説明する。
図2は、本実施形態による記憶部140が記憶するスコアテーブルのデータ構造及びデータ例を示す概略図である。図示するように、スコアテーブルは、行と列からなる2次元の表形式のデータであり、画像データと、撮像日付と、撮像場所と、撮像スコアと、表示スコアとの各項目の列を有している。このテーブルの各行は画像データ毎に存在する。画像データは、画像データを識別する識別情報であり、本実施形態ではファイル名である。撮像日付は、画像データが撮像された日付(年月日)である。撮像場所は、画像データが撮像された場所である。撮像スコアは、画像データを撮像したときのスコアである。表示スコアは、画像データを表示したときのスコアである。
図に示す例では、画像データ「a1.jpg」に対応する撮像日付は「2011/01/01」であり、撮像場所は「場所X」であり、撮像スコアは「90」であり、表示スコアは「70」である。また、画像データ「a2.jpg」に対応する撮像日付は「2011/01/02」であり、撮像場所は「場所Y」であり、撮像スコアは「80」であり、表示スコアは「50」である。
【0027】
図3は、本実施形態による記憶部140が記憶する日付スコアテーブルのデータ構造及びデータ例を示す概略図である。図示するように、日付スコアテーブルは、行と列からなる2次元の表形式のデータであり、日付(年月日)と、日付スコアとの各項目の列を有している。このテーブルの各行は日付毎に存在する。日付スコアは、1日におけるスコアの平均値である。図に示す例では、日付「2011/01/01」に対応する日付スコアは「50」である。
【0028】
図4は、本実施形態による記憶部140が記憶する場所スコアテーブルのデータ構造及びデータ例を示す概略図である。図示するように、場所スコアテーブルは、行と列からなる2次元の表形式のデータであり、場所と、場所スコアとの各項目の列を有している。このテーブルの各行は日付毎に存在する。場所スコアは、各場所におけるスコアである。図に示す例では、場所「場所X」に対応する場所スコアは「30」である。
【0029】
図5は、本実施形態による記憶部140が記憶するイベントスコアテーブルのデータ構造及びデータ例を示す概略図である。図示するように、イベントスコアテーブルは、行と列からなる2次元の表形式のデータであり、イベントと、日付と、イベントスコアとの各項目の列を有している。このテーブルの各行はイベント毎に存在する。イベントは、ユーザの誕生日等、ユーザが予め設定したイベントである。日付は、イベントの日付(年月日)である。イベントスコアは、イベントの日付(月日)における日付スコアの平均値である。図に示す例では、イベント「ユーザBの誕生日」に対応する日付は「2000/01/01」であり、イベントスコアは2000年から2011年における1月1日の日付スコアの平均値「90」である。
【0030】
図6は、本実施形態による記憶部140が記憶する重みテーブルのデータ構造及びデータ例を示す概略図である。図示するように、重みテーブルは、行と列からなる2次元の表形式のデータであり、評価パラメータと、重みとの各項目の列を有している。このテーブルの各行は評価パラメータ毎に存在する。評価パラメータは、選択部132が画像データを選択する際に用いるスコアの種別である。重みは、評価パラメータに対応する重みである。図に示す例では、評価パラメータ「撮影時スコア」に対応する重みは「1」であり、評価パラメータ「表示スコア」に対応する重みは「1」であり、評価パラメータ「日付スコア」に対応する重みは「2」であり、評価パラメータ「場所スコア」に対応する重みは「1」である。
【0031】
図7は、本実施形態による記憶部140が記憶する重み履歴テーブルのデータ構造及びデータ例を示す概略図である。図示するように、重み履歴テーブルは、行と列からなる2次元の表形式のデータであり、日時と、スコアと、重みの組合せとの各項目の列を有している。このテーブルの各行は日時毎に存在する。日時は、後述する画像選択表示処理が行われた年月日時である。スコアは、画像選択表示処理が行われたときのスコアである。重みの組合せは、画像選択表示処理が行われたときに用いられた各評価パラメータの重みである。図示する例では、「2011/01/01 12:24」に行われた画像選択表示処理時のスコアは「20」であり、重みの組合せは「撮像スコアの重みw1=1,表示スコアw2=2,日付スコアw3=1,場所スコアw4=1」である。「2011/01/01 15:00」に行われた画像選択表示処理時のスコアは「70」であり、重みの組合せは「撮像スコアの重みw1=1,表示スコアw2=1,日付スコアw3=2,場所スコアw4=1」である。
【0032】
次に、図8を参照して、電子機器100による撮像スコア算出処理について説明する。図8は、本実施形態による撮像スコア算出処理の手順を示すフローチャートである。
タッチパネル118を介してユーザから撮像指示が入力されると、まず、ステップS101において、撮像部116が、被写体を撮像し画像データを生成する。制御部130は、撮像部116により生成された画像データを記憶部140に書き込む。
次に、ステップS102において、算出部131が、センサ部110から入力されたセンサ信号に基づきスコアを算出し、算出したスコアを撮像スコアとする。また、算出部131は、計時部170から現在の日付(月月日)を取得し、取得した日付を撮像日付とする。また、算出部131は、位置検出部180から現在の場所を取得し、取得した場所を撮像場所とする。
最後に、ステップS103において、算出部131は、算出した撮像スコアと、取得した撮像日付と、取得した撮像場所と、撮像された画像データとを対応付けてスコアテーブルに書き込む。
【0033】
次に、図9を参照して、電子機器100による表示スコア算出処理について説明する。図9は、本実施形態による表示スコア算出処理の手順を示すフローチャートである。
タッチパネル118を介してユーザから画像データの表示指示が入力されると、まず、ステップS201において、制御部130は、ユーザにより選択された画像データを記憶部140から読み出し、読み出した画像データを表示部160に表示する。
次に、ステップS202において、算出部131が、センサ部110から入力されたセンサ信号に基づきスコアを算出し、算出したスコアを表示スコアとする。
最後に、ステップS203において、算出部131は、算出した表示スコアを、表示した画像データに対応付けてスコアテーブルに書き込む。ただし、算出部131は、表示した画像データの表示スコアが既にスコアテーブルに設定されている場合には、既に設定されている表示スコアと算出した表示スコアとの平均値を算出し、算出した平均値を表示した画像データに対応する表示スコアとしてスコアテーブルに書き込む。
【0034】
次に、図10を参照して、電子機器100による画像選択表示処理について説明する。図10は、本実施形態による画像選択表示処理の手順を示すフローチャートである。
タッチパネル118を介してユーザから、複数枚の画像データを自動で選択して表示する選択表示指示が入力されると、まず、ステップS301において、選択部132は、計時部170から本日の日付を取得し、取得した日付(月日)に合致するイベントがイベントテーブルに存在するか否かを判定する。合致するイベントがある場合にはステップS302へ移行し、合致するイベントがない場合にはステップS304へ移行する。
【0035】
次に、ステップS302において、選択部132は、本日の日付と合致するイベントのイベントスコアが所定の閾値αより大きいか否かを判定する。イベントスコアが閾値αより大きい場合はステップS303へ移行し、イベントスコアが閾値α以下の場合はステップS304へ移行する。
【0036】
次に、ステップS303において、選択部132は、本日の日付と合致するイベント(例えば、ユーザBの誕生日)を評価パラメータとする。このとき、イベント(ユーザBの誕生日)の重みw5を他の評価パラメータの重みより重く(大きく)する。
【0037】
次に、ステップS304において、選択部132は、各評価パラメータのスコアsiと重みwiに基づいて、各画像データの評価値を算出する。具体的には、選択部132は、次の式(1)により各画像データの評価値Pを算出する。
【0038】
【数1】
【0039】
ただし、nは、評価パラメータの数である。また、s1は、撮像スコアであり、s2は、表示スコアであり、s3は、撮像日付における日付スコアであり、s4は、撮像場所における場所スコアである。また、w1は、撮像スコアの重みであり、w2は、表示スコアの重みであり、w3は、日付スコアの重みであり、w4は、場所スコアの重みである。ここで、選択部132は、イベント(例えば、ユーザBの誕生日)が評価パラメータである場合は、撮像日付(月日)がイベントの日付「01/01」と一致する画像データについてはs5=イベントスコア「90」とし、撮像日付(月日)がイベントの日付「01/01」と一致しない画像データについてはs5=0とする。
【0040】
続いて、ステップS305において、選択部132は、評価値の大きい順に画像データを所定枚数(例えば、9枚)選択する。
そして、ステップS306において、選択部132は、選択した複数枚の画像データを表示部160に表示する。このとき、選択部132は、例えば、スライドショーにて選択した画像データを順に表示する。
【0041】
最後に、ステップS307において、更新部133が、フィードバック処理を行う。具体的には、まず、算出部131が、センサ部110からのセンサ信号に基づきスコアを算出する。次に、算出部131は、現在の日時と、算出したスコアと、重みテーブルにおける各評価パラメータの重みとを対応付けて重み履歴テーブルに書き込む。次に、更新部133が、算出部131により算出されたスコアに基づいて、重みテーブルにおける各評価パラメータの重みを更新する。例えば、更新部133は、算出したスコアが所定値より小さい場合には、重み履歴テーブルからスコアの大きい重みの組合せを読み出し、読み出した重みの組合せを重みテーブルにおける各評価パラメータの重みとする。一方、更新部133は、算出したスコアが所定値より大きい場合には評価パラメータの重みを変更しない。
【0042】
なお、上述した画像選択表示処理において、現在の場所を考慮して画像データを選択してもよい。例えば、選択部132は、位置検出部180から電子機器100の現在いる場所を取得し、取得した場所に対応する場所スコアを場所スコアテーブルから読み出す。そして、選択部132は、読み出した場所スコアが所定値より大きい場合に、場所スコアの重みを重くする。或いは、選択部132は、読み出した場所スコアが所定値より大きい場合は、現在いる場所を評価パラメータに追加してもよい。
【0043】
このように、本実施形態によれば、電子機器100は、ユーザの感情状態を表すスコアに基づいて、画像データを自動的に選択して表示する。これにより、ユーザは、自ら選択することなく、簡単な操作で好む画像データを自動で選択して表示することができる。
また、複数枚の画像データを自動で選択したときのスコアに基づいて、各評価パラメータの重みを更新しているため、電子機器100は、より精度良くユーザの好みに応じた画像データを選択することができる。
【0044】
以下、本実施形態に係る電子機器100を用いた画像選択システムについて、実施例を挙げて説明する。
【実施例1】
【0045】
本実施例における画像選択システムは、複数台の電子機器100を含んで構成される。
以下、説明の便宜を図るため、2台の電子機器100のそれぞれに対しA,Bの符号を割り当て、電子機器100A、電子機器100Bと記す。なお、電子機器100A及び電子機器100Bに共通する事項については、A,Bの符号を省略し、単に「電子機器100」又は「各電子機器100」と記す。
【0046】
図11は、本実施例による画像受信処理の動作を示すシーケンス図である。
タッチパネル118を介してユーザから画像データを送信する操作がされると、まず、ステップS401において、電子機器100Aの制御部130は、ユーザが選択した画像データを記憶部140から読み出し、読み出した画像データを電子機器100Bへ通信部120を介して送信する。電子機器100Bの制御部130は、電子機器100Aから通信部120を介して画像データを受信すると、受信した画像データを記憶部140に記憶する。
【0047】
そして、ステップS402において、電子機器100Bの算出部131が、センサ部110からのセンサ信号に基づいてスコアを算出し、算出したスコアを表示スコアとする。
最後に、ステップS403において、電子機器100Bの算出部131は、表示スコアを受信した画像データに対応付けてスコアテーブルに書き込む。
【0048】
図12は、本実施例による画像表示処理の動作を示すシーケンス図である。
タッチパネル118を介してユーザから選択表示指示が入力されると、まず、ステップS501において、電子機器100Aの制御部130は、通信部120を介して通信可能な他の電子機器100Bに対して、スコアを要求するデータであるスコア要求を送信する。
ステップS502において、電子機器100Bの制御部130は、通信部120を介してスコア要求を受信すると、記憶部140からスコアを読み出し、読み出したスコアを電子機器100Aに送信する。ここで送信するスコアは、各画像データの撮像スコア及び表示スコアと、各日付の日付スコアと、各場所の場所スコアと、各イベントのイベントスコアである。
【0049】
ステップS503において、電子機器100Aの算出部131は、通信部120を介して電子機器100Bからスコアを受信すると、電子機器100Bから受信した各スコアと、記憶部140に記憶されている各スコアとの合計値(合計スコア)を夫々算出する。具体的には、算出部131は、電子機器100Aの撮像スコアと電子機器100Bの撮影時スコアとの合計値を画像データ毎に算出する。また、算出部131は、電子機器100Aの表示スコアと電子機器100Bの表示スコアとの合計値を画像データ毎に算出する。また、算出部131は、電子機器100Aの日付スコアと電子機器100Bの日付スコアとの合計値を日付毎に算出する。また、算出部131は、電子機器100Aの場所スコアと電子機器100Bの場所スコアとの合計値を場所毎に算出する。また、制御部130は、電子機器100Aのイベントスコアと電子機器100Bのイベントスコアとの合計値をイベント毎に算出する。
そして、ステップS504において、電子機器100Aの選択部132が、算出した合計スコアに基づいて、画像選択表示処理を行う。画像選択表示処理は、図10に示す処理と同様である。
【0050】
なお、本実施例では2台の電子機器100間でスコアを合計する場合を説明したが、3台以上の電子機器100間でスコアを合計してもよい。
【0051】
このように、本実施例によれば、電子機器100は、複数台の電子機器100におけるスコアを合計し、合計したスコアに基づき画像データを選択する。これにより、複数のユーザ(電子機器100AのユーザAと電子機器100BのユーザB双方)の好む画像データを自動的に選択して表示することができる。すなわち、電子機器100は複数のユーザの関係性に基づき画像データを自動で選択することができる。
【実施例2】
【0052】
次に、実施例2について説明する。実施例2は、実施例1の変形例である。
図13は、本実施例による画像選択システムの構成を示すブロック図である。
本実施例おける画像選択システムは、複数台の電子機器100と、コルクボード200とを含んで構成される。コルクボード200は、複数台の電子機器100から構成される。本実施例における、コルクボード200は、9台の電子機器100をタイル状に縦3×横3に並べて1つのディスプレイ(表示装置)とする。
本実施例では、コルクボード200はレストランに設置されており、電子機器100AのユーザAと電子機器100BのユーザBはレストランの来客であり、本日はユーザBの誕生日である場合を例に説明する。
【0053】
図14は、本実施例による画像表示処理の動作を示すシーケンス図である。
タッチパネル118を介してユーザAから、複数枚の画像データを自動で選択して送信する選択送信指示が入力されると、まず、ステップS601において、電子機器100Aの制御部130は、通信部120を介して通信可能な他の電子機器100Bに対してスコア要求を送信する。
ステップS602において、電子機器100Bの制御部130は、通信部120を介してスコア要求を受信すると、記憶部140からスコアを読み出し、読み出したスコアを電子機器100Aに送信する。
【0054】
ステップS603において、電子機器100Aの算出部131は、電子機器100Bからスコアを受信すると、電子機器100Bから受信した各スコアと、記憶部140に記憶されている各スコアとの合計値(合計スコア)を夫々算出する。
そして、ステップS604において、電子機器100Aの選択部132が、算出した合計スコアに基づいて、画像選択処理により9枚の画像データを選択する。画像選択処理は、図10に示すステップS301からS305までの処理と同様である。
【0055】
次に、ステップS605において、電子機器100Aの選択部132は、選択した9枚の画像データと、画像選択処理時に用いた評価パラメータと、各評価パラメータの重みと、電子機器100Bのアドレスとを通信部120を介してコルクボード200に送信する。
ステップS606において、コルクボード200は、9枚の画像データを受信すると、コルクボード200を構成する各電子機器100に、受信した9枚の画像データを夫々表示する。
【0056】
次に、ステップS607において、コルクボード200は、受信した評価パラメータにイベントが含まれるか否かを判定する。評価パラメータにイベントが含まれる場合にはステップS608へ進む。一方、評価パラメータにイベントが含まれない場合には処理を終了する。
【0057】
評価パラメータにイベントが含まれる場合には、ステップS608において、コルクボード200は、そのイベントに応じたメッセージを表示する。本例では、評価パラメータに含まれるイベントが「ユーザBの誕生日」であるため、コルクボード200は、メッセージ「誕生日おめでとう」を表示する。
そして、ステップS609において、コルクボード200は、ユーザBの電子機器100Bにプレゼントメッセージ「お店からプレゼントがあります。受け取りますか?」を送信する。
【0058】
ユーザBが電子機器100Bにおいてプレゼントを受取る操作を行うと、電子機器100Bは、プレゼントを受取るためのデータをレストランに設置された端末に送信する。端末は、プレゼントを受取るためのデータを受信したことをレストランの店員に報知する。そのデータを確認した店員は、ユーザBにレストランからのプレゼントを贈る。
【0059】
このように、本実施例によれば、ユーザAは、ユーザAとユーザB双方の好む画像データを自ら選択することなくコルクボード200に表示することができる。また、コルクボード200は、電子機器100Aから受信した評価パラメータに基づき処理(メッセージの表示及びプレゼントメッセージの送信)を行うため、ユーザAとユーザBの関係性に基づく様々なサービスを提供することができる。
【実施例3】
【0060】
次に、実施例3について説明する。
本実施例による画像選択システムは、1台以上の電子機器100とコルクボード200を含んで構成される。本実施例におけるコルクボード200は、電子広告を行うデジタルサイネージである。
【0061】
図15は、本実施例による画像表示処理の動作を示すシーケンス図である。
まず、ステップS701において、タッチパネル118を介してユーザから選択送信指示が入力されると、電子機器100の選択部132が、画像選択処理により9枚の画像データを選択する。画像選択処理は、図10に示すステップS301からS305までの処理と同様である。
次に、ステップS702において、電子機器100の選択部132は、選択した9枚の画像データと、画像選択処理時に用いた評価パラメータと、各評価パラメータの重みと、選択した画像データの情報(例えば、撮像場所、撮像日時等)をコルクボード200に送信する。
ステップS703において、コルクボード200は、9枚の画像データを受信すると、コルクボード200を構成する各電子機器100に、受信した9枚の画像データを夫々表示する。
【0062】
次に、ステップS704において、コルクボード200は、受信した画像データを解析する。具体的には、コルクボード200は、パターンマッチングにより、画像データにおける被写体の状況(例えば、サッカーをしている、特定の人物が写っている等)を解析する。
次に、ステップS705において、コルクボード200は、受信した評価パラメータを解析する。例えば、コルクボード200は、評価パラメータ「場所スコア」の重みが重い場合には、受信した画像データの撮像場所(例えば、撮像場所=「イタリア」)を解析結果とする。
そして、ステップS706において、コルクボード200は、画像データ及び評価パラメータの解析結果に基づいて広告データを選択する。広告データは、予めコルクボード200に記憶されている。例えば、コルクボード200は、画像データの解析結果が「サッカーをしている」であり、評価パラメータの解析結果が「撮像場所=イタリア」である場合には、イタリア旅行の広告データを選択する。
最後に、ステップS707において、コルクボード200は、選択した広告データを電子機器100に送信する。
【0063】
このように、本実施例によれば、電子機器100のユーザは、自ら選択することなくコルクボード200に自身の好む画像データを表示することができる。また、コルクボード200は、電子機器100から受信した評価パラメータに基づき広告を選択しているため、電子機器100のユーザに応じた広告を提供することができる。
【0064】
以上、図面を参照してこの発明の一実施形態について詳しく説明してきたが、具体的な構成は上述のものに限られることはなく、この発明の要旨を逸脱しない範囲内において様々な設計変更等をすることが可能である。
【符号の説明】
【0065】
100…電子機器、110…センサ部、111…加速度センサ、112…感圧センサ、113…温度センサ、114…湿度センサ、115…マイク、116…撮像部、117…画像解析部、118…タッチパネル、119…ジャイロセンサ、120…通信部、130…制御部、131…算出部、132…選択部、140…記憶部、150…電源部、160…表示部、170…計時部、180…位置検出部
【技術分野】
【0001】
本発明は、電子機器、画像表示システム及び画像選択方法に関する。
【背景技術】
【0002】
現在、リアルタイムカメラを用いて男女・年代などのカテゴリを判別し、判別したカテゴリに応じた画像を表示するデジタルサイネージ(電子看板)がある。また、特許文献1には、複数の小型デバイスをタイル上に並べて1つのディスプレイとするディスプレイシステムが記載されている。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開平11−134087号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、従来のデジタルサイネージでは、各ユーザ夫々の好みに応じた画像を表示することはできない、という問題がある。
本発明は上記の点に鑑みてなされたものであり、その目的は、ユーザの好む画像を自動で選択することができる電子機器、画像表示システム及び画像選択方法を提供することにある。
【課題を解決するための手段】
【0005】
本発明は上記の課題を解決するためになされたものであり、本発明の一態様は、被写体を撮像し画像データを生成する撮像部と、ユーザから与えられた物理量を検出するセンサ部と、前記センサ部により検出された物理量と前記撮像部により生成された画像データとに基づいて、ユーザの感情状態を表すスコアを算出する算出部と、前記撮像部により生成された画像データと前記算出部により算出されたスコアとを対応付けて記憶する記憶部と、前記記憶部に記憶されたスコアに基づいて画像データを選択する選択部と、を備えることを特徴とする電子機器である。
【発明の効果】
【0006】
本発明によれば、ユーザの好む画像を自動で選択することができる。
【図面の簡単な説明】
【0007】
【図1】本発明の一実施形態による電子機器の機能構成を示すブロック図である。
【図2】本実施形態による記憶部が記憶するスコアテーブルのデータ構造及びデータ例を示す概略図である。
【図3】本実施形態による記憶部が記憶する日付スコアテーブルのデータ構造及びデータ例を示す概略図である。
【図4】本実施形態による記憶部が記憶する場所スコアテーブルのデータ構造及びデータ例を示す概略図である。
【図5】本実施形態による記憶部が記憶するイベントスコアテーブルのデータ構造及びデータ例を示す概略図である。
【図6】本実施形態による記憶部が記憶する重みテーブルのデータ構造及びデータ例を示す概略図である。
【図7】本実施形態による記憶部が記憶する重み履歴テーブルのデータ構造及びデータ例を示す概略図である。
【図8】本実施形態による撮像スコア算出処理の手順を示すフローチャートである。
【図9】本実施形態による表示スコア算出処理の手順を示すフローチャートである。
【図10】本実施形態による画像選択表示処理の手順を示すフローチャートである。
【図11】実施例1による画像受信処理の動作を示すシーケンス図である。
【図12】実施例1による画像表示処理の動作を示すシーケンス図である。
【図13】実施例2による画像選択システムの構成を示すブロック図である。
【図14】実施例2による画像表示処理の動作を示すシーケンス図である。
【図15】実施例3による画像表示処理の動作を示すシーケンス図である。
【発明を実施するための形態】
【0008】
以下、図面を参照しながら本発明の一実施形態について詳しく説明する。
図1は、本発明の一実施形態による電子機器100の機能構成を示すブロック図である。
電子機器100は、例えば携帯電話機、PDA(Personal Digital Assistant)、スマートフォン、ゲーム機器、デジタルカメラ等の携帯端末である。本図に示すとおり、本実施形態による電子機器100は、センサ部110と、通信部120と、制御部130と、記憶部140と、電源部150と、表示部160と、計時部170と、位置検出部180とを含んで構成される。
【0009】
センサ部110は、ユーザが自装置に与えた物理量を各種センサにより検出し、検出した物理量の種別毎に、センサ信号を出力する。センサ部110は、加速度センサ111と、感圧センサ112と、温度センサ113と、湿度センサ114と、マイク115と、撮像部116と、画像解析部117と、タッチパネル118と、ジャイロセンサ119とを含んで構成される。
【0010】
加速度センサ111は、ユーザが自装置に与えた打撃又は振動などによる加速度を検出し、検出した加速度に応じたセンサ信号を、制御部130に出力する。加速度センサ111は、例えば、0.0[G]から2.0[G]まで、0.2[G]間隔(10段階(レベル))で加速度を検出する。また、加速度センサ111は、ユーザが自装置に与えた振動の周期を、検出した加速度に基づいて算出してもよい。加速度センサ111は、例えば、0[Hz]から20[Hz]まで、2[Hz]間隔(10段階)で、振動の周期(周波数)を算出する。また、加速度センサ111は、ユーザが自装置に振動を与え続けた時間の長さを、検出した加速度に基づいて算出してもよい。加速度センサ111は、例えば、0[秒]から5[秒]まで、1[秒]間隔(5段階)で、ユーザが自装置に振動を与え続けた時間の長さを算出する。
【0011】
感圧センサ112は、ユーザが自装置に加えた圧力(例えば、筐体を把持する力による圧力)を検出し、検出した圧力に応じたセンサ信号を、制御部130に出力する。感圧センサ112は、例えば、ユーザが自装置に加えた圧力を、5[Pa]毎に10段階で検出する。
【0012】
温度センサ113は、ユーザが自装置に与えた温度(例えば、筐体を把持する掌の温度)を検出し、検出した温度に応じたセンサ信号を、制御部130に出力する。温度センサ113は、例えば、ユーザが自装置に与えた温度を、摂氏35[度]から0.2[度]毎に、10段階で検出する。
【0013】
湿度センサ114は、ユーザが自装置に与えた湿度(例えば、筐体を把持する掌の水分量)を検出し、検出した湿度に応じたセンサ信号を、制御部130に出力する。湿度センサ114は、例えば、ユーザが自装置に与えた湿度を、0[%]から100[%]まで、10[%]間隔(10段階)で検出する。
【0014】
マイク115は、ユーザが自装置に伝えた音(例えば、ユーザの音声の周波数及び音量)を検出し、検出した音に応じたセンサ信号を、制御部130に出力する。例えば、マイク115は、音声が続いた時間の長さに応じたセンサ信号を出力する。ここで、例えば、マイク115は、ユーザの音声が続いた時間の長さを、0[秒]から5[秒]まで、1[秒]間隔(5段階)で検出し、検出した音声が続いた時間の長さに応じたセンサ信号を出力する。
【0015】
撮像部116は、光学像(被写体)を撮像して画像データを生成し、生成した画像データを制御部130と画像解析部117とに出力する。
画像解析部117は、入力された画像データに人の顔が含まれている場合に、その画像データに対して、パターンマッチングを実行する。そして、画像解析部117は、パターンマッチングを実行した画像データを、ユーザの感情状態を表す補助情報である感情補助情報「喜」「怒」「哀」「楽」のいずれか1つ以上に対応させる。例えば、画像解析部117は、パターンマッチングを実行した結果、ユーザの顔が笑顔であると判定した場合、ユーザの笑顔が撮像された画像データを、感情補助情報「喜」及び「楽」に対応させる。画像解析部117は、感情補助情報に対応させて、ユーザの顔が撮像された画像データを制御部130に出力する。
【0016】
タッチパネル118は、表示部160上に設置され、ユーザからの操作入力を受け付ける。ここで、感情補助情報「喜」「怒」「哀」「楽」にそれぞれ対応するユーザ操作があらかじめ記憶されている。例えば、ユーザが「喜」に対応する操作をした場合、タッチパネル118は、感情補助情報「喜」を示すセンサ信号を、制御部130に出力する。また、感情補助情報「怒」「哀」「楽」に対応する操作が行われた場合ついても同様に、タッチパネル118は、対応するセンサ信号を出力する。
【0017】
ジャイロセンサ119は、自装置の角度及び角速度を検出し、検出した角度及び角速度に応じたセンサ信号を、制御部130に出力する。ジャイロセンサ119は、例えば、自装置の角度及び角速度から自装置の方向を10段階で検出する。
【0018】
制御部130は、電子機器100を統括して制御し、算出部131と、選択部132と、更新部133とを含んで構成される。算出部131は、撮像部116が被写体を撮像すると、センサ部110から入力されたセンサ信号に基づき、ユーザの感情状態を表すスコアを算出する。スコアの算出方法は後述する。そして、算出部131は、算出したスコアを撮像スコアとし、撮像部116により撮像された画像データと対応付けて記憶部140に書き込む。また、算出部131は、記憶部140に記憶された画像データが表示部160に表示されると、センサ部110から入力されたセンサ信号に基づきスコアを算出し、算出したスコアを表示スコアとし、表示された画像データと対応付けて記憶部140に書き込む。また、算出部131は、1日におけるスコアの平均値を算出し、算出したスコアを日付スコアとし、日付と対応付けて記憶部140に記憶する。また、算出部131は、位置検出部180により検出された場所(位置)毎にスコアを算出し、算出したスコアを場所スコアとし、各場所と対応付けて記憶部140に記憶する。
【0019】
以下、スコアの算出方法について説明する。算出部131は、入力されたセンサ信号のレベルに、検出された物理量の種別毎の係数を乗算することで、スコアを算出する。ここで、係数は、物理量の種別毎に予め定められているものとする。スコアは、値が大きいほどユーザの感情が良く(喜び、楽しみ)、値が小さいほどユーザの感情が悪い(怒り、哀しみ)ことを表す。
【0020】
例えば、算出部131は、加速度に応じたセンサ信号のレベルに、検出された加速度に対応する予め定められた係数を乗算する。また、算出部131は、振動の周期に応じたセンサ信号のレベルに、検出された振動の周期に対応する予め定められた係数を乗算する。
圧力、温度、湿度、及び音量についても、同様である。
【0021】
また、算出部131は、感情補助情報をタッチパネル118から取得する。また、算出部131は、感情補助情報を画像解析部117から取得する。算出部131は、画像解析部117及びタッチパネル118の少なくとも一方から感情補助情報を取得した場合、取得した感情補助情報をスコアに変換する。例えば、算出部131は、感情補助情報に対応するスコアを記憶するテーブルを保持し、このテーブルから取得した感情補助情報に対応するスコアを読み出す。一方、画像解析部117及びタッチパネル118のいずれからも感情補助情報を取得していない場合、算出部131は、センサ部110のマイク115が検出した音声の周波数に基づいて感情補助情報を判定し、判定した感情補助情報をスコアに変換する。ここで、算出部131は、音声の周波数に基づいて、ユーザの音声が、笑い声(喜び、楽しみ)・嗚咽(哀しみ)・慟哭(怒り)のいずれであるかを判定する。
【0022】
具体的には、ユーザが男性である場合、算出部131は、例えば、音声の周波数が100[Hz]未満であれば「嗚咽」、音声の周波数が100[Hz]以上350[Hz]未満であれば「慟哭」、音声の周波数が350[Hz]以上であれば「笑い声」と判定する。一方、ユーザが女性である場合、算出部131は、例えば、音声の周波数が250[Hz]未満であれば「嗚咽」、音声の周波数が250[Hz]以上500[Hz]未満であれば「慟哭」、音声の周波数が500[Hz]以上であれば「笑い声」と判定する。
【0023】
選択部132は、記憶部140に記憶されたスコアに基づいて画像データを選択する。選択部132における画像選択処理の詳細については後述する。更新部133は、選択部132により画像データが選択されたときに、算出部131により算出されたスコアに基づいて、各スコアの重みを更新するフィードバック処理を行う。更新部133におけるフィードバック処理の詳細については後述する。
【0024】
通信部120は、他の電子機器100と無線通信する。また、通信部(送信部)120は、選択部132により選択された画像データを他の電子機器100に送信する。また、通信部(受信部)120は、他の電子機器100から画像データに対応するスコアを受信する。記憶部140は、画像データに対応するスコアを示すスコアテーブルと、日付に対応するスコアを示す日付スコアテーブルと、場所に対応するスコアを示す場所スコアテーブルと、誕生日等のイベントに対応するスコアを示すイベントスコアテーブルと、各スコアに対する重みを示す重みテーブルと、画像選択処理時の重みの履歴を示す重み履歴テーブルとを記憶する。各テーブルの詳細については後述する。
【0025】
電源部150は、各部に電力を供給する。表示部160は、液晶表示器等の表示装置であり、その表示面にタッチパネル118が設置されている。また、表示部160は、画像データを表示する。計時部170は、年月日及び時刻を計時する。位置検出部180は、例えばGPS(Global Positioning System)等を搭載し、電子機器100の場所(位置)を検出する。
【0026】
次に、記憶部140が記憶する各種テーブルについて説明する。
図2は、本実施形態による記憶部140が記憶するスコアテーブルのデータ構造及びデータ例を示す概略図である。図示するように、スコアテーブルは、行と列からなる2次元の表形式のデータであり、画像データと、撮像日付と、撮像場所と、撮像スコアと、表示スコアとの各項目の列を有している。このテーブルの各行は画像データ毎に存在する。画像データは、画像データを識別する識別情報であり、本実施形態ではファイル名である。撮像日付は、画像データが撮像された日付(年月日)である。撮像場所は、画像データが撮像された場所である。撮像スコアは、画像データを撮像したときのスコアである。表示スコアは、画像データを表示したときのスコアである。
図に示す例では、画像データ「a1.jpg」に対応する撮像日付は「2011/01/01」であり、撮像場所は「場所X」であり、撮像スコアは「90」であり、表示スコアは「70」である。また、画像データ「a2.jpg」に対応する撮像日付は「2011/01/02」であり、撮像場所は「場所Y」であり、撮像スコアは「80」であり、表示スコアは「50」である。
【0027】
図3は、本実施形態による記憶部140が記憶する日付スコアテーブルのデータ構造及びデータ例を示す概略図である。図示するように、日付スコアテーブルは、行と列からなる2次元の表形式のデータであり、日付(年月日)と、日付スコアとの各項目の列を有している。このテーブルの各行は日付毎に存在する。日付スコアは、1日におけるスコアの平均値である。図に示す例では、日付「2011/01/01」に対応する日付スコアは「50」である。
【0028】
図4は、本実施形態による記憶部140が記憶する場所スコアテーブルのデータ構造及びデータ例を示す概略図である。図示するように、場所スコアテーブルは、行と列からなる2次元の表形式のデータであり、場所と、場所スコアとの各項目の列を有している。このテーブルの各行は日付毎に存在する。場所スコアは、各場所におけるスコアである。図に示す例では、場所「場所X」に対応する場所スコアは「30」である。
【0029】
図5は、本実施形態による記憶部140が記憶するイベントスコアテーブルのデータ構造及びデータ例を示す概略図である。図示するように、イベントスコアテーブルは、行と列からなる2次元の表形式のデータであり、イベントと、日付と、イベントスコアとの各項目の列を有している。このテーブルの各行はイベント毎に存在する。イベントは、ユーザの誕生日等、ユーザが予め設定したイベントである。日付は、イベントの日付(年月日)である。イベントスコアは、イベントの日付(月日)における日付スコアの平均値である。図に示す例では、イベント「ユーザBの誕生日」に対応する日付は「2000/01/01」であり、イベントスコアは2000年から2011年における1月1日の日付スコアの平均値「90」である。
【0030】
図6は、本実施形態による記憶部140が記憶する重みテーブルのデータ構造及びデータ例を示す概略図である。図示するように、重みテーブルは、行と列からなる2次元の表形式のデータであり、評価パラメータと、重みとの各項目の列を有している。このテーブルの各行は評価パラメータ毎に存在する。評価パラメータは、選択部132が画像データを選択する際に用いるスコアの種別である。重みは、評価パラメータに対応する重みである。図に示す例では、評価パラメータ「撮影時スコア」に対応する重みは「1」であり、評価パラメータ「表示スコア」に対応する重みは「1」であり、評価パラメータ「日付スコア」に対応する重みは「2」であり、評価パラメータ「場所スコア」に対応する重みは「1」である。
【0031】
図7は、本実施形態による記憶部140が記憶する重み履歴テーブルのデータ構造及びデータ例を示す概略図である。図示するように、重み履歴テーブルは、行と列からなる2次元の表形式のデータであり、日時と、スコアと、重みの組合せとの各項目の列を有している。このテーブルの各行は日時毎に存在する。日時は、後述する画像選択表示処理が行われた年月日時である。スコアは、画像選択表示処理が行われたときのスコアである。重みの組合せは、画像選択表示処理が行われたときに用いられた各評価パラメータの重みである。図示する例では、「2011/01/01 12:24」に行われた画像選択表示処理時のスコアは「20」であり、重みの組合せは「撮像スコアの重みw1=1,表示スコアw2=2,日付スコアw3=1,場所スコアw4=1」である。「2011/01/01 15:00」に行われた画像選択表示処理時のスコアは「70」であり、重みの組合せは「撮像スコアの重みw1=1,表示スコアw2=1,日付スコアw3=2,場所スコアw4=1」である。
【0032】
次に、図8を参照して、電子機器100による撮像スコア算出処理について説明する。図8は、本実施形態による撮像スコア算出処理の手順を示すフローチャートである。
タッチパネル118を介してユーザから撮像指示が入力されると、まず、ステップS101において、撮像部116が、被写体を撮像し画像データを生成する。制御部130は、撮像部116により生成された画像データを記憶部140に書き込む。
次に、ステップS102において、算出部131が、センサ部110から入力されたセンサ信号に基づきスコアを算出し、算出したスコアを撮像スコアとする。また、算出部131は、計時部170から現在の日付(月月日)を取得し、取得した日付を撮像日付とする。また、算出部131は、位置検出部180から現在の場所を取得し、取得した場所を撮像場所とする。
最後に、ステップS103において、算出部131は、算出した撮像スコアと、取得した撮像日付と、取得した撮像場所と、撮像された画像データとを対応付けてスコアテーブルに書き込む。
【0033】
次に、図9を参照して、電子機器100による表示スコア算出処理について説明する。図9は、本実施形態による表示スコア算出処理の手順を示すフローチャートである。
タッチパネル118を介してユーザから画像データの表示指示が入力されると、まず、ステップS201において、制御部130は、ユーザにより選択された画像データを記憶部140から読み出し、読み出した画像データを表示部160に表示する。
次に、ステップS202において、算出部131が、センサ部110から入力されたセンサ信号に基づきスコアを算出し、算出したスコアを表示スコアとする。
最後に、ステップS203において、算出部131は、算出した表示スコアを、表示した画像データに対応付けてスコアテーブルに書き込む。ただし、算出部131は、表示した画像データの表示スコアが既にスコアテーブルに設定されている場合には、既に設定されている表示スコアと算出した表示スコアとの平均値を算出し、算出した平均値を表示した画像データに対応する表示スコアとしてスコアテーブルに書き込む。
【0034】
次に、図10を参照して、電子機器100による画像選択表示処理について説明する。図10は、本実施形態による画像選択表示処理の手順を示すフローチャートである。
タッチパネル118を介してユーザから、複数枚の画像データを自動で選択して表示する選択表示指示が入力されると、まず、ステップS301において、選択部132は、計時部170から本日の日付を取得し、取得した日付(月日)に合致するイベントがイベントテーブルに存在するか否かを判定する。合致するイベントがある場合にはステップS302へ移行し、合致するイベントがない場合にはステップS304へ移行する。
【0035】
次に、ステップS302において、選択部132は、本日の日付と合致するイベントのイベントスコアが所定の閾値αより大きいか否かを判定する。イベントスコアが閾値αより大きい場合はステップS303へ移行し、イベントスコアが閾値α以下の場合はステップS304へ移行する。
【0036】
次に、ステップS303において、選択部132は、本日の日付と合致するイベント(例えば、ユーザBの誕生日)を評価パラメータとする。このとき、イベント(ユーザBの誕生日)の重みw5を他の評価パラメータの重みより重く(大きく)する。
【0037】
次に、ステップS304において、選択部132は、各評価パラメータのスコアsiと重みwiに基づいて、各画像データの評価値を算出する。具体的には、選択部132は、次の式(1)により各画像データの評価値Pを算出する。
【0038】
【数1】
【0039】
ただし、nは、評価パラメータの数である。また、s1は、撮像スコアであり、s2は、表示スコアであり、s3は、撮像日付における日付スコアであり、s4は、撮像場所における場所スコアである。また、w1は、撮像スコアの重みであり、w2は、表示スコアの重みであり、w3は、日付スコアの重みであり、w4は、場所スコアの重みである。ここで、選択部132は、イベント(例えば、ユーザBの誕生日)が評価パラメータである場合は、撮像日付(月日)がイベントの日付「01/01」と一致する画像データについてはs5=イベントスコア「90」とし、撮像日付(月日)がイベントの日付「01/01」と一致しない画像データについてはs5=0とする。
【0040】
続いて、ステップS305において、選択部132は、評価値の大きい順に画像データを所定枚数(例えば、9枚)選択する。
そして、ステップS306において、選択部132は、選択した複数枚の画像データを表示部160に表示する。このとき、選択部132は、例えば、スライドショーにて選択した画像データを順に表示する。
【0041】
最後に、ステップS307において、更新部133が、フィードバック処理を行う。具体的には、まず、算出部131が、センサ部110からのセンサ信号に基づきスコアを算出する。次に、算出部131は、現在の日時と、算出したスコアと、重みテーブルにおける各評価パラメータの重みとを対応付けて重み履歴テーブルに書き込む。次に、更新部133が、算出部131により算出されたスコアに基づいて、重みテーブルにおける各評価パラメータの重みを更新する。例えば、更新部133は、算出したスコアが所定値より小さい場合には、重み履歴テーブルからスコアの大きい重みの組合せを読み出し、読み出した重みの組合せを重みテーブルにおける各評価パラメータの重みとする。一方、更新部133は、算出したスコアが所定値より大きい場合には評価パラメータの重みを変更しない。
【0042】
なお、上述した画像選択表示処理において、現在の場所を考慮して画像データを選択してもよい。例えば、選択部132は、位置検出部180から電子機器100の現在いる場所を取得し、取得した場所に対応する場所スコアを場所スコアテーブルから読み出す。そして、選択部132は、読み出した場所スコアが所定値より大きい場合に、場所スコアの重みを重くする。或いは、選択部132は、読み出した場所スコアが所定値より大きい場合は、現在いる場所を評価パラメータに追加してもよい。
【0043】
このように、本実施形態によれば、電子機器100は、ユーザの感情状態を表すスコアに基づいて、画像データを自動的に選択して表示する。これにより、ユーザは、自ら選択することなく、簡単な操作で好む画像データを自動で選択して表示することができる。
また、複数枚の画像データを自動で選択したときのスコアに基づいて、各評価パラメータの重みを更新しているため、電子機器100は、より精度良くユーザの好みに応じた画像データを選択することができる。
【0044】
以下、本実施形態に係る電子機器100を用いた画像選択システムについて、実施例を挙げて説明する。
【実施例1】
【0045】
本実施例における画像選択システムは、複数台の電子機器100を含んで構成される。
以下、説明の便宜を図るため、2台の電子機器100のそれぞれに対しA,Bの符号を割り当て、電子機器100A、電子機器100Bと記す。なお、電子機器100A及び電子機器100Bに共通する事項については、A,Bの符号を省略し、単に「電子機器100」又は「各電子機器100」と記す。
【0046】
図11は、本実施例による画像受信処理の動作を示すシーケンス図である。
タッチパネル118を介してユーザから画像データを送信する操作がされると、まず、ステップS401において、電子機器100Aの制御部130は、ユーザが選択した画像データを記憶部140から読み出し、読み出した画像データを電子機器100Bへ通信部120を介して送信する。電子機器100Bの制御部130は、電子機器100Aから通信部120を介して画像データを受信すると、受信した画像データを記憶部140に記憶する。
【0047】
そして、ステップS402において、電子機器100Bの算出部131が、センサ部110からのセンサ信号に基づいてスコアを算出し、算出したスコアを表示スコアとする。
最後に、ステップS403において、電子機器100Bの算出部131は、表示スコアを受信した画像データに対応付けてスコアテーブルに書き込む。
【0048】
図12は、本実施例による画像表示処理の動作を示すシーケンス図である。
タッチパネル118を介してユーザから選択表示指示が入力されると、まず、ステップS501において、電子機器100Aの制御部130は、通信部120を介して通信可能な他の電子機器100Bに対して、スコアを要求するデータであるスコア要求を送信する。
ステップS502において、電子機器100Bの制御部130は、通信部120を介してスコア要求を受信すると、記憶部140からスコアを読み出し、読み出したスコアを電子機器100Aに送信する。ここで送信するスコアは、各画像データの撮像スコア及び表示スコアと、各日付の日付スコアと、各場所の場所スコアと、各イベントのイベントスコアである。
【0049】
ステップS503において、電子機器100Aの算出部131は、通信部120を介して電子機器100Bからスコアを受信すると、電子機器100Bから受信した各スコアと、記憶部140に記憶されている各スコアとの合計値(合計スコア)を夫々算出する。具体的には、算出部131は、電子機器100Aの撮像スコアと電子機器100Bの撮影時スコアとの合計値を画像データ毎に算出する。また、算出部131は、電子機器100Aの表示スコアと電子機器100Bの表示スコアとの合計値を画像データ毎に算出する。また、算出部131は、電子機器100Aの日付スコアと電子機器100Bの日付スコアとの合計値を日付毎に算出する。また、算出部131は、電子機器100Aの場所スコアと電子機器100Bの場所スコアとの合計値を場所毎に算出する。また、制御部130は、電子機器100Aのイベントスコアと電子機器100Bのイベントスコアとの合計値をイベント毎に算出する。
そして、ステップS504において、電子機器100Aの選択部132が、算出した合計スコアに基づいて、画像選択表示処理を行う。画像選択表示処理は、図10に示す処理と同様である。
【0050】
なお、本実施例では2台の電子機器100間でスコアを合計する場合を説明したが、3台以上の電子機器100間でスコアを合計してもよい。
【0051】
このように、本実施例によれば、電子機器100は、複数台の電子機器100におけるスコアを合計し、合計したスコアに基づき画像データを選択する。これにより、複数のユーザ(電子機器100AのユーザAと電子機器100BのユーザB双方)の好む画像データを自動的に選択して表示することができる。すなわち、電子機器100は複数のユーザの関係性に基づき画像データを自動で選択することができる。
【実施例2】
【0052】
次に、実施例2について説明する。実施例2は、実施例1の変形例である。
図13は、本実施例による画像選択システムの構成を示すブロック図である。
本実施例おける画像選択システムは、複数台の電子機器100と、コルクボード200とを含んで構成される。コルクボード200は、複数台の電子機器100から構成される。本実施例における、コルクボード200は、9台の電子機器100をタイル状に縦3×横3に並べて1つのディスプレイ(表示装置)とする。
本実施例では、コルクボード200はレストランに設置されており、電子機器100AのユーザAと電子機器100BのユーザBはレストランの来客であり、本日はユーザBの誕生日である場合を例に説明する。
【0053】
図14は、本実施例による画像表示処理の動作を示すシーケンス図である。
タッチパネル118を介してユーザAから、複数枚の画像データを自動で選択して送信する選択送信指示が入力されると、まず、ステップS601において、電子機器100Aの制御部130は、通信部120を介して通信可能な他の電子機器100Bに対してスコア要求を送信する。
ステップS602において、電子機器100Bの制御部130は、通信部120を介してスコア要求を受信すると、記憶部140からスコアを読み出し、読み出したスコアを電子機器100Aに送信する。
【0054】
ステップS603において、電子機器100Aの算出部131は、電子機器100Bからスコアを受信すると、電子機器100Bから受信した各スコアと、記憶部140に記憶されている各スコアとの合計値(合計スコア)を夫々算出する。
そして、ステップS604において、電子機器100Aの選択部132が、算出した合計スコアに基づいて、画像選択処理により9枚の画像データを選択する。画像選択処理は、図10に示すステップS301からS305までの処理と同様である。
【0055】
次に、ステップS605において、電子機器100Aの選択部132は、選択した9枚の画像データと、画像選択処理時に用いた評価パラメータと、各評価パラメータの重みと、電子機器100Bのアドレスとを通信部120を介してコルクボード200に送信する。
ステップS606において、コルクボード200は、9枚の画像データを受信すると、コルクボード200を構成する各電子機器100に、受信した9枚の画像データを夫々表示する。
【0056】
次に、ステップS607において、コルクボード200は、受信した評価パラメータにイベントが含まれるか否かを判定する。評価パラメータにイベントが含まれる場合にはステップS608へ進む。一方、評価パラメータにイベントが含まれない場合には処理を終了する。
【0057】
評価パラメータにイベントが含まれる場合には、ステップS608において、コルクボード200は、そのイベントに応じたメッセージを表示する。本例では、評価パラメータに含まれるイベントが「ユーザBの誕生日」であるため、コルクボード200は、メッセージ「誕生日おめでとう」を表示する。
そして、ステップS609において、コルクボード200は、ユーザBの電子機器100Bにプレゼントメッセージ「お店からプレゼントがあります。受け取りますか?」を送信する。
【0058】
ユーザBが電子機器100Bにおいてプレゼントを受取る操作を行うと、電子機器100Bは、プレゼントを受取るためのデータをレストランに設置された端末に送信する。端末は、プレゼントを受取るためのデータを受信したことをレストランの店員に報知する。そのデータを確認した店員は、ユーザBにレストランからのプレゼントを贈る。
【0059】
このように、本実施例によれば、ユーザAは、ユーザAとユーザB双方の好む画像データを自ら選択することなくコルクボード200に表示することができる。また、コルクボード200は、電子機器100Aから受信した評価パラメータに基づき処理(メッセージの表示及びプレゼントメッセージの送信)を行うため、ユーザAとユーザBの関係性に基づく様々なサービスを提供することができる。
【実施例3】
【0060】
次に、実施例3について説明する。
本実施例による画像選択システムは、1台以上の電子機器100とコルクボード200を含んで構成される。本実施例におけるコルクボード200は、電子広告を行うデジタルサイネージである。
【0061】
図15は、本実施例による画像表示処理の動作を示すシーケンス図である。
まず、ステップS701において、タッチパネル118を介してユーザから選択送信指示が入力されると、電子機器100の選択部132が、画像選択処理により9枚の画像データを選択する。画像選択処理は、図10に示すステップS301からS305までの処理と同様である。
次に、ステップS702において、電子機器100の選択部132は、選択した9枚の画像データと、画像選択処理時に用いた評価パラメータと、各評価パラメータの重みと、選択した画像データの情報(例えば、撮像場所、撮像日時等)をコルクボード200に送信する。
ステップS703において、コルクボード200は、9枚の画像データを受信すると、コルクボード200を構成する各電子機器100に、受信した9枚の画像データを夫々表示する。
【0062】
次に、ステップS704において、コルクボード200は、受信した画像データを解析する。具体的には、コルクボード200は、パターンマッチングにより、画像データにおける被写体の状況(例えば、サッカーをしている、特定の人物が写っている等)を解析する。
次に、ステップS705において、コルクボード200は、受信した評価パラメータを解析する。例えば、コルクボード200は、評価パラメータ「場所スコア」の重みが重い場合には、受信した画像データの撮像場所(例えば、撮像場所=「イタリア」)を解析結果とする。
そして、ステップS706において、コルクボード200は、画像データ及び評価パラメータの解析結果に基づいて広告データを選択する。広告データは、予めコルクボード200に記憶されている。例えば、コルクボード200は、画像データの解析結果が「サッカーをしている」であり、評価パラメータの解析結果が「撮像場所=イタリア」である場合には、イタリア旅行の広告データを選択する。
最後に、ステップS707において、コルクボード200は、選択した広告データを電子機器100に送信する。
【0063】
このように、本実施例によれば、電子機器100のユーザは、自ら選択することなくコルクボード200に自身の好む画像データを表示することができる。また、コルクボード200は、電子機器100から受信した評価パラメータに基づき広告を選択しているため、電子機器100のユーザに応じた広告を提供することができる。
【0064】
以上、図面を参照してこの発明の一実施形態について詳しく説明してきたが、具体的な構成は上述のものに限られることはなく、この発明の要旨を逸脱しない範囲内において様々な設計変更等をすることが可能である。
【符号の説明】
【0065】
100…電子機器、110…センサ部、111…加速度センサ、112…感圧センサ、113…温度センサ、114…湿度センサ、115…マイク、116…撮像部、117…画像解析部、118…タッチパネル、119…ジャイロセンサ、120…通信部、130…制御部、131…算出部、132…選択部、140…記憶部、150…電源部、160…表示部、170…計時部、180…位置検出部
【特許請求の範囲】
【請求項1】
被写体を撮像し画像データを生成する撮像部と、
ユーザから与えられた物理量を検出するセンサ部と、
前記センサ部により検出された物理量と前記撮像部により生成された画像データとに基づいて、ユーザの感情状態を表すスコアを算出する算出部と、
前記撮像部により生成された画像データと前記算出部により算出されたスコアとを対応付けて記憶する記憶部と、
前記記憶部に記憶されたスコアに基づいて画像データを選択する選択部と、
を備えることを特徴とする電子機器。
【請求項2】
他の電子機器から画像データに対応するスコアを受信する受信部を備え、
前記選択部は、前記受信部により受信されたスコアと前記記憶部に記憶されたスコアとに基づいて、画像データを選択する
ことを特徴とする請求項1に記載の電子機器。
【請求項3】
画像データを表示する表示部を備え、
前記記憶部は、画像データが生成されたときに前記算出部により算出されたスコアである撮像スコアと、前記画像データが表示されたときに前記算出部により算出されたスコアである表示スコアとを前記画像データと対応付けて記憶し、
前記撮像スコアの重みと前記表示スコアの重みとを記憶する重み記憶部を備え、
前記選択部は、前記記憶部に記憶された各スコアに夫々の重みを乗算した値に基づいて、画像データを選択する
ことを特徴とする請求項1又は2に記載の電子機器。
【請求項4】
日時を計時する計時部を備え、
前記記憶部は、画像データが生成された日付と前記日付において前記算出部により算出されたスコアである日付スコアとを記憶し、
前記重み記憶部は、前記日付スコアの重みを記憶する
ことを特徴とする請求項3に記載の電子機器。
【請求項5】
位置を検出する位置検出部を備え、
前記記憶部は、画像データが生成された位置と前記位置において前記算出部により算出されたスコアである場所スコアとを記憶し、
前記重み記憶部は、前記場所スコアの重みを記憶する
ことを特徴とする請求項3又は4に記載の電子機器。
【請求項6】
前記選択部により画像データが選択されたときに、前記算出部により算出されたスコアに基づいて、前記重み記憶部に記憶された各スコアの重みを更新する更新部
を備えることを特徴とする請求項3から5いずれか1項に記載の電子機器。
【請求項7】
被写体を撮像し画像データを生成する撮像部と、
ユーザから与えられた物理量を検出するセンサ部と、
前記センサ部により検出された物理量と前記撮像部により生成された画像データとに基づいて、ユーザの感情状態を表すスコアを算出する算出部と、
前記撮像部により生成された画像データと前記算出部により算出されたスコアとを対応付けて記憶する記憶部と、
前記記憶部に記憶されたスコアに基づいて画像データを選択する選択部と、
前記選択部により選択された画像データを送信する送信部と、
を備える第1の電子機器と、
前記第1の電子機器から画像データを受信し、受信した画像データを表示する複数の電子機器からなる表示装置と、
を有することを特徴とする画像表示システム。
【請求項8】
前記第1の電子機器の送信部は、前記スコアの種別を示す評価パラメータを前記選択された画像データとともに送信し、
前記複数の電子機器からなる表示装置は、前記第1の電子機器から前記画像データとともに前記評価パラメータを受信し、受信した評価パラメータに基づく処理を行う
ことを特徴とする請求項7に記載の画像表示システム。
【請求項9】
被写体を撮像し画像データを生成する撮像部と、
ユーザから与えられた物理量を検出するセンサ部と、
を備える電子機器が、前記センサ部により検出された物理量と前記撮像部により生成された画像データとに基づいて、ユーザの感情状態を表すスコアを算出するステップと、
前記電子機器が、前記撮像部により生成された画像データと前記算出されたスコアとを対応付けて記憶するステップと、
前記電子機器が、前記記憶されたスコアに基づいて画像データを選択するステップと、
を有することを特徴とする画像選択方法。
【請求項1】
被写体を撮像し画像データを生成する撮像部と、
ユーザから与えられた物理量を検出するセンサ部と、
前記センサ部により検出された物理量と前記撮像部により生成された画像データとに基づいて、ユーザの感情状態を表すスコアを算出する算出部と、
前記撮像部により生成された画像データと前記算出部により算出されたスコアとを対応付けて記憶する記憶部と、
前記記憶部に記憶されたスコアに基づいて画像データを選択する選択部と、
を備えることを特徴とする電子機器。
【請求項2】
他の電子機器から画像データに対応するスコアを受信する受信部を備え、
前記選択部は、前記受信部により受信されたスコアと前記記憶部に記憶されたスコアとに基づいて、画像データを選択する
ことを特徴とする請求項1に記載の電子機器。
【請求項3】
画像データを表示する表示部を備え、
前記記憶部は、画像データが生成されたときに前記算出部により算出されたスコアである撮像スコアと、前記画像データが表示されたときに前記算出部により算出されたスコアである表示スコアとを前記画像データと対応付けて記憶し、
前記撮像スコアの重みと前記表示スコアの重みとを記憶する重み記憶部を備え、
前記選択部は、前記記憶部に記憶された各スコアに夫々の重みを乗算した値に基づいて、画像データを選択する
ことを特徴とする請求項1又は2に記載の電子機器。
【請求項4】
日時を計時する計時部を備え、
前記記憶部は、画像データが生成された日付と前記日付において前記算出部により算出されたスコアである日付スコアとを記憶し、
前記重み記憶部は、前記日付スコアの重みを記憶する
ことを特徴とする請求項3に記載の電子機器。
【請求項5】
位置を検出する位置検出部を備え、
前記記憶部は、画像データが生成された位置と前記位置において前記算出部により算出されたスコアである場所スコアとを記憶し、
前記重み記憶部は、前記場所スコアの重みを記憶する
ことを特徴とする請求項3又は4に記載の電子機器。
【請求項6】
前記選択部により画像データが選択されたときに、前記算出部により算出されたスコアに基づいて、前記重み記憶部に記憶された各スコアの重みを更新する更新部
を備えることを特徴とする請求項3から5いずれか1項に記載の電子機器。
【請求項7】
被写体を撮像し画像データを生成する撮像部と、
ユーザから与えられた物理量を検出するセンサ部と、
前記センサ部により検出された物理量と前記撮像部により生成された画像データとに基づいて、ユーザの感情状態を表すスコアを算出する算出部と、
前記撮像部により生成された画像データと前記算出部により算出されたスコアとを対応付けて記憶する記憶部と、
前記記憶部に記憶されたスコアに基づいて画像データを選択する選択部と、
前記選択部により選択された画像データを送信する送信部と、
を備える第1の電子機器と、
前記第1の電子機器から画像データを受信し、受信した画像データを表示する複数の電子機器からなる表示装置と、
を有することを特徴とする画像表示システム。
【請求項8】
前記第1の電子機器の送信部は、前記スコアの種別を示す評価パラメータを前記選択された画像データとともに送信し、
前記複数の電子機器からなる表示装置は、前記第1の電子機器から前記画像データとともに前記評価パラメータを受信し、受信した評価パラメータに基づく処理を行う
ことを特徴とする請求項7に記載の画像表示システム。
【請求項9】
被写体を撮像し画像データを生成する撮像部と、
ユーザから与えられた物理量を検出するセンサ部と、
を備える電子機器が、前記センサ部により検出された物理量と前記撮像部により生成された画像データとに基づいて、ユーザの感情状態を表すスコアを算出するステップと、
前記電子機器が、前記撮像部により生成された画像データと前記算出されたスコアとを対応付けて記憶するステップと、
前記電子機器が、前記記憶されたスコアに基づいて画像データを選択するステップと、
を有することを特徴とする画像選択方法。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【公開番号】特開2012−186607(P2012−186607A)
【公開日】平成24年9月27日(2012.9.27)
【国際特許分類】
【出願番号】特願2011−47596(P2011−47596)
【出願日】平成23年3月4日(2011.3.4)
【出願人】(000004112)株式会社ニコン (12,601)
【Fターム(参考)】
【公開日】平成24年9月27日(2012.9.27)
【国際特許分類】
【出願日】平成23年3月4日(2011.3.4)
【出願人】(000004112)株式会社ニコン (12,601)
【Fターム(参考)】
[ Back to top ]