説明

情報処理システム、画像表示装置、プログラム及び情報記憶媒体

【課題】各ユーザ状況におけるユーザの選択履歴を反映したコンテンツの提示を可能にする情報処理システム等の提供。
【解決手段】情報処理システムは、ユーザを認識するユーザ認識部と、ユーザが選択したコンテンツのジャンルの選択履歴情報を、時間、ユーザが滞在する場所及びユーザの状態の少なくとも1つであるユーザ状況に関連づけて記憶する選択履歴情報記憶部と、ユーザ認識部によりユーザが認識された場合に、ユーザの認識結果とユーザ状況に基づいて、認識されたユーザの各ユーザ状況に関連づけられた選択履歴情報を、選択履歴情報記憶部から読み出し、読み出された選択履歴情報に基づいて、複数のコンテンツの中からユーザへの提示コンテンツを選択するコンテンツ選択部を含む。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、情報処理システム、画像表示装置、プログラム及び情報記憶媒体等に関する。
【背景技術】
【0002】
従来より、ユーザの行動予定情報や場所情報を取得し、取得された情報に基づいてコンテンツを選択してユーザに提示する情報処理システムが知られている(例えば特許文献1)。
【0003】
しかしながら、この情報処理システムでは、ユーザが各状況において、コンテンツに関してどのような選択動作を行ったかについては、システムは記憶していなかった。このため、ユーザの選択履歴に応じた適切なコンテンツをユーザに提示できないという課題があった。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開2003−308407号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
本発明の幾つかの態様によれば、各ユーザ状況におけるユーザの選択履歴を反映したコンテンツの提示を可能にする情報処理システム、画像表示装置、プログラム及び情報記憶媒体を提供できる。
【課題を解決するための手段】
【0006】
本発明の一態様は、ユーザを認識するユーザ認識部と、ユーザが選択したコンテンツのジャンルの選択履歴情報を、時間、ユーザが滞在する場所及びユーザの状態の少なくとも1つであるユーザ状況に関連づけて記憶する選択履歴情報記憶部と、前記ユーザ認識部によりユーザが認識された場合に、ユーザの認識結果とユーザ状況に基づいて、認識されたユーザの各ユーザ状況に関連づけられた前記選択履歴情報を、前記選択履歴情報記憶部から読み出し、読み出された前記選択履歴情報に基づいて、複数のコンテンツの中からユーザへの提示コンテンツを選択するコンテンツ選択部とを含む情報処理システムに関係する。また本発明は、上記各部としてコンピュータを機能させるプログラム、又は該プログラムを記憶したコンピュータ読み取り可能な情報記憶媒体に関係する。
【0007】
本発明の一態様では、ユーザにより選択されたコンテンツのジャンルの選択履歴情報が、そのときのユーザ状況に関連づけて記憶される。そしてユーザ認識部によりユーザが認識されると、認識されたユーザの各ユーザ状況に関連づけられた選択履歴情報が読み出され、読み出された選択履歴情報に基づいてユーザへの提示コンテンツが選択される。このようにすれば、認識されたユーザの各ユーザ状況において、そのユーザ状況に関連づけられた選択履歴情報に基づいて、コンテンツが選択されて、ユーザに提示される。従って、各ユーザ状況におけるユーザの選択履歴を反映したコンテンツの提示が可能になる。
【0008】
また本発明の一態様では、前記選択履歴情報記憶部は、第1〜第Nのユーザ状況の各ユーザ状況に対して、ジャンルの選択についての第1〜第Nの確率分布情報の各確率分布情報を関連づけて記憶し、前記コンテンツ選択部は、認識されたユーザのユーザ状況が、前記第1〜第Nのユーザ状況のうちの第Kのユーザ状況である場合(1≦K≦N)には、前記第Kのユーザ状況に関連づけられた第Kの確率分布情報を前記選択履歴情報記憶部から読み出し、読み出された前記第Kの確率分布情報にしたがった確率でジャンルを選択し、選択されたジャンルに対応するコンテンツを、前記提示コンテンツとして選択してもよい。
【0009】
このようにすれば、ユーザ状況が第Kのユーザ状況である場合に、その第Kのユーザ状況に関連づけられた第Kの確率分布情報にしたがった確率でジャンルが選択され、対応するコンテンツが提示されるようになる。
【0010】
また本発明の一態様では、前記選択履歴情報記憶部は、複数のユーザの各ユーザ毎に前記第1〜第Nの確率分布情報を記憶し、前記コンテンツ選択部は、認識されたユーザに対応する前記第1〜第Nの確率分布情報を前記選択履歴情報記憶部から読み出して、前記提示コンテンツを選択してもよい。
【0011】
このようにすれば、ユーザ毎に異なる確率分布情報にしたがって提示コンテンツが選択されるようになり、各ユーザに応じた最適なコンテンツの提示が可能になる。
【0012】
また本発明の一態様では、前記第1〜第Nの確率分布情報の各確率分布情報は、複数のジャンルの各ジャンルに対して各ジャンルの選択頻度が関連づけられた確率分布テーブルであってもよい。
【0013】
このような確率分布テーブルを用いれば、確率分布情報に基づくジャンルの選択処理や確率分布情報の更新処理を簡素化できる。
【0014】
また本発明の一態様では、第K−1の確率分布情報及び第K+1の確率分布情報の少なくとも一方に基づいて、前記第Kの確率分布情報を補正する補正部を含み、前記コンテンツ選択部は、補正後の前記第Kの確率分布情報にしたがった確率でジャンルを選択して、提示コンテンツを選択してもよい。
【0015】
このようにすれば、第Kのユーザ状況において、第K−1のユーザ状況に関連づけられた第K−1の確率分布情報や、第K+1のユーザ状況に関連づけられた第K+1の確率分布情報を反映させた提示コンテンツの選択が可能になる。
【0016】
また本発明の一態様では、前記補正部は、補正前の前記第Kの確率分布情報に対して、前記第K−1の確率分布情報及び前記第K+1の確率分布情報の少なくとも一方に基づく重み付け補正を行ってもよい。
【0017】
このような重み付け補正を行えば、シームレスな提示コンテンツの切り替えが可能になる。
【0018】
また本発明の一態様では、前記第1〜第Nのユーザ状況に対応して第1〜第Nのタイムスロットが設定され、前記選択履歴情報記憶部は、前記第1〜第Nのタイムスロットの各タイムスロットに対して、前記第1〜第Nの確率分布情報の各確率分布情報を関連づけて記憶し、前記コンテンツ選択部は、ユーザ状況である時間が、前記第1〜第Nのタイムスロットの第Kのタイムスロットに属する場合には、前記第Kのタイムスロットに関連づけられた前記第Kの確率分布情報を前記選択履歴情報記憶部から読み出して、前記提示コンテンツを選択してもよい。
【0019】
このようにすれば、各タイムスロットにおいて、各タイムスロットに関連づけれた確率分布情報にしたがって提示コンテンツを選択して提示できるようになる。
【0020】
また本発明の一態様では、第K−1の確率分布情報及び第K+1の確率分布情報の少なくとも一方に基づいて、前記第Kの確率分布情報を補正する補正部を含み、前記補正部は、前記第Kのタイムスロットの前半期間では、補正前の前記第Kの確率分布情報に対して、第K−1のタイムスロットの前記第K−1の確率分布情報に基づく重み付け補正を行い、前記第Kのタイムスロットの後半期間では、補正前の前記第Kの確率分布情報に対して、第K+1のタイムスロットの前記第K+1の確率分布情報に基づく重み付け補正を行ってもよい。
【0021】
このようにすれば、第Kのタイムスロットの前半期間においては第K−1の確率分布情報を反映させたコンテンツの提示が可能になり、第Kのタイムスロットの後半期間においては第K+1の確率分布情報を反映させたコンテンツの提示が可能になる。
【0022】
また本発明の一態様では、前記選択履歴情報記憶部に記憶される前記選択履歴情報の更新処理を行う情報更新部を含み、前記情報更新部は、ジャンルが異なる複数のコンテンツがユーザに提示され、提示されているコンテンツに対してユーザが選択動作を行ったと判断された場合に、前記選択履歴情報の更新処理を行ってもよい。
【0023】
このようにすれば、各ユーザの選択動作を反映させた選択履歴情報の更新が可能になる。
【0024】
また本発明の一態様では、前記選択履歴情報記憶部は、複数のジャンルの各ジャンルに対して各ジャンルの選択頻度が関連づけられた情報を、前記選択履歴情報として記憶し、前記情報更新部は、提示されているコンテンツに対してユーザが選択動作を行ったと判断された場合に、選択動作が行われたコンテンツに対応するジャンルの前記選択頻度を更新してもよい。
【0025】
このようにすれば、ユーザの選択動作によりジャンルの選択頻度を更新することで、選択履歴情報の更新処理を実現できる。
【0026】
また本発明の一態様では、前記コンテンツ選択部は、前記ユーザ認識部によりユーザが認識されなかった場合には、複数のコンテンツの中からランダムに前記提示コンテンツを選択してもよい。
【0027】
このようにすれば、ユーザが認識されなかった場合にも、ランダムに選択されたコンテンツを選択して提示できるようになる。
【0028】
また本発明の一態様では、前記コンテンツ選択部は、前記ユーザ認識部により認識されたユーザが、提示されているコンテンツに対して選択動作を行っていないと判断された場合に、認識されたユーザのユーザ状況と前記選択履歴情報とに基づいて、前記提示コンテンツを選択してもよい。
【0029】
このようにすれば、認識されたユーザが選択動作を行っていない場合に、ユーザ状況と選択履歴情報にしたがったコンテンツを選択して提示できるようになり、例えばユーザにコンテンツの選択動作を促すことなどが可能になる。
【0030】
また本発明の一態様では、前記コンテンツ選択部は、前記ユーザ認識部により認識されたユーザが、提示されているコンテンツに対して選択動作を行ったと判断された場合には、ユーザの選択動作時に提示されていたコンテンツのジャンルに属するコンテンツを、前記提示コンテンツとして選択してもよい。
【0031】
このようにすれば、ユーザが興味を持って選択したコンテンツのジャンルに属するコンテンツを提示できるようになる。
【0032】
また本発明の一態様では、前記コンテンツ選択部は、コンテンツの画像が表示される表示部をユーザが注視していると判断された場合に、ユーザがコンテンツの選択動作を行っていると判断してもよい。
【0033】
このようにすれば、ユーザが注視しているか否かに応じて、ユーザがそのコンテンツの選択動作を行っているか否かを判断できるようになる。
【0034】
また本発明の一態様では、前記選択履歴情報記憶部に記憶される前記選択履歴情報の更新処理を行う情報更新部を含み、前記情報更新部は、提示されているコンテンツに対してユーザが選択動作を行ったと判断された場合に、前記選択履歴情報の更新処理を行ってもよい。
【0035】
このようにすれば、各ユーザの選択動作を反映させた選択履歴情報の更新が可能になる。
【0036】
また本発明の一態様では、ユーザの行動を計測する行動センサ、ユーザの状態を計測する状態センサ及びユーザの環境を計測する環境センサの少なくとも1つのセンサからのセンサ情報を含む情報に基づいて、ユーザの状況を推定するユーザ状況推定部を含んでもよい。
【0037】
このようにすれば行動センサ、状態センサ或いは環境センサからのセンサ情報を含む情報に基づいてユーザの状況を推定し、推定されたユーザ状況に対応する選択履歴情報を読み出して、コンテンツを選択できるようになる。
【0038】
また本発明の他の態様は、画像を表示する表示部と、ユーザを認識するユーザ認識部と、複数のコンテンツの中から選択されたコンテンツの画像を、前記表示部に表示する制御を行う表示制御部とを含み、ユーザが選択したコンテンツのジャンルの選択履歴情報が、時間、ユーザが滞在する場所及びユーザの状態の少なくとも1つであるユーザ状況に関連づけられており、前記表示制御部は、前記ユーザ認識部によりユーザが認識され、認識されたユーザのユーザ状況に関連づけられた前記選択履歴情報に基づいてコンテンツが選択された場合に、選択されたコンテンツの画像を、前記表示部に表示する制御を行う画像表示装置に関係する。また本発明は、上記各部としてコンピュータを機能させるプログラム、又は該プログラムを記憶したコンピュータ読み取り可能な情報記憶媒体に関係する。
【0039】
本発明の他の態様によれば、コンテンツのジャンルの選択履歴情報がユーザ状況に関連づけられており、ユーザ認識部によりユーザが認識されると、認識されたユーザの各ユーザ状況に関連づけられた選択履歴情報に基づいてコンテンツが選択されて、コンテンツ画像が表示される。従って、各ユーザ状況におけるユーザの選択履歴を反映したコンテンツ画像の表示が可能になる。
【0040】
また本発明の他の態様では、前記表示制御部は、前記ユーザ認識部によりユーザが認識されなかった場合には、複数のコンテンツの中からランダムに選択されたコンテンツの画像を、前記表示部に表示する制御を行ってもよい。
【0041】
また本発明の他の態様では、前記表示制御部は、前記ユーザ認識部により認識されたユーザが、提示されているコンテンツに対して選択動作を行っていないと判断された場合に、認識されたユーザのユーザ状況と前記選択履歴情報とに基づき選択されたコンテンツの画像を、前記表示部に表示する制御を行ってもよい。
【0042】
また本発明の他の態様では、前記表示制御部は、前記ユーザ認識部により認識されたユーザが、提示されているコンテンツに対して選択動作を行ったと判断された場合には、ユーザの選択動作時に提示されていたコンテンツのジャンルに属するコンテンツの画像を、前記表示部に表示する制御を行ってもよい。
【0043】
また本発明の他の態様では、ユーザが前記表示部を注視しているか否かを判断する注視状態判断部を含み、前記表示制御部は、前記表示部をユーザが注視していると判断された場合に、ユーザの注視時に表示されていたコンテンツのジャンルに属するコンテンツの画像を、前記表示部に表示する制御を行ってもよい。
【0044】
また本発明の他の態様では、前記選択履歴情報は、複数のジャンルの各ジャンルに対して各ジャンルの選択頻度が関連づけられた情報であり、前記表示部に表示されているコンテンツの画像に対してユーザが選択動作を行ったと判断された場合に、ユーザの選択動作時に表示されていたコンテンツのジャンルの前記選択頻度が更新されてもよい。
【図面の簡単な説明】
【0045】
【図1】図1(A)、図1(B)は本実施形態の手法の説明図。
【図2】本実施形態の情報処理システムの構成例。
【図3】本実施形態の動作を説明するためのフローチャート。
【図4】タイムスロットを用いたコンテンツ選択手法の説明図。
【図5】図5(A)、図5(B)は確率分布テーブル、ユーザコンテンツテーブルの例。
【図6】選択頻度の確率分布(ヒストグラム)の例。
【図7】図7(A)、図7(B)は確率分布情報の補正手法の説明図。
【図8】図8(A)、図8(B)は確率分布情報の補正手法の他の例の説明図。
【図9】図9(A)、図9(B)はデジタルフォトフレームの例を示す図。
【図10】デジタルフォトフレーム及び情報処理システムの構成例。
【図11】図11(A)、図11(B)はユーザのアップロード画面やユーザ情報の例。
【図12】本実施形態の動作を説明するための状態遷移図。
【図13】デジタルフォトフレームの動作を説明するためのフローチャート。
【図14】サーバの動作を説明するためのフローチャート。
【発明を実施するための形態】
【0046】
以下、本実施形態について説明する。なお、以下に説明する本実施形態は、特許請求の範囲に記載された本発明の内容を不当に限定するものではない。また本実施形態で説明される構成の全てが、本発明の必須構成要件であるとは限らない。
【0047】
1.ユーザの認識結果及び選択履歴に応じたコンテンツ選択
ユーザに対して適切なコンテンツを提示するためには、ユーザの状況を把握し、ユーザの状況に応じたコンテンツを選択して提示することが望ましい。例えば、会社への出勤前の朝であれば、今日のニュースや天気を知らせるコンテンツを提示し、出勤中であれば、時刻表や交通情報などのコンテンツを提示する。或いはユーザが緊張状態である場合には、緊張をリラックスさせるコンテンツを提示し、ユーザの体調が優れない場合には、ユーザに元気を出させるコンテンツを提示する。
【0048】
しかしながら、このようにユーザの状況に基づいてコンテンツを提示する手法では、提示されるコンテンツが画一的になり単調になってしまうおそれがある。即ち、朝であれば、朝用のコンテンツが常に提示され、昼間であれば昼間用のコンテンツが常に提示されるというように、提示されるコンテンツが画一的になってしまう。
【0049】
また、ユーザが所望するコンテンツのジャンルは、ユーザに応じて様々である。例えば父親が好むコンテンツのジャンルと、母親や子供が好むコンテンツのジャンルは異なる場合が多い。従って、何らユーザを特定することなく、システム側で用意された画一的なコンテンツを提示してしまうと、各ユーザが実際に所望するコンテンツを提示できず、ユーザが違和感を感じるおそれがある。
【0050】
そこで本実施形態では、ユーザの認識結果及び選択履歴に応じたコンテンツを選択する手法を採用している。
【0051】
即ち本実施形態では、時間、ユーザが滞在する場所及びユーザの状態であるユーザ状況を特定(推定)する。図1(A)では、ユーザUAのユーザ状況が、時間、場所、状態の座標軸で指定されるコンテキストとして表されている。
【0052】
本実施形態では、このような各ユーザ状況でのユーザの選択履歴(選択確率分布)をシステムが記憶する。例えば、ユーザの状況が第1のユーザ状況である場合にユーザが選択したコンテンツ(ジャンル)の選択履歴を、この第1のユーザ状況に関連づけて第1の選択履歴として記憶し、第2のユーザ状況である場合にユーザが選択したコンテンツ(ジャンル)の選択履歴を、第2のユーザ状況に関連づけて第2の選択履歴として記憶する。具体的には、朝(第1のユーザ状況)の場合に選択したコンテンツの選択履歴を、「朝」に関連づけて記憶し、昼間(第2のユーザ状況)の場合に選択したコンテンツの選択履歴を、「昼間」に関連づけて記憶する。或いは、緊張状態(第1のユーザ状況)の場合に選択したコンテンツの選択履歴を、「緊張状態」に関連づけて記憶し、体調不良状態(第2のユーザ状況)の場合に選択したコンテンツの選択履歴を、「体調不良状態」に関連づけて記憶するものである。
【0053】
次に、コンテンツの選択を行うにあたって、まず、ユーザの現在のユーザ状況を特定する。そして、ユーザ状況が特定されたら、システムに記憶された選択履歴の中から、特定されたユーザ状況に関連づけられた選択履歴を読み出し、読み出された選択履歴に基づいてコンテンツを選択する。
【0054】
例えばユーザが、「朝」というユーザ状況では、時事ニュースや天気のジャンルのコンテンツを選択する頻度が高く、「昼間」というユーザ状況では、趣味である株価情報のジャンルのコンテンツを選択する頻度が高かったとする。このような場合、システムは、これらの選択頻度の履歴を、「朝」、「昼間」というユーザ状況に関連づけて記憶している。
【0055】
従って、ユーザ状況が「朝」であると特定されると、時事ニュースや天気のジャンルが高い確率で選択されるようにコンテンツの選択が行われ、ユーザ状況が「昼間」であると特定されると、株価情報のジャンルが高い確率で選択されるようにコンテンツの選択が行われる。
【0056】
このようにすることで、当該ユーザの過去の選択履歴を反映させたコンテンツの選択が行われるようになる。従って、従来の画一的なコンテンツしか提示できない手法に比べて、ユーザの嗜好等を反映させた適切なコンテンツを提示することができる。
【0057】
更に加えて本実施形態では、ユーザの選択履歴のみならず、ユーザの認識結果も反映させたコンテンツを選択する手法を採用している。
【0058】
例えば図1(A)、図1(B)に示すように、ユーザUAとUBでは、同じユーザ状況(コンテキスト)であっても、異なる選択履歴がシステムに記憶される。そしてユーザにコンテンツを提示する場合に、顔画像認識等を利用して、そのユーザが、登録されたユーザUA、UBのいずれなのかを認識する。
【0059】
そしてユーザUAであると認識された場合には、ユーザUAの各ユーザ状況(コンテキスト)に関連づけられてシステムに記憶された選択履歴の中から、ユーザUAの現在のユーザ状況に対応する選択履歴を読み出す。そして、読み出された選択履歴の確率分布にしたがった確率でジャンルを選択し、選択されたジャンルのコンテンツをユーザに提示する。一方、ユーザUBであると認識された場合には、ユーザUBの各ユーザ状況に関連づけられてシステムに記憶された選択履歴の中から、ユーザUBの現在のユーザ状況に対応する選択履歴を読み出す。そして、読み出された選択履歴の確率分布にしたがった確率でジャンルを選択し、選択されたジャンルのコンテンツをユーザに提示する。
【0060】
このようにすれば、同じユーザ状況であっても、ユーザが異なれば異なるコンテンツが選択されるようになり、ユーザ毎に適切なコンテンツを提示できる。従って、各ユーザが所望するコンテンツを提示でき、ユーザが違和感等を感じる事態を防止できる。
【0061】
2.構成
以上のような本実施形態のコンテンツ選択手法を実現できる情報処理システムの構成例を図2に示す。なお情報処理システムは図2の構成に限定されず、その構成要素の一部を省略したり、他の構成要素を追加するなどの種々の変形実施が可能である。
【0062】
処理部102は、図示しない操作部からの操作情報や、センサ150から取得されたセンサ情報などに基づいて、種々の処理を行う。例えばセンサ情報の取得処理や、各種の演算処理、評価処理や、ディスプレイ等の情報提示部142による情報提示の制御処理を行う。この処理部102の機能は、各種プロセッサ(CPU等)、ASIC(ゲートアレイ等)などのハードウェアや、情報記憶媒体130(光ディスク、ICカード、HDD等)に記憶されたプログラムなどにより実現できる。
【0063】
記憶部120は、処理部102、通信部138などのワーク領域となるもので、その機能はRAMなどのメモリやHDD(ハードディスクドライブ)などにより実現できる。この記憶部120は、コンテンツ情報記憶部122、選択履歴情報記憶部124、予定情報記憶部126を含む。
【0064】
コンテンツ情報記憶部122(コンテンツデータベース)は、例えば画像、映像、音楽、音声、テキスト(文字、文章)、或いは各種データ等であるコンテンツの情報を記憶する。このコンテンツは、リアルタイムに生成してもよいし、例えば通信部138を介して外部からダウンロードしてもよい。またコンテンツ情報記憶部122は、コンテンツに関連づけられたメタ情報(付加情報)を記憶することができる。
【0065】
選択履歴情報記憶部(選択履歴データベース、確率分布データベース)124は選択履歴情報(選択頻度の履歴情報)を記憶する。具体的には、ユーザ状況に関連づけて、ユーザによるコンテンツのジャンルの選択履歴情報を記憶する。即ち、各ユーザ状況においてユーザがどのようなジャンルのコンテンツを選択したかの履歴を表す選択履歴情報を記憶する。予定情報記憶部126は、ユーザの予定情報(予定表データ、スケジュール情報)を記憶する。
【0066】
情報記憶媒体130(コンピュータにより読み取り可能な媒体)は、プログラムやデータなどを格納するものであり、その機能は、光ディスク(CD、DVD)やハードディスク(HDD)などにより実現できる。処理部102は、情報記憶媒体130に格納されるプログラム(データ)に基づいて本実施形態の種々の処理を行う。即ち情報記憶媒体130には、本実施形態の各部としてコンピュータ(操作部、処理部、記憶部、出力部を備える装置)を機能させるためのプログラム(各部の処理をコンピュータに実行させるためのプログラム)が記憶される。
【0067】
処理部102は、センサ情報取得部104、ユーザ認識部106、状況推定部108、コンテンツ選択部110、補正部111、提示制御部(表示制御部)112、情報更新部114を含む。なおこれらの構成要素の一部(例えばセンサ情報取得部、状況推定部、補正部、情報更新部)を省略したり、他の構成要素を追加するなどの種々の変形実施が可能である。
【0068】
センサ情報取得部104は、センサ150(例えばウェアラブルセンサ)からのセンサ情報を取得する。具体的には、センサ150は、撮像センサ等のユーザ検知センサ、ユーザの行動(歩行、会話、食事、手足の動き、感情表現又は睡眠等)を計測する行動センサ、ユーザの状態(疲労、緊張、空腹、精神状態、身体状態又はユーザに発生したイベント等)を計測する状態センサ、及びユーザの環境(場所、時間、明るさ、気温又は湿度等)を計測する環境センサの少なくとも1つのセンサを含んでおり、センサ情報取得部104は、これらのセンサからのセンサ情報を取得する。
【0069】
ここで、センサ150として設けられるユーザ検知センサとしては、例えばCCDやCMOSセンサなどの撮像センサを用いるとことができる。撮像センサ(イメージセンサ)は、1次元又は2次元の光学情報を、時系列の電気信号に変換する光センサである。この撮像センサを用いた顔検出(顔画像認識)により、人物人証などのユーザの認識処理を実現できる。また検知範囲にユーザが存在するか否かや、検知範囲に存在するユーザの動きなどを検知できる。また情報提示部142(表示部)に対するユーザの視線の角度などの位置関係を検出できる。或いは、ユーザが情報提示部142(表示部)を注視している状態か否かなどのユーザの視認状態を検出できる。或いはユーザが接近中なのか否かなども検出できる。
【0070】
またユーザ検知センサとしては、例えば焦電センサなどの人感センサを用いてもよい。焦電センサは、人等が発生する赤外線を受光し、赤外線を熱に変換し、その熱を素子の焦電効果で電荷に変えるセンサである。この焦電センサを用いることで、検知範囲(検知エリア)にユーザ(人)が存在するか否かや、検知範囲に存在するユーザの動きなどを検知できる。あるいはユーザ検知センサとして、例えば超音波センサなどの距離センサを用いてもよい。
【0071】
なおセンサは、センサデバイス自体であってもよいし、センサデバイスの他に制御部や通信部等を含むセンサ機器であってもよい。またセンサ情報は、センサから直接得られるセンサ1次情報であってもよいし、センサ1次情報を加工処理(情報処理)することで得られるセンサ2次情報であってもよい。またセンサによる検知方式は、アクティブ検知方式であってもよいし、パッシブ検知方式であってもよい。即ちCCD等の撮像センサのようにシステム側がアクティブ方式でユーザを検知してもよいし、例えばユーザの携帯電話機等に設けられたRFIDからの発信信号によりユーザを検知するというように、パッシブ検知方式でユーザを検知してもよい。
【0072】
またユーザの行動を検知する行動センサとしては、GPSや万歩計(登録商標)、加速度センサ、高度計、マイク、撮像センサ等を用いることができる。またユーザの状態を検知する状態センサとしては、血圧や心拍数、体温、眼球動向、血糖値等を計測できる既知の各種生体計測センサを用いることができる。またユーザの環境を検知する環境センサとしては、温湿度計、気圧計、明るさセンサ、マイク等を用いることができる。
【0073】
ユーザ認識部106はユーザの認識処理を行う。例えばセンサ情報取得部104により取得されたセンサ情報に基づいて、ユーザの人物認証を行う。ユーザの人物認証は、例えば撮像センサを用いた顔認識処理により実現できる。或いは、目の網膜にある毛細血管の模様である網膜を用いたり、黒目の中の放射状の紋様である虹彩を用いて人物認証を行ってもよい。
【0074】
状況推定部(状況同定部)108は、センサ情報取得部104により取得されたセンサ情報を含む情報に基づいて、ユーザの状況を推定(同定)するための処理を行う。具体的には、取得されたセンサ情報の乗算処理や加算処理などを行い、センサ情報のフィルタリング処理(選択処理)や解析処理のための種々の演算処理を実現する。そして、ユーザの現在の状況を推定する処理である状況同定処理を行う。或いは、ユーザの未来の状況を推定する処理である状況予測処理を行う。
【0075】
なお、状況推定部108が推定するユーザの状況は、例えばユーザの行動、状態、及び環境等の少なくとも1つである。ユーザの行動の推定は、ユーザが身に着けた行動センサの情報により、ユーザの静止・歩行・走行・座り・寝転がり・階段昇降の状態を判別したり、ユーザの周辺に配置されたセンサ(外部カメラ、ホームセンサ)により、ユーザの行動・姿勢状態を判別したり、位置検知センサにより求められた位置の軌跡により、ユーザの滞留中・移動中の状態を判別することなどにより実現できる。またユーザの状態は、ユーザの精神状態や肉体状態などである。ユーザの状態の推定は、ユーザが身に着けた生体センサの情報により、ストレス・興奮・緊張・健康状態などを判別することなどで実現できる。またユーザの環境は、ユーザの場所情報、時間情報、周囲環境情報などである。ユーザの環境の推定は、位置検知センサにより、ユーザの滞在場所(現在地)を判別したり、時計により年・月・日・曜日・時間を取得したり、周囲環境センサにより気温・気圧・照度・騒音などを取得することなどで実現できる。この場合に、センサ情報によりユーザ状況を完全・正確に特定することは難しいため、状況推定部108による状況推定の確からしさは、ある程度の幅を持つことになる。
【0076】
なおユーザ状況の推定に、センサ情報以外の情報を用いてもよい。具体的には、予定情報記憶部126に記憶されたユーザの予定情報(予定表データ、スケジュール情報)や、通信部138等を介して取得された外部情報を用いて、ユーザ状況を推定してもよい。例えば、ユーザが入力したスケジュール表に基づいて、ユーザのこれからの予定を推定したり、入力された予定から付随的な予定を推定する。或いは、ウェブ情報や外部データベースからインターネット等を介して取得した情報(例えば今日の天気・交通情報)や、他のユーザから取得した情報(例えば他のユーザからの連絡情報)などの外部情報に基づいて、ユーザ状況を推定する。
【0077】
このような予定情報や外部情報を利用すれば、センサ情報だけを用いてユーザ状況を推定する場合に比べて、状況推定の確度を高めることができる。例えばセンサ情報と予定情報を組み合わせてユーザの行動を推定することで、より確からしいユーザの行動の推定が可能になる。
【0078】
コンテンツ選択部110は、情報提示部142によりユーザに提示されるコンテンツの選択を行う。例えばコンテンツ選択部110は、ユーザ認識部106によりユーザが認識されると、ユーザの認識結果とユーザ状況(例えば時間、場所、状態)に基づいて、認識されたユーザの各ユーザ状況に関連づけられた選択履歴情報を、選択履歴情報記憶部124から読み出す。そして読み出された選択履歴情報に基づいて、複数のコンテンツの中からユーザへの提示コンテンツを選択する。
【0079】
ここで、更に具体的には選択履歴情報記憶部124は、第1〜第N(Nは2以上の整数)のユーザ状況のそれぞれに対応して、コンテンツのジャンルの選択についての第1〜第Nの確率分布情報を関連づけて記憶するものである。即ち、第1のユーザ状況に対して第1の確率分布情報を関連づけて記憶し、第2のユーザ状況に対して第2の確率分布情報を関連づけて記憶する。なお、ジャンルとは複数のコンテンツを含む概念であるが、場合により1つのコンテンツのみしか存在しない場合や対応するコンテンツが存在しない場合も起こり得る。
【0080】
従って、コンテンツ選択部110は、認識されたユーザのユーザ状況が、第1〜第Nのユーザ状況のうちの第Kのユーザ状況である場合(1≦K≦N)には、第Kのユーザ状況に関連づけられた第Kの確率分布情報を選択履歴情報記憶部124から読み出す。例えば第1のユーザ状況である場合には第1の確率分布情報を読み出し、第2のユーザ状況である場合には第2の確率分布情報を読み出す。そして読み出された第Kの確率分布情報にしたがった確率でジャンル(カテゴリ)を選択し、選択されたジャンルに対応するコンテンツを、提示コンテンツとして選択する。例えば第Kの確率分布情報において、第1のジャンルの選択確率が確率P1で、第2のジャンルの選択確率が確率P2であったとする。この場合には、確率P1で第1のジャンルを選択して、第1のジャンルに対応するコンテンツを選択し、確率P2で第2のジャンルを選択して、第2のジャンルに対応するコンテンツを選択する。
【0081】
また選択履歴情報記憶部124は、複数のユーザの各ユーザ毎に第1〜第Nの確率分布情報を記憶する。例えば第1のユーザに対応して第1のユーザ用の第1〜第Nの確率分布情報を記憶し、第2のユーザに対応して第2のユーザ用の第1〜第Nの確率分布情報を記憶する。そしてコンテンツ選択部110は、認識されたユーザに対応する第1〜第Nの確率分布情報を選択履歴情報記憶部124から読み出して、提示コンテンツを選択する。例えば第1のユーザが認識され、そのユーザ状況が第Kのユーザ状況である場合には、第1のユーザ用の第Kの確率分布情報を読み出す。また第2のユーザが認識され、そのユーザ状況が第Kのユーザ状況である場合には、第2のユーザ用の第Kの確率分布情報を読み出す。
【0082】
ここで、第1〜第Nの確率分布情報の各確率分布情報としては、複数のジャンルの各ジャンルに対して各ジャンルの選択頻度(選択回数)が関連づけられた確率分布テーブルを用いることができる。例えば確率分布テーブルでは、ユーザによる第1のジャンルの選択頻度がSF1であり、第2のジャンルの選択頻度がSF2であった場合には、第1のジャンルに対して選択頻度SF1が関連づけられ、第2のジャンルに対して選択頻度SF2が関連づけられる。
【0083】
また第1〜第Nのユーザ状況に対応して、第1〜第Nのタイムスロットが設定される場合には、選択履歴情報記憶部124は、第1〜第Nのタイムスロットの各タイムスロットに対して、第1〜第Nの確率分布情報の各確率分布情報を関連づけて記憶する。例えば第1のタイムスロットに対して第1の確率分布情報を関連づけて記憶し、第2のタイムスロットに対して第2の確率分布情報を関連づけて記憶する。
【0084】
そしてコンテンツ選択部110は、ユーザ状況である時間が、第Kのタイムスロットに属する場合には、第Kのタイムスロットに関連づけられた第Kの確率分布情報を読み出して、提示コンテンツを選択することになる。
【0085】
補正部111は、確率分布情報(選択履歴情報)の補正処理を行う。例えば補正対象が第Kの確率分布情報である場合には、第K−1の確率分布情報及び第K+1の確率分布情報の少なくとも一方に基づいて、第Kの確率分布情報を補正する。即ち第Kのユーザ状況の前後の第K−1、第K+1のユーザ状況に対応する第K−1、第K+1の確率分布情報により補正処理を行う。そしてコンテンツ選択部110は、補正後の第Kの確率分布情報にしたがった確率でジャンルを選択して、提示コンテンツを選択する。
【0086】
更に具体的には補正部111は、補正前の第Kの確率分布情報に対して、第K−1の確率分布情報及び第K+1の確率分布情報の少なくとも一方に基づく重み付け補正を行う。例えば補正前の第Kの確率分布情報に対して、第K−1の確率分布情報で設定されるジャンル及びその選択確率情報(選択頻度)を、所定の重み付け係数で設定したり、第K+1の確率分布情報で設定されるジャンル及びその選択確率情報(選択頻度)を、所定の重み付け係数で設定する。
【0087】
第1〜第Nのユーザ状況として第1〜第Nのタイムスロットが設定されている場合には、補正部111は、第Kのタイムスロットの前半期間(開始時間を含む所定期間)では、補正前の第Kの確率分布情報に対して、第K−1のタイムスロットの第K−1の確率分布情報に基づく重み付け補正を行う。一方、第Kのタイムスロットの後半期間(終了時間を含む所定期間)では、補正前の第Kの確率分布情報に対して、第K+1のタイムスロットの第K+1の確率分布情報に基づく重み付け補正を行う。
【0088】
提示制御部112は、選択されたコンテンツを、情報提示部142によりユーザに提示するための制御を行う。例えば情報提示部142がウェアラブルディスプレイやデジタルフォトフレームであった場合には、選択されたコンテンツ(コンテンツ画像)を、これらのウェアラブルディスプレイ、デジタルフォトフレームに表示するための制御を行う。
【0089】
情報更新部114は選択履歴情報の更新処理を行う。具体的には情報提示部142により、ジャンルが異なる複数のコンテンツがユーザに提示され、提示されているコンテンツに対してユーザが選択動作を行ったと判断された場合に、選択履歴情報の更新処理を行う。例えば選択履歴情報記憶部124が、複数のジャンルの各ジャンルに対して各ジャンルの選択頻度が関連づけられた情報を、選択履歴情報(選択確率分布情報)として記憶していたとする。すると、情報更新部114は、提示されているコンテンツに対してユーザが選択動作を行ったと判断された場合に、選択動作が行われたコンテンツに対応するジャンルの選択頻度(選択回数)を更新する。例えばそのジャンルの選択頻度をインクリメントする。選択動作の有無はタッチパネル等のユーザインターフェースを設けて、その操作の有無で判定することもできるし、撮像カメラ等による視線検知や顔の向き検知によって選択動作の有無を判定するようにすることも可能である。
【0090】
次に図3のフローチャートを用いて本実施形態の動作について説明する。
【0091】
まず撮像センサ等のユーザ検知センサによりユーザを認識する(ステップS1)。例えばユーザの顔を撮像し、予め登録されたユーザの顔画像と照合し、ユーザの人物人証を行う。また行動センサ、状態センサ、環境センサからのセンサ情報や、予定情報、外部情報を取得する(ステップS2)。そして取得された情報に基づいてユーザの状況(TPOf)を推定する(ステップS3)。
【0092】
次に、ステップS1でのユーザの認識結果と、ステップS3で推定されたユーザ状況と、コンテンツのジャンルの選択履歴情報とに基づいて、複数のコンテンツの中から提示コンテンツを選択する(ステップS4)。即ち、認識されたユーザの各ユーザ状況に関連づけられた選択履歴情報を読み出して、提示コンテンツを選択する。そして選択されたコンテンツを情報提示部によりユーザに提示する(ステップS5)。更に、ユーザのコンテンツの選択動作に基づいて、選択履歴情報を更新する(ステップS6)。例えば、ユーザが選択したコンテンツのジャンルの選択頻度をインクリメントして更新する。
【0093】
以上のようにすることで、ユーザの認識結果と過去の選択履歴に応じた適切なコンテンツを選択してユーザに提示できるようになる。
【0094】
3.タイムスロット
次に、複数のユーザ状況(第1〜第Nのユーザ状況)に対応して複数のタイムスロット(第1〜第Nのタイムスロット)を設定する場合のコンテンツ選択手法について説明する。
【0095】
例えば図4では、1日(24時間)が複数のタイムスロットに分割されている。例えばタイムスロットの間隔が1時間である場合には24個のタイムスロットに分割される。そして各タイムスロットに対して、コンテンツのジャンル(国内ニュース、政治/経済、海外ニュース等)の選択確率分布が設定される。具体的には、各ジャンルの選択頻度(注視回数、クリック数)が選択確率分布として設定される。
【0096】
例えば、第1のタイムスロット(例えば0時〜1時)の時間帯において、ユーザに対してコンテンツを提示し、そのコンテンツをユーザが選択する動作(例えば後述する注視動作やクリック動作)を行ったとする。この場合には、選択されたコンテンツのジャンル(カテゴリ)の選択頻度(選択回数)がインクリメントされて、第1のタイムスロットの確率分布が更新される。同様に次の第2のタイムスロット(例えば1時〜2時)の時間帯において、ユーザに対してコンテンツを提示し、そのコンテンツをユーザが選択する動作を行った場合には、選択されたコンテンツのジャンルの選択頻度がインクリメントされて、第2のタイムスロットの確率分布が更新される。このようにして、ユーザがコンテンツの選択動作を行う毎に各タイムスロットにおける確率分布が更新される。
【0097】
また、ユーザ状況である時間が第1のタイムスロットに属する場合には、第1のタイムスロットに関連づけられた確率分布が読み出され、当該確率分布にしたがった確率でジャンルが選択される。同様にユーザ状況である時間が第2のタイムスロットに属する場合には、第2のタイムスロットに関連づけられた確率分布が読み出され、当該確率分布にしたがった確率でジャンルが選択される。
【0098】
例えば第1のタイムスロットの確率分布では「国内ニュース」のジャンルの選択確率が高かった場合には、高い確率で「国内ニュース」のジャンルが選択され、選択されたジャンルに属するコンテンツがユーザに提示されるようになる。同様に第2のタイムスロットの確率分布では「政治/経済」のジャンルの選択確率が高かった場合には、高い確率で「政治/経済」のジャンルが選択され、選択されたジャンルに属するコンテンツがユーザに提示されるようになる。
【0099】
以上のように本実施形態では、各タイムスロットでのユーザの選択動作により、確率分布が更新され、このようにして更新された確率分布に基づいて各タイムスロットでのユーザの提示コンテンツが選択される。従って、ユーザの選択履歴を反映させたコンテンツの提示が可能になり、これまでにないタイプのコンテンツ提示を実現できる。
【0100】
図5(A)に確率分布テーブルの例を示す。例えば確率分布テーブルUA07には、ユーザUAの6時〜7時のタイムスロットの確率分布情報が格納されている。具体的には「今日の天気」というジャンルに対して、その選択頻度(選択回数)=30が関連づけられ、「ニュース」というジャンルに対して、その選択頻度(選択回数)=35が関連づけられる。同様に確率分布テーブルUB20は、ユーザUBの19時〜20時のタイムスロットの確率分布情報が格納されている。このように本実施形態の確率分布情報は、複数のジャンルに対して各ジャンルの選択頻度が関連づけられた確率分布テーブルにより実現できる。
【0101】
図5(B)にユーザコンテンツテーブル(コンテンツ情報データベース)の例を示す。例えばユーザコンテンツテーブルUACは、ユーザUAのコンテンツ情報が格納されている。具体的には、コンテンツのURL(格納アドレス)が格納されると共に、それに関連づけてコンテンツが属するジャンルが格納されている。例えば選択履歴に基づいてジャンルを選択し、そのジャンルに属するコンテンツを提示する場合には、図5(B)のユーザコンテンツテーブルにおいて、ジャンルを引数としてコンテンツのURLを取得し、そのURLにアクセスしてコンテンツを取得すればよい。
【0102】
4.確率分布情報の補正
本実施形態では、図4の各タイムスロットにおいて後述するデジタルフォトフレーム等により表示すべきコンテンツのジャンルを、使用開始時にユーザが設定できるようにする。またユーザのコンテンツの選択動作(注視等)を記録し、タイムスロット毎に選択頻度のヒストグラムを作成する。そして表示されるコンテンツは、作成されたヒストグラムの確率で決定される。
【0103】
例えば図6に、このようにして作成されたヒストグラムである確率分布の例を示す。この確率分布では、各タイムスロットに関連づけてジャンルの選択頻度(選択回数)が設定されている。
【0104】
図6に示すように、ユーザが設定したジャンルの割り当て方によっては、タイムスロットの区切りにおいてコンテンツの内容が大きく変化してしまう。例えば12時59分までは「今日の注目銘柄の一覧」が表示されていたのに、13時00分になると急に「週末のおすすめスポット」ばかりが表示されるようになる。また、6時〜7時に「ニュース」を表示する設定にしていたのに、起床が遅くなり7時5分に起床すると、見たい「ニュース」が見られなくなる。
【0105】
そこで本実施形態では各タイムスロットの確率分布情報をその前後のタイムスロットの確率分布情報で補正する手法を採用している。例えば第K−1のタイムスロットの第K−1の確率分布情報及び第K+1のタイムスロットの第K+1の確率分布情報の少なくとも一方に基づいて、第Kのタイムスロットの第Kの確率分布情報を補正する。具体的には第K−1の確率分布情報及び前記第K+1の確率分布情報の少なくとも一方に基づく重み付け補正を行う。
【0106】
例えば図7(A)に補正前の確率分布情報を示し、図7(B)に補正後の確率分布情報を示す。図7(B)では、現在のタイムスロット(第Kのタイムスロット)の確率分布情報に対して、前後のタイムスロット(第K−1、第K+1のタイムスロット)の確率分布情報から、例えばそれぞれ1/2の重み付けで選択頻度を加える重み付け補正を行っている。
【0107】
例えば図7(A)に示す補正前においては、現在のタイムスロットに対しては「今日の天気」と「今日の天気情報」のジャンルの選択頻度だけが設定されている。
【0108】
これに対して図7(B)に示す補正後においては、ひとつ前のタイムスロットの「すがすがしい写真」や「ニュース」のジャンルの選択頻度を、現在のタイムスロットに対して例えば1/2の重み付けで加える重み付け補正が行われている。即ち、現在のタイムスロット(第Kのタイムスロット)の例えば前半期間において、ひとつ前のタイムスロット(第K−1のタイムスロット)の選択頻度を加える重み付け補正が行われている。
【0109】
また図7(B)では、ひとつ後のタイムスロットの「地域ニュース」や「今日の天気予報」のジャンルの選択頻度を、現在のタイムスロットに対して例えば1/2の重み付けで加える重み付け補正が行われている。即ち、現在のタイムスロット(第Kのタイムスロット)の例えば後半期間において、ひとつ後のタイムスロット(第K+1のタイムスロット)の選択頻度を加える重み付け補正が行われている。
【0110】
このような補正を行えば、前後のタイムスロットで設定されたコンテンツが、現在のタイムスロットにおいて表示されようになるため、タイムスロットが変わるタイミングにおいて、表示されるコンテンツがシームレスに遷移するようになる。例えば、ユーザが、6時〜7時に「ニュース」を表示する設定にしていたのに、起床が遅くなり7時5分に起床した場合においても、7時〜8時のタイムスロットでは、その前の6時〜7時のタイムスロットの「ニュース」が一定確率で表示されるようになる。従って、ユーザにとって違和感のないコンテンツ表示が可能になる。
【0111】
図8(A)、図8(B)に本実施形態の補正手法の他の例を示す。図8(B)では、現在のタイムスロットが3つの分割タイムスロットTB1〜TB3に分割されている。そして、ひとつ前のタイムスロット(第K−1のタイムスロット)からの寄与を、前半期間の分割タイムスロットTB1に加え、ひとつ後のタイムスロット(第K+1のタイムスロット)からの寄与を、後半期間の分割タイムスロットTB3に加える。真ん中の期間の分割タイムスロットTB2については、補正前のものをそのまま適用する。
【0112】
具体的には、ひとつ前のタイムスロットの「すがすがしい写真」や「ニュース」のジャンルの選択頻度を、前半期間の分割タイムスロットTB1に対して例えば1/2の重み付けで加える重み付け補正を行う。また、ひとつ後のタイムスロットの「地域ニュース」や「今日の天気予報」のジャンルの選択頻度を、後半期間の分割タイムスロットTB3に対して例えば1/2の重み付けで加える重み付け補正を行う。
【0113】
この補正手法によれば、前半期間や後半期間の分割タイムスロット期間TB1、TB3において前後のタイムスロットからの影響が大きかった場合でも、真ん中の期間の分割タイムスロットTB2において、ユーザの設定にしたがったコンテンツが表示されるのを保障できるようになる。
【0114】
以上のように図7(A)〜図8(B)では、現在のタイムスロット(第Kのタイムスロット)の前半期間では、補正前の確率分布情報に対して、ひとつ前のタイムスロット(第K−1のタイムスロット)の確率分布情報に基づく重み付け補正を行っている。一方、後半期間では、補正前の確率分布情報に対して、ひとつ後のタイムスロット(第K+1のタイムスロット)の確率分布情報に基づく重み付け補正を行っている。
【0115】
なお図7(A)〜図8(B)では重み付け係数が1/2である場合を説明したが、重み付け係数は1/2に限定されず、任意の係数に指定可能である。また図8(B)では元のタイムスロットを3等分にしているが、例えば元のタイムスロットである「60分」を「5分 + 50分 + 5分」の3つに分割するなど、任意の間隔で分割することが可能である。また補正処理は例えばシグモイド関数などを用いて実現してもよい。
【0116】
また図7(A)〜図8(B)では、前後のタイムスロットの両方からの重み付け補正を行う場合について説明したが、1つ前のタイムスロットからの重み付け補正のみを行ったり、1つ後のタイムスロットからの重み付け補正のみを行うようにしてもよい。
【0117】
また、補正後の確率分布情報については、選択履歴情報記憶部124に保存(上書き保存)するようにしてもよいし、保存しないようにしてもよい。例えば、保存する場合には、図7(A)の補正前の現在のタイムスロットの確率分布(選択頻度)を、図7(B)のような補正後の確率分布に置き換える。一方、保存しない場合には、補正後の結果は破棄し、常にリアルタイムで補正することになる。
【0118】
また図7(A)〜図8(B)では、各タイムスロットに対して設定される確率分布情報について補正を行う場合について説明したが、図1(A)、図1(B)で説明した各ユーザ状況に対して設定される確率分布情報に対して補正を行うようにしてもよい。
【0119】
例えば第K−1、第K、第K+1の各ユーザ状況に対して、第K−1、第K、第K+1の各確率分布情報が設定されていたとする。この場合に第K−1のユーザ状況の第K−1の確率分布情報及び第K+1のユーザ状況の第K+1の確率分布情報の少なくとも一方に基づいて、第Kのユーザ状況の第Kの確率分布情報を補正する。更に具体的には補正前の第Kの確率分布情報に対して、第K−1の確率分布情報及び第K+1の確率分布情報の少なくとも一方に基づく重み付け補正を行う。そして補正後の第Kの確率分布情報にしたがった確率でジャンルを選択して、コンテンツを表示する。
【0120】
例えば第K−1のユーザ状況が「通勤中」であり、第Kのユーザ状況が「勤務中」であったとする。この場合には、例えば勤務開始直後の前半期間においては、通勤中に表示していたコンテンツを一定の重み付けで表示する。また第K+1のユーザ状況が「帰宅中」である場合には、勤務終了直前の後半期間においては、帰宅中に表示すべきコンテンツを一定の重み付けの確率で表示する。このようにすれば、表示されるコンテンツが突然切り替わって、ユーザが違和感を感じる事態を防止できる。同様に、第K−1のユーザ状況が「リラックス状態」で第Kのユーザ状況が「緊張状態」である場合には、ユーザが緊張状態であると判定された直後の前半期間では、リラックス状態のコンテンツを一定の重み付けの確率で表示する。このようにすれば、表示されるコンテンツを、リラックス状態用のコンテンツから緊張状態用のコンテンツに自然に切り替えることが可能になる。
【0121】
また、例えばセンサによりユーザ状況を推定する場合、センサの精度等は完全ではないため、ユーザ状況の切り替わりを正確に判別することは難しい。例えばユーザが会社に出社した場合に、どのタイミングで「通勤中」から「勤務中」に切り替わったのかを正確に判別することは難しい。
【0122】
この点、本実施形態の手法によれば、「通勤中」から「勤務中」への遷移時に、表示されるコンテンツが、通勤中用のコンテンツから勤務中用のコンテンツにシームレスに切り替わる。従って、センサの精度等が原因で、「通勤中」から「勤務中」に切り替わるタイミングを正確に判別できない場合にも、これに対処することが可能になる。
【0123】
5.デジタルフォトフレーム
次に本実施形態の手法をデジタルフォトフレーム(広義には画像表示装置)に適用した場合について説明する。なお本実施形態が適用される画像表示装置はデジタルフォトフレームには限定されず、例えばウェアラブルディスプレイや携帯型情報端末のディスプレイなどの種々の画像表示装置に適用できる。またウェアラブルディスプレイとしては、例えばユーザの眼の近傍に装着されるシースルービューアのディスプレイなどを用いることができる。
【0124】
図9(A)にデジタルフォトフレーム300(デジタルフォトプレーヤ、画像再生装置)の例を示す。図9(A)は、いわゆるフォトスタンドタイプのデジタルフォトフレームの例である。このデジタルフォトフレーム300は、家の中などの任意の場所にユーザにより設置される。そして、デジタルの画像データや音データなどのコンテンツ情報の再生処理(画像再生、音再生)を実行する。デジタルフォトフレーム300は、例えばユーザの明示的な再生指示がなくても、画像等のコンテンツ情報(メディア情報)を自動的に再生することができる。例えば写真のスライドショーを自動的に実行したり、映像の自動再生を行う。
【0125】
なお図9(A)はフォトスタンドタイプのデジタルフォトフレームの例であるが、例えば図9(B)に示すように、壁掛けタイプのものであってもよい。この壁掛けタイプのデジタルフォトフレームとしては、例えば電気泳動型ディスプレイ等により実現される電子ペーパなどを用いることができる。また、デジタルフォトフレーム300に、コンテンツ情報の再生指示ボタンなどを設けたり、リモコンを用いて再生指示ができるようにしてもよい。
【0126】
デジタルフォトフレーム300は、例えばSDカード等のメモリカードのインターフェースを備えることができる。或いは、無線LAN、ブルートゥースなどの無線通信のインターフェースや、USB等の有線の通信インターフェースを備えることができる。例えばユーザが、メモリカードにコンテンツ情報を保存して、デジタルフォトフレーム300のメモリカードインターフェースに装着すると、デジタルフォトフレーム300は、メモリカードに保存されたコンテンツ情報の自動再生(スライドショー等)を実行する。或いは、デジタルフォトフレーム300は、無線通信や有線通信によりに外部からコンテンツ情報を受信すると、このコンテンツ情報の再生処理(自動再生処理)を実行する。例えば、ユーザが所持するデジタルカメラや携帯電話機などの携帯型電子機器がブルートゥース等の無線機能を有する場合には、この無線機能を利用して、携帯型電子機器からデジタルフォトフレーム300にコンテンツ情報を転送する。すると、デジタルフォトフレーム300は、転送されたコンテンツ情報の再生処理を実行する。
【0127】
図10にデジタルフォトフレーム300及びデジタルフォトフレーム300に通信接続されるサーバ200(狭義にはホームサーバ、広義には情報処理システム)の構成例を示す。デジタルフォトフレーム300は、処理部302、記憶部320、通信部338、表示部340、センサ350、操作部360を含む。サーバ200は、処理部202、記憶部220、通信部238を含む。なおこれらの一部の構成要素を省略したり、他の構成要素を追加するなどの種々の変形実施が可能である。
【0128】
デジタルフォトフレーム300の処理部302は、各種の制御処理や演算処理を行う。例えばデジタルフォトフレーム300の各部の制御を行ったり全体的な制御を行う。この処理部302の機能は、各種プロセッサ(CPU等)、ASIC(ゲートアレイ等)などのハードウェアや、情報記憶媒体330に記憶されたプログラムなどにより実現できる。
【0129】
記憶部320は、処理部302、通信部338などのワーク領域となるものであり、その機能はRAMなどのメモリやHDD(ハードディスクドライブ)などにより実現できる。この記憶部320は、ユーザの認証情報を記憶する認証情報記憶部322を含む。
【0130】
情報記憶媒体330(コンピュータにより読み取り可能な媒体)は、プログラムやデータなどを格納するものであり、その機能は、メモリカードや光ディスクなどにより実現できる。処理部302は、情報記憶媒体330に格納されるプログラム(データ)に基づいて本実施形態の種々の処理を行う。
【0131】
通信部338は、無線や有線の通信などにより外部デバイス(例えばサーバ、携帯型電子機器)との間で情報のやり取りを行うものであり、その機能は、通信用ASIC又は通信用プロセッサなどのハードウェアや、通信用ファームウェアにより実現できる。
【0132】
表示部340は、コンテンツ情報である画像を表示するためのものであり、例えば液晶ディスプレイや、有機ELなどの発光素子を用いたディスプレイや、電気泳動型ディスプレイなどにより実現できる。
【0133】
センサ350(ユーザ検知センサ、人体検知センサ)は、ユーザ(ユーザ認証、ユーザ状態等)の検知等のためのセンサであり、検知結果に基づいて検知情報を出力する。本実施形態では、センサ350を、人物認証のためのセンサとして用いる。或いは、ユーザと表示部340(表示画面、デジタルフォトフレーム)との位置関係や、表示部340に対するユーザの視認状態や、ユーザが検知範囲内に存在するか否かなどを判断するためのセンサとして用いてもよい。センサ350としては、CCDやCMOSセンサなどの撮像センサや、焦電センサなどの人感センサを用いることができる。
【0134】
なおセンサ350は、デジタルフォトフレーム300に直接に取り付けてもよいし、ホームセンサなどをセンサ350として利用してもよい。センサ350をデジタルフォトフレーム300に取り付ける場合には、図9(A)に示すように、センサ350をデジタルフォトフレーム300の例えば枠の部分に取り付けることができる。或いは有線のケーブル等を用いてセンサ350とデジタルフォトフレーム300を接続する形態にしてもよい。
【0135】
操作部360は、ユーザが各種情報を入力するためのものであり、例えば操作ボタンやリモコン装置などにより実現できる。ユーザは、この操作部360を用いて、ユーザ登録を行ったり、自身が所望する再生コンテンツ(お気に入り画像)の登録などを行うことができる。例えばユーザは、操作部360を用いて、ユーザ登録情報を入力することができる。
【0136】
処理部302は、センサ情報取得部304、ユーザ認識部306、ユーザ状態判断部308、表示制御部310を含む。なお、これらの一部の構成要素を省略したり、他の構成要素を追加するなどの種々の変形実施が可能である。
【0137】
センサ情報取得部304はセンサ350からのセンサ情報を取得する。ユーザ認識部306はユーザの認識処理を行う。例えば、センサ350である撮像センサによりユーザの顔画像を撮像し、撮像データ(特徴点データ)等をそのユーザの認証情報として認証情報記憶部322に保存する。そしてユーザ認識の際には、保存されたユーザ認証情報に基づいて人物認証を行う。
【0138】
ユーザ状態判断部308は、センサ情報取得部304により取得されたセンサ情報に基づいてユーザ状態を判断する。例えば、取得されたセンサ情報に基づいて、ユーザ(人物)と表示部340との位置関係、表示部340に対するユーザの視認状態、及びユーザが検知範囲内に存在するか否かの少なくとも1つを判断する。
【0139】
ここで位置関係は、ユーザと表示部340との距離(距離情報、距離パラメータ)や、表示部340に対するユーザの視線方向などである。
【0140】
また視認状態は、ユーザの視野範囲の状態や注視状態などであり、具体的には、ユーザの視野範囲(ビューボリューム)に表示部340が入っているか否かや、ユーザが表示部340を注視しているか否かなどである。例えばユーザが表示部340を注視している状態か否かは、注視状態判断部309が判断する。
【0141】
例えばセンサ350として、ユーザを撮像する撮像センサが設けられたとする。この場合には、ユーザ状態判断部308(位置関係判断部)は、撮像センサからの撮像情報に基づいて、ユーザの顔領域(矩形の枠領域)を検出する。そして検出された顔領域のサイズに基づいて、ユーザと表示部340との間の距離を判断(推定)する。またユーザ状態判断部308は、検出された顔領域を内包し顔領域よりもサイズが大きな計測領域を設定する。即ち顔領域にオーバーラップする計測領域を設定する。そして計測領域内に顔領域が存在する時間を計測し、計測された時間に基づいて、ユーザが表示部340を注視しているか否かを判断する。例えば計測領域内への存在時間が所定時間以上であった場合に、ユーザが注視していたと判断する。
【0142】
表示制御部310は、表示部340の表示制御を行う。具体的には、複数のコンテンツの中から選択された提示コンテンツの画像を、表示部340に表示する制御を行う。例えば、サーバ200により提示コンテンツが選択され、そのコンテンツの情報を通信部338を介して受信すると、受信したコンテンツ情報に基づいて、表示部340にコンテンツ画像を表示するための制御を行う。
【0143】
ここで本実施形態では図1(A)、図1(B)等で説明したように、ユーザが選択したコンテンツのジャンルの選択履歴情報が、時間、ユーザが滞在する場所及びユーザの状態の少なくとも1つであるユーザ状況(TPOf)に関連づけられている。そして表示制御部310は、ユーザ認識部306によりユーザが認識され、認識されたユーザのユーザ状況に関連づけられた選択履歴情報に基づいて提示コンテンツが選択されると、選択された提示コンテンツの画像を表示部340に表示する制御を行う。即ち、ユーザの認識結果と、ユーザ状況と、選択履歴情報とに基づき選択されたコンテンツの画像を表示する制御を行う。
【0144】
また表示制御部310は、ユーザ認識部306によりユーザが認識されなかった場合には、複数のコンテンツの中からランダムに選択されたコンテンツの画像を、表示部340に表示する制御を行う。例えば複数のコンテンツの中からランダムに選択されたコンテンツのスライド表示等を行う。
【0145】
また表示制御部310は、ユーザ認識部306により認識されたユーザが、提示されているコンテンツに対して選択動作(例えば注視動作)を行っていないと判断された場合(例えば、ユーザは認識されたがユーザが注視していないと判断された場合)には、認識されたユーザのユーザ状況と選択履歴情報とに基づき選択されたコンテンツの画像を表示する制御を行う。一方、ユーザ認識部により認識されたユーザが、提示されているコンテンツに対して選択動作を行ったと判断された場合(例えば、ユーザが認識され、且つユーザが表示部340を注視している判断された場合)には、ユーザの選択動作時(例えば注視時)に提示されていたコンテンツのジャンルに属するコンテンツの画像を表示する制御を行う。なお、表示部に表示されているコンテンツの画像に対してユーザが選択動作を行ったと判断された場合には、ユーザの選択動作時に表示されていたコンテンツのジャンルの選択頻度(選択回数)が更新(インクリメント)される。
【0146】
サーバ200の処理部202は、管理処理などの各種の処理を行うものであり、CPU等のプロセッサやASICなどにより実現できる。記憶部220は、処理部202や通信部238のワーク領域となるものであり、例えばRAMやHDD等により実現できる。通信部238は、デジタルフォトフレーム300や外部サーバ600と有線又は無線で通信を行うためのものであり、通信用ASIC又は通信用プロセッサなどにより実現できる。
【0147】
処理部202はコンテンツ選択部204、情報更新部206を含む。コンテンツ選択部204は、ユーザの認識結果とユーザ状況に基づいて、認識されたユーザの各ユーザ状況に関連づけられた選択履歴情報を、選択履歴情報記憶部226から読み出し、読み出された選択履歴情報に基づき提示コンテンツを選択する。情報更新部206は、提示コンテンツに対してユーザが選択動作を行ったと判断された場合に、選択履歴情報の更新処理を行う。記憶部220は、ユーザに関する種々の情報を記憶するユーザ情報記憶部222と、コンテンツ情報を記憶するコンテンツ情報記憶部224と、選択履歴情報を記憶する選択履歴情報記憶部226を含む。なお図10では、コンテンツの選択や選択履歴情報の更新をサーバ側で行う場合の例を示しているが、これらをデジタルフォトフレーム側で行うようにしてもよい。
【0148】
図10では、デジタルフォトフレーム300とサーバ200は、例えば無線LAN等のネットワークで通信接続されている。そしてデジタルフォトフレーム300によりユーザが認識されると、デジタルフォトフレーム300は、ユーザの認識結果をネットワークを介してサーバ200に送信する。するとサーバ200は、受信したユーザの認識結果に基づいて、そのユーザのユーザ状況に関連づけられた選択履歴情報を選択履歴情報記憶部226から読み出す。そして読み出された選択履歴情報に基づいて提示コンテンツを選択し、選択された提示コンテンツの情報をネットワークを介してデジタルフォトフレーム300に送信する。すると、デジタルフォトフレーム300は、受信した提示コンテンツの情報に基づいて、提示コンテンツの画像を表示部340に表示する。
【0149】
ユーザは例えば図11(A)に示すようなアップロード画面を用いて、サーバ200のコンテンツ情報記憶部224にコンテンツを登録する。具体的には、ユーザは、ユーザ名及びパスワードを入力する。そしてWebブラウザなどのクライアントプログラムを使用して、自身が持っている画像、動画や他のホームページのURLなどのコンテンツを、ユーザ名及びパスワードに関連づけて、図11(A)のアップロード画面を用いてコンテンツ情報記憶部224に登録する。この場合に、例えばユーザ登録画面において、撮像センサなどを用いてユーザの顔画像等を撮影し、撮影された顔画像等にユーザ名及びパスワードを関連づけて、ユーザ登録情報として予め登録しておく。そしてデジタルフォトフレーム300(クライアント)のユーザ認識部306が、撮像センサで撮影された顔画像等によりユーザを認識すると、その顔画像等に関連づけられたユーザ名及びパスワード等を引数にして、サーバ200にリクエストを送信する。サーバ200のコンテンツ選択部204は、このリクエストを受信すると、リクエストに含まれるユーザ名及びパスワード等に基づいて、図11(A)で登録されたコンテンツを、そのユーザに提示するコンテンツとして選択することになる。
【0150】
図11(B)に、ユーザ情報記憶部222(ユーザデータベース)のデータ構造の例を示す。ユーザ情報記憶部222には、ユーザ名(文字列)、パスワード(文字列)、及び直前において「seeing」の状態で送信されたジャンル(文字列)が保持される。
【0151】
図12に図11のシステムの動作を説明するための状態遷移図を示す。図12に示すように、ユーザが認識されず、ユーザが非存在(none)であると判断された場合には、複数のコンテンツの中からランダムに選択されたコンテンツを表示する(状態ST1)。
【0152】
またユーザが認識されると、ユーザ状況と選択履歴情報により選択されたコンテンツを表示する(状態ST2)。即ち、ユーザは存在するが、表示部340を注視していない状態では(seeing)、ユーザが図11(A)でアップロードしたコンテンツを、図1(A)、図1(B)や図4で説明した手法により表示する。
【0153】
またユーザが選択動作を行っていると判断されると、具体的にはユーザが表示部340を注視していると判断されると(looking)、選択動作時(注視時)に提示されていたコンテンツのジャンルに属するコンテンツを表示する(状態ST3)。例えば注視していたジャンルのスライドショーを作成して表示する。
【0154】
図12では、状態ST1とST2の間の遷移や、状態ST2とST3の間の遷移や、状態ST3からST1への遷移は可能になっているが、状態ST1からST3への遷移は不可になっている。
【0155】
次に図13、図14のフローチャートを用いて本実施形態の動作を説明する。図13はデジタルフォトフレーム300の動作を説明するためのフローチャートである。
【0156】
デジタルフォトフレーム300の電源投入等が行われると、センサによりユーザが検知されたか否かが判断され(ステップS11)、検知された場合には、認証情報記憶部322に記憶された認証情報によりユーザの照合が行われる(ステップS12)。そして、検知されたユーザが登録ユーザであると認識されると(ステップS13)、ユーザが表示部340を注視しているか否かが判断される(ステップS16)。一方、ユーザが認識されないと、図12の状態ST1であるユーザ非存在(none)でサーバ200にリクエストを送信する(ステップS14)。そして現在のユーザ状態を保持し、サーバ200から送られてきたコンテンツを表示部340に表示する(ステップS15)。
【0157】
ステップS16で、ユーザが表示部340を注視していると判断された場合には、直前のユーザ状態を判断する(ステップS17)。そして直前のユーザ状態が図12のユーザ認識の状態ST2(seeing)であった場合には、ユーザ名、パスワード、注視フラグ=Yesを引数にしてサーバ200にリクエストを送信する(ステップS18)。また、直前の状態が図12のユーザ非存在の状態ST1(none)である場合には、ユーザ名、パスワード、注視フラグ=Noを引数にしてサーバ200にリクエストを送信する(ステップS19)。そして現在の状態を保持し、サーバ200から送られてきたコンテンツを表示部340に表示する。一方、直前の状態が図12のユーザ注視の状態ST3(looking)である場合には、現在の状態を保持し、サーバ200から送られてきたコンテンツを表示部340に表示する。
【0158】
図14はサーバ200の動作を説明するためのフローチャートである。まずデジタルフォトフレーム300からリクエストを受信したか否かを判断する(ステップS31)。即ち図13のステップS14、S18、S19のリクエストを受信したか否かを判断する。そしてリクエストを受信すると、リクエストの引数であるユーザ名とパスワードを確認する(ステップS32)。そしてユーザが登録ユーザであることが認識されると、リクエストの引数に基づいて、ユーザがデジタルフォトフレーム300の表示部340を注視しているか否かを判断する(ステップS33、S34)。例えば図13のステップS18で注視フラグ=Yesとなっていた場合にはユーザが注視していると判断され、ステップS19で注視フラグ=Noとなっていた場合にはユーザが注視していないと判断される。
【0159】
ユーザが注視していると判断された場合には、選択されたコンテンツのジャンルの選択頻度(選択回数)を例えば1だけインクリメントする(ステップS35)。これにより図4等で説明した確率分布情報の更新が実行される。次に、ユーザ情報記憶部222に保存されているジャンルのスライドショーを作成し、デジタルフォトフレーム300にコンテンツを送信する(ステップS36、S37)。
【0160】
一方、ステップS33でユーザが認識されなかった場合には、ユーザが不在であると考えられるため、コンテンツ情報記憶部224からコンテンツをランダムに選択し、選択されたコンテンツをデジタルフォトフレーム300に送信する(ステップS38、S37)。
【0161】
またステップS34でユーザが注視していないと判断された場合には、ユーザ状況(時間)と選択履歴情報に基づき、コンテンツを選択する(ステップS39)。具体的には、図4等で説明したように、ユーザ状況である時間が属するタイムスロットに関連づけられた確率分布情報を読み出して、読み出された確率分布情報にしたがった確率でジャンルを選択する。そして選択されたコンテンツのジャンルをユーザ情報記憶部222に保存して、デジタルフォトフレーム300にコンテンツを送信する(ステップS40、S37)。
【0162】
以上のように本実施形態によれば、図13のステップS13、S14に示すように、ユーザが認識されず、ユーザ非存在(none)でサーバ200にリクエストが送信されると、図14のステップS33、S38に示すように、コンテンツがランダムに選択される。そして選択されたコンテンツがデジタルフォトフレーム300に送信されて、表示部340に表示される。これにより図12の状態ST1において、ランダムに選択されたコンテンツが表示されるようになる。
【0163】
また図13のステップS16、S19に示すように、ユーザは認識されたが、ユーザが表示部340を注視していないと判断され、注視フラグ=Noでサーバ200にリクエストが送信されると、図14のステップS34、S39に示すように、ユーザ状況と選択履歴情報に基づきコンテンツが選択される。図13のステップS16、S17、S19に示すようにユーザが注視しているが、直前のユーザの状態がユーザ非存在である場合も同様である。そして選択されたコンテンツがデジタルフォトフレーム300に送信されて、表示部340に表示される。これにより図12の状態ST2に留まっている場合や状態ST1からST2に移行した場合に、ユーザ状況と選択履歴情報に基づき選択されたコンテンツが表示されるようになる(seeing)。
【0164】
また図13のステップS16、S17、S18に示すように、ユーザが表示部340を注視していると判断され、注視フラグ=Yesでサーバ200にリクエストが送信されたとする。この場合には、図14のステップS35、S36に示すように、選択されたコンテンツのジャンルの選択頻度がインクリメントされると共に、ステップS40でユーザ情報記憶部224に保存されているジャンルのスライドショーが作成されて、そのスライドショーが表示部340に表示される。これにより図12の状態ST2からST3に移行した場合に、選択頻度がインクリメントされると共に、注視時に表示されていたコンテンツのジャンルのスライドショーが表示されるようになる。
【0165】
即ち本実施形態では、図14のステップS33、S34、S39に示すように、ユーザが認識されたが注視していないと判断された場合には、図4で説明したような選択履歴情報に基づいてコンテンツが選択される。そしてステップS40に示すように、この時に選択されたコンテンツのジャンルが、直前に選択されたコンテンツのジャンルとして保存される。そして、コンテンツを提示し、ステップS34においてそのコンテンツをユーザが注視していると判断された場合には、ステップS40で保存された直前のコンテンツのジャンルの選択頻度が、ステップS35に示すようにインクリメントされる。これにより、選択履歴情報に基づくコンテンツの表示と、そのコンテンツを注視した場合の選択頻度の更新とを適正に実現できるようになる。
【0166】
また図13のステップS16、S17、S20に示すように、ユーザが表示部340を注視していると判断され、直前のユーザ状態が注視状態であった場合には、現在のユーザ状態が保持され、サーバ200から送られてきたコンテンツが表示される。これにより図12の状態ST3に留まっている場合に、注視時に表示されていたコンテンツのジャンルのスライドショーが引き続き表示されるようになる。
【0167】
なお、上記のように本実施形態について詳細に説明したが、本発明の新規事項および効果から実体的に逸脱しない多くの変形が可能であることは当業者には容易に理解できるであろう。従って、このような変形例はすべて本発明の範囲に含まれるものとする。例えば、明細書又は図面において、少なくとも一度、より広義または同義な異なる用語(情報処理システム、画像表示装置等)と共に記載された用語(サーバ、デジタルフォトフレーム等)は、明細書又は図面のいかなる箇所においても、その異なる用語に置き換えることができる。また情報処理システム、画像表示装置の構成、動作や、コンテンツの選択手法、選択履歴情報の記憶・更新手法等も本実施形態で説明したものに限定に限定されず、種々の変形実施が可能である。
【符号の説明】
【0168】
102 処理部、104 センサ情報取得部、106 ユーザ認識部、
108 状況推定部、110 コンテンツ選択部、111 補正部、
112 提示制御部、114 情報更新部、120 記憶部、
122 コンテンツ情報記憶部、124 選択履歴情報記憶部、
126 予定情報記憶部、130 情報記憶媒体、138 通信部、
142 情報提示部、150 センサ、200 サーバ、202 処理部、
204 コンテンツ選択部、206 情報更新部、220 記憶部、
222 ユーザ情報記憶部、224 コンテンツ情報記憶部、
226 選択履歴情報記憶部、238 通信部、300 デジタルフォトフレーム、
302 処理部、304 センサ情報取得部、306 ユーザ認識部、
308 ユーザ状態判断部、309 注視状態判断部、310 表示制御部、
320 記憶部、322 認証情報記憶部、330 情報記憶媒体、338 通信部、
340 表示部、350 センサ、360 操作部

【特許請求の範囲】
【請求項1】
ユーザを認識するユーザ認識部と、
ユーザが選択したコンテンツのジャンルの選択履歴情報を、時間、ユーザが滞在する場所及びユーザの状態の少なくとも1つであるユーザ状況に関連づけて記憶する選択履歴情報記憶部と、
前記ユーザ認識部によりユーザが認識された場合に、ユーザの認識結果とユーザ状況に基づいて、認識されたユーザの各ユーザ状況に関連づけられた前記選択履歴情報を、前記選択履歴情報記憶部から読み出し、読み出された前記選択履歴情報に基づいて、複数のコンテンツの中からユーザへの提示コンテンツを選択するコンテンツ選択部と、
を含むことを特徴とする情報処理システム。
【請求項2】
請求項1において、
前記選択履歴情報記憶部は、
第1〜第Nのユーザ状況の各ユーザ状況に対して、ジャンルの選択についての第1〜第Nの確率分布情報の各確率分布情報を関連づけて記憶し、
前記コンテンツ選択部は、
認識されたユーザのユーザ状況が、前記第1〜第Nのユーザ状況のうちの第Kのユーザ状況である場合(1≦K≦N)には、前記第Kのユーザ状況に関連づけられた第Kの確率分布情報を前記選択履歴情報記憶部から読み出し、読み出された前記第Kの確率分布情報にしたがった確率でジャンルを選択し、選択されたジャンルに対応するコンテンツを、前記提示コンテンツとして選択することを特徴とする情報処理システム。
【請求項3】
請求項2において、
前記選択履歴情報記憶部は、
複数のユーザの各ユーザ毎に前記第1〜第Nの確率分布情報を記憶し、
前記コンテンツ選択部は、
認識されたユーザに対応する前記第1〜第Nの確率分布情報を前記選択履歴情報記憶部から読み出して、前記提示コンテンツを選択することを特徴とする情報処理システム。
【請求項4】
請求項2又は3において、
前記第1〜第Nの確率分布情報の各確率分布情報は、複数のジャンルの各ジャンルに対して各ジャンルの選択頻度が関連づけられた確率分布テーブルであることを特徴とする情報処理システム。
【請求項5】
請求項2乃至4のいずれかにおいて、
第K−1の確率分布情報及び第K+1の確率分布情報の少なくとも一方に基づいて、前記第Kの確率分布情報を補正する補正部を含み、
前記コンテンツ選択部は、
補正後の前記第Kの確率分布情報にしたがった確率でジャンルを選択して、提示コンテンツを選択することを特徴とする情報処理システム。
【請求項6】
請求項5において、
前記補正部は、
補正前の前記第Kの確率分布情報に対して、前記第K−1の確率分布情報及び前記第K+1の確率分布情報の少なくとも一方に基づく重み付け補正を行うことを特徴とする情報処理システム。
【請求項7】
請求項2乃至6のいずれかにおいて、
前記第1〜第Nのユーザ状況に対応して第1〜第Nのタイムスロットが設定され、
前記選択履歴情報記憶部は、
前記第1〜第Nのタイムスロットの各タイムスロットに対して、前記第1〜第Nの確率分布情報の各確率分布情報を関連づけて記憶し、
前記コンテンツ選択部は、
ユーザ状況である時間が、前記第1〜第Nのタイムスロットの第Kのタイムスロットに属する場合には、前記第Kのタイムスロットに関連づけられた前記第Kの確率分布情報を前記選択履歴情報記憶部から読み出して、前記提示コンテンツを選択することを特徴とする情報処理システム。
【請求項8】
請求項7において、
第K−1の確率分布情報及び第K+1の確率分布情報の少なくとも一方に基づいて、前記第Kの確率分布情報を補正する補正部を含み、
前記補正部は、
前記第Kのタイムスロットの前半期間では、補正前の前記第Kの確率分布情報に対して、第K−1のタイムスロットの前記第K−1の確率分布情報に基づく重み付け補正を行い、
前記第Kのタイムスロットの後半期間では、補正前の前記第Kの確率分布情報に対して、第K+1のタイムスロットの前記第K+1の確率分布情報に基づく重み付け補正を行うことを特徴とする情報処理システム。
【請求項9】
請求項1乃至8のいずれかにおいて、
前記選択履歴情報記憶部に記憶される前記選択履歴情報の更新処理を行う情報更新部を含み、
前記情報更新部は、
ジャンルが異なる複数のコンテンツがユーザに提示され、提示されているコンテンツに対してユーザが選択動作を行ったと判断された場合に、前記選択履歴情報の更新処理を行うことを特徴とする情報処理システム。
【請求項10】
請求項9において、
前記選択履歴情報記憶部は、
複数のジャンルの各ジャンルに対して各ジャンルの選択頻度が関連づけられた情報を、前記選択履歴情報として記憶し、
前記情報更新部は、
提示されているコンテンツに対してユーザが選択動作を行ったと判断された場合に、選択動作が行われたコンテンツに対応するジャンルの前記選択頻度を更新することを特徴とする情報処理システム。
【請求項11】
請求項1乃至10のいずれかにおいて、
前記コンテンツ選択部は、
前記ユーザ認識部によりユーザが認識されなかった場合には、複数のコンテンツの中からランダムに前記提示コンテンツを選択することを特徴とする情報処理システム。
【請求項12】
請求項1乃至11のいずれかにおいて、
前記コンテンツ選択部は、
前記ユーザ認識部により認識されたユーザが、提示されているコンテンツに対して選択動作を行っていないと判断された場合に、認識されたユーザのユーザ状況と前記選択履歴情報とに基づいて、前記提示コンテンツを選択することを特徴とする情報処理システム。
【請求項13】
請求項12において、
前記コンテンツ選択部は、
前記ユーザ認識部により認識されたユーザが、提示されているコンテンツに対して選択動作を行ったと判断された場合には、ユーザの選択動作時に提示されていたコンテンツのジャンルに属するコンテンツを、前記提示コンテンツとして選択することを特徴とする情報処理システム。
【請求項14】
請求項13において、
前記コンテンツ選択部は、
コンテンツの画像が表示される表示部をユーザが注視していると判断された場合に、ユーザがコンテンツの選択動作を行っていると判断することを特徴とする画像表示装置。
【請求項15】
請求項12乃至14のいずれかにおいて、
前記選択履歴情報記憶部に記憶される前記選択履歴情報の更新処理を行う情報更新部を含み、
前記情報更新部は、
提示されているコンテンツに対してユーザが選択動作を行ったと判断された場合に、前記選択履歴情報の更新処理を行うことを特徴とする情報処理システム。
【請求項16】
請求項1乃至15のいずれかにおいて、
ユーザの行動を計測する行動センサ、ユーザの状態を計測する状態センサ及びユーザの環境を計測する環境センサの少なくとも1つのセンサからのセンサ情報を含む情報に基づいて、ユーザの状況を推定するユーザ状況推定部を含むことを特徴とする情報処理システム。
【請求項17】
画像を表示する表示部と、
ユーザを認識するユーザ認識部と、
複数のコンテンツの中から選択されたコンテンツの画像を、前記表示部に表示する制御を行う表示制御部とを含み、
ユーザが選択したコンテンツのジャンルの選択履歴情報が、時間、ユーザが滞在する場所及びユーザの状態の少なくとも1つであるユーザ状況に関連づけられており、
前記表示制御部は、
前記ユーザ認識部によりユーザが認識され、認識されたユーザのユーザ状況に関連づけられた前記選択履歴情報に基づいてコンテンツが選択された場合に、選択されたコンテンツの画像を、前記表示部に表示する制御を行うことを特徴とする画像表示装置。
【請求項18】
請求項17において、
前記表示制御部は、
前記ユーザ認識部によりユーザが認識されなかった場合には、複数のコンテンツの中からランダムに選択されたコンテンツの画像を、前記表示部に表示する制御を行うことを特徴とする画像表示装置。
【請求項19】
請求項17又は18において、
前記表示制御部は、
前記ユーザ認識部により認識されたユーザが、提示されているコンテンツに対して選択動作を行っていないと判断された場合に、認識されたユーザのユーザ状況と前記選択履歴情報とに基づき選択されたコンテンツの画像を、前記表示部に表示する制御を行うことを特徴とする画像表示装置。
【請求項20】
請求項19において、
前記表示制御部は、
前記ユーザ認識部により認識されたユーザが、提示されているコンテンツに対して選択動作を行ったと判断された場合には、ユーザの選択動作時に提示されていたコンテンツのジャンルに属するコンテンツの画像を、前記表示部に表示する制御を行うことを特徴とする画像表示装置。
【請求項21】
請求項20において、
ユーザが前記表示部を注視しているか否かを判断する注視状態判断部を含み、
前記表示制御部は、
前記表示部をユーザが注視していると判断された場合に、ユーザの注視時に表示されていたコンテンツのジャンルに属するコンテンツの画像を、前記表示部に表示する制御を行うことを特徴とする画像表示装置。
【請求項22】
請求項17乃至21のいずれかにおいて、
前記選択履歴情報は、複数のジャンルの各ジャンルに対して各ジャンルの選択頻度が関連づけられた情報であり、
前記表示部に表示されているコンテンツの画像に対してユーザが選択動作を行ったと判断された場合に、ユーザの選択動作時に表示されていたコンテンツのジャンルの前記選択頻度が更新されることを特徴とする画像表示装置。
【請求項23】
ユーザを認識するユーザ認識部と、
ユーザが選択したコンテンツのジャンルの選択履歴情報を、時間、ユーザが滞在する場所及びユーザの状態の少なくとも1つであるユーザ状況に関連づけて記憶する選択履歴情報記憶部と、
前記ユーザ認識部によりユーザが認識された場合に、ユーザの認識結果とユーザ状況に基づいて、認識されたユーザの各ユーザ状況に関連づけられた前記選択履歴情報を、前記選択履歴情報記憶部から読み出し、読み出された前記選択履歴情報に基づいて、複数のコンテンツの中からユーザへの提示コンテンツを選択するコンテンツ選択部として、
コンピュータを機能させることを特徴とするプログラム。
【請求項24】
ユーザを認識するユーザ認識部と、
複数のコンテンツの中から選択されたコンテンツの画像を、表示部に表示する制御を行う表示制御部として、
コンピュータを機能させ、
ユーザが選択したコンテンツのジャンルの選択履歴情報が、時間、ユーザが滞在する場所及びユーザの状態の少なくとも1つであるユーザ状況に関連づけられており、
前記表示制御部は、
前記ユーザ認識部によりユーザが認識され、認識されたユーザのユーザ状況に関連づけられた前記選択履歴情報に基づいてコンテンツが選択された場合に、選択されたコンテンツの画像を、前記表示部に表示する制御を行うことを特徴とするプログラム。
【請求項25】
コンピュータ読み取り可能な情報記憶媒体であって、請求項23又は24に記載のプログラムを記憶したことを特徴とする情報記憶媒体。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate

【図9】
image rotate

【図10】
image rotate

【図11】
image rotate

【図12】
image rotate

【図13】
image rotate

【図14】
image rotate


【公開番号】特開2010−191802(P2010−191802A)
【公開日】平成22年9月2日(2010.9.2)
【国際特許分類】
【出願番号】特願2009−36864(P2009−36864)
【出願日】平成21年2月19日(2009.2.19)
【出願人】(000000376)オリンパス株式会社 (11,466)
【Fターム(参考)】