説明

情報処理システム、デジタルフォトフレーム、プログラム及び情報記憶媒体

【課題】ユーザの日常度をメディア情報に関連づけることを可能にする情報処理システム、デジタルフォトフレーム、プログラム及び情報記憶媒体の提供。
【解決手段】情報処理システムは、メディア情報を取得するメディア情報取得部103と、ユーザの行動を計測する行動センサ、ユーザの状態を計測する状態センサ及びユーザの環境を計測する環境センサの少なくとも1つのセンサからのセンサ情報を含む情報に基づいて、ユーザの日常度を評価する処理を行う日常度評価部110と、評価処理により得られたユーザの日常度を、取得されたメディア情報に関連づけてメディア情報記憶部122に書き込む書き込み部112を含む。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、情報処理システム、デジタルフォトフレーム、プログラム及び情報記憶媒体等に関する。
【背景技術】
【0002】
デジタルスチルカメラやデジタルビデオカメラなどのデジタルカメラ(電子カメラ)は、撮影した画像をデジタルの画像データとして保存できる。このため、銀塩カメラのようにフィルム代等を気にすることなく、手軽に撮影して、撮影した画像をPC(パーソナルコンピュータ)のHDD(ハードディスクドライブ)等に保存できるという利点がある。
【0003】
ところが、このような撮影の手軽さのため、ユーザは、十分吟味することなく大量の風景、場面等を撮影してしまい、撮ったままで再生されることがない画像が、PCのHDD等に大量に保存されたままになってしまう場合が多い。このため、HDDの使用記憶容量を無駄に圧迫してしまったり、自身が本当に見たい画像を、撮り溜めた画像の中から探し出すのが困難になるなどの問題があった。近年、メモリの大容量化、低価格化に伴い、ライフログとして大量の画像データを記録する動きも出てきており、今後、この傾向はますます高くなることが予想される。
【0004】
また、見たい画像を容易に検索・整理するためには、予め適切なタグを画像に付けておくことが望ましいが、撮影時にそのようなタグを付けるのは煩雑であり、またどのようなタグを付ければよいかわからないといった問題もある。一方、非日常的な状況下での体験は、ユーザが自身の状況を振り返る上で貴重な体験であり、このような非日常体験をメディア情報を通じて思い出すことができれば、ユーザの日常的な生活パターンに変化を与えるきっかけを提供できる。なお特許文献1には、独居老人の異常行動を監視するシステムが開示されているが、このシステムは、独居老人が異常を来して行動不能に陥った場合に、それを自動的に検知して通報することを目的としており、メディア情報と非日常とを関連づける技術に関するものではない。
【0005】
【特許文献1】特開2000−99858号公報
【発明の開示】
【発明が解決しようとする課題】
【0006】
本発明の幾つかの態様によれば、ユーザの日常度をメディア情報に関連づけることを可能にする情報処理システム、デジタルフォトフレーム、プログラム及び情報記憶媒体を提供できる。
【課題を解決するための手段】
【0007】
本発明は、メディア情報を取得するメディア情報取得部と、取得されたメディア情報を記憶するメディア情報記憶部と、ユーザの行動を計測する行動センサ、ユーザの状態を計測する状態センサ及びユーザの環境を計測する環境センサの少なくとも1つのセンサからのセンサ情報を含む情報に基づいて、ユーザの日常度を評価する処理を行う日常度評価部と、前記日常度評価部の評価処理により得られたユーザの日常度を、取得されたメディア情報に関連づけて前記メディア情報記憶部に書き込む書き込み部とを含む情報処理システムに関係する。また本発明は、上記各部としてコンピュータを機能させるプログラム、又は該プログラムを記憶したコンピュータ読み取り可能な情報記憶媒体に関係する。
【0008】
本発明では、行動センサ、状態センサ、環境センサの少なくとも1つのセンサからのセンサ情報が取得され、取得されたセンサ情報等に基づいて、ユーザの日常度が評価される。そして、このようにして得られた日常度が、取得されたメディア情報に関連づけられて、メディア情報記憶部に書き込まれる。これにより、取得されたメディア情報に対して、その取得時等におけるユーザの日常度を関連づけることが可能になり、日常度を用いたメディア情報についての各種処理の実現が可能になる。
【0009】
また本発明では、メディア情報に関連づけられたユーザの日常度を用いて、前記メディア情報記憶部に記憶されたメディア情報の検索処理を行う検索部を含んでもよい。
【0010】
このようにすれば、日常度に応じたメディア情報の検索処理が可能になる。
【0011】
また本発明では、前記検索部は、前記メディア情報記憶部に記憶されたメディア情報の中から、取得時におけるユーザの日常度が低いメディア情報を優先して抽出する検索処理を行ってもよい。
【0012】
このようにすれば、日常度が低い状況下で取得されたメディア情報を優先して抽出して、ユーザに提示等することが可能になる。
【0013】
また本発明では、メディア情報に関連づけられたユーザの日常度を用いて、前記メディア情報記憶部に記憶されたメディア情報を抽出し、抽出されたメディア情報を第2のメディア情報記憶部に転送する転送部を含んでもよい。
【0014】
このようにすれば、日常度に応じたメディア情報の転送処理が可能になる。
【0015】
また本発明では、前記転送部は、前記メディア情報記憶部に記憶されたメディア情報の中から、取得時におけるユーザの日常度が高いメディア情報を優先して抽出し、抽出されたメディア情報を前記メディア情報記憶部から削除すると共に前記第2のメディア情報記憶部に転送してもよい。
【0016】
このようにすれば、ユーザの日常度が高い状況で取得されたメディア情報を優先して抽出し、第2のメディア情報記憶部に転送することが可能になり、メディア情報の効率的な整理等が可能になる。
【0017】
また本発明では、前記第2のメディア情報記憶部は、前記メディア情報記憶部よりも大容量のアーカイブ用の記憶部であってもよい。
【0018】
このようにすれば、メディア情報記憶部の使用記憶容量に余裕が無くなった場合等に、メディア情報をアーカイブ情報として第2のメディア情報記憶部に転送して保存することが可能になる。
【0019】
また本発明では、ユーザの行動を計測する行動センサ、ユーザの状態を計測する状態センサ及びユーザの環境を計測する環境センサの少なくとも1つのセンサからのセンサ情報を含む情報に基づいて、ユーザの状況を推定する状況推定部を含み、前記日常度評価部は、推定されたユーザの状況に基づいてユーザの日常度を評価する処理を行ってもよい。
【0020】
このようにすれば、センサ情報を含む情報に基づき推定されたユーザの状況に応じて、ユーザの日常度を評価できるようになる。
【0021】
また本発明では、ユーザの滞在場所に日常度を関連づけて記憶する日常度情報記憶部を含み、前記状況推定部は、ユーザがメディア情報を取得した際のユーザの滞在場所を特定し、前記日常度評価部は、特定された滞在場所に関連づけられた日常度を前記日常度情報記憶部から読み出して、ユーザの日常度を評価してもよい。
【0022】
このようにすれば、ユーザの滞在場所に応じて日常度を評価し、得られた日常度を、その滞在場所で取得されたメディア情報に関連づけることが可能になる。
【0023】
また本発明では、前記日常度情報記憶部は、ユーザの滞在場所及び滞在時間帯に関連づけて日常度を記憶し、前記状況推定部は、ユーザがメディア情報を取得した際のユーザの滞在場所及び滞在時間帯を特定し、前記日常度評価部は、特定された滞在場所及び滞在時間帯に関連づけられた日常度を前記日常度情報記憶部から読み出して、ユーザの日常度を評価してもよい。
【0024】
このようにすれば、ユーザの滞在場所及び滞在時間帯に応じて日常度を評価し、得られた日常度を、その滞在場所及び滞在時間帯で取得されたメディア情報に関連づけることが可能になる。
【0025】
また本発明では、メディア情報に関連づけられたユーザの日常度を用いて、前記メディア情報記憶部に記憶されたメディア情報の検索処理を行う検索部を含み、前記検索部は、ユーザがメディア情報を取得した際のユーザの滞在場所が、ユーザにとって日常度が低い滞在場所であるほど高い割合に設定された抽出割合で、メディア情報を抽出する検索処理を行ってもよい。
【0026】
このようにすれば、日常度が低い滞在場所で取得されたメディア情報を、高い割合に設定された抽出割合で抽出することが可能になる。
【0027】
また本発明では、メディア情報に関連づけられたユーザの日常度を用いて、前記メディア情報記憶部に記憶されたメディア情報を抽出し、抽出されたメディア情報を第2のメディア情報記憶部に転送する転送部を含み、前記転送部は、ユーザがメディア情報を取得した際のユーザの滞在場所が、ユーザにとって日常度が高い滞在場所であるほど高い割合に設定された抽出割合で、メディア情報を抽出して、抽出されたメディア情報を前記メディア情報記憶部から削除すると共に前記第2のメディア情報記憶部に転送してもよい。
【0028】
このようにすれば、日常度が高い滞在場所で取得されたメディア情報を、高い割合に設定された抽出割合で抽出して、第2のメディア情報記憶部に転送することが可能になる。
【0029】
また本発明では、前記状況推定部は、ユーザの滞在場所として、滞在エリアと、滞在エリアよりも狭い滞在スポットとを特定し、前記日常度評価部は、ユーザの滞在場所として滞在スポットが特定された場合には、特定された滞在スポットに関連づけられた日常度を前記日常度情報記憶部から読み出して、ユーザの日常度を評価してもよい。
【0030】
このように、ユーザにとって意味の異なる領域を滞在エリアよりも狭い滞在スポットとして切り出し、そこに関連づけられた日常度を用いることで、より正確で適正な日常度の評価処理を実現できる。
【0031】
また本発明では、前記状況推定部は、所定期間内でのユーザの位置の標準偏差が、所定の第1のしきい値以下であるか否かに基づいて、ユーザが滞在エリア内に滞在しているか否かを判断し、所定期間内でのユーザの位置の標準偏差が、前記第1のしきい値よりも小さい所定の第2のしきい値以下であるか否かに基づいて、ユーザが滞在スポット内に滞在しているか否かを判断してもよい。
【0032】
このようにすれば、所定期間内でのユーザの位置の標準偏差を求めるという統計処理により、ユーザが滞在している場所をエリア、もしくはスポットとして意味ある領域として特定できるようになる。
【0033】
また本発明は、ディスプレイと、上記のいずれかに記載の情報処理システムにより前記メディア情報記憶部に書き込まれたメディア情報である画像データに基づいて、前記ディスプレイに画像を表示する制御を行う表示制御部とを含むデジタルフォトフレームに関係する。
【0034】
このように、画像データに関連づけられた日常度に基づいてディスプレイに表示する画像を制御すれば、これまでにはないタイプのデジタルフォトフレームの再生処理を実現できる。
【0035】
また本発明は、メディア情報と、メディア情報の取得時におけるユーザの日常度とが関連づけて記憶されたメディア情報記憶部と、メディア情報に関連づけられたユーザの日常度を用いて、前記メディア情報記憶部に記憶されたメディア情報の検索処理を行う検索部とを含み、前記検索部は、前記メディア情報記憶部に記憶されたメディア情報の中から、取得時におけるユーザの日常度が低いメディア情報を優先して抽出する検索処理を行う情報処理システムに関係する。また本発明は、上記各部としてコンピュータを機能させるプログラム、又は該プログラムを記憶したコンピュータ読み取り可能な情報記憶媒体に関係する。
【0036】
本発明によれば、メディア情報記憶部には、メディア情報と、メディア情報の取得時におけるユーザの日常度とが関連づけて記憶される。そして、メディア情報に関連づけられたユーザの日常度を用いてメディア情報の検索処理が実行され、取得時におけるユーザの日常度が低いメディア情報が優先して抽出されるようになる。これにより、日常度が低いメディア情報を優先して、ユーザに提示等することが可能になる。
【0037】
また本発明では、前記検索部は、ユーザがメディア情報を取得した際のユーザの滞在場所が、ユーザにとって日常度が低い滞在場所であるほど高い割合に設定された抽出割合で、メディア情報を抽出する検索処理を行ってもよい。
【0038】
また本発明は、ディスプレイと、上記に記載の情報処理システムにより抽出されたメディア情報である画像データに基づいて、前記ディスプレイに画像を表示する制御を行う表示制御部とを含むデジタルフォトフレームに関係する。
【0039】
このようにすれば、日常度が低い状況下での画像を優先的に再生するデジタルフォトフレームの提供が可能になる。
【0040】
また本発明は、メディア情報と、メディア情報の取得時におけるユーザの日常度とが関連づけて記憶されたメディア情報記憶部と、メディア情報に関連づけられたユーザの日常度を用いて、前記メディア情報記憶部に記憶されたメディア情報を抽出し、抽出されたメディア情報を第2のメディア情報記憶部に転送する転送部とを含み、前記転送部は、前記メディア情報記憶部に記憶されたメディア情報の中から、取得時におけるユーザの日常度が高いメディア情報を優先して抽出し、抽出されたメディア情報を前記メディア情報記憶部から削除すると共に前記第2のメディア情報記憶部に転送する情報処理システムに関係する。また本発明は、上記各部としてコンピュータを機能させるプログラム、又は該プログラムを記憶したコンピュータ読み取り可能な情報記憶媒体に関係する。
【0041】
本発明によれば、メディア情報記憶部には、メディア情報と、メディア情報の取得時におけるユーザの日常度とが関連づけて記憶される。そして、メディア情報に関連づけられたユーザの日常度を用いて、第2のメディア情報記憶部へのメディア情報の転送処理が実行され、取得時におけるユーザの日常度が高いメディア情報が優先して抽出されて、転送されるようになる。これにより、日常度が高いメディア情報をメディア情報記憶部から削除して、第2のメディア情報記憶部に転送して保存できるようになる。
【0042】
また本発明では、前記転送部は、ユーザがメディア情報を取得した際のユーザの滞在場所が、ユーザにとって日常度が高い滞在場所であるほど高い割合に設定された抽出割合で、メディア情報を抽出して、抽出されたメディア情報を前記メディア情報記憶部から削除すると共に前記第2のメディア情報記憶部に転送してもよい。
【発明を実施するための最良の形態】
【0043】
以下、本実施形態について説明する。なお、以下に説明する本実施形態は、特許請求の範囲に記載された本発明の内容を不当に限定するものではない。また本実施形態で説明される構成の全てが、本発明の必須構成要件であるとは限らない。
【0044】
1.センサ情報の取得
本実施形態では、ユーザの日常度を画像(動画、静止画)、音(音声、音楽)等のメディア情報に関連づけるために、ユーザの行動、状態、環境を計測する行動センサ(行動計測部)、状態センサ(状態計測部)、環境センサ(環境計測部)からのセンサ情報を取得する。そして取得されたセンサ情報(センサ情報により推定されたユーザの状況)等に基づいて、ユーザの現在の日常度(非日常度)を評価する。そこで、まず、このセンサ情報の取得手法について説明する。
【0045】
図1(A)においてユーザ(使用者)は、デジタルカメラ(デジタルスチルカメラ、デジタルビデオカメラ)である携帯型電子機器100を所持している。またモバイル制御対象機器としてウェアラブルディスプレイ140(モバイルディスプレイ)を頭部の一方の眼の近傍に装着している。更にウェアラブルセンサ(モバイルセンサ)として種々のセンサを身体に身につけている。具体的には、屋内外センサ510、周囲温度センサ511、周辺湿度センサ512、周辺光度センサ513、腕装着型の運動計測センサ520、脈拍(心拍数)センサ521、体温センサ522、抹消皮膚温度センサ523、発汗センサ524、足圧力センサ530、発話・咀嚼センサ540、携帯型電子機器100に設けられるGPS(Global Position System)センサ550、ウェアラブルディスプレイ140に設けられる顔色センサ560や瞳孔の大きさセンサ561などを装着している。これらの携帯型電子機器100や、ウェアラブルディスプレイ140などのモバイル制御対象機器や、ウェアラブルセンサなどによりモバイルサブシステムが構成される。
【0046】
デジタルカメラ等の携帯型電子機器100(モバイルコンピュータ)は、例えばプロセッサ(CPU)、メモリ、操作パネル、通信装置、或いはディスプレイなどを備えることができる。また携帯型電子機器100は、撮像部やマイクを有しており、画像や音などのメディア情報の取得が可能になっている。また例えばGPSセンサ550等の位置検知センサを有し、ユーザの位置情報を取得できると共に、時計機能により日時等の時間情報を取得できる。
【0047】
なお携帯型電子機器100は、デジタルカメラに限定されず、例えばメディア情報の取得機能(撮像部、マイク等)を備える携帯型情報端末、携帯型ゲーム機、携帯電話機、腕時計、或いはポータブルオーディオ機器などであってもよい。また図1(B)に示すように、ユーザが2つの携帯型電子機器100-1、100-2を所持するようにしてもよい。図1(B)では、デジタルカメラ等である携帯型電子機器100-1により画像等のメディア情報を取得し、取得されたメディア情報を無線通信を利用して携帯型電子機器100-2に転送する。携帯型電子機器100-2は、例えばセンサからのセンサ情報を収集する機能、収集したセンサ情報に基づいて演算処理を行う機能、演算結果に基づいて制御対象機器(ウェアラブルディスプレイ等)の制御(表示制御等)を行ったり外部のデータベースから情報を取り込む機能、外部と通信を行う機能などを有する。そして、ユーザの状況履歴情報や取得されたメディア情報は、携帯型電子機器100-2の記憶部に蓄積される。
【0048】
ウェアラブルディスプレイ140(広義には情報提示部)は、ユーザの一方の眼の近傍に装着されると共にディスプレイ部の大きさが瞳孔の大きさよりも小さくなるように設定され、いわゆるシースルービューアの情報表示部として機能する。なおユーザへの情報提示は、ヘッドフォン、バイブレータなどを用いて行ってもよい。またモバイル制御対象機器(情報提示部)としては、ウェアラブルディスプレイ140以外にも、例えば腕時計、携帯電話機、或いはポータブルオーディオなどの種々の機器を想定できる。
【0049】
屋内外センサ510は、ユーザが屋内にいるのか屋外にいるのかを検知するセンサであり、例えば超音波を照射し、天井等により超音波が反射して戻ってくるまでの時間を計測する。但し屋内外センサ510は、超音波方式に限らず、アクティブ光方式、パッシブ紫外線方式、パッシブ赤外線方式、パッシブ騒音方式のセンサであってもよい。
【0050】
周囲温度センサ511は、例えばサーミスタ、放射温度計、熱電対などを用いて外界温度を計測する。周辺湿度センサ512は、例えば湿度によって電気抵抗が変化することを利用して周囲の湿度を計測する。周辺光度センサ513は、例えば光電素子を用いて周囲の光度を計測する。
【0051】
腕装着型の運動計測センサ520は、加速度センサや角加速度センサでユーザの腕の動きを計測する。この運動計測センサ520と足圧力センサ530を用いることでユーザの日常動作、歩行状態を更に正確に計測できる。脈拍(心拍数)センサ521は、手首又は指又は耳に装着し、例えば拍動に伴う血流の変化を赤外光の透過率や反射率の変化で計測する。体温センサ522、抹消皮膚温度センサ523は、サーミスタ、放射温度計、熱電対などを用いてユーザの体温、抹消皮膚温度を計測する。発汗センサ524は、例えば皮膚の表面抵抗の変化により皮膚の発汗を計測する。足圧力センサ530は、靴にかかる足裏の圧力分布を検出して、ユーザの立ち状態、座り状態、歩行状態などを計測、判定する。
【0052】
発話・咀嚼センサ540は、ユーザが発話中(会話中)であるか、咀嚼中(食事中)であるかの可能性を計測するためのイヤホン型のセンサであり、その筺体内に骨伝導マイク、外界音マイクが内蔵されている。骨伝導マイクは、発話・咀嚼時に体内から生じ、体内を伝搬する振動である体内音を検出する。外界音マイクは、発話に応じて体外に伝導する振動である音声や、環境の雑音を含む外界音を検出する。そして骨伝導マイク、外界音マイクにより捕らえられた音の単位時間におけるパワーの比較処理等を行うことで、発話可能性や咀嚼可能性を計測する。
【0053】
GPSセンサ550はユーザの位置(場所)を検知するセンサである。なおGPSセンサ550の代わりに携帯電話機の位置情報サービスや周辺にある無線LANの位置情報を利用してもよい。顔色センサ560は、例えば顔面近くに光センサを配置し、複数の光学的バンドパスフィルタを通過した後の光度を比較して顔色を計測する。瞳孔の大きさセンサ561は、例えば瞳孔の近くにカメラを配置し、カメラの信号を解析して瞳孔の大きさを計測する。
【0054】
2.第1のシステム構成例
図2に本実施形態の情報処理システム(情報提示システム)の第1のシステム構成例を示す。図2は、本実施形態の情報処理システムを例えば携帯型電子機器100により実現する場合の例である。
【0055】
処理部102は、図示しない操作部からの操作情報や、ウェアラブルセンサ150から取得されたセンサ情報などに基づいて、種々の処理を行う。例えばメディア情報やセンサ情報の取得処理や、各種の演算処理、評価処理や、ディスプレイ等の情報提示部142による情報提示の制御処理を行う。この処理部102の機能は、各種プロセッサ(CPU等)、ASIC(ゲートアレイ等)などのハードウェアや、情報記憶媒体130(光ディスク、ICカード、HDD等)に記憶されたプログラムなどにより実現できる。
【0056】
記憶部120は、処理部102、通信部138などのワーク領域となるもので、その機能はRAMなどのメモリやHDD(ハードディスクドライブ)などにより実現できる。この記憶部120は、メディア情報記憶部122、日常度情報記憶部124、予定情報記憶部125を含む。
【0057】
情報記憶媒体130(コンピュータにより読み取り可能な媒体)は、プログラムやデータなどを格納するものであり、その機能は、光ディスク(CD、DVD)などにより実現できる。処理部102は、情報記憶媒体130に格納されるプログラム(データ)に基づいて本実施形態の種々の処理を行う。即ち情報記憶媒体130には、本実施形態の各部としてコンピュータ(操作部、処理部、記憶部、出力部を備える装置)を機能させるためのプログラム(各部の処理をコンピュータに実行させるためのプログラム)が記憶される。
【0058】
処理部102は、メディア情報取得部103、センサ情報取得部104、状況推定部106、日常度評価部110、書き込み部112、検索部114、転送部116を含む。なおこれらの構成要素の一部(例えば状況推定部、検索部、転送部)を省略したり、他の構成要素を追加するなどの種々の変形実施が可能である。
【0059】
メディア情報取得部103は、画像(静止画、動画)、音声、音楽、テキスト情報等のメディア情報を取得する。例えばCCDやCMOSセンサにより構成される撮像部146により被写体が撮像されたり、マイク148により音声が録音されると、メディア情報取得部103は、撮像された画像や録音された音声を取り込む。そして取り込まれた画像や音声等のメディア情報はメディア情報記憶部122に記憶される。なお図1(B)において、デジタルカメラである携帯型電子機器100-1により画像を撮像した場合には、携帯型電子機器100-2は、無線通信等を利用して携帯型電子機器100-1から画像を取得すればよい。
【0060】
センサ情報取得部104は、ウェアラブルセンサ150(広義にはセンサ)からのセンサ情報を取得する。具体的には、ウェアラブルセンサ150は、ユーザの行動(歩行、会話、食事、手足の動き、感情表現又は睡眠等)を計測する行動センサ、ユーザの状態(疲労、緊張、空腹、精神状態、身体状態又はユーザに発生したイベント等)を計測する状態センサ、及びユーザの環境(場所、時間、明るさ、気温又は湿度等)を計測する環境センサの少なくとも1つのセンサを含んでおり、センサ情報取得部104は、これらのセンサからのセンサ情報を取得する。
【0061】
なおセンサは、センサデバイス自体であってもよいし、センサデバイスの他に制御部や通信部等を含むセンサ機器であってもよい。またセンサ情報は、センサから直接得られるセンサ1次情報であってもよいし、センサ1次情報を加工処理(情報処理)することで得られるセンサ2次情報であってもよい。
【0062】
状況推定部106(状況同定部)は、センサ情報取得部104により取得されたセンサ情報等に基づいて、ユーザの状況(ユーザの行動、状態及び環境の少なくとも1つ)を推定(同定)するための処理を行う。具体的には、取得されたセンサ情報の乗算処理や加算処理などを行い、センサ情報のフィルタリング処理(選択処理)や解析処理のための種々の演算処理を実現する。そして、ユーザの現在の状況を推定する処理である状況同定処理を行う。或いは、ユーザの未来の状況を推定する処理である状況予測処理を行う。
【0063】
例えば下式(1)に示すように、複数のセンサからの複数のセンサ情報のデジタル化された計測値Xと、各係数が係数記憶部(図示せず)に記憶され、2次元行列(マトリックス)で表される係数Aijとの積和演算を行う。そうして下式(2)に示すように、積和演算の結果を多次元座標としてn次元のベクトルYとして演算する。なお、iはn次元空間のi座標であり、jは各センサに割り当てられる番号である。
【0064】
【数1】

【0065】
【数2】

上式(1)(2)のような演算処理を行うことで、取得されたセンサ情報の中から不要なセンサ情報を除去するフィルタリング処理や、ユーザの行動、状態、環境(TPO情報)をセンサ情報に基づき推定するための解析処理などを実現できる。例えば脈拍(心拍数)、発汗量、体温の計測値Xに対して乗算される係数Aを、その他のセンサ情報の計測値に対する係数よりも大きな値に設定すれば、上式(1)(2)で演算された数値Yは、ユーザの状態である「興奮度」を表すものになる。また発話量の計測値Xに対して乗算される係数と、足圧力の計測値Xに対して乗算される係数を適当な値に設定することで、ユーザの行動が、着座して会話しているのか、歩きながら会話しているのか、静かに思考しているのか、睡眠状態なのか等を推定できる。このようにしてユーザの状況を推定することで、時間情報(年、月、週、日、時間等)、ユーザの場所情報(位置、滞在場所、距離等)及びユーザの状態情報(精神状態、肉体状態、ユーザに対して発生したイベント等)の少なくとも1つであるユーザのTPO(Time Place Occasion)情報を得ることができる。
【0066】
なお、状況推定部106が推定するユーザの状況は、例えばユーザの行動、状態、又は環境等である。ユーザの行動の推定は、ユーザが身に着けた行動センサの情報により、ユーザの静止・歩行・走行・座り・寝転がり・階段昇降の状態を判別したり、ユーザの周辺に配置されたセンサ(外部カメラ、ホームセンサ)により、ユーザの行動・姿勢状態を判別したり、位置検知センサにより求められた位置の軌跡により、ユーザの滞留中・移動中の状態を判別することなどにより実現できる。またユーザの状態は、ユーザの精神状態や肉体状態などである。ユーザの状態の推定は、ユーザが身に着けた生体センサの情報により、ストレス・興奮・緊張・健康状態などを判別することなどで実現できる。またユーザの環境は、ユーザの場所情報、時間情報、周囲環境情報などである。ユーザの環境の推定は、位置検知センサにより、ユーザの滞在場所(現在地)を判別したり、時計により年・月・日・曜日・時間を取得したり、周囲環境センサにより気温・気圧・照度・騒音などを取得することなどで実現できる。この場合に、センサ情報によりユーザ状況を完全・正確に特定することは難しいため、状況推定部106による状況推定の確からしさは、ある程度の幅を持つことになる。
【0067】
なおユーザ状況の推定に、センサ情報以外の情報を用いてもよい。具体的には、予定情報記憶部125に記憶されたユーザの予定情報(予定表データ、スケジュール情報)や、通信部138等を介して取得された外部情報を用いて、ユーザ状況を推定してもよい。例えば、ユーザが入力したスケジュール表に基づいて、ユーザのこれからの予定を推定したり、入力された予定から付随的な予定を推定する。或いは、ウェブ情報や外部データベースからインターネット等を介して取得した情報(例えば今日の天気・交通情報)や、他のユーザから取得した情報(例えば他のユーザからの連絡情報)などの外部情報に基づいて、ユーザ状況を推定する。
【0068】
このような予定情報や外部情報を利用すれば、センサ情報だけを用いてユーザ状況を推定する場合に比べて、状況推定の確度を高めることができる。例えばセンサ情報と予定情報を組み合わせてユーザの行動を推定することで、より確からしいユーザの行動の推定が可能になる。
【0069】
日常度評価部110はユーザの日常度(非日常度)の評価処理を行う。例えば、取得されたセンサ情報等に基づいてユーザの日常度を評価(判断)する。具体的には、GPSからの緯度経度情報に基づいて、単純に当該位置近傍への過去の滞在経験の頻度から日常度を評価する。あるいは、例えば、取得されたセンサ情報等に基づいて状況推定部106がユーザの状況(例えば現在の場所)を推定すると、日常度評価部110は、推定されたユーザの状況に基づいてユーザの日常度を評価してもよい。即ち、ユーザの現在の状況が、日常的な状況なのか、非日常的な状況なのかを判断して、日常度を評価する。
【0070】
具体的には、日常度情報記憶部124(日常度データベース)は、ユーザの滞在場所に関連づけて、或いはユーザの滞在場所及び滞在時間帯に関連づけて、日常度を記憶する。例えば日常度情報記憶部124は、ユーザが過去に滞在した複数の滞在場所の各々に対して、それに対応する日常度を関連づけて記憶する。或いは滞在場所及び滞在時間帯の組み合わせの各々に対して、それに対応する日常度を関連づけて記憶する。
【0071】
状況推定部106は、ユーザがメディア情報を取得した際のユーザの滞在場所(例えば画像の撮影場所、音声の録音場所)を特定する。そして日常度評価部110は、特定された滞在場所に関連づけられた日常度を日常度情報記憶部124から読み出すことで、ユーザの日常度を評価する。そして、読み出された日常度は、その滞在場所において取得されたメディア情報に関連づけられる。或いは状況推定部106は、ユーザがメディア情報を取得した際のユーザの滞在場所及び滞在時間帯を特定する。そして日常度評価部110は、特定された滞在場所及び滞在時間帯に関連づけられた日常度を日常度情報記憶部124から読み出すことで、ユーザの日常度を評価する。そして、読み出された日常度は、その滞在場所でその滞在時間帯において取得されたメディア情報に関連づけられる。
【0072】
なお状況推定部106は、ユーザの滞在場所として、滞在エリアと、滞在エリアよりも狭い滞在スポットを特定してもよい。例えば所定期間内でのユーザの位置の標準偏差が、第1のしきい値以下であるか否かに基づいて、ユーザが滞在エリア内に滞在しているか否かを判断する。また、所定期間内でのユーザの位置の標準偏差が、第1のしきい値よりも小さい第2のしきい値以下であるか否かに基づいて、ユーザが滞在スポット内に滞在しているか否かを判断する。なお滞在エリアを求めるための所定期間と滞在スポットを求めるための所定期間は、同一であってもよいし、異なっていてもよい。また滞在エリアと滞在スポットというような2段階の区画(粒度)ではなく、3段階以上の区画にしてもよい。
【0073】
日常度評価部110は、ユーザの滞在場所として、滞在エリアのみならず、滞在スポットも特定された場合には、特定された滞在スポットに関連づけられた日常度を日常度情報記憶部124から読み出して、ユーザの日常度を評価する。そして、読み出された日常度は、その滞在スポットにおいて取得されたメディア情報に関連づけられる。
【0074】
なお日常度評価部110による日常度の評価処理としては、種々の処理を想定できる。例えばユーザの状況履歴(例えばユーザの場所の状況履歴)の情報と、推定されたユーザの現在の状況(例えば現在の場所)の情報との比較処理を行うことで、ユーザの現在の日常度を評価してもよい。また予測されるユーザの行動と、ユーザの実際の行動との比較処理を行うことで、ユーザの現在の日常度を評価してもよい。なお日常度は、例えば、ユーザの過去の状況(状況履歴)との比較等において、ユーザの現在の状況が、どの程度、日常的なのか(普通、ありふれている、平凡)の度合いを表すパラメータである。またユーザの日常度を評価する処理と非日常度(普段とは違う、異常度)を評価する処理は、等価な処理として扱うことができる。
【0075】
書き込み部112はメディア情報の書き込み処理を行う。具体的には、日常度評価部110の評価処理により得られたユーザの日常度を、取得されたメディア情報に関連づけてメディア情報記憶部122に書き込む。例えばメディア情報が画像である場合には、各画像データ(画像ファイル)に対して、その画像の取得時(撮影時)における日常度を、メタ情報として関連づけてメディア情報記憶部122に書き込む。またメディア情報が音声(音楽)である場合には、各音声データ(音楽データ)に対して、その音声の取得時(録音時)における日常度を、メタ情報として関連づけてメディア情報記憶部122に書き込む。この場合にメタ情報として、更にメディア情報の取得の際の時間情報(年月日、時間)やユーザの滞在場所を、メディア情報に関連づけて書き込んでもよい。
【0076】
検索部114はメディア情報の検索処理を行う。具体的には、メディア情報に関連づけられたユーザの日常度を用いて、メディア情報記憶部122に記憶されたメディア情報の検索処理を行う。例えばメディア情報記憶部122に記憶されたメディア情報の中から、取得時におけるユーザの日常度が低いメディア情報を優先して抽出する。例えば、メディア情報を、各メディア情報に関連づけられる日常度を用いてソーティングし、例えば低い日常度が関連づけれたメディア情報を抽出する。これにより日常度の低い非日常の状況下でのメディア情報が優先して情報提示部142等で再生されるようになる。
【0077】
例えば日常度評価部110が、滞在場所或いは滞在場所及び滞在時間帯に関連づけられた日常度を、日常度情報記憶部124から読み出して、ユーザの日常度を評価したとする。この場合には、検索部114は、ユーザがメディア情報を取得した際のユーザの滞在場所が、ユーザにとって日常度が低い滞在場所であるほど高い割合に設定された抽出割合で、メディア情報を抽出する。即ち、ユーザにとって日常度が低い滞在場所で取得されたメディア情報については、検索処理の際に、高い抽出割合で抽出し、日常度が高い滞在場所で取得されたメディア情報については、低い抽出割合で抽出する。
【0078】
転送部116はメディア情報の転送処理を行う。具体的には転送部116は、メディア情報に関連づけられたユーザの日常度を用いて、メディア情報記憶部122に記憶されたメディア情報を抽出する。そして抽出されたメディア情報を、第2のメディア情報記憶部610に転送する。例えば、外部(外部サーバ等)に設けられたアーカイブ用の記憶部である第2のメディア情報記憶部610に対して、通信部138を介して転送する。更に具体的には転送部116は、メディア情報記憶部122に記憶されたメディア情報の中から、取得時におけるユーザの日常度が高いメディア情報を優先して抽出する。例えば、メディア情報を、各メディア情報に関連づけられる日常度を用いてソーティングし、例えば高い日常度が関連づけれたメディア情報を抽出する。そして、抽出されたメディア情報をメディア情報記憶部122から削除すると共に、第2のメディア情報記憶部610に転送する(アーカイブとして保存する)。
【0079】
例えば日常度評価部110が、滞在場所或いは滞在場所及び滞在時間帯に関連づけられた日常度を日常度情報記憶部124から読み出して、ユーザの日常度を評価したとする。この場合には転送部116は、ユーザがメディア情報を取得した際のユーザの滞在場所が、ユーザにとって日常度が高い滞在場所であるほど高い割合に設定された抽出割合で、メディア情報を抽出する。即ち、ユーザにとって日常度が高い滞在場所で取得されたメディア情報については、検索処理の際に、高い抽出割合で抽出し、日常度が低い滞在場所で取得されたメディア情報については、低い抽出割合で抽出する。そして抽出されたメディア情報を第2のメディア情報記憶部610に転送する。
【0080】
3.メディア情報と日常度
次に本実施形態の手法について具体的に説明する。デジタルカメラでは、その撮影の手軽さやメモリの大容量化に伴って、つい大量の画像を撮影するものの、撮ったままで再生されることがない画像が、PCのHDD等に大量に保存されたままになってしまう場合が多い。このため、HDDの使用記憶容量を無駄に圧迫してしまったり、ユーザが所望する画像を、撮り溜めた画像の中から探し出すのが困難になるなどの問題があった。
【0081】
一方、ユーザとしては、普段と変わらない日常的な状況下で撮った画像よりも、非日常的な体験をしている状況下で撮った画像の方に、興味や思い入れがある場合が多い。例えば、デジタルカメラで撮った画像を再生する場合には、いつも行っている場所で撮った画像(記録的な意味合いが強い)よりも、普段はほとんど行ったことが無い場所で撮った画像(楽しかったこと、珍しい・美しいものの記念的な意味合いが強い)の方に関心があると考えられる。また、非日常体験により興奮したり・感動したりした状況下で撮影した画像等を優先して再生して鑑賞できれば、ユーザにとって利便性が高い。
【0082】
そこで本実施形態では、ユーザの日常度(非日常度)については、センサ情報等に基づいてユーザの状況を推定することで判断できるという点に着目し、このようにして取得されたユーザの日常度を、画像等のメディア情報に関連づけて記憶する手法を採用している。このようにすれば、日常度が低い非日常体験の状況下で撮った画像を優先して抽出して再生したり、逆に、日常度が高い普段通りの状況下で撮った画像を優先して抽出して、削除・整理するなどの手法を実現できる。
【0083】
例えば図3に、本実施形態によるメディア情報の書き込み処理(保存処理)のフローチャートを示す。
【0084】
まず、画像、音声等のメディア情報を取得する(ステップS1)。次に、行動センサ、状態センサ、環境センサからのセンサ情報を取得する(ステップS2)。そして、取得されたセンサ情報や、ユーザの予定情報や、外部から取得した外部情報等に基づいて、ユーザの状況(TPOf)を推定する(ステップS3)。
【0085】
次に、推定されたユーザの状況に基づいて、日常度情報記憶部124(日常度データベース)を参照して、ユーザの日常度を評価する(ステップS4)。そして、得られたユーザの日常度をメディア情報に関連づけてメディア情報記憶部122に書き込む(ステップS5)。なお図3では、ステップS3でユーザ状況を推定し、ステップS4でユーザ状況に基づいて日常度を評価しているが、ステップS3を省略して、センサ情報から直接に日常度を評価してもよい。またステップS5において、必ずしもメディア情報と日常度を同時にメディア情報記憶部122に書き込む必要はない。例えばセンサ(或いは、それに接続されたデータロガー)では、センサ情報を時刻と共に記録しておき、時刻と共に記録されたメディア情報に対して、後からセンサ情報に基づき日常度を判定して、得られた日常度を関連づけてもよい。
【0086】
例えば会社で会議中の記録写真を撮ったような場合を想定する。この場合、図4に示すように、センサ情報より、日時(T)は平日の昼間、ユーザの滞在場所(P)は勤め先オフィス、ユーザの行動(O)は会議中、ユーザの状態(f)は適度な緊張状態と推定され、従って、ユーザの状況はいつもの状況であり、ユーザの日常度は高いと評価される。即ち、行動センサや生体センサからの各種センサ情報や、予定情報や、外部情報などに基づいて、ユーザの状況は日常度が高い状況であると判断される。従って、このような状況下でユーザがメディア情報を取得した場合には、そのメディア情報には、高い値に設定された日常度が関連づけられる。
【0087】
なお、ユーザの滞在場所(O)については、GPSセンサを利用したり、携帯電話機の位置情報サービスや周辺にある無線LANの位置情報を利用してその位置を特定し、地図情報などを用いてその場所を特定できる。またユーザの行動(O)については、RFIDなどを利用してユーザがPCの近くにいることを識別したり、時間(T)と場所(P)からユーザの行動を推定したり、ある程度、行動を推定した後に、選択肢をユーザに示して選択入力させることで、行動を特定してもよい。
【0088】
また例えば、退社後、近くのホテルで友人と会食し、その記念写真を撮ったような場合を想定する。この場合、図4に示すように、日時は平日の夜(定時後)、ユーザの滞在場所は勤め先近くのホテル、ユーザの行動は会食中、ユーザの状態はリラックス状態と推定され、従って、ユーザの日常度は中ぐらいであると評価され、このような状況下でメディア情報を取得した場合には、そのメディア情報には、中ぐらいの値に設定された日常度が関連づけられる。
【0089】
また例えば、休日に観光地に出かけて風景写真を撮ったような場合を想定する。この場合、日時は休日の昼間、ユーザの滞在場所は観光地、ユーザの行動は散策中、ユーザの状態は適度な興奮状態と推定され、従って、ユーザの日常度は低いと評価され(非日常であると評価される)、このような状況下でメディア情報を取得した場合には、そのメディア情報には、低い値に設定された日常度が関連づけられる。
【0090】
なお日常度情報記憶部124は、ユーザの滞在場所、或いはユーザの滞在場所及び滞在時間帯に日常度を関連づけて記憶する。例えば図4において、滞在場所である勤務先のオフィスに関連づけて日常度を記憶したり、滞在場所である勤務先のオフィス及び滞在時間帯である平日・昼間に関連づけて日常度を記憶する。そして状況推定部106は、メディア情報を取得した際のユーザの滞在場所或いは滞在場所及び滞在時間帯を特定し、日常度評価部110は、特定された滞在場所或いは特定された滞在場所及び滞在時間帯に関連づけられた日常度を、日常度情報記憶部124から読み出すことで、ユーザの日常度を評価する。例えば図4において、ユーザの滞在場所が勤務先のオフィスであることが特定されたり、或いは、滞在場所が勤務先のオフィスであり滞在時間帯が平日・昼間であることが特定されると、ユーザの日常度は高いと評価される。
【0091】
図5に、メディア情報記憶部122のデータ構造(テーブル)の例を示す。図5では、メディア情報である画像ファイル(JPEGファイル)に対して、様々なメタ情報が関連づけられている。具体的には、画像を撮った日時や、その時の緯度・経度や、緯度・経度から特定されるユーザの滞在場所(エリア・スポット)が、メタ情報として関連づけられている。更に、メタ情報として、画像を撮った際におけるユーザの日常度が関連づけられている。なお図5のように日常度等のメタ情報をテーブル形式で関連づけてもよいし、例えば画像ファイル内の所定領域に、これらのメタ情報を書き込むようにしてもよい。
【0092】
例えば図5において、日光・東照宮は、ユーザが殆ど行かない観光地であるため、図4で説明したように、この時のユーザの日常度は低いと判断される(非日常であると判断される)。従って、日光・東照宮の滞在時に撮った画像ファイルに対しては、例えば日常度=1が関連づけられる。なお、ここでは日常度が低いほど、日常度の値(パラメータ値)は低い値に設定されている。
【0093】
一方、図5において、平日の昼間に、新宿の勤務先のビルにいる場合には、普段通りであり、図4で説明したように、ユーザの日常度は高いと判断される。従って、この時に撮った画像ファイルに対しては、例えば日常度=10が関連づけられる。また、平日の夜に、勤務先近くのホテルにいる場合には、ユーザの日常度は中ぐらいであると判断される。従って、この時に撮った画像ファイルに対しては、例えば日常度=5が関連づけられる。
【0094】
なお、同じ新宿の勤務先のビルであっても、例えば休日の昼間にユーザがそのビルにいると判断された場合には、日常度は低いと判断される。このように日常度を評価する際には、ユーザの滞在場所のみならず、滞在場所と滞在時間帯との組み合わせに対して評価することで、日常度の評価処理を適正なものにすることができる。
【0095】
また、ユーザの勤務先のビルがある新宿では、後述する滞在エリアのように広い区画の領域で日常度を判断すると、ユーザが勤務先のビルにいるのか、勤務先近くのホテルにいるのかを区別することができず、日常度の評価が不正確になる事態が生じる。この点、後述する滞在スポットのように、滞在エリアよりも狭い区画の領域で日常度を判断すれば、このような事態を防止できる。
【0096】
次に、日常度が関連づけられたメディア情報の利用手法について説明する。例えば図6に、図5の画像ファイルをデジタルフォトフレームなどの画像再生装置で再生する処理のフローチャートを示す。
【0097】
まず、デジタルフォトフレームでのスライドショーの再生時間Tp(再生総時間)と、画像1枚あたりの表示時間Tdを取得する(ステップS11、S12)。この再生時間Tp、表示時間Tdは、ユーザが入力設定してもよいし、システム側において設定してもよい。
【0098】
次に、取得された再生時間Tpと表示時間Tdに基づいて、再生枚数N=Tp/Tdを算出する(ステップS13)。そして、メディア情報記憶部122に記憶されている画像のうち、日常度が低いN枚の画像を抽出する(ステップS14)。そして抽出されたN枚の画像を用いて、デジタルフォトフレームでのスライドショーを実行する(ステップS15)。
【0099】
このように図6では、メディア情報記憶部122に記憶された画像(広義にはメディア情報)の中から、取得時におけるユーザの日常度が低い画像を優先的に抽出している。従って、図5から明らかなように、非日常体験である観光時の写真などが優先的に再生され、日常の記録写真のようなものは再生されないようになる。これにより、ユーザは、再生画像を見ることで、過去の非日常体験を回顧することなどが可能になり、ユーザの日常的な生活パターンに変化を与えるきっかけを提供できる。また、再生されずに撮り溜められた画像も気軽に再生して、過去の体験を思い出すことが可能になり、保存された画像の有効活用を図ることができると共に、これまでにないタイプのデジタルフォトフレームを提供できる。
【0100】
次に、日常度が関連づけられたメディア情報の他の利用手法について説明する。例えば図7に、図5の画像ファイルの中から、不要と思われる画像を効率的に抽出して、第2のメディア情報記憶部610に転送(アーカイブ)する処理のフローチャートを示す。
【0101】
まず、メディア情報記憶部122での画像の保存枚数、使用記憶容量等を算出する(ステップS31)。即ちメディア情報記憶部122の空き記憶容量等を把握する。そして、この算出結果に基づいて、アーカイブ用の第2のメディア情報記憶部610に転送すべき画像の枚数、使用記憶容量を算出する(ステップS32)。即ちメディア情報記憶部122での空き記憶容量を余裕のあるものにするために、どの程度の枚数、使用記憶容量の画像を転送すべきかを算出する。
【0102】
次に、メディア情報記憶部122に記憶されている画像を、図5に示すように各画像に関連づけられた日常度を用いて、ソーティングする(ステップS33)。例えば日常度の高い画像が先頭に来るようにソーティング処理を行う。そして、日常度の高い画像から順に、第2のメディア情報記憶部610に転送(移動)して、画像のアーカイブを実現する(ステップS34)。この場合に、転送した画像は、メディア情報記憶部122から削除する。そして、ステップS32で算出されたアーカイブ量に達するまで、ステップS34の転送を繰り返す(ステップS35)。
【0103】
このように図7では、メディア情報記憶部122に記憶された画像(メディア情報)の中から、取得時におけるユーザの日常度が高い画像を優先して抽出し、抽出された画像をメディア情報記憶部122から削除すると共に第2のメディア情報記憶部610に転送している。従って、図5から明らかなように、非日常体験である観光時の写真などは残され、日常の記録写真のようなものはアーカイブ(書庫に保存)されるようになる。即ち、メディア情報記憶部122よりも大容量のアーカイブ用の記憶部である第2のメディア情報記憶部610に転送されて保存される。これにより、ユーザは、撮り溜めた画像の中から、再生する可能性が少ない日常的な状況下での撮影画像を、第2のメディア情報記憶部610にアーカイブすることができる。従って、撮り溜めた画像の効率的な整理が可能になり、撮り溜めた画像により、メディア情報記憶部122の使用記憶容量が圧迫されてしまう事態を防止できる。また、この場合に、非日常的な体験下での画像については、アーカイブされないようになるため、第2のメディア情報記憶部610から再び読み出すことなく、手軽に再生して、非日常体験を回顧することが可能になる。特に図6の手法と図7の手法を組み合わせることで、非日常体験での撮影画像を、メディア情報記憶部122に優先的に残して、ユーザが所望するときに手軽に再生して楽しむことが可能になる。
【0104】
また例えば、第2のメディア情報記憶部610を外部サーバに設けて、このようなアーカイブのサービスを実現するようにしてもよい。即ち、このサービスを利用するユーザが、図7の手法により、画像等のメディア情報を、サービスの提供者が運営する外部サーバに対してインターネット等を介して転送して、その外部サーバの第2のメディア情報記憶部610に保存する。この場合に、ユーザの保存データ量に応じて、ユーザに対して課金処理を行う。このようにすることで、これまでにないタイプのデータ保存サービスを提供できる。
【0105】
なお日常度に基づくメディア情報の検索処理や転送処理は、図6、図7の処理に限定されず、種々の変形実施が可能である。
【0106】
例えば図8(A)において、東京に住むユーザが、ロンドンに観光旅行に行き、ロンドンに滞在している場合には、非日常であると考えられるため、ユーザの日常度Nは低いと判断され、N=1と評価される。一方、大阪に出張に行って、大阪に滞在している場合には、日常度はN=4と評価され、勤め先である新宿にいる場合には、日常度はN=10と評価される。そして図8(A)では、日常度に応じてメディア情報の抽出割合が設定されている。
【0107】
ここで抽出割合は、例えば、その滞在場所で取得されたメディア情報の総数(総枚数)に対する抽出数の割合である。例えばロンドンに滞在している場合には、日常度は低いため、抽出割合は例えば100パーセントというように高い割合に設定される。一方、新宿にいる場合には、日常度は高いため、抽出割合は例えば5パーセントというように低い割合に設定される。
【0108】
そして、メディア情報記憶部122に記憶されるメディア情報の中から、再生するメディア情報を抽出する際には、図8(A)の抽出割合を用いる。例えばロンドン滞在中に撮った写真が100枚であったとすると、その写真に関連づけられた日常度はN=1であり、抽出割合が100パーセントに設定されるため、抽出数は100枚になる。また大阪滞在中に撮った写真が50枚であったとすると、その写真に関連づけられた日常度はN=4であり、抽出割合が70パーセントに設定されるため、抽出数は35枚になる。また新宿にいる時に撮った写真が200枚であったとすると、その写真に関連づけられた日常度はN=10であり、抽出割合が5パーセントになるため、抽出数は10枚になる。このように図8(A)の手法によれば、ユーザがメディア情報を取得した際のユーザの滞在場所が、ユーザにとって日常度が低い滞在場所であるほど高い割合に設定された抽出割合で、メディア情報が抽出されるようになる。
【0109】
一方、図8(B)は、アーカイブのための転送時の抽出割合の設定例である。メディア情報記憶部122に記憶されるメディア情報の中から、第2のメディア情報記憶部610に転送するメディア情報を抽出する際には、図8(B)の抽出割合を用いる。例えばロンドン滞在中に撮った写真が100枚であったとすると、ロンドン滞在中の写真は非日常の状況下の貴重な写真であるため、転送時の抽出割合は0パーセントに設定される。従って、ロンドン滞在中の写真については、第2のメディア情報記憶部610にアーカイブとして転送されることはない。一方、大阪滞在中に撮った写真が50枚であったとすると、日常度はN=4であり、転送時の抽出割合は20パーセントに設定される。従って、10枚の写真が第2のメディア情報記憶部610に転送される。また新宿にいる時に撮った写真が200枚であったとすると、日常度はN=10であり、転送時の抽出割合は60パーセントに設定される。従って、120枚の写真が第2のメディア情報記憶部610に転送される。このように図8(B)では、ユーザがメディア情報を取得した際のユーザの滞在場所が、ユーザにとって日常度が高い滞在場所であるほど高い割合に設定された抽出割合で、メディア情報を抽出して、第2のメディア情報記憶部610に転送している。なお、滞在場所に依らずに、第2のメディア情報記憶部610に転送せずに手元に置いておくことをユーザが望む写真については、撮影時等に写真に対して転送不可の設定をできるようにしてもよい。
【0110】
4.第2のシステム構成例
図9に本実施形態の第2のシステム構成例を示す。図9のシステムでは、サーバ200(ホームサーバ、PC)が設けられている。携帯型電子機器100とサーバ200は、例えばインターネット、無線LAN等で通信接続される。そして図9では、ユーザ状況の推定処理、日常度の評価処理、メディア情報の書き込み処理は、主に、ユーザが所持する携帯型電子機器100において実行される。一方、図6〜図8(B)で説明した検索処理や転送処理は、主に、サーバ200の処理部202の検索部214や転送部216により実行される。また、検索された画像の再生処理(スライドショー)は、デジタルフォトフォトフレーム300の処理部302により実行される。即ちデジタルフォトフレーム300の表示制御部318がディスプレイ340の表示制御を行うことで、図6で説明したようなスライドショーが実行される。なお、ユーザ状況の推定処理、日常度の評価処理、メディア情報の書き込み処理を、サーバ200において実行したり、メディア情報の検索処理を、デジタルフォトフレーム300において実行するようにしてもよい。
【0111】
図9では、携帯型電子機器100のメディア情報取得部103が、撮像部146により撮像された画像やマイク148により録音された音声等のメディア情報を取得する。またセンサ情報取得部104が、ウェアラブルセンサ150の行動センサ、状態センサ或いは環境センサからのセンサ情報を取得する。そして状況推定部106が、取得されたセンサ情報や、予定情報記憶部125に記憶される予定情報や、サーバ200や外部サーバ600から受信した外部情報などに基づいて、ユーザの状況を推定する。そして日常度評価部110が、日常度情報記憶部124を参照してユーザの日常度を評価し、書き込み部112が、得られた日常度を、取得された画像や音声等のメディア情報に関連づけて、メディア情報記憶部122に書き込む。
【0112】
このようにして、日常度が関連づけられたメディア情報は、通信部138によりサーバ200に送信され、サーバ200が、通信部238を介して受信する。そして、受信したメディア情報はサーバ側のメディア情報記憶部222に保存されて蓄積される。
【0113】
サーバ側の検索部214は、このようにしてサーバ側のメディア情報記憶部222に保存されたメディア情報の中から、デジタルフォトフレーム300において再生するメディア情報を抽出する検索処理を行う。具体的には、メディア情報に関連づけられたユーザの日常度を用いて、メディア情報記憶部222に記憶されたメディア情報の検索処理を行い、取得時におけるユーザの日常度が低いメディア情報を優先して抽出する。そして抽出されたメディア情報は、通信部238を介してデジタルフォトフレーム300に送信され、デジタルフォトフレーム200が通信部338を介して受信する。そして、受信したメディア情報はデジタルフォトフレーム側のメディア情報記憶部322に保存される。
【0114】
するとデジタルフォトフレーム300の表示制御部318は、メディア情報記憶部322に書き込まれたメディア情報である画像データに基づいて、ディスプレイ340に画像を表示する制御を行う。即ち、図6で説明したようなスライドショーを実行して、画像を再生する。またメディア情報が音声データを含む場合には、図示しないスピーカ等により音声の再生も行う。
【0115】
またサーバ200の転送部216は、メディア情報記憶部222に保存されたメディア情報に関連づけられたユーザの日常度を用いて、メディア情報を抽出し、抽出されたメディア情報を第2のメディア情報記憶部610に転送する処理を行う。具体的には、メディア情報記憶部222に記憶されたメディア情報の中から、取得時におけるユーザの日常度が高いメディア情報を抽出し、抽出されたメディア情報をメディア情報記憶部222から削除すると共に第2のメディア情報記憶部610に転送する。即ち、抽出されたメディア情報を通信部238を介して外部サーバ600に送信し、外部サーバ600が、受信したメディア情報をアーカイブ用の情報記憶部である第2のメディア情報記憶部610に保存する。このようにして、図7で説明したメディア情報のアーカイブが可能になり、再生されずに保存されたままとなったメディア情報により、サーバ200のメディア情報記憶部222の使用記憶容量が圧迫されてしまう事態を防止できる。なお、ユーザの要請等により、第2のメディア情報記憶部610に記憶されたメディア情報を再生する場合には、そのメディア情報を外部サーバ600から受信して、サーバ200のメディア情報記憶部222に再度保存したり、デジタルフォトフレーム300に転送すればよい。
【0116】
図10(A)にデジタルフォトフレーム300(デジタルフォトプレーヤ、画像再生装置)の例を示す。図10(A)は、いわゆるフォトスタンドタイプのデジタルフォトフレームの例である。このデジタルフォトフレーム300は、家の中などの任意の場所にユーザにより設置される。そして記憶部320のメディア情報記憶部322に記憶されたメディア情報(デジタルの画像データ、音データ)の再生処理(画像再生、音再生)を実行する。デジタルフォトフレーム300は、例えばユーザの明示的な再生指示がなくても、メディア情報記憶部322に記憶されたメディア情報を自動的に再生することができる。例えば図6で説明したような写真のスライドショーを自動的に実行したり、映像の自動再生を行う。
【0117】
なお、図10(A)ではフォトスタンドタイプのデジタルフォトフレームの例を示したが、例えば電子ペーパのように壁掛けタイプのものであってもよい。また、デジタルフォトフレーム300に、メディア情報の再生指示ボタンなどを設けたり、リモコンを用いて再生指示ができるようにしてもよい。
【0118】
このデジタルフォトフレーム300は、SDカード等のメモリカードのインターフェースを備えることができる。或いは、無線LAN、Bluetoothなどの無線通信のインターフェースや、USB等の有線の通信インターフェースを備えることができる。例えばユーザが、メモリカードにメディア情報(日常度が関連づけられたメディア情報)を保存して、デジタルフォトフレーム300のメモリカードインターフェースに装着すると、デジタルフォトフレーム300は、メモリカードに保存されたメディア情報の自動再生(スライドショー等)を実行する。或いは、デジタルフォトフレーム300は、無線通信や有線通信によりに外部からメディア情報を受信すると、このメディア情報の再生処理(自動再生処理)を実行する。例えば、ユーザが所持するデジタルカメラや携帯電話機などの携帯型電子機器100がBluetooth等の無線機能を有する場合には、この無線機能を利用して、携帯型電子機器100のメディア情報記憶部122からデジタルフォトフレーム300のメディア情報記憶部322にメディア情報を転送する。すると、デジタルフォトフレーム300は、転送されたメディア情報の再生処理を実行する。
【0119】
図10(B)にデジタルフォトフレーム300の構成例を示す。このデジタルフォトフレーム300は、各種の処理を行う処理部302と、無線や有線の通信を行うための通信部338と、記憶部320と、ディスプレイ340を備える。なおこれらの一部の構成要素を省略したり、他の構成要素を追加するなどの種々の変形実施が可能である。
【0120】
処理部302は、CPU等のプロセッサや、表示制御用のASICなどにより実現できる。記憶部320は、例えばRAMやHDD等により実現できる。なお、メディア情報をメモリカードに保存して自動再生する場合には、記憶部320は、メモリカードにより実現できる。ディスプレイ340は、例えば液晶ディスプレイや、有機ELなどの発光素子を用いたディスプレイや、電気泳動型ディスプレイなどにより実現できる。
【0121】
図10(B)では、処理部302は、検索部314、転送部316、表示制御部318を含む。
【0122】
検索部314は、メディア情報記憶部322に記憶されたメディア情報の中から、メディア情報の取得時におけるユーザの日常度が低いメディア情報を優先して抽出する検索処理を行う。
【0123】
転送部316は、メディア情報に関連づけられたユーザの日常度を用いて、メディア情報記憶部322に記憶されたメディア情報を抽出し、抽出されたメディア情報を、外部の第2のメディア情報記憶部610に転送するための処理を行う。即ち図9では、このような検索処理や転送処理をサーバ200が実行していたが、図10(B)の例ではデジタルフォトフレーム300が実行する。
【0124】
表示制御部318は、メディア情報である画像データに基づいて、ディスプレイ340に画像を表示する制御を行う。例えば圧縮された画像データをデコードする処理を行ったり、デコードされた画像データを再生する処理などを行う。
【0125】
図10(A)、図10(B)で説明したデジタルフォトフレーム300を用いれば、ユーザが撮り溜めた大量の画像の中から、日常度に基づき画像を抽出して、再生することが可能になる。そして、例えば非日常体験の状況下で撮影された画像を優先的に抽出して再生することが可能になるため、デジタルフォトフレーム300により自動再生される画像を何気なく見たユーザに対して、日常的な生活パターンに変化を与えるきっかけ等を提供できる。
【0126】
5.日常度の評価処理
次に日常度の評価処理の具体例について説明する。図5で説明したように、ユーザの日常度を評価するためには、各時間帯でのユーザの滞在場所を特定する必要がある。ところが、GPSセンサ等により得られる位置データ(緯度・経度)は、それ自体は単なるデータにすぎず、ユーザの滞在場所を直接意味する情報ではない。従って、このような位置データから、ユーザにとって意味のある場所を如何にして特定するかが重要な課題になる。
【0127】
例えばユーザの居場所を滞在時間に基づいてカテゴライズするとユーザにとって意味のある場所を抽出することができる。図11では、駅を降りたユーザは、駅の周辺を歩き、各時間帯においてデパートA、クレープ屋B、映画館C、ファミリーレストランD、雑貨屋E、書店Fに滞在した場合を例にヒートマップを示している。GPSセンサ等を用いれば、これらの各滞在場所でのユーザの位置の分布を知ることができ、この分布の大きさや濃度(密度)は滞在場所に応じて異なる。このヒートマップでは、滞在時間が長い場所は濃くなっており、その場所での移動を伴うところは広い範囲に分布するようになっている。
【0128】
そして図5で説明したように、新宿などの街については、広い領域で日常度を評価してしまうと、その中に意味の異なる場所が複数混在してしまい(例えば、オフィスと居酒屋とデパートなど)、日常度の評価が不正確になるおそれがある。一方、観光地など、特定の場所に長時間滞在せずに散策することを目的に訪れる場所については、狭い領域では、意味のある場所が抽出できず日常度が評価できなくなるおそれがある。
【0129】
そこで本実施形態では図12(A)、図12(B)に示すように、ユーザの滞在場所として、滞在エリアと滞在スポットという概念を導入している。図12(A)に示すように、滞在エリアは滞在スポットよりも広い領域であり、図12(B)に示すように、例えば各滞在エリア内に、滞在エリアよりも狭い滞在スポットが存在する。本実施形態では、このような滞在スポットや滞在エリアを以下に説明する手法により抽出する。
【0130】
例えば、滞在エリアは、所定期間T1内における位置の標準偏差σが第1のしきい値Sth1(数100m〜1000m)以下となる領域である。一方、滞在スポットは、所定期間T2内における位置の標準偏差σが第2のしきい値Sth2(例えば数10m〜100m)以下となる領域である。本実施形態では、ユーザが身に付けているGPSセンサ等の位置検知センサの情報を統計的に処理することで、滞在エリアと滞在スポットを抽出する。
【0131】
具体的には、所定期間T1(例えば4時間)での緯度・経度の平均が(Nμ、Eμ)、標準偏差が(Nσ、Eσ)であったとする。この場合に、(Nσ、Eσ)を距離換算して、南北、東西の距離の標準偏差が、各々、Sth1(例えば1km)以下の領域を抽出することによって、図12(A)に示すようなユーザにとって意味のある滞在エリアの抽出が可能となる。一方、距離のしきい値をSth=Sth2というように小さくして(例えば数10m)、上記と同様の処理を行うことで、図12(B)に示すような滞在スポットの抽出が可能となる。
【0132】
このように本実施形態では、所定期間T1内でのユーザの位置の標準偏差σが、第1のしきい値Sth1以下であるか否かに基づいて、ユーザが滞在エリア内に滞在しているか否かを判断する。一方、所定期間T2内でのユーザの位置の標準偏差σが、第1のしきい値Sth1よりも小さい第2のしきい値Sth2以下であるか否かに基づいて、ユーザが滞在スポット内に滞在しているか否かを判断することになる。
【0133】
例えば、時刻tにおいて、時刻(t−T1)から時刻tまでのユーザの位置(緯度・経度)に対して統計処理を行って、位置の標準偏差σを求める。そしてその時の標準偏差σが第1のしきい値sth1以下であった場合には、そのユーザは、(t−T1)〜tの時間帯において、エリアに滞在していたと判断できる。同様に、時刻(t−T2)から時刻tまでのユーザの位置に対して統計処理を行って、位置の標準偏差σを求める。そしてその時の標準偏差σが第2のしきい値sth2以下であった場合には、そのユーザは、(t−T2)〜tの時間帯において、スポットに滞在していたと判断できる。なおT1=T2であってもよい。また滞在エリア、滞在スポットの抽出は、一人のユーザについて、その位置を長期間に亘って観測して統計的に処理することで実現してもよいし、多数のユーザの位置を観測して統計的に処理することで実現してもよい。
【0134】
図13に示すように、各スポット、各エリアによって平均的な滞在時間や、その中での距離範囲に特徴がある。従って、滞在時間や距離範囲を適切に設定することで、スポットやエリアの性質もある程度ジャンル分けすることが可能になる。即ち、意味の領域の粒度(区画)は、場所、ジャンルによって異なるので、このようなジャンル分けは日常度等の評価のためには有効である。例えば図13において、喫茶店は距離範囲は10m程度で、滞在時間は30分程度になり、映画館は、距離範囲は同じく10m程度であるが、滞在時間は2時間程度となり、喫茶店よりも長くなる。また雑貨屋は、喫茶店よりも距離範囲が長く、100m程度であり、滞在時間は30分程度であるが、ショッピングモールは滞在時間は長くなり、4時間程度になる。またエリアは、スポットに比べて、距離範囲が長くなると共に、滞在時間も比較的長くなる。このように距離範囲や滞在時間を調べることで、位置データだけでは抽出できないその場所が持つ意味についても、抽出できるようになる。
【0135】
例えばしきい値(距離範囲)Sthを数10mに設定すると、ユーザが着席してある程度の時間を過ごす場所だけを抽出できる。そしてしきい値Sthを少し大きくすると、建物内で移動する場所を抽出でき、更に大きくすると、施設内を移動する場所や、大きい公園や、散歩するような街や観光地や、ハイキングするような山などを抽出できる。
【0136】
ここで、しきい値Sthを大きくすると、いくつかのスポットを包含するようなエリアが抽出されるが、このエリアの抽出だけでは、新宿のオフィスにいるのか、新宿の居酒屋にいるのかの区別がつかなく、適正な評価処理を実現できない。そこで、エリアとスポットとの組み合わせで、評価することが望ましい。
【0137】
図14では、このようにして抽出されたエリア・スポット(滞在エリア・滞在スポット)におけるユーザの存在確率を求めている。この場合に、曜日や時間帯に応じて、ユーザにとって、その滞在場所が持つ意味合いが異なってくるため、図14では、平日と休日や、日中と朝晩で分けて、存在確率を求めている。そして例えば、直近の30日間での各エリア・各スポットにおける滞在時間の割合を、ユーザの存在確率に関連づけることができる。
【0138】
例えば図14において、自宅については、平日の昼の存在確率は低いが、平日の朝晩の存在確率は高い。また、休日の昼では、ある程度、存在確率が高くなり、休日の朝晩では更に存在確率が高くなる。
【0139】
一方、勤務先であるオフィスについては、平日の昼は存在確率が高いが、平日の朝晩は存在確率が小さい。また休日のオフィスについては、昼及び朝晩の両方において存在確率が低い。
【0140】
図15(A)に示すように、図14で得られた存在確率は、日常度N(日常度の算出ベースとなる値)に割り当てることができる。このような存在確率に対して、更に状況や感情などを加味して、日常度を算出してもよい。
【0141】
また例えば、各エリア、各スポットにおける滞在時間の割合を、その場所の平均的な滞在時間で正規化して、その場所に対するユーザの日常度を評価することもできる。こうすれば、もともと滞在時間の短いコンビニエンスストアのような場所の日常度が、低く算出されてしまう事態を防止できる。
【0142】
或いは図15(B)に示すように、滞在時間による存在確率ではなく、単に、所定期間中(例えば1〜3ヶ月)に、そのスポット・エリアにユーザが存在した回数(進入回数)に基づいて、存在確率を定義して、日常度Nを算出してもよい。
【0143】
なお日常度情報記憶部124(日常度データベース)は、図14及び図15(A)の組み合わせや、図14及び図15(B)の組み合わせで実現できる。例えば日常度情報記憶部124では、図14の滞在エリアや滞在スポットなどのユーザの滞在場所に関連づけて、図15(A)、図15(B)のように日常度を記憶する。或いは、滞在エリアや滞在スポットなどのユーザの滞在場所、及び平日昼、平日朝晩、休日昼、休日朝晩などの滞在時間帯に関連づけて日常度を記憶することになる。ユーザの滞在エリア、滞在スポットなどの滞在場所が特定されたり、これに加えて平日昼、平日朝晩等の滞在時間帯が特定されると、図14、図15(A)或いは図14及び図15(B)の組み合わせで実現される日常度情報記憶部124から日常度を読み出すことで、ユーザの日常度を評価できることになる。
【0144】
6.日常度の評価処理の他の例
次に、日常度の評価処理の他の例について図16等を用いて説明する。図16において、状況推定部106は、状況同定部107と状況予測部108を含む。
【0145】
状況同定部107は、行動、状態、環境のセンサ情報等に基づいて、ユーザの行動、状態、環境等の状況を同定(推定)する。そして、得られたユーザの状況の履歴情報(ログ情報)が履歴情報記憶部126に蓄積される。そして蓄積された状況履歴情報を解析することで、ユーザ個人の趣味・嗜好や行動の傾向などが個人モデルとして構築されて、個人モデル情報記憶部128(個人モデルデータベース)に記憶される。
【0146】
なお個人モデルとしては確率モデルを用いることができ、このような確率モデルとしては例えば隠れマルコフモデル(Hidden Markov Model)がある。この隠れマルコフモデル(HMM)では、システムが、パラメータが未知のマルコフ過程であると仮定して、観測可能な情報からその未知のパラメータを推定する。即ち、HMMは、あるシステムがマルコフ過程に従って遷移する内部状態を持ち、各状態に応じた記号を確率的に出力すると考えた場合に、記号の出現確率分布からシステム内部の状態遷移を推定する確率モデルである。外部から観測できるのは記号の系列だけであり、内部の状態遷移が直接観測できないところから「隠れ」と呼ばれる
状況予測部108は、この個人モデル情報(状況履歴情報)に基づいて、ユーザの次の行動(広義には状況)を予測する。また状況同定部107により、ユーザの実際の行動が同定される。そして、日常度評価部110は、同定されたユーザの実際の行動が、直前の状況と個人モデルに基づいて予測されるユーザの行動と、どの程度一致するものであったかを判断することにより、日常度を評価する。
【0147】
次に、図16の日常度の評価手法について図17(A)〜図17(D)を用いて具体的に説明する。図17(A)は、ユーザの平日の状況履歴(行動履歴)の例である。ユーザは平日の7時30分に起床し、8時に朝食をとり、8時30分に自宅を出発し、8時45分に自宅近くのA駅で電車に乗車している。状況予測部108は、このようなユーザの状況履歴からユーザの次の行動を予測する。
【0148】
そして例えば図17(A)の状況履歴から、状況予測部108は、図17(B)に示すように次の行動ではユーザが会社に行く確率が一番高いと予測する。そして状況同定部107で同定されたユーザの実際の行動が、会社に行く行動であった場合には、日常度評価部110は、ユーザの日常度は高いと評価する。一方、緊急事態などでユーザが自宅に直ぐに帰ってしまい、同定されたユーザの実際の行動が自宅への帰宅であった場合には、日常度は低く、非日常であると評価する。
【0149】
図17(C)は、ユーザの休日の状況履歴の例である。ユーザは休日の8時30分に起床し、9時に朝食をとり、9時30分に自宅を車で出発している。状況予測部108は、このようなユーザの状況履歴からユーザの次の行動を予測する。
【0150】
そして例えば図17(C)の状況履歴から、状況予測部108は、図17(D)に示すように次の行動ではユーザがテニススクールHに行く確率が一番高いと予測する。そして状況同定部107で同定されたユーザの実際の行動が、テニススクールHに行く行動であった場合には、日常度評価部110は、ユーザの日常度が高いと評価する。一方、都心から離れた観光地Kにドライブに行った場合には、日常度が低く、非日常であると評価する。
【0151】
なお、日常度の評価対象となるユーザの状況情報としては、ユーザの滞在場所の情報以外にも種々のものを想定でき、例えば、ユーザが会話している人の情報や、ユーザの緊張度の情報などであってもよい。
【0152】
例えば、日常度の評価対象となる状況情報が、ユーザが会話している人の情報であったとする。この場合には、ユーザがいつも会っている人と会話している時には、日常度が高いと評価し、滅多に会わない人と会話している時には、日常度が低いと評価する。具体的には、第1のユーザの滞在場所と第2のユーザの滞在場所をGPSセンサ等を用いて検出し、これらの滞在場所が一致しており、発話が検出されると、第1のユーザが第2のユーザと会って会話していると判断する。そして、第1、第2のユーザの識別情報や第1、第2のユーザの状況履歴情報から、第1のユーザが第2のユーザと会話する頻度情報を取得し、この頻度情報に基づいて、第1のユーザにとって、第2のユーザと会話することが日常的なのか否かを判断する。
【0153】
そして、例えば滅多に会わない人と一緒に撮った写真に対しては、低い日常度が関連づけられる。従って、その後にその写真をデジタルフォトフレーム300等により再生した場合には、その人と一緒に撮った写真が優先的に抽出されるようになるため、ユーザの思い出となる写真を優先的に表示することが可能になる。
【0154】
また、日常度を評価する場合には、5W1H(Who、What、When、Where、Why、How)のそれぞれについて評価することが望ましい。例えば、ユーザの会社の場所が新宿であったとする。この場合には、平日にユーザが新宿にいれば、日常度が高いと評価されるが、休日にユーザが新宿にいると、逆に日常度が低いと評価される。即ち、場所が同じでも時間帯や日にちが異なれば、日常度の評価結果も異なったものになる。また会社の同僚同士である第1、第2のユーザが、平日に会社で会っていれば、日常度が高いと評価されるが、休日に会社以外の場所で会っていれば、日常度は低いと評価される。即ち、人が同じでも時間帯や滞在場所が異なれば、日常度の評価結果は異なったものになる。
【0155】
なお、上記のように本実施形態について詳細に説明したが、本発明の新規事項および効果から実体的に逸脱しない多くの変形が可能であることは当業者には容易に理解できるであろう。従って、このような変形例はすべて本発明の範囲に含まれるものとする。例えば、明細書又は図面において、少なくとも一度、より広義または同義な異なる用語(センサ、メディア情報等)と共に記載された用語(ウェアラブルセンサ、画像等)は、明細書又は図面のいかなる箇所においても、その異なる用語に置き換えることができる。また情報処理システムの構成、動作も本実施形態で説明したものに限定に限定されず、種々の変形実施が可能である。
【図面の簡単な説明】
【0156】
【図1】図1(A)、図1(B)はセンサ情報の取得手法の説明図。
【図2】本実施形態の第1のシステム構成例。
【図3】メディア情報の書き込み処理を説明するためのフローチャート。
【図4】日常度の評価処理の説明図。
【図5】メディア情報記憶部のデータ構造の例。
【図6】メディア情報の検索処理を説明するためのフローチャート。
【図7】メディア情報の転送処理を説明するためのフローチャート。
【図8】図8(A)、図8(B)はメディア情報の抽出割合についての説明図。
【図9】本実施形態の第2のシステム構成例。
【図10】図10(A)、図10(B)はデジタルフォトフレームの説明図。
【図11】ユーザの滞在場所における位置の分布についての説明図。
【図12】図12(A)、図12(B)は滞在エリア、滞在スポットの説明図。
【図13】各スポット・各エリアについての滞在時間、距離範囲の特徴を示す図。
【図14】滞在場所の存在確率についての説明図。
【図15】図15(A)、図15(B)は存在確率や存在回数に基づく日常度の算出手法の説明図。
【図16】日常度の評価手法の他の例の説明図。
【図17】図17(A)〜図17(D)も日常度の評価手法の他の例の説明図。
【符号の説明】
【0157】
100 携帯型電子機器、102 処理部、103 メディア情報取得部、
104 センサ情報取得部、106 状況推定部、107 状況同定部、
108 状況予測部、110 日常度評価部、112 書き込み部、114 検索部、
116 転送部、120 記憶部、122 メディア情報記憶部、
124 日常度情報記憶部、125 予定情報記憶部、126 履歴情報記憶部、
128 個人モデル情報記憶部、130 情報記憶媒体、138 通信部、
140 ウェアラブルディスプレイ、142 情報提示部、146 撮像部、
148 マイク、150 ウェアラブルセンサ、200 サーバ、202 処理部、
214 検索部、216 転送部、220 記憶部、222 メディア情報記憶部、
238 通信部、300 デジタルフォトフレーム、302 処理部、314 検索部、
316 転送部、318 表示制御部、320 記憶部、322 メディア情報記憶部、
600 外部サーバ、610 第2のメディア情報記憶部

【特許請求の範囲】
【請求項1】
メディア情報を取得するメディア情報取得部と、
取得されたメディア情報を記憶するメディア情報記憶部と、
ユーザの行動を計測する行動センサ、ユーザの状態を計測する状態センサ及びユーザの環境を計測する環境センサの少なくとも1つのセンサからのセンサ情報を含む情報に基づいて、ユーザの日常度を評価する処理を行う日常度評価部と、
前記日常度評価部の評価処理により得られたユーザの日常度を、取得されたメディア情報に関連づけて前記メディア情報記憶部に書き込む書き込み部と、
を含むことを特徴とする情報処理システム。
【請求項2】
請求項1において、
メディア情報に関連づけられたユーザの日常度を用いて、前記メディア情報記憶部に記憶されたメディア情報の検索処理を行う検索部を含むことを特徴とする情報処理システム。
【請求項3】
請求項2において、
前記検索部は、
前記メディア情報記憶部に記憶されたメディア情報の中から、取得時におけるユーザの日常度が低いメディア情報を優先して抽出する検索処理を行うことを特徴とする情報処理システム。
【請求項4】
請求項1乃至3のいずれかにおいて、
メディア情報に関連づけられたユーザの日常度を用いて、前記メディア情報記憶部に記憶されたメディア情報を抽出し、抽出されたメディア情報を第2のメディア情報記憶部に転送する転送部を含むことを特徴とする情報処理システム。
【請求項5】
請求項4において、
前記転送部は、
前記メディア情報記憶部に記憶されたメディア情報の中から、取得時におけるユーザの日常度が高いメディア情報を優先して抽出し、抽出されたメディア情報を前記メディア情報記憶部から削除すると共に前記第2のメディア情報記憶部に転送することを特徴とする情報処理システム。
【請求項6】
請求項4又は5において、
前記第2のメディア情報記憶部は、前記メディア情報記憶部よりも大容量のアーカイブ用の記憶部であることを特徴とする情報処理システム。
【請求項7】
請求項1乃至6のいずれかにおいて、
ユーザの行動を計測する行動センサ、ユーザの状態を計測する状態センサ及びユーザの環境を計測する環境センサの少なくとも1つのセンサからのセンサ情報を含む情報に基づいて、ユーザの状況を推定する状況推定部を含み、
前記日常度評価部は、
推定されたユーザの状況に基づいてユーザの日常度を評価する処理を行うことを特徴とする情報処理システム。
【請求項8】
請求項7において、
ユーザの滞在場所に日常度を関連づけて記憶する日常度情報記憶部を含み、
前記状況推定部は、
ユーザがメディア情報を取得した際のユーザの滞在場所を特定し、
前記日常度評価部は、
特定された滞在場所に関連づけられた日常度を前記日常度情報記憶部から読み出して、ユーザの日常度を評価することを特徴とする情報処理システム。
【請求項9】
請求項7において、
前記日常度情報記憶部は、
ユーザの滞在場所及び滞在時間帯に関連づけて日常度を記憶し、
前記状況推定部は、
ユーザがメディア情報を取得した際のユーザの滞在場所及び滞在時間帯を特定し、
前記日常度評価部は、
特定された滞在場所及び滞在時間帯に関連づけられた日常度を前記日常度情報記憶部から読み出して、ユーザの日常度を評価することを特徴とする情報処理システム。
【請求項10】
請求項8又は9において、
メディア情報に関連づけられたユーザの日常度を用いて、前記メディア情報記憶部に記憶されたメディア情報の検索処理を行う検索部を含み、
前記検索部は、
ユーザがメディア情報を取得した際のユーザの滞在場所が、ユーザにとって日常度が低い滞在場所であるほど高い割合に設定された抽出割合で、メディア情報を抽出する検索処理を行うことを特徴とする情報処理システム。
【請求項11】
請求項8乃至10のいずれかにおいて、
メディア情報に関連づけられたユーザの日常度を用いて、前記メディア情報記憶部に記憶されたメディア情報を抽出し、抽出されたメディア情報を第2のメディア情報記憶部に転送する転送部を含み、
前記転送部は、
ユーザがメディア情報を取得した際のユーザの滞在場所が、ユーザにとって日常度が高い滞在場所であるほど高い割合に設定された抽出割合で、メディア情報を抽出して、抽出されたメディア情報を前記メディア情報記憶部から削除すると共に前記第2のメディア情報記憶部に転送することを特徴とする情報処理システム。
【請求項12】
請求項8乃至11のいずれかにおいて、
前記状況推定部は、
ユーザの滞在場所として、滞在エリアと、滞在エリアよりも狭い滞在スポットとを特定し、
前記日常度評価部は、
ユーザの滞在場所として滞在スポットが特定された場合には、特定された滞在スポットに関連づけられた日常度を前記日常度情報記憶部から読み出して、ユーザの日常度を評価することを特徴とする情報処理システム。
【請求項13】
請求項12において、
前記状況推定部は、
所定期間内でのユーザの位置の標準偏差が、所定の第1のしきい値以下であるか否かに基づいて、ユーザが滞在エリア内に滞在しているか否かを判断し、所定期間内でのユーザの位置の標準偏差が、前記第1のしきい値よりも小さい所定の第2のしきい値以下であるか否かに基づいて、ユーザが滞在スポット内に滞在しているか否かを判断することを特徴とする情報処理システム。
【請求項14】
ディスプレイと、
請求項1乃至13のいずれかに記載の情報処理システムにより前記メディア情報記憶部に書き込まれたメディア情報である画像データに基づいて、前記ディスプレイに画像を表示する制御を行う表示制御部と、
を含むことを特徴とするデジタルフォトフレーム。
【請求項15】
メディア情報と、メディア情報の取得時におけるユーザの日常度とが関連づけて記憶されたメディア情報記憶部と、
メディア情報に関連づけられたユーザの日常度を用いて、前記メディア情報記憶部に記憶されたメディア情報の検索処理を行う検索部とを含み、
前記検索部は、
前記メディア情報記憶部に記憶されたメディア情報の中から、取得時におけるユーザの日常度が低いメディア情報を優先して抽出する検索処理を行うことを特徴とする情報処理システム。
【請求項16】
請求項15において、
前記検索部は、
ユーザがメディア情報を取得した際のユーザの滞在場所が、ユーザにとって日常度が低い滞在場所であるほど、高い割合に設定された抽出割合でメディア情報を抽出する検索処理を行うことを特徴とする情報処理システム。
【請求項17】
ディスプレイと、
請求項15又は16に記載の情報処理システムにより抽出されたメディア情報である画像データに基づいて、前記ディスプレイに画像を表示する制御を行う表示制御部と、
を含むことを特徴とするデジタルフォトフレーム。
【請求項18】
メディア情報と、メディア情報の取得時におけるユーザの日常度とが関連づけて記憶されたメディア情報記憶部と、
メディア情報に関連づけられたユーザの日常度を用いて、前記メディア情報記憶部に記憶されたメディア情報を抽出し、抽出されたメディア情報を第2のメディア情報記憶部に転送する転送部とを含み、
前記転送部は、
前記メディア情報記憶部に記憶されたメディア情報の中から、取得時におけるユーザの日常度が高いメディア情報を優先して抽出し、抽出されたメディア情報を前記メディア情報記憶部から削除すると共に前記第2のメディア情報記憶部に転送することを特徴とする情報処理システム。
【請求項19】
請求項18において、
前記転送部は、
ユーザがメディア情報を取得した際のユーザの滞在場所が、ユーザにとって日常度が高い滞在場所であるほど高い割合に設定された抽出割合で、メディア情報を抽出して、抽出されたメディア情報を前記メディア情報記憶部から削除すると共に前記第2のメディア情報記憶部に転送することを特徴とする情報処理システム。
【請求項20】
メディア情報を取得するメディア情報取得部と、
取得されたメディア情報を記憶するメディア情報記憶部と、
ユーザの行動を計測する行動センサ、ユーザの状態を計測する状態センサ及びユーザの環境を計測する環境センサの少なくとも1つのセンサからのセンサ情報を含む情報に基づいて、ユーザの日常度を評価する処理を行う日常度評価部と、
前記日常度評価部の評価処理により得られたユーザの日常度を、取得されたメディア情報に関連づけて前記メディア情報記憶部に書き込む書き込み部として、
コンピュータを機能させることを特徴とするプログラム。
【請求項21】
メディア情報と、メディア情報の取得時におけるユーザの日常度とが関連づけて記憶されたメディア情報記憶部と、
メディア情報に関連づけられたユーザの日常度を用いて、前記メディア情報記憶部に記憶されたメディア情報の検索処理を行う検索部として、
コンピュータを機能させ、
前記検索部は、
前記メディア情報記憶部に記憶されたメディア情報の中から、取得時におけるユーザの日常度が低いメディア情報を優先して抽出する検索処理を行うことを特徴とするプログラム。
【請求項22】
メディア情報と、メディア情報の取得時におけるユーザの日常度とが関連づけて記憶されたメディア情報記憶部と、
メディア情報に関連づけられたユーザの日常度を用いて、前記メディア情報記憶部に記憶されたメディア情報を抽出し、抽出されたメディア情報を第2のメディア情報記憶部に転送する転送部として、
コンピュータを機能させ、
前記転送部は、
前記メディア情報記憶部に記憶されたメディア情報の中から、取得時におけるユーザの日常度が高いメディア情報を優先して抽出し、抽出されたメディア情報を前記メディア情報記憶部から削除すると共に前記第2のメディア情報記憶部に転送することを特徴とするプログラム。
【請求項23】
コンピュータ読み取り可能な情報記憶媒体であって、請求項20乃至22のいずれかに記載のプログラムを記憶したことを特徴とする情報記憶媒体。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate

【図9】
image rotate

【図10】
image rotate

【図12】
image rotate

【図14】
image rotate

【図15】
image rotate

【図16】
image rotate

【図17】
image rotate

【図11】
image rotate

【図13】
image rotate


【公開番号】特開2010−72818(P2010−72818A)
【公開日】平成22年4月2日(2010.4.2)
【国際特許分類】
【出願番号】特願2008−238030(P2008−238030)
【出願日】平成20年9月17日(2008.9.17)
【公序良俗違反の表示】
(特許庁注:以下のものは登録商標)
1.Bluetooth
【出願人】(000000376)オリンパス株式会社 (11,466)
【Fターム(参考)】