情報再生方法及び情報再生装置
【課題】本開示は、顔認識を利用した操作を基本として、在籍者に応じて再生する映像や音声を予め設定されている規則に従って選択して再生する情報再生装置および情報再生方法を提供する。
【解決手段】この発明の一つの実施の形態では、記録手段が顔認識手段にて認識された顔の特徴点情報に基づいて視聴者情報を記録する。設定手段は、前記記録された視聴者情報に対応して、映像表示手段に表示する情報を設定する。そして情報再生手段が、前記記録手段に記録された視聴者情報に対応した視聴者が前記顔認識手段にて認識された場合に、前記設定手段にて設定された第1の情報を前記映像表示手段に再生し、前記記録された視聴者情報に対応した視聴者と前記記録手段に記録された視聴者情報に対応しない視聴者とが前記顔認識手段にて認識された場合に、前記第1の情報と異なる第2の情報を前記映像表示手段に再生する。
【解決手段】この発明の一つの実施の形態では、記録手段が顔認識手段にて認識された顔の特徴点情報に基づいて視聴者情報を記録する。設定手段は、前記記録された視聴者情報に対応して、映像表示手段に表示する情報を設定する。そして情報再生手段が、前記記録手段に記録された視聴者情報に対応した視聴者が前記顔認識手段にて認識された場合に、前記設定手段にて設定された第1の情報を前記映像表示手段に再生し、前記記録された視聴者情報に対応した視聴者と前記記録手段に記録された視聴者情報に対応しない視聴者とが前記顔認識手段にて認識された場合に、前記第1の情報と異なる第2の情報を前記映像表示手段に再生する。
【発明の詳細な説明】
【技術分野】
【0001】
この発明は、映像や音声を視聴する利用者に合わせて選択して再生する顔認証を利用した情報再生方法及び情報再生装置に関する。
【背景技術】
【0002】
映像や音声を再生する映像音声再生装置として、テレビジョン受信装置、モニタ装置とプレーヤ装置、ビデオカメラ、パーソナルコンピュータ、携帯可能端末、デジタルフォトフレーム等の多様な機器が実用化され、既に広く普及している。
【0003】
また、ネットワーク網の充実と、その高速化かつ大容量化に伴い、再生対象であるコンテンツ(番組)は、空間波あるいは光ファイバ等による送信側(配信局)からの一方的な供給に加え、オンデマンド方式の普及により、視聴者の要求に従う任意の時間に取得可能である。
【0004】
また、ネットワーク上で提供されるニューステロップや、予め設定した特定分野の情報を、テレビジョン受信装置やデジタルフォトフレームあるいはパーソナルコンピュータの画面に独立して表示可能なウィジェット(情報画面)の普及に伴い、オンデマンド方式による視聴者からの要求とは異なる観点で提供される映像や音声の取得とその再生が可能である。
【0005】
ところで、例えば、リビングに置いたデジタルフォトフレームに、視聴者とその家族が自分勝手に任意数のウィジェット(情報画面)を設定した場合、各人にとっては、見辛いものとなる。また、来訪者があった場合は、デジタルフォトフレームをオフし、あるいは来訪者が見ることのできないよう、隠す等の対応が求められる。
【0006】
特許文献1(先行技術文献)は、鑑賞者を検出し、検出された鑑賞者に関連のある画像を選択して表示する電子アルバム表示システムを開示する。
【先行技術文献】
【特許文献】
【0007】
【特許文献1】特開2006−236218号公報
【特許文献2】特開2000−322358号公報
【発明の概要】
【発明が解決しようとする課題】
【0008】
特許文献1が開示する電子アルバム表示システムは、鑑賞者を特定して鑑賞者に関連のある画像(写真)を表示するが、鑑賞者以外の人が同席しても画像を表示することから、鑑賞者が鑑賞者以外の人に見てほしくない、不本意な画像も表示される。
【0009】
この発明の目的は、顔認証を用い、視聴中の在席者に応じて特定の条件で設定された映像や音声を再生する、特に視聴者として同席している人がいる場合、再生する映像や音声を予め設定されている規則に従って選択して再生する情報再生方法及び情報再生装置を提供することにある。
【課題を解決するための手段】
【0010】
この発明は、記録手段が顔認識手段にて認識された顔の特徴点情報に基づいて視聴者情報を記録する。設定手段は、前記記録された視聴者情報に対応して、映像表示手段に表示する情報を設定する。そして情報再生手段が、前記記録手段に記録された視聴者情報に対応した視聴者が前記顔認識手段にて認識された場合に、前記設定手段にて設定された第1の情報を前記映像表示手段に再生し、前記記録された視聴者情報に対応した視聴者と前記記録手段に記録された視聴者情報に対応しない視聴者とが前記顔認識手段にて認識された場合に、前記第1の情報と異なる第2の情報を前記映像表示手段に再生する。
【図面の簡単な説明】
【0011】
【図1】この発明の実施の形態が適用可能な顔認証を用い、視聴者ごとに、特定の条件で設定された映像や音声を再生する映像音声再生システムの一例を示す概略図。
【図2】図1に示したシステムに組み込まれる映像音声再生システムに好適に適用可能な映像音声再生装置の一例であるデジタルフォトフレームの構成の一例を示す概略図。
【図3】図1に示したシステムに適用される視聴者ごとの映像や音声の再生条件(ウィジェット(情報画面))の設定を管理するウィジェット管理テーブルの一例を示す概略図。
【図4】図3に示したウィジェット管理テーブルが参照する家族ID管理テーブルの一例を示す概略図。
【図5】図3に示したウィジェット管理テーブルが参照するウィジェットインプット情報テーブルの一例を示す概略図。
【図6】図1に示したシステムに組み込まれる映像音声再生装置(図2に示したデジタルフォトフレーム)に適用可能なウィジェット(情報画面)の具体例を示す概略図。
【図7】図1に示したシステムに組み込まれる映像音声再生装置(図2に示したデジタルフォトフレーム)に表示されるウィジェットの表示例を示す概略図。
【図8】図7に示したウィジェット(表示)が見ている人(視聴者)に応じて変化される例を示す概略図。
【図9】図7に示したウィジェット(表示)が見ている人(視聴者)に応じて変化される例を示す概略図。
【図10】図7に示したウィジェット(表示)が見ている人(視聴者)と、その人が設定した特有の設定(時間変化)に応じて変化される例を示す概略図。
【図11】図1に示したシステムに組み込まれる映像音声再生装置(図2に示したデジタルフォトフレーム)に視聴者ごとの特定の条件に対応可能なウィジェットを設定する方法を説明する概略図(画面遷移例)。
【図12】図1に示したシステムに組み込まれる映像音声再生装置(図2に示したデジタルフォトフレーム)において、視聴者の有無を検出し、視聴者ごとに決められている条件でウィジェットを再生する方法をソフトウエア的に説明する概略図(フローチャート)。
【図13】図1に示したシステムに組み込まれる映像音声再生装置(図2に示したデジタルフォトフレーム)において、視聴者の会話の内容(話題)に従い、話題に即した情報を提供可能なウィジェットが選択されている場合に、そのウィジェットのコンテンツを変更する方法をソフトウエア的に説明する概略図(フローチャート)。
【図14】図1に示したシステムに組み込まれる映像音声再生装置(図2に示したデジタルフォトフレーム)に視聴者ごとの特定の条件に対応可能なウィジェットを設定する方法の別の一例を説明する概略図(画面遷移例)。
【図15】図1に示したシステムに組み込まれる映像音声再生装置に適用される顔認証/照合処理装置の一例を示す概略図。
【発明を実施するための最良の形態】
【0012】
以下、図面を参照して、本発明の実施の一形態について説明する。
【0013】
図1は、顔認証を利用したメールシステム全体の概略を説明する。なお、以下に説明するさまざまな要素において、「モジュール」と呼称する要素は、ハードウエアで実現するものであってもよいし、CPU(マイクロコンピュータ)等を用いてソフトウエアで実現するものであってもよい。
【0014】
図1に概略を示す、顔認証を用いて視聴者ごとに、特定の条件で設定された映像や音声を再生する映像音声再生システムは、空間波を用いた無線方式あるいは光ファイバ等を用いた有線伝送方式により放送事業者もしくは中継事業者から提供されるテレビジョン放送信号を受信して再生するテレビジョン受信装置(家庭内ユーザ端末1)10、ハードディスクドライブ(HDD)に代表される大容量記録装置を保持したビデオレコーダ装置(家庭内ユーザ端末2)20、あるいはデジタルフォトフレーム等に代表される映像音声再生装置(家庭内ユーザ端末3)100の少なくとも1つと、ネットワーク網、例えば光ファイバ網あるいは公衆通信網を介して家庭内ユーザ端末(1〜3)のそれぞれと相互に接続されるビデオレターサーバ1000と、により達成される。
【0015】
ビデオレターサーバ1000には、ネットワーク網、例えばインターネット網を通じ、家庭内ユーザ端末1〜3、すなわちテレビジョン受信装置10、ビデオレコーダ装置20もしくはデジタルフォトフレーム100が設置される場所とは異なる、例えば親族宅や知人宅等に代表される任意の位置に設けられるカメラ付テレビジョン装置200(ユーザ端末4)、パーソナルコンピュータ(PC)300(ユーザ端末5)、外部ネットワーク網とのアクセスが可能な携帯可能端末、例えばカメラ付ゲーム機400(ユーザ端末6)やカメラ付携帯電話500(ユーザ端末7)が、任意にアクセス可能である。
【0016】
ビデオレターサーバ1000は、家庭内ユーザ端末(テレビジョン受信装置10、ビデオレコーダ装置20あるいはデジタルフォトフレーム100、およびそれを操作する送信者)から送信されたメール(ビデオメール)や写真もしくは動画ファイル等を一旦保持するとともに、相手先(受信者)に、メール(ビデオメール)や写真、もしくは動画ファイルが着信したことを報知する。なお、ビデオメールには、テレビジョン受信装置10、ビデオレコーダ装置20、もしくはデジタルフォトフレーム100に付属するカメラ(10a,20a,100a)の前にいるユーザ(すなわち送信者)の映像・音声の他に、既存のコンテンツを付加することもできる。既存のコンテンツ(著作権等、他人の権利を侵さない範囲に限る)としては、ユーザが撮影したビデオ映像、ユーザが撮影したデジタルカメラ画像、ユーザが録音した音声・音楽、ビデオレコーダに録画済みの放送番組の映像・音声(音楽)、パブリックドメインに属するインターネット配信映像・音声(音楽)などがある。
【0017】
ビデオレターサーバ1000とネットワーク上で接続された(ビデオレターサーバ1000にアクセス可能な)カメラ付デジタルテレビジョン装置200、パーソナルコンピュータ(PC)300、カメラ付ゲーム機400、あるいは携帯電話器500を保持する相手方(受信者)は、テレビジョン受信装置10、ビデオレコーダ装置20もしくはデジタルフォトフレーム100に付属するカメラ(10a,20a,100a)の前にいるユーザ(すなわち送信者)が送信した映像・音声の他と付加されているコンテンツを、任意のタイミングで再生できる。なお、テレビジョン装置10(あるいはレコーダ装置20)、もしくはデジタルフォトフレーム100のそれぞれは、カメラ10a(20a),100aに加えて、それぞれの機器の前または近傍にいる(在席する)人物すなわち視聴者の音声を取り込むマイク10c(20c),100cを含む。
【0018】
また、送信側ユーザ端末(10,20,100)および受信側端末(200,300,400,500)のそれぞれには,図15を用いて後段に説明する顔認証/照合処理装置1が組み込まれている。顔認証/照合処理装置1は、各ユーザ端末に一体的に設けられるカメラ(10a,20a,100a,200a,300a,400a,500a)の前にいるユーザの顔の特徴をコード化し、あるいはカメラ前のユーザの顔の特徴と登録済みの顔の特徴とを照合できる。また、各ユーザ端末のカメラで取り込まれたユーザの顔の画像データ、その顔の特徴を顔認証/照合処理装置1によりコード化した特徴点データ等は、サーバ1000に設けられた宛先管理テーブル1001に登録される。
【0019】
各ユーザからのビデオメール自体(メールコンテンツ)は、宛先管理テーブル1001の登録内容に関連づけられて、サーバ1000内の図示しないデータストレージ(大容量記憶装置)に格納される。
【0020】
図1に示す映像音声再生システムにおいては、ユーザ自身が視認できる顔画像を宛先として、ユーザの家庭内ローカルエリアネットワーク経由で、家族内の伝言メールの送受信が可能である。また、インターネット網を経由して、遠隔地にいる別のユーザ(親族宅や知人宅等)にビデオメールを送信するとともに、各ユーザからのビデオメールを受信することができる。
【0021】
なお、送信側ユーザの家庭内あるいは受信側ユーザの家庭内では、例えばテレビジョン装置10やレコーダ装置20の図示しないHDD(大容量記憶装置)、もしくはデジタルフォトフレーム100の半導体メモリ装置(HDDの場合もある)、あるいはPC(パーソナルコンピュータ)300やカメラ付テレビジョン装置200の同様の記憶装置に、管理情報テーブル1001の内容をコピーしておくことができる。これにより、テレビジョン装置10あるいはレコーダ装置20もしくはデジタルフォトフレーム100等の機器の単独利用により、家族内においてビデオメール(または伝言)を交換することもできる。
【0022】
このとき、伝言を、例えば「公開(家族の全員が見ることができる)」とすることで、家庭内でテレビジョン装置10をオンした任意の家族(家人)やデジタルフォトフレーム100の前にいる人物(カメラ100aにより認識される在席者すなわち視聴者)に、伝言を伝達することができる。なお、家庭内においてビデオメールや伝言を公開する場合、テレビジョン装置10またはレコーダ装置20(またはデジタルフォトフレーム100)がホームサーバとしての機能を持つことで、容易に実現できる。
【0023】
なお、サーバ1000は、インターネット上(ネットワーク網)にあり、そのサーバにビデオメール自体(=コンテンツ)と宛先管理テーブルを持つ顔イメージが、宛先相当であり、インターネットに出力する際はメールアドレスを用いることはいうまでもない。
【0024】
また、ユーザが見ている(視聴中である)テレビ番組やHDDレコーダにおいて再生中であるコンテンツに関する情報を、カメラで撮影したユーザの顔イメージと関連づけ留とともに個々の嗜好を学習し、その結果をサーバ1000において一定期間保持することにより、サーバを介して接続可能な企業は、例えばユーザの思考に応じた広告メールをピンポイントでユーザに送ることができる。この場合、メール一覧の中にビデオ広告が入ることとなり、ユーザの目につきやすくなる。
【0025】
図2は、図1に示したシステムに組み込まれる映像音声再生システムに好適に適用可能な映像音声再生装置の一例であるデジタルフォトフレームのシステムロジックを示す。
【0026】
デジタルフォトフレーム100は、カメラ100aからの映像を取り込むカメラ制御・入力部151、マイク100cからの音声を取り込むマイク入力部153、表示部160に一体に形成されたタッチパネル(タッチスクリーン)に映像を出力する映像制御・出力部161、およびタッチパネル160による入力を受けつけ、所定の制御信号を出力するタッチ入力制御部162、等を含む。なお、カメラ制御・入力部151の出力は、蓋有無判断部152により、カメラ100aにカバー(蓋)100bがつけられたままか否か、がチェックされる。例えば、蓋有無判断部152により、カメラ100aが映像を取り込むことができない状態であることが検知できた場合、以下に説明するウィジェットの表示およびコンテンツの再生は、実行されない。
【0027】
ウィジェット登録部101は、デジタルフォトフレーム100の表示部160および、以下に説明する音声制御・出力部164に接続されるスピーカ(音声再生装置)154が再生する映像および音声(コンテンツ)を、さまざまな再生形態により再生可能とする任意数のウィジェット(情報画面)を、ユーザ(視聴者)の登録/変更/削除動作に従い、設定されたウィジェットを選択的に動作させる。なお、ウィジェットは、周知の通り、例えばデジタルフォトフレーム100の表示部160、あるいはテレビジョン受信装置1の表示部の表示領域中に、1または複数、映像または写真(静止画)もしくは音楽等を再生可能な情報画面であり、デジタルフォトフレーム100が再生中の写真(静止画)等の再生状態とは独立に、選択されたウィジェットが所望するさまざまな動作を提供できる。例えば、図1は、デジタルフォトフレーム100の表示部160あるいはテレビジョン受信装置10の表示装置において、それぞれ2つのウィジェットWa,Wbが設定されている状態を概略的に示す。
【0028】
デジタルフォトフレーム100はまた、半導体メモリ、例えばメモリカードMを媒体として供給される映像(写真データ)を取り込むメディア入力部163、ウィジェットが再生する映像(コンテンツ)が音声あるいは音楽を伴う場合、それを出力する音声制御・出力部164、入力された映像および音楽のデータを保持する映像・音楽記録部165、マイク100cにより取得した音声を認識して形態素を解析し、話題(キーワード)を抽出する音声認識・形態素解析・話題抽出部166、等を含む。なお、明暗判断部167は、デジタルフォトフレーム100が設置されている環境、すなわち視聴者が在席中の部屋の明るさを検知するもので、検知した部屋の明るさに従ってウィジェットおよび表示部160が表示する映像の明るさを調整し、あるいは照明が消された等の変化を検知して、ウィジェットおよびデジタルフォトフレーム100そのものの映像の再生を停止する等の制御に有益である。
【0029】
デジタルフォトフレーム100はさらに、ネットワーク網(主としてインターネット)を介して接続されるビデオレターサーバ1000や同サーバ1000を介して接続される他の家庭内ユーザ端末、すなわちデジタルフォトフレーム100が設置される場所とは異なる、例えば親族宅や知人宅等に代表される任意の位置に設けられる上述のカメラ付テレビジョン装置200、同パーソナルコンピュータ(PC)300、同外部ネットワーク網とのアクセスが可能な携帯可能端末、例えばカメラ付ゲーム機400や、カメラ付携帯電話500とのアクセスを可能とする通信部171、デジタルフォトフレーム100の表示部160のオン(映像の表示)やオフ(映像非表示)の制御、およびタイマー機能による起動条件(時間帯指定)等を実行する電源制御部181等を含む。なお、デジタルフォトフレーム100には、詳述しないさまざまな外部機器、例えば外部に付属することが許可される大容量記憶装置(HDD)や、USB(Universal Serial Bus)メモリ等との信号の受け渡し等に利用される各種機能制御部(拡張機能制御部)191も設けられる。
【0030】
図3は、図1に示したシステムに適用される視聴者ごとの映像や音声の再生条件(ウィジェット(情報画面))の設定を管理するウィジェット管理テーブルの一例を示す。
【0031】
デジタルフォトフレーム100に、任意数のウィジェットを用意し、その動作を可能とする場合、
ア)視聴者が機器操作者(ウィジェット設定者)本人のみである場合、
イ)視聴者が機器操作者本人とその家族である場合、
ウ)視聴者が機器操作者本人とその友人等、機器操作者本人の家族以外を含む場合
等の場合分けが、可能である。なお、機器操作者は、デジタルフォトフレーム100の映像を視聴可能に、デジタルフォトフレーム100の前、あるいはデジタルフォトフレーム100の近傍に居る人物であり、1人のみである場合には、本人と称する人物が、ウィジェット設定者として認識される。また、家族は、予め視聴が許可された特定の在席者のグループを指す(家族以外であっても、同居の親族等が該当する)。
【0032】
このことは、例えば視聴者が機器操作者本人以外である場合等において、ウィジェットが再生する映像(コンテンツ)が、機器操作者本人以外には見てほしくない、あるいは同席者には見せないほうが好ましいと判断できる映像、例えば子供を授からない友人に登録者本人が自分の子供と遊んでいる映像等である場合、友人が同席した時点で、デジタルフォトフレーム100が再生する映像(ウィジェットが再生するコンテンツ)として、子供の映像を除外する、等の判断が必要となる場合に有益である。
【0033】
図3は、上述したア)〜ウ)の場合分けを、カメラ100aが取り込む視聴者の情報に従って選択可能とする管理テーブルの一例であり、例えば
<<存在(誰が見ているか)>>
自分(本人)だけ(見ている)
(本人と)家族のみ(見ている)
家族外の人<友人等>が(見ている)、あるいは<企業内すなわち本人が自身の勤務先のパーソナルコンピュータに設定したウィジェット>
として場合分けできる。
【0034】
なお、デジタルフォトフレーム100(あるいはテレビジョン受信装置10)の表示部において再生されるウィジェットは、再生されている時間帯に応じて、
<<時間(ウィジェットが再生されている時間帯)>>
朝[5am〜]
昼[11am〜]
夕方[4pm〜]
夜[8pm〜]
深夜[11pm〜]
ALL(終日)
のように、場合分けできる。
【0035】
例えば、朝と昼については、スーパーマーケットの当日の安売り情報等を表示するが、スーパーマーケットの営業時間が終わった以降の夜と深夜においては、スライドショーにより任意数の写真を再生するとともに、夜間帯に好適な音楽(睡眠を誘うBGM)、等を再生することが望ましい。
【0036】
また、ウィジェットは、デジタルフォトフレーム100の表示部160(テレビジョン受信装置10の表示装置)の表示領域の大きさに依存するが、例えば[左上]/[右上]/[左下]/[右下]等により特定される4箇所程度であれば、同時に配置(再生)してもデジタルフォトフレーム100(テレビジョン受信装置10)が再生中の写真や映像の視認に支障を与えないと判断でき、例えば、[カレンダー]/[時計]/[(当日の)天気(予報)]/[電車の運行状況]等が予め選択されたウィジェットセットが選択され、再生されることを可能とする(<<表示位置>>)。なお、表示位置としては、同時に動作するウィジェットが4つ程度であれば、後段に例示する再生例のように、例えば右側に上下方向に4つ位置されてもよいことはいうまでもない。
【0037】
なお、図3に示した場合分け(ウィジェット管理テーブル)では、視聴者の組み合わせに応じて、動作するウィジェットも随時変更されることは上述した通りである。
【0038】
図4は、図1に示したシステムに適用される視聴者ごとの映像や音声の再生条件(ウィジェット(情報画面))の設定を管理するウィジェット管理テーブルを示す。
【0039】
図4において、予め登録されている家族は、例えば本人(ID1)、同居している親族(ID2)、同じく親族(ID3)として管理される。なお、それぞれの家族は、個々の顔を予め撮影した写真または識別符号(メールアドレス)により特定される。また、顔を撮影した写真によりメールアドレスとすることもできる。なお、顔(写真)をアドレスとする方法および照合については、図15を用いて後段に説明する顔認証/照合処理装置1による「顔認証」処理/「照合」処理による。
【0040】
図5は、図3に示したウィジェット管理テーブルが参照するウィジェットインプット情報テーブルの一例を示す。
【0041】
図1に示した映像音声再生システムに適用される映像音声再生装置であるデジタルフォトフレーム(図2参照)100やテレビジョン受信装置10は、それぞれ視聴者すなわち任意の映像音声再生装置が再生する映像(および音声(音楽))を目視し、あるいは再生される音楽を聴取しているユーザ(家人)や来訪者(友人)等の会話から音声認識・形態素解析・話題抽出部166により、話題(キーワード)を抽出する。例えば、会話に登場するキーワード(話題)が旅行である場合、ネットワーク網(インターネット)を介して旅行先の天気を取得し、再生することができる。また、キーワードが旅行である場合、その地域の食の情報(「グルメ」情報)やお土産のランキング等を再生することができる。なお、ウィジェットインプット情報テーブルは、キーワードの入力すなわち会話から抽出できるキーワードに従い、「Input#1」、「Input#2」・・・「Input#n(nは正の整数)」のように、任意に、情報を保持できる。
【0042】
図6は、図2に映像音声再生装置の一例として説明したデジタルフォトフレーム100のウィジェット登録部101に登録することで動作可能な保持するウィジェット(情報画面)の一例を示す。なお、ウィジェットの種類(個々のウィジェット)としては、目的地までに利用すべき交通機関と所要時間等を案内するものや、定期的(一日に数回)に配信されるニュースを再生するもの、あるいは予め登録した小売店や量販店の価格情報を報知するもの、株価や天気を知らせるもの等、さまざまである。
【0043】
また、ウィジェットは、ネットワーク網(インターネット)を経由して、あるいは半導体メモリMを介したメディア入力部163への供給により、随時取得することができる。もちろん、既に取得したウィジェットの削除や動作させるウィジェットの変更も、以下に説明するウィジェットの交換/新規登録/削除に基づいて、随時可能である。
【0044】
図7〜図10は、図2を用いて説明した映像音声再生装置(デジタルフォトフレーム)に表示されるウィジェットの例を示す。なお、図2により説明したデジタルフォトフレームに対しては、図3〜図6を用いて説明した再生条件が適用されるものとする。
【0045】
すなわち、図3で示した視聴者の在席や時間情報と図4に示した家族IDに従い、動作するウィジェットが変化する。また、視聴者(在席者)の会話に従い、キーワードが抽出できた場合、図5に示したようなウィジェットインプット情報テーブルを保持した特定のウィジェットが動作され、キーワードに対応する情報が取得され、再生される。
【0046】
図7は、視聴者に関する限定(条件)がない(最も多くの視聴者向け)のウィジェットが動作された状態のデジタルフォトフレーム100の画像再生状態を示す。
【0047】
すなわち、特定の視聴者向けの限定がないため、起動されたウィジェットは、時刻表示(時計)と気温(地域温度)のみが表示されている。
【0048】
図8は、視聴者が登録者本人のみであり、図4に示した家族IDから父親と想定している人物である場合に動作されるウィジェットの組み合わせを示している。
【0049】
すなわち、登録者本人のみが視聴することを想定し、時刻表示(時計)と気温(地域温度)のウィジェットに加え、カレンダー表示ウィジェットや、株価表示ウィジェット等が追加されていることが認められる。
【0050】
図9は、視聴者が登録者本人のみであり、図4に示した家族IDから母親と想定している人物が、朝方(午前中)に視聴している場合に動作されるウィジェットの組み合わせを示している。
【0051】
すなわち、登録者本人のみが視聴することを想定し、時刻表示(時計)と気温(地域温度)のウィジェットに、カレンダー表示ウィジェットとスーパーマーケットあるいは量販店の特売情報表示ウィジェットが追加されていることが認められる。
【0052】
図10は、視聴者の条件は図9の例に準じて図4に示した家族IDから母親と想定している人物が、昼以降(昼間〜夕方)に視聴している場合に動作されるウィジェットの組み合わせを示している。
【0053】
すなわち、図10では起動されるウィジェットの組み合わせとして、時刻表示(時計)と気温(地域温度)のウィジェットおよびカレンダー表示ウィジェットに、ニュース再生ウィジェットが追加されていることが認められる。
【0054】
このように、例えば付属するあるいは連動可能に設けられたカメラにより取得した視聴者の在席情報と時刻(ウィジェットが再生されている時間帯)とに基づいて、起動すべきウィジェットを任意に組み合わせる(組み合わせを変更する)ことにより、視聴者とその家族のそれぞれが必要と判断した情報のみを、在席している視聴者に対応して提供可能なあたかも個人向けのようなウィジェット再生動作を、1つの映像音声再生装置により実現できる。
【0055】
なお、カメラにより視聴者の在席情報を常時取得することにより、視聴者が不在となった場合には、ウィジェットをオフするとともに、デジタルフォトフレーム(テレビジョン受信装置)の表示部の電源もオフできる。また、カメラにより取得した視聴者の顔情報から、登録者本人/家族/家族と登録者等の人物の存在(在席)を特定できるため、例えばネコや犬等のペットのみが在室している場合には、同様にウィジェットをオフするとともに、デジタルフォトフレーム(テレビジョン受信装置)の表示部の電源もオフすることができる。このことは、今日の省エネルギーの要求に対しても有益である。
【0056】
図11は、図7〜図10に示した表示例を実現するためのウィジェットの登録と削除、ならびに視聴者(家族)の登録と削除の手順を、表示画面の遷移例によりソフトウエア的に示す。
【0057】
付属するリモコン端末(図示せず)等の操作、もしくは表示部160のウィジェットの非表示領域への操作者の指の接触により、ウィジェット設定モードが起動すると、[1]面のように、
1.ウィジェット(セット)登録・変更<<ボタン[赤]>>
2.ウィジェット(セット)削除<<ボタン[青]>>
3.家族の登録・変更<<ボタン[黄]>>
4.家族の削除<<[削除]キー>>
5.終了(戻る)<<[戻る]キー>>
等の次の指示、すなわちウィジェット(セット)の登録・変更/ウィジェット(セット)の削除/家族の登録・変更/家族の削除/終了(戻る)等のいずれかを選択する入力信号を受けつける設定画面が表示される。
【0058】
リモコン端末(図示せず)等による数字入力または特定のボタンによる制御コマンドの発行、あるいは画面(表示部)160の所定の文字列への操作者の指の接触により、特定の作業(入力待ち画面)が選択されることで、例えば[2]〜[5]で示す各種入力画面が表示される。
【0059】
例えば、「ウィジェット(セット)登録・変更」が選択されることで、[2]面が表示され、
・・変更するウィジェット(セット)を選んでください・・
1.新規追加<<ボタン[緑]>>
2.時計、カレンダー、[任意の1つ]
3.時計、消費電力、家族
4.時計、天気、温度、特売(朝)
5.時計、天気、温度、特売
6.終了(戻る)
等の次の指示、すなわち登録(選択)するウィジェット(セット)が入力可能な設定画面が表示される。
【0060】
例えば、「新規追加」が選択されることで、[21]面が表示され、
・・ウィジェット[1つめ]の表示位置を選んでください・・
1.表示領域 →☆[左上]☆/☆[右上]☆/☆[左下]☆/☆[右下]☆
2.カーソルを移動して[左上]/[右上]/[左下]/[右下]を決定
3.終了(戻る)
等の次の指示、すなわち登録(選択)する1つめのウィジェットの位置を入力可能な設定画面が表示される。
【0061】
以下、表示される[22]面(図6に示した一覧画面に類似)から任意のウィジェットが選択されると、[21]面で設定した位置において動作されるべきウィジェットが選択される。引き続き、[23]面において、[22]面で選択したウィジェットを起動すべき時間帯の入力が要求される。なお、設定しようとするウィジェットの数だけ、[21]〜[23]面の表示が順に繰り返される。従って、操作者は、表示(面)に従って、順次ウィジェットの選定、起動位置(画面上の配置)および起動条件(時間帯)を、入力(選択)すればよい。なお、起動条件(時間帯)としては,[23]面に概略を示すが、
☆[朝]☆
☆[昼]☆
☆[夕方]☆
☆[夜]☆
☆[深夜]☆
☆[全ての時間帯]☆
・・終了(戻る)
に大別される。
【0062】
選択すべき全てのウィジェットについて、表示位置と起動時間帯が設定されると、起動時の視聴者を設定するための入力画面([24]面)が表示され、操作者による入力(設定)の終了が指示されることで([25]面)、ウィジェットの登録(新規追加)が完了する([26面])。なお、起動時の視聴者としては、例えば、
☆自分☆
☆父親☆
☆母親☆
☆兄弟/姉妹(1人め)☆
☆兄弟/姉妹(2人め)☆
☆家族全員☆
☆家族以外を含む全員☆
・・終了(戻る)
等の[24]面の表示から、選択すればよい。
【0063】
[1]面において、例えば「ウィジェット(セット)削除」が選択されると、[3]面が表示され、
・・削除するウィジェット(セット)を選んでください・・
1.時計、カレンダー、[任意の1つ]
2.時計、消費電力、家族
3.天気、温度、特売(朝)
4.天気、温度、特売
5.終了(戻る)
等の次の指示、すなわち削除するウィジェット(セット)が入力可能な設定画面が表示される。
【0064】
以下、選択されたウィジェット(セット)が表示され([31]面)、表示された[31]面において、『はい(あるいはOK)』が選択されることで、[31]面に表示されたウィジェット(セット)が削除される。
【0065】
一方、[1]面において、例えば「家族の登録・変更」が選択された場合には、[4]面が表示され、
・・家族を登録します・・
1.アドレス帳から<<ボタン[緑]>>
2.撮影して登録<<ボタン[黄]>>
3.終了(戻る)
等の次の指示、すなわち家族の追加あるいは変更を入力可能な設定画面が表示される。
【0066】
例えば、「撮影して登録」が選択されると、[41]面が表示され、付属するカメラによる撮影後、撮影した操作者の顔の写真が表示される。なお、ここでは、『撮りなおし』を可能としている([41]面)。
【0067】
以下、撮影した写真の操作者またはアドレス帳から選択した写真に該当する家族が既に登録されている場合には、例えば「42]面のように、
・・登録済みです
・・変更しますか
・・終了(戻る)
等の次の指示、すなわち写真の変更を入力可能な設定画面が表示される。
【0068】
一方、撮影した写真の操作者またはアドレス帳から選択した写真に該当する家族が登録されていない場合には、例えば「44]面のように、
・・登録しますか
・・終了(戻る)
等の次の指示、すなわち写真の家族を追加する変更を入力可能な設定画面が表示される。
【0069】
なお、既に登録されている家族を削除する場合は、[1]面において、「家族の削除」を選択することで、[5]面のように、削除対象となる家族の写真が表示され、
・・削除する家族を選んでください・・
自分(写真→abcd?)
父親(写真→aacd?)
母親(写真→bbcd?)
・・終了(戻る)
により、削除対象の家族を選択入力可能な入力画面が表示される。
【0070】
以下、削除が指示された家族が、図4により説明した家族ID管理テーブルから削除される。
【0071】
以上のような手順に従い、ウィジェット(セット)の登録・変更/ウィジェット(セット)の削除/家族の登録・変更/家族の削除が簡単な作業で完了する。
【0072】
以下、[6]面に一例を示すが、『戻る』表示が表示され、入力(設定)モードが解除可能となる。なお、[1]面のような次の作業を受けつける表示が表示されて、次の入力を受けつけ可能な待機状態が継続されてもよいことは、いうまでもない。
【0073】
図12は、図7〜図10に示した複数のウィジェットの選択的な起動を実現する工程をソフトウエア的に説明する概略図である。なお、図12においては、ウィジェットが動作する対象の装置を図2により説明したデジタルフォトフレームとするが、もちろん図1に示したテレビジョン受信装置や、PC(パーソナルコンピュータ)であっても同様であることはいうまでもない。
【0074】
はじめに、付属するカメラ(100a)が起動され、視聴者(操作者)が装置の近傍、あるいは室内にいるか否かがチェックされる[01]。
【0075】
操作者(視聴者)が存在しない場合[02−YES]、表示部160への写真(画像)の表示(再生)は実行されず、スタンバイ状態(表示部160への映像の表示をしない)が維持される[11]。
【0076】
操作者(視聴者)が存在する場合[02−NO]、カメラにより顔画像が取り込まれ、顔認証/照合部1により認識される[03]。
【0077】
顔認証/照合部1により認識された操作者(視聴者)の顔画像は、図4に一例を示した家族ID管理テーブルに登録されている家族の顔画像データと比較され、該当する顔画像データが存在するか否かがチェックされる[04]。
【0078】
はじめに、家族ID管理テーブルに登録されていない非登録者(家族外)の人がいるかいないかがチェックされる[05]。
【0079】
非登録者(家族外)の人がいる場合[05−YES]には、一例を図7に示したような家族外の人がいる(同席している)場合においても再生可能なウィジェットが検索される[10]。
【0080】
非登録者(家族外)の人がいない場合[05−NO]には、視聴者が操作者(本人)のみであるか家族の誰かが同席しているかがチェックされる[06]。
【0081】
視聴者が操作者(本人)のみである場合[06−YES]には、図3に示した管理テーブルに従い、操作者に対して起動が設定されているウィジェットが検索される[07]。
【0082】
一方、視聴者が操作者(本人)を含む同席者(1人以上の家族)がいる場合[06−NO]には、家族のみに対して起動が設定されているウィジェットが検索される[09]。
【0083】
以下、[10]/[07]/[09]で検索されたウィジェット(ウィジェットセットを含む)のいずれかが起動される[08]。
【0084】
このように、視聴者として本人(操作者)以外の人が同席している場合、再生する映像や音声すなわちウィジェットを、予め設定されている規則に従って詮索して起動(再生)することにより、操作者としては第三者には見てほしくない映像等が不所望に再生されることが抑止でき、同席者としては操作者が見てほしくないと感じる映像等を視聴することになるという事態から解放される。
【0085】
図13は、図5に示したインプット情報テーブルを用いて、特定のウィジェットが起動されている状態において、例えば視聴者の会話に即した新たなウィジェットを起動し、あるいは既に起動中のウィジェットが再生する内容を(視聴者の会話に沿って)変更できることを、ソフトウエア的に説明する概略図である。なお、図13においてもウィジェットが動作する対象の装置を図2により説明したデジタルフォトフレームとするが、もちろん図1に示したテレビジョン受信装置や、PC(パーソナルコンピュータ)であっても同様であることはいうまでもない。
【0086】
視聴者がデジタルフォトフレームの近傍にいることが付属するカメラ100aによって検知されている状態においては、音声認識・形態素解析部166により視聴者の会話から話題(キーワード)が、広く実用化されている音声認識および形態素解析の技巧に従い、適宜、抽出される[101]。
【0087】
次に、取得(抽出)できたキーワード(話題)に基づき、現在表示(起動)されているウィジェットのうちの任意の1つが選択され[103]、話題とウィジェットの属性情報とが照合される[103]。
【0088】
照合の結果、属性情報が話題に一致する場合[105−YES]、そのウィジェットに属性がインプットされる[106]。
【0089】
以下、インプットされた属性情報に関連するウィジェットが更新される(属性情報に関連のあるウィジェットにおいて、属性情報に関連した内容が再生される)[07]。
【0090】
また、現在起動(表示されている)残りのウィジェットについても、(話題に対する)属性情報の一致/不一致が順に照合される[103]/[104]。なお、全てのウィジェットについて話題に対する属性情報が照合された時点で、属性情報が関連しているウィジェットが、次の話題が抽出されるまで、順に再生される[102]。
【0091】
例えば、会話が『旅行』であり、ウィジェットとして、「天気」・「グルメ」等が起動されている場合、「天気」のウィジェットにおいて、旅先(目的地)や日時(何日後)がインプットされることにより、ネットワーク網を介して目的地の該当する日時の天気(予報)が取得され、再生される。また、「グルメ」のウィジェットにおいては、同目的地において著名な食べ物に関する情報がネットワーク網を介して取得され、ウィジェット内で再生される。
【0092】
このように、視聴者の希望する、あるいは必要があると予想される項目について、現在起動されているウィジェットにおいて表示(再生)可能な属性情報を、視聴者の会話から取り込んでキーワードとして設定し、ネットワーク網を介して、あるいは内臓の辞書ファイル等を参照して属性情報が一致するものを順に再生(表示)することで、視聴者の利便性を向上できる。なお、カメラにより取得した顔画像データに基づいて、性別や年齢層を判別することにより、属性情報に基づいて取得するウィジェットが表示すべき情報の内容を、より視聴者の好みに整合させることが可能となる。
【0093】
図14は、図11により説明したウィジェットの登録と削除を実現する別の実施の例を表示画面の遷移例により示す。
【0094】
任意のウィジェットが起動されている状態(画面例[101])においてウィジェットが表示されていない領域を、操作者が触れることで、予め保持されているウィジェットを追加するモードが起動される(画面例[111])。
【0095】
追加しようとしているウィジェットを画面例[111]面内でドラッグ(操作者の指が触れている状態を維持しながら表示領域内を移動)し、ウィジェットを動作させたい位置で、指を離すことで、画面例[111]で選択されたウィジェットが、動作させたい位置に移動され、登録される(画面例[112])。
【0096】
以下、画面例[112]で移動された位置でドラッグしたウィジェットを起動してよ異場合には、その位置で『はい(あるいは「OK」)』を入力することで、ウィジェットが追加される(画面例[113])。
【0097】
一方、既に登録(表示領域内で起動)されているウィジェットを削除する場合は、削除しようとするウィジェットに触れることで、削除モードが起動されるとともに削除のために選択されたウィジェットをその位置へ移動するか否かを確認する設定画面が表示される(画面例[121])。なお、画面例[121]においては、削除、あるいは移動された位置においてウィジェットを継続して利用するかが、操作者の入力指示により設定可能である。
【0098】
また、表示領域内に表示されているが起動していないウィジェットについては、表示されているウィジェットに操作者が触れることで、ウィジェットが起動し、ウィジェットに固有の動作(ウィジェットが所望する動作)が実行される(画面例[131])。
【0099】
なお、図14に示した例は、タッチスクリーンの機能を利用してウィジェットの追加と削除(起動位置の変更)を実行するための制御の一例であり、タッチスクリーンを用いる表示装置において広く利用されている任意の制御方法を用いることができる。また、個々のウィジェットは、表示領域内の任意の位置に配置できる。
【0100】
また、ウィジェットに固有の動作(ウィジェットが所望する動作)とは、ウィジェットが、例えば「音楽プレーヤ」である場合には、操作者によるタッチ(ウィジェットへの指の接触)により、プレーヤとしての機能が開始され、あるいは既に動作中である場合において、例えば「音量設定(変更)」や「トラック選曲画面表示」およびそれらからの入力設定、等をあげることができる。なお、ウィジェットが、例えば「天気予報」である場合には、「予報対象地域変更」や「予報対象条件変更(翌日の予報や週間予報)」等を表示させることができる。
【0101】
図15は、顔認証/照合処理装置の構成例を説明する図である。
【0102】
図2により説明したデジタルフォトフレームにおいて、付属するカメラ100aにより撮影された顔画像データは、顔認証/照合処理装置1により、顔情報(顔イメージ画像)として取得され、認証と照合が実行される、なお、顔認証処理/照合処理以外は、カメラが付属する側の機器(この例ではデジタルフォトフレーム)の制御部に分担される(図2のデジタルフォトフレームにおいては、主制御回路120と呼称する)により処理されることは、言うまでもない。
【0103】
顔認証/照合処理装置1は、(認証・照合用)主制御部111、画像インタフェース部112、通信インタフェース部113、顔検出部114、顔照合部115、記憶部117等を含む。なお、記憶部117には、照合データベースが格納されている。
【0104】
主制御部111は、図示しないが、プログラムメモリ、ワークメモリなどを持つMPUにより構成され、MPUがプログラムメモリに記憶されているプログラム(ファームウエア)を実行することにより種々な機能を実現している。
【0105】
画像インタフェース部112は、カメラ100aにより撮影された画像(カメラの画素数に応じた解像度のビットマップデータ)を、顔認証/照合処理装置1に入力するためのインタフェースである。また、通信インタフェース部113は、映像音声再生装置の主制御回路120との通信を行うためのインタフェースである。
【0106】
顔認証/照合処理装置1は、主制御回路120からの要求に応じてカメラ100aから取り込んだ顔画像の認証と照合を実行し、その結果を、通信インタフェース部113を介して主制御回路120へフィードバックする。
【0107】
顔照合部115は、顔検出部114で検出した顔画像と記憶部117が保持するデータベース(顔イメージ、顔の特徴点に相当する情報を含むデータベース)に記憶されている特定の人物の顔画像データと、照合する。
【0108】
顔検出部114は、カメラ100aにより撮影された画像から撮影された人物の顔画像を検出する。その際、顔検出部114では、撮影された画像データの階調やコントラストを適宜変え、輪郭強調処理をするなどして、写っている顔画像のエッジ(顔の輪郭、目、鼻、口の輪郭など)を浮き出させ、目、鼻、口などを含む顔のパターンを検出しやすくする。これにより、顔画像が存在する領域とその周辺の背景画像が存在する領域との境界が明確となり、背景画像部分の削除処理が容易になる。
【0109】
以下、顔画像を含む矩形領域の左上隅を原点とする2次元の座標値等を用い、顔画像を含む2次元領域FAを定める。
【0110】
続いて、顔検出部114により、顔画像の2次元領域FAにおいて、顔検出テンプレート(予め用意された1以上の標準顔パターン)を移動させながら、領域FA上の顔パターンと予め用意された標準顔パターンとの相関値を求める。
【0111】
このようにして、2次元座標で表される特定位置(x,y)にある顔パターンの特徴点(目、鼻、口等)について、標準パターンとの相関値をコード化する。その結果が、図1に示したサーバ1000の宛先管理テーブル1001における顔の特徴点に記載される。このとき、テーブル1001において顔の特徴点が記載される行は、顔の相関値を求めた原顔画像のイメージが登録された行となる(例えばID=1の行に登録された顔イメージの特徴点の相関値コードは、ID=1の行に記載される)。
【0112】
いま、予め用意されたサイズの異なる複数の標準顔パターンをgs(i,j)とし、この標準顔パターンgs(i,j)と2次元領域FAの画像f(x,y)内の局所領域(目、鼻、口などの領域)との相関をMs(x,y)とする。この場合、局所領域における相関Ms(x,y)は、例えば
Ms(x,y)=
Σf(x+i,y+i)・gs(i,j)/
{Σf(x+i,y+i)・Σgs(i,j)} …(1)
として求めることができる。ここで、サイズの異なる標準顔パターンgs(i,j)は、決められたサイズで予め収集した顔パターンを平均するなどして作成できる。
【0113】
上述した相関Msの求め方については、公知の方法を採用することができる。その一例として、特開2003−108935号公報開示された「証明用媒体発行装置および本人照合装置」を参考までに挙げておく(この公報の段落0043〜0057には、顔認証/照合処理で利用可能な具体例が示されている)。
【0114】
顔認証/照合処理装置1に顔認証/照合処理を指示し、その処理結果を受けて上述した処理を実行する映像音声再生装置の主制御回路120には、機器構成に応じて差異があるが、顔画像表示やビデオメール再生を行う表示部121、メール着信の音声案内やビデオメール内の音声出力を行うスピーカ122、スピーカ122から出す音声案内の音声データメモリを持ち、その音声データから音声信号を合成する音声合成部123、表示部121で表示するサムネイルやダイアログあるいは絵文字が展開されるビデオメモリ124、ユーザ操作を受けるリモコン125、ビデオレターやその他の情報を保持するハードディスクドライブ(HDD)126、ビデオレターやその他の情報を保持するメモリ(ICカード)127等が接続されている。この顔認証/照合処理装置1は、インターネットあるいはホームネットワーク経由で、ビデオレターサーバ1000の宛先管理テーブル1001との間で、その内容を、適宜取り出し、あるいはその内容を適宜書き替える(追加登録や不要情報の削除)ことができることはいうまでもない。なお、顔照合部115においては、詳述しないが、顔イメージから、性別や年齢層を推定(判断)することができることも周知である。
【0115】
また、図15に示した顔認識・照合装置1および映像音声再生装置の主制御回路120の機能は、図1に一例を示したさまざまな家庭内ユーザ端末装置である電子機器(テレビジョン受信装置10、レコーダ装置20、テレビジョン受信装置200、パーソナルピュータ300、ゲーム機400、携帯電話500等)のそれぞれに組み込むことができる。ただし、顔認証の処理能力は、個々の機器で異なっていてもよい。例えば、テレビジョン受信装置200やパーソナルコンピュータ300では、1画面に複数の顔があってもそれらを別々に認識できるものとし、ゲーム機400や携帯電話500においては、カメラの前のユーザの顔を、1人だけ認識するものとすることができる。
【0116】
以上説明したように、この発明の一つの実施の形態によれば、視聴者(操作者)が見たときに、表示される写真あるいは再生されるコンテンツを任意に選ぶことができる。また、同様に、起動されるウィジェットを、視聴者(操作者)に応じて任意に設定することができる。特に、室内(その場)にいる視聴者(操作者)が1人である場合には、実質的に各人専用端末化された映像音声再生装置として利用できる。すなわち、操作者(視聴者)が視線を合わせることで、一目で(個人に合わせた)情報を得ることができる。なお、個人向け表示条件は、1度設定すれば、引き続く操作は実質的に不要となる。特に、同席者や家族に対して見せないと決めた映像等は、操作者のみが在席の場合以外は再生されないため、映像音楽再生装置を共用する各人の同席を気にする必要がなくなる。
【0117】
またさらに、この発明の一つの実施の形態によれば、顔認識により、周りにいる人に応じた動作が可能であって、見る人に合わせた情報や音楽を自動的に表示もしくは再生することができる。また、ウィジェットを見せる人を選択する手段とウィジェットを表示する手段を持ち、選択した人が画面を見たら、登録したウィジェットが表示される。さらに、時間帯を区切って、時間情報に基づいて異なるウィジェットを表示することができる。なお、ウィジェットを見せない人を選択する手段を持ち、見せないと設定した人がいたら特定のウィジェットについては表示しないことができる。逆に、視聴者(操作者)のみが在席である場合には、予め設定した全てのウィジェットを再生できる。
【0118】
またさらに、この発明の一つの実施の形態によれば、視聴者(操作者)の会話から話題(キーワード)を取得し、取得したキーワードに属性が一致する情報を提示できる。
【0119】
なお、視聴する人がいなくなった場合には、表示を停止することで省エネルギーを実現できる。
【0120】
上記したように、この発明の一つの実施の形態によれば、視聴者(操作者)が見たときに、表示される写真あるいは再生されるコンテンツを任意に選ぶことができる。また、同様に、起動されるウィジェットを、視聴者(操作者)に応じて任意に設定することができる。特に、室内(その場)にいる視聴者(操作者)が1人である場合には、実質的に各人専用端末化された映像音声再生装置として利用できる。すなわち、操作者(視聴者)が視線を合わせることで、一目で(個人に合わせた)情報を得ることができる。なお、個人向け表示条件は、1度設定すれば、引き続く操作は実質的に不要となる。特に、同席者や家族に対して見せないと決めた映像等は、操作者のみが在席の場合以外は再生されないため、映像音楽再生装置を共用する各人の同席を気にする必要がなくなる。
【0121】
また、この発明の一つの実施の形態によれば、顔認識により、周りにいる人に応じた動作が可能であって、見る人に合わせた情報や音楽を自動的に表示もしくは再生することができる。また、ウィジェットを見せる人を選択する手段とウィジェットを表示する手段を持ち、選択した人が画面を見たら、登録したウィジェットが表示される。さらに、時間帯を区切って、時間情報に基づいて異なるウィジェットを表示することができる。なお、ウィジェットを見せない人を選択する手段を持ち、見せないと設定した人がいたら特定のウィジェットについては表示しないことができる。逆に、視聴者(操作者)のみが在席である場合には、予め設定した全てのウィジェットを再生できる。
【0122】
さらに、この発明の一つの実施の形態によれば、視聴者(操作者)の会話から話題(キーワード)を取得し、取得したキーワードに属性が一致する情報を提示できる。なお、視聴する人がいなくなった場合には、表示を停止することで省エネルギーを実現できる。
【符号の説明】
【0123】
1…顔認証/照合処理装置(ハードウエアまたはファームウエアもしくはソフトウエア)、10…テレビジョン受信装置(家庭内ユーザ端末1)、10a…テレビジョン受信装置一体型デジタルカメラ(視聴者(ユーザ)の顔情報/視聴者(ユーザ)の在席状況収集用)、20…ビデオレコーダ装置(家庭内ユーザ端末2)、20a…ビデオレコーダ装置一体型デジタルカメラ(視聴者(ユーザ)の顔情報/視聴者(ユーザ)の在席状況収集用)、100…デジタルフォトフレーム(映像音声再生装置/家庭内ユーザ端末3)、100a…デジタルフォトフレーム一体型デジタルカメラ(視聴者(ユーザ)の顔情報/視聴者(ユーザ)の在席状況収集用)、120…デジタルフォトフレーム等の映像音声再生装置(家庭内ユーザ端末)の制御部、200…デジタルテレビジョン受信装置、200a…テレビジョン受信装置一体型デジタルカメラ(視聴者(ユーザ)の顔情報収集用)、300…パーソナルコンピュータ、300a…パーソナルコンピュータ一体型デジタルカメラ(視聴者(ユーザ)の顔情報収集用)、400…コンピュータゲーム機(カメラ付ゲーム機)、400a…ゲーム機一体型デジタルカメラ(視聴者(ユーザ)の顔情報収集用)、500…携帯電話器)、500a…携帯電話器のカメラ装置(視聴者(ユーザ)の顔情報収集用)、1000…ビデオレターサーバ、1001…宛先管理テーブル。
【技術分野】
【0001】
この発明は、映像や音声を視聴する利用者に合わせて選択して再生する顔認証を利用した情報再生方法及び情報再生装置に関する。
【背景技術】
【0002】
映像や音声を再生する映像音声再生装置として、テレビジョン受信装置、モニタ装置とプレーヤ装置、ビデオカメラ、パーソナルコンピュータ、携帯可能端末、デジタルフォトフレーム等の多様な機器が実用化され、既に広く普及している。
【0003】
また、ネットワーク網の充実と、その高速化かつ大容量化に伴い、再生対象であるコンテンツ(番組)は、空間波あるいは光ファイバ等による送信側(配信局)からの一方的な供給に加え、オンデマンド方式の普及により、視聴者の要求に従う任意の時間に取得可能である。
【0004】
また、ネットワーク上で提供されるニューステロップや、予め設定した特定分野の情報を、テレビジョン受信装置やデジタルフォトフレームあるいはパーソナルコンピュータの画面に独立して表示可能なウィジェット(情報画面)の普及に伴い、オンデマンド方式による視聴者からの要求とは異なる観点で提供される映像や音声の取得とその再生が可能である。
【0005】
ところで、例えば、リビングに置いたデジタルフォトフレームに、視聴者とその家族が自分勝手に任意数のウィジェット(情報画面)を設定した場合、各人にとっては、見辛いものとなる。また、来訪者があった場合は、デジタルフォトフレームをオフし、あるいは来訪者が見ることのできないよう、隠す等の対応が求められる。
【0006】
特許文献1(先行技術文献)は、鑑賞者を検出し、検出された鑑賞者に関連のある画像を選択して表示する電子アルバム表示システムを開示する。
【先行技術文献】
【特許文献】
【0007】
【特許文献1】特開2006−236218号公報
【特許文献2】特開2000−322358号公報
【発明の概要】
【発明が解決しようとする課題】
【0008】
特許文献1が開示する電子アルバム表示システムは、鑑賞者を特定して鑑賞者に関連のある画像(写真)を表示するが、鑑賞者以外の人が同席しても画像を表示することから、鑑賞者が鑑賞者以外の人に見てほしくない、不本意な画像も表示される。
【0009】
この発明の目的は、顔認証を用い、視聴中の在席者に応じて特定の条件で設定された映像や音声を再生する、特に視聴者として同席している人がいる場合、再生する映像や音声を予め設定されている規則に従って選択して再生する情報再生方法及び情報再生装置を提供することにある。
【課題を解決するための手段】
【0010】
この発明は、記録手段が顔認識手段にて認識された顔の特徴点情報に基づいて視聴者情報を記録する。設定手段は、前記記録された視聴者情報に対応して、映像表示手段に表示する情報を設定する。そして情報再生手段が、前記記録手段に記録された視聴者情報に対応した視聴者が前記顔認識手段にて認識された場合に、前記設定手段にて設定された第1の情報を前記映像表示手段に再生し、前記記録された視聴者情報に対応した視聴者と前記記録手段に記録された視聴者情報に対応しない視聴者とが前記顔認識手段にて認識された場合に、前記第1の情報と異なる第2の情報を前記映像表示手段に再生する。
【図面の簡単な説明】
【0011】
【図1】この発明の実施の形態が適用可能な顔認証を用い、視聴者ごとに、特定の条件で設定された映像や音声を再生する映像音声再生システムの一例を示す概略図。
【図2】図1に示したシステムに組み込まれる映像音声再生システムに好適に適用可能な映像音声再生装置の一例であるデジタルフォトフレームの構成の一例を示す概略図。
【図3】図1に示したシステムに適用される視聴者ごとの映像や音声の再生条件(ウィジェット(情報画面))の設定を管理するウィジェット管理テーブルの一例を示す概略図。
【図4】図3に示したウィジェット管理テーブルが参照する家族ID管理テーブルの一例を示す概略図。
【図5】図3に示したウィジェット管理テーブルが参照するウィジェットインプット情報テーブルの一例を示す概略図。
【図6】図1に示したシステムに組み込まれる映像音声再生装置(図2に示したデジタルフォトフレーム)に適用可能なウィジェット(情報画面)の具体例を示す概略図。
【図7】図1に示したシステムに組み込まれる映像音声再生装置(図2に示したデジタルフォトフレーム)に表示されるウィジェットの表示例を示す概略図。
【図8】図7に示したウィジェット(表示)が見ている人(視聴者)に応じて変化される例を示す概略図。
【図9】図7に示したウィジェット(表示)が見ている人(視聴者)に応じて変化される例を示す概略図。
【図10】図7に示したウィジェット(表示)が見ている人(視聴者)と、その人が設定した特有の設定(時間変化)に応じて変化される例を示す概略図。
【図11】図1に示したシステムに組み込まれる映像音声再生装置(図2に示したデジタルフォトフレーム)に視聴者ごとの特定の条件に対応可能なウィジェットを設定する方法を説明する概略図(画面遷移例)。
【図12】図1に示したシステムに組み込まれる映像音声再生装置(図2に示したデジタルフォトフレーム)において、視聴者の有無を検出し、視聴者ごとに決められている条件でウィジェットを再生する方法をソフトウエア的に説明する概略図(フローチャート)。
【図13】図1に示したシステムに組み込まれる映像音声再生装置(図2に示したデジタルフォトフレーム)において、視聴者の会話の内容(話題)に従い、話題に即した情報を提供可能なウィジェットが選択されている場合に、そのウィジェットのコンテンツを変更する方法をソフトウエア的に説明する概略図(フローチャート)。
【図14】図1に示したシステムに組み込まれる映像音声再生装置(図2に示したデジタルフォトフレーム)に視聴者ごとの特定の条件に対応可能なウィジェットを設定する方法の別の一例を説明する概略図(画面遷移例)。
【図15】図1に示したシステムに組み込まれる映像音声再生装置に適用される顔認証/照合処理装置の一例を示す概略図。
【発明を実施するための最良の形態】
【0012】
以下、図面を参照して、本発明の実施の一形態について説明する。
【0013】
図1は、顔認証を利用したメールシステム全体の概略を説明する。なお、以下に説明するさまざまな要素において、「モジュール」と呼称する要素は、ハードウエアで実現するものであってもよいし、CPU(マイクロコンピュータ)等を用いてソフトウエアで実現するものであってもよい。
【0014】
図1に概略を示す、顔認証を用いて視聴者ごとに、特定の条件で設定された映像や音声を再生する映像音声再生システムは、空間波を用いた無線方式あるいは光ファイバ等を用いた有線伝送方式により放送事業者もしくは中継事業者から提供されるテレビジョン放送信号を受信して再生するテレビジョン受信装置(家庭内ユーザ端末1)10、ハードディスクドライブ(HDD)に代表される大容量記録装置を保持したビデオレコーダ装置(家庭内ユーザ端末2)20、あるいはデジタルフォトフレーム等に代表される映像音声再生装置(家庭内ユーザ端末3)100の少なくとも1つと、ネットワーク網、例えば光ファイバ網あるいは公衆通信網を介して家庭内ユーザ端末(1〜3)のそれぞれと相互に接続されるビデオレターサーバ1000と、により達成される。
【0015】
ビデオレターサーバ1000には、ネットワーク網、例えばインターネット網を通じ、家庭内ユーザ端末1〜3、すなわちテレビジョン受信装置10、ビデオレコーダ装置20もしくはデジタルフォトフレーム100が設置される場所とは異なる、例えば親族宅や知人宅等に代表される任意の位置に設けられるカメラ付テレビジョン装置200(ユーザ端末4)、パーソナルコンピュータ(PC)300(ユーザ端末5)、外部ネットワーク網とのアクセスが可能な携帯可能端末、例えばカメラ付ゲーム機400(ユーザ端末6)やカメラ付携帯電話500(ユーザ端末7)が、任意にアクセス可能である。
【0016】
ビデオレターサーバ1000は、家庭内ユーザ端末(テレビジョン受信装置10、ビデオレコーダ装置20あるいはデジタルフォトフレーム100、およびそれを操作する送信者)から送信されたメール(ビデオメール)や写真もしくは動画ファイル等を一旦保持するとともに、相手先(受信者)に、メール(ビデオメール)や写真、もしくは動画ファイルが着信したことを報知する。なお、ビデオメールには、テレビジョン受信装置10、ビデオレコーダ装置20、もしくはデジタルフォトフレーム100に付属するカメラ(10a,20a,100a)の前にいるユーザ(すなわち送信者)の映像・音声の他に、既存のコンテンツを付加することもできる。既存のコンテンツ(著作権等、他人の権利を侵さない範囲に限る)としては、ユーザが撮影したビデオ映像、ユーザが撮影したデジタルカメラ画像、ユーザが録音した音声・音楽、ビデオレコーダに録画済みの放送番組の映像・音声(音楽)、パブリックドメインに属するインターネット配信映像・音声(音楽)などがある。
【0017】
ビデオレターサーバ1000とネットワーク上で接続された(ビデオレターサーバ1000にアクセス可能な)カメラ付デジタルテレビジョン装置200、パーソナルコンピュータ(PC)300、カメラ付ゲーム機400、あるいは携帯電話器500を保持する相手方(受信者)は、テレビジョン受信装置10、ビデオレコーダ装置20もしくはデジタルフォトフレーム100に付属するカメラ(10a,20a,100a)の前にいるユーザ(すなわち送信者)が送信した映像・音声の他と付加されているコンテンツを、任意のタイミングで再生できる。なお、テレビジョン装置10(あるいはレコーダ装置20)、もしくはデジタルフォトフレーム100のそれぞれは、カメラ10a(20a),100aに加えて、それぞれの機器の前または近傍にいる(在席する)人物すなわち視聴者の音声を取り込むマイク10c(20c),100cを含む。
【0018】
また、送信側ユーザ端末(10,20,100)および受信側端末(200,300,400,500)のそれぞれには,図15を用いて後段に説明する顔認証/照合処理装置1が組み込まれている。顔認証/照合処理装置1は、各ユーザ端末に一体的に設けられるカメラ(10a,20a,100a,200a,300a,400a,500a)の前にいるユーザの顔の特徴をコード化し、あるいはカメラ前のユーザの顔の特徴と登録済みの顔の特徴とを照合できる。また、各ユーザ端末のカメラで取り込まれたユーザの顔の画像データ、その顔の特徴を顔認証/照合処理装置1によりコード化した特徴点データ等は、サーバ1000に設けられた宛先管理テーブル1001に登録される。
【0019】
各ユーザからのビデオメール自体(メールコンテンツ)は、宛先管理テーブル1001の登録内容に関連づけられて、サーバ1000内の図示しないデータストレージ(大容量記憶装置)に格納される。
【0020】
図1に示す映像音声再生システムにおいては、ユーザ自身が視認できる顔画像を宛先として、ユーザの家庭内ローカルエリアネットワーク経由で、家族内の伝言メールの送受信が可能である。また、インターネット網を経由して、遠隔地にいる別のユーザ(親族宅や知人宅等)にビデオメールを送信するとともに、各ユーザからのビデオメールを受信することができる。
【0021】
なお、送信側ユーザの家庭内あるいは受信側ユーザの家庭内では、例えばテレビジョン装置10やレコーダ装置20の図示しないHDD(大容量記憶装置)、もしくはデジタルフォトフレーム100の半導体メモリ装置(HDDの場合もある)、あるいはPC(パーソナルコンピュータ)300やカメラ付テレビジョン装置200の同様の記憶装置に、管理情報テーブル1001の内容をコピーしておくことができる。これにより、テレビジョン装置10あるいはレコーダ装置20もしくはデジタルフォトフレーム100等の機器の単独利用により、家族内においてビデオメール(または伝言)を交換することもできる。
【0022】
このとき、伝言を、例えば「公開(家族の全員が見ることができる)」とすることで、家庭内でテレビジョン装置10をオンした任意の家族(家人)やデジタルフォトフレーム100の前にいる人物(カメラ100aにより認識される在席者すなわち視聴者)に、伝言を伝達することができる。なお、家庭内においてビデオメールや伝言を公開する場合、テレビジョン装置10またはレコーダ装置20(またはデジタルフォトフレーム100)がホームサーバとしての機能を持つことで、容易に実現できる。
【0023】
なお、サーバ1000は、インターネット上(ネットワーク網)にあり、そのサーバにビデオメール自体(=コンテンツ)と宛先管理テーブルを持つ顔イメージが、宛先相当であり、インターネットに出力する際はメールアドレスを用いることはいうまでもない。
【0024】
また、ユーザが見ている(視聴中である)テレビ番組やHDDレコーダにおいて再生中であるコンテンツに関する情報を、カメラで撮影したユーザの顔イメージと関連づけ留とともに個々の嗜好を学習し、その結果をサーバ1000において一定期間保持することにより、サーバを介して接続可能な企業は、例えばユーザの思考に応じた広告メールをピンポイントでユーザに送ることができる。この場合、メール一覧の中にビデオ広告が入ることとなり、ユーザの目につきやすくなる。
【0025】
図2は、図1に示したシステムに組み込まれる映像音声再生システムに好適に適用可能な映像音声再生装置の一例であるデジタルフォトフレームのシステムロジックを示す。
【0026】
デジタルフォトフレーム100は、カメラ100aからの映像を取り込むカメラ制御・入力部151、マイク100cからの音声を取り込むマイク入力部153、表示部160に一体に形成されたタッチパネル(タッチスクリーン)に映像を出力する映像制御・出力部161、およびタッチパネル160による入力を受けつけ、所定の制御信号を出力するタッチ入力制御部162、等を含む。なお、カメラ制御・入力部151の出力は、蓋有無判断部152により、カメラ100aにカバー(蓋)100bがつけられたままか否か、がチェックされる。例えば、蓋有無判断部152により、カメラ100aが映像を取り込むことができない状態であることが検知できた場合、以下に説明するウィジェットの表示およびコンテンツの再生は、実行されない。
【0027】
ウィジェット登録部101は、デジタルフォトフレーム100の表示部160および、以下に説明する音声制御・出力部164に接続されるスピーカ(音声再生装置)154が再生する映像および音声(コンテンツ)を、さまざまな再生形態により再生可能とする任意数のウィジェット(情報画面)を、ユーザ(視聴者)の登録/変更/削除動作に従い、設定されたウィジェットを選択的に動作させる。なお、ウィジェットは、周知の通り、例えばデジタルフォトフレーム100の表示部160、あるいはテレビジョン受信装置1の表示部の表示領域中に、1または複数、映像または写真(静止画)もしくは音楽等を再生可能な情報画面であり、デジタルフォトフレーム100が再生中の写真(静止画)等の再生状態とは独立に、選択されたウィジェットが所望するさまざまな動作を提供できる。例えば、図1は、デジタルフォトフレーム100の表示部160あるいはテレビジョン受信装置10の表示装置において、それぞれ2つのウィジェットWa,Wbが設定されている状態を概略的に示す。
【0028】
デジタルフォトフレーム100はまた、半導体メモリ、例えばメモリカードMを媒体として供給される映像(写真データ)を取り込むメディア入力部163、ウィジェットが再生する映像(コンテンツ)が音声あるいは音楽を伴う場合、それを出力する音声制御・出力部164、入力された映像および音楽のデータを保持する映像・音楽記録部165、マイク100cにより取得した音声を認識して形態素を解析し、話題(キーワード)を抽出する音声認識・形態素解析・話題抽出部166、等を含む。なお、明暗判断部167は、デジタルフォトフレーム100が設置されている環境、すなわち視聴者が在席中の部屋の明るさを検知するもので、検知した部屋の明るさに従ってウィジェットおよび表示部160が表示する映像の明るさを調整し、あるいは照明が消された等の変化を検知して、ウィジェットおよびデジタルフォトフレーム100そのものの映像の再生を停止する等の制御に有益である。
【0029】
デジタルフォトフレーム100はさらに、ネットワーク網(主としてインターネット)を介して接続されるビデオレターサーバ1000や同サーバ1000を介して接続される他の家庭内ユーザ端末、すなわちデジタルフォトフレーム100が設置される場所とは異なる、例えば親族宅や知人宅等に代表される任意の位置に設けられる上述のカメラ付テレビジョン装置200、同パーソナルコンピュータ(PC)300、同外部ネットワーク網とのアクセスが可能な携帯可能端末、例えばカメラ付ゲーム機400や、カメラ付携帯電話500とのアクセスを可能とする通信部171、デジタルフォトフレーム100の表示部160のオン(映像の表示)やオフ(映像非表示)の制御、およびタイマー機能による起動条件(時間帯指定)等を実行する電源制御部181等を含む。なお、デジタルフォトフレーム100には、詳述しないさまざまな外部機器、例えば外部に付属することが許可される大容量記憶装置(HDD)や、USB(Universal Serial Bus)メモリ等との信号の受け渡し等に利用される各種機能制御部(拡張機能制御部)191も設けられる。
【0030】
図3は、図1に示したシステムに適用される視聴者ごとの映像や音声の再生条件(ウィジェット(情報画面))の設定を管理するウィジェット管理テーブルの一例を示す。
【0031】
デジタルフォトフレーム100に、任意数のウィジェットを用意し、その動作を可能とする場合、
ア)視聴者が機器操作者(ウィジェット設定者)本人のみである場合、
イ)視聴者が機器操作者本人とその家族である場合、
ウ)視聴者が機器操作者本人とその友人等、機器操作者本人の家族以外を含む場合
等の場合分けが、可能である。なお、機器操作者は、デジタルフォトフレーム100の映像を視聴可能に、デジタルフォトフレーム100の前、あるいはデジタルフォトフレーム100の近傍に居る人物であり、1人のみである場合には、本人と称する人物が、ウィジェット設定者として認識される。また、家族は、予め視聴が許可された特定の在席者のグループを指す(家族以外であっても、同居の親族等が該当する)。
【0032】
このことは、例えば視聴者が機器操作者本人以外である場合等において、ウィジェットが再生する映像(コンテンツ)が、機器操作者本人以外には見てほしくない、あるいは同席者には見せないほうが好ましいと判断できる映像、例えば子供を授からない友人に登録者本人が自分の子供と遊んでいる映像等である場合、友人が同席した時点で、デジタルフォトフレーム100が再生する映像(ウィジェットが再生するコンテンツ)として、子供の映像を除外する、等の判断が必要となる場合に有益である。
【0033】
図3は、上述したア)〜ウ)の場合分けを、カメラ100aが取り込む視聴者の情報に従って選択可能とする管理テーブルの一例であり、例えば
<<存在(誰が見ているか)>>
自分(本人)だけ(見ている)
(本人と)家族のみ(見ている)
家族外の人<友人等>が(見ている)、あるいは<企業内すなわち本人が自身の勤務先のパーソナルコンピュータに設定したウィジェット>
として場合分けできる。
【0034】
なお、デジタルフォトフレーム100(あるいはテレビジョン受信装置10)の表示部において再生されるウィジェットは、再生されている時間帯に応じて、
<<時間(ウィジェットが再生されている時間帯)>>
朝[5am〜]
昼[11am〜]
夕方[4pm〜]
夜[8pm〜]
深夜[11pm〜]
ALL(終日)
のように、場合分けできる。
【0035】
例えば、朝と昼については、スーパーマーケットの当日の安売り情報等を表示するが、スーパーマーケットの営業時間が終わった以降の夜と深夜においては、スライドショーにより任意数の写真を再生するとともに、夜間帯に好適な音楽(睡眠を誘うBGM)、等を再生することが望ましい。
【0036】
また、ウィジェットは、デジタルフォトフレーム100の表示部160(テレビジョン受信装置10の表示装置)の表示領域の大きさに依存するが、例えば[左上]/[右上]/[左下]/[右下]等により特定される4箇所程度であれば、同時に配置(再生)してもデジタルフォトフレーム100(テレビジョン受信装置10)が再生中の写真や映像の視認に支障を与えないと判断でき、例えば、[カレンダー]/[時計]/[(当日の)天気(予報)]/[電車の運行状況]等が予め選択されたウィジェットセットが選択され、再生されることを可能とする(<<表示位置>>)。なお、表示位置としては、同時に動作するウィジェットが4つ程度であれば、後段に例示する再生例のように、例えば右側に上下方向に4つ位置されてもよいことはいうまでもない。
【0037】
なお、図3に示した場合分け(ウィジェット管理テーブル)では、視聴者の組み合わせに応じて、動作するウィジェットも随時変更されることは上述した通りである。
【0038】
図4は、図1に示したシステムに適用される視聴者ごとの映像や音声の再生条件(ウィジェット(情報画面))の設定を管理するウィジェット管理テーブルを示す。
【0039】
図4において、予め登録されている家族は、例えば本人(ID1)、同居している親族(ID2)、同じく親族(ID3)として管理される。なお、それぞれの家族は、個々の顔を予め撮影した写真または識別符号(メールアドレス)により特定される。また、顔を撮影した写真によりメールアドレスとすることもできる。なお、顔(写真)をアドレスとする方法および照合については、図15を用いて後段に説明する顔認証/照合処理装置1による「顔認証」処理/「照合」処理による。
【0040】
図5は、図3に示したウィジェット管理テーブルが参照するウィジェットインプット情報テーブルの一例を示す。
【0041】
図1に示した映像音声再生システムに適用される映像音声再生装置であるデジタルフォトフレーム(図2参照)100やテレビジョン受信装置10は、それぞれ視聴者すなわち任意の映像音声再生装置が再生する映像(および音声(音楽))を目視し、あるいは再生される音楽を聴取しているユーザ(家人)や来訪者(友人)等の会話から音声認識・形態素解析・話題抽出部166により、話題(キーワード)を抽出する。例えば、会話に登場するキーワード(話題)が旅行である場合、ネットワーク網(インターネット)を介して旅行先の天気を取得し、再生することができる。また、キーワードが旅行である場合、その地域の食の情報(「グルメ」情報)やお土産のランキング等を再生することができる。なお、ウィジェットインプット情報テーブルは、キーワードの入力すなわち会話から抽出できるキーワードに従い、「Input#1」、「Input#2」・・・「Input#n(nは正の整数)」のように、任意に、情報を保持できる。
【0042】
図6は、図2に映像音声再生装置の一例として説明したデジタルフォトフレーム100のウィジェット登録部101に登録することで動作可能な保持するウィジェット(情報画面)の一例を示す。なお、ウィジェットの種類(個々のウィジェット)としては、目的地までに利用すべき交通機関と所要時間等を案内するものや、定期的(一日に数回)に配信されるニュースを再生するもの、あるいは予め登録した小売店や量販店の価格情報を報知するもの、株価や天気を知らせるもの等、さまざまである。
【0043】
また、ウィジェットは、ネットワーク網(インターネット)を経由して、あるいは半導体メモリMを介したメディア入力部163への供給により、随時取得することができる。もちろん、既に取得したウィジェットの削除や動作させるウィジェットの変更も、以下に説明するウィジェットの交換/新規登録/削除に基づいて、随時可能である。
【0044】
図7〜図10は、図2を用いて説明した映像音声再生装置(デジタルフォトフレーム)に表示されるウィジェットの例を示す。なお、図2により説明したデジタルフォトフレームに対しては、図3〜図6を用いて説明した再生条件が適用されるものとする。
【0045】
すなわち、図3で示した視聴者の在席や時間情報と図4に示した家族IDに従い、動作するウィジェットが変化する。また、視聴者(在席者)の会話に従い、キーワードが抽出できた場合、図5に示したようなウィジェットインプット情報テーブルを保持した特定のウィジェットが動作され、キーワードに対応する情報が取得され、再生される。
【0046】
図7は、視聴者に関する限定(条件)がない(最も多くの視聴者向け)のウィジェットが動作された状態のデジタルフォトフレーム100の画像再生状態を示す。
【0047】
すなわち、特定の視聴者向けの限定がないため、起動されたウィジェットは、時刻表示(時計)と気温(地域温度)のみが表示されている。
【0048】
図8は、視聴者が登録者本人のみであり、図4に示した家族IDから父親と想定している人物である場合に動作されるウィジェットの組み合わせを示している。
【0049】
すなわち、登録者本人のみが視聴することを想定し、時刻表示(時計)と気温(地域温度)のウィジェットに加え、カレンダー表示ウィジェットや、株価表示ウィジェット等が追加されていることが認められる。
【0050】
図9は、視聴者が登録者本人のみであり、図4に示した家族IDから母親と想定している人物が、朝方(午前中)に視聴している場合に動作されるウィジェットの組み合わせを示している。
【0051】
すなわち、登録者本人のみが視聴することを想定し、時刻表示(時計)と気温(地域温度)のウィジェットに、カレンダー表示ウィジェットとスーパーマーケットあるいは量販店の特売情報表示ウィジェットが追加されていることが認められる。
【0052】
図10は、視聴者の条件は図9の例に準じて図4に示した家族IDから母親と想定している人物が、昼以降(昼間〜夕方)に視聴している場合に動作されるウィジェットの組み合わせを示している。
【0053】
すなわち、図10では起動されるウィジェットの組み合わせとして、時刻表示(時計)と気温(地域温度)のウィジェットおよびカレンダー表示ウィジェットに、ニュース再生ウィジェットが追加されていることが認められる。
【0054】
このように、例えば付属するあるいは連動可能に設けられたカメラにより取得した視聴者の在席情報と時刻(ウィジェットが再生されている時間帯)とに基づいて、起動すべきウィジェットを任意に組み合わせる(組み合わせを変更する)ことにより、視聴者とその家族のそれぞれが必要と判断した情報のみを、在席している視聴者に対応して提供可能なあたかも個人向けのようなウィジェット再生動作を、1つの映像音声再生装置により実現できる。
【0055】
なお、カメラにより視聴者の在席情報を常時取得することにより、視聴者が不在となった場合には、ウィジェットをオフするとともに、デジタルフォトフレーム(テレビジョン受信装置)の表示部の電源もオフできる。また、カメラにより取得した視聴者の顔情報から、登録者本人/家族/家族と登録者等の人物の存在(在席)を特定できるため、例えばネコや犬等のペットのみが在室している場合には、同様にウィジェットをオフするとともに、デジタルフォトフレーム(テレビジョン受信装置)の表示部の電源もオフすることができる。このことは、今日の省エネルギーの要求に対しても有益である。
【0056】
図11は、図7〜図10に示した表示例を実現するためのウィジェットの登録と削除、ならびに視聴者(家族)の登録と削除の手順を、表示画面の遷移例によりソフトウエア的に示す。
【0057】
付属するリモコン端末(図示せず)等の操作、もしくは表示部160のウィジェットの非表示領域への操作者の指の接触により、ウィジェット設定モードが起動すると、[1]面のように、
1.ウィジェット(セット)登録・変更<<ボタン[赤]>>
2.ウィジェット(セット)削除<<ボタン[青]>>
3.家族の登録・変更<<ボタン[黄]>>
4.家族の削除<<[削除]キー>>
5.終了(戻る)<<[戻る]キー>>
等の次の指示、すなわちウィジェット(セット)の登録・変更/ウィジェット(セット)の削除/家族の登録・変更/家族の削除/終了(戻る)等のいずれかを選択する入力信号を受けつける設定画面が表示される。
【0058】
リモコン端末(図示せず)等による数字入力または特定のボタンによる制御コマンドの発行、あるいは画面(表示部)160の所定の文字列への操作者の指の接触により、特定の作業(入力待ち画面)が選択されることで、例えば[2]〜[5]で示す各種入力画面が表示される。
【0059】
例えば、「ウィジェット(セット)登録・変更」が選択されることで、[2]面が表示され、
・・変更するウィジェット(セット)を選んでください・・
1.新規追加<<ボタン[緑]>>
2.時計、カレンダー、[任意の1つ]
3.時計、消費電力、家族
4.時計、天気、温度、特売(朝)
5.時計、天気、温度、特売
6.終了(戻る)
等の次の指示、すなわち登録(選択)するウィジェット(セット)が入力可能な設定画面が表示される。
【0060】
例えば、「新規追加」が選択されることで、[21]面が表示され、
・・ウィジェット[1つめ]の表示位置を選んでください・・
1.表示領域 →☆[左上]☆/☆[右上]☆/☆[左下]☆/☆[右下]☆
2.カーソルを移動して[左上]/[右上]/[左下]/[右下]を決定
3.終了(戻る)
等の次の指示、すなわち登録(選択)する1つめのウィジェットの位置を入力可能な設定画面が表示される。
【0061】
以下、表示される[22]面(図6に示した一覧画面に類似)から任意のウィジェットが選択されると、[21]面で設定した位置において動作されるべきウィジェットが選択される。引き続き、[23]面において、[22]面で選択したウィジェットを起動すべき時間帯の入力が要求される。なお、設定しようとするウィジェットの数だけ、[21]〜[23]面の表示が順に繰り返される。従って、操作者は、表示(面)に従って、順次ウィジェットの選定、起動位置(画面上の配置)および起動条件(時間帯)を、入力(選択)すればよい。なお、起動条件(時間帯)としては,[23]面に概略を示すが、
☆[朝]☆
☆[昼]☆
☆[夕方]☆
☆[夜]☆
☆[深夜]☆
☆[全ての時間帯]☆
・・終了(戻る)
に大別される。
【0062】
選択すべき全てのウィジェットについて、表示位置と起動時間帯が設定されると、起動時の視聴者を設定するための入力画面([24]面)が表示され、操作者による入力(設定)の終了が指示されることで([25]面)、ウィジェットの登録(新規追加)が完了する([26面])。なお、起動時の視聴者としては、例えば、
☆自分☆
☆父親☆
☆母親☆
☆兄弟/姉妹(1人め)☆
☆兄弟/姉妹(2人め)☆
☆家族全員☆
☆家族以外を含む全員☆
・・終了(戻る)
等の[24]面の表示から、選択すればよい。
【0063】
[1]面において、例えば「ウィジェット(セット)削除」が選択されると、[3]面が表示され、
・・削除するウィジェット(セット)を選んでください・・
1.時計、カレンダー、[任意の1つ]
2.時計、消費電力、家族
3.天気、温度、特売(朝)
4.天気、温度、特売
5.終了(戻る)
等の次の指示、すなわち削除するウィジェット(セット)が入力可能な設定画面が表示される。
【0064】
以下、選択されたウィジェット(セット)が表示され([31]面)、表示された[31]面において、『はい(あるいはOK)』が選択されることで、[31]面に表示されたウィジェット(セット)が削除される。
【0065】
一方、[1]面において、例えば「家族の登録・変更」が選択された場合には、[4]面が表示され、
・・家族を登録します・・
1.アドレス帳から<<ボタン[緑]>>
2.撮影して登録<<ボタン[黄]>>
3.終了(戻る)
等の次の指示、すなわち家族の追加あるいは変更を入力可能な設定画面が表示される。
【0066】
例えば、「撮影して登録」が選択されると、[41]面が表示され、付属するカメラによる撮影後、撮影した操作者の顔の写真が表示される。なお、ここでは、『撮りなおし』を可能としている([41]面)。
【0067】
以下、撮影した写真の操作者またはアドレス帳から選択した写真に該当する家族が既に登録されている場合には、例えば「42]面のように、
・・登録済みです
・・変更しますか
・・終了(戻る)
等の次の指示、すなわち写真の変更を入力可能な設定画面が表示される。
【0068】
一方、撮影した写真の操作者またはアドレス帳から選択した写真に該当する家族が登録されていない場合には、例えば「44]面のように、
・・登録しますか
・・終了(戻る)
等の次の指示、すなわち写真の家族を追加する変更を入力可能な設定画面が表示される。
【0069】
なお、既に登録されている家族を削除する場合は、[1]面において、「家族の削除」を選択することで、[5]面のように、削除対象となる家族の写真が表示され、
・・削除する家族を選んでください・・
自分(写真→abcd?)
父親(写真→aacd?)
母親(写真→bbcd?)
・・終了(戻る)
により、削除対象の家族を選択入力可能な入力画面が表示される。
【0070】
以下、削除が指示された家族が、図4により説明した家族ID管理テーブルから削除される。
【0071】
以上のような手順に従い、ウィジェット(セット)の登録・変更/ウィジェット(セット)の削除/家族の登録・変更/家族の削除が簡単な作業で完了する。
【0072】
以下、[6]面に一例を示すが、『戻る』表示が表示され、入力(設定)モードが解除可能となる。なお、[1]面のような次の作業を受けつける表示が表示されて、次の入力を受けつけ可能な待機状態が継続されてもよいことは、いうまでもない。
【0073】
図12は、図7〜図10に示した複数のウィジェットの選択的な起動を実現する工程をソフトウエア的に説明する概略図である。なお、図12においては、ウィジェットが動作する対象の装置を図2により説明したデジタルフォトフレームとするが、もちろん図1に示したテレビジョン受信装置や、PC(パーソナルコンピュータ)であっても同様であることはいうまでもない。
【0074】
はじめに、付属するカメラ(100a)が起動され、視聴者(操作者)が装置の近傍、あるいは室内にいるか否かがチェックされる[01]。
【0075】
操作者(視聴者)が存在しない場合[02−YES]、表示部160への写真(画像)の表示(再生)は実行されず、スタンバイ状態(表示部160への映像の表示をしない)が維持される[11]。
【0076】
操作者(視聴者)が存在する場合[02−NO]、カメラにより顔画像が取り込まれ、顔認証/照合部1により認識される[03]。
【0077】
顔認証/照合部1により認識された操作者(視聴者)の顔画像は、図4に一例を示した家族ID管理テーブルに登録されている家族の顔画像データと比較され、該当する顔画像データが存在するか否かがチェックされる[04]。
【0078】
はじめに、家族ID管理テーブルに登録されていない非登録者(家族外)の人がいるかいないかがチェックされる[05]。
【0079】
非登録者(家族外)の人がいる場合[05−YES]には、一例を図7に示したような家族外の人がいる(同席している)場合においても再生可能なウィジェットが検索される[10]。
【0080】
非登録者(家族外)の人がいない場合[05−NO]には、視聴者が操作者(本人)のみであるか家族の誰かが同席しているかがチェックされる[06]。
【0081】
視聴者が操作者(本人)のみである場合[06−YES]には、図3に示した管理テーブルに従い、操作者に対して起動が設定されているウィジェットが検索される[07]。
【0082】
一方、視聴者が操作者(本人)を含む同席者(1人以上の家族)がいる場合[06−NO]には、家族のみに対して起動が設定されているウィジェットが検索される[09]。
【0083】
以下、[10]/[07]/[09]で検索されたウィジェット(ウィジェットセットを含む)のいずれかが起動される[08]。
【0084】
このように、視聴者として本人(操作者)以外の人が同席している場合、再生する映像や音声すなわちウィジェットを、予め設定されている規則に従って詮索して起動(再生)することにより、操作者としては第三者には見てほしくない映像等が不所望に再生されることが抑止でき、同席者としては操作者が見てほしくないと感じる映像等を視聴することになるという事態から解放される。
【0085】
図13は、図5に示したインプット情報テーブルを用いて、特定のウィジェットが起動されている状態において、例えば視聴者の会話に即した新たなウィジェットを起動し、あるいは既に起動中のウィジェットが再生する内容を(視聴者の会話に沿って)変更できることを、ソフトウエア的に説明する概略図である。なお、図13においてもウィジェットが動作する対象の装置を図2により説明したデジタルフォトフレームとするが、もちろん図1に示したテレビジョン受信装置や、PC(パーソナルコンピュータ)であっても同様であることはいうまでもない。
【0086】
視聴者がデジタルフォトフレームの近傍にいることが付属するカメラ100aによって検知されている状態においては、音声認識・形態素解析部166により視聴者の会話から話題(キーワード)が、広く実用化されている音声認識および形態素解析の技巧に従い、適宜、抽出される[101]。
【0087】
次に、取得(抽出)できたキーワード(話題)に基づき、現在表示(起動)されているウィジェットのうちの任意の1つが選択され[103]、話題とウィジェットの属性情報とが照合される[103]。
【0088】
照合の結果、属性情報が話題に一致する場合[105−YES]、そのウィジェットに属性がインプットされる[106]。
【0089】
以下、インプットされた属性情報に関連するウィジェットが更新される(属性情報に関連のあるウィジェットにおいて、属性情報に関連した内容が再生される)[07]。
【0090】
また、現在起動(表示されている)残りのウィジェットについても、(話題に対する)属性情報の一致/不一致が順に照合される[103]/[104]。なお、全てのウィジェットについて話題に対する属性情報が照合された時点で、属性情報が関連しているウィジェットが、次の話題が抽出されるまで、順に再生される[102]。
【0091】
例えば、会話が『旅行』であり、ウィジェットとして、「天気」・「グルメ」等が起動されている場合、「天気」のウィジェットにおいて、旅先(目的地)や日時(何日後)がインプットされることにより、ネットワーク網を介して目的地の該当する日時の天気(予報)が取得され、再生される。また、「グルメ」のウィジェットにおいては、同目的地において著名な食べ物に関する情報がネットワーク網を介して取得され、ウィジェット内で再生される。
【0092】
このように、視聴者の希望する、あるいは必要があると予想される項目について、現在起動されているウィジェットにおいて表示(再生)可能な属性情報を、視聴者の会話から取り込んでキーワードとして設定し、ネットワーク網を介して、あるいは内臓の辞書ファイル等を参照して属性情報が一致するものを順に再生(表示)することで、視聴者の利便性を向上できる。なお、カメラにより取得した顔画像データに基づいて、性別や年齢層を判別することにより、属性情報に基づいて取得するウィジェットが表示すべき情報の内容を、より視聴者の好みに整合させることが可能となる。
【0093】
図14は、図11により説明したウィジェットの登録と削除を実現する別の実施の例を表示画面の遷移例により示す。
【0094】
任意のウィジェットが起動されている状態(画面例[101])においてウィジェットが表示されていない領域を、操作者が触れることで、予め保持されているウィジェットを追加するモードが起動される(画面例[111])。
【0095】
追加しようとしているウィジェットを画面例[111]面内でドラッグ(操作者の指が触れている状態を維持しながら表示領域内を移動)し、ウィジェットを動作させたい位置で、指を離すことで、画面例[111]で選択されたウィジェットが、動作させたい位置に移動され、登録される(画面例[112])。
【0096】
以下、画面例[112]で移動された位置でドラッグしたウィジェットを起動してよ異場合には、その位置で『はい(あるいは「OK」)』を入力することで、ウィジェットが追加される(画面例[113])。
【0097】
一方、既に登録(表示領域内で起動)されているウィジェットを削除する場合は、削除しようとするウィジェットに触れることで、削除モードが起動されるとともに削除のために選択されたウィジェットをその位置へ移動するか否かを確認する設定画面が表示される(画面例[121])。なお、画面例[121]においては、削除、あるいは移動された位置においてウィジェットを継続して利用するかが、操作者の入力指示により設定可能である。
【0098】
また、表示領域内に表示されているが起動していないウィジェットについては、表示されているウィジェットに操作者が触れることで、ウィジェットが起動し、ウィジェットに固有の動作(ウィジェットが所望する動作)が実行される(画面例[131])。
【0099】
なお、図14に示した例は、タッチスクリーンの機能を利用してウィジェットの追加と削除(起動位置の変更)を実行するための制御の一例であり、タッチスクリーンを用いる表示装置において広く利用されている任意の制御方法を用いることができる。また、個々のウィジェットは、表示領域内の任意の位置に配置できる。
【0100】
また、ウィジェットに固有の動作(ウィジェットが所望する動作)とは、ウィジェットが、例えば「音楽プレーヤ」である場合には、操作者によるタッチ(ウィジェットへの指の接触)により、プレーヤとしての機能が開始され、あるいは既に動作中である場合において、例えば「音量設定(変更)」や「トラック選曲画面表示」およびそれらからの入力設定、等をあげることができる。なお、ウィジェットが、例えば「天気予報」である場合には、「予報対象地域変更」や「予報対象条件変更(翌日の予報や週間予報)」等を表示させることができる。
【0101】
図15は、顔認証/照合処理装置の構成例を説明する図である。
【0102】
図2により説明したデジタルフォトフレームにおいて、付属するカメラ100aにより撮影された顔画像データは、顔認証/照合処理装置1により、顔情報(顔イメージ画像)として取得され、認証と照合が実行される、なお、顔認証処理/照合処理以外は、カメラが付属する側の機器(この例ではデジタルフォトフレーム)の制御部に分担される(図2のデジタルフォトフレームにおいては、主制御回路120と呼称する)により処理されることは、言うまでもない。
【0103】
顔認証/照合処理装置1は、(認証・照合用)主制御部111、画像インタフェース部112、通信インタフェース部113、顔検出部114、顔照合部115、記憶部117等を含む。なお、記憶部117には、照合データベースが格納されている。
【0104】
主制御部111は、図示しないが、プログラムメモリ、ワークメモリなどを持つMPUにより構成され、MPUがプログラムメモリに記憶されているプログラム(ファームウエア)を実行することにより種々な機能を実現している。
【0105】
画像インタフェース部112は、カメラ100aにより撮影された画像(カメラの画素数に応じた解像度のビットマップデータ)を、顔認証/照合処理装置1に入力するためのインタフェースである。また、通信インタフェース部113は、映像音声再生装置の主制御回路120との通信を行うためのインタフェースである。
【0106】
顔認証/照合処理装置1は、主制御回路120からの要求に応じてカメラ100aから取り込んだ顔画像の認証と照合を実行し、その結果を、通信インタフェース部113を介して主制御回路120へフィードバックする。
【0107】
顔照合部115は、顔検出部114で検出した顔画像と記憶部117が保持するデータベース(顔イメージ、顔の特徴点に相当する情報を含むデータベース)に記憶されている特定の人物の顔画像データと、照合する。
【0108】
顔検出部114は、カメラ100aにより撮影された画像から撮影された人物の顔画像を検出する。その際、顔検出部114では、撮影された画像データの階調やコントラストを適宜変え、輪郭強調処理をするなどして、写っている顔画像のエッジ(顔の輪郭、目、鼻、口の輪郭など)を浮き出させ、目、鼻、口などを含む顔のパターンを検出しやすくする。これにより、顔画像が存在する領域とその周辺の背景画像が存在する領域との境界が明確となり、背景画像部分の削除処理が容易になる。
【0109】
以下、顔画像を含む矩形領域の左上隅を原点とする2次元の座標値等を用い、顔画像を含む2次元領域FAを定める。
【0110】
続いて、顔検出部114により、顔画像の2次元領域FAにおいて、顔検出テンプレート(予め用意された1以上の標準顔パターン)を移動させながら、領域FA上の顔パターンと予め用意された標準顔パターンとの相関値を求める。
【0111】
このようにして、2次元座標で表される特定位置(x,y)にある顔パターンの特徴点(目、鼻、口等)について、標準パターンとの相関値をコード化する。その結果が、図1に示したサーバ1000の宛先管理テーブル1001における顔の特徴点に記載される。このとき、テーブル1001において顔の特徴点が記載される行は、顔の相関値を求めた原顔画像のイメージが登録された行となる(例えばID=1の行に登録された顔イメージの特徴点の相関値コードは、ID=1の行に記載される)。
【0112】
いま、予め用意されたサイズの異なる複数の標準顔パターンをgs(i,j)とし、この標準顔パターンgs(i,j)と2次元領域FAの画像f(x,y)内の局所領域(目、鼻、口などの領域)との相関をMs(x,y)とする。この場合、局所領域における相関Ms(x,y)は、例えば
Ms(x,y)=
Σf(x+i,y+i)・gs(i,j)/
{Σf(x+i,y+i)・Σgs(i,j)} …(1)
として求めることができる。ここで、サイズの異なる標準顔パターンgs(i,j)は、決められたサイズで予め収集した顔パターンを平均するなどして作成できる。
【0113】
上述した相関Msの求め方については、公知の方法を採用することができる。その一例として、特開2003−108935号公報開示された「証明用媒体発行装置および本人照合装置」を参考までに挙げておく(この公報の段落0043〜0057には、顔認証/照合処理で利用可能な具体例が示されている)。
【0114】
顔認証/照合処理装置1に顔認証/照合処理を指示し、その処理結果を受けて上述した処理を実行する映像音声再生装置の主制御回路120には、機器構成に応じて差異があるが、顔画像表示やビデオメール再生を行う表示部121、メール着信の音声案内やビデオメール内の音声出力を行うスピーカ122、スピーカ122から出す音声案内の音声データメモリを持ち、その音声データから音声信号を合成する音声合成部123、表示部121で表示するサムネイルやダイアログあるいは絵文字が展開されるビデオメモリ124、ユーザ操作を受けるリモコン125、ビデオレターやその他の情報を保持するハードディスクドライブ(HDD)126、ビデオレターやその他の情報を保持するメモリ(ICカード)127等が接続されている。この顔認証/照合処理装置1は、インターネットあるいはホームネットワーク経由で、ビデオレターサーバ1000の宛先管理テーブル1001との間で、その内容を、適宜取り出し、あるいはその内容を適宜書き替える(追加登録や不要情報の削除)ことができることはいうまでもない。なお、顔照合部115においては、詳述しないが、顔イメージから、性別や年齢層を推定(判断)することができることも周知である。
【0115】
また、図15に示した顔認識・照合装置1および映像音声再生装置の主制御回路120の機能は、図1に一例を示したさまざまな家庭内ユーザ端末装置である電子機器(テレビジョン受信装置10、レコーダ装置20、テレビジョン受信装置200、パーソナルピュータ300、ゲーム機400、携帯電話500等)のそれぞれに組み込むことができる。ただし、顔認証の処理能力は、個々の機器で異なっていてもよい。例えば、テレビジョン受信装置200やパーソナルコンピュータ300では、1画面に複数の顔があってもそれらを別々に認識できるものとし、ゲーム機400や携帯電話500においては、カメラの前のユーザの顔を、1人だけ認識するものとすることができる。
【0116】
以上説明したように、この発明の一つの実施の形態によれば、視聴者(操作者)が見たときに、表示される写真あるいは再生されるコンテンツを任意に選ぶことができる。また、同様に、起動されるウィジェットを、視聴者(操作者)に応じて任意に設定することができる。特に、室内(その場)にいる視聴者(操作者)が1人である場合には、実質的に各人専用端末化された映像音声再生装置として利用できる。すなわち、操作者(視聴者)が視線を合わせることで、一目で(個人に合わせた)情報を得ることができる。なお、個人向け表示条件は、1度設定すれば、引き続く操作は実質的に不要となる。特に、同席者や家族に対して見せないと決めた映像等は、操作者のみが在席の場合以外は再生されないため、映像音楽再生装置を共用する各人の同席を気にする必要がなくなる。
【0117】
またさらに、この発明の一つの実施の形態によれば、顔認識により、周りにいる人に応じた動作が可能であって、見る人に合わせた情報や音楽を自動的に表示もしくは再生することができる。また、ウィジェットを見せる人を選択する手段とウィジェットを表示する手段を持ち、選択した人が画面を見たら、登録したウィジェットが表示される。さらに、時間帯を区切って、時間情報に基づいて異なるウィジェットを表示することができる。なお、ウィジェットを見せない人を選択する手段を持ち、見せないと設定した人がいたら特定のウィジェットについては表示しないことができる。逆に、視聴者(操作者)のみが在席である場合には、予め設定した全てのウィジェットを再生できる。
【0118】
またさらに、この発明の一つの実施の形態によれば、視聴者(操作者)の会話から話題(キーワード)を取得し、取得したキーワードに属性が一致する情報を提示できる。
【0119】
なお、視聴する人がいなくなった場合には、表示を停止することで省エネルギーを実現できる。
【0120】
上記したように、この発明の一つの実施の形態によれば、視聴者(操作者)が見たときに、表示される写真あるいは再生されるコンテンツを任意に選ぶことができる。また、同様に、起動されるウィジェットを、視聴者(操作者)に応じて任意に設定することができる。特に、室内(その場)にいる視聴者(操作者)が1人である場合には、実質的に各人専用端末化された映像音声再生装置として利用できる。すなわち、操作者(視聴者)が視線を合わせることで、一目で(個人に合わせた)情報を得ることができる。なお、個人向け表示条件は、1度設定すれば、引き続く操作は実質的に不要となる。特に、同席者や家族に対して見せないと決めた映像等は、操作者のみが在席の場合以外は再生されないため、映像音楽再生装置を共用する各人の同席を気にする必要がなくなる。
【0121】
また、この発明の一つの実施の形態によれば、顔認識により、周りにいる人に応じた動作が可能であって、見る人に合わせた情報や音楽を自動的に表示もしくは再生することができる。また、ウィジェットを見せる人を選択する手段とウィジェットを表示する手段を持ち、選択した人が画面を見たら、登録したウィジェットが表示される。さらに、時間帯を区切って、時間情報に基づいて異なるウィジェットを表示することができる。なお、ウィジェットを見せない人を選択する手段を持ち、見せないと設定した人がいたら特定のウィジェットについては表示しないことができる。逆に、視聴者(操作者)のみが在席である場合には、予め設定した全てのウィジェットを再生できる。
【0122】
さらに、この発明の一つの実施の形態によれば、視聴者(操作者)の会話から話題(キーワード)を取得し、取得したキーワードに属性が一致する情報を提示できる。なお、視聴する人がいなくなった場合には、表示を停止することで省エネルギーを実現できる。
【符号の説明】
【0123】
1…顔認証/照合処理装置(ハードウエアまたはファームウエアもしくはソフトウエア)、10…テレビジョン受信装置(家庭内ユーザ端末1)、10a…テレビジョン受信装置一体型デジタルカメラ(視聴者(ユーザ)の顔情報/視聴者(ユーザ)の在席状況収集用)、20…ビデオレコーダ装置(家庭内ユーザ端末2)、20a…ビデオレコーダ装置一体型デジタルカメラ(視聴者(ユーザ)の顔情報/視聴者(ユーザ)の在席状況収集用)、100…デジタルフォトフレーム(映像音声再生装置/家庭内ユーザ端末3)、100a…デジタルフォトフレーム一体型デジタルカメラ(視聴者(ユーザ)の顔情報/視聴者(ユーザ)の在席状況収集用)、120…デジタルフォトフレーム等の映像音声再生装置(家庭内ユーザ端末)の制御部、200…デジタルテレビジョン受信装置、200a…テレビジョン受信装置一体型デジタルカメラ(視聴者(ユーザ)の顔情報収集用)、300…パーソナルコンピュータ、300a…パーソナルコンピュータ一体型デジタルカメラ(視聴者(ユーザ)の顔情報収集用)、400…コンピュータゲーム機(カメラ付ゲーム機)、400a…ゲーム機一体型デジタルカメラ(視聴者(ユーザ)の顔情報収集用)、500…携帯電話器)、500a…携帯電話器のカメラ装置(視聴者(ユーザ)の顔情報収集用)、1000…ビデオレターサーバ、1001…宛先管理テーブル。
【特許請求の範囲】
【請求項1】
顔認識手段にて認識された顔の特徴点情報に基づいて視聴者情報を記録する記録手段と、
前記記録された視聴者情報に対応して、映像表示手段に表示する情報を設定する設定手段と、
前記記録手段に記録された視聴者情報に対応した視聴者が前記顔認識手段にて認識された場合に、前記設定手段にて設定された第1の情報を前記映像表示手段に再生し、
前記記録された視聴者情報に対応した視聴者と前記記録手段に記録された視聴者情報に対応しない視聴者とが前記顔認識手段にて認識された場合に、前記第1の情報と異なる第2の情報を前記映像表示手段に再生する情報再生手段と、
を備える情報再生装置。
【請求項2】
前記第1の情報または前記第2の情報の前記映像表示手段における再生位置の設定を視聴者に許可する再生位置設定手段を備えることを特徴とする請求項1に記載の情報再生装置。
【請求項3】
前記情報再生手段は、
前記記録手段に記録された視聴者情報に対応した視聴者が前記顔認識手段にて認識された場合に、前記第1の情報を前記映像表示手段に含まれる第1の領域に再生し、
前記記録された視聴者情報に対応した視聴者と前記記録手段に記録された視聴者情報に対応しない視聴者とが前記顔認識手段にて認識された場合に、前記第2の情報を前記第1の領域に再生することを特徴とする請求項1に記載の情報再生装置。
【請求項4】
前記第1の情報及び前記第2の情報はウィジェットであることを特徴とする請求項1に記載の情報再生装置。
【請求項5】
前記第1の情報または前記第2の情報を再生する時間帯の設定を視聴者に許可する再生時間帯設定手段を備えることを特徴とする請求項1に記載の情報再生装置。
【請求項6】
前記情報再生手段は、前記記録手段に記録された視聴者が前記認識手段にて1人認識された場合と、前記記録手段に記録された視聴者が前記認識手段にて複数認識された場合とで、異なる情報を再生することを特徴とする請求項1に記載の情報再生装置。
【請求項7】
前記視聴者情報はグループに関する視聴者情報を含み、
前記情報再生手段は、前記グループの一人だけを前記認識手段が認識した場合は、前記認識した人に対応した情報を再生し、前記グループの複数人を前記認識手段が認識した場合は、当該グループの複数人に対応した情報を再生する請求項1に記載の情報再生装置。
【請求項8】
顔認識手段と、情報記録手段と、映像表示手段に表示する情報を設定するための設定手段と、前記映像表示手段に情報を再生する再生手段とを関連つけて制御する情報再生方法であって、
前記顔認識手段にて認識された顔の特徴点情報に基づいて視聴者情報を記録し、
前記記録された視聴者情報に対応して、映像表示手段に表示する情報を設定し、
前記記録手段に記録された視聴者情報に対応した視聴者が前記顔認識手段にて認識された場合に、前記設定手段にて設定された第1の情報を前記映像表示手段に再生し、
前記記録された視聴者情報に対応した視聴者と前記記録手段に記録された視聴者情報に対応しない視聴者とが前記顔認識手段にて認識された場合に、前記第1の情報と異なる第2の情報を前記映像表示手段に再生するようにした情報再生方法。
【請求項1】
顔認識手段にて認識された顔の特徴点情報に基づいて視聴者情報を記録する記録手段と、
前記記録された視聴者情報に対応して、映像表示手段に表示する情報を設定する設定手段と、
前記記録手段に記録された視聴者情報に対応した視聴者が前記顔認識手段にて認識された場合に、前記設定手段にて設定された第1の情報を前記映像表示手段に再生し、
前記記録された視聴者情報に対応した視聴者と前記記録手段に記録された視聴者情報に対応しない視聴者とが前記顔認識手段にて認識された場合に、前記第1の情報と異なる第2の情報を前記映像表示手段に再生する情報再生手段と、
を備える情報再生装置。
【請求項2】
前記第1の情報または前記第2の情報の前記映像表示手段における再生位置の設定を視聴者に許可する再生位置設定手段を備えることを特徴とする請求項1に記載の情報再生装置。
【請求項3】
前記情報再生手段は、
前記記録手段に記録された視聴者情報に対応した視聴者が前記顔認識手段にて認識された場合に、前記第1の情報を前記映像表示手段に含まれる第1の領域に再生し、
前記記録された視聴者情報に対応した視聴者と前記記録手段に記録された視聴者情報に対応しない視聴者とが前記顔認識手段にて認識された場合に、前記第2の情報を前記第1の領域に再生することを特徴とする請求項1に記載の情報再生装置。
【請求項4】
前記第1の情報及び前記第2の情報はウィジェットであることを特徴とする請求項1に記載の情報再生装置。
【請求項5】
前記第1の情報または前記第2の情報を再生する時間帯の設定を視聴者に許可する再生時間帯設定手段を備えることを特徴とする請求項1に記載の情報再生装置。
【請求項6】
前記情報再生手段は、前記記録手段に記録された視聴者が前記認識手段にて1人認識された場合と、前記記録手段に記録された視聴者が前記認識手段にて複数認識された場合とで、異なる情報を再生することを特徴とする請求項1に記載の情報再生装置。
【請求項7】
前記視聴者情報はグループに関する視聴者情報を含み、
前記情報再生手段は、前記グループの一人だけを前記認識手段が認識した場合は、前記認識した人に対応した情報を再生し、前記グループの複数人を前記認識手段が認識した場合は、当該グループの複数人に対応した情報を再生する請求項1に記載の情報再生装置。
【請求項8】
顔認識手段と、情報記録手段と、映像表示手段に表示する情報を設定するための設定手段と、前記映像表示手段に情報を再生する再生手段とを関連つけて制御する情報再生方法であって、
前記顔認識手段にて認識された顔の特徴点情報に基づいて視聴者情報を記録し、
前記記録された視聴者情報に対応して、映像表示手段に表示する情報を設定し、
前記記録手段に記録された視聴者情報に対応した視聴者が前記顔認識手段にて認識された場合に、前記設定手段にて設定された第1の情報を前記映像表示手段に再生し、
前記記録された視聴者情報に対応した視聴者と前記記録手段に記録された視聴者情報に対応しない視聴者とが前記顔認識手段にて認識された場合に、前記第1の情報と異なる第2の情報を前記映像表示手段に再生するようにした情報再生方法。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【公開番号】特開2011−217379(P2011−217379A)
【公開日】平成23年10月27日(2011.10.27)
【国際特許分類】
【出願番号】特願2011−87218(P2011−87218)
【出願日】平成23年4月11日(2011.4.11)
【分割の表示】特願2009−125606(P2009−125606)の分割
【原出願日】平成21年5月25日(2009.5.25)
【出願人】(000003078)株式会社東芝 (54,554)
【Fターム(参考)】
【公開日】平成23年10月27日(2011.10.27)
【国際特許分類】
【出願日】平成23年4月11日(2011.4.11)
【分割の表示】特願2009−125606(P2009−125606)の分割
【原出願日】平成21年5月25日(2009.5.25)
【出願人】(000003078)株式会社東芝 (54,554)
【Fターム(参考)】
[ Back to top ]