説明

電子機器、アクセス制御方法及びプログラム

【課題】アクセス元の機器のユーザ自身が作成していないコンテンツに対するアクセス権限の認証を容易に行うこと。
【解決手段】PVR100のCPU12は、ネットワーク50上の各機器から、当該各機器のユーザの顔画像の登録を受け付け、ネットワーク50上の各コンテンツから顔画像を検出し、上記登録された顔画像と各コンテンツから検出された顔画像とが一致した場合に、当該コンテンツに対するアクセスを許可するアクセス許可データを生成する。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、ネットワーク上の他の機器からの再生要求に応じて当該他の機器にコンテンツを送信可能な電子機器、当該電子機器におけるアクセス制御方法及びプログラムに関する。
【背景技術】
【0002】
従来から、家庭内のAV(Audio/Visual)ネットワークシステムでは、例えばある部屋に存在する機器を用いて、別の部屋に存在する機器に記憶されたコンテンツを、その記憶場所をユーザに意識させずに再生することが可能となっている。
【0003】
ところで、同じ家庭内の機器に記憶されたコンテンツのみならず、ある家庭内の機器から、別の家庭内の機器のコンテンツにアクセスして当該コンテンツを再生するようなシステムも想定される。このようなシステムにおいては、家庭毎に機器のユーザが異なることが通常であるため、コンテンツへのアクセス権限の認証が重要となってくる。
【0004】
コンテンツへのアクセス権限の認証を行うための技術として、例えば下記特許文献1には、サーバに記憶された、ユーザ端末のユーザ保有のコンテンツに対する当該ユーザ端末からのアクセスを、ユーザID及びパスワードにより認証することが記載されている。
【先行技術文献】
【特許文献】
【0005】
【特許文献1】特開2007−317178号公報
【発明の概要】
【発明が解決しようとする課題】
【0006】
しかしながら、上記特許文献1に記載のように、ユーザID及びパスワードを用いてアクセスを認証する場合、ユーザは当該ユーザID及びパスワードをいちいち把握する必要があり、それらを忘れてしまった場合にはアクセスができなくなる。また、ユーザはアクセスの度にユーザID及びパスワードの入力という煩雑なステップを踏む必要がある。
【0007】
さらに、上記特許文献1に記載の技術では、ユーザ自身が作成(記録)しサーバへアップロードしたコンテンツでなければ完全な再生は不可能である。したがって、例えばユーザの知人がアップロードし当該ユーザにも当然公開しても構わないコンテンツがあっても、当該ユーザがそれを再生するためには、例えば知人からユーザIDやパスワードを教えてもらう等の煩雑な作業が必要となる。
【0008】
以上のような事情に鑑み、本発明の目的は、アクセス元の機器のユーザ自身が作成していないコンテンツに対するアクセス権限の認証を容易に行うことが可能な電子機器、当該電子機器におけるアクセス制御方法及びプログラムを提供することにある。
【課題を解決するための手段】
【0009】
上記目的を達成するため、本発明の一形態に係る電子機器は、記憶部と、通信部と、制御部とを有する。上記記憶部は、コンテンツを記憶する。上記通信部は、ネットワーク上の他の機器から第1の顔画像データを受信する。上記制御部は、上記受信された第1の顔画像データから第1の顔特徴データを抽出し、上記記憶されたコンテンツから第2の顔画像データを検出し、当該第2の顔画像データから第2の顔特徴データを抽出する。また制御部は、上記第1の顔特徴データと上記第2の顔特徴データとが合致するか否かを判断し、当該第1の顔特徴データと第2の顔特徴データとが合致すると判断された場合に、上記他の機器からの上記コンテンツに対するアクセスを許可するアクセス許可データを生成する。
【0010】
この構成により電子機器は、他の機器から送信された第1の顔画像と合致する第2の画像がコンテンツに含まれている場合には、当該コンテンツが当該他の機器のユーザにより作成されたものでなくても、当該コンテンツに対する他の機器からのアクセスを許可することができる。すなわち電子機器は、顔画像をキーとしてコンテンツに対するアクセス権限を認証することができる。ここで第1の顔画像データは、他の機器のユーザの顔画像データであり、例えば他の機器が有するカメラにより撮影されたものである。すなわち、他の機器のユーザは、自身が映っているコンテンツについてはアクセスを許可される。また、当該第1の顔画像データは、それが他の機器のユーザの顔画像であることを保証するために、他の機器にインストールされた特定のアプリケーションのみによって作成されるものであってもよい。また上記コンテンツは、当該電子機器のディスクドライブに挿入された光ディスク(BD, DVD)等の可般性の記録媒体に記録されたものであってもよい。また、当該電子機器は、当該電子機器以外の他の機器に記憶されたコンテンツについて、上記アクセス許可データを生成してもよい。
【0011】
上記制御部は、上記コンテンツを上記記憶部に記憶する際に上記第2の顔画像データの検出及び上記第2の顔特徴データの抽出を実行し、当該第2の顔特徴データを上記コンテンツとともに上記記憶部に記憶してもよい。
【0012】
これにより電子機器は、他の機器からコンテンツへのアクセス要求があった場合に当該コンテンツに対するアクセス権限の認証を迅速に実行することができる。
【0013】
上記記憶部は、上記記憶されたコンテンツの作成者を示す第3の顔画像データ及び当該第3の顔画像データから抽出された第3の顔特徴データを上記コンテンツとともに記憶してもよい。この場合上記制御部は、上記第1の顔特徴データと上記第3の顔特徴データとが合致するか否かを判断し、当該第1の顔特徴データと上記第3の顔特徴データとが合致すると判断された場合に、上記アクセス許可データを生成してもよい。
【0014】
これにより電子機器は、コンテンツに他の機器のユーザの顔画像が映っていない場合でも、当該コンテンツの作成者については当該コンテンツのアクセスを許可することができる。したがってコンテンツの作成者が他の機器から当該コンテンツにアクセスした場合にアクセスが許否される事態が防止される。
【0015】
上記制御部は、上記アクセス許可データが生成されたコンテンツのリストを生成し、上記通信部により、当該リストを上記他の機器へ送信してもよい。そして制御部は、当該他の機器から当該リスト上の1つのコンテンツの再生を要求する再生要求信号を受信し、当該再生要求信号に応じて当該1つのコンテンツを当該他の機器へ送信してもよい。
【0016】
これにより電子機器は、記憶部に記憶されたコンテンツのうち他の機器のユーザからアクセス可能なコンテンツのみを当該ユーザに把握させ視聴させることができる。
【0017】
本発明の別の形態に係るアクセス制御方法は、コンテンツを記憶すること及びネットワーク上の他の機器から第1の顔画像データを受信することを含む。上記受信された第1の顔画像データからは、第1の顔特徴データが抽出される。上記記憶されたコンテンツからは、第2の顔画像データが検出され、上記第2の顔画像データから第2の顔特徴データが抽出される。そして、上記第1の顔特徴データと上記第2の顔特徴データとが合致するか否かが判断される。上記第1の顔特徴データと第2の顔特徴データとが合致すると判断された場合には、上記他の機器からの上記コンテンツに対するアクセスを許可するアクセス許可データが生成される。
【0018】
本発明のまた別の形態に係るプログラムは、電子機器に、記憶ステップと、受信ステップと、第1の抽出ステップと、検出ステップと、第2の抽出ステップと、判断ステップと、生成ステップとを実行させる。上記記憶ステップでは、コンテンツが記憶される。上記受信ステップでは、ネットワーク上の他の機器から第1の顔画像データが受信される。上記第1の抽出ステップでは、上記受信された第1の顔画像データから第1の顔特徴データが抽出される。上記検出ステップでは、上記記憶されたコンテンツから第2の顔画像データが検出される。上記第2の抽出ステップでは、上記第2の顔画像データから第2の顔特徴データが抽出される。上記判断ステップでは、上記第1の顔特徴データと上記第2の顔特徴データとが合致するか否かが判断される。上記生成ステップでは、上記第1の顔特徴データと第2の顔特徴データとが合致すると判断された場合に、上記他の機器からの上記コンテンツに対するアクセスを許可するアクセス許可データが生成される。
【発明の効果】
【0019】
以上のように、本発明によれば、アクセス元の機器のユーザ自身が作成していないコンテンツに対するアクセス権限の認証を容易に行うことができる。
【図面の簡単な説明】
【0020】
【図1】本発明の一実施形態において想定されるAV(Audio/Visual)ネットワークシステムの一例を概略的に示す図である。
【図2】本発明の一実施形態においてコンテンツのメタデータ生成機能を有するPVRのハードウェア構成を示す図である。
【図3】本発明の一実施形態においてコンテンツのメタデータ生成機能を有しないPVRのハードウェア構成を示す図である。
【図4】本発明の一実施形態におけるPVRによるデフォルトでのメタデータ生成処理の流れを示したフローチャートである。
【図5】本発明の一実施形態において、PVRが、メタデータを生成可能な他の機器を探索する処理の詳細な流れを示したフローチャートである。
【図6】上記コンテンツ記憶機器から返信されるテストデータのデータ構造の例を示した図である。
【図7】図6に示したテストデータに含まれる動作モード用データの詳細を示した図である。
【図8】図6に示したテストデータに含まれる処理用データの詳細を示した図である。
【図9】本発明の一実施形態において、コンテンツジャンルが、放送コンテンツであって、ニュース番組の場合に各動作モードの実行に必要とされる処理を示した図である。
【図10】本発明の一実施形態において、コンテンツジャンルが、放送コンテンツであって、スポーツ番組の場合に各動作モードの実行に必要とされる処理を示した図である。
【図11】本発明の一実施形態において、コンテンツジャンルが、放送コンテンツであって、音楽番組の場合に各動作モードの実行に必要とされる処理を示した図である。
【図12】本発明の一実施形態において、コンテンツジャンルがプライベートコンテンツの場合に各動作モードの実行に必要とされる処理を示した図である。
【図13】本発明の一実施形態における手振れ特徴抽出処理を概念的に示す図である。
【図14】本発明の一実施形態におけるキーフレーム検出処理を概念的に示す図である。
【図15】本発明の一実施形態におけるデフォルトによるメタデータ生成処理を概念的に示す図である。
【図16】本発明の一実施形態におけるPVRによるマニュアルでのメタデータ生成処理の流れを示したフローチャートである。
【図17】本発明の一実施形態におけるマニュアルでのメタデータ生成処理を概念的に示す図である。
【図18】本発明の一実施形態におけるコンテンツ分類処理の流れを示したフローチャートである。
【図19】本発明の一実施形態において生成されるコンテンツリストの表示例を示した図である。
【図20】本発明の一実施形態における、トラフィック状況等に応じたコンテンツリストの表示制御処理の流れを示したフローチャートである。
【図21】本発明の一実施形態において、コンテンツリストの表示制御処理によりサムネイルの状態が変化する様子を示した図である。
【図22】本発明の一実施形態における、顔識別メタデータに基づくアクセス制御処理の流れを示したフローチャートである。
【図23】本発明の一実施形態における、動作モードに応じたアクセス制御処理の概要を示した表である。
【発明を実施するための形態】
【0021】
以下、図面を参照しながら、本発明の実施形態を説明する。
【0022】
[AVネットワークシステムの概要]
図1は、本発明の一実施形態において想定されるAVネットワークシステムの一例を概略的に示す図である。
【0023】
同図に示すように、当該AVネットワークシステムでは、例えば異なる家(Aさん宅及びBさん宅)に設置された機器が例えばインターネット等のネットワーク50を介して接続されている。例えばAさん宅には、2台のPVR(Personal Video Recorder)100及び200と、当該PVR100及び200にそれぞれ接続されたTV60が異なる部屋に設置されている。また例えばBさん宅には、1台のPVR300が1つの部屋に設置され、当該PVRに接続された2台のTV60が、PVR300が設置された部屋及びそれとは別の部屋にそれぞれ設置されている。
【0024】
同図においては、Aさん宅内の4つの機器とBさん宅内の3つの機器とがネットワーク50を介して接続されている例が示されているが、もちろん、各家に設置される機器の数や種類はこれに限られず、またその他の家の機器もネットワーク50に接続可能である。以下でも、同図に示した機器以外の機器がネットワーク50に接続されていることを前提に説明がなされる場合がある。
【0025】
このような構成において、Aさん宅の機器とBさん宅の機器とは、所定の認証が行えた場合には、ネットワーク50を介して相互にアクセスすることが可能となっている。したがって例えばBさんは、Bさん宅に存在するPVR300から、ネットワーク50を介してAさん宅のPVR100及び200へアクセスし、当該PVR100及び200に記憶されたコンテンツを視聴することができる。
【0026】
ここで、上記PVR100、200及び300のうち、PVR100は、コンテンツの編集やダイジェスト再生等の特殊再生やコンテンツの分類等を行うためのメタデータを生成する機能を有しており、PVR200及び300はそのような機能を有していない。したがって、例えばBさんがBさん宅からPVR200に記憶されたコンテンツの特殊再生や分類を行いたい場合でも、当該PVR300によっては当該特殊再生や分類を行うことができない。
【0027】
そこで本実施形態では、上記PVR300のようにコンテンツのメタデータ生成機能を有しない機器が、上記PVR100のように当該メタデータ生成機能を有するネットワーク50上の他の機器に当該メタデータを生成させることを可能としている。
【0028】
[PVRのハードウェア構成]
図2は、メタデータ生成機能を有する上記PVR100のハードウェア構成を示す図である。同図に示すように、このPVR100は、デジタルチューナ1、復調部2、デマルチプレクサ3、デコーダ4、記録再生部5、HDD(Hard Disk Drive)8、光ディスクドライブ9、通信部11を有する。またPVR100は、CPU(Central Processing Unit)12、フラッシュメモリ13、RAM(Random Access Memory)14を有する。さらにPVR100は、操作入力部15、グラフィック制御部16、映像D/A(Digital/Analog)コンバータ17、音声D/A(Digital/Analog)コンバータ18、外部インタフェース19及び特徴抽出回路20を有する。
【0029】
デジタルチューナ1は、CPU12の制御に従って、アンテナ22を介してデジタル放送の特定のチャンネルを選局して、番組のデータを含む放送信号を受信する。この放送信号は、例えばMPEG−2 TSフォーマットで符号化されたMPEGストリーム(TS:トランスポートストリーム)であるが、このフォーマットに限られるものではない。復調部2は、変調された当該放送信号を復調する。
【0030】
デマルチプレクサ3は、多重化された上記放送信号を、映像信号、音声信号、字幕信号、SI(Service Information)信号等の各信号に分離し、デコーダ4へ供給する。またデマルチプレクサ3は、分離したデコード前の各信号を、特徴抽出回路20へも供給可能である。上記SI信号は、EPG(Electronic Program Guide)を表示するためのデータ等を伝送するための信号である。当該EPG情報は、後述するようにコンテンツのジャンル判定に用いられる。
【0031】
デコーダ4は、デマルチプレクサ3で分離された映像信号、音声信号、字幕信号、SI信号をそれぞれデコードする。デコードされた各信号は記録再生部5へ供給される。
【0032】
記録再生部5は、記録部6及び再生部7を有する。記録部6は、デコーダ4によりデコードされ入力された映像信号及び音声信号を一時的に蓄積して、タイミングやデータ量を制御しながらHDD8や光ディスクドライブ9に出力して記録させる。また記録部6は、HDD8に記録されたコンテンツを読み出して光ディスクドライブ9に出力し、光ディスク10に記録させることも可能である。再生部7は、HDD8や光ディスク10に記録された映像コンテンツの映像信号及び音声信号を読み出し、タイミングやデータ量を制御しながらデコーダ4へ出力して再生させる。
【0033】
HDD8は、デジタルチューナ1を介して受信した番組や、通信部11によりネットワーク50を介して受信される種々のコンテンツを内蔵のハードディスクに記憶する。これらの記憶されたコンテンツが再生される際には、HDD8は、これらのデータを上記ハードディスクから読み出し、記録再生部5へ出力する。
【0034】
またHDD8は、各種プログラムやその他のデータ等を記憶する場合もある。これらのプログラムやデータは、それらの実行時及び参照時に、CPU12の指令によりHDD8から読み出され、RAM14へ展開される。
【0035】
光ディスクドライブ9は、上記HDD8と同様に、当該装着された光ディスク10に上記番組コンテンツ等の各種データを記録し、また記録されたデータを読み出すことが可能である。また上記各種プログラムは、これら光ディスク10等の可般性の記録媒体に記録され、光ディスクドライブ9によりPVR100にインストールされてもよい。
【0036】
通信部11は、上記ネットワーク50に接続してTCP/IP(Transmission Control Protocol / Internet Protocol)等のプロトコルによりネットワーク50上の他の装置とデータのやり取りを行うためのネットワークインタフェースである。通信部11により受信されたデータが多重化されている場合、デマルチプレクサ3に供給される。また受信されたデータのうち少なくとも一部は、必要に応じて特徴抽出回路20にも供給される。上記EPG情報は、デジタルチューナ1が受信した放送信号からではなく、ネットワーク50上から通信部11により取得されてもよい。
【0037】
外部インタフェース19は、例えばUSBインタフェースやメモリカードインタフェース等からなり、例えばデジタルビデオカメラ、デジタルスチルカメラ等の外部機器やメモリカード等と接続し、それらからコンテンツ等のデータを読み出す。
【0038】
CPU12は、必要に応じてRAM14等にアクセスし、映像データの受信処理、コンテンツの記録再生処理、特徴抽出(メタデータ生成)処理等、PVR100の各ブロックの処理を統括的に制御する。
【0039】
フラッシュメモリ13は、例えばNAND型のものであり、CPU12に実行させるOS、プログラムや各種パラメータなどのファームウェアが固定的に記憶されている不揮発性のメモリである。またフラッシュメモリ13は、メタデータ生成処理において特徴抽出回路20とともに動作するプログラムやその他の各種プログラム、上記EPG情報等の各種データを記憶する。
【0040】
RAM14は、CPU12の作業用領域等として用いられ、上記コンテンツの記録再生処理やメタデータ生成処理の最中に、OSやプログラム、処理データ等を一時的に保持するメモリである。
【0041】
操作入力部15は、例えば複数のキーを有するリモートコントローラ21(以下、リモコン21と称する)から、ユーザの操作による各種設定値や指令を入力してCPU12へ出力する。もちろん、操作入力部15は、リモコン21によらずに、PVR100に接続されたキーボードやマウス、PVR100に実装されたスイッチ等で構成されていても構わない。
【0042】
グラフィック制御部16は、デコーダ4から出力された映像信号やCPU12から出力されるその他の映像データにOSD(On Screen Display)処理等のグラフィック処理を施し、例えばTV60等の表示装置に表示させるための映像信号を生成する。
【0043】
映像D/Aコンバータ17は、上記グラフィック制御部16から入力されたデジタル映像信号をアナログ映像信号に変換して、映像出力端子等を介して表示装置へ出力する。
【0044】
音声D/Aコンバータ18は、上記デコーダ4から入力されたデジタル音声信号をアナログ音声信号に変換して、音声出力端子等を介してTV等へ出力する。
【0045】
特徴抽出回路20は、HDD8に記憶されたコンテンツやネットワーク50上の他の機器に記憶されたコンテンツから、所定の映像特徴及び音声特徴を抽出し、当該各特徴を基に、各コンテンツの特殊再生処理や分類処理等に用いられる各種メタデータを生成する。具体的には、特徴抽出回路20は、コンテンツの映像信号及び音声信号を所定の時間毎(フレーム間隔毎)のデータに分割し(データセグメンテーション処理)、それをRAM14に一時的に保存する。そして特徴抽出回路20は、当該保存された各データのうち映像データについては例えば動きベクトルを検出することで映像特徴を抽出し、音声データについては例えばパワーレベルを解析することで音声特徴を抽出する。
【0046】
上記所定の映像特徴とは、例えばパン、チルト、ズーム等のカメラ特徴や、人物(顔)、動物、建物等のオブジェクトを示す画像特徴等である。所定の音声特徴とは、例えば人の声を示す特徴、より具体的には音声パワーの継続時間を示す特徴等である。またメタデータとは、上記カメラ特徴や音声特徴を基に生成されるコンテンツ内の盛り上がりシーン(キーフレーム)に関するメタデータ(シーン特徴メタデータ)、コンテンツ内の被写体(人かそれ以外か)等に応じてコンテンツを分類するためのメタデータ(分類用メタデータ)、コンテンツ内の人の顔を識別してコンテンツへのアクセスを制御するために用いられるメタデータ(顔識別メタデータ)等である。これらの各種メタデータの詳細については後述する。またメタデータは、上記特徴抽出処理により抽出された特徴データそのものであってもよい。
【0047】
図3は、メタデータ生成機能を有しない上記PVR300のハードウェア構成を示す図である。同図に示すように、PVR300の構成は、上記図2に示したPVR100と比較して、PVR100の特徴抽出回路20を有していないこと以外は共通している。したがってここではPVR300の各ブロックについての説明は省略する。上記PVR200の構成も当該PVR300の構成と同様である。
【0048】
[AVネットワークシステム内の各機器の動作]
次に、以上のように構成されたAVネットワークシステムにおける各機器の動作について説明する。以下では、特にPVR300の動作を中心に説明する。以下では、PVR300のCPU42を主な動作主体としてPVR300の動作が説明されるが、この動作は、その他のハードウェア及びCPU42の制御下において実行されるプログラムとも協働して行われる。
【0049】
(メタデータの生成処理)
まず、本システムにおけるメタデータの生成処理について説明する。本実施形態では、ネットワーク50上の全ての機器に記憶された全てのコンテンツについてデフォルトで自動的にメタデータが生成される場合と、特定のコンテンツについてメタデータが生成される場合とがある。
【0050】
まず、ネットワーク50上の各機器に記憶された各コンテンツのメタデータがデフォルトで生成される場合について説明する。図4は、PVR300によるデフォルトでのメタデータ生成処理の流れを示したフローチャートである。
【0051】
同図に示すように、PVR300のCPU42は、ネットワーク50上の各機器にアクセスを試み、各機器からアクセス認証を受ける(ステップ41)。当該認証に通った場合(ステップ42のYes)、CPU42は、当該アクセスした機器に記憶されたコンテンツを検出する(ステップ43)。認証に通らなかった場合(No)、すなわちアクセス可能な他の機器がネットワーク50上に存在しない場合、CPU42は、ユーザから、例えばコンテンツの通常再生等、メタデータの生成動作以外の動作モードへ移行する指示があったか否かを判断し(ステップ44)、当該指示があった場合(Yes)は他の動作モードへ移行する。
【0052】
上記ステップ42においてアクセス可能な他の機器が存在した場合(Yes)、CPU42は、当該他の機器に記憶されたコンテンツを検出する(ステップ43)。そしてCPU42は、当該検出された各コンテンツについて、メタデータが生成されているか否かを判断する(ステップ45)。
【0053】
上記ステップ45においてメタデータが生成されていると判断された場合(Yes)、CPU42は、ネットワーク50上の全ての機器に記憶された全てのコンテンツについてメタデータが生成されているか否か、すなわちその他にメタデータを生成すべきコンテンツがないかを判断する(ステップ51)。メタデータを生成すべきコンテンツが存在しないと判断された場合(Yes)、処理は終了し、存在する場合(No)には上記ステップ41へ戻り処理を繰り返す。
【0054】
上記ステップ45においてメタデータが生成されていないと判断された場合(No)、CPU42は、メタデータを生成可能な他の機器をネットワーク50上から探索する(ステップ46)。この探索処理の詳細は後述する。
【0055】
上記探索処理の結果、メタデータの生成に対応した他の機器が見つかった場合(ステップ47のYes)、CPU42は、当該他の機器へメタデータを生成させるためのコマンドを送信する(ステップ48)。そしてCPU42は、当該コマンドに応じて他の機器で生成されたメタデータを受信する(ステップ50)。CPU42は、以上の処理を、ネットワーク50上の全ての機器の全てのコンテンツについて繰り返す(ステップ51)。
【0056】
上記探索処理の結果、メタデータの生成に対応した他の機器が見つからなかった場合(ステップ47のYes)、CPU42は、例えば当該PVR300に接続されたTV60を介して、メタデータを生成できない旨の警告表示を行う(ステップ49)。
【0057】
図5は、上記メタデータを生成可能な他の機器の探索処理の詳細な流れを示したフローチャートである。
同図に示すように、CPU42は、まず、コンテンツを記憶するネットワーク50上の他の機器(以下、コンテンツ記憶機器と称する)に対して、当該他の機器以外の各機器へテストデータを送信するよう指示するコマンドを送信する(ステップ61)。ここでテストデータは、メタデータを生成可能か否かを問い合わせるデータであり、かつ、そのメタデータ生成処理を最も確実に効率よく行える機器を探索するために送信されるデータである。
【0058】
続いてCPU42は、上記コンテンツ記憶機器が他の機器から受信した上記テストデータの返信結果の転送を受ける(ステップ62)。ここで、当該テストデータの詳細について説明する。
【0059】
図6は、上記他の機器からコンテンツ記憶機器へ返信されるテストデータのデータ構造の例を示した図である。同図に示すように、当該テストデータは、同期データ71、システム用データ72、動作モード用データ73、処理用データ74及びエラー処理用データ75からなる。
【0060】
同期データ71は、コンテンツ記憶機器が送信したテストデータと他の機器から返信されたテストデータとの同期をとるためのデータである。システム用データ72は、当該返信元の他の機器のIPアドレス等のデータである。
【0061】
図7は、上記動作モード用データ73の詳細を示した図である。同図に示すように、動作モード用データ73は例えば16ビット(m1〜m16)からなり、複数の動作モードについて、それが当該他の機器において処理が可能か否かを0か1のビットで示したものである。同図において動作モードが定義されていない箇所(−)には、適宜動作モードを追加可能である。動作モードとしては、映像音声表示出力モード、コンテンツの通常再生モード、コンテンツのダイジェスト再生モード、コンテンツの自動編集モード、コンテンツ蓄積(記録)モード、コンテンツ撮影(カメラ機能)モード等がある。同図に示した例では、テストデータの返信元の他の機器がこれらの各モード全てに対応していることが示されている。
【0062】
図4及び図5のフローチャートでは、他の機器に生成させるメタデータは、予め決まっており、当該特定のメタデータが生成可能な否かが上記動作モード用データから判断されることとなる。例えば、ダイジェスト再生用のメタデータの生成が意図されている場合、上記動作モード用データから、他の機器がダイジェスト再生に対応しているか否かが判断されることとなる。
【0063】
図8は、上記処理用データ74の詳細を示した図である。同図に示すように、処理用データ74は、例えば12ビット(g1〜g4, c1〜c4, a1〜a4)からなり、上記ダイジェスト再生モードや自動編集モード等において必要となる各種映像音声特徴抽出処理の可否を0か1のビットで示したものである。同図において処理機能が定義されていない箇所(−)には、適宜処理機能を追加可能である。処理用データは、画像特徴、カメラ特徴及び音声特徴からなる。画像特徴の処理機能としては、顔検出機能やテロップ検出機能がある。カメラ特徴としては、ズーム、パン、チルト、手振れの各検出機能がある。音声特徴としては、音声の盛り上がり(レベル大)検出機能、音楽検出機能、人の声検出機能がある。同図に示した例では、テストデータの返信元の他の機器がこれらの各処理機能全てに対応していることが示されている。
【0064】
エラー処理用データ75は、例えば16ビットからなり、当該テストデータがコンテンツ記憶機器から送信されて返信されるまでの間に発生したエラーのエラーレートを計測するためのデータである。具体的には、例えばCRCコードやリードソロモン符号等のエラー検出コードが用いられる。
【0065】
図5のフローチャートに戻り、CPU42は、上記テストデータの返信結果データを受信すると、当該データから、特定のメタデータの生成に対応した他の機器(以下、単に対応機器ともいう。)が存在するか否かを判断する(ステップ63)。対応機器が存在しないと判断された場合(No)、CPU42は、図4のステップ49で示した警告表示を行う。
【0066】
対応機器が存在すると判断された場合(Yes)、CPU42は、当該対応機器が複数存在するか否かを判断する(ステップ64)。対応機器が複数存在すると判断された場合(Yes)、CPU42は、上記テストデータの返信結果データを基に、上記エラーレート及び遅延時間を検出する(ステップ65)。エラーレートは、上記返信されたテストデータ中のエラー処理用データから算出される。遅延時間は、コンテンツ記憶装置がテストデータを送信した時刻と他の装置からそれを返信した時刻とから算出される。CPU42は、当該エラーレート及び遅延時間を、各対応機器について算出する。
【0067】
そしてCPU42は、上記複数の対応機器のうち、当該エラーレート及び遅延時間が最小となる対応機器を選択する(ステップ66)。すなわち、CPU42は、メタデータ生成を行った場合にそれを最も効率的かつ高精度に行える他の機器を選択する。またCPU42は、上記エラーレート及び遅延時間を乗じた値を基に上記選択を行ってもよい。
【0068】
続いてCPU42は、コンテンツ記憶装置に記憶された各コンテンツについて、ジャンルを判定する(ステップ67)。ここでコンテンツのジャンルが判定されるのは、当該ジャンルに応じて、上記自動編集モードやダイジェスト再生モードに必要な特徴データが異なるからである。すなわち、コンテンツのジャンルが異なると、他の機器に生成を要求するメタデータ及びそのために対応すべき動作モードも異なってくるため、PVR300は、当該ジャンル及び動作モードに応じて対応機器を適切に選択することとしている。
【0069】
ここで、コンテンツのジャンルと、当該コンテンツのメタデータを生成するために必要となる動作モードとの関係について説明する。
図9〜図12は、コンテンツジャンルが、放送コンテンツ(テレビコンテンツ)であって、ニュース番組の場合(図9)、スポーツ番組の場合(図10)、音楽番組の場合(図11)及びコンテンツジャンルが一般ユーザにより撮影されたプライベートコンテンツ(図12)である場合のそれぞれについて、各動作モードの実行に必要とされる処理を示した図である。
【0070】
図9に示すように、コンテンツが放送コンテンツであってニュース番組の場合、ダイジェスト再生及び自動編集の各モードを実行するには、画像特徴抽出処理のうち顔検出及びテロップ検出の各処理が必須となり、音声特徴抽出処理のうち人の声の検出処理が必須となる。これは、ニュース番組には、ニュースキャスターの画像、当該ニュースキャスターの下部に通常表示されるテロップ等、ニュース番組特有の特徴が存在するからである。またこの場合、カメラ特徴のうちズーム、パン、チルトの各カメラ特徴の検出処理は、必須ではないが精度を良くするにはあった方がよい。これは、実際のニュース現場の映像から特徴的なシーンを抽出するためである。
【0071】
図10に示すように、コンテンツが放送コンテンツであってスポーツ番組の場合、ダイジェスト再生及び自動編集の各モードを実行するには、画像特徴抽出処理のうち顔検出処理が必須となり、カメラ特徴抽出処理のうちズーム、パン、チルトの各カメラ特徴の検出処理が必須となり、音声特徴抽出処理のうち音声盛り上がり検出処理が必須となる。これは、スポーツ番組では、例えばサッカーのゴールシーン等では選手の動き及びカメラの動きが活発となり、また歓声も大きくなるという特徴があるからである。またこの場合、画像特徴のうちテロップ検出処理は、必須ではないがあった方がよい。これは選手情報や試合経過等の情報がテロップとして表示される場合があるからである。
【0072】
図11に示すように、コンテンツが放送コンテンツであって音楽番組の場合、ダイジェスト再生及び自動編集の各モードを実行するには、画像特徴抽出処理のうち顔検出処理が必須となり、音声特徴抽出処理のうち音楽検出処理及び人の声検出処理が必須となる。これは、音楽番組では、出演している歌手及びその歌手が歌う音楽を識別する必要があるからである。またこの場合、カメラ特徴抽出処理のうちズーム、パン、チルトの各カメラ特徴の検出処理は、必須ではないがあった方がよい。これは、歌手が実際に歌を歌っているシーン等を抽出するためである。
【0073】
図12に示すように、コンテンツがプライベートコンテンツの場合、画像特徴抽出処理のうち顔検出処理が必須となり、ズーム、パン、チルト及び手振れの各カメラ特徴の検出処理が必須となり、音声特徴抽出処理のうち音声盛り上がり検出処理及び人の声検出処理が必須となる。これは、当該プライベートコンテンツに映っている人及びその人の言動を検出するためである。また、手振れ特徴検出処理は、当該プライベートコンテンツからキーフレームを検出する際に、見るに耐えない手振れ映像を除外するためである。
【0074】
ここで、上記コンテンツが放送コンテンツである場合には、各ジャンルは、各コンテンツ記憶装置においてコンテンツが記録される際に、例えば上記RPG情報を基に当該コンテンツ自体と共に記録されたジャンル情報を基に判別することができる。一方、コンテンツが放送コンテンツかプライベートコンテンツかは、上記手振れ特徴を検出することで判別することができる。すなわち、コンテンツの映像中に手振れ映像があれば当該コンテンツは、プロではなく一般ユーザが撮影したプライベートコンテンツであると判断され得るからである。ただし、本実施形態においては、当該PVR300は、そもそもメタデータ生成機能を有していないため、上記カメラ特徴抽出処理に対応していない。したがってPVR300は、上記返信されたテストデータを基に、手振れ特徴抽出処理に対応した機器(例えば上記PVR100等)に、当該放送コンテンツかプライベートコンテンツかの判別処理を依頼する。後述するが、この手振れ特徴に基づく判別データを含めたコンテンツのジャンルに関するデータは、上記分類用メタデータとしても用いられる。
【0075】
また、放送コンテンツ当該放送コンテンツかプライベートコンテンツかの判別データは、例えば放送コンテンツ及びプライベートコンテンツがコンテンツ記憶装置に記録される際に、上記EPG情報に基づくジャンル情報と共に、自動的にジャンルIDとして記憶されてもよい。これは例えばプライベートコンテンツの入力元となる機器(カムコーダ等)を識別することで達成し得る。
【0076】
当該判別処理の依頼を受けた他の機器は、コンテンツ記憶装置から対象コンテンツを取得し、自身が有する手振れ特徴抽出機能を用いて、当該コンテンツから手振れ特徴を抽出する。ここで、当該手振れ特徴抽出処理の詳細について説明する。
【0077】
図13は、当該手振れ特徴抽出処理を概念的に示す図である。PVR300から依頼を受けた他の機器は、特徴抽出回路を用いて、コンテンツ中の基準フレームと探索フレームとの間でブロックマッチング処理により動きベクトルを検出し、当該動きベクトルを基に、重回帰分析によりアフィン係数を算出する。そして他の機器は、同図に示すように、映像コンテンツ中の所定区間(t0〜t1、t1〜t2、t2〜t3、t3〜t4)毎のアフィン係数から算出した、パン係数Px、チルト係数Pyの分散と、所定区間の平均値レベルとの交差回数とで手振れを判定することができる。所定区間としては、例えば0.5秒〜5秒程度の時間長が設定される。
【0078】
例えば、同図のt0〜t1の区間においては、PxまたはPyは、平均レベルの値と12回交差している。他の機器の特徴抽出回路は、この交差回数の閾値をThcrとし、交差回数がThcrより大きく、かつ、PxまたはPyの上記各所定区間での分散値が所定の閾値Thvより大きい場合には、当該所定区間の映像は手振れ映像であると判定し、そうでない場合には手振れ映像ではないと判定する。当該判定結果は、上記放送コンテンツかパーソナルコンテンツかの判別のためにPVR300へ送信される。
【0079】
図5に戻り、CPU42は、上記図9〜図12に示した基準を用いて、各コンテンツについて判定したジャンルに応じて、他の機器に生成させるべきメタデータに必要な動作モードを検出する(ステップ68)。そしてCPU42は、当該動作モードの実行に必須となる、動作用特徴量ID(上記g1〜g4, c1〜c4, a1〜a4)を検出する(ステップ69)。
【0080】
続いてCPU42は、図4のステップ47において、当該動作用特徴量IDで示される処理に対応した他の機器が存在するか否かを判断し、当該対応機器を選択する。そしてCPU42は、上述したように、当該選択した機器へ、メタデータの生成を指示するコマンドを送信する(ステップ48)。
【0081】
上記メタデータ生成を指示された他の機器は、当該指示対象のコンテンツを、コンテンツ記憶機器から受信し、当該他の機器が有する特徴抽出回路を用いて、特徴抽出処理及びそれに基づくメタデータ生成処理を実行する。
【0082】
ここで、当該特徴抽出処理について説明する。図14は、当該特徴抽出処理を概念的に示した図である。同図では、例えば上記シーン特徴メタデータの生成のために、特徴量として盛り上がりシーン(キーフレーム)が検出される例を示している。
【0083】
同図に示すように、上記メタデータ生成を指示された他の機器の特徴抽出回路は、動画像コンテンツの映像シーンについて、上記カメラ特徴抽出処理、画像特徴抽出処理、音声特徴抽出処理を実行し、当該抽出結果を基に、所定の閾値以上の特徴が抽出された区間のフレームを、キーフレームとして抽出する。
【0084】
ここで、カメラ特徴や画像特徴を基にキーフレームが抽出されるのは、カメラ特徴区間はユーザが意図してカメラを操作して撮影した区間であるため、ユーザにとって重要度が高いシーンであると考えられ、また人の顔はユーザの注目の的となりやすいためである。また、音声特徴を基にキーフレームが抽出されるのも、例えば音声レベルが大きい区間はユーザの注目度が高いと考えられるからである。
【0085】
具体的には、上記特徴抽出回路は、映像コンテンツ中の基準フレームと探索フレームとの間でブロックマッチング処理により動きベクトルを検出する。そして特徴抽出回路は、当該動きベクトルを基に、重回帰分析によりアフィン係数を算出し、当該アフィン係数から、パン係数Px、チルト係数Py及びズーム係数Pzを算出する。当該パン係数Px、チルト係数Py及びズーム係数Pzがそれぞれ所定の閾値を超えた区間が、キーフレームとして検出される。また、特徴抽出回路は、動画像コンテンツの音声信号について、例えば所定の閾値以上のパワーを有する区間を音声盛り上がり区間として抽出する。そして特徴抽出回路は、例えば、上記映像シーンから抽出されたキーフレーム区間と、上記音声信号から抽出された音声盛り上がり区間とが重複する区間を、当該動画像コンテンツのキーフレームとして検出する。そして、このキーフレームの情報(タイムコード等)がシーン特徴メタデータとして生成される。
【0086】
図15は、以上説明したデフォルトによるメタデータ生成処理を概念的に示す図である。同図に示すように、例えば、ネットワーク50上に、メタデータの生成に対応しているPVR100及び500と、メタデータの生成に対応していないPVR200、300及び400が存在しているとする。また、PVR200及び400は、それぞれコンテンツA、コンテンツBを記憶する上記コンテンツ記憶機器である。
【0087】
この例において、メタデータの生成に対応していないPVR300が、PVR200に記憶されたコンテンツAについてメタデータを生成させる場合、PVR300は、上記テストデータを基に、対応機器のうち、メタデータを生成させた場合にエラーレート及び遅延時間が最小となる他の機器として、PVR100を選択し、メタデータを生成させる。同図に示すように、対応機器であるPVR100とPVR500とでは、PVR100の方が、コンテンツ記憶機器であるPVR200により近い距離に存在するためである。当該生成されたメタデータ(デフォルトメタデータA)は、PVR200の記録媒体に記憶され、例えば特殊再生等の必要に応じてPVR300にダウンロードされる。
【0088】
同様に、PVR300が、PVR400に記憶されたコンテンツBについてメタデータを生成させる場合、PVR300は、上記テストデータを基に、対応機器のうち、エラーレート及び遅延時間が最小となる他の機器として、PVR500を選択し、メタデータを生成させる。当該生成されたメタデータ(デフォルトメタデータB)は、PVR400の記録媒体に記憶され、必要に応じてPVR300にダウンロードされる。
【0089】
次に、ネットワーク50上の特定のコンテンツについてメタデータがマニュアルで生成される場合について説明する。図16は、PVR300によるマニュアルでのメタデータ生成処理の流れを示したフローチャートである。当該処理は、通常、コンテンツの再生処理(特殊再生または通常再生)に際して実行される。
【0090】
同図に示すように、PVR300のCPU42は、上記図4のフローチャートにおけるステップ41及び42と同様に、ネットワーク50上の特定の機器にアクセスを試み、当該機器からアクセス認証を受ける(ステップ161)。当該認証に通った場合(ステップ162のYes)、CPU42は、当該アクセスした機器に記憶されたコンテンツから、特定のコンテンツを選択する(ステップ163)。認証に通らなかった場合(No)、CPU42は、ユーザから、コンテンツの再生動作以外の動作モードへ移行する指示があったか否かを判断し(ステップ164)、当該指示があった場合(Yes)は他の動作モードへ移行する。
【0091】
ここで、上記コンテンツの選択は、PVR300に接続されたTV60等の表示装置に表示されるコンテンツリストに基づいて行われるが、当該コンテンツリストについては後述する。
【0092】
続いてCPU42は、上記選択したコンテンツについて特殊再生を行うか通常再生を行うかを、ユーザの操作に基づいて判断する(ステップ165)。通常再生を行うことが指示された場合(No)、CPU42は、当該コンテンツの通常再生モードへ移行し、通常再生させる(ステップ167)。
【0093】
上記ステップ165において特殊再生が指示された場合(Yes)、CPU42は、上記選択したコンテンツについて、メタデータが存在するか否かを判断する(ステップ166)。メタデータが存在すると判断された場合(Yes)、CPU42は、当該メタデータを受信して当該メタデータを基に上記選択したコンテンツの特殊再生を実行する(ステップ179)。
【0094】
上記ステップ166においてメタデータが存在しないと判断された場合(No)、CPU42は、メタデータ生成動作モードへ移行する(ステップ168)。そしてCPU42は、上記選択されたコンテンツについて、上記図5の処理と同様に、メタデータ生成に対応する機器を探索する(ステップ169)。この場合、対応機器が複数存在する場合、上述と同様に、上記テストデータに基づいて、エラーレート及び遅延時間が最小となる機器が選択される。
【0095】
メタデータ生成に対応する機器が存在する場合(ステップ170のYes)、CPU42は、当該選択されたコンテンツがその時点でコンテンツ記憶機器に存在するか否かを確認し(ステップ172)、存在する場合には、上記選択した機器へメタデータ生成を指示する(ステップ178)。そしてCPU42は、当該生成されたメタデータを受信し(ステップ178)、当該メタデータを用いてコンテンツの特殊再生を実行する(ステップ179)。
【0096】
上記ステップ170において、対応機器が存在しないと判断された場合、CPU42は、上述と同様の警告表示を行い(ステップ173)、上記コンテンツについて通常再生を実行するか否かについてユーザに指示を促す(ステップ174)。当該通常再生が指示された場合(Yes)には、CPU42は、上記通常再生モードへ移行する(ステップ167)。通常再生が指示されなかった場合(No)、CPU42は、処理を終了する。
【0097】
また上記ステップ175においてコンテンツが存在しないと判断された場合(No)、CPU42は、その旨の警告表示を行い(ステップ177)、処理を終了する。
【0098】
図17は、以上説明したマニュアルでのメタデータ生成処理を概念的に示す図である。同図において、ネットワーク50上の機器の構成は上記図15と同様である。
【0099】
同図に示すように、上記図15と比較して、PVR200に記憶されたコンテンツAについての個別メタデータAは、当該PVR200には記憶されず、メタデータ生成を指示したPVR300により直接受信され、特殊再生処理等に用いられる。同様に、PVR400に記憶されたコンテンツBについての個別メタデータBは、当該PVR400には記憶されず、PVR300により直接受信され、特殊再生処理等に用いられる。
【0100】
(コンテンツの分類処理)
次に、上記ネットワーク50上の各機器に存在するコンテンツの分類処理について説明する。当該コンテンツの分類処理の前提として、ネットワーク50上の各機器には、コンテンツとともに、上述したメタデータ生成処理により、上記分類用メタデータが生成され記憶されているものとする。当該分類用メタデータは、上述したコンテンツのジャンルに関するデータである。この分類用メタデータは、上述した図5のステップ67におけるコンテンツジャンル判定処理において既に生成されているものとする。
【0101】
図18は、PVR300によるコンテンツ分類処理の流れを示したフローチャートである。同図に示すように、CPU42は、上述と同様に、ネットワーク50上の各機器からアクセス認証を受ける(ステップ181)。当該認証に通った場合(ステップ182のYes)、CPU42は、各機器に記憶されているコンテンツを検出する(ステップ183)。当該コンテンツの検出処理の対象には、自機(PVR300)も含まれる。
【0102】
上記認証に通らなかった場合(No)、CPU42は、他動作モードへの移行がユーザから指示されたか否かを判断し(ステップ186)、当該移行が指示された場合(Yes)には他動作モードへ移行し、指示されなかった場合(No)は上記ステップ181へ戻る。
【0103】
上記ステップ183においてコンテンツを検出すると、CPU42は、当該検出されたコンテンツが、まだ分類処理の対象になっていない新コンテンツであるか否かを判断する(ステップ184)。当該コンテンツが既に分類処理の対象になっているコンテンツであると判断された場合(No)、CPU42は、上記ステップ186以降の処理を実行する。
【0104】
上記コンテンツがまだ分類処理の対象となっていないコンテンツであると判断された場合(Yes)、CPU42は、上記分類用メタデータを基に、コンテンツのジャンルを検出する(ステップ185)。ここで、当該コンテンツについて分類用メタデータが生成されていない場合には、上述のメタデータ生成処理にしたがって、ネットワーク50上の他の機器に分類用メタデータの生成を指示する。プライベートコンテンツについての分類用メタデータの生成にあたっては、上述したように、手振れ特徴抽出処理も実行される。
【0105】
続いて、CPU42は、検出したジャンルと同一のジャンルまたは類似のジャンルが他のコンテンツについて存在するか否かを判断する(ステップ187)。当該ジャンルの類似を判断するために、PVR300は、類似関係を記載したデータを予め記憶していてもよい。
【0106】
上記ステップ187において、同一または類似のジャンルがあると判断された場合(Yes)、CPU42は、当該コンテンツを既存のジャンルに追加し、分類IDを付加する(ステップ188)。一方、同一または類似のジャンルがないと判断された場合(No)、CPU42は、当該コンテンツを新規のジャンルに追加し、新規の分類IDを付加する(ステップ189)。当該分類IDには、上記プライベートコンテンツか放送コンテンツかの判別データも含まれる。
【0107】
CPU42は、以上の分類処理により生成された上記分類IDを用いて、当該PVR300に記憶されたものも含むネットワーク50上のコンテンツについてのコンテンツリストを生成し、当該コンテンツリストをTV60等の表示装置に表示させることができる。
【0108】
図19は、当該生成されたコンテンツリストの表示例を示した図である。同図に示すように、当該コンテンツリストでは、複数のコンテンツが、上記分類IDプライベートコンテンツとテレビコンテンツとに分類され、当該分類毎に、コンテンツのサムネイル91及びタイトル92が表示される。ここで、プライベートコンテンツについて、その内容を示す情報(運動会、旅行等)が表示されてもよい。当該情報は、当該プライベートコンテンツの記録時または他の機器への転送時に例えばユーザの入力等により生成される。またテレビコンテンツについては、上記分類IDに基づいて、そのジャンルまたはサブジャンル(野球、歌番組等)が表示される。
【0109】
当該コンテンツリスト上で、ユーザが、特定のコンテンツを再生のために選択する操作を行った場合、CPU42は、当該コンテンツを、当該コンテンツが記憶されたコンテンツ記憶機器から受信し、再生することができる。
【0110】
(トラフィック状況等に応じたコンテンツリストの表示制御処理)
ここで、本実施形態においては、PVR300は、上記表示されるコンテンツリスト上で、当該コンテンツリスト上の各コンテンツが円滑に再生可能か否かを示すことが可能となっている。すなわち、PVR300は、ネットワーク50のトラフィック状況(アクセス状態)に応じて、その円滑な再生の可否を、上記各コンテンツに対応するサムネイルの状態を変化させることでユーザに把握させる。さらに、PVR300は、ネットワーク50上に新たなコンテンツが追加された場合、またはネットワーク50上にコンテンツが存在しなくなった場合に、それらの状況をコンテンツリスト上に反映してユーザに把握させることができる。以下、当該処理の詳細について説明する。
【0111】
図20は、上記トラフィック状況等に応じたコンテンツリストの表示制御処理の流れを示したフローチャートである。
同図に示すように、CPU42は、まず、各コンテンツの判別用のカウンタnを0に初期設定する(ステップ191)。続いてCPU42は、ネットワーク50上の各機器からアクセス認証を受け(ステップ192)、認証に通った場合(ステップ193のYes)、各機器に記憶されたコンテンツを検出する(ステップ194)。当該コンテンツの検出は、当該PVR300自身に記憶されたコンテンツについても実行される。したがって上記コンテンツリストでは、PVR300自身及び他の機器に記憶されたコンテンツ全てが表示されることとなる。これによりユーザは、当該ユーザが操作する機器に記憶されたコンテンツか、他の機器に記憶されたコンテンツかを意識しなくて済む。
【0112】
上記ステップ193において認証に通らなかった場合(No)、CPU42は、コンテンツリストの表示動作モードが続行中か否かを判断し(ステップ198)、続行中である場合にはステップ202へ移る。表示動作モードの終了がユーザから指示された場合(No)、他の動作モードへの移行がユーザから指示されたか否かを判断し(ステップ199)、指示された場合(Yes)には当該他の動作モードへ移行する。一方他の動作モードへの移行が指示されていない場合(No)、CPU42は、上記ステップ192へ戻り、以降の処理を繰り返す。
【0113】
上記ステップ194においてコンテンツを検出すると、CPU42は、上記コンテンツのうち、まだ当該コンテンツリスト表示制御処理の対象となっていないコンテンツが存在するか否かを判断する(ステップ195)。当該処理の対象となっていないコンテンツが存在すると判断された場合(Yes)、CPU42は、当該コンテンツ(n)について、それがコンテンツリスト上で表示可能か否かを示す表示可能フラグをONに設定する(ステップ196)。
【0114】
続いてCPU42は、ネットワーク50上の全てのコンテンツを検出したか否かを判断し(ステップ197)、まだ検出すべきコンテンツが存在する場合(No)には、上記カウンタnをインクリメントして上記ステップ194以降の処理を繰り返す。
【0115】
全てのコンテンツを検出したと判断された場合(Yes)、CPU42は、コンテンツリストの表示動作モードが続行中か否かを判断し(ステップ201)、続行中の場合(Yes)には、コンテンツへのアクセス状態を検出するためのカウンタkを0に初期設定する(ステップ202)。上記ステップ201において、上記表示動作モードの終了がユーザから指示された場合(No)、上記ステップ199と同様の処理が実行される。
【0116】
上記カウンタkを初期設定すると、CPU42は、コンテンツ(k)について、そのアクセス状態を検出する(ステップ203)。すなわち、CPU42は、上述したテストデータを各機器へ送信しその返信を受け、トラフィック状況(エラーレート)を検出することで、各機器に記憶されたコンテンツのエラーレートを推定し、当該エラーレートが所定の閾値を上回った場合には当該コンテンツの円滑な再生はできない(アクセス不可能である)と判断する。
【0117】
続いてCPU42は、上記アクセス可能と判断されたコンテンツ(k)については上記コンテンツリスト上で上記サムネイルを通常の状態で表示し(ステップ205)、アクセス不可能と判断された場合(No)には、当該サムネイルの状態を変化させて表示させる(ステップ208)。
【0118】
続いてCPU42は、上記カウンタkをインクリメントし、上記検出された全てのコンテンツ(n個のコンテンツ)について、以上の処理を繰り返す(ステップ207)。そしてCPU42は、ネットワーク50上の各機器を認証する所定のタイミングが到来したか否かを判断する(ステップ209)。当該タイミングが到来していないと判断された場合(No)、CPU42は上記ステップ201へ戻り、到来したと判断した場合(Yes)には上記ステップ192へ戻って認証処理を実行する。
【0119】
以上の処理により、ネットワーク50上のトラフィック状況に応じて、コンテンツの円滑な再生が不可能である場合にはサムネイルが変化した状態で表示される。またCPU42は、上記認証処理を所定タイミングで繰り返すことで、ネットワーク50上に新たなコンテンツが追加された場合またはコンテンツがネットワーク50上から切り離された場合に、それらの状態に応じて上記コンテンツリスト上のサムネイルを追加または削除することができる。
【0120】
図21は、上記コンテンツリストの表示制御処理によりサムネイルの状態が変化する様子を示した図である。同図(A)が変化前の状態、同図(B)が変化後の状態を示す。同図(A)に示すように、通常表示されていたコンテンツ2aのサムネイル91は、同図(B)に示すように、トラフィック状況の悪化または当該コンテンツ2aがネットワーク50上から切り離されたことにより、影付き(グレー)で表示されている。当該サムネイルの表示状態の変化は、影付きによるものに限られず、例えば彩度や明度の変化により行われても構わない。
【0121】
また、上記図20のフローチャートでは、エラーレートに関する所定の閾値を1つ設定されたが、当該閾値を複数設定し、エラーレートに応じて段階的に上記表示変化が行われても構わない。
【0122】
また、CPU42は、上記トラフィック状況が改善し、エラーレートが低下した場合には、上記サムネイルの状態を通常表示に変化させるとともに、それを示す何らかのマークを当該サムネイル近傍に表示してもよい。この際、CPU42は、上記コンテンツリスト上で、予めユーザが再生を所望するコンテンツを選択させておき、当該選択されたコンテンツのみについて当該マークを表示してもよい。
【0123】
(顔識別メタデータによるアクセス制御処理)
本実施形態においては、ネットワーク50上の各機器は、各機器へのコンテンツへのアクセス権限の認証を、当該コンテンツに、アクセス元の機器のユーザの顔が映っているか否かにより行うことができる。すなわち、各機器は、自身が記憶するコンテンツへアクセスがあった場合、当該コンテンツに、アクセス元の機器のユーザの顔が映っている場合にはアクセスを許可し、そうでない場合には許否することができる。これは、ユーザは、当該ユーザ自身が映っているコンテンツにはアクセスを許可されるべきであるという考え方に基づいている。以下、当該アクセス制御処理について説明する。このアクセス制御処理には、上記メタデータ生成処理において生成される顔識別メタデータが用いられる。
【0124】
図22は、当該顔識別メタデータに基づくアクセス制御処理の流れを示したフローチャートである。同図においては、上記メタデータ生成処理に対応するPVR100が、ネットワーク50上の全てのコンテンツについて、アクセス許可/不許可を示すデータを生成する場合について説明する。
【0125】
同図に示すように、PVR100のCPU12は、他の機器から、当該他の機器のユーザAの顔画像の登録を受け付ける(ステップ211)。当該顔画像は、当該他の機器が有するカメラにより撮影されたものであってもよいし、当該ユーザAが有するデジタルカメラやカメラ付き携帯電話によりユーザAが撮影し、他の機器を介して送信されたものであってもよい。
【0126】
当該顔画像の登録があると、CPU12は、当該顔画像データから、目、鼻、口、輪郭、テクスチャ特徴等の顔特徴データ(特徴ベクトル)を抽出する。当該顔特徴データの抽出には、例えば、顔の各パーツの位置関係に応じた特徴フィルター、輝度分布情報、肌色情報等が用いられる。
【0127】
続いて、CPU12は、ネットワーク50上の各機器からアクセス認証を受け(ステップ212)、認証に通った場合(ステップ213のYes)、各機器からコンテンツを検出する(ステップ214)。当該コンテンツの検出対象となる各機器には、自機(PVR100)も含まれる。認証に通らなかった場合(No)、CPU12は、他の動作モードへの移行が当該PVR100のユーザから指示されたか否かを判断し(ステップ219)、指示があった場合(Yes)は当該他の動作モードへ移行し、指示がない場合(No)には上記ステップ212へ戻る。
【0128】
上記コンテンツを検出すると、CPU12は、まだ当該アクセス制御処理の対象となっていないコンテンツが存在するか否かを判断する(ステップ215)。当該コンテンツが存在しない場合には上記ステップ219へ移る。当該コンテンツが存在する場合、CPU12は、当該コンテンツから、顔画像及び顔特徴を検出する。顔画像の検出には、例えば肌色検出等の既知の手法が用いられる。顔特徴の検出は、上記登録された顔画像についての処理と同様である。ここで、当該各検出処理は、上記顔識別メタデータが生成されている場合には不要であり、当該顔識別メタデータをそのままアクセス制御処理に用いることができる。当該検出処理により顔画像が検出されなかった場合(ステップ217のNo)には、上記ステップ212へ戻り、その他の機器について処理を繰り返す。
【0129】
上記ステップ216において何らかの顔画像が検出された場合(ステップ217のYes)、CPU12は、上記登録された顔画像の顔特徴データと、上記コンテンツから検出された顔特徴データを照合し、上記登録したユーザAの顔が当該コンテンツに存在するか否かを判断する(ステップ218)。
【0130】
当該コンテンツにユーザAの顔が存在すると判断された場合(ステップ220のYes)、CPU12は、当該コンテンツについて、ユーザAの機器からのアクセスを許可する許可データを生成する(ステップ221)。そしてCPU12は、例えば当該コンテンツから検出された顔画像のサムネイルをユーザAの機器へ転送する(ステップ222)。当該サムネイルは、コンテンツリストとして転送されてもよい。これにより、ユーザAの機器が表示動作モードである場合、アクセス可能なコンテンツがコンテンツリストとして表示されることで、ユーザAの機器は当該リスト上のコンテンツに即座にアクセスして当該コンテンツを再生することが可能となる。
【0131】
そしてCPU12は、上記新たにアクセス制御対象とすべき全てのコンテンツについて解析が終了したか否かを判断し(ステップ223)、終了した場合(Yes)には処理を終了し、終了していない場合(No)には上記212へ戻って以降の処理を繰り返す。
【0132】
以上の処理は、上記アクセス許可データを自動的に生成するモードであるが、当該許可データは、手動で行われてもよい。図23は、当該手動/自動の各動作モードに応じたアクセス制御処理の概要を示した表である。
【0133】
同図に示すように、自動モードにおいては、CPU12は、コンテンツに映っている顔が、機器に顔登録したユーザの場合に、上述のように、それを自動で知らせる。この場合、上述したように、当該ユーザの機器の例えばキャッシュメモリへ上記サムネイルを転送する。また、手動モードにおいては、登録元の機器は、ユーザが映っているコンテンツがネットワーク50上に存在するか否かを検出する動作モードを、当該機器のユーザの操作に基づいて設定する。この場合、上記顔画像の探索によりその存在有無が検出された場合には、登録元の機器のキャッシュメモリへ上記サムネイルが転送される。
【0134】
以上の処理により、顔画像をキーとして、ネットワーク50上の各コンテンツへのアクセス権限を認証することができ、IDやパスワードを用いる場合に比べてより直感的な認証が可能となる。
【0135】
ここで、上記各コンテンツ内の顔画像及び顔特徴データの検出処理は、当該コンテンツの記録時に当該記録した機器により実行され、当該検出された顔特徴データがメタデータとして当該コンテンツと共に記憶されてもよい。これにより各機器はアクセス要求に対して即座にその認証を行うことができる。
【0136】
また、コンテンツに映っているユーザのみならず、当該コンテンツの作成者もアクセスを許可されてよい。この場合、コンテンツの記録(作成)時に、当該コンテンツの作成者の顔画像から検出された顔特徴データがメタデータとして記憶される。そして、上記解析時に、コンテンツ内の顔画像の顔特徴データとの照合に加えて、当該記憶された作成者の顔画像の顔特徴データとの照合も行われる。これにより、コンテンツ作成者が、自身のコンテンツを再生できなくなる事態を防ぐことができる。
【0137】
[まとめ]
以上説明したように、本実施形態によれば、ネットワーク50上の各機器は、当該機器自身がメタデータを生成できない場合であっても、それが可能なネットワーク上の他の機器を検索してメタデータを生成させることができ、当該メタデータを種々の処理に活用することができる。
【0138】
また、各機器は、コンテンツを再生した場合に推定されるエラーレートに応じてコンテンツリスト上のサムネイル画像の状態を変化させることで、当該サムネイル画像に対応するコンテンツが円滑に再生可能か否かをユーザに直感的に把握させることができる。したがって各機器は、トラフィック状況が悪く円滑な再生ができないコンテンツをユーザが再生してしまい不快感を覚えるような事態を防ぐことができる。
【0139】
さらに、各機器は、他の機器から送信された顔画像と合致する顔画像がコンテンツに含まれている場合には、当該コンテンツが当該他の機器のユーザにより作成されたものでなくても、当該コンテンツに対する他の機器からのアクセスを許可することができる。
【0140】
[変形例]
本発明は上述の実施形態にのみ限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々変更され得る。
【0141】
上述の実施形態においては、PVR300が、他の機器に記憶されたコンテンツのメタデータの生成をPVR100へ指示する例を示したが、PVR300自身が記憶するコンテンツについて、自らPVR100との間でテストデータを送受信することで、メタデータの生成を指示してもよい。
【0142】
上述の実施形態においては、コンテンツがHDD等の記憶装置に記憶されている場合について説明されたが、例えばBDやDVD等の可般性の記録媒体に記憶されたコンテンツについても本発明を適用することができる。
【0143】
上述の実施形態において説明した各種メタデータは例示にすぎず、あらゆる動作に対応したあらゆるメタデータについて本発明を適用することができる。
【0144】
上述の実施形態においては、コンテンツリスト上におけるトラフィック状況に応じたサムネイルの表示変化処理について、コンテンツの分類処理がなされたことを前提に説明がなされたが、もちろん、コンテンツの分類処理がなされていない状態でも当該表示変化が実行されてもよい。
【0145】
上述の実施形態においては、本発明をPVRに適用した例を説明した。しかし本発明は、例えばPC(Personal Computer)、テレビジョン装置、ゲーム機器、携帯電話機、その他AV(Audio/Visual)機器等、あらゆる電子機器に適用可能である。
【符号の説明】
【0146】
7、37…再生部
8、38…HDD
11、41…通信部
12、42…CPU
14、44…RAM
15、45…操作入力部
16、46…グラフィック制御部
20…特徴抽出回路
50…ネットワーク
60…TV
73…動作モード用データ
74…処理用データ
75…エラー処理用データ
91…サムネイル
100、200、300、400、500…PVR

【特許請求の範囲】
【請求項1】
コンテンツを記憶する記憶部と、
ネットワーク上の他の機器から第1の顔画像データを受信する通信部と、
前記受信された第1の顔画像データから第1の顔特徴データを抽出し、前記記憶されたコンテンツから第2の顔画像データを検出し、当該第2の顔画像データから第2の顔特徴データを抽出し、前記第1の顔特徴データと前記第2の顔特徴データとが合致するか否かを判断し、当該第1の顔特徴データと第2の顔特徴データとが合致すると判断された場合に、前記他の機器からの前記コンテンツに対するアクセスを許可するアクセス許可データを生成する制御部と
を具備する電子機器。
【請求項2】
請求項1に記載の電子機器であって、
前記制御部は、前記コンテンツを前記記憶部に記憶する際に前記第2の顔画像データの検出及び前記第2の顔特徴データの抽出を実行し、当該第2の顔特徴データを前記コンテンツとともに前記記憶部に記憶する
電子機器。
【請求項3】
請求項2に記載の電子機器であって、
前記記憶部は、前記記憶されたコンテンツの作成者を示す第3の顔画像データ及び当該第3の顔画像データから抽出された第3の顔特徴データを前記コンテンツとともに記憶し、
前記制御部は、前記第1の顔特徴データと前記第3の顔特徴データとが合致するか否かを判断し、当該第1の顔特徴データと前記第3の顔特徴データとが合致すると判断された場合に、前記アクセス許可データを生成する
電子機器。
【請求項4】
請求項2に記載の電子機器であって、
前記制御部は、前記アクセス許可データが生成されたコンテンツのリストを生成し、前記通信部により、当該リストを前記他の機器へ送信し、当該他の機器から当該リスト上の1つのコンテンツの再生を要求する再生要求信号を受信し、当該再生要求信号に応じて当該1つのコンテンツを当該他の機器へ送信する
電子機器。
【請求項5】
コンテンツを記憶し、
ネットワーク上の他の機器から第1の顔画像データを受信し、
前記受信された第1の顔画像データから第1の顔特徴データを抽出し、
前記記憶されたコンテンツから第2の顔画像データを検出し、
前記第2の顔画像データから第2の顔特徴データを抽出し、
前記第1の顔特徴データと前記第2の顔特徴データとが合致するか否かを判断し、
前記第1の顔特徴データと第2の顔特徴データとが合致すると判断された場合に、前記他の機器からの前記コンテンツに対するアクセスを許可するアクセス許可データを生成する
アクセス制御方法。
【請求項6】
電子機器に、
コンテンツを記憶するステップと、
ネットワーク上の他の機器から第1の顔画像データを受信するステップと、
前記受信された第1の顔画像データから第1の顔特徴データを抽出するステップと、
前記記憶されたコンテンツから第2の顔画像データを検出するステップと、
前記第2の顔画像データから第2の顔特徴データを抽出するステップと、
前記第1の顔特徴データと前記第2の顔特徴データとが合致するか否かを判断するステップと、
前記第1の顔特徴データと第2の顔特徴データとが合致すると判断された場合に、前記他の機器からの前記コンテンツに対するアクセスを許可するアクセス許可データを生成するステップと
を実行させるプログラム。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate

【図9】
image rotate

【図10】
image rotate

【図11】
image rotate

【図12】
image rotate

【図13】
image rotate

【図15】
image rotate

【図16】
image rotate

【図17】
image rotate

【図18】
image rotate

【図20】
image rotate

【図22】
image rotate

【図23】
image rotate

【図14】
image rotate

【図19】
image rotate

【図21】
image rotate


【公開番号】特開2011−76551(P2011−76551A)
【公開日】平成23年4月14日(2011.4.14)
【国際特許分類】
【出願番号】特願2009−229999(P2009−229999)
【出願日】平成21年10月1日(2009.10.1)
【出願人】(000002185)ソニー株式会社 (34,172)
【Fターム(参考)】