電子機器および画像表示方法
【課題】映像コンテンツデータを再生することなく、映像コンテンツデータ全体の中のどの時間帯にどの人物がどのような順番で登場するのかをユーザに提示することが可能な電子機器を実現する。
【解決手段】2次元の顔サムネイル表示エリアは、複数の行および複数の列を含むマトリクス状に配置された複数の顔画像表示エリアを含む。複数の列それぞれには、映像コンテンツデータの総時間長を複数の列の数で等間隔に分割することによって得られる、互いに同一の時間長Tを有する複数の時間帯がそれぞれ割り当てられる。顔画像一覧表示処理部301は、顔画像それぞれに対応するタイムスタンプ情報TSに基づき、各列内に属する行数分の顔画像表示エリア上に、当該各列に割り当てられた時間帯に属する顔画像それぞれをそれら顔画像の登場時間順に並べて表示する。
【解決手段】2次元の顔サムネイル表示エリアは、複数の行および複数の列を含むマトリクス状に配置された複数の顔画像表示エリアを含む。複数の列それぞれには、映像コンテンツデータの総時間長を複数の列の数で等間隔に分割することによって得られる、互いに同一の時間長Tを有する複数の時間帯がそれぞれ割り当てられる。顔画像一覧表示処理部301は、顔画像それぞれに対応するタイムスタンプ情報TSに基づき、各列内に属する行数分の顔画像表示エリア上に、当該各列に割り当てられた時間帯に属する顔画像それぞれをそれら顔画像の登場時間順に並べて表示する。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は映像コンテンツデータに登場する顔画像を表示する電子機器および顔画像表示方法に関する。
【背景技術】
【0002】
一般に、ビデオレコーダ、パーソナルコンピュータといった電子機器は、テレビジョン放送番組データのような各種映像コンテンツデータを記録および再生することが可能である。この場合、電子機器に格納された各映像コンテンツデータにはタイトル名が付加されるが、タイトル名だけでは、ユーザが、各映像コンテンツデータがどのような内容のものであるかを把握することは困難である。このため、映像コンテンツデータの内容を把握するためには、その映像コンテンツデータを再生することが必要となる。しかし、総時間長の長い映像コンテンツデータの再生には、たとえ早送り再生機能等を用いた場合であっても、多くの時間が要される。
【0003】
特許文献1には、登場人物一覧表示機能を有する装置が開示されている。この装置は、映像コンテンツにおける登場人物の一覧として、映像コンテンツにおける登場人物それぞれの顔の画像を並べて表示する機能を有している。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開2001−309269号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかし、単純に登場人物の一覧を表示しただけでは、ユーザは、それら人物が映像コンテンツデータ内のどの辺りの時間帯に登場するのかを把握することはできない。例えば、ユーザは、ユーザにとって興味のある人物(または人物群)が登場する時間帯だけを選択的に再生することを希望する場合もある。
【0006】
したがって、映像コンテンツデータ全体の中のどの辺りの時間帯にどの人物がどのような順番で登場するのかを提示するための新たな機能の実現が必要である。
【0007】
本発明は上述の事情を考慮してなされたものであり、映像コンテンツデータを再生することなく、映像コンテンツデータ全体の中のどの辺りの時間帯にどの人物が登場するのかをユーザに提示することが可能な電子機器および画像表示方法を提供することを目的とする。
【課題を解決するための手段】
【0008】
上述の課題を解決するため、請求項1に係る本発明の電子機器は、映像コンテンツデータを構成する複数のフレームから所定の画像を抽出すると共に、抽出された各画像が登場する時点を示すタイムスタンプ情報を出力する画像抽出手段と、前記画像抽出手段によって抽出された所定の画像それぞれを用いることによって前記映像コンテンツデータに登場する所定の画像の一覧を2次元の表示エリア上に表示する画像一覧表示処理手段とを具備し、前記2次元の表示エリアは、複数の列に分けられた複数の画像表示エリアを含み、前記複数の列それぞれには、前記映像コンテンツデータの時間長と前記複数の列の数に基づいて得られる複数の時間帯がそれぞれ割り当てられており、前記画像一覧表示処理手段は、前記抽出された所定の画像それぞれに対応するタイムスタンプ情報に基づき、前記各列の画像表示エリア上に、当該各列に割り当てられた時間帯に属する所定の画像それぞれをそれら画像の登場時間順に並べて表示するように構成されていることを特徴とする。
【0009】
また、請求項10に係る本発明の画像表示方法は、映像コンテンツデータを構成する複数のフレームから所定の画像を抽出すると共に、抽出された各画像が登場する時点を示すタイムスタンプ情報を出力する画像抽出ステップと、前記画像抽出ステップによって抽出された所定の画像それぞれを用いることによって前記映像コンテンツデータに登場する所定の画像の一覧を2次元の表示エリア上に表示する画像一覧表示処理ステップとを具備し、前記2次元の表示エリアは、複数の列に分けられた複数の画像表示エリアを含み、前記複数の列それぞれには、前記映像コンテンツデータの時間長と前記複数の列の数に基づいて得られる複数の時間帯がそれぞれ割り当てられており、前記画像一覧表示処理ステップは、前記抽出された所定の画像それぞれに対応するタイムスタンプ情報に基づき、前記各列の画像表示エリア上に、当該各列に割り当てられた時間帯に属する所定の画像それぞれをそれら画像の登場時間順に並べて表示するステップを含むことを特徴とする。
【発明の効果】
【0010】
本発明によれば、映像コンテンツデータを再生することなく、映像コンテンツデータ全体の中のどの辺りの時間帯にどの人物が登場するのかをユーザに提示することが可能となる。
【図面の簡単な説明】
【0011】
【図1】本発明の一実施形態に係る電子機器の概観の例を示す斜視図。
【図2】同実施形態の電子機器のシステム構成の例を示すブロック図。
【図3】同実施形態の電子機器の顔画像一覧表示機能を説明するためのブロック図。
【図4】同実施形態の電子機器で用いられるプログラムの機能構成を示すブロック図。
【図5】同実施形態の電子機器によって表示装置に表示されるインデキシングビュー画面の例を示す図。
【図6】図5のインデキシングビュー画面内に含まれる顔サムネイル表示エリアの構成例を示す図。
【図7】図5のインデキシングビュー画面内に含まれる、顔サムネイル表示エリアとじゃばらサムネイル表示エリアとの関係を説明するための図。
【図8】同実施形態の電子機器によって実行される顔画像一覧表示処理の手順の例を示すフローチャート。
【図9】同実施形態の電子機器によって顔画像それぞれがカテゴリ別に分類された様子を示す図。
【図10】同実施形態の電子機器によって実行される再生処理の手順の例を示すフローチャート。
【図11】同実施形態の電子機器によって実行される、顔サムネイル表示エリアの行数および列数をそれぞれ変更する処理の手順の例を示すフローチャート。
【発明を実施するための形態】
【0012】
以下、図面を参照して、本発明の実施形態を説明する。
まず、図1および図2を参照して、本発明の一実施形態に係る電子機器の構成を説明する。本実施形態の電子機器は、例えば、情報処理装置として機能するノートブック型の携帯型パーソナルコンピュータ10から実現されている。
【0013】
このパーソナルコンピュータ10は、放送番組データ、外部機器から入力されるビデオデータといった映像コンテンツデータを記録および再生することができる。即ち、パーソナルコンピュータ10は、テレビジョン放送信号によって放送される放送番組データの視聴および録画を実行するためのTV機能を有している。このTV機能は、例えば、パーソナルコンピュータ10に予めインストールされているTVアプリケーションプログラムによって実現されている。また、TV機能は、外部のAV機器から入力されるビデオデータを記録する機能、および記録されたビデオデータおよび記録された放送番組データを再生する機能も有している。
【0014】
さらに、パーソナルコンピュータ10は、パーソナルコンピュータ10に格納されたビデオデータ、放送番組データのような映像コンテンツデータに登場する人物の顔画像の一覧等を表示する顔画像一覧表示機能を有している。この顔画像一覧表示機能は、例えば、TV機能内にその一機能として実装されている。顔画像一覧表示機能は、映像コンテンツデータの概要等をユーザに提示するための映像インデキシング機能の一つである。この顔画像一覧表示機能は、映像コンテンツデータ全体の中のどの時間帯にどの人物がどのような順番で登場するのかをユーザに提示することができる。
【0015】
図1はコンピュータ10のディスプレイユニットを開いた状態における斜視図である。本コンピュータ10は、コンピュータ本体11と、ディスプレイユニット12とから構成されている。ディスプレイユニット12には、TFT−LCD(Thin Film Transistor Liquid Crystal Display)17から構成される表示装置が組み込まれている。
【0016】
ディスプレイユニット12は、コンピュータ本体11に対し、コンピュータ本体11の上面が露出される開放位置とコンピュータ本体11の上面を覆う閉塞位置との間を回動自在に取り付けられている。コンピュータ本体11は薄い箱形の筐体を有しており、その上面にはキーボード13、本コンピュータ10をパワーオン/パワーオフするためのパワーボタン14、入力操作パネル15、タッチパッド16、およびスピーカ18A,18Bなどが配置されている。
【0017】
入力操作パネル15は、押されたボタンに対応するイベントを入力する入力装置であり、複数の機能をそれぞれ起動するための複数のボタンを備えている。これらボタン群には、TV機能(視聴、録画、録画された放送番組データ/ビデオデータの再生)を制御するための操作ボタン群も含まれている。また、コンピュータ本体11の正面には、本コンピュータ10のTV機能をリモート制御するリモコンユニットとの通信を実行するためのリモコンユニットインタフェース部20が設けられている。リモコンユニットインタフェース部20は、赤外線信号受信部などから構成されている。
【0018】
コンピュータ本体11の例えば右側面には、TV放送用のアンテナ端子19が設けられている。また、コンピュータ本体11の例えば背面には、例えばHDMI(high-definition multimedia interface)規格に対応した外部ディスプレイ接続端子が設けられている。この外部ディスプレイ接続端子は、放送番組データのような映像コンテンツデータに含まれる映像データ(動画像データ)を外部ディスプレイに出力するために用いられる。
【0019】
次に、図2を参照して、本コンピュータ10のシステム構成について説明する。
【0020】
本コンピュータ10は、図2に示されているように、CPU101、ノースブリッジ102、主メモリ103、サウスブリッジ104、グラフィクスプロセッシングユニット(GPU)105、ビデオメモリ(VRAM)105A、サウンドコントローラ106、BIOS−ROM109、LANコントローラ110、ハードディスクドライブ(HDD)111、DVDドライブ112、ビデオプロセッサ113、メモリ113A、カードコントローラ113、無線LANコントローラ114、IEEE 1394コントローラ115、エンベデッドコントローラ/キーボードコントローラIC(EC/KBC)116、TVチューナ117、およびEEPROM118等を備えている。
【0021】
CPU101は本コンピュータ10の動作を制御するプロセッサであり、ハードディスクドライブ(HDD)111から主メモリ103にロードされる、オペレーティングシステム(OS)201、およびTVアプリケーションプログラム202のような各種アプリケーションプログラムを実行する。TVアプリケーションプログラム202はTV機能を実行するためのソフトウェアである。このTVアプリケーションプログラム202は、TVチューナ117によって受信された放送番組データを視聴するためのライブ処理、放送番組データをHDD111に記録する録画処理、および記録された放送番組データ/ビデオデータを再生する再生処理等を実行する。また、CPU101は、BIOS−ROM109に格納されたBIOS(Basic Input Output System)も実行する。BIOSはハードウェア制御のためのプログラムである。
【0022】
ノースブリッジ102はCPU101のローカルバスとサウスブリッジ104との間を接続するブリッジデバイスである。ノースブリッジ102には、主メモリ103をアクセス制御するメモリコントローラも内蔵されている。また、ノースブリッジ102は、PCI EXPRESS規格のシリアルバスなどを介してGPU105との通信を実行する機能も有している。
【0023】
GPU105は、本コンピュータ10のディスプレイモニタとして使用されるLCD17を制御する表示コントローラである。このGPU105によって生成される表示信号はLCD17に送られる。また、GPU105は、HDMI制御回路3およびHDMI端子2を介して、外部ディスプレイ装置1にデジタル映像信号を送出することもできる。
【0024】
HDMI端子2は上述の外部ディスプレイ接続端子である。HDMI端子2は、非圧縮のデジタル映像信号と、デジタルオーディオ信号とを一本のケーブルでテレビのような外部ディスプレイ装置1に送出することができる。HDMI制御回路3は、HDMIモニタと称される外部ディスプレイ装置1にデジタル映像信号をHDMI端子2を介して送出するためのインタフェースである。
【0025】
サウスブリッジ104は、LPC(Low Pin Count)バス上の各デバイス、およびPCI(Peripheral Component Interconnect)バス上の各デバイスを制御する。また、サウスブリッジ104は、ハードディスクドライブ(HDD)111およびDVDドライブ112を制御するためのIDE(Integrated Drive Electronics)コントローラを内蔵している。さらに、サウスブリッジ104は、サウンドコントローラ106との通信を実行する機能も有している。
【0026】
またさらに、サウスブリッジ104には、PCI EXPRESS規格のシリアルバスなどを介してビデオプロセッサ113が接続されている。
【0027】
ビデオプロセッサ113は、前述の映像インデキシングに関する各種処理を実行するプロセッサである。このビデオプロセッサ113は、例えば、顔画像抽出処理を実行するための顔画像抽出部として機能する。すなわち、顔画像抽出処理においては、ビデオプロセッサ113は、映像コンテンツデータを構成する複数のフレームそれぞれから人物の顔画像を抽出すると共に、抽出された各顔画像が登場する時点を示すタイムスタンプ情報等を出力する。顔画像の抽出は、各フレームから顔領域を検出する顔検出処理、検出された顔領域をフレームから切り出す切り出し処理等によって実行される。顔領域の検出は、例えば、各フレームの画像の特徴を解析して、予め用意された顔画像特徴サンプルと類似する特徴を有する領域を探索することによって行うことができる。顔画像特徴サンプルは、多数の人物の顔画像特徴それぞれを統計的に処理することによって得られた特徴データである。メモリ113Aは、ビデオプロセッサ113の作業メモリとして用いられる。
【0028】
顔画像抽出処理を実行するためには多くの演算量が必要とされる。本実施形態においては、CPU101とは異なる専用のプロセッサであるビデオプロセッサ113がバックエンドプロセッサとして使用され、このビデオプロセッサ113によって顔画像抽出処理が実行される。よって、CPU101の負荷の増加を招くことなく、顔画像抽出処理を実行することが出来る。
【0029】
サウンドコントローラ106は音源デバイスであり、再生対象のオーディオデータをスピーカ18A,18BまたはHDMI制御回路3に出力する。
【0030】
無線LANコントローラ114は、たとえばIEEE 802.11規格の無線通信を実行する無線通信デバイスである。IEEE 1394コントローラ115は、IEEE 1394規格のシリアルバスを介して外部機器との通信を実行する。
【0031】
エンベデッドコントローラ/キーボードコントローラIC(EC/KBC)116は、電力管理のためのエンベデッドコントローラと、キーボード(KB)13およびタッチパッド16を制御するためのキーボードコントローラとが集積された1チップマイクロコンピュータである。このエンベデッドコントローラ/キーボードコントローラIC(EC/KBC)116は、ユーザによるパワーボタン14の操作に応じて本コンピュータ10をパワーオン/パワーオフする機能を有している。さらに、エンベデッドコントローラ/キーボードコントローラIC(EC/KBC)116は、リモコンユニットインタフェース20との通信を実行する機能を有している。
【0032】
TVチューナ117はテレビジョン(TV)放送信号によって放送される放送番組データを受信する受信装置であり、アンテナ端子19に接続されている。このTVチューナ117は、例えば、地上波デジタルTV放送のようなデジタル放送番組データを受信可能なデジタルTVチューナとして実現されている。また、TVチューナ117は、外部機器から入力されるビデオデータをキャプチャする機能も有している。
【0033】
次に、図3を参照して、TVアプリケーションプログラム202によって実行される顔画像一覧表示機能について説明する。
【0034】
放送番組データのような映像コンテンツデータに対する顔画像抽出処理は、上述したように、ビデオプロセッサ113によって実行される。ビデオプロセッサ113は、TVアプリケーションプログラム202の制御の下、例えば、ユーザによって指定された録画済みの放送番組データ等の映像コンテンツデータに対して顔画像抽出処理を実行する。また、ビデオプロセッサ113は、TVチューナ117によって受信された放送番組データをHDD111に格納する録画処理と並行して、当該放送番組データに対する顔画像抽出処理を実行することもできる。
【0035】
顔画像抽出処理においては、ビデオプロセッサ113は、動画像データから構成される映像コンテンツデータをフレーム単位で解析する。そして、ビデオプロセッサ113は、映像コンテンツデータを構成する複数のフレームそれぞれから人物の顔画像を抽出すると共に、抽出された各顔画像が登場する時点を示すタイムスタンプ情報を出力する。各顔画像に対応するタイムスタンプ情報としては、映像コンテンツデータの開始から当該顔画像が登場するまでの経過時間、または当該顔画像が抽出されたフレーム番号、等を使用することが出来る。
【0036】
さらに、ビデオプロセッサ113は、抽出された各顔画像のサイズ(解像度)も出力する。ビデオプロセッサ113から出力される顔検出結果データ(顔画像、タイムスタンプ情報TS、およびサイズ)は、データベース111Aにインデキシングデータとして格納される。このデータベース111Aは、HDD111内に用意されたインデキシングデータ記憶用の記憶領域である。
【0037】
さらに、ビデオプロセッサ113は、顔画像抽出処理と並行して、サムネイル画像取得処理も実行する。サムネイル画像は、映像コンテンツデータから等時間間隔で抽出された複数のフレームの各々に対応する画像(縮小画像でもよい)である。すなわち、ビデオプロセッサ113は、顔画像を含むフレームであるか否かに関係なく、映像コンテンツデータから所定の等時間間隔でフレームを抽出し、抽出した各フレームに対応する画像(サムネイル画像)と、そのサムネイル画像が出現する時点を示すタイムスタンプ情報TSとを出力する。ビデオプロセッサ113から出力されるサムネイル画像取得結果データ(サムネイル、タイムスタンプ情報TS)も、データベース111Aにインデキシングデータとして格納される。
【0038】
TVアプリケーションプログラム202は、顔画像一覧表示機能を実行するための顔画像一覧表示処理部301を含んでいる。顔画像一覧表示処理部301は、データベース111Aから顔検出結果データ(顔画像、タイムスタンプ情報TS、およびサイズ)を読み出し、そしてその顔検出結果データを用いて、映像コンテンツデータに登場する人物の顔画像の一覧を2次元の表示エリア(以下、顔サムネイル表示エリアと称する)上に表示する。この場合、顔画像一覧表示処理部301は、映像コンテンツデータの総時間長を等間隔で複数の時間帯に分割し、時間帯毎に、抽出された顔画像の内から当該時間帯に登場する顔画像を所定個選択する。そして、顔画像一覧表示処理部301は、時間帯毎に、選択した所定個の顔画像それぞれを、それら顔画像の登場時間順に並べて表示する。
【0039】
すなわち、2次元の顔サムネイル表示エリアは、複数の行および複数の列を含むマトリクス状に配置された複数の顔画像表示エリアを含む。複数の列それぞれには、映像コンテンツデータの総時間長をこれら複数の列の数で等間隔に分割することによって得られる、互いに同一の時間長を有する複数の時間帯がそれぞれ割り当てられる。顔画像一覧表示処理部301は、顔画像それぞれに対応するタイムスタンプ情報TSに基づき、各列内に属する行数分の顔画像表示エリア上に、当該各列に割り当てられた時間帯に属する顔画像それぞれをそれら顔画像の登場時間順に並べて表示する。
【0040】
この顔画像一覧表示機能により、映像コンテンツデータ全体の中のどの時間帯にどの人物がどのような順番で登場するのかをユーザに分かりやすく提示することができる。顔サムネイル表示エリアの具体的な構成例については、図5以降で後述する。
【0041】
また、顔画像一覧表示処理部301は、データベース111Aからサムネイル画像取得結果データ(サムネイル、タイムスタンプ情報TS)を読み出し、そしてそのサムネイル画像取得結果データを用いて、サムネイル画像それぞれを、顔サムネイル表示エリアの下方側または上方側の一方に配置されたサムネイル表示エリア(以下、じゃばらサムネイル表示エリアと称する)上に、それらサムネイル画像の出現時間順に一列に並べて表示する。
【0042】
映像コンテンツデータによっては、顔画像が登場しない時間帯も存在する。したがって、顔サムネイル表示エリアのみならず、サムネイル表示エリアを表示することにより、顔画像が登場しない時間帯においても、その時間帯の映像コンテンツデータの内容をユーザに提示することができる。
【0043】
次に、図4を参照して、TVアプリケーションプログラム202の機能構成を説明する。
【0044】
TVアプリケーションプログラム202は、上述の顔画像一覧表示処理部301に加え、記録処理部401、インデキシング制御部402、再生処理部403等を備えている。
【0045】
記録処理部401は、TVチューナ117によって受信された放送番組データ、または外部機器から入力されるビデオデータをHDD111に記録する記録処理を実行する。また、記録処理部401は、ユーザによって予め設定された録画予約情報(チャンネル番号、日時)によって指定される放送番組データをTVチューナ117を用いて受信し、その放送番組データをHDD111に記録する予約録画処理も実行する。
【0046】
インデキシング制御部402は、ビデオプロセッサ113を制御して、映像インデキシングのための処理(顔画像抽出処理、サムネイル画像取得処理)をビデオプロセッサ113に実行させる。ユーザは、録画対象の放送番組データ毎にインデキシング処理を実行するか否かを指定することができる。例えば、インデキシング処理の実行が指示された録画対象の放送番組データについては、その放送番組データがHDD111に記録された後に、インデキシング処理が自動的に開始される。また、ユーザは、既にHDD111に格納されている映像コンテンツデータの内から、インデキシング処理を実行すべき映像コンテンツデータを指定することもできる。
【0047】
再生処理部403は、HDD111に格納されている各映像コンテンツデータを再生する処理を実行する。また、再生処理部403は、ある映像コンテンツデータの顔画像一覧の中の一つの顔画像が選択されている状態でユーザ操作によって再生指示イベントが入力された時、選択されている顔画像が登場する時点よりも所定時間前の時点から映像コンテンツデータの再生を開始する機能を有している。
【0048】
次に、図5乃至図7を参照して、顔サムネイル表示エリアの具体的な構成について説明する。
【0049】
図5には、顔画像一覧表示処理部301によってLCD17に表示されるインデキシングビュー画面の例が示されている。このインデキシングビュー画面は、ある放送番組データをインデキシング処理することによって得られた顔画像の一覧と、サムネイル画像の一覧とを表示する。このインデキシングビュー画面には、顔画像の一覧を表示するための上述の顔サムネイル表示エリアと、サムネイル画像の一覧をじゃばら形式で表示するための上述のじゃばらサムネイル表示エリアとを含んでいる。
【0050】
ここで、じゃばら形式とは、選択されているサムネイル画像を通常サイズで表示し、他の各サムネイル画像についてはその横方向サイズを縮小して表示する表示形式である。図5においては、選択されたサムネイル画像との距離が大きいサムネイル画像ほど、その横方向サイズが縮小されている。
【0051】
図6は、顔サムネイル表示エリアの構成例が示されている。
【0052】
顔サムネイル表示エリアは、複数の行と複数の列とを含むマトリクス状に配置された複数個の顔画像表示エリアを含んでいる。図6においては、顔サムネイル表示エリアは6行×16列から構成されている。顔サムネイル表示エリアに含まれる顔画像表示エリアの数は、96個である。
【0053】
列1〜列16のそれぞれには、映像コンテンツデータの総時間長を列数(=16)で等間隔で分割することによって得られる、互いに同一の時間長Tを有する複数の時間帯がそれぞれ割り当てられる。
【0054】
例えば、映像コンテンツデータの総時間長が2時間であるならば、その2時間が16個の時間帯に等間隔で分割される。この場合、各時間帯の時間長Tは、7.5分である。例えば、列1には、先頭0:00:00から0:07:30までの時間帯が割り当てられ、列2には、0:07:30から0:15:00までの時間帯が割り当てられ、列3には、0:15:00から0:22:30までの時間帯が割り当てられる。映像コンテンツデータの総時間長に応じて、各時間帯の時間長Tは変化する。
【0055】
顔画像一覧表示処理部301は、ビデオプロセッサ113によって抽出された顔画像それぞれに対応するタイムスタンプ情報に基づき、各列内の6個の顔画像表示エリア上に、当該各列に割り当てられた時間帯に属する顔画像それぞれをそれら顔画像の登場時間順に上方から下方に向けて並べて表示する。この場合、顔画像一覧表示処理部301は、表示処理対象の列に割り当てられた時間帯に属する顔画像の内から行数分(6個)の顔画像を選択し、選択した行数分の顔画像それぞれを並べて表示する。
【0056】
このように、顔サムネイル表示エリアにおいては、左端位置(1,1)を基点とし、右端位置(6,16)を映像コンテンツデータの終端とする時間軸が用いられている。
【0057】
顔サムネイル表示エリアの各顔画像表示エリアに表示される顔画像のサイズは“大”、“中”、“小”の内からユーザが選択することができる。行と列の数は、ユーザが選択した顔画像のサイズに応じて変化される。顔画像のサイズと行と列の数との関係は、次の通りである。
【0058】
(1)“大”の場合; 3行×8列
(2)“中”の場合; 6行×16列
(3)“小”の場合: 10行×24列
“大”の場合においては、各顔画像は、例えば、180×180ピクセルのサイズで表示される。“中”の場合においては、各顔画像は、例えば、90×90ピクセルのサイズで表示される。“小”の場合においては、各顔画像は、例えば、60×60ピクセルのサイズで表示される。デフォルトの顔画像サイズは、例えば、“中”に設定されている。
【0059】
顔サムネイル表示エリア内の各顔画像は、選択されていない“標準”状態、選択されている“フォーカス”状態の2つの状態のいずれかに設定される。“フォーカス”状態の顔画像のサイズは、“標準”状態の時のサイズ(180×180、90×90、または60×60)よりも大きく設定される。図6においては、座標(1,12)の顔画像が“フォーカス”状態である場合を示している。
【0060】
じゃばらサムネイル表示エリアに表示されるサムネイル画像の枚数は、ユーザ設定に従って240枚、144枚、96枚、48枚のいずれかに設定される。デフォルトは例えば240枚である。
【0061】
サムネイル画像は、選択されていない“標準”状態、選択されている“フォーカス”状態の2つの状態のいずれかに設定される。“フォーカス”状態のサムネイル画像は、他のサムネイル画像よりも大きいサイズで表示される。
【0062】
次に、図7を参照して、顔サムネイル表示エリアとじゃばらサムネイル表示エリアとの関係について説明する。
【0063】
同一列に属する顔画像表示エリア群の集合、つまり顔サムネイル表示エリア内の個々の列を“大区間”と称する。また、“大区間”をさらに分割したものを“小区間”と称する。1つの大区間に含まれる小区間の数は、じゃばらサムネイル表示エリアに表示されるサムネイル画像の数を顔サムネイル表示エリアの列数で割った商で与えられる。例えば、顔サムネイル表示エリアが6行×16列で、じゃばらサムネイル表示エリアに表示されるサムネイル画像の数が240枚であるならば、1つの大区間に含まれる小区間の数は、15(=240÷16)となる。1つの大区間は15個の小区間を含む。換言すれば、1つの大区間に対応する時間帯には、15枚のサムネイル画像が属することになる。
【0064】
じゃばらサムネイル表示エリア上のあるサムネイル画像が選択された時、顔画像一覧表示処理部301は、選択されたサムネイル画像のタイムスタンプ情報に基づき、顔サムネイル表示エリア内の複数の列(複数の大区間)の内で、選択されたサムネイル画像が属する時間帯が割り当てられた列(大区間)を選択する。選択される大区間は、選択されたサムネイル画像を小区間として含む大区間である。そして、顔画像一覧表示処理部301は、選択した大区間を強調表示する。
【0065】
さらに、顔画像一覧表示処理部301は、選択されたサムネイル画像と選択された大区間との間を接続する縦長のバーを表示する。この縦長のバーは、選択されたサムネイル画像に対応する小区間が、選択された大区間に含まれる15個の小区間の内のどの小区間に対応するかを提示するために使用される。縦長のバーは、選択された大区間に含まれる15個の小区間の内で、選択されたサムネイル画像に対応する小区間の位置に表示される。例えば、選択されたサムネイル画像が、ある大区間に対応する時間帯に属する15枚のサムネイル画像の内の先頭の画像、つまり大区間内の先頭の小区間に対応する画像であるならば、選択されたサムネイル画像は、縦長のバーによって大区間の左端に接続される。また、例えば、選択されたサムネイル画像が、ある大区間に対応する時間帯に属する15枚のサムネイル画像の内の終端の画像、つまり大区間内の終端の小区間に対応する画像であるならば、選択されたサムネイル画像は、縦長のバーによって大区間の右端に接続される。
【0066】
このように、じゃばらサムネイル表示エリア上のサムネイル画像が選択された時には、顔サムネイル表示エリア内の複数の列の内から、選択されたサムネイル画像が属する時間帯が割り当てられている列(大区間)が自動選択される。これにより、ユーザは、選択したサムネイル画像が、顔サムネイル表示エリア内のどの列(大区間)に対応する画像であるかを識別することができる。さらに、縦長のバーにより、ユーザは、選択したサムネイル画像が、どの列(大区間)内のどの辺りの時点に対応する画像であるかも識別することができる。
【0067】
また、顔画像一覧表示処理部301は、選択されたサムネイル画像のタイムスタンプ情報に基づいて、選択されたサムネイル画像が出現する時点を示す時間情報もインデキシングビュー画面上に表示する。
【0068】
“現在位置変更”ボタンは選択されているサムネイル画像を変更するための操作ボタンである。“現在位置変更”ボタンがフォーカスされている状態でユーザが左カーソルキーまたは右カーソルキーを操作すると、選択対象のサムネイル画像は、例えば1小区間単位で、左または右に移動する。
【0069】
次に、図8のフローチャートを参照して、顔画像一覧表示処理部301によって実行される表示処理の手順を説明する。
【0070】
まず、顔画像一覧表示処理部301は、データベース111Aに格納されている顔画像それぞれを、それら顔画像に対応するタイムスタンプ情報に基づいて、それら顔画像の登場時間順にソートする(ステップS101)。次いで、顔画像一覧表示処理部301は、ユーザによって指定された顔画像のサイズに応じて行及び列の数を決定すると共に、インデキシング対象の映像コンテンツデータの総時間長を列数で均等に分割することによって、各列(大区間)に割り当てる時間帯を算出する。そして、顔画像一覧表示処理部301は、表示処理対象の列に割り当てられた時間帯内に属する顔画像の内から、行数分の顔画像を選択する(ステップS102)。表示処理対象の列に割り当てられた時間帯内に属する顔画像の数が行数よりも多い場合には、顔画像一覧表示処理部301は、例えば、登場時間の早い顔画像を優先して選択する。
【0071】
また、登場時間の早い顔画像を優先する代わりに、顔画像一覧表示処理部301は、登場頻度の高い顔画像を優先的に選択する処理を実行することもできる。
【0072】
この場合、顔画像一覧表示処理部301は、表示処理対象の列に割り当てられた時間帯に属する顔画像の内から、当該時間帯において登場する頻度の高い顔画像を優先的に選択する。例えば、ビデオプロセッサ113は、抽出した顔画像それぞれの特徴データの相関に基づいて、同一人物の顔画像それぞれを同一カテゴリーに分類することができる。この場合、図9に示すように、顔画像それぞれは、人物毎(すなわちカテゴリー毎)に分類されてデータベース111Aに格納される。図9においては、カテゴリー1は、ある人物Aの顔画像の集合を示しており、カテゴリー2は、ある人物Bの顔画像の集合を示しており、またカテゴリー3は、ある人物Bの顔画像の集合を示している。顔画像一覧表示処理部301は、登場する頻度の高い人物の顔画像を優先的に選択する。
【0073】
また、表示処理対象の列に割り当てられた時間帯内に属する顔画像の数が行数よりも多い場合、顔画像一覧表示処理部301は、データベース11Aに格納された顔画像それぞれのサイズ情報に基づいて、表示処理対象の列に割り当てられた時間帯に属する顔画像の内から、サイズの大きい顔画像を優先的に選択する処理を実行することもできる。
【0074】
クローズアップされた顔を映すフレームから抽出される顔画像のサイズは、比較的大きなものとなる。したがって、抽出された顔画像のサイズが大きいほど、重要度の高い人物である可能性が高い。よって、サイズの大きい顔画像を優先的に選択することにより、重要度の高い人物の顔画像を優先的に表示することが可能となる。
【0075】
次いで、顔画像一覧表示処理部301は、表示処理対象の列内の複数の顔画像表示エリアに、選択した顔画像それぞれを登場時間順に並べて表示する(ステップS103)。登場時間の早い顔画像ほど、上方の顔画像表示エリアに表示され、登場時間の遅い顔画像ほど、下方の顔画像表示エリアに表示される。
【0076】
ステップS102,S103の処理は、全ての列に対する処理が完了するまで、表示処理対象の列の番号を更新しながら繰り返し実行される(ステップS104,S105)。
【0077】
なお、表示処理対象の列に割り当てられた時間帯内に属する顔画像の数が行数よりも少ない場合には、対応する時間帯内に属するサムネイル画像を表示処理対象の列に表示することも出来る。
【0078】
全ての列に対する処理が完了すると(ステップS104のNO)、顔画像一覧表示処理部301は、データベース11Aに格納されているサムネイル画像それぞれを、それらサムネイル画像それぞれのタイムスタンプ情報に基づいて、じゃばらサムネイル表示エリア上にそれらサムネイル画像が出現する時間順に一列に並べて表示する(ステップS106)。
【0079】
次に、図10のフローチャートを参照して、再生処理部403によって実行される再生処理の手順を説明する。
【0080】
ユーザ操作に応じて映像コンテンツデータの再生を指示するイベントが入力された時(ステップS201のYES)、再生処理部403は、顔画像一覧表示処理部301と連携して、顔サムネイル表示エリア上のある顔画像が選択されているか否かを判定する(ステップS202)。選択されている顔画像が存在するならば(ステップS202のYES)、再生処理部403は、選択されている顔画像のタイムスタンプ情報に基づいて、選択されている顔画像が登場する時点を検出する(ステップS203)。そして、再生処理部403は、検出された時点よりも所定時間前の時点、たとえば、2秒前の時点から、映像コンテンツデータの再生を開始する(ステップS206)。
【0081】
なお、じゃばらサムネイル表示エリア上のあるサムネイル画像が選択されている状態で映像コンテンツデータの再生を指示するイベントが入力された時には、その選択されているサムネイル画像のタイムスタンプ情報に基づいて、再生処理部403は、選択されているサムネイル画像が出現する時点よりも所定時間前の時点、たとえば、2秒前の時点から、映像コンテンツデータの再生を開始する。
【0082】
次に、図11のフローチャートを参照して、ユーザによって顔画像サイズの変更が指示された場合に顔画像一覧表示処理部301によって実行される処理の手順を説明する。
【0083】
例えば、インデキシングビュー画面が表示されている状態でユーザによって顔画像サイズの変更、つまり顔画像表示エリアのサイズの変更が指示されると(ステップS301のYES)、顔画像一覧表示処理部301は、指定された変更後の顔画像サイズに応じて、顔サムネイル表示エリアの行数および列数をそれぞれ変更する(ステップS302)。そして、顔画像一覧表示処理部301は、顔サムネイル表示エリア内の列それぞれに割り当てられる時間帯を、映像コンテンツデータの総時間長と変更された列の数とに基づいて変更する(ステップS303)。ステップS303においては、顔画像一覧表示処理部301は、映像コンテンツデータの総時間長を変更後の列の数で分割することにより、各列に割り当てられる時間帯を決定する。そして、顔画像一覧表示処理部301は、各列に割り当てられる時間帯と、行の数とに基づいて、図8のステップS101〜S105で説明した顔一覧表示処理を実行する(ステップS304)。
【0084】
以上のように、本実施形態においては、インデキシングビュー画面の顔サムネイル表示エリア上に、映像コンテンツデータから取得された人物の顔画像の一覧が表示される。この場合、顔サムネイル表示エリアの横軸に沿って並んで表示される縦長の複数の列(複数の大区間)それぞれには、映像コンテンツデータの総時間長を列の数で等間隔に分割することによって得られる、互いに同一の時間長を有する複数の時間帯がそれぞれ割り当てられる。そして、各列には、当該列に割り当てられた時間帯に属する顔画像それぞれが、それら顔画像の登場時間順に並んで表示される。ある時間帯にのみ登場する人物の顔画像は、その時間帯に対応する列(大区間)にのみ表示されるが、幾つかの時間帯にそれぞれ登場する人物の顔画像は、それら幾つかの時間帯に対応する幾つかの列(大区間)それぞれに表示される。したがって、映像コンテンツデータ全体に渡って、映像コンテンツデータのどの時間帯にどの人物がどのような順番で登場するかをユーザに分かりやすく提示することが可能となる。よって、ユーザは、録画された各映像コンテンツデータを再生せずとも、各登場人物毎にその登場人物が映像コンテンツデータ全体の中のどの辺りの時間帯に登場するかを容易に把握することが出来る。
【0085】
また、本実施形態においては、各顔画像表示エリアのサイズ(顔画像表示サイズ)の変更を指示するイベントが入力された場合には、当該イベントによって指定された変更後のサイズに応じて、顔サムネイル表示エリアに含まれる列の数が自動的に変更されると共に、顔サムネイル表示エリアに含まれる列それぞれに割り当てられる時間帯も、映像コンテンツデータの総時間長と変更された列の数とに基づいて自動的に変更される。したがって、ユーザによって顔画像表示サイズが変更された場合でも、各登場人物毎に映像コンテンツデータ全体の中のどの辺りの時間帯に登場するかをユーザに提示することができる。
【0086】
また、映像コンテンツデータによっては、人物が登場しない時間帯が存在する場合がある。しかし、本実施形態においては、顔サムネイルのみならず、じゃばらサムネイルも表示されるので、人物が登場しない時間帯においても、その時間帯における映像コンテンツデータの内容をユーザに提示することができる。
【0087】
なお、本実施形態の録画予約処理の手順は全てソフトウェアによって実現することができるので、このソフトウェアをコンピュータ読み取り可能な記憶媒体を通じて通常のコンピュータに導入することにより、本実施形態と同様の効果を容易に実現することができる。
【0088】
また、本実施形態の電子機器はコンピュータ10によって実現するのみならず、例えば、HDDレコーダ、DVDレコーダ、テレビジョン装置といった様々なコンシューマ電子機器によって実現することもできる。この場合、TVアプリケーションプログラム202の機能は、DSP、マイクロコンピュータのようなハードウェアによって実現することができる。
【0089】
また、本発明は、上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。更に、異なる実施形態に構成要素を適宜組み合わせてもよい。
以下、本願原出願の特許査定時の特許請求の範囲に記載された発明を付記する。
[1] 映像コンテンツデータを構成する複数のフレームそれぞれから人物の顔画像を抽出すると共に、抽出された各顔画像が登場する時点を示すタイムスタンプ情報を出力する顔画像抽出手段と、
前記顔画像抽出手段によって抽出された顔画像それぞれを用いることによって前記映像コンテンツデータに登場する人物の顔画像の一覧を2次元の表示エリア上に表示する顔画像一覧表示処理手段とを具備し、
前記2次元の表示エリアは、複数の行および複数の列を含むマトリクス状に配置された複数の顔画像表示エリアを含み、前記複数の列それぞれには、前記映像コンテンツデータの総時間長を前記複数の列の数で等間隔に分割することによって得られる、互いに同一の時間長を有する複数の時間帯がそれぞれ割り当てられており、前記顔画像一覧表示処理手段は、前記抽出された顔画像それぞれに対応するタイムスタンプ情報に基づき、前記各列の顔画像表示エリア上に、当該各列に割り当てられた時間帯に属する顔画像それぞれをそれら顔画像の登場時間順に並べて表示するように構成されていることを特徴とする電子機器。
[2] 前記顔画像一覧表示処理手段は、前記抽出された顔画像それぞれに対応するタイムスタンプ情報に基づき、表示処理対象の列に割り当てられた時間帯に属する顔画像の内から行数分の顔画像を選択し、当該表示処理対象の列内の顔画像表示エリアそれぞれに前記選択した行数分の顔画像それぞれを、それら顔画像の登場時間順に並べて表示するように構成されていることを特徴とする[1]記載の電子機器。
[3] 前記顔画像一覧表示処理手段は、前記表示処理対象の列に割り当てられた時間帯に属する顔画像の数が前記行数よりも多い場合、前記表示処理対象の列に割り当てられた時間帯に属する顔画像の内から、当該時間帯において登場する頻度の高い顔画像を優先的に選択することを特徴とする[2]記載の電子機器。
[4] 前記顔画像一覧表示処理手段は、前記表示処理対象の列に割り当てられた時間帯に属する顔画像の数が前記行数よりも多い場合、前記表示処理対象の列に割り当てられた時間帯に属する顔画像の内から、サイズの大きい顔画像を優先的に選択することを特徴とする[2]記載の電子機器。
[5] 前記顔画像一覧表示処理手段は、前記各顔画像表示エリアのサイズの変更を指示するイベントが入力された場合、前記イベントによって指定された変更後のサイズに応じて、前記2次元の表示エリアに含まれる行および列の数をそれぞれ変更すると共に、前記2次元の表示エリアに含まれる列それぞれに割り当てられる時間帯を、前記映像コンテンツデータの総時間長と前記変更された列の数とに基づいて変更することを特徴とする[1]記載の電子機器。
[6] 前記顔画像一覧表示処理手段は、前記映像コンテンツデータから等時間間隔で抽出された複数のフレームそれぞれに対応する複数のサムネイル画像を、前記2次元の表示エリアの下方側または上方側の一方に配置されたサムネイル表示エリア上に一列に並べて表示し、前記サムネイル表示エリア上のあるサムネイル画像がユーザによって指定された場合、前記2次元の表示エリア内の複数の列の内で、前記指定されたサムネイル画像が属する時間帯が割り当てられた列を選択することを特徴とする[1]記載の電子機器。
[7] 前記2次元の表示エリアに表示された顔画像の中の一つがユーザによって選択されている状態で前記映像コンテンツデータの再生を指示するイベントが入力された場合、前記選択されている顔画像のタイムスタンプ情報に基づき、前記選択されている顔画像が登場する時点よりも所定時間前の時点から前記映像コンテンツデータの再生を開始する再生処理手段をさらに具備することを特徴とする[1]記載の電子機器。
[8] 映像コンテンツデータに登場する人物の顔画像の一覧を表示する顔画像表示方法であって、
映像コンテンツデータを構成する複数のフレームそれぞれから人物の顔画像を抽出すると共に、抽出された各顔画像が登場する時点を示すタイムスタンプ情報を出力する顔画像抽出ステップと、
前記顔画像抽出ステップによって抽出された顔画像それぞれを用いることによって前記映像コンテンツデータに登場する人物の顔画像の一覧を2次元の表示エリア上に表示する顔画像一覧表示処理ステップとを具備し、
前記2次元の表示エリアは、複数の行および複数の列を含むマトリクス状に配置された複数の顔画像表示エリアを含み、前記複数の列それぞれには、前記映像コンテンツデータの総時間長を前記複数の列の数で等間隔に分割することによって得られる、互いに同一の時間長を有する複数の時間帯がそれぞれ割り当てられており、前記顔画像一覧表示処理ステップは、前記抽出された顔画像それぞれに対応するタイムスタンプ情報に基づき、前記各列の顔画像表示エリア上に、当該各列に割り当てられた時間帯に属する顔画像それぞれをそれら顔画像の登場時間順に並べて表示するステップを含むことを特徴とする顔画像表示方法。
[9] 前記顔画像一覧表示処理ステップは、前記各顔画像表示エリアのサイズの変更を指示するイベントが入力された場合、前記イベントによって指定された変更後のサイズに応じて、前記2次元の表示エリアに含まれる行および列の数をそれぞれ変更すると共に、前記2次元の表示エリアに含まれる列それぞれに割り当てられる時間帯を、前記映像コンテンツデータの総時間長と前記変更された列の数とに基づいて変更することを特徴とする[8]記載の顔画像表示方法。
[10] 前記顔画像一覧表示処理ステップは、前記映像コンテンツデータから等時間間隔で抽出された複数のフレームそれぞれに対応する複数のサムネイル画像を、前記2次元の表示エリアの下方側または上方側の一方に配置されたサムネイル表示エリア上に一列に並べて表示し、前記サムネイル表示エリア上のあるサムネイル画像がユーザによって指定された場合、前記2次元の表示エリア内の複数の列の内で、前記指定されたサムネイル画像が属する時間帯が割り当てられた列を選択することを特徴とする[8]記載の顔画像表示方法。
【符号の説明】
【0090】
10…電子機器(コンピュータ)、113…ビデオプロセッサ、117…TVチューナ、301…顔画像一覧表示処理部、401…記録処理部、402…インデキシング制御部、403…再生処理部。
【技術分野】
【0001】
本発明は映像コンテンツデータに登場する顔画像を表示する電子機器および顔画像表示方法に関する。
【背景技術】
【0002】
一般に、ビデオレコーダ、パーソナルコンピュータといった電子機器は、テレビジョン放送番組データのような各種映像コンテンツデータを記録および再生することが可能である。この場合、電子機器に格納された各映像コンテンツデータにはタイトル名が付加されるが、タイトル名だけでは、ユーザが、各映像コンテンツデータがどのような内容のものであるかを把握することは困難である。このため、映像コンテンツデータの内容を把握するためには、その映像コンテンツデータを再生することが必要となる。しかし、総時間長の長い映像コンテンツデータの再生には、たとえ早送り再生機能等を用いた場合であっても、多くの時間が要される。
【0003】
特許文献1には、登場人物一覧表示機能を有する装置が開示されている。この装置は、映像コンテンツにおける登場人物の一覧として、映像コンテンツにおける登場人物それぞれの顔の画像を並べて表示する機能を有している。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開2001−309269号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかし、単純に登場人物の一覧を表示しただけでは、ユーザは、それら人物が映像コンテンツデータ内のどの辺りの時間帯に登場するのかを把握することはできない。例えば、ユーザは、ユーザにとって興味のある人物(または人物群)が登場する時間帯だけを選択的に再生することを希望する場合もある。
【0006】
したがって、映像コンテンツデータ全体の中のどの辺りの時間帯にどの人物がどのような順番で登場するのかを提示するための新たな機能の実現が必要である。
【0007】
本発明は上述の事情を考慮してなされたものであり、映像コンテンツデータを再生することなく、映像コンテンツデータ全体の中のどの辺りの時間帯にどの人物が登場するのかをユーザに提示することが可能な電子機器および画像表示方法を提供することを目的とする。
【課題を解決するための手段】
【0008】
上述の課題を解決するため、請求項1に係る本発明の電子機器は、映像コンテンツデータを構成する複数のフレームから所定の画像を抽出すると共に、抽出された各画像が登場する時点を示すタイムスタンプ情報を出力する画像抽出手段と、前記画像抽出手段によって抽出された所定の画像それぞれを用いることによって前記映像コンテンツデータに登場する所定の画像の一覧を2次元の表示エリア上に表示する画像一覧表示処理手段とを具備し、前記2次元の表示エリアは、複数の列に分けられた複数の画像表示エリアを含み、前記複数の列それぞれには、前記映像コンテンツデータの時間長と前記複数の列の数に基づいて得られる複数の時間帯がそれぞれ割り当てられており、前記画像一覧表示処理手段は、前記抽出された所定の画像それぞれに対応するタイムスタンプ情報に基づき、前記各列の画像表示エリア上に、当該各列に割り当てられた時間帯に属する所定の画像それぞれをそれら画像の登場時間順に並べて表示するように構成されていることを特徴とする。
【0009】
また、請求項10に係る本発明の画像表示方法は、映像コンテンツデータを構成する複数のフレームから所定の画像を抽出すると共に、抽出された各画像が登場する時点を示すタイムスタンプ情報を出力する画像抽出ステップと、前記画像抽出ステップによって抽出された所定の画像それぞれを用いることによって前記映像コンテンツデータに登場する所定の画像の一覧を2次元の表示エリア上に表示する画像一覧表示処理ステップとを具備し、前記2次元の表示エリアは、複数の列に分けられた複数の画像表示エリアを含み、前記複数の列それぞれには、前記映像コンテンツデータの時間長と前記複数の列の数に基づいて得られる複数の時間帯がそれぞれ割り当てられており、前記画像一覧表示処理ステップは、前記抽出された所定の画像それぞれに対応するタイムスタンプ情報に基づき、前記各列の画像表示エリア上に、当該各列に割り当てられた時間帯に属する所定の画像それぞれをそれら画像の登場時間順に並べて表示するステップを含むことを特徴とする。
【発明の効果】
【0010】
本発明によれば、映像コンテンツデータを再生することなく、映像コンテンツデータ全体の中のどの辺りの時間帯にどの人物が登場するのかをユーザに提示することが可能となる。
【図面の簡単な説明】
【0011】
【図1】本発明の一実施形態に係る電子機器の概観の例を示す斜視図。
【図2】同実施形態の電子機器のシステム構成の例を示すブロック図。
【図3】同実施形態の電子機器の顔画像一覧表示機能を説明するためのブロック図。
【図4】同実施形態の電子機器で用いられるプログラムの機能構成を示すブロック図。
【図5】同実施形態の電子機器によって表示装置に表示されるインデキシングビュー画面の例を示す図。
【図6】図5のインデキシングビュー画面内に含まれる顔サムネイル表示エリアの構成例を示す図。
【図7】図5のインデキシングビュー画面内に含まれる、顔サムネイル表示エリアとじゃばらサムネイル表示エリアとの関係を説明するための図。
【図8】同実施形態の電子機器によって実行される顔画像一覧表示処理の手順の例を示すフローチャート。
【図9】同実施形態の電子機器によって顔画像それぞれがカテゴリ別に分類された様子を示す図。
【図10】同実施形態の電子機器によって実行される再生処理の手順の例を示すフローチャート。
【図11】同実施形態の電子機器によって実行される、顔サムネイル表示エリアの行数および列数をそれぞれ変更する処理の手順の例を示すフローチャート。
【発明を実施するための形態】
【0012】
以下、図面を参照して、本発明の実施形態を説明する。
まず、図1および図2を参照して、本発明の一実施形態に係る電子機器の構成を説明する。本実施形態の電子機器は、例えば、情報処理装置として機能するノートブック型の携帯型パーソナルコンピュータ10から実現されている。
【0013】
このパーソナルコンピュータ10は、放送番組データ、外部機器から入力されるビデオデータといった映像コンテンツデータを記録および再生することができる。即ち、パーソナルコンピュータ10は、テレビジョン放送信号によって放送される放送番組データの視聴および録画を実行するためのTV機能を有している。このTV機能は、例えば、パーソナルコンピュータ10に予めインストールされているTVアプリケーションプログラムによって実現されている。また、TV機能は、外部のAV機器から入力されるビデオデータを記録する機能、および記録されたビデオデータおよび記録された放送番組データを再生する機能も有している。
【0014】
さらに、パーソナルコンピュータ10は、パーソナルコンピュータ10に格納されたビデオデータ、放送番組データのような映像コンテンツデータに登場する人物の顔画像の一覧等を表示する顔画像一覧表示機能を有している。この顔画像一覧表示機能は、例えば、TV機能内にその一機能として実装されている。顔画像一覧表示機能は、映像コンテンツデータの概要等をユーザに提示するための映像インデキシング機能の一つである。この顔画像一覧表示機能は、映像コンテンツデータ全体の中のどの時間帯にどの人物がどのような順番で登場するのかをユーザに提示することができる。
【0015】
図1はコンピュータ10のディスプレイユニットを開いた状態における斜視図である。本コンピュータ10は、コンピュータ本体11と、ディスプレイユニット12とから構成されている。ディスプレイユニット12には、TFT−LCD(Thin Film Transistor Liquid Crystal Display)17から構成される表示装置が組み込まれている。
【0016】
ディスプレイユニット12は、コンピュータ本体11に対し、コンピュータ本体11の上面が露出される開放位置とコンピュータ本体11の上面を覆う閉塞位置との間を回動自在に取り付けられている。コンピュータ本体11は薄い箱形の筐体を有しており、その上面にはキーボード13、本コンピュータ10をパワーオン/パワーオフするためのパワーボタン14、入力操作パネル15、タッチパッド16、およびスピーカ18A,18Bなどが配置されている。
【0017】
入力操作パネル15は、押されたボタンに対応するイベントを入力する入力装置であり、複数の機能をそれぞれ起動するための複数のボタンを備えている。これらボタン群には、TV機能(視聴、録画、録画された放送番組データ/ビデオデータの再生)を制御するための操作ボタン群も含まれている。また、コンピュータ本体11の正面には、本コンピュータ10のTV機能をリモート制御するリモコンユニットとの通信を実行するためのリモコンユニットインタフェース部20が設けられている。リモコンユニットインタフェース部20は、赤外線信号受信部などから構成されている。
【0018】
コンピュータ本体11の例えば右側面には、TV放送用のアンテナ端子19が設けられている。また、コンピュータ本体11の例えば背面には、例えばHDMI(high-definition multimedia interface)規格に対応した外部ディスプレイ接続端子が設けられている。この外部ディスプレイ接続端子は、放送番組データのような映像コンテンツデータに含まれる映像データ(動画像データ)を外部ディスプレイに出力するために用いられる。
【0019】
次に、図2を参照して、本コンピュータ10のシステム構成について説明する。
【0020】
本コンピュータ10は、図2に示されているように、CPU101、ノースブリッジ102、主メモリ103、サウスブリッジ104、グラフィクスプロセッシングユニット(GPU)105、ビデオメモリ(VRAM)105A、サウンドコントローラ106、BIOS−ROM109、LANコントローラ110、ハードディスクドライブ(HDD)111、DVDドライブ112、ビデオプロセッサ113、メモリ113A、カードコントローラ113、無線LANコントローラ114、IEEE 1394コントローラ115、エンベデッドコントローラ/キーボードコントローラIC(EC/KBC)116、TVチューナ117、およびEEPROM118等を備えている。
【0021】
CPU101は本コンピュータ10の動作を制御するプロセッサであり、ハードディスクドライブ(HDD)111から主メモリ103にロードされる、オペレーティングシステム(OS)201、およびTVアプリケーションプログラム202のような各種アプリケーションプログラムを実行する。TVアプリケーションプログラム202はTV機能を実行するためのソフトウェアである。このTVアプリケーションプログラム202は、TVチューナ117によって受信された放送番組データを視聴するためのライブ処理、放送番組データをHDD111に記録する録画処理、および記録された放送番組データ/ビデオデータを再生する再生処理等を実行する。また、CPU101は、BIOS−ROM109に格納されたBIOS(Basic Input Output System)も実行する。BIOSはハードウェア制御のためのプログラムである。
【0022】
ノースブリッジ102はCPU101のローカルバスとサウスブリッジ104との間を接続するブリッジデバイスである。ノースブリッジ102には、主メモリ103をアクセス制御するメモリコントローラも内蔵されている。また、ノースブリッジ102は、PCI EXPRESS規格のシリアルバスなどを介してGPU105との通信を実行する機能も有している。
【0023】
GPU105は、本コンピュータ10のディスプレイモニタとして使用されるLCD17を制御する表示コントローラである。このGPU105によって生成される表示信号はLCD17に送られる。また、GPU105は、HDMI制御回路3およびHDMI端子2を介して、外部ディスプレイ装置1にデジタル映像信号を送出することもできる。
【0024】
HDMI端子2は上述の外部ディスプレイ接続端子である。HDMI端子2は、非圧縮のデジタル映像信号と、デジタルオーディオ信号とを一本のケーブルでテレビのような外部ディスプレイ装置1に送出することができる。HDMI制御回路3は、HDMIモニタと称される外部ディスプレイ装置1にデジタル映像信号をHDMI端子2を介して送出するためのインタフェースである。
【0025】
サウスブリッジ104は、LPC(Low Pin Count)バス上の各デバイス、およびPCI(Peripheral Component Interconnect)バス上の各デバイスを制御する。また、サウスブリッジ104は、ハードディスクドライブ(HDD)111およびDVDドライブ112を制御するためのIDE(Integrated Drive Electronics)コントローラを内蔵している。さらに、サウスブリッジ104は、サウンドコントローラ106との通信を実行する機能も有している。
【0026】
またさらに、サウスブリッジ104には、PCI EXPRESS規格のシリアルバスなどを介してビデオプロセッサ113が接続されている。
【0027】
ビデオプロセッサ113は、前述の映像インデキシングに関する各種処理を実行するプロセッサである。このビデオプロセッサ113は、例えば、顔画像抽出処理を実行するための顔画像抽出部として機能する。すなわち、顔画像抽出処理においては、ビデオプロセッサ113は、映像コンテンツデータを構成する複数のフレームそれぞれから人物の顔画像を抽出すると共に、抽出された各顔画像が登場する時点を示すタイムスタンプ情報等を出力する。顔画像の抽出は、各フレームから顔領域を検出する顔検出処理、検出された顔領域をフレームから切り出す切り出し処理等によって実行される。顔領域の検出は、例えば、各フレームの画像の特徴を解析して、予め用意された顔画像特徴サンプルと類似する特徴を有する領域を探索することによって行うことができる。顔画像特徴サンプルは、多数の人物の顔画像特徴それぞれを統計的に処理することによって得られた特徴データである。メモリ113Aは、ビデオプロセッサ113の作業メモリとして用いられる。
【0028】
顔画像抽出処理を実行するためには多くの演算量が必要とされる。本実施形態においては、CPU101とは異なる専用のプロセッサであるビデオプロセッサ113がバックエンドプロセッサとして使用され、このビデオプロセッサ113によって顔画像抽出処理が実行される。よって、CPU101の負荷の増加を招くことなく、顔画像抽出処理を実行することが出来る。
【0029】
サウンドコントローラ106は音源デバイスであり、再生対象のオーディオデータをスピーカ18A,18BまたはHDMI制御回路3に出力する。
【0030】
無線LANコントローラ114は、たとえばIEEE 802.11規格の無線通信を実行する無線通信デバイスである。IEEE 1394コントローラ115は、IEEE 1394規格のシリアルバスを介して外部機器との通信を実行する。
【0031】
エンベデッドコントローラ/キーボードコントローラIC(EC/KBC)116は、電力管理のためのエンベデッドコントローラと、キーボード(KB)13およびタッチパッド16を制御するためのキーボードコントローラとが集積された1チップマイクロコンピュータである。このエンベデッドコントローラ/キーボードコントローラIC(EC/KBC)116は、ユーザによるパワーボタン14の操作に応じて本コンピュータ10をパワーオン/パワーオフする機能を有している。さらに、エンベデッドコントローラ/キーボードコントローラIC(EC/KBC)116は、リモコンユニットインタフェース20との通信を実行する機能を有している。
【0032】
TVチューナ117はテレビジョン(TV)放送信号によって放送される放送番組データを受信する受信装置であり、アンテナ端子19に接続されている。このTVチューナ117は、例えば、地上波デジタルTV放送のようなデジタル放送番組データを受信可能なデジタルTVチューナとして実現されている。また、TVチューナ117は、外部機器から入力されるビデオデータをキャプチャする機能も有している。
【0033】
次に、図3を参照して、TVアプリケーションプログラム202によって実行される顔画像一覧表示機能について説明する。
【0034】
放送番組データのような映像コンテンツデータに対する顔画像抽出処理は、上述したように、ビデオプロセッサ113によって実行される。ビデオプロセッサ113は、TVアプリケーションプログラム202の制御の下、例えば、ユーザによって指定された録画済みの放送番組データ等の映像コンテンツデータに対して顔画像抽出処理を実行する。また、ビデオプロセッサ113は、TVチューナ117によって受信された放送番組データをHDD111に格納する録画処理と並行して、当該放送番組データに対する顔画像抽出処理を実行することもできる。
【0035】
顔画像抽出処理においては、ビデオプロセッサ113は、動画像データから構成される映像コンテンツデータをフレーム単位で解析する。そして、ビデオプロセッサ113は、映像コンテンツデータを構成する複数のフレームそれぞれから人物の顔画像を抽出すると共に、抽出された各顔画像が登場する時点を示すタイムスタンプ情報を出力する。各顔画像に対応するタイムスタンプ情報としては、映像コンテンツデータの開始から当該顔画像が登場するまでの経過時間、または当該顔画像が抽出されたフレーム番号、等を使用することが出来る。
【0036】
さらに、ビデオプロセッサ113は、抽出された各顔画像のサイズ(解像度)も出力する。ビデオプロセッサ113から出力される顔検出結果データ(顔画像、タイムスタンプ情報TS、およびサイズ)は、データベース111Aにインデキシングデータとして格納される。このデータベース111Aは、HDD111内に用意されたインデキシングデータ記憶用の記憶領域である。
【0037】
さらに、ビデオプロセッサ113は、顔画像抽出処理と並行して、サムネイル画像取得処理も実行する。サムネイル画像は、映像コンテンツデータから等時間間隔で抽出された複数のフレームの各々に対応する画像(縮小画像でもよい)である。すなわち、ビデオプロセッサ113は、顔画像を含むフレームであるか否かに関係なく、映像コンテンツデータから所定の等時間間隔でフレームを抽出し、抽出した各フレームに対応する画像(サムネイル画像)と、そのサムネイル画像が出現する時点を示すタイムスタンプ情報TSとを出力する。ビデオプロセッサ113から出力されるサムネイル画像取得結果データ(サムネイル、タイムスタンプ情報TS)も、データベース111Aにインデキシングデータとして格納される。
【0038】
TVアプリケーションプログラム202は、顔画像一覧表示機能を実行するための顔画像一覧表示処理部301を含んでいる。顔画像一覧表示処理部301は、データベース111Aから顔検出結果データ(顔画像、タイムスタンプ情報TS、およびサイズ)を読み出し、そしてその顔検出結果データを用いて、映像コンテンツデータに登場する人物の顔画像の一覧を2次元の表示エリア(以下、顔サムネイル表示エリアと称する)上に表示する。この場合、顔画像一覧表示処理部301は、映像コンテンツデータの総時間長を等間隔で複数の時間帯に分割し、時間帯毎に、抽出された顔画像の内から当該時間帯に登場する顔画像を所定個選択する。そして、顔画像一覧表示処理部301は、時間帯毎に、選択した所定個の顔画像それぞれを、それら顔画像の登場時間順に並べて表示する。
【0039】
すなわち、2次元の顔サムネイル表示エリアは、複数の行および複数の列を含むマトリクス状に配置された複数の顔画像表示エリアを含む。複数の列それぞれには、映像コンテンツデータの総時間長をこれら複数の列の数で等間隔に分割することによって得られる、互いに同一の時間長を有する複数の時間帯がそれぞれ割り当てられる。顔画像一覧表示処理部301は、顔画像それぞれに対応するタイムスタンプ情報TSに基づき、各列内に属する行数分の顔画像表示エリア上に、当該各列に割り当てられた時間帯に属する顔画像それぞれをそれら顔画像の登場時間順に並べて表示する。
【0040】
この顔画像一覧表示機能により、映像コンテンツデータ全体の中のどの時間帯にどの人物がどのような順番で登場するのかをユーザに分かりやすく提示することができる。顔サムネイル表示エリアの具体的な構成例については、図5以降で後述する。
【0041】
また、顔画像一覧表示処理部301は、データベース111Aからサムネイル画像取得結果データ(サムネイル、タイムスタンプ情報TS)を読み出し、そしてそのサムネイル画像取得結果データを用いて、サムネイル画像それぞれを、顔サムネイル表示エリアの下方側または上方側の一方に配置されたサムネイル表示エリア(以下、じゃばらサムネイル表示エリアと称する)上に、それらサムネイル画像の出現時間順に一列に並べて表示する。
【0042】
映像コンテンツデータによっては、顔画像が登場しない時間帯も存在する。したがって、顔サムネイル表示エリアのみならず、サムネイル表示エリアを表示することにより、顔画像が登場しない時間帯においても、その時間帯の映像コンテンツデータの内容をユーザに提示することができる。
【0043】
次に、図4を参照して、TVアプリケーションプログラム202の機能構成を説明する。
【0044】
TVアプリケーションプログラム202は、上述の顔画像一覧表示処理部301に加え、記録処理部401、インデキシング制御部402、再生処理部403等を備えている。
【0045】
記録処理部401は、TVチューナ117によって受信された放送番組データ、または外部機器から入力されるビデオデータをHDD111に記録する記録処理を実行する。また、記録処理部401は、ユーザによって予め設定された録画予約情報(チャンネル番号、日時)によって指定される放送番組データをTVチューナ117を用いて受信し、その放送番組データをHDD111に記録する予約録画処理も実行する。
【0046】
インデキシング制御部402は、ビデオプロセッサ113を制御して、映像インデキシングのための処理(顔画像抽出処理、サムネイル画像取得処理)をビデオプロセッサ113に実行させる。ユーザは、録画対象の放送番組データ毎にインデキシング処理を実行するか否かを指定することができる。例えば、インデキシング処理の実行が指示された録画対象の放送番組データについては、その放送番組データがHDD111に記録された後に、インデキシング処理が自動的に開始される。また、ユーザは、既にHDD111に格納されている映像コンテンツデータの内から、インデキシング処理を実行すべき映像コンテンツデータを指定することもできる。
【0047】
再生処理部403は、HDD111に格納されている各映像コンテンツデータを再生する処理を実行する。また、再生処理部403は、ある映像コンテンツデータの顔画像一覧の中の一つの顔画像が選択されている状態でユーザ操作によって再生指示イベントが入力された時、選択されている顔画像が登場する時点よりも所定時間前の時点から映像コンテンツデータの再生を開始する機能を有している。
【0048】
次に、図5乃至図7を参照して、顔サムネイル表示エリアの具体的な構成について説明する。
【0049】
図5には、顔画像一覧表示処理部301によってLCD17に表示されるインデキシングビュー画面の例が示されている。このインデキシングビュー画面は、ある放送番組データをインデキシング処理することによって得られた顔画像の一覧と、サムネイル画像の一覧とを表示する。このインデキシングビュー画面には、顔画像の一覧を表示するための上述の顔サムネイル表示エリアと、サムネイル画像の一覧をじゃばら形式で表示するための上述のじゃばらサムネイル表示エリアとを含んでいる。
【0050】
ここで、じゃばら形式とは、選択されているサムネイル画像を通常サイズで表示し、他の各サムネイル画像についてはその横方向サイズを縮小して表示する表示形式である。図5においては、選択されたサムネイル画像との距離が大きいサムネイル画像ほど、その横方向サイズが縮小されている。
【0051】
図6は、顔サムネイル表示エリアの構成例が示されている。
【0052】
顔サムネイル表示エリアは、複数の行と複数の列とを含むマトリクス状に配置された複数個の顔画像表示エリアを含んでいる。図6においては、顔サムネイル表示エリアは6行×16列から構成されている。顔サムネイル表示エリアに含まれる顔画像表示エリアの数は、96個である。
【0053】
列1〜列16のそれぞれには、映像コンテンツデータの総時間長を列数(=16)で等間隔で分割することによって得られる、互いに同一の時間長Tを有する複数の時間帯がそれぞれ割り当てられる。
【0054】
例えば、映像コンテンツデータの総時間長が2時間であるならば、その2時間が16個の時間帯に等間隔で分割される。この場合、各時間帯の時間長Tは、7.5分である。例えば、列1には、先頭0:00:00から0:07:30までの時間帯が割り当てられ、列2には、0:07:30から0:15:00までの時間帯が割り当てられ、列3には、0:15:00から0:22:30までの時間帯が割り当てられる。映像コンテンツデータの総時間長に応じて、各時間帯の時間長Tは変化する。
【0055】
顔画像一覧表示処理部301は、ビデオプロセッサ113によって抽出された顔画像それぞれに対応するタイムスタンプ情報に基づき、各列内の6個の顔画像表示エリア上に、当該各列に割り当てられた時間帯に属する顔画像それぞれをそれら顔画像の登場時間順に上方から下方に向けて並べて表示する。この場合、顔画像一覧表示処理部301は、表示処理対象の列に割り当てられた時間帯に属する顔画像の内から行数分(6個)の顔画像を選択し、選択した行数分の顔画像それぞれを並べて表示する。
【0056】
このように、顔サムネイル表示エリアにおいては、左端位置(1,1)を基点とし、右端位置(6,16)を映像コンテンツデータの終端とする時間軸が用いられている。
【0057】
顔サムネイル表示エリアの各顔画像表示エリアに表示される顔画像のサイズは“大”、“中”、“小”の内からユーザが選択することができる。行と列の数は、ユーザが選択した顔画像のサイズに応じて変化される。顔画像のサイズと行と列の数との関係は、次の通りである。
【0058】
(1)“大”の場合; 3行×8列
(2)“中”の場合; 6行×16列
(3)“小”の場合: 10行×24列
“大”の場合においては、各顔画像は、例えば、180×180ピクセルのサイズで表示される。“中”の場合においては、各顔画像は、例えば、90×90ピクセルのサイズで表示される。“小”の場合においては、各顔画像は、例えば、60×60ピクセルのサイズで表示される。デフォルトの顔画像サイズは、例えば、“中”に設定されている。
【0059】
顔サムネイル表示エリア内の各顔画像は、選択されていない“標準”状態、選択されている“フォーカス”状態の2つの状態のいずれかに設定される。“フォーカス”状態の顔画像のサイズは、“標準”状態の時のサイズ(180×180、90×90、または60×60)よりも大きく設定される。図6においては、座標(1,12)の顔画像が“フォーカス”状態である場合を示している。
【0060】
じゃばらサムネイル表示エリアに表示されるサムネイル画像の枚数は、ユーザ設定に従って240枚、144枚、96枚、48枚のいずれかに設定される。デフォルトは例えば240枚である。
【0061】
サムネイル画像は、選択されていない“標準”状態、選択されている“フォーカス”状態の2つの状態のいずれかに設定される。“フォーカス”状態のサムネイル画像は、他のサムネイル画像よりも大きいサイズで表示される。
【0062】
次に、図7を参照して、顔サムネイル表示エリアとじゃばらサムネイル表示エリアとの関係について説明する。
【0063】
同一列に属する顔画像表示エリア群の集合、つまり顔サムネイル表示エリア内の個々の列を“大区間”と称する。また、“大区間”をさらに分割したものを“小区間”と称する。1つの大区間に含まれる小区間の数は、じゃばらサムネイル表示エリアに表示されるサムネイル画像の数を顔サムネイル表示エリアの列数で割った商で与えられる。例えば、顔サムネイル表示エリアが6行×16列で、じゃばらサムネイル表示エリアに表示されるサムネイル画像の数が240枚であるならば、1つの大区間に含まれる小区間の数は、15(=240÷16)となる。1つの大区間は15個の小区間を含む。換言すれば、1つの大区間に対応する時間帯には、15枚のサムネイル画像が属することになる。
【0064】
じゃばらサムネイル表示エリア上のあるサムネイル画像が選択された時、顔画像一覧表示処理部301は、選択されたサムネイル画像のタイムスタンプ情報に基づき、顔サムネイル表示エリア内の複数の列(複数の大区間)の内で、選択されたサムネイル画像が属する時間帯が割り当てられた列(大区間)を選択する。選択される大区間は、選択されたサムネイル画像を小区間として含む大区間である。そして、顔画像一覧表示処理部301は、選択した大区間を強調表示する。
【0065】
さらに、顔画像一覧表示処理部301は、選択されたサムネイル画像と選択された大区間との間を接続する縦長のバーを表示する。この縦長のバーは、選択されたサムネイル画像に対応する小区間が、選択された大区間に含まれる15個の小区間の内のどの小区間に対応するかを提示するために使用される。縦長のバーは、選択された大区間に含まれる15個の小区間の内で、選択されたサムネイル画像に対応する小区間の位置に表示される。例えば、選択されたサムネイル画像が、ある大区間に対応する時間帯に属する15枚のサムネイル画像の内の先頭の画像、つまり大区間内の先頭の小区間に対応する画像であるならば、選択されたサムネイル画像は、縦長のバーによって大区間の左端に接続される。また、例えば、選択されたサムネイル画像が、ある大区間に対応する時間帯に属する15枚のサムネイル画像の内の終端の画像、つまり大区間内の終端の小区間に対応する画像であるならば、選択されたサムネイル画像は、縦長のバーによって大区間の右端に接続される。
【0066】
このように、じゃばらサムネイル表示エリア上のサムネイル画像が選択された時には、顔サムネイル表示エリア内の複数の列の内から、選択されたサムネイル画像が属する時間帯が割り当てられている列(大区間)が自動選択される。これにより、ユーザは、選択したサムネイル画像が、顔サムネイル表示エリア内のどの列(大区間)に対応する画像であるかを識別することができる。さらに、縦長のバーにより、ユーザは、選択したサムネイル画像が、どの列(大区間)内のどの辺りの時点に対応する画像であるかも識別することができる。
【0067】
また、顔画像一覧表示処理部301は、選択されたサムネイル画像のタイムスタンプ情報に基づいて、選択されたサムネイル画像が出現する時点を示す時間情報もインデキシングビュー画面上に表示する。
【0068】
“現在位置変更”ボタンは選択されているサムネイル画像を変更するための操作ボタンである。“現在位置変更”ボタンがフォーカスされている状態でユーザが左カーソルキーまたは右カーソルキーを操作すると、選択対象のサムネイル画像は、例えば1小区間単位で、左または右に移動する。
【0069】
次に、図8のフローチャートを参照して、顔画像一覧表示処理部301によって実行される表示処理の手順を説明する。
【0070】
まず、顔画像一覧表示処理部301は、データベース111Aに格納されている顔画像それぞれを、それら顔画像に対応するタイムスタンプ情報に基づいて、それら顔画像の登場時間順にソートする(ステップS101)。次いで、顔画像一覧表示処理部301は、ユーザによって指定された顔画像のサイズに応じて行及び列の数を決定すると共に、インデキシング対象の映像コンテンツデータの総時間長を列数で均等に分割することによって、各列(大区間)に割り当てる時間帯を算出する。そして、顔画像一覧表示処理部301は、表示処理対象の列に割り当てられた時間帯内に属する顔画像の内から、行数分の顔画像を選択する(ステップS102)。表示処理対象の列に割り当てられた時間帯内に属する顔画像の数が行数よりも多い場合には、顔画像一覧表示処理部301は、例えば、登場時間の早い顔画像を優先して選択する。
【0071】
また、登場時間の早い顔画像を優先する代わりに、顔画像一覧表示処理部301は、登場頻度の高い顔画像を優先的に選択する処理を実行することもできる。
【0072】
この場合、顔画像一覧表示処理部301は、表示処理対象の列に割り当てられた時間帯に属する顔画像の内から、当該時間帯において登場する頻度の高い顔画像を優先的に選択する。例えば、ビデオプロセッサ113は、抽出した顔画像それぞれの特徴データの相関に基づいて、同一人物の顔画像それぞれを同一カテゴリーに分類することができる。この場合、図9に示すように、顔画像それぞれは、人物毎(すなわちカテゴリー毎)に分類されてデータベース111Aに格納される。図9においては、カテゴリー1は、ある人物Aの顔画像の集合を示しており、カテゴリー2は、ある人物Bの顔画像の集合を示しており、またカテゴリー3は、ある人物Bの顔画像の集合を示している。顔画像一覧表示処理部301は、登場する頻度の高い人物の顔画像を優先的に選択する。
【0073】
また、表示処理対象の列に割り当てられた時間帯内に属する顔画像の数が行数よりも多い場合、顔画像一覧表示処理部301は、データベース11Aに格納された顔画像それぞれのサイズ情報に基づいて、表示処理対象の列に割り当てられた時間帯に属する顔画像の内から、サイズの大きい顔画像を優先的に選択する処理を実行することもできる。
【0074】
クローズアップされた顔を映すフレームから抽出される顔画像のサイズは、比較的大きなものとなる。したがって、抽出された顔画像のサイズが大きいほど、重要度の高い人物である可能性が高い。よって、サイズの大きい顔画像を優先的に選択することにより、重要度の高い人物の顔画像を優先的に表示することが可能となる。
【0075】
次いで、顔画像一覧表示処理部301は、表示処理対象の列内の複数の顔画像表示エリアに、選択した顔画像それぞれを登場時間順に並べて表示する(ステップS103)。登場時間の早い顔画像ほど、上方の顔画像表示エリアに表示され、登場時間の遅い顔画像ほど、下方の顔画像表示エリアに表示される。
【0076】
ステップS102,S103の処理は、全ての列に対する処理が完了するまで、表示処理対象の列の番号を更新しながら繰り返し実行される(ステップS104,S105)。
【0077】
なお、表示処理対象の列に割り当てられた時間帯内に属する顔画像の数が行数よりも少ない場合には、対応する時間帯内に属するサムネイル画像を表示処理対象の列に表示することも出来る。
【0078】
全ての列に対する処理が完了すると(ステップS104のNO)、顔画像一覧表示処理部301は、データベース11Aに格納されているサムネイル画像それぞれを、それらサムネイル画像それぞれのタイムスタンプ情報に基づいて、じゃばらサムネイル表示エリア上にそれらサムネイル画像が出現する時間順に一列に並べて表示する(ステップS106)。
【0079】
次に、図10のフローチャートを参照して、再生処理部403によって実行される再生処理の手順を説明する。
【0080】
ユーザ操作に応じて映像コンテンツデータの再生を指示するイベントが入力された時(ステップS201のYES)、再生処理部403は、顔画像一覧表示処理部301と連携して、顔サムネイル表示エリア上のある顔画像が選択されているか否かを判定する(ステップS202)。選択されている顔画像が存在するならば(ステップS202のYES)、再生処理部403は、選択されている顔画像のタイムスタンプ情報に基づいて、選択されている顔画像が登場する時点を検出する(ステップS203)。そして、再生処理部403は、検出された時点よりも所定時間前の時点、たとえば、2秒前の時点から、映像コンテンツデータの再生を開始する(ステップS206)。
【0081】
なお、じゃばらサムネイル表示エリア上のあるサムネイル画像が選択されている状態で映像コンテンツデータの再生を指示するイベントが入力された時には、その選択されているサムネイル画像のタイムスタンプ情報に基づいて、再生処理部403は、選択されているサムネイル画像が出現する時点よりも所定時間前の時点、たとえば、2秒前の時点から、映像コンテンツデータの再生を開始する。
【0082】
次に、図11のフローチャートを参照して、ユーザによって顔画像サイズの変更が指示された場合に顔画像一覧表示処理部301によって実行される処理の手順を説明する。
【0083】
例えば、インデキシングビュー画面が表示されている状態でユーザによって顔画像サイズの変更、つまり顔画像表示エリアのサイズの変更が指示されると(ステップS301のYES)、顔画像一覧表示処理部301は、指定された変更後の顔画像サイズに応じて、顔サムネイル表示エリアの行数および列数をそれぞれ変更する(ステップS302)。そして、顔画像一覧表示処理部301は、顔サムネイル表示エリア内の列それぞれに割り当てられる時間帯を、映像コンテンツデータの総時間長と変更された列の数とに基づいて変更する(ステップS303)。ステップS303においては、顔画像一覧表示処理部301は、映像コンテンツデータの総時間長を変更後の列の数で分割することにより、各列に割り当てられる時間帯を決定する。そして、顔画像一覧表示処理部301は、各列に割り当てられる時間帯と、行の数とに基づいて、図8のステップS101〜S105で説明した顔一覧表示処理を実行する(ステップS304)。
【0084】
以上のように、本実施形態においては、インデキシングビュー画面の顔サムネイル表示エリア上に、映像コンテンツデータから取得された人物の顔画像の一覧が表示される。この場合、顔サムネイル表示エリアの横軸に沿って並んで表示される縦長の複数の列(複数の大区間)それぞれには、映像コンテンツデータの総時間長を列の数で等間隔に分割することによって得られる、互いに同一の時間長を有する複数の時間帯がそれぞれ割り当てられる。そして、各列には、当該列に割り当てられた時間帯に属する顔画像それぞれが、それら顔画像の登場時間順に並んで表示される。ある時間帯にのみ登場する人物の顔画像は、その時間帯に対応する列(大区間)にのみ表示されるが、幾つかの時間帯にそれぞれ登場する人物の顔画像は、それら幾つかの時間帯に対応する幾つかの列(大区間)それぞれに表示される。したがって、映像コンテンツデータ全体に渡って、映像コンテンツデータのどの時間帯にどの人物がどのような順番で登場するかをユーザに分かりやすく提示することが可能となる。よって、ユーザは、録画された各映像コンテンツデータを再生せずとも、各登場人物毎にその登場人物が映像コンテンツデータ全体の中のどの辺りの時間帯に登場するかを容易に把握することが出来る。
【0085】
また、本実施形態においては、各顔画像表示エリアのサイズ(顔画像表示サイズ)の変更を指示するイベントが入力された場合には、当該イベントによって指定された変更後のサイズに応じて、顔サムネイル表示エリアに含まれる列の数が自動的に変更されると共に、顔サムネイル表示エリアに含まれる列それぞれに割り当てられる時間帯も、映像コンテンツデータの総時間長と変更された列の数とに基づいて自動的に変更される。したがって、ユーザによって顔画像表示サイズが変更された場合でも、各登場人物毎に映像コンテンツデータ全体の中のどの辺りの時間帯に登場するかをユーザに提示することができる。
【0086】
また、映像コンテンツデータによっては、人物が登場しない時間帯が存在する場合がある。しかし、本実施形態においては、顔サムネイルのみならず、じゃばらサムネイルも表示されるので、人物が登場しない時間帯においても、その時間帯における映像コンテンツデータの内容をユーザに提示することができる。
【0087】
なお、本実施形態の録画予約処理の手順は全てソフトウェアによって実現することができるので、このソフトウェアをコンピュータ読み取り可能な記憶媒体を通じて通常のコンピュータに導入することにより、本実施形態と同様の効果を容易に実現することができる。
【0088】
また、本実施形態の電子機器はコンピュータ10によって実現するのみならず、例えば、HDDレコーダ、DVDレコーダ、テレビジョン装置といった様々なコンシューマ電子機器によって実現することもできる。この場合、TVアプリケーションプログラム202の機能は、DSP、マイクロコンピュータのようなハードウェアによって実現することができる。
【0089】
また、本発明は、上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。更に、異なる実施形態に構成要素を適宜組み合わせてもよい。
以下、本願原出願の特許査定時の特許請求の範囲に記載された発明を付記する。
[1] 映像コンテンツデータを構成する複数のフレームそれぞれから人物の顔画像を抽出すると共に、抽出された各顔画像が登場する時点を示すタイムスタンプ情報を出力する顔画像抽出手段と、
前記顔画像抽出手段によって抽出された顔画像それぞれを用いることによって前記映像コンテンツデータに登場する人物の顔画像の一覧を2次元の表示エリア上に表示する顔画像一覧表示処理手段とを具備し、
前記2次元の表示エリアは、複数の行および複数の列を含むマトリクス状に配置された複数の顔画像表示エリアを含み、前記複数の列それぞれには、前記映像コンテンツデータの総時間長を前記複数の列の数で等間隔に分割することによって得られる、互いに同一の時間長を有する複数の時間帯がそれぞれ割り当てられており、前記顔画像一覧表示処理手段は、前記抽出された顔画像それぞれに対応するタイムスタンプ情報に基づき、前記各列の顔画像表示エリア上に、当該各列に割り当てられた時間帯に属する顔画像それぞれをそれら顔画像の登場時間順に並べて表示するように構成されていることを特徴とする電子機器。
[2] 前記顔画像一覧表示処理手段は、前記抽出された顔画像それぞれに対応するタイムスタンプ情報に基づき、表示処理対象の列に割り当てられた時間帯に属する顔画像の内から行数分の顔画像を選択し、当該表示処理対象の列内の顔画像表示エリアそれぞれに前記選択した行数分の顔画像それぞれを、それら顔画像の登場時間順に並べて表示するように構成されていることを特徴とする[1]記載の電子機器。
[3] 前記顔画像一覧表示処理手段は、前記表示処理対象の列に割り当てられた時間帯に属する顔画像の数が前記行数よりも多い場合、前記表示処理対象の列に割り当てられた時間帯に属する顔画像の内から、当該時間帯において登場する頻度の高い顔画像を優先的に選択することを特徴とする[2]記載の電子機器。
[4] 前記顔画像一覧表示処理手段は、前記表示処理対象の列に割り当てられた時間帯に属する顔画像の数が前記行数よりも多い場合、前記表示処理対象の列に割り当てられた時間帯に属する顔画像の内から、サイズの大きい顔画像を優先的に選択することを特徴とする[2]記載の電子機器。
[5] 前記顔画像一覧表示処理手段は、前記各顔画像表示エリアのサイズの変更を指示するイベントが入力された場合、前記イベントによって指定された変更後のサイズに応じて、前記2次元の表示エリアに含まれる行および列の数をそれぞれ変更すると共に、前記2次元の表示エリアに含まれる列それぞれに割り当てられる時間帯を、前記映像コンテンツデータの総時間長と前記変更された列の数とに基づいて変更することを特徴とする[1]記載の電子機器。
[6] 前記顔画像一覧表示処理手段は、前記映像コンテンツデータから等時間間隔で抽出された複数のフレームそれぞれに対応する複数のサムネイル画像を、前記2次元の表示エリアの下方側または上方側の一方に配置されたサムネイル表示エリア上に一列に並べて表示し、前記サムネイル表示エリア上のあるサムネイル画像がユーザによって指定された場合、前記2次元の表示エリア内の複数の列の内で、前記指定されたサムネイル画像が属する時間帯が割り当てられた列を選択することを特徴とする[1]記載の電子機器。
[7] 前記2次元の表示エリアに表示された顔画像の中の一つがユーザによって選択されている状態で前記映像コンテンツデータの再生を指示するイベントが入力された場合、前記選択されている顔画像のタイムスタンプ情報に基づき、前記選択されている顔画像が登場する時点よりも所定時間前の時点から前記映像コンテンツデータの再生を開始する再生処理手段をさらに具備することを特徴とする[1]記載の電子機器。
[8] 映像コンテンツデータに登場する人物の顔画像の一覧を表示する顔画像表示方法であって、
映像コンテンツデータを構成する複数のフレームそれぞれから人物の顔画像を抽出すると共に、抽出された各顔画像が登場する時点を示すタイムスタンプ情報を出力する顔画像抽出ステップと、
前記顔画像抽出ステップによって抽出された顔画像それぞれを用いることによって前記映像コンテンツデータに登場する人物の顔画像の一覧を2次元の表示エリア上に表示する顔画像一覧表示処理ステップとを具備し、
前記2次元の表示エリアは、複数の行および複数の列を含むマトリクス状に配置された複数の顔画像表示エリアを含み、前記複数の列それぞれには、前記映像コンテンツデータの総時間長を前記複数の列の数で等間隔に分割することによって得られる、互いに同一の時間長を有する複数の時間帯がそれぞれ割り当てられており、前記顔画像一覧表示処理ステップは、前記抽出された顔画像それぞれに対応するタイムスタンプ情報に基づき、前記各列の顔画像表示エリア上に、当該各列に割り当てられた時間帯に属する顔画像それぞれをそれら顔画像の登場時間順に並べて表示するステップを含むことを特徴とする顔画像表示方法。
[9] 前記顔画像一覧表示処理ステップは、前記各顔画像表示エリアのサイズの変更を指示するイベントが入力された場合、前記イベントによって指定された変更後のサイズに応じて、前記2次元の表示エリアに含まれる行および列の数をそれぞれ変更すると共に、前記2次元の表示エリアに含まれる列それぞれに割り当てられる時間帯を、前記映像コンテンツデータの総時間長と前記変更された列の数とに基づいて変更することを特徴とする[8]記載の顔画像表示方法。
[10] 前記顔画像一覧表示処理ステップは、前記映像コンテンツデータから等時間間隔で抽出された複数のフレームそれぞれに対応する複数のサムネイル画像を、前記2次元の表示エリアの下方側または上方側の一方に配置されたサムネイル表示エリア上に一列に並べて表示し、前記サムネイル表示エリア上のあるサムネイル画像がユーザによって指定された場合、前記2次元の表示エリア内の複数の列の内で、前記指定されたサムネイル画像が属する時間帯が割り当てられた列を選択することを特徴とする[8]記載の顔画像表示方法。
【符号の説明】
【0090】
10…電子機器(コンピュータ)、113…ビデオプロセッサ、117…TVチューナ、301…顔画像一覧表示処理部、401…記録処理部、402…インデキシング制御部、403…再生処理部。
【特許請求の範囲】
【請求項1】
映像コンテンツデータを構成する複数のフレームから所定の画像を抽出すると共に、抽出された各画像が登場する時点を示すタイムスタンプ情報を出力する画像抽出手段と、
前記画像抽出手段によって抽出された所定の画像それぞれを用いることによって前記映像コンテンツデータに登場する所定の画像の一覧を2次元の表示エリア上に表示する画像一覧表示処理手段とを具備し、
前記2次元の表示エリアは、複数の列に分けられた複数の画像表示エリアを含み、前記複数の列それぞれには、前記映像コンテンツデータの時間長と前記複数の列の数に基づいて得られる複数の時間帯がそれぞれ割り当てられており、前記画像一覧表示処理手段は、前記抽出された所定の画像それぞれに対応するタイムスタンプ情報に基づき、前記各列の画像表示エリア上に、当該各列に割り当てられた時間帯に属する所定の画像それぞれをそれら画像の登場時間順に並べて表示するように構成されていることを特徴とする電子機器。
【請求項2】
前記所定の画像は人物の顔画像であり、前記映像コンテンツデータに登場する人物の顔画像の一覧が前記2次元の表示エリア上に表示されることを特徴とする請求項1記載の電子機器。
【請求項3】
前記複数の画像表示エリアは、複数の行および前記複数の列を含むマトリクス状に配置された複数の顔画像表示エリアであり、
前記画像一覧表示処理手段は、前記抽出された顔画像それぞれに対応するタイムスタンプ情報に基づき、前記各列の顔画像表示エリア上に、当該各列に割り当てられた時間帯に属する顔画像それぞれをそれら顔画像の登場時間順に並べて表示するように構成されている請求項2記載の電子機器。
【請求項4】
前記画像一覧表示処理手段は、前記抽出された顔画像それぞれに対応するタイムスタンプ情報に基づき、表示処理対象の列に割り当てられた時間帯に属する顔画像の内から行数分の顔画像を選択し、当該表示処理対象の列内の顔画像表示エリアそれぞれに前記選択した行数分の顔画像それぞれを、それら顔画像の登場時間順に並べて表示するように構成されていることを特徴とする請求項3記載の電子機器。
【請求項5】
前記画像一覧表示処理手段は、前記表示処理対象の列に割り当てられた時間帯に属する顔画像の数が前記行数よりも多い場合、前記表示処理対象の列に割り当てられた時間帯に属する顔画像の内から、当該時間帯において登場する頻度の高い顔画像を優先的に選択することを特徴とする請求項4記載の電子機器。
【請求項6】
前記画像一覧表示処理手段は、前記表示処理対象の列に割り当てられた時間帯に属する顔画像の数が前記行数よりも多い場合、前記表示処理対象の列に割り当てられた時間帯に属する顔画像の内から、サイズの大きい顔画像を優先的に選択することを特徴とする請求項4記載の電子機器。
【請求項7】
前記画像一覧表示処理手段は、前記各顔画像表示エリアのサイズの変更を指示するイベントが入力された場合、前記イベントによって指定された変更後のサイズに応じて、前記2次元の表示エリアに含まれる行および列の数をそれぞれ変更すると共に、前記2次元の表示エリアに含まれる列それぞれに割り当てられる時間帯を、前記映像コンテンツデータの時間長と前記変更された列の数とに基づいて変更することを特徴とする請求項3記載の電子機器。
【請求項8】
前記画像一覧表示処理手段は、前記映像コンテンツデータから等時間間隔で抽出された複数のフレームそれぞれに対応する複数のサムネイル画像を、前記2次元の表示エリアの下方側または上方側の一方に配置されたサムネイル表示エリア上に一列に並べて表示し、前記サムネイル表示エリア上のあるサムネイル画像がユーザによって指定された場合、前記2次元の表示エリア内の複数の列の内で、前記指定されたサムネイル画像が属する時間帯が割り当てられた列を選択することを特徴とする請求項3記載の電子機器。
【請求項9】
前記2次元の表示エリアに表示された顔画像の中の一つがユーザによって選択されている状態で前記映像コンテンツデータの再生を指示するイベントが入力された場合、前記選択されている顔画像のタイムスタンプ情報に基づき、前記選択されている顔画像が登場する時点よりも所定時間前の時点から前記映像コンテンツデータの再生を開始する再生処理手段をさらに具備することを特徴とする請求項3記載の電子機器。
【請求項10】
映像コンテンツデータを構成する複数のフレームから所定の画像を抽出すると共に、抽出された各画像が登場する時点を示すタイムスタンプ情報を出力する画像抽出ステップと、
前記画像抽出ステップによって抽出された所定の画像それぞれを用いることによって前記映像コンテンツデータに登場する所定の画像の一覧を2次元の表示エリア上に表示する画像一覧表示処理ステップとを具備し、
前記2次元の表示エリアは、複数の列に分けられた複数の画像表示エリアを含み、前記複数の列それぞれには、前記映像コンテンツデータの時間長と前記複数の列の数に基づいて得られる複数の時間帯がそれぞれ割り当てられており、前記画像一覧表示処理ステップは、前記抽出された所定の画像それぞれに対応するタイムスタンプ情報に基づき、前記各列の画像表示エリア上に、当該各列に割り当てられた時間帯に属する所定の画像それぞれをそれら画像の登場時間順に並べて表示するステップを含むことを特徴とする画像表示方法。
【請求項11】
前記所定の画像は人物の顔画像であり、前記映像コンテンツデータに登場する人物の顔画像の一覧が前記2次元の表示エリア上に表示されることを特徴とする請求項10記載の画像表示方法。
【請求項12】
前記複数の画像表示エリアは、複数の行および前記複数の列を含むマトリクス状に配置された複数の顔画像表示エリアであり、
前記画像一覧表示処理ステップは、前記抽出された顔画像それぞれに対応するタイムスタンプ情報に基づき、前記各列の顔画像表示エリア上に、当該各列に割り当てられた時間帯に属する顔画像それぞれをそれら顔画像の登場時間順に並べて表示するように構成されている請求項11記載の画像表示方法。
【請求項13】
映像コンテンツデータを構成する複数のフレームから所定の画像を抽出すると共に、抽出された各画像が登場する時点を示すタイムスタンプ情報を出力する画像抽出手順と、
前記画像抽出手順によって抽出された所定の画像それぞれを用いることによって前記映像コンテンツデータに登場する所定の画像の一覧を2次元の表示エリア上に表示する画像一覧表示処理手順とをコンピュータに実行させるプログラムであって、
前記2次元の表示エリアは、複数の列に分けられた複数の画像表示エリアを含み、前記複数の列それぞれには、前記映像コンテンツデータの時間長と前記複数の列の数に基づいて得られる複数の時間帯がそれぞれ割り当てられており、前記画像一覧表示処理手順は、前記抽出された所定の画像それぞれに対応するタイムスタンプ情報に基づき、前記各列の画像表示エリア上に、当該各列に割り当てられた時間帯に属する所定の画像それぞれをそれら画像の登場時間順に並べて表示する手順を含むことを特徴とするプログラム。
【請求項14】
前記所定の画像は人物の顔画像であり、前記映像コンテンツデータに登場する人物の顔画像の一覧が前記2次元の表示エリア上に表示されることを特徴とする請求項13記載のプログラム。
【請求項15】
前記複数の画像表示エリアは、複数の行および前記複数の列を含むマトリクス状に配置された複数の顔画像表示エリアであり、
前記画像一覧表示処理手順は、前記抽出された顔画像それぞれに対応するタイムスタンプ情報に基づき、前記各列の顔画像表示エリア上に、当該各列に割り当てられた時間帯に属する顔画像それぞれをそれら顔画像の登場時間順に並べて表示する請求項14記載のプログラム。
【請求項1】
映像コンテンツデータを構成する複数のフレームから所定の画像を抽出すると共に、抽出された各画像が登場する時点を示すタイムスタンプ情報を出力する画像抽出手段と、
前記画像抽出手段によって抽出された所定の画像それぞれを用いることによって前記映像コンテンツデータに登場する所定の画像の一覧を2次元の表示エリア上に表示する画像一覧表示処理手段とを具備し、
前記2次元の表示エリアは、複数の列に分けられた複数の画像表示エリアを含み、前記複数の列それぞれには、前記映像コンテンツデータの時間長と前記複数の列の数に基づいて得られる複数の時間帯がそれぞれ割り当てられており、前記画像一覧表示処理手段は、前記抽出された所定の画像それぞれに対応するタイムスタンプ情報に基づき、前記各列の画像表示エリア上に、当該各列に割り当てられた時間帯に属する所定の画像それぞれをそれら画像の登場時間順に並べて表示するように構成されていることを特徴とする電子機器。
【請求項2】
前記所定の画像は人物の顔画像であり、前記映像コンテンツデータに登場する人物の顔画像の一覧が前記2次元の表示エリア上に表示されることを特徴とする請求項1記載の電子機器。
【請求項3】
前記複数の画像表示エリアは、複数の行および前記複数の列を含むマトリクス状に配置された複数の顔画像表示エリアであり、
前記画像一覧表示処理手段は、前記抽出された顔画像それぞれに対応するタイムスタンプ情報に基づき、前記各列の顔画像表示エリア上に、当該各列に割り当てられた時間帯に属する顔画像それぞれをそれら顔画像の登場時間順に並べて表示するように構成されている請求項2記載の電子機器。
【請求項4】
前記画像一覧表示処理手段は、前記抽出された顔画像それぞれに対応するタイムスタンプ情報に基づき、表示処理対象の列に割り当てられた時間帯に属する顔画像の内から行数分の顔画像を選択し、当該表示処理対象の列内の顔画像表示エリアそれぞれに前記選択した行数分の顔画像それぞれを、それら顔画像の登場時間順に並べて表示するように構成されていることを特徴とする請求項3記載の電子機器。
【請求項5】
前記画像一覧表示処理手段は、前記表示処理対象の列に割り当てられた時間帯に属する顔画像の数が前記行数よりも多い場合、前記表示処理対象の列に割り当てられた時間帯に属する顔画像の内から、当該時間帯において登場する頻度の高い顔画像を優先的に選択することを特徴とする請求項4記載の電子機器。
【請求項6】
前記画像一覧表示処理手段は、前記表示処理対象の列に割り当てられた時間帯に属する顔画像の数が前記行数よりも多い場合、前記表示処理対象の列に割り当てられた時間帯に属する顔画像の内から、サイズの大きい顔画像を優先的に選択することを特徴とする請求項4記載の電子機器。
【請求項7】
前記画像一覧表示処理手段は、前記各顔画像表示エリアのサイズの変更を指示するイベントが入力された場合、前記イベントによって指定された変更後のサイズに応じて、前記2次元の表示エリアに含まれる行および列の数をそれぞれ変更すると共に、前記2次元の表示エリアに含まれる列それぞれに割り当てられる時間帯を、前記映像コンテンツデータの時間長と前記変更された列の数とに基づいて変更することを特徴とする請求項3記載の電子機器。
【請求項8】
前記画像一覧表示処理手段は、前記映像コンテンツデータから等時間間隔で抽出された複数のフレームそれぞれに対応する複数のサムネイル画像を、前記2次元の表示エリアの下方側または上方側の一方に配置されたサムネイル表示エリア上に一列に並べて表示し、前記サムネイル表示エリア上のあるサムネイル画像がユーザによって指定された場合、前記2次元の表示エリア内の複数の列の内で、前記指定されたサムネイル画像が属する時間帯が割り当てられた列を選択することを特徴とする請求項3記載の電子機器。
【請求項9】
前記2次元の表示エリアに表示された顔画像の中の一つがユーザによって選択されている状態で前記映像コンテンツデータの再生を指示するイベントが入力された場合、前記選択されている顔画像のタイムスタンプ情報に基づき、前記選択されている顔画像が登場する時点よりも所定時間前の時点から前記映像コンテンツデータの再生を開始する再生処理手段をさらに具備することを特徴とする請求項3記載の電子機器。
【請求項10】
映像コンテンツデータを構成する複数のフレームから所定の画像を抽出すると共に、抽出された各画像が登場する時点を示すタイムスタンプ情報を出力する画像抽出ステップと、
前記画像抽出ステップによって抽出された所定の画像それぞれを用いることによって前記映像コンテンツデータに登場する所定の画像の一覧を2次元の表示エリア上に表示する画像一覧表示処理ステップとを具備し、
前記2次元の表示エリアは、複数の列に分けられた複数の画像表示エリアを含み、前記複数の列それぞれには、前記映像コンテンツデータの時間長と前記複数の列の数に基づいて得られる複数の時間帯がそれぞれ割り当てられており、前記画像一覧表示処理ステップは、前記抽出された所定の画像それぞれに対応するタイムスタンプ情報に基づき、前記各列の画像表示エリア上に、当該各列に割り当てられた時間帯に属する所定の画像それぞれをそれら画像の登場時間順に並べて表示するステップを含むことを特徴とする画像表示方法。
【請求項11】
前記所定の画像は人物の顔画像であり、前記映像コンテンツデータに登場する人物の顔画像の一覧が前記2次元の表示エリア上に表示されることを特徴とする請求項10記載の画像表示方法。
【請求項12】
前記複数の画像表示エリアは、複数の行および前記複数の列を含むマトリクス状に配置された複数の顔画像表示エリアであり、
前記画像一覧表示処理ステップは、前記抽出された顔画像それぞれに対応するタイムスタンプ情報に基づき、前記各列の顔画像表示エリア上に、当該各列に割り当てられた時間帯に属する顔画像それぞれをそれら顔画像の登場時間順に並べて表示するように構成されている請求項11記載の画像表示方法。
【請求項13】
映像コンテンツデータを構成する複数のフレームから所定の画像を抽出すると共に、抽出された各画像が登場する時点を示すタイムスタンプ情報を出力する画像抽出手順と、
前記画像抽出手順によって抽出された所定の画像それぞれを用いることによって前記映像コンテンツデータに登場する所定の画像の一覧を2次元の表示エリア上に表示する画像一覧表示処理手順とをコンピュータに実行させるプログラムであって、
前記2次元の表示エリアは、複数の列に分けられた複数の画像表示エリアを含み、前記複数の列それぞれには、前記映像コンテンツデータの時間長と前記複数の列の数に基づいて得られる複数の時間帯がそれぞれ割り当てられており、前記画像一覧表示処理手順は、前記抽出された所定の画像それぞれに対応するタイムスタンプ情報に基づき、前記各列の画像表示エリア上に、当該各列に割り当てられた時間帯に属する所定の画像それぞれをそれら画像の登場時間順に並べて表示する手順を含むことを特徴とするプログラム。
【請求項14】
前記所定の画像は人物の顔画像であり、前記映像コンテンツデータに登場する人物の顔画像の一覧が前記2次元の表示エリア上に表示されることを特徴とする請求項13記載のプログラム。
【請求項15】
前記複数の画像表示エリアは、複数の行および前記複数の列を含むマトリクス状に配置された複数の顔画像表示エリアであり、
前記画像一覧表示処理手順は、前記抽出された顔画像それぞれに対応するタイムスタンプ情報に基づき、前記各列の顔画像表示エリア上に、当該各列に割り当てられた時間帯に属する顔画像それぞれをそれら顔画像の登場時間順に並べて表示する請求項14記載のプログラム。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【公開番号】特開2011−205704(P2011−205704A)
【公開日】平成23年10月13日(2011.10.13)
【国際特許分類】
【出願番号】特願2011−152059(P2011−152059)
【出願日】平成23年7月8日(2011.7.8)
【分割の表示】特願2007−202321(P2007−202321)の分割
【原出願日】平成19年8月2日(2007.8.2)
【出願人】(000003078)株式会社東芝 (54,554)
【Fターム(参考)】
【公開日】平成23年10月13日(2011.10.13)
【国際特許分類】
【出願日】平成23年7月8日(2011.7.8)
【分割の表示】特願2007−202321(P2007−202321)の分割
【原出願日】平成19年8月2日(2007.8.2)
【出願人】(000003078)株式会社東芝 (54,554)
【Fターム(参考)】
[ Back to top ]