オーサリング装置、オーサリング方法およびプログラム
【課題】 用意された映像コンテンツデータから、光ディスクに格納される、映像コンテンツを再生するためのデータをユーザの意図するチャプタの付与を行い容易に作成することが可能なオーサリング装置およびオーサリング方法を提供する。
【解決手段】 映像コンテンツに含まれる動画像データから複数の顔画像を抽出する顔画像インデクシング情報取得モジュール３０１と、顔インクキシング情報記憶・表示する顔インクキシング情報記憶・表示モジュール３０２と、チャプタ情報を生成するチャプタ情報生成モジュール３０３と、メニュー情報データを作成するメニュー情報データ作成モジュール３０４と、光ディスク３２０に書き込むためのデータを作成する変換モジュール３０５と、光ディスク３２０に書き込み処理を行う書き込み処理モジュール３０６を備えている。
【解決手段】 映像コンテンツに含まれる動画像データから複数の顔画像を抽出する顔画像インデクシング情報取得モジュール３０１と、顔インクキシング情報記憶・表示する顔インクキシング情報記憶・表示モジュール３０２と、チャプタ情報を生成するチャプタ情報生成モジュール３０３と、メニュー情報データを作成するメニュー情報データ作成モジュール３０４と、光ディスク３２０に書き込むためのデータを作成する変換モジュール３０５と、光ディスク３２０に書き込み処理を行う書き込み処理モジュール３０６を備えている。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、映像データから光ディスクに格納するためのデータを作成するオーサリング装置、オーサリング方法およびプログラムに関する。
【背景技術】
【０００２】
映像コンテンツデータを光ディスク等の記録媒体に格納する場合、映像コンテンツデータの任意の箇所にチャプタを付与し、付与されたチャプタを選択することにより映像コンテンツデータの所望の箇所にジャンプすることができる。このようなチャプタの付与は、映像コンテンツデータを編集する場合に付与されるが、煩雑な作業となる。このため、例えば、特許文献１には、所定の時間毎に自動的にチャプタの付与を行うオーサリングアプリケーションの技術が開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００４−２７４１７１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
所定の時間毎に自動的にチャプタの付与を行うオーサリングアプリケーションにおいては、自動でチャプタの付与はされるものの、機械的に所定の時間間隔でチャプタの付与を行うため、必ずしもユーザの意図するシーン、すなわち、ジャンプしてすぐに閲覧したいシーンでない場合がある。
【０００５】
本発明の目的は、映像データから、光ディスクに格納されるデータをユーザの意図するチャプタの付与を好適に行うことが可能なオーサリング装置およびオーサリング方法を提供することにある。
【課題を解決するための手段】
【０００６】
上記目的を達成するために、本発明の一態様によれば、映像データから、光ディスクに格納されるデータを作成するオーサリング装置であって、前記映像データから抽出された複数の顔画像を、抽出された各顔画像が前記映像データ内に登場する時点を示すタイムスタンプ情報と関連づけて記憶する記憶手段と、記憶された各顔画像を一覧表示する表示処理手段と、前記表示処理手段によって一覧表示された各顔画像のうち１つの顔画像が選択される場合、選択される顔画像に関連づけられたタイムスタンプ情報に基づいてチャプタ情報を生成するチャプタ生成手段と、前記生成手段によって生成されるチャプタ情報に基づいて、選択された顔画像が登場するチャプタにジャンプするためのボタンに当該選択された顔画像を用いたメニュー画面を表示画面上に表示するためのメニュー画面データを作成するメニュー画面データ作成手段と、前記映像データの情報および前記メニュー画面データ作成手段が作成したメニュー画面を表示画面上に表示するためのメニュー画面データを含む光ディスクに書き込むためのデータを作成する手段とを備えることを特徴とするオーサリング装置が提供される。
【０００７】
また、本発明の一態様によれば、映像データから、光ディスクに格納されるデータを作成するオーサリング方法であって、前記映像データから抽出された複数の顔画像に、抽出された各顔画像が前記映像データ内に登場する時点を示すタイムスタンプ情報を関連づけて記憶部に記憶し、記憶された各顔画像を一覧表示し、一覧表示された各顔画像のうち１つの顔画像が選択される場合、選択される顔画像に関連づけられたタイムスタンプ情報に基づいてチャプタ情報を生成し、生成されるチャプタ情報に基づいて、選択された顔画像が登場するチャプタにジャンプするためのボタンに当該選択された顔画像を用いたメニュー画面を表示画面上に表示するためのメニュー画面データを作成し、前記映像データの情報およびメニュー画面を表示画面上に表示するためのメニュー画面データを含む光ディスクに書き込むためのデータを作成することを特徴とするオーサリング方法が提供される。
【０００８】
さらに、本発明の一態様によれば、映像データから、光ディスクに格納されるデータを作成するプログラムであって、前記映像データから抽出された複数の顔画像に、抽出された各顔画像が前記映像データ内に登場する時点を示すタイムスタンプ情報を関連づけて記憶する記憶手順と、記憶された各顔画像を一覧表示する表示手順と、一覧表示された各顔画像のうち１つの顔画像が選択される場合、選択される顔画像に関連づけられたタイムスタンプ情報に基づいてチャプタ情報を生成する生成手順と、生成されるチャプタ情報に基づいて、選択された顔画像が登場するチャプタにジャンプするためのボタンに当該選択された顔画像を用いたメニュー画面を表示画面上に表示するためのメニュー画面データを作成するメニュー画面データ作成手順と、前記映像データの情報およびメニュー画面を表示画面上に表示するためのメニュー画面データを含む光ディスクに書き込むためのデータを作成する作成手順と、をコンピュータに実行させるプログラムが提供される。
【発明の効果】
【０００９】
本発明によれば、映像データから、光ディスクに格納されるデータをユーザの意図するチャプタの付与を好適に行うことが可能になる。
【図面の簡単な説明】
【００１０】
【図１】本発明の一実施形態に係るオーサリング装置の概観の例を示す斜視図。
【図２】同実施形態のオーサリング装置のシステム構成の例を示すブロック図。
【図３】同実施形態のオーサリング装置の顔画像抽出機能を説明するためのブロック図。
【図４】同実施形態のオーサリング処理の概念を示す図。
【図５】同実施形態のオーサリングアプリケーションプログラムの構成を示すブロック図。
【図６】映像コンテンツデータのオーサリング処理画面の一例を示す図。
【図７】メニュー画面の一例を示す図。
【図８】映像コンテンツデータ取得画面の一例を示す図。
【図９】チャプタ情報の概念を示す図。
【図１０】ＤＶＤ−Ｖｉｄｅｏ形式の映像コンテンツデータを作成する手順を示すフローチャート。
【発明を実施するための形態】
【００１１】
以下、図面を参照して、本発明の実施形態を説明する。
まず、図１および図２を参照して、本発明の一実施形態に係る電子機器の構成を説明する。本実施形態の電子機器は、例えば、情報処理装置として機能するノートブック型の携帯型パーソナルコンピュータ１０から実現されている。
【００１２】
このパーソナルコンピュータ１０は、放送番組データ、外部ＡＶ（オーディオビジュアル）機器から入力されるビデオデータといった、映像コンテンツデータ（オーディオビジュアルコンテンツデータ）を記録、編集および再生することができる。例えば、パーソナルコンピュータ１０は、テレビジョン放送信号によって放送される放送番組データの視聴、録画、編集および再生を実行するためのテレビジョン（ＴＶ）機能を有している。このＴＶ機能は、例えば、パーソナルコンピュータ１０に予めインストールされているＴＶアプリケーションプログラムによって実現されている。また、ＴＶ機能は、外部のＡＶ機器から入力されるビデオデータを記録する機能、および記録されたビデオデータおよび記録された放送番組データを編集、再生する機能も有している。
【００１３】
さらに、パーソナルコンピュータ１０は、パーソナルコンピュータ１０に格納されたビデオデータ、放送番組データのような映像コンテンツデータに登場する人物の顔画像を検出し（顔画像インデクシング（indexing）機能（映像内容解析機能）：後述）、検出された顔画像の一覧等を表示する顔画像一覧表示機能を有している。この顔画像一覧表示機能は、例えば、ＴＶ機能内にその一機能として実装されている。顔画像一覧表示機能は、映像コンテンツデータの概要等をユーザに提示するための映像インデクシング機能の一つである。この顔画像一覧表示機能は、映像コンテンツデータ全体の中のどの時間帯にどの人物が登場するのかをユーザに提示することができる。また、一覧表示された顔画像からユーザが選択した顔画像に該当するシーンをチャプタ情報として記憶し、このチャプタ情報を用いてチャプタを付与した映像コンテンツデータをコンピュータ１０が備えるオーサリング機能により光ディスク等の記録媒体に格納することができる。さらに、この顔画像一覧表示機能は、動画像（映像コンテンツデータ）の解析を行い、同一人物を１つのグループとして登録するグループ化機能を備えている。
【００１４】
図１はコンピュータ１０のディスプレイユニットを開いた状態における斜視図である。本コンピュータ１０は、コンピュータ本体１１と、ディスプレイユニット１２とから構成されている。ディスプレイユニット１２には、ＴＦＴ−ＬＣＤ（Thin Film Transistor Liquid Crystal Display）１７から構成される表示装置が組み込まれている。
【００１５】
ディスプレイユニット１２は、コンピュータ本体１１に対し、コンピュータ本体１１の上面が露出される開放位置とコンピュータ本体１１の上面を覆う閉塞位置との間を回動自在に取り付けられている。コンピュータ本体１１は薄い箱形の筐体を有しており、その上面にはキーボード１３、本コンピュータ１０をパワーオン／パワーオフするためのパワーボタン１４、入力操作パネル１５、タッチパッド１６、およびスピーカ１８Ａ，１８Ｂなどが配置されている。
【００１６】
入力操作パネル１５は、押されたボタンに対応するイベントを入力する入力装置であり、複数の機能をそれぞれ起動するための複数のボタンを備えている。これらボタン群には、ＴＶ機能（視聴、録画、録画された放送番組データ／ビデオデータの再生）を制御するための操作ボタン群も含まれている。また、コンピュータ本体１１の正面には、本コンピュータ１０のＴＶ機能等をリモート制御するリモコンユニットとの通信を実行するためのリモコンユニットインタフェース部２０が設けられている。リモコンユニットインタフェース部２０は、赤外線信号受信部などから構成されている。
【００１７】
コンピュータ本体１１の例えば右側面には、ＴＶ放送用のアンテナ端子１９が設けられている。また、コンピュータ本体１１の例えば背面には、例えばＨＤＭＩ(high-definition multimedia interface)規格に対応した外部ディスプレイ接続端子が設けられている。この外部ディスプレイ接続端子は、放送番組データのような映像コンテンツデータに含まれる映像データ（動画像データ）を外部ディスプレイに出力するために用いられる。
【００１８】
次に、図２を参照して、本コンピュータ１０のシステム構成について説明する。
【００１９】
本コンピュータ１０は、図２に示されているように、ＣＰＵ１０１、ノースブリッジ１０２、主メモリ１０３、サウスブリッジ１０４、グラフィクスプロセッシングユニット（ＧＰＵ）１０５、ビデオメモリ（ＶＲＡＭ）１０５Ａ、サウンドコントローラ１０６、ＢＩＯＳ−ＲＯＭ１０９、ＬＡＮコントローラ１１０、ハードディスクドライブ（ＨＤＤ）１１１、ＤＶＤドライブ１１２、ビデオプロセッサ１１３、メモリ１１３Ａ、無線ＬＡＮコントローラ１１４、IEEE 1394コントローラ１１５、エンベデッドコントローラ／キーボードコントローラＩＣ（ＥＣ／ＫＢＣ）１１６、ＴＶチューナ１１７、およびＥＥＰＲＯＭ１１８等を備えている。
【００２０】
ＤＶＤドライブ１１２は、オーサリング後の映像コンテンツデータ等の各種データの書き込みが可能な光ディスクドライブである。
【００２１】
ＣＰＵ１０１は本コンピュータ１０の動作を制御するプロセッサであり、ハードディスクドライブ（ＨＤＤ）１１１から主メモリ１０３にロードされる、オペレーティングシステム（ＯＳ）２０１、ＴＶアプリケーションプログラム（ＴＶアプリケーションとも称する）２０２およびオーサリングアプリケーションプログラム（オーサリングアプリケーションとも称する）２０３のような各種アプリケーションプログラムを実行する。ＴＶアプリケーションプログラム２０２はＴＶ機能を実行するためのソフトウェアである。また、オーサリングアプリケーションプログラム２０３は、ＨＤＤ１１１等に記憶した映像コンテンツデータを光ディスク等の記録媒体のフォーマットに変換する処理、変換された映像コンテンツデータを記録媒体に書き込む処理等を実行するためのソフトウェアである。
【００２２】
ＴＶアプリケーションプログラム２０２は、ＴＶチューナ１１７によって受信された放送番組データを視聴するためのライブ再生処理、受信された放送番組データをＨＤＤ１１１に記録する録画処理、およびＨＤＤ１１１に記録された放送番組データ／ビデオデータを再生する再生処理等を実行する。また、オーサリングアプリケーションプログラム２０３は、ハードディスクドライブ１１１に格納されている映像コンテンツデータから所定のフォーマットの光ディスク等の記録媒体、例えばＤＶＤ−Ｖｉｄｅｏ形式のＤＶＤを作成するために、映像コンテンツデータを編集する処理、メニュー画面を作成する処理（チャプタ付与処理を含む）、映像コンテンツデータおよびメニュー画面をＤＶＤ−Ｖｉｄｅｏ形式のデータに変換する処理、変換されたデータを光ディスク等の記録媒体（例えば、ＤＶＤ−Ｒディスク）に書き込む処理等を実行する。
【００２３】
ＣＰＵ１０１は、ＢＩＯＳ−ＲＯＭ１０９に格納されたＢＩＯＳ（Basic Input Output System）も実行する。ＢＩＯＳはハードウェア制御のためのプログラムである。
【００２４】
ノースブリッジ１０２はＣＰＵ１０１のローカルバスとサウスブリッジ１０４との間を接続するブリッジデバイスである。ノースブリッジ１０２には、主メモリ１０３をアクセス制御するメモリコントローラも内蔵されている。また、ノースブリッジ１０２は、PCI EXPRESS規格のシリアルバスなどを介してＧＰＵ１０５との通信を実行する機能も有している。
【００２５】
ＧＰＵ１０５は、本コンピュータ１０のディスプレイモニタとして使用されるＬＣＤ１７を制御する表示コントローラである。このＧＰＵ１０５によって生成される表示信号はＬＣＤ１７に送られる。また、ＧＰＵ１０５は、ＨＤＭＩ制御回路３およびＨＤＭＩ端子２を介して、外部ディスプレイ装置１にデジタル映像信号を送出することもできる。
【００２６】
ＨＤＭＩ端子２は上述の外部ディスプレイ接続端子である。ＨＤＭＩ端子２は、非圧縮のデジタル映像信号と、デジタルオーディオ信号とを一本のケーブルでテレビのような外部ディスプレイ装置１に送出することができる。ＨＤＭＩ制御回路３は、ＨＤＭＩモニタと称される外部ディスプレイ装置１にデジタル映像信号をＨＤＭＩ端子２を介して送出するためのインタフェースである。
【００２７】
サウスブリッジ１０４は、ＬＰＣ（Low Pin Count）バス上の各デバイス、およびＰＣＩ（Peripheral Component Interconnect）バス上の各デバイスを制御する。また、サウスブリッジ１０４は、ハードディスクドライブ（ＨＤＤ）１１１およびＤＶＤドライブ１１２を制御するためのＩＤＥ（Integrated Drive Electronics）コントローラを内蔵している。さらに、サウスブリッジ１０４は、サウンドコントローラ１０６との通信を実行する機能も有している。
【００２８】
またさらに、サウスブリッジ１０４には、PCI EXPRESS規格のシリアルバスなどを介してビデオプロセッサ１１３が接続されている。
【００２９】
ビデオプロセッサ１１３は、前述の映像インデクシングに関する各種処理を実行するプロセッサである。このビデオプロセッサ１１３は、映像インデクシング（映像内容解析）処理を実行するためのインデクシング処理部として機能する。すなわち、映像インデクシング処理においては、ビデオプロセッサ１１３は、映像コンテンツデータに含まれる動画像データから複数の顔画像を抽出すると共に、抽出された各顔画像が映像コンテンツデータ内に登場する時点を示すタイムスタンプ情報、等を出力する。顔画像の抽出は、例えば、動画像データの各フレームから顔領域を検出する顔検出処理、検出された顔領域をフレームから切り出す切り出し処理等によって実行される。顔領域の検出は、例えば、各フレームの画像の特徴を解析して、予め用意された顔画像特徴サンプルと類似する特徴を有する領域を探索することによって行うことができる。顔画像特徴サンプルは、多数の人物それぞれの顔画像特徴を統計的に処理することによって得られた特徴データである。
【００３０】
メモリ１１３Ａは、ビデオプロセッサ１１３の作業メモリとして用いられる。映像インデクシング処理を実行するためには多くの演算量が必要とされる。本実施形態においては、ＣＰＵ１０１とは異なる専用のプロセッサであるビデオプロセッサ１１３がバックエンドプロセッサとして使用され、このビデオプロセッサ１１３によってインデクシング処理が実行される。よって、ＣＰＵ１０１の負荷の増加を招くことなく、インデクシング処理を実行することが出来る。
【００３１】
サウンドコントローラ１０６は音源デバイスであり、再生対象のオーディオデータをスピーカ１８Ａ，１８ＢまたはＨＤＭＩ制御回路３に出力する。
【００３２】
無線ＬＡＮコントローラ１１４は、たとえばIEEE 802.11規格の無線通信を実行する無線通信デバイスである。IEEE 1394コントローラ１１５は、IEEE 1394規格のシリアルバスを介して外部機器との通信を実行する。
【００３３】
エンベデッドコントローラ／キーボードコントローラＩＣ（ＥＣ／ＫＢＣ）１１６は、電力管理のためのエンベデッドコントローラと、キーボード（ＫＢ）１３およびタッチパッド１６を制御するためのキーボードコントローラとが集積された１チップマイクロコンピュータである。このエンベデッドコントローラ／キーボードコントローラＩＣ（ＥＣ／ＫＢＣ）１１６は、ユーザによるパワーボタン１４の操作に応じて本コンピュータ１０をパワーオン／パワーオフする機能を有している。さらに、エンベデッドコントローラ／キーボードコントローラＩＣ（ＥＣ／ＫＢＣ）１１６は、リモコンユニットインタフェース２０との通信を実行する機能を有している。
【００３４】
ＴＶチューナ１１７はテレビジョン（ＴＶ）放送信号によって放送される放送番組データを受信する受信装置であり、アンテナ端子１９に接続されている。このＴＶチューナ１１７は、例えば、地上波デジタルＴＶ放送のようなデジタル放送番組データを受信可能なデジタルＴＶチューナとして実現されている。また、ＴＶチューナ１１７は、外部機器から入力されるビデオデータをキャプチャする機能も有している。
【００３５】
次に、図３を参照して、ビデオプロセッサ１１３によって実行されるインデクシング処理について説明する。
【００３６】
放送番組データのような映像コンテンツデータに対する映像インデクシング処理は、上述したように、ビデオプロセッサ１１３によって実行される。
【００３７】
ビデオプロセッサ１１３は、ＴＶアプリケーションプログラム２０２或いはオーサリングアプリケーションプログラム２０３の制御の下、例えば、ユーザによって指定された録画済みの放送番組データ等の映像コンテンツデータに対してインデクシング処理を実行する。また、ビデオプロセッサ１１３は、ＴＶチューナ１１７によって受信された放送番組データをＨＤＤ１１１に格納する録画処理と並行して、当該放送番組データに対するインデクシング処理を実行することもできる。
【００３８】
映像インデクシング処理（顔画像インデクシング処理とも云う）においては、ビデオプロセッサ１１３は、映像コンテンツデータに含まれる動画像データをフレーム単位で解析する。そして、ビデオプロセッサ１１３は、動画像データを構成する複数のフレームそれぞれから人物の顔画像を抽出すると共に、抽出された各顔画像が映像コンテンツデータ内に登場する時点を示すタイムスタンプ情報を出力する。各顔画像に対応するタイムスタンプ情報としては、映像コンテンツデータの開始から当該顔画像が登場するまでの経過時間、または当該顔画像が抽出されたフレーム番号、等を使用することができる。
【００３９】
さらに、ビデオプロセッサ１１３は、抽出された各顔画像のサイズ（解像度）も出力する。ビデオプロセッサ１１３から出力される顔検出結果データ（顔画像、タイムスタンプ情報ＴＳ、およびサイズ）は、データベース１１１Ａに顔画像インデクシング情報として格納される。このデータベース１１１Ａは、ＨＤＤ１１１内に用意されたインデクシングデータ記憶用の記憶領域である。
【００４０】
次に、図４を参照して、本発明の実施形態を概要を説明する。
【００４１】
コンピュータ１０のＨＤＤ１１１には、上述したＴＶアプリケーションプログラム２０２によって記憶された映像コンテンツデータ３１１が記憶されている。また、映像コンテンツデータ３１１からインデクシング処理を行った顔インデクシング情報もデータベース１１１Ａとして記憶されている。これらのデータを上述したオーサリングアプリケーションプログラム２０３に取り込みを行う。
【００４２】
オーサリングアプリケーションプログラム２０３は、取り込みを行った顔インデクシング情報の一覧表示を行い、ユーザが選択した顔インデクシング情報に対応するタイムスタンプ情報、例えば、映像コンテンツデータの開始時間からの経過時間（例えばＴ１、Ｔ２）をチャプタ位置の時間情報として設定する。Ｔ１をＣＨＡＰＴＥＲ１（４２０）、Ｔ２をＣＨＡＰＴＥＲ２（４２１）として設定してメニュー画面データを作成する。オーサリングアプリケーションプログラム２０３は、このメニュー画面データを元にメニュー画面４００を作成して、光ディスク等の記録媒体に書き込みを行う。
【００４３】
次に、オーサリングアプリケーションプログラム２０３によって実行されるオーサリング処理について図５を参照して説明する。
【００４４】
オーサリングアプリケーションプログラム２０３は、顔画像インデクシング情報取得モジュール３０１、顔インクキシング情報記憶・表示モジュール（記憶手段・表示処理手段）３０２、チャプタ情報生成モジュール（チャプタ生成手段）３０３、メニュー情報データ作成モジュール（メニュー画面データ作成手段）３０４、変換モジュール（光ディスクに書き込むためのデータを作成する手段）３０５、および書き込み処理モジュール３０６等を備えている。
【００４５】
まず、ユーザにより取得する映像コンテンツデータ３１１が選択され（図８参照）、データベース１１１Ａから映像コンテンツデータ３１１を取得する。同様に、顔画像インデクシング情報取得モジュール３０１は、データベース１１１Ａから顔画像インデクシング情報（顔画像、タイムスタンプ情報等）を取得する。顔画像インデクシング情報記憶・表示モジュール３０２は、取得した顔画像インデクシング情報３１２をデータベース１１１Ａに記憶した後に、例えば、図６に示されるように、表示画面に表示する。オーサリングアプリケーション２０３のオーサリング表示画面４００−１には、選択画像表示領域４０５、映像表示領域４０１、再生制御バー４０２、再生制御ボタン４０３が表示されている。また選択画像表示領域４０５には、インデクシング処理によって抽出された各顔画像４０４、ユーザによって選択された顔画像４１１、４１２が表示される。なお、ユーザによる顔画像の選択は、例えば、マウスで選択を行う等によって実現する。また、ユーザによって選択された顔画像４１１、４１２には、タイムスタンプ情報が関連付けされてチャプタ情報として、例えば図９に示されるように記憶されている。この場合、抽出された各顔画像をタイムスタンプ情報に基づいて時系列に一覧表示を行う。また、抽出された各顔画像４０４は、予め設定された表示可能な顔画像の最大数内で一覧表示を行う。このため、抽出された顔画像が膨大な数になった場合にでも対応することができる。また、スクロールボタン４０４ａ、４０４ｂによって表示し切れていない顔画像をスクロールして表示を行うことができる。また、ユーザによって選択された顔画像４１１、４１２は、マウスで所望の顔画像を選択することにより、映像表示領域４０１に表示することができる。この場合、再生制御バー４０２および再生制御ボタン４０３を用いて選択された顔画像を再生することができる。
【００４６】
また、抽出された各顔画像から同一人物の顔画像を判別し、グループ化する判別手段を備えており、この判別手段によって同一人物の顔画像としてグループ化されたグループごとに並べて一覧表示を行うこともできる。同一人物の判別は、予め人物のデータベースを記憶しておき、このデータベースと対比させることにより行う等の処理により実現する。
【００４７】
ユーザによって選択された顔画像は、選択画像情報３１３として、オーサリングアプリケーション２０３に取り込まれる。同時に、データベース１１１Ａからは、映像コンテンツデータ３１１を取得する。なお、ユーザによって選択された顔画像は、タイムスタンプ情報等が関連づけられている。映像コンテンツデータ３１１の取得は、例えば図８に示されるように、コンピュータ１０のＨＤＤ１１１やネットワーク等のストレージ領域を選択し、所望の映像コンテンツデータ３１１を表示領域５００に表示させる。映像コンテンツデータ３１１をマウス等で選択し、ファイルを開くボタン、例えば「Open」ボタンを押下して映像コンテンツデータ３１１を取得する。
【００４８】
チャプタ情報生成モジュール３０３は、選択された顔画像に関連づけられたタイムスタンプ情報に基づいてチャプタ情報を生成する。例えば、図９に示されるように、チャプタ情報を作成する。
【００４９】
メニュー画面データ作成モジュール３０４は、チャプタ情報に基づいて、メニュー画面データ３１５を作成し、例えば図７に示されるようにメニュー画面４００−２を作成する。例えば、Ｔ１をＣＨＡＰＴＥＲ１（４２０）、Ｔ２をＣＨＡＰＴＥＲ２（４２１）として設定してメニュー画面データを作成する。
【００５０】
メニュー画面４００−２には、例えばＤＶＤ−Ｖｉｄｅｏを再生した時に最初に表示されるメニューである。なお、メニュー画面は、１頁である場合もあるし、複数ページの場合もある。また、タイムスタンプ情報の前後の設定された時間内の顔画像をデータベース１１１Ａから読み出して、読み出された各顔画像をスライドシューとして表示するようにチャプタのメニュー画面データを作成することもできる。同様に、所定のチャプタ内の顔画像をデータベース１１１Ａから読み出して、読み出された各顔画像をスライドシューとして表示するようにチャプタのメニュー画面データを作成することもできる。さらに、所定のチャプタ内の映像コンテンツデータの一部を抜き出して動画像としてチャプタのメニュー画面データを作成することもできる。
【００５１】
変換モジュール３０５は、映像コンテンツデータ３１１およびメニュー画面データ作成モジュール３０４が作成したメニュー画面を表示画面（ＬＣＤ１７等）上に表示するためのメニュー画面データ３１５を含む光ディスク３２０に書き込むためのデータ（オーサリング後の映像コンテンツデータ３１６）を作成する。変換モジュール３０５は、メニュー画面データ３１７および選択画像情報３１６に基づいて、映像コンテンツデータ３１２をＤＶＤ−Ｖｉｄｅｏ形式のデータに変換し、ＤＶＤ−Ｖｉｄｅｏ形式の映像コンテンツデータ３１８を出力する。ＤＶＤ−Ｖｉｄｅｏ形式のデータは、メニュー画面のデータおよびメニュー画面に表示されるジャンプボタンの操作によってジャンプする情報を含む。
【００５２】
書き込み処理モジュール３０６は、ＤＶＤ（ドライブ）１１２を用いて例えば書き込み可能な光ディスク３２０等に書き込み処理を行い、光ディスクを作成する。
【００５３】
作成された光ディスクを再生する場合、図７に示すように、メニュー画面にはチャプタ１、２にジャンプするためのジャンプボタンが表示されている。ユーザがメニュー画面中のＣＨＡＰＴＥＲ１（４２０）をクリックすると、ＣＨＡＰＴＥＲ１として設定されているシーンから再生を開始する。同様に、ユーザがメニュー画面中のＣＨＡＰＴＥＲ２（４２１）をクリックすると、ＣＨＡＰＴＥＲ２として設定されているシーンから再生を開始する。なお、ＣＨＡＰＴＥＲの数が多い場合等は、メニュー画面中に「進む」、「戻る」等を意味するボタンが表示され、スクロールを行い、表示ページを切り替えることにより、表示されていなかったＣＨＡＰＴＥＲを表示させることができる。
【００５４】
次に、オーサリングアプリケーションプログラム２０３が行う処理の手順を図１０のフローチャートを参照して説明する。
ユーザは、オーサリングアプリケーション２０３を起動する。ユーザにより取得する映像コンテンツデータ３１１が選択され（図８参照）、データベース１１１Ａから映像コンテンツデータ３１１を取得する。その後、顔画像インデクシング情報取得モジュール３０１は、データベース１１１Ａから顔画像インデクシング情報（顔画像、タイムスタンプ情報等）を取得する（ステップＳ１０１）。顔画像インデクシング情報記憶・表示モジュール３０２は、取得した顔画像インデクシング情報３１２をデータベース１１１Ａに記憶する（ステップＳ１０２）。続いて、オーサリングアプリケーション２０３は、図６に示されるように、ＬＣＤ１７等の表示画面にインデクシング処理により抽出された各顔画像を表示する（ステップＳ１０３）。
【００５５】
チャプタ情報生成モジュール３０３は、表示された顔画像のうち１つの顔画像がユーザによって選択されると、選択された顔画像に関連づけられたタイムスタンプ情報に基づいてチャプタ情報を生成する（ステップＳ１０４）。メニュー画面データ作成モジュール３０４は、チャプタ情報に基づいて、メニュー画面データ３１５を作成する（ステップＳ１０５）。変換モジュール３０５は、映像コンテンツデータ３１１およびメニュー画面データ作成モジュール３０４が作成したメニュー画面を表示画面（ＬＣＤ１７等）上に表示するためのメニュー画面データ３１５を含む光ディスク３２０に書き込むためのデータ（オーサリング後の映像コンテンツデータ３１６）を作成する。その後、メニュー画面データ３１７および選択画像情報３１６に基づいて、映像コンテンツデータ３１２をＤＶＤ−Ｖｉｄｅｏ形式のデータに変換し、ＤＶＤ−Ｖｉｄｅｏ形式の映像コンテンツデータ３１８を出力する。書き込み処理モジュール３０６は、ＤＶＤ（ドライブ）１１２を用いて例えば書き込み可能な光ディスク３２０等に書き込み処理を行い、光ディスクを作成する（ステップＳ１０６）。
【００５６】
以上の処理により、ユーザが表示された顔画像を選択するだけで、映像コンテンツデータに選択した人物の顔画像が貼り付けられたチャプタボタンを有するメニュー画面を表示することができ、このようなメニュー画面が表示されるＤＶＤ−Ｖｉｄｅｏを容易に作成することができる。
【００５７】
なお、上述した例では、ＤＶＤ−Ｖｉｄｅｏを作成していたが、光ディスク等の記録媒体において実現可能であり、例えばＢｌｕ-ｒａｙのビデオ形式のデータ作成し、作成されたデータをＢｌｕ-ｒａｙディスクに書き込んでも良い。また、上述したプログラムはコンピュータ読み取り可能記憶媒体に格納されている。例えば、ＨＤＤ、フラッシュメモリ、光ディスク等である。
【００５８】
なお、本発明は、上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合せにより種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。更に、異なる実施形態に亘る構成要素を適宜組み合せてもよい。
【符号の説明】
【００５９】
１１３…ビデオプロセッサ，２０３…オーサリングアプリケーションプログラム，３０１…顔インデクシング情報取得モジュール，３０２…顔画像インデクシング情報記憶・表示モジュール，３０３…チャプタ情報生成モジュール，３０４…メニュー画面データ作成モジュール，３０５…変換モジュール，３０６…書き込み処理モジュール。
【技術分野】
【０００１】
本発明は、映像データから光ディスクに格納するためのデータを作成するオーサリング装置、オーサリング方法およびプログラムに関する。
【背景技術】
【０００２】
映像コンテンツデータを光ディスク等の記録媒体に格納する場合、映像コンテンツデータの任意の箇所にチャプタを付与し、付与されたチャプタを選択することにより映像コンテンツデータの所望の箇所にジャンプすることができる。このようなチャプタの付与は、映像コンテンツデータを編集する場合に付与されるが、煩雑な作業となる。このため、例えば、特許文献１には、所定の時間毎に自動的にチャプタの付与を行うオーサリングアプリケーションの技術が開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００４−２７４１７１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
所定の時間毎に自動的にチャプタの付与を行うオーサリングアプリケーションにおいては、自動でチャプタの付与はされるものの、機械的に所定の時間間隔でチャプタの付与を行うため、必ずしもユーザの意図するシーン、すなわち、ジャンプしてすぐに閲覧したいシーンでない場合がある。
【０００５】
本発明の目的は、映像データから、光ディスクに格納されるデータをユーザの意図するチャプタの付与を好適に行うことが可能なオーサリング装置およびオーサリング方法を提供することにある。
【課題を解決するための手段】
【０００６】
上記目的を達成するために、本発明の一態様によれば、映像データから、光ディスクに格納されるデータを作成するオーサリング装置であって、前記映像データから抽出された複数の顔画像を、抽出された各顔画像が前記映像データ内に登場する時点を示すタイムスタンプ情報と関連づけて記憶する記憶手段と、記憶された各顔画像を一覧表示する表示処理手段と、前記表示処理手段によって一覧表示された各顔画像のうち１つの顔画像が選択される場合、選択される顔画像に関連づけられたタイムスタンプ情報に基づいてチャプタ情報を生成するチャプタ生成手段と、前記生成手段によって生成されるチャプタ情報に基づいて、選択された顔画像が登場するチャプタにジャンプするためのボタンに当該選択された顔画像を用いたメニュー画面を表示画面上に表示するためのメニュー画面データを作成するメニュー画面データ作成手段と、前記映像データの情報および前記メニュー画面データ作成手段が作成したメニュー画面を表示画面上に表示するためのメニュー画面データを含む光ディスクに書き込むためのデータを作成する手段とを備えることを特徴とするオーサリング装置が提供される。
【０００７】
また、本発明の一態様によれば、映像データから、光ディスクに格納されるデータを作成するオーサリング方法であって、前記映像データから抽出された複数の顔画像に、抽出された各顔画像が前記映像データ内に登場する時点を示すタイムスタンプ情報を関連づけて記憶部に記憶し、記憶された各顔画像を一覧表示し、一覧表示された各顔画像のうち１つの顔画像が選択される場合、選択される顔画像に関連づけられたタイムスタンプ情報に基づいてチャプタ情報を生成し、生成されるチャプタ情報に基づいて、選択された顔画像が登場するチャプタにジャンプするためのボタンに当該選択された顔画像を用いたメニュー画面を表示画面上に表示するためのメニュー画面データを作成し、前記映像データの情報およびメニュー画面を表示画面上に表示するためのメニュー画面データを含む光ディスクに書き込むためのデータを作成することを特徴とするオーサリング方法が提供される。
【０００８】
さらに、本発明の一態様によれば、映像データから、光ディスクに格納されるデータを作成するプログラムであって、前記映像データから抽出された複数の顔画像に、抽出された各顔画像が前記映像データ内に登場する時点を示すタイムスタンプ情報を関連づけて記憶する記憶手順と、記憶された各顔画像を一覧表示する表示手順と、一覧表示された各顔画像のうち１つの顔画像が選択される場合、選択される顔画像に関連づけられたタイムスタンプ情報に基づいてチャプタ情報を生成する生成手順と、生成されるチャプタ情報に基づいて、選択された顔画像が登場するチャプタにジャンプするためのボタンに当該選択された顔画像を用いたメニュー画面を表示画面上に表示するためのメニュー画面データを作成するメニュー画面データ作成手順と、前記映像データの情報およびメニュー画面を表示画面上に表示するためのメニュー画面データを含む光ディスクに書き込むためのデータを作成する作成手順と、をコンピュータに実行させるプログラムが提供される。
【発明の効果】
【０００９】
本発明によれば、映像データから、光ディスクに格納されるデータをユーザの意図するチャプタの付与を好適に行うことが可能になる。
【図面の簡単な説明】
【００１０】
【図１】本発明の一実施形態に係るオーサリング装置の概観の例を示す斜視図。
【図２】同実施形態のオーサリング装置のシステム構成の例を示すブロック図。
【図３】同実施形態のオーサリング装置の顔画像抽出機能を説明するためのブロック図。
【図４】同実施形態のオーサリング処理の概念を示す図。
【図５】同実施形態のオーサリングアプリケーションプログラムの構成を示すブロック図。
【図６】映像コンテンツデータのオーサリング処理画面の一例を示す図。
【図７】メニュー画面の一例を示す図。
【図８】映像コンテンツデータ取得画面の一例を示す図。
【図９】チャプタ情報の概念を示す図。
【図１０】ＤＶＤ−Ｖｉｄｅｏ形式の映像コンテンツデータを作成する手順を示すフローチャート。
【発明を実施するための形態】
【００１１】
以下、図面を参照して、本発明の実施形態を説明する。
まず、図１および図２を参照して、本発明の一実施形態に係る電子機器の構成を説明する。本実施形態の電子機器は、例えば、情報処理装置として機能するノートブック型の携帯型パーソナルコンピュータ１０から実現されている。
【００１２】
このパーソナルコンピュータ１０は、放送番組データ、外部ＡＶ（オーディオビジュアル）機器から入力されるビデオデータといった、映像コンテンツデータ（オーディオビジュアルコンテンツデータ）を記録、編集および再生することができる。例えば、パーソナルコンピュータ１０は、テレビジョン放送信号によって放送される放送番組データの視聴、録画、編集および再生を実行するためのテレビジョン（ＴＶ）機能を有している。このＴＶ機能は、例えば、パーソナルコンピュータ１０に予めインストールされているＴＶアプリケーションプログラムによって実現されている。また、ＴＶ機能は、外部のＡＶ機器から入力されるビデオデータを記録する機能、および記録されたビデオデータおよび記録された放送番組データを編集、再生する機能も有している。
【００１３】
さらに、パーソナルコンピュータ１０は、パーソナルコンピュータ１０に格納されたビデオデータ、放送番組データのような映像コンテンツデータに登場する人物の顔画像を検出し（顔画像インデクシング（indexing）機能（映像内容解析機能）：後述）、検出された顔画像の一覧等を表示する顔画像一覧表示機能を有している。この顔画像一覧表示機能は、例えば、ＴＶ機能内にその一機能として実装されている。顔画像一覧表示機能は、映像コンテンツデータの概要等をユーザに提示するための映像インデクシング機能の一つである。この顔画像一覧表示機能は、映像コンテンツデータ全体の中のどの時間帯にどの人物が登場するのかをユーザに提示することができる。また、一覧表示された顔画像からユーザが選択した顔画像に該当するシーンをチャプタ情報として記憶し、このチャプタ情報を用いてチャプタを付与した映像コンテンツデータをコンピュータ１０が備えるオーサリング機能により光ディスク等の記録媒体に格納することができる。さらに、この顔画像一覧表示機能は、動画像（映像コンテンツデータ）の解析を行い、同一人物を１つのグループとして登録するグループ化機能を備えている。
【００１４】
図１はコンピュータ１０のディスプレイユニットを開いた状態における斜視図である。本コンピュータ１０は、コンピュータ本体１１と、ディスプレイユニット１２とから構成されている。ディスプレイユニット１２には、ＴＦＴ−ＬＣＤ（Thin Film Transistor Liquid Crystal Display）１７から構成される表示装置が組み込まれている。
【００１５】
ディスプレイユニット１２は、コンピュータ本体１１に対し、コンピュータ本体１１の上面が露出される開放位置とコンピュータ本体１１の上面を覆う閉塞位置との間を回動自在に取り付けられている。コンピュータ本体１１は薄い箱形の筐体を有しており、その上面にはキーボード１３、本コンピュータ１０をパワーオン／パワーオフするためのパワーボタン１４、入力操作パネル１５、タッチパッド１６、およびスピーカ１８Ａ，１８Ｂなどが配置されている。
【００１６】
入力操作パネル１５は、押されたボタンに対応するイベントを入力する入力装置であり、複数の機能をそれぞれ起動するための複数のボタンを備えている。これらボタン群には、ＴＶ機能（視聴、録画、録画された放送番組データ／ビデオデータの再生）を制御するための操作ボタン群も含まれている。また、コンピュータ本体１１の正面には、本コンピュータ１０のＴＶ機能等をリモート制御するリモコンユニットとの通信を実行するためのリモコンユニットインタフェース部２０が設けられている。リモコンユニットインタフェース部２０は、赤外線信号受信部などから構成されている。
【００１７】
コンピュータ本体１１の例えば右側面には、ＴＶ放送用のアンテナ端子１９が設けられている。また、コンピュータ本体１１の例えば背面には、例えばＨＤＭＩ(high-definition multimedia interface)規格に対応した外部ディスプレイ接続端子が設けられている。この外部ディスプレイ接続端子は、放送番組データのような映像コンテンツデータに含まれる映像データ（動画像データ）を外部ディスプレイに出力するために用いられる。
【００１８】
次に、図２を参照して、本コンピュータ１０のシステム構成について説明する。
【００１９】
本コンピュータ１０は、図２に示されているように、ＣＰＵ１０１、ノースブリッジ１０２、主メモリ１０３、サウスブリッジ１０４、グラフィクスプロセッシングユニット（ＧＰＵ）１０５、ビデオメモリ（ＶＲＡＭ）１０５Ａ、サウンドコントローラ１０６、ＢＩＯＳ−ＲＯＭ１０９、ＬＡＮコントローラ１１０、ハードディスクドライブ（ＨＤＤ）１１１、ＤＶＤドライブ１１２、ビデオプロセッサ１１３、メモリ１１３Ａ、無線ＬＡＮコントローラ１１４、IEEE 1394コントローラ１１５、エンベデッドコントローラ／キーボードコントローラＩＣ（ＥＣ／ＫＢＣ）１１６、ＴＶチューナ１１７、およびＥＥＰＲＯＭ１１８等を備えている。
【００２０】
ＤＶＤドライブ１１２は、オーサリング後の映像コンテンツデータ等の各種データの書き込みが可能な光ディスクドライブである。
【００２１】
ＣＰＵ１０１は本コンピュータ１０の動作を制御するプロセッサであり、ハードディスクドライブ（ＨＤＤ）１１１から主メモリ１０３にロードされる、オペレーティングシステム（ＯＳ）２０１、ＴＶアプリケーションプログラム（ＴＶアプリケーションとも称する）２０２およびオーサリングアプリケーションプログラム（オーサリングアプリケーションとも称する）２０３のような各種アプリケーションプログラムを実行する。ＴＶアプリケーションプログラム２０２はＴＶ機能を実行するためのソフトウェアである。また、オーサリングアプリケーションプログラム２０３は、ＨＤＤ１１１等に記憶した映像コンテンツデータを光ディスク等の記録媒体のフォーマットに変換する処理、変換された映像コンテンツデータを記録媒体に書き込む処理等を実行するためのソフトウェアである。
【００２２】
ＴＶアプリケーションプログラム２０２は、ＴＶチューナ１１７によって受信された放送番組データを視聴するためのライブ再生処理、受信された放送番組データをＨＤＤ１１１に記録する録画処理、およびＨＤＤ１１１に記録された放送番組データ／ビデオデータを再生する再生処理等を実行する。また、オーサリングアプリケーションプログラム２０３は、ハードディスクドライブ１１１に格納されている映像コンテンツデータから所定のフォーマットの光ディスク等の記録媒体、例えばＤＶＤ−Ｖｉｄｅｏ形式のＤＶＤを作成するために、映像コンテンツデータを編集する処理、メニュー画面を作成する処理（チャプタ付与処理を含む）、映像コンテンツデータおよびメニュー画面をＤＶＤ−Ｖｉｄｅｏ形式のデータに変換する処理、変換されたデータを光ディスク等の記録媒体（例えば、ＤＶＤ−Ｒディスク）に書き込む処理等を実行する。
【００２３】
ＣＰＵ１０１は、ＢＩＯＳ−ＲＯＭ１０９に格納されたＢＩＯＳ（Basic Input Output System）も実行する。ＢＩＯＳはハードウェア制御のためのプログラムである。
【００２４】
ノースブリッジ１０２はＣＰＵ１０１のローカルバスとサウスブリッジ１０４との間を接続するブリッジデバイスである。ノースブリッジ１０２には、主メモリ１０３をアクセス制御するメモリコントローラも内蔵されている。また、ノースブリッジ１０２は、PCI EXPRESS規格のシリアルバスなどを介してＧＰＵ１０５との通信を実行する機能も有している。
【００２５】
ＧＰＵ１０５は、本コンピュータ１０のディスプレイモニタとして使用されるＬＣＤ１７を制御する表示コントローラである。このＧＰＵ１０５によって生成される表示信号はＬＣＤ１７に送られる。また、ＧＰＵ１０５は、ＨＤＭＩ制御回路３およびＨＤＭＩ端子２を介して、外部ディスプレイ装置１にデジタル映像信号を送出することもできる。
【００２６】
ＨＤＭＩ端子２は上述の外部ディスプレイ接続端子である。ＨＤＭＩ端子２は、非圧縮のデジタル映像信号と、デジタルオーディオ信号とを一本のケーブルでテレビのような外部ディスプレイ装置１に送出することができる。ＨＤＭＩ制御回路３は、ＨＤＭＩモニタと称される外部ディスプレイ装置１にデジタル映像信号をＨＤＭＩ端子２を介して送出するためのインタフェースである。
【００２７】
サウスブリッジ１０４は、ＬＰＣ（Low Pin Count）バス上の各デバイス、およびＰＣＩ（Peripheral Component Interconnect）バス上の各デバイスを制御する。また、サウスブリッジ１０４は、ハードディスクドライブ（ＨＤＤ）１１１およびＤＶＤドライブ１１２を制御するためのＩＤＥ（Integrated Drive Electronics）コントローラを内蔵している。さらに、サウスブリッジ１０４は、サウンドコントローラ１０６との通信を実行する機能も有している。
【００２８】
またさらに、サウスブリッジ１０４には、PCI EXPRESS規格のシリアルバスなどを介してビデオプロセッサ１１３が接続されている。
【００２９】
ビデオプロセッサ１１３は、前述の映像インデクシングに関する各種処理を実行するプロセッサである。このビデオプロセッサ１１３は、映像インデクシング（映像内容解析）処理を実行するためのインデクシング処理部として機能する。すなわち、映像インデクシング処理においては、ビデオプロセッサ１１３は、映像コンテンツデータに含まれる動画像データから複数の顔画像を抽出すると共に、抽出された各顔画像が映像コンテンツデータ内に登場する時点を示すタイムスタンプ情報、等を出力する。顔画像の抽出は、例えば、動画像データの各フレームから顔領域を検出する顔検出処理、検出された顔領域をフレームから切り出す切り出し処理等によって実行される。顔領域の検出は、例えば、各フレームの画像の特徴を解析して、予め用意された顔画像特徴サンプルと類似する特徴を有する領域を探索することによって行うことができる。顔画像特徴サンプルは、多数の人物それぞれの顔画像特徴を統計的に処理することによって得られた特徴データである。
【００３０】
メモリ１１３Ａは、ビデオプロセッサ１１３の作業メモリとして用いられる。映像インデクシング処理を実行するためには多くの演算量が必要とされる。本実施形態においては、ＣＰＵ１０１とは異なる専用のプロセッサであるビデオプロセッサ１１３がバックエンドプロセッサとして使用され、このビデオプロセッサ１１３によってインデクシング処理が実行される。よって、ＣＰＵ１０１の負荷の増加を招くことなく、インデクシング処理を実行することが出来る。
【００３１】
サウンドコントローラ１０６は音源デバイスであり、再生対象のオーディオデータをスピーカ１８Ａ，１８ＢまたはＨＤＭＩ制御回路３に出力する。
【００３２】
無線ＬＡＮコントローラ１１４は、たとえばIEEE 802.11規格の無線通信を実行する無線通信デバイスである。IEEE 1394コントローラ１１５は、IEEE 1394規格のシリアルバスを介して外部機器との通信を実行する。
【００３３】
エンベデッドコントローラ／キーボードコントローラＩＣ（ＥＣ／ＫＢＣ）１１６は、電力管理のためのエンベデッドコントローラと、キーボード（ＫＢ）１３およびタッチパッド１６を制御するためのキーボードコントローラとが集積された１チップマイクロコンピュータである。このエンベデッドコントローラ／キーボードコントローラＩＣ（ＥＣ／ＫＢＣ）１１６は、ユーザによるパワーボタン１４の操作に応じて本コンピュータ１０をパワーオン／パワーオフする機能を有している。さらに、エンベデッドコントローラ／キーボードコントローラＩＣ（ＥＣ／ＫＢＣ）１１６は、リモコンユニットインタフェース２０との通信を実行する機能を有している。
【００３４】
ＴＶチューナ１１７はテレビジョン（ＴＶ）放送信号によって放送される放送番組データを受信する受信装置であり、アンテナ端子１９に接続されている。このＴＶチューナ１１７は、例えば、地上波デジタルＴＶ放送のようなデジタル放送番組データを受信可能なデジタルＴＶチューナとして実現されている。また、ＴＶチューナ１１７は、外部機器から入力されるビデオデータをキャプチャする機能も有している。
【００３５】
次に、図３を参照して、ビデオプロセッサ１１３によって実行されるインデクシング処理について説明する。
【００３６】
放送番組データのような映像コンテンツデータに対する映像インデクシング処理は、上述したように、ビデオプロセッサ１１３によって実行される。
【００３７】
ビデオプロセッサ１１３は、ＴＶアプリケーションプログラム２０２或いはオーサリングアプリケーションプログラム２０３の制御の下、例えば、ユーザによって指定された録画済みの放送番組データ等の映像コンテンツデータに対してインデクシング処理を実行する。また、ビデオプロセッサ１１３は、ＴＶチューナ１１７によって受信された放送番組データをＨＤＤ１１１に格納する録画処理と並行して、当該放送番組データに対するインデクシング処理を実行することもできる。
【００３８】
映像インデクシング処理（顔画像インデクシング処理とも云う）においては、ビデオプロセッサ１１３は、映像コンテンツデータに含まれる動画像データをフレーム単位で解析する。そして、ビデオプロセッサ１１３は、動画像データを構成する複数のフレームそれぞれから人物の顔画像を抽出すると共に、抽出された各顔画像が映像コンテンツデータ内に登場する時点を示すタイムスタンプ情報を出力する。各顔画像に対応するタイムスタンプ情報としては、映像コンテンツデータの開始から当該顔画像が登場するまでの経過時間、または当該顔画像が抽出されたフレーム番号、等を使用することができる。
【００３９】
さらに、ビデオプロセッサ１１３は、抽出された各顔画像のサイズ（解像度）も出力する。ビデオプロセッサ１１３から出力される顔検出結果データ（顔画像、タイムスタンプ情報ＴＳ、およびサイズ）は、データベース１１１Ａに顔画像インデクシング情報として格納される。このデータベース１１１Ａは、ＨＤＤ１１１内に用意されたインデクシングデータ記憶用の記憶領域である。
【００４０】
次に、図４を参照して、本発明の実施形態を概要を説明する。
【００４１】
コンピュータ１０のＨＤＤ１１１には、上述したＴＶアプリケーションプログラム２０２によって記憶された映像コンテンツデータ３１１が記憶されている。また、映像コンテンツデータ３１１からインデクシング処理を行った顔インデクシング情報もデータベース１１１Ａとして記憶されている。これらのデータを上述したオーサリングアプリケーションプログラム２０３に取り込みを行う。
【００４２】
オーサリングアプリケーションプログラム２０３は、取り込みを行った顔インデクシング情報の一覧表示を行い、ユーザが選択した顔インデクシング情報に対応するタイムスタンプ情報、例えば、映像コンテンツデータの開始時間からの経過時間（例えばＴ１、Ｔ２）をチャプタ位置の時間情報として設定する。Ｔ１をＣＨＡＰＴＥＲ１（４２０）、Ｔ２をＣＨＡＰＴＥＲ２（４２１）として設定してメニュー画面データを作成する。オーサリングアプリケーションプログラム２０３は、このメニュー画面データを元にメニュー画面４００を作成して、光ディスク等の記録媒体に書き込みを行う。
【００４３】
次に、オーサリングアプリケーションプログラム２０３によって実行されるオーサリング処理について図５を参照して説明する。
【００４４】
オーサリングアプリケーションプログラム２０３は、顔画像インデクシング情報取得モジュール３０１、顔インクキシング情報記憶・表示モジュール（記憶手段・表示処理手段）３０２、チャプタ情報生成モジュール（チャプタ生成手段）３０３、メニュー情報データ作成モジュール（メニュー画面データ作成手段）３０４、変換モジュール（光ディスクに書き込むためのデータを作成する手段）３０５、および書き込み処理モジュール３０６等を備えている。
【００４５】
まず、ユーザにより取得する映像コンテンツデータ３１１が選択され（図８参照）、データベース１１１Ａから映像コンテンツデータ３１１を取得する。同様に、顔画像インデクシング情報取得モジュール３０１は、データベース１１１Ａから顔画像インデクシング情報（顔画像、タイムスタンプ情報等）を取得する。顔画像インデクシング情報記憶・表示モジュール３０２は、取得した顔画像インデクシング情報３１２をデータベース１１１Ａに記憶した後に、例えば、図６に示されるように、表示画面に表示する。オーサリングアプリケーション２０３のオーサリング表示画面４００−１には、選択画像表示領域４０５、映像表示領域４０１、再生制御バー４０２、再生制御ボタン４０３が表示されている。また選択画像表示領域４０５には、インデクシング処理によって抽出された各顔画像４０４、ユーザによって選択された顔画像４１１、４１２が表示される。なお、ユーザによる顔画像の選択は、例えば、マウスで選択を行う等によって実現する。また、ユーザによって選択された顔画像４１１、４１２には、タイムスタンプ情報が関連付けされてチャプタ情報として、例えば図９に示されるように記憶されている。この場合、抽出された各顔画像をタイムスタンプ情報に基づいて時系列に一覧表示を行う。また、抽出された各顔画像４０４は、予め設定された表示可能な顔画像の最大数内で一覧表示を行う。このため、抽出された顔画像が膨大な数になった場合にでも対応することができる。また、スクロールボタン４０４ａ、４０４ｂによって表示し切れていない顔画像をスクロールして表示を行うことができる。また、ユーザによって選択された顔画像４１１、４１２は、マウスで所望の顔画像を選択することにより、映像表示領域４０１に表示することができる。この場合、再生制御バー４０２および再生制御ボタン４０３を用いて選択された顔画像を再生することができる。
【００４６】
また、抽出された各顔画像から同一人物の顔画像を判別し、グループ化する判別手段を備えており、この判別手段によって同一人物の顔画像としてグループ化されたグループごとに並べて一覧表示を行うこともできる。同一人物の判別は、予め人物のデータベースを記憶しておき、このデータベースと対比させることにより行う等の処理により実現する。
【００４７】
ユーザによって選択された顔画像は、選択画像情報３１３として、オーサリングアプリケーション２０３に取り込まれる。同時に、データベース１１１Ａからは、映像コンテンツデータ３１１を取得する。なお、ユーザによって選択された顔画像は、タイムスタンプ情報等が関連づけられている。映像コンテンツデータ３１１の取得は、例えば図８に示されるように、コンピュータ１０のＨＤＤ１１１やネットワーク等のストレージ領域を選択し、所望の映像コンテンツデータ３１１を表示領域５００に表示させる。映像コンテンツデータ３１１をマウス等で選択し、ファイルを開くボタン、例えば「Open」ボタンを押下して映像コンテンツデータ３１１を取得する。
【００４８】
チャプタ情報生成モジュール３０３は、選択された顔画像に関連づけられたタイムスタンプ情報に基づいてチャプタ情報を生成する。例えば、図９に示されるように、チャプタ情報を作成する。
【００４９】
メニュー画面データ作成モジュール３０４は、チャプタ情報に基づいて、メニュー画面データ３１５を作成し、例えば図７に示されるようにメニュー画面４００−２を作成する。例えば、Ｔ１をＣＨＡＰＴＥＲ１（４２０）、Ｔ２をＣＨＡＰＴＥＲ２（４２１）として設定してメニュー画面データを作成する。
【００５０】
メニュー画面４００−２には、例えばＤＶＤ−Ｖｉｄｅｏを再生した時に最初に表示されるメニューである。なお、メニュー画面は、１頁である場合もあるし、複数ページの場合もある。また、タイムスタンプ情報の前後の設定された時間内の顔画像をデータベース１１１Ａから読み出して、読み出された各顔画像をスライドシューとして表示するようにチャプタのメニュー画面データを作成することもできる。同様に、所定のチャプタ内の顔画像をデータベース１１１Ａから読み出して、読み出された各顔画像をスライドシューとして表示するようにチャプタのメニュー画面データを作成することもできる。さらに、所定のチャプタ内の映像コンテンツデータの一部を抜き出して動画像としてチャプタのメニュー画面データを作成することもできる。
【００５１】
変換モジュール３０５は、映像コンテンツデータ３１１およびメニュー画面データ作成モジュール３０４が作成したメニュー画面を表示画面（ＬＣＤ１７等）上に表示するためのメニュー画面データ３１５を含む光ディスク３２０に書き込むためのデータ（オーサリング後の映像コンテンツデータ３１６）を作成する。変換モジュール３０５は、メニュー画面データ３１７および選択画像情報３１６に基づいて、映像コンテンツデータ３１２をＤＶＤ−Ｖｉｄｅｏ形式のデータに変換し、ＤＶＤ−Ｖｉｄｅｏ形式の映像コンテンツデータ３１８を出力する。ＤＶＤ−Ｖｉｄｅｏ形式のデータは、メニュー画面のデータおよびメニュー画面に表示されるジャンプボタンの操作によってジャンプする情報を含む。
【００５２】
書き込み処理モジュール３０６は、ＤＶＤ（ドライブ）１１２を用いて例えば書き込み可能な光ディスク３２０等に書き込み処理を行い、光ディスクを作成する。
【００５３】
作成された光ディスクを再生する場合、図７に示すように、メニュー画面にはチャプタ１、２にジャンプするためのジャンプボタンが表示されている。ユーザがメニュー画面中のＣＨＡＰＴＥＲ１（４２０）をクリックすると、ＣＨＡＰＴＥＲ１として設定されているシーンから再生を開始する。同様に、ユーザがメニュー画面中のＣＨＡＰＴＥＲ２（４２１）をクリックすると、ＣＨＡＰＴＥＲ２として設定されているシーンから再生を開始する。なお、ＣＨＡＰＴＥＲの数が多い場合等は、メニュー画面中に「進む」、「戻る」等を意味するボタンが表示され、スクロールを行い、表示ページを切り替えることにより、表示されていなかったＣＨＡＰＴＥＲを表示させることができる。
【００５４】
次に、オーサリングアプリケーションプログラム２０３が行う処理の手順を図１０のフローチャートを参照して説明する。
ユーザは、オーサリングアプリケーション２０３を起動する。ユーザにより取得する映像コンテンツデータ３１１が選択され（図８参照）、データベース１１１Ａから映像コンテンツデータ３１１を取得する。その後、顔画像インデクシング情報取得モジュール３０１は、データベース１１１Ａから顔画像インデクシング情報（顔画像、タイムスタンプ情報等）を取得する（ステップＳ１０１）。顔画像インデクシング情報記憶・表示モジュール３０２は、取得した顔画像インデクシング情報３１２をデータベース１１１Ａに記憶する（ステップＳ１０２）。続いて、オーサリングアプリケーション２０３は、図６に示されるように、ＬＣＤ１７等の表示画面にインデクシング処理により抽出された各顔画像を表示する（ステップＳ１０３）。
【００５５】
チャプタ情報生成モジュール３０３は、表示された顔画像のうち１つの顔画像がユーザによって選択されると、選択された顔画像に関連づけられたタイムスタンプ情報に基づいてチャプタ情報を生成する（ステップＳ１０４）。メニュー画面データ作成モジュール３０４は、チャプタ情報に基づいて、メニュー画面データ３１５を作成する（ステップＳ１０５）。変換モジュール３０５は、映像コンテンツデータ３１１およびメニュー画面データ作成モジュール３０４が作成したメニュー画面を表示画面（ＬＣＤ１７等）上に表示するためのメニュー画面データ３１５を含む光ディスク３２０に書き込むためのデータ（オーサリング後の映像コンテンツデータ３１６）を作成する。その後、メニュー画面データ３１７および選択画像情報３１６に基づいて、映像コンテンツデータ３１２をＤＶＤ−Ｖｉｄｅｏ形式のデータに変換し、ＤＶＤ−Ｖｉｄｅｏ形式の映像コンテンツデータ３１８を出力する。書き込み処理モジュール３０６は、ＤＶＤ（ドライブ）１１２を用いて例えば書き込み可能な光ディスク３２０等に書き込み処理を行い、光ディスクを作成する（ステップＳ１０６）。
【００５６】
以上の処理により、ユーザが表示された顔画像を選択するだけで、映像コンテンツデータに選択した人物の顔画像が貼り付けられたチャプタボタンを有するメニュー画面を表示することができ、このようなメニュー画面が表示されるＤＶＤ−Ｖｉｄｅｏを容易に作成することができる。
【００５７】
なお、上述した例では、ＤＶＤ−Ｖｉｄｅｏを作成していたが、光ディスク等の記録媒体において実現可能であり、例えばＢｌｕ-ｒａｙのビデオ形式のデータ作成し、作成されたデータをＢｌｕ-ｒａｙディスクに書き込んでも良い。また、上述したプログラムはコンピュータ読み取り可能記憶媒体に格納されている。例えば、ＨＤＤ、フラッシュメモリ、光ディスク等である。
【００５８】
なお、本発明は、上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合せにより種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。更に、異なる実施形態に亘る構成要素を適宜組み合せてもよい。
【符号の説明】
【００５９】
１１３…ビデオプロセッサ，２０３…オーサリングアプリケーションプログラム，３０１…顔インデクシング情報取得モジュール，３０２…顔画像インデクシング情報記憶・表示モジュール，３０３…チャプタ情報生成モジュール，３０４…メニュー画面データ作成モジュール，３０５…変換モジュール，３０６…書き込み処理モジュール。
【特許請求の範囲】
【請求項１】
映像データから、光ディスクに格納されるデータを作成するオーサリング装置であって、
前記映像データから抽出された複数の顔画像を、抽出された各顔画像が前記映像データ内に登場する時点を示すタイムスタンプ情報と関連づけて記憶する記憶手段と、
記憶された各顔画像を一覧表示する表示処理手段と、
前記表示処理手段によって一覧表示された各顔画像のうち１つの顔画像が選択される場合、選択される顔画像に関連づけられたタイムスタンプ情報に基づいてチャプタ情報を生成するチャプタ生成手段と、
前記生成手段によって生成されるチャプタ情報に基づいて、選択された顔画像が登場するチャプタにジャンプするためのボタンに当該選択された顔画像を用いたメニュー画面を表示画面上に表示するためのメニュー画面データを作成するメニュー画面データ作成手段と、
前記映像データの情報および前記メニュー画面データ作成手段が作成したメニュー画面を表示画面上に表示するためのメニュー画面データを含む光ディスクに書き込むためのデータを作成する手段と
を備えることを特徴とするオーサリング装置。
【請求項２】
前記表示処理手段は、予め設定された表示可能な顔画像の最大数内で一覧表示を行うことを特徴とする請求項１に記載のオーサリング装置。
【請求項３】
前記表示処理手段は、抽出された各顔画像を前記タイムスタンプ情報に基づいて時系列に一覧表示を行うことを特徴とする請求項１に記載のオーサリング装置。
【請求項４】
抽出された各顔画像から同一人物の顔画像を判別し、グループ化する判別手段をさらに備え、
前記表示処理手段は、前記判別手段によって同一人物の顔画像としてグループ化されたグループごとに並べて一覧表示を行うことを特徴とする請求項１に記載のオーサリング装置。
【請求項５】
前記メニュー画面データ作成手段は、前記タイムスタンプ情報の前後の設定された時間内の顔画像を前記記憶手段から読み出して、読み出された各顔画像をスライドショーとして表示するように前記チャプタのメニュー画面データを作成することを特徴とする請求項１に記載のオーサリング装置。
【請求項６】
映像データから、光ディスクに格納されるデータを作成するオーサリング方法であって、
前記映像データから抽出された複数の顔画像に、抽出された各顔画像が前記映像データ内に登場する時点を示すタイムスタンプ情報を関連づけて記憶部に記憶し、
記憶された各顔画像を一覧表示し、
一覧表示された各顔画像のうち１つの顔画像が選択される場合、選択される顔画像に関連づけられたタイムスタンプ情報に基づいてチャプタ情報を生成し、
生成されるチャプタ情報に基づいて、選択された顔画像が登場するチャプタにジャンプするためのボタンに当該選択された顔画像を用いたメニュー画面を表示画面上に表示するためのメニュー画面データを作成し、
前記映像データの情報およびメニュー画面を表示画面上に表示するためのメニュー画面データを含む光ディスクに書き込むためのデータを作成することを特徴とするオーサリング方法。
【請求項７】
前記一覧表示は、予め設定された表示可能な顔画像の最大数内で一覧表示を行うことを特徴とする請求項６に記載のオーサリング方法。
【請求項８】
前記一覧表示は、抽出された各顔画像を前記タイムスタンプ情報に基づいて時系列に一覧表示を行うことを特徴とする請求項６に記載のオーサリング方法。
【請求項９】
抽出された各顔画像から同一人物の顔画像を判別することによりグループ化し、前記一覧表示は、前記判別手段によって同一人物の顔画像としてグループ化されたグループごとに並べて一覧表示を行うことを特徴とする請求項６に記載のオーサリング方法。
【請求項１０】
前記タイムスタンプ情報の前後の設定された時間内の顔画像を前記記憶部から読み出して、読み出された各顔画像をスライドシューとして表示するように前記チャプタのメニュー画面データを作成することを特徴とする請求項６に記載のオーサリング方法。
【請求項１１】
映像データから、光ディスクに格納されるデータを作成するプログラムであって、
前記映像データから抽出された複数の顔画像に、抽出された各顔画像が前記映像データ内に登場する時点を示すタイムスタンプ情報を関連づけて記憶する記憶手順と、
記憶された各顔画像を一覧表示する表示手順と、
一覧表示された各顔画像のうち１つの顔画像が選択される場合、選択される顔画像に関連づけられたタイムスタンプ情報に基づいてチャプタ情報を生成する生成手順と、
生成されるチャプタ情報に基づいて、選択された顔画像が登場するチャプタにジャンプするためのボタンに当該選択された顔画像を用いたメニュー画面を表示画面上に表示するためのメニュー画面データを作成するメニュー画面データ作成手順と、
前記映像データの情報およびメニュー画面を表示画面上に表示するためのメニュー画面データを含む光ディスクに書き込むためのデータを作成する作成手順と、
をコンピュータに実行させるプログラム。
【請求項１】
映像データから、光ディスクに格納されるデータを作成するオーサリング装置であって、
前記映像データから抽出された複数の顔画像を、抽出された各顔画像が前記映像データ内に登場する時点を示すタイムスタンプ情報と関連づけて記憶する記憶手段と、
記憶された各顔画像を一覧表示する表示処理手段と、
前記表示処理手段によって一覧表示された各顔画像のうち１つの顔画像が選択される場合、選択される顔画像に関連づけられたタイムスタンプ情報に基づいてチャプタ情報を生成するチャプタ生成手段と、
前記生成手段によって生成されるチャプタ情報に基づいて、選択された顔画像が登場するチャプタにジャンプするためのボタンに当該選択された顔画像を用いたメニュー画面を表示画面上に表示するためのメニュー画面データを作成するメニュー画面データ作成手段と、
前記映像データの情報および前記メニュー画面データ作成手段が作成したメニュー画面を表示画面上に表示するためのメニュー画面データを含む光ディスクに書き込むためのデータを作成する手段と
を備えることを特徴とするオーサリング装置。
【請求項２】
前記表示処理手段は、予め設定された表示可能な顔画像の最大数内で一覧表示を行うことを特徴とする請求項１に記載のオーサリング装置。
【請求項３】
前記表示処理手段は、抽出された各顔画像を前記タイムスタンプ情報に基づいて時系列に一覧表示を行うことを特徴とする請求項１に記載のオーサリング装置。
【請求項４】
抽出された各顔画像から同一人物の顔画像を判別し、グループ化する判別手段をさらに備え、
前記表示処理手段は、前記判別手段によって同一人物の顔画像としてグループ化されたグループごとに並べて一覧表示を行うことを特徴とする請求項１に記載のオーサリング装置。
【請求項５】
前記メニュー画面データ作成手段は、前記タイムスタンプ情報の前後の設定された時間内の顔画像を前記記憶手段から読み出して、読み出された各顔画像をスライドショーとして表示するように前記チャプタのメニュー画面データを作成することを特徴とする請求項１に記載のオーサリング装置。
【請求項６】
映像データから、光ディスクに格納されるデータを作成するオーサリング方法であって、
前記映像データから抽出された複数の顔画像に、抽出された各顔画像が前記映像データ内に登場する時点を示すタイムスタンプ情報を関連づけて記憶部に記憶し、
記憶された各顔画像を一覧表示し、
一覧表示された各顔画像のうち１つの顔画像が選択される場合、選択される顔画像に関連づけられたタイムスタンプ情報に基づいてチャプタ情報を生成し、
生成されるチャプタ情報に基づいて、選択された顔画像が登場するチャプタにジャンプするためのボタンに当該選択された顔画像を用いたメニュー画面を表示画面上に表示するためのメニュー画面データを作成し、
前記映像データの情報およびメニュー画面を表示画面上に表示するためのメニュー画面データを含む光ディスクに書き込むためのデータを作成することを特徴とするオーサリング方法。
【請求項７】
前記一覧表示は、予め設定された表示可能な顔画像の最大数内で一覧表示を行うことを特徴とする請求項６に記載のオーサリング方法。
【請求項８】
前記一覧表示は、抽出された各顔画像を前記タイムスタンプ情報に基づいて時系列に一覧表示を行うことを特徴とする請求項６に記載のオーサリング方法。
【請求項９】
抽出された各顔画像から同一人物の顔画像を判別することによりグループ化し、前記一覧表示は、前記判別手段によって同一人物の顔画像としてグループ化されたグループごとに並べて一覧表示を行うことを特徴とする請求項６に記載のオーサリング方法。
【請求項１０】
前記タイムスタンプ情報の前後の設定された時間内の顔画像を前記記憶部から読み出して、読み出された各顔画像をスライドシューとして表示するように前記チャプタのメニュー画面データを作成することを特徴とする請求項６に記載のオーサリング方法。
【請求項１１】
映像データから、光ディスクに格納されるデータを作成するプログラムであって、
前記映像データから抽出された複数の顔画像に、抽出された各顔画像が前記映像データ内に登場する時点を示すタイムスタンプ情報を関連づけて記憶する記憶手順と、
記憶された各顔画像を一覧表示する表示手順と、
一覧表示された各顔画像のうち１つの顔画像が選択される場合、選択される顔画像に関連づけられたタイムスタンプ情報に基づいてチャプタ情報を生成する生成手順と、
生成されるチャプタ情報に基づいて、選択された顔画像が登場するチャプタにジャンプするためのボタンに当該選択された顔画像を用いたメニュー画面を表示画面上に表示するためのメニュー画面データを作成するメニュー画面データ作成手順と、
前記映像データの情報およびメニュー画面を表示画面上に表示するためのメニュー画面データを含む光ディスクに書き込むためのデータを作成する作成手順と、
をコンピュータに実行させるプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【公開番号】特開２０１０−２５７５０９（Ｐ２０１０−２５７５０９Ａ）
【公開日】平成２２年１１月１１日（２０１０．１１．１１）
【国際特許分類】
【出願番号】特願２００９−１０４３２４（Ｐ２００９−１０４３２４）
【出願日】平成２１年４月２２日（２００９．４．２２）
【出願人】（０００００３０７８）株式会社東芝 (54,554)
【Ｆターム（参考）】
【公開日】平成２２年１１月１１日（２０１０．１１．１１）
【国際特許分類】
【出願日】平成２１年４月２２日（２００９．４．２２）
【出願人】（０００００３０７８）株式会社東芝 (54,554)
【Ｆターム（参考）】
[ Back to top ]