チャプタ情報作成装置及びその制御方法
【課題】 画角の異なる映像が階層符号化された映像データに対するチャプタ情報を作成するチャプタ情報作成装置において、各階層の映像に対するチャプタ情報を簡便な方法で作成可能とする。
【解決手段】 階層符号化された複数の映像のうち、最広画角の映像の画角の大きさに対する比が閾値以下の狭画角の映像については、画角情報から映像の位置を算出する。そして、一定時間あたりの移動距離が閾値以上である場合にチャプタ情報を作成する。他の映像については、最広画角の映像の解析結果に基づいて、映像の変化が検出された場合にチャプタ情報を生成する。
【解決手段】 階層符号化された複数の映像のうち、最広画角の映像の画角の大きさに対する比が閾値以下の狭画角の映像については、画角情報から映像の位置を算出する。そして、一定時間あたりの移動距離が閾値以上である場合にチャプタ情報を作成する。他の映像については、最広画角の映像の解析結果に基づいて、映像の変化が検出された場合にチャプタ情報を生成する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、映像データのチャプタ情報を作成するチャプタ情報作成装置及びその制御方法に関し、特に映像コンテンツが階層符号化された映像データのチャプタ情報を作成するチャプタ情報作成装置及びその制御方法に関する。
【背景技術】
【０００２】
従来、ビデオカメラや放送波の録画装置などにおいて、記録中又は再生中の映像コンテンツのシーンの切り替わり位置などを検出し、検出した位置を特定する情報をチャプタ情報として作成することが知られている。チャプタ情報は、例えば映像コンテンツのデータに記録され、映像コンテンツの頭出し再生や編集操作などに利用される。
例えば、特許文献１には、映像コンテンツのフレーム間の差分から当該フレーム間のシーンの切り替わりを検出し、チャプタ情報を自動作成することが記載されている。
【０００３】
一方、映像コンテンツの階層符号化手法の例として、H.264/AVC(Advanced Video Coding)の拡張規格であるH.264/SVC(Scalable Video Coding)が規格化されている。階層符号化手法を用いると、一つの映像ストリームデータ中に複数の解像度の映像を階層化して符号化できる。例えば、同一の映像コンテンツについて、水平640画素、垂直480画素のSD解像度、水平4096画素、垂直2160画素の4K2K解像度など、複数の解像度の映像を階層化して１つのストリームデータに符号化することが出来る。
また、SD解像度の階層は顔のアップ、4K2K解像度の階層は人物の全体像など、階層間で画角を異ならせることも可能である。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００６−１０８７２９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
階層符号化された映像コンテンツに対して、従来のようにシーンの切り替わりを検出して自動的にチャプタ情報を作成する場合、階層間で画角が同じであれば、ある１つの階層で従来の手法を適用してチャプタ情報を作成し、全階層で共通利用することができる。
【０００６】
しかし、階層間で画角が異なる映像コンテンツの場合、ある階層でシーンが切り替わっても、他の階層ではシーンの切り替わりがない、といったことが起こりうる。例えば、高解像度の階層では複数の人物を含んだシーンの映像であり、低解像度の階層では複数の人物の一人の顔のアップの映像である場合を考える。この場合、高解像度の階層での映像に大きな変化が無くても、低解像度の階層が他の人物のアップに切り替わることが起こりうる。そのため、符号化階層で画角の異なる階層符号化がなされた映像コンテンツにおいては、画角の異なる階層ごとにチャプタ情報を作成する必要が生じる。
【０００７】
例えば特許文献１に記載された方法を用いてチャプタ情報を作成する場合、画角が異なる符号化階層ごとに映像を解析してシーンの切り替わりを検出する必要があり、処理が増加するという問題がある。特に、ある階層のシーン解析を行うにはその階層を復号する必要があるため、解析処理の増加以上に処理が増加する。
【０００８】
本発明はこのような従来技術の課題に鑑みなされたものである。本発明は、画角の異なる映像が階層符号化された映像データに対するチャプタ情報を作成するチャプタ情報作成装置およびその制御方法において、各階層の映像に対するチャプタ情報を簡便な方法で作成可能とする。
【課題を解決するための手段】
【０００９】
上述の目的は、任意の画角の映像と、当画角に含まれる一部の領域に対応する画角の映像とを含む複数の映像が階層符号化された映像データから、複数の映像の各々に対するチャプタ情報を作成するチャプタ情報作成装置であって、映像データに含まれる、複数の映像の画角に関する情報から、映像データに含まれる最も画角の広い最広画角の映像を判別する判別手段と、映像データに含まれる、複数の映像の画角に関する情報から、最広画角の映像の画角の大きさに対する比が閾値以下の画角の大きさである狭画角の映像を検出する検出手段と、最広画角の映像の画角に含まれる領域における、狭画角の映像の位置を定期的に算出する算出手段と、算出手段が狭画角の映像に対して定期的に算出した位置から、一定期間での位置の移動距離を算出し、移動距離が予め定めた閾値以上である場合に、狭画角の映像に対するチャプタ情報を作成する第１のチャプタ情報作成手段と、最広画角の映像を解析し、最広画角の映像の変化が検出されたことに応じて、最広画角の映像と、狭画角の映像に対するチャプタ情報を作成する第２のチャプタ情報作成手段と、を有することを特徴とするチャプタ情報作成装置によって達成される。
【発明の効果】
【００１０】
このような構成により、本発明によれば、画角の異なる映像が階層符号化された映像データに対するチャプタ情報を作成するチャプタ情報作成装置およびその制御方法において、各階層の映像に対するチャプタ情報を簡便な方法で作成することが可能になる。
【図面の簡単な説明】
【００１１】
【図１】本発明の実施形態に係るチャプタ情報作成装置の構成例を示すブロック図。
【図２】本発明で利用可能なH.264/SVC映像データストリームの構成例を示す図。
【図３】階層符号化される、画角が異なる映像の構成例を示す図。
【図４】本発明の実施形態における画角情報の具体例を示す図。
【図５】本発明の実施形態のチャプタ情報作成装置における狭画角画像に対するチャプタ情報作成動作を説明するフローチャート。
【図６】本発明の実施形態のチャプタ情報作成装置が作成するチャプタ情報テーブルの例を示す図。
【図７】狭画角映像の切り替わりの例を説明する図。
【発明を実施するための形態】
【００１２】
以下、本発明の例示的な実施形態について、図面を参照して詳細に説明する。
図１は、本発明の実施形態に係るチャプタ情報作成装置１００の構成例を示すブロック図である。なお、本実施形態に係るチャプタ情報作成装置１００は録画機器であるものとして説明するが、本発明は階層符号化された映像コンテンツを復号可能な任意の装置において実施可能である。ビデオレコーダやビデオカメラのような録画装置はもちろん、ビデオディスクプレーヤやメディアプレーヤのような、記録媒体に蓄積された符号化映像の再生装置や、これら録画装置や再生装置と同様の機能を有する任意の機器において好適に実施しうる。
【００１３】
図において、ＵＩ(User Interface)制御部１０１は、キーやボタン（図示せず）に対するユーザ操作を受信し、受信内容に基づいて録画制御部１０２の制御を行う。
録画制御部１０２は、ＵＩ制御部１０１の制御に基づき、外部から入力される映像コンテンツデータを記録部１０３に記録する。
【００１４】
本実施形態において、外部から入力される映像データはMoving Picture Experts Group-2 Transport Stream （以下、MPEG2 TS）形式のストリームデータであるとする。また、映像データには、音声データが音声Elementary Stream（以下音声ES）として、また階層符号化された映像データが映像Elementary Stream（以下映像ES）として多重化されているものとする。なお、映像ESは例えばH.264/SVC形式であるとする。階層符号化された映像データには、ベースレイヤと少なくとも１つのエンハンスレイヤが含まれる。ベースレイヤの映像とエンハンスレイヤの映像とが共通した画角を有する場合、ベースレイヤは映像コンテンツを再生するために最低限必要な情報を含み、エンハンスレイヤはベースレイヤによる映像の品質を向上させるためのデータを含む。本実施形態においては、少なくとも２つのレイヤ（ベースレイヤを含んでも含まなくてもよい）に、異なる画角の映像が符号化されているものとする。そして、異なる画角の映像は、最も画角の広い映像（最広画角映像）と、最広画角映像の一部の領域に対応する画角を有する映像であるものとする。さらに、説明及び理解を容易にするため、映像の空間解像度は各レイヤで同等であるものとする。
【００１５】
なお、録画制御部１０２が受信する映像コンテンツデータは、放送、記録媒体、ネットワークなどの各種伝送媒体を介して入力されてよい。放送により映像コンテンツデータが入力される場合には、例えば前段におけるチューナ（不図示）によって選局がなされているものとする。あるいは、録画制御部１０２がチューナを有しており、ＵＩ制御部１０１からのチャンネル選択指示によって特定のチャンネルのストリームデータを抽出してもよい。
【００１６】
録画制御部１０２はさらに、記録部１０３に記録した映像コンテンツデータを信号分離部１０４に出力する。
記録部１０３はハードディスクドライブ、Blu-rayディスクドライブ、半導体記憶装置などの記憶装置に、録画制御部１０２から入力されたMPEG2-TSデータを記録する。さらに、後述する狭画角チャプタ情報作成部１０８と共通チャプタ情報作成部１１１が作成したチャプタ情報テーブルを記憶装置に記録する。
【００１７】
信号分離部１０４は、録画制御部１０２から入力されたMPEG2-TSデータを映像ESと音声ESデータに分離し、映像ESデータを映像デコード部１０９と画角情報抽出部１０５へ、音声ESを音声デコード部１１２へそれぞれ出力する。
【００１８】
画角情報抽出部１０５は、信号分離部１０４から入力された映像ESに含まれる、符号化に関する情報から、階層符号化のベースレイヤの映像の画角情報、エンハンスレイヤの映像の画角のオフセット情報（ベースレイヤの画角との差分情報）を抽出する。このように、画角情報は、ベースレイヤという特定のレイヤの映像の画角情報と、特定のレイヤの映像以外のレイヤ（エンハンスレイヤ）の映像の画角情報とを有している。なお、後述するように、オフセット情報は、ベースレイヤの映像における、エンハンスレイヤの映像の相対的な位置を特定する情報である。具体的には、画角情報抽出部１０５は、映像ESのSPS(Sequence Parameter Set)からこれらの情報を抽出する。さらに画角情報抽出部１０５は、AU(Access Unit)からレイヤ識別子dependency_idを抽出する。画角情報抽出部１０５は、抽出したベースレイヤの画角情報、エンハンスレイヤの画角のオフセット情報、レイヤ識別子、を画角差判定部１０６へ出力する。
【００１９】
画角差判定部１０６は、画角情報抽出部１０５から入力されたベースレイヤの画角情報、エンハンスレイヤの画角のオフセット情報、レイヤ識別子を基に、エンハンスレイヤの画角情報を計算し、各レイヤの画角の大小を判定する。
【００２０】
画角差判定部１０６は、
レイヤの画角／最広画角レイヤの画角
が予め定められた閾値以下の場合は、ベースレイヤの画角情報、エンハンスレイヤの画角のオフセット情報、レイヤ識別子を画角位置判定部１０７へ出力する。さらに画角差判定部１０６は、最広画角レイヤ識別子を映像デコード部１０９へ出力する。このように、画角差判定部１０６は、レイヤのうち、最広画角レイヤの画角に対する比が閾値以下のレイヤ（狭画角レイヤ）を判別して画角位置判定部１０７に通知する。閾値の設定により、複数のレイヤのうち、移動距離によってチャプタを付与するレイヤ（画角）の範囲を変更することができる。
【００２１】
画角位置判定部１０７は、画角差判定部１０６からのベースレイヤの画角情報、エンハンスレイヤの画角のオフセット情報、最広画角レイヤ識別子を基に、最広画角レイヤの画角に対する比が閾値以下の画角の狭画角レイヤの映像の中心位置を順次算出する。そして、順次算出した中心位置から、一定時間における狭画角レイヤの中心の移動距離が予め定めた閾値以上ならば、画角位置判定部１０７は狭画角レイヤの映像のシーンが切り替わったと判断する。そして、画角位置判定部１０７は、狭画角チャプタ情報作成部１０８へ狭画角レイヤ識別子と、時間情報を出力する。この時間情報は、例えば最新の中心位置を算出した映像フレームに対応する時間情報である。
【００２２】
第１のチャプタ情報作成手段としての狭画角チャプタ情報作成部１０８は、画角位置判定部１０７から入力された狭画角レイヤ識別子、時間情報から、レイヤ識別子と時間情報を関連付けてチャプタ情報テーブルを作成し、記録部１０３へ保存する。
【００２３】
映像デコード部１０９は信号分離部１０４から入力された映像ESと画角差判定部１０６から入力された最広画角レイヤ識別子を基に、最広画角レイヤのデコードを行い、映像データを作成する。そして、映像デコード部１０９は、映像データを例えば表示装置である外部装置と、第２のチャプタ情報作成手段としての映像解析部１１０へ出力する。
【００２４】
映像解析部１１０は、従来の映像変化量識別技術を使い、映像デコード部１０９から入力された映像データを解析し、例えばフレーム間の差の大きさが閾値以上である場合に映像が切り替わったものと検出し、時間情報を共通チャプタ情報作成部１１１へ出力する。映像解析部１１０が映像の切り替わりを判定する処理は、映像の各フレームに対して行っても良いし、数フレームごとに行ってもよい。
【００２５】
共通チャプタ情報作成部１１１は、映像解析部１１０から入力された時間情報を、最広画角レイヤと狭画角レイヤのレイヤ識別子と関連付けてチャプタ情報テーブルを作成する。共通チャプタ情報作成部は、作成したチャプタ情報テーブルを記録部１０３へ保存する。なお、共通チャプタ情報作成部１１１は、映像解析部１１０から入力された時間情報を全てのレイヤ識別子と関連付けてチャプタ情報テーブルを作成してもよい。
音声デコード部１１２は、信号分離部１０４から入力された音声ＥＳをデコードし、音声データを作成し、音声データをスピーカーに出力する。
【００２６】
図２を参照して、本実施形態で利用するH.264/SVCで符号化された映像データストリーム２００の構成について説明する。ここでは、映像データストリーム２００が、ベースレイヤと１つのエンハンスレイヤの２階層に階層符号化されているものとする。映像データストリーム２００において、SPS（Sequence Parameter Set）２０１は、複数のピクチャをまとめたシーケンス全体の符号化に係る情報が含まれたヘッダである。また、PPS（Picture Parameter Set）２０２は、ピクチャ全体に係る符号化情報が含まれたヘッダである。AU（Access Unit）２０３には、複数のスライスデータがまとめられている。
【００２７】
スライスデータは、スライスの符号化データがまとめられたNAL(Network Abstraction Layer)ユニットと呼ばれる単位データの一つである。スライスデータのヘッダとしてプリフィックスNALユニットと呼ばれる拡張ヘッダが付加され、レイヤ識別子としての情報であるdependency_idが記述されている。dependency_id を参照することでレイヤを選択することができる。SPS２０１にはそのレイヤに符号化されている映像の垂直方向及び水平方向画角に関する情報が格納される。ベースレイヤのSPS0 ２０４にはベースレイヤの映像の垂直画角及び水平画角に関する情報が格納される。エンハンスレイヤのSPS1 ２０５にはベースレイヤの映像に対する垂直画角及び水平画角の差に関するオフセット情報が記述されている。SPS２０１に含まれる情報の詳細については後述する。
【００２８】
図３を参照して、本実施形態の映像データストリーム２００に符号化されている映像コンテンツの構成例について説明する。上述の通り、本実施形態で用いる映像コンテンツはベースレイヤと１つのエンハンスレイヤの２階層に階層符号化されている。そして、ベースレイヤはＳＤ解像度、エンハンスレイヤは4K2K解像度と解像度が異なるほか、画角も異なる。具体的には、エンハンスレイヤの映像３０２が人物３０３、人物３０４、人物３０５を含んだ全景映像、ベースレイヤの映像３０１が人物３０３の顔部分のアップ映像であるとする。従って、エンハンスレイヤが最広画角レイヤになる。また、ベースレイヤの画角は、エンハンスレイヤの画角に対する比が閾値以下であるものとする。従って、ベースレイヤは狭画角レイヤである。また、狭画角映像は最広画角の映像の一部の領域であり、最広画角映像とは包含関係にある。
【００２９】
このような映像コンテンツを階層符号化した際の各レイヤの画角に関する情報について、図４を参照して説明する。ここでは、各レイヤの映像の縦横のサイズ（画素数やマクロブロック数など）がそれぞれ垂直画角および水平画角に対応し、画角に関する情報として利用できるものとする。また、各レイヤの映像の縦横比が共通とは限らないため、レイヤ間の画角の大小を比較する場合には、各レイヤの映像に含まれる画素やマクロブロックの総数をその映像の画角の大きさとして用いる。
【００３０】
以下の説明では、映像のサイズを画素数で表すものとする。この場合、ベースレイヤの映像４０１について、横のサイズＢＨ＝６４０、縦のサイズＶＨ＝４８０である。また、エンハンスレイヤの映像４０２の画角のオフセット情報は、ベースレイヤの映像４０１に対するエンハンスレイヤの映像４０２の左上角の位置の差と右下角の位置の差の組み合わせにより表されるとする。オフセット情報が画素数で表されるとすると、図３の映像構成におけるオフセット情報は、左上角のオフセット情報４０３（ＬＨ，ＬＶ）＝（１０９６，６６０）、右下角のオフセット情報４０４（ＲＨ，ＲＶ）＝（２３６０，１０２０）である。なお、ＬＨ，ＲＨは水平オフセット、ＬＶ，ＲＶは垂直オフセットである。オフセットはベースレイヤの周縁から外側に向かって正の値をとるものとする。従って、少なくとも、ＬＨ，ＬＶ，ＲＨ，ＲＶがいずれも負の場合には、サイズを比較するまでもなくエンハンスレイヤの方が狭画角であることがわかる。また、本実施形態のように、狭画角レイヤの映像が最広画角のレイヤの映像の一部である場合には、オフセット情報のいずれかに負の値が含まれているエンハンスレイヤはベースレイヤよりも狭画角であると判別できる。
【００３１】
図５のフローチャートを用いて、本実施形態のチャプタ情報作成装置における、狭画角映像に対するチャプタ情報作成動作について説明する。
Ｓ１０１において画角情報抽出部１０５は、映像ESを信号分離部１０４から受け取り、AUに記述されているレイヤ識別子dependency_idを抽出する。また、画角情報抽出部１０５は、映像ESのSPS２０１からベースレイヤの画角情報（ＢＨ，ＢＶ）＝（６４０，４８０）とエンハンスレイヤの画角のオフセット情報（ＬＨ，ＬＶ）＝（１０９６，６６０）、（ＲＨ，ＲＶ）＝（２３６０，１０２０）を抽出する。そして、画角情報抽出部１０５は抽出したベースレイヤの画角情報とエンハンスレイヤの画角のオフセット情報、レイヤ識別子を画角差判定部１０６へ出力する。
【００３２】
Ｓ１０２において画角差判定部１０６は、画角情報抽出部１０５から受け取ったベースレイヤの画角情報と個々のエンハンスレイヤの画角のオフセット情報、レイヤ識別子から個々のエンハンスレイヤの映像サイズを画角の大きさとして求める。ここでは映像の大きさの単位が画素であるため、画角の大きさは縦の画素数×横の画素数として求められる。そして、ベースレイヤの映像の縦、横のサイズと、個々のエンハンスレイヤの映像の縦、横のサイズから、最広画角レイヤを判別する。
【００３３】
図３の例のように狭画角レイヤの映像が最広画角レイヤの映像の一部である場合は、正の値のオフセット情報を有するエンハンスレイヤの映像はベースレイヤの映像より広画角である。同様に、負の値のオフセット値を有するエンハンスレイヤの映像はベースレイヤの映像より狭画角である。
【００３４】
図３の例の映像では、オフセット情報は正であり、ベースレイヤと１つのエンハンスレイヤのみからなるため、画角差判定部１０６は、エンハンスレイヤが広画角（最広画角）レイヤと判断する。
【００３５】
また、画角差判定部１０６は、エンハンスレイヤの横のサイズＥＨ＝ＢＨ＋ＬＨ＋ＲＨ、エンハンスレイヤの縦のサイズＥＶ＝ＢＶ＋ＬＶ＋ＲＶを算出する。図３の例では、（ＥＨ、ＥＶ）＝（４０９６、２１６０）である。そして、画角差判定部１０６は、ベースレイヤの映像の画角としてＢＨ×ＢＶを、またエンハンスレイヤの映像の画角（最広画角）としてＥＨ×ＥＶをそれぞれ求める。
【００３６】
Ｓ１０３において、画角差判定部１０６は、Ｓ１０２で求めた、ベースレイヤの画角と最広画角の大きさから、最広画角映像に対する比が閾値以下の画角を有する狭画角映像を検出する。具体的には画角差判定部１０６は最広画角/ベースレイヤの画角≧Ｎか判別する。そして画角差判定部１０６は、比がＮ以上であればＳ１０４へ処理を進め、比がＮ未満であれば処理をＳ１０１へ戻す。あるいは、ベースレイヤの画角/最広画角≦Ｎを判別してもよい。本実施形態ではＮを２とし、大きさの比が２倍以上であるのか判定を行うが、Ｎの値は装置の処理能力が高いほど大きくするなど、条件に応じて適宜設定することができる。本実施形態では、最広画角/ベースレイヤの画角＝（４０９６×２１６０）/（６４０×４８０）＝２８．８となり、画角の比が２以上となり、ベースレイヤは狭画角レイヤである。
【００３７】
Ｓ１０４において、画角位置判定部１０７は、ベースレイヤの画角情報とエンハンスレイヤの画角のオフセット情報から狭画角レイヤの映像の中心位置を求める。具体的には、広画角レイヤの映像の左下の点を原点としたＸＹ座標系に狭画角レイヤの映像を配置し、狭画角レイヤの映像の中心位置を求める。中心位置の座標を（Ｘ１，Ｙ１）とすると、Ｘ１＝|ＬＨ|＋ＢＨ/２、Ｙ１＝|ＲＶ|＋ＢＶ/２として求めることができる。本実施形態では、（Ｘ１，Ｙ１）＝（１４１６，１２５０）となる。
【００３８】
Ｓ１０５において、画角位置判定部１０７は、同じ狭画角レイヤについて前SPSの情報から計算した映像の中心座標（Ｘ０，Ｙ０）と現在のSPSの情報から計算した中心座標（Ｘ１，Ｙ１）の移動距離を計算し、移動距離がＭ以上か判断する。具体的には
（Ｘ１−Ｘ０）２＋（Ｙ１−Ｙ０）２≧Ｍ２
が成り立つか判断する。
【００３９】
なお、移動距離の計算は、定期的に行うことができ、例えば狭画角レイヤの映像の各フレームに対して行っても良いし、数フレームごとに行ってもよい。従って、Ｓ１０５で求められる移動距離は、予め定められた一定期間における移動距離に相当する。
【００４０】
中心座標の移動距離がＭ以上の場合、画角位置判定部１０７は、その狭画角レイヤのレイヤ識別子dependency_idと現在の再生時間を狭画角チャプタ情報作成部１０８へ送信し、処理をＳ１０６に進める。ここで送信される現在の再生時間が、当該狭画角レイヤの映像に対するチャプタ情報に相当する。一方、中心座標の移動距離がＭ未満と判断されれば、画角位置判定部１０７は処理をＳ１０１へ戻す。本実施形態では、Ｍの値として狭画角映像の横のサイズとするが、Ｍの値は適宜設定することができる。
【００４１】
Ｓ１０６において、狭画角チャプタ情報作成部１０８は、画角位置判定部１０７から受け取った狭画角のレイヤ識別子dependency_idと、現在の再生時間を関連付けたチャプタ情報テーブルを作成し、チャプタ情報テーブルを記録部１０３へ記録する。
【００４２】
ここで、図６を参照して、狭画角チャプタ情報作成部１０８が作成するチャプタ情報テーブル５００について説明する。
チャプタ情報テーブル５００にはレイヤ識別子とチャプタ時間を関連付けて記録し、当該映像コンテンツについてのチャプタ情報を管理するテーブルである。レイヤ識別子フィールド５０１には対応するチャプタ情報（チャプタ時間）が適用されるレイヤの識別子が記録される。従って、全レイヤに共通したチャプタ情報であれば、レイヤ識別子フィールド５０１には映像ESに含まれる全レイヤのレイヤ識別子dependency_idが記録される。また、特定のレイヤの映像にのみ適用されるチャプタ情報については、該当するレイヤのレイヤ識別子のみがレイヤ識別子フィールド５０１に記録される。チャプタ時間フィールド５０２にはチャプタ情報として、チャプタの先頭を表す時間が映像コンテンツの先頭からの経過時間として記録される。
【００４３】
ここで、図７を参照して、共通チャプタ情報と狭画角チャプタ情報が作成される映像状態の例を説明する。共通チャプタ情報は複数のレイヤにおいて映像の内容が大きく変化した（シーンチェンジした）際に作成される。
【００４４】
最広画角レイヤの映像６０２が大きく変化した場合には、狭画角レイヤの映像も大きく変化するものとして、少なくとも狭画角レイヤに共通したチャプタ情報を作成する。あるいは、全レイヤに共通したチャプタ情報を作成してもよい。最広画角レイヤにおけるチャプタ情報の作成は、例えば従来の映像変化量識別技術を使い、最広画角レイヤの映像６０２を解析して映像の大きな変化が検出された際にチャプタ情報を生成する。例えばフレーム間の差の大きさが閾値以上である場合に映像が切り替わったものと検出してチャプタ情報を作成することができる。映像解析部１１０が映像の切り替わりを判定する処理は、映像の各フレームに対して行っても良いし、数フレームごとに行ってもよい。なお、最広画角レイヤの画角／レイヤの画角が一定の値未満であるレイヤについては、最広画角レイヤと同様に共通チャプタ情報が作成されてもよいし、チャプタ情報を作成しなくてもよい。
【００４５】
一方、上述したように、狭画角レイヤの映像に対するチャプタ情報は、例えば狭画角映像の位置が６０１から６０６に移動した場合のように、移動距離が閾値以上であることが検出された際に作成される。
【００４６】
本実施形態によれば、画角の異なる複数の映像が階層符号化された映像データのうち、最広画角レイヤの映像に対しては映像の解析に基づいてチャプタ情報を作成する。また、狭画角レイヤの映像については、最広画角レイヤと同じチャプタ情報に加え、映像を解析せずに一定期間での移動距離に基づいてチャプタ情報を作成する。そのため、個々の符号化レイヤについて映像を解析する場合に対して処理負荷を大幅に軽減しながら、各レイヤの映像に対するチャプタ情報を生成することが可能になる。
【００４７】
（他の実施形態）
上述の実施形態では、エンハンスレイヤが最広画角レイヤである２レイヤの階層符号化映像データに対して本発明を適用した例を説明した。しかし、ベースレイヤが最広画角レイヤであってもよい。この場合には、上述のＳ１０２の画角の判定において、例えばエンハンスレイヤの画角のオフセット情報の値が負であることを確認して、ベースレイヤがエンハンスレイヤより広画角と判断することができる。そして、エンハンスレイヤの映像の画角をＥＨ×ＥＶ、広画角レイヤの映像の画角をＢＨ×ＢＶとして求めればよい。
【００４８】
また、上述の実施形態では、エンハンスレイヤが１つである例について記載したが、複数のエンハンスレイヤが含まれる場合にも同様に対応できる。この場合、最広画角レイヤの映像に対する狭画角レイヤの映像の画角の比較処理を最広画角レイヤ以外のレイヤの数と等しい回数繰り返し行えばよい。
【００４９】
さらに、本実施形態では、SPS内のエンハンスの画角のオフセット情報を利用したが、映像ストリームデータ中の各スライスに関する符号化情報が格納されているスライスヘッダから、エンハンスレイヤの画角のオフセット情報を取得してもよい。
【００５０】
また、狭画角レイヤの映像のシーンチェンジの判断基準として、一定期間での映像の中心位置の移動距離を用いたが、狭画角レイヤの映像の移動距離が求められはどのような座標を用いてもよい。例えば、４角のいずれかの座標であってもよい。
また、レイヤ間で映像の画質、特に空間解像度が異なる場合には、各レイヤの映像の空間解像度を共通としてから、画角の大きさの比較を行えばよい。
【００５１】
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【技術分野】
【０００１】
本発明は、映像データのチャプタ情報を作成するチャプタ情報作成装置及びその制御方法に関し、特に映像コンテンツが階層符号化された映像データのチャプタ情報を作成するチャプタ情報作成装置及びその制御方法に関する。
【背景技術】
【０００２】
従来、ビデオカメラや放送波の録画装置などにおいて、記録中又は再生中の映像コンテンツのシーンの切り替わり位置などを検出し、検出した位置を特定する情報をチャプタ情報として作成することが知られている。チャプタ情報は、例えば映像コンテンツのデータに記録され、映像コンテンツの頭出し再生や編集操作などに利用される。
例えば、特許文献１には、映像コンテンツのフレーム間の差分から当該フレーム間のシーンの切り替わりを検出し、チャプタ情報を自動作成することが記載されている。
【０００３】
一方、映像コンテンツの階層符号化手法の例として、H.264/AVC(Advanced Video Coding)の拡張規格であるH.264/SVC(Scalable Video Coding)が規格化されている。階層符号化手法を用いると、一つの映像ストリームデータ中に複数の解像度の映像を階層化して符号化できる。例えば、同一の映像コンテンツについて、水平640画素、垂直480画素のSD解像度、水平4096画素、垂直2160画素の4K2K解像度など、複数の解像度の映像を階層化して１つのストリームデータに符号化することが出来る。
また、SD解像度の階層は顔のアップ、4K2K解像度の階層は人物の全体像など、階層間で画角を異ならせることも可能である。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００６−１０８７２９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
階層符号化された映像コンテンツに対して、従来のようにシーンの切り替わりを検出して自動的にチャプタ情報を作成する場合、階層間で画角が同じであれば、ある１つの階層で従来の手法を適用してチャプタ情報を作成し、全階層で共通利用することができる。
【０００６】
しかし、階層間で画角が異なる映像コンテンツの場合、ある階層でシーンが切り替わっても、他の階層ではシーンの切り替わりがない、といったことが起こりうる。例えば、高解像度の階層では複数の人物を含んだシーンの映像であり、低解像度の階層では複数の人物の一人の顔のアップの映像である場合を考える。この場合、高解像度の階層での映像に大きな変化が無くても、低解像度の階層が他の人物のアップに切り替わることが起こりうる。そのため、符号化階層で画角の異なる階層符号化がなされた映像コンテンツにおいては、画角の異なる階層ごとにチャプタ情報を作成する必要が生じる。
【０００７】
例えば特許文献１に記載された方法を用いてチャプタ情報を作成する場合、画角が異なる符号化階層ごとに映像を解析してシーンの切り替わりを検出する必要があり、処理が増加するという問題がある。特に、ある階層のシーン解析を行うにはその階層を復号する必要があるため、解析処理の増加以上に処理が増加する。
【０００８】
本発明はこのような従来技術の課題に鑑みなされたものである。本発明は、画角の異なる映像が階層符号化された映像データに対するチャプタ情報を作成するチャプタ情報作成装置およびその制御方法において、各階層の映像に対するチャプタ情報を簡便な方法で作成可能とする。
【課題を解決するための手段】
【０００９】
上述の目的は、任意の画角の映像と、当画角に含まれる一部の領域に対応する画角の映像とを含む複数の映像が階層符号化された映像データから、複数の映像の各々に対するチャプタ情報を作成するチャプタ情報作成装置であって、映像データに含まれる、複数の映像の画角に関する情報から、映像データに含まれる最も画角の広い最広画角の映像を判別する判別手段と、映像データに含まれる、複数の映像の画角に関する情報から、最広画角の映像の画角の大きさに対する比が閾値以下の画角の大きさである狭画角の映像を検出する検出手段と、最広画角の映像の画角に含まれる領域における、狭画角の映像の位置を定期的に算出する算出手段と、算出手段が狭画角の映像に対して定期的に算出した位置から、一定期間での位置の移動距離を算出し、移動距離が予め定めた閾値以上である場合に、狭画角の映像に対するチャプタ情報を作成する第１のチャプタ情報作成手段と、最広画角の映像を解析し、最広画角の映像の変化が検出されたことに応じて、最広画角の映像と、狭画角の映像に対するチャプタ情報を作成する第２のチャプタ情報作成手段と、を有することを特徴とするチャプタ情報作成装置によって達成される。
【発明の効果】
【００１０】
このような構成により、本発明によれば、画角の異なる映像が階層符号化された映像データに対するチャプタ情報を作成するチャプタ情報作成装置およびその制御方法において、各階層の映像に対するチャプタ情報を簡便な方法で作成することが可能になる。
【図面の簡単な説明】
【００１１】
【図１】本発明の実施形態に係るチャプタ情報作成装置の構成例を示すブロック図。
【図２】本発明で利用可能なH.264/SVC映像データストリームの構成例を示す図。
【図３】階層符号化される、画角が異なる映像の構成例を示す図。
【図４】本発明の実施形態における画角情報の具体例を示す図。
【図５】本発明の実施形態のチャプタ情報作成装置における狭画角画像に対するチャプタ情報作成動作を説明するフローチャート。
【図６】本発明の実施形態のチャプタ情報作成装置が作成するチャプタ情報テーブルの例を示す図。
【図７】狭画角映像の切り替わりの例を説明する図。
【発明を実施するための形態】
【００１２】
以下、本発明の例示的な実施形態について、図面を参照して詳細に説明する。
図１は、本発明の実施形態に係るチャプタ情報作成装置１００の構成例を示すブロック図である。なお、本実施形態に係るチャプタ情報作成装置１００は録画機器であるものとして説明するが、本発明は階層符号化された映像コンテンツを復号可能な任意の装置において実施可能である。ビデオレコーダやビデオカメラのような録画装置はもちろん、ビデオディスクプレーヤやメディアプレーヤのような、記録媒体に蓄積された符号化映像の再生装置や、これら録画装置や再生装置と同様の機能を有する任意の機器において好適に実施しうる。
【００１３】
図において、ＵＩ(User Interface)制御部１０１は、キーやボタン（図示せず）に対するユーザ操作を受信し、受信内容に基づいて録画制御部１０２の制御を行う。
録画制御部１０２は、ＵＩ制御部１０１の制御に基づき、外部から入力される映像コンテンツデータを記録部１０３に記録する。
【００１４】
本実施形態において、外部から入力される映像データはMoving Picture Experts Group-2 Transport Stream （以下、MPEG2 TS）形式のストリームデータであるとする。また、映像データには、音声データが音声Elementary Stream（以下音声ES）として、また階層符号化された映像データが映像Elementary Stream（以下映像ES）として多重化されているものとする。なお、映像ESは例えばH.264/SVC形式であるとする。階層符号化された映像データには、ベースレイヤと少なくとも１つのエンハンスレイヤが含まれる。ベースレイヤの映像とエンハンスレイヤの映像とが共通した画角を有する場合、ベースレイヤは映像コンテンツを再生するために最低限必要な情報を含み、エンハンスレイヤはベースレイヤによる映像の品質を向上させるためのデータを含む。本実施形態においては、少なくとも２つのレイヤ（ベースレイヤを含んでも含まなくてもよい）に、異なる画角の映像が符号化されているものとする。そして、異なる画角の映像は、最も画角の広い映像（最広画角映像）と、最広画角映像の一部の領域に対応する画角を有する映像であるものとする。さらに、説明及び理解を容易にするため、映像の空間解像度は各レイヤで同等であるものとする。
【００１５】
なお、録画制御部１０２が受信する映像コンテンツデータは、放送、記録媒体、ネットワークなどの各種伝送媒体を介して入力されてよい。放送により映像コンテンツデータが入力される場合には、例えば前段におけるチューナ（不図示）によって選局がなされているものとする。あるいは、録画制御部１０２がチューナを有しており、ＵＩ制御部１０１からのチャンネル選択指示によって特定のチャンネルのストリームデータを抽出してもよい。
【００１６】
録画制御部１０２はさらに、記録部１０３に記録した映像コンテンツデータを信号分離部１０４に出力する。
記録部１０３はハードディスクドライブ、Blu-rayディスクドライブ、半導体記憶装置などの記憶装置に、録画制御部１０２から入力されたMPEG2-TSデータを記録する。さらに、後述する狭画角チャプタ情報作成部１０８と共通チャプタ情報作成部１１１が作成したチャプタ情報テーブルを記憶装置に記録する。
【００１７】
信号分離部１０４は、録画制御部１０２から入力されたMPEG2-TSデータを映像ESと音声ESデータに分離し、映像ESデータを映像デコード部１０９と画角情報抽出部１０５へ、音声ESを音声デコード部１１２へそれぞれ出力する。
【００１８】
画角情報抽出部１０５は、信号分離部１０４から入力された映像ESに含まれる、符号化に関する情報から、階層符号化のベースレイヤの映像の画角情報、エンハンスレイヤの映像の画角のオフセット情報（ベースレイヤの画角との差分情報）を抽出する。このように、画角情報は、ベースレイヤという特定のレイヤの映像の画角情報と、特定のレイヤの映像以外のレイヤ（エンハンスレイヤ）の映像の画角情報とを有している。なお、後述するように、オフセット情報は、ベースレイヤの映像における、エンハンスレイヤの映像の相対的な位置を特定する情報である。具体的には、画角情報抽出部１０５は、映像ESのSPS(Sequence Parameter Set)からこれらの情報を抽出する。さらに画角情報抽出部１０５は、AU(Access Unit)からレイヤ識別子dependency_idを抽出する。画角情報抽出部１０５は、抽出したベースレイヤの画角情報、エンハンスレイヤの画角のオフセット情報、レイヤ識別子、を画角差判定部１０６へ出力する。
【００１９】
画角差判定部１０６は、画角情報抽出部１０５から入力されたベースレイヤの画角情報、エンハンスレイヤの画角のオフセット情報、レイヤ識別子を基に、エンハンスレイヤの画角情報を計算し、各レイヤの画角の大小を判定する。
【００２０】
画角差判定部１０６は、
レイヤの画角／最広画角レイヤの画角
が予め定められた閾値以下の場合は、ベースレイヤの画角情報、エンハンスレイヤの画角のオフセット情報、レイヤ識別子を画角位置判定部１０７へ出力する。さらに画角差判定部１０６は、最広画角レイヤ識別子を映像デコード部１０９へ出力する。このように、画角差判定部１０６は、レイヤのうち、最広画角レイヤの画角に対する比が閾値以下のレイヤ（狭画角レイヤ）を判別して画角位置判定部１０７に通知する。閾値の設定により、複数のレイヤのうち、移動距離によってチャプタを付与するレイヤ（画角）の範囲を変更することができる。
【００２１】
画角位置判定部１０７は、画角差判定部１０６からのベースレイヤの画角情報、エンハンスレイヤの画角のオフセット情報、最広画角レイヤ識別子を基に、最広画角レイヤの画角に対する比が閾値以下の画角の狭画角レイヤの映像の中心位置を順次算出する。そして、順次算出した中心位置から、一定時間における狭画角レイヤの中心の移動距離が予め定めた閾値以上ならば、画角位置判定部１０７は狭画角レイヤの映像のシーンが切り替わったと判断する。そして、画角位置判定部１０７は、狭画角チャプタ情報作成部１０８へ狭画角レイヤ識別子と、時間情報を出力する。この時間情報は、例えば最新の中心位置を算出した映像フレームに対応する時間情報である。
【００２２】
第１のチャプタ情報作成手段としての狭画角チャプタ情報作成部１０８は、画角位置判定部１０７から入力された狭画角レイヤ識別子、時間情報から、レイヤ識別子と時間情報を関連付けてチャプタ情報テーブルを作成し、記録部１０３へ保存する。
【００２３】
映像デコード部１０９は信号分離部１０４から入力された映像ESと画角差判定部１０６から入力された最広画角レイヤ識別子を基に、最広画角レイヤのデコードを行い、映像データを作成する。そして、映像デコード部１０９は、映像データを例えば表示装置である外部装置と、第２のチャプタ情報作成手段としての映像解析部１１０へ出力する。
【００２４】
映像解析部１１０は、従来の映像変化量識別技術を使い、映像デコード部１０９から入力された映像データを解析し、例えばフレーム間の差の大きさが閾値以上である場合に映像が切り替わったものと検出し、時間情報を共通チャプタ情報作成部１１１へ出力する。映像解析部１１０が映像の切り替わりを判定する処理は、映像の各フレームに対して行っても良いし、数フレームごとに行ってもよい。
【００２５】
共通チャプタ情報作成部１１１は、映像解析部１１０から入力された時間情報を、最広画角レイヤと狭画角レイヤのレイヤ識別子と関連付けてチャプタ情報テーブルを作成する。共通チャプタ情報作成部は、作成したチャプタ情報テーブルを記録部１０３へ保存する。なお、共通チャプタ情報作成部１１１は、映像解析部１１０から入力された時間情報を全てのレイヤ識別子と関連付けてチャプタ情報テーブルを作成してもよい。
音声デコード部１１２は、信号分離部１０４から入力された音声ＥＳをデコードし、音声データを作成し、音声データをスピーカーに出力する。
【００２６】
図２を参照して、本実施形態で利用するH.264/SVCで符号化された映像データストリーム２００の構成について説明する。ここでは、映像データストリーム２００が、ベースレイヤと１つのエンハンスレイヤの２階層に階層符号化されているものとする。映像データストリーム２００において、SPS（Sequence Parameter Set）２０１は、複数のピクチャをまとめたシーケンス全体の符号化に係る情報が含まれたヘッダである。また、PPS（Picture Parameter Set）２０２は、ピクチャ全体に係る符号化情報が含まれたヘッダである。AU（Access Unit）２０３には、複数のスライスデータがまとめられている。
【００２７】
スライスデータは、スライスの符号化データがまとめられたNAL(Network Abstraction Layer)ユニットと呼ばれる単位データの一つである。スライスデータのヘッダとしてプリフィックスNALユニットと呼ばれる拡張ヘッダが付加され、レイヤ識別子としての情報であるdependency_idが記述されている。dependency_id を参照することでレイヤを選択することができる。SPS２０１にはそのレイヤに符号化されている映像の垂直方向及び水平方向画角に関する情報が格納される。ベースレイヤのSPS0 ２０４にはベースレイヤの映像の垂直画角及び水平画角に関する情報が格納される。エンハンスレイヤのSPS1 ２０５にはベースレイヤの映像に対する垂直画角及び水平画角の差に関するオフセット情報が記述されている。SPS２０１に含まれる情報の詳細については後述する。
【００２８】
図３を参照して、本実施形態の映像データストリーム２００に符号化されている映像コンテンツの構成例について説明する。上述の通り、本実施形態で用いる映像コンテンツはベースレイヤと１つのエンハンスレイヤの２階層に階層符号化されている。そして、ベースレイヤはＳＤ解像度、エンハンスレイヤは4K2K解像度と解像度が異なるほか、画角も異なる。具体的には、エンハンスレイヤの映像３０２が人物３０３、人物３０４、人物３０５を含んだ全景映像、ベースレイヤの映像３０１が人物３０３の顔部分のアップ映像であるとする。従って、エンハンスレイヤが最広画角レイヤになる。また、ベースレイヤの画角は、エンハンスレイヤの画角に対する比が閾値以下であるものとする。従って、ベースレイヤは狭画角レイヤである。また、狭画角映像は最広画角の映像の一部の領域であり、最広画角映像とは包含関係にある。
【００２９】
このような映像コンテンツを階層符号化した際の各レイヤの画角に関する情報について、図４を参照して説明する。ここでは、各レイヤの映像の縦横のサイズ（画素数やマクロブロック数など）がそれぞれ垂直画角および水平画角に対応し、画角に関する情報として利用できるものとする。また、各レイヤの映像の縦横比が共通とは限らないため、レイヤ間の画角の大小を比較する場合には、各レイヤの映像に含まれる画素やマクロブロックの総数をその映像の画角の大きさとして用いる。
【００３０】
以下の説明では、映像のサイズを画素数で表すものとする。この場合、ベースレイヤの映像４０１について、横のサイズＢＨ＝６４０、縦のサイズＶＨ＝４８０である。また、エンハンスレイヤの映像４０２の画角のオフセット情報は、ベースレイヤの映像４０１に対するエンハンスレイヤの映像４０２の左上角の位置の差と右下角の位置の差の組み合わせにより表されるとする。オフセット情報が画素数で表されるとすると、図３の映像構成におけるオフセット情報は、左上角のオフセット情報４０３（ＬＨ，ＬＶ）＝（１０９６，６６０）、右下角のオフセット情報４０４（ＲＨ，ＲＶ）＝（２３６０，１０２０）である。なお、ＬＨ，ＲＨは水平オフセット、ＬＶ，ＲＶは垂直オフセットである。オフセットはベースレイヤの周縁から外側に向かって正の値をとるものとする。従って、少なくとも、ＬＨ，ＬＶ，ＲＨ，ＲＶがいずれも負の場合には、サイズを比較するまでもなくエンハンスレイヤの方が狭画角であることがわかる。また、本実施形態のように、狭画角レイヤの映像が最広画角のレイヤの映像の一部である場合には、オフセット情報のいずれかに負の値が含まれているエンハンスレイヤはベースレイヤよりも狭画角であると判別できる。
【００３１】
図５のフローチャートを用いて、本実施形態のチャプタ情報作成装置における、狭画角映像に対するチャプタ情報作成動作について説明する。
Ｓ１０１において画角情報抽出部１０５は、映像ESを信号分離部１０４から受け取り、AUに記述されているレイヤ識別子dependency_idを抽出する。また、画角情報抽出部１０５は、映像ESのSPS２０１からベースレイヤの画角情報（ＢＨ，ＢＶ）＝（６４０，４８０）とエンハンスレイヤの画角のオフセット情報（ＬＨ，ＬＶ）＝（１０９６，６６０）、（ＲＨ，ＲＶ）＝（２３６０，１０２０）を抽出する。そして、画角情報抽出部１０５は抽出したベースレイヤの画角情報とエンハンスレイヤの画角のオフセット情報、レイヤ識別子を画角差判定部１０６へ出力する。
【００３２】
Ｓ１０２において画角差判定部１０６は、画角情報抽出部１０５から受け取ったベースレイヤの画角情報と個々のエンハンスレイヤの画角のオフセット情報、レイヤ識別子から個々のエンハンスレイヤの映像サイズを画角の大きさとして求める。ここでは映像の大きさの単位が画素であるため、画角の大きさは縦の画素数×横の画素数として求められる。そして、ベースレイヤの映像の縦、横のサイズと、個々のエンハンスレイヤの映像の縦、横のサイズから、最広画角レイヤを判別する。
【００３３】
図３の例のように狭画角レイヤの映像が最広画角レイヤの映像の一部である場合は、正の値のオフセット情報を有するエンハンスレイヤの映像はベースレイヤの映像より広画角である。同様に、負の値のオフセット値を有するエンハンスレイヤの映像はベースレイヤの映像より狭画角である。
【００３４】
図３の例の映像では、オフセット情報は正であり、ベースレイヤと１つのエンハンスレイヤのみからなるため、画角差判定部１０６は、エンハンスレイヤが広画角（最広画角）レイヤと判断する。
【００３５】
また、画角差判定部１０６は、エンハンスレイヤの横のサイズＥＨ＝ＢＨ＋ＬＨ＋ＲＨ、エンハンスレイヤの縦のサイズＥＶ＝ＢＶ＋ＬＶ＋ＲＶを算出する。図３の例では、（ＥＨ、ＥＶ）＝（４０９６、２１６０）である。そして、画角差判定部１０６は、ベースレイヤの映像の画角としてＢＨ×ＢＶを、またエンハンスレイヤの映像の画角（最広画角）としてＥＨ×ＥＶをそれぞれ求める。
【００３６】
Ｓ１０３において、画角差判定部１０６は、Ｓ１０２で求めた、ベースレイヤの画角と最広画角の大きさから、最広画角映像に対する比が閾値以下の画角を有する狭画角映像を検出する。具体的には画角差判定部１０６は最広画角/ベースレイヤの画角≧Ｎか判別する。そして画角差判定部１０６は、比がＮ以上であればＳ１０４へ処理を進め、比がＮ未満であれば処理をＳ１０１へ戻す。あるいは、ベースレイヤの画角/最広画角≦Ｎを判別してもよい。本実施形態ではＮを２とし、大きさの比が２倍以上であるのか判定を行うが、Ｎの値は装置の処理能力が高いほど大きくするなど、条件に応じて適宜設定することができる。本実施形態では、最広画角/ベースレイヤの画角＝（４０９６×２１６０）/（６４０×４８０）＝２８．８となり、画角の比が２以上となり、ベースレイヤは狭画角レイヤである。
【００３７】
Ｓ１０４において、画角位置判定部１０７は、ベースレイヤの画角情報とエンハンスレイヤの画角のオフセット情報から狭画角レイヤの映像の中心位置を求める。具体的には、広画角レイヤの映像の左下の点を原点としたＸＹ座標系に狭画角レイヤの映像を配置し、狭画角レイヤの映像の中心位置を求める。中心位置の座標を（Ｘ１，Ｙ１）とすると、Ｘ１＝|ＬＨ|＋ＢＨ/２、Ｙ１＝|ＲＶ|＋ＢＶ/２として求めることができる。本実施形態では、（Ｘ１，Ｙ１）＝（１４１６，１２５０）となる。
【００３８】
Ｓ１０５において、画角位置判定部１０７は、同じ狭画角レイヤについて前SPSの情報から計算した映像の中心座標（Ｘ０，Ｙ０）と現在のSPSの情報から計算した中心座標（Ｘ１，Ｙ１）の移動距離を計算し、移動距離がＭ以上か判断する。具体的には
（Ｘ１−Ｘ０）２＋（Ｙ１−Ｙ０）２≧Ｍ２
が成り立つか判断する。
【００３９】
なお、移動距離の計算は、定期的に行うことができ、例えば狭画角レイヤの映像の各フレームに対して行っても良いし、数フレームごとに行ってもよい。従って、Ｓ１０５で求められる移動距離は、予め定められた一定期間における移動距離に相当する。
【００４０】
中心座標の移動距離がＭ以上の場合、画角位置判定部１０７は、その狭画角レイヤのレイヤ識別子dependency_idと現在の再生時間を狭画角チャプタ情報作成部１０８へ送信し、処理をＳ１０６に進める。ここで送信される現在の再生時間が、当該狭画角レイヤの映像に対するチャプタ情報に相当する。一方、中心座標の移動距離がＭ未満と判断されれば、画角位置判定部１０７は処理をＳ１０１へ戻す。本実施形態では、Ｍの値として狭画角映像の横のサイズとするが、Ｍの値は適宜設定することができる。
【００４１】
Ｓ１０６において、狭画角チャプタ情報作成部１０８は、画角位置判定部１０７から受け取った狭画角のレイヤ識別子dependency_idと、現在の再生時間を関連付けたチャプタ情報テーブルを作成し、チャプタ情報テーブルを記録部１０３へ記録する。
【００４２】
ここで、図６を参照して、狭画角チャプタ情報作成部１０８が作成するチャプタ情報テーブル５００について説明する。
チャプタ情報テーブル５００にはレイヤ識別子とチャプタ時間を関連付けて記録し、当該映像コンテンツについてのチャプタ情報を管理するテーブルである。レイヤ識別子フィールド５０１には対応するチャプタ情報（チャプタ時間）が適用されるレイヤの識別子が記録される。従って、全レイヤに共通したチャプタ情報であれば、レイヤ識別子フィールド５０１には映像ESに含まれる全レイヤのレイヤ識別子dependency_idが記録される。また、特定のレイヤの映像にのみ適用されるチャプタ情報については、該当するレイヤのレイヤ識別子のみがレイヤ識別子フィールド５０１に記録される。チャプタ時間フィールド５０２にはチャプタ情報として、チャプタの先頭を表す時間が映像コンテンツの先頭からの経過時間として記録される。
【００４３】
ここで、図７を参照して、共通チャプタ情報と狭画角チャプタ情報が作成される映像状態の例を説明する。共通チャプタ情報は複数のレイヤにおいて映像の内容が大きく変化した（シーンチェンジした）際に作成される。
【００４４】
最広画角レイヤの映像６０２が大きく変化した場合には、狭画角レイヤの映像も大きく変化するものとして、少なくとも狭画角レイヤに共通したチャプタ情報を作成する。あるいは、全レイヤに共通したチャプタ情報を作成してもよい。最広画角レイヤにおけるチャプタ情報の作成は、例えば従来の映像変化量識別技術を使い、最広画角レイヤの映像６０２を解析して映像の大きな変化が検出された際にチャプタ情報を生成する。例えばフレーム間の差の大きさが閾値以上である場合に映像が切り替わったものと検出してチャプタ情報を作成することができる。映像解析部１１０が映像の切り替わりを判定する処理は、映像の各フレームに対して行っても良いし、数フレームごとに行ってもよい。なお、最広画角レイヤの画角／レイヤの画角が一定の値未満であるレイヤについては、最広画角レイヤと同様に共通チャプタ情報が作成されてもよいし、チャプタ情報を作成しなくてもよい。
【００４５】
一方、上述したように、狭画角レイヤの映像に対するチャプタ情報は、例えば狭画角映像の位置が６０１から６０６に移動した場合のように、移動距離が閾値以上であることが検出された際に作成される。
【００４６】
本実施形態によれば、画角の異なる複数の映像が階層符号化された映像データのうち、最広画角レイヤの映像に対しては映像の解析に基づいてチャプタ情報を作成する。また、狭画角レイヤの映像については、最広画角レイヤと同じチャプタ情報に加え、映像を解析せずに一定期間での移動距離に基づいてチャプタ情報を作成する。そのため、個々の符号化レイヤについて映像を解析する場合に対して処理負荷を大幅に軽減しながら、各レイヤの映像に対するチャプタ情報を生成することが可能になる。
【００４７】
（他の実施形態）
上述の実施形態では、エンハンスレイヤが最広画角レイヤである２レイヤの階層符号化映像データに対して本発明を適用した例を説明した。しかし、ベースレイヤが最広画角レイヤであってもよい。この場合には、上述のＳ１０２の画角の判定において、例えばエンハンスレイヤの画角のオフセット情報の値が負であることを確認して、ベースレイヤがエンハンスレイヤより広画角と判断することができる。そして、エンハンスレイヤの映像の画角をＥＨ×ＥＶ、広画角レイヤの映像の画角をＢＨ×ＢＶとして求めればよい。
【００４８】
また、上述の実施形態では、エンハンスレイヤが１つである例について記載したが、複数のエンハンスレイヤが含まれる場合にも同様に対応できる。この場合、最広画角レイヤの映像に対する狭画角レイヤの映像の画角の比較処理を最広画角レイヤ以外のレイヤの数と等しい回数繰り返し行えばよい。
【００４９】
さらに、本実施形態では、SPS内のエンハンスの画角のオフセット情報を利用したが、映像ストリームデータ中の各スライスに関する符号化情報が格納されているスライスヘッダから、エンハンスレイヤの画角のオフセット情報を取得してもよい。
【００５０】
また、狭画角レイヤの映像のシーンチェンジの判断基準として、一定期間での映像の中心位置の移動距離を用いたが、狭画角レイヤの映像の移動距離が求められはどのような座標を用いてもよい。例えば、４角のいずれかの座標であってもよい。
また、レイヤ間で映像の画質、特に空間解像度が異なる場合には、各レイヤの映像の空間解像度を共通としてから、画角の大きさの比較を行えばよい。
【００５１】
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【特許請求の範囲】
【請求項１】
任意の画角の映像と、当該画角に含まれる一部の領域に対応する画角の映像とを含む複数の映像が階層符号化された映像データから、前記複数の映像の各々に対するチャプタ情報を作成するチャプタ情報作成装置であって、
前記映像データに含まれる、前記複数の映像の画角に関する情報から、前記映像データに含まれる最も画角の広い最広画角の映像を判別する判別手段と、
前記映像データに含まれる、前記複数の映像の画角に関する情報から、前記最広画角の映像の画角の大きさに対する比が閾値以下の画角の大きさである狭画角の映像を検出する検出手段と、
前記最広画角の映像の画角に含まれる領域における、前記狭画角の映像の位置を定期的に算出する算出手段と、
前記算出手段が前記狭画角の映像に対して定期的に算出した前記位置から、一定期間での前記位置の移動距離を算出し、前記移動距離が予め定めた閾値以上である場合に、前記狭画角の映像に対するチャプタ情報を作成する第１のチャプタ情報作成手段と、
前記最広画角の映像を解析し、前記最広画角の映像の変化が検出されたことに応じて、前記最広画角の映像と、前記狭画角の映像に対するチャプタ情報を作成する第２のチャプタ情報作成手段と、
を有することを特徴とするチャプタ情報作成装置。
【請求項２】
前記複数の映像の画角に関する情報が、前記複数の映像の特定の１つの映像の大きさを示す情報と、前記特定の１つの映像以外の映像の、前記特定の１つの映像に対する相対的な位置を特定するオフセット情報とを有することを特徴とする請求項１記載のチャプタ情報作成装置。
【請求項３】
前記算出手段が、前記狭画角の映像の中心位置の座標を前記位置として算出することを特徴とする請求項１又は請求項２に記載のチャプタ情報作成装置。
【請求項４】
任意の画角の映像と、当該画角に含まれる一部の領域に対応する画角の映像とを含む複数の映像が階層符号化された映像データから、前記複数の映像の各々に対するチャプタ情報を作成するチャプタ情報作成装置の制御方法であって、
前記映像データに含まれる、前記複数の映像の画角に関する情報から、前記映像データに含まれる最も画角の広い最広画角の映像を判別手段が判別する判別ステップと、
検出手段が、前記映像データに含まれる、前記複数の映像の画角に関する情報から、前記最広画角の映像の画角の大きさに対する比が閾値以下の画角の大きさである狭画角の映像を検出する検出ステップと、
算出手段が、前記最広画角の映像の画角に含まれる領域における、前記狭画角の映像の位置を定期的に算出する算出ステップと、
第１のチャプタ情報作成手段が、前記算出ステップが前記狭画角の映像に対して定期的に算出した前記位置から、一定期間での前記位置の移動距離を算出し、前記移動距離が予め定めた閾値以上である場合に、前記狭画角の映像に対するチャプタ情報を作成する第１のチャプタ情報作成ステップと、
第２のチャプタ情報作成手段が、前記最広画角の映像を解析し、前記最広画角の映像の変化が検出されたことに応じて、前記最広画角の映像と、前記狭画角の映像に対するチャプタ情報を作成する第２のチャプタ情報作成ステップと、
を有することを特徴とするチャプタ情報作成装置。
【請求項５】
コンピュータを、請求項１乃至請求項３のいずれか１項に記載のチャプタ情報作成装置の各手段として機能させるためのプログラム。
【請求項１】
任意の画角の映像と、当該画角に含まれる一部の領域に対応する画角の映像とを含む複数の映像が階層符号化された映像データから、前記複数の映像の各々に対するチャプタ情報を作成するチャプタ情報作成装置であって、
前記映像データに含まれる、前記複数の映像の画角に関する情報から、前記映像データに含まれる最も画角の広い最広画角の映像を判別する判別手段と、
前記映像データに含まれる、前記複数の映像の画角に関する情報から、前記最広画角の映像の画角の大きさに対する比が閾値以下の画角の大きさである狭画角の映像を検出する検出手段と、
前記最広画角の映像の画角に含まれる領域における、前記狭画角の映像の位置を定期的に算出する算出手段と、
前記算出手段が前記狭画角の映像に対して定期的に算出した前記位置から、一定期間での前記位置の移動距離を算出し、前記移動距離が予め定めた閾値以上である場合に、前記狭画角の映像に対するチャプタ情報を作成する第１のチャプタ情報作成手段と、
前記最広画角の映像を解析し、前記最広画角の映像の変化が検出されたことに応じて、前記最広画角の映像と、前記狭画角の映像に対するチャプタ情報を作成する第２のチャプタ情報作成手段と、
を有することを特徴とするチャプタ情報作成装置。
【請求項２】
前記複数の映像の画角に関する情報が、前記複数の映像の特定の１つの映像の大きさを示す情報と、前記特定の１つの映像以外の映像の、前記特定の１つの映像に対する相対的な位置を特定するオフセット情報とを有することを特徴とする請求項１記載のチャプタ情報作成装置。
【請求項３】
前記算出手段が、前記狭画角の映像の中心位置の座標を前記位置として算出することを特徴とする請求項１又は請求項２に記載のチャプタ情報作成装置。
【請求項４】
任意の画角の映像と、当該画角に含まれる一部の領域に対応する画角の映像とを含む複数の映像が階層符号化された映像データから、前記複数の映像の各々に対するチャプタ情報を作成するチャプタ情報作成装置の制御方法であって、
前記映像データに含まれる、前記複数の映像の画角に関する情報から、前記映像データに含まれる最も画角の広い最広画角の映像を判別手段が判別する判別ステップと、
検出手段が、前記映像データに含まれる、前記複数の映像の画角に関する情報から、前記最広画角の映像の画角の大きさに対する比が閾値以下の画角の大きさである狭画角の映像を検出する検出ステップと、
算出手段が、前記最広画角の映像の画角に含まれる領域における、前記狭画角の映像の位置を定期的に算出する算出ステップと、
第１のチャプタ情報作成手段が、前記算出ステップが前記狭画角の映像に対して定期的に算出した前記位置から、一定期間での前記位置の移動距離を算出し、前記移動距離が予め定めた閾値以上である場合に、前記狭画角の映像に対するチャプタ情報を作成する第１のチャプタ情報作成ステップと、
第２のチャプタ情報作成手段が、前記最広画角の映像を解析し、前記最広画角の映像の変化が検出されたことに応じて、前記最広画角の映像と、前記狭画角の映像に対するチャプタ情報を作成する第２のチャプタ情報作成ステップと、
を有することを特徴とするチャプタ情報作成装置。
【請求項５】
コンピュータを、請求項１乃至請求項３のいずれか１項に記載のチャプタ情報作成装置の各手段として機能させるためのプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【公開番号】特開２０１１−１９９５２５（Ｐ２０１１−１９９５２５Ａ）
【公開日】平成２３年１０月６日（２０１１．１０．６）
【国際特許分類】
【出願番号】特願２０１０−６３２４４（Ｐ２０１０−６３２４４）
【出願日】平成２２年３月１８日（２０１０．３．１８）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
【公開日】平成２３年１０月６日（２０１１．１０．６）
【国際特許分類】
【出願日】平成２２年３月１８日（２０１０．３．１８）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
[ Back to top ]