再生装置及び再生方法
【課題】複数視点映像又は任意視点映像のコンテンツの再生を停止した後、再生を再開する際に、適切な視点で映像を再生可能な再生装置及び再生方法を提供すること。
【解決手段】記録再生装置１は、複数視点映像又は任意視点映像を再生する機能を有する。視点情報記憶部１９は映像の再生が中断された場合に、中断前に指定されていた第１の視点の情報を記憶する。制御部１７は、映像の再生を再開する際、中断期間に行われたユーザの操作指示動作や中断期間の長さに応じて、第１の視点又は再生映像について予め指定される第２の視点を選択し、当該視点の映像を再生するように制御する。制御部１７は視点切替制御部１１に対して視点切替を指示し、ＧＵＩ制御部１２には、ユーザへの視点切替通知を出すように指示する。
【解決手段】記録再生装置１は、複数視点映像又は任意視点映像を再生する機能を有する。視点情報記憶部１９は映像の再生が中断された場合に、中断前に指定されていた第１の視点の情報を記憶する。制御部１７は、映像の再生を再開する際、中断期間に行われたユーザの操作指示動作や中断期間の長さに応じて、第１の視点又は再生映像について予め指定される第２の視点を選択し、当該視点の映像を再生するように制御する。制御部１７は視点切替制御部１１に対して視点切替を指示し、ＧＵＩ制御部１２には、ユーザへの視点切替通知を出すように指示する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数視点又は任意視点の映像データを再生する再生装置及び再生方法に関するものである。
【背景技術】
【０００２】
デジタル放送を受信可能なテレビ（デジタルテレビジョン装置）が普及している。現在、本格的なデジタル放送時代を迎え、様々な次世代放送システムの研究開発が行われている。その中の１つとして、複数のカメラの視点からを視聴者が視点を選択できる「複数視点映像」（例えば、多視点映像）や、視点を任意に指示できる「任意視点映像」の表示技術が注目されている。特許文献１には、放送用の映像と該映像に対する視点情報を含む放送ストリームを受信する装置が開示されている。この装置では、任意視点映像の配信要求を行う際に、任意視点映像の視点の初期値として放送ストリームから抽出した視点情報を利用する。
今後、次世代のデジタル放送サービスとして、多視点映像や任意視点映像の提供が普及すると予想され、次世代の記録再生装置では、多視点映像や任意視点映像に係るデータを記録再生可能な装置が要望される。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００７―１５０７４７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
複数視点映像や任意視点映像の再生装置において、映像データを再生した後、中断期間をおいて再生を再開する場合、視聴者が中断期間中に別の番組やコンテンツを視聴してしまうと以下のような問題が起こり得る。例えば、視聴者が中断後に再生した番組が多視点映像の番組であることを忘れてしまう可能性や、多視点映像の再生画面を通常の放送番組の視点と勘違いして視聴しつづけてしまうといった可能性がある。その結果、視聴者は通常放送の視聴や、他の多視点映像を見る機会を見逃してしまい、多視点映像放送サービスを有効に利用できなくなる虞がある。また視点によっては、全体の様子を視聴者が把握できなくなる視点もあり、中断期間が長いほど、番組全体の流れや時間的な前後関係がわからなくなってしまうことも起こり得る。
【０００５】
そこで本発明は、複数視点映像又は任意視点映像のコンテンツの再生を停止した後、再生を再開する際に、適切な視点で映像を再生可能な再生装置及び再生方法の提供を目的とする。
【課題を解決するための手段】
【０００６】
上述した課題を解決するために本発明に係る装置は、複数視点映像又は任意視点映像のコンテンツを視聴する際に、指定された視点の映像を再生可能な再生装置であって、前記映像の再生が中断された場合に、中断前に指定されていた第１の視点の情報を記憶する視点情報記憶手段と、前記映像の再生を再開する際、再生の中断期間に他のコンテンツを視聴する操作指示動作が行われたか否かを判定し、前記操作指示動作が行われた場合、前記映像について予め指定される第２の視点の映像を再生し、前記操作指示動作が行われない場合、前記視点情報記憶手段から読み出した情報の示す前記第１の視点の映像を再生するように制御する制御手段と、を備える。
【発明の効果】
【０００７】
本発明によれば、映像の再生を再開する際に、適切な視点で映像を再生することが可能となる。
【図面の簡単な説明】
【０００８】
【図１】図２及び３と併せて本発明の第１実施形態に係る記録再生装置の構成例を示す機能ブロック図である。
【図２】コンテンツ再生時の出力となる映像の視点切替制御を説明するフローチャートである。
【図３】視点情報をユーザに通知するＧＵＩ表示例を示す図である。
【図４】本発明の第２実施形態における映像の視点切替制御を説明するフローチャートである。
【図５】本発明の第３実施形態における映像の視点切替制御を説明するフローチャートである。
【図６】本発明の第４実施形態における映像の視点切替制御を説明するフローチャートである。
【図７】本発明の第５実施形態における映像の視点切替制御を説明するフローチャートである。
【図８】本発明の第６実施形態における映像の視点切替制御を説明するフローチャートである。
【発明を実施するための形態】
【０００９】
以下、本発明の各実施形態について、図面を参照しながら説明する。なお、以下では、複数視点映像の一例としての多視点映像、又は任意視点映像の処理装置及び方法を説明する。
【００１０】
（第１実施形態）
図１は本発明の第１実施形態に係る記録再生装置の構成例を示す機能ブロック図である。本装置は複数視点映像や任意視点映像に係るデータを記録して再生するが、本発明は複数視点映像や任意視点映像を再生可能な各種装置に適用可能である。第1実施形態では、映像の再生が中断した場合、再生を再開する際、中断前に指定されていた第１の視点又は再生映像について予め指定される第２の視点が選択される。
【００１１】
記録再生装置１は、映像データの入出力処理に関するインターフェイス（以下、「Ｉ／Ｆ」と記す）及びユーザ操作のためのユーザＩ／Ｆを有する。ＲＦ（Radio frequency）Ｉ／Ｆ部２は、放送波のＲＦ信号を受信するためのインターフェイスであり、不図示の外部アンテナからＲＦ信号を受信する。通信Ｉ／Ｆ部３は、インターネット等のネットワークを通じてデータを受信し又は放送局のサーバからネットワーク経由で送られてくる、放送番組の映像データ及びその他の情報を受信するためのインターフェイスである。通信Ｉ／Ｆ部３は制御部１７と接続されており、ネットワークからの制御データを制御部１７に転送する。また通信Ｉ／Ｆ部３は、制御部１７からのデータを、ネットワーク経由で放送局のサーバに送信する。
【００１２】
受信部４は、ＲＦＩ／Ｆ部２及び通信Ｉ／Ｆ部３から送られてきた信号を、ＴＳ（トランスポートストリーム）信号へ戻す。また受信部４は制御部１７の指示に従って、受信する放送局のチャンネルを選択する。
ＤＥＭＵＸ（デマルチプレクサ）部５は、ＴＳ信号から映像信号及び音声信号のパケット信号のブロックに分割し、映像信号、音声信号、番組データ等に分離する。番組データは番組情報取得・予約部１６及び記録・再生制御部６へ送られ、映像信号及び音声信号は記録・再生制御部６及び映像切替制御部８へ送られる。
【００１３】
記録・再生制御部６は、ＤＥＭＵＸ部５からの映像信号、音声信号、番組データを、制御部１７の指令に基づき、データ記録部７へ記録するよう指示する。また記録・再生制御部６は制御部１７の指示に基づき、データ記録部７に指示し、番組の映像データ及び番組情報のデータの読み出しを制御する。番組情報はコンテンツのジャンル等を示すデータを含む。記録・再生制御部６はデータ記録部７から読み出した映像データを映像切替制御部８へ送り、読み出した番組情報データを制御部１７へ送る。データ記録部７は、記録・再生制御部６の指示を受けてデータを格納し、また保存しているデータを読み出して、記録・再生制御部６へ送出する。
【００１４】
映像切替制御部８は、ＤＥＭＵＸ部５からの映像信号及び音声信号、記録・再生制御部６からの映像信号及び音声信号、番組情報取得・予約部１６からの番組表や番組ガイド等の映像信号を、制御部１７の指示に従って選択して後段のデコード部９へ送る。デコード部９は、符号化された映像信号（ＭＰＥＧやＨ．２６４、ＡＶＣＨＤ等）、及び音声信号の復号化（デコード）を行い、ビデオフォーマット信号や音声信号に変換し、後段の任意視点映像生成部１０、視点切替制御部１１に送る。また、符号化されていない映像信号の場合、映像切替制御部８はデコード処理せずに後段の任意視点映像生成部１０、視点切替制御部１１に映像信号を送る。
【００１５】
任意視点映像生成部１０は、ユーザの希望する視点の映像データを、デコード部９から送られてくる任意視点用の映像信号と、視点情報、並びに制御部１７から送られてくる所望の視点の位置及び角度の情報に基づいて生成する。視点切替制御部１１は制御部１７の指示に従って、デコード部９から送られてくる多視点映像、又は任意視点映像生成部１０から送られてくる任意視点映像を選択して出力する。多視点映像の場合、視点切替制御部１１は制御部１７の指示に基づき、複数の視点から１つ以上の視点の映像に係るデータを選択して後段のブレンド部１３に送る。また視点切替制御部１１は制御部１７の指示に基づき、映像の選択後、指定された視点の映像に係る縮小又は拡大処理を行ってから後段のブレンド部１３に送る。
【００１６】
ＧＵＩ（グラフィカル・ユーザ・インターフェイス）制御部１２は、制御部１７の指示を受け、グラフィックスデータを作成する。該データはチャンネル表示、多視点映像や任意視点映像の視点ごとのカメラアングルやカメラの位置等のグラフィックス表示、番組表、記録されたコンテンツの一覧等に用いるデータであり、作成されたグラフィックスデータはブレンド部１３へ送られる。ブレンド部１３は、視点切替制御部１１からの映像データと、ＧＵＩ制御部１２からのグラフィックデータを受け、制御部１７の指示に基づいて映像を合成する。ブレンド部１３は合成後の映像信号を入出力Ｉ／Ｆ部１５へ送る。
【００１７】
ユーザＩ／Ｆ部１４は、ユーザからの操作指示を受け付けて制御部１７に伝える入力機能をもつ。ユーザはリモートコントローラ等の操作手段を用いて、例えばチャンネル切替え、番組予約や番組の記録又は再生や停止、コンテンツ消去、視点の指定や選択等を指示する。入出力Ｉ／Ｆ部１５は、不図示の外部装置に対する出力機能と、外部装置からの信号を受け付ける入力機能をもつ。入出力Ｉ／Ｆ部１５は、ブレンド部１３から出力された映像信号を、外部装置へ出力する。また入出力Ｉ／Ｆ部１５は表示装置との接続時に、表示装置から入出力Ｉ／Ｆ部１５に送信される操作指示信号（表示装置側のチャンネル切替の指示信号等）やステータス信号を中継して制御部１７に送信する。入出力Ｉ／Ｆ部１５はまた、制御部１７から表示装置へ指示を送信するインターフェイス部でもある。
【００１８】
番組情報取得・予約部１６は、ＤＥＭＵＸ部５から受けたデータから、番組表や番組情報を取得してメモリに記録する。また番組情報取得・予約部１６は制御部１７の指示を受け、番組表や番組情報を出力する。この他、番組情報取得・予約部１６は制御部１７の指示を受けて、番組表からの予約を受け付ける。
制御部１７は、ユーザＩ／Ｆ部１４や入出力Ｉ／Ｆ部１５から操作指示信号を受け、符号３、４、６、８、１０乃至１６に示す各構成部や、後述の記憶部１８、１９を制御する。
【００１９】
次に、本発明における特徴的な構成要素である、ユーザアクション記憶部１８及び視点情報記憶部１９について説明する。
ユーザアクション記憶部１８は、ユーザＩ／Ｆ部１４から受けた、ユーザの操作指示動作（以下、ユーザアクションという）を示すデータを、操作時の時刻情報とともに記憶する。ユーザアクションとしては、例えばチャンネル切替や、入力切替、再生、一時停止、停止、早送り、巻き戻し、視点切替、任意視点指定、番組予約、番組表の表示、コンテンツ一覧確認、電源ＯＦＦ操作等が挙げられる。ユーザアクションには、映像変更等に係るボタンやスイッチの操作に限らず、操作指示の意図でユーザが行うジェスチャ等、撮像及び解析の対象となる広義の操作指示動作も含む。ユーザアクションのデータは、ユーザＩ／Ｆ部１４から制御部１７を介してユーザアクション記憶部１８に送られる。また表示装置等からの操作指示のデータについては、入出力Ｉ／Ｆ部１５から制御部１７を介してユーザアクション記憶部１８に送られて保存される。ユーザアクション記憶部１８は、制御部１７の指示を受けて、記憶済みのユーザアクションのデータを読み出して制御部１７へ送る。
【００２０】
視点情報記憶部１９は、多視点映像で記録したコンテンツにおいて、視聴者が最後に視聴した時又は再生中断時点での視点情報を記憶する。この視点情報は制御部１７から視点情報記憶部１９に送られる。視点情報記憶部１９は制御部１７の指示に基づいて、記憶した視点情報を制御部１７へ送る。
【００２１】
次に、図２のフローチャートを用いて視点切替動作の制御を説明する。これは、コンテンツ視聴の中断状態に応じて、コンテンツの再生を再開する際に自動的に視点を切り替える動作であり、制御部１７が実行するプログラムに従って行われる。
Ｓ１００でユーザが再生の停止指示を出すと、ユーザＩ／Ｆ部１４は指示信号を受信し、制御部１７が指示内容を確認する。Ｓ１０１で制御部１７は、ユーザから再生停止の指示を受け付けた時点でのタイムコード、視点情報、停止時刻の情報を保存する。制御部１７の指示に従って視点情報記憶部１９は視点情報を記憶し、記録・再生制御部６がタイムコードを記憶し、ユーザアクション記憶部１８は停止時刻の情報を、再生停止の操作指示情報とともに記憶する。
【００２２】
Ｓ１０２で制御部１７は、再生の中断期間におけるユーザアクションのデータを取得してユーザアクション記憶部１８に保存する。表示装置との接続時には、記録再生装置１に関するユーザアクションだけでなく、表示装置側で行われたユーザアクションのデータも制御部１７が取得して、ユーザアクション記憶部１８に記憶させる。
Ｓ１０５でユーザＩ／Ｆ部１４は、ユーザが再生の再開指示を出したことを受信する。ユーザＩ／Ｆ部１４はユーザの操作指示を受信し、制御部１７は再生の再開指示を確認する。このとき、ユーザから視点の指示があった場合、その確認も制御部１７が行う。Ｓ１０６で、視聴の中断期間におけるユーザアクションの情報を読み込む処理が行われる。制御部１７はユーザアクション記憶部１８に要求を出し、前記Ｓ１０２で保存しておいた情報、つまり中断期間中のユーザアクションの履歴情報を読み込む。
【００２３】
Ｓ１０７は、ユーザが所望の視点を指定したか否かの判断処理であり、ユーザＩ／Ｆ部１４がユーザの操作指示を受け付け、制御部１７がその確認及び判断を行う。ユーザ操作により視点が指定された場合、Ｓ１１１へ進み、視点が指定されない場合、Ｓ１０８へ進む。
Ｓ１０８で制御部１７は、中断期間内に行われたユーザアクションを調べ、他のコンテンツを視聴する操作や行為等がユーザによってなされた否かを判断する。他のコンテンツを視聴する操作や行為とは、設定されているチャンネルの切り替え、他の記録されたコンテンツを視聴する操作や行為、表示装置のチャンネルの切り替え、表示装置で他に接続された装置の画像を視聴する操作や行為等である。そのような操作や行為がなされたと判断された場合、Ｓ１０９へ進むが、他のコンテンツを視聴する操作や行為が無かったと判断された場合にはＳ１１２に進む。
【００２４】
Ｓ１０９では、前記Ｓ１０１で記憶した直前の再生時の視点情報、タイムコード、停止時刻等、再生状態を示す情報の読み込み処理が行われる。制御部１７は、記録・再生制御部６、ユーザアクション記憶部１８、視点情報記憶部１９へアクセスし、タイムコード、停止時刻、視点情報をそれぞれ取得する。Ｓ１１０では、通常の視点でコンテンツデータの再生が再開し、直前の再生時のタイムコードが示す時点から再生が開始する。「通常の視点」とは、放送局やコンテンツ製作者が指定するデフォルトの視点を表す。制御部１７は記録・再生制御部６へ再生指示を出し、視点切替制御部１１に対して再生時の視点の指示を送り、必要な視点の映像データを後段のブロックに選択して出力させ、Ｓ１１３に進む。なお、ユーザから任意視点の指示が行われた場合、制御部１７は任意視点映像生成部１０へ指示を出して画像データを生成させる。また制御部１７は視点切替制御部１１に対し、任意視点映像生成部１０からの映像データを後段に出力するよう指示を出す。
【００２５】
Ｓ１１１では、ユーザが指定した視点でコンテンツデータの再生が開始する。再生の開始時点は、直前の再生時のタイムコードが示す時刻である。そしてＳ１１４へ進む。またＳ１１２では、直前の再生時に設定されていた視点でコンテンツデータの再生が開始する。再生の開始時点は、直前の再生時のタイムコードが示す時刻である。そしてＳ１１４へ進む。
【００２６】
Ｓ１１３は、視点の切替や、直前の視点情報をユーザにメニュー画面等で通知する処理である。ユーザは、この通知により、前記Ｓ１０９で視点を切り替えて通常の視点でコンテンツデータが再生されていること、及び直前の視点情報等を、ＧＵＩ画面や図等を見て把握する。図３は視点情報に係るＧＵＩ画面例として、サーキットコースにおけるカメラ配置を概略的に示す。カメラの記号で示す視点５０乃至６５は、ユーザがカメラの撮影画像を視聴可能な視点を示す。視点５５は再生中断の直前における視点を示し、視点５４は前記した通常の視点を示す。このような表示により、ユーザは、視点が切り替わったことや、切替前後における視点の配置、視聴可能な他の視点の存在等を、視覚的に把握できる。制御部１７は、ＧＵＩ制御部１２へ指示を出してＧＵＩデータを作成させ、該データはブレンド部１３へ送られる。ブレンド部１３は制御部１７の指示を受けて、コンテンツの映像データと、ＧＵＩ制御部１２が生成したＧＵＩデータを合成して、映像信号を出力する。画面合成方法については、２画面で合成する方法、或いはコンテンツの映像に上書きするようにＧＵＩデータの映像を合成する方法がある。また再生後の一定時間（例えば１分間）だけＧＵＩデータを表示し、一定時間の経過後に、視点情報の図及び直前の視点の映像を画面から消去し、通常の視点の映像のみに切り替える方法を用いることもできる。
【００２７】
Ｓ１１１乃至１１３の後、Ｓ１１４に進み、制御部１７の指示を受けた入出力Ｉ／Ｆ部１５は、ブレンド部１３からの映像信号を不図示の表示装置に出力する。
第１実施形態によれば、ユーザアクションに応じて、再生中断後の再開時の視点を通常の視点とするか、又は直前の視点とするが決定されて映像の再生が開始する。そして多視点や任意視点の情報をユーザに通知することにより、ユーザが多視点又は任意視点のコンテンツであることを忘れて視聴し続けてしまう事態が起きないよう防止できる。よってユーザには、多視点又は任意視点のコンテンツを有効に視聴できる機会が与えられるので、利便性が高まる。
【００２８】
（第２実施形態）
次に本発明の第２実施形態を説明する。第２実施形態では映像の再生が中断した場合、再生を再開する際、中断前に指定されていた第１の視点又は再生映像について予め指定される第２の視点が選択される。コンテンツの視聴中断期間の長さに応じて、コンテンツの再生が再開する際に自動で視点が切り替わる。なお装置の構成は第１実施形態の場合と同様であり、以下、図４のフローチャートを用いて動作を説明する。図２との相違点は、Ｓ１０１（再生状態保存）からＳ１０５を経てＳ１０７に進むこと、及びＳ１０７からＳ１０９の後に続くＳ２０６乃至２０８のステップである。よって第１実施形態と同様の処理については説明を省略し、以下では主に相違点を説明する。
【００２９】
Ｓ１０１の後、Ｓ１０５に進み、ユーザは再生の開始指示を出し、制御部１７はユーザＩ／Ｆ部１４から指示信号を受信する。次のＳ１０７では、ユーザが映像を見たい視点を指定したか否かが判断され、所望の視点が指定された場合、Ｓ１１１へ進むが、視点の指定がなければＳ１０９に進む。ここで、記憶した直前の再生時の視点情報、タイムコード、停止時刻の情報が、再生状態を示す情報として読み込まれた後、Ｓ２０６へ進む。
Ｓ２０６で制御部１７は、タイムコードがコンテンツのスタートの位置であるか否かを判断する。タイムコードがスタートの位置を示す場合、Ｓ１１０に進む。タイムコードがスタートの位置でなく、コンテンツの途中位置である場合にはＳ２０７へ進む。ここで制御部１７は再生の中断期間を演算する。「中断期間」とは、直前の再生停止時刻から再生再開時刻までの期間であり、その期間長は両時刻間の差分時間を表す。
【００３０】
Ｓ２０８で制御部１７は、前記Ｓ２０７にて算出した中断期間の長さを、予め指定された期間（以下、指定中断期間といい、Ｂｔと記す）と比較する。その結果、中断期間の長さがＢｔ以上であると判定された場合、Ｓ１１０に進んで通常の視点でコンテンツの再生が開始し、次のＳ１１３にて視点情報がユーザに通知される。一方、中断期間の長さがＢｔ未満であると判定された場合にはＳ１１２へ進み、直前の再生時の視点でコンテンツの再生が開始する。
【００３１】
第２実施形態によれば、算出した中断期間の長さに応じて、再生中断後の再開時の視点を通常の視点とするか、又は直前の視点とするが決定されて映像の再生が開始する。すなわち中断期間の長さが所定の基準時間未満の場合には、中断直前の視点で再生が開始する。そして多視点や任意視点情報をユーザに通知することにより、ユーザが多視点又は任意視点のコンテンツであることを忘れて視聴し続けてしまう事態が起きないように防止できる。
【００３２】
（第３実施形態）
次に本発明の第３実施形態を説明する。第３実施形態では、再生を再開する際、中断前に指定されていた第１の視点、又は該第１の視点及び再生映像について予め指定される第２の視点が選択される。つまり装置はユーザアクションに応じて、再生中断後の再開時における視点を、中断直前の視点として再生すするか、又は通常の視点及び直前の視点として映像を２画面で再生し、多視点又は任意視点情報をユーザに通知する。装置の構成は第１実施形態の場合と同様であり、以下、図５のフローチャートを用いて動作を説明する。なお図２と相違するＳ３１０、Ｓ３１３を説明する。
【００３３】
Ｓ１０９の後、Ｓ３１０に進み、通常の視点及び直前の視点で映像の再生が開始する。再開の時点は、直前の再生時のタイムコードが示す時刻である。制御部１７は記録・再生制御部６へ再生の指示を出す。そして制御部１７は視点切替制御部１１に対し、再生時の視点の指示を送り、該視点の映像データを選択してブレンド部１３へ出力するように制御する。直前の視点が任意視点の場合、制御部１７は任意視点映像生成部１０へ指示を出して画像データを生成させる。制御部１７は視点切替制御部１１に対し、任意視点映像生成部１０からの映像データと、通常の視点の映像データをブレンド部１３に出力するように指示する。そしてＳ３１３に進む。
【００３４】
Ｓ３１３では、直前の視点と通常の視点の情報が、図３に示すＧＵＩ画面等を用いてユーザに提示される。ブレンド部１３は、直前の視点の映像と、通常の視点の映像と、視点情報を示す作成済み映像を表示画面に表示できるよう、映像を合成して入出力Ｉ／Ｆ部１５に出力する。制御部１７がＧＵＩ制御部１２に対し、視点情報を図で通知する表示映像の作成指示を出し、ＧＵＩ制御部１２は該表示映像のデータを作成してブレンド部１３に送る。ブレンド部１３は制御部１７の指示に従い、画面上にて直前の視点の映像、通常の視点の映像、ＧＵＩ制御部１２が生成した視点情報に係る表示映像を合成する。ブレンド部１３は必要に応じて、各視点の映像を縮小して合成する。また一定時間（例えば、１分間）の経過後、ユーザからの要求がない場合、通常の視点の映像のみが、入出力Ｉ／Ｆ部１５から出力される。
【００３５】
第３実施形態によれば、中断期間におけるユーザアクションに応じて、直前の視点及び通常の視点の映像が同時に再生されるか、又は直前の視点で映像の再生が開始する。中断期間にユーザにより他のコンテンツを視聴する操作や行為がなされた場合、再開時には、直前の視点及び通常の視点の映像が２画面で一定時間に亘って再生されるため、ユーザは多視点又は任意視点の映像を比較して見ることができる。よって多視点又は任意視点の映像効果をユーザに伝える機会が増える。
【００３６】
（第４実施形態）
次に本発明の第４実施形態を説明する。第４実施形態では、再生を再開する際、中断前に指定されていた第１の視点、又は該第１の視点及び再生映像について予め指定される第２の視点が選択される。本装置は、コンテンツ視聴の中断期間の長さに応じて、再生を再開する時の視点を、中断直前の視点として再生するか、又は通常の視点及び直前の視点として各視点の映像を２画面で再生する。その際、多視点情報又は任意視点情報がユーザに通知される。装置の構成は第１実施形態の場合と同様であり、以下、図６のフローチャートを用いて動作を説明する。なお図４と相違するＳ４０９、Ｓ４１２のみを以下に説明する。
【００３７】
Ｓ２０８にて中断期間の長さがＢｔ以上であると判定された場合、Ｓ４０９に進み、通常の視点及び直前の視点で映像の再生が開始する。再開の時点は、直前の再生時のタイムコードが示す時刻である。次にＳ４１２に進み、直前の視点と通常の視点の情報が、図３に示すＧＵＩ画面等を用いてユーザに提示される。そしてＳ１１４に進む。
【００３８】
第４実施形態によれば、中断期間の長さが基準時間以上であると判定された場合、中断後の再生時に、直前の視点及び通常の視点の映像が同時に再生されて、２画面で表示される。その際、多視点又は任意視点の情報がユーザに通知される。よって第３実施形態と同様にユーザの利便性がさらに高まる。
【００３９】
（第５実施形態）
次に本発明の第５実施形態を説明する。第５実施形態では、再生を再開する際、中断前に指定されていた第１の視点、又は再生映像について予め指定される第２の視点が選択される。本装置はユーザアクション、及びコンテンツ視聴の中断期間長に応じて、コンテンツの再生を再開する際に自動で視点を切り替える。装置の構成は第１実施形態の場合と同様であり、以下、図７のフローチャートを用いて動作を説明する。図２との相違点はＳ５０６と、Ｓ１０８に続くＳ２０７及び２０８であり、以下では、これらの処理を主に説明する。
Ｓ１０５の後、Ｓ５０６にてユーザアクションのデータ、及び視点情報、タイムコード、再生の停止時刻の情報について読み込み処理が行われる。これは、図２のＳ１０６及びＳ１０９を一括で行う処理である。
【００４０】
Ｓ１０８でユーザによって他のコンテンツを視聴する操作や行為がなされたと判断された場合、Ｓ２０７に進み、再生の中断期間が算出され、Ｓ２０８で中断期間の長さが前記Ｂｔと比較される。その結果、中断期間の長さがＢｔ以上であればＳ１０９に進み、中断期間の長さがＢｔ未満であれば、Ｓ１１２に進む。なお本例ではＳ２０８とＳ１１０との間に、Ｓ１０９（再生状態読み込み）の処理が位置するが、Ｓ２０８で中断期間の長さがＢｔ以上であると判定された場合、Ｓ１０９を省略してＳ１１０に進んでもよい。
【００４１】
第５実施形態によれば、再生の中断期間におけるユーザアクション及び中断期間長に応じて、再生の再開時における視点を通常の視点とするか、又は直前の視点とするかが決定されて、映像の再生が開始する。よって第１実施形態及び第２実施形態の効果が得られる。
【００４２】
（第６実施形態）
次に本発明の第６実施形態を説明する。第６実施形態では、再生を再開する際、中断前に指定されていた第１の視点、又は再生映像について予め指定される第２の視点が選択される。本装置はコンテンツのジャンルと、直前の視聴時の視点と、再生の中断期間長に応じて、コンテンツ再生を再開する際の視点を自動で切り替える。装置の構成は第１実施形態の場合と同様であり、以下、図８のフローチャートを用いて動作を説明する。図４との相違点はＳ２０７とＳ１１０の間にあるＳ６０８乃至６１０であり、これらの処理を説明する。
【００４３】
Ｓ６０８では、再生するコンテンツのジャンル及び直前の視点とその視点情報を読み込む処理が行われる。制御部１７は記録・再生制御部６に要求を出し、コンテンツのジャンル及び視点情報を記録・再生制御部６から取得する。記録・再生制御部６は制御部１７から要求を受けると、データ記録部７から、再生するコンテンツのジャンルと視点及び視点情報を受け取る。また制御部１７は視点情報記憶部１９に要求を出し、直前の視点及び視点情報を受け取る。
Ｓ６０９で制御部１７は指定中断期間（Ｂｔｋ）を算出する。Ｂｔｋは第２実施形態で説明した指定中断期間Ｂｔに対し、コンテンツのジャンルに応じて決定される係数ｋ１、及び直前の視点とその視点情報から決定される係数ｋ２を乗算した下式から算出される。
【００４４】
【数１】
係数ｋ１、ｋ２の値は予め決められた固定値でもよいし、また許容範囲内でユーザの指定や必要性に応じた変更も可能である。
視聴するジャンルと係数ｋ１との関係を表１に例示する。
【００４５】
【表１】
【００４６】
上表１は、コンテンツのジャンルとその詳細情報、視点判別の必要性の有無、中断期間係数１（係数ｋ１）について一例を示す。本例ではスポーツ番組の係数値が他の番組よりも大きい。また視点判別の必要性が「無」の場合に比較して、「有」の場合の方が大きい係数値が設定されている。
視点及びその視点情報と係数ｋ２の関係を表２に例示する。
【００４７】
【表２】
【００４８】
上表２は、視点種別及びその視点位置と中断期間係数２（係数ｋ２）の関係や、視点方向と中断期間係数２（係数ｋ２）の関係を例示する。なお、本例では２つの係数を用いたＢｔｋの算出例を説明したが、必要に応じて係数の種類を増やすといった各種形態での実施が可能である。例えば、再生する映像のジャンル及び視点等に応じた調整用係数を、ｋ１、ｋ２、・・・ｋｎ（ｎ≧１）と記すとき、Ｂｔｋの算出式は、これらの係数を予め決められた時間Ｂｔに乗算した下式に一般化される。
【００４９】
【数２】
【００５０】
Ｓ６１０で制御部１７は、Ｓ２０７にて算出した中断期間の長さを前記Ｂｔｋと比較する。中断期間の長さがＢｔｋより短いと判定された場合、Ｓ１１２に進み、中断期間の長さがＢｔｋ以上であると判定された場合、Ｓ１１０に進む。
第６実施形態によれば、ユーザが視聴するコンテンツのジャンル、視点や視点情報、再生の中断期間長に応じて、通常の視点又は直前の視点で映像再生が開始する。コンテンツのジャンルに応じて中断期間長の判定基準値が変更されるので、視聴映像の種別に応じて、より詳細な視点の切替制御が可能となる。
【００５１】
（その他の実施形態）
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【符号の説明】
【００５２】
１ 記録再生装置
６ 記録・再生制御部
１１ 視点切替制御部
１２ ＧＵＩ制御部
１７ 制御部
１８ ユーザアクション記憶部
１９ 視点情報記憶部
【技術分野】
【０００１】
本発明は、複数視点又は任意視点の映像データを再生する再生装置及び再生方法に関するものである。
【背景技術】
【０００２】
デジタル放送を受信可能なテレビ（デジタルテレビジョン装置）が普及している。現在、本格的なデジタル放送時代を迎え、様々な次世代放送システムの研究開発が行われている。その中の１つとして、複数のカメラの視点からを視聴者が視点を選択できる「複数視点映像」（例えば、多視点映像）や、視点を任意に指示できる「任意視点映像」の表示技術が注目されている。特許文献１には、放送用の映像と該映像に対する視点情報を含む放送ストリームを受信する装置が開示されている。この装置では、任意視点映像の配信要求を行う際に、任意視点映像の視点の初期値として放送ストリームから抽出した視点情報を利用する。
今後、次世代のデジタル放送サービスとして、多視点映像や任意視点映像の提供が普及すると予想され、次世代の記録再生装置では、多視点映像や任意視点映像に係るデータを記録再生可能な装置が要望される。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００７―１５０７４７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
複数視点映像や任意視点映像の再生装置において、映像データを再生した後、中断期間をおいて再生を再開する場合、視聴者が中断期間中に別の番組やコンテンツを視聴してしまうと以下のような問題が起こり得る。例えば、視聴者が中断後に再生した番組が多視点映像の番組であることを忘れてしまう可能性や、多視点映像の再生画面を通常の放送番組の視点と勘違いして視聴しつづけてしまうといった可能性がある。その結果、視聴者は通常放送の視聴や、他の多視点映像を見る機会を見逃してしまい、多視点映像放送サービスを有効に利用できなくなる虞がある。また視点によっては、全体の様子を視聴者が把握できなくなる視点もあり、中断期間が長いほど、番組全体の流れや時間的な前後関係がわからなくなってしまうことも起こり得る。
【０００５】
そこで本発明は、複数視点映像又は任意視点映像のコンテンツの再生を停止した後、再生を再開する際に、適切な視点で映像を再生可能な再生装置及び再生方法の提供を目的とする。
【課題を解決するための手段】
【０００６】
上述した課題を解決するために本発明に係る装置は、複数視点映像又は任意視点映像のコンテンツを視聴する際に、指定された視点の映像を再生可能な再生装置であって、前記映像の再生が中断された場合に、中断前に指定されていた第１の視点の情報を記憶する視点情報記憶手段と、前記映像の再生を再開する際、再生の中断期間に他のコンテンツを視聴する操作指示動作が行われたか否かを判定し、前記操作指示動作が行われた場合、前記映像について予め指定される第２の視点の映像を再生し、前記操作指示動作が行われない場合、前記視点情報記憶手段から読み出した情報の示す前記第１の視点の映像を再生するように制御する制御手段と、を備える。
【発明の効果】
【０００７】
本発明によれば、映像の再生を再開する際に、適切な視点で映像を再生することが可能となる。
【図面の簡単な説明】
【０００８】
【図１】図２及び３と併せて本発明の第１実施形態に係る記録再生装置の構成例を示す機能ブロック図である。
【図２】コンテンツ再生時の出力となる映像の視点切替制御を説明するフローチャートである。
【図３】視点情報をユーザに通知するＧＵＩ表示例を示す図である。
【図４】本発明の第２実施形態における映像の視点切替制御を説明するフローチャートである。
【図５】本発明の第３実施形態における映像の視点切替制御を説明するフローチャートである。
【図６】本発明の第４実施形態における映像の視点切替制御を説明するフローチャートである。
【図７】本発明の第５実施形態における映像の視点切替制御を説明するフローチャートである。
【図８】本発明の第６実施形態における映像の視点切替制御を説明するフローチャートである。
【発明を実施するための形態】
【０００９】
以下、本発明の各実施形態について、図面を参照しながら説明する。なお、以下では、複数視点映像の一例としての多視点映像、又は任意視点映像の処理装置及び方法を説明する。
【００１０】
（第１実施形態）
図１は本発明の第１実施形態に係る記録再生装置の構成例を示す機能ブロック図である。本装置は複数視点映像や任意視点映像に係るデータを記録して再生するが、本発明は複数視点映像や任意視点映像を再生可能な各種装置に適用可能である。第1実施形態では、映像の再生が中断した場合、再生を再開する際、中断前に指定されていた第１の視点又は再生映像について予め指定される第２の視点が選択される。
【００１１】
記録再生装置１は、映像データの入出力処理に関するインターフェイス（以下、「Ｉ／Ｆ」と記す）及びユーザ操作のためのユーザＩ／Ｆを有する。ＲＦ（Radio frequency）Ｉ／Ｆ部２は、放送波のＲＦ信号を受信するためのインターフェイスであり、不図示の外部アンテナからＲＦ信号を受信する。通信Ｉ／Ｆ部３は、インターネット等のネットワークを通じてデータを受信し又は放送局のサーバからネットワーク経由で送られてくる、放送番組の映像データ及びその他の情報を受信するためのインターフェイスである。通信Ｉ／Ｆ部３は制御部１７と接続されており、ネットワークからの制御データを制御部１７に転送する。また通信Ｉ／Ｆ部３は、制御部１７からのデータを、ネットワーク経由で放送局のサーバに送信する。
【００１２】
受信部４は、ＲＦＩ／Ｆ部２及び通信Ｉ／Ｆ部３から送られてきた信号を、ＴＳ（トランスポートストリーム）信号へ戻す。また受信部４は制御部１７の指示に従って、受信する放送局のチャンネルを選択する。
ＤＥＭＵＸ（デマルチプレクサ）部５は、ＴＳ信号から映像信号及び音声信号のパケット信号のブロックに分割し、映像信号、音声信号、番組データ等に分離する。番組データは番組情報取得・予約部１６及び記録・再生制御部６へ送られ、映像信号及び音声信号は記録・再生制御部６及び映像切替制御部８へ送られる。
【００１３】
記録・再生制御部６は、ＤＥＭＵＸ部５からの映像信号、音声信号、番組データを、制御部１７の指令に基づき、データ記録部７へ記録するよう指示する。また記録・再生制御部６は制御部１７の指示に基づき、データ記録部７に指示し、番組の映像データ及び番組情報のデータの読み出しを制御する。番組情報はコンテンツのジャンル等を示すデータを含む。記録・再生制御部６はデータ記録部７から読み出した映像データを映像切替制御部８へ送り、読み出した番組情報データを制御部１７へ送る。データ記録部７は、記録・再生制御部６の指示を受けてデータを格納し、また保存しているデータを読み出して、記録・再生制御部６へ送出する。
【００１４】
映像切替制御部８は、ＤＥＭＵＸ部５からの映像信号及び音声信号、記録・再生制御部６からの映像信号及び音声信号、番組情報取得・予約部１６からの番組表や番組ガイド等の映像信号を、制御部１７の指示に従って選択して後段のデコード部９へ送る。デコード部９は、符号化された映像信号（ＭＰＥＧやＨ．２６４、ＡＶＣＨＤ等）、及び音声信号の復号化（デコード）を行い、ビデオフォーマット信号や音声信号に変換し、後段の任意視点映像生成部１０、視点切替制御部１１に送る。また、符号化されていない映像信号の場合、映像切替制御部８はデコード処理せずに後段の任意視点映像生成部１０、視点切替制御部１１に映像信号を送る。
【００１５】
任意視点映像生成部１０は、ユーザの希望する視点の映像データを、デコード部９から送られてくる任意視点用の映像信号と、視点情報、並びに制御部１７から送られてくる所望の視点の位置及び角度の情報に基づいて生成する。視点切替制御部１１は制御部１７の指示に従って、デコード部９から送られてくる多視点映像、又は任意視点映像生成部１０から送られてくる任意視点映像を選択して出力する。多視点映像の場合、視点切替制御部１１は制御部１７の指示に基づき、複数の視点から１つ以上の視点の映像に係るデータを選択して後段のブレンド部１３に送る。また視点切替制御部１１は制御部１７の指示に基づき、映像の選択後、指定された視点の映像に係る縮小又は拡大処理を行ってから後段のブレンド部１３に送る。
【００１６】
ＧＵＩ（グラフィカル・ユーザ・インターフェイス）制御部１２は、制御部１７の指示を受け、グラフィックスデータを作成する。該データはチャンネル表示、多視点映像や任意視点映像の視点ごとのカメラアングルやカメラの位置等のグラフィックス表示、番組表、記録されたコンテンツの一覧等に用いるデータであり、作成されたグラフィックスデータはブレンド部１３へ送られる。ブレンド部１３は、視点切替制御部１１からの映像データと、ＧＵＩ制御部１２からのグラフィックデータを受け、制御部１７の指示に基づいて映像を合成する。ブレンド部１３は合成後の映像信号を入出力Ｉ／Ｆ部１５へ送る。
【００１７】
ユーザＩ／Ｆ部１４は、ユーザからの操作指示を受け付けて制御部１７に伝える入力機能をもつ。ユーザはリモートコントローラ等の操作手段を用いて、例えばチャンネル切替え、番組予約や番組の記録又は再生や停止、コンテンツ消去、視点の指定や選択等を指示する。入出力Ｉ／Ｆ部１５は、不図示の外部装置に対する出力機能と、外部装置からの信号を受け付ける入力機能をもつ。入出力Ｉ／Ｆ部１５は、ブレンド部１３から出力された映像信号を、外部装置へ出力する。また入出力Ｉ／Ｆ部１５は表示装置との接続時に、表示装置から入出力Ｉ／Ｆ部１５に送信される操作指示信号（表示装置側のチャンネル切替の指示信号等）やステータス信号を中継して制御部１７に送信する。入出力Ｉ／Ｆ部１５はまた、制御部１７から表示装置へ指示を送信するインターフェイス部でもある。
【００１８】
番組情報取得・予約部１６は、ＤＥＭＵＸ部５から受けたデータから、番組表や番組情報を取得してメモリに記録する。また番組情報取得・予約部１６は制御部１７の指示を受け、番組表や番組情報を出力する。この他、番組情報取得・予約部１６は制御部１７の指示を受けて、番組表からの予約を受け付ける。
制御部１７は、ユーザＩ／Ｆ部１４や入出力Ｉ／Ｆ部１５から操作指示信号を受け、符号３、４、６、８、１０乃至１６に示す各構成部や、後述の記憶部１８、１９を制御する。
【００１９】
次に、本発明における特徴的な構成要素である、ユーザアクション記憶部１８及び視点情報記憶部１９について説明する。
ユーザアクション記憶部１８は、ユーザＩ／Ｆ部１４から受けた、ユーザの操作指示動作（以下、ユーザアクションという）を示すデータを、操作時の時刻情報とともに記憶する。ユーザアクションとしては、例えばチャンネル切替や、入力切替、再生、一時停止、停止、早送り、巻き戻し、視点切替、任意視点指定、番組予約、番組表の表示、コンテンツ一覧確認、電源ＯＦＦ操作等が挙げられる。ユーザアクションには、映像変更等に係るボタンやスイッチの操作に限らず、操作指示の意図でユーザが行うジェスチャ等、撮像及び解析の対象となる広義の操作指示動作も含む。ユーザアクションのデータは、ユーザＩ／Ｆ部１４から制御部１７を介してユーザアクション記憶部１８に送られる。また表示装置等からの操作指示のデータについては、入出力Ｉ／Ｆ部１５から制御部１７を介してユーザアクション記憶部１８に送られて保存される。ユーザアクション記憶部１８は、制御部１７の指示を受けて、記憶済みのユーザアクションのデータを読み出して制御部１７へ送る。
【００２０】
視点情報記憶部１９は、多視点映像で記録したコンテンツにおいて、視聴者が最後に視聴した時又は再生中断時点での視点情報を記憶する。この視点情報は制御部１７から視点情報記憶部１９に送られる。視点情報記憶部１９は制御部１７の指示に基づいて、記憶した視点情報を制御部１７へ送る。
【００２１】
次に、図２のフローチャートを用いて視点切替動作の制御を説明する。これは、コンテンツ視聴の中断状態に応じて、コンテンツの再生を再開する際に自動的に視点を切り替える動作であり、制御部１７が実行するプログラムに従って行われる。
Ｓ１００でユーザが再生の停止指示を出すと、ユーザＩ／Ｆ部１４は指示信号を受信し、制御部１７が指示内容を確認する。Ｓ１０１で制御部１７は、ユーザから再生停止の指示を受け付けた時点でのタイムコード、視点情報、停止時刻の情報を保存する。制御部１７の指示に従って視点情報記憶部１９は視点情報を記憶し、記録・再生制御部６がタイムコードを記憶し、ユーザアクション記憶部１８は停止時刻の情報を、再生停止の操作指示情報とともに記憶する。
【００２２】
Ｓ１０２で制御部１７は、再生の中断期間におけるユーザアクションのデータを取得してユーザアクション記憶部１８に保存する。表示装置との接続時には、記録再生装置１に関するユーザアクションだけでなく、表示装置側で行われたユーザアクションのデータも制御部１７が取得して、ユーザアクション記憶部１８に記憶させる。
Ｓ１０５でユーザＩ／Ｆ部１４は、ユーザが再生の再開指示を出したことを受信する。ユーザＩ／Ｆ部１４はユーザの操作指示を受信し、制御部１７は再生の再開指示を確認する。このとき、ユーザから視点の指示があった場合、その確認も制御部１７が行う。Ｓ１０６で、視聴の中断期間におけるユーザアクションの情報を読み込む処理が行われる。制御部１７はユーザアクション記憶部１８に要求を出し、前記Ｓ１０２で保存しておいた情報、つまり中断期間中のユーザアクションの履歴情報を読み込む。
【００２３】
Ｓ１０７は、ユーザが所望の視点を指定したか否かの判断処理であり、ユーザＩ／Ｆ部１４がユーザの操作指示を受け付け、制御部１７がその確認及び判断を行う。ユーザ操作により視点が指定された場合、Ｓ１１１へ進み、視点が指定されない場合、Ｓ１０８へ進む。
Ｓ１０８で制御部１７は、中断期間内に行われたユーザアクションを調べ、他のコンテンツを視聴する操作や行為等がユーザによってなされた否かを判断する。他のコンテンツを視聴する操作や行為とは、設定されているチャンネルの切り替え、他の記録されたコンテンツを視聴する操作や行為、表示装置のチャンネルの切り替え、表示装置で他に接続された装置の画像を視聴する操作や行為等である。そのような操作や行為がなされたと判断された場合、Ｓ１０９へ進むが、他のコンテンツを視聴する操作や行為が無かったと判断された場合にはＳ１１２に進む。
【００２４】
Ｓ１０９では、前記Ｓ１０１で記憶した直前の再生時の視点情報、タイムコード、停止時刻等、再生状態を示す情報の読み込み処理が行われる。制御部１７は、記録・再生制御部６、ユーザアクション記憶部１８、視点情報記憶部１９へアクセスし、タイムコード、停止時刻、視点情報をそれぞれ取得する。Ｓ１１０では、通常の視点でコンテンツデータの再生が再開し、直前の再生時のタイムコードが示す時点から再生が開始する。「通常の視点」とは、放送局やコンテンツ製作者が指定するデフォルトの視点を表す。制御部１７は記録・再生制御部６へ再生指示を出し、視点切替制御部１１に対して再生時の視点の指示を送り、必要な視点の映像データを後段のブロックに選択して出力させ、Ｓ１１３に進む。なお、ユーザから任意視点の指示が行われた場合、制御部１７は任意視点映像生成部１０へ指示を出して画像データを生成させる。また制御部１７は視点切替制御部１１に対し、任意視点映像生成部１０からの映像データを後段に出力するよう指示を出す。
【００２５】
Ｓ１１１では、ユーザが指定した視点でコンテンツデータの再生が開始する。再生の開始時点は、直前の再生時のタイムコードが示す時刻である。そしてＳ１１４へ進む。またＳ１１２では、直前の再生時に設定されていた視点でコンテンツデータの再生が開始する。再生の開始時点は、直前の再生時のタイムコードが示す時刻である。そしてＳ１１４へ進む。
【００２６】
Ｓ１１３は、視点の切替や、直前の視点情報をユーザにメニュー画面等で通知する処理である。ユーザは、この通知により、前記Ｓ１０９で視点を切り替えて通常の視点でコンテンツデータが再生されていること、及び直前の視点情報等を、ＧＵＩ画面や図等を見て把握する。図３は視点情報に係るＧＵＩ画面例として、サーキットコースにおけるカメラ配置を概略的に示す。カメラの記号で示す視点５０乃至６５は、ユーザがカメラの撮影画像を視聴可能な視点を示す。視点５５は再生中断の直前における視点を示し、視点５４は前記した通常の視点を示す。このような表示により、ユーザは、視点が切り替わったことや、切替前後における視点の配置、視聴可能な他の視点の存在等を、視覚的に把握できる。制御部１７は、ＧＵＩ制御部１２へ指示を出してＧＵＩデータを作成させ、該データはブレンド部１３へ送られる。ブレンド部１３は制御部１７の指示を受けて、コンテンツの映像データと、ＧＵＩ制御部１２が生成したＧＵＩデータを合成して、映像信号を出力する。画面合成方法については、２画面で合成する方法、或いはコンテンツの映像に上書きするようにＧＵＩデータの映像を合成する方法がある。また再生後の一定時間（例えば１分間）だけＧＵＩデータを表示し、一定時間の経過後に、視点情報の図及び直前の視点の映像を画面から消去し、通常の視点の映像のみに切り替える方法を用いることもできる。
【００２７】
Ｓ１１１乃至１１３の後、Ｓ１１４に進み、制御部１７の指示を受けた入出力Ｉ／Ｆ部１５は、ブレンド部１３からの映像信号を不図示の表示装置に出力する。
第１実施形態によれば、ユーザアクションに応じて、再生中断後の再開時の視点を通常の視点とするか、又は直前の視点とするが決定されて映像の再生が開始する。そして多視点や任意視点の情報をユーザに通知することにより、ユーザが多視点又は任意視点のコンテンツであることを忘れて視聴し続けてしまう事態が起きないよう防止できる。よってユーザには、多視点又は任意視点のコンテンツを有効に視聴できる機会が与えられるので、利便性が高まる。
【００２８】
（第２実施形態）
次に本発明の第２実施形態を説明する。第２実施形態では映像の再生が中断した場合、再生を再開する際、中断前に指定されていた第１の視点又は再生映像について予め指定される第２の視点が選択される。コンテンツの視聴中断期間の長さに応じて、コンテンツの再生が再開する際に自動で視点が切り替わる。なお装置の構成は第１実施形態の場合と同様であり、以下、図４のフローチャートを用いて動作を説明する。図２との相違点は、Ｓ１０１（再生状態保存）からＳ１０５を経てＳ１０７に進むこと、及びＳ１０７からＳ１０９の後に続くＳ２０６乃至２０８のステップである。よって第１実施形態と同様の処理については説明を省略し、以下では主に相違点を説明する。
【００２９】
Ｓ１０１の後、Ｓ１０５に進み、ユーザは再生の開始指示を出し、制御部１７はユーザＩ／Ｆ部１４から指示信号を受信する。次のＳ１０７では、ユーザが映像を見たい視点を指定したか否かが判断され、所望の視点が指定された場合、Ｓ１１１へ進むが、視点の指定がなければＳ１０９に進む。ここで、記憶した直前の再生時の視点情報、タイムコード、停止時刻の情報が、再生状態を示す情報として読み込まれた後、Ｓ２０６へ進む。
Ｓ２０６で制御部１７は、タイムコードがコンテンツのスタートの位置であるか否かを判断する。タイムコードがスタートの位置を示す場合、Ｓ１１０に進む。タイムコードがスタートの位置でなく、コンテンツの途中位置である場合にはＳ２０７へ進む。ここで制御部１７は再生の中断期間を演算する。「中断期間」とは、直前の再生停止時刻から再生再開時刻までの期間であり、その期間長は両時刻間の差分時間を表す。
【００３０】
Ｓ２０８で制御部１７は、前記Ｓ２０７にて算出した中断期間の長さを、予め指定された期間（以下、指定中断期間といい、Ｂｔと記す）と比較する。その結果、中断期間の長さがＢｔ以上であると判定された場合、Ｓ１１０に進んで通常の視点でコンテンツの再生が開始し、次のＳ１１３にて視点情報がユーザに通知される。一方、中断期間の長さがＢｔ未満であると判定された場合にはＳ１１２へ進み、直前の再生時の視点でコンテンツの再生が開始する。
【００３１】
第２実施形態によれば、算出した中断期間の長さに応じて、再生中断後の再開時の視点を通常の視点とするか、又は直前の視点とするが決定されて映像の再生が開始する。すなわち中断期間の長さが所定の基準時間未満の場合には、中断直前の視点で再生が開始する。そして多視点や任意視点情報をユーザに通知することにより、ユーザが多視点又は任意視点のコンテンツであることを忘れて視聴し続けてしまう事態が起きないように防止できる。
【００３２】
（第３実施形態）
次に本発明の第３実施形態を説明する。第３実施形態では、再生を再開する際、中断前に指定されていた第１の視点、又は該第１の視点及び再生映像について予め指定される第２の視点が選択される。つまり装置はユーザアクションに応じて、再生中断後の再開時における視点を、中断直前の視点として再生すするか、又は通常の視点及び直前の視点として映像を２画面で再生し、多視点又は任意視点情報をユーザに通知する。装置の構成は第１実施形態の場合と同様であり、以下、図５のフローチャートを用いて動作を説明する。なお図２と相違するＳ３１０、Ｓ３１３を説明する。
【００３３】
Ｓ１０９の後、Ｓ３１０に進み、通常の視点及び直前の視点で映像の再生が開始する。再開の時点は、直前の再生時のタイムコードが示す時刻である。制御部１７は記録・再生制御部６へ再生の指示を出す。そして制御部１７は視点切替制御部１１に対し、再生時の視点の指示を送り、該視点の映像データを選択してブレンド部１３へ出力するように制御する。直前の視点が任意視点の場合、制御部１７は任意視点映像生成部１０へ指示を出して画像データを生成させる。制御部１７は視点切替制御部１１に対し、任意視点映像生成部１０からの映像データと、通常の視点の映像データをブレンド部１３に出力するように指示する。そしてＳ３１３に進む。
【００３４】
Ｓ３１３では、直前の視点と通常の視点の情報が、図３に示すＧＵＩ画面等を用いてユーザに提示される。ブレンド部１３は、直前の視点の映像と、通常の視点の映像と、視点情報を示す作成済み映像を表示画面に表示できるよう、映像を合成して入出力Ｉ／Ｆ部１５に出力する。制御部１７がＧＵＩ制御部１２に対し、視点情報を図で通知する表示映像の作成指示を出し、ＧＵＩ制御部１２は該表示映像のデータを作成してブレンド部１３に送る。ブレンド部１３は制御部１７の指示に従い、画面上にて直前の視点の映像、通常の視点の映像、ＧＵＩ制御部１２が生成した視点情報に係る表示映像を合成する。ブレンド部１３は必要に応じて、各視点の映像を縮小して合成する。また一定時間（例えば、１分間）の経過後、ユーザからの要求がない場合、通常の視点の映像のみが、入出力Ｉ／Ｆ部１５から出力される。
【００３５】
第３実施形態によれば、中断期間におけるユーザアクションに応じて、直前の視点及び通常の視点の映像が同時に再生されるか、又は直前の視点で映像の再生が開始する。中断期間にユーザにより他のコンテンツを視聴する操作や行為がなされた場合、再開時には、直前の視点及び通常の視点の映像が２画面で一定時間に亘って再生されるため、ユーザは多視点又は任意視点の映像を比較して見ることができる。よって多視点又は任意視点の映像効果をユーザに伝える機会が増える。
【００３６】
（第４実施形態）
次に本発明の第４実施形態を説明する。第４実施形態では、再生を再開する際、中断前に指定されていた第１の視点、又は該第１の視点及び再生映像について予め指定される第２の視点が選択される。本装置は、コンテンツ視聴の中断期間の長さに応じて、再生を再開する時の視点を、中断直前の視点として再生するか、又は通常の視点及び直前の視点として各視点の映像を２画面で再生する。その際、多視点情報又は任意視点情報がユーザに通知される。装置の構成は第１実施形態の場合と同様であり、以下、図６のフローチャートを用いて動作を説明する。なお図４と相違するＳ４０９、Ｓ４１２のみを以下に説明する。
【００３７】
Ｓ２０８にて中断期間の長さがＢｔ以上であると判定された場合、Ｓ４０９に進み、通常の視点及び直前の視点で映像の再生が開始する。再開の時点は、直前の再生時のタイムコードが示す時刻である。次にＳ４１２に進み、直前の視点と通常の視点の情報が、図３に示すＧＵＩ画面等を用いてユーザに提示される。そしてＳ１１４に進む。
【００３８】
第４実施形態によれば、中断期間の長さが基準時間以上であると判定された場合、中断後の再生時に、直前の視点及び通常の視点の映像が同時に再生されて、２画面で表示される。その際、多視点又は任意視点の情報がユーザに通知される。よって第３実施形態と同様にユーザの利便性がさらに高まる。
【００３９】
（第５実施形態）
次に本発明の第５実施形態を説明する。第５実施形態では、再生を再開する際、中断前に指定されていた第１の視点、又は再生映像について予め指定される第２の視点が選択される。本装置はユーザアクション、及びコンテンツ視聴の中断期間長に応じて、コンテンツの再生を再開する際に自動で視点を切り替える。装置の構成は第１実施形態の場合と同様であり、以下、図７のフローチャートを用いて動作を説明する。図２との相違点はＳ５０６と、Ｓ１０８に続くＳ２０７及び２０８であり、以下では、これらの処理を主に説明する。
Ｓ１０５の後、Ｓ５０６にてユーザアクションのデータ、及び視点情報、タイムコード、再生の停止時刻の情報について読み込み処理が行われる。これは、図２のＳ１０６及びＳ１０９を一括で行う処理である。
【００４０】
Ｓ１０８でユーザによって他のコンテンツを視聴する操作や行為がなされたと判断された場合、Ｓ２０７に進み、再生の中断期間が算出され、Ｓ２０８で中断期間の長さが前記Ｂｔと比較される。その結果、中断期間の長さがＢｔ以上であればＳ１０９に進み、中断期間の長さがＢｔ未満であれば、Ｓ１１２に進む。なお本例ではＳ２０８とＳ１１０との間に、Ｓ１０９（再生状態読み込み）の処理が位置するが、Ｓ２０８で中断期間の長さがＢｔ以上であると判定された場合、Ｓ１０９を省略してＳ１１０に進んでもよい。
【００４１】
第５実施形態によれば、再生の中断期間におけるユーザアクション及び中断期間長に応じて、再生の再開時における視点を通常の視点とするか、又は直前の視点とするかが決定されて、映像の再生が開始する。よって第１実施形態及び第２実施形態の効果が得られる。
【００４２】
（第６実施形態）
次に本発明の第６実施形態を説明する。第６実施形態では、再生を再開する際、中断前に指定されていた第１の視点、又は再生映像について予め指定される第２の視点が選択される。本装置はコンテンツのジャンルと、直前の視聴時の視点と、再生の中断期間長に応じて、コンテンツ再生を再開する際の視点を自動で切り替える。装置の構成は第１実施形態の場合と同様であり、以下、図８のフローチャートを用いて動作を説明する。図４との相違点はＳ２０７とＳ１１０の間にあるＳ６０８乃至６１０であり、これらの処理を説明する。
【００４３】
Ｓ６０８では、再生するコンテンツのジャンル及び直前の視点とその視点情報を読み込む処理が行われる。制御部１７は記録・再生制御部６に要求を出し、コンテンツのジャンル及び視点情報を記録・再生制御部６から取得する。記録・再生制御部６は制御部１７から要求を受けると、データ記録部７から、再生するコンテンツのジャンルと視点及び視点情報を受け取る。また制御部１７は視点情報記憶部１９に要求を出し、直前の視点及び視点情報を受け取る。
Ｓ６０９で制御部１７は指定中断期間（Ｂｔｋ）を算出する。Ｂｔｋは第２実施形態で説明した指定中断期間Ｂｔに対し、コンテンツのジャンルに応じて決定される係数ｋ１、及び直前の視点とその視点情報から決定される係数ｋ２を乗算した下式から算出される。
【００４４】
【数１】
係数ｋ１、ｋ２の値は予め決められた固定値でもよいし、また許容範囲内でユーザの指定や必要性に応じた変更も可能である。
視聴するジャンルと係数ｋ１との関係を表１に例示する。
【００４５】
【表１】
【００４６】
上表１は、コンテンツのジャンルとその詳細情報、視点判別の必要性の有無、中断期間係数１（係数ｋ１）について一例を示す。本例ではスポーツ番組の係数値が他の番組よりも大きい。また視点判別の必要性が「無」の場合に比較して、「有」の場合の方が大きい係数値が設定されている。
視点及びその視点情報と係数ｋ２の関係を表２に例示する。
【００４７】
【表２】
【００４８】
上表２は、視点種別及びその視点位置と中断期間係数２（係数ｋ２）の関係や、視点方向と中断期間係数２（係数ｋ２）の関係を例示する。なお、本例では２つの係数を用いたＢｔｋの算出例を説明したが、必要に応じて係数の種類を増やすといった各種形態での実施が可能である。例えば、再生する映像のジャンル及び視点等に応じた調整用係数を、ｋ１、ｋ２、・・・ｋｎ（ｎ≧１）と記すとき、Ｂｔｋの算出式は、これらの係数を予め決められた時間Ｂｔに乗算した下式に一般化される。
【００４９】
【数２】
【００５０】
Ｓ６１０で制御部１７は、Ｓ２０７にて算出した中断期間の長さを前記Ｂｔｋと比較する。中断期間の長さがＢｔｋより短いと判定された場合、Ｓ１１２に進み、中断期間の長さがＢｔｋ以上であると判定された場合、Ｓ１１０に進む。
第６実施形態によれば、ユーザが視聴するコンテンツのジャンル、視点や視点情報、再生の中断期間長に応じて、通常の視点又は直前の視点で映像再生が開始する。コンテンツのジャンルに応じて中断期間長の判定基準値が変更されるので、視聴映像の種別に応じて、より詳細な視点の切替制御が可能となる。
【００５１】
（その他の実施形態）
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【符号の説明】
【００５２】
１ 記録再生装置
６ 記録・再生制御部
１１ 視点切替制御部
１２ ＧＵＩ制御部
１７ 制御部
１８ ユーザアクション記憶部
１９ 視点情報記憶部
【特許請求の範囲】
【請求項１】
複数視点映像又は任意視点映像のコンテンツを視聴する際に、指定された視点の映像を再生可能な再生装置であって、
前記映像の再生が中断された場合に、中断前に指定されていた第１の視点の情報を記憶する視点情報記憶手段と、
前記映像の再生を再開する際、再生の中断期間に他のコンテンツを視聴する操作指示動作が行われたか否かを判定し、前記操作指示動作が行われた場合、前記映像について予め指定される第２の視点の映像を再生し、前記操作指示動作が行われない場合、前記視点情報記憶手段から読み出した情報の示す前記第１の視点の映像を再生するように制御する制御手段と、を備えることを特徴とする再生装置。
【請求項２】
複数視点映像又は任意視点映像のコンテンツを視聴する際に、指定された視点の映像を再生可能な再生装置であって、
前記映像の再生が中断された場合に、中断前に指定されていた第１の視点の情報を記憶する視点情報記憶手段と、
前記映像の再生を再開する際、再生の中断期間の長さを判定し、該中断期間の長さが基準時間以上である場合、前記映像について予め指定される第２の視点の映像を再生し、前記中断期間の長さが基準時間未満である場合、前記視点情報記憶手段から読み出した情報の示す前記第１の視点の映像を再生するように制御する制御手段と、を備えることを特徴とする再生装置。
【請求項３】
前記制御手段は、前記操作指示動作が行われた場合、前記第１及び第２の視点を指定して２画面で各視点の映像の再生を再開させることを特徴とする、請求項１記載の再生装置。
【請求項４】
前記制御手段は、前記中断期間の長さが前記基準時間以上である場合、前記第１及び第２の視点を指定して２画面で各視点の映像の再生を再開させることを特徴とする、請求項２記載の再生装置。
【請求項５】
前記制御手段は、前記映像のジャンルに応じた前記基準時間を用いて前記中断期間の長さを判定することを特徴とする、請求項２又は４に記載の再生装置。
【請求項６】
前記制御手段は、前記映像のジャンル又は視点に応じた複数の調整用係数の乗算によって前記基準時間を算出することを特徴とする、請求項５に記載の再生装置。
【請求項７】
視点の切り替えをユーザに通知するために、前記第１及び第２の視点の情報を示す映像データの生成手段を備えることを特徴とする、請求項１から６のいずれか１項記載の再生装置。
【請求項８】
前記制御手段が指定した視点の映像信号を出力する視点切替制御手段と、
再生の中断期間に受け付けた操作指示動作の情報を記憶する記憶手段をさらに備えることを特徴とする、請求項１から７のいずれか１項記載の再生装置。
【請求項９】
複数視点映像又は任意視点映像のコンテンツを視聴する際に、指定された視点の映像を再生可能な再生装置により実行される再生方法であって、
ユーザの操作指示を受け付けるステップと、
前記映像の再生が中断された場合に、中断前に指定されていた第１の視点の情報を記憶するステップと、
前記映像の再生を再開する際、再生の中断期間に他のコンテンツを視聴する操作指示動作が行われたか否かを判定するステップと、
再生の中断期間に前記操作指示動作が行われた場合、前記映像について予め指定される第２の視点の映像を再生し、前記操作指示動作が行われない場合、記憶しておいた前記第１の視点の映像を再生するステップを有することを特徴とする再生方法。
【請求項１０】
複数視点映像又は任意視点映像のコンテンツを視聴する際に、指定された視点の映像を再生可能な再生装置により実行される再生方法であって、
前記映像の再生が中断された場合に、中断前に指定されていた第１の視点の情報を記憶するステップと、
前記映像の再生を再開する際、再生の中断期間の長さを判定し、該中断期間の長さが基準時間以上である場合、前記映像について予め指定される第２の視点の映像を再生し、前記中断期間の長さが基準時間未満である場合、前記ステップで記憶した情報の示す前記第１の視点の映像を再生するステップを有することを特徴とする再生方法。
【請求項１】
複数視点映像又は任意視点映像のコンテンツを視聴する際に、指定された視点の映像を再生可能な再生装置であって、
前記映像の再生が中断された場合に、中断前に指定されていた第１の視点の情報を記憶する視点情報記憶手段と、
前記映像の再生を再開する際、再生の中断期間に他のコンテンツを視聴する操作指示動作が行われたか否かを判定し、前記操作指示動作が行われた場合、前記映像について予め指定される第２の視点の映像を再生し、前記操作指示動作が行われない場合、前記視点情報記憶手段から読み出した情報の示す前記第１の視点の映像を再生するように制御する制御手段と、を備えることを特徴とする再生装置。
【請求項２】
複数視点映像又は任意視点映像のコンテンツを視聴する際に、指定された視点の映像を再生可能な再生装置であって、
前記映像の再生が中断された場合に、中断前に指定されていた第１の視点の情報を記憶する視点情報記憶手段と、
前記映像の再生を再開する際、再生の中断期間の長さを判定し、該中断期間の長さが基準時間以上である場合、前記映像について予め指定される第２の視点の映像を再生し、前記中断期間の長さが基準時間未満である場合、前記視点情報記憶手段から読み出した情報の示す前記第１の視点の映像を再生するように制御する制御手段と、を備えることを特徴とする再生装置。
【請求項３】
前記制御手段は、前記操作指示動作が行われた場合、前記第１及び第２の視点を指定して２画面で各視点の映像の再生を再開させることを特徴とする、請求項１記載の再生装置。
【請求項４】
前記制御手段は、前記中断期間の長さが前記基準時間以上である場合、前記第１及び第２の視点を指定して２画面で各視点の映像の再生を再開させることを特徴とする、請求項２記載の再生装置。
【請求項５】
前記制御手段は、前記映像のジャンルに応じた前記基準時間を用いて前記中断期間の長さを判定することを特徴とする、請求項２又は４に記載の再生装置。
【請求項６】
前記制御手段は、前記映像のジャンル又は視点に応じた複数の調整用係数の乗算によって前記基準時間を算出することを特徴とする、請求項５に記載の再生装置。
【請求項７】
視点の切り替えをユーザに通知するために、前記第１及び第２の視点の情報を示す映像データの生成手段を備えることを特徴とする、請求項１から６のいずれか１項記載の再生装置。
【請求項８】
前記制御手段が指定した視点の映像信号を出力する視点切替制御手段と、
再生の中断期間に受け付けた操作指示動作の情報を記憶する記憶手段をさらに備えることを特徴とする、請求項１から７のいずれか１項記載の再生装置。
【請求項９】
複数視点映像又は任意視点映像のコンテンツを視聴する際に、指定された視点の映像を再生可能な再生装置により実行される再生方法であって、
ユーザの操作指示を受け付けるステップと、
前記映像の再生が中断された場合に、中断前に指定されていた第１の視点の情報を記憶するステップと、
前記映像の再生を再開する際、再生の中断期間に他のコンテンツを視聴する操作指示動作が行われたか否かを判定するステップと、
再生の中断期間に前記操作指示動作が行われた場合、前記映像について予め指定される第２の視点の映像を再生し、前記操作指示動作が行われない場合、記憶しておいた前記第１の視点の映像を再生するステップを有することを特徴とする再生方法。
【請求項１０】
複数視点映像又は任意視点映像のコンテンツを視聴する際に、指定された視点の映像を再生可能な再生装置により実行される再生方法であって、
前記映像の再生が中断された場合に、中断前に指定されていた第１の視点の情報を記憶するステップと、
前記映像の再生を再開する際、再生の中断期間の長さを判定し、該中断期間の長さが基準時間以上である場合、前記映像について予め指定される第２の視点の映像を再生し、前記中断期間の長さが基準時間未満である場合、前記ステップで記憶した情報の示す前記第１の視点の映像を再生するステップを有することを特徴とする再生方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【公開番号】特開２０１１−２１１３３８（Ｐ２０１１−２１１３３８Ａ）
【公開日】平成２３年１０月２０日（２０１１．１０．２０）
【国際特許分類】
【出願番号】特願２０１０−７４９６６（Ｐ２０１０−７４９６６）
【出願日】平成２２年３月２９日（２０１０．３．２９）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
【公開日】平成２３年１０月２０日（２０１１．１０．２０）
【国際特許分類】
【出願日】平成２２年３月２９日（２０１０．３．２９）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
[ Back to top ]