映像再生装置及び映像再生装置の制御方法
【課題】 スロー再生中に入力映像のフレームレートが変化した場合、フレームレートの変化の前後でスロー再生速度を一定に保つことが可能な映像再生装置及び映像再生装置の制御方法を提供する。
【解決手段】 フレームレートの値を取得し、スロー再生制御部１０９は変化後のフレームレートで、設定されたスロー再生速度でスロー再生するために必要な各フレームの表示時間を算出する。そして、スロー再生制御部１０９は動画デコード部１０６に対して各フレームを算出した表示時間間隔で表示するように指示する。
【解決手段】 フレームレートの値を取得し、スロー再生制御部１０９は変化後のフレームレートで、設定されたスロー再生速度でスロー再生するために必要な各フレームの表示時間を算出する。そして、スロー再生制御部１０９は動画デコード部１０６に対して各フレームを算出した表示時間間隔で表示するように指示する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、映像のスロー再生が可能な映像再生装置及び映像再生装置の制御方法に関するものである。
【背景技術】
【０００２】
現在、１つの映像ストリームデータ中に複数のフレームレートの映像を符号化することができるＨ．２６４／ＳＶＣ（Ｓｃａｌａｂｌｅ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）技術が規格化されている。この技術によれば、標準的な３０ｆｐｓ（ｆｌａｍｅ ｐｅｒ ｓｅｃｏｎｄ）の映像に対して、たとえば４８０ｆｐｓなどの高いフレームレートの映像を付加して符号化することが出来るようになる。さらに、Ｈ．２６４／ＳＶＣでは映像中の特定期間にのみ高フレームレートの映像を付加することも可能である。つまり、野球中継の映像コンテンツにおいて、映像コンテンツ中のバッティングのシーンのみ高フレームレートな映像を付加して符号化することができる。
【０００３】
なお、映像コンテンツの特殊再生時の再生速度を適応的に制御する技術としては、字幕などの付加情報の情報量に基づいて再生速度を制御するものがある（特許文献１参照）。また、映像ストリームデータのビットレートに基づいて再生速度を制御する技術がある（特許文献２参照）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００９−１６４９６９号公報
【特許文献２】特開２００８−２２７７４４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
一般的な表示機器では、映像表示におけるリフレッシュレートが６０Ｈｚであることが多いが、最近では、より高速な表示が可能な１２０Ｈｚや２４０Ｈｚに対応する表示機器も登場してきている。また、携帯電話などの携帯機器ではリフレッシュレートが１５Ｈｚや３０Ｈｚであることが一般的である。なお、リフレッシュレートとは１秒あたりの画像（フレーム）表示回数を示すものである。
【０００６】
例えば、３０ｆｐｓの映像コンテンツを６０Ｈｚの表示機器で表示する場合は１フレームを２度繰り返したり、２つのフレームから補間処理によりフレーム間に新規のフレームを生成したりすることで、毎秒３０枚のフレームを実質的に６０フレームとしている。
【０００７】
対して、映像が表示機器のリフレッシュレートよりも高いフレームレートを有している場合には、全てのフレームを表示機器のリフレッシュレートで表示すると、見た目には実際の動きよりもゆっくりした動き（これをスローモーション、または単にスローと称する）として映る。例えば、４８０ｆｐｓの映像を６０Ｈｚの表示機器で全てのフレームを表示した場合には、１秒あたり４８０枚のフレームが４８０÷６０＝８秒で表示されることになるので、実際の動きよりも８倍遅く見えることになる。つまり、実際には１秒の間の動きを８秒かけてスローモーションで表示することを意味している。反対に、表示機器のリフレッシュレートよりも高いフレームレートを有する映像を実時間と等しい速度で再生するには、フレームを間引いて表示することが考えられる。例えば、４８０ｆｐｓの映像を６０Ｈｚの表示機器に等速（１倍速）で表示する場合には、８枚につき１枚のフレームを周期的に抽出して表示すればよいことになる。
【０００８】
従って、表示機器のリフレッシュレートとは異なるフレームレートを有する映像コンテンツであっても、表示機器のリフレッシュレートにあわせて、実時間と等速の再生を行うことが可能である。
【０００９】
このように、映像コンテンツをスローモーションとして再生する、いわゆるスロー再生をする場合、映像コンテンツが有するフレームレートと、表示機器のリフレッシュレートに基づいて、再生処理を制御する必要がある。つまり、スロー再生中に入力映像のフレームレートがシーンによって動的に変化する場合には、変化を検出し、変化の内容に基づいてスロー再生処理の制御をする必要がある。
【００１０】
しかし、現在の映像再生装置のスロー再生機能は、スロー再生中に入力映像のフレームレートが変化することを想定しておらず、フレームレートの変化を検出し、変化の内容に基づいてスロー再生処理を制御していなかった。
【００１１】
また、上述した特許文献１に開示の技術は、特殊再生における再生速度は制御しているが、再生速度の制御にあたっては、字幕などの付加情報の情報量を参照しており、フレームレートの変化に基づいた制御を行っていない。上述した特許文献２に開示の技術は、特殊再生における再生速度は制御しているが、再生速度の制御にあたっては、映像データのビットレートを参照しており、フレームレートの変化に基づいた制御を行っていない。
【００１２】
そこで、本発明は、スロー再生中の映像コンテンツのフレームレートの変化を検出してスロー再生処理を制御するにあたり、フレームレートの変化の前後でスロー再生速度を一定に保つことが可能な映像再生装置及び映像再生装置の制御方法を提供することを目的とする。
【課題を解決するための手段】
【００１３】
上記目的を達成するために、本発明の映像再生装置は、映像データのスロー再生制御が可能な映像再生装置であって、再生する符号化映像データのフレームレートの値を当該符号化映像データの属性情報から取得する取得手段と、ユーザから指示されたスロー再生の再生速度と、前記取得手段が取得した前記符号化映像データのフレームレートの値とを用いて、当該符号化映像データを前記再生速度で再生するための、前記符号化映像データを復号して得られるフレーム単位の表示時間を算出する制御手段と、前記算出されたフレーム単位の表示時間に基づいて前記符号化映像データを復号するとともに、復号で得られたフレームを、当該フレームを表示する表示部のリフレッシュレートに適応させるための補間処理または間引き処理を実行するデコード手段と、を有し、前記再生速度でのスロー再生中に、スロー再生している映像データのフレームレートが変化したことを前記取得手段が検出した場合、前記制御手段は、変化後のフレームレートで前記再生速度のスロー再生を行うことが可能なフレーム単位の表示時間を算出し、前記デコード手段は、前記変化後のフレームレートに対応して算出されたフレーム単位の表示時間を用いて、前記符号化映像データを復号するとともに、当該復号で得られたフレームを、前記リフレッシュレートに適応させるための補間処理または間引き処理を実行する。
【発明の効果】
【００１４】
以上説明したように、本発明によれば、スロー再生中の映像コンテンツのフレームレートの変化を検出してスロー再生処理を制御するにあたり、フレームレートの変化の前後でスロー再生速度を一定に保つことが可能となる。
【図面の簡単な説明】
【００１５】
【図１】本発明の各実施例に係る映像再生装置の構成を示すブロック図である。
【図２】本発明の実施例１に係るフローチャートである。
【図３】本発明の実施例２に係るフローチャートである。
【図４】本発明の実施例３に係るフローチャートである。
【発明を実施するための形態】
【００１６】
以下、添付図面を参照して、本発明の実施例を説明する。
【実施例１】
【００１７】
本発明の第１の実施例について説明する。本実施例の映像再生装置は、リフレッシュレートが６０Ｈｚの表示パネルで表示する映像を再生する装置である。したがって、表示パネルと別体として設けられた映像コンテンツの再生装置であっても良いし、表示パネルとプレーヤが同一の筐体に設けられているタイプの映像再生装置であっても良い。
【００１８】
再生対象の映像コンテンツは、ＭＰＥＧ２ ＴＳ（Ｔｒａｎｓｐｏｒｔ Ｓｔｒｅａｍ）形式のストリームデータである。このＭＰＥＧ２ ＴＳのストリームデータには、Ｈ．２６４／ＳＶＣで符号化された映像ストリームデータと音声ストリームデータが多重化されている。このストリームデータを単に符号化映像データと称する。
【００１９】
図１は、実施例１に係る映像再生装置１００の構成を示すブロック図である。蓄積部１０１は映像コンテンツとしての符号化映像データを蓄積する。符号化映像データは、放送や通信といった手段で受信し、蓄積部１０１に蓄積するものとする。入力部１０２は蓄積部１０１に蓄積されているＭＰＥＧ２ ＴＳで符号化された符号化映像データを読み出し、分離部１０３へ出力する。
【００２０】
分離部１０３は入力された符号化映像データから映像ストリームデータと音声ストリームデータを分離する。その後、分離部１０３は分離した映像ストリームデータを動画デコード部１０６とフレームレート検出部１０８へ、音声ストリームデータを音声デコード部１０４へそれぞれ出力する。
【００２１】
音声デコード部１０４は、入力された音声ストリームデータを復号し、復号した音声データを音声出力部１０５へ出力する。音声出力部１０５は、入力した音声データをスピーカへ出力する。
【００２２】
動画デコード部１０６は、入力された映像ストリームデータを映像データに復号し、復号した映像データを映像合成出力部１０７へ出力する。復号した映像データはフレーム単位の映像データである。動画デコード部１０６は、表示パネルのリフレッシュレートと同期するように、フレーム単位の映像データのフレームレートを６０ｆｐｓとするような補間処理または間引き処理を行う。通常再生時には、復号した映像データの各フレームを実時間と等しい速度となるような補間処理または間引き処理を実行する。一方、スロー再生時には、スロー再生制御部１０９によって指示されたフレームの表示間隔となるように、フレームの補間処理および間引き処理を実行する。映像合成出力部１０７は、復号された映像データとＵＩ制御部１１０から出力されたグラフィクスデータを合成し、合成したデータを表示パネル（表示部）へ出力する。
【００２３】
フレームレート検出部１０８は、入力された映像ストリームデータを解析し、入力されたフレームレートの値を検出する。また、フレームレートの値が変化した場合には、変化した旨をスロー再生制御部１０９に通知する。入力したＨ．２６４／ＳＶＣの映像ストリームデータには、符号化データに対するヘッダデータとして、シーケンス全体の符号化に関わる情報であるＳＰＳ（Ｓｅｑｕｅｎｃｅ Ｐａｒａｍｅｔｅｒ Ｓｅｔ）が含まれる。フレームレートの値は、このＳＰＳから取得する。また、映像ストリームデータのＳＰＳを常に監視し続けることで、フレームレートの値の変化を検出することができる。なお、フレームレートの値は、映像ストリームデータのＳＰＳに限らず、映像ストリームデータのフレームレートを示すことが可能な属性情報であれば、どのような情報に含まれていても良い。
【００２４】
スロー再生制御部１０９は、フレームレート検出部１０８が検出したフレームレートの値を参照し、動画デコード部１０６に対してスロー再生を指示する制御コマンドを出力する。スロー再生制御部１０９が制御コマンドを出力するタイミングは、ユーザからスロー再生指示があった場合と、スロー再生中に入力映像のフレームレートの値が変化した場合である。ユーザからスロー再生指示があった場合には、ＵＩ制御部１１０を介してユーザからのスロー再生指示を受信し、スロー再生の制御コマンドを動画デコード部１０６に出力する。スロー再生中に入力映像のフレームレートの値が変化した場合には、フレームレート検出部１０８からフレームレートが変化した旨の通知を受信し、スロー再生の制御コマンドを動画デコード部１０６に出力する。スロー再生制御部１０９の詳細な処理については後述する。
【００２５】
ＵＩ制御部１１０は、ユーザからの指示や、映像再生装置１００の内部状態に応じて、ユーザへ提示するメニューなどのグラフィクスデータを生成し、映像合成出力部１０７へ出力する。また、ＵＩ受信部１１１からのスロー再生指示等の指示情報を、スロー再生制御部１０９へ出力する。ＵＩ受信部１１１は、ユーザからの入力を受け付け、ＵＩ制御部１１０へユーザから入力された指示情報を出力する。
【００２６】
続いて、スロー再生の開始処理について説明する。スロー再生はユーザの指示によって開始される。また、スロー再生速度もユーザから指定される。
【００２７】
スロー再生制御部１０９はＵＩ制御部１１０から、スロー再生開始指示とスロー再生速度の入力を受ける。また、スロー再生制御部１０９はフレームレートの値をフレームレート検出部１０８から入力される。スロー再生制御部１０９はスロー再生速度（ＳＰ）と、フレームレートの値（ＦＲ）とを用いて、１／（ＳＰ×ＦＲ）の値を各フレーム単位の表示時間（ＴＭ）として算出する。そして、復号した映像データの各フレームを、算出した表示時間毎に表示するよう、動画デコード部１０６へ指示する。
【００２８】
動画デコード部１０６は入力した映像ストリームデータを復号し、復号した映像データの各フレームをＴＭ毎に出力するように補間処理または間引き処理を行う。具体例として、映像のフレームレートが１２０ｆｐｓであり、ユーザから１／４倍でスロー再生するように指示を受けた場合について説明する。１／４倍のスロー再生とは、実時間における１秒間の映像を４秒かけて再生するようなスロー再生のことである。ＦＲが１２０ｆｐｓであり、ＳＰが１／４倍であるため、ＴＭは１／（１２０×１／４）＝１／３０秒となる。スロー再生制御部１０９は各フレームを１／３０秒間隔で表示するよう動画デコード部１０６へ指示する。動画デコード部１０６は入力映像の各フレームを１／３０秒間隔で処理し、表示パネルのリフレッシュレートである６０ｆｐｓに適応させるために、１枚のフレームを２回繰り返して出力するような補間処理を実行する。
【００２９】
続いて、本発明の特徴的な処理である、スロー再生中に入力映像のフレームレートの値が変化した際の制御について説明する。図２は、スロー再生中にフレームレートの値が変化した際の処理を示す。以下では、具体例としてフレームレートの値が１２０ｆｐｓの映像を１／４倍でスロー再生していたときに、フレームレートの値が４８０ｆｐｓに変化した場合について説明する。
【００３０】
ステップＳ１０１で、フレームレート検出部１０８は入力映像のフレームレートの値が変化したことを検出し、変化したフレームレートの値を取得する。さらに、フレームレートの値が変化したことと、変化前後のフレームレートの値をスロー再生制御部１０９へ出力する。
【００３１】
ステップＳ１０２で、スロー再生制御部１０９はフレームレートの変化前の値をＦＲ１とし、変化後のフレームレートの値をＦＲ２として設定する。具体例でいえば、ＦＲ１が１２０ｆｐｓであり、ＦＲ２が４８０ｆｐｓである。
【００３２】
ステップＳ１０３で、スロー再生制御部１０９は現在のスロー再生速度をＳＰ１として設定する。具体例でいえばＳＰ１は１／４倍である。ステップＳ１０４で、スロー再生制御部１０９は１／（ＦＲ２×ＳＰ１）を各フレームの表示時間ＴＭとして算出する。そして、スロー再生制御部１０９は動画デコード部１０６に対して各フレームをＴＭ間隔で表示するように指示する。具体例でいえば、各フレームの表示時間ＴＭは１／（４８０×１／４）＝１／１２０秒となる。
【００３３】
その後、ステップＳ１０５で、動画デコード部１０６は復号した入力映像の各フレームをＴＭ間隔で表示し、表示パネルのリフレッシュレートである６０ｆｐｓに適応させるために、フレームの補間処理もしくは間引き処理を実行する。具体例でいえば、動画デコード部１０６は、フレームレートの変化前は各フレームを１／３０秒間隔で表示するために１枚のフレームを２回繰り返して表示していた。しかし、フレームレート変化後では各フレームを１／１２０秒間隔で表示するために２枚につき１枚のフレームを周期的に抽出して表示する処理（間引き処理）を実行する。以上の処理によって、映像再生中に入力映像のフレームレートの値が変化した後についても、変化前と同様に、実時間の１／４倍の速度にてスロー再生を行うことができる。
【００３４】
以上、本実施例によれば、スロー再生中の映像コンテンツのフレームレートの値が変化した場合でも、フレームレートの変化後も変化前と同じ再生速度にてスロー再生を行うことができる。これによって、入力映像のフレームレートの変化によってスロー再生速度が変化してしまい、映像を視聴しているユーザに対して違和感を与えることを防ぐことができる。
【００３５】
なお、本実施例においては、図２のステップＳ１０４において、スロー再生制御部１０９はフレームレートの値が変化した後の各フレームの表示時間ＴＭを算出して決定したが、このときＴＭの上限を設定してもよい。具体的には、スロー再生速度ＳＰ１の値と、変化後のフレームレートの値の組み合わせによっては、算出される表示時間ＴＭがスロー再生に適さないほど大きい値になってしまう場合がある。例えば、スロー再生速度ＳＰ１が１／３２倍であるときに、フレームレートの値が３０ｆｐｓに変化すると、変化後の各フレームの表示時間ＴＭは１．０７秒程度の値となる。この場合、１枚のフレームが１秒以上表示されるため、スロー再生というよりも静止画のスライドショーやコマ送りのような再生になってしまい、望ましい再生とは言えない。このため、表示時間ＴＭの上限の値を例えば１／１５秒とし、算出した結果がそれよりも大きくなる（フレーム単位の表示時間が長時間になる）場合には、常に１／１５秒を表示時間ＴＭの値とするような制御をしてもよい。
【実施例２】
【００３６】
次に、本発明の第２の実施例について説明する。上述した実施例１は、映像データのフレームレートの値が変化しても、映像の実時間に対するスロー再生速度が変化しないようにするものであった。対して、本実施例はフレームレートの値が変化したことに従い、スロー再生中の各フレームの表示間隔を変化前の表示間隔と同一にすることに特徴を有する。つまり、フレームレートの変化前後で、実時間に対するスロー再生速度は変化することになる。
【００３７】
実施例２における映像再生装置の構成は、図１で示した実施例１の映像再生装置の構成と同様であるので、説明を省略する。
【００３８】
図３は、実施例２における、スロー再生中にフレームレートの値が変化した際の処理を示す。以下では、具体例としてフレームレートの値が１２０ｆｐｓの映像を１／４倍速でスロー再生していたときに、映像のフレームレートの値が４８０ｆｐｓに変化した場合について説明する。１２０ｆｐｓの映像を１／４倍速でスロー再生しているので、各フレームは１／３０秒間隔で表示している。したがって、フレームレートの値が４８０ｆｐｓに変化しても、各フレームを１／３０秒間隔で表示することが求められる。
【００３９】
ステップＳ２０１からステップＳ２０３は上述した実施例１における図２のフローチャートのステップＳ１０１からステップＳ１０３と等しい制御であるので説明を省略する。
【００４０】
ステップＳ２０４で、スロー再生制御部１０９はフレームレートの値が変化した後のスロー再生速度ＳＰ２＝ＦＲ１／ＦＲ２×ＳＰ１を求める。具体例でいえば、変化後再生速度ＳＰ２は（１２０／４８０）×１／４＝１／１６倍と算出する。
【００４１】
ステップＳ２０５で、スロー再生制御部１０９は１／（ＦＲ２×ＳＰ２）を各フレームの表示時間ＴＭとして算出する。スロー再生制御部１０９は動画デコード部１０６に対して各フレームをＴＭ間隔で表示するように指示する。具体例でいえば、各フレームの表示時間ＴＭは１／（４８０×１／１６）＝１／３０秒となる。
【００４２】
ステップＳ２０６で、動画デコード部１０６は復号した入力映像の各フレームをＴＭ間隔で表示し、パネルのリフレッシュレートである６０ｆｐｓに適応させるために、補間処理もしくは間引き処理をする。具体例でいえば、動画デコード部１０６は、変化前は各フレームを１／３０秒間隔で表示するために１枚のフレームを２回繰り返して出力していた。変化後も各フレームを１／３０秒間隔で表示するために１枚のフレームを２回繰り返して出力する。
【００４３】
以上の処理によって、フレームレートの値が変化した後については１／１６倍でスロー再生することで、変化前と同様に各フレームの表示時間を１／３０秒とするようなスロー再生を行うことができる。
【００４４】
以上、本実施例によれば、スロー再生中の映像コンテンツのフレームレートの値が変化した場合、変化後においても変化前と同じ各フレームの表示時間にてスロー再生を行うことができる。これによって、入力映像のフレームレートの値が大きく変化した場合には、単位時間あたりのフレーム数が多くなったことを利用し、変化前の映像に比べて再生速度を実質的に低速にし、より詳細なスロー再生を行うことができる。反対に、入力映像のフレームレートの値が小さく変化した場合には、単位時間あたりのフレーム数が少なくなったことによって、スロー再生というよりもコマ送りのような再生になってしまうことを低減することができる。
【００４５】
なお、本実施例においては、図３のステップＳ２０４において、スロー再生制御部１０９はフレームレートの値が変化した後のスロー再生速度ＳＰ２を算出して決定したが、このときＳＰ２の値の上限を設定してもよい。具体的には、スロー再生速度ＳＰ２の値が１倍より大きくなるとスロー再生ではなく、早送り再生になってしまう。これに対応するために、上限の値を０．８倍とし、算出した結果がそれより大きくなる場合は常に０．８倍を再生速度とするような制御をしてもよい。
【実施例３】
【００４６】
次に、本発明の第３の実施例について説明する。上述した実施例１および２は、フレームレートの値が大きくなるような変化と小さくなるような変化において同じ処理を行うものであった。対して、本実施例はフレームレートの値が大きくなるような変化と、小さくなるような変化とでスロー再生処理を分岐させることに特徴を有する。
【００４７】
実施例３における映像再生装置の構成は、図１で示した実施例１の映像再生装置の構成と同様であるので、説明を省略する。
【００４８】
図４は、実施例３における、スロー再生中にフレームレートの値が変化した際の処理を示す。以下では、具体例としてフレームレートの値が１２０ｆｐｓの映像を１／４倍でスロー再生していたときに、フレームレートの値が４８０ｆｐｓに変化した場合と、６０ｆｐｓに変化した場合について説明する。
【００４９】
ステップＳ３０１からステップＳ３０３は上述した実施例１における図２のフローチャートのステップＳ１０１からステップＳ１０３と等しい制御であるので説明を省略する。
【００５０】
ステップＳ３０４で、スロー再生制御部１０９はＦＲ２がＦＲ１より大きいか、それとも、ＦＲ２がＦＲ１より小さいかを比較により判定する。ＦＲ２がＦＲ１より大きい場合はステップＳ３０７へ、ＦＲ２がＦＲ１より小さい場合はステップＳ３０５へ処理を進める。具体例でいえば、１２０ｆｐｓから４８０ｆｐｓへ変化した場合はステップＳ３０７へ、１２０ｆｐｓから６０ｆｐｓへ変化した場合はステップＳ３０５へ処理を進める。
【００５１】
ステップＳ３０５で、スロー再生制御部１０９はＦＲ１／ＦＲ２×ＳＰ１をフレームレートの値が変化した後のスロー再生速度ＳＰ２と決定する。具体例でいえば、１２０ｆｐｓから６０ｆｐｓへ変化した場合は、１２０／６０×１／４＝１／２倍をスロー再生速度ＳＰ２とする。
【００５２】
ステップＳ３０６で、スロー再生制御部１０９は１／（ＦＲ２×ＳＰ２）を各フレームの表示時間ＴＭと算出する。スロー再生制御部１０９は動画デコード部１０６に対して各フレームをＴＭ間隔で表示するように指示する。具体例でいえば、１２０ｆｐｓから６０ｆｐｓへ変化した場合は、各フレームの表示時間ＴＭは１／（６０×１／２）＝１／３０秒となる。
【００５３】
ステップＳ３０７で、スロー再生制御部１０９は１／（ＦＲ２×ＳＰ１）を各フレームの表示時間ＴＭと算出する。スロー再生制御部１０９は動画デコード部１０６に対して各フレームをＴＭ間隔で表示するように指示する。具体例でいえば、１２０ｆｐｓから４８０ｆｐｓに変化した場合は、各フレームの表示時間ＴＭは１／（４８０×１／４）＝１／１２０秒となる。
【００５４】
ステップＳ３０８において、動画デコード部１０６は復号した入力映像の各フレームをＴＭ間隔で表示し、表示パネルのリフレッシュレートである６０ｆｐｓに適応させるために、補間処理もしくは間引き処理をする。具体例でいえば、動画デコード部１０６は、フレームレート変化前は各フレームを１／３０秒間隔で表示するために１枚のフレームを２回繰り返して表示していた。４８０ｆｐｓに変化した場合は、各フレームを１／１２０秒間隔で表示するために２枚につき１枚のフレームを周期的に抽出して表示する。６０ｆｐｓに変化した場合は、各フレームを１／３０秒間隔で表示するために１枚のフレームを２回繰り返して表示する。
【００５５】
以上の処理によって、フレームレートが１２０ｆｐｓから４８０ｆｐｓへ大きくなった場合には、変化前と同様に１／８倍のスロー再生速度にてスロー再生を行うことができる。反対に、フレームレートが１２０ｆｐｓから６０ｆｐｓへ小さくなった場合には、再生速度を１／２倍とする事で変化前と同様に各フレームの表示時間を１／３０秒とするようなスロー再生を行うことができる。
【００５６】
以上、本実施例によれば、スロー再生中の映像コンテンツのフレームレートの値が変化した場合、フレームレートが大きくなる変化と、小さくなる変化のそれぞれで処理を切り換えることができる。これによって、入力映像のフレームレートの値が大きくなる変化をした場合には、変化後の各フレームの表示時間を短くすることで、スロー再生速度を一定に保つことができる。反対に、フレームレートの値が小さくなる変化をした場合には、スロー再生速度を速くすることで、変化後の各フレームの表示時間が変化前より長くなることで、望ましくないスロー再生になることを低減できる。
【００５７】
なお、以上の各実施例で説明した構成要素及び処理は、ハードウェアで実装してもよいし、ソフトウェアで実装してもよいし、その組み合わせで実装してもよい。これらの構成要素及び処理の一部又は全部を実装するソフトウェア（プログラム）、及びこれを格納した記憶媒体も、本発明の範囲に含まれる。
【技術分野】
【０００１】
本発明は、映像のスロー再生が可能な映像再生装置及び映像再生装置の制御方法に関するものである。
【背景技術】
【０００２】
現在、１つの映像ストリームデータ中に複数のフレームレートの映像を符号化することができるＨ．２６４／ＳＶＣ（Ｓｃａｌａｂｌｅ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）技術が規格化されている。この技術によれば、標準的な３０ｆｐｓ（ｆｌａｍｅ ｐｅｒ ｓｅｃｏｎｄ）の映像に対して、たとえば４８０ｆｐｓなどの高いフレームレートの映像を付加して符号化することが出来るようになる。さらに、Ｈ．２６４／ＳＶＣでは映像中の特定期間にのみ高フレームレートの映像を付加することも可能である。つまり、野球中継の映像コンテンツにおいて、映像コンテンツ中のバッティングのシーンのみ高フレームレートな映像を付加して符号化することができる。
【０００３】
なお、映像コンテンツの特殊再生時の再生速度を適応的に制御する技術としては、字幕などの付加情報の情報量に基づいて再生速度を制御するものがある（特許文献１参照）。また、映像ストリームデータのビットレートに基づいて再生速度を制御する技術がある（特許文献２参照）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００９−１６４９６９号公報
【特許文献２】特開２００８−２２７７４４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
一般的な表示機器では、映像表示におけるリフレッシュレートが６０Ｈｚであることが多いが、最近では、より高速な表示が可能な１２０Ｈｚや２４０Ｈｚに対応する表示機器も登場してきている。また、携帯電話などの携帯機器ではリフレッシュレートが１５Ｈｚや３０Ｈｚであることが一般的である。なお、リフレッシュレートとは１秒あたりの画像（フレーム）表示回数を示すものである。
【０００６】
例えば、３０ｆｐｓの映像コンテンツを６０Ｈｚの表示機器で表示する場合は１フレームを２度繰り返したり、２つのフレームから補間処理によりフレーム間に新規のフレームを生成したりすることで、毎秒３０枚のフレームを実質的に６０フレームとしている。
【０００７】
対して、映像が表示機器のリフレッシュレートよりも高いフレームレートを有している場合には、全てのフレームを表示機器のリフレッシュレートで表示すると、見た目には実際の動きよりもゆっくりした動き（これをスローモーション、または単にスローと称する）として映る。例えば、４８０ｆｐｓの映像を６０Ｈｚの表示機器で全てのフレームを表示した場合には、１秒あたり４８０枚のフレームが４８０÷６０＝８秒で表示されることになるので、実際の動きよりも８倍遅く見えることになる。つまり、実際には１秒の間の動きを８秒かけてスローモーションで表示することを意味している。反対に、表示機器のリフレッシュレートよりも高いフレームレートを有する映像を実時間と等しい速度で再生するには、フレームを間引いて表示することが考えられる。例えば、４８０ｆｐｓの映像を６０Ｈｚの表示機器に等速（１倍速）で表示する場合には、８枚につき１枚のフレームを周期的に抽出して表示すればよいことになる。
【０００８】
従って、表示機器のリフレッシュレートとは異なるフレームレートを有する映像コンテンツであっても、表示機器のリフレッシュレートにあわせて、実時間と等速の再生を行うことが可能である。
【０００９】
このように、映像コンテンツをスローモーションとして再生する、いわゆるスロー再生をする場合、映像コンテンツが有するフレームレートと、表示機器のリフレッシュレートに基づいて、再生処理を制御する必要がある。つまり、スロー再生中に入力映像のフレームレートがシーンによって動的に変化する場合には、変化を検出し、変化の内容に基づいてスロー再生処理の制御をする必要がある。
【００１０】
しかし、現在の映像再生装置のスロー再生機能は、スロー再生中に入力映像のフレームレートが変化することを想定しておらず、フレームレートの変化を検出し、変化の内容に基づいてスロー再生処理を制御していなかった。
【００１１】
また、上述した特許文献１に開示の技術は、特殊再生における再生速度は制御しているが、再生速度の制御にあたっては、字幕などの付加情報の情報量を参照しており、フレームレートの変化に基づいた制御を行っていない。上述した特許文献２に開示の技術は、特殊再生における再生速度は制御しているが、再生速度の制御にあたっては、映像データのビットレートを参照しており、フレームレートの変化に基づいた制御を行っていない。
【００１２】
そこで、本発明は、スロー再生中の映像コンテンツのフレームレートの変化を検出してスロー再生処理を制御するにあたり、フレームレートの変化の前後でスロー再生速度を一定に保つことが可能な映像再生装置及び映像再生装置の制御方法を提供することを目的とする。
【課題を解決するための手段】
【００１３】
上記目的を達成するために、本発明の映像再生装置は、映像データのスロー再生制御が可能な映像再生装置であって、再生する符号化映像データのフレームレートの値を当該符号化映像データの属性情報から取得する取得手段と、ユーザから指示されたスロー再生の再生速度と、前記取得手段が取得した前記符号化映像データのフレームレートの値とを用いて、当該符号化映像データを前記再生速度で再生するための、前記符号化映像データを復号して得られるフレーム単位の表示時間を算出する制御手段と、前記算出されたフレーム単位の表示時間に基づいて前記符号化映像データを復号するとともに、復号で得られたフレームを、当該フレームを表示する表示部のリフレッシュレートに適応させるための補間処理または間引き処理を実行するデコード手段と、を有し、前記再生速度でのスロー再生中に、スロー再生している映像データのフレームレートが変化したことを前記取得手段が検出した場合、前記制御手段は、変化後のフレームレートで前記再生速度のスロー再生を行うことが可能なフレーム単位の表示時間を算出し、前記デコード手段は、前記変化後のフレームレートに対応して算出されたフレーム単位の表示時間を用いて、前記符号化映像データを復号するとともに、当該復号で得られたフレームを、前記リフレッシュレートに適応させるための補間処理または間引き処理を実行する。
【発明の効果】
【００１４】
以上説明したように、本発明によれば、スロー再生中の映像コンテンツのフレームレートの変化を検出してスロー再生処理を制御するにあたり、フレームレートの変化の前後でスロー再生速度を一定に保つことが可能となる。
【図面の簡単な説明】
【００１５】
【図１】本発明の各実施例に係る映像再生装置の構成を示すブロック図である。
【図２】本発明の実施例１に係るフローチャートである。
【図３】本発明の実施例２に係るフローチャートである。
【図４】本発明の実施例３に係るフローチャートである。
【発明を実施するための形態】
【００１６】
以下、添付図面を参照して、本発明の実施例を説明する。
【実施例１】
【００１７】
本発明の第１の実施例について説明する。本実施例の映像再生装置は、リフレッシュレートが６０Ｈｚの表示パネルで表示する映像を再生する装置である。したがって、表示パネルと別体として設けられた映像コンテンツの再生装置であっても良いし、表示パネルとプレーヤが同一の筐体に設けられているタイプの映像再生装置であっても良い。
【００１８】
再生対象の映像コンテンツは、ＭＰＥＧ２ ＴＳ（Ｔｒａｎｓｐｏｒｔ Ｓｔｒｅａｍ）形式のストリームデータである。このＭＰＥＧ２ ＴＳのストリームデータには、Ｈ．２６４／ＳＶＣで符号化された映像ストリームデータと音声ストリームデータが多重化されている。このストリームデータを単に符号化映像データと称する。
【００１９】
図１は、実施例１に係る映像再生装置１００の構成を示すブロック図である。蓄積部１０１は映像コンテンツとしての符号化映像データを蓄積する。符号化映像データは、放送や通信といった手段で受信し、蓄積部１０１に蓄積するものとする。入力部１０２は蓄積部１０１に蓄積されているＭＰＥＧ２ ＴＳで符号化された符号化映像データを読み出し、分離部１０３へ出力する。
【００２０】
分離部１０３は入力された符号化映像データから映像ストリームデータと音声ストリームデータを分離する。その後、分離部１０３は分離した映像ストリームデータを動画デコード部１０６とフレームレート検出部１０８へ、音声ストリームデータを音声デコード部１０４へそれぞれ出力する。
【００２１】
音声デコード部１０４は、入力された音声ストリームデータを復号し、復号した音声データを音声出力部１０５へ出力する。音声出力部１０５は、入力した音声データをスピーカへ出力する。
【００２２】
動画デコード部１０６は、入力された映像ストリームデータを映像データに復号し、復号した映像データを映像合成出力部１０７へ出力する。復号した映像データはフレーム単位の映像データである。動画デコード部１０６は、表示パネルのリフレッシュレートと同期するように、フレーム単位の映像データのフレームレートを６０ｆｐｓとするような補間処理または間引き処理を行う。通常再生時には、復号した映像データの各フレームを実時間と等しい速度となるような補間処理または間引き処理を実行する。一方、スロー再生時には、スロー再生制御部１０９によって指示されたフレームの表示間隔となるように、フレームの補間処理および間引き処理を実行する。映像合成出力部１０７は、復号された映像データとＵＩ制御部１１０から出力されたグラフィクスデータを合成し、合成したデータを表示パネル（表示部）へ出力する。
【００２３】
フレームレート検出部１０８は、入力された映像ストリームデータを解析し、入力されたフレームレートの値を検出する。また、フレームレートの値が変化した場合には、変化した旨をスロー再生制御部１０９に通知する。入力したＨ．２６４／ＳＶＣの映像ストリームデータには、符号化データに対するヘッダデータとして、シーケンス全体の符号化に関わる情報であるＳＰＳ（Ｓｅｑｕｅｎｃｅ Ｐａｒａｍｅｔｅｒ Ｓｅｔ）が含まれる。フレームレートの値は、このＳＰＳから取得する。また、映像ストリームデータのＳＰＳを常に監視し続けることで、フレームレートの値の変化を検出することができる。なお、フレームレートの値は、映像ストリームデータのＳＰＳに限らず、映像ストリームデータのフレームレートを示すことが可能な属性情報であれば、どのような情報に含まれていても良い。
【００２４】
スロー再生制御部１０９は、フレームレート検出部１０８が検出したフレームレートの値を参照し、動画デコード部１０６に対してスロー再生を指示する制御コマンドを出力する。スロー再生制御部１０９が制御コマンドを出力するタイミングは、ユーザからスロー再生指示があった場合と、スロー再生中に入力映像のフレームレートの値が変化した場合である。ユーザからスロー再生指示があった場合には、ＵＩ制御部１１０を介してユーザからのスロー再生指示を受信し、スロー再生の制御コマンドを動画デコード部１０６に出力する。スロー再生中に入力映像のフレームレートの値が変化した場合には、フレームレート検出部１０８からフレームレートが変化した旨の通知を受信し、スロー再生の制御コマンドを動画デコード部１０６に出力する。スロー再生制御部１０９の詳細な処理については後述する。
【００２５】
ＵＩ制御部１１０は、ユーザからの指示や、映像再生装置１００の内部状態に応じて、ユーザへ提示するメニューなどのグラフィクスデータを生成し、映像合成出力部１０７へ出力する。また、ＵＩ受信部１１１からのスロー再生指示等の指示情報を、スロー再生制御部１０９へ出力する。ＵＩ受信部１１１は、ユーザからの入力を受け付け、ＵＩ制御部１１０へユーザから入力された指示情報を出力する。
【００２６】
続いて、スロー再生の開始処理について説明する。スロー再生はユーザの指示によって開始される。また、スロー再生速度もユーザから指定される。
【００２７】
スロー再生制御部１０９はＵＩ制御部１１０から、スロー再生開始指示とスロー再生速度の入力を受ける。また、スロー再生制御部１０９はフレームレートの値をフレームレート検出部１０８から入力される。スロー再生制御部１０９はスロー再生速度（ＳＰ）と、フレームレートの値（ＦＲ）とを用いて、１／（ＳＰ×ＦＲ）の値を各フレーム単位の表示時間（ＴＭ）として算出する。そして、復号した映像データの各フレームを、算出した表示時間毎に表示するよう、動画デコード部１０６へ指示する。
【００２８】
動画デコード部１０６は入力した映像ストリームデータを復号し、復号した映像データの各フレームをＴＭ毎に出力するように補間処理または間引き処理を行う。具体例として、映像のフレームレートが１２０ｆｐｓであり、ユーザから１／４倍でスロー再生するように指示を受けた場合について説明する。１／４倍のスロー再生とは、実時間における１秒間の映像を４秒かけて再生するようなスロー再生のことである。ＦＲが１２０ｆｐｓであり、ＳＰが１／４倍であるため、ＴＭは１／（１２０×１／４）＝１／３０秒となる。スロー再生制御部１０９は各フレームを１／３０秒間隔で表示するよう動画デコード部１０６へ指示する。動画デコード部１０６は入力映像の各フレームを１／３０秒間隔で処理し、表示パネルのリフレッシュレートである６０ｆｐｓに適応させるために、１枚のフレームを２回繰り返して出力するような補間処理を実行する。
【００２９】
続いて、本発明の特徴的な処理である、スロー再生中に入力映像のフレームレートの値が変化した際の制御について説明する。図２は、スロー再生中にフレームレートの値が変化した際の処理を示す。以下では、具体例としてフレームレートの値が１２０ｆｐｓの映像を１／４倍でスロー再生していたときに、フレームレートの値が４８０ｆｐｓに変化した場合について説明する。
【００３０】
ステップＳ１０１で、フレームレート検出部１０８は入力映像のフレームレートの値が変化したことを検出し、変化したフレームレートの値を取得する。さらに、フレームレートの値が変化したことと、変化前後のフレームレートの値をスロー再生制御部１０９へ出力する。
【００３１】
ステップＳ１０２で、スロー再生制御部１０９はフレームレートの変化前の値をＦＲ１とし、変化後のフレームレートの値をＦＲ２として設定する。具体例でいえば、ＦＲ１が１２０ｆｐｓであり、ＦＲ２が４８０ｆｐｓである。
【００３２】
ステップＳ１０３で、スロー再生制御部１０９は現在のスロー再生速度をＳＰ１として設定する。具体例でいえばＳＰ１は１／４倍である。ステップＳ１０４で、スロー再生制御部１０９は１／（ＦＲ２×ＳＰ１）を各フレームの表示時間ＴＭとして算出する。そして、スロー再生制御部１０９は動画デコード部１０６に対して各フレームをＴＭ間隔で表示するように指示する。具体例でいえば、各フレームの表示時間ＴＭは１／（４８０×１／４）＝１／１２０秒となる。
【００３３】
その後、ステップＳ１０５で、動画デコード部１０６は復号した入力映像の各フレームをＴＭ間隔で表示し、表示パネルのリフレッシュレートである６０ｆｐｓに適応させるために、フレームの補間処理もしくは間引き処理を実行する。具体例でいえば、動画デコード部１０６は、フレームレートの変化前は各フレームを１／３０秒間隔で表示するために１枚のフレームを２回繰り返して表示していた。しかし、フレームレート変化後では各フレームを１／１２０秒間隔で表示するために２枚につき１枚のフレームを周期的に抽出して表示する処理（間引き処理）を実行する。以上の処理によって、映像再生中に入力映像のフレームレートの値が変化した後についても、変化前と同様に、実時間の１／４倍の速度にてスロー再生を行うことができる。
【００３４】
以上、本実施例によれば、スロー再生中の映像コンテンツのフレームレートの値が変化した場合でも、フレームレートの変化後も変化前と同じ再生速度にてスロー再生を行うことができる。これによって、入力映像のフレームレートの変化によってスロー再生速度が変化してしまい、映像を視聴しているユーザに対して違和感を与えることを防ぐことができる。
【００３５】
なお、本実施例においては、図２のステップＳ１０４において、スロー再生制御部１０９はフレームレートの値が変化した後の各フレームの表示時間ＴＭを算出して決定したが、このときＴＭの上限を設定してもよい。具体的には、スロー再生速度ＳＰ１の値と、変化後のフレームレートの値の組み合わせによっては、算出される表示時間ＴＭがスロー再生に適さないほど大きい値になってしまう場合がある。例えば、スロー再生速度ＳＰ１が１／３２倍であるときに、フレームレートの値が３０ｆｐｓに変化すると、変化後の各フレームの表示時間ＴＭは１．０７秒程度の値となる。この場合、１枚のフレームが１秒以上表示されるため、スロー再生というよりも静止画のスライドショーやコマ送りのような再生になってしまい、望ましい再生とは言えない。このため、表示時間ＴＭの上限の値を例えば１／１５秒とし、算出した結果がそれよりも大きくなる（フレーム単位の表示時間が長時間になる）場合には、常に１／１５秒を表示時間ＴＭの値とするような制御をしてもよい。
【実施例２】
【００３６】
次に、本発明の第２の実施例について説明する。上述した実施例１は、映像データのフレームレートの値が変化しても、映像の実時間に対するスロー再生速度が変化しないようにするものであった。対して、本実施例はフレームレートの値が変化したことに従い、スロー再生中の各フレームの表示間隔を変化前の表示間隔と同一にすることに特徴を有する。つまり、フレームレートの変化前後で、実時間に対するスロー再生速度は変化することになる。
【００３７】
実施例２における映像再生装置の構成は、図１で示した実施例１の映像再生装置の構成と同様であるので、説明を省略する。
【００３８】
図３は、実施例２における、スロー再生中にフレームレートの値が変化した際の処理を示す。以下では、具体例としてフレームレートの値が１２０ｆｐｓの映像を１／４倍速でスロー再生していたときに、映像のフレームレートの値が４８０ｆｐｓに変化した場合について説明する。１２０ｆｐｓの映像を１／４倍速でスロー再生しているので、各フレームは１／３０秒間隔で表示している。したがって、フレームレートの値が４８０ｆｐｓに変化しても、各フレームを１／３０秒間隔で表示することが求められる。
【００３９】
ステップＳ２０１からステップＳ２０３は上述した実施例１における図２のフローチャートのステップＳ１０１からステップＳ１０３と等しい制御であるので説明を省略する。
【００４０】
ステップＳ２０４で、スロー再生制御部１０９はフレームレートの値が変化した後のスロー再生速度ＳＰ２＝ＦＲ１／ＦＲ２×ＳＰ１を求める。具体例でいえば、変化後再生速度ＳＰ２は（１２０／４８０）×１／４＝１／１６倍と算出する。
【００４１】
ステップＳ２０５で、スロー再生制御部１０９は１／（ＦＲ２×ＳＰ２）を各フレームの表示時間ＴＭとして算出する。スロー再生制御部１０９は動画デコード部１０６に対して各フレームをＴＭ間隔で表示するように指示する。具体例でいえば、各フレームの表示時間ＴＭは１／（４８０×１／１６）＝１／３０秒となる。
【００４２】
ステップＳ２０６で、動画デコード部１０６は復号した入力映像の各フレームをＴＭ間隔で表示し、パネルのリフレッシュレートである６０ｆｐｓに適応させるために、補間処理もしくは間引き処理をする。具体例でいえば、動画デコード部１０６は、変化前は各フレームを１／３０秒間隔で表示するために１枚のフレームを２回繰り返して出力していた。変化後も各フレームを１／３０秒間隔で表示するために１枚のフレームを２回繰り返して出力する。
【００４３】
以上の処理によって、フレームレートの値が変化した後については１／１６倍でスロー再生することで、変化前と同様に各フレームの表示時間を１／３０秒とするようなスロー再生を行うことができる。
【００４４】
以上、本実施例によれば、スロー再生中の映像コンテンツのフレームレートの値が変化した場合、変化後においても変化前と同じ各フレームの表示時間にてスロー再生を行うことができる。これによって、入力映像のフレームレートの値が大きく変化した場合には、単位時間あたりのフレーム数が多くなったことを利用し、変化前の映像に比べて再生速度を実質的に低速にし、より詳細なスロー再生を行うことができる。反対に、入力映像のフレームレートの値が小さく変化した場合には、単位時間あたりのフレーム数が少なくなったことによって、スロー再生というよりもコマ送りのような再生になってしまうことを低減することができる。
【００４５】
なお、本実施例においては、図３のステップＳ２０４において、スロー再生制御部１０９はフレームレートの値が変化した後のスロー再生速度ＳＰ２を算出して決定したが、このときＳＰ２の値の上限を設定してもよい。具体的には、スロー再生速度ＳＰ２の値が１倍より大きくなるとスロー再生ではなく、早送り再生になってしまう。これに対応するために、上限の値を０．８倍とし、算出した結果がそれより大きくなる場合は常に０．８倍を再生速度とするような制御をしてもよい。
【実施例３】
【００４６】
次に、本発明の第３の実施例について説明する。上述した実施例１および２は、フレームレートの値が大きくなるような変化と小さくなるような変化において同じ処理を行うものであった。対して、本実施例はフレームレートの値が大きくなるような変化と、小さくなるような変化とでスロー再生処理を分岐させることに特徴を有する。
【００４７】
実施例３における映像再生装置の構成は、図１で示した実施例１の映像再生装置の構成と同様であるので、説明を省略する。
【００４８】
図４は、実施例３における、スロー再生中にフレームレートの値が変化した際の処理を示す。以下では、具体例としてフレームレートの値が１２０ｆｐｓの映像を１／４倍でスロー再生していたときに、フレームレートの値が４８０ｆｐｓに変化した場合と、６０ｆｐｓに変化した場合について説明する。
【００４９】
ステップＳ３０１からステップＳ３０３は上述した実施例１における図２のフローチャートのステップＳ１０１からステップＳ１０３と等しい制御であるので説明を省略する。
【００５０】
ステップＳ３０４で、スロー再生制御部１０９はＦＲ２がＦＲ１より大きいか、それとも、ＦＲ２がＦＲ１より小さいかを比較により判定する。ＦＲ２がＦＲ１より大きい場合はステップＳ３０７へ、ＦＲ２がＦＲ１より小さい場合はステップＳ３０５へ処理を進める。具体例でいえば、１２０ｆｐｓから４８０ｆｐｓへ変化した場合はステップＳ３０７へ、１２０ｆｐｓから６０ｆｐｓへ変化した場合はステップＳ３０５へ処理を進める。
【００５１】
ステップＳ３０５で、スロー再生制御部１０９はＦＲ１／ＦＲ２×ＳＰ１をフレームレートの値が変化した後のスロー再生速度ＳＰ２と決定する。具体例でいえば、１２０ｆｐｓから６０ｆｐｓへ変化した場合は、１２０／６０×１／４＝１／２倍をスロー再生速度ＳＰ２とする。
【００５２】
ステップＳ３０６で、スロー再生制御部１０９は１／（ＦＲ２×ＳＰ２）を各フレームの表示時間ＴＭと算出する。スロー再生制御部１０９は動画デコード部１０６に対して各フレームをＴＭ間隔で表示するように指示する。具体例でいえば、１２０ｆｐｓから６０ｆｐｓへ変化した場合は、各フレームの表示時間ＴＭは１／（６０×１／２）＝１／３０秒となる。
【００５３】
ステップＳ３０７で、スロー再生制御部１０９は１／（ＦＲ２×ＳＰ１）を各フレームの表示時間ＴＭと算出する。スロー再生制御部１０９は動画デコード部１０６に対して各フレームをＴＭ間隔で表示するように指示する。具体例でいえば、１２０ｆｐｓから４８０ｆｐｓに変化した場合は、各フレームの表示時間ＴＭは１／（４８０×１／４）＝１／１２０秒となる。
【００５４】
ステップＳ３０８において、動画デコード部１０６は復号した入力映像の各フレームをＴＭ間隔で表示し、表示パネルのリフレッシュレートである６０ｆｐｓに適応させるために、補間処理もしくは間引き処理をする。具体例でいえば、動画デコード部１０６は、フレームレート変化前は各フレームを１／３０秒間隔で表示するために１枚のフレームを２回繰り返して表示していた。４８０ｆｐｓに変化した場合は、各フレームを１／１２０秒間隔で表示するために２枚につき１枚のフレームを周期的に抽出して表示する。６０ｆｐｓに変化した場合は、各フレームを１／３０秒間隔で表示するために１枚のフレームを２回繰り返して表示する。
【００５５】
以上の処理によって、フレームレートが１２０ｆｐｓから４８０ｆｐｓへ大きくなった場合には、変化前と同様に１／８倍のスロー再生速度にてスロー再生を行うことができる。反対に、フレームレートが１２０ｆｐｓから６０ｆｐｓへ小さくなった場合には、再生速度を１／２倍とする事で変化前と同様に各フレームの表示時間を１／３０秒とするようなスロー再生を行うことができる。
【００５６】
以上、本実施例によれば、スロー再生中の映像コンテンツのフレームレートの値が変化した場合、フレームレートが大きくなる変化と、小さくなる変化のそれぞれで処理を切り換えることができる。これによって、入力映像のフレームレートの値が大きくなる変化をした場合には、変化後の各フレームの表示時間を短くすることで、スロー再生速度を一定に保つことができる。反対に、フレームレートの値が小さくなる変化をした場合には、スロー再生速度を速くすることで、変化後の各フレームの表示時間が変化前より長くなることで、望ましくないスロー再生になることを低減できる。
【００５７】
なお、以上の各実施例で説明した構成要素及び処理は、ハードウェアで実装してもよいし、ソフトウェアで実装してもよいし、その組み合わせで実装してもよい。これらの構成要素及び処理の一部又は全部を実装するソフトウェア（プログラム）、及びこれを格納した記憶媒体も、本発明の範囲に含まれる。
【特許請求の範囲】
【請求項１】
映像データのスロー再生制御が可能な映像再生装置であって、
再生する符号化映像データのフレームレートの値を当該符号化映像データの属性情報から取得する取得手段と、
ユーザから指示されたスロー再生の再生速度と、前記取得手段が取得した前記符号化映像データのフレームレートの値とを用いて、当該符号化映像データを前記再生速度で再生するための、前記符号化映像データを復号して得られるフレーム単位の表示時間を算出する制御手段と、
前記算出されたフレーム単位の表示時間に基づいて前記符号化映像データを復号するとともに、復号で得られたフレームを、当該フレームを表示する表示部のリフレッシュレートに適応させるための補間処理または間引き処理を実行するデコード手段と、を有し、
前記再生速度でのスロー再生中に、スロー再生している映像データのフレームレートが変化したことを前記取得手段が検出した場合、前記制御手段は、変化後のフレームレートで前記再生速度のスロー再生を行うことが可能なフレーム単位の表示時間を算出し、前記デコード手段は、前記変化後のフレームレートに対応して算出されたフレーム単位の表示時間を用いて、前記符号化映像データを復号するとともに、当該復号で得られたフレームを、前記リフレッシュレートに適応させるための補間処理または間引き処理を実行することを特徴とする映像再生装置。
【請求項２】
前記制御手段は、変化後のフレームレートに応じて算出した表示時間が、予め定めた上限の表示時間よりも長時間となる場合には、前記上限の表示時間を変化後のフレームレートに対応するフレーム単位の表示時間として決定することを特徴とする請求項１に記載の映像再生装置。
【請求項３】
前記制御手段は、変化前のフレームレートと変化後のフレームレートと再生速度とを用いて、変化後のフレームレートに対応する変化後再生速度を算出することが可能であり、
前記再生速度でのスロー再生中に、スロー再生している映像データのフレームレートが変化したことを前記取得手段が検出した場合、前記制御手段は、変化前のフレームレートと変化後のフレームレートを比較し、変化後のフレームレートが変化前のフレームレートよりも高いフレームレートである場合には、前記変化後のフレームレートで前記再生速度のスロー再生を行うことが可能なフレーム単位の表示時間を算出し、変化後のフレームレートが変化前のフレームレートよりも低いフレームレートである場合には、前記変化後のフレームレートに対応する変化後再生速度を算出し、当該変化後再生速度のスロー再生を行うことが可能なフレーム単位の表示時間を算出することを特徴とする請求項１または２に記載の映像再生装置。
【請求項４】
映像データのスロー再生制御が可能な映像再生装置の制御方法であって、
再生する符号化映像データのフレームレートの値を当該符号化映像データの属性情報から取得する取得ステップと、
ユーザから指示されたスロー再生の再生速度と、前記取得ステップで取得した前記符号化映像データのフレームレートの値とを用いて、当該符号化映像データを前記再生速度で再生するための、前記符号化映像データを復号して得られるフレーム単位の表示時間を算出する制御ステップと、
前記算出されたフレーム単位の表示時間に基づいて前記符号化映像データを復号するとともに、復号で得られたフレームを、当該フレームを表示する表示部のリフレッシュレートに適応させるための補間処理または間引き処理を実行するデコードステップと、を有し、
前記再生速度でのスロー再生中に、スロー再生している映像データのフレームレートが変化したことを前記取得ステップで検出した場合、前記制御ステップでは、変化後のフレームレートで前記再生速度のスロー再生を行うことが可能なフレーム単位の表示時間を算出し、前記デコードステップでは、前記変化後のフレームレートに対応して算出されたフレーム単位の表示時間を用いて、前記符号化映像データを復号するとともに、当該復号で得られたフレームを、前記リフレッシュレートに適応させるための補間処理または間引き処理を実行することを特徴とする映像再生装置の制御方法。
【請求項１】
映像データのスロー再生制御が可能な映像再生装置であって、
再生する符号化映像データのフレームレートの値を当該符号化映像データの属性情報から取得する取得手段と、
ユーザから指示されたスロー再生の再生速度と、前記取得手段が取得した前記符号化映像データのフレームレートの値とを用いて、当該符号化映像データを前記再生速度で再生するための、前記符号化映像データを復号して得られるフレーム単位の表示時間を算出する制御手段と、
前記算出されたフレーム単位の表示時間に基づいて前記符号化映像データを復号するとともに、復号で得られたフレームを、当該フレームを表示する表示部のリフレッシュレートに適応させるための補間処理または間引き処理を実行するデコード手段と、を有し、
前記再生速度でのスロー再生中に、スロー再生している映像データのフレームレートが変化したことを前記取得手段が検出した場合、前記制御手段は、変化後のフレームレートで前記再生速度のスロー再生を行うことが可能なフレーム単位の表示時間を算出し、前記デコード手段は、前記変化後のフレームレートに対応して算出されたフレーム単位の表示時間を用いて、前記符号化映像データを復号するとともに、当該復号で得られたフレームを、前記リフレッシュレートに適応させるための補間処理または間引き処理を実行することを特徴とする映像再生装置。
【請求項２】
前記制御手段は、変化後のフレームレートに応じて算出した表示時間が、予め定めた上限の表示時間よりも長時間となる場合には、前記上限の表示時間を変化後のフレームレートに対応するフレーム単位の表示時間として決定することを特徴とする請求項１に記載の映像再生装置。
【請求項３】
前記制御手段は、変化前のフレームレートと変化後のフレームレートと再生速度とを用いて、変化後のフレームレートに対応する変化後再生速度を算出することが可能であり、
前記再生速度でのスロー再生中に、スロー再生している映像データのフレームレートが変化したことを前記取得手段が検出した場合、前記制御手段は、変化前のフレームレートと変化後のフレームレートを比較し、変化後のフレームレートが変化前のフレームレートよりも高いフレームレートである場合には、前記変化後のフレームレートで前記再生速度のスロー再生を行うことが可能なフレーム単位の表示時間を算出し、変化後のフレームレートが変化前のフレームレートよりも低いフレームレートである場合には、前記変化後のフレームレートに対応する変化後再生速度を算出し、当該変化後再生速度のスロー再生を行うことが可能なフレーム単位の表示時間を算出することを特徴とする請求項１または２に記載の映像再生装置。
【請求項４】
映像データのスロー再生制御が可能な映像再生装置の制御方法であって、
再生する符号化映像データのフレームレートの値を当該符号化映像データの属性情報から取得する取得ステップと、
ユーザから指示されたスロー再生の再生速度と、前記取得ステップで取得した前記符号化映像データのフレームレートの値とを用いて、当該符号化映像データを前記再生速度で再生するための、前記符号化映像データを復号して得られるフレーム単位の表示時間を算出する制御ステップと、
前記算出されたフレーム単位の表示時間に基づいて前記符号化映像データを復号するとともに、復号で得られたフレームを、当該フレームを表示する表示部のリフレッシュレートに適応させるための補間処理または間引き処理を実行するデコードステップと、を有し、
前記再生速度でのスロー再生中に、スロー再生している映像データのフレームレートが変化したことを前記取得ステップで検出した場合、前記制御ステップでは、変化後のフレームレートで前記再生速度のスロー再生を行うことが可能なフレーム単位の表示時間を算出し、前記デコードステップでは、前記変化後のフレームレートに対応して算出されたフレーム単位の表示時間を用いて、前記符号化映像データを復号するとともに、当該復号で得られたフレームを、前記リフレッシュレートに適応させるための補間処理または間引き処理を実行することを特徴とする映像再生装置の制御方法。
【図１】
【図２】
【図３】
【図４】
【図２】
【図３】
【図４】
【公開番号】特開２０１１−２４４３２８（Ｐ２０１１−２４４３２８Ａ）
【公開日】平成２３年１２月１日（２０１１．１２．１）
【国際特許分類】
【出願番号】特願２０１０−１１６３９６（Ｐ２０１０−１１６３９６）
【出願日】平成２２年５月２０日（２０１０．５．２０）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
【公開日】平成２３年１２月１日（２０１１．１２．１）
【国際特許分類】
【出願日】平成２２年５月２０日（２０１０．５．２０）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
[ Back to top ]