再生装置
【課題】記録媒体に記録された動画のハイライトシーンの抽出をより確実に行うことができる再生装置を提供する。
【解決手段】光ディスク１００に記録され、音声データ及び映像データを有する動画を再生する再生装置において、前記音声データ及び映像データを用いて、動画の特徴映像であるハイライトシーンを特定して、特定されたハイライトシーンに関する情報を抽出するようにデータ処理部３を構成してあり、データ処理部３により抽出された情報に応じてハイライトシーンを再生するようにしてある。この結果、音声データのみでは特定ができないハイライトシーンについても映像データを用いることにより特定して抽出することが可能となり、ハイライトシーンをより確実に抽出することができる。
【解決手段】光ディスク１００に記録され、音声データ及び映像データを有する動画を再生する再生装置において、前記音声データ及び映像データを用いて、動画の特徴映像であるハイライトシーンを特定して、特定されたハイライトシーンに関する情報を抽出するようにデータ処理部３を構成してあり、データ処理部３により抽出された情報に応じてハイライトシーンを再生するようにしてある。この結果、音声データのみでは特定ができないハイライトシーンについても映像データを用いることにより特定して抽出することが可能となり、ハイライトシーンをより確実に抽出することができる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動画の特徴映像を抽出して再生することが可能な再生装置に関する。
【背景技術】
【０００２】
従来、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）、又はＢＤ（Ｂｌｕ−ｒａｙ Ｄｉｓｃ）等の記録媒体に記録された動画のハイライトシーン（特徴映像）を抽出することが可能なように構成された装置が種々提案されている（例えば、特許文献１参照）。
【０００３】
特許文献１に開示されたダビング装置は、動画の内容、具体的には音声レベルを基準音声レベルと比較して、基準音声レベルを超える動画中の場面を含む範囲をダビング部分として特定し、特定したダビング部分を動画として抽出してダビングするように構成してある。この結果、特別な編集作業を行うことなくハイライトシーンを集めた記録媒体を容易に作成することができる。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００７−１７４１８５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１に係るダビング装置においては、音声レベルに基づいて動画のハイライトシーンを抽出しているが、ハイライトシーンにおいて音声レベルが常に基準音声レベルを超えているとは限らないから、音声レベルのみでは全てのハイライトシーンを抽出できないという虞があった。
【０００６】
本発明は斯かる事情に鑑みてなされたものであり、記録媒体に記録された動画のハイライトシーンの抽出をより確実に行うことができる再生装置を提供することを目的とする。
【課題を解決するための手段】
【０００７】
本発明に係る再生装置は、記録媒体に記録され、音声データ及び映像データを有する動画を再生する再生装置において、前記音声データ及び映像データを用いて、前記動画の特徴映像を特定する特定手段と、該特定手段により特定された特徴映像に関する情報を抽出する抽出手段とを備え、該抽出手段により抽出された情報に応じて、特徴映像を再生するようにしてあることを特徴とする。
【０００８】
本発明にあっては、記録媒体に記録された動画の音声データ及び映像データを用いて前記動画の特徴映像を特定して、特定された特徴映像の情報を抽出するように構成してあるから、音声データのみでは特定ができない特徴映像についても映像データを用いることにより特定して抽出することが可能となる。
【０００９】
本発明に係る再生装置は、前記特定手段は、前記動画の音声データの音声レベル、又は映像データの輝度若しくは輝度の変化率が各別に設定された基準値よりも大であるという条件を満足する動画の部分を前記特徴映像であると特定することを特徴とする。
【００１０】
本発明にあっては、動画の音声データの音声レベル、又は映像データの輝度若しくは輝度の変化率が各別に設定された基準値よりも大であるという条件を満足する動画の部分を特徴映像であると特定するように特定手段を構成している。音声データの音声レベルに加えて、映像データの輝度又は輝度の変化率を用いて特定しているから、明るさ又は明るさの変化が大である動画の部分を特徴映像として抽出することができる。
【００１１】
本発明に係る再生装置は、前記輝度は前記動画のフレーム当たりの平均輝度であることを特徴とする。
【００１２】
本発明にあっては、輝度として動画のフレーム当たりの平均輝度を用いている。フレーム当たりの平均輝度を用いることにより、フレームが全体的に明るくなった動画の部分を特徴映像として抽出することができる。また、平均輝度の変化率を用いることにより、フレームの明るさが急に明るい方向又は暗い方向に全体的に変化した動画の部分を特徴映像として抽出することができる。
【００１３】
本発明に係る再生装置は、前記抽出手段は、前記特定手段により特定された特徴映像の開始点及び終了点の時間情報、並びに／又は前記開始点及び終了点の映像データを抽出するように構成してあり、前記抽出手段により抽出された時間情報及び／又は映像データに応じて、特徴映像の動画及び／又は静止画を再生するようにしてあることを特徴とする。
【００１４】
本発明にあっては、前記特定手段により特定された特徴映像の開始点及び終了点の時間情報、並びに／又は前記開始点及び終了点の映像データを抽出手段により抽出して、抽出された時間情報及び／又は映像データに応じて、特徴映像の動画及び／又は静止画を再生するように構成してある。これにより、抽出された時間情報に応じて特徴映像を動画として再生することができると共に、抽出された映像データを用いて特徴映像の静止画を再生してスライドショーの如く表示させることができる。
【００１５】
本発明に係る再生装置は、前記音声データに基づいて特定された第１の特徴映像と前記映像データに基づいて特定された第２の特徴映像の範囲が重複する場合、前記抽出手段は、前記第１の特徴映像及び第２の特徴映像の時間的に前の開始点から時間的に後の終了点までの範囲を特徴映像として抽出することを特徴とする。
【００１６】
本発明にあっては、音声データ及び映像データを各別に用いて特定された第１の特徴映像及び第２の特徴映像が重複する場合、第１の特徴映像及び第２の特徴映像の時間的に前の開始点から時間的に後の終了点までの範囲を特徴映像として抽出するようにしてあるから、同じ場面が重複して再生されることがない。
【発明の効果】
【００１７】
本発明によれば、記録媒体に記録された動画のハイライトシーン（特徴映像）の抽出をより確実に行うことができる。
【図面の簡単な説明】
【００１８】
【図１】本実施の形態に係る再生装置の主要構成を示すブロック図である。
【図２】音声データに基づく動画のハイライトシーンの特定方法の説明図である。
【図３】ハイライトシーンの特定に用いるピクチャの抽出方法の説明図である。
【図４】映像データに基づく動画のハイライトシーンの特定方法の説明図である。
【図５】複数のハイライトシーンが重複した時のハイライトシーンの抽出の考え方を示す説明図である。
【図６】本実施の形態に係る再生装置における動画の再生処理の手順を示すフローチャートである。
【図７】本実施の形態に係る再生装置における動画の再生処理の手順を示すフローチャートである。
【図８】動画のハイライトシーン抽出の処理手順を示すフローチャートである。
【図９】動画のハイライトシーン抽出の処理手順を示すフローチャートである。
【図１０】映像データに基づく動画のハイライトシーンの他の特定方法の説明図である。
【発明を実施するための形態】
【００１９】
以下、本発明をその実施の形態を示す図面に基づいて、携帯型の光ディスクプレーヤを例に詳述する。図１は、本実施の形態に係る再生装置の主要構成を示すブロック図である。
【００２０】
図中１は、記録媒体であるＤＶＤ、ＢＤ等の光ディスク１００の再生を行う光ディスクドライブである。光ディスクドライブ１は、光ディスク１００を載置するトレイ、光ディスク１００からデータを読み出す光ピックアップ、該光ピックアップを駆動する駆動部、光ディスク１００を回転駆動する回転駆動部等を備えてなる。
【００２１】
光ディスクドライブ１には、該光ディスクドライブ１を制御するＡＴＡ（Ａｄｖａｎｃｅｄ Ｔｅｃｈｎｏｌｏｇｙ Ａｔｔａｃｈｍｅｎｔ）コントローラ２が接続してあり、ＡＴＡコントローラ２には、データ処理部３が接続してある。光ディスクドライブ１が光ディスク１００から読み出したデータはＡＴＡコントローラ２に与えられ、ＡＴＡコントローラ２は、与えられたデータをデータ処理部３に出力する。データ処理部３は、与えられたデータの変換処理を行って動画の映像データ及び音声データに変換し、映像データ及び音声データに基づいて、後述するように処理対象の動画の特徴映像であるハイライトシーンを特定する処理及び特定されたハイライトシーンに関する情報を抽出する処理を行う。
【００２２】
データ処理部３には、表示部であるＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）パネル１０を制御するＬＣＤコントローラ４と、データ処理部３において特定されたハイライトシーンの時間情報及び／又は映像データを記憶する記憶部５と、スピーカ７に出力する音声データを処理する音声データ処理部６とが接続してある。ＡＴＡコントローラ２、データ処理部３、ＬＣＤコントローラ４、記憶部５及び音声データ処理部６には、これら各構成部の作動状況を使用者の設定に基づいて制御する制御部８が接続してある。制御部８は、内部バスにより相互に接続されたＣＰＵ、ＲＯＭ及びＲＡＭを備えたマイクロコンピュータであり、ＲＯＭに記憶された制御プログラムに従うＣＰＵの動作により再生装置の各構成部の制御を行うように構成してある。
【００２３】
データ処理部３は、変換した動画の映像データをＬＣＤコントローラ４に、前記動画の音声データを音声データ処理部６に夫々与える。また、データ処理部３は、後述するようにハイライトシーンであると特定した動画の時間情報（タイムコード等の経過時間、チャプタ番号等）及び映像データを記憶部５に与える。
【００２４】
ＬＣＤコントローラ４は、制御部８により与えられる制御信号に応じて、データ処理部３により与えられた映像データに応じた動画及び／又は静止画をＬＣＤパネル１０に出力する。ＬＣＤパネル１０はＬＣＤコントローラ４により与えられた動画及び／又は静止画を表示する。また、音声データ処理部６は、制御部８により与えられる制御信号に応じて、データ処理部３により与えられた音声データをスピーカ７に適したデータに処理して、処理したデータをスピーカ７に出力する。スピーカ７は音声データ処理部６により与えられたデータに応じて音声を出力する。なお、制御部８には、使用者の操作を受付ける操作部９からの信号が与えられる。操作部９は、例えば、再生装置の機器本体に設けられたスイッチ、リモートコントローラ等であり、使用者の操作に応じた信号を制御部８に与える。操作部９は、再生モードに対する使用者の選択操作を受付け可能なように構成してある。本実施の形態においては、再生モードとして、通常再生、ハイライトシーンの動画のみを再生するハイライト動画再生、ハイライトシーンの静止画のみを再生するハイライト静止画再生の中から一つを選択設定可能なように構成してある。
【００２５】
以上の光ディスクドライブ１、ＡＴＡコントローラ２、データ処理部３、ＬＣＤコントローラ４、記憶部５、音声データ処理部６、スピーカ７、制御部８、操作部９及びＬＣＤパネル１０を備えてなる再生装置は、音声データ及び映像データを各別に用いて、以下に述べる判定条件により動画のハイライトシーンを特定して、特定された動画をハイライトシーンとして抽出する。まず、音声データに基づいて動画のハイライトシーン（第１の特徴映像）を抽出する方法について説明する。図２は、音声データに基づく動画のハイライトシーンの特定方法の説明図である。図２の横軸は経過時間を、縦軸は動画の音声データの音声レベルを夫々示している。なお、特徴映像を特定する基準である基準値は図２中に破線にて示している。
【００２６】
まず、データ処理部３は、ＤＶＤ、ＢＤ等の光ディスク１００から読み出された動画の音声データの音声レベルと予め設定された基準値とを比較して、動画の音声レベルが基準値よりも大であるという条件を満足する動画の時間軸上の部分をハイライトシーンであると特定する。具体的には、データ処理部３に与えられた動画の音声データが図２に示す音声データである場合、データ処理部３は、基準値よりも小の状態から大の状態に変化する経過時間、換言するとハイライトシーンの開始点として、Ｔs1、Ｔs3、Ｔs5を検出する。また、基準値よりも大の状態から小の状態に変化する経過時間、換言するとハイライトシーンの終了点として、Ｔs2、Ｔs4、Ｔs6を検出する。そして、これら各開始点Ｔs1、Ｔs3、Ｔs5及び終了点Ｔs2、Ｔs4、Ｔs6に挟まれた経過時間の範囲（例えば、Ｔs1〜Ｔs2の範囲）の動画がハイライトシーンとして特定される。そして、データ処理部３は、特定されたハイライトシーンの開始点及び終了点の経過時間、並びに／又は開始点及び終了点の映像データを動画のハイライトシーンに関する情報として抽出する。この抽出された情報に応じて、音が大きな動画の部分をハイライトシーンとして再生することが可能になる。
【００２７】
次に、映像データに基づいて動画のハイライトシーン（第２の特徴映像）を抽出する方法について説明する。まず、データ処理部３は、動画のハイライトシーンの特定に用いるピクチャを抽出する。図３は、ハイライトシーンの特定に用いるピクチャの抽出方法の説明図である。光ディスクから読み出されたデータは、ＭＰＥＧ方式のデータであり、図３（ａ）に示すように、Ｉピクチャ（基本となる画像データ）、Ｐピクチャ（過去の画像データとの差分情報）、Ｂピクチャ（過去と未来の２方向の画像データとの差分情報）とからなる。データ処理部３は、図３（ｂ）に示すように、このＭＰＥＧ方式の映像データの中からＩピクチャのみを抽出する。Ｉピクチャの映像データは、例えば、輝度Ｙ、色差Ｐｂ，Ｐｒの映像データを用いて表されている。データ処理部３は、抽出したＩピクチャの映像データ（Ｙ，Ｐｂ，Ｐｒ）のうち、輝度Ｙを用いて、ハイライトシーンの特定を行う。
【００２８】
まず、データ処理部３は、以上のように抽出したＩピクチャの輝度Ｙを用いて、フレーム当たりの平均輝度を求め、求めた平均輝度と予め設定された基準値とを比較する。図４は、映像データに基づく動画のハイライトシーンの特定方法の説明図である。図４の横軸は経過時間を、縦軸はフレーム当たりの平均輝度を夫々示している。特徴映像を特定する基準である基準値を図４中に破線にて示している。
【００２９】
データ処理部３は、求めた平均輝度が基準値よりも大であるという条件を満足する動画の時間軸上の部分をハイライトシーンであると特定する。具体的には、データ処理部３において求めた平均輝度が図４に示す時間変化をする場合、データ処理部３は、基準値よりも小の状態から大の状態に変化する経過時間、換言するとハイライトシーンの開始点として、Ｔp1、Ｔp3を検出する。また、基準値よりも大の状態から小の状態に変化する経過時間、換言するとハイライトシーンの終了点として、Ｔp2、Ｔp4を検出する。これら各開始点Ｔp1、Ｔp3及び終了点Ｔp2、Ｔp4に挟まれた経過時間の範囲（例えば、Ｔp1〜Ｔp2の範囲）の動画がハイライトシーンとして特定される。そして、データ処理部３は、特定されたハイライトシーンの開始点及び終了点の経過時間、並びに／又は開始点及び終了点の映像データを動画のハイライトシーンに関する情報として抽出する。この抽出された情報に応じて、フレームが全体的に明るくなった動画の部分をハイライトシーンとして再生することが可能になる。
【００３０】
データ処理部３は、以上のように特定されたハイライトシーンの開始点及び終了点の経過時間を記憶部５に与える。同時に、開始点及び終了点の映像データをフレーム単位で、即ち静止画として記憶部５に与える。なお、以上の本実施の形態においては、ハイライトシーンの開始点及び終了点の時間情報として、経過時間を用いているが、チャプタ番号等を用いてもよい。
【００３１】
そして、以上のように、音声データ及び映像データを各別に用いて特定された複数のハイライトシーン（第１の特徴映像及び第２の特徴映像）の経過時間の範囲が重複する場合、重複を避けるべく、ハイライトシーンを抽出する。図５は、複数のハイライトシーンが重複した時のハイライトシーンの抽出の考え方を示す説明図である。図５（ａ）は音声データに基づいて抽出されたハイライトシーン（第１の特徴映像）を、図５（ｂ）は映像データに基づいて抽出されたハイライトシーン（第２の特徴映像）を、図５（ｃ）は特徴映像として抽出するハイライトシーンを夫々示している。音声データとして図２に示したデータを、映像データとして図４に示したデータを例に説明する。なお、ハイライトシーンをハッチングにて示している。
【００３２】
図に示すように、音声データに基づいて抽出されたハイライトシーン（図５（ａ））の経過時間の範囲と映像データに基づいて抽出されたハイライトシーン（図５（ｂ））の経過時間の範囲は一部が重複している（例えば、Ｔs1〜Ｔs2の範囲とＴp1〜Ｔp2の範囲）。そこで、図５（ｃ）に示すように、重複する複数のハイライトシーンの時間的に前のハイライトシーンの開始点から時間的に後のハイライトシーンの終了点までが連続するようにハイライトシーンを抽出する。前述の例の場合、音声データの開始点の経過時間Ｔs1から音声データの終了点の経過時間Ｔs2までとなる。これにより、同じ場面が重複して複数回再生されることを避けることができる。
【００３３】
図６及び図７は、本実施の形態に係る再生装置における動画の再生処理の手順を示すフローチャートである。データ処理部３は、光ディスクドライブ１に挿入された光ディスク１００内のデータを読込み（ステップＳ１）、読込んだデータを用いてハイライトシーンの抽出の処理を行う（ステップＳ２）。
【００３４】
次に、制御部８は、操作部９において設定された再生モードがハイライト動画再生であるか否かを判定する（ステップＳ３）。ステップＳ３において、ハイライト動画再生であると判定された場合（ステップＳ３：ＹＥＳ）、ランダム再生であるか否かを判定する（ステップＳ４）。ステップＳ４において、ランダム再生であると判定された場合（ステップＳ４：ＹＥＳ）、ステップＳ２において抽出され、記憶部５に記憶してある経過時間（ハイライトシーンの開始点及び終了点の組合せからなる経過時間）の範囲に、換言するとハイライトシーンの動画に、再生順番をランダムに割当てる（ステップＳ５）。ステップＳ５において割当てられた順番にてハイライトシーンの動画を再生して（ステップＳ６）、ハイライトシーンの動画が全て再生された場合に動画の再生処理動作を終了する。一方、ステップＳ４において、ランダム再生ではないと判定された場合（ステップＳ４：ＮＯ）、ステップＳ２において抽出され、記憶部５に記憶してある経過時間に応じて、ハイライトシーンの動画を経過時間が早い方から順次再生して（ステップＳ７）、ハイライトシーンの動画が全て再生された場合に動画の再生処理動作を終了する。
【００３５】
一方、ステップＳ３において、再生モードがハイライト動画再生ではないと判定された場合（ステップＳ３：ＮＯ）、再生モードがハイライト静止画再生であるか否かを判定する（ステップＳ８）。ステップＳ８において、ハイライト静止画再生であると判定された場合（ステップＳ８：ＹＥＳ）、ランダム再生であるか否かを判定する（ステップＳ９）。ステップＳ９において、ランダム再生であると判定された場合（ステップＳ９：ＹＥＳ）、ステップＳ２において抽出され、記憶部５に映像データとして記憶してあるハイライトシーンの静止画に再生順番をランダムに割当てる（ステップＳ１０）。ステップＳ１０において割当てられた順番にて静止画を記憶部５から読出して再生して（ステップＳ１１）、ハイライトシーンの静止画が全て再生された場合に動画の再生処理動作を終了する。一方、ステップＳ９において、ランダム再生ではないと判定された場合（ステップＳ９：ＮＯ）、ステップＳ２において抽出され、記憶部５に映像データとして記憶してあるハイライトシーンの静止画を経過時間が早い方から順次再生して（ステップＳ１２）、ハイライトシーンの静止画が全て再生された場合に動画の再生処理動作を終了する。
【００３６】
一方、ステップＳ８において、再生モードがハイライト静止画再生ではないと判定された場合（ステップＳ８：ＮＯ）、再生モードは通常再生であるとして、光ディスクを最初から連続再生して（ステップＳ１３）、光ディスクの最後まで到達した場合に動画の再生処理動作を終了する。
【００３７】
図８及び図９は、図６のステップＳ２における動画のハイライトシーン抽出の処理手順を示すフローチャートである。データ処理部３は、ステップＳ１において光ディスクから読込まれたデータ内の最初のＩピクチャに対応する音声データの音声レベルを基準値と比較して、音声レベルが基準値よりも大であるか否かを判定する（ステップＳ２１）。なお、データ処理部３は、音声レベル超過フラグ、輝度レベル超過フラグを予め０に設定した後、ステップＳ２１の処理を行う。
【００３８】
ステップＳ２１において、音声レベルが基準値よりも大であると判定された場合（ステップＳ２１：ＹＥＳ）、音声レベル超過フラグが０であるか否かを判定する（ステップＳ２２）。ステップＳ２２において、音声レベル超過フラグが０であると判定された場合（ステップＳ２２：ＹＥＳ）、音声レベルが基準値よりも大である動画の開始点の時間情報として経過時間を記憶部５に記憶し、同時にそのときの動画のＩピクチャの映像データを記憶部５に記憶する（ステップＳ２３）。そして、音声レベル超過フラグを１にして（ステップＳ２４）、ステップＳ２８に進む。このステップＳ２３において記憶された動画の経過時間が動画のハイライトシーンの開始点に対応する。ステップＳ２２において、音声レベル超過フラグが１であると判定された場合（ステップＳ２２：ＮＯ）、ステップＳ２８に進む。
【００３９】
一方、ステップＳ２１において、音声レベルが基準値よりも大ではないと判定された場合（ステップＳ２１：ＮＯ）、音声レベル超過フラグが１であるか否かを判定する（ステップＳ２５）。ステップＳ２５において、音声レベル超過フラグが１であると判定された場合（ステップＳ２５：ＹＥＳ）、音声レベルが基準値よりも小である動画の経過時間、換言すると音声レベルが基準値よりも大である動画の終了点の経過時間を記憶部５に記憶し、同時にそのときの動画のＩピクチャの映像データを記憶部５に記憶する（ステップＳ２６）。そして、音声レベル超過フラグを０にして（ステップＳ２７）、ステップＳ２８に進む。ステップＳ２６において記憶された動画の経過時間が動画のハイライトシーンの終了点に対応する。一方、音声レベル超過フラグが０であると判定された場合（ステップＳ２５：ＮＯ）、ステップＳ２８に進む。
【００４０】
ステップＳ２８において、光ディスクの最後まで到達したか否か、換言すると音声データに対するハイライトシーンの検出が終了したか否かを判定する（ステップＳ２８）。音声データに対するハイライトシーンの検出が終了したと判定された場合（ステップＳ２８：ＹＥＳ）、ステップＳ２９に進む。一方、音声データに対するハイライトシーンの検出が終了していないと判定された場合（ステップＳ２８：ＮＯ）、ステップＳ２１に戻って、次のＩピクチャに対応する音声データに対して、一連の動作を繰り返す。
【００４１】
次に、ステップＳ２９において、読込まれた映像データの輝度を用いて求めたフレーム当たりの平均輝度を基準値と比較して、平均輝度が基準値よりも大であるか否かを判定する（ステップＳ２９）。ステップＳ２９において、平均輝度が基準値よりも大であると判定された場合（ステップＳ２９：ＹＥＳ）、輝度レベル超過フラグが０であるか否かを判定する（ステップＳ３０）。ステップＳ３０において、輝度レベル超過フラグが０であると判定された場合（ステップＳ３０：ＹＥＳ）、平均輝度が基準値よりも大である動画の開始点の時間情報として経過時間を記憶部５に記憶し、同時にその動画のＩピクチャの映像データを記憶部５に記憶する（ステップＳ３１）。そして、輝度レベル超過フラグを１にして（ステップＳ３２）、ステップＳ３６に進む。このステップＳ３１において検出された動画の経過時間が動画のハイライトシーンの開始点に対応する。ステップＳ３０において、輝度レベル超過フラグが１であると判定された場合（ステップＳ３０：ＮＯ）、ステップＳ３６に進む。
【００４２】
一方、ステップＳ２９において、平均輝度が基準値よりも大ではないと判定された場合（ステップＳ２９：ＮＯ）、輝度レベル超過フラグが１であるか否かを判定する（ステップＳ３３）。ステップＳ３３において、輝度レベル超過フラグが１であると判定された場合（ステップＳ３３：ＹＥＳ）、平均輝度が基準値よりも小に変化した動画の経過時間、換言すると平均輝度が基準値よりも大である動画の終了点の経過時間を記憶部５に記憶する（ステップＳ３４）。そして、輝度レベル超過フラグを０にして（ステップＳ３５）、ステップＳ３６に進む。ステップＳ３４において記憶された動画の経過時間が動画のハイライトシーンの終了点に対応する。一方、ステップＳ３３において、輝度レベル超過フラグが０であると判定された場合（ステップＳ３３：ＮＯ）、ステップＳ３６に進む。
【００４３】
ステップＳ３６において、光ディスクの最後まで到達したか否か、換言すると映像データに対するハイライトシーンの検出が終了したか否かを判定する（ステップＳ３６）。映像データに対するハイライトシーンの検出が終了したと判定された場合（ステップＳ３６：ＹＥＳ）、ステップＳ３７に進む。一方、映像データに対するハイライトシーンの検出が終了していないと判定された場合（ステップＳ３６：ＮＯ）、ステップＳ２９に戻って、次のＩピクチャに対応する映像データに対して、一連の動作を繰り返す。
【００４４】
ステップＳ３７において、動画のハイライトシーンを決定して（ステップＳ３７）、動画のハイライトシーン抽出の処理動作を終了する。ステップＳ３７におけるハイライトシーンの決定は、図５において説明したように、重複部分をなくすようになされる。
【００４５】
以上のように構成された再生装置においては、記録媒体である光ディスク１００に記録された動画の音声データ及び映像データを用いて、動画の特徴映像であるハイライトシーンを特定して、特定されたハイライトシーンを抽出するように構成してあるから、音声データのみでは特定ができないハイライトシーンについても映像データを用いることにより特定して抽出することが可能となり、ハイライトシーンをより確実に抽出することができる。
【００４６】
そして、音声データの音声レベルに加えて、映像データの輝度を用いて明るさが基準値よりも大となる動画の部分をハイライトシーンとして特定しているから、より確実にハイライトシーンを抽出することができる。
【００４７】
フレーム当たりの平均輝度を用いてハイライトシーンの特定を行っているから、フレームが全体的に明るくなった動画の部分をハイライトシーンとして抽出することができ、より確実にハイライトシーンを抽出することができる。
【００４８】
また、データ処理部３により特定されたハイライトシーンの開始点及び終了点の時間情報、並びに／又は前記開始点及び終了点の映像データをデータ処理部３により抽出して、抽出された動画の経過時間等の時間情報及び／又は映像データに応じて、ハイライトシーンの動画及び／又は静止画を再生するように構成してある。これにより、データ処理部３により抽出され、記憶部５に記憶された動画の経過時間等の時間情報に応じてハイライトシーンを動画として再生することができると共に、データ処理部３により抽出され、記憶部５に記憶された動画の映像データを用いて静止画を再生してスライドショーの如く表示させることができ、より使用者の利便に資する。特に携帯型の光ディスクプレーヤの場合、外出時にのみ使用が限定される傾向があるが、ハイライトシーンの静止画を表示させることにより、自宅等においてもデジタルフォトフレームのような活用が可能となり、謂わば、インテリアとして活用することも可能となる。
【００４９】
また、音声データ及び映像データを各別に用いて特定された第１の特徴映像及び第２の特徴映像が重複する場合、第１の特徴映像及び第２の特徴映像の時間的に前の開始点から時間的に後の終了点までの範囲をハイライトシーンとして抽出するようにしてある。この結果、同じ場面が重複して再生されることがないから、使用者に煩わしさを感じさせずに済む。
【００５０】
以上の実施の形態においては、映像データに基づいてハイライトシーンを特定する場合に、フレーム当たりの平均輝度を用いているが、これに限定されず、フレーム当たりの平均輝度に代えて又はフレーム当たりの平均輝度に加えて、該平均輝度のフレーム間の変化率を用いることができる。この場合、まず、データ処理部３は、前述したように求めた平均輝度を用いて平均輝度のフレーム間の変化率を求め、求めた平均輝度のフレーム間の変化率と予め設定された基準値とを比較する。図１０は、映像データに基づく動画のハイライトシーンの他の特定方法の説明図である。図１０の横軸は経過時間を、縦軸は輝度変化率（フレーム当たりの平均輝度のフレーム間の変化率）を夫々示している。特徴映像を特定する基準である基準値を図１０中に破線にて示している。
【００５１】
データ処理部３は、求めた平均輝度のフレーム間の変化率の絶対値が基準値よりも大であるか否かによりハイライトシーンであるか否かを判定する。具体的には、データ処理部３において求めた平均輝度のフレーム間の変化率が図８に示す時間変化をする場合、データ処理部３は、平均輝度のフレーム間の変化率の絶対値が基準値よりも小の状態から大の状態に変化する経過時間、換言するとハイライトシーンの開始点として、Ｔp5、Ｔp7を検出する。また、平均輝度の変化率の絶対値が基準値よりも大の状態から小の状態に変化する経過時間、換言するとハイライトシーンの終了点として、Ｔp6、Ｔp8を検出する。これら各開始点Ｔp5、Ｔp7及び終了点Ｔp6、Ｔp8に挟まれた経過時間の範囲（例えば、Ｔp5〜Ｔp6の範囲）が動画のハイライトシーンとなる。これにより、フレームの明るさが急に明るい方向又は暗い方向に全体的に変化した動画の部分がハイライトシーンとして抽出されることになる。この結果、音が大きくなることなく、明るさが急に変化、特に暗転するようなハイライトシーンを、より確実にハイライトシーンとして抽出することができる。
【００５２】
以上の実施の形態においては、抽出したハイライトシーンの再生モードとして、ハイライトシーンの動画のみを再生するハイライト動画再生とハイライトシーンの静止画のみを再生するハイライト静止画再生の２つの再生モードを設定し、操作部９においてどちらか一方の再生モードを選択するように構成してあるが、これに限定されない。例えば、これら２つに加えて、ハイライトシーンの動画及び静止画の両方を再生する再生モードを設定して、ハイライトシーンの動画の再生、静止画の再生、ハイライトシーンの動画及び静止画の再生のうち一つを使用者による操作部９の操作に応じて選択可能なように構成してもよい。また、再生モードがハイライト静止画再生である場合、音声の有無を使用者により選択可能なように操作部９を構成する方がより望ましい。
【００５３】
また、以上の実施の形態においては、映像データに基づいてハイライトシーンを特定する場合に、Ｉピクチャのフレーム当たりの平均輝度を用いているが、これに限定されない。Ｉピクチャに代えて又は加えて、他のピクチャを用いてもよい。また、平均輝度ではなく、フレームの明るさを代表する代表値であればよい。
【００５４】
また、ハイライトシーンを特定するときに用いる基準値は、使用者が操作部９により変更可能なように構成してもよい。
【００５５】
また、光ディスクに記録されたデータにおいてアングル切替がある場合、同じ経過時間の異なるアングルの映像を順次再生するように構成してもよい。例えば、右、中央、左の異なるアングルの同じ経過時間のＩピクチャがあるとき、右からのアングル、左からのアングル、最後に中央のアングルの静止画を順次再生する。これにより、立体的な表現が可能となる。この場合においても、映像データの輝度に基づいてハイライトシーンを抽出することが可能であると共に、アングルが異なっていても音声データはほぼ同一経過時間であるから、音声データの音声レベルに基づいてハイライトシーンを抽出することが可能である。
【００５６】
また、以上の実施の形態においては、音声データに基づいてハイライトシーンの特定を行った後に、映像データに基づいてハイライトシーンの特定を行っているが、これに限定されず、映像データ、音声データの順に行ってもよいし、同時に行ってもよい。
【００５７】
また、以上の実施の形態においては、携帯型の光ディスクプレーヤを例に説明したが、これに限定されず、ＭＰＥＧ方式の映像データを有する動画を再生可能な再生装置であればよい。携帯型に限定されないし、記録媒体は光ディスクに限定されない。インターネット等からダウンロードしてＨＤＤに記録された動画、使用者が録画した動画でもよい。この場合、再生装置はＬＣＤパネルを必ずしも備えている必要はなく、別途設けられた画像表示装置に出力可能なように構成してあればよい。
【００５８】
また、以上の実施の形態においては、表示部としてＬＣＤパネル１０を用いているが、これに限定されず、有機ＥＬ（Ｅｌｅｃｔｒｏ Ｌｕｍｉｎｅｓｃｅｎｃｅ）ディスプレイ、プラズマディスプレイ等、他の表示部でも良い。
【００５９】
更に、本発明は、その他、特許請求の範囲に記載した事項の範囲内において種々変更した形態にて実施することが可能であることは言うまでもない。
【符号の説明】
【００６０】
１ 光ディスクドライブ
３ データ処理部（特定手段、抽出手段）
４ ＬＣＤコントローラ
５ 記憶部
６ 音声データ処理部
８ 制御部
【技術分野】
【０００１】
本発明は、動画の特徴映像を抽出して再生することが可能な再生装置に関する。
【背景技術】
【０００２】
従来、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）、又はＢＤ（Ｂｌｕ−ｒａｙ Ｄｉｓｃ）等の記録媒体に記録された動画のハイライトシーン（特徴映像）を抽出することが可能なように構成された装置が種々提案されている（例えば、特許文献１参照）。
【０００３】
特許文献１に開示されたダビング装置は、動画の内容、具体的には音声レベルを基準音声レベルと比較して、基準音声レベルを超える動画中の場面を含む範囲をダビング部分として特定し、特定したダビング部分を動画として抽出してダビングするように構成してある。この結果、特別な編集作業を行うことなくハイライトシーンを集めた記録媒体を容易に作成することができる。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００７−１７４１８５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１に係るダビング装置においては、音声レベルに基づいて動画のハイライトシーンを抽出しているが、ハイライトシーンにおいて音声レベルが常に基準音声レベルを超えているとは限らないから、音声レベルのみでは全てのハイライトシーンを抽出できないという虞があった。
【０００６】
本発明は斯かる事情に鑑みてなされたものであり、記録媒体に記録された動画のハイライトシーンの抽出をより確実に行うことができる再生装置を提供することを目的とする。
【課題を解決するための手段】
【０００７】
本発明に係る再生装置は、記録媒体に記録され、音声データ及び映像データを有する動画を再生する再生装置において、前記音声データ及び映像データを用いて、前記動画の特徴映像を特定する特定手段と、該特定手段により特定された特徴映像に関する情報を抽出する抽出手段とを備え、該抽出手段により抽出された情報に応じて、特徴映像を再生するようにしてあることを特徴とする。
【０００８】
本発明にあっては、記録媒体に記録された動画の音声データ及び映像データを用いて前記動画の特徴映像を特定して、特定された特徴映像の情報を抽出するように構成してあるから、音声データのみでは特定ができない特徴映像についても映像データを用いることにより特定して抽出することが可能となる。
【０００９】
本発明に係る再生装置は、前記特定手段は、前記動画の音声データの音声レベル、又は映像データの輝度若しくは輝度の変化率が各別に設定された基準値よりも大であるという条件を満足する動画の部分を前記特徴映像であると特定することを特徴とする。
【００１０】
本発明にあっては、動画の音声データの音声レベル、又は映像データの輝度若しくは輝度の変化率が各別に設定された基準値よりも大であるという条件を満足する動画の部分を特徴映像であると特定するように特定手段を構成している。音声データの音声レベルに加えて、映像データの輝度又は輝度の変化率を用いて特定しているから、明るさ又は明るさの変化が大である動画の部分を特徴映像として抽出することができる。
【００１１】
本発明に係る再生装置は、前記輝度は前記動画のフレーム当たりの平均輝度であることを特徴とする。
【００１２】
本発明にあっては、輝度として動画のフレーム当たりの平均輝度を用いている。フレーム当たりの平均輝度を用いることにより、フレームが全体的に明るくなった動画の部分を特徴映像として抽出することができる。また、平均輝度の変化率を用いることにより、フレームの明るさが急に明るい方向又は暗い方向に全体的に変化した動画の部分を特徴映像として抽出することができる。
【００１３】
本発明に係る再生装置は、前記抽出手段は、前記特定手段により特定された特徴映像の開始点及び終了点の時間情報、並びに／又は前記開始点及び終了点の映像データを抽出するように構成してあり、前記抽出手段により抽出された時間情報及び／又は映像データに応じて、特徴映像の動画及び／又は静止画を再生するようにしてあることを特徴とする。
【００１４】
本発明にあっては、前記特定手段により特定された特徴映像の開始点及び終了点の時間情報、並びに／又は前記開始点及び終了点の映像データを抽出手段により抽出して、抽出された時間情報及び／又は映像データに応じて、特徴映像の動画及び／又は静止画を再生するように構成してある。これにより、抽出された時間情報に応じて特徴映像を動画として再生することができると共に、抽出された映像データを用いて特徴映像の静止画を再生してスライドショーの如く表示させることができる。
【００１５】
本発明に係る再生装置は、前記音声データに基づいて特定された第１の特徴映像と前記映像データに基づいて特定された第２の特徴映像の範囲が重複する場合、前記抽出手段は、前記第１の特徴映像及び第２の特徴映像の時間的に前の開始点から時間的に後の終了点までの範囲を特徴映像として抽出することを特徴とする。
【００１６】
本発明にあっては、音声データ及び映像データを各別に用いて特定された第１の特徴映像及び第２の特徴映像が重複する場合、第１の特徴映像及び第２の特徴映像の時間的に前の開始点から時間的に後の終了点までの範囲を特徴映像として抽出するようにしてあるから、同じ場面が重複して再生されることがない。
【発明の効果】
【００１７】
本発明によれば、記録媒体に記録された動画のハイライトシーン（特徴映像）の抽出をより確実に行うことができる。
【図面の簡単な説明】
【００１８】
【図１】本実施の形態に係る再生装置の主要構成を示すブロック図である。
【図２】音声データに基づく動画のハイライトシーンの特定方法の説明図である。
【図３】ハイライトシーンの特定に用いるピクチャの抽出方法の説明図である。
【図４】映像データに基づく動画のハイライトシーンの特定方法の説明図である。
【図５】複数のハイライトシーンが重複した時のハイライトシーンの抽出の考え方を示す説明図である。
【図６】本実施の形態に係る再生装置における動画の再生処理の手順を示すフローチャートである。
【図７】本実施の形態に係る再生装置における動画の再生処理の手順を示すフローチャートである。
【図８】動画のハイライトシーン抽出の処理手順を示すフローチャートである。
【図９】動画のハイライトシーン抽出の処理手順を示すフローチャートである。
【図１０】映像データに基づく動画のハイライトシーンの他の特定方法の説明図である。
【発明を実施するための形態】
【００１９】
以下、本発明をその実施の形態を示す図面に基づいて、携帯型の光ディスクプレーヤを例に詳述する。図１は、本実施の形態に係る再生装置の主要構成を示すブロック図である。
【００２０】
図中１は、記録媒体であるＤＶＤ、ＢＤ等の光ディスク１００の再生を行う光ディスクドライブである。光ディスクドライブ１は、光ディスク１００を載置するトレイ、光ディスク１００からデータを読み出す光ピックアップ、該光ピックアップを駆動する駆動部、光ディスク１００を回転駆動する回転駆動部等を備えてなる。
【００２１】
光ディスクドライブ１には、該光ディスクドライブ１を制御するＡＴＡ（Ａｄｖａｎｃｅｄ Ｔｅｃｈｎｏｌｏｇｙ Ａｔｔａｃｈｍｅｎｔ）コントローラ２が接続してあり、ＡＴＡコントローラ２には、データ処理部３が接続してある。光ディスクドライブ１が光ディスク１００から読み出したデータはＡＴＡコントローラ２に与えられ、ＡＴＡコントローラ２は、与えられたデータをデータ処理部３に出力する。データ処理部３は、与えられたデータの変換処理を行って動画の映像データ及び音声データに変換し、映像データ及び音声データに基づいて、後述するように処理対象の動画の特徴映像であるハイライトシーンを特定する処理及び特定されたハイライトシーンに関する情報を抽出する処理を行う。
【００２２】
データ処理部３には、表示部であるＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）パネル１０を制御するＬＣＤコントローラ４と、データ処理部３において特定されたハイライトシーンの時間情報及び／又は映像データを記憶する記憶部５と、スピーカ７に出力する音声データを処理する音声データ処理部６とが接続してある。ＡＴＡコントローラ２、データ処理部３、ＬＣＤコントローラ４、記憶部５及び音声データ処理部６には、これら各構成部の作動状況を使用者の設定に基づいて制御する制御部８が接続してある。制御部８は、内部バスにより相互に接続されたＣＰＵ、ＲＯＭ及びＲＡＭを備えたマイクロコンピュータであり、ＲＯＭに記憶された制御プログラムに従うＣＰＵの動作により再生装置の各構成部の制御を行うように構成してある。
【００２３】
データ処理部３は、変換した動画の映像データをＬＣＤコントローラ４に、前記動画の音声データを音声データ処理部６に夫々与える。また、データ処理部３は、後述するようにハイライトシーンであると特定した動画の時間情報（タイムコード等の経過時間、チャプタ番号等）及び映像データを記憶部５に与える。
【００２４】
ＬＣＤコントローラ４は、制御部８により与えられる制御信号に応じて、データ処理部３により与えられた映像データに応じた動画及び／又は静止画をＬＣＤパネル１０に出力する。ＬＣＤパネル１０はＬＣＤコントローラ４により与えられた動画及び／又は静止画を表示する。また、音声データ処理部６は、制御部８により与えられる制御信号に応じて、データ処理部３により与えられた音声データをスピーカ７に適したデータに処理して、処理したデータをスピーカ７に出力する。スピーカ７は音声データ処理部６により与えられたデータに応じて音声を出力する。なお、制御部８には、使用者の操作を受付ける操作部９からの信号が与えられる。操作部９は、例えば、再生装置の機器本体に設けられたスイッチ、リモートコントローラ等であり、使用者の操作に応じた信号を制御部８に与える。操作部９は、再生モードに対する使用者の選択操作を受付け可能なように構成してある。本実施の形態においては、再生モードとして、通常再生、ハイライトシーンの動画のみを再生するハイライト動画再生、ハイライトシーンの静止画のみを再生するハイライト静止画再生の中から一つを選択設定可能なように構成してある。
【００２５】
以上の光ディスクドライブ１、ＡＴＡコントローラ２、データ処理部３、ＬＣＤコントローラ４、記憶部５、音声データ処理部６、スピーカ７、制御部８、操作部９及びＬＣＤパネル１０を備えてなる再生装置は、音声データ及び映像データを各別に用いて、以下に述べる判定条件により動画のハイライトシーンを特定して、特定された動画をハイライトシーンとして抽出する。まず、音声データに基づいて動画のハイライトシーン（第１の特徴映像）を抽出する方法について説明する。図２は、音声データに基づく動画のハイライトシーンの特定方法の説明図である。図２の横軸は経過時間を、縦軸は動画の音声データの音声レベルを夫々示している。なお、特徴映像を特定する基準である基準値は図２中に破線にて示している。
【００２６】
まず、データ処理部３は、ＤＶＤ、ＢＤ等の光ディスク１００から読み出された動画の音声データの音声レベルと予め設定された基準値とを比較して、動画の音声レベルが基準値よりも大であるという条件を満足する動画の時間軸上の部分をハイライトシーンであると特定する。具体的には、データ処理部３に与えられた動画の音声データが図２に示す音声データである場合、データ処理部３は、基準値よりも小の状態から大の状態に変化する経過時間、換言するとハイライトシーンの開始点として、Ｔs1、Ｔs3、Ｔs5を検出する。また、基準値よりも大の状態から小の状態に変化する経過時間、換言するとハイライトシーンの終了点として、Ｔs2、Ｔs4、Ｔs6を検出する。そして、これら各開始点Ｔs1、Ｔs3、Ｔs5及び終了点Ｔs2、Ｔs4、Ｔs6に挟まれた経過時間の範囲（例えば、Ｔs1〜Ｔs2の範囲）の動画がハイライトシーンとして特定される。そして、データ処理部３は、特定されたハイライトシーンの開始点及び終了点の経過時間、並びに／又は開始点及び終了点の映像データを動画のハイライトシーンに関する情報として抽出する。この抽出された情報に応じて、音が大きな動画の部分をハイライトシーンとして再生することが可能になる。
【００２７】
次に、映像データに基づいて動画のハイライトシーン（第２の特徴映像）を抽出する方法について説明する。まず、データ処理部３は、動画のハイライトシーンの特定に用いるピクチャを抽出する。図３は、ハイライトシーンの特定に用いるピクチャの抽出方法の説明図である。光ディスクから読み出されたデータは、ＭＰＥＧ方式のデータであり、図３（ａ）に示すように、Ｉピクチャ（基本となる画像データ）、Ｐピクチャ（過去の画像データとの差分情報）、Ｂピクチャ（過去と未来の２方向の画像データとの差分情報）とからなる。データ処理部３は、図３（ｂ）に示すように、このＭＰＥＧ方式の映像データの中からＩピクチャのみを抽出する。Ｉピクチャの映像データは、例えば、輝度Ｙ、色差Ｐｂ，Ｐｒの映像データを用いて表されている。データ処理部３は、抽出したＩピクチャの映像データ（Ｙ，Ｐｂ，Ｐｒ）のうち、輝度Ｙを用いて、ハイライトシーンの特定を行う。
【００２８】
まず、データ処理部３は、以上のように抽出したＩピクチャの輝度Ｙを用いて、フレーム当たりの平均輝度を求め、求めた平均輝度と予め設定された基準値とを比較する。図４は、映像データに基づく動画のハイライトシーンの特定方法の説明図である。図４の横軸は経過時間を、縦軸はフレーム当たりの平均輝度を夫々示している。特徴映像を特定する基準である基準値を図４中に破線にて示している。
【００２９】
データ処理部３は、求めた平均輝度が基準値よりも大であるという条件を満足する動画の時間軸上の部分をハイライトシーンであると特定する。具体的には、データ処理部３において求めた平均輝度が図４に示す時間変化をする場合、データ処理部３は、基準値よりも小の状態から大の状態に変化する経過時間、換言するとハイライトシーンの開始点として、Ｔp1、Ｔp3を検出する。また、基準値よりも大の状態から小の状態に変化する経過時間、換言するとハイライトシーンの終了点として、Ｔp2、Ｔp4を検出する。これら各開始点Ｔp1、Ｔp3及び終了点Ｔp2、Ｔp4に挟まれた経過時間の範囲（例えば、Ｔp1〜Ｔp2の範囲）の動画がハイライトシーンとして特定される。そして、データ処理部３は、特定されたハイライトシーンの開始点及び終了点の経過時間、並びに／又は開始点及び終了点の映像データを動画のハイライトシーンに関する情報として抽出する。この抽出された情報に応じて、フレームが全体的に明るくなった動画の部分をハイライトシーンとして再生することが可能になる。
【００３０】
データ処理部３は、以上のように特定されたハイライトシーンの開始点及び終了点の経過時間を記憶部５に与える。同時に、開始点及び終了点の映像データをフレーム単位で、即ち静止画として記憶部５に与える。なお、以上の本実施の形態においては、ハイライトシーンの開始点及び終了点の時間情報として、経過時間を用いているが、チャプタ番号等を用いてもよい。
【００３１】
そして、以上のように、音声データ及び映像データを各別に用いて特定された複数のハイライトシーン（第１の特徴映像及び第２の特徴映像）の経過時間の範囲が重複する場合、重複を避けるべく、ハイライトシーンを抽出する。図５は、複数のハイライトシーンが重複した時のハイライトシーンの抽出の考え方を示す説明図である。図５（ａ）は音声データに基づいて抽出されたハイライトシーン（第１の特徴映像）を、図５（ｂ）は映像データに基づいて抽出されたハイライトシーン（第２の特徴映像）を、図５（ｃ）は特徴映像として抽出するハイライトシーンを夫々示している。音声データとして図２に示したデータを、映像データとして図４に示したデータを例に説明する。なお、ハイライトシーンをハッチングにて示している。
【００３２】
図に示すように、音声データに基づいて抽出されたハイライトシーン（図５（ａ））の経過時間の範囲と映像データに基づいて抽出されたハイライトシーン（図５（ｂ））の経過時間の範囲は一部が重複している（例えば、Ｔs1〜Ｔs2の範囲とＴp1〜Ｔp2の範囲）。そこで、図５（ｃ）に示すように、重複する複数のハイライトシーンの時間的に前のハイライトシーンの開始点から時間的に後のハイライトシーンの終了点までが連続するようにハイライトシーンを抽出する。前述の例の場合、音声データの開始点の経過時間Ｔs1から音声データの終了点の経過時間Ｔs2までとなる。これにより、同じ場面が重複して複数回再生されることを避けることができる。
【００３３】
図６及び図７は、本実施の形態に係る再生装置における動画の再生処理の手順を示すフローチャートである。データ処理部３は、光ディスクドライブ１に挿入された光ディスク１００内のデータを読込み（ステップＳ１）、読込んだデータを用いてハイライトシーンの抽出の処理を行う（ステップＳ２）。
【００３４】
次に、制御部８は、操作部９において設定された再生モードがハイライト動画再生であるか否かを判定する（ステップＳ３）。ステップＳ３において、ハイライト動画再生であると判定された場合（ステップＳ３：ＹＥＳ）、ランダム再生であるか否かを判定する（ステップＳ４）。ステップＳ４において、ランダム再生であると判定された場合（ステップＳ４：ＹＥＳ）、ステップＳ２において抽出され、記憶部５に記憶してある経過時間（ハイライトシーンの開始点及び終了点の組合せからなる経過時間）の範囲に、換言するとハイライトシーンの動画に、再生順番をランダムに割当てる（ステップＳ５）。ステップＳ５において割当てられた順番にてハイライトシーンの動画を再生して（ステップＳ６）、ハイライトシーンの動画が全て再生された場合に動画の再生処理動作を終了する。一方、ステップＳ４において、ランダム再生ではないと判定された場合（ステップＳ４：ＮＯ）、ステップＳ２において抽出され、記憶部５に記憶してある経過時間に応じて、ハイライトシーンの動画を経過時間が早い方から順次再生して（ステップＳ７）、ハイライトシーンの動画が全て再生された場合に動画の再生処理動作を終了する。
【００３５】
一方、ステップＳ３において、再生モードがハイライト動画再生ではないと判定された場合（ステップＳ３：ＮＯ）、再生モードがハイライト静止画再生であるか否かを判定する（ステップＳ８）。ステップＳ８において、ハイライト静止画再生であると判定された場合（ステップＳ８：ＹＥＳ）、ランダム再生であるか否かを判定する（ステップＳ９）。ステップＳ９において、ランダム再生であると判定された場合（ステップＳ９：ＹＥＳ）、ステップＳ２において抽出され、記憶部５に映像データとして記憶してあるハイライトシーンの静止画に再生順番をランダムに割当てる（ステップＳ１０）。ステップＳ１０において割当てられた順番にて静止画を記憶部５から読出して再生して（ステップＳ１１）、ハイライトシーンの静止画が全て再生された場合に動画の再生処理動作を終了する。一方、ステップＳ９において、ランダム再生ではないと判定された場合（ステップＳ９：ＮＯ）、ステップＳ２において抽出され、記憶部５に映像データとして記憶してあるハイライトシーンの静止画を経過時間が早い方から順次再生して（ステップＳ１２）、ハイライトシーンの静止画が全て再生された場合に動画の再生処理動作を終了する。
【００３６】
一方、ステップＳ８において、再生モードがハイライト静止画再生ではないと判定された場合（ステップＳ８：ＮＯ）、再生モードは通常再生であるとして、光ディスクを最初から連続再生して（ステップＳ１３）、光ディスクの最後まで到達した場合に動画の再生処理動作を終了する。
【００３７】
図８及び図９は、図６のステップＳ２における動画のハイライトシーン抽出の処理手順を示すフローチャートである。データ処理部３は、ステップＳ１において光ディスクから読込まれたデータ内の最初のＩピクチャに対応する音声データの音声レベルを基準値と比較して、音声レベルが基準値よりも大であるか否かを判定する（ステップＳ２１）。なお、データ処理部３は、音声レベル超過フラグ、輝度レベル超過フラグを予め０に設定した後、ステップＳ２１の処理を行う。
【００３８】
ステップＳ２１において、音声レベルが基準値よりも大であると判定された場合（ステップＳ２１：ＹＥＳ）、音声レベル超過フラグが０であるか否かを判定する（ステップＳ２２）。ステップＳ２２において、音声レベル超過フラグが０であると判定された場合（ステップＳ２２：ＹＥＳ）、音声レベルが基準値よりも大である動画の開始点の時間情報として経過時間を記憶部５に記憶し、同時にそのときの動画のＩピクチャの映像データを記憶部５に記憶する（ステップＳ２３）。そして、音声レベル超過フラグを１にして（ステップＳ２４）、ステップＳ２８に進む。このステップＳ２３において記憶された動画の経過時間が動画のハイライトシーンの開始点に対応する。ステップＳ２２において、音声レベル超過フラグが１であると判定された場合（ステップＳ２２：ＮＯ）、ステップＳ２８に進む。
【００３９】
一方、ステップＳ２１において、音声レベルが基準値よりも大ではないと判定された場合（ステップＳ２１：ＮＯ）、音声レベル超過フラグが１であるか否かを判定する（ステップＳ２５）。ステップＳ２５において、音声レベル超過フラグが１であると判定された場合（ステップＳ２５：ＹＥＳ）、音声レベルが基準値よりも小である動画の経過時間、換言すると音声レベルが基準値よりも大である動画の終了点の経過時間を記憶部５に記憶し、同時にそのときの動画のＩピクチャの映像データを記憶部５に記憶する（ステップＳ２６）。そして、音声レベル超過フラグを０にして（ステップＳ２７）、ステップＳ２８に進む。ステップＳ２６において記憶された動画の経過時間が動画のハイライトシーンの終了点に対応する。一方、音声レベル超過フラグが０であると判定された場合（ステップＳ２５：ＮＯ）、ステップＳ２８に進む。
【００４０】
ステップＳ２８において、光ディスクの最後まで到達したか否か、換言すると音声データに対するハイライトシーンの検出が終了したか否かを判定する（ステップＳ２８）。音声データに対するハイライトシーンの検出が終了したと判定された場合（ステップＳ２８：ＹＥＳ）、ステップＳ２９に進む。一方、音声データに対するハイライトシーンの検出が終了していないと判定された場合（ステップＳ２８：ＮＯ）、ステップＳ２１に戻って、次のＩピクチャに対応する音声データに対して、一連の動作を繰り返す。
【００４１】
次に、ステップＳ２９において、読込まれた映像データの輝度を用いて求めたフレーム当たりの平均輝度を基準値と比較して、平均輝度が基準値よりも大であるか否かを判定する（ステップＳ２９）。ステップＳ２９において、平均輝度が基準値よりも大であると判定された場合（ステップＳ２９：ＹＥＳ）、輝度レベル超過フラグが０であるか否かを判定する（ステップＳ３０）。ステップＳ３０において、輝度レベル超過フラグが０であると判定された場合（ステップＳ３０：ＹＥＳ）、平均輝度が基準値よりも大である動画の開始点の時間情報として経過時間を記憶部５に記憶し、同時にその動画のＩピクチャの映像データを記憶部５に記憶する（ステップＳ３１）。そして、輝度レベル超過フラグを１にして（ステップＳ３２）、ステップＳ３６に進む。このステップＳ３１において検出された動画の経過時間が動画のハイライトシーンの開始点に対応する。ステップＳ３０において、輝度レベル超過フラグが１であると判定された場合（ステップＳ３０：ＮＯ）、ステップＳ３６に進む。
【００４２】
一方、ステップＳ２９において、平均輝度が基準値よりも大ではないと判定された場合（ステップＳ２９：ＮＯ）、輝度レベル超過フラグが１であるか否かを判定する（ステップＳ３３）。ステップＳ３３において、輝度レベル超過フラグが１であると判定された場合（ステップＳ３３：ＹＥＳ）、平均輝度が基準値よりも小に変化した動画の経過時間、換言すると平均輝度が基準値よりも大である動画の終了点の経過時間を記憶部５に記憶する（ステップＳ３４）。そして、輝度レベル超過フラグを０にして（ステップＳ３５）、ステップＳ３６に進む。ステップＳ３４において記憶された動画の経過時間が動画のハイライトシーンの終了点に対応する。一方、ステップＳ３３において、輝度レベル超過フラグが０であると判定された場合（ステップＳ３３：ＮＯ）、ステップＳ３６に進む。
【００４３】
ステップＳ３６において、光ディスクの最後まで到達したか否か、換言すると映像データに対するハイライトシーンの検出が終了したか否かを判定する（ステップＳ３６）。映像データに対するハイライトシーンの検出が終了したと判定された場合（ステップＳ３６：ＹＥＳ）、ステップＳ３７に進む。一方、映像データに対するハイライトシーンの検出が終了していないと判定された場合（ステップＳ３６：ＮＯ）、ステップＳ２９に戻って、次のＩピクチャに対応する映像データに対して、一連の動作を繰り返す。
【００４４】
ステップＳ３７において、動画のハイライトシーンを決定して（ステップＳ３７）、動画のハイライトシーン抽出の処理動作を終了する。ステップＳ３７におけるハイライトシーンの決定は、図５において説明したように、重複部分をなくすようになされる。
【００４５】
以上のように構成された再生装置においては、記録媒体である光ディスク１００に記録された動画の音声データ及び映像データを用いて、動画の特徴映像であるハイライトシーンを特定して、特定されたハイライトシーンを抽出するように構成してあるから、音声データのみでは特定ができないハイライトシーンについても映像データを用いることにより特定して抽出することが可能となり、ハイライトシーンをより確実に抽出することができる。
【００４６】
そして、音声データの音声レベルに加えて、映像データの輝度を用いて明るさが基準値よりも大となる動画の部分をハイライトシーンとして特定しているから、より確実にハイライトシーンを抽出することができる。
【００４７】
フレーム当たりの平均輝度を用いてハイライトシーンの特定を行っているから、フレームが全体的に明るくなった動画の部分をハイライトシーンとして抽出することができ、より確実にハイライトシーンを抽出することができる。
【００４８】
また、データ処理部３により特定されたハイライトシーンの開始点及び終了点の時間情報、並びに／又は前記開始点及び終了点の映像データをデータ処理部３により抽出して、抽出された動画の経過時間等の時間情報及び／又は映像データに応じて、ハイライトシーンの動画及び／又は静止画を再生するように構成してある。これにより、データ処理部３により抽出され、記憶部５に記憶された動画の経過時間等の時間情報に応じてハイライトシーンを動画として再生することができると共に、データ処理部３により抽出され、記憶部５に記憶された動画の映像データを用いて静止画を再生してスライドショーの如く表示させることができ、より使用者の利便に資する。特に携帯型の光ディスクプレーヤの場合、外出時にのみ使用が限定される傾向があるが、ハイライトシーンの静止画を表示させることにより、自宅等においてもデジタルフォトフレームのような活用が可能となり、謂わば、インテリアとして活用することも可能となる。
【００４９】
また、音声データ及び映像データを各別に用いて特定された第１の特徴映像及び第２の特徴映像が重複する場合、第１の特徴映像及び第２の特徴映像の時間的に前の開始点から時間的に後の終了点までの範囲をハイライトシーンとして抽出するようにしてある。この結果、同じ場面が重複して再生されることがないから、使用者に煩わしさを感じさせずに済む。
【００５０】
以上の実施の形態においては、映像データに基づいてハイライトシーンを特定する場合に、フレーム当たりの平均輝度を用いているが、これに限定されず、フレーム当たりの平均輝度に代えて又はフレーム当たりの平均輝度に加えて、該平均輝度のフレーム間の変化率を用いることができる。この場合、まず、データ処理部３は、前述したように求めた平均輝度を用いて平均輝度のフレーム間の変化率を求め、求めた平均輝度のフレーム間の変化率と予め設定された基準値とを比較する。図１０は、映像データに基づく動画のハイライトシーンの他の特定方法の説明図である。図１０の横軸は経過時間を、縦軸は輝度変化率（フレーム当たりの平均輝度のフレーム間の変化率）を夫々示している。特徴映像を特定する基準である基準値を図１０中に破線にて示している。
【００５１】
データ処理部３は、求めた平均輝度のフレーム間の変化率の絶対値が基準値よりも大であるか否かによりハイライトシーンであるか否かを判定する。具体的には、データ処理部３において求めた平均輝度のフレーム間の変化率が図８に示す時間変化をする場合、データ処理部３は、平均輝度のフレーム間の変化率の絶対値が基準値よりも小の状態から大の状態に変化する経過時間、換言するとハイライトシーンの開始点として、Ｔp5、Ｔp7を検出する。また、平均輝度の変化率の絶対値が基準値よりも大の状態から小の状態に変化する経過時間、換言するとハイライトシーンの終了点として、Ｔp6、Ｔp8を検出する。これら各開始点Ｔp5、Ｔp7及び終了点Ｔp6、Ｔp8に挟まれた経過時間の範囲（例えば、Ｔp5〜Ｔp6の範囲）が動画のハイライトシーンとなる。これにより、フレームの明るさが急に明るい方向又は暗い方向に全体的に変化した動画の部分がハイライトシーンとして抽出されることになる。この結果、音が大きくなることなく、明るさが急に変化、特に暗転するようなハイライトシーンを、より確実にハイライトシーンとして抽出することができる。
【００５２】
以上の実施の形態においては、抽出したハイライトシーンの再生モードとして、ハイライトシーンの動画のみを再生するハイライト動画再生とハイライトシーンの静止画のみを再生するハイライト静止画再生の２つの再生モードを設定し、操作部９においてどちらか一方の再生モードを選択するように構成してあるが、これに限定されない。例えば、これら２つに加えて、ハイライトシーンの動画及び静止画の両方を再生する再生モードを設定して、ハイライトシーンの動画の再生、静止画の再生、ハイライトシーンの動画及び静止画の再生のうち一つを使用者による操作部９の操作に応じて選択可能なように構成してもよい。また、再生モードがハイライト静止画再生である場合、音声の有無を使用者により選択可能なように操作部９を構成する方がより望ましい。
【００５３】
また、以上の実施の形態においては、映像データに基づいてハイライトシーンを特定する場合に、Ｉピクチャのフレーム当たりの平均輝度を用いているが、これに限定されない。Ｉピクチャに代えて又は加えて、他のピクチャを用いてもよい。また、平均輝度ではなく、フレームの明るさを代表する代表値であればよい。
【００５４】
また、ハイライトシーンを特定するときに用いる基準値は、使用者が操作部９により変更可能なように構成してもよい。
【００５５】
また、光ディスクに記録されたデータにおいてアングル切替がある場合、同じ経過時間の異なるアングルの映像を順次再生するように構成してもよい。例えば、右、中央、左の異なるアングルの同じ経過時間のＩピクチャがあるとき、右からのアングル、左からのアングル、最後に中央のアングルの静止画を順次再生する。これにより、立体的な表現が可能となる。この場合においても、映像データの輝度に基づいてハイライトシーンを抽出することが可能であると共に、アングルが異なっていても音声データはほぼ同一経過時間であるから、音声データの音声レベルに基づいてハイライトシーンを抽出することが可能である。
【００５６】
また、以上の実施の形態においては、音声データに基づいてハイライトシーンの特定を行った後に、映像データに基づいてハイライトシーンの特定を行っているが、これに限定されず、映像データ、音声データの順に行ってもよいし、同時に行ってもよい。
【００５７】
また、以上の実施の形態においては、携帯型の光ディスクプレーヤを例に説明したが、これに限定されず、ＭＰＥＧ方式の映像データを有する動画を再生可能な再生装置であればよい。携帯型に限定されないし、記録媒体は光ディスクに限定されない。インターネット等からダウンロードしてＨＤＤに記録された動画、使用者が録画した動画でもよい。この場合、再生装置はＬＣＤパネルを必ずしも備えている必要はなく、別途設けられた画像表示装置に出力可能なように構成してあればよい。
【００５８】
また、以上の実施の形態においては、表示部としてＬＣＤパネル１０を用いているが、これに限定されず、有機ＥＬ（Ｅｌｅｃｔｒｏ Ｌｕｍｉｎｅｓｃｅｎｃｅ）ディスプレイ、プラズマディスプレイ等、他の表示部でも良い。
【００５９】
更に、本発明は、その他、特許請求の範囲に記載した事項の範囲内において種々変更した形態にて実施することが可能であることは言うまでもない。
【符号の説明】
【００６０】
１ 光ディスクドライブ
３ データ処理部（特定手段、抽出手段）
４ ＬＣＤコントローラ
５ 記憶部
６ 音声データ処理部
８ 制御部
【特許請求の範囲】
【請求項１】
記録媒体に記録され、音声データ及び映像データを有する動画を再生する再生装置において、
前記音声データ及び映像データを用いて、前記動画の特徴映像を特定する特定手段と、該特定手段により特定された特徴映像に関する情報を抽出する抽出手段とを備え、該抽出手段により抽出された情報に応じて、特徴映像を再生するようにしてあることを特徴とする再生装置。
【請求項２】
前記特定手段は、前記動画の音声データの音声レベル、又は映像データの輝度若しくは輝度の変化率が各別に設定された基準値よりも大であるという条件を満足する動画の部分を前記特徴映像であると特定することを特徴とする請求項１に記載の再生装置。
【請求項３】
前記輝度は前記動画のフレーム当たりの平均輝度であることを特徴とする請求項２に記載の再生装置。
【請求項４】
前記抽出手段は、前記特定手段により特定された特徴映像の開始点及び終了点の時間情報、並びに／又は前記開始点及び終了点の映像データを抽出するように構成してあり、
前記抽出手段により抽出された時間情報及び／又は映像データに応じて、特徴映像の動画及び／又は静止画を再生するようにしてあることを特徴とする請求項１から３の何れか一つに記載の再生装置。
【請求項５】
前記音声データに基づいて特定された第１の特徴映像と前記映像データに基づいて特定された第２の特徴映像の範囲が重複する場合、前記抽出手段は、前記第１の特徴映像及び第２の特徴映像の時間的に前の開始点から時間的に後の終了点までの範囲を特徴映像として抽出することを特徴とする請求項４に記載の再生装置。
【請求項１】
記録媒体に記録され、音声データ及び映像データを有する動画を再生する再生装置において、
前記音声データ及び映像データを用いて、前記動画の特徴映像を特定する特定手段と、該特定手段により特定された特徴映像に関する情報を抽出する抽出手段とを備え、該抽出手段により抽出された情報に応じて、特徴映像を再生するようにしてあることを特徴とする再生装置。
【請求項２】
前記特定手段は、前記動画の音声データの音声レベル、又は映像データの輝度若しくは輝度の変化率が各別に設定された基準値よりも大であるという条件を満足する動画の部分を前記特徴映像であると特定することを特徴とする請求項１に記載の再生装置。
【請求項３】
前記輝度は前記動画のフレーム当たりの平均輝度であることを特徴とする請求項２に記載の再生装置。
【請求項４】
前記抽出手段は、前記特定手段により特定された特徴映像の開始点及び終了点の時間情報、並びに／又は前記開始点及び終了点の映像データを抽出するように構成してあり、
前記抽出手段により抽出された時間情報及び／又は映像データに応じて、特徴映像の動画及び／又は静止画を再生するようにしてあることを特徴とする請求項１から３の何れか一つに記載の再生装置。
【請求項５】
前記音声データに基づいて特定された第１の特徴映像と前記映像データに基づいて特定された第２の特徴映像の範囲が重複する場合、前記抽出手段は、前記第１の特徴映像及び第２の特徴映像の時間的に前の開始点から時間的に後の終了点までの範囲を特徴映像として抽出することを特徴とする請求項４に記載の再生装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【公開番号】特開２０１１−１２４９３４（Ｐ２０１１−１２４９３４Ａ）
【公開日】平成２３年６月２３日（２０１１．６．２３）
【国際特許分類】
【出願番号】特願２００９−２８３０７４（Ｐ２００９−２８３０７４）
【出願日】平成２１年１２月１４日（２００９．１２．１４）
【出願人】（０００００５０４９）シャープ株式会社 (33,933)
【Ｆターム（参考）】
【公開日】平成２３年６月２３日（２０１１．６．２３）
【国際特許分類】
【出願日】平成２１年１２月１４日（２００９．１２．１４）
【出願人】（０００００５０４９）シャープ株式会社 (33,933)
【Ｆターム（参考）】
[ Back to top ]