ハイライトシーンを生成する映像処理装置
【課題】本発明は、より正確なハイライトシーンを生成・保存する映像処理装置を提供する。
【解決手段】映像処理装置は、リモコンからリモコン受信部に対し命令を送り、リモコン受信部はＣＰＵにその命令を渡す。ＣＰＵは、命令に従って、ＨＤＤより動画像データを読み出し、デコーダで音声データを抽出した上で、メモリに置く。ＣＰＵは、デコーダでデコードされた音声データを元にハイライトシーンを検出する。音声変化量を計算し、区間長分以上の音声変化量が得られていれば、音声の変化量平均値を算出する。算出された音声の変化量平均値がこれまでの変化量平均値の最大値より大きければ更新する。その際の切り出し区間の開始位置を合わせて記憶し、終端に到達するまで繰り返し行う。音声の変化量平均の最大値を持つ切り出し区間をハイライトシーンとして検出する。
【解決手段】映像処理装置は、リモコンからリモコン受信部に対し命令を送り、リモコン受信部はＣＰＵにその命令を渡す。ＣＰＵは、命令に従って、ＨＤＤより動画像データを読み出し、デコーダで音声データを抽出した上で、メモリに置く。ＣＰＵは、デコーダでデコードされた音声データを元にハイライトシーンを検出する。音声変化量を計算し、区間長分以上の音声変化量が得られていれば、音声の変化量平均値を算出する。算出された音声の変化量平均値がこれまでの変化量平均値の最大値より大きければ更新する。その際の切り出し区間の開始位置を合わせて記憶し、終端に到達するまで繰り返し行う。音声の変化量平均の最大値を持つ切り出し区間をハイライトシーンとして検出する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は動画像処理に関し、特に、記録装置や外部の表示装置への出力機能を備える映像処理装置において、ハイライトシーンの生成方法に関する。
【背景技術】
【０００２】
従来、動画像を再生する際に、その動画像の音声情報などの特徴量を抽出し、重要再生区間のみを再生する機能が知られている（特に、特許文献１参照）。
【０００３】
特許文献１と同様な技術思想に基づく映像処理装置を、図６に基づいて説明する。インデキシング部６０６は、ＡＶデータの分離部６０１及びＡ／Ｄ変換部６０２、エンコーダ６０３を通じて処理された映像データについて、各シーンに分割するとともに、音声を始めとする各種特徴量を検出する。また、各特徴量を重み付け積算することにより得た値を評価することにより、重要シーンを抽出してダイジェスト再生に用いるシナリオを作成する。シナリオはシナリオ保持部６０７に保持される。シナリオを元に、ナビゲーション制御部６０８から、デコーダ６０６及びＤ／Ａ変換６０７を通じてモニタ６１１に再生される。
これにより、特徴シーンを適切に抽出して要約映像を作成してダイジェスト再生することができる。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００３−２８３９９３号公報（特に、図１参照）
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、ハイライトシーンを音声が大きい場面と限定している。そのため、正しくハイライトシーンを抽出できない問題があった。例えば、音声の大きいシーンでは、その音声の大きいシーンすべてをハイライトシーンと検出する可能性があった。また、逆に、音声の小さいシーンでは、その音声の小さいシーンの中にハイライトシーンが含まれていたとしても、音声の音量自体が小さいため、ハイライトシーンを検出することができなかった。
また、再生に特化しており保存されないという問題があった。そのため、ハイライトシーンを２次利用することができない。
【０００６】
そこで、本発明の目的は、上記の問題を解決すべく、ハイライトシーンを生成かつ保存する機能を提供することとする。
【課題を解決するための手段】
【０００７】
上記目的を達成するために、本発明の映像処理装置は、リモコンからの命令を受信するためのリモコン受信部及び、表示装置に表示するための映像出力装置を備える映像処理装置であり、映像処理を行うためＣＰＵ及びメモリ、エンコーダ・デコーダを備え、また動画像を保存するための記録装置を備える。
ＣＰＵにおいて、一定区間毎に音声レベル値を取り出す。先頭から順番に区間毎に音声変化量を計算する。ハイライトシーンとして切り出す区間長分の音声変化量が得られていれば、音声の変化量平均を算出する。音声の変化量平均値がこれまでの変化量平均値の最大値より大きければ値を更新し、その際の切り出し区間の開始位置を合わせて記憶しておく。これを１区間毎に行い終端に到達した時点で終了する。
これにより、ユーザの特別な操作を必要とせずに動画像のハイライトシーンを生成・保存できる。
【発明の効果】
【０００８】
上記の構成によれば、より正確にハイライトシーンを生成およびハイライトシーンを保存する機能を提供できる。
【図面の簡単な説明】
【０００９】
【図１】実施の形態１にかかる映像処理装置の構成を示す図
【図２】実施の形態１にかかるハイライトシーン検出のフローチャート
【図３】実施の形態１にかかるハイライトシーン区間の図
【図４】実施の形態１にかかる音声変化量の算出図
【図５】実施の形態１にかかるハイライトシーン作成のフローチャート
【図６】従来の映像処理装置の構成を示す図
【発明を実施するための形態】
【００１０】
（実施の形態１）
［１．映像処理装置の構成］
図１に映像処理装置１００の図を示す。映像処理装置１００は、リモコン１０１からの命令を受信するためのリモコン受信部１０２、映像処理を行うためのＣＰＵ１０３及びメモリ１０４、エンコーダ・デコーダ１０５、また映像を保存するためのＨＤＤ１０６、また表示装置１０８に表示するための、ＨＤＭＩ１０７より構成される。
【００１１】
リモコン１０１は、リモコン受信部１０２対して、ハイライトシーン生成や再生の命令する旨のリモコン信号を送信する。リモコン１０１は、少なくとも、選択をするための上下左右ボタン、メニューを表示する旨の指示をするメニュー表示ボタンおよび選択の決定を指示するための決定ボタンを備えている。ハイライトシーンを生成する場合は、表示装置１０８にコンテンツの一覧が表示された状態で、メニューを表示する旨のリモコン信号を送信する。その後、上下左右キーを用いて、表示装置１０８に表示されているハイライトシーンを生成する旨のアイコンを選択し、決定ボタンを押す。このようにすることで、ハイライトシーンを生成する旨の命令を送信する。
【００１２】
またハイライトシーンを再生する場合は、表示装置１０８にコンテンツの一覧が表示された状態で、メニューを表示する旨のリモコン信号を送信する。その後、上下左右キーを用いて、表示装置１０８に表示されているハイライトシーンを再生する旨のアイコンを選択し、決定ボタンを押す。このようにすることで、ハイライトシーンを生成する旨の命令を送信する。
リモコン受信部１０２は、リモコン１０１から送信されたリモコン信号を受信する。リモコン受信部１０２は、受信したリモコン信号に含まれるリモコンコードを抽出しＣＰＵ１０３に送信する。
ＣＰＵ１０３は、リモコン受信部１０２から送信されたリモコンコードを元に、メモリ１０４、エンコーダ・デコーダ１０５、ＨＤＤ１０６を操作する。ＣＰＵ１０３は、受信したリモコンコードと映像処理装置１００に基づき、ハイライトシーンを生成するか否かを判断する。ＣＰＵ１０３は、ハイライトシーンを生成すると判断した場合は、ＨＤＤ１０６よりそのハイライトシーンを生成する動画像のデータを読み出し、デコーダ１０５に送信する。デコーダ１０５は、受信した動画像のデータから音声データを抽出し、メモリ１０４に送信する。メモリ１０４に送信された音声データはメモリ１０４内に一時的に置かれる。
ＣＰＵ１０３は、デコーダ１０５でデコードされ、メモリ１０４に記録されている音声データを元にハイライトシーンを検出する。また、ＣＰＵ１０３は、メモリ１０４上の音声データからハイライトシーンを部分切り出しする。切り出されたハイライトシーンに関する情報を、ＨＤＤ１０６に保存する。切り出されたハイライトシーンに関する情報とは、例えば、ハイライトシーンの開始時刻と期間を含む情報である。
またＣＰＵ１０３は、ＨＤＤ１０６にあるハイライトシーンを始めとする動画像データを、デコーダ１０５を通じてデコードする。ＣＰＵ１０３は、そのデコードした動画像をＨＤＭＩ１０７を通じて表示装置１０８へ信号送出する。
【００１３】
［２．ハイライトシーン検出］
［２−１．ハイライトシーン・音声の変化量平均の定義］
本実施の形態において、ハイライトシーンを検出する場合、一定の区間毎の音声の変化量を算出し、その変な変化量に応じて、ハイライトシーンであるか否かを決定する。
図３は、ハイライトシーンを検出する際に用いる区間の決定方法を示したものである。最上段の横軸は、動画像データ全体の時間軸を示している。動画像データの開始位置をｎ ＝ ０として、一定の時間毎にｎを増していく。例えば、その一定時間が０．２５ｓｅｃの場合は、
ｎ＝０は、動画像の開始から０秒の位置であり、ｎ＝１は、動画像の開始から０．２５秒の位置である。末端が動画像データの終了位置となる。ＣＰＵ１０３は、各ｎの値を先頭とする区間Ｍｎ毎に、音声の変化量平均Ａｎを算出する。本実施の形態では、区間Ｍｎは、例えば、７秒とする。
つまり、区間Ｍ０における音声の変化量平均はＡ０であり、区間Ｍ１における音声の変化量平均はＡ１であり、区間Ｍ２における音声の変化量平均はＡ２である。
ＣＰＵ１０３は、動画像データ全体における、各区間Ｍｎの音声の変化量平均Ａｎの最大値であるＡｍａｘを持つ区間Ｍｎをハイライトシーンとして切り出す区間と判断する。
【００１４】
そして、ＣＰＵ１０３は、そのハイライトシーンとして切り出す区間と判断したＭｎよりハイライトシーンの開始時刻と終了時刻を判断する。例えば、ＣＰＵ１０３が区間Ｍ１をハイライトシーンと判断した場合は、ハイライトシーンの開始時刻は０．２５ｓｅｃであり、終了時刻は７．２５ｓｅｃである。
【００１５】
なお、抽出すべきハイライトシーンは、必ずしも音声の変化量平均はＡ０が最大値となる部分だけでなくても良い。例えば、音声の変化量平均Ａ０が所定の閾値を超える場合は、その超えたＡ０に対応するＭｎすべてをハイライトシーンと判定しても良い。
【００１６】
また、所定の閾値を超えたものをハイライトシーンとする場合、そのハイライトシーンが重複する場合がある。その場合はいずれか一つを選択してハイライトシーンと判定しても良い。
【００１７】
図４は、ＣＰＵ１０３が、動画像データからハイライトシーンを検出するための区間Ｍｎの音声の変化量平均Ａｎの算出方法を示したものである。図４では、縦軸は音声量を示し、横軸は動画像データの区間Ｍｎ分の時間軸を示している。区間Ｍｎにおいて一定の時間毎に音声量を抽出する。その音声量をＰｎ、Ｐｎ＋１・・・とする。本実施の形態では、１秒ごとに音声量を抽出している。その音声の変化量をＤ１、Ｄ２・・・とする。
【００１８】
ＣＰＵ１０３は、Ｄ１からＤ６まで６つの値を算出する。これらを大きい順にソートし、その中から上位Ｘ個を取り出す。図４の場合、Ｘ ＝ ３であるので、ＣＰＵ１０８はＤ１からＤ６まで６つの値のうち、上位の３個が選ぶ。本実施の形態の例では、ＣＰＵ１０３はＤ４、Ｄ１、Ｄ３の３つを選ぶ。これらの値をＸ個で平均したものを、切り出し区間Ｍ１の音声の変化量平均Ａ０とする。
［２−２．ハイライトシーンの検出］
図２は、ＣＰＵ１０３が実行する音声の変化量平均Ａｎを算出するフローチャートである。動画像データの開始位置をｎ ＝ ０とする（２０１）。一定の時間毎（本実施の形態の例では０．２５秒毎）にｎを増していく。ＣＰＵ１０３は、ｎ、ｎ＋１における、音声レベル値Ｐｎ、Ｐｎ＋１を取り出す（２０２）。ＣＰＵ１０３は、音声レベル値より、音声変化量Ｄｎ ＝ ｜Ｐｎ＋１ − Ｐｎ｜を計算する（２０３）。ｎ ＞ Ｍｎとなり、ハイライトシーンとして切り出す区間長Ｍ１分以上の音声変化量が得られていれば（２０４）、２−１で示した方法により、ＣＰＵ１０３は、音声の変化量平均Ａ０ ＝ （Ｄｘ ＋ Ｄｙ ＋ …） ／Ｘを算出する（２０５）。ｎ ← ｎ＋１ として（２０６）繰り返し行い、終端に到達した時点で終了する（２０７）。
【００１９】
以上により、ＣＰＵ１０３は音声の変化量平均Ａｎを算出する。
【００２０】
ＣＰＵ１０３は、動画像データに対応するすべてのＡｎを算出した後、その算出したＡｎ
のうち最大値をＡｍａｘとする。
【００２１】
ここで、音声の変化量平均の最大値Ａｍａｘを持つ切り出し区間Ｍｎをハイライトシーンとして検出する。
【００２２】
［３．ハイライトシーンの切り出し］
なお、上記実施の形態では、ハイライトシーンの開始時刻と期間を含む情報をＨＤＤ１０６に記録するとしたが、ハイライトシーンに対応する動画像をエンコードして、その動画像データをＨＤＤ１０６に記録しても良い。
【００２３】
図５は、ＣＰＵ１０３が、ＨＤＤ１０６からメモリ１０４に一時的に読み出されている動画像データからハイライトシーンを切り出すフローチャートである。この場合、メモリ１０４には、音声データだけではなく、映像データも一時的に記録される。まず、動画像データに対応するハイライトシーンとして、音声の変化量平均の最大値Ａｍａｘに対応する、切り出し開始位置Ｎｍａｘ及び、切り出す区間長Ｍｍａｘを決定する（５０１）。次に、動画像データから、切り出し開始位置Ｎｍａｘより、切り出し開始位置Ｎｍａｘ＋切り出す区間長Ｍ，ｍａｘまでを部分切り出しする（５０２）。
【００２４】
［４．まとめ］
本実施の形態の映像処理装置１００は、リモコン１０１からリモコン受信部１０２に対し命令を送り、リモコン受信部１０２はＣＰＵ１０３にその命令を渡す。ＣＰＵ１０３は、命令に従って、ＨＤＤ１０６より動画像データを読み出し、デコーダ１０５で音声データを抽出した上で、メモリ１０４に一時的に置く。
ＣＰＵ１０３は、デコーダ１０５でデコードされた音声データを元にハイライトシーンを検出する。動画像データの開始位置から、一定の時間毎に音声レベル値を取り出す。音声レベル値より音声変化量を計算し、区間長分以上の音声変化量が得られていれば、音声の変化量平均値を算出する。算出された音声の変化量平均値がこれまでの変化量平均値の最大値より大きければ更新する。その際の切り出し区間の開始位置を合わせて記憶し、終端に到達するまで繰り返し行う。ここで、音声の変化量平均の最大値を持つ切り出し区間をハイライトシーンとして検出する。
ＣＰＵ１０３は、メモリ１０４上の動画像データから検出されたハイライトシーンを部分切り出しする。部分切り出しされたハイライトシーンは、エンコーダ１０５にてエンコードされ、ＨＤＤ１０６に保存する。また、ＨＤＭＩ１０７を通じて表示装置１０８へ信号送出する。
【００２５】
これにより、ユーザの特別な操作を必要とせずにより正確な動画像のハイライトシーンを生成・保存できる。
【００２６】
（他の実施の形態）
本発明の実施の形態として、実施の形態１を例示した。しかし、本発明はこれには限らない。そこで、本発明の他の実施の形態を以下にまとめて説明する。なお、本発明は、これらには限定されず、適宜修正された実施の形態に対しても適用可能である。
【００２７】
実施の形態１において、記録装置１０６をＨＤＤとしたが、これには限らない。例えば、記録装置１０６をＳＤカードといった着脱可能なメディアとしてもよい。要するに、生成されたハイライトシーンの保存が可能であればよい。
【００２８】
また、実施の形態１において、出力装置１０７をＨＤＭＩとしたが、これに限らない。例えば、出力装置１０７をＲＣＡ端子としてもよい。要するに、外部の表示装置１０８に出力可能であればよい。また、出力装置１０７をＬＡＮケーブルとしてもよい。要するに、表示装置に限らず外部機器への転送が可能であればよい。
【産業上の利用可能性】
【００２９】
本発明は、動画像処理に関し、特に動画像データにおけるハイライトシーンの生成と保存に関するものであって、ユーザの特別な操作を必要とせずにより正確な動画像データのハイライトシーンを提供できる。そのため、本発明は、ハードディスクレコーダーや、記録装置を持つデジタルカメラ、デジタルビデオカメラ、カメラ付き携帯端末等に適用できる。
【符号の説明】
【００３０】
１００ 映像処理装置
１０１ リモコン
１０２ リモコン受信部
１０３ ＣＰＵ
１０４ メモリ
１０５ エンコーダ・デコーダ
１０６ ＨＤＤ
１０７ ＨＤＭＩ
１０８ 表示装置
【技術分野】
【０００１】
本発明は動画像処理に関し、特に、記録装置や外部の表示装置への出力機能を備える映像処理装置において、ハイライトシーンの生成方法に関する。
【背景技術】
【０００２】
従来、動画像を再生する際に、その動画像の音声情報などの特徴量を抽出し、重要再生区間のみを再生する機能が知られている（特に、特許文献１参照）。
【０００３】
特許文献１と同様な技術思想に基づく映像処理装置を、図６に基づいて説明する。インデキシング部６０６は、ＡＶデータの分離部６０１及びＡ／Ｄ変換部６０２、エンコーダ６０３を通じて処理された映像データについて、各シーンに分割するとともに、音声を始めとする各種特徴量を検出する。また、各特徴量を重み付け積算することにより得た値を評価することにより、重要シーンを抽出してダイジェスト再生に用いるシナリオを作成する。シナリオはシナリオ保持部６０７に保持される。シナリオを元に、ナビゲーション制御部６０８から、デコーダ６０６及びＤ／Ａ変換６０７を通じてモニタ６１１に再生される。
これにより、特徴シーンを適切に抽出して要約映像を作成してダイジェスト再生することができる。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００３−２８３９９３号公報（特に、図１参照）
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、ハイライトシーンを音声が大きい場面と限定している。そのため、正しくハイライトシーンを抽出できない問題があった。例えば、音声の大きいシーンでは、その音声の大きいシーンすべてをハイライトシーンと検出する可能性があった。また、逆に、音声の小さいシーンでは、その音声の小さいシーンの中にハイライトシーンが含まれていたとしても、音声の音量自体が小さいため、ハイライトシーンを検出することができなかった。
また、再生に特化しており保存されないという問題があった。そのため、ハイライトシーンを２次利用することができない。
【０００６】
そこで、本発明の目的は、上記の問題を解決すべく、ハイライトシーンを生成かつ保存する機能を提供することとする。
【課題を解決するための手段】
【０００７】
上記目的を達成するために、本発明の映像処理装置は、リモコンからの命令を受信するためのリモコン受信部及び、表示装置に表示するための映像出力装置を備える映像処理装置であり、映像処理を行うためＣＰＵ及びメモリ、エンコーダ・デコーダを備え、また動画像を保存するための記録装置を備える。
ＣＰＵにおいて、一定区間毎に音声レベル値を取り出す。先頭から順番に区間毎に音声変化量を計算する。ハイライトシーンとして切り出す区間長分の音声変化量が得られていれば、音声の変化量平均を算出する。音声の変化量平均値がこれまでの変化量平均値の最大値より大きければ値を更新し、その際の切り出し区間の開始位置を合わせて記憶しておく。これを１区間毎に行い終端に到達した時点で終了する。
これにより、ユーザの特別な操作を必要とせずに動画像のハイライトシーンを生成・保存できる。
【発明の効果】
【０００８】
上記の構成によれば、より正確にハイライトシーンを生成およびハイライトシーンを保存する機能を提供できる。
【図面の簡単な説明】
【０００９】
【図１】実施の形態１にかかる映像処理装置の構成を示す図
【図２】実施の形態１にかかるハイライトシーン検出のフローチャート
【図３】実施の形態１にかかるハイライトシーン区間の図
【図４】実施の形態１にかかる音声変化量の算出図
【図５】実施の形態１にかかるハイライトシーン作成のフローチャート
【図６】従来の映像処理装置の構成を示す図
【発明を実施するための形態】
【００１０】
（実施の形態１）
［１．映像処理装置の構成］
図１に映像処理装置１００の図を示す。映像処理装置１００は、リモコン１０１からの命令を受信するためのリモコン受信部１０２、映像処理を行うためのＣＰＵ１０３及びメモリ１０４、エンコーダ・デコーダ１０５、また映像を保存するためのＨＤＤ１０６、また表示装置１０８に表示するための、ＨＤＭＩ１０７より構成される。
【００１１】
リモコン１０１は、リモコン受信部１０２対して、ハイライトシーン生成や再生の命令する旨のリモコン信号を送信する。リモコン１０１は、少なくとも、選択をするための上下左右ボタン、メニューを表示する旨の指示をするメニュー表示ボタンおよび選択の決定を指示するための決定ボタンを備えている。ハイライトシーンを生成する場合は、表示装置１０８にコンテンツの一覧が表示された状態で、メニューを表示する旨のリモコン信号を送信する。その後、上下左右キーを用いて、表示装置１０８に表示されているハイライトシーンを生成する旨のアイコンを選択し、決定ボタンを押す。このようにすることで、ハイライトシーンを生成する旨の命令を送信する。
【００１２】
またハイライトシーンを再生する場合は、表示装置１０８にコンテンツの一覧が表示された状態で、メニューを表示する旨のリモコン信号を送信する。その後、上下左右キーを用いて、表示装置１０８に表示されているハイライトシーンを再生する旨のアイコンを選択し、決定ボタンを押す。このようにすることで、ハイライトシーンを生成する旨の命令を送信する。
リモコン受信部１０２は、リモコン１０１から送信されたリモコン信号を受信する。リモコン受信部１０２は、受信したリモコン信号に含まれるリモコンコードを抽出しＣＰＵ１０３に送信する。
ＣＰＵ１０３は、リモコン受信部１０２から送信されたリモコンコードを元に、メモリ１０４、エンコーダ・デコーダ１０５、ＨＤＤ１０６を操作する。ＣＰＵ１０３は、受信したリモコンコードと映像処理装置１００に基づき、ハイライトシーンを生成するか否かを判断する。ＣＰＵ１０３は、ハイライトシーンを生成すると判断した場合は、ＨＤＤ１０６よりそのハイライトシーンを生成する動画像のデータを読み出し、デコーダ１０５に送信する。デコーダ１０５は、受信した動画像のデータから音声データを抽出し、メモリ１０４に送信する。メモリ１０４に送信された音声データはメモリ１０４内に一時的に置かれる。
ＣＰＵ１０３は、デコーダ１０５でデコードされ、メモリ１０４に記録されている音声データを元にハイライトシーンを検出する。また、ＣＰＵ１０３は、メモリ１０４上の音声データからハイライトシーンを部分切り出しする。切り出されたハイライトシーンに関する情報を、ＨＤＤ１０６に保存する。切り出されたハイライトシーンに関する情報とは、例えば、ハイライトシーンの開始時刻と期間を含む情報である。
またＣＰＵ１０３は、ＨＤＤ１０６にあるハイライトシーンを始めとする動画像データを、デコーダ１０５を通じてデコードする。ＣＰＵ１０３は、そのデコードした動画像をＨＤＭＩ１０７を通じて表示装置１０８へ信号送出する。
【００１３】
［２．ハイライトシーン検出］
［２−１．ハイライトシーン・音声の変化量平均の定義］
本実施の形態において、ハイライトシーンを検出する場合、一定の区間毎の音声の変化量を算出し、その変な変化量に応じて、ハイライトシーンであるか否かを決定する。
図３は、ハイライトシーンを検出する際に用いる区間の決定方法を示したものである。最上段の横軸は、動画像データ全体の時間軸を示している。動画像データの開始位置をｎ ＝ ０として、一定の時間毎にｎを増していく。例えば、その一定時間が０．２５ｓｅｃの場合は、
ｎ＝０は、動画像の開始から０秒の位置であり、ｎ＝１は、動画像の開始から０．２５秒の位置である。末端が動画像データの終了位置となる。ＣＰＵ１０３は、各ｎの値を先頭とする区間Ｍｎ毎に、音声の変化量平均Ａｎを算出する。本実施の形態では、区間Ｍｎは、例えば、７秒とする。
つまり、区間Ｍ０における音声の変化量平均はＡ０であり、区間Ｍ１における音声の変化量平均はＡ１であり、区間Ｍ２における音声の変化量平均はＡ２である。
ＣＰＵ１０３は、動画像データ全体における、各区間Ｍｎの音声の変化量平均Ａｎの最大値であるＡｍａｘを持つ区間Ｍｎをハイライトシーンとして切り出す区間と判断する。
【００１４】
そして、ＣＰＵ１０３は、そのハイライトシーンとして切り出す区間と判断したＭｎよりハイライトシーンの開始時刻と終了時刻を判断する。例えば、ＣＰＵ１０３が区間Ｍ１をハイライトシーンと判断した場合は、ハイライトシーンの開始時刻は０．２５ｓｅｃであり、終了時刻は７．２５ｓｅｃである。
【００１５】
なお、抽出すべきハイライトシーンは、必ずしも音声の変化量平均はＡ０が最大値となる部分だけでなくても良い。例えば、音声の変化量平均Ａ０が所定の閾値を超える場合は、その超えたＡ０に対応するＭｎすべてをハイライトシーンと判定しても良い。
【００１６】
また、所定の閾値を超えたものをハイライトシーンとする場合、そのハイライトシーンが重複する場合がある。その場合はいずれか一つを選択してハイライトシーンと判定しても良い。
【００１７】
図４は、ＣＰＵ１０３が、動画像データからハイライトシーンを検出するための区間Ｍｎの音声の変化量平均Ａｎの算出方法を示したものである。図４では、縦軸は音声量を示し、横軸は動画像データの区間Ｍｎ分の時間軸を示している。区間Ｍｎにおいて一定の時間毎に音声量を抽出する。その音声量をＰｎ、Ｐｎ＋１・・・とする。本実施の形態では、１秒ごとに音声量を抽出している。その音声の変化量をＤ１、Ｄ２・・・とする。
【００１８】
ＣＰＵ１０３は、Ｄ１からＤ６まで６つの値を算出する。これらを大きい順にソートし、その中から上位Ｘ個を取り出す。図４の場合、Ｘ ＝ ３であるので、ＣＰＵ１０８はＤ１からＤ６まで６つの値のうち、上位の３個が選ぶ。本実施の形態の例では、ＣＰＵ１０３はＤ４、Ｄ１、Ｄ３の３つを選ぶ。これらの値をＸ個で平均したものを、切り出し区間Ｍ１の音声の変化量平均Ａ０とする。
［２−２．ハイライトシーンの検出］
図２は、ＣＰＵ１０３が実行する音声の変化量平均Ａｎを算出するフローチャートである。動画像データの開始位置をｎ ＝ ０とする（２０１）。一定の時間毎（本実施の形態の例では０．２５秒毎）にｎを増していく。ＣＰＵ１０３は、ｎ、ｎ＋１における、音声レベル値Ｐｎ、Ｐｎ＋１を取り出す（２０２）。ＣＰＵ１０３は、音声レベル値より、音声変化量Ｄｎ ＝ ｜Ｐｎ＋１ − Ｐｎ｜を計算する（２０３）。ｎ ＞ Ｍｎとなり、ハイライトシーンとして切り出す区間長Ｍ１分以上の音声変化量が得られていれば（２０４）、２−１で示した方法により、ＣＰＵ１０３は、音声の変化量平均Ａ０ ＝ （Ｄｘ ＋ Ｄｙ ＋ …） ／Ｘを算出する（２０５）。ｎ ← ｎ＋１ として（２０６）繰り返し行い、終端に到達した時点で終了する（２０７）。
【００１９】
以上により、ＣＰＵ１０３は音声の変化量平均Ａｎを算出する。
【００２０】
ＣＰＵ１０３は、動画像データに対応するすべてのＡｎを算出した後、その算出したＡｎ
のうち最大値をＡｍａｘとする。
【００２１】
ここで、音声の変化量平均の最大値Ａｍａｘを持つ切り出し区間Ｍｎをハイライトシーンとして検出する。
【００２２】
［３．ハイライトシーンの切り出し］
なお、上記実施の形態では、ハイライトシーンの開始時刻と期間を含む情報をＨＤＤ１０６に記録するとしたが、ハイライトシーンに対応する動画像をエンコードして、その動画像データをＨＤＤ１０６に記録しても良い。
【００２３】
図５は、ＣＰＵ１０３が、ＨＤＤ１０６からメモリ１０４に一時的に読み出されている動画像データからハイライトシーンを切り出すフローチャートである。この場合、メモリ１０４には、音声データだけではなく、映像データも一時的に記録される。まず、動画像データに対応するハイライトシーンとして、音声の変化量平均の最大値Ａｍａｘに対応する、切り出し開始位置Ｎｍａｘ及び、切り出す区間長Ｍｍａｘを決定する（５０１）。次に、動画像データから、切り出し開始位置Ｎｍａｘより、切り出し開始位置Ｎｍａｘ＋切り出す区間長Ｍ，ｍａｘまでを部分切り出しする（５０２）。
【００２４】
［４．まとめ］
本実施の形態の映像処理装置１００は、リモコン１０１からリモコン受信部１０２に対し命令を送り、リモコン受信部１０２はＣＰＵ１０３にその命令を渡す。ＣＰＵ１０３は、命令に従って、ＨＤＤ１０６より動画像データを読み出し、デコーダ１０５で音声データを抽出した上で、メモリ１０４に一時的に置く。
ＣＰＵ１０３は、デコーダ１０５でデコードされた音声データを元にハイライトシーンを検出する。動画像データの開始位置から、一定の時間毎に音声レベル値を取り出す。音声レベル値より音声変化量を計算し、区間長分以上の音声変化量が得られていれば、音声の変化量平均値を算出する。算出された音声の変化量平均値がこれまでの変化量平均値の最大値より大きければ更新する。その際の切り出し区間の開始位置を合わせて記憶し、終端に到達するまで繰り返し行う。ここで、音声の変化量平均の最大値を持つ切り出し区間をハイライトシーンとして検出する。
ＣＰＵ１０３は、メモリ１０４上の動画像データから検出されたハイライトシーンを部分切り出しする。部分切り出しされたハイライトシーンは、エンコーダ１０５にてエンコードされ、ＨＤＤ１０６に保存する。また、ＨＤＭＩ１０７を通じて表示装置１０８へ信号送出する。
【００２５】
これにより、ユーザの特別な操作を必要とせずにより正確な動画像のハイライトシーンを生成・保存できる。
【００２６】
（他の実施の形態）
本発明の実施の形態として、実施の形態１を例示した。しかし、本発明はこれには限らない。そこで、本発明の他の実施の形態を以下にまとめて説明する。なお、本発明は、これらには限定されず、適宜修正された実施の形態に対しても適用可能である。
【００２７】
実施の形態１において、記録装置１０６をＨＤＤとしたが、これには限らない。例えば、記録装置１０６をＳＤカードといった着脱可能なメディアとしてもよい。要するに、生成されたハイライトシーンの保存が可能であればよい。
【００２８】
また、実施の形態１において、出力装置１０７をＨＤＭＩとしたが、これに限らない。例えば、出力装置１０７をＲＣＡ端子としてもよい。要するに、外部の表示装置１０８に出力可能であればよい。また、出力装置１０７をＬＡＮケーブルとしてもよい。要するに、表示装置に限らず外部機器への転送が可能であればよい。
【産業上の利用可能性】
【００２９】
本発明は、動画像処理に関し、特に動画像データにおけるハイライトシーンの生成と保存に関するものであって、ユーザの特別な操作を必要とせずにより正確な動画像データのハイライトシーンを提供できる。そのため、本発明は、ハードディスクレコーダーや、記録装置を持つデジタルカメラ、デジタルビデオカメラ、カメラ付き携帯端末等に適用できる。
【符号の説明】
【００３０】
１００ 映像処理装置
１０１ リモコン
１０２ リモコン受信部
１０３ ＣＰＵ
１０４ メモリ
１０５ エンコーダ・デコーダ
１０６ ＨＤＤ
１０７ ＨＤＭＩ
１０８ 表示装置
【特許請求の範囲】
【請求項１】
リモコンから送信される自装置の制御に関する命令を受信するためのリモコン受信部と、
動画像データを記録可能な記録部と、
前記動画像データをデコードし、少なくとも音声データを出力するデコーダと、
前記リモコン受信部が受信した命令に応じて、前記記録部および前記デコーダを制御するＣＰＵを備え、
前記ＣＰＵが、
前記リモコン受信部が受信した命令に基づき、前記記憶部に記憶されている動画像データのハイライトシーンを検出すると判断した場合に、
前記デコーダは、その動画像データをデコードし少なくとも音声データを出力し、
前記ＣＰＵは、
その出力された音声データの音量の変化量に基づき、その動画像データのハイライトシーンを特定する、映像処理装置。
【請求項２】
前記ＣＰＵは、
所定の期間内の音声データの変化量の最大値を検出し、
その最大値が含まれる期間をハイライトシーンとして検出することを特徴とする、
請求項１に記載の映像処理装置。
【請求項１】
リモコンから送信される自装置の制御に関する命令を受信するためのリモコン受信部と、
動画像データを記録可能な記録部と、
前記動画像データをデコードし、少なくとも音声データを出力するデコーダと、
前記リモコン受信部が受信した命令に応じて、前記記録部および前記デコーダを制御するＣＰＵを備え、
前記ＣＰＵが、
前記リモコン受信部が受信した命令に基づき、前記記憶部に記憶されている動画像データのハイライトシーンを検出すると判断した場合に、
前記デコーダは、その動画像データをデコードし少なくとも音声データを出力し、
前記ＣＰＵは、
その出力された音声データの音量の変化量に基づき、その動画像データのハイライトシーンを特定する、映像処理装置。
【請求項２】
前記ＣＰＵは、
所定の期間内の音声データの変化量の最大値を検出し、
その最大値が含まれる期間をハイライトシーンとして検出することを特徴とする、
請求項１に記載の映像処理装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図２】
【図３】
【図４】
【図５】
【図６】
【公開番号】特開２０１２−１４７２９６（Ｐ２０１２−１４７２９６Ａ）
【公開日】平成２４年８月２日（２０１２．８．２）
【国際特許分類】
【出願番号】特願２０１１−４６９６（Ｐ２０１１−４６９６）
【出願日】平成２３年１月１３日（２０１１．１．１３）
【出願人】（０００００５８２１）パナソニック株式会社 (73,050)
【Ｆターム（参考）】
【公開日】平成２４年８月２日（２０１２．８．２）
【国際特許分類】
【出願日】平成２３年１月１３日（２０１１．１．１３）
【出願人】（０００００５８２１）パナソニック株式会社 (73,050)
【Ｆターム（参考）】
[ Back to top ]