静止画像抽出装置および方法並びにプログラム
【課題】動画像に含まれる楽曲と対応させた静止画像を動画像から抽出できるようにする。
【解決手段】画像読込部２４が読み込んだ動画像に含まれる楽曲の構造を表す構造情報を、構造情報取得部２８が取得する。タイミング設定部３０が、構造情報およびあらかじめ設定された画像抽出画像抽出パラメータに基づいて、動画像を代表する静止画像抽出のタイミングを設定する。そして、抽出部３２が、設定されたタイミングに対応する動画像のフレームを静止画像として抽出する。
【解決手段】画像読込部２４が読み込んだ動画像に含まれる楽曲の構造を表す構造情報を、構造情報取得部２８が取得する。タイミング設定部３０が、構造情報およびあらかじめ設定された画像抽出画像抽出パラメータに基づいて、動画像を代表する静止画像抽出のタイミングを設定する。そして、抽出部３２が、設定されたタイミングに対応する動画像のフレームを静止画像として抽出する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動画像から静止画像を抽出する静止画像抽出装置および方法並びに静止画像抽出方法をコンピュータに実行させるためのプログラムに関するものである。
【背景技術】
【０００２】
従来より、動画像から静止画像を抽出し、抽出した静止画像に様々な文字やデザインを付与して、その動画像を記録したＤＶＤ等の商品のパッケージやラベルに使用したり、チャプターリストに使用することが行われている。このため、動画像から静止画像を抽出するための各種手法が提案されている。例えば、動画像の各フレームに含まれる音量、動き量、複雑度および色成分等の特徴量を算出し、特徴量が最大となるフレームを静止画像として抽出する手法（特許文献１参照）、および動画像の動きがあらかじめ設定された基準値以上となる毎に、その時点の静止画像を抽出する手法（特許文献２参照）等が提案されている。
【０００３】
また、動画像から所定の時間間隔で切り出した静止画像から注目領域を検出し、検出した注目領域のパターンを比較し、注目領域の変化が大きい場合にその静止画像を動画像におけるシーンチェンジする部分の画像として抽出する手法も提案されている（特許文献３参照）。さらに、動画像に含まれる対象物の動きに合わせて抽出の時間間隔を変更することにより、様々なパッケージ用の画像を生成する手法も提案されている（特許文献４参照）。
【特許文献１】特開２００３−２９８９８３号公報
【特許文献２】特開２００３−２３４９９６号公報
【特許文献３】特開２００４−１９４１９７号公報
【特許文献４】特開平５−３７８９３号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
ところで、映画やプロモーションビデオ等の動画像には楽曲が含まれており、動画像のシーンの盛り上がりに応じて楽曲が再生されるようになっている。例えば、映画のクライマックスのシーンには楽曲が再生され、最高潮となったシーンに対応させて楽曲のサビの部分が再生されることが多く、これにより動画像の印象的なシーンをより盛り上げて見せることができるようになっている。
【０００５】
このような、映画やプロモーションビデオ等の動画像から、上記従来技術のようにフレームの特徴量等に基づいて静止画像を抽出した場合、動画像に含まれる楽曲とは全く関係ない静止画像が抽出されることから、抽出された静止画像が動画像における印象的なシーンとはならないものとなってしまうおそれがある。
【０００６】
本発明は上記事情に鑑みなされたものであり、動画像に含まれる楽曲と対応させた静止画像を動画像から抽出できるようにすることを目的とする。
【課題を解決するための手段】
【０００７】
楽曲を含む動画像においては、楽曲中に現れるフレーズ等の特徴が動画像と同期しており、楽曲における特定のフレーズが再生されるタイミングにおいては、その動画像を代表するシーンが再生されることが多い。本発明はこの点に鑑みなされたものである。
【０００８】
すなわち、本発明による静止画像抽出装置は、動画像に含まれる楽曲の構造を表す構造情報を取得する構造情報取得手段と、
前記構造情報およびあらかじめ設定された画像抽出パラメータに基づいて、前記動画像からの静止画像の抽出のタイミングを設定するタイミング設定手段と、
前記設定されたタイミングに対応する前記動画像のフレームを前記静止画像として抽出する抽出手段とを備えたことを特徴とするものである。
【０００９】
「楽曲の構造」としては、動画像において楽曲の再生が開始される時間、楽曲に含まれる特定のフレーズおよびサビの種類、並びに特定のフレーズおよびサビが出現するタイミング、特定のフレーズおよびサビの配列等が挙げられる。
【００１０】
「画像抽出パラメータ」は、静止画像を抽出するタイミング、抽出する静止画像の数、およびその用途等を指定するものであり、あらかじめ作業者により設定されるものである。
【００１１】
「設定されたタイミングに対応する動画像のフレーム」としては、設定されたタイミングにおける１つのフレームであってもよく、設定されたタイミング以前および／または以後の複数のフレームであってもよい。
【００１２】
なお、本発明による静止画像抽出装置においては、前記抽出手段を、前記設定されたタイミング以前および／または以後の複数のフレームを抽出し、該複数のフレームのうち最高画質のフレームを前記抽出する静止画像に決定する手段としてもよい。
【００１３】
また、本発明による静止画像抽出装置においては、前記画像抽出パラメータが前記静止画像の用途を含む場合、前記タイミング設定手段を、前記静止画像の用途にも応じて、前記静止画像抽出のタイミングを設定する手段としてもよい。
【００１４】
また、本発明による静止画像抽出装置においては、前記構造情報取得手段を、前記動画像に含まれる楽曲を抽出する楽曲抽出手段と、
前記抽出した楽曲から該楽曲の構造を抽出して前記構造情報を生成する構造情報生成手段とを備えるものとしてもよい。
【００１５】
本発明による静止画像抽出方法は、動画像に含まれる楽曲の構造を表す構造情報を取得し、
前記構造情報およびあらかじめ設定された画像抽出パラメータに基づいて、前記動画像からの静止画像の抽出のタイミングを設定し、
前記設定されたタイミングに対応する前記動画像のフレームを前記静止画像として抽出することを特徴とするものである。
【００１６】
なお、本発明による代表画像抽出方法をコンピュータに実行させるためのプログラムとして提供してもよい。
【発明の効果】
【００１７】
本発明によれば、動画像に含まれる楽曲の構造情報が取得され、構造情報およびあらかじめ設定された画像抽出パラメータに基づいて、動画像からの静止画像抽出のタイミングが設定され、設定されたタイミングに対応する動画像のフレームが静止画像として抽出される。このため、動画像に含まれる楽曲と対応させて動画像から静止画像を抽出することができる。また、楽曲は動画像の印象的なシーンに対応づけられていることから、動画像の印象的なシーンを静止画像として抽出することができる。
【００１８】
また、設定されたタイミング以前および／または以後の複数のフレームを抽出し、複数のフレームのうち最高画質のフレームを静止画像として抽出することにより、より画質のよい静止画像を得ることができる。
【００１９】
また、静止画像の用途にも応じて静止画像を抽出するタイミングを設定することにより、用途に応じた静止画像を抽出することができる。
【発明を実施するための最良の形態】
【００２０】
以下、図面を参照して本発明の実施形態について説明する。図１は本発明の第１の実施形態による静止画像抽出装置の構成を示す概略ブロック図である。図１に示すように本実施形態による静止画像抽出装置１は、動画像を表す動画像データの記録制御および表示制御等の各種制御を行うとともに、装置１を構成する各部の制御を行うＣＰＵ１２と、ＣＰＵ１２を動作させるプログラム、および各種定数が記録されているＲＯＭおよびＣＰＵ１２が処理を実行する際の作業領域となるＲＡＭにより構成されるシステムメモリ１４と、各種表示を行う液晶モニタ等からなる表示部１６と、表示部１６を制御する表示制御部１８と、種々の指示を装置１に対して行うためのキーボード、マウスおよびタッチパネル等からなる入力部２０と、入力部２０を制御する入力制御部２２とを備える。なお、本実施形態においては、動画像は楽曲が含まれているものを対象としており、楽曲が含まれない動画像は対象としないものである。
【００２１】
また、静止画像抽出装置１は、動画像を表す動画像データを記録したメモリカード等のメディアから動画像データを読み出したり動画像データや後述するように抽出した静止画像の画像データをメディアに記録したりするための画像読込部２４と、画像読込部２４を制御する画像読込制御部２６とを備える。
【００２２】
また、静止画像抽出装置１は、動画像に含まれる楽曲の構造を表す構造情報を取得する構造情報取得部２８と、構造情報取得部２８が取得した構造情報、および作業者があらかじめ入力部２０から入力することにより設定した画像抽出パラメータに基づいて、静止画像抽出のタイミングを設定するタイミング設定部３０と、設定されたタイミングに対応する動画像のフレームを静止画像として抽出する抽出部３２とを備える。
【００２３】
構造情報取得部２８は、動画像に含まれる楽曲を抽出する楽曲抽出部２８Ａと、抽出した楽曲から楽曲の構造を抽出して構造情報を生成する構造情報生成部２８Ｂとを備える。
【００２４】
なお、動画像がプロモーションビデオのようなものであれば、楽曲は動画像と同時に再生される。このため、楽曲抽出部２８Ａは、動画像から音声情報を抽出することにより楽曲を抽出することができる。一方、動画像が映画のようなものであると、楽曲は映画の途中で挿入曲として含まれているため、動画像再生と同時に楽曲が再生されない。このような動画像の場合、楽曲抽出部２８Ａは動画像から音声情報を抽出し、さらに抽出した音声情報から楽曲部分を抽出することにより動画像から楽曲を抽出する。音声情報から楽曲を抽出する手法としては、音声情報を表す音声データからニューラルネットワーク、周波数解析等の手法を用いて楽曲のデータを分離する手法（例えば特表２００５−５１８５６０号公報参照）等、公知の任意の手法を用いることができる。
【００２５】
ここで、楽曲の構造としては、動画像において楽曲の再生が開始される時間、楽曲に含まれる特定のフレーズおよびサビの種類、並びに特定のフレーズおよびサビが出現するタイミング、特定のフレーズおよびサビの配列等が挙げられ、構造情報はこれらの楽曲の構造を表す情報である。なお、フレーズを取得する手法としては、例えば、特開平９−９０９７８号公報に記載された楽曲の無音部分に基づいてフレーズを検出する手法、特開２００４−１８４７６９号公報に記載された楽曲中の和音に基づいてフレーズを検出する手法、および特開２００４−２３３９６５号公報に記載された楽曲中の繰り返される区間に基づいてサビを検出する手法等を用いることができる。
【００２６】
次いで、本実施形態において行われる処理について説明する。図２は第１の実施形態において行われる処理を示すフローチャートである。なお、静止画像を抽出する動画像は画像読込部２４により読み込まれてシステムメモリ１４に記憶されているものとする。また、本実施形態において使用される動画像は、再生時間が５分でフレームレートが３０ｆｐｓであるとする。さらに、画像抽出パラメータは入力部２０を用いて作業者により設定されているものとする。
【００２７】
作業者が静止画像抽出の指示を入力部２０から行うことによりＣＰＵ１２が処理を開始し、まず、構造情報取得部２８の楽曲部抽出部２８Ａが、動画像から楽曲を抽出する（ステップＳＴ１）。次いで、構造情報生成部２８Ｂが、楽曲の構造情報を生成する（ステップＳＴ２）。図３は楽曲の構造を示す図である。図３に示すように、抽出された楽曲は３分の長さを有し、Ａメロ、Ｂメロおよびサビの３つフレーズからなる。また、Ａメロは楽曲の再生時間における０：００〜１：００、Ｂメロは１：１０〜２：００、サビは２：３０〜３：００に現れる。また、抽出された楽曲は、動画像が再生されてから１分後に再生が開始される。構造情報生成部２８Ｂは、動画像において楽曲の再生が開始される開始時間、３つのフレーズの種類、３つのフレーズの配列および３つのフレーズが出現するタイミングを構造情報として生成する。
【００２８】
次いで、タイミング設定部３０が、構造情報および作業者が設定した画像抽出パラメータに基づいて、静止画像抽出のタイミングを設定する（ステップＳＴ３）。図４は第１の実施形態における静止画像抽出のタイミングの設定および静止画像の抽出を説明するための図である。なお、ここでは画像抽出パラメータＰ０として、Ｂメロから静止画像を１枚抽出する旨が設定されているものとする。
【００２９】
タイミング設定部３０は、画像抽出パラメータＰ０により設定された抽出枚数に応じたタイミングを、静止画像抽出のタイミングとするものである。本実施形態においては、Ｂメロから１枚抽出する旨が画像抽出パラメータＰ０により設定されているため、Ｂメロの中央位置を静止画像抽出のタイミングに設定する。
【００３０】
すなわち、図４に示すように、楽曲は動画像が再生されてから１分後に再生される。Ｂメロは楽曲の再生時間における１：１０〜２：００の間に現れ、その中央位置は楽曲が再生されてから１：３５後に現れる。したがって、タイミング設定部３０は、画像抽出パラメータＰ０に基づく静止画像抽出のタイミングＴ０を、動画像の再生開始から２：３５後に設定する。なお、静止画像を複数枚抽出する旨が設定された場合のタイミングの設定については、後述する。
【００３１】
そして、抽出部３２が、タイミング設定部３０が設定した静止画像抽出のタイミングにおけるフレームを動画像から静止画像Ｒ０として抽出し（ステップＳＴ４）、処理を終了する。ここで、本実施形態においては、動画像のフレームレートは３０ｆｐｓであり、静止画像抽出のタイミングＴ０は動画像の再生開始から２：３５（＝１５５秒）後である。したがって、抽出部３２は、動画像に含まれる９０００枚（＝３０（ｆｐｓ）×５（分）×６０（秒））のフレームのうち、３０×１５５＝４６５０枚目のフレームを静止画像Ｒ０として抽出する。
【００３２】
このように、本実施形態においては、画像に含まれる楽曲の構造情報およびあらかじめ設定された画像抽出パラメータに基づいて、動画像からの静止画像抽出のタイミングを設定し、設定したタイミングに対応する動画像のフレームを静止画像として抽出するようにしたため、動画像に含まれる楽曲と対応させて静止画像を抽出することができる。とくに、楽曲は動画像の印象的なシーンにおいて再生されることから、動画像の印象的なシーンを静止画像として抽出することができる。
【００３３】
なお、上記実施形態においては、画像抽出パラメータを１つのみ設定しているが、複数設定してもよい。図５は複数の画像抽出パラメータを設定した場合の静止画像抽出のタイミングの設定を説明するための図である。ここで、画像抽出パラメータとしては、サビから１枚（画像抽出パラメータＰ１）、Ａメロから２枚とＢメロから３枚（画像抽出パラメータＰ２）およびＡメロの真ん中１枚とサビ開始から１０秒後のフレーム（画像抽出パラメータＰ３）を抽出する旨が設定されているものとする。
【００３４】
図５に示すように、楽曲は動画像が再生されてから１分後に再生が開始される。タイミング設定部３０は、サビから１枚抽出する旨を設定する画像抽出パラメータＰ１に対しては、サビの中央位置を静止画像抽出のタイミングＴ１に設定する。ここで、サビは楽曲の再生時間における２：３０〜３：００の間に現れ、その中央位置は楽曲が再生されてから２：４５後に現れる。したがって、タイミング設定部３０は、画像抽出パラメータＰ１に基づく静止画像抽出のタイミングＴ１を、動画像の再生開始から３：４５（＝２２５秒）後に設定する。この場合、抽出部３２が静止画像Ｒ１として抽出するフレームは、３０×２２５＝６７５０枚目のフレームとなる。
【００３５】
一方、タイミング設定部３０は、Ａメロから２枚とＢメロから３枚抽出する旨を設定する画像抽出パラメータＰ２に対しては、Ａメロの開始時点および終了時点を静止画像抽出のタイミングＴ２−１，Ｔ２−２に設定するとともに、Ｂメロの開始時点、中央位置および終了時点を静止画像抽出のタイミングＴ２−３，Ｔ２−４，Ｔ２−５に設定する。ここで、Ａメロは楽曲の再生時間における０：００〜１：００の間に現れ、その開始時点および終了時点は楽曲が再生されてから０：００後および１：００後にそれぞれ現れる。また、Ｂメロは楽曲の再生時間における１：１０〜２：００の間に現れ、その開始時点、中央位置および終了時点は、楽曲が再生されてから、１：１０後、１：３５後および２：００後にそれぞれ現れる。
【００３６】
したがって、タイミング設定部３０は、画像抽出パラメータ２に基づく静止画像抽出のタイミングＴ２−１〜Ｔ２−５を、動画像の再生開始から１：００（＝６０秒）後、２：００（＝１２０秒）後、２：１０（＝１３０秒）後、２：３５（＝１５５秒）後および３：００（＝１８０秒）後にそれぞれ設定する。この場合、抽出部３２は、３０×６０＝１８００枚目、３０×１２０＝３６００枚目、３０×１３０＝３９００枚目、３０×１５５＝４６５０枚目、および３０×１８０＝５４００枚目のフレームを静止画像Ｒ２−１〜Ｒ２−５として抽出する。
【００３７】
また、タイミング設定部３０は、Ａメロの真ん中１枚とサビ開始から１０秒後のフレームを抽出する旨を設定する画像抽出パラメータＰ３に対しては、そのままＡメロの中央位置およびサビ開始から１０秒後を静止画像抽出のタイミングＴ３−１，Ｔ３−２に設定する。ここで、Ａメロは楽曲の再生時間における０：００〜１：００の間に現れ、その中央位置は楽曲が再生されてから０：３０後に現れる。また、サビは楽曲の再生時間における２：３０〜３：００の間に現れるため、サビ開始から１０秒後は楽曲が再生されてから２：４０後となる。したがって、タイミング設定部３０は、画像抽出パラメータＰ３に基づく静止画像抽出のタイミングＴ３−１，Ｔ３−２を、動画像の再生開始から１：３０（＝９０秒）後および３：４０（＝２２０秒）後に設定する。この場合、抽出部３２は、３０×９０＝２７００枚目および３０×２２０＝６６００枚目のフレームを静止画像Ｒ３−１，Ｒ３−２として抽出する。
【００３８】
次いで、本発明の第２の実施形態について説明する。図６は本発明の第２の実施形態による静止画像抽出装置の構成を示す概略ブロック図である。なお、第２の実施形態において第１の実施形態と同一の構成については同一の参照番号を付与し、ここでは詳細な説明は省略する。第２の実施形態による静止画像抽出装置１Ａは、第１の実施形態における抽出部３２に代えて、タイミング設定部３０が設定した静止画像抽出のタイミングを含むその前後の複数のフレームを抽出する抽出部４２と、抽出部４２が抽出した複数のフレームの画質を判定する画質判定部４４を備えた点が第１の実施形態と異なる。
【００３９】
図７は第２の実施形態において行われる処理を示すフローチャートである。なお、図７に示すフローチャートにおいてステップＳ１１からステップＳＴ１３の処理は、上記第１の実施形態におけるステップＳＴ１からステップＳＴ３の処理と同一であるため、ここでは詳細な説明は省略する。また、第２の実施形態においては、第１の実施形態と同様に、Ｂメロから１枚抽出する旨が画像抽出パラメータＰ０により設定されているものとする。
【００４０】
抽出部４２が、タイミング設定部３０が設定した静止画像抽出のタイミングのフレームを含むその前後の複数のフレームを動画像から抽出する（ステップＳＴ１４）。図８は第２の実施形態における静止画像の抽出を説明するための図である。なお、タイミング設定部３０は、画像抽出パラメータＰ０に基づく静止画像抽出のタイミングＴ０を、上記第１の実施形態と同様に動画像の再生開始から２：３５後に設定しているものとする。
【００４１】
抽出部４２は、タイミング設定部３０が設定した静止画像抽出のタイミングＴ０のフレームおよびその前後の２フレーム（合計５フレーム）を動画像から抽出する。ここで、本実施形態においては、動画像のフレームレートは３０ｆｐｓであり、タイミング設定部３０が設定した静止画像抽出のタイミングＴ０は動画像の再生開始から２：３５（＝１５５秒）後である。したがって、抽出部４２は、３０×１５５＝４６５０枚目を中心とする５フレームＦ１〜Ｆ５を抽出する。
【００４２】
次いで、画質判定部４４がフレームＦ１〜Ｆ５の画質を判定する。具体的には、画像のエッジの強さを判定することにより画像のブレおよびボケの程度を判定し、さらに濃度値を判定することにより画像の明るさを判定する。また、特開２０００−２９８３００号公報に記載された手法を用いて、フレームにより表される画像の空間周波数分布を測定し、その高周波数分布の減少率が最大の方向を手ぶれの方向と推定し、さらに推定された手ぶれの方向に画像の自己相関関数をとり、これを手ぶれ方向に微分し、その極小点の間隔から、ブレの大きさを推定することによりブレの判定を行うようにしてもよい。なお、画質の判定の手法は上記の手法に限定されるものではなく、画像のブレおよびボケのみを判断したり、画像の明るさのみを判断する等、公知の任意の手法を用いることができる。
【００４３】
そして、画質判定部４４は、５つのフレームＦ１〜Ｆ５のうち、ブレおよびボケが最も少なく、かつ明るさが最も明るいフレームを最高画質のフレームとして抽出する静止画像に決定し（ステップＳＴ１６）、処理を終了する。
【００４４】
これにより、第２の実施形態においては、より画質のよい静止画像を得ることができる。
【００４５】
なお、上記第２の実施形態においては、タイミング設定部３０が静止画像抽出のタイミングに対応するフレームを中心とする５つのフレームを抽出しているが、抽出するフレームの数はこれに限定されるものではない。また、抽出するフレームは、タイミング設定部３０が設定したタイミング以前または以後のみであってもよい。さらに、作業者が入力部２０から抽出するフレームの数を設定できるようにしてもよい。
【００４６】
また、上記第１および第２の実施形態において、抽出した静止画像の用途を画像抽出パラメータとして設定してもよい。以下、これを第３の実施形態として説明する。なお、第３の実施形態による静止画像抽出装置は第１の実施形態による静止画像抽出装置１と同一の構成を有するため、ここでは詳細な説明は省略する。
【００４７】
図９は第３の実施形態における静止画像抽出のタイミングの設定および静止画像の抽出を説明するための図である。ここで、楽曲の構造は上記第１の実施形態と同一であるものとする。なお、第３の実施形態においては、動画像をＤＶＤに記録して販売することを目的として、動画像のチャプターリスト用に３枚の画像を、ジャケットおよび盤面用に１枚の画像を抽出する旨を画像抽出パラメータＰ４，Ｐ５によりそれぞれ設定するものとする。また、第３の実施形態においては用途と、その用途に応じた静止画像抽出のタイミングの設定方法の関係を表すテーブルが、システムメモリ１４にあらかじめ登録されているものとする。具体的には、チャプターリスト用の画像についてはフレーズの先頭に対応するフレームを静止画像抽出のタイミングとする旨が、ジャケットおよび盤面用としてはサビのフレーズの中央位置のフレームを静止画像抽出のタイミングとする旨が、それぞれテーブルに登録されている。なお、このテーブルは作業者がその内容を編集可能なものとしてもよい。
【００４８】
まず、チャプターリスト用の３枚の画像について、タイミング設定部３０は、システムメモリ１４に登録されたテーブルを参照して、楽曲に含まれるＡメロ、Ｂメロおよびサビの開始位置を画像抽出パラメータＰ４に基づく静止画像抽出のタイミングＴ４−１〜Ｔ４−３に設定する。ここで、Ａメロは、楽曲の再生時間における０：００〜１：００、Ｂメロは１：１０〜２：００、サビは２：３０〜３：００に現れる。また、抽出された楽曲は、動画像が再生されてから１分後に再生が開始される。したがって、タイミング設定部３０は、静止画像抽出のタイミングＴ４−１〜Ｔ４−３を、動画像の再生開始から１：００（＝６０秒）後、２：１０（＝１３０秒）後および３：３０（＝２１０秒）後に設定する。この場合、抽出部３２は、３０×６０＝１８００枚目、３０×１３０＝３９００枚目、および３０×２１０＝６３００枚目のフレームを静止画像Ｒ４−１，Ｒ４−２，Ｒ４−３として抽出する。
【００４９】
また、ジャケットおよび盤面用の１枚の画像について、タイミング設定部３０は、システムメモリ１４に登録されたテーブルを参照して、楽曲に含まれるサビの中央位置を画像抽出パラメータＰ５に基づく静止画像抽出のタイミングＴ５に設定する。ここで、サビは楽曲の再生時間における２：３０〜３：００に現れるため、サビの中央位置は楽曲が再生されてから２：４５後に現れる。また、抽出された楽曲は、動画像が再生されてから１分後に再生が開始される。したがって、タイミング設定部３０は、静止画像抽出のタイミングを、動画像の再生開始から３：４５（＝２２５秒）後に設定する。この場合、抽出部３２は、３０×２２５＝６７５０枚目のフレームを静止画像Ｒ５として抽出する。
【００５０】
このように、静止画像の用途に応じて静止画像抽出のタイミングを設定することにより、用途に応じた静止画像を抽出することができる。
【００５１】
なお、上記実施形態においては、物理的に利用不可能な画像抽出パラメータが入力部２０から設定される場合がある。例えば、３０ｆｐｓの動画に含まれる楽曲の長さ３０秒（＝９００フレーム）のサビに対して、静止画像を１０００枚抽出するような設定がなされる場合がある。このような場合には、表示部１６にエラー表示を行い、設定可能な画像抽出パラメータの再入力を作業者に行わせるようにしてもよい。
【００５２】
また、上記実施形態においては、動画像から楽曲を抽出し、抽出した楽曲の構造情報を生成しているが、動画像が、映像ファイルと、楽曲の再生タイミングが記載されているシナリオファイルとから構成される場合がある。このような場合には、上記実施形態における楽曲抽出部２８Ａおよび構造情報生成部２８Ｂを使用しなくても、シナリオファイルを設定することにより、動画像に含まれる楽曲の構造を表す構造情報を取得することができ、これにより静止画像抽出のための演算時間を短縮することができる。
【００５３】
以上、本発明の実施形態に係る装置１，１Ａについて説明したが、コンピュータを、上記の構造情報取得部２８、タイミング設定部３および抽出部３２，４２に対応する手段として機能させ、図２，７に示すような処理を行わせるプログラムも、本発明の実施形態の１つである。また、そのようなプログラムを記録したコンピュータ読取り可能な記録媒体も、本発明の実施形態の１つである。
【図面の簡単な説明】
【００５４】
【図１】本発明の第１の実施形態による静止画像抽出装置の構成を示す概略ブロック図
【図２】第１の実施形態において行われる処理を示すフローチャート
【図３】楽曲の構造を示す図
【図４】第１の実施形態における静止画像抽出のタイミングの設定および静止画像の抽出を説明するための図
【図５】複数の画像抽出パラメータを設定した場合の静止画像抽出のタイミングの設定を説明するための図
【図６】本発明の第２の実施形態による静止画像抽出装置の構成を示す概略ブロック図
【図７】第２の実施形態において行われる処理を示すフローチャート
【図８】第２の実施形態における静止画像の抽出を説明するための図
【図９】第３の実施形態における静止画像抽出のタイミングの設定および静止画像の抽出を説明するための図
【符号の説明】
【００５５】
１，１Ａ 静止画像抽出装置
１２ ＣＰＵ
１４ システムメモリ
１６ 表示部
１８ 表示制御部
２０ 入力部
２２ 入力制御部
２４ 画像読込部
２６ 画像読込制御部
２８ 構造情報取得部
３０ タイミング設定部
３２，４２ 抽出部
【技術分野】
【０００１】
本発明は、動画像から静止画像を抽出する静止画像抽出装置および方法並びに静止画像抽出方法をコンピュータに実行させるためのプログラムに関するものである。
【背景技術】
【０００２】
従来より、動画像から静止画像を抽出し、抽出した静止画像に様々な文字やデザインを付与して、その動画像を記録したＤＶＤ等の商品のパッケージやラベルに使用したり、チャプターリストに使用することが行われている。このため、動画像から静止画像を抽出するための各種手法が提案されている。例えば、動画像の各フレームに含まれる音量、動き量、複雑度および色成分等の特徴量を算出し、特徴量が最大となるフレームを静止画像として抽出する手法（特許文献１参照）、および動画像の動きがあらかじめ設定された基準値以上となる毎に、その時点の静止画像を抽出する手法（特許文献２参照）等が提案されている。
【０００３】
また、動画像から所定の時間間隔で切り出した静止画像から注目領域を検出し、検出した注目領域のパターンを比較し、注目領域の変化が大きい場合にその静止画像を動画像におけるシーンチェンジする部分の画像として抽出する手法も提案されている（特許文献３参照）。さらに、動画像に含まれる対象物の動きに合わせて抽出の時間間隔を変更することにより、様々なパッケージ用の画像を生成する手法も提案されている（特許文献４参照）。
【特許文献１】特開２００３−２９８９８３号公報
【特許文献２】特開２００３−２３４９９６号公報
【特許文献３】特開２００４−１９４１９７号公報
【特許文献４】特開平５−３７８９３号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
ところで、映画やプロモーションビデオ等の動画像には楽曲が含まれており、動画像のシーンの盛り上がりに応じて楽曲が再生されるようになっている。例えば、映画のクライマックスのシーンには楽曲が再生され、最高潮となったシーンに対応させて楽曲のサビの部分が再生されることが多く、これにより動画像の印象的なシーンをより盛り上げて見せることができるようになっている。
【０００５】
このような、映画やプロモーションビデオ等の動画像から、上記従来技術のようにフレームの特徴量等に基づいて静止画像を抽出した場合、動画像に含まれる楽曲とは全く関係ない静止画像が抽出されることから、抽出された静止画像が動画像における印象的なシーンとはならないものとなってしまうおそれがある。
【０００６】
本発明は上記事情に鑑みなされたものであり、動画像に含まれる楽曲と対応させた静止画像を動画像から抽出できるようにすることを目的とする。
【課題を解決するための手段】
【０００７】
楽曲を含む動画像においては、楽曲中に現れるフレーズ等の特徴が動画像と同期しており、楽曲における特定のフレーズが再生されるタイミングにおいては、その動画像を代表するシーンが再生されることが多い。本発明はこの点に鑑みなされたものである。
【０００８】
すなわち、本発明による静止画像抽出装置は、動画像に含まれる楽曲の構造を表す構造情報を取得する構造情報取得手段と、
前記構造情報およびあらかじめ設定された画像抽出パラメータに基づいて、前記動画像からの静止画像の抽出のタイミングを設定するタイミング設定手段と、
前記設定されたタイミングに対応する前記動画像のフレームを前記静止画像として抽出する抽出手段とを備えたことを特徴とするものである。
【０００９】
「楽曲の構造」としては、動画像において楽曲の再生が開始される時間、楽曲に含まれる特定のフレーズおよびサビの種類、並びに特定のフレーズおよびサビが出現するタイミング、特定のフレーズおよびサビの配列等が挙げられる。
【００１０】
「画像抽出パラメータ」は、静止画像を抽出するタイミング、抽出する静止画像の数、およびその用途等を指定するものであり、あらかじめ作業者により設定されるものである。
【００１１】
「設定されたタイミングに対応する動画像のフレーム」としては、設定されたタイミングにおける１つのフレームであってもよく、設定されたタイミング以前および／または以後の複数のフレームであってもよい。
【００１２】
なお、本発明による静止画像抽出装置においては、前記抽出手段を、前記設定されたタイミング以前および／または以後の複数のフレームを抽出し、該複数のフレームのうち最高画質のフレームを前記抽出する静止画像に決定する手段としてもよい。
【００１３】
また、本発明による静止画像抽出装置においては、前記画像抽出パラメータが前記静止画像の用途を含む場合、前記タイミング設定手段を、前記静止画像の用途にも応じて、前記静止画像抽出のタイミングを設定する手段としてもよい。
【００１４】
また、本発明による静止画像抽出装置においては、前記構造情報取得手段を、前記動画像に含まれる楽曲を抽出する楽曲抽出手段と、
前記抽出した楽曲から該楽曲の構造を抽出して前記構造情報を生成する構造情報生成手段とを備えるものとしてもよい。
【００１５】
本発明による静止画像抽出方法は、動画像に含まれる楽曲の構造を表す構造情報を取得し、
前記構造情報およびあらかじめ設定された画像抽出パラメータに基づいて、前記動画像からの静止画像の抽出のタイミングを設定し、
前記設定されたタイミングに対応する前記動画像のフレームを前記静止画像として抽出することを特徴とするものである。
【００１６】
なお、本発明による代表画像抽出方法をコンピュータに実行させるためのプログラムとして提供してもよい。
【発明の効果】
【００１７】
本発明によれば、動画像に含まれる楽曲の構造情報が取得され、構造情報およびあらかじめ設定された画像抽出パラメータに基づいて、動画像からの静止画像抽出のタイミングが設定され、設定されたタイミングに対応する動画像のフレームが静止画像として抽出される。このため、動画像に含まれる楽曲と対応させて動画像から静止画像を抽出することができる。また、楽曲は動画像の印象的なシーンに対応づけられていることから、動画像の印象的なシーンを静止画像として抽出することができる。
【００１８】
また、設定されたタイミング以前および／または以後の複数のフレームを抽出し、複数のフレームのうち最高画質のフレームを静止画像として抽出することにより、より画質のよい静止画像を得ることができる。
【００１９】
また、静止画像の用途にも応じて静止画像を抽出するタイミングを設定することにより、用途に応じた静止画像を抽出することができる。
【発明を実施するための最良の形態】
【００２０】
以下、図面を参照して本発明の実施形態について説明する。図１は本発明の第１の実施形態による静止画像抽出装置の構成を示す概略ブロック図である。図１に示すように本実施形態による静止画像抽出装置１は、動画像を表す動画像データの記録制御および表示制御等の各種制御を行うとともに、装置１を構成する各部の制御を行うＣＰＵ１２と、ＣＰＵ１２を動作させるプログラム、および各種定数が記録されているＲＯＭおよびＣＰＵ１２が処理を実行する際の作業領域となるＲＡＭにより構成されるシステムメモリ１４と、各種表示を行う液晶モニタ等からなる表示部１６と、表示部１６を制御する表示制御部１８と、種々の指示を装置１に対して行うためのキーボード、マウスおよびタッチパネル等からなる入力部２０と、入力部２０を制御する入力制御部２２とを備える。なお、本実施形態においては、動画像は楽曲が含まれているものを対象としており、楽曲が含まれない動画像は対象としないものである。
【００２１】
また、静止画像抽出装置１は、動画像を表す動画像データを記録したメモリカード等のメディアから動画像データを読み出したり動画像データや後述するように抽出した静止画像の画像データをメディアに記録したりするための画像読込部２４と、画像読込部２４を制御する画像読込制御部２６とを備える。
【００２２】
また、静止画像抽出装置１は、動画像に含まれる楽曲の構造を表す構造情報を取得する構造情報取得部２８と、構造情報取得部２８が取得した構造情報、および作業者があらかじめ入力部２０から入力することにより設定した画像抽出パラメータに基づいて、静止画像抽出のタイミングを設定するタイミング設定部３０と、設定されたタイミングに対応する動画像のフレームを静止画像として抽出する抽出部３２とを備える。
【００２３】
構造情報取得部２８は、動画像に含まれる楽曲を抽出する楽曲抽出部２８Ａと、抽出した楽曲から楽曲の構造を抽出して構造情報を生成する構造情報生成部２８Ｂとを備える。
【００２４】
なお、動画像がプロモーションビデオのようなものであれば、楽曲は動画像と同時に再生される。このため、楽曲抽出部２８Ａは、動画像から音声情報を抽出することにより楽曲を抽出することができる。一方、動画像が映画のようなものであると、楽曲は映画の途中で挿入曲として含まれているため、動画像再生と同時に楽曲が再生されない。このような動画像の場合、楽曲抽出部２８Ａは動画像から音声情報を抽出し、さらに抽出した音声情報から楽曲部分を抽出することにより動画像から楽曲を抽出する。音声情報から楽曲を抽出する手法としては、音声情報を表す音声データからニューラルネットワーク、周波数解析等の手法を用いて楽曲のデータを分離する手法（例えば特表２００５−５１８５６０号公報参照）等、公知の任意の手法を用いることができる。
【００２５】
ここで、楽曲の構造としては、動画像において楽曲の再生が開始される時間、楽曲に含まれる特定のフレーズおよびサビの種類、並びに特定のフレーズおよびサビが出現するタイミング、特定のフレーズおよびサビの配列等が挙げられ、構造情報はこれらの楽曲の構造を表す情報である。なお、フレーズを取得する手法としては、例えば、特開平９−９０９７８号公報に記載された楽曲の無音部分に基づいてフレーズを検出する手法、特開２００４−１８４７６９号公報に記載された楽曲中の和音に基づいてフレーズを検出する手法、および特開２００４−２３３９６５号公報に記載された楽曲中の繰り返される区間に基づいてサビを検出する手法等を用いることができる。
【００２６】
次いで、本実施形態において行われる処理について説明する。図２は第１の実施形態において行われる処理を示すフローチャートである。なお、静止画像を抽出する動画像は画像読込部２４により読み込まれてシステムメモリ１４に記憶されているものとする。また、本実施形態において使用される動画像は、再生時間が５分でフレームレートが３０ｆｐｓであるとする。さらに、画像抽出パラメータは入力部２０を用いて作業者により設定されているものとする。
【００２７】
作業者が静止画像抽出の指示を入力部２０から行うことによりＣＰＵ１２が処理を開始し、まず、構造情報取得部２８の楽曲部抽出部２８Ａが、動画像から楽曲を抽出する（ステップＳＴ１）。次いで、構造情報生成部２８Ｂが、楽曲の構造情報を生成する（ステップＳＴ２）。図３は楽曲の構造を示す図である。図３に示すように、抽出された楽曲は３分の長さを有し、Ａメロ、Ｂメロおよびサビの３つフレーズからなる。また、Ａメロは楽曲の再生時間における０：００〜１：００、Ｂメロは１：１０〜２：００、サビは２：３０〜３：００に現れる。また、抽出された楽曲は、動画像が再生されてから１分後に再生が開始される。構造情報生成部２８Ｂは、動画像において楽曲の再生が開始される開始時間、３つのフレーズの種類、３つのフレーズの配列および３つのフレーズが出現するタイミングを構造情報として生成する。
【００２８】
次いで、タイミング設定部３０が、構造情報および作業者が設定した画像抽出パラメータに基づいて、静止画像抽出のタイミングを設定する（ステップＳＴ３）。図４は第１の実施形態における静止画像抽出のタイミングの設定および静止画像の抽出を説明するための図である。なお、ここでは画像抽出パラメータＰ０として、Ｂメロから静止画像を１枚抽出する旨が設定されているものとする。
【００２９】
タイミング設定部３０は、画像抽出パラメータＰ０により設定された抽出枚数に応じたタイミングを、静止画像抽出のタイミングとするものである。本実施形態においては、Ｂメロから１枚抽出する旨が画像抽出パラメータＰ０により設定されているため、Ｂメロの中央位置を静止画像抽出のタイミングに設定する。
【００３０】
すなわち、図４に示すように、楽曲は動画像が再生されてから１分後に再生される。Ｂメロは楽曲の再生時間における１：１０〜２：００の間に現れ、その中央位置は楽曲が再生されてから１：３５後に現れる。したがって、タイミング設定部３０は、画像抽出パラメータＰ０に基づく静止画像抽出のタイミングＴ０を、動画像の再生開始から２：３５後に設定する。なお、静止画像を複数枚抽出する旨が設定された場合のタイミングの設定については、後述する。
【００３１】
そして、抽出部３２が、タイミング設定部３０が設定した静止画像抽出のタイミングにおけるフレームを動画像から静止画像Ｒ０として抽出し（ステップＳＴ４）、処理を終了する。ここで、本実施形態においては、動画像のフレームレートは３０ｆｐｓであり、静止画像抽出のタイミングＴ０は動画像の再生開始から２：３５（＝１５５秒）後である。したがって、抽出部３２は、動画像に含まれる９０００枚（＝３０（ｆｐｓ）×５（分）×６０（秒））のフレームのうち、３０×１５５＝４６５０枚目のフレームを静止画像Ｒ０として抽出する。
【００３２】
このように、本実施形態においては、画像に含まれる楽曲の構造情報およびあらかじめ設定された画像抽出パラメータに基づいて、動画像からの静止画像抽出のタイミングを設定し、設定したタイミングに対応する動画像のフレームを静止画像として抽出するようにしたため、動画像に含まれる楽曲と対応させて静止画像を抽出することができる。とくに、楽曲は動画像の印象的なシーンにおいて再生されることから、動画像の印象的なシーンを静止画像として抽出することができる。
【００３３】
なお、上記実施形態においては、画像抽出パラメータを１つのみ設定しているが、複数設定してもよい。図５は複数の画像抽出パラメータを設定した場合の静止画像抽出のタイミングの設定を説明するための図である。ここで、画像抽出パラメータとしては、サビから１枚（画像抽出パラメータＰ１）、Ａメロから２枚とＢメロから３枚（画像抽出パラメータＰ２）およびＡメロの真ん中１枚とサビ開始から１０秒後のフレーム（画像抽出パラメータＰ３）を抽出する旨が設定されているものとする。
【００３４】
図５に示すように、楽曲は動画像が再生されてから１分後に再生が開始される。タイミング設定部３０は、サビから１枚抽出する旨を設定する画像抽出パラメータＰ１に対しては、サビの中央位置を静止画像抽出のタイミングＴ１に設定する。ここで、サビは楽曲の再生時間における２：３０〜３：００の間に現れ、その中央位置は楽曲が再生されてから２：４５後に現れる。したがって、タイミング設定部３０は、画像抽出パラメータＰ１に基づく静止画像抽出のタイミングＴ１を、動画像の再生開始から３：４５（＝２２５秒）後に設定する。この場合、抽出部３２が静止画像Ｒ１として抽出するフレームは、３０×２２５＝６７５０枚目のフレームとなる。
【００３５】
一方、タイミング設定部３０は、Ａメロから２枚とＢメロから３枚抽出する旨を設定する画像抽出パラメータＰ２に対しては、Ａメロの開始時点および終了時点を静止画像抽出のタイミングＴ２−１，Ｔ２−２に設定するとともに、Ｂメロの開始時点、中央位置および終了時点を静止画像抽出のタイミングＴ２−３，Ｔ２−４，Ｔ２−５に設定する。ここで、Ａメロは楽曲の再生時間における０：００〜１：００の間に現れ、その開始時点および終了時点は楽曲が再生されてから０：００後および１：００後にそれぞれ現れる。また、Ｂメロは楽曲の再生時間における１：１０〜２：００の間に現れ、その開始時点、中央位置および終了時点は、楽曲が再生されてから、１：１０後、１：３５後および２：００後にそれぞれ現れる。
【００３６】
したがって、タイミング設定部３０は、画像抽出パラメータ２に基づく静止画像抽出のタイミングＴ２−１〜Ｔ２−５を、動画像の再生開始から１：００（＝６０秒）後、２：００（＝１２０秒）後、２：１０（＝１３０秒）後、２：３５（＝１５５秒）後および３：００（＝１８０秒）後にそれぞれ設定する。この場合、抽出部３２は、３０×６０＝１８００枚目、３０×１２０＝３６００枚目、３０×１３０＝３９００枚目、３０×１５５＝４６５０枚目、および３０×１８０＝５４００枚目のフレームを静止画像Ｒ２−１〜Ｒ２−５として抽出する。
【００３７】
また、タイミング設定部３０は、Ａメロの真ん中１枚とサビ開始から１０秒後のフレームを抽出する旨を設定する画像抽出パラメータＰ３に対しては、そのままＡメロの中央位置およびサビ開始から１０秒後を静止画像抽出のタイミングＴ３−１，Ｔ３−２に設定する。ここで、Ａメロは楽曲の再生時間における０：００〜１：００の間に現れ、その中央位置は楽曲が再生されてから０：３０後に現れる。また、サビは楽曲の再生時間における２：３０〜３：００の間に現れるため、サビ開始から１０秒後は楽曲が再生されてから２：４０後となる。したがって、タイミング設定部３０は、画像抽出パラメータＰ３に基づく静止画像抽出のタイミングＴ３−１，Ｔ３−２を、動画像の再生開始から１：３０（＝９０秒）後および３：４０（＝２２０秒）後に設定する。この場合、抽出部３２は、３０×９０＝２７００枚目および３０×２２０＝６６００枚目のフレームを静止画像Ｒ３−１，Ｒ３−２として抽出する。
【００３８】
次いで、本発明の第２の実施形態について説明する。図６は本発明の第２の実施形態による静止画像抽出装置の構成を示す概略ブロック図である。なお、第２の実施形態において第１の実施形態と同一の構成については同一の参照番号を付与し、ここでは詳細な説明は省略する。第２の実施形態による静止画像抽出装置１Ａは、第１の実施形態における抽出部３２に代えて、タイミング設定部３０が設定した静止画像抽出のタイミングを含むその前後の複数のフレームを抽出する抽出部４２と、抽出部４２が抽出した複数のフレームの画質を判定する画質判定部４４を備えた点が第１の実施形態と異なる。
【００３９】
図７は第２の実施形態において行われる処理を示すフローチャートである。なお、図７に示すフローチャートにおいてステップＳ１１からステップＳＴ１３の処理は、上記第１の実施形態におけるステップＳＴ１からステップＳＴ３の処理と同一であるため、ここでは詳細な説明は省略する。また、第２の実施形態においては、第１の実施形態と同様に、Ｂメロから１枚抽出する旨が画像抽出パラメータＰ０により設定されているものとする。
【００４０】
抽出部４２が、タイミング設定部３０が設定した静止画像抽出のタイミングのフレームを含むその前後の複数のフレームを動画像から抽出する（ステップＳＴ１４）。図８は第２の実施形態における静止画像の抽出を説明するための図である。なお、タイミング設定部３０は、画像抽出パラメータＰ０に基づく静止画像抽出のタイミングＴ０を、上記第１の実施形態と同様に動画像の再生開始から２：３５後に設定しているものとする。
【００４１】
抽出部４２は、タイミング設定部３０が設定した静止画像抽出のタイミングＴ０のフレームおよびその前後の２フレーム（合計５フレーム）を動画像から抽出する。ここで、本実施形態においては、動画像のフレームレートは３０ｆｐｓであり、タイミング設定部３０が設定した静止画像抽出のタイミングＴ０は動画像の再生開始から２：３５（＝１５５秒）後である。したがって、抽出部４２は、３０×１５５＝４６５０枚目を中心とする５フレームＦ１〜Ｆ５を抽出する。
【００４２】
次いで、画質判定部４４がフレームＦ１〜Ｆ５の画質を判定する。具体的には、画像のエッジの強さを判定することにより画像のブレおよびボケの程度を判定し、さらに濃度値を判定することにより画像の明るさを判定する。また、特開２０００−２９８３００号公報に記載された手法を用いて、フレームにより表される画像の空間周波数分布を測定し、その高周波数分布の減少率が最大の方向を手ぶれの方向と推定し、さらに推定された手ぶれの方向に画像の自己相関関数をとり、これを手ぶれ方向に微分し、その極小点の間隔から、ブレの大きさを推定することによりブレの判定を行うようにしてもよい。なお、画質の判定の手法は上記の手法に限定されるものではなく、画像のブレおよびボケのみを判断したり、画像の明るさのみを判断する等、公知の任意の手法を用いることができる。
【００４３】
そして、画質判定部４４は、５つのフレームＦ１〜Ｆ５のうち、ブレおよびボケが最も少なく、かつ明るさが最も明るいフレームを最高画質のフレームとして抽出する静止画像に決定し（ステップＳＴ１６）、処理を終了する。
【００４４】
これにより、第２の実施形態においては、より画質のよい静止画像を得ることができる。
【００４５】
なお、上記第２の実施形態においては、タイミング設定部３０が静止画像抽出のタイミングに対応するフレームを中心とする５つのフレームを抽出しているが、抽出するフレームの数はこれに限定されるものではない。また、抽出するフレームは、タイミング設定部３０が設定したタイミング以前または以後のみであってもよい。さらに、作業者が入力部２０から抽出するフレームの数を設定できるようにしてもよい。
【００４６】
また、上記第１および第２の実施形態において、抽出した静止画像の用途を画像抽出パラメータとして設定してもよい。以下、これを第３の実施形態として説明する。なお、第３の実施形態による静止画像抽出装置は第１の実施形態による静止画像抽出装置１と同一の構成を有するため、ここでは詳細な説明は省略する。
【００４７】
図９は第３の実施形態における静止画像抽出のタイミングの設定および静止画像の抽出を説明するための図である。ここで、楽曲の構造は上記第１の実施形態と同一であるものとする。なお、第３の実施形態においては、動画像をＤＶＤに記録して販売することを目的として、動画像のチャプターリスト用に３枚の画像を、ジャケットおよび盤面用に１枚の画像を抽出する旨を画像抽出パラメータＰ４，Ｐ５によりそれぞれ設定するものとする。また、第３の実施形態においては用途と、その用途に応じた静止画像抽出のタイミングの設定方法の関係を表すテーブルが、システムメモリ１４にあらかじめ登録されているものとする。具体的には、チャプターリスト用の画像についてはフレーズの先頭に対応するフレームを静止画像抽出のタイミングとする旨が、ジャケットおよび盤面用としてはサビのフレーズの中央位置のフレームを静止画像抽出のタイミングとする旨が、それぞれテーブルに登録されている。なお、このテーブルは作業者がその内容を編集可能なものとしてもよい。
【００４８】
まず、チャプターリスト用の３枚の画像について、タイミング設定部３０は、システムメモリ１４に登録されたテーブルを参照して、楽曲に含まれるＡメロ、Ｂメロおよびサビの開始位置を画像抽出パラメータＰ４に基づく静止画像抽出のタイミングＴ４−１〜Ｔ４−３に設定する。ここで、Ａメロは、楽曲の再生時間における０：００〜１：００、Ｂメロは１：１０〜２：００、サビは２：３０〜３：００に現れる。また、抽出された楽曲は、動画像が再生されてから１分後に再生が開始される。したがって、タイミング設定部３０は、静止画像抽出のタイミングＴ４−１〜Ｔ４−３を、動画像の再生開始から１：００（＝６０秒）後、２：１０（＝１３０秒）後および３：３０（＝２１０秒）後に設定する。この場合、抽出部３２は、３０×６０＝１８００枚目、３０×１３０＝３９００枚目、および３０×２１０＝６３００枚目のフレームを静止画像Ｒ４−１，Ｒ４−２，Ｒ４−３として抽出する。
【００４９】
また、ジャケットおよび盤面用の１枚の画像について、タイミング設定部３０は、システムメモリ１４に登録されたテーブルを参照して、楽曲に含まれるサビの中央位置を画像抽出パラメータＰ５に基づく静止画像抽出のタイミングＴ５に設定する。ここで、サビは楽曲の再生時間における２：３０〜３：００に現れるため、サビの中央位置は楽曲が再生されてから２：４５後に現れる。また、抽出された楽曲は、動画像が再生されてから１分後に再生が開始される。したがって、タイミング設定部３０は、静止画像抽出のタイミングを、動画像の再生開始から３：４５（＝２２５秒）後に設定する。この場合、抽出部３２は、３０×２２５＝６７５０枚目のフレームを静止画像Ｒ５として抽出する。
【００５０】
このように、静止画像の用途に応じて静止画像抽出のタイミングを設定することにより、用途に応じた静止画像を抽出することができる。
【００５１】
なお、上記実施形態においては、物理的に利用不可能な画像抽出パラメータが入力部２０から設定される場合がある。例えば、３０ｆｐｓの動画に含まれる楽曲の長さ３０秒（＝９００フレーム）のサビに対して、静止画像を１０００枚抽出するような設定がなされる場合がある。このような場合には、表示部１６にエラー表示を行い、設定可能な画像抽出パラメータの再入力を作業者に行わせるようにしてもよい。
【００５２】
また、上記実施形態においては、動画像から楽曲を抽出し、抽出した楽曲の構造情報を生成しているが、動画像が、映像ファイルと、楽曲の再生タイミングが記載されているシナリオファイルとから構成される場合がある。このような場合には、上記実施形態における楽曲抽出部２８Ａおよび構造情報生成部２８Ｂを使用しなくても、シナリオファイルを設定することにより、動画像に含まれる楽曲の構造を表す構造情報を取得することができ、これにより静止画像抽出のための演算時間を短縮することができる。
【００５３】
以上、本発明の実施形態に係る装置１，１Ａについて説明したが、コンピュータを、上記の構造情報取得部２８、タイミング設定部３および抽出部３２，４２に対応する手段として機能させ、図２，７に示すような処理を行わせるプログラムも、本発明の実施形態の１つである。また、そのようなプログラムを記録したコンピュータ読取り可能な記録媒体も、本発明の実施形態の１つである。
【図面の簡単な説明】
【００５４】
【図１】本発明の第１の実施形態による静止画像抽出装置の構成を示す概略ブロック図
【図２】第１の実施形態において行われる処理を示すフローチャート
【図３】楽曲の構造を示す図
【図４】第１の実施形態における静止画像抽出のタイミングの設定および静止画像の抽出を説明するための図
【図５】複数の画像抽出パラメータを設定した場合の静止画像抽出のタイミングの設定を説明するための図
【図６】本発明の第２の実施形態による静止画像抽出装置の構成を示す概略ブロック図
【図７】第２の実施形態において行われる処理を示すフローチャート
【図８】第２の実施形態における静止画像の抽出を説明するための図
【図９】第３の実施形態における静止画像抽出のタイミングの設定および静止画像の抽出を説明するための図
【符号の説明】
【００５５】
１，１Ａ 静止画像抽出装置
１２ ＣＰＵ
１４ システムメモリ
１６ 表示部
１８ 表示制御部
２０ 入力部
２２ 入力制御部
２４ 画像読込部
２６ 画像読込制御部
２８ 構造情報取得部
３０ タイミング設定部
３２，４２ 抽出部
【特許請求の範囲】
【請求項１】
動画像に含まれる楽曲の構造を表す構造情報を取得する構造情報取得手段と、
前記構造情報およびあらかじめ設定された画像抽出パラメータに基づいて、前記動画像からの静止画像の抽出のタイミングを設定するタイミング設定手段と、
前記設定されたタイミングに対応する前記動画像のフレームを前記静止画像として抽出する抽出手段とを備えたことを特徴とする静止画像抽出装置。
【請求項２】
前記抽出手段は、前記設定されたタイミング以前および／または以後の複数のフレームを抽出し、該複数のフレームのうち最高画質のフレームを前記抽出する静止画像に決定する手段であることを特徴とする請求項１記載の静止画像抽出装置。
【請求項３】
前記画像抽出パラメータが前記静止画像の用途を含む場合、前記タイミング設定手段は、前記静止画像の用途にも応じて、前記静止画像抽出のタイミングを設定する手段であることを特徴とする請求項１または２記載の静止画像抽出装置。
【請求項４】
前記構造情報取得手段は、前記動画像に含まれる楽曲を抽出する楽曲抽出手段と、
前記抽出した楽曲から該楽曲の構造を抽出して前記構造情報を生成する構造情報生成手段とを備えたことを特徴とする請求項１から３のいずれか１項記載の静止画像抽出装置。
【請求項５】
動画像に含まれる楽曲の構造を表す構造情報を取得し、
前記構造情報およびあらかじめ設定された画像抽出パラメータに基づいて、前記動画像からの静止画像の抽出のタイミングを設定し、
前記設定されたタイミングに対応する前記動画像のフレームを前記静止画像として抽出することを特徴とする静止画像抽出方法。
【請求項６】
動画像に含まれる楽曲の構造を表す構造情報を取得する手順と、
前記構造情報およびあらかじめ設定された画像抽出パラメータに基づいて、前記動画像からの静止画像の抽出のタイミングを設定する手順と、
前記設定されたタイミングに対応する前記動画像のフレームを前記静止画像として抽出する手順とを有することを特徴とする静止画像抽出方法をコンピュータに実行させるためのプログラム。
【請求項１】
動画像に含まれる楽曲の構造を表す構造情報を取得する構造情報取得手段と、
前記構造情報およびあらかじめ設定された画像抽出パラメータに基づいて、前記動画像からの静止画像の抽出のタイミングを設定するタイミング設定手段と、
前記設定されたタイミングに対応する前記動画像のフレームを前記静止画像として抽出する抽出手段とを備えたことを特徴とする静止画像抽出装置。
【請求項２】
前記抽出手段は、前記設定されたタイミング以前および／または以後の複数のフレームを抽出し、該複数のフレームのうち最高画質のフレームを前記抽出する静止画像に決定する手段であることを特徴とする請求項１記載の静止画像抽出装置。
【請求項３】
前記画像抽出パラメータが前記静止画像の用途を含む場合、前記タイミング設定手段は、前記静止画像の用途にも応じて、前記静止画像抽出のタイミングを設定する手段であることを特徴とする請求項１または２記載の静止画像抽出装置。
【請求項４】
前記構造情報取得手段は、前記動画像に含まれる楽曲を抽出する楽曲抽出手段と、
前記抽出した楽曲から該楽曲の構造を抽出して前記構造情報を生成する構造情報生成手段とを備えたことを特徴とする請求項１から３のいずれか１項記載の静止画像抽出装置。
【請求項５】
動画像に含まれる楽曲の構造を表す構造情報を取得し、
前記構造情報およびあらかじめ設定された画像抽出パラメータに基づいて、前記動画像からの静止画像の抽出のタイミングを設定し、
前記設定されたタイミングに対応する前記動画像のフレームを前記静止画像として抽出することを特徴とする静止画像抽出方法。
【請求項６】
動画像に含まれる楽曲の構造を表す構造情報を取得する手順と、
前記構造情報およびあらかじめ設定された画像抽出パラメータに基づいて、前記動画像からの静止画像の抽出のタイミングを設定する手順と、
前記設定されたタイミングに対応する前記動画像のフレームを前記静止画像として抽出する手順とを有することを特徴とする静止画像抽出方法をコンピュータに実行させるためのプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【公開番号】特開２００８−７８７２６（Ｐ２００８−７８７２６Ａ）
【公開日】平成２０年４月３日（２００８．４．３）
【国際特許分類】
【出願番号】特願２００６−２５２４４９（Ｐ２００６−２５２４４９）
【出願日】平成１８年９月１９日（２００６．９．１９）
【出願人】（３０６０３７３１１）富士フイルム株式会社 (25,513)
【Ｆターム（参考）】
【公開日】平成２０年４月３日（２００８．４．３）
【国際特許分類】
【出願日】平成１８年９月１９日（２００６．９．１９）
【出願人】（３０６０３７３１１）富士フイルム株式会社 (25,513)
【Ｆターム（参考）】
[ Back to top ]