電子機器、映像編集方法及びプログラム
【課題】
映像データのプレビュー効率を向上させるとともに、当該映像データから、編集作業に有効な区間データを抽出すること。
【解決手段】
映像編集装置１００は、映像編集インタフェース３０上で、映像データを、その変化量が大きいフレーム程低速となるようにプレビュー再生するとともに、当該プレビュー再生中に、マーカーボタン３１が押下された場合、その時点のフレームの変化量に応じた継続時間長の区間データを抽出し、それに対応するマーカー画像Ｍを表示させ、さらに、当該区間データから、変化量に応じた枚数のサムネイル画像Ｔｈを取得して表示させる。
映像データのプレビュー効率を向上させるとともに、当該映像データから、編集作業に有効な区間データを抽出すること。
【解決手段】
映像編集装置１００は、映像編集インタフェース３０上で、映像データを、その変化量が大きいフレーム程低速となるようにプレビュー再生するとともに、当該プレビュー再生中に、マーカーボタン３１が押下された場合、その時点のフレームの変化量に応じた継続時間長の区間データを抽出し、それに対応するマーカー画像Ｍを表示させ、さらに、当該区間データから、変化量に応じた枚数のサムネイル画像Ｔｈを取得して表示させる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、映像データを編集することが可能な電子機器、当該電子機器における映像編集方法及びプログラムに関する。
【背景技術】
【０００２】
従来から、映像データを編集する際の作業効率を高めるための技術が存在する。例えば下記特許文献１には、映像のプレビュー再生時に、映像の変化度合いが小さい映像については相対的に高速で再生し、変化度合いが大きい映像については相対的に低速で再生することが記載されている。
【０００３】
しかしながら、上記特許文献１に記載の技術では、ユーザは編集対象となる映像区間（シーン）を探し出しやすくはなるものの、探し出したシーンをマーキングしておき、後から当該シーンのみを再度再生させることはできない。
【０００４】
一方、映像中の所定の映像区間データを抽出する技術は、例えば下記特許文献２に開示されている。当該特許文献２では、撮影された映像データに対してユーザが開始位置及び終了位置を指示することで所定の場面が抽出される。また当該特許文献には、開始位置から終了位置までの時間が予め設定され、一定時間毎に開始位置及び終了位置が自動的に設定されてもよいことも記載されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００８−２２７７４４号公報
【特許文献２】特開２００９−２２５３６１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、上記特許文献１に記載の技術に上記特許文献２に記載の技術を適用した場合、ユーザは、変化度合いに応じてプレビュー速度が不規則に変化する映像データ上で、抽出対象のシーンの開始位置及び終了位置を指示する必要があるため、当該指示のための操作が極めて煩雑になる。
【０００７】
また、開始位置から終了位置までの時間が予め設定されている場合、映像の変化度合い、すなわち映像のプレビュー速度の変化に関わらず一定の長さの区間のデータが抽出されることになる。したがって、変化度合いの小さいシーンについては十分な区間のデータが抽出されず、また変化度合いの大きいシーンについては無駄な区間のデータまで抽出されてしまうことが考えられ、結果として、その後の編集作業に有効な、ユーザの所望の区間データが抽出されない可能性がある。
【０００８】
以上のような事情に鑑み、本発明の目的は、映像データのプレビュー効率を向上させるとともに、当該映像データから、編集作業に有効な区間データを抽出することが可能な電子機器、映像編集方法及びプログラムを提供することにある。
【課題を解決するための手段】
【０００９】
上記目的を達成するため、本発明の一形態に係る電子機器は、記憶部、再生部、出力部、操作受付部及び制御部と有する。上記記憶部は、複数のフレームで構成される映像データと、上記複数のフレーム間の変化量を示す変化量データとを記憶する。上記再生部は、上記映像データを、上記フレーム間の変化量が大きいほど低い再生速度で再生する。上記出力部は、上記再生された映像データを出力する。上記操作受付部は、上記映像データの出力中に任意の再生点を指定するユーザの操作を受け付ける。上記制御部は、上記操作が受け付けられたときに、上記再生点を含む複数のフレームからなる区間データを、当該区間データの時間長が上記再生点における上記再生速度が大きいほど長くなるように抽出する。さらに制御部は、上記映像データを、当該抽出された区間データ単位で再生するように上記再生部を制御する。
【００１０】
これにより電子機器は、フレーム間の変化量が大きいほど低い速度で映像データを再生することで、プレビュー効率を向上させるとともに、再生中に任意の再生点が指定されたときには、上記再生速度が大きいほど長くなる区間データを抽出することで、後に編集対象となる区間データを、変化量に応じた適切な時間長で抽出することができる。ここで再生速度が大きいほど区間データの時間長が長くされるのは、再生速度が大きい場合には、映像の変化量が小さいため、ユーザが所望の画像を見つけるには比較的多くのフレームを確認する必要がある一方、再生速度が小さい場合には、映像の変化量が大きいため、フレーム数が少なくても、ユーザが所望の画像をピンポイントで見つけやすいからである。
【００１１】
上記制御部は、上記映像データにおける当該区間データの位置及び上記時間長を示し当該区間データを再生させるための操作の対象となるマーカー画像を出力するように上記出力部を制御してもよい。
【００１２】
これによりユーザは、マーカー画像により、区間データの位置及び時間長を把握できるとともに、区間データを容易に再生させることができる。
【００１３】
上記制御部は、上記区間データから、複数のフレームを、上記変化量が大きいほどフレーム間隔が小さくなるように抽出し、当該抽出された各フレームの各サムネイル画像を上記マーカー画像とともに出力するように上記出力部を制御してもよい。
【００１４】
これにより電子機器は、区間データの内容をユーザにサムネイルで確認させることができ、しかも、当該サムネイルを区間データの変化量が大きいほど小さいフレーム間隔で抽出することで、ユーザが重要なシーンを見逃すのを極力防ぐことができる。
【００１５】
上記制御部は、上記マーカー画像を対象とした操作が受け付けられたときに、当該マーカー画像が示す区間データの各フレームを再生するように上記再生部を制御してもよい。またこれとともに制御部は、当該区間データから抽出された上記各サムネイル画像を出力するように上記出力部を制御してもよい。
【００１６】
これによりユーザは、マーカー画像を選択することで、区間データの映像を閲覧できるとともに、サムネイル画像により当該区間データに含まれる画像を容易に把握することができるため、当該区間データから、編集対象となる特定の画像をより容易に見つけることができる。
上記制御部は、上記区間データに含まれる各フレームのうち、開始点、中間点及び終了点にそれぞれ位置する第１、第２及び第３のフレームを抽出し、上記第１のフレームと上記第２のフレームとの間の第１の変化量と、上記第２のフレームと上記第３のフレームとの間の第２の変化量のうち、大きい方の変化量が算出された２つのフレームの中間点に位置する第４のフレームを抽出し、上記抽出された第１、第２、第３及び第４のフレームの各サムネイル画像を生成してもよい。
【００１７】
これにより電子機器は、区間データの開始点、中間点及び終了点の各フレームに加えて、変化量が大きいフレーム間からさらにフレームを抽出してそれらのサムネイル画像を生成することで、変化量の大きいシーンのサムネイル画像をより多く出力することができる。
【００１８】
また上記制御部は、上記区間データから、所定の変化量毎に複数のフレームを抽出し、当該抽出された各フレームのサムネイル画像を生成してもよい。
【００１９】
これにより電子機器は、区間データから、等しい変化量毎にサムネイル画像を生成することで、出力されるサムネイル画像間の変化量にばらつきが生じるのを防ぐことができる。
【００２０】
上記制御部は、上記出力された複数のサムネイル画像のうち隣接する２つのサムネイル画像の境界に対して操作が受け付けられた場合に、当該隣接する２つのサムネイル画像の元となる２つのフレームの間に位置するフレームのサムネイル画像を出力するように上記出力部を制御してもよい。
【００２１】
これにより電子機器は、当初出力されたサムネイル画像の中にユーザの所望の画像が存在しなかった場合でも、２つのサムネイル画像の間に位置するサムネイル画像をさらに出力することで、ユーザの所望の画像にアクセスさせることができる。
【００２２】
本発明の他の形態に係る映像編集方法は、複数のフレームで構成される映像データと、上記複数のフレーム間の変化量を示す変化量データとを記憶することを含む。上記映像データは、上記フレーム間の変化量が大きいほど低い再生速度で再生される。上記再生された映像データは出力される。上記映像データの出力中に任意の再生点を指定するユーザの操作が受け付けられた場合には、上記再生点を含む複数のフレームからなる区間データが、当該区間データの時間長が上記再生点における上記再生速度が大きいほど長くなるように抽出される。上記映像データは、上記抽出された区間データ単位で再生される。
【００２３】
本発明のまた別の形態に係るプログラムは、電子機器に、記憶ステップ、第１の再生ステップ、出力ステップ、操作受付ステップ、抽出ステップ及び第２の再生ステップを実行させる。上記記憶ステップでは、複数のフレームで構成される映像データと、上記複数のフレーム間の変化量を示す変化量データとが記憶される。上記第１の再生ステップでは、上記映像データが、上記フレーム間の変化量が大きいほど低い再生速度で再生される。上記出力ステップでは、上記再生された映像データが出力される。上記操作受付ステップでは、上記映像データの出力中に任意の再生点を指定するユーザの操作が受け付けられる。上記抽出ステップでは、上記操作が受け付けられたときに、上記再生点を含む複数のフレームからなる区間データが、当該区間データの時間長が上記再生点における上記再生速度が大きいほど長くなるように抽出される。上記第２の再生ステップでは、上記映像データが、上記抽出された区間データ単位で再生される。
【発明の効果】
【００２４】
以上説明したように、本発明によれば、映像データのプレビュー効率を向上させるとともに、当該映像データから、編集作業に有効な区間データを抽出することができる。
【図面の簡単な説明】
【００２５】
【図１】本発明の一実施形態に係る映像編集装置のハードウェア構成を示す図である。
【図２】本発明の一実施形態に係る映像編集装置の機能ブロック（ソフトウェア構成）を示した図である。
【図３】本発明の一実施形態に係る映像編集装置が表示可能なＧＵＩの表示例を示した図である。
【図４】本発明の一実施形態に係る映像編集装置の動作の流れの概要を示したフローチャートである。
【図５】本発明の一実施形態に係る映像編集装置によるプレビュー速度の設定手法を概念的に示した図である。
【図６】本発明の一実施形態におけるプレビュー速度とマーカー幅との関係を示す関数データの例を示した図である。
【図７】本発明の一実施形態におけるプレビュー映像の変化量とマーカー画像Ｍの設定幅との関係を示した図である。
【図８】本発明の一実施形態におけるサムネイル画像の第１の取得方法の流れを示したフローチャートである。
【図９】本発明の一実施形態におけるサムネイル画像の第１の取得方法における処理の概要を示した図である。
【図１０】本発明の一実施形態におけるサムネイル画像の第２の取得方法の流れを示したフローチャートである。
【図１１】本発明の一実施形態におけるサムネイル画像の第２の取得方法における処理の概要を示した図である。
【図１２】本発明の他の実施形態におけるサムネイル画像の表示例を示した図である。
【発明を実施するための形態】
【００２６】
以下、図面を参照しながら、本発明の実施形態を説明する。
【００２７】
［映像編集装置のハードウェア構成］
図１は、本発明の一実施形態に係る映像編集装置のハードウェア構成を示す図である。当該映像編集装置１００は例えばテレビジョン放送用や映画用の映像を編集する業務用のものであるが、もちろん、民生用であっても構わない。
【００２８】
同図に示すように、映像編集装置１００は、ＣＰＵ（Central Processing Unit）１１、ＲＯＭ１２（Read Only Memory）、ＲＡＭ（Random Access Memory）１３、入出力インタフェース１５、及び、これらを互いに接続するバス１４を備える。すなわち、映像編集装置１００のハードウェア構成は、汎用のＰＣ（Personal Computer）と同様である。
【００２９】
ＣＰＵ１１は、必要に応じてＲＡＭ１３等に適宜アクセスし、各種演算処理を行いながら映像編集装置１００の各ブロック全体を統括的に制御する。ＲＯＭ１２は、ＣＰＵ１１に実行させるＯＳ、プログラムや各種パラメータなどのファームウェアが固定的に記憶されている不揮発性のメモリである。ＲＡＭ１３は、ＣＰＵ１１の作業用領域等として用いられ、ＯＳ、実行中の各種アプリケーション、処理中の各種データを一時的に保持する。
【００３０】
入出力インタフェース１５には、表示部１６、入力部１７、記憶部１８、通信部１９、ドライブ部２０等が接続される。
【００３１】
表示部１６は、例えば液晶、ＥＬ（Electro-Luminescence）、ＣＲＴ（Cathode Ray Tube）等を用いた表示デバイスである。当該表示部１６は、映像編集装置１００に内蔵されていてもよいし、映像編集装置１００に外部接続されていてもよい。
【００３２】
入力部１７は、例えばマウス等のポインティングデバイス、キーボード、タッチパネル、その他の操作装置である。入力部１７がタッチパネルを含む場合、そのタッチパネルは表示部１６と一体となり得る。
【００３３】
記憶部１８は、例えばＨＤＤ（Hard Disk Drive）や、フラッシュメモリ、その他の固体メモリ等の不揮発性メモリである。当該記憶部１８には、上記ＯＳや各種アプリケーション、各種データが記憶される。特に本実施形態では、記憶部１８には、記録媒体５から取り込まれた映像データや、当該映像データ編集するための映像編集アプリケーションも記憶される。
【００３４】
当該映像編集アプリケーションは、映像データを、当該映像データ中の映像の変化量に応じた速度でプレビューさせることができる。記憶部１８には、映像データの開始点から終了点に渡る変化量データも記憶される。
【００３５】
ドライブ部２０は、例えばメモリカード、光ディスク、磁気記録テープ等、リムーバブルの記録媒体５を駆動し、当該記録媒体５に記録された映像データの読み出し及び当該記録媒体５へのデータの書き込みを行う。またドライブ部２０は、映像データを入力するための例えばＵＳＢ（Universal Serial Bus）等の外部インタフェースであってもよい。
【００３６】
通信部１９は、ＬＡＮ（Local Area Network）、ＷＡＮ（Wide Area Network）等に接続可能な、他の装置と通信するためのＮＩＣ（Network Interface Card）等である。通信部１９は、有線及び無線のどちらを利用して通信するものであってもよい。上記映像データは、当該通信部１９により、例えば中継現場等のビデオカメラから受信されるものであってもよい。
【００３７】
［映像編集装置のソフトウェア構成］
図２は、上記映像編集装置１００の機能ブロック（映像編集アプリケーションのソフトウェア構成）を示した図である。同図に示すように、映像編集装置１００は、変化量取得部２１、再生部２２、プレビューモニタ２３、プレビュー速度設定部２４、マーカー設定部２５、マーカーコントローラ２６、マーカー表示部２７、サムネイル画像取得部２８及びサムネイル画像表示部２９を有する。
【００３８】
変化量取得部２１は、記録媒体５から読み出された映像データから、開始点（開始フレーム）から終了点（終了フレーム）に渡る映像の変化量データを取得し、記憶部１８または記録媒体５に記憶する。当該変化量データは、例えば、ある時間Ｔの画像（フレーム）Ａと、時間Ｔ−ｎ（ｎ≧１）の画像Ｂとの間で、同一画素位置間の画素値の差分二乗の総和を示す値として算出される。また、映像データがＭＰＥＧ（Moving Picture Experts Group）等のフォーマットで圧縮されている場合には、上記変化量データは、動き補償予測時の予測残差を用いて算出されてもよい。
【００３９】
プレビュー速度設定部２４は、上記記憶部１８に記憶された変化量データに応じて、映像データのプレビュー時における各フレームのプレビュー速度を設定する。
【００４０】
再生部２２は、上記プレビュー速度設定部２４により設定された速度で、映像データの各フレームを再生する。
【００４１】
プレビューモニタ２３は、再生部２２により再生されたプレビュー映像を所定領域内に表示する。
【００４２】
マーカー設定部２５は、プレビュー再生時に、ユーザがマーカーコントローラ２６により指定した位置を含む、プレビュー速度に応じた継続時間長のマーカーを設定する。換言すると、マーカー設定部２５は、上記ユーザにより指定された位置を含む映像区間のデータ（区間データ）を映像データから抽出する。マーカー表示部２７は、上記マーカー設定部２５により設定されたマーカー（区間データ）を、映像データを示すタイムライン上でマーカー画像として表示する。当該タイムライン上でマーカー画像が選択された場合には、上記区間データが再生される。
【００４３】
サムネイル画像取得部２８は、上記区間データの始点から終点に渡る範囲の複数のフレームの各サムネイル画像を取得する。
【００４４】
サムネイル画像表示部２９は、上記サムネイル画像取得部２８により取得された各サムネイル画像を表示する。
【００４５】
［映像編集装置のＧＵＩ構成］
図３は、上記映像編集装置１００が上記映像編集アプリケーションにより表示可能なＧＵＩ（Graphical User Interface）（以下、映像編集インタフェースと称する）の表示例を示した図である。
【００４６】
同図に示すように、映像編集インタフェース３０は、上述したプレビューモニタ２３、サムネイル画像表示部２９、マーカー表示部２７及びマーカーコントローラ２６に加え、プレビュースタートボタン３３を有する。当該プレビュースタートボタン３３は、映像データのプレビューを開始させるためのボタンである。
【００４７】
サムネイル画像表示部２９には、複数枚のサムネイル画像Ｔｈの表示領域が設けられている。後述するが、当該表示領域の数（サムネイル画像Ｔｈの枚数）は、所定枚数に固定することも可能であるが、本実施形態においては、区間データの変化量に応じて可変とされる。
【００４８】
マーカー表示部２７は、映像データのタイムラインを示す横長の矩形領域として表示される。当該タイムライン上でマーカーが設定された区間を示す位置には、矩形状のマーカー画像Ｍが表示される。
【００４９】
上記マーカーコントローラ２６は、マーカーボタン３１と、例えばその両端に表示されるマーカー選択ボタン３２とを有する。プレビューモニタ２３上で映像データがプレビュー再生されている最中に、ユーザが例えばマウスのポインタ等を用いてマーカーボタン３１を押下すると、マーカー表示部２７上の、マーカーボタン３１が押下された時の再生点を含む区間データの位置に、新たにマーカー画像Ｍが表示される。すなわちマーカー画像Ｍは、映像データにおける上記区間データの位置及び時間長を示しており、当該区間データを再生させるための操作の対象となる画像である。マーカー画像Ｍの時間方向における長さ、すなわち区間データの継続時間長は、後述するように、上記マーカーボタン３１が押下された時のプレビュー速度に応じて決定される。
【００５０】
マーカー選択ボタン３２は、マーカー表示部２７に表示された複数のマーカー画像Ｍの中からユーザの所望のマーカー画像Ｍ（区間データ）を選択するためのボタンである。上記マーカー表示部２７に新たにマーカー画像Ｍが表示された場合、または、既に表示されたマーカー画像Ｍが上記マーカー選択ボタン３２により選択された場合、上記サムネイル画像表示部２９に、当該区間データに含まれるフレームの複数のサムネイル画像Ｔｈが表示される。右側のマーカー選択ボタン３２はタイムライン上でより後（右側）のマーカー画像Ｍを選択するためのものであり、左側のマーカー選択ボタン３２はタイムライン上でより前（左側）のマーカー画像Ｍを選択するためのものである。区間データに含まれる複数のフレームから、サムネイル画像Ｔｈの基になるフレームを選択する手法については後述する。
【００５１】
［映像編集装置の動作］
次に、以上のように構成された映像編集装置１００の動作について説明する。以降の説明においては、映像編集装置１００のＣＰＵ１１を主な動作主体として説明するが、この動作は、映像編集装置１００のその他のハードウェア、上記映像編集アプリケーション及びその他のソフトウェアとも協働して行われる。
【００５２】
（全体動作の概要）
図４は、本実施形態に係る映像編集装置１００の動作（マーカー画像及びサムネイル画像の表示処理）の流れの概要を示したフローチャートである。
【００５３】
同図に示すように、映像編集装置１００のＣＰＵ１１はまず、例えば所定のプレビューリスト上でのユーザの選択操作に基づいて、１つのプレビュー映像を選択する（ステップ４１）。
【００５４】
続いてＣＰＵ１１は、記憶部１８または記録媒体５から、上記選択されたプレビュー映像の変化量データを取得する（ステップ４２）。
【００５５】
続いてＣＰＵ１１は、上記映像編集インタフェース３０を表示して、プレビューモニタ２３内で、上記選択されたプレビュー映像の再生を開始するとともに（ステップ４３）、当該プレビュー映像の開始点のフレームを処理対象フレームに設定する（ステップ４４）。
【００５６】
続いてＣＰＵ１１は、上記対象フレームについて、上記取得した変化量データに基づいてプレビュー速度を設定する（ステップ４５）。
【００５７】
図５は、当該プレビュー速度の設定手法を概念的に示した図である。同図に示すように、ＣＰＵ１１は、プレビュー映像のうち変化量が大きいフレームについてはそのプレビュー速度を低くし、変化量が小さいフレームについてはそのプレビュー速度を高くする。例えば、上記記憶部１８には変化量データとプレビュー速度との関係を示す関数データが記憶されており、ＣＰＵ１１は、当該関数データを参照して、対象フレームの変化量からそのプレビュー速度を導き出し、当該プレビュー速度で当該対象フレームを再生させる。
【００５８】
続いてＣＰＵ１１は、映像編集インタフェース３０上で、ユーザにより上記マーカーボタン３１が押下されたか否かを判断する（ステップ４６）。
【００５９】
マーカーボタン３１が押下されていないと判断した場合（Ｎｏ）、ＣＰＵ１１は、現在の対象フレームがプレビュー映像の終了点のフレームであるか否かを判断する（ステップ４９）。対象フレームが終了点のフレームでないと判断した場合（Ｎｏ）、ＣＰＵ１１は、対象フレームを次のフレームとして（ステップ５０）、同様にそのフレームについてプレビュー速度を設定してそのプレビュー速度で再生させる（ステップ４５）。
【００６０】
マーカーボタン３１が押下されたと判断された場合（Ｙｅｓ）、ＣＰＵ１１は、マーカー画像Ｍの幅（横方向の長さ）、すなわち区間データの継続時間長を設定する（ステップ４７）。
【００６１】
当該マーカー画像Ｍの幅（以下、マーカー幅）は、上記設定されたプレビュー速度に応じて設定される。記憶部１８には、当該プレビュー速度とマーカー幅との関係を示す関数データが記憶されており、ＣＰＵ１１は当該関数データを参照してマーカー幅を決定する。
【００６２】
図６は、当該プレビュー速度とマーカー幅との関係を示す関数データの例を示した図である。ＣＰＵ１１は、マーカーボタン３１が押下された時間Ｔから、それ以前の時間Ｔ−ｎ（ｎはプレビュー速度等に依存しない任意の時間）内の最大プレビュー速度Ｖｍａｘを算出し、同図に示すような一次関数を基に、速度Ｖｍａｘからマーカー幅を決定する。すなわち、同図に示すように、プレビュー速度が大きいほど、マーカー幅も長くなる。ここで用いられる関数は一次関数に限られず、ｎ次関数（ｎ＞１）であってもよい。
【００６３】
図７は、プレビュー映像の変化量とマーカー画像Ｍの設定幅（区間データの継続時間長）との関係を示した図である。同図に示すように、マーカー画像Ｍ（Ｍ１〜Ｍ３）の幅は、映像の変化量が大きいほど短く、小さいほど長く設定される。
【００６４】
また同図に示すように、上記マーカーボタン３１が押下された時間Ｔ（Ｔ１〜Ｔ３）は、マーカー画像Ｍ（Ｍ１〜Ｍ３）に対応する区間データの終点とされる。始点は、上記決定されたマーカー幅によって決まる。ユーザが実際にプレビュー映像を閲覧中に、所望のシーンを見つけ、マーカーボタン３１を押下するまでには若干のタイムラグがあるが、上記時間Ｔが区間データの終点とされることで、実際にユーザが見つけた所望のシーンが区間データに収まる可能性が極めて高くなる。しかし、時間Ｔが区間データの始点や中間点とされても構わない。
【００６５】
マーカー幅が設定されると、ＣＰＵ１１は、当該マーカー幅に対応する区間データについて、複数のサムネイル画像を取得する（ステップ４８）。ここで、区間データの開始時間と終了時間との間を均等に分割してサムネイル画像Ｔｈを取得するという方法も考えられるが、この方法では、映像の変化の小さな部分も大きな部分も均等に扱われてしまう。その結果、相対的に変化の小さい部分のサムネイル画像Ｔｈの枚数が多くなり、ユーザの所望の画像を見つけ出す際の効率が悪くなる。
【００６６】
そこで、本実施形態においては、ＣＰＵ１１は、以下に示す２つの方法のうちいずれかを用いて、区間データからサムネイル画像Ｔｈを取得する。
【００６７】
（サムネイル画像の第１の取得方法）
図８は、当該サムネイル画像Ｔｈの第１の取得方法における処理の流れを示したフローチャートであり、図９は、当該サムネイル画像Ｔｈの第１の取得方法における処理の概要を示した図である。この手法は、区間データ内の変化量の大きい部分を複数の区間に分割していき、分割点のフレームをサムネイル画像Ｔｈとする手法である。
【００６８】
図８に示すように、当該第１の方法において、ＣＰＵ１１はまず、取得すべきサムネイル画像Ｔｈの枚数を設定する（ステップ８１）。上述したように、当該サムネイル画像Ｔｈの枚数の枚数は、区間データの変化量に応じて可変される。
【００６９】
例えば、区間データの変化量が大きい場合には、その区間データ内の各画像は時間毎に大きく異なったものとなるため、サムネイル画像Ｔｈのサイズが小さくてもユーザはそれらの違いを容易に判別することができる。したがってこの場合には、ＣＰＵ１１は、サムネイル画像Ｔｈの枚数を多く設定できる。これに対して、区間データの変化量が小さい場合には、区間データ内の各画像は似通ったものとなるため、サムネイル画像Ｔｈのサイズがある程度大きくないとユーザはそれらの違いを容易に判別することはできない。したがってこの場合には、ＣＰＵ１１は、サムネイル画像Ｔｈのサイズを大きくしてその枚数を少なく設定する。ここで区間データ内の画像の変化量としては、その区間における変化量の最大値や平均値等が用いられる。
【００７０】
続いてＣＰＵ１１は、区間データの先頭フレーム、中間フレーム、終了フレームをそれぞれ参照フレーム群に追加する（ステップ８２）。
【００７１】
続いてＣＰＵ１１は、上記参照フレーム群のうち時間的に隣接する２つの参照フレーム間の変化量をそれぞれ取得する（ステップ８３）。図９の例では、同図（Ａ）に示すように、ＣＰＵ１１は、先頭フレームＦｒ０と中間フレームＦｒ１との間の変化量、すなわち両フレーム間の差分ＦｒＤｉｆｆ０１と、中間フレームＦｒ１と終了フレームＦｒ２との間の変化量、すなわち両フレーム間の差分ＦｒＤｉｆｆ１２とをそれぞれ取得する。
【００７２】
ここで上記差分ＦｒＤｉｆｆ０１及び差分ＦｒＤｉｆｆ１２は、例えば、２枚のフレーム間で同一画素位置毎に算出される画素差分を自乗したものの総和により算出される。
【００７３】
続いてＣＰＵ１１は、上記参照フレーム間の差分同士（図９の例では差分ＦｒＤｉｆｆ０１と差分ＦｒＤｉｆｆ１２）を比較することで、隣接する参照フレームで挟まれる各区間の変化量（差分）の最大値（ここでは、２つの差分のうち大きい方の差分）を取得する（ステップ８４）。
【００７４】
続いてＣＰＵ１１は、隣接する参照フレームで挟まれる各区間のうち、上記変化量の最大値を有する区間の中間時間のフレームを参照フレーム群に追加する（ステップ８５）。図９の例において、上記差分ＦｒＤｉｆｆ０１と差分ＦｒＤｉｆｆ１２とでは差分ＦｒＤｉｆｆ０１の方が大きいとすると、同図（Ｂ）に示すように、ＣＰＵ１１は、先頭フレームＦｒ０と中間フレームＦｒ１の中間時間のフレームＦｒ３を参照フレーム群へ追加する。すなわちＣＰＵ１１は、先頭フレームＦｒ０と中間フレームＦｒ１との間の区間を２つの区間へと分割する。
【００７５】
続いてＣＰＵ１１は、参照フレーム群に含まれるフレームの枚数が上記設定枚数になったか否かを判断し（ステップ８６）、参照フレーム数が設定枚数に満たない場合（Ｎｏ）には、上記ステップ８３以降の処理を繰り返す。
【００７６】
すなわち、ＣＰＵ１１は、上記追加した参照フレームを含む参照フレーム群のうち隣接する参照フレーム間の変化量（差分）を取得し、それらのうち最大値を取得し、最大値を有する参照フレーム間の中間時間のフレームを参照フレームへ追加する。
【００７７】
図９の例では、同図（Ｂ）に示すように、ＣＰＵ１１は、先頭フレームＦｒ０と上記追加したフレームＦｒ３との差分ＦｒＤｉｆｆ０３と、フレームＦｒ３と上記中間フレームＦｒ１との差分ＦｒＤｉｆｆ３１と、上記差分ＦｒＤｉｆｆ１２とをそれぞれ比較し、最大値を取得する。そしてＣＰＵ１１は、それらのうち最大値を有する参照フレーム区間の中間点のフレームを参照フレーム群へ追加する。
【００７８】
ＣＰＵ１１は、以上のフレーム追加（区間分割）処理を、参照フレーム群内のフレームの枚数が上記設定枚数となるまで繰り返し、設定枚数となった場合（ステップ８６のＹｅｓ）、設定枚数の参照フレームからそれぞれサムネイル画像Ｔｈが生成してサムネイル画像表示部２９に表示する（ステップ８７）。当該第１の方法におけるサムネイル画像Ｔｈの最小時間間隔は１フレーム時間となる。
【００７９】
（サムネイル画像の第２の取得方法）
図１０は、当該サムネイル画像Ｔｈの第２の取得方法における処理の流れを示したフローチャートであり、図１１は、当該サムネイル画像Ｔｈの第２の取得方法における処理の概要を示した図である。この手法は、区間データから、所定の変化量毎にサムネイル画像Ｔｈを取得する方法である。
【００８０】
図１０に示すように、当該第２の方法において、ＣＰＵ１１はまず、上記第１の方法と同様に、取得するサムネイル画像Ｔｈの枚数を設定する（ステップ１０１）。
【００８１】
続いてＣＰＵ１１は、区間データの開始フレームから終了フレームまでの間の変化量Ｄｉｆｆｎの総和ΣＤｉｆｆを算出する（ステップ１０２）。当該ΣＤｉｆｆは上記記憶部１８または記録媒体５に記憶された変化量データを基に算出される。
【００８２】
続いてＣＰＵ１１は、ΣＤｉｆｆ／（取得するサムネイル数−１）を変化量に関する閾値Σｔｈとして設定する（ステップ１０３）。当該閾値Σｔｈは、後述するように、区間データが分割された分割区間がそれぞれ有するべき変化量である。
【００８３】
続いてＣＰＵ１１は、区間データの開始フレームを対象フレームとして設定し（ステップ１０４）、当該対象フレームのサムネイル画像Ｔｈを取得（生成）する（ステップ１０５）。
【００８４】
続いてＣＰＵ１１は、取得したサムネイル画像Ｔｈの枚数が、上記設定枚数に達したか否かを判断する（ステップ１０６）。
【００８５】
サムネイル画像Ｔｈの枚数が設定枚数に達していないと判断された場合（Ｎｏ）、ＣＰＵ１１は、分割区間の変化量の総和を０に初期化し（ステップ１０７）、対象フレームの変化量を、分割区間の総和として加算する（ステップ１０８）。
【００８６】
続いてＣＰＵ１１は、上記加算した分割区間の総和が上記閾値Σｔｈ以上となったか否かを判断する（ステップ１１０）。当該総和が閾値Σｔｈ未満であると判断した場合（Ｎｏ）、ＣＰＵ１１は、対象フレームを所定時間（Ｎ）経過後のフレームとし、当該対象フレームの変化量を上記分割区間の総和に加算する（ステップ１０８）。当該Ｎは、１フレーム時間でもよいし、数フレーム時間、数十フレーム時間等であっても構わない。当該Ｎが短かいほど、サムネイル画像取得のための演算量は大きくなる。
【００８７】
ＣＰＵ１１はこの処理を、分割区間の総和が上記閾値Σｔｈ以上となるまで繰り返す。分割区間の総和が閾値Σｔｈ以上となった場合（ステップ１１０のＹｅｓ）、ＣＰＵ１１は、その時点の対象フレームのサムネイル画像Ｔｈを取得する（ステップ１０５）。
【００８８】
ＣＰＵ１１は、以上の処理を、サムネイル画像Ｔｈの総数が設定枚数となるまで繰り返し、設定枚数に到達した場合には（ステップ１０６のＹｅｓ）、取得したサムネイル画像Ｔｈをサムネイル画像表示部２９に表示する（ステップ１１１）。
【００８９】
以上の処理により、図１１に示すように、例えばサムネイル画像の枚数が７枚に設定された場合、区間データは６つの分割区間に分割され、各分割区間の変化量の総和はそれぞれほぼΣｔｈに等しくなる。すなわち、区間データが変化量について均一に所定区間に分割され、その分割点のフレームがサムネイル画像Ｔｈとされる。当該第２の方法におけるサムネイル画像Ｔｈの最小時間間隔は上記Ｎとなる。
【００９０】
図４に戻り、ＣＰＵ１１は、対象フレームがプレビュー映像の終了フレームとなるまで、またマーカーボタン３１が押下される度に、以上の処理を繰り返す（ステップ４９）。
【００９１】
以上の処理によりマーカー画像Ｍ（区間データ）が設定された後に、マーカー選択ボタン３２によりマーカー画像Ｍを選択する操作が入力されると（ステップ５１のＹｅｓ）、ＣＰＵ１１は、当該マーカー画像Ｍに対応する区間データをプレビューモニタ２３で繰り返し再生させるとともに、上記サムネイル画像表示部２９に、当該区間データの変化量に応じた枚数のサムネイル画像Ｔｈを表示させる（ステップ５２）。これによりユーザは、プレビューモニタ２３の映像とともにサムネイル画像Ｔｈを確認することで、区間データ中から、例えば映像や音声のエフェクト処理やテロップ挿入処理等の編集対象となる所望のフレームを効率よく選定することができる。
【００９２】
［まとめ］
以上説明したように、本実施形態によれば、映像編集装置１００は、映像データの変化量が大きいフレームは低速に、変化量が小さいフレームは高速にプレビュー再生することで、ユーザのプレビュー効率を向上させることができる。また映像編集装置１００は、プレビュー中にマーカーボタン３１が押下された場合、変化量に応じた継続時間長の区間データを抽出し、それに対応するマーカー画像Ｍを表示するとともに、当該区間データ内のフレームのうち所定枚数のフレームのサムネイル画像Ｔｈを表示する。これにより映像編集装置は、変化量の大きいフレームを重点的に閲覧させることで、ユーザが所望のフレームを見つけ出す作業をより効率化することができるとともに、ユーザがプレビュー再生時に見逃した画像があったとしてもそれを容易に確認させることができる。
【００９３】
［変形例］
本発明は上述の実施形態にのみ限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々変更され得る。
【００９４】
上述の実施形態においては、サムネイル画像表示部２９に表示されるサムネイル画像Ｔｈは、一旦表示されれば、他のマーカー画像Ｍが選択されない限り変化しなかった。しかし、サムネイル画像表示部２９に表示される所定枚数のサムネイル画像Ｔｈの中に、必ずしもユーザの所望の画像が存在するとは限らない。そこで、映像編集装置１００は、当該表示されるサムネイル画像Ｔｈを、ユーザの操作に基づいて変化させてもよい。
【００９５】
図１２は、当該サムネイル画像Ｔｈを変化させる際の映像編集インタフェース３０の表示例を示した図である。同図（Ａ）に示すように、例えばポインタＰ等により、サムネイル画像表示部２９に表示された複数のサムネイル画像Ｔｈのうち、隣接する２枚のサムネイル画像Ｔｈの間の領域を指定する操作（例えばクリック）が行われたとする。
【００９６】
この場合、ＣＰＵ１１は、同図（Ｂ）に示すように、２つの操作対象領域の左右の２枚のサムネイル画像Ｔｈのうち左側のサムネイル画像Ｔｈ（同図Ｆｒ０）を開始時間、右側のサムネイル画像Ｔｈ（同図Ｆｒ１）を終了時間とする区間データが新たに設定されたものとして、当該区間データ内のサムネイル画像Ｔｈ（Ｆｒ０、Ｆｒ５，Ｆｒ６、Ｆｒ７、Ｆｒ１）を新たに取得してサムネイル画像表示部２９に表示する。この場合のサムネイル画像Ｔｈの取得方法としては、上記第１の取得方法及び第２の取得方法のいずれが用いられてもよい。ユーザは、この操作を繰り返すことで、所望の画像を容易に探し出すことができる。
【００９７】
また、上述の実施形態において、サムネイル画像表示部２９に表示された各サムネイル画像Ｔｈが例えばクリック等により選択された場合には、当該選択されたサムネイル画像Ｔｈに対応するフレームを開始フレームとして、上記プレビューモニタ２３上で区間データが再生されてもよい。すなわち、各サムネイル画像Ｔｈが、マーカー画像Ｍよりもさらに詳細な再生ポイントの指示子として機能してもよい。
【００９８】
上述の実施形態においては、変化量取得部２１は映像編集装置１００の内部ブロックとして設けられ、映像編集装置１００が映像データから変化量を取得していた。しかし、映像の変化量に関するデータは、映像編集装置１００とは別の機器により予め取得されて記録媒体５に映像データとともに記録され、映像編集装置１００へ入力されてもよい。
【００９９】
上述の実施形態において、映像編集インタフェース３０には、区間データに応じたサムネイル画像Ｔｈが表示されたが、当該サムネイル画像Ｔｈの表示は必須ではなく、マーカー画像Ｍが選択された場合には、当該マーカー画像Ｍに対応する区間データがプレビューモニタ２３上で再生されるのみであっても構わない。
【０１００】
上述の実施形態において映像編集装置１００により実行される処理は、例えばＰＣ、テレビジョン装置、記録再生装置、ゲーム機器、デジタルスチルカメラ、デジタルビデオカメラ、携帯電話機、スマートフォン、ＰＤＡ（Personal Digital Assistants）、電子ブック端末、電子辞書、携帯型ＡＶ機器等、その他のあらゆる電子機器でも同様に実行可能である。
【符号の説明】
【０１０１】
１１…ＣＰＵ
１６…表示部
１７…入力部
１８…記憶部
２１…変化量取得部
２２…再生部
２３…プレビューモニタ
２４…プレビュー速度設定部
２５…マーカー設定部
２６…マーカーコントローラ
２７…マーカー表示部
２８…サムネイル画像取得部
２９…サムネイル画像表示部
３０…映像編集インタフェース
３１…マーカーボタン
３２…マーカー選択ボタン
１００…映像編集装置
【技術分野】
【０００１】
本発明は、映像データを編集することが可能な電子機器、当該電子機器における映像編集方法及びプログラムに関する。
【背景技術】
【０００２】
従来から、映像データを編集する際の作業効率を高めるための技術が存在する。例えば下記特許文献１には、映像のプレビュー再生時に、映像の変化度合いが小さい映像については相対的に高速で再生し、変化度合いが大きい映像については相対的に低速で再生することが記載されている。
【０００３】
しかしながら、上記特許文献１に記載の技術では、ユーザは編集対象となる映像区間（シーン）を探し出しやすくはなるものの、探し出したシーンをマーキングしておき、後から当該シーンのみを再度再生させることはできない。
【０００４】
一方、映像中の所定の映像区間データを抽出する技術は、例えば下記特許文献２に開示されている。当該特許文献２では、撮影された映像データに対してユーザが開始位置及び終了位置を指示することで所定の場面が抽出される。また当該特許文献には、開始位置から終了位置までの時間が予め設定され、一定時間毎に開始位置及び終了位置が自動的に設定されてもよいことも記載されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００８−２２７７４４号公報
【特許文献２】特開２００９−２２５３６１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、上記特許文献１に記載の技術に上記特許文献２に記載の技術を適用した場合、ユーザは、変化度合いに応じてプレビュー速度が不規則に変化する映像データ上で、抽出対象のシーンの開始位置及び終了位置を指示する必要があるため、当該指示のための操作が極めて煩雑になる。
【０００７】
また、開始位置から終了位置までの時間が予め設定されている場合、映像の変化度合い、すなわち映像のプレビュー速度の変化に関わらず一定の長さの区間のデータが抽出されることになる。したがって、変化度合いの小さいシーンについては十分な区間のデータが抽出されず、また変化度合いの大きいシーンについては無駄な区間のデータまで抽出されてしまうことが考えられ、結果として、その後の編集作業に有効な、ユーザの所望の区間データが抽出されない可能性がある。
【０００８】
以上のような事情に鑑み、本発明の目的は、映像データのプレビュー効率を向上させるとともに、当該映像データから、編集作業に有効な区間データを抽出することが可能な電子機器、映像編集方法及びプログラムを提供することにある。
【課題を解決するための手段】
【０００９】
上記目的を達成するため、本発明の一形態に係る電子機器は、記憶部、再生部、出力部、操作受付部及び制御部と有する。上記記憶部は、複数のフレームで構成される映像データと、上記複数のフレーム間の変化量を示す変化量データとを記憶する。上記再生部は、上記映像データを、上記フレーム間の変化量が大きいほど低い再生速度で再生する。上記出力部は、上記再生された映像データを出力する。上記操作受付部は、上記映像データの出力中に任意の再生点を指定するユーザの操作を受け付ける。上記制御部は、上記操作が受け付けられたときに、上記再生点を含む複数のフレームからなる区間データを、当該区間データの時間長が上記再生点における上記再生速度が大きいほど長くなるように抽出する。さらに制御部は、上記映像データを、当該抽出された区間データ単位で再生するように上記再生部を制御する。
【００１０】
これにより電子機器は、フレーム間の変化量が大きいほど低い速度で映像データを再生することで、プレビュー効率を向上させるとともに、再生中に任意の再生点が指定されたときには、上記再生速度が大きいほど長くなる区間データを抽出することで、後に編集対象となる区間データを、変化量に応じた適切な時間長で抽出することができる。ここで再生速度が大きいほど区間データの時間長が長くされるのは、再生速度が大きい場合には、映像の変化量が小さいため、ユーザが所望の画像を見つけるには比較的多くのフレームを確認する必要がある一方、再生速度が小さい場合には、映像の変化量が大きいため、フレーム数が少なくても、ユーザが所望の画像をピンポイントで見つけやすいからである。
【００１１】
上記制御部は、上記映像データにおける当該区間データの位置及び上記時間長を示し当該区間データを再生させるための操作の対象となるマーカー画像を出力するように上記出力部を制御してもよい。
【００１２】
これによりユーザは、マーカー画像により、区間データの位置及び時間長を把握できるとともに、区間データを容易に再生させることができる。
【００１３】
上記制御部は、上記区間データから、複数のフレームを、上記変化量が大きいほどフレーム間隔が小さくなるように抽出し、当該抽出された各フレームの各サムネイル画像を上記マーカー画像とともに出力するように上記出力部を制御してもよい。
【００１４】
これにより電子機器は、区間データの内容をユーザにサムネイルで確認させることができ、しかも、当該サムネイルを区間データの変化量が大きいほど小さいフレーム間隔で抽出することで、ユーザが重要なシーンを見逃すのを極力防ぐことができる。
【００１５】
上記制御部は、上記マーカー画像を対象とした操作が受け付けられたときに、当該マーカー画像が示す区間データの各フレームを再生するように上記再生部を制御してもよい。またこれとともに制御部は、当該区間データから抽出された上記各サムネイル画像を出力するように上記出力部を制御してもよい。
【００１６】
これによりユーザは、マーカー画像を選択することで、区間データの映像を閲覧できるとともに、サムネイル画像により当該区間データに含まれる画像を容易に把握することができるため、当該区間データから、編集対象となる特定の画像をより容易に見つけることができる。
上記制御部は、上記区間データに含まれる各フレームのうち、開始点、中間点及び終了点にそれぞれ位置する第１、第２及び第３のフレームを抽出し、上記第１のフレームと上記第２のフレームとの間の第１の変化量と、上記第２のフレームと上記第３のフレームとの間の第２の変化量のうち、大きい方の変化量が算出された２つのフレームの中間点に位置する第４のフレームを抽出し、上記抽出された第１、第２、第３及び第４のフレームの各サムネイル画像を生成してもよい。
【００１７】
これにより電子機器は、区間データの開始点、中間点及び終了点の各フレームに加えて、変化量が大きいフレーム間からさらにフレームを抽出してそれらのサムネイル画像を生成することで、変化量の大きいシーンのサムネイル画像をより多く出力することができる。
【００１８】
また上記制御部は、上記区間データから、所定の変化量毎に複数のフレームを抽出し、当該抽出された各フレームのサムネイル画像を生成してもよい。
【００１９】
これにより電子機器は、区間データから、等しい変化量毎にサムネイル画像を生成することで、出力されるサムネイル画像間の変化量にばらつきが生じるのを防ぐことができる。
【００２０】
上記制御部は、上記出力された複数のサムネイル画像のうち隣接する２つのサムネイル画像の境界に対して操作が受け付けられた場合に、当該隣接する２つのサムネイル画像の元となる２つのフレームの間に位置するフレームのサムネイル画像を出力するように上記出力部を制御してもよい。
【００２１】
これにより電子機器は、当初出力されたサムネイル画像の中にユーザの所望の画像が存在しなかった場合でも、２つのサムネイル画像の間に位置するサムネイル画像をさらに出力することで、ユーザの所望の画像にアクセスさせることができる。
【００２２】
本発明の他の形態に係る映像編集方法は、複数のフレームで構成される映像データと、上記複数のフレーム間の変化量を示す変化量データとを記憶することを含む。上記映像データは、上記フレーム間の変化量が大きいほど低い再生速度で再生される。上記再生された映像データは出力される。上記映像データの出力中に任意の再生点を指定するユーザの操作が受け付けられた場合には、上記再生点を含む複数のフレームからなる区間データが、当該区間データの時間長が上記再生点における上記再生速度が大きいほど長くなるように抽出される。上記映像データは、上記抽出された区間データ単位で再生される。
【００２３】
本発明のまた別の形態に係るプログラムは、電子機器に、記憶ステップ、第１の再生ステップ、出力ステップ、操作受付ステップ、抽出ステップ及び第２の再生ステップを実行させる。上記記憶ステップでは、複数のフレームで構成される映像データと、上記複数のフレーム間の変化量を示す変化量データとが記憶される。上記第１の再生ステップでは、上記映像データが、上記フレーム間の変化量が大きいほど低い再生速度で再生される。上記出力ステップでは、上記再生された映像データが出力される。上記操作受付ステップでは、上記映像データの出力中に任意の再生点を指定するユーザの操作が受け付けられる。上記抽出ステップでは、上記操作が受け付けられたときに、上記再生点を含む複数のフレームからなる区間データが、当該区間データの時間長が上記再生点における上記再生速度が大きいほど長くなるように抽出される。上記第２の再生ステップでは、上記映像データが、上記抽出された区間データ単位で再生される。
【発明の効果】
【００２４】
以上説明したように、本発明によれば、映像データのプレビュー効率を向上させるとともに、当該映像データから、編集作業に有効な区間データを抽出することができる。
【図面の簡単な説明】
【００２５】
【図１】本発明の一実施形態に係る映像編集装置のハードウェア構成を示す図である。
【図２】本発明の一実施形態に係る映像編集装置の機能ブロック（ソフトウェア構成）を示した図である。
【図３】本発明の一実施形態に係る映像編集装置が表示可能なＧＵＩの表示例を示した図である。
【図４】本発明の一実施形態に係る映像編集装置の動作の流れの概要を示したフローチャートである。
【図５】本発明の一実施形態に係る映像編集装置によるプレビュー速度の設定手法を概念的に示した図である。
【図６】本発明の一実施形態におけるプレビュー速度とマーカー幅との関係を示す関数データの例を示した図である。
【図７】本発明の一実施形態におけるプレビュー映像の変化量とマーカー画像Ｍの設定幅との関係を示した図である。
【図８】本発明の一実施形態におけるサムネイル画像の第１の取得方法の流れを示したフローチャートである。
【図９】本発明の一実施形態におけるサムネイル画像の第１の取得方法における処理の概要を示した図である。
【図１０】本発明の一実施形態におけるサムネイル画像の第２の取得方法の流れを示したフローチャートである。
【図１１】本発明の一実施形態におけるサムネイル画像の第２の取得方法における処理の概要を示した図である。
【図１２】本発明の他の実施形態におけるサムネイル画像の表示例を示した図である。
【発明を実施するための形態】
【００２６】
以下、図面を参照しながら、本発明の実施形態を説明する。
【００２７】
［映像編集装置のハードウェア構成］
図１は、本発明の一実施形態に係る映像編集装置のハードウェア構成を示す図である。当該映像編集装置１００は例えばテレビジョン放送用や映画用の映像を編集する業務用のものであるが、もちろん、民生用であっても構わない。
【００２８】
同図に示すように、映像編集装置１００は、ＣＰＵ（Central Processing Unit）１１、ＲＯＭ１２（Read Only Memory）、ＲＡＭ（Random Access Memory）１３、入出力インタフェース１５、及び、これらを互いに接続するバス１４を備える。すなわち、映像編集装置１００のハードウェア構成は、汎用のＰＣ（Personal Computer）と同様である。
【００２９】
ＣＰＵ１１は、必要に応じてＲＡＭ１３等に適宜アクセスし、各種演算処理を行いながら映像編集装置１００の各ブロック全体を統括的に制御する。ＲＯＭ１２は、ＣＰＵ１１に実行させるＯＳ、プログラムや各種パラメータなどのファームウェアが固定的に記憶されている不揮発性のメモリである。ＲＡＭ１３は、ＣＰＵ１１の作業用領域等として用いられ、ＯＳ、実行中の各種アプリケーション、処理中の各種データを一時的に保持する。
【００３０】
入出力インタフェース１５には、表示部１６、入力部１７、記憶部１８、通信部１９、ドライブ部２０等が接続される。
【００３１】
表示部１６は、例えば液晶、ＥＬ（Electro-Luminescence）、ＣＲＴ（Cathode Ray Tube）等を用いた表示デバイスである。当該表示部１６は、映像編集装置１００に内蔵されていてもよいし、映像編集装置１００に外部接続されていてもよい。
【００３２】
入力部１７は、例えばマウス等のポインティングデバイス、キーボード、タッチパネル、その他の操作装置である。入力部１７がタッチパネルを含む場合、そのタッチパネルは表示部１６と一体となり得る。
【００３３】
記憶部１８は、例えばＨＤＤ（Hard Disk Drive）や、フラッシュメモリ、その他の固体メモリ等の不揮発性メモリである。当該記憶部１８には、上記ＯＳや各種アプリケーション、各種データが記憶される。特に本実施形態では、記憶部１８には、記録媒体５から取り込まれた映像データや、当該映像データ編集するための映像編集アプリケーションも記憶される。
【００３４】
当該映像編集アプリケーションは、映像データを、当該映像データ中の映像の変化量に応じた速度でプレビューさせることができる。記憶部１８には、映像データの開始点から終了点に渡る変化量データも記憶される。
【００３５】
ドライブ部２０は、例えばメモリカード、光ディスク、磁気記録テープ等、リムーバブルの記録媒体５を駆動し、当該記録媒体５に記録された映像データの読み出し及び当該記録媒体５へのデータの書き込みを行う。またドライブ部２０は、映像データを入力するための例えばＵＳＢ（Universal Serial Bus）等の外部インタフェースであってもよい。
【００３６】
通信部１９は、ＬＡＮ（Local Area Network）、ＷＡＮ（Wide Area Network）等に接続可能な、他の装置と通信するためのＮＩＣ（Network Interface Card）等である。通信部１９は、有線及び無線のどちらを利用して通信するものであってもよい。上記映像データは、当該通信部１９により、例えば中継現場等のビデオカメラから受信されるものであってもよい。
【００３７】
［映像編集装置のソフトウェア構成］
図２は、上記映像編集装置１００の機能ブロック（映像編集アプリケーションのソフトウェア構成）を示した図である。同図に示すように、映像編集装置１００は、変化量取得部２１、再生部２２、プレビューモニタ２３、プレビュー速度設定部２４、マーカー設定部２５、マーカーコントローラ２６、マーカー表示部２７、サムネイル画像取得部２８及びサムネイル画像表示部２９を有する。
【００３８】
変化量取得部２１は、記録媒体５から読み出された映像データから、開始点（開始フレーム）から終了点（終了フレーム）に渡る映像の変化量データを取得し、記憶部１８または記録媒体５に記憶する。当該変化量データは、例えば、ある時間Ｔの画像（フレーム）Ａと、時間Ｔ−ｎ（ｎ≧１）の画像Ｂとの間で、同一画素位置間の画素値の差分二乗の総和を示す値として算出される。また、映像データがＭＰＥＧ（Moving Picture Experts Group）等のフォーマットで圧縮されている場合には、上記変化量データは、動き補償予測時の予測残差を用いて算出されてもよい。
【００３９】
プレビュー速度設定部２４は、上記記憶部１８に記憶された変化量データに応じて、映像データのプレビュー時における各フレームのプレビュー速度を設定する。
【００４０】
再生部２２は、上記プレビュー速度設定部２４により設定された速度で、映像データの各フレームを再生する。
【００４１】
プレビューモニタ２３は、再生部２２により再生されたプレビュー映像を所定領域内に表示する。
【００４２】
マーカー設定部２５は、プレビュー再生時に、ユーザがマーカーコントローラ２６により指定した位置を含む、プレビュー速度に応じた継続時間長のマーカーを設定する。換言すると、マーカー設定部２５は、上記ユーザにより指定された位置を含む映像区間のデータ（区間データ）を映像データから抽出する。マーカー表示部２７は、上記マーカー設定部２５により設定されたマーカー（区間データ）を、映像データを示すタイムライン上でマーカー画像として表示する。当該タイムライン上でマーカー画像が選択された場合には、上記区間データが再生される。
【００４３】
サムネイル画像取得部２８は、上記区間データの始点から終点に渡る範囲の複数のフレームの各サムネイル画像を取得する。
【００４４】
サムネイル画像表示部２９は、上記サムネイル画像取得部２８により取得された各サムネイル画像を表示する。
【００４５】
［映像編集装置のＧＵＩ構成］
図３は、上記映像編集装置１００が上記映像編集アプリケーションにより表示可能なＧＵＩ（Graphical User Interface）（以下、映像編集インタフェースと称する）の表示例を示した図である。
【００４６】
同図に示すように、映像編集インタフェース３０は、上述したプレビューモニタ２３、サムネイル画像表示部２９、マーカー表示部２７及びマーカーコントローラ２６に加え、プレビュースタートボタン３３を有する。当該プレビュースタートボタン３３は、映像データのプレビューを開始させるためのボタンである。
【００４７】
サムネイル画像表示部２９には、複数枚のサムネイル画像Ｔｈの表示領域が設けられている。後述するが、当該表示領域の数（サムネイル画像Ｔｈの枚数）は、所定枚数に固定することも可能であるが、本実施形態においては、区間データの変化量に応じて可変とされる。
【００４８】
マーカー表示部２７は、映像データのタイムラインを示す横長の矩形領域として表示される。当該タイムライン上でマーカーが設定された区間を示す位置には、矩形状のマーカー画像Ｍが表示される。
【００４９】
上記マーカーコントローラ２６は、マーカーボタン３１と、例えばその両端に表示されるマーカー選択ボタン３２とを有する。プレビューモニタ２３上で映像データがプレビュー再生されている最中に、ユーザが例えばマウスのポインタ等を用いてマーカーボタン３１を押下すると、マーカー表示部２７上の、マーカーボタン３１が押下された時の再生点を含む区間データの位置に、新たにマーカー画像Ｍが表示される。すなわちマーカー画像Ｍは、映像データにおける上記区間データの位置及び時間長を示しており、当該区間データを再生させるための操作の対象となる画像である。マーカー画像Ｍの時間方向における長さ、すなわち区間データの継続時間長は、後述するように、上記マーカーボタン３１が押下された時のプレビュー速度に応じて決定される。
【００５０】
マーカー選択ボタン３２は、マーカー表示部２７に表示された複数のマーカー画像Ｍの中からユーザの所望のマーカー画像Ｍ（区間データ）を選択するためのボタンである。上記マーカー表示部２７に新たにマーカー画像Ｍが表示された場合、または、既に表示されたマーカー画像Ｍが上記マーカー選択ボタン３２により選択された場合、上記サムネイル画像表示部２９に、当該区間データに含まれるフレームの複数のサムネイル画像Ｔｈが表示される。右側のマーカー選択ボタン３２はタイムライン上でより後（右側）のマーカー画像Ｍを選択するためのものであり、左側のマーカー選択ボタン３２はタイムライン上でより前（左側）のマーカー画像Ｍを選択するためのものである。区間データに含まれる複数のフレームから、サムネイル画像Ｔｈの基になるフレームを選択する手法については後述する。
【００５１】
［映像編集装置の動作］
次に、以上のように構成された映像編集装置１００の動作について説明する。以降の説明においては、映像編集装置１００のＣＰＵ１１を主な動作主体として説明するが、この動作は、映像編集装置１００のその他のハードウェア、上記映像編集アプリケーション及びその他のソフトウェアとも協働して行われる。
【００５２】
（全体動作の概要）
図４は、本実施形態に係る映像編集装置１００の動作（マーカー画像及びサムネイル画像の表示処理）の流れの概要を示したフローチャートである。
【００５３】
同図に示すように、映像編集装置１００のＣＰＵ１１はまず、例えば所定のプレビューリスト上でのユーザの選択操作に基づいて、１つのプレビュー映像を選択する（ステップ４１）。
【００５４】
続いてＣＰＵ１１は、記憶部１８または記録媒体５から、上記選択されたプレビュー映像の変化量データを取得する（ステップ４２）。
【００５５】
続いてＣＰＵ１１は、上記映像編集インタフェース３０を表示して、プレビューモニタ２３内で、上記選択されたプレビュー映像の再生を開始するとともに（ステップ４３）、当該プレビュー映像の開始点のフレームを処理対象フレームに設定する（ステップ４４）。
【００５６】
続いてＣＰＵ１１は、上記対象フレームについて、上記取得した変化量データに基づいてプレビュー速度を設定する（ステップ４５）。
【００５７】
図５は、当該プレビュー速度の設定手法を概念的に示した図である。同図に示すように、ＣＰＵ１１は、プレビュー映像のうち変化量が大きいフレームについてはそのプレビュー速度を低くし、変化量が小さいフレームについてはそのプレビュー速度を高くする。例えば、上記記憶部１８には変化量データとプレビュー速度との関係を示す関数データが記憶されており、ＣＰＵ１１は、当該関数データを参照して、対象フレームの変化量からそのプレビュー速度を導き出し、当該プレビュー速度で当該対象フレームを再生させる。
【００５８】
続いてＣＰＵ１１は、映像編集インタフェース３０上で、ユーザにより上記マーカーボタン３１が押下されたか否かを判断する（ステップ４６）。
【００５９】
マーカーボタン３１が押下されていないと判断した場合（Ｎｏ）、ＣＰＵ１１は、現在の対象フレームがプレビュー映像の終了点のフレームであるか否かを判断する（ステップ４９）。対象フレームが終了点のフレームでないと判断した場合（Ｎｏ）、ＣＰＵ１１は、対象フレームを次のフレームとして（ステップ５０）、同様にそのフレームについてプレビュー速度を設定してそのプレビュー速度で再生させる（ステップ４５）。
【００６０】
マーカーボタン３１が押下されたと判断された場合（Ｙｅｓ）、ＣＰＵ１１は、マーカー画像Ｍの幅（横方向の長さ）、すなわち区間データの継続時間長を設定する（ステップ４７）。
【００６１】
当該マーカー画像Ｍの幅（以下、マーカー幅）は、上記設定されたプレビュー速度に応じて設定される。記憶部１８には、当該プレビュー速度とマーカー幅との関係を示す関数データが記憶されており、ＣＰＵ１１は当該関数データを参照してマーカー幅を決定する。
【００６２】
図６は、当該プレビュー速度とマーカー幅との関係を示す関数データの例を示した図である。ＣＰＵ１１は、マーカーボタン３１が押下された時間Ｔから、それ以前の時間Ｔ−ｎ（ｎはプレビュー速度等に依存しない任意の時間）内の最大プレビュー速度Ｖｍａｘを算出し、同図に示すような一次関数を基に、速度Ｖｍａｘからマーカー幅を決定する。すなわち、同図に示すように、プレビュー速度が大きいほど、マーカー幅も長くなる。ここで用いられる関数は一次関数に限られず、ｎ次関数（ｎ＞１）であってもよい。
【００６３】
図７は、プレビュー映像の変化量とマーカー画像Ｍの設定幅（区間データの継続時間長）との関係を示した図である。同図に示すように、マーカー画像Ｍ（Ｍ１〜Ｍ３）の幅は、映像の変化量が大きいほど短く、小さいほど長く設定される。
【００６４】
また同図に示すように、上記マーカーボタン３１が押下された時間Ｔ（Ｔ１〜Ｔ３）は、マーカー画像Ｍ（Ｍ１〜Ｍ３）に対応する区間データの終点とされる。始点は、上記決定されたマーカー幅によって決まる。ユーザが実際にプレビュー映像を閲覧中に、所望のシーンを見つけ、マーカーボタン３１を押下するまでには若干のタイムラグがあるが、上記時間Ｔが区間データの終点とされることで、実際にユーザが見つけた所望のシーンが区間データに収まる可能性が極めて高くなる。しかし、時間Ｔが区間データの始点や中間点とされても構わない。
【００６５】
マーカー幅が設定されると、ＣＰＵ１１は、当該マーカー幅に対応する区間データについて、複数のサムネイル画像を取得する（ステップ４８）。ここで、区間データの開始時間と終了時間との間を均等に分割してサムネイル画像Ｔｈを取得するという方法も考えられるが、この方法では、映像の変化の小さな部分も大きな部分も均等に扱われてしまう。その結果、相対的に変化の小さい部分のサムネイル画像Ｔｈの枚数が多くなり、ユーザの所望の画像を見つけ出す際の効率が悪くなる。
【００６６】
そこで、本実施形態においては、ＣＰＵ１１は、以下に示す２つの方法のうちいずれかを用いて、区間データからサムネイル画像Ｔｈを取得する。
【００６７】
（サムネイル画像の第１の取得方法）
図８は、当該サムネイル画像Ｔｈの第１の取得方法における処理の流れを示したフローチャートであり、図９は、当該サムネイル画像Ｔｈの第１の取得方法における処理の概要を示した図である。この手法は、区間データ内の変化量の大きい部分を複数の区間に分割していき、分割点のフレームをサムネイル画像Ｔｈとする手法である。
【００６８】
図８に示すように、当該第１の方法において、ＣＰＵ１１はまず、取得すべきサムネイル画像Ｔｈの枚数を設定する（ステップ８１）。上述したように、当該サムネイル画像Ｔｈの枚数の枚数は、区間データの変化量に応じて可変される。
【００６９】
例えば、区間データの変化量が大きい場合には、その区間データ内の各画像は時間毎に大きく異なったものとなるため、サムネイル画像Ｔｈのサイズが小さくてもユーザはそれらの違いを容易に判別することができる。したがってこの場合には、ＣＰＵ１１は、サムネイル画像Ｔｈの枚数を多く設定できる。これに対して、区間データの変化量が小さい場合には、区間データ内の各画像は似通ったものとなるため、サムネイル画像Ｔｈのサイズがある程度大きくないとユーザはそれらの違いを容易に判別することはできない。したがってこの場合には、ＣＰＵ１１は、サムネイル画像Ｔｈのサイズを大きくしてその枚数を少なく設定する。ここで区間データ内の画像の変化量としては、その区間における変化量の最大値や平均値等が用いられる。
【００７０】
続いてＣＰＵ１１は、区間データの先頭フレーム、中間フレーム、終了フレームをそれぞれ参照フレーム群に追加する（ステップ８２）。
【００７１】
続いてＣＰＵ１１は、上記参照フレーム群のうち時間的に隣接する２つの参照フレーム間の変化量をそれぞれ取得する（ステップ８３）。図９の例では、同図（Ａ）に示すように、ＣＰＵ１１は、先頭フレームＦｒ０と中間フレームＦｒ１との間の変化量、すなわち両フレーム間の差分ＦｒＤｉｆｆ０１と、中間フレームＦｒ１と終了フレームＦｒ２との間の変化量、すなわち両フレーム間の差分ＦｒＤｉｆｆ１２とをそれぞれ取得する。
【００７２】
ここで上記差分ＦｒＤｉｆｆ０１及び差分ＦｒＤｉｆｆ１２は、例えば、２枚のフレーム間で同一画素位置毎に算出される画素差分を自乗したものの総和により算出される。
【００７３】
続いてＣＰＵ１１は、上記参照フレーム間の差分同士（図９の例では差分ＦｒＤｉｆｆ０１と差分ＦｒＤｉｆｆ１２）を比較することで、隣接する参照フレームで挟まれる各区間の変化量（差分）の最大値（ここでは、２つの差分のうち大きい方の差分）を取得する（ステップ８４）。
【００７４】
続いてＣＰＵ１１は、隣接する参照フレームで挟まれる各区間のうち、上記変化量の最大値を有する区間の中間時間のフレームを参照フレーム群に追加する（ステップ８５）。図９の例において、上記差分ＦｒＤｉｆｆ０１と差分ＦｒＤｉｆｆ１２とでは差分ＦｒＤｉｆｆ０１の方が大きいとすると、同図（Ｂ）に示すように、ＣＰＵ１１は、先頭フレームＦｒ０と中間フレームＦｒ１の中間時間のフレームＦｒ３を参照フレーム群へ追加する。すなわちＣＰＵ１１は、先頭フレームＦｒ０と中間フレームＦｒ１との間の区間を２つの区間へと分割する。
【００７５】
続いてＣＰＵ１１は、参照フレーム群に含まれるフレームの枚数が上記設定枚数になったか否かを判断し（ステップ８６）、参照フレーム数が設定枚数に満たない場合（Ｎｏ）には、上記ステップ８３以降の処理を繰り返す。
【００７６】
すなわち、ＣＰＵ１１は、上記追加した参照フレームを含む参照フレーム群のうち隣接する参照フレーム間の変化量（差分）を取得し、それらのうち最大値を取得し、最大値を有する参照フレーム間の中間時間のフレームを参照フレームへ追加する。
【００７７】
図９の例では、同図（Ｂ）に示すように、ＣＰＵ１１は、先頭フレームＦｒ０と上記追加したフレームＦｒ３との差分ＦｒＤｉｆｆ０３と、フレームＦｒ３と上記中間フレームＦｒ１との差分ＦｒＤｉｆｆ３１と、上記差分ＦｒＤｉｆｆ１２とをそれぞれ比較し、最大値を取得する。そしてＣＰＵ１１は、それらのうち最大値を有する参照フレーム区間の中間点のフレームを参照フレーム群へ追加する。
【００７８】
ＣＰＵ１１は、以上のフレーム追加（区間分割）処理を、参照フレーム群内のフレームの枚数が上記設定枚数となるまで繰り返し、設定枚数となった場合（ステップ８６のＹｅｓ）、設定枚数の参照フレームからそれぞれサムネイル画像Ｔｈが生成してサムネイル画像表示部２９に表示する（ステップ８７）。当該第１の方法におけるサムネイル画像Ｔｈの最小時間間隔は１フレーム時間となる。
【００７９】
（サムネイル画像の第２の取得方法）
図１０は、当該サムネイル画像Ｔｈの第２の取得方法における処理の流れを示したフローチャートであり、図１１は、当該サムネイル画像Ｔｈの第２の取得方法における処理の概要を示した図である。この手法は、区間データから、所定の変化量毎にサムネイル画像Ｔｈを取得する方法である。
【００８０】
図１０に示すように、当該第２の方法において、ＣＰＵ１１はまず、上記第１の方法と同様に、取得するサムネイル画像Ｔｈの枚数を設定する（ステップ１０１）。
【００８１】
続いてＣＰＵ１１は、区間データの開始フレームから終了フレームまでの間の変化量Ｄｉｆｆｎの総和ΣＤｉｆｆを算出する（ステップ１０２）。当該ΣＤｉｆｆは上記記憶部１８または記録媒体５に記憶された変化量データを基に算出される。
【００８２】
続いてＣＰＵ１１は、ΣＤｉｆｆ／（取得するサムネイル数−１）を変化量に関する閾値Σｔｈとして設定する（ステップ１０３）。当該閾値Σｔｈは、後述するように、区間データが分割された分割区間がそれぞれ有するべき変化量である。
【００８３】
続いてＣＰＵ１１は、区間データの開始フレームを対象フレームとして設定し（ステップ１０４）、当該対象フレームのサムネイル画像Ｔｈを取得（生成）する（ステップ１０５）。
【００８４】
続いてＣＰＵ１１は、取得したサムネイル画像Ｔｈの枚数が、上記設定枚数に達したか否かを判断する（ステップ１０６）。
【００８５】
サムネイル画像Ｔｈの枚数が設定枚数に達していないと判断された場合（Ｎｏ）、ＣＰＵ１１は、分割区間の変化量の総和を０に初期化し（ステップ１０７）、対象フレームの変化量を、分割区間の総和として加算する（ステップ１０８）。
【００８６】
続いてＣＰＵ１１は、上記加算した分割区間の総和が上記閾値Σｔｈ以上となったか否かを判断する（ステップ１１０）。当該総和が閾値Σｔｈ未満であると判断した場合（Ｎｏ）、ＣＰＵ１１は、対象フレームを所定時間（Ｎ）経過後のフレームとし、当該対象フレームの変化量を上記分割区間の総和に加算する（ステップ１０８）。当該Ｎは、１フレーム時間でもよいし、数フレーム時間、数十フレーム時間等であっても構わない。当該Ｎが短かいほど、サムネイル画像取得のための演算量は大きくなる。
【００８７】
ＣＰＵ１１はこの処理を、分割区間の総和が上記閾値Σｔｈ以上となるまで繰り返す。分割区間の総和が閾値Σｔｈ以上となった場合（ステップ１１０のＹｅｓ）、ＣＰＵ１１は、その時点の対象フレームのサムネイル画像Ｔｈを取得する（ステップ１０５）。
【００８８】
ＣＰＵ１１は、以上の処理を、サムネイル画像Ｔｈの総数が設定枚数となるまで繰り返し、設定枚数に到達した場合には（ステップ１０６のＹｅｓ）、取得したサムネイル画像Ｔｈをサムネイル画像表示部２９に表示する（ステップ１１１）。
【００８９】
以上の処理により、図１１に示すように、例えばサムネイル画像の枚数が７枚に設定された場合、区間データは６つの分割区間に分割され、各分割区間の変化量の総和はそれぞれほぼΣｔｈに等しくなる。すなわち、区間データが変化量について均一に所定区間に分割され、その分割点のフレームがサムネイル画像Ｔｈとされる。当該第２の方法におけるサムネイル画像Ｔｈの最小時間間隔は上記Ｎとなる。
【００９０】
図４に戻り、ＣＰＵ１１は、対象フレームがプレビュー映像の終了フレームとなるまで、またマーカーボタン３１が押下される度に、以上の処理を繰り返す（ステップ４９）。
【００９１】
以上の処理によりマーカー画像Ｍ（区間データ）が設定された後に、マーカー選択ボタン３２によりマーカー画像Ｍを選択する操作が入力されると（ステップ５１のＹｅｓ）、ＣＰＵ１１は、当該マーカー画像Ｍに対応する区間データをプレビューモニタ２３で繰り返し再生させるとともに、上記サムネイル画像表示部２９に、当該区間データの変化量に応じた枚数のサムネイル画像Ｔｈを表示させる（ステップ５２）。これによりユーザは、プレビューモニタ２３の映像とともにサムネイル画像Ｔｈを確認することで、区間データ中から、例えば映像や音声のエフェクト処理やテロップ挿入処理等の編集対象となる所望のフレームを効率よく選定することができる。
【００９２】
［まとめ］
以上説明したように、本実施形態によれば、映像編集装置１００は、映像データの変化量が大きいフレームは低速に、変化量が小さいフレームは高速にプレビュー再生することで、ユーザのプレビュー効率を向上させることができる。また映像編集装置１００は、プレビュー中にマーカーボタン３１が押下された場合、変化量に応じた継続時間長の区間データを抽出し、それに対応するマーカー画像Ｍを表示するとともに、当該区間データ内のフレームのうち所定枚数のフレームのサムネイル画像Ｔｈを表示する。これにより映像編集装置は、変化量の大きいフレームを重点的に閲覧させることで、ユーザが所望のフレームを見つけ出す作業をより効率化することができるとともに、ユーザがプレビュー再生時に見逃した画像があったとしてもそれを容易に確認させることができる。
【００９３】
［変形例］
本発明は上述の実施形態にのみ限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々変更され得る。
【００９４】
上述の実施形態においては、サムネイル画像表示部２９に表示されるサムネイル画像Ｔｈは、一旦表示されれば、他のマーカー画像Ｍが選択されない限り変化しなかった。しかし、サムネイル画像表示部２９に表示される所定枚数のサムネイル画像Ｔｈの中に、必ずしもユーザの所望の画像が存在するとは限らない。そこで、映像編集装置１００は、当該表示されるサムネイル画像Ｔｈを、ユーザの操作に基づいて変化させてもよい。
【００９５】
図１２は、当該サムネイル画像Ｔｈを変化させる際の映像編集インタフェース３０の表示例を示した図である。同図（Ａ）に示すように、例えばポインタＰ等により、サムネイル画像表示部２９に表示された複数のサムネイル画像Ｔｈのうち、隣接する２枚のサムネイル画像Ｔｈの間の領域を指定する操作（例えばクリック）が行われたとする。
【００９６】
この場合、ＣＰＵ１１は、同図（Ｂ）に示すように、２つの操作対象領域の左右の２枚のサムネイル画像Ｔｈのうち左側のサムネイル画像Ｔｈ（同図Ｆｒ０）を開始時間、右側のサムネイル画像Ｔｈ（同図Ｆｒ１）を終了時間とする区間データが新たに設定されたものとして、当該区間データ内のサムネイル画像Ｔｈ（Ｆｒ０、Ｆｒ５，Ｆｒ６、Ｆｒ７、Ｆｒ１）を新たに取得してサムネイル画像表示部２９に表示する。この場合のサムネイル画像Ｔｈの取得方法としては、上記第１の取得方法及び第２の取得方法のいずれが用いられてもよい。ユーザは、この操作を繰り返すことで、所望の画像を容易に探し出すことができる。
【００９７】
また、上述の実施形態において、サムネイル画像表示部２９に表示された各サムネイル画像Ｔｈが例えばクリック等により選択された場合には、当該選択されたサムネイル画像Ｔｈに対応するフレームを開始フレームとして、上記プレビューモニタ２３上で区間データが再生されてもよい。すなわち、各サムネイル画像Ｔｈが、マーカー画像Ｍよりもさらに詳細な再生ポイントの指示子として機能してもよい。
【００９８】
上述の実施形態においては、変化量取得部２１は映像編集装置１００の内部ブロックとして設けられ、映像編集装置１００が映像データから変化量を取得していた。しかし、映像の変化量に関するデータは、映像編集装置１００とは別の機器により予め取得されて記録媒体５に映像データとともに記録され、映像編集装置１００へ入力されてもよい。
【００９９】
上述の実施形態において、映像編集インタフェース３０には、区間データに応じたサムネイル画像Ｔｈが表示されたが、当該サムネイル画像Ｔｈの表示は必須ではなく、マーカー画像Ｍが選択された場合には、当該マーカー画像Ｍに対応する区間データがプレビューモニタ２３上で再生されるのみであっても構わない。
【０１００】
上述の実施形態において映像編集装置１００により実行される処理は、例えばＰＣ、テレビジョン装置、記録再生装置、ゲーム機器、デジタルスチルカメラ、デジタルビデオカメラ、携帯電話機、スマートフォン、ＰＤＡ（Personal Digital Assistants）、電子ブック端末、電子辞書、携帯型ＡＶ機器等、その他のあらゆる電子機器でも同様に実行可能である。
【符号の説明】
【０１０１】
１１…ＣＰＵ
１６…表示部
１７…入力部
１８…記憶部
２１…変化量取得部
２２…再生部
２３…プレビューモニタ
２４…プレビュー速度設定部
２５…マーカー設定部
２６…マーカーコントローラ
２７…マーカー表示部
２８…サムネイル画像取得部
２９…サムネイル画像表示部
３０…映像編集インタフェース
３１…マーカーボタン
３２…マーカー選択ボタン
１００…映像編集装置
【特許請求の範囲】
【請求項１】
複数のフレームで構成される映像データと、前記複数のフレーム間の変化量を示す変化量データとを記憶する記憶部と、
前記映像データを、前記フレーム間の変化量が大きいほど低い再生速度で再生する再生部と、
前記再生された映像データを出力する出力部と、
前記映像データの出力中に任意の再生点を指定するユーザの操作を受け付ける操作受付部と、
前記操作が受け付けられたときに、前記再生点を含む複数のフレームからなる区間データを、当該区間データの時間長が前記再生点における前記再生速度が大きいほど長くなるように抽出し、前記映像データを、当該抽出された区間データ単位で再生するように前記再生部を制御する制御部と
を具備する電子機器。
【請求項２】
請求項１に記載の電子機器であって、
前記制御部は、前記映像データにおける当該区間データの位置及び前記時間長を示し当該区間データを再生させるための操作の対象となるマーカー画像を出力するように前記出力部を制御する
電子機器。
【請求項３】
請求項２に記載の電子機器であって、
前記制御部は、前記区間データから、複数のフレームを、前記変化量が大きいほどフレーム間隔が小さくなるように抽出し、当該抽出された各フレームの各サムネイル画像を前記マーカー画像とともに出力するように前記出力部を制御する
電子機器。
【請求項４】
請求項３に記載の電子機器であって、
前記制御部は、前記マーカー画像を対象とした操作が受け付けられたときに、当該マーカー画像が示す区間データの各フレームを再生するように前記再生部を制御し、かつ、当該区間データから抽出された前記各サムネイル画像を出力するように前記出力部を制御する
電子機器。
【請求項５】
請求項３に記載の電子機器であって、
前記制御部は、前記区間データに含まれる各フレームのうち、開始点、中間点及び終了点にそれぞれ位置する第１、第２及び第３のフレームを抽出し、前記第１のフレームと前記第２のフレームとの間の第１の変化量と、前記第２のフレームと前記第３のフレームとの間の第２の変化量のうち、大きい方の変化量が算出された２つのフレームの中間点に位置する第４のフレームを抽出し、前記抽出された第１、第２、第３及び第４のフレームの各サムネイル画像を生成する
電子機器。
【請求項６】
請求項３に記載の電子機器であって、
前記制御部は、前記区間データから、所定の変化量毎に複数のフレームを抽出し、当該抽出された各フレームのサムネイル画像を生成する
電子機器。
【請求項７】
請求項３に記載の電子機器であって、
前記制御部は、前記出力された複数のサムネイル画像のうち隣接する２つのサムネイル画像の境界に対して操作が受け付けられた場合に、当該隣接する２つのサムネイル画像の元となる２つのフレームの間に位置するフレームのサムネイル画像を出力するように前記出力部を制御する
電子機器。
【請求項８】
複数のフレームで構成される映像データと、前記複数のフレーム間の変化量を示す変化量データとを記憶し、
前記映像データを、前記フレーム間の変化量が大きいほど低い再生速度で再生し、
前記再生された映像データを出力し、
前記映像データの出力中に任意の再生点を指定するユーザの操作を受け付け、
前記操作が受け付けられたときに、前記再生点を含む複数のフレームからなる区間データを、当該区間データの時間長が前記再生点における前記再生速度が大きいほど長くなるように抽出し、
前記映像データを、前記抽出された区間データ単位で再生する
映像編集方法。
【請求項９】
電子機器に、
複数のフレームで構成される映像データと、前記複数のフレーム間の変化量を示す変化量データとを記憶するステップと、
前記映像データを、前記フレーム間の変化量が大きいほど低い再生速度で再生するステップと、
前記再生された映像データを出力するステップと、
前記映像データの出力中に任意の再生点を指定するユーザの操作を受け付けるステップと、
前記操作が受け付けられたときに、前記再生点を含む複数のフレームからなる区間データを、当該区間データの時間長が前記再生点における前記再生速度が大きいほど長くなるように抽出するステップと、
前記映像データを、前記抽出された区間データ単位で再生するステップと
を実行させるプログラム。
【請求項１】
複数のフレームで構成される映像データと、前記複数のフレーム間の変化量を示す変化量データとを記憶する記憶部と、
前記映像データを、前記フレーム間の変化量が大きいほど低い再生速度で再生する再生部と、
前記再生された映像データを出力する出力部と、
前記映像データの出力中に任意の再生点を指定するユーザの操作を受け付ける操作受付部と、
前記操作が受け付けられたときに、前記再生点を含む複数のフレームからなる区間データを、当該区間データの時間長が前記再生点における前記再生速度が大きいほど長くなるように抽出し、前記映像データを、当該抽出された区間データ単位で再生するように前記再生部を制御する制御部と
を具備する電子機器。
【請求項２】
請求項１に記載の電子機器であって、
前記制御部は、前記映像データにおける当該区間データの位置及び前記時間長を示し当該区間データを再生させるための操作の対象となるマーカー画像を出力するように前記出力部を制御する
電子機器。
【請求項３】
請求項２に記載の電子機器であって、
前記制御部は、前記区間データから、複数のフレームを、前記変化量が大きいほどフレーム間隔が小さくなるように抽出し、当該抽出された各フレームの各サムネイル画像を前記マーカー画像とともに出力するように前記出力部を制御する
電子機器。
【請求項４】
請求項３に記載の電子機器であって、
前記制御部は、前記マーカー画像を対象とした操作が受け付けられたときに、当該マーカー画像が示す区間データの各フレームを再生するように前記再生部を制御し、かつ、当該区間データから抽出された前記各サムネイル画像を出力するように前記出力部を制御する
電子機器。
【請求項５】
請求項３に記載の電子機器であって、
前記制御部は、前記区間データに含まれる各フレームのうち、開始点、中間点及び終了点にそれぞれ位置する第１、第２及び第３のフレームを抽出し、前記第１のフレームと前記第２のフレームとの間の第１の変化量と、前記第２のフレームと前記第３のフレームとの間の第２の変化量のうち、大きい方の変化量が算出された２つのフレームの中間点に位置する第４のフレームを抽出し、前記抽出された第１、第２、第３及び第４のフレームの各サムネイル画像を生成する
電子機器。
【請求項６】
請求項３に記載の電子機器であって、
前記制御部は、前記区間データから、所定の変化量毎に複数のフレームを抽出し、当該抽出された各フレームのサムネイル画像を生成する
電子機器。
【請求項７】
請求項３に記載の電子機器であって、
前記制御部は、前記出力された複数のサムネイル画像のうち隣接する２つのサムネイル画像の境界に対して操作が受け付けられた場合に、当該隣接する２つのサムネイル画像の元となる２つのフレームの間に位置するフレームのサムネイル画像を出力するように前記出力部を制御する
電子機器。
【請求項８】
複数のフレームで構成される映像データと、前記複数のフレーム間の変化量を示す変化量データとを記憶し、
前記映像データを、前記フレーム間の変化量が大きいほど低い再生速度で再生し、
前記再生された映像データを出力し、
前記映像データの出力中に任意の再生点を指定するユーザの操作を受け付け、
前記操作が受け付けられたときに、前記再生点を含む複数のフレームからなる区間データを、当該区間データの時間長が前記再生点における前記再生速度が大きいほど長くなるように抽出し、
前記映像データを、前記抽出された区間データ単位で再生する
映像編集方法。
【請求項９】
電子機器に、
複数のフレームで構成される映像データと、前記複数のフレーム間の変化量を示す変化量データとを記憶するステップと、
前記映像データを、前記フレーム間の変化量が大きいほど低い再生速度で再生するステップと、
前記再生された映像データを出力するステップと、
前記映像データの出力中に任意の再生点を指定するユーザの操作を受け付けるステップと、
前記操作が受け付けられたときに、前記再生点を含む複数のフレームからなる区間データを、当該区間データの時間長が前記再生点における前記再生速度が大きいほど長くなるように抽出するステップと、
前記映像データを、前記抽出された区間データ単位で再生するステップと
を実行させるプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【公開番号】特開２０１１−２５００９５（Ｐ２０１１−２５００９５Ａ）
【公開日】平成２３年１２月８日（２０１１．１２．８）
【国際特許分類】
【出願番号】特願２０１０−１２０６４１（Ｐ２０１０−１２０６４１）
【出願日】平成２２年５月２６日（２０１０．５．２６）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
【公開日】平成２３年１２月８日（２０１１．１２．８）
【国際特許分類】
【出願日】平成２２年５月２６日（２０１０．５．２６）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
[ Back to top ]