動画像処理装置、動画像処理方法、及びプログラム
【課題】動画像の代表フレームが表示されている際にユーザーが動画像の内容を適切に把握可能な、新規かつ改良された動画像処理装置、動画像処理方法、及びプログラムを提供する。
【解決手段】一の動画像を構成するフレーム群から、前記動画像を代表する複数の代表フレームを選択する代表フレーム選択部と、前記フレーム群のうちの前記代表フレームに選択されなかった非選択フレーム毎に、少なくともフレーム画像の色情報と輝度情報のいずれか一方を暗示する暗示画像を生成する暗示画像生成部と、前記代表フレーム選択部により選択された前記代表フレームを表示する際に、前記暗示画像生成部により生成された前記暗示画像を前記代表フレームに隣接して表示する表示制御部とを備える。
【解決手段】一の動画像を構成するフレーム群から、前記動画像を代表する複数の代表フレームを選択する代表フレーム選択部と、前記フレーム群のうちの前記代表フレームに選択されなかった非選択フレーム毎に、少なくともフレーム画像の色情報と輝度情報のいずれか一方を暗示する暗示画像を生成する暗示画像生成部と、前記代表フレーム選択部により選択された前記代表フレームを表示する際に、前記暗示画像生成部により生成された前記暗示画像を前記代表フレームに隣接して表示する表示制御部とを備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動画像処理装置、動画像処理方法、及びプログラムに関する。
【背景技術】
【０００２】
近年、音楽や映像等に関する動画像（すなわちコンテンツ）をネットワーク等を介して外部のサーバ等から取得し、ユーザーにより指定されたコンテンツを再生する技術が知られている。
【０００３】
ところで、動画像は複数のフレーム（静止画像）で構成されている。例えば動画像の検索時には、動画像を代表する一つのフレーム（画像）がサムネイル画像として表示されている（特許文献１参照）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００７−１６４２９８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかし、一つのフレーム（代表フレーム）のみがサムネイル画像として表示されるので、動画像の断片的な情報しか表示されず、動画像の内容を適切に把握することができないという問題がある。
【０００６】
そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、動画像の代表フレームが表示されている際にユーザーが動画像の内容を適切に把握可能な、新規かつ改良された動画像処理装置、動画像処理方法、及びプログラムを提供することにある。
【課題を解決するための手段】
【０００７】
上記課題を解決するために、本発明のある観点によれば、一の動画像を構成するフレーム群から、前記動画像を代表する複数の代表フレームを選択する代表フレーム選択部と、前記フレーム群のうちの前記代表フレームに選択されなかった非選択フレーム毎に、少なくともフレーム画像の色情報と輝度情報のいずれか一方を暗示する暗示画像を生成する暗示画像生成部と、前記代表フレーム選択部により選択された前記代表フレームを表示する際に、前記暗示画像生成部により生成された前記暗示画像を前記代表フレームに隣接して表示する表示制御部とを備える、動画像処理装置が提供される。
【０００８】
また、前記表示制御部は、前記暗示画像として線分で示される線分画像を、前記代表フレームに隣接して表示することとしても良い。
【０００９】
また、前記表示制御部は、複数の前記非選択フレームの各々に対応する前記線分画像を、前記複数の非選択フレームの前記フレーム群における構成順に複数並べて表示することとしても良い。
【００１０】
また、前記表示制御部は、複数の前記代表フレームを表示する際に、一の前記代表フレームに隣接する前記線分画像の数と、他の前記代表フレームに隣接する前記線分画像の数とを異ならせて表示することとしても良い。
【００１１】
また、前記表示制御部は、複数の前記代表フレームを、互いに離隔した状態で所定の配列方向に沿って表示し、前記フレーム群の構成順において二つの前記代表フレームの間に位置する前記非選択フレームに対応する前記暗示画像を、前記配列方向において前記二つの前記代表フレームの間に表示することとしても良い。
【００１２】
また、前記暗示画像生成部は、一つの前記非選択フレームを複数の領域に分割したときに、各領域に対応する複数の暗示部から構成される前記暗示画像を生成することとしても良い。
【００１３】
また、前記代表フレーム選択部は、前記フレーム群の構成順において間隔が等間隔であるように複数の前記代表フレームを選択することとしても良い。
【００１４】
また、前記代表フレーム選択部は、前記フレーム群の構成順において間隔が等間隔でないように複数の前記代表フレームを選択することとしても良い。
【００１５】
また、前記複数の代表フレームの各々に対して表示ランクを設定するランク設定部を更に備え、前記表示制御部は、選択された前記複数の代表フレームのうちの、所定の前記表示ランク以上に設定された前記代表フレームを表示し、所定の前記表示ランク未満に設定された前記代表フレームを表示しないこととしても良い。
【００１６】
更に、上記課題を解決するために、本発明の別の観点によれば、一の動画像を構成するフレーム群から、前記動画像を代表する複数の代表フレームを選択するステップと、前記フレーム群のうちの前記代表フレームに選択されなかった非選択フレーム毎に、少なくともフレーム画像の色情報と輝度情報のいずれか一方を暗示する暗示画像を生成するステップと、選択された前記代表フレームを表示する際に、生成された前記暗示画像を前記代表フレームに隣接して表示するステップとを含む、動画像処理方法が提供される。
【００１７】
更に、上記課題を解決するために、本発明の別の観点によれば、一の動画像を構成するフレーム群から、前記動画像を代表する複数の代表フレームを選択するステップと、前記フレーム群のうちの前記代表フレームに選択されなかった非選択フレーム毎に、少なくともフレーム画像の色情報と輝度情報のいずれか一方を暗示する暗示画像を生成するステップと、選択された前記代表フレームを表示する際に、生成された前記暗示画像を前記代表フレームに隣接して表示するステップとをコンピュータに実行させるためのプログラムが提供される。
【発明の効果】
【００１８】
以上説明したように本発明によれば、動画像の代表フレームが表示されている際にユーザーが動画像の内容を適切に把握できる。
【図面の簡単な説明】
【００１９】
【図１】第１の実施形態に係る動画像処理装置１０の構成を示すブロック図である。
【図２】複数の代表フレームと暗示画像の表示例を示す図である。
【図３】一つの動画像データからの複数の代表フレームの抽出例を説明するための図である。
【図４】暗示画像の構成を説明するための図である。
【図５】一つの動画像データからの複数の代表フレームの抽出例を説明するための図である。
【図６】一つのフレームに対して生成される複数の線分画像を示す図である。
【図７】複数の代表フレームと暗示画像の表示例を示す図である。
【図８】第１実施形態に係る動画像処理装置１０の動作例を説明するためのフローチャートである。
【図９】変形例に係る動画像処理装置４０の構成を示すブロック図である。
【図１０】変形例に係る動画像処理装置４０の動作例を説明するためのフローチャートである。
【図１１】比較例を説明するための図である。
【図１２】第２の実施形態に係る動画像処理装置１１０の構成を示すブロック図である。
【図１３】代表画像の階層化表示の表示例を説明するための図である。
【図１４】代表画像の階層化表示の他の表示例を説明するための図である。
【図１５】代表画像の階層化表示の他の表示例を説明するための図である。
【図１６】代表画像の階層化表示の他の表示例を説明するための図である。
【図１７】代表画像の階層化表示の他の表示例を説明するための図である。
【図１８】暗示画像中の下位の表示ランクの代表フレームの位置を示すマークを説明するための図である。
【図１９】暗示画像中の下位の表示ランクの代表フレームの位置を示すマークを説明するための図である。
【図２０】第２実施形態に係る動画像処理装置１１０の動作例を説明するためのフローチャートである。
【発明を実施するための形態】
【００２０】
以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【００２１】
なお、説明は以下の順序で行うものとする。
１．第１の実施形態
１−１．第１の実施形態に係る動画像処理装置の構成
１−２．代表フレームと暗示画像の表示
１−３．第１の実施形態に係る動画像処理装置の動作
１−４．変形例
１−５．まとめ
２．第２の実施形態
２−１．第２の実施形態に係る動画像処理装置の構成
２−２．代表画像の階層化表示
２−３．第２の実施形態に係る動画像処理装置の動作
２−４．まとめ
３．その他の実施形態
【００２２】
＜１．第１の実施形態＞
（１−１．第１の実施形態に係る動画像処理装置の構成）
第１の実施形態に係る動画像処理装置１０の構成例ついて、図１を参照しながら説明する。図１は、第１の実施形態に係る動画像処理装置１０の構成を示すブロック図である。
【００２３】
動画像処理装置１０は、記憶部１２と、データ取得部１４と、代表フレーム選択部（以下、フレーム選択部と呼ぶ）１６と、フレーム代表色作成部（以下、代表色作成部と呼ぶ）１８と、代表画像表示部２０を有する。なお、代表色作成部１８が暗示画像生成部に該当し、代表画像表示部２０が表示制御部に該当する。
【００２４】
記憶部１２は、再生可能な動画像データを記憶する。例えば、記憶部１２は、ネットワーク等を介して外部のサーバ等からダウンロードした動画像データを記憶する。ここで、動画像データは、フレーム形式の画像データである。すなわち、動画像データは、静止画像であるフレーム群から構成される。なお、動画像データは、画像データと音声データの組み合わせであっても良い。記憶部１２は、動画像のサムネイル画像（以下においては、代表画像とも呼ぶ）の表示処理や、動画像の再生処理に用いられるプログラムデータ等も記憶している。
【００２５】
データ取得部１４は、記憶部１２に記憶された動画像データを取得し、フレーム選択部１６に出力する。データ取得部１４は、記憶部１２に記憶された動画像データだけでなく、外部装置から取得しても良い。
【００２６】
フレーム選択部１６は、動画像を構成するフレーム群から、動画像を代表する複数の代表フレームを選択する。ここで、代表フレームとして選択されるフレームの数は、一定では無く、動画像毎に異なる。例えば、詳細は後述するが、フレーム選択部１６は、フレーム群の構成順において間隔が等間隔である複数のフレームを代表フレームとして選択する。ただし、これに限定されず、フレーム選択部１６は、フレーム群の構成順において間隔が等間隔で無い複数のフレームを代表フレームとして選択しても良い。
【００２７】
代表色作成部１８は、動画像を構成するフレーム群のうちの代表フレームに選択されなかった非選択フレーム毎に、フレーム画像の代表色を暗示する暗示画像を生成する。ここで、代表色は、一つのフレーム画像全体を特徴づける色であり、例えば背景色等のように画像において最も使用されている色である。ユーザーは、代表色を識別することで、どのようなフレーム画像が存在するかを推測できる。
【００２８】
代表画像表示部２０は、動画像を代表する代表画像を表示画面に表示する。代表画像表示部２０は、１つの動画像の代表画像として、フレーム選択部１６により選択された複数の代表フレームを並べて表示する。代表画像表示部２０は、複数の代表フレームを、互いに離隔した状態で所定の配列方向に沿って表示する（図２参照）。
【００２９】
また、代表画像表示部２０は、代表画像を表示する際に、代表色作成部１８により生成された暗示画像を代表フレームに隣接して表示する。詳細は後述するが、代表画像表示部２０は、フレーム群の構成順において二つの代表フレームの間に位置する非選択フレームに対応する暗示画像を、配列方向において二つの代表フレームの間に表示する（図２参照）。
【００３０】
ここで、暗示画像は、線分で示される線分画像である。代表画像表示部２０は、詳細は後述するが、複数の非選択フレームの各々に対応する線分画像を、複数の非選択フレームのフレーム群における構成順に並べて、代表フレームに隣接して表示する（図４参照）。また、代表画像表示部２０は、複数の代表フレームを表示する際に、一の代表フレームに隣接する線分画像の数と、他の代表フレームに隣接する線分画像の数とを異ならせて表示しても良い（図５参照）。
【００３１】
上述した構成において、データ取得部１４、フレーム選択部１６、代表色作成部１８、代表画像表示部２０は、ＣＰＵ等の演算処理装置により構成される。記憶部１２は、フラッシュメモリ等の内部記憶装置、ハードディスクドライブ等の外部記憶装置により構成される。ＣＰＵは、ＲＯＭ等から読み出されたプログラムを実行することで、動画像処理方法を実現する。
【００３２】
（１−２．代表フレームと暗示画像の表示）
動画像の代表画像として代表フレーム及び暗示画像を表示する表示例について、図２を参照しながら説明する。図２は、複数の代表フレームと暗示画像の表示例を示す図である。図２の表示画面３０には、５つの代表フレームＲ１〜Ｒ５と、各代表フレームに隣接した暗示画像Ｐ１〜Ｐ５とが示されている。
【００３３】
第１の実施形態に係る動画像処理装置１０は、一つの動画像データについて複数の代表フレームを並べて表示画面３０に表示する。これらの代表フレームは、動画像データを構成するフレーム群から抽出されたものである。複数の代表フレームの並び順は、フレームの構成順に従っている。なお、表示される代表フレームの数は、動画像データに応じて異なるものとする。
【００３４】
また、動画像処理装置１０は、代表フレームＲ１〜Ｒ５に隣接した位置に暗示画像Ｐ１〜Ｐ５を表示する。暗示画像は、動画像データにおける代表フレーム以外のフレーム（非選択フレーム）の色情報等を暗示する画像であり、代表フレーム同士の間に表示されている。暗示画像の詳細については、後述する。
【００３５】
なお、図２においては、表示画面３０に１つの動画像の代表フレームが表示されているが、もちろん複数の動画像の代表フレームを表示しても良い。かかる場合には、各動画像に対して、複数の代表フレームが表示されることとなる。これにより、例えば複数の動画像の中から所望の動画像を検索する検索画面として表示画面３０を適用すれば、各動画像の内容を適切に把握できるので、ユーザーが各動画像を視聴せずとも所望の動画像を選択できる。
【００３６】
以下においては、説明の便宜上、一つの動画像データから複数の代表フレーム及び暗示画像を表示するまでの流れの概要について説明する。
【００３７】
図３は、一つの動画像データからの複数の代表フレームの抽出例を説明するための図である。ここでは、説明の便宜上、一つの動画像データが３０個のフレームから構成されている（実際には、より多数のフレームから構成されている）ものとする。図３では、１番目のフレームＩ１、７番目のフレームＩ７、１３番目のフレームＩ１３、１９番目のフレームＩ１９、２５番目のフレームＩ２５が、代表フレームＲ１〜Ｒ５として選択されている。すなわち、フレーム群における一定間隔のフレームが、代表フレームとして選択されている。
【００３８】
動画像を構成する３０個のフレームのうち代表フレームに選択されなかった非選択フレームについては、暗示画像として表示される。フレームＩ２〜Ｉ６は暗示画像Ｐ１として、フレームＩ８〜Ｉ１２は暗示画像Ｐ２として、フレームＩ１４〜Ｉ１８は暗示画像Ｐ３として、フレームＩ２０〜Ｉ２４は暗示画像Ｐ４として、フレームＩ２６〜Ｉ３０は暗示画像Ｐ５として、それぞれ表示される。これらの暗示画像は、各代表フレームの間にどのようなフレームが存在するかをユーザーに暗示させる。
【００３９】
ここで、暗示画像の構成について図４を参照しながら説明する。図４は、暗示画像の構成を説明するための図である。５つの暗示画像Ｐ１〜Ｐ５の構成は同様であるので、ここでは暗示画像Ｐ１を例に挙げて説明する。暗示画像Ｐ１は、複数の線分画像Ｌ１、Ｌ２、Ｌ３等から構成されている。すなわち、図３に示す矩形状の暗示画像は、多数の線分の集合である。なお、暗示画像Ｐ１を構成する線分画像の数は、フレームＩ２〜Ｉ６に対応する６個であるが、図３においては説明の便宜上、線分画像の数を多くしている（暗示画像Ｐ２〜Ｐ５についても同様）。各線分画像は、対応する非選択フレームの画像の代表色を示している。例えば、線分画像Ｌ１はフレームＩ１の画像の代表色を示し、線分画像Ｌ２はフレームＩ２の画像の代表色を示す。
【００４０】
なお、暗示画像として線分画像を例に挙げて説明したが、これに限定されない。例えば、暗示画像は、フレームの縮小画像（代表フレームよりも微小な画像）や、線以外の形状を示す画像であっても良い。また、暗示画像は、フレーム画像の色情報を示す画像であることとしたが、これに限定されない。例えば、暗示画像は、フレーム画像の輝度情報を示す画像であっても良い。
【００４１】
上述した図３では、代表フレームとして、フレーム群において一定間隔の非選択フレームが選択されることとしたが、これに限定されず、図５に示すように間隔が一定で無い非選択フレームが選択されることとしても良い。図５は、一つの動画像データからの複数の代表フレームの抽出例を説明するための図である。
【００４２】
図５においては、１番目のフレームＩ１、７番目のフレームＩ７、１５番目のフレームＩ１５、１９番目のフレームＩ１９、２３番目のフレームＩ２３が、代表フレームＲ１〜Ｒ５として選択されている。一方で、フレームＩ２〜Ｉ６は暗示画像Ｐ１として、フレームＩ８〜Ｉ１４は暗示画像Ｐ２として、フレームＩ１６〜Ｉ１８は暗示画像Ｐ３として、フレームＩ２０〜Ｉ２３は暗示画像Ｐ４として、フレームＩ２４〜Ｉ３０は暗示画像Ｐ５として、表示される。各暗示画像を構成するフレームの数が異なるので、５つの暗示画像Ｐ１〜Ｐ５の長さも一定では無い。すなわち、暗示画像Ｐ３、Ｐ４の長さが小さく（暗示画像を構成する線分画像の数が少ない）、暗示画像Ｐ２、Ｐ５の長さが大きい（暗示画像を構成する線分画像の数が多い）。これにより、代表フレーム間にあるフレームの数（又は、時間経過）も、暗示できる。
【００４３】
また、上述した図４では、一つのフレームの画像の代表色を示す画像として、一つの線分画像が生成されることとしたが、これに限定されない。例えば、図６に示すように、一つのフレームの画像を複数の領域に分割し、各領域に対応する線分画像をそれぞれ生成することとしても良い。
【００４４】
図６は、一つのフレームに対して生成される複数の線分画像を示す図である。図６では、一つのフレームの画像を３つの領域（第１領域、第２領域、第３領域）に分割するものとする。ただし、フレームの分割数は３つに限られず、例えば分割数が２つ又は４つ以上であっても良い。分割された各領域に対して、それぞれ線分画像が生成される。具体的には、第１領域については第１線分画像Ｌ２８ａが、第２領域については第２線分画像Ｌ２８ｂが、第３領域については第３線分画像Ｌ２８ｃが、それぞれ生成される。図６では３つの領域に含まれる画像が異なるので、３つの線分画像Ｌ２８ａ、Ｌ２８ｂ、Ｌ２８ｃが示す色は異なる。
【００４５】
生成された３つの線分画像の暗示画像としての表示例について、図７を参照しながら説明する。図７は、複数の代表フレームと暗示画像の表示例を示す図である。図２に示した表示例と異なる点は、暗示画像Ｐ１〜Ｐ５が３つの暗示部を有していることにある。例えば、暗示画像Ｐ１は、第１暗示部Ｐ１ａと、第２暗示部Ｐ１ｂと、第３暗示部Ｐ１ｃを有する。第１暗示部Ｐ１ａは、各フレームの第１線分画像（図６の第１線分画像）の集まりであり、第２暗示部Ｐ１ｂは、各フレームの第２線分画像の集まりであり、第３暗示部Ｐ１ｃは、各フレームの第３線分画像の集まりである。このように複数の暗示部で表示することで、非選択フレームの画像の色情報をより細かく表示できる。
【００４６】
（１−３．第１実施形態に係る動画像処理装置の動作）
次に、代表フレームと暗示画像を表示する際の動画像処理装置１０の動作例（動画像処理方法）について、図８を参照しながら説明する。図８は、第１実施形態に係る動画像処理装置１０の動作例を説明するためのフローチャートである。図８のフローチャートは、例えば動画像を検索する検索画面にアクセスしたところから開始される。
【００４７】
まず、データ取得部１４が、動画像データを取得する（ステップＳ２）。例えば、データ取得部１４は、記憶部１２から再生対象の動画像データを取得する。
【００４８】
フレーム選択部１６は、取得した動画像データからフレームを切り出す（ステップＳ４）。すなわち、フレーム選択部１６は、動画像データを構成するフレーム群の最初のフレームを切り出す。
【００４９】
次に、フレーム選択部１６は、切り出したフレームが代表フレームであるか否かを判定する（ステップ６）。切り出したフレームが代表フレームである場合には（ステップＳ６：Ｙｅｓ）、フレーム選択部１６は、切り出したフレームを代表画像表示部２０に送る。代表画像表示部２０は、受信した代表フレームを表示する（ステップＳ８）。なお、代表画像表示部２０は、代表フレームを縮小して表示する。
【００５０】
一方で、切り出したフレームが代表フレームで無い場合には（ステップＳ６：Ｎｏ）、フレーム選択部１６は、切り出したフレームを代表色作成部１８に送る。代表色作成部１８は、図４に示すように、受信したフレームの画像の代表色（暗示画像）を作成する（ステップＳ１０）。代表色作成部１８は、作成した代表色を代表画像表示部２０に送る。代表画像表示部２０は、受信した代表色を表示する（ステップＳ１２）。
【００５１】
次に、フレーム選択部１６は、切り出されたフレームが動画像データの最終フレームであるか否かを判定する（ステップＳ１４）。最終フレームである場合には（ステップＳ１４：Ｙｅｓ）、本処理は終了する。一方で、最終フレームで無い場合には（ステップＳ１４：Ｎｏ）、上述したステップＳ４〜Ｓ１２が繰り返される。これにより、図２や図７に示すように、１つの動画像の代表画像として、表示画面３０に複数の代表フレームと暗示画像が表示されることとなる。
【００５２】
なお、上記においては、１つの動画像の代表フレームと暗示画像の表示処理（動画像処理方法）について説明したが、複数の動画像の場合には、上述した処理（ステップＳ２〜Ｓ１４）が繰り返される。すなわち、代表画像を表示する対象の動画像が増える度に、表示画面（検索画面）が更新されることとなる。これにより、検索画面に表示された各動画像に対応した複数の代表フレーム及び暗示画像に基づいて、所望の動画像をユーザーが選択できる。
【００５３】
（１−４．変形例）
変形例に係る動画像処理装置４０の構成例について、図９を参照しながら説明する。図９は、変形例に係る動画像処理装置４０の構成を示すブロック図である。
【００５４】
上述した動画像処理装置１０は、代表フレーム以外のフレームの代表色（暗示画像）を作成した直後に、表示画面に複数の代表フレームと暗示画像を表示することとした。これに対して、動画像処理装置４０は、代表フレームと代表色に関する情報を一旦記憶しておき、その後に必要に応じて表示する。
【００５５】
動画像処理装置４０は、図９に示すように、記憶部４２と、データ取得部４４と、フレーム選択部４６と、代表色作成部４８と、データ蓄積部５０と、読込み部５２と、代表画像表示部５４を有する。
【００５６】
記憶部４２と、データ取得部４４と、フレーム選択部４６と、代表色作成部４８は、それぞれ図１に示す記憶部１２、データ取得部１４、フレーム選択部１６、代表色作成部１８と同様である。このため、これらの構成の詳細については説明を省く。
【００５７】
データ蓄積部５０は、フレーム選択部１６により選択された代表フレームに関する情報と、代表色作成部４８が作成したフレームの暗示画像を記憶する。すなわち、動画像処理装置４０は、取得した動画像データの代表フレームを直ぐに表示するのでは無く、動画像データの代表フレームや暗示画像に関する情報を一旦記憶する。
【００５８】
読込み部５２は、例えばユーザーによる動画像データの代表フレームの表示命令を受信すると、データ蓄積部５０に蓄積されたデータ（動画像データの代表フレームや暗示画像に関する情報）を読み出して、代表画像表示部５４に送る。
【００５９】
代表画像表示部５４は、読込み部５２から送られたデータに基づいて、図２に示すように、複数の代表フレームと暗示画像を表示画面３０に表示させる。なお、代表画像表示部５４による表示は、図１の代表画像表示部２０と同様である。
【００６０】
次に、代表フレームと暗示画像の表示を表示する際の動画像処理装置４０の動作例について、図１０を参照しながら説明する。図１０は、変形例に係る動画像処理装置４０の動作例を説明するためのフローチャートである。図１０のフローチャートは、動画像の代表フレームが既に選択され、また動画像の非選択フレームの代表色が既に作成されたところから開始される。
【００６１】
まず、読込み部５２は、データ蓄積部５０に蓄積された動画像データ（動画像データの代表フレームや暗示画像に関する情報）を読み出し（ステップＳ２２）、代表画像表示部５４に送る。
【００６２】
代表画像表示部５４は、受信した動画像データを構成するフレーム群のフレームを順番に読み出して、表示を制御する。具体的には、代表画像表示部５４は、読み出したフレームが代表フレームである場合には（ステップＳ２４：Ｙｅｓ）、代表フレームを表示する（ステップＳ２６）。一方で、読み出したフレームが代表フレームで無い場合には（ステップＳ２４：Ｎｏ）、代表画像表示部５４は、フレームの画像の代表色を表示する（ステップＳ２８）。
【００６３】
次に、代表画像表示部５４は、読み出したフレームが動画像データの最終フレームであるか否かを判定する（ステップＳ３０）。最終フレームである場合には（ステップＳ３０：Ｙｅｓ）、本処理は終了する。一方で、最終フレームで無い場合には（ステップＳ３０：Ｎｏ）、上述したステップＳ２４〜Ｓ２８が繰り返される。これにより、図２や図７に示すように、１つの動画像の代表画像として、表示画面に複数の代表フレーム及び暗示画像が表示されることとなる。
【００６４】
（１−５．まとめ）
第１実施形態によれば、１つの動画像の代表画像として、複数の代表フレームが表示されると共に、代表フレーム以外の非選択フレームについて暗示画像（画像の代表色を示す線分画像）が作成されて表示される。これにより、動画像に関するより多くの情報を表示画面に表示できるので、ユーザーは動画像の内容を把握しやすくなる。
【００６５】
また、非選択フレームの暗示画像を表示することで、代表フレーム以外のフレームをわざわざ見る必要が無くなるので、ユーザーに対しての閲覧負荷を下げられ、ユーザーが同一時間内で閲覧できる画像数や映像量を増やすことができる。更に、複数の代表フレームを表示することで、動画像を視聴しなくても、１つの動画像全体のバランスを予見することができる。
【００６６】
ここで、図１１に示す比較例と対比しながら、より詳しく説明する。図１１は、比較例を説明するための図であり、複数の代表フレームを表示する２つの表示状態１、２を対比するための図である。なお、２つの表示状態１、２には、暗示画像が表示されない。表示状態１には、代表フレームとして、図３に示す３０個のフレームのうち、１番目のフレームＩ１、７番目のフレームＩ７、１３番目のフレームＩ１３、１９番目のフレームＩ１９、２５番目のフレームＩ２５が示されている。表示状態２には、代表フレームとして、１番目のフレームＩ１、８番目のフレームＩ８、１４番目のフレームＩ１４、２２番目のフレームＩ２２、２７番目のフレームＩ２７が示されている。
【００６７】
表示状態１と表示状態２を比較すると、上下のフレームが同じフレームであるとユーザーは誤解してしまう。図１１に見ると分かるように、例えば、フレームＩ７とフレームＩ８、フレームＩ１９とフレームＩ２２にほとんど差が無い。このため、ユーザーにとっては、表示状態１と表示状態２を同じものであると錯覚してしまう。
【００６８】
これに対して、上述した動画像処理装置１０、４０によれば、複数の代表フレームの間に暗示画像を表示することで、複数の代表フレーム間の時間経過をユーザーが認識できる。特に、複数の代表フレーム間の時間間隔が等間隔で無い場合に、より有効性が発揮される。このように、本実施形態においては、複数の代表フレームを単に静止画の束として見るのではなく、時間的な連なりに着目して表示する点に特徴がある。
【００６９】
＜２．第２の実施形態＞
（２−１．第２の実施形態に係る動画像処理装置の構成）
第２の実施形態に係る動画像処理装置１１０の構成例ついて、図１２を参照しながら説明する。図１２は、第２の実施形態に係る動画像処理装置１１０の構成を示すブロック図である。
【００７０】
上述した動画像処理装置１０は、代表フレーム以外のフレームの代表色（暗示画像）を作成し、表示画面に複数の代表フレームと暗示画像を表示することとした。これに対して、動画像処理装置１１０においては、表示画面に表示される代表フレームの数が、表示ランクに応じて変更可能である。また、代表フレームの表示数の変更に伴い、暗示画像の表示も変更される。
【００７１】
動画像処理装置１１０は、図１２に示すように、記憶部１１２と、データ取得部１１４と、フレーム選択部１１６と、代表色作成部１１８と、代表画像表示部１２０と、ランク設定部の一例であるランク入力部１２２と、入力履歴蓄積部１２４と、階層化表示部１２６を有する。なお、第２実施形態においては、代表画像表示部１２０及び階層化表示部１２６が表示制御部に該当する。
【００７２】
記憶部１１２と、データ取得部１１４と、フレーム選択部１１６と、代表色作成部１１８と、代表画像表示部１２０は、それぞれ図１に示す記憶部１２、データ取得部１４、フレーム選択部１６、代表色作成部１８、代表画像表示部２０と同様である。このため、これらの構成の詳細については説明を省く。
【００７３】
ランク入力部１２２は、代表フレームに表示ランクを設定するためのものである。表示ランクとしては、例えば、ランク１、ランク２、ランク３等が設定される。ランク１が下位ランクであり、ランク３が上位ランクである。
【００７４】
入力履歴蓄積部１２４は、ランク入力部１２２による過去の入力履歴を記憶する。例えば、一の代表フレームに対して過去に設定した表示ランクを記憶したり、表示ランクの更新を記憶する。また、入力履歴蓄積部１２４は、表示ランクの更新頻度を記憶しても良い。
【００７５】
階層化表示部１２６は、設定された表示ランクに応じて、代表画像を階層化して表示する。つまり、階層化表示部１２６は、設定された表示ランクに応じて、代表画像としての代表フレームの表示数を変更する。具体的には、階層化表示部１２６は、ユーザーの操作（表示ランクの切替操作）に応じて、ランク１〜３が混在している複数の代表フレームの中のランク２以上の代表フレームを表示したり、ランク３以上の代表フレームのみを表示する。
【００７６】
また、階層化表示部１２６は、入力履歴蓄積部１２４に記憶された入力履歴を参照して、代表画像を階層化して表示する。例えば、同じ表示ランクの代表フレームが複数存在する場合には、入力履歴を参照して表示ランクの更新頻度が多い代表フレームを優先して表示画面に表示する。これは、表示画面のサイズが限られて表示できる代表フレームの数が限定されている場合に、有効である。
【００７７】
（２−２．代表画像の階層化表示）
代表画像の階層化表示の表示例について、図１３を参照しながら説明する。図１３は、代表フレームの階層化表示の表示例を説明するための図である。
【００７８】
図１３には、複数の代表フレームＲ１〜Ｒ５と、暗示画像Ｐ１〜Ｐ５が表示されている。複数の代表フレームＲ１〜Ｒ５には、それぞれ表示ランクが設定されている。具体的には、代表フレームＲ１、Ｒ２の表示ランクはランク２であり、代表フレームＲ３の表示ランクはランク１であり、代表フレームＲ４の表示ランクはランク２であり、代表フレームＲ５の表示ランクはランク１である。なお、フレーム群のうちの代表フレームで無い非選択フレームは、ランク０であるものとする。
【００７９】
かかる場合に、表示ランク２以上の代表フレームを表示させるように、ユーザーが操作を行うと、５つの代表フレームＲ１〜Ｒ５のうちのランク２以上の代表フレームＲ１、代表フレームＲ２、代表フレームＲ４が表示される。
【００８０】
また、ランク２以上の代表フレームが表示されることに伴い、暗示画像Ｐ１〜Ｐ５の表示も変化する。すなわち、代表フレームＲ２と代表フレームＲ４の間の非選択フレーム及び代表フレームＲ３の線分画像が、暗示画像Ｐ２として表示される。また、代表フレームＲ４以降の非選択フレーム及び代表フレームＲ５の線分画像が、暗示画像Ｐ４として表示される。階層化して代表フレームの表示数が減ると、暗示画像の長さが長くなる（各暗示画像の線分画像の数が増える）。
【００８１】
代表画像の階層化表示の表示例は、図１３に示す表示例に限定されない。以下に説明する図１４〜図１６に示す表示例であっても良い。以下においては、図１４〜図１６を参照しながら、階層化表示の他の表示例を説明する。なお、図１４〜図１６においても図１３と同様に、表示ランクがランク２以上の代表フレームＲ１、Ｒ２、Ｒ４を表示するものとする。
【００８２】
図１４は、代表画像の階層化表示の他の表示例を説明するための図である。図１３の表示例との違いは、暗示画像の表示方法にある。図１３では、代表フレームでない非選択フレームが暗示画像として表示されている。これに対して、図１４では、代表フレームでは無いフレームの暗示画像は非表示になる一方で、ランク１の代表フレームＲ３を示す暗示画像Ｐ１１と、代表フレームＲ５を示す暗示画像Ｐ１２が表示される。なお、暗示画像Ｐ１１、Ｐ１２を構成する複数の線分画像は、それぞれ代表フレームＲ３、Ｒ５の色情報を示す画像である。
【００８３】
かかる場合には、上位の表示ランクの代表フレームが表示された際に、下位の表示ランクの代表フレームの存在をユーザーが容易に認識できる。このため、ユーザーは、再度、下位の表示ランクの代表フレームを表示し易くなる。
【００８４】
図１５は、代表画像の階層化表示の他の表示例を説明するための図である。図１３の表示例との違いは、暗示画像の表示方法にある。図１３では、暗示画像Ｐ１、Ｐ２、Ｐ４の表示の長さが異なっていた。これに対して、図１５の暗示画像Ｐ２１、Ｐ２２、Ｐ２３の表示の長さは同じである。暗示画像Ｐ２１は図１３の暗示画像Ｐ１と同様であるが、暗示画像Ｐ２２、Ｐ２３は、図１３の暗示画像Ｐ２、Ｐ４の長さを圧縮した画像（線分画像の数を減らした画像）となっている。
【００８５】
図１６は、代表画像の階層化表示の他の表示例を説明するための図である。図１３の表示例との違いは、暗示画像の表示方法にある。図１６の暗示画像Ｐ３１、Ｐ３２、Ｐ３３は、図１３の暗示画像Ｐ１、Ｐ２、Ｐ４の長さを同じ比率で圧縮（線分画像の数を半減）しており、それぞれ一つの矩形になっている。
【００８６】
図１５と図１６の表示例の場合には、例えば図１３の表示例の場合に比べて暗示画像が大きくなることを防止できるので、表示画面の表示サイズを有効に活用でき、この結果、代表フレームの表示数を増やすことも可能となる。
【００８７】
図１７は、代表画像の階層化表示の他の表示例を説明するための図である。図１７では、各代表フレームの表示ランクを、マークとして代表フレーム内に表示させている。すなわち、各代表フレームの右下に矩形のマークＭが重畳して表示されており、矩形のマークＭの数が表示ランクを示している。例えば、ランク２の代表フレームＲ１には矩形のマークが２つ含まれ、ランク３の代表フレームＲ２には矩形のマークが３つ含まれ、ランク１の代表フレームＲ３には矩形のマークが１つ含まれている。これにより、ユーザーは、マーク数を数えることで、容易に代表フレームの表示ランクを認識できる。
【００８８】
図１８と図１９は、暗示画像中の下位の表示ランクの代表フレームの位置を示すマークを説明するための図である。図１８と図１９では、表示ランク３の代表フレームＲ２が表示されているものとし、表示ランク２以下の代表フレームの位置が暗示画像中にマークとして表示されている。具体的には、ランク２の代表フレームＲ１の位置がマークＭ１で、代表フレームＲ３の位置がマークＭ２で、代表フレームＲ４の位置がマークＭ３で、代表フレームＲ５の位置がマークＭ４で、それぞれ暗示画像に重畳して示されている。
【００８９】
なお、図１８では、マークＭ１〜Ｍ４の幅を大きくすることで、代表フレームの位置を示している。図１９では、マークＭ１〜Ｍ４内にランクを示す数字が示されている。これにより、ユーザーは、上位の表示ランクの代表フレームが表示されている際に、下位の表示ランクの代表フレームの位置を容易に識別できる。
【００９０】
（２−３．第２の実施形態に係る動画像処理装置の動作）
次に、代表フレームを階層化表示する際の動画像処理装置１１０の動作例（動画像処理方法）について、図２０を参照しながら説明する。図２０は、第２実施形態に係る動画像処理装置１１０の動作例を説明するためのフローチャートである。
【００９１】
まず、動画像処理装置１１０は、記憶部１１２から動画像データを取得する（ステップＳ４２）。そして、動画像処理装置１１０は、動画像データを構成するフレーム群から代表フレームを選択し、選択されなかったフレームの画像の代表色を作成する。
【００９２】
次に、動画像処理装置１１０は、フレーム群の構成順にフレームの表示を制御する。動画像処理装置１１０は、１つ目のフレームが代表フレームであるか否かを判定する（ステップＳ４４）。１つ目のフレームが代表フレームである場合には（ステップＳ４４：Ｙｅｓ）、動画像処理装置１１０は、次に所定の表示ランク以上であるか否かを判定する（ステップＳ４６）。１つ目のフレームが所定の表示ランク以上である場合には（ステップＳ４６：Ｙｅｓ）、動画像処理装置１１０は、代表フレームを表示画面３０に表示する（ステップＳ４８）。
【００９３】
一方で、ステップＳ４４において代表フレームで無い場合には、動画像処理装置１１０は、フレーム画像の代表色を表示する（ステップＳ５０）。また、ステップＳ４６において所定の表示ランク未満である場合には、フレーム画像の代表色を表示する（ステップＳ５０）。
【００９４】
次に、動画像処理装置１１０は、表示対象のフレームが最終フレームであるか否かを判定する（ステップＳ５２）。最終フレームである場合には（ステップＳ５２：Ｙｅｓ）、本処理は終了する。一方で、最終フレームで無い場合には（ステップＳ５２：Ｎｏ）、上述したステップＳ４４〜Ｓ５０が繰り返される。これにより、図１３〜図１９に示すように、表示画面３０に階層化された代表フレームと暗示画像が表示されることとなる。
【００９５】
（２−４．まとめ）
第２実施形態によれば、第１実施形態と同様に、１つの動画像データについて、複数の代表フレームを表示すると共に、代表フレーム以外のフレームについて暗示画像を作成して表示することで、より多くの情報を表示画面に表示できる。また、複数の代表フレーム間の時間経過をユーザーが認識できるので、動画像の内容をより適切に把握することができる。
【００９６】
また、第２実施形態においては、代表フレームに表示ランクを設定し、表示ランクに応じて表示を制御するので、動画像の全体像の把握がより容易なものとなる。
【００９７】
＜３．その他の実施形態＞
以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。
【００９８】
上記の実施形態では、代表画像が表示される表示画面として検索画面を例に挙げて説明したが、これに限定されない。例えば、表示画面は、動画像を閲覧する閲覧画面や、動画像を編集する編集する編集画面等であっても良い。
【００９９】
また、上記の実施形態で説明した一連の処理は、専用のハードウエアにより実行させてもよいが、ソフトウエア（アプリケーション）により実行させてもよい。一連の処理をソフトウエアにより行う場合、汎用又は専用のコンピュータにプログラムを実行させることにより、上記の一連の処理を実現することができる。
【０１００】
また、上記の実施形態のフローチャートに示されたステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的に又は個別的に実行される処理をも含む。また時系列的に処理されるステップでも、場合によっては適宜順序を変更することが可能であることは言うまでもない。
【符号の説明】
【０１０１】
１０ 動画像処理装置
１２ 記憶部
１４ データ取得部
１６ フレーム選択部
１８ 代表色作成部
２０ 代表画像表示部
４０ 動画像処理装置
５０ データ蓄積部
５２ 読込み部
１１０ 動画像処理装置
１２２ ランク入力部
１２４ 入力履歴蓄積部
１２６ 階層化表示部
【技術分野】
【０００１】
本発明は、動画像処理装置、動画像処理方法、及びプログラムに関する。
【背景技術】
【０００２】
近年、音楽や映像等に関する動画像（すなわちコンテンツ）をネットワーク等を介して外部のサーバ等から取得し、ユーザーにより指定されたコンテンツを再生する技術が知られている。
【０００３】
ところで、動画像は複数のフレーム（静止画像）で構成されている。例えば動画像の検索時には、動画像を代表する一つのフレーム（画像）がサムネイル画像として表示されている（特許文献１参照）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００７−１６４２９８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかし、一つのフレーム（代表フレーム）のみがサムネイル画像として表示されるので、動画像の断片的な情報しか表示されず、動画像の内容を適切に把握することができないという問題がある。
【０００６】
そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、動画像の代表フレームが表示されている際にユーザーが動画像の内容を適切に把握可能な、新規かつ改良された動画像処理装置、動画像処理方法、及びプログラムを提供することにある。
【課題を解決するための手段】
【０００７】
上記課題を解決するために、本発明のある観点によれば、一の動画像を構成するフレーム群から、前記動画像を代表する複数の代表フレームを選択する代表フレーム選択部と、前記フレーム群のうちの前記代表フレームに選択されなかった非選択フレーム毎に、少なくともフレーム画像の色情報と輝度情報のいずれか一方を暗示する暗示画像を生成する暗示画像生成部と、前記代表フレーム選択部により選択された前記代表フレームを表示する際に、前記暗示画像生成部により生成された前記暗示画像を前記代表フレームに隣接して表示する表示制御部とを備える、動画像処理装置が提供される。
【０００８】
また、前記表示制御部は、前記暗示画像として線分で示される線分画像を、前記代表フレームに隣接して表示することとしても良い。
【０００９】
また、前記表示制御部は、複数の前記非選択フレームの各々に対応する前記線分画像を、前記複数の非選択フレームの前記フレーム群における構成順に複数並べて表示することとしても良い。
【００１０】
また、前記表示制御部は、複数の前記代表フレームを表示する際に、一の前記代表フレームに隣接する前記線分画像の数と、他の前記代表フレームに隣接する前記線分画像の数とを異ならせて表示することとしても良い。
【００１１】
また、前記表示制御部は、複数の前記代表フレームを、互いに離隔した状態で所定の配列方向に沿って表示し、前記フレーム群の構成順において二つの前記代表フレームの間に位置する前記非選択フレームに対応する前記暗示画像を、前記配列方向において前記二つの前記代表フレームの間に表示することとしても良い。
【００１２】
また、前記暗示画像生成部は、一つの前記非選択フレームを複数の領域に分割したときに、各領域に対応する複数の暗示部から構成される前記暗示画像を生成することとしても良い。
【００１３】
また、前記代表フレーム選択部は、前記フレーム群の構成順において間隔が等間隔であるように複数の前記代表フレームを選択することとしても良い。
【００１４】
また、前記代表フレーム選択部は、前記フレーム群の構成順において間隔が等間隔でないように複数の前記代表フレームを選択することとしても良い。
【００１５】
また、前記複数の代表フレームの各々に対して表示ランクを設定するランク設定部を更に備え、前記表示制御部は、選択された前記複数の代表フレームのうちの、所定の前記表示ランク以上に設定された前記代表フレームを表示し、所定の前記表示ランク未満に設定された前記代表フレームを表示しないこととしても良い。
【００１６】
更に、上記課題を解決するために、本発明の別の観点によれば、一の動画像を構成するフレーム群から、前記動画像を代表する複数の代表フレームを選択するステップと、前記フレーム群のうちの前記代表フレームに選択されなかった非選択フレーム毎に、少なくともフレーム画像の色情報と輝度情報のいずれか一方を暗示する暗示画像を生成するステップと、選択された前記代表フレームを表示する際に、生成された前記暗示画像を前記代表フレームに隣接して表示するステップとを含む、動画像処理方法が提供される。
【００１７】
更に、上記課題を解決するために、本発明の別の観点によれば、一の動画像を構成するフレーム群から、前記動画像を代表する複数の代表フレームを選択するステップと、前記フレーム群のうちの前記代表フレームに選択されなかった非選択フレーム毎に、少なくともフレーム画像の色情報と輝度情報のいずれか一方を暗示する暗示画像を生成するステップと、選択された前記代表フレームを表示する際に、生成された前記暗示画像を前記代表フレームに隣接して表示するステップとをコンピュータに実行させるためのプログラムが提供される。
【発明の効果】
【００１８】
以上説明したように本発明によれば、動画像の代表フレームが表示されている際にユーザーが動画像の内容を適切に把握できる。
【図面の簡単な説明】
【００１９】
【図１】第１の実施形態に係る動画像処理装置１０の構成を示すブロック図である。
【図２】複数の代表フレームと暗示画像の表示例を示す図である。
【図３】一つの動画像データからの複数の代表フレームの抽出例を説明するための図である。
【図４】暗示画像の構成を説明するための図である。
【図５】一つの動画像データからの複数の代表フレームの抽出例を説明するための図である。
【図６】一つのフレームに対して生成される複数の線分画像を示す図である。
【図７】複数の代表フレームと暗示画像の表示例を示す図である。
【図８】第１実施形態に係る動画像処理装置１０の動作例を説明するためのフローチャートである。
【図９】変形例に係る動画像処理装置４０の構成を示すブロック図である。
【図１０】変形例に係る動画像処理装置４０の動作例を説明するためのフローチャートである。
【図１１】比較例を説明するための図である。
【図１２】第２の実施形態に係る動画像処理装置１１０の構成を示すブロック図である。
【図１３】代表画像の階層化表示の表示例を説明するための図である。
【図１４】代表画像の階層化表示の他の表示例を説明するための図である。
【図１５】代表画像の階層化表示の他の表示例を説明するための図である。
【図１６】代表画像の階層化表示の他の表示例を説明するための図である。
【図１７】代表画像の階層化表示の他の表示例を説明するための図である。
【図１８】暗示画像中の下位の表示ランクの代表フレームの位置を示すマークを説明するための図である。
【図１９】暗示画像中の下位の表示ランクの代表フレームの位置を示すマークを説明するための図である。
【図２０】第２実施形態に係る動画像処理装置１１０の動作例を説明するためのフローチャートである。
【発明を実施するための形態】
【００２０】
以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【００２１】
なお、説明は以下の順序で行うものとする。
１．第１の実施形態
１−１．第１の実施形態に係る動画像処理装置の構成
１−２．代表フレームと暗示画像の表示
１−３．第１の実施形態に係る動画像処理装置の動作
１−４．変形例
１−５．まとめ
２．第２の実施形態
２−１．第２の実施形態に係る動画像処理装置の構成
２−２．代表画像の階層化表示
２−３．第２の実施形態に係る動画像処理装置の動作
２−４．まとめ
３．その他の実施形態
【００２２】
＜１．第１の実施形態＞
（１−１．第１の実施形態に係る動画像処理装置の構成）
第１の実施形態に係る動画像処理装置１０の構成例ついて、図１を参照しながら説明する。図１は、第１の実施形態に係る動画像処理装置１０の構成を示すブロック図である。
【００２３】
動画像処理装置１０は、記憶部１２と、データ取得部１４と、代表フレーム選択部（以下、フレーム選択部と呼ぶ）１６と、フレーム代表色作成部（以下、代表色作成部と呼ぶ）１８と、代表画像表示部２０を有する。なお、代表色作成部１８が暗示画像生成部に該当し、代表画像表示部２０が表示制御部に該当する。
【００２４】
記憶部１２は、再生可能な動画像データを記憶する。例えば、記憶部１２は、ネットワーク等を介して外部のサーバ等からダウンロードした動画像データを記憶する。ここで、動画像データは、フレーム形式の画像データである。すなわち、動画像データは、静止画像であるフレーム群から構成される。なお、動画像データは、画像データと音声データの組み合わせであっても良い。記憶部１２は、動画像のサムネイル画像（以下においては、代表画像とも呼ぶ）の表示処理や、動画像の再生処理に用いられるプログラムデータ等も記憶している。
【００２５】
データ取得部１４は、記憶部１２に記憶された動画像データを取得し、フレーム選択部１６に出力する。データ取得部１４は、記憶部１２に記憶された動画像データだけでなく、外部装置から取得しても良い。
【００２６】
フレーム選択部１６は、動画像を構成するフレーム群から、動画像を代表する複数の代表フレームを選択する。ここで、代表フレームとして選択されるフレームの数は、一定では無く、動画像毎に異なる。例えば、詳細は後述するが、フレーム選択部１６は、フレーム群の構成順において間隔が等間隔である複数のフレームを代表フレームとして選択する。ただし、これに限定されず、フレーム選択部１６は、フレーム群の構成順において間隔が等間隔で無い複数のフレームを代表フレームとして選択しても良い。
【００２７】
代表色作成部１８は、動画像を構成するフレーム群のうちの代表フレームに選択されなかった非選択フレーム毎に、フレーム画像の代表色を暗示する暗示画像を生成する。ここで、代表色は、一つのフレーム画像全体を特徴づける色であり、例えば背景色等のように画像において最も使用されている色である。ユーザーは、代表色を識別することで、どのようなフレーム画像が存在するかを推測できる。
【００２８】
代表画像表示部２０は、動画像を代表する代表画像を表示画面に表示する。代表画像表示部２０は、１つの動画像の代表画像として、フレーム選択部１６により選択された複数の代表フレームを並べて表示する。代表画像表示部２０は、複数の代表フレームを、互いに離隔した状態で所定の配列方向に沿って表示する（図２参照）。
【００２９】
また、代表画像表示部２０は、代表画像を表示する際に、代表色作成部１８により生成された暗示画像を代表フレームに隣接して表示する。詳細は後述するが、代表画像表示部２０は、フレーム群の構成順において二つの代表フレームの間に位置する非選択フレームに対応する暗示画像を、配列方向において二つの代表フレームの間に表示する（図２参照）。
【００３０】
ここで、暗示画像は、線分で示される線分画像である。代表画像表示部２０は、詳細は後述するが、複数の非選択フレームの各々に対応する線分画像を、複数の非選択フレームのフレーム群における構成順に並べて、代表フレームに隣接して表示する（図４参照）。また、代表画像表示部２０は、複数の代表フレームを表示する際に、一の代表フレームに隣接する線分画像の数と、他の代表フレームに隣接する線分画像の数とを異ならせて表示しても良い（図５参照）。
【００３１】
上述した構成において、データ取得部１４、フレーム選択部１６、代表色作成部１８、代表画像表示部２０は、ＣＰＵ等の演算処理装置により構成される。記憶部１２は、フラッシュメモリ等の内部記憶装置、ハードディスクドライブ等の外部記憶装置により構成される。ＣＰＵは、ＲＯＭ等から読み出されたプログラムを実行することで、動画像処理方法を実現する。
【００３２】
（１−２．代表フレームと暗示画像の表示）
動画像の代表画像として代表フレーム及び暗示画像を表示する表示例について、図２を参照しながら説明する。図２は、複数の代表フレームと暗示画像の表示例を示す図である。図２の表示画面３０には、５つの代表フレームＲ１〜Ｒ５と、各代表フレームに隣接した暗示画像Ｐ１〜Ｐ５とが示されている。
【００３３】
第１の実施形態に係る動画像処理装置１０は、一つの動画像データについて複数の代表フレームを並べて表示画面３０に表示する。これらの代表フレームは、動画像データを構成するフレーム群から抽出されたものである。複数の代表フレームの並び順は、フレームの構成順に従っている。なお、表示される代表フレームの数は、動画像データに応じて異なるものとする。
【００３４】
また、動画像処理装置１０は、代表フレームＲ１〜Ｒ５に隣接した位置に暗示画像Ｐ１〜Ｐ５を表示する。暗示画像は、動画像データにおける代表フレーム以外のフレーム（非選択フレーム）の色情報等を暗示する画像であり、代表フレーム同士の間に表示されている。暗示画像の詳細については、後述する。
【００３５】
なお、図２においては、表示画面３０に１つの動画像の代表フレームが表示されているが、もちろん複数の動画像の代表フレームを表示しても良い。かかる場合には、各動画像に対して、複数の代表フレームが表示されることとなる。これにより、例えば複数の動画像の中から所望の動画像を検索する検索画面として表示画面３０を適用すれば、各動画像の内容を適切に把握できるので、ユーザーが各動画像を視聴せずとも所望の動画像を選択できる。
【００３６】
以下においては、説明の便宜上、一つの動画像データから複数の代表フレーム及び暗示画像を表示するまでの流れの概要について説明する。
【００３７】
図３は、一つの動画像データからの複数の代表フレームの抽出例を説明するための図である。ここでは、説明の便宜上、一つの動画像データが３０個のフレームから構成されている（実際には、より多数のフレームから構成されている）ものとする。図３では、１番目のフレームＩ１、７番目のフレームＩ７、１３番目のフレームＩ１３、１９番目のフレームＩ１９、２５番目のフレームＩ２５が、代表フレームＲ１〜Ｒ５として選択されている。すなわち、フレーム群における一定間隔のフレームが、代表フレームとして選択されている。
【００３８】
動画像を構成する３０個のフレームのうち代表フレームに選択されなかった非選択フレームについては、暗示画像として表示される。フレームＩ２〜Ｉ６は暗示画像Ｐ１として、フレームＩ８〜Ｉ１２は暗示画像Ｐ２として、フレームＩ１４〜Ｉ１８は暗示画像Ｐ３として、フレームＩ２０〜Ｉ２４は暗示画像Ｐ４として、フレームＩ２６〜Ｉ３０は暗示画像Ｐ５として、それぞれ表示される。これらの暗示画像は、各代表フレームの間にどのようなフレームが存在するかをユーザーに暗示させる。
【００３９】
ここで、暗示画像の構成について図４を参照しながら説明する。図４は、暗示画像の構成を説明するための図である。５つの暗示画像Ｐ１〜Ｐ５の構成は同様であるので、ここでは暗示画像Ｐ１を例に挙げて説明する。暗示画像Ｐ１は、複数の線分画像Ｌ１、Ｌ２、Ｌ３等から構成されている。すなわち、図３に示す矩形状の暗示画像は、多数の線分の集合である。なお、暗示画像Ｐ１を構成する線分画像の数は、フレームＩ２〜Ｉ６に対応する６個であるが、図３においては説明の便宜上、線分画像の数を多くしている（暗示画像Ｐ２〜Ｐ５についても同様）。各線分画像は、対応する非選択フレームの画像の代表色を示している。例えば、線分画像Ｌ１はフレームＩ１の画像の代表色を示し、線分画像Ｌ２はフレームＩ２の画像の代表色を示す。
【００４０】
なお、暗示画像として線分画像を例に挙げて説明したが、これに限定されない。例えば、暗示画像は、フレームの縮小画像（代表フレームよりも微小な画像）や、線以外の形状を示す画像であっても良い。また、暗示画像は、フレーム画像の色情報を示す画像であることとしたが、これに限定されない。例えば、暗示画像は、フレーム画像の輝度情報を示す画像であっても良い。
【００４１】
上述した図３では、代表フレームとして、フレーム群において一定間隔の非選択フレームが選択されることとしたが、これに限定されず、図５に示すように間隔が一定で無い非選択フレームが選択されることとしても良い。図５は、一つの動画像データからの複数の代表フレームの抽出例を説明するための図である。
【００４２】
図５においては、１番目のフレームＩ１、７番目のフレームＩ７、１５番目のフレームＩ１５、１９番目のフレームＩ１９、２３番目のフレームＩ２３が、代表フレームＲ１〜Ｒ５として選択されている。一方で、フレームＩ２〜Ｉ６は暗示画像Ｐ１として、フレームＩ８〜Ｉ１４は暗示画像Ｐ２として、フレームＩ１６〜Ｉ１８は暗示画像Ｐ３として、フレームＩ２０〜Ｉ２３は暗示画像Ｐ４として、フレームＩ２４〜Ｉ３０は暗示画像Ｐ５として、表示される。各暗示画像を構成するフレームの数が異なるので、５つの暗示画像Ｐ１〜Ｐ５の長さも一定では無い。すなわち、暗示画像Ｐ３、Ｐ４の長さが小さく（暗示画像を構成する線分画像の数が少ない）、暗示画像Ｐ２、Ｐ５の長さが大きい（暗示画像を構成する線分画像の数が多い）。これにより、代表フレーム間にあるフレームの数（又は、時間経過）も、暗示できる。
【００４３】
また、上述した図４では、一つのフレームの画像の代表色を示す画像として、一つの線分画像が生成されることとしたが、これに限定されない。例えば、図６に示すように、一つのフレームの画像を複数の領域に分割し、各領域に対応する線分画像をそれぞれ生成することとしても良い。
【００４４】
図６は、一つのフレームに対して生成される複数の線分画像を示す図である。図６では、一つのフレームの画像を３つの領域（第１領域、第２領域、第３領域）に分割するものとする。ただし、フレームの分割数は３つに限られず、例えば分割数が２つ又は４つ以上であっても良い。分割された各領域に対して、それぞれ線分画像が生成される。具体的には、第１領域については第１線分画像Ｌ２８ａが、第２領域については第２線分画像Ｌ２８ｂが、第３領域については第３線分画像Ｌ２８ｃが、それぞれ生成される。図６では３つの領域に含まれる画像が異なるので、３つの線分画像Ｌ２８ａ、Ｌ２８ｂ、Ｌ２８ｃが示す色は異なる。
【００４５】
生成された３つの線分画像の暗示画像としての表示例について、図７を参照しながら説明する。図７は、複数の代表フレームと暗示画像の表示例を示す図である。図２に示した表示例と異なる点は、暗示画像Ｐ１〜Ｐ５が３つの暗示部を有していることにある。例えば、暗示画像Ｐ１は、第１暗示部Ｐ１ａと、第２暗示部Ｐ１ｂと、第３暗示部Ｐ１ｃを有する。第１暗示部Ｐ１ａは、各フレームの第１線分画像（図６の第１線分画像）の集まりであり、第２暗示部Ｐ１ｂは、各フレームの第２線分画像の集まりであり、第３暗示部Ｐ１ｃは、各フレームの第３線分画像の集まりである。このように複数の暗示部で表示することで、非選択フレームの画像の色情報をより細かく表示できる。
【００４６】
（１−３．第１実施形態に係る動画像処理装置の動作）
次に、代表フレームと暗示画像を表示する際の動画像処理装置１０の動作例（動画像処理方法）について、図８を参照しながら説明する。図８は、第１実施形態に係る動画像処理装置１０の動作例を説明するためのフローチャートである。図８のフローチャートは、例えば動画像を検索する検索画面にアクセスしたところから開始される。
【００４７】
まず、データ取得部１４が、動画像データを取得する（ステップＳ２）。例えば、データ取得部１４は、記憶部１２から再生対象の動画像データを取得する。
【００４８】
フレーム選択部１６は、取得した動画像データからフレームを切り出す（ステップＳ４）。すなわち、フレーム選択部１６は、動画像データを構成するフレーム群の最初のフレームを切り出す。
【００４９】
次に、フレーム選択部１６は、切り出したフレームが代表フレームであるか否かを判定する（ステップ６）。切り出したフレームが代表フレームである場合には（ステップＳ６：Ｙｅｓ）、フレーム選択部１６は、切り出したフレームを代表画像表示部２０に送る。代表画像表示部２０は、受信した代表フレームを表示する（ステップＳ８）。なお、代表画像表示部２０は、代表フレームを縮小して表示する。
【００５０】
一方で、切り出したフレームが代表フレームで無い場合には（ステップＳ６：Ｎｏ）、フレーム選択部１６は、切り出したフレームを代表色作成部１８に送る。代表色作成部１８は、図４に示すように、受信したフレームの画像の代表色（暗示画像）を作成する（ステップＳ１０）。代表色作成部１８は、作成した代表色を代表画像表示部２０に送る。代表画像表示部２０は、受信した代表色を表示する（ステップＳ１２）。
【００５１】
次に、フレーム選択部１６は、切り出されたフレームが動画像データの最終フレームであるか否かを判定する（ステップＳ１４）。最終フレームである場合には（ステップＳ１４：Ｙｅｓ）、本処理は終了する。一方で、最終フレームで無い場合には（ステップＳ１４：Ｎｏ）、上述したステップＳ４〜Ｓ１２が繰り返される。これにより、図２や図７に示すように、１つの動画像の代表画像として、表示画面３０に複数の代表フレームと暗示画像が表示されることとなる。
【００５２】
なお、上記においては、１つの動画像の代表フレームと暗示画像の表示処理（動画像処理方法）について説明したが、複数の動画像の場合には、上述した処理（ステップＳ２〜Ｓ１４）が繰り返される。すなわち、代表画像を表示する対象の動画像が増える度に、表示画面（検索画面）が更新されることとなる。これにより、検索画面に表示された各動画像に対応した複数の代表フレーム及び暗示画像に基づいて、所望の動画像をユーザーが選択できる。
【００５３】
（１−４．変形例）
変形例に係る動画像処理装置４０の構成例について、図９を参照しながら説明する。図９は、変形例に係る動画像処理装置４０の構成を示すブロック図である。
【００５４】
上述した動画像処理装置１０は、代表フレーム以外のフレームの代表色（暗示画像）を作成した直後に、表示画面に複数の代表フレームと暗示画像を表示することとした。これに対して、動画像処理装置４０は、代表フレームと代表色に関する情報を一旦記憶しておき、その後に必要に応じて表示する。
【００５５】
動画像処理装置４０は、図９に示すように、記憶部４２と、データ取得部４４と、フレーム選択部４６と、代表色作成部４８と、データ蓄積部５０と、読込み部５２と、代表画像表示部５４を有する。
【００５６】
記憶部４２と、データ取得部４４と、フレーム選択部４６と、代表色作成部４８は、それぞれ図１に示す記憶部１２、データ取得部１４、フレーム選択部１６、代表色作成部１８と同様である。このため、これらの構成の詳細については説明を省く。
【００５７】
データ蓄積部５０は、フレーム選択部１６により選択された代表フレームに関する情報と、代表色作成部４８が作成したフレームの暗示画像を記憶する。すなわち、動画像処理装置４０は、取得した動画像データの代表フレームを直ぐに表示するのでは無く、動画像データの代表フレームや暗示画像に関する情報を一旦記憶する。
【００５８】
読込み部５２は、例えばユーザーによる動画像データの代表フレームの表示命令を受信すると、データ蓄積部５０に蓄積されたデータ（動画像データの代表フレームや暗示画像に関する情報）を読み出して、代表画像表示部５４に送る。
【００５９】
代表画像表示部５４は、読込み部５２から送られたデータに基づいて、図２に示すように、複数の代表フレームと暗示画像を表示画面３０に表示させる。なお、代表画像表示部５４による表示は、図１の代表画像表示部２０と同様である。
【００６０】
次に、代表フレームと暗示画像の表示を表示する際の動画像処理装置４０の動作例について、図１０を参照しながら説明する。図１０は、変形例に係る動画像処理装置４０の動作例を説明するためのフローチャートである。図１０のフローチャートは、動画像の代表フレームが既に選択され、また動画像の非選択フレームの代表色が既に作成されたところから開始される。
【００６１】
まず、読込み部５２は、データ蓄積部５０に蓄積された動画像データ（動画像データの代表フレームや暗示画像に関する情報）を読み出し（ステップＳ２２）、代表画像表示部５４に送る。
【００６２】
代表画像表示部５４は、受信した動画像データを構成するフレーム群のフレームを順番に読み出して、表示を制御する。具体的には、代表画像表示部５４は、読み出したフレームが代表フレームである場合には（ステップＳ２４：Ｙｅｓ）、代表フレームを表示する（ステップＳ２６）。一方で、読み出したフレームが代表フレームで無い場合には（ステップＳ２４：Ｎｏ）、代表画像表示部５４は、フレームの画像の代表色を表示する（ステップＳ２８）。
【００６３】
次に、代表画像表示部５４は、読み出したフレームが動画像データの最終フレームであるか否かを判定する（ステップＳ３０）。最終フレームである場合には（ステップＳ３０：Ｙｅｓ）、本処理は終了する。一方で、最終フレームで無い場合には（ステップＳ３０：Ｎｏ）、上述したステップＳ２４〜Ｓ２８が繰り返される。これにより、図２や図７に示すように、１つの動画像の代表画像として、表示画面に複数の代表フレーム及び暗示画像が表示されることとなる。
【００６４】
（１−５．まとめ）
第１実施形態によれば、１つの動画像の代表画像として、複数の代表フレームが表示されると共に、代表フレーム以外の非選択フレームについて暗示画像（画像の代表色を示す線分画像）が作成されて表示される。これにより、動画像に関するより多くの情報を表示画面に表示できるので、ユーザーは動画像の内容を把握しやすくなる。
【００６５】
また、非選択フレームの暗示画像を表示することで、代表フレーム以外のフレームをわざわざ見る必要が無くなるので、ユーザーに対しての閲覧負荷を下げられ、ユーザーが同一時間内で閲覧できる画像数や映像量を増やすことができる。更に、複数の代表フレームを表示することで、動画像を視聴しなくても、１つの動画像全体のバランスを予見することができる。
【００６６】
ここで、図１１に示す比較例と対比しながら、より詳しく説明する。図１１は、比較例を説明するための図であり、複数の代表フレームを表示する２つの表示状態１、２を対比するための図である。なお、２つの表示状態１、２には、暗示画像が表示されない。表示状態１には、代表フレームとして、図３に示す３０個のフレームのうち、１番目のフレームＩ１、７番目のフレームＩ７、１３番目のフレームＩ１３、１９番目のフレームＩ１９、２５番目のフレームＩ２５が示されている。表示状態２には、代表フレームとして、１番目のフレームＩ１、８番目のフレームＩ８、１４番目のフレームＩ１４、２２番目のフレームＩ２２、２７番目のフレームＩ２７が示されている。
【００６７】
表示状態１と表示状態２を比較すると、上下のフレームが同じフレームであるとユーザーは誤解してしまう。図１１に見ると分かるように、例えば、フレームＩ７とフレームＩ８、フレームＩ１９とフレームＩ２２にほとんど差が無い。このため、ユーザーにとっては、表示状態１と表示状態２を同じものであると錯覚してしまう。
【００６８】
これに対して、上述した動画像処理装置１０、４０によれば、複数の代表フレームの間に暗示画像を表示することで、複数の代表フレーム間の時間経過をユーザーが認識できる。特に、複数の代表フレーム間の時間間隔が等間隔で無い場合に、より有効性が発揮される。このように、本実施形態においては、複数の代表フレームを単に静止画の束として見るのではなく、時間的な連なりに着目して表示する点に特徴がある。
【００６９】
＜２．第２の実施形態＞
（２−１．第２の実施形態に係る動画像処理装置の構成）
第２の実施形態に係る動画像処理装置１１０の構成例ついて、図１２を参照しながら説明する。図１２は、第２の実施形態に係る動画像処理装置１１０の構成を示すブロック図である。
【００７０】
上述した動画像処理装置１０は、代表フレーム以外のフレームの代表色（暗示画像）を作成し、表示画面に複数の代表フレームと暗示画像を表示することとした。これに対して、動画像処理装置１１０においては、表示画面に表示される代表フレームの数が、表示ランクに応じて変更可能である。また、代表フレームの表示数の変更に伴い、暗示画像の表示も変更される。
【００７１】
動画像処理装置１１０は、図１２に示すように、記憶部１１２と、データ取得部１１４と、フレーム選択部１１６と、代表色作成部１１８と、代表画像表示部１２０と、ランク設定部の一例であるランク入力部１２２と、入力履歴蓄積部１２４と、階層化表示部１２６を有する。なお、第２実施形態においては、代表画像表示部１２０及び階層化表示部１２６が表示制御部に該当する。
【００７２】
記憶部１１２と、データ取得部１１４と、フレーム選択部１１６と、代表色作成部１１８と、代表画像表示部１２０は、それぞれ図１に示す記憶部１２、データ取得部１４、フレーム選択部１６、代表色作成部１８、代表画像表示部２０と同様である。このため、これらの構成の詳細については説明を省く。
【００７３】
ランク入力部１２２は、代表フレームに表示ランクを設定するためのものである。表示ランクとしては、例えば、ランク１、ランク２、ランク３等が設定される。ランク１が下位ランクであり、ランク３が上位ランクである。
【００７４】
入力履歴蓄積部１２４は、ランク入力部１２２による過去の入力履歴を記憶する。例えば、一の代表フレームに対して過去に設定した表示ランクを記憶したり、表示ランクの更新を記憶する。また、入力履歴蓄積部１２４は、表示ランクの更新頻度を記憶しても良い。
【００７５】
階層化表示部１２６は、設定された表示ランクに応じて、代表画像を階層化して表示する。つまり、階層化表示部１２６は、設定された表示ランクに応じて、代表画像としての代表フレームの表示数を変更する。具体的には、階層化表示部１２６は、ユーザーの操作（表示ランクの切替操作）に応じて、ランク１〜３が混在している複数の代表フレームの中のランク２以上の代表フレームを表示したり、ランク３以上の代表フレームのみを表示する。
【００７６】
また、階層化表示部１２６は、入力履歴蓄積部１２４に記憶された入力履歴を参照して、代表画像を階層化して表示する。例えば、同じ表示ランクの代表フレームが複数存在する場合には、入力履歴を参照して表示ランクの更新頻度が多い代表フレームを優先して表示画面に表示する。これは、表示画面のサイズが限られて表示できる代表フレームの数が限定されている場合に、有効である。
【００７７】
（２−２．代表画像の階層化表示）
代表画像の階層化表示の表示例について、図１３を参照しながら説明する。図１３は、代表フレームの階層化表示の表示例を説明するための図である。
【００７８】
図１３には、複数の代表フレームＲ１〜Ｒ５と、暗示画像Ｐ１〜Ｐ５が表示されている。複数の代表フレームＲ１〜Ｒ５には、それぞれ表示ランクが設定されている。具体的には、代表フレームＲ１、Ｒ２の表示ランクはランク２であり、代表フレームＲ３の表示ランクはランク１であり、代表フレームＲ４の表示ランクはランク２であり、代表フレームＲ５の表示ランクはランク１である。なお、フレーム群のうちの代表フレームで無い非選択フレームは、ランク０であるものとする。
【００７９】
かかる場合に、表示ランク２以上の代表フレームを表示させるように、ユーザーが操作を行うと、５つの代表フレームＲ１〜Ｒ５のうちのランク２以上の代表フレームＲ１、代表フレームＲ２、代表フレームＲ４が表示される。
【００８０】
また、ランク２以上の代表フレームが表示されることに伴い、暗示画像Ｐ１〜Ｐ５の表示も変化する。すなわち、代表フレームＲ２と代表フレームＲ４の間の非選択フレーム及び代表フレームＲ３の線分画像が、暗示画像Ｐ２として表示される。また、代表フレームＲ４以降の非選択フレーム及び代表フレームＲ５の線分画像が、暗示画像Ｐ４として表示される。階層化して代表フレームの表示数が減ると、暗示画像の長さが長くなる（各暗示画像の線分画像の数が増える）。
【００８１】
代表画像の階層化表示の表示例は、図１３に示す表示例に限定されない。以下に説明する図１４〜図１６に示す表示例であっても良い。以下においては、図１４〜図１６を参照しながら、階層化表示の他の表示例を説明する。なお、図１４〜図１６においても図１３と同様に、表示ランクがランク２以上の代表フレームＲ１、Ｒ２、Ｒ４を表示するものとする。
【００８２】
図１４は、代表画像の階層化表示の他の表示例を説明するための図である。図１３の表示例との違いは、暗示画像の表示方法にある。図１３では、代表フレームでない非選択フレームが暗示画像として表示されている。これに対して、図１４では、代表フレームでは無いフレームの暗示画像は非表示になる一方で、ランク１の代表フレームＲ３を示す暗示画像Ｐ１１と、代表フレームＲ５を示す暗示画像Ｐ１２が表示される。なお、暗示画像Ｐ１１、Ｐ１２を構成する複数の線分画像は、それぞれ代表フレームＲ３、Ｒ５の色情報を示す画像である。
【００８３】
かかる場合には、上位の表示ランクの代表フレームが表示された際に、下位の表示ランクの代表フレームの存在をユーザーが容易に認識できる。このため、ユーザーは、再度、下位の表示ランクの代表フレームを表示し易くなる。
【００８４】
図１５は、代表画像の階層化表示の他の表示例を説明するための図である。図１３の表示例との違いは、暗示画像の表示方法にある。図１３では、暗示画像Ｐ１、Ｐ２、Ｐ４の表示の長さが異なっていた。これに対して、図１５の暗示画像Ｐ２１、Ｐ２２、Ｐ２３の表示の長さは同じである。暗示画像Ｐ２１は図１３の暗示画像Ｐ１と同様であるが、暗示画像Ｐ２２、Ｐ２３は、図１３の暗示画像Ｐ２、Ｐ４の長さを圧縮した画像（線分画像の数を減らした画像）となっている。
【００８５】
図１６は、代表画像の階層化表示の他の表示例を説明するための図である。図１３の表示例との違いは、暗示画像の表示方法にある。図１６の暗示画像Ｐ３１、Ｐ３２、Ｐ３３は、図１３の暗示画像Ｐ１、Ｐ２、Ｐ４の長さを同じ比率で圧縮（線分画像の数を半減）しており、それぞれ一つの矩形になっている。
【００８６】
図１５と図１６の表示例の場合には、例えば図１３の表示例の場合に比べて暗示画像が大きくなることを防止できるので、表示画面の表示サイズを有効に活用でき、この結果、代表フレームの表示数を増やすことも可能となる。
【００８７】
図１７は、代表画像の階層化表示の他の表示例を説明するための図である。図１７では、各代表フレームの表示ランクを、マークとして代表フレーム内に表示させている。すなわち、各代表フレームの右下に矩形のマークＭが重畳して表示されており、矩形のマークＭの数が表示ランクを示している。例えば、ランク２の代表フレームＲ１には矩形のマークが２つ含まれ、ランク３の代表フレームＲ２には矩形のマークが３つ含まれ、ランク１の代表フレームＲ３には矩形のマークが１つ含まれている。これにより、ユーザーは、マーク数を数えることで、容易に代表フレームの表示ランクを認識できる。
【００８８】
図１８と図１９は、暗示画像中の下位の表示ランクの代表フレームの位置を示すマークを説明するための図である。図１８と図１９では、表示ランク３の代表フレームＲ２が表示されているものとし、表示ランク２以下の代表フレームの位置が暗示画像中にマークとして表示されている。具体的には、ランク２の代表フレームＲ１の位置がマークＭ１で、代表フレームＲ３の位置がマークＭ２で、代表フレームＲ４の位置がマークＭ３で、代表フレームＲ５の位置がマークＭ４で、それぞれ暗示画像に重畳して示されている。
【００８９】
なお、図１８では、マークＭ１〜Ｍ４の幅を大きくすることで、代表フレームの位置を示している。図１９では、マークＭ１〜Ｍ４内にランクを示す数字が示されている。これにより、ユーザーは、上位の表示ランクの代表フレームが表示されている際に、下位の表示ランクの代表フレームの位置を容易に識別できる。
【００９０】
（２−３．第２の実施形態に係る動画像処理装置の動作）
次に、代表フレームを階層化表示する際の動画像処理装置１１０の動作例（動画像処理方法）について、図２０を参照しながら説明する。図２０は、第２実施形態に係る動画像処理装置１１０の動作例を説明するためのフローチャートである。
【００９１】
まず、動画像処理装置１１０は、記憶部１１２から動画像データを取得する（ステップＳ４２）。そして、動画像処理装置１１０は、動画像データを構成するフレーム群から代表フレームを選択し、選択されなかったフレームの画像の代表色を作成する。
【００９２】
次に、動画像処理装置１１０は、フレーム群の構成順にフレームの表示を制御する。動画像処理装置１１０は、１つ目のフレームが代表フレームであるか否かを判定する（ステップＳ４４）。１つ目のフレームが代表フレームである場合には（ステップＳ４４：Ｙｅｓ）、動画像処理装置１１０は、次に所定の表示ランク以上であるか否かを判定する（ステップＳ４６）。１つ目のフレームが所定の表示ランク以上である場合には（ステップＳ４６：Ｙｅｓ）、動画像処理装置１１０は、代表フレームを表示画面３０に表示する（ステップＳ４８）。
【００９３】
一方で、ステップＳ４４において代表フレームで無い場合には、動画像処理装置１１０は、フレーム画像の代表色を表示する（ステップＳ５０）。また、ステップＳ４６において所定の表示ランク未満である場合には、フレーム画像の代表色を表示する（ステップＳ５０）。
【００９４】
次に、動画像処理装置１１０は、表示対象のフレームが最終フレームであるか否かを判定する（ステップＳ５２）。最終フレームである場合には（ステップＳ５２：Ｙｅｓ）、本処理は終了する。一方で、最終フレームで無い場合には（ステップＳ５２：Ｎｏ）、上述したステップＳ４４〜Ｓ５０が繰り返される。これにより、図１３〜図１９に示すように、表示画面３０に階層化された代表フレームと暗示画像が表示されることとなる。
【００９５】
（２−４．まとめ）
第２実施形態によれば、第１実施形態と同様に、１つの動画像データについて、複数の代表フレームを表示すると共に、代表フレーム以外のフレームについて暗示画像を作成して表示することで、より多くの情報を表示画面に表示できる。また、複数の代表フレーム間の時間経過をユーザーが認識できるので、動画像の内容をより適切に把握することができる。
【００９６】
また、第２実施形態においては、代表フレームに表示ランクを設定し、表示ランクに応じて表示を制御するので、動画像の全体像の把握がより容易なものとなる。
【００９７】
＜３．その他の実施形態＞
以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。
【００９８】
上記の実施形態では、代表画像が表示される表示画面として検索画面を例に挙げて説明したが、これに限定されない。例えば、表示画面は、動画像を閲覧する閲覧画面や、動画像を編集する編集する編集画面等であっても良い。
【００９９】
また、上記の実施形態で説明した一連の処理は、専用のハードウエアにより実行させてもよいが、ソフトウエア（アプリケーション）により実行させてもよい。一連の処理をソフトウエアにより行う場合、汎用又は専用のコンピュータにプログラムを実行させることにより、上記の一連の処理を実現することができる。
【０１００】
また、上記の実施形態のフローチャートに示されたステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的に又は個別的に実行される処理をも含む。また時系列的に処理されるステップでも、場合によっては適宜順序を変更することが可能であることは言うまでもない。
【符号の説明】
【０１０１】
１０ 動画像処理装置
１２ 記憶部
１４ データ取得部
１６ フレーム選択部
１８ 代表色作成部
２０ 代表画像表示部
４０ 動画像処理装置
５０ データ蓄積部
５２ 読込み部
１１０ 動画像処理装置
１２２ ランク入力部
１２４ 入力履歴蓄積部
１２６ 階層化表示部
【特許請求の範囲】
【請求項１】
一の動画像を構成するフレーム群から、前記動画像を代表する複数の代表フレームを選択する代表フレーム選択部と、
前記フレーム群のうちの前記代表フレームに選択されなかった非選択フレーム毎に、少なくともフレーム画像の色情報と輝度情報のいずれか一方を暗示する暗示画像を生成する暗示画像生成部と、
前記代表フレーム選択部により選択された前記代表フレームを表示する際に、前記暗示画像生成部により生成された前記暗示画像を前記代表フレームに隣接して表示する表示制御部と
を備える、動画像処理装置。
【請求項２】
前記表示制御部は、前記暗示画像として線分で示される線分画像を、前記代表フレームに隣接して表示する、請求項１に記載の動画像処理装置。
【請求項３】
前記表示制御部は、複数の前記非選択フレームの各々に対応する前記線分画像を、前記複数の非選択フレームの前記フレーム群における構成順に複数並べて表示する、請求項２に記載の動画像処理装置。
【請求項４】
前記表示制御部は、複数の前記代表フレームを表示する際に、一の前記代表フレームに隣接する前記線分画像の数と、他の前記代表フレームに隣接する前記線分画像の数とを異ならせて表示する、請求項３に記載の動画像処理装置。
【請求項５】
前記表示制御部は、
複数の前記代表フレームを、互いに離隔した状態で所定の配列方向に沿って表示し、
前記フレーム群の構成順において二つの前記代表フレームの間に位置する前記非選択フレームに対応する前記暗示画像を、前記配列方向において前記二つの前記代表フレームの間に表示する、請求項１〜４のいずれか１項に記載の動画像処理装置。
【請求項６】
前記暗示画像生成部は、一つの前記非選択フレームを複数の領域に分割したときに、各領域に対応する複数の暗示部から構成される前記暗示画像を生成する、請求項１〜５のいずれか１項に記載の動画像処理装置。
【請求項７】
前記代表フレーム選択部は、前記フレーム群の構成順において間隔が等間隔であるように複数の前記代表フレームを選択する、請求項１〜６のいずれか１項に記載の動画像処理装置。
【請求項８】
前記代表フレーム選択部は、前記フレーム群の構成順において間隔が等間隔でないように複数の前記代表フレームを選択する、請求項１〜６のいずれか１項に記載の動画像処理装置。
【請求項９】
前記複数の代表フレームの各々に対して表示ランクを設定するランク設定部を更に備え、
前記表示制御部は、選択された前記複数の代表フレームのうちの、所定の前記表示ランク以上に設定された前記代表フレームを表示し、所定の前記表示ランク未満に設定された前記代表フレームを表示しない、請求項１〜８のいずれか１項に記載の動画像処理装置。
【請求項１０】
前記表示制御部は、所定の前記表示ランク未満に設定された前記代表フレームの前記動画像の構成順における位置を示す位置情報を、前記暗示画像に重畳して表示する、請求項９に記載の動画像処理装置。
【請求項１１】
一の動画像を構成するフレーム群から、前記動画像を代表する複数の代表フレームを選択するステップと、
前記フレーム群のうちの前記代表フレームに選択されなかった非選択フレーム毎に、少なくともフレーム画像の色情報と輝度情報のいずれか一方を暗示する暗示画像を生成するステップと、
選択された前記代表フレームを表示する際に、生成された前記暗示画像を前記代表フレームに隣接して表示するステップと
を含む、動画像処理方法。
【請求項１２】
一の動画像を構成するフレーム群から、前記動画像を代表する複数の代表フレームを選択するステップと、
前記フレーム群のうちの前記代表フレームに選択されなかった非選択フレーム毎に、少なくともフレーム画像の色情報と輝度情報のいずれか一方を暗示する暗示画像を生成するステップと、
選択された前記代表フレームを表示する際に、生成された前記暗示画像を前記代表フレームに隣接して表示するステップと
をコンピュータに実行させるためのプログラム。
【請求項１】
一の動画像を構成するフレーム群から、前記動画像を代表する複数の代表フレームを選択する代表フレーム選択部と、
前記フレーム群のうちの前記代表フレームに選択されなかった非選択フレーム毎に、少なくともフレーム画像の色情報と輝度情報のいずれか一方を暗示する暗示画像を生成する暗示画像生成部と、
前記代表フレーム選択部により選択された前記代表フレームを表示する際に、前記暗示画像生成部により生成された前記暗示画像を前記代表フレームに隣接して表示する表示制御部と
を備える、動画像処理装置。
【請求項２】
前記表示制御部は、前記暗示画像として線分で示される線分画像を、前記代表フレームに隣接して表示する、請求項１に記載の動画像処理装置。
【請求項３】
前記表示制御部は、複数の前記非選択フレームの各々に対応する前記線分画像を、前記複数の非選択フレームの前記フレーム群における構成順に複数並べて表示する、請求項２に記載の動画像処理装置。
【請求項４】
前記表示制御部は、複数の前記代表フレームを表示する際に、一の前記代表フレームに隣接する前記線分画像の数と、他の前記代表フレームに隣接する前記線分画像の数とを異ならせて表示する、請求項３に記載の動画像処理装置。
【請求項５】
前記表示制御部は、
複数の前記代表フレームを、互いに離隔した状態で所定の配列方向に沿って表示し、
前記フレーム群の構成順において二つの前記代表フレームの間に位置する前記非選択フレームに対応する前記暗示画像を、前記配列方向において前記二つの前記代表フレームの間に表示する、請求項１〜４のいずれか１項に記載の動画像処理装置。
【請求項６】
前記暗示画像生成部は、一つの前記非選択フレームを複数の領域に分割したときに、各領域に対応する複数の暗示部から構成される前記暗示画像を生成する、請求項１〜５のいずれか１項に記載の動画像処理装置。
【請求項７】
前記代表フレーム選択部は、前記フレーム群の構成順において間隔が等間隔であるように複数の前記代表フレームを選択する、請求項１〜６のいずれか１項に記載の動画像処理装置。
【請求項８】
前記代表フレーム選択部は、前記フレーム群の構成順において間隔が等間隔でないように複数の前記代表フレームを選択する、請求項１〜６のいずれか１項に記載の動画像処理装置。
【請求項９】
前記複数の代表フレームの各々に対して表示ランクを設定するランク設定部を更に備え、
前記表示制御部は、選択された前記複数の代表フレームのうちの、所定の前記表示ランク以上に設定された前記代表フレームを表示し、所定の前記表示ランク未満に設定された前記代表フレームを表示しない、請求項１〜８のいずれか１項に記載の動画像処理装置。
【請求項１０】
前記表示制御部は、所定の前記表示ランク未満に設定された前記代表フレームの前記動画像の構成順における位置を示す位置情報を、前記暗示画像に重畳して表示する、請求項９に記載の動画像処理装置。
【請求項１１】
一の動画像を構成するフレーム群から、前記動画像を代表する複数の代表フレームを選択するステップと、
前記フレーム群のうちの前記代表フレームに選択されなかった非選択フレーム毎に、少なくともフレーム画像の色情報と輝度情報のいずれか一方を暗示する暗示画像を生成するステップと、
選択された前記代表フレームを表示する際に、生成された前記暗示画像を前記代表フレームに隣接して表示するステップと
を含む、動画像処理方法。
【請求項１２】
一の動画像を構成するフレーム群から、前記動画像を代表する複数の代表フレームを選択するステップと、
前記フレーム群のうちの前記代表フレームに選択されなかった非選択フレーム毎に、少なくともフレーム画像の色情報と輝度情報のいずれか一方を暗示する暗示画像を生成するステップと、
選択された前記代表フレームを表示する際に、生成された前記暗示画像を前記代表フレームに隣接して表示するステップと
をコンピュータに実行させるためのプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【公開番号】特開２０１２−１６５２４０（Ｐ２０１２−１６５２４０Ａ）
【公開日】平成２４年８月３０日（２０１２．８．３０）
【国際特許分類】
【出願番号】特願２０１１−２４８６７（Ｐ２０１１−２４８６７）
【出願日】平成２３年２月８日（２０１１．２．８）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
【公開日】平成２４年８月３０日（２０１２．８．３０）
【国際特許分類】
【出願日】平成２３年２月８日（２０１１．２．８）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
[ Back to top ]