動画像処理装置、動画像処理方法、及びプログラム
![](A,2012-165240_000002.jpg)
【課題】動画像の代表フレームが表示されている際にユーザーが動画像の内容を適切に把握可能な、新規かつ改良された動画像処理装置、動画像処理方法、及びプログラムを提供する。
【解決手段】一の動画像を構成するフレーム群から、前記動画像を代表する複数の代表フレームを選択する代表フレーム選択部と、前記フレーム群のうちの前記代表フレームに選択されなかった非選択フレーム毎に、少なくともフレーム画像の色情報と輝度情報のいずれか一方を暗示する暗示画像を生成する暗示画像生成部と、前記代表フレーム選択部により選択された前記代表フレームを表示する際に、前記暗示画像生成部により生成された前記暗示画像を前記代表フレームに隣接して表示する表示制御部とを備える。
【解決手段】一の動画像を構成するフレーム群から、前記動画像を代表する複数の代表フレームを選択する代表フレーム選択部と、前記フレーム群のうちの前記代表フレームに選択されなかった非選択フレーム毎に、少なくともフレーム画像の色情報と輝度情報のいずれか一方を暗示する暗示画像を生成する暗示画像生成部と、前記代表フレーム選択部により選択された前記代表フレームを表示する際に、前記暗示画像生成部により生成された前記暗示画像を前記代表フレームに隣接して表示する表示制御部とを備える。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、動画像処理装置、動画像処理方法、及びプログラムに関する。
【背景技術】
【0002】
近年、音楽や映像等に関する動画像(すなわちコンテンツ)をネットワーク等を介して外部のサーバ等から取得し、ユーザーにより指定されたコンテンツを再生する技術が知られている。
【0003】
ところで、動画像は複数のフレーム(静止画像)で構成されている。例えば動画像の検索時には、動画像を代表する一つのフレーム(画像)がサムネイル画像として表示されている(特許文献1参照)。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開2007−164298号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかし、一つのフレーム(代表フレーム)のみがサムネイル画像として表示されるので、動画像の断片的な情報しか表示されず、動画像の内容を適切に把握することができないという問題がある。
【0006】
そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、動画像の代表フレームが表示されている際にユーザーが動画像の内容を適切に把握可能な、新規かつ改良された動画像処理装置、動画像処理方法、及びプログラムを提供することにある。
【課題を解決するための手段】
【0007】
上記課題を解決するために、本発明のある観点によれば、一の動画像を構成するフレーム群から、前記動画像を代表する複数の代表フレームを選択する代表フレーム選択部と、前記フレーム群のうちの前記代表フレームに選択されなかった非選択フレーム毎に、少なくともフレーム画像の色情報と輝度情報のいずれか一方を暗示する暗示画像を生成する暗示画像生成部と、前記代表フレーム選択部により選択された前記代表フレームを表示する際に、前記暗示画像生成部により生成された前記暗示画像を前記代表フレームに隣接して表示する表示制御部とを備える、動画像処理装置が提供される。
【0008】
また、前記表示制御部は、前記暗示画像として線分で示される線分画像を、前記代表フレームに隣接して表示することとしても良い。
【0009】
また、前記表示制御部は、複数の前記非選択フレームの各々に対応する前記線分画像を、前記複数の非選択フレームの前記フレーム群における構成順に複数並べて表示することとしても良い。
【0010】
また、前記表示制御部は、複数の前記代表フレームを表示する際に、一の前記代表フレームに隣接する前記線分画像の数と、他の前記代表フレームに隣接する前記線分画像の数とを異ならせて表示することとしても良い。
【0011】
また、前記表示制御部は、複数の前記代表フレームを、互いに離隔した状態で所定の配列方向に沿って表示し、前記フレーム群の構成順において二つの前記代表フレームの間に位置する前記非選択フレームに対応する前記暗示画像を、前記配列方向において前記二つの前記代表フレームの間に表示することとしても良い。
【0012】
また、前記暗示画像生成部は、一つの前記非選択フレームを複数の領域に分割したときに、各領域に対応する複数の暗示部から構成される前記暗示画像を生成することとしても良い。
【0013】
また、前記代表フレーム選択部は、前記フレーム群の構成順において間隔が等間隔であるように複数の前記代表フレームを選択することとしても良い。
【0014】
また、前記代表フレーム選択部は、前記フレーム群の構成順において間隔が等間隔でないように複数の前記代表フレームを選択することとしても良い。
【0015】
また、前記複数の代表フレームの各々に対して表示ランクを設定するランク設定部を更に備え、前記表示制御部は、選択された前記複数の代表フレームのうちの、所定の前記表示ランク以上に設定された前記代表フレームを表示し、所定の前記表示ランク未満に設定された前記代表フレームを表示しないこととしても良い。
【0016】
更に、上記課題を解決するために、本発明の別の観点によれば、一の動画像を構成するフレーム群から、前記動画像を代表する複数の代表フレームを選択するステップと、前記フレーム群のうちの前記代表フレームに選択されなかった非選択フレーム毎に、少なくともフレーム画像の色情報と輝度情報のいずれか一方を暗示する暗示画像を生成するステップと、選択された前記代表フレームを表示する際に、生成された前記暗示画像を前記代表フレームに隣接して表示するステップとを含む、動画像処理方法が提供される。
【0017】
更に、上記課題を解決するために、本発明の別の観点によれば、一の動画像を構成するフレーム群から、前記動画像を代表する複数の代表フレームを選択するステップと、前記フレーム群のうちの前記代表フレームに選択されなかった非選択フレーム毎に、少なくともフレーム画像の色情報と輝度情報のいずれか一方を暗示する暗示画像を生成するステップと、選択された前記代表フレームを表示する際に、生成された前記暗示画像を前記代表フレームに隣接して表示するステップとをコンピュータに実行させるためのプログラムが提供される。
【発明の効果】
【0018】
以上説明したように本発明によれば、動画像の代表フレームが表示されている際にユーザーが動画像の内容を適切に把握できる。
【図面の簡単な説明】
【0019】
【図1】第1の実施形態に係る動画像処理装置10の構成を示すブロック図である。
【図2】複数の代表フレームと暗示画像の表示例を示す図である。
【図3】一つの動画像データからの複数の代表フレームの抽出例を説明するための図である。
【図4】暗示画像の構成を説明するための図である。
【図5】一つの動画像データからの複数の代表フレームの抽出例を説明するための図である。
【図6】一つのフレームに対して生成される複数の線分画像を示す図である。
【図7】複数の代表フレームと暗示画像の表示例を示す図である。
【図8】第1実施形態に係る動画像処理装置10の動作例を説明するためのフローチャートである。
【図9】変形例に係る動画像処理装置40の構成を示すブロック図である。
【図10】変形例に係る動画像処理装置40の動作例を説明するためのフローチャートである。
【図11】比較例を説明するための図である。
【図12】第2の実施形態に係る動画像処理装置110の構成を示すブロック図である。
【図13】代表画像の階層化表示の表示例を説明するための図である。
【図14】代表画像の階層化表示の他の表示例を説明するための図である。
【図15】代表画像の階層化表示の他の表示例を説明するための図である。
【図16】代表画像の階層化表示の他の表示例を説明するための図である。
【図17】代表画像の階層化表示の他の表示例を説明するための図である。
【図18】暗示画像中の下位の表示ランクの代表フレームの位置を示すマークを説明するための図である。
【図19】暗示画像中の下位の表示ランクの代表フレームの位置を示すマークを説明するための図である。
【図20】第2実施形態に係る動画像処理装置110の動作例を説明するためのフローチャートである。
【発明を実施するための形態】
【0020】
以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【0021】
なお、説明は以下の順序で行うものとする。
1.第1の実施形態
1−1.第1の実施形態に係る動画像処理装置の構成
1−2.代表フレームと暗示画像の表示
1−3.第1の実施形態に係る動画像処理装置の動作
1−4.変形例
1−5.まとめ
2.第2の実施形態
2−1.第2の実施形態に係る動画像処理装置の構成
2−2.代表画像の階層化表示
2−3.第2の実施形態に係る動画像処理装置の動作
2−4.まとめ
3.その他の実施形態
【0022】
<1.第1の実施形態>
(1−1.第1の実施形態に係る動画像処理装置の構成)
第1の実施形態に係る動画像処理装置10の構成例ついて、図1を参照しながら説明する。図1は、第1の実施形態に係る動画像処理装置10の構成を示すブロック図である。
【0023】
動画像処理装置10は、記憶部12と、データ取得部14と、代表フレーム選択部(以下、フレーム選択部と呼ぶ)16と、フレーム代表色作成部(以下、代表色作成部と呼ぶ)18と、代表画像表示部20を有する。なお、代表色作成部18が暗示画像生成部に該当し、代表画像表示部20が表示制御部に該当する。
【0024】
記憶部12は、再生可能な動画像データを記憶する。例えば、記憶部12は、ネットワーク等を介して外部のサーバ等からダウンロードした動画像データを記憶する。ここで、動画像データは、フレーム形式の画像データである。すなわち、動画像データは、静止画像であるフレーム群から構成される。なお、動画像データは、画像データと音声データの組み合わせであっても良い。記憶部12は、動画像のサムネイル画像(以下においては、代表画像とも呼ぶ)の表示処理や、動画像の再生処理に用いられるプログラムデータ等も記憶している。
【0025】
データ取得部14は、記憶部12に記憶された動画像データを取得し、フレーム選択部16に出力する。データ取得部14は、記憶部12に記憶された動画像データだけでなく、外部装置から取得しても良い。
【0026】
フレーム選択部16は、動画像を構成するフレーム群から、動画像を代表する複数の代表フレームを選択する。ここで、代表フレームとして選択されるフレームの数は、一定では無く、動画像毎に異なる。例えば、詳細は後述するが、フレーム選択部16は、フレーム群の構成順において間隔が等間隔である複数のフレームを代表フレームとして選択する。ただし、これに限定されず、フレーム選択部16は、フレーム群の構成順において間隔が等間隔で無い複数のフレームを代表フレームとして選択しても良い。
【0027】
代表色作成部18は、動画像を構成するフレーム群のうちの代表フレームに選択されなかった非選択フレーム毎に、フレーム画像の代表色を暗示する暗示画像を生成する。ここで、代表色は、一つのフレーム画像全体を特徴づける色であり、例えば背景色等のように画像において最も使用されている色である。ユーザーは、代表色を識別することで、どのようなフレーム画像が存在するかを推測できる。
【0028】
代表画像表示部20は、動画像を代表する代表画像を表示画面に表示する。代表画像表示部20は、1つの動画像の代表画像として、フレーム選択部16により選択された複数の代表フレームを並べて表示する。代表画像表示部20は、複数の代表フレームを、互いに離隔した状態で所定の配列方向に沿って表示する(図2参照)。
【0029】
また、代表画像表示部20は、代表画像を表示する際に、代表色作成部18により生成された暗示画像を代表フレームに隣接して表示する。詳細は後述するが、代表画像表示部20は、フレーム群の構成順において二つの代表フレームの間に位置する非選択フレームに対応する暗示画像を、配列方向において二つの代表フレームの間に表示する(図2参照)。
【0030】
ここで、暗示画像は、線分で示される線分画像である。代表画像表示部20は、詳細は後述するが、複数の非選択フレームの各々に対応する線分画像を、複数の非選択フレームのフレーム群における構成順に並べて、代表フレームに隣接して表示する(図4参照)。また、代表画像表示部20は、複数の代表フレームを表示する際に、一の代表フレームに隣接する線分画像の数と、他の代表フレームに隣接する線分画像の数とを異ならせて表示しても良い(図5参照)。
【0031】
上述した構成において、データ取得部14、フレーム選択部16、代表色作成部18、代表画像表示部20は、CPU等の演算処理装置により構成される。記憶部12は、フラッシュメモリ等の内部記憶装置、ハードディスクドライブ等の外部記憶装置により構成される。CPUは、ROM等から読み出されたプログラムを実行することで、動画像処理方法を実現する。
【0032】
(1−2.代表フレームと暗示画像の表示)
動画像の代表画像として代表フレーム及び暗示画像を表示する表示例について、図2を参照しながら説明する。図2は、複数の代表フレームと暗示画像の表示例を示す図である。図2の表示画面30には、5つの代表フレームR1〜R5と、各代表フレームに隣接した暗示画像P1〜P5とが示されている。
【0033】
第1の実施形態に係る動画像処理装置10は、一つの動画像データについて複数の代表フレームを並べて表示画面30に表示する。これらの代表フレームは、動画像データを構成するフレーム群から抽出されたものである。複数の代表フレームの並び順は、フレームの構成順に従っている。なお、表示される代表フレームの数は、動画像データに応じて異なるものとする。
【0034】
また、動画像処理装置10は、代表フレームR1〜R5に隣接した位置に暗示画像P1〜P5を表示する。暗示画像は、動画像データにおける代表フレーム以外のフレーム(非選択フレーム)の色情報等を暗示する画像であり、代表フレーム同士の間に表示されている。暗示画像の詳細については、後述する。
【0035】
なお、図2においては、表示画面30に1つの動画像の代表フレームが表示されているが、もちろん複数の動画像の代表フレームを表示しても良い。かかる場合には、各動画像に対して、複数の代表フレームが表示されることとなる。これにより、例えば複数の動画像の中から所望の動画像を検索する検索画面として表示画面30を適用すれば、各動画像の内容を適切に把握できるので、ユーザーが各動画像を視聴せずとも所望の動画像を選択できる。
【0036】
以下においては、説明の便宜上、一つの動画像データから複数の代表フレーム及び暗示画像を表示するまでの流れの概要について説明する。
【0037】
図3は、一つの動画像データからの複数の代表フレームの抽出例を説明するための図である。ここでは、説明の便宜上、一つの動画像データが30個のフレームから構成されている(実際には、より多数のフレームから構成されている)ものとする。図3では、1番目のフレームI1、7番目のフレームI7、13番目のフレームI13、19番目のフレームI19、25番目のフレームI25が、代表フレームR1〜R5として選択されている。すなわち、フレーム群における一定間隔のフレームが、代表フレームとして選択されている。
【0038】
動画像を構成する30個のフレームのうち代表フレームに選択されなかった非選択フレームについては、暗示画像として表示される。フレームI2〜I6は暗示画像P1として、フレームI8〜I12は暗示画像P2として、フレームI14〜I18は暗示画像P3として、フレームI20〜I24は暗示画像P4として、フレームI26〜I30は暗示画像P5として、それぞれ表示される。これらの暗示画像は、各代表フレームの間にどのようなフレームが存在するかをユーザーに暗示させる。
【0039】
ここで、暗示画像の構成について図4を参照しながら説明する。図4は、暗示画像の構成を説明するための図である。5つの暗示画像P1〜P5の構成は同様であるので、ここでは暗示画像P1を例に挙げて説明する。暗示画像P1は、複数の線分画像L1、L2、L3等から構成されている。すなわち、図3に示す矩形状の暗示画像は、多数の線分の集合である。なお、暗示画像P1を構成する線分画像の数は、フレームI2〜I6に対応する6個であるが、図3においては説明の便宜上、線分画像の数を多くしている(暗示画像P2〜P5についても同様)。各線分画像は、対応する非選択フレームの画像の代表色を示している。例えば、線分画像L1はフレームI1の画像の代表色を示し、線分画像L2はフレームI2の画像の代表色を示す。
【0040】
なお、暗示画像として線分画像を例に挙げて説明したが、これに限定されない。例えば、暗示画像は、フレームの縮小画像(代表フレームよりも微小な画像)や、線以外の形状を示す画像であっても良い。また、暗示画像は、フレーム画像の色情報を示す画像であることとしたが、これに限定されない。例えば、暗示画像は、フレーム画像の輝度情報を示す画像であっても良い。
【0041】
上述した図3では、代表フレームとして、フレーム群において一定間隔の非選択フレームが選択されることとしたが、これに限定されず、図5に示すように間隔が一定で無い非選択フレームが選択されることとしても良い。図5は、一つの動画像データからの複数の代表フレームの抽出例を説明するための図である。
【0042】
図5においては、1番目のフレームI1、7番目のフレームI7、15番目のフレームI15、19番目のフレームI19、23番目のフレームI23が、代表フレームR1〜R5として選択されている。一方で、フレームI2〜I6は暗示画像P1として、フレームI8〜I14は暗示画像P2として、フレームI16〜I18は暗示画像P3として、フレームI20〜I23は暗示画像P4として、フレームI24〜I30は暗示画像P5として、表示される。各暗示画像を構成するフレームの数が異なるので、5つの暗示画像P1〜P5の長さも一定では無い。すなわち、暗示画像P3、P4の長さが小さく(暗示画像を構成する線分画像の数が少ない)、暗示画像P2、P5の長さが大きい(暗示画像を構成する線分画像の数が多い)。これにより、代表フレーム間にあるフレームの数(又は、時間経過)も、暗示できる。
【0043】
また、上述した図4では、一つのフレームの画像の代表色を示す画像として、一つの線分画像が生成されることとしたが、これに限定されない。例えば、図6に示すように、一つのフレームの画像を複数の領域に分割し、各領域に対応する線分画像をそれぞれ生成することとしても良い。
【0044】
図6は、一つのフレームに対して生成される複数の線分画像を示す図である。図6では、一つのフレームの画像を3つの領域(第1領域、第2領域、第3領域)に分割するものとする。ただし、フレームの分割数は3つに限られず、例えば分割数が2つ又は4つ以上であっても良い。分割された各領域に対して、それぞれ線分画像が生成される。具体的には、第1領域については第1線分画像L28aが、第2領域については第2線分画像L28bが、第3領域については第3線分画像L28cが、それぞれ生成される。図6では3つの領域に含まれる画像が異なるので、3つの線分画像L28a、L28b、L28cが示す色は異なる。
【0045】
生成された3つの線分画像の暗示画像としての表示例について、図7を参照しながら説明する。図7は、複数の代表フレームと暗示画像の表示例を示す図である。図2に示した表示例と異なる点は、暗示画像P1〜P5が3つの暗示部を有していることにある。例えば、暗示画像P1は、第1暗示部P1aと、第2暗示部P1bと、第3暗示部P1cを有する。第1暗示部P1aは、各フレームの第1線分画像(図6の第1線分画像)の集まりであり、第2暗示部P1bは、各フレームの第2線分画像の集まりであり、第3暗示部P1cは、各フレームの第3線分画像の集まりである。このように複数の暗示部で表示することで、非選択フレームの画像の色情報をより細かく表示できる。
【0046】
(1−3.第1実施形態に係る動画像処理装置の動作)
次に、代表フレームと暗示画像を表示する際の動画像処理装置10の動作例(動画像処理方法)について、図8を参照しながら説明する。図8は、第1実施形態に係る動画像処理装置10の動作例を説明するためのフローチャートである。図8のフローチャートは、例えば動画像を検索する検索画面にアクセスしたところから開始される。
【0047】
まず、データ取得部14が、動画像データを取得する(ステップS2)。例えば、データ取得部14は、記憶部12から再生対象の動画像データを取得する。
【0048】
フレーム選択部16は、取得した動画像データからフレームを切り出す(ステップS4)。すなわち、フレーム選択部16は、動画像データを構成するフレーム群の最初のフレームを切り出す。
【0049】
次に、フレーム選択部16は、切り出したフレームが代表フレームであるか否かを判定する(ステップ6)。切り出したフレームが代表フレームである場合には(ステップS6:Yes)、フレーム選択部16は、切り出したフレームを代表画像表示部20に送る。代表画像表示部20は、受信した代表フレームを表示する(ステップS8)。なお、代表画像表示部20は、代表フレームを縮小して表示する。
【0050】
一方で、切り出したフレームが代表フレームで無い場合には(ステップS6:No)、フレーム選択部16は、切り出したフレームを代表色作成部18に送る。代表色作成部18は、図4に示すように、受信したフレームの画像の代表色(暗示画像)を作成する(ステップS10)。代表色作成部18は、作成した代表色を代表画像表示部20に送る。代表画像表示部20は、受信した代表色を表示する(ステップS12)。
【0051】
次に、フレーム選択部16は、切り出されたフレームが動画像データの最終フレームであるか否かを判定する(ステップS14)。最終フレームである場合には(ステップS14:Yes)、本処理は終了する。一方で、最終フレームで無い場合には(ステップS14:No)、上述したステップS4〜S12が繰り返される。これにより、図2や図7に示すように、1つの動画像の代表画像として、表示画面30に複数の代表フレームと暗示画像が表示されることとなる。
【0052】
なお、上記においては、1つの動画像の代表フレームと暗示画像の表示処理(動画像処理方法)について説明したが、複数の動画像の場合には、上述した処理(ステップS2〜S14)が繰り返される。すなわち、代表画像を表示する対象の動画像が増える度に、表示画面(検索画面)が更新されることとなる。これにより、検索画面に表示された各動画像に対応した複数の代表フレーム及び暗示画像に基づいて、所望の動画像をユーザーが選択できる。
【0053】
(1−4.変形例)
変形例に係る動画像処理装置40の構成例について、図9を参照しながら説明する。図9は、変形例に係る動画像処理装置40の構成を示すブロック図である。
【0054】
上述した動画像処理装置10は、代表フレーム以外のフレームの代表色(暗示画像)を作成した直後に、表示画面に複数の代表フレームと暗示画像を表示することとした。これに対して、動画像処理装置40は、代表フレームと代表色に関する情報を一旦記憶しておき、その後に必要に応じて表示する。
【0055】
動画像処理装置40は、図9に示すように、記憶部42と、データ取得部44と、フレーム選択部46と、代表色作成部48と、データ蓄積部50と、読込み部52と、代表画像表示部54を有する。
【0056】
記憶部42と、データ取得部44と、フレーム選択部46と、代表色作成部48は、それぞれ図1に示す記憶部12、データ取得部14、フレーム選択部16、代表色作成部18と同様である。このため、これらの構成の詳細については説明を省く。
【0057】
データ蓄積部50は、フレーム選択部16により選択された代表フレームに関する情報と、代表色作成部48が作成したフレームの暗示画像を記憶する。すなわち、動画像処理装置40は、取得した動画像データの代表フレームを直ぐに表示するのでは無く、動画像データの代表フレームや暗示画像に関する情報を一旦記憶する。
【0058】
読込み部52は、例えばユーザーによる動画像データの代表フレームの表示命令を受信すると、データ蓄積部50に蓄積されたデータ(動画像データの代表フレームや暗示画像に関する情報)を読み出して、代表画像表示部54に送る。
【0059】
代表画像表示部54は、読込み部52から送られたデータに基づいて、図2に示すように、複数の代表フレームと暗示画像を表示画面30に表示させる。なお、代表画像表示部54による表示は、図1の代表画像表示部20と同様である。
【0060】
次に、代表フレームと暗示画像の表示を表示する際の動画像処理装置40の動作例について、図10を参照しながら説明する。図10は、変形例に係る動画像処理装置40の動作例を説明するためのフローチャートである。図10のフローチャートは、動画像の代表フレームが既に選択され、また動画像の非選択フレームの代表色が既に作成されたところから開始される。
【0061】
まず、読込み部52は、データ蓄積部50に蓄積された動画像データ(動画像データの代表フレームや暗示画像に関する情報)を読み出し(ステップS22)、代表画像表示部54に送る。
【0062】
代表画像表示部54は、受信した動画像データを構成するフレーム群のフレームを順番に読み出して、表示を制御する。具体的には、代表画像表示部54は、読み出したフレームが代表フレームである場合には(ステップS24:Yes)、代表フレームを表示する(ステップS26)。一方で、読み出したフレームが代表フレームで無い場合には(ステップS24:No)、代表画像表示部54は、フレームの画像の代表色を表示する(ステップS28)。
【0063】
次に、代表画像表示部54は、読み出したフレームが動画像データの最終フレームであるか否かを判定する(ステップS30)。最終フレームである場合には(ステップS30:Yes)、本処理は終了する。一方で、最終フレームで無い場合には(ステップS30:No)、上述したステップS24〜S28が繰り返される。これにより、図2や図7に示すように、1つの動画像の代表画像として、表示画面に複数の代表フレーム及び暗示画像が表示されることとなる。
【0064】
(1−5.まとめ)
第1実施形態によれば、1つの動画像の代表画像として、複数の代表フレームが表示されると共に、代表フレーム以外の非選択フレームについて暗示画像(画像の代表色を示す線分画像)が作成されて表示される。これにより、動画像に関するより多くの情報を表示画面に表示できるので、ユーザーは動画像の内容を把握しやすくなる。
【0065】
また、非選択フレームの暗示画像を表示することで、代表フレーム以外のフレームをわざわざ見る必要が無くなるので、ユーザーに対しての閲覧負荷を下げられ、ユーザーが同一時間内で閲覧できる画像数や映像量を増やすことができる。更に、複数の代表フレームを表示することで、動画像を視聴しなくても、1つの動画像全体のバランスを予見することができる。
【0066】
ここで、図11に示す比較例と対比しながら、より詳しく説明する。図11は、比較例を説明するための図であり、複数の代表フレームを表示する2つの表示状態1、2を対比するための図である。なお、2つの表示状態1、2には、暗示画像が表示されない。表示状態1には、代表フレームとして、図3に示す30個のフレームのうち、1番目のフレームI1、7番目のフレームI7、13番目のフレームI13、19番目のフレームI19、25番目のフレームI25が示されている。表示状態2には、代表フレームとして、1番目のフレームI1、8番目のフレームI8、14番目のフレームI14、22番目のフレームI22、27番目のフレームI27が示されている。
【0067】
表示状態1と表示状態2を比較すると、上下のフレームが同じフレームであるとユーザーは誤解してしまう。図11に見ると分かるように、例えば、フレームI7とフレームI8、フレームI19とフレームI22にほとんど差が無い。このため、ユーザーにとっては、表示状態1と表示状態2を同じものであると錯覚してしまう。
【0068】
これに対して、上述した動画像処理装置10、40によれば、複数の代表フレームの間に暗示画像を表示することで、複数の代表フレーム間の時間経過をユーザーが認識できる。特に、複数の代表フレーム間の時間間隔が等間隔で無い場合に、より有効性が発揮される。このように、本実施形態においては、複数の代表フレームを単に静止画の束として見るのではなく、時間的な連なりに着目して表示する点に特徴がある。
【0069】
<2.第2の実施形態>
(2−1.第2の実施形態に係る動画像処理装置の構成)
第2の実施形態に係る動画像処理装置110の構成例ついて、図12を参照しながら説明する。図12は、第2の実施形態に係る動画像処理装置110の構成を示すブロック図である。
【0070】
上述した動画像処理装置10は、代表フレーム以外のフレームの代表色(暗示画像)を作成し、表示画面に複数の代表フレームと暗示画像を表示することとした。これに対して、動画像処理装置110においては、表示画面に表示される代表フレームの数が、表示ランクに応じて変更可能である。また、代表フレームの表示数の変更に伴い、暗示画像の表示も変更される。
【0071】
動画像処理装置110は、図12に示すように、記憶部112と、データ取得部114と、フレーム選択部116と、代表色作成部118と、代表画像表示部120と、ランク設定部の一例であるランク入力部122と、入力履歴蓄積部124と、階層化表示部126を有する。なお、第2実施形態においては、代表画像表示部120及び階層化表示部126が表示制御部に該当する。
【0072】
記憶部112と、データ取得部114と、フレーム選択部116と、代表色作成部118と、代表画像表示部120は、それぞれ図1に示す記憶部12、データ取得部14、フレーム選択部16、代表色作成部18、代表画像表示部20と同様である。このため、これらの構成の詳細については説明を省く。
【0073】
ランク入力部122は、代表フレームに表示ランクを設定するためのものである。表示ランクとしては、例えば、ランク1、ランク2、ランク3等が設定される。ランク1が下位ランクであり、ランク3が上位ランクである。
【0074】
入力履歴蓄積部124は、ランク入力部122による過去の入力履歴を記憶する。例えば、一の代表フレームに対して過去に設定した表示ランクを記憶したり、表示ランクの更新を記憶する。また、入力履歴蓄積部124は、表示ランクの更新頻度を記憶しても良い。
【0075】
階層化表示部126は、設定された表示ランクに応じて、代表画像を階層化して表示する。つまり、階層化表示部126は、設定された表示ランクに応じて、代表画像としての代表フレームの表示数を変更する。具体的には、階層化表示部126は、ユーザーの操作(表示ランクの切替操作)に応じて、ランク1〜3が混在している複数の代表フレームの中のランク2以上の代表フレームを表示したり、ランク3以上の代表フレームのみを表示する。
【0076】
また、階層化表示部126は、入力履歴蓄積部124に記憶された入力履歴を参照して、代表画像を階層化して表示する。例えば、同じ表示ランクの代表フレームが複数存在する場合には、入力履歴を参照して表示ランクの更新頻度が多い代表フレームを優先して表示画面に表示する。これは、表示画面のサイズが限られて表示できる代表フレームの数が限定されている場合に、有効である。
【0077】
(2−2.代表画像の階層化表示)
代表画像の階層化表示の表示例について、図13を参照しながら説明する。図13は、代表フレームの階層化表示の表示例を説明するための図である。
【0078】
図13には、複数の代表フレームR1〜R5と、暗示画像P1〜P5が表示されている。複数の代表フレームR1〜R5には、それぞれ表示ランクが設定されている。具体的には、代表フレームR1、R2の表示ランクはランク2であり、代表フレームR3の表示ランクはランク1であり、代表フレームR4の表示ランクはランク2であり、代表フレームR5の表示ランクはランク1である。なお、フレーム群のうちの代表フレームで無い非選択フレームは、ランク0であるものとする。
【0079】
かかる場合に、表示ランク2以上の代表フレームを表示させるように、ユーザーが操作を行うと、5つの代表フレームR1〜R5のうちのランク2以上の代表フレームR1、代表フレームR2、代表フレームR4が表示される。
【0080】
また、ランク2以上の代表フレームが表示されることに伴い、暗示画像P1〜P5の表示も変化する。すなわち、代表フレームR2と代表フレームR4の間の非選択フレーム及び代表フレームR3の線分画像が、暗示画像P2として表示される。また、代表フレームR4以降の非選択フレーム及び代表フレームR5の線分画像が、暗示画像P4として表示される。階層化して代表フレームの表示数が減ると、暗示画像の長さが長くなる(各暗示画像の線分画像の数が増える)。
【0081】
代表画像の階層化表示の表示例は、図13に示す表示例に限定されない。以下に説明する図14〜図16に示す表示例であっても良い。以下においては、図14〜図16を参照しながら、階層化表示の他の表示例を説明する。なお、図14〜図16においても図13と同様に、表示ランクがランク2以上の代表フレームR1、R2、R4を表示するものとする。
【0082】
図14は、代表画像の階層化表示の他の表示例を説明するための図である。図13の表示例との違いは、暗示画像の表示方法にある。図13では、代表フレームでない非選択フレームが暗示画像として表示されている。これに対して、図14では、代表フレームでは無いフレームの暗示画像は非表示になる一方で、ランク1の代表フレームR3を示す暗示画像P11と、代表フレームR5を示す暗示画像P12が表示される。なお、暗示画像P11、P12を構成する複数の線分画像は、それぞれ代表フレームR3、R5の色情報を示す画像である。
【0083】
かかる場合には、上位の表示ランクの代表フレームが表示された際に、下位の表示ランクの代表フレームの存在をユーザーが容易に認識できる。このため、ユーザーは、再度、下位の表示ランクの代表フレームを表示し易くなる。
【0084】
図15は、代表画像の階層化表示の他の表示例を説明するための図である。図13の表示例との違いは、暗示画像の表示方法にある。図13では、暗示画像P1、P2、P4の表示の長さが異なっていた。これに対して、図15の暗示画像P21、P22、P23の表示の長さは同じである。暗示画像P21は図13の暗示画像P1と同様であるが、暗示画像P22、P23は、図13の暗示画像P2、P4の長さを圧縮した画像(線分画像の数を減らした画像)となっている。
【0085】
図16は、代表画像の階層化表示の他の表示例を説明するための図である。図13の表示例との違いは、暗示画像の表示方法にある。図16の暗示画像P31、P32、P33は、図13の暗示画像P1、P2、P4の長さを同じ比率で圧縮(線分画像の数を半減)しており、それぞれ一つの矩形になっている。
【0086】
図15と図16の表示例の場合には、例えば図13の表示例の場合に比べて暗示画像が大きくなることを防止できるので、表示画面の表示サイズを有効に活用でき、この結果、代表フレームの表示数を増やすことも可能となる。
【0087】
図17は、代表画像の階層化表示の他の表示例を説明するための図である。図17では、各代表フレームの表示ランクを、マークとして代表フレーム内に表示させている。すなわち、各代表フレームの右下に矩形のマークMが重畳して表示されており、矩形のマークMの数が表示ランクを示している。例えば、ランク2の代表フレームR1には矩形のマークが2つ含まれ、ランク3の代表フレームR2には矩形のマークが3つ含まれ、ランク1の代表フレームR3には矩形のマークが1つ含まれている。これにより、ユーザーは、マーク数を数えることで、容易に代表フレームの表示ランクを認識できる。
【0088】
図18と図19は、暗示画像中の下位の表示ランクの代表フレームの位置を示すマークを説明するための図である。図18と図19では、表示ランク3の代表フレームR2が表示されているものとし、表示ランク2以下の代表フレームの位置が暗示画像中にマークとして表示されている。具体的には、ランク2の代表フレームR1の位置がマークM1で、代表フレームR3の位置がマークM2で、代表フレームR4の位置がマークM3で、代表フレームR5の位置がマークM4で、それぞれ暗示画像に重畳して示されている。
【0089】
なお、図18では、マークM1〜M4の幅を大きくすることで、代表フレームの位置を示している。図19では、マークM1〜M4内にランクを示す数字が示されている。これにより、ユーザーは、上位の表示ランクの代表フレームが表示されている際に、下位の表示ランクの代表フレームの位置を容易に識別できる。
【0090】
(2−3.第2の実施形態に係る動画像処理装置の動作)
次に、代表フレームを階層化表示する際の動画像処理装置110の動作例(動画像処理方法)について、図20を参照しながら説明する。図20は、第2実施形態に係る動画像処理装置110の動作例を説明するためのフローチャートである。
【0091】
まず、動画像処理装置110は、記憶部112から動画像データを取得する(ステップS42)。そして、動画像処理装置110は、動画像データを構成するフレーム群から代表フレームを選択し、選択されなかったフレームの画像の代表色を作成する。
【0092】
次に、動画像処理装置110は、フレーム群の構成順にフレームの表示を制御する。動画像処理装置110は、1つ目のフレームが代表フレームであるか否かを判定する(ステップS44)。1つ目のフレームが代表フレームである場合には(ステップS44:Yes)、動画像処理装置110は、次に所定の表示ランク以上であるか否かを判定する(ステップS46)。1つ目のフレームが所定の表示ランク以上である場合には(ステップS46:Yes)、動画像処理装置110は、代表フレームを表示画面30に表示する(ステップS48)。
【0093】
一方で、ステップS44において代表フレームで無い場合には、動画像処理装置110は、フレーム画像の代表色を表示する(ステップS50)。また、ステップS46において所定の表示ランク未満である場合には、フレーム画像の代表色を表示する(ステップS50)。
【0094】
次に、動画像処理装置110は、表示対象のフレームが最終フレームであるか否かを判定する(ステップS52)。最終フレームである場合には(ステップS52:Yes)、本処理は終了する。一方で、最終フレームで無い場合には(ステップS52:No)、上述したステップS44〜S50が繰り返される。これにより、図13〜図19に示すように、表示画面30に階層化された代表フレームと暗示画像が表示されることとなる。
【0095】
(2−4.まとめ)
第2実施形態によれば、第1実施形態と同様に、1つの動画像データについて、複数の代表フレームを表示すると共に、代表フレーム以外のフレームについて暗示画像を作成して表示することで、より多くの情報を表示画面に表示できる。また、複数の代表フレーム間の時間経過をユーザーが認識できるので、動画像の内容をより適切に把握することができる。
【0096】
また、第2実施形態においては、代表フレームに表示ランクを設定し、表示ランクに応じて表示を制御するので、動画像の全体像の把握がより容易なものとなる。
【0097】
<3.その他の実施形態>
以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。
【0098】
上記の実施形態では、代表画像が表示される表示画面として検索画面を例に挙げて説明したが、これに限定されない。例えば、表示画面は、動画像を閲覧する閲覧画面や、動画像を編集する編集する編集画面等であっても良い。
【0099】
また、上記の実施形態で説明した一連の処理は、専用のハードウエアにより実行させてもよいが、ソフトウエア(アプリケーション)により実行させてもよい。一連の処理をソフトウエアにより行う場合、汎用又は専用のコンピュータにプログラムを実行させることにより、上記の一連の処理を実現することができる。
【0100】
また、上記の実施形態のフローチャートに示されたステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的に又は個別的に実行される処理をも含む。また時系列的に処理されるステップでも、場合によっては適宜順序を変更することが可能であることは言うまでもない。
【符号の説明】
【0101】
10 動画像処理装置
12 記憶部
14 データ取得部
16 フレーム選択部
18 代表色作成部
20 代表画像表示部
40 動画像処理装置
50 データ蓄積部
52 読込み部
110 動画像処理装置
122 ランク入力部
124 入力履歴蓄積部
126 階層化表示部
【技術分野】
【0001】
本発明は、動画像処理装置、動画像処理方法、及びプログラムに関する。
【背景技術】
【0002】
近年、音楽や映像等に関する動画像(すなわちコンテンツ)をネットワーク等を介して外部のサーバ等から取得し、ユーザーにより指定されたコンテンツを再生する技術が知られている。
【0003】
ところで、動画像は複数のフレーム(静止画像)で構成されている。例えば動画像の検索時には、動画像を代表する一つのフレーム(画像)がサムネイル画像として表示されている(特許文献1参照)。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開2007−164298号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかし、一つのフレーム(代表フレーム)のみがサムネイル画像として表示されるので、動画像の断片的な情報しか表示されず、動画像の内容を適切に把握することができないという問題がある。
【0006】
そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、動画像の代表フレームが表示されている際にユーザーが動画像の内容を適切に把握可能な、新規かつ改良された動画像処理装置、動画像処理方法、及びプログラムを提供することにある。
【課題を解決するための手段】
【0007】
上記課題を解決するために、本発明のある観点によれば、一の動画像を構成するフレーム群から、前記動画像を代表する複数の代表フレームを選択する代表フレーム選択部と、前記フレーム群のうちの前記代表フレームに選択されなかった非選択フレーム毎に、少なくともフレーム画像の色情報と輝度情報のいずれか一方を暗示する暗示画像を生成する暗示画像生成部と、前記代表フレーム選択部により選択された前記代表フレームを表示する際に、前記暗示画像生成部により生成された前記暗示画像を前記代表フレームに隣接して表示する表示制御部とを備える、動画像処理装置が提供される。
【0008】
また、前記表示制御部は、前記暗示画像として線分で示される線分画像を、前記代表フレームに隣接して表示することとしても良い。
【0009】
また、前記表示制御部は、複数の前記非選択フレームの各々に対応する前記線分画像を、前記複数の非選択フレームの前記フレーム群における構成順に複数並べて表示することとしても良い。
【0010】
また、前記表示制御部は、複数の前記代表フレームを表示する際に、一の前記代表フレームに隣接する前記線分画像の数と、他の前記代表フレームに隣接する前記線分画像の数とを異ならせて表示することとしても良い。
【0011】
また、前記表示制御部は、複数の前記代表フレームを、互いに離隔した状態で所定の配列方向に沿って表示し、前記フレーム群の構成順において二つの前記代表フレームの間に位置する前記非選択フレームに対応する前記暗示画像を、前記配列方向において前記二つの前記代表フレームの間に表示することとしても良い。
【0012】
また、前記暗示画像生成部は、一つの前記非選択フレームを複数の領域に分割したときに、各領域に対応する複数の暗示部から構成される前記暗示画像を生成することとしても良い。
【0013】
また、前記代表フレーム選択部は、前記フレーム群の構成順において間隔が等間隔であるように複数の前記代表フレームを選択することとしても良い。
【0014】
また、前記代表フレーム選択部は、前記フレーム群の構成順において間隔が等間隔でないように複数の前記代表フレームを選択することとしても良い。
【0015】
また、前記複数の代表フレームの各々に対して表示ランクを設定するランク設定部を更に備え、前記表示制御部は、選択された前記複数の代表フレームのうちの、所定の前記表示ランク以上に設定された前記代表フレームを表示し、所定の前記表示ランク未満に設定された前記代表フレームを表示しないこととしても良い。
【0016】
更に、上記課題を解決するために、本発明の別の観点によれば、一の動画像を構成するフレーム群から、前記動画像を代表する複数の代表フレームを選択するステップと、前記フレーム群のうちの前記代表フレームに選択されなかった非選択フレーム毎に、少なくともフレーム画像の色情報と輝度情報のいずれか一方を暗示する暗示画像を生成するステップと、選択された前記代表フレームを表示する際に、生成された前記暗示画像を前記代表フレームに隣接して表示するステップとを含む、動画像処理方法が提供される。
【0017】
更に、上記課題を解決するために、本発明の別の観点によれば、一の動画像を構成するフレーム群から、前記動画像を代表する複数の代表フレームを選択するステップと、前記フレーム群のうちの前記代表フレームに選択されなかった非選択フレーム毎に、少なくともフレーム画像の色情報と輝度情報のいずれか一方を暗示する暗示画像を生成するステップと、選択された前記代表フレームを表示する際に、生成された前記暗示画像を前記代表フレームに隣接して表示するステップとをコンピュータに実行させるためのプログラムが提供される。
【発明の効果】
【0018】
以上説明したように本発明によれば、動画像の代表フレームが表示されている際にユーザーが動画像の内容を適切に把握できる。
【図面の簡単な説明】
【0019】
【図1】第1の実施形態に係る動画像処理装置10の構成を示すブロック図である。
【図2】複数の代表フレームと暗示画像の表示例を示す図である。
【図3】一つの動画像データからの複数の代表フレームの抽出例を説明するための図である。
【図4】暗示画像の構成を説明するための図である。
【図5】一つの動画像データからの複数の代表フレームの抽出例を説明するための図である。
【図6】一つのフレームに対して生成される複数の線分画像を示す図である。
【図7】複数の代表フレームと暗示画像の表示例を示す図である。
【図8】第1実施形態に係る動画像処理装置10の動作例を説明するためのフローチャートである。
【図9】変形例に係る動画像処理装置40の構成を示すブロック図である。
【図10】変形例に係る動画像処理装置40の動作例を説明するためのフローチャートである。
【図11】比較例を説明するための図である。
【図12】第2の実施形態に係る動画像処理装置110の構成を示すブロック図である。
【図13】代表画像の階層化表示の表示例を説明するための図である。
【図14】代表画像の階層化表示の他の表示例を説明するための図である。
【図15】代表画像の階層化表示の他の表示例を説明するための図である。
【図16】代表画像の階層化表示の他の表示例を説明するための図である。
【図17】代表画像の階層化表示の他の表示例を説明するための図である。
【図18】暗示画像中の下位の表示ランクの代表フレームの位置を示すマークを説明するための図である。
【図19】暗示画像中の下位の表示ランクの代表フレームの位置を示すマークを説明するための図である。
【図20】第2実施形態に係る動画像処理装置110の動作例を説明するためのフローチャートである。
【発明を実施するための形態】
【0020】
以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【0021】
なお、説明は以下の順序で行うものとする。
1.第1の実施形態
1−1.第1の実施形態に係る動画像処理装置の構成
1−2.代表フレームと暗示画像の表示
1−3.第1の実施形態に係る動画像処理装置の動作
1−4.変形例
1−5.まとめ
2.第2の実施形態
2−1.第2の実施形態に係る動画像処理装置の構成
2−2.代表画像の階層化表示
2−3.第2の実施形態に係る動画像処理装置の動作
2−4.まとめ
3.その他の実施形態
【0022】
<1.第1の実施形態>
(1−1.第1の実施形態に係る動画像処理装置の構成)
第1の実施形態に係る動画像処理装置10の構成例ついて、図1を参照しながら説明する。図1は、第1の実施形態に係る動画像処理装置10の構成を示すブロック図である。
【0023】
動画像処理装置10は、記憶部12と、データ取得部14と、代表フレーム選択部(以下、フレーム選択部と呼ぶ)16と、フレーム代表色作成部(以下、代表色作成部と呼ぶ)18と、代表画像表示部20を有する。なお、代表色作成部18が暗示画像生成部に該当し、代表画像表示部20が表示制御部に該当する。
【0024】
記憶部12は、再生可能な動画像データを記憶する。例えば、記憶部12は、ネットワーク等を介して外部のサーバ等からダウンロードした動画像データを記憶する。ここで、動画像データは、フレーム形式の画像データである。すなわち、動画像データは、静止画像であるフレーム群から構成される。なお、動画像データは、画像データと音声データの組み合わせであっても良い。記憶部12は、動画像のサムネイル画像(以下においては、代表画像とも呼ぶ)の表示処理や、動画像の再生処理に用いられるプログラムデータ等も記憶している。
【0025】
データ取得部14は、記憶部12に記憶された動画像データを取得し、フレーム選択部16に出力する。データ取得部14は、記憶部12に記憶された動画像データだけでなく、外部装置から取得しても良い。
【0026】
フレーム選択部16は、動画像を構成するフレーム群から、動画像を代表する複数の代表フレームを選択する。ここで、代表フレームとして選択されるフレームの数は、一定では無く、動画像毎に異なる。例えば、詳細は後述するが、フレーム選択部16は、フレーム群の構成順において間隔が等間隔である複数のフレームを代表フレームとして選択する。ただし、これに限定されず、フレーム選択部16は、フレーム群の構成順において間隔が等間隔で無い複数のフレームを代表フレームとして選択しても良い。
【0027】
代表色作成部18は、動画像を構成するフレーム群のうちの代表フレームに選択されなかった非選択フレーム毎に、フレーム画像の代表色を暗示する暗示画像を生成する。ここで、代表色は、一つのフレーム画像全体を特徴づける色であり、例えば背景色等のように画像において最も使用されている色である。ユーザーは、代表色を識別することで、どのようなフレーム画像が存在するかを推測できる。
【0028】
代表画像表示部20は、動画像を代表する代表画像を表示画面に表示する。代表画像表示部20は、1つの動画像の代表画像として、フレーム選択部16により選択された複数の代表フレームを並べて表示する。代表画像表示部20は、複数の代表フレームを、互いに離隔した状態で所定の配列方向に沿って表示する(図2参照)。
【0029】
また、代表画像表示部20は、代表画像を表示する際に、代表色作成部18により生成された暗示画像を代表フレームに隣接して表示する。詳細は後述するが、代表画像表示部20は、フレーム群の構成順において二つの代表フレームの間に位置する非選択フレームに対応する暗示画像を、配列方向において二つの代表フレームの間に表示する(図2参照)。
【0030】
ここで、暗示画像は、線分で示される線分画像である。代表画像表示部20は、詳細は後述するが、複数の非選択フレームの各々に対応する線分画像を、複数の非選択フレームのフレーム群における構成順に並べて、代表フレームに隣接して表示する(図4参照)。また、代表画像表示部20は、複数の代表フレームを表示する際に、一の代表フレームに隣接する線分画像の数と、他の代表フレームに隣接する線分画像の数とを異ならせて表示しても良い(図5参照)。
【0031】
上述した構成において、データ取得部14、フレーム選択部16、代表色作成部18、代表画像表示部20は、CPU等の演算処理装置により構成される。記憶部12は、フラッシュメモリ等の内部記憶装置、ハードディスクドライブ等の外部記憶装置により構成される。CPUは、ROM等から読み出されたプログラムを実行することで、動画像処理方法を実現する。
【0032】
(1−2.代表フレームと暗示画像の表示)
動画像の代表画像として代表フレーム及び暗示画像を表示する表示例について、図2を参照しながら説明する。図2は、複数の代表フレームと暗示画像の表示例を示す図である。図2の表示画面30には、5つの代表フレームR1〜R5と、各代表フレームに隣接した暗示画像P1〜P5とが示されている。
【0033】
第1の実施形態に係る動画像処理装置10は、一つの動画像データについて複数の代表フレームを並べて表示画面30に表示する。これらの代表フレームは、動画像データを構成するフレーム群から抽出されたものである。複数の代表フレームの並び順は、フレームの構成順に従っている。なお、表示される代表フレームの数は、動画像データに応じて異なるものとする。
【0034】
また、動画像処理装置10は、代表フレームR1〜R5に隣接した位置に暗示画像P1〜P5を表示する。暗示画像は、動画像データにおける代表フレーム以外のフレーム(非選択フレーム)の色情報等を暗示する画像であり、代表フレーム同士の間に表示されている。暗示画像の詳細については、後述する。
【0035】
なお、図2においては、表示画面30に1つの動画像の代表フレームが表示されているが、もちろん複数の動画像の代表フレームを表示しても良い。かかる場合には、各動画像に対して、複数の代表フレームが表示されることとなる。これにより、例えば複数の動画像の中から所望の動画像を検索する検索画面として表示画面30を適用すれば、各動画像の内容を適切に把握できるので、ユーザーが各動画像を視聴せずとも所望の動画像を選択できる。
【0036】
以下においては、説明の便宜上、一つの動画像データから複数の代表フレーム及び暗示画像を表示するまでの流れの概要について説明する。
【0037】
図3は、一つの動画像データからの複数の代表フレームの抽出例を説明するための図である。ここでは、説明の便宜上、一つの動画像データが30個のフレームから構成されている(実際には、より多数のフレームから構成されている)ものとする。図3では、1番目のフレームI1、7番目のフレームI7、13番目のフレームI13、19番目のフレームI19、25番目のフレームI25が、代表フレームR1〜R5として選択されている。すなわち、フレーム群における一定間隔のフレームが、代表フレームとして選択されている。
【0038】
動画像を構成する30個のフレームのうち代表フレームに選択されなかった非選択フレームについては、暗示画像として表示される。フレームI2〜I6は暗示画像P1として、フレームI8〜I12は暗示画像P2として、フレームI14〜I18は暗示画像P3として、フレームI20〜I24は暗示画像P4として、フレームI26〜I30は暗示画像P5として、それぞれ表示される。これらの暗示画像は、各代表フレームの間にどのようなフレームが存在するかをユーザーに暗示させる。
【0039】
ここで、暗示画像の構成について図4を参照しながら説明する。図4は、暗示画像の構成を説明するための図である。5つの暗示画像P1〜P5の構成は同様であるので、ここでは暗示画像P1を例に挙げて説明する。暗示画像P1は、複数の線分画像L1、L2、L3等から構成されている。すなわち、図3に示す矩形状の暗示画像は、多数の線分の集合である。なお、暗示画像P1を構成する線分画像の数は、フレームI2〜I6に対応する6個であるが、図3においては説明の便宜上、線分画像の数を多くしている(暗示画像P2〜P5についても同様)。各線分画像は、対応する非選択フレームの画像の代表色を示している。例えば、線分画像L1はフレームI1の画像の代表色を示し、線分画像L2はフレームI2の画像の代表色を示す。
【0040】
なお、暗示画像として線分画像を例に挙げて説明したが、これに限定されない。例えば、暗示画像は、フレームの縮小画像(代表フレームよりも微小な画像)や、線以外の形状を示す画像であっても良い。また、暗示画像は、フレーム画像の色情報を示す画像であることとしたが、これに限定されない。例えば、暗示画像は、フレーム画像の輝度情報を示す画像であっても良い。
【0041】
上述した図3では、代表フレームとして、フレーム群において一定間隔の非選択フレームが選択されることとしたが、これに限定されず、図5に示すように間隔が一定で無い非選択フレームが選択されることとしても良い。図5は、一つの動画像データからの複数の代表フレームの抽出例を説明するための図である。
【0042】
図5においては、1番目のフレームI1、7番目のフレームI7、15番目のフレームI15、19番目のフレームI19、23番目のフレームI23が、代表フレームR1〜R5として選択されている。一方で、フレームI2〜I6は暗示画像P1として、フレームI8〜I14は暗示画像P2として、フレームI16〜I18は暗示画像P3として、フレームI20〜I23は暗示画像P4として、フレームI24〜I30は暗示画像P5として、表示される。各暗示画像を構成するフレームの数が異なるので、5つの暗示画像P1〜P5の長さも一定では無い。すなわち、暗示画像P3、P4の長さが小さく(暗示画像を構成する線分画像の数が少ない)、暗示画像P2、P5の長さが大きい(暗示画像を構成する線分画像の数が多い)。これにより、代表フレーム間にあるフレームの数(又は、時間経過)も、暗示できる。
【0043】
また、上述した図4では、一つのフレームの画像の代表色を示す画像として、一つの線分画像が生成されることとしたが、これに限定されない。例えば、図6に示すように、一つのフレームの画像を複数の領域に分割し、各領域に対応する線分画像をそれぞれ生成することとしても良い。
【0044】
図6は、一つのフレームに対して生成される複数の線分画像を示す図である。図6では、一つのフレームの画像を3つの領域(第1領域、第2領域、第3領域)に分割するものとする。ただし、フレームの分割数は3つに限られず、例えば分割数が2つ又は4つ以上であっても良い。分割された各領域に対して、それぞれ線分画像が生成される。具体的には、第1領域については第1線分画像L28aが、第2領域については第2線分画像L28bが、第3領域については第3線分画像L28cが、それぞれ生成される。図6では3つの領域に含まれる画像が異なるので、3つの線分画像L28a、L28b、L28cが示す色は異なる。
【0045】
生成された3つの線分画像の暗示画像としての表示例について、図7を参照しながら説明する。図7は、複数の代表フレームと暗示画像の表示例を示す図である。図2に示した表示例と異なる点は、暗示画像P1〜P5が3つの暗示部を有していることにある。例えば、暗示画像P1は、第1暗示部P1aと、第2暗示部P1bと、第3暗示部P1cを有する。第1暗示部P1aは、各フレームの第1線分画像(図6の第1線分画像)の集まりであり、第2暗示部P1bは、各フレームの第2線分画像の集まりであり、第3暗示部P1cは、各フレームの第3線分画像の集まりである。このように複数の暗示部で表示することで、非選択フレームの画像の色情報をより細かく表示できる。
【0046】
(1−3.第1実施形態に係る動画像処理装置の動作)
次に、代表フレームと暗示画像を表示する際の動画像処理装置10の動作例(動画像処理方法)について、図8を参照しながら説明する。図8は、第1実施形態に係る動画像処理装置10の動作例を説明するためのフローチャートである。図8のフローチャートは、例えば動画像を検索する検索画面にアクセスしたところから開始される。
【0047】
まず、データ取得部14が、動画像データを取得する(ステップS2)。例えば、データ取得部14は、記憶部12から再生対象の動画像データを取得する。
【0048】
フレーム選択部16は、取得した動画像データからフレームを切り出す(ステップS4)。すなわち、フレーム選択部16は、動画像データを構成するフレーム群の最初のフレームを切り出す。
【0049】
次に、フレーム選択部16は、切り出したフレームが代表フレームであるか否かを判定する(ステップ6)。切り出したフレームが代表フレームである場合には(ステップS6:Yes)、フレーム選択部16は、切り出したフレームを代表画像表示部20に送る。代表画像表示部20は、受信した代表フレームを表示する(ステップS8)。なお、代表画像表示部20は、代表フレームを縮小して表示する。
【0050】
一方で、切り出したフレームが代表フレームで無い場合には(ステップS6:No)、フレーム選択部16は、切り出したフレームを代表色作成部18に送る。代表色作成部18は、図4に示すように、受信したフレームの画像の代表色(暗示画像)を作成する(ステップS10)。代表色作成部18は、作成した代表色を代表画像表示部20に送る。代表画像表示部20は、受信した代表色を表示する(ステップS12)。
【0051】
次に、フレーム選択部16は、切り出されたフレームが動画像データの最終フレームであるか否かを判定する(ステップS14)。最終フレームである場合には(ステップS14:Yes)、本処理は終了する。一方で、最終フレームで無い場合には(ステップS14:No)、上述したステップS4〜S12が繰り返される。これにより、図2や図7に示すように、1つの動画像の代表画像として、表示画面30に複数の代表フレームと暗示画像が表示されることとなる。
【0052】
なお、上記においては、1つの動画像の代表フレームと暗示画像の表示処理(動画像処理方法)について説明したが、複数の動画像の場合には、上述した処理(ステップS2〜S14)が繰り返される。すなわち、代表画像を表示する対象の動画像が増える度に、表示画面(検索画面)が更新されることとなる。これにより、検索画面に表示された各動画像に対応した複数の代表フレーム及び暗示画像に基づいて、所望の動画像をユーザーが選択できる。
【0053】
(1−4.変形例)
変形例に係る動画像処理装置40の構成例について、図9を参照しながら説明する。図9は、変形例に係る動画像処理装置40の構成を示すブロック図である。
【0054】
上述した動画像処理装置10は、代表フレーム以外のフレームの代表色(暗示画像)を作成した直後に、表示画面に複数の代表フレームと暗示画像を表示することとした。これに対して、動画像処理装置40は、代表フレームと代表色に関する情報を一旦記憶しておき、その後に必要に応じて表示する。
【0055】
動画像処理装置40は、図9に示すように、記憶部42と、データ取得部44と、フレーム選択部46と、代表色作成部48と、データ蓄積部50と、読込み部52と、代表画像表示部54を有する。
【0056】
記憶部42と、データ取得部44と、フレーム選択部46と、代表色作成部48は、それぞれ図1に示す記憶部12、データ取得部14、フレーム選択部16、代表色作成部18と同様である。このため、これらの構成の詳細については説明を省く。
【0057】
データ蓄積部50は、フレーム選択部16により選択された代表フレームに関する情報と、代表色作成部48が作成したフレームの暗示画像を記憶する。すなわち、動画像処理装置40は、取得した動画像データの代表フレームを直ぐに表示するのでは無く、動画像データの代表フレームや暗示画像に関する情報を一旦記憶する。
【0058】
読込み部52は、例えばユーザーによる動画像データの代表フレームの表示命令を受信すると、データ蓄積部50に蓄積されたデータ(動画像データの代表フレームや暗示画像に関する情報)を読み出して、代表画像表示部54に送る。
【0059】
代表画像表示部54は、読込み部52から送られたデータに基づいて、図2に示すように、複数の代表フレームと暗示画像を表示画面30に表示させる。なお、代表画像表示部54による表示は、図1の代表画像表示部20と同様である。
【0060】
次に、代表フレームと暗示画像の表示を表示する際の動画像処理装置40の動作例について、図10を参照しながら説明する。図10は、変形例に係る動画像処理装置40の動作例を説明するためのフローチャートである。図10のフローチャートは、動画像の代表フレームが既に選択され、また動画像の非選択フレームの代表色が既に作成されたところから開始される。
【0061】
まず、読込み部52は、データ蓄積部50に蓄積された動画像データ(動画像データの代表フレームや暗示画像に関する情報)を読み出し(ステップS22)、代表画像表示部54に送る。
【0062】
代表画像表示部54は、受信した動画像データを構成するフレーム群のフレームを順番に読み出して、表示を制御する。具体的には、代表画像表示部54は、読み出したフレームが代表フレームである場合には(ステップS24:Yes)、代表フレームを表示する(ステップS26)。一方で、読み出したフレームが代表フレームで無い場合には(ステップS24:No)、代表画像表示部54は、フレームの画像の代表色を表示する(ステップS28)。
【0063】
次に、代表画像表示部54は、読み出したフレームが動画像データの最終フレームであるか否かを判定する(ステップS30)。最終フレームである場合には(ステップS30:Yes)、本処理は終了する。一方で、最終フレームで無い場合には(ステップS30:No)、上述したステップS24〜S28が繰り返される。これにより、図2や図7に示すように、1つの動画像の代表画像として、表示画面に複数の代表フレーム及び暗示画像が表示されることとなる。
【0064】
(1−5.まとめ)
第1実施形態によれば、1つの動画像の代表画像として、複数の代表フレームが表示されると共に、代表フレーム以外の非選択フレームについて暗示画像(画像の代表色を示す線分画像)が作成されて表示される。これにより、動画像に関するより多くの情報を表示画面に表示できるので、ユーザーは動画像の内容を把握しやすくなる。
【0065】
また、非選択フレームの暗示画像を表示することで、代表フレーム以外のフレームをわざわざ見る必要が無くなるので、ユーザーに対しての閲覧負荷を下げられ、ユーザーが同一時間内で閲覧できる画像数や映像量を増やすことができる。更に、複数の代表フレームを表示することで、動画像を視聴しなくても、1つの動画像全体のバランスを予見することができる。
【0066】
ここで、図11に示す比較例と対比しながら、より詳しく説明する。図11は、比較例を説明するための図であり、複数の代表フレームを表示する2つの表示状態1、2を対比するための図である。なお、2つの表示状態1、2には、暗示画像が表示されない。表示状態1には、代表フレームとして、図3に示す30個のフレームのうち、1番目のフレームI1、7番目のフレームI7、13番目のフレームI13、19番目のフレームI19、25番目のフレームI25が示されている。表示状態2には、代表フレームとして、1番目のフレームI1、8番目のフレームI8、14番目のフレームI14、22番目のフレームI22、27番目のフレームI27が示されている。
【0067】
表示状態1と表示状態2を比較すると、上下のフレームが同じフレームであるとユーザーは誤解してしまう。図11に見ると分かるように、例えば、フレームI7とフレームI8、フレームI19とフレームI22にほとんど差が無い。このため、ユーザーにとっては、表示状態1と表示状態2を同じものであると錯覚してしまう。
【0068】
これに対して、上述した動画像処理装置10、40によれば、複数の代表フレームの間に暗示画像を表示することで、複数の代表フレーム間の時間経過をユーザーが認識できる。特に、複数の代表フレーム間の時間間隔が等間隔で無い場合に、より有効性が発揮される。このように、本実施形態においては、複数の代表フレームを単に静止画の束として見るのではなく、時間的な連なりに着目して表示する点に特徴がある。
【0069】
<2.第2の実施形態>
(2−1.第2の実施形態に係る動画像処理装置の構成)
第2の実施形態に係る動画像処理装置110の構成例ついて、図12を参照しながら説明する。図12は、第2の実施形態に係る動画像処理装置110の構成を示すブロック図である。
【0070】
上述した動画像処理装置10は、代表フレーム以外のフレームの代表色(暗示画像)を作成し、表示画面に複数の代表フレームと暗示画像を表示することとした。これに対して、動画像処理装置110においては、表示画面に表示される代表フレームの数が、表示ランクに応じて変更可能である。また、代表フレームの表示数の変更に伴い、暗示画像の表示も変更される。
【0071】
動画像処理装置110は、図12に示すように、記憶部112と、データ取得部114と、フレーム選択部116と、代表色作成部118と、代表画像表示部120と、ランク設定部の一例であるランク入力部122と、入力履歴蓄積部124と、階層化表示部126を有する。なお、第2実施形態においては、代表画像表示部120及び階層化表示部126が表示制御部に該当する。
【0072】
記憶部112と、データ取得部114と、フレーム選択部116と、代表色作成部118と、代表画像表示部120は、それぞれ図1に示す記憶部12、データ取得部14、フレーム選択部16、代表色作成部18、代表画像表示部20と同様である。このため、これらの構成の詳細については説明を省く。
【0073】
ランク入力部122は、代表フレームに表示ランクを設定するためのものである。表示ランクとしては、例えば、ランク1、ランク2、ランク3等が設定される。ランク1が下位ランクであり、ランク3が上位ランクである。
【0074】
入力履歴蓄積部124は、ランク入力部122による過去の入力履歴を記憶する。例えば、一の代表フレームに対して過去に設定した表示ランクを記憶したり、表示ランクの更新を記憶する。また、入力履歴蓄積部124は、表示ランクの更新頻度を記憶しても良い。
【0075】
階層化表示部126は、設定された表示ランクに応じて、代表画像を階層化して表示する。つまり、階層化表示部126は、設定された表示ランクに応じて、代表画像としての代表フレームの表示数を変更する。具体的には、階層化表示部126は、ユーザーの操作(表示ランクの切替操作)に応じて、ランク1〜3が混在している複数の代表フレームの中のランク2以上の代表フレームを表示したり、ランク3以上の代表フレームのみを表示する。
【0076】
また、階層化表示部126は、入力履歴蓄積部124に記憶された入力履歴を参照して、代表画像を階層化して表示する。例えば、同じ表示ランクの代表フレームが複数存在する場合には、入力履歴を参照して表示ランクの更新頻度が多い代表フレームを優先して表示画面に表示する。これは、表示画面のサイズが限られて表示できる代表フレームの数が限定されている場合に、有効である。
【0077】
(2−2.代表画像の階層化表示)
代表画像の階層化表示の表示例について、図13を参照しながら説明する。図13は、代表フレームの階層化表示の表示例を説明するための図である。
【0078】
図13には、複数の代表フレームR1〜R5と、暗示画像P1〜P5が表示されている。複数の代表フレームR1〜R5には、それぞれ表示ランクが設定されている。具体的には、代表フレームR1、R2の表示ランクはランク2であり、代表フレームR3の表示ランクはランク1であり、代表フレームR4の表示ランクはランク2であり、代表フレームR5の表示ランクはランク1である。なお、フレーム群のうちの代表フレームで無い非選択フレームは、ランク0であるものとする。
【0079】
かかる場合に、表示ランク2以上の代表フレームを表示させるように、ユーザーが操作を行うと、5つの代表フレームR1〜R5のうちのランク2以上の代表フレームR1、代表フレームR2、代表フレームR4が表示される。
【0080】
また、ランク2以上の代表フレームが表示されることに伴い、暗示画像P1〜P5の表示も変化する。すなわち、代表フレームR2と代表フレームR4の間の非選択フレーム及び代表フレームR3の線分画像が、暗示画像P2として表示される。また、代表フレームR4以降の非選択フレーム及び代表フレームR5の線分画像が、暗示画像P4として表示される。階層化して代表フレームの表示数が減ると、暗示画像の長さが長くなる(各暗示画像の線分画像の数が増える)。
【0081】
代表画像の階層化表示の表示例は、図13に示す表示例に限定されない。以下に説明する図14〜図16に示す表示例であっても良い。以下においては、図14〜図16を参照しながら、階層化表示の他の表示例を説明する。なお、図14〜図16においても図13と同様に、表示ランクがランク2以上の代表フレームR1、R2、R4を表示するものとする。
【0082】
図14は、代表画像の階層化表示の他の表示例を説明するための図である。図13の表示例との違いは、暗示画像の表示方法にある。図13では、代表フレームでない非選択フレームが暗示画像として表示されている。これに対して、図14では、代表フレームでは無いフレームの暗示画像は非表示になる一方で、ランク1の代表フレームR3を示す暗示画像P11と、代表フレームR5を示す暗示画像P12が表示される。なお、暗示画像P11、P12を構成する複数の線分画像は、それぞれ代表フレームR3、R5の色情報を示す画像である。
【0083】
かかる場合には、上位の表示ランクの代表フレームが表示された際に、下位の表示ランクの代表フレームの存在をユーザーが容易に認識できる。このため、ユーザーは、再度、下位の表示ランクの代表フレームを表示し易くなる。
【0084】
図15は、代表画像の階層化表示の他の表示例を説明するための図である。図13の表示例との違いは、暗示画像の表示方法にある。図13では、暗示画像P1、P2、P4の表示の長さが異なっていた。これに対して、図15の暗示画像P21、P22、P23の表示の長さは同じである。暗示画像P21は図13の暗示画像P1と同様であるが、暗示画像P22、P23は、図13の暗示画像P2、P4の長さを圧縮した画像(線分画像の数を減らした画像)となっている。
【0085】
図16は、代表画像の階層化表示の他の表示例を説明するための図である。図13の表示例との違いは、暗示画像の表示方法にある。図16の暗示画像P31、P32、P33は、図13の暗示画像P1、P2、P4の長さを同じ比率で圧縮(線分画像の数を半減)しており、それぞれ一つの矩形になっている。
【0086】
図15と図16の表示例の場合には、例えば図13の表示例の場合に比べて暗示画像が大きくなることを防止できるので、表示画面の表示サイズを有効に活用でき、この結果、代表フレームの表示数を増やすことも可能となる。
【0087】
図17は、代表画像の階層化表示の他の表示例を説明するための図である。図17では、各代表フレームの表示ランクを、マークとして代表フレーム内に表示させている。すなわち、各代表フレームの右下に矩形のマークMが重畳して表示されており、矩形のマークMの数が表示ランクを示している。例えば、ランク2の代表フレームR1には矩形のマークが2つ含まれ、ランク3の代表フレームR2には矩形のマークが3つ含まれ、ランク1の代表フレームR3には矩形のマークが1つ含まれている。これにより、ユーザーは、マーク数を数えることで、容易に代表フレームの表示ランクを認識できる。
【0088】
図18と図19は、暗示画像中の下位の表示ランクの代表フレームの位置を示すマークを説明するための図である。図18と図19では、表示ランク3の代表フレームR2が表示されているものとし、表示ランク2以下の代表フレームの位置が暗示画像中にマークとして表示されている。具体的には、ランク2の代表フレームR1の位置がマークM1で、代表フレームR3の位置がマークM2で、代表フレームR4の位置がマークM3で、代表フレームR5の位置がマークM4で、それぞれ暗示画像に重畳して示されている。
【0089】
なお、図18では、マークM1〜M4の幅を大きくすることで、代表フレームの位置を示している。図19では、マークM1〜M4内にランクを示す数字が示されている。これにより、ユーザーは、上位の表示ランクの代表フレームが表示されている際に、下位の表示ランクの代表フレームの位置を容易に識別できる。
【0090】
(2−3.第2の実施形態に係る動画像処理装置の動作)
次に、代表フレームを階層化表示する際の動画像処理装置110の動作例(動画像処理方法)について、図20を参照しながら説明する。図20は、第2実施形態に係る動画像処理装置110の動作例を説明するためのフローチャートである。
【0091】
まず、動画像処理装置110は、記憶部112から動画像データを取得する(ステップS42)。そして、動画像処理装置110は、動画像データを構成するフレーム群から代表フレームを選択し、選択されなかったフレームの画像の代表色を作成する。
【0092】
次に、動画像処理装置110は、フレーム群の構成順にフレームの表示を制御する。動画像処理装置110は、1つ目のフレームが代表フレームであるか否かを判定する(ステップS44)。1つ目のフレームが代表フレームである場合には(ステップS44:Yes)、動画像処理装置110は、次に所定の表示ランク以上であるか否かを判定する(ステップS46)。1つ目のフレームが所定の表示ランク以上である場合には(ステップS46:Yes)、動画像処理装置110は、代表フレームを表示画面30に表示する(ステップS48)。
【0093】
一方で、ステップS44において代表フレームで無い場合には、動画像処理装置110は、フレーム画像の代表色を表示する(ステップS50)。また、ステップS46において所定の表示ランク未満である場合には、フレーム画像の代表色を表示する(ステップS50)。
【0094】
次に、動画像処理装置110は、表示対象のフレームが最終フレームであるか否かを判定する(ステップS52)。最終フレームである場合には(ステップS52:Yes)、本処理は終了する。一方で、最終フレームで無い場合には(ステップS52:No)、上述したステップS44〜S50が繰り返される。これにより、図13〜図19に示すように、表示画面30に階層化された代表フレームと暗示画像が表示されることとなる。
【0095】
(2−4.まとめ)
第2実施形態によれば、第1実施形態と同様に、1つの動画像データについて、複数の代表フレームを表示すると共に、代表フレーム以外のフレームについて暗示画像を作成して表示することで、より多くの情報を表示画面に表示できる。また、複数の代表フレーム間の時間経過をユーザーが認識できるので、動画像の内容をより適切に把握することができる。
【0096】
また、第2実施形態においては、代表フレームに表示ランクを設定し、表示ランクに応じて表示を制御するので、動画像の全体像の把握がより容易なものとなる。
【0097】
<3.その他の実施形態>
以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。
【0098】
上記の実施形態では、代表画像が表示される表示画面として検索画面を例に挙げて説明したが、これに限定されない。例えば、表示画面は、動画像を閲覧する閲覧画面や、動画像を編集する編集する編集画面等であっても良い。
【0099】
また、上記の実施形態で説明した一連の処理は、専用のハードウエアにより実行させてもよいが、ソフトウエア(アプリケーション)により実行させてもよい。一連の処理をソフトウエアにより行う場合、汎用又は専用のコンピュータにプログラムを実行させることにより、上記の一連の処理を実現することができる。
【0100】
また、上記の実施形態のフローチャートに示されたステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的に又は個別的に実行される処理をも含む。また時系列的に処理されるステップでも、場合によっては適宜順序を変更することが可能であることは言うまでもない。
【符号の説明】
【0101】
10 動画像処理装置
12 記憶部
14 データ取得部
16 フレーム選択部
18 代表色作成部
20 代表画像表示部
40 動画像処理装置
50 データ蓄積部
52 読込み部
110 動画像処理装置
122 ランク入力部
124 入力履歴蓄積部
126 階層化表示部
【特許請求の範囲】
【請求項1】
一の動画像を構成するフレーム群から、前記動画像を代表する複数の代表フレームを選択する代表フレーム選択部と、
前記フレーム群のうちの前記代表フレームに選択されなかった非選択フレーム毎に、少なくともフレーム画像の色情報と輝度情報のいずれか一方を暗示する暗示画像を生成する暗示画像生成部と、
前記代表フレーム選択部により選択された前記代表フレームを表示する際に、前記暗示画像生成部により生成された前記暗示画像を前記代表フレームに隣接して表示する表示制御部と
を備える、動画像処理装置。
【請求項2】
前記表示制御部は、前記暗示画像として線分で示される線分画像を、前記代表フレームに隣接して表示する、請求項1に記載の動画像処理装置。
【請求項3】
前記表示制御部は、複数の前記非選択フレームの各々に対応する前記線分画像を、前記複数の非選択フレームの前記フレーム群における構成順に複数並べて表示する、請求項2に記載の動画像処理装置。
【請求項4】
前記表示制御部は、複数の前記代表フレームを表示する際に、一の前記代表フレームに隣接する前記線分画像の数と、他の前記代表フレームに隣接する前記線分画像の数とを異ならせて表示する、請求項3に記載の動画像処理装置。
【請求項5】
前記表示制御部は、
複数の前記代表フレームを、互いに離隔した状態で所定の配列方向に沿って表示し、
前記フレーム群の構成順において二つの前記代表フレームの間に位置する前記非選択フレームに対応する前記暗示画像を、前記配列方向において前記二つの前記代表フレームの間に表示する、請求項1〜4のいずれか1項に記載の動画像処理装置。
【請求項6】
前記暗示画像生成部は、一つの前記非選択フレームを複数の領域に分割したときに、各領域に対応する複数の暗示部から構成される前記暗示画像を生成する、請求項1〜5のいずれか1項に記載の動画像処理装置。
【請求項7】
前記代表フレーム選択部は、前記フレーム群の構成順において間隔が等間隔であるように複数の前記代表フレームを選択する、請求項1〜6のいずれか1項に記載の動画像処理装置。
【請求項8】
前記代表フレーム選択部は、前記フレーム群の構成順において間隔が等間隔でないように複数の前記代表フレームを選択する、請求項1〜6のいずれか1項に記載の動画像処理装置。
【請求項9】
前記複数の代表フレームの各々に対して表示ランクを設定するランク設定部を更に備え、
前記表示制御部は、選択された前記複数の代表フレームのうちの、所定の前記表示ランク以上に設定された前記代表フレームを表示し、所定の前記表示ランク未満に設定された前記代表フレームを表示しない、請求項1〜8のいずれか1項に記載の動画像処理装置。
【請求項10】
前記表示制御部は、所定の前記表示ランク未満に設定された前記代表フレームの前記動画像の構成順における位置を示す位置情報を、前記暗示画像に重畳して表示する、請求項9に記載の動画像処理装置。
【請求項11】
一の動画像を構成するフレーム群から、前記動画像を代表する複数の代表フレームを選択するステップと、
前記フレーム群のうちの前記代表フレームに選択されなかった非選択フレーム毎に、少なくともフレーム画像の色情報と輝度情報のいずれか一方を暗示する暗示画像を生成するステップと、
選択された前記代表フレームを表示する際に、生成された前記暗示画像を前記代表フレームに隣接して表示するステップと
を含む、動画像処理方法。
【請求項12】
一の動画像を構成するフレーム群から、前記動画像を代表する複数の代表フレームを選択するステップと、
前記フレーム群のうちの前記代表フレームに選択されなかった非選択フレーム毎に、少なくともフレーム画像の色情報と輝度情報のいずれか一方を暗示する暗示画像を生成するステップと、
選択された前記代表フレームを表示する際に、生成された前記暗示画像を前記代表フレームに隣接して表示するステップと
をコンピュータに実行させるためのプログラム。
【請求項1】
一の動画像を構成するフレーム群から、前記動画像を代表する複数の代表フレームを選択する代表フレーム選択部と、
前記フレーム群のうちの前記代表フレームに選択されなかった非選択フレーム毎に、少なくともフレーム画像の色情報と輝度情報のいずれか一方を暗示する暗示画像を生成する暗示画像生成部と、
前記代表フレーム選択部により選択された前記代表フレームを表示する際に、前記暗示画像生成部により生成された前記暗示画像を前記代表フレームに隣接して表示する表示制御部と
を備える、動画像処理装置。
【請求項2】
前記表示制御部は、前記暗示画像として線分で示される線分画像を、前記代表フレームに隣接して表示する、請求項1に記載の動画像処理装置。
【請求項3】
前記表示制御部は、複数の前記非選択フレームの各々に対応する前記線分画像を、前記複数の非選択フレームの前記フレーム群における構成順に複数並べて表示する、請求項2に記載の動画像処理装置。
【請求項4】
前記表示制御部は、複数の前記代表フレームを表示する際に、一の前記代表フレームに隣接する前記線分画像の数と、他の前記代表フレームに隣接する前記線分画像の数とを異ならせて表示する、請求項3に記載の動画像処理装置。
【請求項5】
前記表示制御部は、
複数の前記代表フレームを、互いに離隔した状態で所定の配列方向に沿って表示し、
前記フレーム群の構成順において二つの前記代表フレームの間に位置する前記非選択フレームに対応する前記暗示画像を、前記配列方向において前記二つの前記代表フレームの間に表示する、請求項1〜4のいずれか1項に記載の動画像処理装置。
【請求項6】
前記暗示画像生成部は、一つの前記非選択フレームを複数の領域に分割したときに、各領域に対応する複数の暗示部から構成される前記暗示画像を生成する、請求項1〜5のいずれか1項に記載の動画像処理装置。
【請求項7】
前記代表フレーム選択部は、前記フレーム群の構成順において間隔が等間隔であるように複数の前記代表フレームを選択する、請求項1〜6のいずれか1項に記載の動画像処理装置。
【請求項8】
前記代表フレーム選択部は、前記フレーム群の構成順において間隔が等間隔でないように複数の前記代表フレームを選択する、請求項1〜6のいずれか1項に記載の動画像処理装置。
【請求項9】
前記複数の代表フレームの各々に対して表示ランクを設定するランク設定部を更に備え、
前記表示制御部は、選択された前記複数の代表フレームのうちの、所定の前記表示ランク以上に設定された前記代表フレームを表示し、所定の前記表示ランク未満に設定された前記代表フレームを表示しない、請求項1〜8のいずれか1項に記載の動画像処理装置。
【請求項10】
前記表示制御部は、所定の前記表示ランク未満に設定された前記代表フレームの前記動画像の構成順における位置を示す位置情報を、前記暗示画像に重畳して表示する、請求項9に記載の動画像処理装置。
【請求項11】
一の動画像を構成するフレーム群から、前記動画像を代表する複数の代表フレームを選択するステップと、
前記フレーム群のうちの前記代表フレームに選択されなかった非選択フレーム毎に、少なくともフレーム画像の色情報と輝度情報のいずれか一方を暗示する暗示画像を生成するステップと、
選択された前記代表フレームを表示する際に、生成された前記暗示画像を前記代表フレームに隣接して表示するステップと
を含む、動画像処理方法。
【請求項12】
一の動画像を構成するフレーム群から、前記動画像を代表する複数の代表フレームを選択するステップと、
前記フレーム群のうちの前記代表フレームに選択されなかった非選択フレーム毎に、少なくともフレーム画像の色情報と輝度情報のいずれか一方を暗示する暗示画像を生成するステップと、
選択された前記代表フレームを表示する際に、生成された前記暗示画像を前記代表フレームに隣接して表示するステップと
をコンピュータに実行させるためのプログラム。
【図1】
![](/placeholder_lazyload.gif)
![image rotate](/img/rotate_to_90.png)
【図2】
![](/placeholder_lazyload.gif)
![image rotate](/img/rotate_to_90.png)
【図3】
![](/placeholder_lazyload.gif)
![image rotate](/img/rotate_to_90.png)
【図4】
![](/placeholder_lazyload.gif)
![image rotate](/img/rotate_to_90.png)
【図5】
![](/placeholder_lazyload.gif)
![image rotate](/img/rotate_to_90.png)
【図6】
![](/placeholder_lazyload.gif)
![image rotate](/img/rotate_to_90.png)
【図7】
![](/placeholder_lazyload.gif)
![image rotate](/img/rotate_to_90.png)
【図8】
![](/placeholder_lazyload.gif)
![image rotate](/img/rotate_to_90.png)
【図9】
![](/placeholder_lazyload.gif)
![image rotate](/img/rotate_to_90.png)
【図10】
![](/placeholder_lazyload.gif)
![image rotate](/img/rotate_to_90.png)
【図11】
![](/placeholder_lazyload.gif)
![image rotate](/img/rotate_to_90.png)
【図12】
![](/placeholder_lazyload.gif)
![image rotate](/img/rotate_to_90.png)
【図13】
![](/placeholder_lazyload.gif)
![image rotate](/img/rotate_to_90.png)
【図14】
![](/placeholder_lazyload.gif)
![image rotate](/img/rotate_to_90.png)
【図15】
![](/placeholder_lazyload.gif)
![image rotate](/img/rotate_to_90.png)
【図16】
![](/placeholder_lazyload.gif)
![image rotate](/img/rotate_to_90.png)
【図17】
![](/placeholder_lazyload.gif)
![image rotate](/img/rotate_to_90.png)
【図18】
![](/placeholder_lazyload.gif)
![image rotate](/img/rotate_to_90.png)
【図19】
![](/placeholder_lazyload.gif)
![image rotate](/img/rotate_to_90.png)
【図20】
![](/placeholder_lazyload.gif)
![image rotate](/img/rotate_to_90.png)
![](/placeholder_lazyload.gif)
![image rotate](/img/rotate_to_90.png)
【図2】
![](/placeholder_lazyload.gif)
![image rotate](/img/rotate_to_90.png)
【図3】
![](/placeholder_lazyload.gif)
![image rotate](/img/rotate_to_90.png)
【図4】
![](/placeholder_lazyload.gif)
![image rotate](/img/rotate_to_90.png)
【図5】
![](/placeholder_lazyload.gif)
![image rotate](/img/rotate_to_90.png)
【図6】
![](/placeholder_lazyload.gif)
![image rotate](/img/rotate_to_90.png)
【図7】
![](/placeholder_lazyload.gif)
![image rotate](/img/rotate_to_90.png)
【図8】
![](/placeholder_lazyload.gif)
![image rotate](/img/rotate_to_90.png)
【図9】
![](/placeholder_lazyload.gif)
![image rotate](/img/rotate_to_90.png)
【図10】
![](/placeholder_lazyload.gif)
![image rotate](/img/rotate_to_90.png)
【図11】
![](/placeholder_lazyload.gif)
![image rotate](/img/rotate_to_90.png)
【図12】
![](/placeholder_lazyload.gif)
![image rotate](/img/rotate_to_90.png)
【図13】
![](/placeholder_lazyload.gif)
![image rotate](/img/rotate_to_90.png)
【図14】
![](/placeholder_lazyload.gif)
![image rotate](/img/rotate_to_90.png)
【図15】
![](/placeholder_lazyload.gif)
![image rotate](/img/rotate_to_90.png)
【図16】
![](/placeholder_lazyload.gif)
![image rotate](/img/rotate_to_90.png)
【図17】
![](/placeholder_lazyload.gif)
![image rotate](/img/rotate_to_90.png)
【図18】
![](/placeholder_lazyload.gif)
![image rotate](/img/rotate_to_90.png)
【図19】
![](/placeholder_lazyload.gif)
![image rotate](/img/rotate_to_90.png)
【図20】
![](/placeholder_lazyload.gif)
![image rotate](/img/rotate_to_90.png)
【公開番号】特開2012−165240(P2012−165240A)
【公開日】平成24年8月30日(2012.8.30)
【国際特許分類】
【出願番号】特願2011−24867(P2011−24867)
【出願日】平成23年2月8日(2011.2.8)
【出願人】(000002185)ソニー株式会社 (34,172)
【Fターム(参考)】
【公開日】平成24年8月30日(2012.8.30)
【国際特許分類】
【出願日】平成23年2月8日(2011.2.8)
【出願人】(000002185)ソニー株式会社 (34,172)
【Fターム(参考)】
[ Back to top ]