動画像検索閲覧装置および記録媒体
【課題】 タイムコード列を用いて動画像からリアルタイムでサムネイルを抽出することにより、予めサムネイル情報を作成・保存しておかなくても、フレーム単位・秒単位の高精度なサムネイル検索閲覧を行えるようにすること。
【解決手段】 蓄積装置に蓄積された映像ファイルから検索情報（カット点検索情報、ニュースなどのテロップによる検索情報、オーディオ分類情報等）を用いて、ブラウズ表示に必要な時刻のサムネイル情報をリアルタイムに抽出し、フレーム単位・秒単位の高精度なサムネイル検索閲覧、およびその時刻を再生開始点・終了点として指定することによる高精度な区間再生を、サムネイル情報保存用の蓄積装置を用意することなく実現可能な動画像検索閲覧装置を提供する。
【解決手段】 蓄積装置に蓄積された映像ファイルから検索情報（カット点検索情報、ニュースなどのテロップによる検索情報、オーディオ分類情報等）を用いて、ブラウズ表示に必要な時刻のサムネイル情報をリアルタイムに抽出し、フレーム単位・秒単位の高精度なサムネイル検索閲覧、およびその時刻を再生開始点・終了点として指定することによる高精度な区間再生を、サムネイル情報保存用の蓄積装置を用意することなく実現可能な動画像検索閲覧装置を提供する。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】本発明は動画像検索閲覧装置および記録媒体に関し、特にＭＰＥＧなどのデジタル動画像の検索閲覧装置および記録媒体に関する。
【０００２】
【従来の技術】映像を検索閲覧する第１の例であるローカル型の映像閲覧検索装置を図３０を参照して説明する。図３０において、動画像コンテンツ蓄積装置502には、あらかじめ動画像コンテンツが蓄積されている。検索情報蓄積装置 501には、該蓄積された動画像からカット点などの検索情報をあらかじめ検出して保存しておく。また、該カット点などのタイムコードに対応するJPEGファイルなどの閲覧用サムネイル静止画像も抽出して検索情報蓄積装置 501に保存しておく。
【０００３】検索・再生コマンド入力部507から映像ファイル名を指定して検索開始コマンドが入力されると、制御部504から検索開始タイムコードと閲覧用サムネイルのリトリーブ個数の情報が検索部503に出力される。検索部503では、入力された前記情報を元に検索情報蓄積装置501から対応するサムネイル列を取り出して制御部504経由で検索結果閲覧表示部506にブラウズ表示する。
【０００４】映像再生に関しては、例えばユーザが、検索結果閲覧表示部506のブラウズ表示上で、映像の再生を開始したいタイムコードおよび終了したいタイムコードを指示する。そうすると、該再生開始・終了タイムコードならびに映像ファイル名と共に再生コマンドが、検索・再生コマンド入力部507経由で制御部504に入力する。次いで、これらの情報は、映像再生部505に伝えられる。該映像再生部505は、動画像コンテンツ蓄積装置502から指定された映像コンテンツの指定された区間のデータを抽出して映像表示部508に送り、該映像表示部508において再生開始点から終了点までの区間再生を行う。
【０００５】次に、映像を検索閲覧する第２の従来例であるサーバ・クライアント型を図３１を用いて詳述する。図３１において、動画像コンテンツ蓄積装置512には、あらかじめ動画像コンテンツが蓄積されている。蓄積された動画像からカット点などの検索情報をあらかじめ検出し検索情報蓄積装置 511に保存しておく。また、該カット点などのタイムコードに対応するＪＰＥＧファイルなどの閲覧用サムネイル静止画像も抽出して検索情報蓄積装置 511に保存しておく。
【０００６】クライアントの検索・再生コマンド入力部519から映像ファイル名を指定してネットワーク517およびWWWServer 516経由で検索開始コマンドが制御部514に入力されると、検索開始タイムコードと閲覧用サムネイルのリトリーブ個数が検索部513に出力される。検索部513は、入力された情報を基に、検索情報蓄積装置511から対応するサムネイル列を取り出して、制御部514、WWWServer 516およびネットワーク517を経由して検索結果閲覧表示部518に送出する。該検索結果閲覧表示部518には、該サムネイル列がブラウズ表示される。
【０００７】映像再生に関しては、例えばユーザが検索結果閲覧表示部518のブラウズ表示上で、映像の再生を開始したいタイムコードおよび終了したいタイムコードを指示する。そうすると、検索・再生コマンド入力部519から、ネットワーク517を経由してビデオサーバ515に、該再生開始・終了タイムコードならびに映像ファイル名と共に再生コマンドが渡される。そして、ビデオサーバ515は、指定された映像コンテンツの指定された区間のデータを動画像コンテンツ蓄積装置512から抽出してネットワーク517経由で映像表示部520に伝送する。この結果、指定された映像コンテンツの再生開始点から終了点までの区間再生が行われる。
【０００８】
【発明が解決しようとする課題】前記した第１、第２の従来例では、予め、カット点などの映像検索情報から特定のサムネイル情報しか生成しないため、複合的にフレーム単位・秒単位のサムネイル検索閲覧、およびその時刻を再生開始点・終了点として指定することによる区間再生を行うことはできなかった。本課題を解決する為にあらかじめすべてのフレームに対応したサムネイルを生成しておく方法も考えられるが、その場合サムネイルのトータルの情報量がオリジナルの動画像の情報量よりも大きくなってしまい、動画像のみを蓄積する場合に比べ、2倍以上の蓄積容量を必要としてしまい、かつ全サムネイルを抽出する為の処理時間も必要としてしまう問題点がある。
【０００９】さらに第１、２の従来例のように、サムネイル検索閲覧に用いられる検索情報としてカット点検索情報を用いた例はあるが、ニュースなどのテロップによる検索情報、オーディオ分類情報を用いたサムネイル検索閲覧および再生開始点・終了点指定の区間再生は実施された例がない。
【００１０】本発明の目的は、前記した従来技術の問題点を解消し、蓄積装置に蓄積された映像ファイルから検索情報を用いてブラウズ表示に必要な時刻のサムネイル情報をリアルタイムに抽出し、サムネイル情報保存用の蓄積装置を用意することなく実現可能な動画像検索閲覧装置、及びリアルタイムサムネイル抽出制御のための制御プログラムを記録したコンピュータ読み取り可能な記録媒体を提供することにある。
【００１１】また、他の目的は、サムネイル検索閲覧に用いられる検索情報としてカット点検索情報以外に、ニュースなどのテロップによる検索情報ならびにオーディオ分類情報を用いたサムネイル検索閲覧および再生開始点・終了点指定の区間再生を可能にした動画像検索閲覧装置、およびカット点検索情報・テロップによる検索情報・オーディオ分類による検索情報を複合的に用いた検索閲覧を実現するための検索閲覧制御プログラムを記録した記録媒体を提供することにある。
【００１２】
【課題を解決するための手段】前記した目的を達成するために、本発明は、MPEG等のデジタル動画像コンテンツを、検索閲覧する動画像検索閲覧装置であって、動画像コンテンツの時間方向の検索を行う時間方向検索手段と、前記時間方向検索手段の検索結果に基づいて、前記動画像コンテンツからリアルタイムでサムネイルを抽出するサムネイル抽出手段と、前記サムネイル抽出手段で抽出されたサムネイルを用いて検索結果を閲覧表示する検索結果閲覧表示手段とを備えた点に第１の特徴がある。
【００１３】この特徴によれば、予めサムネイル情報を作成・保存しておかなくても、動画像コンテンツからリアルタイムにサムネイルを抽出し、該抽出したサムネイルを用いて、フレーム単位・秒単位の高精度なサムネイル検索閲覧を行えるようになる。
【００１４】また、本発明は、前記動画像コンテンツがWWWサーバに蓄積されており、前記時間方向検索手段および前記サムネイル抽出手段が、該WWWサーバに設けられるようにした点に第２の特徴がある。また、WWWブラウザからネットワークを介して前記WWWサーバに接続して、動画像検索処理を該WWWサーバで行い、該WWWブラウザでは、検索条件の指定および検索結果の閲覧表示を行うようにした点に第３の特徴がある。
【００１５】これらの特徴によれば、前記サムネイル検索閲覧処理をローカルホストだけでなく、ネットワーク上で動画像データを共有した状態で行うことが可能になる。
【００１６】さらに、本発明は、与えられたタイムコード列を基に、動画像コンテンツから、リアルタイムでサムネイルを抽出するサムネイル抽出処理プログラムを記録したコンピュータ読み取り可能な記録媒体を提供する点に第４の特徴がある。
【００１７】この特徴によれば、該記録媒体に記録されたプログラムをパソコン等のコンピュータに読み込ませることにより、本発明をコンピュータ上で実現することができるようになる。
【００１８】
【発明の実施の形態】以下に、図面を参照して、本発明を詳細に説明する。図１は、本発明の一実施形態の概略の構成を示すブロック図である。
【００１９】この第1実施形態は、カット点検索情報またはフレーム単位・秒単位のタイムコード列を用いて動画像からリアルタイムでサムネイルを抽出することにより、フレーム単位・秒単位の高精度なサムネイル検索閲覧を行うことができ、およびその時刻を再生開始／終了点として指定することにより高精度な区間再生を、全サムネイル情報保存用の追加蓄積装置を用意することなく、ローカルホスト上で行うことができるようにしたものである。
【００２０】図１において、動画像蓄積装置12には、あらかじめ動画像コンテンツが蓄積されている。蓄積された動画像からシーンの切れ目を示すタイムコード等であるカット点検索情報をあらかじめ検出し、検索情報蓄積装置 11に保存しておく。ここで、カット点検索情報に含まれるタイムコードに対応したＪＰＥＧファイルなどの閲覧用サムネイルは、従来装置のように抽出する必要も、保存する必要もない。
【００２１】カット点検索情報の検索手法に関しては、例えば本出願人による、「動画像のカット点検出装置 特開平１１−２５２５０９号公報」に記載の方法を用いることができる。カット点の検索情報の記述に関しては、図２に記載されているように、カット点と検出されたタイムコードが時系列順に並んでいるカット点タイムコード列（C1, C2, C3, …）20を用いる。
【００２２】図１の検索・再生コマンド入力部18から映像ファイル名を指定してカット点検索開始コマンドが入力されると、制御部15からカット点検索開始タイムコードとカット点閲覧用サムネイルのリトリーブ個数が検索部13に出力される。検索部13は、入力された情報を基に検索情報蓄積装置11に保存されているカット点検索情報から、閲覧すべきサムネイルに対応するカット点閲覧タイムコード列を取得し、制御部１５に送出する。制御部15は、得られたカット点閲覧タイムコード列をサムネイル抽出部14に渡し、該サムネイル抽出部14から対応するサムネイル列を取り出して、制御部15経由で検索結果閲覧表示部17にカット点検索結果としてブラウズ表示する。
【００２３】カット点位置もしくは任意位置から時間方向にさらに細かな内容を検索閲覧する場合には、該詳細検索閲覧開始位置のタイムコードと、フレーム単位・秒単位などの時間方向の表示精度、ならびに閲覧用サムネイルのリトリーブ個数を、検索・再生コマンド入力部１８から制御部15に入力する。制御部15は、得られた情報から一定時間間隔での閲覧タイムコード列を生成した後、該閲覧タイムコード列をサムネイル抽出部14に渡し、対応するサムネイル列を取り出して制御部15経由で検索結果閲覧表示部17に、一定時間間隔での検索結果としてブラウズ表示する。
【００２４】映像の区間再生に関しては、検索結果閲覧表示部17のブラウズ表示上で、映像の再生を開始したいタイムコードおよび終了したいタイムコードが指示される。そうすると、フレーム精度の再生開始・終了タイムコードならびに映像ファイル名の情報を含む再生開始コマンドの情報が、検索・再生コマンド入力部18から制御部15に入力される。これらの情報は、制御部15から映像再生部16に渡り、該映像再生部16は、動画像コンテンツ蓄積装置12から、指定された映像コンテンツの指定された区間のデータを抽出して映像表示部19において再生開始点から終了点までの区間再生を行う。これによりフレーム精度でのローカル区間再生が可能となる。
【００２５】ここで、サムネイル抽出部14の動作を、図３R>３ならびに図４の概念図を用いて詳述する。該サムネイル抽出部14は、動画像部分デコード部２２、キャッシュ２３、およびサムネイル生成部２４から構成されている。リクエストタイムコードおよびサムネイルのリトリーブ個数が制御部15に入力されると、該制御部15は、対応するサムネイルがキャッシュ23に存在しているかを確認し、存在すればキャッシュ23からスイッチ部２６を経て出力する。存在しなければ、映像蓄積装置１２中の動画像ファイル20からスイッチ部２５を経てデータを読み出し、動画像部分デコード部22にて必要なフレームのみ部分デコードした後、サムネイル生成部24にてＪＰＥＧなどのサムネイルを生成する。生成されたサムネイルはスイッチ部２６を経て出力されると同時に、キャッシュ23に一時保存される。なお、このサムネイル抽出処理はプログラムで実現でき、このプログラムはコンピュータ読み取り可能な記録媒体に記録することができる。
【００２６】動画像の圧縮形式がＭＰＥＧの場合は、ＭＰＥＧのフレーム構造は、図４に示す通り、イントラフレーム符号化のＩピクチャと、インターフレーム符号化のＰ及びＢピクチャから構成されるため、リクエストされるタイムコードが、インターフレーム符号化部分を指している場合、先行する１フレーム以上のフレームもデコードする必要がある。そのため、同じフレームのデコード処理がオーバーラップする可能性があり処理効率が落ちる。これを回避するために、動画像の部分デコード最小単位をＧＯＰ（Group Of Pictures）とし、リクエストタイムコードを含むＧＯＰ内の全フレームをデコードし、リクエストタイムコードのサムネイルを出力すると同時にキャッシュ23に保存する。これにより、次のリクエストタイムコードが前回のそれと時間的に近い場合にはキャッシュされたサムネイルの2次利用の確率が高くなり処理スピード向上を図ることができる。
【００２７】サムネイル抽出部14において、リクエストされるタイムコードと、動画像内のフレームタイムコードと、抽出されるサムネイルのタイムコードとのマッピングに関して、図５を用いて詳述する。閲覧すべきサムネイルのカット点もしくはフレーム単位などの一定時間間隔のリクエストタイムコード列（R1、R2、R3、R4、・・・）27は、リクエストタイムコードが時系列順に並んでおり、これら情報から対応する適切なサムネイル列（Th(R1)、Th(R2)、Th(R3)、Th(R4)、・・・）を抽出する。
【００２８】ｍ番目のリクエストタイムコードRm[秒]に対応するサムネイルTh(Rm)の決定の仕方は、下記の（１）式を満たすｔnをｍ番目のリクエストタイムコードに対応するサムネイルの取り出し時刻とすることにより行う。すなわち、カット点サムネイル抽出の場合には、ｍ番目のカット点タイムコードCm[秒]をリクエストタイムコードRm[秒]としてその出力サムネイル Th(Rm) には、下記の（２）式の通り、ｔn [秒]のタイムコードを持つ動画像フレームから生成されたサムネイルTh(ｔn) を用いる。
【００２９】ここで、ｔnは、動画像シーケンス28の中に含まれるフレームのタイムコード列（t1、t2、t3、・・・、tk）29の中のｎ番目のフレームタイムコードを示す。例えば、NTSC映像信号の場合、ｔnは下記の（３）式のようになる。
ｔn ≦ Rm ＜ ｔn+1 [秒]・・・（１）
Th(Rm) = Th(ｔn) ・・・（２）
ｔn = (1/29.97) × ｎ [秒] （ｎ=0,1,2,・・・） ・・・（３）
【００３０】MPEG形式で圧縮された動画像コンテンツからサムネイル抽出を行う場合には、圧縮方式の性質上、時刻ｔnに相当するフレームが含まれるGOP（Group Of Pictures）の先頭フレームからデコードして該当するサムネイルを抽出する必要がある。
【００３１】次に、前記検索結果閲覧表示部１７（図１参照）のブラウジング表示例および再生表示例について説明する。カット点検索閲覧のブラウジング表示例を図６R>６に示す。カット点タイムコード列（Cn, Cn+1, Cn+2, Cn+3, Cn+4）30が表示されると同時にカット点サムネイル列（Th(Cn), Th(Cn+1), Th(Cn+2), Th(Cn+3), Th(Cn+4)）31がそれに同期して表示される。左スキップボタン32を押すと、現在表示されているタイムコード列の時間的に１スパン前のタイムコード列（Cn-5, Cn-4, Cn-3, Cn-2, Cn-1）およびカット点サムネイル列（Th(Cn-5), Th(Cn-4), Th(Cn-3), Th(Cn-2), Th(Cn-1)）が表示される。同様に右スキップボタン33を押すと、現在表示されているタイムコード列の時間的に１スパン後のタイムコード列（Cn+5, Cn+6, Cn+7, Cn+8, Cn+9）およびカット点サムネイル列（Th(Cn+5), Th(Cn+6), Th(Cn+7), Th(Cn+8), Th(Cn+9)）が表示される。
【００３２】フレーム単位の検索閲覧のブラウジング表示例を図７に示す。フレーム単位のタイムコード列（Fn, Fn+1, Fn+2, Fn+3, Fn+4）34が表示されると同時にフレーム単位サムネイル列（Th(Fn), Th(Fn+1), Th(Fn+2), Th(Fn+3), Th(Fn+4)）35がそれに同期して表示される。左スキップボタン36を押すと、現在表示されているタイムコード列の時間的に１スパン前のタイムコード列（Fn-5, Fn-4, Fn-3, Fn-2, Fn-1）およびカット点サムネイル列（Th(Fn-5), Th(Fn-4), Th(Fn-3), Th(Fn-2), Th(Fn-1)）が表示される。同様に右スキップボタン37を押すと、現在表示されているタイムコード列の時間的に１スパン後のタイムコード列（Fn+5, Fn+6, Fn+7, Fn+8, Fn+9）およびカット点サムネイル列（Th(Fn+5), Th(Fn+6), Th(Fn+7), Th(Fn+8), Th(Fn+9)）が表示される。フレーム単位のタイムコードによるブラウジング表示は、フレーム単位のタイムコードをGOP単位、１秒単位、５秒単位などの時間的に等間隔な値に変更すれば、様々な時間精度での等間隔ブラウジング表示が可能となる。
【００３３】また、図８「カット点タイムコードとフレーム単位タイムコードの関係」に示されているように、カット点検索閲覧におけるブラウジング表示とフレーム単位などの等間隔ブラウジング表示を組み合わせることによって、カット点ブラウジング表示で大まかな時間位置を特定し、その場所からフレーム単位ブラウジング表示により細かく表示するという応用も可能である。
【００３４】カット点ブラウザおよびフレーム単位ブラウザを単体もしくは複合的に用いた検索閲覧再生画面例を図９に示す。
【００３５】カット点ブラウザ38は図６で説明したのと同じ動作をする。該カット点ブラウザ38は大まかな内容把握をするのに適し、再生開始・終了位置を指定することが可能となっている。カット点ブラウザ38上である時間位置のサムネイルを選択した状態で、再生開始時刻点ボタン42を押すことにより、再生開始点表示エリア41にそのタイムコードを表示すると同時に、再生開始時刻点ボタン42上に対応するサムネイルを表示する。同様に再生終了時刻点ボタン44を押すことにより、再生終了点表示エリア43にそのタイムコードを表示すると同時に、再生終了時刻点ボタン44上に対応するサムネイルを表示する。次に再生開始ボタン45を押すことにより、指定した開始点から終了点までのカット点指定による区間再生を再生表示画面46上で開始する。再生開始・終了位置を指定せずに再生開始ボタン45を押した場合には、動画像コンテンツの先頭から最後までの全区間、カット点指定による再生を行う。
【００３６】フレーム単位ブラウザ39は図７で説明したのと同じ動作をする。ブラウジング間隔設定メニュー40を開くと、フレーム単位、GOP（通常約0.5秒）単位、１秒単位、５秒単位などの表示時間間隔が表示され、この表示を選択することにより表示時間間隔が変更可能となっている。以後該フレーム単位ブラウザ39はフレーム単位ブラウジング機能も含めた意味で、等間隔ブラウザと呼ぶ。
【００３７】カット点ブラウザ38においてあるサムネイルを選択すると、等間隔ブラウザ３９上では、その時刻からの等間隔ブラウズ表示を行い、時間方向の細かな内容把握をするとともに再生開始・終了位置を指定可能となっている。等間隔ブラウザ39上である時間位置のサムネイルを選択した状態で、再生開始時刻点ボタン42を押すことにより、再生開始点表示エリア41にそのタイムコードを表示すると同時に、再生開始時刻点ボタン42上に対応するサムネイルを表示する。同様に再生終了時刻点ボタン44を押すことにより、再生終了点表示エリア43にそのタイムコードを表示すると同時に、再生終了時刻点ボタン44上に対応するサムネイルを表示する。次に再生開始ボタン45を押すことにより、フレーム精度で指定した開始点から終了点までの区間再生を再生表示画面46上で開始する。再生開始・終了位置を指定せずに再生開始ボタン45を押した場合には、動画像コンテンツの先頭から最後までの全区間再生を行う。
【００３８】以上のように、本実施形態によれば、カット点ブラウザ３８では大まかなサムネイル検索閲覧を行うことができ、等間隔ブラウザ３９上ではフレーム単位・秒単位の高精度なサムネイル検索閲覧を行うことができ、および前記ブラウザ３９上で、その時刻を再生開始／終了点として指定することにより高精度な区間再生を行うことができるようになる。
【００３９】次に、本発明の第２の実施形態を説明する。この実施形態は、第１の実施形態で説明したカット点検索情報の替わりにテロップ検索情報を用いてサムネイル検索閲覧をできるようにすると共に、その時刻を再生開始／終了点として指定することにより高度な区間再生をローカルホスト上で行うことができるようにしたものである。
【００４０】図１０において、検索情報蓄積装置 47以外は、図１と同じ構成であり、また同じ動作をする。
【００４１】動画像蓄積装置12にあらかじめ蓄積された動画像から、ニュースなどのテロップシーンの始まる時刻を記述したテロップ検索情報を予め検出し、検索情報蓄積装置 47に保存しておく。ここで、テロップ検索情報に記述されている各テロップ開始点タイムコードに対応するJPEGファイルなどの閲覧用サムネイルは、抽出する必要も保存する必要もない。テロップの検索手法に関しては、例えば本出願人による特許出願「動画像内のテロップ領域検出装置 特願２０００−２４８７９４」に記載の方法を用いることができる。
【００４２】テロップ検索情報の記述に関しては、図１１R>１に記載されているように、カット点検索情報記述（図２R>２参照）と同様にテロップが出現するシーンの始まりを示すタイムコードが時系列順に並んでいるテロップ開始点タイムコード列（T1, T2,T3, …）48を用いる。
【００４３】検索・再生コマンド入力部18から映像ファイル名を指定してテロップ検索開始コマンドが入力されると、制御部15は、テロップ検索開始タイムコードとテロップ開始点閲覧用サムネイルのリトリーブ個数を検索部13に出力する。検索部13は、入力された情報を基に検索情報蓄積装置47に保存されているテロップ検索情報から、閲覧すべきサムネイルに対応するテロップ開始点閲覧タイムコード列を取得する。制御部15は、得られたテロップ開始点閲覧タイムコード列をサムネイル抽出部14に渡し、対応するサムネイル列を取り出して制御部15経由で検索結果閲覧表示部17にテロップ開始点検索結果としてブラウズ表示する。
【００４４】テロップ開始点位置もしくは任意位置から時間方向にさらに細かな内容を検索閲覧する方法ならびに映像の区間再生の方法は、前記第１実施形態と同様である。
【００４５】サムネイル抽出部14における、リクエストされるタイムコードと、動画像内のフレームタイムコードと、抽出されるサムネイルのタイムコードとのマッピングは、前記第１実施形態と同様に、図５のリクエストタイムコード列（R1、R2、R3、R4、・・・）27に図１１のテロップ開始点タイムコード列（T1, T2, T3, …）48を代入することにより行われる。
【００４６】テロップ検索閲覧のブラウジング表示例を図１２に示す。テロップ開始点タイムコード列（Tn, Tn+1, Tn+2, Tn+3, Tn+4）49が表示されると同時にテロップ開始点サムネイル列（Th(Tn), Th(Tn+1), Th(Tn+2), Th(Tn+3), Th(Tn+4)）50がそれに同期して表示される。左スキップボタン51を押すと、現在表示されているタイムコード列の時間的に１スパン前のタイムコード列（Tn-5, Tn-4, Tn-3, Tn-2, Tn-1）およびテロップ開始点サムネイル列（Th(Tn-5), Th(Tn-4), Th(Tn-3),Th(Tn-2), Th(Tn-1)）が表示される。同様に右スキップボタン52を押すと、現在表示されているタイムコード列の時間的に１スパン後のタイムコード列（Tn+5,Tn+6, Tn+7, Tn+8, Tn+9）およびテロップ開始点サムネイル列（Th(Tn+5), Th(Tn+6), Th(Tn+7), Th(Tn+8), Th(Tn+9)）が表示される。
【００４７】また、図１３の「テロップ開始点タイムコードとフレーム単位タイムコードの関係」に示されているように、テロップ検索閲覧におけるブラウジング表示と、第１実施形態で述べたフレーム単位などの等間隔ブラウジング表示（図７参照）とを組み合わせることによって、テロップ開始点ブラウジング表示で大まかな時間位置（例えば各ニュース項目の先頭）を特定し、その場所からフレーム単位ブラウジング表示により細かく表示するという応用も可能である。
【００４８】テロップ検索閲覧ブラウザおよびフレーム単位ブラウザを単体もしくは複合的に用いた検索閲覧再生画面例を図１４に示す。
【００４９】テロップ検索閲覧ブラウザ53は図１２で説明した動作と同じである。テロップ検索閲覧ブラウザ53は、場面の切り替わるシーンの先頭でテロップが出現する確率の高いニュース映像等において、各項目の頭だしをすると共に、再生開始・終了位置を指定可能となっている。テロップ検索閲覧ブラウザ53上である時間位置のサムネイルを選択した状態で、再生開始時刻点ボタン42を押すことにより、再生開始点表示エリア41にそのタイムコードを表示すると同時に、再生開始時刻点ボタン42上に対応するサムネイルを表示する。同様に再生終了時刻点ボタン44を押すことにより、再生終了点表示エリア43にそのタイムコードを表示すると同時に、再生終了時刻点ボタン44上に対応するサムネイルを表示する。次に再生開始ボタン45を押すことにより、指定した開始点から終了点までのテロップ開始点指定による区間再生を再生表示画面46上で開始する。再生開始位置のみを指定して、再生開始ボタン45を押した場合には、指定した開始点からコンテンツの最後までの区間再生を行う。再生開始・終了位置を指定せずに再生開始ボタン45を押した場合には、動画像コンテンツの先頭から最後までの全区間再生を行う。
【００５０】フレーム単位表示などを行う等間隔ブラウザ39の動作は第１実施形態と同様の動作をする。
【００５１】次に、本発明の第３の実施形態を説明する。この実施形態は、第１実施形態で説明したカット点検索情報の替わりに、オーディオ分類情報を用いてサムネイル検索閲覧ができるようにすると共に、その時刻を再生開始／終了点として指定することにより高度な区間再生をローカルホスト上で行うことができるようにしたものである。
【００５２】図１５において、検索情報蓄積装置 54、検索部55、制御部56、検索結果閲覧表示部57以外は、第１実施形態の図１と同じ動作をする。 動画像蓄積装置12にあらかじめ蓄積された動画像からオーディオが音声・音楽・歓声雑音・無音のどの分類に属するかのオーディオ分類情報をあらかじめ検出し、検索情報蓄積装置54に保存しておく。ここで、オーディオ分類情報に記述されている分類点タイムコードに対応したJPEGファイルなどの閲覧用サムネイルは、抽出する必要も保存する必要もない。オーディオ分類の分類手法に関しては、例えば本出願人による特許出願「オーディオ情報分類装置 特開２０００−６６６９１」に記載の方法を用いることができる。
【００５３】オーディオ分類情報に関しては、図１６に記載されているように、オーディオを「音声」「音楽」「歓声雑音」「無音」に分類したオーディオ分類情報列（A1:AC1, A2:AC2, A3:AC3,・・・）58を用いる。ここで、Anはｎ番目のオーディオ分類点タイムコードを表し、ACnはｎ番目のオーディオ分類点におけるオーディオ分類種別を表す。
【００５４】検索・再生コマンド入力部18から映像ファイル名を指定してオーディオ分類開始コマンドが入力されると、制御部56からオーディオ分類開始タイムコードとオーディオ分類点閲覧用サムネイルのリトリーブ個数が検索部55に出力され、検索部55では入力された情報を基に検索情報蓄積装置54に保存されているオーディオ分類情報から閲覧すべきサムネイルに対応するオーディオ分類点閲覧タイムコード列（An, An+1, An+3,・・・）と各タイムコード列に対応したオーディオ分類種別列（ACn+1, ACn+2, ACn+3,・・・）を取得する。制御部56では、得られたオーディオ分類点閲覧タイムコード列（An, An+1, An+3,・・・）をサムネイル抽出部14に渡し、対応するサムネイル列（Th(An), Th(An+1), Th(An+3), ・・・）を取り出して制御部56においてオーディオ分類種別コード列（ACn+1, ACn+2, ACn+3,・・・）とともに検索結果閲覧表示部57にオーディオ分類点検索結果としてブラウズ表示する。オーディオ分類点位置もしくは任意位置から時間方向にさらに細かな内容を検索閲覧する方法ならびに映像の区間再生の方法に関しては、前記第１実施形態と同様である。
【００５５】サムネイル抽出部14における、リクエストされるタイムコードと、動画像内のフレームタイムコードと、抽出されるサムネイルのタイムコードとのマッピングに関しては、第１実施形態と同様に、図５のリクエストタイムコード列（R1、R2、R3、R4、・・・）27に図１６１６のオーディオ分類点のタイムコード列（A1, A2,A3, …）58を代入することにより行われる。
【００５６】オーディオ分類閲覧のブラウジング表示例を図１７に示す。オーディオ分類点タイムコード列（An, An+1, An+2, An+3, An+4）59が表示されると同時にオーディオ分類点サムネイル列（Th(An), Th(An+1), Th(An+2), Th(An+3), Th(An+4)）60、ならびにオーディオ種別列（ACn, ACn+1, ACn+2, ACn+3, ACn+4）61がそれに同期して表示される。左スキップボタン62を押すと、現在表示されているタイムコード列の時間的に１スパン前のタイムコード列（An-5, An-4, An-3, An-2,An-1）、オーディオ分類点サムネイル列（Th(An-5), Th(An-4), Th(An-3), Th(An-2), Th(An-1)）、およびオーディオ分類種別列（ACn-5, ACn-4, ACn-3, ACn-2, ACn-1）が表示される。同様に右スキップボタン63を押すと、現在表示されているタイムコード列の時間的に１スパン後のタイムコード列（An+5, An+6, An+7, An+8, An+9）、オーディオ分類点サムネイル列（Th(An+5), Th(An+6), Th(An+7), Th(An+8), Th(An+9)）、およびオーディオ分類種別列（ACn+5, ACn+6, ACn+7, ACn+8, ACn+9）が表示される。
【００５７】また、前記第１実施形態で述べたフレーム単位検索閲覧ブラウジングにおいて、図１８の「オーディオ分類種別点タイムコードとフレーム単位タイムコードの関係」が示すように、オーディオ分類閲覧におけるブラウジング表示とフレーム単位などの等間隔ブラウジング表示を組み合わせることによって、オーディオ分類点ブラウジング表示で大まかな時間位置（例えば、司会者の音声からミュージシャンの演奏への切り替わり点）を特定し、その場所からフレーム単位ブラウジング表示により細かく表示するという応用も可能である。
【００５８】オーディオ分類閲覧ブラウザおよびフレーム単位ブラウザを単体もしくは複合的に用いた検索閲覧再生画面例を図１９に示す。
【００５９】オーディオ分類閲覧ブラウザ64は図１７で説明したのと同じ動作となり、音声分類によるシーンの切り替わり点をサムネイルとオーディオ分類種別で表示すると共にに、再生開始・終了位置を指定可能となっている。オーディオ分類閲覧ブラウザ64上である時間位置のサムネイルを選択した状態で、再生開始時刻点ボタン42を押すことにより、再生開始点表示エリア41にそのタイムコードを表示すると同時に、再生開始時刻点ボタン42上に対応するサムネイルを表示する。同様に再生終了時刻点ボタン44を押すことにより、再生終了点表示エリア43にそのタイムコードを表示すると同時に、再生終了時刻点ボタン44上に対応するサムネイルを表示する。次に再生開始ボタン45を押すことにより、指定した開始点から終了点までのオーディオ分類種別切り替わり点指定による区間再生を再生表示画面46上で開始する。再生開始位置のみを指定して、再生開始ボタン45を押した場合には、指定した開始点からコンテンツの最後までの区間再生を行う。再生開始・終了位置を指定せずに再生開始ボタン45を押した場合には、動画像コンテンツの先頭から最後までの全区間再生を行う。
【００６０】フレーム単位表示などを行う等間隔ブラウザ39は前記第１実施形態と同様の動作をするので、説明を省略する。
【００６１】本発明の第４の実施形態は、前記第１の実施形態で説明したカット点検索情報と第３の実施形態で説明したオーディオ分類情報とを複合的に用いてサムネイル検索閲覧、およびその時刻を再生開始／終了点として指定することによる高度な区間再生をローカルホスト上で行うようにしたものである。
【００６２】図２０において、検索情報蓄積装置 65、検索部66、制御部67、および検索結果閲覧表示部68以外は、図１と同じ動作をする。検索情報蓄積装置 65には、カット点検索情報、およびオーディオ分類情報が含まれている。検索部66、制御部67、および検索結果閲覧表示部68は、第１実施形態および第３実施形態で述べた各部の全ての機能を包含している。
【００６３】カット点ブラウザとオーディオ分類閲覧ブラウザの複合ブラウジング表示例を図２１に示す。図２１R>１において、カット点タイムコード列30およびカット点サムネイル列31は、図６と同じ動作をする。カット点タイムコード列（Cn, Cn+1, Cn+2, Cn+3, Cn+4）30およびカット点サムネイル列（Th(Cn), Th(Cn+1), Th(Cn+2), Th(Cn+3), Th(Cn+4)）31とともに、カット点タイムコード列に対応した、オーディオ分類種別列（AC(Cn), AC(Cn+1), AC(Cn+2), AC(Cn+3), AC(Cn+4)）65が同期して表示される。左スキップボタン32を押すと、現在表示されているタイムコード列の時間的に１スパン前のタイムコード列（Cn-5, Cn-4, Cn-3, Cn-2, Cn-1）、カット点サムネイル列（Th(Cn-5), Th(Cn-4), Th(Cn-3), Th(Cn-2), Th(Cn-1)）、およびオーディオ分類種別列（AC(Cn-5), AC(Cn-4), AC(Cn-3), AC(Cn-2), AC(Cn-1)）が表示される。同様に右スキップボタン33を押すと、現在表示されているタイムコード列の時間的に１スパン後のタイムコード列（Cn+5, Cn+6, Cn+7, Cn+8, Cn+9）、カット点サムネイル列（Th(Cn+5), Th(Cn+6), Th(Cn+7), Th(Cn+8), Th(Cn+9)）、およびオーディオ分類種別列（AC(Cn+5), AC(Cn+6), AC(Cn+7), AC(Cn+8), AC(Cn+9)）が表示される。ここで、カット点時刻Cnにおけるオーディオ分類種別AC(Cn)の取得方法は、下記の（４）式を満たすｍ（ｍ番目のオーディオ分類点）を用いて、下記の（５）式のようにACm（m番目のオーディオ分類種別）となる。
Am ≦ Cn ＜ Am+1 ・・・（４）
AC(Cn) = ACm ・・・（５）
【００６４】カット点ブラウザ、オーディオ分類閲覧ブラウザ、およびフレーム単位ブラウザを複合的に用いた検索閲覧再生画面例を図２２に示す。カット点検索・オーディオ分類複合閲覧ブラウザ66は図２１で説明したのと同じ動作となり、カット点によるシーンの切り替わり点をサムネイルとオーディオ分類種別で表示するとともに再生開始・終了位置を指定可能となっている。カット点・オーディオ分類複合閲覧ブラウザ66上である時間位置のサムネイルを選択した状態で、再生開始時刻点ボタン42を押すことにより、再生開始点表示エリア41にそのタイムコードを表示すると同時に、再生開始時刻点ボタン42上に対応するサムネイルを表示する。同様に再生終了時刻点ボタン44を押すことにより、再生終了点表示エリア43にそのタイムコードを表示すると同時に、再生終了時刻点ボタン44上に対応するサムネイルを表示する。次に再生開始ボタン45を押すことにより、指定した開始点から終了点までのカット点指定による区間再生を再生表示画面46上で開始する。再生開始位置のみを指定して、再生開始ボタン45を押した場合には、指定した開始点からコンテンツの最後までの区間再生を行う。再生開始・終了位置を指定せずに再生開始ボタン45を押した場合には、動画像コンテンツの先頭から最後までの全区間再生を行う。
【００６５】フレーム単位表示などを行う等間隔ブラウザ39は第１実施形態と同様の動作をするので説明は省略する。
【００６６】本発明の第５の実施形態は、前記第２の実施形態で説明したテロップ検索情報と第３の実施形態で説明したオーディオ分類情報とを複合的に用いて、サムネイル検索閲覧、およびその時刻を再生開始／終了点として指定することにより、高度な区間再生をローカルホスト上で行うようにしたものである。
【００６７】図２３において、検索情報蓄積装置 67、検索部68、制御部69、および検索結果閲覧表示部70以外は、図１０と同じ動作をする。検索情報蓄積装置 67には、テロップ検索情報、およびオーディオ分類情報が含まれている。検索部68、制御部69、および検索結果閲覧表示部70は、前記第２実施形態および第３実施形態で述べた各部の全ての機能を包含している。
【００６８】テロップ検索閲覧ブラウザとオーディオ分類閲覧ブラウザの複合ブラウジング表示例を図２４に示す。図２４にいて、テロップ開始点タイムコード列49およびテロップ開始点サムネイル列50は、図１２と同じ動作をする。テロップ開始点タイムコード列（Tn, Tn+1, Tn+2, Tn+3, Tn+4）49およびテロップ開始点サムネイル列（Th(Tn), Th(Tn+1), Th(Tn+2), Th(Tn+3), Th(Tn+4)）50とともに、テロップ開始点タイムコード列に対応した、オーディオ分類種別列（AC(Tn), AC(Tn+1), AC(Tn+2), AC(Tn+3), AC(Tn+4)）71が同期して表示される。左スキップボタン51を押すと、現在表示されているタイムコード列の時間的に１スパン前のタイムコード列（Tn-5, Tn-4, Tn-3, Tn-2, Tn-1）、テロップ開始点サムネイル列（Th(Tn-5), Th(Tn-4), Th(Tn-3), Th(Tn-2), Th(Tn-1)）、およびオーディオ分類種別列（AC(Tn-5), AC(Tn-4), AC(Tn-3), AC(Tn-2), AC(Tn-1)）が表示される。同様に右スキップボタン52を押すと、現在表示されているタイムコード列の時間的に１スパン後のタイムコード列（Tn+5, Tn+6, Tn+7, Tn+8, Tn+9）、テロップ開始点サムネイル列（Th(Tn+5), Th(Tn+6), Th(Tn+7), Th(Tn+8), Th(Tn+9)）、およびオーディオ分類種別列（AC(Tn+5), AC(Tn+6), AC(Tn+7), AC(Tn+8), AC(Tn+9)）が表示される。ここで、テロップ開始点時刻Tnにおけるオーディオ分類種別AC(Tn)の取得方法は、第４の実施形態と同様に、下記の（６）式を満たすm（m番目のオーディオ分類点）を用いて、下記の（７）式のようにACm（m番目のオーディオ分類種別）となる。
Am ≦ Tn ＜ Am+1 ・・・（６）
AC(Tn) = ACm ・・・（７）
【００６９】テロップ検索閲覧ブラウザ、オーディオ分類閲覧ブラウザ、およびフレーム単位ブラウザを複合的に用いた検索閲覧再生画面例を図２５に示す。
【００７０】テロップ検索・オーディオ分類複合閲覧ブラウザ72は前記図２４と同じ動作となり、テロップ開始点によるニュースなどのシーン切り替わり点をサムネイルとオーディオ分類種別で表示するとともに再生開始・終了位置を指定可能となっている。テロップ検索・オーディオ分類複合閲覧ブラウザ72上である時間位置のサムネイルを選択した状態で、再生開始時刻点ボタン42を押すことにより、再生開始点表示エリア41にそのタイムコードを表示すると同時に、再生開始時刻点ボタン42上に対応するサムネイルを表示する。同様に再生終了時刻点ボタン44を押すことにより、再生終了点表示エリア43にそのタイムコードを表示すると同時に、再生終了時刻点ボタン44上に対応するサムネイルを表示する。次に再生開始ボタン45を押すことにより、指定した開始点から終了点までのテロップ開始点指定による区間再生を再生表示画面46上で開始する。再生開始位置のみを指定して、再生開始ボタン45を押した場合には、指定した開始点からコンテンツの最後までの区間再生を行う。再生開始・終了位置を指定せずに再生開始ボタン45を押した場合には、動画像コンテンツの先頭から最後までの全区間再生を行う。
【００７１】フレーム単位表示などを行う等間隔ブラウザ39は第１実施形態と同様の動作をするので、説明を省略する。
【００７２】第６の実施形態は、前記第１の実施形態で説明したカット点検索情報と、第２の実施形態で説明したテロップ検索情報と、第３の実施形態で説明したオーディオ分類情報と、を複合的に用いてサムネイル検索閲覧、およびその時刻を再生開始／終了点として指定することによる高度な区間再生をローカルホスト上で行うようにしたものである。
【００７３】図２６において、検索情報蓄積装置 73、検索部74、制御部75、および検索結果閲覧表示部76以外は、図１と同じ動作をする。検索情報蓄積装置 73には、カット点検索情報、テロップ検索情報、およびオーディオ分類情報が含まれている。検索部74、制御部75、および検索結果閲覧表示部76は、前記第１実施形態、第２実施形態、および第３実施形態で述べた各部の全ての機能を包含している。
【００７４】カット点検索閲覧ブラウザ、テロップ検索閲覧ブラウザ、オーディオ分類閲覧ブラウザ、およびフレーム単位ブラウザを複合的に用いた検索閲覧再生画面例を図２７に示す。
【００７５】カット点検索・テロップ検索・オーディオ分類複合閲覧ブラウザ77は、検索閲覧方法選択メニュー79において、検索閲覧方法（カット点検索、テロップ検索、オーディオ分類閲覧）を選択することにより、内部のブラウジング表示部78の動作、左スキップボタン80の動作、および右スキップボタン81の動作が変化する。
【００７６】各検索閲覧方法における内部のブラウジング表示部の動作は、カット点検索に関しては、図２１と同様であり、テロップ検索に関しては、図２４と同様であり、オーディオ分類閲覧に関しては、図１７と同様である。
【００７７】カット点検索・テロップ検索・オーディオ分類複合閲覧ブラウザ77上である時間位置のサムネイルを選択した状態で、再生開始時刻点ボタン42を押すことにより、再生開始点表示エリア41にそのタイムコードを表示すると同時に、再生開始時刻点ボタン42上に対応するサムネイルを表示する。再生開始点のフレーム単位の微調整には、フレームスキップボタン82,83を用いる。再生開始点指定と同様に再生終了時刻点ボタン44を押すことにより、再生終了点表示エリア43にそのタイムコードを表示すると同時に、再生終了時刻点ボタン44上に対応するサムネイルを表示する。再生終了点のフレーム単位の微調整には、フレームスキップボタン84,85を用いる。次に再生開始ボタン45を押すことにより、指定した開始点から終了点までのカット点指定・テロップ開始点指定・オーディオ分類種別切り替わり点指定による区間再生を再生表示画面46上で開始する。再生開始位置のみを指定して、再生開始ボタン45を押した場合には、指定した開始点からコンテンツの最後までの区間再生を行う。再生開始・終了位置を指定せずに再生開始ボタン45を押した場合には、動画像コンテンツの先頭から最後までの全区間再生を行う。編集区間追加ボタン86は、編集区間の追加の動作をする。
【００７８】フレーム単位表示などを行う等間隔ブラウザ39は、前記第１実施形態と同様の動作をするので、説明を省略する。
【００７９】本発明の第７の実施形態は、第１〜第６の実施形態で説明したカット点検索・テロップ検索・オーディオ分類・フレーム単位検索を用いたサムネイル検索閲覧、およびその時刻を再生開始／終了点として指定することによる高度な区間再生を、ネットワーク上のサーバ・クライアントの構成に適用したものである。
【００８０】図２８において、動画像蓄積装置88には、あらかじめ動画像コンテンツが蓄積されている。蓄積された動画像からカット点検索情報、テロップ検索情報、または、オーディオ分類情報などの各種検索情報をあらかじめ検出し検索情報蓄積装置 87に保存しておく。ここで、各種検索情報に含まれるタイムコードに対応したJPEGファイルなどの閲覧用サムネイルは、抽出する必要も保存する必要もない。各種検索分類情報の記述に関しては、第１〜第６実施形態と同様である。
【００８１】クライアント側ＷＷＷブラウザ上の検索・再生コマンド入力部98から映像ファイル名を指定して各種検索開始コマンドがネットワーク95およびWWWサーバ 93経由で制御部92に入力されると、制御部92から各種検索分類開始タイムコードと各種検索分類閲覧用サムネイルのリトリーブ個数が検索部89に出力され、検索部89では入力された情報を基に検索情報蓄積装置87に保存されている各種検索情報から、閲覧すべきサムネイルに対応する閲覧用タイムコード列を取得する。制御部92では、得られた閲覧用タイムコード列をサムネイル抽出部90に渡し、対応するサムネイル列を取り出して制御部92、WWWサーバ 93、およびネットワーク95経由でＷＷＷブラウザ96上の検索結果閲覧表示部97に各種検索分類結果としてブラウズ表示する。
【００８２】各種検索分類点位置もしくは任意位置から時間方向にさらに細かな内容を検索分類閲覧する場合には、該詳細検索分類閲覧開始位置のタイムコードとフレーム単位・秒単位などの時間方向の表示精度ならびに閲覧用サムネイルのリトリーブ個数を、ＷＷＷブラウザ96上の検索・再生コマンド入力部98からネットワーク95およびWWWServer 93経由で制御部92に入力する。制御部92では、得られた情報から一定時間間隔での閲覧タイムコード列を生成した後、閲覧タイムコード列をサムネイル抽出部90に渡し、対応するサムネイル列を取り出して制御部92、WWWサーバ 93、およびネットワーク95経由で検索結果閲覧表示部97に渡し、一定時間間隔での検索結果としてブラウズ表示する。
【００８３】映像の区間再生に関しては、ＷＷＷブラウザ上の検索結果閲覧表示部97のブラウズ表示において、映像の再生を開始したいタイムコードおよび終了したいタイムコードを取得し、ＷＷＷブラウザ96上の検索・再生コマンド入力部98から、再生開始・終了タイムコードならびに映像ファイル名の情報を含む再生開始コマンドをネットワーク95経由でビデオサーバ94に入力する。そうすると、ビデオサーバ94は動画像コンテンツ蓄積装置88から、指定された映像コンテンツのフレーム精度で指定された区間のデータを抽出してネットワーク95経由でＷＷＷブラウザ96上の映像再生表示部99に向けて送出する。この時、抽出した動画像データの伝送帯域が出力ネットワークの伝送帯域を上回っている場合には、ビットレート変換ゲートウェイ91においてネットワーク伝送帯域に適合するようビットレート変換を行ったのちネットワーク出力する。ここで、動画像のビットレート変換手法に関しては、例えば本出願人による特許出願「画像符号化データのレート変換方法及び装置 特開平8-251587号公報 」に記載の方法を用いることができる。映像再生表示部99では、受信したデータを順次再生することにより、再生開始点から終了点までのフレーム精度の区間再生を行う。
【００８４】実際にシステムとして実装する場合の例を以下に示す。制御部92および検索部89は、WWWサーバ93経由でWWWブラウザ96とのインターラクティブなオペレーションにダイナミックに適用可能なASP（Active Server Page、JavaScriptのようなスクリプト言語）で実装し、ATL（Active Template Library）などのASPから呼び出し可能なライブラリモジュールで実装したサムネイル抽出部90を制御部92のASPから制御する。検索情報蓄積装置87は、高速検索に対応する為、データベースに検索情報を蓄積し、検索部89のASPからODBC (Open Database Connectivity)機能を用いてSQL形式で検索要求を出す。映像蓄積装置88は、ビデオサーバ94やサムネイル抽出部90からの多数同時ランダムアクセス時の性能向上を考慮しRAID（Redundant Arrays of Inexpensive Disks）構成のHDDを用いる。
【００８５】以上、本発明の第１〜第７実施形態について図面を参照して詳述してきたが、具体的な構成例は、これらの第１〜第７実施形態に限られるものではなく、本発明の要旨を逸脱しない範囲の設計変更等があっても本発明に含まれる。
【００８６】例えば、前述した第１〜第７実施形態においては、例えばサムネイル抽出プログラムを図29に示したコンピュータ読み取り可能な記録媒体に記録して、この記録媒体300に記録されたサムネイル抽出プログラムを同図に示したコンピュータ200に読み込ませ、実行するようにしてもよい。ここで、サムネイル抽出プログラムは、図1、図3、図10、図15、図20、図23、図26、および図28に示したサムネイル抽出部の機能を実現する為のプログラムである。
【００８７】図29に示したコンピュータ200は、上記伝送プログラムを実行するCPU201と、キーボード、マウス等の入力装置202と、各種データを記憶するROM(Read Only Memory)203と、演算パラメータ等を記憶するRAM(Random Access Memory)204と、記憶媒体300から伝送プログラムを読み取る読取装置205と、ディスプレイ、プリンタ等の出力装置206と、装置各部を接続するバスBUSとから構成されている。
【００８８】CPU201は、読取装置205を経由して記録媒体300に記録されているサムネイル抽出プログラムを読み込んだ後、このサムネイル抽出プログラムを実行することにより、前述したサムネイル抽出処理を行う。記録媒体300には、光ディスク、フロッピー（登録商標）ディスク、ハードディスク等の可搬型の記録媒体が含まれることはもとより、ネットワークのようにデータを一時的に記録保持するような伝送媒体も含まれる。
【００８９】
【発明の効果】以上の説明から明らかなように、本発明による映像検索閲覧装置によれば、サムネイルのリアルタイム抽出による低リソース検索閲覧、および動画像の各種コンテンツベースの高度かつ効率的な検索・閲覧が可能となり、次の効果が得られる。
（１） 蓄積装置に蓄積されたＭＰＥＧなどの映像ファイルから検出されたカット点などの検索情報を用いてサムネイル検索閲覧を行い、ブラウズ表示に必要なサムネイル情報をリアルタイムで抽出することにより、サムネイル情報をあらかじめ抽出・保存することなく該サムネイル検索閲覧が実現可能となる。また、フレーム単位・秒単位の高精度なサムネイル検索閲覧が実現可能になる。
（２）また、前記サムネイル検索閲覧をした閲覧時刻を再生開始点・終了点として指定することにより、高精度な区間再生ができるという効果がある。
（３） 前記サムネイル検索閲覧に用いられる検索情報として、カット点検索情報、ニュースなどのテロップによる検索情報、ならびにオーディオ分類情報を用いた多彩なサムネイル検索閲覧をすることが可能となる。
（４）また、（３）のサムネイル検索閲覧をした時刻を再生開始点・終了点として指定した区間再生ができるという効果がある。
（５） カット点検索・テロップ検索、およびオーディオ分類検索とフレーム単位検索などの等間隔検索を複合的に組み合わせることにより、大まかな概要把握検索から細かな時間方向検索まで階層的かつ効率的に検索閲覧可能とする効果がある。
（６）（１）〜（５）の処理を、ローカルホストだけでなく、ネットワーク上で、動画像データを共有した状態で行うことを可能とする効果がある。
（７）また、記録媒体に記録されたプログラムをコンピュータに読み込むことにより、本発明をパソコンなどのコンピュータ上で実現できるようになる。
【図面の簡単な説明】
【図１】 第１実施形態の概略の構成を示すブロック図である。
【図２】 カット点検索情報記述の説明図である。
【図３】 サムネイル抽出部の機能を説明するブロック図である。
【図４】 ＭＰＥＧフレーム構造の説明図である。
【図５】 サムネイル抽出動作の説明図である。
【図６】 カット点検索閲覧ブラウジング表示例を示す図である。
【図７】 フレーム単位検索閲覧ブラウジング表示例を示す図である。
【図８】 カット点タイムコードとフレーム単位タイムコードの関係を示す説明図である。
【図９】 第１実施形態の検索閲覧再生画面の表示例を示す図である。
【図１０】 第２実施形態の概略の構成を示すブロック図である。
【図１１】 テロップ検索情報記述の説明図である。
【図１２】 テロップ検索閲覧ブラウジング表示例を示す図である。
【図１３】 テロップ開始点タイムコードとフレーム単位タイムコードの関係を示す説明図である。
【図１４】 第２実施形態の検索閲覧再生画面の表示例を示す図である。
【図１５】 第３実施形態の概略の構成を示すブロック図である。
【図１６】 オーディオ分類情報記述の説明図である。
【図１７】 オーディオ分類閲覧ブラウジング表示例を示す図である。
【図１８】 オーディオ分類点タイムコードとフレーム単位タイムコードの関係を示す説明図である。
【図１９】 第３実施形態の検索閲覧再生画面の表示例を示す図である。
【図２０】 第４実施形態の概略の構成を示すブロック図である。
【図２１】 カット点ブラウザとオーディオ分類ブラウザの複合表示例を示す図である。
【図２２】 第４実施形態の検索閲覧再生画面の表示例を示す図である。
【図２３】 第５実施形態の概略の構成を示すブロック図である。
【図２４】 テロップ検索閲覧ブラウザとオーディオ分類ブラウザの複合表示例を示す図である。
【図２５】 第５実施形態の検索閲覧再生画面の表示例を示す図である。
【図２６】 第６実施形態の概略の構成を示すブロック図である。
【図２７】 第６実施形態の検索閲覧再生画面の表示例を示す図である。
【図２８】 第７実施形態の概略の構成を示すブロック図である。
【図２９】 本発明のプログラムが読み込まれるコンピュータの概略の構成を示すブロック図である。
【図３０】 第１の従来装置の構成を示すブロック図である。
【図３１】 第２の従来装置の構成を示すブロック図である。
【符号の説明】
１１、４７、５４、６５、６７、７３、８７・・・検索情報蓄積装置、１２・・・映像蓄積装置、１３・・・検索部、１４・・・サムネイル抽出部、１５・・・制御部、１６・・・映像再生部、１７・・・検索結果閲覧表示部、１８・・・検索・再生コマンド入力部、１９・・・映像表示部、２２・・・動画像部分デコード部、２３・・・キャッシュ、２４・・・サムネイル生成部、３８・・・カット点ブラウザ、３９・・・等間隔ブラウザ、５３・・・テロップ検索閲覧ブラウザ、６４・・・オーディオ分類閲覧ブラウザ、６６・・・カット点検索・オーディオ分類複合閲覧ブラウザ、７２・・・テロップ検索・オーディオ分類複合閲覧ブラウザ。
【０００１】
【発明の属する技術分野】本発明は動画像検索閲覧装置および記録媒体に関し、特にＭＰＥＧなどのデジタル動画像の検索閲覧装置および記録媒体に関する。
【０００２】
【従来の技術】映像を検索閲覧する第１の例であるローカル型の映像閲覧検索装置を図３０を参照して説明する。図３０において、動画像コンテンツ蓄積装置502には、あらかじめ動画像コンテンツが蓄積されている。検索情報蓄積装置 501には、該蓄積された動画像からカット点などの検索情報をあらかじめ検出して保存しておく。また、該カット点などのタイムコードに対応するJPEGファイルなどの閲覧用サムネイル静止画像も抽出して検索情報蓄積装置 501に保存しておく。
【０００３】検索・再生コマンド入力部507から映像ファイル名を指定して検索開始コマンドが入力されると、制御部504から検索開始タイムコードと閲覧用サムネイルのリトリーブ個数の情報が検索部503に出力される。検索部503では、入力された前記情報を元に検索情報蓄積装置501から対応するサムネイル列を取り出して制御部504経由で検索結果閲覧表示部506にブラウズ表示する。
【０００４】映像再生に関しては、例えばユーザが、検索結果閲覧表示部506のブラウズ表示上で、映像の再生を開始したいタイムコードおよび終了したいタイムコードを指示する。そうすると、該再生開始・終了タイムコードならびに映像ファイル名と共に再生コマンドが、検索・再生コマンド入力部507経由で制御部504に入力する。次いで、これらの情報は、映像再生部505に伝えられる。該映像再生部505は、動画像コンテンツ蓄積装置502から指定された映像コンテンツの指定された区間のデータを抽出して映像表示部508に送り、該映像表示部508において再生開始点から終了点までの区間再生を行う。
【０００５】次に、映像を検索閲覧する第２の従来例であるサーバ・クライアント型を図３１を用いて詳述する。図３１において、動画像コンテンツ蓄積装置512には、あらかじめ動画像コンテンツが蓄積されている。蓄積された動画像からカット点などの検索情報をあらかじめ検出し検索情報蓄積装置 511に保存しておく。また、該カット点などのタイムコードに対応するＪＰＥＧファイルなどの閲覧用サムネイル静止画像も抽出して検索情報蓄積装置 511に保存しておく。
【０００６】クライアントの検索・再生コマンド入力部519から映像ファイル名を指定してネットワーク517およびWWWServer 516経由で検索開始コマンドが制御部514に入力されると、検索開始タイムコードと閲覧用サムネイルのリトリーブ個数が検索部513に出力される。検索部513は、入力された情報を基に、検索情報蓄積装置511から対応するサムネイル列を取り出して、制御部514、WWWServer 516およびネットワーク517を経由して検索結果閲覧表示部518に送出する。該検索結果閲覧表示部518には、該サムネイル列がブラウズ表示される。
【０００７】映像再生に関しては、例えばユーザが検索結果閲覧表示部518のブラウズ表示上で、映像の再生を開始したいタイムコードおよび終了したいタイムコードを指示する。そうすると、検索・再生コマンド入力部519から、ネットワーク517を経由してビデオサーバ515に、該再生開始・終了タイムコードならびに映像ファイル名と共に再生コマンドが渡される。そして、ビデオサーバ515は、指定された映像コンテンツの指定された区間のデータを動画像コンテンツ蓄積装置512から抽出してネットワーク517経由で映像表示部520に伝送する。この結果、指定された映像コンテンツの再生開始点から終了点までの区間再生が行われる。
【０００８】
【発明が解決しようとする課題】前記した第１、第２の従来例では、予め、カット点などの映像検索情報から特定のサムネイル情報しか生成しないため、複合的にフレーム単位・秒単位のサムネイル検索閲覧、およびその時刻を再生開始点・終了点として指定することによる区間再生を行うことはできなかった。本課題を解決する為にあらかじめすべてのフレームに対応したサムネイルを生成しておく方法も考えられるが、その場合サムネイルのトータルの情報量がオリジナルの動画像の情報量よりも大きくなってしまい、動画像のみを蓄積する場合に比べ、2倍以上の蓄積容量を必要としてしまい、かつ全サムネイルを抽出する為の処理時間も必要としてしまう問題点がある。
【０００９】さらに第１、２の従来例のように、サムネイル検索閲覧に用いられる検索情報としてカット点検索情報を用いた例はあるが、ニュースなどのテロップによる検索情報、オーディオ分類情報を用いたサムネイル検索閲覧および再生開始点・終了点指定の区間再生は実施された例がない。
【００１０】本発明の目的は、前記した従来技術の問題点を解消し、蓄積装置に蓄積された映像ファイルから検索情報を用いてブラウズ表示に必要な時刻のサムネイル情報をリアルタイムに抽出し、サムネイル情報保存用の蓄積装置を用意することなく実現可能な動画像検索閲覧装置、及びリアルタイムサムネイル抽出制御のための制御プログラムを記録したコンピュータ読み取り可能な記録媒体を提供することにある。
【００１１】また、他の目的は、サムネイル検索閲覧に用いられる検索情報としてカット点検索情報以外に、ニュースなどのテロップによる検索情報ならびにオーディオ分類情報を用いたサムネイル検索閲覧および再生開始点・終了点指定の区間再生を可能にした動画像検索閲覧装置、およびカット点検索情報・テロップによる検索情報・オーディオ分類による検索情報を複合的に用いた検索閲覧を実現するための検索閲覧制御プログラムを記録した記録媒体を提供することにある。
【００１２】
【課題を解決するための手段】前記した目的を達成するために、本発明は、MPEG等のデジタル動画像コンテンツを、検索閲覧する動画像検索閲覧装置であって、動画像コンテンツの時間方向の検索を行う時間方向検索手段と、前記時間方向検索手段の検索結果に基づいて、前記動画像コンテンツからリアルタイムでサムネイルを抽出するサムネイル抽出手段と、前記サムネイル抽出手段で抽出されたサムネイルを用いて検索結果を閲覧表示する検索結果閲覧表示手段とを備えた点に第１の特徴がある。
【００１３】この特徴によれば、予めサムネイル情報を作成・保存しておかなくても、動画像コンテンツからリアルタイムにサムネイルを抽出し、該抽出したサムネイルを用いて、フレーム単位・秒単位の高精度なサムネイル検索閲覧を行えるようになる。
【００１４】また、本発明は、前記動画像コンテンツがWWWサーバに蓄積されており、前記時間方向検索手段および前記サムネイル抽出手段が、該WWWサーバに設けられるようにした点に第２の特徴がある。また、WWWブラウザからネットワークを介して前記WWWサーバに接続して、動画像検索処理を該WWWサーバで行い、該WWWブラウザでは、検索条件の指定および検索結果の閲覧表示を行うようにした点に第３の特徴がある。
【００１５】これらの特徴によれば、前記サムネイル検索閲覧処理をローカルホストだけでなく、ネットワーク上で動画像データを共有した状態で行うことが可能になる。
【００１６】さらに、本発明は、与えられたタイムコード列を基に、動画像コンテンツから、リアルタイムでサムネイルを抽出するサムネイル抽出処理プログラムを記録したコンピュータ読み取り可能な記録媒体を提供する点に第４の特徴がある。
【００１７】この特徴によれば、該記録媒体に記録されたプログラムをパソコン等のコンピュータに読み込ませることにより、本発明をコンピュータ上で実現することができるようになる。
【００１８】
【発明の実施の形態】以下に、図面を参照して、本発明を詳細に説明する。図１は、本発明の一実施形態の概略の構成を示すブロック図である。
【００１９】この第1実施形態は、カット点検索情報またはフレーム単位・秒単位のタイムコード列を用いて動画像からリアルタイムでサムネイルを抽出することにより、フレーム単位・秒単位の高精度なサムネイル検索閲覧を行うことができ、およびその時刻を再生開始／終了点として指定することにより高精度な区間再生を、全サムネイル情報保存用の追加蓄積装置を用意することなく、ローカルホスト上で行うことができるようにしたものである。
【００２０】図１において、動画像蓄積装置12には、あらかじめ動画像コンテンツが蓄積されている。蓄積された動画像からシーンの切れ目を示すタイムコード等であるカット点検索情報をあらかじめ検出し、検索情報蓄積装置 11に保存しておく。ここで、カット点検索情報に含まれるタイムコードに対応したＪＰＥＧファイルなどの閲覧用サムネイルは、従来装置のように抽出する必要も、保存する必要もない。
【００２１】カット点検索情報の検索手法に関しては、例えば本出願人による、「動画像のカット点検出装置 特開平１１−２５２５０９号公報」に記載の方法を用いることができる。カット点の検索情報の記述に関しては、図２に記載されているように、カット点と検出されたタイムコードが時系列順に並んでいるカット点タイムコード列（C1, C2, C3, …）20を用いる。
【００２２】図１の検索・再生コマンド入力部18から映像ファイル名を指定してカット点検索開始コマンドが入力されると、制御部15からカット点検索開始タイムコードとカット点閲覧用サムネイルのリトリーブ個数が検索部13に出力される。検索部13は、入力された情報を基に検索情報蓄積装置11に保存されているカット点検索情報から、閲覧すべきサムネイルに対応するカット点閲覧タイムコード列を取得し、制御部１５に送出する。制御部15は、得られたカット点閲覧タイムコード列をサムネイル抽出部14に渡し、該サムネイル抽出部14から対応するサムネイル列を取り出して、制御部15経由で検索結果閲覧表示部17にカット点検索結果としてブラウズ表示する。
【００２３】カット点位置もしくは任意位置から時間方向にさらに細かな内容を検索閲覧する場合には、該詳細検索閲覧開始位置のタイムコードと、フレーム単位・秒単位などの時間方向の表示精度、ならびに閲覧用サムネイルのリトリーブ個数を、検索・再生コマンド入力部１８から制御部15に入力する。制御部15は、得られた情報から一定時間間隔での閲覧タイムコード列を生成した後、該閲覧タイムコード列をサムネイル抽出部14に渡し、対応するサムネイル列を取り出して制御部15経由で検索結果閲覧表示部17に、一定時間間隔での検索結果としてブラウズ表示する。
【００２４】映像の区間再生に関しては、検索結果閲覧表示部17のブラウズ表示上で、映像の再生を開始したいタイムコードおよび終了したいタイムコードが指示される。そうすると、フレーム精度の再生開始・終了タイムコードならびに映像ファイル名の情報を含む再生開始コマンドの情報が、検索・再生コマンド入力部18から制御部15に入力される。これらの情報は、制御部15から映像再生部16に渡り、該映像再生部16は、動画像コンテンツ蓄積装置12から、指定された映像コンテンツの指定された区間のデータを抽出して映像表示部19において再生開始点から終了点までの区間再生を行う。これによりフレーム精度でのローカル区間再生が可能となる。
【００２５】ここで、サムネイル抽出部14の動作を、図３R>３ならびに図４の概念図を用いて詳述する。該サムネイル抽出部14は、動画像部分デコード部２２、キャッシュ２３、およびサムネイル生成部２４から構成されている。リクエストタイムコードおよびサムネイルのリトリーブ個数が制御部15に入力されると、該制御部15は、対応するサムネイルがキャッシュ23に存在しているかを確認し、存在すればキャッシュ23からスイッチ部２６を経て出力する。存在しなければ、映像蓄積装置１２中の動画像ファイル20からスイッチ部２５を経てデータを読み出し、動画像部分デコード部22にて必要なフレームのみ部分デコードした後、サムネイル生成部24にてＪＰＥＧなどのサムネイルを生成する。生成されたサムネイルはスイッチ部２６を経て出力されると同時に、キャッシュ23に一時保存される。なお、このサムネイル抽出処理はプログラムで実現でき、このプログラムはコンピュータ読み取り可能な記録媒体に記録することができる。
【００２６】動画像の圧縮形式がＭＰＥＧの場合は、ＭＰＥＧのフレーム構造は、図４に示す通り、イントラフレーム符号化のＩピクチャと、インターフレーム符号化のＰ及びＢピクチャから構成されるため、リクエストされるタイムコードが、インターフレーム符号化部分を指している場合、先行する１フレーム以上のフレームもデコードする必要がある。そのため、同じフレームのデコード処理がオーバーラップする可能性があり処理効率が落ちる。これを回避するために、動画像の部分デコード最小単位をＧＯＰ（Group Of Pictures）とし、リクエストタイムコードを含むＧＯＰ内の全フレームをデコードし、リクエストタイムコードのサムネイルを出力すると同時にキャッシュ23に保存する。これにより、次のリクエストタイムコードが前回のそれと時間的に近い場合にはキャッシュされたサムネイルの2次利用の確率が高くなり処理スピード向上を図ることができる。
【００２７】サムネイル抽出部14において、リクエストされるタイムコードと、動画像内のフレームタイムコードと、抽出されるサムネイルのタイムコードとのマッピングに関して、図５を用いて詳述する。閲覧すべきサムネイルのカット点もしくはフレーム単位などの一定時間間隔のリクエストタイムコード列（R1、R2、R3、R4、・・・）27は、リクエストタイムコードが時系列順に並んでおり、これら情報から対応する適切なサムネイル列（Th(R1)、Th(R2)、Th(R3)、Th(R4)、・・・）を抽出する。
【００２８】ｍ番目のリクエストタイムコードRm[秒]に対応するサムネイルTh(Rm)の決定の仕方は、下記の（１）式を満たすｔnをｍ番目のリクエストタイムコードに対応するサムネイルの取り出し時刻とすることにより行う。すなわち、カット点サムネイル抽出の場合には、ｍ番目のカット点タイムコードCm[秒]をリクエストタイムコードRm[秒]としてその出力サムネイル Th(Rm) には、下記の（２）式の通り、ｔn [秒]のタイムコードを持つ動画像フレームから生成されたサムネイルTh(ｔn) を用いる。
【００２９】ここで、ｔnは、動画像シーケンス28の中に含まれるフレームのタイムコード列（t1、t2、t3、・・・、tk）29の中のｎ番目のフレームタイムコードを示す。例えば、NTSC映像信号の場合、ｔnは下記の（３）式のようになる。
ｔn ≦ Rm ＜ ｔn+1 [秒]・・・（１）
Th(Rm) = Th(ｔn) ・・・（２）
ｔn = (1/29.97) × ｎ [秒] （ｎ=0,1,2,・・・） ・・・（３）
【００３０】MPEG形式で圧縮された動画像コンテンツからサムネイル抽出を行う場合には、圧縮方式の性質上、時刻ｔnに相当するフレームが含まれるGOP（Group Of Pictures）の先頭フレームからデコードして該当するサムネイルを抽出する必要がある。
【００３１】次に、前記検索結果閲覧表示部１７（図１参照）のブラウジング表示例および再生表示例について説明する。カット点検索閲覧のブラウジング表示例を図６R>６に示す。カット点タイムコード列（Cn, Cn+1, Cn+2, Cn+3, Cn+4）30が表示されると同時にカット点サムネイル列（Th(Cn), Th(Cn+1), Th(Cn+2), Th(Cn+3), Th(Cn+4)）31がそれに同期して表示される。左スキップボタン32を押すと、現在表示されているタイムコード列の時間的に１スパン前のタイムコード列（Cn-5, Cn-4, Cn-3, Cn-2, Cn-1）およびカット点サムネイル列（Th(Cn-5), Th(Cn-4), Th(Cn-3), Th(Cn-2), Th(Cn-1)）が表示される。同様に右スキップボタン33を押すと、現在表示されているタイムコード列の時間的に１スパン後のタイムコード列（Cn+5, Cn+6, Cn+7, Cn+8, Cn+9）およびカット点サムネイル列（Th(Cn+5), Th(Cn+6), Th(Cn+7), Th(Cn+8), Th(Cn+9)）が表示される。
【００３２】フレーム単位の検索閲覧のブラウジング表示例を図７に示す。フレーム単位のタイムコード列（Fn, Fn+1, Fn+2, Fn+3, Fn+4）34が表示されると同時にフレーム単位サムネイル列（Th(Fn), Th(Fn+1), Th(Fn+2), Th(Fn+3), Th(Fn+4)）35がそれに同期して表示される。左スキップボタン36を押すと、現在表示されているタイムコード列の時間的に１スパン前のタイムコード列（Fn-5, Fn-4, Fn-3, Fn-2, Fn-1）およびカット点サムネイル列（Th(Fn-5), Th(Fn-4), Th(Fn-3), Th(Fn-2), Th(Fn-1)）が表示される。同様に右スキップボタン37を押すと、現在表示されているタイムコード列の時間的に１スパン後のタイムコード列（Fn+5, Fn+6, Fn+7, Fn+8, Fn+9）およびカット点サムネイル列（Th(Fn+5), Th(Fn+6), Th(Fn+7), Th(Fn+8), Th(Fn+9)）が表示される。フレーム単位のタイムコードによるブラウジング表示は、フレーム単位のタイムコードをGOP単位、１秒単位、５秒単位などの時間的に等間隔な値に変更すれば、様々な時間精度での等間隔ブラウジング表示が可能となる。
【００３３】また、図８「カット点タイムコードとフレーム単位タイムコードの関係」に示されているように、カット点検索閲覧におけるブラウジング表示とフレーム単位などの等間隔ブラウジング表示を組み合わせることによって、カット点ブラウジング表示で大まかな時間位置を特定し、その場所からフレーム単位ブラウジング表示により細かく表示するという応用も可能である。
【００３４】カット点ブラウザおよびフレーム単位ブラウザを単体もしくは複合的に用いた検索閲覧再生画面例を図９に示す。
【００３５】カット点ブラウザ38は図６で説明したのと同じ動作をする。該カット点ブラウザ38は大まかな内容把握をするのに適し、再生開始・終了位置を指定することが可能となっている。カット点ブラウザ38上である時間位置のサムネイルを選択した状態で、再生開始時刻点ボタン42を押すことにより、再生開始点表示エリア41にそのタイムコードを表示すると同時に、再生開始時刻点ボタン42上に対応するサムネイルを表示する。同様に再生終了時刻点ボタン44を押すことにより、再生終了点表示エリア43にそのタイムコードを表示すると同時に、再生終了時刻点ボタン44上に対応するサムネイルを表示する。次に再生開始ボタン45を押すことにより、指定した開始点から終了点までのカット点指定による区間再生を再生表示画面46上で開始する。再生開始・終了位置を指定せずに再生開始ボタン45を押した場合には、動画像コンテンツの先頭から最後までの全区間、カット点指定による再生を行う。
【００３６】フレーム単位ブラウザ39は図７で説明したのと同じ動作をする。ブラウジング間隔設定メニュー40を開くと、フレーム単位、GOP（通常約0.5秒）単位、１秒単位、５秒単位などの表示時間間隔が表示され、この表示を選択することにより表示時間間隔が変更可能となっている。以後該フレーム単位ブラウザ39はフレーム単位ブラウジング機能も含めた意味で、等間隔ブラウザと呼ぶ。
【００３７】カット点ブラウザ38においてあるサムネイルを選択すると、等間隔ブラウザ３９上では、その時刻からの等間隔ブラウズ表示を行い、時間方向の細かな内容把握をするとともに再生開始・終了位置を指定可能となっている。等間隔ブラウザ39上である時間位置のサムネイルを選択した状態で、再生開始時刻点ボタン42を押すことにより、再生開始点表示エリア41にそのタイムコードを表示すると同時に、再生開始時刻点ボタン42上に対応するサムネイルを表示する。同様に再生終了時刻点ボタン44を押すことにより、再生終了点表示エリア43にそのタイムコードを表示すると同時に、再生終了時刻点ボタン44上に対応するサムネイルを表示する。次に再生開始ボタン45を押すことにより、フレーム精度で指定した開始点から終了点までの区間再生を再生表示画面46上で開始する。再生開始・終了位置を指定せずに再生開始ボタン45を押した場合には、動画像コンテンツの先頭から最後までの全区間再生を行う。
【００３８】以上のように、本実施形態によれば、カット点ブラウザ３８では大まかなサムネイル検索閲覧を行うことができ、等間隔ブラウザ３９上ではフレーム単位・秒単位の高精度なサムネイル検索閲覧を行うことができ、および前記ブラウザ３９上で、その時刻を再生開始／終了点として指定することにより高精度な区間再生を行うことができるようになる。
【００３９】次に、本発明の第２の実施形態を説明する。この実施形態は、第１の実施形態で説明したカット点検索情報の替わりにテロップ検索情報を用いてサムネイル検索閲覧をできるようにすると共に、その時刻を再生開始／終了点として指定することにより高度な区間再生をローカルホスト上で行うことができるようにしたものである。
【００４０】図１０において、検索情報蓄積装置 47以外は、図１と同じ構成であり、また同じ動作をする。
【００４１】動画像蓄積装置12にあらかじめ蓄積された動画像から、ニュースなどのテロップシーンの始まる時刻を記述したテロップ検索情報を予め検出し、検索情報蓄積装置 47に保存しておく。ここで、テロップ検索情報に記述されている各テロップ開始点タイムコードに対応するJPEGファイルなどの閲覧用サムネイルは、抽出する必要も保存する必要もない。テロップの検索手法に関しては、例えば本出願人による特許出願「動画像内のテロップ領域検出装置 特願２０００−２４８７９４」に記載の方法を用いることができる。
【００４２】テロップ検索情報の記述に関しては、図１１R>１に記載されているように、カット点検索情報記述（図２R>２参照）と同様にテロップが出現するシーンの始まりを示すタイムコードが時系列順に並んでいるテロップ開始点タイムコード列（T1, T2,T3, …）48を用いる。
【００４３】検索・再生コマンド入力部18から映像ファイル名を指定してテロップ検索開始コマンドが入力されると、制御部15は、テロップ検索開始タイムコードとテロップ開始点閲覧用サムネイルのリトリーブ個数を検索部13に出力する。検索部13は、入力された情報を基に検索情報蓄積装置47に保存されているテロップ検索情報から、閲覧すべきサムネイルに対応するテロップ開始点閲覧タイムコード列を取得する。制御部15は、得られたテロップ開始点閲覧タイムコード列をサムネイル抽出部14に渡し、対応するサムネイル列を取り出して制御部15経由で検索結果閲覧表示部17にテロップ開始点検索結果としてブラウズ表示する。
【００４４】テロップ開始点位置もしくは任意位置から時間方向にさらに細かな内容を検索閲覧する方法ならびに映像の区間再生の方法は、前記第１実施形態と同様である。
【００４５】サムネイル抽出部14における、リクエストされるタイムコードと、動画像内のフレームタイムコードと、抽出されるサムネイルのタイムコードとのマッピングは、前記第１実施形態と同様に、図５のリクエストタイムコード列（R1、R2、R3、R4、・・・）27に図１１のテロップ開始点タイムコード列（T1, T2, T3, …）48を代入することにより行われる。
【００４６】テロップ検索閲覧のブラウジング表示例を図１２に示す。テロップ開始点タイムコード列（Tn, Tn+1, Tn+2, Tn+3, Tn+4）49が表示されると同時にテロップ開始点サムネイル列（Th(Tn), Th(Tn+1), Th(Tn+2), Th(Tn+3), Th(Tn+4)）50がそれに同期して表示される。左スキップボタン51を押すと、現在表示されているタイムコード列の時間的に１スパン前のタイムコード列（Tn-5, Tn-4, Tn-3, Tn-2, Tn-1）およびテロップ開始点サムネイル列（Th(Tn-5), Th(Tn-4), Th(Tn-3),Th(Tn-2), Th(Tn-1)）が表示される。同様に右スキップボタン52を押すと、現在表示されているタイムコード列の時間的に１スパン後のタイムコード列（Tn+5,Tn+6, Tn+7, Tn+8, Tn+9）およびテロップ開始点サムネイル列（Th(Tn+5), Th(Tn+6), Th(Tn+7), Th(Tn+8), Th(Tn+9)）が表示される。
【００４７】また、図１３の「テロップ開始点タイムコードとフレーム単位タイムコードの関係」に示されているように、テロップ検索閲覧におけるブラウジング表示と、第１実施形態で述べたフレーム単位などの等間隔ブラウジング表示（図７参照）とを組み合わせることによって、テロップ開始点ブラウジング表示で大まかな時間位置（例えば各ニュース項目の先頭）を特定し、その場所からフレーム単位ブラウジング表示により細かく表示するという応用も可能である。
【００４８】テロップ検索閲覧ブラウザおよびフレーム単位ブラウザを単体もしくは複合的に用いた検索閲覧再生画面例を図１４に示す。
【００４９】テロップ検索閲覧ブラウザ53は図１２で説明した動作と同じである。テロップ検索閲覧ブラウザ53は、場面の切り替わるシーンの先頭でテロップが出現する確率の高いニュース映像等において、各項目の頭だしをすると共に、再生開始・終了位置を指定可能となっている。テロップ検索閲覧ブラウザ53上である時間位置のサムネイルを選択した状態で、再生開始時刻点ボタン42を押すことにより、再生開始点表示エリア41にそのタイムコードを表示すると同時に、再生開始時刻点ボタン42上に対応するサムネイルを表示する。同様に再生終了時刻点ボタン44を押すことにより、再生終了点表示エリア43にそのタイムコードを表示すると同時に、再生終了時刻点ボタン44上に対応するサムネイルを表示する。次に再生開始ボタン45を押すことにより、指定した開始点から終了点までのテロップ開始点指定による区間再生を再生表示画面46上で開始する。再生開始位置のみを指定して、再生開始ボタン45を押した場合には、指定した開始点からコンテンツの最後までの区間再生を行う。再生開始・終了位置を指定せずに再生開始ボタン45を押した場合には、動画像コンテンツの先頭から最後までの全区間再生を行う。
【００５０】フレーム単位表示などを行う等間隔ブラウザ39の動作は第１実施形態と同様の動作をする。
【００５１】次に、本発明の第３の実施形態を説明する。この実施形態は、第１実施形態で説明したカット点検索情報の替わりに、オーディオ分類情報を用いてサムネイル検索閲覧ができるようにすると共に、その時刻を再生開始／終了点として指定することにより高度な区間再生をローカルホスト上で行うことができるようにしたものである。
【００５２】図１５において、検索情報蓄積装置 54、検索部55、制御部56、検索結果閲覧表示部57以外は、第１実施形態の図１と同じ動作をする。 動画像蓄積装置12にあらかじめ蓄積された動画像からオーディオが音声・音楽・歓声雑音・無音のどの分類に属するかのオーディオ分類情報をあらかじめ検出し、検索情報蓄積装置54に保存しておく。ここで、オーディオ分類情報に記述されている分類点タイムコードに対応したJPEGファイルなどの閲覧用サムネイルは、抽出する必要も保存する必要もない。オーディオ分類の分類手法に関しては、例えば本出願人による特許出願「オーディオ情報分類装置 特開２０００−６６６９１」に記載の方法を用いることができる。
【００５３】オーディオ分類情報に関しては、図１６に記載されているように、オーディオを「音声」「音楽」「歓声雑音」「無音」に分類したオーディオ分類情報列（A1:AC1, A2:AC2, A3:AC3,・・・）58を用いる。ここで、Anはｎ番目のオーディオ分類点タイムコードを表し、ACnはｎ番目のオーディオ分類点におけるオーディオ分類種別を表す。
【００５４】検索・再生コマンド入力部18から映像ファイル名を指定してオーディオ分類開始コマンドが入力されると、制御部56からオーディオ分類開始タイムコードとオーディオ分類点閲覧用サムネイルのリトリーブ個数が検索部55に出力され、検索部55では入力された情報を基に検索情報蓄積装置54に保存されているオーディオ分類情報から閲覧すべきサムネイルに対応するオーディオ分類点閲覧タイムコード列（An, An+1, An+3,・・・）と各タイムコード列に対応したオーディオ分類種別列（ACn+1, ACn+2, ACn+3,・・・）を取得する。制御部56では、得られたオーディオ分類点閲覧タイムコード列（An, An+1, An+3,・・・）をサムネイル抽出部14に渡し、対応するサムネイル列（Th(An), Th(An+1), Th(An+3), ・・・）を取り出して制御部56においてオーディオ分類種別コード列（ACn+1, ACn+2, ACn+3,・・・）とともに検索結果閲覧表示部57にオーディオ分類点検索結果としてブラウズ表示する。オーディオ分類点位置もしくは任意位置から時間方向にさらに細かな内容を検索閲覧する方法ならびに映像の区間再生の方法に関しては、前記第１実施形態と同様である。
【００５５】サムネイル抽出部14における、リクエストされるタイムコードと、動画像内のフレームタイムコードと、抽出されるサムネイルのタイムコードとのマッピングに関しては、第１実施形態と同様に、図５のリクエストタイムコード列（R1、R2、R3、R4、・・・）27に図１６１６のオーディオ分類点のタイムコード列（A1, A2,A3, …）58を代入することにより行われる。
【００５６】オーディオ分類閲覧のブラウジング表示例を図１７に示す。オーディオ分類点タイムコード列（An, An+1, An+2, An+3, An+4）59が表示されると同時にオーディオ分類点サムネイル列（Th(An), Th(An+1), Th(An+2), Th(An+3), Th(An+4)）60、ならびにオーディオ種別列（ACn, ACn+1, ACn+2, ACn+3, ACn+4）61がそれに同期して表示される。左スキップボタン62を押すと、現在表示されているタイムコード列の時間的に１スパン前のタイムコード列（An-5, An-4, An-3, An-2,An-1）、オーディオ分類点サムネイル列（Th(An-5), Th(An-4), Th(An-3), Th(An-2), Th(An-1)）、およびオーディオ分類種別列（ACn-5, ACn-4, ACn-3, ACn-2, ACn-1）が表示される。同様に右スキップボタン63を押すと、現在表示されているタイムコード列の時間的に１スパン後のタイムコード列（An+5, An+6, An+7, An+8, An+9）、オーディオ分類点サムネイル列（Th(An+5), Th(An+6), Th(An+7), Th(An+8), Th(An+9)）、およびオーディオ分類種別列（ACn+5, ACn+6, ACn+7, ACn+8, ACn+9）が表示される。
【００５７】また、前記第１実施形態で述べたフレーム単位検索閲覧ブラウジングにおいて、図１８の「オーディオ分類種別点タイムコードとフレーム単位タイムコードの関係」が示すように、オーディオ分類閲覧におけるブラウジング表示とフレーム単位などの等間隔ブラウジング表示を組み合わせることによって、オーディオ分類点ブラウジング表示で大まかな時間位置（例えば、司会者の音声からミュージシャンの演奏への切り替わり点）を特定し、その場所からフレーム単位ブラウジング表示により細かく表示するという応用も可能である。
【００５８】オーディオ分類閲覧ブラウザおよびフレーム単位ブラウザを単体もしくは複合的に用いた検索閲覧再生画面例を図１９に示す。
【００５９】オーディオ分類閲覧ブラウザ64は図１７で説明したのと同じ動作となり、音声分類によるシーンの切り替わり点をサムネイルとオーディオ分類種別で表示すると共にに、再生開始・終了位置を指定可能となっている。オーディオ分類閲覧ブラウザ64上である時間位置のサムネイルを選択した状態で、再生開始時刻点ボタン42を押すことにより、再生開始点表示エリア41にそのタイムコードを表示すると同時に、再生開始時刻点ボタン42上に対応するサムネイルを表示する。同様に再生終了時刻点ボタン44を押すことにより、再生終了点表示エリア43にそのタイムコードを表示すると同時に、再生終了時刻点ボタン44上に対応するサムネイルを表示する。次に再生開始ボタン45を押すことにより、指定した開始点から終了点までのオーディオ分類種別切り替わり点指定による区間再生を再生表示画面46上で開始する。再生開始位置のみを指定して、再生開始ボタン45を押した場合には、指定した開始点からコンテンツの最後までの区間再生を行う。再生開始・終了位置を指定せずに再生開始ボタン45を押した場合には、動画像コンテンツの先頭から最後までの全区間再生を行う。
【００６０】フレーム単位表示などを行う等間隔ブラウザ39は前記第１実施形態と同様の動作をするので、説明を省略する。
【００６１】本発明の第４の実施形態は、前記第１の実施形態で説明したカット点検索情報と第３の実施形態で説明したオーディオ分類情報とを複合的に用いてサムネイル検索閲覧、およびその時刻を再生開始／終了点として指定することによる高度な区間再生をローカルホスト上で行うようにしたものである。
【００６２】図２０において、検索情報蓄積装置 65、検索部66、制御部67、および検索結果閲覧表示部68以外は、図１と同じ動作をする。検索情報蓄積装置 65には、カット点検索情報、およびオーディオ分類情報が含まれている。検索部66、制御部67、および検索結果閲覧表示部68は、第１実施形態および第３実施形態で述べた各部の全ての機能を包含している。
【００６３】カット点ブラウザとオーディオ分類閲覧ブラウザの複合ブラウジング表示例を図２１に示す。図２１R>１において、カット点タイムコード列30およびカット点サムネイル列31は、図６と同じ動作をする。カット点タイムコード列（Cn, Cn+1, Cn+2, Cn+3, Cn+4）30およびカット点サムネイル列（Th(Cn), Th(Cn+1), Th(Cn+2), Th(Cn+3), Th(Cn+4)）31とともに、カット点タイムコード列に対応した、オーディオ分類種別列（AC(Cn), AC(Cn+1), AC(Cn+2), AC(Cn+3), AC(Cn+4)）65が同期して表示される。左スキップボタン32を押すと、現在表示されているタイムコード列の時間的に１スパン前のタイムコード列（Cn-5, Cn-4, Cn-3, Cn-2, Cn-1）、カット点サムネイル列（Th(Cn-5), Th(Cn-4), Th(Cn-3), Th(Cn-2), Th(Cn-1)）、およびオーディオ分類種別列（AC(Cn-5), AC(Cn-4), AC(Cn-3), AC(Cn-2), AC(Cn-1)）が表示される。同様に右スキップボタン33を押すと、現在表示されているタイムコード列の時間的に１スパン後のタイムコード列（Cn+5, Cn+6, Cn+7, Cn+8, Cn+9）、カット点サムネイル列（Th(Cn+5), Th(Cn+6), Th(Cn+7), Th(Cn+8), Th(Cn+9)）、およびオーディオ分類種別列（AC(Cn+5), AC(Cn+6), AC(Cn+7), AC(Cn+8), AC(Cn+9)）が表示される。ここで、カット点時刻Cnにおけるオーディオ分類種別AC(Cn)の取得方法は、下記の（４）式を満たすｍ（ｍ番目のオーディオ分類点）を用いて、下記の（５）式のようにACm（m番目のオーディオ分類種別）となる。
Am ≦ Cn ＜ Am+1 ・・・（４）
AC(Cn) = ACm ・・・（５）
【００６４】カット点ブラウザ、オーディオ分類閲覧ブラウザ、およびフレーム単位ブラウザを複合的に用いた検索閲覧再生画面例を図２２に示す。カット点検索・オーディオ分類複合閲覧ブラウザ66は図２１で説明したのと同じ動作となり、カット点によるシーンの切り替わり点をサムネイルとオーディオ分類種別で表示するとともに再生開始・終了位置を指定可能となっている。カット点・オーディオ分類複合閲覧ブラウザ66上である時間位置のサムネイルを選択した状態で、再生開始時刻点ボタン42を押すことにより、再生開始点表示エリア41にそのタイムコードを表示すると同時に、再生開始時刻点ボタン42上に対応するサムネイルを表示する。同様に再生終了時刻点ボタン44を押すことにより、再生終了点表示エリア43にそのタイムコードを表示すると同時に、再生終了時刻点ボタン44上に対応するサムネイルを表示する。次に再生開始ボタン45を押すことにより、指定した開始点から終了点までのカット点指定による区間再生を再生表示画面46上で開始する。再生開始位置のみを指定して、再生開始ボタン45を押した場合には、指定した開始点からコンテンツの最後までの区間再生を行う。再生開始・終了位置を指定せずに再生開始ボタン45を押した場合には、動画像コンテンツの先頭から最後までの全区間再生を行う。
【００６５】フレーム単位表示などを行う等間隔ブラウザ39は第１実施形態と同様の動作をするので説明は省略する。
【００６６】本発明の第５の実施形態は、前記第２の実施形態で説明したテロップ検索情報と第３の実施形態で説明したオーディオ分類情報とを複合的に用いて、サムネイル検索閲覧、およびその時刻を再生開始／終了点として指定することにより、高度な区間再生をローカルホスト上で行うようにしたものである。
【００６７】図２３において、検索情報蓄積装置 67、検索部68、制御部69、および検索結果閲覧表示部70以外は、図１０と同じ動作をする。検索情報蓄積装置 67には、テロップ検索情報、およびオーディオ分類情報が含まれている。検索部68、制御部69、および検索結果閲覧表示部70は、前記第２実施形態および第３実施形態で述べた各部の全ての機能を包含している。
【００６８】テロップ検索閲覧ブラウザとオーディオ分類閲覧ブラウザの複合ブラウジング表示例を図２４に示す。図２４にいて、テロップ開始点タイムコード列49およびテロップ開始点サムネイル列50は、図１２と同じ動作をする。テロップ開始点タイムコード列（Tn, Tn+1, Tn+2, Tn+3, Tn+4）49およびテロップ開始点サムネイル列（Th(Tn), Th(Tn+1), Th(Tn+2), Th(Tn+3), Th(Tn+4)）50とともに、テロップ開始点タイムコード列に対応した、オーディオ分類種別列（AC(Tn), AC(Tn+1), AC(Tn+2), AC(Tn+3), AC(Tn+4)）71が同期して表示される。左スキップボタン51を押すと、現在表示されているタイムコード列の時間的に１スパン前のタイムコード列（Tn-5, Tn-4, Tn-3, Tn-2, Tn-1）、テロップ開始点サムネイル列（Th(Tn-5), Th(Tn-4), Th(Tn-3), Th(Tn-2), Th(Tn-1)）、およびオーディオ分類種別列（AC(Tn-5), AC(Tn-4), AC(Tn-3), AC(Tn-2), AC(Tn-1)）が表示される。同様に右スキップボタン52を押すと、現在表示されているタイムコード列の時間的に１スパン後のタイムコード列（Tn+5, Tn+6, Tn+7, Tn+8, Tn+9）、テロップ開始点サムネイル列（Th(Tn+5), Th(Tn+6), Th(Tn+7), Th(Tn+8), Th(Tn+9)）、およびオーディオ分類種別列（AC(Tn+5), AC(Tn+6), AC(Tn+7), AC(Tn+8), AC(Tn+9)）が表示される。ここで、テロップ開始点時刻Tnにおけるオーディオ分類種別AC(Tn)の取得方法は、第４の実施形態と同様に、下記の（６）式を満たすm（m番目のオーディオ分類点）を用いて、下記の（７）式のようにACm（m番目のオーディオ分類種別）となる。
Am ≦ Tn ＜ Am+1 ・・・（６）
AC(Tn) = ACm ・・・（７）
【００６９】テロップ検索閲覧ブラウザ、オーディオ分類閲覧ブラウザ、およびフレーム単位ブラウザを複合的に用いた検索閲覧再生画面例を図２５に示す。
【００７０】テロップ検索・オーディオ分類複合閲覧ブラウザ72は前記図２４と同じ動作となり、テロップ開始点によるニュースなどのシーン切り替わり点をサムネイルとオーディオ分類種別で表示するとともに再生開始・終了位置を指定可能となっている。テロップ検索・オーディオ分類複合閲覧ブラウザ72上である時間位置のサムネイルを選択した状態で、再生開始時刻点ボタン42を押すことにより、再生開始点表示エリア41にそのタイムコードを表示すると同時に、再生開始時刻点ボタン42上に対応するサムネイルを表示する。同様に再生終了時刻点ボタン44を押すことにより、再生終了点表示エリア43にそのタイムコードを表示すると同時に、再生終了時刻点ボタン44上に対応するサムネイルを表示する。次に再生開始ボタン45を押すことにより、指定した開始点から終了点までのテロップ開始点指定による区間再生を再生表示画面46上で開始する。再生開始位置のみを指定して、再生開始ボタン45を押した場合には、指定した開始点からコンテンツの最後までの区間再生を行う。再生開始・終了位置を指定せずに再生開始ボタン45を押した場合には、動画像コンテンツの先頭から最後までの全区間再生を行う。
【００７１】フレーム単位表示などを行う等間隔ブラウザ39は第１実施形態と同様の動作をするので、説明を省略する。
【００７２】第６の実施形態は、前記第１の実施形態で説明したカット点検索情報と、第２の実施形態で説明したテロップ検索情報と、第３の実施形態で説明したオーディオ分類情報と、を複合的に用いてサムネイル検索閲覧、およびその時刻を再生開始／終了点として指定することによる高度な区間再生をローカルホスト上で行うようにしたものである。
【００７３】図２６において、検索情報蓄積装置 73、検索部74、制御部75、および検索結果閲覧表示部76以外は、図１と同じ動作をする。検索情報蓄積装置 73には、カット点検索情報、テロップ検索情報、およびオーディオ分類情報が含まれている。検索部74、制御部75、および検索結果閲覧表示部76は、前記第１実施形態、第２実施形態、および第３実施形態で述べた各部の全ての機能を包含している。
【００７４】カット点検索閲覧ブラウザ、テロップ検索閲覧ブラウザ、オーディオ分類閲覧ブラウザ、およびフレーム単位ブラウザを複合的に用いた検索閲覧再生画面例を図２７に示す。
【００７５】カット点検索・テロップ検索・オーディオ分類複合閲覧ブラウザ77は、検索閲覧方法選択メニュー79において、検索閲覧方法（カット点検索、テロップ検索、オーディオ分類閲覧）を選択することにより、内部のブラウジング表示部78の動作、左スキップボタン80の動作、および右スキップボタン81の動作が変化する。
【００７６】各検索閲覧方法における内部のブラウジング表示部の動作は、カット点検索に関しては、図２１と同様であり、テロップ検索に関しては、図２４と同様であり、オーディオ分類閲覧に関しては、図１７と同様である。
【００７７】カット点検索・テロップ検索・オーディオ分類複合閲覧ブラウザ77上である時間位置のサムネイルを選択した状態で、再生開始時刻点ボタン42を押すことにより、再生開始点表示エリア41にそのタイムコードを表示すると同時に、再生開始時刻点ボタン42上に対応するサムネイルを表示する。再生開始点のフレーム単位の微調整には、フレームスキップボタン82,83を用いる。再生開始点指定と同様に再生終了時刻点ボタン44を押すことにより、再生終了点表示エリア43にそのタイムコードを表示すると同時に、再生終了時刻点ボタン44上に対応するサムネイルを表示する。再生終了点のフレーム単位の微調整には、フレームスキップボタン84,85を用いる。次に再生開始ボタン45を押すことにより、指定した開始点から終了点までのカット点指定・テロップ開始点指定・オーディオ分類種別切り替わり点指定による区間再生を再生表示画面46上で開始する。再生開始位置のみを指定して、再生開始ボタン45を押した場合には、指定した開始点からコンテンツの最後までの区間再生を行う。再生開始・終了位置を指定せずに再生開始ボタン45を押した場合には、動画像コンテンツの先頭から最後までの全区間再生を行う。編集区間追加ボタン86は、編集区間の追加の動作をする。
【００７８】フレーム単位表示などを行う等間隔ブラウザ39は、前記第１実施形態と同様の動作をするので、説明を省略する。
【００７９】本発明の第７の実施形態は、第１〜第６の実施形態で説明したカット点検索・テロップ検索・オーディオ分類・フレーム単位検索を用いたサムネイル検索閲覧、およびその時刻を再生開始／終了点として指定することによる高度な区間再生を、ネットワーク上のサーバ・クライアントの構成に適用したものである。
【００８０】図２８において、動画像蓄積装置88には、あらかじめ動画像コンテンツが蓄積されている。蓄積された動画像からカット点検索情報、テロップ検索情報、または、オーディオ分類情報などの各種検索情報をあらかじめ検出し検索情報蓄積装置 87に保存しておく。ここで、各種検索情報に含まれるタイムコードに対応したJPEGファイルなどの閲覧用サムネイルは、抽出する必要も保存する必要もない。各種検索分類情報の記述に関しては、第１〜第６実施形態と同様である。
【００８１】クライアント側ＷＷＷブラウザ上の検索・再生コマンド入力部98から映像ファイル名を指定して各種検索開始コマンドがネットワーク95およびWWWサーバ 93経由で制御部92に入力されると、制御部92から各種検索分類開始タイムコードと各種検索分類閲覧用サムネイルのリトリーブ個数が検索部89に出力され、検索部89では入力された情報を基に検索情報蓄積装置87に保存されている各種検索情報から、閲覧すべきサムネイルに対応する閲覧用タイムコード列を取得する。制御部92では、得られた閲覧用タイムコード列をサムネイル抽出部90に渡し、対応するサムネイル列を取り出して制御部92、WWWサーバ 93、およびネットワーク95経由でＷＷＷブラウザ96上の検索結果閲覧表示部97に各種検索分類結果としてブラウズ表示する。
【００８２】各種検索分類点位置もしくは任意位置から時間方向にさらに細かな内容を検索分類閲覧する場合には、該詳細検索分類閲覧開始位置のタイムコードとフレーム単位・秒単位などの時間方向の表示精度ならびに閲覧用サムネイルのリトリーブ個数を、ＷＷＷブラウザ96上の検索・再生コマンド入力部98からネットワーク95およびWWWServer 93経由で制御部92に入力する。制御部92では、得られた情報から一定時間間隔での閲覧タイムコード列を生成した後、閲覧タイムコード列をサムネイル抽出部90に渡し、対応するサムネイル列を取り出して制御部92、WWWサーバ 93、およびネットワーク95経由で検索結果閲覧表示部97に渡し、一定時間間隔での検索結果としてブラウズ表示する。
【００８３】映像の区間再生に関しては、ＷＷＷブラウザ上の検索結果閲覧表示部97のブラウズ表示において、映像の再生を開始したいタイムコードおよび終了したいタイムコードを取得し、ＷＷＷブラウザ96上の検索・再生コマンド入力部98から、再生開始・終了タイムコードならびに映像ファイル名の情報を含む再生開始コマンドをネットワーク95経由でビデオサーバ94に入力する。そうすると、ビデオサーバ94は動画像コンテンツ蓄積装置88から、指定された映像コンテンツのフレーム精度で指定された区間のデータを抽出してネットワーク95経由でＷＷＷブラウザ96上の映像再生表示部99に向けて送出する。この時、抽出した動画像データの伝送帯域が出力ネットワークの伝送帯域を上回っている場合には、ビットレート変換ゲートウェイ91においてネットワーク伝送帯域に適合するようビットレート変換を行ったのちネットワーク出力する。ここで、動画像のビットレート変換手法に関しては、例えば本出願人による特許出願「画像符号化データのレート変換方法及び装置 特開平8-251587号公報 」に記載の方法を用いることができる。映像再生表示部99では、受信したデータを順次再生することにより、再生開始点から終了点までのフレーム精度の区間再生を行う。
【００８４】実際にシステムとして実装する場合の例を以下に示す。制御部92および検索部89は、WWWサーバ93経由でWWWブラウザ96とのインターラクティブなオペレーションにダイナミックに適用可能なASP（Active Server Page、JavaScriptのようなスクリプト言語）で実装し、ATL（Active Template Library）などのASPから呼び出し可能なライブラリモジュールで実装したサムネイル抽出部90を制御部92のASPから制御する。検索情報蓄積装置87は、高速検索に対応する為、データベースに検索情報を蓄積し、検索部89のASPからODBC (Open Database Connectivity)機能を用いてSQL形式で検索要求を出す。映像蓄積装置88は、ビデオサーバ94やサムネイル抽出部90からの多数同時ランダムアクセス時の性能向上を考慮しRAID（Redundant Arrays of Inexpensive Disks）構成のHDDを用いる。
【００８５】以上、本発明の第１〜第７実施形態について図面を参照して詳述してきたが、具体的な構成例は、これらの第１〜第７実施形態に限られるものではなく、本発明の要旨を逸脱しない範囲の設計変更等があっても本発明に含まれる。
【００８６】例えば、前述した第１〜第７実施形態においては、例えばサムネイル抽出プログラムを図29に示したコンピュータ読み取り可能な記録媒体に記録して、この記録媒体300に記録されたサムネイル抽出プログラムを同図に示したコンピュータ200に読み込ませ、実行するようにしてもよい。ここで、サムネイル抽出プログラムは、図1、図3、図10、図15、図20、図23、図26、および図28に示したサムネイル抽出部の機能を実現する為のプログラムである。
【００８７】図29に示したコンピュータ200は、上記伝送プログラムを実行するCPU201と、キーボード、マウス等の入力装置202と、各種データを記憶するROM(Read Only Memory)203と、演算パラメータ等を記憶するRAM(Random Access Memory)204と、記憶媒体300から伝送プログラムを読み取る読取装置205と、ディスプレイ、プリンタ等の出力装置206と、装置各部を接続するバスBUSとから構成されている。
【００８８】CPU201は、読取装置205を経由して記録媒体300に記録されているサムネイル抽出プログラムを読み込んだ後、このサムネイル抽出プログラムを実行することにより、前述したサムネイル抽出処理を行う。記録媒体300には、光ディスク、フロッピー（登録商標）ディスク、ハードディスク等の可搬型の記録媒体が含まれることはもとより、ネットワークのようにデータを一時的に記録保持するような伝送媒体も含まれる。
【００８９】
【発明の効果】以上の説明から明らかなように、本発明による映像検索閲覧装置によれば、サムネイルのリアルタイム抽出による低リソース検索閲覧、および動画像の各種コンテンツベースの高度かつ効率的な検索・閲覧が可能となり、次の効果が得られる。
（１） 蓄積装置に蓄積されたＭＰＥＧなどの映像ファイルから検出されたカット点などの検索情報を用いてサムネイル検索閲覧を行い、ブラウズ表示に必要なサムネイル情報をリアルタイムで抽出することにより、サムネイル情報をあらかじめ抽出・保存することなく該サムネイル検索閲覧が実現可能となる。また、フレーム単位・秒単位の高精度なサムネイル検索閲覧が実現可能になる。
（２）また、前記サムネイル検索閲覧をした閲覧時刻を再生開始点・終了点として指定することにより、高精度な区間再生ができるという効果がある。
（３） 前記サムネイル検索閲覧に用いられる検索情報として、カット点検索情報、ニュースなどのテロップによる検索情報、ならびにオーディオ分類情報を用いた多彩なサムネイル検索閲覧をすることが可能となる。
（４）また、（３）のサムネイル検索閲覧をした時刻を再生開始点・終了点として指定した区間再生ができるという効果がある。
（５） カット点検索・テロップ検索、およびオーディオ分類検索とフレーム単位検索などの等間隔検索を複合的に組み合わせることにより、大まかな概要把握検索から細かな時間方向検索まで階層的かつ効率的に検索閲覧可能とする効果がある。
（６）（１）〜（５）の処理を、ローカルホストだけでなく、ネットワーク上で、動画像データを共有した状態で行うことを可能とする効果がある。
（７）また、記録媒体に記録されたプログラムをコンピュータに読み込むことにより、本発明をパソコンなどのコンピュータ上で実現できるようになる。
【図面の簡単な説明】
【図１】 第１実施形態の概略の構成を示すブロック図である。
【図２】 カット点検索情報記述の説明図である。
【図３】 サムネイル抽出部の機能を説明するブロック図である。
【図４】 ＭＰＥＧフレーム構造の説明図である。
【図５】 サムネイル抽出動作の説明図である。
【図６】 カット点検索閲覧ブラウジング表示例を示す図である。
【図７】 フレーム単位検索閲覧ブラウジング表示例を示す図である。
【図８】 カット点タイムコードとフレーム単位タイムコードの関係を示す説明図である。
【図９】 第１実施形態の検索閲覧再生画面の表示例を示す図である。
【図１０】 第２実施形態の概略の構成を示すブロック図である。
【図１１】 テロップ検索情報記述の説明図である。
【図１２】 テロップ検索閲覧ブラウジング表示例を示す図である。
【図１３】 テロップ開始点タイムコードとフレーム単位タイムコードの関係を示す説明図である。
【図１４】 第２実施形態の検索閲覧再生画面の表示例を示す図である。
【図１５】 第３実施形態の概略の構成を示すブロック図である。
【図１６】 オーディオ分類情報記述の説明図である。
【図１７】 オーディオ分類閲覧ブラウジング表示例を示す図である。
【図１８】 オーディオ分類点タイムコードとフレーム単位タイムコードの関係を示す説明図である。
【図１９】 第３実施形態の検索閲覧再生画面の表示例を示す図である。
【図２０】 第４実施形態の概略の構成を示すブロック図である。
【図２１】 カット点ブラウザとオーディオ分類ブラウザの複合表示例を示す図である。
【図２２】 第４実施形態の検索閲覧再生画面の表示例を示す図である。
【図２３】 第５実施形態の概略の構成を示すブロック図である。
【図２４】 テロップ検索閲覧ブラウザとオーディオ分類ブラウザの複合表示例を示す図である。
【図２５】 第５実施形態の検索閲覧再生画面の表示例を示す図である。
【図２６】 第６実施形態の概略の構成を示すブロック図である。
【図２７】 第６実施形態の検索閲覧再生画面の表示例を示す図である。
【図２８】 第７実施形態の概略の構成を示すブロック図である。
【図２９】 本発明のプログラムが読み込まれるコンピュータの概略の構成を示すブロック図である。
【図３０】 第１の従来装置の構成を示すブロック図である。
【図３１】 第２の従来装置の構成を示すブロック図である。
【符号の説明】
１１、４７、５４、６５、６７、７３、８７・・・検索情報蓄積装置、１２・・・映像蓄積装置、１３・・・検索部、１４・・・サムネイル抽出部、１５・・・制御部、１６・・・映像再生部、１７・・・検索結果閲覧表示部、１８・・・検索・再生コマンド入力部、１９・・・映像表示部、２２・・・動画像部分デコード部、２３・・・キャッシュ、２４・・・サムネイル生成部、３８・・・カット点ブラウザ、３９・・・等間隔ブラウザ、５３・・・テロップ検索閲覧ブラウザ、６４・・・オーディオ分類閲覧ブラウザ、６６・・・カット点検索・オーディオ分類複合閲覧ブラウザ、７２・・・テロップ検索・オーディオ分類複合閲覧ブラウザ。
【特許請求の範囲】
【請求項１】 MPEG等のデジタル動画像コンテンツを、検索閲覧する動画像検索閲覧装置であって、動画像コンテンツの時間方向の検索を行う時間方向検索手段と、前記時間方向検索手段の検索結果に基づいて、前記動画像コンテンツからリアルタイムでサムネイルを抽出するサムネイル抽出手段と、前記サムネイル抽出手段で抽出されたサムネイルを用いて検索結果を閲覧表示する検索結果閲覧表示手段とを備えたことを特徴とする動画像検索閲覧装置。
【請求項２】 請求項１記載の動画像検索閲覧装置において、前記時間方向検索手段は、動画像のカット点検索情報を用いて時間軸上の検索開始点を指定した検索を行うことを特徴とする動画像検索閲覧装置。
【請求項３】 請求項２記載の動画像検索閲覧装置において、前記検索結果閲覧手段は、予め定められた個数のカット点サムネイル列と、これに対応するカット点タイムライン列とを表示することを特徴とする動画像検索閲覧装置。
【請求項４】 請求項１記載の動画像検索閲覧装置において、前記時間方向検索手段は、動画像のテロップ検索情報を用いて時間軸上の検索開始点を指定した検索を行うことを特徴とする動画像検索閲覧装置。
【請求項５】 請求項４記載の動画像検索閲覧装置において、前記検索結果閲覧手段は、予め定められた個数のテロップ開始点サムネイル列と、これに対応するテロップ開始点タイムライン列とを表示することを特徴とする動画像検索閲覧装置。
【請求項６】 請求項１記載の動画像検索閲覧装置において、前記時間方向検索手段は、動画像のオーディオ分類情報を用いて時間軸上の検索開始点を指定した検索を行うことを特徴とする動画像検索閲覧装置。
【請求項７】 請求項６記載の動画像検索閲覧装置において、前記検索結果閲覧手段は、予め定められた個数のオーディオ分類種別列、オーディオ分類点サムネイル列、およびこれらに対応するオーディオ分類点タイムコード列とを表示することを特徴とする動画像検索閲覧装置。
【請求項８】 請求項１ないし７のいずれかに記載の動画像検索閲覧装置において、前記時間方向検索手段は、動画像の時間軸上の検索開始点を指定して、フレーム単位、１秒単位などの一定時間間隔で検索することを特徴とする動画像検索閲覧装置。
【請求項９】 請求項２ないし７のいずれかに記載の動画像検索閲覧装置において、前記検索結果閲覧表示手段の画面上で指定された時間位置を新たな検索開始点として、さらに細かく、フレーム単位、１秒単位などの一定時間間隔で検索する手段をさらに備えたことを特徴とする動画像検索閲覧装置。
【請求項１０】 請求項９記載の動画像検索閲覧装置において、前記検索結果閲覧手段は、予め定められた個数のフレーム単位サムネイル列と、これに対応するフレーム単位タイムライン列とを表示することを特徴とする動画像検索閲覧装置。
【請求項１１】 請求項１ないし１０のいずれかに記載の動画像検索閲覧装置において、前記サムネイル抽出手段で抽出されたサムネイルを記憶するサムネイル用キャッシュメモリをさらに具備し、同一サムネイルは、該キャッシュメモリから読み出すことにより、該同一サムネイルの抽出処理を軽減することを特徴とする動画像検索閲覧装置。
【請求項１２】 請求項１１記載の動画像検索閲覧装置において、前記サムネイル用キャッシュメモリは、MPEG圧縮コンテンツから検索結果閲覧用サムネイルを抽出する場合、抽出すべきサムネイルに相当するフレームを含むGOP（Group Of Pictures）をフルデコードして保存することにより、同一GOPに含まれる別フレームのデコード処理を省略できるようにしたことを特徴とする動画像検索閲覧装置。
【請求項１３】 請求項１ないし１２のいずれかに記載の動画像検索閲覧装置において、前記動画像コンテンツがWWWサーバに蓄積されており、前記時間方向検索手段および前記サムネイル抽出手段が、該WWWサーバに設けられることを特徴とする動画像検索閲覧装置。
【請求項１４】 請求項１３の動画像検索閲覧装置において、WWWブラウザからネットワークを介して前記WWWサーバに接続して、動画像検索処理を該WWWサーバで行い、該WWWブラウザでは、検索条件の指定および検索結果の閲覧表示を行うようにしたことを特徴とする動画像検索閲覧装置。
【請求項１５】 請求項１３または１４記載の動画像検索閲覧装置において、動画像コンテンツの区間再生を行う際に、出力ネットワーク帯域がインターネットのように動画像コンテンツの伝送帯域に比べて狭い場合、ネットワークの帯域に合わせて動画像コンテンツのビットレートを変換して出力することを特徴とする動画像検索閲覧装置。
【請求項１６】 与えられたタイムコード列を基に、動画像コンテンツから、リアルタイムでサムネイルを抽出するサムネイル抽出処理プログラムを記録したコンピュータ読み取り可能な記録媒体。
【請求項１７】 請求項１２に記載のコンピュータ読み取り可能な記録媒体において、前記サムネイル抽出処理プログラムは、与えられたタイムコード列を基に、動画像をデコードする処理と、該デコードされた画像からサムネイルを生成する処理とを含むことを特徴とするコンピュータ読み取り可能な記録媒体。
【請求項１】 MPEG等のデジタル動画像コンテンツを、検索閲覧する動画像検索閲覧装置であって、動画像コンテンツの時間方向の検索を行う時間方向検索手段と、前記時間方向検索手段の検索結果に基づいて、前記動画像コンテンツからリアルタイムでサムネイルを抽出するサムネイル抽出手段と、前記サムネイル抽出手段で抽出されたサムネイルを用いて検索結果を閲覧表示する検索結果閲覧表示手段とを備えたことを特徴とする動画像検索閲覧装置。
【請求項２】 請求項１記載の動画像検索閲覧装置において、前記時間方向検索手段は、動画像のカット点検索情報を用いて時間軸上の検索開始点を指定した検索を行うことを特徴とする動画像検索閲覧装置。
【請求項３】 請求項２記載の動画像検索閲覧装置において、前記検索結果閲覧手段は、予め定められた個数のカット点サムネイル列と、これに対応するカット点タイムライン列とを表示することを特徴とする動画像検索閲覧装置。
【請求項４】 請求項１記載の動画像検索閲覧装置において、前記時間方向検索手段は、動画像のテロップ検索情報を用いて時間軸上の検索開始点を指定した検索を行うことを特徴とする動画像検索閲覧装置。
【請求項５】 請求項４記載の動画像検索閲覧装置において、前記検索結果閲覧手段は、予め定められた個数のテロップ開始点サムネイル列と、これに対応するテロップ開始点タイムライン列とを表示することを特徴とする動画像検索閲覧装置。
【請求項６】 請求項１記載の動画像検索閲覧装置において、前記時間方向検索手段は、動画像のオーディオ分類情報を用いて時間軸上の検索開始点を指定した検索を行うことを特徴とする動画像検索閲覧装置。
【請求項７】 請求項６記載の動画像検索閲覧装置において、前記検索結果閲覧手段は、予め定められた個数のオーディオ分類種別列、オーディオ分類点サムネイル列、およびこれらに対応するオーディオ分類点タイムコード列とを表示することを特徴とする動画像検索閲覧装置。
【請求項８】 請求項１ないし７のいずれかに記載の動画像検索閲覧装置において、前記時間方向検索手段は、動画像の時間軸上の検索開始点を指定して、フレーム単位、１秒単位などの一定時間間隔で検索することを特徴とする動画像検索閲覧装置。
【請求項９】 請求項２ないし７のいずれかに記載の動画像検索閲覧装置において、前記検索結果閲覧表示手段の画面上で指定された時間位置を新たな検索開始点として、さらに細かく、フレーム単位、１秒単位などの一定時間間隔で検索する手段をさらに備えたことを特徴とする動画像検索閲覧装置。
【請求項１０】 請求項９記載の動画像検索閲覧装置において、前記検索結果閲覧手段は、予め定められた個数のフレーム単位サムネイル列と、これに対応するフレーム単位タイムライン列とを表示することを特徴とする動画像検索閲覧装置。
【請求項１１】 請求項１ないし１０のいずれかに記載の動画像検索閲覧装置において、前記サムネイル抽出手段で抽出されたサムネイルを記憶するサムネイル用キャッシュメモリをさらに具備し、同一サムネイルは、該キャッシュメモリから読み出すことにより、該同一サムネイルの抽出処理を軽減することを特徴とする動画像検索閲覧装置。
【請求項１２】 請求項１１記載の動画像検索閲覧装置において、前記サムネイル用キャッシュメモリは、MPEG圧縮コンテンツから検索結果閲覧用サムネイルを抽出する場合、抽出すべきサムネイルに相当するフレームを含むGOP（Group Of Pictures）をフルデコードして保存することにより、同一GOPに含まれる別フレームのデコード処理を省略できるようにしたことを特徴とする動画像検索閲覧装置。
【請求項１３】 請求項１ないし１２のいずれかに記載の動画像検索閲覧装置において、前記動画像コンテンツがWWWサーバに蓄積されており、前記時間方向検索手段および前記サムネイル抽出手段が、該WWWサーバに設けられることを特徴とする動画像検索閲覧装置。
【請求項１４】 請求項１３の動画像検索閲覧装置において、WWWブラウザからネットワークを介して前記WWWサーバに接続して、動画像検索処理を該WWWサーバで行い、該WWWブラウザでは、検索条件の指定および検索結果の閲覧表示を行うようにしたことを特徴とする動画像検索閲覧装置。
【請求項１５】 請求項１３または１４記載の動画像検索閲覧装置において、動画像コンテンツの区間再生を行う際に、出力ネットワーク帯域がインターネットのように動画像コンテンツの伝送帯域に比べて狭い場合、ネットワークの帯域に合わせて動画像コンテンツのビットレートを変換して出力することを特徴とする動画像検索閲覧装置。
【請求項１６】 与えられたタイムコード列を基に、動画像コンテンツから、リアルタイムでサムネイルを抽出するサムネイル抽出処理プログラムを記録したコンピュータ読み取り可能な記録媒体。
【請求項１７】 請求項１２に記載のコンピュータ読み取り可能な記録媒体において、前記サムネイル抽出処理プログラムは、与えられたタイムコード列を基に、動画像をデコードする処理と、該デコードされた画像からサムネイルを生成する処理とを含むことを特徴とするコンピュータ読み取り可能な記録媒体。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１２】
【図１３】
【図１１】
【図１４】
【図１５】
【図１７】
【図１８】
【図１６】
【図１９】
【図２０】
【図２１】
【図２３】
【図２２】
【図２４】
【図２５】
【図３０】
【図２６】
【図２７】
【図２８】
【図２９】
【図３１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１２】
【図１３】
【図１１】
【図１４】
【図１５】
【図１７】
【図１８】
【図１６】
【図１９】
【図２０】
【図２１】
【図２３】
【図２２】
【図２４】
【図２５】
【図３０】
【図２６】
【図２７】
【図２８】
【図２９】
【図３１】
【公開番号】特開２００２−２８１４３２（Ｐ２００２−２８１４３２Ａ）
【公開日】平成１４年９月２７日（２００２．９．２７）
【国際特許分類】
【出願番号】特願２００１−７４１８５（Ｐ２００１−７４１８５）
【出願日】平成１３年３月１５日（２００１．３．１５）
【出願人】（０００２０８８９１）ケイディーディーアイ株式会社 (2,700)
【Ｆターム（参考）】
【公開日】平成１４年９月２７日（２００２．９．２７）
【国際特許分類】
【出願日】平成１３年３月１５日（２００１．３．１５）
【出願人】（０００２０８８９１）ケイディーディーアイ株式会社 (2,700)
【Ｆターム（参考）】
[ Back to top ]