映像検索装置、編集装置、映像検索方法およびプログラム
【課題】ユーザが所望の映像シーンを容易に検索可能とする。
【解決手段】ユーザが例えば他のモニタに表示されている映像タイムラインから所定のクリップ（対象クリップ）を選択するとき、モニタ１１５Ｂに、当該対象クリップの対応する音声テキストを、クリップ毎に表示する。このモニタ１１５Ｂの画面には、音声テキストの表示領域の他に、サムネールの表示領域が設けられている。サムネールの表示領域には、各クリップの音声テキストに対応したサムネール（代表画像）を表示する。ユーザは、モニタ１１５Ｂに表示されている音声テキストからマウス等を用いた操作により、重要なポイント部分である音声テキスト区間を選択することで、対応するサムネールの表示、さらには、プレビューが可能となる。
【解決手段】ユーザが例えば他のモニタに表示されている映像タイムラインから所定のクリップ（対象クリップ）を選択するとき、モニタ１１５Ｂに、当該対象クリップの対応する音声テキストを、クリップ毎に表示する。このモニタ１１５Ｂの画面には、音声テキストの表示領域の他に、サムネールの表示領域が設けられている。サムネールの表示領域には、各クリップの音声テキストに対応したサムネール（代表画像）を表示する。ユーザは、モニタ１１５Ｂに表示されている音声テキストからマウス等を用いた操作により、重要なポイント部分である音声テキスト区間を選択することで、対応するサムネールの表示、さらには、プレビューが可能となる。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、映像検索装置、編集装置、映像検索方法およびプログラムに関する。詳しくは、この発明は、音声テキストデータが関連付けされた映像データを取り扱うものであって、映像データに対応した音声テキストを表示すると共に、この表示された音声テキストに対応した代表画像を表示することにより、ユーザが所望の映像シーンを容易に検索できるようにした映像検索装置等に係るものである。
【背景技術】
【０００２】
人は本の何処にどのようなことを書いてあるかを探す際、本を斜めに読み、あるいは、ページをパラパラとめくることで、文字の検索が可能である。しかしながら、映像と音声を主な記録情報としてきた従来の動画映像の世界では１つの素材から、所望のシーンを検索する場合に、困難が伴う。
【０００３】
例えば、従来ＶＴＲ(Video Tape Recorder)では、高速サーチで映像シーンを探す場合、概ねの動画像を認識することはできる、しかし、細かなフレーム単位の内容までは確認できない。また、このように高速サーチで映像シーンを探す場合、音声はミュートされるため聞くこともできないし、仮に聞いても早すぎて内容を理解できない。
【０００４】
音声について補足すると、例えば比較的低速な３〜４倍速での再生速度は、人の聴覚では音声を聞いてどのようなことを話しているのか、映像の内容を理解できる境目となっている。そのため、音声内容を高速に確認する手段はいままでなかった。
【０００５】
ノンリニア（Non-Linear）編集機（例えば、特許文献１参照）では、検索のための表示方法として、サムネール画像を複数表示し選択する手法が採られている。通常、ノンリニア編集機では連続した映像のサムネールを表示することはなく、飛び飛びのサムネールを表示するため、これから所望のシーンを探し出すのは困難を伴う。
【０００６】
また、サムネール画像の情報量は圧倒的に音声よりも多く、仮にモニタに全てのフレーム(29.94frame/sec)のサムネール画像を表示したとしても、人がサムネール画像を斜めに見ることにより所望の映像シーンを探すことは困難である。
【０００７】
また、仮に、所望の映像シーンの近傍にあるシーンを見つけても、最終的な編集点を決めるには更に困難を伴う。すなわち、ノンリニア編集機のモニタでは、通常、音声エンベロープ波形（縦：振幅、横：時間軸）をタイムラインに表示し、編集点の決定のために役立てている。
【０００８】
しかし、人が音声エンベロープ波形を見て、音の始まりや音声の強弱を認識できても、音声の意味/内容は理解できなかった。このため、編集オペレータは編集点付近で素材をリアルタイムでプレビュー（pre-view）し、音声の意味/内容を確認しながら、編集点を決めていた。
【０００９】
例えば、特許文献２には、動画を構成する各ブロックについてのタイトルもしくはその他のテキスト情報を時間順に一覧表示をすることが記載されている。このように各ブロックについてのテキスト情報を一覧表示するものにあっては、当該テキスト情報から所望の映像シーンの近傍にあるシーンを見つけても、最終的な編集点を決めるには、編集オペレータは編集点付近で素材をリアルタイムでプレビューすること等が必要となる。
【特許文献１】ＷＯ９６／３２７２２号公報
【特許文献２】特開２００５−９４７０９号公報
【発明の開示】
【発明が解決しようとする課題】
【００１０】
上述したように、従来のノンリニア編集機等では、映像と音声を主な記録情報とした動画映像素材の内容を確認し、編集点、を決め、制作意図に沿った編集を行う行為には多くの工数を必要としていた。
【００１１】
この発明の目的は、例えば編集点とすべき所望の映像シーンの検索を容易とすることにある。
【課題を解決するための手段】
【００１２】
この発明の概念は、
音声テキストデータが関連付けされた映像データを取り扱う映像検索装置であって、
上記音声テキストデータに基づいて、モニタに、上記映像データに対応した音声テキストを表示するテキスト表示制御部と、
上記映像データに基づいて、モニタに、上記テキスト表示制御部で表示された音声テキストに対応した代表画像を表示する画像表示制御部と
を備えることを特徴とする映像検索装置にある。
【００１３】
この発明においては、音声テキストデータが関連付けされた映像データを取り扱う。ここで、音声テキストデータとは、映像データに対応した音声データによる音声の内容を示すテキストデータである。映像データおよび音声テキストデータは、例えば、ＨＤＤ（Hard Disk Drive）等のデータ保持部に保持されている。
【００１４】
テキスト表示制御部により、音声テキストデータに基づいて、モニタに、映像データに対応した音声テキストが表示される。また、画像表示制御部により、モニタに、表示された音声テキストに対応した代表画像（サムネール）が表示される。このように、モニタに、映像データに対応した音声テキスト、およびその音声テキストに対応した代表画像が表示されることで、ユーザは、所望の映像シーンの検索を容易に行うことができる。ここで、音声テキストが表示されるモニタと代表画像が表示されるモニタは同じ場合もあり、違い場合もある。
【００１５】
この発明において、例えば、ユーザがテキスト表示制御部で表示された音声テキストから所定の音声テキスト区間を選択する音声テキスト区間選択部をさらに備え、画像表示制御部は、さらに、映像データに基づいて、音声テキスト区間選択部で選択された所定の音声テキスト区間に対応した代表画像をモニタに表示する、ようにされてもよい。この場合、音声テキスト区間選択部で所定の音声テキスト区間が選択されるとき、モニタに当該選択された所定の音声テキスト区間に対応した代表画像が表示されるため、ユーザは、モニタに表示される代表画像に基づいて、例えば、プレビューをするための音声テキスト区間の選択を適切におこなうことができる。
【００１６】
また、この発明において、ユーザがテキスト表示制御部で表示された音声テキストデータから所定の音声テキスト区間を選択する音声テキスト区間選択部と、ユーザが再生を指示する再生指示部とをさらに備え、画像表示制御部は、さらに、音声テキスト区間選択部で所定の音声テキスト区間が選択された状態で、再生指示部により再生が指示されたとき、映像データに基づいて、所定の音声テキスト区間に対応した映像をモニタに表示する、ようにされてもよい。この場合、ユーザにより選択された所定の音声テキスト区間に対応した映像がモニタに表示されることで、ユーザは、表示された音声テキストの任意の区間の映像シーンを容易に確認できる。
【００１７】
また、この発明において、ユーザがキーワードを入力するキーワード入力部と、音声テキストデータからキーワード入力部に入力されたキーワードを検索するキーワード検索部とをさらに備え、テキスト表示制御部は、キーワード検索部の検索結果に基づいて、モニタに表示されている音声テキストのうち、キーワードに対応するテキスト部分をインテンド表示する、ようにされてもよい。ここで、キーワードに対応したテキスト部分とは、キーワードと一致しているテキスト部分に限定されるものではなく、キーワードを含む所定範囲のテキスト部分、あるいはキーワードに似通ったテキスト部分等をも含むものである。
【００１８】
例えば、キーワード入力部は、モニタに表示されるグラフィカルユーザインタフェース画面を用いて、キーワードを入力する、構成とされている。このようにグラフィカルユーザインタフェース画面を用いてキーワードを入力する構成とすることで、ユーザは、キーワードの入力を、容易、かつ誤りなく行うことができる。
【００１９】
キーワード検索部の検索結果に基づいて、モニタに表示されている音声テキストのキーワードに対応する部分がインテンド表示されることで、ユーザは、所望の映像シーンの検索を容易に行うことができる。
【００２０】
なお、上述したようにモニタに表示されている音声テキストのキーワード部分に対応したテキスト部分がインテンド表示される際に、さらに、画像表示制御部は、当該インテンド表示されたテキスト部分に対応した代表画像をモニタに表示する、ようにされてもよい。インテンド表示されたテキスト部分に対応した代表画像がモニタに表示されることで、ユーザは、所望の映像シーンの検索をより容易に行うことができる。
【００２１】
また、この発明において、例えば、ユーザがモニタに表示されている音声テキストのインテンド表示されたテキスト部分から所定のテキスト部分を選択するテキスト部分選択部をさらに備え、テキスト表示制御部は、さらに、テキスト部分選択部で選択された所定のテキスト部分を、他のテキスト部分とは異なるようにインテンド表示し、画像表示制御部は、さらに、テキスト部分選択部で選択された所定のテキスト部分に対応した代表画像を他の代表画像とは異なるようにインテンド表示する、ようにされてもよい。これにより、ユーザは、インテンド表示された各テキスト部分と代表画像を容易に対応付けできる。
【００２２】
また、この発明において、例えば、テキスト表示制御部は、さらに、テキスト部分選択部で選択された所定のテキスト部分を含む所定範囲の部分を拡大して表示する、ようにされてもよい。この場合、ユーザは、所定のテキスト部分を含む所定範囲の音声テキストの内容を容易に把握でき、所望の映像シーンの検索をより容易に行うことができる。
【００２３】
また、この発明において、例えば、ユーザがモニタにインテンド表示されている音声テキストの各テキスト部分から所定のテキスト部分を選択するテキスト部分選択部と、ユーザが再生を指示する再生指示部とをさらに備え、画像表示制御部は、さらに、テキスト部分選択部で所定のテキスト部分が選択された状態で、再生指示部により再生が指示されたとき、映像データに基づいて、所定のテキスト部分に対応した映像をモニタに表示する、ようにされてもよい。この場合、ユーザにより選択された所定のテキスト部分に対応した映像がモニタに表示されることで、ユーザは、インテンド表示された音声テキストの任意のテキスト部分の映像シーンを容易に確認できる。
【発明の効果】
【００２４】
この発明によれば、映像データに対応する音声テキストを表示すると共に、表示された音声テキストに対応した代表画像を表示するものであり、ユーザは、所望の映像シーンを容易に検索できる。
【発明を実施するための最良の形態】
【００２５】
以下、図面を参照しながら、この発明の実施の形態について説明する。
【００２６】
「編集装置の構成」
【００２７】
図１は、実施の形態としてのノンリニア編集機１００の構成例を示している。このノンリニア編集機１００は、ＣＰＵ（Central Processing Unit）１１１と、ＲＯＭ（Read OnlyMemory）１１２と、ＲＡＭ（Random Access Memory）１１３と、表示コントローラ１１４と、モニタ１１５Ａ，１１５Ｂと、ＨＤＤインタフェース１１６と、ＨＤＤ１１７と、ドライブコントローラ１１８と、メディアドライブ１１９と、入力インタフェース１２０と、入力部１２１と、音声出力インタフェース１２２と、スピーカ１２３と、システムバス１２４とを有している。
【００２８】
ＣＰＵ１１１、ＲＯＭ１１２、ＲＡＭ１１３は、システムバス１２４により相互に接続されている。システムバス１２４には、さらに、表示コントローラ１１４、ＨＤＤインタフェース１１６、ドライブコントローラ１１８、入力インタフェース１２０および音声出力インタフェース１２２が接続されている。
【００２９】
ＣＰＵ１１１は、ノンリニア編集機１００の各部の動作を制御する。このＣＰＵ１１１は、ＲＯＭ１１２、あるいはＨＤＤ１１７に記憶されているプログラムを、ＲＡＭ１１３にロードして実行することで、各部の動作を制御する。
【００３０】
モニタ１１５Ａ，１１５Ｂは、表示コントローラ１１４を介して、バス１２４に接続されている。モニタ１１５Ａ，１１５Ｂは、例えば、ＬＣＤ(Liquid Crystal Display)、ＰＤＰ(Plasma DisplayPanel)等で構成されている。表示コントローラ１１４は、ＣＰＵ１１１の制御のもと、モニタ１１５Ａ，１１５Ｂに表示される画像、およびＧＵＩ用の表示を制御する。
【００３１】
ＨＤＤ１１７は、ＨＤＤインタフェース１１６を介して、システムバス１２４に接続されている。ＨＤＤ１１７は、ＣＰＵ１１１の制御のためのプログラム、編集素材としての映像データおよび音声データ等を格納する。
【００３２】
なお、この実施の形態においては、音声テキストデータが関連付けされた映像データが取り扱われる。音声テキストデータは、映像データに対応した音声データによる音声の内容を示すテキストデータである。従って、ＨＤＤ１１７に保持される各動画映像コンテンツの映像データには、それに対応する音声データの他に、さらに音声テキストデータが付加されている。この場合、映像データと、音声データおよび音声テキストデータとの関連付けは、タイムコードを介して行われている。
【００３３】
メディアドライブ１１９は、ドライブコントローラ１１８を介して、システムバス１２４に接続されている。このメディアドライブ１１９は、各種記録メディアに対応するドライブ機能部であり、当該記録メディアに対する記録再生動作を行う。記録メディアとしては、例えば、ＣＤ、ＭＤ、ＣＤ−Ｒ、ＣＤ−ＲＷ、ＤＶＤ、ＤＶＤ−Ｒ、ＤＶＤ−ＲＷ、Blu-ray Disc等の光ディスク、あるいはメモリカードがある。このメディアドライブ１１９は、例えば、編集素材としての映像データ等を入力し、また、編集後の映像データ等を出力するために使用される。
【００３４】
入力部１２１は、入力インタフェース１２０を介して、システムバス１２４に接続されている。この入力部１２１は、ユーザが、各種の操作入力のため、さらにはデータ入力のために、使用する。この入力部１２１は、キーボード、マウス、リモートコマンダ、その他の入力デバイスで構成されている。
【００３５】
スピーカ１２３は、音声出力インタフェース１２２を介して、システムバス１２４に接続されている。
【００３６】
「映像および音声テキストのインデックスファイル、データファイル」
【００３７】
次に、図１に示すノンリニア編集機１００のＨＤＤ１１７に保持されている映像データ、音声テキストデータについて説明する。
【００３８】
図２（ａ）、（ｂ）は、映像のインデックスファイル、データファイルの構造の一例を示している。インデックスファイルは、データファイルとは独立したファイルとして作成される場合と、データファイルに含まれる場合とがある。この例は、インデックスファイルがデータファイルとは独立して作成される場合の例である。
【００３９】
映像インデックスファイルは、ＨＤＤ１１７のどのアドレスに何フレーム目のデータを記録してあるかを示す管理データである。この映像インデックスファイルには、インデックス総数、インデックス領域のサイズ、データファイルに含まれる全ての映像フレームデータのサイズと映像データファイル内のアドレスが含まれている。
【００４０】
映像データファイルには、全ての映像フレームデータがそのサイズと共に含まれている。また、この映像データファイルには、映像ファイルヘッダが含まれている。さらに、映像データは圧縮されている場合が多く、この映像データファイルには、圧縮された映像データの圧縮を解くための情報も含まれている。
【００４１】
なお、図示および説明は省略するが、音声データも同様に、タイムコード（ＴＣ）と同期して記録されている。この実施の形態において、タイムコードは全て連続に記録されたもので、映像フレーム（frame）番号と等価な情報である。
【００４２】
本来、タイムコードは、時、分、秒、フレームの情報であるが、カムコーダ等により記録メディアに記録された素材には複数のクリップ（clip）がある。ここで、クリップとは、記録スタート（REC START）から記録ポーズ（REC PAUSE）までの記録部分を意味する。このクリップとクリップとのタイムコードが不連続であったり、あるいは別の記録メディアの間ではタイムコードが重複したりする場合もある。
【００４３】
図１に示すノンリニア編集機１００で、これらの素材をメディアドライブ１１９から入力してＨＤＤ１１７に記録する際、元のタイムコードとは別に、連続したフレーム番号を割り当てて記録する。この場合、０，１，２・・・とフレーム番号で管理してもよいし、連続したタイムコードを新たに割り当てて記録してもよい。
【００４４】
図２のインデックスファイルで「オフセット」と書いてあるのは、基準点のアドレスを０としたときの、そこからの距離を意味しており、いわゆるオフセットアドレスである。「オフセット」の値から各映像フレームの先頭アドレスが解り、「オフセット」と「映像サイズ（圧縮記録のため、フレーム毎にデータ量は異なる）」から各映像フレームの終わりのアドレスが解る。
【００４５】
図３（ａ），（ｂ）は、音声テキストのインデックスファイル、データファイルの構造の一例を示している。インデックスファイルは、データファイルとは独立したファイルとして作成される場合と、データファイルに含まれる場合がある。この例は、インデックスファイルがデータファイルとは独立して作成された場合の例である。
【００４６】
音声テキストインデックスファイルは、ＨＤＤ１１７のどのアドレスに何番目の文、あるいは何番目のフレーズ（区）のテキストデータを記録してあるかを示す管理データである。この音声テキストインデックスファイルには、インデックス総数、インデックス領域のサイズ、文単位またはフレーズ単位の、in点およびout点のタイムコード、音声テキストデータのサイズが含まれている。
【００４７】
音声テキストデータファイルには、各文または各フレーズに含まれる文字のテキストデータが、当該ワードのin点およびout点のタイムコードと共に含まれている。また、この音声テキストデータファイルには、文またはフレーズ毎に、データヘッダおよびデータサイズが含まれている。また、この音声テキストデータファイルには、音声テキストファイルヘッダが含まれている。
【００４８】
検索システムとしてのＣＰＵ１１１は、音声テキストインデックスファイルからタイムコードに対応する音声テキストデータファイルのアドレスを知り、このアドレスにアクセスすることにより、音声テキストのデータファイルを読むことができる。また、検索システムとしてのＣＰＵ１１１は、読み込んだ音声テキストのデータをキーワードと比較することにより、音声テキストのキーワードとその位置（タイムコード）を検索することができる。
【００４９】
図４（ａ）は、映像記録装置におけるタイムコードに音声テキストデータを織りいれた構成概念を示している。ここで、タイムコードは連続した時間、フレーム番号となっている。ここでは、不連続なタイムコード、同じタイムコードを含まないと仮定してある。この図４（ａ）において、タイムコードは一例として６２５／５０フォーマットにて記載してあり、２５フレーム／secである。
【００５０】
「Plane Text」とは、コンピュータ上で文章を扱うための一般的なファイルフォーマット、または文字列の形式である。ここでは、説明の便宜上「文字」そのものを書いてある。実際には、テキストコード（漢字は２バイトデータ）で表されるが、ここでは、タイムコードとテキストデータの構成を説明するのが目的であるため、詳細なテキストコード、制御情報は省略している。
【００５１】
図４（ａ）では、「新聞を取って」という日本語の例を示している。図の上から下へ縦方向に時間軸が定義されており、人の音声は無音（灰色）、有音（文字情報）にて表されている。人の発声はある時間幅をもっているため、ある時間区間（00:00:00:0１〜00:00:00:17）は新（しん）を発声している区間を表している。図中の「text制御情報」は文字として表示されないテキストの制御情報を表す。例えば、タブ、垂直タブ、改行、改ページ、ファイル終端マーク、Byte Order Mark等があるが、ここでは、詳細は省略する。
【００５２】
「文字in/out」は、文字のin点、out点を示し、タイムコード（timecode）で結び付けられている。「フレーズ」は文字により構成されるフレーズまたは文を表し、「フレーズin/out」は、フレーズのin点、out点を示す。このように、文字単位、または、文単位のin/out点をタイムコードで定義することにより、さまざまな動画、音声の制御が可能となる。すなわち、あるテキスト文字に対応する映像サムネール画を表示したり、対応する音声を再生したり、該当テキスト文字を含む文章の先頭（フレーズin点）にキューアップ（cue up）して再生し、out点で再生を停止する、等が可能となる。また、あるテキスト文（例「新聞」）を検索し、素材の中から一致する複数の該当箇所を表示することが可能となる。さらに、複数の文章を塊として検索し、似た文章がある候補の場所を検索することも可能である。
【００５３】
図４（ｂ）は、図４（ａ）から、エッセンス、つまり文字のin点、out点を抜き出したもので、この状態で音声テキストのデータファイルを構成する（図３（ｂ）参照）。
【００５４】
「音声テキストとサムネールを融合したＧＵＩ画面」
【００５５】
図１に示すノンリニア編集機１００においては、ユーザが所望の映像シーンを検索する際、モニタ１１５Ｂには映像データの選択されたクリップに対応する音声テキストがクリップ毎に表示されると共に、このモニタ１１５Ｂには映像データの選択されたクリップの代表画像であるサムネールが表示される。
【００５６】
図５は、モニタ１１５Ａに表示されるユーザインタフェース画面を示している。このユーザインタフェース画面には、上部に画像を表示するための２つの画像表示位置（１），（２）が設けられている。また、このユーザインタフェース画面には、下部にタイムライン（３）、映像タイムライン（４）、音声タイムライン（５），（７）、および音声テキストタイムライン（６），（８）が設けられている。映像タイムライン（４）におけるａ，ｂ，ｃ，ｄはクリップを示している。
【００５７】
音声タイムライン（５），（７）には、映像タイムライン（４）に表示された各クリップに対応した音声信号の波形が表示される。また、音声テキストタイムライン（６），（８）には、映像タイムライン（４）に表示された各クリップに対応した音声の内容が表示される。
【００５８】
また、このユーザインタフェース画面には、さらに、下部に、キーワード検索時にキーワードを入力するためのキーワード枠（９）と共に、さらに、検索釦（１０）、Previous釦（１１）、再生釦（１２）、Next釦（１３）、および再生停止釦（１４）が設けられている。
【００５９】
ユーザ（編集オペレータ）は、入力部１２１のマウス等を操作して、映像タイムライン（４）から、音声テキストを表示する対象としての、一つまたは複数のクリップを選択できる。
【００６０】
図６は、モニタ１１５Ｂに表示されるユーザインタフェース画面を示している。このユーザインタフェース画面には、左部に、サムネールの表示領域が形成されており、その他の領域は音声テキストの表示領域とされている。音声テキストの表示領域には、上述したようにユーザにより音声テキストを表示する対象として選択されたクリップに対応する音声テキスト（例えば、チャネル１の音声テキスト）が、クリップ毎に表示される。図６の例は、＃１〜＃３の３個のクリップが選択された場合を示している。
【００６１】
各クリップの音声テキストの表示領域の左側に位置するサムネールの表示領域には、各クリップの音声テキストの最初位置および最後位置に対応したサムネール（代表画像）が表示される。例えば、＃１のクリップに関しては、当該クリップの音声テキストの最初位置ａおよび最後位置ｚに対応したサムネールが表示される。
【００６２】
また、ユーザは、図６に示すユーザインタフェース画面において、表示された各クリップの音声テキストを斜め読みし、入力部１２１のマウス等を用いた操作により、重要なポイント部分である音声テキスト区間を選択できる。このようにユーザにより選択された音声テキスト区間は、インテンド表示される。図６の表示例においては、＃２のクリップの（１）から（２）までの区間、（３）から（４）までの区間、＃３のクリップの（５）から（６）までの区間が選択されている。
【００６３】
このようにユーザの操作により選択されてインテンド表示された音声テキスト区間は、タイムコードにて管理されており（図３参照）、映像のタイムコード（図２参照）と関連付けられており、後に、キューアップ（cue up）、プレビュー（preview）が可能な仕組みが備えられている。ユーザは、図６に示すように、複数個所の音声テキスト区間の選択が可能であり、また、選択した後に取り消しを行うこともできる。
【００６４】
上述したように、重要なポイント部分である音声テキスト区間を選択した状態で、当該音声テキスト区間のプレビューを行うことで、ユーザは、所望の映像シーンを効率よく検索でき、編集点を決定できる。なお、選択した音声テキスト区間をプレビューする前に、当該音声テキスト区間の代表画像であるサムネールが、モニタ１１５Ａの画像表示位置（１）およびモニタ１１５Ｂの該当するクリップのサムネール表示領域に、表示される。これにより、ユーザは、各音声テキスト区間の大まかな映像をプレビュー前に知ることができ、無駄なプレビュー動作を回避することも可能となる。
【００６５】
なお、上述したようにユーザが選択区間を指定する操作を行う代わりに、選択しない区間を削除する操作を行うようにしてもよい。この場合、削除せずに残っている区間が選択された区間ということになる。
【００６６】
「テキスト文字画面表示」
【００６７】
次に、図１に示すノンリニア編集機１００におけるテキスト文字画面表示について説明する。図７のフローチャートを用いて、ＣＰＵ１１１のテキスト表示処理を説明する。
【００６８】
ＣＰＵ１１１は、ステップＳＴ１において、テキスト表示処理を開始し、その後に、ステップＳＴ２の処理に移る。このステップＳＴ２において、ユーザの入力部１２１の操作によってテキスト表示する対象のクリップが選択されると、ＣＰＵ１１１は、ステップＳＴ３の処理に移る。
【００６９】
上述したように、ユーザは、図５に示すようにモニタ１１５Ａに表示されているユーザインタフェース画面（第１のＧＵＩ表示画面）に基づき、映像選択ライン（４）から対象クリップを選択できる。この場合、１クリップ毎にキーボードの「Shift」キーを押しながら複数のクリップを選択でき、また、映像選択ライン（４）をマウスのカーソルでドラッグすることによって所定数のクリップを一括して選択できる。
【００７０】
ステップＳＴ３において、ユーザの入力部１２１の操作によってユーザインタフェース画面上の検索釦（１０）が押されると、ＣＰＵ１１１は、ステップＳＴ４の処理に移る。検索釦（１０）は、実行キーとして機能する。ステップＳＴ４において、ＣＰＵ１１１は、ステップＳＴ２で選択された対象クリップのうち、最初のクリップの音声テキストインデックスファイルを読み出して、当該最初のクリップの音声テキストデータの記録アドレスを取得する。
【００７１】
そして、ＣＰＵ１１１は、ステップＳＴ５において、ステップＳＴ４で取得したアドレスを用いて、音声テキストデータファイルからテキストコードを読み文字変換した後、モニタ１１５Ｂに表示されるユーザインタフェース画面（第２のＧＵＩ表示画面）のテキスト表示領域に、音声テキストを表示する。
【００７２】
次に、ＣＰＵ１１１は、ステップＳＴ６において、該当クリップのデータを全て読んだか否かを判断する。該当クリップのデータを全て読んでいないとき、ＣＰＵ１１１は、ステップＳＴ５に戻って、上述したと同様に、音声テキストデータファイルからテキストコードを読み文字変換した後、モニタ１１５Ｂに音声テキストを表示することを繰り返す。
【００７３】
ステップＳＴ６で該当クリップのデータを全て読んだとき、ＣＰＵ１１１は、ステップＳＴ７の処理に移る。このステップＳＴ７において、ＣＰＵ１１１は、映像インデックスファイルから、該当クリップの映像データの最初位置（ｉｎ），最後位置（ｏｕｔ）のアドレスを読む。そして、ＣＰＵ１１１は、ステップＳＴ８において、該当クリップのサムネール（in,out）を、モニタ１１５のユーザインタフェース画面（第２のＧＵＩ表示画面）のサムネール表示領域に表示する。
【００７４】
次に、ＣＰＵ１１１は、ステップＳＴ９において、ステップＳＴ２で選択した全ての対象クリップの処理を終了したか否かを判断する。全ての対象クリップの処理を終了していないとき、ＣＰＵ１１１は、ステップＳＴ１０において、次の選択クリップの音声テキストインデックスファイルを読み出して、当該クリップの音声テキストデータの記録アドレスを取得する。
【００７５】
そして、ＣＰＵ１１１は、ステップＳＴ１０の処理の後、ステップＳＴ５の処理に戻り、上述したと同様に、音声テキストデータファイルからテキストコードを読み、文字変換した後、モニタ１１５Ｂのテキスト表示領域に音声テキストを表示することを繰り返す。
【００７６】
一方、ステップＳＴ９で選択した全ての対象クリップの処理を終了したとき、ＣＰＵ１１１は、ステップＳＴ１１において、テキスト表示処理を終了する。
【００７７】
「所望シーンの検索」
【００７８】
次に、図１に示すノンリニア編集機１００における所望シーン検索について説明する。図８のフローチャートを用いて、ＣＰＵ１１１の所望シーンの検索処理を説明する。
【００７９】
ＣＰＵ１１１は、ステップＳＴ２１において、所望シーンの検索処理を開始し、その後に、ステップＳＴ２２の処理に移る。このステップＳＴ２２において、ＣＰＵ１１１は、ユーザが、入力部１２１を操作し、モニタ１１５Ｂに表示されている各クリップの音声テキストから所定の音声テキスト区間を選択したか否かを判断する。
【００８０】
例えば、ユーザは、マウスにより音声テキストにカーソルを合わせてドラッグすることで、所定の音声テキスト区間を選択できる。また、例えば、ユーザは、マウスで所定の文字にカーソルを合わせてクリックすることで、当該所定の文字を含む文またはフレーズを、所定の音声テキスト区間として選択できる。なお、このように選択された所定の音声テキスト区間は、他と区別可能に、例えば、背景が灰色にインテンド表示される（図６参照）。なお、この音声テキスト区間は、１個だけでなく、複数個の選択も可能とされている。
【００８１】
ステップＳＴ２２で音声テキスト区間が選択されたとき、ＣＰＵ１１１は、ステップＳＴ２３において、選択された音声テキスト区間に対応するサムネール（代表画像）を、モニタ１１５Ａの画像表示位置（１）に表示する。このように、サムネールが表示されることで、ユーザは当該音声テキスト区間に対応した映像シーンの内容のおおよそを理解することが可能となる。
【００８２】
この場合、ＣＰＵ１１１は、選択された音声テキスト区間の先頭の文字位置のテキストデータからタイムコードを取得し、このタイムコードに基づいて映像インデックスファイルのアドレスを読み、このアドレスに基づいて映像データファイルからサムネールデータを読み出し、表示する。ここで、ＣＰＵ１１１は、ＨＤＤ１１７における映像データの読み出し位置を、上述の音声テキスト区間の先頭の文字位置のタイムコードに対応した位置にキューアップ（cue up）して、再生スタンバイ状態とする。なお、上述せずも、映像データとしては、高精細映像データと、低精細映像データを備えている。サムネールは、低精細映像データを用いて、簡単に表示できる。
【００８３】
ＣＰＵ１１１は、このようにモニタ１１５Ａの画像表示位置（１）にサムネールを表示するとき、同時に、モニタ１１５Ｂのサムネール表示領域にも、同様のサムネールを表示する。この場合、サムネール表示領域には、例えば、選択された音声テキスト区間の開始点映像および終点映像を表示する。
【００８４】
次に、ＣＰＵ１１１は、ステップＳＴ２４において、ユーザによる再生テキスト区間の再選択操作、あるいは再生操作があるか否かを判断する。再選択操作があるとき、ＣＰＵ１１１は、ステップＳＴ２２に戻って、音声テキスト区間が選択されたか否かを判断する。上述したように、ユーザは、表示されたサムネールにより選択した音声テキスト区間に対応した映像シーンの内容のおおよそを理解できるため、もはやプレビュー（preview）の必要がないときは、音声テキスト区間の再選択操作を行うことができ、無駄なプレビュー動作を省略できる。
【００８５】
ステップＳＴ２４で再生操作があったときは、ＣＰＵ１１１は、ステップＳＴ２５の処理に移る。このステップＳＴ２５において、ＣＰＵ１１１は、ＨＤＤ１１７を制御し、ステップＳＴ２２で選択された音声テキスト区間に対応した映像、音声、音声テキストを再生する。この場合、再生映像は、図５のユーザインタフェース画面の画像表示位置（２）に表示される。また、再生映像に同期した音声出力が音声タイムライン（６）に拡大表示され、再生映像に同期した音声テキストがテキストタイムライン（８）に拡大表示される。なお、スピーカ１２３からも再生音声が出力される。これにより、ユーザ（編集オペレータ）は、選択された音声テキスト区間に対応した映像、音声、音声テキストを確認できる。なお、音声タイムライン（６）には、音声波形が表示される。
【００８６】
例えば、図６に示すように、選択された音声テキスト区間が、＃２のクリップの（１）から（２）までの区間、（３）から（４）までの区間、および＃３のクリップの（５）から（６）までの区間であるとき、これらの区間が連続して再生される。なお、図５のユーザインタフェース画面に存在する再生停止釦（１４）を操作することで、再生を途中で止めることができる。
【００８７】
次に、ＣＰＵ１１１は、ステップＳＴ２６において、ユーザによる再生テキスト区間の再選択操作があるか否かを判断する。再選択操作があるとき、ＣＰＵ１１１は、ステップＳＴ２２に戻って、音声テキスト区間が選択されたか否かを判断する。一方、再選択操作がないとき、ＣＰＵ１１１は、ステップＳＴ２７において、所望シーンの検索処理を終了する。
【００８８】
上述したＣＰＵ１１１の所望シーンの検索処理の動作に基づいて、ユーザは、モニタ１１５Ｂに表示された各クリップの音声テキスト上に音声テキスト区間を順次設定し、音声テキスト区間のサムネール（代表画像）の表示、さらには音声テキスト区間の映像等のプレビューにより、所望の映像シーンを容易に検索できる。
【００８９】
図９は、編集アプリケーションプログラムから見たテキスト表示処理の流れを概念的に示したものである。なお、［ｎ］は、図７のフローチャートのステップ番号に対応している。編集アプリケーションプログラムに含まれる「ＧＵＩ」は入力操作を含め、ＧＵＩ表示を行う。
【００９０】
「検索機能」は、音声テキストインデックスファイルから、選択されたクリップ（対象クリップ）に対応するアドレスを取得すると共に、このアドレスを用いて、音声テキストデータファイルから選択されたクリップのテキストコードを読み込んでモニタ１１５Ｂに表示する。また、映像インデックスファイルから、選択されたクリップ（対象クリップ）に対応するタイムコードを取得すると共に、このタイムコードを用いて、映像データファイルから選択されたクリップのサムネール（代表画像）を読み込んでモニタ１１５Ｂに表示する。
【００９１】
「コマンド発行」はインデックスファイルを読み出し、データファイルの読むべきアドレスを知った上で、キューアップ（Cue up）、読み込み等のコマンドをストレージに対し発行する。
【００９２】
また、図１０は、編集アプリケーションプログラムから見た所望シーンの検索処理の流れを概念的に示したものである。なお、［ｎ］は、図８のフローチャートのステップ番号に対応している。編集アプリケーションプログラムに含まれる「ＧＵＩ」は入力操作を含め、ＧＵＩ表示を行う。
【００９３】
「実行」は、音声テキストインデックスファイルから、選択された音声テキスト区間に対応したタイムコードを取得し、このタイムコードを用いて、映像データファイルから選択された音声テキスト区間のサムネール（代表画像）を読み込んでモニタ１１５Ａ、１１５Ｂに表示し、さらに、再生指示に基づいて、選択された音声テキスト区間に対応した映像データ部分にキューアップして再生する。
【００９４】
「コマンド発行」はインデックスファイルを読み出し、データファイルの読むべきアドレスを知った上で、キューアップ（Cue up）、読み込み等のコマンドをストレージに対し発行する。
【００９５】
以上説明したように、図１に示すノンリニア編集機１００においては、音声テキストデータが関連付けされた映像データを取り扱うものであって、モニタ１１５Ｂに、映像データに対応した音声テキストをモニタ１１５Ｂに表示すると共に、このように表示される音声テキストに対応した代表画像（サムネール）を表示するものであり、ユーザは、例えば編集点とすべき所望の映像シーンを容易に検索できる。
【００９６】
また、図１に示すノンリニア編集機１００においては、モニタ１１５Ｂに表示された音声テキストからユーザが所定の音声テキスト区間（再生区間）を選択するとき、この所定の音声テキスト区間に対応したサムネール（代表画像）が、モニタ１１５Ａの画像表示位置（１）およびモニタ１１５Ｂのサムネール表示領域に表示される。したがって、ユーザは、これらのサムネールに基づいて、音声テキスト区間（再生区間）の選択を適切に行うことができる。また、ユーザは、これらのサムネールにより、選択した所定の音声テキスト区間に対応したおおよその映像を把握でき、無駄なプレビューを行うこと等を回避できる。
【００９７】
また、図１に示すノンリニア編集機１００においては、ユーザにより所定の音声テキスト区間（再生区間）が設定されて、再生が指示されるとき、当該所定の音声テキスト区間に対応した映像、音声、音声テキストが再生され、モニタ１１５Ａに表示される。したがって、ユーザは、各クリップの任意の区間の映像シーンを容易に確認でき、例えば編集点とすべき所望シーンを容易に検索できる。
【００９８】
「他の実施の形態」
【００９９】
次に、この発明の他の実施の形態について説明する。図１１は、他の実施の形態としてのノンリニア編集機１００Ａを示している。この図１１において、図１と対応する部分には同一符号を付し、その詳細説明は省略する。
【０１００】
このノンリニア編集機１００Ａは、ＣＰＵ（Central Processing Unit）１１１と、ＲＯＭ（Read OnlyMemory）１１２と、ＲＡＭ（Random Access Memory）１１３と、表示コントローラ１１４と、モニタ１１５Ａ，１１５Ｂ，１１５Ｃと、ＨＤＤインタフェース１１６と、ＨＤＤ１１７と、ドライブコントローラ１１８と、メディアドライブ１１９と、入力インタフェース１２０と、入力部１２１と、音声出力インタフェース１２２と、スピーカ１２３と、システムバス１２４とを有している。
【０１０１】
ノンリニア編集機１００Ａは、３個のモニタを備えることを除けば、図１に示すノンリニア編集機１００と同様の構成とされている。モニタ１１５Ｂおよびモニタ１１５Ｃは、近傍（例えば、上下あるいは左右）に設置されるものとする。
【０１０２】
モニタ１１５Ｂには、図１２に示すように、図５の映像タイムライン（４）の映像データに対応した、例えばチャネル１の音声テキストが表示される。この実施の形態では、ユーザのキーワード入力に対応してキーワード検索が行われ、図１２に示すように、モニタ１１５Ｂに表示された音声テキストのうち、キーワードに一致するテキスト部分が、全てインテンド表示される。図１２に示す例は、キーワードが「春一番」であった場合を示している。
【０１０３】
また、この実施の形態では、図１２に示すように、モニタ１１５Ｃに、上述したようにモニタ１１５Ｂに表示された音声テキストのキーワードに一致する各テキスト部分に対応したサムネール（代表画像）が表示される。そして、この状態で、ユーザの入力部１２１の操作により、モニタ１１５Ｂに表示された音声テキストのキーワードに一致する各テキスト部分から所定のテキスト部分が選択されるとき、図１３に示すように、当該選択されたテキスト部分は色等の変化によりさらにインテンド表示される。
【０１０４】
また、当該選択された所定のテキスト部分に対応したモニタ１１５Ｃのサムネールがインテンド表示される。この場合、サムネールの画枠の色等の変化により、インテンド表示が行われる。これにより、ユーザは、モニタ１１５Ｂにおけるテキスト部分とモニタ１１５Ｃにおけるサムネールとの対応関係をよりよく把握できる。
【０１０５】
なお、上述とは逆の順番であっても同様の表示となる。すなわち、ユーザの入力部１２１の操作により、モニタ１１５Ｃに表示されている複数のサムネールから所定のサムネールが選択されるとき、当該選択されたサムネールの画枠がインテンド表示され、また、当該サムネールに対応したモニタ１１５Ｂのテキスト部分は色等の変化によりさらにインテンド表示される。
【０１０６】
また、上述したように、モニタ１１５Ｂに表示された音声テキストのキーワードに一致する各テキスト部分から所定のテキスト部分が選択されるとき、図１３に示すように、当該所定のテキスト部分を含む所定範囲（例えば、文またはフレーズ）が、モニタ１１５Ｂに拡大して表示される。
【０１０７】
＜キーワード検索＞
【０１０８】
図１４のフローチャートを用いて、ＣＰＵ１１１のキーワード検索処理を説明する。
【０１０９】
ＣＰＵ１１１は、ステップＳＴ３１において、キーワード検索処理を開始し、その後に、ステップＳＴ３２の処理に移る。このステップＳＴ３２において、ユーザの入力部１２１の操作によってキーワードが入力されると、ＣＰＵ１１１は、ステップＳＴ３３の処理に移る。
【０１１０】
ユーザは、図５に示すようなユーザインタフェース画面におけるキーワード枠（９）へキーワード（この例では、「春一番」）を、入力部１２１のマウス、キーボードを使って入力する。このＧＵＩプログラムでは、日本語が用意されており、キーワードが入力されると、図１５に示すように、キーワード枠（９）にキーワードが表示される。
【０１１１】
ステップＳＴ３３において、ユーザの入力部１２１の操作によってユーザインタフェース画面上の検索釦（１０）が押されると、ＣＰＵ１１１は、ステップＳＴ３４の処理に移る。このステップＳＴ３４において、ＣＰＵ１１１は、キーワードを、テキストコードに変換する。
【０１１２】
次に、ＣＰＵ１１１は、ステップＳＴ３５において、キーワードのテキストコードと、図３の音声テキストデータファイルのテキストコードを、ＲＡＭ１１３に取り込み、比較する。ＣＰＵ１１１は、ステップＳＴ３６において、一致したか否かを判断する。一致していないとき、ＣＰＵ１１１は、ステップＳＴ３７において順次比較のためキーワードを１文字移動し、その後に、ステップＳＴ３５に戻って、上述したと同様の動作を繰り返す。
【０１１３】
図３は、＃１、＃２、・・・＃Ｎまでのフレーズまたは文のテキストデータである。キーワード検索をする場合、目的とする「テキストコード」と、「図３の＃１の丸１，丸２，丸３，丸４，丸５，・・・，＃Ｎの最後のテキストコード」と一致するデータを順次比較して検出する。この処理を、上述のステップＳＴ３５〜ＳＴ３７により行っている。図１６は、キーワードを音声テキストと比較する様子を、横軸を時間軸として、模式的に示している。
【０１１４】
ステップＳＴ３６で一致したと判断したとき、ＣＰＵ１１１は、ステップＳＴ３８において、一致したテキストコードのin，outのタイムコードを読む。そして、ＣＰＵ１１１は、ステップＳＴ３９において、該当テキスト部分（キーワード部分）をインテンド表示する。すなわち、ＣＰＵ１１１は、図１５に示すように、映像タイムライン（４）上に、検索されたキーワード位置を、色、明暗で区別した線（棒線、丸、楕円等）によりインテンド表示する。また、ＣＰＵ１１１は、図１２に示すように、モニタ１１５Ｂに表示された音声テキストのうち、検索されたキーワードと一致するテキスト部分を、色、明暗等でインテンド表示する。また、ＣＰＵ１１１は、ステップＳＴ３９において、検索されたキーワードと一致するテキスト部分に対応したサムネール（代表画像）を、モニタ１１５Ｃに表示する。
【０１１５】
次に、ＣＰＵ１１１は、ステップＳＴ４０において、最終テキストコードか否かを判断する。最終テキストコードでないとき、ＣＰＵ１１１は、ステップＳＴ３７において、順次比較のため、キーワードを１文字移動し、その後に、ステップＳＴ３５の処理に戻る。一方、ステップＳＴ４０で最終テキストコードであるとき、ＣＰＵ１１１は、ステップＳＴ４１において、キーワード検索を終了する。
【０１１６】
なお、キーワードが複数ある場合、ＣＰＵ１１１は、それぞれ異なる色、輝度で識別可能なインテンド方法を自動的に選択し、表示を行う。また、図１４のフローチャートは一例であって、これに限定されるものではない。例えば、予め同じ熟語（文字）がある場所（タイムコード）を検索して表にしておき、検索実行コマンドにより表から場所を読み出す方法もある。
【０１１７】
＜所望シーンの確認＞
【０１１８】
ユーザ（編集オペレータ）は、上述したように検索された各キーワード位置から、所望の映像シーンを検索し、編集点を決定できる。図１７のフローチャートを用いて、ＣＰＵ１１１の映像シーンの検索処理を説明する。
【０１１９】
ＣＰＵ１１１は、ステップＳＴ５１において、映像シーンの検索処理を開始し、その後に、ステップＳＴ５２の処理に移る。このステップＳＴ５２において、ユーザの入力部１２１の操作によって、モニタ１１５Ｂに表示された音声テキストのキーワードに一致する各テキスト部分（キーワード部分）から所定のテキスト部分が選択されるとき、ＣＰＵ１１１は、ステップＳＴ５３において、当該選択されたテキスト部分を色等の変化によりさらにインテンド表示すると共に、当該選択されたテキスト部分を含む所定範囲（例えば、選択されたテキスト部分を含む文またはフレーズ等）を、モニタ１１５Ｂに拡大して表示する（図１３参照）。
【０１２０】
ここで、ユーザは、入力部１２１のマウスを用いて、モニタ１１５Ｂにインテンド表示されている各テキスト部分から、所定のテキスト部分を選択できる。なお、あるテキスト部分が選択されている状態で、モニタ１１５Ａのユーザインタフェース画面のNext釦（１３）、または、Previous釦（１１）を操作することでも、次の、あるいは前のテキスト部分を選択できる。
【０１２１】
そして、ＣＰＵ１１１は、ステップＳＴ５４において、当該選択されたテキスト部分に対応したモニタ１１５Ｃのサムネールをインテンド表示する（図１３参照）。例えば、ＣＰＵ１１１は、サムネールの画枠の色等を変化させることで、インテンド表示を行う。これにより、ユーザは、インテンド表示された各キーワード部分に対応した代表画像を容易に対応付けできる。
【０１２２】
次に、ＣＰＵ１１１は、ステップＳＴ５５において、ユーザの入力部１２１の操作によって、テキスト部分の再選択操作があったか、あるいは再生操作があったか否かを判断する。ユーザは、モニタ１１５Ａのユーザインタフェース画面の再生釦（１２）を操作することで、再生操作を行うことができる。
【０１２３】
他のテキスト部分の再選択操作があるとき、ＣＰＵ１１１は、ステップＳＴ５２の処理に戻り、上述したと同様の処理を繰り返す。一方、再生操作があるとき、ステップＳＴ５６の処理に移る。このステップＳＴ５６において、ＣＰＵ１１１は、選択されたテキスト部分を含む所定範囲、例えば文またはフレーズに対応した映像、音声、音声テキストを再生する。
【０１２４】
この場合、再生映像は、図７のユーザインタフェース画面の画像表示位置（２）に表示される。また、再生映像に同期した音声出力が音声タイムライン（６）に拡大表示され、再生映像に同期した音声テキストがテキストタイムライン（８）に拡大表示される。これにより、ユーザ（編集オペレータ）は、選択されたテキスト部分に対応した映像、音声、音声テキストを確認できる。なお、スピーカ１２３からも再生音声が出力される。
【０１２５】
次に、ＣＰＵ１１１は、ステップＳＴ５７において、テキスト部分の再選択操作があるか否かを判断する。テキスト部分の再選択操作があるとき、ＣＰＵ１１１は、ステップＳＴ５２の処理に戻り、上述したと同様の処理を繰り返す。一方、再選択操作がないとき、ＣＰＵ１１１は、ステップＳＴ５８において、所望シーンの検索処理を終了する。
【０１２６】
図１８は、編集アプリケーションプログラムから見たキーワード検索の処理の流れを概念的に示したものである。なお、［ｎ］は、図１４のフローチャートのステップ番号に対応している。編集アプリケーションプログラムに含まれる「ＧＵＩ」は入力操作を含め、ＧＵＩ表示を行う。
【０１２７】
「検索機能」はＧＵＩ入力されたキーワードのテキスト文字をテキストコードに変換し、データファイルとテキストコードを比較し、一致したタイムコードを読み、表示された音声テキストのうちキーワードと一致するテキスト部分をインテンド表示し、また、インテンド表示した各テキスト部分のサムネールを表示する。「コマンド発行」はインデックスファイルを読み出し、データファイルの読むべきアドレスを知った上で、キューアップ（Cue up）再生、停止などのコマンドをストレージに対し行う。
【０１２８】
また、図１９は、編集アプリケーションプログラムから見た所望シーンの検索処理の流れを概念的に示したものである。なお、［ｎ］は、図１７のフローチャートのステップ番号に対応している。編集アプリケーションプログラムに含まれる「ＧＵＩ」は入力操作を含め、ＧＵＩ表示を行う。
【０１２９】
「実行」は、音声テキストインデックスファイルから、再生指示に基づいて、選択されたテキスト部分に対応したタイムコードを取得し、このタイムコードを用いて、映像データファイルから選択されたテキスト部分に対応した映像データ部分にキューアップして再生する。
【０１３０】
「コマンド発行」はインデックスファイルを読み出し、データファイルの読むべきアドレスを知った上で、キューアップ（Cue up）、読み込み等のコマンドをストレージに対し発行する。
【０１３１】
以上説明したように、図１１に示すノンリニア編集機１００Ａにおいては、音声テキストデータが関連付けされた映像データを取り扱うものであって、映像データに対応した音声テキストをモニタ１１５Ｂに表示すると共に、このように表示される音声テキストのうち、入力されたキーワードと一致するテキスト部分に対応した代表画像(サムネール)をモニタ１１５Ｃ表示するものであり、ユーザは、例えば編集点とすべき所望の映像シーンを容易に検索できる。
【０１３２】
また、図１１に示すノンリニア編集機１００Ａにおいては、キーワード検索結果に基づいて、モニタ１１５Ｂに表示されている音声テキストのキーワードの部分がインテンド表示されるものであり、ユーザは、所望の映像シーンの検索を容易に行うことができる。また、この場合、ユーザは、キーワードの入力をモニタ１１５Ａに表示されたグラフィカルユーザインタフェース画面を用いて行うことができ、キーワードの入力を、容易、かつ誤りなく行うことができる。
【０１３３】
また、図１１に示すノンリニア編集機１００Ａにおいては、ユーザがモニタ１１５Ｂにインテンド表示されている音声テキストの各テキスト部分から所定のテキスト部分を選択した場合、当該所定のテキスト部分は、他のインテンド表示されたテキスト部分とは異なるようにインテンド表示され、また、この所定のテキスト部分に対応してモニタ１１５Ｃに表示されているサムネール（代表画像）もインテンド表示される。したがって、ユーザは、インテンド表示された各テキスト部分とサムネール（代表画像）を容易に対応付けできる。
【０１３４】
また、図１１に示すノンリニア編集機１００Ａにおいては、ユーザがモニタ１１５Ｂにインテンド表示されている音声テキストの各テキスト部分から所定のテキスト部分を選択した場合、そのテキスト部分を含む所定範囲の部分が拡大表示される。したがって、ユーザは、所定のテキスト部分を含む所定範囲の音声テキストの内容を容易に把握でき、所望の映像シーンの検索をより容易に行うことができる。
【０１３５】
また、図１１に示すノンリニア編集機１００Ａにおいては、ユーザによりインテンド表示されている各テキスト部分から所定のテキスト部分が選択されて、再生が指示されるとき、当該所定のテキスト部分に対応した映像、音声、音声テキストが再生され、モニタ１１５Ａに表示される。したがって、ユーザは、任意のテキスト部分の映像シーンを容易に確認でき、例えば編集点とすべき所望シーンを容易に検索できる。
【０１３６】
なお、上述実施の形態においては、１つの単語、例えば「春一番」を用いて行う単純なキーワード検索を示したが、キーワード検索は単数、複数の単語による条件式を用いて行うことも可能である。例えば、「日米野球」or「イチロー」を条件式とする場合、音声テキストから「日米野球」と「イチロー」を検索し、別々の色、または同色でインテンド表示する。また、例えば、「天気」and 「女性」を条件式とする場合、女性の声で「天気」を検索し、インテンド表示する。この場合、音声は高速フーリエ変換により男女別に判定する。また、例えば、「春一番が吹き」を条件式として、フレーズで検索する。また、例えば、「weather forecast」を条件式として、英語で検索する。
【０１３７】
また、上述したように検索された結果、すなわち「キーワード」、キーワード部分のタイムコード等を保存し、２次利用するようにしてもよい。
【０１３８】
また、キーワード検索は、完全一致のテキスト部分を検索するだけでなく、一致率の高いテキスト部分を検索し、例えば一致率の高い順に色分けして表示するようにしてもよい。また、インテンド表示されるキーワードに対応したテキスト部分は、キーワードに一致するテキスト部分だけに限定されるものではなく、キーワードを含む所定範囲のテキスト部分、あるいはキーワードに似通ったテキスト部分等であってもよい。
【０１３９】
また、上述実施の形態においては、この発明をノンリニア編集機に適用したものであるが、この発明は、音声テキストデータが関連づけされて記録されている映像データを取り扱う、その他の映像機器にも同様に適用できる。
【産業上の利用可能性】
【０１４０】
この発明は、所望の映像シーンを容易に検索できるものであり、例えば、ノンリニア編集機等に適用できる。
【図面の簡単な説明】
【０１４１】
【図１】この発明の実施の形態としてのノンリニア編集機の構成例を示すブロック図である。
【図２】映像のインデックスファイルおよびデータファイルの構造の一例を示す図である。
【図３】音声テキストのインデックスファイルおよびデータファイルの構造の一例を示す図である。
【図４】映像記録装置におけるタイムコードに音声テキストデータを織りいれた構成概念を示す図である。
【図５】モニタに表示されているユーザインタフェース画面の一例を示す図である。
【図６】モニタに表示されているユーザインタフェース画面の一例を示す図である。
【図７】ＣＰＵのテキスト表示処理の一例を示すフローチャートである。
【図８】ＣＰＵの所望シーンの検索処理の一例を示すフローチャートである。
【図９】編集アプリケーションプログラムから見たテキスト表示処理の流れを概念的に示した図である。
【図１０】編集アプリケーションプログラムから見た所望シーンの検索処理の流れを概念的に示した図である。
【図１１】この発明の他の実施の形態としてのノンリニア編集機の構成例を示すブロック図である。
【図１２】モニタに表示されているユーザインタフェース画面の一例を示す図である。
【図１３】モニタに表示されているユーザインタフェース画面の一例を示す図である。
【図１４】ＣＰＵのキーワード検索処理の一例を示すフローチャートである。
【図１５】モニタに表示されているユーザインタフェース画面の一例を示す図である。
【図１６】キーワードを音声テキストと比較する様子を、横軸を時間軸として、模式的に示した図である。
【図１７】ＣＰＵの所望シーンの検索処理の一例を示すフローチャートである。
【図１８】編集アプリケーションプログラムから見たキーワード検索処理の流れを概念的に示した図である。
【図１９】編集アプリケーションプログラムから見た所望シーンの検索処理の流れを概念的に示した図である。
【符号の説明】
【０１４２】
１００，１００Ａ・・・ノンリニア編集機、１１１・・・ＣＰＵ、１１２・・・ＲＯＭ、１１３・・・ＲＡＭ、１１４・・・表示コントローラ、１１５Ａ，１１５Ｂ，１１５Ｃ・・・モニタ、１１６・・・ＨＤＤインタフェース、１１７・・・ＨＤＤ、１１８・・・ドライブコントローラ、１１９・・・メディアドライブ、１２０・・・入力インタフェース、１２１・・・入力部、１２２・・・音声入力インタフェース、１２３・・・スピーカ
【技術分野】
【０００１】
この発明は、映像検索装置、編集装置、映像検索方法およびプログラムに関する。詳しくは、この発明は、音声テキストデータが関連付けされた映像データを取り扱うものであって、映像データに対応した音声テキストを表示すると共に、この表示された音声テキストに対応した代表画像を表示することにより、ユーザが所望の映像シーンを容易に検索できるようにした映像検索装置等に係るものである。
【背景技術】
【０００２】
人は本の何処にどのようなことを書いてあるかを探す際、本を斜めに読み、あるいは、ページをパラパラとめくることで、文字の検索が可能である。しかしながら、映像と音声を主な記録情報としてきた従来の動画映像の世界では１つの素材から、所望のシーンを検索する場合に、困難が伴う。
【０００３】
例えば、従来ＶＴＲ(Video Tape Recorder)では、高速サーチで映像シーンを探す場合、概ねの動画像を認識することはできる、しかし、細かなフレーム単位の内容までは確認できない。また、このように高速サーチで映像シーンを探す場合、音声はミュートされるため聞くこともできないし、仮に聞いても早すぎて内容を理解できない。
【０００４】
音声について補足すると、例えば比較的低速な３〜４倍速での再生速度は、人の聴覚では音声を聞いてどのようなことを話しているのか、映像の内容を理解できる境目となっている。そのため、音声内容を高速に確認する手段はいままでなかった。
【０００５】
ノンリニア（Non-Linear）編集機（例えば、特許文献１参照）では、検索のための表示方法として、サムネール画像を複数表示し選択する手法が採られている。通常、ノンリニア編集機では連続した映像のサムネールを表示することはなく、飛び飛びのサムネールを表示するため、これから所望のシーンを探し出すのは困難を伴う。
【０００６】
また、サムネール画像の情報量は圧倒的に音声よりも多く、仮にモニタに全てのフレーム(29.94frame/sec)のサムネール画像を表示したとしても、人がサムネール画像を斜めに見ることにより所望の映像シーンを探すことは困難である。
【０００７】
また、仮に、所望の映像シーンの近傍にあるシーンを見つけても、最終的な編集点を決めるには更に困難を伴う。すなわち、ノンリニア編集機のモニタでは、通常、音声エンベロープ波形（縦：振幅、横：時間軸）をタイムラインに表示し、編集点の決定のために役立てている。
【０００８】
しかし、人が音声エンベロープ波形を見て、音の始まりや音声の強弱を認識できても、音声の意味/内容は理解できなかった。このため、編集オペレータは編集点付近で素材をリアルタイムでプレビュー（pre-view）し、音声の意味/内容を確認しながら、編集点を決めていた。
【０００９】
例えば、特許文献２には、動画を構成する各ブロックについてのタイトルもしくはその他のテキスト情報を時間順に一覧表示をすることが記載されている。このように各ブロックについてのテキスト情報を一覧表示するものにあっては、当該テキスト情報から所望の映像シーンの近傍にあるシーンを見つけても、最終的な編集点を決めるには、編集オペレータは編集点付近で素材をリアルタイムでプレビューすること等が必要となる。
【特許文献１】ＷＯ９６／３２７２２号公報
【特許文献２】特開２００５−９４７０９号公報
【発明の開示】
【発明が解決しようとする課題】
【００１０】
上述したように、従来のノンリニア編集機等では、映像と音声を主な記録情報とした動画映像素材の内容を確認し、編集点、を決め、制作意図に沿った編集を行う行為には多くの工数を必要としていた。
【００１１】
この発明の目的は、例えば編集点とすべき所望の映像シーンの検索を容易とすることにある。
【課題を解決するための手段】
【００１２】
この発明の概念は、
音声テキストデータが関連付けされた映像データを取り扱う映像検索装置であって、
上記音声テキストデータに基づいて、モニタに、上記映像データに対応した音声テキストを表示するテキスト表示制御部と、
上記映像データに基づいて、モニタに、上記テキスト表示制御部で表示された音声テキストに対応した代表画像を表示する画像表示制御部と
を備えることを特徴とする映像検索装置にある。
【００１３】
この発明においては、音声テキストデータが関連付けされた映像データを取り扱う。ここで、音声テキストデータとは、映像データに対応した音声データによる音声の内容を示すテキストデータである。映像データおよび音声テキストデータは、例えば、ＨＤＤ（Hard Disk Drive）等のデータ保持部に保持されている。
【００１４】
テキスト表示制御部により、音声テキストデータに基づいて、モニタに、映像データに対応した音声テキストが表示される。また、画像表示制御部により、モニタに、表示された音声テキストに対応した代表画像（サムネール）が表示される。このように、モニタに、映像データに対応した音声テキスト、およびその音声テキストに対応した代表画像が表示されることで、ユーザは、所望の映像シーンの検索を容易に行うことができる。ここで、音声テキストが表示されるモニタと代表画像が表示されるモニタは同じ場合もあり、違い場合もある。
【００１５】
この発明において、例えば、ユーザがテキスト表示制御部で表示された音声テキストから所定の音声テキスト区間を選択する音声テキスト区間選択部をさらに備え、画像表示制御部は、さらに、映像データに基づいて、音声テキスト区間選択部で選択された所定の音声テキスト区間に対応した代表画像をモニタに表示する、ようにされてもよい。この場合、音声テキスト区間選択部で所定の音声テキスト区間が選択されるとき、モニタに当該選択された所定の音声テキスト区間に対応した代表画像が表示されるため、ユーザは、モニタに表示される代表画像に基づいて、例えば、プレビューをするための音声テキスト区間の選択を適切におこなうことができる。
【００１６】
また、この発明において、ユーザがテキスト表示制御部で表示された音声テキストデータから所定の音声テキスト区間を選択する音声テキスト区間選択部と、ユーザが再生を指示する再生指示部とをさらに備え、画像表示制御部は、さらに、音声テキスト区間選択部で所定の音声テキスト区間が選択された状態で、再生指示部により再生が指示されたとき、映像データに基づいて、所定の音声テキスト区間に対応した映像をモニタに表示する、ようにされてもよい。この場合、ユーザにより選択された所定の音声テキスト区間に対応した映像がモニタに表示されることで、ユーザは、表示された音声テキストの任意の区間の映像シーンを容易に確認できる。
【００１７】
また、この発明において、ユーザがキーワードを入力するキーワード入力部と、音声テキストデータからキーワード入力部に入力されたキーワードを検索するキーワード検索部とをさらに備え、テキスト表示制御部は、キーワード検索部の検索結果に基づいて、モニタに表示されている音声テキストのうち、キーワードに対応するテキスト部分をインテンド表示する、ようにされてもよい。ここで、キーワードに対応したテキスト部分とは、キーワードと一致しているテキスト部分に限定されるものではなく、キーワードを含む所定範囲のテキスト部分、あるいはキーワードに似通ったテキスト部分等をも含むものである。
【００１８】
例えば、キーワード入力部は、モニタに表示されるグラフィカルユーザインタフェース画面を用いて、キーワードを入力する、構成とされている。このようにグラフィカルユーザインタフェース画面を用いてキーワードを入力する構成とすることで、ユーザは、キーワードの入力を、容易、かつ誤りなく行うことができる。
【００１９】
キーワード検索部の検索結果に基づいて、モニタに表示されている音声テキストのキーワードに対応する部分がインテンド表示されることで、ユーザは、所望の映像シーンの検索を容易に行うことができる。
【００２０】
なお、上述したようにモニタに表示されている音声テキストのキーワード部分に対応したテキスト部分がインテンド表示される際に、さらに、画像表示制御部は、当該インテンド表示されたテキスト部分に対応した代表画像をモニタに表示する、ようにされてもよい。インテンド表示されたテキスト部分に対応した代表画像がモニタに表示されることで、ユーザは、所望の映像シーンの検索をより容易に行うことができる。
【００２１】
また、この発明において、例えば、ユーザがモニタに表示されている音声テキストのインテンド表示されたテキスト部分から所定のテキスト部分を選択するテキスト部分選択部をさらに備え、テキスト表示制御部は、さらに、テキスト部分選択部で選択された所定のテキスト部分を、他のテキスト部分とは異なるようにインテンド表示し、画像表示制御部は、さらに、テキスト部分選択部で選択された所定のテキスト部分に対応した代表画像を他の代表画像とは異なるようにインテンド表示する、ようにされてもよい。これにより、ユーザは、インテンド表示された各テキスト部分と代表画像を容易に対応付けできる。
【００２２】
また、この発明において、例えば、テキスト表示制御部は、さらに、テキスト部分選択部で選択された所定のテキスト部分を含む所定範囲の部分を拡大して表示する、ようにされてもよい。この場合、ユーザは、所定のテキスト部分を含む所定範囲の音声テキストの内容を容易に把握でき、所望の映像シーンの検索をより容易に行うことができる。
【００２３】
また、この発明において、例えば、ユーザがモニタにインテンド表示されている音声テキストの各テキスト部分から所定のテキスト部分を選択するテキスト部分選択部と、ユーザが再生を指示する再生指示部とをさらに備え、画像表示制御部は、さらに、テキスト部分選択部で所定のテキスト部分が選択された状態で、再生指示部により再生が指示されたとき、映像データに基づいて、所定のテキスト部分に対応した映像をモニタに表示する、ようにされてもよい。この場合、ユーザにより選択された所定のテキスト部分に対応した映像がモニタに表示されることで、ユーザは、インテンド表示された音声テキストの任意のテキスト部分の映像シーンを容易に確認できる。
【発明の効果】
【００２４】
この発明によれば、映像データに対応する音声テキストを表示すると共に、表示された音声テキストに対応した代表画像を表示するものであり、ユーザは、所望の映像シーンを容易に検索できる。
【発明を実施するための最良の形態】
【００２５】
以下、図面を参照しながら、この発明の実施の形態について説明する。
【００２６】
「編集装置の構成」
【００２７】
図１は、実施の形態としてのノンリニア編集機１００の構成例を示している。このノンリニア編集機１００は、ＣＰＵ（Central Processing Unit）１１１と、ＲＯＭ（Read OnlyMemory）１１２と、ＲＡＭ（Random Access Memory）１１３と、表示コントローラ１１４と、モニタ１１５Ａ，１１５Ｂと、ＨＤＤインタフェース１１６と、ＨＤＤ１１７と、ドライブコントローラ１１８と、メディアドライブ１１９と、入力インタフェース１２０と、入力部１２１と、音声出力インタフェース１２２と、スピーカ１２３と、システムバス１２４とを有している。
【００２８】
ＣＰＵ１１１、ＲＯＭ１１２、ＲＡＭ１１３は、システムバス１２４により相互に接続されている。システムバス１２４には、さらに、表示コントローラ１１４、ＨＤＤインタフェース１１６、ドライブコントローラ１１８、入力インタフェース１２０および音声出力インタフェース１２２が接続されている。
【００２９】
ＣＰＵ１１１は、ノンリニア編集機１００の各部の動作を制御する。このＣＰＵ１１１は、ＲＯＭ１１２、あるいはＨＤＤ１１７に記憶されているプログラムを、ＲＡＭ１１３にロードして実行することで、各部の動作を制御する。
【００３０】
モニタ１１５Ａ，１１５Ｂは、表示コントローラ１１４を介して、バス１２４に接続されている。モニタ１１５Ａ，１１５Ｂは、例えば、ＬＣＤ(Liquid Crystal Display)、ＰＤＰ(Plasma DisplayPanel)等で構成されている。表示コントローラ１１４は、ＣＰＵ１１１の制御のもと、モニタ１１５Ａ，１１５Ｂに表示される画像、およびＧＵＩ用の表示を制御する。
【００３１】
ＨＤＤ１１７は、ＨＤＤインタフェース１１６を介して、システムバス１２４に接続されている。ＨＤＤ１１７は、ＣＰＵ１１１の制御のためのプログラム、編集素材としての映像データおよび音声データ等を格納する。
【００３２】
なお、この実施の形態においては、音声テキストデータが関連付けされた映像データが取り扱われる。音声テキストデータは、映像データに対応した音声データによる音声の内容を示すテキストデータである。従って、ＨＤＤ１１７に保持される各動画映像コンテンツの映像データには、それに対応する音声データの他に、さらに音声テキストデータが付加されている。この場合、映像データと、音声データおよび音声テキストデータとの関連付けは、タイムコードを介して行われている。
【００３３】
メディアドライブ１１９は、ドライブコントローラ１１８を介して、システムバス１２４に接続されている。このメディアドライブ１１９は、各種記録メディアに対応するドライブ機能部であり、当該記録メディアに対する記録再生動作を行う。記録メディアとしては、例えば、ＣＤ、ＭＤ、ＣＤ−Ｒ、ＣＤ−ＲＷ、ＤＶＤ、ＤＶＤ−Ｒ、ＤＶＤ−ＲＷ、Blu-ray Disc等の光ディスク、あるいはメモリカードがある。このメディアドライブ１１９は、例えば、編集素材としての映像データ等を入力し、また、編集後の映像データ等を出力するために使用される。
【００３４】
入力部１２１は、入力インタフェース１２０を介して、システムバス１２４に接続されている。この入力部１２１は、ユーザが、各種の操作入力のため、さらにはデータ入力のために、使用する。この入力部１２１は、キーボード、マウス、リモートコマンダ、その他の入力デバイスで構成されている。
【００３５】
スピーカ１２３は、音声出力インタフェース１２２を介して、システムバス１２４に接続されている。
【００３６】
「映像および音声テキストのインデックスファイル、データファイル」
【００３７】
次に、図１に示すノンリニア編集機１００のＨＤＤ１１７に保持されている映像データ、音声テキストデータについて説明する。
【００３８】
図２（ａ）、（ｂ）は、映像のインデックスファイル、データファイルの構造の一例を示している。インデックスファイルは、データファイルとは独立したファイルとして作成される場合と、データファイルに含まれる場合とがある。この例は、インデックスファイルがデータファイルとは独立して作成される場合の例である。
【００３９】
映像インデックスファイルは、ＨＤＤ１１７のどのアドレスに何フレーム目のデータを記録してあるかを示す管理データである。この映像インデックスファイルには、インデックス総数、インデックス領域のサイズ、データファイルに含まれる全ての映像フレームデータのサイズと映像データファイル内のアドレスが含まれている。
【００４０】
映像データファイルには、全ての映像フレームデータがそのサイズと共に含まれている。また、この映像データファイルには、映像ファイルヘッダが含まれている。さらに、映像データは圧縮されている場合が多く、この映像データファイルには、圧縮された映像データの圧縮を解くための情報も含まれている。
【００４１】
なお、図示および説明は省略するが、音声データも同様に、タイムコード（ＴＣ）と同期して記録されている。この実施の形態において、タイムコードは全て連続に記録されたもので、映像フレーム（frame）番号と等価な情報である。
【００４２】
本来、タイムコードは、時、分、秒、フレームの情報であるが、カムコーダ等により記録メディアに記録された素材には複数のクリップ（clip）がある。ここで、クリップとは、記録スタート（REC START）から記録ポーズ（REC PAUSE）までの記録部分を意味する。このクリップとクリップとのタイムコードが不連続であったり、あるいは別の記録メディアの間ではタイムコードが重複したりする場合もある。
【００４３】
図１に示すノンリニア編集機１００で、これらの素材をメディアドライブ１１９から入力してＨＤＤ１１７に記録する際、元のタイムコードとは別に、連続したフレーム番号を割り当てて記録する。この場合、０，１，２・・・とフレーム番号で管理してもよいし、連続したタイムコードを新たに割り当てて記録してもよい。
【００４４】
図２のインデックスファイルで「オフセット」と書いてあるのは、基準点のアドレスを０としたときの、そこからの距離を意味しており、いわゆるオフセットアドレスである。「オフセット」の値から各映像フレームの先頭アドレスが解り、「オフセット」と「映像サイズ（圧縮記録のため、フレーム毎にデータ量は異なる）」から各映像フレームの終わりのアドレスが解る。
【００４５】
図３（ａ），（ｂ）は、音声テキストのインデックスファイル、データファイルの構造の一例を示している。インデックスファイルは、データファイルとは独立したファイルとして作成される場合と、データファイルに含まれる場合がある。この例は、インデックスファイルがデータファイルとは独立して作成された場合の例である。
【００４６】
音声テキストインデックスファイルは、ＨＤＤ１１７のどのアドレスに何番目の文、あるいは何番目のフレーズ（区）のテキストデータを記録してあるかを示す管理データである。この音声テキストインデックスファイルには、インデックス総数、インデックス領域のサイズ、文単位またはフレーズ単位の、in点およびout点のタイムコード、音声テキストデータのサイズが含まれている。
【００４７】
音声テキストデータファイルには、各文または各フレーズに含まれる文字のテキストデータが、当該ワードのin点およびout点のタイムコードと共に含まれている。また、この音声テキストデータファイルには、文またはフレーズ毎に、データヘッダおよびデータサイズが含まれている。また、この音声テキストデータファイルには、音声テキストファイルヘッダが含まれている。
【００４８】
検索システムとしてのＣＰＵ１１１は、音声テキストインデックスファイルからタイムコードに対応する音声テキストデータファイルのアドレスを知り、このアドレスにアクセスすることにより、音声テキストのデータファイルを読むことができる。また、検索システムとしてのＣＰＵ１１１は、読み込んだ音声テキストのデータをキーワードと比較することにより、音声テキストのキーワードとその位置（タイムコード）を検索することができる。
【００４９】
図４（ａ）は、映像記録装置におけるタイムコードに音声テキストデータを織りいれた構成概念を示している。ここで、タイムコードは連続した時間、フレーム番号となっている。ここでは、不連続なタイムコード、同じタイムコードを含まないと仮定してある。この図４（ａ）において、タイムコードは一例として６２５／５０フォーマットにて記載してあり、２５フレーム／secである。
【００５０】
「Plane Text」とは、コンピュータ上で文章を扱うための一般的なファイルフォーマット、または文字列の形式である。ここでは、説明の便宜上「文字」そのものを書いてある。実際には、テキストコード（漢字は２バイトデータ）で表されるが、ここでは、タイムコードとテキストデータの構成を説明するのが目的であるため、詳細なテキストコード、制御情報は省略している。
【００５１】
図４（ａ）では、「新聞を取って」という日本語の例を示している。図の上から下へ縦方向に時間軸が定義されており、人の音声は無音（灰色）、有音（文字情報）にて表されている。人の発声はある時間幅をもっているため、ある時間区間（00:00:00:0１〜00:00:00:17）は新（しん）を発声している区間を表している。図中の「text制御情報」は文字として表示されないテキストの制御情報を表す。例えば、タブ、垂直タブ、改行、改ページ、ファイル終端マーク、Byte Order Mark等があるが、ここでは、詳細は省略する。
【００５２】
「文字in/out」は、文字のin点、out点を示し、タイムコード（timecode）で結び付けられている。「フレーズ」は文字により構成されるフレーズまたは文を表し、「フレーズin/out」は、フレーズのin点、out点を示す。このように、文字単位、または、文単位のin/out点をタイムコードで定義することにより、さまざまな動画、音声の制御が可能となる。すなわち、あるテキスト文字に対応する映像サムネール画を表示したり、対応する音声を再生したり、該当テキスト文字を含む文章の先頭（フレーズin点）にキューアップ（cue up）して再生し、out点で再生を停止する、等が可能となる。また、あるテキスト文（例「新聞」）を検索し、素材の中から一致する複数の該当箇所を表示することが可能となる。さらに、複数の文章を塊として検索し、似た文章がある候補の場所を検索することも可能である。
【００５３】
図４（ｂ）は、図４（ａ）から、エッセンス、つまり文字のin点、out点を抜き出したもので、この状態で音声テキストのデータファイルを構成する（図３（ｂ）参照）。
【００５４】
「音声テキストとサムネールを融合したＧＵＩ画面」
【００５５】
図１に示すノンリニア編集機１００においては、ユーザが所望の映像シーンを検索する際、モニタ１１５Ｂには映像データの選択されたクリップに対応する音声テキストがクリップ毎に表示されると共に、このモニタ１１５Ｂには映像データの選択されたクリップの代表画像であるサムネールが表示される。
【００５６】
図５は、モニタ１１５Ａに表示されるユーザインタフェース画面を示している。このユーザインタフェース画面には、上部に画像を表示するための２つの画像表示位置（１），（２）が設けられている。また、このユーザインタフェース画面には、下部にタイムライン（３）、映像タイムライン（４）、音声タイムライン（５），（７）、および音声テキストタイムライン（６），（８）が設けられている。映像タイムライン（４）におけるａ，ｂ，ｃ，ｄはクリップを示している。
【００５７】
音声タイムライン（５），（７）には、映像タイムライン（４）に表示された各クリップに対応した音声信号の波形が表示される。また、音声テキストタイムライン（６），（８）には、映像タイムライン（４）に表示された各クリップに対応した音声の内容が表示される。
【００５８】
また、このユーザインタフェース画面には、さらに、下部に、キーワード検索時にキーワードを入力するためのキーワード枠（９）と共に、さらに、検索釦（１０）、Previous釦（１１）、再生釦（１２）、Next釦（１３）、および再生停止釦（１４）が設けられている。
【００５９】
ユーザ（編集オペレータ）は、入力部１２１のマウス等を操作して、映像タイムライン（４）から、音声テキストを表示する対象としての、一つまたは複数のクリップを選択できる。
【００６０】
図６は、モニタ１１５Ｂに表示されるユーザインタフェース画面を示している。このユーザインタフェース画面には、左部に、サムネールの表示領域が形成されており、その他の領域は音声テキストの表示領域とされている。音声テキストの表示領域には、上述したようにユーザにより音声テキストを表示する対象として選択されたクリップに対応する音声テキスト（例えば、チャネル１の音声テキスト）が、クリップ毎に表示される。図６の例は、＃１〜＃３の３個のクリップが選択された場合を示している。
【００６１】
各クリップの音声テキストの表示領域の左側に位置するサムネールの表示領域には、各クリップの音声テキストの最初位置および最後位置に対応したサムネール（代表画像）が表示される。例えば、＃１のクリップに関しては、当該クリップの音声テキストの最初位置ａおよび最後位置ｚに対応したサムネールが表示される。
【００６２】
また、ユーザは、図６に示すユーザインタフェース画面において、表示された各クリップの音声テキストを斜め読みし、入力部１２１のマウス等を用いた操作により、重要なポイント部分である音声テキスト区間を選択できる。このようにユーザにより選択された音声テキスト区間は、インテンド表示される。図６の表示例においては、＃２のクリップの（１）から（２）までの区間、（３）から（４）までの区間、＃３のクリップの（５）から（６）までの区間が選択されている。
【００６３】
このようにユーザの操作により選択されてインテンド表示された音声テキスト区間は、タイムコードにて管理されており（図３参照）、映像のタイムコード（図２参照）と関連付けられており、後に、キューアップ（cue up）、プレビュー（preview）が可能な仕組みが備えられている。ユーザは、図６に示すように、複数個所の音声テキスト区間の選択が可能であり、また、選択した後に取り消しを行うこともできる。
【００６４】
上述したように、重要なポイント部分である音声テキスト区間を選択した状態で、当該音声テキスト区間のプレビューを行うことで、ユーザは、所望の映像シーンを効率よく検索でき、編集点を決定できる。なお、選択した音声テキスト区間をプレビューする前に、当該音声テキスト区間の代表画像であるサムネールが、モニタ１１５Ａの画像表示位置（１）およびモニタ１１５Ｂの該当するクリップのサムネール表示領域に、表示される。これにより、ユーザは、各音声テキスト区間の大まかな映像をプレビュー前に知ることができ、無駄なプレビュー動作を回避することも可能となる。
【００６５】
なお、上述したようにユーザが選択区間を指定する操作を行う代わりに、選択しない区間を削除する操作を行うようにしてもよい。この場合、削除せずに残っている区間が選択された区間ということになる。
【００６６】
「テキスト文字画面表示」
【００６７】
次に、図１に示すノンリニア編集機１００におけるテキスト文字画面表示について説明する。図７のフローチャートを用いて、ＣＰＵ１１１のテキスト表示処理を説明する。
【００６８】
ＣＰＵ１１１は、ステップＳＴ１において、テキスト表示処理を開始し、その後に、ステップＳＴ２の処理に移る。このステップＳＴ２において、ユーザの入力部１２１の操作によってテキスト表示する対象のクリップが選択されると、ＣＰＵ１１１は、ステップＳＴ３の処理に移る。
【００６９】
上述したように、ユーザは、図５に示すようにモニタ１１５Ａに表示されているユーザインタフェース画面（第１のＧＵＩ表示画面）に基づき、映像選択ライン（４）から対象クリップを選択できる。この場合、１クリップ毎にキーボードの「Shift」キーを押しながら複数のクリップを選択でき、また、映像選択ライン（４）をマウスのカーソルでドラッグすることによって所定数のクリップを一括して選択できる。
【００７０】
ステップＳＴ３において、ユーザの入力部１２１の操作によってユーザインタフェース画面上の検索釦（１０）が押されると、ＣＰＵ１１１は、ステップＳＴ４の処理に移る。検索釦（１０）は、実行キーとして機能する。ステップＳＴ４において、ＣＰＵ１１１は、ステップＳＴ２で選択された対象クリップのうち、最初のクリップの音声テキストインデックスファイルを読み出して、当該最初のクリップの音声テキストデータの記録アドレスを取得する。
【００７１】
そして、ＣＰＵ１１１は、ステップＳＴ５において、ステップＳＴ４で取得したアドレスを用いて、音声テキストデータファイルからテキストコードを読み文字変換した後、モニタ１１５Ｂに表示されるユーザインタフェース画面（第２のＧＵＩ表示画面）のテキスト表示領域に、音声テキストを表示する。
【００７２】
次に、ＣＰＵ１１１は、ステップＳＴ６において、該当クリップのデータを全て読んだか否かを判断する。該当クリップのデータを全て読んでいないとき、ＣＰＵ１１１は、ステップＳＴ５に戻って、上述したと同様に、音声テキストデータファイルからテキストコードを読み文字変換した後、モニタ１１５Ｂに音声テキストを表示することを繰り返す。
【００７３】
ステップＳＴ６で該当クリップのデータを全て読んだとき、ＣＰＵ１１１は、ステップＳＴ７の処理に移る。このステップＳＴ７において、ＣＰＵ１１１は、映像インデックスファイルから、該当クリップの映像データの最初位置（ｉｎ），最後位置（ｏｕｔ）のアドレスを読む。そして、ＣＰＵ１１１は、ステップＳＴ８において、該当クリップのサムネール（in,out）を、モニタ１１５のユーザインタフェース画面（第２のＧＵＩ表示画面）のサムネール表示領域に表示する。
【００７４】
次に、ＣＰＵ１１１は、ステップＳＴ９において、ステップＳＴ２で選択した全ての対象クリップの処理を終了したか否かを判断する。全ての対象クリップの処理を終了していないとき、ＣＰＵ１１１は、ステップＳＴ１０において、次の選択クリップの音声テキストインデックスファイルを読み出して、当該クリップの音声テキストデータの記録アドレスを取得する。
【００７５】
そして、ＣＰＵ１１１は、ステップＳＴ１０の処理の後、ステップＳＴ５の処理に戻り、上述したと同様に、音声テキストデータファイルからテキストコードを読み、文字変換した後、モニタ１１５Ｂのテキスト表示領域に音声テキストを表示することを繰り返す。
【００７６】
一方、ステップＳＴ９で選択した全ての対象クリップの処理を終了したとき、ＣＰＵ１１１は、ステップＳＴ１１において、テキスト表示処理を終了する。
【００７７】
「所望シーンの検索」
【００７８】
次に、図１に示すノンリニア編集機１００における所望シーン検索について説明する。図８のフローチャートを用いて、ＣＰＵ１１１の所望シーンの検索処理を説明する。
【００７９】
ＣＰＵ１１１は、ステップＳＴ２１において、所望シーンの検索処理を開始し、その後に、ステップＳＴ２２の処理に移る。このステップＳＴ２２において、ＣＰＵ１１１は、ユーザが、入力部１２１を操作し、モニタ１１５Ｂに表示されている各クリップの音声テキストから所定の音声テキスト区間を選択したか否かを判断する。
【００８０】
例えば、ユーザは、マウスにより音声テキストにカーソルを合わせてドラッグすることで、所定の音声テキスト区間を選択できる。また、例えば、ユーザは、マウスで所定の文字にカーソルを合わせてクリックすることで、当該所定の文字を含む文またはフレーズを、所定の音声テキスト区間として選択できる。なお、このように選択された所定の音声テキスト区間は、他と区別可能に、例えば、背景が灰色にインテンド表示される（図６参照）。なお、この音声テキスト区間は、１個だけでなく、複数個の選択も可能とされている。
【００８１】
ステップＳＴ２２で音声テキスト区間が選択されたとき、ＣＰＵ１１１は、ステップＳＴ２３において、選択された音声テキスト区間に対応するサムネール（代表画像）を、モニタ１１５Ａの画像表示位置（１）に表示する。このように、サムネールが表示されることで、ユーザは当該音声テキスト区間に対応した映像シーンの内容のおおよそを理解することが可能となる。
【００８２】
この場合、ＣＰＵ１１１は、選択された音声テキスト区間の先頭の文字位置のテキストデータからタイムコードを取得し、このタイムコードに基づいて映像インデックスファイルのアドレスを読み、このアドレスに基づいて映像データファイルからサムネールデータを読み出し、表示する。ここで、ＣＰＵ１１１は、ＨＤＤ１１７における映像データの読み出し位置を、上述の音声テキスト区間の先頭の文字位置のタイムコードに対応した位置にキューアップ（cue up）して、再生スタンバイ状態とする。なお、上述せずも、映像データとしては、高精細映像データと、低精細映像データを備えている。サムネールは、低精細映像データを用いて、簡単に表示できる。
【００８３】
ＣＰＵ１１１は、このようにモニタ１１５Ａの画像表示位置（１）にサムネールを表示するとき、同時に、モニタ１１５Ｂのサムネール表示領域にも、同様のサムネールを表示する。この場合、サムネール表示領域には、例えば、選択された音声テキスト区間の開始点映像および終点映像を表示する。
【００８４】
次に、ＣＰＵ１１１は、ステップＳＴ２４において、ユーザによる再生テキスト区間の再選択操作、あるいは再生操作があるか否かを判断する。再選択操作があるとき、ＣＰＵ１１１は、ステップＳＴ２２に戻って、音声テキスト区間が選択されたか否かを判断する。上述したように、ユーザは、表示されたサムネールにより選択した音声テキスト区間に対応した映像シーンの内容のおおよそを理解できるため、もはやプレビュー（preview）の必要がないときは、音声テキスト区間の再選択操作を行うことができ、無駄なプレビュー動作を省略できる。
【００８５】
ステップＳＴ２４で再生操作があったときは、ＣＰＵ１１１は、ステップＳＴ２５の処理に移る。このステップＳＴ２５において、ＣＰＵ１１１は、ＨＤＤ１１７を制御し、ステップＳＴ２２で選択された音声テキスト区間に対応した映像、音声、音声テキストを再生する。この場合、再生映像は、図５のユーザインタフェース画面の画像表示位置（２）に表示される。また、再生映像に同期した音声出力が音声タイムライン（６）に拡大表示され、再生映像に同期した音声テキストがテキストタイムライン（８）に拡大表示される。なお、スピーカ１２３からも再生音声が出力される。これにより、ユーザ（編集オペレータ）は、選択された音声テキスト区間に対応した映像、音声、音声テキストを確認できる。なお、音声タイムライン（６）には、音声波形が表示される。
【００８６】
例えば、図６に示すように、選択された音声テキスト区間が、＃２のクリップの（１）から（２）までの区間、（３）から（４）までの区間、および＃３のクリップの（５）から（６）までの区間であるとき、これらの区間が連続して再生される。なお、図５のユーザインタフェース画面に存在する再生停止釦（１４）を操作することで、再生を途中で止めることができる。
【００８７】
次に、ＣＰＵ１１１は、ステップＳＴ２６において、ユーザによる再生テキスト区間の再選択操作があるか否かを判断する。再選択操作があるとき、ＣＰＵ１１１は、ステップＳＴ２２に戻って、音声テキスト区間が選択されたか否かを判断する。一方、再選択操作がないとき、ＣＰＵ１１１は、ステップＳＴ２７において、所望シーンの検索処理を終了する。
【００８８】
上述したＣＰＵ１１１の所望シーンの検索処理の動作に基づいて、ユーザは、モニタ１１５Ｂに表示された各クリップの音声テキスト上に音声テキスト区間を順次設定し、音声テキスト区間のサムネール（代表画像）の表示、さらには音声テキスト区間の映像等のプレビューにより、所望の映像シーンを容易に検索できる。
【００８９】
図９は、編集アプリケーションプログラムから見たテキスト表示処理の流れを概念的に示したものである。なお、［ｎ］は、図７のフローチャートのステップ番号に対応している。編集アプリケーションプログラムに含まれる「ＧＵＩ」は入力操作を含め、ＧＵＩ表示を行う。
【００９０】
「検索機能」は、音声テキストインデックスファイルから、選択されたクリップ（対象クリップ）に対応するアドレスを取得すると共に、このアドレスを用いて、音声テキストデータファイルから選択されたクリップのテキストコードを読み込んでモニタ１１５Ｂに表示する。また、映像インデックスファイルから、選択されたクリップ（対象クリップ）に対応するタイムコードを取得すると共に、このタイムコードを用いて、映像データファイルから選択されたクリップのサムネール（代表画像）を読み込んでモニタ１１５Ｂに表示する。
【００９１】
「コマンド発行」はインデックスファイルを読み出し、データファイルの読むべきアドレスを知った上で、キューアップ（Cue up）、読み込み等のコマンドをストレージに対し発行する。
【００９２】
また、図１０は、編集アプリケーションプログラムから見た所望シーンの検索処理の流れを概念的に示したものである。なお、［ｎ］は、図８のフローチャートのステップ番号に対応している。編集アプリケーションプログラムに含まれる「ＧＵＩ」は入力操作を含め、ＧＵＩ表示を行う。
【００９３】
「実行」は、音声テキストインデックスファイルから、選択された音声テキスト区間に対応したタイムコードを取得し、このタイムコードを用いて、映像データファイルから選択された音声テキスト区間のサムネール（代表画像）を読み込んでモニタ１１５Ａ、１１５Ｂに表示し、さらに、再生指示に基づいて、選択された音声テキスト区間に対応した映像データ部分にキューアップして再生する。
【００９４】
「コマンド発行」はインデックスファイルを読み出し、データファイルの読むべきアドレスを知った上で、キューアップ（Cue up）、読み込み等のコマンドをストレージに対し発行する。
【００９５】
以上説明したように、図１に示すノンリニア編集機１００においては、音声テキストデータが関連付けされた映像データを取り扱うものであって、モニタ１１５Ｂに、映像データに対応した音声テキストをモニタ１１５Ｂに表示すると共に、このように表示される音声テキストに対応した代表画像（サムネール）を表示するものであり、ユーザは、例えば編集点とすべき所望の映像シーンを容易に検索できる。
【００９６】
また、図１に示すノンリニア編集機１００においては、モニタ１１５Ｂに表示された音声テキストからユーザが所定の音声テキスト区間（再生区間）を選択するとき、この所定の音声テキスト区間に対応したサムネール（代表画像）が、モニタ１１５Ａの画像表示位置（１）およびモニタ１１５Ｂのサムネール表示領域に表示される。したがって、ユーザは、これらのサムネールに基づいて、音声テキスト区間（再生区間）の選択を適切に行うことができる。また、ユーザは、これらのサムネールにより、選択した所定の音声テキスト区間に対応したおおよその映像を把握でき、無駄なプレビューを行うこと等を回避できる。
【００９７】
また、図１に示すノンリニア編集機１００においては、ユーザにより所定の音声テキスト区間（再生区間）が設定されて、再生が指示されるとき、当該所定の音声テキスト区間に対応した映像、音声、音声テキストが再生され、モニタ１１５Ａに表示される。したがって、ユーザは、各クリップの任意の区間の映像シーンを容易に確認でき、例えば編集点とすべき所望シーンを容易に検索できる。
【００９８】
「他の実施の形態」
【００９９】
次に、この発明の他の実施の形態について説明する。図１１は、他の実施の形態としてのノンリニア編集機１００Ａを示している。この図１１において、図１と対応する部分には同一符号を付し、その詳細説明は省略する。
【０１００】
このノンリニア編集機１００Ａは、ＣＰＵ（Central Processing Unit）１１１と、ＲＯＭ（Read OnlyMemory）１１２と、ＲＡＭ（Random Access Memory）１１３と、表示コントローラ１１４と、モニタ１１５Ａ，１１５Ｂ，１１５Ｃと、ＨＤＤインタフェース１１６と、ＨＤＤ１１７と、ドライブコントローラ１１８と、メディアドライブ１１９と、入力インタフェース１２０と、入力部１２１と、音声出力インタフェース１２２と、スピーカ１２３と、システムバス１２４とを有している。
【０１０１】
ノンリニア編集機１００Ａは、３個のモニタを備えることを除けば、図１に示すノンリニア編集機１００と同様の構成とされている。モニタ１１５Ｂおよびモニタ１１５Ｃは、近傍（例えば、上下あるいは左右）に設置されるものとする。
【０１０２】
モニタ１１５Ｂには、図１２に示すように、図５の映像タイムライン（４）の映像データに対応した、例えばチャネル１の音声テキストが表示される。この実施の形態では、ユーザのキーワード入力に対応してキーワード検索が行われ、図１２に示すように、モニタ１１５Ｂに表示された音声テキストのうち、キーワードに一致するテキスト部分が、全てインテンド表示される。図１２に示す例は、キーワードが「春一番」であった場合を示している。
【０１０３】
また、この実施の形態では、図１２に示すように、モニタ１１５Ｃに、上述したようにモニタ１１５Ｂに表示された音声テキストのキーワードに一致する各テキスト部分に対応したサムネール（代表画像）が表示される。そして、この状態で、ユーザの入力部１２１の操作により、モニタ１１５Ｂに表示された音声テキストのキーワードに一致する各テキスト部分から所定のテキスト部分が選択されるとき、図１３に示すように、当該選択されたテキスト部分は色等の変化によりさらにインテンド表示される。
【０１０４】
また、当該選択された所定のテキスト部分に対応したモニタ１１５Ｃのサムネールがインテンド表示される。この場合、サムネールの画枠の色等の変化により、インテンド表示が行われる。これにより、ユーザは、モニタ１１５Ｂにおけるテキスト部分とモニタ１１５Ｃにおけるサムネールとの対応関係をよりよく把握できる。
【０１０５】
なお、上述とは逆の順番であっても同様の表示となる。すなわち、ユーザの入力部１２１の操作により、モニタ１１５Ｃに表示されている複数のサムネールから所定のサムネールが選択されるとき、当該選択されたサムネールの画枠がインテンド表示され、また、当該サムネールに対応したモニタ１１５Ｂのテキスト部分は色等の変化によりさらにインテンド表示される。
【０１０６】
また、上述したように、モニタ１１５Ｂに表示された音声テキストのキーワードに一致する各テキスト部分から所定のテキスト部分が選択されるとき、図１３に示すように、当該所定のテキスト部分を含む所定範囲（例えば、文またはフレーズ）が、モニタ１１５Ｂに拡大して表示される。
【０１０７】
＜キーワード検索＞
【０１０８】
図１４のフローチャートを用いて、ＣＰＵ１１１のキーワード検索処理を説明する。
【０１０９】
ＣＰＵ１１１は、ステップＳＴ３１において、キーワード検索処理を開始し、その後に、ステップＳＴ３２の処理に移る。このステップＳＴ３２において、ユーザの入力部１２１の操作によってキーワードが入力されると、ＣＰＵ１１１は、ステップＳＴ３３の処理に移る。
【０１１０】
ユーザは、図５に示すようなユーザインタフェース画面におけるキーワード枠（９）へキーワード（この例では、「春一番」）を、入力部１２１のマウス、キーボードを使って入力する。このＧＵＩプログラムでは、日本語が用意されており、キーワードが入力されると、図１５に示すように、キーワード枠（９）にキーワードが表示される。
【０１１１】
ステップＳＴ３３において、ユーザの入力部１２１の操作によってユーザインタフェース画面上の検索釦（１０）が押されると、ＣＰＵ１１１は、ステップＳＴ３４の処理に移る。このステップＳＴ３４において、ＣＰＵ１１１は、キーワードを、テキストコードに変換する。
【０１１２】
次に、ＣＰＵ１１１は、ステップＳＴ３５において、キーワードのテキストコードと、図３の音声テキストデータファイルのテキストコードを、ＲＡＭ１１３に取り込み、比較する。ＣＰＵ１１１は、ステップＳＴ３６において、一致したか否かを判断する。一致していないとき、ＣＰＵ１１１は、ステップＳＴ３７において順次比較のためキーワードを１文字移動し、その後に、ステップＳＴ３５に戻って、上述したと同様の動作を繰り返す。
【０１１３】
図３は、＃１、＃２、・・・＃Ｎまでのフレーズまたは文のテキストデータである。キーワード検索をする場合、目的とする「テキストコード」と、「図３の＃１の丸１，丸２，丸３，丸４，丸５，・・・，＃Ｎの最後のテキストコード」と一致するデータを順次比較して検出する。この処理を、上述のステップＳＴ３５〜ＳＴ３７により行っている。図１６は、キーワードを音声テキストと比較する様子を、横軸を時間軸として、模式的に示している。
【０１１４】
ステップＳＴ３６で一致したと判断したとき、ＣＰＵ１１１は、ステップＳＴ３８において、一致したテキストコードのin，outのタイムコードを読む。そして、ＣＰＵ１１１は、ステップＳＴ３９において、該当テキスト部分（キーワード部分）をインテンド表示する。すなわち、ＣＰＵ１１１は、図１５に示すように、映像タイムライン（４）上に、検索されたキーワード位置を、色、明暗で区別した線（棒線、丸、楕円等）によりインテンド表示する。また、ＣＰＵ１１１は、図１２に示すように、モニタ１１５Ｂに表示された音声テキストのうち、検索されたキーワードと一致するテキスト部分を、色、明暗等でインテンド表示する。また、ＣＰＵ１１１は、ステップＳＴ３９において、検索されたキーワードと一致するテキスト部分に対応したサムネール（代表画像）を、モニタ１１５Ｃに表示する。
【０１１５】
次に、ＣＰＵ１１１は、ステップＳＴ４０において、最終テキストコードか否かを判断する。最終テキストコードでないとき、ＣＰＵ１１１は、ステップＳＴ３７において、順次比較のため、キーワードを１文字移動し、その後に、ステップＳＴ３５の処理に戻る。一方、ステップＳＴ４０で最終テキストコードであるとき、ＣＰＵ１１１は、ステップＳＴ４１において、キーワード検索を終了する。
【０１１６】
なお、キーワードが複数ある場合、ＣＰＵ１１１は、それぞれ異なる色、輝度で識別可能なインテンド方法を自動的に選択し、表示を行う。また、図１４のフローチャートは一例であって、これに限定されるものではない。例えば、予め同じ熟語（文字）がある場所（タイムコード）を検索して表にしておき、検索実行コマンドにより表から場所を読み出す方法もある。
【０１１７】
＜所望シーンの確認＞
【０１１８】
ユーザ（編集オペレータ）は、上述したように検索された各キーワード位置から、所望の映像シーンを検索し、編集点を決定できる。図１７のフローチャートを用いて、ＣＰＵ１１１の映像シーンの検索処理を説明する。
【０１１９】
ＣＰＵ１１１は、ステップＳＴ５１において、映像シーンの検索処理を開始し、その後に、ステップＳＴ５２の処理に移る。このステップＳＴ５２において、ユーザの入力部１２１の操作によって、モニタ１１５Ｂに表示された音声テキストのキーワードに一致する各テキスト部分（キーワード部分）から所定のテキスト部分が選択されるとき、ＣＰＵ１１１は、ステップＳＴ５３において、当該選択されたテキスト部分を色等の変化によりさらにインテンド表示すると共に、当該選択されたテキスト部分を含む所定範囲（例えば、選択されたテキスト部分を含む文またはフレーズ等）を、モニタ１１５Ｂに拡大して表示する（図１３参照）。
【０１２０】
ここで、ユーザは、入力部１２１のマウスを用いて、モニタ１１５Ｂにインテンド表示されている各テキスト部分から、所定のテキスト部分を選択できる。なお、あるテキスト部分が選択されている状態で、モニタ１１５Ａのユーザインタフェース画面のNext釦（１３）、または、Previous釦（１１）を操作することでも、次の、あるいは前のテキスト部分を選択できる。
【０１２１】
そして、ＣＰＵ１１１は、ステップＳＴ５４において、当該選択されたテキスト部分に対応したモニタ１１５Ｃのサムネールをインテンド表示する（図１３参照）。例えば、ＣＰＵ１１１は、サムネールの画枠の色等を変化させることで、インテンド表示を行う。これにより、ユーザは、インテンド表示された各キーワード部分に対応した代表画像を容易に対応付けできる。
【０１２２】
次に、ＣＰＵ１１１は、ステップＳＴ５５において、ユーザの入力部１２１の操作によって、テキスト部分の再選択操作があったか、あるいは再生操作があったか否かを判断する。ユーザは、モニタ１１５Ａのユーザインタフェース画面の再生釦（１２）を操作することで、再生操作を行うことができる。
【０１２３】
他のテキスト部分の再選択操作があるとき、ＣＰＵ１１１は、ステップＳＴ５２の処理に戻り、上述したと同様の処理を繰り返す。一方、再生操作があるとき、ステップＳＴ５６の処理に移る。このステップＳＴ５６において、ＣＰＵ１１１は、選択されたテキスト部分を含む所定範囲、例えば文またはフレーズに対応した映像、音声、音声テキストを再生する。
【０１２４】
この場合、再生映像は、図７のユーザインタフェース画面の画像表示位置（２）に表示される。また、再生映像に同期した音声出力が音声タイムライン（６）に拡大表示され、再生映像に同期した音声テキストがテキストタイムライン（８）に拡大表示される。これにより、ユーザ（編集オペレータ）は、選択されたテキスト部分に対応した映像、音声、音声テキストを確認できる。なお、スピーカ１２３からも再生音声が出力される。
【０１２５】
次に、ＣＰＵ１１１は、ステップＳＴ５７において、テキスト部分の再選択操作があるか否かを判断する。テキスト部分の再選択操作があるとき、ＣＰＵ１１１は、ステップＳＴ５２の処理に戻り、上述したと同様の処理を繰り返す。一方、再選択操作がないとき、ＣＰＵ１１１は、ステップＳＴ５８において、所望シーンの検索処理を終了する。
【０１２６】
図１８は、編集アプリケーションプログラムから見たキーワード検索の処理の流れを概念的に示したものである。なお、［ｎ］は、図１４のフローチャートのステップ番号に対応している。編集アプリケーションプログラムに含まれる「ＧＵＩ」は入力操作を含め、ＧＵＩ表示を行う。
【０１２７】
「検索機能」はＧＵＩ入力されたキーワードのテキスト文字をテキストコードに変換し、データファイルとテキストコードを比較し、一致したタイムコードを読み、表示された音声テキストのうちキーワードと一致するテキスト部分をインテンド表示し、また、インテンド表示した各テキスト部分のサムネールを表示する。「コマンド発行」はインデックスファイルを読み出し、データファイルの読むべきアドレスを知った上で、キューアップ（Cue up）再生、停止などのコマンドをストレージに対し行う。
【０１２８】
また、図１９は、編集アプリケーションプログラムから見た所望シーンの検索処理の流れを概念的に示したものである。なお、［ｎ］は、図１７のフローチャートのステップ番号に対応している。編集アプリケーションプログラムに含まれる「ＧＵＩ」は入力操作を含め、ＧＵＩ表示を行う。
【０１２９】
「実行」は、音声テキストインデックスファイルから、再生指示に基づいて、選択されたテキスト部分に対応したタイムコードを取得し、このタイムコードを用いて、映像データファイルから選択されたテキスト部分に対応した映像データ部分にキューアップして再生する。
【０１３０】
「コマンド発行」はインデックスファイルを読み出し、データファイルの読むべきアドレスを知った上で、キューアップ（Cue up）、読み込み等のコマンドをストレージに対し発行する。
【０１３１】
以上説明したように、図１１に示すノンリニア編集機１００Ａにおいては、音声テキストデータが関連付けされた映像データを取り扱うものであって、映像データに対応した音声テキストをモニタ１１５Ｂに表示すると共に、このように表示される音声テキストのうち、入力されたキーワードと一致するテキスト部分に対応した代表画像(サムネール)をモニタ１１５Ｃ表示するものであり、ユーザは、例えば編集点とすべき所望の映像シーンを容易に検索できる。
【０１３２】
また、図１１に示すノンリニア編集機１００Ａにおいては、キーワード検索結果に基づいて、モニタ１１５Ｂに表示されている音声テキストのキーワードの部分がインテンド表示されるものであり、ユーザは、所望の映像シーンの検索を容易に行うことができる。また、この場合、ユーザは、キーワードの入力をモニタ１１５Ａに表示されたグラフィカルユーザインタフェース画面を用いて行うことができ、キーワードの入力を、容易、かつ誤りなく行うことができる。
【０１３３】
また、図１１に示すノンリニア編集機１００Ａにおいては、ユーザがモニタ１１５Ｂにインテンド表示されている音声テキストの各テキスト部分から所定のテキスト部分を選択した場合、当該所定のテキスト部分は、他のインテンド表示されたテキスト部分とは異なるようにインテンド表示され、また、この所定のテキスト部分に対応してモニタ１１５Ｃに表示されているサムネール（代表画像）もインテンド表示される。したがって、ユーザは、インテンド表示された各テキスト部分とサムネール（代表画像）を容易に対応付けできる。
【０１３４】
また、図１１に示すノンリニア編集機１００Ａにおいては、ユーザがモニタ１１５Ｂにインテンド表示されている音声テキストの各テキスト部分から所定のテキスト部分を選択した場合、そのテキスト部分を含む所定範囲の部分が拡大表示される。したがって、ユーザは、所定のテキスト部分を含む所定範囲の音声テキストの内容を容易に把握でき、所望の映像シーンの検索をより容易に行うことができる。
【０１３５】
また、図１１に示すノンリニア編集機１００Ａにおいては、ユーザによりインテンド表示されている各テキスト部分から所定のテキスト部分が選択されて、再生が指示されるとき、当該所定のテキスト部分に対応した映像、音声、音声テキストが再生され、モニタ１１５Ａに表示される。したがって、ユーザは、任意のテキスト部分の映像シーンを容易に確認でき、例えば編集点とすべき所望シーンを容易に検索できる。
【０１３６】
なお、上述実施の形態においては、１つの単語、例えば「春一番」を用いて行う単純なキーワード検索を示したが、キーワード検索は単数、複数の単語による条件式を用いて行うことも可能である。例えば、「日米野球」or「イチロー」を条件式とする場合、音声テキストから「日米野球」と「イチロー」を検索し、別々の色、または同色でインテンド表示する。また、例えば、「天気」and 「女性」を条件式とする場合、女性の声で「天気」を検索し、インテンド表示する。この場合、音声は高速フーリエ変換により男女別に判定する。また、例えば、「春一番が吹き」を条件式として、フレーズで検索する。また、例えば、「weather forecast」を条件式として、英語で検索する。
【０１３７】
また、上述したように検索された結果、すなわち「キーワード」、キーワード部分のタイムコード等を保存し、２次利用するようにしてもよい。
【０１３８】
また、キーワード検索は、完全一致のテキスト部分を検索するだけでなく、一致率の高いテキスト部分を検索し、例えば一致率の高い順に色分けして表示するようにしてもよい。また、インテンド表示されるキーワードに対応したテキスト部分は、キーワードに一致するテキスト部分だけに限定されるものではなく、キーワードを含む所定範囲のテキスト部分、あるいはキーワードに似通ったテキスト部分等であってもよい。
【０１３９】
また、上述実施の形態においては、この発明をノンリニア編集機に適用したものであるが、この発明は、音声テキストデータが関連づけされて記録されている映像データを取り扱う、その他の映像機器にも同様に適用できる。
【産業上の利用可能性】
【０１４０】
この発明は、所望の映像シーンを容易に検索できるものであり、例えば、ノンリニア編集機等に適用できる。
【図面の簡単な説明】
【０１４１】
【図１】この発明の実施の形態としてのノンリニア編集機の構成例を示すブロック図である。
【図２】映像のインデックスファイルおよびデータファイルの構造の一例を示す図である。
【図３】音声テキストのインデックスファイルおよびデータファイルの構造の一例を示す図である。
【図４】映像記録装置におけるタイムコードに音声テキストデータを織りいれた構成概念を示す図である。
【図５】モニタに表示されているユーザインタフェース画面の一例を示す図である。
【図６】モニタに表示されているユーザインタフェース画面の一例を示す図である。
【図７】ＣＰＵのテキスト表示処理の一例を示すフローチャートである。
【図８】ＣＰＵの所望シーンの検索処理の一例を示すフローチャートである。
【図９】編集アプリケーションプログラムから見たテキスト表示処理の流れを概念的に示した図である。
【図１０】編集アプリケーションプログラムから見た所望シーンの検索処理の流れを概念的に示した図である。
【図１１】この発明の他の実施の形態としてのノンリニア編集機の構成例を示すブロック図である。
【図１２】モニタに表示されているユーザインタフェース画面の一例を示す図である。
【図１３】モニタに表示されているユーザインタフェース画面の一例を示す図である。
【図１４】ＣＰＵのキーワード検索処理の一例を示すフローチャートである。
【図１５】モニタに表示されているユーザインタフェース画面の一例を示す図である。
【図１６】キーワードを音声テキストと比較する様子を、横軸を時間軸として、模式的に示した図である。
【図１７】ＣＰＵの所望シーンの検索処理の一例を示すフローチャートである。
【図１８】編集アプリケーションプログラムから見たキーワード検索処理の流れを概念的に示した図である。
【図１９】編集アプリケーションプログラムから見た所望シーンの検索処理の流れを概念的に示した図である。
【符号の説明】
【０１４２】
１００，１００Ａ・・・ノンリニア編集機、１１１・・・ＣＰＵ、１１２・・・ＲＯＭ、１１３・・・ＲＡＭ、１１４・・・表示コントローラ、１１５Ａ，１１５Ｂ，１１５Ｃ・・・モニタ、１１６・・・ＨＤＤインタフェース、１１７・・・ＨＤＤ、１１８・・・ドライブコントローラ、１１９・・・メディアドライブ、１２０・・・入力インタフェース、１２１・・・入力部、１２２・・・音声入力インタフェース、１２３・・・スピーカ
【特許請求の範囲】
【請求項１】
音声テキストデータが関連付けされた映像データを取り扱う映像検索装置であって、
上記音声テキストデータに基づいて、モニタに、上記映像データに対応した音声テキストを表示するテキスト表示制御部と、
上記映像データに基づいて、モニタに、上記テキスト表示制御部で表示された音声テキストに対応した代表画像を表示する画像表示制御部と
を備えることを特徴とする映像検索装置。
【請求項２】
ユーザが上記テキスト表示制御部で表示された音声テキストから所定の音声テキスト区間を選択する音声テキスト区間選択部をさらに備え、
上記画像表示制御部は、さらに、
上記映像データに基づいて、上記音声テキスト区間選択部で選択された所定の音声テキスト区間に対応した代表画像を上記モニタに表示する
ことを特徴とする請求項１に記載の映像検索装置。
【請求項３】
ユーザが上記テキスト表示制御部で表示された音声テキストから所定の音声テキスト区間を選択する音声テキスト区間選択部と、
ユーザが再生を指示する再生指示部とをさらに備え、
上記画像表示制御部は、さらに、
上記音声テキスト区間選択部で所定の音声テキスト区間が選択された状態で、上記再生指示部により再生が指示されたとき、上記映像データに基づいて、上記所定の音声テキスト区間に対応した映像を上記モニタに表示する
ことを特徴とする請求項１に記載の映像検索装置。
【請求項４】
ユーザがキーワードを入力するキーワード入力部と、
上記音声テキストデータから上記キーワード入力部に入力されたキーワードを検索するキーワード検索部とをさらに備え、
上記テキスト表示制御部は、
上記キーワード検索部の検索結果に基づいて上記モニタに表示されている音声テキストのうち、上記キーワードに対応するテキスト部分をインテンド表示する
ことを特徴とする請求項１に記載の映像検索装置。
【請求項５】
上記キーワード入力部は、
上記モニタに表示されるグラフィカルユーザインタフェース画面を用いて上記キーワードを入力する
ことを特徴とする請求項４に記載の映像検索装置。
【請求項６】
上記画像表示制御部は、
モニタに、上記映像データに基づいて、上記モニタに表示されている上記音声テキストの上記インテンド表示されたテキスト部分に対応した代表画像を表示する
ことを特徴とする請求項４に記載の映像検索装置。
【請求項７】
ユーザが上記モニタに表示されている上記音声テキストの上記インテンド表示されたテキスト部分から所定のテキスト部分を選択するテキスト部分選択部をさらに備え、
上記テキスト表示制御部は、さらに、
上記テキスト部分選択部で選択された上記所定のテキスト部分を、他のテキスト部分とは異なるようにインテンド表示し、上記画像表示制御部は、さらに、上記テキスト部分選択部で選択された上記所定のテキスト部分に対応した代表画像を他の代表画像とは異なるようにインテンド表示する
ことを特徴とする請求項６に記載の映像検索装置。
【請求項８】
上記テキスト表示制御部は、さらに、上記テキスト部分選択部で選択された上記所定のテキスト部分を含む所定範囲の部分を拡大して表示する
ことを特徴とする請求項７に記載の映像検索装置。
【請求項９】
ユーザが上記モニタに表示されている上記音声テキストの上記インテンド表示されたテキスト部分から所定のテキスト部分を選択するテキスト部分選択部と、
ユーザが再生を指示する再生指示部とをさらに備え、
上記画像表示制御部は、さらに、
上記テキスト部分選択部で所定のテキスト部分が選択された状態で、上記再生指示部により再生が指示されたとき、上記映像データに基づいて、上記所定のテキスト部分に対応した映像を上記モニタに表示する
ことを特徴とする請求項１に記載の映像検索装置。
【請求項１０】
音声テキストデータが関連付けされた映像データを取り扱う映像検索部を有する編集装置であって、
上記映像検索部は、
上記音声テキストデータに基づいて、モニタに、上記映像データに対応した音声テキストを表示するテキスト表示制御部と、
上記映像データに基づいて、モニタに、上記テキスト表示制御部で表示された音声テキストに対応した代表画像を表示する画像表示制御部と
を備えることを特徴とする編集装置。
【請求項１１】
音声テキストデータが関連付けされた映像データを取り扱う映像検索方法であって、
上記音声テキストデータに基づいて、モニタに、上記映像データに対応した音声テキストを表示するテキスト表示制御ステップと、
上記映像データに基づいて、モニタに、上記表示制御ステップで表示された音声テキストに対応した代表画像を表示する画像表示制御ステップと
を備えることを特徴とする映像検索方法。
【請求項１２】
コンピュータを、
映像データに関連付けされて記憶されている音声テキストデータに基づいて、モニタに、上記映像データに対応した音声テキストを表示するテキスト表示制御手段と、
上記映像データに基づいて、モニタに、上記テキスト表示制御手段で表示された音声テキストに対応した代表画像を表示する画像表示制御手段と
して機能させるためのプログラム。
【請求項１】
音声テキストデータが関連付けされた映像データを取り扱う映像検索装置であって、
上記音声テキストデータに基づいて、モニタに、上記映像データに対応した音声テキストを表示するテキスト表示制御部と、
上記映像データに基づいて、モニタに、上記テキスト表示制御部で表示された音声テキストに対応した代表画像を表示する画像表示制御部と
を備えることを特徴とする映像検索装置。
【請求項２】
ユーザが上記テキスト表示制御部で表示された音声テキストから所定の音声テキスト区間を選択する音声テキスト区間選択部をさらに備え、
上記画像表示制御部は、さらに、
上記映像データに基づいて、上記音声テキスト区間選択部で選択された所定の音声テキスト区間に対応した代表画像を上記モニタに表示する
ことを特徴とする請求項１に記載の映像検索装置。
【請求項３】
ユーザが上記テキスト表示制御部で表示された音声テキストから所定の音声テキスト区間を選択する音声テキスト区間選択部と、
ユーザが再生を指示する再生指示部とをさらに備え、
上記画像表示制御部は、さらに、
上記音声テキスト区間選択部で所定の音声テキスト区間が選択された状態で、上記再生指示部により再生が指示されたとき、上記映像データに基づいて、上記所定の音声テキスト区間に対応した映像を上記モニタに表示する
ことを特徴とする請求項１に記載の映像検索装置。
【請求項４】
ユーザがキーワードを入力するキーワード入力部と、
上記音声テキストデータから上記キーワード入力部に入力されたキーワードを検索するキーワード検索部とをさらに備え、
上記テキスト表示制御部は、
上記キーワード検索部の検索結果に基づいて上記モニタに表示されている音声テキストのうち、上記キーワードに対応するテキスト部分をインテンド表示する
ことを特徴とする請求項１に記載の映像検索装置。
【請求項５】
上記キーワード入力部は、
上記モニタに表示されるグラフィカルユーザインタフェース画面を用いて上記キーワードを入力する
ことを特徴とする請求項４に記載の映像検索装置。
【請求項６】
上記画像表示制御部は、
モニタに、上記映像データに基づいて、上記モニタに表示されている上記音声テキストの上記インテンド表示されたテキスト部分に対応した代表画像を表示する
ことを特徴とする請求項４に記載の映像検索装置。
【請求項７】
ユーザが上記モニタに表示されている上記音声テキストの上記インテンド表示されたテキスト部分から所定のテキスト部分を選択するテキスト部分選択部をさらに備え、
上記テキスト表示制御部は、さらに、
上記テキスト部分選択部で選択された上記所定のテキスト部分を、他のテキスト部分とは異なるようにインテンド表示し、上記画像表示制御部は、さらに、上記テキスト部分選択部で選択された上記所定のテキスト部分に対応した代表画像を他の代表画像とは異なるようにインテンド表示する
ことを特徴とする請求項６に記載の映像検索装置。
【請求項８】
上記テキスト表示制御部は、さらに、上記テキスト部分選択部で選択された上記所定のテキスト部分を含む所定範囲の部分を拡大して表示する
ことを特徴とする請求項７に記載の映像検索装置。
【請求項９】
ユーザが上記モニタに表示されている上記音声テキストの上記インテンド表示されたテキスト部分から所定のテキスト部分を選択するテキスト部分選択部と、
ユーザが再生を指示する再生指示部とをさらに備え、
上記画像表示制御部は、さらに、
上記テキスト部分選択部で所定のテキスト部分が選択された状態で、上記再生指示部により再生が指示されたとき、上記映像データに基づいて、上記所定のテキスト部分に対応した映像を上記モニタに表示する
ことを特徴とする請求項１に記載の映像検索装置。
【請求項１０】
音声テキストデータが関連付けされた映像データを取り扱う映像検索部を有する編集装置であって、
上記映像検索部は、
上記音声テキストデータに基づいて、モニタに、上記映像データに対応した音声テキストを表示するテキスト表示制御部と、
上記映像データに基づいて、モニタに、上記テキスト表示制御部で表示された音声テキストに対応した代表画像を表示する画像表示制御部と
を備えることを特徴とする編集装置。
【請求項１１】
音声テキストデータが関連付けされた映像データを取り扱う映像検索方法であって、
上記音声テキストデータに基づいて、モニタに、上記映像データに対応した音声テキストを表示するテキスト表示制御ステップと、
上記映像データに基づいて、モニタに、上記表示制御ステップで表示された音声テキストに対応した代表画像を表示する画像表示制御ステップと
を備えることを特徴とする映像検索方法。
【請求項１２】
コンピュータを、
映像データに関連付けされて記憶されている音声テキストデータに基づいて、モニタに、上記映像データに対応した音声テキストを表示するテキスト表示制御手段と、
上記映像データに基づいて、モニタに、上記テキスト表示制御手段で表示された音声テキストに対応した代表画像を表示する画像表示制御手段と
して機能させるためのプログラム。
【図１】
【図２】
【図３】
【図５】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図４】
【図６】
【図１２】
【図１３】
【図２】
【図３】
【図５】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図４】
【図６】
【図１２】
【図１３】
【公開番号】特開２００９−１６３６４４（Ｐ２００９−１６３６４４Ａ）
【公開日】平成２１年７月２３日（２００９．７．２３）
【国際特許分類】
【出願番号】特願２００８−２６５９（Ｐ２００８−２６５９）
【出願日】平成２０年１月９日（２００８．１．９）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
【公開日】平成２１年７月２３日（２００９．７．２３）
【国際特許分類】
【出願日】平成２０年１月９日（２００８．１．９）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
[ Back to top ]