検索装置
【課題】 録画コンテンツ中からユーザが入力したキーワードが含まれるシーンを検索し、検索結果を提示、再生する使い勝手に優れた安価な映像録画再生装置をと検索結果提示方法を提供する。
【解決手段】 番組処理部１０４は、映像コンテンツに含まれる音声信号と映像信号及びインターネットから取得したメタデータを処理し、音声特徴データ、字幕特徴データ、テロップ特徴データ、メタデータ特徴データを生成し、検索キーワードと一致するシーンをこれら特徴データを用いて検索し、検索対象である特徴データ毎に検索結果をそれぞれ色、形を変えて表現する。
【解決手段】 番組処理部１０４は、映像コンテンツに含まれる音声信号と映像信号及びインターネットから取得したメタデータを処理し、音声特徴データ、字幕特徴データ、テロップ特徴データ、メタデータ特徴データを生成し、検索キーワードと一致するシーンをこれら特徴データを用いて検索し、検索対象である特徴データ毎に検索結果をそれぞれ色、形を変えて表現する。
【発明の詳細な説明】
【技術分野】
【０００１】
技術分野は、映像を表示する際、映像に含まれるシーンを検索する検索装置に関する。
【背景技術】
【０００２】
近年、記録装置の大容量化により、テレビ放送番組やインターネットから配信される映像等を蓄積して視聴する際に、蓄積した映像等の中から、特定のシーンを検索する技術が重要になってきている。
【０００３】
例えば特許文献１には、「ユーザの嗜好に応じて情報を検索表示できる情報検索表示装置を提供する」ことを課題とし、解決手段として「映像情報や前記映像情報に関連する情報をユーザに対して表示する表示部１２４と、ユーザの嗜好に関する情報であるユーザ嗜好情報を記憶した視聴履歴記憶部１３０、嗜好キーワード記憶部１３１、検索履歴記憶部１３２と、前記ユーザ嗜好情報に基づいて、前記映像情報の一部である部分情報および前記ユーザ嗜好情報に関連する情報である関連情報を検索する関連情報検索部１１０と、前記関連情報検索部１１０が検索した前記関連情報と前記映像情報とを前記表示部１２４に表示する表示制御部１２３とを備えた」ことが記載されている。
【０００４】
また特許文献２には、「映像及び又は音声の検索においてユーザが希望するシーンを、あらかじめ辞書などに登録された単語やキーワード以外の未知語や、ユーザが入力した不確かなキーワードであっても、正確かつ高速に検索できること」を課題とし、解決手段として「検索データの生成と検索処理とに一連の音声認識処理手順を分割して適用することにより、ユーザが希望する映像・音声シーンを高速に検索でき、高速に再生できるシーン検索システムであり、映像信号に同期した音声信号から特徴パタンを抽出して映像検索のためのインデックスを生成する検索データ生成部１００と、検索者から入力されるキーワードと前記インデックスとを照合して所望とする映像を検索する検索処理部２００とを具備」することが記載されている。
【０００５】
【特許文献１】特開２００６−１８６４２６号公報
【特許文献２】特開２００２−１７５３０４号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかしながら、特許文献１はユーザの嗜好を予め記憶しておくものであり、ユーザのそのときの気分に応じて選択するなどのユーザにとってのフレキシビリティ（自由度）が低いという課題がある。また、特許文献２は検索対象として音声認識結果を考慮しているが、認識技術には得意不得意があるところそれらへの考慮がない。
【課題を解決するための手段】
【０００７】
そこで、ユーザがキーワードを指定するにあたり、キーワードに対して複数の検索対象を選択できる技術を提供する。また、複数の検索対象を用いた場合の検索結果の提示技術を提供する。具体的には例えば、特許請求の範囲の構成を採用する。
【発明の効果】
【０００８】
上記手段によれば、ユーザに対して使い勝手のよい検索装置などを提供できる。
【０００９】
上記以外の課題、手段、効果も実施形態の例の説明で述べられる。
【発明を実施するための最良の形態】
【００１０】
以下、本発明に好適な実施形態の例を、図面を用いて説明する。ただし本発明は本例に限定されるものではない。
【００１１】
図１は、番組録画再生装置の一実施例を示すブロック構成図である。番組録画再生装置１は、ＴＶ放送（例えば地上デジタル放送）をアンテナ１０１で受信し、チューナ１０２で所望の番組を選局する。選局した番組を録画再生制御部１０３を介してハードディスクや光ディスクなどのストレージ部１１９部に録画する。また、録画した番組はキーワードを入力することにより、キーワードが含まれるシーンを検索し、再生することができる。録画再生のためには様々な信号処理を伴うが、図１では省略している。また、番組録画再生装置１は、インターネット網から放映される映像コンテンツやメタデータをＬＡＮアダプタ１２１を通じて受信し、受信したコンテンツを録画再生制御部１０３を介してハードディスクや光ディスクなどのストレージ部１１９部に録画する。
【００１２】
音声入力部１１７は、受信した放送番組から音声信号を分離して逐次デジタル変換し、インターフェイス１０８を介して番組処理部１０４に入力する。デジタル信号に変換する際の音声のサンプリング周波数、チャンネル数といった各種情報も、音声入力部１１７から番組処理部１０４に受け渡される。もちろん、これらの情報は、番組処理部１０４で設定したものを音声入力部１１７に与えるようにしてもよい。
【００１３】
映像入力部１１８は、受信した放送番組から映像信号を分離して逐次デジタル変換し、インターフェイス１０８を介して番組処理部１０４に入力する。デジタル信号に変換する際の映像のサンプリング周波数などの各種情報も、映像入力部１１８から番組処理部１０４に受け渡される。もちろん、これらの情報は、番組処理部１０４で設定したものを映像入力部１１８に与えるようにしてもよい。
【００１４】
音声入力部１１７と映像入力部１１８の前段の分岐点には分離部が存在する。この分離部で映像信号、音声信号、データ信号のうち少なくとも二つを分離する。
【００１５】
番組処理部１０４は、受け取った音声信号から、音声検索用の特徴データを生成する。番組処理部１０４は、受け取った映像信号から、字幕がある場合には、字幕特徴データを生成する。字幕は映像信号とは別のデータ信号に含まれていることもある。また、テロップ特徴データを生成する。番組処理部１０４は、メタデータ（インターネットから取得するだけでなくアンテナ１０１から受信するデータ信号に含まれていることもある）からメタデータ特徴データを生成する。番組処理部１０４のうち、特徴データを生成する部位を特徴データ生成部ともいう。
【００１６】
録画再生制御部１０３と番組処理部１０４は、インターフェイス１０９を介して検索キーワードを含むシーンの再生制御命令や応答の送受信をする。録画再生する映像信号の各フレームに、映像の先頭から順にフレーム番号が割り付けられている場合には、該フレーム番号及び検索命令を番組処理部１０４から録画再生制御部１０３に送信することにより、当該フレーム番号の画像を検索するとともに、そのフレーム番号の画像をスキップ再生させることができる。
【００１７】
番組処理部１０４では、入力した音声デジタル信号及び映像デジタル信号を一旦メモリ１０７に入力し、ＣＰＵ１０６によって、特徴データ生成などの解析処理を実施する。その処理プログラムは補助記憶部１０５に格納しておき、ＣＰＵ１０６はこれを適宜読み出し、メモリ１０７に転送して処理する。メモリ１０７には、処理によって作成される各種のデータ及び計算結果が蓄積され、必要に応じて参照される。また、音声デジタル信号や処理結果等の各種情報は補助記憶部１０５に格納することもできる。なお本例ではＣＰＵでプログラムを実行することとするが、複数のＬＳＩに分かれても、すべてがハードウェアで実行されてもよい。
【００１８】
ＰＤＰやＬＣＤなどのディスプレイ装置１２０は、インターフェイス１１１を介して、番組処理部１０４の出力内容を表示する。スピーカ１１３は、番組処理部１０４に入力した音声信号をインターフェイス１１０を介して出力したり、メモリ１０７に蓄積された音声信号をユーザの要求に応じて出力したりする。入力装置１１５は、マウスなどのポインティングデバイスやキーボードなどの数値入力デバイス、マイクなどの音声入力デバイスからなり、インターフェイス１１４を介して番組処理部１０４に対する命令や閾値及び検索キーワードの設定を行う。
【００１９】
なお、番組録画再生装置の構成は、図１の構成に限定されるものではなく、チューナ１０２などの放送受信部、ストレージ部１１９、ディスプレイ装置１２０やスピーカ１１３などの映像・音声出力部は、装置内蔵型でも外付け型でも構わない。
【００２０】
図２を用いて、音声検索用特徴データ生成処理の例を説明する。
【００２１】
まず、音声入力部１１７は、受信した放送番組から音声信号を分離して逐次デジタル変換し、インターフェイス１０８を介して番組処理部１０４に入力する。番組処理部１０４は録画中に、この音声デジタル信号から音声検索用特徴データを生成し、ストレージ部１１９に格納する。なお、本発明の実施の形態では、音声検索用特徴データの生成を録画中に実施するが、録画後に音声検索用特徴データの生成処理を実施してもよいことは言うまでもないことである。
【００２２】
処理ステップＳ２０１では、録画コンテンツが音声検索用データを生成する対象であるか否かを判定する。一般に、字幕を対象としたテキストのマッチングと異なり、映像中の音声からキーワードを含むシーンを検索するには、映像中の音声が明瞭であることが必要条件となる。例えば、映像コンテンツがニュースである場合などは、音声が明瞭なので、映像中の音声を用いた検索が可能となる。そこで映像コンテンツのカテゴリが音声検索に耐えうるカテゴリのものであるか否かを判定する。音声検索が有効なカテゴリである場合には、処理ステップＳ２０２に進み、音声検索が有効なカテゴリでない場合には、処理ステップＳ２０３に進む。
【００２３】
処理ステップＳ２０２では、音声検索を有効にする。処理ステップＳ２０３では、音声検索を無効にする。処理ステップＳ２０４では、音声検索用特徴データ生成処理を実施する。
【００２４】
以上により、音声検索用特徴データを生成するか否かを判定し、不要な処理を省略することができる。
【００２５】
同様に、字幕を対象としたテキストのマッチングと異なり、映像中のテロップからキーワードを含むシーンを検索するには、映像中のテロップ領域を抽出後、テロップ領域に各種画像処理を実施し、最終的にはOCRによりテロップをテキストに変換した結果と指定キーワードとのマッチングをとることになる。したがって、テロップ領域が背景画像と比較して十分明瞭であることが必要条件となる。図2で用いた判別方法と同様にして、テロップ認識対象カテゴリである場合にはテロップ特徴データ生成を実施し、テロップ認識対象カテゴリではない場合には、テロップ特徴データ生成は実施しない。
【００２６】
一方、テキスト同士のマッチングのため、字幕を対象としたシーン検索及びメタデータを対象としたシーン検索は検索精度が高い。したがって字幕を含んだ番組は、字幕特徴データを生成し、字幕を含まない番組では、字幕特徴データを生成しない。同様に，メタデータを含んだ番組はメタデータ特徴データを生成し，メタデータを含まない番組では，メタデータ特徴データは生成しない。
【００２７】
図４は、番組提示画面の一例である。
【００２８】
番組提示画面４は、現在放送中の番組を表示するミニ画面４１と、現在放送中の番組に関する情報を提示する番組放送情報表示画面４２と、映像操作ボタン群４３と、テレビ欄切り替えボタン４４と、キーワード検索画面切り替えボタン４５と、録画一覧表示切替ボタン４６と、電子番組表表示領域４７とから構成される。番組放送情報画面４２に表示されているチャンネルを選択すると、選択チャンネルがハイライト表示される。録画一覧表示切替ボタン４６を押すと、番組提示画面４は、図５に示す録画一覧表画面５に切り替わる。
【００２９】
図５に示す録画一覧表画面５と図４における番組提示画面４との主な違いを説明する。録画一覧表画面５は、録画コンテンツを再生表示するミニ画面５１と、録画コンテンツに関する情報を提示する録画コンテンツ情報表示画面５２と、録画コンテンツの一覧表示画面５３をもつ。録画コンテンツの一覧表示画面５３は、サムネイル５４で表示され、選択された録画コンテンツは、サムネイルの周囲がハイライト表示となり、他と視覚的に区別できるようになっている。
【００３０】
キーワード検索画面切替ボタン４５を押すと、録画一覧表画面５は、図６に示すキーワード検索画面６に切り替わる。
【００３１】
図６に示すキーワード検索画面６と図５に示す録画一覧表画面５の主な違いを説明する。
【００３２】
キーワード検索画面６では、録画コンテンツ情報表示画面５２の領域が、検索キーワード入力領域６２となっている。また、録画コンテンツの一覧表示画面５３の領域が、検索結果を表示する検索結果表示画面６６となっている。
【００３３】
検索キーワード入力領域６２は、検索キーワード入力欄６３、検索開始ボタン６４、検索対象表示切替チェックボックス６５からなる。
【００３４】
検索キーワード入力欄６３は、ユーザが過去に入力したキーワードが履歴として表示選択できる、ドロップダウンリストボックスとなっている。
【００３５】
次に、例えば図６のキーワード入力欄６３に入力されたキーワードによるシーン検索方法の概要に関して説明する。
【００３６】
図３を用いて、検索処理の例を説明する。なお、本処理は番組処理部１０４で実行される。番組処理部のうち、検索を実行する部位を検索部とも呼ぶ。
【００３７】
処理ステップＳ３０１では、ユーザから入力されたキーワードを処理する。なお、本実施例においては、キーワードの入力方法は、キーボードによるテキスト入力としたが、マイクを通じた音声入力でもよいことはいうまでもない。
【００３８】
処理ステップＳ３０２では、字幕が検索対象であるか否かを判定する。字幕が検索対象である場合には、処理ステップＳ３０３に進む。一方、字幕が検索対象でない場合には、処理ステップＳ３０５に進む。
【００３９】
処理ステップＳ３０３では、字幕特徴データがあるか否かを判定する。番組によっては、字幕が付加されていない場合がある。字幕が付加されていない場合には、字幕特徴データは生成されないので、処理ステップＳ３０５に進む。一方、字幕特徴データがある場合には、処理ステップＳ３０４に進む。
【００４０】
処理ステップＳ３０４では、処理ステップＳ３０１で入力されたキーワードと一致する文字列を字幕特徴データ中から検索する、字幕検索処理を実施する。
【００４１】
処理ステップＳ３０５では、テロップが検索対象であるか否かを判定する。テロップが検索対象である場合には、処理ステップＳ３０６に進む。一方、テロップが検索対象でない場合には、処理ステップＳ３０８に進む。
処理ステップＳ３０６では、テロップ特徴データがあるか否かを判定する。テロップ特徴データがある場合には、処理ステップＳ３０７に進み、テロップ特徴データがない場合には、処理ステップＳ３０８に進む。
【００４２】
処理ステップＳ３０７では、処理ステップＳ３０１で入力されたキーワードと一致する文字列をテロップ特徴データ中から検索する、テロップ検索処理を実施する。
【００４３】
処理ステップＳ３０８では、音声が検索対象であるか否かを判定する。音声が検索対象である場合には、処理ステップＳ３０９に進む。一方、音声が検索対象でない場合には、処理ステップＳ３１１に進む。
【００４４】
処理ステップＳ３０９では、音声特徴データがあるか否かを判定する。音声特徴データがある場合には、処理ステップＳ３１０に進み、音声特徴データがない場合には、処理ステップＳ３１１に進む。
【００４５】
本発明では、シーン検索に使用する各種特徴データ（字幕特徴データ、テロップ特徴データ、音声特徴データ）は、番組録画時に生成し、ストレージ部１１９に格納する。したがって、ユーザがシーン検索する際には、既にシーン検索に使用する各種特徴データ生成が完了しているので、ユーザは録画終了直後から、所望のキーワードによるシーン検索機能を実施することが出来る。
【００４６】
処理ステップＳ３１０では、処理ステップＳ３０１で入力されたキーワードと一致する文字列の音声パタンを音声特徴データ中から検索する、音声検索処理を実施する。
【００４７】
処理ステップＳ３１１では、メタデータが検索対象であるか否かを判定する。メタデータが検索対象である場合には、処理ステップＳ３１２に進む。一方、メタデータが検索対象でない場合には、処理ステップＳ３１４に進む。
処理ステップＳ３１２では、メタデータ特徴データがあるか否かを判定する。メタデータ特徴データがある場合には、処理ステップＳ３１３に進み、メタデータ特徴データがない場合には、処理ステップＳ３１４に進む。
【００４８】
処理ステップＳ３１３では、処理ステップＳ３０１で入力されたキーワードと一致する文字列をメタデータ特徴データ中から検索する、メタデータ検索処理を実施する。
【００４９】
処理ステップＳ３１４では、上記４つの処理ステップ、すなわち処理ステップＳ３０４での字幕検索処理の結果と、処理ステップＳ３０７でのテロップ検索処理の結果と、処理ステップＳ３１０で音声検索処理の結果と、処理ステップＳ３１３でのメタデータ検索処理の結果とを比較して、時系列順に並び替えを実施し、キーワードの出現位置が最も小さい結果を保持する。
【００５０】
なお、処理ステップの実施順序は、本実施の形態に限られるものではないことは言うまでもないことである。
【００５１】
処理ステップＳ３１５では、検索範囲がコンテンツの終端まで達したか否かを判定し、コンテンツの終端まで達した場合には、処理ステップＳ３１６に進み、コンテンツの終端に達していない場合には、処理ステップＳ３０２に進み、繰り返し処理をする。
【００５２】
なお、字幕についてコンテンツの終端まで達した後に、次にテロップについて終端まで達する方法もある。この場合、パーソナルコンピュータのように処理能力に余裕がある場合（ソフトウェアで実装し比較的高速なＣＰＵで処理）には並列処理により、処理時間が短時間で済む。一方で処理中の負荷が高いので、高機能な演算処理装置を必要とする。一般に高機能な演算処理装置は高価である。また、組込みシステム（ハードウェアで実装）で使用する場合には、直列処理により、処理中の負荷は並列処理と比較すると低い。処理負荷が、小さいので、計算能力が低い演算処理装置を用いることができる。一般に、計算処理能力が低い演算処理装置は、経済的に安い傾向がある。安価に実現可能である。ただし、直列処理なので、処理時間が比較的長い。
【００５３】
処理ステップＳ３１２では、一連の検索結果をユーザに提示する、検索結果提示処理を実施する。
【００５４】
このように本処理によれば、ユーザはキーワードを入力すると、検索対象を意識することなく、検索結果を得ることが可能となる。
【００５５】
以下、図３の検索結果の提示の方法について、複数の表示例を説明する。なお、当該表示例は番組処理部１０４で画面データが生成されＩ／Ｆ１１１から出力され、ディスプレイ装置１２０で表示される。この出力又は表示を提示と呼ぶ。また番組処理部１０４で画面データを生成し出力する部位を提示部とも呼ぶ。
【００５６】
（検索結果表示例１）
図７に、図６の検索キーワード入力欄６３に検索キーワードとして「太陽」を入力し、検索開始ボタン６４を押して検索した場合の、検索結果の一例を示す。検索結果表示画面７１には、検索キーワードが出現するシーンを頭だし部分として表示する。現在表示中のシーンは、特に太線で表現することにより、視覚的に区別できるようになっている。頭出しがしてあるので、ユーザはスキップ操作により、次から次へと、所望のシーンにスキップできる。
【００５７】
本表示例の、他の表示例に対する長所は、検索対象の表示を同時に表示できるので，視認性が良好であることである。一方、検索対象の表示領域を個別に設けているため，表示画面サイズが比較的大きくなるという面や、次の検索結果シーンにスキップするためには，ユーザはリモコン操作でスキップを押すことになるという面もある。
【００５８】
（検索結果表示例２）
図８に、検索結果表示画面８１に字幕、テロップ、音声、メタデータを混在して表示する例を示す。字幕、テロップ、音声、メタデータを混在して表示するので、区別をつける必要がある。本実施例においては、区別として、マーカを用いることとする。例えば、字幕及びメタデータによる検索結果の場合には、先端に丸をつける。また、テロップによる検索結果の場合には、先端に菱形をつける。さらには、音声検索による結果の場合には、無印とするという具合である。
【００５９】
検索結果には、検索結果の信頼度も返ってくるので、この信頼度を棒の長さとして表現する。スレッショルド８２は、ユーザが上下に移動させることによりスレッショルド値を設定することが可能である。ユーザはスレッショルドを設定することにより、検索結果をさらにフィルタリングすることができる。
【００６０】
本表示例の、他の表示例に対する長所は、ユーザが検索結果に対する信頼度のスレッショルド８２を指定できるので，ユーザはシーン検索の検索結果表示に対して，さらに細かく制御することができることである。一方、次の検索結果シーンにスキップするためには，ユーザはリモコン操作でスキップを押すことになるという面もある。
【００６１】
（検索結果表示例３）
図９に、検索結果表示画面９１に字幕、テロップ、音声、メタデータを混在して表示する例を示す。字幕、テロップ、音声、メタデータを混在して表示するので、区別をつける必要がある。本実施例においては、区別として、色を用いることとする。例えば、字幕やメタデータによる検索結果は赤色で、テロップによる検索結果は緑色で、音声による検索結果は青色で表現するといった具合である。
【００６２】
本表示例の、他の表示例に対する長所は、シーン検索対象の検索結果表示領域を共用することにより，表示画面サイズを小さくすることができることである。一方、次の検索結果シーンにスキップするためには，ユーザはリモコン操作でスキップを押すことになるという面もある。
【００６３】
（検索結果表示例４）
図１０に、検索結果表示画面９１に字幕、テロップ、音声、メタデータを混在して表示する例を示す。図９までは、頭出し位置を線で表現していたが、本実施例においては、頭出し位置のサムネイルを用いることを特徴とする。字幕、テロップ、音声、メタデータを混在して表示するので、区別をつける必要がある。本実施例においては、区別として、色を用いることとする。例えば、字幕やメタデータによる検索結果は赤色で、テロップによる検索結果は緑色で、音声による検索結果は青色で表現するといった具合である。各サムネイルの周囲を上記の色の枠で囲うことにより、ユーザが容易に識別できるようにする。
【００６４】
本表示例の、他の表示例に対する長所は、シーン検索結果をサムネイル表示するので，前記図７から９よりも検索結果を確認する際，検索結果が妥当か否かが分かりやすくなることである。一方、サムネイル表示により，コンテンツ中の時間的にどの部分から（前半であるか否か，後半であるのか否か）を直感的に把握することが難しい面や、サムネイル生成処理による負荷が大きい面や、サムネイル表示をしているので，検索結果が多いと，すべての検索結果を確認するのにスクロールする必要がある場合もある面、次の検索結果シーンにスキップするためには，ユーザはリモコン操作でスキップを押すことになるという面もある。
【００６５】
（検索結果表示例５）
図１１に、検索結果表示画面に字幕、テロップ、音声、メタデータを混在して表示する例を示す。字幕、テロップ、音声、メタデータを混在して表示するので、区別をつける必要がある。本実施例においては、区別として、色を用いることとする。例えば、字幕やメタデータによる検索結果は赤色で、テロップによる検索結果は緑色で、音声による検索結果は青色で表現するといった具合である。図７から図１０までは、頭出し、すなわちキーワードが出現する瞬間をユーザに提示していたが、本実施例においては、キーワードが出現するある時間長さの塊として提示する。ある時間長さの塊としてユーザに提示することにより、ユーザは、キーワードを含んだシーンのダイジェストを視聴することが可能となる。
【００６６】
本表示例の、他の表示例に対する長所は、シーン検索対象の検索結果表示領域を共用することにより，表示画面サイズを小さくすることができることである。また、検索結果が頭出しではなく，シーンとして検索されるので，ある検索結果から次の検索結果まで，自動的にスキップされ，利便性が向上する。
【図面の簡単な説明】
【００６７】
【図１】番組録画再生装置の一実施例を示すブロック構成図。
【図２】音声検索用特徴データ生成判定処理手順の一例を示すフローチャート。
【図３】キーワードによるシーン検索の理手順の一例を示すフローチャート。
【図４】番組録画再生装置の番組放映画面構成の一例を示す図。
【図５】番組録画再生装置の録画コンテンツ選択用画面構成の一例を示す図。
【図６】番組録画再生装置のキーワード検索用画面構成の一例を示す図。
【図７】番組録画再生装置のキーワード検索結果提示用画面構成の一例を示す図（検索結果表示例１）。
【図８】番組録画再生装置のキーワード検索結果提示用画面構成の一例を示す図（検索結果表示例２）。
【図９】番組録画再生装置のキーワード検索結果提示用画面構成の一例を示す図（検索結果表示例３）。
【図１０】番組録画再生装置のキーワード検索結果提示用画面構成の一例を示す図（検索結果表示例４）。
【図１１】番組録画再生装置のキーワード検索結果提示用画面構成の一例を示す図（検索結果表示例５）。
【符号の説明】
【００６８】
１…番組録画再生装置、
１０１…アンテナ、
１０２…チューナ、
１０３…録画再生制御部、
１０４…番組処理部、
１０５…補助記憶部、
１０６…ＣＰＵ、
１０７…メモリ
１１３…スピーカ
１１５…入力装置
１１７…音声入力部、
１１８…映像入力部、
１１９…ストレージ部、
１２０…ディスプレイ装置
【技術分野】
【０００１】
技術分野は、映像を表示する際、映像に含まれるシーンを検索する検索装置に関する。
【背景技術】
【０００２】
近年、記録装置の大容量化により、テレビ放送番組やインターネットから配信される映像等を蓄積して視聴する際に、蓄積した映像等の中から、特定のシーンを検索する技術が重要になってきている。
【０００３】
例えば特許文献１には、「ユーザの嗜好に応じて情報を検索表示できる情報検索表示装置を提供する」ことを課題とし、解決手段として「映像情報や前記映像情報に関連する情報をユーザに対して表示する表示部１２４と、ユーザの嗜好に関する情報であるユーザ嗜好情報を記憶した視聴履歴記憶部１３０、嗜好キーワード記憶部１３１、検索履歴記憶部１３２と、前記ユーザ嗜好情報に基づいて、前記映像情報の一部である部分情報および前記ユーザ嗜好情報に関連する情報である関連情報を検索する関連情報検索部１１０と、前記関連情報検索部１１０が検索した前記関連情報と前記映像情報とを前記表示部１２４に表示する表示制御部１２３とを備えた」ことが記載されている。
【０００４】
また特許文献２には、「映像及び又は音声の検索においてユーザが希望するシーンを、あらかじめ辞書などに登録された単語やキーワード以外の未知語や、ユーザが入力した不確かなキーワードであっても、正確かつ高速に検索できること」を課題とし、解決手段として「検索データの生成と検索処理とに一連の音声認識処理手順を分割して適用することにより、ユーザが希望する映像・音声シーンを高速に検索でき、高速に再生できるシーン検索システムであり、映像信号に同期した音声信号から特徴パタンを抽出して映像検索のためのインデックスを生成する検索データ生成部１００と、検索者から入力されるキーワードと前記インデックスとを照合して所望とする映像を検索する検索処理部２００とを具備」することが記載されている。
【０００５】
【特許文献１】特開２００６−１８６４２６号公報
【特許文献２】特開２００２−１７５３０４号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかしながら、特許文献１はユーザの嗜好を予め記憶しておくものであり、ユーザのそのときの気分に応じて選択するなどのユーザにとってのフレキシビリティ（自由度）が低いという課題がある。また、特許文献２は検索対象として音声認識結果を考慮しているが、認識技術には得意不得意があるところそれらへの考慮がない。
【課題を解決するための手段】
【０００７】
そこで、ユーザがキーワードを指定するにあたり、キーワードに対して複数の検索対象を選択できる技術を提供する。また、複数の検索対象を用いた場合の検索結果の提示技術を提供する。具体的には例えば、特許請求の範囲の構成を採用する。
【発明の効果】
【０００８】
上記手段によれば、ユーザに対して使い勝手のよい検索装置などを提供できる。
【０００９】
上記以外の課題、手段、効果も実施形態の例の説明で述べられる。
【発明を実施するための最良の形態】
【００１０】
以下、本発明に好適な実施形態の例を、図面を用いて説明する。ただし本発明は本例に限定されるものではない。
【００１１】
図１は、番組録画再生装置の一実施例を示すブロック構成図である。番組録画再生装置１は、ＴＶ放送（例えば地上デジタル放送）をアンテナ１０１で受信し、チューナ１０２で所望の番組を選局する。選局した番組を録画再生制御部１０３を介してハードディスクや光ディスクなどのストレージ部１１９部に録画する。また、録画した番組はキーワードを入力することにより、キーワードが含まれるシーンを検索し、再生することができる。録画再生のためには様々な信号処理を伴うが、図１では省略している。また、番組録画再生装置１は、インターネット網から放映される映像コンテンツやメタデータをＬＡＮアダプタ１２１を通じて受信し、受信したコンテンツを録画再生制御部１０３を介してハードディスクや光ディスクなどのストレージ部１１９部に録画する。
【００１２】
音声入力部１１７は、受信した放送番組から音声信号を分離して逐次デジタル変換し、インターフェイス１０８を介して番組処理部１０４に入力する。デジタル信号に変換する際の音声のサンプリング周波数、チャンネル数といった各種情報も、音声入力部１１７から番組処理部１０４に受け渡される。もちろん、これらの情報は、番組処理部１０４で設定したものを音声入力部１１７に与えるようにしてもよい。
【００１３】
映像入力部１１８は、受信した放送番組から映像信号を分離して逐次デジタル変換し、インターフェイス１０８を介して番組処理部１０４に入力する。デジタル信号に変換する際の映像のサンプリング周波数などの各種情報も、映像入力部１１８から番組処理部１０４に受け渡される。もちろん、これらの情報は、番組処理部１０４で設定したものを映像入力部１１８に与えるようにしてもよい。
【００１４】
音声入力部１１７と映像入力部１１８の前段の分岐点には分離部が存在する。この分離部で映像信号、音声信号、データ信号のうち少なくとも二つを分離する。
【００１５】
番組処理部１０４は、受け取った音声信号から、音声検索用の特徴データを生成する。番組処理部１０４は、受け取った映像信号から、字幕がある場合には、字幕特徴データを生成する。字幕は映像信号とは別のデータ信号に含まれていることもある。また、テロップ特徴データを生成する。番組処理部１０４は、メタデータ（インターネットから取得するだけでなくアンテナ１０１から受信するデータ信号に含まれていることもある）からメタデータ特徴データを生成する。番組処理部１０４のうち、特徴データを生成する部位を特徴データ生成部ともいう。
【００１６】
録画再生制御部１０３と番組処理部１０４は、インターフェイス１０９を介して検索キーワードを含むシーンの再生制御命令や応答の送受信をする。録画再生する映像信号の各フレームに、映像の先頭から順にフレーム番号が割り付けられている場合には、該フレーム番号及び検索命令を番組処理部１０４から録画再生制御部１０３に送信することにより、当該フレーム番号の画像を検索するとともに、そのフレーム番号の画像をスキップ再生させることができる。
【００１７】
番組処理部１０４では、入力した音声デジタル信号及び映像デジタル信号を一旦メモリ１０７に入力し、ＣＰＵ１０６によって、特徴データ生成などの解析処理を実施する。その処理プログラムは補助記憶部１０５に格納しておき、ＣＰＵ１０６はこれを適宜読み出し、メモリ１０７に転送して処理する。メモリ１０７には、処理によって作成される各種のデータ及び計算結果が蓄積され、必要に応じて参照される。また、音声デジタル信号や処理結果等の各種情報は補助記憶部１０５に格納することもできる。なお本例ではＣＰＵでプログラムを実行することとするが、複数のＬＳＩに分かれても、すべてがハードウェアで実行されてもよい。
【００１８】
ＰＤＰやＬＣＤなどのディスプレイ装置１２０は、インターフェイス１１１を介して、番組処理部１０４の出力内容を表示する。スピーカ１１３は、番組処理部１０４に入力した音声信号をインターフェイス１１０を介して出力したり、メモリ１０７に蓄積された音声信号をユーザの要求に応じて出力したりする。入力装置１１５は、マウスなどのポインティングデバイスやキーボードなどの数値入力デバイス、マイクなどの音声入力デバイスからなり、インターフェイス１１４を介して番組処理部１０４に対する命令や閾値及び検索キーワードの設定を行う。
【００１９】
なお、番組録画再生装置の構成は、図１の構成に限定されるものではなく、チューナ１０２などの放送受信部、ストレージ部１１９、ディスプレイ装置１２０やスピーカ１１３などの映像・音声出力部は、装置内蔵型でも外付け型でも構わない。
【００２０】
図２を用いて、音声検索用特徴データ生成処理の例を説明する。
【００２１】
まず、音声入力部１１７は、受信した放送番組から音声信号を分離して逐次デジタル変換し、インターフェイス１０８を介して番組処理部１０４に入力する。番組処理部１０４は録画中に、この音声デジタル信号から音声検索用特徴データを生成し、ストレージ部１１９に格納する。なお、本発明の実施の形態では、音声検索用特徴データの生成を録画中に実施するが、録画後に音声検索用特徴データの生成処理を実施してもよいことは言うまでもないことである。
【００２２】
処理ステップＳ２０１では、録画コンテンツが音声検索用データを生成する対象であるか否かを判定する。一般に、字幕を対象としたテキストのマッチングと異なり、映像中の音声からキーワードを含むシーンを検索するには、映像中の音声が明瞭であることが必要条件となる。例えば、映像コンテンツがニュースである場合などは、音声が明瞭なので、映像中の音声を用いた検索が可能となる。そこで映像コンテンツのカテゴリが音声検索に耐えうるカテゴリのものであるか否かを判定する。音声検索が有効なカテゴリである場合には、処理ステップＳ２０２に進み、音声検索が有効なカテゴリでない場合には、処理ステップＳ２０３に進む。
【００２３】
処理ステップＳ２０２では、音声検索を有効にする。処理ステップＳ２０３では、音声検索を無効にする。処理ステップＳ２０４では、音声検索用特徴データ生成処理を実施する。
【００２４】
以上により、音声検索用特徴データを生成するか否かを判定し、不要な処理を省略することができる。
【００２５】
同様に、字幕を対象としたテキストのマッチングと異なり、映像中のテロップからキーワードを含むシーンを検索するには、映像中のテロップ領域を抽出後、テロップ領域に各種画像処理を実施し、最終的にはOCRによりテロップをテキストに変換した結果と指定キーワードとのマッチングをとることになる。したがって、テロップ領域が背景画像と比較して十分明瞭であることが必要条件となる。図2で用いた判別方法と同様にして、テロップ認識対象カテゴリである場合にはテロップ特徴データ生成を実施し、テロップ認識対象カテゴリではない場合には、テロップ特徴データ生成は実施しない。
【００２６】
一方、テキスト同士のマッチングのため、字幕を対象としたシーン検索及びメタデータを対象としたシーン検索は検索精度が高い。したがって字幕を含んだ番組は、字幕特徴データを生成し、字幕を含まない番組では、字幕特徴データを生成しない。同様に，メタデータを含んだ番組はメタデータ特徴データを生成し，メタデータを含まない番組では，メタデータ特徴データは生成しない。
【００２７】
図４は、番組提示画面の一例である。
【００２８】
番組提示画面４は、現在放送中の番組を表示するミニ画面４１と、現在放送中の番組に関する情報を提示する番組放送情報表示画面４２と、映像操作ボタン群４３と、テレビ欄切り替えボタン４４と、キーワード検索画面切り替えボタン４５と、録画一覧表示切替ボタン４６と、電子番組表表示領域４７とから構成される。番組放送情報画面４２に表示されているチャンネルを選択すると、選択チャンネルがハイライト表示される。録画一覧表示切替ボタン４６を押すと、番組提示画面４は、図５に示す録画一覧表画面５に切り替わる。
【００２９】
図５に示す録画一覧表画面５と図４における番組提示画面４との主な違いを説明する。録画一覧表画面５は、録画コンテンツを再生表示するミニ画面５１と、録画コンテンツに関する情報を提示する録画コンテンツ情報表示画面５２と、録画コンテンツの一覧表示画面５３をもつ。録画コンテンツの一覧表示画面５３は、サムネイル５４で表示され、選択された録画コンテンツは、サムネイルの周囲がハイライト表示となり、他と視覚的に区別できるようになっている。
【００３０】
キーワード検索画面切替ボタン４５を押すと、録画一覧表画面５は、図６に示すキーワード検索画面６に切り替わる。
【００３１】
図６に示すキーワード検索画面６と図５に示す録画一覧表画面５の主な違いを説明する。
【００３２】
キーワード検索画面６では、録画コンテンツ情報表示画面５２の領域が、検索キーワード入力領域６２となっている。また、録画コンテンツの一覧表示画面５３の領域が、検索結果を表示する検索結果表示画面６６となっている。
【００３３】
検索キーワード入力領域６２は、検索キーワード入力欄６３、検索開始ボタン６４、検索対象表示切替チェックボックス６５からなる。
【００３４】
検索キーワード入力欄６３は、ユーザが過去に入力したキーワードが履歴として表示選択できる、ドロップダウンリストボックスとなっている。
【００３５】
次に、例えば図６のキーワード入力欄６３に入力されたキーワードによるシーン検索方法の概要に関して説明する。
【００３６】
図３を用いて、検索処理の例を説明する。なお、本処理は番組処理部１０４で実行される。番組処理部のうち、検索を実行する部位を検索部とも呼ぶ。
【００３７】
処理ステップＳ３０１では、ユーザから入力されたキーワードを処理する。なお、本実施例においては、キーワードの入力方法は、キーボードによるテキスト入力としたが、マイクを通じた音声入力でもよいことはいうまでもない。
【００３８】
処理ステップＳ３０２では、字幕が検索対象であるか否かを判定する。字幕が検索対象である場合には、処理ステップＳ３０３に進む。一方、字幕が検索対象でない場合には、処理ステップＳ３０５に進む。
【００３９】
処理ステップＳ３０３では、字幕特徴データがあるか否かを判定する。番組によっては、字幕が付加されていない場合がある。字幕が付加されていない場合には、字幕特徴データは生成されないので、処理ステップＳ３０５に進む。一方、字幕特徴データがある場合には、処理ステップＳ３０４に進む。
【００４０】
処理ステップＳ３０４では、処理ステップＳ３０１で入力されたキーワードと一致する文字列を字幕特徴データ中から検索する、字幕検索処理を実施する。
【００４１】
処理ステップＳ３０５では、テロップが検索対象であるか否かを判定する。テロップが検索対象である場合には、処理ステップＳ３０６に進む。一方、テロップが検索対象でない場合には、処理ステップＳ３０８に進む。
処理ステップＳ３０６では、テロップ特徴データがあるか否かを判定する。テロップ特徴データがある場合には、処理ステップＳ３０７に進み、テロップ特徴データがない場合には、処理ステップＳ３０８に進む。
【００４２】
処理ステップＳ３０７では、処理ステップＳ３０１で入力されたキーワードと一致する文字列をテロップ特徴データ中から検索する、テロップ検索処理を実施する。
【００４３】
処理ステップＳ３０８では、音声が検索対象であるか否かを判定する。音声が検索対象である場合には、処理ステップＳ３０９に進む。一方、音声が検索対象でない場合には、処理ステップＳ３１１に進む。
【００４４】
処理ステップＳ３０９では、音声特徴データがあるか否かを判定する。音声特徴データがある場合には、処理ステップＳ３１０に進み、音声特徴データがない場合には、処理ステップＳ３１１に進む。
【００４５】
本発明では、シーン検索に使用する各種特徴データ（字幕特徴データ、テロップ特徴データ、音声特徴データ）は、番組録画時に生成し、ストレージ部１１９に格納する。したがって、ユーザがシーン検索する際には、既にシーン検索に使用する各種特徴データ生成が完了しているので、ユーザは録画終了直後から、所望のキーワードによるシーン検索機能を実施することが出来る。
【００４６】
処理ステップＳ３１０では、処理ステップＳ３０１で入力されたキーワードと一致する文字列の音声パタンを音声特徴データ中から検索する、音声検索処理を実施する。
【００４７】
処理ステップＳ３１１では、メタデータが検索対象であるか否かを判定する。メタデータが検索対象である場合には、処理ステップＳ３１２に進む。一方、メタデータが検索対象でない場合には、処理ステップＳ３１４に進む。
処理ステップＳ３１２では、メタデータ特徴データがあるか否かを判定する。メタデータ特徴データがある場合には、処理ステップＳ３１３に進み、メタデータ特徴データがない場合には、処理ステップＳ３１４に進む。
【００４８】
処理ステップＳ３１３では、処理ステップＳ３０１で入力されたキーワードと一致する文字列をメタデータ特徴データ中から検索する、メタデータ検索処理を実施する。
【００４９】
処理ステップＳ３１４では、上記４つの処理ステップ、すなわち処理ステップＳ３０４での字幕検索処理の結果と、処理ステップＳ３０７でのテロップ検索処理の結果と、処理ステップＳ３１０で音声検索処理の結果と、処理ステップＳ３１３でのメタデータ検索処理の結果とを比較して、時系列順に並び替えを実施し、キーワードの出現位置が最も小さい結果を保持する。
【００５０】
なお、処理ステップの実施順序は、本実施の形態に限られるものではないことは言うまでもないことである。
【００５１】
処理ステップＳ３１５では、検索範囲がコンテンツの終端まで達したか否かを判定し、コンテンツの終端まで達した場合には、処理ステップＳ３１６に進み、コンテンツの終端に達していない場合には、処理ステップＳ３０２に進み、繰り返し処理をする。
【００５２】
なお、字幕についてコンテンツの終端まで達した後に、次にテロップについて終端まで達する方法もある。この場合、パーソナルコンピュータのように処理能力に余裕がある場合（ソフトウェアで実装し比較的高速なＣＰＵで処理）には並列処理により、処理時間が短時間で済む。一方で処理中の負荷が高いので、高機能な演算処理装置を必要とする。一般に高機能な演算処理装置は高価である。また、組込みシステム（ハードウェアで実装）で使用する場合には、直列処理により、処理中の負荷は並列処理と比較すると低い。処理負荷が、小さいので、計算能力が低い演算処理装置を用いることができる。一般に、計算処理能力が低い演算処理装置は、経済的に安い傾向がある。安価に実現可能である。ただし、直列処理なので、処理時間が比較的長い。
【００５３】
処理ステップＳ３１２では、一連の検索結果をユーザに提示する、検索結果提示処理を実施する。
【００５４】
このように本処理によれば、ユーザはキーワードを入力すると、検索対象を意識することなく、検索結果を得ることが可能となる。
【００５５】
以下、図３の検索結果の提示の方法について、複数の表示例を説明する。なお、当該表示例は番組処理部１０４で画面データが生成されＩ／Ｆ１１１から出力され、ディスプレイ装置１２０で表示される。この出力又は表示を提示と呼ぶ。また番組処理部１０４で画面データを生成し出力する部位を提示部とも呼ぶ。
【００５６】
（検索結果表示例１）
図７に、図６の検索キーワード入力欄６３に検索キーワードとして「太陽」を入力し、検索開始ボタン６４を押して検索した場合の、検索結果の一例を示す。検索結果表示画面７１には、検索キーワードが出現するシーンを頭だし部分として表示する。現在表示中のシーンは、特に太線で表現することにより、視覚的に区別できるようになっている。頭出しがしてあるので、ユーザはスキップ操作により、次から次へと、所望のシーンにスキップできる。
【００５７】
本表示例の、他の表示例に対する長所は、検索対象の表示を同時に表示できるので，視認性が良好であることである。一方、検索対象の表示領域を個別に設けているため，表示画面サイズが比較的大きくなるという面や、次の検索結果シーンにスキップするためには，ユーザはリモコン操作でスキップを押すことになるという面もある。
【００５８】
（検索結果表示例２）
図８に、検索結果表示画面８１に字幕、テロップ、音声、メタデータを混在して表示する例を示す。字幕、テロップ、音声、メタデータを混在して表示するので、区別をつける必要がある。本実施例においては、区別として、マーカを用いることとする。例えば、字幕及びメタデータによる検索結果の場合には、先端に丸をつける。また、テロップによる検索結果の場合には、先端に菱形をつける。さらには、音声検索による結果の場合には、無印とするという具合である。
【００５９】
検索結果には、検索結果の信頼度も返ってくるので、この信頼度を棒の長さとして表現する。スレッショルド８２は、ユーザが上下に移動させることによりスレッショルド値を設定することが可能である。ユーザはスレッショルドを設定することにより、検索結果をさらにフィルタリングすることができる。
【００６０】
本表示例の、他の表示例に対する長所は、ユーザが検索結果に対する信頼度のスレッショルド８２を指定できるので，ユーザはシーン検索の検索結果表示に対して，さらに細かく制御することができることである。一方、次の検索結果シーンにスキップするためには，ユーザはリモコン操作でスキップを押すことになるという面もある。
【００６１】
（検索結果表示例３）
図９に、検索結果表示画面９１に字幕、テロップ、音声、メタデータを混在して表示する例を示す。字幕、テロップ、音声、メタデータを混在して表示するので、区別をつける必要がある。本実施例においては、区別として、色を用いることとする。例えば、字幕やメタデータによる検索結果は赤色で、テロップによる検索結果は緑色で、音声による検索結果は青色で表現するといった具合である。
【００６２】
本表示例の、他の表示例に対する長所は、シーン検索対象の検索結果表示領域を共用することにより，表示画面サイズを小さくすることができることである。一方、次の検索結果シーンにスキップするためには，ユーザはリモコン操作でスキップを押すことになるという面もある。
【００６３】
（検索結果表示例４）
図１０に、検索結果表示画面９１に字幕、テロップ、音声、メタデータを混在して表示する例を示す。図９までは、頭出し位置を線で表現していたが、本実施例においては、頭出し位置のサムネイルを用いることを特徴とする。字幕、テロップ、音声、メタデータを混在して表示するので、区別をつける必要がある。本実施例においては、区別として、色を用いることとする。例えば、字幕やメタデータによる検索結果は赤色で、テロップによる検索結果は緑色で、音声による検索結果は青色で表現するといった具合である。各サムネイルの周囲を上記の色の枠で囲うことにより、ユーザが容易に識別できるようにする。
【００６４】
本表示例の、他の表示例に対する長所は、シーン検索結果をサムネイル表示するので，前記図７から９よりも検索結果を確認する際，検索結果が妥当か否かが分かりやすくなることである。一方、サムネイル表示により，コンテンツ中の時間的にどの部分から（前半であるか否か，後半であるのか否か）を直感的に把握することが難しい面や、サムネイル生成処理による負荷が大きい面や、サムネイル表示をしているので，検索結果が多いと，すべての検索結果を確認するのにスクロールする必要がある場合もある面、次の検索結果シーンにスキップするためには，ユーザはリモコン操作でスキップを押すことになるという面もある。
【００６５】
（検索結果表示例５）
図１１に、検索結果表示画面に字幕、テロップ、音声、メタデータを混在して表示する例を示す。字幕、テロップ、音声、メタデータを混在して表示するので、区別をつける必要がある。本実施例においては、区別として、色を用いることとする。例えば、字幕やメタデータによる検索結果は赤色で、テロップによる検索結果は緑色で、音声による検索結果は青色で表現するといった具合である。図７から図１０までは、頭出し、すなわちキーワードが出現する瞬間をユーザに提示していたが、本実施例においては、キーワードが出現するある時間長さの塊として提示する。ある時間長さの塊としてユーザに提示することにより、ユーザは、キーワードを含んだシーンのダイジェストを視聴することが可能となる。
【００６６】
本表示例の、他の表示例に対する長所は、シーン検索対象の検索結果表示領域を共用することにより，表示画面サイズを小さくすることができることである。また、検索結果が頭出しではなく，シーンとして検索されるので，ある検索結果から次の検索結果まで，自動的にスキップされ，利便性が向上する。
【図面の簡単な説明】
【００６７】
【図１】番組録画再生装置の一実施例を示すブロック構成図。
【図２】音声検索用特徴データ生成判定処理手順の一例を示すフローチャート。
【図３】キーワードによるシーン検索の理手順の一例を示すフローチャート。
【図４】番組録画再生装置の番組放映画面構成の一例を示す図。
【図５】番組録画再生装置の録画コンテンツ選択用画面構成の一例を示す図。
【図６】番組録画再生装置のキーワード検索用画面構成の一例を示す図。
【図７】番組録画再生装置のキーワード検索結果提示用画面構成の一例を示す図（検索結果表示例１）。
【図８】番組録画再生装置のキーワード検索結果提示用画面構成の一例を示す図（検索結果表示例２）。
【図９】番組録画再生装置のキーワード検索結果提示用画面構成の一例を示す図（検索結果表示例３）。
【図１０】番組録画再生装置のキーワード検索結果提示用画面構成の一例を示す図（検索結果表示例４）。
【図１１】番組録画再生装置のキーワード検索結果提示用画面構成の一例を示す図（検索結果表示例５）。
【符号の説明】
【００６８】
１…番組録画再生装置、
１０１…アンテナ、
１０２…チューナ、
１０３…録画再生制御部、
１０４…番組処理部、
１０５…補助記憶部、
１０６…ＣＰＵ、
１０７…メモリ
１１３…スピーカ
１１５…入力装置
１１７…音声入力部、
１１８…映像入力部、
１１９…ストレージ部、
１２０…ディスプレイ装置
【特許請求の範囲】
【請求項１】
映像コンテンツ中から所望の場面を検索する映像検索装置であって、
映像コンテンツから音声信号、映像信号、データ信号の少なくとも二つを分離する分離部と、
前記分離部で分離したそれぞれの信号から、キーワード検索用の特徴データを生成する特徴データ生成部と、
前記特徴データ生成部で生成した特徴データに対して所望のキーワードが対応するかを検索する検索部と、
前記検索部で対応すると判断されたとき、音声信号と映像信号とデータ信号のうちいずれの信号から生成された特徴データと対応しているかを提示する検索結果提示部とを有する映像検索装置。
【請求項２】
請求項１の映像検索装置であって、
前記特徴データ生成部は、前記データ信号に含まれる字幕データから前記特徴データを生成する映像検索装置。
【請求項３】
請求項１又は２の映像検索装置であって、
前記特徴データ生成部は、前記映像信号に含まれるテロップ映像から前記特徴データを生成する映像検索装置。
【請求項４】
請求項１から３のいずれかの映像検索装置であって、
前記特徴データ生成部は、前記音声信号に含まれる音声から前記特徴データを生成する映像検索装置。
【請求項５】
請求項１から４のいずれかの映像検索装置であって、
前記特徴データ生成部は、前記データ信号に含まれるメタデータから前記特徴データを生成する映像検索装置。
【請求項６】
請求項１から５のいずれかの映像検索装置であって、
前記検索結果提示部は、音声信号と映像信号とデータ信号のうちいずれの信号から生成された特徴データと対応しているかに応じて、表示する色又はマークの形状を変えて出力する映像検索装置。
【請求項７】
請求項１から６のいずれかの情報検索装置であって、
前記検索結果提示部は、前記特徴データと前記キーワードとが対応している場面の時間幅も示す情報検索装置。
【請求項８】
請求項１から７のいずれかの映像検索装置であって、
前記検索結果提示部での提示のうち一つが選択されたとき、映像コンテンツのうち当該提示に対応する場面を再生する場面再生部を有する映像検索装置。
【請求項９】
映像コンテンツ中から所望の場面を検索する検索方法であって、
映像コンテンツの音声情報、テロップ情報、字幕情報、メタデータ情報の少なくとも二つの情報のうち、検索対象とする情報の選択を受け、
選択された情報に基づいて、所望のキーワードに対応する場面があるかを検索する検索方法。
【請求項１０】
請求項９の検索方法であって、
前記検索の結果、音声情報、テロップ情報、字幕情報、メタデータ情報のうちいずれの情報に基づいて検索されたかを区別して提示する検索方法。
【請求項１１】
請求項９の検索方法であって、
映像コンテンツのカテゴリを検出し、
当該検出したカテゴリに応じて、音声情報、テロップ情報、字幕情報、メタデータ情報のうち検索対象とする情報を選択する検索結果提示方法。
【請求項１】
映像コンテンツ中から所望の場面を検索する映像検索装置であって、
映像コンテンツから音声信号、映像信号、データ信号の少なくとも二つを分離する分離部と、
前記分離部で分離したそれぞれの信号から、キーワード検索用の特徴データを生成する特徴データ生成部と、
前記特徴データ生成部で生成した特徴データに対して所望のキーワードが対応するかを検索する検索部と、
前記検索部で対応すると判断されたとき、音声信号と映像信号とデータ信号のうちいずれの信号から生成された特徴データと対応しているかを提示する検索結果提示部とを有する映像検索装置。
【請求項２】
請求項１の映像検索装置であって、
前記特徴データ生成部は、前記データ信号に含まれる字幕データから前記特徴データを生成する映像検索装置。
【請求項３】
請求項１又は２の映像検索装置であって、
前記特徴データ生成部は、前記映像信号に含まれるテロップ映像から前記特徴データを生成する映像検索装置。
【請求項４】
請求項１から３のいずれかの映像検索装置であって、
前記特徴データ生成部は、前記音声信号に含まれる音声から前記特徴データを生成する映像検索装置。
【請求項５】
請求項１から４のいずれかの映像検索装置であって、
前記特徴データ生成部は、前記データ信号に含まれるメタデータから前記特徴データを生成する映像検索装置。
【請求項６】
請求項１から５のいずれかの映像検索装置であって、
前記検索結果提示部は、音声信号と映像信号とデータ信号のうちいずれの信号から生成された特徴データと対応しているかに応じて、表示する色又はマークの形状を変えて出力する映像検索装置。
【請求項７】
請求項１から６のいずれかの情報検索装置であって、
前記検索結果提示部は、前記特徴データと前記キーワードとが対応している場面の時間幅も示す情報検索装置。
【請求項８】
請求項１から７のいずれかの映像検索装置であって、
前記検索結果提示部での提示のうち一つが選択されたとき、映像コンテンツのうち当該提示に対応する場面を再生する場面再生部を有する映像検索装置。
【請求項９】
映像コンテンツ中から所望の場面を検索する検索方法であって、
映像コンテンツの音声情報、テロップ情報、字幕情報、メタデータ情報の少なくとも二つの情報のうち、検索対象とする情報の選択を受け、
選択された情報に基づいて、所望のキーワードに対応する場面があるかを検索する検索方法。
【請求項１０】
請求項９の検索方法であって、
前記検索の結果、音声情報、テロップ情報、字幕情報、メタデータ情報のうちいずれの情報に基づいて検索されたかを区別して提示する検索方法。
【請求項１１】
請求項９の検索方法であって、
映像コンテンツのカテゴリを検出し、
当該検出したカテゴリに応じて、音声情報、テロップ情報、字幕情報、メタデータ情報のうち検索対象とする情報を選択する検索結果提示方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【公開番号】特開２００８−２７６３４０（Ｐ２００８−２７６３４０Ａ）
【公開日】平成２０年１１月１３日（２００８．１１．１３）
【国際特許分類】
【出願番号】特願２００７−１１６３１４（Ｐ２００７−１１６３１４）
【出願日】平成１９年４月２６日（２００７．４．２６）
【出願人】（０００００５１０８）株式会社日立製作所 (27,607)
【Ｆターム（参考）】
【公開日】平成２０年１１月１３日（２００８．１１．１３）
【国際特許分類】
【出願日】平成１９年４月２６日（２００７．４．２６）
【出願人】（０００００５１０８）株式会社日立製作所 (27,607)
【Ｆターム（参考）】
[ Back to top ]